JPWO2012073722A1 - 画像合成装置 - Google Patents

Abstract

被写体の輝度に関わらず被写体を撮影することが出来、且つ合成された画像において被写体のズレを抑制できる画像合成装置を提供する。視点変換部１２により可視光画像について視点変換が行われるので、遠赤外光画像の視点と、可視光画像の視点とが一致するようになる。よって、重畳部１５にて両者の画像信号を重ね合わせた場合に、合成画像における被写体距離が異なる被写体のズレが抑制され、合成画像を視認する者が違和感を抱くことがない。

Description

本発明は、被写体情報を取得して被写体画像を形成する画像合成装置に関し、特に夜間などにおいても適切な被写体画像を形成できる画像合成装置に関する。

近年、自動車事故件数、死傷者数ともに減少傾向にあるが、依然高い水準にある。また、今後高齢者ドライバーが増加することが見込まれるため、加齢による身体機能低下を補い、安全運転を支援するための技術がより一層求められている。特に最近では、自動車の安全走行を確保するために、進行方向前方にある人、車などの障害物を検出し、認識することで、ドライバーの集中力低下、ヒューマンエラーによる事故を未然に防ぐプリクラッシュセーフティ技術が開発され、一部市販されている。

ところで、前方の障害物を認識するための手段として、電波やレーザーを利用したレーダー装置、可視光や赤外光を利用したカメラ装置などが一般的に利用されているが、各方式とも一長一短あり、信頼性を上げるためには別の方式を組み合わせて利用することが望ましいといえる。例えば、可視光カメラと遠赤外光カメラの組合せを考えた場合、昼間であれば被写体光量が十分なので、可視光カメラを利用することで、障害物の認識が可能であるのに対し、夜間においてヘッドライトが届かない遠方の被写体は、可視光カメラでは撮影が難しい。そこで、かかる場合には、遠赤外光カメラを組み合わせて利用することで、肉眼では見えなくても、ヘッドライトの照射範囲外にいる人物などを早期に認識することができる。

しかるに、可視光カメラと遠赤外光カメラで撮影した画像、あるいは画像から得られた障害物の情報を運転者に知らしめる場合、視認性を高めるためには、これらの画像情報を一つにして表示することが望ましい。しかしながら、例えば可視光カメラと遠赤外光カメラでは、検出する電磁波の波長域が異なるが、可視光、遠赤外光を両方透過する適当な光学材料が実質的に存在しないため、可視光カメラと遠赤外光カメラの光軸を一致させることは本来的にできない。つまり、可視光カメラで撮影された可視光画像と、遠赤外光カメラで撮影された遠赤外光画像とは、視点位置が異なることとなる。このように視点位置が異なる画像を単純に重ね合わせると、被写体距離に応じて障害物の位置がずれてしまい、表示画像の視認性が低下するという問題がある。これに対し特許文献１には、可視光画像と遠赤外光画像を合成するときに、画像認識を利用し、被写体を抽出することにより、同じ被写体が重なるよう処理する技術が開示されている。

特開２００８−２３３３９８号公報

ところが、特許文献１の技術では、被写体の位置を一致させるためには、同じ被写体を可視光カメラと遠赤外光カメラの両方で撮像する必要が有るが、可視光画像と遠赤外光画像では、どちらかにしか写らない被写体も多く、よって必ずしも被写体の位置合わせができるとは限らないという問題がある。また、可視光カメラと遠赤外光カメラの両方により撮影された被写体を一致させることはできるが、その被写体より近距離、あるいは遠距離にある被写体はズレて画像合成されることとなるから、合成された画像を視認する者に違和感を招く恐れもある。

本発明は、上述の問題に鑑みてなされたものであり、被写体の輝度に関わらず被写体を撮影することが出来、且つ合成された画像において被写体のズレを抑制できる画像合成装置を提供することを目的とする。

本発明の画像合成装置は、
第１の波長領域の電磁波を利用して被写体情報を取得して、被写体に関する第１の画像情報を生成する第１の画像取得手段と、
前記第１の画像取得手段とは異なる視点から、前記第１の波長領域と異なる第２の波長領域の電磁波を利用して被写体情報を取得して、前記被写体に関する第２の画像情報を生成する第２の画像取得手段と、
前記被写体までの距離情報を求める測距手段と、
前記被写体までの距離情報に基づいて、被写体の３次元情報を生成する３次元情報生成手段と、
生成された前記被写体の３次元情報に基づいて、前記第１の画像情報に基づく画像と前記第２の画像情報に基づく画像とにおける撮影視点が互いに合致するように、少なくとも一方の画像にかかる画像情報を処理する視点変換手段と、を有することを特徴とする。

本発明によれば、前記視点変換手段が、生成された前記被写体の３次元情報に基づいて、前記第１の画像情報に基づく画像と前記第２の画像情報に基づく画像とにおける視点が互いに合致するように、少なくとも一方の画像にかかる画像情報を処理するので、前記重畳手段が、視点変換が行われた前記第１の画像と前記第２の画像とを重ね合わせるように、前記第１の画像情報と前記第２の画像情報とを重畳することにより、被写体距離に関わらず被写体ズレが抑制された合成画像を得ることができる。尚、第１の波長域の電磁波とは、例えば波長４００nm〜７００ｎｍの可視光をいう。又、第２の波長域の電磁波とは、例えば波長４um程度以上の遠赤外光、テラヘルツ波、ミリ波、マイクロ波などをいう。更に、「画像情報」とは、例えば画像信号をいう。又、「重ね合わせる」とは、画面上の相対位置を固定した状態で画像の一部同士を組み合わせることを含む。

更に、本発明の一態様としては、前記視点変換手段により視点変換処理が行われた前記第１の画像と前記第２の画像とを重ね合わせるように、前記第１の画像情報と前記第２の画像情報とを重畳する重畳手段を有することを特徴とする。これによりズレのない画像合成を行うことができる。

更に、本発明の一態様としては、前記視点変換手段により視点変換処理が行われた前記第１の画像と前記第２の画像から特定の情報を抽出し、これらを重畳する重畳手段を有することを特徴とする。

更に、本発明の一態様としては、前記重畳手段は、前記第２の画像情報における所定値以上の輝度値を有する被写体情報を抽出し、その被写体情報を前記第１の画像情報に挿入するものであると好ましい。例えば、第２の波長域の電磁波が遠赤外光で或る場合、所定位置以上の遠赤外光が検出されれば人体と判断できるため、その情報を前記第１の画像情報に挿入する表示することで、視認する者に早期警告することが可能となる。

更に、本発明の一態様としては、前記重畳手段は、前記第１の画像情報から特定の色又は形状を有する被写体情報を抽出し、その被写体情報を前記第２の画像情報に挿入するものであると好ましい。例えば、第１の波長域の電磁波が可視光で或る場合、信号機の色や形を予め記憶しておくことで、可視光画像から画像認識により信号機を抽出でき、その情報を前記第２の画像情報に挿入して表示することで、視認する者に早期警告することが可能となる。

更に、本発明の一態様としては、前記重畳手段は、前記第１の画像情報から特定の色又は形状を有する被写体情報を抽出し、前記第２の画像情報における所定値以上の輝度値を有する被写体情報を抽出し、抽出した被写体情報を別の背景画像情報に挿入すると好ましい。例えば、第１の波長域の電磁波が可視光で或る場合、信号機の色や形を予め記憶しておくことで、可視光画像から画像認識により信号機を抽出でき、第２の波長域の電磁波が遠赤外光で或る場合、所定位置以上の遠赤外光が検出されれば人体と判断できるため、それらの情報を抽出して別な背景に挿入することで、視認する者に早期警告することが可能となる。

更に、本発明の一態様としては、前記抽出した被写体情報に対して、所定の情報を付与すると好ましい。「所定の情報」とは、被写体を囲む枠の情報であると良いが、例えば被写体までの距離を数値で表示しても良い。

更に、本発明の一態様としては、前記測距手段は、複数の前記第１の画像取得手段又は前記第２の画像取得手段から得られた視差情報に基づいて、被写体までの距離情報を取得し、前記３次元情報生成手段は、前記測距情報を画面全体に適用することで、被写体の３次元情報を取得すると好ましい。

更に、本発明の一態様としては、前記測距手段は、電磁波を被写体に投射し、反射してくる時間または方向を計測することにより前記被写体までの距離を測定し、前記３次元情報生成手段は、前記被写体までの距離に基づいて、被写体の３次元情報を取得すると好ましい。

更に、本発明の一態様としては、第１の波長領域の電磁波は可視光または近赤外光または可視光と近赤外光であり、前記第２の波長領域の電磁波は遠赤外光であると好ましい。

本発明によれば、最小限の構成で、例えば可視光と遠赤外光の画像を一つの視点から見た画像に合成でき、片方のカメラにしか写らない被写体でも位置を合わせることができる。

第１の実施の形態にかかる画像合成装置を搭載した車両の概略図である。 本実施の形態にかかる画像合成装置のブロック図である。 ステレオカメラで対象物までの距離を測定する状態を示す図である。 （ａ）は、本実施の形態の遠赤外光カメラ３で夕暮れ時を撮影した画像（遠赤外光画像）を示す図であり、（ｂ）は、可視光カメラ１で同じ被写体を同じタイミングで撮影した画像（可視光画像）を示す図である。 図２の画像合成部１０の処理を示す概略図であり、（ａ）は可視光カメラ１，２から入力する一対の画像、（ｂ）は距離画像、（ｃ）は視点変換された距離画像、（ｄ）は視点変換された２次元画像データの画像をそれぞれ示す。 視点を一致させた遠赤外光画像（ａ）と、可視光画像（ｂ）とを示す図である。 遠赤外光画像に可視光画像を重ね合わせた合成画像の例を示す図である。 可視光画像に遠赤外光画像を重ね合わせた合成画像の例を示す図である。 可視光画像の抽出物と、遠赤外光画像の抽出物のみを重ね合わせた合成画像の例を示す図である。 可視光画像に遠赤外光画像を重ね合わせ、更に輪郭付けした合成画像の例を示す図である。 第２の実施の形態にかかる画像合成装置のブロック図である。

（第１の実施の形態）
以下、本発明の実施の形態にかかる画像合成装置について説明する。図１は、第１の実施の形態にかかる画像合成装置を搭載した車両の概略図である。図１において、車両ＶＨのフロントガラスの内側に、可視光カメラ１、２が取り付けられ、車両ＶＨのフロントグリル付近に遠赤外光カメラが取り付けられている。第１の画像取得手段及び測距手段である可視光カメラ１、２は、垂直方向視点位置Ａにて、被写体ＯＢからの可視光を受光して画像信号として出力し、第２の画像取得手段である遠赤外光カメラ３は、垂直方向視点位置Ｂにて、遠赤外光を受光して画像信号として出力する。但し、ここでは、正面から見たときに遠赤外光カメラ３の視点の鉛直方向上方に、可視光カメラ１の視点があるものとする。カメラ１〜３の画像信号は、画像合成部１０に入力され、ここで画像処理された画像信号がモニタである表示装置４に出力されて、車両ＶＨの運転者が視認できる合成画像を表示するようになっている。画像合成装置は、カメラ１〜３と画像合成部１０とからなる。

図２は、本実施の形態にかかる画像合成装置のブロック図である。図２において、画像合成部１０は、３次元情報生成手段である３次元情報生成部１１，視点変換手段である視点変換部１２，被写体認識部１３，データ加工部１４，重畳手段である重畳部１５、視点データ部１９を含む。尚、これ以外に、第１動き検出部１６，第２動き検出部１７，動き比較部１８を含んでいて良い。

３次元情報生成部１１は、可視光カメラ１，２の画像信号に基づいて、ステレオカメラの原理により３次元情報を抽出する。図３は、ステレオカメラで対象物までの距離を測定する状態を示す図である。図３において、一対の撮像素子を備えた可視光カメラ１，２は、予め定める基線間隔Ｌだけ離間して、かつ光軸が相互に平行となるように配置される。可視光カメラ１，２で撮像された対象物の撮像画像は、例えば対応点探索手法であるＳＡＤ（Sum of Absolute Difference）法を用いて画素単位で対応点探索を行い、各可視光カメラ１，２間の左右方向における対象物に対する視差を求め、求められた視差に基づいて、以下の式に基づき対象物までの距離を求めることができる。

図３において、少なくとも焦点距離（ｆ）、撮像素子（ＣＣＤ）の画素数、１画素の大きさ（μ）が相互に等しい２台のカメラ１，２を用い、所定の基線長（Ｌ）だけ前記左右に離間させて光軸１Ｘ，２Ｘを平行に配置して被写体ＯＢを撮影する。このとき、図３（ａ）の例では、カメラ１の撮像面１ｂ上で被写体ＯＢの端部の画素番号（左端又は右端から数えるものとする）がｘ１，カメラ２における撮像面２ｂ上で同じ被写体ＯＢの端部の画素番号がｘ２であったとする（ｙは等しいと仮定）と、撮像面１ｂ，２ｂ上の視差（ずれ画素数）はｄ（＝ｘ１−ｘ２）であり、被写体ＯＢまでの距離（Ｚ）は、斜線を施して示す三角形が相似である。従って、
Ｚ：ｆ＝Ｌ：μ×ｄ＝L:(d1+d2)
の関係より、
Ｚ＝（Ｌ×ｆ）／（d1+d2）・・・（１）
で求めることができる。

視点変換部１２は、３次元情報生成部１１により得られた３次元情報に基づいて、視点座標や画角を計算し、可視光カメラ１，２の画像信号に対し、視点位置を変えるように画像処理を行う。この時、画角が異なる場合は、画角を合わせることもできる。視点変換については、例えば特開2008-099136号公報に記載がある。また、視点位置を変換するときには、視点データ部１９に記憶されている、あらかじめ設定された可視光カメラ１と遠赤外光カメラ３の相対位置データを参照して、視点位置を変換すると良い。視点を変換した可視光画像と遠赤外光画像とを合成することで、遠赤外光カメラの位置からみた可視光遠赤外光合成画像を生成する。尚、可視光画像の視点位置を、遠赤外光画像の視点位置に合わせても良いし、その逆でも良い。

被写体認識部１３は、例えば被写体の遠赤外値や、色・形などから、被写体の種類を識別して抽出する機能を有する。データ加工部１４は、被写体認識部１３で抽出された被写体の画像に枠等を形成する機能を有する。重畳部１５は、視点位置を一致させた画像を重ね合わせる機能を有する。重ね合わされた画像に基づく合成画像信号は、表示装置４に出力されて合成画像が表示される。

第１動き検出部１６，第２動き検出部１７，動き比較部１８を備える場合、第１動き検出部１６が、可視光カメラ１，２で撮影した被写体の動きを検出し、第２動き検出部１７が、遠赤外光カメラ３で撮影した被写体の動きを検出し、両者を動き比較部１８で比較することができる。可視光カメラ１、２と、遠赤外光カメラ３に同じ被写体が撮像されていると認識された場合は、この画像の動きを利用して、位置合わせの補正を行うことができる。つまり動き比較部１８が、可視光カメラ１，２の画像と遠赤外光カメラ３の画像のそれぞれの中の、同じ被写体が撮像されている領域を認識し、これらの位置のずれを計測する。ズレ量が基準以上であれば、視点データ部１９に記憶されている、視点変更のための位置データを修正する。定期的に補正を行うことで、径時変化による誤差を修正することができる。これにより、動きのある被写体についても、視点を一致させて違和感のない合成画像を得ることができる。

次に、具体例を挙げて、本実施の形態の動作について説明する。図４（ａ）は、遠赤外光カメラ３で夕暮れ時を撮影した画像（遠赤外光画像）であり、人物としての被写体ＨＭ１，ＨＭ２は発熱するので白っぽく写るが、道路や壁面、近年増加している発熱量が少ないＬＥＤ信号機などは明瞭に写らない。一方、図４（ｂ）は、可視光カメラ１で同じ被写体を同じタイミングで撮影した画像（可視光画像）である。夕暮れ時であるので全体的に被写体輝度が低く、自発光の信号機ＳＧのランプなどは明瞭に写るが、人物ＨＭ１，ＨＭ２などは明瞭に写らない。ここで、遠赤外光カメラ３の視点位置と、可視光カメラ１の視点位置とは鉛直方向に離れているため、図４から明らかなように、２つの画像の視点が異なる。よって、このまま両者を重ね合わせると、被写体のズレが生じる。

図５は、画像合成部１０の処理を示す概略図である。まず、３次元情報生成部１１は、可視光カメラ１，２からの画像信号を入力する。このときの画像信号により得られる一対の画像を図５（ａ）に示す。更に３次元情報生成部１１は、図３の原理を用いて３次元データを生成する。これにより得られる距離画像を図５（ｂ）に示す。その後、視点変換部１２が、生成された３次元データを利用して視点変換を行う。視点変換された距離画像を図５（ｃ）に示す。即ち、可視光カメラ１，２から得られた視差情報に基づいて、被写体までの距離情報を取得し、かかる測距情報を画面全体に適用することで被写体の３次元情報を取得できる。図５（ｂ）の距離画像と、図５（ｃ）の距離画像から距離に応じた被写体の移動すべき距離が分かるので、これを利用し、２次元画像データの被写体位置をずらすことで視点変換された２次元画像データを求める。かかる２次元画像データの画像を図５（ｄ）に示す。

以上により、可視光画像について視点変換が行われるので、図６に示すように、遠赤外光画像（ａ）の視点と、可視光画像（ｂ）の視点とが一致するようになる。よって、重畳部１５にて両者の画像信号を重ね合わせた場合に、合成画像における被写体距離が異なる被写体のズレが抑制され、合成画像を視認する者が違和感を抱くことがない。

図７は、遠赤外光画像に可視光画像を重ね合わせた合成画像の例を示す図である。図７では、人物ＨＭ１，ＨＭ２と、信号機ＳＧの赤ランプのみが明るく表示され、それ以外は暗くなっているので、運転者は注意すべき被写体を迅速且つ明瞭に識別できる。

図８は、可視光画像に遠赤外光画像を重ね合わせた合成画像の例を示す図である。図８では、薄暗い夕暮れ時の風景に、白っぽい人物ＨＭ１，ＨＭ２が浮き上がるように表示されるので、運転者は注意すべき被写体を迅速且つ明瞭に識別できる。

図９は、可視光画像の抽出物と、遠赤外光画像の抽出物のみを重ね合わせた合成画像の例を示す図である。図９では、被写体認識部１３が、可視光画像から例えば被写体の色や形から信号機ＳＧのみを抽出し、遠赤外光画像から、発熱して遠赤外線を放射しているため所定位置以上の輝度値を有する人物ＨＭ１，ＨＭ２のみを抽出し、重畳部１５がこれらをブラック背景上に埋め込むように合成表示しているので、運転者は注意すべき被写体を迅速且つ明瞭に識別できる。

図１０は、可視光画像に遠赤外光画像を重ね合わせ、更に輪郭付けした合成画像の例を示す図である。図１０では、被写体認識部１３が、可視光画像から例えば被写体の色や形から信号機ＳＧのみを抽出し、遠赤外光画像から発熱して遠赤外線を放射しているため所定位置以上の輝度値を有する人物ＨＭ１，ＨＭ２のみを抽出し、データ加工部１４が信号機ＳＧと人物ＨＭ１，ＨＭ２に枠付け（Ｆ１，Ｆ２，Ｆ３）した後、重畳部１５がこれらを合成表示しているので、運転者は注意すべき被写体を迅速且つ明瞭に識別できる。尚、抽出する被写体は以上に限られず、車両、標識、障害物などでも良い。

（第２の実施の形態）
図１１は、第２の実施の形態にかかる画像合成装置のブロック図である。図１１においては、ステレオカメラ方式ではなく、別個の距離検出装置（測距手段）５により、被写体までの距離を検出するようになっている。又、画像合成部２０は、３次元情報生成部２１，視点データ部２２，視点変換部２３，重畳部２４とを有する。

より具体的には、３次元情報生成部２１は、距離検出装置５からの信号に基づいて被写体距離を検出する。視点変換部２３は、第１情報取得装置（第１の画像取得手段）６からの画像信号を入力し、視点データ部２２に記憶されている、あらかじめ設定された第１情報取得装置６と第２情報取得装置７の相対位置データを参照して、視点位置を変換する。重畳部２４は、第２情報取得装置７（第２の画像取得手段）からの画像信号を入力し、視点位置が変換された第１情報取得装置６の画像信号と重ね合わせるように合成する。合成された画像信号は、画像合成部２０から出力され、表示装置４（図２）などによって表示される。

ここで、距離検出装置５は、光切断法やＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）などにより赤外光などを投射して被写体距離を検出するものであって良い。又、第１情報取得装置６は、可視光カメラや赤外光カメラなどでもよい。更に、第２情報取得装置７は、遠赤外光カメラやミリ波レーダー、レーザーレーダーなどでもよい。

例えば、自動車の障害物検知においては、横からの飛びだし等に対応するために可能な限り高速での処理が要求される。一般に３次元処理はデータ量が多くなり、処理負荷が大きくなる。可視光カメラ、遠赤外光カメラともステレオ化し、それぞれ３次元データを生成し、これを合成する方法もあるが、処理負荷が大きくなり、フレームレートの低下を招くなど検知能力が低下する恐れがあるから、本実施の形態のように可視光ステレオカメラと単眼遠赤外光カメラとを用いる構成が望ましい。

また、可視光カメラの代わりに近赤外光カメラを用いても良いし、可視光および近赤外光に感度を持ったカメラを用いても良い。

なお、本発明は、本明細書に記載の実施の形態に限定されるものではなく、他の実施の形態や変形例を含むことは、本明細書に記載された実施の形態や技術的思想から本分野の当業者にとって明らかである。

本発明は、例えば車載カメラやロボット搭載カメラ等に特に有効であるが、用途はそれに限られない。

１、２ 可視光カメラ
３ 遠赤外光カメラ
４ 表示装置
５ 距離検出装置
６ 第１情報取得装置
７ 第２情報取得装置
１０ 画像合成部
１１ ３次元情報生成部
１２ 視点変換部
１３ 被写体認識部
１４ データ加工部
１５ 重畳部
１６ 第１動き検出部
１７ 第２動き検出部
１８ 動き比較部
１９ 視点データ部
２０ 画像合成部
２１ ３次元情報生成部
２２ 視点データ部
２３ 視点変換部
２４ 重畳部
ＶＨ 車両

Claims (10)

1. 第１の波長領域の電磁波を利用して被写体情報を取得して、被写体に関する第１の画像情報を生成する第１の画像取得手段と、
   前記第１の画像取得手段とは異なる視点から、前記第１の波長領域と異なる第２の波長領域の電磁波を利用して被写体情報を取得して、前記被写体に関する第２の画像情報を生成する第２の画像取得手段と、
   前記被写体までの距離情報を求める測距手段と、
   前記被写体までの距離情報に基づいて、被写体の３次元情報を生成する３次元情報生成手段と、
   生成された前記被写体の３次元情報に基づいて、前記第１の画像情報に基づく画像と前記第２の画像情報に基づく画像とにおける撮影視点が互いに合致するように、少なくとも一方の画像にかかる画像情報を処理する視点変換手段と、
   を有することを特徴とする画像取得装置。
2. 前記視点変換手段により視点変換処理が行われた前記第１の画像と前記第２の画像とを重ね合わせるように、前記第１の画像情報と前記第２の画像情報とを重畳する重畳手段を有することを特徴とする請求項１に記載の画像合成装置。
3. 前記視点変換手段により視点変換処理が行われた前記第１の画像と前記第２の画像から特定の情報を抽出し、これらを重畳する重畳手段を有することを特徴とする請求項１に記載の画像合成装置。
4. 前記重畳手段は、前記第２の画像情報における所定値以上の輝度値を有する被写体情報を抽出し、その被写体情報を前記第１の画像情報に挿入することを特徴とする請求項２または３に記載の画像合成装置。
5. 前記重畳手段は、前記第１の画像情報から特定の色又は形状を有する被写体情報を抽出し、その被写体情報を前記第２の画像情報に挿入することを特徴とする請求項２乃至４のいずれか１項に記載の画像合成装置。
6. 前記重畳手段は、前記第１の画像情報から特定の色又は形状を有する被写体情報を抽出し、前記第２の画像情報における所定値以上の輝度値を有する被写体情報を抽出し、抽出した被写体情報を別の背景画像情報に挿入することを特徴とする請求項２乃至４のいずれか１項に記載の画像合成装置。
7. 前記抽出した被写体情報に対して、所定の情報を付与することを特徴とする請求項４乃至６のいずれか１項に記載の画像合成装置。
8. 前記測距手段は、複数の前記第１の画像取得手段又は前記第２の画像取得手段から得られた視差情報に基づいて、被写体までの距離情報を取得し、前記３次元情報生成手段は、前記測距情報を画面全体に適用することで、被写体の３次元情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像合成装置。
9. 前記測距手段は、電磁波を被写体に投射し、反射してくる時間または方向を計測することにより前記被写体までの距離を測定し、前記３次元情報生成手段は、前記被写体までの距離に基づいて、被写体の３次元情報を取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像合成装置。
10. 第１の波長領域の電磁波は可視光または近赤外光または可視光と近赤外光であり、前記第２の波長領域の電磁波は遠赤外光であることを特徴とする請求項１乃至９のいずれか１項に記載の画像合成装置。

Images