WO2005088970A1

WO2005088970A1 - 画像生成装置、画像生成方法、および画像生成プログラム

Info

Publication number: WO2005088970A1
Application number: PCT/JP2005/002976
Authority: WO
Inventors: Takashi Miyoshi; Hidekazu Iwaki; Akio Kosaka
Original assignee: Olympus Corporation
Priority date: 2004-03-11
Filing date: 2005-02-24
Publication date: 2005-09-22
Also published as: US20070003162A1; US20100054580A1

Abstract

　視点変換手段によって生成された視点変換画像データ、撮像画像を表わす撮像画像データ、空間モデル、およびマッピングされた空間データの何れかに基づいて、カメラを搭載した車両等のモデルである撮像装置配置物体モデルと空間モデルとの距離を算出する距離算出手段を備え、３次元空間における任意の仮想視点から見た画像を表示する際、距離算出手段によって算出した距離に応じて、画像の表示形態を異ならせて表示することにより、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、３次元空間における任意の仮想視点から見た画像として表示する際、車両等と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供する。

Description

明細書

画像生成装置、画像生成方法、および画像生成プログラム

技術分野

[0001] 本発明は、車両等の物体に取り付けられた 1台または複数台のカメラで撮影した複数枚の画像に基づいて、上記撮影した各エリアに対応する画像データに基づいて合成した画像を表示するに際し、上記物体と撮影した画像との関係が直感的に分かるように表示するための画像データを生成する画像生成装置、画像生成方法、および画像生成プログラムに関する。

[0002] また、本発明は、 1台乃至数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなぐ前記 1台乃至数台のカメラで撮影しているェリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関し、たとえば、店舗におけるモニタ装置、あるいは車両運転の際の安全確認の補助としての車両周囲モニタ装置等に応用して好適な技術に関する。

背景技術

[0003] 従来、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を監視する監視力メラ装置は、 1台または複数台のカメラで監視対象を撮影し、その画像をモニタ装置に表示していた。このような監視カメラ装置において、カメラが複数台あるにも関わらずモニタ装置がカメラ台数よりも少ない場合、例えば、カメラが 2台あるにも関わらずモニタ装置が 1台の場合、撮影した複数のカメラ画像を統合して 1台のモニタ装置に表示したり、順次切り替えて表示したりしていた。しかし、このような監視カメラ装置では、それぞれのカメラからの画像を監視するには、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの問題があった。

[0004] この問題を解決する方法として、近年、複数のカメラで撮影した画像を見やすく表示する画像生成装置が開示されている (例えば、特許文献 1参照。）。この特許文献 1 では、複数のカメラで撮影した領域 (例えば、車両近辺）の画像を連続的な 1枚の画像として合成し、その合成した画像を表示させる画像生成装置を開示している。すなわち、特許文献 1には、車両等に取り付けられた 1台もしくは複数台のカメラからの入力画像を、 3次元空間の予め定められた空間モデルにマッピングし、そのマッピングされた空間データを参照して、上記 3次元空間における任意の仮想視点から見た画像を作成して表示することにより、あた力も仮想視点から実際に見ているような感覚を持つ合成画像を表示する監視カメラ装置に関する技術が開示されている。

[0005] このようにすることで、車両に設置された装置では、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだけ現実に近いように分力易く一枚の画像として合成し、運転者にその画像を提供することができる。また、この際、視点変換手段により、運転者の所望の視点からの画像を表示させることが可能である。特許文献 1：特許第 3286306号公報

発明の開示

[0006] し力ながら、上記のような従来の監視カメラ装置においては、カメラを取り付けた車両等の撮像手段配置物体とそのカメラが撮影した監視対象との関係が分力り難いという問題点があった。

[0007] 本発明は、上記従来技術の欠点に鑑みてなされたもので、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、 3次元空間における任意の仮想視点から見た画像として表示する際、上記車両等の撮像手段配置物体と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供することを目的とする。

[0008] また、特許文献 1では、複数のカメラで撮影した領域 (例えば、車両近辺）の画像を連続的な:!枚の画像として合成し、その合成した画像を仮想の 3次元空間モデルにマッピングして、そのマッピングしたデータを仮想的に 3次元上で視点を変えた画像（仮想視点画像）をどのようにして生成するかに主題をおいた技術であり、その表示の方法や表示形態等についてユーザインターフェースにおける利便性を向上させるとレ、うことについては十分に具体的な提案をするものではない。

[0009] よって、本発明では、仮想視点画像をユーザの利便性を考慮して表示させる画像生成装置を提供する。

本発明は、上記課題を解決するため、下記のような構成を採用した。

[0010] すなわち、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、上記撮像手段によつて撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づレ、て、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの距離を算出する距離算出手段をさらに備え、上記表示手段が、上記距離算出手段によって算出した距離に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0011] また、本発明の画像生成装置は、上記表示手段が、上記距離算出手段によって算出した距離が所定値以上の場合、上記画像を一体化した背景モデルとして表示することが望ましい。

[0012] また、本発明の画像生成装置は、上記表示手段が、表示する画像中に上記距離算出手段によって算出した距離が所定値以上の部分が含まれている場合、上記画像の当該部分をぼかして表示することが望ましレ、。

[0013] また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であつて、異なる時刻に対応した、上記視点変換手段によって生成された 2時刻における視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの相対速度を算出する相対速度算出手段をさらに備え、上記表示手段が、上記相対速度算出手段によって算出した相対速度に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0014] また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であつて、異なる時刻に対応した、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マツピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、上記表示手段が、上記衝突可能性算出手段によって算出した衝突可能性に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0015] また、本発明の画像生成装置は、上記表示手段が、上記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、上記画像を一体化した背景モデルとして表示することが望ましレ、。

[0016] また、本発明の画像生成装置は、上記表示手段が、上記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、上記画像をぼかして表示することが望ましい。

また、本発明の画像生成装置は、上記表示手段が、当該表示形態として色によつて表示情報の意味が認識されるような形態をとりうるように構成されたものであることが望ましい。

[0017] また、本発明の画像生成装置は、上記表示手段が、上記距離算出手段によって算出された距離に応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることが望ましい。

[0018] また、本発明の画像生成装置は、上記表示手段が、上記距離算出手段によって算出された距離がその値に応じて区分された複数の階層のうちの何れの階層に該当するかに応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることが望ましい。

[0019] また、本発明の画像生成装置は、上記撮像手段が、車両に取り付けられたことが望ましい。

また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデノレ、および上記マッピングされた空間データの何れかに基づレ、て当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの距離をさらに算出し、上記表示が、上記算出した距離に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0020] また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの相対速度をさらに算出し、上記表示が、上記算出した相対速度に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0021] また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとが衝突する可能性をさらに算出し、上記表示が、上記算出した衝突する可能性に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0022] また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの距離を算出する手順をさらに備え、上記表示する手順が、上記算出した距離に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0023] また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づレ、て、上記 3次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの相対速度を算出する手順をさらに備え、上記表示が、上記算出した相対速度に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0024] また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間との衝突する可能性をさらに算出する手順をさらに備え、上記表示が、上記算出した衝突可能性応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

[0025] また、本発明の一態様によれば、本発明の画像生成装置は、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記車両の動作状況を検知する車両動作検知手段と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて 3次元空間における仮想視点を設定する仮想視点設定手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像の表示形態を制御する表示制御手段とを備えることを特徴とする。

[0026] このように構成することによって、車両の動作状況に応じて運転者の死角となる部分の仮想視点画像を表示することができる。

また、本発明の画像生成装置は、前記表示制御手段が、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることが望ましレ、。

[0027] このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。

また、本発明の画像生成装置は、前記表示制御手段が、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることが望ましレ、。

[0028] このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。

また、本発明の画像生成装置は、前記仮想視点設定手段が、当該死角情報として、前記車両に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記 3次元空間における仮想視点を適応的に設定するように構成されたものであることが望ましい。

[0029] このように構成することによって、操作に応じて変化する死角の発生傾向に応じて、仮想視点画像を表示させることができる。

また、本発明の一態様によれば、本発明の画像生成装置は、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段とを備えることを特徴とする。

[0030] このように構成することによって、運転者の死角となる障害物に、その障害物がなかつた場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。

[0031] また、本発明の一態様によれば、本発明の画像生成装置は、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表形態を制御して、乗車者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段とを備えることを特徴とする。

[0032] このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。

[0033] また、本発明の画像生成装置は、前記表示制御手段により表示される前記仮想視点画像が、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることが望ましレ、。

[0034] このように構成することによって、本来死角となって見通し不能な景観の仮想視点画像とそうでない景観の仮想視点画像とを区別することができる。

また、本発明の画像生成装置は、前記表示制御手段が、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることが望ましい。

[0035] このように構成することによって、凸面ミラー効果を持たせることができる。

また、本発明の一態様によれば、本発明の画像生成プログラムは、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記車両の動作状況を検知する車両動作検知処理と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて 3次元空間における仮想視点を設定する仮想視点設定処理と、前記空間再構成処理によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像を表示する表示処理とをコンピュータに実行させるための画像生成プログラムである。

[0036] このように構成することによって、車両の動作状況に応じて運転者の死角となる部分の仮想視点画像を表示することができる。

また、本発明の一態様によれば、本発明の画像生成プログラムは、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、 3 次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理とをコンビユータに実行させるための画像生成プログラムである。

[0037] このように構成することによって、運転者の死角となる障害物に、その障害物がなかつた場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。

[0038] また、本発明の一態様によれば、本発明の画像生成プログラムは、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理とをコンピュータに実行させるための画像生成プログラムである。 [0039] このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。

[0040] また、本発明の一態様によれば、本発明の画像生成方法は、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成ェ程と、前記車両の動作状況を検知する車両動作検知工程と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて 3次元空間における仮想視点を設定する仮想視点設定工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像を表示する表示工程とを行うことを特徴とする。

[0041] このように構成することによって、車両の動作状況に応じて運転者の死角となる部分の仮想視点画像を表示することができる。

また、本発明の一態様によれば、本発明の画像生成方法は、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成ェ程と、前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程とを行うことを特徴とする。

[0042] このように構成することによって、運転者の死角となる障害物に、その障害物がなかつた場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。

[0043] また、本発明の一態様によれば、本発明の画像生成方法は、車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成ェ程と、前記空間再構成工程によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じなレ、ように充足された該仮想視点画像を表示する表示制御工程とを行うことを特徴とする。

[0044] このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。

[0045] また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知手段と、前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて ₃次元空間における仮想視点を設定する仮想視点設定手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像の表示形態を制御する表示制御手段とを備えることを特徴とする。

[0046] このように構成することによって、撮像手段配置物体の動作状況に応じてユーザの死角となる部分の仮想視点画像を表示することができる。

[0047] このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。

[0048] このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。また、本発明の画像生成装置は、前記仮想視点設定手段は、当該死角情報として、前記撮像手段配置物体に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記 3次元空間における仮想視点を適応的に設定するように構成されたものであることが望ましい。

[0049] このように構成することによって、操作に応じて変化する死角の発生傾向に応じて、仮想視点画像を表示させることができる。

また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段とを備えることを特徴とする。

[0050] このように構成することによって、ユーザの死角となる障害物に、その障害物がなかつた場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。

[0051] また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表形態を制御して、観察者が前記表示手段を見た場合に、該表示手段によつて仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じなレ、ように充足された該仮想視点画像を表示する表示手段と、を備えることを特徴とする。

[0052] このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。

[0053] また、本発明の画像生成装置は、前記表示制御手段により表示される前記仮想視点画像が、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることが望ましレ、。

[0054] このように構成することによって、本来死角となって見通し不能な景観の仮想視点画像とそうでない景観の仮想視点画像とを区別することができる。

[0055] このように構成することによって、凸面ミラー効果を持たせることができる。

また、本発明の一態様によれば、本発明の画像生成プログラムは、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成処理と、前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知処理と、前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて前記 3次元空間における仮想視点を設定する仮想視点設定処理と、前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像を表示する表示処理とをコンピュータに実行させるための画像生成プロダラムである。

[0056] このように構成することによって、撮像手段配置物体の動作状況に応じてユーザの死角となる部分の仮想視点画像を表示することができる。

また、本発明の一態様によれば、本発明の画像生成プログラムは、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理とをコンピュータに実行させるための画像生成プログラムである。

[0057] このように構成することによって、ユーザの死角となる障害物に、その障害物がなかつた場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。

[0058] また、本発明の一態様によれば、本発明の画像生成プログラムは、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じなレ、ように充足された該仮想視点画像を表示する表示制御処理とコンビユータに実行させるための画像生成プログラムである。

[0059] このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。

[0060] また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知工程と、前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて ₃次元空間における仮想視点を設定する仮想視点設定工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像を表示する表示工程とを行うことを特徴とする。

[0061] このように構成することによって、撮像手段配置物体の動作状況に応じてユーザの死角となる部分の仮想視点画像を表示することができる。また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程とを行うことを特徴とする。

[0062] このように構成することによって、ユーザの死角となる障害物に、その障害物がなかつた場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。

[0063] また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程とを行うことを特徴とする。

[0064] このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。

図面の簡単な説明

[0065] [図 1]測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。

[図 2]撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。園 3]測距装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。

園 4]車両を運転するドライバーから観察され得る視野の様子を示す図である。

[図 5]2物体間の相対距離に応じて画像の表示形態を異ならせて表示した表示例を示す図である。

園 6]撮像装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。

園 7]測距装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。

[図 8]2物体間の相対速度に応じて画像の表示形態を異ならせて表示した表示例を示す図である。

園 9]撮像装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。

園 10]測距装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。

園 11]衝突可能性の算出例を説明するための自車両と他の車両との関係を示す図である。

園 12]衝突可能性の算出例を説明するための相対ベクトルを示す図である。

[図 13]2物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。

園 14]撮像装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。

園 15]視点変換画像において物体間の距離が分かるように表示するための画像生成処理の流れを示すフローチャートである。

園 16]視点変換画像において物体間の相対速度が分かるように表示するための画像生成処理の流れを示すフローチャートである。

園 17]視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成処理の流れを示すフローチャートである。 [図 18]屋内の監視カメラに適用した場合の実施の形態を説明するための図である。園 19]第 3の実施の形態における画像生成装置 10000を示す図である。

園 20]第 3の実施の形態における仮想視点画像の表示フローを示す図である。

園 21]第 3の実施の形態における運転者の運転動作に基づいて、運転者の死角を検出する一例を示す図である。

園 22]第 3の実施の形態における車両の動作状況のモードの一例を示す図である。園 23]第 4の実施の形態における画像生成装置を用いた場合の一例を説明するための図（その 1)である。

園 24]第 4の実施の形態における画像生成装置を用いた場合の一例を説明するための図（その 2)である。

園 25]第 4の実施の形態における仮想視点画像の表示フローを示す図である。

園 26]第 5の実施の形態における画像生成装置 10000を示す図である。

[図 27]第 5の実施の形態における表示手段に表示される画像の表示形態を示す図（その 1)である。

[図 28]第 5の実施の形態における表示手段に表示される画像の表示形態を示す図（その 2)である。

[図 29]第 6の実施の形態における画像生成装置を HMD (ヘッドマウントディスプレイ )に適用した場合の一例を示す図（その 1)である。

[図 30]第 6の実施の形態における画像生成装置を HMD (ヘッドマウントディスプレイ )に適用した場合の一例を示す図（その 2)である。

園 31]第 3乃至第 6の実施の形態における画像生成装置のハードウェア環境の構成ブロック図である図である。

発明を実施するための最良の形態

以下、図面を参照しながら本発明の実施の形態について述べる。

なお、本発明は、特許文献 1に開示されている技術的内容を取り込んでいる。

<第 1の実施の形態 >

まず、図 1および図 2を用いて、複数台のカメラで撮影した画像データに基づいて仮想的な視点から見る画像を生成し、その仮想視点からの画像を表示する画像生成装置について説明する。なお、図示の例では複数台のカメラを用いている力 S、 1台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにしてもよレ、。また、このカメラ乃至これらのカメラは、撮像手段配置物体としての車両、部屋 (その特定の部位等）、建物等に設置される。この点は、以下に述べる各例について同様である。

[0067] 図 1は、測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。

図 1において、画像生成装置 100は、測距装置 101、空間モデル生成装置 103、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、および表示装置 114を備える。

[0068] 測距装置 101は、距離を計測する距離センサを用いて目標物体（障害物）までの距離を計測する。例えば、車両に取り付けられた場合は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を、上記距離センサを用いて計測する。

[0069] 空間モデル生成装置 103は、上記測距装置 101が計測した距離画像データ 102 に基づいて、 3次元空間の空間モデル 104を生成し、それをデータベース (概念を実体の如く図示。以下同様。）に格納する。なお、空間モデル 104は、上述のように別途のセンサによる計測データに基づいて生成されたもの、あるいは、予め決められた所定のもの、乃至は、その場で複数の入力画像から生成されたものであり、それらのデータがデータベースに格納される。

[0070] 撮像装置 107は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ 108としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置 107は、車両周囲の画像を撮影する。

[0071] 空間再構成装置 109は、上記撮像装置 107によって撮像された撮像画像データ 1 08を、上記空間モデル生成装置 103で生成した空間モデル 104にマッピングする。そして、空間モデル 104に撮影画像データ 108をマッピングしたデータは、空間データ 111としてデータベースに格納する。

[0072] キャリブレーション装置 105は、例えば、温度によるレンズ歪みの補正を行うために、撮像装置 107の取り付け位置、取り付け角度、レンズ歪み補正値、レンズの焦点距離などといったパラメータを、入力することによって、あるいは計算することによって得る。すなわち、撮像装置 107がカメラであれば、カメラキャリブレーションを行う。カメラキャリブレーションとは、 3次元実世界に配置されたカメラについての、その 3次元実世界における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、上記カメラ特性を表すカメラパラメ一タを決定、補正することである。

[0073] 視点変換装置 112は、上記空間再構成装置 109によってマッピングされた空間データ 111に基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データ 113を生成し、それをデータベースに格納する。

[0074] 表示装置 114は、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する図 2は、撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。

[0075] 図 2において、画像生成装置 200は、測距装置 201、空間モデル生成装置 103、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、および表示装置 114を備える。

[0076] 画像生成装置 200が、図 1を用いて説明した画像生成装置 100と異なるのは、測距装置 101の代わりに測距装置 201を備えている点である。以下、測距装置 201を中心とした説明をし、その他の構成要素については図 1を用いた説明と同様であるので省略する。

[0077] 測距装置 201は、撮影装置 107で撮影した撮影画像データ 108に基づいて、障害物までの距離を計測する。また、測距装置 101と同様、距離を計測する距離センサを用いて障害物までの距離を計測したデータと合わせて距離画像データ 202としても良い。

[0078] そして、空間モデル生成装置 103は、上記測距装置 201が計測した距離画像データ 202に基づいて、 3次元空間の空間モデル 104を生成し、それをデータベースに格納する。

[0079] 次に、図 3乃至図 6を用いて、仮想視点からの画像を表示する際に、表示する物体の表示形態を、 2物体間の相対的な距離に応じて異ならせることができる画像生成装置について説明する。この画像生成装置は、図 1または図 2を用いて説明した画像生成装置に適用することができる。

[0080] 図 3は、測距装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。

図 3において、画像生成装置 300は、測距装置 101、空間モデル生成装置 103、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、表示装置 314、および距離算出装置 315を備える。

[0081] 画像生成装置 300が、図 1を用いて説明した画像生成装置 100と異なるのは、距離算出装置 315を備えている点、および表示装置 114の代わりに表示装置 314を備えている点である。以下、距離算出装置 315および表示装置 314を中心とした説明をし、その他の構成要素については図 1を用いた説明と同様であるので省略する。

[0082] 距離算出装置 315は、上記視点変換装置 112によって生成された視点変換画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れかに基づレ、て、当該撮像装置配置物体のモデルである撮像装置配置物体モデル 110と上記空間モデル 104との距離を算出する。例えば、撮像画像データ 108と撮像装置配置物体モデル 110とを用いて、撮像装置配置物体モデル 110と上記空間モデル 104との距離を算出する場合は、複数の撮像装置 107を用いてステレオ視することにより求めることができる。

[0083] そして、上記表示装置 314は、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、 3次元空間における任意の仮想視点から見た画像を表示する際に、上記距離算出装置 315によって算出した距離に応じて、上記画像の表示形態を異ならせて表示する。

[0084] なお、表示装置 114は、上記距離算出装置 315によって算出した距離が所定値以上の場合、その画像を一体化した背景モデルとして表示してもよいし、表示する画像中に上記距離算出装置 315によって算出した距離が所定値以上の部分が含まれてレ、る場合、その画像の当該部分をぼかして表示してもよレ、。

[0085] また、上記表示装置 114は、上記距離算出装置 315によって算出された距離に応じて、表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するようにしてもよいし、さらに、上記距離算出装置 315によって算出された距離がその値に応じて区分された複数の階層のうちの何れの階層に該当するかに応じて、表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するようにしてもょレ、。

[0086] また、上記表示装置 114は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。

ここで、図 4および図 5を用いて、画像生成装置 300を車両の周辺を監視するシステムとして適用した場合について説明する。

[0087] 図 4は、車両を運転するドライバーから観察され得る視野の様子を示す図である。

ドライバーからは、道路上に車両 A、車両 B、および車両 Cの 3台の車両が見えている。

[0088] 車両には、車両周囲に存在する障害物までの距離を計測する距離センサ (測距装置 101)と、車両周囲の画像を撮影する複数台のカメラ (撮像装置 107)とが取り付けられている。

[0089] 空間モデル生成装置 103は、距離センサが計測した距離画像データ 102に基づいて、 3次元空間の空間モデル 104を生成し、それをデータベースに格納する。そして、カメラは、車両周辺の画像を撮像し、撮影画像データ 108としてデータベースに格納する。

[0090] 空間再構成装置 109は、カメラによって撮像された撮像画像データ 108を、上記空間モデル生成装置 103で生成した空間モデル 104にマッピングし、空間データ 111 としてデータベースに格納する。

[0091] 視点変換装置 112は、上記空間再構成装置 109によってマッピングされた空間データ 111に基づいて、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ 113を生成し、それをデータベースに格納する。

[0092] 距離算出装置 315は、上記視点変換装置 112によって生成された視点変換画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れかに基づレ、て、当該車両をモデル化したデータである撮像装置配置物体モデル 110と上記空間モデル 104との距離を算出する。例えば、当該車両と前方の他の車両との距離を算出する。

[0093] そして、上記表示装置 314は、通常車両内に設置され、例えば、カーナビグーションシステムのモニタと共用して、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する際に、上記距離算出装置 315によって算出した距離に応じて、上記画像の表示形態を異ならせて表示する。例えば、前方に他の車両が複数台ある場合には、当該車両（自車両）と他の車両との距離に応じて、異なる色で他の車両を表示したり、異なる点滅間隔で点滅表示したりする。

[0094] 図 5は、 2物体間の相対距離に応じて画像の表示形態を異ならせて表示した表示例を示す図である。

図 5において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車両8、物体 Cは車両 Cの視点変換画像である。そして、自車両と、車両 A、車両 Bおよび車両 Cとの距離に応じて、物体 A、物体 B、物体 Cの表示形態が異なっている。例えば、自車両との距離が 3台の他の車両の中で最も近い車両 Aの視点変換画像である物体 Aは赤色で表示され、次に近い車両 Bの視点変換画像である物体 Bは、黄色で表示され、最も遠い車両 Cの視点変換画像である物体 Cは緑色で表示される。

[0095] 図 6は、撮像装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。

図 6において、画像生成装置 600は、測距装置 201、空間モデル生成装置 103、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、表示装置 314、および距離算出装置 315を備える。

[0096] 画像生成装置 600が、図 3を用いて説明した画像生成装置 300と異なるのは、測距装置 101の代わりに測距装置 201を備えている点である。なお、測距装置 201にっレ、ては、図 2を用いてレ、るので説明は省略する。

[0097] 次に、図 7乃至図 9を用いて、仮想視点からの画像を表示する際に、表示する物体の表示形態を、 2物体間の相対的な速度に応じて異ならせることができる画像生成装置について説明する。この画像生成装置は、図 1または図 2を用いて説明した画像生成装置に適用することができる。

[0098] 図 7は、測距装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。

図 7において、画像生成装置 700は、測距装置 101、空間モデル生成装置 103、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、表示装置 714、および相対速度算出装置 715を備える。

[0099] 画像生成装置 700が、図 1を用いて説明した画像生成装置 100と異なるのは、相対速度算出装置 715を備えている点、および表示装置 114の代わりに表示装置 714 を備えている点である。以下、距離算出装置 715および表示装置 714を中心とした説明をし、その他の構成要素については図 1を用いた説明と同様であるので省略する。

[0100] 相対速度算出装置 715は、異なる時刻に対応した、上記視点変換装置 112によつて生成された 2時刻における視点変換画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 11 1の何れかに基づレ、て、当該撮像装置配置物体のモデルである撮像装置配置物体モデル 110と上記空間モデル 104との相対速度を算出する。

[0101] そして、上記表示装置 714は、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、 3次元空間における任意の仮想視点から見た画像を表示する際に、上記相対速度算出装置 715によって算出した相対速度に応じて、上記画像の表示形態を異ならせて表示する。

[0102] なお、表示装置 714は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよレ、。

ここで、図 4および図 8を用いて、画像生成装置 700を車両の周辺を監視するシステムとして適用した場合について説明する。

[0103] 上述したように、図 4は、車両を運転するドライバーから観察され得る視野の様子を示す図であり、ドライバーからは、道路上に車両 A、車両 B、および車両 Cの 3台の車両が見えている。

[0104] 車両には、車両周囲に存在する障害物までの距離を計測する距離センサ (測距装置 101)と、車両周囲の画像を撮影する複数台のカメラ (撮像装置 107)とが取り付けられており、空間モデル生成装置 103、空間再構成装置 109、および視点変換装置 112によって、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ 113を生成し、それをデータベースに格納する。

[0105] 相対速度算出装置 715は、異なる時刻に対応した、上記視点変換装置 112によつて生成された 2時刻における視点変換画像データ 108、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 11 1の何れかに基づレ、て、当該撮像装置配置物体のモデルである撮像装置配置物体モデル 110と上記空間モデル 104との相対速度を算出する。例えば、当該車両と前方の他の車両との相対速度を算出する。

[0106] そして、上記表示装置 714は、通常車両内に設置され、例えば、カーナビゲーションシステムのモニタと共用して、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する際に、上記相対速度算出装置 715によって算出した相対速度に応じて、上記画像の表示形態を異ならせて表示する。例えば、前方に他の車両が複数台ある場合には、当該車両（自車両）と他の車両との相対速度に応じて、異なる色で他の車両を表示したり、異なる点滅間隔で点滅表示したりする。

[0107] 図 8は、 2物体間の相対速度に応じて画像の表示形態を異ならせて表示した表示例を示す図である。

図 8において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車両物体 Cは車両 Cの視点変換画像である。そして、自車両と、車両 A、車両 Bおよび車両 Cとの相対速度に応じて、物体 A、物体 B、物体 Cの表示形態が異なっている。例えば、自車両との相対速度が 3台の他の車両の中で最も速レ、（大きレ、）車両 Bの視点変換画像である物体 Bは赤色で表示され、次に早い車両 Aの視点変換画像である物体 Aは、黄色で表示され、最も遅レ、（小さい）車両 Cの視点変換画像である物体 Cは緑色で表示される。 [0108] 図 9は、撮像装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。

図 9において、画像生成装置 900は、測距装置 201、空間モデル生成装置 103、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、表示装置 714、および相対速度算出装置 715を備える。

[0109] 画像生成装置 900が、図 7を用いて説明した画像生成装置 700と異なるのは、測距装置 101の代わりに測距装置 201を備えている点である。なお、測距装置 201にっレ、ては、図 2を用いてレ、るので説明は省略する。

[0110] 次に、図 10乃至図 14を用いて、仮想視点からの画像を表示する際に、表示する物体の表示形態を、 2物体が衝突する可能性に応じて異ならせることができる画像生成装置について説明する。この画像生成装置は、図 1または図 2を用いて説明した画像生成装置に適用することができる。

[0111] 図 10は、測距装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。

図 10において、画像生成装置 1000は、測距装置 101、空間モデル生成装置 103 、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 10 9、視点変換装置 112、表示装置 1014、および衝突可能性算出装置 1015を備える

[0112] 画像生成装置 1000が、図 1を用いて説明した画像生成装置 100と異なるのは、衝突可能性算出装置 1015を備えている点、および表示装置 114の代わりに表示装置 1014を備えている点である。以下、衝突可能性算出装置 1015および表示装置 101 4を中心とした説明をし、その他の構成要素については図 1を用いた説明と同様であるので省略する。

[0113] 衝突可能性算出装置 1015は、異なる時刻に対応した、上記視点変換装置 112によって生成された視点変換画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れ力、に基づいて、当該撮像装置配置物体のモデルである撮像装置配置物体モデル 1 10と上記空間モデル 104とが衝突する可能性を算出する。衝突する可能性は、例えば、 2つの物体のそれぞれの移動方向および移動速度力容易に求めることができる。

[0114] そして、上記表示装置 1014は、上記視点変換装置 112によって生成された視点変換画像データ 113に基づレ、て、 3次元空間における任意の仮想視点から見た画像を表示する際に、上記衝突可能性算出装置 1015によって算出した衝突可能性に応じて、上記画像の表示形態を異ならせて表示する。

[0115] 上述した図 4に示した例では、算出した衝突可能性に応じて、衝突する危険性の高い順に、赤色、黄色、緑色、青色で表示しているが、単純に、距離または相対速度に基づレ、てこれらの色を異ならせて表示しても良レ、。

[0116] 例えば、自車両と距離的に近いガードレール部分を赤色で表示し、自車両から遠いガードレール (例えば、反対車線側）を青色で表示する。また、道路面は自車両を含む車両自体が走行する領域であるので、自車両との距離が近くとも青色乃至緑色で表示する。

[0117] 視点変換画像した対象物のうち、他の車両については、相対速度や距離等に基づいて衝突可能性を算出し、算出した際の衝突可能性に高い車両を赤色で表示し、衝突可能性の低レ、車両を緑色で表示するなど、衝突可能性の変化に応じて他の車両の色を変化させて表示する。

[0118] 次に、図 11および図 12を用いて衝突可能性の算出例を説明する。

図 11は、衝突可能性の算出例を説明するための自車両と他の車両との関係を示す図であり、図 12は、衝突可能性の算出例を説明するための相対ベクトルを示す図である。

[0119] 図 11に示すように、右側の車線を図面上方へ走行している自車両 Mと、自車両 M の左側の車線を同じく図面上方へ走行しながら車線変更をしてくる車両〇nとの関係を例として考えると、下記のようになる。

[0120] すなわち、車両 On (V )と自車両 M (V )との間の相対ベクトル V を求め、その

On On- M

大きさ I V Iを車両 Onと自車両 Mとの間の距離 D で除算した値（ | V

On- M On- M On- M I )

/D を衝突可能性として用いる。また、より近距離で衝突可能性が高いと考える

On- M

場合、 D で除算する変わりに D の平方 (D ) ²で除算することによって感度を

On— M On— M On— M 高めるなどして、衝突可能性を求めても良い。

[0121] 本実施の形態では、色相の違いにより衝突の危険性の高い領域を、自車両と他の物体との距離、相対速度、またこれらから算出される衝突可能性に基づいて、視点変換した画像の表示を変化させる。

[0122] また、視点変換画像をボケ表示させることにより、衝突可能性の程度を示しても良い

。例えば、距離、相対速度、あるいは衝突可能性に基づいて、衝突する危険性の低レ、ものはある程度ぼ力、して表示し、より危険性の高いものはぼかさずにくっきりと表示することにより、衝突する危険性の高いものを認識し易くする。

[0123] これにより、より直感的に運転者や歩行者に衝突の危険性を認知させ、安全な走行あるいは歩行の実現を補助することが出来る。

なお、上記表示装置 1014は、上記衝突可能性算出装置 1015によって算出した衝突可能性が所定値以下の場合、その画像を一体化した背景モデルとして表示してもよレ、し、その画像をぼ力して表示してもよい。

[0124] また、上記表示装置 1014は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。

ここで、図 4および図 13を用いて、画像生成装置 1000を車両の周辺を監視するシステムとして適用した場合について説明する。

[0125] 上述したように、図 4は、車両を運転するドライバーから見える範囲の様子を示す図であり、ドライバーからは、道路上に車両 A、車両 B、および車両 Cの 3台の車両が見えている。

[0126] 車両には、車両周囲に存在する障害物までの距離を計測する距離センサ (測距装置 101)と、車両周囲の画像を撮影する複数台のカメラ (撮像装置 107)とが取り付けられており、空間モデル生成装置 103、空間再構成装置 109、および視点変換装置 112によって、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ 113を生成し、それをデータベースに格納する。

[0127] 衝突可能性算出装置 1015は、異なる時刻に対応した、上記視点変換装置 112によって生成された視点変換画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れ力に基づレ、て、当該撮像装置配置物体のモデルである撮像装置配置物体モデル 1 10と上記空間モデル 104とが衝突する可能性を算出する。例えば、当該車両と前方の他の車両との衝突の可能性を算出する。

[0128] そして、上記表示装置 1014は、通常車両内に設置され、例えば、カーナビゲーシヨンシステムのモニタと共用して、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、 3次元空間における任意の仮想視点から見た画像を表示する際に、上記衝突可能性算出装置 1015によって算出した衝突可能性に応じて、上記画像の表示形態を異ならせて表示する。例えば、前方に他の車両が複数台ある場合には、当該車両（自車両）と他の車両とが衝突する可能性に応じて、異なる色で他の車両を表示したり、異なる点滅間隔で点滅表示したりする。

[0129] 図 13は、 2物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。

図 13において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車両8、物体 Cは車両 Cの視点変換画像である。そして、自車両と、車両 A、車両 Bおよび車両 Cのそれぞれとが衝突する可能性に応じて、物体 A、物体 B、物体 Cの表示形態が異なっている。例えば、自車両と衝突する可能性が 3台の他の車両の中で最も高い車両 Cの視点変換画像である物体 Cは赤色で表示され、車両 Cに比べて衝突の可能性がそれほど高くなレ、車両 Aの視点変換画像である物体 A、および車両 Bの視点変換画像である物体 Bは黄色で表示される。上述した、図 5、図 8、図 13の各例において、表示色を異ならせて表示する場合、当該表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を採り得る。

[0130] 図 14は、撮像装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。

図 14において、画像生成装置 1200は、測距装置 201、空間モデル生成装置 103 、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 10 9、視点変換装置 112、表示装置 1014、および相対速度算出装置 1015を備える。

[0131] 画像生成装置 1200が、図 10を用いて説明した画像生成装置 1000と異なるのは、測距装置 101の代わりに測距装置 201を備えている点である。なお、測距装置 201 については、図 2を用いているので説明は省略する。

[0132] 次に、図 15乃至図 17を用いて、視点変換された画像を表示する際に、カメラを搭載している物体とカメラで撮影した画像との関係が、直感的に分かるように表示するための画像生成処理の流れを説明する。

[0133] 図 15は、視点変換画像において物体間の距離が分かるように表示するための画像生成処理の流れを示すフローチャートである。

まず、ステップ S1301において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。

[0134] ステップ S1302において、ステップ S1301で撮像した画像のデータである撮像画像データ 108を、空間モデル 104にマッピングして、空間データ 111を生成する。

[0135] ステップ S1303におレヽて、ステップ S1302でマッピングされた空間データ 111に基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データ 113を生成する。

[0136] 次に、ステップ S1304において、上記生成された視点変換画像データ 113、上記撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れかに基づレ、て、当該車両のモデルである撮像装置配置物体モデル 11 0と上記空間モデル 104との距離を算出する。

[0137] そして、ステップ S1305において、 3次元空間における任意の仮想視点から見た画像を表示する際に、ステップ S 1304で算出した距離に応じて、上記撮影した画像の表示形態を異ならせて表示する。

[0138] 図 16は、視点変換画像において物体間の相対速度が分かるように表示するための画像生成処理の流れを示すフローチャートである。

ステップ S 1301乃至ステップ S 1303は、図 15を用レ、て説明したステップ S 1301乃至ステップ S1303と同様である。

[0139] ステップ S1303で視点変換画像データ 113を生成した後に、ステップ S1404において、上記生成された視点変換画像データ 113、上記撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れかに基づいて、当該車両のモデルである撮像装置配置物体モデル 110と上記空間モデル 104との相対速度を算出する。

[0140] そして、ステップ S1405において、 3次元空間における任意の仮想視点から見た画像を表示する際に、ステップ S1404で算出した相対速度に応じて、上記撮影した画像の表示形態を異ならせて表示する。

[0141] 図 17は、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成処理の流れを示すフローチャートである。

[0142] ステップ S1303で視点変換画像データ 113を生成した後に、ステップ S1504において、上記生成された視点変換画像データ 113、上記撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れかに基づいて、当該車両のモデルである撮像装置配置物体モデル 110と上記空間モデル 104とが衝突する可能性を算出する。

[0143] そして、ステップ S1505において、 3次元空間における任意の仮想視点から見た画像を表示する際に、ステップ S 1504で算出した衝突の可能性に応じて、上記撮影した画像の表示形態を異ならせて表示する。

[0144] また、上述の第 1の実施の形態は、次に述べるように拡張することが可能である。

これまで述べてきた第 1の実施の形態においては、車両を撮像装置配置物体とし、これに搭載された撮像装置 107による画像を用いていた力これは、カメラパラメータが既知、もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された監視カメラの画像を含めても同様に扱うことができる。測距装置 10 1、 102についてもカメラと同様に配置し、その位置、姿勢が既知もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された測距装置 101、 102からの距離情報（距離画像データ 202)を用いることができる。

[0145] すなわち、視点変換画像を表示する表示装置 114、 314、 714、 1014と、撮像装置 107が必ずしも同一の撮像装置配置物体上に設置されている必要はなぐ相対的に移動してレ、る障害物が存在すればょレ、。

[0146] また、装置構成上、複数の画像生成装置 100、 200、 300、 600、 700、 900、 100 0、 1200 (同種の画像生成装置が複数で構成されていてもよいし、異種の画像生成装置が複数で構成されていてもよい。例えば画像生成装置 100が複数であってもよいし、画像生成装置 100と画像生成装置 200とにより構成されていてもよい。以下、同様。）が相互にデータのやり取りを実施するようにしてもよい。

[0147] これらの場合は、上述の第 1の実施の形態の各データ、モデルを、各々の視点を利用する形態に応じて座標変換を実施する座標変換装置を備えた通信装置によりそれぞれの画像生成装置 100、 200、 300、 600、 700、 900、 1000、 1200との間を通信すると共に、その基準座標を算出する座標姿勢算出装置を有する。

[0148] 座標姿勢算出装置は、視点変換画像を生成する位置姿勢を算出する装置であり、これは、例えば GPS (Global Positioning System)などによる緯度経度高度方位のデータを用いて仮想視点の座標を設定しても良ぐ他の画像生成装置 100、 20 0、 300、 600、 700、 900、 1000、 1200との木目対位置座標を算出することにより、本画像生成装置 100、 200、 300、■、 700、 900、 1000、 1200群内での相対位置座標を求めることにより、座標変換を実施し、所定の視点変換画像を生成するようにしても良い。それらの座標系内で、所望の仮想視点を設定することに相当する。 <第 2の実施の形態 >

図 18は、屋内の監視カメラに適用した場合の第 2の実施の形態を説明するための図である。

[0149] 図 18は、監視対象である部屋を上方 (天井)から見た様子を示したものであり、監視力メラである 4台の撮像装置 107A、 107B、 107C、および 107Dは、屋内の任意の場所に設けられ、室内を撮像している。

[0150] 例えば、撮像装置 107A、 107B、 107C、および 107Dは、部屋の天井四隅に設置してもよぐまた、天井中央付近に超広角のカメラを設置するようにしても良い。また、これらの撮像装置 107A、 107B、 107C、および 107Dは、 2眼、 3眼、もしくはそれ以上の組み合わせを持つステレオカメラで構成しても良ぐステレオカメラの変わりに測距装置（レーザーレーダー、スリットスキャン測距装置、超音波センサ、 CADモデルによる屋内モデルなど） 101、 201を併用してももちろん良い。これらにより構成された空間モデルに、上記撮像装置 107A、 107B、 107C、および 107Dで撮像した画像をマッピングし、任意の所望の仮想視点を設定し、視点変換画像を生成する。

[0151] また、上述してきた距離、相対速度、衝突可能性に関して、撮像装置配置物体を基準とするのではなぐ視点変換された画像のうちの 2物体間の距離、相対速度、衝突可能性を算出して、これらが認識できるように各物体を表示するようにしても良い。例えば、撮像装置 107を屋内、街路などに設置し、屋内、街路などを歩行している人、屋内、屋外、部屋などのインテリア、他の移動体（車両、ロボット）間の距離、相対速度、衝突可能性を算出して、これらが認識できるように各物体を表示するようにしても良い。

[0152] また、観察者である人物は、例えば HMD (Head Mounted Display)などを装着しており視点変換画像を観察できると共に、撮像装置配置物体のカメラによって捉えられた観察者自らの位置、姿勢、方向が計測され得るようにしても良い。観察者である人物に装着する GPSやジャイロセンサー、カメラ装置、人物の視線検出装置などで計測した座標姿勢情報を併用しても良い。

[0153] この観察者の視点を仮想視点として設定することにより、観察者にとっての距離、速度、衝突可能性を算出できる。これにより人物は、自らにとっての障害物を HMDなどに表示された仮想視点画像上で把握することが出来、自らに対する脅威、例えば観察者の後方に潜む不審者、犬、車両などを認知することができ、さらには、遠方の物体であってもそれに近接した撮像装置配置物体や画像生成装置の画像と空間モデルを用いることによりより正確に、精度良く生成された多視点変換画像を用いることができる。

[0154] 当然ながら、人物ではなくこれが車両などの移動物体の場合でも適応可能である。

また、上述した各実施の形態において、複数の撮像装置は、それらによって、いわゆる 3眼ステレオカメラを構成するように用いても、あるいは 4眼ステレオカメラを構成するように用いてもよレ、。このように 3眼あるいは 4眼ステレオカメラを用いると、 3次元再構成処理などにおいて、より信頼度が高ぐ安定した処理結果が得られることが知られている（例えば、富田文明，「高機能 3次元視覚システム」，情報処理，情報処理学会発行，第 42卷，第 4号)。特に複数カメラを 2方向の基線長を持つように配置すると、より複雑なシーンで 3次元再構成が可能になることが知られている。また 1つの基線長方向にカメラを複数台配置するとレ、わゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。

[0155] 上述のように、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される画像生成装置は、その機能が実行されるのであれば、上述の各実施の形態に限定されることなぐ単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、 LAN、 WAN等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

[0156] また、バスに接続された CPU、 ROMや RAMのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記録媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトエアのプログラムコードを記録した ROMや RAMのメモリ、外部記録装置、可搬記録媒体を、画像生成装置に供給し、その画像生成装置のコンピュータがプログラムコードを読み出し実行することによつても、達成されることは言うまでもない。

[0157] この場合、可搬記録媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体等は本発明を構成することになる。

[0158] プログラムコードを供給するための可搬記録媒体としては、例えば、フレキシブルデイスク、ハードディスク、光ディスク、光磁気ディスク、 CD-ROM, CD-R, DVD-R OM、 DVD-RAM,磁気テープ、不揮発性のメモリーカード、 ROMカード、電子メールゃパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。

[0159] また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動している〇Sなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。

[0160] さらに、可搬型記録媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに揷入された機能拡張ボードゃコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わる CPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。

[0161] すなわち、本発明は、以上に述べた各実施の形態に限定されるものではなぐ本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

本発明によれば、車両等の撮像手段配置物体に取り付けられた 1台または複数台のカメラで撮影した複数枚の画像に基づレ、て、あた力仮想視点から実際見てレ、るような感覚を持つことができる合成画像を生成し、この合成画像を表示するに際し、上記物体と撮影した画像との関係が直感的に分かるように表示することができる。

[0162] <第 3の実施の形態 >

本第 3の実施の形態では、運転者にとって死角になる死角領域を検出し、その死角領域を観察する視点を設定し、このような視点からの仮想視点画を運転者力、ら視認可能に表示する。或いは、このような死角領域から運転動作情報や運転者の操作によって表示対象とすべき死角領域を選択し、選択された死角領域を観察する視点を設定し、このような視点からの仮想視点画を運転者に視認可能に表示する。以下に、図面を用いてこのような第 3の実施の形態について逐次具体的に説明する。

[0163] 図 19は、本第 3の実施の形態における画像生成装置 10000を示す。

図 19において、画像生成装置 10000は、 1台乃至複数台のカメラ 2101、カメラパラメータテーブル 2103、空間再構成ユニット 2104、空間データバッファ 2105、視点変換ユニット 2106、表示ユニット 2107、表示制御ユニット 10001、仮想視点設定ュニット 10002、及び車両動作検知ユニット 10003から構成される。

[0164] 複数台のカメラ 2101は、監視対象領域の状況を把握するのに適合した状態で設けられている。カメラ 2101は、例えば、車両の周囲の状況など監視すべき空間の画像を取り込む複数のテレビカメラである。このカメラ 2101は、大きな視野を得ることができるよう、通常、画角が大きいものを使うのが良い。このカメラ 2101の設置台数、設置状態等については例えば特許文献 1に開示のような公知の態様でもよい。尚、図示の例では複数台のカメラを用いているが 1台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにして用いてもょレ、。この点は以下に述べる各例について同様である。

[0165] カメラパラメータテーブル 2103には、カメラ 2101の特性を示すカメラパラメータを格納してある。ここで、カメラパラメータについて説明する。画像生成装置 10000にはキャリブレーションユニット（不図示）が設けられており、カメラキャリブレーションを行う。カメラキャリブレーションとは、 3次元空間に配置されたカメラについての、その 3次元空間における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、カメラ 2101の特性を表すカメラパラメータを決定、補正することである。このキャリブレーションユニット及びカメラパラメータテーブル 2103については、例えば特許文献 1にも詳述されている。

[0166] 空間再構成ユニット 2104では、カメラパラメータに基づいて、カメラ 2101からの入力画像を 3次元空間の空間モデルにマッピングした空間データを作成する。すなわち、空間再構成ユニット 2104は、キャリブレーションユニット（不図示）によって計算されたカメラパラメータに基づいて、カメラ 2101からの入力画像を構成する各々の画素を 3次元空間の点に対応づけた空間データを作成する。

[0167] すなわち、空間再構成ユニット 2104では、カメラ 2101から撮影された画像に含まれる各々の物体が、 3次元空間のどこに存在するかを計算し、その計算結果としての空間データを空間データバッファ 2105に格納する。なお、空間モデルは、予め決められた (所定の）ものでもよぐ或いは、その場で複数の入力画像から生成されたもの、乃至は、別途のセンサーの出力に基づいて生成されたものであってもよい。

[0168] 例えば、特許文献 1に記載があるように、空間モデルは、 5つの平面からなる空間モデル、お椀型をした空間モデル、平面と曲面を組み合わせて構成した空間モデル、もしくはついたて面を導入した空間モデル、またはこれらを組み合わせたものであつてもよい。なお、これらの空間モデルに限定されず、空間モデルは、平面の組み合わせ、曲面、または平面と曲面を組み合わせたものならば、特に限定されない。また、三角測定により距離画像を算出する距離画像を取得するステレオセンサー等 (例えば、特開平 05—265547号公報、特開平 06—266828号公報）から得られたステレオ視画像に基づいて空間モデルを作成してもよい。

[0169] なお、カメラ 2101からの入力画像を構成するそれぞれの画素のすべてを利用して空間データを構成する必要はなレ、。たとえば入力画像に水平線により上に位置する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面にマツピングする必要はなレ、。あるいは車体を写している画素をマッピングする必要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間データにマツピングすることにより処理を高速化することも考えられる。この空間再構成ユニット 2104にっレ、ては、例えば特許文献 1に詳述されてレ、る。

[0170] 空間データバッファ 2105では、空間再構成ユニット 2104にて作成された空間データを一時的に格納する。この空間データバッファ 2105についても、例えば特許文献 1に詳述されている。

[0171] 視点変換ユニット 2106では、空間データを参照して、任意の視点から見た画像を作成する。すなわち、空間再構成ユニット 2104によって作成された空間データを参照して、任意の視点にカメラを設置して撮影した画像を作成する。この視点変換ュニット 2106についても、例えば特許文献 1に詳述された構成をとり得る。

[0172] 車両動作検知ユニット 10003では、車両の動作状況を検知する。たとえば、車両が右折しているカ左折しているかをハンドルの蛇角で検知したり、ブレーキが掛けられているか否を検知したりする。このように、車両の状況を検知するために、車両各部にセンサーや計器が取り付けられている。

[0173] 仮想視点設定ユニット 10002では、視点変換ユニット 2106へ送信する仮想視点に関してのパラメータを設定する。ここでは、車両動作検知ユニット 10003によって検知された車両の状況に応じて、そのパラメータを設定することができる。

[0174] 表示制御ユニット 10001では、視点変換ユニット 2106で生成した仮想視点画像を表示ユニット 2107 (例えば、ディスプレイ等）に表示させるために、その表示形態を制御する。

[0175] 図 20は、本第 3の実施の形態における仮想視点画像の表示フローを示す。

まず、空間再構成ユニット 2104において、カメラ 2101から得られた画像を構成する各々の画素と、 3次元座標系の点との対応関係を計算し、空間データを作成する（ S1801)。この計算は各々のカメラ 2101から得られた画像のすべての画素に対して実施する。この処理自体については、例えば特許文献 1にも開示された公知の態様のものを適用できる。

[0176] 次に、上記したように、各種センサー等の車両動作検知ユニット 10003により車両の動作状況を検知した（S1802)後、仮想視点設定ユニット 10002では、車両動作検知ユニット 10003によって検知された車両の状況に応じて、仮想視点を設定する（ S1803)。

[0177] 次に、視点変換ユニット 2106において、 S1803で指定した視点からの画像を、上記の空間データから再現する（S 1804)。この処理自体については、例えば特許文献 1にも開示された公知の態様のものを適用できる。その後、表示制御ユニット 1000 1によって、その再現した画像の表示形態を制御する（S1805)。 S1805の処理に関しては、後述する。その後、その制御された画像を表示ユニット 2107へ出力し、表示ユニット 2107にて表示される（S1806)。

[0178] 図 21は、本第 3の実施の形態における運転者の運転動作に基づいて、運転者の死角を検出する一例を示す。

図 21は、車両 10010が右折するときに検出される死角 10011を表している。車両 10010が右折するとき、内輪差による巻き込み事故防止のため右前のタイヤを確認する必要がある。

[0179] ところが、この場合、右前ドアやボンネット、インストルメントパネルにより視野が遮断され、内輪差部分が死角となってしまう。また、このような部分はサイドミラーを介しても死角となる部分である。そこで、本第 3の実施の形態では、運転者の運転動作に基づいて、このような死角となる部分を検出する。

[0180] 図 21の場合、運転者は車両のハンドルを回転させて右折（または左折）をする。この右折 (または左折)動作を車両動作検知ユニット 10003によって検知する（図 20の S1802)。このとき、ハンドルの回転の程度まで検知し、すなわち、時計回りか反時計回りかやどれくらいの角度、どれくらいの速度、それくらいの加速度で右折ほたは左折）しているかを検知している。この検知された情報は、仮想視点設定ユニット 1000 2に送信される。仮想視点設定ユニット 10002では、検知された情報に基づいて、運転者の運転動作を認識し、運転者の死角となる部分 10011が特定される。

[0181] また、運転者の視点の位置は予め取得している。例えば、車内を監視するカメラにより運転者の顔画像を取得し、一般的な画像処理技術によりその顔画像から眼球位置位置を抽出することで視点を計測することにより視点の位置を取得しても良い。また、運転者の姿勢等とを推測してそこからユーザの視点を算出するようにしてもよい。

[0182] 例えば、予め登録してある運転者の身長（又は座高）と、現在のシートの傾斜角度力運転者の頭の位置が計測できるので、そこからおおよその運転者の視点の位置が分かる。また、運転する場合の人間の視点の位置に上限がある（シートからルーフまでの車高の制限)ことから、各人で視点の位置に大差ないと仮定した場合には所定値 (平均値、統計値等）をデフォルト設定しておいてもよい。このようにして、仮想視点が得られる。

[0183] そして、 CAD (Computer Aided Design)のデータを利用することにより、この取得した運転者の視点位置と車両の CADデータから、運転者の視点からの死角領域が得られ、この死角領域の情報と上記で取得した仮想視点情報（どの方向を向いているかという情報も含む）が視点変換ユニット 2106に送信される。

[0184] 視点変換ユニット 2106では、受信したそれらの情報に基づいて、その仮想視点から見た仮想視点画像が生成される（図 20の S1804)。なお、このとき、死角領域とこの死角領域周囲の領域とからなる仮想視点画像を生成する（なお、用途によっては、死角領域のみの仮想視点画像を生成しても良レ、。 )。

[0185] ここで生成した仮想視点画像は、上記のように、死角領域とこの死角領域周囲の領域とからなつているが、死角領域がこの死角領域周囲の領域と区別されるような態様で、表示させるようにする。たとえば、死角領域とこの死角領域周囲の領域とを異なる色で区別するようにしてもょレ、し、死角領域を強調表示させるようにしてもょレ、。

[0186] また、車両動作検知ユニットによる検知された死角情報に基づいて表示する死角画像の表示形態を切り換えるようにしてもよい。すなわち、検知された情報に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように 3次元空間における仮想視点を適応的に設定する。例えば、図 22で示すように、プリセットされた右折モード、左折モード等を、この検知された死角情報に応じて、切り換えて適用してもよい。

[0187] 図 22は、本第 3の実施の形態における車両の動作状況のモードの一例を示す。本第 3の実施の形態の動作状況のモードとしては、「右折モード」、「左折モード」、「発進時周囲監視モード」、「車内監視モード」、「高速走行時モード」、「後方監視モード」、「雨天走行モード」、「縦列駐車モード」、「車庫入れモード」がある。それでは、各モードについて説明する。

[0188] 「右折モード」は、前方と曲がる方向の映像を表示する。具体的にいえば、車両が右折の場合、前方の映像と右折方向の映像を表示する。「左折モード」は、前方と曲がる方向の映像を表示する。具体的にいえば、車両が左折の場合、前方の映像と左折方向の映像を表示する。

[0189] 「発進時周囲監視モード」は、車両の発進時において、車両の周囲の監視映像を表示する。「車内監視モード」は、車内の監視映像を表示する。「高速走行時モード」は、高速走行時において、遠くの前方の映像を表示する。「後方監視モード」は、急ブレーキをかけられるかどうか、すなわち、急ブレーキをかけて停止できるほど後続車との距離があるかを確認するための後方の映像が表示される。

[0190] 「雨天走行モード」は、降雨時には視界が悪くなるため、見落としやすい方向が生じることがあるので、そのような見落としやすい方向の映像、及び/または画像処理により水滴除去した映像を表示させるようにする。この見落としやすい方向については、統計的や経験的で求めた方向でもよいし、ユーザにより任意に設定できるようにしてあよい。

[0191] 「縦列駐車モード」は、縦列駐車時において、前方車両と後方車両とに接触しないように、幅寄せする側の前方と後方の映像が表示される。「車庫入れモード」は、車庫入れする場合に車庫の壁面に接触しやすい方向の映像が表示される。

[0192] このように、検知された車両の動作状況からモードが判定され、このモードに対応する表示形態で仮想視点画像を表示する。

上記のようにして、運転者の死角となる部分の仮想視点画像を運転者に提供することができる。なお、図 21では、右折時の内輪差の生じる部分を死角として求めたが、これに限られず、例えば、死角は外輪差部分であってよいし、後進時の車両の後方部分であってもよいし、その他運転動作時に発生するあらゆる死角であってもよい。

[0193] また、このような死角を検出するために、車両の各部分には様々なセンサー（赤外線、温度、湿度、圧力、照度、機械的な動作を検知するセンサー等)やカメラ（車内用、車体撮影用）、計測器が取り付けてある（又はタコメータ、スピードメータ、冷却液温度計、油圧計、燃料残量計、等の既存の計測器を用いても良い)。

[0194] また、死角を表す情報を取得する方法として、上記の方法の他に、例えば、特許文献 1に記載の発明を利用しても良レ、。すなわち、車両上空からの仮想視点による仮想視点画像から運転席に着座してレ、る運転者の視点からの仮想視点による仮想視点画像を差し引いたもの力当該運転者の死角となる。このようにして、運転者の死角を表す情報を取得することも可能である。

[0195] なお、本第 3の実施の形態では、図 21の死角 1001 1を例に説明した力右折時には例外にも死角は存在する。そこで、車両の所定の動作状況において複数の死角が存在する場合には、そのうちどの死角部分の仮想視点画像を表示させるかを選択すること力 Sできる。さらに、この選択した情報は履歴情報として画像生成装置内の記憶装置に記憶しておくことができる。そして、この履歴情報からユーザの選択頻度が得られるので、その選択頻度を基に、自動的にその死角部分についての仮想視点画像を表示させることができる。また、表示させる仮想視点画像は車両の所定の動作状況に関係させて予め設定しておくこともできる。

[0196] 以上より、車両の動作状況に対応させて死角となる部分の仮想視点画像を表示させること力 Sできるので、当該動作中においてその死角を確認しながら安全に車両を運転すること力 Sできる。なお、上述したところから理解されるように、本明細書において「死角」は、一つには、運転席から、どうやっても（首を回しても或いはミラーを用いる等しても）見えない領域を指す意を持ち、また他意として、限定的に、状況に応じて「死角なるもの」として求められ (設定され）乃至は運転状況によって複数の上記「死角」から抽出（選択）されるものである意を持つ。

[0197] <第 4の実施の形態 >

本第 4の実施の形態では、運転者の死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示する。これにより、本第 4の実施の形態では、画像表示装置の設置位置を最適にすることで、より直感的な表示を実現する。 [0198] 図 23及び図 24は、本第 4の実施の形態における画像生成装置を用いた場合の一例を説明するための図であり、車内（運転席）からフロントピラー 10021 (ドアと屋根の間にあって車の強度を支える柱のことであり、フロントガラス 10020とサイドウィンドウ 1 0022の間にある柱 10021をいう）越しに車外にある他の車両 10023を見た場合の様子を示している。

[0199] 図 23は、本第 4の実施の形態に力、かる画像生成装置を利用しない場合であり、車両 10023の車体がフロントピラー 10021により遮られ（すなわち死角となっている）、運転者からはその遮られた部分を見ることができない。

[0200] 図 24は、本第 4の実施の形態に力、かる画像生成装置を利用した場合であり、フロントビラー 10021aの表面には画像を表示することができるようになつている（例えば、液晶ディスプレイ、プラズマディスプレイ、もしくは有機 ELディスプレイ等のフラットパネルディスプレイ、または電子ペーパーディスプレイ等がフロントピラー 10021に取り付けてある。）。

[0201] このようにすることで、フロントピラー 10021aに画像を表示することができる。本第 4 の実施の形態では、フロントピラー 10021aに、本来フロントピラー 10021aにより遮られ (すなわち死角となっている）、運転者からはその遮られた部分を見ることができない外部の景観の仮想視点画像を表示する。図 24では、車両 10023の遮られた部分について、当該部分に相当する仮想視点画像をフロントピラー 10021に表示している。

[0202] 図 25は、本第 4の実施の形態における仮想視点画像の表示フローを示す。

まず、空間再構成ユニット 2104において、カメラ 2101から得られた画像を構成する各々の画素と、 3次元座標系の点との対応関係を計算し、空間データを作成する（

S2301) _oこの処理は、図 20の S1801と同様の処理である。

[0203] 次に、仮想視点画像を生成するための仮想視点の指定をする（S2302)。仮想視点は、運転者の視点を中心として車内の死角となる各部分へ向けての視点方向とする。これらは、予め固定でセットされていてもよいし、乗車者が乗車する度にセットするようにしてもよい。

[0204] 次に、視点変換ユニット 2106において、 S2302で指定された仮想視点から見た仮想視点画像を生成する（S2303)。この処理は、図 20の S1804と同様の処理である。このとき、当該車両に関する情報を除いて、景観についての仮想視点画像を作成する。

[0205] 次に、表示制御ユニット 10001により、 S2303で生成した仮想視点画像のうち、死角となる部分によって遮られている景観に対応する画像部分の抽出する（S2304)。図 24でいえば、生成した仮想視点画像からフロントピラー 10021aに表示させる部分のみの画像を抽出する。このとき、表示ユニットとして用いる障害物の大きさ、位置、形状等は予め画像生成装置 10000内の記憶装置に登録させているので、それらの情報を基に仮想視点画像から抽出対象となる部分の画像を抽出する。

[0206] なお、 S2304において、上記の抽出処理以外にも次の処理が考えられる。例えば、自車両に関する情報を考慮しないで生成した仮想視点画像 (すなわち、自車両に関するパラメータも考慮して生成した仮想視点画像）と、自車両に関する情報を考慮して生成した仮想視点画像とを算出し、この 2つの仮想視点画像の差分を求めることで死角領域が得られる。したがって、この差分の領域の画像が表示ユニットに表示させる画像となる。

[0207] 次に、その抽出した画像を表示装置 2107に表示させる。図 24でいえば、フロントピラー 10021aに抽出した画像を表示させる（S2305)。

以上より、死角となる部分に、本来その部分によって遮られたその向こう側の景観をその部分に表示させることができるので、あた力もその部分かシースルーのようにして見える。また、表示させる死角部分としては、上記では、一例としてフロントピラーを用いたが、これに限られず、たとえば、ヘッドレストやインストルメントパネル、シート等の車内にあるあらゆるもの（運転者の死角となるもの）に表示装置 (例えば、液晶ディスプレイ、プラズマディスプレイ、有機 ELディスプレイ、電子ペーパーディスプレイ等）を取り付けることができる。

[0208] <第 5の実施の形態 >

本第 5の実施の形態では、表示ユニットをノレームミラーと見立てて、仮にこのルームミラーに反射されたとしたら表示される像に対応する仮想視点画像を表示する。このとき、第 4の実施の形態と同様に、この表示ユニットには、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させる。これにより、画像表示装置の設置位置を最適にすることで、より直感的な表示を実現する。

[0209] 図 26は、本第 5の実施の形態における画像生成装置 10000を示す。

図 26において、画像生成装置 10000は、複数台のカメラ 2101、カメラパラメータテーブノレ 2103、空間再構成ユニット 2104、空間データバッファ 2105、視点変換ュニッ卜 2106、表示ユニット 2107、表示制 ί卸ユニット 10001、視点検知ュニッ卜 10030力ら構成される。視点検知ユニット 10030以外は、図 19と同様である。

[0210] 上述したように、本第 5の実施の形態では、表示ユニット 2107をミラーのようにして用いることができる。すなわち、このミラーと見立てた表示ユニットには、この表示ュニットを見たとき、運転者の目に入る表示画像はあた力もミラーにより反射された像であるかのような画像を表示させる必要がある。

[0211] そこで、表示ユニット 2107の設置位置に対する運転者の視点の相対的な位置を決定する必要がある。そこで、本第 5の実施の形態では、表示ユニット 2107の設置位置に対する運転者の視点の相対的な位置を検出するために、視点検知ユニット 100 30を用いる。視点検知ユニット 10030は、第 3の実施の形態と同様に、例えば、車内を監視するカメラにより運転者の顔画像を取得し、一般的な画像処理技術によりその顔画像から眼球位置位置を抽出することで視点を計測することにより視点の位置を取得してもよいし、また、運転者の姿勢等とを推測してそこからユーザの視点を算出するようにしてもょレ、し、予め仮想視点の位置を設定してぉレ、てもよレ、。

[0212] これにより、運転者の視点の位置及び視線の方向を検知することができる。また、表示ユニット 2107の車両に対する設置角度等も予め設定されている。したがって、これらの情報より、運転者が表示ユニット 2107を見た場合に、表示表示 2107の表示面に対する運転者の視線の入射角が算出され、その結果、反射角が得られる。

[0213] それで、表示ユニット 2107に表示する画像は、その反射角で反射された方向の景観の仮想視点画像を表示するようにする。ここで、生成される仮想視点画像は、自車両に関する情報（車載の物品、シート、フロントピラー、リアピラ一等）を考慮しないで生成される画像であり、表示ユニットに表示されるときには左右反転される。

[0214] このとき、本来死角となって見通し不能な景観に対応する仮想視点画像と、元々死角でない景観とを区別できるように、例えば、死角となって見通し不能な景観をワイヤ一フレームで表示させてもよいし、他の部分と異なる色で区別するようにしてもよいし、強調表示させるようにしてもよい。

[0215] このように本来死角となって見通し不能な景観の仮想視点画像とそうでない景観の仮想視点画像とを区別するにあたって、第 3の実施の形態と同様に CADデータを用いる。すなわち、運転者の視点からの死角領域に関する情報が得られ、この死角領域に相当する部分が例えばワイヤーフレームで表示される。

[0216] また、 CADデータを用いない方法として、自車両に関する情報を考慮しないで生成した仮想視点画像と、自車両に関する情報を考慮して生成した仮想視点画像とを算出し、この 2つの仮想視点画像の差分を求めることで死角領域が得られる。そして、この死角領域の情報に基づいてその死角となって本来見ることができない景観に対応する部分を、例えばワイヤーフレーム等で表示させる。

[0217] また、表示ユニットに表示される画像は、死角となる部分がシースルー（透けて見える）となるように、死角部分を取り除いた仮想視点画像を表示する。すなわち、車両内にあって運転者の死角を生じさせる部位に設置されている表示ユニットに、死角となつて見通し不能な景観に対応する前記仮想視点画像を表示させる。この例を図 27 及び図 28に示す。

[0218] 図 27及び図 28は、本第 5の実施の形態における表示ユニットに表示される画像の表示形態を示す。

図 27は、通常のルームミラー 10040に表示されるリアウィンド 10041方向の景観（後続車両 10042)を示す。通常のルームミラー 10040に表示される反射像は、図 27 に示すように、助手席 10044やリアシート 10045、リアウィンド枠 10043力 Sあるため、これらがルームミラー越しに後方を見ている運転者にとって死角となっているため、この死角の向こう側の景観（図 27でいえば、後続車両 10042の下部及び右フロント部分）は見通し不能となっている。

[0219] 図 28は、本発明を用いて、通常のルームミラーに表示されるようにリアウィンド方向の景観を表示ユニット 10046に表示させ、かつ、運転者の死角となって見通し不能な景観に対応する前記仮想視点画像を表示させた様子を示す。図 28では、図 27で示した助手席 10044やリアシート 10045、リアウィンド枠 10043のために生じる死角のため、見ることができな力た後続車両 10042の下部及び右フロント部分の視野が充足されるように表示されている。

[0220] また、どこか死角に相当するかを示すために、死角となって見通し不能な景観に対応する部分と、そうでない部分とを区別することができるような表示形態となっている。この表示形態は、例えば、図 28に示すように、死角となって見通し不能な景観をワイヤーフレームで表示させてもょレ、し、他の部分と異なる色で区別するようにしてもょレヽし、強調表示させるようにしてもよい。

[0221] なお、本第 5の実施の形態で用いる表示ユニットは、通常のルームミラーとしても機能できるように、ディスプレイの表面にハーフミラーを取り付けたような構造をしていてもよレ、。また、この表示ユニットに表示される画像を歪めて、広視野の画像を表示させるようにしても良レ、。すなわち、凸面ミラー効果を持たせるようにしてもよい。

[0222] さらに、表示ユニットについて詳述すると、ルームミラーをハーフミラーで構成し、その背面にフラットパネルディスプレイを配置し、さらに視点位置検出ユニットにより、運転者の視点位置を検出し、視点とハーフミラーの関係からハーフミラー裏から表示するナビゲーシヨン用の重畳画像を表示するようにしてもよい。

[0223] また、サイドウィンドウの一部に上記の表示ユニット（例えば、液晶ディスプレイ、ブラズマディスプレイ、有機 ELディスプレイ、電子ペーパーディスプレイ等）を設けても良レ、。これにより、ドアミラーで確認していた後方の様子を当該表示ユニットに後方の仮想視点画像を表示させることで、後方の様子を確認することができる。

[0224] また、サイドミラーに表示される像よりも大きい画像で表示させることができるので、後方の様子をより詳細に確認することができる。このため、サイドミラーが不要となり、例えば駐車スペースの省スペース化が図れる。また、細い通路での対向車との離合時にも、対向車のサイドミラーと自車両のサイドミラーとが接触する心配がない。

[0225] また、図 22で示したように、車両の動作状況モードに応じて、表示ユニットに表示する表示形態を切り換えるようにしてもよい。また、例えば、パン、チルト、ズーム等の機能を用いて、視点変動に追従できるようにしてもよい。また、左右方向が視野に入りやすレ、ように、横のアスペクトを縮めて表示させるようにしてもょレ、。 [0226] 以上より、ディスプレイをルームミラーと同様の効果をもたせ、さらに本来死角となつて見通し不能な景観に対応する仮想視点画像を表示させることができる。また、視点検知ユニットによりミラーに表示する視点を演算して、自然なミラー画像 (ミラーに表示される反射像）を死角部分の補間表示を含めて、このディスプレイに表示させることができる。

[0227] また、本来死角部分に相当する部分の表示には、当該死角部分の輪郭をワイヤフレーム等で表示することにより、実際には運転者には直接見えていない部分の画像であることを認識させること力できる。また、このディスプレイは運転者に適した視野角を持たせることで、パッセンジャーなどが非直感的な画像を見ないようにする。さらに、仮想視点は運転席からの視点を設定し、運転者の視点に連動した仮想視点を設定する。

[0228] <第 6の実施の形態 >

第 3乃至第 5の実施の形態では、車両を中心に説明したが、車両に限らず、さらに、幅広い分野に適用することができる。そこで、本第 6の実施の形態では、本発明を車両以外に応用した一例を以下に示す。

[0229] 本第 6の実施の形態における一例としては、例えば、観察者が屋内、街路などを歩行している人であり、撮像装置配置物体が屋内、屋外、部屋のインテリア、他の移動体 (車両、ロボット)であるような監視システムでもよい。また、ドアの開閉状態によって生じてレ、る死角のチェック、家電品や家具の扉の状態などで生じてレ、る死角のチエツク、もしくは人物の後方の死角のチェックにも応用することができる。

[0230] 図 29及び図 30は、本第 6の実施の形態における画像生成装置を HMD (ヘッドマゥントディスプレイ）に適用した場合の一例を示す。

図 29及び図 30の斜線咅分 10054, 10055, 10056fま、死角である。図 29fま、き ^ 屋 10050にあるドア 10052及び冷蔵庫 10053の戸が閉じた状態を示す。図 30は、部屋 10050にあるドア 10052及び冷蔵庫 10053の戸が開いた状態を示す。

[0231] この場合、観察者である人物 10051は例えば HMDなどを装着しており仮想視点画像を観察できると共に、撮像装置配置物体 (ここでは部屋 10050とすると）のカメラによって捉えられた観察者自らの位置、姿勢、方向が計測されている（この部分は観察者である人物に装着する GPSやジャイロセンサー、カメラ装置、人物の視線検出装置などでも計測することができる。）。

[0232] これらの情報から、どの部分を人物が直接観察できるようになつていて、どの部分が見えないかを算出することができるようになつている。これにより人物は自らの死角範囲、例えば、死角 10054， 10055, 10056を HMDなどに表示された仮想視点画像上で把握することができ、自らに対する脅威、例えば物陰に潜む不審者、犬、車両、蓋の開いたマンホールや溝などを認知することができる。

[0233] さて、第 3乃至第 6の実施の形態において、仮想視点画像を作成するのにカメラ 21 01を使用している力これらのカメラには AF (オートフォーカス)機能を持たせてもよレ、。これにより、ステレオ視により近接している場合は、近距離側にレンズのフォー力スを調整するようにする。まり、一般にマクロモードと呼ばれる撮影対象に近接した位置で大きく撮影する場合のモードに調整する。このようにすることで、 3次元再構成用にフォーカスのあった画像が近距離において得られる。

[0234] また、遠距離にある被写体を撮影する場合には、 AF機能により当該被写体にフォ一カスを合わせることで遠距離画像についても同様に、高精度の画像が得られ、遠距離の精度向上につながる。

[0235] 図 31は、第 3乃至第 6の実施の形態における画像生成装置 10000のハードウェア環境の構成ブロック図である。図 31において画像生成装置 10000は、少なくとも、例えば、中央処理装置（CPU)等の制御装置 10080と、リードオンリメモリ（ROM)、ランダムアクセスメモリ（RAM)、または大容量記憶装置等の記憶装置 10081と、出力 I /F (インターフェース、以下同じ） 10082、入力 I/F10083、通信 I/F10084及びこれらを接続するバス 10085から構成され、それに、ディスプレイ等の出力ユニット 2 107や、入力 I/Fまたは通信 IZFに接続される各種の装置がある。

[0236] 入力 I/Fに接続される装置としては、例えば、カメラ 2101、車内用カメラ、ステレオセンサー及び各種センサー、キーボードやマウス等の入力装置、 CD—ROMや DV D等の可搬型記憶媒体の読み取り装置、その他周辺機器等が挙げられる。

[0237] 通信 I/F10084に接続される装置としては、例えば、カーナビゲーシヨンシステムや、インターネット又は GPSと接続する通信機器である。なお、通信メディアとしては、インターネット、 LAN, WAN,専用線、有線、無線等の通信網であってよい。

[0238] 記憶装置 10081の一例としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、上記の第 3乃至第 6の実施の形態で述べたフローのプログラム、各種テーブル (例えば、各種設定値が格納されるテーブル等）、 CADデータ等が格納されている。このプログラムは、制御装置 10080によって読み込まれ、フローの各処理が実行される。

[0239] このプログラムは、プログラム提供者側から通信 I/F10084を介して、インターネット経由で提供され、記憶装置 10081に格納されてもよいし、また市販され、流通している可搬型記憶媒体に格納され、読み取り装置にセットされて、制御装置によって実行されることも可能である。可搬型記憶媒体としては CD— R〇M、 DVD,フレキシブルディスク、光ディスク、光磁気ディスク、 ICカードなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置によって読み取られる。

[0240] また、入力装置には、キーボード、マウス、または電子カメラ、マイク、スキャナ、センサー、タブレットなどを用いることが可能である。さらに、その他の周辺機器も接続すること力 Sできる。

[0241] なお、上述した第 3乃至第 6の実施の形態において、複数の撮像装置は、それらによって、いわゆる 3眼ステレオカメラを構成するように用いても、あるいは 4眼ステレオカメラを構成するように用いてもょレ、。このように 3眼あるいは 4眼ステレオカメラを用いると、 3次元再構成処理などにおいて、より信頼度が高ぐ安定した処理結果が得られることが知られている（例えば、富田文明，「高機能 3次元視覚システム」，情報処理，情報処理学会発行，第 42卷，第 4号)。特に複数カメラを 2方向の基線長を持つように配置すると、より複雑なシーンで 3次元再構成が可能になることが知られている。また 1つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。

[0242] 本発明によれば、仮想視点画像の表示に係るユーザインターフェースについて、さらに利便性を高めるための技術を具現させることができる。

Claims

請求の範囲

[1] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、

前記空間再構成手段によってマッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と前記視点変換手段によって生成された視点変換画像データに基づいて、前記 3次元空間における任意の仮想視点から見た画像を表示する表示手段と、

を備えた画像生成装置にぉレ、て、

前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデノレと前記空間モデルとの距離を算出する距離算出手段をさらに備え、

前記表示手段は、前記距離算出手段によって算出した距離に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成装置。

[2] 前記表示手段は、前記距離算出手段によって算出した距離が所定値以上の場合、前記画像を一体化した背景モデルとして表示することを特徴とする請求項 1に記載の画像生成装置。

[3] 前記表示手段は、表示する画像中に前記距離算出手段によって算出した距離が所定値以上の部分が含まれている場合、前記画像の当該部分をぼかして表示することを特徴とする請求項 1に記載の画像生成装置。

[4] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、

を備えた画像生成装置にぉレ、て、

異なる時刻に対応した、前記視点変換手段によって生成された 2時刻における視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの相対速度を算出する相対速度算出手段をさらに備え、

前記表示手段は、前記相対速度算出手段によって算出した相対速度に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成装置。

[5] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、

を備えた画像生成装置にぉレ、て、

異なる時刻に対応した、前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マツピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、

前記表示手段は、前記衝突可能性算出手段によって算出した衝突可能性に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成装置。

[6] 前記表示手段は、前記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、前記画像を一体化した背景モデルとして表示することを特徴とする請求項 5に記載の画像生成装置。

[7] 前記表示手段は、前記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、前記画像をぼかして表示することを特徴とする請求項 5に記載の画像生成装置。

[8] 前記表示手段は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるように構成されたものであることを特徴とする請求項 1に記載の画像生成装置。

[9] 前記表示手段は、前記距離算出手段によって算出された距離に応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることを特徴とする請求項 1に記載の画像生成装置。

[10] 前記表示手段は、前記距離算出手段によって算出された距離がその値に応じて区分された複数の階層のうちの何れの階層に該当するかに応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることを特徴とする請求項 11項に記載の画像生成装置。

[11] 前記撮像手段は、車両に取り付けられたことを特徴とする請求項 1に記載の画像生成装置。

[12] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によつて撮像された撮像画像を空間モデルにマッピングし、

前記マッピングされた空間データに基づレ、て、 3次元空間における任意の仮想視点から見た視点変換画像データを生成し、

前記生成された視点変換画像データに基づいて、前記 3次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づレ、て当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの距離をさらに算出し、

前記表示は、前記算出した距離に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成方法。

[13] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によつて撮像された撮像画像を空間モデルにマッピングし、

前記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成し、

前記生成された視点変換画像データに基づいて、前記 3次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの相対速度をさらに算出し、

前記表示は、前記算出した相対速度に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成方法。

[14] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によつて撮像された撮像画像を空間モデルにマッピングし、

前記生成された視点変換画像データに基づいて、前記 3次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとが衝突する可能性をさらに算出し、

前記表示は、前記算出した衝突する可能性に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成方法。

[15] コンピュータに対して、

撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像装置によつて撮像された撮像画像を空間モデルにマッピングする手順と、

前記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、

前記生成された視点変換画像データに基づいて、前記 3次元空間における任意の仮想視点から見た画像を表示する手順と、

を実行させるための画像生成プログラムであって、

前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づレ、て当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの距離を算出する手順をさらに備え、

前記表示する手順は、前記算出した距離に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成プログラム。

[16] コンピュータに対して、

前記マッピングされた空間データに基づレ、て、 3次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、

を実行させるための画像生成プログラムであって、

前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデノレと前記空間モデルとの相対速度を算出する手順をさらに備え、

前記表示は、前記算出した相対速度に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成プログラム。

[17] コンピュータに対して、

を実行させるための画像生成プログラムであって、

前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデノレと前記空間との衝突する可能性をさらに算出する手順をさらに備え、

前記表示は、前記算出した衝突可能性応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成プログラム。

[18] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成手段と、

前記車両の動作状況を検知する車両動作検知手段と、

前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づレ、て 3次元空間における仮想視点を設定する仮想視点設定手段と、

前記空間再構成手段によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、

前記仮想視点画像の表示形態を制御する表示制御手段と、

を備えることを特徴とする画像生成装置。

[19] 前記表示制御手段は、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることを特徴とする請求項 18に記載の画像生成装置。

[20] 前記表示制御手段は、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることを特徴とする請求項 18に記載の画像生成装置。

[21] 前記仮想視点設定手段は、当該死角情報として、前記車両に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記 3次元空間における仮想視点を適応的に設定するように構成されたものであることを特徴とする請求項 18に記載の画像生成装置。

[22] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成手段と、

前記空間再構成手段によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、

前記仮想視点画像を表示する表示手段と、

前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段と、

を備えることを特徴とする画像生成装置。

[23] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成手段と、

前記仮想視点画像を表示する表示手段と、

前記仮想視点画像の表形態を制御して、乗車者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段と、を備えることを特徴とする画像生成装置。

[24] 前記表示制御手段により表示される前記仮想視点画像は、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることを特徴とする請求項 21に記載の画像生成装置。

[25] 前記表示制御手段は、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることを特徴とする請求項 21に記載の画像生成装置。

[26] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成処理と、

前記車両の動作状況を検知する車両動作検知処理と、

前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて 3次元空間における仮想視点を設定する仮想視点設定処理と、

前記空間再構成処理によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、

前記仮想視点画像を表示する表示処理と、

をコンピュータに実行させるための画像生成プログラム。

[27] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成処理と、

前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、

前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されてレ、る表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理と、

をコンピュータに実行させるための画像生成プログラム。

[28] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、

前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であつて、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理と、

をコンピュータに実行させるための画像生成プログラム。

[29] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成工程と、

前記車両の動作状況を検知する車両動作検知工程と、

前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づレ、て 3次元空間における仮想視点を設定する仮想視点設定工程と、

前記空間再構成工程によってマッピングされた空間データを参照して、前記 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、

前記仮想視点画像を表示する表示工程と、

を行うことを特徴とする画像生成方法。

[30] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成工程と、

前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換ェ程と、

前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されてレ、る表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程と、

を行うことを特徴とする画像生成方法。

[31] 車両に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマツピングする空間再構成工程と、

前記空間再構成工程によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換ェ程と、

前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であつて、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程と、

を行うことを特徴とする画像生成方法。

[32] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、

前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知手段と、

前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて 3次元空間における仮想視点を設定する仮想視点設定手段と、

前記仮想視点画像の表示形態を制御する表示制御手段と、

を備えることを特徴とする画像生成装置。

[33] 前記表示制御手段は、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることを特徴とする請求項 32に記載の画像生成装置。

[34] 前記表示制御手段は、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることを特徴とする請求項 32に記載の画像生成装置。

[35] 前記仮想視点設定手段は、当該死角情報として、前記撮像手段配置物体に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記 3次元空間における仮想視点を適応的に設定するように構成されたものであることを特徴とする請求項 18に記載の画像生成装置。

[36] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、

前記仮想視点画像を表示する表示手段と、

前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されてレ、る前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段と、を備えることを特徴とする画像生成装置。

[37] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、

前記仮想視点画像を表示する表示手段と、

前記仮想視点画像の表形態を制御して、観察者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段と、

を備えることを特徴とする画像生成装置。

[38] 前記表示制御手段により表示される前記仮想視点画像は、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることを特徴とする請求項 37に記載の画像生成装置。

[39] 前記表示制御手段は、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることを特徴とする請求項 37に記載の画像生成装置。

[40] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、

前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知処理と、

前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて前記 3次元空間における仮想視点を設定する仮想視点設定処理と、

前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、

前記仮想視点画像を表示する表示処理と、

をコンピュータに実行させるための画像生成プログラム。

[41] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、

前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理と、

をコンピュータに実行させるための画像生成プログラム。

[42] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、

前記空間再構成処理によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であつて、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理と、

をコンピュータに実行させるための画像生成プログラム。

[43] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、

前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知工程と、

前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて 3次元空間における仮想視点を設定する仮想視点設定工程と、

前記仮想視点画像を表示する表示工程と、

を行うことを特徴とする画像生成方法。

[44] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、

前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程と、

を行うことを特徴とする画像生成方法。

[45] 撮像手段配置物体に取り付けられた 1または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、 3次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換ェ程と、

前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であつて、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程と、

を行うことを特徴とする画像生成方法。