JPWO2010119496A1 - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影された撮影画像を取得する取得部と、第１カメラによる第１撮影視線と、第１撮影画像に基づく第１表示画像の視線と、第２カメラによる第２撮影視線と、第２撮影画像に基づく第２表示画像の視線とに基づいて、第１撮影画像内の位置と第１表示画像内の位置と第２撮影画像内の位置と第２表示画像内の位置との対応関係を設定する設定部と、第１撮影画像と対応関係とに基づいて第１表示画像を生成し、第１撮影画像及び第２撮影画像の少なくともいずれかと対応関係とに基づいて第１表示画像と第２表示画像とを補間して第３表示画像を生成し、第２撮影画像と対応関係とに基づいて第２表示画像を生成する生成部とを有する。

Description

車両に設けられ、カメラにより撮影された画像の処理を行う画像処理装置、画像処理プログラム、画像処理方法に関する。

車両の運転者が自車の周辺環境を目視確認するために、複数の車載カメラにより撮影された画像である車載カメラ画像を車載装置が俯瞰画像へ変換し、合成して表示することにより、運転者が客観的、直感的に自車の周囲状況を把握することができるシステムがある。これを拡張するものとして、例えば車載カメラ画像の色情報をそのまま３次元空間モデルにマッピングして任意の視点から見た画像に変換して表示する画像生成装置がある（例えば、特許文献１参照）。このような画像生成装置を用いると、自車両を見下ろした俯瞰画像以外に、空を含む周辺画像も全て同時に閲覧できる画像を生成できる、という利点がある。

他方で、運転シーンによっては、このような自車に搭載した車載カメラ画像および車載カメラ画像が変換され、生成された画像だけでは、自車の周辺状況を全て確認できないという場合がある。例えば、複数車線の交差点での右折待ちでは対抗車線の右折待ち車により視線が遮られ、その脇をすり抜けてくる対抗直進車は、運転者はもちろん、自車の車載カメラにも映らない場合がある。このような場合を鑑みて、例えば交差点などに設置したインフラカメラの映像を無線により車両へ伝送することにより、運転者による死角の目視確認のために、車両が受信した映像を表示する試みが、路車協調による安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）等で検討されている。

このような自車以外で撮影された映像は、加工を施されることなく、車載モニタを流用して表示させることが一般的である。

また、コンピュータグラフィックス（ＣＧ）において、ビデオテクスチャの技術がある（例えば、非特許文献１，２参照）。

特許第３２８６３０６号

OpenGL策定委員会著，「OpenGLプログラミングガイド」，ピアソンエデュケーション出版 OpenGL Architecture Review Board著，「OpenGLリファレンスマニュアル」，ピアソンエデュケーション出版

しかし、カメラ位置、方向、撮影画角などのカメラパラメータは、撮影したカメラに依存するため、インフラカメラのように一時的に閲覧される映像は、運転者が咄嗟にその映像の内容、特に映っている被写体と自車との位置関係を把握することが困難だという課題がある。すなわち、運転者が位置関係を熟知している風景、例えば今現在の運転者自身が肉眼で見ている風景と、表示される映像の風景、例えば交差点に設置されたインフラカメラによる映像（以後、インフラ映像と記載する場合もある）の風景とがあまりに異なるため、運転者がインフラ映像の内容を理解するのに時間がかかることが課題となる。

例として、交差点におけるインフラカメラの設置場所として信号機上にカメラを設置することが考えられる。この場合、交差点毎に信号機の設置位置が異なるため、撮影カメラの位置や撮影方向などの撮影空間も交差点毎に異なる。従って、車載装置が異なる交差点で映像を受信して表示するたびに、カメラはどこを見ているのか、映像内の障害物が実際にはどこにあるのか、その障害物と自車とは今どのような位置関係にあるのか、等を運転者は瞬時に判断することができない。これは路上に設置されるインフラカメラの映像を無線受信して利用する場合だけではなく、他車が撮影した映像を無線受信して利用する場合でも同様で、特に映像を提供する他車の位置及びその車へのカメラ搭載位置などが刻々と変化するため、運転者はすぐに内容を理解できない。

本発明は上述した問題点を解決するためになされたものであり、カメラの切り替え時における利用者による表示画像の認識を補助する画像処理装置、画像処理プログラム、画像処理方法を提供することを目的とする。

車両に設けられる画像処理装置であって、第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得する画像取得部と、第１カメラにより撮影される第１カメラ画像の視線である第１カメラ視線と、第１カメラ画像に基づいて生成される第１表示画像の視線である第１表示視線と、第２カメラにより撮影される第２カメラ画像の視線である第２カメラ視線と、第２カメラ画像に基づいて生成される第２表示画像の視線である第２表示視線とに基づいて、第１カメラ画像内の位置と第２カメラ画像内の位置と第１表示画像内の位置と第２表示画像内の位置との対応関係を設定する設定部と、第１カメラ画像と対応関係とに基づいて第１表示画像を生成し、第１カメラ画像及び第２カメラ画像の少なくともいずれかと対応関係とに基づいて第１表示画像と第２表示画像とを補間して第１表示画像より後に表示される補間表示画像を生成し、第２カメラ画像と対応関係とに基づいて補間表示画像より後に表示される第２表示画像を生成する生成部とを備え、第１カメラ視線及び第１表示視線の対と、第２カメラ視線及び第２表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である。

車両に設けられたコンピュータに実行させる画像処理プログラムであって、第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、第１カメラにより撮影される第１カメラ画像の視線である第１カメラ視線と、第１カメラ画像に基づいて生成される第１表示画像の視線である第１表示視線と、第２カメラにより撮影される第２カメラ画像の視線である第２カメラ視線と、第２カメラ画像に基づいて生成される第２表示画像の視線である第２表示視線とに基づいて、第１カメラ画像内の位置と第１表示画像内の位置と第２カメラ画像内の位置と第２表示画像内の位置との対応関係を設定し、第１カメラ画像と対応関係とに基づいて第１表示画像を生成し、第１カメラ画像及び第２カメラ画像の少なくともいずれかと対応関係とに基づいて第１表示画像と第２表示画像とを補間して第１表示画像より後に表示される補間表示画像を生成し、第２カメラ画像と対応関係とに基づいて補間表示画像より後に表示される第２表示画像を生成し、第１カメラ視線及び第１表示視線の対と、第２カメラ視線及び第２表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である。

車両に設けられた画像処理装置により実行される画像処理方法であって、第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、第１カメラにより撮影される第１カメラ画像の視線である第１カメラ視線と、第１カメラ画像に基づいて生成される第１表示画像の視線である第１表示視線と、第２カメラにより撮影される第２カメラ画像の視線である第２カメラ視線と、第２カメラ画像に基づいて生成される第２表示画像の視線である第２表示視線とに基づいて、第１カメラ画像内の位置と第１表示画像内の位置と第２カメラ画像内の位置と第２表示画像内の位置との対応関係を設定し、第１カメラ画像と対応関係とに基づいて第１表示画像を生成し、第１カメラ画像及び第２カメラ画像の少なくともいずれかと対応関係とに基づいて第１表示画像と第２表示画像とを補間して第１表示画像より後に表示される補間表示画像を生成し、第２カメラ画像と対応関係とに基づいて補間表示画像より後に表示される第２表示画像を生成し、第１カメラ視線及び第１表示視線の対と、第２カメラ視線及び第２表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である。

開示の画像処理装置、画像処理プログラム、画像処理方法によれば、カメラの切り替え時における利用者による表示画像の認識を補助することができる。

比較例における運転支援装置の構成を示すブロック図である。 撮影領域と撮像面の対応付けを示す図である。 撮像面と撮影画像の対応付けを示す図である。 本実施の形態における運転支援装置の構成を示すブロック図である。 中間映像利用判定方法を示す図である。 中間映像利用判定方法Ｃ１における第１の交差率の算出方法を示す図である。 中間映像利用判定方法Ｃ１における第２の交差率の算出方法を示す図である。 中間映像利用判定方法Ｃ２における被写体の映り方の比較を示す図である。 映像融合方法を示す図である。 映像融合のための画像群ＶＡを示す図である。 映像融合のための画像群ＶＢを示す図である。 単に映像を切り替えた画像群ＶＣを示す図である。 映像融合により得られる画像群ＶＤを示す図である。 第１の経由情報決定方法を示す図である。 第２の経由情報決定方法を示す図である。 第３の経由情報決定方法を示す図である。 外カメラＡ映像とカメラＢ映像が投影形状に投影された画像に対する第１の強調方法の結果を示す図である。 外カメラＡ映像が投影形状に投影された画像に対する第１の強調方法の結果を示す図である。 カメラＢ映像が投影形状に投影された画像に対する第１の強調方法の結果を示す図である。 本発明が適用されるコンピュータシステムの一例を示す図である。 本実施の形態における運転支援装置の動作の一例を示すフローチャートである。 中間映像利用判定方法の動作の一例を示すフローチャートである。 中間映像作成の動作の一例を示すフローチャートである。

まず、本発明の実施の形態の比較例について以下に説明する。

＜比較例＞
比較例として、１つ以上の車載カメラ映像を所定の３次元形状に投影し、所定の閲覧視線から眺めた画像を生成し、表示する運転支援装置において、インフラ映像などの車載カメラ以外の外部映像を表示する場合を考える。外部映像を表示する際に、車載カメラ映像を用いた自車周辺の加工画像とは完全に切り離し、外部画像を単純に表示ディスプレイに切り替えて表示するのが一般的であるため、ここでは、主に車載カメラ映像を用いた加工画像の生成方法について詳しく説明することとする。

図１は、比較例における運転支援装置の構成を示すブロック図である。比較例における運転支援装置１は、映像更新登録部１１、運転状況取得部１２、道路状況取得部１３、映像変更決定部１４、提示方法決定部１５、映像表示部１６、投影表示部１７、ディスプレイ１８、視線データを記憶する視線データ記憶部２１、撮影データを記憶する撮影データ記憶部２２、映像データを記憶する映像データ記憶部２３、運転／道路情報を記憶する運転／道路情報記憶部２４を有する。提示方法決定部１５は目的映像提示方法決定部３１と閲覧視線決定部３２を有する。投影表示部１７は投影作成部３３を有する。各部を順に説明する。

映像更新登録部１１は、主に無線等のデータ通信手段を用いて、自車の周辺（例えば通過中の交差点内）に入手が可能なカメラ映像がないか確認し、もしあれば、そのカメラ映像を取得して映像データ記憶部２３へ、そのカメラ映像に関する撮影情報を取得して撮影データ記憶部２２へ登録することを行う。ここで、外カメラＡは、自車にあらかじめ搭載されたカメラＢ，Ｃ以外のカメラである。外カメラは、運転支援装置の基本となるカメラ以外で利用確認が必要なものならなんでもよく、インフラ映像の他に、他車載カメラの映像や、無線カメラを自車の所定の場所に勝手に貼り付けたようなカメラ映像を、外カメラと看做しても構わない。映像更新登録部１１は、外カメラＡからの映像データ（外カメラＡ映像）と外カメラＡからの撮影情報（撮影情報Ａ）を登録する。

映像更新登録部１１は、電波状況により受信可能と判断される映像を全て映像データとして登録してしまっても構わないが、多数の外カメラ映像が存在する場合、外カメラの撮影情報を精査し、実際に映像データに登録するか否かを判定しても構わない。例えば、あらかじめ撮影情報には、他の車載カメラ映像かインフラ映像か、交差点右折支援用の公共の映像か個人の映像か、など、大まかな画像のヒントが含まれ、映像更新登録部１１は、そのヒントにより映像データに登録するか否かを判定してもよい。ここでの映像更新登録部１１は、なるべく多くの映像素材（カメラ映像）を映像データとして登録し、後述する映像変更決定部１４が、運転状況取得部１２や道路状況取得部１３から得た自車状態や運転シーンを利用して、実際に利用する映像を選択するが、映像更新登録部１１がこの選択を登録時に行い、映像素材をある程度限定して登録しても構わない。

撮影情報としては、例えばカメラパラメータである撮影位置、撮影方向、撮影画角及び焦点距離、被写体深度、画素数、フレームレート、レンズ歪み等から生じる撮影映像の歪み補正情報、撮影カメラの種別（移動体か否か、赤外カメラか可視カメラか、等）、撮影時刻、撮影カメラのＩＤやコメント、映像圧縮方式、など、様々な情報がある。なおここでは簡単のため、映像データ記憶部２３により保持される映像データは撮影したカメラ映像そのものではなく、カメラ映像のレンズ歪み等に起因した歪みが撮影情報内の歪み情報を用いて映像更新登録部１１により補正された映像データとする。この補正は必須ではなく、例えば後述する投影作成部３３や映像表示部１６など所定の映像処理タイミングで補正を行ったり、省略したりしても構わない。

この比較例では、外カメラＡの他に、自車に搭載されて自車周辺を撮影するカメラＢ、Ｃがあり、それらの映像データ（カメラＢ映像、カメラＣ映像）とカメラの撮影情報（カメラＢ撮影情報、カメラＣ撮影情報）も、同様に登録されている。

視線データ記憶部２１に予め記憶された視線データは、後述する投影表示部１７で用いられ、ある３次元世界を閲覧するための視線である。視線データは、少なくとも視点、視線方向、画角または画角と同等の焦点距離などのパラメータを有し、３次元世界を閲覧用の仮想カメラで撮影する場合の仮想カメラの撮影情報の一部と看做すこともできる。視線データは、一般的な運転支援のための画像の閲覧のための閲覧視線データであってもよく、自車上空から自車を見下ろした視線、自車の斜め横から進行方向前方を見た視線、自車前方から自車後方を見た視線、自車後方斜め上から自車の進行方向を向いた斜め見下ろし視線、などの所定の視線であり、運転支援装置で利用したい閲覧視線データをあらかじめ網羅して保持しておくことが好ましい（視線Ｍ，Ｎ）。なお、視線データは、あらかじめ用意した視線データに限定されず、視線データの内容は、適宜補正され、変更されても構わない。

運転状況取得部１２、道路状況取得部１３は、それぞれ運転状況、または道路状況が変化したかを判定し、変化した場合、それぞれ自車に対する運転操作を示す運転情報、道路情報を共に取得する。ここで運転情報とは、例えば車速センサ、ジャイロ、ギア等から取得可能な、自車速度・進行方向、ハンドル・ギア、ウィンカー等から取得可能な直進・右左折・後退などの運転操作（車両の運転に関する情報）、などである。また、道路情報は、例えばカーナビゲーションや路車間通信を行う無線通信機から取得可能な情報であり、地図データベースやＧＰＳ等から、自車位置と共に取得される、道路形状、道路種別、市街地種別、混雑状況、道路情報や、店舗などの地図情報（車両の周辺の道路に関する情報）である。なお、自車がミリ波センサやレーザセンサなどのセンサにより道路形状や障害物を直接取得しても構わない。

また、これら運転状況取得部１２、道路状況取得部１３により取得された運転／道路情報、特に道路状況取得部１３により取得された道路情報は、後述する映像変更決定部１４が利用する映像を決定したり、提示方法決定部１５が閲覧視線を決定したりするために、利用される。なお、これらの判定を、運転支援装置１の利用者が明示的に行う場合などには、運転状況取得部１２及び道路状況取得部１３の片方、または両方が省略されても構わない。

映像変更決定部１４は、運転状況取得部１２や道路状況取得部１３から得た情報を用いた判定、又は利用者の直接指示に基づいて、映像データの中から運転者がこれから閲覧すべき映像（目的映像と記載する）を選定する。インフラなどのカメラ設置及び撮影映像の無線伝送が一般化していない場合、外カメラ映像自体が少ないこともあり、外カメラ映像が登録されていれば、そのまま優先的に外カメラ映像を選定して表示する。すなわち、外カメラＡが登録されると、映像変更決定部１４は優先的に登録した外カメラ映像を選定する。なお、登録映像がすべて自車搭載カメラ等の映像であり、外カメラ映像が検出されない場合は、保持する自車搭載カメラ映像のうち１つ以上の映像を、前述した運転／道路情報などで推定した運転シーンから選定する。

提示方法決定部１５は、映像変更決定部１４で決定した目的映像を、運転支援装置１のディスプレイ１８の所定の表示領域にどのように表示するかを決定する。目的映像提示方法決定部３１は、表示方法の選択肢として、仮想的な３次元空間内の所定の３次元形状に映像を投影して所定の視線（閲覧視線）から閲覧した画像を生成して表示する（加工表示）か、目的映像そのものを加工なしでそのまま表示する（非加工表示）か、の映像の提示方法を決定する。なお、この他の既存の目的映像の加工方法を選択肢に含めても良いが、以後は本発明の実施の形態の説明に関係する、投影表示部１７による投影形状を利用した映像加工方法と、その他の提示方法の一例として、加工を行わずそのまま映像表示部１６による提示方法についてのみ、説明を行う。前述したように、提示方法が加工表示の場合は投影表示部１７を介し、非加工表示の場合は映像表示部１６を介す。

閲覧視線決定部３２は、目的映像提示方法決定部３１での決定が投影表示部１７を介す加工表示であった場合に、投影表示部１７で利用する所定の閲覧視線を、推定した運転シーン等を参考にして視線データ群から選定することを行う。具体的に、これら提示方法決定部１５の処理を、どのような映像でどのように判定をするのか、具体的な例を挙げて以下に説明する。

例えば、目的映像提示方法決定部３１は、映像変更決定部１４で決定した目的映像が外カメラ映像の場合には、提示方法として加工なしの表示を行う映像表示部１６を選定する。この結果、ＤＳＳＳの路車協調による安全運転支援システムで提供されるような、インフラ映像などの外部映像をそのまま切り替え表示することが実現できる。

目的映像が外カメラ映像でない場合、例えば自車搭載映像である場合、自車搭載カメラは一般的に広い自車周辺の領域を少ないカメラ数で撮影できる広角カメラであることが多く、得られる映像は魚眼レンズのように歪みの大きな映像となっている可能性が高い。また、複数のカメラ映像を同時に閲覧するという要望もある。このため、そのままの閲覧には適さないことから、投影表示部１７での加工を行う提示方法とし、閲覧視線決定部３２が、現在の運転／道路情報から自車の運転シーンを推定して、閲覧用の視線データを選定する。例えば、通常走行時は進行方向を眺めた視線、右左折時は巻き込みを調べるために自車左右後方から進行方向を眺めた視線、後退・駐車時は自車上空から見下ろした視線、などが一般的であるが、運転シーンから閲覧視線を決定する方法は、これらに限定されず、他の方法が用いられて、別の視線を決定しても良い。

映像表示部１６は、非加工表示の場合、目的映像をそのままディスプレイ１８の所定の表示領域に表示するように、ディスプレイ１８へ出力する。なお、非加工表示は、目的映像をほぼオリジナルと同様に表示して提示するという意味であり、簡単な加工、例えば目的映像の一部を切り出して拡縮処理を施す等を行っても良く、厳密にそのまま表示しなくても良い。

投影表示部１７は、映像表示部１６より複雑な加工を行うための処理部であり、映像の各フレームの画素色および輝度を用いて、ディスプレイ１８における表示領域の画素色および輝度を決定し、実際に表示を指示する。前述したように、投影作成部３３は、投影形状を利用した映像加工の処理を行う。

投影作成部３３は、仮想空間内に映像を撮影したカメラＢと、映像を貼り付ける所定の３次元形状と、仮想空間を閲覧するための閲覧視線Ｍを配し、一般的なコンピュータグラフィックス（ＣＧ）のビデオテクスチャと同等の処理による映像の生成を行う。この技術の詳細は、非特許文献１や非特許文献２等の多数の文献に記載されている通りである。これらの閲覧視線や投影形状を配置するための共通の３次元座標系として、例えば自車中心を原点とする仮想空間が定義される。すなわち、投影作成部３３は、撮影情報Ｂから得たカメラＢの撮影位置・方向・画角・焦点距離・画素数等を用いて、映像が撮影した仮想空間内の撮影領域を特定する。投影作成部３３は、この撮影領域と３次元形状の位置及び形状から、３次元形状の特徴点と映像フレームの画素位置の対応関係を計算する。

この対応関係は、ＣＧにおけるテクスチャマッピングの、テクスチャと貼り付け形状の各座標の対応関係と同等である。この対応関係を模式的に、図２に示す。図２は、映像を撮影したカメラの撮影領域と撮像面、また、カメラと投影形状である３次元形状との位置関係を透視投影的に示す。ここでは、撮影視点を頂点とし、注視点方向すなわち撮影方向ベクトルの方へ画角に対応して広がる四角錐体を、撮像面を切断面として切断したものを、撮影領域とした。なお、撮影領域は有限のものとし、カメラ撮影視点から有限距離の平面までとしている。３次元形状中の特徴点をＰとし、カメラ撮影視点と特徴点Ｐを結ぶ直線を直線Ｌで表す。図３は、図２で示したカメラの撮像面と撮影画像の対応付けを示す図であり、撮像面において撮影された撮影画像の一例を示す。図２の直線Ｌと撮像面の交点に対応する画素が撮影画像内の画素Ｒであり、特徴点Ｐに対応する。なお、画素数、焦点距離、横画角は、撮像画像の横解像度を決定し、画素数、焦点距離、縦画角は、撮像画像の縦解像度を決定する。

投影作成部３３は、仮想空間における３次元形状の特徴点Ｐから撮影カメラの撮影視点へ伸ばした直線Ｌが、撮影カメラの撮影視点から焦点距離だけ離れた撮像面と交差するか否かを判定する。次に、投影作成部３３は、交差した撮像面内の位置を、撮像面をカメラの解像度で量子化した画素位置に変換することで、撮像面に対応する画像の画素Ｒを得る。これにより、投影作成部３３は、特徴点Ｐの仮想世界での座標値と映像の画素位置Ｒの対応を得る。なお、この算出は一例であり、撮影画像上の任意の画素、例えば画素Ｒに対して、撮影カメラの撮影視点から撮像画面上の画素Ｒの位置を通る直線Ｌが、３次元形状と交差するかを判定し、交点である特徴点Ｐを求めるような、逆方向の探索による対応づけをしても構わない。

簡単のため、ここで、投影作成部３３は、画素位置として、実際の解像度に対応する画素を用いて対応づけしたが、実際には存在しない画素、すなわち小数点を含む理論的な画素位置を利用しても構わない。カメラ位置および撮影方向が自車に対して固定された自車搭載カメラの場合、自車を原点とする仮想空間内におけるカメラの撮影領域に変化がないため、投影する３次元形状の形状および自社との位置関係に変更がなければこの対応関係は不変となる。この場合、投影作成部３３は、映像フレームの書き換え毎に対応関係を計算する必要はない。また、車種等によってこの対応関係があらかじめ推定できるなら、投影作成部３３は、対応関係を毎回計算せずにあらかじめ数値テーブル（マッピングテーブル等）を用意して利用してもよい。

投影作成部３３は、対応関係を算出後に閲覧視線の情報を用いて、対応づけを計算したのと同様な透視投影を用いて逆方向に対応づけを行うことで、仮想空間を閲覧視線の視点・視線方向・画角で眺めた画像を算出する。すなわち、投影作成部３３は、仮想空間内で同様に閲覧視線の仮想撮像面を定義し、閲覧視線の視点から仮想撮像面の各画素を通る直線を定義し、直線と３次元形状の交点を計算する。これにより、投影作成部３３は、交点に対応する映像のフレーム画像内画素位置の画素色、すなわち現在の映像フレーム画像の画素色を用いて、仮想撮像面の該当画素の画素色および輝度を決定する。

なお、この画素色の決定方法は簡単な処理方法について説明したものであり、目的映像を貼り付けた投影形状を閲覧視線で閲覧した画像を、これとは別の方法で生成してもよい。投影作成部３３は、このようにして算出した閲覧視線の仮想撮像面を、ディスプレイ１８上のあらかじめ決定しておいた所定の表示領域に対応づける。以上で、投影表示部１７による目的映像の加工表示は終了する。

以下、本発明の実施の形態について図面を用いて説明する。

＜実施の形態＞
ここでは、本発明の画像処理装置を適用した運転支援装置１ａについて説明する。

図４は、本実施の形態における運転支援装置の構成を示すブロック図である。この運転支援装置１ａは、運転支援装置１と同様の運転状況取得部１２、道路状況取得部１３、映像変更決定部１４、映像表示部１６、ディスプレイ１８、撮影データ記憶部２２、映像データ記憶部２３、運転／道路情報記憶部２４を有する。運転支援装置１と比較すると、運転支援装置１ａは、映像更新登録部１１の代わりに映像更新登録部１１ａを有し、提示方法決定部１５の代わりに提示方法決定部１５ａを有し、投影表示部１７の代わりに投影表示部１７ａを有し、視線データ記憶部２１の代わりに視線データ記憶部２１ａを有する。

提示方法決定部１５ａは、目的映像提示方法決定部３１、中間映像利用判定部３４ａ、作成内容決定部３５ａを有する。投影表示部１７ａは、中間映像作成部３６ａ、投影作成部３３ａを有する。中間映像作成部３６ａは、利用視線変更部４１ａ、利用映像融合部４２ａ、強調処理部４３ａを有する。

以下、比較例と異なる部分を中心に、図２１を用いて説明を行う。図２１は、本実施の形態における運転支援装置の動作の一例を示すフローチャートである。

映像更新登録部１１ａは、映像更新登録部１１と同様、自車の周辺の利用可能なカメラ映像を探し（外カメラＡ）、映像（外カメラＡ映像）と撮影データ（外カメラＡ撮影情報）をそれぞれ映像データ記憶部２３及び撮影データ記憶部２２へ登録すると共に、さらに撮影データから抽出した撮影視線に関する情報（外カメラＡ視線）を視線データとして視線データ記憶部２１ａへ登録する。映像更新登録部１１ａは更に、外カメラＡ以外の自車車載カメラＢ、Ｃについても、撮影データ（カメラＢ撮影情報、カメラＣ撮影情報）と映像データ（カメラＢ映像、カメラＣ映像）を登録すると同時に、撮影視線（カメラＢ視線、カメラＣ視線）も視線データとして視線データ記憶部２１ａへ登録する（Ｓ１）。

映像データ、撮影データの具体的なデータ保持内容は、運転支援装置１と同じである。また、運転状況取得部１２、道路状況取得部１３、および運転／道路情報記憶部２４は、運転支援装置１と同じで、現在の運転／道路情報を更新して保持する（Ｓ２）。道路情報は更に、中間映像利用判定部３４ａによる中間映像の作成の有無の判定や強調処理の実行の有無を決定するためや様々な決定に係る運転シーンの推定のために参照される。

映像変更決定部１４は、運転支援装置１と同様、運転／道路情報から推定した運転シーンに関連する映像である、あるいは利用者の指示で直接、閲覧する映像である目的映像を決定する（Ｓ３）。ここで、目的映像として選定される映像は、インフラカメラ映像等の外カメラＡ映像を目的映像と決定した場合を中心に説明を行う。

提示方法決定部１５ａのうち、目的映像提示方法決定部３１は、目的映像の提示方法について決定を行う。例えば、運転支援装置１と同様に、外カメラＡ映像の場合は、比較例と同じ映像表示部１６を介した映像そのままの表示とし、自車映像の場合は、投影表示部１７ａを介した任意の閲覧視線から眺めた加工映像の表示とする（Ｓ３）。

中間映像利用判定部３４ａは、目的映像を表示する前に、被写体の位置や配置を運転者が把握するための補助となる中間映像を作成するか否かを判定する。まず、運転支援装置１ａを適用するかどうかを大まかに判定する。例えば、目的映像が外カメラ映像Ａか否かを判定し（Ｓ４）、外カメラ映像の場合（Ｓ４，ＹＥＳ）は、運転支援装置１ａの可能性ありと判定して先へ進み、外カメラ映像でない場合（Ｓ４，ＮＯ）は、運転支援装置１の動作を適用する。

中間映像について説明をしておく。中間映像は、運転者又は運転支援装置１ａの閲覧者（以下、利用者と呼ぶ）が現在最も被写体の位置関係を熟知しているであろう画像（以後、熟知画像と記載する）と、位置関係がよく理解できていない目的映像の画像とを用いて生成され、熟知画像から目的映像の画像へ変化させる場合の中間の映像である。熟知画像から中間映像を介して目的映像へと変化させることで、中間映像の開始画像である熟知画像と、中間映像の終了画像である目的映像の画像との間の映像の変化により、利用者は、被写体の対応関係を理解することができる。

画像内の被写体同士の位置関係、被写体と自車（利用者）の位置関係を利用者が熟知しているであろう熟知画像としては、例えば利用者の目視に近い画像が考えられる。このため、以後、熟知画像の一例として自車搭載カメラ映像（主に前方撮影カメラの映像）と擬似運転者視線を用いた画像を用いる例について説明する。ここでは、便宜的に、利用者のうち運転者を例に擬似運転者視線を用いて説明するが、他の利用者を例として擬似利用者視線と読み替えてもよい。なお、他の映像や閲覧視線を用いた画像、例えば自車を真上から俯瞰した俯瞰画像や、現在閲覧している画像を、熟知画像として利用しても構わない。

擬似運転者視線は、運転者が熟知しているであろう肉眼による周辺の閲覧状況を再現するために、運転者の肉眼の視線を模したものである。このため、肉眼では見えない死角をも網羅して撮影することが目的の自車搭載カメラとは異なり、擬似運転者視線は、必ずしも広角（広画角）である必要はなく、注視時の人間の視野角である５０〜６０°の画角でも構わない。画角が大きいほうがより広い範囲を閲覧できるが、画角が小さいほうが被写体を拡大して閲覧できる。例えば被写体が多数存在すると道路状況から推定できる場合には、このような小さめの画角が擬似運転者視線として用いられる。

また、擬似運転者視線の視点は、一般的な自車の代表点として閲覧視線に利用される自車中心軸上にある必要はない。自車の運転席位置に従って自車中心より左または右に寄った視点を擬似運転者視線の視点とすると、運転者の視線に近い視線を実現することができる。また、擬似運転者視線の視線方向は自車進行方向でなく、センサ等で測定された、もしくは運転者の身長や運転シーンにより推定された、運転者の現在の視線方向として良い。あるいは、各運転シーンで特に運転者が注視して見るであろう領域の方向、例えば右折待ちでの対抗直進すり抜け車線などを向いた視線方向などを擬似運転者視線の視線方向としてもよい。擬似運転者視線は、利用者の視線に上述のような所定の操作を施したものである。

このような擬似運転者視線は、中間映像の生成の度に利用する可能性があるため、パターン化されてあらかじめ視線データ記憶部２１ａに登録され、適宜補正等を施されて利用されることが望ましい。視線データ記憶部２１ａは、このような擬似運転者視線として２つの擬似運転者視線Ｆ１、Ｆ２があらかじめ登録されている。
Ｓ４がＹＥＳの場合、中間映像利用判定部３４ａは、現在の目的映像と利用者の熟知している閲覧状況を比較するための熟知画像を選定する（Ｓ６）。例えば、熟知画像として、運転者の現在の視線に近い擬似運転者視線Ｆ１、Ｆ２のどちらかを選定し、自車搭載映像から前方を撮影する映像を選定する。なお、通常はここで選定した熟知画像は、中間映像の基点となるが、異なる熟知画像を用いて比較しても構わない。
選定した熟知画像を用いて、中間映像利用判定部３４ａは、中間映像を作成すべきか否かの判定、及び後述する経由情報の利用の有無と経由情報の決定を行なう（Ｓ７）。図２２にこの処理の一例となるフローチャートを示すと共に、図５〜図８を用いて中間映像利用判定方法を以下に説明する。

図５は、中間映像利用判定方法を示す図である。この図は、中間映像利用判定方法Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれの判定基準及び判定例を示す。中間映像利用判定部３４ａは、中間映像利用判定方法Ｃ１，Ｃ２，Ｃ３，Ｃ４のいずれかにより、撮影視線等を用いて熟知画像と目的映像の画像の内容を比較する。これにより、中間映像利用判定部３４ａは、見え方、すなわち映像内の情景の違いが大きい場合に、映像の単純な切り替え表示では運転者による被写体の咄嗟の位置把握が困難であるとして、緊急性を要するかどうかも勘案しながら、中間映像の利用を決定する。

Ｃ１は、情景の違いとして、視線方向ベクトルと画角を利用し、熟知画像と目的映像の画像のそれぞれの全閲覧・撮影領域を推定してそれらの交差領域を調べることで、画像に占める同じ閲覧・撮影領域の割合を調べ、同じ被写体が映っているかどうかを判定する。
例えば、熟知画像の全閲覧・撮影領域として、熟知視線（擬似運転者視線）の視点や視線方向、画角を用いて閲覧領域を決定する。目的映像の全閲覧・撮影領域として、目的映像を撮影したカメラのカメラ視点及び撮影方向、撮影画角を用いる。なお、熟知画像の全閲覧・撮影領域として、熟知画像の素材となる自車搭載カメラ等の映像のカメラ撮影情報そのものを用いても構わないし、必要なら前方カメラと側方カメラ等の複数カメラの撮影情報を利用した領域としてもよい。また、厳密にカメラの撮影情報や視線情報を用いて全閲覧・撮影領域を決定しなくても構わない。
なお、目的映像として外カメラ映像Ａ等の映像素材そのものではなく、例えば投影表示等を用いた加工表示映像とする場合には、目的映像の全閲覧・撮影領域として、目的映像となる加工表示映像の閲覧視線を選定し、その視線情報を利用する。この結果、自車搭載映像を任意の投影形状に投影して任意の閲覧視線で見た映像を目的映像とする場合にも、以後の中間映像利用及び中間映像の利用判定を適用することができる。
具体的には、中間映像利用判定部３４ａは、図２で示した撮影領域と撮影画像の対応付けのように、ＣＧの描画計算等で一般的な、視点を頂点として画角だけ広がる視錐体等を閲覧・撮影領域として定義し、交差領域を計算する。この際、視点から無限遠までを領域にすると計算ができないので、図２及びＣＧ描画計算でのクリップ距離と同様に、視点から適当な有限距離までを限定して全閲覧・撮影領域としてよい。なお、図２のように厳密な全閲覧・撮影領域は、撮像面からカメラ視点までの（焦点距離に含まれる）領域を含まないが、焦点距離は非常に小さく無視できる距離であることから、簡単のため、全閲覧・撮影領域が、撮像面からカメラ視点までの領域を含めた四角錐であってもよい。また、中間映像利用判定部３４ａは、厳密な計算を行うのではなく、計算が簡単な円錐を代用したり、所定の判定方法で交差を判定したりしてよい。

中間映像利用判定部３４ａは、交差領域を求めた場合に、例えば、全閲覧・撮影領域の体積や面積に占める交差領域の体積や面積の割合、全閲覧・撮影領域の画角内で交差領域の占有する画角部分を算出して画角に占める交差領域の占有割合等を求めて、２つの映像の交差の程度の判定指標となる数値である交差率を求めることが望ましい。

図６は、中間映像利用判定方法Ｃ１における第１の交差率の算出方法を示す図である。図７は、中間映像利用判定方法Ｃ１における第２の交差率の算出方法を示す図である。これらの例は、閲覧・撮影領域として有限距離を用いる代わりに、各カメラＡ，Ｂから路平面までの四角錐を用いている。

第１の交差率の算出方法は、四角錐全体の交差体積ではなく、路平面上の撮影領域ＳＡ，ＳＢ（それぞれ路平面上の矩形で示される）の交差領域（撮影領域ＳＡ，ＳＢの重なる領域）を求める。第１の交差率の算出方法は、交差領域の面積がそれぞれの撮影領域ＳＡ，ＳＢの面積に占める割合を交差率として算出しても良い。また、各カメラの全撮影画角（例えば、横方向の全画角α、β）に対して交差領域が占める画角（横方向の占有画角γａ、γｂ）を算出し、画角の占有割合（γａ÷α、γｂ÷β）を交差率として算出してもよい。

なお、第１の交差率の算出方法は、横方向の画角について算出したが、縦方向の画角も同様に求めて、それぞれの値を交差率として複数の交差率を持つものとする、あるいは、双方の値の平均や最小／最大値等を用いて１つの交差率を求めても良い。

第２の交差率の算出方法は、交差領域を直接求める代わりに撮影領域のサンプル点が交差領域にどれだけ含まれるかの割合を交差率として求める例である。すなわち、第２の交差率の算出方法は、比較する２つのカメラ視線の片方の撮像面上（カメラＢの撮像面）に、乱数等を用いて決定される位置の点（点Ｐ，Ｑ，Ｒ）をサンプル点として求め、カメラ視点（カメラＢ視点）からその点を通る直線を考えて、他方のカメラの撮影領域（路平面上のカメラＡの撮影領域Ａ）に直線が交差するか否かを計算する。この後、第２の交差率の算出方法は、交差したサンプル点群が全サンプル点群に占める割合を求め、交差率とする。第２の交差率の算出方法の図では、３サンプル点Ｐ、Ｑ、Ｒのうち、点ＲのみがカメラＡの撮影領域ＳＡに交差しているので、カメラＢのカメラＡに対する交差率は１／３となる。

なお、第１の交差率の算出方法、第２の交差率の算出方法は、一例であり、カメラＡのカメラＢに対する交差率と、カメラＢのカメラＡに対する交差率の両方を求めて、それぞれの値、又は双方の値を用いた値（平均値や、大きい／小さい方の値、など）を、全体の交差率としてもよい。あるいは、片方だけ求めても構わない。

同じ被写体が多い場合、すなわち交差率が閾値以上の場合（Ｓ２３，ＹＥＳ）、中間映像利用判定部３４ａは、熟知画像と目的映像を用いた中間映像の作成を実行する（Ｓ２７）。同じ被写体が少ない場合、すなわち交差率が閾値以下の場合、中間映像利用判定部３４ａは、熟知画像を開始画像とした中間映像を表示するだけでは、利用者が目的映像内の被写体の位置関係を把握することが困難なので、単純に補助を諦めて中間映像の提示をやめてしまっても構わない。あるいは、他に位置関係の把握を助けるのに利用できる映像及び閲覧視線がないか探索し、その映像及び視線（以後、それぞれ経由映像及び経由視線と記載する）を経由してから目的映像を閲覧するような中間映像の作成を行ってもよい。目的映像が熟知画像に対して同じ被写体が少なくても、双方と被写体が重なる経由映像及び経由視線を間に挟むことで、目的映像内の位置把握を迅速に行うことが期待できる。この経由映像及び経由視線の詳しい作成方法などは後述する。

Ｃ２は、情景の違いとして、視線方向ベクトルを用いて、被写体の見え方を比較して判定する例である。これは、閲覧領域が重なって同じ被写体を閲覧した映像であっても、被写体を真上から閲覧した映像と、真横から閲覧した映像では、見え方が全く異なるため、咄嗟に同じ被写体と認識できない可能性を考慮したものである。具体的には、視線方向ベクトルの成す角を利用する。例えば視線方向ベクトルの成す角が９０度以上の場合（Ｓ２２，ＹＥＳ）、真上と真横のように閲覧方向の差が大きく、目的映像の閲覧には何らかの補助、すなわち中間映像の利用が必要と判定を行う。なお、Ｃ２は、あらかじめ運転シーンにより重要な被写体の位置及び存在領域が推定できる場合、熟知画像及び目的映像の各カメラ視点から概被写体の位置及び存在領域の代表位置へ向けた方向ベクトルの成す角をカメラ視線方向ベクトルの代わりに代用して比較しても良い。

Ｃ１，Ｃ２は、熟知画像の視線と目的映像の視線とが上述のような所定の範囲より離れている場合に中間映像の利用が必要と判定する。

図８は、中間映像利用判定方法Ｃ２における被写体の映り方の比較を示す図である。Ｃ２は、カメラＡとカメラＢによる被写体の映り方を比較するものとして、カメラＡから重要被写体の代表位置Ｗへの方向ベクトルＸと、カメラＢから重要被写体の代表位置Ｗへの方向ベクトルＹとを比較する。こうすることで、例えば右折シーンでは特に重要な対抗すり抜けレーンや、障害物センサで検知した自車周辺障害物などの、特に注意を要する被写体に対して、熟知画像と目的映像での映り方の違いを判定することができる。注意を要する被写体が複数存在する場合、Ｃ２は、各被写体へのベクトルを用いてそれぞれのベクトル同士で成す角を求め、その平均値を映像同士の映り方の違いとしてもよい。

Ｃ３は、Ｃ１，Ｃ２のような目的映像と熟知画像の違いではなく、自車周辺の状況から、目的映像に映っているであろう被写体の現在の状況を推定し、中間映像の利用を判定するものである。Ｃ３は、主に道路状況取得部１３から取得した走行道路の種別や道路形状、走行道路の混雑状況、走行道路の事故発生データ、等の道路情報や、障害物センサ等でのセンシング結果等から、自車及び走行場所付近の障害物の多さ、走行道路が狭い一般道、事故多発地点、等の情報を得て、目的映像の被写体が多いこと、特に注意すべき場所であること、目的映像の緊急提示が必要ないこと、等を勘案し、中間映像の利用を決定する（Ｓ２１，ＹＥＳ）。ここで、Ｃ３は、道路種別が高速道路の場合、自車走行速度が速いことが想定されるため、目的映像を緊急に閲覧する必要性が高いとして、中間映像を閲覧しないと判定する例とした。

Ｃ４は、Ｃ３と同様に、目的映像と熟知画像の違いではなく、自車の状況から中間映像の利用を判定するものである。運転状況取得部１２から得た運転状況等を元に、例えば自車が低速走行中かどうかを判定する。低速の場合は目的映像を緊急に閲覧する必要性が低いとして、中間映像の閲覧を判定する（Ｓ２０，ＹＥＳ）。

また、中間映像利用判定部３４ａは、運転状況取得部１２により取得される自車の運転状況及び道路状況取得部１３により取得される自車の周囲の道路状況の少なくともいずれかにより、閲覧空間（重要度が高い空間）を決定し、閲覧空間と各カメラの撮影空間との交差を調べ、交差率が大きい撮影空間を有するカメラの映像を優先して利用するように判定しても良い。

また、Ｃ１，Ｃ２，Ｃ３，Ｃ４は、それぞれ個別に行うのではなく、複数の判定方法を同時に用いて中間映像の利用を判定してもよい。図２２は、中間映像利用判定方法の一例を示す。なお、図２２の後半（Ｓ２５、Ｓ２６、Ｓ２８）は、経由映像に関するものであり、後述する。経由映像を用いない場合（Ｓ２４，ＮＯ）には、その部分を省略して、図２１のＳ５に戻っても構わない。
このフローチャートでは、例えば、まず自車状況であるＣ４の判定を行い、自車運転状況が高速運転であれば（Ｓ２０，ＮＯ）、目的映像を閲覧する緊急度が高いため、中間映像利用なしと判定して（Ｓ２９）、運転支援装置１と同様の閲覧表示方法を行うものとし、図２１のＳ５へ戻る。
続けて、同様の自車状況Ｃ３、被写体の見え方Ｃ２、同じ被写体の存在状況Ｃ１の判定を行ない、周辺状況が事故多発地帯でない場合（Ｓ２１，ＮＯ）や、目的映像と熟知画像の視線方向ベクトルの成す角が閾値以下の場合（Ｓ２２，ＮＯ）や、目的映像と熟知画像の閲覧領域の交差率が閾値以下の場合（Ｓ２３，ＮＯ）に、同様に中間映像利用なしと判定する（Ｓ２９）。
これにより、中間映像利用判定部３４ａは、目的映像提示の緊急性が少なく、同じ被写体が一定以上存在すると判定し、且つ熟知画像と被写体の見え方が大きく異なると判定した目的映像に、中間映像を利用すると判定できる。

作成内容決定部３５ａは、閲覧視線決定部３２と同様にして、映像を加工表示する場合、すなわち投影表示部１７ａを介す場合の閲覧視線を決定する。このとき、作成内容決定部３５ａは、後述するように投影表示部１７ａを介して中間映像を作成する場合、すなわち、目的映像提示方法決定部３１で決定された目的映像の提示方法に関係なく、補助として中間映像を利用する場合には、一時的に提示方法を投影表示部１７ａを用いた加工表示とする。そのため、作成内容決定部３５ａは、目的映像が外カメラ映像であってそのまま映像表示部１６を介して非加工表示される場合でも、中間映像を利用する場合には、目的映像の閲覧視線を含め、投影表示部１７ａで使用する各種情報を決定する必要がある。

具体的な中間映像の作成に用いる情報としては、前述した熟知画像の作成に用いる映像及び閲覧視線（ここでは擬似運転者視線とする）や、経由映像及び経由視線、視線の変更における視線補間方法、映像の融合有無及び映像融合方法、自車や被写体などの強調表示の有無及びその強調表示方法、等があり、作成内容決定部３５ａがこれらの情報の決定を行う。

目的映像の閲覧視線について説明する。前述したように中間映像を利用する場合には、非加工表示を行う目的映像にも閲覧視線が必要となる。外カメラＡを目的映像とする場合には、閲覧視線は、中間映像の利用判定と同様に、目的映像の撮影カメラ視線そのものであることが望ましく、例えば目的映像である外カメラＡ映像の撮影視線である外カメラ視線Ａとする。これは、所定の３次元形状に映像を投影して閲覧する投影表示部１７ａが、３次元形状への投影と同じ投影手法で撮影視線から閲覧すれば、例えば双方とも同じ透視投影で投影及び閲覧をすれば、投影する形状に無関係な投影及び逆投影となって、そのまま閲覧するのと同じように投影歪みのない映像を閲覧することができるためである。正確には、小数点を含んだ位置座標計算を整数の画素計算に変換する際等に、微小な誤差が生じるため、完全に同一の映像ではないが、ほぼ同じ映像を閲覧できる。なお、中間映像の利用判定のときに述べた方法と同様に、目的映像が素材となる映像そのものではなく、映像を何らか加工した映像であるならば、必ずしも撮影カメラ視線そのものを目的映像の閲覧視線にする必要はなく、以後の説明も所定の閲覧視線に読み替えて構わない。

ここで一旦、フローチャートは図２１へ戻る。作成内容決定部３５ａは、熟知画像の閲覧視線（この例では擬似運転者視線Ｆ１）と、目的映像の閲覧視線（外カメラ視線Ａ）と、後述する経由映像の視線である経由視線（後述例で視線Ｍ）の利用が決定している場合は経由視線とを加えた視線データ群を用いて、中間映像を作成するための視線補間方法を決定する（Ｓ８）。

視線補間方法は、例えば視線を滑らかに変化させるために、決められた期間（映像フレーム数）内で、２つ又は３つの視線の視線データ内容の一部又は全てを補間して徐々に変更するものとする。このように補間される視線データは、視線方向ベクトル（視線位置と方向）や視野角等である。また、具体的な視線補間方法の計算は、例えば線形補間を用いて、「各視線間の各視線データ値の差÷補間変更用に与えられた映像フレーム数」で求めた１フレーム当たりの各視線データ値の変化量を計算し、現在の視線データ値に徐々に変化量を加算または減算していくことにより、徐々に視線データ値が変化する中間映像の利用視線を作成する。この結果、例えば擬似運転者視線Ｆ１⇒視線Ｍ⇒外カメラ視線Ａへと徐々に視線データが変化するような、視線の変更を実現することができる。なお、この視線補間方法は一例であり、上述した単純な線形補間以外に、一般的な２つ以上の数値に対する所定の補間計算方法を利用してよい。

次に映像融合について説明する。作成内容決定部３５ａは、中間映像に複数の映像を利用するか否かを判定し、複数の映像を利用すると判定した場合に映像融合を行うと決定する。ここで、作成内容決定部３５ａは、映像融合処理の負荷等を考慮して映像融合を行わないことを選択しても良いが、複数の映像を利用する場合に映像融合がないと、被写体の見え方が異なる映像が突然切り替わることになるため、利用者が映像内の被写体の位置関係を把握することを補助するために、徐々に映像が変化するような映像融合を行うことが望ましい。

映像融合方法は、熟知画像の作成に用いた映像（この例では自車搭載のカメラＢ映像）、目的映像の映像（外カメラＡ映像）に加えて、後述する経由映像の利用が決まっている場合にはその経由映像（後述するカメラＢ映像）を加えた映像群を用いて行う。例えば、映像融合方法は、２つ又は３つの映像に対して、対応する映像の閲覧視線が切り替わる映像時刻（映像フレーム）に合わせて、映像切り替えが完了するよう、それぞれ切り替え前後の２つの映像を用いて、それぞれの映像の撮影位置関係を考慮して映像を徐々に変更していく。

図９は、映像融合方法を示す図である。この図は、映像融合で用いる２つの映像、外カメラＡ映像とカメラＢ映像について、カメラ位置や撮影領域（撮影視線）を示す。この映像融合方法は、カメラＢ映像から目的映像である外カメラＡ映像へ変化するようにこれら２つの映像を融合する補間を、各映像の撮影位置関係を考慮して行う。すなわち、この映像融合方法は、融合時間中に各映像全体の輝度及び透過率を徐々に増減して変化させながら、映像の撮影位置・方向・画角等の実際の撮影パラメータ（撮影視線ＺＡ，ＺＢ）を用いて、投影形状（ここではカメラＢを搭載している自車を中心とする楕円球Ｕ）に投影し、投影形状上で２つの映像を融合する。次に、擬似運転者Ｃの視線である閲覧視線ＲＣから投影形状上で融合された映像を閲覧する映像が生成される。

図１０は、映像融合のための画像群ＶＡを示す図である。図１１は、映像融合のための画像群ＶＢを示す図である。図１２は、単に映像を切り替えた画像群ＶＣを示す図である。図１３は、映像融合により得られる画像群ＶＤを示す図である。ここでの閲覧視線は、自車から少し後方に引いた位置に視点があり、広角映像であるカメラＢよりも通常の画角である閲覧視線Ｃである。画像群ＶＡは、外カメラＡ映像の輝度が時間と共に変更された画像群である。画像群ＶＢは、カメラＢ映像の輝度が時間と共に変更された画像群である。画像群ＶＣは、単に外カメラＡ映像からカメラＢ映像へ時間と共に切り替えた画像群である。画像群ＶＤは、本実施の形態の映像融合の結果の画像群（閲覧視線Ｃでの映像）である。画像群ＶＡ（ｔ）は、時刻ｔ＝ｔ０，ｔ１，ｔ２，ｔ３における画像ＶＡ（ｔ０），ＶＡ（ｔ１），ＶＡ（ｔ２），ＶＡ（ｔ３）を含む。同様に、画像群ＶＢ（ｔ），ＶＣ（ｔ），ＶＤ（ｔ）は、時刻ｔ＝ｔ０，ｔ１，ｔ２，ｔ３における画像を含む。

この例において、映像融合方法は、外カメラＡ映像及びカメラＢ映像のそれぞれを、画像全体の透過率がほぼ正反対になるよう時間軸に沿って徐々に変更してそれぞれＶＡ，ＶＢとする。すなわち、ｔ＝ｔ０の中間映像の開始状態では、熟知画像の映像であるカメラ映像ＶＢ（ｔ０）が非透過（輝度が１００％）であり、目的映像である外カメラ映像ＶＡ（ｔ０）が完全透過（輝度が０％）で閲覧できない状態にある。映像融合方法は、徐々に透過率を変化させ、ｔ＝ｔ１においてＶＢ（ｔ１）の輝度は６６％、ＶＡ（ｔ１）の輝度は３３％になり、ｔ＝ｔ１においてＶＢ（ｔ２）の輝度は３３％、ＶＡ（ｔ２）の輝度は６６％になる。中間映像の終了状態（ｔ＝ｔ３）では、カメラ映像ＶＢ（ｔ３）が完全透過（輝度が０％）で、外カメラ映像ＶＡ（ｔ３）が非透過（輝度が１００％）になる。このような画像群ＶＡとＶＢを、撮影カメラ視線から投影形状に投影して、所定の閲覧視線から閲覧することで、中間映像を含む画像群ＶＤを生成する。

この例の映像融合方法は、画像全体の透過率を用いて、２つの映像の透過率をほぼ同じ比率で増減させていく例を示したが、必ずしもこの計算方法に限定するわけではない。例えば映像融合方法は、透過率ではなく、２つの画像の輝度や画素色を、熟知画像の値から目的画像の値へと徐々に変化させるような線形・非線形補間を行っても良いし、変化させる際の変化率も一定ではなくてもよい。また、映像融合方法は、２つの映像の一方をベースとなる映像とし、他方をその上に表示する映像とし、ベースとなる映像を非透過とし、上に表示する映像の透過率だけを徐々に透過から非透過へ変化させることにより中間映像を生成しても構わない。また透過計算に、画素同士の合算、乗算、ＡＮＤ、ＯＲ等の演算を用いて構わない。

ここでの映像融合方法は、ＶＡとＶＢのそれぞれの輝度等に重みを付け、前記ＶＢの重みを時間の経過に伴って減少させると共にＶＡの重みを時間の経過に伴って増加させ、それぞれ重みを付けられたＶＡとＶＢとを同一の投影形状に投影してＶＤを生成する。

対抗トラックやすり抜け車両、交差点マークや横断歩道などの路面マーク、自車、などの被写体が、図１０の外カメラＡ映像内と図１１のカメラＢ映像内とで大きく異なる配置に表示されている。従って、図１２のような単純に映像の切り替えを行った画像群ＶＣは、同じ被写体が全く違う位置に複数の像として現れるようなものになってしまい、利用者による被写体の位置関係の理解を補助するために利用することが困難である。

これに対して、図１３の画像群ＶＤは異なる撮影空間を考慮して外カメラＡ映像とカメラＢ映像を投影しているため、融合時にどちらかに存在しない撮影空間部分が徐々に現れる、あるいは消えるようになる（ｔ２及びｔ３での自車周辺の出現、ｔ３での前方の空の消失、等）。しかし、画像群ＶＤにおいて、撮影空間が重複している部分に関しては、撮影位置を考慮して投影した映像を融合しているために、同じ被写体はほぼ同じ位置に投影される。映像融合によれば、中間映像上では対抗トラック車両がほぼ同じ位置のまま被写体として閲覧できるので、中間画像を利用者による位置関係の理解を補助するために利用することができる。

次に、経由情報決定方法について説明する。経由情報は、中間映像を作成する際に用いられる、経由映像及び経由視線である。経由映像は、熟知画像と目的映像の間で経由する映像である。経由視線は、熟知画像と目的映像の間で経由する視線である。経由情報決定方法の例として、第１の経由情報決定方法、第２の経由情報決定方法、第３の経由情報決定方法について、図１４〜１６を用いて説明する。便宜的に、図１４〜１６と、図１や図４等のそれ以外の図とではカメラ番号が異なり、例えば図１や図４では目的映像カメラがカメラＣであるものが、図１４〜１６ではカメラＣと記載しているので、注意が必要である。なお、第１の経由情報決定方法を元に経由情報の内容を決定する処理の流れの一例が、図２２のフローチャートの後半（Ｓ２５、Ｓ２６、Ｓ２８）であるため、以後図２２も用いて説明を行う。

図１４は、第１の経由情報決定方法を示す図である。この例は、熟知画像に用いる自車車載カメラＡの映像と、目的映像（カメラＣ）と、自車の左右前方を撮影するための自車車載カメラＤ，Ｅの映像が存在する場合を示す。経由映像及び経由視線の決定のために、作成内容決定部３５ａは、これら熟知画像の映像及び目的映像以外の映像（カメラＤとＥの映像）について、熟知画像と目的映像のそれぞれと同じ被写体が映っているかどうかを、各閲覧領域の交差を用いてまず調べる（Ｓ２５）。

具体的には、作成内容決定部３５ａは、熟知画像である擬似運転者視線Ｂの閲覧領域に対し、カメラＤ，Ｅの撮影視線ＺＤ，ＺＥの撮影領域の交差領域を計算する。同様にして、目的映像である撮影視線ＺＣとカメラＤ，Ｅの撮影視線ＺＤ，ＺＥとに対応する撮影領域の交差領域もそれぞれ計算する。交差領域は、中間映像利用判定部３４ａで説明したＣ１、第１の交差率の算出方法、第２の交差率の算出方法と同様の方法で計算される。このように、作成内容決定部３５ａは、比較しやすいように全撮影領域に対する交差領域の割合（交差率）を算出し、各映像の熟知画像及び目的映像に対する指標として保持する。
ここで、交差率が閾値よりも小さい映像しかない場合（Ｓ２５，ＮＯ）は、熟知画像と目的映像の双方に、同じ被写体が映っている映像がないことから、経由情報を用いた中間映像そのものを断念し、中間映像を利用しない、運転支援装置１と同様の閲覧処理を行うものとする（Ｓ２９）。
交差率が閾値よりも大きい映像がある場合（Ｓ２５，ＹＥＳ）は更に、図５のＣ２の判定と同様の判定を行ない、その映像のカメラ撮影視線と、目的映像と熟知画像の視線の双方と、視線方向ベクトルの成す角を調べて、被写体の見え方が近いかの指標となる成す角が閾値以下かどうかを調べ、被写体の見え方が近い映像を選定する（Ｓ２６）。成す角が閾値以下の映像がある場合（Ｓ２６，ＹＥＳ）は、その映像のカメラ撮影視線と映像を、経由視線と経由映像とする中間映像を利用すると判定する（Ｓ２８）。閾値以下の映像がない場合は（Ｓ２６，ＮＯ）、交差率が閾値以下の場合と同様に、中間映像を利用しない、運転支援装置１と同様の閲覧処理を行なうものとする（Ｓ２９）。なお、経由情報の決定から、この視線方向ベクトルの成す角を用いた被写体の見え方の判定を省略しても構わない。
このようにして、作成内容決定部３５ａは、熟知画像と目的映像の双方に対して最も指標の高い映像、図１４ではカメラＤの撮影視線ＺＤを、中間画像作成時の経由映像として選定する。

この結果、開始画像である熟知画像（閲覧視線である擬似運転者視線ＲＢ及び撮影カメラＡの映像）から経由映像（他カメラ撮影視線ＺＤ及び撮影カメラＤの映像）を経て最終的に目的映像（撮影視線ＺＣ及び撮影カメラＣの目的映像）になるような中間画像が作成されて提示される。なお、経由視線である撮影視線ＺＤのみを選定利用し、その関連映像であるカメラＤ映像を利用せず、中間画像の作成には熟知画像の素材となるカメラＡ映像と目的カメラＣ映像のみを利用して、視線だけを擬似運転者視線ＲＢ⇒撮影視線ＺＤ⇒撮影視線ＺＣに変更しても、構わない。また、その逆に、映像だけを用いてその映像の撮影視線を用いなくても構わないが、現在の閲覧視線に近い撮影視線及びその撮影視線で撮影した映像から画像を生成した方が、生成した画像に写る被写体の見え方に違和感が小さくなるので、視線と映像の双方を利用することが望ましい。このとき、視線と映像の利用切り替えタイミングが等しくなく、切り替えに時間差があっても構わない。なお、交差領域の判定計算は、中間映像利用判定部３４ａのＣ１とは異なる方法で行っても構わない。

図１５は、第２の経由情報決定方法を示す図である。この場合、作成内容決定部３５ａは、熟知画像の作成に用いた映像と、熟知画像の閲覧視線を補正した補正閲覧視線とを含む、補正熟知画像を経由映像として用いる。

第２の経由情報決定方法は、第１の経由情報決定方法のように熟知画像の閲覧視線の閲覧領域（閲覧視線である擬似運転者視線ＲＢ）を用いない。第２の経由情報決定方法は、熟知画像を作成するのに用いた素材映像の撮影カメラ視線であるオリジナル撮影領域（撮影視線ＺＡ）と、目的映像の撮影カメラ視線の撮影領域（撮影視線ＺＣ）とを比較し、２撮影領域が交差した部分をより閲覧できるように、交差領域の重心を注視点とするように熟知画像の閲覧視線の視線方向を補正した補正閲覧視線（経由視線ＺＤ）を用いる。この補正閲覧視線（経由視線ＺＤ）で閲覧する画像が経由画像であり、それを用いて中間画像が作成される。

この結果、中間映像は、擬似運転者視線ＲＢ＆撮影カメラＡの映像⇒経由視線ＺＤ＆撮影カメラＡの映像⇒撮影視線ＺＣ＆撮影カメラＣの目的映像、という視線変更経路及び映像を用いて作成される。なお、ここでは視線方向を補正したが、視線方向はそのままで交差領域の重心を通るように視点を移動させた補正閲覧視線を用いても構わない。あるいは、補正閲覧視線として、素材映像の撮影視線Ａそのものを利用しても、もちろん構わない。この場合の中間画像は、擬似運転者視線ＲＢ＆撮影カメラＡの映像⇒撮影視線ＺＡ＆撮影カメラＡの映像⇒撮影視線ＺＣ＆撮影カメラＣの目的映像、という視線変更経路及び映像を用いて作成される。

図１６は、第３の経由情報決定方法を示す図である。第３の経由情報決定方法は、熟知画像の閲覧視線ＲＢと目的映像の撮影視線ＺＣに対する中間視線を先に決めておき、それらの中間視線に最もよく合致する撮影視線のカメラ映像を、経由映像として利用する。第１の経由情報決定方法と第２の経由情報決定方法は、経由映像と経由視線を同時に決定していたのに対し、第３の経由情報決定方法は、経由映像の閲覧視線を先に決定して、それを用いて映像を選定する。まず、作成内容決定部３５ａは、熟知画像の閲覧視線（擬似運転者視線ＲＢ）と目的映像の閲覧視線（撮影視線ＺＣ）の視線変更において、視点や視線方向、画角などの視線パラメータを徐々に変化させる視線変更経路を決定する。この変更経路の決定方法は、例えば最も単純に行うものとして、それぞれの値を線形補間してもよいし、所定の値を必ず経由するような視線変更経路としてもよい。

このようにして決定された視線変更経路上の経由視線の１つとして図中の仮想カメラＦがあるとすると、仮想カメラＦの視線である経由視線ＺＦにより閲覧される映像は、以下のように決定される。まず、作成内容決定部３５ａは、熟知画像の素材映像と目的映像を含む全映像の撮影視線（撮影視線ＺＡ、撮影視線ＺＣ、撮影視線ＺＤ、撮影視線ＺＥ）と、経由視線ＺＦとの比較をそれぞれ行う。作成内容決定部３５ａは、この視線の比較において、なるべく多くの被写体が似た視線で閲覧しているような撮影視線を持つ映像を選択する。具体的な方法としては、作成内容決定部３５ａは、中間映像利用判定部３４ａで説明したＣ１，Ｃ２を用いて、共通の被写体の存在割合を推定する撮影領域の交差率と、共通被写体の映り方を推定する撮影視線ベクトルの成す角等とを利用し、交差率が高く、かつ、撮影視線ベクトルの成す角が小さな映像を優先して選択する。

第３の経由情報決定方法の図の例では、カメラＤ，カメラＡ，カメラＣの順に、交差率が大きい。一方で、カメラＡ，カメラＣ、カメラＥ、カメラＤの順に、撮影視線ベクトルの成す角が小さい。このような場合、作成内容決定部３５ａは、交差率と撮影視線ベクトルの成す角のそれぞれの判定に対して１から順位をつけ、双方の順位の乗算結果が最も小さな映像（この例ではカメラＡ）を、優先映像として選択する。

この結果、中間画像は、擬似運転者視線ＲＢ＆撮影カメラＡの映像⇒経由視線ＺＦ＆撮影カメラＡの映像⇒目的視線＆撮影カメラＣの目的映像、という変更経路で作成される。なお、経由視線ごとに経由映像が異なる場合が十分考えられるので、次々に経由映像が変わるようなめまぐるしい中間映像を避けるため、映像を選定する経由視線の数は少なく限定することが望ましい。このように、作成内容決定部３５ａは、前述した経由情報決定方法を用いて、熟知画像と目的映像を繋ぐ中間映像を、どのような経由映像及び経由視線を用いて作成するかを決定する。

なお、作成内容決定部３５ａは、可能ならば選定のヒントとなる指標等の情報を経由映像及び経由視線の候補と共に利用者に提示して、利用者が明示的に選定してもよい。この場合、作成内容決定部３５ａは、経由映像及び視線の候補となる映像や視線を、各指標で有効と思われる順に並べて表示したり、撮影領域の交差領域、視線方向の違いなどを示した図１４〜１６のような模式図を表示してもよい。さらに必要ならば、各指標で有効となるものがどれか識別できるような色や強調マーク等を用いて、選定を補助してもよい。具体的には、選定の補助は、該当映像の撮影領域を他よりも濃い色で塗りつぶしたり、赤などの目立つ色や太い線で囲ったり、撮影カメラの位置を示すために模式図に表示するマークの大きさや色を他よりも目立つものを利用したりする。

また、作成内容決定部３５ａは、リストでの識別方法として、実際の受信映像画像を、有効と判定した理由となる指標値と合わせて、有効と思われる順番で並べて表示しても良い。なお、この経由映像や視線の選定のためのリストや模式図、特に熟知画像と映像群との映り具合を比較する指標等を用いたリストや模式図は、映像変更決定部１４で運転シーンに合致した複数の目的映像候補から、利用者が明示的に選定するためのリストや図として流用されても構わない。

作成内容決定部３５ａはさらに、自車や被写体などの強調表示の有無も決定する。強調表示は、自車と周辺被写体との位置関係を利用者がより把握しやすいよう、中間映像を提示する際に自車や所定の周辺被写体がどこにあるのかを強調するような表示である。ここで、作成内容決定部３５ａは、強調表示を行うか否か、強調対象、強調方法を決定する。

強調対象は例えば、特に注目を要する物、例えばレーダ等で位置推定した障害物や、位置把握の基準となる自車である。強調方法の例として第１の強調方法、第２の強調方法について説明する。

第１の強調方法は、中間映像の作成時に、強調対象付近に特殊な３次元形状（強調対象を指す３次元の矢印形状、強調対象を囲む半透明な球形状や強調対象の簡単なモデル形状、等）を投影形状の空間内に置き、投影形状と共に閲覧視線から閲覧する。第２の強調方法は、強調対象の位置と映像の撮影視線及び撮影領域から、各映像内の強調対象の存在するであろう画像領域を推定し、その領域の一部又は全部、領域近傍の画素に対して、他と区別をつけるように、直接輝度や色、透過率等を変更したり、所定のマーカ画像を重ねたりして、強調対象に関連する画像領域を変更した強調映像にしてから、投影形状に投影する。第１の強調方法は、投影形状を含む仮想空間内に、強調のための３次元形状を適宜配置するＣＧ的な手法であり、第２の強調方法は、映像自体にあらかじめ強調処理を行う手法である。

ここでは、強調対象を自車両とし、強調形状である３次元形状（車形状）を配置する第１の強調方法の結果の例を示す。図１７は、外カメラＡ映像とカメラＢ映像が投影形状に投影された画像に対する第１の強調方法の結果を示す図である。この図は、上段に、強調形状が無い場合の画像を示し、下段に、強調形状が有る場合の画像を示す。この図は、目的映像である外カメラＡ映像と熟知画像作成に用いた自車車載のカメラＢ映像を投影形状に投影し、強調対象である自車を閲覧できるような、自車後方から閲覧した画像である。この図において、２映像で共通する撮影領域は、カメラＢ映像の投影に外カメラＡ映像の投影を上書きしており、映像の輝度や色を融合させる映像融合を厳密には利用していないが、中間映像の模式あるいは概要として示した。

図１８は、外カメラＡ映像が投影形状に投影された画像に対する第１の強調方法の結果を示す図である。この図は、上段に、強調形状が無い場合の画像を示し、下段に、強調形状が有る場合の画像を示す。この図は、外カメラＡ映像のみを投影し、外カメラＡ映像の撮影視点から閲覧した画像を示す。

図１９は、カメラＢ映像が投影形状に投影された画像に対する第１の強調方法の結果を示す図である。この図は、上段に、強調形状が無い場合の画像を示し、下段に、強調形状が有る場合の画像を示す。この図は、カメラＢ映像を用いた熟知画像を示す。

運転者視線をより正確に模した擬似運転者視線の画像では、強調対象である自車両が画像に写らないため、前述の第１の強調方法の結果の例は、擬似運転者視線の視点を少し自車上方に移動させて閲覧した画像とした。前述の第１の強調方法の結果の例から分かるように、自車の強調処理を行うことで、中間映像全体を通して強調処理の対象物、すなわち閲覧者の存在する自車両が映像内のどこにあるのかを、利用者は迅速に把握できる。

中間映像を利用せずに目的映像をそのままディスプレイ１８の所定の表示領域に表示するような提示方法が、提示方法決定部１５ａにより選択された場合、映像表示部１６は、目的映像を提示方法通りに表示することを行う（Ｓ５）。

提示方法決定部１５ａにより中間映像を利用すると決定された場合、投影表示部１７ａは、中間映像作成部３６ａ及び投影作成部３３ａによる処理を行う。中間映像作成部３６ａを経ない場合、提示方法決定部１５ａにより決定された目的映像の閲覧視線を用いて、投影作成部３３ａが目的映像を所定の投影形状に投影して閲覧視線により閲覧した閲覧画像を作成する。

中間映像作成部３６ａは、提示方法決定部１５ａにより決定された内容を用いて、中間映像を作成するための必要な計算やデータを揃えて、投影作成部３３ａでの実際の映像作成時に中間映像を作成できるよう、補助をする。すなわち、中間映像作成部３６ａは、熟知画像を作成するための映像（カメラＢ映像）や閲覧視線（擬似運転者視線Ｆ１）、中間映像作成における視線補間方法（視線位置・方向・画角の線形補間）、映像融合の有無及び映像融合方法（映像融合有りの場合の、画像の透過率を用いたブレンド）、自車や被写体などの強調表示の有無および強調方法（自車の車モデル形状による強調表示）、経由映像及び経由視線等を用いて、熟知画像から目的映像への変化において提示する中間映像を作成するためのデータの変更などを行う（Ｓ９）。

利用視線変更部４１ａは、中間映像の作成のうち、閲覧視線の変更における補間を行い、現在の閲覧視線を決定する。利用映像融合部４２ａは、利用する映像の映像融合方法を実際に処理するために、各利用映像を揃えてその映像に関する投影情報、すなわち映像の現在の透過率や投影する順番などを計算して保持する。強調処理部４３ａは、中間映像の表示中に（Ｓ１０，ＹＥＳ）、強調が必要ならば（Ｓ１１，ＹＥＳ）、強調対象の位置に強調表示を行うための３次元形状を追加したり、映像の一部を強調したりする処理を行う（Ｓ１２）。中間映像作成部３６ａの各部の詳細は、すでに提示方法決定部１５ａ等で述べた通りである。

投影作成部３３ａは、中間映像を利用しない場合（Ｓ１０，ＮＯ）、投影作成部３３と同様の技術を用いる（Ｓ１３）。また、投影作成部３３ａは、中間映像を利用する場合に中間映像作成部３６ａによる処理及びデータ変更の結果を利用し、１つ以上の映像を、その撮影視線パラメータを参照しながら所定の３次元形状（投影形状）へ投影し、現在の閲覧視線から閲覧した画像を作成する（Ｓ１４）。中間映像が加わるため、投影作成部３３ａは、新たに透過率の概念を導入したり、強調処理用の投影形状を導入したり、撮影視線の大きく異なる映像を同時に閲覧したりしてもよい。投影作成部３３ａは、例えば、投影形状の特徴点の色及び輝度を、対応づけされた複数の映像の各画素色及び輝度から透過度及び投影順番を考慮して決定するために、ＣＧでいう透過マッピングのような処理を行う。

また、投影作成部３３ａは、閲覧する仮想空間内に映像を投影しない形状（強調形状）が一時的に複数存在する可能性があるため、あらかじめ利用する可能性のある強調形状群を準備しておき、仮想空間内の利用形状リストに投影しない強調形状を登録／削除する等のデータ管理を行う。

また、投影作成部３３ａは、熟知画像を作成するための映像（多くは運転者や閲覧者である利用者の視線に似た撮影視線、すなわち視点が自車近くにある自車車載カメラ映像）と、所定の撮影視線による目的映像との２つの映像のように、同時に撮影視線の異なる映像を投影形状に投影する。例えば、目的映像の撮影視点や閲覧視点が投影形状の外側、すなわち自車及び利用者の視点とは反対の側に存在する場合、熟知画像である利用者の擬似視線から目的映像の視線へと視線補間方法を行う際に、投影形状を跨いだ視点経路となり、投影計算は困難になる。これを解決するために、投影作成部３３ａは、目的映像の視線を考慮して投影形状を大きめにする、目的映像の視点を含むように変形する、あるいは投影形状を変形する代わりに、投影計算式を工夫して投影形状の大きさを仮想的に変更する等、投影形状や投影方法を工夫してもよい。

その他にも、投影作成部３３ａは、自車映像について、映像同士の繋ぎ目にまたがる立体被写体が投影形状の側面に二重に投影されたり、投影時に投影形状に投影できない領域が生じたりすることを防ぐために、仮想的に形状の大きさや形を変えた投影に適した形状を用いて投影計算を行い、投影後に表示に適した大きさや形の形状へと戻すような投影計算を行うことができる。このとき、投影作成部３３ａは、自車外の映像については、繋ぎ目や投影できない領域を厳密に考慮しないものとしてその計算を省く、自車映像とは異なる投影計算を用いる、などを行ってもよい。

なお、投影表示部１７ａについて、便宜的に、中間映像作成部３６ａの処理と投影作成部３３ａの処理とを分けて説明しているが、これらの処理が同時に行われたり、これらの処理の順番が変更されたりしても構わない。例えば、利用視線変更部４１ａの処理の前に利用映像融合部４２ａの処理を行っても構わない。
このような、上述した投影表示部１７ａの詳しい処理の流れの一例については、図２３の中間映像作成のフローチャートに示した通りである。投影表示部１７ａは、現在の中間映像の映像時刻である補間時刻から閲覧視線を補間算出し（Ｓ３０）、融合する映像を入れ替えるかを判定し（Ｓ３１）、融合する映像を入れ替える場合（Ｓ３１，ＹＥＳ）に融合対象を選定する（Ｓ３２）。次に、投影表示部１７ａは、前述したように投影する映像によって投影形状の更新が必要かを判定し（Ｓ３３）、投影形状の更新が必要である場合（Ｓ３３，ＹＥＳ）、投影する融合２映像の撮影データ（撮影空間）に合わせて投影形状を更新する（Ｓ３４）。Ｓ３４の後、又はＳ３３のＮＯの後、投影表示部１７ａは、投影する融合２映像の撮影データ（撮影空間）と投影形状の位置関係から求めた、映像フレームの画素位置と投影形状の特徴点の対応づけを行う（Ｓ３５）。この対応づけは、運転支援装置１の投影作成部３３の対応づけと同じであり、映像と投影形状のどちらにも変更がなければ、前回の対応づけ結果をそのまま流用して良い。Ｓ３５の後、又はＳ３１のＮＯの後、投影表示部１７ａは、現在の補間時刻から、映像融合度である重畳表示時の各映像の透過率を変更更新し、必要なら映像の投影描画順番も変更更新する（Ｓ３６）。最後に、投影表示部１７ａは、実際の映像の映像フレーム画像を映像データ２３から取得して（Ｓ３７）、現在の閲覧視線から眺めた画像を透過マッピングを利用して取得した映像フレーム画像の画素色および輝度から作成する（Ｓ３８）。

なお、上述した運転支援装置１ａの各部は、ＣＰＵ及びメモリ、ハードディスクドライブ等の記憶媒体であるハードウェア資源と、記憶媒体内で保持されているソフトウェア資源とが協働することで実現される。

運転支援装置１ａによれば、利用者が目的映像を閲覧する前に、利用者が被写体の位置関係を熟知しているであろう熟知画像（多くは利用者の視線を模した擬似運転者視線を用いた画像）から目的映像への変化中の映像である中間映像を作成表示することにより、利用者が目視する映像（利用者視線）と大きく異なるインフラ撮影映像（カメラ撮影視線）等の映像の表示の際に、利用者が咄嗟に位置関係を把握できないという課題を解決することが可能となる。

運転支援装置１ａによれば、利用者を想定した視線から外部閲覧する映像の視線へと徐々に視線を変更すると同時に、利用者の想定視線と近い撮影視線の映像から目的映像へと利用する映像も変化させることで、被写体の見え方を徐々に変化させながら、閲覧視線を変更することができる。これにより、利用者は、どの被写体が肉眼のどの被写体であるのか、容易に被写体同士、自分と被写体の位置関係を把握することができるようになる。

映像を変更する際、映像を単純にマージする既存の映像切り替え効果を用いると、最初の映像と目的映像で被写体の位置が異なる２つの映像を用いた場合には、どこに何が映っているかを考慮せずに映像全体を混色する。そのため、同じ被写体が複数の場所に現れて対応づけが全くとれず、被写体の位置の把握に用いることができない。運転支援装置１ａは、同じ被写体を同じ場所にしたまま映像融合するために、撮影空間の関係を考慮しながら、映像を配置して混色する。運転支援装置１ａは、映像を撮影した位置から投影形状に投影して、その投影形状上で徐々に映像が変化するように透過度を変えて混色することにより、映像の変化の前後で同じ被写体を同じ場所に配置することを実現する。この方法では、全く撮影位置の異なる映像でも同じ被写体は同じ位置に投影されるようになり、利用者による被写体の位置の把握を補助する映像を作成することができる。

上述の例のように、運転支援装置１ａが開始画像の閲覧視線を擬似運転者視線とし、目的画像の閲覧視線を擬似運転者視線と異なる視線とすることにより、特に利用者の視線から利用者の視線と大きく異なる視線へ切り替える場合に利用者による画像の認識を補助することができる。一方、運転支援装置１ａが開始画像の閲覧視線を擬似運転者視線と異なる視線とし、目的画像の閲覧視線を擬似運転者視線としても良く、これにより、特に利用者の視線と大きく異なる視線から利用者の視線へ切り替える場合に利用者による画像の認識を補助することができる。

運転支援装置１ａは、開始画像の閲覧視線と目的映像の閲覧視線の少なくともいずれかの視線パラメータを、擬似運転者視線の視線パラメータ（視点、視線方向、画角）の一部又は全部と一致させても良い。

運転支援装置１ａは、閲覧視線と擬似運転者視線を比較し、比較により得られる視線の差等を示す情報を、表示する画像に付加しても良い。

なお、本発明は以下に示すようなコンピュータシステムにおいて適用可能である。図２０は、本発明が適用されるコンピュータシステムの一例を示す図である。この図に示すコンピュータシステム９００は、ＣＰＵやディスクドライブ等を内蔵した本体部９０１、本体部９０１からの指示により画像を表示するディスプレイ９０２、コンピュータシステム９００に種々の情報を入力するためのキーボード９０３、ディスプレイ９０２の表示画面９０２ａ上の任意の位置を指定するマウス９０４及び外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする通信装置９０５を有する。通信装置９０５は、ネットワーク通信カード、モデムなどが考えられる。

上述したような、画像処理装置を構成するコンピュータシステムにおいて上述した各ステップを実行させるプログラムを、画像処理プログラムとして提供することができる。このプログラムは、コンピュータシステムにより読み取り可能な記録媒体に記憶させることによって、画像処理装置を構成するコンピュータシステムに実行させることが可能となる。上述した各ステップを実行するプログラムは、ディスク９１０等の可搬型記録媒体に格納されるか、通信装置９０５により他のコンピュータシステムの記録媒体９０６からダウンロードされる。また、コンピュータシステム９００に少なくとも画像処理機能を持たせる画像処理プログラムは、コンピュータシステム９００に入力されてコンパイルされる。このプログラムは、コンピュータシステム９００を、画像処理機能を有する画像処理システムとして動作させる。また、このプログラムは、例えばディスク９１０等のコンピュータ読み取り可能な記録媒体に格納されていても良い。ここで、コンピュータシステム９００により読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ディスク９１０やフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータシステム並びにそのデータベースや、通信装置９０５のような通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
なお、画像処理プログラムの一部を専用処理チップとしてコンピュータシステム２００に内蔵されるハードウェアとして実現しても構わない。

画像取得部は、実施の形態における映像更新登録部１１ａに対応する。
設定部は、実施の形態における映像変更決定部１４及び提示方法決定部１５ａに対応する。
生成部は、実施の形態における投影表示部１７ａに対応する。
状況取得部は、実施の形態における運転状況取得部１２及び道路状況取得部１３に対応する。
表示部は、実施の形態におけるディスプレイ１８に対応する。

第１カメラは、実施の形態におけるカメラＢに対応する。
第２カメラは、実施の形態における外カメラＡに対応する。
第１撮影画像は、実施の形態におけるカメラＢ映像に対応する。
第２撮影画像は、実施の形態における外カメラＡ映像に対応する。
第１撮影視線は、実施の形態におけるカメラＢ視線に対応する。
第２撮影視線は、実施の形態における外カメラＡ視線に対応する。
第１表示画像は、実施の形態におけるＶＤ（ｔ０）に対応する。
第２表示画像は、実施の形態におけるＶＤ（ｔ３）に対応する。
補間表示画像は、実施の形態におけるＶＤ（ｔ１），ＶＤ（ｔ２）に対応する。
生成条件は、実施の形態におけるＣ３，Ｃ４に対応する。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

１ａ 運転支援装置
１１ａ 映像更新登録部
１２ 運転状況取得部
１３ 道路状況取得部
１４ 映像変更決定部
１５ａ 提示方法決定部
１６ 映像表示部
１７ａ 投影表示部
１８ ディスプレイ
２１ａ 視線データ記憶部
２２ 撮影データ記憶部
２３ 映像データ記憶部
２４ 運転／道路情報記憶部
３１ 目的映像提示方法決定部
３３ａ 投影作成部
３４ａ 中間映像利用判定部
３５ａ 作成内容決定部
３６ａ 中間映像作成部
４１ａ 利用視線変更部
４２ａ 利用映像融合部
４３ａ 強調処理部

他方で、運転シーンによっては、このような自車に搭載した車載カメラ画像および車載カメラ画像が変換され、生成された画像だけでは、自車の周辺状況を全て確認できないという場合がある。例えば、複数車線の交差点での右折待ちでは対向車線の右折待ち車により視線が遮られ、その脇をすり抜けてくる対向直進車は、運転者はもちろん、自車の車載カメラにも映らない場合がある。このような場合を鑑みて、例えば交差点などに設置したインフラカメラの映像を無線により車両へ伝送することにより、運転者による死角の目視確認のために、車両が受信した映像を表示する試みが、路車協調による安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）等で検討されている。

簡単のため、ここで、投影作成部３３は、画素位置として、実際の解像度に対応する画素を用いて対応づけしたが、実際には存在しない画素、すなわち小数点を含む理論的な画素位置を利用しても構わない。カメラ位置および撮影方向が自車に対して固定された自車搭載カメラの場合、自車を原点とする仮想空間内におけるカメラの撮影領域に変化がないため、投影する３次元形状の形状および自車との位置関係に変更がなければこの対応関係は不変となる。この場合、投影作成部３３は、映像フレームの書き換え毎に対応関係を計算する必要はない。また、車種等によってこの対応関係があらかじめ推定できるなら、投影作成部３３は、対応関係を毎回計算せずにあらかじめ数値テーブル（マッピングテーブル等）を用意して利用してもよい。

また、擬似運転者視線の視点は、一般的な自車の代表点として閲覧視線に利用される自車中心軸上にある必要はない。自車の運転席位置に従って自車中心より左または右に寄った視点を擬似運転者視線の視点とすると、運転者の視線に近い視線を実現することができる。また、擬似運転者視線の視線方向は自車進行方向でなく、センサ等で測定された、もしくは運転者の身長や運転シーンにより推定された、運転者の現在の視線方向として良い。あるいは、各運転シーンで特に運転者が注視して見るであろう領域の方向、例えば右折待ちでの対向直進すり抜け車線などを向いた視線方向などを擬似運転者視線の視線方向としてもよい。擬似運転者視線は、利用者の視線に上述のような所定の操作を施したものである。

図８は、中間映像利用判定方法Ｃ２における被写体の映り方の比較を示す図である。Ｃ２は、カメラＡとカメラＢによる被写体の映り方を比較するものとして、カメラＡから重要被写体の代表位置Ｗへの方向ベクトルＸと、カメラＢから重要被写体の代表位置Ｗへの方向ベクトルＹとを比較する。こうすることで、例えば右折シーンでは特に重要な対向すり抜けレーンや、障害物センサで検知した自車周辺障害物などの、特に注意を要する被写体に対して、熟知画像と目的映像での映り方の違いを判定することができる。注意を要する被写体が複数存在する場合、Ｃ２は、各被写体へのベクトルを用いてそれぞれのベクトル同士で成す角を求め、その平均値を映像同士の映り方の違いとしてもよい。

この例において、映像融合方法は、外カメラＡ映像及びカメラＢ映像のそれぞれを、画像全体の透過率がほぼ正反対になるよう時間軸に沿って徐々に変更してそれぞれＶＡ，ＶＢとする。すなわち、ｔ＝ｔ０の中間映像の開始状態では、熟知画像の映像であるカメラ映像ＶＢ（ｔ０）が非透過（輝度が１００％）であり、目的映像である外カメラ映像ＶＡ（ｔ０）が完全透過（輝度が０％）で閲覧できない状態にある。映像融合方法は、徐々に透過率を変化させ、ｔ＝ｔ１においてＶＢ（ｔ１）の輝度は６６％、ＶＡ（ｔ１）の輝度は３３％になり、ｔ＝ｔ２においてＶＢ（ｔ２）の輝度は３３％、ＶＡ（ｔ２）の輝度は６６％になる。中間映像の終了状態（ｔ＝ｔ３）では、カメラ映像ＶＢ（ｔ３）が完全透過（輝度が０％）で、外カメラ映像ＶＡ（ｔ３）が非透過（輝度が１００％）になる。このような画像群ＶＡとＶＢを、撮影カメラ視線から投影形状に投影して、所定の閲覧視線から閲覧することで、中間映像を含む画像群ＶＤを生成する。

対向トラックやすり抜け車両、交差点マークや横断歩道などの路面マーク、自車、などの被写体が、図１０の外カメラＡ映像内と図１１のカメラＢ映像内とで大きく異なる配置に表示されている。従って、図１２のような単純に映像の切り替えを行った画像群ＶＣは、同じ被写体が全く違う位置に複数の像として現れるようなものになってしまい、利用者による被写体の位置関係の理解を補助するために利用することが困難である。

これに対して、図１３の画像群ＶＤは異なる撮影空間を考慮して外カメラＡ映像とカメラＢ映像を投影しているため、融合時にどちらかに存在しない撮影空間部分が徐々に現れる、あるいは消えるようになる（ｔ２及びｔ３での自車周辺の出現、ｔ３での前方の空の消失、等）。しかし、画像群ＶＤにおいて、撮影空間が重複している部分に関しては、撮影位置を考慮して投影した映像を融合しているために、同じ被写体はほぼ同じ位置に投影される。映像融合によれば、中間映像上では対向トラック車両がほぼ同じ位置のまま被写体として閲覧できるので、中間画像を利用者による位置関係の理解を補助するために利用することができる。

Claims (19)

1. 車両に設けられる画像処理装置であって、
   第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得する画像取得部と、
   前記第１カメラにより撮影される第１カメラ画像の視線である第１カメラ視線と、前記第１カメラ画像に基づいて生成される第１表示画像の視線である第１表示視線と、前記第２カメラにより撮影される前記第２カメラ画像の視線である第２カメラ視線と、前記第２カメラ画像に基づいて生成される第２表示画像の視線である第２表示視線とに基づいて、前記第１カメラ画像内の位置と前記第２カメラ画像内の位置と前記第１表示画像内の位置と前記第２表示画像内の位置との対応関係を設定する設定部と、
   前記第１カメラ画像と前記対応関係とに基づいて前記第１表示画像を生成し、前記第１カメラ画像及び前記第２カメラ画像の少なくともいずれかと前記対応関係とに基づいて前記第１表示画像と前記第２表示画像とを補間して前記第１表示画像より後に表示される補間表示画像を生成し、前記第２カメラ画像と前記対応関係とに基づいて前記補間表示画像より後に表示される前記第２表示画像を生成する生成部と
   を備え、
   前記第１カメラ視線及び前記第１表示視線の対と、前記第２カメラ視線及び前記第２表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である、
   画像処理装置。
2. 前記第１表示視線と前記第２表示視線は、互いに異なり、
   前記設定部は、前記第１表示視線と前記第２表示視線を補間して前記補間表示画像の視線である補間表示視線を決定する、
   請求項１に記載の画像処理装置。
3. 前記設定部は、前記対応関係に基づいて前記第１カメラ画像及び前記第２カメラ画像が投影される投影形状を設定すると共に、前記第１表示視線と前記第２表示視線の少なくともいずれかに基づいて前記補間表示画像の視線である補間表示視線を設定し、
   前記生成部は、前記第１カメラ画像を前記投影形状へ投影して第１投影結果とし、前記第１投影結果を前記第１表示視線から見た前記第１表示画像を生成し、前記第１カメラ画像及び前記第２カメラ画像の少なくともいずれかを前記投影形状へ投影して第２投影結果とし、前記第２投影結果を前記補間表示視線から見た前記補間表示画像を生成し、前記第２カメラ画像を前記投影形状へ投影して第３投影結果とし、前記第３投影結果を前記第２表示視線から見た前記第２表示画像を生成する、
   請求項１に記載の画像処理装置。
4. 前記生成部は、前記第１カメラ画像と前記第２カメラ画像のそれぞれに重みを付け、前記第１カメラ画像の重みを時間の経過に伴って減少させると共に前記第２カメラ画像の重みを時間の経過に伴って増加させ、前記重みを付けられた前記第１カメラ画像と前記重みを付けられた前記第２カメラ画像とに基づいて前記補間表示画像を生成する、
   請求項１に記載の画像処理装置。
5. 前記第１表示視線及び前記第２表示視線の少なくともいずれかは、前記画像処理装置の利用者の視線に所定の操作を施した視線である、
   請求項１に記載の画像処理装置。
6. 前記視線は、視点及び方向及び画角である視線パラメータを含み、
   前記第１表示視線及び前記第２表示視線の少なくともいずれかと前記利用者の視線とにおいて、前記視線パラメータの少なくともいずれかは一致する、
   請求項５に記載の画像処理装置。
7. 前記設定部は、前記複数のカメラの視線と第１表示視線とに基づいて第１カメラを選択する処理と、前記複数のカメラの視線と第２表示視線とに基づいて第２カメラを選択する処理との少なくともいずれかを行う、
   請求項５に記載の画像処理装置。
8. 前記生成部は、前記第１表示画像と前記補間表示画像と前記第２表示画像である表示画像の視線と前記利用者の視線との比較に基づく情報を前記表示画像に付加する、
   請求項５に記載の画像処理装置。
9. 前記設定部は、前記第１カメラ及び前記第２カメラが前記車両に設けられている場合と、前記第１カメラ及び前記第２カメラの少なくともいずれかが前記車両以外に設けられている場合とで前記投影の方法を異ならせる、
   請求項３に記載の画像処理装置。
10. 前記設定部は、前記投影形状と特定の物体との位置関係を前記対応関係に含め、
    前記生成部は、前記位置関係に基づいて前記投影形状の空間に前記物体を示す物体形状を配置し、前記投影形状及び前記物体形状を見た前記第１表示画像と前記補間表示画像と前記第２表示画像とを生成する、
    請求項３に記載の画像処理装置。
11. 前記設定部は、前記カメラ画像と前記カメラ画像の視点との少なくともいずれかに基づいて前記カメラにより撮影された被写体の位置を推定して前記対応関係に含め、
    前記生成部は、前記対応関係に基づいて、前記第１表示画像と前記補間表示画像と前記第２表示画像とにおいて前記被写体の位置を強調する、
    請求項１に記載の画像処理装置。
12. 前記設定部は、前記カメラ画像の視線に基づいて前記車両の位置を前記対応関係に含め、
    前記生成部は、前記対応関係に基づいて、前記第１表示画像と前記補間表示画像と前記第２表示画像とにおいて前記車両の位置を強調する、
    請求項１に記載の画像処理装置。
13. 前記設定部により、表示される画像を見る利用者の視線と前記第１表示画像及び前記第２カメラ視線のいずれかとの差が所定の範囲外であると判定された場合、もしくは、表示される画像を見る利用者の視線を中心とする領域と前記第１表示画像を中心とする領域及び前記第２カメラ視線を中心とする領域のいずれかとが互いに重なると判定された場合、前記生成部は、前記補間表示画像を生成する、
    請求項１に記載の画像処理装置。
14. 更に、
    前記車両の運転状況と前記車両の周囲の道路状況との少なくともいずれかを取得する状況取得部を備え、
    前記設定部は、前記運転状況と前記道路状況との少なくともいずれかに基づいて、前記複数のカメラの中から前記第１カメラ及び前記第２カメラの少なくともいずれかを選択する、
    請求項１に記載の画像処理装置。
15. 前記設定部は、前記運転状況と前記道路状況との少なくともいずれかに基づいて表示する空間を決定すると共に複数のカメラの視線に基づいて撮影される空間を決定し、前記表示する空間と前記撮影される空間との重なりに基づいて前記複数のカメラの中から前記第２カメラを選択する、
    請求項１４に記載の画像処理装置。
16. 前記設定部により、前記運転状況と前記道路状況との少なくともいずれかが所定の生成条件を満たすと判定された場合に、前記生成部は、前記補間表示画像を生成する、
    請求項１４に記載の画像処理装置。
17. 更に、
    前記生成部により生成された、前記第１表示画像と前記補間表示画像と前記第２表示画像とを順に表示する表示部を備える、
    請求項１に記載の画像処理装置。
18. 車両に設けられたコンピュータに実行させる画像処理プログラムであって、
    第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、
    前記第１カメラにより撮影される第１カメラ画像の視線である第１カメラ視線と、前記第１カメラ画像に基づいて生成される第１表示画像の視線である第１表示視線と、前記第２カメラにより撮影される前記第２カメラ画像の視線である第２カメラ視線と、前記第２カメラ画像に基づいて生成される第２表示画像の視線である第２表示視線とに基づいて、前記第１カメラ画像内の位置と前記第１表示画像内の位置と前記第２カメラ画像内の位置と前記第２表示画像内の位置との対応関係を設定し、
    前記第１カメラ画像と前記対応関係とに基づいて前記第１表示画像を生成し、
    前記第１カメラ画像及び前記第２カメラ画像の少なくともいずれかと前記対応関係とに基づいて前記第１表示画像と前記第２表示画像とを補間して前記第１表示画像より後に表示される補間表示画像を生成し、
    前記第２カメラ画像と前記対応関係とに基づいて前記補間表示画像より後に表示される前記第２表示画像を生成し、
    前記第１カメラ視線及び前記第１表示視線の対と、前記第２カメラ視線及び前記第２表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である、
    前記画像処理プログラムが記録された、
    コンピュータにより読み取り可能な記録媒体。
19. 車両に設けられた画像処理装置により実行される画像処理方法であって、
    第１カメラ及び第２カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、
    前記第１カメラにより撮影される第１カメラ画像の視線である第１カメラ視線と、前記第１カメラ画像に基づいて生成される第１表示画像の視線である第１表示視線と、前記第２カメラにより撮影される前記第２カメラ画像の視線である第２カメラ視線と、前記第２カメラ画像に基づいて生成される第２表示画像の視線である第２表示視線とに基づいて、前記第１カメラ画像内の位置と前記第１表示画像内の位置と前記第２カメラ画像内の位置と前記第２表示画像内の位置との対応関係を設定し、
    前記第１カメラ画像と前記対応関係とに基づいて前記第１表示画像を生成し、
    前記第１カメラ画像及び前記第２カメラ画像の少なくともいずれかと前記対応関係とに基づいて前記第１表示画像と前記第２表示画像とを補間して前記第１表示画像より後に表示される補間表示画像を生成し、
    前記第２カメラ画像と前記対応関係とに基づいて前記補間表示画像より後に表示される前記第２表示画像を生成し、
    前記第１カメラ視線及び前記第１表示視線の対と、前記第２カメラ視線及び前記第２表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である、
    画像処理方法。

Images