JP5267660B2 - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

画像処理装置、画像処理プログラム、画像処理方法 Download PDF

Info

Publication number
JP5267660B2
JP5267660B2 JP2011509097A JP2011509097A JP5267660B2 JP 5267660 B2 JP5267660 B2 JP 5267660B2 JP 2011509097 A JP2011509097 A JP 2011509097A JP 2011509097 A JP2011509097 A JP 2011509097A JP 5267660 B2 JP5267660 B2 JP 5267660B2
Authority
JP
Japan
Prior art keywords
image
sight
camera
line
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011509097A
Other languages
English (en)
Other versions
JPWO2010119496A1 (ja
Inventor
麻子 北浦
誠也 清水
映史 森松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2010119496A1 publication Critical patent/JPWO2010119496A1/ja
Application granted granted Critical
Publication of JP5267660B2 publication Critical patent/JP5267660B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

車両に設けられ、カメラにより撮影された画像の処理を行う画像処理装置、画像処理プログラム、画像処理方法に関する。
車両の運転者が自車の周辺環境を目視確認するために、複数の車載カメラにより撮影された画像である車載カメラ画像を車載装置が俯瞰画像へ変換し、合成して表示することにより、運転者が客観的、直感的に自車の周囲状況を把握することができるシステムがある。これを拡張するものとして、例えば車載カメラ画像の色情報をそのまま3次元空間モデルにマッピングして任意の視点から見た画像に変換して表示する画像生成装置がある(例えば、特許文献1参照)。このような画像生成装置を用いると、自車両を見下ろした俯瞰画像以外に、空を含む周辺画像も全て同時に閲覧できる画像を生成できる、という利点がある。
他方で、運転シーンによっては、このような自車に搭載した車載カメラ画像および車載カメラ画像が変換され、生成された画像だけでは、自車の周辺状況を全て確認できないという場合がある。例えば、複数車線の交差点での右折待ちでは対向車線の右折待ち車により視線が遮られ、その脇をすり抜けてくる対向直進車は、運転者はもちろん、自車の車載カメラにも映らない場合がある。このような場合を鑑みて、例えば交差点などに設置したインフラカメラの映像を無線により車両へ伝送することにより、運転者による死角の目視確認のために、車両が受信した映像を表示する試みが、路車協調による安全運転支援システム(DSSS:Driving Safety Support Systems)等で検討されている。
このような自車以外で撮影された映像は、加工を施されることなく、車載モニタを流用して表示させることが一般的である。
また、コンピュータグラフィックス(CG)において、ビデオテクスチャの技術がある(例えば、非特許文献1,2参照)。
特許第3286306号
OpenGL策定委員会著,「OpenGLプログラミングガイド」,ピアソンエデュケーション出版 OpenGL Architecture Review Board著,「OpenGLリファレンスマニュアル」,ピアソンエデュケーション出版
しかし、カメラ位置、方向、撮影画角などのカメラパラメータは、撮影したカメラに依存するため、インフラカメラのように一時的に閲覧される映像は、運転者が咄嗟にその映像の内容、特に映っている被写体と自車との位置関係を把握することが困難だという課題がある。すなわち、運転者が位置関係を熟知している風景、例えば今現在の運転者自身が肉眼で見ている風景と、表示される映像の風景、例えば交差点に設置されたインフラカメラによる映像(以後、インフラ映像と記載する場合もある)の風景とがあまりに異なるため、運転者がインフラ映像の内容を理解するのに時間がかかることが課題となる。
例として、交差点におけるインフラカメラの設置場所として信号機上にカメラを設置することが考えられる。この場合、交差点毎に信号機の設置位置が異なるため、撮影カメラの位置や撮影方向などの撮影空間も交差点毎に異なる。従って、車載装置が異なる交差点で映像を受信して表示するたびに、カメラはどこを見ているのか、映像内の障害物が実際にはどこにあるのか、その障害物と自車とは今どのような位置関係にあるのか、等を運転者は瞬時に判断することができない。これは路上に設置されるインフラカメラの映像を無線受信して利用する場合だけではなく、他車が撮影した映像を無線受信して利用する場合でも同様で、特に映像を提供する他車の位置及びその車へのカメラ搭載位置などが刻々と変化するため、運転者はすぐに内容を理解できない。
本発明は上述した問題点を解決するためになされたものであり、カメラの切り替え時における利用者による表示画像の認識を補助する画像処理装置、画像処理プログラム、画像処理方法を提供することを目的とする。
車両に設けられる画像処理装置であって、第1カメラ及び第2カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得する画像取得部と、第1カメラにより撮影される第1カメラ画像の視線である第1カメラ視線と、第1カメラ画像に基づいて生成される第1表示画像の視線である第1表示視線と、第2カメラにより撮影される第2カメラ画像の視線である第2カメラ視線と、第2カメラ画像に基づいて生成される第2表示画像の視線である第2表示視線とに基づいて、第1カメラ画像内の位置と第2カメラ画像内の位置と第1表示画像内の位置と第2表示画像内の位置との対応関係を設定する設定部と、第1カメラ画像と対応関係とに基づいて第1表示画像を生成し、第1カメラ画像及び第2カメラ画像の少なくともいずれかと対応関係とに基づいて第1表示画像と第2表示画像とを補間して第1表示画像より後に表示される補間表示画像を生成し、第2カメラ画像と対応関係とに基づいて補間表示画像より後に表示される第2表示画像を生成する生成部とを備え、第1カメラ視線及び第1表示視線の対と、第2カメラ視線及び第2表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である。
車両に設けられたコンピュータに実行させる画像処理プログラムであって、第1カメラ及び第2カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、第1カメラにより撮影される第1カメラ画像の視線である第1カメラ視線と、第1カメラ画像に基づいて生成される第1表示画像の視線である第1表示視線と、第2カメラにより撮影される第2カメラ画像の視線である第2カメラ視線と、第2カメラ画像に基づいて生成される第2表示画像の視線である第2表示視線とに基づいて、第1カメラ画像内の位置と第1表示画像内の位置と第2カメラ画像内の位置と第2表示画像内の位置との対応関係を設定し、第1カメラ画像と対応関係とに基づいて第1表示画像を生成し、第1カメラ画像及び第2カメラ画像の少なくともいずれかと対応関係とに基づいて第1表示画像と第2表示画像とを補間して第1表示画像より後に表示される補間表示画像を生成し、第2カメラ画像と対応関係とに基づいて補間表示画像より後に表示される第2表示画像を生成し、第1カメラ視線及び第1表示視線の対と、第2カメラ視線及び第2表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である。
車両に設けられた画像処理装置により実行される画像処理方法であって、第1カメラ及び第2カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、第1カメラにより撮影される第1カメラ画像の視線である第1カメラ視線と、第1カメラ画像に基づいて生成される第1表示画像の視線である第1表示視線と、第2カメラにより撮影される第2カメラ画像の視線である第2カメラ視線と、第2カメラ画像に基づいて生成される第2表示画像の視線である第2表示視線とに基づいて、第1カメラ画像内の位置と第1表示画像内の位置と第2カメラ画像内の位置と第2表示画像内の位置との対応関係を設定し、第1カメラ画像と対応関係とに基づいて第1表示画像を生成し、第1カメラ画像及び第2カメラ画像の少なくともいずれかと対応関係とに基づいて第1表示画像と第2表示画像とを補間して第1表示画像より後に表示される補間表示画像を生成し、第2カメラ画像と対応関係とに基づいて補間表示画像より後に表示される第2表示画像を生成し、第1カメラ視線及び第1表示視線の対と、第2カメラ視線及び第2表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である。
開示の画像処理装置、画像処理プログラム、画像処理方法によれば、カメラの切り替え時における利用者による表示画像の認識を補助することができる。
比較例における運転支援装置の構成を示すブロック図である。 撮影領域と撮像面の対応付けを示す図である。 撮像面と撮影画像の対応付けを示す図である。 本実施の形態における運転支援装置の構成を示すブロック図である。 中間映像利用判定方法を示す図である。 中間映像利用判定方法C1における第1の交差率の算出方法を示す図である。 中間映像利用判定方法C1における第2の交差率の算出方法を示す図である。 中間映像利用判定方法C2における被写体の映り方の比較を示す図である。 映像融合方法を示す図である。 映像融合のための画像群VAを示す図である。 映像融合のための画像群VBを示す図である。 単に映像を切り替えた画像群VCを示す図である。 映像融合により得られる画像群VDを示す図である。 第1の経由情報決定方法を示す図である。 第2の経由情報決定方法を示す図である。 第3の経由情報決定方法を示す図である。 外カメラA映像とカメラB映像が投影形状に投影された画像に対する第1の強調方法の結果を示す図である。 外カメラA映像が投影形状に投影された画像に対する第1の強調方法の結果を示す図である。 カメラB映像が投影形状に投影された画像に対する第1の強調方法の結果を示す図である。 本発明が適用されるコンピュータシステムの一例を示す図である。 本実施の形態における運転支援装置の動作の一例を示すフローチャートである。 中間映像利用判定方法の動作の一例を示すフローチャートである。 中間映像作成の動作の一例を示すフローチャートである。
まず、本発明の実施の形態の比較例について以下に説明する。
<比較例>
比較例として、1つ以上の車載カメラ映像を所定の3次元形状に投影し、所定の閲覧視線から眺めた画像を生成し、表示する運転支援装置において、インフラ映像などの車載カメラ以外の外部映像を表示する場合を考える。外部映像を表示する際に、車載カメラ映像を用いた自車周辺の加工画像とは完全に切り離し、外部画像を単純に表示ディスプレイに切り替えて表示するのが一般的であるため、ここでは、主に車載カメラ映像を用いた加工画像の生成方法について詳しく説明することとする。
図1は、比較例における運転支援装置の構成を示すブロック図である。比較例における運転支援装置1は、映像更新登録部11、運転状況取得部12、道路状況取得部13、映像変更決定部14、提示方法決定部15、映像表示部16、投影表示部17、ディスプレイ18、視線データを記憶する視線データ記憶部21、撮影データを記憶する撮影データ記憶部22、映像データを記憶する映像データ記憶部23、運転/道路情報を記憶する運転/道路情報記憶部24を有する。提示方法決定部15は目的映像提示方法決定部31と閲覧視線決定部32を有する。投影表示部17は投影作成部33を有する。各部を順に説明する。
映像更新登録部11は、主に無線等のデータ通信手段を用いて、自車の周辺(例えば通過中の交差点内)に入手が可能なカメラ映像がないか確認し、もしあれば、そのカメラ映像を取得して映像データ記憶部23へ、そのカメラ映像に関する撮影情報を取得して撮影データ記憶部22へ登録することを行う。ここで、外カメラAは、自車にあらかじめ搭載されたカメラB,C以外のカメラである。外カメラは、運転支援装置の基本となるカメラ以外で利用確認が必要なものならなんでもよく、インフラ映像の他に、他車載カメラの映像や、無線カメラを自車の所定の場所に勝手に貼り付けたようなカメラ映像を、外カメラと看做しても構わない。映像更新登録部11は、外カメラAからの映像データ(外カメラA映像)と外カメラAからの撮影情報(撮影情報A)を登録する。
映像更新登録部11は、電波状況により受信可能と判断される映像を全て映像データとして登録してしまっても構わないが、多数の外カメラ映像が存在する場合、外カメラの撮影情報を精査し、実際に映像データに登録するか否かを判定しても構わない。例えば、あらかじめ撮影情報には、他の車載カメラ映像かインフラ映像か、交差点右折支援用の公共の映像か個人の映像か、など、大まかな画像のヒントが含まれ、映像更新登録部11は、そのヒントにより映像データに登録するか否かを判定してもよい。ここでの映像更新登録部11は、なるべく多くの映像素材(カメラ映像)を映像データとして登録し、後述する映像変更決定部14が、運転状況取得部12や道路状況取得部13から得た自車状態や運転シーンを利用して、実際に利用する映像を選択するが、映像更新登録部11がこの選択を登録時に行い、映像素材をある程度限定して登録しても構わない。
撮影情報としては、例えばカメラパラメータである撮影位置、撮影方向、撮影画角及び焦点距離、被写体深度、画素数、フレームレート、レンズ歪み等から生じる撮影映像の歪み補正情報、撮影カメラの種別(移動体か否か、赤外カメラか可視カメラか、等)、撮影時刻、撮影カメラのIDやコメント、映像圧縮方式、など、様々な情報がある。なおここでは簡単のため、映像データ記憶部23により保持される映像データは撮影したカメラ映像そのものではなく、カメラ映像のレンズ歪み等に起因した歪みが撮影情報内の歪み情報を用いて映像更新登録部11により補正された映像データとする。この補正は必須ではなく、例えば後述する投影作成部33や映像表示部16など所定の映像処理タイミングで補正を行ったり、省略したりしても構わない。
この比較例では、外カメラAの他に、自車に搭載されて自車周辺を撮影するカメラB、Cがあり、それらの映像データ(カメラB映像、カメラC映像)とカメラの撮影情報(カメラB撮影情報、カメラC撮影情報)も、同様に登録されている。
視線データ記憶部21に予め記憶された視線データは、後述する投影表示部17で用いられ、ある3次元世界を閲覧するための視線である。視線データは、少なくとも視点、視線方向、画角または画角と同等の焦点距離などのパラメータを有し、3次元世界を閲覧用の仮想カメラで撮影する場合の仮想カメラの撮影情報の一部と看做すこともできる。視線データは、一般的な運転支援のための画像の閲覧のための閲覧視線データであってもよく、自車上空から自車を見下ろした視線、自車の斜め横から進行方向前方を見た視線、自車前方から自車後方を見た視線、自車後方斜め上から自車の進行方向を向いた斜め見下ろし視線、などの所定の視線であり、運転支援装置で利用したい閲覧視線データをあらかじめ網羅して保持しておくことが好ましい(視線M,N)。なお、視線データは、あらかじめ用意した視線データに限定されず、視線データの内容は、適宜補正され、変更されても構わない。
運転状況取得部12、道路状況取得部13は、それぞれ運転状況、または道路状況が変化したかを判定し、変化した場合、それぞれ自車に対する運転操作を示す運転情報、道路情報を共に取得する。ここで運転情報とは、例えば車速センサ、ジャイロ、ギア等から取得可能な、自車速度・進行方向、ハンドル・ギア、ウィンカー等から取得可能な直進・右左折・後退などの運転操作(車両の運転に関する情報)、などである。また、道路情報は、例えばカーナビゲーションや路車間通信を行う無線通信機から取得可能な情報であり、地図データベースやGPS等から、自車位置と共に取得される、道路形状、道路種別、市街地種別、混雑状況、道路情報や、店舗などの地図情報(車両の周辺の道路に関する情報)である。なお、自車がミリ波センサやレーザセンサなどのセンサにより道路形状や障害物を直接取得しても構わない。
また、これら運転状況取得部12、道路状況取得部13により取得された運転/道路情報、特に道路状況取得部13により取得された道路情報は、後述する映像変更決定部14が利用する映像を決定したり、提示方法決定部15が閲覧視線を決定したりするために、利用される。なお、これらの判定を、運転支援装置1の利用者が明示的に行う場合などには、運転状況取得部12及び道路状況取得部13の片方、または両方が省略されても構わない。
映像変更決定部14は、運転状況取得部12や道路状況取得部13から得た情報を用いた判定、又は利用者の直接指示に基づいて、映像データの中から運転者がこれから閲覧すべき映像(目的映像と記載する)を選定する。インフラなどのカメラ設置及び撮影映像の無線伝送が一般化していない場合、外カメラ映像自体が少ないこともあり、外カメラ映像が登録されていれば、そのまま優先的に外カメラ映像を選定して表示する。すなわち、外カメラAが登録されると、映像変更決定部14は優先的に登録した外カメラ映像を選定する。なお、登録映像がすべて自車搭載カメラ等の映像であり、外カメラ映像が検出されない場合は、保持する自車搭載カメラ映像のうち1つ以上の映像を、前述した運転/道路情報などで推定した運転シーンから選定する。
提示方法決定部15は、映像変更決定部14で決定した目的映像を、運転支援装置1のディスプレイ18の所定の表示領域にどのように表示するかを決定する。目的映像提示方法決定部31は、表示方法の選択肢として、仮想的な3次元空間内の所定の3次元形状に映像を投影して所定の視線(閲覧視線)から閲覧した画像を生成して表示する(加工表示)か、目的映像そのものを加工なしでそのまま表示する(非加工表示)か、の映像の提示方法を決定する。なお、この他の既存の目的映像の加工方法を選択肢に含めても良いが、以後は本発明の実施の形態の説明に関係する、投影表示部17による投影形状を利用した映像加工方法と、その他の提示方法の一例として、加工を行わずそのまま映像表示部16による提示方法についてのみ、説明を行う。前述したように、提示方法が加工表示の場合は投影表示部17を介し、非加工表示の場合は映像表示部16を介す。
閲覧視線決定部32は、目的映像提示方法決定部31での決定が投影表示部17を介す加工表示であった場合に、投影表示部17で利用する所定の閲覧視線を、推定した運転シーン等を参考にして視線データ群から選定することを行う。具体的に、これら提示方法決定部15の処理を、どのような映像でどのように判定をするのか、具体的な例を挙げて以下に説明する。
例えば、目的映像提示方法決定部31は、映像変更決定部14で決定した目的映像が外カメラ映像の場合には、提示方法として加工なしの表示を行う映像表示部16を選定する。この結果、DSSSの路車協調による安全運転支援システムで提供されるような、インフラ映像などの外部映像をそのまま切り替え表示することが実現できる。
目的映像が外カメラ映像でない場合、例えば自車搭載映像である場合、自車搭載カメラは一般的に広い自車周辺の領域を少ないカメラ数で撮影できる広角カメラであることが多く、得られる映像は魚眼レンズのように歪みの大きな映像となっている可能性が高い。また、複数のカメラ映像を同時に閲覧するという要望もある。このため、そのままの閲覧には適さないことから、投影表示部17での加工を行う提示方法とし、閲覧視線決定部32が、現在の運転/道路情報から自車の運転シーンを推定して、閲覧用の視線データを選定する。例えば、通常走行時は進行方向を眺めた視線、右左折時は巻き込みを調べるために自車左右後方から進行方向を眺めた視線、後退・駐車時は自車上空から見下ろした視線、などが一般的であるが、運転シーンから閲覧視線を決定する方法は、これらに限定されず、他の方法が用いられて、別の視線を決定しても良い。
映像表示部16は、非加工表示の場合、目的映像をそのままディスプレイ18の所定の表示領域に表示するように、ディスプレイ18へ出力する。なお、非加工表示は、目的映像をほぼオリジナルと同様に表示して提示するという意味であり、簡単な加工、例えば目的映像の一部を切り出して拡縮処理を施す等を行っても良く、厳密にそのまま表示しなくても良い。
投影表示部17は、映像表示部16より複雑な加工を行うための処理部であり、映像の各フレームの画素色および輝度を用いて、ディスプレイ18における表示領域の画素色および輝度を決定し、実際に表示を指示する。前述したように、投影作成部33は、投影形状を利用した映像加工の処理を行う。
投影作成部33は、仮想空間内に映像を撮影したカメラBと、映像を貼り付ける所定の3次元形状と、仮想空間を閲覧するための閲覧視線Mを配し、一般的なコンピュータグラフィックス(CG)のビデオテクスチャと同等の処理による映像の生成を行う。この技術の詳細は、非特許文献1や非特許文献2等の多数の文献に記載されている通りである。これらの閲覧視線や投影形状を配置するための共通の3次元座標系として、例えば自車中心を原点とする仮想空間が定義される。すなわち、投影作成部33は、撮影情報Bから得たカメラBの撮影位置・方向・画角・焦点距離・画素数等を用いて、映像が撮影した仮想空間内の撮影領域を特定する。投影作成部33は、この撮影領域と3次元形状の位置及び形状から、3次元形状の特徴点と映像フレームの画素位置の対応関係を計算する。
この対応関係は、CGにおけるテクスチャマッピングの、テクスチャと貼り付け形状の各座標の対応関係と同等である。この対応関係を模式的に、図2に示す。図2は、映像を撮影したカメラの撮影領域と撮像面、また、カメラと投影形状である3次元形状との位置関係を透視投影的に示す。ここでは、撮影視点を頂点とし、注視点方向すなわち撮影方向ベクトルの方へ画角に対応して広がる四角錐体を、撮像面を切断面として切断したものを、撮影領域とした。なお、撮影領域は有限のものとし、カメラ撮影視点から有限距離の平面までとしている。3次元形状中の特徴点をPとし、カメラ撮影視点と特徴点Pを結ぶ直線を直線Lで表す。図3は、図2で示したカメラの撮像面と撮影画像の対応付けを示す図であり、撮像面において撮影された撮影画像の一例を示す。図2の直線Lと撮像面の交点に対応する画素が撮影画像内の画素Rであり、特徴点Pに対応する。なお、画素数、焦点距離、横画角は、撮像画像の横解像度を決定し、画素数、焦点距離、縦画角は、撮像画像の縦解像度を決定する。
投影作成部33は、仮想空間における3次元形状の特徴点Pから撮影カメラの撮影視点へ伸ばした直線Lが、撮影カメラの撮影視点から焦点距離だけ離れた撮像面と交差するか否かを判定する。次に、投影作成部33は、交差した撮像面内の位置を、撮像面をカメラの解像度で量子化した画素位置に変換することで、撮像面に対応する画像の画素Rを得る。これにより、投影作成部33は、特徴点Pの仮想世界での座標値と映像の画素位置Rの対応を得る。なお、この算出は一例であり、撮影画像上の任意の画素、例えば画素Rに対して、撮影カメラの撮影視点から撮像画面上の画素Rの位置を通る直線Lが、3次元形状と交差するかを判定し、交点である特徴点Pを求めるような、逆方向の探索による対応づけをしても構わない。
簡単のため、ここで、投影作成部33は、画素位置として、実際の解像度に対応する画素を用いて対応づけしたが、実際には存在しない画素、すなわち小数点を含む理論的な画素位置を利用しても構わない。カメラ位置および撮影方向が自車に対して固定された自車搭載カメラの場合、自車を原点とする仮想空間内におけるカメラの撮影領域に変化がないため、投影する3次元形状の形状および自車との位置関係に変更がなければこの対応関係は不変となる。この場合、投影作成部33は、映像フレームの書き換え毎に対応関係を計算する必要はない。また、車種等によってこの対応関係があらかじめ推定できるなら、投影作成部33は、対応関係を毎回計算せずにあらかじめ数値テーブル(マッピングテーブル等)を用意して利用してもよい。
投影作成部33は、対応関係を算出後に閲覧視線の情報を用いて、対応づけを計算したのと同様な透視投影を用いて逆方向に対応づけを行うことで、仮想空間を閲覧視線の視点・視線方向・画角で眺めた画像を算出する。すなわち、投影作成部33は、仮想空間内で同様に閲覧視線の仮想撮像面を定義し、閲覧視線の視点から仮想撮像面の各画素を通る直線を定義し、直線と3次元形状の交点を計算する。これにより、投影作成部33は、交点に対応する映像のフレーム画像内画素位置の画素色、すなわち現在の映像フレーム画像の画素色を用いて、仮想撮像面の該当画素の画素色および輝度を決定する。
なお、この画素色の決定方法は簡単な処理方法について説明したものであり、目的映像を貼り付けた投影形状を閲覧視線で閲覧した画像を、これとは別の方法で生成してもよい。投影作成部33は、このようにして算出した閲覧視線の仮想撮像面を、ディスプレイ18上のあらかじめ決定しておいた所定の表示領域に対応づける。以上で、投影表示部17による目的映像の加工表示は終了する。
以下、本発明の実施の形態について図面を用いて説明する。
<実施の形態>
ここでは、本発明の画像処理装置を適用した運転支援装置1aについて説明する。
図4は、本実施の形態における運転支援装置の構成を示すブロック図である。この運転支援装置1aは、運転支援装置1と同様の運転状況取得部12、道路状況取得部13、映像変更決定部14、映像表示部16、ディスプレイ18、撮影データ記憶部22、映像データ記憶部23、運転/道路情報記憶部24を有する。運転支援装置1と比較すると、運転支援装置1aは、映像更新登録部11の代わりに映像更新登録部11aを有し、提示方法決定部15の代わりに提示方法決定部15aを有し、投影表示部17の代わりに投影表示部17aを有し、視線データ記憶部21の代わりに視線データ記憶部21aを有する。
提示方法決定部15aは、目的映像提示方法決定部31、中間映像利用判定部34a、作成内容決定部35aを有する。投影表示部17aは、中間映像作成部36a、投影作成部33aを有する。中間映像作成部36aは、利用視線変更部41a、利用映像融合部42a、強調処理部43aを有する。
以下、比較例と異なる部分を中心に、図21を用いて説明を行う。図21は、本実施の形態における運転支援装置の動作の一例を示すフローチャートである。
映像更新登録部11aは、映像更新登録部11と同様、自車の周辺の利用可能なカメラ映像を探し(外カメラA)、映像(外カメラA映像)と撮影データ(外カメラA撮影情報)をそれぞれ映像データ記憶部23及び撮影データ記憶部22へ登録すると共に、さらに撮影データから抽出した撮影視線に関する情報(外カメラA視線)を視線データとして視線データ記憶部21aへ登録する。映像更新登録部11aは更に、外カメラA以外の自車車載カメラB、Cについても、撮影データ(カメラB撮影情報、カメラC撮影情報)と映像データ(カメラB映像、カメラC映像)を登録すると同時に、撮影視線(カメラB視線、カメラC視線)も視線データとして視線データ記憶部21aへ登録する(S1)。
映像データ、撮影データの具体的なデータ保持内容は、運転支援装置1と同じである。また、運転状況取得部12、道路状況取得部13、および運転/道路情報記憶部24は、運転支援装置1と同じで、現在の運転/道路情報を更新して保持する(S2)。道路情報は更に、中間映像利用判定部34aによる中間映像の作成の有無の判定や強調処理の実行の有無を決定するためや様々な決定に係る運転シーンの推定のために参照される。
映像変更決定部14は、運転支援装置1と同様、運転/道路情報から推定した運転シーンに関連する映像である、あるいは利用者の指示で直接、閲覧する映像である目的映像を決定する(S3)。ここで、目的映像として選定される映像は、インフラカメラ映像等の外カメラA映像を目的映像と決定した場合を中心に説明を行う。
提示方法決定部15aのうち、目的映像提示方法決定部31は、目的映像の提示方法について決定を行う。例えば、運転支援装置1と同様に、外カメラA映像の場合は、比較例と同じ映像表示部16を介した映像そのままの表示とし、自車映像の場合は、投影表示部17aを介した任意の閲覧視線から眺めた加工映像の表示とする(S3)。
中間映像利用判定部34aは、目的映像を表示する前に、被写体の位置や配置を運転者が把握するための補助となる中間映像を作成するか否かを判定する。まず、運転支援装置1aを適用するかどうかを大まかに判定する。例えば、目的映像が外カメラ映像Aか否かを判定し(S4)、外カメラ映像の場合(S4,YES)は、運転支援装置1aの可能性ありと判定して先へ進み、外カメラ映像でない場合(S4,NO)は、運転支援装置1の動作を適用する。
中間映像について説明をしておく。中間映像は、運転者又は運転支援装置1aの閲覧者(以下、利用者と呼ぶ)が現在最も被写体の位置関係を熟知しているであろう画像(以後、熟知画像と記載する)と、位置関係がよく理解できていない目的映像の画像とを用いて生成され、熟知画像から目的映像の画像へ変化させる場合の中間の映像である。熟知画像から中間映像を介して目的映像へと変化させることで、中間映像の開始画像である熟知画像と、中間映像の終了画像である目的映像の画像との間の映像の変化により、利用者は、被写体の対応関係を理解することができる。
画像内の被写体同士の位置関係、被写体と自車(利用者)の位置関係を利用者が熟知しているであろう熟知画像としては、例えば利用者の目視に近い画像が考えられる。このため、以後、熟知画像の一例として自車搭載カメラ映像(主に前方撮影カメラの映像)と擬似運転者視線を用いた画像を用いる例について説明する。ここでは、便宜的に、利用者のうち運転者を例に擬似運転者視線を用いて説明するが、他の利用者を例として擬似利用者視線と読み替えてもよい。なお、他の映像や閲覧視線を用いた画像、例えば自車を真上から俯瞰した俯瞰画像や、現在閲覧している画像を、熟知画像として利用しても構わない。
擬似運転者視線は、運転者が熟知しているであろう肉眼による周辺の閲覧状況を再現するために、運転者の肉眼の視線を模したものである。このため、肉眼では見えない死角をも網羅して撮影することが目的の自車搭載カメラとは異なり、擬似運転者視線は、必ずしも広角(広画角)である必要はなく、注視時の人間の視野角である50〜60°の画角でも構わない。画角が大きいほうがより広い範囲を閲覧できるが、画角が小さいほうが被写体を拡大して閲覧できる。例えば被写体が多数存在すると道路状況から推定できる場合には、このような小さめの画角が擬似運転者視線として用いられる。
また、擬似運転者視線の視点は、一般的な自車の代表点として閲覧視線に利用される自車中心軸上にある必要はない。自車の運転席位置に従って自車中心より左または右に寄った視点を擬似運転者視線の視点とすると、運転者の視線に近い視線を実現することができる。また、擬似運転者視線の視線方向は自車進行方向でなく、センサ等で測定された、もしくは運転者の身長や運転シーンにより推定された、運転者の現在の視線方向として良い。あるいは、各運転シーンで特に運転者が注視して見るであろう領域の方向、例えば右折待ちでの対向直進すり抜け車線などを向いた視線方向などを擬似運転者視線の視線方向としてもよい。擬似運転者視線は、利用者の視線に上述のような所定の操作を施したものである。
このような擬似運転者視線は、中間映像の生成の度に利用する可能性があるため、パターン化されてあらかじめ視線データ記憶部21aに登録され、適宜補正等を施されて利用されることが望ましい。視線データ記憶部21aは、このような擬似運転者視線として2つの擬似運転者視線F1、F2があらかじめ登録されている。
S4がYESの場合、中間映像利用判定部34aは、現在の目的映像と利用者の熟知している閲覧状況を比較するための熟知画像を選定する(S6)。例えば、熟知画像として、運転者の現在の視線に近い擬似運転者視線F1、F2のどちらかを選定し、自車搭載映像から前方を撮影する映像を選定する。なお、通常はここで選定した熟知画像は、中間映像の基点となるが、異なる熟知画像を用いて比較しても構わない。
選定した熟知画像を用いて、中間映像利用判定部34aは、中間映像を作成すべきか否かの判定、及び後述する経由情報の利用の有無と経由情報の決定を行なう(S7)。図22にこの処理の一例となるフローチャートを示すと共に、図5〜図8を用いて中間映像利用判定方法を以下に説明する。
図5は、中間映像利用判定方法を示す図である。この図は、中間映像利用判定方法C1,C2,C3,C4のそれぞれの判定基準及び判定例を示す。中間映像利用判定部34aは、中間映像利用判定方法C1,C2,C3,C4のいずれかにより、撮影視線等を用いて熟知画像と目的映像の画像の内容を比較する。これにより、中間映像利用判定部34aは、見え方、すなわち映像内の情景の違いが大きい場合に、映像の単純な切り替え表示では運転者による被写体の咄嗟の位置把握が困難であるとして、緊急性を要するかどうかも勘案しながら、中間映像の利用を決定する。
C1は、情景の違いとして、視線方向ベクトルと画角を利用し、熟知画像と目的映像の画像のそれぞれの全閲覧・撮影領域を推定してそれらの交差領域を調べることで、画像に占める同じ閲覧・撮影領域の割合を調べ、同じ被写体が映っているかどうかを判定する。
例えば、熟知画像の全閲覧・撮影領域として、熟知視線(擬似運転者視線)の視点や視線方向、画角を用いて閲覧領域を決定する。目的映像の全閲覧・撮影領域として、目的映像を撮影したカメラのカメラ視点及び撮影方向、撮影画角を用いる。なお、熟知画像の全閲覧・撮影領域として、熟知画像の素材となる自車搭載カメラ等の映像のカメラ撮影情報そのものを用いても構わないし、必要なら前方カメラと側方カメラ等の複数カメラの撮影情報を利用した領域としてもよい。また、厳密にカメラの撮影情報や視線情報を用いて全閲覧・撮影領域を決定しなくても構わない。
なお、目的映像として外カメラ映像A等の映像素材そのものではなく、例えば投影表示等を用いた加工表示映像とする場合には、目的映像の全閲覧・撮影領域として、目的映像となる加工表示映像の閲覧視線を選定し、その視線情報を利用する。この結果、自車搭載映像を任意の投影形状に投影して任意の閲覧視線で見た映像を目的映像とする場合にも、以後の中間映像利用及び中間映像の利用判定を適用することができる。
具体的には、中間映像利用判定部34aは、図2で示した撮影領域と撮影画像の対応付けのように、CGの描画計算等で一般的な、視点を頂点として画角だけ広がる視錐体等を閲覧・撮影領域として定義し、交差領域を計算する。この際、視点から無限遠までを領域にすると計算ができないので、図2及びCG描画計算でのクリップ距離と同様に、視点から適当な有限距離までを限定して全閲覧・撮影領域としてよい。なお、図2のように厳密な全閲覧・撮影領域は、撮像面からカメラ視点までの(焦点距離に含まれる)領域を含まないが、焦点距離は非常に小さく無視できる距離であることから、簡単のため、全閲覧・撮影領域が、撮像面からカメラ視点までの領域を含めた四角錐であってもよい。また、中間映像利用判定部34aは、厳密な計算を行うのではなく、計算が簡単な円錐を代用したり、所定の判定方法で交差を判定したりしてよい。
中間映像利用判定部34aは、交差領域を求めた場合に、例えば、全閲覧・撮影領域の体積や面積に占める交差領域の体積や面積の割合、全閲覧・撮影領域の画角内で交差領域の占有する画角部分を算出して画角に占める交差領域の占有割合等を求めて、2つの映像の交差の程度の判定指標となる数値である交差率を求めることが望ましい。
図6は、中間映像利用判定方法C1における第1の交差率の算出方法を示す図である。図7は、中間映像利用判定方法C1における第2の交差率の算出方法を示す図である。これらの例は、閲覧・撮影領域として有限距離を用いる代わりに、各カメラA,Bから路平面までの四角錐を用いている。
第1の交差率の算出方法は、四角錐全体の交差体積ではなく、路平面上の撮影領域SA,SB(それぞれ路平面上の矩形で示される)の交差領域(撮影領域SA,SBの重なる領域)を求める。第1の交差率の算出方法は、交差領域の面積がそれぞれの撮影領域SA,SBの面積に占める割合を交差率として算出しても良い。また、各カメラの全撮影画角(例えば、横方向の全画角α、β)に対して交差領域が占める画角(横方向の占有画角γa、γb)を算出し、画角の占有割合(γa÷α、γb÷β)を交差率として算出してもよい。
なお、第1の交差率の算出方法は、横方向の画角について算出したが、縦方向の画角も同様に求めて、それぞれの値を交差率として複数の交差率を持つものとする、あるいは、双方の値の平均や最小/最大値等を用いて1つの交差率を求めても良い。
第2の交差率の算出方法は、交差領域を直接求める代わりに撮影領域のサンプル点が交差領域にどれだけ含まれるかの割合を交差率として求める例である。すなわち、第2の交差率の算出方法は、比較する2つのカメラ視線の片方の撮像面上(カメラBの撮像面)に、乱数等を用いて決定される位置の点(点P,Q,R)をサンプル点として求め、カメラ視点(カメラB視点)からその点を通る直線を考えて、他方のカメラの撮影領域(路平面上のカメラAの撮影領域A)に直線が交差するか否かを計算する。この後、第2の交差率の算出方法は、交差したサンプル点群が全サンプル点群に占める割合を求め、交差率とする。第2の交差率の算出方法の図では、3サンプル点P、Q、Rのうち、点RのみがカメラAの撮影領域SAに交差しているので、カメラBのカメラAに対する交差率は1/3となる。
なお、第1の交差率の算出方法、第2の交差率の算出方法は、一例であり、カメラAのカメラBに対する交差率と、カメラBのカメラAに対する交差率の両方を求めて、それぞれの値、又は双方の値を用いた値(平均値や、大きい/小さい方の値、など)を、全体の交差率としてもよい。あるいは、片方だけ求めても構わない。
同じ被写体が多い場合、すなわち交差率が閾値以上の場合(S23,YES)、中間映像利用判定部34aは、熟知画像と目的映像を用いた中間映像の作成を実行する(S27)。同じ被写体が少ない場合、すなわち交差率が閾値以下の場合、中間映像利用判定部34aは、熟知画像を開始画像とした中間映像を表示するだけでは、利用者が目的映像内の被写体の位置関係を把握することが困難なので、単純に補助を諦めて中間映像の提示をやめてしまっても構わない。あるいは、他に位置関係の把握を助けるのに利用できる映像及び閲覧視線がないか探索し、その映像及び視線(以後、それぞれ経由映像及び経由視線と記載する)を経由してから目的映像を閲覧するような中間映像の作成を行ってもよい。目的映像が熟知画像に対して同じ被写体が少なくても、双方と被写体が重なる経由映像及び経由視線を間に挟むことで、目的映像内の位置把握を迅速に行うことが期待できる。この経由映像及び経由視線の詳しい作成方法などは後述する。
C2は、情景の違いとして、視線方向ベクトルを用いて、被写体の見え方を比較して判定する例である。これは、閲覧領域が重なって同じ被写体を閲覧した映像であっても、被写体を真上から閲覧した映像と、真横から閲覧した映像では、見え方が全く異なるため、咄嗟に同じ被写体と認識できない可能性を考慮したものである。具体的には、視線方向ベクトルの成す角を利用する。例えば視線方向ベクトルの成す角が90度以上の場合(S22,YES)、真上と真横のように閲覧方向の差が大きく、目的映像の閲覧には何らかの補助、すなわち中間映像の利用が必要と判定を行う。なお、C2は、あらかじめ運転シーンにより重要な被写体の位置及び存在領域が推定できる場合、熟知画像及び目的映像の各カメラ視点から概被写体の位置及び存在領域の代表位置へ向けた方向ベクトルの成す角をカメラ視線方向ベクトルの代わりに代用して比較しても良い。
C1,C2は、熟知画像の視線と目的映像の視線とが上述のような所定の範囲より離れている場合に中間映像の利用が必要と判定する。
図8は、中間映像利用判定方法C2における被写体の映り方の比較を示す図である。C2は、カメラAとカメラBによる被写体の映り方を比較するものとして、カメラAから重要被写体の代表位置Wへの方向ベクトルXと、カメラBから重要被写体の代表位置Wへの方向ベクトルYとを比較する。こうすることで、例えば右折シーンでは特に重要な対向すり抜けレーンや、障害物センサで検知した自車周辺障害物などの、特に注意を要する被写体に対して、熟知画像と目的映像での映り方の違いを判定することができる。注意を要する被写体が複数存在する場合、C2は、各被写体へのベクトルを用いてそれぞれのベクトル同士で成す角を求め、その平均値を映像同士の映り方の違いとしてもよい。
C3は、C1,C2のような目的映像と熟知画像の違いではなく、自車周辺の状況から、目的映像に映っているであろう被写体の現在の状況を推定し、中間映像の利用を判定するものである。C3は、主に道路状況取得部13から取得した走行道路の種別や道路形状、走行道路の混雑状況、走行道路の事故発生データ、等の道路情報や、障害物センサ等でのセンシング結果等から、自車及び走行場所付近の障害物の多さ、走行道路が狭い一般道、事故多発地点、等の情報を得て、目的映像の被写体が多いこと、特に注意すべき場所であること、目的映像の緊急提示が必要ないこと、等を勘案し、中間映像の利用を決定する(S21,YES)。ここで、C3は、道路種別が高速道路の場合、自車走行速度が速いことが想定されるため、目的映像を緊急に閲覧する必要性が高いとして、中間映像を閲覧しないと判定する例とした。
C4は、C3と同様に、目的映像と熟知画像の違いではなく、自車の状況から中間映像の利用を判定するものである。運転状況取得部12から得た運転状況等を元に、例えば自車が低速走行中かどうかを判定する。低速の場合は目的映像を緊急に閲覧する必要性が低いとして、中間映像の閲覧を判定する(S20,YES)。
また、中間映像利用判定部34aは、運転状況取得部12により取得される自車の運転状況及び道路状況取得部13により取得される自車の周囲の道路状況の少なくともいずれかにより、閲覧空間(重要度が高い空間)を決定し、閲覧空間と各カメラの撮影空間との交差を調べ、交差率が大きい撮影空間を有するカメラの映像を優先して利用するように判定しても良い。
また、C1,C2,C3,C4は、それぞれ個別に行うのではなく、複数の判定方法を同時に用いて中間映像の利用を判定してもよい。図22は、中間映像利用判定方法の一例を示す。なお、図22の後半(S25、S26、S28)は、経由映像に関するものであり、後述する。経由映像を用いない場合(S24,NO)には、その部分を省略して、図21のS5に戻っても構わない。
このフローチャートでは、例えば、まず自車状況であるC4の判定を行い、自車運転状況が高速運転であれば(S20,NO)、目的映像を閲覧する緊急度が高いため、中間映像利用なしと判定して(S29)、運転支援装置1と同様の閲覧表示方法を行うものとし、図21のS5へ戻る。
続けて、同様の自車状況C3、被写体の見え方C2、同じ被写体の存在状況C1の判定を行ない、周辺状況が事故多発地帯でない場合(S21,NO)や、目的映像と熟知画像の視線方向ベクトルの成す角が閾値以下の場合(S22,NO)や、目的映像と熟知画像の閲覧領域の交差率が閾値以下の場合(S23,NO)に、同様に中間映像利用なしと判定する(S29)。
これにより、中間映像利用判定部34aは、目的映像提示の緊急性が少なく、同じ被写体が一定以上存在すると判定し、且つ熟知画像と被写体の見え方が大きく異なると判定した目的映像に、中間映像を利用すると判定できる。
作成内容決定部35aは、閲覧視線決定部32と同様にして、映像を加工表示する場合、すなわち投影表示部17aを介す場合の閲覧視線を決定する。このとき、作成内容決定部35aは、後述するように投影表示部17aを介して中間映像を作成する場合、すなわち、目的映像提示方法決定部31で決定された目的映像の提示方法に関係なく、補助として中間映像を利用する場合には、一時的に提示方法を投影表示部17aを用いた加工表示とする。そのため、作成内容決定部35aは、目的映像が外カメラ映像であってそのまま映像表示部16を介して非加工表示される場合でも、中間映像を利用する場合には、目的映像の閲覧視線を含め、投影表示部17aで使用する各種情報を決定する必要がある。
具体的な中間映像の作成に用いる情報としては、前述した熟知画像の作成に用いる映像及び閲覧視線(ここでは擬似運転者視線とする)や、経由映像及び経由視線、視線の変更における視線補間方法、映像の融合有無及び映像融合方法、自車や被写体などの強調表示の有無及びその強調表示方法、等があり、作成内容決定部35aがこれらの情報の決定を行う。
目的映像の閲覧視線について説明する。前述したように中間映像を利用する場合には、非加工表示を行う目的映像にも閲覧視線が必要となる。外カメラAを目的映像とする場合には、閲覧視線は、中間映像の利用判定と同様に、目的映像の撮影カメラ視線そのものであることが望ましく、例えば目的映像である外カメラA映像の撮影視線である外カメラ視線Aとする。これは、所定の3次元形状に映像を投影して閲覧する投影表示部17aが、3次元形状への投影と同じ投影手法で撮影視線から閲覧すれば、例えば双方とも同じ透視投影で投影及び閲覧をすれば、投影する形状に無関係な投影及び逆投影となって、そのまま閲覧するのと同じように投影歪みのない映像を閲覧することができるためである。正確には、小数点を含んだ位置座標計算を整数の画素計算に変換する際等に、微小な誤差が生じるため、完全に同一の映像ではないが、ほぼ同じ映像を閲覧できる。なお、中間映像の利用判定のときに述べた方法と同様に、目的映像が素材となる映像そのものではなく、映像を何らか加工した映像であるならば、必ずしも撮影カメラ視線そのものを目的映像の閲覧視線にする必要はなく、以後の説明も所定の閲覧視線に読み替えて構わない。
ここで一旦、フローチャートは図21へ戻る。作成内容決定部35aは、熟知画像の閲覧視線(この例では擬似運転者視線F1)と、目的映像の閲覧視線(外カメラ視線A)と、後述する経由映像の視線である経由視線(後述例で視線M)の利用が決定している場合は経由視線とを加えた視線データ群を用いて、中間映像を作成するための視線補間方法を決定する(S8)。
視線補間方法は、例えば視線を滑らかに変化させるために、決められた期間(映像フレーム数)内で、2つ又は3つの視線の視線データ内容の一部又は全てを補間して徐々に変更するものとする。このように補間される視線データは、視線方向ベクトル(視線位置と方向)や視野角等である。また、具体的な視線補間方法の計算は、例えば線形補間を用いて、「各視線間の各視線データ値の差÷補間変更用に与えられた映像フレーム数」で求めた1フレーム当たりの各視線データ値の変化量を計算し、現在の視線データ値に徐々に変化量を加算または減算していくことにより、徐々に視線データ値が変化する中間映像の利用視線を作成する。この結果、例えば擬似運転者視線F1⇒視線M⇒外カメラ視線Aへと徐々に視線データが変化するような、視線の変更を実現することができる。なお、この視線補間方法は一例であり、上述した単純な線形補間以外に、一般的な2つ以上の数値に対する所定の補間計算方法を利用してよい。
次に映像融合について説明する。作成内容決定部35aは、中間映像に複数の映像を利用するか否かを判定し、複数の映像を利用すると判定した場合に映像融合を行うと決定する。ここで、作成内容決定部35aは、映像融合処理の負荷等を考慮して映像融合を行わないことを選択しても良いが、複数の映像を利用する場合に映像融合がないと、被写体の見え方が異なる映像が突然切り替わることになるため、利用者が映像内の被写体の位置関係を把握することを補助するために、徐々に映像が変化するような映像融合を行うことが望ましい。
映像融合方法は、熟知画像の作成に用いた映像(この例では自車搭載のカメラB映像)、目的映像の映像(外カメラA映像)に加えて、後述する経由映像の利用が決まっている場合にはその経由映像(後述するカメラB映像)を加えた映像群を用いて行う。例えば、映像融合方法は、2つ又は3つの映像に対して、対応する映像の閲覧視線が切り替わる映像時刻(映像フレーム)に合わせて、映像切り替えが完了するよう、それぞれ切り替え前後の2つの映像を用いて、それぞれの映像の撮影位置関係を考慮して映像を徐々に変更していく。
図9は、映像融合方法を示す図である。この図は、映像融合で用いる2つの映像、外カメラA映像とカメラB映像について、カメラ位置や撮影領域(撮影視線)を示す。この映像融合方法は、カメラB映像から目的映像である外カメラA映像へ変化するようにこれら2つの映像を融合する補間を、各映像の撮影位置関係を考慮して行う。すなわち、この映像融合方法は、融合時間中に各映像全体の輝度及び透過率を徐々に増減して変化させながら、映像の撮影位置・方向・画角等の実際の撮影パラメータ(撮影視線ZA,ZB)を用いて、投影形状(ここではカメラBを搭載している自車を中心とする楕円球U)に投影し、投影形状上で2つの映像を融合する。次に、擬似運転者Cの視線である閲覧視線RCから投影形状上で融合された映像を閲覧する映像が生成される。
図10は、映像融合のための画像群VAを示す図である。図11は、映像融合のための画像群VBを示す図である。図12は、単に映像を切り替えた画像群VCを示す図である。図13は、映像融合により得られる画像群VDを示す図である。ここでの閲覧視線は、自車から少し後方に引いた位置に視点があり、広角映像であるカメラBよりも通常の画角である閲覧視線Cである。画像群VAは、外カメラA映像の輝度が時間と共に変更された画像群である。画像群VBは、カメラB映像の輝度が時間と共に変更された画像群である。画像群VCは、単に外カメラA映像からカメラB映像へ時間と共に切り替えた画像群である。画像群VDは、本実施の形態の映像融合の結果の画像群(閲覧視線Cでの映像)である。画像群VA(t)は、時刻t=t0,t1,t2,t3における画像VA(t0),VA(t1),VA(t2),VA(t3)を含む。同様に、画像群VB(t),VC(t),VD(t)は、時刻t=t0,t1,t2,t3における画像を含む。
この例において、映像融合方法は、外カメラA映像及びカメラB映像のそれぞれを、画像全体の透過率がほぼ正反対になるよう時間軸に沿って徐々に変更してそれぞれVA,VBとする。すなわち、t=t0の中間映像の開始状態では、熟知画像の映像であるカメラ映像VB(t0)が非透過(輝度が100%)であり、目的映像である外カメラ映像VA(t0)が完全透過(輝度が0%)で閲覧できない状態にある。映像融合方法は、徐々に透過率を変化させ、t=t1においてVB(t1)の輝度は66%、VA(t1)の輝度は33%になり、t=tにおいてVB(t2)の輝度は33%、VA(t2)の輝度は66%になる。中間映像の終了状態(t=t3)では、カメラ映像VB(t3)が完全透過(輝度が0%)で、外カメラ映像VA(t3)が非透過(輝度が100%)になる。このような画像群VAとVBを、撮影カメラ視線から投影形状に投影して、所定の閲覧視線から閲覧することで、中間映像を含む画像群VDを生成する。
この例の映像融合方法は、画像全体の透過率を用いて、2つの映像の透過率をほぼ同じ比率で増減させていく例を示したが、必ずしもこの計算方法に限定するわけではない。例えば映像融合方法は、透過率ではなく、2つの画像の輝度や画素色を、熟知画像の値から目的画像の値へと徐々に変化させるような線形・非線形補間を行っても良いし、変化させる際の変化率も一定ではなくてもよい。また、映像融合方法は、2つの映像の一方をベースとなる映像とし、他方をその上に表示する映像とし、ベースとなる映像を非透過とし、上に表示する映像の透過率だけを徐々に透過から非透過へ変化させることにより中間映像を生成しても構わない。また透過計算に、画素同士の合算、乗算、AND、OR等の演算を用いて構わない。
ここでの映像融合方法は、VAとVBのそれぞれの輝度等に重みを付け、前記VBの重みを時間の経過に伴って減少させると共にVAの重みを時間の経過に伴って増加させ、それぞれ重みを付けられたVAとVBとを同一の投影形状に投影してVDを生成する。
対向トラックやすり抜け車両、交差点マークや横断歩道などの路面マーク、自車、などの被写体が、図10の外カメラA映像内と図11のカメラB映像内とで大きく異なる配置に表示されている。従って、図12のような単純に映像の切り替えを行った画像群VCは、同じ被写体が全く違う位置に複数の像として現れるようなものになってしまい、利用者による被写体の位置関係の理解を補助するために利用することが困難である。
これに対して、図13の画像群VDは異なる撮影空間を考慮して外カメラA映像とカメラB映像を投影しているため、融合時にどちらかに存在しない撮影空間部分が徐々に現れる、あるいは消えるようになる(t2及びt3での自車周辺の出現、t3での前方の空の消失、等)。しかし、画像群VDにおいて、撮影空間が重複している部分に関しては、撮影位置を考慮して投影した映像を融合しているために、同じ被写体はほぼ同じ位置に投影される。映像融合によれば、中間映像上では対向トラック車両がほぼ同じ位置のまま被写体として閲覧できるので、中間画像を利用者による位置関係の理解を補助するために利用することができる。
次に、経由情報決定方法について説明する。経由情報は、中間映像を作成する際に用いられる、経由映像及び経由視線である。経由映像は、熟知画像と目的映像の間で経由する映像である。経由視線は、熟知画像と目的映像の間で経由する視線である。経由情報決定方法の例として、第1の経由情報決定方法、第2の経由情報決定方法、第3の経由情報決定方法について、図14〜16を用いて説明する。便宜的に、図14〜16と、図1や図4等のそれ以外の図とではカメラ番号が異なり、例えば図1や図4では目的映像カメラがカメラCであるものが、図14〜16ではカメラCと記載しているので、注意が必要である。なお、第1の経由情報決定方法を元に経由情報の内容を決定する処理の流れの一例が、図22のフローチャートの後半(S25、S26、S28)であるため、以後図22も用いて説明を行う。
図14は、第1の経由情報決定方法を示す図である。この例は、熟知画像に用いる自車車載カメラAの映像と、目的映像(カメラC)と、自車の左右前方を撮影するための自車車載カメラD,Eの映像が存在する場合を示す。経由映像及び経由視線の決定のために、作成内容決定部35aは、これら熟知画像の映像及び目的映像以外の映像(カメラDとEの映像)について、熟知画像と目的映像のそれぞれと同じ被写体が映っているかどうかを、各閲覧領域の交差を用いてまず調べる(S25)。
具体的には、作成内容決定部35aは、熟知画像である擬似運転者視線Bの閲覧領域に対し、カメラD,Eの撮影視線ZD,ZEの撮影領域の交差領域を計算する。同様にして、目的映像である撮影視線ZCとカメラD,Eの撮影視線ZD,ZEとに対応する撮影領域の交差領域もそれぞれ計算する。交差領域は、中間映像利用判定部34aで説明したC1、第1の交差率の算出方法、第2の交差率の算出方法と同様の方法で計算される。このように、作成内容決定部35aは、比較しやすいように全撮影領域に対する交差領域の割合(交差率)を算出し、各映像の熟知画像及び目的映像に対する指標として保持する。
ここで、交差率が閾値よりも小さい映像しかない場合(S25,NO)は、熟知画像と目的映像の双方に、同じ被写体が映っている映像がないことから、経由情報を用いた中間映像そのものを断念し、中間映像を利用しない、運転支援装置1と同様の閲覧処理を行うものとする(S29)。
交差率が閾値よりも大きい映像がある場合(S25,YES)は更に、図5のC2の判定と同様の判定を行ない、その映像のカメラ撮影視線と、目的映像と熟知画像の視線の双方と、視線方向ベクトルの成す角を調べて、被写体の見え方が近いかの指標となる成す角が閾値以下かどうかを調べ、被写体の見え方が近い映像を選定する(S26)。成す角が閾値以下の映像がある場合(S26,YES)は、その映像のカメラ撮影視線と映像を、経由視線と経由映像とする中間映像を利用すると判定する(S28)。閾値以下の映像がない場合は(S26,NO)、交差率が閾値以下の場合と同様に、中間映像を利用しない、運転支援装置1と同様の閲覧処理を行なうものとする(S29)。なお、経由情報の決定から、この視線方向ベクトルの成す角を用いた被写体の見え方の判定を省略しても構わない。
このようにして、作成内容決定部35aは、熟知画像と目的映像の双方に対して最も指標の高い映像、図14ではカメラDの撮影視線ZDを、中間画像作成時の経由映像として選定する。
この結果、開始画像である熟知画像(閲覧視線である擬似運転者視線RB及び撮影カメラAの映像)から経由映像(他カメラ撮影視線ZD及び撮影カメラDの映像)を経て最終的に目的映像(撮影視線ZC及び撮影カメラCの目的映像)になるような中間画像が作成されて提示される。なお、経由視線である撮影視線ZDのみを選定利用し、その関連映像であるカメラD映像を利用せず、中間画像の作成には熟知画像の素材となるカメラA映像と目的カメラC映像のみを利用して、視線だけを擬似運転者視線RB⇒撮影視線ZD⇒撮影視線ZCに変更しても、構わない。また、その逆に、映像だけを用いてその映像の撮影視線を用いなくても構わないが、現在の閲覧視線に近い撮影視線及びその撮影視線で撮影した映像から画像を生成した方が、生成した画像に写る被写体の見え方に違和感が小さくなるので、視線と映像の双方を利用することが望ましい。このとき、視線と映像の利用切り替えタイミングが等しくなく、切り替えに時間差があっても構わない。なお、交差領域の判定計算は、中間映像利用判定部34aのC1とは異なる方法で行っても構わない。
図15は、第2の経由情報決定方法を示す図である。この場合、作成内容決定部35aは、熟知画像の作成に用いた映像と、熟知画像の閲覧視線を補正した補正閲覧視線とを含む、補正熟知画像を経由映像として用いる。
第2の経由情報決定方法は、第1の経由情報決定方法のように熟知画像の閲覧視線の閲覧領域(閲覧視線である擬似運転者視線RB)を用いない。第2の経由情報決定方法は、熟知画像を作成するのに用いた素材映像の撮影カメラ視線であるオリジナル撮影領域(撮影視線ZA)と、目的映像の撮影カメラ視線の撮影領域(撮影視線ZC)とを比較し、2撮影領域が交差した部分をより閲覧できるように、交差領域の重心を注視点とするように熟知画像の閲覧視線の視線方向を補正した補正閲覧視線(経由視線ZD)を用いる。この補正閲覧視線(経由視線ZD)で閲覧する画像が経由画像であり、それを用いて中間画像が作成される。
この結果、中間映像は、擬似運転者視線RB&撮影カメラAの映像⇒経由視線ZD&撮影カメラAの映像⇒撮影視線ZC&撮影カメラCの目的映像、という視線変更経路及び映像を用いて作成される。なお、ここでは視線方向を補正したが、視線方向はそのままで交差領域の重心を通るように視点を移動させた補正閲覧視線を用いても構わない。あるいは、補正閲覧視線として、素材映像の撮影視線Aそのものを利用しても、もちろん構わない。この場合の中間画像は、擬似運転者視線RB&撮影カメラAの映像⇒撮影視線ZA&撮影カメラAの映像⇒撮影視線ZC&撮影カメラCの目的映像、という視線変更経路及び映像を用いて作成される。
図16は、第3の経由情報決定方法を示す図である。第3の経由情報決定方法は、熟知画像の閲覧視線RBと目的映像の撮影視線ZCに対する中間視線を先に決めておき、それらの中間視線に最もよく合致する撮影視線のカメラ映像を、経由映像として利用する。第1の経由情報決定方法と第2の経由情報決定方法は、経由映像と経由視線を同時に決定していたのに対し、第3の経由情報決定方法は、経由映像の閲覧視線を先に決定して、それを用いて映像を選定する。まず、作成内容決定部35aは、熟知画像の閲覧視線(擬似運転者視線RB)と目的映像の閲覧視線(撮影視線ZC)の視線変更において、視点や視線方向、画角などの視線パラメータを徐々に変化させる視線変更経路を決定する。この変更経路の決定方法は、例えば最も単純に行うものとして、それぞれの値を線形補間してもよいし、所定の値を必ず経由するような視線変更経路としてもよい。
このようにして決定された視線変更経路上の経由視線の1つとして図中の仮想カメラFがあるとすると、仮想カメラFの視線である経由視線ZFにより閲覧される映像は、以下のように決定される。まず、作成内容決定部35aは、熟知画像の素材映像と目的映像を含む全映像の撮影視線(撮影視線ZA、撮影視線ZC、撮影視線ZD、撮影視線ZE)と、経由視線ZFとの比較をそれぞれ行う。作成内容決定部35aは、この視線の比較において、なるべく多くの被写体が似た視線で閲覧しているような撮影視線を持つ映像を選択する。具体的な方法としては、作成内容決定部35aは、中間映像利用判定部34aで説明したC1,C2を用いて、共通の被写体の存在割合を推定する撮影領域の交差率と、共通被写体の映り方を推定する撮影視線ベクトルの成す角等とを利用し、交差率が高く、かつ、撮影視線ベクトルの成す角が小さな映像を優先して選択する。
第3の経由情報決定方法の図の例では、カメラD,カメラA,カメラCの順に、交差率が大きい。一方で、カメラA,カメラC、カメラE、カメラDの順に、撮影視線ベクトルの成す角が小さい。このような場合、作成内容決定部35aは、交差率と撮影視線ベクトルの成す角のそれぞれの判定に対して1から順位をつけ、双方の順位の乗算結果が最も小さな映像(この例ではカメラA)を、優先映像として選択する。
この結果、中間画像は、擬似運転者視線RB&撮影カメラAの映像⇒経由視線ZF&撮影カメラAの映像⇒目的視線&撮影カメラCの目的映像、という変更経路で作成される。なお、経由視線ごとに経由映像が異なる場合が十分考えられるので、次々に経由映像が変わるようなめまぐるしい中間映像を避けるため、映像を選定する経由視線の数は少なく限定することが望ましい。このように、作成内容決定部35aは、前述した経由情報決定方法を用いて、熟知画像と目的映像を繋ぐ中間映像を、どのような経由映像及び経由視線を用いて作成するかを決定する。
なお、作成内容決定部35aは、可能ならば選定のヒントとなる指標等の情報を経由映像及び経由視線の候補と共に利用者に提示して、利用者が明示的に選定してもよい。この場合、作成内容決定部35aは、経由映像及び視線の候補となる映像や視線を、各指標で有効と思われる順に並べて表示したり、撮影領域の交差領域、視線方向の違いなどを示した図14〜16のような模式図を表示してもよい。さらに必要ならば、各指標で有効となるものがどれか識別できるような色や強調マーク等を用いて、選定を補助してもよい。具体的には、選定の補助は、該当映像の撮影領域を他よりも濃い色で塗りつぶしたり、赤などの目立つ色や太い線で囲ったり、撮影カメラの位置を示すために模式図に表示するマークの大きさや色を他よりも目立つものを利用したりする。
また、作成内容決定部35aは、リストでの識別方法として、実際の受信映像画像を、有効と判定した理由となる指標値と合わせて、有効と思われる順番で並べて表示しても良い。なお、この経由映像や視線の選定のためのリストや模式図、特に熟知画像と映像群との映り具合を比較する指標等を用いたリストや模式図は、映像変更決定部14で運転シーンに合致した複数の目的映像候補から、利用者が明示的に選定するためのリストや図として流用されても構わない。
作成内容決定部35aはさらに、自車や被写体などの強調表示の有無も決定する。強調表示は、自車と周辺被写体との位置関係を利用者がより把握しやすいよう、中間映像を提示する際に自車や所定の周辺被写体がどこにあるのかを強調するような表示である。ここで、作成内容決定部35aは、強調表示を行うか否か、強調対象、強調方法を決定する。
強調対象は例えば、特に注目を要する物、例えばレーダ等で位置推定した障害物や、位置把握の基準となる自車である。強調方法の例として第1の強調方法、第2の強調方法について説明する。
第1の強調方法は、中間映像の作成時に、強調対象付近に特殊な3次元形状(強調対象を指す3次元の矢印形状、強調対象を囲む半透明な球形状や強調対象の簡単なモデル形状、等)を投影形状の空間内に置き、投影形状と共に閲覧視線から閲覧する。第2の強調方法は、強調対象の位置と映像の撮影視線及び撮影領域から、各映像内の強調対象の存在するであろう画像領域を推定し、その領域の一部又は全部、領域近傍の画素に対して、他と区別をつけるように、直接輝度や色、透過率等を変更したり、所定のマーカ画像を重ねたりして、強調対象に関連する画像領域を変更した強調映像にしてから、投影形状に投影する。第1の強調方法は、投影形状を含む仮想空間内に、強調のための3次元形状を適宜配置するCG的な手法であり、第2の強調方法は、映像自体にあらかじめ強調処理を行う手法である。
ここでは、強調対象を自車両とし、強調形状である3次元形状(車形状)を配置する第1の強調方法の結果の例を示す。図17は、外カメラA映像とカメラB映像が投影形状に投影された画像に対する第1の強調方法の結果を示す図である。この図は、上段に、強調形状が無い場合の画像を示し、下段に、強調形状が有る場合の画像を示す。この図は、目的映像である外カメラA映像と熟知画像作成に用いた自車車載のカメラB映像を投影形状に投影し、強調対象である自車を閲覧できるような、自車後方から閲覧した画像である。この図において、2映像で共通する撮影領域は、カメラB映像の投影に外カメラA映像の投影を上書きしており、映像の輝度や色を融合させる映像融合を厳密には利用していないが、中間映像の模式あるいは概要として示した。
図18は、外カメラA映像が投影形状に投影された画像に対する第1の強調方法の結果を示す図である。この図は、上段に、強調形状が無い場合の画像を示し、下段に、強調形状が有る場合の画像を示す。この図は、外カメラA映像のみを投影し、外カメラA映像の撮影視点から閲覧した画像を示す。
図19は、カメラB映像が投影形状に投影された画像に対する第1の強調方法の結果を示す図である。この図は、上段に、強調形状が無い場合の画像を示し、下段に、強調形状が有る場合の画像を示す。この図は、カメラB映像を用いた熟知画像を示す。
運転者視線をより正確に模した擬似運転者視線の画像では、強調対象である自車両が画像に写らないため、前述の第1の強調方法の結果の例は、擬似運転者視線の視点を少し自車上方に移動させて閲覧した画像とした。前述の第1の強調方法の結果の例から分かるように、自車の強調処理を行うことで、中間映像全体を通して強調処理の対象物、すなわち閲覧者の存在する自車両が映像内のどこにあるのかを、利用者は迅速に把握できる。
中間映像を利用せずに目的映像をそのままディスプレイ18の所定の表示領域に表示するような提示方法が、提示方法決定部15aにより選択された場合、映像表示部16は、目的映像を提示方法通りに表示することを行う(S5)。
提示方法決定部15aにより中間映像を利用すると決定された場合、投影表示部17aは、中間映像作成部36a及び投影作成部33aによる処理を行う。中間映像作成部36aを経ない場合、提示方法決定部15aにより決定された目的映像の閲覧視線を用いて、投影作成部33aが目的映像を所定の投影形状に投影して閲覧視線により閲覧した閲覧画像を作成する。
中間映像作成部36aは、提示方法決定部15aにより決定された内容を用いて、中間映像を作成するための必要な計算やデータを揃えて、投影作成部33aでの実際の映像作成時に中間映像を作成できるよう、補助をする。すなわち、中間映像作成部36aは、熟知画像を作成するための映像(カメラB映像)や閲覧視線(擬似運転者視線F1)、中間映像作成における視線補間方法(視線位置・方向・画角の線形補間)、映像融合の有無及び映像融合方法(映像融合有りの場合の、画像の透過率を用いたブレンド)、自車や被写体などの強調表示の有無および強調方法(自車の車モデル形状による強調表示)、経由映像及び経由視線等を用いて、熟知画像から目的映像への変化において提示する中間映像を作成するためのデータの変更などを行う(S9)。
利用視線変更部41aは、中間映像の作成のうち、閲覧視線の変更における補間を行い、現在の閲覧視線を決定する。利用映像融合部42aは、利用する映像の映像融合方法を実際に処理するために、各利用映像を揃えてその映像に関する投影情報、すなわち映像の現在の透過率や投影する順番などを計算して保持する。強調処理部43aは、中間映像の表示中に(S10,YES)、強調が必要ならば(S11,YES)、強調対象の位置に強調表示を行うための3次元形状を追加したり、映像の一部を強調したりする処理を行う(S12)。中間映像作成部36aの各部の詳細は、すでに提示方法決定部15a等で述べた通りである。
投影作成部33aは、中間映像を利用しない場合(S10,NO)、投影作成部33と同様の技術を用いる(S13)。また、投影作成部33aは、中間映像を利用する場合に中間映像作成部36aによる処理及びデータ変更の結果を利用し、1つ以上の映像を、その撮影視線パラメータを参照しながら所定の3次元形状(投影形状)へ投影し、現在の閲覧視線から閲覧した画像を作成する(S14)。中間映像が加わるため、投影作成部33aは、新たに透過率の概念を導入したり、強調処理用の投影形状を導入したり、撮影視線の大きく異なる映像を同時に閲覧したりしてもよい。投影作成部33aは、例えば、投影形状の特徴点の色及び輝度を、対応づけされた複数の映像の各画素色及び輝度から透過度及び投影順番を考慮して決定するために、CGでいう透過マッピングのような処理を行う。
また、投影作成部33aは、閲覧する仮想空間内に映像を投影しない形状(強調形状)が一時的に複数存在する可能性があるため、あらかじめ利用する可能性のある強調形状群を準備しておき、仮想空間内の利用形状リストに投影しない強調形状を登録/削除する等のデータ管理を行う。
また、投影作成部33aは、熟知画像を作成するための映像(多くは運転者や閲覧者である利用者の視線に似た撮影視線、すなわち視点が自車近くにある自車車載カメラ映像)と、所定の撮影視線による目的映像との2つの映像のように、同時に撮影視線の異なる映像を投影形状に投影する。例えば、目的映像の撮影視点や閲覧視点が投影形状の外側、すなわち自車及び利用者の視点とは反対の側に存在する場合、熟知画像である利用者の擬似視線から目的映像の視線へと視線補間方法を行う際に、投影形状を跨いだ視点経路となり、投影計算は困難になる。これを解決するために、投影作成部33aは、目的映像の視線を考慮して投影形状を大きめにする、目的映像の視点を含むように変形する、あるいは投影形状を変形する代わりに、投影計算式を工夫して投影形状の大きさを仮想的に変更する等、投影形状や投影方法を工夫してもよい。
その他にも、投影作成部33aは、自車映像について、映像同士の繋ぎ目にまたがる立体被写体が投影形状の側面に二重に投影されたり、投影時に投影形状に投影できない領域が生じたりすることを防ぐために、仮想的に形状の大きさや形を変えた投影に適した形状を用いて投影計算を行い、投影後に表示に適した大きさや形の形状へと戻すような投影計算を行うことができる。このとき、投影作成部33aは、自車外の映像については、繋ぎ目や投影できない領域を厳密に考慮しないものとしてその計算を省く、自車映像とは異なる投影計算を用いる、などを行ってもよい。
なお、投影表示部17aについて、便宜的に、中間映像作成部36aの処理と投影作成部33aの処理とを分けて説明しているが、これらの処理が同時に行われたり、これらの処理の順番が変更されたりしても構わない。例えば、利用視線変更部41aの処理の前に利用映像融合部42aの処理を行っても構わない。
このような、上述した投影表示部17aの詳しい処理の流れの一例については、図23の中間映像作成のフローチャートに示した通りである。投影表示部17aは、現在の中間映像の映像時刻である補間時刻から閲覧視線を補間算出し(S30)、融合する映像を入れ替えるかを判定し(S31)、融合する映像を入れ替える場合(S31,YES)に融合対象を選定する(S32)。次に、投影表示部17aは、前述したように投影する映像によって投影形状の更新が必要かを判定し(S33)、投影形状の更新が必要である場合(S33,YES)、投影する融合2映像の撮影データ(撮影空間)に合わせて投影形状を更新する(S34)。S34の後、又はS33のNOの後、投影表示部17aは、投影する融合2映像の撮影データ(撮影空間)と投影形状の位置関係から求めた、映像フレームの画素位置と投影形状の特徴点の対応づけを行う(S35)。この対応づけは、運転支援装置1の投影作成部33の対応づけと同じであり、映像と投影形状のどちらにも変更がなければ、前回の対応づけ結果をそのまま流用して良い。S35の後、又はS31のNOの後、投影表示部17aは、現在の補間時刻から、映像融合度である重畳表示時の各映像の透過率を変更更新し、必要なら映像の投影描画順番も変更更新する(S36)。最後に、投影表示部17aは、実際の映像の映像フレーム画像を映像データ23から取得して(S37)、現在の閲覧視線から眺めた画像を透過マッピングを利用して取得した映像フレーム画像の画素色および輝度から作成する(S38)。
なお、上述した運転支援装置1aの各部は、CPU及びメモリ、ハードディスクドライブ等の記憶媒体であるハードウェア資源と、記憶媒体内で保持されているソフトウェア資源とが協働することで実現される。
運転支援装置1aによれば、利用者が目的映像を閲覧する前に、利用者が被写体の位置関係を熟知しているであろう熟知画像(多くは利用者の視線を模した擬似運転者視線を用いた画像)から目的映像への変化中の映像である中間映像を作成表示することにより、利用者が目視する映像(利用者視線)と大きく異なるインフラ撮影映像(カメラ撮影視線)等の映像の表示の際に、利用者が咄嗟に位置関係を把握できないという課題を解決することが可能となる。
運転支援装置1aによれば、利用者を想定した視線から外部閲覧する映像の視線へと徐々に視線を変更すると同時に、利用者の想定視線と近い撮影視線の映像から目的映像へと利用する映像も変化させることで、被写体の見え方を徐々に変化させながら、閲覧視線を変更することができる。これにより、利用者は、どの被写体が肉眼のどの被写体であるのか、容易に被写体同士、自分と被写体の位置関係を把握することができるようになる。
映像を変更する際、映像を単純にマージする既存の映像切り替え効果を用いると、最初の映像と目的映像で被写体の位置が異なる2つの映像を用いた場合には、どこに何が映っているかを考慮せずに映像全体を混色する。そのため、同じ被写体が複数の場所に現れて対応づけが全くとれず、被写体の位置の把握に用いることができない。運転支援装置1aは、同じ被写体を同じ場所にしたまま映像融合するために、撮影空間の関係を考慮しながら、映像を配置して混色する。運転支援装置1aは、映像を撮影した位置から投影形状に投影して、その投影形状上で徐々に映像が変化するように透過度を変えて混色することにより、映像の変化の前後で同じ被写体を同じ場所に配置することを実現する。この方法では、全く撮影位置の異なる映像でも同じ被写体は同じ位置に投影されるようになり、利用者による被写体の位置の把握を補助する映像を作成することができる。
上述の例のように、運転支援装置1aが開始画像の閲覧視線を擬似運転者視線とし、目的画像の閲覧視線を擬似運転者視線と異なる視線とすることにより、特に利用者の視線から利用者の視線と大きく異なる視線へ切り替える場合に利用者による画像の認識を補助することができる。一方、運転支援装置1aが開始画像の閲覧視線を擬似運転者視線と異なる視線とし、目的画像の閲覧視線を擬似運転者視線としても良く、これにより、特に利用者の視線と大きく異なる視線から利用者の視線へ切り替える場合に利用者による画像の認識を補助することができる。
運転支援装置1aは、開始画像の閲覧視線と目的映像の閲覧視線の少なくともいずれかの視線パラメータを、擬似運転者視線の視線パラメータ(視点、視線方向、画角)の一部又は全部と一致させても良い。
運転支援装置1aは、閲覧視線と擬似運転者視線を比較し、比較により得られる視線の差等を示す情報を、表示する画像に付加しても良い。
なお、本発明は以下に示すようなコンピュータシステムにおいて適用可能である。図20は、本発明が適用されるコンピュータシステムの一例を示す図である。この図に示すコンピュータシステム900は、CPUやディスクドライブ等を内蔵した本体部901、本体部901からの指示により画像を表示するディスプレイ902、コンピュータシステム900に種々の情報を入力するためのキーボード903、ディスプレイ902の表示画面902a上の任意の位置を指定するマウス904及び外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする通信装置905を有する。通信装置905は、ネットワーク通信カード、モデムなどが考えられる。
上述したような、画像処理装置を構成するコンピュータシステムにおいて上述した各ステップを実行させるプログラムを、画像処理プログラムとして提供することができる。このプログラムは、コンピュータシステムにより読み取り可能な記録媒体に記憶させることによって、画像処理装置を構成するコンピュータシステムに実行させることが可能となる。上述した各ステップを実行するプログラムは、ディスク910等の可搬型記録媒体に格納されるか、通信装置905により他のコンピュータシステムの記録媒体906からダウンロードされる。また、コンピュータシステム900に少なくとも画像処理機能を持たせる画像処理プログラムは、コンピュータシステム900に入力されてコンパイルされる。このプログラムは、コンピュータシステム900を、画像処理機能を有する画像処理システムとして動作させる。また、このプログラムは、例えばディスク910等のコンピュータ読み取り可能な記録媒体に格納されていても良い。ここで、コンピュータシステム900により読み取り可能な記録媒体としては、ROMやRAM等のコンピュータに内部実装される内部記憶装置、ディスク910やフレキシブルディスク、DVDディスク、光磁気ディスク、ICカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータシステム並びにそのデータベースや、通信装置905のような通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
なお、画像処理プログラムの一部を専用処理チップとしてコンピュータシステム200に内蔵されるハードウェアとして実現しても構わない。
画像取得部は、実施の形態における映像更新登録部11aに対応する。
設定部は、実施の形態における映像変更決定部14及び提示方法決定部15aに対応する。
生成部は、実施の形態における投影表示部17aに対応する。
状況取得部は、実施の形態における運転状況取得部12及び道路状況取得部13に対応する。
表示部は、実施の形態におけるディスプレイ18に対応する。
第1カメラは、実施の形態におけるカメラBに対応する。
第2カメラは、実施の形態における外カメラAに対応する。
第1撮影画像は、実施の形態におけるカメラB映像に対応する。
第2撮影画像は、実施の形態における外カメラA映像に対応する。
第1撮影視線は、実施の形態におけるカメラB視線に対応する。
第2撮影視線は、実施の形態における外カメラA視線に対応する。
第1表示画像は、実施の形態におけるVD(t0)に対応する。
第2表示画像は、実施の形態におけるVD(t3)に対応する。
補間表示画像は、実施の形態におけるVD(t1),VD(t2)に対応する。
生成条件は、実施の形態におけるC3,C4に対応する。
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。
1a 運転支援装置
11a 映像更新登録部
12 運転状況取得部
13 道路状況取得部
14 映像変更決定部
15a 提示方法決定部
16 映像表示部
17a 投影表示部
18 ディスプレイ
21a 視線データ記憶部
22 撮影データ記憶部
23 映像データ記憶部
24 運転/道路情報記憶部
31 目的映像提示方法決定部
33a 投影作成部
34a 中間映像利用判定部
35a 作成内容決定部
36a 中間映像作成部
41a 利用視線変更部
42a 利用映像融合部
43a 強調処理部

Claims (7)

  1. 車両に設けられる画像処理装置であって、
    第1カメラ及び第2カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得する画像取得部と、
    前記第1カメラにより撮影される第1カメラ画像の視線である第1カメラ視線と、前記第1カメラ画像に基づいて生成される第1表示画像の視線である第1表示視線と、前記第2カメラにより撮影される前記第2カメラ画像の視線である第2カメラ視線と、前記第2カメラ画像に基づいて生成される第2表示画像の視線である第2表示視線とに基づいて、前記第1カメラ画像内の位置と前記第2カメラ画像内の位置と前記第1表示画像内の位置と前記第2表示画像内の位置との対応関係を設定する設定部と、
    前記第1カメラ画像と前記対応関係とに基づいて前記第1表示画像を生成し、前記第1カメラ画像及び前記第2カメラ画像の少なくともいずれかと前記対応関係とに基づいて前記第1表示画像と前記第2表示画像とを補間して前記第1表示画像より後に表示される補間表示画像を生成し、前記第2カメラ画像と前記対応関係とに基づいて前記補間表示画像より後に表示される前記第2表示画像を生成する生成部と
    を備え、
    前記第1カメラ視線及び前記第1表示視線の対と、前記第2カメラ視線及び前記第2表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である、
    画像処理装置。
  2. 前記第1表示視線と前記第2表示視線は、互いに異なり、
    前記設定部は、前記第1表示視線と前記第2表示視線を補間して前記補間表示画像の視線である補間表示視線を決定する、
    請求項1に記載の画像処理装置。
  3. 前記設定部は、前記対応関係に基づいて前記第1カメラ画像及び前記第2カメラ画像が投影される投影形状を設定すると共に、前記第1表示視線と前記第2表示視線の少なくともいずれかに基づいて前記補間表示画像の視線である補間表示視線を設定し、
    前記生成部は、前記第1カメラ画像を前記投影形状へ投影して第1投影結果とし、前記第1投影結果を前記第1表示視線から見た前記第1表示画像を生成し、前記第1カメラ画像及び前記第2カメラ画像の少なくともいずれかを前記投影形状へ投影して第2投影結果とし、前記第2投影結果を前記補間表示視線から見た前記補間表示画像を生成し、前記第2カメラ画像を前記投影形状へ投影して第3投影結果とし、前記第3投影結果を前記第2表示視線から見た前記第2表示画像を生成する、
    請求項1に記載の画像処理装置。
  4. 前記生成部は、前記第1カメラ画像と前記第2カメラ画像のそれぞれに重みを付け、前記第1カメラ画像の重みを時間の経過に伴って減少させると共に前記第2カメラ画像の重みを時間の経過に伴って増加させ、前記重みを付けられた前記第1カメラ画像と前記重みを付けられた前記第2カメラ画像とに基づいて前記補間表示画像を生成する、
    請求項1に記載の画像処理装置。
  5. 前記第1表示視線及び前記第2表示視線の少なくともいずれかは、前記画像処理装置の利用者の視線に所定の操作を施した視線である、
    請求項1に記載の画像処理装置。
  6. 車両に設けられたコンピュータに実行させる画像処理プログラムであって、
    第1カメラ及び第2カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、
    前記第1カメラにより撮影される第1カメラ画像の視線である第1カメラ視線と、前記第1カメラ画像に基づいて生成される第1表示画像の視線である第1表示視線と、前記第2カメラにより撮影される前記第2カメラ画像の視線である第2カメラ視線と、前記第2カメラ画像に基づいて生成される第2表示画像の視線である第2表示視線とに基づいて、前記第1カメラ画像内の位置と前記第1表示画像内の位置と前記第2カメラ画像内の位置と前記第2表示画像内の位置との対応関係を設定し、
    前記第1カメラ画像と前記対応関係とに基づいて前記第1表示画像を生成し、
    前記第1カメラ画像及び前記第2カメラ画像の少なくともいずれかと前記対応関係とに基づいて前記第1表示画像と前記第2表示画像とを補間して前記第1表示画像より後に表示される補間表示画像を生成し、
    前記第2カメラ画像と前記対応関係とに基づいて前記補間表示画像より後に表示される前記第2表示画像を生成し、
    前記第1カメラ視線及び前記第1表示視線の対と、前記第2カメラ視線及び前記第2表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である、
    前記画像処理プログラムが記録された、
    コンピュータにより読み取り可能な記録媒体。
  7. 車両に設けられた画像処理装置により実行される画像処理方法であって、
    第1カメラ及び第2カメラを含む複数のカメラのそれぞれにより撮影されたカメラ画像を取得し、
    前記第1カメラにより撮影される第1カメラ画像の視線である第1カメラ視線と、前記第1カメラ画像に基づいて生成される第1表示画像の視線である第1表示視線と、前記第2カメラにより撮影される前記第2カメラ画像の視線である第2カメラ視線と、前記第2カメラ画像に基づいて生成される第2表示画像の視線である第2表示視線とに基づいて、前記第1カメラ画像内の位置と前記第1表示画像内の位置と前記第2カメラ画像内の位置と前記第2表示画像内の位置との対応関係を設定し、
    前記第1カメラ画像と前記対応関係とに基づいて前記第1表示画像を生成し、
    前記第1カメラ画像及び前記第2カメラ画像の少なくともいずれかと前記対応関係とに基づいて前記第1表示画像と前記第2表示画像とを補間して前記第1表示画像より後に表示される補間表示画像を生成し、
    前記第2カメラ画像と前記対応関係とに基づいて前記補間表示画像より後に表示される前記第2表示画像を生成し、
    前記第1カメラ視線及び前記第1表示視線の対と、前記第2カメラ視線及び前記第2表示視線の対との少なくともいずれかの対は、互いに異なる視線の対である、
    画像処理方法。
JP2011509097A 2009-04-13 2009-04-13 画像処理装置、画像処理プログラム、画像処理方法 Expired - Fee Related JP5267660B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/057431 WO2010119496A1 (ja) 2009-04-13 2009-04-13 画像処理装置、画像処理プログラム、画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2010119496A1 JPWO2010119496A1 (ja) 2012-10-18
JP5267660B2 true JP5267660B2 (ja) 2013-08-21

Family

ID=42982180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011509097A Expired - Fee Related JP5267660B2 (ja) 2009-04-13 2009-04-13 画像処理装置、画像処理プログラム、画像処理方法

Country Status (3)

Country Link
US (1) US8773534B2 (ja)
JP (1) JP5267660B2 (ja)
WO (1) WO2010119496A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5560858B2 (ja) * 2010-04-02 2014-07-30 富士通株式会社 補正値算出装置、補正値算出方法および補正値算出プログラム
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
FR2988504B1 (fr) * 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
US9093047B2 (en) * 2012-04-15 2015-07-28 Trimble Navigation Limited Displaying arrays of image data
US20130283330A1 (en) * 2012-04-18 2013-10-24 Harris Corporation Architecture and system for group video distribution
JP6031819B2 (ja) * 2012-05-17 2016-11-24 富士通株式会社 画像処理装置、画像処理方法
US9215448B2 (en) 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
KR20160044528A (ko) * 2013-08-22 2016-04-25 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 운전자 안전을 위한 시선의 영향
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
DE102014101190A1 (de) * 2014-01-31 2015-08-06 Huf Hülsbeck & Fürst Gmbh & Co. Kg Montagemodul
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
US10527443B2 (en) * 2017-08-16 2020-01-07 International Business Machines Corporation Generating navigation instructions
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
US11017585B1 (en) * 2018-06-11 2021-05-25 Facebook, Inc. Systems and methods for capturing image data for recreation in a virtual environment
WO2020121882A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 制御装置、制御方法、および制御プログラム
US10949707B2 (en) * 2019-02-27 2021-03-16 Here Global B.V. Method, apparatus, and system for generating feature correspondence from camera geometry
WO2021149336A1 (ja) * 2020-01-22 2021-07-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311666A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2008148112A (ja) * 2006-12-12 2008-06-26 Clarion Co Ltd 運転支援装置
JP2008148113A (ja) * 2006-12-12 2008-06-26 Clarion Co Ltd 運転支援装置
JP2008301091A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03286306A (ja) 1990-04-03 1991-12-17 Mitsubishi Electric Corp 数値制御装置
US5410345A (en) * 1992-09-09 1995-04-25 Dimension Technologies, Inc. Stroboscopic illumination system for video displays
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6278466B1 (en) * 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
US7307655B1 (en) 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
US7340162B2 (en) * 2005-02-23 2008-03-04 Flir Systems, Inc. Infrared camera systems and methods
US20080309668A1 (en) * 2007-05-17 2008-12-18 Igor Borovikov Image processing method and apparatus
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311666A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2008148112A (ja) * 2006-12-12 2008-06-26 Clarion Co Ltd 運転支援装置
JP2008148113A (ja) * 2006-12-12 2008-06-26 Clarion Co Ltd 運転支援装置
JP2008301091A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置

Also Published As

Publication number Publication date
JPWO2010119496A1 (ja) 2012-10-18
WO2010119496A1 (ja) 2010-10-21
US8773534B2 (en) 2014-07-08
US20120033077A1 (en) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5267660B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
US20200132490A1 (en) Augmented reality interface for navigation assistance
US20070003162A1 (en) Image generation device, image generation method, and image generation program
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
JPWO2018167966A1 (ja) Ar表示装置及びar表示方法
JP6693223B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
JP2005242606A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2015104930A (ja) ヘッドアップディスプレイ装置
US20200249044A1 (en) Superimposed-image display device and computer program
KR20110114114A (ko) 실사형 3차원 네비게이션 구현방법
KR20150051671A (ko) 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법
WO2018134897A1 (ja) 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法
JP7255608B2 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP6345381B2 (ja) 拡張現実システム
JP5131152B2 (ja) 視覚支援装置
JP6186905B2 (ja) 車載表示装置およびプログラム
CN107024222B (zh) 行车导航装置
CN112484743A (zh) 车载hud融合实景导航显示方法及其系统
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP2021135933A (ja) 表示方法、表示装置及び表示システム
US10650601B2 (en) Information processing device and information processing method
JP2019064422A (ja) ヘッドアップディスプレイ装置
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees