JPWO2018078798A1 - 表示制御装置及び表示制御方法 - Google Patents

表示制御装置及び表示制御方法 Download PDF

Info

Publication number
JPWO2018078798A1
JPWO2018078798A1 JP2018544950A JP2018544950A JPWO2018078798A1 JP WO2018078798 A1 JPWO2018078798 A1 JP WO2018078798A1 JP 2018544950 A JP2018544950 A JP 2018544950A JP 2018544950 A JP2018544950 A JP 2018544950A JP WO2018078798 A1 JPWO2018078798 A1 JP WO2018078798A1
Authority
JP
Japan
Prior art keywords
display
binocular parallax
setting unit
depth distance
display object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018544950A
Other languages
English (en)
Other versions
JP6494877B2 (ja
Inventor
脩平 太田
脩平 太田
尚嘉 竹裏
尚嘉 竹裏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018078798A1 publication Critical patent/JPWO2018078798A1/ja
Application granted granted Critical
Publication of JP6494877B2 publication Critical patent/JP6494877B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Instrument Panels (AREA)

Abstract

表示制御装置(100)は、表示対象情報に対応する表示物の奥行距離を設定する奥行距離設定部(22)と、設定された奥行距離に応じて表示物の両眼視差値を設定する両眼視差設定部(23)と、両眼視差設定部(23)により設定された両眼視差値を修正する両眼視差修正部(24)と、両眼視差値を修正した量に基づいて表示物の表示態様を変更する他表示態様設定部(25)と、両眼視差設定部(23)により設定された両眼視差値又は両眼視差修正部(24)により修正された両眼視差値のいずれかに基づいてに基づく表示物を含む立体視用画像を表示装置に出力する表示制御部(29)とを備え、両眼視差修正部(24)による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、他表示態様設定部(25)は両眼視差値を修正した量に応じて少なくとも表示物の大きさを変更する。

Description

本発明は、移動体用の表示装置に用いられる表示制御装置及び表示制御方法に関する。
従来、左目用画像及び右目用画像を表示することにより、当該画像の立体視を可能とした表示装置が開発されている。以下、左目用画像及び右目用画像に対して、立体視によりユーザが視認する像を「立体像」という。また、ユーザの眼部の位置又は当該眼部の位置に対応する位置から立体像の位置までの距離を「奥行距離」という。
立体視用の表示装置において、左目用画像と右目用画像間の視差、いわゆる「両眼視差」を過度に大きくすると、左目用画像と右目用画像とが互いに別個の画像であると認識されて、ユーザが立体像を視認することができない場合がある。この場合、いわゆる「二重像」が生じて、ユーザの視覚疲労又は不快感などを引き起こす問題がある(非特許文献1参照)。この問題に対して、特許文献1,2には、両眼視差が過度に大きくなるのを防ぐ技術が開示されている。
特許文献1の立体映像変換装置100は、左右映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部111と、左右映像を撮像した際の輻輳角を変更する映像変換部112とを備える。映像変換部112は、撮像条件抽出部111で抽出された輻輳角変換情報及び左右映像を表示させる表示画面の表示サイズ情報に基づいて、左右映像の最大視差量を算出し、算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、算出した輻輳角補正値に基づいて左右映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備える。これにより、立体視用の映像を表示する際に、画面サイズによらず引っ込み方向の視差量を、所定の視差以下で表示することができる(特許文献1の要約、図1等参照)。
特許文献2の表示装置100は、左眼用画像と右眼用画像とをもとに、画像データ内での視差の最大値と最小値と、を取得する視差情報取得部12と、取得された視差の最大値と最小値との差分をもとに画像データの奥行き量を取得する奥行き情報取得部13と、画像データ間での奥行き量の変化をもとにズーム表示の有無を検出するズーム表示検出部14と、ズーム表示が検出され、かつ、視差の最大値が閾値以上である場合に、画像データに対して視聴負担を軽減するよう補正を行う補正部16とを有する。これにより、ズーム表示を含む立体視映像において、視聴者の視認負荷を軽減している(特許文献2の要約、図2等参照)。
特開2012−85102号公報 特開2015−115676号公報
3Dコンソーシアム『3DC安全ガイドライン』2011年11月31日発行
ヘッドアップディスプレイ(Head−Up Display,HUD)等の移動体用の表示装置により立体視を行う場合、立体像の奥行距離が重要となる。例えば、移動体が車両であり、かつ、当該車両の走行経路を案内するナビゲーション装置が設けられている場合において、当該車両に対する前方30メートルの位置にある交差点などの案内対象物を案内する場合、当該案内対象物に対応する立体像の奥行距離は略30メートルに設定するのが好適である。また、前方10メートルの位置にある第1案内対象物と、前方50メートルの位置にある第2案内対象物とを同時に案内する場合、第1案内対象物に対応する立体像の奥行距離は略10メートルに設定し、かつ、第2案内対象物に対応する立体像の奥行距離は略50メートルに設定するのが好適である。
ここで、左目用画像と右目用画像間の両眼視差は、人間が奥行距離を認識するための要素の一つである。このため、二重像の発生を抑制するために単に両眼視差を修正(特許文献1における輻輳角の変更、又は特許文献2における視差の補正に相当)した場合、ユーザが認識する立体像の奥行距離が変化して、上記のような移動体用の表示装置に適した立体視を実現することができなくなる問題があった。
本発明は、上記のような課題を解決するためになされたものであり、二重像の発生を抑制しつつ、移動体用の表示装置に適した立体視を実現することができる表示制御装置及び表示制御方法を提供することを目的とする。
本発明の表示制御装置は、移動体用の表示装置に用いられる表示制御装置であって、表示対象情報に対応する表示物の奥行距離を設定する奥行距離設定部と、奥行距離設定部により設定された奥行距離に応じて表示物の両眼視差値を設定する両眼視差設定部と、両眼視差設定部により設定された両眼視差値を修正する両眼視差修正部と、両眼視差値を修正した量に基づいて表示物の表示態様を変更する他表示態様設定部と、両眼視差設定部により設定された両眼視差値又は両眼視差修正部により修正された両眼視差値のいずれかに基づいて表示物を含む立体視用画像を表示装置に出力する表示制御部とを備え、両眼視差修正部による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、他表示態様設定部は両眼視差値を修正した量に応じて少なくとも表示物の大きさを変更するものである。
本発明の表示制御方法は、移動体用の表示装置に用いられる表示制御方法であって、奥行距離設定部が、表示対象情報に対応する表示物の奥行距離を設定するステップと、両眼視差設定部が、奥行距離設定部により設定された奥行距離に応じて表示物の両眼視差値を設定するステップと、両眼視差修正部が、両眼視差設定部により設定された両眼視差値を修正するステップと、他表示態様設定部が、両眼視差値を修正した量に基づいて表示物の表示態様を変更するステップと、表示制御部が、両眼視差設定部により設定された両眼視差値又は両眼視差修正部により修正された両眼視差値のいずれかに基づいて表示物を含む立体視用画像を表示装置に出力するステップとを備え、両眼視差修正部による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、他表示態様設定部は両眼視差値を修正した量に応じて少なくとも表示物の大きさを変更するものである。
本発明によれば、上記のように構成したので、二重像の発生を抑制しつつ、移動体用の表示装置に適した立体視用画像を提供することができる。
本発明の実施の形態1に係る表示制御装置の要部を示す機能ブロック図である。 本発明の実施の形態1に係るHUDの構造、奥行距離の一例、及び結像距離の一例を示す説明図である。 ウィンドシールドタイプのHUDの構造を示す説明図である。 コンバイナータイプのHUDの構造を示す説明図である。 本発明の実施の形態1に係る特性図である。 本発明の実施の形態1に係る立体視用画像の生成に用いられる仮想の3次元空間の一例を示す説明図である。 図5Aは、本発明の実施の形態1に係る立体視用画像の一例を示す説明図である。図5Bは、本発明の実施の形態1に係る立体視用画像の他の例を示す説明図である。 図6Aは、本発明の実施の形態1に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の一例を示す説明図である。図6Bは、本発明の実施の形態1に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の他の例を示す説明図である。図6Cは、本発明の実施の形態1に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の他の例を示す説明図である。 図7Aは本発明の実施の形態1に係る表示制御装置の要部を示すハードウェア構成図で、図7Bは本発明の実施の形態1に係る表示制御装置の要部を示す他のハードウェア構成図である。 本発明の実施の形態1に係る表示制御装置の動作を示すフローチャートである。 本発明の実施の形態1に係る表示制御装置の動作を示す説明図である。 図10Aは、本発明の実施の形態1に係る比較用表示物を含む立体視用画像の一例を示す説明図である。図10Bは、本発明の実施の形態1に係る比較用表示物を含む立体視用画像の他の例を示す説明図である。 本発明の実施の形態1に係る他の表示制御装置の要部を示す機能ブロック図である。 本発明の実施の形態1に係る他の表示制御装置の要部を示す機能ブロック図である。 本発明の実施の形態1に係る他の表示制御装置の動作を示すフローチャートである。 本発明の実施の形態2に係る表示制御装置の要部を示す機能ブロック図である。 本発明の実施の形態2に係るHUDの表示領域の一例を示す説明図である。 本発明の実施の形態2に係る特性図である。 図17Aは、本発明の実施の形態2に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の一例を示す説明図である。図17Bは、本発明の実施の形態2に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の他の例を示す説明図である。 本発明の実施の形態2に係る表示制御装置の動作を示すフローチャートである。 本発明の実施の形態2に係る他の表示制御装置の要部を示す機能ブロック図である。 本発明の実施の形態2に係る他の表示制御装置の動作を示すフローチャートである。 見下ろし角度と表示装置の関係を示す説明図である。 実施の形態1に実施の形態3を適用したときの表示制御装置の要部を示す機能ブロック図である。 実施の形態2に実施の形態3を適用したときの表示制御装置の要部を示す機能ブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
実施の形態1は、まず左右の目の両眼視差値により立体像の奥行距離を調整する。しかしながら両眼視差値を過度に大きくすると、二重像が発生するため両眼視差値で調整できる奥行距離の範囲には限界がある。この限界は、ユーザから見て遠方側あるいは近接側の両方に存在する。そこで実施の形態1は、両眼視差値で調整できる奥行距離を超えた場合は、両眼視差値の調整に加えて、更に立体像の大きさを変更するというものである。例えば遠方側に立体像を表示したい場合は縮小して表示する。逆に近接側に立体像を表示したい場合は拡大して表示する。これは、人間は小さいものは遠くにあると認識するとともに大きいものは近くにあると認識することを利用したものである。
これにより奥行距離が限界を超えても立体物があたかも所望の奥行距離の位置に表示されているように見せることができるというものである。なお遠方側及び近接側の両方で上述の調整をする必要はなく、いずれか一方のみで調整してもよい。
更に人間は、前方視野において上側にあるものは遠くにあると認識するとともに下側にあるものは近くにあると認識する。実施の形態1では上述の大きさを変える処理に加えてユーザにとって遠方にあるものは上側に移動させるとともに近接側にあるものは下側に移動させてもよいことを提案する。
すなわち実施の形態1は、両眼視差値で調整できる奥行距離の範囲については両眼視差値で調整する。両眼視差値で調整できる奥行距離を超えた場合は、両眼視差値の調整に加えて、更に人間が奥行距離を認識する別の処理を実施するという技術的思想である。この別の処理は1つでもよいし、いくつかを組み合わせたものでもよい。また遠方側と近接側の両方を処理しなければならないわけではなく、必要に応じていずれか一方で実施してもよい。
以下、図面を使用して詳述する。
図1は、本発明の実施の形態1に係る表示制御装置の要部を示す機能ブロック図である。図2Aは、本発明の実施の形態1に係るHUDの構造、奥行距離の一例、及び結像距離の一例を示す説明図である。図2Bは、ウィンドシールドタイプのHUDの構造、図2CはコンバイナータイプのHUDの構造を示す説明図である。図3は、本発明の実施の形態1に係る第1特性線などを示す特性図である。図4は、本発明の実施の形態1に係る立体視用画像の生成に用いられる仮想の3次元空間の一例を示す説明図である。図5Aは、本発明の実施の形態1に係る立体視用画像の一例を示す説明図である。図5Bは、本発明の実施の形態1に係る立体視用画像の他の例を示す説明図である。図6Aは、本発明の実施の形態1に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の一例を示す説明図である。図6Bは、本発明の実施の形態1に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の他の例を示す説明図である。図6Cは、本発明の実施の形態1に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の他の例を示す説明図である。図7Aは本発明の実施の形態1に係る表示制御装置の要部を示すハードウェア構成図で、図7Bは本発明の実施の形態1に係る表示制御装置の要部を示す他のハードウェア構成図である。図7Bは、本発明の実施の形態1に係る表示制御装置の要部を示す他のハードウェア構成図である。図1〜図7を参照して、実施の形態1の表示制御装置100について、四輪自動車からなる車両1に応用した例を中心に説明する。
図1に示すように車両1には、HUD2が設けられている。図2Aは、HUD2の構造の一例を示している。図2AにおいてHUD2は、ディスプレイ3と、ディスプレイ3に表示された画像をハーフミラー4に投影するミラー5とを有している。HUD2は大別して、ハーフミラー4としてフロントガラス4A(ウインドシールド)を用いるウインドシールドタイプ(図2B)とハーフミラー4としてユーザの前方に設置したコンバイナー4Bを用いるコンバイナータイプ(図2C)とがある。ディスプレイ3は、例えば、液晶ディスプレイなどからなるディスプレイ又はプロジェクタやレーザーなどの画像を投影可能な表示機器により構成されている。ミラー5は、例えば、1枚以上の反射用のミラー、及び投影用のハーフミラーなどにより構成されている。ここで少なくとも一部のミラーには角度調整装置5Aが備えられており、当該ミラーの角度を調整できるように構成されている。なお、図2A、図2Bあるいは図2Cにおいて、ミラー5は光学系を構成している。
ディスプレイ3は、左目用画像及び右目用画像の各々を表示するもの、又は左目用画像と右目用画像とを合成してなる画像(以下「合成画像」という。)を表示するものである。以下、ディスプレイ3に表示されるこれらの画像を総称して「立体視用画像」という。すなわち、HUD2は、車両1のハーフミラー4越しに見える車外の風景に重畳された状態にて立体視用画像を表示するものである。
カメラ11は、車両1の車内を撮影するものである。カメラ11は、撮影した画像を示す画像情報を表示制御装置100に出力するものである。
カメラ12は、車両1の車外を撮影するものである。カメラ12は、撮影した画像を示す画像情報を表示制御装置100に出力するものである。
GPS(Global Positioning System)受信機13は、図示しないGPS衛星からGPS信号を受信するものである。GPS受信機13は、GPS信号が示す座標に対応する位置情報を表示制御装置100に出力するものである。
レーダセンサ14は、例えばミリ波帯の電波センサ、超音波センサ又はレーザセンサなどにより構成されている。レーダセンサ14は、車両1の外部にある物体の方向及び形状並びに車両1と当該物体間の距離などを検出するものである。レーダセンサ14は、これらの検出結果を示す情報を表示制御装置100に出力するものである。
ECU(Electronic Control Unit)15は、車両1の各種動作を制御するものである。ECU15は、図示しないワイヤーハーネス等により表示制御装置100と接続されており、CAN(Controller Area Network)規格に基づき表示制御装置100と通信自在である。ECU15は、車両1の各種動作に関する情報を表示制御装置100に出力するものである。
無線通信装置16は、例えば、車両1に搭載された専用の受信機及び送信機又は車両1に持ち込まれたスマートフォン等の携帯通信端末により構成されている。無線通信装置16は、インターネット等の外部ネットワークから各種情報を取得して、これらの情報を表示制御装置100に出力するものである。
ナビゲーション装置17は、例えば、車両1に搭載された専用の車載情報機器又は車両1に持ち込まれたPND(Portable Navigation Device)若しくはスマートフォンなどの携帯情報端末により構成されている。ナビゲーション装置17は、図示しない記憶装置に記憶された地図情報及びGPS受信機13から取得した位置情報などを用いて、車両1の走行経路を検索するものである。また、ナビゲーション装置17は、検索結果の中から選択された走行経路を案内するものである。図1において、GPS受信機13等とナビゲーション装置17間の接続線は図示を省略している。ナビゲーション装置17は、走行経路の案内に係る各種情報を表示制御装置100に出力するものである。
HUD駆動制御装置18は、HUD2の光学系に含まれるミラー5の角度を制御するものである。なお、HUD駆動制御装置18は、カメラ11から取得した画像情報に対する画像認識処理を実行することにより、車両1の上下方向、左右方向及び前後方向に対するユーザの眼部又は頭部の位置を検出し、当該位置に応じてミラー5の角度を制御するものであっても良い。図1において、カメラ11とHUD駆動制御装置18間の接続線は図示を省略している。
実施の形態1では、カメラ11、カメラ12、GPS受信機13、レーダセンサ14、ECU15、無線通信装置16、ナビゲーション装置17及びHUD駆動制御装置18により、情報源装置19が構成されている。
表示対象設定部21は、情報源装置19から取得した情報又は情報源装置19から取得した情報を用いて生成した情報のうち、HUD2による表示対象となる情報(以下「表示対象情報」という。)を設定するものである。
具体的には、例えば表示対象設定部21は、ナビゲーション装置17から車両1の現在位置から次の案内対象地点までの距離を示す情報、案内対象地点までの走行経路における車両1の右左折地点を示す情報、次の案内対象地点の名称を示す情報及び車両1の目的地を示す情報などを取得する。表示対象設定部21は、取得した情報のうちの少なくとも一部を表示対象情報に設定する。
または、例えば、表示対象設定部21は、カメラ11から取得した画像情報、カメラ12から取得した画像情報、GPS受信機13から取得した位置情報、ECU15から取得した各種情報、及びナビゲーション装置17から取得した各種情報などを用いて、車両1の走行速度、操舵角、現在位置及び進行方向などを示す情報を生成する。表示対象設定部21は、生成した情報のうちの少なくとも一部を表示対象情報に設定する。
または、例えば、表示対象設定部21は、カメラ12から取得した画像情報、GPS受信機13から取得した位置情報、ECU15から取得した各種情報、ナビゲーション装置17から取得した地図情報、レーダセンサ14から取得した検出結果の情報、及び無線通信装置16から取得したPOI(Point of Interest)情報などを用いて、車両1の周囲における他車両の有無及び位置、車両1の周囲におけるガードレール等の設置物の有無及び位置、走行中の道路における車線数、走行中の道路におけるカーブの曲率、走行中の道路における白線の位置、走行中の道路の付近に存在する施設等を示す情報を生成する。表示対象設定部21は、生成した情報のうちの少なくとも一部を表示対象情報に設定する。
そのほか、表示対象設定部21は、情報源装置19から取得した情報、又は情報源装置19から取得した情報を用いて生成した情報であれば、如何なる情報を表示対象情報に設定するものであっても良い。例えば、表示対象設定部21は、車両1の前方を走行している他車両の走行速度、車両1と当該他車両間の車間距離、走行中の高速道路におけるパーキングエリア及びジャンクションなどを示す情報を表示対象情報に設定するものであっても良い。
また、表示対象設定部21は、表示対象情報に対応する1個又は複数個の仮想の立体物又は平面物(以下「表示物」という。)を設定するものである。
具体的には、例えば、案内対象の走行経路における車両1の右左折地点を示す情報が表示対象情報に設定されたものとする。この場合、表示対象設定部21は、右左折の方向を示す矢印状の立体物を表示物に設定する。
または、例えば、車両1の前方を走行中の他車両が車両1に急接近してきたことを示す情報が表示対象情報に設定されたものとする。この場合、表示対象設定部21は、車両1のユーザから見て当該他車両が存在する位置に重畳された状態にて表示される警告用の立体物を表示物に設定する。
または、例えば、車両1の前方にある施設を示す情報が表示対象情報に設定されたものとする。この場合、表示対象設定部21は、車両1のユーザから見て当該施設が存在する位置に重畳された状態にて表示される強調用の立体物を表示物に設定する。
または、例えば、車両1の前方にある目的地を示す情報が表示対象情報に設定されたものとする。この場合、表示対象設定部21は、車両1のユーザから見て当該目的地が存在する位置に重畳された状態にて表示される強調用の立体物を表示物に設定する。
そのほか、表示対象設定部21は、表示対象情報の内容に応じて如何なる形状の立体物又は平面物を表示物に設定するものであっても良い。
奥行距離設定部22は、情報源装置19から取得した情報又は表示対象設定部21により生成された情報を用いて、立体像の奥行距離を設定するものである。ここで奥行距離とは、車両1のユーザの眼部の位置又は当該眼部の位置に対応する位置から表示物に対応する立体像の位置までの距離を意味する。
このとき、奥行距離設定部22は、カメラ11から取得した画像情報に対する画像認識処理を実行することにより、ユーザの眼部の位置を検出する。奥行距離設定部22は、検出した眼部の位置に基づく奥行距離を設定する。または、奥行距離設定部22は、ユーザの眼部の位置に対応する所定の位置(例えば、車両1の運転席のヘッドレストから前方20センチメートルの位置など)に基づく奥行距離を設定する。以下、奥行距離の基準となる位置を単に「基準位置」という。即ち基準位置は、実測した結果に基づくものでもよいし、予め定めた任意の位置を用いてもよい。
具体的には、例えば、表示対象設定部21により、右左折の方向を示す矢印状の立体物が表示物に設定されたものとする。この場合、奥行距離設定部22は、GPS受信機13から取得した車両1の位置情報及びナビゲーション装置17から取得した右左折地点の位置を示す情報などを用いて、車両1の現在位置から右左折地点の位置までの距離を算出する。奥行距離設定部22は、当該表示物の奥行距離として算出した距離を設定する。
または、例えば、車両1の前方を走行中の他車両が存在する位置に重畳された状態にて表示される警告用の立体物が表示物に設定されたものとする。この場合、奥行距離設定部22は、レーダセンサ14による検出結果を示す情報などを用いて、車両1と当該他車両間の距離を算出する。奥行距離設定部22は、当該表示物の奥行距離として算出した距離を設定する。
または、例えば、車両1の前方にある施設が存在する位置に重畳された状態にて表示される強調用の立体物が表示物に設定されたものとする。この場合、奥行距離設定部22は、GPS受信機13から取得した位置情報、及び無線通信装置16から取得したPOI情報などを用いて、車両1と当該施設間の距離を算出する。奥行距離設定部22は、当該表示物の奥行距離として算出した距離を設定する。
または、例えば、車両1の前方にある目的地が存在する位置に重畳された状態にて表示される強調用の立体物が表示物に設定されたものとする。この場合、奥行距離設定部22は、GPS受信機13から取得した車両1の位置情報、及びナビゲーション装置17から取得した目的地の位置を示す情報などを用いて、車両1と目的地間の距離を算出する。奥行距離設定部22は、当該表示物の奥行距離として算出した距離を設定する。
なお上述の事例において、算出した距離を奥行距離として設定することを説明したが、算出した距離に基づいて得られる値を奥行距離として設定してもよい。
図2Aに示す両矢印A1は、ユーザBの眼部の位置から立体像C1の位置までの奥行距離の一例を示している。また、図2Aに示す両矢印A2は、ユーザBの眼部の位置から、HUD2により投影された立体視用画像の虚像C2までの距離の一例を示している。以下、奥行距離と同様の基準位置から、HUD2により投影された立体視用画像の虚像までの距離を「結像距離」という。
図2Aの例では、奥行距離A1が結像距離A2よりも大きい値に設定された場合の例を示しているが、奥行距離A1は結像距離A2と同等の値又は結像距離A2よりも小さい値に設定される場合もある。奥行距離A1が結像距離A2よりも大きい値に設定された場合、立体視用画像により引っ込み方向、即ちユーザにとって遠方側の立体視が実現される。他方、奥行距離A1が結像距離A2よりも小さい値に設定された場合、立体視用画像により飛び出し方向、即ちユーザにとって近接側の立体視が実現される。
なお、奥行距離設定部22は、表示対象設定部21により複数個の表示物が設定された場合、個々の表示物ごとに奥行距離を設定するようになっている。
両眼視差設定部23は、奥行距離設定部22により設定された奥行距離に応じて、表示物の両眼視差の値(以下「両眼視差値」という。)を設定するものである。具体的には、両眼視差設定部23は、奥行距離に対する両眼視差値を示す特性線(以下「第1特性線」という。)に基づき表示物の両眼視差値を設定するようになっている。第1特性線は図3においてIとして記述されているもので、奥行き感に関する人間の一般的な認知特性に基づくものである。すなわち、第1特性線は、対数関数状の特性を示すものであり、かつ、奥行距離が結像距離と同等の値であるときの両眼視差値が零値となるものである。
なお、両眼視差設定部23は、表示対象設定部21により複数個の表示物が設定された場合、個々の表示物ごとに両眼視差値を設定するようになっている。
両眼視差修正部24は、両眼視差設定部23により設定された両眼視差値で調整できる両眼視差値の範囲(以下「基準範囲」という。)を設定するものである。以下、基準範囲内の遠方側の上限値を「遠方側の視差上限値」といい、基準範囲内の近接側の上限値を「近接側の視差上限値」という。
両眼視差修正部24は、両眼視差設定部23により設定された両眼視差値が基準範囲外の値である場合、当該表示物の両眼視差値を基準範囲内の値に修正するものである。以下、図3を参照して、両眼視差修正部24による修正方法の具体例について説明する。
実施の形態1において両眼視差修正部24は、第1特性線に対して遠方側の視差上限値PMAXと近接側の視差上限値P−MAXを備えており、第1特性線に基づいて算出した両眼視差値をこれらの上限値で制限することにより両眼視差値を修正する。図3において、Iは第1特性線を示しており、IIは遠方側の視差上限値および近接側の視差上限値の両方で制限された両眼視差値を示している。また、ΔPは基準範囲、PMAXは遠方側の視差上限値、P−MAXは近接側の視差上限値をそれぞれ示している。また、Dは、第1特性線Iにおける両眼視差値が零値となるときの奥行距離を示しており、DMAXは、第1特性線Iにおける両眼視差値が遠方側の視差上限値PMAXと同等の値になるときの奥行距離を示しており、D−MAXは、第1特性線Iにおける両眼視差値が近接側の視差上限値P−MAXと同等の値になるときの奥行距離を示している。
また、図3において、ΔD1は、第1特性線Iにおける両眼視差値が遠方側の視差上限値PMAXよりも大きい値となる奥行距離の範囲(以下「第1奥行距離範囲」という。)を示している。ΔD2は、第1特性線Iにおける両眼視差値が近接側の視差上限値P−MAXよりもマイナス側に大きい値となる奥行距離の範囲(以下「第2奥行距離範囲」という。)を示している。第1特性線Iが対数関数状であるため、第1奥行距離範囲ΔD1は遠距離領域に対応する奥行距離範囲となり、第2奥行距離範囲ΔD2は近距離領域に対応する奥行距離範囲となる。
図3に示す如く、修正された両眼視差値は、第1特性線Iに対して、第1奥行距離範囲ΔD1内の両眼視差値を遠方側の視差上限値PMAXと同等の値にて一定とし、かつ、第2奥行距離範囲ΔD2内の両眼視差値を近接側の視差上限値P−MAXと同等の値にて一定としたものである。
すなわち両眼視差修正部24は、奥行距離設定部22により設定された奥行距離がD−MAXからDMAXの範囲内にあるとき(両眼視差値は、基準範囲ΔPの範囲内にあるとき)は何もしない。他方、奥行距離設定部22により設定された奥行距離がDMAXを超えて第1奥行距離範囲ΔD1内の値である場合、両眼視差修正部24による修正は、当該表示物の両眼視差値をPMAXに向けて低下させるものとなる。図3に示す如く、このときの低下量ΔP1は、奥行距離が大きくなるにつれて次第に大きくなるものである。
また、奥行距離設定部22により設定された奥行距離がD−MAXを超えて第2奥行距離範囲ΔD2内の値である場合、両眼視差修正部24による修正は、当該表示物の両眼視差値をP−MAXに向けて低下させるものとなる。図3に示す如く、このときの低下量ΔP2は、奥行距離が小さくなるにつれて次第に大きくなるものである。
ここで図3に白丸及び黒丸を用いて両眼視差値を模式的に記述する。白丸及び黒丸は、右目用画像及び左目用画像を意味するものである。奥行距離Dのとき両眼視差値は0であるから、白丸と黒丸は重なっている。ここから奥行距離がDMAXに向けて遠方になってゆくと第1特性線に準じて白丸と黒丸は徐々に離れてゆく。そして奥行距離がDMAXを超え白丸と黒丸をさらに離間させると遠方側の視差上限値を超えてしまうため、もはや立体像は得られなくなる。逆に奥行距離DからD−MAXに向けて近接してくる場合は、白丸と黒丸の位置が反転して第1特性線に準じて白丸と黒丸は徐々に離れてゆく。ここで近接側も遠方側と同様に近接側の視差上限値を超えるともはや立体像は得られなくなる。
両眼視差修正部24は、両眼視差値を修正した場合、修正後の両眼視差値を画像生成部27に出力するものである。また、両眼視差修正部24は、両眼視差値を修正しなかった場合、両眼視差設定部23により設定された両眼視差値を無修正にて画像生成部27に出力するものである。
なお、両眼視差修正部24は、表示対象設定部21により複数個の表示物が設定された場合、個々の表示物ごとに修正の要否を判定し、修正が必要である場合は個々の表示物ごとに両眼視差値を修正するようになっている。この場合、両眼視差設定部23は、個々の表示物ごとに、修正後の両眼視差値又は無修正の両眼視差値を画像生成部27に出力するようになっている。
他表示態様設定部25は、奥行距離設定部22により設定された奥行距離に応じて、表示物の表示態様のうちの両眼視差と異なる表示態様(以下「他表示態様」という。)を設定するものである。他表示態様には、例えば、HUD2の表示領域(すなわちハーフミラー4内の少なくとも一部の領域)における表示物の大きさ及び位置などが含まれる。即ち、上述の両眼視差修正部24で両眼視差値を修正した場合に表示物をそのまま表示したら、所望の奥行距離に表示物が表示されないことになる。そこで他表示態様設定部25は、奥行距離の認識に影響を与える要素としての表示物の大きさあるいは位置を変えることにより表示物があたかも所望の奥行距離に表示されているかのごとく表現する。なおこの明細書でいう奥行距離の認識に影響を与える要素は主観的なものではなく、奥行き感に関する人間の一般的な認知特性に基づいていることを明言しておく。
具体的には、例えば、他表示態様設定部25は、奥行距離設定部22により設定された奥行距離が大きいときは奥行距離が小さいときに比して、当該表示物の大きさを小さくする。逆に奥行距離設定部22により設定された奥行距離が小さいときは奥行距離が大きいときに比して、当該表示物の大きさを大きくする。すなわち、表示物の大きさは、人間が当該表示物に対応する立体像の奥行距離を認識するための要素の一つである。表示物の大きさは、奥行き感に関する人間の一般的な認知特性に基づいて設定される。
ここで表示物の大きさの変更は、奥行距離に対して対数関数的に設定される。これは以下で説明する表示物の高さ方向の位置、表示物の色、表示物の陰影、表示物に含まれるテキストの内容等についても同様である。
なお上述でいう他表示態様設定部25による変更は奥行距離に対して対数関数的に設定されるというのは、必ずしも奥行距離に基づいて変更量を決めるということを意味するものではない。結果として奥行距離に対して対数関数的に設定されていればよい。例えば両眼視差値の低下量ΔP1は、奥行距離と一義的な関係を持つものであるからΔP1に基づいて他表示態様設定部25による変更量を決めることもできる。
また、例えば、他表示態様設定部25は、奥行距離設定部22により設定された奥行距離が大きいときは奥行距離が小さいときに比して、当該表示物の高さ方向の位置を上方に設定する。逆に奥行距離設定部22により設定された奥行距離が小さいときは奥行距離が大きいときに比して、当該表示物の高さ方向の位置を下方に設定する。すなわち、表示物の高さ方向の位置は、人間が当該表示物に対応する立体像の奥行距離を認識するための要素の一つである。表示物の高さ方向の位置は、奥行き感に関する人間の一般的な認知特性に基づいて設定される。
そのほか、他表示態様設定部25は、表示物の大きさ及び位置以外の他表示態様を設定するものであっても良い。例えば、他表示態様設定部25は、表示物の色、表示物の陰影、表示物に含まれるテキストの内容等を設定するものであっても良い。
例えば、他表示態様設定部25は、奥行距離設定部22により設定された奥行距離が大きいときは奥行距離が小さいときに比して、当該表示物の色を薄くなるように設定する。逆に奥行距離設定部22により設定された奥行距離が小さいときは奥行距離が大きいときに比して、当該表示物の色が濃くなるように設定する。すなわち、表示物の色は、人間が当該表示物に対応する立体像の奥行距離を認識するための要素の一つである。表示物の色は、奥行き感に関する人間の一般的な認知特性に基づいて設定される。
また、他表示態様設定部25は、奥行距離設定部22により設定された奥行距離が大きいときは奥行距離が小さいときに比して、当該表示物の影を小さく設定する。逆に奥行距離設定部22により設定された奥行距離が小さいときは奥行距離が大きいときに比して、当該表示物の影を大きく設定する。すなわち、表示物の影の大きさは、人間が当該表示物に対応する立体像の奥行距離を認識するための要素の一つである。表示物の影の大きさは、奥行き感に関する人間の一般的な認知特性に基づいて設定される。
なお、他表示態様設定部25は、表示対象設定部21により複数個の表示物が設定された場合、個々の表示物ごとに他表示態様を設定するようになっている。
奥行距離設定部22、両眼視差設定部23、両眼視差修正部24及び他表示態様設定部25により、表示態様設定部26が構成されている。
画像生成部27は、両眼視差修正部24から入力された両眼視差値(すなわち両眼視差設定部23により設定された両眼視差値又は両眼視差修正部24により修正された両眼視差値)に基づき、かつ、他表示態様設定部25により設定された他表示態様に基づく表示物を含む立体視用画像を生成するものである。以下、図4及び図5を参照して、立体視用画像の生成方法の具体例について説明する。
画像生成部27は、3Dグラフィックスエンジンを有しており、図4に示す如く仮想の3次元空間Sを設定する。画像生成部27は、3次元空間S内において、表示物に対応する仮想の3次元モデルMと、車両1のユーザの左目に対応する仮想のカメラCLと、車両1のユーザの右目に対応する仮想のカメラCRとを配置する。画像生成部27は、カメラCLが3次元モデルMを含む領域を撮影した画像を左目用画像とし、かつ、カメラCRが3次元モデルMを含む領域を撮影した画像を右目用画像とする。
画像生成部27は、図5Aに示す如く、左目用画像IL及び右目用画像IRの各々を立体視用画像とする。または、画像生成部27は、図5Bに示す如く、左目用画像ILと右目用画像IRとの合成画像ICを立体視用画像とする。これらの画像には、いずれも、3次元モデルに対応する表示物Oが含まれている。
なお、画像生成部27は、表示対象設定部21により複数個の表示物が設定された場合、当該複数個の表示物を含む立体視用画像を生成するようになっている。また、図4及び図5では2視点による立体視用画像の例を示しているが、画像生成部27は3視点以上の多視点による立体視用画像を生成するものであっても良い。
ここで、図6を参照して、表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係について説明する。
図6Aに示す如く、表示物Oについて、奥行距離設定部22により設定された奥行距離がD−MAXとDMAX間の値である場合、両眼視差設定部23により設定された両眼視差値は図3に示す基準範囲ΔP内の値となる。この場合、両眼視差修正部24による修正は不要である。画像生成部27は、仮想の3次元空間において表示物Oに対応する3次元モデルを含む領域をカメラCLが撮影した画像を左目用画像とし、当該3次元モデルを含む領域をカメラCRが撮影した画像を右目用画像とし、左目用画像と右目用画像との合成画像ICを立体視用画像とする。合成画像ICには表示物Oが含まれている。
他方、図6Bに示す如く、表示物Oについて、奥行距離設定部22により設定された奥行距離がDMAXよりも大きい値である場合、両眼視差設定部23により設定された両眼視差値は図3に示す遠方側の視差上限値PMAXよりも大きい値となる。仮に、図6Bに示す状態にて立体視用画像を生成した場合、合成画像ICにおける両眼視差が大きくなり、二重像が生ずる可能性がある。
そこで、両眼視差修正部24は、表示物Oの両眼視差値を基準範囲ΔP内の値、例えば図3に示す如く遠方側の視差上限値PMAXと同等の値に低下させる。図6Cに示す状態にて生成された合成画像ICは、図6Bに示す合成画像ICよりも両眼視差が小さくなる。これにより二重像の発生を防ぐことができる。しかしながら図6Cに示す如く、修正後の両眼視差値に対応する表示物Oの奥行距離はDMAXと同等の値となるため、立体像は奥行距離DMAXに表示されることとなり所望の奥行距離よりも近接側に表示されることとなる。そこで図6Cでは図6Bの表示物Oに比し、表示物の大きさを小さくしている。さらには図6Cに示す表示物Oの高さ方向の位置を上方に設定することが望ましい。
画像出力部28は、画像生成部27により生成された立体視用画像をHUD2に出力するものである。HUD2は、画像出力部28から入力された立体視用画像をディスプレイ3に表示させるようになっている。
画像生成部27及び画像出力部28により、表示制御部29が構成されている。表示対象設定部21、表示態様設定部26及び表示制御部29により、表示制御装置100の要部が構成されている。
図7Aに、表示制御装置100の要部のハードウェア構成の一例を示す。図7Aに示す如く、表示制御装置100は汎用のコンピュータにより構成されており、メモリ41及びプロセッサ42を有している。メモリ41には、当該コンピュータを図1に示す表示対象設定部21、表示態様設定部26及び表示制御部29として機能させるためのプログラムが記憶されている。メモリ41に記憶されたプログラムをプロセッサ42が読み出して実行することにより、図1に示す表示対象設定部21、表示態様設定部26及び表示制御部29の機能が実現される。
メモリ41は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read−Only Memory)などの半導体メモリ、HDD(Hard Disk Drive)などの磁気ディスク、光ディスク又は光磁気ディスクにより構成されている。プロセッサ42は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、マイクロコントローラ又はマイクロプロセッサなどにより構成されている。
図7Bに、表示制御装置100の要部のハードウェア構成の他の例を示す。図7Bに示す如く、表示制御装置100は専用の処理回路43により構成されたものであっても良い。処理回路43は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)若しくはシステムLSI(Large−Scale Integration)又はこれらを組み合わせたものである。
なお、図1に示す表示対象設定部21、表示態様設定部26及び表示制御部29の各部の機能それぞれを処理回路43で実現しても良いし、各部の機能をまとめて処理回路43で実現しても良い。また、図1に示す表示対象設定部21、表示態様設定部26及び表示制御部29のうちの一部の機能を図7Aに示すメモリ41及びプロセッサ42により実現し、残余の機能を図7Bに示す処理回路43により実現したものでも良い。
次に、図8のフローチャートを参照して、表示制御装置100の動作について説明する。表示制御装置100は、表示制御装置100内の各種設定等を初期化した後、ステップST1の処理を開始する。
まず、ステップST1にて、表示対象設定部21は、情報源装置19から各種情報を取得する。
次いで、ステップST2にて、表示対象設定部21は、ステップST1で取得した情報、又はステップST1で取得した情報から生成した情報のうちの表示対象情報を設定する。また、表示対象設定部21は、表示対象情報に対応する1個又は複数個の表示物を設定する。
次いで、ステップST3にて、奥行距離設定部22は、ステップST2で設定された表示物の奥行距離を設定する。なお、ステップST2で複数個の表示物が設定された場合、奥行距離設定部22は個々の表示物ごとに奥行距離を設定する。
次いで、ステップST4にて、両眼視差設定部23は、ステップST3で設定された奥行距離に応じて表示物の両眼視差値を設定する。すなわち、両眼視差設定部23は、図3に示す対数関数状の第1特性線Iに基づき表示物の両眼視差値を設定する。なお、ステップST2で複数個の表示物が設定された場合、両眼視差設定部23は個々の表示物ごとに両眼視差値を設定する。
次いで、ステップST5にて、両眼視差修正部24は基準範囲ΔPを設定する。次いで、ステップST6にて、両眼視差修正部24は、ステップST4で設定された両眼視差値が、ステップST5で設定した基準範囲ΔP内の値であるか否かを判定する。
両眼視差値が基準範囲ΔP外の値である場合(ステップST6“NO”)は二重像が発生する恐れがあるので、ステップST7にて、両眼視差修正部24は、当該表示物の両眼視差値を基準範囲ΔP内の値に修正する。具体的には、例えば、両眼視差修正部24は、図3に示す遠方側の視差上限値あるいは近接側の視差上限値に基づき当該表示物の両眼視差値を修正する。すなわち、ステップST4で設定された両眼視差値が遠方側の視差上限値PMAXよりも大きい値である場合、両眼視差修正部24は、当該表示物の両眼視差値を遠方側の視差上限値PMAXと同等の値に修正する。また、ステップST4で設定された両眼視差値が近接側の視差上限値P−MAXよりもマイナス側に大きい値である場合、両眼視差修正部24は、当該表示物の両眼視差値を近接側の視差上限値P−MAXと同等の値に修正する。ステップST8にて、両眼視差修正部24は、ステップST7における修正後の両眼視差値を画像生成部27に出力する。
他方、両眼視差値が基準範囲ΔP内の値である場合(ステップST6“YES”)は二重像が発生する恐れがないので、ステップST9にて、両眼視差修正部24は、ステップST4で設定された両眼視差値を無修正にて画像生成部27に出力する。
なお、ステップST2で複数個の表示物が設定された場合、両眼視差設定部23は、個々の表示物ごとに修正の要否を判定する(ステップST6)。両眼視差設定部23は、個々の表示物ごとに、修正後の両眼視差値又は無修正の両眼視差値を画像生成部27に出力する(ステップST8又はステップST9)。
次いで、ステップST10にて、他表示態様設定部25は、ステップST3で設定された奥行距離に応じて、表示物の他表示態様を設定する。即ち設定された奥行距離に応じて表示物の奥行距離の認識に影響を与える要素のうち少なくとも1つ、例えば表示物の大きさについて設定する。ここで奥行距離の認識に影響を与える要素とは、表示物の大きさ、高さ方向の位置、色あるいは陰影などが挙げられる。両眼視差値が基準範囲ΔP内の値である場合(ステップST6“YES”)は、表示物の他表示態様を変更しなくてもよい。なお、ステップST2で複数個の表示物が設定された場合、他表示態様設定部25は個々の表示物ごとに他表示態様を設定する。
次いで、ステップST11にて、画像生成部27は、ステップST8又はステップST9で両眼視差修正部24から入力された両眼視差値(すなわちステップST4で設定された両眼視差値又はステップST7で修正された両眼視差値)に基づき、かつ、ステップST10で設定された他表示態様に基づく表示物を含む立体視用画像を生成する。なお、ステップST2で複数個の表示物が設定された場合、画像生成部27は当該複数個の表示物を含む立体視用画像を生成する。
次いで、ステップST12にて、画像出力部28は、ステップST11で生成された立体視用画像をHUD2に出力する。ステップST12の処理により、HUD2は、画像出力部28から入力された立体視用画像をディスプレイ3に表示させる。
ステップST12の後、表示制御装置100は、立体視用画像の表示を終了するか否かを判定する。具体的には、例えば、図示しない操作入力装置に入力された操作により表示制御装置100の機能がオフされた場合、車両1のエンジンがオフされた場合、又は立体視用画像に含まれる全ての表示物に対応する表示対象情報の案内が不要となった場合、表示制御装置100は立体視用画像の表示を終了すると判定し、処理を終了する。そのほかの場合、表示制御装置100は立体視用画像の表示を継続すると判定し、再びステップST1の処理を開始する。
次に、図8のフローチャートおよび図9の説明図に基づき、表示制御装置100の動作の具体例について説明する。
ステップST2にて、表示対象設定部21は、案内対象の走行経路における車両1の右左折地点を示す情報を表示対象情報に設定する。また、表示対象設定部21は、当該地点における右左折の方向を示す矢印状の立体物を表示物に設定する。
ステップST3にて、奥行距離設定部22は、GPS受信機13から取得した位置情報、及びナビゲーション装置17から取得した右左折地点の位置を示す情報などを用いて、車両1の現在位置から右左折地点の位置までの距離が30メートルであると算出する。奥行距離設定部22は、当該表示物の奥行距離を30メートルの値に設定する。
ステップST4にて、両眼視差設定部23は、第1特性線Iにおいて奥行距離が30メートルであるときの両眼視差値を当該表示物の両眼視差値に設定する。
ステップST5にて、両眼視差修正部24は、基準範囲ΔPを設定する。このとき、例えば、遠方側の視差上限値PMAXは、第1特性線Iにおいて奥行距離が15メートル(DMAX)であるときの両眼視差値と同等の値に設定される。
ステップST6にて、両眼視差修正部24は、ステップST4で設定された両眼視差値が基準範囲ΔP内の値であるか否かを判定する。このとき、両眼視差修正部24は、ステップST4で設定された両眼視差値(第1特性線Iにおいて奥行距離が30メートルであるときの両眼視差値)が視差上限値PMAX(第1特性線Iにおいて奥行距離が15メートルであるときの両眼視差値)よりも大きい値、すなわち基準範囲ΔP外の値であると判定する(ステップST6“NO”)。
ステップST7にて、両眼視差修正部24は、遠方側の視差上限値に基づき、当該表示物の両眼視差値を遠方側の視差上限値PMAXと同等の値に修正する。ステップST8にて、両眼視差修正部24は、ステップST7における修正後の両眼視差値を画像生成部7に出力する。
ステップST10にて、他表示態様設定部25は、ステップST3で設定された奥行距離(30メートル)に応じて、当該表示物の大きさを小さく及び高さ方向の位置を上方に設定する。そのほか、他表示態様設定部25は、当該表示物の色及び陰影などを設定する。
ステップST11にて、画像生成部27は、ステップST7で修正された両眼視差値に基づき、かつ、ステップST10で設定された他表示態様に基づく表示物を含む立体視用画像を生成する。ステップST12にて、画像出力部28は、ステップST11で生成された立体視用画像をHUD2に出力する。
上述では表示物の奥行距離がDMAXよりも遠方側になったときについて説明した。これとは逆に表示物の奥行距離が1.5メートル(D−MAX)よりも近接側になったときは、両眼視差値を近接側の両眼視差値P−MAXに修正する。そして他表示態様設定部25は、ステップST3で設定された奥行距離(1メートル)に応じて、当該表示物の大きさを大きく及び高さ方向の位置を下方に設定する。そのほか、他表示態様設定部25は、当該表示物の色及び陰影などを設定する。
また表示物の奥行距離が10メートルで、両眼視差値が基準範囲ΔPの範囲内にあるときは、両眼視差修正部24は両眼視差設定部23で設定した両眼視差値をそのまま出力するとともに、他表示態様設定部25は表示物の他表示態様を変更せず、表示物に対して特段の表示態様を付加しない。
次に、表示制御装置100の効果について説明する。まず、表示制御装置100は、奥行距離に応じて設定された表示物の両眼視差値が基準範囲ΔP外の値である場合、当該表示物の両眼視差値を基準範囲ΔP内の値に修正するものである。これにより、特許文献1,2の技術と同様に、二重像の発生を抑制することができる。この結果、二重像が車両1の運転の妨げになるのを防ぐことができる。
ここで、一般に、人間による奥行き感の認知において、奥行距離の値が小さい領域、すなわち近距離領域〜中距離領域では両眼視差が重要である。他方、奥行距離の値が大きい領域、すなわち遠距離領域では両眼視差の重要度は低く、大きさ及び高さ方向の位置などが重要となる。つまり奥行距離がDMAXよりも遠方側に設定されたときは、両眼視差値を調整するよりも表示物の大きさあるいは高さ方向の位置を調整した方が効果的である。
これに対して、表示制御装置100による両眼視差値の修正は、遠距離領域に対応する第1奥行距離範囲ΔD1にて両眼視差値を低下させるものであり、このときの低下量ΔP1は奥行距離が大きくなるにつれて次第に大きくなるものである。これにより、上記のように二重像の発生を抑制しつつ、両眼視差値の修正がユーザによる奥行き感の認知に与える影響を低減することができる。
また、表示制御装置100は、表示物の両眼視差値を修正するものであり、表示物の大きさあるいは高さ方向の位置などの他表示態様については奥行距離に応じて設定する。これにより、上記のように二重像の発生を抑制するために両眼視差値に制限を設けても、両眼視差値の修正がユーザによる奥行き感の認知に与える影響を低減することができる。例えば、車両1の前方30メートルにある交差点等の案内対象物に関する表示物について、両眼視差値の修正により二重像の発生を防ぎつつ、立体像までの奥行距離が略30メートルであるようにユーザに視認させることができる。この結果、HUD2等の車載用の表示装置に適した立体視を実現することができる。
また、表示制御装置100は、複数個の表示物が設定された場合、個々の表示物ごとに奥行距離を設定し、個々の表示物ごとに両眼視差値を設定し、個々の表示物ごとに必要に応じて両眼視差値を修正し、これらの複数個の表示物を含む立体視用画像を生成する。これにより、例えば、車両1の前方10メートルにある第1案内対象物に関する表示物と、車両1の前方30メートルにある第2案内対象物に関する表示物とを同時に表示する場合、第1案内対象物に対応する立体像までの奥行距離が略10メートルであるとユーザに視認させつつ、第2案内対象物に対応する立体像までの奥行距離は略30メートルであるとユーザに視認させることができる。この結果、HUD2等の車載用の表示装置に適した立体視を実現することができる。
なお実施の形態1の変形例として、画像生成部27は、表示態様設定部26により両眼視差値及び他表示態様が設定された表示物に加えて、当該表示物との比較対象となる他の立体物又は平面物(以下「比較用表示物」という。)を含む立体視用画像を生成するものであっても良い。ここで比較用表示物とは表示物の奥行距離を表現するものである。比較用表示物の例としては、遠方であるほど密度を密にして奥行距離を表現するもの、影の大きさを変えることにより奥行距離を表現するもの、あるいはユーザから見て遠方側にある表示物を手前側にある表示物に重ねてその一部を見えなくする(即ち手前側にある表示物の影にする)ものなどが考えられる。比較用表示物は、例えば、他表示態様設定部25により生成されて、画像生成部27に出力される。
図10に、比較用表示物を含む立体視用画像の一例を示す。図10Aは、矢印状の表示物Oと、グリッド状のパース線による比較用表示物OC1とを含む立体視用画像を示している。図10Bは、矢印状の表示物Oと、案内対象の走行経路に沿う丸点線状の比較用表示物OC2とを含む立体視用画像を示している。図10に示す如く、表示物Oと比較用表示物OC1,OC2との位置関係を適切に設定することにより、両眼視差値の修正がユーザによる奥行き感の認知に与える影響を更に低減することができる。すなわち、ユーザの視認する立体像の奥行距離が、奥行距離設定部22により設定された奥行距離からずれるのを抑制することができる。
また既に上述したが、基準範囲ΔPは、近接側の視差上限値P−MAXを有さず、視差上限値PMAX以下の全ての値を含む範囲に設定されるものであっても良い。すなわち、両眼視差修正部24は、飛び出し方向の立体視において両眼視差値をP−MAXで制限する修正は実行せず、引っ込み方向の立体視において両眼視差値をPMAXで制限する修正のみを実行するものであっても良い。
また実施の形態1の別の変形例として、図1では、表示制御装置100が車両1内に設けられた例を示したが、表示制御装置100は車両1外に設けられたものであっても良い。この場合の機能ブロック図の一例を図11に示す。図11に示す如く、表示制御装置100は車両1外のサーバ6に設けられている。表示制御装置100は、サーバ6に設けられた通信装置31を用いて、車両1に設けられた無線通信装置16と通信自在である。
無線通信装置16は、カメラ11、カメラ12、GPS受信機13、レーダセンサ14、ECU15、ナビゲーション装置17及びHUD駆動制御装置18から取得した各種情報を通信装置31に送信する。通信装置31は、無線通信装置16から受信した情報と、インターネット等の外部ネットワークから取得した情報とを表示制御装置100に出力する。表示制御装置100は、通信装置31から入力された情報を用いて、上記各処理を実行するようになっている。なお、図11において、カメラ11、カメラ12、GPS受信機13、レーダセンサ14、ECU15、ナビゲーション装置17及びHUD駆動制御装置18の各々と無線通信装置16との間の接続線は図示を省略している。
画像出力部28は、画像生成部27により生成された立体視用画像を通信装置31に出力する。通信装置31は、この立体視用画像を無線通信装置16に送信する。無線通信装置16は、受信した立体視用画像をHUD2に出力する。
また、表示制御装置100のうち、一部の機能ブロックが車両1に設けられ、かつ、残余の機能ブロックがサーバ6に設けられたものであっても良い。具体的には、例えば、表示対象設定部21及び表示態様設定部26がサーバ6に設けられ、かつ、表示制御部29が車両1に設けられたものであっても良い。この場合、無線通信装置16と通信装置31とが各種情報を適宜送受信することにより、表示制御装置100による上記各処理が実現される。
そのほか、表示制御装置100の各機能ブロックは、車両1に搭載され、車両1に持ち込まれ、又は車両1と通信自在なコンピュータ又は処理回路であれば、如何なるコンピュータ又は処理回路により実現されるものであっても良い。例えば、表示制御装置100の一部又は全部の機能ブロックが、PND又はスマートフォンなどにより構成された無線通信装置16内に設けられたものであっても良い。
また、車両1は、HUD2に代えて、車両1のユーザの頭部に装着されたヘッドマウントディスプレイ(Head Mounted Display,HMD)を有するものであっても良い。この場合、HMDは、ユーザから見た風景に対応する画像を表示するとともに、当該風景の画像に重畳された状態にて立体視用画像を表示する。
また、表示制御装置100は、車両1と異なる移動体にも応用することができる。例えば、表示制御装置100は、歩行者が有する携帯情報端末に設けられており、当該歩行者の頭部に装着されたHMDに立体視用画像を表示させるものであっても良い。
そのほか、表示制御装置100は、自動二輪車、自転車、鉄道車両、航空機及び船舶などを含む如何なる移動体にも応用することができる。また、表示制御装置100による制御対象となる表示装置は、移動体から見える風景又は当該風景に対応する画像に重畳された状態にて立体視用画像を表示するものであればよく、HUD又はHMDに限定されるものではない。
また、表示態様設定部26は、表示物の両眼視差値を設定するとき、まず、第1特性線Iに基づき両眼視差値を設定し、次いで、遠方側の視差上限値あるいは近接側の視差上限値の少なくともいずれか一方に基づき両眼視差値を修正するという2段階の処理により両眼視差値を設定するのに代えて、1段階の処理により両眼視差値を設定するものであっても良い。これは両眼視差設定部の機能と両眼視差修正部の機能を一体化したことに等しい。この場合の機能ブロック図を図12に示し、フローチャートを図13に示す。
奥行距離設定部22による奥行距離の設定(ステップST3)に次いで、ステップST13にて、両眼視差設定部30は、図3に示す基準範囲ΔPと同様の基準範囲を設定する。次いで、ステップST14にて、両眼視差設定部30は、図3に示す第1特性線を遠方側の視差上限値あるいは近接側の視差上限値の少なくともいずれか一方で制限した両眼視差値を設定する。これは奥行距離に対して両眼視差値を規定したマップなどにより設定することができる。次いで、ステップST15にて、両眼視差設定部30は、マップに基づき表示物の両眼視差値を設定する。このようにマップを用いることにより奥行距離が決まれば両眼視差値を1段階の処理で設定することができる。このマップは、両眼視差設定部と両眼視差修正部とを構成する。
そしてステップST10にて、他表示態様設定部25は、設定した両眼視差値に基づいて表示物の他表示態様を設定する。
その後、ステップST11にて、画像生成部27は、ステップST15で設定された両眼視差値に基づき、かつ、ステップST10で設定された他表示態様に基づく表示物を含む立体視用画像を生成する。
以上のように、実施の形態1の表示制御装置100は、移動体用の表示装置に用いられる表示制御装置100であって、表示対象情報に対応する表示物の奥行距離を設定する奥行距離設定部22と、奥行距離設定部22により設定された奥行距離に応じて表示物の両眼視差値を設定する両眼視差設定部23と、両眼視差設定部23により設定された両眼視差値を修正する両眼視差修正部24と、両眼視差値を修正した量に基づいて表示物の表示態様を変更する他表示態様設定部25と、両眼視差設定部23により設定された両眼視差値又は両眼視差修正部24により修正された両眼視差値のいずれかに基づいて表示物を含む立体視用画像を表示装置2に出力する表示制御部29とを備え、両眼視差修正部24による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、他表示態様設定部25は両眼視差値を修正した量に応じて少なくとも表示物の大きさを変更するものである。したがって表示制御装置100は、二重像の発生を抑制しつつ、移動体用の表示装置に適した立体視用画像を生成できる。
また、立体視用画像は複数個の表示物を含むものであり、奥行距離設定部22は、個々の表示物ごとに奥行距離を設定し、両眼視差設定部23は、個々の表示物ごとに両眼視差値を設定し、両眼視差修正部24は、個々の表示物ごとに両眼視差値を修正し、他表示態様設定部25は、個々の表示物の両眼視差値を修正した量に応じて少なくとも表示物の大きさをそれぞれ変更する。よって表示物が複数個あっても独立に立体視用画像を生成できる。
また、両眼視差修正部24は、奥行距離が遠方になるほど両眼視差値が低下する量ΔP1が大きくなるよう修正するとともに、他表示態様設定部25は、修正した量ΔP1が大きいときは当該修正量ΔP1が小さいときに比して表示物の大きさを小さくする。これにより第1奥行距離範囲ΔD1において二重像の発生を抑制するとともに所望の奥行距離に表示物の立体像を表示する立体視用画像を提供することができる。
また、他表示態様設定部25は、両眼視差値を修正した量ΔP1が大きいときは当該修正量ΔP1が小さいときに比して表示物を前方風景に対して上側にする、あるいは表示物の色を薄くする。これにより第1奥行距離範囲ΔD1において所望の奥行距離に表示物の立体像を表示する立体視用画像を提供することができる。
また、両眼視差修正部24は、奥行距離が接近側になるほど両眼視差値が低下する量が大きくなるよう修正するとともに、他表示態様設定部25は、修正した量ΔP2が大きいときは当該修正量ΔP2が小さいときに比して表示物の大きさを大きくする。これにより第2奥行距離範囲ΔD2において二重像の発生を抑制するとともに所望の奥行距離に表示物の立体像を表示する立体視用画像を提供することができる。
また、他表示態様設定部25は、両眼視差値を修正した量ΔP2が大きいときは当該修正量ΔP2が小さいときに比して表示物を前方風景に対して下側にする、あるいは表示物の色を濃くする。これにより第2奥行距離範囲ΔD2において二重像の発生を抑制するとともに所望の奥行距離に表示物の立体像を表示する立体視用画像を提供することができる。
また、他表示態様設定部25は、表示物と併せて表示され表示物の奥行距離を表現する比較用表示物を生成する。これにより表示物の奥行距離を比較して認識し得る立体視用画像を提供することができる。
また、比較用表示物は、3D映像からなり、密度、影あるいは重なりのうち少なくとも1つを表現するものである。つまり、比較用表示物は両眼視差値に基づいて3D化されたものである。即ち例えば、近接側では疎となり遠方側では密となる比較用表示物、近接側では大きくなり遠方側では小さくなる影を含む比較用表示物、あるいは複数の表示物がある場合に遠方側の表示物を近接側の表示物で隠すもしくは遠方側の表示物の重なった部分を一部欠損させること等からなる比較用表示物を合わせて表示する。これにより表示物の奥行距離を比較して認識し得る立体視用画像を提供することができる。
また、両眼視差設定部23は両眼視差値が0になる位置(D)から離れるほど両眼視差値が大きくなる第1特性線Iに基づいて表示物の両眼視差値を算出するとともに、両眼視差修正部24は少なくとも第1特性線Iの遠方側に上限PMAXを設けて両眼視差値を修正する。これにより第1奥行距離ΔD1で二重像が発生することを抑止することができる。
また、両眼視差修正部24は第1特性線Iの近接側に上限P−MAXを設けて両眼視差値を修正する。これにより第2奥行距離ΔD2で二重像が発生することを抑止することができる。
また、表示制御部29は、移動体から見た風景に重畳されるよう立体視用画像を表示装置に出力する。これにより移動体用の表示装置に適した立体視用画像を提供することができる。
また移動体は車両1であり、表示装置は、車両1に搭載されるヘッドアップディスプレイ2、または車両のユーザの頭部に装着されるヘッドマウントディスプレイにより構成されている。表示制御装置100は、車載用の表示装置に適した立体視用画像を提供することができる。
または移動体は歩行者であり、表示装置は、歩行者の頭部に装着されるヘッドマウントディスプレイにより構成されている。表示制御装置100は、歩行者用の表示装置に適した立体視用画像を提供することができる。
また、実施の形態1の表示制御方法は、移動体用の表示装置に用いられる表示制御方法であって、奥行距離設定部22が、表示対象情報に対応する表示物の奥行距離を設定するステップと、両眼視差設定部23が、奥行距離設定部22により設定された奥行距離に応じて表示物の両眼視差値を設定するステップと、両眼視差修正部24が、両眼視差設定部23により設定された両眼視差値を修正するステップと、他表示態様設定部25が、両眼視差値を修正した量に基づいて表示物の表示態様を変更するステップと、表示制御部29が、両眼視差設定部23により設定された両眼視差値又は両眼視差修正部24により修正された両眼視差値のいずれかに基づいて表示物を含む立体視用画像を表示装置に出力するステップとを備え、両眼視差修正部24による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、他表示態様設定部25は両眼視差値を修正した量に応じて少なくとも表示物の大きさを変更する。したがって二重像の発生を抑制しつつ、移動体用の表示装置に適した立体視用画像を生成できる。
実施の形態2.
実施の形態1では、第1特性線に基づいて得られた両眼視差値を遠方側の視差上限値あるいは近接側の視差上限値のうち少なくともいずれか一方で制限する例について説明した。
これに対し実施の形態2では、図16に示す如く、奥行距離が遠方になるほど両眼視差値が遠方側の視差上限値PMAXに近づいてゆく第2特性線に基づいて両眼視差値を得るものである。また実施の形態2は、HUDの表示領域を設定することについても説明している。なおHUDの表示領域を設定することは、実施の形態1でも可能である。逆に実施の形態2ではHUDの表示領域を設定するものについて説明しているが、実施の形態2においてHUDの表示領域を設定しなくてもよい。
図14は、本発明の実施の形態2に係る表示制御装置の要部を示す機能ブロック図である。図15は、本発明の実施の形態2に係るHUDの表示領域の一例を示す説明図である。図16は、本発明の実施の形態2に係る特性図である。図17Aは、本発明の実施の形態2に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の一例を示す説明図である。図17Bは、本発明の実施の形態2に係る表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係の他の例を示す説明図である。図14〜図17を参照して、実施の形態2の表示制御装置100aについて説明する。
なお、図14において、図1に示す実施の形態1の機能ブロック図と同様のブロックには同一符号を付して説明を省略する。また、表示制御装置100aの要部のハードウェア構成は、実施の形態1にて図7を参照して説明したものと同様であるため、図示及び説明を省略する。また、画像生成部27aによる立体視用画像の生成方法は、実施の形態1にて図4及び図5を参照して説明したものと同様であるため、図示及び説明を省略する。
両眼視差修正部24aは、二重像が生じない程度の両眼視差値の基準範囲ΔPを設定するものである。画像生成部27aは、図示しない表示領域設定部を有しており、HUD2により立体視用画像を表示する範囲である矩形Dを設定するものである。図15に、車両1の運転席からフロントガラス4A越しに前方を見た状態の一例を示す。ここでは図2Bのウィンドシールドタイプを例示して説明する。図中、一点鎖線による矩形Dは、フロントガラス4Aのうち、HUD2により立体視用画像を表示する領域(以下「表示領域」という。)の一例を示している。実施の形態1にて説明したように、表示物の奥行距離が大きいほど、HUD2の表示領域における当該表示物の高さ方向の位置は上方に設定される。また表示物の奥行距離が小さいほど、HUD2の表示領域における当該表示物の高さ方向の位置は下方に設定される。したがって、図15の例では、矩形Dの上辺部に対応する奥行距離が最大奥行距離相当となり、矩形Dの下辺部に対応する奥行距離が最小奥行距離相当となる。図15において最大奥行距離は50メートルに設定している。ここで最大奥行距離50メートルの位置に表示物を表示しようとすると、表示物の大きさを加味して高さ方向の上側に余裕が必要となる。そこで図15では最大奥行距離50メートルの位置に表示物を表示することを勘案して、矩形Dの上辺部を奥行距離70メートルに設定している。これが最大奥行距離相当の意味である。なお矩形Dの下辺部も同様の考え方に基づいて、最少奥行距離1.5メートルに対する余裕を勘案して最少奥行距離相当の1メートルを設定している。
ここで立体視用画像を表示する領域(矩形D)を設定する理由としては、光学系であるミラー5や光路の占有スペースの小型化が挙げられる。またHUD2が図2Cのコンバイナータイプである場合は、コンバイナー4Bの表示範囲を超えて立体視用画像を表示できないという制限もある。
なお、HUD2による表示領域は、車両1の寸法、HUD2の寸法及び性能、ユーザの眼部の位置等に応じて異ならせてもよい。画像生成部27aは、情報源装置19からこれらの内容を示す情報を取得し、当該情報を用いて表示領域を設定するものであっても良い。
両眼視差修正部24aは、最大奥行距離に応じて、実施の形態1にて説明した第1特性線Iと異なる特性線II(以下「第2特性線」という。)を設定するものである。両眼視差修正部24aは、第2特性線を用いて、両眼視差設定部23により設定された両眼視差値を修正するものである。以下、図16を参照して、第2特性線IIの設定方法及び両眼視差値の修正方法の具体例について説明する。
図16において、Iは第1特性線を示しており、IIは第2特性線を示している。また、ΔPは基準範囲を示しており、PMAXは遠方側の視差上限値を示し、P−MAXは近接側の視差上限値を示している。また、Dは、第1特性線Iにおける両眼視差値が零値となるときの奥行距離を示しており、DMAX’は最大奥行距離であって、実質的に遠方側の視差上限値となる奥行距離を示している。また、D’は、第2特性線IIにおける両眼視差値が零値となるときの奥行距離を示している。図16の例では、D’がDと同等の値に設定されている。
図16に示す如く第2特性線IIは、最大奥行距離DMAX’における両眼視差値が視差上限値PMAXと実質的に同等の値となる対数関数状の特性線である。すなわち、第2特性線IIは、奥行距離が大きくなるにつれて両眼視差値が次第に大きくなる特性を示している。また、Dよりも大きい奥行距離範囲において、第2特性線IIの示す両眼視差値が第1特性線Iの示す両眼視差値よりも小さい値になっている。以下、第2特性線IIの示す両眼視差値が第1特性線Iの示す両眼視差値よりも小さい値となる奥行距離範囲を「第3奥行距離範囲」という。第3奥行距離範囲ΔD3において、第2特性線IIが示す両眼視差値と第1特性線Iが示す両眼視差値との差分値は、奥行距離が大きくなるにつれて次第に大きくなるものである。
すなわち、第2特性線IIに基づく両眼視差値の修正は、第3奥行距離範囲ΔD3において両眼視差値を低下させるものである。このときの低下量ΔP3は、奥行距離が大きくなるにつれて次第に大きくなるものである。
また、画像生成部27aは、表示領域(矩形D)の範囲外になった表示物を非表示に設定するものである。画像生成部27aは、表示物が非表示に設定された場合、当該表示物を立体視用画像から除外するようになっている。
なお、両眼視差修正部24aは、表示対象設定部21により複数個の表示物が設定された場合、個々の表示物ごとに両眼視差値を修正するようになっている。また、この場合、画像生成部27aは、個々の表示物ごとに、当該表示物を非表示とするか否かを判定するようになっている。
ここで、図17を参照して、表示物の奥行距離と、当該表示物の両眼視差値と、当該表示物を含む立体視用画像との対応関係について説明する。図17Aは、表示物Oについて、奥行距離設定部22により設定された奥行距離がDとDMAX’間の値である状態を示している。また、図17Aは、仮に、この状態にて画像生成部27が立体視用画像を生成した場合の合成画像ICを示している。これに対して、図17Bは、両眼視差修正部24aによる修正後の両眼視差値に対応する表示物Oの奥行距離を示している。また、図17Bは、この状態にて画像生成部27が生成した合成画像ICを示している。
すなわち、図17に示す如く、両眼視差修正部24aによる修正は両眼視差値を低下させるものである。このとき、図16に示す第2特性線IIに基づき、修正前の両眼視差値が大きいほど修正による低下量ΔP3が大きくなる。
奥行距離設定部22、両眼視差設定部23、両眼視差修正部24a及び他表示態様設定部25aにより、表示態様設定部26が構成されている。表示対象設定部21、表示態様設定部26及び表示制御部29により、表示制御装置100aの要部が構成されている。
次に、図18のフローチャートを参照して、表示制御装置100aの動作について説明する。表示制御装置100aは、表示制御装置100a内の各種設定等を初期化した後、ステップST21の処理を開始する。
まず、表示対象設定部21がステップST21,ST22の処理を実行し、次いで、奥行距離設定部22がステップST23の処理を実行し、次いで、両眼視差設定部23がステップST24の処理を実行する。ステップST21〜ST24の処理内容は、図8に示すステップST1〜ST4と同様であるため、説明を省略する。
次いで、ステップST25にて、両眼視差修正部24aは、遠方側の視差上限値PMAXに相当する最大奥行距離DMAX’を設定する。このとき、画像生成部27a内の表示領域設定部は、表示領域(矩形D)を設定する。表示領域(矩形D)は、情報源装置19から取得した情報又は表示対象設定部21により生成された情報を用いて、車両1の寸法、HUD2の寸法及び性能、ユーザの眼部の位置、表示対象情報の内容などに応じて設定するものであっても良い。ここで表示領域(矩形D)の上辺部は最大奥行距離DMAX’よりも奥行距離が大きいものである。また表示領域(矩形D)の下辺部は最小奥行距離D−MAX’よりも奥行距離が小さくてもよいし、あるいは最小奥行距離D−MAX’と奥行距離が同じでもよい。
次いで、ステップST26にて、両眼視差修正部24aは、基準範囲ΔPを設定し、最大奥行距離DMAX’及び基準範囲ΔPに応じた第2特性線IIを設定する。両眼視差修正部24aは、第2特性線IIに基づき、ステップST24で設定された両眼視差値を修正する。
次いで、ステップST27にて、画像生成部27aは、ステップST25における表示領域(矩形D)内に表示物があるか否かを判定する。表示物が表示領域(矩形D)の範囲内にある場合(ステップST27“YES”)、画像生成部27aは表示物を表示に設定する。また、ステップST28にて、画像生成部27aは、両眼視差修正部24aがステップST26で修正した後の両眼視差値を採用する。
他方、表示物が表示領域(矩形D)の範囲外にある場合、ステップST29にて、画像生成部27aは当該表示物を非表示に設定する。
次いで、他表示態様設定部25aがステップST30の処理を実行する。第2特性線IIで得た両眼視差値は、奥行距離が大きくなるほどその低下量ΔP3が大きくなるように設定されている。従って他表示態様設定部25aは、低下量ΔP3が大きくなるほど表示物の大きさを小さくする。また低下量ΔP3が大きくなるほど表示物の位置を高さ方向の上方に移動する。これらは少なくとも一方が実施されるものとする。即ち実施の形態2は、遠方側の視差上限値に至らない奥行距離であっても低下量Δ3に応じて表示物の大きさあるいは高さ方向の位置を変える点で実施の形態1と相違する。
次いで、画像生成部27aはステップST31の処理を実行する。ここで画像生成部27aは、表示物が表示領域内にある場合は、両眼視差修正部24aから受領した両眼視差値もしくは修正後の両眼視差値と、他表示態様設定部25aから受領した表示物の表示態様に基づいて立体視用画像を生成する。画像出力部28は、ステップST32において表示領域内にある表示物の立体視用画像をHUD2に出力する。ただし、ステップST29で表示物が非表示に設定された場合、ステップST31にて、画像生成部27aは当該表示物を立体視用画像から除外する。
次に、上記フローチャートに基づき、表示制御装置100aの動作の具体例について説明する。
ステップST22にて、表示対象設定部21は、例えば案内対象の走行経路における車両1の右左折地点を示す情報を表示対象情報に設定する。また、表示対象設定部21は、当該地点における右左折の方向を示す矢印状の立体物を表示物に設定する。
ステップST23にて、奥行距離設定部22は、GPS受信機13から取得した位置情報、及びナビゲーション装置17から取得した右左折地点の位置を示す情報などを用いて、車両1の現在位置から右左折地点の位置までの距離が10メートルであると算出する。奥行距離設定部22は、当該表示物の奥行距離を10メートルの値に設定する。
ステップST24にて、両眼視差設定部23は、第1特性線Iにおいて奥行距離が10メートルであるときの両眼視差値を当該表示物の両眼視差値に設定する。
ステップST25にて、両眼視差修正部24aは、遠方側の視差上限値PMAXに相当する最大奥行距離DMAX’を設定する。このとき、画像生成部27a内の表示領域設定部は、表示領域(矩形D)を設定する。表示領域(矩形D)は、情報源装置19から取得した情報又は表示対象設定部21により生成された情報を用いて、車両1の寸法、HUD2の寸法及び性能、ユーザの眼部の位置、表示対象情報の内容などに応じて設定するものであっても良い。ここでは両眼視差修正部24aは、最大奥行距離DMAX’を例えば50メートルに設定する。また画像生成部27a内の表示領域設定部は、例えば表示領域(矩形D)の上辺部を70メートル、下辺部を1メートルに設定する。
ステップST26にて、両眼視差修正部24aは第2特性線IIを設定する。例えば、第2特性線IIは、奥行距離50メートル(DMAX’)のときの両眼視差値が遠方側の視差上限値PMAXとなり、奥行距離3メートル(D’)のときの両眼視差値が零となり、奥行距離1.5メートル(D−MAX’)のときの両眼視差値が近接側の視差上限値P−MAXとなる対数関数状の曲線である。図16に例示する如く、第2特性線IIは、第1特性線Iに比し第3奥行距離範囲ΔD3において両眼視差値が徐々にΔP3だけ低下させられている。
ステップST27にて、画像生成部27aは、ステップST25における表示領域(矩形D)内に表示物があるか否かを判定する。本例においては、ステップST23で設定された表示物の奥行距離が10メートルであるのに対し、表示領域(矩形D)に表示可能な最大奥行距離が50メートル、かつ最少奥行距離が1.5メートルである。即ち表示物は、表示領域(矩形D)の範囲内に表示可能である(ステップST27“YES”)。ステップST28にて、画像生成部27aは、ステップST26における修正後の両眼視差値を採用する。
ステップST30にて、他表示態様設定部25aは、ステップST23で設定された奥行距離(10メートル)に応じて、当該表示物の大きさ及び高さ方向の位置を設定する。図16に示すように、第3奥行距離範囲ΔD3の両眼視差値は、第1特性線Iに対して第2特性線IIの方が小さく設定される。即ち第2特性線IIによれば、所望の奥行距離である10メートルよりも近接側に立体像が表示されることになる。そこで他表示態様設定部25aは、表示物の大きさを小さくするとともに高さ方向の位置を上方に移動させて10メートルの奥行距離に表示物があるように立体視用画像を修正する。そのほか、他表示態様設定部25aは、当該表示物の色及び陰影などを設定する。
ステップST31にて、画像生成部27aは、ステップST26における修正後の両眼視差値に基づき、かつ、ステップST30で設定された他表示態様に基づく表示物を含む立体視用画像を生成する。ステップST32にて、画像出力部28は、ステップST31で生成された立体視用画像をHUD2に出力する。
次に、表示制御装置100aの効果について説明する。まず、表示制御装置100aは、最大奥行距離DMAX’に応じて第2特性線IIを設定し、この第2特性線IIに基づき両眼視差値を修正する。即ち第3奥行距離範囲ΔD3のほぼ全域で徐々に両眼視差値を修正しているので、遠方側の視差上限値PMAXを超えたら修正する実施の形態1に比し、ユーザに違和感の少ない立体視用画像を提供することができる。
特に、表示制御装置100aは、実施の形態1の表示制御装置100に対して、複数個の表示物が存在する場合にユーザの覚える違和感を低減することができる。
例えば、表示対象設定部21が第1表示物及び第2表示物を設定し、奥行距離設定部22が第1表示物の奥行距離を14メートルに設定するとともに第2表示物の奥行距離を30メートルに設定し、第1特性線Iにおける奥行距離が15メートルのときの両眼視差値が視差上限値PMAXに設定されたものとする。ここで実施の形態1によれば、第1表示物は何らの修正もされないのに対し、第2表示物は両眼視差値に加えて大きさおよび高さ方向の位置などに修正がなされる。よって修正がされない第1表示物と修正される第2表示物とが同時に表示されている場合は、ユーザが違和感を覚える可能性がある。
これに対して、図16に示す第2特性線IIに基づく修正では、第3奥行距離範囲ΔD3の設定により第1表示物及び第2表示物の両表示物の両眼視差値を修正したり、大きさ、あるいは高さ方向の位置をそれぞれ調整することになる。よって一方の表示物が無修正で、他の表示物が修正された表示物という状況が低減されるためユーザに違和感を抱かせにくい立体視用画像を提供することができる。
なお、第3奥行距離範囲ΔD3は、図16に示す如くDよりも大きい奥行距離範囲に限定されるものではない。即ち、第1特性線Iと第2特性線IIが実質的に同じ曲線である領域については第2特性線を用いて修正をする意味があまりない。そこで第2特性線IIを設定するにあたり、第1特性線Iと第2特性線IIが実質的に差異がある奥行距離範囲を第3奥行距離範囲ΔD3としたものであっても良い。
また、表示態様設定部26は、図1に示す両眼視差修正部24と、図14に示す両眼視差修正部24aとの両部を有するものであっても良い。同様に表示態様設定部26は、図1に示す他表示態様設定部25と、図14に示す他表示態様設定部25aとの両部を有するものであっても良い。表示対象設定部21により複数個の表示物が設定された場合、各表示物に対応する表示対象情報の内容、又は各表示物間の対応関係などに応じて、個々の表示物ごとに両眼視差修正部24又は両眼視差修正部24aのいずれかによる両眼視差値の修正が実行されるものであっても良い。他表示態様設定部25,25aについても同様である。
そのほか、表示制御装置100aは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。例えば、画像生成部27aは比較用表示物を含む立体視用画像を生成するものであっても良い。また、表示制御装置100aの各機能ブロックは、車両1に搭載され、車両1に持ち込まれ、又は車両1と通信自在なコンピュータ又は処理回路であれば、如何なるコンピュータ又は処理回路により実現されるものであっても良い。また、表示制御装置100aは車両1と異なる移動体にも応用することができ、HUD2と異なる表示装置にも用いることができる。
また、表示態様設定部26は、表示物の両眼視差値を設定するとき、まず、第1特性線Iに基づき両眼視差値を設定し(ステップST24)、次いで、第2特性線IIに基づき両眼視差値を修正する(ステップST26)という2段階の処理により両眼視差値を設定するのに代えて、第2特性線IIに基づき両眼視差値を設定する(ステップST34)という1段階の処理により両眼視差値を設定するものであっても良い。即ち両眼視差設定部の機能と両眼視差修正部の機能を1つにまとめて構成してもよい。この場合の機能ブロック図を図19に示し、フローチャートを図20に示す。
奥行距離設定部22による奥行距離の設定(ステップST23)に次いで、ステップST33にて、両眼視差設定部30aは、遠方側の視差上限値PMAXに相当する最大奥行距離DMAX’を設定する。また画像生成部27a内の表示領域設定部は、表示領域(矩形D)を設定する。次いで、ステップST34にて、両眼視差設定部30aは、最大奥行距離DMAX’に応じて、図16に示す第2特性線IIを設定する。両眼視差設定部30aは、第2特性線IIに基づき表示物の両眼視差値を設定する。即ち両眼視差設定部30aは、両眼視差設定部と両眼視差修正部とを構成する。
次いで、ステップST35にて、画像生成部27aは、ステップST33で設定した表示領域(矩形D)内に表示物が表示可能であるか否かを判定する。表示物が表示領域(矩形D)内に表示可能である場合(ステップST35“YES”)、ステップST36にて、画像生成部27aは、ステップST34で設定した両眼視差値を採用する。
他方、表示物が設定した表示領域(矩形D)外である場合(ステップST35“NO”)、ステップST37にて、画像生成部27aは当該表示物を非表示に設定する。
次いで、他表示態様設定部25aがステップST30の処理を実行し、画像生成部27aがステップST31の処理を実行し、画像出力部28がステップST32の処理を実行する。ただし、ステップST37で表示物が非表示に設定された場合、ステップST31にて、画像生成部27aは当該表示物を立体視用画像から除外する。
以上のように、実施の形態2の表示制御装置100aは、移動体用の表示装置に用いられる表示制御装置100aであって、両眼視差設定部23は両眼視差値が0になる位置(D)から離れるほど両眼視差値が大きくなる第1特性線Iに基づいて表示物の両眼視差値を算出するとともに、両眼視差修正部24aは奥行距離が遠方になるにつれて遠方側の視差上限値PMAXに向かって大きくなる第2特性線IIに基づいて両眼視差値を修正する。これによりユーザに違和感を与えにくい立体視用画像を提供することができる。また両眼視差設定部と両眼視差修正部は、両眼視差設定部30aで構成することができる。
また、表示制御部29は、両眼視差値の遠方側に設けた上限PMAXに対応する奥行距離DMAX’よりも遠方の領域を含めて表示する表示領域(矩形D)を設定する表示領域設定部を備え、表示物の表示位置が表示領域(矩形D)から逸脱したときは非表示とする。これにより適切な表示領域に表示物を表示することができる。
実施の形態3.
上記実施の形態1および実施の形態2では、ユーザの見下ろし角度はあらかじめ定めた基準とする見下ろし角度から変化しない前提で説明した。実施の形態3はユーザの見下ろし角度が変化した場合を考慮するものであって、ユーザの見下ろし角度に応じて光学系の調整や表示態様の調整により、表示物が基準とする見下ろし角度から見たときと同じ位置に見えるようにするものである。なお実施の形態3は、実施の形態1あるいは実施の形態2に適用できるものである。
図21は、見下ろし角度と表示装置の関係を示す説明図である。ここで見下ろし角度とは、水平方向0度に対してユーザが表示装置を見下ろす角度θを意味する。見下ろし角度が変化する主要な原因は、ユーザの目の高さと投影用のハーフミラー4に投影される立体視用画像の位置関係である。目の高さは、ユーザの姿勢あるいはユーザごとの座高によって変わる。立体視用画像の位置は、角度調整装置5Aの角度によって変わる。図21は、ユーザの目の高さと立体視用画像の位置関係によって虚像C1の見下ろし角度が決定されることを示している。
以下図面を用いて詳述する。
図22は、実施の形態1に実施の形態3を適用したときの表示制御装置100bの要部を示す機能ブロック図である。見下ろし角度演算部61は、ユーザの目の高さの情報とハーフミラー4に投影される立体視用画像の位置の情報を取得してユーザの見下ろし角度を演算する。ユーザの目の高さの情報は、カメラ11から得たユーザの画像に基づいて求めたものなどが考えられる。ユーザの目の高さや立体視用画像の位置は、情報源装置19で演算したものを入手してもよいし、情報源装置19から得た情報に基づいて見下ろし角度演算部61で演算してもよい。
見下ろし角度演算部61で演算した見下ろし角度は、見下ろし角度調整指示部62に与えられる。見下ろし角度調整指示部62は、例えば基準とする見下ろし角度を有しており、この基準とする見下ろし角度と見下ろし角度演算部61で演算した見下ろし角度との差異に基づいて光学系の調整や、他表示態様設定部25へ表示態様の調整を指示するものである。ここで光学系とは、例えばミラー5の角度をいう。また、表示態様の調整とは、他表示態様設定部25によって行われるディスプレイ3に表示される立体視用画像中の表示物の形状、位置や大きさなどの表示態様の調整をいう。ここで表示態様の調整とは、見下ろし角度が変化しても基準とする見下ろし角度で見た時と変わらない表示態様にすることを意味する。
画像生成部27、画像出力部28、見下ろし角度演算部61及び見下ろし角度調整指示部62により、表示制御部29が構成されている。表示対象設定部21、表示態様設定部26及び表示制御部29により、表示制御装置100bの要部が構成されている。
まず光学系としてミラー5の角度を調整する場合について説明する。
見下ろし角度調整指示部62は、情報源装置19からミラー5の角度情報を取得し、ユーザの見下ろし角度が基準とする見下ろし角度に一致するようにミラー5の角度を調整する。見下ろし角度調整指示部62は、ミラー5の角度を調整するために、HUD駆動制御装置18にミラー5の角度を調整する指示信号を出力する。HUD駆動制御装置18は、この指示信号に応じて角度調整装置5Aを駆動しミラー5を所望の角度に調整する。
これによりユーザの目の高さが変化しても、基準とする見下ろし角度を保持することができる。そして基準とする見下ろし角度を保持することにより、ユーザの目の位置が変化しても表示物を基準とする見下ろし角度と同じ位置に表示することができる。
次に表示態様の調整としてディスプレイ3の立体視用画像中の表示物の形状、位置や大きさなどを調整する場合について説明する。
見下ろし角度調整指示部62は、基準とする見下ろし角度と見下ろし角度演算部61で演算した見下ろし角度との差異に基づいて、表示物がどの方向にどのくらいずれて表示されることになるのか、そのずれ量を演算する。なお、このずれ量は、ユーザの目の位置とミラー5の角度が影響する。このため見下ろし角度調整指示部62は情報源装置19からユーザの目の位置とミラー5の角度を取得して演算に用いる。このずれ量は他表示態様設定部25に与えられる。他表示態様設定部25は、表示物の表示態様を設定するにあたり、ずれ量を考慮して表示物の形状、位置、大きさなどの表示態様を調整する。
これによりユーザの目の高さが変化しても、表示物を基準とする見下ろし角度と同じ位置に表示することができる。
なお上述ではミラー5の角度の調整とディスプレイ3の画像処理の両方を備える例について図示して説明したが、必ずしも両方備える必要はなく、いずれか一方を採用すればよい。
図23は、実施の形態2に実施の形態3を適用したときの表示制御装置100cの要部を示す機能ブロック図である。図23の表示制御装置100cは、見下ろし角度が変化しても基準とする見下ろし角度から見たときと同じように表示物が見えるように表示することについては、基本的に図22の表示制御装置100bと同様である。
すなわち、画像生成部27a、画像出力部28、見下ろし角度演算部61及び見下ろし角度調整指示部62により、表示制御部29が構成されている。表示対象設定部21、表示態様設定部26及び表示制御部29により、表示制御装置100cの要部が構成されている。
ここで実施の形態2は、画像生成部27a内の表示領域設定部が表示領域(矩形D)を設定してもよいというものである。ユーザの見下ろし角度が変化した場合、表示物の位置だけではなく表示領域(矩形D)も変化する。
例えばユーザの目の高さが高い場合は見下ろし角度が大きくなる。この場合、ユーザから見て表示領域(矩形D)が高さ方向の下方に設定された状態となる。他方、ユーザの目の高さが低い場合は見下ろし角度が小さくなる。この場合、ユーザから見て表示領域(矩形D)が高さ方向の上方に設定された状態となる。
具体的には、図15において表示領域(矩形D)は、上辺部が70メートルに設定されている旨説明した。ここでユーザの目の高さが高い場合は見下ろし角度が大きくなる。この場合、ユーザから見て表示領域(矩形D)が高さ方向の下方に設定された状態となる。即ち表示領域(矩形D)は、例えば上辺部が60メートルに設定された状態になっている。そこで見下ろし角度調整指示部62は、ミラー5の角度を変えるために、HUD駆動制御装置18に対して角度を調整するよう指示する。
即ちユーザから見たフロントガラス4Aの位置に対する表示領域(矩形D)の位置が変化しないよう、HUD駆動制御装置18によりミラー5の角度を調整する。例えばHUD駆動制御装置18は、見下ろし角度調整指示部62の指示信号に基づいて、見下ろし角度が基準値よりも大きい時でも、表示領域(矩形D)の上辺部を70メートルとなるようミラー5の角度を調整する。
これによりユーザの見下ろし角度が変化しても、フロントガラス4Aに対する表示領域(矩形D)の上辺部の相対的な位置は変化しないことになる。
なお実施の形態3の調整は、ユーザが変わることにより目の高さが変わることに対応するのであれば乗車時に実施すればよい。またユーザの姿勢変化により目の高さが変わることに対応するのであれば、ユーザを例えばカメラ11で監視し姿勢に変化があった時に実施すればよい。
また上記実施の形態2、実施の形態3において表示領域として矩形Dを例示して説明したが、領域を指定するものであればよく矩形には限定されない。例えば上辺部と下辺部のみを指定する帯状であってもよい。あるいは上辺部のみを指定し、下辺部は指定しないようにすることもできる。
以上のように、実施の形態3の表示制御装置100b,100cは、移動体用の表示装置に用いられる表示制御装置100b,100cであって、移動体のユーザの見下ろし角度θを演算する見下ろし角度演算部61を備え、表示制御部29は基準とする見下ろし角度と演算した見下ろし角度との差異に基づいて光学系または表示物の表示態様を調整するものである。これによりユーザの見下ろし角度が変化しても、基準とする見下ろし角度の時と同じ位置に表示物を表示することができる。
また表示制御部29は、演算した見下ろし角度から見た表示物が基準とする見下ろし角度から見た表示物と同じ位置に見えるように表示物の表示態様を調整する。これによりユーザの見下ろし角度が変化しても、基準とする見下ろし角度の時と同じ位置に表示物を表示することができる。
また表示制御部29は、両眼視差値の遠方側に設けた上限PMAXに対応する奥行距離DMAX’よりも遠方の領域を含めて表示する表示領域(矩形D)を設定する表示領域設定部を備え、演算した見下ろし角度から見た表示領域の上辺部が基準とする見下ろし角度から見た表示領域の上辺部と一致するように光学系を調整するものである。これにより見下ろし角度が変化しても、ユーザから見た表示領域内に表示物を表示することができる。
また表示制御部29は、演算した見下ろし角度から見た表示領域が基準とする見下ろし角度から見た表示領域と同じ領域になるように光学系の角度を調整する指示信号を出力するものである。これにより見下ろし角度が変化しても、ユーザから見た表示領域が変わらないようにすることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本発明の表示制御装置及び表示制御方法は、移動体において立体視用画像を表示するHUD又はHMDなどの制御に用いることができる。
1 車両、2 HUD、3 ディスプレイ、4 ハーフミラー、4A フロントガラス、4B コンバイナー、5 ミラー、5A 角度調整装置、6 サーバ、7 画像生成部、11 カメラ、12 カメラ、13 GPS受信機、14 レーダセンサ、15 ECU、16 無線通信装置、17 ナビゲーション装置、18 HUD駆動制御装置、19 情報源装置、21 表示対象設定部、22 奥行距離設定部、23 両眼視差設定部、24,24a 両眼視差修正部、25,25a 他表示態様設定部、26 表示態様設定部、27,27a 画像生成部、28 画像出力部、29 表示制御部、30,30a 両眼視差設定部、31 通信装置、41 メモリ、42 プロセッサ、43 処理回路、61 見下ろし角度演算部、62 見下ろし角度調整指示部、100,100a,100b,100c 表示制御装置。

Claims (21)

  1. 移動体用の表示装置に用いられる表示制御装置であって、
    表示対象情報に対応する表示物の奥行距離を設定する奥行距離設定部と、
    前記奥行距離設定部により設定された奥行距離に応じて前記表示物の両眼視差値を設定する両眼視差設定部と、
    前記両眼視差設定部により設定された両眼視差値を修正する両眼視差修正部と、
    前記両眼視差値を修正した量に基づいて前記表示物の表示態様を変更する他表示態様設定部と、
    前記両眼視差設定部により設定された両眼視差値又は前記両眼視差修正部により修正された両眼視差値のいずれかに基づいて前記表示物を含む立体視用画像を前記表示装置に出力する表示制御部とを備え、
    前記両眼視差修正部による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、前記他表示態様設定部は両眼視差値を修正した量に応じて少なくとも前記表示物の大きさを変更する
    ことを特徴とする表示制御装置。
  2. 前記立体視用画像は複数個の前記表示物を含むものであり、
    前記奥行距離設定部は、個々の前記表示物ごとに奥行距離を設定し、
    前記両眼視差設定部は、個々の前記表示物ごとに両眼視差値を設定し、
    前記両眼視差修正部は、個々の前記表示物ごとに両眼視差値を修正し、
    前記他表示態様設定部は、個々の前記表示物の両眼視差値を修正した量に応じて少なくとも前記表示物の大きさをそれぞれ変更する
    ことを特徴とする請求項1記載の表示制御装置。
  3. 前記両眼視差修正部は、前記奥行距離が遠方になるほど両眼視差値が低下する量が大きくなるよう修正するとともに、
    前記他表示態様設定部は、前記修正した量が大きいときは当該修正量が小さいときに比して前記表示物の大きさを小さくすることを特徴とする請求項1記載の表示制御装置。
  4. 前記他表示態様設定部は、前記両眼視差値を修正した量が大きいときは当該修正量が小さいときに比して前記表示物を前方風景に対して上側にする、あるいは前記表示物の色を薄くすることを特徴とする請求項3記載の表示制御装置。
  5. 前記両眼視差修正部は、前記奥行距離が接近側になるほど両眼視差値が低下する量が大きくなるよう修正するとともに、
    前記他表示態様設定部は、前記修正した量が大きいときは当該修正量が小さいときに比して前記表示物の大きさを大きくすることを特徴とする請求項1記載の表示制御装置。
  6. 前記他表示態様設定部は、前記両眼視差値を修正した量が大きいときは当該修正量が小さいときに比して前記表示物を前方風景に対して下側にする、あるいは前記表示物の色を濃くすることを特徴とする請求項5記載の表示制御装置。
  7. 前記他表示態様設定部は、前記表示物と併せて表示され前記表示物の奥行距離を表現する比較用表示物を生成することを特徴とする請求項1記載の表示制御装置。
  8. 前記比較用表示物は、密度、影あるいは重なりのうち少なくとも1つを表現するものであることを特徴とする請求項7記載の表示制御装置。
  9. 前記両眼視差設定部は両眼視差値が0になる位置から離れるほど両眼視差値が大きくなる第1特性線に基づいて前記表示物の両眼視差値を算出するとともに、
    前記両眼視差修正部は少なくとも前記第1特性線の遠方側に上限を設けて両眼視差値を修正することを特徴とする請求項1記載の表示制御装置。
  10. 前記両眼視差修正部は前記第1特性線の近接側に上限を設けて両眼視差値を修正することを特徴とする請求項9記載の表示制御装置。
  11. 前記両眼視差設定部は両眼視差値が0になる位置から離れるほど両眼視差値が大きくなる第1特性線に基づいて前記表示物の両眼視差値を算出するとともに、
    前記両眼視差修正部は前記奥行距離が遠方になるにつれて遠方側の視差上限値に向かって大きくなる第2特性線に基づいて両眼視差値を修正することを特徴とする請求項1記載の表示制御装置。
  12. 前記両眼視差修正部は少なくとも前記第1特性線の近接側に上限を設けて両眼視差値を修正することを特徴とする請求項11記載の表示制御装置。
  13. 前記表示制御部は、両眼視差値の遠方側に設けた上限に対応する前記奥行距離よりも遠方の領域を含めて表示する表示領域を設定する表示領域設定部を備え、
    前記表示物の表示位置が前記表示領域から逸脱したときは非表示とすることを特徴とする請求項1記載の表示制御装置。
  14. 前記移動体のユーザの見下ろし角度を演算する見下ろし角度演算部を備え、
    前記表示制御部は基準とする見下ろし角度と前記演算した見下ろし角度との差異に基づいて光学系または前記表示物の表示態様を調整することを特徴とする請求項1記載の表示制御装置。
  15. 前記表示制御部は、前記演算した見下ろし角度から見た表示物が前記基準とする見下ろし角度から見た表示物と同じ位置に見えるように前記表示物の表示態様を調整することを特徴とする請求項14記載の表示制御装置。
  16. 前記表示制御部は、両眼視差値の遠方側に設けた上限に対応する前記奥行距離よりも遠方の領域を含めて表示する表示領域を設定する表示領域設定部を備え、
    前記演算した見下ろし角度から見た表示領域の上辺部が前記基準とする見下ろし角度から見た表示領域の上辺部と一致するように前記光学系を調整することを特徴とする請求項14記載の表示制御装置。
  17. 前記表示制御部は、前記演算した見下ろし角度から見た表示領域が前記基準とする見下ろし角度から見た表示領域と同じ領域になるように前記光学系の角度を調整する指示信号を出力することを特徴とする請求項16記載の表示制御装置。
  18. 前記表示制御部は、前記移動体から見た風景に重畳されるよう前記立体視用画像を前記表示装置に出力することを特徴とする請求項1記載の表示制御装置。
  19. 前記移動体は車両であり、
    前記表示装置は、前記車両に搭載されるヘッドアップディスプレイ、または前記車両のユーザの頭部に装着されるヘッドマウントディスプレイにより構成されていることを特徴とする請求項18記載の表示制御装置。
  20. 前記移動体は歩行者であり、
    前記表示装置は、前記歩行者の頭部に装着されるヘッドマウントディスプレイにより構成されていることを特徴とする請求項18記載の表示制御装置。
  21. 移動体用の表示装置に用いられる表示制御方法であって、
    奥行距離設定部が、表示対象情報に対応する表示物の奥行距離を設定するステップと、
    両眼視差設定部が、前記奥行距離設定部により設定された奥行距離に応じて前記表示物の両眼視差値を設定するステップと、
    両眼視差修正部が、前記両眼視差設定部により設定された両眼視差値を修正するステップと、
    他表示態様設定部が、前記両眼視差値を修正した量に基づいて前記表示物の表示態様を変更するステップと、
    表示制御部が、前記両眼視差設定部により設定された両眼視差値又は前記両眼視差修正部により修正された両眼視差値のいずれかに基づいて前記表示物を含む立体視用画像を前記表示装置に出力するステップとを備え、
    前記両眼視差修正部による修正は、少なくとも一部の奥行距離範囲において両眼視差値を低下させるものであり、かつ、前記他表示態様設定部は両眼視差値を修正した量に応じて少なくとも前記表示物の大きさを変更する
    ことを特徴とする表示制御方法。
JP2018544950A 2016-10-28 2016-10-28 表示制御装置及び表示制御方法 Expired - Fee Related JP6494877B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082069 WO2018078798A1 (ja) 2016-10-28 2016-10-28 表示制御装置及び表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2018078798A1 true JPWO2018078798A1 (ja) 2019-01-24
JP6494877B2 JP6494877B2 (ja) 2019-04-03

Family

ID=62023234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018544950A Expired - Fee Related JP6494877B2 (ja) 2016-10-28 2016-10-28 表示制御装置及び表示制御方法

Country Status (5)

Country Link
US (1) US20190241070A1 (ja)
JP (1) JP6494877B2 (ja)
CN (1) CN109863747A (ja)
DE (1) DE112016007208T5 (ja)
WO (1) WO2018078798A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
CN109737983B (zh) * 2019-01-25 2022-02-22 北京百度网讯科技有限公司 用于生成行驶路径的方法和装置
CN114761857A (zh) * 2019-11-05 2022-07-15 京瓷株式会社 平视显示器、平视显示器系统以及移动体
US11037359B1 (en) * 2020-06-24 2021-06-15 Microsoft Technology Licensing, Llc Real-time rendering stylized passthrough images
CN112484743B (zh) * 2020-12-03 2022-09-20 安徽中科新萝智慧城市信息科技有限公司 车载hud融合实景导航显示方法及其系统
US11953697B1 (en) * 2023-05-05 2024-04-09 Ford Global Technologies, Llc Position tracking sensor in a head up display

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62173336A (ja) * 1986-01-23 1987-07-30 Yazaki Corp 車載用ヘツドアツプデイスプレイ装置
JPH07306379A (ja) * 1994-05-12 1995-11-21 Olympus Optical Co Ltd 映像表示装置
JP2006017626A (ja) * 2004-07-02 2006-01-19 Yokohama Tlo Co Ltd ナビゲーションシステム
JP2010143520A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 車載用表示システム及び表示方法
JP2013026770A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 車輌用映像表示装置
WO2014034464A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 データ処理装置、データ処理方法、送信装置および受信装置
JP2015215510A (ja) * 2014-05-12 2015-12-03 パナソニックIpマネジメント株式会社 表示装置および表示方法
JP2016097921A (ja) * 2014-11-26 2016-05-30 マツダ株式会社 車両用運転支援表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5556394B2 (ja) * 2010-06-07 2014-07-23 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP4956658B2 (ja) 2010-10-12 2012-06-20 シャープ株式会社 立体映像変換装置及び立体映像表示装置
JP2012253666A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像理装置および方法、並びにプログラム
JP2015115676A (ja) 2013-12-10 2015-06-22 船井電機株式会社 表示装置、画像出力装置
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62173336A (ja) * 1986-01-23 1987-07-30 Yazaki Corp 車載用ヘツドアツプデイスプレイ装置
JPH07306379A (ja) * 1994-05-12 1995-11-21 Olympus Optical Co Ltd 映像表示装置
JP2006017626A (ja) * 2004-07-02 2006-01-19 Yokohama Tlo Co Ltd ナビゲーションシステム
JP2010143520A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 車載用表示システム及び表示方法
JP2013026770A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 車輌用映像表示装置
WO2014034464A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 データ処理装置、データ処理方法、送信装置および受信装置
JP2015215510A (ja) * 2014-05-12 2015-12-03 パナソニックIpマネジメント株式会社 表示装置および表示方法
JP2016097921A (ja) * 2014-11-26 2016-05-30 マツダ株式会社 車両用運転支援表示装置

Also Published As

Publication number Publication date
JP6494877B2 (ja) 2019-04-03
DE112016007208T5 (de) 2019-06-06
US20190241070A1 (en) 2019-08-08
WO2018078798A1 (ja) 2018-05-03
CN109863747A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
JP6494877B2 (ja) 表示制御装置及び表示制御方法
JP6201690B2 (ja) 車両情報投影システム
KR102105447B1 (ko) 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
US20160107572A1 (en) Methods and Apparatus for Integrated Forward Display of Rear-View Image and Navigation Information to Provide Enhanced Situational Awareness
WO2019224922A1 (ja) ヘッドアップディスプレイ制御装置、ヘッドアップディスプレイシステム、及びヘッドアップディスプレイ制御方法
JP4367212B2 (ja) 虚像表示装置およびプログラム
JP6225379B2 (ja) 車両情報投影システム
JP6184607B2 (ja) 表示制御装置
US20210078503A1 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP6337721B2 (ja) 虚像表示装置
US11106045B2 (en) Display system, movable object, and design method
US20240017669A1 (en) Image processing apparatus, image processing method, and image processing system
JP6394940B2 (ja) 車両用表示システム
JP2018020779A (ja) 車両情報投影システム
JP2018077435A (ja) 虚像表示装置
US20210300183A1 (en) In-vehicle display apparatus, method for controlling in-vehicle display apparatus, and computer program
US20220030178A1 (en) Image processing apparatus, image processing method, and image processing system
WO2022230995A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
WO2021039579A1 (ja) ヘッドアップディスプレイ装置
US20230186651A1 (en) Control device, projection system, control method, and program
JP2007218655A (ja) ナビゲーション装置
CN115320374A (zh) 显示控制装置、车辆、显示控制方法以及非暂时性计算机可读记录介质
KR102324280B1 (ko) 차량 주행방향 기반 hud 시스템
JP2020158014A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180824

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180824

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190305

R150 Certificate of patent or registration of utility model

Ref document number: 6494877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees