WO2020080405A1 - 表示システム、表示装置、及び表示制御方法 - Google Patents

表示システム、表示装置、及び表示制御方法 Download PDF

Info

Publication number
WO2020080405A1
WO2020080405A1 PCT/JP2019/040677 JP2019040677W WO2020080405A1 WO 2020080405 A1 WO2020080405 A1 WO 2020080405A1 JP 2019040677 W JP2019040677 W JP 2019040677W WO 2020080405 A1 WO2020080405 A1 WO 2020080405A1
Authority
WO
WIPO (PCT)
Prior art keywords
amount
correction
display
correction amount
threshold value
Prior art date
Application number
PCT/JP2019/040677
Other languages
English (en)
French (fr)
Inventor
智司 松井
範一 勝山
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN201980038110.8A priority Critical patent/CN112218778A/zh
Priority to JP2020553233A priority patent/JP7394306B2/ja
Priority to EP19872634.1A priority patent/EP3868594B1/en
Publication of WO2020080405A1 publication Critical patent/WO2020080405A1/ja
Priority to US17/132,159 priority patent/US11482195B2/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/23
    • B60K35/28
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B60K2360/166
    • B60K2360/167
    • B60K2360/176
    • B60K2360/177
    • B60K2360/21
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • G09G2340/0485Centering horizontally or vertically
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Abstract

表示システム(100)は、移動体の速度を示す速度情報を取得する取得装置(20)と、移動体の姿勢変動量を検出する検出装置(40)と、基準位置と補正量とに基づいて、像の表示位置を制御する表示処理装置(30)と、速度及び姿勢変動量に基づいて、補正量を設定する補正処理装置(50)と、を備える。補正処理装置(50)は、速度と姿勢変動量に基づいて補正量が所定量以上となるか否かを推定し、推定結果に基づいて、補正量を調整する。

Description

表示システム、表示装置、及び表示制御方法
 本開示は、像の表示位置を移動体の動きに応じて制御する表示システム、表示装置、及び表示制御方法に関する。
 特許文献1は、ヘッドアップディスプレイ(HUD)装置を用いて、拡張現実(AR)表示を行う車両情報表示システムを開示している。HUD装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象、例えば道路に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献1の車両情報表示システムは、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
特開2015-101311号公報
 像の位置ずれを修正しようとすると、その修正過程が視認者に目立ってしまうことがある。
 本開示は、像の位置ずれを精度良く抑制し、位置ずれ修正の見た目の品位を向上した表示システム、表示装置、及び表示制御方法を提供する。
 本開示の表示システムは、移動体の速度を示す速度情報を取得する取得装置と、移動体の姿勢変動量を検出する検出装置と、基準位置と補正量とに基づいて、像の表示位置を制御する表示処理装置と、速度及び姿勢変動量に基づいて、補正量を設定する補正処理装置と、を備え、補正処理装置は、前記速度と前記姿勢変動量に基づいて前記補正量が所定量以上となるか否かを推定し、前記推定結果に基づいて、前記補正量を調整する。
 本開示の表示装置は、移動体の速度を示す速度情報と、移動体の姿勢変動量を示す変動量情報とを取得する取得部と、基準位置と補正量とに基づく表示位置に像を表示する表示部と、速度及び姿勢変動量に基づいて、補正量を設定する制御部と、を備え、制御部は、速度に基づいて閾値を設定し、姿勢変動量が閾値以下である期間は、補正量を姿勢変動量に基づいて設定し、姿勢変動量が閾値よりも大きい期間に、表示位置を基準位置に戻す。
 本開示の表示制御方法は、コンピュータの演算部が行う表示制御方法であって、移動体の速度を示す速度情報と、移動体の姿勢変動量を示す変動量情報とを取得するステップと、基準位置と補正量とに基づいて像の表示位置を制御するステップと、を含み、表示位置を制御するステップは、速度に基づいて閾値を設定し、姿勢変動量が閾値以下である期間は、補正量を姿勢変動量に基づいて設定し、姿勢変動量が閾値よりも大きい期間に、表示位置を基準位置に戻すことを含む。
 これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
 本開示の表示システムによれば、像の位置ずれを精度良く抑制し、位置ずれ修正の見た目の品位を向上することができる。例えば、姿勢変動量に対応する補正量が所定量以上となると推定した場合に補正量をリセットし、補正量が所定量未満のままであると推定した場合は補正による調整を実施することで補正とリセットとリセット時の見た目の品位を両立した精度の良い位置ずれ補正を実現することができる。また、本開示の表示装置、及び表示制御方法によれば、姿勢変動量の閾値を移動体の速度に応じて設定するので、姿勢変動量に基づく表示位置の制御において、像の位置ずれを精度良く抑制することができる。
第1実施形態におけるヘッドアップディスプレイ(HUD)を説明するための図 第1実施形態における表示システムの構成を示すブロック図 閾値データの一例を示す図 車速に応じた閾値を示すグラフ 車速に応じた閾値を示す他のグラフ フロントガラスから見える実景の例を示す図 虚像の一例を示す図 傾いていない車両を示す図 車両が傾いていないときに虚像が基準位置に表示される例を説明するための図 前傾姿勢の車両を示す図 車両が前傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 虚像の表示位置の補正を説明するための図 ジャイロセンサのノイズによる虚像の位置ずれを説明するための図 第1実施形態における表示処理を示すフローチャート 第1実施形態における補正処理を示すフローチャート 第1実施形態における補正量のリセットを説明するための図 第1実施形態における補正量のリセットの別の例を説明するための図 第2実施形態における表示処理を示すフローチャート 第2実施形態における補正処理を示すフローチャート 第2実施形態におけるオフセット値の設定を説明するための図 第3実施形態における補正処理を示すフローチャート 第4実施形態における補正処理を示すフローチャート 第5実施形態における表示システムの構成を示すブロック図 第5実施形態における補正処理を示すフローチャート 第5実施形態におけるずれ量のリセットを説明するための図 第5実施形態におけるずれ量のリセットの別の例を説明するための図 第6実施形態における補正処理を示すフローチャート 第7実施形態における補正処理を示すフローチャート 第8実施形態における表示装置の構成を示すブロック図 ジャイロセンサにより検出される角度の時間変化を示す説明図
(本開示の基礎となった知見)
 センサの出力に基づいて検出した移動体の状態に応じて、例えば移動体の姿勢に応じて、像の表示位置を補正する場合、センサのノイズに起因した補正誤差が発生する。
 例えば、路面の凹凸などの形状による移動体の振動を高精度に検出するために、ジャイロセンサを使用することが考えられる。移動体の3軸周りの角度であるロール角、ピッチ角、及びヨー角は、ジャイロセンサによって検出される角速度を積分演算することによって得られる。しかし、ジャイロセンサは、デバイスの特性により、静止状態でも出力の角速度がゼロにならない。所謂、ドリフトが発生する。よって、角速度の積分演算において、ドリフトによる誤差が累積され、得られる角度に誤差が生じる。この場合、ジャイロセンサの出力に基づいて、像の表示位置を補正し続けると、補正誤差が大きくなる。そのため、常時もしくは長時間、センサの出力に基づいた補正をしていると、補正誤差が累積されて、像の表示位置がずれる。例えば、拡張現実(AR)表示を行うHUDシステムの場合、虚像の表示位置が、実景内の所定の表示対象、例えば、道路に対して大きくずれる場合がある。よって、視認者は、像の表示に対して違和感を覚える。
 このように発生する累積誤差を解消するには、補正量を単純にリセットすることが考えられる。虚像の表示位置を基準位置に戻すことにより、補正量をリセットすることができる。
 しかしながら、任意のタイミングで補正量をリセットすると、例えば、位置ずれ補正中にリセットすると重畳ズレが大きくなる。また、リセット動作が視認されると、視認者が違和感を覚える。このように、補正量を単純にリセットすると、補正性能の低下や見た目の品位の悪化を引き起こす。
 本開示の表示システム、表示装置、及び表示制御方法は、移動体の姿勢変動量が閾値以下である期間は、基準位置と、姿勢変動量に応じて設定した補正量とに基づく表示位置に像を表示する。本開示の表示装置及び表示システムは、姿勢変動量が閾値よりも大きいときは、像の表示位置を基準位置に戻す。姿勢変動量は、具体的には、ジャイロセンサが出力する角速度である。
 位置ずれ補正中にリセットすると重畳ズレが大きくなることについて、図25を参照して説明する。図25は、ジャイロセンサにより検出される角度の時間変化を示す説明図である。図25のグラフの傾きが角速度を示す。移動体の振動振幅に応じて角度のずれ量が検出され、検出された角度のずれ量の分だけ補正量となる。図25に示すように、位置ずれ補正ができるずれ量には限界があり、補正範囲を超える位置ずれが発生した場合は、補正範囲を超える位置ずれ分の補正はできないので、重畳精度が悪化する。この補正できないタイミングで補正量をリセットすれば、リセットによる重畳精度の悪化を抑制することができる。したがって、ずれ量が補正範囲を超えることを閾値と比較して判定することで検出する。この判定結果をもとに、補正量をリセットすることで、位置ずれ補正ができない期間を有効活用することができる。
 また、上述したずれ量の判定は、算出した角度によるずれ量を用いて判定すればよいが、図25に示すように、振幅のピークPk1、Pk2付近の外景の変化が少ないタイミングPb1、Pb2で判定する場合があり、リセット動作が目立つ場合がある。したがって、補正量のリセットは、ずれ量が補正範囲を超える前であって、かつ、振動振幅のピークに達する前の段階でより早くリセット判定をする必要がある。そこで、角度によるずれ量ではなく、角速度を用いて判定することが望ましい。例えば、タイミングPb1、Pb2における角速度を基に、閾値と比較することで、所定時間経過後のピークPk1、Pk2は補正可能範囲内に含まれると予測することができる。この場合、リセット動作は行わない。また、タイミングPb3、Pb4における角速度を基に、閾値と比較することで、所定時間経過後のピークPk3、Pk4は補正可能範囲内に含まれないと予測することができる。この場合、補正可能範囲外になったタイミングでリセット動作を行う。これにより、リセット過程が目立つのを防ぐことができる。また、タイミングPa1~Pa4の時点では、角速度が閾値を超える場合外景の変化が大きいと判定し、リセット動作を行うことができる。
 さらに、角速度による判定の閾値を変化させると、より精度の良い判定(推定)をすることができる。移動体が高速で移動しているときは、移動体の振動周波数が高くなるため、低速走行時に対して、小さな振幅であってもジャイロセンサが検出する角速度は大きくなる。そのため、高速移動時は、角速度が閾値よりも大きくなりやすく、例えば、ずれ量が補正範囲内で位置ずれ補正をできる場合でも誤判定によりリセットされてしまい、像の表示位置が基準位置に戻されることが多くなることもある。よって、例えば、高速移動時は、表示位置の補正がほとんどされなくなり、補正性能の低下および見た目の品位の悪化を引き起こす場合がある。一方、移動体が低速で移動しているときは、移動体の振動周波数が低くなるため、高速走行時に対して、大きな振幅であってもジャイロセンサが検出する角速度が小さくなる。そのため、低速移動時は、角速度が閾値よりも小さくなりやすく、例えば、表示位置の補正が常に行われる。よって、例えば、低速移動時は、像の表示位置を基準位置に戻すことがあまりされない。また、ずれ量が補正範囲を超える場合を検出できず、リセットの機会を逃すので、積分による誤差が累積して補正性能が低下する場合もある。
 よって、本開示の表示システム、表示装置、及び表示制御方法は、表示位置を基準位置に戻すか否かを決めるための角速度の閾値を、移動体の速度に応じて設定する。具体的には、速度が速いほど、閾値を大きくする。これにより、移動体の速度と角速度とによって振動振幅(ずれ量)を判定(推定)することが可能となり、振動振幅が補正範囲内のときは位置ずれ補正を実施し、振動振幅が補正範囲を超えて位置ずれ補正ができない場合の外景の変化が大きいときに補正値の累積誤差を解消するためのリセットを行う。これにより、位置ずれ補正の精度を維持したまま、累積誤差の解消と見た目の品位を両立した、精度のよい像の位置ずれ補正が可能となる。例えば、移動体が高速で移動しているときであっても、表示位置を補正することが可能になる。また、移動体が低速で移動しているときであっても、表示位置を基準位置に戻すことが可能になる。表示位置を角速度に基づく補正量で変更することによって、姿勢変動による像の位置ずれを精度良く抑制することができる。また、表示位置を基準位置に戻すことにより、ジャイロセンサのドリフトに起因した補正誤差を低減することができる。なお、本開示において、「表示位置を基準位置に戻す」とは、表示位置を基準位置に完全に戻すことと、表示位置を基準位置に近づけることにより部分的に戻すことの両方を含む。
(第1実施形態)
 以下、第1実施形態について、図面を参照しながら説明する。第1実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に虚像を表示するヘッドアップディスプレイ(HUD)システムである場合を例にして説明する。第1実施形態では、車両の角速度が第1閾値よりも大きい期間に、表示位置の補正量をゼロにリセットする。これにより、虚像の表示位置を基準位置に戻す。車両の角速度は、車両の姿勢変動量の一例である。
1. 表示システムの構成
 図1から図3を参照して、本実施形態の表示システムの構成について説明する。
 図1は、HUDを説明するための図である。図1において、車両200のロール軸をX軸とし、車両200のピッチ軸をY軸とし、車両200のヨー軸をZ軸としている。すなわち、X軸は、Y軸及びZ軸と直交し、虚像Ivを視認する乗員Dの視線方向に沿った軸である。Y軸は、虚像Ivを視認する乗員Dから見て左右方向に沿った軸である。Z軸は、車両200の高さ方向に沿った軸である。
 本実施形態の表示システム100は、車両200のフロントガラス210の前方の実景に虚像Ivを重畳する、所謂、拡張現実(AR)表示を行うHUDシステムである。虚像Ivは、所定の情報を示す。例えば、虚像Ivは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム100は、車両200に設置され、虚像Ivを表す表示光Lcを車両200のフロントガラス210の表示領域220内に投影する。本実施形態において、表示領域220は、フロントガラス210の一部の領域である。なお、表示領域220は、フロントガラス210の全領域であってもよい。表示光Lcは、フロントガラス210によって、車内の方向に反射される。これにより、車両200内の乗員Dは、反射された表示光Lcを、車両200の前方にある虚像Ivとして視認する。
 表示システム100は、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び補正処理装置50を含む。
 投影装置10は、虚像Ivを表す表示光Lcを表示領域220内に投影する。投影装置10は、例えば、虚像Ivの画像を表示する液晶表示素子、液晶表示素子を照明するLEDなどの光源、液晶表示素子が表示する画像の表示光Lcを表示領域220に反射するミラー及びレンズなどを含む。投影装置10は、例えば、車両200のダッシュボード内に設置される。
 情報取得装置20は、車両の位置、車外の状況、及び道路上を走行する車両200の速度を示す情報を取得する。具体的には、情報取得装置20は、車両200の位置を測定して位置を示す位置情報を生成する。情報取得装置20は、対象物、及び対象物までの距離などを示す車外情報を生成する。対象物は、人、標識、道路などである。情報取得装置20は、車両200の速度を検出して車両200の速度を示す速度情報を生成する。情報取得装置20は、車両200の位置情報、車外情報、及び速度情報を出力する。
 表示処理装置30は、情報取得装置20から得られる車両200の位置情報及び車外情報に基づいて、虚像Ivの表示を制御し、虚像Ivの画像データを投影装置10に出力する。表示処理装置30は、情報取得装置20から取得した車両200の速度情報を補正処理装置50に出力し、補正処理装置50から虚像Ivの表示位置の補正量を取得する。
 姿勢検出装置40は、車両200の角速度を検出し、検出した角速度を示す角速度情報を出力する。
 補正処理装置50は、姿勢検出装置40から出力される車両200の角速度情報と、情報取得装置20から出力される車両200の速度情報とに基づいて、虚像Ivの表示位置の補正量を算出する。補正処理装置50は、算出した補正量を表示処理装置30に出力する。
 図2は、表示システム100の内部構成を示すブロック図である。
 本実施形態において、情報取得装置20は、GPS(Global Positioning System)モジュール21、カメラ22、及び車速センサ23を含む。
 GPSモジュール21は、地理座標系における車両200の現在地を示す位置を検出する。具体的には、GPSモジュール21は、GPS衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。GPSモジュール21は、測位した緯度及び経度を示す位置情報を生成する。
 カメラ22は、外景を撮像して撮像データを生成する。情報取得装置20は、例えば、撮像データから対象物を特定し、画像処理により対象物までの距離を測定する。情報取得装置20は、対象物及び対象物までの距離を示す情報を車外情報として生成する。
 車速センサ23は、車両200の速度を検出して、検出した速度を示す速度情報を生成する。
 情報取得装置20は、位置情報、車外情報、及び速度情報を表示処理装置30に出力する。なお、カメラ22によって生成された撮像データが表示処理装置30に出力されてもよい。
 表示処理装置30は、通信部31、表示制御部32、及び記憶部33を含む。
 通信部31は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface)を含む。
 表示制御部32は、半導体素子などで実現可能である。表示制御部32は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。表示制御部32の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部32は、記憶部33に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
 記憶部33は、表示処理装置30の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部33は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
 記憶部33には、虚像Ivを表す複数の画像データ330が格納されている。
 表示制御部32は、情報取得装置20から得られる位置情報及び車外情報に基づいて、表示する虚像Ivを決定する。表示制御部32は、決定した虚像Ivの画像データ330を記憶部33から読み出して、投影装置10に出力する。表示制御部32は、図示しない外部装置から、通信部31を介して、虚像Ivの表示の基準位置を示す情報を取得する。表示制御部32は、情報取得装置20から取得した車速を示す速度情報を補正処理装置50に出力し、表示位置の補正量を補正処理装置50から取得する。表示制御部32は、虚像Ivの表示位置を基準位置と補正量とに基づいて設定する。
 姿勢検出装置40は、角速度を検出するジャイロセンサ41を含む。ジャイロセンサ41は、検出した角速度を示す角速度情報を補正処理装置50に出力する。
 補正処理装置50は、通信部51、補正制御部52、及び記憶部53を含む。
 通信部51は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えばLAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface)を含む。
 補正制御部52は、半導体素子などで実現可能である。補正制御部52は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。補正制御部52の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部52は、記憶部53に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
 記憶部53は、補正処理装置50の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部53は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
 記憶部53には、車速に応じた閾値を示す閾値データ530が格納されている。
 補正制御部52は、機能的構成として、閾値設定部52a、判定部52b、ずれ量算出部52c、及び補正量算出部52dを含む。
 閾値設定部52aは、車両200の速度情報と閾値データ530とに基づいて、角速度の閾値である第1閾値aを設定する。
 判定部52bは、車両200の角速度と閾値設定部52aが設定した第1閾値aとを比較して、比較結果を出力する。判定部52bが、角速度の大きさは第1閾値aより大きいと判定すると、補正量が補正可能範囲を超える所定量以上であると推定することができる。また、判定部52bが、角速度の大きさは第1閾値a以下であると判定すると、補正量が補正可能範囲内の所定量未満であると推定することができる。
 ずれ量算出部52cは、姿勢検出装置40が出力する姿勢変動情報に基づいて、車両200の姿勢(角度のずれ量)を算出する。例えば、ずれ量算出部52cは、ジャイロセンサ41が検出した角速度を積分演算することによって、車両200のピッチ軸周りの角度(ピッチ角)を算出する。これにより、図1に示すY軸(ピッチ軸)を中心とした回転方向における車両200のずれ量(角度)を算出することができる。同様に、ヨー角度又はロール角度を算出し、例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。これにより、図1に示すX軸、Y軸、及びZ軸周り、すなわちロール方向、ピッチ方向及びヨー方向における車両200のずれ量を算出することができる。なお、本実施形態では、3軸周りの全ての角度を算出するが、1軸又は2軸周りの角度を算出してもよい。例えば、Y軸及びZ軸周りの角度のみを算出してもよい。
 補正量算出部52dは、車両200の姿勢(角度のずれ量)に応じて、虚像Ivの表示位置の補正量を算出する。補正量は、例えば、画素数によって示される。具体的には、補正量算出部52dは、例えば、ずれ量算出部52cが算出したピッチ角及びヨー角のずれ量を角度から画素数に換算して、ずれている分の画素数を元に戻すような補正量を決定する。補正量算出部52dは、例えば、ロール角については、角度のまま、ロール角のずれ量を元に戻すような補正量を決定する。補正量算出部52dは、算出した補正量を表示処理装置30に出力する。
 上述のように、表示処理装置30と補正処理装置50は、通信部31,51により、双方向に通信する。表示処理装置30は、補正処理装置50に車速を示す速度情報を出力する。補正処理装置50は、表示処理装置30に補正量を示す情報を出力する。
 図3は、閾値データ530の一例を示している。閾値データ530は、車速Vに応じた第1閾値aを示すテーブルである。図4Aは、閾値データ530をグラフで表した図である。第1閾値aは、車速Vが速くなるほど第1閾値aが大きくなるように、車速Vに基づいて段階的に増加するように設定される。閾値設定部52aは、車両200の速度情報と閾値データ530とを比較して、車両200の速度Vに対応する第1閾値aを設定する。また、第1閾値aは、車速Vに依存する関数で設定されてもよい。例えば、図4Bに示したグラフのように、1次関数(a=k×V+b)で表されてもよい。ここで、kは傾き、bは切片を示す。また、2次以上の関数や指数関数などで表されてもよい。また、速度Vの範囲ごとに異なる関数を設定してもよい。
2. AR表示
 図5~図10を参照して、AR表示について説明する。
 図5は、車両200のフロントガラス210から見える実景の例を示している。図6は、表示領域220から見える虚像Ivの一例を示している。表示システム100は、図5に示す実景に図6に示す虚像Ivを重畳させる。虚像Ivの基準位置P0は、虚像Ivの種類、車両200の状態、例えば車両200の位置及び姿勢、及び地図データなどに基づいて、決定された位置であり、当該基準位置P0は、外部装置により決定される。例えば、表示対象230が走行車線であって、虚像Ivが進行方向を示す矢印の場合、車両静止時に矢印が走行車線の中央を指し示すときの矢印の表示位置が基準位置P0である。基準位置P0は、例えば、図6において、表示領域220内におけるY座標とZ座標の値に対応する液晶表示上の画素の位置で設定される。基準位置P0は、外部装置から取得される。外部装置は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、または、ASICと、GPSモジュール21とを含む。外部装置の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。外部装置から出力される基準位置P0を示す情報は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合がある。よって、例えば、外部装置から取得する基準位置P0は、最初に取得した初期位置と異なる場合がある。それ故、表示処理装置30は、外部装置から取得される基準位置P0を、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変更してもよい。なお、表示処理装置30が、位置情報、車外情報、及び地図データなどに基づいて、基準位置P0を設定してもよい。表示処理装置30は、位置情報及び車外情報に基づいて、虚像Ivの大きさを設定してもよい。
 図7Aは、傾いていない車両200を示している。図7Bは、車両200が傾いていないときの虚像Ivの表示例を示している。図7Bは、図5に示す実景に図6に示す虚像Ivが重なって表示された状態を示している。車両200が傾いていないときは、図7Bに示すように、虚像Ivを基準位置P0に表示させると、表示したい所望の位置、例えば、走行車線の中央に虚像Ivが表れる。
 図8Aは、前傾姿勢の車両200を示している。図8Bは、車両200が前傾姿勢になったときの虚像Ivの表示例を示している。図8Bは、車両200の姿勢変動に応じて、虚像Ivの表示位置が表示対象230からずれた場合を例示している。路面の凸凹、車両200の急加速又は急減速などにより、車両200が傾く場合がある。例えば、車両200が急減速すると、図8Aに示すように車両200は前傾姿勢になる。この場合、図8Bに示すように、フロントガラス210から見える表示対象230の位置が車両200の傾きに応じて変動する。そのため、虚像Ivを基準位置P0に表示した場合、虚像Ivが表示対象230からずれる。例えば、図8Bに示すように矢印の先が対向車線231内になる。よって、表示システム100は、車両200の姿勢に応じたずれを戻す方向に虚像Ivの表示位置を調整する。
 図9は、補正前と補正後の虚像Ivの表示位置を示している。補正処理装置50は、虚像Ivの表示位置が車両200の角度に起因したずれがない位置P1となるように、補正量cを算出する。すなわち、表示処理装置30は、虚像Ivの表示位置を「基準位置P0+補正量c」に設定する。これにより、投影装置10は、虚像Ivを表示対象230に対して表示させたい位置P1に表示することができる。このように、車両200が傾いた場合であっても、虚像Ivの表示位置を補正量cに基づいて基準位置P0から変更することで、実景内の表示対象230に対して表示させたい位置P1に虚像Ivを表示することができる。
 図10は、ジャイロセンサ41のノイズによって、虚像Ivの表示位置が表示対象230からずれた場合を例示している。上述したように、例えば、ジャイロセンサ41が検出する角速度にはドリフトによる誤差が含まれるため、角速度の積分演算に基づいて補正量cを算出すると、その補正量cに誤差が含まれる。この場合、例えば、車両200が停止中で振動がほとんどない場合であっても、車両200の姿勢変動が検出され、補正量cがゼロにならなくなる。そのため、虚像Ivの表示位置(=基準位置P0+補正量c)が変動し、例えば、表示させたい位置P2から離れる場合が生じる。本実施形態は、このセンサのノイズに起因した位置ずれEを低減するために、後述するように、角速度が第1閾値aよりも大きいときに、補正量cをゼロにリセットする。これにより、ジャイロセンサ41のドリフトに起因した補正誤差が累積されることを抑制することができる。
3. 表示処理装置の動作
 図11を参照して、表示処理装置30の表示制御部32の動作について説明する。図11は、表示処理装置30の表示制御部32が行う表示処理を示している。図11に示す表示処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。
 表示制御部32は、情報取得装置20から車両200の位置情報、車外情報、及び速度情報を取得する(S101)。表示制御部32は、速度情報を補正処理装置50に出力する(S102)。表示制御部32は、位置情報及び車外情報に基づいて、表示対象に対応する虚像Ivを表示するか否かを決定する(S103)。
 表示制御部32は、虚像Ivを表示することを決定した場合(S104でYes)、虚像Ivの基準位置P0を示す情報を外部装置から取得する(S105)。表示制御部32は、補正処理装置50から出力される表示位置の補正量cを示す情報を取得する(S106)。表示制御部32は、基準位置P0と補正量cとに基づいて、投影装置10に虚像Ivを表示させる(S107)。例えば、表示制御部32は、表示対象に対応する虚像Ivの画像データ330を記憶部33から読み出し、虚像Ivの表示位置を「基準位置P0+補正量c」に設定して、画像データ330と表示位置を示す情報を投影装置10に出力する。
 表示制御部32は、虚像Ivを表示しないことを決定した場合は(S104でNo)、虚像Ivを非表示にする(S108)。例えば、表示制御部32は、投影装置10に虚像Ivの表示を停止させる指令を出力する。
 表示制御部32は、表示処理を継続するか否かを判断する(S109)。例えば、車両200のエンジンが停止したとき、又は虚像Ivの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部32は表示処理を終了する。この場合、表示制御部32は、投影装置10の虚像Ivの表示を停止させる。表示処理を継続する場合は、ステップS101に戻る。
4. 補正処理装置の動作
 図12及び図13Aを参照して、第1実施形態における補正処理装置50の補正制御部52の動作について説明する。図12は、補正処理装置50の補正制御部52が行う補正処理を示している。図13Aは、第1実施形態における補正制御部52の機能的構成を示している。
 図12に示す補正処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。図12の補正処理は、例えば、図11の表示処理と共に開始される。なお、図12に示す補正処理は、虚像Ivの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
 補正制御部52は、ジャイロセンサ41から出力される車両200の角速度を示す角速度情報を取得する(S201)。ずれ量算出部52cは、角速度に基づいて、3軸周りに対する車両200のずれ量を算出する(S202)。例えば、図13Aに示すように、ずれ量算出部52cは、「y=y’+x」により、現在のずれ量yを算出する。ずれ量yは3軸周りに対する角度である。図13Aにおいて、y’は前のずれ量、xは積分演算過程の計算値である。計算値xは、「x=(gyro_in+gyro_in’)×K」により算出される。Kはフィルタ係数である。gyro_inはステップS201で取得した角速度、gyro_in’は前の角速度である。
 閾値設定部52aは、表示処理装置30から車速を示す速度情報を取得する(S203)。閾値設定部52aは、記憶部53に格納されている閾値データ530とステップS203で取得した速度情報とに基づいて、車速に応じた第1閾値aを設定する(S204)。判定部52bは、ステップS201で取得した角速度が第1閾値a以下か否かを判断する(S205)。
 判定部52bが、角速度が第1閾値a以下であると判断した場合(S205でYes)、補正量算出部52dは、現在のずれ量yに基づいて、虚像Ivの表示位置の補正量cを算出する(S206)。判定部52bが、角速度が第1閾値aよりも大きいと判断した場合(S205でNo)、補正量算出部52dは、補正量cをゼロにリセットする(S207)。
 例えば、ステップS206において、図13Aに示すように、補正量算出部52dは、補正量cを「c=(y-ofs)×G」により算出する。ここで、Gは、角度を画素数に換算するための換算係数である。具体的には、例えば、補正量算出部52dは、ピッチ角及びヨー角について車両200の角度であるずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような補正量cを決定する。ロール角については、角度のまま、ずれ量を相殺する補正量cを決定する。オフセット値ofsの初期値は、例えばゼロである。
 例えば、ステップS207において補正量cをゼロにリセットするときは、補正量算出部52dは、現在のずれ量yをオフセット値ofsとして設定する(ofs=y)。すなわち、オフセット値ofsは、角速度が第1閾値aよりも大きいときのずれ量yである。これにより、補正量算出部52dにおける補正量cの算出「c=(y-ofs)×G」は、「ofs=y」により、「c=0×G」となる。よって、補正量算出部52dが算出する補正量cはゼロになる。
 補正量算出部52dは、ステップS206で算出した補正量c又はステップS207で算出した補正量cを表示処理装置30に出力する(S208)。
 補正制御部52は、補正処理を継続するか否かを判断する(S209)。補正処理を継続する場合(S209でYes)は、ステップS201に戻る。補正処理を継続しない場合(S209でNo)は、図12に示す処理を終了する。
5. 効果及び補足等
 本開示の表示システム100は、情報取得装置20、姿勢検出装置40、表示処理装置30、及び補正処理装置50を備える。情報取得装置20は、移動体の速度を示す速度情報を取得する。姿勢検出装置40は、移動体の姿勢変動量を検出する。表示処理装置30は、基準位置と補正量とに基づいて、像の表示位置を制御する。補正処理装置50は、速度及び姿勢変動量に基づいて、補正量cを設定する。具体的には、補正処理装置50は、速度に基づいて第1閾値aを設定する。補正処理装置50は、姿勢変動量が第1閾値a以下である期間は、補正量cを姿勢変動量に基づいて設定する。表示処理装置30は、姿勢変動量が第1閾値aよりも大きい期間に、表示位置を基準位置P0に戻す。
 具体的には、姿勢変動量は移動体の角速度である。本実施形態の表示システム100は、像を表す光を投影する投影装置10をさらに含む。本実施形態において、移動体は車両200であり、像は車両200のフロントガラスの前方に表示される虚像である。
 補正処理装置50の閾値設定部52aが、車速に応じて第1閾値aの大きさを変更するため、像の位置ずれを精度良く抑制することができる。具体的には、閾値設定部52aは、図4A及び図4Bのように車速が速いほど第1閾値aが大きくなるように、第1閾値aを設定する。これにより、車速と姿勢変動量によって振動振幅(ずれ量)を判定(推定)することが可能となり、振動振幅が補正範囲内のときは位置ずれ補正を実施し、振動振幅が補正範囲を超えて位置ずれ補正ができない場合の外景の変化が大きいときに補正値の累積誤差を解消するためのリセットを行う。これにより、位置ずれ補正の精度を維持したまま、累積誤差の解消と見た目の品位を両立した、精度のよい像の位置ずれ補正が可能となる。例えば、車両200が低速で走行し、振動周波数が低い場合であっても、表示位置を基準位置に戻すことが可能になる。また、車両200が高速で走行し、振動周波数が高い場合であっても、角速度に基づく補正量で表示位置を変更することが可能になる。角速度に基づいて表示位置を変更することによって、移動体の姿勢変動による像の位置ずれを精度良く抑制することができる。また、表示位置を基準位置に戻すことにより、補正誤差の累積を低減して、補正誤差の累積に起因する像の位置ずれを抑制することができる。本実施形態によれば、第1閾値aを車速に応じて設定しているため、角速度に基づく補正と補正誤差のリセットとを、走行速度に応じて精度良く両立できる。像の表示位置のずれ量が大きくなるときは表示位置を基準位置に戻しても、視認者は像の表示位置の変化に対して違和感を覚えない。
 具体的には、補正処理装置50は、角速度が第1閾値aよりも大きいときに、補正量cをゼロにリセットする。より具体的には、補正処理装置50は、ずれ量算出部52cと補正量算出部52dとを含む。ずれ量算出部52cは、角速度から移動体の角度を算出する第1の算出部に相当する。補正量算出部52dは、角度を画素数に変換して補正量cを算出する第2の算出部に相当する。
 例えば、ジャイロセンサ41が検出する角速度にはドリフトによる誤差が含まれるため、角速度の積分演算に基づく補正量cの算出を継続すると、その補正量cに含まれる誤差が累積されて大きくなる。しかし、本実施形態は、角速度が第1閾値aより大きいときのずれ量yをオフセット値ofsとして設定することによって、補正量cをゼロにリセットする。これにより、角速度が第1閾値aより大きいときに、虚像Ivの表示位置が基準位置P0にリセットされる。よって、車両姿勢を検出するために用いられるジャイロセンサ41のノイズの累積に起因した表示位置の誤差を、角速度が第1閾値aより大きいときに、解消することができる。これにより、虚像Ivの表示位置を表示させたい位置に戻すことができる。角速度が第1閾値a以下のときの補正量cは、「c=(y-ofs)×G」によって算出される。このオフセット値ofsが、角速度が第1閾値aより大きいときのずれ量yに設定されることで、以後のジャイロセンサ41のノイズに起因した補正誤差の累積が抑制される。
 図13Aでは、オフセット値ofsは角度であったが、オフセット値ofsは画素数であってもよい。図13Bは、第1実施形態における補正制御部52の機能的構成の別の例を示している。例えば、図13Bに示すように、補正量算出部52dは、補正量cを「c=y×G-ofs」により算出する。この場合、補正量算出部52dは、角速度が第1閾値aより大きいときの「y×G」をオフセット値ofsとして設定する(ofs=y×G)。これにより、角速度が第1閾値aより大きいときの補正量cがゼロにリセットされてもよい。
(第2実施形態)
 第1実施形態では、補正処理装置50の補正量算出部52dは、オフセット値ofsによって調整された補正量cを出力し、表示処理装置30は、虚像Ivの表示位置を「基準位置P0+補正量c」に設定した。本実施形態では、補正量算出部52dは、補正量cとオフセット値ofsをそれぞれ出力する。すなわち、本実施形態では、補正量cはオフセット値ofsにより調整されない。表示処理装置30は、虚像Ivの表示位置を「基準位置P0+オフセット値ofs+補正量c」に設定する。
 図14は、表示処理装置30の表示制御部32が行う表示処理を示している。第2実施形態の図14のステップS301~S305,S308,S309は、第1実施形態の図11のステップS101~S105,S108,S109と同一である。
 本実施形態では、表示制御部32は、虚像を表示させるときに、補正量cと共にオフセット値ofsを補正処理装置50から取得する(S306)。表示制御部32は、基準位置P0とオフセット値ofsと補正量cとに基づいて、投影装置10に虚像Ivを表示させる(S307)。具体的には、表示制御部32は、基準位置P0とオフセット値ofsとから、新たな基準位置P0’を「P0’=P0+ofs」により設定する。オフセット値ofsで調整される前の基準位置P0を初期位置とも称する。オフセット値ofsは、初期位置からのシフト量に相当する。表示制御部32は、虚像Ivの表示位置を「新たな基準位置P0’+補正量c」に設定して、投影装置10に虚像Ivを表示させる。
 図15及び図16を参照して、第2実施形態における補正処理装置50の補正制御部52の動作について説明する。図15は、補正処理装置50の補正制御部52が行う補正処理を示している。第2実施形態の図15のステップS401,S402,S404~S406,S409は、第1実施形態の図12のステップS201~S205,S209とそれぞれ同一である。図16は、第2実施形態における補正制御部52の機能的構成を示している。
 本実施形態では、補正量算出部52dは、ずれ量yに基づいて、「c=y×G」により、補正量cを算出する(S403)。
 補正量算出部52dは、角速度が第1閾値aより大きいときの補正量cに基づいてオフセット値ofsを設定する(ofs=-c)(S407)。本実施形態のオフセット値ofsは、画素数に相当する。オフセット値ofsの初期値は、例えばゼロである。
 補正量算出部52dは、ステップS403で算出した補正量cと、ステップS407で設定したオフセット値ofsを表示処理装置30に出力する(S408)。
 以上のように、本実施形態では、表示処理装置30が、基準位置P0とオフセット値ofsと補正量cとに基づいて、像の表示位置を制御する。補正処理装置50は、角速度が第1閾値aよりも大きいときの補正量cに基づいてオフセット値ofsを設定する。
 角速度が第1閾値aより大きいときの補正量cに基づいてオフセット値ofsが設定されることにより、表示制御部32による新たな基準位置P0’(=P0+ofs)と補正量cとに基づく表示位置は、第1実施形態の表示位置と実質的に同一となる。よって、本実施形態によれば、第1実施形態と同一の効果が得られる。
(第3実施形態)
 第1実施形態では、補正制御部52は、角速度が第1閾値aより大きいときに補正量cをゼロにリセットした。本実施形態では、補正制御部52は、角速度が第1閾値aより大きいときに、補正量cの大きさを所定量小さくする。
 図17は、第3実施形態における補正処理装置50の補正制御部52が行う補正処理を示している。第3実施形態の図17のステップS501,S502,S504~S506,S509,S510は、第1実施形態の図12のステップS201~S205,S208,S209とそれぞれ同一である。
 補正制御部52は、ずれ量yに基づいて、虚像Ivの表示位置の補正量cを、例えば、「c=y×G」により算出する(S503)。判定部52bが、角速度が第1閾値a以下と判断した場合は(S506でYes)、補正量算出部52dは、ステップS503で算出した補正量cを出力する(S509)。
 判定部52bが、角速度が第1閾値aよりも大きいと判断した場合(S506でNo)、補正量算出部52dは、ステップS503で算出した補正量cがゼロか否かを判断する(S507)。なお、補正量cがゼロか否かの判断は、判定部52bが行ってもよい。
 補正量cがゼロでなければ(ステップS507でNo)、補正量算出部52dは、補正量cがゼロに近づくように、補正量cの大きさを所定量小さくする(S508)。例えば、補正量算出部52dが、ステップS503で算出した補正量cから所定量qpxを減算して、ステップS509において「c-qpx」を出力する。別の例では、補正量算出部52dは、ずれ量yから所定量qdegを減算して、「c=(y-qdeg)×G」により補正量cを算出してもよい。さらに別の例では、補正量算出部52dは、図13Aに示す補正量cの算出において、所定量qdegをオフセット値ofsとして設定してもよい。補正量算出部52dは、図13Bに示す補正量cの算出において、所定量qpxをオフセット値ofsとして設定してもよい。所定量qpx,qdegは、ずれ量y又は補正量cの大きさに応じて設定されてもよい。例えば、所定量qpxは、補正量cがゼロより大きい値となるように、補正量cよりも小さな値に設定される。所定量qpx,qdegの大きさは、虚像Ivの表示領域220内の表示位置に応じて、設定されてもよい。補正量cがゼロであれば(ステップS507でYes)、ステップS508を実行せずに、ステップS509に進む。
 補正量算出部52dは、ステップS503で算出した補正量c又はステップS508で算出した補正量cを表示処理装置30に出力する(S509)。
 以上のように補正処理装置50は、補正処理のサンプリング周期ごとに補正量cを算出し、角速度が第1閾値aよりも大きいときに、補正量cを所定量だけ小さくする。このようにして、補正量を更新しながら補正量を一定量小さくすることで、虚像Ivの位置が急に大きく変わらない。よって、乗員Dが、虚像Ivの表示位置の変化に対して違和感を覚えることを抑制することができる。すなわち、表示位置のシフトによる見た目の違和感を抑制することができる。さらに、累積誤差も抑制することができる。
(第4実施形態)
 角速度が第1閾値aより大きいときに、第1実施形態では補正量cをゼロにリセットし、第3実施形態では補正量cの大きさを所定量小さくした。本実施形態では、ずれ量から算出した補正量cの大きさに応じて、補正量cを調整する。具体的には、補正量cが、第2閾値b以上の場合は補正量cを所定量小さくし、補正量cが第2閾値b未満のときは、補正量cをゼロにリセットする。第2閾値bは、補正量cの閾値である。
 図18は、第4実施形態における補正処理を示している。第4実施形態の図18に示す補正処理は、第1実施形態の図12に示す補正処理及び第3実施形態の図17に示す補正処理を組み合わせたものである。
 本実施形態では、角速度が第1閾値aより大きい場合(S506でNo)、補正量算出部52dは、ステップS503で算出したずれ量yに基づく補正量cが第2閾値b以上か否かを判断する(S517)。ステップS517の判断は、判定部52bが行ってもよい。
 補正量cが第2閾値b以上であれば(ステップS517でYes)、補正量算出部52dは補正量cを所定量小さくする(S508)。
 補正量cが第2閾値bより小さければ(ステップS517でNo)、補正量算出部52dは、補正量cをゼロにリセットする(S518)。
 以上のように、補正処理装置50は、補正処理のサンプリング周期ごとに補正量cを算出し、角速度が第1閾値aよりも大きい場合であって、補正量cが第2閾値b以上のときは補正量cがゼロに近づくように補正量cを所定量小さくし、補正量cが第2閾値bよりも小さいときは補正量cをゼロにリセットする。このように、補正量cを更新しながら補正量を一定量小さくし、ある程度小さくなるとリセットすることで、表示位置の補正及び累積誤差の解消を車両200の姿勢の傾きに応じて、見た目に違和感なく行うことができる。
(第5実施形態)
 本実施形態では、補正量cをゼロにリセットする方法が第1実施形態と異なる。第1実施形態の図13A及び図13Bでは、補正量算出部52dが補正量cをゼロにリセットした。本実施形態では、ずれ量算出部52cがずれ量yをゼロにリセットすることによって、補正量cをゼロにリセットする。
 図19は、第5実施形態の表示システム100の内部構成を示すブロック図である。本実施形態では、判定部52bの判定結果がずれ量算出部52cに出力される。
 図20は、第5実施形態の補正制御部52が行う補正処理を示している。第5実施形態の図20のステップS601~S605,S608,S609は、第1実施形態の図12のステップS201,S203~S205,S202,S208,S209とそれぞれ同一である。図21Aは、第5実施形態の補正制御部52の機能的構成を示している。
 判定部52bが角速度が第1閾値a以下であると判断したときは(S604でYes)、ずれ量算出部52cは、角速度に基づいて、「y=y’+x」によりずれ量yを算出する(S605)。本実施形態では、判定部52bが角速度が第1閾値aより大きいと判断すると(S604でNo)、ずれ量算出部52cは、ずれ量yをゼロにリセットする(S606)。
 例えば、図21Aに示すように、ずれ量算出部52cは、x=0且つy’=0として、「y=0」を出力する。「x=0」且つ「y’=0」とすることで、ずれ量算出部52cにおける積分フィルタがリセットされる。これにより、ずれ量算出部52cにおける積分演算の誤差の累積が解消される。
 補正量算出部52dは、ステップS605又はステップS606で算出されたずれ量に基づいて、「c=y×G」により、補正量cを算出する(S607)。角速度が第1閾値aより大きいときは、ずれ量算出部52cからゼロが出力されるため、補正量算出部52dは「c=0×G」を算出することになる。これにより、補正量cがゼロにリセットされる。
 なお、別の方法でずれ量をゼロにリセットしてもよい。図21Bは、第5実施形態の補正制御部52の機能的構成の別の例を示している。この例では、ずれ量算出部52cは、ずれ量yとオフセット値ofsとの差分「y-ofs」を補正量算出部52dに出力する。図21Bのオフセット値ofsは、図13Aのオフセット値ofsと同一である。角速度が第1閾値aより大きいときのずれ量yがオフセット値ofsとして設定される(ofs=y)。これにより、角速度が第1閾値aより大きいときの補正量cがゼロにリセットされる。角速度が第1閾値aより大きいときのずれ量yをオフセット値ofsとして設定することによって、ずれ量算出部52cにおける積分演算の誤差の累積が解消される。
 以上のように、本実施形態では、角速度が第1閾値aよりも大きいときは、ずれ量算出部52cがずれ量をゼロにリセットする。これにより、補正量cがゼロにリセットされる。本実施形態によれば、第1実施形態と同等の効果が得られる。
(第6実施形態)
 角速度が第1閾値aより大きいときに、第3実施形態では補正量cを所定量小さくしていた。本実施形態では、角速度が第1閾値aよりも大きい間、一定時間をかけてゼロに徐々にリセットする。
 図22は、第6実施形態における補正処理を示している。第6実施形態の図22のステップS701~S707、S711、S713は、第3実施形態の図17のステップS501~S507、S509、S510とそれぞれ同一である。
 補正制御部52は、ずれ量yに基づいて、虚像Ivの表示位置の補正量cを、例えば、「c=y×G」により算出する(S703)。判定部52bが、角速度が第1閾値a以下と判断した場合は(S706でYes)、補正量算出部52dは、ステップS703で算出した補正量cを出力する(S711)。
 判定部52bが、角速度が第1閾値aよりも大きいと判断した場合(S706でNo)、補正量算出部52dは、ステップS703で算出した補正量cがゼロか否かを判断する(S707)。なお、補正量cがゼロか否かの判断は、判定部52bが行ってもよい。
 補正量算出部52dが補正量cがゼロでないと判断した場合(ステップS707でNo)、補正量算出部52dは、リセット開始フラグがONに設定されているか判断する(S708)。補正量算出部52dが、リセット開始フラグがONに設定されていないと判断すると(S708でNo)、補正量算出部52dは、リセット開始フラグをONに設定し、第2オフセット量ofs2を算出する(S709)。次に、補正量算出部52dは、補正量cを、算出した第2オフセット量ofs2だけ小さくする(S710)。補正量算出部52dは、小さくした補正量cを表示処理装置30に出力する(S711)。
 次に、ステップS707に戻って、再び、補正量算出部52dは、補正量cがゼロか否かを判断する。補正量算出部52dが、補正量cがゼロでないと判断すると(S707でNo)、補正量算出部52dは、リセット開始フラグがONに設定されているか判断する。リセット開始フラグがONに設定されていれば(S708でYes)、再び補正量cをオフセット量ofs2だけ小さくする(S710)。このようにして、徐々に補正量cを小さくする。
 例えば、時刻t1でリセット開始フラグがONに設定されると、リセット開始フラグがONに設定されている間は、補正量Cが徐々に小さくなり、時刻t1からリセット時間Δt1後の時刻t4で補正量が0になる。なお、リセット時間Δt1を予め設定しておき、サンプリング周期tsとリセット開始時の補正量c1から、1サンプリング(フローチャートのS707~S711までの1サイクル)での第2オフセット量ofs2をc1×ts/Δt1として、c1×ts/Δt1ずつ補正量を小さくしてもよい。
 補正量cがゼロになると、補正量算出部52dがステップS707における判断で補正量cがゼロであることを判断し(S707でYes)、リセット開始フラグをOFFに設定する(S712)。補正量算出部52dは、ステップS703で算出した補正量c又はステップS704~S710で繰り返し小さくされてゼロとなった補正量cを表示処理装置30に出力する(S711)。
 以上のように補正処理装置50は、角速度が第1閾値aよりも大きくなったときに、補正量cを一定時間かけて徐々に小さくするので、虚像Ivの位置が徐々に初期位置P0に戻る。虚像Ivの位置が急に大きく変わらないので、乗員Dが、虚像Ivの表示位置の変化に対して違和感を覚えることを抑制することができる。すなわち、表示位置のシフトによる見た目の違和感を抑制することができる。
(第7実施形態)
 角速度が第1閾値aよりも大きい場合で、補正量が第2閾値b以上のときに、第4実施形態では補正量算出部52dが、補正量cを所定量小さくしていた。本実施形態では、補正量cが第2閾値b以上の場合は補正量cを徐々に小さくし、補正量cが第2閾値b未満の場合は補正量をゼロにリセットする。
 図23は、第7実施形態における補正処理を示している。第7実施形態の図23のステップS801~S807、S811、S813は、第4実施形態の図18のステップS501~S517,S509、S510とそれぞれ同一である。また、第7実施形態の図23のステップS808~S810は、第6実施形態の図22のステップS708~S710とそれぞれ同一である。
 本実施形態では、角速度が第1閾値aより大きい場合(S806でNo)、補正量算出部52dは、ステップS803で算出したずれ量yに基づく補正量cが第2閾値b以上か否かを判断する(S807)。ステップS807の判断は、判定部52bが行ってもよい。
 補正量cが第2閾値b以上であれば(ステップS807でYes)、補正量算出部52dは、リセット開始フラグがONに設定されているか判断する(S808)。補正量算出部52dが、リセット開始フラグがONに設定されていないと判定すると(S808でNo)、補正量算出部52dは、リセット開始フラグをONに設定し、第2オフセット量ofs2を算出する(S809)。次に、補正量算出部52dは、補正量cを、算出した第2オフセット量ofs2だけ小さくする(S810)。補正量算出部52dは、小さくした補正量cを表示処理装置30に出力する(S711)。
 次に、ステップ807に戻って、再び、補正量算出部52dは、補正量cがゼロか否かを判断する。補正量算出部52dが、補正量cが第2閾値b以上であると判断すると(S807でYes)、補正量算出部52dは、リセット開始フラグがONに設定されているか判断する(S808)。リセット開始フラグがONに設定されていれば(S808でYes)、再び補正量cをオフセット量ofs2だけ小さくする(S810)。このようにして、徐々に補正量cを小さくし、補正量cが第2閾値b未満になると、補正量算出部52dがステップS807における判断で補正量cが第2閾値b未満であることを判断し(S807でNo)、補正量算出部52dは補正量cをゼロにリセットする(S814)。その後、補正量算出部52dは、リセット開始フラグをOFFに設定する(S812)。
 例えば、時刻t1でリセット開始フラグがONに設定されると、リセット開始フラグがONに設定されている間は、補正量が徐々に小さくなり、時刻t1からリセット時間Δt2後の時刻t5で補正量が第2閾値b未満になる。なお、リセット時間Δt2を予め設定しておき、サンプリング周期tsとリセット開始時の補正量c1から、1サンプリング(フローチャートのS807~S811までの1サイクル)でのオフセット量を(C1-b)×ts/Δt2として、(C1-b)×ts/Δt2ずつ補正量を小さくしてもよい。補正量cが第2閾値b未満であれば、補正量cはゼロに即時リセットされる。
 以上のように、補正処理装置50は、角速度が第1閾値aよりも大きい場合であって、補正量cが第2閾値b以上のときは補正量cがゼロに近づくように補正量cを一定量ずつ小さくし、補正量cが第2閾値bよりも小さいときは補正量cをゼロにリセットする。これにより、表示位置の補正及び累積誤差の解消を見た目に違和感なく行うことができる。 
(第8実施形態)
 第1実施形態~第7実施形態は、車両のフロントガラスの前方に虚像を表示する表示システム100について説明した。しかし、本開示による像の表示位置の補正は、複数の装置を備えた表示システム100に限らず、単体の装置によって実現してもよい。
 図24は、第8実施形態における表示装置の構成を示している。本実施形態の表示装置600は、例えば、車両200の走行に応じて画像を表示する装置である。表示装置600は、例えば、パソコン、タブレット端末、及びスマートフォン等の種々の情報処理装置である。表示装置600は、例えば、図2の表示システム100の表示処理装置30と補正処理装置50とが一体的に形成された機器に相当する。
 表示装置600は、通信部61、制御部62、記憶部63、操作部64、及び表示部65を備える。
 通信部61は、通信部31又は通信部51と同等の機能又は構造を有する。
 制御部62は、表示制御部32及び補正制御部52と同等の機能又は構造を有する。具体的には、制御部62は、閾値設定部62a、判定部62b、ずれ量算出部62c、補正量算出部62d、及び表示制御部62eを備える。本実施形態における閾値設定部62a、判定部62b、ずれ量算出部62c、補正量算出部62d、及び表示制御部62eは、それぞれ、第1実施形態~第7実施形態の閾値設定部52a、判定部52b、ずれ量算出部52c、補正量算出部52d、及び表示制御部32に対応する。
 記憶部63は、記憶部33及び記憶部53に対応し、画像データ330及び閾値データ530を格納する。
 操作部64は、ユーザによる種々の操作を入力するユーザインタフェースである。例えば、操作部64は、表示部65の表面に設けられたタッチパネルである。操作部64は、タッチパネル以外に、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現してもよい。
 表示部65は、例えば、液晶ディスプレイ又は有機ELディスプレイで構成される。表示部65は、例えば、表示制御部62eが指定した「基準位置P0+補正量c」で示される表示位置に、画像データ330が示す画像を表示する。
 表示装置600はプロジェクタに接続されてもよいし、プロジェクタに組み込まれても良い。表示部65は、投影装置10に相当する機能又は構造を備えてもよい。
 以上のように、表示装置600は、取得部、表示部65、及び制御部62を備える。例えば、通信部61が、移動体の速度を示す速度情報と、移動体の姿勢変動量を示す変動量情報とを取得する取得部に相当する。表示部65は、基準位置と補正量とに基づく表示位置に像を表示する。制御部62は、速度及び姿勢変動量に基づいて、補正量を設定する。具体的には、制御部62は、速度に基づいて閾値を設定する。制御部62は、姿勢変動量が閾値以下である期間は、補正量を姿勢変動量に基づいて設定し、姿勢変動量が閾値よりも大きい期間に、表示位置を基準位置に戻す。
 本実施形態によれば、第1実施形態と同等の効果が得られる。
(他の実施形態)
 以上のように、本出願において開示する技術の例示として、第1実施形態から第8実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第1実施形態~第8実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
 第1実施形態~第7実施形態では、速度情報は、表示処理装置30を介して、情報取得装置20から補正処理装置50に出力された。しかし、情報取得装置20は、補正処理装置50に、直接、速度情報を出力してもよい。
 上記実施形態では、情報取得装置20は、車速センサ23により、車両200の速度を示す速度情報を取得した。しかし、車両200の速度は、車速センサ23に限らず、別の機器から又は別の方法で取得してもよい。例えば、GPSモジュール21により得られる位置情報から速度が算出されてもよい。加速度センサなどから得られる車両200の加速度から速度が算出されてもよい。
 上記実施形態では、情報取得装置20が、GPSモジュール21、カメラ22、及び車速センサ23を含む例について説明した。しかし、情報取得装置20は、車両200から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置30に出力してもよい。情報取得装置20は、ナビゲーションシステムを含んでもよい。情報取得装置20は、GPSモジュール21、距離センサ、カメラ22、画像処理装置、加速度センサ、レーダー、音波センサ、及びADAS(Advanced Driver-Assistance Systems)の白線検知装置などのうち、1つ以上を含んでもよい。情報取得装置20としての機能を有するGPSモジュール21、距離センサ、カメラ22、及び車速センサ23などは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。また、車速情報とは、車両200の速度を判断できる全ての情報を含む。
 上記実施形態では、姿勢検出装置40がジャイロセンサ41を含む例について説明した。しかし、姿勢検出装置40は、車両200の加速度を検出する加速度センサを含んでもよく、検出した加速度を姿勢変動情報として出力してもよい。姿勢検出装置40は、路面からの高さを検出する車高センサを含んでもよく、検出した高さを姿勢変動情報として出力してもよい。姿勢検出装置40は、他の公知のセンサを含んでもよい。姿勢検出装置40は、ジャイロセンサ41、加速度センサ、及び車速センサなどのうちの1つ以上を含んでもよい。この場合、姿勢検出装置40としての機能を有するジャイロセンサ41、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。
 第1実施形態~第7実施形態では、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び補正処理装置50がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置30と補正処理装置50が一つの装置として一体的に形成されてもよい。情報取得装置20と表示処理装置30とが一つの装置として一体的に形成されてもよい。姿勢検出装置40と補正処理装置50が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び補正処理装置50の全てが一つの装置として形成されてもよい。この場合、通信部31,51はなくてもよい。
 上記実施形態では、移動体が、自動車などの車両200である場合について説明した。しかし、移動体は車両200に限らない。移動体は、人が乗る乗り物であってもよく、例えば、飛行機又は船であってもよい。移動体は、無人機であってもよい。移動体は、走行するようなものではなく、振動するものであってもよい。
 第1実施形態~第7実施形態では、表示システム100がHUDシステムである例について説明した。しかし、表示システム100はHUDシステムでなくてもよい。表示システム100は、投影装置10に代えて、液晶ディスプレイ又は有機ELディスプレイを備えてもよい。表示システム100は、スクリーン及びプロジェクタを含んでもよい。
 上記実施形態では、移動体の角速度を閾値と比較することによって、表示位置をリセットしたが、移動体の角度と閾値との比較により、表示位置をリセットしてもよい。
 上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
(実施形態の概要)
 (1)本開示の表示システムは、移動体の速度を示す速度情報を取得する取得装置と、移動体の姿勢変動量を検出する検出装置と、基準位置と補正量とに基づいて、像の表示位置を制御する表示処理装置と、速度及び姿勢変動量に基づいて、補正量を設定する補正処理装置と、を備え、補正処理装置は、前記速度と前記姿勢変動量に基づいて前記補正量が所定量以上となるか否かを推定し、前記推定結果に基づいて、前記補正量を調整する。
 これにより、像の位置ずれを精度良く抑制することができる。例えば、移動体の速度に関わらず、姿勢変動の振動振幅が補正範囲(閾値)を超える場合にリセットして、姿勢変動の振動振幅が補正範囲内の時は補正を実施することで補正とリセットとリセット時の品位を両立した精度の良い位置ずれ補正を実現することができる。例えば、姿勢変動量に基づいて表示位置を変更することによって、姿勢変動による像の位置ずれを精度良く抑制することができる。表示位置を基準位置に戻すことにより、補正誤差の累積に起因する像の位置ずれを抑制することができる。
 (2)(1)の表示システムにおいて、補正処理装置は、速度に基づいて第1閾値を設定し、姿勢変動量が第1閾値以下である期間は、補正量を姿勢変動量に基づいて設定し、表示処理装置は、姿勢変動量が第1閾値よりも大きい期間に、表示位置を基準位置に戻す。表示位置を基準位置に戻すことにより、補正誤差の累積に起因する像の位置ずれを抑制することができる。
 (3)(2)の表示システムにおいて、補正処理装置は、速度が速いほど第1閾値が大きくなるように、第1閾値を設定してもよい。
 これにより、例えば、移動体が低速で移動し、振動周波数が低い場合であっても、表示位置を基準位置に戻すことが可能になる。また、移動体が高速で移動し、振動周波数が高い場合であっても、姿勢変動量に基づく補正量で表示位置を変更することが可能になる。
 (4)(3)の表示システムにおいて、姿勢変動量は、移動体の角速度であってもよい。
 これにより、移動体の急な姿勢変動に応じて、表示位置のリセットを行うことができる。
 (5)(4)の表示システムにおいて、補正処理装置は、角速度が第1閾値よりも大きいときに、補正量をゼロにリセットしてもよい。
 (6)(4)の表示システムにおいて、補正処理装置は、角速度が第1閾値よりも大きいときに、補正量がゼロに近づくように補正量を所定量小さくしてもよい。
 (7)(4)の表示システムにおいて、補正処理装置は、角速度が第1閾値よりも大きい場合であって、補正量が第2閾値以上のときは補正量がゼロに近づくように補正量を所定量小さくし、補正量が第2閾値よりも小さいときは補正量をゼロにリセットしてもよい。
 (8)(5)の表示システムにおいて、補正処理装置は、角速度から移動体の角度を算出する第1の算出部と、角度を画素数に変換して補正量を算出する第2の算出部と、を含み、第2の算出部は、角度と所定角度との差分又は画素数と所定画素数との差分に基づいて、補正量を算出し、角速度が第1閾値よりも大きいときの補正量がゼロとなるように、所定角度又は所定画素数を設定してもよい。
 (9)(5)の表示システムにおいて、補正処理装置は、角速度から移動体の角度を算出する第1の算出部と、角度を画素数に変換して補正量を算出する第2の算出部と、を含み、第1の算出部は、角速度が第1閾値よりも大きいときは、角度をゼロにリセットしてもよい。
 (10)(4)の表示システムにおいて、表示処理装置は、基準位置及び補正量と、シフト量とに基づいて像の表示位置を制御し、補正処理装置は、角速度が第1閾値よりも大きいときの補正量に基づいてシフト量を設定してもよい。
 (11)(1)の表示システムは、像を表す光を投影する投影装置をさらに含んでもよい。
 (12)(11)の表示システムにおいて、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像であってもよい。
 (13)本開示の表示装置は、移動体の速度を示す速度情報と、移動体の姿勢変動量を示す変動量情報とを取得する取得部と、基準位置と補正量とに基づく表示位置に像を表示する表示部と、速度及び姿勢変動量に基づいて、補正量を設定する制御部と、を備え、制御部は、速度に基づいて閾値を設定し、姿勢変動量が閾値以下である期間は、補正量を姿勢変動量に基づいて設定し、姿勢変動量が閾値よりも大きい期間に、表示位置を基準位置に戻す。
 (14)本開示の表示制御方法は、コンピュータの演算部が行う表示制御方法であって、移動体の速度を示す速度情報と、移動体の姿勢変動量を示す変動量情報とを取得するステップと、基準位置と補正量とに基づいて像の表示位置を制御するステップと、を含み、表示位置を制御するステップは、速度に基づいて閾値を設定し、姿勢変動量が閾値以下である期間は、補正量を姿勢変動量に基づいて設定し、姿勢変動量が閾値よりも大きい期間に、表示位置を基準位置に戻すことを含む。
 本開示の全請求項に記載の表示システム、表示装置、及び表示制御方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
 本開示は、虚像を車両のフロントガラスの前方に表示する表示装置及び表示システムに適用可能である。
  10   投影装置
  20   情報取得装置
  21   GPSモジュール
  22   カメラ
  23   車速センサ
  30   表示処理装置
  31   通信部
  32   表示制御部
  33   記憶部
  40   姿勢検出装置
  41   ジャイロセンサ
  50   補正処理装置
  51   通信部
  52   補正制御部
  52a  閾値設定部
  52b  判定部
  52c  ずれ量算出部
  52d  補正量算出部
  53   記憶部
  100  表示システム
  600  表示装置

Claims (14)

  1.  移動体の速度を示す速度情報を取得する取得装置と、
     前記移動体の姿勢変動量を検出する検出装置と、
     基準位置と補正量とに基づいて、像の表示位置を制御する表示処理装置と、
     前記速度及び前記姿勢変動量に基づいて、前記補正量を設定する補正処理装置と、
     を備え、
     前記補正処理装置は、
     前記速度と前記姿勢変動量に基づいて前記補正量が所定量以上となるか否かを推定し、前記推定結果に基づいて、前記補正量を調整する、
     表示システム
  2.  前記補正処理装置は、
      前記速度に基づいて第1閾値を設定し、
      前記姿勢変動量が前記第1閾値以下である期間は、前記補正量を前記姿勢変動量に基づいて設定し、
     前記表示処理装置は、
      前記姿勢変動量が前記第1閾値よりも大きい期間に、前記表示位置を前記基準位置に戻す、
     請求項1に記載の表示システム。
  3.  前記補正処理装置は、前記速度が速いほど前記第1閾値が大きくなるように、前記第1閾値を設定する、
     請求項2に記載の表示システム。
  4.  前記姿勢変動量は、前記移動体の角速度である、
     請求項3に記載の表示システム。
  5.  前記補正処理装置は、前記角速度が前記第1閾値よりも大きいときに、前記補正量をゼロにリセットする、
     請求項4に記載の表示システム。
  6.  前記補正処理装置は、前記角速度が前記第1閾値よりも大きいときに、前記補正量がゼロに近づくように前記補正量を所定量小さくする、
     請求項4に記載の表示システム。
  7.  前記補正処理装置は、前記角速度が前記第1閾値よりも大きい場合であって、前記補正量が第2閾値以上のときは前記補正量がゼロに近づくように前記補正量を所定量小さくし、前記補正量が前記第2閾値よりも小さいときは前記補正量をゼロにリセットする、
     請求項4に記載の表示システム。
  8.  前記補正処理装置は、
      前記角速度から前記移動体の角度を算出する第1の算出部と、
      前記角度を画素数に変換して前記補正量を算出する第2の算出部と、
     を含み、
     前記第2の算出部は、
      前記角度と所定角度との差分又は前記画素数と所定画素数との差分に基づいて、前記補正量を算出し、
      前記角速度が前記第1閾値よりも大きいときの前記補正量がゼロとなるように、前記所定角度又は前記所定画素数を設定する、
     請求項5に記載の表示システム。
  9.  前記補正処理装置は、
      前記角速度から前記移動体の角度を算出する第1の算出部と、
      前記角度を画素数に変換して前記補正量を算出する第2の算出部と、
     を含み、
     前記第1の算出部は、前記角速度が前記第1閾値よりも大きいときは、前記角度をゼロにリセットする、
     請求項5に記載の表示システム。
  10.  前記表示処理装置は、前記基準位置及び前記補正量と、シフト量とに基づいて前記像の表示位置を制御し、
     前記補正処理装置は、前記角速度が前記第1閾値よりも大きいときの前記補正量に基づいて前記シフト量を設定する、
     請求項4に記載の表示システム。
  11.  前記像を表す光を投影する投影装置をさらに含む、
     請求項1に記載の表示システム。
  12.  前記移動体は、車両であり、
     前記像は、前記車両のフロントガラスの前方に表示される虚像である、
     請求項11に記載の表示システム。
  13.  移動体の速度を示す速度情報と、前記移動体の姿勢変動量を示す変動量情報とを取得する取得部と、
     基準位置と補正量とに基づく表示位置に像を表示する表示部と、
     前記速度及び前記姿勢変動量に基づいて、前記補正量を設定する制御部と、
     を備え、
     前記制御部は、
      前記速度に基づいて閾値を設定し、
      前記姿勢変動量が前記閾値以下である期間は、前記補正量を前記姿勢変動量に基づいて設定し、
      前記姿勢変動量が前記閾値よりも大きい期間に、前記表示位置を前記基準位置に戻す、
     表示装置。
  14.  コンピュータの演算部が行う表示制御方法であって、
     移動体の速度を示す速度情報と、前記移動体の姿勢変動量を示す変動量情報とを取得するステップと、
     基準位置と補正量とに基づいて像の表示位置を制御するステップと、
     を含み、
     前記表示位置を制御するステップは、
      前記速度に基づいて閾値を設定し、
      前記姿勢変動量が前記閾値以下である期間は、前記補正量を前記姿勢変動量に基づいて設定し、
      前記姿勢変動量が前記閾値よりも大きい期間に、前記表示位置を前記基準位置に戻すこと、
     を含む、表示制御方法。
PCT/JP2019/040677 2018-10-16 2019-10-16 表示システム、表示装置、及び表示制御方法 WO2020080405A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980038110.8A CN112218778A (zh) 2018-10-16 2019-10-16 显示系统、显示装置以及显示控制方法
JP2020553233A JP7394306B2 (ja) 2018-10-16 2019-10-16 表示システム、表示装置、及び表示制御方法
EP19872634.1A EP3868594B1 (en) 2018-10-16 2019-10-16 Display system, display device and display control method
US17/132,159 US11482195B2 (en) 2018-10-16 2020-12-23 Display system, display device and display control method for controlling a display position of an image based on a moving body

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018194826 2018-10-16
JP2018-194826 2018-10-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/132,159 Continuation US11482195B2 (en) 2018-10-16 2020-12-23 Display system, display device and display control method for controlling a display position of an image based on a moving body

Publications (1)

Publication Number Publication Date
WO2020080405A1 true WO2020080405A1 (ja) 2020-04-23

Family

ID=70284364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040677 WO2020080405A1 (ja) 2018-10-16 2019-10-16 表示システム、表示装置、及び表示制御方法

Country Status (5)

Country Link
US (1) US11482195B2 (ja)
EP (1) EP3868594B1 (ja)
JP (1) JP7394306B2 (ja)
CN (1) CN112218778A (ja)
WO (1) WO2020080405A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020241094A1 (ja) * 2019-05-31 2020-12-03

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005262956A (ja) * 2004-03-17 2005-09-29 Nissan Motor Co Ltd 視界調整装置及び視界調整方法
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2017087826A (ja) * 2015-11-05 2017-05-25 アルパイン株式会社 電子装置
JP2018140714A (ja) * 2017-02-28 2018-09-13 株式会社デンソー 表示制御装置及び表示制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
US8730319B2 (en) * 2010-07-09 2014-05-20 Kabushiki Kaisha Toshiba Display device, image data generating device, image data generating program, and display method
JP5640959B2 (ja) * 2011-11-29 2014-12-17 トヨタ自動車株式会社 走行判定装置、走行判定方法、プログラム及び媒体
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
EP3061642B1 (en) * 2013-10-22 2019-10-02 Nippon Seiki Co., Ltd. Vehicle information projection system, and projection device
DE102016203185A1 (de) * 2015-03-11 2016-09-15 Hyundai Mobis Co., Ltd. Head-Up-Display und Steuerverfahren dafür
KR20170060652A (ko) * 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
US10302953B2 (en) * 2015-12-11 2019-05-28 Volvo Truck Corporation Adjustable head-up display arrangement for a vehicle
CN108473055B (zh) * 2016-02-05 2021-02-26 麦克赛尔株式会社 平视显示器装置
CN109643021B (zh) * 2016-08-29 2024-05-07 麦克赛尔株式会社 平视显示装置
US10922886B2 (en) * 2016-09-23 2021-02-16 Apple Inc. Augmented reality display
US20180254001A1 (en) * 2017-03-01 2018-09-06 Doron Koren Augmented reality advertising system with smart phone interoperability
JP6731644B2 (ja) * 2017-03-31 2020-07-29 パナソニックIpマネジメント株式会社 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
WO2019168157A1 (ja) 2018-03-02 2019-09-06 パナソニックIpマネジメント株式会社 表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005262956A (ja) * 2004-03-17 2005-09-29 Nissan Motor Co Ltd 視界調整装置及び視界調整方法
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2017087826A (ja) * 2015-11-05 2017-05-25 アルパイン株式会社 電子装置
JP2018140714A (ja) * 2017-02-28 2018-09-13 株式会社デンソー 表示制御装置及び表示制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3868594A4

Also Published As

Publication number Publication date
EP3868594A1 (en) 2021-08-25
JPWO2020080405A1 (ja) 2021-09-24
EP3868594A4 (en) 2021-12-15
US11482195B2 (en) 2022-10-25
US20210110796A1 (en) 2021-04-15
CN112218778A (zh) 2021-01-12
JP7394306B2 (ja) 2023-12-08
EP3868594B1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US20210109357A1 (en) Display system, display device and display control method
US11305692B2 (en) Display system
US20190241070A1 (en) Display control device and display control method
KR20180038154A (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
US11945309B2 (en) Display system
WO2020080405A1 (ja) 表示システム、表示装置、及び表示制御方法
US20210109358A1 (en) Display system
WO2019168157A1 (ja) 表示システム
US20210407466A1 (en) Display system
WO2020208883A1 (ja) 表示システム
WO2021251116A1 (ja) 表示システム
US11945310B2 (en) Display system
WO2021251117A1 (ja) 表示システム、及び、振動検出システム
US11982817B2 (en) Display system
JP2021072455A (ja) 投影システム
JP2020179745A (ja) 表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19872634

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553233

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019872634

Country of ref document: EP

Effective date: 20210517