JP2024069283A - 表示装置 - Google Patents
表示装置 Download PDFInfo
- Publication number
- JP2024069283A JP2024069283A JP2024031175A JP2024031175A JP2024069283A JP 2024069283 A JP2024069283 A JP 2024069283A JP 2024031175 A JP2024031175 A JP 2024031175A JP 2024031175 A JP2024031175 A JP 2024031175A JP 2024069283 A JP2024069283 A JP 2024069283A
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- display
- information
- cloud information
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 20
- 230000007613 environmental effect Effects 0.000 description 18
- 239000003086 colorant Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000007654 immersion Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241001342895 Chorus Species 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 235000015096 spirit Nutrition 0.000 description 2
- 230000001914 calming effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】没入感を得られ飽きられにくい表示をする表示装置を提供する。【解決手段】表示装置1は、光を照射して、その光の反射光により車両の周囲の地物情報を取得する地物検出センサ2で点群情報を取得し、プロジェクタ4が車両の内部から外部の景色に重畳させて点群情報をフロントガラス20に表示させる。【選択図】図1
Description
本発明は、移動体に搭載される表示装置に関する。
音楽の再生機能を搭載した機器の中には、いわゆるビジュアライザー機能を有するものがある。ビジュアライザー機能は、楽曲などのコンテンツの再生時に、色や形態等が変化する画像によって視覚的な効果を与える機能である(例えば、特許文献1を参照)。
この種の音楽の再生機能を搭載した機器は、移動体として例えば自動車等の車両であればカーオーディオとして搭載されることがある。車両の場合、現状センターコンソール等表示画面の大きさが限定されるので、上記したビジュアライザー機能による視覚的な効果を表示させても没入感が得られにくい。
また、従来のビジュアライザーは、一定の形状を楽曲等に合わせて一定の法則により変化させるものであるため飽きられやすい。また、今後自動運転機能を搭載した車両において、自動運転中の移動時間を乗員が楽しく過ごせるようなコンテンツ等の提供が期待されている。
本発明が解決しようとする課題としては、上述したような没入感を得られ飽きられにくく、移動時間を楽しく過ごせるような表示をすることが一例として挙げられる。
上記課題を解決するために、請求項1に記載の発明は、移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、前記移動体内から現在視認できる外部の景色に含まれる地物と、前記景色に含まれる地物に対応する前記点群情報に基づく地物の表示画像の大きさと、を一致させるように、前記景色に前記表示画像を重畳させて表示面に表示させる表示部と、を備えることを特徴としている。
請求項14に記載の発明は、移動体に搭載される表示装置で実行される表示方法であって、前記移動体内から現在視認できる周囲の地物を複数の点により表した点群情報を取得する点群情報取得工程と、前記移動体の内部から外部の景色に含まれる地物と、前記景色に含まれる地物に対応する前記点群情報に基づく地物の表示画像の大きさと、を一致させるように、前記景色に前記表示画像を重畳させて表示面に表示させる表示工程と、を含むことを特徴としている。
請求項15に記載の発明は、請求項14に記載の表示方法を、コンピュータにより実行させることを特徴としている。
請求項16に記載の発明は、移動体の周囲の地物を撮像した撮像情報を取得する撮像情報取得部と、前記移動体内から現在視認できる外部の景色に含まれる地物と、前記景色に含まれる地物に対応する前記撮像情報に基づく画像内の地物の表示画像の大きさと、を一致させるように、前記景色に前記表示画像を重畳させて表示面に表示させる表示部と、を備えることを特徴としている。
以下、本発明の一実施形態にかかる表示装置を説明する。本発明の一実施形態にかかる表示装置は、点群情報取得部が移動体の周囲の地物を複数の点により表した点群情報を取得する。そして、表示部が移動体の内部から外部の景色に重畳させて点群情報に基づく画像を表示可能な表示面に表示させる。このようにすることにより、点群情報に含まれる点を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に応じた点群情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。
また、光を照射して、その光の反射光により移動体の周囲の地物情報を取得するセンサにより構成されてもよい。このようにすることにより、移動中に取得した周囲の地物の点群情報を景色に合わせてリアルタイムに画像として表示させることができる。したがって、より景色と点群情報との差が少なくなり、より没入感が得られ易くできる。
また、移動体の現在位置を推定する現在位置推定部を備え、点群情報取得部は、現在位置情報取得部が取得した現在位置に基づいて、点群情報を予め記憶する記憶部から取得してもよい。このようにすることにより、センサ等を備えない移動体でも点群情報を表示させることができる。また、点群情報を取得するための処理を省略することができるので、処理の簡素化を図ることができる。
また、楽曲の特徴に関する特徴情報を取得する特徴情報取得部を備え、表示部は、特徴情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、楽曲のテンポ等に合わせて点群情報に含まれる点の表示を変化させることができる。したがって、従来のビジュアライザーよりも没入感を得られるようになる。また、楽曲の特徴情報に応じて点群情報の形状や色等の変化をさせるので、楽曲に合わせて乗員の気分を高揚させたり、気分を落ち着かせたりするような表示をすることができる。
また、移動体の乗員の生体情報を取得する生体情報取得部を備え、表示部は、生体情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、乗員の心拍数や脈拍数等の生体情報により乗員の気分や体調に応じて点群情報に含まれる点の表示を変化させることができる。
また、移動体に関する移動体情報を取得する移動体情報取得部を備え、表示部は、移動体情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、移動体の速度や加速度等の移動体情報に応じて点群情報に含まれる点の表示を変化させることができる。
また、移動体の周囲環境に関する環境情報を取得する環境情報取得部を備え、表示部は、環境情報に基づいて点群情報に基づく画像を変化させて表示面に表示させてもよい。このようにすることにより、例えば天候や時間帯等の環境情報により点群情報に含まれる点の表示を変化させることができる。
また、表示部は、点群情報に含まれる点の色を変化させた画像を表示面に表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて点の色を変化させることができるため、多彩な表示をすることができる。
また、表示部は、点群情報に含まれる点の形態を変化させた画像を表示面に表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて点の色を変化させることができるため、多彩な表示をすることができる。
また、表示部は、点群情報に基づく画像に含まれる点を点滅させて表示面に表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて点を点滅させることができるため、多彩な表示をすることができる。
また、本発明の一実施形態にかかる表示方法は、点群情報取得工程で移動体の周囲の地物を複数の点により表した点群情報を取得する。そして、表示工程で移動体の内部から外部の景色に重畳させて点群情報に基づく画像を表示可能な表示面に表示させる。このようにすることにより、点群情報に含まれる点を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に合わせた点群情報を表示するので、一定のパターンとなることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。
また、上述した表示方法をコンピュータにより実行させる表示プログラムとしてもよい。このようにすることにより、点群情報を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に合わせた点群情報を表示するので、一定のパターンとなることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。
本発明の他の実施形態にかかる表示装置は、撮像情報取得部が移動体の周囲の地物を撮像した撮像情報を取得する。そして、表示部が移動体の内部から外部の景色に重畳させて撮像情報に基づく画像を表示可能な表示面に表示させる。このようにすることにより、撮像情報に含まれる物体のエッジや面等を景色に重畳して表示させることができるので没入感を得られ易くなる。また、周囲の景色に応じた撮像情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、移動時間を楽しく過ごせるような表示をすることができる。
本発明の第1の実施例にかかる表示装置を図1~図4を参照して説明する。表示装置1は、図1に示したように、地物検出センサ2と、表示処理部3と、プロジェクタ4と、楽曲取得部5と、楽曲解析部6と、を備えている。また、図1に示した表示装置は、移動体の例として自動車等の車両に搭載されているものとする。
点群情報取得部としての地物検出センサ2は、自車の周辺に存在する地物を認識するためのセンサであり、本実施例では、周辺に存在する地物の点群情報を得るためにライダ(LiDAR:Light Detection And Ranging)で構成されている。ライダは、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を3次元の点群として認識する公知のセンサである。したがって、ライダで取得された点群は車両が移動する周囲に存在する建物や道路等の構造物を含む地物を複数の点により3次元状に表した情報(点群情報)となる。尚、地物検出センサ2は、自車が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、自車の周辺に存在する歩行者や他車両等を地物として認識してもよい。
表示処理部3は、地物検出センサ2が取得した点群情報を、地物検出センサ2が点群情報を取得した状態の座標系(車両座標系)から点群情報を表示させる車両のフロントガラス20に表示するための座標系(表示座標系)に変換する。車両座標系とは車両(地物検出センサ2)を基準とした座標系である。表示座標系とは、表示面としてのフロントガラス20上に定義されている2次元の座標系である。表示処理部3は、この3次元の車両座標系から2次元の表示座標系へ変換する。この座標変換はいわゆるビュー座標系からスクリーン座標系への変換等の周知の座標変換方法を用いることができる。
また、表示処理部3は、表示座標系に変換された点群情報を楽曲解析部6で解析された結果に基づいて加工して点群情報に基づく画像としてプロジェクタ4に出力する。具体例としては、音量(音圧)、BPM(Beats Per Minute)、周波数スペクトル、ジャンル等に応じて変化させる。変化の内容としては、点群情報に含まれる要素である各点の色を変化させる、点の大きさや点(丸形)から星型等他の形等へ変化させる、あるいは点を点滅させる等が挙げられる。
表示部としてのプロジェクタ4は、表示処理部3で加工された点群情報に基づく画像を車両のフロントガラス20に投射して表示させる。プロジェクタ4は、車両の車室内の例えば天井やフロントガラス20の下端部近傍のダッシュボード等に設置されている。本実施例では、地物検出センサ2で取得した点群情報を座標変換や加工等を施して表示するので、リアルタイムに取得した点群情報に基づく画像を表示させている。
楽曲取得部5は、現在例えばカーオーディオ等により車内で再生されている楽曲データ等を取得する。なお、楽曲取得部5が楽曲データを取得するのはカーオーディオに限らず、近距離無線通信等により接続された携帯音楽再生機器や音楽再生機能を有するスマートフォン等でもよい。あるいは、外部ネットワークから配信される楽曲データであってもよい。
楽曲解析部6は、楽曲取得部5が取得した楽曲データについて特徴量の解析をする。特徴量としては、楽曲をメロディ、コード等に細分化して、音量(音圧)、テンポ(BPM:Beats Per Minute)、周波数スペクトル等を解析する等の周知の方法で行えばよい。このようにして得られた特徴量が特徴情報となる。即ち、楽曲解析部6が特徴情報を取得する特徴情報取得部として機能する。また、楽曲データ内部のタグデータ等によりBPMやジャンル等の情報が含まれる場合は、そのタグデータに含まれる情報を特徴情報として利用してもよい。
次に、上述した構成の表示装置1における動作(表示方法)について図2のフローチャートを参照して説明する。図2に示したフローチャートは表示処理部3で実行される。したがって、表示処理部3をCPU等を有するマイクロコンピュータ等で構成することで、表示方法を実行する表示プログラムとすることができる。
まず、自動運転中か否かを判断して自動運転中である場合は、以下のステップを実行する(ステップS1:Y)。一方、手動運転中である場合は運転の妨げになるので以下のステップは実行せずに終了する(ステップS1:N)。自動運転中か否かは、外部から自動運転を示す信号等を取得すればよい。
次に、地物検出センサ2が取得した点群情報を取得し(ステップS2)、楽曲解析部6で解析された解析結果(BPM、周波数スペクトル等)を取得する(ステップS3)。このステップS2が点群情報取得工程となる。
次に、ステップS1で取得した点群情報について上述した車両座標系から表示座標系への座標変換を行い(ステップS4)、表示座標系に変換された点群情報についてステップS3で取得した解析結果に基づいて点群情報に含まれる各点について加工を施して(ステップS5)、プロジェクタ4に出力する(ステップS6)。このステップS6は、プロジェクタ4に加工後の点群情報に基づく画像を出力しており、プロジェクタ4ではその点群情報に基づく画像を投射しているので表示工程となる。
加工の例について図3を参照して説明する。図3は、点群情報に含まれる点の1つを示したものである。図3上段は、点の大きさを変化させる例である。つまり、形態を変化させる例である。形態の変化については、大きさに限らず、丸形から星形に変化させる等の形状自体を変化させてもよい。また、変化のタイミングは例えば上記したBPMで表されたテンポや音量等に合わせて行えばよい。
図3中段は、点の色を変化させたものである。色についてもBPMで表されたテンポに合わせて行うことができる。例えばジャンルによって暖色系を中心に使用するや、寒色系を中心に使用するなど使用する色を解析結果により選択してもよい。また、色の変化には輝度の変化も含むものとする。つまり、各点の輝度を変化させてもよい。
図3下段は、点を点滅されたものである。破線が消えている状態を示す。この場合もBPMで表されたテンポに合わせて行うことができる。さらに、図3に示した加工はそれぞれを組み合わせてもよい。例えば、形態と色の変化を組み合わせてもよい。
また、図3は1つの点についての加工であるが、例えば、フロントガラス20(表示面)に表示された点群について、表示面の一方から他方へ向かって形態や色を順次変化させることで、ウェーブのような表示をすることができる。この場合も楽曲の解析結果を利用して変化させるとよい。例えば、楽曲解析でイントロやサビ等の楽曲の構成が判明している場合であれば、サビ等の盛り上がる部分でこのようなウェーブをすることで、乗員の気分を高揚させることができる。このように、フロントガラス20に表示される点群情報に基づく画像は、一斉に同じような変化をしなくてもよくタイミングをずらしたり、一部のみを変化させるなどとしてもよい。
さらには、取得した点群そのまま画像として表示させる他に、点の増減や、点群情報に基づいて例えば点群で示される物体の外形線で表現したりする等の加工を施してもよい。
図4は、表示装置1についてフロントガラス20に表示したイメージ図である。図4において丸で示したものが点群である(一部に符号Dを付与する)。実際の点Dは、図示したものよりも小さく数も多いが、説明を容易にするために大きさを大きくし数を少なくして示している。この図4においては、プロジェクタ4は、車内からフロントガラス20越しに見える景色(樹木)に重畳させて点群情報に基づく画像を表示させている。
本実施例によれば、表示装置1は、光を照射して、その光の反射光により車両の周囲の地物情報を取得する地物検出センサ2で点群情報を取得し、プロジェクタ4が車両の内部から外部の景色に重畳させて点群情報に基づく画像をフロントガラス20に表示させる。このようにすることにより、点群情報に含まれる点を景色に重畳して表示させることができるので従来のビジュアライザーよりも没入感を得られるようになる。また、周囲の景色に応じた点群情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、自動運転中も移動時間を楽しく過ごせるような表示をすることができる。また、地物検出センサ2で取得した点群情報を景色に合わせてリアルタイムに画像として表示させることができる。
また、楽曲の特徴量に応じて点群情報の形状や色等の変化をさせるので、楽曲に合わせて乗員の気分を高揚させたり、気分を落ち着かせたりするような表示をすることができる。
また、プロジェクタ4は、点群情報に含まれる点の色を変化させた画像を表示させてもよい。また、プロジェクタ4は、点群情報に含まれる点の形態を変化させた画像を表示させてもよい。さらに、プロジェクタ4は、点群情報に基づく画像に含まれる点を点滅させて表示させてもよい。このようにすることにより、楽曲や生体情報に合わせて色や形態を変化させたり点滅させることができるため、多彩な表示をすることができる。
次に、本発明の第2の実施例にかかる操作入力装置を図5を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例にかかる表示装置1Aは、図1の構成から地物検出センサ2が削除され、現在位置推定部7と、記憶部8と、が追加され、表示処理部3が表示処理部3Aとなっている。
現在位置推定部7は、表示装置1Aが搭載される車両の現在位置を推定する。現在位置推定部7は、例えばGPS(Global Positioning System)受信機により構成して、GPS衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を推定すればよい。
記憶部8は、予め点群情報が記憶されている。この記憶部8に記憶されている点群情報は、実施例1で説明した車両座標系ではなく、地物が点群で構成された3D(3次元)の地図として構成されている。本実施例では、この記憶部8に記憶されている座標系を絶対座標系と呼ぶ。
表示処理部3Aは、現在位置推定部7で推定された現在位置に対応する点群情報を記憶部8から読み出して絶対座標系から表示座標系に変換する。即ち、本実施例では、表示処理部3Aが、現在位置取得部7が取得した現在位置に基づいて、点群情報を予め記憶する記憶部8から取得する点群情報取得部として機能する。また、表示処理部3Aは、第1の実施例と同様に表示座標系に変換された点群情報を楽曲解析部6で解析された結果に基づいて加工して、点群情報に基づく画像としてプロジェクタ4に出力する。
なお、本実施例では、表示装置1Aが記憶部8を備えているが、このような3Dデータはデータ量が多いので外部サーバ等に格納し、外部サーバと通信する通信装置を備えて、表示処理部3Aが、通信装置を介して点群情報を取得するようにしてもよい。
また、記憶部8は3Dデータではなく、2D(2次元:表示座標系)に変換後のデータを格納するようにしてもよい。その場合は、表示処理部3Aにおける座標変換等の処理を軽減することができる。
本実施例によれば、車両の現在位置を取得する現在位置推定部7を備え、表示処理部3Aは、現在位置推定部7が取得した前記現在位置に基づいて、点群情報を予め記憶する記憶部8から取得している。このようにすることにより、ライダ等のセンサを備えない移動体でも点群情報を表示させることができる。また、点群情報を取得するための処理を省略することができるので、処理の簡素化を図ることができる。
なお、上記説明した第1の実施例及び第2の実施例においては、現在位置に合った点群情報をフロントガラス20に表示することで、フロントガラス20から見える景色とマッチした点群情報を表示させることができるが多少ずれた位置の点群情報を表示してもよい。本実施例等に示した表示は視覚的効果を狙ったものであるので、厳密に位置が合っていなくても視覚的効果を得ることができればよい。
次に、本発明の第3の実施例にかかる操作入力装置を図6を参照して説明する。なお、前述した第1、第2の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例にかかる表示装置1Bは、図1の構成から楽曲取得部5及び楽曲解析部6を削除して生体センサ9を備え、表示処理部3が表示処理部3Bとなっている。
生体情報取得部としての生体センサ9は、乗員の心拍数や脈拍数等の生体情報を取得することができるセンサである。この生体センサ9は、例えば車両の座席に内蔵されていてもよいし、腕時計型等の乗員が身に着ける形態のもの(ウェアラブル機器)でもよい。なお、本実施例では、生体情報を取得する乗員は1名として説明するが、例えば複数名の生体情報を取得し、その平均値や最大値或いは最低値を利用することとしてもよい。
表示処理部3Bは、第1の実施例と同様に、地物検出センサ2が取得した点群情報を、車両座標系から表示座標系に変換する。また、表示処理部3Bは、表示座標系に変換された点群情報を生体センサ9で取得した生体情報に基づいて加工して、点群情報に基づく画像としてプロジェクタ4に出力する。
本実施例では、第1の実施例のように楽曲に合わせて点群を変化させるのではなく、生体センサ9で取得した例えば心拍数に合わせて点群に含まれる形態や色等を変化させる。例えば、心拍数と同じテンポで点群の形態や色等を変化させることができる。或いは、心拍数が高いときは落ち着くような色にしたり、心拍数が低いときは気分が高揚するような色にすることもできる。
本実施例によれば、車両の乗員の生体情報を取得する生体センサ9を備え、プロジェクタ4は、生体情報に基づいて点群情報に基づく画像を変化させて表示させている。このようにすることにより、乗員の心拍数や脈拍数等の生体情報により乗員の気分や体調に応じて点群情報に含まれる点の表示を変化させることができる。また、楽曲の再生がされていなくても点群情報に基づく画像の表示ができ、例えば自動運転中におけるパーソナルコンピュータのスクリーンセーバーのような利用方法が可能となる。
次に、本発明の第4の実施例にかかる操作入力装置を図7を参照して説明する。なお、前述した第1~第3の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例にかかる表示装置1Cは、図1の構成から楽曲取得部5及び楽曲解析部6を削除して車両センサ10を備え、表示処理部3が表示処理部3Cとなっている。
移動体情報取得部としての車両センサ10は、車両の速度を検出する速度センサや車両の加速度を検出する加速度センサ等の車両情報(移動体情報)を取得することができるセンサを含んでいる。この車両センサ10は、車両が予め備えているセンサを利用してもよいし、カーナビゲーション装置等の車載機器やカーナビゲーション機能を有する携帯機器等が有するセンサを利用してもよい。
表示処理部3Cは、第1の実施例と同様に、地物検出センサ2が取得した点群情報を、車両座標系から表示座標系に変換する。また、表示処理部3Cは、表示座標系に変換された点群情報を生体センサ9で取得した車両情報に基づいて加工して、点群情報に基づく画像としてプロジェクタ4に出力する。
本実施例では、第1の実施例のように楽曲に合わせて点群を変化させるのではなく、車両センサ10で取得した例えば走行速度に合わせて点群に含まれる形態や色等を変化させる。例えば、走行速度が速くなるにしたがって点滅速度が速くなったり、速度に応じて色の種類を変化させることができる。
本実施例によれば、車両に関する車両センサを備え、プロジェクタ4は、車両情報に基づいて点群情報に基づく画像を変化させて表示させている。このようにすることにより、車両の速度や加速度等の移動体に関する情報に応じて点群情報に含まれる点の表示を変化させることができる。また、楽曲の再生がされていなくても点群情報に基づく画像の表示ができ、例えば自動運転中におけるパーソナルコンピュータのスクリーンセーバーのような利用方法が可能となる。
次に、本発明の第5の実施例にかかる操作入力装置を図8を参照して説明する。なお、前述した第1~第4の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例にかかる表示装置1Dは、図1の構成から楽曲取得部5及び楽曲解析部6を削除して環境情報取得部11を備え、表示処理部3が表示処理部3Dとなっている。
環境情報取得部11は、例えば天候や時刻等の車両の周囲の環境情報を取得する。環境情報取得部11は、例えば天候であれば、外部ネットワークを介して気象情報を配信しているサーバ等から取得すればよい。また、時刻であれば、車両が備える時計やカーナビゲーション装置等の車載機器が有する時計から取得すればよい。
表示処理部3Dは、第1の実施例と同様に、地物検出センサ2が取得した点群情報を、車両座標系から表示座標系に変換する。また、表示処理部3Dは、表示座標系に変換された点群情報を環境情報取得部11で取得した環境情報に基づいて加工して、点群情報に基づく画像としてプロジェクタ4に出力する。
本実施例では、第1の実施例のように楽曲に合わせて点群を変化させるのではなく、環境情報取得部11で取得した例えば天候や時刻に合わせて点群に含まれる形態や色等を変化させる。例えば、天候が雨の場合は寒色系の色を中心にして表示したり、時刻に合わせて色を変化させるようにすることができる。また、時刻に応じて点群に含まれる各点の輝度を変化させてもよい。
本実施例によれば、車両の周囲環境に関する環境情報取得部11を備え、プロジェクタ4は、環境情報に基づいて点群情報を変化させて表示させている。このようにすることにより、例えば天候や時間帯等により点群情報に含まれる点の表示を変化させることができる。また、楽曲の再生がされていなくても点群情報に基づく画像の表示ができ、例えば自動運転中におけるパーソナルコンピュータのスクリーンセーバーのような利用方法が可能となる。
次に、本発明の第6の実施例にかかる操作入力装置を図9を参照して説明する。なお、前述した第1~第5の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例は、上述した第1、第3~第5の実施例を組み合わせたものである。この場合、表示処理部3Eは、楽曲解析部6の解析結果と生体センサ9が検出した例えば心拍数と車両センサ10が検出した例えば走行速度と環境情報取得部11が取得した例えば天候や時刻とに応じて点群情報を加工する。
本実施例の構成の場合、例えば、楽曲のテンポ(BPM)を基本として、心拍数が低い場合は変化の速度を遅くしたりすることができる。また、楽曲のテンポに応じて形態の変更や点滅をさせつつ走行速度や天候、時刻に応じて色を変化させることができる。
図9に示した表示装置1Eは、第1、第3~第5の実施例を組み合わせているが、例えば第1の実施例と第3の実施例等、2以上の組み合わせであればよい。
本実施例によれば、楽曲が再生されている際に、楽曲の解析結果以外の生体情報、車両情報及び環境情報等の要因も組み合わせて点群情報の表示を変化させることができるので、より多彩な表示をすることができる。したがって、乗員を飽きさせることがない。
なお、上述した第3~第6の実施例は、第1の実施例で説明した地物検出センサ2でリアルタイムに取得した点群情報を表示するもので説明したが、第2の実施例で説明した予め記憶部8に点群情報を記憶して現在位置推定部7で推定した現在位置に応じた点群情報を読み出して表示する構成に適用することもできる。
次に、本発明の第7の実施例にかかる操作入力装置を図10を参照して説明する。なお、前述した第1~第6の実施例と同一部分には、同一符号を付して説明を省略する。
第1~第6の実施例では周辺センシングデータとして地物検出センサ2が検出した点群情報を利用していたが、本実施例では、周辺センシングデータとして周囲の地物を撮像した撮像情報を利用するために地物検出センサ2に代えてカメラ12を備えている。また、表示制御部3が表示制御部3Fとなっている。
撮像情報取得部としてのカメラ12は、例えば車両の進行方向にある地物等を撮像するために車内又は車外の所定位置に設置されている。カメラ12は、動画像又は所定間隔で静止画像を撮像し、撮像情報として表示処理部3Fに出力する。
表示処理部3Fは、カメラ12で撮像された撮像情報について、例えば撮像情報に含まれる要素として物体のエッジや面を抽出し、抽出したエッジや面について、第1の実施例と同様に楽曲解析部6で解析された結果に基づいて加工して撮像情報に基づく画像としてプロジェクタ4に出力する。
加工については、第1の実施例で例示した形態の変化、色の変化、点滅をすることができる。例えば形態の変化であれば、エッジの太さを変化させる、或いはエッジや面等からなる物体画像の縮小拡大等がある。また、色の変化であれば、エッジや面の色を変化させる、点滅であれば、エッジや面を点滅させる(一定周期で表示と消去を繰り返す)、といったことができる。
本実施例においても、第2の実施例のように、撮像情報を記憶部に記憶させても器GPS受信機等の現在位置推定部7で推定された現在位置に応じた撮像情報を記憶部から読み出してもよい。
また、本実施例では、第3~第5の実施例で示されたような、生体センサ9、車両センサ10、環境情報取得部11に基づいて加工することもできる。
本実施例によれば、表示装置1Fは、カメラ12で撮像情報を取得し、プロジェクタ4が車両の内部から外部の景色に重畳させて撮像情報に基づく画像をフロントガラス20に表示させる。このようにすることにより、撮像情報に含まれる地物のエッジや面を景色に重畳して表示させることができるので従来のビジュアライザーよりも没入感を得られるようになる。また、周囲の景色に応じた撮像情報に基づく画像を表示するので、一定のパターンになることが少なく飽きられにくく、自動運転中も移動時間を楽しく過ごせるような表示をすることができる。また、カメラ12で取得した撮像情報を景色に合わせてリアルタイムに画像として表示させることができる。
また、上述した各実施例では、表示面として車両のフロントガラス20に表示されるものとして説明したがそれに限らない。例えばサイドガラス(サイドウインドゥ)やリアガラス等に表示してもよい。または、ヘッドアップディスプレイに表示するようにしてもよい。要するに、車外の景色と重畳して表示できる表示面であればよい。
また、例えば乗員の視線検出用のセンサ(赤外線カメラ等)を設置して視線検出を行い、乗員が視線を移動させると、その移動した視線に応じて点群情報等に基づく画像等の表示の表示位置を追従させるようにしてもよい。例えば、視線の向きにより景色と表示されている点等とにずれが生じる場合は、そのずれの分を補正するようにする。
また、上述した各実施例では、移動体として車両で説明したが、電車等の鉄道車両の客室の窓や遊園地のアトラクション等の外の景色とその景色にかかる地物の点群情報を重畳的に表示させることが可能な窓ガラス等を有する移動体であれば適用可能である。
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。
1 表示装置
1A 表示装置
1B 表示装置
1C 表示装置
1D 表示装置
1E 表示装置
1F 表示装置
2 地物検出センサ(点群情報取得部)
3 表示処理部
3A 表示処理部(点群情報取得部)
3B 表示処理部
3C 表示処理部
3D 表示処理部
3E 表示処理部
3F 表示処理部
4 プロジェクタ(表示部)
5 楽曲取得部
6 楽曲解析部(特徴情報取得部)
7 現在位置推定部
8 記憶部
9 生体センサ(生体情報取得部)
10 車両センサ(移動体情報取得部)
11 環境情報取得部
12 カメラ(撮像情報取得部)
20 フロントガラス(表示面)
S2 点群情報取得(点群情報取得工程)
S6 出力(表示工程)
1A 表示装置
1B 表示装置
1C 表示装置
1D 表示装置
1E 表示装置
1F 表示装置
2 地物検出センサ(点群情報取得部)
3 表示処理部
3A 表示処理部(点群情報取得部)
3B 表示処理部
3C 表示処理部
3D 表示処理部
3E 表示処理部
3F 表示処理部
4 プロジェクタ(表示部)
5 楽曲取得部
6 楽曲解析部(特徴情報取得部)
7 現在位置推定部
8 記憶部
9 生体センサ(生体情報取得部)
10 車両センサ(移動体情報取得部)
11 環境情報取得部
12 カメラ(撮像情報取得部)
20 フロントガラス(表示面)
S2 点群情報取得(点群情報取得工程)
S6 出力(表示工程)
Claims (1)
- 移動体の周囲の地物を複数の点により表した点群情報を取得する点群情報取得部と、
前記移動体の外部の景色に重畳させて前記点群情報に基づく画像を表示可能な表示面に表示させる表示部と、
を備えることを特徴とする表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024031175A JP2024069283A (ja) | 2017-07-18 | 2024-03-01 | 表示装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017139077A JP2019021034A (ja) | 2017-07-18 | 2017-07-18 | 表示装置 |
JP2022082821A JP2022117991A (ja) | 2017-07-18 | 2022-05-20 | 表示装置 |
JP2024031175A JP2024069283A (ja) | 2017-07-18 | 2024-03-01 | 表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022082821A Division JP2022117991A (ja) | 2017-07-18 | 2022-05-20 | 表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024069283A true JP2024069283A (ja) | 2024-05-21 |
Family
ID=65353571
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017139077A Pending JP2019021034A (ja) | 2017-07-18 | 2017-07-18 | 表示装置 |
JP2022082821A Pending JP2022117991A (ja) | 2017-07-18 | 2022-05-20 | 表示装置 |
JP2024031175A Pending JP2024069283A (ja) | 2017-07-18 | 2024-03-01 | 表示装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017139077A Pending JP2019021034A (ja) | 2017-07-18 | 2017-07-18 | 表示装置 |
JP2022082821A Pending JP2022117991A (ja) | 2017-07-18 | 2022-05-20 | 表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP2019021034A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6849634B2 (ja) * | 2018-06-08 | 2021-03-24 | 朝日航洋株式会社 | 端末装置および端末装置の制御方法 |
WO2023223507A1 (ja) * | 2022-05-19 | 2023-11-23 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7197231B1 (ja) | 2022-07-25 | 2022-12-27 | Jp Games株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005075190A (ja) * | 2003-09-01 | 2005-03-24 | Nissan Motor Co Ltd | 車両用表示装置 |
JP5501101B2 (ja) * | 2010-06-03 | 2014-05-21 | 三菱電機株式会社 | 位置標定装置、位置標定方法および位置標定プログラム |
JP2015184061A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 抽出装置、方法及びプログラム |
JP2015210670A (ja) * | 2014-04-25 | 2015-11-24 | 東芝プラントシステム株式会社 | 3次元データ表示装置、3次元データ表示方法、及び3次元データ表示プログラム |
JP6285830B2 (ja) * | 2014-09-12 | 2018-02-28 | 矢崎総業株式会社 | 車載表示装置及びインストルメントパネル |
JP6315427B2 (ja) * | 2014-10-22 | 2018-04-25 | パナソニックIpマネジメント株式会社 | 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 |
US9715016B2 (en) * | 2015-03-11 | 2017-07-25 | The Boeing Company | Real time multi dimensional image fusing |
JP2017091013A (ja) * | 2015-11-04 | 2017-05-25 | 富士通テン株式会社 | 運転支援装置 |
-
2017
- 2017-07-18 JP JP2017139077A patent/JP2019021034A/ja active Pending
-
2022
- 2022-05-20 JP JP2022082821A patent/JP2022117991A/ja active Pending
-
2024
- 2024-03-01 JP JP2024031175A patent/JP2024069283A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2019021034A (ja) | 2019-02-07 |
JP2022117991A (ja) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024069283A (ja) | 表示装置 | |
US10438390B2 (en) | Vehicle control device mounted on vehicle and method of controlling the vehicle | |
KR102315335B1 (ko) | 자율 차량들에 대해 할당된 승객들의 인식 | |
US20180066956A1 (en) | Vehicle user interface apparatus and vehicle | |
KR102493862B1 (ko) | 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화 | |
KR101979276B1 (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
US11494950B2 (en) | Experience providing system, experience providing method, and experience providing program | |
JP2000221049A (ja) | 車両状況把握装置、エージェント装置、および、車両制御装置 | |
JPWO2018230678A1 (ja) | 車内演出装置、車内演出システム、車内演出方法、プログラムおよび指示計測装置 | |
US20220080826A1 (en) | Information processing apparatus, information processing method, and mobile body apparatus | |
US11460309B2 (en) | Control apparatus, control method, and storage medium storing program | |
US20200027273A1 (en) | Image output device | |
CN110100153B (zh) | 信息提供系统 | |
JP2020080542A (ja) | 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法 | |
US20190186941A1 (en) | Vehicle control device mounted on vehicle and method for controlling the vehicle | |
US12008683B2 (en) | Vehicle augmented reality navigational image output device and control methods | |
KR101979277B1 (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
US20230304822A1 (en) | Route guidance device and route guidance method thereof | |
KR102089955B1 (ko) | 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법 | |
KR20190025384A (ko) | 차량 제어 방법 | |
JP2019117053A (ja) | 表示制御装置 | |
JP2019117054A (ja) | 表示制御装置 | |
JP2019117433A (ja) | 表示制御装置 | |
JP2019104354A (ja) | 情報処理方法及び情報処理装置 | |
KR102053200B1 (ko) | 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240301 |