JP7458031B2 - コンピュータシステムおよび制御方法 - Google Patents

コンピュータシステムおよび制御方法 Download PDF

Info

Publication number
JP7458031B2
JP7458031B2 JP2020152224A JP2020152224A JP7458031B2 JP 7458031 B2 JP7458031 B2 JP 7458031B2 JP 2020152224 A JP2020152224 A JP 2020152224A JP 2020152224 A JP2020152224 A JP 2020152224A JP 7458031 B2 JP7458031 B2 JP 7458031B2
Authority
JP
Japan
Prior art keywords
display
railway
railway equipment
superimposed
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020152224A
Other languages
English (en)
Other versions
JP2022046276A (ja
Inventor
大輔 鈴木
史倫 菊地
▲隆▼治 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Railway Technical Research Institute
Original Assignee
Railway Technical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Railway Technical Research Institute filed Critical Railway Technical Research Institute
Priority to JP2020152224A priority Critical patent/JP7458031B2/ja
Publication of JP2022046276A publication Critical patent/JP2022046276A/ja
Application granted granted Critical
Publication of JP7458031B2 publication Critical patent/JP7458031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、列車の運転士の運転支援を行うためのコンピュータシステム等に関する。
列車の運転士に向けて、安全運行や安全運転に必要な各種情報を提示する技術がある。
例えば、特許文献1では、複数の事象が発生し個々の事象が時間に応じて変化する場合に、列車の運転台に設けられたモニタ表示装置にて、必要に応じた状況認識支援情報や意思決定支援情報を、運転士に分かり易く提示する技術が開示されている。
特開2014-176233号公報
鉄道の運転士は、走行する線路に沿って配置された信号機や標識などを視認しつつ、時に喚呼を交えて運転しなければならない。信号機や標識の視認は安全に直結するため、万が一のことを考慮した、より高い安全性を確保するための支援システムが望まれる。
例えば、運転士にHMD(Head Mounted Display)などの頭部装着型のデバイスを使用させ、運転士の視界内に安全に関する情報を示すAR(Augmented Reality)オブジェクトを重畳表示させる支援システムが考えられる。
しかし、AR技術を用いて列車の運転士を支援する支援システムは存在しなかった。そこで、自動車用の運転支援システムを転用する考え方があるが、列車の運転と自動車の運転とは大きく異なるため、自動車用の運転支援システムをそのまま転用することは困難であった。
本発明の課題は、AR技術を用いて列車の運転士を支援する新たなシステムを実現するための技術を提供すること、である。
上述した課題を解決するための第1の発明は、列車の運転士が装着するARデバイスと、前記ARデバイスに対して、前記運転士の視界に所与のARオブジェクトを重畳表示させる制御を行う制御装置と、を具備するコンピュータシステムであって、
前記ARデバイスは、前記運転士の視界を撮影するカメラ(例えば、図1のライブカメラ1230)、を備え、
前記制御装置は、
前記運転士が視認すべき設備として設定された、鉄道信号機、鉄道標識、駅ホーム、及び踏切のうちの少なくとも1つを含む視認要求鉄道設備を、前記カメラの撮影画像に基づいて検出する検出手段(例えば、図1の制御基板1150、図14の演算部200、支援表示制御部210、検出部220、図21のステップS12、S14)と、
前記検出された視認要求鉄道設備の前記視界中の位置に基づいて、前記ARオブジェクトの重畳表示を抑制する前記視界中の範囲を重畳表示抑制エリアとして設定する抑制エリア設定手段(例えば、図1の制御基板1150、図14の演算部200、支援表示制御部210、抑制エリア設定部224、図21のステップS16)と、
重畳表示させるARオブジェクトを決定するARオブジェクト決定手段(例えば、図1の制御基板1150、図14の演算部200、支援表示制御部210、ARオブジェクト決定部230、図21のステップS14、ステップS20~ステップS24)と、
前記決定されたARオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行う表示制御手段(例えば、図1の制御基板1150、図14の演算部200、支援表示制御部210、AR表示制御部240、図21のステップS36)と、
を備える、コンピュータシステムである。
第1の発明によれば、コンピュータシステムは、ARオブジェクトの表示を通じて運転士に情報提供をすることで、運転士を支援することができる。コンピュータシステムは、運転士の視界をカメラで撮影し、そこに鉄道設備のうち運転操作中に視認が要求される視認要求鉄道設備が写っているならば、その視界内の位置に応じて重畳表示抑制エリアを設定し、当該エリア以外にARオブジェクトを表示することができる。
重畳表示抑制エリアを適切に設定することで、例えば、視認要求鉄道設備にARオブジェクトが重なる様に表示されて、当該視認要求鉄道設備を運転士が視認できなかったり、視認し難い状態となるのを防ぐことができる。また、重畳表示抑制エリアを適切に設定することで、例えば、運転士が進行方向前方を視ている状態から、視認要求鉄道設備の状態を確認するための視線の動きを阻害して視認を邪魔するといった事態を防ぐことができる。
第2の発明は、前記抑制エリア設定手段が、前記撮影画像に基づいて、前記列車が走行しているレールに対する前記視認要求鉄道設備の相対位置を判定することで、前記列車の進行に伴って当該視認要求鉄道設備が前記視界のどちら側から視界外へ移りゆくかの通過方位を判定する通過方位判定手段(例えば、図14の通過方位判定部226)を有し、当該通過方位に基づく範囲を前記重畳表示抑制エリアとして設定する、第1の発明のコンピュータシステムである。
第2の発明によれば、コンピュータシステムは、検出された視認要求鉄道設備の通過方位に基づいて重畳表示抑制エリアを設定することができる。
具体的には、検出された視認要求鉄道設備の視界内の位置から通過方位にかけて重畳表示抑制エリアを適切に設定することができる。よって、列車の進行に伴って、ARオブジェクトの表示位置が変更される回数を低減して、ARオブジェクトの視認性を向上することができる。
第3の発明は、前記通過方位判定手段が、少なくとも、前記視認要求鉄道設備が前記視界の左側から視界外へ移りゆく左側を前記通過方位とする旨の判定と、前記視認要求鉄道設備が前記視界の右側から視界外へ移りゆく右側を前記通過方位とする旨の判定と、を行う第2の発明のコンピュータシステムである。
第3の発明によれば、コンピュータシステムは、検出された視認要求鉄道設備が、今後の列車の進行に伴って視界右方へ移動していくように見えることになるのか、視界左方へ移動していくように見えることになるのかを判定して、重畳表示抑制エリアを設定できる。
第4の発明は、前記視認要求鉄道設備には、当該視認要求鉄道設備に係る情報を前記ARオブジェクトで表示することが設定されたAR表示対象鉄道設備が含まれ、
前記ARオブジェクト決定手段は、前記検出手段により前記AR表示対象鉄道設備が検出された場合、当該AR表示対象鉄道設備に係る情報を表示するためのARオブジェクトを決定する、第1~第3の何れかの発明のコンピュータシステムである。
第4の発明によれば、コンピュータシステムは、視認要求鉄道設備のうち、AR表示の対象に設定されたAR表示対象鉄道設備が視界内に検出された場合には、当該鉄道設備に関する情報を表示するARオブジェクトを表示する。よって、運転士に必要な情報を選択的にAR表示で提供できる。
第5の発明は、前記表示制御手段が、吹き出しの角部を、前記AR表示対象鉄道設備の位置に向けるようにした吹き出し形状のオブジェクトを、前記ARオブジェクトとして表示制御する、第4の発明のコンピュータシステムである。
第5の発明によれば、コンピュータシステムは、どのARオブジェクトがどの視認要求鉄道設備に関する情報を示しているかを明示することができる。
第6の発明は、前記ARオブジェクト決定手段が、前記AR表示対象鉄道設備の種類に応じて設定された優先度と、重畳表示させるARオブジェクトの数に関する表示数制限と、に基づいて、重畳表示させるARオブジェクトを決定する、第1~第5の何れかの発明のコンピュータシステムである。
第6の発明によれば、コンピュータシステムは、一度に表示されるARオブジェクトの数を制限することで、個々のARオブジェクトの視認性を確保できる。
第7の発明は、前記検出手段が、検出した前記AR表示対象鉄道設備が鉄道信号機である場合に、当該鉄道信号機の信号現示を判定する信号現示判定手段(例えば、図14の信号現示判定部222)を有し、前記ARオブジェクト決定手段は、前記信号現示判定手段により判定された信号現示が所定の優先表示条件を満たす信号現示である場合に、当該信号現示に係る情報を表示するためのARオブジェクトを決定し、前記表示制御手段は、前記信号現示判定手段により判定された信号現示が前記優先表示条件を満たす信号現示である場合に、前記重畳表示抑制エリアであるか否かに関わらず、前記ARオブジェクト決定手段により決定されたARオブジェクトを前記視界中に重畳表示させる優先表示制御を行う第1の優先表示制御手段(例えば、図14の第1優先表示制御部242)を有する、第4~第6の何れかの発明のコンピュータシステムである。
第7の発明によれば、コンピュータシステムは、所定の優先表示条件を満たす信号現示を示すARオブジェクトを、重畳表示抑制エリアであるか否かに関わらず視界内に重畳表示させ、運転士に最優先で当該信号現示の情報を提供することができる。
第8の発明は、前記制御装置が、前記列車の走行位置の情報を取得する走行位置情報取得手段(例えば、図14の測位部104、走行位置情報取得部214、図21のステップS2)と、前記ARオブジェクトの重畳表示を抑制する前記走行位置に基づく重畳表示抑制区間を設定する抑制区間設定手段(例えば、図14の抑制区間設定部216、図15の重畳表示抑制区間設定データ602)と、を更に備え、前記表示制御手段は、前記走行位置が前記重畳表示抑制区間である場合に、前記決定されたARオブジェクトの重畳表示を抑制する制御を行う、第1~第6の何れかの発明のコンピュータシステムである。
第8の発明によれば、コンピュータシステムは、列車の走行位置が、重畳表示抑制区間内である場合に、ARオブジェクトの重畳表示を抑制することができる。
第9の発明は、前記視認要求鉄道設備には、当該視認要求鉄道設備に係る情報を前記ARオブジェクトで表示することが設定されたAR表示対象鉄道設備が含まれ、前記検出手段が、検出した前記AR表示対象鉄道設備が鉄道信号機である場合に、当該鉄道信号機の信号現示を判定する信号現示判定手段(例えば、図14の信号現示判定部222)を有し、前記ARオブジェクト決定手段は、前記信号現示判定手段により判定された信号現示が所定の優先表示条件を満たす信号現示である場合に、当該信号現示に係る情報を表示するためのARオブジェクトを決定し、前記表示制御手段は、前記信号現示判定手段により判定された信号現示が前記優先表示条件を満たす信号現示である場合に、前記走行位置が前記重畳表示抑制区間であるか否かに関わらず、前記ARオブジェクト決定手段により決定されたARオブジェクトを前記視界中に重畳表示させる優先表示制御を行う第2の優先表示制御手段(例えば、図14の第2優先表示制御部244)を有する、第8の発明のコンピュータシステムである。
第9の発明によれば、コンピュータシステムは、所定の優先表示条件を満たす信号現示を示すARオブジェクトを、列車の現在位置が重畳表示抑制区間に該当するか否かに関わらず重畳表示させ、運転士に最優先で当該信号現示の情報を提供することができる。
第10の発明は、列車の視界を撮影するカメラを有し、運転士が装着するARデバイスと、前記ARデバイスに対して、前記運転士の視界に所与のARオブジェクトを重畳表示させる制御を行う制御装置が制御する制御方法であって、前記運転士が視認すべき設備として設定された、鉄道信号機、鉄道標識、駅ホーム、及び踏切のうちの少なくとも1つを含む視認要求鉄道設備を、前記カメラの撮影画像に基づいて検出することと、前記検出された視認要求鉄道設備の前記視界中の位置に基づいて、前記ARオブジェクトの重畳表示を抑制する前記視界中の範囲を重畳表示抑制エリアとして設定することと、重畳表示させるARオブジェクトを決定することと、前記決定されたARオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行うことと、を含む制御方法である。
第10の発明によれば、第1の発明と同様の作用効果を奏する制御方法を実現することができる。
支援システムの構成例を示す図。 運転士のとある視界の一例を示す図。 運転士向けとしては好ましく無いAR表示の一例を示す図。 本実施形態が実現する運転士向けのAR表示の一例を示す図。 重畳表示抑制エリア及び表示推奨エリアの関係を示す図。 優先度の設定の考え方の一例を示す図。 優先度「高」のARオブジェクトの表示例を示す図。 入線中におけるARオブジェクトの表示例を示す図。 AR表示の抑制の一例を示す図(その1)。 AR表示の抑制の一例を示す図(その2)。 重畳表示抑制区間の設定例を示す概念図(その1)。 重畳表示抑制区間の設定例を示す概念図(その2)。 重畳表示抑制区間に係るAR表示の抑制状態と、抑制が解除されたAR表示の一例を示す図。 支援システムの機能構成の一例を示す機能ブロック図。 記憶部が記憶するプログラムやデータの例を示す図。 視認要求鉄道設備登録データのデータ構成例を示す図。 鉄道設備用エリア設定パターンデータのデータ構成例を示す図。 ARオブジェクト初期設定データのデータ構成例を示す図。 AR表示制御データのデータ構成例を示す図。 検出済視認要求鉄道設備管理データのデータ構成例を示す図。 制御装置における処理の流れを説明するためのフローチャート。
以下、本発明の実施形態を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。
図1は、支援システム1000の構成例を示す図である。
支援システム1000は、列車3に搭載される制御装置1100と、運転士が頭部に装着するARグラス1200と、を含む。制御装置1100とARグラス1200は、無線通信で相互にデータ通信可能に接続されている。また、制御装置1100は、鉄道事業者が鉄道運行管理に関する情報管理を行うためのコンピュータシステムである鉄道運行管理システム1300と、ネットワーク9を介してデータ通信可能に接続されている。
ネットワーク9は、データ通信が可能な通信路を意味する。すなわち、ネットワーク9とは、直接接続のための専用線(専用ケーブル)やイーサネット(登録商標)等によるLAN(Local Area Network)の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線/無線を問わない。
制御装置1100は、制御装置1100がAR表示を実行するための主たる演算処理主体であり、制御基板1150を搭載する。図示されていないが、制御装置1100には、適宜、キーボードや、タッチパネル等を付属させることができる。
制御基板1150は、CPU(Central Processing Unit)1151やGPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などの各種マイクロプロセッサ、VRAMやRAM,ROM等の各種ICメモリ1152、通信モジュール1153、インターフェースモジュール1157、などを搭載する。
なお、制御基板1150の一部又は全部は、ASIC(Application Specific Integrated Circuit)や、FPGA(Field-Programmable Gate Array)、SoC(System on a Chip)により実現するとしてもよい。そして、制御装置1100は、制御基板1150にて所定のプログラム及びデータに基づいて演算処理することにより、AR表示に係る各種制御を実行する機能を実現する。
制御装置1100は、CPU1151でICメモリ1152に記録されている所定のプログラムを演算処理することによって、ARグラス1200にAR表示させる制御(AR表示制御)をする。
なお、制御装置1100は、列車3の運転台に設置されたコンピュータシステムを兼ねてもよいし、別体で用意してもよい。
ARグラス1200は、運転士が頭部に装着する表示装置であって、全体としてメガネ型のデザインを有し、メガネのグラス部を通じて運転士が見る現実世界の風景に、ARオブジェクト(ポリゴンモデルのCGや、テキストグラフィックスなど)を重畳表示する透過型ウェアラブルディスプレイ装置である。具体的には、ARグラス1200は、フレーム1201と、透過型ディスプレイ1202と、ライブカメラ1230と、ToF(Time of Flight)センサ1232と、制御基板1250と、バッテリー1270と、を有する。
透過型ディスプレイ1202は、制御基板1250により表示制御される。透過型ディスプレイ1202の構成は、適宜選択可能である。図1に示すように、投影モジュール1204から投影される映像を、メガネのグラス部1205の前方に配置した光学素子1206で運転士の瞳へ屈折・導光するとしてもよい。或いは、グラス部1205の運転士側の側面に投影させるとしてもよい。なお、投影モジュール1204及び光学素子1206は、左右それぞれに設けられた構成としてもよい。
ライブカメラ1230は、ARグラス1200を装着する運転士の視界をライブ撮影するための撮影手段であって、撮影されたライブ映像の信号は制御基板1250へ出力される。
制御基板1250は、CPU1251と、ICメモリ1252と、無線通信モジュール1253と、GPS(Global Positioning System)モジュール1254と、ジャイロセンサ1255と、インターフェースモジュール1257、などを搭載する。
GPSモジュール1254は、衛星測位システムを利用して運転士の現在位置情報を取得する。なお、現在位置情報を取得するために利用する測位システムは、GPSシステムに限らず、BeiDouやGalileo等の他の衛星測位システムの他、鉄道沿線に基地局を配置して無線通信による三角測量の原理で位置を測位するシステム等を利用するとしてもよい。取得された位置情報は、制御基板1250が無線通信モジュール1253で制御基板1150との間で確立した無線データ通信を通じて、制御装置1100へ提供される。
インターフェースモジュール1257には、透過型ディスプレイ1202のドライバ回路や、ライブカメラ1230で撮影されたライブ映像の信号を入力する回路、ToFセンサ1232との入出力回路、などが含まれている。ライブカメラ1230により撮影されたライブ映像の情報は、制御基板1250が無線通信モジュール1253で制御基板1150との間で確立した無線データ通信を通じて、制御装置1100へ提供される。
制御基板1250に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。制御基板1250の一部又は全部をASICやFPGA、SoCにて構成してもよい。そして、制御基板1250は、CPU1251で、ICメモリ1252に記憶されている所定のプログラムを演算処理して実行することで、ARグラス1200としての機能させるための各種制御を実行する。
次に、支援システム1000によるARの見せ方の一例について説明する。図2は、運転士のとある視界の一例を示す図であって、運転士が、複線区間を走行する列車3の運転席から進行方向を見ている状態の視界の例を示している。レール6に沿って、所々に視認要求鉄道設備10が設定されている。
「視認要求鉄道設備」とは、運転士が、運転中に安全運行のために視認することが求められる鉄道設備であって、例えば、鉄道信号機、鉄道標識、駅ホーム、及び踏切がこれに該当する。鉄道設備のうち、どの種類の設備を視認要求鉄道設備とするかは、その鉄道システムに応じて適宜設定可能である。例えば、高架鉄道であれば踏切はこれに該当しない。図2の例では、信号機10aを分かり易くするために輪郭を破線で囲って示している。
そして、運転士は、当然のことながら、レール6に沿った進行方向の安全を確認しながら、信号機10aなどの視認要求鉄道設備10を視認しつつ運転する。
図3は、列車3の運転士向けとしては好ましく無いAR表示の一例を示している。例えば、ARグラス1200にて、運転士に情報提供するためのARオブジェクト30を表示させる場合、運転操作に支障が生じるような位置にARオブジェクト30を表示するべきではない。図3の例では、「次駅が通過」であることを予告する内容のARオブジェクト30(30a)が信号機10aの上に被さるように表示されており、運転士が信号機10aの信号現示を視認できない不適切な状態である。
そこで、支援システム1000は、そうした不適切なAR表示を避けるべく、AR表示を抑制する重畳表示抑制エリアを設定し、当該エリアを外すようにARオブジェクト30の表示位置の調整を行って、図4に示すような適切なAR表示を実現する。
具体的には、支援システム1000は、ライブカメラ1230で撮影されているライブ映像7から、運転士が運転する列車3が走行しているレール6を画像認識し、レール6が写っている位置と範囲とに基づいて第1の重畳表示抑制エリアとしてレールエリア40aを設定する。レールエリア40aの形状は、その時々にライブ映像7に写っているレール6の形状による。レールエリア40aは、レール6が写っている範囲の外側に適度な余白範囲を加えた範囲とされる。
また、支援システム1000は、走行するレール6の消失点8のライブ映像の画像座標系座標を求め、消失点8を含む周囲に第2の重畳表示抑制エリアとして進行方向エリア40bを設定する。消失点8は、運転士が運転する列車3が走行しているレール6の進行方向前方であって、ライブ映像7において当該レール6の最も遠くに写っている位置のことである。進行方向エリア40bは、進行方向の遠方視界を確保するための範囲であって、進行方向エリア40bの形状は、図4に示すような矩形に限らず楕円形でもよい。進行方向エリア40bのサイズは、固定でも良いが、列車3の速度が高いほど大きくなるように所定のサイズ決定関数でその都度決定するとしてもよい。
また、支援システム1000は、ライブ映像7から視認要求鉄道設備10を画像認識して、視認要求鉄道設備10が写っている位置と範囲とに基づいて第3の重畳表示抑制エリアとして鉄道設備用エリア40cを設定する。
鉄道設備用エリア40cは、ライブ映像7(撮影画像)に基づいて、列車3が走行しているレール6に対する視認要求鉄道設備10の相対位置が判定されて、列車3の進行に伴って当該視認要求鉄道設備10が視界のどちら側から視界外へ移りゆくかの通過方位(拡張範囲45が追加される方向)が判定されることで、当該通過方位に基づく範囲として設定される。具体的には、鉄道設備用エリア40cの形状は、基本範囲44と、拡張範囲45との合成範囲として決定される。
基本範囲44の形状は、ライブ映像7から画像認識された視認要求鉄道設備10が写っている部分と、その全体を背景から区別し視認するのに十分な余白とを合わせた範囲で決まり、視認要求鉄道設備10の種類に応じて設定される。基本範囲44のサイズは、ライブ映像7で認識されたその視認要求鉄道設備10のサイズに応じて所与の関数で決定される。
拡張範囲45は、基本範囲44から画面外側へ向けて拡張される副範囲である。拡張範囲45が基本範囲44を基準に拡張される方向は、その視認要求鉄道設備10がレール6の消失点8やレールエリア40aに基づいて決定することができる。
例えば、拡張範囲45は、基本範囲44と、消失点8から基本範囲44の頂天を通る線と、ライブ映像7の画面枠とで囲われた範囲とすることができる。視認要求鉄道設備10が消失点8(又はレール6)の左側に有れば、列車3の走行が進行するにつれて、その視認要求鉄道設備10の像がどんどん視界内で大きくなって当該視認要求鉄道設備10であることが画像認識された後、さらに視界内で大きくなりながら視界左方へ通過した範囲に、鉄道設備用エリア40cが設定される。もし、その視認要求鉄道設備10が消失点8の右側に有れば、その視認要求鉄道設備10の像がどんどん視界内で大きくなって当該視認要求鉄道設備10であることが画像認識された後、さらに視界内で大きくなりながら視界右方へ通過した範囲に、鉄道設備用エリア40cが設定される。
感覚的に別の言い方をすると、運転士の視線方向が、消失点8を正面に捉えた向きのまま固定と仮定した場合に、基本範囲44が列車3の走行にともない視界内を通過してゆく予測範囲であるとも言える。
すなわち、列車3が走行しているレール6を基準に考えれば、第3の重畳表示抑制エリアである鉄道設備用エリア40cは、ライブ映像7に基づいて、列車3が走行しているレール6に対する視認要求鉄道設備10の相対位置を判定することで、列車3の進行に伴って当該視認要求鉄道設備が視界のどちら側から視界外へ移りゆくかの通過方位を判定し、当該通過方位に基づく範囲(基本範囲44を徐々に拡大しながら通過方位に沿って移動させたと仮定して得られる範囲)として設定される。
なお、重畳表示抑制エリア40は上記の3種に限らず、システム運用上の観点から常時必須とされる固定エリア(例えば、ライブ映像7の画面上端や下端に帯状に設けられたエリア)をこれに含めることができる。
そして、支援システム1000は、ライブ映像7の全画像範囲からこれらの重畳表示抑制エリア40を除いた範囲を、ARオブジェクト30の「表示推奨エリア」と設定し、当該エリア内にARオブジェクト30の表示位置を決定する。
具体的には、図5に示すように、複数種類の重畳表示抑制エリア40(レールエリア40a、進行方向エリア40b、鉄道設備用エリア40c)を、ライブ映像7の全画像範囲42から除いて表示推奨エリア49を一次決定する。そして、一次決定された表示推奨エリア49から、想定されるARオブジェクト30の最大サイズを下回る横幅又は縦幅が小さい狭小エリア40d(図5中の網掛け部分)を抽出して、表示推奨エリア49から切り出して重畳表示抑制エリア40に追加する。これで表示推奨エリア49を最終決定する。
図4及び図5の例では、おおよそ、ライブ映像7の中央上部や右側半分にARオブジェクト30が入る表示推奨エリア49があるので、そこに収まるようにARオブジェクト30の表示位置が設定され表示制御される。これにより、運転士が安全運転のために視認するべき現実世界の対象(例えば視認要求鉄道設備10)をARオブジェクト30が覆ってしまうような好ましく無いAR表示を防ぐことができる。
勿論、運転士は、ARグラス1200を装着したまま任意に頭の姿勢を変え得るので、重畳表示抑制エリア40(40a,40b,…)のライブ映像7の中での位置・形状・大きさは、その時々のライブ映像7におけるレール6や視認要求鉄道設備10(信号機10aなど)の見え方や見える位置の変化に応じて、時々刻々と更新されることになる。逆説的に、表示推奨エリア49も時々刻々と位置・形状・大きさが変化する。
支援システム1000は、ライブ映像7からリアルタイムに視認要求鉄道設備10を画像認識して、時々刻々と変化する視認要求鉄道設備10の見え方や見える位置に応じて重畳表示抑制エリア40を更新し、表示推奨エリア49にARオブジェクト30を配置するようにして適切なAR表示を継続する。運転士にARグラス1200越しに見えている視界では、ARオブジェクト30が、その時々の視認要求鉄道設備10を覆わないように表示位置がリアルタイムに変化するように見える。
次に、AR表示の抑制について説明する。
支援システム1000は、ARオブジェクト30の表示を抑制する制御を行う。
第1の抑制として、支援システム1000は一度に表示されるARオブジェクト30の数を抑制する。つまり、表示数に制限をかける。具体的には、支援システム1000は、とあるタイミングにおいて表示対象とされる複数のARオブジェクト30の中から、各ARオブジェクトで表示する内容に応じた優先順位を設定し、上位から所与の表示許可数だけ選抜して表示させる。これにより多くのARオブジェクト30が同時に表示されて運転士の視界が狭くなり、各ARオブジェクト30の認識が低下する事態を回避する。
基本的な優先順位は、図6のように、AR表示対象鉄道設備の種類やARオブジェクト30の示す内容に基づいて優先度が設定される。図6では優先度を3段階としているが、4段階以上に分けても良い。
「表示許可数」は、状況に応じて変更され得るが、優先度「高」の内容を示すARオブジェクト30は必ず表示されるようにその値が設定される。
例えば、とあるタイミングにおいて、優先度「高」に該当するARオブジェクト30が表示対象に含まれていない場合は、表示許可数を所定数(例えば、「2」「3」程度)とする。一方、あるタイミングにおいて、表示対象とされるARオブジェクト30の中に、優先度「高」に該当する内容のARオブジェクト30が含まれる場合、表示許可数は、その時に表示対象に含まれる優先度「高」の数とされる。但し、駅構内では、停車位置に関する表示など、駅に関連する情報が表示可能なように、その時に表示対象に含まれる優先度「高」の数に所定数を加えた値とする。
もしも図2で例示したライブ映像7において信号機10aの信号現示が停止であるならば、AR表示は図7のようになり得る。すなわち、優先度「高」に該当する「停止信号」を通知するARオブジェクト30(30b)が表示対象に含まれるので、表示許可数は「1」となる。そして、図3で示した「次駅が通過」であることを予告するARオブジェクト30(30a)が表示対象に含まれていても、表示の優先順位の関係から、「停止信号」を通知するARオブジェクト30(30b)のみが重畳表示されることになる。仮に、優先度「高」のARオブジェクト30が表示対象に2つ含まれていれば、表示許可数は「2」となり、その2つのARオブジェクト30が表示され、それ以外は表示されないことになる。
もし、列車3が駅ホームに入線し始めところであれば、AR表示は、例えば図8に示すようになり得る。すなわち、列車3は6両編成であり、この駅で停車する予定である。また、入線した番線の信号機10aは停止を示している。信号機10aの信号現示は「停止」なので、画像認識によって信号機10aはAR表示対象として判定される。また、停車位置標識10kもAR表示対象として判定される。入線中の表示許可数は、優先度「高」の数+停車位置表示の分とされる。よって、この例では、停止信号を示すARオブジェクト30bと、停車位置を示すARオブジェクト30dとがAR表示される。
第2の抑制として、支援システム1000は、列車3が走行している位置に基づいて、所定の表示制限条件を満たす場合には、AR表示それ自体を中止する制御を行う。但し、優先度「高」の内容のARオブジェクト30については第2の抑制の対象から除外する。
「表示制限条件」は、適宜設定可能であるが、例えば、視認要求鉄道設備10のうち、運転士に指さし確認や信号現示の喚呼を要求する喚呼位置標識がライブ映像7の中に画像認識された場合といった、運転士に視認以外の行為を行わせる場面を判定する条件とすることができる。
例えば、図9の例では、ライブ映像7の中に視認要求鉄道設備10として速度制限標識10b・喚呼位置標識10c・セクションゾーン標識10dが写っている。支援システム1000は、これらの視認要求鉄道設備10をそれぞれ画像認識して前述のように表示推奨エリア49を求める。そして、画像認識した視認要求鉄道設備10のうち、AR表示対象鉄道設備を判定して、それらに対応して用意されているARオブジェクト30を選択する。図9の例では、速度制限標識10bは、AR表示対象鉄道設備とは判定されないが、セクションゾーン標識10dがAR表示対象鉄道設備に該当するので、セクションに関する内容を示すARオブジェクト30bが選択されている。しかし、支援システム1000は、喚呼位置標識10cが画像認識されているので、優先度「高」の内容のARオブジェクト30以外はAR表示を中止する。結果、ARオブジェクト30bは表示されないことになる(図9中では、意図して「AR表示なし」と明示)。
また例えば、図10の例では、視認要求鉄道設備10として、喚呼位置標識10c・踏切動作反応灯10e・特殊信号発光機10fが写っている。この例でも同様にして、支援システム1000は、表示推奨エリア49を求め、それらに対応するARオブジェクト30を選択するが、喚呼位置標識10cが画像認識されたので、優先度「高」の内容のARオブジェクト30以外はAR表示を中止する。この場面では、運転士は、ARオブジェクト30が表示されていないので、AR表示に気をとられることなく、喚呼位置標識10cに基づいて踏切動作反応灯10eと特殊信号発光機10fの信号現示を喚呼し、更には進行方向エリア40b内に見えている又は見えてくる踏切の様子を、視認することができる。
また、「表示制限条件」は、レール6に沿って予め設定されている重畳表示抑制区間を列車3が走行中であること、とすることができる。
図11の模式図に示すように、図10で例示した状況であれば、踏切10gの手前に、喚呼位置標識10cを含む区間として重畳表示抑制区間50を設定しておき、支援システム1000が随時取得する現在位置情報(例えば、鉄道運行管理システム1300から得られる走行中のキロ程、ARグラス1200のGPSモジュール1254から得られるGPS座標、など)が重畳表示抑制区間50内に位置するかを判定し、列車3が重畳表示抑制区間50を走行している場合には、支援システム1000は、喚呼位置標識10cが画像認識された場合と同様に第2の抑制制御を行う。
重畳表示抑制区間50を適切に設定することで、特定の標識がライブ映像7の中に画像認識されないような状況(例えば天候等によって画像認識が困難な状況)でも第2の抑制を実現できる。
また、例えば、駅に入線する場面や、駅を通過する場面では、運転士は、入線先の駅ホームの様子を視認する必要がある。そのため、図12に示すように、駅10hの手前に重畳表示抑制区間50を設定する。すると、図13に示すように、列車3が重畳表示抑制区間50を進行中は、運転士はAR表示に気を取られることなく入線先の駅の様子を視認することができる。そして、重畳表示抑制区間50を進出すると、視認要求鉄道設備10に係るARオブジェクト30(30c)が表示され、AR表示による運転士への支援が行われる。
本実施形態では、支援システム1000は、優先度「高」のARオブジェクト30については、AR表示に係る制限や抑制の対象外とする。すなわち、支援システム1000は、重畳表示抑制エリア40であるか否かに関わらず、また、列車3の走行位置が重畳表示抑制区間50であるか否かに関わらず、優先度「高」のARオブジェクトを視界中に重畳表示させる優先表示制御を行う。これは、運転士に優先度「高」の情報を把握させるための支援を必ず行うためである。
また、ARオブジェクト30の形状は、当該ARオブジェクトが示す内容に対応づけられる視認要求鉄道設備10すなわち「AR表示対象鉄道設備」がライブ映像7の中に存在するか否かで異なる。
具体的には、AR表示対象鉄道設備がライブ映像7の中に存在する場合(画像認識される場合)、支援システム1000は、テキストや画像が含まれる主要部32と、その外縁から吹き出し角部34が延設されたデザイン(ARオブジェクト30(30b))を採用する(図7、図8参照)。そして、吹き出し角部34の先端を、当該AR表示対象鉄道設備の方向を向くように設定する。これにより、当該ARオブジェクト30が、視界内の何についての情報を提供しているのかが明確となる。
一方、AR表示対象鉄道設備がライブ映像7の中に存在しない場合(画像認識されない場合;例えば、視界外の駅についての予告などの場合)、支援システム1000は、主要部32のみで吹き出し角部34の無いデザイン(ARオブジェクト30(30a);図4参照)を採用する。
次に、こうしたAR表示を実現するための機能構成について説明する。
図14は、支援システム1000の機能構成の一例を示す機能ブロック図である。支援システム1000は、視界撮影部100と、姿勢変化計測部102と、測位部104と、演算部200と、画像表示部392と、記憶部500と、を有する。
視界撮影部100・姿勢変化計測部102・測位部104・画像表示部392が、ARグラス1200により実現され、演算部200及び記憶部500が制御装置1100にて実現されている。
具体的には、視界撮影部100は、運転士の視界を撮影する。すなわち、視界撮影部100は運転士の視界に写っているものを画像認識するための視界のライブ映像を撮影し、撮影したライブ映像の撮影画像データを、演算部200へ出力する。図1の構成では、ライブカメラ1230がこれに該当する。
姿勢変化計測部102は、視界撮影部100の視線方向をトラッキングするために、運転士の頭部姿勢変化を計測し、姿勢変化量情報を演算部200へ出力する。図1の構成では、ジャイロセンサ1255がこれに該当する。
測位部104は、運転士の現在位置情報を取得し、現在位置情報を演算部200へ出力する。図1の構成では、GPSモジュール1254がこれに該当する。
演算部200は、所定のプログラムを演算処理して様々な機能を実現する。具体的には、演算部200は、支援表示制御部210と、計時部290と、画像生成部292と、を有する。
支援表示制御部210は、AR表示に係る機能部として、トラッキング制御部212と、走行位置情報取得部214と、抑制区間設定部216と、検出部220と、抑制エリア設定部224と、ARオブジェクト決定部230と、AR表示制御部240と、を有する。
トラッキング制御部212は、姿勢変化計測部102で検出された姿勢変化情報に基づいて、運転士の頭部の姿勢をトラッキングするための演算処理を実行する。
走行位置情報取得部214は、列車3の走行位置の情報を取得する制御を行う。具体的には、測位部104で取得した現在位置情報に基づいて列車3の現在位置情報を取得し、運行行路上における現在位置を管理する制御を行う。現在位置情報として、速度発電機を用いて得られた走行位置や、鉄道運行管理システム1300で列車3毎に管理されている絶対位置情報などを利用する場合には、走行位置情報取得部214は、それらを取得することで現在位置情報とする。
抑制区間設定部216は、ARオブジェクトの重畳表示を抑制する走行位置に基づく重畳表示抑制区間を設定する。具体的には、抑制区間設定部216は、列車3の運行行路の設定情報の1つとして重畳表示抑制区間50の設定情報を、鉄道運行管理システム1300から取得する。或いは、運転士が重畳表示抑制区間50の設定情報を記憶したICメモリカードを制御装置1100に読み込ませることで、抑制区間設定部216は重畳表示抑制区間50を設定する。
検出部220は、運転士が視認すべき設備として設定された視認要求鉄道設備10(例えば、鉄道信号機、鉄道標識、駅ホーム、踏切など)を、視界撮影部100により撮影された撮影画像(ライブ映像7)に基づいて検出する。すなわち、検出部220は、運転士の視界を写した画像の中から視認要求鉄道設備10を画像認識する。具体的には、検出部220は、検出したAR表示対象鉄道設備が鉄道信号機である場合に、当該鉄道信号機の信号現示を判定する信号現示判定部222を有する。
抑制エリア設定部224は、検出された視認要求鉄道設備10の視界中の位置に基づいて、ARオブジェクト30の重畳表示を抑制する視界中の範囲を重畳表示抑制エリア40として設定する。
また、抑制エリア設定部224は、通過方位判定部226を有する。
通過方位判定部226は、視界撮影部100により撮影された撮影画像(ライブ映像7)に基づいて、列車3が走行しているレール6に対する視認要求鉄道設備10の相対位置を判定することで、列車3の進行に伴って当該視認要求鉄道設備10が視界のどちら側から視界外へ移りゆくかの通過方位を判定する。抑制エリア設定部224は、当該通過方位に基づく範囲(拡張範囲45;図4、図5、図10参照)を重畳表示抑制エリア40として設定する。より具体的には、通過方位判定部226は、少なくとも、視認要求鉄道設備10が視界の左側から視界外へ移りゆく左側を通過方位とする旨の判定と、視認要求鉄道設備10が視界の右側から視界外へ移りゆく右側を通過方位とする旨の判定と、を行う。
ARオブジェクト決定部230は、重畳表示させるARオブジェクト30を決定する。
具体的には、視認要求鉄道設備10には、当該視認要求鉄道設備10に係る情報をARオブジェクト30で表示することが設定されたAR表示対象鉄道設備が含まれている。よって、ARオブジェクト決定部230は、検出部220によりAR表示対象鉄道設備が検出された場合、当該AR表示対象鉄道設備に係る情報を表示するためのARオブジェクト30を決定する。
また、ARオブジェクト決定部230は、AR表示対象鉄道設備の種類やARオブジェクトで表示される内容に応じて設定された優先度と、重畳表示させるARオブジェクトの数に関する表示数制限と、に基づいて、重畳表示させるARオブジェクトを決定する。
また、ARオブジェクト決定部230は、信号現示判定部222により判定された信号現示が所定の優先表示条件(優先度「高」;図6参照)を満たす信号現示である場合に、当該信号現示に係る情報を表示するためのARオブジェクトを決定する。
AR表示制御部240は、重畳表示させるオブジェクトとして決定されたARオブジェクト30を、視界中の重畳表示抑制エリア40以外に重畳表示させる制御を行う。その際、AR表示制御部240は、吹き出し角部34(図7参照)を、AR表示対象鉄道設備の位置に向けるようにした吹き出し角部34のオブジェクトを、ARオブジェクト30として表示制御する。
なお、AR表示制御部240は、列車3の走行位置が重畳表示抑制区間50である場合に、重畳表示させるオブジェクトとして決定されたARオブジェクトの重畳表示を抑制する制御を行う。しかし、AR表示制御部240は、信号現示判定部222により判定された信号現示が優先表示条件(優先度「高」;図6参照)を満たす信号現示である場合には、重畳表示抑制エリア40であるか否か、及び列車3の走行位置が重畳表示抑制区間50であるか否か、に関わらず、ARオブジェクト決定部230により決定されたARオブジェクト30を視界中に重畳表示させる優先表示制御を行う(図7参照)。
計時部290は、システムクロックを利用して現在日時や制限時間等の計時を行う。
画像生成部292は、画像表示部392に表示させる画像を生成し、その画像信号の出力を行う。
画像表示部392は、フラットパネルディスプレイや、ヘッドマウントディスプレイ、プロジェクターなど、画像を表示させる装置で実現される。図1の例では、ARグラス1200、より具体的には、透過型ディスプレイ1202がこれに該当する。
記憶部500は、演算部200に支援システム1000を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、演算部200の演算作業領域として用いられ、演算部200が各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばRAMやROMなどのICメモリ、ハードディスク等の磁気ディスク、CD-ROMやDVDなどの光学ディスク、オンラインストレージなどによって実現される。図1の例では制御基板1150が搭載するICメモリ1152がこれに該当する。
図15は、記憶部500が記憶するプログラムやデータの例を示す図である。
記憶部500は、例えば、支援表示制御プログラム501と、視認要求鉄道設備登録データ510と、重畳表示抑制エリア初期設定データ550と、ARオブジェクト設定データ580と、運行管理データ600と、AR表示制御データ700と、現在日時800と、を含む。
支援表示制御プログラム501は、演算部200が実行することで、演算部200に支援表示制御部210としての機能を実現させるためのプログラムである。
視認要求鉄道設備登録データ510は、視認要求鉄道設備10毎に用意される。1つの視認要求鉄道設備登録データ510は、例えば図16に示すように、
(1)固有の視認要求鉄道設備ID511と、
(2)設備種類513と、
(3)AR表示対象の設備であることを示すAR表示対象鉄道設備フラグ515と、
(4)当該鉄道設備を画像認識するための基礎データである設備画像認識用辞書データ520と
(5)当該鉄道設備が信号機である場合に信号現示を画像認識するための基礎データである信号現示認識用辞書データ522と、
(6)当該鉄道設備の鉄道設備用エリア40cを設定するために適用される鉄道設備用エリア40cの設定パターンを指定する適用エリア設定パターンIDリスト526と、
(7)当該鉄道設備に係り表示させるARオブジェクト30を示す適用ARオブジェクト初期設定IDリスト528と、
を含む。勿論、これら以外のデータも適宜含めることができる。
視認要求鉄道設備10のうち、運転士が視認すべきであるがAR表示をする必要の無い鉄道設備の場合(AR表示対象鉄道設備フラグ515が「0」の場合)には、適用ARオブジェクト初期設定IDリスト528は設定されない。
図15に戻って、重畳表示抑制エリア初期設定データ550は、重畳表示抑制エリア40の初期設定データであって、レールエリア40aを設定するためのレールエリア定義データ551と、進行方向エリア40bを設定するための進行方向エリア定義データ553と、鉄道設備用エリア40cを設定するための鉄道設備用エリア設定パターンデータ560と、を含む。
視認要求鉄道設備10のうちAR表示対象鉄道設備は、形状が様々あるので鉄道設備用エリア設定パターンデータ560は複数用意されている。1つの鉄道設備用エリア設定パターンデータ560は、例えば図17に示すように、エリア設定パターンID561と、当該設定パターンを適用するための要件を指定する適用要件562と、基本範囲諸元定義データ570と、を含む。勿論、これら以外のデータも適宜含めることができる。
適用要件562は、単数又は複数のサブ条件のAND又はORの組み合わせで記述される。サブ要件としては、例えば設備種類条件563,信号現示条件564,速度条件565,環境条件566,区間条件567、などを用いることができる。
設備種類条件563は、視認要求鉄道設備10の設備種類513についての条件である。
信号現示条件564は、視認要求鉄道設備10が信号機である場合に、どの種類の信号現示であるかについての条件である。
速度条件565は、列車3の速度についての条件である。
環境条件566は、日時や天候、気温、残雪の有無などの走行環境に関する条件である。
区間条件567は、走行区間の種類(例えば、上り急勾配区間や、下り急勾配区間、急曲線区間などの線形に基づく種類や、トンネル区間・高架橋区間・橋梁区間などの鉄道線路の敷設区分の種類、など)についての条件である。
なお、適用要件562を記述するサブ条件の種類はこれらに限らず、適宜追加・省略が可能である。また、サブ条件について「条件無し」「無制限」に相当する設定も可能である。
基本範囲諸元定義データ570は、鉄道設備用エリア40cのうち基本範囲44を設定するための諸元を定めている。例えば、(1)視認要求鉄道設備10の画像認識されたシルエット60の何処に、エリア設定の原点P0(当該視認要求鉄道設備10の代表点、吹き出し角部34の先端を向ける点)を設定するかを示すエリア原点座標571と、(2)基本範囲44を形作る各範囲の頂点の位置をエリア原点を基準に算出するための頂点位置算出関数573と、を含む。
勿論、基本範囲諸元定義データ570には、これら以外のデータも適宜含めることができる。頂点位置算出関数573は、例えば、列車3と視認要求鉄道設備10までの相対距離Lを含めるとしてもよい。相対距離Lは、ARグラス1200のToFセンサ1232で計測するとしてもよいし、視認要求鉄道設備10毎に、設置位置座標が設定されている場合には、列車3の現在位置との位置差から求めても良い。或いは、ライブ映像7の中に視認要求鉄道設備10が占める面積や占有率を相対距離Lの代わりに用いても良い
図15に戻って、ARオブジェクト設定データ580は、ARオブジェクト30の種類毎に用意され、当該ARオブジェクトに関する設定を格納する。1つのARオブジェクト設定データ580は、例えば図18に示すように、固有のARオブジェクト設定ID581と、適用要件582と、表示内容テキスト591と、主要部オブジェクト設定データ592と、吹き出し角部オブジェクト設定データ593と、優先度599と、を含む。
適用要件582は、単数又は複数のサブ条件のAND又はORの組み合わせで記述される。サブ要件としては、例えば設備種類条件583,信号現示条件584,速度条件585,環境条件586,区間条件587、運行行路条件588、などを用いることができる。運行行路条件588は、列車3の運行行路の運行スケジュールに係る条件である。なお、適用要件582を記述するサブ条件の種類はこれらに限らず、適宜追加・省略が可能である。また、サブ条件について「条件無し」「無制限」に相当する設定も可能である。
表示内容テキスト591・主要部オブジェクト設定データ592・吹き出し角部オブジェクト設定データ593は、適用要件582が満たされた場合に、その視認要求鉄道設備10にどのようなデザインと内容のARオブジェクト30を表示させるかを決めるための設定データである。
表示内容テキスト591は、当該ARオブジェクト30で運転士に提供する情報内容を示す。主要部オブジェクト設定データ592は、ARオブジェクト30の主要部32の外形・サイズ・表示色を定める。吹き出し角部オブジェクト設定データ593は、ARオブジェクト30の吹き出し角部34の外形・サイズ・表示色を定める(図7参照)。
運行に係る予告内容を表示するARオブジェクト30a(図4参照)では、吹き出し角部オブジェクト設定データ593は設定されない。
勿論、ARオブジェクト設定データ580には、これら以外のデータも適宜格納することができる。例えば、ARオブジェクト30の表示サイズを決定する関数やテーブルデータなどを含めることもできる。運転士の注意を引くために、ARオブジェクト30にモーションを付ける場合にはモーションデータを追加したり、表示サイズや表示色を変化させる場合にはその変化パターンデータを追加するとしてもよい。
例えば、列車3の運行行路が、α駅は停車するが、β駅を通過する予定になっている場合、β駅の前に「次駅通過」を示すARオブジェクト30a(図4参照)を表示させる設定は次の様になる。
すなわち、信号機10aの視認要求鉄道設備登録データ510の適用ARオブジェクト初期設定IDリスト528(図16参照)が示すARオブジェクト設定データ580の1つに、(1)適用要件582の運行行路条件が、「α駅通過後」且つ「β駅通過前」に設定され、(2)表示内容テキスト591が「次駅通過」に設定されている、定義データを用意する。
すると、支援システム1000は、現在位置情報から列車3が「α駅通過後」且つ「β駅通過前」の状態であると判定された場合に、信号機10aがライブ映像7の中に画像認識されたならば、当該適用要件582に適合するARオブジェクト設定データ580を検索し、表示内容テキスト591・主要部オブジェクト設定データ592・吹き出し角部オブジェクト設定データ593に基づいて、「次駅通過」を示すARオブジェクト30aを決定し、AR表示させることとなる。
図15に戻って、運行管理データ600は、列車3の運行予定と運行状況に関する各種データを含む。例えば、運行管理データ600は、重畳表示抑制区間設定データ602と、運行スケジュールデータ604と、を含む。
重畳表示抑制区間設定データ602は、列車3が運行するレール6に沿って設定された重畳表示抑制区間50の範囲を示す。
運行スケジュールデータ604は、運行行路上の停車駅毎のキロ程・到着時刻・出発時刻、通過駅毎のキロ程・通過時刻、など運行の予定を含む。
運行管理データ600は、出発前に運転士がICメモリカードなどに記録したオリジナルデータを制御装置1100に読み込ませて記憶させるとしてもよい。オリジナルのデータが、鉄道運行管理システム1300で管理される場合には、逐一、鉄道運行管理システム1300から最新データを取得し記憶するとしてもよい。
そして、運行管理データ600には、これら以外のデータも適宜含めることができる。例えば、測位部104が列車3の走行距離に基づく始発駅からのレール6に沿った走行距離を取得する場合には、運行管理データ600に走行位置情報が含まれることとなる。
AR表示制御データ700は、AR表示の実行に係る各種最新のデータを格納する。AR表示制御データ700は、例えば図19に示すように、
(1)視界撮影部100で撮影した撮影画像データ701と、
(2)姿勢変化計測部102で計測した姿勢変化に基づいて求められる視界撮影部100の光軸方向(運転士の視線方向)を示す視線方向トラッキングデータ702と、
(3)測位部104が計測或いは取得した現在位置情報703と、
(4)ライブ映像7に写っている視認要求鉄道設備10を画像認識するための各種データを格納する画像認識処理データ705と、
(5)撮影画像中の消失点8(図4参照)の消失点座標707と、
(6)重畳表示抑制エリア設定データ710と、
(7)表示推奨エリア設定データ719と、
(8)検出済視認要求鉄道設備管理データ720と、
(9)表示優先順位リスト740と、
(10)表示許可数742と、
(11)表示対象ARオブジェクト管理データ744と、
を含む。勿論、これら以外のデータも適宜含めることができる。
重畳表示抑制エリア設定データ710は、進行方向エリア設定データ711と、レールエリア設定データ713と、設備用エリア設定データ715と、狭小エリア設定データ717と、を含む。
検出済視認要求鉄道設備管理データ720は、視認要求鉄道設備登録データ510(図16参照)の設備画像認識用辞書データ520に基づく画像認識により、ライブ映像7の中に認識・検出された視認要求鉄道設備10毎に作成される。
1つの検出済視認要求鉄道設備管理データ720は、例えば図20に示すように、固有の管理ID721と、ライブ映像7における当該視認要求鉄道設備10が写っている範囲を示す検出範囲データ723と、代表点位置座標724と、通過方位725と、信号現示種類727と、適用ARオブジェクト設定データ730と、を含む。勿論、これら以外のデータも適宜含めることができる。
通過方位725は、消失点8から、画像認識された当該視認要求鉄道設備10の代表点を結ぶベクトルとして定義される。
信号現示種類727は、当該視認要求鉄道設備10が信号機である場合に、画像認識により認識された信号現示の結果を格納する。
適用ARオブジェクト設定データ730は、当該視認要求鉄道設備10がAR表示対象鉄道設備である場合(AR表示対象鉄道設備フラグ515が「1」の場合;図16参照)に設定され、当該視認要求鉄道設備10についての内容を示すARオブジェクト30の各種設定データを格納する。
具体的には、適用ARオブジェクト設定データ730は、固有のARオブジェクトID731と、表示位置座標733と、主要部オブジェクトデータ735と、吹き出し角部オブジェクトデータ737と、適用優先度739と、を含む。勿論、これら以外のデータも適宜含めることができる。
表示位置座標733は、当該ARオブジェクト30を、ライブ映像7の中のどこに表示させるかを示す。
主要部オブジェクトデータ735は、ARオブジェクト30の主要部32の設定データである。吹き出し角部オブジェクトデータ737は、ARオブジェクト30の吹き出し角部34の設定データである。
主要部オブジェクトデータ735には、当該視認要求鉄道設備10の視認要求鉄道設備登録データ510の適用ARオブジェクト初期設定IDリスト528(図16参照)が示すARオブジェクト設定データ580のうち、適用要件582が満たされる設定データの主要部オブジェクト設定データ592がそのままコピーされる(図18参照)。そして、もしARオブジェクト30の表示形態に係る設定(例えば、表示サイズや表示色など)を、その時々の状況に応じて算出・決定する場合には、コピーの後に変更するとしてもよい。
同様に吹き出し角部オブジェクトデータ737には、吹き出し角部オブジェクト設定データ593がコピーされ、その時々の状況に応じて算出・決定する場合には、コピーされ後に変更されるとしてもよい。
適用優先度739には、適用要件582が満たされる初期設定データの優先度599(図18参照)がコピーされる。
図19に戻って、表示優先順位リスト740は、検出済視認要求鉄道設備管理データ720で管理される視認要求鉄道設備10のうち、AR表示対象鉄道設備についてのARオブジェクト30の表示優先度の順位を示す。具体的には、表示優先順位リスト740は、AR表示対象設備のARオブジェクトID731(図20参照)を適用優先度739の上位順に並べたリストデータである。
表示優先順位リスト740のうち、上位から所与の表示許可数のARオブジェクト30が選抜され、その表示位置などが、それぞれの表示対象ARオブジェクト管理データ744で管理される。1つの表示対象ARオブジェクト管理データ744は、ARオブジェクトIDと、表示位置座標と、を対応付けて格納する。
次に、支援システム1000の動作について説明する。
図21は、制御装置1100における処理の流れを説明するためのフローチャートである。支援システム1000は、先ずライブ映像7の撮影と、ジャイロセンサ1255によるARグラス1200の姿勢変化の計測と、運行管理データ600の取得と、GPSモジュール1254による測位と、を開始する(ステップS2)。
次に、支援システム1000は、リアルタイム処理と呼べる程度に十分短い所定周期で、ステップS10~ステップS40を繰り返し実行する。
具体的には、支援システム1000は、視認要求鉄道設備10のうち先ずレール6についての画像認識を開始するとともに、消失点8の算出を開始する(ステップS10)。
次いで、支援システム1000は、レール6以外の視認要求鉄道設備10についての画像認識を行う(ステップS12)。視認要求鉄道設備10が信号機である場合には、信号現示についても画像認識を行う。支援システム1000は、画像認識を実行し、新たに画像認識された(検出された)視認要求鉄道設備10については、検出済視認要求鉄道設備管理データ720を新たに作成し、既に画像認識されている視認要求鉄道設備10の検出済視認要求鉄道設備管理データ720を更新する。そして、視界外になった視認要求鉄道設備10の検出済視認要求鉄道設備管理データ720を抹消する。
次いで、支援システム1000は、検出済の視認要求鉄道設備10のうち、AR表示対象鉄道設備のARオブジェクト30を設定する(ステップS14)。これにより、適用ARオブジェクト設定データ730が設定・更新される。
次に、支援システム1000は、重畳表示抑制エリア40を設定する(図4、図5参照)。
すなわち、支援システム1000は、レールエリア40aと進行方向エリア40bと検出済の視認要求鉄道設備10毎の鉄道設備用エリア40cとを設定する(ステップS16)。そして、支援システム1000は、狭小エリア40dを求めて、その時の重畳表示抑制エリア40を確定し、表示推奨エリア49を確定する(ステップS18)。
次に、支援システム1000は、ARオブジェクト30の表示優先順位リスト740を更新する(ステップS20)。具体的には、検出済視認要求鉄道設備管理データ720の適用優先度739に基づいてソートし、当該リストを更新する。
そして、支援システム1000は、AR表示の表示許可数742を決定する(ステップS22)。具体的には、表示優先順位リスト740に優先度「高」のARオブジェクト30が含まれていなければ、表示許可数742を所定数(例えば、2~3程度)とする。列車3が駅構内であれば、表示優先順位リスト740に含まれる優先度「高」のARオブジェクト30の数と、停車位置に関する情報表示等を加えるための所定数(例えば1程度)の合計値を、表示許可数742とする。列車3が駅構内でなければ、表示優先順位リスト740に含まれる優先度「高」のARオブジェクト30の数を、表示許可数742とする。
次に、支援システム1000は、表示優先順位の上位から表示許可数分のARオブジェクト30を選抜する(ステップS30)。
そして、列車3が重畳表示抑制区間50を走行していなければ(ステップS30のNO)、選抜されたARオブジェクト30を全て表示対象として、表示推奨エリア49(重畳表示抑制エリア40外の領域)に表示位置を決定する(ステップS32)。
もし、列車3が重畳表示抑制区間50を走行していれば(ステップS30のYES)、支援システム1000は、選抜されたARオブジェクト30のうち優先度「高」のARオブジェクト30のみを表示対象として表示位置を決定する(ステップS34)。その際、表示位置は、表示推奨エリア49や重畳表示抑制エリア40の設定に関わらず決定される。
そして、表示対象とされたARオブジェクト30の表示位置が決定したら、支援システム1000は、それらのAR表示を実行する(ステップS36)。
次に、支援システム1000は、支援終了条件が満たされたかを判定する。支援終了条件は適宜設定可能である。例えば、列車3が運行行路の終着点に到着したことを支援終了条件としてもよい。そして、支援終了条件が満たされるまでは(ステップS40のNO)、支援システム1000は、ステップS10~ステップS40を所定周期で繰り返し実行する。支援終了条件が満たされれば(ステップS40のYES)、一連の処理を終了する。
以上、本実施形態によれば、列車の運転士を支援するシステムとして、AR技術を用いた新たなシステムを実現するための技術を提供することができる。
具体的には、支援システム1000は、ARオブジェクト30の表示を通じて運転士に情報提供をすることで、運転士を支援することができる。支援システム1000は、運転士の視界をライブカメラ1230で撮影し、そこに鉄道設備のうち運転操作中に視認が要求される視認要求鉄道設備10が写っているならば、その視界内の位置に応じて重畳表示抑制エリア40(鉄道設備用エリア40c)を設定し、当該エリア以外にARオブジェクト30を表示することができる。
重畳表示抑制エリア40を適切に設定することで、例えば、視認要求鉄道設備10にARオブジェクト30が重なる様に表示されて、当該視認要求鉄道設備を運転士が視認できなかったり、視認し難い状態となるのを防ぐことができる。また、重畳表示抑制エリア40を適切に設定することで、例えば、運転士が進行方向前方を視ている状態から、視認要求鉄道設備10の状態を確認するための視線の動きを阻害して視認邪魔するといった事態を防ぐことができる。
また、支援システム1000は、検出された視認要求鉄道設備10の通過方位に基づいて重畳表示抑制エリア40を設定することができる。よって、列車3の進行に伴って、ARオブジェクト30の表示位置が変更される回数を低減して、ARオブジェクトの視認性を向上することができる。
また、支援システム1000は、視認要求鉄道設備10のうち、AR表示の対象に設定されたAR表示対象鉄道設備が視界内に検出された場合には、当該鉄道設備に関する情報を表示するARオブジェクト30を表示する。よって、運転士に必要な情報を選択的にAR表示で提供できる。
また、支援システム1000は、ARオブジェクト30に吹き出し角部34を設け、これをAR表示対象鉄道設備の位置に向けるようにしてARオブジェクト30を表示できる。よって、どのARオブジェクト30がどの視認要求鉄道設備10に関する情報を示しているかを明示することができる。
また、支援システム1000は、AR表示対象鉄道設備の種類に応じて設定された優先度と、重畳表示させるARオブジェクト30の数に関する表示数制限と、に基づいて、重畳表示させるARオブジェクト30を決定する。よって、一度に表示されるARオブジェクトの数を制限することで、個々のARオブジェクトの視認性を確保できる。
また、支援システム1000は、所定の優先表示条件を満たす信号現示を示すARオブジェクトを、重畳表示抑制エリアであるか否かに関わらず視界内に重畳表示させ、運転士に最優先で当該信号現示の情報を提供することができる。
また、支援システム1000は、列車3の走行位置が、重畳表示抑制区間50内である場合に、ARオブジェクト30の重畳表示を抑制することができる。
また、支援システム1000は、所定の優先表示条件を満たす信号現示を示すARオブジェクト30を、列車3の現在位置が重畳表示抑制区間50に該当するか否かに関わらず重畳表示させ、運転士に最優先で当該信号現示の情報を提供することができる。
〔変形例〕
以上、本発明を適用した実施形態の一例について説明したが、本発明を適用可能な実施形態は、上記実施形態に限定されるものではなく、適宜構成要素の省略・追加・変更を行うことができる。
例えば、上記実施形態では、支援システム1000を、制御装置1100とARグラス1200との大きく2つのハードウェアで構成したが、ハードウェアの構成数はこれに限らない。例えば、ARグラス1200の制御基板1250が制御装置1100の制御基板1150の機能を兼ねることができるのであれば、制御装置1100の機能をARグラス1200にて実現することとし、支援システム1000をARグラス1200単体で実現するとしてもよい。
また例えば、上記実施形態では、AR表示の表示位置の更新サイクルをリアルタイム表示と呼べるほどに十分に短くした例を示したが、更新サイクルは適宜設定可能である。
例えば、更新サイクルを運転士の視線方向に応じて変更する構成も可能である。具体的には、AR表示制御部240に、運転士の視線方向が列車3の進行方向から所定範囲を向いているかを判定する視界方向判定機能を追加する。そして、AR表示制御部240が、当該判定が肯定であれば(例えば、視界内に消失点8が検出されている場合)には、リアルタイム表示と呼べるほどに十分短い第1の更新サイクルを採用し、当該判定が否定であれば、更新を一時的に中断する或いは第1の更新周期よりも長い第2の更新周期とする、ように表示制御する、としてもよい。
当該構成の場合、支援システム1000は、運転士が時刻表や計器を頻繁に見る場面において、AR表示の表示位置が頻繁に更新されるのを抑制することができるようになる。よって、AR表示の更新が、運転士の集中を邪魔しないようになる。
3…列車
6…レール
7…ライブ映像
8…消失点
10…視認要求鉄道設備
10a…信号機
30…ARオブジェクト
34…吹き出し角部
40…重畳表示抑制エリア
50…重畳表示抑制区間
200…演算部
210…支援表示制御部
212…トラッキング制御部
214…走行位置情報取得部
216…抑制区間設定部
220…検出部
222…信号現示判定部
224…抑制エリア設定部
226…通過方位判定部
230…ARオブジェクト決定部
240…AR表示制御部
500…記憶部
501…支援表示制御プログラム
510…視認要求鉄道設備登録データ
515…AR表示対象鉄道設備フラグ
550…重畳表示抑制エリア初期設定データ
580…ARオブジェクト設定データ
591…表示内容テキスト
592…主要部オブジェクト設定データ
593…吹き出し角部オブジェクト設定データ
599…優先度
600…運行管理データ
602…重畳表示抑制区間設定データ
700…AR表示制御データ
701…撮影画像データ
703…現在位置情報
705…画像認識処理データ
710…重畳表示抑制エリア設定データ
720…検出済視認要求鉄道設備管理データ
725…通過方位
727…信号現示種類
730…適用ARオブジェクト設定データ
733…表示位置座標
737…吹き出し角部オブジェクトデータ
739…適用優先度
740…表示優先順位リスト
742…表示許可数(表示数制限の上限値)
744…表示対象ARオブジェクト管理データ
1000…支援システム
1100…制御装置
1200…ARグラス
1202…透過型ディスプレイ
1230…ライブカメラ
1300…鉄道運行管理システム

Claims (9)

  1. 列車の運転士が装着するARデバイスと、前記ARデバイスに対して、前記運転士の視界に所与のARオブジェクトを重畳表示させる制御を行う制御装置と、を具備するコンピュータシステムであって、
    前記ARデバイスは、
    前記運転士の視界を撮影するカメラ、
    を備え、
    前記制御装置は、
    前記運転士が視認すべき設備として設定された、鉄道信号機、鉄道標識、駅ホーム、及び踏切のうちの少なくとも1つを含む視認要求鉄道設備を、前記カメラの撮影画像に基づいて検出する検出手段と、
    前記検出された視認要求鉄道設備の前記視界中の位置に基づいて、前記ARオブジェクトの重畳表示を抑制する前記視界中の範囲を重畳表示抑制エリアとして設定する抑制エリア設定手段と、
    重畳表示させるARオブジェクトを決定するARオブジェクト決定手段と、
    前記決定されたARオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行う表示制御手段と、
    を備え
    前記抑制エリア設定手段は、前記撮影画像に基づく前記列車が走行しているレールに対する前記視認要求鉄道設備の相対位置に基づいて、前記列車の進行に伴って当該視認要求鉄道設備が前記視界のどちら側から視界外へ移りゆくかの通過方位を判定する通過方位判定手段を有し、当該通過方位に基づく範囲を前記重畳表示抑制エリアとして設定する、
    コンピュータシステム。
  2. 前記通過方位判定手段は、少なくとも、前記視認要求鉄道設備が前記視界の左側から視界外へ移りゆく左側を前記通過方位とする旨の判定と、前記視認要求鉄道設備が前記視界の右側から視界外へ移りゆく右側を前記通過方位とする旨の判定と、を行う
    請求項に記載のコンピュータシステム。
  3. 前記視認要求鉄道設備には、当該視認要求鉄道設備に係る情報を前記ARオブジェクトで表示することが設定されたAR表示対象鉄道設備が含まれ、
    前記ARオブジェクト決定手段は、前記検出手段により前記AR表示対象鉄道設備が検出された場合、当該AR表示対象鉄道設備に係る情報を表示するためのARオブジェクトを決定する、
    請求項1又は2に記載のコンピュータシステム。
  4. 前記表示制御手段は、吹き出しの角部を、前記AR表示対象鉄道設備の位置に向けるようにした吹き出し形状のオブジェクトを、前記ARオブジェクトとして表示制御する、
    請求項に記載のコンピュータシステム。
  5. 前記ARオブジェクト決定手段は、前記AR表示対象鉄道設備の種類に応じて設定された優先度と、重畳表示させるARオブジェクトの数に関する表示数制限と、に基づいて、重畳表示させるARオブジェクトを決定する、
    請求項3又は4に記載のコンピュータシステム。
  6. 前記検出手段は、検出した前記AR表示対象鉄道設備が鉄道信号機である場合に、当該鉄道信号機の信号現示を判定する信号現示判定手段を有し、
    前記ARオブジェクト決定手段は、前記信号現示判定手段により判定された信号現示が所定の優先表示条件を満たす信号現示である場合に、当該信号現示に係る情報を表示するためのARオブジェクトを決定し、
    前記表示制御手段は、前記信号現示判定手段により判定された信号現示が前記優先表示条件を満たす信号現示である場合に、前記重畳表示抑制エリアであるか否かに関わらず、前記ARオブジェクト決定手段により決定されたARオブジェクトを前記視界中に重畳表示させる優先表示制御を行う第1の優先表示制御手段を有する、
    請求項の何れか一項に記載のコンピュータシステム。
  7. 前記制御装置は、
    前記列車の走行位置の情報を取得する走行位置情報取得手段と、
    前記ARオブジェクトの重畳表示を抑制する前記走行位置に基づく重畳表示抑制区間を設定する抑制区間設定手段と、
    を更に備え、
    前記表示制御手段は、前記走行位置が前記重畳表示抑制区間である場合に、前記決定されたARオブジェクトの重畳表示を抑制する制御を行う、
    請求項1~の何れか一項に記載のコンピュータシステム。
  8. 前記視認要求鉄道設備には、当該視認要求鉄道設備に係る情報を前記ARオブジェクトで表示することが設定されたAR表示対象鉄道設備が含まれ、
    前記検出手段は、検出した前記AR表示対象鉄道設備が鉄道信号機である場合に、当該鉄道信号機の信号現示を判定する信号現示判定手段を有し、
    前記ARオブジェクト決定手段は、前記信号現示判定手段により判定された信号現示が所定の優先表示条件を満たす信号現示である場合に、当該信号現示に係る情報を表示するためのARオブジェクトを決定し、
    前記表示制御手段は、前記信号現示判定手段により判定された信号現示が前記優先表示条件を満たす信号現示である場合に、前記走行位置が前記重畳表示抑制区間であるか否かに関わらず、前記ARオブジェクト決定手段により決定されたARオブジェクトを前記視界中に重畳表示させる優先表示制御を行う第2の優先表示制御手段を有する、
    請求項に記載のコンピュータシステム。
  9. 列車の視界を撮影するカメラを有し、運転士が装着するARデバイスと、前記ARデバイスに対して、前記運転士の視界に所与のARオブジェクトを重畳表示させる制御を行う制御装置が制御する制御方法であって、
    前記運転士が視認すべき設備として設定された、鉄道信号機、鉄道標識、駅ホーム、及び踏切のうちの少なくとも1つを含む視認要求鉄道設備を、前記カメラの撮影画像に基づいて検出することと、
    前記検出された視認要求鉄道設備の前記視界中の位置に基づいて、前記ARオブジェクトの重畳表示を抑制する前記視界中の範囲を重畳表示抑制エリアとして設定することと、
    重畳表示させるARオブジェクトを決定することと、
    前記決定されたARオブジェクトを、前記視界中の前記重畳表示抑制エリア以外に重畳表示させる制御を行うことと、
    を含み、
    前記設定することは、前記撮影画像に基づく前記列車が走行しているレールに対する前記視認要求鉄道設備の相対位置に基づいて、前記列車の進行に伴って当該視認要求鉄道設備が前記視界のどちら側から視界外へ移りゆくかの通過方位を判定し、当該通過方位に基づく範囲を前記重畳表示抑制エリアとして設定することを含む、
    制御方法。
JP2020152224A 2020-09-10 2020-09-10 コンピュータシステムおよび制御方法 Active JP7458031B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020152224A JP7458031B2 (ja) 2020-09-10 2020-09-10 コンピュータシステムおよび制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020152224A JP7458031B2 (ja) 2020-09-10 2020-09-10 コンピュータシステムおよび制御方法

Publications (2)

Publication Number Publication Date
JP2022046276A JP2022046276A (ja) 2022-03-23
JP7458031B2 true JP7458031B2 (ja) 2024-03-29

Family

ID=80779817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020152224A Active JP7458031B2 (ja) 2020-09-10 2020-09-10 コンピュータシステムおよび制御方法

Country Status (1)

Country Link
JP (1) JP7458031B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242934A (ja) 2010-05-17 2011-12-01 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP2017211916A (ja) 2016-05-27 2017-11-30 京セラ株式会社 携帯電子機器、携帯電子機器制御方法及び携帯電子機器制御プログラム
JP2019113809A (ja) 2017-12-26 2019-07-11 マクセル株式会社 ヘッドアップディスプレイ装置
JP2019191961A (ja) 2018-04-25 2019-10-31 株式会社東芝 走行状況提示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242934A (ja) 2010-05-17 2011-12-01 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP2017211916A (ja) 2016-05-27 2017-11-30 京セラ株式会社 携帯電子機器、携帯電子機器制御方法及び携帯電子機器制御プログラム
JP2019113809A (ja) 2017-12-26 2019-07-11 マクセル株式会社 ヘッドアップディスプレイ装置
JP2019191961A (ja) 2018-04-25 2019-10-31 株式会社東芝 走行状況提示装置

Also Published As

Publication number Publication date
JP2022046276A (ja) 2022-03-23

Similar Documents

Publication Publication Date Title
US10502955B2 (en) Head-up display device, navigation device, and display method
JP6861375B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
CN104512336B (zh) 3维导航
US9482540B2 (en) Navigation display method and system
US11249308B2 (en) Display device in moving body for displaying superimposed virtual image and display control method
US20140362195A1 (en) Enhanced 3-dimensional (3-d) navigation
JP2015068831A (ja) 機能拡張された3次元(3−d)ナビゲーション
JPWO2019044536A1 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
US20220172652A1 (en) Display control device and display control program product
CN114641668A (zh) 拼车应用程序中的增强现实寻路
JP2010256878A (ja) 情報表示装置
JP2006501443A (ja) 車両に対してナビゲーション情報を表示する方法及び装置
EP2963632A1 (en) Manoeuvre assistance
WO2020241003A1 (ja) 表示制御装置、及び表示制御プログラム
JP2019012483A (ja) 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
JP2014181927A (ja) 情報提供装置、及び情報提供プログラム
JP6866875B2 (ja) 表示制御装置、及び表示制御プログラム
JP2005346177A (ja) 車両用情報提示装置
US20210088352A1 (en) Control device
JP6856085B2 (ja) 車両用表示制御装置、方法及びプログラム
JP6838626B2 (ja) 表示制御装置、及び表示制御プログラム
JP7458031B2 (ja) コンピュータシステムおよび制御方法
JP2021036226A (ja) 表示制御装置及び表示制御プログラム
US20220383645A1 (en) Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium
US11390215B2 (en) Assistance system for a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240308

R150 Certificate of patent or registration of utility model

Ref document number: 7458031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150