JP6798906B2 - 基地局装置及び通信システム - Google Patents

基地局装置及び通信システム Download PDF

Info

Publication number
JP6798906B2
JP6798906B2 JP2017038804A JP2017038804A JP6798906B2 JP 6798906 B2 JP6798906 B2 JP 6798906B2 JP 2017038804 A JP2017038804 A JP 2017038804A JP 2017038804 A JP2017038804 A JP 2017038804A JP 6798906 B2 JP6798906 B2 JP 6798906B2
Authority
JP
Japan
Prior art keywords
vehicle
base station
image
communication
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017038804A
Other languages
English (en)
Other versions
JP2018148284A (ja
Inventor
吉野 仁
仁 吉野
山口 良
山口  良
潤一 中島
潤一 中島
真行 宮下
真行 宮下
和馬 豊見本
和馬 豊見本
三上 学
学 三上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2017038804A priority Critical patent/JP6798906B2/ja
Publication of JP2018148284A publication Critical patent/JP2018148284A/ja
Application granted granted Critical
Publication of JP6798906B2 publication Critical patent/JP6798906B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、セルラー方式の移動通信の基地局装置及び通信システムに関するものである。
特許文献1には、自車両のカメラで自車両前方を撮影して得られる撮像画像中における前方車両によって死角となっている部分に、前方車両のカメラで撮像された画像を重ね合わせ、前方車両を透過した合成画像を生成する車載画像処理装置が開示されている。この車載画像処理装置において、自車両は、前方車両との間の車車間通信により、前方車両のカメラで撮像された画像を前方車両から受信する。
前記特許文献1に記載の車載画像処理装置のように、前方車両のカメラで撮像された画像を自車両で受信する通信方式として車車間通信を用いる場合、前方車両と自車両の両方に当該車車間通信のための無線通信装置が搭載されていることが前提となる。そのため、そのような無線通信装置が十分に普及しなければ、前記特許文献1に記載の車載画像処理装置を実現することが難しい。
一方で、携帯電話機などの通信方式として用いられているセルラー方式の移動通信は十分に普及しており、これを通信方式に採用すれば、前記特許文献1に記載の車載画像処理装置を実現することが容易になるというメリットがある。しかしながら、従来のセルラー方式の移動通信をそのまま採用すると、例えば同じセル内に存在する近距離の車両間の通信であっても、そのセルを形成する基地局装置よりも網側のコアネットワークへの通信が発生して移動通信網の通信トラフィックの増大を招くという問題がある。
この問題は、自車両において近距離に位置する前方車両のカメラで撮像された画像を利用する場合に限らず、一般に、一の通信装置において近距離に位置する別の通信装置に関する情報を利用する場合には、同様に生じ得る。
本発明の一態様に係る基地局装置は、セルラー方式の移動通信の基地局装置であって、当該基地局装置によって形成されるセル内に在圏する複数の通信装置それぞれに関する記憶対象情報を記憶する内部記憶手段と、前記セル内に在圏する通信装置と無線通信するセル側通信手段と、前記セル内に在圏する一の通信装置から別の通信装置についての情報取得要求を前記セル側通信手段により取得したら、前記内部記憶手段に記憶された該別の通信装置に関する記憶対象情報を用いて該情報取得要求に対応する要求情報を該一の通信装置へ該セル側通信手段により送信する送信処理を実行する処理手段とを有する。
前記基地局装置において、前記処理手段は、前記通信装置に関する記憶対象情報を該通信装置から前記セル側通信手段により取得して前記内部記憶手段内に記憶する記憶処理を実行するものであってもよい。
また、前記基地局装置において、前記記憶対象情報は、前記通信装置に設けられる撮像手段によって撮像された撮像画像を含むものであってもよい。
また、前記基地局装置において、前記記憶対象情報は、前記通信装置の位置を示す位置情報を含むものであってもよい。
また、前記基地局装置において、前記記憶対象情報は、前記通信装置を搭載する移動体の個体識別情報を含むものであってもよい。
また、前記基地局装置において、前記個体識別情報は、前記移動体の外側に表示される個体識別情報であってもよい。
また、前記基地局装置において、前記個体識別情報は、対応する移動体の外部に位置する外部撮像機器によって該移動体を撮像した撮像画像に基づいて特定される情報であってもよい。
また、前記基地局装置において、前記処理手段は、前記外部撮像機器により撮像した前記撮像画像を該外部撮像機器から前記セル側通信手段により取得し、該撮像画像に基づいて前記個体識別情報を特定する個体識別情報特定処理を実行するものであってもよい。
また、前記基地局装置において、前記内部記憶手段は、前記通信装置を識別可能な識別情報に関連づけて該通信装置に関する記憶対象情報を記憶し、前記処理手段は、前記別の通信装置に対応する識別情報を前記情報取得要求に関連づけて前記セル側通信手段により取得するとともに、該識別情報に対応する該別の通信装置に関する記憶対象情報を前記内部記憶手段から前記一の通信装置へ該セル側通信手段により送信することにより、前記送信処理を実行するものであってもよい。
また、前記基地局装置において、前記処理手段は、取得した前記情報取得要求に基づいて、前記内部記憶手段に記憶された前記別の通信装置に関する記憶対象情報を特定するとともに、特定した記憶対象情報に対応する該別の通信装置から該情報取得要求に対応する要求情報を取得し、取得した要求情報を前記一の通信装置へ前記セル側通信手段により送信することにより、前記送信処理を実行するものであってもよい。
また、前記基地局装置において、前記処理手段は、コアネットワーク側と通信することなく、前記処理を実行するものであってもよい。
本発明の他の態様に係る通信システムは、セルラー方式の移動通信を行う通信システムであって、前記基地局装置と、移動通信により前記基地局装置と通信可能な少なくとも1つの通信装置とを含む。
本発明によれば、当該基地局装置によって形成されるセル内に在圏する複数の通信装置それぞれに関する記憶対象情報が当該基地局装置の内部記憶手段に記憶され、セル内の一の通信装置からの取得要求に応じて別の通信装置についての要求情報を一の通信装置へ送信する際には、当該基地局装置の内部記憶手段に記憶された記憶対象情報が用いられる。よって、一の通信装置が別の通信装置についての情報を利用する場合の通信処理は、コアネットワーク側への通信を必要せずに実現することができ、移動通信網の通信トラフィックの増大を抑制できる。
本発明の実施形態に係る通信システムの一例を示す説明図。 本発明の実施形態に係る通信システムの他の例を示す説明図。 本発明の実施形態に係る通信システムの更に他の例を示す説明図。 本発明の実施形態に係る通信システムの更に他の例を示す説明図。 本実施形態に係る通信システムにおける基地局装置の機能ブロック図。 本実施形態に係る通信システムを用いた表示システムを構成する表示装置を搭載した自車両の構成を示す模式図。 本実施形態における表示装置で用いるHUDの構成を示す説明図。 本実施形態の表示装置における画像処理装置の主要構成を示すハードウェアブロック図。 本実施形態における表示装置の機能ブロック図。 本実施形態の表示システムにおける先行車両に搭載されるカメラの機能ブロック図。 本実施形態における自車両及び先行車両を側方から見たときの説明図。 本実施形態における表示装置により先行車両撮像画像を表示してない状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 本実施形態における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 本実施形態の処理の流れを示すシーケンス図。 本実施形態における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の他の例を示す模式図。 本実施形態における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の更に他の例を示す模式図。 変形例1において、自車両の前方を走行している前方車両が交差点を通過する直前である例を示す説明図。 変形例1における処理の流れを示すシーケンス図。 変形例2における処理の流れを示すシーケンス図。 変形例3において、対向車線が渋滞している場合において、第一対向車両とその前に停止している第二対向車両との間を通って、歩行者Wが自車両の走行車線を横切ろうとしている例を示す説明図。 変形例3における表示装置により歩行者マーク画像を表示していない状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 変形例3における表示装置により歩行者マーク画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 変形例3における処理の流れを示すシーケンス図である。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の実施形態に係る通信システムの一例を示す説明図である。
本実施形態の通信システムは、セルラー方式の移動通信網60における基地局装置70と、移動体である自動車40(1),40(2)に搭載される通信装置としての移動局装置12,52とを備える。なお、本実施形態では、移動体が自動車(乗用車、トラック、バスなど)である場合について説明するが、本実施形態における移動体は、自動車のほか、線路上を走行する鉄道車両、航空機、船舶、産業用重機、産業用ロボットなどであってもよい。また、本実施形態の通信システムは、基地局装置70がマクロセル基地局を構成する例であるが、基地局装置70はスモールセル基地局などを構成するものであってもよい。
本実施形態の通信システムにおいて、基地局装置70は、地上に配置される固定基地局を構成し、当該基地局装置70の通信可能範囲としてのセル70Sが形成され、セル内に存在する各移動局装置12,52と無線通信を確立する。また、基地局装置70は、バックホール回線を介して移動通信網60のコアネットワーク62に接続されており、コアネットワーク62を介して他のセルを形成する他の基地局装置などと通信可能に構成されている。基地局装置70のセル70S内に存在する移動局装置12,52は、基地局装置70を経由してコアネットワーク62に接続された他の基地局装置のセル内に存在する他の移動局装置との間で通信することができる。
自動車40(1),40(2)に設けられる移動局装置12,52は、例えば、28GHz帯、5GHz帯、4.2GHz帯などの周波数帯を用いた無線通信により基地局装置70と通信する。移動局装置12,52に設けられるアンテナは、自動車40(1),40(2)の本体、例えば屋根の平面部分、他の用途のアンテナが組み込まれた屋根後部のシャークアンテナ部、又はピラー部分に設けられている。また、アンテナは、複数のアンテナエレメントを有し、アンテナビームの数及び方向を制御して基地局装置70を追尾できるビームフォーミング機能を有してもよい。
移動局装置12,52は、図示の都合上、自動車40(1),40(2)の屋根の上に図示されているが、例えば、自動車40(1),40(2)のトランクの中、ダッシュボードの内部、シートの下側などに設置される。移動局装置12,52は、自装置内に電源(バッテリー)を備えてもよいが、自動車40(1),40(2)側のバッテリーから電力の供給を受けてもよい。自動車40(1),40(2)側のバッテリーから電力の供給を受ける場合、バッテリーから移動局装置12,52への電力の供給は、バッテリーへの充電が停止される自動車40(1),40(2)の駆動停止(OFF)から所定時間(例えば1時間)が経過したときに自動停止されるようにしてもよい。
図2は、本実施形態に係る通信システムの他の例を示す説明図である。
図2の通信システムは、衛星局(人工衛星)63が、自動車40(1),40(2)に搭載された移動局装置12,52と地上の基地局装置70との間の通信を中継する例である。この例では、衛星局(人工衛星)63の通信可能範囲にセル70Sが形成される。
図3は、本実施形態に係る通信システムの更に他の例を示す説明図である。
図3の通信システムは、係留気球64に設けた係留気球中継局65が、自動車40(1),40(2)に搭載された移動局装置12,52と地上の基地局装置70との間の通信を中継する例である。この例では、係留気球中継局65の通信可能範囲にセル70Sが形成される。
図4は、本実施形態に係る通信システムの更に他の例を示す説明図である。
図4の通信システムは、基地局装置70によって直接形成されるセル70S−1内に存在する他の自動車40(3)に搭載された移動型の基地局(以下「ムービングセル基地局」という。)66が、自動車40(1),40(2)に搭載された移動局装置12,52と固定基地局である基地局装置70との間の通信を中継する例である。この例において、自動車40(1),40(2)に搭載された移動局装置12,52は、基地局装置70によって直接形成されるセル70S−1内に存在しなくても、そのセル70S−1内に存在するムービングセル基地局66によって形成される移動型のセル(以下「ムービングセル」という。)70S−2内に存在していれば、基地局装置70との通信を確立することができる。この例では、基地局装置70が形成するセル70Sは、セル70S−1とムービングセル70S−2とから構成される。
ムービングセル基地局66は、基地局装置70との間で無線通信を行うための第1アンテナと、ムービングセル70S−2内で自動車40(1),40(2)に搭載された移動局装置12,52と無線通信を行う第2アンテナとを備える。第1アンテナ及び第2アンテナは、自動車40(3)の本体、例えば屋根の平面部分、他の用途のアンテナが組み込まれた屋根後部のシャークアンテナ部、又はピラー部分に設けられている。第1アンテナ及び第2アンテナは、共用のアンテナでもよい。また、第1アンテナは、複数のアンテナエレメントを有し、アンテナビームの数及び方向を制御して基地局装置70を追尾できるビームフォーミング機能を有してもよい。また、第2アンテナは、複数のアンテナエレメントを有し、アンテナビームの数及び方向を制御可能なビームフォーミング機能を有してもよい。
ムービングセル基地局66は、図示の都合上、自動車40(3)の屋根の上に図示されているが、例えば、自動車40(3)のトランクの中、ダッシュボードの内部、シートの下側などに設置される。ムービングセル基地局66は、自装置内に電源(バッテリー)を備えてもよいが、自動車40(3)側のバッテリーから電力の供給を受けてもよい。自動車40(3)側のバッテリーから電力の供給を受ける場合、バッテリーからムービングセル基地局66への電力の供給は、バッテリーへの充電が停止される自動車40(3)の駆動停止(OFF)から所定時間(例えば1時間)が経過したときに自動停止されるようにしてもよい。
また、ムービングセル基地局66は、基地局装置70の無線中継局として機能するリピーター機能を有するものであってもよい。また、ムービングセル基地局66は、他の基地局と識別可能な基地局識別情報(セルID)が割り当てられ、基地局装置70を介して移動通信網60のコアネットワーク62に接続することができる機能を有してもよい。
図5は、本実施形態における基地局装置70の機能ブロック図である。
本実施形態の基地局装置70は、主に、移動局(移動局装置12,52)あるいは他の基地局(ムービングセル基地局66等)との間で通信されるデータの各種処理を実行する処理手段としてのデータ処理部71と、各種データを記憶する内部記憶手段としての記憶部72と、セル70S内に存在する各移動局(移動局装置12,52)と通信するためのセル側通信手段としての移動通信部73と、移動通信網60のコアネットワーク62に接続された他の基地局あるいは管理装置等と通信するためのコアネットワーク側通信手段としてのバックホール通信部74とで構成される。
本実施形態の基地局装置70は、セル70S内の通信装置(移動局装置12,52)や他の基地局(ムービングセル基地局66等)に関わる記憶対象情報を記憶部72内に記憶して管理するローカルデータセンターとして機能する。例えば、位置情報を取得する機能(GPS装置43等)を備えている通信装置に対しては、その通信装置の現在位置を示す位置情報を当該通信装置から受信し、これを記憶部72に記憶する。これにより、基地局装置70は、そのセル70S内に存在する各通信装置の位置情報をデータベースとして保持する。
次に、本実施形態における通信システムを以下の表示システムに適用した一例について説明する。
本実施形態の表示システムは、移動体である自車両(乗用車、トラック、バスなど)40(1)に搭載される表示装置1と、自車両40(1)の前方を同一方向へ走行する他の移動体である同方向移動体としての先行車両40(2)に搭載される撮像手段としてのカメラ50とを備え、表示装置1とカメラ50との間の通信手段として、本実施形態の通信システムを利用する。
図6は、本実施形態における表示装置1を搭載する自車両40(1)の構成を示す模式図である。
図7は、本実施形態における表示装置1で用いる表示手段としてのヘッドアップディスプレイ(以下「HUD」という。)20の構成を示す説明図である。
本実施形態の表示装置1は、画像処理装置10とHUD20とに大別することができる。HUD20は、例えば自車両40(1)のダッシュボードに配置されたプロジェクタにより、自車両40(1)の前方ウィンドシールドであるフロントガラス42に画像を投射するものである。
HUD20は、主に、表示装置1の画像処理装置10において生成される画像を表示するための画像光(光束)を照射する光照射装置21、照射レンズ22、画像光の照射範囲を制御するための光学レンズ23、画像光の照射位置を制御するための反射ミラー24、画像を拡大するための拡大レンズ25で構成される。
光照射装置21が照射した画像光(光束)は、照射レンズ22及び光学レンズ23を介して反射ミラー24に照射される。反射ミラー24で反射した画像光は、拡大レンズ26で拡大されて、自車両40(1)のフロントガラス42に投射される。フロントガラス42に投射された画像光は、フロントガラス42の内壁面で反射され、自車両の運転者Pに向かう。したがって、本実施形態の表示装置1は、自車両のフロントガラス42を通じて視認される自車両前方の視界に重ねて、HUD20によって投射される画像(重畳画像)Gを表示することができる。運転者Pは、HUD20によって投射された画像Gを、自車両のフロントガラス42を通じて視認される自車両前方の視界に重ねた状態で、視認することができる。
投射される画像Gの表示範囲(画像光の照射範囲)は、光学レンズ23を光軸方向へ移動させることで制御することができる。また、画像Gの表示位置(画像光の照射位置)は、反射ミラー24の角度を変更することによって制御することができる。光学レンズ23の移動や反射ミラー24の角度変更は、画像処理装置10により所定の駆動部を制御することによって行うことができる。
図8は、本実施形態の表示装置1における画像処理装置10の主要構成を示すハードウェアブロック図である。
画像処理装置10のハードウェアは、主に、CPU10A、ROM10B、RAM10C、通信I/F10D、データI/F10Eから構成されている。CPU10Aは、ROM10Bに記憶されている各種プログラムを実行することにより、HUD20の駆動制御等の画像表示制御を実行したり、各種画像処理を実行したり、表示装置1の各機能を制御したりする。ROM10Bは、CPU10Aが表示装置1の各機能を制御するために実行する各種プログラムを記憶する。RAM10Cは、CPU10Aのワークエリアとして使用される。通信I/F10Dは、移動通信網60を介して、先行車両40(2)に搭載されるカメラ50等の外部機器との通信を行ったり、自車両40(1)のCAN(Controller Area Network)61を介して、自車両40(1)のナビゲーション装置、GPS装置や車速センサなどの各種車載センサとの通信を行ったりする。データI/F10Eは、HUD20との間の通信を行う。
図9は、自車両40(1)に搭載される表示装置1の機能ブロック図である。
表示装置1の画像処理装置10は、表示装置1の全体機能を制御する制御部11と、先行車両40(2)のカメラ50により先行車両40(2)の前方を撮像した先行車両撮像画像のデータを移動通信網60を介して受信する移動局装置(外部通信部)12と、外部通信部12で受信した先行車両撮像画像のデータに基づき、自車両40(1)のフロントガラス42を通じて視認される自車両前方の視界に重ねてHUD20により表示させる画像(重畳画像)を生成する画像生成部13と、画像生成部13により生成された画像を表示するHUD20の制御を行う表示制御部14と、自車両40(1)に搭載されているGPS(Global Positioning System)装置43や各種車載センサ(車速センサ、加速度センサ、姿勢センサ、レーダー、温度センサなど)44からの情報を自車両40(1)のCAN61を介して受信する車内通信部15と、自車両40(1)の前方を撮像して自車両撮像画像を得る撮像部16とから構成される。
図10は、先行車両40(2)に搭載されるカメラ50の機能ブロック図である。
カメラ50は、カメラ50の全体機能を制御する制御部51と、撮像部53によって先行車両40(2)の前方を撮像した先行車両撮像画像のデータを移動通信網60より送信する移動局装置(外部通信部)52と、先行車両40(2)の前方を撮像して先行車両撮像画像を得る撮像部53と、先行車両40(2)に搭載されているGPS装置43や各種車載センサ44からの情報を先行車両40(2)のCAN61を介して受信する車内通信部54とから構成される。
図11は、自車両40(1)及び先行車両40(2)を側方から見たときの説明図である。
図12は、表示装置1により先行車両撮像画像を表示してない状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
図13は、表示装置1により先行車両撮像画像を表示した状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
図示の例は、交差点を通過する直前の先行車両40(2)に続いて、自車両40(1)が走行している状況の例である。この状況において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界中には、図11に示すように、先行車両40(2)による死角領域(図11中の斜線部分D)が存在する。この例では、図12に示すように、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての信号機45が先行車両40(2)に隠れてしまい、信号機45を視認することができない。そのため、自車両40(1)の運転者Pは、信号機45が赤信号になっていることに気付かずに、交差点に自車両40(1)を進入させてしまうおそれがある。
本実施形態では、先行車両40(2)のカメラ50による撮像領域Eには先行車両40(2)による死角領域Dが含まれているので、そのカメラ50による撮像画像(先行車両撮像画像)を移動通信網60を介して自車両40(1)が受信する。そして、受信した先行車両撮像画像(重畳画像)を、HUD20により、図13に示すように、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示する。これにより、自車両40(1)の運転者Pは、死角領域Dに存在する信号機45を認識することができ、信号機45が赤信号になっていることに気付かずに交差点に自車両40(1)を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Pは、フロントガラス42から視線を外すことなく、死角領域Dに存在する信号機45を認識することができるので、信号機45を迅速に認識することができ、上述した事態をより効果的に抑制することができる。
図14は、本実施形態における処理の流れを示すシーケンス図である。
本実施形態における基地局装置70は、上述したように、セル70S内の自車両40(1)及び先行車両40(2)に関わる記憶対象情報として、セル70S内の自車両40(1)及び先行車両40(2)の現在位置を示す位置情報を、データベースとして記憶部72に保持する。この位置情報データベースは、基地局装置70のセル70S内で基地局装置70との通信が確立された各移動局装置(自車両40(1)の外部通信部12や先行車両40(2)の外部通信部52)から送信される位置情報を無線通信により受信することで、登録、更新される。この位置情報データベースは、例えば、各移動局装置に固有の移動局ID等の識別情報に関連づけて、各移動局装置の位置情報を管理する。
自車両40(1)や先行車両40(2)にはGPS装置43が搭載されており、自車両40(1)や先行車両40(2)が存在するセル70Sを形成する基地局装置70に対し、所定のタイミングで、自車両40(1)や先行車両40(2)の現在位置を示す位置情報が外部通信部12,52から送信される(S1)。これを受信した基地局装置70は、自車両40(1)や先行車両40(2)の位置情報を記憶部72内の位置情報データベースに登録したり更新したりする(S2)。この位置情報データベースにより、自車両40(1)や先行車両40(2)を含む当該セル70S内の移動局装置の現在位置を示す位置情報が管理される。
自車両40(1)において所定の処理開始条件が満たされると、自車両40(1)に搭載される表示装置1の制御部11の制御の下、外部通信部12から基地局装置70へ、先行車両40(2)のカメラ50で撮像された先行車両撮像画像(要求情報)を取得するための画像取得要求が送信される(S3)。
所定の処理開始条件は、例えば、先行車両40(2)から受信する先行車両撮像画像を常にHUD20により投射表示させる場合には、自車両40(1)のイグニッションをオンにするという条件、表示装置1の電源をオンにするという条件、シフトレバーをDポジションに操作するという条件などであってもよい。
また、所定の処理開始条件は、例えば、運転者Pの希望する期間だけ先行車両撮像画像を投射表示させる場合には、運転者Pによる処理開始操作を受け付けるという条件などであってもよい。
また、所定の処理開始条件は、例えば、予めシステム上で決められた状況(信号機45等の対象物が死角領域Dに隠れた状況)の時期だけ先行車両撮像画像を投射表示させる場合には、自車両40(1)に搭載されたセンサ等により当該状況を検知したという条件などであってもよい。なお、このような状況の検知は、例えば、自車両40(1)に前方カメラを搭載し、その前方カメラで撮像された撮像画像に基づいて識別された信号機45が撮像画像から識別できなくなったことを判断する方法などによって実現することができる。この方法では、信号機45が撮像画像から識別できなくなったときに、信号機45が死角領域Dに入ったことを把握することができる。
自車両40(1)から送信された画像取得要求が基地局装置70に受信されると、基地局装置70のデータ処理部71は、その画像取得要求を先行車両40(2)へ送信するために、記憶部72に記憶されている位置情報データベースを参照して、先行車両40(2)を特定する処理を行う(S4)。
具体的には、自車両40(1)における表示装置1の制御部11は、外部通信部12から画像取得要求を送信する際、自車両40(1)の外部通信部12(移動局装置)に固有の移動局IDに関連づけて画像取得要求を送信する。この画像取得要求が基地局装置70に受信されると、基地局装置70のデータ処理部71は、記憶部72に記憶されている位置情報データベースを参照し、受信した画像取得要求に関連づけられた自車両40(1)の移動局IDから自車両40(1)の位置情報を特定するとともに、その位置情報に基づいて自車両40(1)の前方エリア内の位置情報をもつ移動局ID(先行車両40(2))を特定する。そして、データ処理部71は、特定した移動局IDすなわち先行車両40(2)の外部通信部52に対して、自車両40(1)からの画像取得要求を送信する。
先行車両40(2)に搭載されるカメラ50の撮像部53は、例えば、先行車両40(2)のフロントガラス内壁に取り付けられたルームミラー付近に設置されている。先行車両40(2)に搭載されたカメラ50は、撮像部53により、先行車両40(2)のフロントガラスを通じて先行車両40(2)の前方を常時撮像している。自車両40(1)からの画像取得要求を基地局装置70から受信した先行車両40(2)の制御部51は、その応答として、カメラ50の撮像部53により撮像した先行車両撮像画像を、先行車両40(2)の移動局IDに関連づけて、外部通信部52から送信する処理を実行する(S5)。
先行車両撮像画像が基地局装置70に受信されると、基地局装置70のデータ処理部71は、記憶部72に記憶されている位置情報データベースを参照して、先行車両40(2)の位置情報とともに、受信した先行車両撮像画像を自車両40(1)へ送信する。自車両40(1)の制御部11は、外部通信部12から先行車両撮像画像を先行車両40(2)の位置情報とともに受信すると(S6)、先行車両撮像画像の視点を変換する視点変換処理を行う(S7)。この視点変換処理では、先行車両40(2)の撮像部53で撮像した先行車両撮像画像の視点位置を、自車両40(1)のフロントガラス42を通じて視認される運転者Pの視点位置に変換する。この視点変換処理により、先行車両40(2)の視界を映し出す先行車両撮像画像を、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
例えば、先行車両40(2)の位置情報と自車両40(1)の位置情報とから、先行車両40(2)の撮像部53の視点位置(先行車両撮像画像の視点位置)と自車両40(1)の視点位置(運転者Pの視点位置)との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、先行車両40(2)の位置情報だけでなく、先行車両40(2)の車両データや撮像部53の設定情報(撮像部53の設置高さや撮像方向のデータなど)、自車両40(1)の車両データや自車両40(1)の運転者Pの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。
また、視点変換処理は、このような位置情報を用いずに行うことも可能である。例えば、自車両40(1)に搭載の撮像部16で撮像した自車両撮像画像を、先行車両40(2)から受信した先行車両撮像画像と対比し、両画像に映し出されている被写体のマッチング処理を行う。そして、マッチングした被写体の相対位置関係を特定し、その相対位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
次に、自車両40(1)の制御部11は、視点変換処理後の先行車両撮像画像から、先行車両40(2)による自車両40(1)の死角領域(図11中の斜線部分D)に対応する画像部分を抽出する死角領域抽出処理を行う(S8)。この死角領域抽出処理は、視点変換処理後の先行車両撮像画像(重畳画像)を、HUD20により、図13に示すように、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面(死角領域)に重ねて投射表示する際、死角領域Dではない視界部分(先行車両40(2)の背面以外の視界部分)に先行車両撮像画像が投射表示されないようにするための処理である。
死角領域Dではない視界部分に先行車両撮像画像が投射表示されると、死角領域Dではない視界部分において、自車両40(1)の運転者Pが視認できている対象物に先行車両撮像画像が重なってしまい、その対象物が見えにくくなってしまう。特に、自車両40(1)のフロントガラス42上の側部領域(フロントガラス42を通じて視認される先行車両40(2)の両側領域)は、歩行者やバイクなどが横からの飛び出してくることを運転者Pが察知するために重要な視界部分である。そのため、自車両40(1)のフロントガラス42上の側部領域については、運転者Pの視認性を確保することが特に重要であり、先行車両撮像画像を非表示にすることが望ましい。
本実施形態においては、死角領域抽出処理を行うことで、先行車両40(2)による死角領域Dだけに先行車両撮像画像(重畳画像)が重ねて表示され、その死角領域D以外は先行車両撮像画像(重畳画像)が表示されない。したがって、自車両40(1)のフロントガラス42上の側部領域については、先行車両撮像画像が表示されず、運転者Pの視認性を確保することができる。
本実施形態の死角領域抽出処理では、自車両40(1)に搭載の撮像部16によって自車両40(1)の前方を撮像した自車両撮像画像を解析して、自車両40(1)のフロントガラス42を通じて運転者Pに視認される視界中における先行車両40(2)による死角領域Dを特定する。自車両撮像画像は、運転者Pに視認される視界の一部又は全部を含むエリアが映し出されており、図12に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、先行車両40(2)を映し出す画像部分(死角領域Dの画像部分)を特定する。死角領域Dの画像部分を特定する方法については、特に制限はなく、例えば、自車両撮像画像中のエッジ部(輝度変化が大きい部分)を抽出するなどの方法を用いることができる。
その後、自車両40(1)の制御部11は、表示制御部14を介して、死角領域Dについて抽出した先行車両撮像画像の画像部分を、死角領域視界画像として、HUD20により、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重なるように投射表示する(S9)。これにより、図13に示すように、先行車両40(2)によって死角となっていた信号機45を映し出す先行車両撮像画像の画像部分が、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する信号機45を認識することができ、信号機45が赤信号になっていることに気付かずに交差点に自車両40(1)を進入させてしまう事態が抑制される。
なお、本実施形態では、死角領域抽出処理を実行して、先行車両40(2)による死角領域Dだけに先行車両撮像画像(重畳画像)が重ねて表示しているが、死角領域抽出処理は必ずしも実行する必要はない。例えば、死角領域抽出処理を実行せず、視点変換処理後の先行車両撮像画像を、自車両40(1)のフロントガラス42上の予め決められた領域(横方向中央領域など)に投射表示するようにしてもよい。この場合でも、自車両40(1)のフロントガラス42上の側部領域については、先行車両撮像画像が表示されないので、運転者Pの視認性を確保することができる。
また、本実施形態では、死角領域Dに存在する対象物である信号機45を、視点変換処理後の先行車両撮像画像を投射することにより死角領域Dに重ねて表示したが、対象物を運転者Pに認知させることができる画像であれば、先行車両撮像画像に代えて、予め用意しておいたマーク画像などを死角領域Dに重ねて表示するようにしてもよい。このようなマーク画像を用いることは、先行車両撮像画像を死角領域Dに重ねて投射表示させる場合に対象物の視認性を十分に確保することが困難である場合に有効である。
具体例としては、例えば、上述した死角領域抽出処理により先行車両撮像画像から抽出した死角領域Dの画像部分内に信号機45が含まれているか否かの識別処理を行い、信号機45が含まれていることを識別したら、その信号機45の色を特定し、その色に対応する信号機のマーク画像を、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示する。例えば、赤信号のマーク画像は、図15に示すような信号機のマーク画像45’のように赤信号部分を相対的に拡大するなど、赤信号であることを強調するようなデザインであるのが好ましい。
また、本実施形態では、死角領域に存在する対象物が信号機45である場合を例に挙げて説明したが、対象物はこれに限らず、運転者を含む搭乗者に視認させることが有益な対象物であれば、人(歩行者等)、軽車両(自転車等)、移動経路周囲の他の構造物(電柱やガードレール等)などであってもよい。例えば、自車両40(1)の直前を走行する先行車両40(2)によって道路脇(路側等)に居る歩行者Wが死角になっている状況においては、先行車両40(2)に搭載されているカメラ50がその歩行者Wを撮像し得る。この場合、その先行車両撮像画像を自車両40(1)が受信することで、図16に示すように、死角領域Dに存在する歩行者Wが自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示される。
また、本実施形態では、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)から視認される自車両外部の視界に重ねて重畳画像を表示する表示手段として、プロジェクタによりフロントガラス42に画像を投射するHUD20を用いているが、これに限られない。例えば、自車両40(1)の前方ウィンドシールド自体を透明又は半透明の透過型ディスプレイ(例えば、透明又は半透明の液晶ディスプレイ)で構成し、透過型ディスプレイ上に重畳画像を表示することで、透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。また、例えば、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)に透過型ディスプレイを重ねて配置し、透過型ディスプレイ上に重畳画像を表示することで、フロントガラス42及び透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。
また、本実施形態においては、基地局装置70の記憶部72内における位置情報データベースにより、セル70S内に存在する移動局装置(自車両40(1)の外部通信部12や先行車両40(2)の外部通信部52)の位置情報が基地局装置70内で管理されている。また、自車両40(1)からの画像取得要求の送信先である先行車両40(2)を特定するための処理(S4)は、基地局装置70のデータ処理部71が記憶部72内における位置情報データベースを参照して実行される。このように基地局装置70がローカルデータセンターとして機能する結果、自車両40(1)が先行車両40(2)のカメラ50で撮像された先行車両撮像画像を利用する場合の通信処理は、バックホール回線を介したコアネットワーク62側への通信を必要せずに実現される。よって、同じセル内に存在する各移動局装置(自車両40(1)の外部通信部12や先行車両40(2)の外部通信部52)と基地局装置70との間における画像取得要求や先行車両撮像画像の通信が発生しても、移動通信網60のコアネットワーク62側における通信トラフィックが増大することはなく、移動通信網60全体の通信トラフィックを抑制することができる。
特に、移動通信網60を構成する個々の基地局装置が上述したようなローカルデータセンターとして機能することで、各基地局装置において、同時期に、一の通信装置が同一セル内に存在する別の通信装置に関する記憶対象情報を利用するための通信処理が発生しても、移動通信網60のコアネットワーク62が使用されないため、移動通信網60全体の通信トラフィックを抑制することができる。
また、本実施形態では、先行車両40(2)に搭載されているカメラ50によって撮像した先行車両撮像画像を自車両40(1)が受信することで、死角領域Dに存在する対象物である信号機45の撮像画像を自車両40(1)が取得するが、その取得方法はこれに限られない。例えば、信号機45を撮像する撮像手段としての路側カメラを路側に配置し、その路側カメラによって撮像した路側カメラ撮像画像を移動通信網60を介して自車両40(1)が受信することで、死角領域Dに存在する対象物である信号機45の撮像画像を自車両40(1)が取得してもよい。この場合、路側カメラは、上述した先行車両40(2)の外部通信部52と同様の構成及び動作を行う移動局装置を備える。
また、本実施形態では、基地局装置70の記憶部72に位置情報データベースとして記憶される自車両40(1)及び先行車両40(2)の位置情報(記憶対象情報)を、それぞれの外部通信部(移動局装置)12,52から基地局装置70の移動通信部73により取得するが、その取得方法はこれに限られない。例えば、自動車40(1),40(2)が通行する道路の路側に配置される車両通信機器が個々の自動車40(1),40(2)との近距離無線通信によって各自動車40(1),40(2)の移動局ID(識別情報)及び位置情報を取得するようにしてもよい。車両通信機器が取得した各自動車40(1),40(2)の移動局ID(識別情報)及び位置情報を車両通信機器から基地局装置70へ通信する方法は、必ずしも移動通信である必要はなく、有線通信などの他の通信手段を利用してもよい。
〔変形例1〕
次に、本実施形態における一変形例(以下、本変形例を「変形例1」という。)について説明する。
上述した実施形態では、基地局装置70の記憶部72にデータベースとして記憶される記憶対象情報が基地局装置70のセル70S内に存在する個々の自動車40(1),40(2)の現在位置を示す位置情報であったが、これに限られない。例えば、基地局装置70のセル70S内に存在する個々の自動車の撮像手段によって撮像された撮像画像であってもよい。本変形例1では、基地局装置70のセル70S内に存在する個々の自動車の撮像手段によって撮像された撮像画像を記憶対象情報とし、自車両40(1)からの取得要求に応じて前方車両で撮像した撮像画像(要求情報)を送信する。したがって、本変形例1において、記憶対象情報と要求情報とは同じ情報である。
図17は、本変形例1において、自車両40(1)の前方を走行している前方車両40(4)が交差点を通過する直前である例を示す説明図である。
図示の例において、前方車両40(4)は、交差点を通過する直前の状況である。前方車両40(4)に搭載されるカメラ50は、上述した実施形態の先行車両40(2)のカメラ50と同様の構成及び動作であり、その撮像部53は、前方車両40(4)のフロントガラス42を通じて前方車両40(4)の前方を撮像する。そのため、図示の例における状況においては、前方車両40(4)のカメラ50により、前方車両40(4)の運転者等の搭乗者がフロントガラス42を通じて視認する視界(交差点を含む視界)と同様の画像(交差点撮像画像)が撮像される。
一方、自車両40(1)に搭載されているカーナビゲーション装置の表示画面には、GPS装置43の測定結果に基づく自車両40(1)の現在位置の周囲の地図画像が表示される。なお、カーナビゲーション装置の表示画面は、フロントガラス42とは別の場所(ダッシュボードやインパネなど)に設置される液晶ディスプレイ等の画面であってもよいし、HUDによりフロントガラス42に投射される画面であってもよい。また、カーナビゲーション装置の構成は、画像生成部13を備えておらず、また表示制御部14の制御対象がHUD20ではなくカーナビゲーション装置の表示手段である点を除いて、上述した実施形態の表示装置1と同様の構成である。
本変形例1では、カーナビゲーション装置の表示画面には、自車両40(1)が交差点の手前に差し掛かると、その交差点を通過する直前に運転者が視認することになる視界を示す交差点視界画像が表示される。本変形例1では、この交差点視界画像として、前方車両40(4)が当該交差点の直前で撮像した交差点撮像画像を用いる。
図18は、本変形例1における処理の流れを示すシーケンス図である。
本変形例1における基地局装置70は、上述したように、セル70S内の前方車両40(4)のカメラ50によって撮像した交差点撮像画像(記憶対象情報)を、記憶部72内に交差点画像データベースとして記憶して管理する。この交差点画像データベースは、基地局装置70のセル70S内で基地局装置70との通信が確立された移動局装置(前方車両40(4)の外部通信部52)から送信される交差点撮像画像を無線通信により受信することで、登録、更新される。この交差点画像データベースは、例えば、交差点ごとに固有の交差点IDや交差点の位置情報等の識別情報に関連づけて、各交差点の交差点撮像画像を管理する。
前方車両40(4)にはGPS装置43が搭載されている。前方車両40(4)に搭載のカメラ50の制御部51は、GPS装置43の測定結果に基づいて前方車両40(4)が所定の交差点の直前に位置すると判断すると(S11)、撮像部53により、前方車両40(4)のフロントガラス42を通じて前方車両40(4)の前方を撮像する(S12)。これにより、前方車両40(4)のカメラ50は、前方車両40(4)の運転者等の搭乗者がフロントガラス42を通じて視認する視界(交差点を含む視界)と同様の画像(交差点撮像画像)を撮像することができる。
その後、前方車両40(4)の制御部51は、セル70Sを形成する基地局装置70に対し、交差点撮像画像に対応する交差点を識別するための識別情報(交差点IDや交差点の位置情報(前方車両40(4)の位置情報でも代用可能である。))とともに、交差点撮像画像が外部通信部52から送信される(S13)。これを受信した基地局装置70のデータ処理部71は、その交差点撮像画像を当該交差点の識別情報に関連づけて記憶部72内の交差点画像データベースに登録したり更新したりする(S14)。この交差点画像データベースにより、当該セル70S内に存在する前方車両40(4)のカメラ50によって撮像された当該セル70S内の交差点を映し出す交差点撮像画像が管理される。
一方、自車両40(1)にもGPS装置43が搭載されている。自車両40(1)に搭載のカーナビゲーション装置の制御部11は、GPS装置43の測定結果に基づいて自車両40(1)が所定の交差点の手前(交差点から予め決められた距離だけ手前)に到達したと判断すると(S15)、外部通信部12から基地局装置70へ、当該交差点に対応する交差点撮像画像を取得するための画像取得要求が送信される(S16)。自車両40(1)から送信された画像取得要求が基地局装置70に受信されると、基地局装置70のデータ処理部71は、記憶部72に記憶されている交差点画像データベースを参照し、当該画像取得要求に対応する交差点撮像画像を特定する処理を行う(S17)。
具体的には、自車両40(1)におけるカーナビゲーション装置の制御部11は、外部通信部12から画像取得要求を送信する際、その要求に対応する交差点を識別するための識別情報(交差点IDや交差点の位置情報(自車両40(1)の位置情報でも代用可能である。))に関連づけて画像取得要求を送信する。この画像取得要求が基地局装置70に受信されると、基地局装置70のデータ処理部71は、記憶部72に記憶されている交差点画像データベースを参照し、受信した画像取得要求に関連づけられた交差点の識別情報から、当該画像取得要求に対応する交差点撮像画像を特定する。
そして、データ処理部71は、当該画像取得要求の応答として、特定した交差点撮像画像(要求情報)を自車両40(1)へ送信する。自車両40(1)の制御部11は、外部通信部12から交差点撮像画像を受信すると(S18)、表示制御部14により、受信した交差点撮像画像を、カーナビゲーション装置の表示画面上に交差点視点画像として表示させる(S19)。
本変形例1によれば、自車両40(1)の運転者Pは、カーナビゲーション装置の表示画面上に表示される交差点視点画像を見ることで、自車両40(1)のフロントガラス42を通じて交差点を直接視認する前から、自車両40(1)のフロントガラス42を通じて視認される交差点の視界を予め確認することができる。これにより、運転者Pは、例えば当該交差点で左折しようとしているときに、当該交差点とは別の交差点で誤って左折してしまったり、当該交差点に気付かずに通過してしまったりするようなミスを抑制できる。
特に、本変形例1では、カーナビゲーション装置の表示画面上に表示される交差点視点画像が前方車両40(4)によって撮像された交差点撮像画像であるため、自車両40(1)が交差点へ進入する時の直近の状況を、予めカーナビゲーション装置の表示画面上で確認することができる。これにより、仮に数ヶ月前あるいは数日前に当該交差点の状況に変化があった場合(交差点周囲の建物が立て替えられたり、商店が変わったり、看板が変わったりなど)でも、状況変化後の交差点の状況を、その交差点へ進入する手前で予めカーナビゲーション装置の表示画面上で確認することができる。よって、このような状況変化があった交差点でも、自車両40(1)の運転者Pは、当該交差点を間違えずに通行することができる。
また、本変形例1によれば、例えば、自車両40(1)の前方が渋滞しているときに、自車両40(1)の運転者Pは、カーナビゲーション装置の表示画面上に表示される交差点撮像画像を確認することで、渋滞の状況を確認することが可能となる。これにより、カーナビゲーション装置の表示画面上に表示される交差点撮像画像によって、そのまま渋滞に並んで通過するか、迂回ルートを通るか等の判断を適切に行うための判断材料を運転者Pに提供することができる。
なお、本変形例1では、前方車両40(4)で撮像された交差点撮像画像を自車両40(1)が取得するタイミングが、自車両40(1)が当該交差点の手前の予め決められた距離の地点に達したタイミングであるが、これに限られず、例えば、自車両40(1)の運転者Pが所定の操作を行ったタイミングであってもよい。この場合、例えば、カーナビゲーション装置の表示画面上に表示されている地図画像上の交差点を指定する操作を受け付けたタイミングで、その指定した交差点についての交差点撮像画像を取得するようにしてもよい。
〔変形例2〕
次に、本実施形態における他の変形例(以下、本変形例を「変形例2」という。)について説明する。
上述した実施形態では、基地局装置70の記憶部72にデータベースとして記憶される記憶対象情報が基地局装置70のセル70S内に存在する個々の自動車40(1),40(2)の現在位置を示す位置情報であったが、これに限られない。例えば、基地局装置70のセル70S内に存在する個々の自動車の外側に表示される個体識別情報としての車両番号(車両ナンバー)であってもよい。本変形例2では、基地局装置70のセル70S内に存在する個々の自動車の車両ナンバーを記憶対象情報とし、個々の自動車の位置情報に代えて車両ナンバーを用いることで、上述した実施形態と同様に、自車両40(1)が受信した先行車両撮像画像(重畳画像)を、HUD20により、図13に示すように、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示する。
図19は、本変形例2における処理の流れを示すシーケンス図である。
本変形例2における基地局装置70は、記憶対象情報として、セル70S内の先行車両40(2)の車両ナンバーを、データベースとして記憶部72に保持する。この車両ナンバーデータベースは、基地局装置70のセル70S内で基地局装置70との通信が確立された移動局装置(先行車両40(2)の外部通信部52)から送信される車両ナンバーを無線通信により受信することで、登録、更新される。この車両ナンバーデータベースは、例えば、移動局装置(先行車両40(2)の外部通信部52)に固有の移動局ID等の識別情報に関連づけて、各移動局装置の車両ナンバーを管理する。
先行車両40(2)が存在するセル70Sを形成する基地局装置70に対し、所定のタイミングで、先行車両40(2)の車両ナンバーが外部通信部52から送信される(S21)。これを受信した基地局装置70は、先行車両40(2)の車両ナンバーを記憶部72内の車両ナンバーデータベースに登録する(S22)。この車両ナンバーデータベースにより、セル70S内の自動車の車両ナンバーが管理される。
自車両40(1)において、上述した実施形態と同様に所定の処理開始条件が満たされると、まず、自車両40(1)に搭載の外部撮像機器としての撮像部16により、自車両40(1)の前方を撮像して自車両撮像画像を得る(S23)。この自車両撮像画像中には、自車両40(1)の前方を走行している先行車両40(2)の背面が映し出されており、先行車両40(2)の背面に配置されたナンバープレートも映し出される。自車両40(1)の表示装置1の制御部11は、撮像部16により撮像した自車両撮像画像を解析して、先行車両40(2)のナンバープレートに表示されている車両ナンバーを特定する(S24)。
その後、自車両40(1)の制御部11は、外部通信部12から基地局装置70へ、先行車両40(2)のカメラ50で撮像された先行車両撮像画像を取得するための画像取得要求を、自車両40(1)の外部通信部12(移動局装置)に固有の移動局IDに関連づけて送信する(S25)。このとき、制御部11は、特定した先行車両40(2)の車両ナンバーも、移動局IDに関連づけて画像取得要求とともに送信する。
この画像取得要求が基地局装置70に受信されると、基地局装置70のデータ処理部71は、記憶部72に記憶されている車両ナンバーデータベースを参照し、受信した画像取得要求とともに受信した車両ナンバーから、その車両ナンバーに対応する移動局ID(先行車両40(2))を特定する(S26)。そして、データ処理部71は、特定した移動局IDすなわち先行車両40(2)の外部通信部52に対して、自車両40(1)からの画像取得要求を送信する。以後の処理は、上述した実施形態と同様である。
上述した実施形態では、位置情報データベースによりセル70S内の移動局装置における現在位置を示す位置情報を管理するため、自動車のような移動体に搭載される移動局装置については、位置情報の更新処理を頻繁に行う必要がある。これに対し、本変形例2では、車両ナンバーデータベースにより、移動体に固有の車両ナンバーを管理するので、車両ナンバーの更新処理は不要である。したがって、本変形例2においては、上述した実施形態よりも、セル70S内における通信トラフィックが軽減され、また、基地局装置70のデータ処理部71の処理負荷が小さい。
なお、本変形例2では、自車両撮像画像を解析して先行車両40(2)の車両ナンバーを特定する処理を自車両40(1)の表示装置1の制御部11で実行しているが、これに限らず、例えば、基地局装置70のデータ処理部71で実行してもよい。この場合、自車両40(1)の制御部11は、先行車両40(2)のナンバープレートが映し出された自車両撮像画像の撮像後(S23)、外部通信部12から基地局装置70へ画像取得要求を送信する際に、その自車両撮像画像も送信する。そして、基地局装置70のデータ処理部71では、受信した自車両撮像画像を解析して先行車両40(2)の車両ナンバーを特定する処理を実行する。
また、本変形例2では、基地局装置70の車両ナンバーデータベースに登録される車両ナンバーを、その車両ナンバーに対応する自動車40(2)上の移動局装置(外部通信部52)から取得するが、その取得方法はこれに限られない。例えば、道路を通行する車両の車両ナンバーを撮像する外部撮像機器としての路側カメラによって、先行車両40(2)のナンバープレートが映し出された路側カメラ撮像画像を撮像し、その路側カメラ撮像画像を路側カメラから移動通信網60を介して基地局装置70へ送信する。そして、基地局装置70のデータ処理部71は、受信した路側カメラ撮像画像を解析して先行車両40(2)の車両ナンバー(個体識別情報)を特定する処理(個体識別情報特定処理)を実行する。
〔変形例3〕
次に、本実施形態における更に他の変形例(以下、本変形例を「変形例3」という。)について説明する。
上述した実施形態では、基地局装置70の記憶部72にデータベースとして記憶される記憶対象情報が基地局装置70のセル70S内に存在する個々の自動車40(1),40(2)の現在位置を示す位置情報であったが、これに限られない。例えば、歩行者や自転車等の軽車両を運転する者が所持している移動局装置としての携帯電話機の現在位置を示す位置情報が含まれていてもよい。本変形例3では、基地局装置70のセル70S内に存在する携帯電話機も記憶対象情報とする。
図20は、本変形例3において、対向車線が渋滞している場合において、第一対向車両40(5)とその前に停止している第二対向車両40(6)との間を通って、歩行者Wが自車両40(1)の走行車線を横切ろうとしている例を示す説明図である。
図示の例において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界中には、図20に示すように、第二対向車両40(6)による死角領域(図20中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての歩行者Wが第二対向車両40(6)に隠れてしまい、図21に示すように、歩行者Wを視認することができない。そのため、自車両40(1)の運転者Pは、自車両40(1)の走行車線を横切ろうとしている歩行者Wの存在に気付かないまま自車両40(1)を走行させることになり、歩行者Wと接触するおそれがある。
本変形例3では、歩行者Wが所持している携帯電話機から送信される当該携帯電話機の位置情報を、基地局装置70の記憶部72における位置情報データベースで管理し、その歩行者Wの位置が死角領域D内であるときに、図22に示すように、歩行者の存在を示す歩行者マーク画像W’を重畳画像として、HUD20により、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(6)の側面(死角領域D)に重ねて投射表示する。この歩行者マーク画像W’は、運転者Pが歩行者Wの存在に気付きやすいように強調されたデザインであるのが好ましい。
図23は、本変形例3における処理の流れを示すシーケンス図である。
歩行者Wが所持している携帯電話機は、GPS装置を備えており、上述したように、ローカルデータセンターとして機能する移動通信網60の基地局装置70に対し、当該携帯電話機の現在位置を示す位置情報を基地局装置70へ送信する(S31)。これを受信した基地局装置70のデータ処理部71は、当該携帯電話機の位置情報を記憶部72に記憶する。これにより、基地局装置70の位置情報データベースに、歩行者Wが所持している携帯電話機の位置情報すなわち歩行者Wの現在位置が登録され、更新される(S32)。自車両40(1)の位置情報についても、基地局装置70の位置情報データベースに登録される(S31)。
一方、自車両40(1)における表示装置1の制御部11は、外部通信部12から歩行者報知情報の取得要求を基地局装置70へ送信する(S33)。このとき、制御部11は、自車両40(1)の外部通信部12(移動局装置)に固有の移動局IDに関連づけて画像取得要求を送信する。この画像取得要求が基地局装置70に受信されると、基地局装置70のデータ処理部71は、記憶部72に記憶されている位置情報データベースを参照し、受信した画像取得要求に関連づけられた自車両40(1)の移動局IDから自車両40(1)の位置情報を特定する。そして、特定した自車両40(1)の位置情報から、自車両40(1)の前方エリア内の位置情報をもつ移動局(歩行者Wの携帯電話機)が存在するか否かを判断する(S34)。
自車両40(1)の前方エリア内の位置情報をもつ移動局(歩行者Wの携帯電話機)が存在する場合、基地局装置70のデータ処理部71は、歩行者報知条件を満たす判断し、その携帯電話機の位置情報(すなわち歩行者Wの位置情報)を含む歩行者報知情報を、自車両40(1)へ送信する。自車両40(1)の制御部11は、歩行者報知情報を受信すると(S35)、その歩行者報知情報に含まれる歩行者Wの位置情報に基づき、歩行者Wが死角領域D内に存在するか否かを判断する(S36)。
この判断は、例えば、次のようにして行うことができる。自車両40(1)に搭載の撮像部16によって自車両40(1)の前方を撮像した自車両撮像画像を解析して、自車両40(1)のフロントガラス42を通じて運転者Pに視認される視界中における先行車両40(2)による死角領域Dを特定する。自車両撮像画像は、運転者Pに視認される視界の一部又は全部を含むエリアが映し出されており、図21に示したものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両40(6)を映し出す画像部分(死角領域Dの画像部分)を特定する。その後、死角領域Dの画像部分に対応する自車両前方の実範囲を算出し、歩行者Wの位置がその実範囲内に属しているか否かを判断する。
歩行者Wが死角領域D内に存在すると判断した場合、自車両40(1)の制御部11は、表示制御部14を介して、自車両40(1)のフロントガラス42を通じて視認される歩行者Wの位置、すなわち、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(6)の側面に、歩行者マーク画像W’が重なるように、死角領域視界画像としてHUD20により投射表示する(S37)。これにより、図22に示すように、第二対向車両40(6)によって死角となっていた歩行者Wを示す歩行者マーク画像W’が、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(6)の側面に重ねて投射表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wを認識することができ、歩行者Wの存在に気付かずに自車両40(1)を走行させる事態が抑制される。
なお、本実施形態では、自車両40(1)のフロントガラス42を通じて視認される視界中の死角領域Dに存在する対象物を示す対象物情報が、先行車両40(2)のカメラ50で撮像した先行車両撮像画像のデータであった。しかしながら、他の対象物情報を用いてもよく、例えば、先行車両40(2)に搭載されている超音波センサやレーダーなどの対象物検出手段の検出結果に基づく対象物情報であってもよい。
また、本実施形態では、自車両40(1)のフロントガラス42を通じて視認される視界中の死角領域Dに存在する対象物を示す対象物情報が、先行車両40(2)に搭載されているカメラ50で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、逆方向移動体である対向車両に搭載されている撮像手段で撮像した対向車両撮像画像のデータであってもよい。
また、本実施形態では、自車両40(1)のフロントガラス42を通じて視認される自車両前方の死角領域Dに存在する信号機45等の対象物を示す重畳画像を、フロントガラス42を通じて視認される視界中の死角領域Dに重ねて表示する例であった。しかしながら、フロントガラス42のような前方のウィンドシールドに限らず、例えば、自車両40(1)のドアウィンドウ等の他のウィンドシールドを通じて視認される視界に重ねて、死角領域に存在する対象物を示す重畳画像を表示するようにしてもよい。
また、本実施形態における表示手段は、フロントガラス42などの光透過性ウィンドシールドを通じて視認される自車両40(1)の外部の視界に重ねて重畳画像を表示するHUD20であった。しかしながら、自車両40(1)に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両40(1)のウィンドシールド上に表示させるディスプレイ装置を備えている場合には、そのディスプレイ装置を表示手段として用い、視界画像に重畳画像を重ねた合成画像を生成して、その合成画像をウィンドシールド上に表示するようにしてもよい。
この場合、自車両40(1)に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両40(1)のウィンドシールド上に表示させる表示手段として、自車両40(1)の光不透過性の前方ウィンドシールド上に表示画面が配置されたディスプレイ装置を用いてもよいが、これに限られない。例えば、自車両40(1)の光不透過性の前方ウィンドシールドの内壁面にプロジェクタによって視界画像を投射するHUDを用いてもよい。また、例えば、自車両40(1)の前方ウィンドシールド自体をディスプレイ装置で構成してもよい。そのディスプレイ装置としては、例えば、透明又は半透明の透過型ディスプレイを採用してもよく、この場合、視界画像に重畳画像を重ねた合成画像を表示しない時期には、透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。また、例えば、自車両40(1)のフロントガラス(光透過性ウィンドシールド)に透過型ディスプレイを重ねて配置した構成を採用してもよく、この場合も、視界画像に重畳画像を重ねた合成画像を表示しない時期には、フロントガラス及び透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。
なお、本明細書で説明された表示装置、移動体及び表示システムの構成要素あるいは処理工程は、様々な手段によって実装することができる。例えば、これらの構成要素や処理工程は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよく、例えば、後述のハードウェアに所定のプログラムが読み込まれて実行されたり、後述のハードウェアに予め組み込まれた所定のプログラムが実行されたりすることにより、実現される。
ハードウェア実装については、実体(例えば、各種無線通信装置、Node B、端末、ハードディスクドライブ装置、又は、光ディスクドライブ装置)において構成要素や処理工程を実現するために用いられる処理ユニット等の手段は、1つ又は複数の、特定用途向けIC(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブル・ロジック・デバイス(PLD)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。
また、ファームウェア及び/又はソフトウェア実装については、上記構成要素を実現するために用いられる処理ユニット等の手段は、本明細書で説明された機能を実行するプログラム(例えば、プロシージャ、関数、モジュール、インストラクション、などのコード)で実装されてもよい。一般に、ファームウェア及び/又はソフトウェアのコードを明確に具体化する任意のコンピュータ/プロセッサ読み取り可能な媒体が、本明細書で説明された上記処理工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び/又はソフトウェアコードは、例えば制御装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び/又はソフトウェアコードは、例えば、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブルリードオンリーメモリ(PROM)、電気的消去可能PROM(EEPROM)、FLASHメモリ、フロッピー(登録商標)ディスク、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、1又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。
また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。
1 表示装置
10 画像処理装置
11 制御部
12 外部通信部(移動局装置)
13 画像生成部
14 表示制御部
15 車内通信部
16 撮像部
20 HUD
40(1) 自車両
40(2) 先行車両
40(3) 自動車
40(4) 前方車両
40(5) 第一対向車両
40(6) 第二対向車両
42 フロントガラス
43 GPS装置
44 各種車載センサ
45 信号機
50 カメラ
51 制御部
52 外部通信部(移動局装置)
53 撮像部
54 車内通信部
60 移動通信網
62 コアネットワーク
64 係留気球
65 係留気球中継局
66 ムービングセル基地局
70 基地局装置
70S セル
71 データ処理部
72 記憶部
73 移動通信部
74 バックホール通信部
D 死角領域
E 撮像領域
P 運転者
W 歩行者
特開2003−319383号公報

Claims (10)

  1. セルラー方式の移動通信の基地局装置であって、
    当該基地局装置によって形成されるセル内に在圏する通信装置を搭載する複数の移動体で撮像された撮像画像を含む記憶対象情報を記憶する内部記憶手段と、
    前記セル内に在圏する通信装置と無線通信するセル側通信手段と、
    前記セル内に在圏する一の移動体の通信装置から別の通信装置を搭載する移動体で撮像された撮像画像を要求する情報取得要求を前記セル側通信手段により取得したら、前記内部記憶手段に記憶されている該別の通信装置を搭載する移動体で撮像された撮像画像を該一の通信装置へ該セル側通信手段により送信する送信処理を実行する処理手段と、を有し、
    前記記憶対象情報は、当該基地局装置のセル内に存在する移動体の通信装置の位置を示す位置情報と歩行者が所持する移動局装置の位置情報とを含み、
    前記処理手段は、前記一の移動体の通信装置から前記情報取得要求を取得したときに、前記一の移動体の通信装置から該通信装置の識別情報が関連付けられて送信された、歩行者の存在を報知する歩行者報知情報の取得要求を、前記セル側通信手段の無線通信により受信したら、前記内部記憶手段に記憶されている前記位置情報を参照し、受信した前記情報取得要求に関連づけられた前記一の移動体の通信装置の識別情報から前記一の移動体の位置情報を特定し、特定した前記一の移動体の位置情報から、前記一の移動体の前方エリア内の位置情報を有する歩行者の移動局装置が存在するか否かを判断し、前記一の移動体の前方エリア内の位置情報を有する歩行者の移動局装置が存在する場合、その移動局装置の位置情報を含む歩行者報知情報を前記セル側通信手段の無線通信により前記一の移動体の通信装置に送信する送信処理を実行することを特徴とする基地局装置。
  2. 請求項1の基地局装置において、
    前記処理手段は、前記通信装置に関する記憶対象情報を該通信装置から前記セル側通信手段により取得して前記内部記憶手段内に記憶する記憶処理を実行することを特徴とする基地局装置。
  3. 請求項1又は2の基地局装置において、
    前記記憶対象情報は、前記通信装置を搭載する移動体の個体識別情報を含むことを特徴とする基地局装置。
  4. 請求項の基地局装置において、
    前記個体識別情報は、前記移動体の外側に表示される個体識別情報であることを特徴とする基地局装置。
  5. 請求項の基地局装置において、
    前記個体識別情報は、対応する移動体の外部に位置する外部撮像機器によって該移動体を撮像した撮像画像に基づいて特定される情報であることを特徴とする基地局装置。
  6. 請求項の基地局装置において、
    前記処理手段は、前記外部撮像機器により撮像した前記撮像画像を該外部撮像機器から前記セル側通信手段により取得し、該撮像画像に基づいて前記個体識別情報を特定する個体識別情報特定処理を実行することを特徴とする基地局装置。
  7. 請求項1乃至のいずれかの基地局装置において、
    前記内部記憶手段は、前記通信装置を識別可能な識別情報に関連づけて該通信装置に関する記憶対象情報を記憶し、
    前記処理手段は、前記別の通信装置に対応する識別情報を前記情報取得要求に関連づけて前記セル側通信手段により取得するとともに、該識別情報に対応する該別の通信装置に関する記憶対象情報を前記内部記憶手段から前記一の通信装置へ該セル側通信手段により送信することにより、前記送信処理を実行することを特徴とする基地局装置。
  8. 請求項1乃至のいずれかの基地局装置において、
    前記処理手段は、取得した前記情報取得要求に基づいて、前記内部記憶手段に記憶された前記別の通信装置に関する記憶対象情報を特定するとともに、特定した記憶対象情報に対応する該別の通信装置から該情報取得要求に対応する要求情報を取得し、取得した要求情報を前記一の通信装置へ前記セル側通信手段により送信することにより、前記送信処理を実行することを特徴とする基地局装置。
  9. 請求項1乃至のいずれかの基地局装置において、
    前記処理手段は、コアネットワーク側と通信することなく、前記送信処理を実行することを特徴とする基地局装置。
  10. セルラー方式の移動通信を行う通信システムであって、
    請求項1乃至のいずれかの基地局装置と、
    移動通信により前記基地局装置と通信可能な少なくとも1つの通信装置とを含むことを特徴とする通信システム。
JP2017038804A 2017-03-01 2017-03-01 基地局装置及び通信システム Active JP6798906B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017038804A JP6798906B2 (ja) 2017-03-01 2017-03-01 基地局装置及び通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017038804A JP6798906B2 (ja) 2017-03-01 2017-03-01 基地局装置及び通信システム

Publications (2)

Publication Number Publication Date
JP2018148284A JP2018148284A (ja) 2018-09-20
JP6798906B2 true JP6798906B2 (ja) 2020-12-09

Family

ID=63588855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038804A Active JP6798906B2 (ja) 2017-03-01 2017-03-01 基地局装置及び通信システム

Country Status (1)

Country Link
JP (1) JP6798906B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235027A1 (ja) * 2019-05-22 2020-11-26 三菱電機株式会社 運転支援装置及び運転支援方法
JP2021043488A (ja) * 2019-09-06 2021-03-18 Kddi株式会社 車載装置、運転支援装置、運転支援方法、及びプログラム
JP6818118B1 (ja) * 2019-11-27 2021-01-20 株式会社日立製作所 演算装置、車載装置、自動運転システム
JP6964175B2 (ja) * 2019-11-27 2021-11-10 株式会社日立製作所 演算装置、車載装置、自動運転システム
US11989946B2 (en) 2020-03-31 2024-05-21 Nec Corporation Signal information providing device, signal information providing method, and recording medium having program recorded thereon
JP7439949B2 (ja) * 2020-10-27 2024-02-28 三菱電機株式会社 表示制御装置、表示システム、表示制御方法及び表示制御プログラム
JP7281787B2 (ja) * 2021-02-12 2023-05-26 パナソニックIpマネジメント株式会社 車両、及び、制御装置
WO2022118584A1 (ja) * 2020-12-02 2022-06-09 パナソニックIpマネジメント株式会社 車両、及び、制御装置
JP7565663B2 (ja) 2021-02-12 2024-10-11 パナソニックオートモーティブシステムズ株式会社 車両、及び、制御装置
JP7550067B2 (ja) 2021-01-29 2024-09-12 日産自動車株式会社 情報提供方法及び情報提供システム
JP7301898B2 (ja) * 2021-03-10 2023-07-03 矢崎総業株式会社 車両用表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4483027B2 (ja) * 2000-05-25 2010-06-16 ソニー株式会社 サーバ装置、データ送受信方法及び記録媒体
JP2015219531A (ja) * 2014-05-13 2015-12-07 株式会社デンソー 車載装置および走行画像保管システム

Also Published As

Publication number Publication date
JP2018148284A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6798906B2 (ja) 基地局装置及び通信システム
CN109564723B (zh) 移动体控制装置、移动体控制方法以及移动体
US10303257B2 (en) Communication between autonomous vehicle and external observers
US11046332B2 (en) Vehicle control device, vehicle control system, vehicle control method, and storage medium
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
JP6402684B2 (ja) 表示装置
WO2018056103A1 (ja) 車両制御装置、車両制御方法、および移動体
JP6532170B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017104209A1 (ja) 運転支援装置
US11897499B2 (en) Autonomous driving vehicle information presentation device
JP6599387B2 (ja) 情報報知装置、移動体及び情報報知システム
WO2018020604A1 (ja) 車載装置、自動車、情報提供システム、車載装置用プログラム及び自動車用プログラム
US20210197863A1 (en) Vehicle control device, method, and program
JP6599386B2 (ja) 表示装置及び移動体
JP2022140026A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
WO2020202379A1 (ja) 表示制御装置、表示制御方法及びプログラム
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
EP3544293A1 (en) Image processing device, imaging device, and display system
CN113044028A (zh) 自动驾驶车辆用信息提示装置
CN112567427A (zh) 图像处理装置、图像处理方法和程序
JP6989418B2 (ja) 車載システム
JP7116670B2 (ja) 走行制御装置、制御方法およびプログラム
JP7001169B2 (ja) 運転計画表示方法及び運転計画表示装置
JP6759072B2 (ja) 画像処理装置、撮像装置、および表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191205

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200306

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200313

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200605

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200807

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201002

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201016

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201113

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R150 Certificate of patent or registration of utility model

Ref document number: 6798906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250