JP7046555B2 - 車載装置、サーバ、表示方法、送信方法 - Google Patents

車載装置、サーバ、表示方法、送信方法 Download PDF

Info

Publication number
JP7046555B2
JP7046555B2 JP2017198238A JP2017198238A JP7046555B2 JP 7046555 B2 JP7046555 B2 JP 7046555B2 JP 2017198238 A JP2017198238 A JP 2017198238A JP 2017198238 A JP2017198238 A JP 2017198238A JP 7046555 B2 JP7046555 B2 JP 7046555B2
Authority
JP
Japan
Prior art keywords
image
vehicle
server
unit
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017198238A
Other languages
English (en)
Other versions
JP2019075599A (ja
Inventor
俊夫 久保田
幸夫 真壁
康二 石田
謙太 三枝
浩之 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2017198238A priority Critical patent/JP7046555B2/ja
Publication of JP2019075599A publication Critical patent/JP2019075599A/ja
Application granted granted Critical
Publication of JP7046555B2 publication Critical patent/JP7046555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車載装置、サーバ、表示方法、および送信方法に関する。
車両の周囲の状況は変化しており、時間帯や天候などにより運転者による周囲の状況認識が難しい場合がある。そのため車載装置には車両の周囲の情報を運転者に提供する機能が求められる。特許文献1には、画像を表示する表示部を備える車載装置において、道路上の所定の地点から見た道路を含む風景の画像データ及び前記地点の位置情報を記憶する記憶手段と、自車の位置情報を取得する位置取得手段と、前記地点の位置情報及び自車の位置情報に基づいて自車の位置と前記地点との距離を算出する算出手段と、該算出手段で算出された距離が所定の閾値より短いか否かを判定する距離判定手段と、前記距離が所定の閾値より短いと判定された場合、記憶した画像データに基づいて道路風景画像の表示を開始すべく制御する制御手段とを備えることを特徴とする車載装置が開示されている。
特開2008-146579号公報
特許文献1に記載されている発明では、あらかじめ所定地点の画像データを記憶する必要がある。
本発明の第1の態様による車載装置は、車両の周囲を撮影して得られる撮影画像を取得する画像取得部と、前記車両の位置である車両位置を取得する位置取得部と、前記車両位置を送信し前記車両位置に対応する標準画像をサーバから受信する車両通信部と、前記標準画像に基づく画像を前記撮影画像に重ねた合成画像を生成する画像合成部と、表示部に前記合成画像を表示させる表示制御部と、を備える。
本発明の第2の態様によるサーバは、様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部と、車載装置から位置情報を受信するサーバ通信部と、受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記サーバ通信部を介して前記車載装置に送信するサーバ制御部とを備える。
本発明の第3の態様による表示方法は、車両に搭載されサーバと通信する車載装置が実行する表示方法であって、前記車両の周囲を撮影して得られる撮影画像を取得することと、前記車両の位置である車両位置を取得することと、前記車両位置を送信し前記車両位置に対応する視界が良好な画像である標準画像を前記サーバから受信することと、前記撮影画像と前記標準画像とを重ねて表示部に出力することとを含む。
本発明の第4の態様による送信方法は、様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部を備え、車載装置と通信するサーバが実行する送信方法であって、前記車載装置から位置情報を受信することと、受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記車載装置に送信することとを含む。
本発明によれば、あらかじめ所定地点の画像を記憶することなく、現在位置に対応する視界が良好な画像を表示することができる。
映像システムSの全体構成図 車両3およびサーバ2に格納される複数種類の画像および特徴点の関連を示す図 車載装置1の構成を示す図 サーバ制御部21の構成を示す図 標準特徴点情報24の一例を示す図 標準特徴点情報24の更新を示す図 車載装置1の制御部105の動作を表すフローチャート 図7のS613の詳細を示すフローチャート サーバ2のサーバ制御部21の動作を表すフローチャート 図10(a)は撮影画像41の一例を示す図、図10(b)は図10(a)から算出された特徴点を図10(a)に重ねて表示した図 図11(a)は標準画像42の一例を示す図、図11(b)は図11(a)から算出された特徴点を図11(a)に重ねて表示した図 図11(b)に対応する標準特徴点情報24の実体部分242Cの一例を示す図 表示部32への表示例を示す図 変形例2における表示部32への表示例を示す図 変形例3における車載装置1の機能構成を示す図
―実施の形態―
以下、図1~図13を参照して、本発明にかかる映像システムSの実施の形態を説明する。
(システム構成)
図1は映像システムSの全体構成図である。映像システムSは、車載装置1とサーバ2とを含んで構成される。本実施の形態では、サーバ2は以下に説明する車載装置1のみと通信を行い、他の車載装置1とは通信を行わない。
車載装置1は、車両3に搭載される。車両3は、車載装置1と、カメラ31と、表示部32と、スピーカ33と、GPS受信機34と、車両通信部35と、センサ36と、車両記憶部37とを備える。車載装置1は、不図示のCPU、ROM,およびRAMを備え、CPUはROMに格納されたプログラムをRAMに展開して実行することで後述する機能を実現する。車載装置1の詳細な構成は後述する。カメラ31は車両3の周囲を撮影し、撮影して得られた撮影画像41を車載装置1に送信する。
表示部32は、たとえば液晶ディスプレイであり、車載装置1から出力される動作指令に基づき映像を表示する。表示部32には、カメラ31の撮影画像41をそのまま表示することもできるが、撮影画像41と他の画像を重ねて表示することや、さらに強調表示をすることも可能である。詳しくは後述する。スピーカ33は、車載装置1の動作指令に基づき報知、すなわち音声を出力する。GPS受信機34は、衛星航法システムを構成する複数の衛星から電波を受信し、その電波に含まれる信号を解析することで車両3の位置、すなわち緯度と経度を算出する。GPS受信機34は算出した緯度と経度を車載装置1に出力する。
車両通信部35は、たとえば3Gや4Gに対応する無線通信モジュールである。車両通信部35は、車載装置1とサーバ2との通信を可能とする。センサ36は、感度調整が可能であり障害物を検出可能なセンサであってカメラを除くセンサ、たとえばレーザーレンジファインダや超音波センサである。センサ36は、通常は感度を最大以外で使用し、後述するように必要に応じて感度を上げて使用する。車載装置1は、センサ36の出力を不図示の地図情報と併用することで車両3の詳細な位置を算出し、車両3の走行位置の算出精度を向上させることができる。車両記憶部37は、不揮発性の記憶装置、たとえばフラッシュメモリである。車両記憶部37は、車載装置1の動作指令に基づき書き込みおよび読み出しを行う。
車両記憶部37には、撮影画像41と、変換良好画像43と、撮影特徴点45と、変換固定特徴点48とが格納される。車両記憶部37に格納される情報は図2を参照して後に説明する。ただしこれらはいずれも車両記憶部37にあらかじめ保存されているのではなく、車載装置1が動作することにより車両記憶部37に格納される。また本実施の形態では、便宜的に車両記憶部37を設けているにすぎず、車両記憶部37は必須の構成ではない。すなわち本実施の形態において車両記憶部37に格納される情報は、車載装置1のRAMに格納されてもよい。
サーバ2は、サーバ制御部21と、サーバ通信部22と、サーバ記憶部23を備える。サーバ制御部21は、不図示のCPU、ROM,およびRAMを備え、CPUはROMに格納されたプログラムをRAMに展開して実行することで後述する機能を実現する。サーバ制御部21の詳細な構成は後述する。サーバ通信部22は通信装置であり、車載装置1とサーバ2との通信を可能とする。
サーバ記憶部23は、不揮発性の記憶装置、たとえばハードディスクドライブである。サーバ記憶部23は、サーバ制御部21の動作指令に基づき書き込みおよび読み出しを行う。サーバ記憶部23には、複数の標準特徴点情報24と、複数の標準画像42と、標準特徴点46と、固定特徴点47とが格納される。ただし標準特徴点46および固定特徴点47は標準特徴点情報24に内包されており、図1では概念的に存在することを破線で図示している。標準特徴点情報24と標準画像42とはそれぞれが対応しており、標準画像42に付された不図示の画像IDにより対応関係が明示される。なおサーバ記憶部23に格納されている情報は、車載装置1から過去に受信した情報に基づき、生成されたものである。
(画像および特徴点の関連性)
図2は、車両3およびサーバ2に格納される複数種類の画像および特徴点の関連を示す図である。
はじめに、カメラ31が撮影を行い撮影画像41を取得する。この撮影画像41は、第1の座標変換(以下、第1座標変換)がなされて標準画像42としてサーバ2に記録される。標準画像42は、撮影画像41から撮影した際の車両3の向きの違い、およびわずかな位置の違いの影響を排除したものである。たとえば略同一地点で略同一方向を向いて撮影した場合にも、撮影位置および撮影方向のわずかな違いで異なる撮影画像が得られる。しかしこのようなわずかな違いしかない撮影画像を全て個別にサーバ2に格納することは現実的ではないため、以下のように対応する。
すなわち本実施の形態では、撮影位置および視点の正規化を行う。撮影位置の正規化とは、いわば撮影位置の丸め込みであり、所定の範囲、たとえば緯度経度でそれぞれ0.1秒以内、すなわち約2.5メートル以内の位置で撮影された撮影画像41は同一地点から撮影されたものとして扱うことである。視点の正規化とは、いわば視点の丸め込みであり、撮影方向をたとえば、東/西/南/北の90度おきのいずれかの最も近い角度とすることである。たとえば北緯12度34分56.123秒、東経55度44分33.321秒において北北東の方角に向かって撮影した撮影画像41に対応する標準画像42は次のものである。すなわち作成される標準画像42は、撮影位置および視点の正規化により、北緯12度34分56.1秒、東経55度44分33.3秒において北に向かって撮影したように座標変換がなされる。なお撮影位置および視点の正規化、すなわち丸め込み処理は、四捨五入、切り捨て、切り上げ、など様々な手法を用いることができ、いずれの手法を用いてもよい。いずれの手法を用いるかは事前に定められ、少なくとも車載装置1とサーバ2で共有されている。
標準画像42は、車両3の向きやカメラ31の取り付け角度に対応するように第2の座標変換(以下、第2座標変換)がなされて変換良好画像43として車載装置1に利用される。具体的には、撮影画像41および変換良好画像43が表示部32に表示される。
カメラ31が撮影して得られる撮影画像41から抽出した特徴点を、本実施の形態では撮影特徴点45と呼ぶ。この撮影特徴点45は前述の第1座標変換が行われて標準特徴点46としてサーバ2に記録される。この標準特徴点46のうち、後述する条件を満たすものが固定特徴点47として扱われ、固定特徴点47は前述の第2座標変換が行われて変換固定特徴点48として車載装置1に利用される。
なお図2は作成および存在の概要を示しているにすぎず、車両3からサーバ2への送信と座標変換が同時に行われることを示すものではない。たとえば図2では撮影画像41は車両3にのみ存在しているが、後述するように撮影画像41はサーバ2にそのまま送信されてサーバ2において標準画像42が作成される。
(車載装置1の構成)
図3は車載装置1の機能構成を示す図である。車載装置1はその機能として、位置取得部101と、外部通信部102と、画像取得部103と、車両情報取得部104と、制御部105と、表示制御部106と、音声出力部107と、データIO部108と、センサインタフェース部109と、を備える。位置取得部101は、GPS受信機34から車両3の位置を取得する。外部通信部102は、車両通信部35を介してサーバ2と通信する。画像取得部103は、カメラ31から撮影画像41を取得する。車両情報取得部104は、車両3に搭載される不図示のセンサから車両3の動作に関する情報、たとえば速度やステアリング角度などの情報を取得する。
制御部105は、特徴点算出部111と、画像判定部112と、車両座標変換部113と、画像合成部115とを備える。これらの動作は後述する。表示制御部106は、表示部32に映像信号を出力して表示を行わせる。音声出力部107は、スピーカ33に音声信号を出力して報知を行わせる。データIO部108は、車両記憶部37に情報の読み書きの指令を出力する。センサインタフェース部109は、センサ36の出力の取得、およびセンサ36へ感度変更指令の送信を行う。
特徴点算出部111は、撮影画像41から被写体の特徴点を算出し、撮影特徴点45として車両記憶部37に保存する。特徴点とは輝度または色が大きく変化する画素であり、たとえば撮影画像41における被写体の角などに対応する画素である。特徴点は、たとえば公知の技術であるハリスオペレータを適用することにより抽出できる。特徴点算出部111は、たとえば車道と歩道の境界、車両の形状、白線、路面標識、街灯、および信号機などの被写体の特徴点を算出する。
画像判定部112は、撮影画像41における視界が良好か否かを判断する。画像判定部112はたとえば、街灯のない暗い夜道で撮影された撮影画像41や、直射日光などによりスミアが生じた撮影画像41を視界不良と判断し、このような問題がない撮影画像41を視界が良好と判断する。画像判定部112は、撮影画像41における輝度のヒストグラムや輝度の分布に基づき視界が良好か否かを判断する。
車両座標変換部113は、画像および特徴点の座標変換を行う。車両座標変換部113が実行する画像の座標変換は、サーバ2から取得した標準画像42をカメラ31が撮影した場合と同様となるように変形する処理である。そのため車両座標変換部113は、標準画像42に対応する撮影位置および撮影方向とカメラ31の位置や姿勢との関係に基づき座標変換を行う。車両座標変換部113が実行する特徴点の座標変換は、サーバ2から取得した固定特徴点47を対象として前述の第2座標変換を行い、変換固定特徴点48を得る処理である。
画像合成部115は、固定物合成機能、進路推定機能、および移動体強調機能を有する。固定物合成機能とは、撮影画像41に変換良好画像43の一部を重ねて合成画像を生成し、表示制御部106に出力して表示部32に表示させる機能である。具体的には画像合成部115は、変換良好画像43から固定物が撮影されている領域を抜き出して撮影画像41の上に重ねることで、撮影画像41に変換良好画像43を部分的に合成した合成画像を生成する。画像合成部115は、変換固定特徴点48により囲まれた領域であって輝度または色が略同一である領域を固定物が撮影されている領域と判断する。進路推定機能とは、撮影画像41における車両3の進路を推定する機能である。画像合成部115は、車両3の進路を推定には、車両3のステアリング角度、車両3の速度、およびセンサ36の出力を用いる。移動体強調機能とは、車両3の進路に存在する移動物の領域を強調して表示部32に表示する機能である。強調表示は、たとえば移動体の周囲を矩形で囲む方法を採用することができる。画像合成部115は撮影特徴点45から変換固定特徴点48を除いたものを移動体の特徴点と判断する。
(サーバ制御部21の構成)
図4はサーバ制御部21の構成を示す図である。サーバ制御部21は、サーバ座標変換部211とテーブル更新部212とを備える。サーバ座標変換部211は、画像および特徴点の座標変換を行う。サーバ座標変換部211が実行する画像の座標変換は、車両3から取得した撮影画像41を、仮想的なカメラが正規化された位置および正規化された方向から撮影した場合と同様となるように変形することで、標準画像42を作成する処理である。すなわちサーバ座標変換部211は前述の第1座標変換を行う。サーバ座標変換部211が実行する特徴点の座標変換は、車両3から取得した撮影特徴点45を対象として前述の第1座標変換を行い、標準特徴点46を得る処理である。テーブル更新部212は、標準特徴点情報24の実体部を更新する。詳しくは後述する。
(標準特徴点情報24)
図5は標準特徴点情報24の一例を示す図である。標準特徴点情報24は、管理部分241と実体部分242から構成される。管理部分241は、画像ID、撮影位置、および撮影方向のフィールドを有する。画像IDのフィールドには、画像DB220に記録されているいずれかの画像を示す識別子が格納される。撮影位置のフィールドには、撮影画像41が撮影された位置を示す情報、たとえば緯度と経度の組み合わせが格納される。撮影方向のフィールドには、撮影画像41が撮影された方向、換言すると撮影の際にカメラ31が向いていた方向が格納される。方向は方角を示す文字情報である「北」や「南西」で表してもよいし、北を0度、東を90度とする0度~360度で表してもよい。ただし撮影位置および撮影方向は正規化された情報を格納してもよい。
標準特徴点情報24の実体部分242は、複数のレコードから構成され、各レコードは「座標」、「固定物」、「最新」、「履歴1」、および「履歴2」のフィールドを有する。なお以下では、「最新」、「履歴1」、および「履歴2」のフィールドの値をまとめて「特徴点履歴」とも呼ぶ。実体部分242のレコード数は管理部分241の画像IDを有する画像から算出された特徴点の数に基づいており、それぞれの管理部分241で異なる。「座標」のフィールドには、標準特徴点46の座標が格納される。「固定物」のフィールドには、その特徴点が固定物に起因するか否かを示す情報が格納される。ここでは特徴点が固定物に起因する場合は「Y」を、特徴点が固定物以外の被写体、すなわち移動物に起因する場合は「N」を格納している。ただし固定物のフィールドの値は、最新、履歴1、履歴2の3つのフィールドの値により決定される。
実体部分242の「最新」のフィールドには、管理部分241の撮影位置および撮影方向において撮影された最新の撮影画像41においてその座標に特徴点が検出されたか否かを示す情報が格納される。ここでは特徴点が検出された場合は「Y」を、特徴点が検出されなかった場合は「N」を格納している。「履歴1」および「履歴2」のフィールドには、1つ前および2つ前の撮影画像41においてその座標に特徴点が検出されたか否かを示す情報が格納される。すなわち、サーバ2が同一位置かつ同一方向の撮影画像41を受信すると、「最新」のフィールドに記録されていた値は「履歴1」のフィールドに移動され、「履歴1」のフィールドに記録されていた値は「履歴2」のフィールドに移動され、「履歴2」のフィールドに記録されていた値は削除される。
図6は標準特徴点情報24の更新を示す図である。ただしここでは実体部分242のみを記載している。図6は、図示上段の実体部分242Aが図示中段に示す新たな標準座標により図示下段に示す実体部分242Bに更新されたことを示している。図示中段の新たな標準座標とは、図示上段および図示下段の標準特徴点情報24の管理部分241により特定される撮影位置および撮影方向における新たな撮影画像41に対応する標準特徴点46である。なお図示上段の実体部分242Aは、図5に示した実体部分242と同一である。また実体部分242Bでは、実体部分242Aから更新された主な箇所を強調表示している。実体部分242Aは、サーバ制御部21のテーブル更新部212によりたとえば以下のように更新される。
まずテーブル更新部212は、新たな標準座標96を構成する座標のうち実体部分242Aの座標91Aには存在しない座標である「(350,450)」を特定する。そしてテーブル更新部212は新たなレコードを作成して、符号96Aで示すようにこの座標を加えて実体部分242Bの座標91Bとする。この新たなレコードにおける「座標」以外のフィールドは、符号96Bで示すように「固定物」は「N」、「最新」は「Y」、「履歴1」および「履歴2」は「N」とする。次にテーブル更新部212は、符号93Aおよび符号93Bで示す「最新」および「履歴1」の値を符号94Bおよび符号95Bで示す「履歴1」および「履歴2」にコピーする。次にテーブル更新部212は、符号96Cで示す「最新」のフィールドの値を決定する。すなわちテーブル更新部212は、それぞれの座標が新た標準座標96に含まれている場合は「Y」を、含まれていない場合は「N」を格納する。
そしてテーブル更新部212は、実体部分242Bの「最新」、「履歴1」、および「履歴2」の値に基づき「固定物」の値を決定する。すなわちテーブル更新部212は、それぞれのレコードにおいて、「最新」、「履歴1」、および「履歴2」の値が同一であればその値を固定物92Bの値として更新する。テーブル更新部212は3つの値が一致しない場合は、更新前の実体部分242Aにおける固定物92Aの値をそのまま用いる。すなわち符号96Dで表す固定物92Bの上から3つのレコードでは、「最新」、「履歴1」、および「履歴2」の値が一致しないので実体部分242Aにおける固定物92Aの値をそのまま用いる。一方で、符号96Eで示す4番目のレコードは、「最新」、「履歴1」、および「履歴2」の値が一致するので、それらと同じく「N」が記録される。
(フローチャート)
図7は車載装置1の制御部105の動作を表すフローチャートである。車載装置1は常に図7に示す動作を行う。すなわち図7に示す動作が終了すると、再び図7に示す動作を開始する。
制御部105はまずS601において車速が所定の速度以下、たとえば時速5キロメートル以下であるか否かを判断する。車速が所定の速度以下であると判断する場合はS602に進み、車速が所定の速度よりも速いと判断する場合はS601に留まる。S602では制御部105は現在位置を取得し、以下ではこの位置を「A地点」と呼ぶ。ただしS602を複数回実行した場合は、最後に取得した現在位置をA地点とする。続くS603では制御部105はS602において取得した現在位置が交差点または駐車場であるか否かを判断する。制御部105は現在位置が交差点または駐車場であると判断する場合はS604に進み、現在位置が交差点および駐車場以外の場所であると判断する場合はS601に戻る。
S604では制御部105は、画像取得部103を介してカメラ31から撮影画像41を取得する。続くS605では制御部105は、特徴点算出部111を用いてS604において取得した撮影画像41から被写体の特徴点、すなわち撮影特徴点45を算出する。続くS606では制御部105は、S604において取得した撮影画像41に対する画像判定部112による評価が視界良好であるか否かを判断する。制御部105は視界良好と判断する場合はS610に進み、視界良好ではない、すなわち視界不良であると判断する場合はS611に進む。S610では制御部105は、撮影情報をサーバ2に送信する。撮影情報には、撮影画像41、その撮影画像41から算出された撮影特徴点45、緯度と経度の組み合わせなどの撮影位置、および撮影方向を示す情報が含まれる。
S611では制御部105は、S604において取得した撮影画像41に対応する標準画像42の要求をサーバ2に送信し、サーバ2から現在位置における標準画像42とその標準画像42に対応する固定特徴点47を取得する。ただし制御部105による標準画像42の要求には、S604において取得した撮影画像41の撮影位置および撮影方向がそのまま含まれてもよいし、正規化された撮影位置および正規化された撮影位置が含まれてもよい。なお、ここで取得される固定特徴点47は、標準画像42における固定物の位置を表している。続くS612では制御部105は、S611において取得した標準画像42および固定特徴点47に第2座標変換による視点変換処理をそれぞれ施して、変換良好画像43および変換固定特徴点48を得る。換言するとS612では、取得した標準画像42を現在のカメラ31の取得画像と同じ画角になるように変形させ、取得した固定特徴点47を変形させた良好画像に対応するように座標変換を行う。続くS613では制御部105は、S604において取得した撮影画像41とS612において変形させた変換良好画像43を重ねて表示部32に表示する。本ステップの動作は後に図8を参照して詳述する。
続くS614では制御部105は、移動体特徴点が存在するか否かを判断する。移動体特徴点とは、S605において算出した撮影特徴点45には存在するが変換固定特徴点48には存在しない座標の特徴点である。前述のとおりサーバ2から取得する固定特徴点47は固定物のものに限られているので、両者を比較することにより、固定物以外の物体、すなわち移動物による特徴点が存在するか否かを判断している。制御部105は移動体特徴点が存在すると判断する場合はS616に進み、移動体特徴点が存在しないと判断する場合はS615に進む。
S615では制御部105は、センサインタフェース部109によりセンサ感度を上げる指令をセンサ36に送信してS616に進む。S616およびS617では制御部105は、それぞれS604およびS605と同様に撮影画像41の取得および撮影特徴点45の算出を行いS621に進む。S621では制御部105は、移動体特徴点が車両3の走行経路に存在するか否かを画像合成部115を用いて判断する。制御部105はS621を肯定判定する場合、すなわち車両3がこのまま走行すると移動体特徴点の位置に到達し、移動体と衝突する可能性があると判断する場合はS622に進む。制御部105はS621を否定判断する場合はS623に進む。S622では制御部105は、移動体特徴点を表示部32において強調表示してS623に進む。ただし移動体特徴点が複数存在し、移動体特徴点の組み合わせであって、組み合わせた移動体特徴点により囲まれる領域の面積が所定以下となる移動体特徴点の組み合わせが存在する場合は、その領域を示す強調表示を行ってもよい。
S623では制御部105は、S602において取得した位置であるA地点から所定距離、たとえば30メートル離れたか否かを判断する。制御部105はA地点から所定距離離れたと判断する場合は図7に示す処理を終了する。ただしS615を実行していた場合は、処理を終了する前にセンサ感度を標準に戻す指令をセンサ36に送信する。制御部105はA地点から所定距離離れていないと判断する場合はS616に戻る。
図8は図7のS613の詳細を示すフローチャートである。図8ではまずS631において制御部105は、変換固定特徴点48の組み合わせであって、組み合わせた変換固定特徴点48により囲まれる領域の面積が所定以下であり、かつ輝度または色が略同一となる変換固定特徴点48の組み合わせを検索する。続くS632では、制御部105はS631における検索に基づき、条件に合致する組み合わせが存在するか否かを判断する。制御部105は条件に合致する組み合わせが存在すると判断する場合はS633に進み、条件に合致する組み合わせが存在しないと判断する場合はS635に進む。S633では制御部105は、変換良好画像43から前述の条件に合致する変換固定特徴点48により囲まれる領域を切り取り、続くS634において撮影画像41の同一の座標に重ねて、撮影画像41に変換良好画像43の一部を合成した合成画像を生成する。S635では制御部105は、S634において生成した合成画像、または図7のS604において取得した撮影画像41を表示部32に表示する。
図9は、サーバ2のサーバ制御部21が、車載装置1から通信を受信すると実行する処理を表すフローチャートである。サーバ制御部21はまずS501において、受信データが撮影情報であるか、それとも画像の要求であるかを判断する。サーバ制御部21は、撮影情報であると判断する場合はS502に進み、画像の要求であると判断する場合はS516に進む。S502ではサーバ制御部21は、受信した撮影情報に含まれる撮影特徴点45を第1座標変換により撮影位置および撮影方向を正規化したものに座標変換して標準特徴点46を得る。
続くS503ではサーバ制御部21は、受信した撮影情報と撮影位置および撮影方向が一致する画像がサーバ記憶部23に保存されているか否かを判断する。ただし本ステップにおける一致の判断は、正規化した状態で行う。具体的には受信した撮影情報に含まれる撮影位置および撮影方向を正規化した後に一致判断を行う。この判断では、サーバ記憶部23に保存されている全ての標準特徴点情報24における撮影位置と撮影方向が参照される。サーバ制御部21は撮影位置および撮影方向が一致する画像が保存されていると判断する場合はS504に進み、撮影位置または撮影方向の少なくとも一方しか一致しない画像しか保存されていないと判断する場合はS510に進む。なお本実施の形態では、本ステップにおいて撮影位置および撮影方向が一致すると判断された標準特徴点情報24を、更新対象の標準特徴点情報24と呼ぶ。
S504ではサーバ制御部21は更新対象の標準特徴点情報24において、実体部分242の最新列および履歴列を更新する。このとき、S502において算出した標準特徴点46の座標が更新対象の標準特徴点情報24に記録されていない場合は、更新対象の標準特徴点情報24に算出した座標を追加する。以下のS505~S508では、更新対象の標準特徴点情報24における全ての座標を対象としてS506を実行し必要に応じてS507も実行する。S506ではサーバ制御部21は、更新対象の標準特徴点情報24のそれぞれの座標において、3回連続で同一の評価であるか否かを判断する。具体的には各座標の「最新」、「履歴1」、「履歴2」の値が全て同一であるか否かを判断する。サーバ制御部21は肯定判断をする場合はS507に進み、否定判断をする場合はS508に進む。S507ではサーバ制御部21は、3回連続で同一の評価である座標の「固定物」の列を更新する。具体的にはサーバ制御部21は、3回連続で「Y」であれば「固定物」の列の値を「Y」に更新し、3回連続で「N」であれば「固定物」の列の値を「N」に更新してS508に進む。
S508ではサーバ制御部21は、更新対象の標準特徴点情報24における全ての座標を対象としてS506を実行したか否かを判断し、S506を実行していない座標が存在すると判断する場合はその座標についてS506を実行する。更新対象の標準特徴点情報24における全ての座標を対象としてS506を実行したと判断する場合は図9に示す処理を終了する。
S503において否定判断されると実行されるS510ではサーバ制御部21は、受信した撮影画像41に対して第1座標変換を行うことで、正規化された撮影位置から正規化された撮影方向に仮想的なカメラで撮影した画像と同様の画像である標準画像42を作成し、画像DB220に画像IDを付して記録する。そしてS511においてサーバ制御部21は、標準特徴点情報24を新たに作成する。すなわちサーバ制御部21は、S510において保存した標準画像42の画像ID、受信した撮影情報に含まれる撮影位置および撮影方向、ならびにS501において変換した座標を新たに作成した標準特徴点情報24に記録する。ただし撮影位置および撮影方向は、正規化した後に記録してもよい。また実体部分242の「最新」の列には「Y」を記録し、「固定物」、「履歴1」および「履歴2」の列にはすべて「N」を記録する。サーバ制御部21は以上で図9に示す処理を終了する。
S501において受信データが画像の要求であると判断する場合に実行されるS516ではサーバ制御部21は、画像の要求に含まれる撮影位置、および撮影方向に一致する標準特徴点情報24を特定する。ただし撮影位置および撮影方向の一致は、正規化した状態で行う。続いてサーバ制御部21は、S516において特定した標準特徴点情報24に記載された画像IDを有する標準画像42を車載装置1に送信する(S517)。続いてサーバ制御部21は、S516において特定した標準特徴点情報24の実体部分242において「固定物」の列が「Y」の座標を、S517において送信した標準画像42における固定物の位置を表す固定特徴点47として車載装置1に送信する(S518)。サーバ制御部21は以上で図9に示す処理を終了する。
(動作例)
図10~図13を参照して映像システムSの動作例を説明する。ただしこの動作例では理解を容易にするために、撮影画像41が撮影された位置が正規化された位置と一致させ、撮影画像41が撮影された方向が正規化された方向と一致させている。換言すると、撮影画像41と標準画像42の画角を一致させている。図10(a)は撮影画像41の一例を示す図、図11(a)は標準画像42の一例を示す図である。図10(a)と図11(a)は同一地点で同じ方向を向いて撮影された。図10(a)は夜間に撮影されたので全体が暗く不鮮明になっている。すなわち図10(a)では全体が暗いことをハッチングで示している。図10(a)には、車両801、車両802、および郵便ポスト803が撮影されている。
図10(b)は図10(a)から算出された特徴点を図10(a)に重ねて表示した図である。ただし見やすいようにハッチングは除去した。図10(a)から算出された撮影特徴点は、車両801の特徴点である符号811~815で示す特徴点と、車両802の特徴点である符号821~824で示す特徴点と、郵便ポスト803の特徴点である符号831~834で示す特徴点と、道路の特徴点である符号841~844で示す特徴点である。
図11(a)はサーバ2に格納される標準画像42の一例を示す図であり、図10(a)に示す撮影画像41と同一地点で同一方向を向いて撮影された。ただし図11(a)は標準画像42なので、撮影状態がよい。図11(a)ではハッチングを施さないことで、図10(a)に比べて撮影状態がよいことを示している。標準画像42には移動物体が撮影されている場合があり、図11(a)に示す例でも車両805が撮影されている。図11(b)は図11(a)から算出された特徴点を図11(a)に重ねて表示した図である。図11(a)から算出された撮影特徴点は、郵便ポスト803の特徴点である符号831~834で示す特徴点と、道路の特徴点である符号841~844で示す特徴点と、車両805の特徴点である符号851~854で示す特徴点である。
図12は、図11(b)に対応する標準特徴点情報24の実体部分242Cの一例を示す図である。ただし図12では、図11(b)との対応を容易にするために、「座標」の列には座標そのものの代わりに図11(b)に示した符号を記載している。符号851~854の特徴点は車両805から検出されたものなので、従前の標準画像42では同じ位置に特徴点が検出されておらず、固定物ではないと判断される(図9のS503:NO)。そのためサーバ制御部21は、符号831~844の特徴点を固定特徴点47として標準画像42とともに車両3に送信する。
図13は、車載装置1が表示部32に表示する変換良好画像43と撮影画像41とを重ねて表示し、さらに走行経路に存在する障害物を強調表示する例を示す図である。車載装置1は、受信した固定特徴点47を座標変換して変換固定特徴点48とし、受信した標準画像42を座標変換して変換良好画像43とする。そして変換固定特徴点48の組み合わせであって、領域の面積が所定以下でかつ輝度または色が略同一の組み合わせとして、ポスト803の特徴点である符号831~834の組み合わせを検索する(図8、S631)。そして符号831~834で囲まれる領域の画像を変換良好画像43から切り取り、撮影画像41の同一の座標に重ねる(図8のS633,S634)。そのため図13ではポスト803のみが明るく表示される。さらに車載装置1は、撮影特徴点45のうち変換固定特徴点48にない座標が符号811~815、および符号821~824であることを特定する。そして、それぞれで構成される領域のうち、前者のみが車両3の走行経路に存在すると判断して、符号809で示すように強調表示が行われる。
上述した実施の形態によれば、次の作用効果が得られる。
(1)車載装置1は、車両3の周囲を撮影して得られる撮影画像41を取得する画像取得部103と、車両3の位置である車両位置を取得する位置取得部101と、車両位置を送信し車両位置に対応する視界が良好な画像である標準画像42をサーバ2から受信する外部通信部102と、標準画像42に基づく画像を撮影画像41に重ねた合成画像を生成する画像合成部115と、表示部32に合成画像を表示させる表示制御部106と、を備える。そのため、合成画像の表示により、車両3の乗員に周辺環境の情報を提供することができる。すなわち車載装置1は、あらかじめ所定地点の画像を記憶することなく、現在位置に対応する視界が良好な画像を表示することができる。
(2)外部通信部102は、標準画像42における固定物の位置を表す固定特徴点47をさらにサーバ2から受信する。画像合成部115は、固定特徴点47に基づき標準画像42における固定物の領域を切り取り、撮影画像41に重ねて合成画像を生成する(図8のS633,S634)。そのため撮影画像41を基礎として固定物が鮮明に表示される表示を行うことができる。車両3の乗員が周囲環境を認識するうえで固定物の存在は重要であり、撮影画像41の上に標準画像42から切り取った固定物の画像を重ねることで、違和感を感じさせず周囲環境を容易に認識させることができる。
(3)車載装置1は、受信した標準画像42を撮影画像41の画角にあわせて座標変換する車両座標変換部113を備える。画像合成部115は、車両座標変換部113が座標変換した標準画像42に基づく画像、すなわち変換良好画像43の一部を切り取った画像を撮影画像41に重ねて合成画像を生成する。そのため撮影画像41と標準画像42の画角が異なっていた場合でも、座標変換を行うことで両者の差異を吸収することができる。
(4)車載装置1は、撮影画像41から被写体の特徴点である撮影特徴点45を算出する特徴点算出部111を備える。外部通信部102は、標準画像42に加えて標準画像42における固定物の特徴点である固定特徴点47を受信する。画像合成部115は、撮影特徴点45に含まれ固定特徴点47に含まれない特徴点、すなわち移動体特徴点に基づき撮影画像41に強調表示を行う。そのため撮影画像41における固定物と移動物とを容易に識別することができる。
(5)車載装置1は、撮影画像41が良好な視界を有しているか否かを判断する画像判定部112を備える。外部通信部102は、画像判定部112が良好な視界を有していると判断した撮影画像41およびその撮影画像41が撮影された位置の情報をサーバ2に送信する(図7のS606:YES、S610)。そのため車載装置1はサーバ2に標準画像42を蓄積させることができる。
(6)サーバ2は、様々な位置における視界が良好な標準画像42、および標準画像42における固定物の特徴点である固定特徴点47が格納されるサーバ記憶部23と、車載装置1から位置情報を受信するサーバ通信部22と、受信した位置情報に応じて標準画像42および固定特徴点47をサーバ通信部22を介して車載装置1に送信するサーバ制御部21とを備える。そのためサーバ2は車載装置1にあらかじめ所定地点の画像を記憶させることなく、車載装置1の現在位置に対応する視界が良好な画像を車載装置1に表示させることができる。
(7)サーバ通信部22は車載装置1から車載装置1が撮影画像41を取得した位置である車両位置、および撮影画像41を受信する。サーバ記憶部23には、車両位置における特徴点の履歴である特徴点履歴、すなわち「最新」、「履歴1」、および「履歴2」のフィールドの値が格納される。サーバ2は、受信した撮影画像41における撮影特徴点45に基づき特徴点履歴を更新し、特徴点履歴に基づき固定特徴点47を決定するテーブル更新部212を備える。そのため、撮影画像41の履歴に基づき特徴点が固定物に由来するものであるか否かを判断し、固定特徴点47として車載装置1に提供することができる。
(変形例1)
標準特徴点情報24の実体部分242に記録される履歴は2つに限定されない。すなわち履歴が1つのみとして「履歴2」を削除してもよいし、履歴を4つとして「履歴3」および「履歴4」を追加してもよい。
(変形例2)
図14は変形例2における表示部32への表示例を示す図である。画像合成部115は、撮影画像41と変換良好画像43とを重ねる代わりに、図14に示すように撮影画像41と変換良好画像43とを並べて表示部32に表示してもよい。
(変形例3)
図15は、変形例3における車載装置1の機能構成を示す図である。図15に示す車載装置1の機能構成は、図3に示す全ての機能構成に加えて標準画像作成部116を備える。標準画像作成部116は、図4に示したサーバ座標変換部211と同様に、撮影画像41に対して第1座標変換を行って標準画像42を作成すると共に、撮影特徴点45に対して第1座標変換を行って標準特徴点46を取得する。本変形例の車載装置1は、図7のS610において、撮影画像41および撮影特徴点45の代わりに、標準画像作成部116で作成した標準画像42および標準特徴点46を含む撮影情報をサーバ2に送信する。本変形例によれば、サーバ制御部21にサーバ座標変換部211を設ける必要がないため、サーバ2の処理負荷を軽減することができる。
(変形例4)
上述した実施の形態では、サーバ2は1台の車載装置1のみと通信した。しかしサーバ2は複数の車載装置1と通信を行ってもよい。この場合は、車載装置1がそれぞれ固有の車載装置IDをあらかじめ記憶し、車載装置1が発信する通信に車載装置IDを付す。そしてサーバ2は、車載装置IDごとに複数のサーバ記憶部23を用意し、それぞれのサーバ記憶部23を分離することで、上述した実施の形態と同様に1台の車載装置1のみと通信している場合と同様に処理を行うことができる。ただし車載装置IDを必ずしも用いる必要はなく、たとえばサーバ2が複数のIPアドレスを有して車載装置1ごとに異なるIPアドレスを使い分けてもよい。またサーバ2が1つのIPアドレスしか使用しない場合であっても、それぞれの車載装置1がサーバ2に接続する際のポート番号を異ならせることで同様の効果を得ることもできる。
(変形例5)
サーバ2は、複数の車載装置1から受信した撮影画像41を標準画像42として蓄積し、異なる車載装置1に出力してもよい。この場合はたとえば、ある車載装置1が初めて通過する道路であっても他の車載装置1からサーバ2に送信された撮影画像41に基づく標準画像42を取得することができる。ただしこの場合は、カメラ31の取り付け角度や取り付け高さが車両3ごとに異なるため、それらも考慮した座標変換を行う必要がある。
(変形例6)
上述した実施の形態では、車載装置1は車両座標変換部113を備えた。しかし標準画像42を細かい角度、たとえば1度ごとに保存する場合には車載装置1は車両座標変換部113を備えなくてもよい。この場合は、図2において説明した第1座標変換および第2座標変換が不要である。
(変形例7)
上述した実施の形態では、標準画像42をサーバ2から車載装置1に送信し、この標準画像42を車載装置1において座標変換することで変換良好画像43を作成することとしたが、サーバ2において変換良好画像43を作成し、車載装置1に送信してもよい。この場合、車載装置1は車両座標変換部113を備える必要がなく、第2座標変換をサーバ2のサーバ座標変換部211で行えばよい。さらに、図7のS612および図8のS631~S633の処理をサーバ2で行うことにより、変換良好画像43から固定物の領域を切り取り、その領域の画像をサーバ2から車載装置1に送信してもよい。このようにすれば、車載装置1の処理負荷を軽減すると共に、サーバ2から車載装置1への送信データ量を低減することができる。
(変形例8)
図8のS631において、制御部105が検索する変換固定特徴点48の組み合わせは、他の条件を用いてもよい。たとえば、組み合わせた変換固定特徴点48により囲まれる領域の面積が所定以下であることだけを条件としてもよい。
(変形例9)
画像合成部115は、撮影画像41と変換良好画像43の全体を重ねて表示してもよい。すなわちいずれか一方の画像を半透明にして他方に重ねてもよい。換言すると画像合成部115は、撮影画像41および変換良好画像43を対象としてαブレンド処理を行ってもよい。
車載装置1のプログラムは不図示のROMに格納されるとしたが、プログラムは車両記憶部37に格納されていてもよい。また、車載装置1が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと車載装置1が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
1…車載装置
2…サーバ
3…車両
21…サーバ制御部
22…サーバ通信部
23…サーバ記憶部
24…標準特徴点情報
32…表示部
41…撮影画像
42…標準画像
43…変換良好画像
45…撮影特徴点
46…標準特徴点
47…固定特徴点
48…変換固定特徴点
101…位置取得部
102…外部通信部
103…画像取得部
104…車両情報取得部
105…制御部
106…表示制御部
111…特徴点算出部
112…画像判定部
113…車両座標変換部
115…画像合成部
116…標準画像作成部
211…サーバ座標変換部
212…テーブル更新部

Claims (9)

  1. 車両の周囲を撮影して得られる撮影画像を取得する画像取得部と、
    前記車両の位置である車両位置を取得する位置取得部と、
    前記車両位置を送信し前記車両位置に対応する標準画像をサーバから受信する車両通信部と、
    前記標準画像に基づく画像を前記撮影画像に重ねた合成画像を生成する画像合成部と、
    表示部に前記合成画像を表示させる表示制御部と、を備え
    前記車両通信部は、前記標準画像における固定物の位置を表す固定特徴点をさらに前記サーバから受信し、
    前記画像合成部は、前記固定特徴点に基づき前記標準画像における固定物の領域を切り取り、前記撮影画像に重ねて前記合成画像を生成する車載装置。
  2. 請求項1に記載の車載装置において、
    受信した前記標準画像を前記撮影画像の画角にあわせて座標変換する車両座標変換部をさらに備え、
    前記画像合成部は、前記車両座標変換部が座標変換した前記標準画像に基づく画像を前記撮影画像に重ねて前記合成画像を生成する車載装置。
  3. 請求項1または請求項2に記載の車載装置において、
    前記撮影画像から被写体の特徴点である撮影特徴点を算出する特徴点算出部をさらに備え、
    前記車両通信部は、前記標準画像に加えて前記標準画像における固定物の特徴点である固定特徴点を受信し、
    前記画像合成部は、前記撮影特徴点に含まれ前記固定特徴点に含まれない特徴点に基づき前記合成画像に強調表示を行う車載装置。
  4. 請求項1から請求項3までのいずれか1項に記載の車載装置において、
    前記撮影画像が良好な視界を有しているか否かを判断する画像判定部をさらに備え、
    前記車両通信部は、前記画像判定部が良好な視界を有していると判断した前記撮影画像および前記撮影画像が撮影された位置の情報を前記サーバに送信する車載装置。
  5. 請求項4に記載の車載装置において、
    前記撮影画像をあらかじめ定められた視点から撮影された画像に座標変換する標準画像作成部をさらに備え、
    前記車両通信部が前記サーバに送信する前記撮影画像は前記標準画像作成部が座標変換した撮影画像である車載装置。
  6. 様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部と、
    車載装置から位置情報を受信するサーバ通信部と、
    受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記サーバ通信部を介して前記車載装置に送信するサーバ制御部とを備えるサーバ。
  7. 請求項6に記載のサーバにおいて、
    前記サーバ通信部は前記車載装置から前記車載装置が撮影画像を取得した位置である車両位置、および前記撮影画像を受信し、
    前記サーバ記憶部には、前記車両位置における特徴点の履歴である特徴点履歴がさらに格納され、
    受信した前記撮影画像における特徴点に基づき前記特徴点履歴を更新し、前記特徴点履歴に基づき前記固定特徴点を決定するテーブル更新部をさらに備えるサーバ。
  8. 車両に搭載されサーバと通信する車載装置が実行する表示方法であって、
    前記車両の周囲を撮影して得られる撮影画像を取得することと、
    前記車両の位置である車両位置を取得することと、
    前記車両位置を送信し前記車両位置に対応する視界が良好な画像である標準画像と前記標準画像における固定物の位置を表す固定特徴点とを前記サーバから受信することと、
    前記固定特徴点に基づき前記標準画像における固定物の領域を切り取り、前記撮影画像に重ねて表示部に出力することとを含む表示方法。
  9. 様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部を備え、車載装置と通信するサーバが実行する送信方法であって、
    前記車載装置から位置情報を受信することと、
    受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記車載装置に送信することとを含む送信方法。
JP2017198238A 2017-10-12 2017-10-12 車載装置、サーバ、表示方法、送信方法 Active JP7046555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017198238A JP7046555B2 (ja) 2017-10-12 2017-10-12 車載装置、サーバ、表示方法、送信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017198238A JP7046555B2 (ja) 2017-10-12 2017-10-12 車載装置、サーバ、表示方法、送信方法

Publications (2)

Publication Number Publication Date
JP2019075599A JP2019075599A (ja) 2019-05-16
JP7046555B2 true JP7046555B2 (ja) 2022-04-04

Family

ID=66545226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017198238A Active JP7046555B2 (ja) 2017-10-12 2017-10-12 車載装置、サーバ、表示方法、送信方法

Country Status (1)

Country Link
JP (1) JP7046555B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022162856A1 (ja) * 2021-01-29 2022-08-04 日本電気株式会社 データ収集装置、車載装置、データ収集方法、データ送信方法及びプログラム記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276964A (ja) 2005-03-28 2006-10-12 Nippon Seiki Co Ltd 車両用表示装置
JP2007060054A (ja) 2005-08-22 2007-03-08 Toshiba Corp 車両用通信装置
JP2010146429A (ja) 2008-12-22 2010-07-01 Sanyo Electric Co Ltd 画像収集装置、サーバ装置及び画像収集配信システム
JP2010257253A (ja) 2009-04-24 2010-11-11 Denso Corp 車両用表示装置
JP2011152865A (ja) 2010-01-27 2011-08-11 Kyocera Corp 車載撮像装置
JP2012137320A (ja) 2010-12-24 2012-07-19 Pioneer Electronic Corp 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276964A (ja) 2005-03-28 2006-10-12 Nippon Seiki Co Ltd 車両用表示装置
JP2007060054A (ja) 2005-08-22 2007-03-08 Toshiba Corp 車両用通信装置
JP2010146429A (ja) 2008-12-22 2010-07-01 Sanyo Electric Co Ltd 画像収集装置、サーバ装置及び画像収集配信システム
JP2010257253A (ja) 2009-04-24 2010-11-11 Denso Corp 車両用表示装置
JP2011152865A (ja) 2010-01-27 2011-08-11 Kyocera Corp 車載撮像装置
JP2012137320A (ja) 2010-12-24 2012-07-19 Pioneer Electronic Corp 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2019075599A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6763448B2 (ja) 視覚強化ナビゲーション
JP5798392B2 (ja) 駐車支援装置
CN104848863B (zh) 产生所关注位置的扩增视图
US8762041B2 (en) Method, device and system for presenting navigational information
KR101147748B1 (ko) 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법
CN109323708B (zh) 电子装置及其控制方法
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
US20050209776A1 (en) Navigation apparatus and intersection guidance method
JP2017528772A (ja) 経路データを生成する方法及びシステム
JPH09292833A (ja) ナビゲーション装置
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
JP5278108B2 (ja) 移動体検出システム及び移動体検出方法
CA2743941C (en) Method, device and system for presenting navigational information
JP3606736B2 (ja) 気象衛星データ受信機能付カーナビゲーション装置
KR20140118529A (ko) 공중사진의 그림자 제거 방법 및 그 장치
JP2010175329A (ja) 車載情報装置
JP4989495B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
US11039087B2 (en) Image processing apparatus and computer-readable storage medium
JP7046555B2 (ja) 車載装置、サーバ、表示方法、送信方法
JP2014074627A (ja) 車両用ナビゲーションシステム
JP4737523B2 (ja) 車載ナビゲーション装置
JP5231595B2 (ja) ナビゲーション装置
KR20160065721A (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7046555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150