JP7046555B2 - 車載装置、サーバ、表示方法、送信方法 - Google Patents
車載装置、サーバ、表示方法、送信方法 Download PDFInfo
- Publication number
- JP7046555B2 JP7046555B2 JP2017198238A JP2017198238A JP7046555B2 JP 7046555 B2 JP7046555 B2 JP 7046555B2 JP 2017198238 A JP2017198238 A JP 2017198238A JP 2017198238 A JP2017198238 A JP 2017198238A JP 7046555 B2 JP7046555 B2 JP 7046555B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- server
- unit
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明の第2の態様によるサーバは、様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部と、車載装置から位置情報を受信するサーバ通信部と、受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記サーバ通信部を介して前記車載装置に送信するサーバ制御部とを備える。
本発明の第3の態様による表示方法は、車両に搭載されサーバと通信する車載装置が実行する表示方法であって、前記車両の周囲を撮影して得られる撮影画像を取得することと、前記車両の位置である車両位置を取得することと、前記車両位置を送信し前記車両位置に対応する視界が良好な画像である標準画像を前記サーバから受信することと、前記撮影画像と前記標準画像とを重ねて表示部に出力することとを含む。
本発明の第4の態様による送信方法は、様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部を備え、車載装置と通信するサーバが実行する送信方法であって、前記車載装置から位置情報を受信することと、受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記車載装置に送信することとを含む。
以下、図1~図13を参照して、本発明にかかる映像システムSの実施の形態を説明する。
図1は映像システムSの全体構成図である。映像システムSは、車載装置1とサーバ2とを含んで構成される。本実施の形態では、サーバ2は以下に説明する車載装置1のみと通信を行い、他の車載装置1とは通信を行わない。
図2は、車両3およびサーバ2に格納される複数種類の画像および特徴点の関連を示す図である。
図3は車載装置1の機能構成を示す図である。車載装置1はその機能として、位置取得部101と、外部通信部102と、画像取得部103と、車両情報取得部104と、制御部105と、表示制御部106と、音声出力部107と、データIO部108と、センサインタフェース部109と、を備える。位置取得部101は、GPS受信機34から車両3の位置を取得する。外部通信部102は、車両通信部35を介してサーバ2と通信する。画像取得部103は、カメラ31から撮影画像41を取得する。車両情報取得部104は、車両3に搭載される不図示のセンサから車両3の動作に関する情報、たとえば速度やステアリング角度などの情報を取得する。
図4はサーバ制御部21の構成を示す図である。サーバ制御部21は、サーバ座標変換部211とテーブル更新部212とを備える。サーバ座標変換部211は、画像および特徴点の座標変換を行う。サーバ座標変換部211が実行する画像の座標変換は、車両3から取得した撮影画像41を、仮想的なカメラが正規化された位置および正規化された方向から撮影した場合と同様となるように変形することで、標準画像42を作成する処理である。すなわちサーバ座標変換部211は前述の第1座標変換を行う。サーバ座標変換部211が実行する特徴点の座標変換は、車両3から取得した撮影特徴点45を対象として前述の第1座標変換を行い、標準特徴点46を得る処理である。テーブル更新部212は、標準特徴点情報24の実体部を更新する。詳しくは後述する。
図5は標準特徴点情報24の一例を示す図である。標準特徴点情報24は、管理部分241と実体部分242から構成される。管理部分241は、画像ID、撮影位置、および撮影方向のフィールドを有する。画像IDのフィールドには、画像DB220に記録されているいずれかの画像を示す識別子が格納される。撮影位置のフィールドには、撮影画像41が撮影された位置を示す情報、たとえば緯度と経度の組み合わせが格納される。撮影方向のフィールドには、撮影画像41が撮影された方向、換言すると撮影の際にカメラ31が向いていた方向が格納される。方向は方角を示す文字情報である「北」や「南西」で表してもよいし、北を0度、東を90度とする0度~360度で表してもよい。ただし撮影位置および撮影方向は正規化された情報を格納してもよい。
図7は車載装置1の制御部105の動作を表すフローチャートである。車載装置1は常に図7に示す動作を行う。すなわち図7に示す動作が終了すると、再び図7に示す動作を開始する。
図10~図13を参照して映像システムSの動作例を説明する。ただしこの動作例では理解を容易にするために、撮影画像41が撮影された位置が正規化された位置と一致させ、撮影画像41が撮影された方向が正規化された方向と一致させている。換言すると、撮影画像41と標準画像42の画角を一致させている。図10(a)は撮影画像41の一例を示す図、図11(a)は標準画像42の一例を示す図である。図10(a)と図11(a)は同一地点で同じ方向を向いて撮影された。図10(a)は夜間に撮影されたので全体が暗く不鮮明になっている。すなわち図10(a)では全体が暗いことをハッチングで示している。図10(a)には、車両801、車両802、および郵便ポスト803が撮影されている。
(1)車載装置1は、車両3の周囲を撮影して得られる撮影画像41を取得する画像取得部103と、車両3の位置である車両位置を取得する位置取得部101と、車両位置を送信し車両位置に対応する視界が良好な画像である標準画像42をサーバ2から受信する外部通信部102と、標準画像42に基づく画像を撮影画像41に重ねた合成画像を生成する画像合成部115と、表示部32に合成画像を表示させる表示制御部106と、を備える。そのため、合成画像の表示により、車両3の乗員に周辺環境の情報を提供することができる。すなわち車載装置1は、あらかじめ所定地点の画像を記憶することなく、現在位置に対応する視界が良好な画像を表示することができる。
標準特徴点情報24の実体部分242に記録される履歴は2つに限定されない。すなわち履歴が1つのみとして「履歴2」を削除してもよいし、履歴を4つとして「履歴3」および「履歴4」を追加してもよい。
図14は変形例2における表示部32への表示例を示す図である。画像合成部115は、撮影画像41と変換良好画像43とを重ねる代わりに、図14に示すように撮影画像41と変換良好画像43とを並べて表示部32に表示してもよい。
図15は、変形例3における車載装置1の機能構成を示す図である。図15に示す車載装置1の機能構成は、図3に示す全ての機能構成に加えて標準画像作成部116を備える。標準画像作成部116は、図4に示したサーバ座標変換部211と同様に、撮影画像41に対して第1座標変換を行って標準画像42を作成すると共に、撮影特徴点45に対して第1座標変換を行って標準特徴点46を取得する。本変形例の車載装置1は、図7のS610において、撮影画像41および撮影特徴点45の代わりに、標準画像作成部116で作成した標準画像42および標準特徴点46を含む撮影情報をサーバ2に送信する。本変形例によれば、サーバ制御部21にサーバ座標変換部211を設ける必要がないため、サーバ2の処理負荷を軽減することができる。
上述した実施の形態では、サーバ2は1台の車載装置1のみと通信した。しかしサーバ2は複数の車載装置1と通信を行ってもよい。この場合は、車載装置1がそれぞれ固有の車載装置IDをあらかじめ記憶し、車載装置1が発信する通信に車載装置IDを付す。そしてサーバ2は、車載装置IDごとに複数のサーバ記憶部23を用意し、それぞれのサーバ記憶部23を分離することで、上述した実施の形態と同様に1台の車載装置1のみと通信している場合と同様に処理を行うことができる。ただし車載装置IDを必ずしも用いる必要はなく、たとえばサーバ2が複数のIPアドレスを有して車載装置1ごとに異なるIPアドレスを使い分けてもよい。またサーバ2が1つのIPアドレスしか使用しない場合であっても、それぞれの車載装置1がサーバ2に接続する際のポート番号を異ならせることで同様の効果を得ることもできる。
サーバ2は、複数の車載装置1から受信した撮影画像41を標準画像42として蓄積し、異なる車載装置1に出力してもよい。この場合はたとえば、ある車載装置1が初めて通過する道路であっても他の車載装置1からサーバ2に送信された撮影画像41に基づく標準画像42を取得することができる。ただしこの場合は、カメラ31の取り付け角度や取り付け高さが車両3ごとに異なるため、それらも考慮した座標変換を行う必要がある。
上述した実施の形態では、車載装置1は車両座標変換部113を備えた。しかし標準画像42を細かい角度、たとえば1度ごとに保存する場合には車載装置1は車両座標変換部113を備えなくてもよい。この場合は、図2において説明した第1座標変換および第2座標変換が不要である。
上述した実施の形態では、標準画像42をサーバ2から車載装置1に送信し、この標準画像42を車載装置1において座標変換することで変換良好画像43を作成することとしたが、サーバ2において変換良好画像43を作成し、車載装置1に送信してもよい。この場合、車載装置1は車両座標変換部113を備える必要がなく、第2座標変換をサーバ2のサーバ座標変換部211で行えばよい。さらに、図7のS612および図8のS631~S633の処理をサーバ2で行うことにより、変換良好画像43から固定物の領域を切り取り、その領域の画像をサーバ2から車載装置1に送信してもよい。このようにすれば、車載装置1の処理負荷を軽減すると共に、サーバ2から車載装置1への送信データ量を低減することができる。
図8のS631において、制御部105が検索する変換固定特徴点48の組み合わせは、他の条件を用いてもよい。たとえば、組み合わせた変換固定特徴点48により囲まれる領域の面積が所定以下であることだけを条件としてもよい。
画像合成部115は、撮影画像41と変換良好画像43の全体を重ねて表示してもよい。すなわちいずれか一方の画像を半透明にして他方に重ねてもよい。換言すると画像合成部115は、撮影画像41および変換良好画像43を対象としてαブレンド処理を行ってもよい。
2…サーバ
3…車両
21…サーバ制御部
22…サーバ通信部
23…サーバ記憶部
24…標準特徴点情報
32…表示部
41…撮影画像
42…標準画像
43…変換良好画像
45…撮影特徴点
46…標準特徴点
47…固定特徴点
48…変換固定特徴点
101…位置取得部
102…外部通信部
103…画像取得部
104…車両情報取得部
105…制御部
106…表示制御部
111…特徴点算出部
112…画像判定部
113…車両座標変換部
115…画像合成部
116…標準画像作成部
211…サーバ座標変換部
212…テーブル更新部
Claims (9)
- 車両の周囲を撮影して得られる撮影画像を取得する画像取得部と、
前記車両の位置である車両位置を取得する位置取得部と、
前記車両位置を送信し前記車両位置に対応する標準画像をサーバから受信する車両通信部と、
前記標準画像に基づく画像を前記撮影画像に重ねた合成画像を生成する画像合成部と、
表示部に前記合成画像を表示させる表示制御部と、を備え、
前記車両通信部は、前記標準画像における固定物の位置を表す固定特徴点をさらに前記サーバから受信し、
前記画像合成部は、前記固定特徴点に基づき前記標準画像における固定物の領域を切り取り、前記撮影画像に重ねて前記合成画像を生成する車載装置。 - 請求項1に記載の車載装置において、
受信した前記標準画像を前記撮影画像の画角にあわせて座標変換する車両座標変換部をさらに備え、
前記画像合成部は、前記車両座標変換部が座標変換した前記標準画像に基づく画像を前記撮影画像に重ねて前記合成画像を生成する車載装置。 - 請求項1または請求項2に記載の車載装置において、
前記撮影画像から被写体の特徴点である撮影特徴点を算出する特徴点算出部をさらに備え、
前記車両通信部は、前記標準画像に加えて前記標準画像における固定物の特徴点である固定特徴点を受信し、
前記画像合成部は、前記撮影特徴点に含まれ前記固定特徴点に含まれない特徴点に基づき前記合成画像に強調表示を行う車載装置。 - 請求項1から請求項3までのいずれか1項に記載の車載装置において、
前記撮影画像が良好な視界を有しているか否かを判断する画像判定部をさらに備え、
前記車両通信部は、前記画像判定部が良好な視界を有していると判断した前記撮影画像および前記撮影画像が撮影された位置の情報を前記サーバに送信する車載装置。 - 請求項4に記載の車載装置において、
前記撮影画像をあらかじめ定められた視点から撮影された画像に座標変換する標準画像作成部をさらに備え、
前記車両通信部が前記サーバに送信する前記撮影画像は前記標準画像作成部が座標変換した撮影画像である車載装置。 - 様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部と、
車載装置から位置情報を受信するサーバ通信部と、
受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記サーバ通信部を介して前記車載装置に送信するサーバ制御部とを備えるサーバ。 - 請求項6に記載のサーバにおいて、
前記サーバ通信部は前記車載装置から前記車載装置が撮影画像を取得した位置である車両位置、および前記撮影画像を受信し、
前記サーバ記憶部には、前記車両位置における特徴点の履歴である特徴点履歴がさらに格納され、
受信した前記撮影画像における特徴点に基づき前記特徴点履歴を更新し、前記特徴点履歴に基づき前記固定特徴点を決定するテーブル更新部をさらに備えるサーバ。 - 車両に搭載されサーバと通信する車載装置が実行する表示方法であって、
前記車両の周囲を撮影して得られる撮影画像を取得することと、
前記車両の位置である車両位置を取得することと、
前記車両位置を送信し前記車両位置に対応する視界が良好な画像である標準画像と前記標準画像における固定物の位置を表す固定特徴点とを前記サーバから受信することと、
前記固定特徴点に基づき前記標準画像における固定物の領域を切り取り、前記撮影画像に重ねて表示部に出力することとを含む表示方法。 - 様々な位置における視界が良好な標準画像、および前記標準画像における固定物の特徴点である固定特徴点が格納されるサーバ記憶部を備え、車載装置と通信するサーバが実行する送信方法であって、
前記車載装置から位置情報を受信することと、
受信した前記位置情報に応じて前記標準画像および前記固定特徴点を前記車載装置に送信することとを含む送信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017198238A JP7046555B2 (ja) | 2017-10-12 | 2017-10-12 | 車載装置、サーバ、表示方法、送信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017198238A JP7046555B2 (ja) | 2017-10-12 | 2017-10-12 | 車載装置、サーバ、表示方法、送信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019075599A JP2019075599A (ja) | 2019-05-16 |
JP7046555B2 true JP7046555B2 (ja) | 2022-04-04 |
Family
ID=66545226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017198238A Active JP7046555B2 (ja) | 2017-10-12 | 2017-10-12 | 車載装置、サーバ、表示方法、送信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7046555B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022162856A1 (ja) * | 2021-01-29 | 2022-08-04 | 日本電気株式会社 | データ収集装置、車載装置、データ収集方法、データ送信方法及びプログラム記録媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006276964A (ja) | 2005-03-28 | 2006-10-12 | Nippon Seiki Co Ltd | 車両用表示装置 |
JP2007060054A (ja) | 2005-08-22 | 2007-03-08 | Toshiba Corp | 車両用通信装置 |
JP2010146429A (ja) | 2008-12-22 | 2010-07-01 | Sanyo Electric Co Ltd | 画像収集装置、サーバ装置及び画像収集配信システム |
JP2010257253A (ja) | 2009-04-24 | 2010-11-11 | Denso Corp | 車両用表示装置 |
JP2011152865A (ja) | 2010-01-27 | 2011-08-11 | Kyocera Corp | 車載撮像装置 |
JP2012137320A (ja) | 2010-12-24 | 2012-07-19 | Pioneer Electronic Corp | 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体 |
-
2017
- 2017-10-12 JP JP2017198238A patent/JP7046555B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006276964A (ja) | 2005-03-28 | 2006-10-12 | Nippon Seiki Co Ltd | 車両用表示装置 |
JP2007060054A (ja) | 2005-08-22 | 2007-03-08 | Toshiba Corp | 車両用通信装置 |
JP2010146429A (ja) | 2008-12-22 | 2010-07-01 | Sanyo Electric Co Ltd | 画像収集装置、サーバ装置及び画像収集配信システム |
JP2010257253A (ja) | 2009-04-24 | 2010-11-11 | Denso Corp | 車両用表示装置 |
JP2011152865A (ja) | 2010-01-27 | 2011-08-11 | Kyocera Corp | 車載撮像装置 |
JP2012137320A (ja) | 2010-12-24 | 2012-07-19 | Pioneer Electronic Corp | 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2019075599A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6763448B2 (ja) | 視覚強化ナビゲーション | |
JP5798392B2 (ja) | 駐車支援装置 | |
CN104848863B (zh) | 产生所关注位置的扩增视图 | |
US8762041B2 (en) | Method, device and system for presenting navigational information | |
KR101147748B1 (ko) | 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법 | |
CN109323708B (zh) | 电子装置及其控制方法 | |
JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
US20050209776A1 (en) | Navigation apparatus and intersection guidance method | |
JP2017528772A (ja) | 経路データを生成する方法及びシステム | |
JPH09292833A (ja) | ナビゲーション装置 | |
JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
JP6820561B2 (ja) | 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム | |
JP5278108B2 (ja) | 移動体検出システム及び移動体検出方法 | |
CA2743941C (en) | Method, device and system for presenting navigational information | |
JP3606736B2 (ja) | 気象衛星データ受信機能付カーナビゲーション装置 | |
KR20140118529A (ko) | 공중사진의 그림자 제거 방법 및 그 장치 | |
JP2010175329A (ja) | 車載情報装置 | |
JP4989495B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体 | |
JP2019533875A (ja) | 道路の合成トップビュー画像を生成するための方法およびシステム | |
US11039087B2 (en) | Image processing apparatus and computer-readable storage medium | |
JP7046555B2 (ja) | 車載装置、サーバ、表示方法、送信方法 | |
JP2014074627A (ja) | 車両用ナビゲーションシステム | |
JP4737523B2 (ja) | 車載ナビゲーション装置 | |
JP5231595B2 (ja) | ナビゲーション装置 | |
KR20160065721A (ko) | 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7046555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |