JP3969852B2 - Mobile communication system and communication device - Google Patents

Mobile communication system and communication device Download PDF

Info

Publication number
JP3969852B2
JP3969852B2 JP18241498A JP18241498A JP3969852B2 JP 3969852 B2 JP3969852 B2 JP 3969852B2 JP 18241498 A JP18241498 A JP 18241498A JP 18241498 A JP18241498 A JP 18241498A JP 3969852 B2 JP3969852 B2 JP 3969852B2
Authority
JP
Japan
Prior art keywords
information
image
receiving
unit
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18241498A
Other languages
Japanese (ja)
Other versions
JP2000020884A (en
JP2000020884A5 (en
Inventor
賢道 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP18241498A priority Critical patent/JP3969852B2/en
Publication of JP2000020884A publication Critical patent/JP2000020884A/en
Publication of JP2000020884A5 publication Critical patent/JP2000020884A5/en
Application granted granted Critical
Publication of JP3969852B2 publication Critical patent/JP3969852B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Instructional Devices (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自動車等に搭載されるカメラ、およびカーナビゲーション装置等の位置検出装置を利用した通信システムに関し、カメラからの画像データの無線による送受信に関するものである。
【0002】
【従来の技術】
近年自動車内にも多くの電子機器が搭載されるようになってきている。その中でも、GPS(Global Positioning System )衛星からの信号により自車の位置を測定し、走行案内を液晶ディスプレイなどに表示するカーナビゲーション装置の普及はめざましい。
【0003】
図14は、従来のカーナビゲーション装置の一例を示したブロック図である。
【0004】
201はシステムコントローラ、202はプログラムを格納しているROM、203は動作モードの記憶や、地図データなどの蓄積の際に利用されるRAM、204はジャイロなどから構成され車両速度や転回した角度などを検出し、その情報をシステムコントローラ201に出力する自律計測部、205はGPSアンテナ、206はGPSユニット、207はリモコンや本体入力部からなるKey入力部、208は地図情報を提供するCD−ROMを再生するCD−ROM装置、209はCD−ROMコントローラ、210は表示画面の描画処理部、211は表示画面を蓄積するVRAM、212は液晶等で構成される表示装置、213は内部バス、214は車両速度や転回した情報等の走行データの入力である。
【0005】
このような構成下で、GPS情報や自律走行データから、システムコントローラ201が常に自車位置を測位計算し、走行案内表示を出力する。
【0006】
車両誘導装置としての自車位置、地図情報の表示、またTV画像や音楽再生など、より多くの機能の充実で、より快適な車内空間を提供し、カーナビゲーション装置は有効な装置である。
【0007】
【発明が解決しようとする課題】
しかしながら、従来のカーナビゲーション装置は走行案内機能としては充実してきたものの、走行時の映像を搭載した車載カメラで撮像する、自動車間で各種データを任意に送受信できる環境などといった、次世代の自動車内装置,機能との融合といった面での実用化はなされていない。
【0008】
複数台の自動車間で走行中に各種データ、特に車載カメラで撮像した画像データなどを伝送する手段を考えた場合、その表示装置としてカーナビゲーション装置のモニタは有効な装置となりうるが、各メーカ間で画像や信号処理の点などで相違点があり、画像データを表示できるとは限らない。そのため、種類の異なるカーナビゲーション装置間でも問題なく画像データを通信手段を用いて送受信でき、表示可能となる環境が望まれる。
【0009】
本発明は、このような状況のもとでなされたもので、所望の画像情報を送、受信できる移動体間通信システムおよび通信装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】
前記目的を達成するため、本発明では、移動体間通信システムを次の(1)のとおりに構成し、通信装置を次の(2)のとおりに構成する。
(1)それぞれ移動可能な受信装置と送信装置を含んで構成される移動体間通信システムであって、
前記受信装置は、
自装置の位置を検出する第1の位置検出手段と、
前記送信装置に対して、前記第1の位置検出手段で検出した位置に基づく位置情報にしたがって記録済の画像情報を再生して送信させる第1のリクエスト情報と、前記送信装置の位置におけるリアルタイムの画像情報を送信させる第2のリクエスト情報とを生成するリクエスト生成手段と、
前記リクエスト生成手段により生成される前記第1のリクエスト情報及び前記第2のリクエスト情報を選択的に前記送信装置へ送信し、前記送信装置から送信された画像情報を受信する通信手段とを備え、
前記送信装置は、
被写体像を撮像して画像情報を生成する撮像手段と、
自装置の位置を検出する第2の位置検出手段と、
前記撮像手段により生成された画像情報に前記第2の位置検出手段で検出した撮像時の位置の情報を付加して、前記撮像手段と接続された記録媒体に記録する記録手段と、
前記受信装置から送信される前記第1のリクエスト情報及び前記第2のリクエスト情報を受信する受信手段と、
前記受信手段により前記第1のリクエスト情報を受信したときに、前記第1のリクエスト情報に含まれる位置情報に基づいて前記記録媒体に記録された記録済の画像情報を検索して再生する再生手段と、
前記受信手段によって、前記第1のリクエスト情報を受信したときは、前記再生手段により再生される画像情報を前記受信装置に対して送信し、前記第2のリクエスト情報を受信したときは、前記撮像手段によって生成されるリアルタイムの画像情報を前記受信装置に対して送信する送信手段と、
を備える移動体間通信システム。
)画像送信装置としての機能を有する移動可能な通信装置であって、
被写体像を撮像して画像情報を生成する撮像手段と、
自装置の位置を検出する位置検出手段と、
前記撮像手段により生成された画像情報に、前記位置検出手段で検出した撮像時の位置の情報を付加して、前記撮像手段と接続された記録媒体に記録する記録手段と、
外部の受信装置から記録済の画像情報を要求する第1のリクエスト情報及びリアルタイムの画像情報を要求する第2のリクエスト情報を受信する受信手段と、
前記受信手段により前記第1のリクエスト情報を受信したときに、前記第1のリクエスト情報に含まれる位置情報に基づいて前記記録媒体に記録された記録済の画像情報を検索して再生する再生手段と、
前記受信手段によって、前記第1のリクエスト情報を受信したときは、前記再生手段により再生される画像情報を前記受信装置に対して送信し、前記第2のリクエスト情報を受信したときは、前記撮像手段によって生成されるリアルタイムの画像情報を前記受信装置に対して送信する送信手段と、
を備える通信装置。
【0034】
【発明の実施の形態】
以下本発明を自動車間通信システムの実施例により詳しく説明する。なお、本発明は、自動車間に限らず、列車間,船舶間,航空機間等の適宜の同種の移動体間、また、自動車−列車間等の適宜の異種の移動体間の通信システムの形で同様に実施することができる。
【0035】
更に、固定局,通信衛星等を基地局(予め所定地点の映像を記憶している)或は中継局として移動体との通信を行うといった形で同様に実施することができる。
【0036】
また、通信システムといった物の形に限らず、通信方法の形で、更にこの通信方法を実現するためのプログラムを格納した、CD−ROM等の記憶媒体の形で同様に実施することができる。
【0037】
【実施例】
図1は、実施例である“自動車間通信システム”の概念図である。GPS衛星103からの電波を利用したGPSナビゲーション装置をそれぞれ搭載した、自動車▲1▼101,自動車▲2▼102間で、画像データを無線通信により送受信する様子を表している。なお、本実施例でいう画像データとは静止画像および動画像の両方を意味している。また、図1において、自動車▲1▼101,自動車▲2▼102間の無線通信は走行中に限らず実行できる。
【0038】
図1の無線通信ではアンテナ104、およびアンテナ105から電波を送信、受信する。ここでの無線通信の方式は携帯電話を用いた通信や、スペクトラム拡散通信方式等が考えられる。携帯電話の通信方式は公知であるので補足説明を省略するが、スペクトラム拡散通信方式については構成,通信動作の概要をここで簡単に説明する。
【0039】
図2にスペクトラム拡散通信装置の送信部の構成ブロック図、図3に受信部の構成ブロック図を示す。
【0040】
まず図2において、501は直並列変換器、502−1〜nは乗算器、503は拡散符号発生器、504は加算器、505は送信周波数信号に変換するための無線周波数(RF)変換器、506は送信アンテナである。
【0041】
以下に前述のように構成されたスペクトラム拡散通信装置の送信部での動作について説明する。
【0042】
入力されたデータは直並列変換器501にてn個の並列データに変換される。変換された各データはn個の乗算器502−1〜nにおいて拡散符号発生器503のn個のそれぞれ異なる拡散符号出力と乗算されnチャネルの広帯域拡散信号に変換される。次に、各乗算器の出力は加算器504にて加算され、RF変換器505に出力される。RF変換器505で、加算されベースバンド広帯域拡散信号は適当な中心周波数を持つ送信周波数信号に変換され、送信アンテナ506より送信される。
【0043】
次に図3において、511は受信アンテナ、512は無線周波数(RF)変換器、513−1〜nは相関器、514−1〜nは拡散符号発生器、515−1〜nは同期回路、516−1〜nは復調器、517は並直列変換器である。
【0044】
以下に前述のように構成されたスペクトラム拡散通信装置の受信部の動作について説明する。
【0045】
受信アンテナ511にて受信された送信信号は、RF変換器512にて適当にフィルタリング及び増幅され、中間周波数信号に変換される。該中間周波数信号はn個の並列に接続されたn個の拡散符号に対応するチャネルに分配される。各チャネルにおいて、相関器513−1〜nでは各チャネルに対応した拡散符号発生器514−1〜nの出力と相関検出が行われ、同期回路515−1〜nで各チャネルごとに同期が確立され、各拡散符号発生器514−1〜nの符号位相及びクロックを一致させ、また復調器516−1〜nでは、復調されデータが再生される。さらに該再生データは並直列変換器517にて直列データに変換され元のデータに戻される。
【0046】
以上がスペクトラム拡散通信方式での、基本的な送信部,受信部のブロック図の構成、及び通信動作の説明である。
【0047】
前述したようなスペクトラム拡散通信方式での送信装置、及び受信装置を無線通信手段として用いる。
【0048】
次に、図1の自動車に搭載されている、本実施例システムの構成をブロック図4に示し、これを説明する。
【0049】
1はシステムコントローラ、2はプログラムや各種データを格納しているROM、3は動作モードの記憶や、地図データなどの蓄積の際に利用されるRAM、4はジャイロなどから構成され車両速度や転回した角度などを検出し、その情報をシステムコントローラ1に出力する自律計測部、5はGPSアンテナ、6はGPSユニット、7は動画および静止画とも撮像可能な車載カメラ、8はカメラ信号処理回路、9は車載カメラが撮像した画像データを保持するためのディスク状記録媒体及びその記録再生装置等からなる画像記憶部、10は画像データの表示または伝送のために画像データを変換,調整処理する画像調整部、11はリモコンや本体入力部からなるKey入力部、12は地図情報を提供するCD−ROMを再生するCD−ROM装置、13はCD−ROMコントローラ、14は表示画面の描画処理部、15は表示画面の蓄積をするVRAM、16は液晶等で構成される表示装置、17は画像データの圧縮/伸張処理回路、18は通信インターフェイス、19は無線通信するデータの入出力部となる無線送受信部であり、ここから携帯電話、またはスペクトラム拡散等の無線通信手段に所定の回路を経て接続される。さらに、20は内部バス、21は車両速度や転回した情報等の走行データの入力であり、自律走行計測にも用いられる。
【0050】
この図4の構成により、GPSユニット6からの情報や走行データより割り出した自律走行データから、システムコントローラ1が自車位置を測位計算し、CD−ROMに記録されている地図情報を用いて走行案内表示を出力するナビゲーション機能のほか、車載カメラ7で撮像した画像データを圧縮して記録ができ、表示装置16に表示ができ、無線送受信部19から無線通信を介して画像データやその他コマンドデータ等を送受信ができ、また受信した画像データの表示装置16での表示、さらにコマンド入出力の制御およびコマンドに基づく制御等も実行される。これらの各部はシステムコントローラ1によって統合的に制御され、またユーザからKey入力部11に指示を受けることで動作制御コマンドともなり得る。
【0051】
なお、車載カメラ7は図5に示すように、車内に取り付けられ、車の前方を撮像するように備え付けられている。しかし、このカメラの方向は必要に応じて任意の方向に向けてもよく、取り付け位置も任意であって構わない。車の後方を撮像するカメラであっても、さらに、カメラが前方、後方等複数取り付けられていても、本発明の趣旨の範囲である。
【0052】
次に、画像データの送信について説明するため、送信側自動車でのカーナビゲーション装置を含む本実施例システムのうち、送信にかかわる部分のブロックを図6に示し、説明する。
【0053】
図6の構成要素としては、図4にて既に説明したシステムコントローラ1,自律計測部4,GPSアンテナ5,GPS受信部(ユニット内)6,車載カメラ7,カメラ信号処理回路8,画像記憶部9,画像調整回路(画像調整部内)10,圧縮伸長回路17,無線送受信部19、および、システムコントローラ1の一部であって自車位置を検出し、位置情報として出力する自車位置検出部31、画像調整部の一部であって画像データのフォーマット,サイズ,データ量等の画像方式の変換,調整のための設定をする画像方式設定回路32、同じく画像調整部の一部であって画像データの圧縮フォーマットの変換のための設定をする圧縮方式設定回路33、合成部34から成る。
【0054】
続いて動作を説明する。
【0055】
GPSアンテナ5においてGPS衛星から送信された電波を受信し、これをGPS受信部6においてGPSによる位置判定の処理を行う。GPS情報と、さらに衛星電波の届かない場所では自律計測部4により自律走行データも加味し、システムコントローラ1はナビゲーションのための処理を行う。
【0056】
また、自車位置検出部31では、GPS情報及びシステムコントローラ1が判定した位置情報から、記録用データとしての位置情報を検出し、出力する。
【0057】
また、車載カメラ7が撮影している画像は、カメラ信号処理回路8でデジタル化、および色信号,輝度信号においてそれぞれ必要な信号処理が施され、画像データとなる。そしてカメラ信号処理回路8より出力された画像データは、自車位置検出部31からの記録用位置情報と合成部34にて多重され、圧縮/伸張処理回路17に至る。ここで、画像データはあらかじめ定められた所定の圧縮方式で圧縮される。圧縮のメリットは記録量の減少化や、伝送効率の向上のためである。静止画ならばJPEG,JBIG等、動画ならばMPEG1,MPEG2やMPEG4が望ましい圧縮方式であるが、これに限らずともよい。本実施例では、自動車間の通信,カーナビゲーション装置の表示サイズなどから考慮し、主としてJPEGおよびMPEG4を用いて画像データを圧縮して記録,伝送するものとする。しかし、その他の圧縮方式、画像フォーマットにも対応可能な構成を実現して、伝送の際には他の画像フォーマットへの変換も可能な構成をとるものとする。
【0058】
ここで、JPEGについては公知公用なので説明は省略するが、MPEG4についてその開発背景、および構成を図を用いて以下に簡単に説明する。
【0059】
近年、画像の符号化技術の高度化、コンピュータの進歩に伴い、画像の中の物体(オブジェクト)毎に切り分けて符号化する方式が提案され始めている。画像をオブジェクト単位で符号化することで、各オブジェクトに最適な符号を行うことで符号化効率を向上させると同時に、画像内のオブジェクトを編集することで新たな画像を生成する機能を得ることができる。動画像で、画像のオブジェクト毎に符号化する方式が国際標準化方式MPEG4として検討されている(参考文献:「MPEG4の標準化動向」、栄藤、画像電子学会誌第25巻第3号(1996)pp.223−228)。
【0060】
対象となる画面の例を図7に示す。図7は動画の1フレームを表している。この図7のフレーム401はa〜dに示す4つのオブジェクトで構成される。すなわち、背景を表すオブジェクトa、ヘリコプタを表すオブジェクトb、列車を表すオブジェクトc、車を表すオブジェクトdである。これらの形状を表すために、背景以外のオブジェクトはe〜gに示すように矩形で表された領域のうち、黒の部分を領域外、白の部分を領域内とするマスクを持ち、これを符号化しておくことで任意の形状のオブジェクトを扱えるようにしている。すなわち、オブジェクト403にはマスク406、オブジェクト404にはマスク407、オブジェクト405にはマスク408がそれぞれ対応する。
【0061】
その符号化の概要を図8に示す。入力画像301はオブジェクト分離部302に入力され、それぞれのオブジェクトに分離される。図7の画像ではオブジェクト402,403,404,405に分離される。分離されたオブジェクトはそれぞれが独立に符号化される。すなわち、オブジェクト402はオブジェクト符号化部303で、オブジェクト403はオブジェクト符号化部304で、オブジェクト404はオブジェクト符号化部305で、オブジェクト405はオブジェクト符号化部306で符号化される。各オブジェクト符号化部303〜306で得られた符号化データはマルチプレクサ307でまとめられ、コードデータ308として送出される。
【0062】
続いて復号の概要を図9に示す。前述のコードデータ308はデマルチプレクタ309に入力され、各オブジェクト毎の符号化データに分離する。分離された符号化データは独立に復号される。すなわち、オブジェクト402はオブジェクト復号化部310で、オブジェクト403はオブジェクト復号化部311で、オブジェクト404はオブジェクト復号化部312で、オブジェクト405はオブジェクト復号化部313で復号化される。各オブジェクト復号化部310〜313で得られた画像データはオブジェクト合成部314で各オブジェクトのあるべき位置に配置されて、1枚の画像を合成し、再生画像315を得る。
【0063】
以上が大まかなMPEG4の説明である。
【0064】
図6の説明に戻り、続いて、図6の圧縮伸張回路17の圧縮処理を経て圧縮された画像データは、記録系と伝送系に至る。
【0065】
画像データを記録するときは画像記憶部9に記録する。書き込み可能な記録媒体から構成される画像記憶部9に格納される画像データの記憶フォーマットは、図10に示したようになる。各画像データは、ID部と位置情報部と画像データとを含む。ID部にはアドレス等のID情報を、位置情報部には自車位置検出部31から出力された地理上の位置を特定するための緯度や経度等の情報(位置情報)を格納し、各画像データ部には動画または静止画の画像データが順次格納される。
【0066】
また、画像データ記憶部9より再生した圧縮画像データ、またはカメラからの入力で圧縮回路17で圧縮された画像データは、無線伝送に前立って、システムコントローラ1の制御、画像調整回路10および画像方式設定回路32,圧縮方式設定回路33によって画像の調整,変換処理が施される。具体的な画像調整とは、送信先となる受信側機器からリクエストを受けたときに、同時に機器情報を受け取ることによって、受信側機器の対応可能な画像フォーマット,画面サイズ,機能、さらにはメーカ固有の情報(ROM情報)などを考慮し、受信側機器に対して効果的な画像方式(請求項の処理方式に対応する)に変換して伝送できるように、画像データの間引きや、付加情報の追加、画像フォーマットの変換等をして調整する。また、特に画像圧縮方式に対しては、圧縮方式の変換、MPGE4からMPEG2やMPEG1、もしくは非圧縮への変換などを圧縮伸張回路17へのフィードバックも適宜追加しながら変換処理する。受信側機器がMPEGデータの処理が可能であるならば、対応するMPEGフォーマットで圧縮した画像データを伝送し、不可能であるならば伸張処理して、非圧縮画像データを伝送することが可能になる。
【0067】
その後、調整された画像データは無線送受信部19から無線通信,携帯電話等を介して送信される。また、無線送受信部19で受信したデータのうち送信リクエスト等のコマンドデータは、システムコントローラ1に至り画像送信の際の制御コマンドとなる。
【0068】
つぎに、本実施例のカーナビゲーション装置を含むシステムを搭載した受信側となる自動車で、送信リクエスト、および画像データの受信にかかわる部分のブロックを図11に示し、説明する。
【0069】
図11の構成要素としては、図4にて既に説明したシステムコントローラ1,ROM2,自律計測部4,GPSアンテナ5,GPS受信部(ユニット内)6,描画処理回路14,表示装置16,伸張回路(圧縮伸張回路の一部)17,無線送受信部19、およびシステムコントローラ1の一部であって自車位置を検出し、位置情報として出力する自車位置検出部31、同じくROM2のプログラム情報や各部の構成などから対応可能な画像の種類,表示手段の構成や能力などを機器情報として発生させ、および送信機器に対するリアルタイム画像伝送モードまたは記憶画像伝送モードの指示コマンドを発生させ、リクエストとして出力するリクエスト発生部41、無線伝送されたデータから位置情報を検出する位置情報検出部42,合成部43,データ分離部44から成る。
【0070】
続いて動作を説明する。
【0071】
GPSアンテナ5においてGPS衛星から送信された電波を受信し、これをGPS受信部6においてGPSによる位置判定の処理を行う。GPS情報と、さらに衛星電波の届かない場所では自律計測部4により自律走行データも加味し、システムコントローラ1はナビゲーションのための処理を行う。
【0072】
また、自車位置検出部31ではGPS情報及びシステムコントローラ1が判定した位置情報から、自車位置を示す情報を検出し、データとして出力する。また、自装置が対応可能な画像フォーマット,画面サイズ,機能、さらにはメーカ固有の情報などをROM2やシステムコントローラ1などから必要な情報を採取、出力し機器情報を発生させ、リクエスト発生部41で送信側機器に送る機器情報としてデータ化し、かつKey入力部11から指示入力されるユーザの選択に応じて、送信側機器を搭載した自動車からのリアルタイムな画像データを入手するか、または過去に記憶した画像を送信側機器の画像記憶部より読み出して入手するかを選び、そのモード選択の指示情報も機器情報とともにリクエストとして出力する。そして、自車位置情報とリクエストを合成器43で合成し、送信リクエストとして、無線送受信部19から送信側機器に無線手段で送信し、画像データの受信を図る。
【0073】
送信側機器では、送信リクエストを受信したならば、記憶画像の伝送モードまたはリアルタイム画像データの伝送を判別し、リアルタイムモードの場合は、現在撮像している画像データをリアルタイムに、記憶画像伝送モードの場合は、送信リクエスト内の受信側の位置情報を基に該当する位置情報を有する記憶済画像データを記憶装置より読み出し、伝送制御をする。
【0074】
次に、画像データの受信に際しては、まず無線送受信部19で受信した画像データから、データ分離部44で画像データ本体と付加情報となる位置情報を分離する。画像データは伸張回路17で伸張され、表示装置16に至り表示される。また、位置情報は位置情報検出部42でリアルタイムモードの場合送信側車の位置、記憶画像伝送モードの場合は記憶された位置を示す、位置情報として検出され、描画処理回路14に至り、ここでCD−ROMより供給されるマップデータと混合され、表示装置16に表示可能となる。
【0075】
以上が、図11の受信側機器の動作の説明である。自車位置検出部31から出力する位置情報に追加データを加えることによって、任意の位置、例えば自車位置の数Km先の地点等を演算によって求めて設定すれば、送信側機器に記憶画像があるならば、その位置での記憶済画像データを入手することもできる。
【0076】
リアルタイムモードのときの、受信車でのモニタの様子を図12に示す。ナビゲーション表示画面の一例として、表示装置601にCD−ROMから読み出したマップ情報より作成したマップ画面602をベースに表示し、画面の一部に先行している相手の送信車からのリアルタイム画像603を表示している。そして、自車及び相手車のいる位置を、各々の位置情報を基に矢印等のキャラクタで示している。このように先行車からの映像を入手することは、混雑状態を知る、または先行する地点の実際の風景画を確認しながらの走行案内としての効果もある。
【0077】
また、記憶画像読み出しモードのときは、既に先行した相手車から、先行車が現在受信車がいる位置を通過時に撮像し記憶した画像を読み出して受信できるので、実際の風景画を走行案内用として表示でき、特に入り組んだ路地等で効果的である。またこのとき受信車のいる位置の位置情報を基にして、位置情報を調整することで任意の位置での記憶画像も要求することができる。
【0078】
次に本実施例を用いた、画像データの無線伝送に関する動作について、主要動作をフローチャートを図13に示し説明する。図13のフローチャートは、送信側と受信側とで分けて、双方間での無線伝送に関する状態を太線で示してある。
【0079】
まず、本実施例の動作を実行するモードにおいて、ステップS1では受信側は既に説明した送信リクエストを発生し、無線送信する。ステップS2として、前記送信リクエストを受信可能な状態を保つ、指定された、または任意である搭載したナビゲーション機器が、ステップS1の送信リクエストを受信すると、以降画像データを送信するように制御され、送信側機器となる。続いて、送信側機器はステップS3では送信リクエストから伝送モードの情報を判別し、伝送モードがカメラからのリアルタイム画像を要求しているときは、ステップS5のカメラ画像入力側にフローし、記憶してある画像データの読み出しを要求しているときはステップS8の記憶画像伝送モード側にフローする。
【0080】
リアルタイム画像伝送モードとして、ステップS5では送信側の車載カメラから画像を入力し、ステップS6としてGPS情報などを基に自車の位置情報を画像データに多重し、ステップS7としてカメラから入力した画像データを圧縮する。
【0081】
記憶画像伝送モードとしては、ステップS8として記憶画像伝送モードを設定し、続いてステップS9にて受信側から送信された送信リクエスト中の受信側位置情報を記憶画像データ検索用情報として用いて、記憶媒体に記憶されている各画像データの位置情報から該当するものを検索する。ここでステップS10として、該当する位置情報を持つ画像データが記憶されている場合はステップS11としてその画像データの再生処理を行う。また、ステップS10で該当する記憶画像がない場合は、ここでフローは終了となる。
【0082】
リアルタイム伝送モードにて、ステップS7で圧縮されたカメラよりの入力画像データ、または記憶画像伝送モードにてステップS11で再生された画像データは、ステップS12の画像調整が施される。この画像調整とは、既に説明したように、画像調整回路で行われる受信側装置の固有機器情報に応じた画像データの変換処理である。ステップS12で画像調整された後、ステップS13で画像データは無線伝送される。
【0083】
一方受信側においては、ステップS1でリクエストを送信した後、画像データの受信スタンバイに入り、送信側の処理を経て送信されたリアルタイム、または再生画像データをステップS14で受信したならばステップS16の画像伸張に至る。ステップS14で画像データを受信しないならば、ステップS15で所定時間の経過を判断し、所定時間が過ぎていないならば受信を待つようスタンバイしたまま、所定時間が過ぎたならば、送信すべき画像データがないか、またはアクシデントで通信が行えていないということで、ここでフローは終了となる。
【0084】
ステップS16で画像データの伸張処理を行い、圧縮を解く。次いでステップS17で画像と同時に送信側から送信されている位置情報を基に、地図情報とともに表示させるマップ描画処理を行う。このマップ表示と、送信された画像データを合成して同時に、または選択的に表示可能として、ステップS18で表示装置に、伝送に対応して随時表示していく。
【0085】
記憶画像伝送モードのとき、任意の時間記憶されている画像データの1ユニットの再生が終了したら、または、リアルタイムモードのときも含めて、送信側ユーザより終了の命令があったならば、ステップS22で終了の判断となり、これで送信は終了し、フローは終了する。ステップS22の終了の判断が行われないときは、引き続きステップS13に戻り無線送信を続行する。
【0086】
また、ステップS19で送信側で画像の送信が終了し、無線送信が終了したと判断したならば、受信側のフローも終了となるが、終了で無いときはステップS20に至り、ここで受信側ユーザの強制終了の判断がある場合は停止命令として停止コマンドを発令し、ステップS21で送信側にも停止の旨を伝える停止コマンドを無線送信し、終了する。停止コマンドを受け取った送信側は、通常終了時と同様、ステップS22で終了と判断され終了処理を行う。また、ステップS20で停止の判断がない場合は、一括して無線送信されず、所定間隔をおいて随時送られてくるときなどに、フロー的にはステップS14の画像データの受信から繰り返し行い、円滑に受信処理,表示処理を随時実行して行く。
【0087】
以上がフローチャート図13に示した、本実施例の動作の説明である。
【0088】
以上説明したように、本実施例によれば、このように構成することで、相手車が撮像した画像データを自車のカーナビゲーション手段の表示部に表示可能となる。そのとき、自車のGPS情報を基に相手車の記憶画像データを検索し、先行した相手車から必要とする最適位置の画像データを読み出すことができるので、走行案内において効果的である。具体的には、記憶画像読み出しモードのときは、既に先行した相手車から、先行車が現在受信車がいる位置を通過時に撮像し記憶した画像を読み出して受信できるので、実際の風景画を走行案内用として表示でき、特に入り組んだ路地等で効果的である。さらに、このとき受信車のいる位置の位置情報を基にして、受信側位置情報を調整することで、送信側より任意の位置で記憶された記憶画像も要求することができるようになる。
【0089】
さらに、先行車のリアルタイムな撮像画像を入手することで、渋滞回避などにも適応できる。
【0090】
また、相手車のカーナビゲーション装置,表示装置に適応するような画像データに変換処理して伝送するようにしたことで、各メーカによって方式,規格が異なるナビゲーション装置でも対応でき、伝送時に際しても最適な画像形式を選ぶことで、円滑な伝送が可能になる。
【0091】
【発明の効果】
以上説明したように、本発明によれば、移動体を有するシステムにおいて、所望の画像を送,受することができる。
【図面の簡単な説明】
【図1】 実施例の使用状態を示す概念図
【図2】 スペクトラム拡散通信装置の送信部の構成を示すブロック図
【図3】 スペクトラム拡散通信装置の受信部の構成を示すブロック図
【図4】 実施例の要部の構成を示すブロック図
【図5】 車載カメラの取付状態を示す図
【図6】 送信部の構成を示すブロック図
【図7】 オブジェクト分離の説明図
【図8】 MPEG4による符号化の説明図
【図9】 MPEG4による復号化の説明図
【図10】 記憶形態の概念図
【図11】 受信部の構成を示すブロック図
【図12】 受信側での表示例を示す図
【図13】 実施例の動作を示すフローチャート
【図14】 従来のカーナビゲーション装置の構成を示すブロック図
【符号の説明】
1 システムコントローラ
6 GPSユニット
7 車載カメラ
16 表示装置
19 無線送受信部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication system using a camera mounted on an automobile or the like and a position detection device such as a car navigation apparatus, and relates to wireless transmission and reception of image data from the camera.
[0002]
[Prior art]
In recent years, many electronic devices have been installed in automobiles. Among them, a car navigation device that measures the position of the vehicle by a signal from a GPS (Global Positioning System) satellite and displays driving guidance on a liquid crystal display or the like is remarkable.
[0003]
FIG. 14 is a block diagram showing an example of a conventional car navigation apparatus.
[0004]
201 is a system controller, 202 is a ROM that stores a program, 203 is a RAM that is used for storing operation modes and storing map data, 204 is a gyroscope, etc., and includes vehicle speed and turning angle, etc. Is an autonomous measuring unit that detects and outputs the information to the system controller 201, 205 is a GPS antenna, 206 is a GPS unit, 207 is a key input unit including a remote control and a main body input unit, and 208 is a CD-ROM that provides map information 209 is a CD-ROM controller, 210 is a display screen drawing processing unit, 211 is a VRAM for storing the display screen, 212 is a display device composed of liquid crystal, etc., 213 is an internal bus, 214 Is an input of traveling data such as vehicle speed and turning information.
[0005]
Under such a configuration, the system controller 201 always calculates and calculates the position of the vehicle from GPS information and autonomous traveling data, and outputs a traveling guidance display.
[0006]
The car navigation device is an effective device that provides a more comfortable interior space with more functions such as the position of the vehicle as a vehicle guidance device, display of map information, and playback of TV images and music.
[0007]
[Problems to be solved by the invention]
However, although the conventional car navigation system has been enhanced as a driving guide function, it can be used in next-generation automobiles such as an environment in which various data can be freely transmitted and received between automobiles, which is captured by an in-vehicle camera equipped with images during driving. It has not been put into practical use in terms of integration with devices and functions.
[0008]
When considering a means to transmit various data, especially image data captured by an in-vehicle camera, while driving between multiple cars, the monitor of the car navigation device can be an effective device as its display device. However, there are differences in image and signal processing, and image data cannot always be displayed. Therefore, an environment in which image data can be transmitted / received using a communication means without any problem between different types of car navigation apparatuses and can be displayed is desired.
[0009]
  The present invention has been made under such circumstances, and provides a mobile communication system and a mobile communication system capable of transmitting and receiving desired image information.BiddingIt is an object to provide a communication device.
[0010]
[Means for Solving the Problems]
  In order to achieve the above object, in the present invention, the inter-mobile communication system is configured as follows (1)., ThroughThe following (2))ofConfigure as follows.
  (1) An inter-mobile communication system configured to include a movable receiving device and a transmitting device,
  The receiving device is:
  Detect the location of your deviceFirstPosition detecting means;
  First request information for reproducing and transmitting recorded image information in accordance with position information based on the position detected by the first position detecting unit to the transmission apparatus, and real-time at the position of the transmission apparatus And second request information for sending image information.A request generation means to generate;
  Generated by the request generation meansThe firstRequest informationAnd selectively selecting the second request informationCommunication means for transmitting to the transmission device and receiving image information transmitted from the transmission device;
  The transmitter is
  Imaging means for capturing a subject image and generating image information;
  Detect the location of your deviceSecondPosition detecting means;
  In the image information generated by the imaging means,SecondDetected by position detection meansWhen shootingAdd location informationAnd a recording medium connected to the imaging meansRecording means for recording;
  Receiving means for receiving the first request information and the second request information transmitted from the receiving device;
  Reproducing means for retrieving and reproducing recorded image information recorded on the recording medium based on position information included in the first request information when the receiving means receives the first request information. When,
  When the first request information is received by the receiving means, image information reproduced by the reproducing means is transmitted to the receiving device, and when the second request information is received, the imaging is performed. Transmitting means for transmitting real-time image information generated by the means to the receiving device;
WithTransferCommunication system between moving bodies.
  (2) Movement that functions as an image transmission devicePossibleA communication device,
  Imaging means for capturing a subject image and generating image information;
  Position detecting means for detecting the position of the device itself;
  Detected by the position detection means on the image information generated by the imaging meansWhen shootingAdd location informationAnd a recording medium connected to the imaging meansRecording means for recording;
  From an external receiverReceiving means for receiving first request information for requesting recorded image information and second request information for requesting real-time image information;
  Reproducing means for retrieving and reproducing recorded image information recorded on the recording medium based on position information included in the first request information when the receiving means receives the first request information. When,
  When the first request information is received by the receiving means, image information reproduced by the reproducing means is transmitted to the receiving device, and when the second request information is received, the imaging is performed. Transmitting means for transmitting real-time image information generated by the means to the receiving device;
WithRuCommunication device.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to an embodiment of an inter-vehicle communication system. The present invention is not limited to between automobiles, and is a communication system between appropriate mobile units of the same type, such as between trains, between ships, between aircrafts, and between different types of mobile units such as between cars and trains. The same can be done.
[0035]
Furthermore, it can be similarly implemented by communicating with a mobile body as a fixed station, a communication satellite or the like as a base station (previously storing a video at a predetermined point) or a relay station.
[0036]
Further, the present invention is not limited to the form of a communication system, but can be similarly implemented in the form of a communication method and further in the form of a storage medium such as a CD-ROM storing a program for realizing the communication method.
[0037]
【Example】
FIG. 1 is a conceptual diagram of an “automobile communication system” as an embodiment. The figure shows a state in which image data is transmitted and received by wireless communication between the automobile (1) 101 and the automobile (2) 102, each equipped with a GPS navigation device using radio waves from the GPS satellite 103. The image data referred to in this embodiment means both a still image and a moving image. In FIG. 1, the wireless communication between the automobile (1) 101 and the automobile (2) 102 can be executed not only during traveling.
[0038]
In the wireless communication in FIG. 1, radio waves are transmitted and received from the antenna 104 and the antenna 105. As a wireless communication method here, communication using a mobile phone, spread spectrum communication method, and the like can be considered. Since the mobile phone communication system is known, a supplementary description is omitted, but the configuration of the spread spectrum communication system and the outline of the communication operation will be briefly described here.
[0039]
FIG. 2 shows a configuration block diagram of the transmission unit of the spread spectrum communication apparatus, and FIG. 3 shows a configuration block diagram of the reception unit.
[0040]
First, in FIG. 2, 501 is a serial-parallel converter, 502-1 to n are multipliers, 503 is a spread code generator, 504 is an adder, and 505 is a radio frequency (RF) converter for converting to a transmission frequency signal. , 506 are transmitting antennas.
[0041]
The operation of the transmission unit of the spread spectrum communication apparatus configured as described above will be described below.
[0042]
The input data is converted into n parallel data by the serial-parallel converter 501. Each of the converted data is multiplied by n different spread code outputs from the spread code generator 503 in n multipliers 502-1 to 502-1 to be converted into n-channel wideband spread signals. Next, the outputs of the multipliers are added by the adder 504 and output to the RF converter 505. In the RF converter 505, the added baseband wideband spread signal is converted into a transmission frequency signal having an appropriate center frequency and transmitted from the transmission antenna 506.
[0043]
Next, in FIG. 3, 511 is a receiving antenna, 512 is a radio frequency (RF) converter, 513-1 to n are correlators, 514-1 to n are spread code generators, 515-1 to n are synchronous circuits, Reference numerals 516-1 to n denote demodulators and reference numeral 517 denotes a parallel-serial converter.
[0044]
The operation of the receiving unit of the spread spectrum communication apparatus configured as described above will be described below.
[0045]
The transmission signal received by the receiving antenna 511 is appropriately filtered and amplified by the RF converter 512 and converted into an intermediate frequency signal. The intermediate frequency signal is distributed to channels corresponding to n spread codes connected in parallel. In each channel, correlators 513-1 to n perform correlation detection with outputs from spreading code generators 514-1 to 51-n corresponding to the respective channels, and synchronization circuits 515-1 to n establish synchronization for each channel. Then, the code phases and clocks of the respective spread code generators 514-1 to 51n are made to coincide with each other, and the demodulator 516-1 to 516-1 to demodulate and reproduce the data. Further, the reproduced data is converted into serial data by a parallel / serial converter 517 and returned to the original data.
[0046]
The above is the configuration of the basic block diagram of the transmission unit and the reception unit and the communication operation in the spread spectrum communication system.
[0047]
A transmission device and a reception device in the spread spectrum communication system as described above are used as wireless communication means.
[0048]
Next, the configuration of the system of the present embodiment mounted on the automobile shown in FIG. 1 is shown in a block diagram 4 and will be described.
[0049]
1 is a system controller, 2 is a ROM for storing programs and various data, 3 is a RAM used for storing operation modes and map data, 4 is a gyro, etc. An autonomous measuring unit that detects the detected angle and outputs the information to the system controller 1, 5 is a GPS antenna, 6 is a GPS unit, 7 is an in-vehicle camera that can capture both moving images and still images, 8 is a camera signal processing circuit, Reference numeral 9 denotes an image storage unit including a disk-shaped recording medium for storing image data captured by the in-vehicle camera and a recording / reproducing apparatus thereof, and 10 denotes an image for converting and adjusting the image data for display or transmission of the image data. An adjustment unit, 11 is a key input unit including a remote controller and a main body input unit, and 12 is a CD-RO that reproduces a CD-ROM that provides map information. Device, 13 is a CD-ROM controller, 14 is a display screen drawing processing unit, 15 is a VRAM for storing the display screen, 16 is a display device composed of liquid crystal or the like, 17 is a compression / decompression processing circuit for image data, Reference numeral 18 denotes a communication interface, and reference numeral 19 denotes a wireless transmission / reception unit serving as an input / output unit for data to be wirelessly communicated. A wireless communication unit such as a cellular phone or spread spectrum is connected thereto via a predetermined circuit. Furthermore, 20 is an internal bus, 21 is an input of travel data such as vehicle speed and information of turning, and is also used for autonomous travel measurement.
[0050]
With the configuration shown in FIG. 4, the system controller 1 calculates the position of the vehicle from the autonomous traveling data determined from the information from the GPS unit 6 and the traveling data, and travels using the map information recorded on the CD-ROM. In addition to a navigation function that outputs a guidance display, image data captured by the in-vehicle camera 7 can be compressed and recorded, displayed on the display device 16, and image data and other command data can be transmitted from the wireless transmission / reception unit 19 via wireless communication. Etc., and display of received image data on the display device 16, control of command input / output, control based on commands, and the like are also executed. Each of these units is integrally controlled by the system controller 1 and can be an operation control command by receiving an instruction from the user to the key input unit 11.
[0051]
As shown in FIG. 5, the in-vehicle camera 7 is mounted in the vehicle and is provided so as to image the front of the vehicle. However, the direction of the camera may be directed to an arbitrary direction as necessary, and the attachment position may be arbitrary. Even if it is a camera which images the back of a car, and even if a plurality of cameras, such as the front and back, are attached, it is within the meaning of the present invention.
[0052]
Next, in order to explain the transmission of image data, the block of the part related to the transmission in the system of this embodiment including the car navigation device in the transmission side automobile is shown in FIG.
[0053]
6 include the system controller 1, the autonomous measuring unit 4, the GPS antenna 5, the GPS receiving unit (inside the unit) 6, the on-vehicle camera 7, the camera signal processing circuit 8, and the image storage unit already described in FIG. 9, an image adjustment circuit (in the image adjustment unit) 10, a compression / decompression circuit 17, a wireless transmission / reception unit 19, and a vehicle position detection unit that is a part of the system controller 1 and detects the vehicle position and outputs it as position information 31 is an image adjustment setting unit 32 that is a part of the image adjustment unit and performs settings for conversion and adjustment of an image method such as the format, size, and data amount of the image data, and is also a part of the image adjustment unit. It consists of a compression method setting circuit 33 and a synthesis unit 34 for making settings for converting the compression format of image data.
[0054]
Next, the operation will be described.
[0055]
The GPS antenna 5 receives radio waves transmitted from GPS satellites, and the GPS receiver 6 performs position determination processing by GPS. In the place where the GPS information and the satellite radio wave do not reach, the autonomous measuring unit 4 also considers the autonomous running data, and the system controller 1 performs processing for navigation.
[0056]
In addition, the vehicle position detection unit 31 detects and outputs position information as recording data from the GPS information and the position information determined by the system controller 1.
[0057]
Further, the image taken by the in-vehicle camera 7 is digitized by the camera signal processing circuit 8 and necessary signal processing is performed on each of the color signal and the luminance signal to become image data. The image data output from the camera signal processing circuit 8 is multiplexed with the recording position information from the vehicle position detection unit 31 by the combining unit 34 and reaches the compression / decompression processing circuit 17. Here, the image data is compressed by a predetermined compression method. The advantage of compression is to reduce the recording amount and improve the transmission efficiency. JPEG and JBIG are preferable for still images, and MPEG1, MPEG2 and MPEG4 are preferable for moving images. However, the compression is not limited thereto. In the present embodiment, it is assumed that image data is compressed and recorded and transmitted mainly using JPEG and MPEG4 in consideration of communication between vehicles, display size of a car navigation device, and the like. However, a configuration capable of supporting other compression methods and image formats is realized, and a configuration capable of conversion to another image format at the time of transmission is adopted.
[0058]
Here, since JPEG is publicly known and publicly available, description thereof will be omitted, but the development background and configuration of MPEG4 will be briefly described below with reference to the drawings.
[0059]
In recent years, with the advancement of image encoding technology and the advancement of computers, a method of dividing and encoding for each object in an image has begun to be proposed. By encoding an image in units of objects, it is possible to improve the encoding efficiency by performing an optimal code for each object, and at the same time, obtain a function of generating a new image by editing an object in the image it can. An encoding method for each object of a moving image is studied as an international standard MPEG4 (reference: “Standardization trend of MPEG4”, Eito, Journal of the Institute of Image Electronics Engineers of Japan, Vol. 25, No. 3 (1996) pp. 223-228).
[0060]
An example of the target screen is shown in FIG. FIG. 7 shows one frame of a moving image. The frame 401 in FIG. 7 is composed of four objects indicated by a to d. That is, an object a representing a background, an object b representing a helicopter, an object c representing a train, and an object d representing a car. In order to express these shapes, the objects other than the background have a mask in which the black portion is out of the region and the white portion is in the region, as shown in FIGS. By encoding, an object of any shape can be handled. That is, the mask 406 corresponds to the object 403, the mask 407 corresponds to the object 404, and the mask 408 corresponds to the object 405.
[0061]
An outline of the encoding is shown in FIG. The input image 301 is input to the object separation unit 302 and separated into respective objects. In the image of FIG. 7, the images are separated into objects 402, 403, 404, and 405. Each separated object is encoded independently. That is, the object 402 is encoded by the object encoding unit 303, the object 403 is encoded by the object encoding unit 304, the object 404 is encoded by the object encoding unit 305, and the object 405 is encoded by the object encoding unit 306. The encoded data obtained by the object encoding units 303 to 306 are collected by the multiplexer 307 and transmitted as code data 308.
[0062]
Next, the outline of decoding is shown in FIG. The code data 308 is input to the demultiplexer 309 and separated into encoded data for each object. The separated encoded data is decoded independently. That is, the object 402 is decrypted by the object decryption unit 310, the object 403 is decrypted by the object decryption unit 311, the object 404 is decrypted by the object decryption unit 312, and the object 405 is decrypted by the object decryption unit 313. The image data obtained by each of the object decoding units 310 to 313 is arranged at a position where each object is to be located by an object synthesizing unit 314, and one image is synthesized to obtain a reproduced image 315.
[0063]
The above is a rough description of MPEG4.
[0064]
Returning to the description of FIG. 6, the image data compressed through the compression processing of the compression / decompression circuit 17 of FIG. 6 reaches the recording system and the transmission system.
[0065]
When image data is recorded, it is recorded in the image storage unit 9. The storage format of the image data stored in the image storage unit 9 composed of a writable recording medium is as shown in FIG. Each image data includes an ID part, a position information part, and image data. ID information such as an address is stored in the ID section, and information (position information) such as latitude and longitude for specifying the geographical position output from the vehicle position detection section 31 is stored in the position information section. In the image data portion, moving image or still image data is sequentially stored.
[0066]
The compressed image data reproduced from the image data storage unit 9 or the image data compressed by the compression circuit 17 by the input from the camera is controlled by the system controller 1, the image adjustment circuit 10, and the image prior to wireless transmission. The system setting circuit 32 and the compression system setting circuit 33 perform image adjustment and conversion processing. Specific image adjustment means that when a request is received from the receiving device that is the transmission destination, device information is received at the same time. In consideration of the above information (ROM information) etc., the image data is thinned out and the additional information Add and adjust the image format. In particular, for the image compression method, conversion processing such as conversion of the compression method, conversion from MPGE4 to MPEG2, MPEG1, or non-compression is performed while appropriately adding feedback to the compression / decompression circuit 17. If the receiving device can process MPEG data, it can transmit image data compressed in the corresponding MPEG format, and if not, it can decompress and transmit uncompressed image data. Become.
[0067]
Thereafter, the adjusted image data is transmitted from the wireless transmission / reception unit 19 via wireless communication, a mobile phone, or the like. Of the data received by the wireless transmission / reception unit 19, command data such as a transmission request reaches the system controller 1 and becomes a control command for image transmission.
[0068]
Next, FIG. 11 shows a block of a part related to reception of a transmission request and image data in a vehicle on the receiving side equipped with a system including the car navigation device of this embodiment.
[0069]
11 include the system controller 1, ROM 2, autonomous measurement unit 4, GPS antenna 5, GPS reception unit (inside unit) 6, drawing processing circuit 14, display device 16, expansion circuit already described in FIG. 4. (Part of compression / decompression circuit) 17, wireless transmission / reception unit 19, and part of the system controller 1, which detects the vehicle position and outputs it as position information; The type of image that can be handled from the configuration of each unit, the configuration and capability of the display means, etc. are generated as device information, and an instruction command for the real-time image transmission mode or stored image transmission mode is generated for the transmission device and output as a request. Request generating unit 41, position information detecting unit 42 for detecting position information from wirelessly transmitted data, and combining unit 4 , And a data separating unit 44.
[0070]
Next, the operation will be described.
[0071]
The GPS antenna 5 receives radio waves transmitted from GPS satellites, and the GPS receiver 6 performs position determination processing by GPS. In the place where the GPS information and the satellite radio wave do not reach, the autonomous measuring unit 4 also considers the autonomous running data, and the system controller 1 performs processing for navigation.
[0072]
The own vehicle position detecting unit 31 detects information indicating the own vehicle position from the GPS information and the position information determined by the system controller 1 and outputs the detected information as data. In addition, the request generator 41 generates image information by collecting and outputting necessary information from the ROM 2 or the system controller 1 such as image formats, screen sizes, functions, etc. that can be supported by the device itself, and the like. Data is obtained as device information to be sent to the transmission side device, and real-time image data from the vehicle equipped with the transmission side device is obtained or stored in the past according to the user's selection input from the key input unit 11 It is selected whether the acquired image is read out and acquired from the image storage unit of the transmitting device, and the mode selection instruction information is output as a request together with the device information. Then, the vehicle position information and the request are combined by the combiner 43, and transmitted as a transmission request from the wireless transmission / reception unit 19 to the transmission side device by wireless means to receive image data.
[0073]
When the transmission side device receives the transmission request, the transmission side device determines the transmission mode of the stored image or the transmission of real-time image data. In the real-time mode, the currently captured image data is stored in real time in the stored image transmission mode. In this case, stored image data having the corresponding position information is read from the storage device based on the position information on the receiving side in the transmission request, and transmission control is performed.
[0074]
Next, when receiving the image data, first, the image data main body and position information as additional information are separated from the image data received by the wireless transmission / reception unit 19. The image data is expanded by the expansion circuit 17 and displayed on the display device 16. The position information is detected by the position information detection unit 42 as position information indicating the position of the transmitting vehicle in the real time mode and the stored position in the stored image transmission mode, and reaches the drawing processing circuit 14. It is mixed with the map data supplied from the CD-ROM and can be displayed on the display device 16.
[0075]
The above is description of operation | movement of the receiving side apparatus of FIG. By adding additional data to the position information output from the vehicle position detection unit 31 and calculating and setting an arbitrary position, for example, a point several kilometers ahead of the vehicle position, the stored image is stored in the transmission side device. If there is, the stored image data at the position can be obtained.
[0076]
FIG. 12 shows the state of monitoring at the receiving vehicle in the real time mode. As an example of a navigation display screen, a map screen 602 created from map information read from a CD-ROM is displayed on the display device 601 as a base, and a real-time image 603 from the opponent's transmission vehicle preceding a part of the screen is displayed. it's shown. And the position where the own vehicle and the other party vehicle are shown by characters such as arrows based on the respective position information. Obtaining the video from the preceding vehicle in this way also has an effect as travel guidance while knowing the congestion state or confirming the actual landscape image of the preceding point.
[0077]
Also, in the stored image readout mode, it is possible to read out and receive an image that is captured and stored when the preceding vehicle passes the position where the preceding vehicle is currently located, from the preceding preceding vehicle, so that an actual landscape image is used for driving guidance It can be displayed and is particularly effective in complicated alleys. At this time, a stored image at an arbitrary position can also be requested by adjusting the position information based on the position information of the position where the receiving vehicle is located.
[0078]
Next, the operation related to the wireless transmission of image data using this embodiment will be described with reference to a flowchart shown in FIG. In the flowchart of FIG. 13, a state relating to wireless transmission between the transmission side and the reception side is indicated by a bold line.
[0079]
First, in the mode for executing the operation of the present embodiment, in step S1, the receiving side generates the transmission request already described and wirelessly transmits it. As Step S2, when the designated or optional mounted navigation device that keeps the state where the transmission request can be received, receives the transmission request of Step S1, it is controlled so as to transmit image data thereafter. It becomes the side equipment. Subsequently, in step S3, the transmission side device determines transmission mode information from the transmission request. When the transmission mode requests a real-time image from the camera, the transmission side device flows to the camera image input side in step S5 and stores it. When it is requested to read out certain image data, the flow proceeds to the stored image transmission mode side in step S8.
[0080]
As the real-time image transmission mode, an image is input from the in-vehicle camera on the transmission side in step S5, the position information of the own vehicle is multiplexed on the image data based on GPS information or the like in step S6, and the image data input from the camera in step S7 Compress.
[0081]
As the stored image transmission mode, the stored image transmission mode is set in step S8, and then the reception side position information in the transmission request transmitted from the reception side in step S9 is used as stored image data search information. A corresponding one is retrieved from the position information of each image data stored in the medium. Here, when image data having the corresponding position information is stored as step S10, the reproduction processing of the image data is performed as step S11. If there is no corresponding stored image in step S10, the flow ends here.
[0082]
In the real-time transmission mode, the input image data from the camera compressed in step S7 or the image data reproduced in step S11 in the stored image transmission mode is subjected to the image adjustment in step S12. As described above, this image adjustment is a conversion process of image data corresponding to the unique device information of the receiving side device performed by the image adjustment circuit. After the image adjustment in step S12, the image data is wirelessly transmitted in step S13.
[0083]
On the other hand, on the receiving side, after transmitting the request in step S1, the image data enters a reception standby for image data, and if the real-time or reproduced image data transmitted through the processing on the transmitting side is received in step S14, the image in step S16. It leads to expansion. If the image data is not received in step S14, the elapse of the predetermined time is determined in step S15. If the predetermined time has not elapsed, the image is to be transmitted if the predetermined time has elapsed while standing by to wait for reception. The flow ends here because there is no data or communication is not possible due to an accident.
[0084]
In step S16, the image data is decompressed and decompressed. Next, in step S17, a map drawing process for displaying the map information together with the map information is performed based on the position information transmitted from the transmission side simultaneously with the image. The map display and the transmitted image data are synthesized and can be displayed simultaneously or selectively, and are displayed on the display device at any time corresponding to the transmission in step S18.
[0085]
When the reproduction of one unit of image data stored for an arbitrary time is completed in the stored image transmission mode, or when there is a termination command from the transmission side user including the real time mode, step S22. In this case, it is determined that the transmission is finished, and the transmission is finished and the flow is finished. If the end of step S22 is not determined, the process returns to step S13 to continue wireless transmission.
[0086]
If it is determined in step S19 that the transmission of the image has been completed on the transmission side and the wireless transmission has been completed, the flow on the reception side is also terminated. If not, the process proceeds to step S20. If it is determined that the user has forcibly terminated, a stop command is issued as a stop command, and a stop command for notifying the transmitter of the stop is transmitted wirelessly in step S21, and the process ends. The transmission side that has received the stop command determines that the transmission has ended in step S22, as in the normal end, and performs end processing. If there is no stop determination in step S20, the process is repeated from the reception of the image data in step S14 in the flow, such as when the wireless transmission is not performed all at once and is transmitted at any time with a predetermined interval. Smoothly execute reception processing and display processing as needed.
[0087]
The above is the description of the operation of the present embodiment shown in the flowchart of FIG.
[0088]
As described above, according to the present embodiment, with this configuration, it is possible to display the image data captured by the opponent vehicle on the display unit of the car navigation means of the own vehicle. At that time, the stored image data of the opponent vehicle can be searched based on the GPS information of the own vehicle, and the image data of the optimum position required from the preceding opponent vehicle can be read out, which is effective in driving guidance. Specifically, when in the stored image readout mode, it is possible to read and receive an image that was captured and stored when the preceding vehicle passed through the position where the preceding vehicle is currently located, from the preceding vehicle, so that an actual landscape image can be received. It can be displayed for guidance and is particularly effective in complicated alleys. Further, at this time, by adjusting the reception side position information based on the position information of the position where the receiving vehicle is located, it is possible to request a stored image stored at an arbitrary position from the transmission side.
[0089]
Furthermore, by obtaining real-time captured images of the preceding vehicle, it can be adapted to avoid traffic jams.
[0090]
Also, by converting the image data to be compatible with the car navigation device and display device of the partner vehicle and transmitting it, it is possible to handle even navigation devices with different methods and standards depending on the manufacturer, and is optimal for transmission By selecting an appropriate image format, smooth transmission becomes possible.
[0091]
【The invention's effect】
As described above, according to the present invention, a desired image can be transmitted and received in a system having a moving body.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a usage state of an embodiment.
FIG. 2 is a block diagram showing a configuration of a transmission unit of the spread spectrum communication apparatus
FIG. 3 is a block diagram showing a configuration of a receiving unit of the spread spectrum communication apparatus.
FIG. 4 is a block diagram illustrating a configuration of a main part of the embodiment.
FIG. 5 is a diagram showing a mounting state of the in-vehicle camera.
FIG. 6 is a block diagram showing a configuration of a transmission unit
FIG. 7 is an explanatory diagram of object separation.
FIG. 8 is an explanatory diagram of encoding by MPEG4.
FIG. 9 is an explanatory diagram of decoding by MPEG4.
FIG. 10 is a conceptual diagram of a storage form.
FIG. 11 is a block diagram showing a configuration of a receiving unit
FIG. 12 is a diagram showing a display example on the receiving side
FIG. 13 is a flowchart showing the operation of the embodiment.
FIG. 14 is a block diagram showing the configuration of a conventional car navigation device
[Explanation of symbols]
1 System controller
6 GPS unit
7 In-vehicle camera
16 Display device
19 Wireless transceiver

Claims (2)

それぞれ移動可能な受信装置と送信装置を含んで構成される移動体間通信システムであって、
前記受信装置は、
自装置の位置を検出する第1の位置検出手段と、
前記送信装置に対して、前記第1の位置検出手段で検出した位置に基づく位置情報にしたがって記録済の画像情報を再生して送信させる第1のリクエスト情報と、前記送信装置の位置におけるリアルタイムの画像情報を送信させる第2のリクエスト情報とを生成するリクエスト生成手段と、
前記リクエスト生成手段により生成される前記第1のリクエスト情報及び前記第2のリクエスト情報を選択的に前記送信装置へ送信し、前記送信装置から送信された画像情報を受信する通信手段とを備え、
前記送信装置は、
被写体像を撮像して画像情報を生成する撮像手段と、
自装置の位置を検出する第2の位置検出手段と、
前記撮像手段により生成された画像情報に前記第2の位置検出手段で検出した撮像時の位置の情報を付加して、前記撮像手段と接続された記録媒体に記録する記録手段と、
前記受信装置から送信される前記第1のリクエスト情報及び前記第2のリクエスト情報を受信する受信手段と、
前記受信手段により前記第1のリクエスト情報を受信したときに、前記第1のリクエスト情報に含まれる位置情報に基づいて前記記録媒体に記録された記録済の画像情報を検索して再生する再生手段と、
前記受信手段によって、前記第1のリクエスト情報を受信したときは、前記再生手段により再生される画像情報を前記受信装置に対して送信し、前記第2のリクエスト情報を受信したときは、前記撮像手段によって生成されるリアルタイムの画像情報を前記受信装置に対して送信する送信手段と、
を備えることを特徴とする移動体間通信システム。
A mobile inter-communication system configured to include a movable receiving device and a transmitting device,
The receiving device is:
First position detecting means for detecting the position of the device itself;
First request information for reproducing and transmitting recorded image information in accordance with position information based on the position detected by the first position detecting unit to the transmission apparatus, and real-time at the position of the transmission apparatus Request generating means for generating second request information for transmitting image information ;
Wherein transmitting the first request information and the second request information that will be generated by the request generating means to selectively said transmission device, and a communication means for receiving image information transmitted from the transmitting device,
The transmitter is
Imaging means for capturing a subject image and generating image information;
Second position detecting means for detecting the position of the own device;
A recording unit that adds information on a position at the time of imaging detected by the second position detection unit to the image information generated by the imaging unit, and records the information on a recording medium connected to the imaging unit ;
Receiving means for receiving the first request information and the second request information transmitted from the receiving device;
Reproducing means for retrieving and reproducing recorded image information recorded on the recording medium based on position information included in the first request information when the receiving means receives the first request information. When,
When the first request information is received by the receiving means, image information reproduced by the reproducing means is transmitted to the receiving device, and when the second request information is received, the imaging is performed. Transmitting means for transmitting real-time image information generated by the means to the receiving device;
A communication system between mobile units, comprising:
画像送信装置としての機能を有する移動可能な通信装置であって、
被写体像を撮像して画像情報を生成する撮像手段と、
自装置の位置を検出する位置検出手段と、
前記撮像手段により生成された画像情報に、前記位置検出手段で検出した撮像時の位置の情報を付加して、前記撮像手段と接続された記録媒体に記録する記録手段と、
外部の受信装置から記録済の画像情報を要求する第1のリクエスト情報及びリアルタイムの画像情報を要求する第2のリクエスト情報を受信する受信手段と、
前記受信手段により前記第1のリクエスト情報を受信したときに、前記第1のリクエスト情報に含まれる位置情報に基づいて前記記録媒体に記録された記録済の画像情報を検索して再生する再生手段と、
前記受信手段によって、前記第1のリクエスト情報を受信したときは、前記再生手段により再生される画像情報を前記受信装置に対して送信し、前記第2のリクエスト情報を受信したときは、前記撮像手段によって生成されるリアルタイムの画像情報を前記受信装置に対して送信する送信手段と、
を備えることを特徴とする通信装置。
A portable telecommunications apparatus having a function as an image transmission apparatus,
Imaging means for capturing a subject image and generating image information;
Position detecting means for detecting the position of the device itself;
A recording unit that adds information on a position at the time of imaging detected by the position detection unit to the image information generated by the imaging unit and records the information on a recording medium connected to the imaging unit ;
Receiving means for receiving first request information for requesting recorded image information and second request information for requesting real-time image information from an external receiving device ;
Reproducing means for retrieving and reproducing recorded image information recorded on the recording medium based on position information included in the first request information when the receiving means receives the first request information. When,
When the first request information is received by the receiving means, image information reproduced by the reproducing means is transmitted to the receiving device, and when the second request information is received, the imaging is performed. Transmitting means for transmitting real-time image information generated by the means to the receiving device;
Communication device you comprising: a.
JP18241498A 1998-06-29 1998-06-29 Mobile communication system and communication device Expired - Fee Related JP3969852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18241498A JP3969852B2 (en) 1998-06-29 1998-06-29 Mobile communication system and communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18241498A JP3969852B2 (en) 1998-06-29 1998-06-29 Mobile communication system and communication device

Publications (3)

Publication Number Publication Date
JP2000020884A JP2000020884A (en) 2000-01-21
JP2000020884A5 JP2000020884A5 (en) 2005-10-20
JP3969852B2 true JP3969852B2 (en) 2007-09-05

Family

ID=16117881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18241498A Expired - Fee Related JP3969852B2 (en) 1998-06-29 1998-06-29 Mobile communication system and communication device

Country Status (1)

Country Link
JP (1) JP3969852B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4483027B2 (en) 2000-05-25 2010-06-16 ソニー株式会社 Server device, data transmission / reception method, and recording medium
JP4040441B2 (en) * 2002-12-04 2008-01-30 トヨタ自動車株式会社 Vehicle communication device
JP3870924B2 (en) 2003-04-04 2007-01-24 日産自動車株式会社 Information providing apparatus, information providing system, and information providing program
JPWO2005054783A1 (en) * 2003-12-05 2007-06-28 松下電器産業株式会社 Navigation device
JP4380561B2 (en) * 2004-04-16 2009-12-09 株式会社デンソー Driving assistance device
US7450603B2 (en) * 2004-08-31 2008-11-11 General Motors Corporation System and methods of wireless vehicle to vehicle data sharing
DE102004049870A1 (en) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Method and device for improving the visibility of drivers of motor vehicles
WO2007043524A1 (en) * 2005-10-13 2007-04-19 Pioneer Corporation Communication terminal, data transmitting method, data receiving method, data transmitting program, data receiving program, and recording medium
JP4321509B2 (en) * 2005-10-17 2009-08-26 株式会社デンソー Mobile communication device
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility

Also Published As

Publication number Publication date
JP2000020884A (en) 2000-01-21

Similar Documents

Publication Publication Date Title
US6314295B1 (en) Terminal unit, position display method, information providing system, and information providing method
EP0936766B1 (en) Satellite broadcasting system
JP3538907B2 (en) Broadcast wave receiver for mobile
JP4926400B2 (en) Mobile camera system
US8477227B2 (en) Monitoring and communication in a system having multiple imaging apparatuses
JP3969852B2 (en) Mobile communication system and communication device
JP2003037514A (en) Digital broadcast receiver
CN111836314A (en) Central unit device, user equipment, wireless communication method, and storage medium
JP2002094952A (en) Digital broadcast signal processing unit and digital broadcast signal transmission method
JPH10150625A (en) Radio portable terminal equipment and mobile terminal equipment
JP3510758B2 (en) Remote imaging system, imaging device with wireless communication function
JP2005057393A (en) In-vehicle device control apparatus, in-vehicle device control method, and in-vehicle device control program
JP2797946B2 (en) Information display device
JP2003298507A (en) Mobile wireless terminal
JP2002330377A (en) Video/position information recording device
JP2003018506A (en) Position recording system
JP2002171217A (en) On-vehicle electronic equipment, and video or/and audio reproducing method for the equipment
JPH0534431A (en) Position measuring apparatus
JP4559037B2 (en) Transmission / reception terminal device
KR100673889B1 (en) Apparatus and method for supplying an information of driving safety in a car audio visual system
JPH0869600A (en) Navigation device
JP2003187386A (en) Vics information transmitter-receiver
JP2005231532A (en) Police vehicle provided with image recording device
CA2383655C (en) Satellite broadcasting system
JP2008107357A (en) Portable electronic device, on-vehicle electronic device, and electronic system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees