JP4048818B2 - 情報センタ装置及び移動体 - Google Patents

情報センタ装置及び移動体 Download PDF

Info

Publication number
JP4048818B2
JP4048818B2 JP2002121614A JP2002121614A JP4048818B2 JP 4048818 B2 JP4048818 B2 JP 4048818B2 JP 2002121614 A JP2002121614 A JP 2002121614A JP 2002121614 A JP2002121614 A JP 2002121614A JP 4048818 B2 JP4048818 B2 JP 4048818B2
Authority
JP
Japan
Prior art keywords
data
information
shooting
route
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002121614A
Other languages
English (en)
Other versions
JP2003315069A (ja
Inventor
一行 平川
博幸 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2002121614A priority Critical patent/JP4048818B2/ja
Publication of JP2003315069A publication Critical patent/JP2003315069A/ja
Application granted granted Critical
Publication of JP4048818B2 publication Critical patent/JP4048818B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、移動体側で撮影された映像のデータを情報センタで収集・配信する場合に好適な情報センタ装置及び移動体に関するものである。
【0002】
【背景技術】
従来より、各種のナビゲーション装置が開発されている。例えば、CD−ROMやDVDなどの媒体を利用し、これら媒体を装置内部に備えて装置単体で経路情報を得たり、交通情報センタから受信機を通じて渋滞情報や規制情報、緊急情報、注意警戒情報などを得たりするシステムがある。しかしながら、DVDなどに記憶されている情報は、これら媒体の製造時点でのものであり、購入したばかりのものでさえ、例えば半年前の情報であったりする。このような地図データの更新は利用者にまかされており、利用者が更新しなければ、古い地図データをそのまま使用することになる。このため道路が新設された場合や、交通規制などの変更で利用できる道路が変更になった場合に、DVD−ROMに納められた画像では古すぎて利用者に誤解を生じさせる可能性がある。
【0003】
一方、交通情報センタから得られる渋滞情報は、現在走行中の道路近辺の情報しか得られず、例えば、数100km離れた道路の現在の道路情報を得ることはできない。また、道路に予め設置されたセンサから収集した情報を、交通管制センタのコンピュータで処理・編集して提供しているため、インフラの整備が必要であり一部の道路についてしか情報を得ることができない。また、道路脇に設置されたカメラから映像を収集して配信する方法もあるが、これも、インフラの整備が必要であり一部の道路の情報が得られるのみである。
【0004】
ところで、特開平10−232135公報には、カーナビゲーションに備えつけたカメラで撮影した画像を端末側からセンタ側へ送信し、センタ側で収集した画像を他の端末へ提供するという画像データ収集方法、画像データ提供方法、地図作成方法、位置データ提供方法、ナビゲーション装置及び車両がある。これによれば、移動体の所定の位置に具備された撮影手段で景色などを撮影し、撮影した画像データを移動体の位置データと共に送信し、送信された画像データと位置データを受信して所定の中央装置に蓄積する。そして、利用者からの位置データなどを中央装置側で受信したとき、その位置に対応して蓄積された画像データなどが送信される。
【0005】
【発明が解決しようとする課題】
しかしながら、以上のような背景技術では、位置情報をもとに画像データの収集・配信を行っているため、GPS誤差の影響により撮影対象が不明確となり、配信時に利用者の意図に沿った情報を提供することができないという不都合がある。また、利用者からの要求に応じてある地点の画像を検索する場合、座標値のみに基づいた保存であるため、ある一定の半径の円内にあるものを検索する方法となり、センタ側での検索処理効率の向上が望めない。このように、利用者の意図に沿ったリアルタイム情報を速やかに得ることは非常に困難である。
【0006】
この発明は、以上の点に着目したもので、その目的は、任意の地点(例えば、目的地や通過道路など)のリアルタイム映像を得ることである。他の目的は、移動体側とセンタ側の通信によるナビゲーションを行う際に、経路上に存在する撮影に適した地点での撮影を自動的に行うことである。
【0007】
【課題を解決するための手段】
前記目的を達成するため、本発明の情報センタ装置は、移動体で撮影された映像データを収集する情報センタ装置であって、前記移動体の経路上に撮影地点があるか否か判断する判断手段と、前記判断手段によって、撮影地点があると判断された場合、撮影指示データを作成する撮影指示データ作成手段と、前記撮影指示データを前記移動体側に送信する送信手段と、前記撮影指示データに基づいて前記移動体側で撮影された映像データを受信する受信手段と、を備えたことを特徴とする。
【0008】
他の発明の情報センタ装置は、経路探索を行って得た経路データを移動体側に提供するとともに、該移動体で撮影された映像データを収集する情報センタ装置であって、前記移動体側から経路案内データの要求を受信する受信手段と、道路地図データ及び撮影に好適な地点のデータを集積した道路地図データベースと、前記受信手段によって移動体側からの経路案内データの要求を受信したときに、前記道路地図データベースに基づいて経路探索を行い経路データを作成する経路探索手段と、該経路探索手段によって探索された経路と、前記道路地図データベースの撮影地点とに基づいて、探索された経路に撮影すべき地点があるか否かを判断する判断手段と、該判断手段によって前記探索された経路上に撮影すべき地点があると判断された場合、該撮影すべき地点の位置データ及び撮影方向に関するデータを含む撮影指示データを作成する撮影指示データ作成手段と、前記経路データ及び前記撮影指示データを前記移動体側へ送信する送信手段と、前記撮影指示データに基づいて前記移動体側で撮影された映像データを受信する受信手段と、を備えたことを特徴とする。主要な形態の一つは、前記送信手段によって移動体側に送信した前記撮影指示データに基づいて移動体側で撮影された映像データを受信したときに、前記映像データの被写体を推定する被写体推定手段と、前記映像データとともに、前記被写体推定手段による推定結果を被写体データとして前記映像データに関連付けて記憶する映像データ記憶手段と、を備えたことを特徴とする。
【0009】
本発明の移動体は、請求項1乃至3のいずれかに記載の情報センタ装置から、探索経路上の撮影指示データを受信する受信手段と、前記受信手段によって受信した撮影指示の地点に到達したときに撮影する撮影手段と、前記撮影手段によって撮影した映像データを前記情報センタ装置に送信する送信手段と、を備えたことを特徴とする。本発明の前記及び他の目的、特徴、利点は、以下の詳細な説明及び添付図面から明瞭になろう。
【0010】
【発明の実施の形態】
<実施形態1>……以下、本発明の実施の形態について詳細に説明する。最初に、図1を参照して本形態の全体構成を説明する。図1には、本形態にかかるデータ配信システムの構成が示されている。本形態のデータ配信システムは、情報センタ10と、カメラなどの撮影部56を備えており、撮影した画像のデータ(請求項の映像データに相当、以下同じ)を情報センタ10へ提供するとともに、情報センタ10に集積された画像データの配信を受ける車両50、撮影部を含まず情報センタ10からの画像データの配信のみを受ける車両80とによって構成されている。なお、車両50及び80は、通常複数存在し、それぞれがナビゲーション装置52や82、表示部60や86、入力部58や84、通信アンテナなどを含む通信部64や88、GPSアンテナなどを含む位置計測部62や90を備えている。
【0011】
前記情報センタ10は、車両50から提供された画像データの保存管理を行う保存サーバ10A、ある地点とその位置にある施設等を関連付けたPOI(Point of Interest)情報の検索などを行うPOI検索サーバ10B、車両50又は80へ経路データを提供する経路情報サーバ10Cの機能を有している。これらのサーバ機能は、図1に示すようにそれぞれ独立して設けるようにしてもよいし、後述する図2のように、一つのシステム内に各機能を実行するための処理部や各種データを備えるようにしてもよい。
【0012】
次に、図2を参照して本形態のシステム構成を説明する。図2は、本形態のシステム構成を示すブロック図である。まず、情報センタ10から説明すると、情報センタ10は、経路探索用の経路探索用データや音声や画像などの経路案内用内データを集積した経路案内データベース12、POI情報を集積したPOIデータベース14、車両50から提供された画像データを集積した画像データベース16を備えている。
【0013】
経路案内データベース12の経路探索用データには、交差点に関するデータ、道路に関するデータ、ノード点に関するデータ、地図データなどが含まれており、前記道路に関するデータには、該道路を地図データ上で識別するための道路識別データが含まれている。このほか、経路案内データベース12には、目的地を設定する電話番号や住所などの目的地設定用データなどが含まれている。POIデータベース14には、ある地点とその位置に存在する施設等を関連付けた情報が集積されている(例えば、施設の情報としては施設の名称、略称、電話番号、住所、コンビニや映画館といった施設のジャンルなどがあり、地点に関連する情報とは、東経北緯で表されたその施設の所在地、その施設の敷地の形状、施設への出入り口の場所など)。なお、経路案内データベース12とPOIデータベース14を合わせたものが請求項の道路地図データベースに相当する。
【0014】
画像データベース16には、車両50から提供された道路や施設の画像データがその関連情報とともに集積されている。図8には、画像データベース16に集積されている保存データの一例が示されている。同図(A)は、画像の被写体が道路である場合の保存データの一例が示されている。道路情報には、緯度、経度などの「位置情報」、リンクID(国内でユニークなID)やリンク方向(順逆フラグ)を含む「リンク情報」(道路識別データ)、水平方向カメラ角度や垂直方向カメラ角度などを含む「撮影角度」(撮影方向に関するデータ)、画像データ及びそのフォーマット情報を含む「撮影画像」のほか、画像データをセンタ側が受信した「受信時刻」が含まれている。
【0015】
同図(B)には、被写体が施設である場合の保存データの一例が示されており、前記道路情報と同様に、「位置情報」、「撮影角度」、「撮影画像」、「受信時刻」が含まれており、更に、全国でユニークなID(例えば電話番号など)などの施設ID(施設特定データ)が含まれている。なお、これらの情報に含まれる「撮影角度」において、水平方向カメラ角度θは、車両50の進行方向とカメラのなす角度であり、例えば、カメラが進行方向を向いている場合はθ=0°であり、進行方向と逆向きの場合はθ=180°とする。また、垂直方向カメラ角度φは、水平平面とカメラのなす角度であるとするという具合である。
【0016】
前記経路案内データベース12及びPOIデータベース14は、図示しない外部情報収集部(例えば上述した交通情報センタ)に接続されている。このような外部情報収集部を設けることにより、道路工事、交通規制、道路や施設の新設など、最新の道路・交通情報を電話回線などを利用して収集し、各データベースに格納された各種データを随時更新することができる。
【0017】
次に、通信制御部18(受信手段におよび送信手段に相当)は、モデムやルータなどを必要に応じて備えており、図示しない公衆回線網及び無線基地局を介して、無線により車両のナビゲーション装置52、82との間でデータの送受信を行うためのものである。このほか、自動車電話、携帯電話、PHSなどの通信システムを利用してもよい。経路案内データ作成部20(経路探索手段に相当)は、車両50又は80の現在位置(ナビゲーションの開始位置あるいは出発地)から目的地(ナビゲーションの終了位置)までの経路を、経路案内データベース12を参照して探索する経路探索機能のほか、探索された経路を所定の大きさのセグメントに分割したり、これによって分割された経路データ中に含まれる案内データを経路案内データベース12を参照して検索し抽出する機能、抽出した各データを通信制御部18を介してナビゲーション装置52及び82に送信する機能などが含まれている。
【0018】
画像情報収集部22は、通信制御部18を介して車両50から提供された映像データ及び該映像データに関する関連情報を収集する機能を有する。被写体特定部26(被写体推定手段に相当)は、前記画像情報収集部22によって収集した映像データの被写体を特定して分類するもので、被写体推定部26A、道路特定部26B、施設特定部26Cを備えている。被写体推定部26Aは、映像の被写体が道路であるか否かを推定する。例えば、受信した関連情報の中に道路識別データが含まれているか否かを判断し、道路識別データが含まれている場合には被写体を道路と推定し、道路識別データが含まれていない場合には被写体を施設と推定する。
【0019】
道路特定部26Bは、前記被写体推定部26Aで映像の被写体が道路であると推定されたときに、前記道路識別データに基づいて経路案内データベース12を参照し、道路識別データに該当する道路のデータから、道路の方向と受信した関連情報に含まれる撮影方向が一致するか否かを判断し、一致した場合には、前記被写体を前記道路識別データによって特定された道路であると推定する。また、道路の方向と映像の撮影方向が一致しない場合には、被写体が施設であると推定する。
【0020】
施設特定部26Cは、被写体推定部26A又は道路特定部26Bによって映像データの被写体が施設であると推定されると、POI検索部28を介して、POIデータベース14と経路案内データベース12中の地図データを参照し、受信した映像関連データに含まれる車両50の位置や撮影方向に関するデータから、地図データ上での撮影範囲を特定し、その範囲に存在する施設を検索し、検索結果に該当する施設が被写体であると推定する。
【0021】
画像情報管理部30は、前記被写体特定部26で被写体が特定された画像データを、その関連情報とともに分類して保存する。画像情報管理部30には、受信した画像データを画像データベース16に保存するための処理を行ったり、ナビゲーション装置に送信するための処理を画像データに施すデータ作成部30A、これによって処理された画像データを関連情報とともに被写体の分類結果に応じて画像データベース16に記憶する記憶制御部30B、車両50又は80からのリクエストに応じて画像データベース16を検索し、該当する画像データを抽出する検索部30Cを含んでいる。なお、記憶制御部30Bは、画像データの削除なども行う。例えば、画像から交通情報を得る場合には、古い画像は役に立たない場合が多いので、たとえば保存後30分経過した画像データは破棄するなどとする。
【0022】
画像情報配信部32は、車両50又は80から画像データ配信要求を受信するとともに、その要求に応じて画像情報管理部30の検索部30Cが画像データベース16から抽出した画像データを、通信制御部18を介して車両50又は80のリクエスト側に送信するものである。更に、情報センタ10には、計時部34が設けられており、車両50からデータを受信した時刻やデータの更新時刻などを計時している。
【0023】
次に、ナビゲーション装置52について説明すると、演算処理部54は、CPUを中心に構成されている。撮影部56は、撮影用のカメラを含んでいる。カメラとしては、例えばCCDなどを利用したものが用いられる。このようなカメラは、図1に示す例では車両50の前方に配置されているが、必要に応じて後方に配置するようにしてもよい。また、カメラの撮影方向は固定であってもよいが、本実施形態においては任意に方向を調節することが可能となっている。
【0024】
入力部58には、各種スイッチ、表示部60の表面に取り付けられたタッチパネル、リモコン、音声認識を利用した入力装置などが含まれる。タッチパネルでは、表示部60に表示されたアイコンなどを利用者が指でタッチすることによって、対応するデータや命令が入力される。音声認識を利用した入力装置では、利用者が音声を発することによって、それに対応するデータや命令が入力される。
【0025】
表示部60は、液晶やCRTなどによるディスプレイで、上述したようにタッチパネルを備えている。通信部64は、情報センタ10とデータの送受信を行うための通信装置で、送信装置、受信装置を含む通信機器によって構成されている。これも、情報センタ10と同様に、自動車電話、携帯電話、PHSなどのシステムを利用してよい。
【0026】
次に、位置計測部62は、いわゆるGPSなどを利用して車両の位置を計測するためのもので、複数のGPS衛星からの信号を受信して車両の絶対位置を計測するGPS受信機、車両50の相対位置を計測するための速度センサや方位センタなどを備えており、車両50の位置を検出することができる。音声出力部66は、情報センタ10からの経路案内データに基づいてナビゲーションを行う際に、音声によるナビゲーションを行うために設けられたスピーカなどである。
【0027】
メモリ70は、前記演算処理部54で実行するプログラムを格納するプログラム格納部72、外部から入手した情報や各種プログラムの実行によって得られたデータなどを記憶するためのデータ記憶部76を備えている。演算処理部54は、プログラム格納部72から必要なプログラムをロードして実行する。このほか、ナビゲーション装置52には、各種道路地図データを集積した道路地図データベース68が備えられている。前記道路地図データには、各道路を地図データ上で識別することができる道路識別データや、施設を特定することができる施設特定データが含まれている。なお本実施形態ではナビゲーション装置52に道路地図データベース68を備えることとしたが、必要な地図データは情報センタ10から随時ダウンロードするように構成することで、道路地図データベース68は不用とすることも可能である。
【0028】
具体的に説明すると、プログラム格納部72には、
(1)情報センタ10から送信される経路データや案内データに基づいて、経路、ランドマーク、交差点図などを表示部60に表示したり、経路案内の音声を音声出力部66から出力する経路案内プログラム74A、
(2)位置計測部62によって得た位置データに基づいて、道路地図データベース68を参照し、車両50が道路を走行中である場合には、走行中の道路を特定するとともに該道路の識別データを取得し、走行中であることを認識できない場合にはその旨を知らせるデータを取得する識別データ取得プログラム74B、
(3)撮影部56による撮影の各種設定や、画像データ及び撮影方向などの撮影条件に関するデータを取得する撮影管理プログラム74C、
(4)ナビゲーション装置52の利用者によって特定の場所が指定されたときに、道路地図データベース68を参照し、場所を特定するデータとして指定された位置に存在する対象物を特定する識別データ(道路識別データ又は施設特定データ、あるいは東経北緯などの位置データそのもの)を取得し、該識別データとともに対象物の画像データの配信を情報センタ10にリクエストする画像リクエストプログラム74D、
(5)撮影部56によって撮影された画像データや、情報センタ10から受信した画像データなどに必要な処理を施すデータ処理プログラム74E、
(6)撮影部56によって撮影された画像データ及び該画像データの関連情報を情報センタ10へ送信する転送プログラム74F、
などの各種プログラムが含まれている。
【0029】
また、データ記憶部76には、情報センタ10から受信した経路案内データ78A、撮影部56により撮影した画像データとその関連情報(映像関連データ)を含み、情報センタ10に送信される撮影データ78B、ある場所を特定する識別データを含み、これによって特定される場所の画像データを情報センタ10に要求するリクエストデータ78Cが含まれている。更に、前記リクエストデータ78Cに基づいて情報センタ10から配信された画像データを含む配信データ78Dも含まれる。図9には、前記撮影データ78Bの一例が示されている。同図に示すように、撮影データ78Bには、「位置情報」、「リンク情報」、「撮影角度」、「撮影画像」などが含まれている。このほか、データ記憶部76は、プログラムの実行に際して適宜利用されるワーキングエリアとして機能するほか、図示しない車両固有のIDデータ、位置計測部62により計測される車両の現在地データ(経度・緯度)、目的地データなども格納される。
【0030】
以上のような構成のナビゲーション装置52は、更に、道路地図データベース68に備えられた道路データと、位置計測部62によって検出した車両50の位置とを照合して、車両50が道路データが表す道路のどこに位置しているか、あるいは道路データが示す道路以外の場所に位置しているのかといったことを検出する機能、いわゆる「マップマッチング機能」を有している。
【0031】
<動作>……次に、本実施形態の動作について説明する。なお、ここでは、経路案内プログラム74Aによる経路案内が行われているものとして説明する。
(1)ナビゲーション装置側における撮影データ送信(自動撮影)……最初に、図3を参照して、ナビゲーション装置52で自動的に撮影を行った映像のデータを、情報センタ10へ提供する動作について説明する。図3には、ナビゲーション装置52側における自動撮影から撮影データの送信までの動作がフローチャートとして示されている。なお、ここでは、ナビゲーション装置52の撮影管理プログラム74Cの実行により、例えば、5分毎に撮影部56のカメラによって自動的に撮影されることとなっている。
【0032】
まず、車両50で、ナビゲーション装置52のスイッチがONとなるか、あるいはその旨のスイッチ操作が行われると、位置計測部62によって現在位置の測定が行われ、その位置情報(緯度及び経度の座標値)が取得される(ステップS100)。位置情報が取得されると、演算処理部54は、道路地図データベース68を参照して、マップマッチングしているか判断する(ステップS102)。ここで、マップマッチングしていると判断されたときには(ステップS102でYes)、識別データ取得プログラム74Bの実行により、道路地図データベース68から現在走行中の道路のリンク情報(すなわち道路識別データ)が取得される(ステップS104)。
【0033】
ここで、撮影管理プログラム74Cにより、過去5分以内に当該リンクで既に撮影が行われているか否かが判断される(ステップS106)。5分以内に同一道路で撮影が行われている場合(ステップS106でYes)には、ステップS100に戻り、現在位置の測定が行われる。なお、ここでは、ある一定時間ごとに撮影を行うことを基準として撮影判断が行われるが、道路リンク通過ごとに撮影を行うようにしてもよい。しかしながら、ある一定時間ごとに撮影を行うように判断基準を設定することにより、同一道路に数分以上留まっている場合、例えば、渋滞中の道路を走行している場合などに、その映像をある一定時間ごとに情報センタ10側へ送信することで、情報センタ10側では渋滞情報に関する映像を収集することが可能となる。
【0034】
一方、過去5分以内に同一道路で撮影が行われていないと判断された場合には(ステップS106でNo)、撮影管理プログラム74Cにより、カメラの方向が撮影方向を向いているか否かが判断される(ステップS108)。本動作のように、自動撮影が行われる場合の対象は主に道路状況である。従って、カメラは前方設置なら前方(進行方向)、後方設置なら後方(後退方向)を向いていなければならない。このようにカメラの設置場所に応じた撮影向きとなっているかが判断される。ここで、カメラの向きが適切である場合には(ステップS108でYes)、撮影管理プログラム74Cの実行により撮影が行われる(ステップS110)。また、カメラの向きが適切でない場合には(ステップS108でNo)、カメラの向きがセットされ(ステップS118)、撮影が行われる(ステップS110)。
【0035】
撮影が終了すると、データ処理プログラム74Eにより情報センタ10へ送信される撮影データ78Bが作成される(ステップS112)。このような撮影データ78Bの一例が、図9に示されている。同図に示す撮影データ78Bには、位置計測部62により取得した「位置情報」、識別データ取得プログラム74Bにより取得した「リンク情報(道路識別データ)」、撮影部56の撮影結果に基づいて、撮影管理プログラム74Cにより取得された「撮影角度(撮影方向に関するデータ)」及び「撮影画像(画像データ)」が含まれている。これらの情報が、データ処理プログラム74Eにより、一つの撮影データ78Bとしてまとめられる。作成された撮影データ78Bは、転送プログラム74Fにより、車両50のナビゲーション装置52の通信部64から、無線基地局や回線網(いずれも図示せず)を介して情報センタ10へ送信される(ステップS114)。
【0036】
一方、前記ステップS102において、マップマッチングしていないと判断された場合(ステップS102でNo)には、演算処理部54は、車両現在地が目的地周辺か否か判断を行う(ステップS116)。ここで、撮影を行う条件が、▲1▼経路案内中、非案内中に限らずマップマッチングが行われていること、▲2▼経路案内中で目的地周辺であること、のいずれかを満たす場合であると設定されているとすると、前記ステップS116において、目的地周辺でない場合(ステップS116でNo)には、上述したいずれの条件にも該当しないため前記ステップS100に戻る。また、目的地周辺である場合(ステップS116でYes)には、上述した条件▲2▼に該当するため、ステップS108に進み撮影処理を行う。この場合に送信される撮影データ78Bは、現在走行中であることを認識できない場合であるため、リンク情報の代わりに道路認識不能を示す識別データが含まれる。
【0037】
なお、上述した判断基準▲2▼で目的地周辺を撮影するのは、その目的地の駐車場の混雑状況などを知ることができるためである。以上の手順に従って画像情報を含む撮影データ78Bを情報センタ10へ送信したら、ステップS100に戻り、上述した動作を繰り返す。
【0038】
(2)ナビゲーション装置側における撮影データ送信(任意撮影)……次に、図4を参照して、車両50の利用者が任意のタイミングで撮影した場合における画像データの提供動作について説明する。図4には、ナビゲーション装置52側の任意撮影から情報センタ10への撮影データ送信までの動作がフローチャートとして示されている。
【0039】
ナビゲーション装置52では、撮影管理プログラム74Cが常に実行されており、車両50の利用者による撮影に関する指示を待つ状態となっている。まず、利用者が撮影を行うために所定の操作によりカメラの向きを指定すると、撮影管理プログラム74Cにより、指示に基づいてカメラの向きが設定される(ステップS120)。次に、撮影管理プログラム74Cは、例えば、所定のスイッチ操作などにより利用者からの撮影指示があるか否か判断し(ステップS122)、指示がない場合(ステップS122でNo)には、ステップS120に戻って撮影指示を待つ。
【0040】
利用者による撮影指示が確認されたときには(ステップS122でYes)、位置計測部62により現在位置の測定が行われ(ステップS124)、その位置情報(緯度及び経度の座標値)が取得される。位置情報が取得されると、演算処理部54は、道路地図データベース68を参照して、マップマッチングしているか判断する(ステップS126)。ここで、マップマッチングしていると判断されたときには(ステップS126でYes)、識別データ取得プログラム74Bの実行により、道路地図データベース68から現在走行中の道路のリンク情報が取得される(ステップS128)。なお、マップマッチングしてないと判断された場合(ステップS126でNo)には、直接ステップS130へ進む。
【0041】
次に、撮影管理プログラム74Cは、カメラの向き又は撮影角度の変更があるか否かを判断する(ステップS130)。すなわち、利用者が前記ステップS120において、表示部60の入力画面で設定した撮影角度と、現在のカメラの角度が同じか否かを判断する。ここで、利用者が新たに撮影角度を設定するなどの理由によって撮影角度が変更されている場合(ステップS130でYes)には、撮影管理プログラム74Cは、その設定に基づいてカメラの方向を変更し(ステップS132)、撮影処理を行う(ステップS134)。また、カメラの向きに更新がない場合(ステップS130でNo)は、直接ステップS134に進み撮影を実行する。
【0042】
撮影が終了したら、データ処理プログラム74Eにより情報センタ10へ送信される撮影データ78Bが作成される(ステップS136)。なお、ここで作成される撮影データは、マップマッチングが行われており、走行中のリンク情報を取得できる場合には、上述した図9の場合と同様である。また、道路走行中を認識できない場合には、リンク情報(道路識別データ)の代わりに、道路識別不能を示すデータが撮影データに含まれる。作成された撮影データ78Bは、転送プログラム74Fにより、車両50のナビゲーション装置52から、通信部64を介して情報センタ10へ送信される(ステップS138)。
【0043】
(3)情報センタ側における撮影データ収集……次に、図5を参照して、情報センタ10側における撮影データの収集動作について説明する。図5には、情報センタ10側において、車両50のナビゲーション装置52から提供された撮影データを受信してから画像データベース16に保存するまでの動作がフローチャートとして示されている。
【0044】
情報センタ10では、通信制御部18を介して車両50のナビゲーション装置52から撮影データ78Bを受信すると(ステップS140)、画像情報収集部22に送られる。画像情報収集部22では、前記映像データ78Bを受信した時刻を計時部34より取得し(ステップS142)、更に、取得した撮影データ78B中に位置情報(位置データ)が含まれているか否か判断する(ステップS144)。ここで、位置情報が含まれていないと判断された場合は(ステップS144でNo)、撮影データ78Bに不備があるとして、受信データは破棄され終了となる。
【0045】
位置情報が含まれていると判断されると(ステップS144でYes)、次に、被写体特定部26の被写体推定部26Aにより、撮影データ78B中にリンク情報が含まれているか否かが判断される(ステップS146)。ここでリンク情報が含まれている場合には(ステップS146でYes)、受信した撮影データ78に含まれる画像の被写体が道路であると推定される。そして、道路特定部26Bにより、撮影対象である被写体が道路であるか否かが判断される(ステップS148)。すなわち、道路特定部26Bは、経路案内データベース12の道路データを参照し、リンク情報に該当する道路の進行方向と、受信した撮影データ78Bに含まれる撮影方向が一致するか否かを判断する。ここで、道路の進行方向と撮影方向が一致する場合には、被写体が道路であると特定する(ステップS148でYes)。
【0046】
一方、撮影データ78にリンク情報が含まれない場合(ステップS146でNo)及び、リンク情報が含まれていても、該リンク情報に該当する道路の進行方向と、撮影データ78Bに含まれる撮影方向が一致せず、撮影対象が道路ではないと判断された場合(ステップS148でNo)には、施設特定部26Cにより、施設特定処理が行われる(ステップS154)。すなわち、施設特定部26Cは、経路案内データベース12中の地図データと、POI検索部28を介してPOIデータベース14を参照し、受信した撮影データ78Bに含まれる位置情報と撮影方向に存在する施設を検索し、該当する施設がある場合には、被写体が施設であると特定する(ステップS156でYes)。一方、該当する施設がない場合(ステップS156でNo)は、被写体を特定することができないとして受信した撮影データ78Bを破棄し終了する。
【0047】
以上の手順により、被写体が道路か施設のいずれかであることが特定できた場合には、画像情報管理部30のデータ作成部30Aにより、撮影データ78Bに受信時刻の情報などが付加されて保存データが作成される(ステップS150)。そして、記憶制御部30Bにより、被写体の分類ごとに画像データベース16に記憶される(ステップS152)。なお、画像データベース16に記憶される保存データについては、上述した図8の通りである。
【0048】
(4)ナビゲーション装置側における画像データの要求・取得・表示……次に、図6を参照して、ナビゲーション装置52側における画像データのリクエスト動作について説明する。図6には、ナビゲーション装置52側において、情報センタ10に収集された画像データの配信をリクエストしてから、それを受信して表示するまでの動作がフローチャートで示されている。
【0049】
車両50のナビゲーション装置52には、常時あるいは利用者によるスイッチ操作などを行われたときのみ、画像リクエストプログラム74Dが実行されている。この画像リクエストプログラム74Dによって、地図上の地点を指定するなどによる利用者からの画像リクエスト指示が検出されると(ステップS160でYes)、識別データ取得プログラム74Bの実行により指定された場所を特定するデータが、道路地図データベース68を参照して取得される(ステップS162)。場所を特定するデータとは、道路を特定することができる道路識別データ(リンク情報)又は施設を特定することができる施設特定データ(施設ID)、あるいはその場所を特定する東経北緯データそのもの、などである。これらのデータは、道路地図データベース68に記憶されている。
【0050】
地点を特定する識別情報が得られたら、該識別情報とリクエストを含むリクエストデータ78Cが、画像リクエストプログラム74Dの実行により、情報センタ10へ送られ、情報要求が行われる(ステップS164)。ここで、情報センタ10へ要求する画像が道路状況の場合には、リクエストデータ78Cには、上述したリンク情報のほか、画像サイズ(画面サイズ)が含まれる。また、施設画像を要求する場合には、施設ID及び画像サイズ(画面サイズ)が含まれる。
【0051】
以上のようなリクエストに応じて情報センタ10側から配信された画像情報(後述の(5)で詳述する)を受信すると(ステップS166)、データ処理プログラム74Eは、受信した画像情報に画像データが含まれるか否か判断し、画像データが含まれる場合には(ステップS168でYes)、画像データを抽出し(ステップS170)、表示部60に画像を表示する処理を行う(ステップS172)。また、受信した画像情報に画像データが含まれていない場合には(ステップS168でNo)、例えば、「該当する画像はありません」などのリクエスト条件に該当する画像がないことを知らせるメッセージを表示部60に表示する(ステップS174)。
【0052】
(5)情報センタ側における画像情報の配信……次に、図7を参照して、情報センタ10側における画像情報の配信動作について説明する。図7には、情報センタ10側において、ナビゲーション装置52からの画像情報のリクエスト受信から、該リクエストの条件に該当する画像情報の送信までの動作がフローチャートで示されている。
【0053】
画像情報配信部32は、通信制御部18を介してナビゲーション装置52から画像の配信要求を受信すると(ステップS180)、リクエストデータ78C中のリンク情報の有無によってリクエストが道路情報か否かを判断する(ステップS182)。ここで、リンク情報が含まれており、道路情報が要求されていると判断されると(ステップS182でYes)、リンク情報が抽出され(ステップS184)、該リンク情報に基づいて検索部30Cが画像データベース16を参照し、画像の検索を行う(ステップS186)。また、リクエストデータ78Cにリンク情報が含まれず施設IDが含まれており、施設情報がリクエストされていると判断された場合には(ステップS182でNo)、施設IDが抽出され(ステップS188)、該施設IDに基づいて検索部30Cが画像データベース16を参照し、画像の検索を行う(ステップS186)。この画像データの検索はより具体的には前述した被写体の識別データ(被写体データ)として記憶されているその被写体のID(施設IDもしくは道路識別データ)やその被写体の場所のデータと、ナビゲーション装置52から送られた場所を特定するデータとを照合することで行われる。このときの検索部30Cが請求項の映像データ抽出手段に相当する。
【0054】
ここで、リクエストデータ78Cに含まれるリンク情報又は施設IDに該当する画像が画像データベース16に記憶されている場合には(ステップS190でYes)、データ作成部30Aにより、ナビゲーション装置52側へ送信する画像データを含む送信データを作成する(ステップS192)。すなわち、画像サイズの変更、画像フォーマットの変更などの処理が行われる。そして、画像情報配信部32は、作成した送信データを、通信制御部18を介してナビゲーション装置52へ送信する(ステップS194)。
【0055】
一方、画像データベース16にリクエストに該当する画像がない場合(ステップS190でNo)には、例えば、画像がないことを知らせるメッセージ、その理由などのメッセージ(例えば、「該当なし」などの文字列データ)を作成する処理が行われ(ステップS196)、ナビゲーション装置52へ送信される(ステップS194)。
【0056】
<具体例>……次に、本実施形態の具体例を説明する。
(1)道路情報の要求(ルート選択時)……最初に、図10及び図11を参照して、情報センタ10から道路状況を取得する場合の具体例1について説明する。図10は、ナビゲーション装置52と情報センタ10との情報授受の様子を示すシーケンス図である。同図には、ナビゲーション装置52から情報センタ10へ経路データの要求を行い、複数のルートが情報センタ10より提示されたときに、該ルート上の任意の地点の画像の配信を要求し、配信された画像を参考にして経路を選択するまでの動作が示されている。図11には、ナビゲーション装置52の表示部60に表示される画面例が示されている。
【0057】
まず、ナビゲーション装置52側では、図11(A)に示されるような画面100上において、利用者が所定の操作によって目的地を設定すると(矢印F1)、経路案内プログラム74Aが実行され、位置計測部62により取得した現在地情報とともに、設定した目的地を情報センタ10へ送信し、経路データの要求を行う(矢印F2)。情報センタ10側では、経路要求を受信すると、受信内容に基づいて、経路案内データ作成部20が経路案内データベース12を参照して、経路探索し(矢印F3)、推奨経路を複数選択して(本例の場合は5ルート)、これらのルート情報をナビゲーション装置52に送信する(矢印F4)。
【0058】
ナビゲーション装置52では、経路案内プログラム74Aにより、情報センタ10から受信したルートが表示部60に表示される(矢印F5)。図11(B)に示される画面102には、複数のルートR1〜R5が地図上に示されるとともに、情報表示欄104に、各ルートごとの本日の所要時間予測などが表示される。利用者は、これらの5ルートのうち1ルートを選択しなければならないが、その際の判断材料として道路状況のリアルタイム映像が有効である。利用者は、これらの表示されたルート上の任意の地点(道路)もしくは路線番号をカーソルCなどで選択し、当該地点のリアルタイム画像を情報センタ10に対して要求する(矢印F6)。このときの要求データに含まれるのは、指定した道路を特定するためのリンク情報(道路識別データ)や画像サイズなどである。
【0059】
情報センタ10では、情報要求を受信すると、画像情報管理部30の検索部30Cが画像データベース16を参照し、受信したリンク情報に該当する道路の画像データを検索する(矢印F7)。検索して抽出された画像データは、それに関連する情報とともに画像情報としてナビゲーション装置52に送信される(矢印F8)。図11(C)には、受信した画像情報に含まれる画像データを処理して表示部60に画像表示されている様子が示されている。同図(C)に示す画像106には、情報表示欄108に「××道路□方面○時△分頃の様子」というように関連情報が示されている。利用者は、情報センタ10から提示された複数のルートに対して、以上の動作により任意の地点のリアルタイム情報を要求し、各道路の状況を画像で確認して最も空いていそうな経路などを選択する(矢印F9)。
【0060】
利用者によって、いずれかの経路が選択され、その選択された経路についての案内開始要求が情報センタ10に対して行われると(矢印F10)、情報センタ10では、経路案内データ作成部20により、経路案内データベース12が参照され、選択された経路に含まれる案内データが抽出(矢印F11)され、初回の経路案内データがナビゲーション装置52に送信される(矢印F12)。ナビゲーション装置52では、経路案内プログラム74Aの実行により、受信した経路案内データに従って、音声による案内データの再生や、ランドマークなどの画像表示が行われ、経路案内が開始される(矢印F13)。
【0061】
本例によれば、経路を選択する場合において、任意の地点の道路画像を参照することにより、ほぼリアルタイムの道路状況を映像で確認することができるため、その混雑状況などから経路選択時の判断材料とすることができる。なお、本例のように、情報センタ10から画像情報の受信を行うのみの場合は、車両80のような情報センタ10へ撮影データを送信する機能のない車両でも行うことが可能である。
【0062】
(2)施設情報の要求(目的地設定時)……次に、図12及び図13を参照して本実施形態の具体例2について説明する。本例は、ナビゲーション装置52で目的地を設定する際に、該当する施設の情報を情報センタ10から受信する例である。図12(A)は、ナビゲーション装置52と情報センタ10との情報授受の様子を示すシーケンス図であり、ナビゲーション装置52から情報センタ10への情報要求から、配信された施設画像の表示までの動作が示されている。同図(B)は、前記動作において情報センタ10からナビゲーション装置52へ送信されるPOI情報の一例を示す図である。図13は、ナビゲーション装置52側で表示部60に表示される画面例を示す図である。
【0063】
ナビゲーション装置52側で、利用者が表示部60に表示される目的地検索用の画面110において、ボタン112により目的地の名称又はジャンルを入力して目的地(本例の場合は施設)を設定すると(矢印F20)。POI情報の要求が情報センタ10へ送信される(矢印F21)。情報センタ10では、要求を受信すると、POI検索部28によるPOIデータベース14の検索が実行され、リクエストの条件に該当する施設のPOI情報を検索する(矢印F22)。検索されたPOI情報は、ナビゲーション装置52側へ送信される(矢印F23)。
【0064】
このとき送信されるPOI情報の一例が図12(B)に示されている。同図に示すように、POI情報には、正式名称やカナ名称などの「名前」、施設の所在地である「住所」、「電話番号」、コンビニやホテルなどの「ジャンル名称」、緯度や経度などの「位置情報」、電話番号などの全国でユニークなIDである「施設ID」などが含まれている。
【0065】
ナビゲーション装置52側では、表示部60に、図12(B)に示すような検索結果の画面114が表示され、利用者により画像データの配信を要求する施設が選択される(矢印F24)。施設が選択されると、画像リクエストプログラム74Dは、情報センタ10に対して、施設ID及び画像サイズなどを含むリクエストデータ78Cとともに画像情報の配信を要求する(矢印F25)。情報センタ10では、リクエストを受信すると、指定された施設IDなどに基づいて、画像情報管理部30の検索部30Cにより、画像データベース16の検索を実行する(矢印F26)。
【0066】
検索の結果抽出された画像データは、その関連情報とともに画像情報としてナビゲーション装置52に送信される(矢印F27)。ナビゲーション装置52では、受信した情報に含まれる画像データを抽出し、表示部60に画像を表示する(矢印F28)。図13(C)に示される施設の画像116には、情報表示欄118に、「××店 □月○時△分頃 撮影」のような画像情報が表示されている。
【0067】
このように、本例によれば、情報センタ10側で検索を行った結果をナビゲーション装置52側に送信し、ナビゲーション装置側52では、検索結果を表示部60に表示する。そして、検索結果の中に含まれる施設を指定して、該施設のリアルタイムの画像データを情報センタ10から得ることとした。これにより、例えば、車両50の利用者が、これから食事をする店を決定しようとする際に、その店の画像から混雑状況などを確認することができ、目的地(施設)を設定する判断材料とすることができる。なお、本例においても、上述した具体例と同様に、車両80が画像情報を得ることも可能である。
【0068】
(3)道路分類方法……次に、図14を参照して道路分類方法の具体例を説明する。本実施形態では、車両50側で撮影を行った撮影データ78Bに含まれる画像の被写体を道路と施設に分類して、それぞれの識別データ(被写体データ)とともに情報センタ10の画像データベース16に記憶することとしているが、ここでは、被写体が道路の場合の分類方法の一例を説明する。図14には、車両50側で撮影した画像の一例が示されている。
【0069】
図14(A)に示す画像120には、片道2車線で中央分離帯がない道路が写されており、同図(B)の画像122には、中央分離帯のある高速道路が示されている。同図(C)の画像124には、一般道片道1車線の狭い道路が示されており、同図(D)の画像126には、一般道路の交差点付近の様子が示されている。本例では、ナビゲーション装置52側の転送プログラム74Fは、画像データとともにこれらの道路の特徴を示すリンク情報を情報センタ10へ送信する。これにより、情報センタ10の道路特定部26Bでは、上下線のいずれが撮影対象であるか特定が可能であり、その特定結果に応じて記憶制御部30Bにより分類して画像データベース16に記憶することができる。
【0070】
また、以上のような分類をすることにより、情報センタ10では、経路案内データベース12に含まれる道路データにより中央分離帯の有無がわかるため、ナビゲーション装置52側からの画像情報配信要求があったときに、中央分離帯の有無に基づき、反対側の車線から撮影した画像を提供できるか否かを判断することもできる。
【0071】
更に、前記道路データにより車線数が分かるため、配信要求のあった道路が車線数の多い道路であるなら、中央分離帯の有無にかかわらず、反対車線側から撮影した画像を提供しないと判断するようにしてもよい。このほか、情報センタ10側で交差点付近か否かが判断できるため、渋滞情報として提供してよいかどうか判断することも可能である。例えば、一般的に信号が赤なら車は止まるので、交差点付近の画像を提供しても道路の状況は分かりづらいからである。
【0072】
<実施形態の効果>……このように、本実施形態によれば、次のような効果が得られる。
(1)車両50側で撮影した画像のデータを、位置情報、撮影方位のほか、道路走行中である場合には現在走行中の道路リンク情報、走行方向を含む関連情報(映像関連データ)とともに情報センタ10へ送信し、道路を走行していない状況であれば、位置情報、撮影方位を含む関連情報を送信する。このため、情報センタ10では、受信した関連情報から容易に被写体を推定し、何が撮影対象であるのかを容易に特定することが可能である。すなわち、被写体が道路である場合には、上下線、路線番号などによる分類、施設ならばPOI情報から施設名称などを判断して分類して保存することができる。また、被写体の識別情報とともに画像データを保存するため、画像データの検索効率の向上を図ることができる。
【0073】
(2)車両50又は80側からある地点を特定する情報(道路の場合は道路識別データ、施設の場合は施設特定データ)とともに画像提供要求を受けたときに、前記受信した情報に該当する画像を画像データベース16を検索し、抽出された画像情報を前記車両50又は80側へ配信する。このため、車両50又は80側では、特定地点の道路の混雑状況や興味のある施設のリアルタイムの映像を見ることができる。これにより、経路選択や目的地の設定の判断材料とすることができる。
【0074】
(3)被写体が道路である場合に、経路案内データベース12に記憶されている道路の情報(道路の幅、中央分離帯の有無、車線数に関する情報)を参照して、画像データに対向車線が写っているかを判断し、対向車線が撮影されているか否かによっても分類する。このように分類することにより、ナビゲーション装置52から、道路識別データ(リンク情報)とともに画像の要求があった場合に、利用者の進行方向の映像が写っている画像をより多く抽出して送信することができる。
【0075】
例えば、ある南北に向いている道路に対して、北向きに進行する車両から当該道路を指定して映像の要求があった場合に、過去に南向きに走行している車両から撮影した画像データが情報センタ10に保存されており、その画像に北向き車線の映像が写っていると判断された場合には、当該映像データをリクエスト側の車両50又は80に送信する、当該画像データに北向き車線の映像が映っていないと判断されている場合には、その映像は送信しない、という処理を行うことができる。このため、利用者にとって有用な映像データのみを送信することができる。
【0076】
<実施形態2>……次に、図15〜図18を参照して本発明の実施形態2について説明する。本実施形態は、車両側のナビゲーション装置から情報センタへ経路データの要求が行われたときに情報センタで経路探索を行い、該探索経路中に撮影に適したポイントがある場合には、該ポイントにおいて撮影を行うための撮影指示データを経路データに付与ないし付加してナビゲーション装置側に送信するものである。最初に、図15を参照して本実施形態のシステム構成を説明する。図15は、本実施形態のシステム構成を示すブロック図である。なお、上述した実施形態1と同一又は対応する構成要素には、同一の符号を用いることとする。
【0077】
本実施形態の情報センタ200は、上述した実施形態1の情報センタ10と同様の機能のほかに、撮影に適したポイント(地点)の情報を集積した撮影ポイントデータベース202、該撮影ポイントデータベース202を参照し、経路案内データ作成部20で探索された経路中に撮影ポイントが存在する場合には、経路データに撮影指示データを付与する撮影情報作成部204(撮影指示データ作成手段に相当する)、気象情報などを外部より取得する外部情報取得部206が備えられている。ここでいう撮影ポイントデータとは、ある時間にある場所で所定の方向(方位、仰角)を見るとすばらしい景色が望めるというような情報である。
【0078】
前記撮影情報作成部204は、撮影ポイントデータベース202を参照するほか、前記外部情報取得部206により取得した天気などの気象情報を参考に、案内経路、送信時間、進行方向、場合によっては時刻から太陽の方向などを計算し、撮影指示データを送信するか否かを判断するとともに、送信可能な場合には撮影指示データを作成する。
【0079】
なお、本実施形態においては、被写体特定部26、POI検索部28、POIデータベース14は必ずしも必要ではないが、これらを設けることによって、前記実施形態1と同様に、車両側で任意に撮影された画像情報についても分類して保存することが可能である。画像情報配信部32についても同様であり、設けることによって他の車両利用者への画像配信に利用したり、撮影を行った利用者が自宅220のPC(パソコン)222などから画像をダウンロードしたりすることも可能となる。
【0080】
一方、ナビゲーション装置210も、基本的には、上述した実施形態1と同様であるが、現在時刻などを計時する計時部212が設けられているほか、プログラム格納部72の経路案内プログラム74Aには、情報センタ200から送信された経路案内データ78Aに含まれる撮影指示データ216を解析して撮影すべき地点を検出する撮影指示データ検出プログラム214が含まれている。
【0081】
図18(B)には、経路案内データ78Aに含まれる撮影指示データ216の一例が示されている。図示の例では、撮影を行う道路の「リンクID」、「リンク始点からの距離」、「撮影区間の距離」、「水平方向カメラ角度」、「垂直方向カメラ角度」、……などが撮影指示データ216に含まれている。
【0082】
(1)情報センタ側における撮影指示データの作成、送信……次に、実施形態の動作を説明する。最初に、図16を参照して、情報センタ200側における撮影指示データの送信動作について説明する。図16には、情報センタ200におけるナビゲーション装置210側からの経路探索要求の受信から、探索経路中に存在する撮影ポイントに関する撮影指示データを送信するまでの動作がフローチャートとして示されている。
【0083】
ナビゲーション装置210では、車両の利用者の入力操作に基づいて、位置計測部62で計測した車両現在位置及び目的地などの各情報とともに経路案内データの取得要求を、通信部64を介して情報センタ200へ送信する。情報センタ200は、ナビゲーション装置210から経路案内データの取得要求を受信すると(ステップS200でYes)、経路案内データ作成部20の実行により車両現在位置及び目的地情報が抽出される(ステップS202)。そして、経路案内データベース12を参照し、前記目的地情報から目的地を決定し(ステップS204)、車両現在位置から目的地までの経路を探索する(ステップS206)。例えば、目的地情報として電話番号や住所などの情報を受信した場合には、経路案内データベース12の目的地設定用データなどを利用して目的地を決定する。また、経路探索は、経路案内データベース12の経路探索用データ、すなわち、交差点データや道路データ、ノードデータなどを参照して行われる。
【0084】
次に、経路案内データ作成部20は、探索された経路をナビゲーションの単位である道路長に分割する(ステップS207)。その後、分割された道路長分の案内データが経路案内データベース12より抽出され、送信道路長分の経路案内データが作成される(ステップS208)。ここで、経路案内データ作成部20は、経路データ要求時に受信した情報に含まれる利用者情報などを参照し、リクエスト元がカメラで撮影をすることが可能な利用者かどうか判断する(ステップS210)。
【0085】
そして、カメラ撮影が可能な利用者の場合は(ステップS210でYes)、撮影情報作成部204を実行し、探索された経路と撮影ポイントデータベース202を参照して、探索経路中に撮影ポイントがあるか否かを判断する(ステップS212)。ここで、撮影に適したポイントが存在する場合には(ステップS212でYes)、撮影情報作成部204は、外部情報取得部206から得た気象情報なども参照し、進行方向、太陽の向き、時刻、天気は撮影に適しているか否かを判断する(ステップS214)。なお、このとき、季節や日の出、日の入りの時刻などを考慮して撮影時刻に応じて撮影方向の変更などの計算を行うようにしてもよい。
【0086】
ここで、撮影条件が適している場合には(ステップS214でYes)、撮影情報作成部204は送信道路長分の撮影指示データを作成し(ステップS216)、経路案内データに付加する。そして、経路案内データ作成部20は、撮影指示データを含む経路案内データをナビゲーション装置210へ送信する(ステップS218)。なお、ナビゲーション装置の利用者がカメラ撮影不可の場合(ステップS210でNo)、送信道路中に撮影ポイントがない場合(ステップS212でNo)、撮影条件(進行方向、太陽の方向、時刻、天気の頃合)に不適な場合(ステップS214でNo)には、経路案内データのみがナビゲーション装置210へ送信される(ステップS219)。
【0087】
(2)ナビゲーション装置側における撮影の実行……次に、図17及び図18を参照して、ナビゲーション装置210における撮影処理の動作について説明する。図17には、ナビゲーション装置210側における経路案内データの受信から、該経路案内データに含まれる撮影指示データに基づいて、撮影地点で自動的に撮影を行う動作がフローチャートとして示されている。
【0088】
ナビゲーション装置210では、通信部64が経路案内データ78Aを受信すると(ステップS220)、演算処理部54は、受信した経路案内データ78Aをメモリ70のデータ記憶部76に記憶する。そして、プログラム格納部72に格納されている経路案内プログラム74Aを実行し、受信した経路案内データ78Aを利用した経路案内が開始される(ステップS222)。すなわち、経路の地図やランドマークが表示部60に表示される。
【0089】
経路案内中に、撮影指示データ検出プログラム214により、撮影指示データ216が検出されると(ステップS224でYes)、撮影地点到達するときにカメラが撮影方向へ向くように撮影管理プログラム74Cによって設定され、撮影が実行される(ステップS226)。撮影が終了すると、撮影した画像とデータと該画像データに関連する情報(例えば、撮影地点、撮影方向、撮影時刻など)を含む送信用撮影データ78Bをデータ処理プログラム74Eにより作成する(ステップS228)。
【0090】
すると、転送プログラム74Fは、通信部64を介して情報センタ200へ作成した撮影データ78Bを送信する(ステップS232)。そして、区間内の案内を全て行ったか否かが判断され(ステップS234)、全ての案内を行っている場合には、その区間の案内を終了する。また、区間内の案内が全て行われていない場合には(ステップS234でNo)、ステップS224に戻り、案内が全て終了するまで上述した動作が繰返し行われる。また、撮影指示データ検出プログラム214による撮影指示ポイントの検出が行われない場合には(ステップS224でNo)、通常の経路案内を実行し、ステップS234へ進む。
【0091】
次に、以上の動作を、図18(A)を参照して説明する。図中、車両現在地Aから目的地Gについて探索された経路Lが点線で示されており、一回目の送信経路データに基づいて表示された初期経路L1が、図中に実線で示されている。車両は、経路L1上を矢印に示す方向に進んでいる。なお、経路案内データ78A中には、上述した図18(B)に示す撮影指示データ216が含まれているものとする。車両が撮影区間Sの始点S1に近づくと、前記撮影指示データ216に基づいてカメラの撮影方向及び撮影角度が設定され、撮影区間Sを通過する間に同図に示すような風景の撮影が行われる。撮影は、撮影区間内を通過する間所定時間間隔ごとに行うようにしてもよいし、所定距離ごとに行うようにしてもよい。また、1回だけ実施するようにしてもよい。
【0092】
このように、本実施形態によれば、ナビゲーション装置210側からの経路要求に応じて経路案内データ78Aを提供する際に、該経路案内データ78Aに撮影指示データ216を付加して送信する。そして、ナビゲーション装置210では撮影指示データ216で指示された撮影地点に到達すると、撮影方向を設定して撮影を行い、その画像データとともに位置情報を含む関連情報を情報センタ200へ送信する。このため、利用者は、撮影ポイントを意識することなく、絶景の静止画、動画などを自動的に撮影することができる。また、情報センタ200では、送信された動画や静止画などを保存することとしたので、利用者は撮影後に改めてそれら画像を収集して編集などを行うことができる。
【0093】
なお、上述した撮影指示データ216の作成基準の一例を挙げると、次のようなものがある。
▲1▼経路上の所定距離ごと(あるいは地点ではなく所定時間ごと)に経路上の進行方向道路を撮影するように撮影指示データ216を作成する。これにより、一定間隔(時間的ないし距離的)の道路のデータを収集することができ、該道路の混雑状況を把握できる画像を収集することができる。なお、これら収集した画像は、上述した実施形態1と同様に、他の車両へ提供するようにしてもよい。
【0094】
▲2▼経路上の風光明媚な景色を撮影するように撮影指示データを作成する、又は、経路上もしくは経路探索の目的地の観光名所を撮影するように撮影指示データ216を作成する。このように構成することで、利用者はなんらの操作を必要とせず、自身が通過した場所の美しい景色や名所の映像を収集することができる。更に、これらの画像は情報センタ200へ送信されて保存されるため、後日、自宅の情報端末(パソコン等)へ転送することができ、改めて鑑賞することができる。
【0095】
<他の実施形態>……本発明には数多くの実施形態があり、以上の開示に基づいて多様に改変することが可能である。例えば、次のようなものも含まれる。
(1)前記実施形態1では、情報センタ10から経路案内データ78Aを受信してナビゲーションを行うこととしたが、ナビゲーション機能を使用せずに、自動あるいは任意で撮影した画像の提供や情報センタからの画像の配信のみを受けるようにしてもよい。
(2)前記形態は、本発明を自動車などの車両に適用したものであるが、携帯用の移動端末など各種の移動体に適用可能である。
(3)前記実施形態では、情報配信先が車両である場合を示したが、情報送信先としては利用者の自宅のPCなどでもよいし、利用者が保有する携帯端末などでもよい。あるいは、コンビニやガソリンスタンドなど、車両周辺の施設などでもよい。
(4)上述した実施形態のシステム構成及び動作は一例であり、必要に応じて適宜変更可能である。例えば、実施形態1の動作モードと実施形態2の動作モードをナビゲーション装置に搭載して、必要に応じて切り替えるようにしてもよい。
(5)上記実施形態では「画像データ」として静止画像を想定したが、扱う映像データは動画像であってもよい。
【0096】
【発明の効果】
以上説明したように、本発明によれば、次のような効果が得られる。
(1)移動体側で撮影した映像のデータを、該映像データの関連情報とともに情報センタに送信し、情報センタ側では、受信した関連情報からその映像の被写体を推定・分類して保存することとしたので、情報センタ側では何が撮影対象であるのかを容易に特定することができる。また、関連情報とともに映像データを保存することにより、利用者から配信要求があったときの検索効率が向上するとともに、利用者が指定した場所(道路や施設)が被写体として写っている映像データを検索し配信できるので、利用者の要求に適したの映像を配信することができる。
(2)情報センタからの指示に従い、受信した経路データに沿って経路案内を行うとともに、前記経路データに含まれる撮影指示データに基づいて撮影を実行し、該撮影した映像のデータと該映像データの関連情報を情報センタへ送信することとしたので、利用者は撮影地点を意識することなく、絶景の静止画、動画を撮影することができる。また情報センタ側で映像データを保存することにより、後日、情報端末などへ転送することも可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態の全体構成を示す図である。
【図2】前記形態のシステム構成を示すブロック図である。
【図3】前記形態の車両側による自動撮影データの送信手順の一例を示すフローチャートである。
【図4】前記形態の車両側による任意撮影データの送信手順の一例を示すフローチャートである。
【図5】前記形態の情報センタ側における撮影データ収集手順の一例を示すフローチャートである。
【図6】前記形態の車両側における画像情報取得手順の一例を示すフローチャートである。
【図7】前記形態の情報センタ側における画像情報送信手順の一例を示すフローチャートである。
【図8】前記形態の情報センタ側で保存される画像データの一例を示す図である。
【図9】前記形態の車両側から送信される撮影データの一例を示す図である。
【図10】前記形態の具体例1における車両側と情報センタ側の道路情報授受の様子を示す図である。
【図11】前記形態の車両側の表示画面の一例を示す図である。
【図12】前記形態の具体例2を示す図であり、(A)は車両側と情報センタ側との施設情報授受の様子を示す図、(B)は情報センタから送信されるPOI情報の一例を示す図である。
【図13】前記形態の車両側の表示画面の他の例を示す図である。
【図14】撮影画像例を示す図である。
【図15】本発明の実施形態2のシステム構成を示すブロック図である。
【図16】前記形態の情報センタ側における撮影指示データの作成及び送信の動作を示すフローチャートである。
【図17】前記形態の車両側における撮影動作を示すフローチャートである。
【図18】前記形態の具体例を示す図である。
【符号の説明】
10…情報センタ
10A…保存サーバ
10B…POI検索サーバ
10C…経路情報サーバ
12…経路案内データベース
14…POIデータベース
16…画像データベース
18…通信制御部
20…経路案内データ作成部
22…画像情報収集部
26…被写体特定部
26A…被写体推定部
26B…道路特定部
26C…施設特定部
28…POI検索部
30…画像情報管理部
30A…データ作成部
30B…記憶制御部
30C…検索部
32…画像情報配信部
34…計時部
50…車両
52…ナビゲーション装置
54…演算処理部
56…撮影部
58…入力部
60…表示部
62…位置計測部
64…通信部
66…音声出力部
68…道路地図データベース
70…メモリ
72…プログラム格納部
74A…経路案内プログラム
74B…識別データ取得プログラム
74C…撮影管理プログラム
74D…画像リクエストプログラム
74E…データ処理プログラム
74F…転送プログラム
76…データ記憶部
78A…経路案内データ
78B…撮影データ
78C…リクエストデータ
78D…配信データ
80…車両
82…ナビゲーション装置
84…入力部
86…表示部
88…通信部
90…位置計測部
100、102、110、114…画面
104、108、118…情報表示欄
106、116、120〜126…画像
112…ボタン
200…情報センタ
202…撮影ポイントデータベース
204…撮影情報作成部
206…外部情報取得部
210…ナビゲーション装置
212…計時部
214…撮影指示データ検出プログラム
216…撮影指示データ
220…自宅
222…PC
A…車両現在地
C…カーソル
G…目的地
L…経路
L1…初期経路
R1〜R5…ルート
S…撮影区間
S1…始点

Claims (4)

  1. 移動体で撮影された映像データを収集する情報センタ装置であって、
    前記移動体の経路上に撮影地点があるか否か判断する判断手段と、
    前記判断手段によって、撮影地点があると判断された場合、撮影指示データを作成する撮影指示データ作成手段と、
    前記撮影指示データを前記移動体側に送信する送信手段と、
    前記撮影指示データに基づいて前記移動体側で撮影された映像データを受信する受信手段と、
    を備えたことを特徴とする情報センタ装置。
  2. 経路探索を行って得た経路データを移動体側に提供するとともに、該移動体で撮影された映像データを収集する情報センタ装置であって、
    前記移動体側から経路案内データの要求を受信する受信手段と、
    道路地図データ及び撮影に好適な地点のデータを集積した道路地図データベースと、
    前記受信手段によって移動体側からの経路案内データの要求を受信したときに、前記道路地図データベースに基づいて経路探索を行い経路データを作成する経路探索手段と、
    該経路探索手段によって探索された経路と、前記道路地図データベースの撮影地点とに基づいて、探索された経路に撮影すべき地点があるか否かを判断する判断手段と、
    該判断手段によって前記探索された経路上に撮影すべき地点があると判断された場合、該撮影すべき地点の位置データ及び撮影方向に関するデータを含む撮影指示データを作成する撮影指示データ作成手段と、
    前記経路データ及び前記撮影指示データを前記移動体側へ送信する送信手段と、
    前記撮影指示データに基づいて前記移動体側で撮影された映像データを受信する受信手段と、
    を備えたことを特徴とする情報センタ装置。
  3. 前記送信手段によって移動体側に送信した前記撮影指示データに基づいて移動体側で撮影された映像データを受信したときに、前記映像データの被写体を推定する被写体推定手段と、
    前記映像データとともに、前記被写体推定手段による推定結果を被写体データとして前記映像データに関連付けて記憶する映像データ記憶手段と、
    を備えたことを特徴とする請求項1又は2記載の情報センタ装置。
  4. 請求項1乃至3のいずれかに記載の情報センタ装置から、探索経路上の撮影指示データを受信する受信手段と、
    前記受信手段によって受信した撮影指示の地点に到達したときに撮影する撮影手段と、
    前記撮影手段によって撮影した映像データを前記情報センタ装置に送信する送信手段と、
    を備えたことを特徴とする移動体。
JP2002121614A 2002-04-24 2002-04-24 情報センタ装置及び移動体 Expired - Fee Related JP4048818B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002121614A JP4048818B2 (ja) 2002-04-24 2002-04-24 情報センタ装置及び移動体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002121614A JP4048818B2 (ja) 2002-04-24 2002-04-24 情報センタ装置及び移動体

Publications (2)

Publication Number Publication Date
JP2003315069A JP2003315069A (ja) 2003-11-06
JP4048818B2 true JP4048818B2 (ja) 2008-02-20

Family

ID=29537462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002121614A Expired - Fee Related JP4048818B2 (ja) 2002-04-24 2002-04-24 情報センタ装置及び移動体

Country Status (1)

Country Link
JP (1) JP4048818B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173784A (ja) * 2003-12-09 2005-06-30 Nec Corp 映像情報配信システム及び方法と装置並びにプログラム
JP4224700B2 (ja) * 2003-12-11 2009-02-18 日本電気株式会社 通信システム、携帯端末、情報管理サーバ
JP4695864B2 (ja) * 2004-10-18 2011-06-08 クラリオン株式会社 ナビゲーション装置、地図データ配信装置、地図データ配信システム
US8150617B2 (en) 2004-10-25 2012-04-03 A9.Com, Inc. System and method for displaying location-specific images on a mobile device
WO2006098311A1 (ja) * 2005-03-15 2006-09-21 Pioneer Corporation 道路景観地図作成装置、方法及びプログラム
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
KR100809359B1 (ko) * 2005-12-20 2008-03-05 주식회사 엔지스테크널러지 3차원 맵 데이터를 제공하는 차량용 항법 장치 및 상기장치의 동작 방법
JP4770521B2 (ja) * 2006-03-06 2011-09-14 株式会社デンソー ランドマーク提示装置、車載用ナビゲーション装置および車載用ナビゲーションシステム
JP5111785B2 (ja) * 2006-05-24 2013-01-09 株式会社岩根研究所 Cv映像によるcvタグ入出力検索装置
JP4670770B2 (ja) * 2006-08-09 2011-04-13 株式会社デンソー 道路地図更新システムおよびその道路地図更新システムに用いる車両側装置
KR101408858B1 (ko) * 2006-10-17 2014-06-19 삼성전자주식회사 이동통신 단말기를 이용한 네비게이션 서비스 장치 및 방법
JP5076468B2 (ja) 2006-12-01 2012-11-21 株式会社デンソー 通信型ナビゲーションシステム、車両ナビゲーション装置及びセンター装置
JP4930709B2 (ja) * 2007-03-27 2012-05-16 株式会社エクォス・リサーチ 情報配信サービスシステム及び情報配信車載装置
JP5093667B2 (ja) * 2007-06-12 2012-12-12 独立行政法人情報通信研究機構 ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム
JP2009237432A (ja) * 2008-03-28 2009-10-15 Sanyo Electric Co Ltd 車両用経路誘導装置及び誘導経路表示方法
JP5239788B2 (ja) * 2008-11-28 2013-07-17 トヨタ自動車株式会社 走行環境データベース管理装置
KR101070882B1 (ko) * 2009-01-12 2011-10-06 엠로그씨주식회사 리얼 맵 정보 제공 방법 및 그 시스템
JP5232669B2 (ja) * 2009-01-22 2013-07-10 オリンパスイメージング株式会社 カメラ
JP2010266410A (ja) * 2009-05-18 2010-11-25 Alpine Electronics Inc サーバシステム、車載ナビゲーション装置及び写真画像配信方法
KR101017997B1 (ko) * 2009-08-27 2011-03-02 주식회사 한국정보기술단 교통 정보 제공 시스템
KR101619522B1 (ko) 2009-10-05 2016-05-11 주식회사 엘지유플러스 차량의 카메라를 이용한 영상 수집 시스템 및 그 제어 방법
JP2013507711A (ja) * 2009-10-12 2013-03-04 ウェイタッグ(プロプライエタリー)・リミテッド 位置特定システムおよび位置特定システムを動作させるための方法
KR101109056B1 (ko) 2009-10-23 2012-01-31 경기대학교 산학협력단 이동 경로 정보 제공 시스템 및 그 방법
KR101104757B1 (ko) 2009-11-24 2012-01-12 경기대학교 산학협력단 이동 경로 정보 제공 방법 및 시스템
JP5585405B2 (ja) * 2010-11-15 2014-09-10 株式会社デンソー 交通情報システム、交通情報取得装置および交通情報提供装置
JP2012189371A (ja) * 2011-03-09 2012-10-04 Mic Ware:Kk ナビゲーション装置、撮影制御方法、及びプログラム
DE102011005552B4 (de) * 2011-03-15 2018-09-13 Robert Bosch Gmbh Verfahren für einen Datenaustausch von Navigationsnutzern von Kraftfahrzeugen sowie System zum Datenaustausch
JP2013149035A (ja) * 2012-01-18 2013-08-01 Toyota Motor Corp 情報提供装置
WO2014013545A1 (ja) * 2012-07-17 2014-01-23 三菱電機株式会社 車載機およびセンター装置
KR101912452B1 (ko) * 2013-01-07 2019-01-04 한화지상방산 주식회사 주행정보 송수신 장치 및 방법, 그리고 주행정보 송신 로봇
JP2015170906A (ja) * 2014-03-05 2015-09-28 パイオニア株式会社 サーバ装置、端末装置、情報提供方法及びプログラム、撮影方法及びプログラム
JP6345572B2 (ja) * 2014-11-04 2018-06-20 アルパイン株式会社 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
JP6192871B2 (ja) * 2015-03-19 2017-09-06 三菱電機株式会社 表示制御装置および車載表示システム
JP6540485B2 (ja) * 2015-12-07 2019-07-10 株式会社デンソー 経路変更装置及び経路変更システム
KR101916726B1 (ko) * 2017-01-02 2018-11-08 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
JP2019004476A (ja) * 2018-07-31 2019-01-10 パイオニア株式会社 端末装置
JP2019160344A (ja) * 2019-06-13 2019-09-19 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、制御方法、及びプログラム
JP2020096364A (ja) * 2020-02-21 2020-06-18 パイオニア株式会社 端末装置

Also Published As

Publication number Publication date
JP2003315069A (ja) 2003-11-06

Similar Documents

Publication Publication Date Title
JP4048818B2 (ja) 情報センタ装置及び移動体
US9404763B2 (en) Departure/destination location extraction apparatus and departure/destination location extraction method
JP4350126B2 (ja) 経路案内システム及び方法
JP2002054934A (ja) 道路地図情報更新システム
WO2000066975A1 (fr) Systeme de guidage routier
JP2005253070A (ja) 周囲パラメータデータを提供し、気象情報を判定する装置および方法
KR101451768B1 (ko) 주행 영상 획득을 위한 전자 기기 및 전자 기기의 주행 영상 획득 방법 및 주행 영상 제공을 위한 서버 및 서버의 주행 영상 제공 방법
JP2007071579A (ja) 車載用ナビゲーション装置およびシステム
JP6794918B2 (ja) 画像送信プログラム、及び、画像送信装置
JP2009500765A (ja) 交通情報を判定する方法及びその方法を実行するように構成された装置
CN113830098B (zh) 车辆驾驶提醒方法、装置、存储介质及车辆
JP2022538097A (ja) ナビゲート可能なネットワークに関するユーザ提供データの収集
JP6819448B2 (ja) 画像送信プログラム、及び、画像送信装置
JP2013118521A (ja) 車両用装置及び楽曲取得システム
JP2008185394A (ja) 車両用ナビゲーション装置および情報センタ
JP2004287500A (ja) 道路情報提供システムおよびその方法
CN111323041B (zh) 信息处理系统、存储介质和信息处理方法
JP2007127447A (ja) 経路案内装置、情報センタ、経路案内システム、及び経路案内方法
JP4911070B2 (ja) ナビゲーションシステム、合流地点抽出方法及び合流地点抽出プログラム
JP4911071B2 (ja) ナビゲーションシステム、合流地点抽出方法及び合流地点抽出プログラム
JP2006138742A (ja) 情報収集システム及び情報収集方法のプログラム
JP2023038241A (ja) 情報処理装置
JP6037817B2 (ja) 携帯型ナビゲーション装置およびナビゲーション方法
JP2020101924A (ja) 情報処理システム、プログラム、及び情報処理方法
JP2003214874A (ja) 経路設定方法、ナビゲーション装置、並びにそれらのコンピュータ・プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071119

R150 Certificate of patent or registration of utility model

Ref document number: 4048818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees