JP7367848B2 - 走行映像提供システム、装置、方法、及びプログラム - Google Patents

走行映像提供システム、装置、方法、及びプログラム Download PDF

Info

Publication number
JP7367848B2
JP7367848B2 JP2022507128A JP2022507128A JP7367848B2 JP 7367848 B2 JP7367848 B2 JP 7367848B2 JP 2022507128 A JP2022507128 A JP 2022507128A JP 2022507128 A JP2022507128 A JP 2022507128A JP 7367848 B2 JP7367848 B2 JP 7367848B2
Authority
JP
Japan
Prior art keywords
driving
video
route
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022507128A
Other languages
English (en)
Other versions
JPWO2021181621A1 (ja
JPWO2021181621A5 (ja
Inventor
恭平 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021181621A1 publication Critical patent/JPWO2021181621A1/ja
Publication of JPWO2021181621A5 publication Critical patent/JPWO2021181621A5/ja
Application granted granted Critical
Publication of JP7367848B2 publication Critical patent/JP7367848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/40Transportation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Ecology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、走行映像提供システム、装置、方法、及びコンピュータ可読媒体に関する。
近年、車両の走行中に車両前方を撮影するドライブレコーダを搭載する車両が増加している。ドライブレコーダが撮影した映像を活用する関連技術として、特許文献1に記載された情報処理システムが知られている。特許文献1に記載される情報処理システムにおいて、ユーザ(依頼者)は、画像共有サーバに対して画像データの共有を求める。このときユーザは、撮影場所を示す住所、撮影開始時刻、及び撮影終了時刻を含む依頼情報を共有サーバに送信する。ユーザは、事故現場からの逃走した車両の追跡を行いたい場合、逃走経路を指定し、その経路に沿って走行する車両のドライブレコーダで撮影された画像データの共有を共有サーバに対して求めることができる。
共有サーバは、依頼情報に応じた検索情報を各車両に送信する。車両の画像記録装置は、検索情報に示される条件を満たすドライブレコーダの画像データを共有サーバにアップロードする。画像記録装置は、例えば車両が依頼情報で指定された経路を走行した場合、その経路を走行しているときに撮影された画像データを、共有サーバにアップロードする。共有サーバは、車両からアップロードされた画像データを、ユーザの画像表示装置に送信する。画像表示装置は、共有サーバから受信した動画像データを再生する。
別の関連技術として、特許文献2は映像配信装置を開示する。特許文献2に記載の映像配信装置は、乗り物に取り付けられたカメラを用いて撮像される映像をユーザに提供する。特許文献2において、列車には、運転席からの風景を撮影するカメラ、客席からの車窓を撮影するカメラ、及び客室内の様子を撮像するカメラが搭載されている。映像配信サーバは、各列車から、カメラの撮影データを受信し、撮影データを蓄積する。
ユーザは、映像配信装置に対して、所望の列車を指定する。映像配信装置は、指定された列車の撮影データを、ユーザ端末装置に対して配信する。撮影データにおいて、列車が乗り換え可能駅に到着すると、ユーザ端末装置には乗り換えアイコンが表示される。ユーザは、乗換駅において、別の列車又は路線バスなどを乗り換え先の車両として指定できる。ユーザが乗り換えを指定した場合、映像配信サーバは、乗り換え先の列車などの撮影データをユーザ端末装置に配信する。このようにすることで、ユーザは、実際の乗り換えと同様のバーチャルリアリティを体験することができる。
特開2016-103049号公報 特開2004-236267号公報
特許文献1では、ユーザは、ユーザが指定した経路に含まれる場所を指定した時間範囲に走行していた車両のドライブレコーダ映像を見ることができる。しかしながら、特許文献1では、各車両の画像データ(ドライブレコーダ映像)が個別に表示される。従って、指定した経路に完全に一致するルートに沿って走行した車両が存在しない場合、ユーザは、経路の始点から終点に至る一連の画像データを見ることはできない。
特許文献2では、列車や路線バスなどのあらかじめ決められたルートに沿って走行する車両の映像が配信される。このため、ユーザは、ユーザが任意に指定した経路に沿って走行する車両の映像を見ることはできない。
本開示は、上記事情に鑑み、ユーザが指定した経路に沿って走行する車両の映像を一連の画像データとして表示できる走行映像提供システム、装置、方法、及びコンピュータ可読媒体を提供することを目的とする。
上記目的を達成するために、本開示は、複数の車両が撮影した走行映像を受信し、前記走行映像と該走行映像が撮影された位置情報とを走行映像データベースに蓄積する映像収集サーバと、経路を指定する情報を含む映像配信要求を受信し、前記映像配信要求において指定された経路に沿って車両が走行した場合の走行映像をユーザに配信する映像提供サーバと、前記配信された走行映像を受信して表示するユーザ装置とを備え、前記映像提供サーバは、前記ユーザから前記映像配信要求が受信された場合、前記走行映像データベースを検索し、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する走行映像検索手段と、前記経路に含まれる各区間の走行映像を合成する走行映像合成手段と、前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像として前記ユーザ装置に配信する映像配信手段とを有する、走行映像提供システムを提供する。
本開示は、ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索し、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する走行映像検索手段と、前記経路に含まれる各区間の走行映像を合成する走行映像合成手段と、前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する映像配信手段とを備える走行映像提供装置を提供する。
本開示は、ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索して、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得し、前記経路に含まれる各区間の走行映像を合成し、前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する走行映像提供方法を提供する。
本開示は、ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索して、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得し、前記経路に含まれる各区間の走行映像を合成し、前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。
本開示に係る走行映像提供システム、装置、方法、及びコンピュータ可読媒体は、ユーザが指定した経路に沿って走行する車両の映像を一連の画像データとして表示できる。
本開示に係る走行映像提供システムを概略的に示すブロック図。 本開示の一実施形態に係る走行映像提供システムを示すブロック図。 映像提供サーバの構成例を示すブロック図。 映像条件の一例を示す図。 映像収集時の走行映像提供システムの動作手順を示すフローチャート。 走行映像提供時の走行映像提供システムの動作手順を示すフローチャート。 ユーザが指定した経路の一部及び各車両の走行ルートの一例を示す模式図。 走行映像DBから取得され、合成される走行映像を示す模式図。 ユーザが指定した経路の一部及び各車両の走行ルートの別例を示す模式図。 走行映像DBから取得され、合成される走行映像を示す模式図。 コンピュータ装置の構成例を示すブロック図。
本開示の実施の形態の説明に先立って、本開示の概要を説明する。図1は、本開示に係る走行映像提供システムを概略的に示す。走行映像提供システム10は、映像収集サーバ11、映像提供サーバ13、及びユーザ装置14を有する。映像提供サーバ13は、走行映像検索手段31、走行映像合成手段32、及び映像配信手段33を有する。
映像収集サーバ11は、複数の車両が撮影した走行映像を受信する。映像収集サーバ11は、走行映像とその走行映像が撮影された位置情報とを走行映像データベース12に蓄積する。映像提供サーバ13は、ユーザから、経路を指定する情報を含む映像配信要求を受信する。映像提供サーバ13は、映像配信要求において指定された経路に沿って車両が走行した場合の走行映像をユーザに配信する。ユーザ装置14は、配信された走行映像を表示する。
映像提供サーバ13において、走行映像検索手段31は、ユーザから映像配信要求が受信された場合、映像配信要求に従って走行映像データベース12を検索する。走行映像検索手段31は、走行映像データベース12から、指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する。走行映像合成手段32は、経路に含まれる各区間の走行映像を合成する。映像配信手段33は、合成された走行映像を、経路に沿って車両が走行した場合の走行映像としてユーザ装置14に配信する。
本開示では、走行映像検索手段31は、経路に含まれる各区間について、走行映像データベース12から各区間の走行映像を取得する。走行映像合成手段32は、各区間の走行映像を合成する。映像配信手段33は、合成された走行映像を、ユーザ装置14に配信する。本開示では、各区間の走行映像を合成するため、ユーザが指定する経路に沿って走行した車両がない場合でも、ユーザが指定した経路に沿って走行する車両の映像を一連の画像データとして表示できる。
以下、図面を参照しつつ、本開示の実施の形態を詳細に説明する。図2は、本開示の一実施形態に係る走行映像提供システムを示す。走行映像提供システム100は、映像収集サーバ120、走行映像DB(database)130、映像提供サーバ140、及びユーザ装置150を備える。走行映像提供システム100は、図1の走行映像提供システム10に対応する。
車両101-105は、少なくとも車両の前方(車両の前進方向)を撮影するカメラを搭載する。例えば、車両101は自家用車であり、車両102はバンであり、車両103はトラックであり、車両104はタクシーであり、車両105はバスであるとする。各車両は、カメラを用いて撮影された走行映像を、インターネットなどのネットワーク110を介して映像収集サーバ120に送信する。
映像収集サーバ120は、ネットワーク110を介して、不特定多数の車両から車載カメラの映像(走行映像)を収集する。映像収集サーバ120は、収集した走行映像を走行映像DB140に蓄積する。映像収集サーバ120は、各車両から受信した走行映像を、位置情報、及び進行方向などの情報と対応付けて走行映像DB140に記憶する。映像収集サーバ120は図1の映像収集サーバ11に対応し、走行映像DB140は図1の走行映像データベース12に対応する。
ユーザ装置150は、走行映像の配信を希望するユーザが使用する装置である。ユーザ装置150は、例えば通信機能を有するコンピュータ装置、スマートフォン、又はタブレットなどの装置として構成される。ユーザ装置150は、動画像を表示可能な表示装置を含む。表示装置は、例えば、ウェアラブル型のディスプレイ、又はヘッドマウント型ディスプレイなどの装置として構成されてもよい。
ユーザは、ユーザ装置150を使用して、映像提供サーバに映像配信要求を送信する。映像配信要求は、提供を受けたい走行映像の経路を指定する情報、及び映像条件を指定する情報を含む。ユーザは、例えばインターネットを通じて映像提供サーバ140にアクセスし、映像提供サーバ140が提供するwebページにおいて経路及び映像条件を指定する。ユーザ装置150は、図1のユーザ装置14に対応する。
図3は、映像提供サーバ(走行映像提供装置)140の構成例を示す。映像提供サーバ140は、要求受信部141、走行映像検索部142、走行映像合成部143、及び映像送信部144を有する。要求受信部141は、ユーザ装置150から映像配信要求を受信する。
走行映像検索部142は、映像配信要求において指定される経路、及び映像条件に基づいて、走行映像DB120(図2を参照)を検索する。走行映像検索部142は、例えば経路を1以上の区間に分割する。走行映像検索部142は、走行映像DB120に、各区間を走行する車両が撮影した走行映像が存在するか否かを調べる。走行映像検索部142は、走行映像が存在する場合、各区間の走行映像のうち、映像配信要求で指定される映像条件を満たす走行画像を、走行映像DB120から取得する。走行映像検索部142は、各区間において、映像条件を満たす走行映像が複数存在する場合は、走行した日時が最新の走行映像を取得してもよい。走行映像検索部142は、図1の走行映像検索手段31に対応する。
図4は、映像条件の一例を示す。映像条件は、例えば車両のタイプ、天候、時間帯、季節、及び進行方向を含む。車両のタイプは、例えば「普通車/タクシー」、「バン/小型トラック」、及び「トラック/バス」を含む。天候は、「晴」、「雨」、及び「雪」を含む。時間帯は、「朝(例えばAM5:00-AM9:00)」、「午前(例えば9:00-13:00)」、「午後(例えば13:00-17:00)」、「夕方(例えば17:00-19:00)」、及び「夜(例えば19:00-AM5:00)」を含む。季節は、「春(例えば4月-6月)」、「夏(例えば7月-9月)」、「秋(例えば10月-12月)」、及び「冬(例えば1月-3月)」を含む。進行方向は、「東」、「西」、「南」、及び「北」を含む。映像条件は、車両のタイプ、天候、時間帯、季節、及び進行方向の全てを含んでいる必要はなく、それらの少なくとも1つを含んでいればよい。
ユーザは、例えば車両のタイプが「普通車/タクシー」であり、天候が「晴」であり、時間帯が「午前」であり、季節が「冬」であり、かつ進行方向が「南」である映像条件を指定する。その場合、走行映像検索部142は、各区間について、車両の種別が普通車などに該当し、車両走行時の天候が晴であり、時間が午前中を示し、日付が冬を示し、かつ進行方向が南である走行映像を、走行映像DB120から取得する。例えば、走行映像DB120は、走行映像と、天候、日時、及び進行方向などの属性情報とを対応付けて記憶しており、走行映像検索部142は、属性情報を参照することで天候、時間帯、季節、進行方向を識別してもよい。
走行映像合成部143は、走行映像検索部142が取得した各区間の走行映像を合成する。例えば、各区間について同じ車両タイプの車両の走行映像を合成することで、視点(カメラと地表との間の距離)が同程度の画像(映像)を合成することができる。また、各区間について、同じ天候の走行映像を合成することで、照度が近い画像を合成することができる。各区間について、同じ時間帯の走行映像を合成することで、光度と光が指す方向とが近い画像を合成することができる。各区間について、同じ季節の走行映像を合成することで、景観が近い画像を合成することができる。走行映像合成部143は、図1の走行映像合成手段32に対応する。
映像送信部144は、走行映像合成部143が合成した走行映像を、車両が出発地点から目的地点まで経路に沿って走行した場合の走行映像として、ユーザ装置150に配信する。映像送信部144は、例えば合成された走行映像をユーザ装置150にストリーミング配信する。映像送信部144は、図1の映像配信手段33に対応する。
次いで、動作手順を説明する。走行映像提供システムの動作は、映像収集と、走行映像提供とに大別される。図5は、映像収集時の走行映像提供システムの動作手順を示す。車両101-105は、それぞれ搭載するカメラを用いて撮影された走行映像と、位置情報、車両の識別情報、及び車両のタイプなどの情報とを映像収集サーバ120に送信する。映像収集サーバ120は、ネットワーク110を介して、複数の車両101-105から走行映像を収集する(ステップA1)。映像収集サーバ120は、収集した走行映像を、位置情報、日時、及び方向などと対応付けて走行映像DB130に格納する(ステップA2)。
図6は、走行映像提供時の動作手順(走行映像提供方法)を示す。ユーザは、ユーザ装置150を操作し、走行映像を見たい経路、及び車両のタイプなどを含む映像条件を指定する。ユーザは、例えば出発地点と目的地点とを指定する。出発地点と目的地点との間に経由する地点は、ユーザが任意に指定してもよいし、ユーザ装置150又は映像提供サーバ140が経路検索アルゴリズムなどに従って自動的に決定してもよい。映像提供サーバ140の要求受信部141は、ユーザ装置150から映像配信要求を受信する(ステップB1)。
走行映像検索部142は、映像配信要求で指定される経路を複数の区間に分割する。走行映像検索部142は、例えば交差点などの分岐点ごとに、経路を複数の区間に分割する。走行映像検索部142は、各区間の位置情報及び映像条件に基づいて走行映像DB120を検索し、走行映像DB120から、経路に含まれる各区間の走行映像を取得する(ステップB2)。走行映像合成部143は、各区間の走行映像を合成する(ステップB3)。映像送信部144は、ユーザ装置150に合成した走行映像を配信する(ステップB4)。走行映像提供システム100の運営主体は、ユーザから走行映像の配信に対する対価を得てもよい。
以下、具体例を用いて各区間の走行映像の取得と、走行映像の合成とを説明する。図7は、ユーザが指定した経路の一部、及び各車両の走行ルートの一例を示す。ここでは、ユーザが映像配信要求において指定した経路が区間1、区間2、及び区間3を含むものとする。また、ユーザは、映像配信要求において普通車を車両のタイプとして指定したとする。
図7において、車Aは、破線で示されるように、区間1を区間2側に向けて走行したのち、交差点において左折し、ユーザが指定した経路外の地点へと向かう。車Bは、実線で示されるように、区間1及び区間2を区間3側に向けて走行した後、交差点において右折し、ユーザが指定した経路外の地点へと向かう。車Cは、一点鎖線で示されるように、経路外から区間2へ進入し、区間3を走行する。車A、車B、及び車Cは、全て普通車であるとする。車Aが区間1を走行した日時は11月11日の午前11時であったとする。また、車Bが区間1及び区間2を走行した日時は11月10日の午前10時であったとする。車Cが区間3を走行した日時は11月9日の午前9時であったとする。
図8は、走行映像DB120から取得され、合成される走行映像を示す。走行映像DB120は、区間1について、車Aの走行映像と、車Bの走行映像とを格納している。この場合、走行映像検索部142は、走行日時が新しい車Aの走行映像を、区間1の走行映像として取得する。また、走行映像DB120は、区間2について、車Bの走行映像と、車Cの走行映像とを格納している。走行映像検索部142は、走行日時が新しい車Bの走行映像を、区間2の走行映像として取得する。走行映像検索部142は、図7において区間3を走行した車両は車Cのみであるため、車Cの走行映像を区間3の走行映像として取得する。走行映像合成部143は、区間1の車Aの走行映像と、区間2の車Bの走行映像と、区間3の車Cの走行映像とを1つの走行映像に合成する。
図9は、ユーザが指定した経路の一部、及び各車両の走行ルートの別例を示す。図9において、車Dは、破線で示されるように、区間1を区間2側に向けて走行したのち、交差点において左折し、ユーザが指定した経路外の地点へと向かう。車Dの走行ルートと、図7における車Aの走行ルートとは同じである。車Dの車両のタイプはトラックであるとする。車Dが区間1を走行した日時は11月11日の午前11時であったとする。車B及び車Cの走行ルート及び走行日時は、図7の例と同様である。
図10は、走行映像DB120から取得され、合成される走行映像を示す。走行映像DB120は、区間1について、車Dの走行映像と、車Bの走行映像とを格納している。走行映像検索部142は、車両のタイプとして普通車が指定されている場合、車Bの走行映像を、区間1の走行映像として取得する。また、走行映像DB120は、区間2については、図8の例と同様に、走行日時が新しい車Bの走行映像を、区間2の走行映像として取得する。走行映像検索部142は、車Cの走行映像を区間3の走行映像として取得する。この場合、走行映像合成部143は、区間1及び区間2の車Bの走行映像と、区間3の車Cの走行映像とを1つの走行映像に合成する。
本実施形態において、走行映像検索部142は、不特定多数の車両から収集された走行映像を記憶し得る走行映像DB130から、ユーザが指定した経路に含まれる各区間の走行映像を取得する。走行映像合成部143は各区間の走行映像を合成し、映像送信部144は、合成された走行映像を一連の走行映像としてユーザ装置150に配信する。このようにすることで、ユーザは、任意の地点間を走行した映像を見ることができる。
また、本実施形態では、ユーザは車両のタイプなどを映像条件として指定することができる。走行映像検索部142が各区間について同じタイプの車両の走行画像を取得することで、ユーザは例えば視点の高さが揃えられた走行映像を見ることができる。
走行映像提供システム100は、例えば下記の場面において使用され得る。ユーザは、旅行などで初めて訪れる地域において、出発地点と目的地点とを指定して、映像配信要求を映像提供サーバ140に送信する。このとき、ユーザは、映像条件において、ユーザが運転する車と同じタイプの車両を指定する。ユーザは、配信された走行映像を見ることで、訪れたことがない地域において実際に車を運転する前に、自身の車のタイプと同じ目線で事前に運転を疑似体験できる。
なお、走行映像合成部143は、合成において、ある区間の走行映像に対し、映像の視点を変更する画像処理を行ってもよい。走行映像合成部143は、視点が変更されたその区間の走行映像と、他の区間の走行映像とを合成してもよい。例えば、ある区間について、映像条件で指定されるタイプの車両の走行映像が走行映像DB130に存在しない場合がある。その場合、走行映像検索部142は、その区間について、映像条件で指定される車両のタイプとは異なるタイプの車両の走行映像を取得してもよい。例えば、指定される車両のタイプが「普通車」であるとき、走行映像DB130にはある区間について車両のタイプが「トラック」の走行映像しか存在しない場合、走行映像検索部142は、「トラック」の走行映像を取得してもよい。走行映像合成部143は、「トラック」の走行映像に対し、視点を下げる画像処理を行ってもよい。走行映像合成部143は、視点が下げられた走行映像と、他の区間の「普通車」の走行映像とを合成してもよい。その場合も、合成される走行映像の間で、視点の位置を揃えることができる。
続いて、映像収集サーバ120及び映像提供サーバ140の物理構成を説明する。図11は、映像収集サーバ120及び映像提供サーバ140として用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置500は、制御部(CPU:Central Processing Unit)510、記憶部520、ROM(Read Only Memory)530、RAM(Random Access Memory)540、通信インタフェース(IF:Interface)550、及びユーザインタフェース560を有する。
通信インタフェース550は、有線通信手段又は無線通信手段などを介して、コンピュータ装置500と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース560は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース560は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
記憶部520は、各種のデータを保持できる補助記憶装置である。記憶部520は、必ずしもコンピュータ装置500の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置500に接続されたクラウドストレージであってもよい。記憶部520は、例えば図2に示される走行映像DB130として用いられ得る。
ROM530は、不揮発性の記憶装置である。ROM530には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。CPU510が実行するプログラムは、記憶部520又はROM530に格納され得る。記憶部520又はROM530は、例えば映像収集サーバ120又は映像提供サーバ140内の各部の機能を実現するための各種プログラムを記憶する。
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ装置500に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、CD(compact disc)、又はDVD(digital versatile disk)などの光ディスク媒体、及び、マスクROM、PROM(programmable ROM)、EPROM(erasable PROM)、フラッシュROM、又はRAMなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
RAM540は、揮発性の記憶装置である。RAM540には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM540は、データなどを一時的に格納する内部バッファとして用いられ得る。CPU510は、記憶部520又はROM530に格納されたプログラムをRAM540に展開し、実行する。CPU510がプログラムを実行することで、映像収集サーバ120又は映像提供サーバ140内の各部の機能が実現され得る。CPU510は、データなどを一時的に格納できる内部バッファを有してもよい。
以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
複数の車両が撮影した走行映像を受信し、前記走行映像と該走行映像が撮影された位置情報とを走行映像データベースに蓄積する映像収集サーバと、
経路を指定する情報を含む映像配信要求を受信し、前記映像配信要求において指定された経路に沿って車両が走行した場合の走行映像をユーザに配信する映像提供サーバと、
前記配信された走行映像を受信して表示するユーザ装置とを備え、
前記映像提供サーバは、
前記ユーザから前記映像配信要求が受信された場合、前記走行映像データベースを検索し、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する走行映像検索手段と、
前記経路に含まれる各区間の走行映像を合成する走行映像合成手段と、
前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像として前記ユーザ装置に配信する映像配信手段とを有する、走行映像提供システム。
[付記2]
前記映像配信要求は、映像条件を指定する情報を更に含み、
前記走行映像検索手段は、前記経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像のうち、前記映像条件を満たす走行映像を取得する付記1に記載の走行映像提供システム。
[付記3]
前記映像条件は、車両のタイプ、天候、時間帯、季節、及び進行方向の少なくとも1つを含む付記2に記載の走行映像提供システム。
[付記4]
前記走行映像検索手段は、各区間について、前記走行映像データベースに前記映像条件を満たす走行映像が複数ある場合は、該複数の走行映像のうちで最新の走行映像を取得する付記2又は3に記載の走行映像提供システム。
[付記5]
前記走行映像検索手段は、前記経路を複数の区間に分割し、前記走行映像データベースから、各区間について走行映像を取得する付記1から4何れか1つに記載の走行映像提供システム。
[付記6]
前記走行映像検索手段は、分岐点ごとに前記経路を複数の区間に分割する付記5に記載の走行映像提供システム。
[付記7]
前記ユーザ装置は、ウェアラブル型又はヘッドマウント型の表示装置を含む付記1から5何れか1つに記載の走行映像提供システム。
[付記8]
前記走行映像合成手段は、一の区間の走行映像に対して、映像の視点を変更する画像処理を行い、視点が変更された前記一の区間の走行映像と他の区間の走行映像とを合成する付記1から7何れか1つに記載の走行映像提供システム。
[付記9]
ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索し、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する走行映像検索手段と、
前記経路に含まれる各区間の走行映像を合成する走行映像合成手段と、
前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する映像配信手段とを備える走行映像提供装置。
[付記10]
前記映像配信要求は、映像条件を指定する情報を更に含み、
前記走行映像検索手段は、前記経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像のうち、前記映像条件を満たす走行映像を取得する付記9に記載の走行映像提供装置。
[付記11]
前記走行映像検索手段は、各区間について、前記走行映像データベースに前記映像条件を満たす走行映像が複数ある場合は、該複数の走行映像のうちで最新の走行映像を取得する付記10に記載の走行映像提供装置。
[付記12]
ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索して、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得し、
前記経路に含まれる各区間の走行映像を合成し、
前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する走行映像提供方法。
[付記13]
ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索して、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得し、
前記経路に含まれる各区間の走行映像を合成し、
前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
10、100:走行映像提供システム
11、120:映像収集サーバ
12、130:走行映像データベース
13、140:映像提供サーバ
14、150:ユーザ装置
31:走行映像検索手段
32:走行映像合成手段
33:映像配信手段
141:要求受信部
142:走行映像検索部
143:走行映像合成部
144:映像送信部

Claims (10)

  1. 複数の車両が撮影した走行映像を受信し、前記走行映像と該走行映像が撮影された位置情報とを走行映像データベースに蓄積する映像収集サーバと、
    経路を指定する情報を含む映像配信要求を受信し、前記映像配信要求において指定された経路に沿って車両が走行した場合の走行映像をユーザに配信する映像提供サーバと、
    前記配信された走行映像を受信して表示するユーザ装置とを備え、
    前記映像提供サーバは、
    前記ユーザから前記映像配信要求が受信された場合、前記走行映像データベースを検索し、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する走行映像検索手段と、
    前記経路に含まれる各区間の走行映像を合成する走行映像合成手段と、
    前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像として前記ユーザ装置に配信する映像配信手段とを有し、
    前記走行映像検索手段が取得する走行映像は、前記指定された経路に含まれる第1の区間を走行した第1の車両が撮影した第1の走行映像と、前記指定された経路に含まれる、第2の区間を走行した、前記第1の車両とは異なる第2の車両が撮影した第2の走行映像とを含み、
    前記走行映像合成手段は、前記第1の走行映像と前記第2の走行映像とを合成する、走行映像提供システム。
  2. 前記映像配信要求は、映像条件を指定する情報を更に含み、
    前記走行映像検索手段は、前記経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像のうち、前記映像条件を満たす走行映像を取得する請求項1に記載の走行映像提供システム。
  3. 前記映像条件は、車両のタイプ、天候、時間帯、及び節の少なくとも1つを含む請求項2に記載の走行映像提供システム。
  4. 前記走行映像検索手段は、前記映像条件として前記車両のタイプを基に前記走行映像データベースを検索し、指定された前記車両のタイプの走行映像が存在しない場合、前記車両のタイプとは異なる車両のタイプの走行映像を取得する、請求項2又は3に記載の走行映像提供システム。
  5. 前記走行映像合成手段は、取得した前記異なる車両のタイプの走行映像の視点が、指定された前記車両のタイプの映像における視点と揃うように、前記異なる車両のタイプの走行映像に対して画像処理を行う、請求項4に記載の走行映像提供システム。
  6. 前記走行映像検索手段は、各区間について、前記走行映像データベースに前記映像条件を満たす走行映像が複数ある場合は、該複数の走行映像のうちで最新の走行映像を取得する請求項2から5何れか1項に記載の走行映像提供システム。
  7. 前記走行映像検索手段は、前記経路を複数の区間に分割し、前記走行映像データベースから、各区間について走行映像を取得する請求項1から何れか1項に記載の走行映像提供システム。
  8. ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索し、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得する走行映像検索手段と、
    前記経路に含まれる各区間の走行映像を合成する走行映像合成手段と、
    前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信する映像配信手段とを備え
    前記走行映像検索手段が取得する走行映像は、前記指定された経路に含まれる第1の区間を走行した第1の車両が撮影した第1の走行映像と、前記指定された経路に含まれる、第2の区間を走行した、前記第1の車両とは異なる第2の車両が撮影した第2の走行映像とを含み、
    前記走行映像合成手段は、前記第1の走行映像と前記第2の走行映像とを合成する、走行映像提供装置。
  9. ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索して、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得し、
    前記経路に含まれる各区間の走行映像を合成し、
    前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信することを有し、
    前記走行映像を取得することは、前記指定された経路に含まれる第1の区間を走行した第1の車両が撮影した第1の走行映像と、前記指定された経路に含まれる、第2の区間を走行した、前記第1の車両とは異なる第2の車両が撮影した第2の走行映像とを取得することを含み、
    前記走行映像を合成することは、前記第1の走行映像と前記第2の走行映像とを合成することを含む、走行映像提供方法。
  10. ユーザから、経路を指定する情報を含む映像配信要求が受信された場合、複数の車両が撮影した走行映像と該走行映像が撮影された位置情報とを記憶する走行映像データベースを検索して、前記指定された経路に含まれる1以上の区間のそれぞれを走行した車両が撮影した走行映像を取得し、
    前記経路に含まれる各区間の走行映像を合成し、
    前記合成された走行映像を、前記経路に沿って車両が走行した場合の走行映像としてユーザ装置に配信することを含み、
    前記走行映像を取得することは、前記指定された経路に含まれる第1の区間を走行した第1の車両が撮影した第1の走行映像と、前記指定された経路に含まれる、第2の区間を走行した、前記第1の車両とは異なる第2の車両が撮影した第2の走行映像とを取得することを含み、
    前記走行映像を合成することは、前記第1の走行映像と前記第2の走行映像とを合成することを含む処理をコンピュータに実行させるためのプログラム。
JP2022507128A 2020-03-12 2020-03-12 走行映像提供システム、装置、方法、及びプログラム Active JP7367848B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/010885 WO2021181621A1 (ja) 2020-03-12 2020-03-12 走行映像提供システム、装置、方法、及びコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2021181621A1 JPWO2021181621A1 (ja) 2021-09-16
JPWO2021181621A5 JPWO2021181621A5 (ja) 2022-10-21
JP7367848B2 true JP7367848B2 (ja) 2023-10-24

Family

ID=77671318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507128A Active JP7367848B2 (ja) 2020-03-12 2020-03-12 走行映像提供システム、装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230064195A1 (ja)
JP (1) JP7367848B2 (ja)
WO (1) WO2021181621A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014062805A (ja) 2012-09-21 2014-04-10 Jvc Kenwood Corp 映像情報提供装置及び方法
JP2017068640A (ja) 2015-09-30 2017-04-06 ヤマハ株式会社 車両間データ通信装置
JP2017138694A (ja) 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797402B2 (en) * 2002-11-19 2014-08-05 Hewlett-Packard Development Company, L.P. Methods and apparatus for imaging and displaying a navigable path
US20110102637A1 (en) * 2009-11-03 2011-05-05 Sony Ericsson Mobile Communications Ab Travel videos
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
JP6443409B2 (ja) * 2016-08-08 2018-12-26 トヨタ自動車株式会社 送信要否判定装置及び進路計画システム
WO2018116485A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 映像収集システム、映像収集サーバ、映像収集方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014062805A (ja) 2012-09-21 2014-04-10 Jvc Kenwood Corp 映像情報提供装置及び方法
JP2017068640A (ja) 2015-09-30 2017-04-06 ヤマハ株式会社 車両間データ通信装置
JP2017138694A (ja) 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法

Also Published As

Publication number Publication date
JPWO2021181621A1 (ja) 2021-09-16
WO2021181621A1 (ja) 2021-09-16
US20230064195A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
JP4321128B2 (ja) 画像サーバ、画像収集装置、および画像表示端末
US8797402B2 (en) Methods and apparatus for imaging and displaying a navigable path
DE112020000110T5 (de) Nutzung von in fahrzeugen erfassten fahrgastaufmerksamkeitsdaten fürlokalisierungs- und standortbezogene dienste
US20160123743A1 (en) Classifying routes of travel
US20110102637A1 (en) Travel videos
CN106412495A (zh) 使用大范围移动延时摄影视频的车辆和社交网络
US20130242098A1 (en) Traffic information system
JP7275556B2 (ja) 情報処理システム、プログラム、及び情報処理方法
JP4965475B2 (ja) 仮想移動表示装置
US11657657B2 (en) Image data distribution system and image data display terminal
CN107784831A (zh) 车联网路况视频采集平台及方法
CN111275787A (zh) 一种利用行车记录仪绘制地图的方法及系统
JP7367848B2 (ja) 走行映像提供システム、装置、方法、及びプログラム
JP7232604B2 (ja) ナビゲーションシステム、ナビゲーション表示方法、およびナビゲーション表示プログラム
JP6606354B2 (ja) 経路表示方法、経路表示装置及びデータベース作成方法
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
CN112004060B (zh) 用于景区的无人机观光方法
CN116337095A (zh) 基于地图的旅程记录与分享方法、系统及存储介质
JP5176605B2 (ja) 映像検索装置
JP7459310B2 (ja) 配信制御装置、配信仲介サーバ、及び、配信仲介方法
US11808599B2 (en) Route recording with real-time annotation and re-display system
JP2023157912A (ja) 生成装置、生成方法および生成プログラム
Huang et al. GrabView: A scalable street view system for images taken from different devices
KR20100022247A (ko) 차량의 여행일지 기록시스템
TW201928601A (zh) 用於移動載具的擴增實境的系統及方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R151 Written notification of patent or utility model registration

Ref document number: 7367848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151