JP7139967B2 - サーバ、サーバ制御方法、及びサーバ制御プログラム - Google Patents

サーバ、サーバ制御方法、及びサーバ制御プログラム Download PDF

Info

Publication number
JP7139967B2
JP7139967B2 JP2019008342A JP2019008342A JP7139967B2 JP 7139967 B2 JP7139967 B2 JP 7139967B2 JP 2019008342 A JP2019008342 A JP 2019008342A JP 2019008342 A JP2019008342 A JP 2019008342A JP 7139967 B2 JP7139967 B2 JP 7139967B2
Authority
JP
Japan
Prior art keywords
server
communication terminal
image
road
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019008342A
Other languages
English (en)
Other versions
JP2020119131A (ja
Inventor
英男 長谷川
恵子 亀田
美紗 江尻
真太郎 成瀬
忠大 柏井
尚哉 岡
健介 小池
宏之 文字
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019008342A priority Critical patent/JP7139967B2/ja
Priority to US15/929,187 priority patent/US10957131B2/en
Priority to CN202010038329.2A priority patent/CN111462513B/zh
Publication of JP2020119131A publication Critical patent/JP2020119131A/ja
Priority to US17/176,675 priority patent/US11354953B2/en
Application granted granted Critical
Publication of JP7139967B2 publication Critical patent/JP7139967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、サーバ、サーバ制御方法、サーバ制御プログラム、通信端末、端末制御方法、及び端末制御プログラムに関する。
従来、車載装置から映像要求を受信すると、車両がこれから走行する経路に設置されたカメラより映像を受信し、その映像を車両に送信するシステムが知られている（例えば特許文献１）。
特開２００６－０９９１７６号公報
上記カメラは道路に設置された固定カメラであるため、車両の走行予定経路上におけるカメラ設置地点の映像しか車両に送信することができない。このため、例えば車両の運転者は、送信された映像から走行予定経路の様子を必ずしも十分に認識できない。このように、車両の走行予定経路に関する映像を提供する従来の技術には改善の余地がある。
上記のような問題点に鑑みてなされた本発明の目的は、車両の走行予定経路に関する映像を提供する技術を改善することができるサーバ、サーバ制御方法、サーバ制御プログラム、通信端末、端末制御方法、及び端末制御プログラムを提供することである。
本発明の一実施形態に係るサーバは、
サーバ制御部とサーバ通信部とサーバ記憶部とを含むサーバであって、
前記サーバ通信部を介して通信端末と接続可能に構成され、
前記サーバ制御部は、
走行中の車両によって撮像された映像を道路ごとに対応付けて前記サーバ記憶部に記憶し、
前記通信端末からの要求に応じて走行予定経路を決定し、
前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得し、
前記映像を前記通信端末に送信し、表示させる。
本発明の一実施形態に係るサーバ制御方法は、
サーバ制御部とサーバ通信部とサーバ記憶部とを含むサーバにおけるサーバ制御方法であって、
前記サーバは前記サーバ通信部を介して通信端末と接続可能に構成され、
走行中の車両によって撮像された映像を道路ごとに対応付けて前記サーバ記憶部に記憶するステップと、
前記通信端末からの要求に応じて走行予定経路を決定するステップと、
前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得するステップと、
前記映像を前記通信端末に送信し、表示させるステップと、
を含む。
本発明の一実施形態に係るサーバ制御プログラムは、
サーバ制御部とサーバ通信部とサーバ記憶部とを含み、前記サーバ通信部を介して通信端末と接続可能に構成されたサーバに、
走行中の車両によって撮像された映像を道路ごとに対応付けて前記サーバ記憶部に記憶するステップと、
前記通信端末からの要求に応じて走行予定経路を決定するステップと、
前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得するステップと、
前記映像を前記通信端末に送信し、表示させるステップと、
を実行させる。
本発明の一実施形態に係る通信端末は、
制御部と通信部と表示部と記憶部とを含む通信端末であって、
前記通信部を介してサーバと通信可能に構成され、
前記制御部は、
車両の走行予定経路を構成する１以上の道路のそれぞれに対応する映像を送信するよう前記サーバに要求し、
前記映像を前記サーバから取得し、
前記映像を前記記憶部に記憶し、
前記走行予定経路にしたがった順番で、取得された前記映像を前記表示部に表示する。
本発明の一実施形態に係る端末制御方法は、
制御部と通信部と表示部と記憶部とを含む通信端末における端末制御方法であって、
前記通信端末は前記通信部を介してサーバと通信可能に構成され、
車両の走行予定経路を構成する１以上の道路のそれぞれに対応する映像を送信するよう前記サーバに要求するステップと、
前記映像を前記サーバから取得するステップと、
前記映像を前記記憶部に記憶するステップと、
前記走行予定経路にしたがった順番で、取得された前記映像を前記表示部に表示するステップと、
を含む。
本発明の一実施形態に係る端末制御プログラムは、
制御部と通信部と表示部と記憶部とを含み、前記通信部を介してサーバと通信可能に構成された通信端末に、
車両の走行予定経路を構成する１以上の道路のそれぞれに対応する映像を送信するよう前記サーバに要求するステップと、
前記映像を前記サーバから取得するステップと、
前記映像を前記記憶部に記憶するステップと、
前記走行予定経路にしたがった順番で、取得された前記映像を前記表示部に表示するステップと、
を実行させる。
本発明のサーバ、サーバ制御方法、サーバ制御プログラム、通信端末、端末制御方法、及び端末制御プログラムによれば、車両の走行予定経路に関する映像を提供する技術を改善することができる。
本実施形態の情報処理システムの全体図である。 通信端末の機能ブロック図である。 サーバの機能ブロック図である。 サーバに記憶されるデータの一例を示す図である。 通信端末の第１の画面例を示す図である。 図４Ａに示す画面の一部を選択したときに表示される画面を示す図である。 通信端末の第２の画面例を示す図である。 通信端末の第３の画面例を示す図である。 サーバにおいて実行される処理のフローチャートである。 通信端末において実行される処理のフローチャートである。
以下、図面を用いて本発明の実施形態が説明される。
図１は、本実施形態の情報処理システムＳの全体図である。情報処理システムＳは、互いに接続可能に構成された通信端末１とサーバ２とを含む。図１では説明の簡便のため、２つの通信端末１及び１つのサーバ２が図示されている。しかし、通信端末１及びサーバ２のそれぞれの数はこれに限られない。通信端末１は例えば、車内に設置される携帯通信端末、又は、車両に内蔵されたカーナビゲーションシステム等の任意の通信端末であってよい。通信端末１とサーバ２とは、例えば移動体通信網及びインターネット等を含むネットワークＮＷを介して通信可能に構成される。
まず、本実施形態の情報処理システムＳが実行する処理の概要が説明される。サーバ２は、走行中の任意の車両によって撮像された映像を道路ごとに対応付けてサーバ記憶部２２に記憶する。通信端末１は一例として、車内の、運転席から視認可能な位置に設置され、ユーザにより操作される。本実施形態の通信端末１は表示部１７を介してカーナビゲーション機能を提供する。ユーザは車両への乗車前、又は、乗車後且つ発進前に通信端末１を操作して、所望の走行予定経路の探索を要求する。通信端末１は、その走行予定経路を構成する１以上の道路のそれぞれに対応する映像をサーバ記憶部２２から取得し、その映像を表示する。
このように本実施形態によれば、情報処理システムＳは、ユーザに、車両からの視点での映像を提供する。よって情報処理システムＳはこれから走行する走行予定経路の様子（例えば障害物はあるか否か、道幅は広いか否か等）をユーザが認識することを支援することができる。このように情報処理システムＳは、車両の走行予定経路に関する映像を提供する技術を改善する。更に官公庁又は自治体等はこの映像を取得して、観光用ドライブマップ等の作成に利用することができる。
通信端末１とサーバ２とのそれぞれの内部構成が詳細に説明される。
図２Ａに示すように通信端末１は、撮像部１１と位置情報取得部１２と記憶部１３と制御部１４と通信部１５と入力部１６と表示部１７とを備える。
撮像部１１は、いわゆる車載カメラを含み、外部（例えば前方）の映像を撮像する。撮像部１１は、外部の映像を生成し、生成した映像を記憶部１３に記録してよい。
位置情報取得部１２は、任意の衛星測位システムに対応する１つ以上の受信機を含む。例えば位置情報取得部１２は、ＧＰＳ（Global Positioning System）受信機を含んでもよい。位置情報取得部１２は、通信端末１の位置を示す位置情報を検出する。位置情報取得部１２は更に電子コンパスを含んでよく、通信端末１が向いている方向の情報を取得してよい。
記憶部１３は１つ以上のメモリを含む。「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１３に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１３は、制御部１４によって分析又は処理された結果の情報を記憶してよい。記憶部１３は、通信端末１の動作又は制御に関する各種情報等（例えばサーバ２から取得された映像）を記憶してよい。
制御部１４は１つ以上のプロセッサを備える。「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであってよい。例えば、制御部１４は、通信端末１の全体の動作を制御する。制御部１４は、通信端末１に含まれる他の機能部の制御を行う。
通信部１５は、通信端末１とサーバ２との間の通信を行う通信モジュールを含む。通信部１５は、ネットワークＮＷに接続する通信モジュール、或いは、４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応する通信モジュールを含んでもよい。
入力部１６は、ユーザ入力を検出し、入力情報を制御部１４に送る入力インタフェースを含む。入力インタフェースは、たとえば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、または音声入力を受け付けるマイクロフォン等であるが、これらに限られず、任意の入力部であってもよい。
表示部１７は、制御部１４が生成した情報又は記憶部１３から読み出された情報を、ユーザに対して表示する表示インタフェース、例えばパネルディスプレイを含む。通信端末１がカーナビゲーションシステムである他の実施形態では、表示部１７はヘッドアップディスプレイを含んでよい。
図２Ｂに示すように、サーバ２はサーバ通信部２１とサーバ記憶部２２とサーバ制御部２３とを備える。
サーバ通信部２１は、通信端末１とサーバ２との間の通信を行う通信モジュールを含む。サーバ通信部２１は、ネットワークＮＷに接続する通信モジュールを含んでもよい。サーバ通信部２１は、通信端末１から出力された情報を取得するとともに、その情報を、ネットワークＮＷを介して接続された他の任意の端末へ送信することができる。
サーバ記憶部２２は１つ以上のメモリを含む。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、例えば、通信端末１から出力された情報を記憶する。サーバ記憶部２２は、サーバ制御プログラム又は情報処理システムＳの全体の動作又は制御に関する各種プログラムを記憶してよい。
サーバ制御部２３は１つ以上のプロセッサを備える。サーバ制御部２３は、サーバ通信部２１、サーバ記憶部２２の制御を行うとともに、サーバ２の全体の動作に関する全ての制御を行う。例えばサーバ制御部２３は、ネットワークＮＷに接続された走行中の車両から映像を取得し、画像解析によりその映像から種々の情報を取得又は判定することができる。その画像解析には、例えば機械学習等、任意の画像解析手法を採用可能である。
以下、通信端末１及びサーバ２が実行する制御方法を詳細に説明する。
サーバ２はネットワークＮＷを介して、道路を走行する任意の１以上の車両から、車両前方を撮像した映像と、その映像が撮像されたときの車両の位置情報及び日時情報とを受信してサーバ記憶部２２に蓄積する。サーバ２は車両の車種情報を予め記憶する。サーバ２は更に道路地図情報を予め記憶しており、その道路地図情報と車両から受信した位置情報とから、映像撮像時にその車両が走行していた道路と、その道路の道幅と、その道路上での車両の走行方向（例えば上り又は下り等）とを判定する。サーバ２は、映像から、映像内の天気、道路上の注意オブジェクト（例えば、障害物、急に道路に飛び出した歩行者、事故現場等）の有無を判定する。サーバ２は更に、撮像日時に基づいて、映像の評価値を算出することができる。例えば評価値は、撮像日時が新しいほど高くてよい。サーバ２は更に、映像の画質に基づいて評価値を算出してよい。
サーバ２は、映像とその映像に関する上記のメタデータとを、図３に示すようにサーバ記憶部２２のデータベースに記憶する。メタデータは例えば、道路ＩＤ、道幅、車両の車種、映像が撮像されたときの日時、映像内の天気、車両の走行方向、注意オブジェクトの有無、算出された評価値等を含むが、これらに限られない。他の実施形態では更に、メタデータは、撮像日時に応じた時間帯（例えば昼、夜等）を含んでよい。
サーバ２は、評価値の算出に用いられた項目以外の所定の項目の値が同一である２以上の映像が同一の道路に対応付けられているとき、評価値が最も高い映像以外の映像を削除することができる。例えばサーバ２は、同一の道路Ｌ０１に対して、日時以外の所定の項目（ここでは道幅、車種、天気、方向、及び注意オブジェクトの有無）の値が映像Ｖ０１と映像Ｖ０５とで同一であると判定する。このときサーバ２は、映像Ｖ０１と映像Ｖ０５との評価値がそれぞれ２と９であると判定し、映像Ｖ０１を削除する。代替例としてサーバ２は、評価値が所定値以下の映像を削除してよい。
通信端末１はユーザから、入力部１６を介して走行予定経路の探索要求を受け付ける。
通信端末１は、その走行予定経路に関する情報（例えば出発地と目的地）をサーバ２に通知する。
サーバ２は走行予定経路に関する情報から、走行予定経路を探索して決定する。サーバ２は、決定された走行予定経路を構成する１以上の道路のそれぞれに対応する映像をサーバ記憶部２２から抽出する。サーバ２は抽出した映像とそれに対応付けられた項目の少なくとも１つとを通信端末１へ送信する。
通信端末１は映像を取得すると、取得した映像を車両の走行予定経路にしたがって表示部１７に表示する。通信端末１が複数の映像を取得したとき、通信端末１はその複数の映像をつなげて表示する。
表示部１７に表示される映像が図４Ａに示される。図４Ａに示すように通信端末１は、走行予定経路が決定されたことを示す通知Ｎ１を表示してよい。更に通信端末１は表示部１７に領域４１を表示してよい。通信端末１は、領域４１に対するユーザ選択を受け付けると、表示中の映像に対応する道路を迂回する新たな走行予定経路を探索及び決定するようサーバ２に要求する。サーバ２は、決定した新たな走行予定経路を構成する１以上の道路に対応する映像をサーバ記憶部２２から取得すると、その映像を通信端末１に送信する。通信端末１はサーバ２から取得した映像を表示部１７に表示する。
他の実施形態では、サーバ２は、通信端末１が設置された車両の車幅を記憶する。サーバ２は、その車幅と、映像内の道路の道幅とから、通信端末１が設置された車両が走行可能か否かを判定してよい。具体的にはサーバ２は、道幅と、車幅に所定の余裕値を加算した値との大小を比較する。前者が後者以上であるとき、サーバ２は車両が走行可能であると判定する。一方で前者が後者未満であるとき、サーバ２は車両が走行不可能であると判定して、その道路を迂回する別の道路につき、車両が走行可能か否かを判定する。サーバ２は、走行可能と判定された道路からなる走行予定経路を構成する１以上の道路に対応する映像をサーバ記憶部２２から取得する。サーバ２は、取得した映像を通信端末１に送信する。代替例として通信端末１は、走行予定経路を構成する道路が注意オブジェクトを含むと判定すると、注意オブジェクトを含まない新たな走行予定経路を探索してよい。
図４Ａに示すように、通信端末１は領域４２において映像の再生速度を表示する。通信端末１は、表示中の映像の内容に応じて、映像の再生速度を変更してよい。例えば通信端末１は、映像が表示中、注意オブジェクトが表示されているときの映像を標準速度で表示し、注意オブジェクトが表示されていないときの映像を早送りして表示する。
通信端末１は、表示中の映像に対応する道路に別の映像が対応付けられているとき、それぞれの映像に対応付けられた項目を選択可能に表示する。例えば通信端末１が映像Ｖ０５を表示している場合をここで説明する。図３に示すように映像Ｖ０５に対応する道路Ｌ０１には別の映像Ｖ０３が対応付けられている。通信端末１は、図４Ａに示す領域４３に示すように、車種、天気、及び日時を選択可能に表示する。通信端末１は、図４Ａに示すボタンＢ１に対するユーザ選択Ｆ１を受け付けると、図４Ｂに示すように、映像Ｖ０５に対応付けられた天気（すなわち、晴れ）と、映像Ｖ０３に対応付けられた天気（すなわち、曇り）とを選択可能に表示する。矢印Ａ１は、表示中の映像Ｖ０５に対応付けられた天気を示す。通信端末１は、映像Ｖ０３に対応付けられた天気（曇り）に対するユーザ選択を受け付けると、映像Ｖ０３をサーバ２から取得し、映像Ｖ０５に代えて表示部１７に表示する。
表示中の映像が注意オブジェクトを含むとき、通信端末１は図５に示すように、注意オブジェクトと共に警告表示Ｗ１を表示してよい。
表示中の映像に対応する道路に、注意オブジェクトが有る場合の映像と注意オブジェクトが無い場合の別の映像とが対応付けられているとき、通信端末１は図５に示すように、それらの映像の並列表示を行うボタンＢ２を表示してよい。そのボタンＢ２に対するユーザ選択を受け付けると、通信端末１は注意オブジェクトが無い場合の別の映像をサーバ２から取得する。通信端末１は、図６に示すように、注意オブジェクトが有る場合の映像６１Ａと、注意オブジェクトが無い場合の映像６１Ｂとを並べて表示する。このとき通信端末１は、映像６１Ａに表示される位置と映像６１Ｂに表示される位置とが略同一であるように、映像６１Ａと映像６１Ｂとの少なくとも一方の再生速度を調節してよい。通信端末１は、ボタンＢ３に対するユーザ選択を受け付けると、並列表示を解除する。
図７に、サーバ２が任意の時点で実行する処理のフローチャートを示す。
ステップＳ１：サーバ２は、１以上の任意の車両から映像を受信する。
ステップＳ２：サーバ２は、受信した映像を道路ごとに対応付けてサーバ記憶部２２に記憶する。
ステップＳ３：サーバ２は、映像ごとに評価値を算出する。算出方法は上記の通りであるためここでの説明を省略する。
ステップＳ４：サーバ２は、評価値が最も高い映像以外の映像を削除する。
図８に、通信端末１が任意の時点で実行する処理のフローチャートを示す。
ステップＳ１１：通信端末１は、ユーザから走行予定経路の探索要求を受け付ける。
ステップＳ１２：通信端末１は、走行予定経路を決定することと、決定された走行予定経路を構成する１以上の道路のそれぞれに対応する映像を送信することをサーバ２に要求する。
ステップＳ１３：通信端末１は、映像をサーバ２から取得する。
ステップＳ１４：通信端末１は、サーバ２から取得した映像を表示する。
ステップＳ１５：通信端末１は、表示中の映像に対し、所定の表示処理（例えば再生速度の変更）を実行する。
ステップＳ１６：通信端末１は、ユーザから、映像に対応付けられた項目（例えば、車種、日時、天気等）につき、ユーザから選択を受け付けたか否かを判定する。
ステップＳ１７：通信端末１は、ユーザから項目の選択を受け付けていないと判定すると（ステップＳ１６のＮｏ）、表示中の映像に対応する道路の迂回指示をユーザから受け付けたか否かを判定する。
ステップＳ１８：通信端末１は、ユーザから迂回指示を受け付けていないとき（ステップＳ１７のＮｏ）、サーバ２から受信した映像を最後まで表示すると、映像の表示を停止する。
以上述べたように、本実施形態によれば、サーバ２は、走行中の車両によって撮像された映像を道路ごとに対応付けてサーバ記憶部２２に記憶し、通信端末１からの要求に応じて走行予定経路を決定する。サーバ２はその走行予定経路を構成する１以上の道路のそれぞれに対応する映像をサーバ記憶部２２から取得し、映像を通信端末１に送信し表示させる。このようにサーバ２は、これから車両が走行する走行予定経路の様子を運転者が認識することを支援して、車両の走行予定経路に関する映像を提供する技術を改善する。
また本実施形態によれば、サーバ２は、映像を表示中の通信端末１からの迂回要求に応じて、通信端末１に表示中の映像に対応する道路を迂回する走行予定経路を決定する。サーバ２は決定された走行予定経路を構成する１以上の道路のそれぞれに対応する映像をサーバ記憶部２２から取得する。サーバ２は、取得された映像を通信端末１に送信する。この構成によりサーバ２は、表示中の映像に対応する道路が通りにくいものであるとき、ユーザが迂回路を容易に探索することを可能にして、ユーザの利便性を向上させる。
また本実施形態によれば、サーバ２は、通信端末１が設置される車両の車幅を記憶し、道路の道幅と車幅とから、通信端末１が設置される車両がその道路を走行可能か否かを判定する。サーバ２は、走行可能と判定された道路からなる走行予定経路を構成する１以上の道路のそれぞれに対応する映像をサーバ記憶部２２から取得し、取得された映像を通信端末１に送信する。この構成により、サーバ２は、ユーザが通りにくい道を走行するおそれを低減することができる。
また本実施形態によれば、サーバ２は、車両によって撮像された映像に対応付けて、道路の道幅と、車両の車種と、映像が撮像されたときの日時と、映像内の天気と、車両の走行方向と、映像内の注意オブジェクトの有無とのうち少なくとも１つを記憶する。この構成によりサーバ２は、映像に関連付けられた上記の様々な情報を通信端末１に提供し、走行予定経路の様子の認識に役立てることができる。
また本実施形態によればサーバ２は、映像が撮像されたときの日時を含む項目に基づいて映像ごとに評価値を算出し、その項目以外の所定の項目の値が同一である２以上の映像が同一の道路に対応付けられているとき、評価値が最も高い映像以外の映像を削除する。この構成によりサーバ２は、サーバ２に記憶されるデータ量を低減することができる。
また本実施形態によれば、通信端末１は、車両の走行予定経路を構成する１以上の道路のそれぞれに対応する映像を送信するようサーバ２に要求し、映像をサーバ２から取得し、映像を記憶部１３に記憶し、走行予定経路にしたがった順番で、取得された映像を表示部１７に表示する。この構成により通信端末１は、車両が走行する走行予定経路の様子をユーザが認識することを支援することができる。
また本実施形態によれば、通信端末１は、映像の内容に応じて映像の再生速度を変更する。この構成により通信端末１は、視認する必要性が比較的高い映像は比較的遅く再生し、そうでない映像は比較的速く再生する。よって通信端末１は、前者をユーザに確実に確認させつつ、後者を短時間で確認させることができる。
また本実施形態によれば、映像には、映像を撮像した車両の車種、映像が撮像されたときの日時、及び映像内の天気、のうち少なくとも１つの項目が対応付けられる。通信端末１は、２以上の映像が同一の道路に対応付けられているとき、少なくとも１つの項目を表示部１７に選択可能に表示し、ユーザ選択に応じた映像を表示する。この構成により通信端末１は、ユーザが希望する条件に合致した映像を提供することができる。
また本実施形態によれば、通信端末１は、映像の表示中、運転時の注意オブジェクトを通知する。この構成により通信端末１は、ユーザに対し注意を喚起し、もって事故の発生を低減することができる。
また本実施形態によれば、通信端末１は、映像に、注意オブジェクトが有る場合に道路を走行したときの第１の映像と、注意オブジェクトが無い場合に同一の道路を走行したときの第２の映像とが対応付けられているとき、第１の映像と第２の映像とを並べて表示部１７に表示する。表示中の映像で注意オブジェクトが仮に検出されても、それは現在解消されている可能性がある。そこで通信端末１は注意オブジェクトが無い場合の映像を並べて表示して、その道が通りやすいか否かの判断を支援することができる。
本発明が諸図面及び実施例に基づき説明されるが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば上記実施形態では通信端末１は、図４Ａに示す領域４３において、車種、天気及び日時を選択可能に表示する。しかし、他の実施形態では通信端末１は更に、注意オブジェクトの有無を選択可能に表示してよい。
上記実施形態では、サーバ２が走行予定経路を探索する。しかし他の実施形態では、通信端末１が走行予定経路を探索し、探索された走行予定経路をサーバ２に通知してよい。通知を受けたサーバ２は、走行予定経路を構成する１以上の道路のそれぞれに対応する映像をサーバ記憶部２２から取得して、取得された映像を通信端末１に送信する。
任意の車両又はサーバのそれぞれを、上記実施形態に係る通信端末１又はサーバ２として機能させる構成が可能である。具体的には、実施形態に係る通信端末１又はサーバ２の各機能を実現する処理内容を記述したプログラムを、上記任意の車両又はサーバのメモリに格納し、その任意の車両又はサーバのプロセッサによってそのプログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
Ｓ 情報処理システム
ＮＷ ネットワーク
１ 通信端末
１１ 撮像部
１２ 位置情報取得部
１３ 記憶部
１４ 制御部
１５ 通信部
１６ 入力部
１７ 表示部
２ サーバ
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部

Claims (6)

  1. サーバ制御部とサーバ通信部とサーバ記憶部とを含むサーバであって、
    前記サーバ通信部を介して通信端末と接続可能に構成され、
    前記サーバ制御部は、
    走行中の車両によって撮像された映像を道路ごとに対応付けて前記サーバ記憶部に記憶し、
    前記通信端末からの要求に応じて走行予定経路を決定し、
    前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得し、
    前記映像を前記通信端末に送信し、表示させ、
    前記サーバ制御部は更に、
    前記映像が撮像されたときの日時を含む項目に基づいて映像ごとに評価値を算出し、
    道幅と車種と天気と方向と注意オブジェクトの有無との少なくとも１つを含む項目の値が同一である２以上の映像が同一の道路に対応付けられているとき、前記評価値が最も高い映像以外の映像を削除し、又は、
    前記評価値が所定値以下の映像を削除する、
    サーバ。
  2. 請求項１に記載のサーバにおいて、
    前記サーバ制御部は、
    前記映像を表示中の前記通信端末からの迂回要求に応じて、前記通信端末に表示中の映像に対応する道路を迂回する前記走行予定経路を決定し、
    前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を、前記サーバ記憶部から取得し、
    取得された前記映像を前記通信端末に送信する、サーバ。
  3. 請求項１又は２に記載のサーバにおいて、
    前記サーバ記憶部は、前記通信端末が設置される車両の車幅を記憶し、
    前記サーバ制御部は、前記道路の道幅と前記車幅とから、前記通信端末が設置される車両が前記道路を走行可能か否かを判定し、
    走行可能と判定された前記道路からなる前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得し、
    取得された前記映像を前記通信端末に送信する、サーバ。
  4. 請求項１乃至３のいずれか１項に記載のサーバにおいて、
    前記サーバ記憶部は、
    前記車両によって撮像された前記映像に対応付けて、前記道路の道幅と、前記車両の車種と、前記映像が撮像されたときの日時と、映像内の天気と、前記車両の走行方向と、前記映像内の注意オブジェクトの有無とのうち少なくとも１つを記憶する、サーバ。
  5. サーバ制御部とサーバ通信部とサーバ記憶部とを含むサーバにおけるサーバ制御方法であって、
    前記サーバは前記サーバ通信部を介して通信端末と接続可能に構成され、
    走行中の車両によって撮像された映像を道路ごとに対応付けて前記サーバ記憶部に記憶するステップと、
    前記通信端末からの要求に応じて走行予定経路を決定するステップと、
    前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得するステップと、
    前記映像を前記通信端末に送信し、表示させるステップと、
    前記映像が撮像されたときの日時を含む項目に基づいて映像ごとに評価値を算出し、
    道幅と車種と天気と方向と注意オブジェクトの有無との少なくとも１つを含む項目の値が同一である２以上の映像が同一の道路に対応付けられているとき、前記評価値が最も高い映像以外の映像を削除ステップ、又は、
    前記評価値が所定値以下の映像を削除するステップと、
    を含むサーバ制御方法。
  6. サーバ制御部とサーバ通信部とサーバ記憶部とを含み、前記サーバ通信部を介して通信端末と接続可能に構成されたサーバに、
    走行中の車両によって撮像された映像を道路ごとに対応付けて前記サーバ記憶部に記憶するステップと、
    前記通信端末からの要求に応じて走行予定経路を決定するステップと、
    前記走行予定経路を構成する１以上の道路のそれぞれに対応する映像を前記サーバ記憶部から取得するステップと、
    前記映像を前記通信端末に送信し、表示させるステップと、
    前記映像が撮像されたときの日時を含む項目に基づいて映像ごとに評価値を算出し、
    道幅と車種と天気と方向と注意オブジェクトの有無との少なくとも１つを含む項目の値が同一である２以上の映像が同一の道路に対応付けられているとき、前記評価値が最も高い映像以外の映像を削除ステップ、又は、
    前記評価値が所定値以下の映像を削除するステップと、
    を実行させるサーバ制御プログラム。
JP2019008342A 2019-01-22 2019-01-22 サーバ、サーバ制御方法、及びサーバ制御プログラム Active JP7139967B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019008342A JP7139967B2 (ja) 2019-01-22 2019-01-22 サーバ、サーバ制御方法、及びサーバ制御プログラム
US15/929,187 US10957131B2 (en) 2019-01-22 2019-12-12 Server, server control method, server control program, communication terminal, terminal control method, and terminal control program
CN202010038329.2A CN111462513B (zh) 2019-01-22 2020-01-14 服务器、服务器控制方法、通信终端、终端控制方法和计算机可读介质
US17/176,675 US11354953B2 (en) 2019-01-22 2021-02-16 Server, server control method, server control program, communication terminal, terminal control method, and terminal control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019008342A JP7139967B2 (ja) 2019-01-22 2019-01-22 サーバ、サーバ制御方法、及びサーバ制御プログラム

Publications (2)

Publication Number Publication Date
JP2020119131A JP2020119131A (ja) 2020-08-06
JP7139967B2 true JP7139967B2 (ja) 2022-09-21

Family

ID=71610071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019008342A Active JP7139967B2 (ja) 2019-01-22 2019-01-22 サーバ、サーバ制御方法、及びサーバ制御プログラム

Country Status (3)

Country Link
US (2) US10957131B2 (ja)
JP (1) JP7139967B2 (ja)
CN (1) CN111462513B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866682B (zh) * 2021-02-04 2024-03-12 博泰车联网科技(上海)股份有限公司 一种基于视频生成路书的方法以及一种生成个性化路书的方法
WO2024018563A1 (ja) * 2022-07-20 2024-01-25 三菱電機株式会社 自動運転車両、制御装置、制御方法、及び制御プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014202560A (ja) 2013-04-03 2014-10-27 三菱電機株式会社 ナビゲーション装置、サーバ、および、道幅情報更新方法
JP2017528819A (ja) 2014-08-21 2017-09-28 トヨタ モーター セールス，ユー．エス．エー．，インコーポレイティド リクエストされた車両が獲得した交通事情の映像のダウンロード

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099176A (ja) 2004-09-28 2006-04-13 Matsushita Electric Ind Co Ltd 映像配信装置及び映像配信方法
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
CN103680180B (zh) * 2012-09-13 2017-09-22 腾讯科技（深圳）有限公司 一种交通状况信息提示方法和系统
DE102014210106A1 (de) * 2014-05-27 2015-12-03 Bayerische Motoren Werke Aktiengesellschaft Navigationsvorrichtung
JP5898737B1 (ja) * 2014-08-29 2016-04-06 怡利電子工業股▲ふん▼有限公司 ナビゲーション情報及び安全運転のヒントを同時に表示する装置
US10006778B2 (en) * 2016-11-11 2018-06-26 Ford Global Technologies, Llc Method and apparatus for vehicular travel assistance
CN108615385B (zh) * 2016-12-13 2021-04-20 比亚迪股份有限公司 道路路况评估方法和装置、车辆及云服务器
CN108267144A (zh) * 2016-12-30 2018-07-10 沈阳美行科技有限公司 一种导航路线推荐方法、系统及其装置
KR101922010B1 (ko) * 2017-06-22 2018-11-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN108230708A (zh) * 2018-01-25 2018-06-29 贵州宜行智通科技有限公司 车辆驶出寻路系统及方法
CN108399777B (zh) * 2018-04-13 2021-12-07 京东方科技集团股份有限公司 一种辅助驾驶方法、装置及电子设备
CN108615389A (zh) * 2018-06-15 2018-10-02 邵文远 一种城市交通拥堵预测预防系统
CN109035764B (zh) * 2018-07-06 2020-10-02 达闼科技（北京）有限公司 道路通行方法、相关装置及计算机可读存储设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014202560A (ja) 2013-04-03 2014-10-27 三菱電機株式会社 ナビゲーション装置、サーバ、および、道幅情報更新方法
JP2017528819A (ja) 2014-08-21 2017-09-28 トヨタ モーター セールス，ユー．エス．エー．，インコーポレイティド リクエストされた車両が獲得した交通事情の映像のダウンロード

Also Published As

Publication number Publication date
US10957131B2 (en) 2021-03-23
US20210166506A1 (en) 2021-06-03
US11354953B2 (en) 2022-06-07
CN111462513B (zh) 2022-05-17
US20200234518A1 (en) 2020-07-23
JP2020119131A (ja) 2020-08-06
CN111462513A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
JP7172070B2 (ja) 情報処理システム及びサーバ
CN111323041B (zh) 信息处理系统、存储介质和信息处理方法
JP2010028492A (ja) 撮影情報閲覧システム
JPWO2018143238A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210012261A1 (en) Self-driving control device, vehicle, and demand mediation system
US10752260B2 (en) Driving assistance device for vehicle, non-transitory computer-readable storage medium, and control method
US11189162B2 (en) Information processing system, program, and information processing method
US11068727B2 (en) Information processing system, non-transitory storage medium storing program, and control method
JP6160364B2 (ja) 地図情報更新システム、地図情報更新装置、地図情報更新方法及びコンピュータプログラム
JP2019035615A (ja) デジタルサイネージ制御装置、デジタルサイネージ制御方法、プログラム、記録媒体
JP7139967B2 (ja) サーバ、サーバ制御方法、及びサーバ制御プログラム
JP2009237945A (ja) 動画情報収集システム及び車載機
JP6234047B2 (ja) ナビゲーション装置、サーバ、および、道幅情報更新方法
JP6345572B2 (ja) 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
JP2012032284A (ja) ナビゲーションシステム
US11700357B2 (en) Connected camera system for vehicles
JP2019158354A (ja) 駐車支援システム及び駐車支援装置
JP2021196626A (ja) 画像データ提供装置、画像データ提供システム、画像データ提供方法、及びコンピュータプログラム
WO2019117048A1 (ja) 車載装置、情報提供システム、情報提示方法
KR101397664B1 (ko) 자동차 주행 상태 정보 제공 시스템 및 그 방법
US11889231B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method for processing images captured from vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R151 Written notification of patent or utility model registration

Ref document number: 7139967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151