JP6693560B2 - 画像検索プログラム、画像検索方法および画像検索装置 - Google Patents

画像検索プログラム、画像検索方法および画像検索装置 Download PDF

Info

Publication number
JP6693560B2
JP6693560B2 JP2018520263A JP2018520263A JP6693560B2 JP 6693560 B2 JP6693560 B2 JP 6693560B2 JP 2018520263 A JP2018520263 A JP 2018520263A JP 2018520263 A JP2018520263 A JP 2018520263A JP 6693560 B2 JP6693560 B2 JP 6693560B2
Authority
JP
Japan
Prior art keywords
image
range
road
search
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018520263A
Other languages
English (en)
Other versions
JPWO2017208371A1 (ja
Inventor
仁志 影山
仁志 影山
孝司 島田
孝司 島田
耕世 高野
耕世 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017208371A1 publication Critical patent/JPWO2017208371A1/ja
Application granted granted Critical
Publication of JP6693560B2 publication Critical patent/JP6693560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、画像検索プログラム、画像検索方法および画像検索装置に関する。
従来から、例えば、物流業界では、トラックやバスなどの業務車両に、位置や速度などの運行状態を監視するデジタルタコグラフなどの車載器を取り付け、車載器から収集された情報を基に、運行管理を行っている。この車載器には、一定時間毎に路上の画像を撮像し、撮像した画像を送信する機能を有するものがある。
特開2015−103089号公報
ところで、車載器で撮像された画像を利用して道路状況を提要するサービスが考えられる。例えば、車載器から送信された画像を、当該画像を撮像時刻、撮像位置と共にシステムの記憶部に記憶する。そして、例えば、システムは、画像を抽出する時間帯や道路の範囲の指定を受け付け、撮像時刻、撮像位置が指定された時間帯や道路の範囲に該当する画像を記憶部から検索して表示する。
しかしながら、各業務車両に搭載された車載器からシステムに収集された画像の撮像位置は、均等に分散しているとは限らない。このため、検索された画像を表示しても道路状況が把握し難い場合がある。例えば、業務車両の通行頻度が低い道路では、検索される画像が少なく、道路状況が把握し難い場合がある。
一つの側面では、道路状況を把握しやすく画像を提供できる画像検索プログラム、画像検索方法および画像検索装置を提供することを目的とする。
第1の案では、画像検索プログラムは、コンピュータに、時間帯及び位置の領域を含む範囲条件の指定を受け付ける処理を実行させる。画像検索プログラムは、コンピュータに、位置情報と時間情報とが対応付けられた画像を記憶する記憶部を検索して、記憶部に記憶された画像の内、受け付けた前記範囲条件を満たす画像が所定数以下の場合に、範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行う処理を実行させる。
本発明の一の実施態様によれば、道路状況を把握しやすく画像を提供できるという効果を奏する。
図1は、物流支援システムの一例を説明する説明図である。 図2は、道路状況提供プラットフォームの機能的な構成の一例を示す図である。 図3は、画像検索装置の機能的な構成を概略的に示した図である。 図4は、撮像情報のデータ構成の一例を示す図である。 図5は、道路情報のデータ構成の一例を示す図である。 図6は、走行区間情報のデータ構成の一例を示す図である。 図7は、マッチングおよび集計の一例を示す図である。 図8は、範囲条件の時間帯、位置の範囲の拡張、縮小を説明する図である。 図9は、道路状況を検索する流れの一例を示す図である。 図10は、道路状況を検索する流れの他の一例を示す図である。 図11は、画像検索の手順の一例を示すフローチャートである。 図12は、画像検索プログラムを実行するコンピュータの構成の一例を示す図である。
以下に、本発明にかかる画像検索プログラム、画像検索方法および画像検索装置の実施例を図面に基づいて詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下に示す実施例は、矛盾を起こさない範囲で適宜組み合わせてもよい。
[システム構成]
最初に、実施例1に係る物流支援システムの一例を説明する。図1は、物流支援システムの一例を説明する説明図である。物流支援システム10は、物流業界における車両の運行を支援するシステムである。物流支援システム10は、例えば、クラウドシステムである。物流支援システム10には、運行管理プラットフォーム11と、プローブ解析プラットフォーム12と、道路状況提供プラットフォーム13とが構築されている。物流支援システム10は、1台のサーバ装置などのコンピュータによって実現されてもよく、複数台のコンピュータによるコンピュータシステムとして実装されてもよい。例えば、物流支援システム10は、提供するサービスや機能ごとに複数のコンピュータに分けて実装してもよい。
例えば、トラックやバスなどの業務車両16は、デジタルタコグラフなどの車載器15が設けられている。車載器15は、ネットワークNを介して物流支援システム10と通信可能に接続されている。また、物流支援システム10には、ネットワークNを介して運行事業者端末装置17および道路管理者端末装置18が通信可能に接続されている。かかるネットワークNの一態様としては、有線又は無線を問わず、携帯電話などの移動体通信網、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。なお、図1の例では、車載器15を搭載した業務車両16を1台とした場合を例示したが、これに限定されず、車載器15を搭載した業務車両16を任意の数とすることができる。また、図1の例では、運行事業者端末装置17および道路管理者端末装置18をそれぞれ1台とした場合を例示したが、これに限定されず、運行事業者端末装置17および道路管理者端末装置18も任意の数とすることができる。
車載器15は、所定時間(例えば、1秒)の間隔で、業務車両16の現在位置や時刻、業務車両16の速度などの各種の情報を運行中に検出する。車載器15は、検出した各種の情報をプローブ情報として物流支援システム10に送信する。また、車載器15は、一定時間毎に路上の画像を撮像し、撮像した画像を送信する機能を有する。例えば、業務車両16には、車両前方を撮像可能な位置にカメラが設けられており、車載器15にカメラが接続されている。車載器15は、カメラにより一定時間毎に車両前方の路上の画像を撮像する。この一定時間は、例えば、5分とするがこれに限定されるものではない。例えば、車載器15は、一定時間の間隔で車両前方を撮像し、撮像した画像の画像データを、撮像した位置を示す位置情報および撮像した時刻を示す時刻情報と共に物流支援システム10に送信する。
物流支援システム10は、車載器15から送信されたプローブ情報や画像データなどの各種の情報に基づき、各種のサービスを提供する。
例えば、物流支援システム10は、運行管理プラットフォーム11を用いて、業務車両16の運行管理を行う運行管理サービスを提供する。例えば、運行管理プラットフォーム11は、車載器15から送信されたプローブ情報に基づいて、業務車両16の運行時間や休憩時間、速度を管理する。また、運行管理プラットフォーム11は、業務車両16を運行する運行事業者からの要求に応じて、当該運行事業者が運行を管理する業務車両16の車載器15から送信された画像を提供する。すなわち、運行管理プラットフォーム11は、運行事業者に対して、当該運行事業者が運行する業務車両16で撮像された画像を提供する。これにより、運行事業者は、運行を管理する業務車両16の運行状態を把握できる。
また、例えば、物流支援システム10は、プローブ解析プラットフォーム12を用いて、プローブ情報を解析する。例えば、プローブ解析プラットフォーム12は、車載器15から送信されたプローブ情報に基づいて、業務車両16の走行した道路や道路の混雑状況を解析する。例えば、プローブ解析プラットフォーム12は、プローブ情報に含まれる位置情報に基づいて、走行している道路や、走行している道路の区間、走行方向を特定する。また、プローブ解析プラットフォーム12は、業務車両16が道路を走行した時間から道路の混雑状況を解析する。
また、例えば、物流支援システム10は、道路状況提供プラットフォーム13を用いて、道路状況を提供する道路状況提供サービスを提供する。例えば、物流支援システム10は、各運行事業者の業務車両16の車載器15から送信された画像を道路状況として、各運行事業者や、道路を管理する道路管理者などの第3者に提供する。
運行事業者端末装置17は、業務車両16を運行する運行事業者に配置された、パソコン等の端末装置である。業務車両16を運行する運行事業者は、運行事業者端末装置17を用いて物流支援システム10にアクセスし、物流支援システム10が提供する運行管理サービスを利用して業務車両16の運行管理を行う。
道路管理者端末装置18は、例えば、高速道路会社など、道路を管理する道路管理会社に配置された、パソコン等の端末装置である。道路を管理する道路管理者は、道路管理者端末装置18を用いて物流支援システム10にアクセスし、物流支援システム10が提供する道路状況提供サービスを利用して道路状況を把握する。例えば、高速道路を管理する道路管理者は、物流支援システム10が公開用として記憶した画像を参照することにより、道路の混雑状況や劣化状況など道路に関する各種の状況を把握できる。
次に、道路状況提供プラットフォーム13の機能的な構成について説明する。図2は、道路状況提供プラットフォームの機能的な構成の一例を示す図である。道路状況提供プラットフォーム13には、運行管理プラットフォーム11から、車載器15により撮像された画像の画像データや、画像を撮像した際の撮像位置などを含んだ撮像情報が提供される。また、道路状況提供プラットフォーム13には、プローブ解析プラットフォーム12から、道路に関する道路情報や、車載器15を搭載した業務車両16が走行した道路の走行区間に関する走行区間情報が提供される。道路状況提供プラットフォーム13は、特定機能(図2(a))により、画像が撮像された際の位置情報に基づいて、画像の撮像された道路の種別を特定する。道路状況提供プラットフォーム13は、提供された画像を、出力機能(図2(b))により、道路状況として、各運行事業者や、道路を管理する道路管理者などの第3者に提供する。運行管理プラットフォーム11、プローブ解析プラットフォーム12および道路状況提供プラットフォーム13は、同じコンピュータに実装されてもよく、別なコンピュータに実装されてもよい。本実施例では、物流支援システム10は、運行管理プラットフォーム11、プローブ解析プラットフォーム12、道路状況提供プラットフォーム13が別なコンピュータに実装されている場合を例に説明する。
[画像検索装置の構成]
次に、画像検索装置20の構成について説明する。図3は、画像検索装置の機能的な構成を概略的に示した図である。画像検索装置20は、サーバコンピュータなどのコンピュータである。画像検索装置20は、上述した道路状況提供プラットフォーム13が実装され、道路状況提供サービスを提供する。なお、本実施例では、画像検索装置20を1台のコンピュータとした場合を例として説明するが、複数台のコンピュータによるコンピュータシステムとして実装してもよい。
図3に示すように、画像検索装置20は、通信部21と、記憶部22と、制御部23とを有する。
通信部21は、他の装置と無線通信又は有線通信を行う通信インタフェースである。例えば、通信部21は、運行管理プラットフォーム11から、車載器15により撮像された画像の画像データや、画像を撮像した際の撮像位置などを含んだ撮像情報を受信する。また、通信部21は、プローブ解析プラットフォーム12から、道路に関する道路情報や、車載器15が搭載された業務車両16が走行している道路の走行区間に関する走行区間情報を受信する。
記憶部22は、ハードディスク、SSD(Solid State Drive)、光ディスクなどの記憶装置である。なお、記憶部22は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。記憶部22は、制御部23で実行されるOS(Operating System)や、各種プログラムを記憶する。さらに、記憶部22は、各種情報を記憶する。例えば、記憶部22は、画像データ30と、撮像情報31と、道路情報32と、走行区間情報33と、マッチング情報34と、集計情報35とを記憶する。なお、記憶部22は、その他の各種の情報を記憶してもよい。
画像データ30は、運行管理プラットフォーム11から受信した、車載器15により撮像された画像の画像データである。
撮像情報31は、画像データ30の画像を撮像した際の撮像位置などを含んだデータである。図4は、撮像情報のデータ構成の一例を示す図である。図4に示すように、撮像情報31は、画像ID、撮像位置、車両ID、撮像時刻の各項目を有する。なお、撮像情報31は、上記以外にも各種の情報を記憶してもよい。
画像IDの項目は、車載器15により撮像された画像の画像データを識別する識別情報を記憶する領域である。車載器15により撮像された画像の画像データには、識別情報として、例えば、撮像された順に番号などのユニークな画像ID(identification)が付与される。画像IDの項目には、車載器15により撮像された画像の画像データに付与された画像IDが格納される。撮像位置の項目は、画像を撮像した際の撮像位置を示す位置情報を記憶する領域である。本実施例では、位置情報を、日本測地系や世界測地系など所定の測地系により緯度、経度などで位置を示した情報としている。撮像位置の項目には、撮像位置を示す緯度(x)、経度(y)などの位置情報が格納される。なお、位置情報は、位置を特定できればその他の情報でもよい。車両IDの項目は、画像データを送信した車載器15を搭載した業務車両16の識別情報を記憶する領域である。車載器15には、搭載された業務車両16の識別情報として、ユニークな車両IDが設定される。車載器15は、設定された車両IDを付加した画像データやプローブ情報を物流支援システム10へ送信する。車両IDの項目には、画像IDの画像データを送信した車載器15を搭載した業務車両16の車両IDが格納される。撮像時刻の項目は、車載器15により画像が撮像された撮像時刻を記憶する領域である。
図4の例では、画像ID「画像1」の画像データの画像は、撮像位置が緯度x、経度yであり、画像データを送信した車載器15を搭載した業務車両16の車両IDが「Aaa」であり、撮像時刻が10時20分20秒であることを示す。
図3に戻り、道路情報32は、道路に関する各種の情報を記憶したデータである。例えば、道路情報32には、道路を区切った区間ごとに、道路の種別などの情報が記憶される。図5は、道路情報のデータ構成の一例を示す図である。図5に示すように、道路情報32は、区間番号、種別、方向、施設、区間範囲の各項目を有する。なお、道路情報32は、上記以外にも各種の情報を記憶してもよい。
区間番号の項目は、道路の区間を識別する識別情報を記憶する領域である。各道路は、それぞれ、例えば、所定の基準に沿って、1または複数の区間に分けられ、それぞれの区間に識別情報として、例えば、ユニークな区間番号が付与される。所定の基準は、例えば、100mごとなど距離で定めてもよく、交差点など他の道路との交点を区間の区切りとする単位であってもよい。また、所定の基準は、例えば、橋、トンネル、サービスエリア、パーキングエリア、ジャンクションなど、道路に関する構造物の境界や施設の境界を区間の区切りとしてもよく、公的な機関等が定めた区間の条件を用いてよい。また、所定の基準は、複数の条件を組み合わせてもよい。区間番号の項目には、道路の区間に付与された区間番号が記憶される。種別の項目は、区間番号の区間の道路の種別を記憶する領域である。道路の区間には、高速道路、自動車専用道路、一般道路など、区間がどのような種類の道路であるかを示す種別を定めている。種別の項目には、区間番号の区間の道路に定められた種別が格納される。方向の項目は、道路の区間の走行方向を記憶する領域である。方向の項目には、道路の区間に、例えば上り、下りなどの走行方向が定められている場合、走行方向が格納され、走行方向が定められていない場合、走行方向が定められていないことを示す「−」が格納される。施設の項目は、道路の区間の施設を記憶する領域である。施設の項目には、道路の区間が、サービスエリア、パーキングエリアなどの施設である場合、施設名が格納され、施設ではない場合、施設ではないことを示す「−」が格納される。区間範囲の項目は、区間とする範囲に関する情報を記憶する領域である。例えば、区間を矩形の領域として定める場合、区間範囲の項目には、区間とする領域の対向する2つの頂点の位置を示す位置情報が格納される。なお、区間範囲は、どのような情報を用いて示してもよい。例えば、区間範囲は、区間の領域の全ての頂点の位置で示してもよい。
図5の例では、区間番号が0002の区間は、種別が高速道路であり、方向が上りであり、施設ではなく、区間範囲が(x,y)―(x,y)であることを示す。
図3に戻り、走行区間情報33は、車載器15を搭載した業務車両16が走行した道路の走行区間に関する各種の情報を記憶したデータである。図6は、走行区間情報のデータ構成の一例を示す図である。図6に示すように、走行区間情報33は、時間帯、区間番号、方向、平均速度、車両IDの各項目を有する。なお、走行区間情報33は、上記以外にも各種の情報を記憶してもよい。
時間帯の項目は、車載器15を搭載した業務車両16が区間を走行した時間帯を記憶する領域である。時間帯は、例えば、5分単位とし、時間帯の開始時刻で示している。区間番号の項目は、道路の区間を識別する区間番号を記憶する領域である。方向の項目は、車載器15を搭載した業務車両16が走行した道路の区間の走行方向を記憶する領域である。方向の項目には、道路の区間に走行方向が定められている場合、走行方向が格納され、走行方向が定められていない場合、走行方向が定められていないことを示す「−」が格納される。平均速度の項目は、車載器15を搭載した業務車両16が区間を走行した際の平均速度を記憶する領域である。車両IDの項目は、区間を走行した業務車両16の車両IDを記憶する領域である。
図6の例では、区間番号が0002の区間は、上りであり、10時20分の時間帯に、平均速度が34.5kmで車両IDが「Aaa」の業務車両16が走行したことを示す。
図3に戻り、マッチング情報34は、撮像情報31および走行区間情報33に基づいて、画像データ30の画像の撮像位置に対応する区間等を求めたデータである。マッチング情報34の詳細は、後述する。
集計情報35は、画像データ30を用いて、擬似的に施設の利用件数を求めたデータである。集計情報35の詳細は、後述する。
制御部23は、画像検索装置20全体を制御するデバイスである。制御部23としては、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路を採用できる。制御部23は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部23は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部23は、格納部40と、特定部41と、集計部42と、受付部43と、検索部44と、出力部45とを有する。
格納部40は、受信した各種のデータを記憶部22に格納する。例えば、格納部40は、運行管理プラットフォーム11から受信した、車載器15により撮像された画像の画像データを画像データ30として記憶部22に格納する。また、格納部40は、運行管理プラットフォーム11から受信した、画像を撮像した際の撮像位置などを含んだ撮像情報を撮像情報31として記憶部22に格納する。また、格納部40は、プローブ解析プラットフォーム12から受信した道路情報を道路情報32として記憶部22に格納する。また、格納部40は、プローブ解析プラットフォーム12から受信した走行区間情報を走行区間情報33として記憶部22に格納する。
特定部41は、各種の特定を行う。例えば、特定部41は、車載器15により撮像された画像の画像データ30と、画像を撮像した際の位置情報などを含んだ撮像情報31を受け付けると、画像が撮像された際の位置情報に基づいて、画像の撮像された道路の種別を特定する。例えば、特定部41は、道路情報32に基づいて、撮像情報31に記憶された各画像データ30の撮像位置が道路のどの区間に該当するかを特定する。これにより、例えば、図4の画像ID「画像1」の画像データは、区間番号「0001」の区間に該当すると特定される。画像ID「画像2」の画像データは、区間番号「0002」の区間に該当すると特定される。画像ID「画像3」の画像データは、区間番号「0003」の区間に該当すると特定される。画像ID「画像4」の画像データは、区間番号「0004」の区間に該当すると特定される。特定部41は、撮像位置に該当する区間に対応する道路の種別を特定する。例えば、画像ID「画像1」〜「画像4」は、撮像位置に該当する区間に対応する道路の種別が「高速道路」と特定される。なお、図3に示すように、走行区間情報33に、業務車両16の車両番号と、走行した区間番号と、走行した時間帯が対応付けられている場合、特定部41は、走行区間情報33を用いて、画像データ30の撮像時刻、業務車両16の車両番号から、撮像位置が道路のどの区間に該当するかを特定してもよい。
また、特定部41は、特定した区間に基づいて、撮像情報31と走行区間情報33のマッチングを行ってマッチング情報34を生成する。図7は、マッチングおよび集計の一例を示す図である。例えば、特定部41は、撮像情報31の各画像IDの画像ごとに、撮像時刻を含む時間帯および撮像位置に該当する区間に対応するレコードを走行区間情報33から特定する。そして、特定部41は、時間帯、区間番号、方向、平均速度、車両ID、画像IDの各項目の情報を記憶したマッチング情報34を生成する。
集計部42は、撮像位置が所定の地域に含まれる画像データの画像数を集計する。例えば、集計部42は、撮像位置がサービスエリア、パーキングエリアに含まれる場合、時間帯、サービスエリア、パーキングエリア別に、撮像された画像数を集計する。そして、集計部42は、集計結果を集計情報35に格納する。図7には、集計情報35の一例が示されている。集計情報35には、時間帯、施設、利用件数の各項目が設けられている。集計情報35には、時間帯、施設別に、撮像された画像数が利用件数として記憶される。ここで、車載器15が一定時間ごとに画像を撮像する場合、混雑している区間では、多くの画像が撮像される。本実施例にかかる集計部42では、撮像された画像数を利用件数として、集計情報35に格納している。この利用件数を用いることで、擬似的にサービスエリア、パーキングエリアなどの施設の混雑状況を表すことができる。
受付部43は、各種の操作を受け付ける。例えば、受付部43は、運行事業者端末装置17または道路管理者端末装置18からアクセスを受け付けると、アクセス元に各種の操作画面の情報を送信してアクセス元に操作画面を表示させ、操作画面から各種の操作を受け付ける。例えば、受付部43は、道路状況提供サービスのWebサイトを提供する。受付部43は、運行事業者端末装置17または道路管理者端末装置18から、道路状況提供サービスのWebサイトへのアクセスを受け付けると、ログイン画面の情報をアクセス元の運行事業者端末装置17および道路管理者端末装置18へ送信してログイン画面を表示させ、ログインID及びパスワードを入力してログイン操作を受け付ける。受付部43は、ログイン操作を受け付けると、入力されたログインID及びパスワードを事前に登録されたログインID及びパスワードと比較して認証を行う。受付部43は、正当との認証が得られた場合、条件指定画面の情報をアクセス元へ送信して条件指定画面を表示させる。そして、受付部43は、条件指定画面から道路状況の検索条件を受け付ける。例えば、受付部43は、道路状況の検索条件として、時間帯、位置の領域、進行方向を含む範囲条件の指定を受け付ける。例えば、受付部43は、時間帯と、道路の区間と、道路の上り、下りの指定を受け付ける。
検索部44は、記憶部22に記憶された画像データ30から、受付部43で受け付けた検索条件を満たす画像データを検索する。例えば、検索部44は、マッチング情報34を用いて、検索条件として指定された時間帯と道路の区間に対応する画像の画像IDを特定する。そして、検索部44は、特定した画像IDの画像データ30が記憶部22に記憶されているか検索する。また、検索部44は、検索条件として指定された道路の区間がサービスエリア、パーキングエリアである場合、集計情報35から、指定された区間の施設に該当する利用件数を読み出す。
ところで、各業務車両16に搭載された車載器15から物流支援システム10に収集された画像の撮像位置は、均等に分散しているとは限らない。このため、検索部44により検索された画像データの画像を表示しても道路状況が把握し難い場合がある。例えば、業務車両16の通行頻度が低い道路では、検索される画像が少なく、道路状況が把握し難い場合がある。また、例えば、業務車両16の通行頻度が高い道路では、検索される画像が多くなり、検索された画像を全て表示した場合、画像を参照する手間が煩雑となって道路状況が把握し難い場合がある。
そこで、検索部44は、記憶部22に記憶された画像データ30の内、受け付けた範囲条件を満たす画像データ30が所定数以下の場合に、範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行う。また、検索部44は、記憶部22に記憶された画像データ30の内、受け付けた範囲条件を満たす画像データ30が所定数よりも大きい所定の上限数以上の場合に、範囲条件の時間帯又は位置の何れかの範囲を縮小して再検索を行う。所定数は、例えば、10とするが、これに限定されるものではない。また、上限数は、例えば、15とするが、これも限定されるものではない。所定数および上限数は、ユーザや物流支援システム10の管理者等が変更可能としてもよい。
図8は、範囲条件の時間帯、位置の範囲の拡張、縮小を説明する図である。図8には、指定された時間帯の期間T1と、道路の区間の区間範囲T2が示されている。例えば、検索部44は、最初に、指定された時間帯の期間T1に撮像時刻があり、道路の区間の区間範囲T2に撮像位置がある画像データ30を検索する。検索部44は、検索された画像データ30が所定数(例えば、10)以下の場合、期間T1または区間範囲T2の何れかを拡張して再検索を行う。例えば、検索部44は、時間の延長を優先し、検索された画像データ30が所定数よりも多くなるまで、時間の延長と位置の範囲の拡張とを交互に繰り返す。例えば、検索部44は、期間T1を拡張して再検索を行い、期間T1を拡張して再検索した結果でも、検索された画像データ30が所定数以下の場合、区間範囲T2を拡張して再検索を行う。検索部44は、期間T1については過去に対して拡張を行う。また、検索部44は、区間範囲T2については指定された区間を中心として両側に拡張を行う。期間T1を拡張する単位は、所定時間(例えば、2分)単位としてもよく、時間帯の単位としてもよい。また、期間T1の拡張は、拡張する回数が多くなるほど期間T1の拡張幅を大きくしてもよい。例えば、検索部44は、1回目の期間T1の拡張では、2分拡張し、2回目の期間T1の拡張では、3分拡張してもよい。区間範囲T2を拡張する単位は、所定距離(例えば、100m)単位としてもよく、区間の単位としてもよい。また、区間範囲T2の拡張は、拡張する回数が多くなるほど区間範囲T2の拡張幅を大きくしてもよい。例えば、検索部44は、1回目の区間範囲T2の拡張では、100m拡張し、2回目の区間範囲T2の拡張では、200m拡張してもよい。なお、検索部44は、検索された画像データ30が所定数以下の場合、期間T1および区間範囲T2を共に拡張してもよい。また、検索部44は、期間T1または区間範囲T2の一方のみ拡張を繰り返してもよい。また、検索部44は、検索された画像データ30が所定数以下の場合、期間T1および区間範囲T2を共に拡張してもよい。また、検索部44は、期間T1について、期間T1を中心に過去および未来に対して拡張を行ってもよい。また、検索部44は、区間範囲T2について、指定された進行方向に対して前または後の一方に対してのみ区間範囲T2を拡張してもよい。例えば、検索部44は、区間範囲T2の拡張の場合には、指定された道路の進行方向の手前に延長した区間範囲T2を新たな範囲条件としてもよい。これにより、指定した位置の区間をこれから通過する車両の状況をわかるため、指定された位置の区間の、例えば、渋滞状況などの道路状況の変化を予測しやすく提供できる。
また、検索部44は、検索された画像データ30が所定の上限数(例えば、15)以上の場合、期間T1または区間範囲T2の何れかを縮小して再検索を行う。例えば、検索部44は、区間範囲T2の縮小を優先し、検索された画像データ30が上限数より少なくなるまで、位置の範囲の縮小と時間の縮小とを交互に繰り返す。例えば、検索部44は、区間範囲T2を縮小して再検索を行い、区間範囲T2を縮小して再検索した結果でも、検索された画像データ30が上限数以上の場合、期間T1を縮小して再検索を行う。検索部44は、期間T1については過去側のみ縮小を行う。また、検索部44は、区間範囲T2については指定された区間を中心として両側の縮小を行う。期間T1を縮小する単位は、所定時間(例えば、2分)単位とする。また、期間T1の縮小は、縮小する回数が多くなるほど期間T1の縮小幅を小さくしてもよい。例えば、検索部44は、1回目の期間T1の縮小では、2分縮小し、2回目の期間T1の縮小では、1分縮小してもよい。区間範囲T2を縮小する単位は、所定距離(例えば、50m)単位とする。また、区間範囲T2の縮小は、縮小する回数が多くなるほど区間範囲T2の縮小幅を小さくしてもよい。例えば、検索部44は、1回目の区間範囲T2の縮小では、50m拡張し、2回目の区間範囲T2の縮小では、25m縮小してもよい。なお、検索部44は、検索された画像データ30が上限数以上の場合、期間T1および区間範囲T2を共に縮小してもよい。また、検索部44は、期間T1または区間範囲T2の一方のみ縮小を繰り返してもよい。検索部44は、検索された画像データ30が上限数以上の場合、期間T1および区間範囲T2を共に縮小してもよい。また、検索部44は、期間T1について、期間T1の中心を基準に縮小を行ってもよい。また、検索部44は、区間範囲T2について、指定された進行方向に対して前または後の一方に対してのみ区間範囲T2を縮小してもよい。例えば、検索部44は、時間方向の拡張の場合には、指定された時間帯より過去の時間帯に延長した期間T1を新たな範囲条件としてもよい。これにより、過去から指定した時間帯に、指定した位置の区間を通過した車両の状況をわかるため、指定された時間帯に向けての、例えば、渋滞状況などの道路状況の変化を把握しやくす提供できる。
出力部45は、検索結果をアクセス元に出力する。例えば、出力部45は、検索された画像データや利用件数を示した道路状況画面の情報をアクセス元へ送信して道路状況画面を表示させる。
図9は、道路状況を検索する流れの一例を示す図である。画像検索装置20は、道路状況提供サービスを提供しており、条件指定画面100から道路状況の検索条件を受け付ける。条件指定画面100は、道路地図が表示された地図領域101と、検索条件とする時間帯を選択する時間帯選択領域102と、検索対象とする道路の進行方向を選択する進行方向選択領域103と、検索開始を指示する検索ボタン104とが設けられている。地図領域101は、道路が選択されることにより指定された位置に対応する道路の区間が選択された状態となる。図9の例では、斜線で示した区間105が選択された状態とされている。時間帯選択領域102は、コンボボックスとされ、選択することにより、例えば、5分単位で時間帯の指定が可能とされている。図9の例では、10時20分から10時25分の時間帯が指定されている。進行方向選択領域103は、コンボボックスとされ、選択することにより、例えば、上り、下りで道路の進行方向の指定が可能とされている。なお、地図領域101において、進行方向が決まっている道路が指定された場合、進行方向選択領域103は、選択された道路の進行方向が自動的に選択されてもよい。画像検索装置20は、条件指定画面100の地図領域101で道路の区間が選択され、時間帯選択領域102で時間帯が選択され、進行方向選択領域103で進行方向が選択されて検索ボタン104が選択されると、選択された道路区間、時間帯、進行方向を検索条件として検索を行う。そして、画像検索装置20は、検索結果を示した道路状況画面120を表示する。画像データが検索された場合、道路状況画面120には、検索された画像データの画像の撮像位置に対応付けて、画像データの画像が表示される。また、指定された道路の区間がサービスエリア、パーキングエリアである場合、道路状況画面120には、サービスエリア、パーキングエリアに対応付けて利用件数が表示される。図9の例では、サービスエリア、パーキングエリア以外の区間が指定されているため、道路状況画面120には、検索された画像データの画像の撮像位置に対応付けて、画像データの画像が表示されている。
なお、検索対象とする道路は、同時に複数指定可能としてもよい。図10は、道路状況を検索する流れの他の一例を示す図である。条件指定画面100の地図領域101は、ドラックなどにより範囲の指定が可能とされている。図10の例では、範囲110が指定されている。画像検索装置20は、条件指定画面100の地図領域101で範囲が指定され、時間帯選択領域102で時間帯が選択され、進行方向選択領域103で進行方向が選択されて検索ボタン104が選択されると、地図領域101の指定された範囲に含まれる道路区間、時間帯、進行方向を検索条件として検索を行う。そして、画像検索装置20は、検索結果を示した道路状況画面120を表示する。図10の例では、範囲110に「○○高速道路」と「新○○高速道路」が含まれるため、それぞれの道路について、検索された画像データの画像の撮像位置に対応付けて、画像データの画像が表示される。画像検索装置20は、各画像が選択された場合、画像を拡大表示する。
これにより、道路を管理する道路管理会社や、業務車両16を運行する運行事業者は、道路状況を把握できる。
[処理の流れ]
次に、本実施例に係る画像検索装置20が実行する画像検索の流れについて説明する。図11は、画像検索の手順の一例を示すフローチャートである。この画像検索は、所定のタイミング、例えば、条件指定画面100で検索条件が指定されて検索ボタン104が選択されたタイミングで実行される。
図11に示すように、検索部44は、記憶部22に記憶された画像データ30から、指定された検索条件を満たす画像データを検索する(S10)。検索部44は、検索された画像データ30の数が所定数以下であるか判定する(S11)。検索された画像データ30の数が所定数以下の場合(S11肯定)、検索部44は、範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行い(S12)、S11へ移行する。
一方、検索された画像データ30の数が所定数以下ではない場合(S11否定)、検索部44は、検索された画像データ30の数が上限数以上であるか判定する(S13)。検索された画像データ30の数が上限数以上の場合(S13肯定)、検索部44は、範囲条件の時間帯又は位置の何れかの範囲を縮小して再検索を行い(S14)、S13へ移行する。
一方、検索された画像データ30の数が上限数以上ではない場合(S13否定)、出力部45は、検索された画像データの画像を示した道路状況画面の情報をアクセス元へ送信し(S15)、処理を終了する。
[効果]
上述してきたように、本実施例に係る画像検索装置20は、時間帯及び位置の領域を含む範囲条件の指定を受け付ける。画像検索装置20は、位置情報と時間情報とが対応付けられた画像を記憶する記憶部22を検索して、記憶部22に記憶された画像の内、受け付けた範囲条件を満たす画像が所定数以下の場合に、範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行う。これにより、画像検索装置20は、業務車両16の通行頻度が低く、検索される画像が少ない道路であっても、道路状況を把握しやすく画像を提供できる。
また、本実施例に係る画像検索装置20は、記憶部22に記憶された画像の内、受け付けた範囲条件を満たす画像が所定数よりも大きい所定の上限数以上の場合に、範囲条件の時間帯又は位置の何れかの範囲を縮小して再検索を行う。これにより、画像検索装置20は、業務車両16の通行頻度が多く、検索される画像が多い道路であっても、道路状況を把握しやすく画像を提供できる。
また、本実施例に係る画像検索装置20は、検索対象とする道路の進行方向を含む範囲条件の指定を受け付ける。画像検索装置20は、位置情報の拡張の場合には、指定された道路の進行方向の手前に延長した位置情報を新たな範囲条件とする。これにより、画像検索装置20は、指定された位置の領域の、例えば、渋滞状況などの道路状況の変化を予測しやすく提供できる。また、画像検索装置20は、時間方向の拡張の場合には、過去の時間帯に延長した時間帯情報を新たな範囲条件とする。これにより、画像検索装置20は、指定された時間帯に向けての、例えば、渋滞状況などの道路状況の変化を把握しやく提供できる。
また、本実施例に係る画像検索装置20は、時間の延長を優先し、延長した時間帯を含む範囲条件を満たす画像が所定数以下の場合に、位置の範囲を拡張する。これにより、画像検索装置20は、指定された位置の領域の業務車両16の通行頻度が低い場合でも、指定された位置の領域の道路状況を把握しやすく画像を提供できる。
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてもよい。そこで、以下では、本発明に含まれる他の実施例を説明する。
例えば、上記実施例では、車載器15により路上の画像を撮像する場合を例示した。しかしながら、これらに限定されるものではない。例えば、スマートフォン、携帯電話などのカメラ付きの情報処理装置を車両に固定して路上の画像を撮像してもよい。すなわち、画像する撮像装置は、車載器15に限定されず、カメラ付きの情報処理装置であってもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、格納部40、特定部41、集計部42、受付部43、検索部44および出力部45の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[画像検索プログラム]
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、運行を支援する画像検索プログラムを実行するコンピュータシステムの一例を説明する。図12は、画像検索プログラムを実行するコンピュータの構成の一例を示す図である。
図12に示すように、コンピュータ400は、CPU(Central Processing Unit)410、HDD(Hard Disk Drive)420、RAM(Random Access Memory)440を有する。これら400〜440の各部は、バス500を介して接続される。
HDD420には上記の格納部40、特定部41、集計部42、受付部43、検索部44および出力部45と同様の機能を発揮する画像検索プログラム420Aが予め記憶される。なお、画像検索プログラム420Aについては、適宜分離してもよい。
また、HDD420は、各種情報を記憶する。例えば、HDD420は、記憶部22と同様に、OSや運行の支援に用いる各種データを記憶する。
そして、CPU410が、画像検索プログラム420AをHDD420から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、画像検索プログラム420Aは、格納部40、特定部41、集計部42、受付部43、検索部44および出力部45と同様の動作を実行する。
なお、上記した画像検索プログラム420Aについては、必ずしも最初からHDD420に記憶させることを要しない。また、例えば、画像検索プログラム420Aは、コンピュータ400に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に記憶させてもよい。そして、コンピュータ400がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ400に接続される「他のコンピュータ(又はサーバ)」などにプログラムを記憶させておく。そして、コンピュータ400がこれらからプログラムを読み出して実行するようにしてもよい。
10 物流支援システム
11 運行管理プラットフォーム
12 プローブ解析プラットフォーム
13 道路状況提供プラットフォーム
15 車載器
16 業務車両
20 画像検索装置
21 通信部
22 記憶部
23 制御部
30 画像データ
31 撮像情報
32 道路情報
33 走行区間情報
34 マッチング情報
40 格納部
41 特定部
42 集計部
43 受付部
44 検索部
45 出力部

Claims (8)

  1. 時間帯並びに位置の領域、及び、道路の進行方向を含む範囲条件の指定を受け付け、
    道路を走行する移動体から路上を撮影した画像であって、撮影した位置情報と撮像した時間情報とが対応付けられた画像を記憶する記憶部を検索して、前記記憶部に記憶された画像の内、受け付けた前記範囲条件を満たす画像が所定数以下の場合に、前記範囲条件の位の範囲を、指定された道路の進行方向に対して前または後の一方に対して拡張して再検索を行う
    処理をコンピュータに実行させることを特徴とする画像検索プログラム。
  2. 前記再検索を行う処理は、前記記憶部に記憶された画像の内、受け付けた前記範囲条件を満たす画像が前記所定数よりも大きい所定の上限数以上の場合に、前記範囲条件の時間帯又は位置の何れかの範囲を縮小して再検索を行う
    ことを特徴とする請求項1に記載の画像検索プログラム。
  3. 記範囲の拡張は、時間方向の拡張の場合には、過去の時間帯に延長した時間帯情報を新たな範囲条件とする
    ことを特徴とする請求項1に記載の画像検索プログラム。
  4. 時間帯及び位置の領域を含む範囲条件の指定を受け付け、
    位置情報と時間情報とが対応付けられた画像を記憶する記憶部を検索して、前記記憶部に記憶された画像の内、受け付けた前記範囲条件を満たす画像が所定数以下の場合に、前記範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行い、
    前記範囲の拡張は、時間の延長を優先し、延長した時間帯を含む範囲条件を満たす画像が所定数以下の場合に、位置の範囲を拡張する
    処理をコンピュータに実行させることを特徴とする画像検索プログラム。
  5. 時間帯並びに位置の領域、及び、道路の進行方向を含む範囲条件の指定を受け付け、
    道路を走行する移動体から路上を撮影した画像であって、撮影した位置情報と撮像した時間情報とが対応付けられた画像を記憶する記憶部を検索して、前記記憶部に記憶された画像の内、受け付けた前記範囲条件を満たす画像が所定数以下の場合に、前記範囲条件の位の範囲を、指定された道路の進行方向に対して前または後の一方に対して拡張して再検索を行う
    処理をコンピュータが実行することを特徴とする画像検索方法。
  6. 時間帯並びに位置の領域、及び、道路の進行方向を含む範囲条件の指定を受け付ける受付部と、
    道路を走行する移動体から路上を撮影した画像であって、撮影した位置情報と撮像した時間情報とが対応付けられた画像を記憶する記憶部を検索して、前記記憶部に記憶された画像の内、前記受付部で受け付けた前記範囲条件を満たす画像が所定数以下の場合に、前記範囲条件の位の範囲を、指定された道路の進行方向に対して前または後の一方に対して拡張して再検索を行う検索部と、
    を有することを特徴とする画像検索装置。
  7. 時間帯及び位置の領域を含む範囲条件の指定を受け付け、
    位置情報と時間情報とが対応付けられた画像を記憶する記憶部を検索して、前記記憶部に記憶された画像の内、受け付けた前記範囲条件を満たす画像が所定数以下の場合に、前記範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行い、
    前記範囲の拡張は、時間の延長を優先し、延長した時間帯を含む範囲条件を満たす画像が所定数以下の場合に、位置の範囲を拡張する
    処理をコンピュータが実行することを特徴とする画像検索方法。
  8. 時間帯及び位置の領域を含む範囲条件の指定を受け付ける受付部と、
    位置情報と時間情報とが対応付けられた画像を記憶する記憶部を検索して、前記記憶部に記憶された画像の内、前記受付部で受け付けた前記範囲条件を満たす画像が所定数以下の場合に、前記範囲条件の時間帯又は位置の何れかの範囲を拡張して再検索を行う検索部と、
    を有し、
    前記検索部による前記範囲の拡張は、時間の延長を優先し、延長した時間帯を含む範囲条件を満たす画像が所定数以下の場合に、位置の範囲を拡張する
    ことを特徴とする画像検索装置。
JP2018520263A 2016-05-31 2016-05-31 画像検索プログラム、画像検索方法および画像検索装置 Active JP6693560B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066073 WO2017208371A1 (ja) 2016-05-31 2016-05-31 画像検索プログラム、画像検索方法および画像検索装置

Publications (2)

Publication Number Publication Date
JPWO2017208371A1 JPWO2017208371A1 (ja) 2019-01-31
JP6693560B2 true JP6693560B2 (ja) 2020-05-13

Family

ID=60479216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520263A Active JP6693560B2 (ja) 2016-05-31 2016-05-31 画像検索プログラム、画像検索方法および画像検索装置

Country Status (2)

Country Link
JP (1) JP6693560B2 (ja)
WO (1) WO2017208371A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200192932A1 (en) * 2018-12-13 2020-06-18 Sap Se On-demand variable feature extraction in database environments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3070896B2 (ja) * 1994-04-22 2000-07-31 シャープ株式会社 情報検索装置
JP2004220420A (ja) * 2003-01-16 2004-08-05 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
JP5603763B2 (ja) * 2010-12-21 2014-10-08 パナソニック株式会社 位置履歴認証システム、サーバ装置及びプログラム
JP2013045319A (ja) * 2011-08-25 2013-03-04 Sony Corp 情報処理装置、情報処理方法、およびプログラム
AU2011384439B2 (en) * 2011-12-28 2015-11-19 Rakuten Group, Inc. Search Apparatus, Search Method, Search Program, and Recording Medium
JP6398501B2 (ja) * 2014-09-10 2018-10-03 株式会社デンソー 車載カメラ診断装置

Also Published As

Publication number Publication date
WO2017208371A1 (ja) 2017-12-07
JPWO2017208371A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP4305361B2 (ja) 道路管理システム
JP5243896B2 (ja) 情報表示システム、情報表示方法、および、コンピュータプログラム
US20220018674A1 (en) Method, apparatus, and system for providing transportion logistics based on estimated time of arrival calculation
EP3410348A1 (en) Method and apparatus for building a parking occupancy model
Kwak et al. Seeing is believing: Sharing real-time visual traffic information via vehicular clouds
JP6293458B2 (ja) プローブ情報管理装置、プローブ情報管理システムおよびプローブ情報管理方法
JP5238422B2 (ja) 情報提供システム
JP2007198769A (ja) 移動経路探索システム及び方法、移動経路探索サーバ、移動経路探索プログラム
KR101094171B1 (ko) 무선 통신 장치를 이용한 교통 상황 데이터 제공 방법 및상기 방법을 수행하는 내비게이션 장치
WO2017018031A1 (ja) 走行データ抽出プログラム、走行データ抽出方法および走行データ抽出装置
JP7274840B2 (ja) データ収集装置、データ収集システムおよびデータ収集方法
JP2020038405A (ja) データ収集装置、データ収集システム、データ収集方法および車載装置
RU2664034C1 (ru) Способ и система создания информации о трафике, которая будет использована в картографическом приложении, выполняемом на электронном устройстве
CN111767432A (zh) 共现对象的查找方法和装置
JP6693560B2 (ja) 画像検索プログラム、画像検索方法および画像検索装置
JP2016130934A (ja) 交通違反管理システムおよび交通違反管理方法
CN117636621A (zh) 信息处理装置、信息处理方法以及系统
JP2016099442A (ja) 地図データ作成方法、地図表示方法、地図データ作成装置および地図表示装置
JP6928082B2 (ja) 都市道路のランニング速度の処理方法、都市道路のランニング速度の処理装置、機器、及び不揮発性コンピュータ記憶媒体
JP6551606B2 (ja) 画像記憶処理プログラム、画像記憶処理方法および画像記憶処理装置
JP6658879B2 (ja) 道路画像表示プログラム、道路画像表示方法および道路管理装置
JP2019079169A (ja) 車両経路生成装置、車両経路生成方法及び車両経路生成プログラム
US10341978B2 (en) Mobile management system, mobile management server, mobile management method and mobile management program
JP5789482B2 (ja) 運転支援システム、第一情報処理装置、およびプログラム
JP6664192B2 (ja) アンケート収集プログラム、アンケート収集方法、及び、アンケート収集装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6693560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150