JP7353037B2 - In-vehicle device, data collection system, and control method for in-vehicle device - Google Patents

In-vehicle device, data collection system, and control method for in-vehicle device Download PDF

Info

Publication number
JP7353037B2
JP7353037B2 JP2018246915A JP2018246915A JP7353037B2 JP 7353037 B2 JP7353037 B2 JP 7353037B2 JP 2018246915 A JP2018246915 A JP 2018246915A JP 2018246915 A JP2018246915 A JP 2018246915A JP 7353037 B2 JP7353037 B2 JP 7353037B2
Authority
JP
Japan
Prior art keywords
data
processing
vehicle
data collection
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018246915A
Other languages
Japanese (ja)
Other versions
JP2020107181A5 (en
JP2020107181A (en
Inventor
真史 露梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018246915A priority Critical patent/JP7353037B2/en
Publication of JP2020107181A publication Critical patent/JP2020107181A/en
Publication of JP2020107181A5 publication Critical patent/JP2020107181A5/ja
Application granted granted Critical
Publication of JP7353037B2 publication Critical patent/JP7353037B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車載装置、データ収集システムおよび車載装置の制御方法に関する。 The present invention relates to a vehicle-mounted device, a data collection system, and a method of controlling the vehicle-mounted device.

従来、各車両に搭載された車載装置から道路情報を収集するデータ収集装置が知られている。かかるデータ収集装置では、各車両の位置情報に基づき、道路情報の収集対象となる車両を選別することで、所望する位置の道路情報を収集する(たとえば、特許文献1参照)。 2. Description of the Related Art Conventionally, data collection devices are known that collect road information from an on-vehicle device installed in each vehicle. Such a data collection device collects road information at a desired location by selecting vehicles for which road information is to be collected based on the location information of each vehicle (for example, see Patent Document 1).

特開2018-055581号公報Japanese Patent Application Publication No. 2018-055581

しかしながら、従来は、車載装置から収集した映像データをセンタであるデータ収集装置が解析するため、解析処理によりセンタの処理負荷が嵩んでしまうおそれがあった。 However, conventionally, since the data collection device serving as the center analyzes the video data collected from the in-vehicle device, there is a risk that the processing load on the center will increase due to the analysis process.

本発明は、上記に鑑みてなされたものであって、センタの処理負荷を軽減することができる車載装置、データ収集システムおよび車載装置の制御方法を提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide an in-vehicle device, a data collection system, and a control method for the in-vehicle device that can reduce the processing load on a center.

上述した課題を解決し、目的を達成するために、本発明に係る車載装置は、採取部と、生成部と、送信部とを備える。前記採取部は、車両で撮像された映像データを採取する。前記生成部は、データ収集装置から指定された加工条件に基づき、前記採取部によって採取された前記映像データに所定の加工を施して加工データを生成する。前記送信部は、前記生成部によって生成された加工データを外部へ送信する。 In order to solve the above-mentioned problems and achieve the objects, an in-vehicle device according to the present invention includes a collection section, a generation section, and a transmission section. The collection unit collects video data captured by a vehicle. The generation section generates processed data by performing predetermined processing on the video data collected by the collection section based on processing conditions specified by the data collection device. The transmitter transmits the processed data generated by the generator to the outside.

本発明によれば、センタの処理負荷を軽減することができる。 According to the present invention, the processing load on the center can be reduced.

図1Aは、実施形態に係るデータ収集システムの概要を示す図である。FIG. 1A is a diagram showing an overview of a data collection system according to an embodiment. 図1Bは、実施形態に係るデータ収集システムの概要を示す図である。FIG. 1B is a diagram showing an overview of the data collection system according to the embodiment. 図1Cは、実施形態に係るデータ収集システムの概要を示す図である。FIG. 1C is a diagram showing an overview of the data collection system according to the embodiment. 図1Dは、実施形態に係る車載装置の制御方法の概要を示す図である。FIG. 1D is a diagram illustrating an overview of a method for controlling an in-vehicle device according to an embodiment. 図2は、実施形態に係るデータ収集システムの構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a data collection system according to an embodiment. 図3は、収集条件の一例を示す図である。FIG. 3 is a diagram showing an example of collection conditions. 図4は、実施形態に係る車載装置が実行する処理の処理手順を示すフローチャートである。FIG. 4 is a flowchart showing a processing procedure of processing executed by the in-vehicle device according to the embodiment.

以下、添付図面を参照して、本願の開示する車載装置、データ収集システムおよび車載装置の制御方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of an in-vehicle device, a data collection system, and a control method for an in-vehicle device disclosed in the present application will be described in detail with reference to the accompanying drawings. Note that the present invention is not limited to the embodiments described below.

まず、実施形態に係るデータ収集システムの概要について、図1A~図1Dを用いて説明する。図1A~図1Cは、実施形態に係るデータ収集システムの概要を示す図である。図1Dは、実施形態に係る車載装置の制御方法の概要を示す図である。 First, an overview of the data collection system according to the embodiment will be explained using FIGS. 1A to 1D. 1A to 1C are diagrams showing an overview of a data collection system according to an embodiment. FIG. 1D is a diagram illustrating an overview of a method for controlling an in-vehicle device according to an embodiment.

図1Aに示すように、実施形態に係るデータ収集システム1は、データ収集装置10と、車両V-1,V-2,V-3…にそれぞれ搭載された車載装置100-1,100-2,100-3…と、利用者端末200とを含む。なお、以下では、車両全般を指す場合には「車両V」と、また、車載装置全般を指す場合には「車載装置100」と、それぞれ記載する。 As shown in FIG. 1A, the data collection system 1 according to the embodiment includes a data collection device 10 and vehicle-mounted devices 100-1, 100-2 mounted on vehicles V-1, V-2, V-3, respectively. , 100-3... and a user terminal 200. In addition, below, when referring to a vehicle in general, it is written as "vehicle V", and when referring to a vehicle-mounted device in general, it is described as "vehicle-mounted device 100", respectively.

データ収集装置10は、たとえばインターネットや携帯電話回線網等のネットワークを介したクラウドサービスを提供するクラウドサーバとして構成され、データ利用者から車両Vに関するデータ(以下、車両データと記載する)の収集要求を受け付けるとともに、受け付けた収集要求に基づき、各車載装置100から車両データを収集し、データ利用者へ提供する。 The data collection device 10 is configured as a cloud server that provides cloud services via a network such as the Internet or a mobile phone network, and receives a request from a data user to collect data regarding the vehicle V (hereinafter referred to as vehicle data). Based on the received collection request, vehicle data is collected from each in-vehicle device 100 and provided to the data user.

車載装置100は、たとえばカメラや、加速度センサ、GPS(Global Positioning System)センサといった各種センサ、記憶デバイス、マイクロコンピュータなどを有するドライブレコーダであって、データ収集装置10が受け付けた収集要求を取得し、かかる収集要求に応じた車両データを車両Vから取得する。 The in-vehicle device 100 is, for example, a drive recorder having various sensors such as a camera, an acceleration sensor, and a GPS (Global Positioning System) sensor, a storage device, a microcomputer, etc., and acquires a collection request received by the data collection device 10. Vehicle data corresponding to the collection request is acquired from the vehicle V.

また、車載装置100は、取得した車両データをデータ収集装置10へ適宜アップロードする。このようにドライブレコーダを車載装置100として兼用することによって、車両Vへ搭載する車載部品を効率化することができる。なお、兼用することなく、車載装置100とドライブレコーダとを別体で構成してもよい。 Additionally, the in-vehicle device 100 uploads the acquired vehicle data to the data collection device 10 as appropriate. By using the drive recorder as the in-vehicle device 100 in this way, the in-vehicle components mounted on the vehicle V can be made more efficient. Note that the in-vehicle device 100 and the drive recorder may be configured as separate bodies without being used together.

利用者端末200は、データ利用者が利用する端末であり、たとえばノート型PC(Personal Computer)や、デスクトップ型PC、タブレット端末、PDA(Personal Digital Assistant)、スマートフォン、眼鏡型や時計型の情報処理端末であるウェアラブルデバイス(wearable device)などである。 The user terminal 200 is a terminal used by a data user, and is, for example, a notebook PC (Personal Computer), a desktop PC, a tablet terminal, a PDA (Personal Digital Assistant), a smartphone, a glasses-shaped information processing device, or a watch-shaped information processing device. These include wearable devices that are terminals.

実施形態に係るデータ収集システム1では、利用者端末200を介して指定された収集条件を元に、データ収集装置10が車載装置100から車両データを収集し、利用者端末200へ提供する。以下、図1A~図1Cを用いて、データ収集システム1においてデータ利用者へ車両データが提供されるまでの一連の流れについて説明する。 In the data collection system 1 according to the embodiment, the data collection device 10 collects vehicle data from the in-vehicle device 100 based on collection conditions specified via the user terminal 200, and provides it to the user terminal 200. Hereinafter, a series of steps until vehicle data is provided to a data user in the data collection system 1 will be described using FIGS. 1A to 1C.

図1Aに示すように、まずデータ利用者は、データ収集装置10と接続された利用者端末200により収集条件を指定する。 As shown in FIG. 1A, first, a data user specifies collection conditions using a user terminal 200 connected to the data collection device 10.

また、この際に、データ収集装置10は、収集することとなる実データR(車両データの一例)に付加され、かかる実データRの検索や概要把握に用いられるインデックスデータとしての特性を有するタグデータTの生成用データを生成する。すなわち、タグデータTとは、実データRがメタ情報化されたメタデータである。なお、かかるタグデータTの生成用データは、利用者端末200あるいはデータ収集装置10に記憶されたプログラムや生成用データを用いつつ、データ利用者の操作に基づいて生成される。 In addition, at this time, the data collection device 10 adds a tag to the actual data R (an example of vehicle data) to be collected, and has the characteristics of index data used for searching and grasping the overview of the actual data R. Generate data for generating data T. That is, the tag data T is metadata obtained by converting the actual data R into meta information. Note that the data for generating the tag data T is generated based on the operations of the data user using a program and generation data stored in the user terminal 200 or the data collection device 10.

そして、指定された収集条件や、生成されたタグデータTの生成用データは、データ収集装置10に記憶されるとともに、データ収集の対象となる車両Vへ配信されて、車載装置100にも記憶される。 Then, the specified collection conditions and the data for generating the generated tag data T are stored in the data collection device 10, and are also distributed to the vehicle V that is the object of data collection and stored in the in-vehicle device 100. be done.

次に、各車載装置100は、各種センサの出力データを監視し、記憶している収集条件を満たすイベントが発生した場合に、出力データや映像データ等の実データRを記憶デバイスに記憶する。なお、映像データとは、例えば、動画であるが、静止画であってもよい。また、各車載装置100は、記憶しているタグデータTの生成用データと実データRとに基づき、当該実データRに対応するタグデータTを生成して記憶する。そして、各車載装置100は、タグデータTをデータ収集装置10にアップロードし、データ収集装置10はそのタグデータTを記憶する。なお、このとき、実データRは、データ収集装置10へはアップロードされない。つまり、図1Aに示すように、データ収集装置10は、タグデータTのみを保有した状態となる。 Next, each in-vehicle device 100 monitors output data from various sensors, and stores actual data R such as output data and video data in a storage device when an event that satisfies the stored collection conditions occurs. Note that the video data is, for example, a moving image, but may also be a still image. Further, each in-vehicle device 100 generates and stores tag data T corresponding to the actual data R based on the stored generation data of the tag data T and the actual data R. Then, each in-vehicle device 100 uploads the tag data T to the data collection device 10, and the data collection device 10 stores the tag data T. Note that at this time, the actual data R is not uploaded to the data collection device 10. In other words, as shown in FIG. 1A, the data collection device 10 is in a state where only the tag data T is held.

また、車載装置100は、データ収集装置10から指定された加工条件に基づき、採取した映像データに所定の加工を施して加工データを生成し、加工データをアップロードするが、かかる点の詳細は、図1Dで後述する。 Furthermore, the in-vehicle device 100 generates processed data by performing predetermined processing on the collected video data based on the processing conditions specified by the data collection device 10, and uploads the processed data. This will be described later in FIG. 1D.

そして、データ利用者が、利用者端末200により、データ収集状況の確認や実データRの収集のためにデータ収集装置10と接続すると、データ収集装置10により収集されたタグデータTに基づくメタ情報が利用者端末200に表示される。 When the data user connects to the data collection device 10 using the user terminal 200 to check the data collection status and collect actual data R, meta information based on the tag data T collected by the data collection device 10 is generated. is displayed on the user terminal 200.

そして、図1Bに示すように、データ利用者が、利用者端末200により、収集する実データRに対応するタグデータTを指定すると、データ収集装置10を介して該当の車載装置100へ実データRを指定する指示データが送信される。 Then, as shown in FIG. 1B, when the data user specifies tag data T corresponding to the actual data R to be collected using the user terminal 200, the actual data is sent to the corresponding in-vehicle device 100 via the data collection device 10. Instruction data specifying R is transmitted.

その後、図1Cに示すように、指定された実データRが、各車載装置100からデータ収集装置10へアップロードされ、データ収集装置10に記憶される。そして、データ利用者が、利用者端末200により、データ収集装置10に記憶された実データRにアクセスして、かかる実データRの閲覧やダウンロードなどを行う。 Thereafter, as shown in FIG. 1C, the specified actual data R is uploaded from each in-vehicle device 100 to the data collection device 10 and stored in the data collection device 10. Then, the data user accesses the real data R stored in the data collection device 10 using the user terminal 200, and views or downloads the real data R.

なお、車載装置100のデータ容量の観点からは、データ収集装置10にアップロードされた実データRおよびこれに対応するタグデータTは、データ収集装置10へのアップロード後に車載装置100から削除されることが好ましい。 Note that from the viewpoint of the data capacity of the in-vehicle device 100, the actual data R uploaded to the data collection device 10 and the corresponding tag data T are deleted from the in-vehicle device 100 after being uploaded to the data collection device 10. is preferred.

また、タグデータTは、実データRの一部を単純に抜粋したようなデータではなく、データ利用者が参照したときに実データRの概要を把握し、実データRの要否を判断できる程度にメタ情報化されていることが好ましい。 In addition, the tag data T is not data that is simply an excerpt of a part of the actual data R, but when the data user refers to it, he or she can grasp the outline of the actual data R and determine whether or not the actual data R is necessary. It is preferable that the information be converted into meta-information to a certain extent.

ここで、従来は、車載装置から収集した映像データをセンタであるデータ収集装置が解析するため、解析処理によりセンタの処理負荷が嵩んでしまうおそれがあった。 Here, conventionally, since the data collection device serving as the center analyzes the video data collected from the in-vehicle device, there is a risk that the processing load on the center will increase due to the analysis process.

そこで、実施形態に係る車載装置100の制御方法では、映像データに対して、データ収集装置10により指定された加工を施してアップロードすることとした。以下、図1Dを用いて、実施形態に係る車載装置の制御方法について、具体的に説明する。 Therefore, in the control method for the in-vehicle device 100 according to the embodiment, video data is subjected to processing specified by the data collection device 10 and then uploaded. Hereinafter, a method for controlling the in-vehicle device according to the embodiment will be specifically described using FIG. 1D.

図1Dでは、魚眼レンズのカメラで撮像された映像データに加工を施す場合を例に挙げて説明する。魚眼レンズのカメラで撮像された映像データは、レンズ特性により対象が湾曲した状態の映像となる。このため、映像データのレンズ特性に基づく歪みを補正して見やすい状態に加工してからデータ利用者に提供される場合がある。 In FIG. 1D, an example will be described in which processing is performed on video data captured by a camera with a fisheye lens. Video data captured by a camera with a fisheye lens is an image in which the object is curved due to the characteristics of the lens. For this reason, the image data may be provided to the data user after being processed to be easier to view by correcting distortions based on lens characteristics.

そこで、実施形態に係る車載装置100は、採取した映像データの歪み補正を施した加工データを生成してから、例えば、データ収集装置10等の外部へアップロードする。具体的には、図1Dに示すように、車載装置100は、データ収集装置10から歪み補正を行うことを指示する加工条件を受け付ける。 Therefore, the in-vehicle device 100 according to the embodiment generates processed data by performing distortion correction on the collected video data, and then uploads the data to an external device such as the data collection device 10, for example. Specifically, as shown in FIG. 1D, the in-vehicle device 100 receives processing conditions instructing to perform distortion correction from the data collection device 10.

そして、車載装置100は、データ収集装置10によって指定された加工条件に基づき、採取した映像データに所定の加工(歪み補正)を施して加工データを生成し、データ収集装置10へアップロードする。そして、データ収集装置10は、車載装置100からアップロードされた加工データを用いて、データ解析を行い、データ利用者へ解析結果を提供する。 Then, the in-vehicle device 100 performs predetermined processing (distortion correction) on the collected video data based on the processing conditions specified by the data collection device 10 to generate processed data, and uploads the processed data to the data collection device 10. The data collection device 10 then performs data analysis using the processed data uploaded from the in-vehicle device 100, and provides the analysis results to the data user.

つまり、実施形態に係る車載装置100の制御方法では、データ収集装置10が行うデータ加工の一部である歪み補正を車載装置100が担う。これにより、データ収集装置10が歪み補正を行う必要がないため、データ収集装置10の処理負荷を軽減できる。 That is, in the method for controlling the in-vehicle device 100 according to the embodiment, the in-vehicle device 100 is responsible for distortion correction that is part of data processing performed by the data collection device 10. This eliminates the need for the data collection device 10 to perform distortion correction, so that the processing load on the data collection device 10 can be reduced.

なお、車載装置100が担う加工は、歪み補正に限定されず、例えば、画質補正や、画像領域の切出し等といったデータ収集装置10が行っていた加工の一部(もしくは全部)であればよい。 Note that the processing that the in-vehicle device 100 is responsible for is not limited to distortion correction, and may be any part (or all) of the processing performed by the data collection device 10, such as image quality correction and cutting out an image area.

また、車載装置100が担う加工は、例えば、動画におけるフレームレートの変更(フレーム数を低減)や、動画や静止画における画像の解像度の変更(解像度を低減)を行ってもよい。 Further, the processing performed by the in-vehicle device 100 may be, for example, changing the frame rate of a moving image (reducing the number of frames) or changing the image resolution (reducing the resolution) of a moving image or a still image.

以下、実施形態に係るデータ収集システム1の構成例について、より具体的に説明する。 Hereinafter, a configuration example of the data collection system 1 according to the embodiment will be described in more detail.

図2は、実施形態に係るデータ収集システム1の構成例を示すブロック図である。なお、図2では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。 FIG. 2 is a block diagram showing a configuration example of the data collection system 1 according to the embodiment. Note that FIG. 2 shows only the constituent elements necessary for explaining the features of the embodiment, and the description of general constituent elements is omitted.

換言すれば、図2に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。 In other words, each component illustrated in FIG. 2 is functionally conceptual, and does not necessarily need to be physically configured as illustrated. For example, the specific form of distributing/integrating each block is not limited to what is shown in the diagram, and all or part of the blocks can be functionally or physically distributed/integrated in arbitrary units depending on various loads and usage conditions. It is possible to configure them in an integrated manner.

また、図2を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。 Furthermore, in the explanation using FIG. 2, the explanation of components that have already been explained may be simplified or omitted.

図2に示すように、実施形態に係るデータ収集システム1は、データ収集装置10と、車載装置100と、利用者端末200とを含む。 As shown in FIG. 2, the data collection system 1 according to the embodiment includes a data collection device 10, an in-vehicle device 100, and a user terminal 200.

まず、データ収集装置10から説明する。データ収集装置10は、通信部11と、記憶部12と、制御部13とを備える。 First, the data collection device 10 will be explained. The data collection device 10 includes a communication section 11, a storage section 12, and a control section 13.

通信部11は、たとえば、NIC(Network Interface Card)等によって実現される。通信部11は、ネットワークNと有線または無線で接続され、ネットワークNを介して、車載装置100や、利用者端末200との間で情報の送受信を行う。 The communication unit 11 is realized by, for example, a NIC (Network Interface Card). The communication unit 11 is connected to the network N by wire or wirelessly, and transmits and receives information to and from the in-vehicle device 100 and the user terminal 200 via the network N.

記憶部12は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、収集条件情報DB12aと、収集データDB12bとを記憶する。 The storage unit 12 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. , and the collected data DB 12b.

収集条件情報DB12aは、利用者端末200から指定され、後述する受付部13aによって受け付けられた収集条件が蓄積される。すなわち、収集条件情報DB12aは、収集条件に関する過去の実績を含む。 The collection condition information DB 12a stores collection conditions specified by the user terminal 200 and accepted by the reception unit 13a, which will be described later. That is, the collection condition information DB 12a includes past results regarding collection conditions.

図3は、収集条件の一例を示す図である。図3に示すように、収集条件には、車両データの収集に関する各種パラメータが含まれる。各種パラメータは、同図に示すように、たとえば「対象車両」、「データ種別」、「収集トリガ条件」、「収集期間」、「加工条件」などである。 FIG. 3 is a diagram showing an example of collection conditions. As shown in FIG. 3, the collection conditions include various parameters related to collection of vehicle data. As shown in the figure, the various parameters include, for example, "target vehicle", "data type", "collection trigger condition", "collection period", and "processing condition".

なお、「対象車両」は、収集対象となる車両Vの識別子である。また、「データ種別」は、収集対象となるデータの種別、一例としてアクセル開度率などである。「収集トリガ条件」は、収集のトリガとなる条件であり、一例として車速が所定速を超えた場合などである。「収集期間」は、データ収集を行う期間である。「加工条件」は、映像データ等の実データRに対して施す加工内容である。 Note that the "target vehicle" is an identifier of the vehicle V to be collected. Furthermore, the "data type" is the type of data to be collected, such as the accelerator opening rate, for example. The "collection trigger condition" is a condition that triggers collection, such as when the vehicle speed exceeds a predetermined speed. The "collection period" is the period during which data is collected. “Processing conditions” are details of processing to be performed on the actual data R such as video data.

また、ここでのいう加工内容とは、例えば、映像データの圧縮や、画質補正、画像領域の切出し、歪み補正等であり、データ収集装置10が解析を行うために必要な加工内容である。 Further, the processing content referred to here includes, for example, compression of video data, image quality correction, cropping of an image area, distortion correction, etc., and is processing content necessary for the data collection device 10 to perform analysis.

収集データDB12bは、後述する収集部13cによって各車載装置100から収集された収集データが蓄積される。すなわち、収集データDB12bは、収集データの過去の実績を含む。なお、収集データは、前述のタグデータTおよび実データR(圧縮データ)を含む。 The collected data DB 12b stores collected data collected from each vehicle-mounted device 100 by a collection unit 13c, which will be described later. That is, the collected data DB 12b includes past results of collected data. Note that the collected data includes the above-mentioned tag data T and real data R (compressed data).

制御部13は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、データ収集装置10内部の記憶デバイスに記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部13は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。 The control unit 13 is a controller, and various programs stored in a storage device inside the data collection device 10 use the RAM as a work area by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is achieved by executing as . Further, the control unit 13 can be realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

制御部13は、受付部13aと、配信部13bと、収集部13cと、解析部13dとを有し、以下に説明する情報処理の機能や作用を実現または実行する。 The control unit 13 includes a reception unit 13a, a distribution unit 13b, a collection unit 13c, and an analysis unit 13d, and realizes or executes information processing functions and operations described below.

受付部13aは、データ利用者により、利用者端末200から指定された収集条件を通信部11を介して受け付け、配信部13bへ通知する。また、受付部13aは、データ利用者により指定された収集条件を収集条件情報DB12aへ格納する。 The reception unit 13a receives the collection conditions specified by the data user from the user terminal 200 via the communication unit 11, and notifies the distribution unit 13b. Further, the reception unit 13a stores the collection conditions specified by the data user into the collection condition information DB 12a.

配信部13bは、収集条件情報DB12aへ格納され、データ利用者によって指定された収集条件を、対象車両となる車両Vへ、たとえばファイル形式で通信部11を介して配信する。 The distribution unit 13b distributes the collection conditions stored in the collection condition information DB 12a and specified by the data user to the vehicle V serving as the target vehicle, for example, in a file format via the communication unit 11.

収集部13cは、配信部13bによって配信された収集条件に基づいて取得された車両データであって、車載装置100からアップロードされるタグデータTや実データR(加工データ)を、通信部11を介して収集し、収集データとして収集データDB12bへ蓄積する。 The collection unit 13c transmits the tag data T and actual data R (processed data), which are vehicle data acquired based on the collection conditions distributed by the distribution unit 13b and is uploaded from the in-vehicle device 100, to the communication unit 11. The information is collected via the DB 12b and stored as collected data in the collected data DB 12b.

解析部13dは、例えば、利用者端末200を介したデータ利用者の解析指示に基づいて加工データに加工を施することで解析処理を行い、解析結果をデータ利用者へ提供する。 The analysis unit 13d performs analysis processing by processing the processed data based on an analysis instruction from the data user via the user terminal 200, for example, and provides the analysis result to the data user.

また、解析部13dは、車載装置100の加工用プログラムが指定した加工条件に対応していない旨の通知が車載装置100からあった場合、更新プログラムを車載装置100を配信する。 Furthermore, when the analysis unit 13d receives a notification from the on-vehicle device 100 that the machining program of the on-vehicle device 100 does not correspond to the specified machining conditions, the analysis unit 13d distributes an update program to the on-vehicle device 100.

次に、車載装置100について説明する。車載装置100は、通信部101と、記憶部102と、制御部103とを備える。また、車載装置100は、上述したように、カメラや、加速度センサ、GPSセンサなどの各種センサ150が接続される。 Next, the in-vehicle device 100 will be explained. The in-vehicle device 100 includes a communication section 101, a storage section 102, and a control section 103. Further, as described above, various sensors 150 such as a camera, an acceleration sensor, and a GPS sensor are connected to the in-vehicle device 100.

通信部101は、通信部11と同様に、たとえばNIC等によって実現される。通信部101は、ネットワークNと無線で接続され、ネットワークNを介して、データ収集装置10との間で情報の送受信を行う。また、通信部101は、各種センサ150の出力データを受信する。 Similarly to the communication unit 11, the communication unit 101 is realized by, for example, a NIC or the like. The communication unit 101 is wirelessly connected to the network N, and transmits and receives information to and from the data collection device 10 via the network N. The communication unit 101 also receives output data from various sensors 150.

記憶部102は、記憶部12と同様に、たとえば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、収集条件情報102aと、車両データ情報102bとを記憶する。 Like the storage unit 12, the storage unit 102 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. In the example of FIG. 2, the collection condition information 102a and the vehicle The data information 102b is stored.

収集条件情報102aは、データ収集装置10から配信された収集条件を含む情報である。車両データ情報102bは、後述する採取部103cによって採取された車両データを含む情報である。車両データは、前述のタグデータTおよび実データR(加工データ)を含む。 The collection condition information 102a is information including collection conditions distributed from the data collection device 10. The vehicle data information 102b is information including vehicle data collected by a collection unit 103c, which will be described later. The vehicle data includes the above-mentioned tag data T and actual data R (processed data).

制御部103は、制御部13と同様に、コントローラであり、たとえば、CPUやMPU等によって、車載装置100内部の記憶デバイスに記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部103は、たとえば、ASICやFPGA等の集積回路により実現することができる。 The control unit 103 is a controller like the control unit 13, and is realized by, for example, executing various programs stored in a storage device inside the in-vehicle device 100 by a CPU, an MPU, etc. using the RAM as a work area. be done. Further, the control unit 103 can be realized by, for example, an integrated circuit such as an ASIC or an FPGA.

制御部103は、取得部103aと、検出部103bと、採取部103cと、生成部103dと、アップロード部103eとを有し、以下に説明する情報処理の機能や作用を実現または実行する。 The control unit 103 includes an acquisition unit 103a, a detection unit 103b, a collection unit 103c, a generation unit 103d, and an upload unit 103e, and realizes or executes information processing functions and operations described below.

取得部103aは、データ収集装置10から配信された収集条件を取得し、収集条件情報102aへ格納する。検出部103bは、各種センサ150からの出力データを監視し、収集条件においてトリガとなるイベントの発生を検出する。 The acquisition unit 103a acquires the collection conditions distributed from the data collection device 10, and stores them in the collection condition information 102a. The detection unit 103b monitors the output data from the various sensors 150 and detects the occurrence of an event that becomes a trigger under the collection conditions.

たとえば、検出部103bは、収集条件において車両データを採取するトリガとなるイベントの発生を検出した場合に、採取部103cに車両データを採取させる。また、たとえば、検出部103bは、収集条件において車両データをデータ収集装置10へアップロードさせるトリガとなるイベントの発生を検出した場合に、アップロード部103eに車両データをアップロードさせる。 For example, when the detection unit 103b detects the occurrence of an event that is a trigger for collecting vehicle data under the collection conditions, it causes the collecting unit 103c to collect vehicle data. For example, when the detection unit 103b detects the occurrence of an event that is a trigger for uploading vehicle data to the data collection device 10 under the collection conditions, the detection unit 103b causes the upload unit 103e to upload the vehicle data.

採取部103cは、検出部103bによって車両データを採取するトリガの発生が検出された場合に、各種センサ150の出力データに基づく車両データを採取する。また、採取部103cは、検出部103bによって車両データの採取を停止するトリガの発生が検出された場合に、車両データの採取を停止する。 The collection unit 103c collects vehicle data based on the output data of the various sensors 150 when the detection unit 103b detects the occurrence of a trigger for collecting vehicle data. Further, the collection unit 103c stops collecting vehicle data when the detection unit 103b detects the occurrence of a trigger for stopping the collection of vehicle data.

生成部103dは、データ収集装置10から指定された加工条件に基づき、採取部103cによって採取された映像データに所定の加工を施して加工データを生成する。具体的には、生成部103dは、収集条件情報102aに格納された収集条件の加工条件に従って、映像データに所定の加工を施して加工データを生成し、車両データ情報102bに格納する。 The generation unit 103d performs predetermined processing on the video data collected by the collection unit 103c based on the processing conditions specified by the data collection device 10 to generate processed data. Specifically, the generation unit 103d generates processed data by subjecting the video data to predetermined processing according to the processing conditions of the collection conditions stored in the collection condition information 102a, and stores the processed data in the vehicle data information 102b.

また、生成部103dは、加工データをメタ情報化したタグデータTを生成し、加工データに対応付けて車両データ情報102bに格納する。なお、生成部103dは、タグデータTを生成する場合に、加工データに施した加工内容に関する加工情報をタグデータTに含ませる。 Furthermore, the generation unit 103d generates tag data T that is meta information of the processed data, and stores it in the vehicle data information 102b in association with the processed data. Note that when generating the tag data T, the generation unit 103d causes the tag data T to include processing information regarding the content of processing performed on the processed data.

なお、生成部103dによる加工のタイミングは、任意であってよい。例えば、生成部103dは、採取部103cが映像データを採取して直ちに加工データを生成してもよく、採取部103cによって映像データが一度車両データ情報102bに格納されてから、特定のタイミングで加工を行ってもよい。 Note that the timing of processing by the generation unit 103d may be arbitrary. For example, the generation unit 103d may generate processed data immediately after the collection unit 103c collects the video data, or the generation unit 103d may process the video data at a specific timing after the video data is once stored in the vehicle data information 102b by the collection unit 103c. You may do so.

なお、特定のタイミングとは、例えば、データ収集装置10から実データRの収集要求があったタイミング、つまり、データ収集装置10へアップロードするタイミングである。あるいは、特定のタイミングとして、車載装置100の処理負荷が比較的軽いタイミングであってもよい。 Note that the specific timing is, for example, the timing at which the data collection device 10 makes a request to collect the actual data R, that is, the timing at which the actual data R is uploaded to the data collection device 10. Alternatively, the specific timing may be a timing when the processing load on the in-vehicle device 100 is relatively light.

具体的には、生成部103dは、車載装置100の処理負荷が所定の閾値未満である場合に、加工データを生成する。これにより、車載装置100の他の処理が圧迫されることなく、加工を施すことができる。なお、車載装置100の処理負荷が所定の閾値未満の場合とは、例えば、採取部103cが映像データを採取していない場合や、車両Vが停止中の場合等である。 Specifically, the generation unit 103d generates processed data when the processing load of the in-vehicle device 100 is less than a predetermined threshold. Thereby, processing can be performed without putting pressure on other processes of the in-vehicle device 100. Note that the case where the processing load of the in-vehicle device 100 is less than a predetermined threshold value includes, for example, a case where the collecting unit 103c is not collecting video data, a case where the vehicle V is stopped, etc.

また、生成部103dは、収集条件における加工条件に基づく加工を施せない場合に、データ収集装置10に対して加工を施せないことを示す不可情報を通知する。これにより、データ収集装置10は、アップロードされる映像データに加工が施されていないことを事前に確認できるため、車載装置100で対応できなかった加工を行うことで、解析処理等をスムーズに行うことができる。 Further, when the processing based on the processing conditions in the collection conditions cannot be performed, the generation unit 103d notifies the data collection device 10 of impossibility information indicating that the processing cannot be performed. As a result, the data collection device 10 can confirm in advance that the video data to be uploaded has not been processed, so it can smoothly perform analysis processing, etc. by performing processing that could not be handled by the in-vehicle device 100. be able to.

また、生成部103dは、収集条件における加工条件に基づく加工を施せない場合に、データ収集装置10から加工に関する更新プログラムを取得してもよい。これにより、車載装置100の加工プログラムが所定の加工内容に対応していない場合であっても、更新プログラムを取得することで、加工を行うことができる。 Further, the generation unit 103d may obtain an update program related to processing from the data collection device 10 when processing cannot be performed based on the processing conditions in the collection conditions. Thereby, even if the machining program of the in-vehicle device 100 does not correspond to the predetermined machining content, the machining can be performed by acquiring the updated program.

アップロード部103e(送信部の一例)は、検出部103bによって車両データをアップロードするトリガの発生が検出された場合に、車両データ情報102bに格納された車両データをデータ収集装置10へアップロードする。 The upload unit 103e (an example of a transmitting unit) uploads the vehicle data stored in the vehicle data information 102b to the data collection device 10 when the detection unit 103b detects the occurrence of a trigger for uploading vehicle data.

また、アップロード部103eは、生成部103dによって生成されたタグデータT、つまり、加工データの加工内容に関する加工情報を含むタグデータTを送信する。これにより、データ収集装置10は、加工データの加工内容を事前に確認できるため、解析処理において加工内容を確認するプロセスを省くことができ、結果、処理負荷を軽減できる。 The upload unit 103e also transmits the tag data T generated by the generation unit 103d, that is, the tag data T that includes processing information regarding the processing content of the processed data. Thereby, the data collection device 10 can check the processing contents of the processed data in advance, so that the process of checking the processing contents can be omitted in the analysis process, and as a result, the processing load can be reduced.

次に、図4を用いて、実施形態に係る車載装置100が実行する処理の処理手順について説明する。図4は、実施形態に係る車載装置100が実行する処理の処理手順を示すフローチャートである。 Next, the processing procedure of the process executed by the in-vehicle device 100 according to the embodiment will be described using FIG. 4. FIG. 4 is a flowchart showing a processing procedure of processing executed by the in-vehicle device 100 according to the embodiment.

図4に示すように、まず、取得部103aは、データ収集装置10から配信される収集条件を取得する(ステップS101)。つづいて、採取部103cは、収集条件に基づいて映像データを採取する(ステップS102)。 As shown in FIG. 4, first, the acquisition unit 103a acquires collection conditions distributed from the data collection device 10 (step S101). Subsequently, the collection unit 103c collects video data based on the collection conditions (step S102).

つづいて、生成部103dは、収取条件における加工条件に基づいて、採取部103cが採取した映像データに所定の加工を施して加工データを生成する(ステップS103)。 Next, the generation unit 103d performs predetermined processing on the video data collected by the collection unit 103c based on the processing conditions in the collection conditions to generate processed data (step S103).

つづいて、検出部103bは、データ収集装置10から収集要求の指示があったか否かを判定し(ステップS104)、指示が無い場合(ステップS104:No)、ステップS104を繰り返し実行する。 Subsequently, the detection unit 103b determines whether there is a collection request instruction from the data collection device 10 (step S104), and if there is no instruction (step S104: No), it repeatedly executes step S104.

また、アップロード部103eは、指示があった場合(ステップS104:Yes)、加工データをデータ収集装置10へアップロードし(ステップS105)、処理を終了する。 Moreover, when there is an instruction (step S104: Yes), the upload unit 103e uploads the processed data to the data collection device 10 (step S105), and ends the process.

上述してきたように、実施形態に係る車載装置100は、採取部103cと、生成部103dと、アップロード部103e(送信部)を備える。採取部103cは、車両Vで撮像された映像データを採取する。生成部103dは、データ収集装置10から指定された加工条件に基づき、採取部103cによって採取された映像データに所定の加工を施して加工データを生成する。アップロード部103eは、生成部103dによって生成された加工データをデータ収集装置10(外部の一例)へ送信する。これにより、データ収集装置10の処理負荷を軽減することができる。 As described above, the in-vehicle device 100 according to the embodiment includes the collection section 103c, the generation section 103d, and the upload section 103e (transmission section). The collection unit 103c collects video data captured by the vehicle V. The generation unit 103d performs predetermined processing on the video data collected by the collection unit 103c based on the processing conditions specified by the data collection device 10 to generate processed data. The upload unit 103e transmits the processed data generated by the generation unit 103d to the data collection device 10 (an example of an external device). Thereby, the processing load on the data collection device 10 can be reduced.

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications can be easily deduced by those skilled in the art. Therefore, the broader aspects of the invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various changes may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.

1 データ収集システム
10 データ収集装置
11、101 通信部
12、102 記憶部
13、103 制御部
13a 受付部
13b 配信部
13c 収集部
13d 解析部
100 車載装置
103a 取得部
103b 検出部
103c 採取部
103d 生成部
103e アップロード部
200 利用者端末
1 Data collection system 10 Data collection device 11, 101 Communication unit 12, 102 Storage unit 13, 103 Control unit 13a Reception unit 13b Distribution unit 13c Collection unit 13d Analysis unit 100 Vehicle-mounted device 103a Acquisition unit 103b Detection unit 103c Collection unit 103d Generation unit 103e Upload section 200 User terminal

Claims (6)

車両で撮像された映像データを採取し、採取した前記映像データに加工を施して生成した加工データを外部へ送信する制御部を備え、
前記制御部は、
車載装置の処理負荷が所定の閾値未満である場合に、データ収集装置から指定された加工条件に基づき、前記データ収集装置が行う加工の少なくとも一部を、前記映像データに対して施して前記加工データを生成すること
を特徴とする車載装置。
A control unit that collects video data captured by the vehicle, processes the collected video data, and transmits the generated processed data to the outside,
The control unit includes:
When the processing load of the in-vehicle device is less than a predetermined threshold, at least a part of the processing performed by the data collection device is performed on the video data based on the processing conditions specified by the data collection device, and the processing is performed on the video data. An in-vehicle device characterized by generating data.
前記制御部は、
加工データがメタ情報化されたメタデータであって、加工データの加工内容に関する加工情報を含むメタデータを外部へ送信すること
を特徴とする請求項1に記載の車載装置。
The control unit includes:
The in-vehicle device according to claim 1, wherein the processed data is metadata converted into meta information, and the metadata including processing information regarding processing contents of the processed data is transmitted to the outside.
前記制御部は、
データ収集装置から指定された加工条件に基づく加工を施せない場合に、データ収集装置に対して加工を施せないことを示す不可情報を通知すること
を特徴とする請求項1または2に記載の車載装置。
The control unit includes:
In-vehicle installation according to claim 1 or 2, characterized in that when processing cannot be performed based on processing conditions specified by the data collection device, disapproval information indicating that the processing cannot be performed is notified to the data collection device. Device.
前記制御部は、
データ収集装置から指定された加工条件に基づく加工を施せない場合に、データ収集装置から加工に関する更新プログラムを取得すること
を特徴とする請求項1~3のいずれか1つに記載の車載装置。
The control unit includes:
The in-vehicle device according to any one of claims 1 to 3, wherein when processing cannot be performed based on processing conditions specified by the data collection device, an update program related to processing is obtained from the data collection device.
請求項1~4のいずれか1つに記載の車載装置と、
前記車載装置から車両に関するデータを収集するデータ収集装置と、
前記データ収集装置によって収集されたデータを取得する端末装置と
を備えることを特徴とするデータ収集システム。
The in-vehicle device according to any one of claims 1 to 4,
a data collection device that collects data regarding the vehicle from the in-vehicle device;
A data collection system comprising: a terminal device that acquires data collected by the data collection device.
車載装置によって実行される制御方法であって、
車両で撮像された映像データを採取し、採取した前記映像データに加工を施して生成した加工データを外部へ送信する制御工程を含み、
前記制御工程は、
車載装置の処理負荷が所定の閾値未満である場合に、データ収集装置から指定された加工条件に基づき、前記データ収集装置が行う加工の少なくとも一部を、前記映像データに対して施して前記加工データを生成すること
を特徴とする車載装置の制御方法。
A control method executed by an on-vehicle device, the method comprising:
A control step of collecting video data captured by the vehicle, processing the collected video data, and transmitting the generated processed data to the outside,
The control step includes:
When the processing load of the in-vehicle device is less than a predetermined threshold, at least a part of the processing performed by the data collection device is performed on the video data based on the processing conditions specified by the data collection device, and the processing is performed on the video data. A method for controlling an in-vehicle device, the method comprising: generating data.
JP2018246915A 2018-12-28 2018-12-28 In-vehicle device, data collection system, and control method for in-vehicle device Active JP7353037B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018246915A JP7353037B2 (en) 2018-12-28 2018-12-28 In-vehicle device, data collection system, and control method for in-vehicle device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018246915A JP7353037B2 (en) 2018-12-28 2018-12-28 In-vehicle device, data collection system, and control method for in-vehicle device

Publications (3)

Publication Number Publication Date
JP2020107181A JP2020107181A (en) 2020-07-09
JP2020107181A5 JP2020107181A5 (en) 2021-10-28
JP7353037B2 true JP7353037B2 (en) 2023-09-29

Family

ID=71449276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018246915A Active JP7353037B2 (en) 2018-12-28 2018-12-28 In-vehicle device, data collection system, and control method for in-vehicle device

Country Status (1)

Country Link
JP (1) JP7353037B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054778A (en) 2004-08-16 2006-02-23 Konica Minolta Business Technologies Inc Picture reader
JP2007017715A (en) 2005-07-07 2007-01-25 Denso Corp On-vehicle navigator
JP2014081872A (en) 2012-10-18 2014-05-08 Denso Corp Vehicle information processor
JP2018055581A (en) 2016-09-30 2018-04-05 富士通株式会社 Road information collection system, road information collection method, and road information collection program
JP2018055191A (en) 2016-09-26 2018-04-05 株式会社日立製作所 Data collection system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054778A1 (en) * 2004-11-17 2006-05-26 Nec Corporation Communication system, communication terminal device, server device, communication method used for the same, and program thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054778A (en) 2004-08-16 2006-02-23 Konica Minolta Business Technologies Inc Picture reader
JP2007017715A (en) 2005-07-07 2007-01-25 Denso Corp On-vehicle navigator
JP2014081872A (en) 2012-10-18 2014-05-08 Denso Corp Vehicle information processor
JP2018055191A (en) 2016-09-26 2018-04-05 株式会社日立製作所 Data collection system
JP2018055581A (en) 2016-09-30 2018-04-05 富士通株式会社 Road information collection system, road information collection method, and road information collection program

Also Published As

Publication number Publication date
JP2020107181A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
KR102190483B1 (en) System for compressing and restoring picture based on AI
US10152831B2 (en) Method for sharing real-time recording
CN110602445B (en) Video monitoring data acquisition method and device, computer equipment and storage medium
US11647217B2 (en) Transmission device, communication system, transmission method, and computer program product
CN111263220A (en) Video processing method and device, electronic equipment and computer readable storage medium
CN109194706B (en) Network resource dial testing method and terminal
JP7353037B2 (en) In-vehicle device, data collection system, and control method for in-vehicle device
CN107431751B (en) Method, device and system for acquiring image
US9955162B2 (en) Photo cluster detection and compression
CN107197162B (en) Shooting method, shooting device, video storage equipment and shooting terminal
US11979660B2 (en) Camera analyzing images on basis of artificial intelligence, and operating method therefor
JP7353036B2 (en) Data collection device, data collection system and data collection method
CN114040223A (en) Image processing method and system
CN113473084A (en) Data transmitting method, data receiving method, related terminal and storage medium
JP2020107291A (en) In-vehicle apparatus, data collection system, and control method of in-vehicle apparatus
KR102613872B1 (en) Server device, communication system, and non-transitory computer readable recording medium
US20230370651A1 (en) Server device, information processing method, and computer program product
US20220342898A1 (en) Apparatus, method and computer-readable medium for access
CN117011787B (en) Information processing method and device applied to gas station and electronic equipment
CN113315997B (en) Transmission device, server device, transmission method, and program
EP3750804A1 (en) Data storage in a helmet system
KR101609145B1 (en) Image management method and system for captured image at the film site of broadcast site
CN115472029A (en) Road condition information processing method, electronic device and storage medium
CN115359391A (en) Inspection image detection method, inspection image detection device, electronic device and medium
AU2014200119B2 (en) Method and Apparatus for Producing Digitally Edited Images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230919

R150 Certificate of patent or registration of utility model

Ref document number: 7353037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150