JP7476257B2 - Servers and Vehicles - Google Patents

Servers and Vehicles Download PDF

Info

Publication number
JP7476257B2
JP7476257B2 JP2022091115A JP2022091115A JP7476257B2 JP 7476257 B2 JP7476257 B2 JP 7476257B2 JP 2022091115 A JP2022091115 A JP 2022091115A JP 2022091115 A JP2022091115 A JP 2022091115A JP 7476257 B2 JP7476257 B2 JP 7476257B2
Authority
JP
Japan
Prior art keywords
image data
unit
vehicle
server
transmission time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022091115A
Other languages
Japanese (ja)
Other versions
JP2023178066A (en
Inventor
優 中西
謙吾 小林
光洋 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2022091115A priority Critical patent/JP7476257B2/en
Publication of JP2023178066A publication Critical patent/JP2023178066A/en
Application granted granted Critical
Publication of JP7476257B2 publication Critical patent/JP7476257B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)

Description

本発明は、サーバおよび車両に関する。 The present invention relates to a server and a vehicle.

従来、画像データの送信側となる装置と、受信側となる装置と、を備え、送信側となる装置が受信側となる装置の必要に応じて画像データを圧縮し、それを受信側となる装置に送信するための各種技術が提案されている。例えば下記特許文献1には、画像伝送に先立ち、受信側となる装置が送信側となる装置に利用目的情報を送信し、送信側となる装置は利用目的情報に従って、送信すべき画像を圧縮し、受信側となる装置へ送信する画像伝送システムについて記載されている。 Conventionally, various technologies have been proposed that include a device that transmits image data and a device that receives image data, in which the device that transmits image data compresses the image data as required by the device that receives it, and transmits the compressed image data to the device that receives it. For example, the following Patent Document 1 describes an image transmission system in which, prior to image transmission, the device that receives image data transmits usage purpose information to the device that transmits image data, and the device that transmits image data compresses the image data to be transmitted according to the usage purpose information, and transmits the compressed image data to the device that receives image data.

特開平06-189105号公報Japanese Patent Application Laid-Open No. 06-189105

近年、カメラを搭載した少なくとも一台の車両を画像の送信側、サーバを受信側とし、カメラが生成した画像データを、サーバで解析するシステムが出てきている。このサーバが行う解析の中には、画像データの送信を急ぐもの(例えば、交通事故の状況や原因を探るための解析等)と、そうでないもの(交通参加者の属性の統計を取るための解析等)がある。しかし、上記のような従来技術は、テーブルを参照して画素数に対応する圧縮率を選択するものでしかなく、画像データの送信時間に関する要求に対応することはできなかった。また、画像データの圧縮率を送信時間に応じて決定しようとすると、処理が比較的複雑になることがある。こうした処理を、一のサーバが複数の車両について行おうとする場合、サーバにかなりの負担をかけることになる。 In recent years, systems have emerged in which at least one vehicle equipped with a camera acts as the image sender and a server acts as the receiver, and the image data generated by the camera is analyzed by the server. Some analyses performed by the server require the image data to be sent quickly (e.g., analysis to find the circumstances and causes of a traffic accident) and others do not (e.g., analysis to collect statistics on the attributes of traffic participants). However, the above-mentioned conventional technology only refers to a table to select a compression rate corresponding to the number of pixels, and is unable to meet requirements regarding the transmission time of the image data. Furthermore, when attempting to determine the compression rate of the image data depending on the transmission time, the processing can become relatively complicated. When one server attempts to perform such processing for multiple vehicles, it places a considerable burden on the server.

上記の課題を解決するために、本発明の一態様に係る車両は、サーバと通信する通信部を備える車両であって、前記車両の外側および内側の少なくとも一方を撮影し画像データを生成するカメラと、前記サーバから、前記画像データの送信時間の上限値である許容送信時間を含む制約情報を取得する取得部と、前記制約情報に基づいて前記画像データの圧縮率を決定する決定部と、前記圧縮率で前記画像データを圧縮し圧縮画像データを生成する圧縮部と、前記圧縮画像データを前記サーバへ送信するよう前記通信部を制御する送信制御部と、を備える。 In order to solve the above problems, a vehicle according to one aspect of the present invention is a vehicle equipped with a communication unit that communicates with a server, and includes a camera that captures images of at least one of the exterior and interior of the vehicle and generates image data, an acquisition unit that acquires constraint information from the server, including an allowable transmission time that is an upper limit of the transmission time of the image data, a determination unit that determines a compression rate of the image data based on the constraint information, a compression unit that compresses the image data at the compression rate to generate compressed image data, and a transmission control unit that controls the communication unit to transmit the compressed image data to the server.

上記の課題を解決するために、本発明の他の態様に係るサーバは、画像データを生成するカメラを備える車両と通信する通信部と、前記画像データの送信時間の上限値である許容送信時間を含む制約情報を前記車両へ送信するよう前記通信部を制御する送信制御部と、前記車両から、前記カメラが生成した画像データ、または前記制約情報に基づいて生成された圧縮画像データを受信するよう前記通信部を制御する受信制御部と、を備える。 To solve the above problem, a server according to another aspect of the present invention includes a communication unit that communicates with a vehicle equipped with a camera that generates image data, a transmission control unit that controls the communication unit to transmit constraint information to the vehicle, the constraint information including an allowable transmission time that is an upper limit of the transmission time of the image data, and a reception control unit that controls the communication unit to receive from the vehicle the image data generated by the camera or the compressed image data generated based on the constraint information.

本発明の第一(第二)実施形態に係るサーバおよび車両によって構成されるシステムの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a system including a server and a vehicle according to a first (second) embodiment of the present invention; 第一実施形態に係る車両の機能的構成を示すブロック図である。1 is a block diagram showing a functional configuration of a vehicle according to a first embodiment. 同車両が行う処理の内容を示すフローチャートである。4 is a flowchart showing the process performed by the vehicle. 第一実施形態に係るサーバの機能的構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of a server according to the first embodiment. 第二実施形態に係る車両の機能的構成を示すブロック図である。FIG. 11 is a block diagram showing a functional configuration of a vehicle according to a second embodiment. 第一実施形態に係るサーバの機能的構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of a server according to the first embodiment.

<第一実施形態>
はじめに、本発明の実施形態に係るシステム100の詳細について説明する。
First Embodiment
First, details of the system 100 according to the embodiment of the present invention will be described.

本実施形態に係るシステム100は、交通参加者の情報を収集するためのシステムである。
システム100は、図1に示したように、車両1と、サーバ2と、を備えている。本実施形態に係るシステム100は、中継機器3を更に備えている。中継機器3は、車両1とサーバ2との通信を中継する。中継機器3には、セルラー通信を行うための基地局、Wi-Fi(登録商標)通信を行うためのアクセスポイント等が含まれる。また、本実施形態に係るシステム100は、車両1を複数備えている。
The system 100 according to this embodiment is a system for collecting information on traffic participants.
1 , the system 100 includes a vehicle 1 and a server 2. The system 100 according to this embodiment further includes a relay device 3. The relay device 3 relays communication between the vehicle 1 and the server 2. The relay device 3 includes a base station for cellular communication, an access point for Wi-Fi (registered trademark) communication, and the like. The system 100 according to this embodiment also includes a plurality of vehicles 1.

[車両の構成]
車両1は、図2に示したように、車両側通信部11と、カメラ12と、車両側記憶部13と、車両側制御部14と、を備える。
[Vehicle configuration]
As shown in FIG. 2 , the vehicle 1 includes a vehicle-side communication unit 11 , a camera 12 , a vehicle-side storage unit 13 , and a vehicle-side control unit 14 .

〔車両側通信部〕
車両側通信部11は、上記サーバ2と通信する。本実施形態に係る車両側通信部11は、通信モジュールで構成されている。本実施形態に係る車両側通信部11は、無線通信モジュールで構成されている。すなわち、車両側通信部11は、中継機器3を介してサーバ2と無線で通信する。
[Vehicle side communication unit]
The vehicle-side communication unit 11 communicates with the server 2. The vehicle-side communication unit 11 according to the present embodiment is configured with a communication module. The vehicle-side communication unit 11 according to the present embodiment is configured with a wireless communication module. That is, the vehicle-side communication unit 11 communicates with the server 2 wirelessly via the relay device 3.

〔カメラ〕
カメラ12は、車両1の外側および内側の少なくとも一方を撮影し画像データを生成する。本実施形態に係るカメラ12の撮影方式は、動画撮影であってもよいし、静止画撮影であってもよい。すなわち、画像データには、動画データおよび静止画データの少なくとも一方が含まれる。動画撮影の場合、カメラ12は、車両1が走行している間撮影を継続する。一方、静止画撮影の場合、カメラ12は、車両1が走行している間、撮影を繰り返す。本実施形態に係るカメラ12は、生成した画像データを、車両側制御部14の生成部142(詳細後述)に出力するとともに、車両側記憶部13に記憶させる。
〔camera〕
The camera 12 captures at least one of the outside and inside of the vehicle 1 and generates image data. The imaging method of the camera 12 according to this embodiment may be video imaging or still image imaging. That is, the image data includes at least one of video data and still image data. In the case of video imaging, the camera 12 continues imaging while the vehicle 1 is traveling. On the other hand, in the case of still image imaging, the camera 12 repeats imaging while the vehicle 1 is traveling. The camera 12 according to this embodiment outputs the generated image data to a generation unit 142 (described in detail later) of the vehicle-side control unit 14 and stores the image data in the vehicle-side memory unit 13.

〔車両側記憶部〕
本実施形態に係る車両側記憶部13は、各種データ、各種情報を記憶可能に構成されている。本実施形態に係る車両側記憶部13は、半導体メモリ、ハードディスクドライブ等で構成されている。
[Vehicle side memory unit]
The vehicle-side storage unit 13 according to the present embodiment is configured to be able to store various data and various information. The vehicle-side storage unit 13 according to the present embodiment is configured with a semiconductor memory, a hard disk drive, or the like.

〔車両側制御部〕
本実施形態に係る車両側制御部14は、取得部141と、生成部142と、決定部143と、圧縮部144と、車両側送信制御部145(送信制御部)と、を備える。
[Vehicle side control unit]
The vehicle-side control unit 14 according to this embodiment includes an acquisition unit 141, a generation unit 142, a determination unit 143, a compression unit 144, and a vehicle-side transmission control unit 145 (transmission control unit).

(取得部)
取得部141は、サーバ2から、制約情報を取得する。制約情報は、許容送信時間を含む。許容送信時間は、車両1からサーバ2へ画像データを送信する際の、画像データの送信時間の上限値である。本実施形態に係る取得部141が取得する制約情報は、許容検知精度を更に含む。許容検知精度は、サーバ2が圧縮画像データを用いて物体を検知する場合の検知精度である圧縮後検知精度の下限値である。なお、個々の検知精度の具体的な算出方法については後述する。取得部141がこのような制約情報を取得することにより、車両1は、検知精度を考慮して圧縮された圧縮画像データを、送信時間を考慮してサーバ2へ送信することができるようになる。
(Acquisition Department)
The acquisition unit 141 acquires constraint information from the server 2. The constraint information includes an allowable transmission time. The allowable transmission time is an upper limit of the transmission time of image data when the image data is transmitted from the vehicle 1 to the server 2. The constraint information acquired by the acquisition unit 141 according to this embodiment further includes an allowable detection accuracy. The allowable detection accuracy is a lower limit of the post-compression detection accuracy, which is the detection accuracy when the server 2 detects an object using compressed image data. Note that a specific method of calculating each detection accuracy will be described later. By the acquisition unit 141 acquiring such constraint information, the vehicle 1 becomes able to transmit the compressed image data, which has been compressed taking into account the detection accuracy, to the server 2 taking into account the transmission time.

また、本実施形態に係る取得部141が取得する制約情報は、中継機器3のスループットを更に含む。取得部141がこのような制約情報を取得することにより、車両1は、検知精度を考慮して圧縮された圧縮画像データを、中継機器3を介して通信する他の通信機器の使用状況が変化する等して、通信速度が低下した場合であっても、許容送信時間を超えないようにサーバ2へ送信することができるようになる。 In addition, the constraint information acquired by the acquisition unit 141 according to this embodiment further includes the throughput of the relay device 3. By acquiring such constraint information by the acquisition unit 141, the vehicle 1 is able to transmit the compressed image data, compressed taking into consideration the detection accuracy, to the server 2 without exceeding the allowable transmission time, even if the communication speed is reduced due to a change in the usage status of other communication devices communicating through the relay device 3, etc.

(生成部)
生成部142は、カメラ12が生成した画像データから、物体のバウンディングボックス(以下、BB)を検知し、当該BBのサイズを示すBB情報を生成する。本実施形態に係る生成部142は、道路上の交通に関する物体のBBを検知する。本実施形態に係る生成部142が検知する「交通に関する物体」には、交通参加者(自動車、二輪車、自転車、歩行者等)、交通設備(信号機、交通標識等)等が含まれる。上述したように、本実施形態に係るカメラ12は、車両1が走行している間、動画撮影を継続する、または静止画撮影を繰り返す。このため、本実施形態に係る生成部142は、BB情報を定期的に生成する。本実施形態に係る生成部142は、生成したBB情報を車両側記憶部13に記憶させる。
(Generation section)
The generating unit 142 detects a bounding box (hereinafter, BB) of an object from the image data generated by the camera 12, and generates BB information indicating the size of the BB. The generating unit 142 according to the present embodiment detects the BB of an object related to traffic on a road. The "object related to traffic" detected by the generating unit 142 according to the present embodiment includes traffic participants (automobiles, motorcycles, bicycles, pedestrians, etc.), traffic facilities (traffic signals, traffic signs, etc.), etc. As described above, the camera 12 according to the present embodiment continues to shoot video or repeatedly shoot still images while the vehicle 1 is traveling. For this reason, the generating unit 142 according to the present embodiment periodically generates BB information. The generating unit 142 according to the present embodiment stores the generated BB information in the vehicle-side storage unit 13.

(決定部)
決定部143は、取得部141が取得した制約情報に基づいて画像データの圧縮率を決定する。「圧縮率」は、圧縮画像データのデータ量が、画像データのデータ量に対する、圧縮画像データのデータ量の比であり、下記数1で表される。
(Decision Unit)
The determination unit 143 determines the compression ratio of the image data based on the constraint information acquired by the acquisition unit 141. The "compression ratio" is the ratio of the data amount of the compressed image data to the data amount of the image data, and is expressed by the following equation 1.

数1:圧縮率=(圧縮画像データのデータ量/画像データのデータ量) Equation 1: Compression ratio = (amount of compressed image data / amount of image data)

本実施形態に係る決定部143は、図3に示したような流れで圧縮率を決定する。具体的には、決定部143は、まず、制約情報に基づいて、画像データをサーバ2へ送信するのに要する送信時間を算出する(ステップS1)。本実施形態に係る決定部143は、例えば下記数2に、各種値を代入することにより送信時間を算出する。決定部143は、このステップS1の動作を行うことにより、算出部143aを備えていることになる。なお、最初にステップS1を行うときの現状の圧縮率は1である。 The determination unit 143 according to this embodiment determines the compression rate in the flow shown in FIG. 3. Specifically, the determination unit 143 first calculates the transmission time required to transmit the image data to the server 2 based on the constraint information (step S1). The determination unit 143 according to this embodiment calculates the transmission time by substituting various values into the following equation 2, for example. By performing the operation of this step S1, the determination unit 143 is provided with a calculation unit 143a. Note that the current compression rate when step S1 is first performed is 1.

数2:送信時間={画像データのデータ量×現状の圧縮率/中継機器3のスループット} Equation 2: Transmission time = {amount of image data x current compression rate / throughput of relay device 3}

送信時間を算出した後、決定部143は、算出した送信時間が、取得部141が取得した制約情報に含まれる許容送信時間よりも短いか否かを判断する(ステップS2)。決定部143は、このステップS2の動作を行うことにより、判断部143bを備えていることになる。 After calculating the transmission time, the determination unit 143 judges whether the calculated transmission time is shorter than the allowable transmission time included in the constraint information acquired by the acquisition unit 141 (step S2). By performing the operation of step S2, the determination unit 143 is provided with a judgment unit 143b.

送信時間が許容送信時間よりも長い(画像データを圧縮しなければ許容送信時間内に送信できない)と判断部143bが判断した場合(ステップS2:NO)、決定部143は、圧縮率を1未満(圧縮部144において圧縮)に決定する(ステップS3)。本実施形態に係る決定部143は、ステップS3を少なくとも1回行うことにより、圧縮率を1未満に決定する。 If the judgment unit 143b judges that the transmission time is longer than the allowable transmission time (the image data cannot be transmitted within the allowable transmission time unless it is compressed) (step S2: NO), the decision unit 143 decides that the compression rate is less than 1 (compressed by the compression unit 144) (step S3). The decision unit 143 according to this embodiment performs step S3 at least once to decide that the compression rate is less than 1.

このステップS3において、決定部143は、まず、現状の圧縮率が、所定の下限段階に達しているか否かを判断する(ステップS31)。下限段階は、これ以上低下することが許されない圧縮率の下限値である。決定部143は、このステップS31の動作を行うことにより、第三判断部143cを備えていることになる。 In step S3, the determination unit 143 first determines whether the current compression ratio has reached a predetermined lower limit stage (step S31). The lower limit stage is the lower limit value of the compression ratio that is not allowed to fall any further. By performing the operation of step S31, the determination unit 143 is provided with a third determination unit 143c.

現状の圧縮率が下限段階に達していない(圧縮率を引き下げる余地がある)と第三判断部143cが判断した場合(ステップS31:NO)、決定部143は、圧縮率を一段階引き下げる(ステップS32)。本実施形態に係る決定部143は、圧縮率を段階的に引き下げることにより変更するよう構成されている。具体的には、本実施形態に係る決定部143は、圧縮を一段階行う度に、圧縮画像データの画素数が、画像データの画素数の1/nずつ少なくなっていくように、圧縮率を引き下げる。例えば、例えば、画像データの画素数が1280p、n=4である場合、一段階圧縮した後の圧縮画像データの画素数が、320p(1280pの1/4)少なくなるように(1280p-320p=960pとなるように)、圧縮率を引き下げる。画素数が圧縮前の3/4になった(一段階引き下げ後の)圧縮画像データの圧縮率は0.84程度となる。同様に、画素数が圧縮前の2/4になった(二段階引き下げ後の)圧縮画像データの圧縮率は0.57程度、画素数が圧縮前の1/4になった(三段階引き下げ後の)圧縮画像データの圧縮率は0.33程度となる。このため、現状の圧縮率が1であった場合、一段階引き下げ後の圧縮率は0.84となる。 When the third judgment unit 143c judges that the current compression rate has not reached the lower limit (there is room to lower the compression rate) (step S31: NO), the decision unit 143 lowers the compression rate by one step (step S32). The decision unit 143 according to this embodiment is configured to change the compression rate by lowering it step by step. Specifically, the decision unit 143 according to this embodiment lowers the compression rate so that the number of pixels of the compressed image data decreases by 1/n of the number of pixels of the image data each time one step of compression is performed. For example, if the number of pixels of the image data is 1280p and n=4, the compression rate is lowered so that the number of pixels of the compressed image data after one step of compression is reduced by 320p (1/4 of 1280p) (so that 1280p-320p=960p). The compression rate of the compressed image data (after one step lowering) with the number of pixels reduced to 3/4 of the number before compression is about 0.84. Similarly, the compression ratio of compressed image data where the number of pixels is 2/4 of what it was before compression (after two-stage reduction) is about 0.57, and the compression ratio of compressed image data where the number of pixels is 1/4 of what it was before compression (after three-stage reduction) is about 0.33. Therefore, if the current compression ratio is 1, the compression ratio after one stage reduction will be 0.84.

圧縮率を一段階引き下げた後、決定部143は、現状の(引き下げ後の)圧縮率で圧縮された圧縮画像データを用いて物体を検知した場合の圧縮後検知精度を算出する(ステップS33)。具体的には、決定部143は、まず、生成部142が生成した圧縮画像データのBB情報を、下記数3~5のうち、対応する圧縮率の引き下げ段階のものに代入し、各BBにおける物体の検知確率を算出する。そして、得られた各検知確率を、下記数6に代入することにより、圧縮後検知精度を算出する。なお、下記数3~5の中の具体的数値は、特定のデータセットから得られた一例であり、カメラ12の精度や設置位置により変わってくる場合がある。決定部143は、このステップS34の動作を行うことにより、第二算出部143dを備えていることになる。 After lowering the compression rate by one step, the determination unit 143 calculates the post-compression detection accuracy when an object is detected using compressed image data compressed at the current (reduced) compression rate (step S33). Specifically, the determination unit 143 first substitutes the BB information of the compressed image data generated by the generation unit 142 into the corresponding compression rate reduction step among the following formulas 3 to 5, and calculates the detection probability of an object in each BB. Then, the determination unit 143 calculates the post-compression detection accuracy by substituting each of the obtained detection probabilities into the following formula 6. Note that the specific numerical values in the following formulas 3 to 5 are examples obtained from a specific data set, and may vary depending on the accuracy and installation position of the camera 12. By performing the operation of this step S34, the determination unit 143 is provided with a second calculation unit 143d.

数3:検知確率(一段階引き下げ後)=0.0488ln(BB情報)+1.0418
数4:検知確率(二段階引き下げ後)=0.06ln(BB情報)+1.0711
数5:検知確率(三段階引き下げ後)=0.0759ln(BB情報)+1.0704
数6:圧縮後検知精度(期待値)=(1/画像内のBBの数)×Σ各BB内の物体の検知確率
Equation 3: Detection probability (after one step down) = 0.0488 ln (BB information) + 1.0418
Equation 4: Detection probability (after two-stage reduction) = 0.06 ln (BB information) + 1.0711
Equation 5: Detection probability (after three-level reduction) = 0.0759 ln (BB information) + 1.0704
Equation 6: Detection accuracy after compression (expected value) = (1/number of BBs in the image) x Σ probability of detecting an object in each BB

また、本実施形態に係る第二算出部143dは、現状の(引き下げ後の)圧縮率で圧縮された圧縮画像データをサーバ2へ送信するのに要する送信時間を算出する。算出は、上記数1に代入する圧縮率の値を変更することにより行う。 The second calculation unit 143d according to this embodiment also calculates the transmission time required to transmit the compressed image data compressed at the current (reduced) compression rate to the server 2. The calculation is performed by changing the value of the compression rate substituted into the above formula 1.

圧縮後検知精度を算出した後、決定部143は、第二算出部143dが算出した圧縮後検知精度が、サーバ2から受信した制約情報に含まれる許容検知精度よりも高いか否かを判断する(ステップS34)。決定部143は、このステップS35の動作を行うことにより、第二判断部143eを備えていることになる。 After calculating the post-compression detection accuracy, the determination unit 143 judges whether the post-compression detection accuracy calculated by the second calculation unit 143d is higher than the allowable detection accuracy included in the constraint information received from the server 2 (step S34). By performing the operation of step S35, the determination unit 143 is provided with a second judgment unit 143e.

圧縮後検知精度が許容検知精度よりも高い(圧縮率をさらに下げても解析可能である)と第二判断部143eが判断した場合(ステップS34:YES)、決定部143は、ステップS31の処理を再び実行する。そして、このステップS31において、圧縮率が下限段階に達していないと第三判断部143cが判断した場合(ステップS31:NO)、決定部143は、ステップS32において、圧縮率を、現状の圧縮率よりも低い値に変更する(一段階引き下げる)ことになる。 If the second judgment unit 143e judges that the post-compression detection accuracy is higher than the allowable detection accuracy (analysis is possible even if the compression rate is further reduced) (step S34: YES), the decision unit 143 executes the process of step S31 again. Then, if the third judgment unit 143c judges in this step S31 that the compression rate has not reached the lower limit stage (step S31: NO), the decision unit 143 changes the compression rate to a value lower than the current compression rate (lowering it by one stage) in step S32.

一方、ステップS34において、圧縮後検知精度が許容検知精度以下である(これ以上圧縮率を下げると解析が困難になる)と第二判断部143eが判断した場合(ステップS34:NO)、決定部143は、ステップS2以降の処理を再び実行する。 On the other hand, in step S34, if the second judgment unit 143e judges that the detection accuracy after compression is equal to or lower than the allowable detection accuracy (reducing the compression rate any further will make analysis difficult) (step S34: NO), the decision unit 143 executes the processing from step S2 onwards again.

上記ステップS2において、ステップS1またはステップS33で算出した送信時間が許容送信時間よりも短い(画像データまたは圧縮画像データを許容送信時間内で送信可能)と判断部143bが判断した場合(ステップS2:YES)、または上記ステップS31において、現状の圧縮率が下限段階に達していると第三判断部143cが判断した場合(ステップS31:YES)、決定部143は、現状の圧縮率を、最終的な圧縮率として決定する(ステップS4)。初回のステップS2において、送信時間が許容送信時間よりも短いと判断部143bが判断した場合(ステップS2:YES)は、圧縮率の引き下げが行われない(現状の圧縮率は1である)。このため、この場合、決定部143は、圧縮率を1(圧縮部144において圧縮せず)に決定する(ステップS3)。これにより、車両1は、許容送信時間を超えない時間で送信できる画像データについては、圧縮せずに送信することになる。このため、サーバ2は、物体の検出精度を下げずに済む。 In the above step S2, if the judgment unit 143b judges that the transmission time calculated in step S1 or step S33 is shorter than the allowable transmission time (image data or compressed image data can be transmitted within the allowable transmission time) (step S2: YES), or if the third judgment unit 143c judges that the current compression rate has reached the lower limit stage in the above step S31 (step S31: YES), the decision unit 143 decides that the current compression rate is the final compression rate (step S4). In the first step S2, if the judgment unit 143b judges that the transmission time is shorter than the allowable transmission time (step S2: YES), the compression rate is not reduced (the current compression rate is 1). Therefore, in this case, the decision unit 143 decides that the compression rate is 1 (no compression in the compression unit 144) (step S3). As a result, the vehicle 1 will transmit image data that can be transmitted within the allowable transmission time without compression. Therefore, the server 2 does not need to lower the object detection accuracy.

上述したように、ステップS33で算出される圧縮後検知精度は、BB情報に基づいて算出される。このため、本実施形態に係る決定部143は、制約情報および生成部142が生成したBB情報に基づいて圧縮率を決定することになる。これにより、車両1は、圧縮画像データを、検知したBBのサイズを考慮してサーバ2へ送信することができるようになる。 As described above, the post-compression detection accuracy calculated in step S33 is calculated based on the BB information. Therefore, the determination unit 143 according to this embodiment determines the compression rate based on the constraint information and the BB information generated by the generation unit 142. This allows the vehicle 1 to transmit the compressed image data to the server 2, taking into account the size of the detected BB.

決定部143が以上説明してきた動作をすることにより、車両1は、検知精度を考慮して圧縮された圧縮画像データを、許容送信時間を超えないようにサーバ2へ送信することができるようになる。また、これにより、画像データが過度に圧縮されて、サーバ2側で利用できなくなってしまう状況が生じるのを防ぐことができる。 By performing the operations described above by the decision unit 143, the vehicle 1 is able to transmit to the server 2 compressed image data, which has been compressed taking into consideration the detection accuracy, without exceeding the allowable transmission time. This also makes it possible to prevent a situation in which the image data is overly compressed and becomes unusable on the server 2 side.

(圧縮部)
圧縮部144は、決定部143が決定した圧縮率で画像データを圧縮し圧縮画像データを生成する。圧縮方法は特に限定されるものではなく、従来知られた各種方法を用いることができる。本実施形態に係る圧縮部144は、決定部143が圧縮率を1に決定した場合、画像データの圧縮を行わない。なお、圧縮部144は、画像データが動画データである場合、各フレームのデータ量を下げるのではなく、例えば一部(冒頭または終盤)のフレームを削除することによりデータ量を下げるよう構成されていてもよい。このようにすれば、画質を低下させることなく、圧縮画像データを生成することができる。
(Compression section)
The compression unit 144 compresses the image data at the compression ratio determined by the determination unit 143 to generate compressed image data. The compression method is not particularly limited, and various conventionally known methods can be used. The compression unit 144 according to this embodiment does not compress the image data when the determination unit 143 determines the compression ratio to be 1. Note that, when the image data is video data, the compression unit 144 may be configured to reduce the amount of data by deleting, for example, some frames (at the beginning or end) rather than reducing the amount of data for each frame. In this way, compressed image data can be generated without reducing the image quality.

(送信制御部)
車両側送信制御部145は、図2に示したように、圧縮部144が生成した圧縮画像データをサーバ2へ送信するよう車両側通信部11を制御する。本実施形態に係る車両側送信制御部145は、圧縮部144が画像データの圧縮を行わなかった場合、画像データをそのままサーバ2へ送信するよう車両側通信部11を制御する。
(Transmission control section)
2, the vehicle-side transmission control unit 145 controls the vehicle-side communication unit 11 to transmit the compressed image data generated by the compression unit 144 to the server 2. In the present embodiment, when the compression unit 144 does not compress the image data, the vehicle-side transmission control unit 145 controls the vehicle-side communication unit 11 to transmit the image data to the server 2 as is.

[車両の作用効果]
本実施形態に係るシステム100は、交通参加者の情報を収集するためのものである。このため、後述するサーバ2は、画像データの送信を急がないが、比較的高い画質の画像を必要とする解析を行う。このため、本実施形態に係る車両1が受信する制約情報に含まれる許容送信時間は相対的に(後述する第二実施形態よりも)長く、許容低下率が相対的に高い。しかし、以上説明してきた車両1によれば、サーバ2への画像データの送信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、車両1は、許容送信時間を超えない送信時間で送信でき、かつ圧縮率ができるだけ大きい(データ量が大きい、圧縮後検知精度が高い)圧縮画像データをサーバ2へ送信することができる。
[Vehicle Function and Effect]
The system 100 according to this embodiment is for collecting information on traffic participants. For this reason, the server 2, which will be described later, performs an analysis that does not rush the transmission of image data, but requires images of relatively high image quality. For this reason, the allowable transmission time included in the constraint information received by the vehicle 1 according to this embodiment is relatively long (compared to the second embodiment, which will be described later), and the allowable degradation rate is relatively high. However, according to the vehicle 1 described above, the transmission of image data to the server 2 can be performed in response to a request regarding the transmission time of the image data. In other words, the vehicle 1 can transmit compressed image data to the server 2 within a transmission time that does not exceed the allowable transmission time, and with a compression ratio as large as possible (large data volume, high detection accuracy after compression).

[サーバの構成]
サーバ2は、図4に示したように、サーバ側通信部21(通信部)と、サーバ側記憶部22と、出力部23と、サーバ側制御部24と、を備えている。
[Server configuration]
As shown in FIG. 4, the server 2 includes a server-side communication unit 21 (communication unit), a server-side storage unit 22, an output unit 23, and a server-side control unit 24.

〔サーバ側通信部〕
サーバ側通信部21は、上記車両1と通信する。本実施形態に係るサーバ側通信部21は、無線通信モジュールで構成されている。すなわち、サーバ側通信部21は、中継機器3を介して各車両1と無線で通信する。
[Server-side communication unit]
The server-side communication unit 21 communicates with the vehicles 1. The server-side communication unit 21 according to the present embodiment is configured with a wireless communication module. That is, the server-side communication unit 21 wirelessly communicates with each vehicle 1 via the relay device 3.

〔サーバ側記憶部〕
サーバ側記憶部22は、各種データ、各種情報を記憶可能に構成されている。本実施形態に係るサーバ側記憶部22は、半導体メモリ、ハードディスクドライブ等で構成されている。
[Server side storage unit]
The server-side storage unit 22 is configured to be able to store various data and various information. The server-side storage unit 22 according to this embodiment is configured with a semiconductor memory, a hard disk drive, and the like.

〔出力部〕
出力部23は、他の装置(表示装置等)へデータや信号を送信する通信モジュール、他の装置と接続される端子、記録媒体へ情報を書き込むドライブ、および画像を表示する表示装置の少なくともいずれかで構成されている。
[Output section]
The output unit 23 is composed of at least one of a communication module that transmits data and signals to other devices (such as a display device), a terminal that is connected to other devices, a drive that writes information to a recording medium, and a display device that displays images.

〔サーバ側制御部〕
本実施形態に係るサーバ側制御部24は、測定部241と、サーバ側送信制御部242(送信制御部)と、受信制御部243と、解析部244と、出力制御部245と、を備える。
[Server side control unit]
The server-side control unit 24 according to this embodiment includes a measurement unit 241 , a server-side transmission control unit 242 (transmission control unit), a reception control unit 243 , an analysis unit 244 , and an output control unit 245 .

(測定部)
測定部241は、サーバ2との通信を中継する中継機器3のスループットを測定する。
(Measuring unit)
The measurement unit 241 measures the throughput of the relay device 3 that relays communication with the server 2 .

(サーバ側送信制御部)
サーバ側送信制御部242は、制約情報を車両1へ送信するようサーバ側通信部21を制御する。上述したように、制約情報は、許容送信時間を含む。許容送信時間は、解析部244(詳細後述)が解析する内容に応じて予め決定されている。本実施形態に係るサーバ側送信制御部242は、画像を解析する必要が生じたことを契機として、画像データを要求する旨の要求情報を車両1へ送信するようサーバ側通信部21を制御する。本実施形態に係るサーバ側送信制御部242が制約情報を送信するための制御を開始する契機となる「画像を解析する必要が生じたこと」には、例えば、システム100のオペレータ(サーバ2のユーザ)が、サーバ2に所定の画像要求操作を行ったこと等が含まれる。本実施形態に係るサーバ側送信制御部242は、制約情報を、要求情報と共に、または要求情報の一部として、車両1へ送信するようサーバ側通信部21を制御する。なお、要求情報は、制約情報そのものであってもよい。
(Server-side transmission control section)
The server-side transmission control unit 242 controls the server-side communication unit 21 to transmit the constraint information to the vehicle 1. As described above, the constraint information includes the allowable transmission time. The allowable transmission time is determined in advance according to the content analyzed by the analysis unit 244 (described in detail later). The server-side transmission control unit 242 according to this embodiment controls the server-side communication unit 21 to transmit request information requesting image data to the vehicle 1 when a need to analyze an image arises. The "need to analyze an image arises" that is a trigger for the server-side transmission control unit 242 according to this embodiment to start control for transmitting the constraint information includes, for example, an operator of the system 100 (a user of the server 2) performing a predetermined image request operation on the server 2. The server-side transmission control unit 242 according to this embodiment controls the server-side communication unit 21 to transmit the constraint information to the vehicle 1 together with the request information or as a part of the request information. Note that the request information may be the constraint information itself.

本実施形態に係るサーバ側送信制御部242の制御によってサーバ側通信部21が送信する制約情報は、許容検知精度を更に含む。これにより、サーバ2は、車両1から検知精度および送信時間が考慮された画像データ受信することができる。 The constraint information transmitted by the server-side communication unit 21 under the control of the server-side transmission control unit 242 in this embodiment further includes the allowable detection accuracy. This allows the server 2 to receive image data from the vehicle 1 that takes into account the detection accuracy and transmission time.

また、本実施形態に係るサーバ側送信制御部242の制御によってサーバ側通信部21が送信する制約情報は、測定部241が測定したスループットを更に含む。これにより、サーバ2は、車両1から、検知精度が考慮された画像データを、中継機器3を介して通信する他の通信機器の使用状況が変化する等して、通信速度が低下した場合であっても、許容送信時間を超えないように受信することができる。 In addition, the constraint information transmitted by the server-side communication unit 21 under the control of the server-side transmission control unit 242 according to this embodiment further includes the throughput measured by the measurement unit 241. This allows the server 2 to receive image data from the vehicle 1, taking into consideration the detection accuracy, without exceeding the allowable transmission time, even if the communication speed drops due to a change in the usage status of other communication devices communicating via the relay device 3, etc.

(受信制御部)
受信制御部243は、車両1から、画像データ、または圧縮画像データを受信するようサーバ側通信部21を制御する。圧縮画像データは、制約情報に基づいて生成されたものである。車両1が圧縮画像データを生成しなかった場合、本実施形態に係る受信制御部243は、車両1から、圧縮画像データを受信するようサーバ側通信部21を制御する。本実施形態に係る受信制御部243は、サーバ側通信部21が受信した画像データまたは圧縮画像データを、サーバ側記憶部22に記憶させる。
(Reception control section)
The reception control unit 243 controls the server-side communication unit 21 to receive image data or compressed image data from the vehicle 1. The compressed image data is generated based on the constraint information. If the vehicle 1 does not generate compressed image data, the reception control unit 243 according to this embodiment controls the server-side communication unit 21 to receive compressed image data from the vehicle 1. The reception control unit 243 according to this embodiment stores the image data or compressed image data received by the server-side communication unit 21 in the server-side storage unit 22.

(解析部)
解析部244は、サーバ側通信部21が受信した画像データまたは圧縮画像データを解析する。これにより、画像データまたは圧縮画像データから、用途に応じた情報を抽出することができる。本実施形態に係る解析部244は、画像データまたは圧縮画像データを解析し、画像に映る車両の車種、歩行者の属性(年齢、性別等)等の各種情報を抽出する。これにより、いつどこをどのような車両が走行した、どのような歩行者が歩行した、といった統計情報を得ることができる。本実施形態に係る解析部244は、解析結果を、サーバ側記憶部22に記憶させる。
(Analysis section)
The analysis unit 244 analyzes the image data or compressed image data received by the server-side communication unit 21. This makes it possible to extract information according to the purpose from the image data or compressed image data. The analysis unit 244 according to this embodiment analyzes the image data or compressed image data and extracts various information such as the type of vehicle and the attributes (age, sex, etc.) of pedestrians shown in the image. This makes it possible to obtain statistical information such as when and where what kind of vehicle ran and what kind of pedestrian walked. The analysis unit 244 according to this embodiment stores the analysis results in the server-side storage unit 22.

なお、解析部244は、少なくとも許容送信時間を、解析する内容に応じて自動的に決定するよう構成されていてもよい。このようにすれば、送信時間に関する制約を人が設定する手間を省くことができる。これは、サーバ2が複数種類の解析に対応しているような場合、特に効果的である。 The analysis unit 244 may be configured to automatically determine at least the allowable transmission time depending on the content to be analyzed. In this way, it is possible to eliminate the need for a person to manually set restrictions on the transmission time. This is particularly effective when the server 2 supports multiple types of analysis.

(出力制御部)
出力制御部245は、解析部244による解析結果を出力するよう出力部23を制御する。これにより、出力部23が通信モジュールまたは端子である場合、出力部23が解析結果のデータを他の装置へ送信する。また、出力部23がドライブである場合、出力部23が解析結果のデータを記録媒体へ書き込む。また、出力部23が表示装置である場合、出力部23が解析結果を表示する。
(Output control section)
The output control unit 245 controls the output unit 23 to output the analysis result by the analysis unit 244. As a result, if the output unit 23 is a communication module or a terminal, the output unit 23 transmits the data of the analysis result to another device. If the output unit 23 is a drive, the output unit 23 writes the data of the analysis result to a recording medium. If the output unit 23 is a display device, the output unit 23 displays the analysis result.

[サーバその他]
なお、サーバ2は、ユーザが操作可能な操作部(キーボード、マウス、タッチパネル等)を備えていてもよい。その場合、サーバ側制御部24は、ユーザにより操作部になされた操作に応じて制約情報の少なくとも一部を設定するよう構成されていてもよい。
[Server and Others]
The server 2 may include an operation unit (such as a keyboard, a mouse, or a touch panel) that can be operated by a user. In this case, the server-side control unit 24 may be configured to set at least a part of the constraint information in response to an operation performed on the operation unit by the user.

[サーバの作用効果]
本実施形態に係るサーバ2は、画像データの送信を急がないが、比較的高い画質の画像を必要とする解析を行う。しかし、以上説明してきたサーバ2によれば、車両1からの画像データの受信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、サーバ2は、車両1から、許容送信時間を超えない送信時間で送信でき、かつ圧縮率ができるだけ大きい(データ量が大きい、圧縮後検知精度が高い)圧縮画像データを受信することができる。
[Server Actions and Effects]
The server 2 according to this embodiment performs analysis that does not rush the transmission of image data but requires images of relatively high image quality. However, according to the server 2 described above, it is possible to receive image data from the vehicle 1 in response to a request regarding the transmission time of the image data. In other words, the server 2 can receive compressed image data from the vehicle 1 that can be transmitted within a transmission time that does not exceed the allowable transmission time and has a compression ratio as large as possible (large data volume, high detection accuracy after compression).

<第二実施形態>
次に、本発明の実施形態に係るシステム100Aの詳細について説明する。
Second Embodiment
Next, details of the system 100A according to the embodiment of the present invention will be described.

本実施形態に係るシステム100Aは、発生した交通事故の状況を分析するためのシステムである。
システム100は、図1に示したように、中継機器3の他に、車両1Aと、サーバ2Aと、を備えている。本実施形態に係るシステム100Aは、上記第一実施形態に係るシステム100と同様、車両1Aを複数備えている。
The system 100A according to this embodiment is a system for analyzing the circumstances of a traffic accident that has occurred.
1, the system 100 includes a vehicle 1A and a server 2A in addition to the relay device 3. The system 100A according to the present embodiment includes a plurality of vehicles 1A, similar to the system 100 according to the first embodiment.

[車両の相違点]
本実施形態に係る車両1Aは、図5に示したように、車両側通信部11、カメラ12および車両側記憶部13の他に、車両側制御部14Aを備えている。
[Vehicle differences]
As shown in FIG. 5, the vehicle 1A according to this embodiment includes a vehicle communication unit 11, a camera 12, a vehicle storage unit 13, and a vehicle control unit 14A.

〔車両側制御部〕
本実施形態に係る車両側制御部14Aは、取得部141、生成部142、決定部143A、圧縮部144および車両側送信制御部145の他に、通知部146を備える。
[Vehicle side control unit]
The vehicle-side control unit 14A according to this embodiment includes an acquisition unit 141, a generation unit 142, a determination unit 143A, a compression unit 144, and a vehicle-side transmission control unit 145, as well as a notification unit 146.

(通知部)
通知部146は、車両1Aが交通事故の発生を検知した場合に、その旨を示す事故発生情報を、サーバ2Aへ送信するよう車両側通信部11を制御する。本実施形態に車両1Aが交通事故の発生を検知する方法には、例えば、所定以上の衝撃を検知すること、所定以上の音を検知すること、図示しない操作部に乗員による所定操作がなされること等が含まれる。
(Notification Department)
The notification unit 146 controls the vehicle-side communication unit 11 to transmit accident occurrence information indicating the occurrence of a traffic accident to the server 2A when the vehicle 1A detects the occurrence of a traffic accident. In the present embodiment, the method of detecting the occurrence of a traffic accident by the vehicle 1A includes, for example, detecting an impact of a predetermined magnitude or more, detecting a sound of a predetermined magnitude or more, and a predetermined operation by the occupant on an operation unit (not shown).

[車両の作用効果]
本実施形態に係るシステム100Aは、発生した交通事故の状況を分析するためのものである。このため、後述するサーバ2Aは、画像データの画質についてはある程度の低下を許容するが、画像データの送信を急ぐ解析を行う。このため、本実施形態に係る車両1Aが受信する制約情報に含まれる許容送信時間は相対的に(上記第一実施形態よりも)短く、許容低下率が相対的に低い。しかし、以上説明してきた車両1Aによれば、上記第一実施形態に係る車両1と同様、サーバ2への画像データの送信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、車両1Aは、検知精度の圧縮後検知精度が許容検知精度を超えない範囲で、できるだけ圧縮された(データ量が小さい)圧縮画像データをサーバ2Aへ送信することができる。また、車両1Aによれば、交通事故の発生をサーバ2Aへ通知するため、画像データまたは圧縮画像データを、交通事故が発生した直後に直ちにサーバ2Aへ送信することができる。
[Vehicle Function and Effect]
The system 100A according to this embodiment is for analyzing the situation of a traffic accident that has occurred. For this reason, the server 2A, which will be described later, allows a certain degree of degradation in the image quality of the image data, but performs an analysis to hasten the transmission of the image data. For this reason, the allowable transmission time included in the constraint information received by the vehicle 1A according to this embodiment is relatively short (compared to the first embodiment), and the allowable degradation rate is relatively low. However, according to the vehicle 1A described above, like the vehicle 1 according to the first embodiment, the transmission of image data to the server 2 can be performed in response to a request regarding the transmission time of the image data. That is, the vehicle 1A can transmit compressed image data that is as compressed as possible (with a small amount of data) to the server 2A within a range in which the detection accuracy after compression of the detection accuracy does not exceed the allowable detection accuracy. Furthermore, according to the vehicle 1A, in order to notify the server 2A of the occurrence of a traffic accident, the image data or compressed image data can be immediately transmitted to the server 2A immediately after the occurrence of the traffic accident.

[サーバの相違点]
サーバ2は、図6に示したように、サーバ側通信部21、サーバ側記憶部22および出力部23の他に、サーバ側制御部24Aを備えている。
[Server Differences]
As shown in FIG. 6, the server 2 includes a server-side communication unit 21, a server-side storage unit 22, an output unit 23, and a server-side control unit 24A.

〔サーバ側制御部〕
サーバ側制御部24Aは、測定部241、受信制御部243および出力制御部245の他に、サーバ側送信制御部242Aと、解析部244Aと、を備える。
[Server side control unit]
The server-side control unit 24A includes a measurement unit 241, a reception control unit 243, and an output control unit 245, as well as a server-side transmission control unit 242A and an analysis unit 244A.

(サーバ側送信制御部)
サーバ側送信制御部242Aは、上記第一実施形態に係るサーバ側送信制御部242と同様、制約情報を車両1へ送信するようサーバ側通信部21を制御する。本実施形態に係るサーバ側送信制御部242Aが制約情報を送信するための制御を開始する契機となる「画像を解析する必要が生じたこと」には、サーバ側通信部21が車両1Aから事故発生情報を受信したこと等が含まれる。また、本実施形態に係るサーバ側送信制御部242Aの制御によって車両1Aへ送信される制約情報は、許容送信時間が第一実施形態に係る許容送信時間よりも短い、および許容検知精度が第一実施形態に係る許容送信時間よりも低い、の少なくともいずれかとなっている。
(Server-side transmission control section)
The server-side transmission control unit 242A controls the server-side communication unit 21 to transmit the restriction information to the vehicle 1, similarly to the server-side transmission control unit 242 according to the first embodiment. The "arrival of the need to analyze an image", which is a trigger for the server-side transmission control unit 242A according to this embodiment to start control for transmitting the restriction information, includes the server-side communication unit 21 receiving accident occurrence information from the vehicle 1A, etc. Furthermore, the restriction information transmitted to the vehicle 1A under the control of the server-side transmission control unit 242A according to this embodiment has at least one of the following: an allowable transmission time is shorter than the allowable transmission time according to the first embodiment, and an allowable detection accuracy is lower than the allowable transmission time according to the first embodiment.

(解析部)
本実施形態に係る解析部244Aは、画像データまたは圧縮画像データを解析し、画像に映る被害を受けた交通参加者(歩行者、車両)、建物等の状態、被害を与えた車両の状態、事故に至るまでの被害を受けた交通参加者の動き、事故に至るまでの被害を与えた車両等の動き等の各種情報を抽出する。これにより、どのような交通事故が起こったのかを知ることができるとともに、どのような原因によって交通事故が起こったのかを探ることができる。その結果、サーバ2のユーザが、例えば保険会社のオペレータ等である場合、交通事故の関係者への対応に収集することができるようになる。
(Analysis section)
The analysis unit 244A according to the present embodiment analyzes image data or compressed image data, and extracts various information such as the condition of the damaged traffic participants (pedestrians, vehicles) shown in the image, the condition of buildings, etc., the condition of the vehicle that caused the damage, the movements of the damaged traffic participants leading up to the accident, and the movements of the vehicle that caused the damage leading up to the accident. This makes it possible to know what kind of traffic accident has occurred, and to find out what caused the traffic accident. As a result, if the user of the server 2 is, for example, an operator of an insurance company, it becomes possible to collect information for responding to the parties involved in the traffic accident.

[サーバの作用効果]
本実施形態に係るサーバ2Aは、画像データの画質についてはある程度の低下を許容するが、画像データの送信を急ぐ解析を行う。しかし、以上説明してきたサーバ2Aによれば、上記第一実施形態に係るサーバ2と同様、車両1Aからの画像データの受信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、サーバ2Aは、車両1Aから、検知精度の圧縮後検知精度が許容検知精度を超えない範囲で、できるだけ圧縮された(データ量が小さい)圧縮画像データを受信することができる。また、サーバ2Aによれば、車両1から交通事故の発生を通知されたことを契機として制約情報を車両1Aへ送信するため、画像データまたは圧縮画像データを、交通事故が発生した直後に直ちにサーバ2Aへ送信することができる。
[Server Actions and Effects]
The server 2A according to this embodiment allows a certain degree of degradation in the image quality of the image data, but performs analysis to hasten the transmission of the image data. However, according to the server 2A described above, like the server 2 according to the first embodiment, the server 2A can receive image data from the vehicle 1A in response to a request regarding the transmission time of the image data. That is, the server 2A can receive compressed image data from the vehicle 1A that is compressed as much as possible (with a small amount of data) within a range in which the detection accuracy after compression does not exceed the allowable detection accuracy. In addition, according to the server 2A, the server 2A transmits the restriction information to the vehicle 1A upon receiving a notification of the occurrence of a traffic accident from the vehicle 1, so that the server 2A can transmit the image data or compressed image data to the server 2A immediately after the occurrence of the traffic accident.

<その他>
上記車両1、1Aおよびサーバ2、2A(以下、「装置等」と呼ぶ)の機能は、当該装置等としてコンピュータを機能させるためのプログラムであって、当該装置等の各制御ブロック(特に車両側制御部14、14A、サーバ側制御部24、24Aに含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。この場合、上記装置等は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置等が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置等に供給されてもよい。
<Other>
The functions of the vehicle 1, 1A and the server 2, 2A (hereinafter referred to as "devices, etc.") can be realized by a program for making a computer function as the device, etc., and for making a computer function as each control block of the device, etc. (particularly each part included in the vehicle-side control unit 14, 14A and the server-side control unit 24, 24A). In this case, the device, etc., includes a computer having at least one control device (e.g., a processor) and at least one storage device (e.g., a memory) as hardware for executing the program. The functions described in each of the above embodiments are realized by executing the program by this control device and storage device. The program may be recorded in one or more computer-readable recording media, not temporarily. The recording media may or may not be included in the device, etc. In the latter case, the program may be supplied to the device, etc. via any wired or wireless transmission medium.

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 In addition, some or all of the functions of each of the above control blocks can be realized by a logic circuit. For example, an integrated circuit in which a logic circuit that functions as each of the above control blocks is formed is also included in the scope of the present invention. In addition, it is also possible to realize the functions of each of the above control blocks by, for example, a quantum computer.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. The technical scope of the present invention also includes embodiments obtained by appropriately combining the technical means disclosed in different embodiments.

100、100A システム
1、1A 車両
11 車両側通信部(通信部)
12 カメラ
13 車両側記憶部
14、14A 車両側制御部
141 取得部
142 生成部
143、143A 決定部
143a 算出部
143b 判断部
143c 第三判断部
143d 第二算出部
143e 第二判断部
144 圧縮部
145 車両側送信制御部(送信制御部)
146 通知部
2、2A サーバ
21 サーバ側通信部
22 サーバ側記憶部
23 出力部
24、24A サーバ側制御部
241 測定部
242、242A サーバ側送信制御部
243 受信制御部
244、244A 解析部
245 出力制御部
3 中継機器
100, 100A System 1, 1A Vehicle 11 Vehicle side communication unit (communication unit)
12 Camera 13 Vehicle side storage unit 14, 14A Vehicle side control unit 141 Acquisition unit 142 Generation unit 143, 143A Determination unit 143a Calculation unit 143b Determination unit 143c Third determination unit 143d Second calculation unit 143e Second determination unit 144 Compression unit 145 Vehicle side transmission control unit (transmission control unit)
146 Notification unit 2, 2A Server 21 Server side communication unit 22 Server side storage unit 23 Output unit 24, 24A Server side control unit 241 Measurement unit 242, 242A Server side transmission control unit 243 Reception control unit 244, 244A Analysis unit 245 Output control unit 3 Relay device

Claims (13)

サーバと通信する通信部を備える車両であって、
前記車両の外側および内側の少なくとも一方を撮影し画像データを生成するカメラと、
前記サーバから、前記画像データの送信時間の上限値である許容送信時間を含む制約情報を取得する取得部と、
前記制約情報に基づいて前記画像データの圧縮率を決定する決定部と、
前記圧縮率で前記画像データを圧縮し圧縮画像データを生成する圧縮部と、
前記圧縮画像データを前記サーバへ送信するよう前記通信部を制御する送信制御部と、
を備える車両。
A vehicle equipped with a communication unit that communicates with a server,
a camera that captures an image of at least one of the exterior and interior of the vehicle and generates image data;
an acquisition unit that acquires, from the server, constraint information including an allowable transmission time that is an upper limit of a transmission time of the image data;
a determination unit that determines a compression ratio of the image data based on the constraint information;
a compression unit that compresses the image data at the compression ratio to generate compressed image data;
a transmission control unit that controls the communication unit to transmit the compressed image data to the server;
A vehicle equipped with.
前記取得部は、前記許容送信時間、および前記圧縮画像データを用いて物体を検知する場合の圧縮後検知精度の下限値である許容検知精度を含む前記制約情報を取得する、
請求項1に記載の車両。
the acquisition unit acquires the constraint information including the permissible transmission time and an allowable detection accuracy that is a lower limit of detection accuracy after compression when detecting an object using the compressed image data;
2. The vehicle of claim 1.
前記取得部は、前記許容送信時間、前記許容検知精度、および前記サーバとの通信を中継する中継機器のスループットを含む前記制約情報を取得する、
請求項2に記載の車両。
the acquisition unit acquires the constraint information including the permissible transmission time, the permissible detection accuracy, and a throughput of a relay device that relays communication with the server.
3. A vehicle as claimed in claim 2.
前記画像データから、前記物体のバウンディングボックスを検知し、当該バウンディングボックスのサイズを示すBB情報を生成する生成部を備え、
前記決定部は、前記制約情報および前記BB情報に基づいて前記圧縮率を決定する、
請求項2または3に記載の車両。
A generating unit that detects a bounding box of the object from the image data and generates BB information indicating a size of the bounding box,
The determination unit determines the compression ratio based on the constraint information and the BB information.
A vehicle as claimed in claim 2 or 3.
前記決定部は、
前記制約情報に基づいて、前記画像データを前記サーバへ送信するのに要する送信時間を算出する算出部と、
前記送信時間が前記許容送信時間よりも短いか否かを判断する判断部と、
を備え、
前記決定部は、前記送信時間が前記許容送信時間よりも短いと前記判断部が判断した場合、前記圧縮率を1に決定する、
請求項4に記載の車両。
The determination unit is
a calculation unit that calculates a transmission time required to transmit the image data to the server based on the constraint information;
a determination unit that determines whether the transmission time is shorter than the allowable transmission time;
Equipped with
When the determination unit determines that the transmission time is shorter than the allowable transmission time, the determination unit determines the compression ratio to be 1.
5. A vehicle as claimed in claim 4.
前記決定部は、前記送信時間が前記許容送信時間よりも長いと前記判断部が判断した場合、前記圧縮率を1未満に決定する、
請求項5に記載の車両。
When the determination unit determines that the transmission time is longer than the allowable transmission time, the determination unit determines the compression ratio to be less than 1.
6. A vehicle as claimed in claim 5.
前記決定部は、
現状の圧縮率で圧縮された前記圧縮画像データを用いて物体を検知した場合の検知精度の圧縮後検知精度を算出する第二算出部と、
前記圧縮後検知精度が前記許容検知精度よりも高いか否かを判断する第二判断部と、
を備え、
前記圧縮後検知精度が前記許容検知精度よりも高いと前記第二判断部が判断した場合、前記圧縮率を、前記現状の圧縮率よりも低い値に変更する、
請求項6に記載の車両。
The determination unit is
a second calculation unit that calculates a post-compression detection accuracy of a detection accuracy when an object is detected using the compressed image data compressed at a current compression rate;
a second determination unit that determines whether the post-compression detection accuracy is higher than the allowable detection accuracy;
Equipped with
When the second determination unit determines that the detection accuracy after compression is higher than the allowable detection accuracy, the compression ratio is changed to a value lower than the current compression ratio.
7. The vehicle of claim 6.
前記決定部は、
前記圧縮率を段階的に引き下げることにより変更するよう構成されており、
現状の圧縮率が、所定の下限段階に達しているか否かを判断する第三判断部を備え、
前記現状の圧縮率が前記下限段階に達していると前記第三判断部が判断した場合、前記現状の圧縮率を、最終的な圧縮率として決定する、
請求項7に記載の車両。
The determination unit is
The compression ratio is changed by gradually decreasing the compression ratio,
a third determination unit for determining whether or not the current compression ratio has reached a predetermined lower limit stage;
When the third determination unit determines that the current compression ratio has reached the lower limit stage, the current compression ratio is determined as a final compression ratio.
8. A vehicle as claimed in claim 7.
画像データを生成するカメラを備える車両と通信する通信部と、
前記画像データの送信時間の上限値である許容送信時間を含む制約情報を前記車両へ送信するよう前記通信部を制御する送信制御部と、
前記車両から、前記カメラが生成した画像データ、または前記制約情報に基づいて生成された圧縮画像データを受信するよう前記通信部を制御する受信制御部と、
を備えるサーバ。
A communication unit that communicates with a vehicle having a camera that generates image data;
a transmission control unit that controls the communication unit to transmit, to the vehicle, constraint information including an allowable transmission time that is an upper limit of a transmission time of the image data;
a reception control unit that controls the communication unit to receive, from the vehicle, image data generated by the camera or compressed image data generated based on the restriction information;
A server comprising:
前記送信制御部は、前記許容送信時間、および前記圧縮画像データを用いて物体を検知する場合の検知精度の圧縮後検知精度の上限値である許容検知精度を含む前記制約情報を前記車両へ送信するよう前記通信部を制御する、請求項9に記載のサーバ。 The server according to claim 9, wherein the transmission control unit controls the communication unit to transmit the restriction information including the permissible transmission time and the permissible detection accuracy, which is an upper limit of the post-compression detection accuracy when detecting an object using the compressed image data, to the vehicle. 前記サーバとの通信を中継する中継機器のスループットを測定する測定部を備え、
前記送信制御部は、前記許容送信時間、前記許容検知精度、および前記スループットを含む前記制約情報を前記車両へ送信するよう前記通信部を制御する、請求項10に記載のサーバ。
a measurement unit for measuring a throughput of a relay device that relays communication with the server,
The server according to claim 10 , wherein the transmission control unit controls the communication unit to transmit the constraint information, which includes the permissible transmission time, the permissible detection accuracy, and the throughput, to the vehicle.
前記画像データまたは前記圧縮画像データを解析する解析部を備える、
請求項9~11のいずれか一項に記載のサーバ。
An analysis unit that analyzes the image data or the compressed image data.
The server according to any one of claims 9 to 11.
前記解析部は、少なくとも前記許容送信時間を、解析する内容に応じて決定する、
請求項12に記載のサーバ。
The analysis unit determines at least the allowable transmission time in accordance with the content to be analyzed.
The server of claim 12.
JP2022091115A 2022-06-03 2022-06-03 Servers and Vehicles Active JP7476257B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022091115A JP7476257B2 (en) 2022-06-03 2022-06-03 Servers and Vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022091115A JP7476257B2 (en) 2022-06-03 2022-06-03 Servers and Vehicles

Publications (2)

Publication Number Publication Date
JP2023178066A JP2023178066A (en) 2023-12-14
JP7476257B2 true JP7476257B2 (en) 2024-04-30

Family

ID=89124215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022091115A Active JP7476257B2 (en) 2022-06-03 2022-06-03 Servers and Vehicles

Country Status (1)

Country Link
JP (1) JP7476257B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125574A1 (en) 2006-04-27 2007-11-08 Media Global Links Co., Ltd. Video transferring apparatus
JP2016134816A (en) 2015-01-21 2016-07-25 株式会社日立製作所 Image adjustment method, server, and moving image capturing system
WO2021171828A1 (en) 2020-02-27 2021-09-02 住友電気工業株式会社 Vehicle interior/exterior linking device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125574A1 (en) 2006-04-27 2007-11-08 Media Global Links Co., Ltd. Video transferring apparatus
JP2016134816A (en) 2015-01-21 2016-07-25 株式会社日立製作所 Image adjustment method, server, and moving image capturing system
WO2021171828A1 (en) 2020-02-27 2021-09-02 住友電気工業株式会社 Vehicle interior/exterior linking device and method

Also Published As

Publication number Publication date
JP2023178066A (en) 2023-12-14

Similar Documents

Publication Publication Date Title
KR101216271B1 (en) camera tampering detection
US7081814B2 (en) Change detecting method and apparatus and monitoring system using the method or apparatus
US20160078296A1 (en) Image pickup apparatus, information processing apparatus, and information processing method
CN103548340A (en) Vehicle monitoring device and method of monitoring vehicle
WO2018161889A1 (en) Queue information acquisition method, device and computer readable storage medium
CN115578666A (en) Key frame filtering system combining traffic abnormal events and static events
JP2014236312A (en) Setting device and setting method
JP7476257B2 (en) Servers and Vehicles
KR101742258B1 (en) Apparatus and method for providing contents using web-based virtual desktop protocol
CN112887717B (en) Intelligent terminal video coding optimization method, device, equipment and storage medium
JP2008035096A (en) Monitoring apparatus, monitoring method and program
US20200279378A1 (en) Collision determination server, program, and recording medium
CN113873342A (en) Video transmission method, video transmission device, electronic equipment and computer-readable storage medium
WO2019049548A1 (en) Image processing device
CN101282419A (en) Method and apparatus for automatically detecting bad point
CN104410831A (en) Method for monitoring whether taxi driver runs meter or not when carrying passenger
CN113615166B (en) Accident detection device and accident detection method
JP2008182456A (en) Monitoring device, detection setting method, and monitoring camera system
KR20170102403A (en) Big data processing method and Big data system for vehicle
JP2013090004A (en) Image receiver
CN111696368A (en) Overspeed illegal data generation method and illegal server
JP2004007174A (en) Image processing system, image processing method and image processing program
CN108196938B (en) Memory calling method, mobile terminal and computer readable storage medium
CN109101646B (en) Data processing method, device, system and computer readable medium
CN114915774A (en) Production process detection system and detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240417

R150 Certificate of patent or registration of utility model

Ref document number: 7476257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150