JP7476257B2 - Servers and Vehicles - Google Patents
Servers and Vehicles Download PDFInfo
- Publication number
- JP7476257B2 JP7476257B2 JP2022091115A JP2022091115A JP7476257B2 JP 7476257 B2 JP7476257 B2 JP 7476257B2 JP 2022091115 A JP2022091115 A JP 2022091115A JP 2022091115 A JP2022091115 A JP 2022091115A JP 7476257 B2 JP7476257 B2 JP 7476257B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- vehicle
- server
- transmission time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 claims description 102
- 238000007906 compression Methods 0.000 claims description 99
- 230000006835 compression Effects 0.000 claims description 89
- 238000004891 communication Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 48
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims 1
- 206010039203 Road traffic accident Diseases 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Facsimiles In General (AREA)
Description
本発明は、サーバおよび車両に関する。 The present invention relates to a server and a vehicle.
従来、画像データの送信側となる装置と、受信側となる装置と、を備え、送信側となる装置が受信側となる装置の必要に応じて画像データを圧縮し、それを受信側となる装置に送信するための各種技術が提案されている。例えば下記特許文献1には、画像伝送に先立ち、受信側となる装置が送信側となる装置に利用目的情報を送信し、送信側となる装置は利用目的情報に従って、送信すべき画像を圧縮し、受信側となる装置へ送信する画像伝送システムについて記載されている。
Conventionally, various technologies have been proposed that include a device that transmits image data and a device that receives image data, in which the device that transmits image data compresses the image data as required by the device that receives it, and transmits the compressed image data to the device that receives it. For example, the following
近年、カメラを搭載した少なくとも一台の車両を画像の送信側、サーバを受信側とし、カメラが生成した画像データを、サーバで解析するシステムが出てきている。このサーバが行う解析の中には、画像データの送信を急ぐもの(例えば、交通事故の状況や原因を探るための解析等)と、そうでないもの(交通参加者の属性の統計を取るための解析等)がある。しかし、上記のような従来技術は、テーブルを参照して画素数に対応する圧縮率を選択するものでしかなく、画像データの送信時間に関する要求に対応することはできなかった。また、画像データの圧縮率を送信時間に応じて決定しようとすると、処理が比較的複雑になることがある。こうした処理を、一のサーバが複数の車両について行おうとする場合、サーバにかなりの負担をかけることになる。 In recent years, systems have emerged in which at least one vehicle equipped with a camera acts as the image sender and a server acts as the receiver, and the image data generated by the camera is analyzed by the server. Some analyses performed by the server require the image data to be sent quickly (e.g., analysis to find the circumstances and causes of a traffic accident) and others do not (e.g., analysis to collect statistics on the attributes of traffic participants). However, the above-mentioned conventional technology only refers to a table to select a compression rate corresponding to the number of pixels, and is unable to meet requirements regarding the transmission time of the image data. Furthermore, when attempting to determine the compression rate of the image data depending on the transmission time, the processing can become relatively complicated. When one server attempts to perform such processing for multiple vehicles, it places a considerable burden on the server.
上記の課題を解決するために、本発明の一態様に係る車両は、サーバと通信する通信部を備える車両であって、前記車両の外側および内側の少なくとも一方を撮影し画像データを生成するカメラと、前記サーバから、前記画像データの送信時間の上限値である許容送信時間を含む制約情報を取得する取得部と、前記制約情報に基づいて前記画像データの圧縮率を決定する決定部と、前記圧縮率で前記画像データを圧縮し圧縮画像データを生成する圧縮部と、前記圧縮画像データを前記サーバへ送信するよう前記通信部を制御する送信制御部と、を備える。 In order to solve the above problems, a vehicle according to one aspect of the present invention is a vehicle equipped with a communication unit that communicates with a server, and includes a camera that captures images of at least one of the exterior and interior of the vehicle and generates image data, an acquisition unit that acquires constraint information from the server, including an allowable transmission time that is an upper limit of the transmission time of the image data, a determination unit that determines a compression rate of the image data based on the constraint information, a compression unit that compresses the image data at the compression rate to generate compressed image data, and a transmission control unit that controls the communication unit to transmit the compressed image data to the server.
上記の課題を解決するために、本発明の他の態様に係るサーバは、画像データを生成するカメラを備える車両と通信する通信部と、前記画像データの送信時間の上限値である許容送信時間を含む制約情報を前記車両へ送信するよう前記通信部を制御する送信制御部と、前記車両から、前記カメラが生成した画像データ、または前記制約情報に基づいて生成された圧縮画像データを受信するよう前記通信部を制御する受信制御部と、を備える。 To solve the above problem, a server according to another aspect of the present invention includes a communication unit that communicates with a vehicle equipped with a camera that generates image data, a transmission control unit that controls the communication unit to transmit constraint information to the vehicle, the constraint information including an allowable transmission time that is an upper limit of the transmission time of the image data, and a reception control unit that controls the communication unit to receive from the vehicle the image data generated by the camera or the compressed image data generated based on the constraint information.
<第一実施形態>
はじめに、本発明の実施形態に係るシステム100の詳細について説明する。
First Embodiment
First, details of the system 100 according to the embodiment of the present invention will be described.
本実施形態に係るシステム100は、交通参加者の情報を収集するためのシステムである。
システム100は、図1に示したように、車両1と、サーバ2と、を備えている。本実施形態に係るシステム100は、中継機器3を更に備えている。中継機器3は、車両1とサーバ2との通信を中継する。中継機器3には、セルラー通信を行うための基地局、Wi-Fi(登録商標)通信を行うためのアクセスポイント等が含まれる。また、本実施形態に係るシステム100は、車両1を複数備えている。
The system 100 according to this embodiment is a system for collecting information on traffic participants.
1 , the system 100 includes a
[車両の構成]
車両1は、図2に示したように、車両側通信部11と、カメラ12と、車両側記憶部13と、車両側制御部14と、を備える。
[Vehicle configuration]
As shown in FIG. 2 , the
〔車両側通信部〕
車両側通信部11は、上記サーバ2と通信する。本実施形態に係る車両側通信部11は、通信モジュールで構成されている。本実施形態に係る車両側通信部11は、無線通信モジュールで構成されている。すなわち、車両側通信部11は、中継機器3を介してサーバ2と無線で通信する。
[Vehicle side communication unit]
The vehicle-
〔カメラ〕
カメラ12は、車両1の外側および内側の少なくとも一方を撮影し画像データを生成する。本実施形態に係るカメラ12の撮影方式は、動画撮影であってもよいし、静止画撮影であってもよい。すなわち、画像データには、動画データおよび静止画データの少なくとも一方が含まれる。動画撮影の場合、カメラ12は、車両1が走行している間撮影を継続する。一方、静止画撮影の場合、カメラ12は、車両1が走行している間、撮影を繰り返す。本実施形態に係るカメラ12は、生成した画像データを、車両側制御部14の生成部142(詳細後述)に出力するとともに、車両側記憶部13に記憶させる。
〔camera〕
The
〔車両側記憶部〕
本実施形態に係る車両側記憶部13は、各種データ、各種情報を記憶可能に構成されている。本実施形態に係る車両側記憶部13は、半導体メモリ、ハードディスクドライブ等で構成されている。
[Vehicle side memory unit]
The vehicle-
〔車両側制御部〕
本実施形態に係る車両側制御部14は、取得部141と、生成部142と、決定部143と、圧縮部144と、車両側送信制御部145(送信制御部)と、を備える。
[Vehicle side control unit]
The vehicle-
(取得部)
取得部141は、サーバ2から、制約情報を取得する。制約情報は、許容送信時間を含む。許容送信時間は、車両1からサーバ2へ画像データを送信する際の、画像データの送信時間の上限値である。本実施形態に係る取得部141が取得する制約情報は、許容検知精度を更に含む。許容検知精度は、サーバ2が圧縮画像データを用いて物体を検知する場合の検知精度である圧縮後検知精度の下限値である。なお、個々の検知精度の具体的な算出方法については後述する。取得部141がこのような制約情報を取得することにより、車両1は、検知精度を考慮して圧縮された圧縮画像データを、送信時間を考慮してサーバ2へ送信することができるようになる。
(Acquisition Department)
The
また、本実施形態に係る取得部141が取得する制約情報は、中継機器3のスループットを更に含む。取得部141がこのような制約情報を取得することにより、車両1は、検知精度を考慮して圧縮された圧縮画像データを、中継機器3を介して通信する他の通信機器の使用状況が変化する等して、通信速度が低下した場合であっても、許容送信時間を超えないようにサーバ2へ送信することができるようになる。
In addition, the constraint information acquired by the
(生成部)
生成部142は、カメラ12が生成した画像データから、物体のバウンディングボックス(以下、BB)を検知し、当該BBのサイズを示すBB情報を生成する。本実施形態に係る生成部142は、道路上の交通に関する物体のBBを検知する。本実施形態に係る生成部142が検知する「交通に関する物体」には、交通参加者(自動車、二輪車、自転車、歩行者等)、交通設備(信号機、交通標識等)等が含まれる。上述したように、本実施形態に係るカメラ12は、車両1が走行している間、動画撮影を継続する、または静止画撮影を繰り返す。このため、本実施形態に係る生成部142は、BB情報を定期的に生成する。本実施形態に係る生成部142は、生成したBB情報を車両側記憶部13に記憶させる。
(Generation section)
The generating
(決定部)
決定部143は、取得部141が取得した制約情報に基づいて画像データの圧縮率を決定する。「圧縮率」は、圧縮画像データのデータ量が、画像データのデータ量に対する、圧縮画像データのデータ量の比であり、下記数1で表される。
(Decision Unit)
The
数1:圧縮率=(圧縮画像データのデータ量/画像データのデータ量) Equation 1: Compression ratio = (amount of compressed image data / amount of image data)
本実施形態に係る決定部143は、図3に示したような流れで圧縮率を決定する。具体的には、決定部143は、まず、制約情報に基づいて、画像データをサーバ2へ送信するのに要する送信時間を算出する(ステップS1)。本実施形態に係る決定部143は、例えば下記数2に、各種値を代入することにより送信時間を算出する。決定部143は、このステップS1の動作を行うことにより、算出部143aを備えていることになる。なお、最初にステップS1を行うときの現状の圧縮率は1である。
The
数2:送信時間={画像データのデータ量×現状の圧縮率/中継機器3のスループット} Equation 2: Transmission time = {amount of image data x current compression rate / throughput of relay device 3}
送信時間を算出した後、決定部143は、算出した送信時間が、取得部141が取得した制約情報に含まれる許容送信時間よりも短いか否かを判断する(ステップS2)。決定部143は、このステップS2の動作を行うことにより、判断部143bを備えていることになる。
After calculating the transmission time, the
送信時間が許容送信時間よりも長い(画像データを圧縮しなければ許容送信時間内に送信できない)と判断部143bが判断した場合(ステップS2:NO)、決定部143は、圧縮率を1未満(圧縮部144において圧縮)に決定する(ステップS3)。本実施形態に係る決定部143は、ステップS3を少なくとも1回行うことにより、圧縮率を1未満に決定する。
If the
このステップS3において、決定部143は、まず、現状の圧縮率が、所定の下限段階に達しているか否かを判断する(ステップS31)。下限段階は、これ以上低下することが許されない圧縮率の下限値である。決定部143は、このステップS31の動作を行うことにより、第三判断部143cを備えていることになる。
In step S3, the
現状の圧縮率が下限段階に達していない(圧縮率を引き下げる余地がある)と第三判断部143cが判断した場合(ステップS31:NO)、決定部143は、圧縮率を一段階引き下げる(ステップS32)。本実施形態に係る決定部143は、圧縮率を段階的に引き下げることにより変更するよう構成されている。具体的には、本実施形態に係る決定部143は、圧縮を一段階行う度に、圧縮画像データの画素数が、画像データの画素数の1/nずつ少なくなっていくように、圧縮率を引き下げる。例えば、例えば、画像データの画素数が1280p、n=4である場合、一段階圧縮した後の圧縮画像データの画素数が、320p(1280pの1/4)少なくなるように(1280p-320p=960pとなるように)、圧縮率を引き下げる。画素数が圧縮前の3/4になった(一段階引き下げ後の)圧縮画像データの圧縮率は0.84程度となる。同様に、画素数が圧縮前の2/4になった(二段階引き下げ後の)圧縮画像データの圧縮率は0.57程度、画素数が圧縮前の1/4になった(三段階引き下げ後の)圧縮画像データの圧縮率は0.33程度となる。このため、現状の圧縮率が1であった場合、一段階引き下げ後の圧縮率は0.84となる。
When the
圧縮率を一段階引き下げた後、決定部143は、現状の(引き下げ後の)圧縮率で圧縮された圧縮画像データを用いて物体を検知した場合の圧縮後検知精度を算出する(ステップS33)。具体的には、決定部143は、まず、生成部142が生成した圧縮画像データのBB情報を、下記数3~5のうち、対応する圧縮率の引き下げ段階のものに代入し、各BBにおける物体の検知確率を算出する。そして、得られた各検知確率を、下記数6に代入することにより、圧縮後検知精度を算出する。なお、下記数3~5の中の具体的数値は、特定のデータセットから得られた一例であり、カメラ12の精度や設置位置により変わってくる場合がある。決定部143は、このステップS34の動作を行うことにより、第二算出部143dを備えていることになる。
After lowering the compression rate by one step, the
数3:検知確率(一段階引き下げ後)=0.0488ln(BB情報)+1.0418
数4:検知確率(二段階引き下げ後)=0.06ln(BB情報)+1.0711
数5:検知確率(三段階引き下げ後)=0.0759ln(BB情報)+1.0704
数6:圧縮後検知精度(期待値)=(1/画像内のBBの数)×Σ各BB内の物体の検知確率
Equation 3: Detection probability (after one step down) = 0.0488 ln (BB information) + 1.0418
Equation 4: Detection probability (after two-stage reduction) = 0.06 ln (BB information) + 1.0711
Equation 5: Detection probability (after three-level reduction) = 0.0759 ln (BB information) + 1.0704
Equation 6: Detection accuracy after compression (expected value) = (1/number of BBs in the image) x Σ probability of detecting an object in each BB
また、本実施形態に係る第二算出部143dは、現状の(引き下げ後の)圧縮率で圧縮された圧縮画像データをサーバ2へ送信するのに要する送信時間を算出する。算出は、上記数1に代入する圧縮率の値を変更することにより行う。
The
圧縮後検知精度を算出した後、決定部143は、第二算出部143dが算出した圧縮後検知精度が、サーバ2から受信した制約情報に含まれる許容検知精度よりも高いか否かを判断する(ステップS34)。決定部143は、このステップS35の動作を行うことにより、第二判断部143eを備えていることになる。
After calculating the post-compression detection accuracy, the
圧縮後検知精度が許容検知精度よりも高い(圧縮率をさらに下げても解析可能である)と第二判断部143eが判断した場合(ステップS34:YES)、決定部143は、ステップS31の処理を再び実行する。そして、このステップS31において、圧縮率が下限段階に達していないと第三判断部143cが判断した場合(ステップS31:NO)、決定部143は、ステップS32において、圧縮率を、現状の圧縮率よりも低い値に変更する(一段階引き下げる)ことになる。
If the
一方、ステップS34において、圧縮後検知精度が許容検知精度以下である(これ以上圧縮率を下げると解析が困難になる)と第二判断部143eが判断した場合(ステップS34:NO)、決定部143は、ステップS2以降の処理を再び実行する。
On the other hand, in step S34, if the
上記ステップS2において、ステップS1またはステップS33で算出した送信時間が許容送信時間よりも短い(画像データまたは圧縮画像データを許容送信時間内で送信可能)と判断部143bが判断した場合(ステップS2:YES)、または上記ステップS31において、現状の圧縮率が下限段階に達していると第三判断部143cが判断した場合(ステップS31:YES)、決定部143は、現状の圧縮率を、最終的な圧縮率として決定する(ステップS4)。初回のステップS2において、送信時間が許容送信時間よりも短いと判断部143bが判断した場合(ステップS2:YES)は、圧縮率の引き下げが行われない(現状の圧縮率は1である)。このため、この場合、決定部143は、圧縮率を1(圧縮部144において圧縮せず)に決定する(ステップS3)。これにより、車両1は、許容送信時間を超えない時間で送信できる画像データについては、圧縮せずに送信することになる。このため、サーバ2は、物体の検出精度を下げずに済む。
In the above step S2, if the
上述したように、ステップS33で算出される圧縮後検知精度は、BB情報に基づいて算出される。このため、本実施形態に係る決定部143は、制約情報および生成部142が生成したBB情報に基づいて圧縮率を決定することになる。これにより、車両1は、圧縮画像データを、検知したBBのサイズを考慮してサーバ2へ送信することができるようになる。
As described above, the post-compression detection accuracy calculated in step S33 is calculated based on the BB information. Therefore, the
決定部143が以上説明してきた動作をすることにより、車両1は、検知精度を考慮して圧縮された圧縮画像データを、許容送信時間を超えないようにサーバ2へ送信することができるようになる。また、これにより、画像データが過度に圧縮されて、サーバ2側で利用できなくなってしまう状況が生じるのを防ぐことができる。
By performing the operations described above by the
(圧縮部)
圧縮部144は、決定部143が決定した圧縮率で画像データを圧縮し圧縮画像データを生成する。圧縮方法は特に限定されるものではなく、従来知られた各種方法を用いることができる。本実施形態に係る圧縮部144は、決定部143が圧縮率を1に決定した場合、画像データの圧縮を行わない。なお、圧縮部144は、画像データが動画データである場合、各フレームのデータ量を下げるのではなく、例えば一部(冒頭または終盤)のフレームを削除することによりデータ量を下げるよう構成されていてもよい。このようにすれば、画質を低下させることなく、圧縮画像データを生成することができる。
(Compression section)
The
(送信制御部)
車両側送信制御部145は、図2に示したように、圧縮部144が生成した圧縮画像データをサーバ2へ送信するよう車両側通信部11を制御する。本実施形態に係る車両側送信制御部145は、圧縮部144が画像データの圧縮を行わなかった場合、画像データをそのままサーバ2へ送信するよう車両側通信部11を制御する。
(Transmission control section)
2, the vehicle-side
[車両の作用効果]
本実施形態に係るシステム100は、交通参加者の情報を収集するためのものである。このため、後述するサーバ2は、画像データの送信を急がないが、比較的高い画質の画像を必要とする解析を行う。このため、本実施形態に係る車両1が受信する制約情報に含まれる許容送信時間は相対的に(後述する第二実施形態よりも)長く、許容低下率が相対的に高い。しかし、以上説明してきた車両1によれば、サーバ2への画像データの送信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、車両1は、許容送信時間を超えない送信時間で送信でき、かつ圧縮率ができるだけ大きい(データ量が大きい、圧縮後検知精度が高い)圧縮画像データをサーバ2へ送信することができる。
[Vehicle Function and Effect]
The system 100 according to this embodiment is for collecting information on traffic participants. For this reason, the
[サーバの構成]
サーバ2は、図4に示したように、サーバ側通信部21(通信部)と、サーバ側記憶部22と、出力部23と、サーバ側制御部24と、を備えている。
[Server configuration]
As shown in FIG. 4, the
〔サーバ側通信部〕
サーバ側通信部21は、上記車両1と通信する。本実施形態に係るサーバ側通信部21は、無線通信モジュールで構成されている。すなわち、サーバ側通信部21は、中継機器3を介して各車両1と無線で通信する。
[Server-side communication unit]
The server-
〔サーバ側記憶部〕
サーバ側記憶部22は、各種データ、各種情報を記憶可能に構成されている。本実施形態に係るサーバ側記憶部22は、半導体メモリ、ハードディスクドライブ等で構成されている。
[Server side storage unit]
The server-
〔出力部〕
出力部23は、他の装置(表示装置等)へデータや信号を送信する通信モジュール、他の装置と接続される端子、記録媒体へ情報を書き込むドライブ、および画像を表示する表示装置の少なくともいずれかで構成されている。
[Output section]
The
〔サーバ側制御部〕
本実施形態に係るサーバ側制御部24は、測定部241と、サーバ側送信制御部242(送信制御部)と、受信制御部243と、解析部244と、出力制御部245と、を備える。
[Server side control unit]
The server-
(測定部)
測定部241は、サーバ2との通信を中継する中継機器3のスループットを測定する。
(Measuring unit)
The
(サーバ側送信制御部)
サーバ側送信制御部242は、制約情報を車両1へ送信するようサーバ側通信部21を制御する。上述したように、制約情報は、許容送信時間を含む。許容送信時間は、解析部244(詳細後述)が解析する内容に応じて予め決定されている。本実施形態に係るサーバ側送信制御部242は、画像を解析する必要が生じたことを契機として、画像データを要求する旨の要求情報を車両1へ送信するようサーバ側通信部21を制御する。本実施形態に係るサーバ側送信制御部242が制約情報を送信するための制御を開始する契機となる「画像を解析する必要が生じたこと」には、例えば、システム100のオペレータ(サーバ2のユーザ)が、サーバ2に所定の画像要求操作を行ったこと等が含まれる。本実施形態に係るサーバ側送信制御部242は、制約情報を、要求情報と共に、または要求情報の一部として、車両1へ送信するようサーバ側通信部21を制御する。なお、要求情報は、制約情報そのものであってもよい。
(Server-side transmission control section)
The server-side
本実施形態に係るサーバ側送信制御部242の制御によってサーバ側通信部21が送信する制約情報は、許容検知精度を更に含む。これにより、サーバ2は、車両1から検知精度および送信時間が考慮された画像データ受信することができる。
The constraint information transmitted by the server-
また、本実施形態に係るサーバ側送信制御部242の制御によってサーバ側通信部21が送信する制約情報は、測定部241が測定したスループットを更に含む。これにより、サーバ2は、車両1から、検知精度が考慮された画像データを、中継機器3を介して通信する他の通信機器の使用状況が変化する等して、通信速度が低下した場合であっても、許容送信時間を超えないように受信することができる。
In addition, the constraint information transmitted by the server-
(受信制御部)
受信制御部243は、車両1から、画像データ、または圧縮画像データを受信するようサーバ側通信部21を制御する。圧縮画像データは、制約情報に基づいて生成されたものである。車両1が圧縮画像データを生成しなかった場合、本実施形態に係る受信制御部243は、車両1から、圧縮画像データを受信するようサーバ側通信部21を制御する。本実施形態に係る受信制御部243は、サーバ側通信部21が受信した画像データまたは圧縮画像データを、サーバ側記憶部22に記憶させる。
(Reception control section)
The
(解析部)
解析部244は、サーバ側通信部21が受信した画像データまたは圧縮画像データを解析する。これにより、画像データまたは圧縮画像データから、用途に応じた情報を抽出することができる。本実施形態に係る解析部244は、画像データまたは圧縮画像データを解析し、画像に映る車両の車種、歩行者の属性(年齢、性別等)等の各種情報を抽出する。これにより、いつどこをどのような車両が走行した、どのような歩行者が歩行した、といった統計情報を得ることができる。本実施形態に係る解析部244は、解析結果を、サーバ側記憶部22に記憶させる。
(Analysis section)
The
なお、解析部244は、少なくとも許容送信時間を、解析する内容に応じて自動的に決定するよう構成されていてもよい。このようにすれば、送信時間に関する制約を人が設定する手間を省くことができる。これは、サーバ2が複数種類の解析に対応しているような場合、特に効果的である。
The
(出力制御部)
出力制御部245は、解析部244による解析結果を出力するよう出力部23を制御する。これにより、出力部23が通信モジュールまたは端子である場合、出力部23が解析結果のデータを他の装置へ送信する。また、出力部23がドライブである場合、出力部23が解析結果のデータを記録媒体へ書き込む。また、出力部23が表示装置である場合、出力部23が解析結果を表示する。
(Output control section)
The
[サーバその他]
なお、サーバ2は、ユーザが操作可能な操作部(キーボード、マウス、タッチパネル等)を備えていてもよい。その場合、サーバ側制御部24は、ユーザにより操作部になされた操作に応じて制約情報の少なくとも一部を設定するよう構成されていてもよい。
[Server and Others]
The
[サーバの作用効果]
本実施形態に係るサーバ2は、画像データの送信を急がないが、比較的高い画質の画像を必要とする解析を行う。しかし、以上説明してきたサーバ2によれば、車両1からの画像データの受信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、サーバ2は、車両1から、許容送信時間を超えない送信時間で送信でき、かつ圧縮率ができるだけ大きい(データ量が大きい、圧縮後検知精度が高い)圧縮画像データを受信することができる。
[Server Actions and Effects]
The
<第二実施形態>
次に、本発明の実施形態に係るシステム100Aの詳細について説明する。
Second Embodiment
Next, details of the system 100A according to the embodiment of the present invention will be described.
本実施形態に係るシステム100Aは、発生した交通事故の状況を分析するためのシステムである。
システム100は、図1に示したように、中継機器3の他に、車両1Aと、サーバ2Aと、を備えている。本実施形態に係るシステム100Aは、上記第一実施形態に係るシステム100と同様、車両1Aを複数備えている。
The system 100A according to this embodiment is a system for analyzing the circumstances of a traffic accident that has occurred.
1, the system 100 includes a
[車両の相違点]
本実施形態に係る車両1Aは、図5に示したように、車両側通信部11、カメラ12および車両側記憶部13の他に、車両側制御部14Aを備えている。
[Vehicle differences]
As shown in FIG. 5, the
〔車両側制御部〕
本実施形態に係る車両側制御部14Aは、取得部141、生成部142、決定部143A、圧縮部144および車両側送信制御部145の他に、通知部146を備える。
[Vehicle side control unit]
The vehicle-side control unit 14A according to this embodiment includes an
(通知部)
通知部146は、車両1Aが交通事故の発生を検知した場合に、その旨を示す事故発生情報を、サーバ2Aへ送信するよう車両側通信部11を制御する。本実施形態に車両1Aが交通事故の発生を検知する方法には、例えば、所定以上の衝撃を検知すること、所定以上の音を検知すること、図示しない操作部に乗員による所定操作がなされること等が含まれる。
(Notification Department)
The
[車両の作用効果]
本実施形態に係るシステム100Aは、発生した交通事故の状況を分析するためのものである。このため、後述するサーバ2Aは、画像データの画質についてはある程度の低下を許容するが、画像データの送信を急ぐ解析を行う。このため、本実施形態に係る車両1Aが受信する制約情報に含まれる許容送信時間は相対的に(上記第一実施形態よりも)短く、許容低下率が相対的に低い。しかし、以上説明してきた車両1Aによれば、上記第一実施形態に係る車両1と同様、サーバ2への画像データの送信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、車両1Aは、検知精度の圧縮後検知精度が許容検知精度を超えない範囲で、できるだけ圧縮された(データ量が小さい)圧縮画像データをサーバ2Aへ送信することができる。また、車両1Aによれば、交通事故の発生をサーバ2Aへ通知するため、画像データまたは圧縮画像データを、交通事故が発生した直後に直ちにサーバ2Aへ送信することができる。
[Vehicle Function and Effect]
The system 100A according to this embodiment is for analyzing the situation of a traffic accident that has occurred. For this reason, the
[サーバの相違点]
サーバ2は、図6に示したように、サーバ側通信部21、サーバ側記憶部22および出力部23の他に、サーバ側制御部24Aを備えている。
[Server Differences]
As shown in FIG. 6, the
〔サーバ側制御部〕
サーバ側制御部24Aは、測定部241、受信制御部243および出力制御部245の他に、サーバ側送信制御部242Aと、解析部244Aと、を備える。
[Server side control unit]
The server-
(サーバ側送信制御部)
サーバ側送信制御部242Aは、上記第一実施形態に係るサーバ側送信制御部242と同様、制約情報を車両1へ送信するようサーバ側通信部21を制御する。本実施形態に係るサーバ側送信制御部242Aが制約情報を送信するための制御を開始する契機となる「画像を解析する必要が生じたこと」には、サーバ側通信部21が車両1Aから事故発生情報を受信したこと等が含まれる。また、本実施形態に係るサーバ側送信制御部242Aの制御によって車両1Aへ送信される制約情報は、許容送信時間が第一実施形態に係る許容送信時間よりも短い、および許容検知精度が第一実施形態に係る許容送信時間よりも低い、の少なくともいずれかとなっている。
(Server-side transmission control section)
The server-side
(解析部)
本実施形態に係る解析部244Aは、画像データまたは圧縮画像データを解析し、画像に映る被害を受けた交通参加者(歩行者、車両)、建物等の状態、被害を与えた車両の状態、事故に至るまでの被害を受けた交通参加者の動き、事故に至るまでの被害を与えた車両等の動き等の各種情報を抽出する。これにより、どのような交通事故が起こったのかを知ることができるとともに、どのような原因によって交通事故が起こったのかを探ることができる。その結果、サーバ2のユーザが、例えば保険会社のオペレータ等である場合、交通事故の関係者への対応に収集することができるようになる。
(Analysis section)
The
[サーバの作用効果]
本実施形態に係るサーバ2Aは、画像データの画質についてはある程度の低下を許容するが、画像データの送信を急ぐ解析を行う。しかし、以上説明してきたサーバ2Aによれば、上記第一実施形態に係るサーバ2と同様、車両1Aからの画像データの受信を、画像データの送信時間に関する要求に応じて行うことができる。すなわち、サーバ2Aは、車両1Aから、検知精度の圧縮後検知精度が許容検知精度を超えない範囲で、できるだけ圧縮された(データ量が小さい)圧縮画像データを受信することができる。また、サーバ2Aによれば、車両1から交通事故の発生を通知されたことを契機として制約情報を車両1Aへ送信するため、画像データまたは圧縮画像データを、交通事故が発生した直後に直ちにサーバ2Aへ送信することができる。
[Server Actions and Effects]
The
<その他>
上記車両1、1Aおよびサーバ2、2A(以下、「装置等」と呼ぶ)の機能は、当該装置等としてコンピュータを機能させるためのプログラムであって、当該装置等の各制御ブロック(特に車両側制御部14、14A、サーバ側制御部24、24Aに含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。この場合、上記装置等は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置等が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置等に供給されてもよい。
<Other>
The functions of the
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 In addition, some or all of the functions of each of the above control blocks can be realized by a logic circuit. For example, an integrated circuit in which a logic circuit that functions as each of the above control blocks is formed is also included in the scope of the present invention. In addition, it is also possible to realize the functions of each of the above control blocks by, for example, a quantum computer.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. The technical scope of the present invention also includes embodiments obtained by appropriately combining the technical means disclosed in different embodiments.
100、100A システム
1、1A 車両
11 車両側通信部(通信部)
12 カメラ
13 車両側記憶部
14、14A 車両側制御部
141 取得部
142 生成部
143、143A 決定部
143a 算出部
143b 判断部
143c 第三判断部
143d 第二算出部
143e 第二判断部
144 圧縮部
145 車両側送信制御部(送信制御部)
146 通知部
2、2A サーバ
21 サーバ側通信部
22 サーバ側記憶部
23 出力部
24、24A サーバ側制御部
241 測定部
242、242A サーバ側送信制御部
243 受信制御部
244、244A 解析部
245 出力制御部
3 中継機器
100,
12
146
Claims (13)
前記車両の外側および内側の少なくとも一方を撮影し画像データを生成するカメラと、
前記サーバから、前記画像データの送信時間の上限値である許容送信時間を含む制約情報を取得する取得部と、
前記制約情報に基づいて前記画像データの圧縮率を決定する決定部と、
前記圧縮率で前記画像データを圧縮し圧縮画像データを生成する圧縮部と、
前記圧縮画像データを前記サーバへ送信するよう前記通信部を制御する送信制御部と、
を備える車両。 A vehicle equipped with a communication unit that communicates with a server,
a camera that captures an image of at least one of the exterior and interior of the vehicle and generates image data;
an acquisition unit that acquires, from the server, constraint information including an allowable transmission time that is an upper limit of a transmission time of the image data;
a determination unit that determines a compression ratio of the image data based on the constraint information;
a compression unit that compresses the image data at the compression ratio to generate compressed image data;
a transmission control unit that controls the communication unit to transmit the compressed image data to the server;
A vehicle equipped with.
請求項1に記載の車両。 the acquisition unit acquires the constraint information including the permissible transmission time and an allowable detection accuracy that is a lower limit of detection accuracy after compression when detecting an object using the compressed image data;
2. The vehicle of claim 1.
請求項2に記載の車両。 the acquisition unit acquires the constraint information including the permissible transmission time, the permissible detection accuracy, and a throughput of a relay device that relays communication with the server.
3. A vehicle as claimed in claim 2.
前記決定部は、前記制約情報および前記BB情報に基づいて前記圧縮率を決定する、
請求項2または3に記載の車両。 A generating unit that detects a bounding box of the object from the image data and generates BB information indicating a size of the bounding box,
The determination unit determines the compression ratio based on the constraint information and the BB information.
A vehicle as claimed in claim 2 or 3.
前記制約情報に基づいて、前記画像データを前記サーバへ送信するのに要する送信時間を算出する算出部と、
前記送信時間が前記許容送信時間よりも短いか否かを判断する判断部と、
を備え、
前記決定部は、前記送信時間が前記許容送信時間よりも短いと前記判断部が判断した場合、前記圧縮率を1に決定する、
請求項4に記載の車両。 The determination unit is
a calculation unit that calculates a transmission time required to transmit the image data to the server based on the constraint information;
a determination unit that determines whether the transmission time is shorter than the allowable transmission time;
Equipped with
When the determination unit determines that the transmission time is shorter than the allowable transmission time, the determination unit determines the compression ratio to be 1.
5. A vehicle as claimed in claim 4.
請求項5に記載の車両。 When the determination unit determines that the transmission time is longer than the allowable transmission time, the determination unit determines the compression ratio to be less than 1.
6. A vehicle as claimed in claim 5.
現状の圧縮率で圧縮された前記圧縮画像データを用いて物体を検知した場合の検知精度の圧縮後検知精度を算出する第二算出部と、
前記圧縮後検知精度が前記許容検知精度よりも高いか否かを判断する第二判断部と、
を備え、
前記圧縮後検知精度が前記許容検知精度よりも高いと前記第二判断部が判断した場合、前記圧縮率を、前記現状の圧縮率よりも低い値に変更する、
請求項6に記載の車両。 The determination unit is
a second calculation unit that calculates a post-compression detection accuracy of a detection accuracy when an object is detected using the compressed image data compressed at a current compression rate;
a second determination unit that determines whether the post-compression detection accuracy is higher than the allowable detection accuracy;
Equipped with
When the second determination unit determines that the detection accuracy after compression is higher than the allowable detection accuracy, the compression ratio is changed to a value lower than the current compression ratio.
7. The vehicle of claim 6.
前記圧縮率を段階的に引き下げることにより変更するよう構成されており、
現状の圧縮率が、所定の下限段階に達しているか否かを判断する第三判断部を備え、
前記現状の圧縮率が前記下限段階に達していると前記第三判断部が判断した場合、前記現状の圧縮率を、最終的な圧縮率として決定する、
請求項7に記載の車両。 The determination unit is
The compression ratio is changed by gradually decreasing the compression ratio,
a third determination unit for determining whether or not the current compression ratio has reached a predetermined lower limit stage;
When the third determination unit determines that the current compression ratio has reached the lower limit stage, the current compression ratio is determined as a final compression ratio.
8. A vehicle as claimed in claim 7.
前記画像データの送信時間の上限値である許容送信時間を含む制約情報を前記車両へ送信するよう前記通信部を制御する送信制御部と、
前記車両から、前記カメラが生成した画像データ、または前記制約情報に基づいて生成された圧縮画像データを受信するよう前記通信部を制御する受信制御部と、
を備えるサーバ。 A communication unit that communicates with a vehicle having a camera that generates image data;
a transmission control unit that controls the communication unit to transmit, to the vehicle, constraint information including an allowable transmission time that is an upper limit of a transmission time of the image data;
a reception control unit that controls the communication unit to receive, from the vehicle, image data generated by the camera or compressed image data generated based on the restriction information;
A server comprising:
前記送信制御部は、前記許容送信時間、前記許容検知精度、および前記スループットを含む前記制約情報を前記車両へ送信するよう前記通信部を制御する、請求項10に記載のサーバ。 a measurement unit for measuring a throughput of a relay device that relays communication with the server,
The server according to claim 10 , wherein the transmission control unit controls the communication unit to transmit the constraint information, which includes the permissible transmission time, the permissible detection accuracy, and the throughput, to the vehicle.
請求項9~11のいずれか一項に記載のサーバ。 An analysis unit that analyzes the image data or the compressed image data.
The server according to any one of claims 9 to 11.
請求項12に記載のサーバ。 The analysis unit determines at least the allowable transmission time in accordance with the content to be analyzed.
The server of claim 12.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022091115A JP7476257B2 (en) | 2022-06-03 | 2022-06-03 | Servers and Vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022091115A JP7476257B2 (en) | 2022-06-03 | 2022-06-03 | Servers and Vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023178066A JP2023178066A (en) | 2023-12-14 |
JP7476257B2 true JP7476257B2 (en) | 2024-04-30 |
Family
ID=89124215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022091115A Active JP7476257B2 (en) | 2022-06-03 | 2022-06-03 | Servers and Vehicles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7476257B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007125574A1 (en) | 2006-04-27 | 2007-11-08 | Media Global Links Co., Ltd. | Video transferring apparatus |
JP2016134816A (en) | 2015-01-21 | 2016-07-25 | 株式会社日立製作所 | Image adjustment method, server, and moving image capturing system |
WO2021171828A1 (en) | 2020-02-27 | 2021-09-02 | 住友電気工業株式会社 | Vehicle interior/exterior linking device and method |
-
2022
- 2022-06-03 JP JP2022091115A patent/JP7476257B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007125574A1 (en) | 2006-04-27 | 2007-11-08 | Media Global Links Co., Ltd. | Video transferring apparatus |
JP2016134816A (en) | 2015-01-21 | 2016-07-25 | 株式会社日立製作所 | Image adjustment method, server, and moving image capturing system |
WO2021171828A1 (en) | 2020-02-27 | 2021-09-02 | 住友電気工業株式会社 | Vehicle interior/exterior linking device and method |
Also Published As
Publication number | Publication date |
---|---|
JP2023178066A (en) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101216271B1 (en) | camera tampering detection | |
US7081814B2 (en) | Change detecting method and apparatus and monitoring system using the method or apparatus | |
US20160078296A1 (en) | Image pickup apparatus, information processing apparatus, and information processing method | |
CN103548340A (en) | Vehicle monitoring device and method of monitoring vehicle | |
WO2018161889A1 (en) | Queue information acquisition method, device and computer readable storage medium | |
CN115578666A (en) | Key frame filtering system combining traffic abnormal events and static events | |
JP2014236312A (en) | Setting device and setting method | |
JP7476257B2 (en) | Servers and Vehicles | |
KR101742258B1 (en) | Apparatus and method for providing contents using web-based virtual desktop protocol | |
CN112887717B (en) | Intelligent terminal video coding optimization method, device, equipment and storage medium | |
JP2008035096A (en) | Monitoring apparatus, monitoring method and program | |
US20200279378A1 (en) | Collision determination server, program, and recording medium | |
CN113873342A (en) | Video transmission method, video transmission device, electronic equipment and computer-readable storage medium | |
WO2019049548A1 (en) | Image processing device | |
CN101282419A (en) | Method and apparatus for automatically detecting bad point | |
CN104410831A (en) | Method for monitoring whether taxi driver runs meter or not when carrying passenger | |
CN113615166B (en) | Accident detection device and accident detection method | |
JP2008182456A (en) | Monitoring device, detection setting method, and monitoring camera system | |
KR20170102403A (en) | Big data processing method and Big data system for vehicle | |
JP2013090004A (en) | Image receiver | |
CN111696368A (en) | Overspeed illegal data generation method and illegal server | |
JP2004007174A (en) | Image processing system, image processing method and image processing program | |
CN108196938B (en) | Memory calling method, mobile terminal and computer readable storage medium | |
CN109101646B (en) | Data processing method, device, system and computer readable medium | |
CN114915774A (en) | Production process detection system and detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7476257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |