JP2024014239A - 送信システム - Google Patents
送信システム Download PDFInfo
- Publication number
- JP2024014239A JP2024014239A JP2022116922A JP2022116922A JP2024014239A JP 2024014239 A JP2024014239 A JP 2024014239A JP 2022116922 A JP2022116922 A JP 2022116922A JP 2022116922 A JP2022116922 A JP 2022116922A JP 2024014239 A JP2024014239 A JP 2024014239A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- interest
- control unit
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 abstract description 20
- 230000006870 function Effects 0.000 description 34
- 238000000034 method Methods 0.000 description 26
- 230000006835 compression Effects 0.000 description 17
- 238000007906 compression Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、送信システムに関する。
走行路面の管理等の目的で、走行路面を移動する自動車等の移動体に取り付けられたカメラを用いて撮影された走行路面の画像を、画像を集約するサーバ等の既定の送信先に送信することが行われている。画像を既定の送信先に送信する際の通信量を削減する技術がある。特許文献1には、撮影された画像における走行路面と判定された画像領域を高画質とし、それ以外の領域を低画質として、画像を送信する技術が開示されている。
従来技術では、通信量の削減量に限界があった。
本発明は、上記課題にかんがみてなされたもので、通信量を従来よりも削減することを目的とする。
本発明は、上記課題にかんがみてなされたもので、通信量を従来よりも削減することを目的とする。
上記の目的を達成するため、送信システムは、走行路面を移動する移動体に設けられたカメラにより撮影された画像である撮影画像であって、前記撮影画像における前記走行路面の領域の一部を示し、且つ、損傷の評価対象の領域である関心領域を含む前記撮影画像を取得する取得部と、前記関心領域と異なる前記撮影画像における領域である非関心領域の画像を、画質を低下させて既定の送信先に送信し、前記関心領域の画像を、前記非関心領域よりも画質が高くなるようにして前記送信先に送信する送信制御部と、を備える。
このように、送信システムは、撮影画像のうち、関心領域に含まれない走行路面の領域についても、関心領域よりも画質を低下させて送信する。これにより、送信システムは、撮影画像における走行路面全体を、他の領域よりも高画質にして送信する場合に比べて、送信するデータのサイズを低減でき、通信量を削減できる。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)管理支援システムの構成:
(2)送信制御処理:
(3)他の実施形態:
(1)管理支援システムの構成:
(2)送信制御処理:
(3)他の実施形態:
(1)管理支援システムの構成:
図1は、本実施形態の管理支援システム10の構成の一例を示す図である。管理支援システム10は、移動体が移動する走行路面の管理を支援するシステムであり、送信システム100と、カメラ200と、サーバ300と、を含む。本実施形態では、管理支援システム10は、損傷のある走行路面の画像をユーザに提示することで、走行路面の管理を支援する。
図1は、本実施形態の管理支援システム10の構成の一例を示す図である。管理支援システム10は、移動体が移動する走行路面の管理を支援するシステムであり、送信システム100と、カメラ200と、サーバ300と、を含む。本実施形態では、管理支援システム10は、損傷のある走行路面の画像をユーザに提示することで、走行路面の管理を支援する。
送信システム100は、走行路面を移動する移動体に備えられ、移動体に備えられたカメラにより撮影された走行路面の画像をサーバ300に送信する。以下では、送信システム100が備えられた移動体を、単に移動体と記載する。本実施形態では、移動体は、自動車であるとするが、走行路面に沿って移動する移動体であれば、自動車と異なる移動体であってもよい。例えば、移動体は、自転車、ドローン、路面電車等であってもよい。
カメラ200は、移動体に備えられ、レンズ、撮像素子等を備え、周囲の光を受光し、周囲の画像を撮影する。本実施形態では、カメラ200は、移動体の進行方向前方を撮影可能なように移動体に備えられている。以下では、カメラ200により撮影される画像を撮影画像とする。本実施形態では、カメラ200は、ドライブレコーダに内蔵されたカメラであるとするが、スマートフォンに内蔵されたカメラ等の他のカメラであってもよい。カメラ200は、移動体の移動の際に周期的に画像の撮影を繰り返す。
サーバ300は、送信システム100から送信された画像を表示部に表示させ、ユーザに提示する。
サーバ300は、送信システム100から送信された画像を表示部に表示させ、ユーザに提示する。
管理支援システム10の各要素のハードウェア構成について説明する。
送信システム100は、制御部110と、記憶媒体120と、通信部130と、GNSS(Global Navigation Satellite System)受信部140と、デバイスI/F150と、を備える。
制御部110は、プロセッサ、Random Access Memory(RAM)、Read Only Memory(ROM)等を備え、後述する送信プログラム111等の各種プログラムを実行することで送信システム100を制御する。
送信システム100は、制御部110と、記憶媒体120と、通信部130と、GNSS(Global Navigation Satellite System)受信部140と、デバイスI/F150と、を備える。
制御部110は、プロセッサ、Random Access Memory(RAM)、Read Only Memory(ROM)等を備え、後述する送信プログラム111等の各種プログラムを実行することで送信システム100を制御する。
記憶媒体120は、送信プログラム111等の各種プログラム、カメラパラメータ120a等の各種データを記憶する。カメラパラメータ120aは、移動体を基準とする既定の3次元座標系におけるカメラ200の位置と、この座標系におけるカメラ200の姿勢と、を示すパラメータである。以下では、この座標系を基準座標系とする。本実施形態では、カメラパラメータ120aは、基準座標系におけるカメラ200の位置を示す座標値と、基準座標系におけるカメラ200のロール角・ピッチ角・ヨー角と、である。
通信部130は、サーバ300等の外部の装置との有線又は無線の通信に用いられる回路を備える。制御部110は、通信部130を介して、サーバ300と通信する。GNSS受信部140は、位置測定用の衛星からの信号を受信し、受信した信号に基づいて、自装置の位置を特定する。制御部110は、GNSS受信部140を介して、送信システム100の位置を取得する。デバイスI/F150は、カメラ200等の外部のデバイスとの接続に用いられるインターフェースである。送信システム100は、デバイスI/F150を介して、カメラ200と接続されている。
サーバ300は、制御部310と、記憶媒体320と、通信部330と、表示部340と、を備える。
制御部310は、プロセッサ、RAM、ROM等を備え、後述する表示プログラム311等の各種プログラムを実行することで送信システム100を制御する。記憶媒体320は、表示プログラム311等の各種プログラム、画像データ320a等の各種データを記憶する。画像データ320aは、送信システム100から送信される画像である。通信部330は、送信システム100等の外部の装置との有線又は無線の通信に用いられる回路を備える。制御部210は、通信部330を介して、送信システム100と通信する。表示部340は、各種情報を表示するモニタ等の表示部である。
制御部310は、プロセッサ、RAM、ROM等を備え、後述する表示プログラム311等の各種プログラムを実行することで送信システム100を制御する。記憶媒体320は、表示プログラム311等の各種プログラム、画像データ320a等の各種データを記憶する。画像データ320aは、送信システム100から送信される画像である。通信部330は、送信システム100等の外部の装置との有線又は無線の通信に用いられる回路を備える。制御部210は、通信部330を介して、送信システム100と通信する。表示部340は、各種情報を表示するモニタ等の表示部である。
続いて、管理支援システム10の各要素の機能について説明する。
送信システム100の制御部110は、送信プログラム111を実行することで、領域決定部111a、取得部111b、送信制御部111c、認識部111dとして機能する。
送信システム100の制御部110は、送信プログラム111を実行することで、領域決定部111a、取得部111b、送信制御部111c、認識部111dとして機能する。
領域決定部111aは、カメラ200により撮影される撮影画像における走行路面の領域の一部を示し、走行路面の損傷の評価対象となる領域を決定する機能である。以下では、走行路面の損傷の評価対象となる領域を関心領域とする。本実施形態では、撮影画像において、関心領域の部分が走行路面の状態の判断に用いられる部分であり、他の領域よりも重要な部分となる。以下では、撮影画像における関心領域と異なる領域を非関心領域とする。また、以下では、関心領域に映る走行路面の実空間における範囲を、認識範囲とする。本実施形態では、認識範囲は、カメラ200により撮影可能な走行路面の範囲の一部の範囲であって、走行路面における移動体が走行する車線の範囲である。以下では、移動体が走行する車線を、走行車線とする。また、本実施形態では、実空間における認識範囲は、移動体の進行方向に既定の長さ(例えば、6m、3m、10m等)の範囲である。以下では、認識範囲の移動体の進行方向の長さを、単に認識範囲の長さとする。
制御部110は、領域決定部111aの機能により、カメラパラメータ120aと、カメラ200の画角と、移動体の構造と、から走行車線におけるカメラ200が撮影可能な範囲を特定する。すなわち、制御部110は、移動体により遮られずに撮影可能な、実空間における走行車線の範囲を特定する。制御部110は、特定した走行車線の範囲から、移動体の進行方向に既定の長さの領域であって、最も移動体に近い範囲を特定する。すなわち、制御部110は、撮影可能な走行車線のうち、移動対に最も近い撮影可能な既定の長さの範囲を特定する。以下では、ここで特定された範囲を特定範囲とする。
制御部110は、領域決定部111aの機能により、カメラ200の位置・姿勢を示すカメラパラメータ120aと、カメラ200の画角と、カメラ200の歪みの特性と、に基づいて、基準座標系における位置と撮影画像内の位置との対応関係を特定する。より具体的には、制御部110は、基準座標系における座標から撮影画像内の座標へ変換するための法則(例えば、変換式等)を特定する。以下では、特定したこの法則を変換法則とする。制御部110は、特定した変換法則を用いて、基準座標系における特定範囲の位置を、撮影画像内の位置に変換する。そして、制御部110は、撮影画像内の矩形の領域であって、変換した撮影画像内の位置を含む最小の矩形の領域を、関心領域として特定する。図2に撮影画像内の関心領域の一例を示す。図2は、カメラ200で撮影される撮影画像の一例を示す。図2の例では、移動体が走っている走行路面が示される。図2の破線の矩形は、関心領域を示す。破線の矩形内の走行車線の範囲が認識範囲となる。
取得部111bは、カメラ200により撮影された撮影画像であって、関心領域を含む撮影画像を取得する機能である。
制御部110は、取得部111bの機能により、デバイスI/F150を介して、カメラ200からカメラ200により撮影された撮影画像を取得する。また、制御部110は、現在時刻(処理時刻)を、撮影画像が撮影された時刻として特定する。以下では、撮影画像が撮影された時刻を、撮影時刻とする。また、制御部110は、GNSS受信部140を介して受信した信号に基づいて、現在時刻(処理時刻)における送信システム100の位置(移動体の位置)を、撮影時刻における移動体の位置として特定する。以下では、撮影時刻における移動体の位置を、撮影位置とする。
制御部110は、取得部111bの機能により、デバイスI/F150を介して、カメラ200からカメラ200により撮影された撮影画像を取得する。また、制御部110は、現在時刻(処理時刻)を、撮影画像が撮影された時刻として特定する。以下では、撮影画像が撮影された時刻を、撮影時刻とする。また、制御部110は、GNSS受信部140を介して受信した信号に基づいて、現在時刻(処理時刻)における送信システム100の位置(移動体の位置)を、撮影時刻における移動体の位置として特定する。以下では、撮影時刻における移動体の位置を、撮影位置とする。
送信制御部111cは、非関心領域の画像について、画質を元の画質よりも低下させて既定の送信先(本実施形態では、サーバ300)に送信し、関心領域の画像について、画質を元の画質以下であり、且つ、非関心領域よりも画質が高くなるようにしてこの送信先に送信する機能である。
制御部110は、送信制御部111cの機能により、取得部111bの機能により取得された撮影画像から、関心領域の画像を抽出する。以下では、抽出された関心領域の画像を、関心領域画像とする。図2の例では、破線の矩形で囲まれた領域の画像が関心領域画像となる。
制御部110は、送信制御部111cの機能により、取得部111bの機能により取得された撮影画像から、関心領域の画像を抽出する。以下では、抽出された関心領域の画像を、関心領域画像とする。図2の例では、破線の矩形で囲まれた領域の画像が関心領域画像となる。
また、制御部110は、撮影画像における非関心領域の画像を既定の水準以下の画質となるように圧縮する。以下では、非関心領域の画像を非関心領域画像とする。本実施形態では、制御部110は、非関心領域を含む撮影画像全体を、非関心領域の画像として圧縮する。すなわち、制御部110は、非関心領域画像を関心領域ごと圧縮する。本実施形態では、制御部110は、撮影画像全体を非関心領域画像として、公知の圧縮手法(例えば、JPG形式の画像等で用いられる離散コサイン変換を用いた圧縮方法、ウェーブレット変換を用いた圧縮方法等)を用いて、既定の圧縮率以上の圧縮率で圧縮する。ここで、圧縮率とは、圧縮前のデータのサイズに対する、圧縮により削減されるデータのサイズ(圧縮前のデータのサイズ-圧縮後のデータのサイズ)の割合である。本実施形態では、この圧縮率は、90%であるとするが、関心領域画像と圧縮後の非関心領域画像とのデータサイズの合計が、撮影画像よりも小さくなれば他の値であってもよい。
ここで、認識部111dについて説明する。
認識部111dは、撮影画像における関心領域から走行路面の損傷を認識する機能である。制御部110は、認識部111dの機能により、関心領域画像から走行路面の損傷(ひび、ポットホール等)を認識する。本実施形態では、制御部110は、公知の方法を用いて、関心領域画像から走行路面の損傷を認識する。例えば、制御部110は、画像から既定の損傷を認識するよう予め機械学習された学習モデルを用いて、関心領域画像から走行路面の損傷を認識する。
認識部111dは、撮影画像における関心領域から走行路面の損傷を認識する機能である。制御部110は、認識部111dの機能により、関心領域画像から走行路面の損傷(ひび、ポットホール等)を認識する。本実施形態では、制御部110は、公知の方法を用いて、関心領域画像から走行路面の損傷を認識する。例えば、制御部110は、画像から既定の損傷を認識するよう予め機械学習された学習モデルを用いて、関心領域画像から走行路面の損傷を認識する。
送信制御部111cの説明に戻る。
認識部111dの機能により関心領域画像から走行路面の損傷が認識された場合、制御部110は、抽出した関心領域画像と、圧縮した非関心領域画像(撮影画像)と、を撮影時刻及び撮影位置と対応付けて、サーバ300に送信する。また、本実施形態では、制御部110は、撮影画像内における関心領域と非関心領域との位置関係の情報についても、サーバ300に送信する。ここで送信される関心領域画像と、非関心領域画像と、はサーバ300で結合して表示される画像である。認識部111dの機能により関心領域画像から走行路面の損傷が認識されなかった場合、制御部110は、抽出した関心領域画像と、圧縮した非関心領域画像(撮影画像)と、をサーバ300に送信しない。
認識部111dの機能により関心領域画像から走行路面の損傷が認識された場合、制御部110は、抽出した関心領域画像と、圧縮した非関心領域画像(撮影画像)と、を撮影時刻及び撮影位置と対応付けて、サーバ300に送信する。また、本実施形態では、制御部110は、撮影画像内における関心領域と非関心領域との位置関係の情報についても、サーバ300に送信する。ここで送信される関心領域画像と、非関心領域画像と、はサーバ300で結合して表示される画像である。認識部111dの機能により関心領域画像から走行路面の損傷が認識されなかった場合、制御部110は、抽出した関心領域画像と、圧縮した非関心領域画像(撮影画像)と、をサーバ300に送信しない。
サーバ300の制御部310は、表示プログラム311を実行することで、取得部311a、結合部311b、表示制御部311cとして機能する。
取得部311aは、送信システム100から関心領域画像と非関心領域画像とを取得する機能である。
制御部310は、取得部311aの機能により、送信システム100から送信制御部111cの機能により送信された関心領域画像と非関心領域画像とを通信部330を介して受信することで取得する。また、制御部310は、これらの画像と対応付けられた撮影時刻及び撮影位置についても受信し、取得する。制御部310は、取得した関心領域画像と非関心領域画像とを、撮影時刻及び撮影位置と対応付けて、画像データ320aとして記憶媒体320に記憶する。
取得部311aは、送信システム100から関心領域画像と非関心領域画像とを取得する機能である。
制御部310は、取得部311aの機能により、送信システム100から送信制御部111cの機能により送信された関心領域画像と非関心領域画像とを通信部330を介して受信することで取得する。また、制御部310は、これらの画像と対応付けられた撮影時刻及び撮影位置についても受信し、取得する。制御部310は、取得した関心領域画像と非関心領域画像とを、撮影時刻及び撮影位置と対応付けて、画像データ320aとして記憶媒体320に記憶する。
結合部311bは、取得部311aの機能により取得された関心領域画像と非関心領域画像とを結合して、1つの画像とする機能である。
制御部310は、結合部311bの機能により、非関心領域画像の非関心領域の部分の画像と関心領域画像との位置関係が、撮影画像における非関心領域と関心領域との位置関係と同様になるように、非関心領域画像と関心領域画像とを結合する。以下では、結合部311bの機能により結合された画像を結合画像とする。本実施形態では、非関心領域画像における関心領域の部分に、関心領域画像を重ねた画像を結合画像として生成する。図3に結合画像の一例を示す。図3は、図2の撮影画像から抽出された関心領域画像と、図2の撮影画像が圧縮された非関心領域画像と、が結合された画像を示す。非関心領域については、低画質であり、関心領域については、非関心領域よりも高画質となっている。
制御部310は、結合部311bの機能により、非関心領域画像の非関心領域の部分の画像と関心領域画像との位置関係が、撮影画像における非関心領域と関心領域との位置関係と同様になるように、非関心領域画像と関心領域画像とを結合する。以下では、結合部311bの機能により結合された画像を結合画像とする。本実施形態では、非関心領域画像における関心領域の部分に、関心領域画像を重ねた画像を結合画像として生成する。図3に結合画像の一例を示す。図3は、図2の撮影画像から抽出された関心領域画像と、図2の撮影画像が圧縮された非関心領域画像と、が結合された画像を示す。非関心領域については、低画質であり、関心領域については、非関心領域よりも高画質となっている。
表示制御部311cは、結合部311bの機能により結合された結合画像を表示部340に表示させる機能である。
制御部310は、表示制御部311cの機能により、関心領域画像と非関心領域画像とが結合部311bの機能により結合された結合画像を表示部340に表示させる。ただし、制御部310は、他の表示部に結合画像を表示させるように制御してもよい。例えば、制御部310は、結合画像を外部のコンピュータに送信し、送信先のコンピュータの表示部に表示させるよう指示してもよい。
このように、制御部310は、結合画像を表示部340に表示させ、ユーザに提示することで、ユーザによる走行路面の管理を支援する。
制御部310は、表示制御部311cの機能により、関心領域画像と非関心領域画像とが結合部311bの機能により結合された結合画像を表示部340に表示させる。ただし、制御部310は、他の表示部に結合画像を表示させるように制御してもよい。例えば、制御部310は、結合画像を外部のコンピュータに送信し、送信先のコンピュータの表示部に表示させるよう指示してもよい。
このように、制御部310は、結合画像を表示部340に表示させ、ユーザに提示することで、ユーザによる走行路面の管理を支援する。
以上、本実施形態の構成により、送信システム100は、撮影画像のうち、走行路面の領域の一部を示す関心領域について、他の領域(非関心領域)よりも高画質として送信する。すなわち、送信システム100は、撮影画像における関心領域に含まれない走行路面の領域についても画質を低下させる。これにより、送信システム100は、撮影画像における走行路面全体を、他の領域よりも高画質にして送信する場合に比べて、送信するデータのサイズを低減でき、通信量を削減できる。
また、本実施形態では、サーバ300は、圧縮され画質が低下した非関心領域画像と非関心領域画像よりも画質が低下していない関心領域画像とを結合し結合画像を生成する。これにより、サーバ300は、非関心領域については画質が低下しているが、損傷の確認のために重要な領域である関心領域については非関心領域よりも高画質となっている撮影画像を再現できる。ユーザは、結合画像の非関心領域を確認してどの場所の画像であるかを容易に把握でき、画質が非関心領域よりも高い関心領域を確認して走行路面の損傷を詳細に確認できる。
また、本実施形態では、送信システム100は、関心領域画像から走行路面の損傷が認識されなかった場合に、関心領域画像と非関心領域画像とをサーバ300に送信しない。走行路面の管理において、走行路面にどのような損傷があるかを把握することが求められる場合がある。このような場合、損傷が映っている撮影画像は重要であるが、損傷が映っていない撮影画像は重要ではない。そこで、制御部110は、関心領域画像から走行路面の損傷が認識されなかった場合に、画像を送信しないことで不要な通信量が生じる事態を低減できる。
(2)送信制御処理:
図4を用いて、送信システム100が実行する送信制御処理を説明する。送信システム100の制御部110は、移動体の移動の開始に応じて図4の処理を開始する。また、制御部110は、図4の処理の開始前に、予め領域決定部111aの機能により関心領域を決定する。
図4を用いて、送信システム100が実行する送信制御処理を説明する。送信システム100の制御部110は、移動体の移動の開始に応じて図4の処理を開始する。また、制御部110は、図4の処理の開始前に、予め領域決定部111aの機能により関心領域を決定する。
ステップS100において、制御部110は、取得部111bの機能により、カメラ200から撮影画像を取得する。制御部110は、ステップS100の処理の完了後に、処理をステップS105に進める。
ステップS105において、制御部110は、送信制御部111cの機能により、ステップS100で取得された撮影画像から関心領域の部分を、関心領域画像として抽出する。制御部110は、ステップS105の処理の完了後に、処理をステップS110に進める。
ステップS110において、制御部110は、送信制御部111cの機能により、ステップS100で取得された撮影画像から非関心領域の部分を示す領域として、画像全体の領域を抽出する。制御部110は、抽出した撮影画像全体を非関心領域画像として、非関心領域画像を既定の圧縮率以上の圧縮率で圧縮する。制御部110は、ステップS110の処理の完了後に、処理をステップS115に進める。
ステップS115において、制御部110は、認識部111dの機能により、ステップS105で抽出された関心領域画像から走行路面の損傷を認識する。制御部110は、走行路面の損傷を認識できた場合、処理をステップS120に進め、走行路面の損傷を認識できなかった場合、図4の処理を終了する。
ステップS120において、制御部110は、送信制御部111cの機能により、ステップS105で抽出した関心領域画像と、ステップS110で圧縮した非関心領域画像(撮影画像)と、を撮影時刻及び撮影位置と対応付けて、 サーバ300に送信する。また、本実施形態では、制御部110は、撮影画像内における関心領域と非関心領域との位置関係の情報についても、サーバ300に送信する。
以上が送信制御処理の説明である。制御部110は、移動体が認識範囲の長さ以下の既定の距離、進行方向に進む度に、図4の処理を繰り返す。これにより、制御部110は、走行車線を隙間なく認識範囲とでき、走行車線の画像を隙間なく、関心領域画像とすることができる。
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、送信システム100は移動体に備えられた複数の装置で構成されてもよい。さらに、送信システム100の機能の少なくとも一部が複数の装置に分かれて実装されてもよい。上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、送信システム100は移動体に備えられた複数の装置で構成されてもよい。さらに、送信システム100の機能の少なくとも一部が複数の装置に分かれて実装されてもよい。上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
上述の実施形態では、送信システム100の制御部110は、撮影画像から関心領域の部分を抽出した関心領域画像を圧縮せずに、サーバ300に送信するとした。ただし、制御部110は、関心領域画像を、非関心領域画像よりも高画質となるように、非関心領域画像よりも低い圧縮率で圧縮してもよい。これにより、制御部110は、送信システム100が送信する関心領域画像のデータサイズを低減でき、送信システム100とサーバ300との間の通信量をさらに削減できる。
また、上述の実施形態では、制御部110は、関心領域画像から走行路面の損傷が認識された場合に、関心領域画像と非関心領域画像とをサーバ300に送信するとした。ただし、制御部110は、関心領域画像から走行路面の損傷が認識されたか否かに関わらず、関心領域画像と非関心領域画像とをサーバ300に送信してもよい。また、その場合、送信システム100は、認識部111dの機能を備えなくてもよい。
また、上述の実施形態では、制御部110は、非関心領域画像として、撮影画像全体を用いることとした。ただし、制御部110は、撮影画像における非関心領域の部分を含む画像であれば他の画像を、非関心領域画像として用いてもよい。例えば、制御部110は、撮影画像から関心領域を除いた部分を非関心領域画像として用いてもよい。この場合、制御部110は、撮影画像全体を既定の圧縮率で圧縮した画像から、関心領域の部分を削除した画像を非関心領域画像としてサーバ300に送信してもよい。また、制御部110は、撮影画像から関心領域を除いた画像を、既定の圧縮率で圧縮した画像を非関心領域画像としてサーバ300に送信してもよい。これにより、制御部110は、送信システム100から送信される非関心領域画像のデータサイズを低減でき、送信システム100とサーバ300との間の通信量をさらに削減できる。
また、上述の実施形態では、サーバ300が関心領域画像と圧縮された非関心領域画像とを結合し、結合画像を生成するとした。ただし、送信システム100が結合画像を生成してもよい。例えば、制御部110は、ステップS120で、関心領域画像と圧縮された非関心領域画像とを結合し、結合画像を生成し、結合画像をサーバ300に送信してもよい。
また、上述の実施形態では、制御部110は、基準座標系における特定範囲の位置を特定した変換法則を用いて、撮影画像内の位置に変換し、変換した位置を含む矩形領域を関心領域画像として決定した。ただし、制御部110は、撮影画像における走行路面全体の領域よりも狭い領域であれば、他の領域を関心領域として決定してもよい。
例えば、制御部110は、基準座標系における特定範囲の位置を、特定した変換法則を用いて、撮影画像内の位置に変換し、変換した位置の領域を関心領域として決定してもよい。また、移動体の前方の認識範囲と想定される範囲に、この範囲を示すマーカが配置された状態でカメラ200による撮影が行われる場合、制御部110は、以下のようにしてもよい。すなわち、制御部110は、カメラ200により撮影された撮影画像から、マーカを認識し、認識したマーカを含む領域を関心領域として決定してもよい。また、基準座標系における認識範囲の位置が予め定められている場合、制御部110は、以下のようにしてもよい。すなわち、制御部110は、上述と同様に、基準座標系における座標から撮影画像内の座標へ変換するための変換法則を特定し、特定した変換法則を用いて、基準座標系における認識範囲の位置を、撮影画像内の位置に変換する。そして、制御部110は、変換した撮影画像内の位置を含む領域を、関心領域として決定してもよい。また、制御部110は、公知の方法で、撮影画像から走行路面の領域を認識し、認識した領域の一部を含む領域を関心領域として決定してもよい。
また、制御部110は、撮影画像におけるカメラ200の光軸中心を含む領域を関心領域として決定してもよい。撮影画像においてカメラ200の光軸中心付近が最も歪の影響が小さい。制御部110は、撮影画像におけるカメラ200の光軸中心を含む領域を関心領域として決定することで、他の領域よりも歪の影響の小さい領域を関心領域とすることができる。
また、上述の実施形態では、サーバ300の制御部310は、結合画像を表示部340に表示させることで、ユーザに提示し、走行路面の管理を支援することとした。ただし、制御部310は、さらに、移動体が走行する走行路面の状態を評価することで、走行路面の管理を支援してもよい。
例えば、制御部310は、画像データ320aから、対応する撮影時刻が既定の期間(例えば、直近一週間等)内であり、対応する撮影位置が既定の地域内である関心領域画像を取得する。
そして、制御部310は、公知の方法で、取得した関心領域画像からポットホールを認識し、認識したポットホールの総数を、この地域の走行路面の状態を示す評価値として特定してもよい。そして、制御部310は、特定した評価値を表示部340に表示させてもよい。
そして、制御部310は、公知の方法で、取得した関心領域画像からポットホールを認識し、認識したポットホールの総数を、この地域の走行路面の状態を示す評価値として特定してもよい。そして、制御部310は、特定した評価値を表示部340に表示させてもよい。
また、制御部310は、以下のようにしてもよい。制御部310は、画像データ320aから取得した関心領域画像と、関心領域画像に対応する撮影位置と、カメラ200の設置位置と認識範囲との位置関係と、からこの地域の走行路面の各範囲を示す画像を特定する。より詳細には、制御部310は、関心領域画像を、対応する撮影位置にカメラ200が存在する場合における認識範囲を示す画像として特定する。そして、制御部310は、この地域の走行路面を複数の領域に分割し、関心領域画像から分割した各領域に対応する画像を抽出する。制御部310は、公知の方法で抽出した画像からひびを検出する。制御部310は、ひびが検出された領域の総数の、走行路面を分割した領域の総数に対する割合であるひび割れ率を、この地域の走行路面の状態を示す評価値として特定してもよい。そして、制御部310は、特定した評価値を表示部340に表示させてもよい。
このように、サーバ300は、走行路面の状態を評価することで、より走行路面の管理を支援できる。
このように、サーバ300は、走行路面の状態を評価することで、より走行路面の管理を支援できる。
さらに、本発明の手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
10…管理支援システム、100…送信システム、110…制御部、111…送信プログラム、111a…領域決定部、111b…取得部、111c…送信制御部、111d…認識部、120…記憶媒体、120a…カメラパラメータ、130…通信部、140…GNSS受信部、150…デバイスI/F、200…カメラ、300…サーバ、310…制御部、311…表示プログラム、311a…取得部、311b…結合部、311c…表示制御部、320…記憶媒体、320…画像データ320a、330…通信部、340…表示部
Claims (3)
- 走行路面を移動する移動体に設けられたカメラにより撮影された画像である撮影画像であって、前記撮影画像における前記走行路面の領域の一部を示し、且つ、損傷の評価対象の領域である関心領域を含む前記撮影画像を取得する取得部と、
前記関心領域と異なる前記撮影画像における領域である非関心領域の画像を、画質を低下させて既定の送信先に送信し、前記関心領域の画像を、前記非関心領域よりも画質が高くなるようにして前記送信先に送信する送信制御部と、
を備える送信システム。 - 前記送信制御部により送信される前記非関心領域の画像と前記関心領域の画像とは、それぞれ前記撮影画像における前記関心領域と前記非関心領域との位置関係と同様の位置関係になるように結合されて既定の表示部に表示される請求項1に記載の送信システム。
- 前記撮影画像における前記関心領域から前記走行路面の損傷を認識する認識部を更に備え、
前記非関心領域の画像と前記関心領域の画像とは、前記認識部により損傷が認識された場合に、前記送信制御部により送信される請求項1又は2に記載の送信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022116922A JP2024014239A (ja) | 2022-07-22 | 2022-07-22 | 送信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022116922A JP2024014239A (ja) | 2022-07-22 | 2022-07-22 | 送信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024014239A true JP2024014239A (ja) | 2024-02-01 |
Family
ID=89718591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022116922A Pending JP2024014239A (ja) | 2022-07-22 | 2022-07-22 | 送信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024014239A (ja) |
-
2022
- 2022-07-22 JP JP2022116922A patent/JP2024014239A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102374013B1 (ko) | 촬상 장치 및 전자 기기 | |
CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
JP6270102B2 (ja) | 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム | |
CN112419385B (zh) | 一种3d深度信息估计方法、装置及计算机设备 | |
US20210365699A1 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
JP5262976B2 (ja) | 車載表示装置 | |
JP4892965B2 (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
JP4626400B2 (ja) | 俯瞰画像表示装置及び俯瞰画像表示方法 | |
CN110378836B (zh) | 获取对象的3d信息的方法、系统和设备 | |
JP2006318060A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
US8428341B2 (en) | Apparatus for calculating 3D spatial coordinates of digital images and method thereof | |
CN111319560B (zh) | 信息处理系统、程序和信息处理方法 | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP4882577B2 (ja) | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 | |
JP6737253B2 (ja) | 画像処理装置 | |
JP2010226652A (ja) | 画像処理装置、画像処理方法、および、コンピュータプログラム | |
JP2024014239A (ja) | 送信システム | |
JP2006318061A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2019169043A (ja) | 画像記録装置及び画像記録方法 | |
WO2021161614A1 (ja) | 画像送信システム | |
CN114821544A (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
US20110080495A1 (en) | Method and camera system for the generation of images for the transmission to an external control unit | |
JP2006317193A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム |