WO2023132163A1 - 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム - Google Patents
映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム Download PDFInfo
- Publication number
- WO2023132163A1 WO2023132163A1 PCT/JP2022/044106 JP2022044106W WO2023132163A1 WO 2023132163 A1 WO2023132163 A1 WO 2023132163A1 JP 2022044106 W JP2022044106 W JP 2022044106W WO 2023132163 A1 WO2023132163 A1 WO 2023132163A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- target
- compression
- target region
- target object
- Prior art date
Links
- 230000006835 compression Effects 0.000 title claims abstract description 264
- 238000007906 compression Methods 0.000 title claims abstract description 264
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 title claims description 46
- 238000004590 computer program Methods 0.000 title claims description 16
- 230000002123 temporal effect Effects 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 230000006837 decompression Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
映像圧縮方法は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出するステップと、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮するステップとを含み、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記圧縮するステップでは、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
Description
本開示は、映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システムに関する。
本出願は、２０２２年１月５日出願の日本出願第２０２２－０００３５８号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
本出願は、２０２２年１月５日出願の日本出願第２０２２－０００３５８号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
従来の映像圧縮方法では、映像中の物体の種類や優先度に関係なく、伸張した映像が均一な画質となるように圧縮している。例えば、映像中の各領域を同一の圧縮率で圧縮している。このため、圧縮済みの映像のデータ量のうち、重要ではない領域のデータ量がかなりの部分を占めた場合には、圧縮済み映像を伝送する際の伝送コスト、ストレージに記憶する際のストレージのコストが無視できなくなっている。
そこで、映像中の対象領域を他と比べ高画質で伸張可能な圧縮方法で圧縮するスマートコーディングという技術が開発されている（例えば、非特許文献１参照）。
ＪＳＥＣＵＲＩＴＹ，"スマートエンコーデイング"，［ｏｎｌｉｎｅ］，２０１９年，［令和３年１０月５日検索］，インターネット＜ＵＲＬ： ｈｔｔｐｓ：／／ｊｓｅｃｕｒｉｔｙ．ｊｐ／ｎｅｗ－ｐｒｏｄｕｃｔ／ｓｍａｒｔｅｎｃｏｄｉｎｇ／＞
本開示の一態様に係る映像圧縮方法は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出するステップと、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮するステップとを含み、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記圧縮するステップでは、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
本開示の他の態様に係る映像圧縮装置は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部とを備え、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
本開示の他の態様に係るコンピュータプログラムは、コンピュータを、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部として機能させるためのコンピュータプログラムであって、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
本開示の他の態様に係る映像処理システムは、映像圧縮装置と、サーバとを備え、前記映像圧縮装置は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部と、圧縮済みの前記映像を前記サーバに送信する送信部とを含み、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮し、前記サーバは、圧縮済みの前記映像を受信する映像受信部と、受信した前記映像を伸張する映像伸張部と、伸張済みの前記映像に対して映像処理を実行する映像処理部とを含む。
本開示は、上述の映像圧縮方法に含まれる特徴的なステップをコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
また、本開示は、映像圧縮装置の一部又は全部を実現する半導体集積回路として実現することもできる。
また、本開示は、映像圧縮装置の一部又は全部を実現する半導体集積回路として実現することもできる。
［本開示が解決しようとする課題］
従来のスマートコーディングによると、注目すべき物体が増え、複数の対象領域の合計サイズが大きくなるにつれ、コストを低減させるというスマートコーディング本来の効果が薄れてしまう。
従来のスマートコーディングによると、注目すべき物体が増え、複数の対象領域の合計サイズが大きくなるにつれ、コストを低減させるというスマートコーディング本来の効果が薄れてしまう。
本開示は、このような事情に鑑みてなされたものであり、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮とコスト低減とを両立することのできる映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システムを提供することを目的とする。
［本開示の効果］
本開示によると、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮とコスト低減とを両立することができる。
本開示によると、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮とコスト低減とを両立することができる。
［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る映像圧縮方法は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出するステップと、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮するステップとを含み、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記圧縮するステップでは、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る映像圧縮方法は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出するステップと、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮するステップとを含み、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記圧縮するステップでは、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
この構成によると、優先度の高い目標物体を含む対象領域ほど、低圧縮率で圧縮する時間的割合を大きくした上で、映像を圧縮することができる。例えば、優先度の高い目標物体を含む対象領域ほど、低圧縮率で圧縮するフレームのフレーム間隔を短くした上で、映像を圧縮することができる。これにより、注目すべき目標物体ほど優先度を高くすることにより、当該物体を含む対象領域を、高頻度かつ高画質で伸張することができる。また、優先度の低い目標物体を含む対象領域に対しては、高画質での圧縮は低頻度に抑えられるため、圧縮済み映像のデータ量を削減することができる。このため、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮とコスト低減とを両立することができる。
（２）前記低圧縮率は、前記優先度に応じて異なってもよい。
この構成によると、優先度に応じて低圧縮率の圧縮方法における圧縮率を変更することができる。このため、優先度を適切に設定することにより、高画質で伸張可能な圧縮方法での圧縮とコスト低減とのバランスを図りつつ、映像を圧縮することができる。
（３）また、前記優先度は、前記目標物体の速度に応じて決定されてもよい。
この構成によると、例えば、目標物体の速度が大きいほど優先度を高く設定することにより、高速移動する目標物体ほど低圧縮率で圧縮する時間的割合（例えば、フレームレート）を大きくした上で、映像を圧縮することができる。これにより、高速移動する目標物体を含む対象領域を、高頻度かつ高画質で伸張することができる。
（４）また、上述の映像圧縮方法は、圧縮済みの前記映像を外部の装置に送信するステップをさらに含んでもよい。
この構成によると、圧縮済み映像を外部の装置に送信することができる。これにより、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮と、圧縮済み映像の送信コスト低減とを両立することができる。
（５）また、前記送信するステップでは、さらに、各前記画像の前記対象領域の圧縮率を識別するための情報を送信してもよい。
この構成によると、圧縮済み映像を受信した外部の装置は、画像中の各領域を当該領域の圧縮率に応じて伸張することができる。
（６）また、上述の映像圧縮方法は、圧縮済みの前記映像の通信に用いられる通信経路の可用帯域幅を推定するステップをさらに含み、前記圧縮するステップでは、前記可用帯域幅が小さいほど前記時間的割合を小さく設定してもよい。
この構成によると、可用帯域幅が小さいほど低圧縮率で圧縮する時間的割合を小さくした上で、映像を圧縮することができる。このため、可用帯域幅を超えないように圧縮済み映像のデータ量を調整することができる。
（７）また、上述の映像圧縮方法は、圧縮済みの前記映像を送信した場合に使用する帯域幅を推定するステップをさらに含み、前記圧縮するステップでは、推定された前記帯域幅が圧縮済みの前記映像の通信に用いられる通信経路の可用帯域幅に収まるまで前記時間的割合を小さくしてもよい。
この構成によると、圧縮済み映像を外部に送信する際に使用する帯域幅が可用帯域幅を超えないように圧縮済み映像のデータ量を調整することができる。
（８）また、前記圧縮するステップでは、推定された前記帯域幅が前記可用帯域幅に収まるまで前記優先度の低い前記目標物体を含む前記対象領域から順に前記時間的割合を小さくしてもよい。
この構成によると、優先度の高い目標物体を含む対象領域のデータ量を極力落とすことなく、圧縮済み映像を外部に送信する際に使用する帯域幅が可用帯域幅を超えないように圧縮済み映像のデータ量を調整することができる。
（９）また、前記圧縮するステップでは、最も前記優先度の高い前記目標物体を含む前記対象領域の前記時間的割合を変化させることなく固定してもよい。
この構成によると、最も優先度の高い目標物体を含む対象領域については、通信帯域幅の変化によらずに一定の画質を維持した上で、外部の装置に圧縮済み映像を送信することができる。
（１０）本開示の他の実施形態に係る映像圧縮装置は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部とを備え、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
この構成は、上述の映像圧縮方法における特徴的なステップに対応する処理部を備える。このため、この構成によると、上述の映像圧縮方法と同様の作用及び効果を奏することができる。
（１１）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部として機能させるためのコンピュータプログラムであって、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する。
この構成によると、コンピュータを、上述の映像圧縮装置として機能させることができる。このため、上述の映像圧縮装置と同様の作用及び効果を奏することができる。
（１２）本開示の他の実施形態に係る映像処理システムは、映像圧縮装置と、サーバとを備え、前記映像圧縮装置は、映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部と、圧縮済みの前記映像を前記サーバに送信する送信部とを含み、前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮し、前記サーバは、圧縮済みの前記映像を受信する映像受信部と、受信した前記映像を伸張する映像伸張部と、伸張済みの前記映像に対して映像処理を実行する映像処理部とを含む。
この構成によると、優先度の高い目標物体を含む対象領域ほど、低圧縮率で圧縮する時間的割合を大きくした上で、映像を圧縮することができる。例えば、優先度の高い目標物体を含む対象領域ほど、低圧縮率で圧縮するフレームのフレーム間隔を短くした上で、映像を圧縮することができる。これにより、注目すべき目標物体ほど優先度を高くすることにより、当該物体を含む対象領域を、高頻度かつ高画質で伸張することができる。また、優先度の低い目標物体を含む対象領域に対しては、高画質での圧縮は低頻度に抑えられるため、圧縮済み映像のデータ量を削減することができる。また、優先度の高い目標物体を含む領域ほど高頻度かつ高画質で伸張されるため、サーバは、優先度の高い目標物体を含む対象領域を高精度で映像処理することができる。
［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
また、同一の構成要素には同一の符号を付す。それらの機能及び名称も同様であるため、それらの説明は適宜省略する。
＜実施形態１＞
〔映像処理システムの全体構成〕
図１は、本開示の実施形態１に係る映像処理システムの構成を示すブロック図である。
映像処理システム１は、インターネット等のネットワーク４を介して相互に接続されたサーバ２及び映像圧縮装置３を備える。図１には、映像圧縮装置３を１台しか示していないが、サーバ２には複数の映像圧縮装置３が接続されていてもよい。サーバ２及び映像圧縮装置３は、無線又は有線によりネットワーク４に接続される。
〔映像処理システムの全体構成〕
図１は、本開示の実施形態１に係る映像処理システムの構成を示すブロック図である。
映像処理システム１は、インターネット等のネットワーク４を介して相互に接続されたサーバ２及び映像圧縮装置３を備える。図１には、映像圧縮装置３を１台しか示していないが、サーバ２には複数の映像圧縮装置３が接続されていてもよい。サーバ２及び映像圧縮装置３は、無線又は有線によりネットワーク４に接続される。
映像圧縮装置３は、カメラにより撮影された映像に含まれる時系列の各画像を圧縮し、圧縮済みの画像列（映像）をサーバ２に送信する。
サーバ２は、ネットワーク４を介して映像圧縮装置３から圧縮済み映像を受信し、受信した映像を伸張する。サーバ２は、伸張した映像を映像処理する。例えば、サーバ２は、映像中に含まれる目標物体の位置、目標物体の外接領域等を映像処理により検出する。
〔映像圧縮装置の構成〕
図２は、本開示の実施形態１に係る映像圧縮装置の構成を示すブロック図である。
映像圧縮装置３は、カメラ３１と、対象領域抽出部３２と、帯域幅推定部３３と、映像圧縮部３４と、記憶装置３５と、映像送信部３６とを備える。
図２は、本開示の実施形態１に係る映像圧縮装置の構成を示すブロック図である。
映像圧縮装置３は、カメラ３１と、対象領域抽出部３２と、帯域幅推定部３３と、映像圧縮部３４と、記憶装置３５と、映像送信部３６とを備える。
映像圧縮装置３は、ＣＰＵ等のプロセッサ、及び、揮発性メモリ又は不揮発性メモリなどの記憶装置３５を備えるコンピュータシステムにより構成されてもよい。記憶装置３５に記憶されているコンピュータプログラムをプロセッサ上で実行することにより、各処理部３２～３４、３６は、その機能を発揮する。
カメラ３１は、被写体を撮影し、映像を出力する。映像は複数の時系列の画像から構成される。なお、カメラ３１は、映像圧縮装置３の外部に備えられていて、映像圧縮装置３の構成要素に含まれていなくてもよい。
図３は、カメラ３１が出力する映像に含まれる画像の一例を示す図である。図３に示す画像には、犬、自転車、自動車及び樹木が映っている。映像は複数フレームの時系列の画像より構成される。
対象領域抽出部３２は、画像を複数のブロックに分割し、ブロックごとに、あらかじめ定められた目標物体を含むか否かを判定することにより、後述する対象領域抽出部３２が低圧縮率で圧縮処理する対象領域を抽出する。以下、対象領域抽出部３２の処理を詳細に説明する。
図４は、図３に示した画像を複数のブロックに分割した図である。ここでは、１枚の画像を７行×７列の４９個のブロックに分割した例を示している。図４に示すように、画像の左上から右下までラスター走査順に１から４９までのブロック番号が各ブロックに付されている。ブロックのサイズ及び個数は図４に示したものに限定されるものではない。
対象領域抽出部３２が判定対象とする目標物体の種類は、例えば、４種類とし、種類Ａ、Ｂ、Ｃ、Ｄの目標物体は、それぞれ、人、自動車、自転車、犬とする。種類Ａ～Ｄの目標物体を、それぞれ目標物体Ａ～Ｄとも呼ぶ。目標物体の種類には優先度が設定されており、種類Ａ、Ｂ、Ｃ、Ｄの順に優先度が高いものとする。なお、目標物体の種類は４種類に限定されるものではない。
対象領域抽出部３２は、ブロック番号１～４９の各ブロックについて、目標物体Ａ～Ｄの各々が含まれるか否かを、学習モデルを用いて判定する。学習モデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＡｕｔｏＥｎｃｏｄｅｒなどである。様々な目標物体Ａを含むブロックの画像（以下、「ブロック画像」という）、目標物体Ｂを含むブロック画像、目標物体Ｃを含むブロック画像、目標物体Ｄを含むブロック画像を教師データとして、ディープラーニングなどの機械学習手法により、目標物体Ａの学習と、目標物体Ｂの学習と、目標物体Ｃの学習と、目標物体Ｄの学習とが進んで、学習モデルのパラメータが決定される。
具体的には、対象領域抽出部３２は、４９個のブロック画像から構成される画像を、学習モデルに入力する。学習モデルは、ブロックごとに目標物体Ａ、Ｂ、Ｃ、Ｄがそれぞれ含まれるか否かを判定し、判定結果を出力する。対象領域抽出部３２は、学習モデルから判定結果を得る。
対象領域抽出部３２は、目標物体Ａを含むブロックから構成される領域を低圧縮率での圧縮処理の対象領域と決定する。対象領域抽出部３２は、目標物体Ｂ～Ｄをそれぞれ含むブロックについても、同様に対象領域を決定する。
図５は、目標物体を含む対象領域の一例を示す図である。図５には、目標物体Ｂ～Ｄのそれぞれを含む対象領域４１Ｂ～４１Ｄを示している。対象領域４１Ｂ、４１Ｄは実線の太枠内のブロックを含み、対象領域４１Ｃは破線の太枠内のブロックを含む。対象領域４１Ｂは、目標物体Ｂ（自動車）を含む領域であり、１２～１４番のブロックを含んでいる。対象領域４１Ｃは、目標物体Ｃ（自転車）を含む領域であり、９、１１、１５～１９、２２～２６、３２、３３番のブロックを含んでいる。対象領域４１Ｄは、目標物体Ｄ（犬）を含む領域であり、１６、１７、２２～２４、２９～３１、３６～３８番のブロックを含む領域である。
なお、対象領域は矩形領域であるとしてもよい。この場合、対象領域抽出部３２は、目標物体ごとに、目標物体が含まれるか否かの判定結果に基づいて、目標物体を含むブロックの外接矩形を対象領域とする。図６は、目標物体を含む対象領域の他の一例を示す図である。図６には、目標物体Ｂ～Ｄのそれぞれを含む対象領域４１Ｂ～４１Ｄを示している。対象領域４１Ｂ、４１Ｄは実線の太枠内のブロックを含み、対象領域４１Ｃは破線の太枠内のブロックを含む。対象領域４１Ｂは、目標物体Ｂ（自動車）を含む領域であり、１２～１４番のブロックを含んでいる。対象領域４１Ｃは、目標物体Ｃ（自転車）を含む領域であり、８～１２、１５～１９、２２～２６、２９～３３番のブロックを含んでいる。対象領域４１Ｄは、目標物体Ｄ（犬）を含む領域であり、１５～１７、２２～２４、２９～３１、３６～３８番のブロックを含む領域である。
図７は、対象領域抽出部３２による対象領域の抽出結果の一例を示す図である。
図７に示す表では、ブロック番号ごとに、ブロックに目標物体Ａ～Ｄが含まれるか否かを示す。つまり、目標物体が含まれるブロックを１で示し、目標物体が含まれないブロックを０で示す。例えば、１番のブロックには、目標物体Ａ～Ｄのいずれもが含まれていないことが示されている。１３番のブロックには、目標物体Ｂが含まれ、目標物体Ａ、Ｃ、Ｄが含まれないことが示されている。２３番のブロックには、目標物体Ｃ、Ｄが含まれ、目標物体Ａ、Ｂが含まれないことが示されている。３７番のブロックには、目標物体Ｄが含まれ、目標物体Ａ～Ｃが含まれないことが示されている。４９番のブロックには、目標物体Ａ～Ｄのいずれもが含まれていないことが示されている。
図７に示す表では、ブロック番号ごとに、ブロックに目標物体Ａ～Ｄが含まれるか否かを示す。つまり、目標物体が含まれるブロックを１で示し、目標物体が含まれないブロックを０で示す。例えば、１番のブロックには、目標物体Ａ～Ｄのいずれもが含まれていないことが示されている。１３番のブロックには、目標物体Ｂが含まれ、目標物体Ａ、Ｃ、Ｄが含まれないことが示されている。２３番のブロックには、目標物体Ｃ、Ｄが含まれ、目標物体Ａ、Ｂが含まれないことが示されている。３７番のブロックには、目標物体Ｄが含まれ、目標物体Ａ～Ｃが含まれないことが示されている。４９番のブロックには、目標物体Ａ～Ｄのいずれもが含まれていないことが示されている。
再び図２を参照して、帯域幅推定部３３は、映像圧縮装置３とサーバ２との間の通信経路における可用帯域幅（利用可能な帯域幅）を推定する。例えば、帯域幅推定部３３は、サーバ２に試験ストリームを送信し、返送された試験ストリームを受信し、ラウンドトリップタイム、パケットロス率などの品質情報を計測し、品質情報を事前に設定された解析モデルに入力することにより、可用帯域幅を推定してもよい。ただし、可用帯域幅の推定方法は上記したものに限定されるものではない。帯域幅は、例えば、単位Ｍｂｐｓ（Ｍｅｇａｂｉｔｓ ｐｅｒ ｓｅｃｏｎｄ）の伝送速度で表される。
映像圧縮部３４は、あらかじめ定められた目標物体の種類の優先度に基づいて、抽出された対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、カメラ３１から出力される映像（各画像）を圧縮する。
圧縮方法は、例えば、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣなどである。時間的割合は、例えば、フレームレートで規定することができる。
図８は、映像圧縮部３４による映像の圧縮方法の一例を示す図である。横方向に時系列の７フレームの画像を示している。各画像に目標物体Ａ～Ｄをそれぞれ含む対象領域が含まれるものとする。ここで、カメラ３１から出力される映像のフレームレートは３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）とする。
目標物体の優先度に応じてフレームレートが予め設定されているものとする。例えば、映像圧縮部３４は、目標物体Ａを含む対象領域を３０ｆｐｓで低圧縮率で圧縮する。つまり、映像圧縮部３４は、映像を構成する全ての画像について、目標物体Ａを含む対象領域を低圧縮率で圧縮する。圧縮率が低いほど、圧縮済み映像のデータ量が大きくなり、伸張した際に高画質の映像を復元することができる。
映像圧縮部３４は、目標物体Ｂを含む対象領域を１５ｆｐｓで低圧縮率で圧縮する。つまり、映像圧縮部３４は、映像を構成する画像を、１フレームおきに目標物体Ｂを含む対象領域を低圧縮率で圧縮し、それ以外のフレームの画像について、目標物体Ｂを含む対象領域を上記低圧縮率よりも圧縮率の高い高圧縮率で圧縮する。
映像圧縮部３４は、目標物体Ｃを含む対象領域を１０ｆｐｓで低圧縮率で圧縮する。つまり、映像圧縮部３４は、映像を構成する画像を、２フレームおきに目標物体Ｃを含む対象領域を低圧縮率で圧縮し、それ以外のフレームの画像について、目標物体Ｃを含む対象領域を上記低圧縮率よりも圧縮率の高い高圧縮率で圧縮する。
映像圧縮部３４は、目標物体Ｄを含む対象領域を５ｆｐｓで低圧縮率で圧縮する。つまり、映像圧縮部３４は、映像を構成する画像を、５フレームおきに目標物体Ｄを含む対象領域を低圧縮率で圧縮し、それ以外のフレームの画像について、目標物体Ｄを含む対象領域を上記低圧縮率よりも圧縮率の高い高圧縮率で圧縮する。
なお、映像圧縮部３４は、予め設定された目標物体の優先度に応じたフレームレートに基づいて映像を圧縮し、サーバ２に送信した場合に、帯域幅推定部３３で推定された可用帯域幅で送信できるか否かを判断する。可用帯域幅で送信できないと判断した場合には、映像圧縮部３４は、フレームレートを変更して、対象領域を圧縮する。なお、これらの処理については後述する。
映像圧縮部３４は、圧縮済み映像を構成する各画像の対象領域の圧縮率を識別するための情報を、圧縮済み映像に付加する。つまり、映像圧縮部３４は、圧縮済み映像を構成する各画像の各ブロックに圧縮率を識別するための情報を付加する。例えば、映像圧縮部３４は、圧縮率そのものを示す情報を付加してもよいし、圧縮率に対応した番号を付加してもよい。
映像圧縮部３４は、圧縮済み映像を記憶装置３５に記憶させる。
映像圧縮部３４は、圧縮済み映像を記憶装置３５に記憶させる。
映像送信部３６は、記憶装置３５から圧縮済み映像を読み出し、読み出した圧縮済み映像をネットワーク４を介してサーバ２に送信する。
〔サーバの構成〕
図９は、本開示の実施形態１に係るサーバの構成を示すブロック図である。
サーバ２は、映像受信部２１と、映像伸張部２２と、映像処理部２３とを備える。
図９は、本開示の実施形態１に係るサーバの構成を示すブロック図である。
サーバ２は、映像受信部２１と、映像伸張部２２と、映像処理部２３とを備える。
サーバ２は、ＣＰＵ等のプロセッサ、及び、揮発性メモリ又は不揮発性メモリなどの記憶装置を備えるコンピュータシステムにより構成されてもよい。記憶装置に記憶されているコンピュータプログラムをプロセッサ上で実行することにより、各処理部２１～２３は、その機能を発揮する。
映像受信部２１は、ネットワーク４を介して映像圧縮装置３から圧縮済み映像を受信する。
映像伸張部２２は、映像受信部２１が受信した圧縮済み映像を伸張することにより、元の映像を復元する。なお、圧縮済み映像を構成する各画像にはブロックごとに圧縮率を識別するための情報が付加されている。このため、映像伸張部２２は、画像中の各ブロックを当該ブロックの圧縮率に応じて伸張する。
映像伸張部２２は、映像受信部２１が受信した圧縮済み映像を伸張することにより、元の映像を復元する。なお、圧縮済み映像を構成する各画像にはブロックごとに圧縮率を識別するための情報が付加されている。このため、映像伸張部２２は、画像中の各ブロックを当該ブロックの圧縮率に応じて伸張する。
映像処理部２３は、伸張済みの映像に対して、所定の映像処理を実行する。例えば、映像処理部２３は、映像を構成する各画像に含まれる物体の外接矩形領域を検出する。また、映像処理部２３は、画像に含まれる物体の領域を画素単位で抽出する領域分割処理を実行してもよい。さらに、映像処理部２３は、画像に含まれる物体の骨格を推定する骨格推定処理を実行してもよい。
サーバ２は、映像処理部２３による映像処理の結果を映像圧縮装置３に送信してもよい。
サーバ２は、映像処理部２３による映像処理の結果を映像圧縮装置３に送信してもよい。
〔映像圧縮装置の処理手順〕
図１０は、映像圧縮装置が実行する処理の手順の一例を示すフローチャートである。
対象領域抽出部３２は、カメラ３１から出力される画像中の各ブロックについて、目標物体Ａ～Ｄが含まれるか否かを判定し、目標物体Ａ～Ｄそれぞれの対象領域を抽出する（ステップＳ１）。
図１０は、映像圧縮装置が実行する処理の手順の一例を示すフローチャートである。
対象領域抽出部３２は、カメラ３１から出力される画像中の各ブロックについて、目標物体Ａ～Ｄが含まれるか否かを判定し、目標物体Ａ～Ｄそれぞれの対象領域を抽出する（ステップＳ１）。
帯域幅推定部３３は、映像圧縮装置３とサーバ２との間の通信経路における可用帯域幅を推定する（ステップＳ２）。
映像圧縮部３４は、推定された可用帯域幅のレベルを判定する（ステップＳ３）。可用帯域幅のレベルは事前に決定されているものとする。例えば、映像圧縮部３４は、可用帯域幅がａ以上の場合には高レベルと判定し、可用帯域幅がａ未満かつｂ以上の場合には中レベルと判定し、可用帯域幅がｂ未満の場合には低レベルと判定する。ここで、ａ＞ｂである。
可用帯域幅のレベルが高レベルの場合には（ステップＳ３において高）、映像圧縮部３４は、各目標物体を含む対象領域を低圧縮率で圧縮する際のフレームレートとして、高フレームレートを設定する（ステップＳ４）。例えば、目標物体Ａ～Ｄにそれぞれ対応する高フレームレートは、３０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓである。
可用帯域幅のレベルが中レベルの場合には（ステップＳ３において中）、映像圧縮部３４は、各目標物体を含む対象領域を低圧縮率で圧縮する際のフレームレートとして、中フレームレートを設定する（ステップＳ５）。例えば、目標物体Ａ～Ｄにそれぞれ対応する中フレームレートは、１５ｆｐｓ、８ｆｐｓ、５ｆｐｓ、３ｆｐｓである。中フレームレートは、高フレームレート以下のフレームレートである。
可用帯域幅のレベルが低レベルの場合には（ステップＳ３において低）、映像圧縮部３４は、各目標物体を含む対象領域を低圧縮率で圧縮する際のフレームレートとして、低フレームレートを設定する（ステップＳ６）。例えば、目標物体Ａ～Ｄにそれぞれ対応する低フレームレートは、１０ｆｐｓ、５ｆｐｓ、３ｆｐｓ、１ｆｐｓである。低フレームレートは、中フレームレート以下のフレームレートである。
映像圧縮部３４は、ステップＳ４～Ｓ６で設定されたフレームレートに基づいて、カメラ３１から出力される映像を圧縮した際のデータ量を推定する（ステップＳ７）。具体的には、映像圧縮部３４は、映像のフレームレートが３０ｆｐｓであるため、３０フレームの画像を圧縮した場合のデータ量を推定することにより、１秒間の圧縮済み映像のデータ量（ビット量）を推定する。例えば、１ブロックのブロック画像を低圧縮率で圧縮した際のデータ量と、高圧縮率で圧縮した際のデータ量とがあらかじめ定められているものとする。映像圧縮部３４は、設定されたフレームレートと各目標物体を含む対象領域のブロック数とに基づいて、３０フレームの画像中に含まれる低圧縮率で圧縮されるブロックの数と高圧縮率で圧縮されるブロックの数とを算出する。映像圧縮部３４は、算出した各圧縮率のブロック数と、上記した圧縮率毎にあらかじめ定められた１ブロックのデータ量とから、３０フレームの画像を圧縮した場合のデータ量を推定する。例えば、３０フレームの画像中に含まれる高圧縮率及び低圧縮率でそれぞれ圧縮されるブロックの数をＨＮ及びＬＮとする。また、１ブロックのブロック画像を高圧縮率及び低圧縮率でそれぞれ圧縮した後のデータ量をＨＤ及びＬＤとする。この場合、映像圧縮部３４は、ＨＮ×ＨＤ＋ＬＮ×ＬＤを算出することにより、算出結果を、映像を圧縮した際のデータ量（３０フレームの画像を圧縮した際のデータ量）と推定する。
映像圧縮部３４は、ステップＳ２において推定された可用帯域幅と、ステップＳ７において推定された圧縮済み映像のデータ量とを比較することにより、圧縮済み映像をサーバ２に送信する際に帯域不足が発生するか否かを判断する（ステップＳ８）。例えば、映像圧縮部３４は、圧縮済み映像のデータ量が可用帯域幅を超える場合に帯域不足が発生すると判断してもよい。また、映像圧縮部３４は、圧縮済み映像のデータ量に所定のマージン（正の値）を加算したデータ量が可用帯域幅を超える場合に帯域不足が発生すると判断してもよい。このようにすることで、可用帯域幅に変動が生じる場合を考慮して帯域不足の発生の有無を判断することができる。
帯域不足が発生すると判断された場合には（ステップＳ８においてＹＥＳ）、映像圧縮部３４は、設定されたフレームレートを、優先度の低い目標物体に設定されたフレームレートから順に下げ、フレームレートを設定しなおす（ステップＳ９）。その後、ステップＳ７以降の処理を繰り返し実行する。例えば、ステップＳ４において、目標物体Ａ～Ｄに、高フレームレートである、３０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓがそれぞれ設定されているとする。映像圧縮部３４は、最も優先度が低い目標物体Ｄのフレームレートを下げる。フレームレートの下げ方は限定されるものではない。例えば、高フレームレートを中フレームレートに下げるものであってもよい。
つまり、目標物体のＤのフレームレート５ｆｐｓ（高フレームレート）を、３ｆｐｔ（中フレームレート）に下げる。目標物体Ｄのフレームレートの下げだけでは帯域不足が解消されない場合には、目標物体Ｃ、Ｂ、Ａの順に、帯域不足が解消されるまで、高フレームレートから中フレームレートにフレームレートを下げる。
それでも帯域不足が解消されない場合には、同様に、目標物体Ｄ、Ｃ、Ｂ、Ａの順に、帯域不足が解消されるまで、中フレームレートから低フレームレートにフレームレートを下げる。
それでも帯域不足が解消されない場合には、目標物体Ｄ、Ｃ、Ｂ、Ａの順に、帯域不足が解消されるまで、フレームレートを０ｆｐｓに下げる。フレームレート０ｆｐｓとは、全てのフレームにおいて高圧縮率で圧縮することを意味する。
それでも帯域不足が解消されない場合には、目標物体Ｄ、Ｃ、Ｂ、Ａの順に、帯域不足が解消されるまで、量子化パラメータＱＰを変化させ、画質を低下させる。
帯域不足が発生しないと判断された場合には（ステップＳ８においてＮＯ）、映像圧縮部３４は、設定されたフレームレート又は量子化パラメータＱＰに基づいて、カメラ３１から出力される映像を圧縮し、圧縮済み映像を記憶装置３５に書き込む（ステップＳ１０）。映像送信部３６は、圧縮済み映像を記憶装置３５から読み出し、サーバ２に送信する（ステップＳ１１）。
〔実施形態１の適用例１〕
図２に示した映像圧縮装置３は、例えば、自動車やオートバイ等の車両に設置された車載装置であってもよい。例えば、映像圧縮装置３は、カメラ３１が車両の前方を撮影した映像を圧縮してサーバ２に送信する。サーバ２は、圧縮済み映像を伸張し、伸張済み映像に基づいて、目標物体を映像処理により検出し、検出結果を映像圧縮装置３に送信する。車両に搭載された運転支援用車載装置は、サーバ２による目標物体の検出結果に基づいて車両の運転支援を行う。この場合、運転に与える影響の度合いが高い物体（例えば、目前の車両、人、交通信号機など）を優先度の最も高い種類の目標物体とする。また、運転に与える影響の度合いが中程度の物体（例えば、数十メートル先の道路標識など）を次に優先度の高い種類の目標物体とする。また、運転に与える影響の度合いが低い物体（例えば、看板など）を最も優先度の低い種類の目標物体とする。
図２に示した映像圧縮装置３は、例えば、自動車やオートバイ等の車両に設置された車載装置であってもよい。例えば、映像圧縮装置３は、カメラ３１が車両の前方を撮影した映像を圧縮してサーバ２に送信する。サーバ２は、圧縮済み映像を伸張し、伸張済み映像に基づいて、目標物体を映像処理により検出し、検出結果を映像圧縮装置３に送信する。車両に搭載された運転支援用車載装置は、サーバ２による目標物体の検出結果に基づいて車両の運転支援を行う。この場合、運転に与える影響の度合いが高い物体（例えば、目前の車両、人、交通信号機など）を優先度の最も高い種類の目標物体とする。また、運転に与える影響の度合いが中程度の物体（例えば、数十メートル先の道路標識など）を次に優先度の高い種類の目標物体とする。また、運転に与える影響の度合いが低い物体（例えば、看板など）を最も優先度の低い種類の目標物体とする。
このように目標物体の種類の優先度を設定することにより、運転に与える影響が高い物体ほど伸張時の画質が良くなるように映像圧縮処理が実行される。
〔実施形態１の適用例２〕
目標物体の種類を画像上での物体のサイズに応じて決定してもよい。例えば、目標物体Ａは小サイズの物体、目標物体Ｂは中サイズの物体、目標物体Ｃは大サイズの物体としてもよい。各サイズはあらかじめ決められているものとする。これにより、映像圧縮装置３は、サイズの小さい物体ほど伸張時の画質が良くなるように映像圧縮処理を実行することができる。
目標物体の種類を画像上での物体のサイズに応じて決定してもよい。例えば、目標物体Ａは小サイズの物体、目標物体Ｂは中サイズの物体、目標物体Ｃは大サイズの物体としてもよい。各サイズはあらかじめ決められているものとする。これにより、映像圧縮装置３は、サイズの小さい物体ほど伸張時の画質が良くなるように映像圧縮処理を実行することができる。
なお、目標物体Ａは大サイズの物体、目標物体Ｂは中サイズの物体、目標物体Ｃは小サイズの物体としてもよい。
〔実施形態１の効果〕
以上説明したように、本開示の実施形態１によると、優先度の高い種類の目標物体を含む対象領域ほど、低圧縮率で圧縮する時間的割合（フレームレート）を大きくした上で、映像を圧縮することができる。例えば、優先度の高い種類の目標物体を含む対象領域ほど、低圧縮率で圧縮するフレームのフレーム間隔を短くした上で、映像を圧縮することができる。これにより、注目すべき物体の種類ほど優先度を高くすることにより、当該物体を含む対象領域を、高頻度かつ高画質で伸張することができる。また、優先度の低い種類の目標物体を含む対象領域に対しては、高画質での圧縮は低頻度に抑えられるため、圧縮済み映像のデータ量を削減することができる。このため、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮とコスト低減とを両立することができる。
以上説明したように、本開示の実施形態１によると、優先度の高い種類の目標物体を含む対象領域ほど、低圧縮率で圧縮する時間的割合（フレームレート）を大きくした上で、映像を圧縮することができる。例えば、優先度の高い種類の目標物体を含む対象領域ほど、低圧縮率で圧縮するフレームのフレーム間隔を短くした上で、映像を圧縮することができる。これにより、注目すべき物体の種類ほど優先度を高くすることにより、当該物体を含む対象領域を、高頻度かつ高画質で伸張することができる。また、優先度の低い種類の目標物体を含む対象領域に対しては、高画質での圧縮は低頻度に抑えられるため、圧縮済み映像のデータ量を削減することができる。このため、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮とコスト低減とを両立することができる。
また、映像圧縮装置３は、圧縮済み映像をサーバ２に送信する。これにより、注目すべき物体の領域に対する高画質で伸張可能な圧縮方法での圧縮と、圧縮済み映像の送信コスト低減とを両立することができる。
また、映像圧縮装置３は、圧縮済み映像を構成する各画像の対象領域の圧縮率を識別するための情報を、圧縮済み映像に付加する。これにより、圧縮済み映像を受信したサーバ２は、画像中の各領域を当該領域の圧縮率に応じて伸張することができる。
また、映像圧縮装置３は、可用帯域幅が小さいほど低圧縮率で圧縮するフレームレートを低くした上で、映像を圧縮することができる。このため、可用帯域幅を超えないように圧縮済み映像のデータ量を調整することができる。
また、映像圧縮装置３は、圧縮済み映像を外部に送信する際に使用する帯域幅が可用帯域幅を超えないように圧縮済み映像のデータ量を調整することができる。
また、映像圧縮装置３は、圧縮済み映像が使用する帯域幅が可用帯域幅を超える場合には、優先度の低い種類の目標物体を含む対象領域から順にフレームレートを下げる。このため、優先度の高い種類の目標物体を含む対象領域のデータ量を極力落とすことなく、圧縮済み映像をサーバ２に送信する際に使用する帯域幅が可用帯域幅を超えないように圧縮済み映像のデータ量を調整することができる。
＜変形例１＞
実施形態１では、映像をブロックごとに低圧縮率、高圧縮率の２通りの圧縮率で圧縮した。圧縮率は２通りに限定されるものではなく、複数通りあってもよい。
実施形態１では、映像をブロックごとに低圧縮率、高圧縮率の２通りの圧縮率で圧縮した。圧縮率は２通りに限定されるものではなく、複数通りあってもよい。
例えば、低圧縮率を優先度に応じて異ならせてもよい。具体的には、優先度の高い目標物体を含む対象領域の低圧縮率ほど圧縮率を低い値に設定してもよい。例えば、目標物体Ａ、Ｂ、Ｃ、Ｄの順で目標物体を含む対象領域の低圧縮率が低い。
変形例１によると、優先度を適切に設定することにより、高画質で伸張可能な圧縮方法での圧縮とコスト低減とのバランスを図りつつ、映像を圧縮することができる。
＜変形例２＞
実施形態１では、目標物体の種類に応じて目標物体の優先度が定められていた。優先度の決め方は実施形態１に示したものには限定されない。
実施形態１では、目標物体の種類に応じて目標物体の優先度が定められていた。優先度の決め方は実施形態１に示したものには限定されない。
例えば、画像上での目標物体の速度に応じて目標物体の優先度が定められていてもよい。具体的には、画像上での目標物体の速度が大きいほど優先度を高く設定してもよい。例えば、映像圧縮部３４は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣの符号化アルゴリズムを用いて目標物体についての動きベクトルを算出し、当該動きベクトルの大きさから、画像上での目標物体の速度を求めてもよい。
これにより、画像上で高速移動する目標物体ほど低圧縮率で圧縮する時間的割合（フレームレート）を大きくした上で、映像を圧縮することができる。よって、画像上で高速移動する目標物体を含む対象領域を、高頻度かつ高画質で伸張することができる。
＜変形例３＞
実施形態１では、映像圧縮部３４が対象領域を低圧縮率で圧縮する際の時間的割合としてフレームレートを用いたが、時間的割合はフレームレートに限定されるものではない。
実施形態１では、映像圧縮部３４が対象領域を低圧縮率で圧縮する際の時間的割合としてフレームレートを用いたが、時間的割合はフレームレートに限定されるものではない。
例えば、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）を用いて時間的割合を規定してもよい。映像圧縮部３４は、同一のＧＯＰに含まれる同一の目標物体を含む時系列の対象領域については同一の圧縮率で圧縮するものとする。映像圧縮部３４は、対象領域を低圧縮率で圧縮する際の時間的割合として、全ＧＯＰに占める低圧縮率で圧縮されるＧＯＰの比率を用いてもよい。例えば、目標物体Ａに対する当該比率が１／３の場合には、映像圧縮部３４は、連続する３つのＧＯＰのうち、１番目のＧＯＰに含まれる目標物体Ａを含む時系列の対象領域については低圧縮率で圧縮し、２番目及び３番目のＧＯＰに含まれる目標物体Ａを含む時系列の対象領域については高圧縮率で圧縮してもよい。
＜実施形態２＞
実施形態１では、圧縮済み映像が使用する帯域幅が可用帯域幅を超える場合には、優先度の低い種類の目標物体を含む対象領域から順にフレームレートを下げた。
実施形態１では、圧縮済み映像が使用する帯域幅が可用帯域幅を超える場合には、優先度の低い種類の目標物体を含む対象領域から順にフレームレートを下げた。
実施形態２では、実施形態１と同様に圧縮済み映像が使用する帯域幅が可用帯域幅を超える場合には、優先度の低い種類の目標物体を含む対象領域から順にフレームレートを下げる。ただし、重要な目標物体を含む対象領域についてはフレームレートを下げることなく固定するものとする。
実施形態２に係る映像処理システムの構成は実施形態１と同様である。以下、実施形態１と異なる点を中心に説明する。
図１１は、映像圧縮装置が実行する処理の手順の一例を示すフローチャートである。
ステップＳ１～Ｓ３の処理は、図１０に示したものと同様である。
ステップＳ１～Ｓ３の処理は、図１０に示したものと同様である。
ステップＳ４において、映像圧縮部３４は、各目標物体を含む対象領域を低圧縮率で圧縮する際のフレームレートとして、高フレームレートを設定する。例えば、目標物体Ａ～Ｄにそれぞれ対応する高フレームレートは、３０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓである。
ステップＳ５において、映像圧縮部３４は、各目標物体を含む対象領域を低圧縮率で圧縮する際のフレームレートとして、中フレームレートを設定する。例えば、目標物体Ａ～Ｄにそれぞれ対応する高フレームレートは、３０ｆｐｓ、５ｆｐｓ、３ｆｐｓ、１ｆｐｓである。
ステップＳ６において、映像圧縮部３４は、各目標物体を含む対象領域を低圧縮率で圧縮する際のフレームレートとして、低フレームレートを設定する。例えば、目標物体Ａ～Ｄにそれぞれ対応する高フレームレートは、３０ｆｐｓ、１ｆｐｓ、０ｆｐｓ、０ｆｐｓである。
つまり、高フレームレート、中フレームレート及び低フレームレートのいずれにおいても、目標物体Ａに対応するフレームレートは３０ｆｐｓである。
その後、映像圧縮装置３は、ステップＳ７、Ｓ８の処理を実行する。
その後、映像圧縮装置３は、ステップＳ７、Ｓ８の処理を実行する。
圧縮済み映像をサーバ２に送信する際に帯域不足が発生すると判断された場合には（ステップＳ８においてＹＥＳ）、映像圧縮部３４は、設定されたフレームレートを、優先度の低い目標物体に設定されたフレームレートから順に下げ、フレームレートを設定しなおす（ステップＳ２１）。その後、ステップＳ７以降の処理を繰り返し実行する。ステップＳ２１の処理では、図１０に示したステップＳ９の処理と異なり、最も優先度が高い目標物体Ａについては、フレームレートを下げる対象から除かれる。つまり、映像圧縮部３４は、帯域不足が解消されない場合には、目標物体Ｄ、Ｃ、Ｂの順にフレームレートを下げる。一方、映像圧縮部３４は、目標物体Ａについてはフレームレートを下げることなく固定する。
なお、実施形態２では、フレームレートを下げない目標物体を目標物体Ａの１種類としたが、フレームレートを下げない目標物体を２種類以上としてもよい。例えば、目標物体Ａ、Ｂのフレームレートを下げないとしてもよい。
圧縮済み映像をサーバ２に送信する際に帯域不足が発生しないと判断された場合には（ステップＳ８においてＮＯ）、映像圧縮装置３は、ステップＳ１０、Ｓ１１の処理を実行する。
実施形態２によると、少なくとも最も優先度の高い目標物体を含む対象領域については、通信帯域幅の変化によらずに一定の画質を維持した上で、サーバ２に圧縮済み映像を送信することができる。
［付記］
上記の各装置を構成する構成要素の一部又は全部は、１又は複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。
上記の各装置を構成する構成要素の一部又は全部は、１又は複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。
上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
また、上記の各装置は、複数のコンピュータ又は複数のプロセッサにより実現されてもよい。
また、上記の各装置は、複数のコンピュータ又は複数のプロセッサにより実現されてもよい。
また、上記の各装置の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部又は全部の機能がクラウドサーバにより実現されていてもよい。
さらに、上記実施形態及び上記変形例の少なくとも一部を任意に組み合わせてもよい。
さらに、上記実施形態及び上記変形例の少なくとも一部を任意に組み合わせてもよい。
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
１ 映像処理システム
２ サーバ
３ 映像圧縮装置
４ ネットワーク
２１ 映像受信部
２２ 映像伸張部
２３ 映像処理部
３１ カメラ
３２ 対象領域抽出部
３３ 帯域幅推定部
３４ 映像圧縮部
３５ 記憶装置
３６ 映像送信部
４１Ｂ，４１Ｃ，４１Ｄ 対象領域
２ サーバ
３ 映像圧縮装置
４ ネットワーク
２１ 映像受信部
２２ 映像伸張部
２３ 映像処理部
３１ カメラ
３２ 対象領域抽出部
３３ 帯域幅推定部
３４ 映像圧縮部
３５ 記憶装置
３６ 映像送信部
４１Ｂ，４１Ｃ，４１Ｄ 対象領域
Claims (12)
- 映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出するステップと、
あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮するステップとを含み、
前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、
前記圧縮するステップでは、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する、映像圧縮方法。 - 前記低圧縮率は、前記優先度に応じて異なる、請求項１に記載の映像圧縮方法。
- 前記優先度は、前記目標物体の速度に応じて決定される、請求項１又は請求項２に記載の映像圧縮方法。
- 圧縮済みの前記映像を外部の装置に送信するステップをさらに含む、請求項１から請求項３のいずれか１項に記載の映像圧縮方法。
- 前記送信するステップでは、さらに、各前記画像の前記対象領域の圧縮率を識別するための情報を送信する、請求項４に記載の映像圧縮方法。
- 圧縮済みの前記映像の通信に用いられる通信経路の可用帯域幅を推定するステップをさらに含み、
前記圧縮するステップでは、前記可用帯域幅が小さいほど前記時間的割合を小さく設定する、請求項１から請求項５のいずれか１項に記載の映像圧縮方法。 - 圧縮済みの前記映像を送信した場合に使用する帯域幅を推定するステップをさらに含み、
前記圧縮するステップでは、推定された前記帯域幅が圧縮済みの前記映像の通信に用いられる通信経路の可用帯域幅に収まるまで前記時間的割合を小さくする、請求項１から請求項６のいずれか１項に記載の映像圧縮方法。 - 前記圧縮するステップでは、推定された前記帯域幅が前記可用帯域幅に収まるまで前記優先度の低い前記目標物体を含む前記対象領域から順に前記時間的割合を小さくする、請求項７に記載の映像圧縮方法。
- 前記圧縮するステップでは、最も前記優先度の高い前記目標物体を含む前記対象領域の前記時間的割合を変化させることなく固定する、請求項８に記載の映像圧縮方法。
- 映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、
あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部とを備え、
前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、
前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する、映像圧縮装置。 - コンピュータを、
映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、
あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部として機能させるためのコンピュータプログラムであって、
前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、
前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮する、コンピュータプログラム。 - 映像圧縮装置と、
サーバとを備え、
前記映像圧縮装置は、
映像を構成する各画像から、複数の目標物体のそれぞれを含む対象領域を抽出する対象領域抽出部と、
あらかじめ定められた各前記目標物体の優先度に基づいて、抽出された前記対象領域を所定の圧縮率で圧縮する際の時間的割合を制御し、前記映像を圧縮する映像圧縮部と、
圧縮済みの前記映像を前記サーバに送信する送信部とを含み、
前記時間的割合は、前記優先度がより高い前記目標物体を含む前記対象領域ほど大きく、
前記映像圧縮部は、前記対象領域ごとに、前記時間的割合で規定されるフレームに含まれる前記対象領域を、他のフレームに含まれる前記対象領域と比べて低圧縮率で圧縮し、
前記サーバは、
圧縮済みの前記映像を受信する映像受信部と、
受信した前記映像を伸張する映像伸張部と、
伸張済みの前記映像に対して映像処理を実行する映像処理部とを含む、映像処理システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-000358 | 2022-01-05 | ||
| JP2022000358 | 2022-01-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023132163A1 true WO2023132163A1 (ja) | 2023-07-13 |
Family
ID=87073484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/044106 WO2023132163A1 (ja) | 2022-01-05 | 2022-11-30 | 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023132163A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0537924A (ja) * | 1991-07-29 | 1993-02-12 | Hitachi Ltd | 画像信号符号化方法および装置 |
| US20150131920A1 (en) * | 2013-11-08 | 2015-05-14 | Korea University Research And Business Foundation | Method and Apparatus for Encoding Image and Method and Apparatus for Decoding Image |
| JP2017163228A (ja) * | 2016-03-07 | 2017-09-14 | パナソニックＩｐマネジメント株式会社 | 監視カメラ |
| JP2019029746A (ja) * | 2017-07-27 | 2019-02-21 | 住友電気工業株式会社 | 映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法 |
| JP2019149754A (ja) * | 2018-02-28 | 2019-09-05 | 株式会社日立国際電気 | 映像符号化装置及び映像符号化方法 |
-
2022
- 2022-11-30 WO PCT/JP2022/044106 patent/WO2023132163A1/ja unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0537924A (ja) * | 1991-07-29 | 1993-02-12 | Hitachi Ltd | 画像信号符号化方法および装置 |
| US20150131920A1 (en) * | 2013-11-08 | 2015-05-14 | Korea University Research And Business Foundation | Method and Apparatus for Encoding Image and Method and Apparatus for Decoding Image |
| JP2017163228A (ja) * | 2016-03-07 | 2017-09-14 | パナソニックＩｐマネジメント株式会社 | 監視カメラ |
| JP2019029746A (ja) * | 2017-07-27 | 2019-02-21 | 住友電気工業株式会社 | 映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法 |
| JP2019149754A (ja) * | 2018-02-28 | 2019-09-05 | 株式会社日立国際電気 | 映像符号化装置及び映像符号化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3179720B1 (en) | Quantization method and apparatus in encoding/decoding | |
| TWI436287B (zh) | 畫像編碼方法及裝置 | |
| JP4429968B2 (ja) | Ｓｖｃの圧縮率を高めるシステムおよび方法 | |
| KR102118265B1 (ko) | 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 방법 및 인코더 | |
| JP2009147807A (ja) | 画像処理装置 | |
| CN102754440B (zh) | 图像编码方法、图像编码装置以及摄像系统 | |
| CN103716643A (zh) | 用于使用内容信息改进视频编码的系统和方法 | |
| WO2013111701A1 (ja) | フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム | |
| JP5178616B2 (ja) | シーンチェンジ検出装置および映像記録装置 | |
| WO2023132163A1 (ja) | 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム | |
| EP3972252A1 (en) | Program, device, and method for generating significant video stream from original video stream | |
| US20230133895A1 (en) | Image encoding apparatus and method for controlling the same and non-transitory computer-readable storage medium | |
| CN109413445B (zh) | 一种视频传输方法及装置 | |
| JP7143263B2 (ja) | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム | |
| JP2002199398A (ja) | 可変ビットレート動画像符号化装置および記録媒体 | |
| CN115294429A (zh) | 一种基于特征域网络训练方法和装置 | |
| WO2023199696A1 (ja) | 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム | |
| JP6066583B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| US20230245425A1 (en) | Image processing apparatus, image processing method and storage medium | |
| US20230245273A1 (en) | Image processing apparatus, image processing method and storage medium | |
| JP6084682B2 (ja) | 符号化方法および符号化装置 | |
| CN112383774B (zh) | 编码方法、编码器以及服务器 | |
| JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP7068925B2 (ja) | 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム | |
| JP3799842B2 (ja) | 静的映像検出方法、及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22918750 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2023572380 Country of ref document: JP Kind code of ref document: A |