JPWO2022180684A5 - - Google Patents

Description

本発明は、画像処理装置、画像表示システム、画像処理方法および記録媒体に関する。

従来、画像を伝送する技術が知られている（例えば特許文献１）。また、近年、遠隔制御や遠隔監視の観点から、移動体から撮像した画像を伝送し、監視者が監視するシステムの需要が高まっている。

特開２００４－３６３９７４号

移動体から撮像した画像を伝送する際には、符号化データのデータ量が大きくなり過ぎないようにすることが好ましいが、移動体から撮像した画像に関する符号化データのデータ量削減の技術は知られていない。

特許文献１は、高解像度で撮影した映像を切り出し、抽出した重要領域を符号化処理して非重要領域に重ね合わせて伝送することを開示しているが、移動体から撮像した画像を伝送する際の上記課題を解決することは困難である。

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、移動体から撮像した画像を好適にデータ量を削減することのできる技術を提供することである。

本発明の一側面に係る画像処理装置は、画像を取得する取得手段と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段と、を備える。

（削除）

本発明の一側面に係る画像処理方法は、移動体から撮像した撮影された画像を取得し、前記画像に含まれる複数の領域の各々について重要度を推定し、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定し、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定すること、を含む。

本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、画像を取得する取得手段と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段と、として機能させる。

本発明の一態様によれば、取得した画像のデータ量を好適に削減することができる。

本発明の例示的実施形態１に係る画像処理装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る画像処理方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る画像表示システムの構成を示すブロック図である。 本発明の例示的実施形態２に係る画像処理方法の流れを示すフロー図である。 本発明の例示的実施形態３に係る画像表示システムの構成を示すブロック図である。 本発明の例示的実施形態３に係る画像処理方法の流れを示すフロー図である。 本発明の例示的実施形態３に係る処理方法のステップＳ１０２ｂで取得された画像の一例を示す図である。 本発明の例示的実施形態３に係るステップＳ１０４ｂにおいて推定した重要度の一例を示す模式図である。 本発明の例示的実施形態３に係るステップＳ１０５ｂにおいて推定した予備的品質パラメータを示す模式図である。 本発明の例示的実施形態３に係る処理方法のフローＳ１０６ｂの処理例１を示すフローチャートである。 本発明の例示的実施形態３に係る処理方法のフローＳ１０６ｂの処理例１による品質パラメータを示す模式図である。 本発明の例示的実施形態３に係る処理方法のフローＳ１０６ｂの処理例２を示すフローチャートである。 本発明の例示的実施形態３に係る処理方法のフローＳ１０６ｂの処理例２による品質パラメータを示す模式図である。 本発明の例示的実施形態４に係る画像表示システムの構成を示すブロック図である。 本発明の例示的実施形態４に係る画像表示システムの撮像部から取得した映像の１フレーム（画像）を示した図である。 本発明の例示的実施形態４に係る画像表示システムにおいて重要度を推定したヒートマップを示した図である。 本発明の例示的実施形態４に係る画像表示システムにおいて重要度が低いヒートマップの領域をノイズデータで置換した図である。 本発明の例示的実施形態４に係る画像表示システムの撮像部から取得した映像の１フレーム（画像）を示した図である。 本発明の例示的実施形態４に係る画像表示システムにおいて重要度を推定したヒートマップを示した図である。 本発明の例示的実施形態４に係る画像表示システムにおいて重要度が低いヒートマップの領域を量子化誤差の大きい画像データに置換した図である。 本発明の例示的実施形態４に係る画像表示システムが実行する、データの重要度を推定する方法を学習する学習方法の流れの一例を示すフローチャートである。 図１３に示すシミュレーション評価ステップのフローチャートである。 本発明の各例示的実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。本例示的実施形態に係る画像処理装置１００は、取得した画像に含まれる複数の領域の各々について重要度を推定し、重要度を参照して複数の領域の各々について品質パラメータを決定する装置である。

（画像処理装置の構成）
本例示的実施形態に係るに画像処理装置１００の構成について、図１を参照して説明する。図１は、画像処理装置１００の構成を示すブロック図である。図１に示すように、画像処理装置１００は、取得部１０２と、重要度推定部１０４と、品質パラメータ決定部１０６とを備える。

なお、取得部１０２は、特許請求の範囲に記載した取得手段の一実施形態である。重要度推定部１０４は、特許請求の範囲に記載した重要度推定手段の一実施形態である。品質パラメータ決定部１０６は、特許請求の範囲に記載した品質パラメータ決定手段の一実施形態である。

画像処理装置１００は、一例として、自動運転車、ロボット、ドローンなどの移動体の遠隔管制に必要な画像配信のために用いることができる。このような遠隔管制においては、例えば、移動体に設けられたカメラによって撮像された画像を、画像処理装置１００によって処理し、処理後の画像を運転監視センターなどの遠隔地に伝送する。これにより、移動体が適切に運行できているかを当該遠隔地から人が監視することができる。

ここで、撮像された画像のデータ量が大きいと、通信状態の悪化等によって通信帯域が低下した場合に、画像の乱れ等に起因して、十分な監視ができなくなる虞がある。そのため、監視に必要な程度に画像の品質を保ちつつ、画像のデータ量を削減することが好ましい。

以下、画像処理装置１００が備える各要素について説明する。

取得部１０２は、画像を取得する。取得部１０２が取得する画像は、自動運転車、ロボット、ドローンなどの移動体から撮像された画像である。より具体的には、取得部１０２が取得する画像は、移動体に設けられたカメラ（撮像装置）が撮像した画像である。

取得部１０２が取得する画像には、移動体の進行方向（前方）の画角が含まれることが好ましいが、これは本例示的実施形態を限定するものではない。一例として、取得部１０２が取得する画像には、移動体の進行方向とは反対側（後方）の画角が含まれる構成としてもよいし、移動体の進行方向に垂直な方向（側方）の画角が含まれる構成としてもよい。

また、取得部１０２が取得する画像は、静止画像であってもよいし、動画像であってもよい。移動体から撮像された画像は、有線通信、無線通信、又はそれらの組み合わせによって取得部１０２に伝送される。なお、本例示的実施形態において、取得部１０２が取得した画像のことを対象画像と呼ぶこともある。

重要度推定部１０４は、取得部１０２が取得した画像に含まれる複数の領域の各々について重要度を推定する。ここで、複数の領域をどのように決定するのかは本例示的実施形態を限定するものではないが、一例として、重要度推定部１０４が能動的に決定する構成とすることができる。換言すれば、重要度推定部１０４は、取得部１０２が取得した画像を複数の領域に分割し、又は、取得部１０２が取得した画像内に複数の領域を設定し、これら複数の領域の各々について重要度を推定する。なお、重要度推定部１０４が設定した領域の数と、重要度推定部１０４が重要度を推定する領域の数とは異なっていてもよい。例えば、重要度推定部１０４が設定した複数の領域のうち、一部の領域の各々について重要度を推定する構成としてもよい。

なお、重要度推定部１０４による重要度推定アルゴリズムの具体例は本実施形態を限定するものではないが、一例として、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムを採用することができる。

品質パラメータ決定部１０６は、重要度推定部１０４が推定した重要度を参照して複数の領域の各々について品質パラメータを決定する。ここで、本例示的実施形態における品質パラメータは、対象画像の符号化データを生成するための符号化処理において、対象画像の各領域をどの程度の品質で符号化するのかを指定するパラメータのことを指す。本例示的実施形態における品質パラメータとして、対象画像に対して適用される量子化処理の粗さを指定するための量子化パラメータ（ＱＰ：Ｑｕａｎｔｕｍ Ｐａｒａｍｅｔｅｒ）を挙げることができるが、これは本例示的実施形態を限定するものではない。

また、一例として、品質パラメータ決定部１０６は、重要度推定部１０４が推定した重要度と正の相関を有するように品質パラメータを設定する構成とすることができる。換言すれば、品質パラメータ決定部１０６は、重要度推定部１０４が推定した重要度が高い程、当該領域の画像品質が高くなるように、品質パラメータを設定する構成とすることができる。

（画像処理装置の効果）
以上のように構成された画像処理装置１００によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について重要度を推定し、推定した前記重要度を参照して前記複数の領域の各々について品質パラメータを決定する。ここで、当該品質パラメータは、対象画像に適用される符号化処理の粗さを指定するパラメータである。

したがって、上記のように構成された画像処理装置１００によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。

このため、上記のように構成された画像処理装置１００によれば、移動体から撮像した対象画像のデータ量を好適に削減することができる。一例として、画像処理装置１００を遠隔管制に適用すれば、伝送負荷を好適に抑制しつつ、好適な監視を実施することができる。

（画像処理方法の説明）
図２は、例示的実施形態１に係る画像処理方法Ｓ１００の流れを示すフロー図である。図２に示すように、例示的実施形態１に係る画像処理方法Ｓ１００は、ステップＳ１０２～Ｓ１０６を含む。

（ステップＳ１０２）
ステップＳ１０２において、例示的実施形態１に係る画像処理方法では、取得部１０２は移動体から撮像した画像を取得する。取得部１０２は、自動運転車、ロボット、ドローンなどの移動体から撮像された画像を取得する。より具体的には、取得部１０２は、移動体に設けられたカメラ（撮像装置）が撮像した画像を取得する。本ステップにおける具体的な内容は、取得部１０２の説明において言及した内容と同様であるためここでは再度の説明を省略する。

（ステップＳ１０４）
ステップＳ１０４において、例示的実施形態１に係る画像処理方法では、重要度推定部１０４は、画像に含まれる複数の領域の各々について重要度を推定する。本ステップにおける具体的な内容は、重要度推定部１０４の説明において言及した内容と同様であるためここでは再度の説明を省略する。

（ステップＳ１０６）
ステップＳ１０６において、例示的実施形態１に係る画像処理方法では、品質パラメータ決定部１０８は重要度を参照して複数の領域の各々についての品質パラメータを決定する。ここで、本例示的実施形態における品質パラメータは、画像処理装置１００が備える品質パラメータ決定部１０６の構成において説明したものと同様であるためその説明を省略する。

（画像処理方法の効果）
以上説明した画像処理方法Ｓ１００によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について重要度を推定し、推定した前記重要度を参照して前記複数の領域の各々について品質パラメータを決定する。ここで、当該品質パラメータは、対象画像に適用される符号化処理の粗さを指定するパラメータである。

したがって、上記の画像処理方法Ｓ１００によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。

このため、移動体から撮像した対象画像のデータ量を好適に削減することができる。一例として、画像処理方法Ｓ１００を遠隔管制に適用すれば、伝送負荷を好適に抑制しつつ、好適な監視を実施することができる。

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する画像表示システムの例示的実施形態の基本となる形態である。本例示的実施形態に係る画像表示システム１０ａは、取得した画像に含まれる複数の領域の各々について品質パラメータを決定し、決定した品質パラメータを用いて符号化された符号化データ画像を伝送し、表示部で表示するシステムである。

（画像表示システムの構成）
例示的実施形態２に係る画像表示システム１０ａの構成について、図３を参照して説明する。図３は、画像表示システム１０ａの構成を示すブロック図である。図３に示すように、画像表示システム１０ａは、画像処理装置１００ａと表示装置２００ａとを備える。画像処理装置１００ａは、図３に示すように、取得部１０２と、重要度推定部１０４と、品質パラメータ決定部１０６と送信部１１０とを備える。表示装置２００ａは、図３に示すように、受信部２０２と表示部２０６とを備える。

なお、送信部１１０は、特許請求の範囲に記載した送信手段の一実施形態である。受信部２０２は、特許請求の範囲に記載した受信手段の一実施形態である。表示部２０６は、特許請求の範囲に記載した表示手段の一実施形態である。

一例として、画像表示システム１０ａは、例示的実施形態１に係る画像処理装置１０と同様に、自動運転車、ロボット、ドローンなどの移動体の遠隔管制に用いることができる。このような遠隔管制においては、例えば、移動体に設けられたカメラによって撮像された画像を、画像処理装置１００ａによって処理し、処理後の画像を運転監視センターなどの遠隔地に送信する。この送信された画像を当該遠隔地に配置された表示装置２００ａが受信し、表示部２０６によって画像を表示する。これにより、移動体が適切に運行できているかを当該遠隔地から人が監視することができる。

なお、表示部２０６には、画像を表示する液晶表示パネル等を用いることができるがこれに限られるものではない。

以下、画像表示システム１０ａが備える画像処理装置１００ａと表示装置２００ａについて説明する。

（画像処理装置の構成）
画像処理装置１００ａは、取得部１０２と、重要度推定部１０４と、品質パラメータ決定部１０６と、送信部１１０とを備えている。以下それぞれについて説明する。

取得部１０２は、移動体から撮像した画像を取得する。取得部１０２が取得する画像は、自動運転車、ロボット、ドローンなどの移動体から撮像された画像である。本例示的実施形態に係る取得部１０２は、例示的実施形態１において説明した構成と同様であるのでここでは詳細な説明を省略する。

重要度推定部１０４は、取得部１０２が取得した画像に含まれる複数の領域の各々について重要度を推定する。本例示的実施形態に係る重要度推定部１０４は、例示的実施形態１において説明した構成と同様であるのでここでは詳細な説明を省略する。

品質パラメータ決定部１０６は、重要度推定部１０４が推定した重要度を参照して複数の領域の各々について品質パラメータを決定する。本例示的実施形態に係る品質パラメータ決定部１０６は、例示的実施形態１において説明した構成と同様であるのでここでは詳細な説明を省略する。

送信部１１０は、品質パラメータ決定部１０６が決定した品質パラメータを用いて符号化された符号化データを送信する。送信部１１０は、一例として、無線通信を用いて符号化された画像データを遠隔地に伝送することができる。送信部１１０が送信する符号化された画像データは、品質パラメータ決定部１０６によって決定された品質パラメータを用いて符号化されている。このため、伝送負荷が抑制される。

（表示装置の構成）
表示装置２００ａは、受信部２０２と表示部２０６とを備えている。以下それぞれについて説明する。

受信部２０２は、送信部１１０から送信された符号化データを受信する。受信部２０２は、一例として、アンテナを備える構成とし、無線通信によって伝送された符号化データを受信する構成とすることができる。

表示部２０６は、受信部２０２が受信した符号化データを復号して得られる画像を表示する。上述したように、表示部２０６は画像を表示する液晶表示パネル等を用いることができるがこれに限られるものではない。画像表示システム１０ａは、複数の表示装置２００ａを備える構成としてもよい。このような構成を採用することによって、複数の人が同じ画像を、別々の場所で監視することができる。

また、本例示的実施形態において、表示部２０６は、分割された複数の表示領域を有する構成とし、各表示領域には、互いに異なる移動体から撮像された複数の画像の各々を表示する構成としてもよい。あるいは、表示装置２００ａが、複数の表示部２０６を備える構成とし、それぞれの表示部２０６に、互いに異なる移動体から撮像された複数の画像の各々を表示する構成としてもよい。このような構成とすることによって、一人で複数の移動体に関する遠隔監視を好適に行うことができる。

（画像表示システムの効果）
以上のように構成された画像表示システム１０ａによれば、画像処理装置１００ａは移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。このため、移動体から撮像し、符号化された画像データは好適に削減されており、伝送負荷を好適に抑制できる。

（画像表示システムにおける表示方法の説明）
図４は、例示的実施形態２に係る画像表示システム１０ａにおける表示方法の流れを示すフロー図であり、画像処理装置１００ａにおける処理の流れを示すフローチャートＳ１００ａと、表示装置２００ａにおける処理の流れを示すフローチャートＳ２００ａとを示している。図４に示すように、例示的実施形態２に係る画像処理装置１００ａにおける処理の流れを示すフローチャートＳ１００ａは、ステップＳ１０２～Ｓ１１０を含んでいる。また、例示的実施形態２に係る表示装置２００ａにおける処理の流れを示すフローチャートＳ２００ａは、ステップＳ２０２およびＳ２０６を含んでいる。

（画像処理装置における処理の流れの説明）
（ステップＳ１０２）
ステップＳ１０２において、例示的実施形態２に係る画像処理装置１００ａにおける処理では、取得部１０２は移動体から撮像した撮影された画像を取得する。本ステップにおける取得部１０２の処理は、例示的実施形態１において説明した処理と同様であるのでここでは詳細な説明を省略する。

（ステップＳ１０４）
ステップＳ１０４において、例示的実施形態２に係る画像処理装置１００ａにおける処理では、重要度推定部１０４は、画像に含まれる複数の領域の各々について重要度を推定する。本ステップにおける重要度推定部１０４の処理は、例示的実施形態１において説明した処理と同様であるのでここでは詳細な説明を省略する。

（ステップＳ１０６）
ステップＳ１０６において、例示的実施形態２に係る画像処理装置１００ａにおける処理では、品質パラメータ決定部１０６は重要度を参照して複数の領域の各々についての品質パラメータを決定する。本ステップにおける品質パラメータ決定部１０６の処理は、例示的実施形態１において説明した処理と同様であるのでここでは詳細な説明を省略する。

（ステップＳ１１０）
ステップＳ１１０において、例示的実施形態２に係る画像処理装置１００ａにおける処理では、送信部１１０が、品質パラメータ決定部１０６が決定した品質パラメータを用いて符号化された符号化データを送信する。本ステップにおける送信部１１０の処理は、例示的実施形態２の画像処理装置１００ａにおいて説明した処理と同様であるのでここでは詳細な説明を省略する。

（表示装置における処理の流れの説明）
以下、表示装置２００ａにおける処理の流れをステップごとに説明する。

（ステップＳ２０２）
ステップＳ２０２において、例示的実施形態２に係る表示装置２００ａにおける処理では、受信部２０２が、送信部１１０から送信された符号化データを受信する。本ステップにおける受信部２０２の処理は、例示的実施形態２の表示装置２００ａにおいて説明した処理と同様であるのでここでは詳細な説明を省略する。

（ステップＳ２０６）
ステップＳ２０２において、例示的実施形態２に係る表示装置２００ａにおける処理では、表示部２０６が、受信部２０２で受信した符号化データを復号して得られる画像を表示する。本ステップにおける表示部２０６の処理は、例示的実施形態２の表示装置２００ａにおいて説明した処理と同様であるのでここでは詳細な説明を省略する。

（画像表示システムの表示方法の効果）
以上のように画像表示システム１０ａの表示方法によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。即ち、移動体から撮像し、符号化された画像データは好適に削減されている。したがって、画像表示システム１０ａの表示方法によれば伝送負荷を好適に抑制できる。

〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、画像表示システムの例示的実施形態の一形態である。本例示的実施形態に係る画像表示システム１０ｂは、取得した画像に含まれる複数の領域の各々について重要度と品質パラメータを推定した後、これらの推定された重要度と品質パラメータを参照して、品質パラメータを決定する。決定した品質パラメータを用いて符号化された符号化データを伝送し、表示部で表示するシステムである。

（画像表示システムの構成）
例示的実施形態３に係る画像表示システム１０ｂの構成について、図５を参照して説明する。図５は、画像表示システム１０ｂの構成を示すブロック図である。図５に示すように、画像表示システム１０ｂは、画像処理装置１００ｂ、表示装置２００ｂおよび移動体３００ｂを備える。

一例として、画像表示システム１０ｂは、例示的実施形態１に係る画像処理装置１０と同様に、自動運転車、ロボット、ドローンなどの移動体の遠隔管制に用いることができる。このような遠隔管制においては、例えば、移動体に設けられたカメラによって撮像された画像を、画像処理装置１００ｂによって処理し、処理後の画像を運転監視センターなどの遠隔地に送信する。この送信された画像を当該遠隔地に配置された表示装置２００ｂが受信し、表示部２０６ｂによって画像を表示する。これにより、移動体が適切に運行できているかを当該遠隔地から人が監視することができる。

なお、表示部２０６ｂには、画像を表示する液晶表示パネル等を用いることができるがこれに限られるものではない。

以下、画像表示システム１０ｂが備える画像処理装置１００ｂと表示装置２００ｂについて説明する。

（移動体の説明）
図５に示すように、移動体３００ｂは撮像部３０２ｂと通信部３０４ｂとを備える。以下それぞれについて説明する。

撮像部３０２ｂは、一例としてカメラなどの撮像装置などであってよい。撮像部３０２ｂは、静止画像を取得するものであってもよいし、動画像を取得するものであってもよい。撮像部３０２ｂは、移動体３００ｂの進行方向（前方）の画角が含まれる画像を取得することが好ましいが、これは本例示的実施形態を限定するものではない。一例として、撮像部３０２ｂは、移動体３００ｂの進行方向とは反対側（後方）の画角が含まれる画像を取得してもよいし、移動体の進行方向に垂直な方向（側方）の画角が含まれる画像を取得してもよい。

通信部３０４ｂは、撮像部３０２ｂで取得された画像を画像処理装置１００ｂに伝送する。送信部３０４ｂは、一例として、アンテナを備え、無線通信を用いて符号化データを送信する構成とすることができるが、これは本実施形態を限定するものではなく、有線通信を用いてもよいし、無線通信と有線通信との組み合わせを用いてもよい。

（画像処理装置の構成）
画像処理装置１００ｂは、図５に示すように、取得部１０２ｂと、重要度推定部１０４ｂと、品質パラメータ推定部１０５ｂと、品質パラメータ決定部１０６ｂと、符号化部１０８ｂと、送信部１１０ｂとを備えている。以下それぞれについて説明する。

なお、取得部１０２ｂは、特許請求の範囲に記載した取得手段の一実施形態である。重要度推定部１０４ｂは、特許請求の範囲に記載した重要度推定手段の一実施形態である。品質パラメータ推定部１０５ｂは、特許請求の範囲に記載した品質パラメータ推定手段の一実施形態である。品質パラメータ決定部１０６ｂは、特許請求の範囲に記載した品質パラメータ決定手段の一実施形態である。符号化部１０８ｂは、特許請求の範囲に記載した符号化手段の一実施形態である。送信部１１０ｂは、特許請求の範囲に記載した送信手段の一実施形態である。

（取得部）
取得部１０２ｂは、画像を取得する。取得部１０２ｂが取得する画像は、移動体３００ｂから撮像された画像である。本例示的実施形態に係る取得部１０２ｂは、例示的実施形態１において説明した取得部１０２と同様の構成であるが、取得部１０２ｂによる具体的な処理例については後述する。

（重要度推定部）
重要度推定部１０４ｂは、取得部１０２ｂが取得した画像に含まれる複数の領域の各々について重要度を推定する。本例示的実施形態に係る重要度推定部１０４ｂは、例示的実施形態１において説明した重要度推定部１０４と同様の構成を有しており、一例として、以下の置換ステップ、評価ステップ、及び学習ステップを含む学習プロセスによって学習された推論モデルを用いて構成することができる。なお、重要度推定部１０４ｂによる具体的な処理例については後述する。

（置換ステップ）
取得部１０２ｂが取得した学習用画像に含まれる複数の領域のうちの少なくとも何れかを、当該重要度推定部１０４ｂが推定した重要度に応じて、代替データに置換することによって、置換後のデータを生成する。

（評価ステップ）
前記置換後のデータを参照することによって評価値を導出する。ここで、当該評価ステップでは、取得部１０２ｂが取得した置換前の学習用画像を更に参照する構成としてもよい。

（学習ステップ）
前記評価値を参照して、当該重要度推定部１０４ｂを学習させる。ここで、重要度推定部１０４ｂの学習は、重要度推定部１０４ｂとして機能する推論モデルが有する各種のパラメータを、前記評価値に応じて更新することによって行うことができる。

（品質パラメータ推定部）
品質パラメータ推定部１０５ｂは、取得部１０２ｂが取得した画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。また、一例として、品質パラメータ推定部１０５は、画像を符号化した場合の符号化効率が向上するように予備的品質パラメータを推定する。一例として、品質パラメータの決定に先立つ予備的品質パラメータの推定は、Ｈ．２６５等の動画像符号化技術を用いて行うことができるが、これは本例示的実施形態を限定するものではない。

また、本例示的実施形態において、「予備的品質パラメータ」との表現は、後述する品質パラメータ決定部１０６ｂが決定する「品質パラメータ」との文言上の混乱を招来しないように形式的に導入したものである。「予備的」との文言が、動画像符号化技術において何らの実体的限定を表すものではない。

本例示的実施形態において、「予備的品質パラメータ」は一例として「品質パラメータ」と同様に、対象画像に対して適用される量子化処理の粗さを指定するための量子化パラメータ（ＱＰ：Ｑｕａｎｔｕｍ Ｐａｒａｍｅｔｅｒ）を挙げることができる。

また、品質パラメータ推定部１０５ｂによって参照される「複数の領域」は、重要度推定部１０４ｂが参照する「複数の領域」と同じである必要はない。一例として、品質パラメータ推定部１０５ｂによって参照される「複数の領域」は、動画像符号化処理において生成又は参照される「符号化ユニット」や「マクロブロック」等と呼ばれる領域であってもよい。一方、重要度推定部１０４ｂによって参照される「複数の領域」は、一例として、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムによって生成又は参照される個々の注目領域であってもよい。

品質パラメータ推定部１０５ｂによる具体的な処理については、参照する図面を代えて後述する。

（品質パラメータ決定部）
品質パラメータ決定部１０６ｂは、重要度と、推定された予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。このように、本例示的実施形態に係る品質パラメータ決定部１０６ｂは、重要度だけでなく予備的品質パラメータも参照して品質パラメータを決定する。一例として、品質パラメータ決定部１０６ｂは、重要度推定部１０４が推定した重要度および品質パラメータ推定部が推定した予備的品質パラメータと正の相関を有するように品質パラメータを設定することができる。すなわち、品質パラメータ決定部１０６ｂは、重要度推定部１０４ｂが推定した重要度が高い程、当該領域の画像品質が高くなるように、品質パラメータを設定することができる。

なお、上述したように、一般には、品質パラメータ推定部１０５ｂによって参照される「複数の領域」と、重要度推定部１０４ｂが参照する「複数の領域」とが同じではない場合が生じ得る。換言すれば、品質パラメータ推定部１０５ｂが予備的品質パラメータを付与する複数の領域（例えば、領域Ｒ１ａ、領域Ｒ２ａ、領域Ｒ３ａ、・・・）の各々が、重要度推定部１０４ｂが重要度を付与した複数の領域（例えば、領域Ｒ１ｂ、領域Ｒ２ｂ、領域Ｒ３ｂ）の各々と完全には重複しない場合が生じ得る、
このような場合、品質パラメータ決定部１０６ｂは、品質パラメータ推定部１０５ｂが予備的品質パラメータを付与した領域の品質パラメータを、当該領域に含まれるか又は重複する何れかの領域であって、重要度推定部１０４ｂが重要度を付与した領域を参照して決定する構成とすることができる。

一例として、品質パラメータ推定部１０５ｂが予備的品質パラメータを付与した領域Ｒ１ａに、重要度推定部１０４ｂが重要度を付与した複数の領域Ｒ１ｂ及び領域Ｒ２ｂが含まれているか、又は重複している場合、品質パラメータ決定部１０６ｂは、領域Ｒ１ｂ及び領域Ｒ２ｂに付された少なくとも何れかの重要度を参照して、領域Ｒ１ａの品質パラメータを決定する構成とすることができる。

（符号化部）
符号化部１０８ｂは、品質パラメータ決定部１０６ｂが決定した品質パラメータを用いて対象画像を符号化することによって、符号化データを生成する。なお、符号化部２０８による符号化処理は、例示的実施形態２において説明した送信部１１０が有する機能の一部を構成している。

（送信部）
送信部１１０ｂは、符号化部１０８ｂが生成した符号化データを送信する。送信部１１０ｂによる送信処理は、例示的実施形態２の送信部１１０が有する機能のうち、上述の符号化処理を除いたものとなっている。

送信部１１０ｂは、一例として、アンテナを備え、無線通信を用いて符号化データを送信する構成とすることができるが、これは本実施形態を限定するものではなく、有線通信を用いてもよいし、無線通信と有線通信との組み合わせを用いてもよい。

（表示装置の構成）
表示装置２００ｂは、受信部２０２ｂと、復号部２０４ｂと、表示部２０６ｂとを備えている。表示装置２００ｂの機能は、基本的に例示的実施形態２の表示装置２００ａと同じであるため、以下例示的実施形態２の表示装置２００ａの説明と重複する部分を除いて説明する。

なお、受信部２０２ｂは、特許請求の範囲に記載した受信手段の一実施形態である。表示部２０６ｂは、特許請求の範囲に記載した表示手段の一実施形態である。

（受信部）
受信部２０２ｂは、送信部１１０ｂから送信された符号化データを受信する。

（復号部）
復号部２０４ｂは、受信部２０２ｂが受信した符号化データを復号して画像データに変換する。復号部２０４ｂは、例示的実施形態２の表示部２０６が有する機能の一部を有している。

復号部２０４ｂによる具体的な復号アルゴリズムは本例示的実施形態を限定するものではないが、当該復号アルゴリズムは、符号化部１０８ｂによる符号化アルゴリズムに対応するアルゴリズムを採用することが好ましい。また、復号部２０４ｂは、複数の領域の各々に関する復号処理を、当該領域に対して品質パラメータ決定部１０６ｂが決定した品質パラメータであって符号化データに含まれる品質パラメータを参照して行う構成を採用することができる。

これにより、復号部２０４ｂによる復号後の画像の品質が、品質パラメータ決定部１０６ｂが決定した品質パラメータに準じたものとなる。

表示部２０６ｂは、復号部２０４ｂが復号した画像を表示する。表示部２０６ｂは、例示的実施形態２の表示部２０６が有していた機能から復号部２０４ｂの機能を除いたものとなっている。

（画像表示システムの効果）
以上のように構成された画像表示システム１０ｂによれば、画像処理装置１００ｂは移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。このため、移動体から撮像し、符号化された画像データは好適に削減されており、伝送負荷を好適に抑制できる。

以下、図６～図９を用いて例示的実施形態３に係る画像表示システム１０ｂにおける表示方法の流れを説明する。
（画像表示システムにおける表示方法の説明）
図６は、例示的実施形態３に係る画像表示システム１０ｂにおける表示方法の流れを示すフロー図であり、画像処理装置１００ｂにおける処理の流れを示すフローチャートＳ１００ｂと、表示装置２００ｂにおける処理の流れを示すフローチャートＳ２００ｂとを示している。図６に示すように、例示的実施形態３に係る画像処理装置１００ｂにおける処理の流れを示すフローチャートＳ１００ｂは、ステップＳ１０２ｂ～Ｓ１１０ｂを含んでいる。

また、例示的実施形態３に係る表示装置２００ｂにおける処理の流れを示すフローチャートＳ２００ｂは、ステップＳ２０２ｂ、Ｓ２０４ｂおよびＳ２０６ｂを含んでいる。

図７Ａ乃至図７Ｃは例示的実施形態３に係る画像表示システム１０ｂにおける表示方法の具体例を説明する図であり、これらの図面が示している画像および模式図は互いに対応関係を有している。図７Ａに示す画像７０２は、ステップＳ１０２ｂにおいて取得部１０２ｂが取得した移動体から撮像した画像の一例を示している。図７Ｂとして示す模式図７０４は、ステップＳ１０４ｂにおいて重要度推定部１０４ｂが複数の領域の各々について推定した重要度を示している。図７Ｃとして示す模式図７０６は、ステップＳ１０５ｂにおいて品質パラメータ推定部１０５ｂが複数の領域の各々について推定した予備的品質パラメータを示している。これらの図面を参照して説明する例示的な処理の流れについては後述する。

図８Ａ及び図８Ｂは、例示的実施形態３に係る画像表示システム１０ｂにおける表示方法のステップＳ１０６ｂの処理例１を示すものである。図８Ａとして示したフローチャートＳ１０６０ａは、図６に示したステップＳ１０６ｂにおける品質パラメータの決定の処理例１の流れを示している。図８Ｂとして示した模式図８０２は、図７Ｃとして示した模式図７０６における複数の領域の各々についてステップＳ１０６ｂにおける処理例１によって決定した品質パラメータを示している。図８Ａとして示したフローチャートＳ１０６０ａの詳細については後述する。

図９Ａ及び図９Ｂは、例示的実施形態３に係る画像表示システム１０ｂにおける表示方法のステップＳ１０６ｂの処理例２を示すものである。図９Ａとして示したフローチャートＳ１０６０ｂは、図６に示したステップＳ１０６ｂにおける品質パラメータの決定の処理例２の流れを示している。図９Ｂとして示した模式図８０２は、図７Ｃとして示した模式図７０６における複数の領域の各々についてステップＳ１０６ｂにおける処理例２によって決定した品質パラメータを示している。図９Ａとして示したフローチャートＳ１０６０ｂの詳細については後述する。

（画像処理装置における処理の流れの説明）
（ステップＳ１０２ｂ）
ステップＳ１０２ｂにおいて、例示的実施形態３に係る画像処理装置１００ｂにおける処理では、取得部１０２ｂは撮影された画像を取得する。本ステップに係る取得部１０２ｂの処理は、画像表示システム１０ｂおいて説明した処理と同様の処理を含むので、すでに記載した説明は省略する。

本ステップＳ１０２ｂで取得された画像の一例を図７Ａに画像７０２として示す。この画像７０２は移動体３００ｂの撮像部３０２で撮像された画像であり、移動体３００ｂは、一例として、走行中の車両である。画像７０２は移動体３００ｂ（走行中の車両）の進行方向（前方）の画角が含まれる画像であり、当該画像の中央部付近には、図７に示すように、前方を走行している先行車両が撮像されている。

（ステップＳ１０４ｂ）
ステップＳ１０４ｂにおいて、例示的実施形態３に係る画像処理装置１００ｂにおける処理では、重要度推定部１０４ｂは、画像に含まれる複数の領域の各々について重要度を推定する。本ステップに係る重要度推定部１０４ｂの処理は、画像表示システム１０ｂおいて説明した処理と同様の処理を含むので、すでに記載した説明は省略する。

本ステップＳ１０４ｂにおいて重要度推定部１０４ｂが推定した重要度の一例を図７Ｂの模式図７０４として示す。重要度推定部１０４ｂは、ステップＳ１０２ｂで取得された画像７０２を、図７Ｂで示した模式図７０４に示すように、一例として、６列４行の２４個の領域に分割して、この２４の領域各々について重要度を推定する。

また、この重要度の推定処理において、重要度推定部１０４ｂは、ステップＳ１０２ｂで取得された画像７０２に含まれる複数の領域のそれぞれを、重要度に応じて、重要領域（ＩＲ）及び非重要領域（ＮＩＲ）の何れかに分類する。

一例として、重要度推定部１０４ｂは、図７Ｂで示した模式図７０４に示すように、画像７０２の２４の領域を、先行車両が撮像されている付近の６つの重要領域（ＩＲ）と、それ以外の非重要領域（ＮＩＲ）とに分類する。

重要度推定部１０４ｂは、最も重要度が高い領域（先行車両の撮像が含まれている領域）に対して最も高い値の重要度（この模式図７０４では３つの領域に示された０．９）を付与する。同様に重要度推定部１０４ｂは、重要度が比較的高いと推定した領域（先行車両の撮像が含まれている周囲の領域）に、比較的高い重要度（この模式図７０４では他の３つの領域で示された０．５および０．６）を付与している。

さらに重要度推定部１０４ｂは、重要度が最も低いと推定した領域（模式図７０４の上部１行の領域）に最も低い値の重要度（模式図７０４では０．１）を付与している。それ以外の非重要領域（ＮＩＲ）において重要度推定部１０４ｂは重要度が低いと推定し、その対象領域のうち重要領域（ＩＲ）から離れた領域に低い値の重要度（模式図７０４では０．２）を付与している。また、重要度推定部１０４ｂは、重要度が相対的に低いと推定した重要領域（ＩＲ）に隣接した領域に対し相対的に低い値の重要度（模式図７０４では０．３）を付与している。

（ステップＳ１０５ｂ）
ステップＳ１０５ｂにおいて、例示的実施形態３に係る画像処理装置１００ｂにおける処理では、品質パラメータ推定部１０５ｂは、画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。ここで、品質パラメータ推定部１０５ｂは、一例として、画像を符号化した場合の符号化効率が向上するように予備的品質パラメータを推定する。本ステップに係る品質パラメータ推定部１０５ｂの処理は、例示的実施形態３の画像処理装置１００ｂの構成において説明した品質パラメータ推定部１０５ｂの処理と同様の処理を含むのですでに記載した説明は省略する。

本ステップＳ１０５ｂにおいて、品質パラメータ推定部１０５ｂが推定した予備的品質パラメータの一例を図７Ｃにおいて模式図７０６として示している。品質パラメータ推定部１０５ｂは、ステップＳ１０２ｂで取得された画像７０２を、図７Ｃの模式図７０６に示すように、一例として、６列４行の２４の領域に分割して、この２４個の領域各々について予備的品質パラメータを推定する。ここで、図７Ａ乃至図７Ｃに示した具体例においては、品質パラメータ推定部１０５ｂによって参照される「複数の領域」と、重要度推定部１０４ｂが参照する「複数の領域」とは、同じ６列４行の２４個の領域に同様に分割されている例を示しているが、これは本例示的実施形態を限定するものではく、上述したように、一般には、両者の「複数の領域」は互いに異なり得る。

なお、図７Ｃの模式図７０６に示す例では、より小さい品質パラメータが付与された領域の方が、より大きい品質パラメータが付与された領域よりも品質が高い。即ち、模式図７０６においては、４０で示される品質パラメータが付与された領域の品質が最も低品質であり、１０で示される品質パラメータが付与された領域の品質が最も高品質である。

（ステップＳ１０６ｂ）
ステップＳ１０６ｂにおいて、例示的実施形態３に係る画像処理装置１００ｂにおける処理では、品質パラメータ決定部１０６ｂは、重要度推定部１０４ｂが推定した重要度と品質パラメータ推定部１０５ｂが推定した予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。本ステップに係る品質パラメータ決定部１０６ｂの処理は、例示的実施形態３の画像処理装置１００ｂの構成において説明した品質パラメータ決定部１０６ｂの処理と同様の処理を含むのでここではすでに記載した説明は省略する。

以下、ステップＳ１０６ｂに関して、図８Ａ及び図９Ａに示したフローチャートに係る２つの具体例（処理例１及び処理例２）を説明する。

（ステップＳ１０６ｂの処理例１）
図８Ａは、ステップＳ１０６ｂの処理例１（この処理例１による処理の流れに符号Ｓ１０６０ａを付す場合もある）を示すフローチャートである。以下、図８Ａを使って処理例Ｓ１０６０ａをさらに詳しく説明する。

（ステップＳ１０６１ａ）
本ステップＳ１０６１ａは、複数の領域に関するループ処理の始端である。当該ループ処理では、対象画像に含まれる複数の領域の各々が、所定の順序で順次処理対象となる。

（ステップＳ１０６２ａ）
続いて、ステップＳ１０６２ａにおいて、品質パラメータ決定部１０６ｂは、対象領域の重要度が閾値以上かどうかを判断する。ここで対象領域とは、品質パラメータ推定部１０５ｂが推定した予備的品質パラメータの複数の領域のうち、処理対象である領域のことを指している。対象領域の重要度が閾値以上である場合（判断ステップのＹＥＳに該当）、品質パラメータ決定部１０６ｂは、当該対象領域に対して何らの処理も行わずに次の処理に進む。即ち、重要度が閾値以上である対象領域においては、予備的品質パラメータがそのまま品質パラメータとして決定される。一方で、対象領域の重要度が閾値以上でない場合（換言すれは、閾値より低い値である場合）（判断ステップのＮＯに該当）、ステップＳ１０６３ａに進む。

なお、上記閾値の具体的な値は、本例示的実施形態を限定するものではないが、一例として望ましい符号化データ量に応じて予め定めておくことができる。

図８Ｂとして示す模式図８０２は、図７Ｃの模式図７０６に示した各領域において、本処理例１によってどのように品質パラメータが決定されたかを表している。図８Ｂの模式図８０２に示すように、重要領域（ＩＲ）では、図７Ｃの模式図７０６に示した予備的品質パラメータがそのまま品質パラメータに設定される。即ち、重要度が閾値以上である対象領域（重要領域ＩＲ）においては、予備的品質パラメータがそのまま品質パラメータとして決定されている。

（ステップＳ１０６３ａ）
ステップＳ１０６３ａでは、品質パラメータ決定部１０６ｂは、対象領域を低画質化するように品質パラメータを決定する。即ち、重要度が閾値より低い対象領域においては、当該対象領域に付与された予備的品質パラメータの値よりも大きい値を有する品質パラメータを当該対象領域に付与する。

一例として、品質パラメータ決定部１０６ｂは、図８Ｂの模式図８０２に示すように、非重要領域（ＮＩＲ）に含まれる各領域に対して、図７Ｃの模式図７０６に示した予備的品質パラメータよりも大きな値を有する品質パラメータを付与する。

（ステップＳ１０６５ａ）
本ステップＳ１０６５ａは、複数の領域に関するループ処理の終端である。

（ステップＳ１０６ｂの処理例２）
図９ＡはステップＳ１０６ｂの処理例２（この処理例１による処理の流れに符号Ｓ１０６０ｂを付す場合もある）を示すフローチャートである。以下、図９Ａを使って処理例Ｓ１０６０ｂをさらに詳しく説明する。

（ステップＳ１０６１ｂ）
本ステップＳ１０６１ｂは、複数の領域に関するループ処理の始端である。当該ループ処理では、対象画像に含まれる複数の領域の各々が、所定の順序で順次処理対象となる。

（ステップＳ１０６２ｂ）
続いて、ステップＳ１０６２ｂにおいて、品質パラメータ決定部１０６ｂは、対象領域の重要度が閾値以上かどうかを判断する。ここで対象領域とは、品質パラメータ推定部１０５ｂが推定した予備的品質パラメータの複数の領域のうち、処理対象である領域のことを指している。対象領域の重要度が閾値以上である場合（判断ステップのＹＥＳに該当）、品質パラメータ決定部１０６ｂは、ステップＳ１０６４ｂに進む。一方、対象領域の重要度が閾値以上でない場合（換言すれは、閾値より低い値である場合）（判断ステップのＮＯに該当）、ステップＳ１０６３ｂに進む。

なお、上記閾値の具体的な値は、本例示的実施形態を限定するものではないが、一例として望ましい符号化データ量に応じて予め定めておくことができる。

（ステップＳ１０６３ｂ）
ステップＳ１０６３ｂにおいて、品質パラメータ決定部１０６ｂは、対象領域を低画質化するように品質パラメータを決定する。即ち、重要度が閾値より低い対象領域においては、当該対象領域に付与された予備的品質パラメータの値よりも大きい値を有する品質パラメータを当該対象領域に付与する。

一例として、品質パラメータ決定部１０６ｂは、図９Ｂの模式図９０２に示すように、非重要領域（ＮＩＲ）に含まれる各領域に対して、図７Ｃの模式図７０６に示した予備的品質パラメータよりも大きな値を有する品質パラメータを付与する。

（ステップＳ１０６４ｂ）
ステップＳ１０６４ｂにおいて、品質パラメータ決定部１０６ｂは、対象領域を高画質化するように品質パラメータを決定する。即ち、重要度が閾値以上の対象領域においては、当該対象領域に付与された予備的品質パラメータの値よりも小さい値を有する品質パラメータを当該対象領域に付与する。

一例として、品質パラメータ決定部１０６ｂは、図９Ｂの模式図９０２に示すように、重要領域（ＩＲ）に含まれる各領域に対して、図７Ｃの模式図７０６に示した予備的品質パラメータよりも小さい値を有する品質パラメータを付与する。

（ステップＳ１０６５ｂ）
本ステップＳ１０６５ｂは、複数の領域に関するループ処理の終端である。

以上本例示的実施形態において、ステップＳ１０６ｂについて２つの処理例を具体的に説明したが、本例示的実施形態はこれらの処理例に限定されるものではない。

ここで、ステップＳ１０６ｂに続くステップについて図６に戻って説明する。

（ステップＳ１０８ｂ）
ステップＳ１０８ｂにおいて、例示的実施形態３に係る画像処理装置１００ｂにおける処理では、符号化部１０８ｂは、品質パラメータ決定部１０６ｂが決定した品質パラメータを用いて画像を符号化して符号化データとする。

（ステップＳ１１０ｂ）
ステップＳ１１０ｂにおいて、例示的実施形態３に係る画像処理装置１００ｂにおける処理では、送信部１１０ｂが、符号化部１０８が符号化した符号化データを送信する。本ステップにおける送信部１１０ｂの処理は、例示的実施形態３の画像処理装置１００ｂの構成において説明した送信部１１０ｂ処理と同じであるためここでは詳細な説明を省略する。

（表示装置における処理の流れの説明）
続いて、表示装置２００ｂにおける処理の流れをステップごとに説明する。

（ステップＳ２０２ｂ）
ステップＳ２０２ｂにおいて、例示的実施形態３に係る表示装置２００ｂにおける処理では、受信部２０２ｂが、送信部１１０ｂから送信された符号化データを受信する。本ステップにおける受信部２０２ｂの処理は、例示的実施形態３の表示装置２００ｂにおいて説明した処理と同様であるので、ここでは詳細な説明を省略する。

（ステップＳ２０４ｂ）
ステップＳ２０４ｂにおいて、例示的実施形態３に係る表示装置２００ｂにおける処理では、復号部２０４ｂは、受信部２０２ｂが受信した符号化データを復号して画像データに変換する。本ステップにおける復号部２０４ｂの処理は、例示的実施形態３の表示装置２００ｂにおいて説明した処理と同様であるので、ここでは詳細な説明を省略する。

（ステップＳ２０６ｂ）
ステップＳ２０６ｂにおいて、例示的実施形態３に係る表示装置２００ｂにおける処理では、表示部２０６ｂは、復号部２０４ｂから得られた画像データに基づき画像を表示する。本ステップにおける表示部２０６ｂの処理は、例示的実施形態３の表示装置２００ｂにおいて説明した処理と同様であるので、ここでは詳細な説明を省略する。

（画像表示システムの表示方法の効果）
以上のように画像表示システム１０ｂの表示方法によれば、移動体から撮像した対象画像に含まれる複数の領域の各々について、重要度に応じた符号化処理の粗さを指定することができる。特に、例示的実施形態３の処理例Ｓ１０６０ａにおいては、移動体から撮像し、符号化された画像データは好適に削減される。したがって、画像表示システム１０ｂの表示方法によれば伝送負荷を好適に抑制できる。また、例示的実施形態３の処理例Ｓ１０６０ｂにおいては、移動体から撮像し、符号化された画像データは好適に削減して伝送負荷を好適に抑制できるとともに、重要な領域の画像を高品質で表示することができる。

〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、画像表示システムの例示的実施形態の一形態である。本例示的実施形態に係る画像表示システム１０ｃは、取得した画像に含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて代替データに置換して、置換後のデータを参照して評価値を導出する。この評価値を参照して、パラメータ推定手段を学習させるシステムである。また、本例示的実施形態に係る画像表示システム１０ｃは、人間による視線を参照した重要度マップを用いて重要度を推定するシステムでもある。

（画像表示システムの構成）
例示的実施形態４に係る画像表示システム１０ｃの構成について、図１０を参照して説明する。図１０は、画像表示システム１０ｃの構成を示すブロック図である。図１０に示すように、画像表示システム１０ｃは、画像処理装置１００ｃおよび表示装置２００ｃを備える。

（画像処理装置の構成）
画像処理装置１００ｃは、図５に示すように、取得部１０２ｃと、重要度推定部１０４ｃと、品質パラメータ推定部１０５ｃと、品質パラメータ決定部１０６ｃと、符号化部１０８ｃ、送信部１１０ｃ、置換部１１２ｃ、評価部１１４ｃおよび学習部１１６ｃとを備えている。以下それぞれについて説明する。

なお、置換部１１２ｃは、特許請求の範囲に記載した置換手段の一実施形態である。評価部１１４ｃは、特許請求の範囲に記載した評価手段の一実施形態である。学習部１１６ｃは、特許請求の範囲に記載した学習手段の一実施形態である。

（取得部）
取得部１０２ｃは、画像を取得する。取得部１０２ｂが取得する画像は、移動体などから撮像された画像である。本例示的実施形態に係る取得部１０２ｂは、例示的実施形態３において説明した取得部１０２ｂと同様の構成であり、詳細な説明は省略する。

（重要度推定部）
重要度推定部１０４ｃは、取得部１０２ｃが取得した画像に含まれる複数の領域の各々について重要度を推定する。また、重要度推定部１０４ｃは、人間による視線を参照した重要度マップを用いて、重要度を推定する構成としてもよい。

ここで、人間による視線を参照した重要度マップの生成の仕方、及び当該マップの参照の仕方は本実施形態を限定するものではないが、一例として、対象画像を視認している人間の視線を所定の時間検出し、検出した視線に応じたヒートマップを作成し、当該ヒートマップを上記重要度マップとして用いることが可能である。より具体的には、重要度推定部１０４ｃは、当該ヒートマップにおいて視線がより集中する領域を、より重要度が高い領域であると推定する構成とすることができる。

本例示的実施形態に係る重要度推定部１０４ｃの更なる具体的な処理例については後述する。

（品質パラメータ推定部）
品質パラメータ推定部１０５ｃは、取得部１０２ｃが取得した画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する。本例示的実施形態に係る品質パラメータ推定部１０５ｃは、例示的実施形態３において説明した品質パラメータ推定部１０５ｂと同様の構成であり、詳細な説明は省略する。

（品質パラメータ決定部）
品質パラメータ決定部１０６ｃは、重要度と、推定された予備的品質パラメータとを参照して複数の領域の各々についての品質パラメータを決定する。本例示的実施形態に係る品質パラメータ決定部１０６ｃは、例示的実施形態３において説明した品質パラメータ決定部１０６ｂと同様の構成であり、詳細な説明は省略する。

（符号化部）
符号化部１０８ｃは、品質パラメータ決定部１０６ｃが決定した品質パラメータを用いて対象画像を符号化することによって、符号化データを生成する。本例示的実施形態に係る符号化部１０８ｃは、例示的実施形態３において説明した符号化部１０８ｂと同様の構成であり、詳細な説明は省略する。

（送信部）
送信部１１０ｃは、符号化部１０８ｃが生成した符号化データを送信する。本例示的実施形態に係る送信部１１０ｃは、例示的実施形態３において説明した送信部１１０ｂと同様の構成であり、詳細な説明は省略する。

（置換部）
置換部１１２ｃは、画像に含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて、代替データに置換することによって、置換後のデータを生成する。即ち、置換部１１２ｃは、取得部１０２ｃが取得した学習用画像に含まれる複数の領域のうちの少なくとも何れかを、重要度推定部１０４ｃが推定した重要度に応じて、代替データに置換することによって、置換後のデータを生成する。置換部１１２ｃの具体的な処理例については後述する。

（評価部）
評価部１１４ｃは、置換後のデータを参照することによって評価値を導出する。即ち、評価部１１４ｃは、置換部１１２ｃが置換したデータを参照することによって評価値を導出する。ここで、評価部１１４ｃでは、取得部１０２ｂが取得した画像である、置換前の学習用画像を更に参照する構成としてもよい。評価部１１４ｃの具体的な処理例については後述する。

（学習部）
学習部１１６ｃは、評価値を参照して、重要度推定部１０４ｃを学習させる。即ち、学習部１１６ｃは、評価部１１４ｃが導出した評価値を参照して、重要度推定部１０４ｂを学習させる。ここで、重要度推定部１０４ｂの学習は、重要度推定部１０４ｂとして機能する推論モデルが有する各種のパラメータを、評価値に応じて更新することによって行うことができる。学習部１１６ｃの具体的な処理例については後述する。

（表示装置の構成）
表示装置２００ｃは、受信部２０２ｃと、復号部２０４ｃと、表示部２０６ｃとを備えている。表示装置２００ｃの機能は、基本的に例示的実施形態３の表示装置２００ｂと同じであるため、以下例示的実施形態３の表示装置２００ｂの説明と重複する部分を除いて説明する。

受信部２０２ｃは、送信部１１０ｃから送信された符号化データを受信する。

復号部２０４ｃは、受信部２０２ｃが受信した符号化データを復号して画像データに変換する。

表示部２０６ｃは、復号部２０４ｃが復号した画像を表示する。

（画像処理装置における処理の説明）
上述したように、例示的実施形態３と同じ構成については同じ説明を省略する。以下、本例示的実施形態に係る重要度推定部１０４ｃ、置換部１１２ｃ、評価部１１４ｃおよび学習部１１６ｃの処理について図１１および図１２を用いて説明する。

（重要度推定部１０４ｃ、置換部１１２ｃ、評価部１１４ｃおよび学習部１１６ｃの処理の説明）
図１１は、移動体などの撮像部で取得された画像およびその画像の一部の領域をノイズで置換する工程を示した図である。図１１の６００１は、撮像部から取得した映像の１フレーム（画像）である。フレーム６００１には、前方を走行する車５１、道路５２、センターライン５３、歩道５４，５５、歩道５５の隣にある畑５６、背景５７、空５８等が映っている。

重要度推定部１０４ｃは、１フレームの画像６００１中の領域の重要度（監視する必要性）を推定する。図１１の６００２は、重要度推定部１０４ｃが重要度を推定したヒートマップである。実際のヒートマップは、色によって重要度が示されるが、ヒートマップ６００２では、便宜上重要度を濃淡の度合いで示しており、濃い領域ほど重要度が高い。ヒートマップ６００２の領域６１には、車５１、センターライン５３を含む道路５２、歩道５５、歩道の隣の畑５６等が含まれており、重要度が高い領域であることがわかる。また、領域６２には、走行車線側の歩道５４、背景５７の一部等が含まれており、重要度が高い領域であることがわかる。逆に、領域６３は車が走行していない道路と空であり、領域６１，６２に比べて、相対的に重要度が低い領域であることがわかる。

重要度推定部１０４ｃは、一例として、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムを用いて重要度を推定する。Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムは、それ自身の途中の計算結果に注意し、それから読み込むデータを決定するアルゴリズムを有する公知のアルゴリズムである。Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムで生成される関数には、重み付けのためのパラメータが含まれている。なお、重要度推定部１０４ｃを学習させる方法については後述する。

置換部１１２ｃは、画像６００１中の重要度が低い領域のデータを、代替データに置換する。具体的には、置換部３３は、重要度が小さい順に選択した領域であって、フレームにおいて所定の割合を有する１又は複数の領域を代替データに置換する。代替データは、元のデータに比べて、データ量（データサイズ）を小さくしたデータである。図１１の置換後の画像６００３は、重要度が低いヒートマップ６００２の領域６３を、ノイズデータに置換した領域７２を含んでいる。ノイズデータは、元の画像データに比べてデータサイズが小さい。領域７１は、重要性が高い領域であるため、ノイズデータには置換されていない領域である。

置換部１１２ｃは、重要度が低い領域のデータを、ノイズ以外のデータ、例えば量子化誤差の大きい画像データに置換してもよい。つまり、置換部１１２ｃが用いる代替データは、ノイズ、及び量子化誤差の大きい画像データの少なくとも何れかを含むデータである。図１２は、図１１で示した画像の重要度が低い領域のデータを、量子化パラメータを大きく設定することにより、量子化誤差の大きい画像データに置換した図である。図１２の画像７００１とヒートマップ７００２は、図１１の画像６００１とヒートマップ６００２と同じである。画像７００３は、重要度が低い領域６３を、量子化誤差の大きい画像データに置換した画像である。量子化パラメータを大きく設定することにより、データサイズを小さくすることができる。

評価部１１４ｃは、置換後の画像６００３又は画像７００３を用いた場合の評価値を導出する。置換後の画像６００３又は画像７００３は、一部がノイズ又は量子化誤差の大きな画像となっている。このような置換後の画像において、自動運転車の安全な走行に影響を与えない場合は、その置換後の画像に対しては高い評価値が与えられる。評価部１１４ｃの具体例については後述する。

学習部１１６ｃは、評価部１１４ｃによって導出された評価値を参照して、重要度推定部１０４ｃを学習させる。学習部１１６ｃの実施する学習方法の具体例について、以下詳細に記述する。

（学習方法の具体例）
次に、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムを含む重要度推定部１０４ｃを学習させる方法Ｓ３について、図面を参照して説明する。図１３は、重要度推定部１０４ｃを学習させる学習方法Ｓ３の流れの一例を示すフローチャートである。学習方法Ｓ３は、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムに用いる模擬映像を用いて学習する方法である。

まず、画像処理装置１００ｃは、ステップＳ３０において、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムのデータを初期化する。

次に、ステップＳ３１において、画像処理装置１００ｃは、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムのパラメータを取得する。最初のシミュレーション時に取得するパラメータは、ユーザが任意に設定して入力したパラメータである。

次に、ステップＳ３２において、画像処理装置１００ｃは、シミュレーションを実行して、その評価を行う。本実施形態においては、実行されるシミュレーションは自動運転のシミュレーションであり、画像処理装置１００ｃは、その結果から報酬値を導出する。シミュレーション評価の詳細な流れについては、図面を代えて後述する。

次に、ステップＳ３３において、画像処理装置１００ｃは、平均報酬を計算する。平均報酬とは、後述するシミュレーション評価で所定の回数だけ繰り返し導出される、評価値としての報酬値の平均値である。具体的には、シミュレーション評価においては、後述のように、一連のシミュレーションステップが所定の回数だけ繰り返し行われる。その際に、１回ごとのシミュレーションステップで導出された報酬値が累積されていく。そして、最終的な報酬値の累積値を所定の回数で除した値が報酬値の平均値である。

次に、ステップＳ３４において、画像処理装置１００ｃは、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムのパラメータを更新する。具体的には、学習部１１６ｃは、ステップＳ３３で導出された報酬値の平均値の大きさに基づいて、より報酬値の平均値が大きくなるようにパラメータを更新する。

次に、ステップＳ３５において、画像処理装置１００ｃは、所定の試行回数のシミュレーション評価を実行したか否かを判定する。ステップＳ３５において、所定の試行回数のシミュレーション評価が実行されたと判定された場合（ステップＳ３５：ＹＥＳ）は、学習フローを終了する。一方、所定の試行回数のシミュレーション評価が実行されていないと判定された場合（ステップＳ３５：ＮＯ）は、ステップＳ３１に戻る。ステップＳ３１において、制御部３０は、ステップＳ３４で更新されたパラメータを取得する。

次に、ステップＳ３２のシミュレーション評価ステップの詳細な流れについて、図面を参照して説明する。図１４は、シミュレーション評価方法Ｓ４のフローチャートである。本例示的実施形態においては、シミュレーション評価は自動運転シミュレータを用いて行う。自動運転シミュレータは、車載カメラで取得された映像を模擬した映像に基づいて、自動運転コントローラが実行する自動運転をコンピュータ上で模擬する装置である。自動運転シミュレータは、例えばオープンソースのＣＡＲＬＡを用いることができる。

まず、ステップＳ４０において、画像処理装置１００ｃは、自動運転シミュレータのデータを初期化する。

次に、ステップＳ４１において、画像処理装置１００ｃは、自動運転シミュレータから入力データを取得する。具体的には、取得部１０２ｃが自動運転シミュレータから模擬映像データを入力データとして取得し、重要度推定部１０４ｃに送信する。

次に、ステップＳ４２において、画像処理装置１００ｃは、取得した入力データの重要度を推定する。具体的には、重要度推定部１０４ｃは、映像データのフレームデータを複数の領域に分割し、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎアルゴリズムを用いて領域ごとの重要度を推定する。

次に、ステップＳ４３において、画像処理装置１００ｃは、重要度の小さい順に、所定割合の領域を代替データに置換する。具体的には、例えば所定割合が４０％に設定されているとする。この場合、重要度が小さい領域から順に選択していき、選択した領域の合計のデータサイズ（又は領域の画像面積）が全体の４０％以上になったところで選択を停止する。そして、選択された領域をすべて代替データに置換する。

次に、ステップＳ４４において、画像処理装置１００ｃは、置換した画像を自動運転コントローラに入力して、自動運転コントローラが出力する制御コマンドを取得する。

次に、ステップＳ４５において、画像処理装置１００ｃは、制御コマンドを自動運転シミュレータに入力して報酬を取得し、報酬の累積値に加算する。報酬の累積とは、例えばｎ（ｎは２以上の整数）回目のシミュレーションステップの報酬値を、１からｎ－１回目までのシミュレーションステップの報酬値の総和に加えることをいう。即ち、ｎ回目までの報酬値の累積値は、ｎ回目の報酬値を、１からｎ－１回目までの報酬値の総和に加えることによって算出される。

制御コマンドを入力した自動運転シミュレータの運転結果が、安全な運行であった場合は、高い報酬値が与えられる。逆に、自動運転シミュレータの運転結果が、安全が危惧される運行であった場合は、低い報酬値が与えられる。安全な運行であったかどうかは、事故の有無を中心に考慮されてもよい。

次に、ステップＳ４６において、画像処理装置１００ｃは、シミュレーションステップがすべて終了したか否かを判定する。つまり、自動運転シミュレータが保有する模擬映像をすべて置換処理してコントローラに入力したか否かを判定する。ステップＳ４６において、すべて終了した、又は事故が発生したと判定された場合（ステップＳ４６：ＹＥＳ）は、ステップＳ４７に移行する。ステップＳ４６において、すべて終了していないと判定された場合（ステップＳ４６：ＮＯ）は、ステップＳ４１に戻る。

ステップＳ４７において、画像処理装置１００ｃは、所定のシミュレーション回数を終了したか否かを判定する。所定の回数とは、例えば、平均報酬を計算するために十分な回数である。ステップＳ４７において、所定のシミュレーション回数を終了した（ステップＳ４７：ＹＥＳ）と判定された場合は、シミュレーション評価ステップを終了し、図１３のステップＳ３３に移行する。ステップＳ４７において、所定のシミュレーション回数を終了していない（ステップＳ４７：ＮＯ）と判定された場合は、ステップＳ４０に戻る。

（画像表示システムの効果）
以上のように構成された画像表示システム１０ｃによれば、画像処理装置１００ｃは移動体から撮像した対象画像に含まれる複数の領域のうちの少なくとも何れかを、重要度に応じて代替データに置換して、置換後のデータを参照して評価値を導出し、この評価値を参照して、パラメータ推定手段を学習させる。

このため、画像表示システム１０ｃによれば、重要度推定部１０４ｃを好適に学習させることができるので、重要度推定部１０４ｃは好適に重要度を推定することができる。

これにより、画像表示システム１０ｃによれば、好適に推定された重要度に応じて決定された品質パラメータを用いて符号化データを生成するので、重要な領域の品質を保ちつつ、伝送負荷を好適に抑制できる。

（ソフトウェアによる実現例）
画像処理装置１００および画像表示システム１０ａ、１０ｂ、１０ｃの一部または全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、画像処理装置１００および画像表示システム１０ａ、１０ｂ、１０ｃは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１５に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを画像処理装置１００、１００ａ、１００ｂおよび１００ｃとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、画像処理装置１００および画像表示システム１０ａ、１０ｂ、１０ｃの各機能が実現される。

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、または、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、または、これらの組み合わせなどを用いることができる。

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、またはプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、または放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

態様１に係る画像処理装置は、移動体から撮像した画像を取得する取得手段と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段と、を備えている。

上記構成によれば、移動体から撮像した対象画像のデータ量を好適に削減することができる。

態様２に係る画像処理装置は、態様１の構成において、前記品質パラメータ推定手段は、前記画像を符号化した場合の符号化効率が向上するように前記予備的品質パラメータを推定するという構成が採用されている。

上記構成によれば、好適な品質パラメータを決定することができる。

態様３に係る画像処理装置は、態様１または２の何れかの構成において、前記重要度推定手段は、前記推定した重要度に応じて、前記複数の領域を、前記重要度が高いと推定した重要領域と、それ以外の非重要領域とに分類し、前記品質パラメータ決定手段は、前記重要領域においては、前記予備的品質パラメータを前記品質パラメータに決定し、前記非重要領域においては、前記予備的品質パラメータが示す品質よりも低い品質に対応するパラメータを、前記品質パラメータに決定するという構成が採用されている。

上記構成によれば、重要度に応じて、対象画像のデータ量を好適に削減することができる。

態様４に係る画像処理装置は、態様１または２の何れかの構成において、前記重要度推定手段は、前記推定した重要度に応じて、前記複数の領域を、前記重要度が高いと推定した重要領域と、それ以外の非重要領域とに分類し、前記品質パラメータ決定手段は、前記重要領域においては、前記予備的品質パラメータが示す品質よりも高い品質に対応するパラメータを、前記品質パラメータに決定し、前記非重要領域においては、前記予備的品質パラメータが示す品質よりも低い品質に対応するパラメータを、前記品質パラメータに決定するという構成が採用されている。

上記構成によれば、重要度が相対的に高い領域の品質を向上させつつ、対象画像のデータ量を好適に削減することができる。

態様５に係る画像処理装置は、態様１から４の何れかの構成において、前記重要度推定手段は、前記移動体から撮像した画像を用いて学習された学習済モデルを用いて、前記画像に含まれる複数の領域の各々について重要度を推定するという構成が採用されている。

上記構成によれば、重要度を好適に推定することができる。

態様６に係る画像処理装置は、態様１から５の何れかの構成において、前記決定手段が決定した品質パラメータを用いて前記画像を符号化する符号化手段をさらに備るという構成が採用されている。

上記構成によれば、データ量が削減された符号化データを好適に生成することができる。

態様７に係る画像処理装置は、態様１から６の何れかの構成において、前記画像に含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成する置換手段と、前記置換後のデータを参照することによって評価値を導出する評価手段と、前記評価値を参照して、前記重要度推定手段を学習させる学習手段とを更に備えるという構成が採用されている。

上記構成によれば、前記重要度推定手段を好適に学習させることができる。

態様８に係る画像処理装置は、態様７の構成において、前記評価手段は、前記取得手段が取得した画像を更に参照することによって評価値を導出するという構成が採用されている。

上記構成によれば、前記重要度推定手段を好適に学習させることができる。

態様９に係る画像処理装置は、態様１から８の何れかの構成において、前記重要度推定手段は、人間による視線を参照した重要度マップを用いて、前記重要度を推定するという構成が採用されている。

上記構成によれば、重要度を好適に推定することができる。

態様１０に係る画像表示システムは、移動体から撮像した画像を取得する取得手段と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段と、前記品質パラメータ決定手段が決定した品質パラメータを用いて符号化された符号化データを送信する送信手段と、前記符号化データを受信する受信手段と、前記受信手段が受信した符号化データを復号して得られる画像を表示する表示手段とを備えている。

上記構成によれば、態様１と同様の効果を奏することができる。

態様１１に係る画像処理方法は、移動体から撮像した撮影された画像を取得し、前記画像に含まれる複数の領域の各々について重要度を推定し、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定し、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定するという方法が採用されている。

上記方法によれば、態様１と同様の効果を奏することができる。

態様１２に係る記録媒体は、コンピュータを情報処理装置として機能させるプログラムを記憶した記録媒体であって、前記プログラムは、前記コンピュータを、移動体から撮像した画像を取得する取得手段と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段として機能させることを特徴とするプログラムを記憶するという構成が採用されている。

上記方法によれば、態様１と同様の効果を奏することができる。

態様１３に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、移動体から撮像した画像を取得する取得手段と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段として機能させることを特徴とする構成が採用されている。

上記方法によれば、態様１と同様の効果を奏することができる。

〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。

少なくとも１つのプロセッサを備え、前記プロセッサは、移動体から撮像した画像を取得する取得処理と、前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定処理と、前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定処理と、前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定処理とを実行する画像処理装置。
なお、この画像処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記重要度推定処理と、前記品質パラメータ決定処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

１０ａ、１０ｂ、１０ｃ 画像表示システム
１００、１００ａ、１００ｂ、１００ｃ 画像処理装置
１０２、１０２ｂ、１０２ｃ 取得部
１０４、１０４ｂ、１０４ｃ 重要度推定部
１０５ｂ、１０５ｃ 品質パラメータ推定部
１０６、１０６ｂ、１０６ｃ 重要度推定部
１０８ｂ、１０８ｃ 符号化部
１１０、１１０ｂ、１１０ｃ 取得部
１１２ｃ 置換部
１１４ｃ 評価部
１１６ｃ 学習部
２００ａ、２００ｂ、２００ｃ 表示装置
２０２、２０２ｂ、２０２ｃ 受信部
２０４ｂ、２０４ｃ 受信部
２０６、２０６ｂ、２０６ｃ 表示部
３００ｂ 移動体
３０２ｂ 撮像部
３０４ｂ 通信部

Claims (10)

1. 移動体から撮像した画像を取得する取得手段と、
   前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、
   前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、
   前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記重要度推定手段は、前記推定した重要度に応じて、前記複数の領域を、前記重要度が高いと推定した重要領域と、それ以外の非重要領域とに分類し、
   前記品質パラメータ決定手段は、
   前記重要領域においては、前記予備的品質パラメータを前記品質パラメータに決定し、
   前記非重要領域においては、前記予備的品質パラメータが示す品質よりも低い品質に対応するパラメータを、前記品質パラメータに決定する請求項１に記載の画像処理装置。
3. 前記重要度推定手段は、前記推定した重要度に応じて、前記複数の領域を、前記重要度が高いと推定した重要領域と、それ以外の非重要領域とに分類し、
   前記品質パラメータ決定手段は、
   前記重要領域においては、前記予備的品質パラメータが示す品質よりも高い品質に対応するパラメータを、前記品質パラメータに決定し、
   前記非重要領域においては、前記予備的品質パラメータが示す品質よりも低い品質に対応するパラメータを、前記品質パラメータに決定する請求項１に記載の画像処理装置。
4. 前記重要度推定手段は、前記移動体から撮像した画像を用いて学習された学習済モデルを用いて、前記画像に含まれる複数の領域の各々について重要度を推定する
   請求項１から３の何れか１項に記載の画像処理装置。
5. 前記品質パラメータ決定手段が決定した品質パラメータを用いて前記画像を符号化する符号化手段をさらに備えている
   請求項１から４の何れか１項に記載の画像処理装置。
6. 前記画像に含まれる前記複数の領域のうちの少なくとも何れかを、前記重要度に応じて、代替データに置換することによって、置換後のデータを生成する置換手段と、
   前記置換後のデータを参照することによって評価値を導出する評価手段と、
   前記評価値を参照して、前記重要度推定手段を学習させる学習手段と
   を更に備えている
   請求項１から５の何れか１項に記載の画像処理装置。
7. 前記評価手段は、前記取得手段が取得した画像を更に参照することによって評価値を導出する
   請求項６に記載の画像処理装置。
8. 前記重要度推定手段は、人間による視線を参照した重要度マップを用いて、前記重要度を推定する請求項１から７の何れか１項に記載の画像処理装置。
9. 移動体から撮像した撮影された画像を取得し、
   前記画像に含まれる複数の領域の各々について重要度を推定し、
   前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定し、
   前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する画像処理方法。
10. コンピュータを情報処理装置として機能させるプログラムであって、
    前記プログラムは、前記コンピュータを、
    移動体から撮像した画像を取得する取得手段と、
    前記画像に含まれる複数の領域の各々について重要度を推定する重要度推定手段と、
    前記画像に含まれる複数の領域の各々についての予備的品質パラメータを推定する品質パラメータ推定手段と、
    前記重要度と前記推定された予備的品質パラメータとを参照して前記複数の領域の各々についての品質パラメータを決定する品質パラメータ決定手段として機能させることを特徴とするプログラム。