JP6132700B2 - 画像処理システム、及び、画像処理方法 - Google Patents

Description

本発明は、画像処理システムに関し、特に、画像信号の符号化技術を用いる画像処理システムに関するものである。

ＩＴＵ−Ｔ Ｈ．２６４に代表される動画像符号化技術は、テレビ電話、遠隔会議、またはネットワーク監視カメラ等の動画像を伝送するアプリケーションにおいて欠かせない技術である。

このような動画像を伝送するアプリケーションは、必ずしも良好な通信環境によって提供されるとは限らず、通信環境が悪い、または伝送帯域の変動が激しい通信環境によって提供される場合が多い。そして、伝送帯域の狭い通信経路によって、伝送帯域の限界を上回るデータサイズの画像データが伝送された場合、動画像を伝送するアプリケーションには、通信エラーおよびデータ遅延が生じ、受信画像の劣化およびフリーズ等が発生する。

従って、動画像を伝送するアプリケーションをユーザに提供する場合、アプリケーションを提供するシステムは、伝送帯域に従って画像を符号化して圧縮し、伝送するデータサイズを削減しなければならない。しかし、一般的に画像の情報量と画質とは相関する関係にあり、符号化データサイズを減らすほど画質は劣化する。従って、符号化データサイズを削減してもユーザにとって所望の画質を維持することが動画像符号化技術では重要である。

このためのアプローチの一つとして、画像情報を、ユーザにとって重要な領域（重要領域）と重要でない領域（非重要領域）とに分割し、非重要領域の画質を意図的に劣化させることによって符号化データサイズを大きく削減し、重要領域の符号化データサイズを増やすことによって画質を高める処理を行う方法がある。この方法によって、限られた伝送帯域を用いた場合も、アプリケーションを提供するシステムは、ユーザにとって所望の画質を提供することができる。

このような処理を行う従来技術として、撮影された画像の中から人物の顔が映っている領域を自動的に検出し、この領域を重要領域として比較的多くの符号化データサイズを割り当てるとともに、顔が映っていない領域を非重要領域として符号化データサイズを大幅に削減するように、画像符号化の際の量子化ステップを制御する技術が開示されている（例えば、特許文献１参照）。

特開２０１１−９１５１０号公報

L.Itti, C.Koch, E.Niebur: "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis," IEEE Trans.Pattern Anal. & Mach.Intell., vol.20, pp.1254-1259, 1998.

画像を重要領域と非重要領域とに分割する技術は、コンピュータビジョンの分野における領域分割として様々な技術が知られている。一般的に知られている領域分割の技術は、領域分割の対象として、例えば、特許文献１に示されているような人物や顔、または車両や船舶などを対象物とした画像認識技術が実用化されており、画像中にこれらの対象物が含まれる領域を重要領域とすれば、重要領域を自動的に抽出することができる。

しかしながら、人間が対象物を認識する精度と比べて、現状では画像認識技術の方が精度不足と言わざるを得ない。従って、現状の画像認識技術を用いても重要領域と非重要領域とを精度よく、完全に、かつ自動で、画像を分割することは容易ではない。

そこで、実際の運用上、画像を領域分割する技術を備えるシステムでは、重要領域の抽出を自動的に行うのみならず、人間が重要と判断する領域をユーザが指定することを可能にする機能を備えることが重要となる。

本発明はこのような状況に鑑みてなされたものであり、動画像内で被写体が大きく移動しているような場合でも、動画像を受信する側でユーザが重要領域を容易に指定できるようにし、さらに、重要領域の画質を高めた画像伝送を実現する技術を提供するものである。

上記目的を達成するために、本発明による画像処理システムは、複数のフレーム画像を符号化して符号化画像を出力する第１の画像処理装置と、当該第１の画像処理装置から前記符号化画像を受信し、復号化する第２の画像処理装置と、を有している。ここで、第１の画像処理装置は、入力画像を符号化する符号化部と、第２の画像処理装置から画素情報を受信する受信部と、入力画像中の領域の重要度を判定する第１の重要度判定部と、第１の重要度判定部によって得られた重要領域の情報と、第２の画像処理装置からの情報と統合する重要度統合部と、を有する。一方、第２の画像処理装置は、符号化画像を復号化し、復号画像を生成する復号化部と、復号画像を表示するための表示装置と、表示装置によって表示された復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を取得する情報取得部と、取得した画素情報のうち、指定された箇所の画素情報を含む領域を重要領域として判定する第２の重要度判定部と、重要と判定された領域に関する画素情報を第１の画像処理装置へ送信する送信部と、を有する。また、重要度統合部は、第２の画像処理装置から重要と判定された領域に関する画素情報を受信した場合、第１の重要度判定部によって得られた重要領域の情報と、第２の画像処理装置からの重要と判定された領域に関する画素情報に基づく重要領域の情報とを統合して統合情報を生成する。符号化部は、重要度統合部からの統合情報に基づいて、入力画像の中で重要と判定された領域以外の領域の画質を劣化させ、画像を符号化する。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本発明によれば、動画像内で被写体が大きく移動しているような場合でも、動画像を受信する側でユーザが重要領域を容易に指定できるようになり、さらに、重要領域の画質を高めた画像伝送を実現することができるようになる。

一般的な領域重要度判定処理を説明するための図である。 単純な重要領域指定の概要を説明するための図である。 本発明の実施形態による画像処理システムの概略構成を示す図である。 本発明の実施形態で実行される処理のシーケンス（例）を説明するための図である。 重要領域の意義（具体例）を説明するための図である。 情報取得部（１１８）によって実行される情報取得処理の例を説明するための図である。 優先すべき画素情報の変更処理の概要を説明するための図である。 本発明の実施形態による重要度統合部（１１３）の詳細構成を示す図である。 本発明の実施形態による画像処理の手順（例）を説明するためのフローチャートである。

本発明は、動画像内で被写体が大きく移動しているような場合でも、動画像を受信する側でユーザが重要領域を容易に指定できるようにし、さらに、重要領域の画質を高めた画像伝送を実現する技術を提供するものである。

以下、添付図面を参照して本発明の実施形態について説明する。また、各図において共通の構成については同一の参照番号が付される。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

＜領域重要度判定処理＞
図１は、一般的な領域重要度判定処理を説明するための図である。図１（ａ）は、表示画面（２０１）に、ユーザにとって重要な対象（２０２）である「船舶」と、対象外（２０３）の「波」が映っていることを示している。

ここで、一般的な画像認識技術を用いて対象（２０２）が映っている領域を自動的に認識し、上述のように対象（２０２）が映っている領域を重要領域（２０６）、対象（２０２）が映っていない領域を非重要領域（２０７）と判定されるように、入力画像のみに基づいて重要度判定（２０４）を行う。このとき、重要か非重要かを判定する単位として、画素単位としてもよいし、隣接する複数の画素を一纏めにしたブロック単位としてもよい。例えば、ＩＴＵ−Ｔ Ｈ．２６４等の動画像符号化方式では、画面全体を１６画素×１６画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行うため、重要か非重要かを判定する単位として、図１（ｂ）に示すように符号化単位と合わせた１６画素×１６画素のブロック（２０５）としてもよい。

＜単純な重要領域指定の概要とその課題＞
図２は、単純な重要領域指定の概要を説明するための図である。また、図２は、図１で示した技術を、映像監視装置として利用する一例を示している。

図２において、例えば、自動操縦あるいは遠隔地からリモートで手動操縦される無人の飛行機（３０１）に撮像装置（３０４）が装備されている。そして、対象（３０２）を撮像装置（３０４）で撮影した動画像を画像符号化装置（３０３）において前処理（３０５）を行った後に符号化（３０６）して、下り回線によって監視所（３０７）に符号化データを伝送する。このとき前処理（３０５）では、一般的な画像認識技術を用いて対象（３０２）が映っている領域を自動的に認識して重要領域と非重要領域を判定するとともに、後述のように、非重要領域の符号化データサイズを大きく削減させるために、非重要領域の画質を意図的に劣化させる。監視所（３０７）では、アンテナ（３０８）で符号化データを受信し、復号化（３０９）して動画像に戻し、表示装置（３１０）で表示する。

ここで、上述のように、画像認識技術の精度不足を補うために、重要領域の抽出を自動的に行うのみならず、人間が重要と判断する領域をユーザが指定する機能を備えることが重要である。このため、監視所（３０７）において、ユーザが表示装置（３１０）の画面を目視し、重要領域を手動で指定するように操作部（３１２）を操作することを想定する。このとき、操作部（３１２）として一般的なキーボードやマウス等のポインティングシステムを用い、画面内に映った対象（３０２）の位置（座標）を指定する。操作部（３１２）によって指定された位置情報は、上り回線を用いて飛行機（３０１）に伝送し、後述のように、前処理（３０５）における図示しない重要領域判定の特性を変更して、対象（３０２）が映っている領域を重要領域と判定されやすくする。

しかしながら、撮影装置（３０４）で対象（３０２）を撮影してから、監視所（３０７）の表示装置（３１０）で表示し、ユーザが目視および操作（３１１）した結果を飛行機（３０１）内の前処理（３０５）に反映するまでの間に、前処理、符号化、伝送（下り、および上り）、復号化、表示、ユーザの判断、を行うための時間が必要である（遅延時間が発生）。このとき、同図に示す表示画面（３１３）に映る画面上の対象の位置（３１４）をユーザが指定しても、上述した遅延時間が原因となって、実時間の撮影画面（３１５）の上では、対象と異なる画面上の位置（３１６）を指定してしまうことになる。また、気流の変化や振動などによって飛行機（３０１）の方向が小刻みに大きく揺れたり、対象（３０２）がすばやく大きく動いたりすると、表示画面（３１３）の上で対象（３０２）がすばやく大きく動くことになるため、ユーザが目視しながら対象（３０２）が映っている位置を指定することも困難になる。

＜画像処理システムの構成＞
上述の課題を解決するために、本発明の実施形態では、以下に述べるような構成を有するシステムを提案する。

図３は、本発明の実施形態による画像処理システムの概略構成を示す図である。図３において、撮像装置（１０１）によって得た複数のフレーム画像を、画像符号化装置（１０２）によって符号化データに変換し、下り回線を経由して、画像復号化装置（１０３）に伝送する。画像復号化装置（１０３）にて再生した画像は、表示装置（１０４）において表示される。また、後述のように、画像復号化装置（１０３）は、操作部（１０５）から得た情報を基づいて、画像の重要度を判定し、その結果（画素情報）を上り回線を経由して画像符号化装置（１０２）に伝送する。

画像符号化装置（１０２）は、画像入力部（１０６）から入力された画像を、後述する重要度統合部（１１３）の結果に基づき、非重要と判定された領域の画質を前処理部（１０７）の中の画質劣化部（１０８）にて意図的に劣化させるとともに、重要と判定された領域の画質は変化させずに、符号化部（１１０）にて符号化し、符号化データ出力部（１１１）から出力する。このとき、画質劣化部（１０８）は、一般的な空間ローパスフィルタ（水平方向および垂直方向からなる２次元ローパスフィルタ）によってぼかす処理を加えたり、非重要と判定された領域をさらに細かく分割したブロック単位で同一の単一色（代表色）とするモザイク処理を加えたり、非重要と判定された領域の全体を単一色（例えば黒など）で塗りつぶす処理を加えたりすればよい。これらの処理は、一般的な公知技術によって容易に実現可能なため、図示は省略する。

このような画質劣化処理を施した領域（すなわち、非重要領域）では、画質を変化させていない領域（すなわち、重要領域）と比べて高精細成分（高周波成分）が少ない、あるいは高精細成分（高周波成分）を完全に含まないため、符号化データを大きく削減することができる。画質劣化処理を施した領域（すなわち、非重要領域）と、画質を変化させていない領域（すなわち、重要領域）とは、合成部（１０９）で二値的に切り替えてもよいし、合成部（１０９）で連続的（多値的）に変化する重み係数を利用した加重加算によって徐々に切り替え、両領域の境界部分を目立たなくしてもよい。

画像復号化装置（１０３）では、復号化部（１１５）は、符号化データ入力部（１１４）から入力された符号化データ（画像符号化装置（１０２）から伝送されてきた符号化データ）から、画像を再生し、画像出力部（１１６）を経由して表示装置（１０４）に出力する。また、情報取得部（１１８）は、ユーザが操作部（１０５）を用いて入力した情報（例えば、操作部（１０５）によって操作（クリック）された画像部分の位置情報）を情報入力部（１１７）から取得し、復号化部（１１５）で再生した画像とともに、後述する復号化側重要度判定部（１１９）に入力する。

復号化側重要度判定部（１１９）の結果（重要領域の画素情報：例えば、色情報や輝度情報が用いられる。これら以外の画像特徴量、例えば、エッジ情報（エッジの方向）、コーナー情報、周波数分布情報等であっても良い。）は、送信部（１２０）によって送信できる信号形式に変換されたのちに、情報出力部（１２１）を経由して、上り回線を経由して画像符号化装置（１０２）に伝送される。

また、情報取得部（１１８）は、復号化部（１１５）で再生した画像と情報入力部（１１７）から入力された情報を、後述するようなユーザが理解しやすい画像として合成し、画像出力部（１１６）に出力する。

なお、上述した画質劣化部（１０８）、合成部（１０９）、符号化部（１１０）、復号化部（１１５）、送信部（１２０）については、一般的な公知技術によって容易に実現可能なため、図示は省略する。

＜処理のシーケンス＞
図４は、本発明の実施形態で実行される処理のシーケンス（例）を説明するための図である。図４は、上述した各部の動作を、時間の流れに沿って説明した図である。

図４において、画像符号化装置（１０２）では、まず、入力されるフレームごとに符号化（４０１）（４０２）（４０３）を行う。このとき、フレームごとに独立した符号化処理を行ってもよいし、過去に入力されたフレームを併用して符号化処理を行ってもよい。同様に、画像復号化装置（１０３）でも、まずは、伝送された符号化データを用いて復号化（４０４）（４０５）を行う。これらの符号化（４０１）（４０２）（４０３）および復号化（４０４）（４０５）の動作については、一般的な公知技術による各動作と同一のため、図示は省略する。

ここで、同図に示す符号化（４０２）のデータに着目する。この符号化データは、下り回線を経由して画像復号化装置（１０３）に伝送され、復号化（４０５）によって再生画像となる。この再生画像は、図３に示した表示装置（１０４）において表示される。そして、ユーザが表示画面を目視しながら重要領域（対象が映っている領域）を指定すると、図３に示した操作部（１０５）および情報取得部（１１８）を介して、情報取得（４０６）を行う。ここで得た情報と再生画像を用いて図３に示した復号化側重要度判定部（１１９）にて重要度判定（４０７）を行い、その結果を上り回線を経由して画像符号化装置（１０２）に伝送する。なお、ユーザの操作は復号処理の度に行われるものではなく、例えば、表示装置（１０４）の表示画面に表示されている画像（対象物の画像、つまり重要領域）の画質が劣化（ぼやけてくる）してきたら再度ユーザが入力操作をすればよい。従って、情報取得（４０６）及び重要度判定（４０７）は、ユーザの入力操作に応答して実行されるものであり、復号化処理の度に実行されるものではない。なお、ユーザに入力操作を促すための所定フレーム数を予め決めておき、所定フレーム数の復号化処理が行われた場合に、ユーザに情報入力（重要領域の指定操作）を促すようにしても良い。

その後は、上り回線で伝送された情報と撮影画像を用いて、図３に示した画像符号化装置（１０２）の中の重要度統合部（１１３）にて重要度を統合して判定し、図３に示す前処理部（１０７）で非重要領域の画質を意図的に劣化させる前処理および符号化（４０９）を行う。

＜情報取得処理及び復号化側重要度判定処理＞
図５乃至図７を用いて、図３に示した情報取得部（１１８）および復号化側重要度判定部（１１９）の動作を、以下詳しく説明する。

（i）重要領域の意義（具体例）
図５は、重要領域の意義（具体例）を説明するための図である。図５は、図３に示した表示装置（１０４）における表示画面を示したものである。図５には、一例として、ユーザにとって重要な対象（５０６）である「船舶」と、対象外（５０７）の「水面」が映っていることが示されている。

図５において、例えば、船体は第１の色（５０１）、上部構造物（キャビン）は第２の色（５０２）、旗は第３の色（５０３）で塗られているものとする。また、水面の大部分は第４の色（５０４）であり、波は第５の色（５０５）と仮定する。

このとき、ユーザにとって重要な対象（５０６）である「船舶」は、第１乃至第３の色であるため、これらの色が表示されている領域を、優先的に重要領域として抽出されやすくし、それ以外の色（すなわち、第４あるいは第５の色）が表示されている領域は重要領域として抽出されにくくする（すなわち、非重要領域として抽出されやすくする）ようにすれば、本発明の目的を達成することができる。

この動作を実現するために、図３に示した復号化側重要度判定部（１１９）は、復号された画像に含まれる画素情報（色情報、輝度情報、エッジ情報（エッジの方向）、コーナー情報、周波数分布情報等の画像特徴量）と情報取得部（１１８）から得た位置情報を用いて、重要と判定された領域に関する情報を抽出し、図３に示した重要度統合部（１１３）に伝送する。

重要度統合部（１１３）は、伝送された重要と判定された領域に関する情報と、図３に示した画像入力部（１０６）から入力された画像の両方を用いて重要度を統合して判定することにより、画像認識技術の精度不足を補うことができるようになる。

なお、図５は、説明のための例示であり、対象（５０６）や対象外（５０７）の種類や色数などは、上記に限定されるものではない。

（ii）情報取得処理の内容
図６は、情報取得部（１１８）によって実行される情報取得処理の例を説明するための図であり、図３に示した情報取得部（１１８）の動作に基づいて表示される表示画面（６０１）の一例を示している。具体的には、図６には、ユーザが、表示画面（６０１）に映る対象（船舶）を目視しながら、図３に示す操作部（１０５）を操作して、画面上の対象の位置（６０２）を指定した状況が示されている。

一般に、対象が画面上で静止していれば、対象の位置を指定するのは容易である。しかしながら、上述したように、対象が激しく動いている場合には、対象の位置を指定するのは困難である。

そこで、情報取得部（１１８）は、指定された位置（６０２）の周辺（Ａ，Ｂ，Ｃ…）の画素情報を任意の順番で、表示画面（６０１）の上の邪魔にならない位置（例えば、図６に示されるように、画面の右端の領域）に、画素情報テーブル（６０３）としてまとめて表示する。そして、情報取得部（１１８）は、予め定められた数（例えば上位３件、すなわちＡ，Ｂ，Ｃ）の画素情報を含む領域を、優先的に重要領域として抽出されやすくなるように、図３に示した復号化側重要度判定部（１１９）の動作を制御すればよい。この画素情報として、画面を細かく分割したブロック単位で同一の単一色（代表色）などを用いることができる。さらに、このブロックは、上述した符号化単位のブロック（１６画素×１６画素のマクロブロック）と一致させてもよいし、符号化単位のブロックよりも小さい単位（８画素×８画素のブロック）や大きい単位（３２画素×３２画素のブロック）としても良い。なお、符号化単位と同一のブロックサイズとすることにより、処理の効率化を図ることができる。

また、画素情報テーブル（６０３）を表示する位置は、表示画面（６０１）の上下左右のいずれかの端でもよいし、別の表示ウインドウを画面上にポップアップ表示してもよい。また、ユーザによって指定された位置（６０２）位置（同図におけるＡの位置）に近いブロックを、画素情報テーブル（６０３）の中で目立ちやすい位置（上位）に表示してもよい。このとき、例えば、Ａの位置を中心として、図６に示すような渦巻き状の順番で、Ｂ，Ｃ，Ｄ…の位置の画素情報を画素情報テーブル（６０３）の上位から順に表示してもよいし、Ａ，Ｈ，Ｇ，…のような順番で画素情報テーブル（６０３）に並べても良い。

（iii）優先すべき画素情報の変更処理
図７は、優先すべき画素情報の変更処理の概要を説明するための図であり、表示されている、画面上の対象の位置（６０２）の周辺の位置（Ａ，Ｂ，Ｃ…）の画素情報（図６参照）を、画素情報テーブル（６０３）にまとめて表示したあとの動作を示している。

ユーザが図６に示したＡの位置（６０２）を指定したとしても、図７（ａ）に示すように、表示画面（７０１）の上では実際の対象（７０２）の位置が動いてしまっている場合がある。このような場合でも、対象の一部（船体）が同図におけるＧの位置に映っており、Ｇの位置（ブロック）が対象（船舶）の船体部分（重要領域）に相当するため、Ｇの位置の画素情報（７０４）が画素情報テーブル（７０３）において優先的に表示されることが望ましい。

そこで、図７（ａ）に示す画素情報テーブル（７０３）の中のＧの位置の画素情報（７０４）をユーザが改めて指定することにより、図７（ｂ）に示す画素情報テーブル（７０６）のように、Ｇの位置の画素情報を上位に移動するとともに、元のＧの位置よりも上位にあった位置（Ａ，Ｂ，Ｃ…Ｆ）の画素情報をひとつずつ下位に移動する処理を図３に示す情報取得部（１１８）にて行うことにする。この処理により、予め定められた数（例えば上位３件、すなわち図７（ｂ）に示すＧ，Ａ，Ｂ）の画素情報を含む領域が、優先的に重要領域として抽出されやすくなるため、結果的に、図７（ｂ）に示す対象の一部（船体）の領域（７０７）を重要領域として抽出されやすくすることができる。同様に、画素情報テーブル（７０６）の中の所望の画素情報をユーザが指定すれば、船体以外の対象（すなわち、上部構造物や旗）なども重要領域として抽出されやすくすることができる。なお、改めて指定されたＧの位置を中心にして、Ｇの位置のブロックの周辺にある所定数のブロックの画素情報を画素情報テーブル（７０３）に並べて表示するようにしても良い。この場合、先に表示した画素情報テーブル（７０３）に含まれるブロックの画素情報（例えば、ブロックＢ，Ｃ，Ｄ，及びＥの画素情報）が新たな画素情報テーブル（７０３）には含まれないことになる。

なお、上述のように、画素情報は、色情報、輝度情報、エッジ情報（エッジの方向）、コーナー情報、周波数分布情報等の少なくとも１つを含む画像特徴量であるため、領域（７０７）の画像特徴量の情報が、重要領域の画素情報として送信部（１２０）から画像符号化装置（１０２）に送られることになる。

＜重要度統合処理＞
図８は、本発明の実施形態による重要度統合部（１１３）の詳細構成を示す図である。
図８（ａ）に示されるように、符号化側重要度判定部（８０１）は、図３に示した画像入力部（１０６）から入力された画像（ｂ）（図８（ｂ）に対応）を用いて、重要領域（ｃ）（図８（ｃ）に対応）を抽出する。符号化側重要度判定部（８０１）は、例えば、機械学習を用いた画像認識技術（例えば、ブースティング（Adaboost）、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、等）によって実現でき、一般的な公知技術によって容易に実現可能なため、図示は省略する。また、機械学習を用いないで重要度を判定する技術として、例えば、非特許文献１に記載の技術を用いてもよい。この技術は、人間の視覚的注意に基づいて顕著性の情報を取得し、顕著性が高い領域が重要であると推定する技術である。この技術では、入力画像に含まれる輝度、色、エッジ方向の各特徴量の不連続部分が視覚的に注意を引くと仮定し、これらの各特徴量に対して多解像度ピラミッドを構成し、解像度ごとに特徴量の不連続度合いを計算して、ひとつに統合することで、最終的な顕著性の情報としている。

図８（ｂ）は入力された画像の一例を示し、図８（ｃ）は重要度の判定結果の一例を示している。ここでは、水面の「波」などの画像変動によって対象（船舶）の中の船体は画像認識できず、画像変動の少ない上部構造物と旗が画像認識によって重要領域と判定された場合を一例として示している。

一方、図７（ｂ）を用いて説明したように、図３に示した復号化側重要度判定部（１１９）によって対象（船舶）の一部（船体）の領域（７０７）が持つ画素情報が抽出され、これを重要と判定された領域に関する情報として、図８（ａ）に示す重要度統合部（１１３）に入力される。

重要度統合部（１１３）において、重要領域抽出部（８０２）は、重要と判定された領域に関する情報（画像特徴量の情報）を用いて、入力された画像（ｂ）の中から重要領域（ｄ）を抽出する。抽出された重要領域の一例を、図８（ｄ）に示す。なお、具体的には、重要領域抽出部（８０２）は、重要と判定された領域に関する情報（画像特徴量の情報）と一致するブロックのアナログ値を出力する。

そして、加算器（８０３）は、上述した重要領域（ｃ）と重要領域（ｄ）を加算（加重加算）し、重要度統合結果（ｅ）として出力する。信号（ｃ）と信号（ｄ）の加算の比率は予め設定されている。例えば、信号（ｃ）と信号（ｄ）を平等に評価する場合に加重加算の比率は１：１であり、信号（ｄ）を重視する場合には比率を例えば１：２とする。また、最終的に表示装置１０４に表示される画像の状態を見てユーザは当該比率を自由に設定変更することができる。この加重加算処理により、例えば、重要度判定部（８０１）で非重要領域（例えば、海）であると自動的に判定したとしても色情報等から重要領域（例えば、船体）であると判定されれば、非重要領域と判定された部分に「値」を上乗せし、後の処理による閾値判定によって非重要領域（海）が重要領域（船体）と判断されるようにすることが可能となる。この重要度統合結果の一例は、図８（ｅ）に示される通りである。

＜画像処理の手順＞
図９は、本発明の実施形態による画像処理の手順（例）を説明するためのフローチャートである。図９（ａ）は画像符号化装置側の処理を、図９（ｂ）は画像復号化装置側の処理を、図９（ｃ）はステップ（９１３）の詳細処理を説明するためのフローチャートである。

（i）画像符号化装置側の処理
図９（ａ）において、ステップ（９０１）にて処理が開始し、ステップ（９０２）において画像符号化装置（１０２）は、入力されたフレーム画像を取得する。

ステップ（９０３）において、重要度判定部（８０１）は、画像中の領域ごとに重要度を判定する。この重要度を判定する方法として、機械学習を用いた画像認識技術（例えば、ブースティング（Adaboost）、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、等）を用いてもよいし、前述の非特許文献１に記載の技術を用いてもよい。

続いて、ステップ（９０４）において、重要度統合部（１１３）は、ステップ（９０３）の出力（重要度）と後述する復号化ステップ（図９（ｂ））からの情報を統合する。具体的には、ステップ（９０５）において、重要領域抽出部（８０２）は、図９（ｂ）を用いて後述する復号化側の処理によって得られた情報（重要と判定された領域に関する情報：色や輝度等の画像特徴量の情報）の有無を判定する。該情報がある場合には、ステップ（９０６）において、加算部（８０３）は、該情報と対応する位置（画像中の座標）の重要度を重みづけして、ステップ（９０３）の出力と重要度抽出部（８０２）によって抽出された信号とを加重加算して重要度統合結果を生成し、処理をステップ（９０７）に移行させる。一方、画像復号装置側から重要と判定された領域に関する情報が提供されない場合には、重要度判定部（８０１）の結果が重要度統合処理結果となり、処理はそのままステップ（９０７）に移行する。

ステップ（９０７）において、合成部（１０９）は、ステップ（９０４）で得られた重要度統合処理結果の情報に基づいて、ステップ（９０２）で取得した画像フレーム中の重要でないと判定された領域の画質を劣化させ、合成画像を生成する。或いは、合成部（１０９）は、劣化処理された非重要領域についての画像と、入力されたままの重要領域についての画像とを合成して合成画像を生成するようにしても良い。

その後、ステップ（９０８）において、符号化部（１１０）は、画像フレームを符号化し、図９（ｂ）に示す画像復号化装置側に伝送して、処理を終了する（ステップ（９０９）。

（ii）画像復号化装置側の処理
図９（ｂ）において、ステップ（９１０）で処理が開始し、ステップ（９１１）において、画像復号化装置（１０３）は、画像符号化装置（１０２）から伝送されてきた画像データ（符号化データ）を復号化して表示装置（１０４）の画面上に表示する。この表示画像をユーザが目視し、もし画面内に重要な対象が映っていれば、キーボードやマウス等のポインティングシステムを用いて、その対象の位置（座標）を指定する。前述のように、このユーザによる指定操作は、所定間隔毎に１回、及び／又は、ユーザが画面上に表示される重要領域にずれを感じた場合に、行われるものである。

ステップ（９１２）において、情報取得部（１１８）は、ユーザによって指定された箇所の有無を判定する。指定された箇所がある場合には、処理はステップ（９１３）に移行する。一方、指定された箇所が無い場合には、処理は終了する（ステップ（９１６））。

ステップ（９１３）において、情報取得部（１１８）は、ユーザによって指定された箇所（ブロック）の周辺にある所定数のブロックの画素情報を取得する。なお、ステップ（９１３）の詳細については後述する（図９（ｃ））。

続いて、ステップ（９１４）において、重要度判定部（１１９）は、取得された画素情報のうち指定された画素情報を含む領域を重要と判定する（例えば、図７（ｂ）で示される領域（７０７））。

そして、ステップ（９１５）において、送信部（１２０）は、重要と判定された領域に関する情報を画像符号化装置（１０２）側に伝送し、処理を終了させる（ステップ（９１６））。伝送された情報は、画像符号化装置（１０２）における符号化側処理（図９（ａ））で用いられる。

（iii）ステップ（９１３）の処理の詳細
図９（ｃ）は、ステップ（９１３）の処理内容の詳細（例）を説明するためのフローチャートである。

ステップ（９１３）にて指定された箇所の周辺の画素情報を取得する際に、ステップ（９１３１）で処理が開始し、ステップ（９１３２）において、情報取得部（１１８）は、ユーザによって指定された箇所の周辺の画素情報の一覧を表示する。これは、前述した図６に示す表示画面（６０１）のように、画素情報の一覧（６０３）を表示すればよい。

続いて、ステップ（９１３３）において、情報取得部（１１８）は、予め設定した時間内に該一覧の中で指定された画素情報が有るか無いかを確認する。ここで、例えば、予め設定した時間を「３秒間」としたとすると、「３秒間」の間にユーザが該一覧の中の画素情報を指定した場合に、処理はステップ（９１３４）に移行する。一方、「３秒間」の間にユーザの指定が無い場合には、処理は終了する（ステップ（９１３５）。

ステップ（９１３４）において、情報取得部（１１８）は、「３秒間」の間にユーザが指定した画素情報を、画素情報一覧の中の優先順位を上位に移動する。これは、前述した図７（ｂ）のように、ユーザが指定した画素情報（図７（ｂ）におけるＧの位置の画素情報）を一覧（７０６）の上位に移動することに相当する。

ステップ（９１３４）の後は、処理は再びステップ（９１３２）に戻り、優先順位変更後の画素情報一覧が表示される。このように、ユーザによる画素情報を１回以上指定できるように処理方法を構成することにより、対象が激しく動くなどの理由によって、１回のみの画素情報の指定ではユーザが意図した画素情報を取得できなかった場合にも、ユーザの本来の意図どおりの画素情報を取得できるようになる。

以上のように、図９（ａ）に示した符号化処理と、図９（ｂ）に示した復号化処理で実行する画像処理方法により、ユーザが指定した重要領域に非重要領域よりも重相対的に多くの符号化データを割り当てることができるようになるため、重要領域の画質を高めた画像伝送を実現できる。

以上の説明では、本発明を無線通信に用いることを例に挙げ、通信環境が悪い、または伝送帯域の変動が激しい通信環境を想定して説明したが、本発明はこれに限定されるわけではなく、有線通信か無線通信かに関わらず、また通信環境の良し悪しに関係なく、そのまま用いることができる。

＜まとめ＞
（i）以上説明した本発明の実施形態によれば、動画像内で被写体が大きく移動しているような場合でも、動画像を受信する側でユーザが重要領域を容易に指定できる技術を実現できる。また、ユーザによって重要領域と一旦指定された領域は、その後も自動的に重要領域と判定されやすくなる。また、このように安定した重要領域判定の結果を用いて、非重要領域の画質を意図的に劣化させた後に符号化することにより、非重要領域よりも重要領域の方に相対的に多くの符号化データを割り当てることができるようになるため、重要領域の画質を高めた画像伝送を実現できる。

（ii）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、データを管理する機能を有するコンピュータ化ストレージシステムに於いて、単独又は如何なる組み合わせでも使用することが出来る。

１０１・・・撮像装置
１０２・・・画像符号化装置
１０３・・・画像復号化装置
１０４・・・表示装置
１０５・・・操作部
１０７，３０５・・・前処理部
１１３・・・重要度統合部
１１９，８０１・・・重要度判定部
１１８・・・情報取得部
６０３，７０３，７０６・・・画素情報テーブル

Claims (13)

1. 複数のフレーム画像を符号化して符号化画像を出力する第１の画像処理装置と、当該第１の画像処理装置から前記符号化画像を受信し、復号化する第２の画像処理装置と、を有する画像処理システムであって、
   前記第１の画像処理装置は、
   入力画像を符号化する符号化部と、
   前記第２の画像処理装置から画素情報を受信する受信部と、
   前記入力画像中の領域の重要度を判定する第１の重要度判定部と、
   前記第１の重要度判定部によって得られた重要領域の情報と、前記第２の画像処理装置からの情報と統合する重要度統合部と、を有し、
   前記第２の画像処理装置は、
   前記符号化画像を復号化し、復号画像を生成する復号化部と、
   前記復号画像を表示するための表示装置と、
   前記表示装置によって表示された前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を取得する情報取得部と、
   前記取得した画素情報のうち、指定された箇所の画素情報を含む領域を重要領域として判定する第２の重要度判定部と、
   前記重要と判定された領域に関する画素情報を第１の画像処理装置へ送信する送信部と、を有し、
   前記重要度統合部は、前記第２の画像処理装置から前記重要と判定された領域に関する画素情報を受信した場合、前記第１の重要度判定部によって得られた重要領域の情報と、前記第２の画像処理装置からの前記重要と判定された領域に関する画素情報に基づく重要領域の情報とを統合して統合情報を生成し、
   前記符号化部は、前記重要度統合部からの前記統合情報に基づいて、前記入力画像の中で重要と判定された領域以外の領域の画質を劣化させ、画像を符号化し、
   前記情報取得部は、前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を前記表示装置に出力し、
   前記表示装置は、前記情報取得部から取得した前記指定箇所及び当該指定箇所の周辺領域の画素情報の一覧を、前記指定箇所の画素情報を最優先情報として、及び、前記周辺領域の画素情報を所定の順番で、表示することを特徴とする、画像処理システム。
2. 請求項１において、
   前記情報取得部は、一覧表示された前記画素情報のうち、最初に指定された前記指定箇所とは別の、改めて指定された箇所の画素情報を前記最優先情報として表示するように前記表示装置に通知することを特徴とする画像処理システム。
3. 請求項２において、
   前記情報取得部は、前記改めて指定された箇所以外の箇所の画素情報の表示順番を繰り下げることを特徴とする画像処理システム。
4. 請求項１乃至３の何れか１項において、
   前記画素情報は、色情報、輝度情報、エッジ情報、コーナー情報、及び周波数分布情報のうち少なくとも１つを含む画像特徴量であることを特徴とする画像処理システム。
5. 請求項１乃至４の何れか１項において、
   前記情報取得部が画素情報を取得するフレーム画像は、前記重要と判定された領域以外の領域の解像度を下げて符号化するフレーム画像とは異なることを特徴とする画像処理システム。
6. 請求項１乃至５の何れか１項において、
   前記第１の重要度判定部は、画像特徴量の不連続度合いを計算することによって顕著性の情報を取得し、当該顕著性が高い領域を重要と判定することを特徴とする画像処理システム。
7. 請求項１乃至６の何れか１項において、
   前記重要度統合部は、前記第１の重要度判定部によって得られた重要領域の情報と、前記第２の画像処理装置からの前記重要と判定された領域に関する画素情報に基づく重要領域の情報とを、所定の比率で加重加算して前記統合情報を生成することを特徴とする画像処理システム。
8. 第１の画像処理装置が複数のフレーム画像を符号化して符号化画像を出力し、第２の画像処理装置が前記第１の画像処理装置から前記符号化画像を受信し、復号化する、画像処理方法であって、
   前記第１の画像処理装置は、符号化部と、受信部と、第１の重要度判定部と、重要度統合部と、を有し、前記第２の画像処理装置は、復号化部と、表示装置と、情報取得部と、第２の重要度判定部と、送信部と、を有し、
   前記画像処理方法は、
   前記第１の重要度判定部が、入力画像中の領域の重要度を判定するステップと、
   前記受信部が、前記第２の画像処理装置から重要と判定された領域に関する画素情報を受信するステップと、
   前記重要度統合部が、前記第２の画像処理装置から前記重要と判定された領域に関する画素情報を受信した後、前記第１の重要度判定部によって得られた重要領域の情報と、前記第２の画像処理装置からの画素情報に基づいて判定される重要領域の情報とを統合して統合情報を生成するステップと、
   前記符号化部が、前記重要度統合部からの前記統合情報に基づいて、前記入力画像の中で重要と判定された領域以外の領域の画質を劣化させ、画像を符号化して符号化画像を出力するステップと、
   前記復号化部が、前記符号化画像を復号化し、復号画像を生成するステップと、
   前記表示装置が、前記復号画像を表示するステップと、
   前記情報取得部が、前記表示装置によって表示された前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を取得するステップと、
   前記第２の重要度判定部が、前記取得した画素情報のうち、指定された箇所の画素情報を含む領域を重要領域として判定するステップと、
   前記送信部が、前記重要と判定された領域に関する画素情報を第１の画像処理装置へ送信するステップと、
   前記情報取得部が、前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を前記表示装置に出力するステップと、
   前記表示装置が、前記情報取得部から取得した前記指定箇所及び当該指定箇所の周辺領域の画素情報の一覧を、前記指定箇所の画素情報を最優先情報として、及び、前記周辺領域の画素情報を所定の順番で、表示するステップと、
   を含むことを特徴とする画像処理方法。
9. 請求項８において、さらに、
   前記情報取得部が、一覧表示された前記画素情報のうち、最初に指定された前記指定箇所とは別の、改めて指定された箇所の画素情報を前記最優先情報として表示するように前記表示装置に通知するステップを含むことを特徴とする画像処理方法。
10. 請求項９において、
    前記情報取得部は、前記改めて指定された箇所以外の箇所の画素情報の表示順番を繰り下げることを特徴とする画像処理方法。
11. 請求項８乃至１０の何れか１項において、
    前記画素情報は、色情報、輝度情報、エッジ情報、コーナー情報、及び周波数分布情報のうち少なくとも１つを含む画像特徴量であることを特徴とする画像処理方法。
12. 請求項８乃至１１の何れか１項において、
    前記情報取得部が画素情報を取得するフレーム画像は、前記重要と判定された領域以外の領域の解像度を下げて符号化するフレーム画像とは異なることを特徴とする画像処理方法。
13. 請求項８乃至１２の何れか１項において、
    前記第１の重要度判定部は、画像特徴量の不連続度合いを計算することによって顕著性の情報を取得し、当該顕著性が高い領域を重要と判定することを特徴とする画像処理方法。

Images