JP7249766B2 - 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、システム、情報処理装置の制御方法、及び、プログラムに関する。

近年ネットワークカメラでは特定の領域は高画質で、その他の領域は低画質で配信することで効率よくデータ量の削減を可能とするものが多くなってきている。これらの配信の例について図２（Ａ）を参照して説明する。図２（Ａ）において画像２００は画角全体を同一の画質で撮影した場合の画像の一例を示している。画像２００は、ドア２０１から出入りする人を主に監視するために設定したカメラにより撮影された画像である。画像２１０は、同一の画角において特定の領域を高画質で、その他の領域を低画質で撮影した画像の一例を示している。枠線２１１は高画質で撮影される特定の領域を示している。説明の便宜上点線で明確に示したが実際の画像には枠線は表示されていなくてもよい。このとき枠線２１１の枠内領域の画像２１２は高画質に、枠外領域の画像２１３は低画質になっている。

このように、監視目的において重要な領域を予め指定して画像を生成することで、重要な領域を高画質で、それ以外の領域は低画質で配信することが可能となり、配信する画像のデータ量を削減することが可能となる。このような機能のことを本明細書ではＡＤＳＲ（Area-specific Data Size Reduction：エリア固有データサイズ削減）と呼ぶこととする。このようなＡＤＳＲ機能を用いた画像を配信するネットワークカメラとして、特許文献１には顔領域を高画質で配信可能なネットワークカメラが記載されている。

特開２０１１－８７０９０号公報

しかしながら、上述の技術についてデータ量削減の効果を追求しようとする場合、指定範囲外の領域の画像の画質をさらに低下させることとなり、高画質領域と低画質領域との差が拡大され、画像が見にくくなるという結果を招いてしまう。

そこで本発明は、ＡＤＳＲにより生成された高画質領域と低画質領域とが含まれる画像について、画質差が大きい場合であっても見やすさを改善するための技術を提供する。

上記課題を解決するための発明は、情報処理装置であって、
第１の画質を有する第１の領域と、前記第１の画質よりも低い第２の画質を有する前記第１の領域以外の第２の領域とを含む処理対象画像について、前記第１の画質と前記第２の画質との画質の差が所定以上であるかを判定する判定手段と、
前記判定手段が、前記第１の画質と前記第２の画質との差が所定以上であると判定した場合に、前記第２の領域を前記第２の画質よりも高い第３の画質を有する画像に変換する変換手段と、
前記第３の画質を有する変換後の画像と、前記第１の領域の画像とを用いて合成画像を生成する合成手段と、
前記第２の領域において動体を検出する検出手段と、を備え、
前記変換手段は、前記第２の領域のうち、検出された前記動体を含む一部の領域の画像を前記第３の画質を有する画像に変換し、
前記合成手段は、前記第３の画質を有する変換後の画像と、前記処理対象画像とを用いて前記合成画像を生成する。

本発明によれば、ＡＤＳＲにより生成された高画質領域と低画質領域とが含まれる画像について、画質差が大きい場合であっても見やすさを改善するための技術を提供することができる。

発明の実施形態に対応する監視システム１００の構成例を示す図。 ＡＤＳＲを説明するための図、及び、発明の実施形態に対応する情報処理装置１２０のハードウェア構成の一例を示す図。 発明の実施形態に対応する、画質設定とデータ量削減率とに応じた特定領域内外の画質の割り当ての一例のテーブルを示す図。 発明の実施形態に対応するヘッダ情報のデータ構成の一例を示す図、及び、画像の構成の一例を説明するための図。 発明の実施形態に対応する学習データの一例を示す図。 発明の実施形態に対応する学習データの他の一例を示す図。 発明の実施形態に対応するＤＬシステム１２３における処理を説明するための図。 発明の実施形態１に対応する設定画面の一例を示す図。 発明の実施形態１に対応する合成画像の生成方法を説明するための図。 発明の実施形態１に対応する処理の一例を示すフローチャート。 発明の実施形態２に対応する設定画面の一例を示す図。 発明の実施形態２に対応する合成画像の生成方法を説明するための図。 発明の実施形態２に対応する処理の一例を示すフローチャート。

以下に、発明の実施形態を、添付の図面に基づいて詳細に説明する。図１は、発明の実施形態に対応する監視システムの構成を示すブロック図である。図１において、監視システム１００は、ネットワークカメラ１１０、情報処理装置１２０がネットワーク１３０により接続されることにより構成されている。ネットワーク１３０に接続される各装置の数に制限はないが、説明の簡略化のため各々１台ずつと仮定する。

ネットワーク１３０に関しても、後で述べるカメラ制御信号、圧縮した画像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。なお、ここではネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下アドレスといった場合にはＩＰアドレスを指すこととする。また、ネットワークカメラ１１０、情報処理装置１２０、共にＩＰアドレスを割り当てられているものとする。

ネットワークカメラ１１０は、例えば、撮影部１１１、可動雲台１１２、カメラ・雲台制御部１１３、通信制御部１１４、画像入力部１１５、画像圧縮部１１６、コマンド解釈部１１７、記憶部１１８及び認証部１１９を含むように構成される。当該構成に基づき、ネットワークカメラ１１０は、通信制御部１１４が、ネットワーク１３０を介して外部のクライアント装置から受信したコマンドに応じて監視対象となる所定の空間を撮影し、ネットワーク１３０を介して撮影画像を配信するともに、各種カメラ制御を実行する。

撮影部１１１は、例えば、静止画像のほかに、１秒間に３０フレーム分の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。撮影部１１１は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器を含む。また、デジタル画像信号に対して、所定の現像処理を実行する現像処理部を含む。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。現像処理された画像は画像入力部１１５に出力される。

可動雲台１１２は、カメラ・雲台制御部１１３による制御に基づき撮影部１１１による撮影方向（パン・チルト角度）を変更することができる。カメラ・雲台制御部１１３は、情報処理装置１２０からコマンドで指定され、コマンド解釈部１１７により解釈された制御内容に応じて、可動雲台１１２により撮影部１１１のパン・チルト角度を制御する。通信制御部１１４は、ネットワーク１３０を介して情報処理装置１２０と通信するための通信インタフェースである。

画像入力部１１５は、撮影部１１１で撮影された画像を取得するための入力インタフェースであり、全体画像の場合は画像全体を、切り出し画像の場合には画像の一部を取り込む。画像圧縮部１１６は、画像入力部１１５から入力された画像を圧縮・符号化して、配信用の画像データを生成する。配信用の画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。画像圧縮部１１６は、記憶部１１８から設定値を取得し、圧縮率の変更を行ったり、特定の領域は高画質に圧縮し、その他の領域は低画質に圧縮するような制御を行ったりする。本実施形態では、画像の圧縮形式としてH.264圧縮を想定するが、実施形態は当該圧縮形式に限定されるものではない。

コマンド解釈部１１７は、通信制御部１１４が情報処理装置１２０から受信したコマンドを解釈して、各ブロックの動作の制御を行う。記憶部１１８は、各種設定値およびデータを保持し、認証部１１９は、通信制御部１１４が情報処理装置１２０から受信した認証情報に基づき、認証を許可するか否かを判定する。本実施形態では、監視システム１００のユーザには「ゲスト」と「管理者」という２種類が含まれるが、ゲストと管理者では許可される操作が異なっている。認証部１１９は、ユーザから入力された文字列とパスワードとに基づき管理者かゲストかを判定し、管理者についてのみ、管理者に認められている操作に基づく処理・機能の実行を許可する。

次に、情報処理装置１２０は、通信制御部１２１、学習制御部１２２、ＤＬ（Deep Learning）システム１２３、画像記録部１２４、操作部１２５、変換・再生制御部１２６、表示部１２７、動体検出部１２８を含むように構成される。情報処理装置１２０は、例えばパーソナルコンピュータ（ＰＣ）、携帯電話、スマートフォン、ＰＤＡ、タブレット端末などの任意の情報処理端末、或いは、画像処理装置（画像生成装置、または、画像合成装置と呼ぶこともできる）として実現することもできる。

通信制御部１２１は、ネットワーク１３０を介してネットワークカメラ１１０と通信するための通信インタフェースである。学習制御部１２２は、後述するＤＬ（Deep Leaning）システム１２３に学習データを渡すための処理を行う。Deep Leaningとは機械学習の一種でありニューラルネットワークを多層的構造にし、コンピュータ自らがデータに含まれる特徴をとらえ、正確で効率的な識別や生成処理を実現させる技術である。本実施形態ではＤＬ略記する。

本実施形態では、機械学習手法についてDeep Learningを用いるがこれに限定するものではなく他の機械学習法も適用可能である。ＤＬシステム１２３は、学習制御部１２２から提供される学習データに基づいて機械学習を行い、機械学習した結果（学習済みモデル）を用いて、本実施形態に対応する画像の画質変換処理を行う。本実施形態では、ＤＬの具体的手法としてpix2pix用いることを想定している。pix2pixに関してはImage-to-Image Translation with Conditional Adversarial Networks 21 Nov 2016 Phillip Isola Jun-Yan Zhu Tinghui Zhou Alexei A. Efrosで詳細が述べられている。但し、ＤＬシステムの実現手法はpix2pixに限定されるものではない。

画像記録部１２４は、通信制御部１２１を介してネットワークカメラ１１０から受信した画像（動画像、静止画像）を記録する。操作部１２５はユーザからの入力を受け付けるためのユーザインタフェースである。ユーザは操作部１２５を操作することにより、画像記録部１２４に対して録画の設定を行うことができるとともに、変換・再生制御部１２６に対して変換の処理に関わる設定を行うことができる。変換・再生制御部１２６は、操作部１２５から受け付けたユーザ入力情報に基づいて画像記録部１２４に記録された画像の画質を変換して表示部１２７に出力する。具体的には、画像記録部１２４に記録された画像をそのまま表示部１２７に出力する場合と、画像記録部１２４に記録された画像の高画質部分と、ＤＬシステム１２３により高画質変換された低画質部分とを合成して表示部１２７に出力する場合とがある。動体検出部１２８は、画像記録部１２４に記録されている画像において動体を検出し、検出した動体に関する情報を変換・再生制御部１２６に通知する。

次に、図２（Ｂ）を参照して、発明の実施形態に対応する情報処理装置１２０のハードウェア構成の一例を説明する。図２（Ｂ）は、情報処理装置１２０のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのネットワークカメラ１１０の撮影部１１１及び可動雲台１１２等を除く構成についても、同様或いは同等のハードウェア構成とすることができる。

図２（Ｂ）において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２１２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、ＤＬシステム１２３として機能し、学習制御部１２２から提供される学習データに基づいて機械学習を行ったり、画像記録部１２４に記録されている画像について本実施形態に対応する画質変換処理を実行したりすることができる。さらには、インタフェース（Ｉ／Ｆ）２１８を介してネットワークカメラ１１０との通信を制御する。なお、後述する図１０や図１３のフローチャートにおける処理もＣＰＵ２１０が対応する処理プログラムを実行することにより装置全体を制御して実現される。

ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１１０から受信した情報を一時的に記憶する。

外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２１４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。

外部記憶装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム、ネットワークカメラ１１０から受信した画像等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。

指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する情報処理装置１２０の応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２１９は、情報処理装置１２０内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２１５からＲＡＭ２１２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２１１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２１０で実行することも可能である。さらに、メディア２１４から対応プログラム及び関連データを直接ＲＡＭ２１２にロードして実行させることもできる。

次に図３を参照して、本実施形態のネットワークカメラ１１０における画質設定の一例を説明する。本実施形態では、撮影部１１１が監視領域を撮影して得られた画像について、特定の一部の領域（以下、「特定領域」、あるいは、「第１の領域」という）を高画質に、その他の領域（以下、「特定領域外の領域」、あるいは、「第２の領域」という）は低画質で圧縮符号化し、情報処理装置１２０に送信する場合を説明する。図３は、処理対象の画像のうちで特定領域内と特定領域外の領域との画質（Ｑ値）を、設定された画質及びデータ量の削減率について示すテーブルの一例である。本実施形態において、ユーザは情報処理装置１２０を利用して、処理対象の画像について設定された特定領域に属する画像の画質を、所定の設定画面を用いて設定することができる。

本実施形態では、処理対象画像のうちの特定領域内の画像の画質を、例えば、高画質、中画質、低画質の３段階で設定することができる。また、データ量の削減率についても、高、中、低の３段階で設定することができる。これにより、設定パターンは９通りとなる。テーブル３００では、画質とデータ量削減率との各組み合わせについて、特定領域内の画質（第１の画質）と、特定領域外の画質（第２の画質）とが登録される。画質はＱ値の値として登録され、画質が最高の場合のＱ値を１０、画質が最低の場合のＱ値を５０としている。ここでＱ値とは、画質を示す数値で小さい値ほど高画質・低圧縮であることを表す。

テーブル３００において、特定領域内の画質を高画質に設定した場合には、特定領域内のＱ値は全て１０に設定される。同様に中画質、低画質の場合にはそれぞれ同一の値２５、４０が設定される。本実施形態において特定領域内の画質は、領域内画質の設定内容に応じて決定される。

一方、特定領域外の画質は、データ量削減率と、領域内画質とに基づいて設定される。具体的には、データ量削減率が高の設定では特定領域外のＱ値は最も低い画質を示す５０に一律に設定される。また、データ量削減率が中、低については、上限値を５０として、それぞれ特定領域内の画質に所定値を加算した値とすることができる。テーブル３００では、データ量削減率が中の場合は２０、低の場合は１０をそれぞれ加算している。上記において、Ｑ値の割り当てはあくまで一例であって、実施形態はこれに限定されるものではない。

次に、図４を参照して、ＡＤＳＲを利用した配信において配信される画像のデータ構造について説明する。ネットワークカメラ１１０から情報処理装置に対しては、配信の開始に際して、図４（Ａ）に示すようなヘッダ情報４００が送信される。ヘッダ情報４００は、ＡＤＳＲの有無を示すフラグ４０１、ＡＤＳＲ領域、即ち、上記の特定領域の範囲を示す座標値４０２から４０５、高画質領域のＱ値４０６、低画質領域のＱ値４０７が含まれる。

フラグ４０１の値が１であれば、特定領域を高画質とし、特定領域外の他の領域を低画質とするＡＤＳＲが実施されていることが分かる。フラグ４０１の値が０であれば、ＡＤＳＲは実施されていないので、画質変換を行わずにそのまま表示することができる。座標値４０２から４０５は、画像における高画質の特定領域の位置、大きさを特定するための座標値であって、図４（Ｂ）に示すような画像４１０において、領域４１１は特定領域を示す。領域４１１の左上の点４１２の座標と右下の点４１３の座標とにより、領域４１１の画像４１０内における位置及び大きさを特定することができる。画像４１０に対しては、左上を原点として、水平方向にｘ軸、垂直方向にｙ軸が設定され、１画素を単位として座標値が決定される。

本実施形態では、ｘ軸方向には１４４０画素が配置され、ｙ軸方向には１０８０画素が配置される場合を想定している。また、図４（Ｂ）では、特定領域４１１は、（ｘ、ｙ）＝（５００、２００）の画素と、（ｘ、ｙ）＝（１１００、６００）画素とに基づき特定される場合を示している。図４（Ｂ）に示す例では、特定領域の大きさは６００×４００画素となる。

また、Ｑ値４０６は、領域４１１内の画像の画質を示し、Ｑ値４０７は、画像４１０のうち領域４１１外の領域の画質を示している。これらの値は、図３のテーブル３００に示したいずれかの組み合わせの中から選択された値となる。

次に図５から図７を参照して本実施形態に対応するＤＬシステム１２３の動作を説明する。本実施形態ではＤＬシステム１２３はpix2pixを用いている。pix2pixは、二つの属性の画像、具体的には、生成元の属性の画像と生成したい属性の画像をペアで学習し、画質の変換手法を習得することで、生成元と同様の属性の画像を入力すれば生成したい属性の画像を生成できるようになるというものである。pix2pixによれば、例えば、航空写真から地図の生成、地図から航空写真の生成、線画から写真の生成、白黒写真からカラー写真の生成などが可能となる。本実施形態では、同一の被写体を撮影して得られた低画質の画像と高画質の画像とをペアとして学習を行うことで学習された学習済みモデルを用いて、低画質な画像部分から高画質な画像を生成することが可能なＤＬシステム１２３を構築する。当該低画質の画像は、例えば、高画質の画像を圧縮して低画質としたものを使用してもよい。このＤＬシステムによれば、特定領域外の低画質の画像を処理して高画質な画像を取得することが可能となる。

本実施形態においてＤＬシステム１２３は、低画質画像から高画質画像を生成可能とするために予め学習を行う。図５及び図６を参照してＤＬシステム１２３における学習の一例を説明する。図５及び図６は学習時に用いる学習データの一例を示す図である。これらの学習データは、ネットワークカメラ１１０により監視しようとする監視対象領域を実際に撮影して得られた画像を用いる。

図５において、画像５０１及び画像５０２は、同一の画角におけるペアの画像であって、画像５０１のＱ値は５０、画像５０２のＱ値は１０である。同様に、画像５０３及び５０４のペアは、Ｑ値がそれぞれ４５と１０であり、画像５０５及び５０６のペアは、Ｑ値がそれぞれ３０と１０である。ここで生成元の低画質の学習データ５０１、５０３及び５０５のＱ値を５０、４５、３０としたのは図３のテーブル３００における低画質部を高画質化するためであり、生成用の高画質の学習データ５０２、５０４、５０６のＱ値を１０としたのは最高画質のＱ値が１０のためである。

一般に機械学習では、より多くの学習データを利用した方が学習精度が上がり、処理性能が向上する。そこで、図５に示した画角だけでなく様々な画角での画像を同様に学習してもよいし、同一の画角においても、複数の異なる撮影条件で学習を行うことができる。また、ネットワークカメラ１１０が複数台ネットワーク１３０に接続されている場合には、当該ネットワークカメラ１１０毎に学習を行ってもよい。

図６は、図５とは異なる画角で撮影を行った場合の学習用画像の一例を示している。図６において、画像６０１及び画像６０２は、同一の画角におけるペアの画像であって、画像６０１のＱ値は５０、画像６０２のＱ値は１０である。同様に、画像６０３及び６０４のペアは、Ｑ値がそれぞれ４５と１０であり、画像６０５及び６０６のペアは、Ｑ値がそれぞれ３０と１０である。

本実施形態では、図５及び図６で示した画角のみでなく１００通りの画角で撮影した画像を学習データとして利用する場合を想定している。また、同じ画角でも時間により写っている人物等も異なることから同じ画角でさらに時間をずらして１００回ずつ撮影している。これらの学習は設置時に、５時間程度で実施することが可能である。学習を実施するタイミングは設置時に限定されるものではなく、それ以前に事前に行ってもよい。なお、機械学習において精度の向上させるための手法は公知であるため、本実施形態においては更なる詳細の説明は省略する。

上記の説明においては学習データの低画質のＱ値を、テーブル３００に登録されているＱ値と対応させたが、学習データに用いる画像の画質は、テーブル３００に登録されている値と必ずしも一致していなくてもよい。

次に図７を参照して、本実施形態に対応するＤＬシステム１２３における画像生成の例を説明する。図７において画像７０１は、ネットワークカメラ１１０で撮影したＱ値５０の画像である。この画像を元に、上記で説明した学習後にＤＬシステム１２３により生成した画像の例が画像７０２である。本実施形態では、学習結果（学習済みモデル）に基づいてＤＬシステム１２３は低画質の画像７０１からより高画質の画像７０２を得ることができる。ここで、画像７０３は、ネットワークカメラ１１０が撮影したＱ値１０の画像であるが、画像７０２と画像７０３を比較すると、ＤＬシステム１２３により生成された画像７０２の画質は、実際の撮影画像７０３と同等のレベルにはなっていない。全体の画像の画質のレベルは上がるが、被写体の詳細等を正確に再現することは困難となっている。これはImage-to-Image Translation with Conditional Adversarial Networks 21 Nov 2016 Phillip Isola Jun-Yan Zhu Tinghui Zhou Alexei A. Efrosで述べられている他の変換結果と同様である。

しかしながら、本実施形態では、解像度変換を行う対象の画像は、監視領域において重要な特定領域ではなく、その周辺の特定領域外の領域である。そして、特定領域の画質（第１の画質）と特定領域外の領域との画質（第２の画質）の差が大きい場合に、全体的に見づらくなる、或いは、視覚的な違和感を感ずることを解消することが目的である。従って、特定領域外の画像については画質を、元の画質（第２の画質）よりも高い画質（第３の画質）に向上させられれば、特定領域の画質（第１の画質）と完全に一致しなくても目的は達成され、局所的な精度は大きな問題にはならないとみなすことができる。

次に図８を参照して情報処理装置１２０において設定を行う際の設定画面の一例、及び、当該設定画面を利用したＤＬシステム１２３により変換を実行させるためのユーザ操作について説明する。図８（Ａ）において、設定画面８００には、画像表示領域８０１が含まれている。当該画像表示領域には、ネットワークカメラ１１０により撮影され、情報処理装置１２０に記録された画像が表示されている。このとき点線で囲む領域８０２は、高画質で表示されている特定領域に相当し、特定領域の外の領域は、低画質で表示されている。図８（Ａ）では表示画像における特定領域の位置を点線で示しているが、実際の表示画面では点線は表示されていなくてもよい。

設定画面８００には、低画質部の画質変換を行うか否かの指定を受付可能なチェックボックス８０３が表示されており、ユーザはチェックボックスにチェックを入れることにより、特定領域外の領域を高画質画像に変換して表示させることができる。チェックボックス８０３はＡＤＳＲの機能が使われて配信している場合、即ち、記録されている動画像と関連付けられて保存されている図４のヘッダ情報４００におけるＡＤＳＲ有無を示すフラグ４０１が１の値を示す場合に表示することができる。フラグ４０１が０の値を示す場合には、表示そのものを行わないか、或いは、グレーアウトするなどにより操作を受け付けないようにすることができる。図８（Ａ）の状態ではチェックボックス８０３はオフ（未選択、或いは、未チェック）の状態となっているので、ＤＬシステム１２３による画質の変換処理は行われない。このときに表示される画像は、画像記録部１２４に記録された画像そのままとなる。

これに対して図８（Ｂ）では、チェックボックス８０３がオン（選択済、或いは、チェック済）となっており、領域８０２の外側の画像がＤＬシステム１２３により処理されて、高画質の画像に変換されて表示される。領域８０２内の画像は、録画されたそのものの画像が表示される。

また、設定画面８００には、動画が撮影された日付を示す日付表示領域８０４が含まれ、左右の三角形のマークを操作することで表示する動画の日付を切り替えることができる。右側のマークを操作することで日付が繰り上がり、左側のマークを操作することで日付が繰り下がる。また、時間帯表示領域８０５は、日付表示領域８０４で指定された日付において動画が撮影された時間帯を示している。スライドバー８０６は、表示領域８０１に表示される画像の時間的位置を示しており、スライドバー８０６を左右に移動させることにより、撮影された動画の任意の時間的位置における画像を表示領域８０１に表示させることができる。図８には示していないが、再生ボタンや停止ボタン、一時停止ボタン等を表示してもよい。

次に図９を参照して、本実施形態に対応する変換・再生制御部１２６における画像変換処理の一例を説明する。まず、画像９００は、処理対象となる１フレーム分の画像であって、画像記録部１２４に記録されている動画像をデコードした後の１フレーム画像とみなすことができる。画像９００には高画質領域９０１と低画質領域９０２とが含まれる。高画質領域９０１は上述の特定領域に相当し、低画質領域９０２は上述の特定領域外の領域に相当する。画像９００における高画質領域９０１の位置及び大きさは、図４で示すヘッダ情報４００におけるＡＤＳＲ領域の座標値４０２から４０５により特定される。

上述の図８の設定画面８００において、チェックボックス８０３がオンに設定された場合、変換・再生制御部１２６は、低画質領域９０２の画質を向上させるために、ＤＬシステム１２３に対して画像９００のうち低画質領域９０２を含む部分を提供し、低画質領域９０２が高画質化された変換画像を受け取る。その際、ＤＬシステム１２３では、以下のような手順により変換画像が生成される。

処理対象の画像９００は、複数のブロックに分割される。当該ブロックのサイズは、ＤＬシステムにおける処理サイズに対応させることができる。本実施形態では、画像９００は縦横にそれぞれ３分割されるので、１つのブロックの大きさは４８０×３６０画素となる。ブロックによっては高画質領域９０１が含まれるものもあるが、合成時に高画質領域９０１の画像が優先されるので、問題はない。ＤＬシステム１２３は、変換・再生制御部１２６から取得した各ブロックを処理して低画質画像から高画質画像に変換し、変換後のブロックを合成することにより変換画像９０４を生成し、変換・再生制御部１２６に提供する。変換・再生制御部１２６は、ＤＬシステム１２３から提供された変換画像９０４と、元の処理対象画像９００から切り出した高画質領域９０１の画像とを合成して、合成画像９３０を生成する。これにより、低画質領域９０２の画質を向上させて、見やすさが改善された再生画像を生成することが可能となる。

次に、図１０のフローチャートを参照して本実施形態に対応する情報処理装置１２０における処理の流れを説明する。該フローチャートに対応する処理は、例えば、変換・再生制御部１２６及びＤＬシステム１２３として機能するＣＰＵ２１０を含む１以上のプロセッサが対応するプログラム（ＲＯＭ２１１やＨＤ２１５等に格納）を実行することにより実現できる。また、当該処理は、画像記録部１２４に記録されている画像を再生する際に開始される。

まず、Ｓ１００１において変換・再生制御部１２６は、再生対象動画のヘッダ情報４００を取得する。続くＳ１００２において、変換・再生制御部１２６は、再生対象の動画像についてＡＤＳＲが実施されているか否かを判定する。当該判定は、取得したヘッダ情報４００のフラグ４０１の値に基づき行われ、フラグ４０１の値が１の場合にはＡＤＳＲ有りとして処理はＳ１００３に進み、値が０の場合にはＡＤＳＲ無しとして処理はＳ１００８に進む。

続くＳ１００３において、変換・再生制御部１２６は、特定領域の画質と特定領域外の画質との差が所定以上であるかを判定する。具体的には、Ｓ１００１で取得したヘッダ情報４００から、低画質領域と高画質領域とのＱ値４０６及び４０７の値をそれぞれ取得し、Ｑ値の差分が所定値以上であるかにより判定する。本実施形態では所定値を２０としている。当該所定値の値は、低画質領域と高画質領域との画質の差と、再生画像の見やすさとの関係に基づいて任意に設定することができる。差分が所定値以上と判定されると処理はＳ１００４に進み、所定値未満と判定されると処理はＳ１００８に進む。

Ｓ１００４では、変換・再生制御部１２６は高画質化の指定を受け付けているか否かを判定する。当該判定は、図８に示した設定画面８００においてチェックボックス８０３がオンに指定されているか否かに基づいて判定することができる。高画質化の指定を受け付けていると判定されると処理はＳ１００５に進み、当該指定を受け付けていないと判定されると処理はＳ１００８に進む。

続くＳ１００５では、変換・再生制御部１２６は図９を参照して説明したように、処理対象画像を複数のブロックに分割し、低画質領域の画像を含むブロックをＤＬシステム１２３に提供してＤＬシステム１２３に画質変換処理を実行させ、変換画像を取得する。続くＳ１００６では、変換・再生制御部１２６がＤＬシステム１２３から取得した変換画像と、元画像である処理対象画像の高画質領域の画像とを合成して合成画像を生成する。続くＳ１００７では、変換・再生制御部１２６再生対象の画像を合成画像とし、Ｓ１００８では、再生対象の画像を画質変換がなされていない元の画像とする。続くＳ１００９において、変換・再生制御部１２６はＳ１００８または１００９で再生対象の画像に設定した画像を表示部１２７に出力して、表示部１２７に再生画像の表示を行わせる。続くＳ１０１０では変換・再生制御部１２６は、次に表示すべき画像、例えば、同じ動画像における次のフレーム画像があるかどうかを判定して、表示すべき画像がある場合にはＳ１００２に戻って上述の処理を繰り返す。一方、表示すべき画像がない場合には本処理を終了する。

以上に説明した実施形態によれば、ＡＤＳＲにより一部が高画質で、それ以外が低画質の画像について、低画質部分と高画質部分との画質差が大きいために見にくくなっている場合に、低画質部を高画質化することで見にくさを解消することができる。

［実施形態２］
以下、発明の第２の実施形態について説明する。上述の実施形態１では、特定領域外の領域の画像の全体を対象としてＤＬシステム１２３が画質変換処理を行った。これに対し本実施形態では、当該領域において検出された動体を含む領域を対象として画質変換処理を実施する。

本実施形態における監視システムについても、図１から図７との関連で説明した内容が当てはまる。その一方、図８で説明した設定画面のＵＩや、図９で説明した合成画像の生成方法、図１０で説明した処理の流れについては本実施形態特有の部分があるので、以下、図１１から図１３を参照して説明する。

まず、図１１は、本実施形態に対応する、情報処理装置１２０において設定を行う際の設定画面の一例を示す。図１１（Ａ）及び図１１（Ｂ）において参照番号１１００から１１０６までで示す各要素は図８の参照番号８００から８０６までで示す各要素に対応するので説明は省略する。図１１の画面では、高画質の画像が表示されている領域１１０２の外側の領域において検出された動体（ここでは、通行する人物）が点線１１０７で囲まれている。本実施形態では、領域１１０２の外側において検出された動体を含む領域１１０７を画質変換処理の対象領域とする。このように動体についてのみ高画質化を行うのは、動体が低画質な場合に特に高画質部との差が知覚され、見やすさが損なわれたり違和感を与えたりすることになるためである。そこで、本実施形態では、動体に焦点を当てて画質変換処理を施すことにより、当該低画質部と高画質部との画質の差を解消する。

図１１（Ａ）では、チェックボックス１１０３はオフの状態のため録画された画像のまま表示されている。このとき、点線１１０７で囲まれた領域の低画質のままである。一方、図１１（Ｂ）ではチェックボックス１１０３がオンの状態となっており、これにおり点線１１０８で囲まれた領域がＤＬシステム１２３により画質変換されて高画質化されている。このとき、領域１１０２及び１１０８の外側の領域は録画された画像のまま低画質で表示される。このようにして本実施形態では低画質領域において検出された動体を含む領域を選択的に高画質化することで、効率よく画像の見にくさを解消することができる。

次に図１２を参照して、本実施形態に対応する変換・再生制御部１２６における画像変換処理の一例を説明する。画像１２００は、処理対象となる１フレーム分の画像であって、画像記録部１２４に記録されている画像をデコードした後の画像である。画像１２００には高画質領域１２０１と低画質領域１２０２とが含まれる。また、低画質領域１２０２には動体検出部１２８により検出された動体を含む動体領域１２０３が含まれる。

上述の図１１の設定画面１１００において、チェックボックス１１０３がオンに設定された場合、変換・再生制御部１２６は、低画質領域１２０２において検出された動体領域１２０３の画質を向上させるために、ＤＬシステム１２３に対して当該動体領域１２０３を含むブロック画像１２０４を提供し、高画質化された変換画像１２０５を受け取る。処理対象の画像１２００は、実施形態１と同様に複数のブロックに分割され、動体領域を含むブロックのみがＤＬシステム１２３に提供される。検出された動体が単一のブロックに収まらない場合には、複数のブロック画像が提供される。変換・再生制御部１２６は、変換画像１２０５を取得すると、当該画像から動体領域に相当する部分１２０６を切り出して元画像１２００と合成して、合成画像１２０７を生成する。これにより、低画質領域１２０２のうち動体領域の画質を向上させて、見やすさが改善された再生画像を生成することが可能となる。

図１３のフローチャートを参照して、本実施形態に対応する情報処理装置１２０における処理の流れを説明する。該フローチャートに対応する処理は、例えば、変換・再生制御部１２６及びＤＬシステム１２３として機能するＣＰＵ２１０を含む１以上のプロセッサが対応するプログラム（ＲＯＭ２１１やＨＤ２１５等に格納）を実行することにより実現できる。また、当該処理は、画像記録部１２４に記録されている画像を再生する際に開始される。

図１３のフローチャートは、図１０のフローチャートと一部の処理を除いてほぼ同様の処理が実行される。そこで、図１０に対応するステップについては同一の参照番号を付している。これらのステップにおける処理については実施形態１で説明しているので、ここでの説明は省略する。

Ｓ１００４において変換・再生制御部１２６は高画質化の指定を受け付けていると判定すると、処理はＳ１３０１に進む。Ｓ１３０１では、変換・再生制御部１２６は処理対象の画像に動体が含まれているかの情報を動体検出部１２８から取得する。動体検出部１２８は、画像記録部１２４から変換・再生制御部１２６と並列に処理対象の画像を取得し、低画質領域における動体の存在を検出する。動体検出部１２８は、低画質領域において動体を検出すると、当該動体を含む領域を設定し、その位置情報を変換・再生制御部１２６に対して通知する。動体検出部１２８は時間的に隣接する画像間の差分を取るか、或いは、予め用意された背景画像と処理対象の画像との差分を取ることで動体を検出することができる。

低画質領域において動体が検出されたと判定されると、処理はＳ１３０２に進む。一方、動体が検出されていないと判定されると処理はＳ１００８に進む。Ｓ１３０２において、変換・再生制御部１２６は図１２を参照して説明したように、動体検出部１２８により検出された動体を含む動体領域に基づき、処理対象の画像をブロックに分割し、当該ブロックをＤＬシステム１２３に提供して、ＤＬシステム１２３に画質変換処理を実行させ、変換画像を取得する。続くＳ１３０３では、変換・再生制御部１２６がＤＬシステム１２３から取得した動体領域を含むブロックの変換画像と、元画像とを合成して合成画像を生成する。その後、処理はＳ１００７に移行する。

上記においては低画質領域における動体領域のみを高画質化する場合を説明した。これに対して、低画質領域における動体領域以外の領域が予め固定的な画像である場合、例えば、動き検出で用いた背景画像とみなせる場合には、当該背景画像を予め高解像度化しておくことができる。そして、Ｓ１３０２においてＤＬシステム１２３から動体領域の変換画像を取得した場合には、予め高解像度化しておいた背景画像と、動体領域の変換画像とを合成することにより低画質領域全体の変換画像を生成してもよい。この場合、背景画像については高解像度化された画像を一度生成しておけば繰り返し利用することができるので、処理負荷としては動体領域の変換画像と背景画像との合成のみが増えるだけで全体としては特に問題にはならない。

以上のように、本実施形態によれば低画質領域の全体について画質変換処理を行うことなく、動体のみを高画質化することで効率よく画像の見栄えを改善することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：監視システム、１１０：ネットワークカメラ、１２０：情報処理装置、１３０：ネットワーク

Claims (11)

1. 第１の画質を有する第１の領域と、前記第１の画質よりも低い第２の画質を有する前記第１の領域以外の第２の領域とを含む処理対象画像について、前記第１の画質と前記第２の画質との画質の差が所定以上であるかを判定する判定手段と、
   前記判定手段が、前記第１の画質と前記第２の画質との差が所定以上であると判定した場合に、前記第２の領域の画像を前記第２の画質よりも高い第３の画質を有する画像に変換する変換手段と、
   前記第３の画質を有する変換後の画像と、前記第１の領域の画像とを用いて合成画像を生成する合成手段と、
   前記第２の領域において動体を検出する検出手段と、を備え、
   前記変換手段は、前記第２の領域のうち、検出された前記動体を含む一部の領域の画像を前記第３の画質を有する画像に変換し、
   前記合成手段は、前記第３の画質を有する変換後の画像と、前記処理対象画像とを用いて前記合成画像を生成する、
   ことを特徴とする情報処理装置。
2. 前記変換手段による画像の変換を行う指定を受け付ける受付手段をさらに備え、
   前記受付手段が、前記指定を受け付けた場合に前記判定手段が前記判定を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記合成画像は、
   前記第１の画質を有する前記第１の領域と、
   前記第２の領域であって、前記検出された動体を含む前記一部の領域が前記第３の画質を有し、かつ、前記一部の領域以外の領域が前記第２の画質を有する前記第２の領域と
   を含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記合成手段は、前記第３の画質を有する変換後の画像と、予め前記第３の画質に変換された背景画像と、前記第１の領域の画像とを用いて前記合成画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
5. 前記合成画像は、前記第１の画質を有する第１の領域と、前記第３の画質を有する前記第２の領域とを含むことを特徴とする請求項１、２及び４のいずれか１項に記載の情報処理装置。
6. 前記変換手段は、前記第１の画質を有する第１の画像と、前記第２の画質を有する第２の画像との組み合わせに基づいて機械学習により習得した前記第２の画像の画質を変換する方法を用いて、前記変換を行うことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記機械学習は、pix2pixに基づくことを特徴とする請求項６に記載の情報処理装置。
8. 前記合成画像を出力する出力手段をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 所定の空間を撮影して得られた画像から、第１の画質を有する第１の領域と、前記第１の画質よりも低い第２の画質を有する前記第１の領域以外の第２の領域とを含む処理対象画像を生成する撮影装置と、
   前記処理対象画像を処理して合成画像を生成する請求項１から８のいずれか１項に記載の情報処理装置と
   を備えることを特徴とするシステム。
10. 情報処理装置の制御方法であって、
    判定手段が、第１の画質を有する第１の領域と、前記第１の画質よりも低い第２の画質を有する前記第１の領域以外の第２の領域とを含む処理対象画像について、前記第１の画質と前記第２の画質との画質の差が所定以上であるかを判定する判定工程と、
    前記判定工程において、前記第１の画質と前記第２の画質との差が所定以上であると判定された場合に、変換手段が前記第２の領域の画像を前記第２の画質よりも高い第３の画質を有する画像に変換する変換工程と、
    合成手段が、前記第３の画質を有する変換後の画像と、前記第１の領域の画像とを用いて合成画像を生成する合成工程と、
    前記第２の領域において動体を検出する検出工程と、を含み、
    前記変換工程では、前記第２の領域のうち、検出された前記動体を含む一部の領域の画像を前記第３の画質を有する画像に変換し、
    前記合成工程では、前記第３の画質を有する変換後の画像と、前記処理対象画像とを用いて前記合成画像を生成する、
    ことを特徴とする情報処理装置の制御方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images