JPWO2020166596A1 - 画像処理システム及びプログラム - Google Patents

Abstract

【課題】任意のサイズの画像を効率的かつより高精度に画像処理する。【解決手段】画像処理システムは、入力画像のサイズに応じて当該入力画像を分割する画像分割部と、前記分割された分割画像それぞれを並列処理により所定の画像処理を行う画像処理部と、前記所定の画像処理が行われた分割画像それぞれを統合して、１つの出力画像にする画像統合部と、を備え、前記画像分割部は、前記分割画像における周辺領域を含むように前記入力画像を分割し、前記画像処理部は、前記周辺領域を含んで前記分割画像に対して前記所定の画像処理を行い、前記画像統合部は、前記画像処理後の前記分割画像の前記周辺領域を除き、前記周辺領域を除いた後の前記分割画像の端部領域を接合する。【選択図】図１

Description

本発明は、画像処理システム及びプログラムに関する。

従来から、低解像度画像から高解像度画像を生成する超解像処理に関する技術が知られている。これに関し、特許文献１には、動画像から静止画像を抽出する際に、静止画像として鑑賞に堪えうる品質を備えた高精細な静止画像を生成する技術が開示されている。また、特許文献２には、超解像処理を実行する前処理として画像補正を実行し、補正した画像に対して超解像処理を実行する技術が開示されている。

特開２００９−１８８８９１号公報 特開２００９−６５５３５号公報

このような超解像処理のような各種処理においては、一定のサイズ（ピクセル数）の低解像度画像（動画や静止画像）から高解像度画像を生成すること、すなわち画像の情報量の変化を前提としているため、例えばサイズの大きい低解像度画像を処理する際、メモリが制約されたり処理速度が低下したりするという問題があった。そのため、例えば入力用の画像を複数に分割してそれぞれ処理することも考えられるが、分割した画像を処理した後に統合しても、例えば分割画像を接合した部分などの画像処理の精度は十分でなかった。

本発明は、このような問題を鑑みてなされたものであり、任意のサイズの画像を効率的かつより高精度に画像処理することができる画像処理システム及びプログラムを提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、入力画像のサイズに応じて当該入力画像を分割する画像分割部と、前記分割された分割画像それぞれを並列処理により所定の画像処理を行う画像処理部と、前記所定の画像処理が行われた分割画像それぞれを統合して、１つの出力画像にする画像統合部と、を備え、前記画像分割部は、前記分割画像における周辺領域を含むように前記入力画像を分割し、前記画像処理部は、前記周辺領域を含んで前記分割画像に対して前記所定の画像処理を行い、前記画像統合部は、前記画像処理後の前記分割画像の前記周辺領域を除き、前記周辺領域を除いた後の前記分割画像の端部領域を接合することを特徴とする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、任意のサイズの画像を効率的かつより高精度に画像処理することができる。

本発明の一実施形態に係る画像処理システムの全体構成例を示す図である。 本実施形態の画像処理サーバ１のハードウェア構成例を示す図である。 画像処理サーバ１のソフトウェア構成例を示す図である。 本実施形態による分割画像の例を説明するための図である。 本実施形態の画像処理サーバ１により実行される処理の流れを説明する図である。 入力画像と分割画像の一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の一実施形態による画像処理装置及びプログラムは、以下のような構成を備える。

（項目１）
入力画像を分割する画像分割部と、
前記分割された分割画像それぞれを並列処理により所定の画像処理を行う画像処理部と、
前記所定の画像処理が行われた分割画像それぞれを統合して、１つの出力画像にする画像統合部と、
を備え、
前記画像分割部は、前記分割画像における周辺領域を含むように前記入力画像を分割し、
前記画像処理部は、前記周辺領域を含んで前記分割画像に対して前記所定の画像処理を行い、
前記画像統合部は、前記画像処理後の前記分割画像の前記周辺領域の画像を除去し、前記周辺領域の画像を除去した後の前記分割画像の端部領域を接合する、
ことを特徴とする画像処理システム。
（項目２）
前記画像分割部は、前記画像処理部における並列処理それぞれの処理量が平滑化されるように、前記分割画像それぞれのサイズを動的に変化させる、
ことを特徴とする項目１に記載の画像処理システム。
（項目３）
前記並列処理における処理量の平滑化は、前記分割画像の各々が保有する少なくとも１種以上の情報量に応じて行われる、項目２に記載の画像処理システム。
（項目４）
前記画像分割部は、前記画像処理部における処理負荷に応じて、並列処理を実行するリソースを動的に変化させる、
ことを特徴とする項目１〜３のいずれか１項に記載の画像処理システム。
（項目５）
前記並列処理を実行するリソースは、一または複数の画像処理サーバであることを特徴とする項目４に記載の画像処理システム。
（項目６）
前記入力画像は動画像を含み、
前記画像分割部は、前記動画像の少なくとも一部を構成する複数のフレームを時系列で、および／または該複数のフレームにおいて対応する画像領域ごとに分割して分割画像を生成する、項目１〜５のいずれか１項に記載の画像処理システム。
（項目７）
前記周辺領域は、前記分割画像を構成する前記複数のフレームの前および／または後ろの少なくとも１以上のフレームを含む領域である、項目６に記載の画像処理システム。
（項目８）
前記画像処理部は、前記複数のフレームの時系列における動画像の動きの大きさに基づいて、前記分割画像に対する画像処理を行う、項目６または７に記載の画像処理システム。
（項目９）
前記画像分割部は、前記入力画像または分割した前記分割画像を圧縮する圧縮処理を行い、
前記画像処理部は、前記圧縮処理より得られる情報に基づいて画像処理を行う、項目１〜８のいずれか１項に記載の画像処理システム。
（項目１０）
前記画像分割部は、前記入力画像に対する画像認識結果に基づいて分割領域を決定する、項目１〜９のいずれか１項に記載の画像処理システム。
（項目１１）
前記画像処理部は、前記画像認識結果に基づいて得られる前記分割領域ごとの分割画像の属性に基づいて画像処理を行う、項目１０に記載の画像処理システム。
（項目１２）
前記画像処理部は、前記分割画像とは異なる他の分割画像および／または前記入力画像より得られる情報を用いて画像処理を行う、項目１〜１１のいずれか１項に記載の画像処理システム。
（項目１３）
前記画像処理部は、前記画像分割部により分割された前記分割画像を高解像度化する超解像処理部を含む、項目１〜１２のいずれか１項に記載の画像処理システム。
（項目１４）
前記超解像処理部は、前記分割画像それぞれのＲＧＢ成分に対して並列処理を行い、Ａｌｐｈａ成分に対しては一括処理を行う、
ことを特徴とする項目１３に記載の画像処理システム。
（項目１５）
前記超解像処理部は、前記分割画像それぞれのＲＧＢ成分及びＡｌｐｈａ成分に対して並列処理を行うことを特徴とする項目１３または１４に記載の画像処理システム。
（項目１６）
前記超解像処理部は、前記分割画像のＡｌｐｈａ成分により構成されるグレースケール画像に対して超解像処理を行い、超解像処理後のグレースケール画像に基づいて前記分割画像のＲＧＢ成分に対する超解像処理を行うことを特徴とする項目１３〜１５のいずれか１項に記載の画像処理システム。
（項目１７）
前記超解像処理部は、前記分割画像それぞれの色空間の成分の全部または一部に対して並列処理を行うことを特徴とする項目１３〜１６のいずれか１項に記載の画像処理システム。
（項目１８）
前記所定の画像処理は、前記分割画像に含まれるオブジェクトを認識する画像認識処理を含む、項目１〜１７のいずれか１項に記載の画像処理システム。
（項目１９）
前記画像処理部は、前記分割画像に係る情報から、認識された前記オブジェクトに係る領域における画像情報を除去し、前記オブジェクトに係る領域以外の領域の情報に基づいて前記オブジェクトに係る領域における画像情報を生成する、項目１８に記載の画像処理システム。
（項目２０）
前記画像処理部は、前記分割画像に係る情報から、前記オブジェクトに係る領域以外の領域における画像情報を除去する、項目１８または１９に記載の画像処理システム。
（項目２１）
前記画像分割部は、前記分割画像を前記オブジェクトに係る領域の各々に係るレイヤー画像にさらに分割する、項目１８〜２０のいずれか１項に記載の画像処理システム。
（項目２２）
前記画像処理部は、前記レイヤー画像のそれぞれを並列処理により所定の画像処理を行う、項目２１に記載の画像処理システム。
（項目２３）
前記所定の画像処理は、前記分割画像の輝度、彩度、コントラスト、色調、ホワイトバランスおよび明度の少なくともいずれかを補正する補正処理を含む、項目１〜２２のいずれか１項に記載の画像処理システム。
（項目２４）
前記補正処理は、前記入力画像および／または前記分割画像に含まれるメタデータに基づいて行われる、項目２３に記載の画像処理システム。
（項目２５）
前記所定の画像処理は、前記分割画像に対するＨＤＲ化処理を含む、項目１〜２４のいずれか１項に記載の画像処理システム。
（項目２６）
前記所定の画像処理は、前記分割画像のうち前記入力画像の外縁部分より外側の領域における画像情報を生成する画像周辺補完処理を含む、項目１〜２５のいずれか１項に記載の画像処理システム。
（項目２７）
前記所定の画像処理は、前記分割画像を構成する色深度を変更し、前記分割画像の画素の各々の色彩情報を該色深度に応じて変化させる着彩処理を含む、項目１〜２６のいずれか１項に記載の画像処理システム。
（項目２８）
前記所定の画像処理は、前記分割画像に含まれるボケを補正する処理を含む、項目１〜２７のいずれか１項に記載の画像処理システム。
（項目２９）
コンピュータを、
入力画像のサイズに応じて当該入力画像を分割する画像分割手段、
前記分割された分割画像それぞれを並列処理により所定の画像処理を行う画像処理手段、
前記所定の画像処理がされた分割画像それぞれを統合して、１つの出力画像にする画像統合手段、
として機能させ、
前記画像分割手段は、前記分割画像における周辺領域を含むように前記入力画像を分割し、
前記画像処理手段は、前記周辺領域を含んで前記分割画像に対して前記所定の画像処理を行い、
前記画像統合手段は、前記画像処理後の前記分割画像の前記周辺領域の画像を除去し、前記周辺領域の画像を除去した後の前記分割画像の端部領域を接合する、
ことを特徴とするプログラム。

以下、添付図面を参照しながら本発明の実施形態（以下、本実施形態という。）について説明する。

図１は、本発明の一実施形態に係る画像処理システムの全体構成例を示す図である。本実施形態の画像処理システムは、画像処理サーバ１を含んで構成される。画像処理サーバ１は、一又は複数のユーザ端末２と通信ネットワーク３を介して通信可能に接続される。通信ネットワーク３は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

本実施形態の画像処理システムは、一又は複数のユーザに対して、入力された画像の解像度を高める超解像処理サービスを提供しようとするものである。本実施形態の画像処理システムは、たとえば、ユーザ端末２から送信された動画や静止画に対して超解像処理を行い、出力画像を当該ユーザ端末２に返送する。

画像処理サーバ１は、ユーザ端末２から受信した動画や静止画の解像度を高める超解像処理を行うためのコンピュータである。画像処理サーバ１は、たとえば、パーソナルコンピュータやワークステーション、クラウドコンピューティングによる仮想的なコンピュータである。画像処理サーバ１は、いわゆるＷｅｂアプリケーションとしてこれらの機能を実行することを想定する。なお、図１において、画像処理サーバ１は単一のサーバとして図示しているが、これに限らず、本画像処理システムは、画像処理サーバ１を含む複数の画像処理サーバを有し、超解像処理を、画像処理サーバ１における分散処理に加えて、複数の画像処理サーバで並列して分散処理によって実行することができる。また、ここで、分散処理を行う画像処理サーバの台数の増減を、超解像処理の負荷及び／または超解像処理を行う画像サイズに応じて動的に変更することもできる。

ユーザ端末２は、携帯電話、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどのコンピュータである。

ユーザ端末２は、ユーザが選択した動画や静止画を画像処理サーバ１に送信し、超解像処理が行われた出力画像を受信する。ユーザ端末２には、たとえば、本実施形態に係る画像処理システムに対応するアプリケーションソフトがインストールされていてもよい。

図２は、本実施形態の画像処理サーバ１のハードウェア構成例を示す図である。画像処理サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４、画像制御部１５、画像用メモリ１６等を備え、これらはバス１７を通じて相互に電気的に接続される。制御部１０は、画像処理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。また、制御部１０は、例えばユーザ端末２から送信された入力画像を分割したり、超解像処理が行われた分割画像それぞれを統合したりする。メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、画像処理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築されていてもよい。送受信部１３は、画像処理サーバ１を通信ネットワーク３に接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの近距離通信インターフェースを備えていてもよい。送受信部１３は、例えば、ユーザ端末２から動画や静止画を受信したり、画像処理サーバ１で高解像度化した画像データをユーザ端末２に送信したりする。入出力部１４は、キーボードやマウス類、コントローラ等の情報入力機器、及びディスプレイ等の出力機器である。画像制御部１５は、制御部１０によって分割された分割画像それぞれを並列処理により高解像度化する超解像処理を行う。画像制御部１５は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ホストであるＣＰＵからの命令を多数のコアにより同時に並列処理を行うことができる。また、画像制御部１５は、アクセラレーターや、アクセラレータークラスタにより同時に並列処理を行ってもよい。アクセラレーターとしては、例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、独自定義のニューラルネットワーク専用演算コア、推論専用の光を用いた演算装置などが挙げられ、これらに限定されない。画像用メモリ１６は、高解像度化された画像データを格納するために用いられる。画像用メモリ１６は、例えば、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。バス１７は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

図３は、画像処理サーバ１のソフトウェア構成例を示す図である。画像処理サーバ１は、画像分割部１１１、超解像処理部１１２、画像統合部１１３、入力画像記憶部１５１、分割画像記憶部１５２、および出力画像記憶部１５３を備える。

なお、画像分割部１１１、超解像処理部１１２、および画像統合部１１３は、画像処理サーバ１が備える制御部１０又は画像制御部１５がストレージ１２に記憶されているプログラムをメモリ１１に読み出して実行することにより実現される。また、入力画像記憶部１５１、分割画像記憶部１５２、および出力画像記憶部１５３は、メモリ１１、ストレージ１２、又は画像用メモリ１６の少なくともいずれかにより提供される記憶領域の一部として実現される。また、各部で実行される処理について、その処理負荷やハードウェアリソースに応じて、画像処理サーバ１内の複数の装置、及び／または、他のサーバで並列処理を行うこともできる。かかるサーバにはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が搭載され、複数のＧＰＵをリソースとして同時に並列処理が行われてもよい。

入力画像記憶部１５１は、ユーザ端末２から送信された動画の１フレームや、送信された静止画を入力画像として記憶する。入力画像記憶部１５１は、例えばメモリ１１に設けられている。

分割画像記憶部１５２は、入力画像が分割された分割画像それぞれを記憶する。分割画像記憶部１５２は、例えば画像用メモリ１６に設けられている。

出力画像記憶部１５３は、超解像処理が行われた画像であって、ユーザ端末２に送信する出力画像を記憶する。出力画像記憶部１５３は、例えばメモリ１１に設けられている。

画像分割部１１１は、入力画像を分割する。例えば、画像分割部１１１は、入力画像のサイズに応じて当該入力画像を分割する。本実施形態では、画像分割部１１１は、入力画像のサイズが大きい場合、分割画像のサイズも大きくする。また、画像分割部１１１は、入力画像のサイズが所定のサイズよりも大きい場合に、入力画像を分割してもよい。また、他の例として、入力画像のサイズが大きい場合、待ち時間を少なくすることを重視し、入力画像サイズのままで、画像処理サーバの台数を増やして超解像処理を並列化処理することで実行することもできる。なお、画像分割部１１１は、上記の例に限らず、画像の情報量（例えばビット数やＲＡＷ画像における情報量）、画像のチャンネル数（例えばＲＧＢ、ＲＧＢＡまたはＣＭＹＫ等）または画像の処理時間に基づいて、入力画像を分割してもよい。また、画像分割部１１１は、超解像処理部１１２における並列処理それぞれの処理量が平滑化されるように、分割画像それぞれのサイズを動的に変化させ、分割画像記憶部１５２に記憶する。かかる処理量の平滑化は、例えば分割画像それぞれの高周波成分の情報量を均一化する平滑化を含む。すなわち、並列処理における処理量の平滑化は、各分割画像が保有する各種の情報量に応じて行われる。これにより、分割画像のそれぞれの属性（例えば、イラスト、写真等）に応じた割り当て方とすることができ、分割画像のそれぞれに適した処理量の割り当てが可能となる。かかる情報量の種類は、例えば、上述した属性、各分割画像に含まれるノイズ量であり得る。また、入力画像が動画像である場合は、各分割画像におけるフレーム間の変化量の大きさ等が情報量の種類であり得る。また、画像分割部１１１は、ほとんど画素値が変化しない部分（高周波成分が低い部分）に関しては、処理量が少なくなるため分割画像のサイズを大きくし、画素値が激しく変化する部分（高周波成分が高い部分）に関しては、処理量が多くなるため分割画像のサイズを小さくする。他にも画像分割部１１１は、ネットワークのレイテンシに基づいて入力画像を分割してもよく、メモリなど画像処理サーバ１においてボトルネックの状態となっている要素に応じて入力画像を分割してもよい。また、画像分割部１１１は、分割画像それぞれに対して、分割画像の周辺に周辺領域を余分に付加して分割画像記憶部１５２に記憶する。すなわち、各分割画像は、他の分割画像と共通する領域（周辺領域）を有する。

ここで、分割画像の一例について説明する。図４は、本実施形態による分割画像の例を説明するための図である。図４に示すように、入力画像Ｉ１から複数の分割画像Ｄ１が分割されて生成される。まず、画像分割部１１１は、分割領域Ｄ１０を決定する。そして、画像分割部１１１は、入力画像を各分割画像に分割する際、分割領域Ｄ１０に付随して、その周辺に周辺領域Ｄ１１を付与する。なお、分割画像のうち、入力画像の端部に位置する分割画像については、分割領域の周囲の一部分のみに周辺領域が付与されてもよい。

超解像処理部１１２は、分割された分割画像それぞれを並列処理により高解像度化する。かかる並列処理は、画像処理の速度を向上する目的のため、同時に行われ得る。本実施形態では、超解像処理部１１２は、画像制御部１５に設けられている。例えば、超解像処理部１１２は、ＧＰＵの各コア（またはアクセラレーター／アクセラレータークラスタ）において、並列して超解像処理を実行する。その際、超解像処理部１１２は、図４に示すように、周辺領域Ｄ１１を含めて分割画像Ｄ１について高解像度化の処理を行う。なお、この超解像処理としては、最近傍（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）や、スパースコーディング、ＳＲＣＮＮ（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳＲＧＡＮ（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇａ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などの手法が挙げられる。ここで、前述のように、画像において輝度変化が少ない／低周波成分がしかない、あるいは、多く占める部分については、超解像処理を行わずに、処理負荷の小さい通常の拡大処理を行うこともできる。また、超解像処理の並列処理については、前述のように、画像処理サーバ１のＧＰＵの各コア（またはアクセラレーター／アクセラレータークラスタ）における並列処理と、画像処理サーバ１を含む複数の画像処理サーバによる並列処理のいずれか、または、両方を適用することができる。また、複数の画像処理サーバによる並列処理を適用する場合、超解像処理の処理負荷及び／または超解像処理を行う画像サイズに応じて、その処理台数の増減を変更することができる。また、並列処理について、画像処理サーバ１がユーザ端末２から処理リクエストを受信した場合に、その処理の順番を決定し、当該ユーザに関連する処理について複数の計算システムを使用することでユーザ一人当たりの処理時間を短縮し、かつ、待ち行列理論的に、効率的な計算資源効率を実現することができる。

また、ここで、超解像処理部１１２は、分割画像の情報量（例えば高周波成分）が少ない場合、より軽量な手法を取ってもよい。また、超解像処理部１１２は、分割画像それぞれのＲＧＢ成分に対してはクオリティが求められる（計算量が多くなる）ため並列処理を行い、Ａｌｐｈａ成分（透明度）に対してはクオリティが求められない（計算量が少なくて済む）ため一括処理を行う。このように求められる処理の情報量に応じて並列処理か一括処理かを選択することにより、ボトルネックとなる処理を優先的に並列処理することができ、全体としての画像処理を高速化することができる。なお、このＡｌｐｈａ成分に対する一括処理は、制御部１０で行うこともできるし、ＲＧＢ成分に対する並列処理とは別の装置、例えば、ユーザ端末２、または、他の画像処理サーバ１において実行することができる。また、他の例として、ＲＧＢ成分及びＡｌｐｈａ成分両方について並列処理を適用することもできる。さらに、他の例として、超解像処理部１１２は、分割画像のＡｌｐｈａ成分により構成されるグレースケール画像に対して超解像処理を行い、その結果得られた超解像処理後のグレースケール画像に基づいて、分割画像のＲＧＢ成分のそれぞれに対して超解像処理を行ってもよい。具体的には、超解像処理部１１２は、分割画像のＡｌｐｈａ成分を示すグレースケール画像に対して超解像処理を行う。そして、超解像処理部１１２は、かかるグレースケール画像をマスキングに用いて、ＲＧＢ成分に対する超解像処理を行う。これにより、Ａｌｐｈａ成分を含む画像の超解像度処理において、該超解像処理に用いる機械学習のモデルとして、ＲＧＢ成分用のみのモデルのみを用いることができる。

なお、本実施形態に係る超解像処理部１１２は画像処理部の一例である。超解像処理部１１２以外の画像処理の変形例については後述する。また、画像処理部は、分割した各分割画像に対して同種の画像処理を行い得る。例えば、画像処理部は、隣接した分割画像のそれぞれに対して、同種の画像処理を行い得る。この場合、画像処理に用いられるフィルタやパラメータも同一であり得る。

画像統合部１１３は、高解像度化された分割画像それぞれを統合して、１つの出力画像にする。本実施形態では、画像統合部１１３は、画像処理後の分割画像の周辺領域の画像を除去し、周辺領域の画像を除去した後の分割画像の端部領域を接合する。端部領域とは、分割画像の分割領域におけるエッジの部分を意味する。図４に示したように、周辺領域Ｄ１１は隣接する分割画像の一部と重複する領域である。本実施形態の画像統合部１１３は、この周辺領域Ｄ１１の画像を取り除き、分割領域Ｄ１０のみ残した分割画像の端部領域Ｄ１００を隣接する分割画像と接合する。

上述した超解像処理部１１２は、分割画像に対して周辺領域を含めて高解像処理を行う。かかる画像処理においては、対象の画素の周囲の情報に基づいて画像処理が行われる。その際、分割画像の中央部分に比較して、周辺部分の情報は十分でないことが多いため、周辺部分の画像処理の精度は中央部分に比較して低い。特に、深層学習など広範囲の情報を用いる処理においては、その精度の差が顕著に現れる。そこで、画像分割部１１１が分割領域に周辺領域を付与し、超解像処理部１１２がかかる周辺領域を含めて画像処理を行うことで、分割領域のみを画像処理を行う場合と比較して、分割領域の画像処理の精度を高めることができる。そして、画像統合部１１３が、分割画像の接合の際に、周辺領域の画像を除去し、除去後の分割画像（すなわち分割領域により囲まれる部分）の端部領域を接合することで、並列処理による処理の高速化を実現しつつ、入力画像の高解像処理の精度を高くすることができる。

なお、他の実施形態では、画像統合部１１３は、分割画像同士が接合される接合領域を重ね合わせる処理を施してもよい。この重ね合わせる処理としては、特に限定はされないが、ブレンド処理（グラデーションや、色の調整（平均化））、色が損なわれない形式での解像度向上、エッジの調整処理、周囲の画像からの重み付き推定等が挙げられる。このグラデーション処理は、例えば、分割画像の接合領域のうち、当該分割画像の端部に近い領域（ピクセル）であるほど当該分割画像の色を反映する度合いを低くし、当該分割画像の端部から遠い領域であるほど当該分割画像の色を反映する度合いを高くする処理である。すなわち、分割画像の端部に近い領域であるほど重ね合わせる分割画像の色を反映する度合いを高くし、分割画像の端部から遠い領域であるほど重ね合わせる分割画像の色を反映する度合いを低くする。

図５は、本実施形態の画像処理サーバ１により実行される処理の流れを説明する図である。この処理は、ユーザ端末２から送信された動画の１フレーム目が、制御部１０によって入力画像記憶部１５１に入力画像として記憶された場合に開始される。なお、以下のステップの順番及び内容は変更することができる。

（ステップＳ２０１）
画像分割部１１１は、入力画像を分割し、分割した分割画像それぞれのＲＧＢ成分を分割画像記憶部１５２に記憶する。例えば、画像分割部１１１は、入力画像のサイズ及び高周波成分に応じて、分割画像それぞれの超解像処理量が平滑化されるように、分割画像それぞれのサイズを動的に変化させる。また、他の例として、入力画像のサイズを同じサイズで分割することもできる。また、画像分割部１１１は、例えば入力画像のＡｌｐｈａ成分を入力画像記憶部１５１に保持する。なお、Ａｌｐｈａ成分についても高精度な超解像処理を行う場合は、ＲＧＢ成分とＡｌｐｈａ成分を含むＲＧＢＡ成分を分割画像記憶部１５２に記憶してもよい。また、画像分割部１１１は、分割した分割画像それぞれに対して、周辺領域を余分に付加する。図６は、入力画像と分割画像の一例を示す図である。そして、処理は、ステップＳ２０２の処理に移行する。

（ステップＳ２０２）
超解像処理部１１２は、上記ステップＳ２０１において分割された分割画像それぞれのＲＧＢ成分を並列処理により高解像度化する。具体的には、超解像処理部１１２は、多数のＧＰＵコア、または、アクセラレーター／アクセラレータークラスタのそれぞれで１つの分割画像を高解像度化し、複数の分割画像を高解像度化する時間を短縮させる。また、超解像処理部１１２は、例えば、分割画像のＲＧＢ成分をＳＲＧＡＮによって超解像処理する。また、超解像処理部１１２は、入力画像記憶部１５１に保持された入力画像のＡｌｐｈａ成分に対して一括処理を行うことにより高解像度化する。そして、処理は、ステップＳ２０３の処理に移行する。

（ステップＳ２０３）
画像統合部１１３は、上記ステップＳ２０２において高解像度化された分割画像それぞれのＲＧＢ成分を統合して１つの出力画像とし、出力画像記憶部１５３に記憶する。ここで、画像統合部１１３は、上記ステップＳ２０１で余分に付加された周辺領域を除去する処理を行う。具体的には、画像統合部１１３は、画像処理後の分割画像のうち周辺領域の画像を除去し、除去後の分割画像の端部領域同士を接合する処理を行う。これにより、分割画像の端部領域の画質を維持したまま分割画像同士を統合でき、分割による画質への影響を抑制することができる。続いて、画像統合部１１３は、上記ステップＳ２０２において一括処理で高解像度化されたＡｌｐｈａ成分を、出力画像記憶部１５３に記憶された出力画像に反映する。そして、処理は、ステップＳ２０４の処理に移行する。

（ステップＳ２０４）
送受信部１３は、上記ステップＳ２０３において出力画像記憶部１５３に記憶された出力画像（例えば、ＲＧＢ成分とＡｌｐｈａ成分を高解像度化した画像）をユーザ端末２に送信する。そして、処理は、ステップＳ２０５の処理に移行する。

（ステップＳ２０５）
制御部１０は、ユーザ端末２から送信された動画の１フレーム目から最終フレームまでの超解像処理が終了したか否かを判定する。当該判定が肯定判定された場合、制御部１０は、動画の次のフレームを入力画像として入力画像記憶部１５１に記憶し、処理は、ステップＳ２０１の処理に移行する。一方、当該判定が否定された場合、処理は、図５に示す一連の処理を終了する。ここで、動画の場合、１フレームのみを使って、高解像度化する場合もあるが、前後の複数のフレーム（例えば、３フレーム(または、５あるいは７フレーム)を用いて、より精度の高い高解像度化を行うこともできる。また、複数フレームを使い、かつ、並列処理をする場合は、高解像度化するフレームをアクセラレータークラスタ間等で送信する必要があるフレーム数が少なくするように設定することができる。なお、ユーザ端末２から送信された画像が静止画である場合には、本ステップは省略される。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

また、上記実施形態では、画像処理サーバ１が機能部と記憶部とを両方備えているものとしたが、これに限らず、たとえば、記憶部をデータベースサーバが備えるようにし、画像処理サーバ１からデータベースサーバにアクセスするようにしてもよい。また、当該機能部と記憶部の全部又は一部は、ユーザ端末２に設けられてもよい。

また、上記実施形態では、画像処理サーバ１は、ユーザ端末２から送信された動画を１フレームずつ超解像処理し、当該超解像処理した出力画像を逐次ユーザ端末２に送信することとしたが、当該超解像処理した出力画像の一部又は全部をまとめて、動画としてユーザ端末２に送信することとしてもよい。

また、上記実施形態では、超解像処理部１１２は、１種類の手法で超解像処理を行うこととしたが、複数種類の手法で超解像処理を行ってもよい。例えば、送受信部１３は、ユーザ端末２に複数種類の手法で超解像処理を行った各画像（例えば動画の１フレーム目を超解像処理した画像）を送信し、ユーザ端末２において当該各画像を比較可能に表示させてもよい。次いで、ユーザ端末２は、ユーザからの好みの手法を指定する操作に応じて、当該手法を画像処理サーバ１に送信し、超解像処理部１１２は、当該送信された手法によって動画の各フレームを超解像処理してもよい。

また、上記実施形態では、超解像処理部１１２は、ＲＧＢ成分とＡｌｐｈａ成分について超解像処理を行う例を説明したが、他の色空間を用いて超解像処理を行ってもよい。例えば、ピクセルの色をＹＵＶ（輝度信号のＹ成分、青色成分の差分信号のＵ成分、赤色成分の差分信号のＶ成分）に変換して超解像処理を行ってもよい。また、超解像処理部１１２は、ＹＵＶのうち、この人間の眼に敏感なＹ成分を分割画像において高解像度化し、Ｕ成分とＶ成分は、他の方法で拡大してもよい。

また、超解像処理部１１２は、ＲＧＢ成分及びＡｌｐｈａ成分の両方について並列処理を適用することもできる。また、超解像処理部１１２は、他の色空間として、例えば、ＸＹＸ、Ｌｕｖ、Ｌａｂ、ＣＭＹ、ＣＭＹＫ、ＨＳＶ、ＨＬＳ、ＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒ等が適用される場合において、各種成分の全部または一部に並列処理を適用することもできる。また、超解像処理部１１２は、上記ステップＳ２０２において並列処理を行う場合、いずれの画像処理サーバが処理を実行すべきか、及び／または、いずれの処理モデルを適用するか、について決定する処理が含まれるようにしてもよい。

なお、このユーザ端末２において各画像を比較可能に表示させるまでは、ユーザに無償で提供し、ユーザが特定の画像を選択した時点で有償で提供するか、または、超解像処理された動画または静止画をユーザ端末２に送信（ダウンロード）する時点で、ユーザに有償で提供することとしてもよい。

また、超解像処理部１１２は、画像のノイズを学習して、分割画像においてノイズであると認識した部分を消去する処理を行ってもよい。ここで、ブロックノイズや、モスキートノイズなどの現実世界のノイズは、学習では認識が困難なため、画像処理サーバ１の管理者によって学習モデルを作成してもよい。

ここで言う、現実世界のノイズとは、現実世界の真の状態に対して、その写像としての画像を、真の状態の画像と比較して何らかの変換を受けて、真の状態でなくなってしまう影響のことをノイズと呼んでいる。現実世界のノイズとしては、ＪＰＥＧ圧縮ノイズ、アンチエイリアスノイズ、ブラー、モーションブラー、減色ノイズ、縮小/拡大ノイズ（最近傍補完、Ｂｉｌｉｎｅａｒ補完、Ｂｉｃｕｂｉｃ補完、Ｌａｎｃｚｏｓ補完、Ａｒｅａ補完）、歪みによる変換（Ａｆｆｉｎｅ変換、Ｐｅｒｓｐｅｃｔｉｖｅ変換）、量子化ノイズ、３Ｄレンダリング時のエッジのノイズ、３Ｄレンダリング時のレイトレーシングの手法選択によるノイズ、３Ｄレンダリング時のレイトレーシングのサンプル数不足によるノイズ、ＣＭＯＳセンサーによるノイズ、印刷物をスキャン／撮影した際のノイズ、印刷物のハーフトーン、印刷のインクの滲み等のインクによるノイズ、撮影時のピントがあっていないことによるノイズ、ランダムノイズ、カーネルを使った、コンボリューション（ボックスフィルター／ガウシアンフィルタ／メディアンフィルタ／バイラテラルフィルタなど）等が挙げられるがこれに限られない。上記のノイズを、現実に即したノイズの発生の仕方をモデル化し、それぞれを１つの関数として処理し、任意の画像に対し、現実に即したノイズを加える。ここで、様々なソフトウェアによって、上記の実装方法が違い、同じ手法と呼ばれているものについても微妙な誤差が存在するため、その誤差も含むように、それぞれのノイズのかかり方を想定して、変換を行うこともできる。そして、上記のノイズを複数選択し、任意の順番で任意の回数の変換を加えられた画像が、現実世界をモデル化されたノイズを加えられた画像となる。また、それぞれのノイズのかかり方は、共起する可能性に応じて、同時にかかるかどうかなどを考慮して確率的に選択される。現実世界をモデル化されたノイズを加えられた画像と、変換を加えられる前の画像とのマッピングを学習することによって、現実世界に存在するノイズを前にしても、正確に高解像度化できる機械学習モデルを訓練させることができる。

＜変形例＞
なお、本発明は上記実施形態に限定されず、以下に記載する変形例により実現されてもよい。

例えば、上記実施形態に係る超解像処理部１１２以外に、画像処理部は、分割画像に含まれるオブジェクトを認識して画像認識処理を行う機能を有してもよい。かかる画像処理部は、分割画像に含まれる一または複数のオブジェクトを認識する。オブジェクトの画像認識処理には、例えば公知の画像認識技術が用いられてもよい。

上述した画像処理部は、さらに、分割画像に係る情報からオブジェクトに係る領域における画像情報を除去してもよい。これにより、分割画像からオブジェクトが取り除かれる。そして画像処理部は、オブジェクトに係る領域以外の領域の情報に基づいてオブジェクトに係る領域における画像情報を生成してもよい。例えば、入力画像が人物と背景を被写体に含む画像であり、人物がオブジェクトとして認識される場合、画像処理部は入力画像から人物を除去する。この場合、人物が写っていた領域から画像情報は削除されるので、画像処理部は、人物（の一部）が写っていた領域を、背景（すなわちオブジェクトに係る領域以外の領域）に係る画像情報に基づいて画像情報を生成し、該領域を補完する。

また、画像処理部は、分割画像に係る情報からオブジェクトに係る領域以外の領域における画像情報を除去してもよい。例えば、入力画像が人物と背景を被写体に含む画像であり、人物がオブジェクトとして認識される場合、画像処理部は入力画像から背景を除去する。これにより、分割画像から人物（の一部）が写っていた画像だけを得ることができる。

このように画像処理部は、認識対象であるオブジェクトに係る領域とそれ以外の領域とを認識する。その際、画像処理部は複数のオブジェクトをそれぞれ認識し、複数のオブジェクトに係る領域およびオブジェクトに係る領域以外の領域を判別すると、画像分割部１１１はそれぞれの領域に対応するレイヤー画像に分割して生成してもよい。

さらに、画像処理部は、分割されたレイヤー画像についてそれぞれ並列処理により所定の画像処理を行ってもよい。画像処理の種類は特に限定されない。これにより、各レイヤー画像ごとに異なる処理を行うことが可能となる。

これらの画像認識処理には、例えば、分割画像のうち対象のオブジェクト等を有する分割画像にのみ行えばよく、処理にかかる負荷を軽減することができる。

また、画像処理部は、分割画像の輝度、彩度、コントラスト、色調、ホワイトバランスおよび明度の少なくともいずれか（以下、輝度等という）を補正する補正処理を行う機能を有しても良い。かかる補正処理は、例えば自動レベル補正といった技術や、Deep Learning等の機械学習を用いた手法により実現され得る。これにより、ＨＤＲ（High Dynamic Range）のような画像を得ることができる。また、かかる処理によって、画像の白飛びや黒潰れを解消されることもある。

かかる処理においては、例えば、並列処理される他の分割画像に含まれる情報が用いられてもよい。かかる他の分割画像とは、例えば静止画の場合は、入力画像を分割して得られる一の分割画像と同じ該入力画像から得られる、一の分割画像とは異なる分割画像を意味する。また、動画像の場合は、分割画像（分割フレーム群）以外のフレーム群、または該フレーム群に含まれる１以上のフレームを意味する。具体的には、他の分割画像の輝度等に係る情報を用いることで、処理対象の分割画像に適切な補正を行うことができる。用いる他の分割画像は一または複数のいずれでもよい。また、他の分割画像に含まれる情報は、該他の分割画像を縮小して得られる情報であったり、Deep Learning等の機械学習によって抽出される特徴に基づく情報であってもよい。また、かかる処理においては、分割前の入力画像に含まれる情報が用いられてもよい。

なお、分割画像の輝度等を補正する補正処理においては、画像統合部１１３による統合後に、分割画像の間での輝度等の補正の程度が異なり、これらの調整が必要となる場合がある。この場合、画像統合部１１３は、統合後の画像の輝度等を調整してもよい。

また、画像処理部は、ＨＤＲ化処理による補正処理を行ってもよい。ＨＤＲ化処理とは、単なる輝度等の調整とは異なり、分割画像のダイナミックレンジを拡張したＨＤＲ画像に補正する処理を意味する。かかるＨＤＲ化は、例えば機械学習等の手法により実現され得る。

また、画像処理部は、分割画像に含まれるボケを補正する処理を行ってもよい。かかるボケを補正する処理の方法は、公知の方法が用いられ得る。

また、画像処理部は、上記の補正処理以外の画像処理においても、他の分割画像および／または入力画像より得られる情報に基づいて該画像処理を行ってもよい。

また、かかる処理においては、例えば、分割画像（他の分割画像を含む）や入力画像に含まれるメタデータが用いられてもよい。かかるメタデータとは、例えばカラースペースに関する情報を含む。このようなメタデータを輝度等に係る補正処理に用いることで、より適切なＨＤＲ画像を生成することが可能となる。

また、画像処理部は、分割画像のうち入力画像の外縁部分より外側の領域（すなわち画像周辺領域）における画像情報を生成する画像周辺補完処理を行ってもよい。入力画像の外縁部分より外側の領域には画像に関する情報が含まれていない。画像処理部は、画像周辺補完処理により、例えば入力画像の外縁部分近傍の画像情報に基づいて、分割画像における上記領域の画像情報を生成する。具体的には、入力画像の外縁部分近傍が背景に係る画像情報を含む領域であれば、画像処理部は、上記領域の画像情報として、上記背景に関連する画像情報を生成する。これにより、画像処理部は、上記領域の画像補完を行うことができる。特に分割画像についてかかる画像補完処理を行うので、例えば周辺画像領域を有する分割画像に対してのみ行えばよく、処理にかかる負荷を軽減することができる。画像補完処理については、公知の手段を用いることができる。

また、画像処理部は、前記分割画像を構成する色深度を変更し、分割画像の画素の各々の色彩情報を該色深度に応じて変化させる着彩処理を行っても良い。着彩処理とは、例えば、分割画像の画素ごとに割り当てられるデータ量を変更する処理である。具体的には、画像処理部は、モノクロ画像やグレースケール画像のような低い色深度の画像を、カラー画像のような高い色深度の画像に変更する処理を行う。これにより画像の着彩が実現される。着彩処理は、分割画像のうち一部（例えばオブジェクトとして認識された領域）のみに行われてもよい。また、着彩処理が必要な分割画像に対してのみに当該処理を行えばよく、処理にかかる負荷を軽減することができる。着彩処理については、公知の手段を用いることができる。

なお、上述した画像処理部は、上述した処理のうち一つを単独で行うものであってもよいし、上述した処理のうちの複数の組み合わせの処理を行うものであってもよい。

次に、画像分割部１１１に係る変形例について説明する。

例えば、入力画像が動画像である場合、画像分割部１１１は、動画像の少なくとも一部を構成する複数のフレームを時系列で、および／または該複数のフレームにおいて対応する同一の画像領域ごとに分割して分割画像を生成してもよい。時系列での分割処理とは、複数のフレームを一つの入力画像の組として分割する処理を意味する。複数のフレームは、時系列的に連続的でも非連続的であってもよく、その組み合わせは特に制限されない。複数のフレームにおいて対応する画像領域ごとの分割処理とは、各フレームの分割領域を対応づけて分割することを意味する。例えば、フレームの大きさがｍ×ｎピクセルであり、３×２となるよう分割する場合、各フレームとも、ｍ／３×ｎ／２の大きさの画像に分割することを意味する。この時系列でのおよびフレーム内での分割は適宜組み合わされても良い。これにより、動画であっても分割による並列処理が可能となる。

なお、入力画像が動画像である場合も、画像処理部は、上述した各種画像処理を動画像の各フレームの分割画像に対して行ってもよい。例えば、画像処理部は、複数のフレームに係る入力画像について、輝度等を調整する補正をしてもよい。さらに、画像処理部は、複数のフレームにまたがる動画像の動き（オプティカルフロー）等に係る情報に基づいて画像処理を行ってもよい。例えば、画像処理部は、複数のフレームにおいて動きが大きい領域に対応する分割画像に対して優先的に画像処理を行ってもよい。これにより、画像処理に係るリソースをより有効的に利用することができる。また、一の動画像を複数のフレームを時系列ごとに分割する場合、周辺領域として、分割フレーム群の前後のフレームを含めて分割画像としてもよい。例えば、５０００フレームからなる動画像を５つの分割画像に分割する場合、周辺領域がない場合は、１〜１０００、１００１〜２０００、２００１〜３０００、３００１〜４０００、４００１〜５０００の１０００フレーム毎に分割されるが、周辺領域を含む場合、画像分割部は、上記動画像を、１〜１０１０、９９０〜２０１０、１９９０〜３０１０、２９９０〜４０１０、３９９０〜５０００というように分割してもよい。この場合、画像統合部１１３によるパディング処理においては、各分割フレーム群の周辺領域が除かれ、端部領域（例えば、１０００フレーム目と１００１フレーム目、２０００フレーム目と２００１フレーム目）が接合され得る。

また、画像分割部１１１は、入力画像または分割画像を圧縮する圧縮処理を行ってもよい。例えば、画像分割部１１１は入力画像を圧縮することで、入力画像に関する情報（すなわち画像全体に係る情報）を低い容量で保持することができる。このような圧縮された情報に基づいて画像処理部が分割画像に対して所定の画像処理を行ってもよい。これにより、画像全体の情報が分割画像に対する画像処理に反映されるので、画像処理の精度を向上させることができる。かかる圧縮処理については、公知の手段を用いることができる。

また、画像分割部１１１は、入力画像に対する画像認識結果に基づいて分割領域を決定してもよい。例えば、予め入力画像に対して画像認識が行われ、その後の画像処理が重要な領域と非重要な領域に認識されたとする。このとき、画像分割部１１１は、かかる重要な領域と非重要な領域とに分かれるよう分割領域を決定し、各分割画像を生成する。その際、分割画像の各々は必ずしも上述した領域に一対一で対応しなくてもよく、画像分割部１１１は、重要な領域を多く占める分割画像と、非重要な領域を多く占める分割画像とに分割してもよい。画像認識結果に基づいて分割領域を決定することで、画像処理が重要となる分割画像に集中的に画像処理のリソースを割くことができ、並列処理の効率化につながる。さらに、画像処理部は、画像認識結果に基づいて得られる分割領域ごとの分割画像の属性に基づいて画像処理を行ってもよい。例えば、入力画像が写真とイラストからなるバナー広告である場合、上記の画像分割部１１１は、写真に対応する１以上の分割領域と、イラストに対応する１以上の分割領域を決定し、入力画像を分割する。このとき、各分割画像に、写真やイラスト等の属性が割り当てられる。そして、画像処理部は、分割画像の属性が写真の場合とイラストの場合で、例えば、リソースの割当量や画像処理のパラメータ等を変更して画像処理を行ってもよい。これにより、より効率的に並列処理を実行することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理サーバ
２ ユーザ端末
３ 通信ネットワーク
１０ 制御部
１５ 画像制御部
１６ 画像用メモリ
１１１ 画像分割部
１１２ 超解像処理部
１１３ 画像統合部
１５１ 入力画像記憶部
１５２ 分割画像記憶部
１５３ 出力画像記憶部

Claims (29)

1. 入力画像を分割する画像分割部と、
   前記分割された分割画像それぞれを並列処理により所定の画像処理を行う画像処理部と、
   前記所定の画像処理が行われた分割画像それぞれを統合して、１つの出力画像にする画像統合部と、
   を備え、
   前記画像分割部は、前記分割画像における周辺領域を含むように前記入力画像を分割し、
   前記画像処理部は、前記周辺領域を含んで前記分割画像に対して前記所定の画像処理を行い、
   前記画像統合部は、前記画像処理後の前記分割画像の前記周辺領域の画像を除去し、前記周辺領域の画像を除去した後の前記分割画像の端部領域を接合する、
   ことを特徴とする画像処理システム。
2. 前記画像分割部は、前記画像処理部における並列処理それぞれの処理量が平滑化されるように、前記分割画像それぞれのサイズを動的に変化させる、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記並列処理における処理量の平滑化は、前記分割画像の各々が保有する少なくとも１種以上の情報量に応じて行われる、請求項２に記載の画像処理システム。
4. 前記画像分割部は、前記画像処理部における処理負荷に応じて、並列処理を実行するリソースを動的に変化させる、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記並列処理を実行するリソースは、一または複数の画像処理サーバであることを特徴とする請求項４に記載の画像処理システム。
6. 前記入力画像は動画像を含み、
   前記画像分割部は、前記動画像の少なくとも一部を構成する複数のフレームを時系列で、および／または該複数のフレームにおいて対応する画像領域ごとに分割して分割画像を生成する、請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記周辺領域は、前記分割画像を構成する前記複数のフレームの前および／または後ろの少なくとも１以上のフレームを含む領域である、請求項６に記載の画像処理システム。
8. 前記画像処理部は、前記複数のフレームの時系列における動画像の動きの大きさに基づいて、前記分割画像に対する画像処理を行う、請求項６または７に記載の画像処理システム。
9. 前記画像分割部は、前記入力画像または分割した前記分割画像を圧縮する圧縮処理を行い、
   前記画像処理部は、前記圧縮処理より得られる情報に基づいて画像処理を行う、請求項１〜８のいずれか１項に記載の画像処理システム。
10. 前記画像分割部は、前記入力画像に対する画像認識結果に基づいて分割領域を決定する、請求項１〜９のいずれか１項に記載の画像処理システム。
11. 前記画像処理部は、前記画像認識結果に基づいて得られる前記分割領域ごとの分割画像の属性に基づいて画像処理を行う、請求項１０に記載の画像処理システム。
12. 前記画像処理部は、前記分割画像とは異なる他の分割画像および／または前記入力画像より得られる情報を用いて画像処理を行う、請求項１〜１１のいずれか１項に記載の画像処理システム。
13. 前記画像処理部は、前記画像分割部により分割された前記分割画像を高解像度化する超解像処理部を含む、請求項１〜１２のいずれか１項に記載の画像処理システム。
14. 前記超解像処理部は、前記分割画像それぞれのＲＧＢ成分に対して並列処理を行い、Ａｌｐｈａ成分に対しては一括処理を行う、
    ことを特徴とする請求項１３に記載の画像処理システム。
15. 前記超解像処理部は、前記分割画像それぞれのＲＧＢ成分及びＡｌｐｈａ成分に対して並列処理を行うことを特徴とする請求項１３または１４に記載の画像処理システム。
16. 前記超解像処理部は、前記分割画像のＡｌｐｈａ成分により構成されるグレースケール画像に対して超解像処理を行い、超解像処理後のグレースケール画像に基づいて前記分割画像のＲＧＢ成分に対する超解像処理を行うことを特徴とする請求項１３〜１５のいずれか１項に記載の画像処理システム。
17. 前記超解像処理部は、前記分割画像それぞれの色空間の成分の全部または一部に対して並列処理を行うことを特徴とする請求項１３〜１６のいずれか１項に記載の画像処理システム。
18. 前記所定の画像処理は、前記分割画像に含まれるオブジェクトを認識する画像認識処理を含む、請求項１〜１７のいずれか１項に記載の画像処理システム。
19. 前記画像処理部は、前記分割画像に係る情報から、認識された前記オブジェクトに係る領域における画像情報を除去し、前記オブジェクトに係る領域以外の領域の情報に基づいて前記オブジェクトに係る領域における画像情報を生成する、請求項１８に記載の画像処理システム。
20. 前記画像処理部は、前記分割画像に係る情報から、前記オブジェクトに係る領域以外の領域における画像情報を除去する、請求項１８または１９に記載の画像処理システム。
21. 前記画像分割部は、前記分割画像を前記オブジェクトに係る領域の各々に係るレイヤー画像にさらに分割する、請求項１８〜２０のいずれか１項に記載の画像処理システム。
22. 前記画像処理部は、前記レイヤー画像のそれぞれを並列処理により所定の画像処理を行う、請求項２１に記載の画像処理システム。
23. 前記所定の画像処理は、前記分割画像の輝度、彩度、コントラスト、色調、ホワイトバランスおよび明度の少なくともいずれかを補正する補正処理を含む、請求項１〜２２のいずれか１項に記載の画像処理システム。
24. 前記補正処理は、前記入力画像および／または前記分割画像に含まれるメタデータに基づいて行われる、請求項２３に記載の画像処理システム。
25. 前記所定の画像処理は、前記分割画像に対するＨＤＲ化処理を含む、請求項１〜２４のいずれか１項に記載の画像処理システム。
26. 前記所定の画像処理は、前記分割画像のうち前記入力画像の外縁部分より外側の領域における画像情報を生成する画像周辺補完処理を含む、請求項１〜２５のいずれか１項に記載の画像処理システム。
27. 前記所定の画像処理は、前記分割画像を構成する色深度を変更し、前記分割画像の画素の各々の色彩情報を該色深度に応じて変化させる着彩処理を含む、請求項１〜２６のいずれか１項に記載の画像処理システム。
28. 前記所定の画像処理は、前記分割画像に含まれるボケを補正する処理を含む、請求項１〜２７のいずれか１項に記載の画像処理システム。
29. コンピュータを、
    入力画像のサイズに応じて当該入力画像を分割する画像分割手段、
    前記分割された分割画像それぞれを並列処理により所定の画像処理を行う画像処理手段、
    前記所定の画像処理がされた分割画像それぞれを統合して、１つの出力画像にする画像統合手段、
    として機能させ、
    前記画像分割手段は、前記分割画像における周辺領域を含むように前記入力画像を分割し、
    前記画像処理手段は、前記周辺領域を含んで前記分割画像に対して前記所定の画像処理を行い、
    前記画像統合手段は、前記画像処理後の前記分割画像の前記周辺領域の画像を除去し、前記周辺領域の画像を除去した後の前記分割画像の端部領域を接合する、
    ことを特徴とするプログラム。

Images