WO2014156669A1

WO2014156669A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2014156669A1
Application number: PCT/JP2014/056618
Authority: WO
Inventors: 基広浅野
Original assignee: コニカミノルタ株式会社
Priority date: 2013-03-29
Filing date: 2014-03-13
Publication date: 2014-10-02
Also published as: JPWO2014156669A1; US20160048946A1; US9626740B2

Abstract

　画像処理装置（１）は、複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群のうちの１つの入力画像について超解像処理を実行するための超解像処理部（３６）と、超解像処理後の入力画像について解像度変換処理を実行するための解像度変換部（３８）と、色チャンネルごとに、超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するための特定部（３２）とを備える。特定部は、少なくとも１つの色チャンネルの超解像処理の倍率が他の色チャンネルの超解像処理の倍率とは異なるものとなるように上記の組み合わせを特定する。

Description

画像処理装置および画像処理方法

　この発明は画像処理装置および画像処理方法に関し、特に、解像度を向上させる処理を行なう画像処理装置および画像処理方法に関する。

　共通する部分領域を有し、低解像度である多視点の入力画像群や連続した入力画像群から１枚の高解像度画像を生成する画像処理技術がある。このような処理は、超解像処理とも呼ばれる。このような超解像処理は演算量が多く、処理速度が遅い。

　これに対して、特開２０１０－２７８８９８号公報（以下、特許文献１）は、予め固定された倍率での超解像処理と、任意に倍率が設定可能な解像度変換処理とを組み合わせることで、演算量を低減させ、電力消費を低減させて解像度を可変とする技術を開示している。

特開２０１０－２７８８９８号公報

　しかしながら、特許文献１の技術を用いた場合であっても、超解像処理が予め固定された一律の倍率で行なわれることから、超解像処理に必要な処理時間を短縮することができない。そのため、演算量の低減、すなわち処理速度の高速化には限度がある、という問題があった。

　本発明はこのような問題に鑑みてなされたものであって、高解像度画像を生成する処理を高速化することのできる画像処理装置および画像処理方法を提供することを目的としている。

　上記目的を達成するために、本発明のある局面に従うと、画像処理装置は、複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を作成して出力する画像処理装置であって、入力画像について超解像処理を実行するための第１の処理手段と、超解像処理後の入力画像について解像度変換処理を実行するための第２の処理手段と、色チャンネルごとに、超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するための特定手段とを備える。特定手段は、少なくとも１つの色チャンネルの超解像処理の倍率が他の色チャンネルの超解像処理の倍率とは異なるものとなるように上記の組み合わせを特定する。

　好ましくは、特定手段は、入力画像群のうちの超解像処理に用いる、色チャンネルごとの画素数に応じて超解像処理の倍率を特定し、色チャンネルごとに特定された超解像処理の倍率に基づいて解像度変換処理の倍率を特定する。

　より好ましくは、特定手段は、超解像処理の倍率の最も高い第１の色チャンネルについての解像度変換処理の倍率を１とし、第１の色チャンネル以外の色チャンネルのそれぞれについて、当該色チャンネルの解像度変換処理後の画素数が、第１の色チャンネルの超解像処理後の画素数と同じになるように、第１の色チャンネル以外の色チャンネルの解像度変換処理の倍率を特定する。

　好ましくは、入力画像群は、入力画像ごとに単色の色チャンネルを有する。
　より好ましくは、画像処理装置は、入力画像の色チャンネルごとに、入力画像のうちの超解像処理に用いる入力画像を選択するための選択手段をさらに備える。

　好ましくは、入力画像群は、入力画像それぞれが、画素ごとに異なる色チャンネル有し、第１の処理手段は、入力画像のうちの、超解像処理の対象とする色チャンネルに対応した画素を用いる。

　好ましくは、入力画像群は、互いに光軸が異なる複数レンズを含んだレンズアレイで得られる画像群である。

　好ましくは、入力画像群は、撮像装置によって、それぞれ視点を異ならせて異なるタイミングに撮影されたものである。

　本発明の他の局面に従うと、画像処理方法は、複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、色チャンネルごとに、超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するステップと、入力画像について、特定された倍率で超解像処理を実行するステップと、超解像処理後の入力画像について、特定された倍率で解像度変換処理を実行するステップとを備える。組み合わせを特定するステップでは、少なくとも１つの色チャンネルの超解像処理の倍率が他の色チャンネルの超解像処理の倍率とは異なるものとなるように上記の組み合わせを特定する。

　本発明のさらに他の局面に従うと、画像処理プログラムは、コンピューターに、複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群から入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、色チャンネルごとに、超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するステップと、入力画像について、特定された倍率で超解像処理を実行するステップと、超解像処理後の入力画像について、特定された倍率で解像度変換処理を実行するステップとをコンピューターに実行させる。組み合わせを特定するステップでは、少なくとも１つの色チャンネルの超解像処理の倍率が他の色チャンネルの超解像処理の倍率とは異なるものとなるように上記の組み合わせを特定する。

　この発明によると、共通する部分領域を有し、低解像度である多視点の入力画像群や連続した入力画像群から１枚の高解像度画像を生成する処理を、高速化することができる。

実施の形態にかかる画像処理装置の構成の基本的構成を示すブロック図である。画像処理装置を具現化したデジタルカメラの構成を示すブロック図である。画像処理装置を具現化したパーソナルコンピューター（ＰＣ）の構成を示すブロック図である。カメラの構成の概略を表わした図である。撮像素子上に入力される光学像の具体例を示す図である。従来の超解像処理を行なう画像処理装置での、画像処理の流れを表わした図である。実施の形態にかかる画像処理装置での画像処理の流れを表わした図である。超解像処理の流れを表わした図である。図７のステップ＃３３での処理の詳細を表わした図である。図８のステップ＃４１で用いられる劣化情報を説明するための図である。劣化情報の具体例を表わした図である。緑色チャンネルの画像処理の結果を表わした図である。赤色チャンネルについて、従来の超解像処理を施した場合の出力結果（Ａ）と、実施の形態にかかる画像処理を施した場合の出力結果（Ｂ）との比較を表わした図である。図１２（Ａ）の出力画像の一部を拡大した図である。図１２（Ｂ）の出力画像の一部を拡大した図である。青色チャンネルについて、従来の超解像処理を施した場合の出力結果（Ａ）と、実施の形態にかかる画像処理を施した場合の出力結果（Ｂ）との比較を表わした図である。超解像処理の他の例を表わした図である。緑色チャンネルについての第１の変形例にかかる画像処理の結果を表わした図である。赤色チャンネルについての、従来の超解像処理を施した場合の出力結果（Ａ）と、第１の変形例にかかる画像処理を施した場合の出力結果（Ｂ）との比較を表わした図である。青色チャンネルについての、従来の超解像処理を施した場合の出力結果（Ａ）と、第１の変形例にかかる画像処理を施した場合の出力結果（Ｂ）との比較を表わした図である。第２の変形例での撮像素子上に入力される光学像の具体例を示す図である。第２の変形例での色フィルターの具体例Ｂを示す図である。第２の変形例での、緑色チャンネルの超解像処理の概要を表わした図である。第２の変形例での、緑色チャンネルの超解像処理の概要を表わした図である。第２の変形例での超解像処理の流れを表わした図である。第３の変形例での撮像素子上に入力される光学像の具体例を示す図である。第３の変形例にかかる画像処理の流れを表わした図である。図２３のステップ＃２０での選択処理の流れの一例を表わした図である。図２３のステップ＃２０での選択処理の一例に用いられる平均化フィルターの具体例を示す図である。

　以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

　なお、以下の例では、入力画像群として、視点の異なる複数のレンズを有するアレイカメラによって同時に撮影された複数の撮影画像を用いるものとしているが、入力画像群はこのような撮影画像に限定されるものではない。一つの高解像度画像を得るために、それぞれの画像に共通する部分領域があれば適応可能で、他の例として、視点をずらして撮影された、撮影タイミングの異なる複数の撮影画像が用いられてもよい。

　＜システム構成＞
　図１は、本実施の形態にかかる画像処理装置１の構成の基本的構成を示すブロック図である。

　図１を参照して、画像処理装置１は、撮像部２と、画像処理部３と、画像出力部４とを含む。図１に示す画像処理装置１においては、撮像部２が被写体を撮像することで画像（以下、「入力画像」とも称する）を取得し、画像処理部３がこの取得された入力画像に対して後述するような画像処理を行なうことで、入力画像よりも高周波数成分を有する高解像度の出力画像（以下、「高解像度画像」とも称する）を生成する。そして、画像出力部４は、この高解像度画像を表示デバイスなどへ出力する。

　撮像部２は、対象物（被写体）を撮像して入力画像を生成する。より具体的には、撮像部２は、カメラ２２と、カメラ２２と接続されたＡ／Ｄ（Analog　to　Digital）変換部２４とを含む。Ａ／Ｄ変換部２４は、カメラ２２により撮像された被写体を示す入力画像を出力する。

　カメラ２２は、被写体を撮像するための光学系であって、アレイカメラである。すなわち、カメラ２２は、格子状に配置された視点の異なるＮ個のレンズ２２ａ－１～２２ａ－ｎ（これらを代表させて、レンズ２２ａとも称する）と、レンズ２２ａにより形成された光学像を電気信号に変換するデバイスである撮像素子（イメージセンサー）２２ｂとを含む。

　Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、カメラ各部分を制御するための制御処理回路などを含み得る。

　画像処理部３は、撮像部２によって取得された入力画像に対して、本実施の形態に従う画像処理方法を実施することで高解像度画像を生成する。より具体的には、画像処理部３は、後述するように、色チャンネルごとに超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するための特定部３２と、入力画像を特定された倍率となるよう超解像処理を実行するための第１の処理部である超解像処理部３６と、超解像処理後の入力画像について特定された倍率となるよう解像度変換処理を実行するための第２の処理部である解像度変換部３８とを含む。超解像処理部３６は、さらに、入力画像の色チャンネルごとに、入力画像のうちの超解像処理に用いる入力画像を選択するための選択部３６１を含んでもよい。

　超解像処理部３６は、入力画像（または選択された入力画像）に対して後述する超解像処理を行なう。超解像処理とは、入力画像が持つナイキスト周波数を超える周波数情報を生成する処理である。また、解像度変換部３８は、超解像処理後の入力画像に対して解像度変換処理を行なう。

　画像出力部４は、画像処理部３によって生成される高解像度画像を表示デバイスなどへ出力する。

　図１に示す画像処理装置１は、各部を独立の装置で具現化したシステムとして構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理装置１の具現化例として、デジタルカメラでの具現化例とＰＣ（パーソナルコンピューター）での具現化例とについて説明する。

　図２は、図１に示す画像処理装置１を具現化したデジタルカメラ１００の構成を示すブロック図である。図２において、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

　図２を参照して、デジタルカメラ１００は、ＣＰＵ（Central　Processing　Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ部１１４とを含む。

　ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＬＳＩ（Large　Scale　Integration）、ＦＰＧＡ（Field-Programmable　Gate　Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

　画像表示部１０８は、カメラ部１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical　User　Interface）画面などを表示する。

　カードＩ／Ｆ１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメーターや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

　カメラ部１１４は、被写体を撮像することで入力画像を生成する。
　図２に示すデジタルカメラ１００は、本実施の形態に従う画像処理装置１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において高解像度の画像を視認することができる。

　図３は、図１に示す画像処理装置１を具現化したＰＣ２００の構成を示すブロック図である。図３に示すＰＣ２００は、本実施の形態に従う画像処理装置１の一部を単体の装置として実装したものである。図３に示すＰＣ２００では、入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理装置１に含まれ得る。なお、図３においても、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

　図３を参照して、ＰＣ２００は、ＰＣ本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。

　ＰＣ本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）などを含む。ＰＣ本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ－ＲＯＭ（Compact　Disk-Read　Only　Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、ＰＣ本体２０２のハードディスクなどの記憶領域内に格納される。

　このような画像処理プログラム２０４は、ＰＣ本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理装置１の趣旨を逸脱するものではない。

　もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

　モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。

　マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をＰＣ本体２０２へ出力する。

　外部記憶装置２１２は、何らかの方法で取得された入力画像を格納しており、この入力画像をＰＣ本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

　図４Ａは、カメラ２２の構成の概略を表わした図である。図４Ｂは、撮像素子（イメージセンサー）２２ｂ上に入力される光学像の具体例を示す図である。図４Ａを参照して、一例として、カメラ２２はアレイカメラであり、格子状に配置された１６個のレンズ２２ａ－１～２２ａ－１６を含む。レンズ２２ａ－１～２２ａ－１６の間隔（基線長）は、縦方向および横方向ともに均一であるものとする。図４Ｂを参照して、各レンズ２２ａにより形成された光学像は、それぞれ単色の色フィルターを通って撮像素子（イメージセンサー）２２ｂ上に入力される。そのため、１つのレンズ２２ａからの光学像は単色の色チャンネルの画像となる。つまり、１つの入力画像は単色の色チャンネルを有する。

　撮像部２に配された色フィルターは、複数色から構成される。１つのレンズ２２ａが１色（ＲＧＢのいずれか）に該当し、レンズ２２ａごとに異なる色となるよう、撮像部２には色フィルターがベイヤー配列などに従って配列されている。たとえば、図４Ｂに表わされたように、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の３色の色フィルターがベイヤー配列で配されているものとする。図４Ｂにおいて「Ｒ」が付された画像はＲフィルターを介して入力された赤色チャンネルの画像であることを表わし、「Ｂ」が付された画像はＢフィルターを介して入力された青色チャンネルの画像であることを表わし、「Ｇ」が付された画像はＧフィルターを介して入力された緑色チャンネルの画像であることを表わしている。

　このように、撮像部２によって取得された入力画像群は、複数の色チャンネルを有する多視点の、共通する部分領域を有した入力画像群であり、入力画像ごとに単色の色チャンネルを有する。なお、図４Ｂに表わされたように、入力画像群において、色チャンネルごとの入力画像の数が同じでない場合がある。図４Ｂの例では、緑色チャンネルの入力画像が８枚であるのに対して、赤および青色チャンネルの入力画像はそれぞれ４枚である。

　なお、色チャンネルは、上記のようなＲ，Ｇ，Ｂ（赤、青、および緑）に限定されない。たとえば、Ｒ，Ｇ，Ｂの補色フィルターを用いた場合に入力されるＣ，Ｍ，Ｙ（シアン、マゼンタ、およびイエロー）などの他の色であってもよい。

　＜動作概要＞
　（課題の説明）
　図５は、従来の超解像処理を行なう画像処理装置での、画像処理の流れを表わした図である。図５に表わされたように、従来の画像処理装置では、入力画像それぞれを予め固定された倍率（図５の例では９倍）の画素数となるよう超解像処理が行なわれている。従来の超解像処理では、入力画像群（初期画像）の色チャンネルごとの総画素数が同じ画素数であることが前提とされている。図４Ａおよび図４Ｂに表わされたような、レンズ２２ａごとに異なる色となるよう色フィルターが配列されている場合、「色チャンネルごとの総画素数」は、（入力画像１枚あたりの画素数）×（対象色チャンネルの入力枚数）で得られる。図５の例の場合、超解像処理によって各色チャンネルの入力画像ともに９倍の画素数に拡大されるため、入力画像それぞれの画素数が０．７５Ｍ（たとえば１０００×７５０画素）で同じ枚数入力されたとすると、色チャンネルごとの高解像度の出力画像の画素数は６．７５Ｍ（たとえば３０００×２２５０画素）になる。

　入力画像の総画素数は超解像処理の入力情報となる。そのため、各入力画像を上記総画素数分まで拡大すると適切な画質を保った高解像度画像となるが、それ以上の画素数にまで拡大すると、処理速度が低下する割には画質の向上が見られない。後に例示するように、発明者は実際に入力画像の総画素数よりも多い画素数まで入力画像を拡大する超解像処理を行なって、出力画像において入力画像における階調性が失われてしまい画質がかえって低下するということを発見している。

　ここで上記のように、入力画像群によっては、色チャンネルごとに入力画像の枚数が異なる、つまり、色チャンネルごとの総画素数が異なる場合がある。この入力画像すべてを図５の従来の超解像処理に用いるときに、総画素数（入力枚数）の多い緑色チャンネルの入力画像の総画素数に基づいて超解像処理の倍率を固定すると、総画素数（入力枚数）の少ない色チャンネルである赤および青色チャンネルそれぞれの入力画像は拡大されすぎてしまうことになる。

　（動作概要）
　そこで、本実施の形態にかかる画像処理装置１では、色チャンネルごとに超解像処理の倍率を特定するものとする。すなわち、画像処理装置１では、色チャンネルごとの入力画像の総画素数によっては、色チャンネルに応じて異なる倍率で超解像処理を行なうものとする。さらに、画像処理装置１は、超解像処理後の入力画像について超解像処理の倍率に応じた倍率の解像度変換処理を行なって、各色チャンネルの出力画像の画素数を同じとする。すなわち、本実施の形態にかかる画像処理装置１では、超解像処理の倍率と解像度変換処理の倍率との組み合わせを色チャンネルごとに特定し、その倍率でそれぞれの処理が実行される。

　＜動作フロー＞
　（全体動作）
　図６は、本実施の形態にかかる画像処理装置１での画像処理の流れを表わした図である。図６を参照して、画像処理装置１では、入力画像群に対して、各色チャンネルの入力画像の数（各色チャンネルでの総画素数）に応じて、超解像処理の倍率と解像度変換処理の倍率との組み合わせを色チャンネルごとに特定される（ステップ＃２１）。そして、各色チャンネルの入力画像に対してそれぞれの倍率で超解像処理が実行され（ステップ＃２２）、さらに、超解像処理後の入力画像に対してそれぞれの倍率で解像度変換処理が実行される（ステップ＃２３）。

　図４Ｂに表わされた入力画像群が入力された場合、つまり、低解像度（たとえば１０００×７５０画素）の緑色チャンネルの入力画像が８枚、ならびに赤および青色チャンネルの入力画像がそれぞれ４枚ずつ入力された場合、上記ステップ＃２１では、一例として、緑色チャンネルについては超解像処理の画素数の倍率が９倍（縦横３倍ずつ）、解像度変換処理の画素数の倍率が１倍（縦横１倍ずつ、つまり解像度変換処理なし）、ならびに赤および青色チャンネルについては超解像処理の画素数の倍率が４倍（縦横２倍ずつ）、解像度変換処理の画素数の倍率が２．２５倍（縦横１．５倍ずつ）と特定される。

　緑色チャンネルの超解像処理の倍率は、１枚あたり０．７５Ｍの画素数（たとえば１０００×７５０画素）の入力画像が８枚入力されているため、８倍に最も近い整数の二乗倍とするために縦横３倍である９倍として算出されるが、出力画像の画素数を入力画素の総画素数とまったく同じとするために縦横２√２倍である８倍としてもよい。この場合、超解像処理後の画素数が入力画像の総画素数に達しているため、解像度変換の倍率は１倍、つまり超解像処理の倍率が最高倍率と特定された緑色チャンネルについては解像度変換を行なわないと特定される。

　同様にして、赤および青色チャンネルの超解像処理の倍率は、それぞれ４枚入力されているため縦横２倍の４倍と特定される。さらに、解像度変換処理の倍率は、出力画像の画素数を、超解像処理の倍率が最高倍率である緑色チャンネルの画素数に合わせるように算出される。すなわち、この例の場合、赤および青色チャンネルの超解像処理後の入力画像の画素数である３Ｍの画素数を、緑色チャンネルの超解像処理後の画素数である６．７５Ｍの画素数（たとえば３０００×２２５０画素）まで拡大するよう解像度変換処理の倍率が算出される。

　なお、発明者は、様々な倍率で超解像処理を行なった結果、超解像処理の倍率は、出力画像（高解像度画像）の画素数が入力画像の総画素数から±３０％の範囲にあるようにすることが、画質面および処理速度面から効果的であることを発見している。

　画像処理装置１が図２に示されたようにデジタルカメラ１００に実装されている場合、入力画像群の各チャンネルの枚数（総画素数）はカメラ部１１４の特性に応じて固定されている。そのため、色チャンネルごとの超解像処理の倍率と解像度変換処理の倍率との組み合わせが予め規定されていてもよい。または、カメラ部１１４が取り換え可能であったり、色フィルターの配列を変更可能であったりする場合であって、予め変更可能な特定が把握される場合、画像処理装置１には予め色チャンネルごとの超解像処理の倍率と解像度変換処理の倍率との組み合わせがいくつか登録され、カメラ部１１４の特性に応じて選択されてもよい。または、画像処理装置１が図３に示されたようにＰＣ２００で具現化される場合には様々な入力画像群が処理対象となるため、入力画像群の色チャンネルごとの総画素数および各色チャンネルの総画素数の比率に応じて超解像処理の倍率と解像度変換処理の倍率との組み合わせを算出するための換算式を予め記憶しておき、それを用いて算出することで特定するようにしてもよい。

　上記ステップ＃２１で上記のように緑色チャンネルと赤および青色チャンネルとの超解像処理の倍率と解像度変換処理の倍率との組み合わせが特定されると、緑色チャンネルの入力画像に対しては縦横３倍の９倍に拡大する超解像処理が施される（ステップ＃２２－１）。また、赤および青色チャンネルそれぞれの入力画像に対しては、縦横２倍の４倍に拡大する超解像処理が施される（ステップ＃２２－１）。

　さらに、超解像処理後の緑色チャンネルの入力画像に対しては、画素数を縦横１倍とする解像度変換処理が施される（ステップ＃２３－１）。なお、「１倍の解像度変換処理の実行」は解像度を変化させないことと同義であり、解像度処理が行なわれないことを含む。また、超解像処理後の赤および青色チャンネルの入力画像に対しては、画素数を縦横１．５倍の２．２５倍とする解像度変換処理が施される（ステップ＃２３－２）。

　（超解像処理）
　図７は、超解像処理の流れを表わした図であり、特に、ステップ＃２２－１の緑色チャンネルの入力画像に対する超解像画像の具体例を表わしている。図７では、具体例として、論文「Ｆａｓｔ　ａｎｄ　Ｒｏｂｕｓｔ　Ｍｕｌｔｉｆｒａｍｅ　Ｓｕｐｅｒ　Ｒｅｓｏｌｕｔｉｏｎ」（ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＩＭＡＧＥ　ＰＲＯＣＥＳＳＩＮＧ，　ＶＯＬ．　１３，　ＮＯ．　１０，　ＯＣＴＯＢＥＲ　２００４　ｐａｇｅ．１３２７－１３４４）に記載された処理を行なう場合の超解像処理の流れが示されている。

　図７を参照して、ステップ＃３１で、緑色チャンネルの入力画像８枚のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。

　ステップ＃３２で、ノイズにロバストに収束させるための拘束項であるＢＴＶ（Bilateral　Total　Variation）量が算出される。

　ステップ＃３３で、上記生成された出力候補画像と緑色チャンネルの８枚分の入力画像とが比較されて、残差が算出される。図８は、ステップ＃３３での処理の詳細を表わした図である。すなわち、図８を参照して、ステップ＃３３では、上記生成された出力候補画像が、各入力画像とその劣化情報（超解像後の画像と入力画像との間の関係を示す情報）とに基づいて入力画像サイズに変換（低解像度化）されて（＃４１）、８枚分の入力画像との差異が算出され、記録される（＃４２）。そして、その差異が、超解像処理後のサイズに戻され（＃４３）、残差とされる。

　ステップ＃３４で、上記ステップ＃３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。

　上記ステップ＃３１～＃３４の処理が、出力候補画像が収束するまで繰り返され、収束した出力候補画像が緑色チャンネルの超解像処理後の出力画像として出力される。

　繰り返しは、おおよそ充分に収束する回数（たとえば２００回）などの、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。

　図７の超解像処理は色チャンネルごとに行なわれるものであり、上記の例では、赤および青色チャンネルの場合には、各４枚に対してそれぞれ行なわれる。赤および青色チャンネルの場合には、上記ステップ＃３１では３Ｍの画素数（たとえば２０００×１５００画素）の出力候補画像が生成されるため、上記ステップ＃３１～＃３４の収束演算では、３Ｍの画素数の画像が取り扱われることになる。

　図９は、上記ステップ＃４１で用いられる劣化情報を説明するための図である。
　劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、たとえば行列形式で表わされる。劣化情報には、入力画像それぞれのサブピクセルレベルでのずれ量（平行移動した残りの少数画素分）、ダウンサンプリング量、およびぼけ量などが含まれる。

　図９を参照して、劣化情報は、入力画像および超解像処理後の高解像度画像それぞれを１次元のベクトル表現した場合に、その変換を示す行列で規定される。

　図１０は、劣化情報の具体例を表わした図である。
　図１０を参照して、劣化情報として、画素のずれ量が１／３画素、およびダウンサンプリング量が縦方向および横方向それぞれに１／３が規定されているものとする。入力画像の内の１画素に対応した１か所と、超解像処理後の高解像度画像の９か所の９画素とが対応しているときに、劣化情報には、９か所に１／９の係数が記載されている。そのため、画素のずれ量が１／３画素である場合、高解像度画像の９画素それぞれに対してはそのずれ量の１／９分、寄与することになる。

　なお、図１０は、説明を簡易にするためにぼけ量を０としているが、ぼけ量が０でない場合には、ぼけ量を表わすパラメーターとしてＰＳＦ（Point　Spread　Function）が用いられてもよい。

　＜実施の形態の効果＞
　図１１～図１４は、本実施の形態にかかる画像処理装置１を用いて図４（Ｂ）に示された入力画像群について上記の画像処理を実際に行なった結果の出力画像と、従来の画像処理を実際に行なった結果の出力画像との比較を表わした図である。なお、これら図で表わされた画像処理では、レンズ特性によるぼけ量を表わすパラメーターとしてのＰＳＦを用いてぼけ回復も行なわれている。以降の例でも同様である。

　図１１は、緑色チャンネルの画像処理の結果を表わしている。緑色チャンネルの入力画像は総画素数が最高数であるために超解像度処理の倍率が最高倍率となっている。そのため、本実施の形態にかかる画像処理でも従来の画像処理でも、同様に、緑色チャンネルの入力画像のうちの１枚に対して縦横３倍の９倍の超解像処理が施され、同一の出力画像が得られる。

　これに対して、総画素数が緑色チャンネルよりも少ない赤および青色チャンネルのそれぞれについては、図１２～図１４のような結果が得られる。すなわち、図１２および図１４は、それぞれ、赤色チャンネルおよび青色チャンネルの入力画像のうちの１枚について、従来の画像処理である縦横３倍の９倍とする超解像処理を施した場合の出力結果（Ａ）と、本実施の形態にかかる画像処理である、縦横２倍の４倍とする超解像処理を施した後に解像度変換を行なって元の入力画像に対して縦横３倍の９倍とする処理を施した場合の出力結果（Ｂ）との比較を表わしている。

　図１２（Ａ）および図１２（Ｂ）、図１４（Ａ）および図１４（Ｂ）を比較すると、の本実施の形態にかかる画像処理を行なった結果の出力画像（図１２（Ｂ），図１４（Ｂ））の方が、従来の画像処理を行なった結果の出力画像（図１２（Ａ），図１４（Ａ））よりもシャープであることがわかる。

　図１３Ａおよび図１３Ｂは、それぞれ、図１２（Ａ）および図１２（Ｂ）の出力画像の一部を拡大した図である。図１３Ａおよび図１３Ｂの比較に表れているように、拘束項としてＢＴＶ量を用いる場合には、入力画像の総画素数が１枚の入力画像の画素数の４倍にも関わらず縦横３倍の９倍の超解像処理を行なった場合（図１３Ａ）には、バイラテラルフィルターの副作用である過飽和が進み、塗り絵のように階調変化が失われていることがわかる。

　したがって、この出力結果にも表れているように、入力画像群が複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有しており、さらに、色チャンネル間の総画素数が同一でない場合に、本実施の形態にかかる画像処理によって、特に総画素数が少ない側の色チャンネルについての出力画像の画質を従来の画像処理よりも格段に向上させることができることがわかった。

　また、超解像処理において倍率を低くする方が超解像処理後の画素数を少なくすることができるため（３倍とせずに２倍とすることで超解像処理後の画素数は半分以下となる）、総画素数が少ない側の色チャンネルについては超解像処理に要する処理時間もおおよそ超解像処理後の画素数に比例して短縮できる。そのため、入力画像群が複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有しており、さらに、色チャンネル間の総画素数が同一でない場合に、高解像度画像を得るための処理として本実施の形態にかかる画像処理を用いることで従来の画像処理よりも格段に高速化することができる。

　［変形例１］
　なお、上記ステップ＃２２での超解像処理は、図７に表わされた処理に限定されるものではなく、複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。図１５は、超解像処理の他の例を表わした図である。すなわち、図１５を参照して、上記ステップ＃３２で算出される拘束項はＢＴＶ量に替えて、たとえば、４近傍ラプラシアンなどの他のものが用いられてもよい（ステップ＃３２’）。

　図１６～図１８は、第１の変形例にかかる画像処理装置１を用いて図４（Ｂ）に示された入力画像群について上記の画像処理を実際に行なった結果の出力画像と、従来の画像処理を実際に行なった結果の出力画像との比較を表わした図であり、それぞれ、緑色チャンネル、赤色チャンネル、および青色チャンネルについての比較を表わしている。

　図１６を参照して、この例でも、緑色チャンネルについては第１の変形例にかかる画像処理でも従来の画像処理でも同一の出力画像が得られる。また、図１７および図１８を参照して、赤色チャンネルおよび青色チャンネルについては、この例では、図１２および図１４に表わされたほどの顕著な画質の差異は見られない。従って、拘束項として４近傍ラプラシアンなどのＢＴＶ量以外のものを用いた第１の変形例にかかる画像処理では、ＢＴＶ量を用いた上記の画像処理ほど、従来の画像処理から顕著な画質の向上は得られないことがわかった。

　しかしながら、第１の変形例にかかる画像処理でも、総画素数が少ない側の色チャンネルについては上記のように超解像処理後の画素数が少ないために超解像処理に要する処理時間を短縮することができる。そのため、第１の変形例にかかる画像処理を用いることでも従来の画像処理よりも格段に高速化することができる。

　［変形例２］
　複数の色チャンネルを有する入力画像群を取得するための構成は、図４Ｂに表わされたように、１つのレンズ２２ａからの光学像が単色の色フィルターを通過する例に限定されない。図１９Ａは、第２の変形例での、撮像素子（イメージセンサー）２２ｂ上に入力される光学像の具体例を示す図である。すなわち、図１９Ａを参照して、他の例として、１つのレンズ２２ａからの光学像が１画素単位で異なる色フィルターを通って撮像素子（イメージセンサー）２２ｂ上に入力されてもよい。この場合、１つの入力画像は画素ごとに異なる色チャンネルを有することになる。一例として、図１９Ｂに表わされたように、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の３色の色フィルターが画素ごとにベイヤー配列で配される例が挙げられる。図１９Ｂに表わされたように色フィルターが配列されている場合、「色チャンネルごとの総画素数」は、（入力画像１枚あたりの対象色チャンネルの画素数）×（入力枚数）で得られる。この場合、図１に表わされた超解像処理部３６の選択部３６１は、各入力画像から、超解像処理に用いる色チャンネルごとの画素を選択する。

　図２０Ａおよび図２０Ｂは、第２の変形例での、緑色チャンネルの超解像処理の概要を表わした図である。また、図２１は、第２の変形例での超解像処理の流れを表わした図であり、特に、緑色チャンネルの入力画像に対する超解像画像の具体例を表わしている。概ね、図７の超解像処理の流れと同様であるが、入力画像の形態が異なる故に一部異なっている。そこで、異なった点について説明する。

　すなわち、図２１を参照して、第２の変形例では、初期画像を生成する際に、入力画像に対してデモザイク処理を行なって超解像処理に用いる画素を選択した後に、バイリニアなどで初期画像を作る（ステップ＃３１’）。デモザイク処理は、たとえば緑色チャンネルの超解像処理を行なう場合には、入力画像のうちの緑色チャンネルの画素はそのままの画素値とし、赤色チャンネルおよび青色チャンネルの画素位置の画素値を、近傍の画素からバイリニア補間した値とする。一例として、赤色チャンネルおよび青色チャンネルの画素値を、その画素の周囲４画素（上下左右の画素）の平均値に置き換える処理を行なう。

　次に、第２の変形例では、残差算出には図２０Ａおよび図２０Ｂのように各入力画像の色チャンネルに対応した画素のみ用いる。すなわち、図２０Ａおよび図２０Ｂを参照して、緑色チャンネルの超解像処理の場合には、各入力画像の緑色チャンネルの画素のみ用い、赤色チャンネルおよび青色チャンネルの画素は算出に用いない。１枚目の入力画像においては図２０Ａにおいてハッチングで表わされた緑色チャンネルの画素、２枚の入力画像においては図２０Ｂにおいて（たとえば太枠の左右などの）図２０Ａのハッチング領域に対応した領域に該当する緑色チャンネルの画素のみが用いられる。他の色チャンネルの超解像処理の場合も同様である。

　なお、第２の変形例の場合も、第１の変形例で説明されたように超解像処理は複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。すなわち、第１の変形例で説明されたように、拘束項はＢＴＶ量に替えて、たとえば、４近傍ラプラシアンなどの他のものが用いられてもよい。

　［変形例３］
　以上の例では、入力画像において色チャンネルごとの総画素数（入力枚数、画素数）である情報量が異なるものとしている。他の例として、すべての色チャンネルの情報量が同じ場合であっても、超解像処理に用いる情報量が異なる場合が挙げられる。その結果、各色チャンネルの総画素数が同じ場合であっても、たとえば、緑色チャンネルを、赤および青色チャンネルよりも高倍率となるよう超解像処理を行なうことが挙げられる。この例は、赤（Ｒ）、青（Ｂ）、および緑（Ｇ）は輝度成分におおよそ０．３Ｒ＋０．６Ｇ＋０．１Ｂ（３：６：１）の比率で寄与することに因るものである。すなわち、ヒトの眼は輝度成分の方が色度成分よりも敏感であるため、赤および青色チャンネルよりも緑色チャンネルが画質上は重要な情報となる。そのため、入力画像の各色チャンネルの総画素数が同じ比率であったとしても、赤および青色チャンネルの画素数を緑色チャンネルの画素数の半分程度、超解像処理に用いても、超解像処理後の画質を大きく損なうことがない。

　また、他の例として、Ｒ，Ｇ，Ｂの補色フィルターであるＣ，Ｍ，Ｙ，Ｋフィルターを用いた４色の入力画像が得られる場合、青色の反対色の黄色（Ｙ）は輝度に他の色ほど寄与しないため、他の色（Ｃ，Ｍ，Ｋ）それぞれの総画素数の半分程度、超解像処理に用いることが挙げられる。

　図２２は、第３の変形例での撮像素子（イメージセンサー）２２ｂ上に入力される光学像の具体例を示す図である。一例として、図２２に示されたように、１２個のレンズ２２ａを有するアレイカメラで、各色チャンネルとも同じ枚数の画像が入力されたものとする。この場合も、「色チャンネルごとの総画素数」は、（入力画像１枚あたりの対象色チャンネルの画素数）×（入力枚数）で得られる。

　図２３は、第３の変形例にかかる画像処理装置１での画像処理の流れを表わした図である。図２３を参照して、第３の変形例では、図２２に表わされたように各色チャンネルとも同じ枚数（４枚）入力されているが、赤および青色チャンネルについては、入力画像のうちの超解像処理に用いる入力画像を選択する処理が行なわれる（ステップ＃２０）。その後に、処理対象の入力画像の色チャンネルごとに超解像処理の倍率および解像度変換処理の倍率の組み合わせが特定され（ステップ＃２１）、それぞれの処理が行なわれる（ステップ＃２２，＃２３）。

　なお、上記ステップ＃２０では、好ましくは画質のよい入力画像が判定され、その判定結果に沿って用いる入力画像が選択される。撮影時には、一部の画像にフレアやゴーストと呼ばれる輪状や玉状のにじみなどが写る場合があるため、そのような不具合のある画像を除くことで、超解像処理後の画像の画質を向上させることができる。

　図２４および図２５は、上記ステップ＃２０での選択処理の流れの一例を表わした図である。すなわち、図２４を参照して、フレアやゴーストが発生した場合には高周波成分がにじみによって減少するため、たとえば入力画像ごとに図２５に表わされたような平均化フィルターを用いてスムージング処理を行ない（ステップ＃５１）、処理前後の画像の差分を算出する（ステップ＃５２）ことで高周波成分を抽出して、その数値の高い入力画像を超解像処理に用いるようにすればよい。これにより、フレアやゴーストの発生していない画像を超解像処理に用いることができる。なお、この画質判定には画像を周波数に変換するなど別手法が用いられてもよい。

　このように、画像処理装置１では各色チャンネルの総画素が異なっていても、それぞれの処理に応じた倍率の組み合わせを特定して画像処理を行なうことが可能であるため、各色チャンネルの総画素数が同じである場合に超解像処理に用いる画像を選択することで、超解像処理後の画質を落とすことなく処理速度を向上させることができる。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　１　画像処理装置、２　撮像部、３　画像処理部、４　画像出力部、２２　カメラ、２２ａ　レンズ、２２ｂ　撮像素子、２４　変換部、３２　特定部、３６　超解像処理部、３８　解像度変換部、１００　デジタルカメラ、１０２　ＣＰＵ、１０４　デジタル処理回路、１０６　画像処理回路、１０８　画像表示部、１１０　カードＩ／Ｆ、１１２　記憶部、１１４　カメラ部、２００　ＰＣ、２０２　ＰＣ本体、２０４　画像処理プログラム、２０６　モニター、２０８　マウス、２１０　キーボード、２１２　外部記憶装置、３６１　選択部。

Claims

　複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を作成して出力する画像処理装置であって、
　前記入力画像について超解像処理を実行するための第１の処理手段と、
　前記超解像処理後の前記入力画像について解像度変換処理を実行するための第２の処理手段と、
　前記色チャンネルごとに、前記超解像処理の倍率と前記解像度変換処理の倍率との組み合わせを特定するための特定手段とを備え、
　前記特定手段は、少なくとも１つの前記色チャンネルの前記超解像処理の倍率が他の前記色チャンネルの前記超解像処理の倍率とは異なるものとなるように前記組み合わせを特定する、画像処理装置。
　前記特定手段は、前記入力画像群のうちの前記超解像処理に用いる、前記色チャンネルごとの画素数に応じて前記超解像処理の倍率を特定し、前記色チャンネルごとに特定された前記超解像処理の倍率に基づいて前記解像度変換処理の倍率を特定する、請求項１に記載の画像処理装置。
　前記特定手段は、前記超解像処理の倍率の最も高い第１の色チャンネルについての前記解像度変換処理の倍率を１とし、前記第１の色チャンネル以外の色チャンネルのそれぞれについて、当該色チャンネルの前記解像度変換処理後の画素数が、前記第１の色チャンネルの前記超解像処理後の画素数と同じになるように、前記第１の色チャンネル以外の色チャンネルの前記解像度変換処理の倍率を特定する、請求項２に記載の画像処理装置。
　前記入力画像群は、前記入力画像ごとに単色の色チャンネルを有する、請求項１～３のいずれかに記載の画像処理装置。
　前記入力画像の色チャンネルごとに、前記入力画像のうちの前記超解像処理に用いる入力画像を選択するための選択手段をさらに備える、請求項４に記載の画像処理装置。
　前記入力画像群は、前記入力画像それぞれが、画素ごとに異なる色チャンネル有し、
　前記第１の処理手段は、前記入力画像のうちの、前記超解像処理の対象とする色チャンネルに対応した画素を用いる、請求項１～３のいずれかに記載の画像処理装置。
　前記入力画像群は、互いに光軸が異なる複数レンズを含んだレンズアレイで得られる画像群である、請求項１～６のいずれかに記載の画像処理装置。
　前記入力画像群は、撮像装置によって、それぞれ視点を異ならせて異なるタイミングに撮影されたものである、請求項１～６のいずれかに記載の画像処理装置。
　複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、
　前記色チャンネルごとに、超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するステップと、
　前記入力画像について、特定された前記倍率で前記超解像処理を実行するステップと、
　前記超解像処理後の前記入力画像について、特定された前記倍率で前記解像度変換処理を実行するステップとを備え、
　前記組み合わせを特定するステップでは、少なくとも１つの前記色チャンネルの前記超解像処理の倍率が他の前記色チャンネルの前記超解像処理の倍率とは異なるものとなるように前記組み合わせを特定する、画像処理方法。
　コンピューターに、複数の色チャンネルを有し、かつ、入力画像それぞれが共通する部分領域を有する入力画像群から前記入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、
　前記色チャンネルごとに、超解像処理の倍率と解像度変換処理の倍率との組み合わせを特定するステップと、
　前記入力画像について、特定された前記倍率で前記超解像処理を実行するステップと、
　前記超解像処理後の前記入力画像について、特定された前記倍率で前記解像度変換処理を実行するステップとを前記コンピューターに実行させ、
　前記組み合わせを特定するステップでは、少なくとも１つの前記色チャンネルの前記超解像処理の倍率が他の前記色チャンネルの前記超解像処理の倍率とは異なるものとなるように前記組み合わせを特定する、画像処理プログラム。