WO2013118364A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】処理負荷を抑制しつつ高精細な画像を取得する。 【解決手段】同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行う画像処理部と、前記複数の画像の各々についての前記画像処理部による画像処理結果を合成する画像合成部と、を備える画像処理装置。

Description

画像処理装置および画像処理方法

　本開示は、画像処理装置および画像処理方法に関する。

　近日、イメージセンサの多画素化により、撮像装置により得られる撮像画像の画素数が増加し、画素サイズが小さくなる傾向にある。画素数の増加により被写体のより細部を表現できる一方で、画素サイズが小さいとノイズが増えるので画質劣化が目立つようになる。このような画質劣化は、空間フィルタによるノイズ除去により効果的に補正することが可能である。ただし、画像の画素数が増加すると、空間フィルタで処理する画素数も増加するので、空間フィルタを実現するためのハードウェア規模およびコストが増大してしまう。

　このような観点から、オリジナル画像の画素数を減らして縮小画像を生成し、縮小画像に対して画像処理を行うことが考えられる（例えば、特許文献１参照。）。これにより、ハードウェア規模の増大や処理時間の長期化を抑制することができる。

米国特許出願公開第７８８９９４９号明細書

　しかし、オリジナル画像の高周波成分が失われた縮小画像に対して画像処理を行うのみでは、高精細な処理結果画像を得ることが困難であった。

　そこで、本開示では、処理負荷を抑制しつつ高精細な画像を得ることが可能な、新規かつ改良された画像処理装置および画像処理方法を提案する。

　本開示によれば、同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行う画像処理部と、前記複数の画像の各々についての前記画像処理部による画像処理結果を合成する画像合成部と、を備える画像処理装置が提供される。

　また、本開示によれば、同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行うことと、前記複数の画像の各々についての画像処理結果を合成することと、を含む画像処理方法が提供される。

　以上説明したように本開示によれば、処理負荷を抑制しつつ高精細な画像を得ることができる。

本開示の実施形態による画像処理装置の構成を示した説明図である。 第１の実施形態による画像処理装置の階層画像処理部の構成を示したブロック図である。 各階層での画像処理の具体例を示した説明図である。 各階層での画像処理の具体例を示した説明図である。 各階層での画像処理の具体例を示した説明図である。 各階層での処理タイミングの具体例を示した説明図である。 各階層での処理タイミングの具体例を示した説明図である。 各階層での処理タイミングの具体例を示した説明図である。 第１の実施形態による画像処理装置の動作を示したフローチャートである。 第２の実施形態による画像処理装置の階層画像処理部の構成を示したブロック図である。 撮像部における露光タイミングと各階層の処理タイミングの一例を示した説明図である。 撮像部における露光タイミングと各階層の処理タイミングの他の例を示した説明図である。 第２の実施形態による画像処理装置の動作を示したフローチャートである。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

　また、以下に示す項目順序に従って本開示を説明する。
　　１．画像処理装置の概略
　　２．第１の実施形態
　　　２－１．第１の実施形態による画像処理装置の構成
　　　２－２．第１の実施形態による画像処理装置の動作
　　３．第２の実施形態
　　４．むすび

　　＜＜１．画像処理装置の概略＞＞
　本開示による技術は、一例として「２．第１の実施形態」～「３．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置１０は、
Ａ．同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行う画像処理部（２１２、２２２、・・・２３２）と、
Ｂ．前記複数の画像の各々についての前記画像処理部による画像処理結果を合成する画像合成部（２１４、２２４）と、を備える。

　以下では、まず、このような各実施形態において共通する画像処理装置１０の基本構成について図１を参照して説明する。

　図１は、本開示の実施形態による画像処理装置１０の構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理装置１０は、撮像部１２と、記憶部１４と、階層画像処理部２０と、表示部３０と、を備える。

　撮像部１２は、被写体から発せられる光を電気的な画像信号に変換する。具体的には、撮像部１２は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および露光を制御するシャッタ（物理シャッタおよび電子シャッタ）などを含む。シャッタによる露光時、撮像光学系は、被写体から発せられる光を集光して撮像素子に被写体像を形成し、撮像素子は、形成された被写体像を電気的な画像信号に変換する。

　記憶部１４は、画像処理装置１０が動作するためのプログラムや、撮像部１２により得られた画像、または階層画像処理部２０により得られた画像などを記憶する。

　このような記憶部１４は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）およびＢＤ（Ｂｌｕ－Ｒａｙ　Ｄｉｓｃ（登録商標））などがあげられる。

　階層画像処理部２０は、撮像部１２または記憶部１４から入力される画像に対して画像処理を行う。詳細については後述するが、階層画像処理部２０は、同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行い、複数の画像の各々についての画像処理結果を合成する。かかる構成により、高解像度を有する画像に対してのみ画像処理を行う場合と比較してハードウェア規模およびコストを抑制することが可能であり、かつ、低解像度を有する画像に対してのみ画像処理を行う場合と比較して高精細な画像を得ることが可能である。

　表示部３０は、例えば階層画像処理部２０の画像処理により得られる画像を表示する。このような表示部３０は、液晶ディスプレイ（ＬＣＤ）装置、またはＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置であってもよい。

　なお、上記では画像処理装置１０が撮像機能として撮像部１２を備える例を示しているが、画像処理装置１０は撮像機能を備えなくてもよい。また、画像処理装置１０は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、画像処理装置１０は、撮像装置、スマートフォン、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの携帯型の情報処理装置であってもよい。

　　（背景）
　ここで、本開示の実施形態の背景を説明する。近日、イメージセンサ（撮像素子）の多画素化により、撮像装置により得られる撮像画像の画素数が増加し、画素サイズが小さくなる傾向にある。画素数の増加により被写体のより細部を表現できる一方で、画素サイズが小さいとノイズが増えるので画質劣化が目立つようになる。このような画質劣化は、空間フィルタによるノイズ除去により効果的に補正することが可能である。ただし、画像の画素数が増加すると、空間フィルタで処理する画素数も増加するので、空間フィルタを実現するためのハードウェア規模およびコストが増大してしまう。

　このような観点から、オリジナル画像の画素数を減らして縮小画像を生成し、縮小画像に対して画像処理を行うことが考えられる。これにより、ハードウェア規模の増大や処理時間の長期化を抑制することができる。

　例えば、オリジナル画像の画素数がＭ×Ｎであり、このオリジナル画像を２^ｋ－１（ｋ＝１、２、３、・・・）に縮小して縮小画像を生成した場合を考える。ｋ＝３の場合、縮小画像の画素数は（Ｍ／４）×（Ｎ／４）であるので、この縮小画像の１画素は、オリジナル画像の１６画素に相当する。

　したがって、この縮小画像のある１画素に対して３×３の空間フィルタ処理を施すことは、オリジナル画像の１２×１２＝１４４画素の範囲に空間フィルタ処理を施すことと等価である。このように、処理負荷の観点からは縮小画像での処理が効果的である。

　しかし、オリジナル画像の高周波成分が失われた縮小画像に対して画像処理を行うのみでは、高精細な処理結果画像を得ることが困難であった。

　そこで、上記事情を一着眼点にして各実施形態による画像処理装置１０を創作するに至った。各実施形態による画像処理装置１０は、高解像度を有する画像に対してのみ画像処理を行う場合と比較してハードウェア規模およびコストを抑制することが可能であり、かつ、低解像度を有する画像に対してのみ画像処理を行う場合と比較して高精細な画像を得ることが可能である。以下、このような各実施形態による画像処理装置１０について順次詳細に説明する。

　　＜＜２．第１の実施形態＞＞
　　　＜２－１．第１の実施形態による画像処理装置の構成＞
　図２は、第１の実施形態による画像処理装置１０の階層画像処理部２０－１の構成を示したブロック図である。図２に示したように、階層画像処理部２０－１は、画像縮小部２０２および２０３と、第１階層処理部２１０～第Ｋ階層処理部２３０と、処理結果伝送部２２８および２３８と、を備える。

　画像縮小部２０２は、入力されるオリジナル画像の画素数を減らし、オリジナル画像の次に画素数が多い第２階層の縮小画像を生成する。なお、画像縮小部２０２は、画素を間引いてオリジナル画像の画素数を減らしてもよいし、複数の画素を平均化することによりオリジナル画像の画素数を減らしてもよい。

　同様に、画像縮小部２０３は、入力される第Ｋ－１階層の縮小画像の画素数を減らし、最も画素数が少ない第Ｋ階層の縮小画像を生成する。なお、図２においては記載を省略しているが、画像縮小部２０２と画像縮小部２０３の間に１または２以上の画像縮小部が設けられてもよい。なお、各画像縮小部は、入力される画像を同一の縮小率で縮小してもよい。かかる構成により、各画像縮小部を同一のハードウェアで実現できるので、製造コストを抑制することが可能である。

　処理結果伝送部２２８は、第２階層処理部２２０で得られたパラメータ情報を、画像処理に際して当該パラメータ情報を用いる上位の第１階層処理部２１０に伝送する。例えば、パラメータ情報は、大局輝度算出により得られる輝度分布を示すヒストグラムであり、上位階層では、当該ヒストグラムを用いて階調変換を行ってもよい。

　同様に、処理結果伝送部２３８は、第Ｋ階層処理部２３０で得られたパラメータ情報を、画像処理に際して当該パラメータ情報を用いる上位の第Ｋ－１階層処理部に伝送する。なお、図２においては記載を省略しているが、各階層処理部の間に処理結果伝送部が設けられてもよい。

　第Ｋ階層処理部２３０は、画像処理部２３２およびアップスケール部２３６を有する。画像処理部２３２は、画像縮小部２０３から入力される第Ｋ階層の縮小画像に対して画像処理を行う。アップスケール部２３６は、画像処理部２３２による処理結果の画像を第Ｋ－１階層にアップスケール（拡大）する。なお、アップスケールは、画素間に隣接画素と同一の画素値を有する画素を挿入することであってもよいし、周辺画素の重み付け平均結果の画素値を有する画素を挿入することであってもよい。

　第２階層処理部２２０は、画像処理部２２２、画像合成部２２４およびアップスケール部２２６を有する。画像処理部２２２は、画像縮小部２０２から入力される第２階層の縮小画像に対して画像処理を行う。画像合成部２２４は、画像処理部２２２による処理結果の画像と、第３階層処理部から入力される第３階層での処理結果の画像とを合成する。なお、画像合成は、２つの画像を構成する各画素の重み付け平均であってもよい。

　第１階層処理部２１０は、画像処理部２１２、および画像合成部２１４を有する。画像処理部２１２は、入力されるオリジナル画像に対して画像処理を行う。画像合成部２１４は、画像処理部２１２による処理結果の画像と、第２階層処理部２２０から入力される第３階層での処理結果の画像とを合成する。そして、画像合成部２１４は、合成結果の画像を出力画像として表示部３０や記憶部１４などに出力する。

　なお、図２においては、各階層での画像処理結果を１階層ずつアップスケールする例を説明したが、本実施形態はかかる例に限定されない。例えば、各階層の画像処理結果を直接第１階層（オリジナル画像と同一の解像度）にアップスケールすることも可能である。ただし、図２で説明したように画像処理結果を１階層ずつアップスケールする場合、各階層に同一のアップスケール部（２２６、２３６）を配置することができるので、製造プロセスの簡易化、および製造コストの抑制を実現できる。

　以上説明したように、本実施形態による階層画像処理部２０－１は、解像度の異なる複数の階層で画像処理を行い、各階層での画像処理結果を合成する。さらに、本実施形態による階層画像処理部２０－１は、各階層で多様な画像処理を行うことが可能である。以下、各階層で行う画像処理の具体例を説明する。

　なお、以下の説明中の各画像処理は一般的な処理であるので詳細な説明を省略するが、エッジ保存型ＮＲ（ノイズリダクション）およびＮＬｍｅａｎｓＮＲは輝度ＮＲの一例であり、クロマＮＲは色ノイズの補正処理であり、欠陥補正は欠陥画素の補正処理であり、階調変換は入力と出力の関係の調整処理であり、フリッカ検出はフレームのちらつきの検出処理であり、フリッカ補正は検出されたフリッカの補正処理であり、手ブレ補正は撮像時の手ブレによる影響を補正する処理であり、大局輝度算出は輝度分布の算出処理であり、ＧＭＶ（Ｇｌｏｂａｌ　Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）検出はフレーム単位の動きベクトルの検出処理である。

　（画像処理の具体例）
　－第１の処理例
　第１の処理例として、各階層の画像処理部（２１２、２２２、・・・２３２）は、同一の画像処理を行ってもよい。例えば、各階層の画像処理部（２１２、２２２、・・・２３２）は、図３に示したように同一のエッジ保存型ＮＲを行ってもよい。

　－第２の処理例
　第２の処理例として、各階層の画像処理部（２１２、２２２、・・・２３２）は、異なるＮＲを行ってもよい。より詳細には、各階層の画像処理部（２１２、２２２、・・・２３２）は、各階層の解像度に適したＮＲを行ってもよい。例えば、画面のざらつきのような輝度ノイズは高周波成分が支配的であり、色ノイズは低周波成分が支配的である。

　そこで、上位階層側でエッジ保存型ＮＲやＮＬｍｅａｎｓＮＲのような輝度ＮＲを行い、低階層側でクロマＮＲを行ってもよい。すなわち、図４に示すように、第１階層の画像処理部２１２がエッジ保存型ＮＲを行い、第２階層の画像処理部２２２がＮＬｍｅａｎｓＮＲを行い、第Ｋ階層の画像処理部２３２がクロマＮＲを行ってもよい。かかる構成により、輝度ノイズおよび色ノイズを適確に補正しつつ、クロマＮＲを行うための処理負荷を軽減することが可能である。

　－第３の処理例
　第２の処理例として、各階層の画像処理部（２１２、２２２、・・・２３２）は、異なる画像処理を行ってもよい。より詳細には、各階層の画像処理部（２１２、２２２、・・・２３２）は、各階層の解像度に適した画像処理を行ってもよい。例えば、大局輝度算出、フリッカ検出、ＧＭＶ検出、クロマＮＲ、階調変換、フリッカ補正、および手ブレ補正などは低解像度で実行できるが、欠陥補正は高解像度でないと適切な実行が困難である。

　そこで、図５に示すように、第１階層の画像処理部２１２が欠陥補正を行い、第２階層の画像処理部２２２が輝度ＮＲを行い、第Ｋ階層の画像処理部２３２が大局輝度算出、フリッカ検出、ＧＭＶ検出、クロマＮＲ、階調変換、フリッカ補正、および手ブレ補正を行ってもよい。かかる構成により、全体の処理負荷を抑制しつつ出力画像の高画質化を実現することができる。

　　（各階層の処理タイミング）
　以上説明したように、各階層の画像処理部（２１２、２２２、・・・２３２）は、多様なパターンの画像処理を行うことが可能である。ここで、各階層の画像処理部（２１２、２２２、・・・２３２）が画像処理を行うタイミングは特に限定されない。以下、各階層の画像処理部（２１２、２２２、・・・２３２）が画像処理を行うタイミングの一例を説明する。

　図６は、各階層での画像処理の第１のタイミング例を示した説明図である。階層画像処理部２０－１は、図６に示したように、上位階層から順に画像処理を開始してもよい。すなわち、最初に第１階層の画像処理部２１２が画像処理（処理１および処理２）を開始し、次いで、第２階層の画像処理部２２２が画像処理（処理イおよび処理ロ）を開始し、その後、第３階層の画像処理部２３２が画像処理（処理Ａ、処理Ｂおよび処理Ｃ）を開始してもよい。なお、図６においては各階層の画像処理の終了タイミングが揃う例を示しているが、各階層の画像処理は異なるタイミングで終了してもよい。

　図７は、各階層での画像処理の第２のタイミング例を示した説明図である。階層画像処理部２０－１は、図７に示したように、各階層の画像処理を同時に開始してもよい。すなわち、第１階層の画像処理部２１２が画像処理（処理１、処理２）を開始すると同時に、第２階層の画像処理部２２２が画像処理（処理イ、処理ロおよび処理ハ）を開始し、その後、第３階層の画像処理部２３２が画像処理（処理Ａ、処理Ｂ、処理Ｃ、処理Ｄおよび処理Ｅ）を開始してもよい。なお、図７においては各階層の画像処理の終了タイミングが揃う例を示しているが、各階層の画像処理は異なるタイミングで終了してもよい。

　図８は、各階層での画像処理の第３のタイミング例を示した説明図である。階層画像処理部２０－１は、図８に示したように、下位階層から順に画像処理を開始してもよい。すなわち、最初に第３階層の画像処理部２３２が画像処理（処理Ａ、処理Ｂ、処理Ｃ、処理Ｄおよび処理Ｅ）を開始し、次いで、第２階層の画像処理部２２２が画像処理（処理イおよび処理ロ）を開始し、その後、第１階層の画像処理部２１２が画像処理（処理１）を開始してもよい。なお、図８においては各階層の画像処理の終了タイミングが揃う例を示しているが、各階層の画像処理は異なるタイミングで終了してもよい。

　　　＜２－２．第１の実施形態による画像処理装置の動作＞
　以上、本開示の第１の実施形態による画像処理装置１０の構成を説明した。続いて、本開示の第１の実施形態による画像処理装置１０の動作を説明する。

　図９は、第１の実施形態による画像処理装置１０の動作を示したフローチャートである。図９に示したように、まず、階層画像処理部２０－１にオリジナル画像が入力されると（Ｓ３１０）、画像縮小部２０２および２０３などが、Ｋ階層の解像度の異なる縮小画像を生成する（Ｓ３２０）。

　そして、各階層の画像処理部が、入力される縮小画像に解像度に応じた画像処理を施す（Ｓ３３０）。その後、各階層のアップスケール部が画像処理結果を上位の解像度にアップスケールし、各階層の画像合成部が、同一階層での画像処理結果と、下位でアップスケールされた画像処理結果とを合成し（Ｓ３４０）、合成結果を出力する（Ｓ３５０）。なお、各階層の画像処理部により上位階層での画像処理のためのパラメータ情報が得られた場合、当該パラメータ情報は処理結果伝送部（２２８、・・・、２３８）により上位階層に伝送される。

　　＜＜３．第２の実施形態＞＞
　以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。第１の実施形態では、オリジナル画像を縮小することにより解像度の異なる複数の画像を取得する例を説明したが、第２の実施形態では、撮像部１２による撮像の段階で解像度の異なる複数の画像を取得することができる。以下、詳細に説明する。

　　　＜３－１．第２の実施形態による画像処理装置の構成＞
　図１０は、第２の実施形態による画像処理装置１０の階層画像処理部２０－２の構成を示したブロック図である。図１０に示したように、階層画像処理部２０－２は、第１階層処理部２１０～第Ｋ階層処理部２３０と、処理結果伝送部２２８および２３８と、を備える。

　処理結果伝送部２２８および２３８は、第１の実施形態において説明したように、連続する２階層の間に配置され、下位側の階層の画像処理部で得られたパラメータ情報を、上位側の画像処理部に伝送する。

　第１階層処理部２１０は、画像処理部２１２、および画像合成部２１４を有する。画像処理部２１２、および画像合成部２１４の処理内容は第１の実施形態で説明した通りであるが、撮像部１２により取得された画像が画像処理部２１２に入力される点で第１の実施形態と異なる。具体的には、撮像部１２は、異なる露光タイミングおよび異なる解像度で撮像を行うことにより複数の階層画像を取得し、第１階層の画像処理部２１２には、最も解像度の高い第１階層画像が入力される。

　第２階層処理部２２０は、画像処理部２２２、画像合成部２２４およびアップスケール部２２６を有する。第１階層と同様に、第２階層の画像処理部２２２には、解像度が２番目に高い第２階層画像が入力される。

　また、第Ｋ階層処理部２３０は、画像処理部２３２およびアップスケール部２３６を有する。第Ｋ階層の画像処理部２３２には、解像度が最も低い第Ｋ階層画像が入力される。

　　（露光タイミングと処理タイミングの関係）
　ここで、解像度の異なる複数の画像を取得するための撮像部１２における露光タイミングと、各階層の処理タイミングについて図１１および図１２を参照して説明する。

　図１１は、撮像部１２における露光タイミングと各階層の処理タイミングの一例を示した説明図である。図１１に示した例では、撮像部１２は、ｔ１～ｔ３の間で撮像素子の垂直ラインを順次に露光し、ｔ２～ｔ３の間に１／４の垂直ラインの信号を第３階層の画像として出力する。そして、第３階層の画像処理部２３２は、第３階層の画像が得られるｔ３において画像処理を開始する。

　また、撮像部１２は、ｔ２～ｔ５の間で撮像素子の垂直ラインを順次に露光し、ｔ３～ｔ５の間に１／２の垂直ラインの信号を第２階層の画像として出力する。そして、第２階層の画像処理部２２２は、第２階層の画像が得られるｔ５において画像処理を開始する。

　同様に、撮像部１２は、ｔ４～ｔ９の間で撮像素子の垂直ラインを順次に露光し、ｔ５～ｔ９の間に全ての垂直ラインの信号を第１階層の画像として出力する。そして、第１階層の画像処理部２１２は、第１階層の画像が得られるｔ９において画像処理を開始する。

　なお、図１１においては、撮像部１２が垂直ラインを順次に露光するローリングシャッタ動作を行う例を示しているが、撮像部１２は全ての垂直ラインを同時に露光するグルーバルシャッタ動作を行ってもよい。この場合、撮像部１２は、ｔ１～ｔ２で第３階層の画像を取得するための露光を行い、ｔ２～ｔ３で第２階層の画像を取得するための露光を行い、ｔ４～ｔ５で第１階層の画像を取得するための露光を行うことにより、図１１と同一の処理タイミングを実現可能である。

　図１２は、撮像部１２における露光タイミングと各階層の処理タイミングの他の例を示した説明図である。図１２に示した例では、撮像部１２は、ｔ１～ｔ６の間で撮像素子の垂直ラインを順次に露光し、ｔ２～ｔ６の間に全ての垂直ラインの信号を第１階層の画像として出力する。そして、第１階層の画像処理部２１２は、第１階層の画像が得られるｔ６において画像処理を開始する。

　また、撮像部１２は、ｔ５～ｔ８の間で撮像素子の垂直ラインを順次に露光し、ｔ６～ｔ８の間に１／２の垂直ラインの信号を第２階層の画像として出力する。そして、第２階層の画像処理部２２２は、第２階層の画像が得られるｔ８において画像処理を開始する。

　同様に、撮像部１２は、ｔ７～ｔ９の間で撮像素子の垂直ラインを順次に露光し、ｔ８～ｔ９の間に１／４の垂直ラインの信号を第３階層の画像として出力する。そして、第３階層の画像処理部２３２は、第３階層の画像が得られるｔ９において画像処理を開始する。

　なお、図１２においては、撮像部１２が垂直ラインを順次に露光するローリングシャッタ動作を行う例を示しているが、撮像部１２は全ての垂直ラインを同時に露光するグルーバルシャッタ動作を行ってもよい。この場合、撮像部１２は、ｔ１～ｔ２で第１階層の画像を取得するための露光を行い、ｔ５～ｔ６で第２階層の画像を取得するための露光を行い、ｔ７～ｔ８で第３階層の画像を取得するための露光を行うことにより、図１２と同一の処理タイミングを実現可能である。

　　　＜３－２．第２の実施形態による画像処理装置の動作＞
　以上、本開示の第２の実施形態による画像処理装置１０の構成を説明した。続いて、本開示の第２の実施形態による画像処理装置１０の動作を説明する。

　図１３は、第２の実施形態による画像処理装置１０の動作を示したフローチャートである。図１３に示したように、まず、撮像部１２が異なる露光タイミングおよび異なる解像度で撮像を行うことにより複数の階層画像を取得する（Ｓ４２０）。撮像部１２により取得された第１階層画像は第１階層処理部２１０に入力され、第２階層画像は第２階層処理部２２０に入力され、第Ｋ階層画像は第Ｋ階層処理部２３０に入力される。

　そして、各階層の画像処理部は、入力される階層画像に解像度に応じた画像処理を施す（Ｓ４３０）。その後、各階層のアップスケール部が画像処理結果を上位の解像度にアップスケールし、各階層の画像合成部が、同一階層での画像処理結果と、下位でアップスケールされた画像処理結果とを合成し（Ｓ４４０）、合成結果を出力する（Ｓ４５０）。なお、各階層の画像処理部により上位階層での画像処理のためのパラメータ情報が得られた場合、当該パラメータ情報は処理結果伝送部（２２８、・・・、２３８）により上位階層に伝送される。

　　＜＜４．むすび＞＞
　以上説明したように、本開示の実施形態によれば、解像度の異なる複数の階層で画像処理を行い、各階層での画像処理結果を合成する。このため、高解像度を有する画像に対してのみ画像処理を行う場合と比較してハードウェア規模およびコストを抑制することが可能であり、かつ、低解像度を有する画像に対してのみ画像処理を行う場合と比較して高精細な画像を得ることが可能である。

　また、本開示の第１の実施形態によれば、１つのオリジナル画像を縮小することにより解像度の異なる複数の画像を取得することが可能である。また、本開示の第２の実施形態によれば、撮像部１２による撮像の段階で解像度の異なる複数の画像を取得することが可能である。

　なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、本明細書の画像処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置１０処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

　また、画像処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した画像処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図１、図２および図１０のブロック図で示した少なくとも一部のブロックをハードウェアで構成することも可能である。

　また、以下のような構成も本開示の技術的範囲に属する。
（１）
　同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行う画像処理部と、
　前記複数の画像の各々についての前記画像処理部による画像処理結果を合成する画像合成部と、
を備える、画像処理装置。
（２）
　前記画像処理部は、前記複数の画像の各々に対して同一種別の画像処理を行う、前記（１）に記載の画像処理装置。
（３）
　前記画像処理部は、前記複数の画像の各々に対して異なる種別の画像処理を行う、前記（１）に記載の画像処理装置。
（４）
　前記画像処理装置は、低解像度側の画像についての前記画像処理部による画像処理結果を高解像度側の画像の解像度にアップスケールするアップスケール部をさらに備え、
　前記画像合成部は、前記高解像度側の画像についての前記画像処理部による画像処理結果と、前記アップスケール部によりアップスケールされた前記低解像度側の画像についての前記画像処理部による画像処理結果とを合成する、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
　前記画像処理装置は、入力画像から前記解像度が異なる複数の画像を得るための画像変換を行う画像変換部をさらに備える、前記（１）～（４）のいずれか一項に記載の画像処理装置。
（６）
　前記画像処理装置は、異なる露光タイミングおよび異なる解像度で撮像を行うことにより前記複数の画像を得る撮像部をさらに備える、前記（１）～（４）のいずれか一項に記載の画像処理装置。
（７）
　前記画像処理部は、前記複数の画像の画像処理を、前記撮像部の撮像により得られた順序で開始する、前記（６）に記載の画像処理装置。
（８）
　前記撮像部は、前記複数の画像を高解像度側の画像から順に取得する、前記（６）または（７）に記載の画像処理装置。
（９）
　前記撮像部は、前記複数の画像を低解像度側の画像から順に取得する、前記（６）または（７）に記載の画像処理装置。
（１０）
　前記画像処理部は、少なくとも輝度ノイズリダクション、およびクロマノイズリダクションを画像処理として行い、
　前記輝度ノイズリダクションを、前記クロマノイズリダクションを行う画像よりも高解像度側の画像に対して行う、前記（３）に記載の画像処理装置。
（１１）
　前記画像処理部は、さらに欠陥補正を画像処理として行い、
　前記欠陥補正を、前記輝度ノイズリダクションを行う画像よりも高解像度側の画像に対して行う、前記（１０）に記載の画像処理装置。
（１２）
　同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行うことと、
　前記複数の画像の各々についての画像処理結果を合成することと、
を含む、画像処理方法。

１０　画像処理装置
１２　撮像部
１４　記憶部
２０　階層画像処理部
３０　表示部
２０２、２０３　画像縮小部
２１０　第１階層処理部
２１２　画像処理部
２１４　画像合成部
２２０　第２階層処理部
２２２　画像処理部
２２４　画像合成部
２２６　アップスケール部
２２８　処理結果伝送部
２３０　第Ｋ階層処理部
２３２　画像処理部
２３６　アップスケール部
２３８　処理結果伝送部

Claims (12)

1. 　同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行う画像処理部と、
   　前記複数の画像の各々についての前記画像処理部による画像処理結果を合成する画像合成部と、
   を備える、画像処理装置。
2. 　前記画像処理部は、前記複数の画像の各々に対して同一種別の画像処理を行う、請求項１に記載の画像処理装置。
3. 　前記画像処理部は、前記複数の画像の各々に対して異なる種別の画像処理を行う、請求項１に記載の画像処理装置。
4. 　前記画像処理装置は、低解像度側の画像についての前記画像処理部による画像処理結果を高解像度側の画像の解像度にアップスケールするアップスケール部をさらに備え、
   　前記画像合成部は、前記高解像度側の画像についての前記画像処理部による画像処理結果と、前記アップスケール部によりアップスケールされた前記低解像度側の画像についての前記画像処理部による画像処理結果とを合成する、請求項１に記載の画像処理装置。
5. 　前記画像処理装置は、入力画像から前記解像度が異なる複数の画像を得るための画像変換を行う画像変換部をさらに備える、請求項１に記載の画像処理装置。
6. 　前記画像処理装置は、異なる露光タイミングおよび異なる解像度で撮像を行うことにより前記複数の画像を得る撮像部をさらに備える、請求項１に記載の画像処理装置。
7. 　前記画像処理部は、前記複数の画像の画像処理を、前記撮像部の撮像により得られた順序で開始する、請求項６に記載の画像処理装置。
8. 　前記撮像部は、前記複数の画像を高解像度側の画像から順に取得する、請求項６または７に記載の画像処理装置。
9. 　前記撮像部は、前記複数の画像を低解像度側の画像から順に取得する、請求項６または７に記載の画像処理装置。
10. 　前記画像処理部は、少なくとも輝度ノイズリダクション、およびクロマノイズリダクションを画像処理として行い、
    　前記輝度ノイズリダクションを、前記クロマノイズリダクションを行う画像よりも高解像度側の画像に対して行う、請求項３に記載の画像処理装置。
11. 　前記画像処理部は、さらに欠陥補正を画像処理として行い、
    　前記欠陥補正を、前記輝度ノイズリダクションを行う画像よりも高解像度側の画像に対して行う、請求項１０に記載の画像処理装置。
12. 　同一被写体についての解像度が異なる複数の画像の各々に対して画像処理を行うことと、
    　前記複数の画像の各々についての画像処理結果を合成することと、
    を含む、画像処理方法。
     

Images