JP6165491B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、具体的には原画像の一部分をぼかしてぼけ画像を生成する技術に関する。

下記特許文献１に記載の技術では、入力画像データについて最小スケールの２次元ウエーブレット係数を求める。そして、所定しきい値以上のウエーブレット係数を持つ座標ではピントが合っているとみなし、ウエーブレット係数を保持する。これに対し、所定しきい値未満の座標については、各スケールのウエーブレット係数に制御係数を乗じる。その後、逆ウエーブレット変換を行って、出力画像を得る。これによれば、入力画像において焦点の合っている座標のピントは保持しながら、入力画像よりも被写界深度の浅い画像が得られる、としている。

下記特許文献２〜４に記載の技術は、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）等の圧縮符号化に関する。その圧縮符号化において、関心領域（ＲＯＩ）に相対的により多くの符号量を割り当てる。それによれば、被写体にピントを合わせ背景をぼかして被写体を引き立たせた、擬似的なフォーカス効果を実現される、としている。

画像のＲＯＩをウエーブレット平面に展開する方法として、ＪＰＥＧ２０００に採用されている方法がある（下記非特許文献１参照）。また、ＪＰＥＧ２０００に採用されているウエーブレットフィルタとは種類が異なるが、下記特許文献５には、ウエーブレット平面上でどの係数がＲＯＩに属するかを判別する技術が開示されている。

なお、背景と前景とを分離する技術として、多数の技術が開発されている。例えば下記特許文献６に記載の技術が挙げられる。

特開２００８−２４５０３３号公報 特開２００６−２９５２９９号公報 特開２００６−２０３４０９号公報 特開２００２−９４９９１号公報 特表２００１−５２０４６６号公報 特開２０１１−３４１７８号公報 特開２００３−２４８６７３号公報

INTERNATIONAL STANDARD ISO/IEC 15444-1 ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system Annex H - Coding of images with regions of interest

原画像の一部分をぼかしてぼけ画像を生成するために、様々な技術が開発されている。

本発明は、既存の技術とは全く異なるアプローチによって、良質なぼけ画像を生成可能な技術を提供することを目的とする。

本発明の第１の態様に係る画像処理装置は、原画像の一部分をぼかしてぼけ画像を生成する画像処理装置であって、ウエーブレット変換部と、ＲＯＩ展開部と、高周波カット部と、低周波ぼかし部と、逆ウエーブレット変換部とを含む。前記ウエーブレット変換部は、原画像データに対してウエーブレット変換を行って、前記原画像データが所定の分解レベルまで低周波成分と高周波成分とに分解された第１画像データを生成する。前記ＲＯＩ展開部は、前記原画像においてぼかさない領域としての関心領域（ＲＯＩ）とぼかす領域としての非関心領域（非ＲＯＩ）とが規定されたＲＯＩ情報を取得し、前記ＲＯＩ情報に基づき前記第１画像データに対して前記ＲＯＩに対応するＲＯＩ対応部分と前記非ＲＯＩに対応する非ＲＯＩ対応部分とを特定することによって、前記ＲＯＩ情報を前記第１画像データに展開する。前記高周波カット部は、前記非ＲＯＩ対応部分の前記高周波成分をカットする高周波カット処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記高周波成分に対して行うが、前記低周波成分に対しては行わない。前記低周波ぼかし部は、前記非ＲＯＩ対応部分の前記低周波成分をぼかす低周波ぼかし処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記低周波成分に対して行うが、前記高周波成分に対しては行わない。前記逆ウエーブレット変換部は、前記高周波カット処理および前記低周波ぼかし処理が行われた後の前記第１画像データである第２画像データに対して、逆ウエーブレット変換を行って、第３画像データを生成する。

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記低周波ぼかし部は、前記逆ウエーブレット変換部から分解レベルが０でない前記第３画像データを少なくとも１回取得し、前記第３画像データに対して前記低周波ぼかし処理を行う。

本発明の第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記低周波ぼかし部は、前記逆ウエーブレット変換部から分解レベルが０の前記第３画像データを取得し、前記第３画像データに対して前記低周波ぼかし処理を行い、前記低周波ぼかし処理を行った後の前記第３画像データを前記ぼけ画像のデータとして出力する。

本発明の第４の態様に係る画像処理装置は、第１〜第３の態様のうちのいずれか１つに係る画像処理装置であって、前記逆ウエーブレット変換部は、分解レベルが０でない前記第３画像データの前記低周波成分を前記ぼけ画像のデータとして出力する。

本発明の第５の態様に係る画像処理装置は、第１〜第４の態様のうちのいずれか１つに係る画像処理装置であって、前記高周波カット処理は前記高周波成分のデータ値を０に設定する処理である。

本発明の第６の態様に係る画像処理装置は、第１〜第５の態様のうちのいずれか１つに係る画像処理装置であって、前記低周波ぼかし部は前記低周波ぼかし処理を行うためのフィルタを含む。

本発明の第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置であって、前記フィルタは平滑化フィルタまたはガウシアンフィルタである。

本発明の第８の態様に係る画像処理装置は、第１〜第７の態様のうちのいずれか１つに係る画像処理装置であって、前記ＲＯＩ展開部は、前記非ＲＯＩ対応部分に対する前記高周波カット処理および前記低周波ぼかし処理が、前記第３画像データのうちの前記ＲＯＩ対応部分に影響を及ぼさないという条件に従って、前記ＲＯＩ情報を前記第１画像データに対して展開する。

本発明の第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記ウエーブレット変換部は、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタによって、前記ウエーブレット変換を行う。前記ＲＯＩ展開部は、前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目のデータと、前記高周波成分の側の｛ｎ−１｝番目およびｎ番目のデータとを、前記ＲＯＩ対応部分に設定する。前記ＲＯＩ展開部は、前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータとを、前記ＲＯＩ対応部分に設定する。

本発明の第１０の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記ウエーブレット変換部は、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタによって、前記ウエーブレット変換を行う。前記ＲＯＩ展開部は、前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝のデータとを、前記ＲＯＩ対応部分に設定する。前記ＲＯＩ展開部は、前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータとを、前記ＲＯＩ対応部分に設定する。

本発明の第１１の態様に係る画像処理装置は、第１〜第１０の態様のうちのいずれか１つに係る画像処理装置であって、前記ウエーブレット変換部は９×７フィルタまたは５×３フィルタによって前記ウエーブレット変換を行う。

本発明の第１２の態様に係る画像処理装置は、第１〜第１１の態様のうちのいずれか１つに係る画像処理装置であって、前記逆ウエーブレット変換部は９×７フィルタまたは５×３フィルタによって前記逆ウエーブレット変換を行う。

本発明の第１３の態様に係る画像処理方法は、原画像の一部分をぼかしてぼけ画像を生成する画像処理方法であって、ステップ（ａ）〜（ｅ）を含む。前記ステップ（ａ）では、原画像データに対してウエーブレット変換を行って、前記原画像データが所定の分解レベルまで低周波成分と高周波成分とに分解された第１画像データを生成する。前記ステップ（ｂ）では、前記原画像においてぼかさない領域としての関心領域（ＲＯＩ）とぼかす領域としての非関心領域（非ＲＯＩ）とが規定されたＲＯＩ情報を取得し、前記ＲＯＩ情報に基づき前記第１画像データに対して前記ＲＯＩに対応するＲＯＩ対応部分と前記非ＲＯＩに対応する非ＲＯＩ対応部分とを特定することによって、前記ＲＯＩ情報を前記第１画像データに展開する。前記ステップ（ｃ）では、前記非ＲＯＩ対応部分の前記高周波成分をカットする高周波カット処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記高周波成分に対して行うが、前記低周波成分に対しては行わない。前記ステップ（ｄ）では、前記非ＲＯＩ対応部分の前記低周波成分をぼかす低周波ぼかし処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記低周波成分に対して行うが、前記高周波成分に対しては行わない。前記ステップ（ｅ）では、前記高周波カット処理および前記低周波ぼかし処理が行われた後の前記第１画像データである第２画像データに対して、逆ウエーブレット変換を行って、第３画像データを生成する。

本発明の第１４の態様に係る画像処理方法は、第１３の態様に係る画像処理方法であって、前記ステップ（ｄ）では、前記ステップ（ｅ）で生成された分解レベルが０でない前記第３画像データを少なくとも１回取得し、前記第３画像データに対して前記低周波ぼかし処理を行う。

本発明の第１５の態様に係る画像処理方法は、第１３または第１４の態様に係る画像処理方法であって、前記ステップ（ｄ）では、前記ステップ（ｅ）で生成された分解レベルが０の前記第３画像データを取得し、前記第３画像データに対して前記低周波ぼかし処理を行い、前記低周波ぼかし処理を行った後の前記第３画像データを前記ぼけ画像のデータとして提供する。

本発明の第１６の態様に係る画像処理方法は、第１３〜第１５の態様のうちのいずれか１つに係る画像処理方法であって、前記ステップ（ｅ）では、分解レベルが０でない前記第３画像データの前記低周波成分を前記ぼけ画像のデータとして提供する。

本発明の第１７の態様に係る画像処理方法は、第１３〜第１６の態様のうちのいずれか１つに係る画像処理方法であって、前記高周波カット処理は前記高周波成分のデータ値を０に設定する処理である。

本発明の第１８の態様に係る画像処理方法は、第１３〜第１７の態様のうちのいずれか１つに係る画像処理方法であって、前記ステップ（ｂ）では、前記非ＲＯＩ対応部分に対する前記高周波カット処理および前記低周波ぼかし処理が、前記第３画像データのうちの前記ＲＯＩ対応部分に影響を及ぼさないという条件に従って、前記ＲＯＩ情報を前記第１画像データに対して展開する。

本発明の第１９の態様に係る画像処理方法は、第１８の態様に係る画像処理方法であって、前記ステップ（ａ）では、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタによって、前記ウエーブレット変換を行う。前記ステップ（ｂ）はステップ（ｂ１），（ｂ２）を含む。前記ステップ（ｂ１）では、前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目のデータと、前記高周波成分の側の｛ｎ−１｝番目およびｎ番目のデータとを、前記ＲＯＩ対応部分に設定する。前記ステップ（ｂ２）では、前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータとを、前記ＲＯＩ対応部分に設定する。

本発明の第２０の態様に係る画像処理方法は、第１８の態様に係る画像処理方法であって、前記ステップ（ａ）では、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタによって、前記ウエーブレット変換を行う。前記ステップ（ｂ）はステップ（ｂ１），（ｂ２）を含む。前記ステップ（ｂ１）では、前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝のデータとを、前記ＲＯＩ対応部分に設定する。前記ステップ（ｂ２）では、前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータとを、前記ＲＯＩ対応部分に設定する。

上記の第１〜第２０の態様によれば、良質なぼけ画像が得られる。また、ウエーブレット変換の分解レベルの制御によって、ぼけ具合を容易に調整できる。

そのうち特に、上記の第２および第１４の態様によれば、ＲＯＩと非ＲＯＩの境界付近において自然なぼけ具合を実現できる。また、そのぼけ具合を調整できる。

また、上記の第３および第１５の態様によれば、ＲＯＩと非ＲＯＩの境界付近のぼけ具合を、よりなだらかにすることができる。

また、上記の第４および第１６の態様によれば、原画像よりも小さいサイズのぼけ画像を得られる。

また、上記の第５および第１７の態様によれば、ぼけ画像において歪み等の発生を抑制でき、更に良質なぼけ画像が得られる。

また、上記の第８〜第１０および第１８〜第２０の態様によれば、原画像に設定したＲＯＩ内にぼけが進入するのを防止できる。

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

原画像を例示する図である。 図１の原画像の明るさを調整した図である。 ぼけ画像を例示する図である（分解レベルの設定値が３の場合）。 図３のぼけ画像の明るさを調整した図である。 画像処理装置を例示するブロック図である。 ｍａｌｌａｔ型のウエーブレットパケット木を説明する図である。 １次元ＤＷＴを実現する２分割フィルタバンク群を例示する図である。 ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル１）。 ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル２）。 ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル３）。 図１の画像にウエーブレット変換を行った場合のウエーブレット平面を示す図である（分解レベル３）。 １次元ＩＤＷＴを実現する２分割フィルタバンク群を例示する図である。 ＲＯＩ情報を例示する図である。 展開ＲＯＩ情報を例示する図である。 ウエーブレット変換が５×３フィルタを用いて行われる場合について、ＲＯＩ情報の展開を例示する図である。 ウエーブレット変換がDaubechies９×７フィルタを用いて行われる場合について、ＲＯＩ情報の展開を例示する図である。 ３×３の平滑化フィルタのぼけ作用素を説明する図である。 ５×５の平滑化フィルタのぼけ作用素を説明する図である。 ３×３のガウシアンフィルタのぼけ作用素を説明する図である。 ５×５のガウシアンフィルタのぼけ作用素を説明する図である。 画像処理方法を例示するフローチャートである。 低周波成分ＬＬ２用の展開ＲＯＩ情報を例示する図である。 低周波成分ＬＬ１用の展開ＲＯＩ情報を例示する図である。 ぼけ画像を例示する図である（分解レベルの設定値が６の場合）。 図２４のぼけ画像の明るさを調整した図である。 低周波ぼかし処理を行わない場合のぼけ画像（比較用）を例示する図である。 図２６の比較用ぼけ画像の明るさを調整した図である。 原画像にぼけ作用素を有したフィルタをかけた場合のぼけ画像（比較用）を例示する一部拡大図である。 実施の形態に係るぼけ画像を例示する一部拡大図である（分解および合成の回数は１回）。

本発明では、原画像の一部分をぼかしてぼけ画像を生成する技術を提供する。図１および図２に原画像を例示する。図２は、図１中の暗い部分を見やすくするために、明るさを調整した（いわゆるガンマの値を調整した）画像である。また、図３および図４に、ぼけ画像を例示する。図４は、図３の画像に対して、図２と同様の明るさ調整を施した画像である。図３および図４を図１および図２と比較すれば分かるように、ぼけ画像では花の周囲の葉の領域が主にぼけている。ここでは、原画像として、パンフォーカスで撮影された写真（換言すれば、被写界深度が深い写真）を例示している。これに対し、ぼけ画像として、花の領域にフォーカスが合った、被写界深度が浅い写真が得られる。すなわち、本発明によれば、擬似的に被写界深度を浅くすることができる。但し、本発明はパンフォーカス状態でない画像に対しても適用可能である。また、原画像は写真以外の画像、例えばコンピュータグラフィックスであってもよい。

図５に、本発明の実施の形態に係る画像処理装置１０のブロック図を例示する。図５の例によれば、画像処理装置１０は、ウエーブレット変換部（ＷＴ部とも称する）１１と、高周波カット部１２と、低周波ぼかし部１３と、逆ウエーブレット変換部（ＩＷＴ部とも称する）１４と、関心領域展開部（ＲＯＩ展開部とも称する）１５とを含んでいる。

＜ＷＴ部１１＞
原画像のデータ（デジタルデータ）である原画像データ２０は、ＷＴ部１１へ入力される。ＷＴ部１１は、原画像データ２０に対してウエーブレット変換（ここでは離散ウエーブレット変換（ＤＷＴ））を行って、第１画像データ２１（画像データ２１と略称する場合もある）を生成する。すなわち、原画像データ２０は所定の分解レベルまで低周波成分と高周波成分とに分解され、その周波数分解の結果データが画像データ２１である。ＷＴ部１１は既存の技術、例えば特許文献３，４，７に記載の技術によって構成可能である。

ウエーブレット変換によれば、処理対象の画像は周波数の低い成分と周波数の高い成分とに分解される。かかる分解は周波数分解、帯域分割、等とも称される。また、分割によって得られた各帯域成分（すなわち低周波成分と高周波成分のそれぞれ）はサブバンドとも称される。

ウエーブレット変換の代表的な方式の１つとして、ｍａｌｌａｔ型がある。図６に、１次元でのウエーブレット変換について、ｍａｌｌａｔ型のウエーブレットパケット木を示す。

ｍａｌｌａｔ型は、周波数の低い成分は周波数の高い成分よりも多くの情報を含んでいるという仮定の下に、低周波成分のみを繰り返し（換言すれば、再帰的に）周波数分割する方式である。かかる分割方式は、オクターブ分割方式とも称される。

ウエーブレット変換における展開階層、換言すれば分解回数は、分解レベルと呼ばれる。なお、分解レベルの数は図６の例に限定されるものではない。なお、ウエーブレット変換前の状態の分解レベル、すなわち処理対象とする原画像の分解レベルを０と表現することにする。

図６の例によれば、入力画像は、分解レベル１において、高周波成分Ｈと低周波成分Ｌとに分解される。分解レベル１で得られた低周波成分Ｌは、分解レベル２において、更に高周波成分ＬＨと低周波成分ＬＬとに分解される。分解レベル２で得られた低周波成分ＬＬは、分解レベル３において、更に高周波成分ＬＬＨと低周波成分ＬＬＬとに分解される。したがって、最終的に４つの帯域成分ＬＬＬ，ＬＬＨ，ＬＨ，Ｈが得られる。

帯域分割は、例えば２分割フィルタバンクを使って、実現可能である。図７に、１次元ＤＷＴを実現する２分割フィルタバンク群の構成例を示す。図７の例では、２分割フィルタバンクは、低周波成分を通過させるローパスフィルタＨ_０（ｚ）と、高周波成分を通過させるハイパスフィルタＨ_１（ｚ）と、フィルタＨ_０（ｚ），Ｈ_１（ｚ）のそれぞれの後段に設けられたダウンサンプラとで構成されている。なお、ダウンサンプラは、入力される信号を１つおきに間引いて、信号長を半分にして出力する。１次元ＤＷＴは、この２分割フィルタバンクを繰り返し用いることによって、実現される。

図８〜図１０に、２次元でのウエーブレット変換について、ｍａｌｌａｔ型のウエーブレット平面を示す。図８〜図１０の例によれば、入力画像（２次元画像）は、分解レベル１において（図８参照）、垂直方向と水平方向のそれぞれについて周波数分割が行われる。これにより、図８に示すように、４つの帯域成分ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１に分割される。かかる周波数分割は、例えば、図７に例示した１次元用のフィルタを、垂直方向と水平方向のそれぞれについて適用することによって、実現可能である。

分解レベル１で得られた帯域成分ＬＬ１は、分解レベル２において（図９参照）、更に４つの帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分割される。分解レベル２で得られた帯域成分ＬＬ２は、分解レベル３において（図１０参照）、更に４つの帯域成分ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分割される。なお、分解レベルの設定値は３に限定されるものではない。

ここで、２次元のウエーブレット変換に関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高周波成分Ｈと垂直方向の低周波成分Ｌとからなる帯域成分である。その表記法は「ＸＹｍ」と一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分は「ＸＹｍ」と表記される。

また、例えば分解レベル２において（図９参照）、帯域成分ＬＬ２は、他の帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＨＨ１，ＨＬ１，ＬＨ１とは異なり、水平方向と垂直方向とのいずれについても低周波成分Ｌのみで構成されている。換言すれば、帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＨＨ１，ＨＬ１，ＬＨ１は、水平方向または／および垂直方向について、高周波成分Ｈを含んでいる。かかる点に鑑み、帯域成分ＬＬ２を分解レベル２における低周波成分と称し、他の帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＨＨ１，ＨＬ１，ＬＨ１を分解レベル２における高周波成分と称することにする。すなわち、分解レベルｍにおいて、帯域成分ＬＬｍを低周波成分と称し、帯域成分ＬＬｍ以外の帯域成分を高周波成分と称する。

また、例えば分解レベル１において、帯域成分ＬＬ１は画像の本質的な情報に対応する。また、帯域成分ＨＬ１は垂直方向に伸びるエッジの情報に対応し、帯域成分ＬＨ１は水平方向に伸びるエッジの情報に対応する。また、帯域成分ＨＨは斜め方向に伸びるエッジの情報に対応する。また、帯域成分ＬＬ１によれば、分解前の画像の１／４のサイズの画像を提供可能である。

他の分解レベルについても同様である。例えば、分解レベル２の帯域成分ＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分割前の帯域成分ＬＬ１を原画像と見なした場合における帯域成分ＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。

図１１に、図１の画像に、分解レベル３のウエーブレット変換を行った場合のウエーブレット平面を示す。

ウエーブレット平面は、ウエーブレット変換の演算結果データを、原画像中の画素の並びに対応付けた概念的な平面である。例えばウエーブレット平面において帯域成分ＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分データ）が、原画像中での当該注目画素の位置に対応して並べられている。

実施の形態では便宜的にウエーブレット平面を用いて説明するが、上記の第１画像データ２１（図５参照）は、実際のデータ配列順序を問わず、広義に定義可能である。すなわち、原画像データ２０に対してウエーブレット変換を行って得られたデータの集合が、第１画像データ２１にあたる。換言すれば、ウエーブレット平面は第１画像データ２１の表現形式の一例である。かかる点は後述の画像データ２２，２３についても同様とする。

＜ＩＷＴ部１４＞
次に、ＩＷＴ部１４を説明する。ＩＷＴ部１４は、入力される画像データに対して逆ウエーブレット変換（ここでは逆離散ウエーブレット変換（ＩＤＷＴ））を行う。逆ウエーブレット変換によれば、ウエーブレット変換によって分割された低周波成分と高周波成分とが合成される。かかる合成は周波数合成、帯域合成、等とも称される。なお、逆ウエーブレット変換は単に逆変換と称される場合もあり、これに対してウエーブレット変換は順変換と称される場合もある。

画像処理装置１０では、高周波カット部１２および低周波ぼかし部１３によって処理された第１画像データ２１である第２画像データ２２が、ＩＷＴ部１４に入力される。第２画像データ２２に対して逆ウエーブレット変換して得られた画像データを、第３画像データ２３と称することにする。なお、第２画像データ２２を画像データ２２と略称し、第３画像データ２３を画像データ２３と略称する場合もある。

ＩＷＴ部１４は既存の技術、例えば特許文献７に記載の技術によって構成可能である。図１２に、１次元ＩＤＷＴを実現する２分割フィルタバンク群の構成例を示す。図１２の例では、２分割フィルタバンクは、低周波成分を通過させるローパスフィルタＧ_０（ｚ）と、高周波成分を通過させるハイパスフィルタＧ_１（ｚ）と、フィルタＧ_０（ｚ），Ｇ_１（ｚ）のそれぞれの前段に設けられたアップサンプラと、フィルタＧ_０（ｚ），Ｇ_１（ｚ）の出力を加算する加算器とで構成されている。なお、アップサンプラは、入力される信号間にゼロ値を１つ挿入して、信号長を２倍にして出力する。１次元ＩＤＷＴは、この２分割フィルタバンクを繰り返し用いることによって、実現される。

逆ウエーブレット変換における合成回数は、合成レベルと呼ばれる。なお、合成レベルは図１２の例に限定されるものではない。なお、逆ウエーブレット変換前の状態（図１２の例では４つの帯域成分ＬＬＬ，ＬＬＨ，ＬＨ，Ｈに分割された状態）の合成レベルを０と表現することにする。

図１２の例によれば、２分割フィルタバンク群には、４つの帯域成分ＬＬＬ，ＬＬＨ，ＬＨ，Ｈが入力している。合成レベル１では、帯域成分ＬＬＬがアップサンプラを経てローパスフィルタＧ_０（ｚ）に入力され、帯域成分ＬＬＨがアップサンプラを経てハイパスフィルタＧ_１（ｚ）に入力され、２つのフィルタＧ_０（ｚ），Ｇ_１（ｚ）の出力が加算器によって加算される。これにより、帯域成分ＬＬＬ，ＬＬＨが合成されて帯域成分ＬＬが生成される。

次の合成レベル２では、合成レベル１で得られた帯域成分ＬＬがアップサンプラを経てローパスフィルタＧ_０（ｚ）に入力され、帯域成分ＬＨがアップサンプラを経てハイパスフィルタＧ_１（ｚ）に入力され、２つのフィルタＧ_０（ｚ），Ｇ_１（ｚ）の出力が加算器によって加算される。これにより、帯域成分ＬＬ，ＬＨが合成されて帯域成分Ｌが生成される。

そして、合成レベル３では、合成レベル２で得られた帯域成分Ｌがアップサンプラを経てローパスフィルタＧ_０（ｚ）に入力され、帯域成分Ｈがアップサンプラを経てハイパスフィルタＧ_１（ｚ）に入力され、２つのフィルタＧ_０（ｚ），Ｇ_１（ｚ）の出力が加算器によって加算される。これにより、帯域成分Ｌ，Ｈが合成されて、分解レベル０の画像が生成される。

ここで、図１２および図７の例（すなわち分解レベルの設定値が３の場合）によれば、分解レベル３の状態が合成レベル０の状態に対応する。また、合成レベル１まで合成された帯域成分の集合は分解レベル２の状態に対応し、合成レベル２まで合成された帯域成分の集合は分解レベル１の状態に対応する。そして、合成レベル３の合成によって分解レベル０の画像が得られる。

なお、整数型ＤＷＴの場合、デジタルフィルタＨ_０（ｚ），Ｈ_１（ｚ），Ｇ_０（ｚ），Ｇ_１（ｚ）（図１２および図７参照）として、可逆型または整数型の５×３タップのフィルタが用いられることが多い。また、実数型ＤＷＴの場合は９×７タップのフィルタが用いられる場合が多い。

＜ＲＯＩ展開部１５＞
次に、ＲＯＩ展開部１５を説明する。ＲＯＩ展開部１５は、ＲＯＩ情報３０を取得し、当該ＲＯＩ情報３０を第１画像データ２１に展開する。

ＲＯＩ情報３０は、原画像においてぼかさない領域としての関心領域（ＲＯＩ）とぼかす領域としての非関心領域（非ＲＯＩ）とが規定された情報である。なお、ＲＯＩと非ＲＯＩのうちの一方を特定できれば他方を特定可能であることに鑑みれば、ＲＯＩ情報３０はＲＯＩを特定するための情報と非ＲＯＩを特定するための情報とのうちの少なくとも一方で構成可能である。

図３のぼけ画像を生成する場合、図１の原画像に対するＲＯＩ情報３０は、図１３に示すように原画像と同じサイズの画像（換言すれば画像データ）によって、提供可能である。図１３の例では、白抜き領域３１がＲＯＩであり、黒塗り領域３２が非ＲＯＩである。

図１３の例において、ＲＯＩ３１は、画面上に表示した原画像を見ながら、マウス等のポインティング入力デバイスによって、設定可能である。あるいは、画像データの解析によってＲＯＩ３１を自動的に設定してもよい。例えば、原画像データ２０を解析して、原画像中で花の色を含む領域をＲＯＩ３１として抽出してもよい。あるいは、前景と背景とを分離する技術を応用して、前景（ここでは花の領域）をＲＯＩ３１に設定してもよい。なお、前景と背景とを分離する技術は多数、開発されており、例えば特許文献６に記載された技術が例示される。ＲＯＩ３１が設定されたならば、残余の領域が非ＲＯＩ３２になる。なお、非ＲＯＩ３２を設定することによっても、ＲＯＩ３１を設定可能である。

このようにＲＯＩ３１および非ＲＯＩ３２は種々の手法によって設定可能である。そして、そのようにして準備されたＲＯＩ情報３０が、ＲＯＩ展開部１５に入力される。

ＲＯＩ展開部１５は、取得したＲＯＩ情報３０に基づいて、第１画像データ２１に対して、ＲＯＩ３１に対応するＲＯＩ対応部分と、非ＲＯＩ３２に対応する非ＲＯＩ対応部分と、を特定する。これにより、ＲＯＩ情報３０が第１画像データ２１に展開される。第１画像データ２１に展開されたＲＯＩ情報３０を、展開ＲＯＩ情報と称することにする。

図１４に、分解レベル３の第１画像データ２１に対する、展開ＲＯＩ情報３５を例示する。図１４では、説明を分かりやすくするために、ウエーブレット平面（図１０参照）に対応させて、展開ＲＯＩ情報３５を視覚化している。図１４において、白抜き領域３６がＲＯＩ対応部分であり、黒塗り領域３７が非ＲＯＩ対応部分である。

なお、展開ＲＯＩ情報３５は、ウエーブレット平面に合わせて構成されていなくてもよい。すなわち、第１画像データ２１を構成する各データが、ＲＯＩ３１と非ＲＯＩ３２のいずれに含まれる画素に対応するのかを特定できれば、展開ＲＯＩ情報３５は任意のデータ配列構造、信号形式等によって構成可能である。

展開ＲＯＩ情報３５の生成は既存の技術、例えば特許文献４に記載の技術によって構成可能である。

例えば、ウエーブレット変換の演算処理において５×３フィルタが用いられる場合、図１５に示すようにしてＲＯＩ情報３０を展開可能である。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。

図１５に示すように、原画像の偶数番目（ｎを整数として、２ｎ番目と表記できる）の画素（換言すれば画素データ）がＲＯＩ３１に含まれる場合、低周波成分の側において（図７の例を参照すると、ローパスフィルタの側のダウンサンプラから出力されるデータのうちで）ｎ番目のデータを、ＲＯＩ対応部分３６に設定する。それと共に、高周波成分の側において（図７の例を参照すると、ハイパスフィルタの側のダウンサンプラから出力されるデータのうちで）｛ｎ−１｝番目およびｎ番目のデータを、ＲＯＩ対応部分３６に設定する。

他方、原画像の奇数番目（｛２ｎ＋１｝番目と表記できる）の画素がＲＯＩ３１に含まれる場合、低周波成分の側のｎ番目および｛ｎ＋１｝番目のデータと、高周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータとを、ＲＯＩ対応部分３６に設定する。

なお、図１５は原画像と分解レベル１のウエーブレット平面との対応関係を例示しているが、更に深い階層への再帰的な展開も同様に理解される。

また、例えば、ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、図１６に示すようにしてＲＯＩ情報３０を展開可能である。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。

図１６に示すように、原画像の偶数番目（２ｎ番目と表記できる）の画素がＲＯＩ３１に含まれる場合、低周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータと、高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝のデータとを、ＲＯＩ対応部分３６に設定する。他方、原画像の奇数番目（｛２ｎ＋１｝番目と表記できる）の画素がＲＯＩ３１に含まれる場合、低周波成分の側の｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータと、高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータとを、ＲＯＩ対応部分３６に設定する。なお、図１６は原画像と分解レベル１のウエーブレット平面との対応関係を例示しているが、更に深い階層への再帰的な展開も同様に理解される。

なお、図１５および図１６の例から分かるように、ＲＯＩ情報３０の展開、すなわち展開ＲＯＩ情報３５の生成は、ウエーブレット変換のフィルタのタップ数に依存する。

生成された展開ＲＯＩ情報３５は、高周波カット部１２および低周波ぼかし部１３へ供給され、高周波カット部１２および低周波ぼかし部１３における処理でマスクとして利用される。

＜高周波カット部１２＞
高周波カット部１２は、第１画像データ２１と展開ＲＯＩ情報３５とを取得する。そして、高周波カット部１２は、非ＲＯＩ対応部分３７の高周波成分をカットする処理である高周波カット処理を、第１画像データ２１に対して行う。この際、非ＲＯＩ対応部分３７は、展開ＲＯＩ情報３５から把握可能である。

すなわち、高周波カット部１２は、第１画像データ２１において、高周波成分ＨＬ，ＬＨ，ＨＨ（換言すれば、低周波成分ＬＬ以外の成分）に含まれ、且つ、非ＲＯＩ対応部分３７に含まれるデータをカットする。

高周波カット処理は、例えば、該当するデータの値を０に設定する処理である。あるいは、例えば、該当するデータの値を０以外の値に設定する処理を採用してもよい。但し、該当するデータの値を０に設定した方が、ぼけ画像において歪み等の発生を抑制でき、良質なぼけ画質が得られる。なお、該当データを特定の値に設定する処理以外の種々の処理によって、高周波カット処理を行ってもよい。

＜低周波ぼかし部１３＞
低周波ぼかし部１３は、図５の例では、高周波カット部１２において高周波カット処理が行われた後の第１画像データ２１を取得する。また、低周波ぼかし部１３は、展開ＲＯＩ情報３５を取得する。そして、低周波ぼかし部１３は、非ＲＯＩ対応部分３７の低周波成分をぼかす処理である低周波ぼかし処理を、取得した第１画像データ２１に対して行う。

すなわち、低周波ぼかし部１３は、第１画像データ２１において、低周波成分ＬＬに含まれ、且つ、非ＲＯＩ対応部分３７に含まれるデータに対して、ぼかし処理を行う。

低周波ぼかし処理は、例えば、ぼけ作用素を有したフィルタを利用すればよい。そのようなフィルタとして、ローパスフィルタが例示される。より具体的には、平滑化フィルタ（平均化フィルタとも称される）およびガウシアンフィルタが例示される。

平滑化フィルタによれば、ウエーブレット平面における注目位置（注目画素と表現してもよい）のデータと当該注目位置の周辺のデータとを平均し、得られた平均値を当該注目位置のデータに採用する。図１７に示す３×３の平滑化フィルタのぼけ作用素によれば、注目位置および周辺位置のデータにそれぞれ所定レート（ここでは１／９）を乗算し、それらの乗算値を合算することになる。また、図１８に示す５×５の平滑化フィルタのぼけ作用素では、上記所定レートが１／２５となる。

一般的な画像では、近くに位置する画素の輝度差は小さく、画素間の距離が大きくなるほど輝度差が大きくなることが多い。かかる点に鑑みれば、注目画素からの距離に応じて重み付けをしてもよい。そのような重み付けとしてガウス分布を利用可能である。ガウス分布は次式で表される。

ガウシアンフィルタでは、ガウス分布による重み付けが上記所定レートとして利用される。このため、上記式中のσの値が小さいほど平滑化の効果は小さくなり、逆にσの値が大きいほど平滑化の効果は大きくなる。図１９に３×３のガウシアンフィルタのぼけ作用素を示し、図２０に５×５のガウシアンフィルタのぼけ作用素を示す。

低周波ぼかし処理は、平滑化フィルタ等のいわゆるフィルタとは異なる構成を用いて、行うことも可能である。低周波成分ＬＬについて例示すると、低周波成分ＬＬを更に再帰的にウエーブレット変換し、得られた画像データのうちの高周波成分に対して高周波カット処理を行い、その後、逆ウエーブレット変換を行う処理を、低周波ぼかし処理として適用してもよい。なお、ＷＴ部１１と高周波カット部１２とＩＷＴ部１４とを利用して、低周波ぼかし処理を行うことができる。かかる例の処理によれば、細部においてフィルタを利用するにしても、全体として見れば、平滑化フィルタ等のいわゆるフィルタとは構成が異なる。

なお、低周波ぼかし処理におけるウエーブレット変換の分解レベル（換言すれば、ウエーブレット変換および逆ウエーブレット変換の実行回数）は、原画像データ２０をウエーブレット変換する際の分解レベルとは独立に、設定可能である。また、低周波ぼかし処理で利用する高周波カット処理は、ＷＴ部１１から供給された画像データ２１に対する高周波カット処理と同じであってもよいし、異なっていてもよい。

低周波ぼかし処理が行われた後の（より具体的には、高周波カット処理および低周波ぼかし処理が行われた後の）第１画像データ２１は、第２画像データ２２として、ＩＷＴ部１４へ供給される。

ここで、図５の例では、ＩＷＴ部１４から、逆ウエーブレット変換後の第３画像データ２３が、低周波ぼかし部１３へ供給される。低周波ぼかし部１３は、画像データ２３に対しても同様に低周波ぼかし処理を行い、処理後の画像データ２２をＩＷＴ部１４へ出力する。

＜処理フロー＞
図２１に、画像処理装置１０における処理フロー（換言すれば画像処理方法）Ｓ５０のフローチャートを例示する。

処理フローＳ５０によれば、ステップＳ５１において、初期設定が行われる。例えば、原画像データ２０がＷＴ部１１に入力され、ウエーブレット変換の分解レベルの設定値がＷＴ部１１およびＲＯＩ展開部１５へ入力され、ＲＯＩ情報３０がＲＯＩ展開部１５へ入力される。但し、データ等は処理が実際に実行される前までに供給されればよい。ステップＳ５１の後、ステップＳ５２が行われる。

ステップＳ５２では、ＷＴ部１１が、原画像データ２０に対してウエーブレット変換を行う。ＷＴ部１１はステップＳ５２を、分解レベルの設定値で与えられる回数、繰り返す（図２１中のループ１を参照）。原画像データ２０は、設定された分解レベルまでウエーブレット変換が行われることによって、高周波カット部１２へ供給される第１画像データ２１になる。ステップＳ５２の後、ステップＳ５３が行われる。

ステップＳ５３では、ＲＯＩ展開部１５が、ＲＯＩ情報３０を第１画像データ２１に展開し、展開ＲＯＩ情報３５を生成する。なお、ここではステップＳ５３をステップＳ５２の後に実行するが、ステップＳ５３をステップＳ５２の前に実行してもよい。更には、ステップＳ５３をステップＳ５２と並行して実行してもよい。ステップＳ５３の後、ステップＳ５４が行われる。

ステップＳ５４では、高周波カット部１２が、ＷＴ部１１から第１画像データ２１を取得するとともにＲＯＩ展開部１５から展開ＲＯＩ情報３５を取得し、展開ＲＯＩ情報３５に基づいて第１画像データ２１に対して高周波カット処理を行う。ステップＳ５４の後、ステップＳ５５が行われる。

ステップＳ５５では、低周波ぼかし部１３が、高周波カット処理が行われた後の第１画像データ２１を高周波カット部１２から取得するとともに、ＲＯＩ展開部１５から展開ＲＯＩ情報３５を取得し、展開ＲＯＩ情報３５に基づいて第１画像データ２１に対して低周波ぼかし処理を行う。ステップＳ５５の後、ステップＳ５６が行われる。

ステップＳ５６では、ＩＷＴ部１４が、低周波ぼかし処理が行われた後の（より具体的には、高周波カット処理および低周波ぼかし処理が行われた後の）第１画像データ２１である第２画像データ２２を、低周波ぼかし部１３から取得し、当該第２画像データ２２に対して逆ウエーブレット変換を行う。

ここで、ステップＳ５６では、ＩＷＴ部１４は、逆ウエーブレット変換を１回行い（換言すれば、分解レベルを１段階、戻し）、得られた画像データを第３画像データ２３として低周波ぼかし部１３へ供給する。そして、低周波ぼかし部１３は、ＩＷＴ部１４から取得した第３画像データ２３に対して、展開ＲＯＩ情報３５に基づいて、低周波ぼかし処理を行う（ステップＳ５５）。すなわち、ステップＳ５５，Ｓ５６が繰り返される（図２１中のループ２を参照）。

より具体的には、分解レベルが３の場合（図１０参照）、まず低周波成分ＬＬ３に対して低周波ぼかし処理が行われ、低周波ぼかし処理後の低周波成分ＬＬ３と高周波カット処理後の高周波成分ＨＬ３，ＬＨ３，ＨＨ３とが合成される。かかる合成によって低周波成分ＬＬ２（図９参照）が生成され、分解レベルが２になる。

次に、低周波成分ＬＬ２に対して低周波ぼかし処理が行われ、低周波ぼかし処理後の低周波成分ＬＬ２と高周波カット処理後の高周波成分ＨＬ２，ＬＨ２，ＨＨ２とが合成される。かかる合成によって低周波成分ＬＬ１（図８参照）が生成され、分解レベルが１になる。

更に、低周波成分ＬＬ１に対して低周波ぼかし処理が行われ、低周波ぼかし処理後の低周波成分ＬＬ１と高周波カット処理後の高周波成分ＨＬ１，ＬＨ１，ＨＨ１とが合成される。かかる合成によって、分解レベルが０の画像データ２３が得られる。

分解レベル０の画像データ２３が得られた段階で、ステップＳ５５，Ｓ５６の繰り返しは終了する。すなわち、ステップＳ５５，Ｓ５６は、ステップＳ５１で設定された分解レベルの値と同じ回数、繰り返される。すなわち、ここでは、合成回数は分解回数と同じである。

なお、分解レベル２の低周波成分ＬＬ２に対して低周波ぼかし処理を行う際、低周波成分ＬＬ２用の展開ＲＯＩ情報３５（図２２参照）が必要になる。かかる点に関し、低周波成分ＬＬ２のサイズの展開ＲＯＩ情報３５は、分解レベル３の画像データ全体用の展開ＲＯＩ情報３５（図１４参照）を生成する途中で生成済みであるので、それを利用すればよい。あるいは、必要な時点で、ＲＯＩ展開部１５が、低周波成分ＬＬ２用の展開ＲＯＩ情報３５を生成してもよい。分解レベル１の低周波成分ＬＬ１用の展開ＲＯＩ情報３５（図２３参照）についても同様である。

ステップＳ５５，ステップＳ５６の繰り返しの後、生成された分解レベル０の画像データ２３が、ステップＳ５７において、ぼけ画像データ２９としてＩＷＴ部１４から出力される。

なお、ステップＳ５４では、第１画像データ２１中の全ての高周波成分（分解レベル３の場合、ＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１）に対して、非ＲＯＩ対応部分３７の高周波カット処理を行うものとした。但し、高周波カット処理は、ステップＳ５６での逆ウエーブレット変換までに行われればよい。例えば、高周波成分ＨＬ１，ＬＨ１，ＨＨ１に対する高周波カット処理は、分解レベル１から分解レベル０への逆ウエーブレット変換までに済んでいればよい。かかる点に鑑みると、ステップＳ５４の実行順序は上記例に限定されるものではない。例えば、ステップＳ５４は、ステップＳ５５の後に実行してもよいし、あるいは、他のステップと並行して実行してもよい。

＜効果等＞
画像処理装置１０および画像処理方法Ｓ５０によれば、図３に示したような、良質なぼけ画像が得られる。また、ウエーブレット変換の分解レベルの制御によって、ぼけ具合を容易に調整できる。図３は分解レベルの設定値が３である場合に対応する。図２４および図２５に分解レベルの設定値が６である場合のぼけ画像を示す。図２５は、図２４の画像に対して、図２と同様の明るさ調整を施した画像である。

ここで、比較のために、低周波ぼかし処理を行わない場合のぼけ画像を図２６および図２７に例示する。図２７は、図２６の画像に対して、図２と同様の明るさ調整を施した画像である。図２６および図２７によれば、花の領域と葉の領域との境界の外側（すなわち葉の領域側）、換言すればＲＯＩと非ＲＯＩの境界の外側（すなわち非ＲＯＩ側）において、図３および図４と比較してぼけ具合が弱くなっている。換言すれば、ぼけ具合が不自然になっている。これは、低周波分ＬＬ３のＲＯＩ対応部分３６の境界付近のデータが影響を及ぼしてしまうからである。したがって、低周波ぼかし処理の採用は有用である。

上記では低周波ぼかし処理と逆ウエーブレット変換とを交互に繰り返す例を説明した。これに対し、低周波ぼかし処理を少なくとも１回行えば、図２６の比較用画像よりも、自然なぼけ具合を実現できる。換言すれば、逆ウエーブレット変換後に低周波ぼかし処理を実行する回数は、分解レベルの設定値よりも少なくてもよい。また、その回数を制御することによって、ぼけ具合を調整できる。

低周波ぼかし処理と逆ウエーブレット変換との繰り返しに関する情報（具体的には、どの分解レベルまで戻った段階で低周波ぼかし処理を実行するのかに関する情報）は、例えば、ステップＳ５１において、図５中に点線矢印で示すようにＩＷＴ部１４に対して与えればよい。その情報に基づいて、ＩＷＴ部１４は、低周波ぼかし部１３へ画像データ２３を供給するのか、あるいは、そのようなデータ供給を行わずに逆ウエーブレット変換によって更に分解レベルを戻すのか、を判別可能である。

また、ＩＷＴ部１４において生成された分解レベル０の第３画像データ２３を、低周波ぼかし部１３へ再度、入力してもよい。この場合、分解レベル０の第３画像データ２３は、更に低周波ぼかし処理が施されて、出力画像データであるぼけ画像データ２９になる（図５中の鎖線矢印を参照）。この例によれば、演算量は増えるが、ＲＯＩと非ＲＯＩの界付近のぼけ具合を、よりなだらかにすることができる。

ところで、ＲＯＩ情報３０を画像データ２１に展開する際、非ＲＯＩ対応部分３７に対する高周波カット処理および低周波ぼかし処理が、逆ウエーブレット変換後の画像データ２３（ぼけ画像データ２９も含む）のうちのＲＯＩ対応部分３６に影響を及ぼさないという条件が満足されることが好ましい。当該条件を満足することによって、原画像に設定したＲＯＩ内にぼけが進入するのを防止できる。

かかる点に関し、図１３に例示したＲＯＩ情報３０では花びら上の影部分を非ＲＯＩに設定しているが、上記条件に従うと展開ＲＯＩ情報３５は図１４のようになる。すなわち、図１４から分かるように、上記の影部分に対応する非ＲＯＩ対応部分は、分解レベル２および分解レベル３の帯域成分用のサイズにおいて、サイズの縮小率よりも更に小さくなっている、あるいは、消失している。

また、図１５および図１６を用いて例示した展開手法によれば、上記条件に従ってＲＯＩ情報３０を画像データ２１に展開できる。なお、これらの例以外の手法によれば、第１画像データ２１中に、原画像中の或る画素との対応付けによればＲＯＩ対応部分３６になるが、原画像の他の画素との対応付けによれば非ＲＯＩ対応部分３７になってしまうデータが生じる場合がある。しかし、そのような場合でも、いずれかの画素との対応付けでＲＯＩ対応部分になるデータは、他の画素との対応付けに関わらず、ＲＯＩ対応部分に設定すればよい。

上記では逆ウエーブレット変換の実行回数（すなわち合成回数）が、ウエーブレット変換の実行回数（すなわち分解回数）が同じである例を説明した。この場合、ぼけ画像は原画像と同じサイズで生成される。

これに対し、合成回数は分解回数よりも少なくてもよい。この場合、ぼけ画像は合成回数に応じたサイズになる。例えば、分解回数が３回であり、合成回数が２回である場合、分解レベル１の低周波成分ＬＬ１（図８参照）をぼけ画像データ２９として出力可能であり、それにより原画像の１／４のサイズのぼけ画像が得られる。

このように、分解レベル０でない第３画像データ２３の低周波成分ＬＬを利用することによって、ぼけ画像のサイズを容易に調整できる。なお、ぼけ画像の出力サイズは例えば合成レベル（換言すれば合成回数）によって設定することができ、その設定値は例えば、ステップＳ５１において、図５中に破線矢印で示すようにＩＷＴ部１４に対して与えればよい。

さて、画像処理装置１０および画像処理方法Ｓ５０では、ウエーブレット変換された画像データを利用して、ぼけ画像を生成する。これに対して、原画像データのままで非ＲＯＩをぼかすことも考えられる。例えば、原画像の非ＲＯＩにぼけ作用素を有したフィルタをかけて生成したぼけ画像の一部分を、図２８に拡大して示す。また、画像処理装置１０および画像処理方法Ｓ５０によって生成したぼけ画像における同じ部分を図２９に示す。なお、図２９は、分解および合成の回数が１回の場合の画像である。

原画像のままぼけ作用素をかけると、ＲＯＩと非ＲＯＩの境界付近においてＲＯＩと非ＲＯＩの差が明確になるので、画像を拡大すると不自然になる（図２８参照）。このため、境界をぼかすフィルタが更に必要になってしまう。また、ぼけ具合を大きくするためには、フィルタのタップ数を大きくするか、ぼけ作用素を繰り返し適用することが考えられる。しかし、演算量が大きくなってしまう。また、原画像サイズのままでの演算すること自体、演算量が大きい。

このように、画像処理装置１０および画像処理方法Ｓ５０によれば、原画像のままぼかし処理を行う場合に比べて、良質なぼけ画像を得ることができる。

なお、画像処理装置１０は、例えば、デジタルシグナルプロセッサ（ＤＳＰ）として構成可能である。その場合、ＷＴ部１１等の各種要素の処理（換言すれば、その処理に対応した機能）を実現する回路が固定的に構成されていてもよい。あるいは、基本的な素子および回路を固定的に搭載しており、それらの利用形態がプログラマブルな構成であってもよい。

また、上記では画像処理方法Ｓ５０が画像処理装置１０において実行されるものとしたが、画像処理方法Ｓ５０は画像処理装置１０とは異なる構成の装置によって実行されてもよい。また、画像処理方法Ｓ５０は、ＣＰＵ（Central Processing Unit）が実行するプログラムとして、具現化することも可能である。

本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１０ 画像処理装置
１１ ウエーブレット変換部（ＷＴ部）
１２ 高周波カット部
１３ 低周波ぼかし部
１４ 逆ウエーブレット変換部（ＩＷＴ部）
１５ 関心領域展開部（ＲＯＩ展開部）
２０ 原画像データ
２１ 第１画像データ
２２ 第２画像データ
２３ 第３画像データ
２９ ぼけ画像データ（出力画像データ）
３０ ＲＯＩ情報
３１ ＲＯＩ
３２ 非ＲＯＩ
３５ 展開ＲＯＩ情報
３６ ＲＯＩ対応部分
３７ 非ＲＯＩ対応部分
Ｓ５０ 画像処理方法
Ｓ５１〜Ｓ５７ ステップ

Claims (20)

1. 原画像の一部分をぼかしてぼけ画像を生成する画像処理装置であって、
   原画像データに対してウエーブレット変換を行って、前記原画像データが所定の分解レベルまで低周波成分と高周波成分とに分解された第１画像データを生成する、ウエーブレット変換部と、
   前記原画像においてぼかさない領域としての関心領域（ＲＯＩ）とぼかす領域としての非関心領域（非ＲＯＩ）とが規定されたＲＯＩ情報を取得し、前記ＲＯＩ情報に基づき前記第１画像データに対して前記ＲＯＩに対応するＲＯＩ対応部分と前記非ＲＯＩに対応する非ＲＯＩ対応部分とを特定することによって、前記ＲＯＩ情報を前記第１画像データに展開する、ＲＯＩ展開部と、
   前記非ＲＯＩ対応部分の前記高周波成分をカットする高周波カット処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記高周波成分に対して行うが、前記低周波成分に対しては行わない、高周波カット部と、
   前記非ＲＯＩ対応部分の前記低周波成分をぼかす低周波ぼかし処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記低周波成分に対して行うが、前記高周波成分に対しては行わない、低周波ぼかし部と、
   前記高周波カット処理および前記低周波ぼかし処理が行われた後の前記第１画像データである第２画像データに対して、逆ウエーブレット変換を行って、第３画像データを生成する、逆ウエーブレット変換部と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記低周波ぼかし部は、前記逆ウエーブレット変換部から分解レベルが０でない前記第３画像データを少なくとも１回取得し、前記第３画像データに対して前記低周波ぼかし処理を行う、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記低周波ぼかし部は、前記逆ウエーブレット変換部から分解レベルが０の前記第３画像データを取得し、前記第３画像データに対して前記低周波ぼかし処理を行い、前記低周波ぼかし処理を行った後の前記第３画像データを前記ぼけ画像のデータとして出力する、画像処理装置。
4. 請求項１〜請求項３のうちのいずれか１項に記載の画像処理装置であって、
   前記逆ウエーブレット変換部は、分解レベルが０でない前記第３画像データの前記低周波成分を前記ぼけ画像のデータとして出力する、画像処理装置。
5. 請求項１〜請求項４のうちのいずれか１項に記載の画像処理装置であって、
   前記高周波カット処理は前記高周波成分のデータ値を０に設定する処理である、画像処理装置。
6. 請求項１〜請求項５のうちのいずれか１項に記載の画像処理装置であって、
   前記低周波ぼかし部は前記低周波ぼかし処理を行うためのフィルタを含む、画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記フィルタは平滑化フィルタまたはガウシアンフィルタである、画像処理装置。
8. 請求項１〜請求項７のうちのいずれか１項に記載の画像処理装置であって、
   前記ＲＯＩ展開部は、前記非ＲＯＩ対応部分に対する前記高周波カット処理および前記低周波ぼかし処理が、前記第３画像データのうちの前記ＲＯＩ対応部分に影響を及ぼさないという条件に従って、前記ＲＯＩ情報を前記第１画像データに対して展開する、画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記ウエーブレット変換部は、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタによって、前記ウエーブレット変換を行い、
   前記ＲＯＩ展開部は、
   前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目のデータと、前記高周波成分の側の｛ｎ−１｝番目およびｎ番目のデータとを、前記ＲＯＩ対応部分に設定し、
   前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータとを、前記ＲＯＩ対応部分に設定する、
   画像処理装置。
10. 請求項８に記載の画像処理装置であって、
    前記ウエーブレット変換部は、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタによって、前記ウエーブレット変換を行い、
    前記ＲＯＩ展開部は、
    前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝のデータとを、前記ＲＯＩ対応部分に設定し、
    前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータとを、前記ＲＯＩ対応部分に設定する、
    画像処理装置。
11. 請求項１〜１０のうちのいずれか１項に記載の画像処理装置であって、
    前記ウエーブレット変換部は９×７フィルタまたは５×３フィルタによって前記ウエーブレット変換を行う、画像処理装置。
12. 請求項１〜１１のうちのいずれか１項に記載の画像処理装置であって、
    前記逆ウエーブレット変換部は９×７フィルタまたは５×３フィルタによって前記逆ウエーブレット変換を行う、画像処理装置。
13. 原画像の一部分をぼかしてぼけ画像を生成する画像処理方法であって、
    （ａ）原画像データに対してウエーブレット変換を行って、前記原画像データが所定の分解レベルまで低周波成分と高周波成分とに分解された第１画像データを生成する、ステップと、
    （ｂ）前記原画像においてぼかさない領域としての関心領域（ＲＯＩ）とぼかす領域としての非関心領域（非ＲＯＩ）とが規定されたＲＯＩ情報を取得し、前記ＲＯＩ情報に基づき前記第１画像データに対して前記ＲＯＩに対応するＲＯＩ対応部分と前記非ＲＯＩに対応する非ＲＯＩ対応部分とを特定することによって、前記ＲＯＩ情報を前記第１画像データに展開する、ステップと、
    （ｃ）前記非ＲＯＩ対応部分の前記高周波成分をカットする高周波カット処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記高周波成分に対して行うが、前記低周波成分に対しては行わない、ステップと、
    （ｄ）前記非ＲＯＩ対応部分の前記低周波成分をぼかす低周波ぼかし処理を、前記第１画像データの前記非ＲＯＩ対応部分のうちで、前記低周波成分に対して行うが、前記高周波成分に対しては行わない、ステップと、
    （ｅ）前記高周波カット処理および前記低周波ぼかし処理が行われた後の前記第１画像データである第２画像データに対して、逆ウエーブレット変換を行って、第３画像データを生成する、ステップと
    を備える画像処理方法。
14. 請求項１３に記載の画像処理方法であって、
    前記ステップ（ｄ）では、前記ステップ（ｅ）で生成された分解レベルが０でない前記第３画像データを少なくとも１回取得し、前記第３画像データに対して前記低周波ぼかし処理を行う、画像処理方法。
15. 請求項１３または請求項１４に記載の画像処理方法であって、
    前記ステップ（ｄ）では、前記ステップ（ｅ）で生成された分解レベルが０の前記第３画像データを取得し、前記第３画像データに対して前記低周波ぼかし処理を行い、前記低周波ぼかし処理を行った後の前記第３画像データを前記ぼけ画像のデータとして提供する、画像処理方法。
16. 請求項１３〜請求項１５のうちのいずれか１項に記載の画像処理方法であって、
    前記ステップ（ｅ）では、分解レベルが０でない前記第３画像データの前記低周波成分を前記ぼけ画像のデータとして提供する、画像処理方法。
17. 請求項１３〜請求項１６のうちのいずれか１項に記載の画像処理方法であって、
    前記高周波カット処理は前記高周波成分のデータ値を０に設定する処理である、画像処理方法。
18. 請求項１３〜請求項１７のうちのいずれか１項に記載の画像処理方法であって、
    前記ステップ（ｂ）では、前記非ＲＯＩ対応部分に対する前記高周波カット処理および前記低周波ぼかし処理が、前記第３画像データのうちの前記ＲＯＩ対応部分に影響を及ぼさないという条件に従って、前記ＲＯＩ情報を前記第１画像データに対して展開する、画像処理方法。
19. 請求項１８に記載の画像処理方法であって、
    前記ステップ（ａ）では、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタによって、前記ウエーブレット変換を行い、
    前記ステップ（ｂ）は、
    （ｂ１）前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目のデータと、前記高周波成分の側の｛ｎ−１｝番目およびｎ番目のデータとを、前記ＲＯＩ対応部分に設定するステップと、
    （ｂ２）前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側のｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータとを、前記ＲＯＩ対応部分に設定するステップと
    を含む画像処理方法。
20. 請求項１８に記載の画像処理方法であって、
    前記ステップ（ａ）では、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタによって、前記ウエーブレット変換を行い、
    前記ステップ（ｂ）は、
    （ｂ１）前記原画像の２ｎ番目（ｎは整数）の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目および｛ｎ＋１｝のデータとを、前記ＲＯＩ対応部分に設定するステップと、
    （ｂ２）前記原画像の｛２ｎ＋１｝番目の画素が前記ＲＯＩに含まれる場合、前記低周波成分の側の｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータと、前記高周波成分の側の｛ｎ−２｝番目、｛ｎ−１｝番目、ｎ番目、｛ｎ＋１｝番目および｛ｎ＋２｝番目のデータとを、前記ＲＯＩ対応部分に設定するステップと
    を含む画像処理方法。

Images