WO2008032545A1 - Dispositif de traitement d'image, procédé de traitement d'image et programme - Google Patents

Description

明 細 書

画像処理装置、画像処理方法、及び、プログラム

技術分野

[0001] 本発明は、画面内において任意に設定された基準点を中心として原画像を変形す る画像処理装置、画像処理方法、及びプログラムに関する。

本出願は、 日本国において 2006年 9月 13日に出願された日本特許出願番号 200 6— 248617号を基礎として優先権を主張するものであり、この出願は参照することに より、本出願に援用される。

背景技術

[0002] 従来から、カメラのレンズに装着してレンズ内に入射する光を制限する光学フィルタ が用いられている。光学フィルタは、一般的に透過光の波長領域を制限する用途とし て用いられる。このような用途以外にも、光学フィルタには、画面内に設定された基準 点から離れるのに伴って被写体を変形させる効果（以下、特殊効果と呼ぶ。）を与え る手段として用いられるものもある。このような特殊効果には、基準点から離れるのに 伴って放射状に流れるように被写体を変形させる効果 (以下、ズーミング変形効果と 呼ぶ。）や、基準点から離れるのに伴って螺旋状に流れるように被写体を変形させる 効果（以下、サイクロン変形効果と呼ぶ。）を与えるものがある。このような特殊効果を 与える光学フィルタ（以下、特殊効果用光学フィルタと呼ぶ。）は、一般的に上述した 基準点が画面内の中心点となるように設計されているため、画面内の任意の位置を 基準点として上述したような特殊効果を与えることができない。また、特殊効果用光 学フィルタは、特殊効果を与える場合にのみ、カメラのレンズに装着する必要がある。 また、特殊効果用光学フィルタをカメラのレンズに装着して撮像した画像は、画面全 体に亘つて解像度が劣化してしまう。

また、コンピュータでは、画像処理ソフトウェアを実行して、上述した特殊効果用光 学フィルタをカメラのレンズに装着せずに撮像された画像であっても、撮像された画 像データに対して同様の特殊効果を与えることができる。このような画像処理ソフトゥ エアでは、処理対象の画像に対して、画面内の任意の位置を基準点として設定して 特殊効果を与えることができる。具体的には、このような画像処理ソフトウェアは、画 像データを、基準点を中心として拡大率が異なる複数の拡大画像に変換する。そし て、画像処理ソフトウェアでは、未処理の画像データに、複数の拡大画像を重ね合わ せることで、ズーミング変形効果を原画像に与えて!/、る。

ズーミング変形効果を含め、基準点を中心として被写体を変形させる特殊効果を与 える画像処理では、デジタルカメラが備える演算処理プロセッサの処理能力の向上 によって、パーソナルコンピュータだけではなぐデジタルカメラでも行われるようにな つてきた。すなわち、デジタルカメラでは、その演算処理プロセッサの処理能力の向 上によって、単に撮像した画像を記録及び表示する処理だけでなぐ撮像した画像 に特殊効果を与える処理を行うことが比較的容易になってきた。一方、デジタルカメ ラは、高画質化の要求に応じた撮像画像の画素数の増加に伴って、画像データに 画像効果を与えるために必要な演算量も増加している。このため、デジタルカメラは、 パーソナルコンピュータに比べて処理能力が低いので、上述した演算量の増加に伴 つて演算速度も比較的遅くなつてしまうという問題がある。また、デジタルカメラでは、 主にバッテリ電源で駆動しているため、このような演算量の増加に応じて消費電力も 増加してしまい、駆動時間が短くなつてしまうという問題もある。

特公平 7— 113961号公報に記載の画像処理方法では、画面内において高輝度 の部分を検出してその部分の信号に所定の重み付けをしながら、所定の方向にずら して輝度信号成分を加算することで、特殊効果用の光学フィルタとして用いられてい るクロスフィルタ効果を画像に与えている。このような特公平 7— 113961号公報に記 載の画像処理を用いて、各画素の画素値を基準点を中心として拡大させる方向に複 数ずらして足し合わせば、擬似的にズーミング変形効果を撮像画像に与えることがで きる。し力、しながら、このような画像処理方法を用いてズーミング変形効果を撮像画像 に与える場合には、上述した高輝度点を抽出する処理や加算処理の処理量が撮像 画像の画素数に応じて増加してしまう。さらに、このような画像処理方法では、高輝度 として抽出されなかった画素に関しては処理対象とならない。このため、このような画 像処理方法では、抽出されなかった画素から構成される領域に対してズーミング変 形効果を与えることができなレ、。 発明の開示

発明が解決しょうとする課題

本発明は、このような実情に鑑みて提案されたものであり、少ない演算量で、画面 内に設定された原画像の基準点から離れるのに伴って被写体を大きく変形させる特 殊効果を撮像画像に与える画像処理装置、画像処理方法、及び画像処理プロダラ ムを提供することを技術課題とする。

上述したような技術課題を解決するために提案される本発明の一実施の形態は、 原画像に対して、その画面内において任意に選択された基準点を含む第 1の画像 領域と、この第 1の画像領域を除く画面内の第 2の画像領域とを設定する第 1の設定 手段と、上記原画像を、その画像データの画素を間引いて、縮小する縮小手段と、 上記縮小手段により縮小された縮小画像に対して、上記原画像の基準点に対応す る縮小画像の基準点と、上記第 1の画像領域に対応する第 1の縮小画像領域と、上 記第 2の画像領域に対応する第 2の縮小画像領域とを設定する第 2の設定手段と、 上記縮小手段により縮小された縮小画像のうち、上記第 2の設定手段で設定された 上記第 2の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って 大きく変形させる変形手段と、上記変形手段によって画像が変形された上記第 2の 縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補 間して、上記第 2の画像領域に伸張する伸張手段と、上記伸張手段で第 2の画像領 域に伸張された画像データと、上記第 1の画像領域を構成する上記原画像の画像デ 一タとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の 画像データを出力する合成手段とを備える画像処理装置である。

また、本発明の他の実施の形態は、原画像に対して、その画面内において任意に 選択された基準点を含む第 1の画像領域と、この第 1の画像領域を除く第 2の画像領 域とを設定し、上記原画像を、その画像データの画素を間引いて縮小し、上記縮小 した縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上 記第 1の画像領域に対応する第 1の縮小画像領域と、上記第 2の画像領域に対応す る第 2の縮小画像領域とを設定し、上記縮小した縮小画像のうち、上記設定した第 2 の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形 させ、上記変形させた上記第 2の縮小画像領域の画像データを、その画像データを 構成する各画素間の画素値を補間して、上記第 2の画像領域に伸張し、上記伸張し た上記第 2の画像領域を構成する画像データと、上記第 1の画像領域を構成する上 記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大 きく変形した画像の画像データを出力する画像処理方法である。

また、本発明の他の実施の形態は、原画像に対して、その画面内において任意に 選択された基準点を含む第 1の画像領域と、この第 1の画像領域を除く第 2の画像領 域とを設定する第 1の設定工程と、上記原画像を、その画像データの画素を間引い て縮小する縮小工程と、上記縮小工程で縮小した縮小画像に対して、上記原画像の 基準点に対応する縮小画像の基準点と、上記第 1の画像領域に対応する第 1の縮小 画像領域と、上記第 2の画像領域に対応する第 2の縮小画像領域とを設定する第 2 の設定工程と、上記縮小工程で縮小した縮小画像のうち、上記第 2の設定工程で設 定した第 2の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って 大きく変形させる変形工程と、上記変形工程で変形した上記第 2の縮小画像領域の 画像データを、その画像データを構成する各画素間の画素値を補間して、上記第 2 の画像領域に伸張する伸張工程と、上記伸張工程で伸張した上記第 2の画像領域 を構成する画像データと、上記第 1の画像領域を構成する上記原画像の画像データ とを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画 像データを出力する合成工程とを有する画像処理をコンピュータに実行させるプログ ラムである。

本発明は、原画像に対して、第 1の画像領域と第 2の画像領域とからなる 2つの画 像領域を設定し、第 2の画像領域に対応する第 2の縮小画像領域に対してのみ変形 処理を施して第 2の画像領域に伸張し、伸張した第 2の画像領域の画像データと、第 1の画像領域を構成する原画像の画像データとを合成することで原画像の基準点か ら離れるのに伴って大きく変形した画像の画像データを出力する。

このように、本発明は、変形処理による変化が比較的小さい第 1の画像領域に対し て変形処理を行わないので、原画像を変形させるのに必要となる処理量を低減する こと力 Sできる。また、本発明は、第 1の画像領域の解像度を原画像と同様の解像度に 保持しつつ、第 2の画像領域に対してのみ変形処理を施した画像のデータを出力す ること力 Sでさる。

本発明のさらに他の技術課題、本発明によって得られる具体的な利点は、以下に おいて図面を参照して説明される実施の形態から一層明らかにされるであろう。 図面の簡単な説明

[0004] [図 1]図 1は、デジタルカメラの構成を示すブロック図である。

[図 2]図 2Aは原画像を示す図であり、図 2Bは原画像 P1に対してズーミング変形効 果を与えた画像を示す図である。

[図 3]図 3は、ズーミング変形効果を施すために演算処理部が備える処理部の構成を 示すブロック図である。

[図 4]図 4Aは原画像 P1を示す図であり、図 4Bはこの原画像 P1に対して間引き処理 を施して縮小した縮小画像 P2を示す図である。

[図 5]図 5Aは縮小画像 P2を示す図であり、図 5Bは縮小画像 P2に拡大処理を施した 拡大画像 P2— 1 , P2- 2, P2- 3, P2— 4を示す図であり、図 5Cは縮小画像 P2に 拡大画像 P2— 1 , P2- 2, P2- 3, P2— 4を重ね合わせた縮小画像 P3を示す図で ある。

[図 6]図 6Aは縮小画像 P3を示す図であり、図 6Bは縮小画像に対して伸張処理を施 した特殊効果画像 P4を示す図である。

[図 7]図 7Aは双線形補間処理を行うか否力、を判断する判断処理を模式的に示す図 であり、図 7Bは双線形補間処理を模式的に示す図である。

[図 8]図 8は、演算処理部において、原画像 P1に対してズーミング変形効果を施す処 理工程を示すフローチャートである。

発明を実施するための最良の形態

[0005] 以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に 説明する。

本実施形態に係るデジタルカメラ 100は、図 1に示すように、光学レンズ 110と、撮 像素子 120と、 A/D変換部 130と、信号処理部 140と、ノ ッファメモリ 150と、記録 媒体 160と、表示部 170と、演算処理部 180と、入力部 190とからなる。 光学レンズ 110は、図示しない開口部を介して被写体からの光を撮像素子 120に 集光させる。

撮像素子 120は、光学レンズ 110によって集光された光を受光して電気信号に変 換する。そして、撮像素子 120は、変換した電気信号を A/D変換部 130に供給す る。なお、撮像素子 120は、 CCD構造でも C— MOS構造でもよぐいずれの構造に 限定されるものではない。

A/D変換部 130は、撮像素子 120から供給される電気信号をアナログ形式から デジタル形式に変換して信号処理部 140に供給する。

信号処理部 140は、 A/D変換部 130から供給されるデジタル形式の電気信号に 所定の信号処理を施して、画像データに変換する。具体的には、信号処理部 140は 、デジタル形式の電気信号に、ホワイトバランス、ガンマ補正、輝度色差変換などの 信号処理を施して画像データに変換する。信号処理部 140は、信号処理により変換 された画像データをバッファメモリ 150に供給する。

ノ ッファメモリ 150は、信号処理部 140から供給される画像データを一時的に記憶 し、記憶している画像データを記録媒体 160、表示部 170、及び演算処理部 180へ 供給する。

記録媒体 160は、バッファメモリ 150から供給される画像データを記録する。また、 記録媒体 160は、記録した画像データをバッファメモリ 150へ読み出す処理も行う。 表示部 170は、バッファメモリ 150から供給される画像データを表示する。また、表 示部 170は、デジタルカメラ 100で撮像された画像を表示する以外に、デジタルカメ ラ 100を操作するための GUI (Graphic User Interface)画面の表示も行う。

演算処理部 180は、デジタルカメラ 100が備える各処理部の動作を制御する。具体 的には、演算処理部 180は、被写体の撮像、画像データの記録、及び画像データの 表示などを含めデジタルカメラ 100全体の動作を制御する。

入力部 190は、ユーザがデジタルカメラ 100に対して操作入力を行うユーザインタ フェースとして用いられる。例えば、入力部 190は、表示部 170に表示された GUI画 面に従ってユーザから操作を受けて、この操作入力に応じた動作命令を演算処理部 180に供給する。 また、デジタルカメラ 100は、演算処理部 180が、被写体を撮像した画像データに 対して所定の画像効果を与える処理を行う。このような処理を行う場合、演算処理部 180は、処理対象の画像データを、記録媒体 160からバッファメモリ 150に読み出さ せる。そして、演算処理部 180は、バッファメモリ 150に読み出された画像データに対 して所定の画像効果を与える処理を施す。その後、演算処理部 180は、処理対象の 画像データに対する処理が終了すると、処理済みの画像データをバッファメモリ 150 を介して記録媒体 160や表示部 170に供給させる。このように、デジタルカメラ 100は 、画像データの記録処理、及び画像データの表示処理に加えて、画像データに所定 の画像効果を与える画像処理も行う。なお、デジタルカメラ 100では、記憶媒体 160 に記憶された画像データのみならず、撮像直後バッファメモリ 150に記憶されている 画像データに対して、記憶媒体 160への記憶処理を行う前に、演算処理部 180が所 定の画像効果を与えるようにしてもょレ、。

本実施形態では、上述したデジタルカメラ 100が行う画像処理のうち、撮像された 画像データに対してその画面内に設定された基準点から離れるのに伴って被写体を 大きく変形させる特殊効果を、記録媒体 160に記録された画像データに与える画像 処理に注目して以下のとおり説明する。

このような特殊効果を与える 1例を図 2に示す。具体的には、図 2Aに示す処理対象 の画像（以下、原画像という。）に対して、図 2Bに示すような基準点 Aから離れるのに 伴って放射状に流れるように変形させる画像効果（以下、ズーミング変形効果と呼ぶ 。）を与える処理について説明する。

デジタルカメラ 100では、上述した特殊効果を原画像に与えるために、演算処理部 180が次に示すような処理部を備えている。演算処理部 180は、図 3に示すように、 画像領域設定部 181と、縮小処理部 182と、特殊効果処理部 183と、画サイズ変換 部 184とを備える。

画像領域設定部 181は、図 4Aに示すように、原画像 P1に対して、その画面内の基 準点 Aを中心として半径 Rの円内を第 1の画像領域とし、この第 1の画像領域を除く 画面内の領域を第 2の画像領域として設定する。ここで、基準点 Aは、原画像 P1の 画面内における任意の位置であって、例えば、表示部 170に表示された原画像 P1 に対して、ユーザが入力部 190を操作して設定される点である。同様にして、半径 R も、その大きさがユーザによって任意に設定される。なお、基準点 A及び半径 Rは、 上述したようにユーザの操作入力によって設定される場合に限らず、例えば、基準点 A及び半径 Rをそれぞれ固定してもよい。そして、画像領域設定部 181は、原画像 P 1の画像データと画像領域に関する情報とを、縮小処理部 182及び画サイズ変換部 184にそれぞれ供給する。

縮小処理部 182は、画像領域設定部 181から供給される原画像 P 1の画像データ を、その画像データを構成する画素の画素値を均等に間引いて、図 4Bに示すような 縮小画像 P2に変換する。その後、縮小処理部 182は、縮小画像 P2の画像データを 、特殊効果処理部 183に供給する。ここで、図 4Bに示されている基準点 A'は、原画 像 P 1の基準点 Aを、縮小画像 P2の画面上に写像した対応点である。同様に図 4B に示されている半径 R'は、原画像 P 1の半径 Rを、この原画像 P 1に対する縮小画像 P2の縮小率で縮小した値である。なお、縮小処理部 182では単に原画像 P 1を縮小 画像 P2に変換する処理を行うため、基準点 A'及び半径 R'は、特殊効果処理部 18 3で算出される。

特殊効果処理部 183は、縮小処理部 182から供給される縮小画像 P2の画像デー タに対して後述するズーミング変形効果を与える特殊効果処理を施し、処理後の縮 小画像 P3の画像データを画サイズ変換部 184に供給する。

図 5は、特殊効果処理部 183が行う処理を模式的に示す図である。

特殊効果処理部 183は、図 5Aに示す縮小画像 P2のうち、第 2の縮小画像領域を 、図 5Bに示すような、 4種類の異なる拡大率 α 1 , α 2, α 3, α 4 ( α 1 < α 2 < α 3 < α 4)によってそれぞれ拡大した拡大画像 Ρ2— 1 , Ρ2 - 2, Ρ2— 3, Ρ2— 4に変換 する。ここで、縮小画像 Ρ2の画面内から写像される範囲は、拡大画像 P2— 1 , Ρ2 - 2, Ρ2— 3, Ρ2— 4のうち、図に示す破線部分で囲まれる範囲である。なお、本実施 形態では、拡大処理による効果を模式的に示すために、破線部分で囲まれている領 域外の便宜的に示している。

特殊効果処理部 183は、拡大画像 Ρ2— 1 , Ρ2 - 2, Ρ2— 3, Ρ2— 4を重ね合わせ て、図 5Cに示すように、基準点 A'から離れるのに伴って放射状に流れる縮小画像 Ρ 3に変換する。

なお、特殊効果処理部 183では、縮小画像 P2に対して重ね合わせる拡大画像の 数が上述した 4つの画像に限定されるものではなぐ所望とするズーミング変形効果 に応じて重ね合わせる拡大画像の数を任意に選択することとする。

以上では、画面単位での特殊効果処理部 183に関する処理内容を示したが、この ような処理内容を具体的に実行するための処理として、画素単位で行う処理内容に 注目して説明する。

特殊効果処理部 183は、原画像 P 1の基準点 A及び半径 Rに対応する縮小画像 P 2の基準点 A'及び半径 R'をそれぞれ算出する。特殊効果処理部 183は、縮小画像 P2の画像データから、第 1の画像領域に対応する縮小画像領域 (以下、第 1の縮小 画像領域と呼ぶ。）と、第 2の画像領域に対応する縮小画像領域 (以下、第 2の縮小 画像領域と呼ぶ。）に分けるため、次に示す判断処理を、縮小画像 P2を構成する全 ての画素に対して行う。特殊効果処理部 183は、縮小画像 P2を構成する各画素に 対して、その画面内の位置が基準点 A'を中心とした半径 R'からなる円の領域内（図 5に示された各縮小画像のうち、格子模様で示される画像領域)であるか否かを判断 する。この判断処理において、特殊効果処理部 183は、判断対象の画素が、この円 内にあると判断すると第 1の縮小画像領域を構成する画素と判断し、また、この円外 にあると判断すると第 2の縮小画像領域を構成する画素であると判断する。

特殊効果処理部 183は、第 1の縮小画像領域にあると判断した画素の輝度値を 0 に設定する。また、特殊効果処理部 183は、第 2の縮小画像領域にあると判断した画 素の画素値 q (X0, Y0)から、縮小画像 P3を構成する画素の画素値 q (X, Y)を算出 する。ここで、（XO, Y0)は、縮小画像 P2の第 2の縮小画像領域にあると判断された 処理対象画像の座標を示す。また、（X, Y)は、縮小画像 P3の座標を示す。具体的 な処理内容については次に示す。

まず、特殊効果処理部 183は、以下の（1 )式に示す関数 Fを用いて、座標 (XO, Y 0)、基準点 A'の座標 (Xc, Yc)、拡大率 α 1、及び回転角度 Θをそれぞれ入力して 、拡大処理後の縮小画像 Ρ2の位置を示す座標 (XI , Y1 )を出力する。

(XI , Yl ) = F (X0, Y0, Xc, Yc , a l , θ ) · · · (；!)式 なお、拡大処理後の座標 (XI, Y1)の各成分は、それぞれ以下に示す（2)式及び（ 3)式で与えられる。

Xl=Xc+ (l/a l) X { (X0-Xc) Xcos Θ — (YO—Yc) Xsin 0 }

••• (2)式

Yl=Yc+ (l/a l) X { (X0-Xc) Xsin 0 + (YO—Yc) Xcos Θ }

••• (3)式

ここで、ズーミング変形効果を与える特殊効果処理では、基準点を中心として放射 方向に流れるように画像を変形させるので拡大処理のみを行う。よって、特殊効果処 理部 183は、ズーミング変形効果を与えるため、回転角度 Θの値を常に 0[rad]に設 定するものとする。なお、特殊効果処理部 183は、回転角度 Θの値を適当な値に設 定することによって、基準点から離れるとともに螺旋状に流れるような効果（以下、サイ クロン変形効果と呼ぶ。 )を原画像に与えることができる。

特殊効果処理部 183は、座標 (XO, Y0)に対して、上述した拡大率 α 1を含め合 計 4種類の拡大率 α ΐ, α 2, α 3, α 4 ( α 1 < α 2< α 3< α 4)を設定して、上述し た関数 Fを用いて拡大処理をそれぞれ施して、拡大処理後の縮小画像 P2の位置を 示す座標（XI, Yl), (X2, Y2), (X3, Y3), (X4, Y4)を算出する。

特殊効果処理部 183は、算出した座標（XI, Yl), (X2, Y2), (X3, Y3) , (X4, Y4)に対応する縮小画像 P2の画素を参照する。ここで、特殊効果処理部 183は、こ れらの座標に対して最近傍に位置する縮小画像 P2の画素を参照するものとする。特 殊効果処理部 183は、参照した画素の画素値をそれぞれ読み出して、これらの画素 の画素値を、 _q(Xl, Yl), q(X2, Y2) , q(X3, Υ3) , q(X4, Υ4)とする。ここで、上 述した最近傍の位置を参照する手法では、他の代替手法に比べて処理量が少な!/、 が、解像度が比較的大きく劣化する。しかしながら、基準点から十分に離れた画像領 域では、ズーミング変形効果を施した結果、その画像領域の解像度が大きく低下す る。よって、特殊効果処理部 183は、上述したように最近傍の位置を参照することで、 画質の劣化を考慮することなぐ他の代替手法に比べて演算量を低減することができ 続いて、特殊効果処理部 183は、以下に示す（4)式を用いて、縮小画像 Ρ3の画素 の画素値 q (X, Y)を算出する。

q (X, Y) = {q (X0, Y0) +q (Xl , Yl) +q (X2, Y2) +q (X3, Y3) +q (X4, Y4) } /5 · ' · (4)式

特殊効果処理部 183は、第 2の縮小画像領域として判断された全ての画素に対し て（1)式から（4)式に示した処理を行い、第 1の縮小画像領域を構成する画素の輝 度値を 0に設定した第 1の縮小画像領域と、ズーミング変形効果を施した第 2の縮小 画像領域とからなる縮小画像 Ρ3の縮小画像データを、画サイズ変換部 184に供給 する。

以上のように特殊効果処理部 183では、縮小画像 Ρ2のうち、第 1の縮小領域に対 して図 5に示すようなズーミング変形効果を与える処理を施さない。これは、ズーミン グ変形効果を与える画像処理を第 1の縮小画像領域に施しても、次に示すように、第 2の縮小画像領域に比べて、処理前に対する画像の変化が小さ!/、からである。

第 1の縮小画像領域を構成する各画素から基準点までの距離は、第 2の縮小画像 領域の各画素から基準点までの距離に比べて短い。このため、拡大処理前後の座 標位置の変化は、第 2の縮小画像領域に比べて第 1の縮小画像領域の方が小さい。 したがって、ズーミング変形効果を与える処理以前の画素値と（4)式によって算出さ れた画素値との間での変化を比べても、第 2の縮小画像領域に比べて第 1の縮小画 像領域の方が小さい。

このように、特殊効果処理部 183は、ズーミング変形効果の小さい第 1の縮小画像 領域の処理を行わな!/、ので、縮小画像を構成する全ての画素に対してズーミング変 形効果を与える処理を行う場合に比べて、演算処理量を低減することができる。この ため、特殊効果処理部 183は、従来に比べて、原画像を変形させるのに必要となる 処理量を低減することができる。

画サイズ変換部 184は、図 6Αに示すように、特殊効果処理部 183から供給される 縮小画像 Ρ3の画像データから第 2の縮小画像領域のみに後述する双線形補間処 理を施して、縮小画像 Ρ3を原画サイズまで伸張する。画サイズ変換部 184は、双線 形補間によって伸張処理が施された第 2の画像領域に相当する画像データと、画像 領域設定部 181から供給される原画像の画像データのうち第 1の画像領域（図中の 格子模様で示される画像領域)を構成する画像データとを合成して、図 6Bに示すよ うな、原画サイズの特殊効果画像 P4に変換する。

すなわち、画サイズ変換部 184は、特殊効果処理部 183から供給される縮小画像 P3のうち、第 2の縮小画像領域のみの画素を用いて補間処理を行い、それ以外の領 域に関しては原画像 P1の画像データを用いる。このため、画サイズ変換部 184は、 次に示す判断処理を行う。

画サイズ変換部 184は、まず、特殊効果画像 P4のうち、補間対象となる各画素（以 下、補間対象画素と呼ぶ。）の座標に対応する縮小画像 P3の座標を算出する。次に 、画サイズ変換部 184は、算出された縮小画像 P3の座標の周囲に位置する 4つの画 素を参照画素として使用するか否力、を判断する。

具体的には、画サイズ変換部 184は、図 7Aに示すように、これら 4個の参照画素の うち、少なくとも 1個以上輝度値が 0であるか否かを判断する。ここで、図 7Aにおいて 点線で示される参照画素は輝度値が 0以外の画素であり、図 7Aにおいて園で示さ れる参照画素は輝度値が 0の画素である。この判断処理によって、画サイズ変換部 1 84は、参照画素のうち、少なくとも 1個以上の輝度値が 0であると判断すると、これら の参照画素に対応し、図 7Aの斜線で示される領域の補間対象画素の画素値を、そ の画素位置に対応する原画像 P1の画像データの値に設定する。また、画サイズ変 換部 184は、輝度値が全て 0でないと判断された参照画素に対応し、図 7Aの斜線で 示される領域外の補間対象画素を、縮小画像 P3を構成する画素の画素値から双線 形補間によって算出する。画サイズ変換部 184は、縮小画像 P3の画像データよりも 原画像 P1の画像データを優先的に用いて、特殊効果画像 P4を構成する画素の画 素値を設定する。したがって、画サイズ変換部 184は、第 1の画像領域と第 2の画像 領域との境界近傍の画素の輝度値が 0になることなく上述した合成処理を行うことが できる。

次に、画サイズ変換部 184が行う双線形補間処理の処理内容に関して、図 7Bを参 照して詳細に説明する。

画サイズ変換部 184は、図 7Bに示すように、補間対象画素 zを、その周囲に位置す る 4つの参照画素から補間する。これら 4つの画素は、補間対象画素 zに対して左斜 め上、右斜め上、左斜め下、右斜め下に位置する画素をそれぞれ a, b, c, dとする。 また、補間対象画素 zを結ぶ垂直延長上と、画素 a, bを結ぶ水平線とが交わる位置 の画素 zlとし、画素 aから画素 zlまでの距離と画素 zlから画素 bまでの距離との比を x: (1 X) (0≤χ≤1)とする。同様に、補間対象画素 ζを結ぶ垂直延長上と、画素 c, dを結ぶ水平線とが交わる位置の画素 ζ2とすると、画素 cから画素 ζ2までの距離と画 素 ζ2から画素 dまでの距離との比は、 X： (l—x)となる。さらに、画素 zlから画素 _zまで の距離と画素 zから画素 z2までの距離との比を、 y: (1-y) (0≤y≤l)とする。

画サイズ変換部 184では、まず、以下に示す（5)式から画素 zlの画素値 P(zl)を、 (6)式から画素値 P(z2)をそれぞれ算出する。なお、画素 a, b, c, dの画素値はそれ ぞれ p(a), p(b), p(c), p(d)とする。

p(zl) = (l-x) Xp(a)+xXp(b) ·'·(5)式

p(z2) = (l-x) Xp(c)+xXp(d) ··· )式

そして、画サイズ変換部 184は、（5)式及び（6)式からの算出結果を用いて、（7)式 から補間対象画素 zの画素値 P (z)を算出する。

p(z) = (l-y) Xp(zl)+yXp(z2) ·'·(7)式

画サイズ変換部 184は、上述した処理を特殊効果画像 Ρ4を構成する全ての画素 に対して行う。

以上のようにして、画サイズ変換部 184は、双線形補間によって伸張処理が施され た第 2の画像領域に相当する画像データと、画像領域設定部 181から供給される原 画像データのうち第 1の画像領域を構成する画像データとを合成して、原画サイズの 特殊効果画像 Ρ4に変換して、記録媒体 160や表示部 170に供給する。

次に、上述した演算処理部 180が備える各処理部のうち、特殊効果処理部 183及 び画サイズ変換部 184による処理工程に関して、図 8に示すフローチャートを参照し て説明する。なお、本処理工程は、演算処理部 180が画像処理プログラムに従って 、各処理部を制御することによって実行される。

まず、本処理工程の前提として、画像領域設定部 181は、原画像 P1の画像データ に対して、基準点 Αを中心とした半径 Rの円内の第 1の画像領域と、この円外の第 2 の画像領域とを設定しているものとする。また、縮小処理部 182は、原画像 P1の画像 データを縮小画像 P2の画像データに変換して、この縮小画像 P2の画像データを特 殊効果処理部 183に供給しているものとして、以下に示す処理工程が開始される。 ステップ S11において、特殊効果処理部 183は、原画像 P1の基準点 A及び半径 R に対応する縮小画像 P2の基準点 A'及び半径 R'をそれぞれ算出する。

ステップ S12において、特殊効果処理部 183は、縮小処理部 182から供給された 縮小画像 P2の画像データから、その画面内の左上端に位置する画素を処理対象画 素として設定する。

ステップ S13において、特殊効果処理部 183は、処理対象画素の位置が基準点 A 'を中心とした半径 R'からなる円内にあるか否かを判断する。具体的には、特殊効果 処理部 183は、処理対象画素の座標位置と基準点 A'の座標位置との距離の二乗が 、半径 Rの二乗の値以上であるか否かによって判断する。ここで、特殊効果処理部 1 83は、この距離の二乗の値が半径 Rの二乗の値以上であると判断するとステップ S 1 4へ進み、この距離の二乗の値が半径 Rの二乗の値未満であると判断するとステップ S 15へ進む。

ステップ S14において、特殊効果処理部 183は、現在の処理対象画素の輝度値を 0に設定する。その後、特殊効果処理部 183は、ステップ S 16に進む。

ステップ S15において、特殊効果処理部 183は、現在の処理対象画素に対して、 ( 1)乃至（4)式に示したズーミング変形効果を与える処理を施して、縮小画像 P3を構 成する画素の画素値を算出する。その後、特殊効果処理部 183は、ステップ S16に 進む。

ステップ S16において、特殊効果処理部 183は、現在の処理対象画素の位置が、 画面内の右下端であるか否かを判断する。特殊効果処理部 183は、現在の処理対 象画素の位置が画面内の右下端であると判断すると、ステップ S17に進む。特殊効 果処理部 183は、現在の処理対象画素の位置が画面内の右下端でないと判断する と、次の処理対象画素の位置を画面の走査方向に 1画素分移動させてステップ S 13 に戻る。

ステップ S16が終了すると、本処理工程は、特殊効果処理部 183が行う処理から画 サイズ変換部 184が行う処理へ移行する。 ステップ S17において、画サイズ変換部 184は、補間対象画素の位置を、原画サイ ズの画面上の左上端部に設定する。

ステップ S18において、画サイズ変換部 184は、現在の補間対象画素に対応する 4 つの参照画素のうち、輝度値が 0である画素が 1つ以上あるか否かを判断する。画サ ィズ変換部 184は、これらの参照画素のうち輝度値が 0であるものが 1つ以上あると判 断すると、ステップ S 19に進む。画サイズ変換部 184は、これらの参照画素のうち、輝 度値が 0であるものがないと判断するとステップ S20に進む。

ステップ S19において、画サイズ変換部 184は、補間対象画素の画素値を、その補 間対象画素に対応する原画像 P1の画素の画素値に設定する。その後、画サイズ変 換部 184はステップ S21に進む。

ステップ S20において、画サイズ変換部 184は、補間対象画素を、この補間対象画 素に対応する参照画素の画素値を用いて上述した双線形補間処理を施す。その後 、画サイズ変換部 184はステップ S 21に進む。

ステップ S21において、画サイズ変換部 184は、現在の処理対象画素が画面内に おける右下端部に位置するか否かを判断する。画サイズ変換部 184は、現在の処理 対象ブロックが画面内の右下端部に位置すると判断すると本処理工程を終了する。 また、画サイズ変換部 184は、現在の補間対象画素が画面内の右下端部に位置し ていないと判断すると、次の処理対象画素の位置を画面を走査する方向に、 1画素 分移動させてステップ S 18に戻る。

以上のように、演算処理部 180は、画像処理プログラムに従って、第 2の画像領域 に対応する第 2の縮小画像領域に対してのみ変形処理を施して第 2の画像領域に伸 張し、伸張した第 2の画像領域の画像データと、第 1の画像領域を構成する原画像 の画像データとを合成することで原画像の基準点から離れるのに伴って大きく変形し た画像の画像データを出力する。

よって、演算処理部 180は、特殊効果画像 P4における第 1の画像領域の解像度を 、原画像 P1と同様の解像度に保持しつつ、特殊効果画像 P4における第 2の画像領 域に対してのみズーミング変形効果を与えることができる。

なお、本実施形態では、特殊効果の一例として原画像に対してズーミング変形効 果を与える処理に注目して説明した力 S、これに限定されるものではなぐ基準点を中 心としてこの基準点から離れるにつれて螺旋状に流れる効果を原画像に与える特殊 効果を含め、基準点を中心として変化させる特殊効果を原画像に与えることができる 以上のように、演算処理部 180は、第 2の画像領域に比べて変化が少ない第 1の画 像領域に対して、特殊効果を施さない。このため、演算処理部 180は、原画像全体 を自然に変形させつつ、全体としての演算処理量を低減することができる。さらに、こ のような演算処理部 180を備えるデジタルカメラ 100では、このような演算処理量の 低減によって、バッテリ駆動の際に動作時間を長くすることができる。

なお、本発明は、以上の実施形態のみに限定されるものではなぐ本発明の要旨を 逸脱しない範囲内において種々の変更が可能であることは勿論である。

Claims

請求の範囲

[1] 1.原画像に対して、その画面内において任意に選択された基準点を含む第 1の画 像領域と、この第 1の画像領域を除く画面内の第 2の画像領域とを設定する第 1の設 定手段と、

上記原画像を、その画像データの画素を間引いて、縮小する縮小手段と、 上記縮小手段により縮小された縮小画像に対して、上記原画像の基準点に対応す る縮小画像の基準点と、上記第 1の画像領域に対応する第 1の縮小画像領域と、上 記第 2の画像領域に対応する第 2の縮小画像領域とを設定する第 2の設定手段と、 上記縮小手段により縮小された縮小画像のうち、上記第 2の設定手段で設定され た上記第 2の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴つ て大きく変形させる変形手段と、

上記変形手段によって画像が変形された上記第 2の縮小画像領域の画像データを 、その画像データを構成する各画素間の画素値を補間して、上記第 2の画像領域に 伸張する伸張手段と、

上記伸張手段で第 2の画像領域に伸張された画像データと、上記第 1の画像領域 を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れる のに伴って大きく変形した画像の画像データを出力する合成手段とを備える画像処 理装置。

[2] 2.上記変形手段は、上記第 2の縮小画像領域を構成する上記縮小画像の画像デ ータと、この第 2の縮小画像領域の画像に対して拡大、又は、拡大及び回転のいず れかの一方の処理を施した画像データとを重ね合わせて、上記第 2の縮小画像領域 を変形させることを特徴とする請求の範囲第 1項記載の画像処理装置。

[3] 3.原画像に対して、その画面内において任意に選択された基準点を含む第 1の画 像領域と、この第 1の画像領域を除く第 2の画像領域とを設定し、

上記原画像を、その画像データの画素を間引いて縮小し、

上記縮小した縮小画像に対して、上記原画像の基準点に対応する縮小画像の基 準点と、上記第 1の画像領域に対応する第 1の縮小画像領域と、上記第 2の画像領 域に対応する第 2の縮小画像領域とを設定し、 上記縮小した縮小画像のうち、上記設定した第 2の縮小画像領域の画像を、上記 縮小画像の基準点から離れるのに伴って大きく変形させ、

上記変形させた上記第 2の縮小画像領域の画像データを、その画像データを構成 する各画素間の画素値を補間して、上記第 2の画像領域に伸張し、

上記伸張した上記第 2の画像領域を構成する画像データと、上記第 1の画像領域 を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れる のに伴って大きく変形した画像の画像データを出力する画像処理方法。

4.原画像に対して、その画面内において任意に選択された基準点を含む第 1の画 像領域と、この第 1の画像領域を除く第 2の画像領域とを設定する第 1の設定工程と 上記原画像を、その画像データの画素を間引いて縮小する縮小工程と、 上記縮小工程で縮小した縮小画像に対して、上記原画像の基準点に対応する縮 小画像の基準点と、上記第 1の画像領域に対応する第 1の縮小画像領域と、上記第

2の画像領域に対応する第 2の縮小画像領域とを設定する第 2の設定工程と、 上記縮小工程で縮小した縮小画像のうち、上記第 2の設定工程で設定した第 2の 縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形さ せる変形工程と、

上記変形工程で変形した上記第 2の縮小画像領域の画像データを、その画像デ ータを構成する各画素間の画素値を補間して、上記第 2の画像領域に伸張する伸張 工程と、

上記伸張工程で伸張した上記第 2の画像領域を構成する画像データと、上記第 1 の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準 点から離れるのに伴って大きく変形した画像の画像データを出力する合成工程とを 有する画像処理をコンピュータに実行させるプログラム。