JP5964937B2 - 画像処理方法、電子機器およびプログラム - Google Patents

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像方法およびプログラムに関する。

近年、デジタルカメラ等の撮像装置において、被写体および背景それぞれに対して互いに異なる画像処理を行う技術が知られている（特許文献１参照）。この技術では、画像のエッジを検出するエッジ検出処理を行うことによって、被写体および背景それぞれの領域を抽出し、この抽出した被写体および背景それぞれの領域に対して互いに異なる画像処理を行う。

特開２０１３−３９９０号公報

しかしながら、上述した特許文献１では、被写体および背景それぞれの領域に対してのみしか互いに異なる画像処理を行うことができなかった。このため、画像の表現の多様性からして、さらに豊富な画像情報を利用した、より表現力豊かな画像処理を行うことができる技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、被写体の距離に従って変化させられる画像処理を行うことができる撮像装置、撮像方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像して該被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出部と、前記撮像部が生成した前記画像データに対して、前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の遠近分布に従って前記複数の輪郭点で定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出部をさらに備え、前記特殊効果処理部は、前記距離算出部が算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って前記処理画像データを生成することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、焦点を調整可能な光学系を有するレンズ部と、前記輪郭検出部が検出した前記被写体の輪郭と前記距離算出部が算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定部と、をさらに備え、前記特殊効果処理部は、前記形状判定部が前記被写体の形状が同じであると判定した場合、前記処理画像データを生成することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記撮像部は、前記被写体の画像データを生成する撮像画素と、前記焦点を検出するための焦点データを生成する焦点検出用画素と、を有し、前記輪郭検出部は、前記画像データに含まれる輝度成分に基づいて、前記被写体の輪郭を検出し、前記距離算出部は、前記焦点データに基づいて、前記距離を算出することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記輪郭検出部は、前記画像データの輝度成分を抽出する輝度抽出部と、前記輝度抽出部が抽出した前記輝度成分に基づいて、前記画像データのコントラストを検出するコントラスト検出部と、前記画像データに対応する画像に対して、前記コントラスト検出部が検出した互いに異なるコントラストのピークで挟まれた領域を判定する領域判定部と、を有し、前記特殊効果処理部は、前記領域判定部が判定した前記領域に対して、前記画像処理を行って前記処理画像データを生成することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像を表示可能な表示部と、前記画像内における所定の位置を指示する指示信号の入力を受け付ける入力部と、をさらに備え、前記領域判定部は、前記入力部が入力を受け付けた前記指示信号に対応する位置が前記領域内であるか否かを判定することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、焦点を調整可能な光学系を有するレンズ部と、前記光学系を該光学系の光軸に沿って移動させることによって、焦点位置を変更する撮像制御部と、をさらに備え、前記入力部は、前記表示部の表示画面上に重畳して設けられ、外部からの接触を検出し、この検出した位置に応じた位置信号の入力を受け付けるタッチパネルであり、前記撮像制御部は、前記タッチパネルから入力される前記位置信号の変化に応じて、前記光学系を移動させて焦点位置を変更し、前記領域判定部は、前記光学系が移動する毎に、前記指示信号に対応する位置が前記領域内であるか否かを判定することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記特殊効果処理部は、前記画像データに対して、複数の画像処理を組み合わせることにより、視覚的な効果を生じさせる特殊効果処理を行って前記処理画像データを生成することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記特殊効果処理で組み合わされる画像処理は、ぼかし処理、シェーディング追加処理、ノイズ重畳処理、彩度変更処理およびコントラスト強調処理のいずれか１つ以上であることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記特殊効果処理部は、前記距離算出部が算出した前記距離に基づいて、前記画像データに対応する画像上にテキストデータ、図形データおよび記号データのいずれか１つ以上を重畳する特殊効果処理を行って前記処理画像データを生成することを特徴とする。

また、本発明にかかる撮像方法は、被写体を撮像して該被写体の画像データを生成する撮像装置が実行する撮像方法であって、前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、前記画像データに対して、当該撮像装置から前記被写体の輪郭を構成する複数の輪郭点の遠近分布に従って前記複数の輪郭点で決まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理ステップと、を含むことを特徴とする。

また、本発明にかかる撮像方法は、被写体を撮像して該被写体の画像データを生成する撮像装置が実行する撮像方法であって、前記画像データに対応する画像内を複数の領域毎に分割する分割ステップと、前記分割ステップで分割した複数の領域の各々の奥行き方向の位置変化情報を取得する取得ステップと、前記分割ステップで分割された前記複数の領域の各々に対して、前記取得ステップで取得した前記位置変化情報に従った画像処理を行って処理画像データを生成する生成ステップと、を含むことを特徴とする。

また、本発明にかかるプログラムは、被写体を撮像して該被写体の画像データを生成する撮像装置に、前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、前記画像データに対して、当該撮像装置から前記被写体の輪郭を構成する複数の輪郭点の各々までの奥行きに応じて定まる領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理ステップと、を実行させる。

本発明によれば、被写体の距離情報を有効利用した画像処理を行うことができるという効果を奏する。

図１は、本発明の実施の形態１にかかる撮像装置の被写体に面する側の構成を示す斜視図である。 図２は、本発明の実施の形態１にかかる撮像装置の撮影者に面する側の構成を示す斜視図である。 図３は、本発明の実施の形態１にかかる撮像装置の機能構成を示すブロック図である。 図４は、本発明の実施の形態１にかかる撮像装置の特殊効果処理部が行う特殊効果処理の概要を示す図である。 図５は、本発明の実施の形態１にかかる撮像装置が実行する処理の概要を示すフローチャートである。 図６は、本発明の実施の形態１にかかる撮像装置の表示部が表示する画像の一例を示す図である。 図７は、図５の距離アート処理の概要を示すフローチャートである。 図８は、本発明の実施の形態１にかかる撮像装置の形状判定部による互いに異なる距離の対象物の形状を判定する判定方法の概要を説明する模式図である。 図９は、本発明の実施の形態１にかかる撮像装置の形状判定部が判定する画像の一例を示す図である。 図１０は、本発明の実施の形態１にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図１１は、本発明の実施の形態１にかかる撮像装置の特殊効果処理部が生成した別の処理画像データに対応する画像の一例を示す図である。 図１２は、本発明の実施の形態１にかかる撮像装置のタッチパネルを介して被写体を選択する際の状況を示す模式図である。 図１３は、本発明の実施の形態２にかかる撮像装置の機能構成を示すブロック図である。 図１４は、本発明の実施の形態２にかかる撮像装置が実行する距離アート処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態２にかかる撮像装置の特殊効果処理部が文字を重畳する画像の一例を示す図である。 図１６は、本発明の実施の形態２にかかる撮像装置の特殊効果処理部による被写体の輪郭内に対して文字を重畳する際の文字の割当方法の概要を説明する模式図である。 図１７は、本発明の実施の形態２にかかる撮像装置の特殊効果処理部による文字の大きさの調整を説明する模式図である。 図１８は、本発明の実施の形態２にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図１９は、本発明の実施の形態３にかかる撮像装置の機能構成を示すブロック図である。 図２０は、本発明の実施の形態３にかかる撮像装置が実行する距離アート処理の概要を示すフローチャートである。 図２１は、本発明の実施の形態３にかかる撮像装置の領域判定部によるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図２２は、本発明の実施の形態３にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図２３Ａは、本発明の実施の形態３にかかる撮像装置の領域判定部によるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図２３Ｂは、本発明の実施の形態３にかかる撮像装置の領域判定部によるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図２３Ｃは、本発明の実施の形態３にかかる撮像装置の領域判定部によるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図２４は、本発明の実施の形態３にかかる撮像装置の特殊効果処理部が生成した別の処理画像データに対応する画像の一例を示す図である。 図２５は、本発明の実施の形態４にかかる撮像装置が実行する距離アート処理の概要を示すフローチャートである。 図２６は、本発明の実施の形態４にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図２７は、本発明の実施の形態５にかかる撮像装置の機能構成を示すブロック図である。 図２８は、本発明の実施の形態５にかかる撮像装置が実行する処理の概要を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の被写体に面する側（前面側）の構成を示す斜視図である。図２は、本発明の実施の形態１にかかる撮像装置の撮影者に面する側（背面側）の構成を示す斜視図である。図３は、本発明の実施の形態１にかかる撮像装置の機能構成を示すブロック図である。

図１〜図３に示す撮像装置１は、本体部２と、本体部２に着脱自在であり、被写体像を結像する光学ズーム可能なレンズ部３と、を備える。

まず、本体部２について説明する。本体部２は、シャッタ２０１と、シャッタ駆動部２０２と、撮像素子２０３と、撮像素子駆動部２０４と、信号処理部２０５と、Ａ／Ｄ変換部２０６と、画像処理部２０７と、ＡＥ処理部２０８と、ＡＦ処理部２０９と、画像圧縮展開部２１０と、入力部２１１と、アクセサリ通信部２１２と、接眼表示部２１３と、アイセンサ２１４と、可動部２１５と、背面表示部２１６と、タッチパネル２１７と、回動判定部２１８と、状態検出部２１９と、時計２２０と、記録媒体２２１と、メモリＩ／Ｆ２２２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２３と、Ｆｌａｓｈメモリ２２４と、本体通信部２２５と、バス２２６と、本体制御部２２７と、を備える。

シャッタ２０１は、撮像素子２０３の状態を露光状態または遮光状態に設定する。シャッタ２０１は、フォーカルプレーンシャッタ等の機械式のシャッタを用いて構成される。

シャッタ駆動部２０２は、本体制御部２２７から入力される指示信号に応じてシャッタ２０１を駆動する。シャッタ駆動部２０２は、ステッピングモータやＤＣモータ等を用いて構成される。

撮像素子２０３は、レンズ部３が集光した光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元的に配列されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子２０３は、本体制御部２２７の制御のもと、所定のフレームレート、たとえば３０ｆｐｓで連続的に画像データを生成して信号処理部２０５へ出力する。また、撮像素子２０３は、撮像装置１が位相差検出方式によって被写体までの距離を検出する測距処理および、レンズ部３の焦点を調整する像面位相差ＡＦ処理を行う際に用いられる焦点信号（以下「焦点データ」という）を生成するＡＦ画素２０３ａ（焦点検出用画素）と、撮像面に被写体像を受光して電気信号（以下、「画像データ」という）を生成する撮像画素２０３ｂと、を有する。

ＡＦ画素２０３ａは、フォトダイオードや増幅回路等を用いて構成され、撮像素子２０３の撮像面に所定の間隔および所定の領域内に設けられる。たとえば、ＡＦ画素２０３ａは、撮像素子２０３の受光面におけるＡＦ領域または中央領域に所定の間隔で設けられる。

撮像画素２０３ｂは、フォトダイオード（photodiode）や増幅回路等を用いて構成される。撮像画素２０３ｂは、レンズ部３から入射された被写体像を受光して光電変換を行うことによって画像データを生成する。

撮像素子駆動部２０４は、所定のタイミングで撮像素子２０３から画像データ（アナログ信号）および焦点データ（アナログ信号）を信号処理部２０５へ出力させる。この意味で、撮像素子駆動部２０４は、電子シャッタとして機能する。

信号処理部２０５は、撮像素子２０３から入力される画像データおよび焦点データに対して、アナログ処理を施してＡ／Ｄ変換部２０６へ出力する。たとえば、信号処理部２０５は、画像データに対して、リセットノイズ等を低減した上で波形整形後、目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２０６は、信号処理部２０５から入力されるアナログの画像データおよび焦点データに対してＡ／Ｄ変換を行うことによってデジタルの画像データ（ＲＡＷデータ）および焦点データを生成し、バス２２６を介してＳＤＲＡＭ２２３へ出力する。なお、本実施の形態１では、撮像素子２０３、信号処理部２０５およびＡ／Ｄ変換部２０６が撮像部として機能する。

画像処理部２０７は、基本画像処理部２０７ａと、輪郭検出部２０７ｂと、距離算出部２０７ｃと、焦点位置取得部２０７ｄと、形状判定部２０７ｅと、特殊効果処理部２０７ｆと、を有する。

基本画像処理部２０７ａは、バス２２６を介してＳＤＲＡＭ２２３から画像データ（ＲＡＷデータ）を取得し、取得した画像データに対して各種の画像処理を行う。具体的には、画像処理部２０７は、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。たとえば、基本画像処理部２０７ａは、予め設定された各画像処理のパラメータに基づいて、画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。なお、画像処理部２０７は、撮像素子２０３がベイヤー配列の場合には画像データの同時化処理を行う。画像処理部２０７は、バス２２６を介して処理画像データをＳＤＲＡＭ２２３または背面表示部２１６へ出力する。

輪郭検出部２０７ｂは、撮像素子２０３が生成した画像データに対応する画像内における被写体の輪郭を検出する。具体的には、輪郭検出部２０７ｂは、画像データの輝度成分を抽出し、この抽出した輝度成分に対して２次微分の絶対値を算出することによって、被写体の輪郭（コントラスト）を構成する複数の輪郭点を検出する。なお、輪郭検出部２０７ｂは、画像データに対してエッジ検出処理を行うことによって、被写体の輪郭を構成する輪郭点を検出してもよい。さらに、輪郭検出部２０７ｂは、画像データに対して周知の技術を用いて画像内における被写体の輪郭を検出してもよい。

距離算出部２０７ｃは、撮像素子２０３から輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点の少なくとも一部までの距離を算出する。具体的には、距離算出部２０７ｃは、ＡＦ画素２０３ａが生成した焦点データに基づいて、輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点の少なくとも一部までの距離を算出する。たとえば、距離算出部２０７ｃは、ＡＦ画素２０３ａが生成した焦点データに基づいて、輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点のうちの２点の距離を算出する。なお、距離算出部２０７ｃは、レンズ部３のフォーカスレンズ３０７が光軸Ｏに沿って焦点位置を中心に微小な幅で往復移動するＷｏｂ駆動される毎に、被写体の輪郭を構成する複数の輪郭点それぞれの距離を算出してもよい。

焦点位置取得部２０７ｄは、後述するレンズ部３のフォーカスレンズ３０７の焦点位置を取得する。具体的には、焦点位置取得部２０７ｄは、後述するレンズ部３のフォーカス位置検出部３０９が検出したフォーカスレンズ３０７の光軸Ｏ上における位置を取得する。

形状判定部２０７ｅは、輪郭検出部２０７ｂが検出した被写体の輪郭と距離算出部２０７ｃが算出した距離とに基づいて、レンズ部３の光軸Ｏに沿って（奥行き方向）被写体の形状が同じであるか否かを判定する。また、形状判定部２０７ｅは、レンズ部３の光軸Ｏに沿って被写体の輪郭の幅が一定の範囲内で連続しているか否かを判定する。

特殊効果処理部２０７ｆは、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせる特殊効果処理を行って処理画像データを生成する。特殊効果処理で組み合わされる画像処理は、たとえば、ぼかし処理、シェーディング追加処理、ノイズ重畳処理、彩度変更処理およびコントラスト強調処理のいずれか１つ以上である。また、特殊効果処理部２０７ｆは、１つの画像データに対して、撮像素子２０３から被写体の輪郭を構成する複数の輪郭点の遠近分布に従って被写体を構成する複数の輪郭点で決まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する。ここで、複数の輪郭点の遠近分布とは、距離算出部２０７ｃによって算出された被写体の輪郭を構成する複数の輪郭点の各々までの距離（撮像装置１の視野内で撮像装置１から遠ざかる奥行き方向の距離）の分布である。即ち、特殊効果処理部２０７ｆは、距離算出部２０７ｃによって算出された被写体の輪郭を構成する複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って処理画像データを生成する。

図４は、特殊効果処理部２０７ｆが行う特殊効果処理の概要を示す図である。図４では特殊効果処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらの特殊効果処理について説明する。

ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、たとえばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周辺部（周縁部）に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。

ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、たとえば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周辺部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。

トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、たとえばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、たとえば特開２０１０−７４２４４号公報を参照）。

ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、たとえばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、たとえば特開２０１０−６２８３６号公報を参照）。このうち、ノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、たとえば乱数などを発生させ、この乱数に基づいて生成してもよい。

ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、たとえば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。

図３に戻り、撮像装置１の構成の説明を続ける。
ＡＥ処理部２０８は、バス２２６を介してＳＤＲＡＭ２２３に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１が静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部２０８は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値、シャッタ速度、ＩＳＯ感度等を決定することで撮像装置１の自動露出を行う。

ＡＦ処理部２０９は、バス２２６を介してＳＤＲＡＭ２２３に記録された焦点データを取得し、取得した焦点データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、ＡＦ処理部２０９は、焦点データに基づいて、被写体までの測距演算処理を行うことによってレンズ部３のデフォーカス量を算出し、この算出結果に従って撮像装置１の自動焦点の調整を行う位相差ＡＦ処理（像面位相差ＡＦ方式）を行う。なお、ＡＦ処理部２０９は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理（コントラストＡＦ方式）を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行ってもよい。さらに、ＡＦ処理部２０９は、瞳分割位相差法を用いて撮像装置１の自動焦点の調整を行ってもよい。

画像圧縮展開部２１０は、バス２２６を介してＳＤＲＡＭ２２３から画像データや処理画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをメモリＩ／Ｆ２２２を介して記録媒体２２１へ出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部２１０は、バス２２６およびメモリＩ／Ｆ２２２を介して記録媒体２２１に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２２３へ出力する。

入力部２１１は、撮像装置１の電源状態をオン状態またはオフ状態に切り替える電源スイッチ２１１ａと、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズスイッチ２１１ｂと、撮像装置１の各種設定を切り替える操作スイッチ２１１ｃと、撮像装置１の各種設定を背面表示部２１６に表示させるメニュースイッチ２１１ｄと、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画スイッチ２１１ｅと、記録媒体２２１に記録された画像データに対応する画像を背面表示部２１６に表示させる再生スイッチ２１１ｆと、を有する。レリーズスイッチ２１１ｂは、外部からの押圧により進退可能であり、半押しされた場合に撮影準備動作を指示する指示信号のファーストレリーズ信号の入力を受け付ける一方、全押しされた場合に静止画撮影を指示するセカンドレリーズ信号の入力を受け付ける。

アクセサリ通信部２１２は、本体部２に装着される外部機器との通信を行うための通信インターフェースである。

接眼表示部２１３は、本体制御部２２７の制御のもと、バス２２６を介してＳＤＲＡＭ２２３に記録された画像データに対応するライブビュー画像または再生画像を表示する。この意味で、接眼表示部２１３は、電子ビューファインダ（ＥＶＦ）として機能する。接眼表示部２１３は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルおよび駆動ドライバ等を用いて構成される。

アイセンサ２１４は、接眼表示部２１３に対するユーザ（物体）の接近を検出し、この検出結果を本体制御部２２７へ出力する。具体的には、アイセンサ２１４は、ユーザが接眼表示部２１３で画像を確認しているか否かを検出する。アイセンサ２１４は、接触センサや赤外線センサ等を用いて構成される。

可動部２１５は、背面表示部２１６およびタッチパネル２１７が設けられ、ヒンジ２１５ａを介して可動可能に本体部２に設けられる。たとえば、可動部２１５は、本体部２の鉛直方向に対して背面表示部２１６が上向き、または下向きに変更可能に本体部２に設けられる（図２を参照）。

背面表示部２１６は、本体制御部２２７の制御のもと、バス２２６を介してＳＤＲＡＭ２２３に記録された画像データまたは記録媒体２２１に記録された画像データを取得し、取得した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体２２１に記録された画像データを再生する再生表示、および撮像素子２０３が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。背面表示部２１６は、液晶または有機ＥＬからなる表示パネルおよび駆動ドライバ等を用いて構成される。また、背面表示部２１６は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。なお、本実施の形態１では、接眼表示部２１３または背面表示部２１６が表示部として機能する。

タッチパネル２１７は、背面表示部２１６の表示画面上に重畳して設けられる。タッチパネル２１７は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を本体制御部２２７へ出力する。また、タッチパネル２１７は、ユーザが背面表示部２１６で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置１が行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル２１７としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。さらに、可動部２１５、背面表示部２１６およびタッチパネル２１７は、一体的に形成してもよい。

回動判定部２１８は、可動部２１５の回動状況を判定し、この検出結果を本体制御部２２７へ出力する。たとえば、回動判定部２１８は、本体部２に対して可動部２１５が可動しているか否かを判定し、この判定結果を本体制御部２２７へ出力する。

状態検出部２１９は、加速度センサおよびジャイロセンサを用いて構成され、撮像装置１に生じる加速度および角速度をそれぞれ検出し、この検出結果を本体制御部２２７へ出力する。

時計２２０は、計時機能および撮影日時の判定機能を有する。時計２２０は、撮像素子２０３によって撮像された画像データに日時データを付加するため、日時データを本体制御部２２７へ出力する。

記録媒体２２１は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２２１は、メモリＩ／Ｆ２２２を介して撮像装置１に着脱自在に装着される。記録媒体２２１には、画像処理部２０７や画像圧縮展開部２１０が処理を施した画像データが書き込まれる。また、記録媒体２２１は、本体制御部２２７によって記録された画像データが読み出される。

ＳＤＲＡＭ２２３は、バス２２６を介してＡ／Ｄ変換部２０６から入力される画像データ、画像処理部２０７から入力される画像データおよび撮像装置１の処理中の情報を一時的に記録する。たとえば、ＳＤＲＡＭ２２３は、信号処理部２０５、Ａ／Ｄ変換部２０６およびバス２２６を介して撮像素子２０３が１フレーム毎に順次出力する画像データを一時的に記録する。ＳＤＲＡＭ２２３は、揮発メモリを用いて構成される。

Ｆｌａｓｈメモリ２２４は、プログラム記録部２２４ａを有する。プログラム記録部２２４ａは、撮像装置１を動作させるための各種プログラムや本実施の形態１にかかるプログラムおよびプログラムの実行中に使用される各種データおよび画像処理部２０７による画像処理の動作に必要な各画像処理のパラメータ、および図４に示した特殊効果処理部２０７ｆによる特殊効果処理の画像処理の組み合わせ等を記録する。Ｆｌａｓｈメモリ２２４は、不揮発性メモリを用いて構成される。

本体通信部２２５は、本体部２に装着されるレンズ部３との通信を行うための通信インターフェースである。

バス２２６は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２２６は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部に転送する。

本体制御部２２７は、ＣＰＵ（Central Processing Unit）等を用いて構成される。本体制御部２２７は、入力部２１１からの指示信号またはタッチパネル２１７からの位置信号に応じて撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。

本体制御部２２７の詳細な構成について説明する。本体制御部２２７は、撮像制御部２２７ａと、表示制御部２２７ｂと、を有する。

撮像制御部２２７ａは、レリーズスイッチ２１１ｂからレリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部２０２の駆動によって撮像素子２０３が出力した画像データに対し、信号処理部２０５、Ａ／Ｄ変換部２０６および画像処理部２０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部２２７ａの制御のもと、画像圧縮展開部２１０で圧縮され、バス２２６およびメモリＩ／Ｆ２２２を介して記録媒体２２１に記録される。

表示制御部２２７ｂは、画像データに対応する画像を背面表示部２１６および／または接眼表示部２１３に表示させる。具体的には、表示制御部２２７ｂは、接眼表示部２１３の電源がオン状態である場合、画像データに対応するライブビュー画像を接眼表示部２１３に表示させる一方、接眼表示部２１３の電源がオフ状態である場合、画像データに対応するライブビュー画像を背面表示部２１６に表示させる。

以上の構成を有する本体部２に対して、音声入出力機能、フラッシュ機能および外部と双方向に通信可能な通信機能等を具備させてもよい。

次に、レンズ部３について説明する。レンズ部３は、ズームレンズ３０１と、ズーム駆動部３０２と、ズーム位置検出部３０３と、絞り３０４と、絞り駆動部３０５と、絞り値検出部３０６と、フォーカスレンズ３０７と、フォーカス駆動部３０８と、フォーカス位置検出部３０９と、レンズ操作部３１０と、レンズＦｌａｓｈメモリ３１１と、レンズ通信部３１２と、レンズ制御部３１３と、を備える。

ズームレンズ３０１は、一または複数のレンズを用いて構成される。ズームレンズ３０１は、レンズ部３の光軸Ｏ上に沿って移動することにより、撮像装置１の光学ズームの倍率を変更する。たとえば、ズームレンズ３０１は、焦点距離が１２ｍｍ〜５０ｍｍの間で焦点距離を変更することができる。

ズーム駆動部３０２は、ＤＣモータまたはステッピングモータ等を用いて構成され、レンズ制御部３１３の制御のもと、ズームレンズ３０１を光軸Ｏ上に沿って移動させることにより、撮像装置１の光学ズームの変更を行う。

ズーム位置検出部３０３は、フォトインタラプタ等を用いて構成され、光軸Ｏ上におけるズームレンズ３０１の位置を検出し、この検出結果をレンズ制御部３１３へ出力する。

絞り３０４は、ズームレンズ３０１が集光した光の入射量を制限することにより露出の調整を行う。

絞り駆動部３０５は、ステッピングモータ等を用いて構成され、レンズ制御部３１３の制御のもと、絞り３０４を駆動することにより、撮像装置１の絞り値（Ｆ値）を変更する。

絞り値検出部３０６は、フォトインタラプタやエンコーダ等を用いて構成され、絞り３０４の現在の状況から絞り値を検出し、この検出結果をレンズ制御部３１３へ出力する。

フォーカスレンズ３０７は、一または複数のレンズを用いて構成される。フォーカスレンズ３０７は、レンズ部３の光軸Ｏ上に沿って移動することにより、撮像装置１の焦点位置を変更する。なお、本実施の形態１では、ズームレンズ３０１およびフォーカスレンズ３０７が光学系として機能する。

フォーカス駆動部３０８は、ＤＣモータやステッピングモータ等を用いて構成され、レンズ制御部３１３の制御のもと、フォーカスレンズ３０７を光軸Ｏに沿って移動させることにより、撮像装置１のピント位置を調整する。

フォーカス位置検出部３０９は、フォトインタラプタ等を用いて構成され、光軸Ｏ上におけるフォーカスレンズ３０７の位置を検出し、この検出結果をレンズ制御部３１３へ出力する。

レンズ操作部３１０は、図１に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの変更を指示する指示信号の入力またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３１０は、プッシュ式のスイッチやレバー式のスイッチ等であってもよい。

レンズＦｌａｓｈメモリ３１１は、ズームレンズ３０１、絞り３０４およびフォーカスレンズ３０７の位置および動きをそれぞれ決定するための制御プログラム、レンズ部３のレンズ特性および各種パラメータを記録する。ここで、レンズ特性とは、レンズ部３の色収差、画角情報、明るさ情報（ｆ値）および焦点距離情報（たとえば５０ｍｍ〜３００ｍｍ）である。

レンズ通信部３１２は、レンズ部３が本体部２に装着された際に、本体部２の本体通信部２２５と通信を行うための通信インターフェースである。

レンズ制御部３１３は、ＣＰＵ等を用いて構成される。レンズ制御部３１３は、レンズ操作部３１０からの指示信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３１３は、レンズ操作部３１０からの指示信号に応じて、フォーカス駆動部３０８を駆動させてフォーカスレンズ３０７によるピント調整やズーム駆動部３０２を駆動させてズームレンズ３０１の光学ズームのズーム倍率の変更を行う。なお、レンズ制御部３１３は、レンズ部３が本体部２に装着された際に、レンズ部３のレンズ特性およびレンズ部３を識別する識別情報を本体部２に送信してもよい。

以上の構成を有する撮像装置１が実行する処理について説明する。図５は、撮像装置１が実行する処理の概要を示すフローチャートである。

図５に示すように、まず、電源スイッチ２１１ａが操作された撮像装置１が起動した際に、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合において、撮像制御部２２７ａは、撮像素子駆動部２０４を駆動させることによって、撮像素子２０３に撮像させる（ステップＳ１０２）。

続いて、撮像装置１に距離アートが設定されている場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、撮像装置１から遠ざかる方向に沿って存在する被写体の距離毎に応じて特殊効果処理部２０７ｆによる特殊効果処理のパラメータを変更して特殊効果処理を画像データに実行させて処理画像データを生成する距離アート処理を実行する（ステップＳ１０４）。なお、距離アート処理の詳細な説明は後述する。これに対して、撮像装置１に距離アートが設定されていない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０５へ移行する。

続いて、表示制御部２２７ｂは、撮像素子２０３が撮像し、信号処理部２０５、Ａ／Ｄ変換部２０６および画像処理部２０７がそれぞれ所定の処理を行ったライブビュー画像データに対応するライブビュー画像を接眼表示部２１３または背面表示部２１６に表示させる（ステップＳ１０５）。この場合、表示制御部２２７ｂは、アイセンサ２１４が撮影者（物体）を検出した場合、ライブビュー画像を接眼表示部２１３に表示させる。たとえば、表示制御部２２７ｂは、図６に示すライブビュー画像ＬＶ₀を接眼表示部２１３に表示させる。なお、図６は、基本画像処理部２０７ａによる基本の画像処理が画像データに対して施された状態を示す。

その後、レリーズスイッチ２１１ｂから撮影を指示するレリーズ信号が入力された場合（ステップＳ１０６：Ｙｅｓ）、撮像制御部２２７ａは、撮影を実行する（ステップＳ１０７）。この場合において、撮像制御部２２７ａは、撮像装置１に距離アートが設定されているとき、後述する距離アート処理で設定された設定内容に応じた特殊効果処理を特殊効果処理部２０７ｆに実行させて生成させた処理画像データを記録媒体２２１に記録する。

続いて、電源スイッチ２１１ａが操作され、撮像装置１の電源がオフされた場合（ステップＳ１０８：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、電源スイッチ２１１ａが操作されず、撮像装置１の電源がオフされていない場合（ステップＳ１０８：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１０６において、レリーズスイッチ２１１ｂから撮影を指示するレリーズ信号が入力されていない場合（ステップＳ１０６：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１０１において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合において、撮像装置１が再生モードに設定されているとき（ステップＳ１０９：Ｙｅｓ）、撮像装置１は、記録媒体２２１に記録された画像データに対応する画像を背面表示部２１６または接眼表示部２１３に表示させる再生表示処理を実行する（ステップＳ１１０）。ステップＳ１１０の後、撮像装置１は、ステップＳ１０８へ移行する。

ステップＳ１０９において、撮像装置１が再生モードに設定されていないとき（ステップＳ１０９：Ｎｏ）、撮像装置１は、ステップＳ１０８へ移行する。

次に、図５のステップＳ１０４で説明した距離アート処理について詳細に説明する。図７は、距離アート処理の概要を示すフローチャートである。

図７に示すように、焦点位置取得部２０７ｄは、レンズ部３から現在の焦点位置を取得する（ステップＳ２０１）。

続いて、輪郭検出部２０７ｂは、ＳＤＲＡＭ２２３から画像データを取得し、取得した画像データに含まれる輝度成分を抽出し（ステップＳ２０２）、抽出した輝度成分に対して２次微分の絶対値を算出することによって、被写体の輪郭を検出する（ステップＳ２０３）。

続いて、距離算出部２０７ｃは、ＳＤＲＡＭ２２３に記憶されたＡＦ画素２０３ａによって生成された焦点データに基づいて、撮像装置１から輪郭検出部２０７ｂが検出した被写体の輪郭を構成する輪郭点までの距離を算出する（ステップＳ２０４）。具体的には、距離算出部２０７ｃは、ＡＦ画素２０３ａが生成した焦点データに基づいて、撮像素子２０３から輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点それぞれの距離を算出する測距算出処理を行う。なお、距離算出部２０７ｃは、フォーカスレンズ３０７が光軸Ｏ上を移動する毎に、被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離を算出してもよい。さらに、距離算出部２０７ｃは、フォーカスレンズ３０７が焦点位置を中心に微小な幅で往復するＷｏｂ駆動される毎に、被写体の輪郭を構成する輪郭点までの距離を算出してもよい。また、距離算出部２０７ｃは、被写体の輪郭を構成する複数の輪郭点のうち、少なくとも２つ以上の距離を算出すればよい。

その後、形状判定部２０７ｅは、輪郭検出部２０７ｂが検出した被写体の輪郭と距離算出部２０７ｃが算出した被写体の輪郭を構成する複数の輪郭点の距離とに基づいて、被写体の輪郭内において同じ色（Low-Contrast）で互いに異なる距離の対象物（被写体）の形状を判定する（ステップＳ２０５）。具体的には、形状判定部２０７ｅは、レンズ部３の光軸Ｏに沿って被写体の形状が同じであるか否かを判定する。

図８は、形状判定部２０７ｅによる互いに異なる距離の対象物の形状を判定する判定方法の概要を説明する模式図である。図９は、形状判定部２０７ｅが判定する画像の一例を示す。なお、図９の画像ＬＶ₁上の被写体Ｐ₁（レンズ部３の光軸Ｏに沿って遠ざかる方向に沿って存在する道）の輪郭Ｌ₁，Ｌ₂との幅は、撮像素子２０３上で結像される撮像面の幅に対応する。

図８および図９に示すように、まず、形状判定部２０７ｅは、輪郭検出部２０７ｂが検出した被写体の輪郭と距離算出部２０７ｃが算出した被写体の輪郭点までの距離とに基づいて、被写体の輪郭内において同じ色で互いに異なる距離の対象物の形状として対象物の幅を判定する。具体的には、形状判定部２０７ｅは、撮像素子２０３上に形成される異なる像の幅をＸ₁、Ｘ₂、レンズ部３の焦点距離をＦとした場合、以下の式（１）〜（４）によって、撮像装置１から距離Ｄ₁，Ｄ₂それぞれ離れた被写体の輪郭の幅Ｗ₁，Ｗ₂を判定する。
Ｗ₁：Ｄ₁＝Ｘ₁：Ｆ ・・・（１）
したがって、
Ｗ₁＝（Ｄ₁Ｘ₁）／Ｆ ・・・（２）
になる。同様に、
Ｗ₂：Ｄ₂＝Ｘ₂：Ｆ ・・・（３）
したがって、
Ｗ₂＝（Ｄ₂Ｘ₂）／Ｆ ・・・（４）
この場合において、Ｗ₁≒Ｗ₂のとき、式（２）および式（４）より、以下の式（５）が成り立つ。
Ｄ₁Ｘ₁≒Ｄ₂Ｘ₂ ・・・（５）
即ち、形状判定部２０７ｅは、式（２）、式（４）および式（５）を用いて、撮像装置１から遠ざかる奥行き方向に沿って被写体Ｐ₁の輪郭の幅（輪郭点の幅）が同じであるか否かを判定する。さらに、形状判定部２０７ｅは、撮像素子２０３上に形成される像の幅をＸ₃、焦点距離をＦとした場合、以下の式（６）および式（７）によって、撮像素子２０３から距離Ｄ₃離れた対象物の幅Ｗ₃を判定する。
Ｗ₃：Ｄ₃＝Ｘ₃：Ｆ ・・・（６）
したがって、
Ｗ₃＝（Ｄ₃Ｘ₃）／Ｆ ・・・（７）
この場合において、Ｗ₁≒Ｗ₃のとき、式（２）および式（７）より、以下の式（８）が成り立つ。
Ｄ₁Ｘ₁≒Ｄ₃Ｘ₃ ・・・（８）
したがって、
Ｘ₃＝Ｄ₁Ｘ₁／Ｄ₃ ・・・（９）
になる。このように、形状判定部２０７ｅは、式（８）を用いて、レンズ部３の焦点位置における被写体Ｐ₁の輪郭Ｌ₁，Ｌ₂の幅が同じであるか否かを判定する。

続いて、形状判定部２０７ｅが輪郭検出部２０７ｂによって検出された被写体の輪郭点が同じ幅であると判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０７へ移行する。これに対して、形状判定部２０７ｅが輪郭検出部２０７ｂによって検出された被写体の輪郭が同じ幅でないと判定した場合（ステップＳ２０６：Ｎｏ）、撮像装置１は、図５のメインルーチンへ戻る。この場合において、表示制御部２２７ｂは、背面表示部２１６が表示するライブビュー画像上に、距離アートを行うことができない旨の情報、たとえば絵、アイコンおよび文字等で警告してもよい。

ステップＳ２０７において、形状判定部２０７ｅは、輪郭検出部２０７ｂによって検出された被写体の輪郭の幅が撮像装置１から遠ざかる方向に向けて画像上で減少しているか否かを判定する。具体的には、形状判定部２０７ｅは、輪郭検出部２０７ｂによって検出された被写体の輪郭の幅が撮像素子２０３上における受光領域で減少しているか否かを判定する。たとえば、図９に示す場合、形状判定部２０７ｅは、撮像装置１から遠ざかる奥行き方向に沿って被写体Ｐ₁の幅が画像ＬＶ₁上で下端から上端に向けて減少しているため、輪郭検出部２０７ｂによって検出された被写体の輪郭の幅が撮像装置１から遠ざかる方向に向けて画像上で減少していると判定する。形状判定部２０７ｅが輪郭検出部２０７ｂによって検出された被写体の輪郭の幅が撮像装置１から遠ざかる方向に向けて画像上で減少していると判定した場合（ステップＳ２０７：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０８へ移行する。これに対して、形状判定部２０７ｅが輪郭検出部２０７ｂによって検出された被写体の輪郭の幅が撮像装置１から遠ざかる方向に向けて画像上で減少していないと判定した場合（ステップＳ２０７：Ｎｏ）、撮像装置１は、図５のメインルーチンへ戻る。また、道の向こう側（奥行き方向）、こちら側（手前方向）などは、画像から得られる輪郭のみならず、画面の端部であることも利用している。したがって、特殊効果処理部２０７ｆは、撮像素子２０３が生成した画像データに対応する画像内における被写体の輪郭を検出し、被写体の輪郭を構成する複数の輪郭点の遠近分布に従って、被写体の輪郭で囲まれた被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成するが、必要に応じて画面の端部も有効利用して被写体領域を決め特殊効果処理している。

ステップＳ２０８において、特殊効果処理部２０７ｆは、基本画像処理部２０７ａが撮像素子２０３によって生成された画像データに対し、距離算出部２０７ｃが算出した被写体の輪郭を構成する複数の輪郭点の各々の距離に応じて定まる被写体領域毎に特殊効果処理を行って処理画像データを生成する。これにより、図１０に示すように、特殊効果処理部２０７ｆが生成した処理画像データに対応する画像ＬＶ₂は、撮像装置１の視野内で撮像装置１から遠ざかる方向（奥行き方向）に沿って距離毎に画像処理のパラメータが徐々に変更されたものになる。なお、特殊効果処理部２０７ｆが行う特殊効果処理は、予め入力部２１１またはタッチパネル２１７によって選択されて設定される。

なお、図１０においては、画像処理のパラメータとして、撮像装置１から被写体Ｐ₁の輪郭を構成する複数の輪郭点（たとえば輪郭点Ａ₁，Ａ₂）までのそれぞれの距離に対応する位置毎または領域毎に、彩度およびコントラストのパラメータを変更した特殊効果処理（たとえば、図４のポップアート）を模式的に示すため、グラデーションのハッチングで表現した。もちろん、画像処理のパラメータとして、彩度、色相、階調、コントラスト、ホワイトバランス、感度、ソフトフォーカスの強度およびシェーディングの強度等のパラメータを重畳または変更してもよい。また、特殊効果処理部２０７ｆは、図１１に示す画像ＬＶ₃に示すように、画像の水平方向だけでなく、鉛直方向に対しても特殊効果処理を行うことができる。つまり、これらの実施例では、遠近法によって、画面内の特定の位置に集約されていくような直線は、道の両脇や建物の壁、廊下などの略並行な線が奥行き方向に広がっていることを判定し、平行な線のそれぞれ同じ距離の点を結べば、コントラストがなく距離情報がなくとも、同じ距離に応じて定まる領域を仮想的に判定、画像処理可能なことを利用している。ステップＳ２０８の後、撮像装置１は、図５のメインルーチンへ戻る。

以上説明した本発明の実施の形態１によれば、撮像装置１から遠ざかる方向に沿って存在する被写体に対して、撮像装置１からの距離毎に異なる画像処理を行うことができる。

また、本発明の実施の形態１によれば、距離算出部２０７ｃが輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離を算出し、特殊効果処理部２０７ｆが距離算出部２０７ｃによって検出された被写体の輪郭を構成する複数の輪郭点の各々距離に応じて定まる領域毎に異なる画像処理を行って視覚的な効果を生じさせる。これにより、コントラストがないシーンで被写体を撮影する場合であっても、撮像装置１からの距離毎に異なる画像処理を行った処理画像データを生成することができる。そのため、画面に奥行き感を与え、距離の情報（必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い）を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザへの情報伝達が可能となる。画像表現の重要な要素である遠近感を用いたアート表現は、より自然な効果で、臨場感を与え、見るものを魅了することは言うまでもない。

なお、本発明の実施の形態１では、距離算出部２０７ｃが輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点それぞれの距離を算出していたが、タッチパネル２１７を介して選択された被写体に対して距離を算出してもよい。図１２は、タッチパネル２１７を介して被写体を選択する際の状況を示す模式図である。図１２に示すように、距離算出部２０７ｃは、タッチパネル２１７を介してタッチされた画像ＬＶ₄上の被写体Ｐ₁に対して撮像装置１から遠ざかる方向の距離を算出してもよい。

また、本発明の実施の形態１では、特殊効果処理部２０７ｆの画像処理として画像処理のパラメータを変更していたが、たとえば撮像装置１から被写体を構成する複数の輪郭点までのそれぞれの距離に対応する位置毎に画像処理の組み合わせを変更してもよい。さらに、特殊効果処理部２０７ｆは、撮像装置１から被写体を構成する複数の輪郭点までのそれぞれの距離に対応する位置毎に、所定の波長帯域（たとえば、赤：６００ｎｍ〜７００ｎｍ、緑：５００ｎｍ〜６００ｎｍ、青：４００ｎｍ〜５００ｎｍ）を抽出した画像データを合成してもよい。

また、本発明の実施の形態１では、画像処理部２０７を画像処理装置として他の機器、たとえば携帯電話や携帯型端末装置に搭載することにより、本発明を適用することができる。さらに、被検体内を撮像して被検体の画像データを生成する内視鏡装置と、内視鏡装置からの画像データに対して画像処理を行う処理装置と、処理装置が画像処理を施した画像データに対応する画像を表示装置と、を備えた内視鏡システムの処理装置に画像処理部２０７を搭載することにより、本発明を適用することができる。即ち、観察者や術者に画像処理で強調する画像を直感的に把握させることができれば、産業用の観察装置や医療用の検査装置にも有効であることは言うまでもない。奥行き情報（撮像装置１からの距離情報）に従った画像表現によって、観察者の視覚を補助し、理解を助けることが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２にかかる撮像装置は、上述した実施の形態１にかかる撮像装置１の画像処理部の構成が異なるとともに、撮像装置が実行する距離アート処理が異なる。このため、以下においては、本実施の形態２にかかる撮像装置の構成を説明後、撮像装置が実行する距離アート処理について説明する。なお、上述した実施の形態１にかかる撮像装置１と同様の構成には同一の符号を付して説明を省略する。

図１３は、本実施の形態２にかかる撮像装置の機能構成を示すブロック図である。図１３に示す撮像装置１００は、レンズ部３と、本体部１０１と、を備える。本体部１０１は、上述した実施の形態１の画像処理部２０７に換えて画像処理部４０１を備える。

画像処理部４０１は、基本画像処理部２０７ａと、輪郭検出部２０７ｂと、距離算出部２０７ｃと、焦点位置取得部２０７ｄと、形状判定部２０７ｅと、特殊効果処理部４０１ａと、を有する。

特殊効果処理部４０１ａは、距離算出部２０７ｃが算出した撮像装置１００から輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離に基づいて、画像データに対応する画像上にテキストデータ、図形データおよび記号データのいずれか１つ以上を重畳する特殊効果処理を行って処理画像データを生成する。

次に、撮像装置１００が実行する距離アートについて説明する。図１４は、撮像装置１００が実行する距離アート処理の概要を示すフローチャートである。図１４において、ステップＳ３０１〜ステップＳ３０７は、図７のステップＳ２０１〜ステップＳ２０７それぞれに対応する。

ステップＳ３０８において、特殊効果処理部４０１ａは、基本画像処理部２０７ａによって基本の画像処理が施された画像データに対応する画像に対して、距離算出部２０７ｃが算出した撮像装置１００から輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に予め設定されたテキストデータとしての文字を重畳した処理画像データを生成する。具体的には、特殊効果処理部４０１ａは、距離算出部２０７ｃが算出した撮像装置１００から輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離で挟まれた輪郭内に対して、予め設定された文字を重畳した処理画像データを生成する。

図１５は、特殊効果処理部４０１ａが文字を重畳する画像の一例を示す図である。図１６は、特殊効果処理部４０１ａによる被写体の輪郭内に対して文字を重畳する際の文字の割当方法の概要を説明する模式図である。なお、図１５の画像ＬＶ₁₁において、被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離の輪郭点Ａ₁および輪郭点Ａ₂で挟まれた被写体Ｐ₁の領域上に文字を割り当てる際の割当方法を説明する。また、図１５および図１６においては、予め設定された文字の数を４文字（ＰＡＲＫ）として説明する。

図１５および図１６に示すように、特殊効果処理部４０１ａは、距離算出部２０７ｃが算出した被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離の輪郭点で挟まれた被写体Ｐ₁の輪郭内に対して、予め設定された文字の領域を割り当てる。具体的には、特殊効果処理部４０１ａは、撮像装置１００から被写体Ｐ₁の輪郭点Ａ₁までの距離をＤ₁、撮像装置１から被写体Ｐ₁の輪郭点Ａ₂までの距離をＤ₂、画像ＬＶ₁₁に重畳する文字の数をＮとした場合、以下の式（１０）によって、一文字当たりの領域ΔＤを算出する。
ΔＤ＝（Ｄ₁−Ｄ₂）／Ｎ ・・・（１０）

そして、特殊効果処理部４０１ａは、領域ΔＤおよび画像ＬＶ₁₁上における距離Ｄ₁から距離Ｄ₂までの高さＹｒに基づいて、画像ＬＶ₁₁上に重畳する領域ΔＤ内における文字の大きさを設定する。たとえば、特殊効果処理部４０１ａは、撮像装置１００から遠ざかる方向に沿って（画像ＬＶ₁₁上において下端から上端に向けて）文字が小さくなるように領域ΔＤ内における各文字の画像上の大きさを設定する。具体的には、特殊効果処理部４０１ａは、領域ΔＤ内における各文字の画像上の大きさをＸ₁₁〜Ｘ₁₄とした場合、以下の条件（１１）を満たすように領域ΔＤ内における各文字の画像上の大きさを設定する。
Ｘ₁₁：Ｘ₁₂：Ｘ₁₃：Ｘ₁₄＝（１／（Ｄ_２＋３・ΔＤ）−１／Ｄ₁）：（１／（Ｄ_２＋２・ΔＤ）−１／（Ｄ₂＋３・ΔＤ））：（１／（Ｄ_２−ΔＤ）−１／（Ｄ₂＋２・ΔＤ））：（１／Ｄ_２−１／（Ｄ₁＋ΔＤ））
・・・（１１）
このように、特殊効果処理部４０１ａは、画像ＬＶ₁₁上に重畳する文字の大きさが条件（１１）の比率になるように調整する。具体的には、図１７に示すように、特殊効果処理部４０１ａは、画像ＬＶ₁₁上に重畳する各文字の大きさを調整する。その後、特殊効果処理部４０１ａは、画像ＬＶ₁₁上に各文字を重畳した処理画像データを生成する。これにより、図１８に示すように、特殊効果処理部４０１ａが生成した処理画像データに対応する画像ＬＶ₁₂は、撮像装置１００から遠ざかる方向に沿って各文字が徐々に小さくなったものとなり、被写体Ｐ₁の幅の減少に応じて自然な仕上がりになる。なお、特殊効果処理部４０１ａは、画像ＬＶ₁₁上に重畳する文字の大きさが撮像装置１００からの距離の逆数になるように調整してもよい。ステップＳ３０８の後、撮像装置１００は、図５のメインルーチンへ戻る。

以上説明した本発明の実施の形態２によれば、撮像装置１００から遠ざかる方向に沿って存在する被写体に対して、撮像装置１００からの距離毎に異なる文字を重畳した画像処理を行うことができる。そのため、画面に奥行き感を与え、距離の情報（必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い）を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザへの情報伝達が可能となる。奥行き情報に従った画像表現によって、観察者の視覚を自然に補助し、見間違いを防止し、次の撮影や行動に対して間違いを防ぐ補助情報の表示にも有効で、撮影や観察を補助することが可能となる。

また、本発明の実施の形態２によれば、距離算出部２０７ｃが輪郭検出部２０７ｂによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離を算出し、特殊効果処理部４０１ａが距離算出部２０７ｃによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離に対応する位置毎に異なる画像処理を行って視覚的な効果を生じさせる。これにより、コントラストがないシーンで被写体を撮影する場合であっても、撮像装置１００からの距離毎に異なる文字を重畳した処理画像データを生成することができる。

なお、本発明の実施の形態２では、特殊効果処理部４０１ａがテキストデータとして文字を重畳していたが、たとえば図形データとして予め設定された図形や記号等を重畳して処理画像データを生成してもよい。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３にかかる撮像装置は、上述した実施の形態１にかかる撮像装置１の画像処理の構成が異なるとともに、撮像装置が実行する距離アート処理が異なる。このため、以下においては、本実施の形態３にかかる撮像装置の構成を説明後、撮像装置が実行する距離アート処理について説明する。なお、上述した実施の形態１にかかる撮像装置１と同様の構成には同一の符号を付して説明を省略する。

図１９は、本実施の形態３にかかる撮像装置の機能構成を示すブロック図である。図１９に示す撮像装置１１０は、レンズ部３と、本体部１１１と、を備える。本体部１１１は、上述した実施の形態１の画像処理部２０７に換えて画像処理部４１０を備える。

画像処理部４１０は、基本画像処理部２０７ａと、距離算出部２０７ｃと、焦点位置取得部２０７ｄと、特殊効果処理部２０７ｆと、輪郭検出部４１１と、を有する。

輪郭検出部４１１は、撮像素子２０３が生成した画像データに対応する画像内における被写体の輪郭を検出する。輪郭検出部４１１は、撮像素子２０３が生成した画像データの輝度成分を抽出する輝度抽出部４１１ａと、輝度抽出部４１１ａが抽出した輝度成分に基づいて、画像データのコントラストを検出するコントラスト検出部４１１ｂと、画像データに対応する画像に対して、コントラスト検出部４１１ｂが検出した互いに異なるコントラストのピーク（頂点）で挟まれた領域を判定する領域判定部４１１ｃと、を有する。また、領域判定部４１１ｃは、タッチパネル２１７がタッチした位置が互いに異なるコントラストのピークで挟まれた領域であるか否かを判定する。

次に、撮像装置１１０が実行する距離アート処理について説明する。図２０は、撮像装置１１０が実行する距離アート処理の概要を示すフローチャートである。

図２０に示すように、まず、タッチパネル２１７に対してタッチがあった場合（ステップＳ４０１：Ｙｅｓ）、撮像制御部２２７ａは、タッチ位置の画像上に対応する視野領域に対してレンズ部３のピント位置を設定する（ステップＳ４０２）。具体的には、撮像制御部２２７ａは、レンズ部３を制御することによって、タッチ位置にレンズ部３のピント位置が合うようにフォーカスレンズ３０７を光軸Ｏ上で移動させる。

続いて、輝度抽出部４１１ａは、ＳＤＲＡＭ２２３から画像データを取得し、取得した画像データに含まれる輝度成分を抽出し（ステップＳ４０３）、コントラスト検出部４１１ｂは、輝度抽出部４１１ａが抽出した輝度成分に基づいて、画像データのコントラストを検出する（ステップＳ４０４）。

その後、領域判定部４１１ｃは、タッチ位置が互いに異なるコントラストのピークで挟まれた領域内であるか否かを判定する（ステップＳ４０５）。

図２１は、領域判定部４１１ｃによるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。図２１において、背面表示部２１６が表示するライブビュー画像ＬＶ₂₁上の横方向をＸ軸とし、縦方向をＹ軸とする。また、図２１（ａ）がタッチ位置近傍のＸ方向の輝度成分を示し、図２１（ｂ）がタッチ位置近傍のＸ方向のコントラストを示す。また、図２１（ｃ）がタッチ位置近傍のＹ方向の輝度成分を示し、図２１（ｄ）がタッチ位置近傍のＹ方向のコントラストを示す。また、曲線Ｂ_xがＸ軸方向の輝度成分の変化を示し、曲線Ｃ_XがＸ軸方向のコントラストの変化を示し、曲線Ｂ_ｙがＹ軸方向の輝度成分の変化を示し、曲線Ｃ_ｙがＹ軸方向のコントラストの変化を示す。

図２１に示すように、領域判定部４１１ｃは、タッチ位置がＸ軸上において２つのコントラストのピークＭ₁，Ｍ₂に挟まれ、かつ、タッチ位置がＹ軸上において２つのコントラストのピークＭ₃，Ｍ₄に挟まれている領域（Ｒ₁，Ｒ₂）内であるか否かを判定する。図２１に示す場合、領域判定部４１１ｃは、タッチ位置が互いに異なるコントラストのピークで挟まれた領域内であると判定する。

領域判定部４１１ｃによってタッチ位置が互いに異なるコントラストのピークで挟まれた領域内であると判定された場合（ステップＳ４０５：Ｙｅｓ）、撮像装置１１０は、後述するステップＳ４０６へ移行する。これに対して、領域判定部４１１ｃによってタッチ位置が互いに異なるコントラストのピークで挟まれた領域内でないと判定された場合（ステップＳ４０５：Ｎｏ）、撮像装置１１０は、ステップＳ４０７へ移行する。

ステップＳ４０６において、特殊効果処理部２０７ｆは、領域判定部４１１ｃによってタッチ位置がコントラストのピークで挟まれた領域内に対応する画像データに対して特殊効果処理を実行して処理画像データを生成する。これにより、図２２に示すように、表示制御部２２７ｂは、特殊効果処理部２０７ｆが特殊効果処理を行った画像データに対応するライブビュー画像ＬＶ₂₃を背面表示部２１６に表示させることができる。この結果、ユーザは、直感的な操作によって、コントラストがない被写体に対しても所望の特殊効果処理を行うことができる。なお、図２２においては、特殊効果処理の効果を表現するため、ハッチングで表現した。ステップＳ４０６の後、撮像装置１１０は、図５のメインルーチンへ戻る。

ステップＳ４０７において、タッチパネル２１７に対して、スライド操作が行われた場合（ステップＳ４０７：Ｙｅｓ）において、領域判定部４１１ｃは、スライド操作によるスライド方向に互いに異なるコントラストのピークで挟まれた領域があるか否かを判定する（ステップＳ４０８）。

図２３Ａ〜図２３Ｃは、領域判定部４１１ｃによるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。図２３Ａ〜図２３Ｃにおいて、背面表示部２１６が表示するライブビュー画像ＬＶ₂₂上の横方向をＸ軸とし、縦方向をＹ軸とする。また、図２３Ａ（ａ）〜図２３Ｃ（ａ）がスライド位置のＸ方向のコントラストを示し、図２３Ａ（ｂ）〜図２３Ｃ（ｂ）がスライド位置のＹ方向のコントラストを示す。さらに、曲線Ｃ_XがＸ軸方向のコントラストの変化を示し、曲線Ｃ_ｙがＹ軸方向のコントラストの変化を示す。

図２３Ａ〜図２３Ｃに示すように、領域判定部４１１ｃは、タッチパネル２１７上におけるスライド操作のスライド方向（矢印Ｚ方向）に沿ってＸ軸上に２つのコントラストのピークＭ₁，Ｍ₂に挟まれ、かつ、Ｙ軸上に２つのコントラストのピークＭ₃，Ｍ₄があるか否かを判定する。図２３Ａ〜図２３Ｃに示す場合、領域判定部４１１ｃは、スライド操作によるタッチパネル２１７上のスライド方向にコントラストのピークで挟まれた領域があると判定する。この場合、撮像制御部２２７ａは、タッチパネル２１７から入力されるタッチ位置の軌跡に基づいて、レンズ部３のフォーカスレンズ３０７を光軸Ｏ方向に沿って移動させることによって、レンズ部３の焦点位置をスライド方向に追従させる。

ステップＳ４０８において、領域判定部４１１ｃがスライド操作によるスライド方向に互いに異なるコントラストのピークで挟まれた領域があると判定した場合（ステップＳ４０８：Ｙｅｓ）、特殊効果処理部２０７ｆは、領域判定部４１１ｃによって判定された領域に対応する画像データに対して特殊効果処理を実行して処理画像データを生成する（ステップＳ４０９）。これにより、図２４に示すように、表示制御部２２７ｂは、特殊効果処理部２０７ｆが特殊効果処理を行った処理画像データに対応するライブビュー画像ＬＶ₂₄を背面表示部２１６に表示させることができる。なお、図２４においては、特殊効果処理の効果を表現するため、ハッチングで表現した。ステップＳ４０９の後、撮像装置１１０は、図５のメインルーチンへ戻る。

ステップＳ４０７において、タッチパネル２１７に対して、スライド操作が行われていない場合（ステップＳ４０７：Ｎｏ）、撮像装置１１０は、図５のメインルーチンへ戻る。

ステップＳ４０８において、領域判定部４１１ｃがスライド操作によるスライド方向に互いに異なるコントラストのピークで挟まれた領域がないと判定した場合（ステップＳ４０８：Ｎｏ）、撮像装置１１０は、図５のメインルーチンへ戻る。

ステップＳ４０１において、タッチパネル２１７に対してタッチがない場合（ステップＳ４０１：Ｎｏ）、撮像装置１１０は、図５のメインルーチンへ戻る。

以上説明した本発明の実施の形態３によれば、撮像装置１１０から遠ざかる方向に沿って存在する被写体に対して、撮像装置１１０からの距離毎に異なる画像処理を行うことができる。

また、本発明の実施の形態３によれば、特殊効果処理部２０７ｆが領域判定部４１１ｃによってタッチパネル２１７から入力される位置信号に対応する位置が互いに異なるコントラストのピークで挟まれたと判定された領域に対応する画像データに対して、特殊効果処理を行った処理画像データを生成するので、コントラストがないシーンで被写体を撮影する場合であっても、撮像装置１１０からの距離毎に異なる画像処理を行った処理画像データを生成することができる。そのため、距離によって移り変わる光の表現や、陰影の表現で、べた塗り風の看板表現ではなく、さらに芸術的な表現が可能である。もちろん、ゴーギャンのような「クロワゾニズム」風の表現でも芸術的ではあるが、リアリティを追求すれば、奥行き感の追求はルネサンス以来、重要な表現技法である。また、画家の筆遣いや、刷毛の流れなど、同じ色の面であっても、何らかのリズム感が、作品に躍動感を与えることがあり、特定の規則に従った（ここでは遠近）、変化のある画像処理によって同様の効果が期待できる。つまり、画面に奥行き感やリズム感を与え、距離の情報（必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い）を有効利用した、変化に富む、豊かな画像表現力が得られる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４にかかる撮像装置は、上述した実施の形態３にかかる撮像装置１１０と同様の構成を有し、撮像装置が実行する距離アート処理が異なる。このため、以下においては、本実施の形態４にかかる撮像装置が実行する距離アート処理について説明する。なお、上述した実施の形態３にかかる撮像装置１１０と同様の構成には同一の符号を付して説明を省略する。

図２５は、本実施の形態４にかかる撮像装置１１０が実行する距離アート処理の概要を示すフローチャートである。図２５において、ステップＳ５０１〜Ｓ５０６は、図２０のステップＳ４０１〜ステップＳ４０６にそれぞれ対応する。

ステップＳ５０７において、タッチパネル２１７に対してタッチがあった場合（ステップＳ５０７：Ｙｅｓ）、撮像装置１１０は、ステップＳ５０２へ戻る。これに対して、タッチパネル２１７に対してタッチがない場合（ステップＳ５０７：Ｎｏ）、撮像装置１１０は、ステップＳ５０８へ移行する。

続いて、特殊効果処理部２０７ｆは、処理画像データに対応する処理画像における未画像処理の領域に対して、他の領域と異なる特殊効果処理を実行する（ステップＳ５０８）。具体的には、図２６に示すように、特殊効果処理部２０７ｆは、処理画像データに対応する処理画像ＬＶ₃₁における未画像処理の領域Ｑ１に対して、他の領域と異なる特殊効果処理を実行する（図２６（ａ）→図２６（ｂ））。これにより、図２６（ｂ）に示すように、表示制御部２２７ｂは、特殊効果処理部２０７ｆが特殊効果処理を行った処理画像データに対応するライブビュー画像ＬＶ₃₂を背面表示部２１６に表示させることができる。なお、図２６においては、特殊効果処理の効果を表現するため、ハッチングで表現した。ステップＳ５０８の後、撮像装置１１０は、図５のメインルーチンへ戻る。

以上説明した本発明の実施の形態４によれば、撮像装置１１０から遠ざかる方向に沿って存在する被写体に対して、撮像装置１１０からの距離毎に異なる画像処理を行うことができる。そのため、画面に奥行き感を与え、距離の情報（必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い）を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザへの情報伝達が可能となる。また、ユーザーの好みを、タッチによって直感的に画像表現に反映させられることが特徴となっている。画像を領域分割し、その領域内の奥行き方向の位置変化に従った画像処理を行っている。

（実施の形態５）
次に、本発明の実施の形態５について説明する。本実施の形態５は、上述した実施の形態１にかかる撮像装置１の構成と異なるうえ、撮像装置が実行する処理も異なる。このため、以下においては、本実施の形態５にかかる撮像装置の構成を説明後、本実施の形態５にかかる撮像装置が実行する処理について説明する。なお、上述した実施の形態１にかかる撮像装置１と同様の構成には同一の符号を付して説明を省略する。

図２７は、本実施の形態５にかかる撮像装置の機能構成を示すブロック図である。図２７に示す撮像装置１２０は、レンズ部５０１と、撮像部５０２と、輪郭検出部５０３と、画像処理部５０４と、表示部５０５と、入力部５０６と、記録部５０７と、を備える。

レンズ部５０１は、一または複数のレンズおよび絞り等を用いて構成され、被写体像を撮像部５０２の受光面に結像する。

撮像部５０２は、レンズ部５０１が結像した被写体像を受光して光電変換を行うことによって被写体の画像データを生成する。撮像部５０２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳを用いて構成される。撮像部５０２は、画像データを輪郭検出部５０３および画像処理部５０４へ出力する。

輪郭検出部５０３は、撮像部５０２が生成した画像データに対応する画像内における被写体の輪郭を検出する。具体的には、輪郭検出部５０３は、画像データの輝度成分を抽出し、この抽出した輝度成分に対して２次微分の絶対値を算出することによって、被写体の輪郭（コントラスト）を構成する複数の輪郭点を検出する。なお、輪郭検出部５０３は、画像データに対してエッジ検出処理を行うことによって、被写体の輪郭を構成する輪郭点を検出してもよい。さらに、輪郭検出部５０３は、画像データに対して周知の技術を用いて画像内における被写体の輪郭を検出してもよい。

画像処理部５０４は、撮像部５０２が生成した画像データに対して、撮像部５０２から輪郭検出部５０３によって検出された被写体の輪郭を構成する複数の輪郭点の遠近分布に従って被写体の輪郭点で定まる被写体領域毎に異なる画像処理、たとえば画像処理のパラメータを変更した画像処理を行った処理画像データを生成する。なお、本実施の形態５では、画像処理部５０４が特殊効果処理部としての機能を有する。

表示部５０５は、画像処理部５０４が生成した処理画像データに対応する画像を表示する。表示部５０５は、液晶または有機ＥＬからなる表示パネルおよび駆動ドライバ等を用いて構成される。

入力部５０６は、撮像装置１２０に撮影を指示する。入力部５０６は、複数のボタン等を用いて構成される。

記録部５０７は、画像処理部５０４が生成した処理画像データを生成する。記録部５０７は、記録媒体等を用いて構成される。

以上の構成を有する撮像装置１２０が実行する処理について説明する。図２８は、撮像装置１２０が実行する処理の概要を示すフローチャートである。

図２８に示すように、まず、撮像部５０２は、画像データを生成し（ステップＳ６０１）、輪郭検出部５０３は、撮像部５０２が生成した画像データに対応する画像内における被写体の輪郭を検出する（ステップＳ６０２）。

続いて、画像処理部５０４は、撮像部５０２が生成した画像データに対して、撮像部５０２から輪郭検出部５０３によって検出された被写体の輪郭を構成する複数の輪郭点の遠近分布に従って被写体の輪郭点で定まる被写体領域毎に異なる画像処理を行って処理画像データを生成する（ステップＳ６０３）。

その後、表示部５０５は、画像処理部５０４が生成した処理画像データに対応するライブビュー画像を表示する（ステップＳ６０４）。

続いて、入力部５０６から撮影の指示があった場合（ステップＳ６０５：Ｙｅｓ）、撮像装置１２０は、撮影を行う（ステップＳ６０６）。この場合、撮像装置１２０は、画像処理部５０４が生成した処理画像データを記録部５０７に記録する。ステップＳ６０６の後、撮像装置１２０は、本処理を終了する。これに対して、入力部５０６から撮影の指示がない場合（ステップＳ６０５：Ｎｏ）、撮像装置１２０は、ステップＳ６０１へ戻る。

以上説明した本発明の実施の形態５によれば、撮像装置１２０から遠ざかる方向に沿って存在する被写体に対して、撮像装置１２０からの距離毎に異なる画像処理を行うことができる。そのため、画面に奥行き感を与え、距離の情報、奥行き情報、凸凹情報を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザーへの情報伝達が可能となる。このように、本実施例では、画像から得られる輪郭等の画像変化の情報（またはそれによる領域分割）や距離情報などを総合的に判断して、簡単かつ精密な画像表現が可能となる。また、輪郭のみならず、画面の端部も利用している。

また、本発明の実施の形態５では、画像処理部５０４が撮像部５０２から輪郭検出部５０３によって検出された被写体の輪郭を構成する複数の輪郭点の各々までの距離変化に応じて定まる領域毎に異なる画像処理を行って処理画像データを生成してもよい。これにより、被写体の距離に従って変化させられる画像処理を行うことができる。

また、本発明の実施の形態５では、画像処理部５０４が撮像部５０２から輪郭検出部５０３によって検出された被写体の輪郭を構成する複数の輪郭点の各々までの奥行きに応じて定まる領域毎に異なる画像処理を行って処理画像データを生成してもよい。ここで、奥行きとは、撮像装置１２０の視野内で撮像装置１２０から遠ざかる方向である。これにより、被写体の距離に従って変化させられる画像処理を行うことができる。

（その他の実施の形態）
また、本発明にかかる撮像装置は、撮像部が生成した画像データに対応する画像内を複数の領域毎に分割する分割ステップと、分割ステップで分割した複数の領域の各々の奥行き方向の位置変化情報を取得する取得ステップと、分割ステップで分割された複数の領域の各々に対して、取得ステップで取得した位置変化情報に従った画像処理を行って処理画像データを生成する生成ステップと、を含む撮像方法を行うことができる。ここで、位置変化情報とは、撮像装置の視野内で撮像装置からの距離、輝度およびコントラストである。これにより、被写体の奥行き方向の位置変化情報に従って変化させられる画像処理を行うことができる。

また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

また、本発明にかかる撮像装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明にかかる撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明にかかる撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１，１００，１１０，１２０ 撮像装置
２，１０１，１１１ 本体部
３，５０１ レンズ部
２０１ シャッタ
２０２ シャッタ駆動部
２０３ 撮像素子
２０４ 撮像素子駆動部
２０５ 信号処理部
２０６ Ａ／Ｄ変換部
２０７，４０１，４１０，５０４ 画像処理部
２０７ａ 基本画像処理部
２０７ｂ，４１１，５０３ 輪郭検出部
２０７ｃ 距離算出部
２０７ｄ 焦点位置取得部
２０７ｅ 形状判定部
２０７ｆ，４０１ａ 特殊効果処理部
２０８ ＡＥ処理部
２０９ ＡＦ処理部
２１０ 画像圧縮展開部
２１１，５０６ 入力部
２１１ｂ レリーズスイッチ
２１２ アクセサリ通信部
２１３ 接眼表示部
２１４ アイセンサ
２１５ 可動部
２１６ 背面表示部
２１７ タッチパネル
２１８ 回動判定部
２１９ 状態検出部
２２０ 時計
２２１ 記録媒体
２２２ メモリＩ／Ｆ
２２３ ＳＤＲＡＭ
２２４ Ｆｌａｓｈメモリ
２２５ 本体通信部
２２６ バス
２２７ 本体制御部
２２７ａ 撮像制御部
２２７ｂ 表示制御部
３０１ ズームレンズ
３０７ フォーカスレンズ
３１３ レンズ制御部
４１１ａ 輝度抽出部
４１１ｂ コントラスト検出部
４１１ｃ 領域判定部
５０２ 撮像部
５０５ 表示部
５０７ 記録部

Claims (8)

1. 被写体を撮像した画像データに文字を合成する電子機器が実行する画像処理方法であって、
   前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、
   前記電子機器から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を取得する取得ステップと、
   前記輪郭検出ステップにおいて検出した前記被写体の輪郭と前記取得ステップにおいて取得した前記距離とに基づいて、前記被写体の輪郭内において同じ色で互いに異なる距離の対象物の形状を判定する形状判定ステップと、
   前記形状判定ステップの判定結果に基づいて、前記画像内における前記被写体の領域を複数の領域に分割する分割ステップと、
   前記分割ステップで分割された前記複数の領域の各々に対して、前記取得ステップで取得した前記距離に従って変形した文字を合成する画像処理を行って処理画像データを生成する生成ステップと、
   を含むことを特徴とする画像処理方法。
2. 前記電子機器は、
   前記画像を表示可能な表示部と、
   前記表示部の表示画面上に重畳して設けられ、外部からの接触を検出し、この検出した位置を指示する指示信号の入力を受け付けるタッチパネルと、
   を備え、
   前記指示信号の入力を受け付ける入力ステップと、
   前記生成ステップは、前記入力ステップで受けた付けた前記位置の領域に前記文字を合成することを特徴とする請求項１に記載の画像処理方法。
3. 前記電子機器は、
   前記画像を表示可能な表示部と、
   前記表示部の表示画面上に重畳して設けられ、外部からの接触を検出し、この検出した位置を指示する指示信号の入力を受け付けるタッチパネルと、
   を備え、
   前記指示信号の入力を受け付ける入力ステップをさらに含み、
   前記取得ステップは、
   前記入力ステップの結果に従って、前記距離を取得することを特徴とする請求項１に記載の画像処理方法。
4. 前記生成ステップは、
   前記距離に基づいて、前記電子機器から遠ざかる方向に従って文字が小さくなるように文字の大きさを設定する設定ステップを含むことを特徴とする請求項１〜３のいずれか一つに記載の画像処理方法。
5. 前記生成ステップは、
   前記輪郭検出ステップで検出された前記被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離の輪郭点で挟まれた領域上に文字を割り当てる割り当てステップを含むことを特徴とする請求項４に記載の画像処理方法。
6. 前記生成ステップは、
   前記領域上に文字を合成する合成前にテキストとして設定する設定ステップを含むことを特徴とする請求項５に記載の画像処理方法。
7. 被写体を撮像した画像データに文字を合成可能な電子機器であって、
   前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出部と、
   当該電子機器から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を取得する距離算出部と、
   前記輪郭検出部において検出した前記被写体の輪郭と前記距離算出部において取得した前記距離とに基づいて、前記被写体の輪郭内において同じ色で互いに異なる距離の対象物の形状を判定する形状判定部と、
   前記形状判定部の判定結果に基づいて、前記画像内における前記被写体の領域を複数の領域に分割し、該複数の領域の各々に対して、前記距離に従って変形した文字を合成する画像処理を行って処理画像データを生成する特殊効果処理部と、
   を備えたことを特徴とする電子機器。
8. 被写体を撮像した画像データに文字を合成する電子機器に、
   前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、
   当該電子機器から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を取得する取得ステップと、
   前記輪郭検出ステップにおいて検出した前記被写体の輪郭と前記取得ステップにおいて取得した前記距離とに基づいて、前記被写体の輪郭内において同じ色で互いに異なる距離の対象物の形状を判定する形状判定ステップと、
   前記形状判定ステップの判定結果に基づいて、前記画像内における前記被写体の領域を複数の領域に分割する分割ステップと、
   前記分割ステップで分割された前記複数の領域の各々に対して、前記取得ステップで取得した前記距離に従って変形した文字を合成する画像処理を行って処理画像データを生成する生成ステップと、
   を実行させることを特徴とするプログラム。