JP5769768B2 - 撮像装置、撮像方法およびプログラム - Google Patents

撮像装置、撮像方法およびプログラム Download PDF

Info

Publication number
JP5769768B2
JP5769768B2 JP2013182553A JP2013182553A JP5769768B2 JP 5769768 B2 JP5769768 B2 JP 5769768B2 JP 2013182553 A JP2013182553 A JP 2013182553A JP 2013182553 A JP2013182553 A JP 2013182553A JP 5769768 B2 JP5769768 B2 JP 5769768B2
Authority
JP
Japan
Prior art keywords
unit
subject
image
contour
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013182553A
Other languages
English (en)
Other versions
JP2015050713A (ja
Inventor
金子 哲也
哲也 金子
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013182553A priority Critical patent/JP5769768B2/ja
Priority to PCT/JP2014/065384 priority patent/WO2015033640A1/ja
Priority to CN201480002163.1A priority patent/CN104604215B/zh
Priority to US14/615,863 priority patent/US20150208001A1/en
Publication of JP2015050713A publication Critical patent/JP2015050713A/ja
Application granted granted Critical
Publication of JP5769768B2 publication Critical patent/JP5769768B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像方法およびプログラムに関する。
近年、デジタルカメラ等の撮像装置において、被写体および背景それぞれに対して互いに異なる画像処理を行う技術が知られている(特許文献1参照)。この技術では、画像のエッジを検出するエッジ検出処理を行うことによって、被写体および背景それぞれの領域を抽出し、この抽出した被写体および背景それぞれの領域に対して互いに異なる画像処理を行う。
特開2013−3990号公報
しかしながら、上述した特許文献1では、被写体および背景それぞれの領域に対してのみしか互いに異なる画像処理を行うことができなかった。このため、画像の表現の多様性からして、さらに豊富な画像情報を利用した、より表現力豊かな画像処理を行うことができる技術が望まれていた。
本発明は、上記に鑑みてなされたものであって、被写体の距離に従って変化させられる画像処理を行うことができる撮像装置、撮像方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、焦点を調整可能な光学系を有するレンズ部と、前記レンズ部が結像した被写体を撮像して被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出部と、前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出部と、前記輪郭検出部が検出した前記被写体の輪郭と前記距離算出部が算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定部と、前記形状判定部が前記被写体の形状が同じであると判定した場合、前記撮像部が生成した前記画像データに対して、前記距離算出部が算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理部と、を備えたことを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記撮像部は、前記被写体の画像データを生成する撮像画素と、前記焦点を検出するための焦点データを生成する焦点検出用画素と、を有し、前記輪郭検出部は、前記画像データに含まれる輝度成分に基づいて、前記被写体の輪郭を検出し、前記距離算出部は、前記焦点データに基づいて、前記距離を算出することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記特殊効果処理部は、前記画像データに対して、複数の画像処理を組み合わせることにより、視覚的な効果を生じさせる特殊効果処理を行って前記処理画像データを生成することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記特殊効果処理で組み合わされる画像処理は、ぼかし処理、シェーディング追加処理、ノイズ重畳処理、彩度変更処理およびコントラスト強調処理のいずれか1つ以上であることを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記特殊効果処理部は、前記距離算出部が算出した前記距離に基づいて、前記画像データに対応する画像上にテキストデータ、図形データおよび記号データのいずれか1つ以上を重畳する特殊効果処理を行って前記処理画像データを生成することを特徴とする。
また、本発明にかかる撮像方法は、焦点を調整可能な光学系を有するレンズ部と、前記レンズ部が結像した被写体を撮像して被写体の画像データを生成する撮像部と、を備えた撮像装置が実行する撮像方法であって、前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出ステップと、前記輪郭検出ステップにおいて検出した前記被写体の輪郭と前記距離算出ステップにおいて算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定ステップと、前記形状判定ステップにおいて前記被写体の形状が同じであると判定した場合、前記画像データに対して、前記距離算出ステップにおいて算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理ステップと、を含むことを特徴とする。
また、本発明にかかるプログラムは、焦点を調整可能な光学系を有するレンズ部と、前記レンズ部が結像した被写体を撮像して被写体の画像データを生成する撮像部と、を備えた撮像装置に、前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出ステップと、前記輪郭検出ステップにおいて検出した前記被写体の輪郭と前記距離算出ステップにおいて算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定ステップと、前記形状判定ステップにおいて前記被写体の形状が同じであると判定した場合、前記画像データに対して、前記距離算出ステップにおいて算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理ステップと、を実行させることを特徴とする。
本発明によれば、被写体の距離情報を有効利用した画像処理を行うことができるという効果を奏する。
図1は、本発明の実施の形態1にかかる撮像装置の被写体に面する側の構成を示す斜視図である。 図2は、本発明の実施の形態1にかかる撮像装置の撮影者に面する側の構成を示す斜視図である。 図3は、本発明の実施の形態1にかかる撮像装置の機能構成を示すブロック図である。 図4は、本発明の実施の形態1にかかる撮像装置の特殊効果処理部が行う特殊効果処理の概要を示す図である。 図5は、本発明の実施の形態1にかかる撮像装置が実行する処理の概要を示すフローチャートである。 図6は、本発明の実施の形態1にかかる撮像装置の表示部が表示する画像の一例を示す図である。 図7は、図5の距離アート処理の概要を示すフローチャートである。 図8は、本発明の実施の形態1にかかる撮像装置の形状判定部による互いに異なる距離の対象物の形状を判定する判定方法の概要を説明する模式図である。 図9は、本発明の実施の形態1にかかる撮像装置の形状判定部が判定する画像の一例を示す図である。 図10は、本発明の実施の形態1にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図11は、本発明の実施の形態1にかかる撮像装置の特殊効果処理部が生成した別の処理画像データに対応する画像の一例を示す図である。 図12は、本発明の実施の形態1にかかる撮像装置のタッチパネルを介して被写体を選択する際の状況を示す模式図である。 図13は、本発明の実施の形態2にかかる撮像装置の機能構成を示すブロック図である。 図14は、本発明の実施の形態2にかかる撮像装置が実行する距離アート処理の概要を示すフローチャートである。 図15は、本発明の実施の形態2にかかる撮像装置の特殊効果処理部が文字を重畳する画像の一例を示す図である。 図16は、本発明の実施の形態2にかかる撮像装置の特殊効果処理部による被写体の輪郭内に対して文字を重畳する際の文字の割当方法の概要を説明する模式図である。 図17は、本発明の実施の形態2にかかる撮像装置の特殊効果処理部による文字の大きさの調整を説明する模式図である。 図18は、本発明の実施の形態2にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図19は、本発明の実施の形態3にかかる撮像装置の機能構成を示すブロック図である。 図20は、本発明の実施の形態3にかかる撮像装置が実行する距離アート処理の概要を示すフローチャートである。 図21は、本発明の実施の形態3にかかる撮像装置の領域判定部によるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図22は、本発明の実施の形態3にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図23Aは、本発明の実施の形態3にかかる撮像装置の領域判定部によるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図23Bは、本発明の実施の形態3にかかる撮像装置の領域判定部によるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図23Cは、本発明の実施の形態3にかかる撮像装置の領域判定部によるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。 図24は、本発明の実施の形態3にかかる撮像装置の特殊効果処理部が生成した別の処理画像データに対応する画像の一例を示す図である。 図25は、本発明の実施の形態4にかかる撮像装置が実行する距離アート処理の概要を示すフローチャートである。 図26は、本発明の実施の形態4にかかる撮像装置の特殊効果処理部が生成した処理画像データに対応する画像の一例を示す図である。 図27は、本発明の実施の形態5にかかる撮像装置の機能構成を示すブロック図である。 図28は、本発明の実施の形態5にかかる撮像装置が実行する処理の概要を示すフローチャートである。
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる撮像装置の被写体に面する側(前面側)の構成を示す斜視図である。図2は、本発明の実施の形態1にかかる撮像装置の撮影者に面する側(背面側)の構成を示す斜視図である。図3は、本発明の実施の形態1にかかる撮像装置の機能構成を示すブロック図である。
図1〜図3に示す撮像装置1は、本体部2と、本体部2に着脱自在であり、被写体像を結像する光学ズーム可能なレンズ部3と、を備える。
まず、本体部2について説明する。本体部2は、シャッタ201と、シャッタ駆動部202と、撮像素子203と、撮像素子駆動部204と、信号処理部205と、A/D変換部206と、画像処理部207と、AE処理部208と、AF処理部209と、画像圧縮展開部210と、入力部211と、アクセサリ通信部212と、接眼表示部213と、アイセンサ214と、可動部215と、背面表示部216と、タッチパネル217と、回動判定部218と、状態検出部219と、時計220と、記録媒体221と、メモリI/F222と、SDRAM(Synchronous Dynamic Random Access Memory)223と、Flashメモリ224と、本体通信部225と、バス226と、本体制御部227と、を備える。
シャッタ201は、撮像素子203の状態を露光状態または遮光状態に設定する。シャッタ201は、フォーカルプレーンシャッタ等の機械式のシャッタを用いて構成される。
シャッタ駆動部202は、本体制御部227から入力される指示信号に応じてシャッタ201を駆動する。シャッタ駆動部202は、ステッピングモータやDCモータ等を用いて構成される。
撮像素子203は、レンズ部3が集光した光を受光して光電変換を行うことによって電気信号を出力する複数の画素が2次元的に配列されたCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。撮像素子203は、本体制御部227の制御のもと、所定のフレームレート、たとえば30fpsで連続的に画像データを生成して信号処理部205へ出力する。また、撮像素子203は、撮像装置1が位相差検出方式によって被写体までの距離を検出する測距処理および、レンズ部3の焦点を調整する像面位相差AF処理を行う際に用いられる焦点信号(以下「焦点データ」という)を生成するAF画素203a(焦点検出用画素)と、撮像面に被写体像を受光して電気信号(以下、「画像データ」という)を生成する撮像画素203bと、を有する。
AF画素203aは、フォトダイオードや増幅回路等を用いて構成され、撮像素子203の撮像面に所定の間隔および所定の領域内に設けられる。たとえば、AF画素203aは、撮像素子203の受光面におけるAF領域または中央領域に所定の間隔で設けられる。
撮像画素203bは、フォトダイオード(photodiode)や増幅回路等を用いて構成される。撮像画素203bは、レンズ部3から入射された被写体像を受光して光電変換を行うことによって画像データを生成する。
撮像素子駆動部204は、所定のタイミングで撮像素子203から画像データ(アナログ信号)および焦点データ(アナログ信号)を信号処理部205へ出力させる。この意味で、撮像素子駆動部204は、電子シャッタとして機能する。
信号処理部205は、撮像素子203から入力される画像データおよび焦点データに対して、アナログ処理を施してA/D変換部206へ出力する。たとえば、信号処理部205は、画像データに対して、リセットノイズ等を低減した上で波形整形後、目的の明るさとなるようにゲインアップを行う。
A/D変換部206は、信号処理部205から入力されるアナログの画像データおよび焦点データに対してA/D変換を行うことによってデジタルの画像データ(RAWデータ)および焦点データを生成し、バス226を介してSDRAM223へ出力する。なお、本実施の形態1では、撮像素子203、信号処理部205およびA/D変換部206が撮像部として機能する。
画像処理部207は、基本画像処理部207aと、輪郭検出部207bと、距離算出部207cと、焦点位置取得部207dと、形状判定部207eと、特殊効果処理部207fと、を有する。
基本画像処理部207aは、バス226を介してSDRAM223から画像データ(RAWデータ)を取得し、取得した画像データに対して各種の画像処理を行う。具体的には、画像処理部207は、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。たとえば、基本画像処理部207aは、予め設定された各画像処理のパラメータに基づいて、画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。なお、画像処理部207は、撮像素子203がベイヤー配列の場合には画像データの同時化処理を行う。画像処理部207は、バス226を介して処理画像データをSDRAM223または背面表示部216へ出力する。
輪郭検出部207bは、撮像素子203が生成した画像データに対応する画像内における被写体の輪郭を検出する。具体的には、輪郭検出部207bは、画像データの輝度成分を抽出し、この抽出した輝度成分に対して2次微分の絶対値を算出することによって、被写体の輪郭(コントラスト)を構成する複数の輪郭点を検出する。なお、輪郭検出部207bは、画像データに対してエッジ検出処理を行うことによって、被写体の輪郭を構成する輪郭点を検出してもよい。さらに、輪郭検出部207bは、画像データに対して周知の技術を用いて画像内における被写体の輪郭を検出してもよい。
距離算出部207cは、撮像素子203から輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点の少なくとも一部までの距離を算出する。具体的には、距離算出部207cは、AF画素203aが生成した焦点データに基づいて、輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点の少なくとも一部までの距離を算出する。たとえば、距離算出部207cは、AF画素203aが生成した焦点データに基づいて、輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点のうちの2点の距離を算出する。なお、距離算出部207cは、レンズ部3のフォーカスレンズ307が光軸Oに沿って焦点位置を中心に微小な幅で往復移動するWob駆動される毎に、被写体の輪郭を構成する複数の輪郭点それぞれの距離を算出してもよい。
焦点位置取得部207dは、後述するレンズ部3のフォーカスレンズ307の焦点位置を取得する。具体的には、焦点位置取得部207dは、後述するレンズ部3のフォーカス位置検出部309が検出したフォーカスレンズ307の光軸O上における位置を取得する。
形状判定部207eは、輪郭検出部207bが検出した被写体の輪郭と距離算出部207cが算出した距離とに基づいて、レンズ部3の光軸Oに沿って(奥行き方向)被写体の形状が同じであるか否かを判定する。また、形状判定部207eは、レンズ部3の光軸Oに沿って被写体の輪郭の幅が一定の範囲内で連続しているか否かを判定する。
特殊効果処理部207fは、1つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせる特殊効果処理を行って処理画像データを生成する。特殊効果処理で組み合わされる画像処理は、たとえば、ぼかし処理、シェーディング追加処理、ノイズ重畳処理、彩度変更処理およびコントラスト強調処理のいずれか1つ以上である。また、特殊効果処理部207fは、1つの画像データに対して、撮像素子203から被写体の輪郭を構成する複数の輪郭点の遠近分布に従って被写体を構成する複数の輪郭点で決まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する。ここで、複数の輪郭点の遠近分布とは、距離算出部207cによって算出された被写体の輪郭を構成する複数の輪郭点の各々までの距離(撮像装置1の視野内で撮像装置1から遠ざかる奥行き方向の距離)の分布である。即ち、特殊効果処理部207fは、距離算出部207cによって算出された被写体の輪郭を構成する複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って処理画像データを生成する。
図4は、特殊効果処理部207fが行う特殊効果処理の概要を示す図である。図4では特殊効果処理として、ファンタジックフォーカス、ファンタジックフォーカス+スターライト、ファンタジックフォーカス+ホワイトエッジ、ポップアート、ポップアート+スターライト、ポップアート+ピンホール、ポップアート+ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの10種類が記載されている。以下、これらの特殊効果処理について説明する。
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、たとえばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス+スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス+ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周辺部(周縁部)に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、たとえば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート+スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート+ピンホールは、ポップアートに加えて、画像の周辺部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト(ピンホール)を施す処理である。トイフォトの詳細については、後述する。
ポップアート+ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく(暗く)なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、たとえばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される(トイフォト、シェーディングの詳細な内容については、たとえば特開2010−74244号公報を参照)。
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、たとえばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される(ラフモノクロームの詳細な内容については、たとえば特開2010−62836号公報を参照)。このうち、ノイズパターン重畳処理(ノイズ付加処理)は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、たとえば乱数などを発生させ、この乱数に基づいて生成してもよい。
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、たとえば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。
図3に戻り、撮像装置1の構成の説明を続ける。
AE処理部208は、バス226を介してSDRAM223に記録された画像データを取得し、取得した画像データに基づいて、撮像装置1が静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、AE処理部208は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値、シャッタ速度、ISO感度等を決定することで撮像装置1の自動露出を行う。
AF処理部209は、バス226を介してSDRAM223に記録された焦点データを取得し、取得した焦点データに基づいて、撮像装置1の自動焦点の調整を行う。たとえば、AF処理部209は、焦点データに基づいて、被写体までの測距演算処理を行うことによってレンズ部3のデフォーカス量を算出し、この算出結果に従って撮像装置1の自動焦点の調整を行う位相差AF処理(像面位相差AF方式)を行う。なお、AF処理部209は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してAF(Auto Focus)演算処理(コントラストAF方式)を行うことによって、撮像装置1の合焦評価を決定することで撮像装置1の自動焦点の調整を行ってもよい。さらに、AF処理部209は、瞳分割位相差法を用いて撮像装置1の自動焦点の調整を行ってもよい。
画像圧縮展開部210は、バス226を介してSDRAM223から画像データや処理画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをメモリI/F222を介して記録媒体221へ出力する。ここで、所定の形式としては、JPEG(Joint Photographic Experts Group)方式、MotionJPEG方式およびMP4(H.264)方式等である。また、画像圧縮展開部210は、バス226およびメモリI/F222を介して記録媒体221に記録された画像データ(圧縮画像データ)を取得し、取得した画像データを展開(伸長)してSDRAM223へ出力する。
入力部211は、撮像装置1の電源状態をオン状態またはオフ状態に切り替える電源スイッチ211aと、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズスイッチ211bと、撮像装置1の各種設定を切り替える操作スイッチ211cと、撮像装置1の各種設定を背面表示部216に表示させるメニュースイッチ211dと、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画スイッチ211eと、記録媒体221に記録された画像データに対応する画像を背面表示部216に表示させる再生スイッチ211fと、を有する。レリーズスイッチ211bは、外部からの押圧により進退可能であり、半押しされた場合に撮影準備動作を指示する指示信号のファーストレリーズ信号の入力を受け付ける一方、全押しされた場合に静止画撮影を指示するセカンドレリーズ信号の入力を受け付ける。
アクセサリ通信部212は、本体部2に装着される外部機器との通信を行うための通信インターフェースである。
接眼表示部213は、本体制御部227の制御のもと、バス226を介してSDRAM223に記録された画像データに対応するライブビュー画像または再生画像を表示する。この意味で、接眼表示部213は、電子ビューファインダ(EVF)として機能する。接眼表示部213は、液晶または有機EL(Electro Luminescence)からなる表示パネルおよび駆動ドライバ等を用いて構成される。
アイセンサ214は、接眼表示部213に対するユーザ(物体)の接近を検出し、この検出結果を本体制御部227へ出力する。具体的には、アイセンサ214は、ユーザが接眼表示部213で画像を確認しているか否かを検出する。アイセンサ214は、接触センサや赤外線センサ等を用いて構成される。
可動部215は、背面表示部216およびタッチパネル217が設けられ、ヒンジ215aを介して可動可能に本体部2に設けられる。たとえば、可動部215は、本体部2の鉛直方向に対して背面表示部216が上向き、または下向きに変更可能に本体部2に設けられる(図2を参照)。
背面表示部216は、本体制御部227の制御のもと、バス226を介してSDRAM223に記録された画像データまたは記録媒体221に記録された画像データを取得し、取得した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間(たとえば3秒間)だけ表示するレックビュー表示、記録媒体221に記録された画像データを再生する再生表示、および撮像素子203が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。背面表示部216は、液晶または有機ELからなる表示パネルおよび駆動ドライバ等を用いて構成される。また、背面表示部216は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。なお、本実施の形態1では、接眼表示部213または背面表示部216が表示部として機能する。
タッチパネル217は、背面表示部216の表示画面上に重畳して設けられる。タッチパネル217は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を本体制御部227へ出力する。また、タッチパネル217は、ユーザが背面表示部216で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置1が行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル217としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態1では、いずれの方式のタッチパネルであっても適用可能である。さらに、可動部215、背面表示部216およびタッチパネル217は、一体的に形成してもよい。
回動判定部218は、可動部215の回動状況を判定し、この検出結果を本体制御部227へ出力する。たとえば、回動判定部218は、本体部2に対して可動部215が可動しているか否かを判定し、この判定結果を本体制御部227へ出力する。
状態検出部219は、加速度センサおよびジャイロセンサを用いて構成され、撮像装置1に生じる加速度および角速度をそれぞれ検出し、この検出結果を本体制御部227へ出力する。
時計220は、計時機能および撮影日時の判定機能を有する。時計220は、撮像素子203によって撮像された画像データに日時データを付加するため、日時データを本体制御部227へ出力する。
記録媒体221は、撮像装置1の外部から装着されるメモリカード等を用いて構成される。記録媒体221は、メモリI/F222を介して撮像装置1に着脱自在に装着される。記録媒体221には、画像処理部207や画像圧縮展開部210が処理を施した画像データが書き込まれる。また、記録媒体221は、本体制御部227によって記録された画像データが読み出される。
SDRAM223は、バス226を介してA/D変換部206から入力される画像データ、画像処理部207から入力される画像データおよび撮像装置1の処理中の情報を一時的に記録する。たとえば、SDRAM223は、信号処理部205、A/D変換部206およびバス226を介して撮像素子203が1フレーム毎に順次出力する画像データを一時的に記録する。SDRAM223は、揮発メモリを用いて構成される。
Flashメモリ224は、プログラム記録部224aを有する。プログラム記録部224aは、撮像装置1を動作させるための各種プログラムや本実施の形態1にかかるプログラムおよびプログラムの実行中に使用される各種データおよび画像処理部207による画像処理の動作に必要な各画像処理のパラメータ、および図4に示した特殊効果処理部207fによる特殊効果処理の画像処理の組み合わせ等を記録する。Flashメモリ224は、不揮発性メモリを用いて構成される。
本体通信部225は、本体部2に装着されるレンズ部3との通信を行うための通信インターフェースである。
バス226は、撮像装置1の各構成部位を接続する伝送路等を用いて構成される。バス226は、撮像装置1の内部で発生した各種データを撮像装置1の各構成部に転送する。
本体制御部227は、CPU(Central Processing Unit)等を用いて構成される。本体制御部227は、入力部211からの指示信号またはタッチパネル217からの位置信号に応じて撮像装置1を構成する各部に対応する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。
本体制御部227の詳細な構成について説明する。本体制御部227は、撮像制御部227aと、表示制御部227bと、を有する。
撮像制御部227aは、レリーズスイッチ211bからレリーズ信号が入力された場合、撮像装置1における撮影動作を開始する制御を行う。ここで、撮像装置1における撮影動作とは、シャッタ駆動部202の駆動によって撮像素子203が出力した画像データに対し、信号処理部205、A/D変換部206および画像処理部207が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部227aの制御のもと、画像圧縮展開部210で圧縮され、バス226およびメモリI/F222を介して記録媒体221に記録される。
表示制御部227bは、画像データに対応する画像を背面表示部216および/または接眼表示部213に表示させる。具体的には、表示制御部227bは、接眼表示部213の電源がオン状態である場合、画像データに対応するライブビュー画像を接眼表示部213に表示させる一方、接眼表示部213の電源がオフ状態である場合、画像データに対応するライブビュー画像を背面表示部216に表示させる。
以上の構成を有する本体部2に対して、音声入出力機能、フラッシュ機能および外部と双方向に通信可能な通信機能等を具備させてもよい。
次に、レンズ部3について説明する。レンズ部3は、ズームレンズ301と、ズーム駆動部302と、ズーム位置検出部303と、絞り304と、絞り駆動部305と、絞り値検出部306と、フォーカスレンズ307と、フォーカス駆動部308と、フォーカス位置検出部309と、レンズ操作部310と、レンズFlashメモリ311と、レンズ通信部312と、レンズ制御部313と、を備える。
ズームレンズ301は、一または複数のレンズを用いて構成される。ズームレンズ301は、レンズ部3の光軸O上に沿って移動することにより、撮像装置1の光学ズームの倍率を変更する。たとえば、ズームレンズ301は、焦点距離が12mm〜50mmの間で焦点距離を変更することができる。
ズーム駆動部302は、DCモータまたはステッピングモータ等を用いて構成され、レンズ制御部313の制御のもと、ズームレンズ301を光軸O上に沿って移動させることにより、撮像装置1の光学ズームの変更を行う。
ズーム位置検出部303は、フォトインタラプタ等を用いて構成され、光軸O上におけるズームレンズ301の位置を検出し、この検出結果をレンズ制御部313へ出力する。
絞り304は、ズームレンズ301が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部305は、ステッピングモータ等を用いて構成され、レンズ制御部313の制御のもと、絞り304を駆動することにより、撮像装置1の絞り値(F値)を変更する。
絞り値検出部306は、フォトインタラプタやエンコーダ等を用いて構成され、絞り304の現在の状況から絞り値を検出し、この検出結果をレンズ制御部313へ出力する。
フォーカスレンズ307は、一または複数のレンズを用いて構成される。フォーカスレンズ307は、レンズ部3の光軸O上に沿って移動することにより、撮像装置1の焦点位置を変更する。なお、本実施の形態1では、ズームレンズ301およびフォーカスレンズ307が光学系として機能する。
フォーカス駆動部308は、DCモータやステッピングモータ等を用いて構成され、レンズ制御部313の制御のもと、フォーカスレンズ307を光軸Oに沿って移動させることにより、撮像装置1のピント位置を調整する。
フォーカス位置検出部309は、フォトインタラプタ等を用いて構成され、光軸O上におけるフォーカスレンズ307の位置を検出し、この検出結果をレンズ制御部313へ出力する。
レンズ操作部310は、図1に示すように、レンズ部3のレンズ鏡筒の周囲に設けられるリングであり、レンズ部3における光学ズームの変更を指示する指示信号の入力またはレンズ部3におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部310は、プッシュ式のスイッチやレバー式のスイッチ等であってもよい。
レンズFlashメモリ311は、ズームレンズ301、絞り304およびフォーカスレンズ307の位置および動きをそれぞれ決定するための制御プログラム、レンズ部3のレンズ特性および各種パラメータを記録する。ここで、レンズ特性とは、レンズ部3の色収差、画角情報、明るさ情報(f値)および焦点距離情報(たとえば50mm〜300mm)である。
レンズ通信部312は、レンズ部3が本体部2に装着された際に、本体部2の本体通信部225と通信を行うための通信インターフェースである。
レンズ制御部313は、CPU等を用いて構成される。レンズ制御部313は、レンズ操作部310からの指示信号または本体部2からの指示信号に応じてレンズ部3の動作を制御する。具体的には、レンズ制御部313は、レンズ操作部310からの指示信号に応じて、フォーカス駆動部308を駆動させてフォーカスレンズ307によるピント調整やズーム駆動部302を駆動させてズームレンズ301の光学ズームのズーム倍率の変更を行う。なお、レンズ制御部313は、レンズ部3が本体部2に装着された際に、レンズ部3のレンズ特性およびレンズ部3を識別する識別情報を本体部2に送信してもよい。
以上の構成を有する撮像装置1が実行する処理について説明する。図5は、撮像装置1が実行する処理の概要を示すフローチャートである。
図5に示すように、まず、電源スイッチ211aが操作された撮像装置1が起動した際に、撮像装置1が撮影モードに設定されている場合(ステップS101:Yes)について説明する。この場合において、撮像制御部227aは、撮像素子駆動部204を駆動させることによって、撮像素子203に撮像させる(ステップS102)。
続いて、撮像装置1に距離アートが設定されている場合(ステップS103:Yes)、撮像装置1は、撮像装置1から遠ざかる方向に沿って存在する被写体の距離毎に応じて特殊効果処理部207fによる特殊効果処理のパラメータを変更して特殊効果処理を画像データに実行させて処理画像データを生成する距離アート処理を実行する(ステップS104)。なお、距離アート処理の詳細な説明は後述する。これに対して、撮像装置1に距離アートが設定されていない場合(ステップS103:No)、撮像装置1は、ステップS105へ移行する。
続いて、表示制御部227bは、撮像素子203が撮像し、信号処理部205、A/D変換部206および画像処理部207がそれぞれ所定の処理を行ったライブビュー画像データに対応するライブビュー画像を接眼表示部213または背面表示部216に表示させる(ステップS105)。この場合、表示制御部227bは、アイセンサ214が撮影者(物体)を検出した場合、ライブビュー画像を接眼表示部213に表示させる。たとえば、表示制御部227bは、図6に示すライブビュー画像LV0を接眼表示部213に表示させる。なお、図6は、基本画像処理部207aによる基本の画像処理が画像データに対して施された状態を示す。
その後、レリーズスイッチ211bから撮影を指示するレリーズ信号が入力された場合(ステップS106:Yes)、撮像制御部227aは、撮影を実行する(ステップS107)。この場合において、撮像制御部227aは、撮像装置1に距離アートが設定されているとき、後述する距離アート処理で設定された設定内容に応じた特殊効果処理を特殊効果処理部207fに実行させて生成させた処理画像データを記録媒体221に記録する。
続いて、電源スイッチ211aが操作され、撮像装置1の電源がオフされた場合(ステップS108:Yes)、撮像装置1は、本処理を終了する。これに対して、電源スイッチ211aが操作されず、撮像装置1の電源がオフされていない場合(ステップS108:No)、撮像装置1は、ステップS101へ戻る。
ステップS106において、レリーズスイッチ211bから撮影を指示するレリーズ信号が入力されていない場合(ステップS106:No)、撮像装置1は、ステップS101へ戻る。
ステップS101において、撮像装置1が撮影モードに設定されていない場合(ステップS101:No)について説明する。この場合において、撮像装置1が再生モードに設定されているとき(ステップS109:Yes)、撮像装置1は、記録媒体221に記録された画像データに対応する画像を背面表示部216または接眼表示部213に表示させる再生表示処理を実行する(ステップS110)。ステップS110の後、撮像装置1は、ステップS108へ移行する。
ステップS109において、撮像装置1が再生モードに設定されていないとき(ステップS109:No)、撮像装置1は、ステップS108へ移行する。
次に、図5のステップS104で説明した距離アート処理について詳細に説明する。図7は、距離アート処理の概要を示すフローチャートである。
図7に示すように、焦点位置取得部207dは、レンズ部3から現在の焦点位置を取得する(ステップS201)。
続いて、輪郭検出部207bは、SDRAM223から画像データを取得し、取得した画像データに含まれる輝度成分を抽出し(ステップS202)、抽出した輝度成分に対して2次微分の絶対値を算出することによって、被写体の輪郭を検出する(ステップS203)。
続いて、距離算出部207cは、SDRAM223に記憶されたAF画素203aによって生成された焦点データに基づいて、撮像装置1から輪郭検出部207bが検出した被写体の輪郭を構成する輪郭点までの距離を算出する(ステップS204)。具体的には、距離算出部207cは、AF画素203aが生成した焦点データに基づいて、撮像素子203から輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点それぞれの距離を算出する測距算出処理を行う。なお、距離算出部207cは、フォーカスレンズ307が光軸O上を移動する毎に、被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離を算出してもよい。さらに、距離算出部207cは、フォーカスレンズ307が焦点位置を中心に微小な幅で往復するWob駆動される毎に、被写体の輪郭を構成する輪郭点までの距離を算出してもよい。また、距離算出部207cは、被写体の輪郭を構成する複数の輪郭点のうち、少なくとも2つ以上の距離を算出すればよい。
その後、形状判定部207eは、輪郭検出部207bが検出した被写体の輪郭と距離算出部207cが算出した被写体の輪郭を構成する複数の輪郭点の距離とに基づいて、被写体の輪郭内において同じ色(Low-Contrast)で互いに異なる距離の対象物(被写体)の形状を判定する(ステップS205)。具体的には、形状判定部207eは、レンズ部3の光軸Oに沿って被写体の形状が同じであるか否かを判定する。
図8は、形状判定部207eによる互いに異なる距離の対象物の形状を判定する判定方法の概要を説明する模式図である。図9は、形状判定部207eが判定する画像の一例を示す。なお、図9の画像LV1上の被写体P1(レンズ部3の光軸Oに沿って遠ざかる方向に沿って存在する道)の輪郭L1,L2との幅は、撮像素子203上で結像される撮像面の幅に対応する。
図8および図9に示すように、まず、形状判定部207eは、輪郭検出部207bが検出した被写体の輪郭と距離算出部207cが算出した被写体の輪郭点までの距離とに基づいて、被写体の輪郭内において同じ色で互いに異なる距離の対象物の形状として対象物の幅を判定する。具体的には、形状判定部207eは、撮像素子203上に形成される異なる像の幅をX1、X2、レンズ部3の焦点距離をFとした場合、以下の式(1)〜(4)によって、撮像装置1から距離D1,D2それぞれ離れた被写体の輪郭の幅W1,W2を判定する。
1:D1=X1:F ・・・(1)
したがって、
1=(D11)/F ・・・(2)
になる。同様に、
2:D2=X2:F ・・・(3)
したがって、
2=(D22)/F ・・・(4)
この場合において、W1≒W2のとき、式(2)および式(4)より、以下の式(5)が成り立つ。
11≒D22 ・・・(5)
即ち、形状判定部207eは、式(2)、式(4)および式(5)を用いて、撮像装置1から遠ざかる奥行き方向に沿って被写体P1の輪郭の幅(輪郭点の幅)が同じであるか否かを判定する。さらに、形状判定部207eは、撮像素子203上に形成される像の幅をX3、焦点距離をFとした場合、以下の式(6)および式(7)によって、撮像素子203から距離D3離れた対象物の幅W3を判定する。
3:D3=X3:F ・・・(6)
したがって、
3=(D33)/F ・・・(7)
この場合において、W1≒W3のとき、式(2)および式(7)より、以下の式(8)が成り立つ。
11≒D33 ・・・(8)
したがって、
3=D11/D3 ・・・(9)
になる。このように、形状判定部207eは、式(8)を用いて、レンズ部3の焦点位置における被写体P1の輪郭L1,L2の幅が同じであるか否かを判定する。
続いて、形状判定部207eが輪郭検出部207bによって検出された被写体の輪郭点が同じ幅であると判定した場合(ステップS206:Yes)、撮像装置1は、後述するステップS207へ移行する。これに対して、形状判定部207eが輪郭検出部207bによって検出された被写体の輪郭が同じ幅でないと判定した場合(ステップS206:No)、撮像装置1は、図5のメインルーチンへ戻る。この場合において、表示制御部227bは、背面表示部216が表示するライブビュー画像上に、距離アートを行うことができない旨の情報、たとえば絵、アイコンおよび文字等で警告してもよい。
ステップS207において、形状判定部207eは、輪郭検出部207bによって検出された被写体の輪郭の幅が撮像装置1から遠ざかる方向に向けて画像上で減少しているか否かを判定する。具体的には、形状判定部207eは、輪郭検出部207bによって検出された被写体の輪郭の幅が撮像素子203上における受光領域で減少しているか否かを判定する。たとえば、図9に示す場合、形状判定部207eは、撮像装置1から遠ざかる奥行き方向に沿って被写体P1の幅が画像LV1上で下端から上端に向けて減少しているため、輪郭検出部207bによって検出された被写体の輪郭の幅が撮像装置1から遠ざかる方向に向けて画像上で減少していると判定する。形状判定部207eが輪郭検出部207bによって検出された被写体の輪郭の幅が撮像装置1から遠ざかる方向に向けて画像上で減少していると判定した場合(ステップS207:Yes)、撮像装置1は、後述するステップS208へ移行する。これに対して、形状判定部207eが輪郭検出部207bによって検出された被写体の輪郭の幅が撮像装置1から遠ざかる方向に向けて画像上で減少していないと判定した場合(ステップS207:No)、撮像装置1は、図5のメインルーチンへ戻る。また、道の向こう側(奥行き方向)、こちら側(手前方向)などは、画像から得られる輪郭のみならず、画面の端部であることも利用している。したがって、特殊効果処理部207fは、撮像素子203が生成した画像データに対応する画像内における被写体の輪郭を検出し、被写体の輪郭を構成する複数の輪郭点の遠近分布に従って、被写体の輪郭で囲まれた被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成するが、必要に応じて画面の端部も有効利用して被写体領域を決め特殊効果処理している。
ステップS208において、特殊効果処理部207fは、基本画像処理部207aが撮像素子203によって生成された画像データに対し、距離算出部207cが算出した被写体の輪郭を構成する複数の輪郭点の各々の距離に応じて定まる被写体領域毎に特殊効果処理を行って処理画像データを生成する。これにより、図10に示すように、特殊効果処理部207fが生成した処理画像データに対応する画像LV2は、撮像装置1の視野内で撮像装置1から遠ざかる方向(奥行き方向)に沿って距離毎に画像処理のパラメータが徐々に変更されたものになる。なお、特殊効果処理部207fが行う特殊効果処理は、予め入力部211またはタッチパネル217によって選択されて設定される。
なお、図10においては、画像処理のパラメータとして、撮像装置1から被写体P1の輪郭を構成する複数の輪郭点(たとえば輪郭点A1,A2)までのそれぞれの距離に対応する位置毎または領域毎に、彩度およびコントラストのパラメータを変更した特殊効果処理(たとえば、図4のポップアート)を模式的に示すため、グラデーションのハッチングで表現した。もちろん、画像処理のパラメータとして、彩度、色相、階調、コントラスト、ホワイトバランス、感度、ソフトフォーカスの強度およびシェーディングの強度等のパラメータを重畳または変更してもよい。また、特殊効果処理部207fは、図11に示す画像LV3に示すように、画像の水平方向だけでなく、鉛直方向に対しても特殊効果処理を行うことができる。つまり、これらの実施例では、遠近法によって、画面内の特定の位置に集約されていくような直線は、道の両脇や建物の壁、廊下などの略並行な線が奥行き方向に広がっていることを判定し、平行な線のそれぞれ同じ距離の点を結べば、コントラストがなく距離情報がなくとも、同じ距離に応じて定まる領域を仮想的に判定、画像処理可能なことを利用している。ステップS208の後、撮像装置1は、図5のメインルーチンへ戻る。
以上説明した本発明の実施の形態1によれば、撮像装置1から遠ざかる方向に沿って存在する被写体に対して、撮像装置1からの距離毎に異なる画像処理を行うことができる。
また、本発明の実施の形態1によれば、距離算出部207cが輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離を算出し、特殊効果処理部207fが距離算出部207cによって検出された被写体の輪郭を構成する複数の輪郭点の各々距離に応じて定まる領域毎に異なる画像処理を行って視覚的な効果を生じさせる。これにより、コントラストがないシーンで被写体を撮影する場合であっても、撮像装置1からの距離毎に異なる画像処理を行った処理画像データを生成することができる。そのため、画面に奥行き感を与え、距離の情報(必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い)を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザへの情報伝達が可能となる。画像表現の重要な要素である遠近感を用いたアート表現は、より自然な効果で、臨場感を与え、見るものを魅了することは言うまでもない。
なお、本発明の実施の形態1では、距離算出部207cが輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点それぞれの距離を算出していたが、タッチパネル217を介して選択された被写体に対して距離を算出してもよい。図12は、タッチパネル217を介して被写体を選択する際の状況を示す模式図である。図12に示すように、距離算出部207cは、タッチパネル217を介してタッチされた画像LV4上の被写体P1に対して撮像装置1から遠ざかる方向の距離を算出してもよい。
また、本発明の実施の形態1では、特殊効果処理部207fの画像処理として画像処理のパラメータを変更していたが、たとえば撮像装置1から被写体を構成する複数の輪郭点までのそれぞれの距離に対応する位置毎に画像処理の組み合わせを変更してもよい。さらに、特殊効果処理部207fは、撮像装置1から被写体を構成する複数の輪郭点までのそれぞれの距離に対応する位置毎に、所定の波長帯域(たとえば、赤:600nm〜700nm、緑:500nm〜600nm、青:400nm〜500nm)を抽出した画像データを合成してもよい。
また、本発明の実施の形態1では、画像処理部207を画像処理装置として他の機器、たとえば携帯電話や携帯型端末装置に搭載することにより、本発明を適用することができる。さらに、被検体内を撮像して被検体の画像データを生成する内視鏡装置と、内視鏡装置からの画像データに対して画像処理を行う処理装置と、処理装置が画像処理を施した画像データに対応する画像を表示装置と、を備えた内視鏡システムの処理装置に画像処理部207を搭載することにより、本発明を適用することができる。即ち、観察者や術者に画像処理で強調する画像を直感的に把握させることができれば、産業用の観察装置や医療用の検査装置にも有効であることは言うまでもない。奥行き情報(撮像装置1からの距離情報)に従った画像表現によって、観察者の視覚を補助し、理解を助けることが可能となる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2にかかる撮像装置は、上述した実施の形態1にかかる撮像装置1の画像処理部の構成が異なるとともに、撮像装置が実行する距離アート処理が異なる。このため、以下においては、本実施の形態2にかかる撮像装置の構成を説明後、撮像装置が実行する距離アート処理について説明する。なお、上述した実施の形態1にかかる撮像装置1と同様の構成には同一の符号を付して説明を省略する。
図13は、本実施の形態2にかかる撮像装置の機能構成を示すブロック図である。図13に示す撮像装置100は、レンズ部3と、本体部101と、を備える。本体部101は、上述した実施の形態1の画像処理部207に換えて画像処理部401を備える。
画像処理部401は、基本画像処理部207aと、輪郭検出部207bと、距離算出部207cと、焦点位置取得部207dと、形状判定部207eと、特殊効果処理部401aと、を有する。
特殊効果処理部401aは、距離算出部207cが算出した撮像装置100から輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離に基づいて、画像データに対応する画像上にテキストデータ、図形データおよび記号データのいずれか1つ以上を重畳する特殊効果処理を行って処理画像データを生成する。
次に、撮像装置100が実行する距離アートについて説明する。図14は、撮像装置100が実行する距離アート処理の概要を示すフローチャートである。図14において、ステップS301〜ステップS307は、図7のステップS201〜ステップS207それぞれに対応する。
ステップS308において、特殊効果処理部401aは、基本画像処理部207aによって基本の画像処理が施された画像データに対応する画像に対して、距離算出部207cが算出した撮像装置100から輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に予め設定されたテキストデータとしての文字を重畳した処理画像データを生成する。具体的には、特殊効果処理部401aは、距離算出部207cが算出した撮像装置100から輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離で挟まれた輪郭内に対して、予め設定された文字を重畳した処理画像データを生成する。
図15は、特殊効果処理部401aが文字を重畳する画像の一例を示す図である。図16は、特殊効果処理部401aによる被写体の輪郭内に対して文字を重畳する際の文字の割当方法の概要を説明する模式図である。なお、図15の画像LV11において、被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離の輪郭点A1および輪郭点A2で挟まれた被写体P1の領域上に文字を割り当てる際の割当方法を説明する。また、図15および図16においては、予め設定された文字の数を4文字(PARK)として説明する。
図15および図16に示すように、特殊効果処理部401aは、距離算出部207cが算出した被写体の輪郭を構成する複数の輪郭点のうち互いに異なる距離の輪郭点で挟まれた被写体P1の輪郭内に対して、予め設定された文字の領域を割り当てる。具体的には、特殊効果処理部401aは、撮像装置100から被写体P1の輪郭点A1までの距離をD1、撮像装置1から被写体P1の輪郭点A2までの距離をD2、画像LV11に重畳する文字の数をNとした場合、以下の式(10)によって、一文字当たりの領域ΔDを算出する。
ΔD=(D1−D2)/N ・・・(10)
そして、特殊効果処理部401aは、領域ΔDおよび画像LV11上における距離D1から距離D2までの高さYrに基づいて、画像LV11上に重畳する領域ΔD内における文字の大きさを設定する。たとえば、特殊効果処理部401aは、撮像装置100から遠ざかる方向に沿って(画像LV11上において下端から上端に向けて)文字が小さくなるように領域ΔD内における各文字の画像上の大きさを設定する。具体的には、特殊効果処理部401aは、領域ΔD内における各文字の画像上の大きさをX11〜X14とした場合、以下の条件(11)を満たすように領域ΔD内における各文字の画像上の大きさを設定する。
11:X12:X13:X14=(1/(D+3・ΔD)−1/D1):(1/(D+2・ΔD)−1/(D2+3・ΔD)):(1/(D−ΔD)−1/(D2+2・ΔD)):(1/D−1/(D1+ΔD))
・・・(11)
このように、特殊効果処理部401aは、画像LV11上に重畳する文字の大きさが条件(11)の比率になるように調整する。具体的には、図17に示すように、特殊効果処理部401aは、画像LV11上に重畳する各文字の大きさを調整する。その後、特殊効果処理部401aは、画像LV11上に各文字を重畳した処理画像データを生成する。これにより、図18に示すように、特殊効果処理部401aが生成した処理画像データに対応する画像LV12は、撮像装置100から遠ざかる方向に沿って各文字が徐々に小さくなったものとなり、被写体P1の幅の減少に応じて自然な仕上がりになる。なお、特殊効果処理部401aは、画像LV11上に重畳する文字の大きさが撮像装置100からの距離の逆数になるように調整してもよい。ステップS308の後、撮像装置100は、図5のメインルーチンへ戻る。
以上説明した本発明の実施の形態2によれば、撮像装置100から遠ざかる方向に沿って存在する被写体に対して、撮像装置100からの距離毎に異なる文字を重畳した画像処理を行うことができる。そのため、画面に奥行き感を与え、距離の情報(必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い)を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザへの情報伝達が可能となる。奥行き情報に従った画像表現によって、観察者の視覚を自然に補助し、見間違いを防止し、次の撮影や行動に対して間違いを防ぐ補助情報の表示にも有効で、撮影や観察を補助することが可能となる。
また、本発明の実施の形態2によれば、距離算出部207cが輪郭検出部207bによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離を算出し、特殊効果処理部401aが距離算出部207cによって検出された被写体の輪郭を構成する複数の輪郭点までのそれぞれの距離に対応する位置毎に異なる画像処理を行って視覚的な効果を生じさせる。これにより、コントラストがないシーンで被写体を撮影する場合であっても、撮像装置100からの距離毎に異なる文字を重畳した処理画像データを生成することができる。
なお、本発明の実施の形態2では、特殊効果処理部401aがテキストデータとして文字を重畳していたが、たとえば図形データとして予め設定された図形や記号等を重畳して処理画像データを生成してもよい。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3にかかる撮像装置は、上述した実施の形態1にかかる撮像装置1の画像処理の構成が異なるとともに、撮像装置が実行する距離アート処理が異なる。このため、以下においては、本実施の形態3にかかる撮像装置の構成を説明後、撮像装置が実行する距離アート処理について説明する。なお、上述した実施の形態1にかかる撮像装置1と同様の構成には同一の符号を付して説明を省略する。
図19は、本実施の形態3にかかる撮像装置の機能構成を示すブロック図である。図19に示す撮像装置110は、レンズ部3と、本体部111と、を備える。本体部111は、上述した実施の形態1の画像処理部207に換えて画像処理部410を備える。
画像処理部410は、基本画像処理部207aと、距離算出部207cと、焦点位置取得部207dと、特殊効果処理部207fと、輪郭検出部411と、を有する。
輪郭検出部411は、撮像素子203が生成した画像データに対応する画像内における被写体の輪郭を検出する。輪郭検出部411は、撮像素子203が生成した画像データの輝度成分を抽出する輝度抽出部411aと、輝度抽出部411aが抽出した輝度成分に基づいて、画像データのコントラストを検出するコントラスト検出部411bと、画像データに対応する画像に対して、コントラスト検出部411bが検出した互いに異なるコントラストのピーク(頂点)で挟まれた領域を判定する領域判定部411cと、を有する。また、領域判定部411cは、タッチパネル217がタッチした位置が互いに異なるコントラストのピークで挟まれた領域であるか否かを判定する。
次に、撮像装置110が実行する距離アート処理について説明する。図20は、撮像装置110が実行する距離アート処理の概要を示すフローチャートである。
図20に示すように、まず、タッチパネル217に対してタッチがあった場合(ステップS401:Yes)、撮像制御部227aは、タッチ位置の画像上に対応する視野領域に対してレンズ部3のピント位置を設定する(ステップS402)。具体的には、撮像制御部227aは、レンズ部3を制御することによって、タッチ位置にレンズ部3のピント位置が合うようにフォーカスレンズ307を光軸O上で移動させる。
続いて、輝度抽出部411aは、SDRAM223から画像データを取得し、取得した画像データに含まれる輝度成分を抽出し(ステップS403)、コントラスト検出部411bは、輝度抽出部411aが抽出した輝度成分に基づいて、画像データのコントラストを検出する(ステップS404)。
その後、領域判定部411cは、タッチ位置が互いに異なるコントラストのピークで挟まれた領域内であるか否かを判定する(ステップS405)。
図21は、領域判定部411cによるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。図21において、背面表示部216が表示するライブビュー画像LV21上の横方向をX軸とし、縦方向をY軸とする。また、図21(a)がタッチ位置近傍のX方向の輝度成分を示し、図21(b)がタッチ位置近傍のX方向のコントラストを示す。また、図21(c)がタッチ位置近傍のY方向の輝度成分を示し、図21(d)がタッチ位置近傍のY方向のコントラストを示す。また、曲線BxがX軸方向の輝度成分の変化を示し、曲線CXがX軸方向のコントラストの変化を示し、曲線BがY軸方向の輝度成分の変化を示し、曲線CがY軸方向のコントラストの変化を示す。
図21に示すように、領域判定部411cは、タッチ位置がX軸上において2つのコントラストのピークM1,M2に挟まれ、かつ、タッチ位置がY軸上において2つのコントラストのピークM3,M4に挟まれている領域(R1,R2)内であるか否かを判定する。図21に示す場合、領域判定部411cは、タッチ位置が互いに異なるコントラストのピークで挟まれた領域内であると判定する。
領域判定部411cによってタッチ位置が互いに異なるコントラストのピークで挟まれた領域内であると判定された場合(ステップS405:Yes)、撮像装置110は、後述するステップS406へ移行する。これに対して、領域判定部411cによってタッチ位置が互いに異なるコントラストのピークで挟まれた領域内でないと判定された場合(ステップS405:No)、撮像装置110は、ステップS407へ移行する。
ステップS406において、特殊効果処理部207fは、領域判定部411cによってタッチ位置がコントラストのピークで挟まれた領域内に対応する画像データに対して特殊効果処理を実行して処理画像データを生成する。これにより、図22に示すように、表示制御部227bは、特殊効果処理部207fが特殊効果処理を行った画像データに対応するライブビュー画像LV23を背面表示部216に表示させることができる。この結果、ユーザは、直感的な操作によって、コントラストがない被写体に対しても所望の特殊効果処理を行うことができる。なお、図22においては、特殊効果処理の効果を表現するため、ハッチングで表現した。ステップS406の後、撮像装置110は、図5のメインルーチンへ戻る。
ステップS407において、タッチパネル217に対して、スライド操作が行われた場合(ステップS407:Yes)において、領域判定部411cは、スライド操作によるスライド方向に互いに異なるコントラストのピークで挟まれた領域があるか否かを判定する(ステップS408)。
図23A〜図23Cは、領域判定部411cによるスライド方向におけるコントラストのピークで挟まれた領域を判定する判定方法の概要を示す模式図である。図23A〜図23Cにおいて、背面表示部216が表示するライブビュー画像LV22上の横方向をX軸とし、縦方向をY軸とする。また、図23A(a)〜図23C(a)がスライド位置のX方向のコントラストを示し、図23A(b)〜図23C(b)がスライド位置のY方向のコントラストを示す。さらに、曲線CXがX軸方向のコントラストの変化を示し、曲線CがY軸方向のコントラストの変化を示す。
図23A〜図23Cに示すように、領域判定部411cは、タッチパネル217上におけるスライド操作のスライド方向(矢印Z方向)に沿ってX軸上に2つのコントラストのピークM1,M2に挟まれ、かつ、Y軸上に2つのコントラストのピークM3,M4があるか否かを判定する。図23A〜図23Cに示す場合、領域判定部411cは、スライド操作によるタッチパネル217上のスライド方向にコントラストのピークで挟まれた領域があると判定する。この場合、撮像制御部227aは、タッチパネル217から入力されるタッチ位置の軌跡に基づいて、レンズ部3のフォーカスレンズ307を光軸O方向に沿って移動させることによって、レンズ部3の焦点位置をスライド方向に追従させる。
ステップS408において、領域判定部411cがスライド操作によるスライド方向に互いに異なるコントラストのピークで挟まれた領域があると判定した場合(ステップS408:Yes)、特殊効果処理部207fは、領域判定部411cによって判定された領域に対応する画像データに対して特殊効果処理を実行して処理画像データを生成する(ステップS409)。これにより、図24に示すように、表示制御部227bは、特殊効果処理部207fが特殊効果処理を行った処理画像データに対応するライブビュー画像LV24を背面表示部216に表示させることができる。なお、図24においては、特殊効果処理の効果を表現するため、ハッチングで表現した。ステップS409の後、撮像装置110は、図5のメインルーチンへ戻る。
ステップS407において、タッチパネル217に対して、スライド操作が行われていない場合(ステップS407:No)、撮像装置110は、図5のメインルーチンへ戻る。
ステップS408において、領域判定部411cがスライド操作によるスライド方向に互いに異なるコントラストのピークで挟まれた領域がないと判定した場合(ステップS408:No)、撮像装置110は、図5のメインルーチンへ戻る。
ステップS401において、タッチパネル217に対してタッチがない場合(ステップS401:No)、撮像装置110は、図5のメインルーチンへ戻る。
以上説明した本発明の実施の形態3によれば、撮像装置110から遠ざかる方向に沿って存在する被写体に対して、撮像装置110からの距離毎に異なる画像処理を行うことができる。
また、本発明の実施の形態3によれば、特殊効果処理部207fが領域判定部411cによってタッチパネル217から入力される位置信号に対応する位置が互いに異なるコントラストのピークで挟まれたと判定された領域に対応する画像データに対して、特殊効果処理を行った処理画像データを生成するので、コントラストがないシーンで被写体を撮影する場合であっても、撮像装置110からの距離毎に異なる画像処理を行った処理画像データを生成することができる。そのため、距離によって移り変わる光の表現や、陰影の表現で、べた塗り風の看板表現ではなく、さらに芸術的な表現が可能である。もちろん、ゴーギャンのような「クロワゾニズム」風の表現でも芸術的ではあるが、リアリティを追求すれば、奥行き感の追求はルネサンス以来、重要な表現技法である。また、画家の筆遣いや、刷毛の流れなど、同じ色の面であっても、何らかのリズム感が、作品に躍動感を与えることがあり、特定の規則に従った(ここでは遠近)、変化のある画像処理によって同様の効果が期待できる。つまり、画面に奥行き感やリズム感を与え、距離の情報(必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い)を有効利用した、変化に富む、豊かな画像表現力が得られる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。本実施の形態4にかかる撮像装置は、上述した実施の形態3にかかる撮像装置110と同様の構成を有し、撮像装置が実行する距離アート処理が異なる。このため、以下においては、本実施の形態4にかかる撮像装置が実行する距離アート処理について説明する。なお、上述した実施の形態3にかかる撮像装置110と同様の構成には同一の符号を付して説明を省略する。
図25は、本実施の形態4にかかる撮像装置110が実行する距離アート処理の概要を示すフローチャートである。図25において、ステップS501〜S506は、図20のステップS401〜ステップS406にそれぞれ対応する。
ステップS507において、タッチパネル217に対してタッチがあった場合(ステップS507:Yes)、撮像装置110は、ステップS502へ戻る。これに対して、タッチパネル217に対してタッチがない場合(ステップS507:No)、撮像装置110は、ステップS508へ移行する。
続いて、特殊効果処理部207fは、処理画像データに対応する処理画像における未画像処理の領域に対して、他の領域と異なる特殊効果処理を実行する(ステップS508)。具体的には、図26に示すように、特殊効果処理部207fは、処理画像データに対応する処理画像LV31における未画像処理の領域Q1に対して、他の領域と異なる特殊効果処理を実行する(図26(a)→図26(b))。これにより、図26(b)に示すように、表示制御部227bは、特殊効果処理部207fが特殊効果処理を行った処理画像データに対応するライブビュー画像LV32を背面表示部216に表示させることができる。なお、図26においては、特殊効果処理の効果を表現するため、ハッチングで表現した。ステップS508の後、撮像装置110は、図5のメインルーチンへ戻る。
以上説明した本発明の実施の形態4によれば、撮像装置110から遠ざかる方向に沿って存在する被写体に対して、撮像装置110からの距離毎に異なる画像処理を行うことができる。そのため、画面に奥行き感を与え、距離の情報(必ずしも絶対的な距離である必要はなく、相対的な遠近情報、凹凸情報でも良い)を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザへの情報伝達が可能となる。また、ユーザーの好みを、タッチによって直感的に画像表現に反映させられることが特徴となっている。画像を領域分割し、その領域内の奥行き方向の位置変化に従った画像処理を行っている。
(実施の形態5)
次に、本発明の実施の形態5について説明する。本実施の形態5は、上述した実施の形態1にかかる撮像装置1の構成と異なるうえ、撮像装置が実行する処理も異なる。このため、以下においては、本実施の形態5にかかる撮像装置の構成を説明後、本実施の形態5にかかる撮像装置が実行する処理について説明する。なお、上述した実施の形態1にかかる撮像装置1と同様の構成には同一の符号を付して説明を省略する。
図27は、本実施の形態5にかかる撮像装置の機能構成を示すブロック図である。図27に示す撮像装置120は、レンズ部501と、撮像部502と、輪郭検出部503と、画像処理部504と、表示部505と、入力部506と、記録部507と、を備える。
レンズ部501は、一または複数のレンズおよび絞り等を用いて構成され、被写体像を撮像部502の受光面に結像する。
撮像部502は、レンズ部501が結像した被写体像を受光して光電変換を行うことによって被写体の画像データを生成する。撮像部502は、CCD(Charge Coupled Device)またはCMOSを用いて構成される。撮像部502は、画像データを輪郭検出部503および画像処理部504へ出力する。
輪郭検出部503は、撮像部502が生成した画像データに対応する画像内における被写体の輪郭を検出する。具体的には、輪郭検出部503は、画像データの輝度成分を抽出し、この抽出した輝度成分に対して2次微分の絶対値を算出することによって、被写体の輪郭(コントラスト)を構成する複数の輪郭点を検出する。なお、輪郭検出部503は、画像データに対してエッジ検出処理を行うことによって、被写体の輪郭を構成する輪郭点を検出してもよい。さらに、輪郭検出部503は、画像データに対して周知の技術を用いて画像内における被写体の輪郭を検出してもよい。
画像処理部504は、撮像部502が生成した画像データに対して、撮像部502から輪郭検出部503によって検出された被写体の輪郭を構成する複数の輪郭点の遠近分布に従って被写体の輪郭点で定まる被写体領域毎に異なる画像処理、たとえば画像処理のパラメータを変更した画像処理を行った処理画像データを生成する。なお、本実施の形態5では、画像処理部504が特殊効果処理部としての機能を有する。
表示部505は、画像処理部504が生成した処理画像データに対応する画像を表示する。表示部505は、液晶または有機ELからなる表示パネルおよび駆動ドライバ等を用いて構成される。
入力部506は、撮像装置120に撮影を指示する。入力部506は、複数のボタン等を用いて構成される。
記録部507は、画像処理部504が生成した処理画像データを生成する。記録部507は、記録媒体等を用いて構成される。
以上の構成を有する撮像装置120が実行する処理について説明する。図28は、撮像装置120が実行する処理の概要を示すフローチャートである。
図28に示すように、まず、撮像部502は、画像データを生成し(ステップS601)、輪郭検出部503は、撮像部502が生成した画像データに対応する画像内における被写体の輪郭を検出する(ステップS602)。
続いて、画像処理部504は、撮像部502が生成した画像データに対して、撮像部502から輪郭検出部503によって検出された被写体の輪郭を構成する複数の輪郭点の遠近分布に従って被写体の輪郭点で定まる被写体領域毎に異なる画像処理を行って処理画像データを生成する(ステップS603)。
その後、表示部505は、画像処理部504が生成した処理画像データに対応するライブビュー画像を表示する(ステップS604)。
続いて、入力部506から撮影の指示があった場合(ステップS605:Yes)、撮像装置120は、撮影を行う(ステップS606)。この場合、撮像装置120は、画像処理部504が生成した処理画像データを記録部507に記録する。ステップS606の後、撮像装置120は、本処理を終了する。これに対して、入力部506から撮影の指示がない場合(ステップS605:No)、撮像装置120は、ステップS601へ戻る。
以上説明した本発明の実施の形態5によれば、撮像装置120から遠ざかる方向に沿って存在する被写体に対して、撮像装置120からの距離毎に異なる画像処理を行うことができる。そのため、画面に奥行き感を与え、距離の情報、奥行き情報、凸凹情報を有効利用した、豊かな表現力の画像処理、画像表現、さらには画像を利用したユーザーへの情報伝達が可能となる。このように、本実施例では、画像から得られる輪郭等の画像変化の情報(またはそれによる領域分割)や距離情報などを総合的に判断して、簡単かつ精密な画像表現が可能となる。また、輪郭のみならず、画面の端部も利用している。
また、本発明の実施の形態5では、画像処理部504が撮像部502から輪郭検出部503によって検出された被写体の輪郭を構成する複数の輪郭点の各々までの距離変化に応じて定まる領域毎に異なる画像処理を行って処理画像データを生成してもよい。これにより、被写体の距離に従って変化させられる画像処理を行うことができる。
また、本発明の実施の形態5では、画像処理部504が撮像部502から輪郭検出部503によって検出された被写体の輪郭を構成する複数の輪郭点の各々までの奥行きに応じて定まる領域毎に異なる画像処理を行って処理画像データを生成してもよい。ここで、奥行きとは、撮像装置120の視野内で撮像装置120から遠ざかる方向である。これにより、被写体の距離に従って変化させられる画像処理を行うことができる。
(その他の実施の形態)
また、本発明にかかる撮像装置は、撮像部が生成した画像データに対応する画像内を複数の領域毎に分割する分割ステップと、分割ステップで分割した複数の領域の各々の奥行き方向の位置変化情報を取得する取得ステップと、分割ステップで分割された複数の領域の各々に対して、取得ステップで取得した位置変化情報に従った画像処理を行って処理画像データを生成する生成ステップと、を含む撮像方法を行うことができる。ここで、位置変化情報とは、撮像装置の視野内で撮像装置からの距離、輝度およびコントラストである。これにより、被写体の奥行き方向の位置変化情報に従って変化させられる画像処理を行うことができる。
また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
また、本発明にかかる撮像装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明にかかる撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明にかかる撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
1,100,110,120 撮像装置
2,101,111 本体部
3,501 レンズ部
201 シャッタ
202 シャッタ駆動部
203 撮像素子
204 撮像素子駆動部
205 信号処理部
206 A/D変換部
207,401,410,504 画像処理部
207a 基本画像処理部
207b,411,503 輪郭検出部
207c 距離算出部
207d 焦点位置取得部
207e 形状判定部
207f,401a 特殊効果処理部
208 AE処理部
209 AF処理部
210 画像圧縮展開部
211,506 入力部
211b レリーズスイッチ
212 アクセサリ通信部
213 接眼表示部
214 アイセンサ
215 可動部
216 背面表示部
217 タッチパネル
218 回動判定部
219 状態検出部
220 時計
221 記録媒体
222 メモリI/F
223 SDRAM
224 Flashメモリ
225 本体通信部
226 バス
227 本体制御部
227a 撮像制御部
227b 表示制御部
301 ズームレンズ
307 フォーカスレンズ
313 レンズ制御部
411a 輝度抽出部
411b コントラスト検出部
411c 領域判定部
502 撮像部
505 表示部
507 記録部

Claims (7)

  1. 焦点を調整可能な光学系を有するレンズ部と、
    前記レンズ部が結像した被写体を撮像して被写体の画像データを生成する撮像部と、
    前記撮像部が生成した前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出部と、
    前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出部と、
    前記輪郭検出部が検出した前記被写体の輪郭と前記距離算出部が算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定部と、
    前記形状判定部が前記被写体の形状が同じであると判定した場合、前記撮像部が生成した前記画像データに対して、前記距離算出部が算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理部と、
    を備えたことを特徴とする撮像装置。
  2. 前記撮像部は、
    前記被写体の画像データを生成する撮像画素と、
    前記焦点を検出するための焦点データを生成する焦点検出用画素と、
    を有し、
    前記輪郭検出部は、前記画像データに含まれる輝度成分に基づいて、前記被写体の輪郭を検出し、
    前記距離算出部は、前記焦点データに基づいて、前記距離を算出することを特徴とする請求項1に記載の撮像装置。
  3. 前記特殊効果処理部は、
    前記画像データに対して、複数の画像処理を組み合わせることにより、視覚的な効果を生じさせる特殊効果処理を行って前記処理画像データを生成することを特徴とする請求項2に記載の撮像装置。
  4. 前記特殊効果処理で組み合わされる画像処理は、ぼかし処理、シェーディング追加処理、ノイズ重畳処理、彩度変更処理およびコントラスト強調処理のいずれか1つ以上であることを特徴とする請求項3に記載の撮像装置。
  5. 前記特殊効果処理部は、
    前記距離算出部が算出した前記距離に基づいて、前記画像データに対応する画像上にテキストデータ、図形データおよび記号データのいずれか1つ以上を重畳する特殊効果処理を行って前記処理画像データを生成することを特徴とする請求項1に記載の撮像装置。
  6. 焦点を調整可能な光学系を有するレンズ部と、前記レンズ部が結像した被写体を撮像して被写体の画像データを生成する撮像部と、を備えた撮像装置が実行する撮像方法であって、
    前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、
    前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出ステップと、
    前記輪郭検出ステップにおいて検出した前記被写体の輪郭と前記距離算出ステップにおいて算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定ステップと、
    前記形状判定ステップにおいて前記被写体の形状が同じであると判定した場合、前記画像データに対して、前記距離算出ステップにおいて算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理ステップと、
    を含むことを特徴とする撮像方法。
  7. 焦点を調整可能な光学系を有するレンズ部と、前記レンズ部が結像した被写体を撮像して被写体の画像データを生成する撮像部と、を備えた撮像装置に、
    前記画像データに対応する画像内における前記被写体の輪郭を検出する輪郭検出ステップと、
    前記撮像部から前記被写体の輪郭を構成する複数の輪郭点の各々までの距離を算出する距離算出ステップと、
    前記輪郭検出ステップにおいて検出した前記被写体の輪郭と前記距離算出ステップにおいて算出した前記距離とに基づいて、前記光学系の光軸に沿って前記被写体の形状が同じであるか否かを判定する形状判定ステップと、
    前記形状判定ステップにおいて前記被写体の形状が同じであると判定した場合、前記画像データに対して、前記距離算出ステップにおいて算出した前記複数の輪郭点の各々までの距離に応じて定まる被写体領域毎に異なる画像処理を行って視覚的な効果を生じさせる処理画像データを生成する特殊効果処理ステップと、
    を実行させることを特徴とするプログラム。
JP2013182553A 2013-09-03 2013-09-03 撮像装置、撮像方法およびプログラム Expired - Fee Related JP5769768B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013182553A JP5769768B2 (ja) 2013-09-03 2013-09-03 撮像装置、撮像方法およびプログラム
PCT/JP2014/065384 WO2015033640A1 (ja) 2013-09-03 2014-06-10 撮像装置、撮像方法およびプログラム
CN201480002163.1A CN104604215B (zh) 2013-09-03 2014-06-10 摄像装置和摄像方法
US14/615,863 US20150208001A1 (en) 2013-09-03 2015-02-06 Imaging device, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013182553A JP5769768B2 (ja) 2013-09-03 2013-09-03 撮像装置、撮像方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014247104A Division JP5964937B2 (ja) 2014-12-05 2014-12-05 画像処理方法、電子機器およびプログラム

Publications (2)

Publication Number Publication Date
JP2015050713A JP2015050713A (ja) 2015-03-16
JP5769768B2 true JP5769768B2 (ja) 2015-08-26

Family

ID=52628130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013182553A Expired - Fee Related JP5769768B2 (ja) 2013-09-03 2013-09-03 撮像装置、撮像方法およびプログラム

Country Status (4)

Country Link
US (1) US20150208001A1 (ja)
JP (1) JP5769768B2 (ja)
CN (1) CN104604215B (ja)
WO (1) WO2015033640A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769149B (zh) 2015-04-23 2021-05-11 苹果公司 用于处理来自多相机的内容的方法、电子设备和存储介质
JP2017005626A (ja) * 2015-06-15 2017-01-05 オリンパス株式会社 画像効果処理支援装置、画像効果処理支援方法及び画像効果処理支援プログラム
KR20170000196A (ko) * 2015-06-23 2017-01-02 삼성전자주식회사 객체의 속성 기반의 상태 변화 효과를 출력하기 위한 방법 및 그 전자 장치
CN105719246B (zh) * 2016-01-13 2018-06-29 华南理工大学 一种检测开敞水体的光谱成像可视化前处理方法
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
JP6714802B2 (ja) * 2018-07-23 2020-07-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、飛行体、制御方法、及びプログラム
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11765309B2 (en) * 2019-12-13 2023-09-19 Sony Group Corporation Video capturing subject using IR light
CN111565332A (zh) * 2020-04-27 2020-08-21 北京字节跳动网络技术有限公司 视频传输方法、电子设备和计算机可读介质
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11394851B1 (en) * 2021-03-05 2022-07-19 Toshiba Tec Kabushiki Kaisha Information processing apparatus and display method
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140594A (ja) * 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2009188697A (ja) * 2008-02-06 2009-08-20 Fujifilm Corp 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム
JP4497211B2 (ja) * 2008-02-19 2010-07-07 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP4955596B2 (ja) * 2008-03-21 2012-06-20 富士フイルム株式会社 画像出力方法、装置およびプログラム
US8780131B2 (en) * 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US8244070B2 (en) * 2009-06-01 2012-08-14 Xerox Corporation Real-time image personalization
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
US8619074B2 (en) * 2010-12-10 2013-12-31 Xerox Corporation Rendering personalized text on curved image surfaces
JP5760727B2 (ja) * 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
JP5899745B2 (ja) * 2011-09-26 2016-04-06 カシオ計算機株式会社 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
CN104604215A (zh) 2015-05-06
WO2015033640A1 (ja) 2015-03-12
US20150208001A1 (en) 2015-07-23
JP2015050713A (ja) 2015-03-16
CN104604215B (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
JP5769768B2 (ja) 撮像装置、撮像方法およびプログラム
KR20100039430A (ko) 화상 처리기, 화상 처리 방법, 디지털 카메라 및 촬영 장치
JP5713885B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP7051373B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2011010194A (ja) ボカシ画像形成装置及びそれを備えたカメラ
JP2012248937A (ja) 撮像装置、画像処理装置、及び撮像方法
JP5400486B2 (ja) 撮影装置および撮影方法
JP6021512B2 (ja) 撮像装置
JP5964937B2 (ja) 画像処理方法、電子機器およびプログラム
JP6320463B2 (ja) 電子機器、撮像方法およびプログラム
JP6242428B2 (ja) 撮影装置および撮影方法
JP6084310B2 (ja) 撮像装置および撮像方法
JP5539820B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6925827B2 (ja) 画像処理装置及び画像処理方法
JP6138632B2 (ja) 撮像装置、撮像方法およびプログラム
JP2006246014A (ja) デジタルカメラ及びデジタルカメラの画像処理方法
JP2015118274A (ja) 撮像装置、その制御方法及びプログラム
JP6293334B2 (ja) 撮像装置、撮像方法およびプログラム
JP5878063B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2013135398A (ja) 画像合成装置
JP6423612B2 (ja) 情報機器、画像処理方法およびプログラム
JP6218865B2 (ja) 撮像装置および撮像方法
JP6211139B2 (ja) 画像合成装置
JP6616573B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP6013574B2 (ja) 撮影装置および撮影方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150623

R151 Written notification of patent or utility model registration

Ref document number: 5769768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees