JP5056938B2 - 撮像装置及び画像データ形成方法 - Google Patents

撮像装置及び画像データ形成方法 Download PDF

Info

Publication number
JP5056938B2
JP5056938B2 JP2010285602A JP2010285602A JP5056938B2 JP 5056938 B2 JP5056938 B2 JP 5056938B2 JP 2010285602 A JP2010285602 A JP 2010285602A JP 2010285602 A JP2010285602 A JP 2010285602A JP 5056938 B2 JP5056938 B2 JP 5056938B2
Authority
JP
Japan
Prior art keywords
imaging
data
light
image
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010285602A
Other languages
English (en)
Other versions
JP2012134794A (ja
Inventor
勝史 炭崎
恵理香 川端
俊彦 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010285602A priority Critical patent/JP5056938B2/ja
Priority to US13/821,584 priority patent/US20130176465A1/en
Priority to CN2011800621552A priority patent/CN103270748A/zh
Priority to PCT/JP2011/006810 priority patent/WO2012086139A1/ja
Publication of JP2012134794A publication Critical patent/JP2012134794A/ja
Application granted granted Critical
Publication of JP5056938B2 publication Critical patent/JP5056938B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0503Built-in units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Description

本発明は、デジタルスチルカメラや、カメラモジュールを備えた携帯電話機等に設けられ、照射手段により照射された被写体の撮像データを補正して画像データを形成する撮像装置及び画像データ形成方法に関する。
従来から、撮像装置による被写体の撮影は、撮影範囲におけるすべての被写体に光量が均一に照射される晴天時の屋外で行われることが理想とされている。これは、光源としての太陽が各被写体に対して無限遠に位置しており、被写体が撮影範囲のどこに位置していても、どのような動きをしていても、均一に光が照射されるためである。
ところが、撮影が夜間や屋内などで行われる場合、被写体は、太陽光が遮られることにより、撮影に必要な光量が不足する場合がある。このような環境での撮影に備えて、撮像装置には、撮影範囲にある被写体の光量不足を補うために、補助光を照射するストロボ装置やLEDランプ等の照射手段が備えられている。
この照射手段は、撮影範囲の被写体を晴天時の屋外同様に均一に照射することが求められている。しかし、照射手段は、その発光源の形状により、照射する位置によって照射される光量に偏り(バラツキ)がある。
そこで、特許文献1に記載されたデジタルスチルカメラには、LED素子を光源として備える発光モジュールと、LED素子から照射される光が撮影範囲で略均一となるように配光を制御するレンズアレイとを有する照射手段を備えている。この照射手段は、LED素子から照射される光の光路をレンズアレイで撮影範囲全体に亘り略均一となるように配光を制御して被写体を照射する。しかし、この照射手段は、レンズアレイの構成が複雑であるため、このレンズアレイのみで被写体を照射する光を完全に均一化しようとすると、大型化するか、高い寸法精度が求められ、現実的には均一にするのは不可能である。
このような事情により、撮像データは、被写体に照射する照射光を完全に均一にして撮影せずに、撮影後に被写体に照射された光が均一に照射されたように補正することが行われている。例えば、特許文献2に記載された画像補正装置は、デジタルスチルカメラと外部電子機器とを備える。デジタルスチルカメラは、閃光放電管と、被写体を撮像する撮像装置と、主被写体の輝度を検出する測光装置と、主被写体までの距離を測定する測距装置と、被写体の撮像データを記憶する撮像データ記憶手段と、主被写体までの距離及び主被写体の輝度などの撮影情報を記憶する記憶装置とを備える。外部電子機器は、デジタルスチルカメラから撮像データと撮影情報とを読み取るインターフェースと、閃光放電管の発光量及び閃光放電管の配光特性等のカメラ情報を記憶するカメラ情報記憶手段と、撮像データを撮影情報及びカメラ情報に基づき補正するCPUとを備える。
この画像補正装置の撮像データの補正について、具体的に説明する。まず、図7(a)に示すように、撮影範囲Qにおける閃光放電管の配光特性は、図7(c)に実線で示すように、閃光放電管20の長手方向中間位置が最も光量が高く、中心から外周に向かってその光量が低下している。例えば、有効配光角 −30°〜+30°の範囲の照射範囲Rは、略楕円形の範囲を有しており、外周部分の光量が不足している。画像補正装置は、この撮影条件で撮影された撮影データを、撮影情報及びカメラ情報から閃光放電管20の照射範囲R(有効配光角 −30°〜+30°の範囲)が、図7(b)に示すように撮影範囲Qにおいて光量が均一となるように図7(c)に破線で示すような配光特性となるように補正する。
特開2007−79528号公報 特開2005−354167号公報
しかし、特許文献2に記載される画像補正装置は、デジタルスチルカメラで撮影した後、外部電子機器で撮影データを補正するため、補正後の撮像データをデジタルスチルカメラの画面上で確認することができない。また、外部電子機器が補正に用いる閃光放電管の配光特性は、一本毎にそれぞれ固有の特性を有しており、事前に確認した配光特性により一律に補正を行うことになり、撮影範囲に多数存在する被写体ごとの距離や反射率に対応して補正できないため、正確な補正が行われているとはいえない。
従って、本発明は、かかる事情に鑑み、撮影範囲の被写体の状況に対応して撮像データの光量を均一に補正して画像データを形成することができる撮像装置及び画像データ形成方法を提供することを目的とする。
本発明の撮像装置は、被写体を撮像する撮像素子と、該撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射手段による光を被写体に照射していない状態で撮像する第1撮像モードと、照射手段による光を被写体に照射した状態で撮像する第2撮像モードとをいずれか一方から先に実行する連続撮影が可能な撮像装置であって、前記画像形成部は、第1撮像モードにて第1撮像データを取得すると共に、第2撮像モードにて第2撮像データを取得し、第1撮像データと第2撮像データとの差分データを演算した上で、該差分データと、撮像範囲における照射手段の配光特性を平滑化するための配光補正データとの乗算データを演算し、該乗算データを前記第2撮像データに対する補正値として画像データを形成するという構成を有している。
かかる構成によれば、撮像装置は、第1撮像モードと第2撮像モードの2回、異なる条件で被写体を撮像する。すなわち、画像形成部は、第1撮像モードで、照射手段により光が被写体に照射されていない状態で撮像素子から第1撮像データを取得すると共に、第2撮像モードで、照射手段により光が被写体に照射された状態で撮像素子から第2撮像データを取得する。
画像形成部は、これらの第1撮像データと第2撮像データとの差分データ、すなわち、実際に被写体を撮像した撮像環境(被写体毎の撮像素子との距離や被写体の反射率など)に基づく撮像環境補正データを演算する。そして、画像形成部は、撮像範囲における照射手段の配光特性を平滑化するための配光補正データ、すなわち、照射手段からの光が撮像範囲において均一に照射される状況を仮定する上で当該照射手段の配光特性に対して必要となる配光補正データを、差分データ(撮像環境補正データ)に乗算することにより、該乗算データ、すなわち、被写体の撮像環境に基づく画像補正データが演算される。よって、画像形成部は、この乗算データ(画像補正データ)を補正値として用いることにより、第2撮像データを光量が均一なものに補正した画像データを形成することができる。
なお、「差分」とは、第1撮像データと第2撮像データとの減算値のみならず、第1撮像データと第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態での減算値も含む。また、「乗算」とは、第1撮像データと第2撮像データとをそのまま乗算するのみならず、第1撮像データと第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態での乗算を含む。
また、請求項2記載の発明において、前記画像形成部は、前記第1撮像モードにて前記第1撮像データを取得した後、前記第2撮像モードにて前記第2撮像データを取得する構成を有することが好ましい。
かかる構成によれば、画像形成部は、照射手段により光が照射される前の、光の残光のない状態の被写体を撮像した第1撮像データを取得することができる。すなわち、画像形成部は、光の残光の影響を受けずに第1撮像データを取得することができ、また、光の残光がなくなるまで待つ必要もなく、第1撮像データを取得することができる。その後に、画像形成部は、照射手段により光が照射された状態の被写体を撮像した第2撮像データを取得することができる。よって、画像形成部は、短期間に第1撮像データと第2撮像データとを撮像することができる。
また、請求項3記載の発明において、前記画像形成部は、前記第2撮像モードにて前記第2撮像データを取得した後、前記第1撮像モードにて前記第1撮像データを取得する構成を有することが好ましい。
かかる構成によれば、画像形成部は、照射手段により光を被写体に照射した状態で、撮像素子から第2撮像データを取得する。その後、画像形成部は、光の残光の影響のない所定の光量以下になるまで撮像データの取得を待って、第1撮像データを取得する。よって、画像形成部は、第2撮像データの取得タイミングで撮像することができる。すなわち、画像形成部は、乗算データ(画像補正データ)を形成するために第1撮像データの取得が完了するのを待って、第2撮像データを取得する必要がなく、第2撮像データの取得タイミングが遅れることがない。
また、請求項4記載の発明において、前記照射手段が照射した光の光量を検知可能な光量検知手段を備え、前記画像形成部は、該光量検知手段が所定の光量以下となったことを検知した後に前記第1撮像モードにて前記第1撮像データを取得する構成を有することが好ましい。
かかる構成によれば、画像形成部は、光量検知手段により第1撮像データの取得タイミングである光の残光が所定の光量以下となったときを検知することができる。よって、光の残光が所定の光量以下となったタイミングで第1撮像データを撮像素子から取得するため、第1撮像データが光の残光の影響を受けないように確認してから取得することができる。
また、請求項5記載の発明において、前記照射手段が光を照射するために照射手段に流れる電流値を計測可能な電流計測手段を備え、前記画像形成部は、該電流計測手段が所定の電流値以下となったことを検知した後に前記第1撮像モードにて前記第1撮像データを取得する構成を有することが好ましい。
かかる構成によれば、画像形成部は、電流計測手段により第1撮像データの取得タイミングである光の残光が所定の光量以下となったときを照射手段に流れる電流値で検知することができる。よって、光の残光が所定の光量以下となったタイミングで第1撮像データを撮像素子から取得するため、第1撮像データが光の残光の影響を受けないように確認してから取得することができる。
本発明の画像データ形成方法は、被写体を撮像する撮像素子と、該撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射手段による光を被写体に照射していない状態で撮像する第1撮像モードと、照射手段による光を被写体に照射した状態で撮像する第2撮像モードとをいずれか一方から先に実行する連続撮影が可能な撮像装置における画像データ形成方法であって、第1撮像モードにて第1撮像データを取得すると共に、第2撮像モードにて第2撮像データを取得し、第1撮像データと第2撮像データとの差分データを演算した上で、該差分データと、撮像範囲における照射手段の配光特性を平滑化するための配光補正データとの乗算データを演算し、該乗算データを前記第2撮像データに対する補正値として画像データを形成する構成を有することが好ましい。
かかる構成によれば、撮像装置は、第1撮像モードと第2撮像モードの2回、異なる条件で被写体を撮像する。すなわち、画像形成部は、第1撮像モードで、照射手段により光が被写体に照射されていない状態で撮像素子から第1撮像データを取得すると共に、第2撮像モードで、照射手段により光が被写体に照射された状態で撮像素子から第2撮像データを取得する。
画像形成部は、これらの第1撮像データと第2撮像データとの差分データ、すなわち、実際に被写体を撮像した撮像環境(被写体毎の撮像素子との距離や被写体の反射率など)に基づく撮像環境補正データを演算する。そして、画像形成部は、撮像範囲における照射手段の配光特性を平滑化するための配光補正データ、すなわち、照射手段からの光が撮像範囲において均一に照射される状況を仮定する上で当該照射手段の配光特性に対して必要となる配光補正データを、差分データ(撮像環境補正データ)に乗算することにより、該乗算データ、すなわち、被写体の撮像環境に基づく画像補正データが演算される。よって、画像形成部は、この乗算データ(画像補正データ)を補正値として用いることにより、第2撮像データを光量が均一なものに補正した画像データを形成することができる。
本発明の撮像装置及び画像データ形成方法によれば、撮影範囲の被写体の状況に対応して撮像データの光量を均一に補正して画像データを形成することができる。
本発明の第1実施形態に係る撮像装置のブロック図 同実施形態に係る撮像装置の撮像データの補正制御フロー図 (a)は、撮像素子によって撮像される撮像範囲の画素毎に発光素子の配光特性を数値化して例示した図、(b)は、撮像範囲の画素毎に配光補正データを数値化して例示した図、(c)は、撮像範囲の画素毎に第1撮像データを数値化して例示した図、(d)は、撮像範囲の画素毎に第2撮像データを数値化して例示した図 (a)は、撮像範囲の画素毎に差分データを数値化して例示した図、(b)は、撮像範囲の画素毎に乗算データ(画像補整データ)を数値化して例示した図、(c)は、撮像範囲の画素毎に補正された第2撮像データ(画像データ)を数値化して例示した図 (a)は、同実施形態に係る撮像装置の撮像領域と補正前の照射領域との関係を示す図、(b)は、同実施形態に係る撮像装置の撮像領域と補正後の照射領域との関係を示す図 本発明の第2実施形態に係る撮像装置のブロック図 (a)は、従来の撮像装置の撮像領域と補正前の照射領域との関係を示す図、(b)は、従来の撮像装置の撮像領域と補正後の照射領域との関係を示す図、(c)は、従来の撮像装置の補正前と補正後の補助光の配光特性を示す図
本発明の第1実施形態に係る撮像装置について、図面を参酌しつつ、説明する。まず、同実施形態に係る撮像装置1の構成について、図1を参酌しつつ、説明する。図1は、同実施形態に係る撮像装置1のブロック図である。同実施形態に係る撮像装置1は、被写体との焦点を合わせるために光軸方向に移動可能な撮影レンズ2と、該撮影レンズ2を光軸方向に駆動するレンズ駆動部3と、撮影レンズ2を介して被写体からの反射光を受光して被写体を撮像する撮像素子4と、該撮像素子4から取得した撮像データに基づいて画像データを形成する画像形成部5とを備える。撮像装置1は、更に、被写体の光量を補うべく被写体に光を照射する照射手段6が外付けされている。撮像装置1は、他に、撮影モードを選択するモードスイッチやシャッターを開くシャッタースイッチなどを有する操作部7と、撮像した撮像データや各種設定条件等を記憶する記憶手段として内蔵されているメモリ8と、撮像した撮像データや該撮像データの各種設定条件等を表示する表示手段としての液晶モニタ9と、撮像した撮像データや各種設定条件等を記憶するために取り外し可能に設けられている外部記憶媒体としてのメモリカード10とを備える。
画像形成部5は、撮像素子4からアナログ信号として受光した反射光をデジタル信号に変換するAD変換部11と、該AD変換部11で変換途中の撮像データ(反射光をデジタル信号に変換して形成されたデータ)を一時的に記憶するバッファメモリ12と、設定条件に従ってレンズ駆動部3、撮像素子4、AD変換部11、及び、バッファメモリ12を制御する制御部13とを備える。
制御部13は、1回の撮像に対して、2回の異なる撮像モードを有する。この2回の撮像モードのうち一方の撮像モードは、被写体に光を照射していない状態で撮像する第1撮像モードである。他方の撮像モードは、被写体に光を照射した状態で撮像する第2撮像モードである。本実施形態に係る制御部13は、第1撮像モードと第2撮像モードの順で連続撮像が行われることにより、第1撮像モードにて第1撮像データを取得した後、第2撮像モードにて第2撮像データを取得する。
制御部13は、照射手段6から、照射手段6の配光特性に基づいて照射される光を均一に補正する配光補正データを受信可能である。ここで、照射手段6の配光特性とは、被写体が撮像される撮像データの撮像範囲において被写体を所定条件で照射したときの発光量又は発光係数である。
制御部13は、第1撮像モードにて撮像される第1撮像データと第2撮像モードにて撮像される第2撮像データとを撮像素子4から取得し、第1撮像データ及び第2撮像データに基づいて被写体を撮像した撮像環境に基づく撮像環境補正データを演算する。具体的には、制御部13は、撮像環境補正データとして、第1撮像データと第2撮像データとの光量の差である差分データを演算する。制御部13は、差分データ(撮像環境補正データ)と配光補正データとに基づいて、撮像範囲において被写体に照射する光を被写体の撮像環境に基づいて均一にするために第2撮像データを補正する画像補正データを演算する。具体的には、制御部13は、配光補正データと差分データとを掛け合わせる(乗算する)ことによって画像補正データを演算する。
照射手段6は、被写体の光量を補うために被写体に向かって発光する発光素子14と、該発光素子14から発光された光(補助光)を撮像範囲全体に亘って略均一になるように整形する光学パネル15と、発光素子14を駆動する駆動部16と、配光補正データを記憶する配光補正データ記憶手段としての配光補正値メモリ17とを備える。
発光素子14は、キセノン管などの閃光放電管やLEDランプなどの光源であり、単数又は複数の光源から構成されていてもよい。
配光補正値メモリ17は、出荷時までに配光補正データを書き換え不能に記憶されるROMなどの読み取り専用の記憶手段であってもよいし、出荷後の配光補正データの書き換えに備えて書き換え可能に記憶されるRAMなどの読み書き可能な記憶手段であってもよい。
メモリ8は、撮像素子4で撮像された第1撮像データ及び第2撮像データと、制御部13で演算された差分データ、画像補正データ、及び、補正された第2撮像データと、照射手段6の配光補正値メモリ17から読み取られた配光補正データとを記憶可能な記憶手段である。メモリ8は、制御部13の制御信号によって、記憶しているデータを制御部13に送信可能に接続されている。
次に、本実施形態に係る撮像装置1の画像形成について、図2〜図4を参酌しつつ説明する。図2は、同実施形態に係る撮像装置1の制御部13の画像形成の各ステップを示す制御フロー図である。図3及び図4は、撮像データの補正に用いるデータを撮像素子4によって撮像される撮像範囲の画素毎に数値化して例示した参考図である。図3及び図4は、撮像範囲を横(x軸方向)5ピクセル×縦(y軸方向)5ピクセルで表現する。
まず、撮像データの補正に必要となる配光補正データについて説明する。なお、配光補正データは、製品出荷前までに、製品毎に実際に発光させて測定した配光特性データから均一配光になる補正データを計算し、照射手段6の配光補正値メモリ17に記憶される。
配光補正データK1は、撮像素子4により撮像され、且つ、複数の領域から形成される撮像範囲の領域(画素)ごとに演算される。配光補正データK1は、撮像範囲の画素毎における照射手段6の配光特性データdに基づく光量及び基準とする画素での光量の差を、その基準とする画素の光量で除した値であり、特定の画素での光量を基準に各画素の光量の相対的なバラツキを表す値である。
配光特性データdは、特定の撮影条件で被写体を照射した際に撮像素子4に受光された撮像範囲内の画素毎の光量の値である。ここで特定の撮影条件とは、すべての撮像範囲内で被写体が同一条件にある場合をいい、本実施形態での特定の撮影条件は、すべての撮影範囲内で被写体との距離が一律1mであって、被写体の反射率が一律18%である場合を例に説明する。この条件で撮影された照射手段6の配光特性データdは、図3(a)に示すような値となるものとする。ここで撮像範囲の各画素の値は、基準となる中心の画素の光量を100としたときの中心画素との差の相対比で表す。各画素の位置は、数1で示す数式で表すものとする。
Figure 0005056938
また、本実施形態での特定の撮像範囲内の画素の位置とは、中心画素の位置とする。なお、この中心画素に対応する光量は、光量が最も多い位置である。各画素の配光補正データK1は、各画素の位置に対応する光量と中心画素の位置に対応する光量との差を中心画素の位置に対応する光量で除した値である。具体的には、配光補正データK1は、図3(b)に示すデータであり、数2で示す計算式で演算することで求められる。
Figure 0005056938
次に、制御部13による(第2)撮像データの補正制御について、図2〜図4を参酌しつつ、説明する。まず、撮影者によってシャッタースイッチが中押しされる(ST01でYES)と、レンズ駆動部3を制御して、撮像レンズ2を駆動させる(ST02)。その後、制御部13は、照射手段6の配光補正値メモリ17から配光補正データK1を取り込み(ST03)、メモリ8に記憶する(ST04)。この配光補正データK1は、前述のとおり図3(b)に示す値である。このようにして、制御部13は、撮像する前に被写体に外付けされた照射手段6の配光補正データK1を配光補正値メモリ17から制御部13に取り込むことにより、取り付けられている照射手段6の配光補正データK1を利用することができるようになっている。
続けて、撮影者によってシャッタースイッチが全押しされる(ST05でYES)と、制御部13は、撮像素子4を制御して、第1撮像データd1を取得し(ST06)、メモリ8に記憶する(ST07)。ここで、撮影者が撮影する被写体の撮影条件として、撮像装置1と被写体との距離は、x軸がx=1〜3で且つy軸がy=1〜5の撮像範囲で2m、x軸がx=4,5で且つy軸がy=1〜5の撮像範囲で1mとする。また、被写体の反射率は、x軸がx=1で且つy軸がy=1〜5の撮像範囲で36%、x軸がx=2,5で且つy軸がy=1〜5の撮像範囲で9%、x軸がx=3,4で且つy軸がy=1〜5の撮像範囲で18%とする。この第1撮像データd1は、図3(c)に示す値となるものとする。第1撮像データd1は、下記の式で表すものとする。
Figure 0005056938
制御部13は、第1撮像データd1が取得されてから、照射手段6の駆動部16を制御して被写体の光量を補う光を被写体に照射する(ST08)。その後、制御部13は、撮像素子4を制御して、光により光量が補われた被写体からの光を撮像素子4で受光し、第2撮像データd2を取得し(ST09)、メモリ8に記憶する(ST10)。この第2撮像データd2は、図3(d)に示す値である。第2撮像データd2は、下記の式で表され、下記の数式より、第1撮像データd1、被写体との距離L0及び被写体の反射率R0から演算することもできる。
Figure 0005056938
次に、制御部13は、第1撮像データd1と第2撮像データd2とをメモリ8から読み込み(ST11)、第1撮像データd1及び第2撮像データd2の光量の差である差分データΔdを演算する(ST12)。差分データΔdは、図4(a)に示す値である。差分データΔdは、下記の数式で表される。
Figure 0005056938
制御部13は、メモリ8から配光補正データK1を読み込み(ST13)、該配光補正データK1とこの差分データΔdとを掛け合わせることによって乗算データ(画像補正データ)Δiを演算する(ST14)。画像補正データΔiは、図4(b)に示す値である。画像補正データΔiは、下記の数式で表される。
Figure 0005056938
制御部13は、メモリ8から第2撮像データd2を読み込み(ST15)、該第2撮像データd2に画像補正データΔiを加算することにより第2撮像データd2を補正し(ST16)、これを画像データとしてメモリ8に記憶する(ST17)。補正された第2撮像データD2は、図4(c)に示す値である。補正された第2撮像データD2は、下記の数式で表される。
Figure 0005056938
このように、撮像装置1は、第1撮像モードと第2撮像モードの2回、異なる条件で被写体を撮像する。すなわち、画像形成部5は、第1撮像モードで、照射手段6により光が被写体に照射される前に撮像素子4から第1撮像データd1を取得すると共に、第2撮像モードで、照射手段6により補助光が被写体に照射された後に撮像素子4から撮像データd2を取得する。
画像形成部5は、これらの第1撮像データd1と第2撮像データd2との差分データ、すなわち、実際に被写体を撮像した撮像環境(被写体毎の撮像素子4との距離や被写体の反射率など)に基づく差分データΔdを演算する。そして、画像形成部5は、所定条件で照射する照射手段6の配光特性データdに基づく配光補正データK1を、差分データΔdを考慮して演算することにより、被写体の撮像環境に基づく画像補正データΔiが演算される。第2撮像データd2は、この画像補正データΔiで補正することにより、光をレンズアレイで整形して被写体に照射した図5(a)に示すような照射範囲Rを、撮影範囲の被写体の状況に対応して撮像データの光量を図5(b)に示す撮影範囲Qで照射範囲Rを的確に補正することができる。
また、画像形成部5は、照射手段6により光が照射される前の、光の残光のない状態の被写体を撮像した第1撮像データd1を取得することができる。すなわち、画像形成部5は、光の残光の影響を受けずに第1撮像データd1を取得することができ、また、光の残光がなくなるまで撮像データの取得を待つ必要もなく第1撮像データd1を取得することができる。その後に、画像形成部5は、照射手段6により光が照射された後の、光が照射された状態の被写体を撮像した第2撮像データd2を取得することができる。よって、画像形成部5は、短期間に第1撮像データd1と第2撮像データd2とを取得することができる。
次に本発明の第2実施形態に係る撮像装置について、図6を参酌しつつ説明する。同実施形態に係る撮像装置18の制御部13(画像形成部5)は、第2撮像モードにて第2撮像データd2を取得した後、第1撮像モードにて第1撮像データd1を取得する。よって、同実施形態に係る撮像装置18は、照射手段6が照射した光の光量を検知可能な光量検知手段19を備え、制御部13は、該光量検知手段19が所定の光量以下となったことを検知した後に第1撮像データd1を取得する。
光量検知手段19は、第1撮像データd2を撮像するために、光が照射されていない状態であることを確かめるために、照射手段6を照射する前の被写体の光量以下となるのを検知する。よって、光量検知手段19は、被写体からの光量を計測することにより、被写体の光量が所定の光量以下であることを検知するものであってもよいし、被写体から所定の光量以上で又は所定の光量以下でON/OFFするスイッチにより検知するものであってもよい。
このように、画像形成部5は、照射手段6により光を被写体に照射した後に、撮像素子4から第2撮像データd2を取得する。その後、画像形成部5は、光の残光の影響のない所定の光量以下になるまで撮像データの取得を待って、第1撮像データd1を取得する。よって、画像形成部5は、第2撮像データd2の取得タイミングで撮像することができる。すなわち、画像形成部5は、画像補正データΔiを形成するために第1撮像データd1の取得が完了するのを待って、第2撮像データd2を取得する必要がなく、第2撮像データd2の取得タイミングが遅れることがない。
また、画像形成部5は、光量検知手段19により第1撮像データd1の取得タイミングである光の残光が所定の光量以下となったときを検知することができる。よって、光の残光が所定の光量以下となったタイミングで第1撮像データd1を撮像素子4から取得するため、第1撮像データd1が光の残光の影響を受けないように確認してから取得することができる。
なお、撮像装置18は、光量検知手段19の代わりに、照射手段6が光を照射するために照射手段6に流れる電流値を計測可能な電流計測手段を備え、画像形成部5は、該電流計測手段が所定の電流値以下となったことを検知した後に第1撮像データd2を撮像素子4から取得するようにしてもよい。
電流計測手段は、発光素子14を発光させる発光電流を計測する電流計とする。ところが、発光電流が0A又は略0Aとなった場合であっても、発光素子14から光が放射されることがある。これを考慮して、撮像装置は、電流計測手段が所定の電流値を検知した後に、発光素子14から放射される残光の影響がなくなることにより、被写体の光量が所定の光量以下となる遅延時間が予め計測されており、その遅延時間が設定された遅延回路(タイマ)を備えるようにしてもよい。すなわち、制御部13は、電流計測手段による検知結果をこの遅延回路で検知を遅らせ、この遅延回路からの検知に基づき被写体の光量が所定の光量以下となったことを検知するようにしてもよい。
このように、画像形成部5は、電流計測手段により第1撮像データd1の取得タイミングである光の残光が所定の光量以下となったときを照射手段6に流れる電流値で検知することができる。よって、この光の残光が所定の光量以下となったタイミングに第1撮像データd1を撮像素子4から取得するため、第1撮像データd1が光の残光の影響を受けないように確認してから取得することができる。
なお、本発明に係る撮像装置及び撮像データ補正方法は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えば、上記実施形態に係る撮像装置1は、照射手段6を外付けする例を説明したが、これに限定されるものではない。例えば、撮像装置は、照射手段6を内蔵するものであってもよい。この場合において、配光補正データK1は、照射手段6の配光補正値メモリ17に記憶されていてもよいし、メモリ8に記憶されていてもよい。
また、上記実施形態に係る撮像装置1は、配光補正データK1を撮像レンズ2を駆動させた後に照射手段6の配光補正値メモリ17から取り込み、メモリ8に記憶する例を説明したが、これに限定されるものではない。例えば、配光補正データK1は、一度メモリ8内に記憶されると、照射手段6を取り外すまで記憶させ続けてもよいし、画像補正データΔiを演算する前までのいずれかのステップに照射手段6の配光補正値メモリ17から取り込み、メモリ8に記憶されるようにしてもよい。
また、上記実施形態に係る撮像装置1は、乗算データ(画像補正データ)を第2撮像データに加算して画像データを形成したが、乗算データ(画像補正データ)と第2撮像データの少なくともいずれか一方に所定の係数を乗算した状態で加算するようにしてもよい。
本発明に係る撮像装置及び画像データ形成方法は、デジタルスチルカメラや、カメラモジュールを備えた携帯電話機その他の小型機器を構成するものとして有効に利用することができる。
1 撮像装置
2 撮影レンズ
3 レンズ駆動部
4 撮像素子
5 画像形成部
6 照射手段
7 操作部
8 メモリ
9 液晶モニタ
10 メモリカード
11 AD変換部
12 バッファメモリ
13 制御部
14 発光素子
15 光学パネル
16 駆動部
17 配光補正値メモリ
18 撮像装置
19 光量検知手段
d1 第1撮像データ
d2 第2撮像データ
d 配光特性データ
K1 配光補正データ
Δd 差分データ
Δi 乗算データ(画像補正データ)
D2 補正された第2撮像データ(画像データ)

Claims (6)

  1. 被写体を撮像する撮像素子と、該撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射手段による光を被写体に照射していない状態で撮像する第1撮像モードと、照射手段による光を被写体に照射した状態で撮像する第2撮像モードとをいずれか一方から先に実行する連続撮影が可能な撮像装置であって、前記画像形成部は、第1撮像モードにて第1撮像データを取得すると共に、第2撮像モードにて第2撮像データを取得し、第1撮像データと第2撮像データとの差分データを演算した上で、該差分データと、撮像範囲における照射手段の配光特性を平滑化するための配光補正データとの乗算データを演算し、該乗算データを前記第2撮像データに対する補正値として画像データを形成することを特徴とする撮像装置。
  2. 前記画像形成部は、前記第1撮像モードにて前記第1撮像データを取得した後、前記第2撮像モードにて前記第2撮像データを取得する請求項1記載の撮像装置。
  3. 前記画像形成部は、前記第2撮像モードにて前記第2撮像データを取得した後、前記第1撮像モードにて前記第1撮像データを取得する請求項1記載の撮像装置。
  4. 前記照射手段が照射した光の光量を検知可能な光量検知手段を備え、前記画像形成部は、該光量検知手段が所定の光量以下となったことを検知した後に前記第1撮像モードにて前記第1撮像データを取得する請求項3記載の撮像装置。
  5. 前記照射手段が光を照射するために前記照射手段に流れる電流値を計測可能な電流計測手段を備え、前記画像形成部は、該電流計測手段が所定の電流値以下となったことを検知した後に前記第1撮像モードにて前記第1撮像データを取得する請求項3記載の撮像装置。
  6. 被写体を撮像する撮像素子と、該撮像素子から取得した撮像データに基づいて画像データを形成する画像形成部とを備え、照射手段による光を被写体に照射していない状態で撮像する第1撮像モードと、照射手段による光を被写体に照射した状態で撮像する第2撮像モードとをいずれか一方から先に実行する連続撮影が可能な撮像装置における画像データ形成方法であって、第1撮像モードにて第1撮像データを取得すると共に、第2撮像モードにて第2撮像データを取得し、第1撮像データと第2撮像データとの差分データを演算した上で、該差分データと、撮像範囲における照射手段の配光特性を平滑化するための配光補正データとの乗算データを演算し、該乗算データを前記第2撮像データに対する補正値として画像データを形成することを特徴とする画像データ形成方法。
JP2010285602A 2010-12-22 2010-12-22 撮像装置及び画像データ形成方法 Expired - Fee Related JP5056938B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010285602A JP5056938B2 (ja) 2010-12-22 2010-12-22 撮像装置及び画像データ形成方法
US13/821,584 US20130176465A1 (en) 2010-12-22 2011-12-06 Image pickup apparatus and method of forming image data
CN2011800621552A CN103270748A (zh) 2010-12-22 2011-12-06 摄像装置以及图像数据形成方法
PCT/JP2011/006810 WO2012086139A1 (ja) 2010-12-22 2011-12-06 撮像装置および画像データ形成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285602A JP5056938B2 (ja) 2010-12-22 2010-12-22 撮像装置及び画像データ形成方法

Publications (2)

Publication Number Publication Date
JP2012134794A JP2012134794A (ja) 2012-07-12
JP5056938B2 true JP5056938B2 (ja) 2012-10-24

Family

ID=46313433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285602A Expired - Fee Related JP5056938B2 (ja) 2010-12-22 2010-12-22 撮像装置及び画像データ形成方法

Country Status (4)

Country Link
US (1) US20130176465A1 (ja)
JP (1) JP5056938B2 (ja)
CN (1) CN103270748A (ja)
WO (1) WO2012086139A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9085121B2 (en) 1999-05-13 2015-07-21 3M Innovative Properties Company Adhesive-backed articles

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805523B2 (en) * 2012-05-30 2020-10-13 Easy Printing Network Limited Article authentication apparatus having a built-in light emitting device and camera
JP6390163B2 (ja) * 2014-05-16 2018-09-19 株式会社リコー 情報処理装置、情報処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551854B2 (ja) * 1999-09-01 2004-08-11 ミノルタ株式会社 デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
JP4053321B2 (ja) * 2002-03-20 2008-02-27 オリンパス株式会社 電子カメラ
JP2004135183A (ja) * 2002-10-11 2004-04-30 Fuji Photo Film Co Ltd デジタルカメラ
JP4329617B2 (ja) * 2004-05-19 2009-09-09 ソニー株式会社 撮像装置および撮像方法
JP2007107926A (ja) * 2005-10-11 2007-04-26 Rohm Co Ltd 電流検出回路およびそれを用いた受光装置ならびに電子機器
US7755672B2 (en) * 2006-05-15 2010-07-13 Zoran Corporation Techniques for modifying image field data obtained using illumination sources
JP2007336470A (ja) * 2006-06-19 2007-12-27 Sony Corp 撮像装置及び撮像方法
US7697062B2 (en) * 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
JP5197083B2 (ja) * 2008-03-21 2013-05-15 キヤノン株式会社 撮像装置及びその制御方法
JP4934123B2 (ja) * 2008-09-30 2012-05-16 富士フイルム株式会社 撮影装置および方法
JP5214485B2 (ja) * 2009-02-12 2013-06-19 オリンパス株式会社 画像撮像装置、画像処理方法、および画像処理プログラム
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
US9516238B2 (en) * 2011-02-10 2016-12-06 Hewlett-Packard Development Company, L.P. Noise suppression

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9085121B2 (en) 1999-05-13 2015-07-21 3M Innovative Properties Company Adhesive-backed articles

Also Published As

Publication number Publication date
WO2012086139A1 (ja) 2012-06-28
JP2012134794A (ja) 2012-07-12
US20130176465A1 (en) 2013-07-11
CN103270748A (zh) 2013-08-28

Similar Documents

Publication Publication Date Title
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP3574607B2 (ja) 3次元画像入力装置
US20160266347A1 (en) Imaging apparatus and method, and program
JP2010175435A (ja) 三次元情報検出装置及び三次元情報検出方法
JP2008263452A5 (ja)
KR20100079831A (ko) 디지털 카메라 및 그 제어방법
JP2009156704A (ja) 表示パネルの輝度測定装置および輝度測定方法並びに表示装置
JP2006279546A (ja) 電子カメラ、画像処理プログラム、および画像処理方法
JP5056938B2 (ja) 撮像装置及び画像データ形成方法
JP2009150993A5 (ja)
JP3820087B2 (ja) 3次元画像検出装置
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017225073A (ja) 撮像装置とその制御方法、プログラム及び撮像システム
JP5344152B2 (ja) 電子機器
JP6094089B2 (ja) 照明装置及び照明システム
JP2010191266A5 (ja)
JP4289382B2 (ja) 監視装置および撮像装置。
JP5515541B2 (ja) 撮像装置
JP2016142770A (ja) 電子カメラ
JP2007166643A (ja) カメラ
JP2017097288A (ja) 撮像装置、その制御方法、および制御プログラム
JP2007166142A (ja) 撮像装置
JP2004117254A (ja) 赤外線撮像装置
JP2014035444A (ja) 撮影装置
JP2014232234A (ja) 露光制御装置、光学機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120410

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120412

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees