JP4844340B2

JP4844340B2 - カメラおよび撮影用プログラム

Info

Publication number: JP4844340B2
Application number: JP2006279993A
Authority: JP
Inventors: 一磨細井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-10-13
Filing date: 2006-10-13
Publication date: 2011-12-28
Anticipated expiration: 2026-10-13
Also published as: JP2008099099A

Description

本発明は、撮像素子を用いて撮影を行うカメラ、および、そのカメラに用いられる撮影用プログラムに関する。

従来から，デジタルカメラなどで撮影された画像をメモリカード等に保存する際には、撮影画像を解像度やサイズが小さくなるように縮小処理したサムネイル画像が生成され、元の撮影画像に付加されて記憶される（例えば、特許文献１参照）。このサムネイル画像は、カメラの小型モニタに再生表示する場合や、パーソナルコンピュータなどの他の装置において確認用の画像として利用される。

特開平１０−１７８６０９号公報

しかしながら、撮影画像を縮小処理してサムネイル画像を生成しているので、１回の撮影に要する処理時間が長くなってしまうという問題があった。

請求項１の発明によるカメラは、被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、被写体像を撮像し、第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、第１の撮像素子による撮像と、第２の撮像素子による撮像とを行わせる制御手段と、撮像された第２の画像に撮像された第１の画像を付加した画像ファイルを記憶する記憶手段と、第２の画像と第１の画像との差分画像を算出し、その差分画像に基づいて第２の画像を複数の画像領域に分割し、画像領域毎に第２の画像の補正を行う補正手段とを備えたことを特徴とする。
請求項７の発明によるカメラは、被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、被写体像を撮像し、第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、第１の撮像素子による撮像と、カメラに備えられた発光装置を発光させて第２の撮像素子による撮像とを行わせる制御手段と、撮像された第２の画像に撮像された第１の画像を付加した画像ファイルを記憶する記憶手段と、第１の画像と第２の画像の対応する領域ごとの輝度値の差分を求め、差分が所定閾値以上となる領域を抽出し、その抽出結果に基づいて第２の画像に対する補正を行う補正手段とを備えたことを特徴とする。
請求項８の発明による撮影用プログラムは、コンピュータに、被写体像を第１の撮像素子で撮像して第１の画像を生成する第１の手順と、被写体像を第２の撮像素子で撮像して第１の画像よりも画素数の多い第２の画像を生成する第２の手順と、第１の撮像素子による撮像と、第２の撮像素子による撮像とを行わせる第３の手順と、撮像された第２の画像に撮像された第１の画像を付加した画像ファイルを生成する第４の手順と、第２の画像と第１の画像との差分画像を算出し、その差分画像に基づいて第２の画像を複数の画像領域に分割し、画像領域毎に第２の画像の補正する第５の手順とを実行させる。
請求項９の発明による撮影用プログラムは、コンピュータに、被写体像を第１の撮像素子で撮像して第１の画像を生成する第１の手順と、被写体像を第２の撮像素子で撮像して第１の画像よりも画素数の多い第２の画像を生成する第２の手順と、第１の撮像素子による撮像と、カメラに備えられた発光装置を発光させて第２の撮像素子による撮像とを行わせる第３の手順と、撮像された第２の画像に撮像された第１の画像を付加した画像ファイルを生成する第４の手順と、第１の画像と第２の画像の対応する領域ごとの輝度値の差分を求め、差分が所定閾値以上となる領域を抽出し、その抽出結果に基づいて第２の画像に対する補正する第５の手順とを実行させる。
請求項１０の発明によるカメラは、被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、被写体像を撮像し、前記第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、前記第１の撮像素子による撮像と、前記第２の撮像素子による撮像とを行わせる制御手段と、前記第２の画像と前記第１の画像との差分画像を算出し、その差分画像に基づいて前記第２の画像を複数の画像領域に分割し、前記画像領域毎に前記第２の画像の補正を行う補正手段とを備えたことを特徴とする。
請求項１１の発明によるカメラは、被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、被写体像を撮像し、前記第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、前記第１の撮像素子による撮像と、カメラに備えられた発光装置を発光させて前記第２の撮像素子による撮像とを行わせる制御手段と、前記第１の画像と前記第２の画像の対応する領域ごとの輝度値の差分を求め、前記差分が所定閾値以上となる領域を抽出し、その抽出結果に基づいて前記第２の画像に対する補正を行う補正手段とを備えたことを特徴とする。

本発明によれば、撮影画像用の第２の撮像素子とは別の第１の撮像素子の撮像信号によりサムネイル画像を生成するようにしたので、１回の撮影に要する処理時間を従来より短縮することが可能となる。

以下、図を参照して本発明を実施するための最良の形態について説明する。図１は本発明によるカメラの一実施の形態を示す図であり、一眼レフレックスカメラの概略構成を示すブロック図である。カメラ本体１に装着された鏡筒２には、レンズ２０１，２０２および絞り２０３が設けられている。

レンズ２０１，２０２および絞り２０３を通過した被写体光は、カメラ本体１のクイックリターンミラー１０２によって反射される。クイックリターンミラー１０２は被写体光の光路上に挿脱可能に設けられており、非露光時には図１に示すように光路上に配置される。一方、露光時には、クイックリターンミラー１０２は光路外のカメラ上方に跳ね上げられるように退避する。

非露光時においては、被写体光はクイックリターンミラー１０２により反射されて、撮像素子１１０と光学的に等価な位置に配置されたファインダスクリーン１０３上に結像する。ファインダスクリーン１０３に結像した被写体像は、ペンタダハプリズム１０４および接眼レンズ１１４を介して使用者が観察することができる。

また、ファインダスクリーン１０３上に一旦結像した被写体光の一部はペンタダハプリズム１０４を経て、エリアセンサ用再結像光学系１０５によりエリアセンサ１０６上に再結像される。エリアセンサ１０６としては、撮像素子１１０よりも画素数の少ないＣＣＤやＣＭＯＳが使用される。なお、図示していないが、クイックリターンミラー１０２には、被写体光の一部をその下側に設けられたＡＦセンサ（不図示）へと導くサブミラーが設けられている。

レリーズボタン１０８が押し下げられて撮像素子１１０の露光動作が指示されると、クイックリターンミラー１０２が光路外に退避するとともに、シャッタ１０９の開閉動作が行われて、撮像素子１１０の撮像面が被写体光に対して所定時間露光される。なお、カメラ本体１には発光装置１１２が装着されており、被写体輝度に応じて発光装置１１２による発光が行われる。

エリアセンサ１０６および撮像素子１１０のそれぞれから出力される撮像信号は、カメラ本体１に設けられた演算装置１０７に入力される。エリアセンサ１０６からの撮像信号は演算装置１０７の画像処理部２００に入力され、そこでサムネイル画像が生成される。生成されたサムネイル画像は、一旦メモリ２０２に保持される。

本実施の形態では、エリアセンサ１０６は測光センサを兼ねており、エリアセンサ１０６からの撮像信号は露出演算部２０１にも入力され、測光データとして露出演算に用いられる。画像処理部２００には撮像素子１１０からの撮像信号も入力され、その撮像信号に基づいて撮影画像が生成される。そして、生成された撮影画像に上述したサムネイル画像を付加したものを、一つの画像ファイルとして記録装置１１１に記憶させる。記録装置１１１には、例えば、メモリカードのような着脱可能な記録媒体が用いられる。なお、撮影画像としてRAW画像を記録装置１１１に記録する場合には、撮像素子１１０から出力された撮像信号に画像処理を施していない生のデータが、撮影画像として記録装置１１１に記録される。

演算装置１０７には、レリーズボタン１０８の半押し動作でオンする半押しスイッチＳＷ１と、半押し状態からさらにレリーズボタン１０８を押し下げたときにオンするレリーズスイッチＳＷ２が接続されている。後述するように、半押しスイッチＳＷ１のオン動作でサムネイル画像の生成が行われる。そして、レリーズスイッチＳＷ２のオン動作で、撮像素子１１０の露光および撮影動作が行われて撮影画像が生成される。

《撮影動作の説明》
図２は、撮影動作に伴う撮影画像およびサムネイル画像の生成を中心とした一連の処理を示すフローチャートである。この処理は、レリーズボタン１０８が半押しされて、半押しスイッチＳＷ１がオンされるとスタートする。ステップＳ２０１で、演算装置１０７はエリアセンサ１０６から画像データを取得する。

ステップＳ２０２では、演算装置１０７の画像処理部２００において、取得した画像データにホワイトバランス処理やトーンカーブ処理等の画像処理を行い、サムネイル画像を生成する。作成されたサムネイル画像は演算装置１０７内のメモリ２０２に一時的に格納される。なお、エリアセンサ１０６は測光センサを兼用しているので、エリアセンサ１０６の画像データに基づく露出演算が露出演算部２０１により行われる。なお、エリアセンサ１０６はサムネイル画像生成や測光に用いられるものなので、撮影画像を生成するための撮像素子１１０に比べて画素数が少なく、例えば、画素数が３６０×２４０程度でも良い。

ステップＳ２０３では，カメラのレリーズボタン１０８が半押しの状態からさらに押し下げられて、レリーズスイッチＳＷ２がオンとなったか否かを判定する。ステップＳ２０３でレリーズスイッチＳＷ２がオンされたと判定されるとステップＳ２０４へ進み、レリーズスイッチＳＷ２がオフと判定されるとステップＳ２０６へ進む。

ステップＳ２０３からステップＳ２０６へ進んだ場合には、ステップＳ２０６においてレリーズボタン１０８の半押し状態が解除されたか否か、すなわち、半押しスイッチＳＷ１がオフされたか否かを判定する。ステップＳ２０６でＹＥＳと判定されると一連の処理を終了し、ＮＯと判定されるとステップＳ２０３へ戻る。

一方、ステップＳ２０３からステップＳ２０４へ進んだ場合には、ステップＳ２０４において撮像素子１１０の露光動作が行われる。すなわち、クイックリターンミラー１０２を跳ね上げるとともにシャッタ１０９を開き、撮像素子１１０で被写体像を撮像して撮影画像を生成する。ステップＳ２０５では，撮影画像にステップＳ２０２で生成されたサムネイル画像を付加した画像ファイルを、記録装置１１１に記録する。この画像ファイルは、撮影画像データとサムネイル画像データと撮影日時や撮影条件等のデータとから成る。ここでは、撮影画像としては、ホワイトバランス等の画像処理が施された画像だけでなく、撮像信号にそれらの処理を施さないRAW画像なども含まれる。

なお、上述した例では、レリーズボタン１０８の半押し動作によりサムネイル画像を生成したが、半押し動作中に所定時間毎に又は連続的にエリアセンサ１０６から画像データを出力し、サムネイル画像を生成しても良い。この場合、サムネイル画像の生成は、画像処理部２００の空き時間、すなわち、撮像素子１１０の撮像信号から撮影画像を生成する画像処理が実行されていない時間を利用して行われるので、撮影画像生成の画像処理に影響を与えることはない。また、撮影直前に生成したサムネイル画像を撮影画像と共に記録する。なお、生成したサムネイル画像すべてを記録しても構わない。

図３は、図２に示すフローチャートの変形例である。図３に示す変形例の場合、カメラの電源がオンされると処理がスタートする。そして、ステップＳ２０１からステップＳ２０５までの処理は図２の場合と同様であり、ステップＳ３００で電源がＯＦＦされたと判定されると一連の処理を終了する。

一方、ステップＳ３００で電源がＯＦＦでないと判定されると、ステップＳ２０１へ戻る。レリーズスイッチＳＷ２がオフの場合には、すなわち、露光動作の指令がない場合には、ステップＳ３００で電源を判断し、ＯＦＦでない場合にはステップＳ２０１、Ｓ２０２およびＳ２０３の処理が繰り返し行われ、その度にサムネイル画像が生成される。そのため、変形例の場合には、非撮影時に繰り返し生成されるサムネイル画像をカメラのモニタ１１３表示するようにしても良い。

従来のカメラでは、サムネイル画像は撮影画像を処理して形成されていたので、実質的には両方の画像は同じものであった。しかし、本実施の形態では、サムネイル画像は撮影画像よりも前の時点の被写体画像であって、撮影条件の異なる画像を得ることができる。以下では、そのようなサムネイル画像を利用した撮影画像の補正処理について説明する。

ここでは、図４（ａ），（ｂ）のような撮影画像から、人物と背景とを判別して各種処理を行う際の判別処理について説明する。第１の例としては、撮影画像を撮像する際に発光装置１１２が発光された場合の判別方法を説明する。図５は、画像処理の手順を示すフローチャートである。

ステップＳ５０１では、撮影画像を、サムネイル画像と同一画素数となるように縮小処理をする。なお、撮影画像とサムネイル画像とでは、撮影時のシャッタ速度の違いなどがあるので、時間で正規化する処理を施すようにしても良い。ステップＳ５０２では、同一位置の画素に関して、撮影画像の輝度値からサムネイル画像の輝度値を減算して得られる差分を算出し、差分画像を作成する。

ここでは、撮像素子１１０により撮影画像を撮像する際に発光装置１１２が発光されるので、図４（ａ）に示す撮影画像では、発光装置１１２の光が当たっている人物は明るく写っているが、光の届かない背景は暗くなる。そのため、人物の輝度値Ａ１は高いが、背景の輝度値Ｂ１は低くなる。一方、エリアセンサ１０６でサムネイル画像を撮像する際には発光が行われないため、図４（ｂ）に示すサムネイル画像では人物も含めて全体的に暗い画像となり、人物の輝度値Ａ２も背景の輝度値Ｂ２も共に低くなる。そのため、図４（ｃ）の差分画像に示す人物領域の差分（Ａ１−Ａ２）に比べて、背景領域の差分（Ｂ１−Ｂ２）は小さな値となる。

ステップＳ５０３では、画素毎にこれらの差分と所定閾値とを比較し、（差分）≧（所定閾値）となる比較的明るい画素領域を抽出する。図４（ａ）に示す撮影画像の場合、人物領域が抽出されることになる。それ以外の領域は背景であると判定される。ステップＳ５０４では、ステップＳ５０３の抽出結果を利用して撮影画像に対する各種補正処理を行う。

例えば、暗くなっている背景領域を補正処理により明るめに補正したり、主要被写体である人物領域に露出を合わせるように補正したりする。また、ポートレート撮影の場合には、背景と認識された部分にぼかし処理を施したりしても良い。

図６は、人物と背景とを判別する方法の第２の例を説明する図である。図６（ａ）は撮影画像を示し、図６（ｂ）はサムネイル画像を示す。この場合、人物は画面の左方向に移動しており、サムネイル画像と撮影画像の撮像タイミングの時間差分だけ、撮影画像の人物の方が画面左側にずれている。そのため、撮影画像とサムネイル画像の各画素毎に差分を演算して得られる図６（ｃ）の差分画像では、人物が２重写しになった画像となる。

図６（ｃ）において、左側の人物領域の差分は（Ａ１−Ｂ２）となり、人物の方が輝度値が大きいと仮定すると（Ａ１−Ｂ２）＞０となる。一方、右側の人物領域の差分は（Ｂ１−Ａ２）＜０とり、絶対値の大きさは左側人物領域とほぼ等しくなる。また、背景領域の差分（Ｂ１−Ｂ２）の大きさは、ほぼゼロとなる。よって、非常に小さな所定閾値とこれらの差分値とを比較することで、（差分値）＜（所定閾値）を満たす領域を背景領域と判定することができる。すなわち、撮影画像とサムネイル画像との間で、変化がほとんど無い領域を背景領域と判定する。

以上説明したように、本実施の形態では、撮像素子１１０とは別に設けられたエリアセンサ１０６の撮像信号によりサムネイル画像が生成されるので、撮像素子１１０による撮像が行われない画像処理部２００の空き時間を利用して、サムネイル画像に関する画像処理を予め行うことができる。一方、従来のカメラでは、撮影画像を縮小処理してサムネイル画像を形成するようにしているので、必ず撮影画像の処理後にサムネイルの画像処理を行わなければならず、本実施の形態のように撮影画像の処理前に、予めサムネイル画像を生成しておくことができない。

すなわち、本実施の形態のカメラでは、撮像素子１１０による撮像を開始してから、撮影画像にサムネイル画像を添付した画像ファイルを生成するまでの時間を従来よりも短縮することができる。また、サムネイル画像生成のための画像処理は、撮影画像の処理が行われない画像処理部２００の空き時間に行われるので、処理時間の短縮に加えて画像処理部２００の処理負荷の低減を図ることができる。

さらに、上述したようにサムネイル画像と撮影画像との間で撮影タイミングが異なることや、発光・非発光などの撮影条件が違うことで、例えば、撮影画像を二つの領域に分割するための人物と背景との判別を行うことができる。そして、その判別結果を用いて撮影画像の補正処理等を行うことができる。従来は、撮影画像からサムネイル画像を形成していたので、上述したような画像の差違による判別を行うことができず、撮影画像の補正処理において限界があった。

また、エリアセンサ１０６はサムネイル画像生成用の撮像素子と測光センサとを兼用しているので、サムネイル画像生成用の撮像素子を新たに追加する必要がなく、コストアップの抑制を図ることができる。

なお、上述した例では、カメラ内においてサムネイル画像を利用した補正処理を行ったが、サムネイル画像が付加された撮影画像をパーソナルコンピュータ等の処理装置に転送し、その処理装置において上述した補正処理を行うようにしても良い。また、上述した実施の形態では、光路変更手段としてのクイックリターンミラー１０２により、被写体光束を撮像素子１１０またはエリアセンサ１０６に選択的に導くように構成したが、被写体光をハーフミラーのような光分割手段により分割して、撮像素子１１０およびエリアセンサ１０６に導くようにしても良い。さらに、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。

本発明によるカメラの一実施の形態を示す図であり、一眼レフレックスカメラの概略構成を示すブロック図である。撮影動作に伴う撮影画像およびサムネイル画像の生成を中心とした一連の処理を示すフローチャートである。変形例の動作を示すフローチャートである。判別方法の第１の例を説明する図であり、（ａ）は撮影画像を、（ｂ）はサムネイル画像を、（ｃ）は差分画像をそれぞれ示す。撮影画像の補正処理を説明するためのフローチャートである。判別方法の第２の例を説明する図であり、（ａ）は撮影画像を、（ｂ）はサムネイル画像を、（ｃ）は差分画像をそれぞれ示す。

符号の説明

１：カメラ本体、２：鏡筒、１０２：クイックリターンミラー、１０６：エリアセンサ、１０７：演算装置、１０８：レリーズボタン、１１０：撮像素子、１１１：記録装置、１１２：発光装置、２００：画像処理部、２０１：露出演算部、ＳＷ１：半押しスイッチ、ＳＷ２：レリーズスイッチ

Claims

被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、
被写体像を撮像し、前記第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、
前記第１の撮像素子による撮像と、前記第２の撮像素子による撮像とを行わせる制御手段と、
前記撮像された前記第２の画像に前記撮像された前記第１の画像を付加した画像ファイルを記憶する記憶手段と、
前記第２の画像と前記第１の画像との差分画像を算出し、その差分画像に基づいて前記第２の画像を複数の画像領域に分割し、前記画像領域毎に前記第２の画像の補正を行う補正手段とを備えたことを特徴とするカメラ。
請求項１に記載のカメラにおいて、
前記制御手段は、前記第２の撮像素子による撮像を行わせる前に、前記第１の撮像素子による撮像を行わせることを特徴とするカメラ。
請求項１または２に記載のカメラにおいて、
撮影光学系からの被写体光を、前記第１および第２の撮像素子のいずれか一方に選択的に導く光路変更手段を備えたことを特徴とするカメラ。
請求項１〜３のいずれか一項に記載のカメラにおいて、
前記第１の撮像素子の撮像信号に基づいて露出演算を行う露出演算手段を備えたことを特徴とするカメラ。
請求項１〜４のいずれか一項に記載のカメラにおいて、
前記制御手段は、カメラに装着された発光装置を発光させて前記第２の撮像素子による撮像を行う場合に、前記発光装置を発光させずに前記第１の撮像素子による撮像を行わせることを特徴とするカメラ。
請求項１〜５のいずれか一項に記載のカメラにおいて、
前記第１の撮像素子の撮像信号に基づいて前記第１の画像を生成した後に、前記第２の撮像素子の撮像信号に基づいて前記第２の画像を生成する画像処理手段を備えたことを特徴とするカメラ。
被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、
被写体像を撮像し、前記第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、
前記第１の撮像素子による撮像と、カメラに備えられた発光装置を発光させて前記第２の撮像素子による撮像とを行わせる制御手段と、
前記撮像された前記第２の画像に前記撮像された前記第１の画像を付加した画像ファイルを記憶する記憶手段と、
前記第１の画像と前記第２の画像の対応する領域ごとの輝度値の差分を求め、前記差分が所定閾値以上となる領域を抽出し、その抽出結果に基づいて前記第２の画像に対する補正を行う補正手段とを備えたことを特徴とするカメラ。
コンピュータに、
被写体像を第１の撮像素子で撮像して第１の画像を生成する第１の手順と、
被写体像を第２の撮像素子で撮像して前記第１の画像よりも画素数の多い第２の画像を生成する第２の手順と、
前記第１の撮像素子による撮像と、前記第２の撮像素子による撮像とを行わせる第３の手順と、
前記撮像された前記第２の画像に前記撮像された前記第１の画像を付加した画像ファイルを生成する第４の手順と、
前記第２の画像と前記第１の画像との差分画像を算出し、その差分画像に基づいて前記第２の画像を複数の画像領域に分割し、前記画像領域毎に前記第２の画像の補正する第５の手順とを実行させるための撮影用プログラム。
コンピュータに、
被写体像を第１の撮像素子で撮像して第１の画像を生成する第１の手順と、
被写体像を第２の撮像素子で撮像して前記第１の画像よりも画素数の多い第２の画像を生成する第２の手順と、
前記第１の撮像素子による撮像と、カメラに備えられた発光装置を発光させて前記第２の撮像素子による撮像とを行わせる第３の手順と、
前記撮像された前記第２の画像に前記撮像された前記第１の画像を付加した画像ファイルを生成する第４の手順と、
前記第１の画像と前記第２の画像の対応する領域ごとの輝度値の差分を求め、前記差分が所定閾値以上となる領域を抽出し、その抽出結果に基づいて前記第２の画像に対する補正する第５の手順とを実行させるための撮影用プログラム。
被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、
被写体像を撮像し、前記第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、
前記第１の撮像素子による撮像と、前記第２の撮像素子による撮像とを行わせる制御手段と、
前記第２の画像と前記第１の画像との差分画像を算出し、その差分画像に基づいて前記第２の画像を複数の画像領域に分割し、前記画像領域毎に前記第２の画像の補正を行う補正手段とを備えたことを特徴とするカメラ。
被写体像を撮像し、第１の画像用の撮像信号を出力する第１の撮像素子と、
被写体像を撮像し、前記第１の画像よりも画素数の多い第２の画像用の撮像信号を出力する第２の撮像素子と、
前記第１の撮像素子による撮像と、カメラに備えられた発光装置を発光させて前記第２の撮像素子による撮像とを行わせる制御手段と、
前記第１の画像と前記第２の画像の対応する領域ごとの輝度値の差分を求め、前記差分が所定閾値以上となる領域を抽出し、その抽出結果に基づいて前記第２の画像に対する補正を行う補正手段とを備えたことを特徴とするカメラ。