JPWO2017199557A1 - 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 - Google Patents

撮像装置、撮像方法、プログラム、及び非一時的記録媒体 Download PDF

Info

Publication number
JPWO2017199557A1
JPWO2017199557A1 JP2018518122A JP2018518122A JPWO2017199557A1 JP WO2017199557 A1 JPWO2017199557 A1 JP WO2017199557A1 JP 2018518122 A JP2018518122 A JP 2018518122A JP 2018518122 A JP2018518122 A JP 2018518122A JP WO2017199557 A1 JPWO2017199557 A1 JP WO2017199557A1
Authority
JP
Japan
Prior art keywords
light
image
sensor
optical system
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018518122A
Other languages
English (en)
Other versions
JP6633746B2 (ja
Inventor
小野 修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017199557A1 publication Critical patent/JPWO2017199557A1/ja
Application granted granted Critical
Publication of JP6633746B2 publication Critical patent/JP6633746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/02Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/04Reversed telephoto objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0804Catadioptric systems using two curved mirrors
    • G02B17/0808Catadioptric systems using two curved mirrors on-axis systems with at least one of the mirrors having a central aperture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0896Catadioptric systems with variable magnification or multiple imaging planes, including multispectral systems
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Shutters For Cameras (AREA)
  • Lenses (AREA)

Abstract


各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により複数の画像を同時に撮影し、ダイナミックレンジを拡大した画像を取得する撮像装置、撮像方法、プログラム、及び非一時的記録媒体を提供する。撮影レンズの第1光学系を介して入射した第1入射光に対する第1受光センサと第2受光センサとの感度の比率がM:1である指向性センサから、撮影レンズの第2入射光を遮光した状態で第1受光センサと第2受光センサとの画像信号を取得し、第1受光センサの画像信号による第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成する。

Description

本発明は、撮像装置、撮像方法、プログラム、及び非一時的記録媒体に関し、特に各受光センサが光の入射角に関して指向性を有する指向性センサを使用して複数の画像を同時に撮影する技術に関する。
領域により異なる撮像特性を有する光学系と指向性センサを備える撮像系により、撮像特性が異なる複数の画像を同時に取得可能な撮像システムが提案されている。指向性センサは、理想的には、想定された瞳領域からの光だけを感じるように製作されるが、実際には混信が生じて、他の瞳領域からの光にも感じてしまう。
このような課題に対し、特許文献1には、複数の領域の内の一の領域に対応する受光センサの撮像信号から一の領域に対応する画像を生成し、生成された画像の補正を行う際に、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する技術が記載されている。
国際公開第2013/146506号公報
しかしながら、特許文献1に記載の技術では、高輝度の被写体がある場合には、信号飽和の影響によって混信成分を除去することができず、出力画像の画質を劣化させてしまうという問題があった。また、高輝度の被写体に白トビが発生しないように、ダイナミックレンジを拡大した画像を取得するためには、露光時間の異なる2枚の画像を撮影する必要があった。
本発明はこのような事情に鑑みてなされたもので、各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により複数の画像を同時に撮影し、ダイナミックレンジを拡大した画像を取得する撮像装置、撮像方法、プログラム、及び非一時的記録媒体を提供することを目的とする。
上記目的を達成するために撮像装置の一の態様は、それぞれ異なる領域に設けられた第1光学系と第2光学系とを備える撮影レンズと、複数の第1受光センサと複数の第2受光センサとが2次元状に配列された指向性センサであって、M及びNを1より大きい数とすると、第1光学系を介して入射した第1入射光に対する第1受光センサと第2受光センサとの感度の比率がM:1であり、第2光学系を介して入射した第2入射光に対する第1受光センサと第2受光センサとの感度の比率が1:Nである指向性センサと、複数の第1受光センサから得られる第1画像信号と複数の第2受光センサから得られる第2画像信号とを取得する画像読み出し部と、第1画像信号から第1画像を生成し、第2画像信号から第2画像を生成する画像生成部と、第2入射光の指向性センサへの入射又は遮光を制御する第1遮光制御部と、第2入射光を遮光した状態で第1画像信号と第2画像信号とを取得し、第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成するダイナミックレンジ拡大処理部と、を備えた。
本態様によれば、第1光学系を介して入射した第1入射光に対する第1受光センサと第2受光センサとの感度の比率がM:1である指向性センサによって、第2入射光を遮光した状態で複数の第1受光センサと第2受光センサとから第1画像信号と第2画像信号とを取得し、第1画像信号から生成される第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成するようにしたので、受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により、ダイナミックレンジを拡大した画像を撮影することができる。
第1遮光制御部は、光の透過状態と遮光状態とを切り替える第1シャッタを備えることが好ましい。これにより、第2入射光の指向性センサへの入射又は遮光を適切に制御することができる。
第1シャッタは、第1入射光の光路に配置されることが好ましい。これにより、第2入射光の指向性センサへの入射又は遮光を適切に制御することができる。
第1入射光の指向性センサへの入射又は遮光を制御する第2遮光制御部を備え、ダイナミックレンジ拡大処理部は、第2入射光を入射させ、かつ第1入射光を遮光した状態で第1画像信号と第2画像信号とを取得し、第2画像のダイナミックレンジのN倍のダイナミックレンジを有する第4画像を生成することが好ましい。これにより、第2入射光によるダイナミックレンジを拡大した画像を撮影することができる。
第2遮光制御部は、光の透過状態と遮光状態とを切り替える第2シャッタを備えることが好ましい。これにより、第1入射光の指向性センサへの入射又は遮光を適切に制御することができる。
第2シャッタは、第2入射光の光路に配置されることが好ましい。これにより、第1入射光の指向性センサへの入射又は遮光を適切に制御することができる。
第1光学系及び第2光学系は、互いに異なる撮像特性を有することが好ましい。これにより、互いに異なる撮像特性を有する画像を同時に撮影することができる。
第1光学系及び第2光学系は、一方が広角光学系であり、他方が広角光学系より焦点距離が長い望遠光学系であることが好ましい。これにより、広角画像と望遠画像とを同時に撮影することができる。
撮影レンズは、第1光学系が中央部に配置され、第2光学系が第1光学系の周辺部に環状に配置されることが好ましい。これにより、第1光学系と第2光学系とを適切に配置し、また、第2入射光の指向性センサへの入射又は遮光を適切に制御することができる。
指向性センサへ入射する光量を調節するための絞りを備え、第1遮光制御部は、絞りによって第2入射光の指向性センサへの入射又は遮光を制御してもよい。これにより、第2入射光の指向性センサへの入射又は遮光を適切に制御することができる。
上記目的を達成するために撮像方法の一の態様は、それぞれ異なる領域に設けられた第1光学系と第2光学系とを備える撮影レンズと、複数の第1受光センサと複数の第2受光センサとが2次元状に配列された指向性センサであって、M及びNを1より大きい数とすると、第1光学系を介して入射した第1入射光に対する第1受光センサと第2受光センサとの感度の比率がM:1であり、第2光学系を介して入射した第2入射光に対する第1受光センサと第2受光センサとの感度の比率が1:Nである指向性センサと、を備えた撮像装置の撮像方法であって、複数の第1受光センサから得られる第1画像信号と複数の第2受光センサから得られる第2画像信号とを取得する画像読み出し工程と、第1画像信号から第1画像を生成し、第2画像信号から第2画像を生成する画像生成工程と、第2入射光の指向性センサへの入射又は遮光を制御する第1遮光制御工程と、第2入射光を遮光した状態で第1画像信号と第2画像信号とを取得し、第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成するダイナミックレンジ拡大処理工程と、を備えた。
本態様によれば、第1光学系を介して入射した第1入射光に対する第1受光センサと第2受光センサとの感度の比率がM:1である指向性センサによって、第2入射光を遮光した状態で複数の第1受光センサと第2受光センサとから第1画像信号と第2画像信号とを取得し、第1画像信号から生成される第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成するようにしたので、受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により、ダイナミックレンジを拡大した画像を撮影することができる。
撮像方法を撮像装置に実行させるプログラムも本態様に含まれる。また、プログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体も本態様に含まれる。
本発明によれば、各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により、ダイナミックレンジを拡大した画像を撮影することができる。
図1は、デジタルカメラを示す斜視図である。 図2は、撮像部の断面構成を示す図である。 図3は、図2のA矢視図である。 図4は、瞳選択センサの詳細な断面構成例を示す図である。 図5は、多様レンズに入射する広角画像光の光路を示す図である。 図6は、多様レンズに入射する望遠画像光の光路を示す図である。 図7は、望遠画像と同時に撮影した広角画像を示す図である。 図8は、広角画像と同時に撮影した望遠画像を示す図である。 図9は、混信が生じている広角画像を示す図である。 図10は、混信が生じている望遠画像を示す図である。 図11は、多様レンズ及び瞳選択センサに入射する広角画像光及び望遠画像光の光路を示す図である。 図12は、第1液晶シャッタを透過状態、第2液晶シャッタを遮光状態とした場合の第1受光センサと第2受光センサの光電変換特性を示すグラフである。 図13は、多様レンズ及び瞳選択センサに入射する広角画像光及び望遠画像光の光路を示す図である。 図14は、第1液晶シャッタを遮光状態、第2液晶シャッタを透過状態とした場合の第1受光センサと第2受光センサの光電変換特性を示すグラフである。 図15は、デジタルカメラの機能構成例を示すブロック図である。 図16は、ダイナミックレンジ拡大処理部の詳細な回路構成を示すブロック図である。 図17は、合成処理回路により各ダイナミックレンジに応じて合成された合成後の画像データの信号レベルを示す図である。 図18は、デジタルカメラによる撮像方法の一例を示すフローチャートである。 図19は、デジタルカメラの機能構成例を示すブロック図である。 図20は、デジタルカメラの機能構成例を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施形態について説明する。
〔デジタルカメラの構成〕
図1は、本実施形態に係るデジタルカメラ10(撮像装置の一例)を示す斜視図である。デジタルカメラ10は、光軸Lを有する多様レンズ11及び被写体に撮影補助光を照射するフラッシュ発光部12が本体の前面に設けられており、撮像動作を実行させるためのレリーズボタン13が本体の上面に設けられている。
撮影者がデジタルカメラ10を用いて被写体を撮影するには、デジタルカメラ10を保持して多様レンズ11を被写体に向け、レリーズボタン13を押せばよい。多様レンズ11を介して瞳選択センサ24(図2参照)の受光面に結像した被写体像は、瞳選択センサ24において光電変換され、レリーズボタン13の操作に基づいて、画像信号として読み出される。この画像信号に画像処理を施すことにより、被写体の撮影画像を取得することができる。
〔撮像部の構成〕
図2は、多様レンズ11及び瞳選択センサ24を備える撮像部14の断面構成を示す図である。
多様レンズ11(撮影レンズの一例)は、相互に独立した撮像特性を有する第1光学系21及び第2光学系22を含み、特に本実施形態では焦点距離が互いに異なる光学系によって第1光学系21及び第2光学系22が構成される。すなわち、本実施形態の多様レンズ11は、広角画像撮影レンズ群によって構成される第1光学系21(一方が広角光学系の一例)と、望遠画像撮影レンズ群によって構成される第2光学系22(他方が望遠光学系の一例)とを含んでいる。
図2に示す第1光学系21は、同一の光軸L上に配置される第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を含んで構成される。一方、第2光学系22は、第1望遠用レンズ22a、第1望遠用反射ミラー22cが設けられる第1望遠用反射体22b、第2望遠用反射ミラー22eが設けられる第2望遠用反射体22d、及び共通レンズ23を含んで構成される。
図3は、図2のA矢視図である。第1光学系21(特に第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c及び第4広角用レンズ21d)と第2光学系22(特に第1望遠用レンズ22a、第1望遠用反射体22b、第1望遠用反射ミラー22c、第2望遠用反射体22d及び第2望遠用反射ミラー22e)とは、同心状に配置され、第1光学系21は中央光学系を形成し、第2光学系22は第1光学系21の周辺部に環状に配置された周辺光学系を形成する。なお、共通レンズ23は、光軸L上に配置され、第1光学系21と第2光学系22との間で共用される。
このように、多様レンズ11は、共通の光軸Lを有する第1光学系21及び第2光学系22であって、相互に異なる焦点距離及び撮影画角を有する第1光学系21及び第2光学系22を含んでいる。
図2の説明に戻り、瞳選択センサ24は、複数の受光センサ25(光電変換素子)が光の入射角に関して指向性を有する指向性センサであり、複数の受光センサ25が光軸Lと直交する方向に2次元状に配置され、第1光学系21を介して入射する広角画像光W(第1入射光の一例、図5参照)と、第2光学系22を介して入射する望遠画像光T(第2入射光の一例、図6参照)とを同時に受光する。
図4は、瞳選択センサ24の詳細な断面構成例を示す図である。瞳選択センサ24は、角度感度特性が異なる第1受光センサ25aと第2受光センサ25bとを備えており、第1受光センサ25aと第2受光センサ25bとは、交互に配置されている。
第1受光センサ25aは、広角画像光Wを受光して広角画像(第1画像の一例)を生成するための第1画像信号を出力し、第2受光センサ25bは、望遠画像光Tを受光して望遠画像(第2画像の一例)を生成するための第2画像信号を出力する。
複数の第1受光センサ25aは、広角画像光Wを選択的に受光する第1センサ群24aを構成し、複数の第2受光センサ25bは、望遠画像光Tを選択的に受光する第2センサ群24bを構成する。
第1受光センサ25a及び第2受光センサ25bの各々は、マイクロレンズ26、フォトダイオード29、及びマイクロレンズ26とフォトダイオード29とが配置される中間層27を有する。中間層27には遮光マスク28が設けられており、第1受光センサ25aではフォトダイオード29の受光面の周辺部に遮光マスク28が配置され、第2受光センサ25bではフォトダイオード29の受光面の中央部に遮光マスク28が配置される。遮光マスク28の配置は、第1光学系21及び第2光学系22のうちのいずれに対応するかに応じて決定され、各遮光マスク28は、対応しない光学系からの光を遮断する一方で対応する光学系からの光を遮断することなくフォトダイオード29に受光させる。
このように構成された瞳選択センサ24は、実際には、広角画像光Wを選択的に受光する第1受光センサ25aに望遠画像光Tが混信し、望遠画像光Tを選択的に受光する第2受光センサ25bに広角画像光Wが混信する。本実施形態では、M及びNを1より大きい数とすると、広角画像光Wに対する第1受光センサ25aと第2受光センサ25bとの感度(混信)の比率がM:1であり、望遠画像光Tに対する第1受光センサ25aと第2受光センサ25bとの感度の比率が1:Nであるとする。例えば、M=10、N=10とすることができる。なお、MとNとは異なる値であってもよい。
なお、ここでは、遮光マスク28を含む受光センサ25によって、第1光学系21及び第2光学系22のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサを実現しているが、他の手段によって瞳分割を実現してもよい。例えば、共通レンズ23(図2参照)とマイクロレンズ26との間のように、マイクロレンズ26よりも入射光の光路の上流側に遮光マスク28が設けられてもよいし、液晶シャッタ等の遮光マスク28以外の遮光手段を用いてもよい。
また、中間層27には遮光マスク28以外の部材を設けてもよく、例えば配線及び/又は回路類を中間層27に設けることができる。
瞳選択センサ24には、第1受光センサ25a及び第2受光センサ25bに対して配設されたR(赤),G(緑),B(青)のカラーフィルタ(光学フィルタ)により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像(モザイク画像)をデジタル画像信号処理部34(図13参照)が同時化処理することにより、カラーの広角画像及び望遠画像が得られるようになっている。
再び図2の説明に戻り、撮像部14は、第1液晶シャッタ51(第2シャッタの一例)及び第2液晶シャッタ52(第1シャッタの一例)からなる遮光部50を備えている。第1液晶シャッタ51及び第2液晶シャッタ52は、それぞれ光軸Lと直交する方向に同心状に配置された液晶パネルである。第1液晶シャッタ51及び第2液晶シャッタ52は、入射する光を透過する透過状態及び光を遮光する遮光状態に切り替え可能に構成されており、この切り替えは、遮光シャッタ制御部48(図15参照)によって制御される。
第1液晶シャッタ51は第1光学系21に対応した円形の形状を有しており、第1広角用レンズ21aと第2広角用レンズ21bとの間の位置であって、広角画像光Wの光路の位置に配置されている。すなわち、第1液晶シャッタ51は、透過状態及び遮光状態により、広角画像光Wの通過及び遮断を制御する。なお、第1液晶シャッタ51は、第1光学系21の内部に配置されるものに限定されず、広角画像光Wの光路の第1光学系21よりも前段に配置されてもよいし、第1光学系21よりも後段(第1光学系21と瞳選択センサ24との間)に配置されていてもよい。
また、第2液晶シャッタ52は、第2光学系22に対応して、第1液晶シャッタ51の周辺部に環状に配置されており、第1望遠用反射ミラー22cと第2望遠用反射ミラー22eとの間の位置であって、望遠画像光Tの光路の位置に配置されている。すなわち、第2液晶シャッタ52は、透過状態及び遮光状態により、望遠画像光Tの通過及び遮断を制御する。第2液晶シャッタ52についても、第2光学系22の内部に配置されるものに限定されず、望遠画像光Tの光路の第2光学系22よりも前段に配置されてもよいし、第2光学系22よりも後段(第2光学系22と瞳選択センサ24との間)に配置されていてもよい。
遮光部50は、第1液晶シャッタ51及び第2液晶シャッタ52を1枚の液晶パネルとして構成し、それぞれの領域について個別に透過状態及び遮光状態を切り替えてもよい。
〔撮像部の作用〕
<第1液晶シャッタ及び第2液晶シャッタが透過状態の場合>
図5は、図2に示す多様レンズ11(特に第1光学系21)及び瞳選択センサ24(特に第1センサ群24a(図4参照))に入射する広角画像光Wの光路を示す図であり、第1液晶シャッタ51が透過状態である場合を示している。同図に示すように、広角画像光Wは、第1光学系21の第1広角用レンズ21a、第1液晶シャッタ51、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を順次通過し、瞳選択センサ24の第1受光センサ25aに広角画像が結像する。
図6は、図2に示す多様レンズ11(特に第2光学系22)及び瞳選択センサ24(特に第2センサ群24b(図4参照))に入射する望遠画像光Tの光路を示す図であり、第2液晶シャッタ52が透過状態である場合を示している。同図に示すように、望遠画像光Tは、第1望遠用レンズ22aを通過(透過)して第1望遠用反射ミラー22cに反射された後、第2液晶シャッタ52を通過して第2望遠用反射ミラー22eにより反射され、第2液晶シャッタ52、共通レンズ23を通過し、瞳選択センサ24の第2受光センサ25bに望遠画像が結像する。第1望遠用反射ミラー22c及び第2望遠用反射ミラー22eの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第2光学系22の光軸Lの方向に関する長さを短くすることができる。
したがって、第1液晶シャッタ51及び第2液晶シャッタ52が共に透過状態である場合には、瞳選択センサ24において広角画像光Wと望遠画像光Tとを選択的に受光し、広角画像と望遠画像を同時に撮影することができる。
図7及び図8は、それぞれ同時に撮影した広角画像と望遠画像との一例を示す図である。なお、図7及び図8では、広角画像と望遠画像との間で混信が生じていない場合(広角画像光Wが第2受光センサ25bに全く入射せず、望遠画像光Tが第1受光センサ25aに全く入射しない場合)の例を示している。
これに対し、図9及び図10は、それぞれ混信が生じている場合の広角画像と望遠画像との一例を示す図である。図9に示すように、広角画像中に望遠画像が混信しており、本来の被写体像(画像中央の小さな貨物自動車)の他に、混信による偽像(貨物自動車の大きな像)が画像内にうっすらと現れている。一方、図10に示すように、望遠画像中にも広角画像が混信しており、本来の被写体(画像中央の大きな貨物自動車)の他に、混信による偽像(貨物自動車の小さな像)が画像中央にうっすらと現れている。
前述のように、本実施形態に係る瞳選択センサ24は、広角画像光Wに対する第1受光センサ25aと第2受光センサ25bとの感度の比率がM:1である。したがって、広角画像光WのM/(M+1)は第1受光センサ25aに受光され、1/(M+1)は第2受光センサ25bに混信する。また、望遠画像光Tに対する第1受光センサ25aと第2受光センサ25bとの感度の比率が1:Nである。したがって、望遠画像光TのN/(N+1)は第2受光センサ25bに受光され、1/(N+1)は第1受光センサ25aに混信する。
<第1液晶シャッタが透過状態、第2液晶シャッタが遮光状態の場合>
図11は、図2に示す多様レンズ11及び瞳選択センサ24に入射する広角画像光W及び望遠画像光Tの光路を示す図であり、第1液晶シャッタ51が透過状態であり、第2液晶シャッタ52が遮光状態の場合を示している。
望遠画像光Tは、第1望遠用レンズ22aを通過し、第1望遠用反射ミラー22cに反射された後、第2液晶シャッタ52に入射する。ここでは、第2液晶シャッタ52は遮光状態であるため、第2液晶シャッタ52に入射した望遠画像光Tは第2液晶シャッタ52により遮断され、第2望遠用反射ミラー22eには入射しない。その結果、瞳選択センサ24の第2受光センサ25bには望遠画像が結像しない。
一方、第1液晶シャッタ51は透過状態であるため、図5に示した場合と同様に、広角画像光Wは、第1光学系21の第1広角用レンズ21a、第1液晶シャッタ51、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を順次通過し、瞳選択センサ24の第1受光センサ25aに広角画像が結像する。
ここで、広角画像光Wに対する第1受光センサ25aと第2受光センサ25bとの感度の比率はM:1であるため、広角画像光WのうちM/(M+1)は第1受光センサ25aに受光され、1/(M+1)は第2受光センサ25bが受光する。したがって、第1受光センサ25aに広角画像が結像するとともに、第2受光センサ25bに、第1受光センサ25aで撮影される広角画像の1/Mの露光量により広角画像が結像する。
図12は、第1液晶シャッタ51を透過状態、及び第2液晶シャッタ52を遮光状態とした場合の第1受光センサ25aと第2受光センサ25bの光電変換特性を示すグラフであり、横軸は相対的入射光量、縦軸は出力信号を示している。
第1受光センサ25aの出力は、相対的入射光量が増加するに従って比例して増加し、相対的入射光量が100%の場合に出力信号が飽和値に達する。以後、相対的入射光量が増加しても、第1受光センサ25aの出力は飽和値において一定となる。
一方、第2受光センサ25bは、第1受光センサ25aに対して感度が1/Mであり、相対的入射光量がM×100%の場合に飽和値に達する。
このように、第1液晶シャッタ51を透過状態、及び第2液晶シャッタ52を遮光状態とすることにより、露光量の異なる2枚の広角画像(高感度の広角画像と低感度の広角画像)を同時に撮影することができる。
<第1液晶シャッタが遮光状態、第2液晶シャッタが透過状態の場合>
図13は、図2に示す多様レンズ11及び瞳選択センサ24に入射する広角画像光W及び望遠画像光Tの光路を示す図である。ここでは、第1液晶シャッタ51は遮光状態であり、第2液晶シャッタ52は透過状態である。
広角画像光Wは、第1光学系21の第1広角用レンズ21aを通過した後、第1液晶シャッタ51に入射する。ここでは、第1液晶シャッタ51は遮光状態であるため、第1液晶シャッタ51に入射した広角画像光Wは第1液晶シャッタ51により遮断され、第2広角用レンズ21bには入射しない。その結果、瞳選択センサ24の第1受光センサ25aには広角画像が結像しない。
一方、望遠画像光Tは、第2液晶シャッタ52が透過状態であるため、第1望遠用レンズ22aを通過して第1望遠用反射ミラー22cに反射された後、第2液晶シャッタ52を通過して第2望遠用反射ミラー22eにより反射され、第2液晶シャッタ52、共通レンズ23を通過し、瞳選択センサ24上に望遠画像が結像する。
ここで、望遠画像光Tに対する第1受光センサ25aと第2受光センサ25bとの感度の比率は1:Nであるため、望遠画像光TのうちN/(N+1)は第2受光センサ25bに受光され、1/(N+1)は第1受光センサ25aが受光する。したがって、第2受光センサ25bに望遠画像が結像するとともに、第1受光センサ25aに、第2受光センサ25bで撮影される望遠画像の1/Nの露光量で望遠画像が結像する。
図14は、第1液晶シャッタ51を遮光状態、及び第2液晶シャッタ52を透過状態とした場合の第1受光センサ25aと第2受光センサ25bの光電変換特性を示すグラフであり、横軸は相対的入射光量、縦軸は出力信号を示している。
第2受光センサ25bの出力は、相対的入射光量が増加するに従って比例して増加し、相対的入射光量が100%の場合に出力信号が飽和値に達する。以後、相対的入射光量が増加しても、第2受光センサ25bの出力は飽和値において一定となる。
一方、第1受光センサ25aは、第2受光センサ25bに対して感度が1/Nであり、相対的入射光量がN×100%の場合に飽和値に達する。
このように、第1液晶シャッタ51を遮光状態、及び第2液晶シャッタ52を透過状態とすることにより、露光量の異なる2枚の望遠画像(高感度の望遠画像と低感度の望遠画像)を同時に撮影することができる。
〔デジタルカメラの機能構成〕
図15は、本実施形態に係るデジタルカメラ10の機能構成例を示すブロック図である。同図に示すように、デジタルカメラ10は、上記の多様レンズ11、瞳選択センサ24の他に、多様画像を取得する撮像・画像取得部32、多様画像に信号処理を施すデジタル画像信号処理部34、信号処理が施された多様画像をそれぞれ記録、表示、伝送する記録部40、表示部42、伝送部44、デジタルカメラ10の動作を切り替える撮影モード選択・処理切替制御部46、及び遮光部50を制御する遮光シャッタ制御部48を有する。撮像・画像取得部32、デジタル画像信号処理部34、撮影モード選択・処理切替制御部46、及び遮光シャッタ制御部48等の各機能はデジタルカメラ10内におけるCPU(Central Processing Unit)等のプロセッサ類が動作することにより実現されてもよいし、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路やこれらの組み合わせにより実現されてもよい。
第1光学系21(図2参照)に対応する第1多様レンズ瞳61を介した広角画像光Wは、瞳選択センサ24の第1センサ群24aによって受光され、第2光学系22(図2参照)に対応する第2多様レンズ瞳62を介した望遠画像光Tは、瞳選択センサ24の第2センサ群24bによって受光される。
撮像・画像取得部32は、瞳選択センサ24を備えている。撮像・画像取得部32(画像読み出し部の一例)は、瞳選択センサ24の第1センサ群24aから第1画像信号を取得し、第2センサ群24bから第2画像信号を取得する。この第1画像信号及び第2画像信号は、デジタル画像信号処理部34に入力される。
デジタル画像信号処理部34は、混信低減処理部36及びダイナミックレンジ拡大処理部38を備えている。
混信低減処理部36は、第1液晶シャッタ51及び第2液晶シャッタ52を透過状態として撮像・画像取得部32が取得した第1画像信号及び第2画像信号から、混信している第2画像信号を低減させた広角画像データ及び混信している第1画像信号を低減させた望遠画像データを生成する。
ダイナミックレンジ拡大処理部38は、第1液晶シャッタ51及び第2液晶シャッタ52のいずれかを遮光状態として撮像・画像取得部32から取得した第1画像信号及び第2画像信号から、ダイナミックレンジを拡大した広角画像データ又はダイナミックレンジを拡大した望遠画像データを生成する。
デジタル画像信号処理部34において生成された画像データは、記録部40、表示部42、及び/又は伝送部44に送られる。
記録部40はデジタルカメラ10に内蔵された記録媒体及び/又はデジタルカメラ10から取り外し可能な記録媒体を備え、デジタル画像信号処理部34から送られた画像データをこれらの記録媒体に記録する。
表示部42は液晶モニタを備え、デジタル画像信号処理部34から送られた画像データをこの液晶モニタに表示する。
伝送部44は、デジタル画像信号処理部34から送られた画像データを、無線LAN(Local Area Network)等の通信手段を介して伝送する。
撮影モード選択・処理切替制御部46は、デジタルカメラ10の使用者が不図示の操作部を用いて選択した撮影モードに対応させて、撮像・画像取得部32、デジタル画像信号処理部34、及び遮光シャッタ制御部48における処理を制御する。
遮光シャッタ制御部48(第1遮光制御部の一例、第2遮光制御部の一例)は、第1液晶シャッタ51及び第2液晶シャッタ52の透過状態及び遮光状態を制御する。
〔ダイナミックレンジ拡大処理部の構成〕
図16は、図15に示したダイナミックレンジ拡大処理部38の詳細な回路構成を示すブロック図である。同図に示すように、ダイナミックレンジ拡大処理部38は、オフセット処理部100及び102、リニアマトリクス回路110及び112、ゲイン補正回路120及び122、及び合成処理回路130等を備えている。
ここでは、M≧4であり、第1液晶シャッタ51を透過状態、第2液晶シャッタ52を遮光状態として、高感度の広角画像と低感度の広角画像の2枚の広角画像を同時に撮影した場合のダイナミックレンジ拡大処理について説明する。
第1画像信号及び第2画像信号は、それぞれオフセット処理部100及びオフセット処理部102に入力され、オフセット処理が施される。
オフセット処理された第1画像信号及び第2画像信号は、リニアマトリクス回路110及び112に出力され、ここで瞳選択センサ24の分光特性を補正する色調補正処理が行われる。
リニアマトリクス回路110及び112から出力された第1画像信号及び第2画像信号は、ゲイン補正回路120及び122にそれぞれ出力される。ゲイン補正回路120及び122は、R,G,Bの画像信号ごとにそれぞれホワイトバランス調整用のゲインをかけることによりホワイトバランス調整を行う。ゲイン補正回路120及び122から出力された第1画像信号及び第2画像信号は、それぞれ合成処理回路130に出力される。
合成処理回路130は、主として高感度画像データ用の階調変換LUT(Look-Up Table)132と、低感度画像データ用の階調変換LUT134と、加算器136とから構成されている。
階調変換LUT132及び134は、ここではM×100%以下の6つのダイナミックレンジ(100%、130%、170%、230%、300%、400%)にそれぞれ対応する6つの階調変換LUTからなり、不図示の操作部によって選択されたダイナミックレンジの拡大率に応じて6つの階調変換LUTの中から対応する階調変換LUTが選択される。
合成処理回路130に入力された第1画像信号及び第2画像信号は、それぞれ階調変換LUT132及び134の中からダイナミックレンジの拡大率に基づいて選択された階調変換LUTにより階調変換され、加算器136に出力される。
加算器136は、階調変換LUT132と134によって階調変換された第1画像信号及び第2画像信号を真数合成(加算)する。
図17は、合成処理回路130により各ダイナミックレンジに応じて合成された合成後の画像データの信号レベルを示す図である。同図に示すように、各ダイナミックレンジに応じて合成された合成後の画像データの信号レベルの最大値はそれぞれ一致し、かつ輝度0から各ダイナミックレンジの最大輝度にわたって信号レベルは滑らかに変化するように合成される。すなわち、階調変換LUT132及134は、図17に示す合成結果が得られるような階調変換を行っている。
なお、ここでは、設定されたダイナミックレンジが100%の場合には、第1画像信号及び第2画像信号を合成せずに第1画像信号のみを使用し、かつ第1画像信号の階調変換を行わないようにしている。したがって、階調変換LUT132及び134は、ダイナミックレンジが100%以外の5つのダイナミックレンジに対応する5つの階調変換LUTから構成される。
合成処理回路130の加算器136から出力された合成後のR,G,Bの点順次の画像信号は、同時化処理された後に輝度信号Y,色差信号Cr,Cbに変換される。輝度信号Y及び色差信号Cr,Cbは、記録部40に記録され、表示部42に表示され、及び/又は伝送部44によって伝送される。
ここでは、ダイナミックレンジの拡大率は400%を最大としているが、広角画像のダイナミックレンジはM×100%、望遠画像のダイナミックレンジはN×100%を最大とすることができる。
〔デジタルカメラの撮像方法〕
図18は、デジタルカメラ10による撮像方法の一例を示すフローチャートである。
デジタルカメラ10の使用者は、不図示の操作部を用いて、デジタルカメラ10の撮影モードを設定することができる。本実施形態では、広角・望遠同時撮影モード、広角ダイナミックレンジ拡大撮影モード、及び望遠ダイナミックレンジ拡大撮影モードから選択可能に構成されているものとする。
撮影モード選択・処理切替制御部46は、ステップS1において、デジタルカメラ10が設定された撮影モードを判断する。設定されている撮影モードが広角・望遠同時撮影モードである場合はステップS2に、広角ダイナミックレンジ拡大撮影モードである場合はステップS6に、望遠ダイナミックレンジ拡大撮影モードである場合はステップS10に移行する。
広角・望遠同時撮影モードであると判断された場合は、ステップS2において、遮光シャッタ制御部48は、第1液晶シャッタ51及び第2液晶シャッタ52を透過状態に設定する。
その後、ステップS3において使用者がレリーズボタン13を押すことにより、撮像・画像取得部32は、瞳選択センサ24の第1センサ群24aから第1画像信号を取得し、第2センサ群24bから第2画像信号を取得する(画像読み出し工程の一例)。
この第1画像信号及び第2画像信号はデジタル画像信号処理部34に入力され、ステップS4において、混信低減処理部36によって混信低減処理が施される。
第1画像信号及び第2画像信号の混信比率は、第1受光センサ25a及び第2受光センサ25bの感度の比率により決まる。第1画像信号のある画素の値をT、第2画像信号の対応する画素(隣接する画素)の値をW、これらの画素に混信が無い場合の真の画素の値をそれぞれT、Wとすると、以下の式1及び式2が成り立つ。
=(M×T+W)/(M+1) …(式1)
=(T+N×W)/(N+1) …(式2)
この式1及び式2を用いて各画素のT及びWを求めることにより、混信を低減させた画像信号を取得することができる。
最後に、ステップS5において、上記のTに基づいて広角画像を、Wに基づいて望遠画像を取得する(画像生成工程の一例)。
ステップS1において広角ダイナミックレンジ拡大撮影モードであると判断された場合は、ステップS6において、遮光シャッタ制御部48は、第1液晶シャッタ51を透過状態に設定し、第2液晶シャッタ52を遮光状態に設定する(第1遮光制御工程の一例)。
その後、ステップS7において使用者がレリーズボタン13を押すことにより、撮像・画像取得部32は、瞳選択センサ24の第1センサ群24aから第1画像信号を取得し、第2センサ群24bから第2画像信号を取得する。ここでは、第2液晶シャッタ52が遮光状態であるため、望遠画像光Tは第1センサ群24a及び第2センサ群24bに入射しない。また、広角画像光Wは、第1センサ群24aにM/(M+1)、第2センサ群24bに1/(M+1)の割合で受光される。
第1センサ群24aから出力される第1画像信号及び第2センサ群24bから出力される第2画像信号は、デジタル画像信号処理部34に入力される。デジタル画像信号処理部34のダイナミックレンジ拡大処理部38は、ステップS8において、不図示の操作部によって選択されたダイナミックレンジ拡大率に応じて、第1画像信号及び第2画像信号にダイナミックレンジ拡大処理を施し、ステップS9において、ダイナミックレンジを拡大した広角画像を取得する(ダイナミックレンジ拡大処理工程の一例)。
広角ダイナミックレンジ拡大撮影モードによれば、広角・望遠同時撮影モードにおける広角画像のダイナミックレンジのM倍のダイナミックレンジを有する広角画像(第3画像の一例)を取得することができる。また、M倍のダイナミックレンジを有する画像に限定されず、M倍以下のダイナミックレンジを有する広角画像を取得することができる。
ステップS1において望遠ダイナミックレンジ拡大撮影モードであると判断された場合は、ステップS10において、遮光シャッタ制御部48は、第1液晶シャッタ51を遮光状態に設定し、第2液晶シャッタ52を透過状態に設定する。
その後、ステップS11において使用者がレリーズボタン13を押すことにより、撮像・画像取得部32は、瞳選択センサ24の第1センサ群24aから第1画像信号を取得し、第2センサ群24bから第2画像信号を取得する(画像読み出し工程の一例)。ここでは、第1液晶シャッタ51が遮光状態であるため、広角画像光Wは第1センサ群24a及び第2センサ群24bに入射しない。また、望遠画像光Tは、第1センサ群24aに1/(N+1)、第2センサ群24bにN/(N+1)の割合で受光される。
第1センサ群24aから出力される第1画像信号及び第2センサ群24bから出力される第2画像信号は、デジタル画像信号処理部34に入力される。デジタル画像信号処理部34のダイナミックレンジ拡大処理部38は、ステップS12において、不図示の操作部によって選択されたダイナミックレンジ拡大率に応じて、第1画像信号及び第2画像信号にダイナミックレンジ拡大処理を施し、ステップS13において、ダイナミックレンジを拡大した望遠画像を取得する。
望遠ダイナミックレンジ拡大撮影モードによれば、広角・望遠同時撮影モードにおける望遠画像のダイナミックレンジのN倍のダイナミックレンジを有する望遠画像(第4画像の一例)を取得することができる。また、N倍のダイナミックレンジを有する画像に限定されず、N倍以下のダイナミックレンジを有する望遠画像を取得することができる。
各撮影モードによって取得された各画像は、記録部40、表示部42、伝送部44によってそれぞれ記録、表示、及び/又は伝送することができる。
ここでは、広角ダイナミックレンジ拡大撮影モードにおいてM倍以下のダイナミックレンジを有する広角画像を取得し、望遠ダイナミックレンジ拡大撮影モードにおいてN倍以下のダイナミックレンジを有する望遠画像を取得したが、M倍以下のダイナミックレンジを有する広角画像とN倍以下のダイナミックレンジを有する望遠画像とを使用者による一度のレリーズボタン13の操作により撮影することも可能である。この場合は、第1液晶シャッタ51及び第2液晶シャッタ52の透過状態及び遮光状態を順次切り替えて撮影すればよい。
また、ダイナミックレンジを拡大した広角画像とダイナミックレンジを拡大した望遠画像とを連続して交互に撮影し、広角画像の動画像と望遠画像の動画像とを撮影することも可能である。
〔第2の実施形態〕
図19は、第2の実施形態に係るデジタルカメラ10の機能構成例を示すブロック図である。なお、図15に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
多様レンズ11は、第1特性を有する不図示の第1光学系、第2特性を有する不図示の第2光学系、及び第3特性を有する不図示の第3光学系を有している。この第1光学系、第2光学系、及び第3光学系に対応させて、光の透過及び遮光を切り替えるための第1液晶シャッタ51、第2液晶シャッタ52、及び第3液晶シャッタ53が配置されている。
瞳選択センサ24は、複数の受光センサが光の入射角に関して指向性を有する指向性センサである。瞳選択センサ24は、第1多様レンズ瞳61を介した光を選択的に受光する第1センサ群24a、第2多様レンズ瞳62を介した光を選択的に受光する第2センサ群24b、及び第3多様レンズ瞳63を介した光を選択的に受光する第3センサ群24cを備えている。
第1液晶シャッタ51、第2液晶シャッタ52、及び第3液晶シャッタ53が透過状態の場合は、多様レンズ11の第1光学系に入射した第1の光は、第1光学系に対応する第1多様レンズ瞳61を介して瞳選択センサ24の第1センサ群24aによって受光される。同様に、第2光学系に入射した第2の光は、第2光学系に対応する第2多様レンズ瞳62を介して第2センサ群24bによって受光され、第3光学系に入射した第3の光は、第3光学系に対応する第3多様レンズ瞳63を介して第3センサ群24cによって受光される。
このように、第1液晶シャッタ51、第2液晶シャッタ52、及び第3液晶シャッタ53を透過状態とすることにより、第1特性の画像、第2特性の画像、及び第3特性の画像を同時に撮影することができる。
また、瞳選択センサ24には、第1センサ群24a、第2センサ群24b、及び第3センサ群24cに混信が生じている。ここでは、第1センサ群24aを構成する受光センサ、第2センサ群24bを構成する受光センサ、及び第3センサ群24cを構成する受光センサにおける感度の比率は、第1の光に対してはM1:M2:M3、第2の光に対してはM4:M5:M6、第3の光に対してはM7:M8:M9であるものとする。
したがって、第1液晶シャッタ51が透過状態、第2液晶シャッタ52及び第3液晶シャッタ53が遮光状態の場合は、第1特性の画像について、感度の比率がM1:M2:M3である3枚の画像を同時に撮影することができる。例えば、M1=100、M2=10、M3=1の場合であれば、100倍のダイナミックレンジ、又はそれ以下のダイナミックレンジを有する画像を取得することができる。
また、第2液晶シャッタ52が透過状態、第1液晶シャッタ51及び第3液晶シャッタ53が遮光状態の場合は、第2特性の画像について、感度の比率がM4:M5:M6である3枚の画像を同時に撮影することができ、感度の比率に応じてダイナミックレンジを拡大した第2特性の画像を取得することができる。
同様に、第3液晶シャッタ53が透過状態、第1液晶シャッタ51及び第2液晶シャッタ52が遮光状態の場合は、第3特性の画像について、感度の比率がM7:M8:M9である3枚の画像を同時に撮影することができ、感度の比率に応じてダイナミックレンジを拡大した第3特性の画像を取得することができる。
このように、複数の瞳領域のうち特定の瞳領域を開状態とし、その他の瞳領域を閉状態とすることにより、開状態の瞳領域からの光に対する瞳選択センサ24の各受光センサの感度差を利用して、開状態の瞳の像を合成し、広いダイナミックレンジの画像を取得することができる。
〔第3の実施形態〕
図20は、第3の実施形態に係るデジタルカメラ70の機能構成例を示すブロック図である。なお、図15に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
デジタルカメラ70は、光が入射する領域において一様な特性を有する撮影レンズ71を備えている。また、撮影レンズ71は、複数枚の絞り羽根により円形の絞り開口部を形成し、開口径を変更することにより瞳選択センサ24へ入射する光量を調節する絞り72を備えている。絞り72の開口径の大きさは、絞り制御部75によって制御される。
瞳選択センサ24は、複数の受光センサ25が光の入射角に関して指向性を有する指向性センサであり、図4に示す瞳選択センサ24と同様の構成を有している。
また、デジタルカメラ70は、デジタル画像信号処理部34に精細画像生成部76を備えている。精細画像生成部76は、瞳選択センサ24の第1センサ群24aから取得した第1画像信号及び第2センサ群24bから取得した第2画像信号を画像内のそれぞれ異なる画素として並列に使用することにより、精細画像データを生成する。この精細画像データは、ダイナミックレンジ拡大処理部38が生成するダイナミックレンジを拡大した画像データの解像度の2倍の解像度を有している。
不図示の操作部により精細撮影モードに設定されると、絞り制御部75は、絞り72を開放状態に設定する。この場合、撮影レンズ71の中央付近から入射した光は、第1レンズ瞳73を介して瞳選択センサ24の第1センサ群24aに入射し、撮影レンズ71の中央付近の周辺から入射した光は、第2レンズ瞳74を介して第2センサ群24bに入射する。撮像・画像取得部32は、第1センサ群24aから第1画像信号を取得し、第2センサ群24bから第2画像信号を取得する。
この第1画像信号及び第2画像信号はデジタル画像信号処理部34に入力され、精細画像生成部76によって精細画像データが生成される。
このように、絞り72が開放状態である場合には、第1センサ群24aと第2センサ群24bとの両方の画像信号を並列に使用することにより、精細画像を取得することができる。
次に、ダイナミックレンジ拡大撮影モードにおける動作について説明する。ここでは、第1レンズ瞳73からの入射光に対する第1受光センサ25aと第2受光センサ25bとの感度の比率がM:1であるものとする。
不図示の操作部によりダイナミックレンジ拡大撮影モードに設定されると、絞り制御部75は、絞り72の開口径を絞り、第2レンズ瞳74からの入射光を遮断する。したがって、瞳選択センサ24には、第2レンズ瞳74を介した光は入射しない。
また、撮影レンズ71への入射光のうち、第1レンズ瞳73を介して瞳選択センサ24に入射した光は、第1センサ群24aに入射するとともに、第2センサ群24bに混信する。ここでは、瞳選択センサ24は、第1レンズ瞳73からの入射光に対する第1受光センサ25aと第2受光センサ25bとの感度の比率がM:1である。したがって、入射光のM/(M+1)は第1受光センサ25aに受光され、1/(M+1)は第2受光センサ25bに混信する。
撮像・画像取得部32は、瞳選択センサ24の第1センサ群24aから第1画像信号を取得し、第2センサ群24bから第2画像信号を取得する。この第1画像信号及び第2画像信号は、デジタル画像信号処理部34に入力される。
デジタル画像信号処理部34のダイナミックレンジ拡大処理部38は、不図示の操作部によって選択されたダイナミックレンジ拡大率に応じて、第1画像信号及び第2画像信号にダイナミックレンジ拡大処理を施す。
このように、絞り72の開口径を絞ることにより第2レンズ瞳74に対応する入射光を遮断し、第1レンズ瞳73に対応する入射光のみを入射させ、第1受光センサ25aと第2受光センサ25bとに感度の比率に応じて受光させることにより、ダイナミックレンジを拡大した画像を取得することができる。
ここでは、光が入射する領域において一様な特性を有する撮影レンズ71を用いた例を説明したが、図2に示した多様レンズ11を用いてもよい。多様レンズ11を用いた場合は、絞り72を開放状態とした場合は、広角画像と望遠画像とを同時に撮影することができ、絞り72の開口径を絞り、第2光学系22からの入射光を遮断状態とした場合は、広角画像のダイナミックレンジを拡大した画像を取得することができる。すなわち、第1光学系21の撮像特性を有するダイナミックレンジを拡大した画像を取得することができる。
本発明は、各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系を用いて複数の画像を撮像可能な撮像装置、撮像方法及びそれらの応用技術に対して広く適用可能であり、その適用可能な技術分野は特に限定されない。例えば、ユーザ操作に応じて撮像を行う撮像装置だけではなく、自動的に撮像を行う撮像装置に対しても本発明は適用可能であり、また静止画を撮像する撮像装置だけではなく、動画を撮像する撮像装置に対しても本発明は適用可能である。
撮像方法は、コンピュータに上記の各工程を実現させるためのプログラムとして構成し、当該プログラムのコンピュータ読み取り可能なコードを記憶したCD−ROM(Compact Disk-Read Only Memory)等の非一時的記録媒体を構成することも可能である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10 デジタルカメラ
11 多様レンズ
12 フラッシュ発光部
13 レリーズボタン
14 撮像部
21 第1光学系
21a 第1広角用レンズ
21b 第2広角用レンズ
21c 第3広角用レンズ
21d 第4広角用レンズ
22 第2光学系
22a 第1望遠用レンズ
22b 第1望遠用反射体
22c 第1望遠用反射ミラー
22d 第2望遠用反射体
22e 第2望遠用反射ミラー
23 共通レンズ
24 瞳選択センサ
24a 第1センサ群
24b 第2センサ群
24c 第3センサ群
25 受光センサ
25a 第1受光センサ
25b 第2受光センサ
26 マイクロレンズ
27 中間層
28 遮光マスク
29 フォトダイオード
32 撮像・画像取得部
34 デジタル画像信号処理部
36 混信低減処理部
38 ダイナミックレンジ拡大処理部
40 記録部
42 表示部
44 伝送部
46 撮影モード選択・処理切替制御部
48 遮光シャッタ制御部
50 遮光部
51 第1液晶シャッタ
52 第2液晶シャッタ
53 第3液晶シャッタ
61 第1多様レンズ瞳
62 第2多様レンズ瞳
63 第3多様レンズ瞳
70 デジタルカメラ
71 撮影レンズ
72 絞り
73 第1レンズ瞳
74 第2レンズ瞳
75 絞り制御部
76 精細画像生成部
100 オフセット処理部
102 オフセット処理部
110 リニアマトリクス回路
120 ゲイン補正回路
130 合成処理回路
132 階調変換LUT
134 階調変換LUT
136 加算器
Cr 色差信号
L 光軸
T 望遠画像光
W 広角画像光
Y 輝度信号
S1〜S13 撮像方法

Claims (13)

  1. それぞれ異なる領域に設けられた第1光学系と第2光学系とを備える撮影レンズと、
    複数の第1受光センサと複数の第2受光センサとが2次元状に配列された指向性センサであって、M及びNを1より大きい数とすると、前記第1光学系を介して入射した第1入射光に対する前記第1受光センサと前記第2受光センサとの感度の比率がM:1であり、前記第2光学系を介して入射した第2入射光に対する前記第1受光センサと前記第2受光センサとの感度の比率が1:Nである指向性センサと、
    前記複数の第1受光センサから得られる第1画像信号と前記複数の第2受光センサから得られる第2画像信号とを取得する画像読み出し部と、
    前記第1画像信号から第1画像を生成し、前記第2画像信号から第2画像を生成する画像生成部と、
    前記第2入射光の前記指向性センサへの入射又は遮光を制御する第1遮光制御部と、
    前記第2入射光を遮光した状態で前記第1画像信号と前記第2画像信号とを取得し、前記第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成するダイナミックレンジ拡大処理部と、
    を備えた撮像装置。
  2. 前記第1遮光制御部は、光の透過状態と遮光状態とを切り替える第1シャッタを備えた請求項1に記載の撮像装置。
  3. 前記第1シャッタは、前記第2入射光の光路に配置される請求項2に記載の撮像装置。
  4. 前記第1入射光の前記指向性センサへの入射又は遮光を制御する第2遮光制御部を備え、
    前記ダイナミックレンジ拡大処理部は、前記第2入射光を入射させ、かつ前記第1入射光を遮光した状態で前記第1画像信号と前記第2画像信号とを取得し、前記第2画像のダイナミックレンジのN倍のダイナミックレンジを有する第4画像を生成する請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記第2遮光制御部は、光の透過状態と遮光状態とを切り替える第2シャッタを備えた請求項4に記載の撮像装置。
  6. 前記第2シャッタは、前記第1入射光の光路に配置される請求項5に記載の撮像装置。
  7. 前記第1光学系及び前記第2光学系は、互いに異なる撮像特性を有する請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記第1光学系及び前記第2光学系は、一方が広角光学系であり、他方が前記広角光学系より焦点距離が長い望遠光学系である請求項7に記載の撮像装置。
  9. 前記撮影レンズは、前記第1光学系が中央部に配置され、前記第2光学系が前記第1光学系の周辺部に環状に配置された請求項1から8のいずれか1項に記載の撮像装置。
  10. 前記指向性センサへ入射する光量を調節するための絞りを備え、
    前記第1遮光制御部は、前記絞りによって前記第2入射光の前記指向性センサへの入射又は遮光を制御する請求項1に記載の撮像装置。
  11. それぞれ異なる領域に設けられた第1光学系と第2光学系とを備える撮影レンズと、複数の第1受光センサと複数の第2受光センサとが2次元状に配列された指向性センサであって、M及びNを1より大きい数とすると、前記第1光学系を介して入射した第1入射光に対する前記第1受光センサと前記第2受光センサとの感度の比率がM:1であり、前記第2光学系を介して入射した第2入射光に対する前記第1受光センサと前記第2受光センサとの感度の比率が1:Nである指向性センサと、を備えた撮像装置の撮像方法であって、
    前記複数の第1受光センサから得られる第1画像信号と前記複数の第2受光センサから得られる第2画像信号とを取得する画像読み出し工程と、
    前記第1画像信号から第1画像を生成し、前記第2画像信号から第2画像を生成する画像生成工程と、
    前記第2入射光の前記指向性センサへの入射又は遮光を制御する第1遮光制御工程と、
    前記第2入射光を遮光した状態で前記第1画像信号と前記第2画像信号とを取得し、前記第1画像のダイナミックレンジのM倍以下のダイナミックレンジを有する第3画像を生成するダイナミックレンジ拡大処理工程と、
    を備えた撮像方法。
  12. 請求項11に記載の撮像方法を撮像装置に実行させるプログラム。
  13. 請求項12に記載のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体。
JP2018518122A 2016-05-17 2017-03-13 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 Active JP6633746B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016098913 2016-05-17
JP2016098913 2016-05-17
PCT/JP2017/009862 WO2017199557A1 (ja) 2016-05-17 2017-03-13 撮像装置、撮像方法、プログラム、及び非一時的記録媒体

Publications (2)

Publication Number Publication Date
JPWO2017199557A1 true JPWO2017199557A1 (ja) 2019-03-28
JP6633746B2 JP6633746B2 (ja) 2020-01-22

Family

ID=60325800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518122A Active JP6633746B2 (ja) 2016-05-17 2017-03-13 撮像装置、撮像方法、プログラム、及び非一時的記録媒体

Country Status (3)

Country Link
US (1) US10638056B2 (ja)
JP (1) JP6633746B2 (ja)
WO (1) WO2017199557A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112425148B (zh) * 2018-06-21 2022-04-08 富士胶片株式会社 摄像装置、无人移动体、摄像方法、系统及记录介质
US11095799B2 (en) * 2018-11-06 2021-08-17 Pixart Imaging Inc. Optical engine with multiple light sources
JP2022537632A (ja) * 2019-06-28 2022-08-29 ワックス、エド 小型撮像システムを使用した高倍率高解像度写真撮影のためのシステムおよび方法
TWI710793B (zh) 2019-08-23 2020-11-21 大立光電股份有限公司 光學攝影系統及電子裝置
JP6886061B1 (ja) * 2020-05-21 2021-06-16 エーエーシー オプティックス ソリューションズ ピーティーイー リミテッド 反射屈折光学系の撮像レンズ
DE102022114813B3 (de) * 2022-06-13 2023-07-06 Carl Zeiss Ag Optische Anordnung mit Übersichtsfunktion für katadioptrisches Mikroskopobjektiv, Objektiv, Bilderfassungsvorrichtung oder Bildwiedergabevorrichtung sowie Gerät

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013024636A1 (ja) * 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
JP2015201834A (ja) * 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4785433B2 (ja) * 2005-06-10 2011-10-05 キヤノン株式会社 固体撮像装置
JP4649623B2 (ja) * 2006-01-18 2011-03-16 国立大学法人静岡大学 固体撮像装置及びその画素信号の読みだし方法
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP5647751B2 (ja) 2012-03-27 2015-01-07 富士フイルム株式会社 撮像装置及び撮像方法
JP2015153975A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 固体撮像素子、固体撮像素子の製造方法および電子機器
JP2016009043A (ja) * 2014-06-24 2016-01-18 ソニー株式会社 イメージセンサ、演算方法、および電子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013024636A1 (ja) * 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
JP2015201834A (ja) * 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器

Also Published As

Publication number Publication date
WO2017199557A1 (ja) 2017-11-23
US20190082093A1 (en) 2019-03-14
JP6633746B2 (ja) 2020-01-22
US10638056B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
JP6633746B2 (ja) 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
TWI644568B (zh) 攝像元件、攝像方法及攝像程式
US10136079B2 (en) Method and apparatus for imaging an object
US8106978B2 (en) Image capturing apparatus generating image data having increased color reproducibility
CN108886581B (zh) 图像处理装置、摄像装置及其控制方法
WO2013089036A1 (ja) 撮像装置
EP3414890B1 (en) Devices and methods for high dynamic range video
JP2014150470A (ja) 撮像装置
JP2015087401A (ja) 撮像装置
JP2003179819A (ja) 撮像装置
US20090102939A1 (en) Apparatus and method for simultaneously acquiring multiple images with a given camera
JP2011237638A (ja) 撮影装置
JP2014130231A (ja) 撮像装置、その制御方法、および制御プログラム
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
JP5284183B2 (ja) 画像処理装置およびその方法
JP4530149B2 (ja) ハイダイナミックレンジカメラシステム
JP6687276B1 (ja) 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
JP3546855B2 (ja) デジタルカメラ
JPH10271518A (ja) ビデオカメラ装置
US20240015411A1 (en) Imaging apparatus, imaging method, and storage medium
RU2736780C1 (ru) Устройство для формирования цветного изображения (варианты)
WO2022257084A1 (en) Imaging apparatus, imaging system and method for enhancing expected color, and medium storing software for implementing the method
JP4682070B2 (ja) 画像信号処理装置
JP2801853B2 (ja) 4板式固体撮像装置の信号出力の飽和レベル拡張方法
WO2020049867A1 (ja) 撮像装置、および撮像素子

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191212

R150 Certificate of patent or registration of utility model

Ref document number: 6633746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250