JPWO2018034209A1 - 撮像装置と撮像方法 - Google Patents

撮像装置と撮像方法 Download PDF

Info

Publication number
JPWO2018034209A1
JPWO2018034209A1 JP2018534370A JP2018534370A JPWO2018034209A1 JP WO2018034209 A1 JPWO2018034209 A1 JP WO2018034209A1 JP 2018534370 A JP2018534370 A JP 2018534370A JP 2018534370 A JP2018534370 A JP 2018534370A JP WO2018034209 A1 JPWO2018034209 A1 JP WO2018034209A1
Authority
JP
Japan
Prior art keywords
polarization
sensitivity
imaging
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018534370A
Other languages
English (en)
Inventor
均 三谷
均 三谷
雅史 若園
雅史 若園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018034209A1 publication Critical patent/JPWO2018034209A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮像部１３では、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とする。偏光素子１１は、撮像部１３の入射面側に設けられて、直線偏光を撮像部１３に入射する。感度検出部の動作を行う例えば制御部２０では、撮像部１３における偏光画素の偏光方向毎の感度を検出するする。画像信号処理部１４は、感度検出部で検出された偏光方向毎の感度に基づき偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行うことで、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成できる。

Description

この技術は、撮像装置と撮像方法に関し、動きぼけを生じにくい広ダイナミックレンジの撮像を行うことができるようにする。
撮像装置ではＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサのような固体撮像素子が用いられている。このような固体撮像素子では入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。このため、例えば特許文献１では、複数の異なる露光時間の画像を合成して広ダイナミックレンジ画像を生成することが行われている。
特開２０１１−２４４３０９号公報
ところで、被写体や撮像装置が動きを生じると露光時間が長くなるに伴い撮像画では動きぼけが顕著となる。したがって、複数の異なる露光時間の画像を合成した広ダイナミックレンジ画像では動きぼけを生じやすくなる。
そこで、この技術では、動きぼけを生じにくい広ダイナミックレンジの撮像を行うことができ、同時に、撮影する画像のダイナミックレンジを可変とし、また、ダイナミックレンジの拡大が必要ない場合には偏光撮影を行うことができる、撮像装置と撮像方法を提供することを目的とする。
この技術の第１の側面は
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けた偏光素子と
を有する撮像装置にある。
この技術では、入射光に基づいて画素信号を生成する撮像部の複数の画素が、複数偏光方向の何れかの偏光方向である偏光画素とされており、撮像部の入射面側に偏光素子が着脱可能または回転可能に設けられている。偏光素子は、直線偏光を生成して、撮像部において異なる偏光方向の偏光画素間で感度差を生じるように、撮像部に対する偏光素子の取付角度が設定されている。
また、撮像装置には感度検出部と画像信号処理部が設けられて、感度検出部では、撮像部における偏光画素の偏光方向毎の感度を検出する。例えば、感度検出部は、偏光素子の取付角度に基づき、または偏光方向が異なる偏光画素で生成された画素信号に基づき、偏光方向毎の感度を検出する。画像信号処理部では、偏光素子が取り付けられている場合、感度検出部で検出された感度に基づき例えば感度が等しい偏光画素を用いて感度毎に撮像画の画像信号を生成して、感度検出部で検出された感度に基づき感度毎の撮像画の画像信号に対する利得調整を行い、利得調整後の画像信号を用いて感度毎の撮像画の画像合成を行う。画像合成では、偏光画素で飽和を生じる場合に、飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、飽和を生じる偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号への切り替えを行う。例えば画像信号処理部は、飽和を生じる偏光画素を用いて生成した撮像画の画像信号と感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、入射光に応じて制御して、飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える。
この技術の第２の側面は、
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に、偏光素子を介した入射光を入射したときの前記偏光画素の偏光方向毎の感度を感度検出部で検出することと、
前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像信号処理部で画像合成を行うこと
を含む撮像方法にある。
この技術によれば、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に対して、偏光素子を介した入射光が入射される。このため、偏光画素は入射光の偏光方向に応じた感度となって、広ダイナミックレンジの撮像を行えるようになり、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
撮像装置の構成を例示した図である。 撮像部の構成を例示した図である。 撮像装置の動作を示すフローチャートである。 撮像設定処理を示すフローチャートである。 割り込み処理を示すフローチャートである。 入射光と偏光素子を透過した直線偏光および撮像部の関係を示す図である。 偏光素子の回転角と撮像部における偏光画素の感度の関係を例示した図である。 偏光素子の回転角が例えば「θ＝２２．５°」である場合を示した図である。 利得調整と画像合成を説明するための図である。 入射光と合成比の関係を例示した図である。 撮像部の具体例を示した図である。 画像信号処理部の動作例を示した図である。 偏光素子の偏光方向を回転できる撮像装置の構成を例示した図である。 偏光素子の回転角が「０°」よりも大きく「２２．５°」よりも小さい場合を示した図である。 利得調整と画像合成を説明するための図である。 撮像部の他の構成を例示した図である。 偏光画素の偏光方向が２方向である場合を示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
２−１．広ダイナミックレンジ撮像モードの第１の撮像動作
２−２．広ダイナミックレンジ撮像モードの第２の撮像動作
３．撮像装置の他の構成
４．応用例
＜１．撮像装置の構成＞
図１は、撮像装置の構成を例示している。撮像装置１０は、偏光素子１１、レンズ系ブロック１２、撮像部１３、画像信号処理部１４、表示部１５、画像保存部１６、ユーザインタフェース部１７、着脱検出部１８、制御部２０を有している。
偏光素子１１は、直線偏光を生成する偏光素子、例えばワイヤーグリッド等を用いて構成された偏光フィルタ等の直線偏光素子である。また、偏光素子１１は、直線偏光の偏光方向を変更できるように、例えば撮像部１３に入射される入射光の光軸方向を回転軸として回転可能に構成されていてもよい。
レンズ系ブロック１２は、フォーカスレンズやズームレンズ、絞り機構等を有している。また、レンズ系ブロック１２には、制御部２０からの指示に基づきレンズや絞り機構を駆動する駆動部を有している。レンズ系ブロック１２は、制御部２０からの指示に基づきフォーカスレンズやズームレンズの位置を制御して、被写体光学像を撮像部１３の露光面に結像させる。レンズ系ブロック１２は、制御部２０からの指示に基づき絞りの開度を制御して被写体光の光量を調整する。なお、フォーカスレンズやズームレンズおよび絞りの位置は、ユーザ操作に応じて機械的に移動可能とされていてもよい。
撮像部１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて構成されている。
また、撮像部１３は、イメージセンサの入射面に複数の偏光方向の画素構成である偏光フィルタを設けて、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした構成とされている。図２は撮像部の構成を例示している。撮像部１３は、イメージセンサ１３１の入射面に偏光フィルタ１３２を配置した構成とされており、文献「特開２０１５−１１４３０７号公報」で開示されているように偏光画像から法線情報を取得する場合には、３方向以上の偏光方向の画素構成とされた偏光フィルタが用いられる。図２では、各画素が異なる４種類の偏光方向、例えば偏光方向が「０°，４５°，９０°，１３５°（偏光方向を矢印で示す）」の何れかの画素となる偏光フィルタ１３２をイメージセンサ１３１の入射面に配置した場合を例示している。撮像部１３は、生成した偏光画像の画像信号を画像信号処理部１４へ出力する。なお、偏光方向が「０°」の画素を偏光画素Ｃ１、偏光方向が「４５°」の画素を偏光画素Ｃ２、偏光方向が「９０°」の画素を偏光画素Ｃ３、偏光方向が「１３５°」の画素を偏光画素Ｃ４とする。
画像信号処理部１４は、撮像部１３から出力された画像信号に対して、ノイズ除去処理、ゲイン調整処理、欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理を行う。また、画像信号処理部１４は、偏光素子１１が取り付けられている場合に、撮像部１３の偏光画素の感度に応じて偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う。撮像部１３の偏光画素の感度とは、偏光素子１１を介して被写体光を撮像部に入射したときの偏光画素の感度であり、偏光素子１１の偏光方向と撮像部１３における偏光画素の偏光方向の関係に応じて変化する。画像信号処理部１４は、処理後の画像信号を表示部１５と画像保存部１６に出力する。なお、画像信号処理部１４は、制御部２０からの制御のもと、撮像装置１０の設定操作や設定状態の確認等を行うためのメニュー表示や撮像時における設定状態等に関する情報表示を行う表示信号を画像信号に重畳して表示部１５等に出力する。また、画像信号処理部１４は、感度検出部の動作を行う場合、撮像部１３から供給された画像信号に基づき、撮像部における偏光画素の偏光方向毎の感度を検出する。例えば、画像信号処理部１４は、画素飽和を生じない明るさの被写体を撮像したときの偏光方向毎の信号強度から感度を検出する。
表示部１５は、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成される。表示部１５は、その画面上に撮像画や各種情報を表示させる。例えば、表示部１５は、画像信号処理部１４から出力された画像データに基づき、画面上にスルー画を表示する。また、表示部１５は、画像保存部１６に記録された画像が画像信号処理部１４で再生されたとき再生画像を画面上に表示する。さらに、表示部１５は、メニュー表示や情報表示を行う。
画像保存部１６は、画像信号処理部１４から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記憶する。画像保存部１６は、例えば、半導体メモリ、光ディスク、ＨＤ（hard Disc）などにより構成される。画像保存部１６は、撮像装置１０の内部に固定して設けられてもよく、撮像装置１０に対して着脱可能に設けられてもよい。
ユーザインタフェース部１７はシャッターボタンや操作スイッチ、タッチパネル等で構成されている。ユーザインタフェース部１７は、シャッターボタン、種々の操作スイッチ、タッチパネル等に対するユーザ操作に応じた操作信号を生成して制御部２０へ出力する。
また、偏光素子１１が撮像装置１０に対して着脱可能とされている場合、偏光素子１１が撮像装置１０に取り付けられているか否かを検出する着脱検出部１８が設けられている。着脱検出部１８はスイッチやセンサ等を用いて構成されており、偏光素子１１が撮像装置１０に取り付けられているか否かを示す検出信号を生成して制御部２０へ出力する。
制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部１７からの操作信号に基づき、ユーザ操作に応じた動作モードで撮像動作が撮像装置１０で行われるように各部を制御する。
また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０に取り付けられていることを判別した場合、撮像モードを広ダイナミックレンジ撮像モードと判定する。制御部２０は、感度検出部としての動作を行う場合、撮像モードを広ダイナミックレンジ撮像モードに設定したときは、撮像部における偏光画素の偏光方向毎の感度を、例えば偏光素子の取付角度に基づき検出する。また、制御部２０は検出した感度を画像信号処理部１４に通知して、上述のように画像信号処理部１４で利得調整や画像合成を行い、広ダイナミックレンジの撮像画の画像信号を生成させる。また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０から取り外されていることを判別した場合、撮像モードを偏光撮像モードと判定する。制御部２０は、偏光撮像モードと判定した場合、画像信号処理部１４を制御して、感度比に応じた利得調整や利得調整後の画素信号の合成処理を行うことなく撮像画の画像信号を生成させる。
＜２．撮像装置の動作＞
次に撮像装置の動作について説明する。図３は撮像装置の動作を示すフローチャートである。ステップＳＴ１で制御部は撮像設定処理を行う。図４は撮像設定処理を示すフローチャートである。
ステップＳＴ１１で制御部は偏光素子状態検出処理を行う。制御部２０は着脱検出部１８からの検出信号に基づき偏光素子１１の着脱状態を検出してステップＳＴ１２に進む。
ステップＳＴ１２で制御部は撮像モードを広ダイナミックレンジ撮像モードとするか判別する。制御部２０は、ステップＳＴ１１で偏光素子１１が取り付けられていることを検出した場合、撮像モードを広ダイナミックレンジ撮像モードに設定してステップＳＴ１３に進む。また、制御部２０は、偏光素子１１が取り外されていることを検出した場合、撮像モードを偏光撮像モードに設定してステップＳＴ１５に進む。
ステップＳＴ１３で制御部は画素グループ毎に感度を算出する。制御部２０は、撮像部１３における偏光方向が等しい偏光画像の画素グループ毎に感度を検出してステップＳＴ１４に進む。
ステップＳＴ１４で制御部は広ダイナミックレンジ撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて撮像部１３の露光時間等の設定を行う。また、制御部２０は、ステップＳＴ１３で算出した感度を用いた利得制御と、利得調整後の画像信号を用いた画像合成を行い、広ダイナックレンジ画像を生成するように画像信号処理部１４の動作を設定する。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。
ステップＳＴ１２からステップＳＴ１５に進むと、制御部は偏光撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて露光時間等の設定を行う。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。
ステップＳＴ２で制御部はスルー画表示処理を行う。制御部２０はステップＳＴ１の撮像設定に基づき撮像部１３を制御して画像信号を生成させて表示部１５でスルー画の表示を行いステップＳＴ３に進む。
ステップＳＴ３で制御部は撮像終了であるか判別する。制御部２０は、撮像装置の動作モードが被写体を撮像して記録画を保存する動作モードから他の動作モードに切り替えられていない場合、および撮像装置の動作を終了する終了操作が行われていない場合は撮像終了でないと判別してステップＳＴ１に戻る。また、制御部２０は、他の動作モードへの切替操作や終了操作が行われた場合動作を終了する。
制御部は、図３に示すステップＳＴ１からステップＳＴ３までの処理中にシャッター操作が行われた場合、図５に示す割り込み処理を行う。ステップＳＴ２１で制御部は記録画生成処理を行う。制御部２０は、撮像モードが広ダイナミックレンジ撮像モードである場合、広ダイナミックレンジ撮像モード設定処理の撮像設定で撮像部１３と画像信号処理部１４を動作させて広ダイナミックレンジ画像の画像信号を生成する。また、制御部２０は、撮像モードが偏光撮像モードである場合、偏光撮像モード設定処理の撮像設定で撮像部１３を駆動して偏光撮像画の画像信号を生成する。制御部２０は、広ダイナミックレンジ画像または偏光画像の画像信号を生成してステップＳＴ２２に進む。なお、広ダイナミックレンジ撮像モードの撮像動作については後述する。
ステップＳＴ２２で制御部は画像保存処理を行う。制御部２０はステップＳＴ２１で生成した画像信号を画像信号処理部１４へ出力して種々の処理を行い、処理後の画像信号を画像保存部１６に記憶させて割り込み処理を終了する。
＜２−１．広ダイナミックレンジ撮像モードの第１の撮像動作＞
次に撮像装置における広ダイナミックレンジ撮像モードの第１の撮像動作について説明する。撮像装置は、偏光素子が撮像装置に装着されている場合、広ダイナミックレンジ撮像モードであると判別して、広ダイナミックレンジ画像の画像信号を生成する。
図６は、入射光と偏光素子を透過した直線偏光および撮像部の関係を示している。偏光素子１１に入射光ＬＡが入射されると、偏光素子１１は直線偏光ＬＢを透過して撮像部１３に入射する。また、撮像部１３に入射される入射光の光軸方向を回転軸として偏光素子１１を回転すると、直線偏光ＬＢの偏光方向が変化する。偏光素子１１の回転角（あるいは撮像部に偏光素子を取り付けたときの取付角度）θが、例えば図６の（ａ）に示すように「θ＝０°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ１と偏光方向が等しくなる。また、図６の（ｂ）に示すように偏光素子１１の回転角θが「θ＝４５°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ２と偏光方向が等しくなる。また、図６の（ｃ）に示すように偏光素子１１の回転角θが「θ＝９０°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ３と偏光方向が等しくなる。また、図示せずも、偏光素子１１の角度θが「θ＝１３５°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ３と偏光方向が等しくなる。
図７は、偏光素子の回転角と撮像部における偏光画素の感度の関係を例示している。偏光素子１１は、図６に示すように、撮像部１３に入射される入射光の光軸方向を回転軸として回転可能に構成されている。ここで、偏光素子を回転して偏光方向を変化させた場合、撮像部１３における偏光画素の感度は、撮像素子の回転角に応じて変化する。
例えば、偏光方向が「０°」とされている偏光画素Ｃ１の感度は、偏光素子１１の回転角θが「θ＝０°」である場合に最大（例えば０．５）となる。その後、偏光画素Ｃ１の感度は、偏光素子１１の偏光方向の回転と共に減少して偏光素子１１の回転角θが「θ＝９０°」である場合に最小（例えば０）となる。さらに、偏光素子１１の偏光方向が回転させると、回転と共に感度が増加して、偏光素子１１の回転角θが「θ＝１８０°」である場合に最大（例えば０．５）となる。
同様に、偏光方向が「４５°」とされている偏光画素Ｃ２の感度は、偏光素子１１の回転角θが「θ＝４５°」である場合に最大（例えば０．５）となる。その後、偏光画素Ｃ２の感度は、偏光素子１１の偏光方向の回転と共に減少して偏光素子１１の偏光方向が「１３５°」である場合に最小（例えば０）となる。さらに、偏光素子１１の偏光方向が回転させると、回転と共に感度が増加する。また、偏光方向が「９０°」とされている偏光画素Ｃ３および偏光方向が「１３５°」とされている偏光画素Ｃ４の感度も同様に、偏光素子１１の回転角に応じて感度が変化する。
ここで、図８に示すように、偏光素子１１の回転角θが例えば「θ＝２２．５°」である場合、偏光画素Ｃ１，Ｃ２は感度が高く、偏光画素Ｃ３，Ｃ４は偏光画素Ｃ１，Ｃ２に比べて感度が低くなる。すなわち感度の異なる画素信号を同時に生成できる。したがって、偏光素子１１は、感度の異なる画素信号を同時に生成できる角度で着脱可能に構成する。制御部２０は、着脱検出部１８の検出結果に基づき偏光画像の感度を検出する。例えば偏光素子１１の回転角θが「θ＝２２．５°」で着脱可能である場合、予め偏光素子１１の回転角θが「θ＝２２．５°」であるときの偏光画素Ｃ１，Ｃ２の感度と偏光画素Ｃ３，Ｃ４の感度を算出しておき、偏光素子１１が取り付けらたことを検出した場合は、算出されている感度を用いることで、偏光画素の感度を検出する。
また、制御部２０は、高感度と低感度の偏光画素の感度比に基づき、低感度の偏光画素の利得を設定して画像信号処理部１４へ出力する。例えば、偏光画素Ｃ１，Ｃ２が感度「ＳＥａ」、偏光画素Ｃ３，Ｃ４が感度「ＳＥｂ」である場合、感度比「ＳＥａ／ＳＥｂ」を低感度の偏光画素Ｃ３，Ｃ４の利得ＧＡabとして設定して、画像信号処理部１４へ出力する。なお、感度や感度比の算出や利得の設定は画像信号処理部１４で行ってもよい。例えば、所定の明るさの被写体を撮像したときの偏光画素の画素信号に基づき、偏光方向毎の感度や高感度と低感度の偏光画素の感度比の算出、および算出した感度比に基づき利得の設定を行ってもよい。
画像信号処理部１４は、設定された利得を用いて利得調整を行い、利得調整後に画像合成を行う。図９は、利得調整と画像合成を説明するための図である。図９の（ａ）は入射光に対する偏光画素の信号強度を例示している。例えば高感度の偏光画素Ｃ１，Ｃ２では入射光が輝度ＬＲ１となる場合に信号強度ＩＭsatで飽和する。また、低感度の偏光画素Ｃ３，Ｃ４では入射光が輝度ＬＲ１よりも高い輝度ＬＲ２となる場合に信号強度ＩＭsatで飽和する。画像信号処理部１４は偏光画素Ｃ１，Ｃ２で飽和を生じる場合、図９の（ｂ）に示すように、感度に応じた利得ＧＡabで偏光画素Ｃ３，Ｃ４の画素信号を増幅して画像合成を行うことで、入射光が輝度ＬＲ１を超えて高くなっても飽和を生じていない広ダイナミックレンジの画像信号を生成できる。なお、入射光が輝度ＬＲ１以上となったか否かの判別は、撮像部１３からの画像信号の信号レベルに基づき判別できる。
また、画像信号処理部１４は、画像合成において、偏光画素Ｃ１，Ｃ２に基づく画像から偏光画素Ｃ３，Ｃ４の利得調整後の画像への切替が目立たないように合成比を入射光（撮像部１３からの画像信号の信号レベル）に応じて設定してもよい。図１０は、入射光と合成比の関係を例示している。画像信号処理部１４は、偏光画素Ｃ１，Ｃ２が飽和を生じる輝度ＬＲ１となる前に合成比の調整を行い、飽和を生じる輝度ＬＲ１であるときは、偏光画素Ｃ１，Ｃ２に基づく画像から偏光画素Ｃ３，Ｃ４の利得調整後の画像への切替が完了するように合成比を設定する。
図１１は撮像部の具体例を示している。撮像部１３は、２×２画素を色単位として色配列をベイヤー配列としたモザイクカラーフィルタと、２×２画素の色単位を４つの偏光方向の画素とする偏光フィルタ１３２を撮像部の入射面側に設けた構成とされている。ここで、上述のように偏光素子１１の回転角が「θ＝２２．５°」と設定されている場合、偏光画素Ｃ１，Ｃ２が高感度画素、偏光画素Ｃ３，Ｃ４が低感度画素となる。
図１２は画像信号処理部の動作例を示している。画像信号処理部１４は、図１２の（ａ）に示す撮像部から図１２の（ｂ）に示す高感度の画素グループと図１２の（ｃ）に示す低感度の画素グループに分割する。画像信号処理部１４は高感度の偏光画素の画素信号を用いて画素補間およびデモザイク処理を行い、図１２の（ｄ）に示すように色成分毎の高感度画像信号を生成する。また、画像信号処理部１４は低感度の偏光画素の画素信号を用いて画素補間およびデモザイク処理を行い、図１２の（ｅ）に示すように色成分毎の低感度画像信号を生成する。さらに画像信号処理部１４は、高感度画像の画素毎に画像信号が飽和を生じるか判別する。画像信号処理部１４は、高感度画像の画像信号が飽和する場合には、感度比に応じた利得で増幅した低感度画像における対応画素位置の画像信号を用いて入射光（高感度画像の画像信号）に応じた合成比で画像合成を行い、図１２の（ｆ）に示す広ダイナミックレンジである色成分毎の画像信号を生成する。
また、上述の動作では偏光素子を「２２．５°」で取り付けた場合を説明したが、この角度から「４５°」毎に回転した位置を偏光素子の取付角度とする構成でもよい。この場合、偏光方向が４方向である偏光画素について高感度画素と低感度画素の組み合わせは異なるものの、上述の場合と同様にして、広ダイナミックレンジ画像の色成分毎の画像信号を生成できる。
撮像装置１０では、このような処理を行うことで、露光時間の異なる複数の画像を用いることなく広ダイナミックレンジ画像を生成できる。また、等しい露光時間で同時に感度の異なる撮像画を生成できることから、動きを生じた暗い被写体を撮像する場合でも動きによるぼけのない広ダイナミックレンジ画像を生成できるようになる。
＜２−２．広ダイナミックレンジ撮像モードの第２の撮像動作＞
上述の第１の撮像動作では、偏光素子１１の偏光方向を例えば「２２．５°」に設定することで、偏光画素Ｃ１〜Ｃ４を高感度画素または低感度画素として、広ダイナミックレンジ画像の色成分毎の画像信号を生成する場合について説明した。しかし、偏光素子１１の偏光方向は、予め設定された回転角に限られない。例えば、偏光素子１１の偏光方向を自由に回転できる構成であってもよい。
図１３は、偏光素子の偏光方向を回転できる撮像装置の構成を例示している。撮像装置１０ａは、偏光素子１１、レンズ系ブロック１２、撮像部１３、画像信号処理部１４、表示部１５、画像保存部１６、ユーザインタフェース部１７、着脱検出部１８、回転駆動部１９、制御部２０を有している。
図１を用いて説明したように、偏光素子１１は、直線偏光を生成する偏光素子であり、レンズ系ブロック１２は、フォーカスレンズやズームレンズ、絞り機構等を有している。撮像部１３は、イメージセンサの入射面に複数の偏光方向の画素構成である偏光フィルタを設けて、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした構成とされている。画像信号処理部１４は、撮像部１３から出力された画像信号に対して各種の画像処理を行う。また、画像信号処理部１４は、撮像部１３の偏光画素の感度に応じて偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成等を行う。表示部１５は、その画面上に撮像画や各種情報等を表示する。画像保存部１６は、画像信号処理部１４から出力された画像データや、その画像データに関連するメタデータ等を記憶する。ユーザインタフェース部１７はユーザ操作に応じた操作信号を生成して制御部２０へ出力する。また、偏光素子１１が撮像装置１０に対して着脱可能とされている場合、偏光素子１１が撮像装置１０に取り付けられているか否かを検出する着脱検出部１８が設けられている。
回転駆動部１９は、撮像部１３に入射される入射光の光軸方向を回転軸として偏光素子１１を回転させて、直線偏光の偏光方向を変更する。回転駆動部１９は制御部２０からの駆動信号に基づき偏光素子１１を回転させる。また、回転駆動部１９は、偏光素子１１の回転位置を示す情報を生成して制御部２０へ出力する。このように、偏光素子１１の回転位置を示す情報を制御部２０へ出力する構成とすることで、例えばユーザが偏光素子１１を操作して回転させても、制御部２０は偏光素子１１の回転位置を判別できるようになる。
制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部１７からの操作信号に基づき、ユーザ操作に応じた動作モードで撮像動作が撮像装置１０で行われるように各部を制御する。
また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０に取り付けられていることを判別した場合、撮像モードを広ダイナミックレンジ撮像モードと判定する。制御部２０は、撮像モードを広ダイナミックレンジ撮像モードに設定した場合、撮像部における偏光画素の偏光方向毎の感度を例えば偏光素子の回転位置に基づいて検出する。また、制御部２０は検出した感度を画像信号処理部１４に通知して、上述のように画像信号処理部１４で利得調整や画像合成を行わせる。また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０から取り外されていることを判別した場合、撮像モードを偏光撮像モードと判定する。制御部２０は、偏光撮像モードと判定した場合、画像信号処理部１４を制御して、感度比に応じた利得調整や利得調整後の画素信号の合成処理を除く他の処理を行い記録画像の画像信号を生成する。
このように、偏光素子１１の偏光方向を自由に回転できる構成とすれば、第１の撮像動作に比べてダイナミックレンジをさらに広くすることが可能となる。
例えば図１４に示すように、偏光素子１１の回転角が「０°」よりも大きく「２２．５°」よりも小さい場合を示している。回転角を「０°」よりも大きく「２２．５°」よりも小さい角度θａであるとき、偏光画素Ｃ１を感度「ＳＥ1」、偏光画素Ｃ２を感度「ＳＥ2」、偏光画素Ｃ３を感度「ＳＥ3」、偏光画素Ｃ４を感度「ＳＥ4」とする。このとき、偏光画素Ｃ１〜Ｃ４の感度は「ＳＥ1＞ＳＥ2＞ＳＥ4＞ＳＥ3」の順となる。すなわち感度の異なる４つの画素信号を同時に生成できる。また、最も感度の高い偏光画素Ｃ１と感度が低い偏光画素Ｃ２の感度比「ＳＥ1／ＳＥ2」を低感度の偏光画素Ｃ２に対する利得ＧＡ２とする。また、最も感度の高い偏光画素Ｃ１と感度が低い偏光画素Ｃ３の感度比「ＳＥ1／ＳＥ3」を低感度の偏光画素Ｃ３に対する利得ＧＡ３、感度の高い偏光画素Ｃ１と感度が低い偏光画素Ｃ４の感度比「ＳＥ1／ＳＥ4」を低感度の偏光画素Ｃ４に対する利得ＧＡ４とする。
画像信号処理部１４は、制御部２０で設定された利得を用いて利得調整を行い、利得調整後に画像合成を行う。図１５は、利得調整と画像合成を説明するための図である。図１５の（ａ）は入射光に対する偏光画素の信号強度を例示している。例えば偏光画素Ｃ１では入射光が輝度ＬＲｐ１となる場合に信号強度ＩＭsatで飽和する。また、偏光画素Ｃ２では入射光が輝度ＬＲｐ１よりも高い輝度ＬＲｐ２となる場合に信号強度ＩＭsatで飽和する。また、偏光画素Ｃ４では入射光が輝度ＬＲｐ２よりも高い輝度ＬＲｐ４となる場合に信号強度ＩＭsatで飽和して、偏光画素Ｃ３では入射光が輝度ＬＲｐ４よりも高い輝度ＬＲｐ３となる場合に信号強度ＩＭsatで飽和する。この場合、図１５の（ｂ）に示すように、画像信号処理部１４は、感度に応じた利得ＧＡ２で偏光画素Ｃ２の画素信号の増幅と、利得ＧＡ４で偏光画素Ｃ４の画素信号の増幅と、利得ＧＡ３で偏光画素Ｃ３の画素信号の増幅を行う。その後、画像信号処理部１４は画像合成を行うことで、入射光が輝度ＬＲｐ１，ＬＲｐ２，ＬＲｐ４を超えて高くなっても飽和を生じていない広ダイナミックレンジの画像信号を生成できる。
このような処理を行うことで、第１の撮像動作よりもダイナミックレンジがさらに広い撮像画の画像信号を生成できる。また、偏光素子１１を回転できることから、偏光素子１１を回転して例えば水面や窓等で生じた反射成分を調整することが可能となり、調整効果をスルー画に基づいて確認できると共に、広ダイナミックレンジである撮像画の画像信号を生成できる。また、偏光素子１１の回転位置に応じた各偏光画素の感度を予め算出して記憶しておけば、偏光素子１１を回転したとき自動的に偏光素子１１の回転位置に応じて利得調整等を行うことができる。
＜３．撮像装置の他の構成＞
撮像部の構成は、図２や図１１に示すように偏光素子が１画素毎に偏光角を異なるようにした構成に限らず、複数画素単位で偏光角が異なる構成であってもよい。図１６は撮像部の他の構成を例示している。なお、図１６の（ａ）はカラーパターン、図１６の（ｂ）は偏光パターンを例示している。カラーパターンは、１画素を色単位として、色配列をベイヤー配列とした場合を示している。偏光パターンは、２×２画素を偏光成分単位として、２×２偏光成分単位を異なる４つの偏光方向の偏光成分単位として繰り返した構成とする。カラーパターンと偏光パターンは、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。図１６の（ｃ）は、カラーモザイクフィルタと偏光フィルタの組み合わせを例示している。この組み合わせによれば、偏光成分単位毎に色成分毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位が１×１画素であることから、２×２画素に比べて色成分画素の配置の偏りが小さい。したがって、図１１に示す組み合わせを用いた場合に比べて画質を良くすることができる。
また、撮像部１３は異なる２つの偏光方向の偏光画像で構成してもよい。図１７は偏光画素の偏光方向が２方向である場合を示している。図１７の（ａ）は偏光画像の偏光の偏光パターンを例示しており、例えば偏光画素Ｃ１，Ｃ３で撮像部が構成されている場合を示している。この場合、回転角と感度の関係は図８から偏光画素Ｃ２，Ｃ４の特性を除いた図１７の（ｂ）に示す関係となり、偏光素子１１の回転角θが例えば「θ＝４５°」である場合、偏光画素Ｃ１，Ｃ３は感度差がない。したがって、偏光画素間で感度差を生じるように、撮像部１３に対する偏光素子１１の取付角度を設定して、例えば偏光素子１１の回転角θを例えば「θ＝２２．５°」とする。この場合、偏光画素Ｃ１は感度が高く、偏光画素Ｃ３は偏光画素Ｃ１に比べて感度が低くなり、感度の異なる画素信号を同時に生成できる。
＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８、またはこれらの撮像部のいずれかに図１に示す撮像部を用いて、撮像部に偏光素子を設ける。また、図１８に示した応用例の統合制御ユニット７６００に画像信号処理部１４と制御部２０を設ける。このような構成とすれば、広ダイナミックレンジの撮像画を取得できるので、取得した広ダイナミックレンジの撮像画を運転支援や運転制御等に利用できる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けた偏光素子と
を有する撮像装置。
（２） 前記撮像部における前記偏光画素の偏光方向毎の感度を検出する感度検出部と、
前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う画像信号処理部をさらに備える（１）に記載の撮像装置。
（３） 前記画像信号処理部は、前記感度が等しい偏光画素を用いて感度毎に撮像画の画像信号を生成して、前記感度検出部で検出された感度に基づき前記感度毎の撮像画の画像信号に対する利得調整を行い、利得調整後の画像信号を用いて前記感度毎の撮像画の画像合成を行う（２）に記載の撮像装置。
（４） 前記画像信号処理部は、前記画像合成において、前記偏光画素で飽和を生じる場合に、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記飽和を生じる偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える（３）に記載の撮像装置。
（５） 前記画像信号処理部は、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号と前記感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える（４）に記載の撮像装置。
（６） 前記感度検出部は、前記偏光素子の取付角度に基づき前記偏光方向毎の感度を検出する（２）乃至（５）のいずれかに記載の撮像装置。
（７） 前記感度検出部は、前記偏光方向が異なる偏光画素で生成された画素信号に基づき前記偏光方向毎の感度を検出する（２）乃至（５）のいずれかに記載の撮像装置。
（８） 前記画像信号処理部は、前記偏光素子が取り付けられている場合に前記利得調整と前記画像合成を行う（２）乃至（７）のいずれかに記載の撮像装置。
（９） 前記撮像部において異なる偏光方向の前記偏光画素間で感度差を生じるように、前記撮像部に対する前記偏光素子の取付角度を設定する（１）乃至（８）のいずれかに記載の撮像装置。
（１０） 前記偏光素子は、前記撮像部に入射される入射光の光軸方向を軸として回転可能とする（１）乃至（９）のいずれかに記載の撮像装置。
（１１） 前記偏光素子は直線偏光を生成する（１）乃至（１０）のいずれかに記載の撮像装置。
この技術の撮像装置と撮像方法では、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に対して、偏光素子を介した入射光が入射される。このため、偏光画素は入射光の偏光方向に応じた感度となって広ダイナミックレンジの撮像を行えるようになり、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって動きぼけを生じにくい広ダイナミックレンジの撮像画を生成できる。したがって、動きぼけを生じにくい広ダイナミックレンジの撮像画に基づき種々の制御を行う機器に適している。
１０，１０ａ・・・撮像装置
１１・・・偏光素子
１２・・・レンズ系ブロック
１３・・・撮像部
１４・・・画像信号処理部
１５・・・表示部
１６・・・画像保存部
１７・・・ユーザインタフェース部
１８・・・着脱検出部
１９・・・回転駆動部
２０・・・制御部
１３１・・・イメージセンサ
１３２・・・偏光フィルタ

Claims (12)

  1. 入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
    前記撮像部の入射面側に設けた偏光素子と
    を有する撮像装置。
  2. 前記撮像部における前記偏光画素の偏光方向毎の感度を検出する感度検出部と、
    前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う画像信号処理部をさらに備える
    請求項１に記載の撮像装置。
  3. 前記画像信号処理部は、前記感度が等しい偏光画素を用いて感度毎に撮像画の画像信号を生成して、前記感度検出部で検出された感度に基づき前記感度毎の撮像画の画像信号に対する利得調整を行い、利得調整後の画像信号を用いて前記感度毎の撮像画の画像合成を行う
    請求項２に記載の撮像装置。
  4. 前記画像信号処理部は、前記画像合成において、前記偏光画素で飽和を生じる場合に、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記飽和を生じる偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える
    請求項３に記載の撮像装置。
  5. 前記画像信号処理部は、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号と前記感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える
    請求項４に記載の撮像装置。
  6. 前記感度検出部は、前記偏光素子の取付角度に基づき前記偏光方向毎の感度を検出する
    請求項２に記載の撮像装置。
  7. 前記感度検出部は、前記偏光方向が異なる偏光画素で生成された画素信号に基づき前記偏光方向毎の感度を検出する
    請求項２に記載の撮像装置。
  8. 前記画像信号処理部は、前記偏光素子が取り付けられている場合に前記利得調整と前記画像合成を行う
    請求項２に記載の撮像装置。
  9. 前記撮像部において異なる偏光方向の前記偏光画素間で感度差を生じるように、前記撮像部に対する前記偏光素子の取付角度を設定する
    請求項１に記載の撮像装置。
  10. 前記偏光素子は、前記撮像部に入射される入射光の光軸方向を軸として回転可能とする請求項１記載の撮像装置。
  11. 前記偏光素子は直線偏光を生成する
    請求項１に記載の撮像装置。
  12. 入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に、偏光素子を介した入射光を入射したときの前記偏光画素の偏光方向毎の感度を感度検出部で検出することと、
    前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像信号処理部で画像合成を行うこと
    を含む撮像方法。
JP2018534370A 2016-08-18 2017-08-09 撮像装置と撮像方法 Pending JPWO2018034209A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016160548 2016-08-18
JP2016160548 2016-08-18
PCT/JP2017/028913 WO2018034209A1 (ja) 2016-08-18 2017-08-09 撮像装置と撮像方法

Publications (1)

Publication Number Publication Date
JPWO2018034209A1 true JPWO2018034209A1 (ja) 2019-06-13

Family

ID=61197290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018534370A Pending JPWO2018034209A1 (ja) 2016-08-18 2017-08-09 撮像装置と撮像方法

Country Status (3)

Country Link
US (1) US11056518B2 (ja)
JP (1) JPWO2018034209A1 (ja)
WO (1) WO2018034209A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7325949B2 (ja) * 2018-11-22 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN110221456B (zh) * 2019-06-06 2022-01-18 京东方科技集团股份有限公司 偏振成像装置及其方法
KR20210025957A (ko) * 2019-08-28 2021-03-10 엘지이노텍 주식회사 광학 기기
US10924689B1 (en) * 2019-11-22 2021-02-16 Karl Storz Imaging, Inc. Method and apparatus to improve high dynamic range image capture using image sensor with polarization
US11689813B2 (en) * 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11644606B1 (en) * 2021-10-14 2023-05-09 Omnivision Technologies, Inc. Image sensor with sub-pixel photodiode array with multiple mini-wire grid polarizers for polarization imaging
US20230154143A1 (en) * 2021-11-16 2023-05-18 Intrinsic Innovation Llc Polarization event cameras
DE102021132644A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Verfahren zur Farbkalibrierung einer farbauflösenden Kamera für ein Kraftfahrzeug, Steuereinrichtung und Kamera

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6741356B1 (en) * 1999-09-20 2004-05-25 Olympus Corporation Method for detecting physical amount of object and optical apparatus using the same
JP4924114B2 (ja) * 2007-03-09 2012-04-25 株式会社ニコン 画像処理プログラムおよび画像処理方法
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
WO2011070708A1 (ja) * 2009-12-08 2011-06-16 パナソニック株式会社 画像処理装置
JP2011237646A (ja) 2010-05-11 2011-11-24 Panasonic Corp ３次元撮像装置
JP2011244309A (ja) 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
WO2012039087A1 (ja) * 2010-09-24 2012-03-29 パナソニック株式会社 撮像素子および撮像装置
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP6417666B2 (ja) * 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
US9294680B1 (en) * 2014-04-14 2016-03-22 Richard Pavelle Motorized rotating linearly polarized optical device
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
US20200092448A1 (en) * 2014-07-25 2020-03-19 SMR Patents S.à.r.l. Apparatus for light intensity adjustment
US10725216B2 (en) * 2015-04-08 2020-07-28 Maxell, Ltd. Onboard camera
JP2017098831A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラム
US11209664B2 (en) * 2016-02-29 2021-12-28 Nlight, Inc. 3D imaging system and method
US10048413B2 (en) * 2016-06-07 2018-08-14 Goodrich Corporation Imaging systems and methods

Also Published As

Publication number Publication date
US20200185436A1 (en) 2020-06-11
WO2018034209A1 (ja) 2018-02-22
US11056518B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
WO2018034209A1 (ja) 撮像装置と撮像方法
US11076141B2 (en) Image processing device, image processing method, and vehicle
US10704957B2 (en) Imaging device and imaging method
JP7040447B2 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2018074064A1 (ja) 画像処理装置と画像処理方法および撮像装置
US10877288B2 (en) Imaging device and imaging method
JP7024737B2 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
JP7235906B2 (ja) 固体撮像装置
JPWO2018016150A1 (ja) 画像処理装置と画像処理方法
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
JP2018064007A (ja) 固体撮像素子、および電子装置
WO2018051810A1 (ja) 画像処理装置および方法、並びに画像処理システム
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2018135208A1 (ja) 撮像装置と撮像システム