JP7171254B2 - 画像処理装置、撮像装置、および画像処理方法 - Google Patents

画像処理装置、撮像装置、および画像処理方法 Download PDF

Info

Publication number
JP7171254B2
JP7171254B2 JP2018113143A JP2018113143A JP7171254B2 JP 7171254 B2 JP7171254 B2 JP 7171254B2 JP 2018113143 A JP2018113143 A JP 2018113143A JP 2018113143 A JP2018113143 A JP 2018113143A JP 7171254 B2 JP7171254 B2 JP 7171254B2
Authority
JP
Japan
Prior art keywords
information
image
infrared
lightness
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018113143A
Other languages
English (en)
Other versions
JP2019216376A (ja
Inventor
靖 岩倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018113143A priority Critical patent/JP7171254B2/ja
Priority to US16/429,296 priority patent/US11115601B2/en
Publication of JP2019216376A publication Critical patent/JP2019216376A/ja
Application granted granted Critical
Publication of JP7171254B2 publication Critical patent/JP7171254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、画像処理装置、撮像装置、および画像処理方法に関する。
撮像装置との間の距離が異なる複数(少なくとも二つ)の被写体に共に合焦する画像を得る方法として、撮像レンズの絞りを狭めて被写界深度を深くする方法が知られている。撮像レンズの絞りを狭める方法は、被写体反射光の多い環境(例えば屋外の晴天)においては、露光期間が制約される動画であっても高SN比でかつ複数の被写体の合焦画像が得られる。しかしながらこの方法は、被写体反射光の乏しい環境(例えば曇天や夜間)で用いる場合、動画性能(露光期間、フレーム数)、画像のSN比、の特性が劣化する。
また被写体反射光の乏しい環境で動画性能(露光期間、フレーム数)や画像のSN比の特性劣化を避けて被写体反射光を得るために撮像レンズの絞りを広げると、被写界深度が浅くなる。その結果、被写体反射光の乏しい環境では、距離が異なる複数の被写体は画角内で共に合焦しがたくなる。
被写体反射光の乏しい環境で、動画性能、画像のSN比、被写界深度の深さを充足する構成として、特許文献1は、異なる距離に合焦する光学系を撮像装置内に設けた構成を開示する。特許文献1で開示された構成は、可視光または赤外線に対して感度を有する複数の光電変換部を配列した撮像素子と、遠方にある被写体と近方にある被写体を撮像素子の撮像面に合焦する光学系を備える。特許文献1は、遠方にある被写体と近方にある被写体から入射する重畳光束を撮像素子で電気信号に変換して、撮像素子から画像情報を含む電気信号として出力することを開示する。
特開2008-157924号公報
特許文献1の撮像素子は、遠方にある被写体に対して合焦する光学系を経る光束と、近方にある被写体に対して合焦する光学系を経る光束とを受光している。しかしながら、特許文献1の撮像素子は、遠方に合焦する光学系からは近方被写体の非合焦像も受光し、近方に合焦する光学系からは遠方被写体の非合焦像も受光する。すなわち、特許文献1の撮像素子は、遠方被写体の合焦像と非合焦像、および近方被写体の合焦像と非合焦像を受光する。そしてこれらの非合焦像は可視光画像のコントラスト低下や被写体輪郭の不明瞭さとして視認される。
本発明は、前述の課題を鑑みて、画質の低下を抑制しつつ、被写界深度を拡張した可視光画像を取得可能な技術を提供することを目的とする。
本発明の第1の態様は、
第1の距離に合焦する可視光域の画像を表す可視光画像信号と、前記第1の距離よりも短い第2の距離に合焦する赤外光域の画像と前記第1の距離よりも長い第3の距離に合焦する赤外光域の画像とを表す赤外線画像信号とを取得する第1の取得手段と、
前記可視光画像信号から第1の明度情報、色相情報、および彩度情報を取得し、前記赤
外線画像信号から少なくとも第2の明度情報を取得する、第2の取得手段と、
前記第1の明度情報から得られるエッジ情報と前記第2の明度情報から得られるエッジ情報に基づいて、第3の明度情報を取得する第3の取得手段と、
前記第3の明度情報、前記色相情報、および前記彩度情報を用いて、第2の可視光画像を生成する生成手段と、
を備える画像処理装置である。
本発明の第の態様は、
画像処理装置が行う画像処理方法であって、
第1の距離に合焦する可視光域の画像を表す可視光画像信号から第1の明度情報、色相情報、および彩度情報を抽出し、前記第1の距離よりも短い第2の距離に合焦する赤外光域の画像と前記第1の距離よりも長い第3の距離に合焦する赤外光域の画像とを表す赤外線画像信号から少なくとも第2の明度情報を取得する第1の取得ステップと、
前記第1の明度情報から得られるエッジ情報と前記第2の明度情報から得られるエッジ情報に基づいて、第3の明度情報を取得する第2の取得ステップと、
前記第3の明度情報、前記色相情報、および前記彩度情報を用いて、第2の可視光画像を生成する生成ステップと、
を含む、画像処理方法である。
本発明によれば、画質の低下を抑制しつつ、被写界深度を拡張した可視光画像を取得できる。
第1の実施形態に係る撮像装置の構成図を示す。 実施形態に係る撮像素子の構成図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の等価回路図を示す。 実施形態に係る撮像素子の構成図を示す。 変形例に係る撮像素子の構成図を示す。 変形例に係る撮像素子の構成図を示す。 第1の実施形態における画像処理手順を示す。 多重解像度解析工程およびエッジ情報導出工程の詳細を示す。 第2の実施形態に係る撮像装置の構成図を示す。 実施形態で用いられる回折レンズの模式図を示す。 回折レンズ材料の屈折率波長分散特性の例を示す。 回折レンズの高次回折効率入射波長依存性の例を示す。 回折レンズの合成回折効率の入射波長依存性の例を示す。 回折レンズの光軸上焦点距離の入射波長依存性を示す。 第2の実施形態における画像処理手順を示す。 判定工程の詳細を示す。 本発明の第3の実施形態の構成図を示す。
以下、図面を参照しながら各実施形態の撮像信号の処理方法及び撮像装置について説明する。
(第1の実施形態)
図1Aは、本実施形態での撮像装置の一例を示すブロック図である。撮像装置は静止画、動画等を取得する装置であり、その具体例としてデジタルスチルカメラ、デジタルカムコーダ、監視カメラ等があげられる。
図1A、本実施形態に係る撮像装置100の構成を示す図である。撮像装置100は、第1の撮像素子101、第2の撮像素子102、レンズ103、ビームスプリッタ104、撮像制御部105、前処理部106a及び106b、画像処理部107、出力部108、表示部109、記録部110、全体制御演算部111を有する。
撮像素子101及び102は被写体112~114より発する光束による光学像を受光して電気信号に変換して、後段の前処理部106a及び106bへ出力する。
レンズ103は被写体112~114より発する光学像を撮像素子101及び102に結像させる機能を担う。なお、レンズ103は可視光域と赤外光域での被写体-撮像装置間の合焦距離及び撮像装置内の焦点距離が異なっている。さらに撮像素子101と102に関して、赤外光域での合焦距離及び撮像素子の合焦位置を予め互いにずらしておくことで、赤外光域で合焦距離の異なる複数の画像情報を取得できる。レンズ103は、図10~図14を用いて後述する構成を有していてもよい。
ビームスプリッタ(光束分岐手段)104は、レンズ103を経た光束を撮像素子101及び102に分配する機能を担う。ビームスプリッタ104は、例えばプリズムを用いて構成できる。
撮像制御部105は、撮像素子101及び102のシャッタ・露光の動作を同期させる機能を担う。具体的には、2台の撮像素子101及び102の動作を同期させる周期信号の生成、シャッタの動作時期や画像信号の生成、及び出力に関わる時期を制御する信号生成を行う。
前処理部106a及び106bは、撮像素子101及び102から取得した電気信号に対して水平垂直同期や符号化等の前処理を施して、後段の画像処理部107に画像信号として送信する。撮像素子101及び102から出力される信号がアナログ信号である場合、前処理部106a及び106bは、その内部にアナログ/デジタル変換(A/D変換)回路を備え、アナログ信号をデジタル信号に変換した後に上記の前処理を施してもよい。以下、前処理部106aと106bを区別する必要が無い場合には、単に前処理部106と記載する場合もある。
画像処理部107は撮像素子101及び102の後段にある前処理部106a及び106bからそれぞれ画像信号を取得して、それらの画像の一時記憶、及び種々の画像処理を行う。画像処理部107が実施する画像処理の例は、画像の明度・色度及び彩度情報の抽出、輪郭情報の抽出と選択、焦点深度拡張された可視光画像の再構成である。画像処理部
107は、ASIC等の論理回路によって構成してもよい。あるいは、画像処理部107は、汎用的なプロセッサーがプログラムを実行することによって実現されてもよい。本実施形態において、画像処理部107を有する撮像装置100が、画像処理装置に相当する。また、本実施形態では、画像処理部107が撮像装置100に内蔵されている構成を説明するが、撮像装置100と別体の画像処理装置が画像処理部107を有していても構わない。
出力部108は画像処理部107の処理結果を基に、後段の表示部109及び記録部110への出力に適した信号への加工と、信号出力を行う。
全体制御演算部111は、撮像制御部105、画像処理部107、出力部108、表示部109、記録部110の動作を統括する。
図1Bは、撮像制御部105の一例をより詳しく説明するものである。撮像制御部105は、信号出力部150と、原発振器160と、監視部190とを有する。原発振器160は、周期信号の生成を行う。信号出力部150は、第1の撮像素子101と第2の撮像素子102を制御するための制御信号を出力する。信号出力部150と第1の撮像素子101は配線170によって電気的に接続されており、信号出力部150と第2の撮像素子102は配線180によって電気的に接続されている。2つの撮像素子を高い精度で同期させるために、配線170の長さと配線180の長さは略同じである。ここで、略同じ長さとは、同一の長さのみならず、本実施形態の効果を奏する範囲において異なる長さであってもよい。また2つの撮像素子を高い精度で同期させるために、撮像素子への制御信号入力端の前段にバッファ回路140、141が設けられていてもよい。
監視部190は、配線171及び181によって撮像素子101及び102にそれぞれ電気的に接続されており、配線173および183によって信号出力部150と電気的に接続されている。監視部190は、出力部150から生じた制御信号(配線172または182を経る経路)を基準として、撮像素子101および102にて露光開始および露光終了のタイミングの情報を含む信号(配線171または181を経る経路)を監視する。監視部190は、信号出力部150から生じた制御信号と、撮像素子101および102から返された信号との差異(信号遅延時間や位相量)を基に、信号出力部150に対して各撮像装置への制御信号の調整を配線173または183を経路にて行う。制御信号の調整の例は、信号遅延時間や信号位相量への補正である。
(撮像素子のブロック図)
図2は撮像装置100に配されている撮像素子101及び102の構成を示すブロック図である。撮像素子101と撮像素子102は同様の構成を有する。
撮像素子101及び102は、複数の画素21が二次元状に配された撮像領域20、制御部22、垂直走査部23、信号処理部24、出力部26からなる。制御部22、垂直走査部23、画素信号処理部24、出力部26は撮像領域20の外周に配されている。
制御部22は、垂直走査部23、画素信号処理部24、出力部26に制御信号、電源電圧等を供給する。垂直走査部23は、撮像領域20に配された複数の画素21について画素行毎または複数の画素行毎に駆動信号を供給する。第1の撮像素子101と第2の撮像素子102とを高い精度で同期するために、図1に示した撮像制御部105は制御部22と電気的に接続されている。
垂直走査部23は、シフトレジスタまたはアドレスデコーダにより構成することができる。
画素信号処理部24は、列回路27、水平走査回路28、水平出力線25を含んで構成される。列回路は、各々複数の回路を含んで構成される。例えば、複数の回路とは、信号保持回路、増幅回路、ノイズ除去回路、アナログデジタル変換回路、等である。水平走査回路はシフトレジスタまたはアドレスデコーダにより構成することができる。水平出力線25に出力される信号は、アナログ信号、デジタル信号のいずれでも良い。
出力部26はバッファ回路を含んで構成され、水平出力線25を介して伝達された信号を撮像素子101または102の後段にある前処理部106aまたは106bへ送信する。
(画素部の等価回路図)
図3Aは、図2に示す画素21の等価回路の構成を示す。図3Aは4つの画素からなる例である。画素21は、光電変換部301、フローティングディフュージョン302(FD302)、転送スイッチ304、入力ノード303、リセットトランジスタ305、増幅部306、選択トランジスタ307を含む。同一行に配されている複数の画素21は転送スイッチ304、リセットトランジスタ305および選択トランジスタ307を各々一斉に動作・停止制御する制御線pTX1、pSEL、pRESに接続される。
光電変換部301は入射光によって電荷を生成して、生成された電荷を蓄積する。光電変換部301は、例えばフォトダイオードである。
転送スイッチ304は、光電変換部301で生成された電荷をFD302に転送する。転送スイッチ304は制御線pTX1を通じて供給される信号によって制御される。転送スイッチ304は、例えばMOSトランジスタである。
FD302は、光電変換部301で生成された電荷を、転送スイッチ304の動作によって受取り保持する機能を担い、増幅部306の入力ノード303を構成する。
増幅部306は、増幅部306の入力ノード303に蓄積された電荷を垂直出力線308に増幅して画素信号として出力する。増幅部306は、例えばソースフォロワ回路である。
選択トランジスタ307は、垂直出力線308に信号を出力する画素300を選択する。
リセットトランジスタ305は、制御線pRESの信号によって入力ノード303にある電荷を電源309に排出して、入力ノード303の電位を電源309の電位にする、リセット動作を行う。
図3Bは、図3Aと同様に4つの画素からなる例を示す。但し、光電変換部310は互いに対向する電極に挟まれた光電変換膜から成り、撮像面に対して光入射側に位置する電極は光透過性を有する導電性材料で構成される。光透過性を有する導電性材料は例えば金属薄膜、酸化インジウムスズ(ITO)、酸化亜鉛(ZnO)、インジウム-ガリウム-亜鉛酸化物(IGZO)等のいわゆる透明電極及び酸化物半導体が挙げられる。光電変換膜310は所望波長の光の入射によって電荷を生じる材料である。光電変換膜310で電荷を生じる入射光波長帯域は例えば可視波長帯域(380~780nm)、可視及び近赤外線に跨る波長域(380nm~2.5μm)、近赤外線域(780nm~2.5μm)が挙げられる。本開示において赤外線域は、近赤外線域であってもよいし、中赤外線域(2.5~4μm)であってもよいし、近赤外線から中赤外線にまたがる波長領域であって
もよい。光電変換膜310で電荷を生じる材料は有機半導体材料、ハロゲン化金属ペロブスカイトカイトなどの無機材料、有機あるいは無機材料を核または外殻とするいわゆる量子ドットを含む材料が挙げられる。また前述の光電変換膜310で電荷を生じる材料を単層あるいは複数層堆積、接合して膜構造を形成してよい。
図3Cは、図3Bの変形例を示す。本例では、光電変換部310が画素21毎に2つ設けられている。画素21毎に設けられた光電変換部310への露光によって生じた電荷は転送スイッチ304によってFD302に転送される。
画素21毎に設けられた2つの光電変換部310に接続する転送スイッチ304は制御線pTX1及びpTX2を通じて供給される信号によって制御される。図3Cにおいて、光電変換部310は画素21毎に2つを図示しているが、画素21毎に光電変換部310が2つ以上設けられていてよい。また1つの光電変換部310に対して、転送スイッチ304及び転送スイッチの制御線がそれぞれ1つ設けられているが、画素21毎に設けられている光電変換部310の数に応じて転送スイッチ304及び転送スイッチの制御線の数を変えてよい。
また複数の光電変換部310は撮像面を平面視した際に画素21の中で互いに重なり合わない領域を持って並置してよい。あるいは複数の光電変換部310は撮像面を平面視した際に画素21の中で互いに重なり合う領域を持って位置し、平面視した際に互いに重なり合う位置にある領域は撮像面の法線方位に対して堆積された位置関係にあってよい。
複数の光電変換部310は互いに電荷を生じる入射光波長帯域・強度特性が略一致していてもよく、明瞭に異なる特性を有していても良い。例えば画素21の中の複数の光電変換部310が共に可視光の三原色(赤、緑、青)、または三補色(シアン、マゼンタ、イエロー)、全白、近赤外線帯域の内の1色あるいは1帯域に対して電荷生成特性を有するよう割り当てられてよい。あるいは画素21の中の1つの光電変換部310は可視光の三原色、または三補色、全白、近赤外線帯域の内の1色あるいは1帯域に割り当て、他方の光電変換部310を他の1色あるいは1帯域に割り当ててよい。
図3Dは、図3Cの変形例を示す。本例では、光電変換部301と310が画素21毎に1つずつ設けられている。図3Cと同様に、画素21毎に設けられた光電変換部301及び310への露光によって生じた電荷は転送スイッチ304によってFD302に転送される。また、画素21毎に設けられた光電変換部301及び310に接続する転送スイッチ304は制御線pTX1及びpTX2を通じて供給される信号によって制御される。画素21毎に光電変換部301及び310の数はそれぞれ所望の数を設けてよく、光電変換部301及び310の数に応じて転送スイッチ304及び転送スイッチの制御線の数を変えてよい。
図3Dで、光電変換部301及び310は撮像面を平面視した際に画素21の中で互いに重なり合わない領域を持って並置してよい。あるいは光電変換部301と310は撮像面を平面視した際に画素21の中で互いに重なり合う領域を持って位置し、平面視した際に互いに重なり合う位置にある領域は撮像面の法線方位に対して堆積された位置関係にあってよい。
図3Cと同様に、光電変換部301と310は互いに電荷を生じる入射光波長帯域・強度特性が略一致していてもよく、明瞭に異なる特性を有していても良い。
(撮像素子での可視及び赤外光電変換部の配置例)
図4A~図4Cは、それぞれ撮像素子101の構成例を示す図である。図4Dは、撮像
素子102の構成例を示す図である。
撮像素子101は、撮像領域20の画素21ごとに光電変換部301を備え、撮像面を平面視した際に光電変換部301の上方に特定波長を透過するカラーフィルタが配される。例えば、図4Aの構成では、可視光として青(B)、緑(G)、赤(R)を透過するカラーフィルタ401,402,403と、赤外光(IR)を透過するカラーフィルタ404とが格子状に配置される。図4Bの構成では、可視光としてシアン(Cy)、イエロー(Y)、マゼンタ(Mg)を透過するカラーフィルタ405,406,407と、赤外光(IR)を透過するカラーフィルタ404とが格子状に配置される。図4Cに示す構成では、可視光全域(白(W))を透過するカラーフィルタ408と、赤外光(IR)を透過するカラーフィルタ404が格子状に配置される。図4A~図4Cに示す撮像素子101は可視光と赤外光に対する光電変換部が同一基板上に配置されるので、これらの光電変換部を個別の基板上に配置した撮像素子を搭載する場合よりも、プリズムなどの光束を分岐する光学系を省略できる。
図4Dに示すように、撮像素子102は、撮像素子101と同様に撮像領域20の画素21に光電変換部301を備える。撮像素子102では、全画素に対して赤外光(IR)を透過するカラーフィルタIR404が光電変換部301の上方に配される。
図4A~図4Dの構成において、撮像素子101の画素のうち可視光を透過するカラーフィルタを有する画素が、第1の画素群に相当する。また、撮像素子101の画素のうち、赤外光を透過するカラーフィルタを有する画素が、第2の画素群に相当する。撮像素子102の画素が、第3の画素群に相当する。
図5A~図5Cは撮像素子101の別の構成例を示す図である。図5A~図5Cのいずれの例においても、撮像素子101は、1つの基板で構成される。
撮像素子101は、撮像領域20の画素21ごとに可視光に対する光電変換部501を基板表面側に備え、赤外光に対する光電変換部502を光電変換部501の下部に備えている。撮像面を平面視した際に光電変換部501の上方に特定波長を透過するカラーフィルタが配されるが、本例におけるカラーフィルタは可視光に加えて赤外光に対する透過特性を備える。カラーフィルタ及び可視光に対する光電変換部501を伝搬する過程で可視光は赤外光に対する光電変換部502に届く前に減衰するため、光電変換部502は赤外線を検出できる。
図5Aの例では、可視光として青(B)、緑(G)、赤(R)を透過するカラーフィルタを備える、図5Bの例では、可視光としてシアン(Cy)、イエロー(Y)、マゼンタ(Mg)を透過するカラーフィルタを備える。図5Cの例では、可視光として白(W)を透過するカラーフィルタを備える。
図6A~図6Cは撮像素子101のさらに別の構成例を示す図である。図6A~図6Cのいずれの例においても、撮像素子101は、可視光に対する光電変換部を備えた基板603と、赤外線に対する光電変換部を備えた基板604で構成されている。基板603と基板604との間は信号線及び/または電力線が接合され、シャッタの動作時期や画像信
号の生成は一体の撮像素子として動作する。
撮像素子101は、撮像領域20の画素21ごとに、可視光に対する光電変換部601を備えた基板603と、赤外光に対する光電変換部602を備えた基板604を備えている。基板603が表面側に配され、基板604が基板603の下型に配される。光電変換部601および光電変換部602の上方には、特定波長を透過するカラーフィルタが配さ
れる。図5A~図5Cの構成と同様にカラーフィルタは可視光に加えて赤外光に対する透過特性を備える。また図5A~図5Cの構成と同様に、カラーフィルタ及び光電変換部601を伝搬する過程で可視光は、光電変換部602に届く前に減衰するため、光電変換部602は赤外線を検出できる。
図6Aの例では、可視光として青(B)、緑(G)、赤(R)を透過するカラーフィルタを備える。図6Bの例では、可視光としてシアン(Cy)、イエロー(Y)、マゼンタ(Mg)を透過するカラーフィルタを備える。図6Cの例では、可視光として白(W)を透過するカラーフィルタを備える。
図5A~図5C及び図6A~図6Cに示す変形例において、撮像素子101は、撮像領域20の全面に、可視光に対する光電変換部を備えた第1の画素群と赤外線に対する光電変換部を備えた第2の画素群とを備える。したがって、可視光画像及び赤外線画像を高い精細度で取得できる。
(第1の実施形態での撮像信号の処理手順)
図7は、本実施形態における撮像装置100の画像処理手順を示すフローチャートである。ここで、撮像装置100は、図4Aに示す第1の撮像素子101と図4Dに示す第2の撮像素子102を有する構成を例に用いて、図7を参照しながら画像処理手順を説明する。
撮像装置100(図1)が動作を開始すると、手順S700において、撮像装置100は、撮像装置100からLの距離に合焦する可視光画像信号と、Lの距離に合焦する第1の赤外線画像信号と、Lの距離に合焦する第2の赤外線画像信号を取得する。なお、L<L<Lである。
より具体的には、撮像装置100から距離Lで隔てられた被写体113から発せられた可視光光束がレンズ103の瞳を通り、撮像素子101の可視光光電変換部に合焦して、撮像素子101が可視光画像信号を出力する。また撮像装置100から距離Lで隔てられた被写体112から発せられた赤外光束がレンズ103の瞳を通り、撮像素子101の赤外線光電変換部に合焦して、撮像素子101が第1の赤外線画像信号を出力する。さらに撮像装置100から距離Lで隔てられた被写体114から発せられた赤外光束がレンズ103の瞳を通り、撮像素子102の赤外線光電変換部に合焦して、撮像素子102が第2の赤外線画像信号を出力する。
レンズ103は可視光域と近赤外線域での被写体-撮像装置間合焦距離及び焦点距離が異なっている。さらに撮像素子101と102に関して近赤外線域での被写体-撮像装置間合焦距離及び撮像装置内での撮像素子の合焦位置を予め互いにずらしておくことで、撮像素子101と102は、近赤外線域で複数の被写体-撮像装置間距離の画像情報を取得できる。
撮像素子101から出力される可視光画像信号と第1の赤外線画像信号、及び撮像素子102から出力される第2の赤外線画像信号の取得動作は、撮像制御部105により同期される。前処理部106aおよび106bは、撮像素子101及び102から画像信号を取得し、アナログデジタル信号変換、水平垂直同期や符号化等の前処理を施して、画像処理部107に画像信号として送信する。画像処理部107は、前処理部106aから可視光画像信号と第1の赤外線画像信号を取得し、前処理部106bから第2の赤外線画像信号を取得する。これらの画像信号を取得する画像処理部107が、第1の取得手段あるいは取得手段に相当する。
画像処理部107は、手順S710で可視光画像及び赤外線画像の分別を行う。画像処理部107は、可視光画像に対しては手順721以降の処理を施し、赤外線画像に対しては手順722以降の処理を施す。
手順S721では、画像処理部107は、RGB表色系の可視光画像を、HSV表色系の画像情報に置換して、可視光画像の明度情報VVIS、色相情報H、彩度情報Sを抽出する。手順S721および手順S722(後述)を実行する画像処理部107が、第1の取得手段あるいは抽出手段に相当する。
次に手順S731において、画像処理部107は、可視光画像の明度情報VVISに多重解像度解析を施す。そして手順S741において、画像処理部107は、明度情報VVISの多重解像度解析データを基にラプラシアン演算を施してエッジ情報VVIS を得る。図8Aおよび図8Bは画像の明度情報Vの多重解像度解析工程及びエッジ情報Vの導出工程を説明する図である。
まず図8Aを参照して、明度情報Vの多重解像度解析工程S721を説明する。図4Aに示す撮像素子101の画素数を縦Y画素×横X画素とすると、可視光画像の三原色データの画素数は縦Y/2×横X/2となる。画像処理部107は、このY/2=Y、X/2=Xから成る画像データを原画像データGとして取得する(S810)。
次に手順S811で、画像処理部107は、原画像データG(データ数縦Y、横X)に対して縦横共に隣接するデータを統合して半分のデータ数(縦Y/2、横X/2)にする。データの統合は、隣接するデータ同士を加算平均あるいは相乗平均したり、一方のデータを選択したりすることにより行える。次に手順S812で、画像処理部107は、手順S811のデータ(縦Y/2、横X/2)から縦横共に標本数2、間引き数1の比率で抽出(サブサンプリング)する。手順813で、画像処理部107は、この抽出された画像データをGとして取得する。画像処理部107は、手順S811からS813の手順をn回繰り返す(S814からS811に戻り、S814まで進むループ)。このようにして、画像処理部107は、原画像Gを基にG、G、…、Gとなるガウシアン画像ピラミッドG={G、G、G、…、G}を導出する(S815)。
次に図8Bを参照して、エッジ情報Vの導出工程S731を説明する。画像処理部107は、ガウシアン画像ピラミッドG={G、G、G、…、G}からガウシアン画像Gを得て(S820)、縦横共に2倍に拡大する(S821)。次に手順S822で、画像処理部107は、手順S821で作成したGの2倍拡大画像からガウシアン画像Gn-1を差し引いた画像を得る。手順S823で、画像処理部107は、この抽出された画像データをラプラシアン画像Ln-1として取得する。画像処理部107は、手順S821からS823の手順をn回繰り返す(S824からS811に戻り、S824まで進むループ)。このようにして、画像Giを基にラプラシアン画像Li-1={Ln-1、Ln-2、…、L}となるラプラシアン画像ピラミッドLi-1を得る。それぞれ
のラプラシアン画像Lは、特定の周波数のエッジ成分を表す。画像処理部107は、このラプラシアン画像ピラミッドLi-1に基づいてエッジ情報VVIS を得る。
なお、エッジ情報Vの取得方法は上述のラプラシアンピラミッドを用いた手法に限られずに、既知の任意の手法を用いても構わない。
一方手順S710で分別された赤外線画像は、手順S722において手順721と同様にHSV表色空間の画像情報に置換されるが、赤外線画像は色相及び彩度情報を含まず、専ら明度情報のみ抽出される。以下では、第1の赤外線画像および第2の赤外線画像から
抽出される明度情報をそれぞれ、VIR1およびVIR2と称する。VIR1およびVIR2は、それぞれ第1の赤外明度情報および第2の赤外明度情報に相当する。
次に手順S732において、画像処理部107は、赤外線画像の明度情報VIR1およびVIR2に多重解像度解析を施す。そして手順S742において、画像処理部107は、明度情報VIR1およびVIR2の多重解像度解析データを基にラプラシアン演算を施してエッジ情報VIR1 およびVIR2 を得る。
ここで、手順S732の多重解像度解析処理および手順742のエッジ情報導出処理は、図8Aおよび図8Bを用いて説明した手順731およびS742の処理と基本的に同様である。ただし、図4Aに示す撮像素子101から得られる第1の赤外線画像の画素数は縦Y/2×横X/2であるのに対し、図4Dに示す撮像素子102から得られる第2の赤外線画像の画素数は、縦Y×横Xである。したがって、手順810では、第1の赤外線画像は縦Y/2=Y個、横X/2=X個から成る原画像データをG0(IR1)と定め
る。一方、第2の赤外線画像は、縦横共に隣接するデータの統合を行い、縦Y/2=Y個、横X/2=X個からなる画像データをG0(IR2)と定める。手順S811以降の処理は上記と同様であるため説明を省略する。
図7に戻り、エッジ情報V、VIR1 及びVIR2 を抽出後の処理工程について説明する。
まず手順S743において、画像処理部107は、VIR1 及びVIR2 の絶対値の大きさを比較してより大きなエッジ情報値を選択する。すなわち、第1の赤外線画像のエッジ強度の方が大きい場合には、画像処理部107は手順S744において、VIR1 を赤外線画像のエッジ情報VIR として選択する。一方、第2の赤外線画像のエッジ強度の方が大きい場合には、画像処理部107は手順S745において、VIR2 を赤外線画像のエッジ情報VIR として選択する。なお、手順743~745の選択処理は、赤外線画像の部分領域毎に個別に行われてもよい。
さて、手順S741及び手順S744またはS745を終えた段階で、可視光画像のエッジ情報VVIS Lと赤外線画像のエッジ情報VIR Lが得られていることになる。
次に手順S750で、画像処理部107は、着目する画素に関する可視光画像及び赤外線画像のエッジ情報のいずれが明瞭か判定する。即ち、画像処理部107は、可視光画像のエッジ情報の絶対値Abs(VVIS L)と赤外線画像のエッジ情報絶対値Abs(VIR L)とを
比較する。もし可視光画像のエッジ情報の絶対値Abs(VVIS L)が赤外線画像のエッジ情報の絶対値Abs(VIR L)より大きければ、画像処理部107は、VVIS Lを明瞭なエッ
ジ情報と看做す(手順S761)。また可視光画像のエッジ情報の絶対値Abs(VVIS L)が赤外線画像のエッジ情報の絶対値Abs(VIR L)以下であれば、画像処理部107は、VIR Lを明瞭なエッジ情報と看做す(手順S762)。
なお本例でエッジ情報の絶対値Abs(VVIS L)とAbs(VIR L)を比較しているが、特定解像度のエッジ情報、例えばラプラシアン画像ピラミッドの階層Lnの可視光及び赤外線
画像のエッジ情報に着目して選択してもよい。この場合、他の解像度のエッジ情報は、可視光画像と赤外線画像のうち選択された画像のエッジ情報を用いてもよいし、可視光及び赤外線画像のエッジ情報を合成して用いてもよい。
手順S761またはS762を終えた段階で、可視光画像または赤外線画像を対比してより明瞭なエッジ情報が選択されていることになる。そこで手順S770で、画像処理部107は、選択されたより明瞭なエッジ情報を基に明度情報VVISnewを導出(決定
)する。手順S731~S762の処理によって、明瞭なエッジ情報を有する画像の明度情報VVISnew(第3の明度情報)を決定する画像処理部107が、第3の取得手段あるいは決定手段に相当する。
最後に手順S780で、画像処理部107は、先の手順S770で得た明度情報VVISnewと、手順S721で導出した色相情報H及び彩度情報Sとを用いて、被写界深度が拡張された可視光画像を生成する。手順S780によって、被写界深度が拡張された可視光画像(第2の可視光画像)を生成する画像処理部107が、生成手段に相当する。
以上が可視光画像及び赤外線画像を基に、被写界深度が拡張された可視光画像を得る撮像信号の処理方法及び撮像装置の構成である。
(実施形態の有利な効果)
本実施形態によれば、可視光領域での合焦距離域の画像情報に加えて、可視光領域では非合焦距離域の輪郭(エッジ)及び/または明度差情報を、可視光領域とは異なる合焦距
離域を有する赤外線画像情報によって補っている。その結果、可視光領域において合焦する被写体-撮像装置間距離より被写界深度を拡張された可視光画像が時間同時性を保ちながら得られる。
なお、複数の合焦距離域からなる可視光画像を重畳させる従来させる従来技術では、合焦像の周囲に非合焦像が重畳する事に由来する画像のコントラスト低下や被写体輪郭のぼやけが視認される。これに対して本実施形態では、可視光画像と赤外線画像のうち、より明瞭なエッジ情報を選択して利用しているので、従来技術のようなコントラスト低下や輪郭のぼやけは生じない。
さらに赤外線は可視光に比べて霧や霞に対する透過性が高く、空と雲との明暗比が強調される特徴があり、遠方監視時の画像情報取得に好ましい。また赤外線は植物や人膚の反射率が高いため、被写体距離に関わらず生体と人工物の分別に適する。従って本実施形態は昼夜間を問わず時間同時性を保ちながら広域を高精細度で監視するためにも好適である。
(第2の実施形態)
図9は本実施形態での撮像装置の別の一例を示すブロック図である。
図9において、撮像装置900は撮像素子901、撮像レンズ902を有する。また撮像装置900に有する符号106~111は、図1での同一符号と同じ呼称と役割を果たす。被写体112は近景、被写体113は中景、被写体114は遠景である。
撮像素子901は、第1の実施形態(図1)での第1の撮像素子101と同様の構成であり、撮像素子901内に可視光に対する光電変換部と赤外線に対する光電変換部とを共に含む。即ち、撮像素子901は、図2および図3に示す構成を採り得る。また、撮像素子901での可視光及び赤外線に対する光電変換部の配置は、図4A~図4C,図5A~図5C、図6A~図6Cのいずれも採り得る。
(撮像レンズ902の説明)
撮像レンズ902は、回折光学素子を含むレンズ群によって構成される。さらに撮像レンズ902に含まれる回折光学素子は、2種類の回折光学素子を含む。具体的には、回折光学素子は、負の焦点距離を有する凹レンズ903と、正の焦点距離を有する凸レンズ904を堆積した、所謂堆積型回折光学素子から成る。
図10Aおよび図10Bは、それぞれ堆積型回折光学素子の断面図および正面図である。図10Aおよび図10Bの符号903、904は、図9において同一符号が付された部材と役割を果たす。
回折光学素子903及び904はそれぞれ異なる屈折率波長分散特性を有する材料を用いて良い。図11は回折光学素子903及び904に用いられるレンズ材料の屈折率波長分散特性を表す。本例は回折光学素子903の材料にポリカーボネート系樹脂、回折光学素子904の材料にアクリレート系樹脂を用いている。
回折光学素子903及び904は鋸刃状の回折格子を刻んだ、所謂透過レリーフ型(膜厚変調型)回折光学素子である。レンズ表面の周期形状をレンズ光軸からレンズ辺縁方向に向けて同心円状に、回折次数m、ブレーズ化次数p、かつm=pであるブレーズ化グレーチングを施すことにより、高い回折効率が得られる。図12Aおよび図12Bは、図11の材料を用いて、m=pであるブレーズ化グレーチングを施した回折光学素子での、m次回折光回折効率の波長依存性を示す。図12Aは凹レンズ回折光学素子903の設計例を示し、図12Bは凸レンズ回折光学素子904の設計例を示している。各例の設計値は、凹レンズ回折光学素子903(図12A)がm=p=-9かつ前記次数での回折波長λ=700nm、凸レンズ回折光学素子904(図12B)がm=p=10かつ前記次数での回折波長λ=700nmである。凹レンズ及び凸レンズ共に、可視光から近赤外域に渡って整数次数(m次)で回折効率のピークが認められる。そして回折効率のピークとなる波長が最も近接した次数の組を足し合わせると、次数の和は+1となる。つまりm=pであるブレーズ化グレーチングを施された正及び負の回折次数の回折光学素子を堆積した回折光学素子は、波長毎の回折次数の和が+1と看做せるとき、0次光の入射に対して+1次回折光を出射する回折光学素子として機能する。そして堆積型回折光学素子が0次光の入射に対して+1次回折光を出射する回折効率は図13に示すように、可視光域から近赤外域まで高い1次回折効率を示す。
図10Aおよび図10Bの符号1000はレンズ瞳の全域、符号1001はレンズ光軸近傍のレンズ瞳域(第1領域)、符号1002はレンズ辺縁側のレンズ瞳域(第2領域)を示す。撮像レンズ902のレンズ瞳全域1000は、レンズ光軸を含む領域1001と、レンズ領域1001の外側の領域であるレンズ領域1002に区分される。本例の撮像レンズ902は、可視光域ではレンズ瞳全域1000へ入射する光束に関して被写体と撮像装置とを隔てる距離Lで撮像素子に合焦する。そして赤外線領域では、レンズ光軸近傍のレンズ瞳域1001へ入射する光束に関して被写体と撮像装置とを隔てる距離Lで、レンズ辺縁側のレンズ瞳域1002へ入射する光束に関して被写体と撮像装置とを隔てる距離Lで撮像素子に合焦する。ここで距離LとLは互いに重複しない合焦距離の範囲である。また被写体-撮像装置間の合焦距離LとLの範囲、または距離LとLは一部重複していても良いが、可視光画像での合焦距離域を拡張する上でL、L、Lの距離範囲が互いに異なる方が好ましい。
図14は、撮像レンズ902の焦点距離の入射波長依存性を表している。ここで、可視光域での被写体-撮像装置間合焦距離L=500m、赤外線域でのレンズ光軸近傍のレンズ瞳域1001の被写体-撮像装置間合焦距離L=800m、レンズ辺縁側のレンズ瞳域1002の被写体-撮像装置間合焦距離L=300mとしている。なお可視光域の設計波長はナトリウムd線(λ=587.56nm)、赤外線域の設計波長はλ=800nmである。また可視光域の焦点距離はf=35.0000mm、赤外線域のレンズ光軸近傍のレンズ瞳域1001での焦点距離f=35.0025mm、レンズ辺縁側のレンズ瞳域1002の焦点距離f=35.0015mm、F値は1.4である。
なお本例で赤外線域での合焦距離域が異なるレンズ瞳域の分割数を2つとしているが、
所望の合焦距離域の数に応じてレンズ瞳域の分割数を増やしても良い。
このように回折光学素子を含む撮像レンズは可視光域での色収差を抑制しつつ、赤外線域での被写体-撮像装置間合焦距離域を複数化することができる。
また撮像レンズ902は、可視光域での高次回折光によるハローまたはグレアを抑制して、赤外線域での被写体-撮像装置間合焦距離域を複数化することができる。撮像レンズ902に含まれる回折光学素子が異種の材料、または正及び負の焦点距離を有する、または正及び負の設計回折次数を有する複数の回折光学素子を堆積した構成から成るためである。
またレンズ瞳径がレンズ辺縁部に拡張される場合、被写体-撮像装置間の合焦距離範囲は合焦点より遠方は深く、合焦点より近方は浅くなる。従ってレンズ辺縁部に入射した赤外線束の被写体-撮像装置間の合焦距離Lはレンズ光軸近傍にした赤外線束の被写体-撮像装置間の合焦距離Lより短い方が、レンズ瞳径が拡張されて増大したレンズへの入射光量を有効に利用できることからより好ましい。
(第2の実施形態での撮像信号の処理手順)
図15は、本実施形態での撮像装置900の画像処理手順を示すフローチャートである。ここで撮像装置900は、図4Aに示す撮像素子を有する構成を例に用いて、図15を参照しながら画像処理手順を説明する。
撮像装置900(図9)が動作を開始すると、手順S1500において、撮像装置900は、撮像装置900からLの距離に合焦する可視光画像と、LおよびLの距離に合焦する赤外線画像が重畳した赤外線画像を取得する。なお、距離L,L,Lは第1の実施形態と同様にL<L<Lである。
より具体的には、撮像装置900から距離Lで隔てられた被写体113から発せられた可視光光束が撮像レンズ902のレンズ瞳全域1000を通り、撮像素子901の可視光光電変換部に合焦して、撮像素子901が可視光画像信号を出力する。また撮像装置900から距離Lで隔てられた被写体114から発せられた赤外線光束が撮像レンズ902の光軸近傍のレンズ瞳域1001を通り、撮像素子901の赤外線光電変換部に合焦して、撮像素子901が赤外線画像信号を出力する。また撮像装置900から距離Lで隔てられた被写体112から発せられた赤外線光束が撮像レンズ902のレンズ辺縁部のレンズ瞳域1002を通り、撮像素子901の赤外線光電変換部に合焦して、撮像素子901が赤外線画像信号を出力する。
すなわち、撮像素子901が出力する赤外線画像は、レンズ瞳域1001を通る被写体114の合焦像と、レンズ瞳域1002を通る被写体112の合焦像が重畳されたものである。換言すると、本実施形態の撮像素子901が出力する赤外線画像は、第1の実施形態における第1の赤外線画像と第2の赤外線画像を足し合わせた画像に相当する。
この時、レンズ瞳域1001を通る被写体112の非合焦赤外線束及びレンズ瞳域1002を通る被写体114の非合焦赤外線束も重畳して入射する。しかしいずれの非合焦赤外線束も合焦赤外線束に比べて信号強度が弱くなるため合焦赤外線束による赤外線画像のエッジ情報の検出に対して妨げとならない。
前処理部106は、撮像素子901から画像信号を取得し、アナログデジタル信号変換、水平垂直同期や符号化等の前処理を施して、画像処理部107に画像信号として送信する。画像処理部107は、前処理部106から可視光画像信号と赤外線画像信号を取得す
る。これらの画像信号を取得する画像処理部107が、取得手段に相当する。
画像処理部107は、手順S1510で可視光画像及び赤外線画像の分別を行う。画像処理部107は、可視光画像に対しては手順1520以降の処理を施し、赤外線画像に対しては手順1523以降の処理を施す。
手順S1523では、画像処理部107は、RGB表色系の可視光画像を、HSV表色系の画像情報に置換して、可視光画像の明度情報VVIS、色相情報H、彩度情報Sを抽出する。手順S1523および手順S1520(後述)を実行する画像処理部107が、抽出手段に相当する。
続く手順S1524で、画像処理部107は、明度情報VVIS、色相情報H、彩度情報Sを分別する。画像処理部107は、手順S1525で可視光画像の明度情報VVISに多重解像度解析を施し、手順S1526でVVISの多重解像度解析データを基にラプラシアン演算を施してエッジ情報VVIS を導出する。
手順S1527は後述するS1530での可視光画像及び赤外線画像のエッジ情報の判定に用いるための情報を導出する処理である。手順S1527において、画像処理部107は、原画像データGを基に得た彩度情報S(データ数縦Y、横X)に対して、幾つかの画素群から成る区画を定め、各区画内の画素の最も低い彩度値を各区画内の彩度最低値Sminとして導出する。彩度最低値Sminは後述するS1530の判定処理で用い
られるが、判定方法によっては彩度最低値Sminは用いない場合もある。従って、S1530の判定方法で彩度最低値Sminを用いない場合は、手順S1527を省略してよい
一方、本実施形態での赤外線画像は、第1の実施形態での第1の赤外線画像と第2の赤外線画像を足し合わせた画像に相当する。即ち、本実施形態の赤外線画像は、被写体112の非合焦赤外線束及び被写体114の合焦赤外線束、被写体114の非合焦赤外線束及び被写体112の合焦赤外線束から得られる画像である。被写体112の非合焦赤外線束及び被写体114の合焦赤外線束はレンズ光軸近傍のレンズ瞳域1001を通って、撮像素子901の赤外線光電変換部へ入射する。被写体114の非合焦赤外線束及び被写体112の合焦赤外線束は、レンズ辺縁部のレンズ瞳域1002を通って、撮像素子901の赤外線光電変換部へ入射する。そして、前述の合焦及び非合焦赤外線束による赤外線画像が撮像素子901から出力されることになる。
こうして得られる赤外線画像は、手順S1520において、画像処理部107によってHSV表色空間系の画像情報を置換され、赤外線画像の明度情報VIRが抽出される。従って本実施形態での赤外線画像の明度情報VIRは被写体112及び被写体114の合焦及び非合焦画像の赤外線明度情報が重畳されている。さらに手順S1521で赤外線画像の明度情報VIRに多重解像度解析を施し、手順S1522でVIRの多重解像度解析データを基にラプラシアン演算を施してエッジ情報VIR を得る。
手順S1521及びS1525の多重解像度解析、手順S1522及びS1526のラプラシアン演算とエッジ情報抽出は、それぞれ図8Aおよび図8Bに示して説明したので繰り返しの説明は省略する。
手順S1522及びS1526を終えた段階で、可視光画像のエッジ情報VVIS と赤外線画像のエッジ情報VIR が得られていることになる。
次に手順S1530で、画像処理部107は、着目する画素に関する可視光画像及び赤
外線画像のエッジ情報のいずれが明瞭か判定する。図16Aおよび図16Bは、可視光画像及び赤外線画像のエッジ情報のVの判定工程S1530の2つの例をより詳細に説明する図である。
図16Aは、判定工程S1530の実装例を示すフローチャートである。図16Aに示す処理は、可視光画像のエッジ情報の絶対値Abs(VVIS )と赤外線画像のエッジ情報の絶対値Abs(VIR )とを単純に比較して、エッジ情報の絶対値が大きい方を明瞭なエッジ情報と看做す方法である。即ち、画像処理部107は、手順S1610で可視光画像のエッジ情報VVIS と赤外線画像のエッジ情報VIR を取得し、手順S1611で、VVIS とVIR の絶対値を導出し、手順S1612で、VVIS とVIR の絶対値を比較する。可視光画像のエッジ情報の絶対値Abs(VVIS )が赤外線画像のエッジ情報の絶対値Abs(VIR )より大きければ、手順S1613に進み、画像処理部107は、VVIS が明瞭なエッジ情報と看做す。また可視光画像のエッジ情報の絶対値Abs(VVIS )が赤外線画像のエッジ情報の絶対値Abs(VIR )以下であれば、手順S1614に進み、画像処理部107は、VIR が明瞭なエッジ情報と看做す。
なお本例ではエッジ情報の絶対値Abs(VVIS L)とAbs(VIR L)とを比較しているが、特定解像度のエッジ情報、例えばラプラシアン画像ピラミッドの階層Lnの可視光及び赤
外線画像のエッジ情報に着目して選択してもよい。この場合、他の解像度のエッジ情報は、可視光画像と赤外線画像のうち選択された画像のエッジ情報を用いてもよいし、可視光及び赤外線画像のエッジ情報を合成して用いてもよい。
図16Bは、判定工程S1530の別の実装例を示すフローチャートである。図16Bに示す処理は、エッジ情報の選択に、可視光画像から得られる彩度最小値Sminを利用する方法である。この方法において可視光画像は、空気・霧・霞により可視光散乱が大きくなるにつれて可視光画像輪郭のぼやけと最低彩度値の上昇(画像の無彩色化)を伴うと仮定している。
画像処理部107は、手順S1620においてエッジ情報取得を取得し、手順1622においてエッジ情報の絶対値を導出する。これらの処理は図16Aの手順S1610及びS1611と同様である。
画像処理部107は、手順S1621において、彩度最低値Sminを取得する。彩度最
低値Sminは、手順S1527において、原画像データG(データ数縦Y、横X)から得た彩度情報S(データ数縦Y、横X)を分別して、ある画素群毎に彩度最低値Sminを割り付けることにより得られている。具体的には、例えば縦j画素、横k画素か
ら成る画素群を定め、原画像データGに対してj画素×k画素の区画毎に彩度情報を参照して、前記区画内画素の彩度最低値を前記区画の彩度最低値Sminとして割り付けられて
よい。また彩度情報S(データ数縦Y、横X)に統合対象となる彩度データの彩度最低値Sminを拾い出す多重解像度解析を施し、解像度が粗いガウシアン画像の彩度情報を
画素群毎の彩度最低値Sminとして割り当てられてよい。
手順S1623までに、エッジ情報の絶対値Abs(VVIS )、Abs(VIR
及び彩度最低値Sminが得られている。手順S1623では、画像処理部107は、これ
らの情報を用いて、エッジ情報の選択を行う。
図16Bにおいて、SをHSV表色空間での最大彩度値とする。まず、彩度最低値が第1の閾値以下(Smin≦0.1S)ならば、画像処理部107は、可視光画像のエッジ情報VVIS を明瞭なエッジ情報とみなす(手順S1624)。一方、彩度最低値が第
2の閾値よりも大きい(Smin>0.7S)ならば、画像処理部107は、赤外線画像のエッジ情報VIR を明瞭なエッジ情報とみなす(手順S1627)。上記以外、すなわち0.1S<Smin≦0.7Sであれば、可視光画像のエッジ情報の絶対値Abs(
VIS )が赤外線画像のエッジ情報の絶対値Abs(VIR )を比較して、大きい方
を明瞭なエッジ情報とみなす(手順S1625またはS1626)。ここで、2つの判定閾値0.1Sおよび0.7Sは一例に過ぎず、その他の値であってもよい。
なお、0.1S<Smin≦0.7Sの時に、Abs(VVIS )とAbs(VIR )を単純に比較するのではなく、Abs(VIR )に彩度最低値Sminに応じた重みFを乗じた値を比較に用いてもよい。重み関数は、例えばF(Smin)=(Smin-0.1S)/(0.7S-0.1S)とする。この場合、0.1S<Smin≦0.7Sの時に、画像処理部107は、Abs(VVIS )がAbs(F(Smin)×VIR )より大きければ、VVIS を明瞭なエッジ情報と看做す(手順S1625)。一方、画像処理部107は、Abs(VVIS )がAbs(F(Smin)×VIR )以下であれば、VIR を明瞭なエッジ情報と看做す(手順S1626)。なお、手順S1626では、Abs(F(Smin)×VIR )を明瞭なエッジ情報とみなしてもよい。
なお本例でエッジ情報の絶対値Abs(VVIS L)とAbs(VIR L)を比較しているが、特定解像度のエッジ情報、例えばラプラシアン画像ピラミッドの階層Lnの可視光及び赤外線
画像のエッジ情報に着目して選択してもよい。この場合、他の解像度のエッジ情報は、可視光画像と赤外線画像のうち選択された画像のエッジ情報を用いてもよいし、可視光及び赤外線画像のエッジ情報を合成して用いてもよい。
図15の説明に戻る。手順S1530を終えた段階で、可視光画像または赤外線画像を対比してより明瞭なエッジ情報が選択されていることになる。そこで手順S1540で、画像処理部107は、選択されたより明瞭なエッジ情報を基に明度情報VVISnewを導出する。手順S1522~S1540の処理によって、明瞭なエッジ情報を有する画像の明度情報VVISnew(第3の明度情報)を決定する画像処理部107が、決定手段に相当する。
最後に手順S1550で、画像処理部107は、先の手順S1540で得た明度情報VVISnewと、手順S1523で導出した色相情報H及び彩度情報Sとを用いて、被写界深度拡張された可視光画像を生成する。
以上が可視光画像及び赤外線画像を基に、被写界深度が拡張された可視光画像を得る撮像信号の処理方法及び撮像装置の構成である。
このように本実施形態の構成においても、可視光領域での合焦距離域の画像情報に加えて、可視光領域では非合焦距離域の輪郭(エッジ)及び/または明度差情報を、可視光領
域と異なる合焦距離を有する赤外線画像情報によって補っている。その結果、可視光領域において合焦する被写体-撮像装置間距離より被写界深度を拡張された可視光画像が時間同時性を保ちながら得られる。
<第3の実施形態>
第3の実施形態による撮像システム及び移動体について、図17A及び図17Bを用いて説明する。図17A及び図17Bは、本実施形態による撮像システム及び移動体の構成を示す図である。
図17Aは、車載カメラに関する撮像システム400の一例を示したものである。撮像
システム400は、撮像装置410を有する。撮像装置410は、上述の第1または第2の実施形態に記載の撮像装置のいずれかである。撮像システム400は、撮像装置410により取得された複数の画像データに対し、画像処理を行う画像処理部412と、撮像装置410により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部414を有する。なお、本実施形態では、画像処理部412が上記で説明した画像処理(図7または図15)を実施することを想定するが、撮像装置410内の画像処理部107が当該処理を実施してもよい。また、撮像システム400は、算出された視差に基づいて対象物までの距離を算出する距離取得部416と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部418と、を有する。ここで、視差取得部414や距離取得部416は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部418はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム400は、車両情報取得装置420と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム400は、衝突判定部418での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU430が接続されている。すなわち、制御ECU430は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム400は、衝突判定部418での判定結果に基づいて、ドライバーへ警報を発する警報装置440とも接続されている。例えば、衝突判定部418の判定結果として衝突可能性が高い場合、制御ECU430はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置440は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム400で撮像する。図17Bに、車両前方(撮像範囲450)を撮像する場合の撮像システム400を示した。車両情報取得装置420は、撮像システム400を動作させ撮像を実行させるように指示を送る。上述の第1乃至第3実施形態の撮像装置を撮像装置410として用いることにより、本実施形態の撮像システム400は、測距の精度をより向上させることができる。
以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(輸送機器)に適用することができる。移動体(輸送機器)における移動装置はエンジン、モーター、車輪、プロペラなどの各種の駆動源である。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
(その他の実施形態)
撮像素子は、画素が設けられた第1半導体チップと、読み出し回路(増幅器)が設けられた第2半導体チップとを積層した構造(チップ積層構造)を有していてもよい。第2半導体チップにおける読み出し回路(増幅器)は、それぞれ、第1半導体チップの画素列に対応した列回路とすることができる。また、第2半導体チップにおける読み出し回路(増幅器)は、それぞれ、第1半導体チップの画素あるいは画素ブロックに対応したマトリックス回路とすることもできる。第1半導体チップと第2半導体チップとの接続は貫通電極(TSV)、銅(Cu)等の金属の直接接合によるチップ間配線、チップ間のマイクロバンプによる接続などを採用することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、これまで述べた各実施例を種々組み合わせて実施することができる。
100 撮像装置 101 第1の撮像素子 102 第2の撮像素子
103 撮像レンズ 107 画像処理部

Claims (19)

  1. 第1の距離に合焦する可視光域の画像を表す可視光画像信号と、前記第1の距離よりも短い第2の距離に合焦する赤外光域の画像と前記第1の距離よりも長い第3の距離に合焦する赤外光域の画像とを表す赤外線画像信号とを取得する第1の取得手段と、
    前記可視光画像信号から第1の明度情報、色相情報、および彩度情報を取得し、前記赤外線画像信号から少なくとも第2の明度情報を取得する、第2の取得手段と、
    前記第1の明度情報から得られるエッジ情報と前記第2の明度情報から得られるエッジ情報に基づいて、第3の明度情報を取得する第3の取得手段と、
    前記第3の明度情報、前記色相情報、および前記彩度情報を用いて、第2の可視光画像を生成する生成手段と、
    を備える画像処理装置。
  2. 前記第1の取得手段は、前記第2の距離に合焦する赤外光域の画像を表す第1の赤外線画像信号と、前記第3の距離に合焦する赤外光域の画像を表す第2の赤外線画像信号とを、前記赤外線画像信号として取得し、
    前記第2の取得手段は、前記第1の赤外線画像信号から得られる第1の赤外明度情報と、前記第2の赤外線画像信号から得られる第2の赤外明度情報とのそれぞれを、前記第2の明度情報として抽出する、
    請求項1に記載の画像処理装置。
  3. 前記第3の取得手段は、前記第1の明度情報、前記第1の赤外明度情報、前記第2の赤外明度情報のうち、エッジ強度が最も大きいものを、前記第3の明度情報として決定する、
    請求項2に記載の画像処理装置。
  4. 前記第1の取得手段は、前記第2の距離に合焦する赤外光域の画像と前記第3の距離に合焦する赤外光域の画像とが重畳された画像を表す画像信号を、前記赤外線画像信号として取得する、
    請求項1に記載の画像処理装置。
  5. 前記第3の取得手段は、前記第1の明度情報と前記第2の明度情報のうち、エッジ強度
    が最も大きいものを、前記第3の明度情報として決定する、
    請求項4に記載の画像処理装置。
  6. 前記第3の取得手段は、前記第1の明度情報、前記第2の明度情報、および前記彩度情報に基づいて、前記第3の明度情報を決定する、
    請求項4に記載の画像処理装置。
  7. 前記第3の取得手段は、
    前記彩度情報が第1の閾値以下であれば、前記第1の明度情報を前記第3の明度情報として決定し、
    前記彩度情報が前記第1の閾値よりも大きい第2の閾値よりも大きければ、前記第2の明度情報を前記第3の明度情報として決定し、
    上記以外の場合は、前記第1の明度情報と前記第2の明度情報のうち、エッジ強度が最も大きいものを、前記第3の明度情報として決定する、
    請求項6に記載の画像処理装置。
  8. 前記第3の取得手段は、前記第1の明度情報から得られるエッジ強度と、前記第2の明度情報から得られるエッジ強度に前記彩度情報に基づく重み付けをした値を比較して、当該比較の結果に基づいて前記第3の明度情報を決定する、
    請求項6に記載の画像処理装置。
  9. 請求項1から8のいずれか1項に記載の画像処理装置と、
    可視光域において第1の焦点距離を有し、赤外光域において前記第1の焦点距離よりも短い第2の焦点距離および前記第1の焦点距離よりも長い第3の焦点距離を有する撮像レンズと、
    前記撮像レンズを透過した光束を受光し、第1の距離に合焦する可視光域の画像を表す可視光画像信号と、前記第1の距離よりも短い第2の距離に合焦する赤外光域の画像と前記第1の距離よりも長い第3の距離に合焦する赤外光域の画像とを表す赤外線画像信号とを出力する撮像素子と、
    を備え、
    前記画像処理装置は、前記撮像素子が出力する可視光画像信号と赤外線画像信号から、前記第2の可視光画像を生成する、
    像装置。
  10. 移動体であって、
    請求項に記載の撮像装置と、
    移動装置と、
    前記撮像装置から出力される信号から情報を取得する処理装置と、
    前記情報に基づいて前記移動装置を制御する制御装置と、
    を有することを特徴とする移動体。
  11. 画像処理装置が行う画像処理方法であって、
    第1の距離に合焦する可視光域の画像を表す可視光画像信号から第1の明度情報、色相情報、および彩度情報を抽出し、前記第1の距離よりも短い第2の距離に合焦する赤外光域の画像と前記第1の距離よりも長い第3の距離に合焦する赤外光域の画像とを表す赤外線画像信号から少なくとも第2の明度情報を取得する第1の取得ステップと、
    前記第1の明度情報から得られるエッジ情報と前記第2の明度情報から得られるエッジ情報に基づいて、第3の明度情報を取得する第2の取得ステップと、
    前記第3の明度情報、前記色相情報、および前記彩度情報を用いて、第2の可視光画像を生成する生成ステップと、
    を含む、画像処理方法。
  12. 前記赤外線画像信号は、前記第2の距離に合焦する赤外光域の画像を表す第1の赤外線画像信号と、前記第3の距離に合焦する赤外光域の画像を表す第2の赤外線画像信号とを含み、
    前記第1の取得ステップでは、前記第1の赤外線画像信号から得られる第1の赤外明度情報と、前記第2の赤外線画像信号から得られる第2の赤外明度情報とのそれぞれを、前記第2の明度情報として抽出する、
    請求項11に記載の画像処理方法。
  13. 前記第2の取得ステップでは、前記第1の明度情報、前記第1の赤外明度情報、前記第2の赤外明度情報のうち、エッジ強度が最も大きいものを、前記第3の明度情報として決定する、
    請求項12に記載の画像処理方法。
  14. 前記赤外線画像信号は、前記第2の距離に合焦する赤外光域の画像と前記第3の距離に合焦する赤外光域の画像とが重畳された画像を表す画像信号である
    請求項11に記載の画像処理方法。
  15. 前記第2の取得ステップでは、前記第1の明度情報と前記第2の明度情報のうち、エッジ強度が最も大きいものを、前記第3の明度情報として決定する、
    請求項14に記載の画像処理方法。
  16. 前記第2の取得ステップでは、前記第1の明度情報、前記第2の明度情報、および前記彩度情報に基づいて、前記第3の明度情報を決定する、
    請求項14に記載の画像処理方法。
  17. 前記第2の取得ステップでは、
    前記彩度情報が第1の閾値以下であれば、前記第1の明度情報を前記第3の明度情報として決定し、
    前記彩度情報が前記第1の閾値よりも大きい第2の閾値よりも大きければ、前記第2の明度情報を前記第3の明度情報として決定し、
    上記以外の場合は、前記第1の明度情報と前記第2の明度情報のうち、エッジ強度が最も大きいものを、前記第3の明度情報として決定する、
    請求項16に記載の画像処理方法。
  18. 前記第2の取得ステップでは、前記第1の明度情報から得られるエッジ強度と、前記第2の明度情報から得られるエッジ強度に前記彩度情報に基づく重み付けをした値を比較して、当該比較の結果に基づいて前記第3の明度情報を決定する、
    請求項16に記載の画像処理方法。
  19. 請求項11から18のいずれか1項に記載の方法をコンピュータに実行させるためのプログラム。
JP2018113143A 2018-06-13 2018-06-13 画像処理装置、撮像装置、および画像処理方法 Active JP7171254B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018113143A JP7171254B2 (ja) 2018-06-13 2018-06-13 画像処理装置、撮像装置、および画像処理方法
US16/429,296 US11115601B2 (en) 2018-06-13 2019-06-03 Image processing apparatus, imaging apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018113143A JP7171254B2 (ja) 2018-06-13 2018-06-13 画像処理装置、撮像装置、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2019216376A JP2019216376A (ja) 2019-12-19
JP7171254B2 true JP7171254B2 (ja) 2022-11-15

Family

ID=68839438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018113143A Active JP7171254B2 (ja) 2018-06-13 2018-06-13 画像処理装置、撮像装置、および画像処理方法

Country Status (2)

Country Link
US (1) US11115601B2 (ja)
JP (1) JP7171254B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
WO2020129138A1 (ja) * 2018-12-18 2020-06-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
US20210314500A1 (en) * 2020-04-03 2021-10-07 Rockwell Collins, Inc. Color night vision system and method
EP4131916A4 (en) 2020-04-29 2023-05-17 Huawei Technologies Co., Ltd. CAMERA AND IMAGE ACQUISITION METHOD
US20220103732A1 (en) * 2020-09-29 2022-03-31 Aac Optics Solutions Pte. Ltd. Imaging assembly and camera
CN113792592B (zh) * 2021-08-09 2024-05-07 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252639A (ja) 2007-03-30 2008-10-16 Fujifilm Corp 撮像装置及び方法
JP2012134670A (ja) 2010-12-20 2012-07-12 Nikon Corp 画像演算装置、撮像装置および画像演算プログラム
JP2013093754A (ja) 2011-10-26 2013-05-16 Olympus Corp 撮像装置
JP2014507856A (ja) 2011-01-14 2014-03-27 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602861A (en) * 1982-12-23 1986-07-29 Minolta Camera Kabushiki Kaisha Auto-focusing system
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
FR2908527B1 (fr) * 2006-11-15 2009-01-16 Valeo Vision Sa Capteur photosensible dans le domaine automobile
JP2010103740A (ja) * 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9055248B2 (en) * 2011-05-02 2015-06-09 Sony Corporation Infrared imaging system and method of operating
US20140198234A1 (en) * 2011-09-21 2014-07-17 Nikon Corporation Image processing apparatus, program, image processing method, and imaging apparatus
US20130083199A1 (en) 2011-10-04 2013-04-04 Fluke Corporation Thermal imaging camera with infrared lens focus adjustment
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックIpマネジメント株式会社 画像処理方法、及び画像処理システム
EP3229468B1 (en) * 2015-01-13 2020-03-18 Sony Corporation Image processing device, image processing method, program, and system
JP6584090B2 (ja) 2015-02-23 2019-10-02 Hoya株式会社 画像処理装置
US10740898B2 (en) * 2015-06-29 2020-08-11 Quantum IR Technologies, LLC Methods and systems for hotspot detection
CN107438165A (zh) * 2016-05-25 2017-12-05 鸿富锦精密电子(郑州)有限公司 具有自拍辅助功能的电子装置及自拍辅助方法
CN106231179B (zh) * 2016-07-29 2019-05-24 浙江大华技术股份有限公司 一种日夜双滤光片切换器切换方法及装置
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP7299762B2 (ja) * 2019-06-06 2023-06-28 キヤノン株式会社 画像処理装置および方法、撮像装置、プログラム
MX2022002893A (es) * 2019-09-12 2022-06-08 Shaw Ind Group Inc Sistema y metodo para analizar una superficie.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252639A (ja) 2007-03-30 2008-10-16 Fujifilm Corp 撮像装置及び方法
JP2012134670A (ja) 2010-12-20 2012-07-12 Nikon Corp 画像演算装置、撮像装置および画像演算プログラム
JP2014507856A (ja) 2011-01-14 2014-03-27 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
JP2013093754A (ja) 2011-10-26 2013-05-16 Olympus Corp 撮像装置

Also Published As

Publication number Publication date
US11115601B2 (en) 2021-09-07
US20190387150A1 (en) 2019-12-19
JP2019216376A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7171254B2 (ja) 画像処理装置、撮像装置、および画像処理方法
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
EP2715447B1 (en) System and method for extending depth of field in a lens system by use of color-dependent wavefront coding
US8289422B2 (en) Image capture device
JP5331107B2 (ja) 撮像装置
CN107563971A (zh) 一种真彩高清夜视成像方法
US9965834B2 (en) Image processing apparatus and image acquisition apparatus
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
US8937274B2 (en) Solid-state imaging device and portable information terminal having a proportion of W pixels increases toward an outer periphery of each pixel block
JP2013546249A5 (ja)
AU2018395952B2 (en) Single optic for low light and high light level imaging
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
JP5186517B2 (ja) 撮像装置
CN113826375A (zh) 光接收装置、固态成像设备、电子设备和信息处理系统
JP5997149B2 (ja) 固体撮像素子、撮像装置、および信号処理方法
US10868945B2 (en) Light-field camera and method using wafer-level integration process
JPWO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP2015194388A (ja) 撮像装置および撮像システム
JP7121538B2 (ja) 撮像装置及び撮像方法
US20190228534A1 (en) Image pickup device, image pickup system, and moving apparatus
WO2021085152A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP2022179259A (ja) 光束分離光学系および画像処理装置
CN118830084A (zh) 光检测装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221102

R151 Written notification of patent or utility model registration

Ref document number: 7171254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151