JP6431210B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6431210B2
JP6431210B2 JP2017547620A JP2017547620A JP6431210B2 JP 6431210 B2 JP6431210 B2 JP 6431210B2 JP 2017547620 A JP2017547620 A JP 2017547620A JP 2017547620 A JP2017547620 A JP 2017547620A JP 6431210 B2 JP6431210 B2 JP 6431210B2
Authority
JP
Japan
Prior art keywords
subject
imaging
image
light
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017547620A
Other languages
English (en)
Other versions
JPWO2017073059A1 (ja
Inventor
知文 小石
知文 小石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2017073059A1 publication Critical patent/JPWO2017073059A1/ja
Application granted granted Critical
Publication of JP6431210B2 publication Critical patent/JP6431210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11Anti-reflection coatings
    • G02B1/113Anti-reflection coatings using inorganic layer materials only
    • G02B1/115Multilayers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Inorganic Chemistry (AREA)
  • Combustion & Propulsion (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Studio Devices (AREA)
  • Surface Treatment Of Optical Elements (AREA)
  • Emergency Alarm Devices (AREA)

Description

関連出願の相互参照
本出願は、2015年10月26日に日本国に特許出願された特願2015−210095の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本開示の実施形態は、車両の運転者などの対象者の状態を監視するための撮像装置に関する。
従来、例えば車両の運転者などの対象者の状態を監視する装置が知られている。例えば特許文献1には、運転者の顔を近赤外線で照明する赤外線LEDと、運転者の顔を撮影するCCDカメラと、顔画像をもとに対象者の眼の開閉状態を検出する瞬目検出回路と、対象者の覚醒度の低下を検出する覚醒度低下検出回路と、を備える居眠り警報装置が開示されている。
特開平8−290726号公報
本開示の実施形態に係る撮像装置は、
車両内の対象者の顔の光学像を結像させる撮像光学系と、
結像された前記光学像を撮像して撮像画像を生成する撮像素子と、
前記撮像画像に基づいて前記対象者の状態を判定する画像処理部と、を備え、
前記撮像光学系のF値をF、焦点距離をf、および前記撮像素子の画素ピッチをpとしたとき、F≧0.0003f2/pを満たす。
一実施形態に係る対象者監視システムの概略構成を示すブロック図である。 図1の対象者監視システムを備える車両を左側方から見た図である。 撮像光学系に含まれるレンズの概略構成を示す光軸に沿った断面図である。 焦点距離とF値との関係を示す図である。 焦点距離の2乗/許容錯乱円直径とF値との関係を示す図である。 撮像光学系に含まれるレンズの被コーティング面数およびARコーティング層数に応じた、波長に対する撮像光学系の光の透過率を示す図である。
以下、本開示の実施形態について、図面を参照して説明する。
図1を参照して、本開示の一実施形態に係る対象者監視システム10について説明する。
図1に示すように、対象者監視システム10は、照明装置11と、撮像装置12と、警告装置13と、を備える。対象者監視システム10の各構成要素は、ネットワーク14を介して情報を送受信可能である。ネットワーク14には、例えば無線、有線、またはCAN(Controller Area Network)などが含まれてよい。他の実施形態において、対象者監視システム10の一部または全部の構成要素が、1つの装置として一体的に構成されてよい。
照明装置11は、対象者15の顔に光を照射可能な任意の位置にある。対象者15は、例えば車両16の運転者を含んでよい。例えば図2に示すように、照明装置11は、車両16のダッシュボード17に配置されてよい。以下、照明装置11から出る光を照明光ともいう。
撮像装置12は、対象者15の顔を撮像可能な任意の位置にある。撮像装置12は、例えば車両16のダッシュボード17に配置されてよい。一実施形態において、撮像装置12は、画像上の対象者15の眼の瞳孔が明るい撮像画像を生成する。以下、瞳孔が明るい撮像画像を、明瞳孔画像ともいう。例えば、照明装置11および撮像装置12が近接して配置されることによって、撮像装置12に明瞳孔画像を生成させてよい。他の実施形態において、撮像装置12は、画像上の対象者15の眼の瞳孔が暗い撮像画像を生成する。以下、瞳孔が暗い撮像画像を、暗瞳孔画像ともいう。例えば、照明装置11および撮像装置12が離れて配置されることによって、撮像装置12に暗瞳孔画像を生成させてよい。
警告装置13は、対象者15に対する警告を行う。例えば、音によって警告が行われる場合には、警告装置13は、車両16内の任意の位置に配置されてよい。例えば、振動によって警告が行われる場合には、警告装置13は、振動が対象者15に伝わるような任意の位置に配置されてよい。例えば、警告装置13は、車両16内の運転者用座席、ステアリングホイール、シフトノブ、またはフットレストなどに配置されてよい。
対象者監視システム10の各構成要素について説明する。
撮像装置12について説明する。図1に示すように、撮像装置12は、撮像光学系22と、撮像素子23と、AFE(Analog Front End)24と、画像処理部25と、通信部26と、カメラ制御部27と、を備える。
撮像光学系22は、絞り、1以上のレンズ、およびこれらを保持する鏡筒を含んでよい。撮像光学系22は、撮像光学系22を通過する光による被写体像を結像させる。撮像光学系22は、少なくとも所定の波長帯域の光を通過させる。所定の波長帯域は、後述するように照明装置11から出る照明光の波長を含んでよい。例えば、照明光が赤外光を含む場合、所定の波長帯域は、当該赤外光の波長が含まれる帯域であってよい。一実施形態において、撮像光学系22は、当該所定の波長帯域の光を通過させるフィルタをさらに含んでよい。撮像光学系22は、照明装置11から出る照明光の照射先からの反射光を取込可能となる任意の位置にある。一実施形態において、撮像光学系22は、照明装置11から出る照明光が照射された対象者15の顔を含む被写体像を結像可能である。
撮像光学系22に含まれる1以上のレンズにおいて、2以上のレンズ面それぞれには、AR(Anti-Reflective)コーティング層が形成される。ARコーティング層は、例えばマルチコーティングによって形成されてよい。ARコーティング層によって、任意の帯域の光の透過率が制御可能である。例えば、可視光帯域の光の透過率が制御されてよい。例えば、レンズ面毎に特性が異なるARコーティング層が形成されることによって、任意の帯域の光の透過率が制御されてよい。一実施形態において、照明装置11から出る照明光の透過率が可視光の透過率よりも大きくなるように、2以上のレンズ面それぞれにARコーティング層が形成される。ARコーティング層による光の透過率の詳細については後述する。
一実施形態において、撮像光学系22に含まれるレンズのF値は、撮像素子23の画素ピッチに応じて決定される。レンズのF値の決定手法の詳細については後述する。
撮像素子23は、例えばCCD(Charge-Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子23の受光面に複数の画素が任意の画素ピッチで配列されてよい。撮像素子23は、撮像光学系22によって結像される被写体像を撮像して、撮像画像を生成する。撮像素子23がCMOS撮像素子を含む場合には、AFE24の後述する各機能を撮像素子23が有する構成であってよい。
AFE24は、例えばCDS(Correlated Double Sampling)、AGC(Auto Gain Control)、およびADC(Analog-to-Digital Converter)を含んでよい。AFE24は、撮像素子23によって生成されたアナログの撮像画像に対し、所定の前段画像処理を施す。前段画像処理には、例えば相関二重サンプリング、ゲイン調整、およびA/D変換などが含まれてよい。
画像処理部25は、1以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。照明装置制御部21は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。画像処理部25は、AFE24によって前段画像処理が施された撮像画像に対して、所定の後段画像処理を施す。
後段画像処理には、例えば露出調整処理などが含まれてよい。後段画像処理には、撮像画像のボケを低減する復元処理が含まれてよい。後述するように、撮像光学系22に含まれるレンズは、撮像画像の全領域で回折限界に略等しい性能を得るために適切な大きさのF値を有する。回折限界において、レンズの点光源に対する応答は、回転対称のジンク関数の分布となる。レンズの点光源に対する応答は、例えば点拡がり関数(PSF:Point Spread Function)で示されてよい。撮像画像の全領域で点拡がり関数が略均一なジンク関数の分布となる場合、当該点拡がり関数に対応する単一のデコンボリューションフィルタを用いることによって、撮像画像のボケが低減可能である。デコンボリューションフィルタには、例えばウィナーフィルタが含まれてよい。画像処理部25は、当該点拡がり関数に対応する単一のデコンボリューションフィルタを用いて、撮像画像に対して復元処理を施す。復元処理には、デコンボリューション処理が含まれてよい。
画像処理部25は、後段画像処理が施された撮像画像上の対象者15の眼または瞳孔を検出する。眼または瞳孔の検出には、任意の手法が採用可能である。例えば、パターンマッチングを用いる手法、または撮像画像上の特徴点(例えば、顔の輪郭、眼、鼻、および口などに対応する特徴点)を抽出する手法などが採用可能である。撮像画像上の特徴点は、例えば対象者15の顔の輪郭、眼、瞳孔、鼻、および口などに対応する点を含んでよい。
画像処理部25は、撮像画像上の対象者15の眼または瞳孔の検出結果に基づいて対象者15の状態を判定する。例えば、対象者15がよそ見運転または居眠り運転をしていると、画像処理部25は、撮像画像上の対象者15の眼または瞳孔を、連続する複数のフレームに亘って検出できない場合がある。以下、対象者15がよそ見運転または居眠り運転をしている状態を、運転不適状態ともいう。画像処理部25は、連続する所定数のフレームに亘って撮像画像上の対象者15の眼または瞳孔が検出されない場合、対象者15が運転不適状態であると判定してよい。
画像処理部25は、対象者15の状態の判定結果に応じて、警告装置13に警告を行わせるための制御信号を生成してよい。画像処理部25は、通信部26を介して警告装置13へ当該制御信号を出力してよい。一実施形態において、画像処理部25は、対象者15が運転不適状態であると判定された場合に、当該制御信号を生成し出力する。
通信部26は、ネットワーク14を介して情報の入力および出力を行うインターフェースを含んでよい。以下、情報の入力を、情報の取得または受信ともいう。情報の出力を、情報の送信ともいう。
カメラ制御部27は、1以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ASICが含まれてよい。プロセッサには、PLDが含まれてよい。PLDには、FPGAが含まれてよい。照明装置制御部21は、1つまたは複数のプロセッサが協働するSoC、およびSiPのいずれかであってよい。カメラ制御部27は、撮像装置12全体の動作を制御する。例えば、カメラ制御部27は、撮像のタイミングを示す同期信号を生成し、通信部26の動作を制御して当該同期信号を照明装置11へ出力させる。カメラ制御部27は、同期信号が出力されると、撮像素子23の動作を制御して、被写体像を撮像させる。他の実施形態において、同期信号は、車両16に備えられた装置のうち、撮像装置12以外の装置によって生成されてよい。例えば、照明装置11、警告装置13、または車両16に搭載されたECU(Electronic Control Unit)などによって、同期信号が生成されてよい。生成された同期信号は、撮像装置12および照明装置11にそれぞれ入力されてよい。
照明装置11について説明する。照明装置11は、1以上の光源18と、照明光学系19と、照明装置通信部20と、照明装置制御部21と、を備える。
光源18は、例えばLEDなどを含む。光源18は、少なくとも所定の波長帯域の光を発する。光源18の発光は、連続発光またはパルス発光であってよい。所定の波長帯域の光は、撮像装置12の撮像素子23が光電変換可能な光である。一実施形態において、光源18は赤外帯域の拡散光を発する赤外LEDであってよい。
照明光学系19は、例えば画角が調整されたレンズを含む。照明光学系19は、照明光学系19を透過する光を照射する。一実施形態において、光源18によって発せられ照明光学系19を透過した照明光は、対象者15の顔全体に照射される。
照明装置通信部20は、ネットワーク14を介して情報の入力および出力を行うインターフェースを含む。
照明装置制御部21は、1以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ASICが含まれてよい。プロセッサには、PLDが含まれてよい。PLDには、FPGAが含まれてよい。照明装置制御部21は、1つまたは複数のプロセッサが協働するSoC、およびSiPのいずれかであってよい。照明装置制御部21は、照明装置11の各部位の動作を制御する。例えば、照明装置制御部21は、撮像装置12の撮像タイミングと同期して、光源18を発光させる。一実施形態において、照明装置制御部21は、照明装置通信部20を介して取得する同期信号に応じて周期的に、光源18に赤外帯域の光を所定の時間発光させる。上述したように、撮像装置12は、同期信号に応じて撮像を行う。このため、照明装置11の発光タイミングと、撮像装置12の撮像タイミングと、が同期される。
警告装置13について説明する。警告装置13は、例えばスピーカおよびバイブレータなどを備えてよい。警告装置13は、撮像装置12から上述した制御信号を受信すると、対象者15に対して警告を行う。警告は、例えば音および振動の少なくとも一方によって行われてよい。警告によって、例えばよそ見運転または居眠り運転などを行う対象者15に対する運転への注意喚起が可能である。
図3を参照して、撮像装置12の撮像光学系22に含まれるレンズ28およびレンズ28のF値の決定手法について具体的に説明する。レンズ28は、物体側から入射した光を、撮像素子23の受光面位置に結像させる。以下、レンズ28の焦点距離をf[mm]、F値をF、後方被写界深度をDn[mm]、前方被写界深度をDf[mm]、撮影距離をS[mm]、許容錯乱円直径をδ[mm]、および撮像素子23の画素ピッチをp[mm]とおく。
被写界深度(後方被写界深度Dn+前方被写界深度Df)は、次式(1)で示される。
Figure 0006431210
撮像装置12と対象者15との間の撮像距離は、対象者15の個人差または姿勢に応じて変化し得る。対象者監視システム10において、撮影距離が取り得ると想定される撮影範囲が被写界深度内に収まるように、撮像装置12に所定のシステム要件が課されてよい。システム要件は、例えば車両16の車両定数および車両16における撮像装置12の配置に応じて定められてよい。一実施形態において、例えば撮影範囲、水平画角θ、画素ピッチp、および許容錯乱円直径δの4つのシステム要件が考慮される。各システム要件の値の一例を以下に示す。
・撮影範囲:400mm〜1000mm
・水平画角θ:30°〜60°
・画素ピッチp:0.003mm〜0.006mm
・許容錯乱円直径δ:δ=2p
上記のシステム要件を満たす焦点距離fについて説明する。各システム要件の数値を異ならせた多様な組み合わせについて、焦点距離fを算出する。各焦点距離fは、像高をh[mm]として、次式(2)を用いて算出される。
h=f×tan(θ/2) (2)
画素ピッチp、撮像素子23の水平画素数、および水平画角θをそれぞれ変化させて、複数の焦点距離fを算出する。画素ピッチpを、例えば0.003mm〜0.006mmの範囲で変化させてよい。水平画素数を、例えば640ピクセル〜1920ピクセルの範囲で変化させてよい。水平画角θを、例えば30°〜60°の範囲で変化させてよい。算出された焦点距離fの一部を、次の表1に示す。表1は、画素ピッチpを0.006mmまたは0.003mmとし、撮像素子23の水平画素数を640ピクセル、1280ピクセル、または1920ピクセルとし、水平画角θを30°、50°、または60°とした場合の10通りの組み合わせについて、上記のシステム要件を満たすように算出された焦点距離fを例示している。
Figure 0006431210
算出された焦点距離fを用いて、上記のシステム要件を満たすF値の下限値を算出する。F値の下限値は、上述の式(1)を用いて算出される。例えば、画素ピッチpを0.006mmまたは0.003mmとし、水平画素数を640ピクセル、1280ピクセル、または1920ピクセルとし、水平画角θを30°から60°まで変化させたときの各焦点距離fについてF値の下限値が算出される。
図4は、横軸を焦点距離f、および縦軸をF値とし、算出されたF値をプロットしたグラフである。図4は、画素ピッチp=0.003mmとした場合のF値の下限値と、画素ピッチp=0.006mmとした場合のF値の下限値と、を例示している。画素ピッチp=0.003mmとした場合、許容錯乱円直径δ=2p=0.006mmである。画素ピッチp=0.006mmとした場合、許容錯乱円直径δ=2p=0.012mmである。
図5は、横軸をf2/δとして、図4に示すF値の下限値をプロットし直したグラフである。図5に示す各プロットを通る直線の傾きは0.0006、切片は0である。したがって、上記のシステム要件を満たすF値の範囲は、次式(3)で示される。
F≧0.0003f2/p (3)
上述の式(3)を満たすようにレンズ28のF値を決定することによって、上記のシステム要件を満たす撮像装置12が実現可能である。
しかしながら、単純にF値を大きくすると、例えば照明装置11による照明光の出力を上げない限り、撮像画像が暗くなる場合がある。かかる場合、対象者15の状態の検出精度が低下し、または検出できない場合がある。一方、例えば発熱または消費電力の観点から、照明装置11による照明光の出力を上げることができない場合がある。したがって、F値の適切な上限値を決定してもよい。
F値が大きいレンズ28は、設計上収差補正が容易であり、公差感度が低い。したがって、F値が大きいレンズ28を含む撮像光学系22によって、撮像画像の全領域で回折限界に略等しい性能を得ることができる。撮像画像の全領域は、撮像素子23の受光面の全面に対応してよい。一方、F値を必要以上に大きくしても、回折限界によって解像性能が制限される。解像性能は、分解能であってよい。したがって、回折限界に略等しい性能を得ることができる最小のF値を決定し、決定された値をF値の上限値に定めてもよい。以下、F値の上限値の決定手法について、具体的に説明する。
回折限界におけるエアリーディスクの直径φは、次式(4)で示される。
φ=2.44λF (4)
ここで、λは光の波長である。一実施形態において、λは、照明装置11による赤外帯域の照明光の中心波長である。
本実施形態において、エアリーディスクの直径φと画素ピッチpとの関係が次式(5)を満たす場合に、実用上で回折限界に略等しい性能を得られることが実験で明らかになった。
φ≦4p (5)
上述した式(4)および式(5)から、F値の範囲は次式(6)で示される。
F≦1.64p/λ (6)
上述の式(6)を満たすようにレンズ28のF値を決定することによって、撮像画像の全領域で回折限界に略等しい性能が得られる撮像装置12が実現可能である。
図6を参照して、撮像光学系22に含まれる少なくとも1つの光学部材に形成されたARコーティング層による光の透過率の詳細について説明する。一実施形態において、当該光学部材には、レンズ28が含まれる。1つのレンズ面に形成されるARコーティング層の数を1層または2層とし、ARコーティング層が形成されるレンズ面の数を4面または6面とした場合の4通りの構成について説明する。
図6は、横軸を光の波長λ[nm]、縦軸を光の透過率[%]を示すグラフである。図6は、ARコーティング層の数が1層かつレンズ面の数が4面である構成A、ARコーティング層の数が1層かつレンズ面の数が6面である構成B、ARコーティング層の数が2層かつレンズ面の数が4面である構成C、およびARコーティング層の数が2層かつレンズ面の数が6面である構成Dについて、それぞれ波長と透過率との関係を示している。図中の実線は、構成Aに対応する。図中の破線は、構成Bに対応する。図中の一点鎖線は、構成Cに対応する。図中の二点鎖線は、構成Dに対応する。
一実施形態では、ARコーティング層によって、可視光帯域の光の透過率を低減させる一方、照明装置11からの赤外帯域の光の透過率を比較的高い値に維持する。可視光帯域は、例えば360nm〜760nmの波長帯域を含んでよい。赤外帯域は、例えば、850nm〜940nmの波長帯域を含んでよい。ARコーティング層数が1層である構成Aおよび構成Bにおいて、ARコーティング層にはフッ化マグネシウム(MgF2)が用いられている。MgF2は、深紫外から近赤外までの光を透過する低屈折率材料である。ARコーティング層数が2層である構成Cにおいて、第1層にはMgF2、第2層には二酸化ジルコニウム(ZrO2)が用いられている。ZrO2は、340nmから8μmまでの光を透過する高屈折材料である。ARコーティング層数が2層である構成Dにおいて、第1層にはMgF2、第2層には酸化チタン(TiO2)が用いられている。TiO2は、紫外帯域の光を吸収する高屈折材料である。
図6に示すように、ARコーティング層数が1層である構成Aおよび構成Bでは、例えば420nm付近で透過率が約80%であり、可視光帯域における透過率は比較的高い。一方、ARコーティング層数が2層かつレンズ面の数が4面である構成Cでは、例えば530nm付近で透過率が約55%であり、構成Aおよび構成Bと比較して可視光帯域における透過率が低減されている。
また、ARコーティング総数が2層かつレンズ面の数が6面である構成Dでは、例えば480nm付近で透過率が約10%であり、可視光帯域における透過率が構成Cよりもさらに低い。また、例えば400nm付近の透過率は、構成Cで約85%であるのに対し、構成Dで約25%である。同様に、例えば700nm付近の透過率は、構成Cで約80%であるのに対し、構成Dで約55%である。このように、構成Dは、構成Cと比較して可視光帯域に亘って透過率がさらに低減されている。本実施形態に係る撮像光学系22の構成は、上述した構成Cおよび構成Dに限られない。2以上のレンズ面に異なる種類のARコーティング層が形成されてもよい。ARコーティング層の種類には、例えばARコーティング層に含まれる材質および形成される層の数が含まれてよい。例えば、任意のレンズ面において、第1層にMgF2および第2層にZrO2が用いられたARコーティング層が施され、他のレンズ面において、第1層にMgF2および第2層にTiO2が用いられたARコーティング層が形成されてよい。2以上のレンズ面にそれぞれ形成させるARコーティング層の種類を調整することによって、所望の波長特性を実現し得る。
上述したように、一実施形態においてレンズ28のF値は比較的大きい。このため、外光のうち可視光帯域の光の強度は、レンズ28を通過すると比較的小さくなる。例えば照明装置11による照明光の強度が外光と比較して十分大きい場合には、上述したように複数のARコーティング層によって外光を一定程度低減すれば、実用上良好な撮像画像が得られる。したがって、例えば撮像光学系が可視光カットフィルタを有する構成と比較して、可視光カットフィルタが省略可能であり、撮像光学系22の構成が簡素化および小型化できる。
以上述べたように、一実施形態に係る撮像装置12のレンズ28は、F値、焦点距離f、および撮像素子23の画素ピッチpを用いて、上述した式(1)であるF≧0.0003f2/pを満たすように決定されてよい。かかる構成によって、車両16内に設置され対象者15を撮像するという特殊な使用環境にも利用できる撮像装置12が実現可能である。
一実施形態に係る撮像装置12以外の撮像装置が用いられる例について説明する。例えば、車両内空間の広さは限られており、撮像装置から対象者までの撮影距離が短いため、撮像装置の被写界深度が浅くなる。撮影距離は、対象者の個人差または姿勢などによって変化し得る。このため、被写界深度が浅いと必ずしも対象者にピントが合わず、撮像画像にボケが発生する場合がある。ボケが発生した撮像画像は、対象者の状態の検出精度の低下を引き起こし得る。
これに対して、一実施形態に係る撮像装置12によれば、例えば車両16内で姿勢が変化し得る対象者15を撮像するのに十分な被写界深度を確保した撮像装置12が実現可能である。したがって、撮像画像のボケの発生が抑制され、対象者15の状態の検出精度が向上する。
F=0.0003f2/pとした場合には、被写界深度を確保しつつ比較的明るい撮像画像が生成される。このため、撮像画像の明るさの観点から対象者15の状態の検出精度がさらに向上する。
上述した式(1)によれば、F値を大きくすることができる。F値を大きくすることによって、レンズ28の口径を小さくできる。このため、撮像光学系22の鏡筒を小型化でき、撮像装置12全体として小型化が可能である。F値を大きくすることによって、収差補正が容易になる。このため、例えば上述した式(1)を満たさないF<0.0003f2/pであるレンズを用いる構成と比較して、撮像光学系22が有するレンズ枚数を削減でき、撮像装置12全体としてさらに小型化が可能である。F値を大きくすることによって、焦点深度が深くなる。したがって、例えば上述した式(1)を満たさないF<0.0003f2/pであるレンズを用いる構成と比較してデフォーカス特性に余裕があるある。このため、例えばガラスレンズに比べて線膨張係数が大きい樹脂レンズの積極的な採用が可能である。したがって、採用可能なレンズの選択肢が多様化する。多様な性質を有する樹脂レンズの採用が可能であり、撮像装置12全体としてさらに小型化が可能である。
レンズ28のF値は、対象者15を照らす照明光の中心波長λを用いて、上述した式(6)であるF≦1.64p/λを満たすように決定されてよい。かかる構成によって、回折限界による解像性能と、撮像画像の明るさと、の良好なバランスを有する撮像装置12が実現可能である。
一実施形態に係る撮像装置12以外の撮像装置が用いられる例について説明する。被写界深度を深くするために、撮像装置のF値を大きくすることが考えられる。しかしながら、F値を大きくすると、撮像画像の明るさが暗くなる。このため、対象者の状態の検出精度が低下し、または検出できない場合がある。
これに対して、一実施形態に係る撮像装置12によれば、F=1.64p/λであるレンズ28を有する撮像光学系22によって、撮像画像の全領域で回折限界に略等しい性能を得ることができ、解像性能が向上する。F<1.64p/λであるレンズ28を有する撮像光学系22によって、レンズ28のF値をF=1.64p/λとした場合よりも解像性能は低下し得る一方、撮像画像が明るくなる。このため、例えば発熱または消費電力の観点から照明装置11の出力を上げることができない場合にも利用できる撮像装置12が実現可能である。一方、式(6)を満たさないF>1.64p/λであるレンズが採用される構成であっても、回折限界によって解像性能は変化しない。しかしながら、撮像画像が暗くなる場合がある。このため、式(6)を満たす場合と比較して、対象者15の状態の検出精度が低下する場合がある。
撮像装置12は、単一のデコンボリューションフィルタを用いて、撮像画像に対して復元処理を施してよい。上述したように、式(3)を満たすようにレンズ28のF値を決定して被写界深度を十分深くすることによって、撮像画像の全領域で点拡がり関数が略均一なジンク関数の分布となる。換言すると、被写界深度が深いレンズ28を用いることによって、撮影距離全域の点像の広がりが一定の分布となるように撮像装置12が設計可能である。具体的には、照明装置11による照明光は所定の中心波長を有する赤外帯域の光であり、色収差が実用上無視できる。このため、レンズ28の口径を小さくすることで、撮像画像の全領域で点像の広がりが略均一の分布となる。さらに、上述したようにF値が大きいレンズ28は公差感度が低い。このため、設計値に近い性能が得られる。したがって、点拡がり関数に対応する単一のデコンボリューションフィルタを用いて撮像画像のボケが低減可能である。このため、例えば撮像画像の全領域で点拡がり関数が不均一であって複数のフィルタを用いて復元処理を行う構成と比較して、処理負担が軽減される。回折限界に近い性能である場合には、フィルタサイズを小さくすることができる。
撮像光学系22に含まれる1以上のレンズの2以上のレンズ面に異なる種類のコーティング層が形成されてよい。かかる構成によって、所望の波長特性を得ることができる。例えば、可視光帯域および紫外帯域の透過率を低減しつつ、赤外帯域の透過率を増大させることができる。例えば撮像光学系が可視光カットフィルタを有する構成と比較して、可視光カットフィルタが省略可能である。このため、撮像光学系22の構成が簡素化および小型化できる。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを1つに組み合わせたり、あるいは分割したりすることが可能である。
上述の実施形態に係る対象者監視システム10の構成要素の一部は、車両16の外部に設けられてもよい。例えば、撮像装置12などは、携帯電話などの通信機器として実現され、対象者監視システム10の他の構成要素と有線または無線によって接続されてもよい。
10 対象者監視システム
11 照明装置
12 撮像装置
13 警告装置
14 ネットワーク
15 対象者
16 車両
17 ダッシュボード
18 光源
19 照明光学系
20 照明装置通信部
21 照明装置制御部
22 撮像光学系
23 撮像素子
24 AFE
25 画像処理部
26 通信部
27 カメラ制御部
28 レンズ

Claims (5)

  1. 車両内の対象者の顔の光学像を結像させる撮像光学系と、
    結像された前記光学像を撮像して撮像画像を生成する撮像素子と、
    前記撮像画像に基づいて前記対象者の状態を判定する画像処理部と、を備え、
    前記撮像光学系のF値をF、焦点距離をf、および前記撮像素子の画素ピッチをpとしたとき、以下の式を満たす、撮像装置。
    F≧0.0003f2/p
  2. 請求項1に記載の撮像装置であって、
    前記対象者を照らす照明光の波長をλとしたとき、以下の式を満たす、撮像装置。
    F≦1.64p/λ
  3. 請求項1または2に記載の撮像装置であって、
    前記画像処理部は、単一のデコンボリューションフィルタを用いて、前記撮像画像に対して復元処理を施す、撮像装置。
  4. 請求項3に記載の撮像装置であって、
    前記デコンボリューションフィルタは、回転対称のジンク関数の分布を示す点拡がり関数に対応するフィルタである、撮像装置。
  5. 請求項1乃至4の何れか一項に記載の撮像装置であって、
    前記撮像光学系は、1以上のレンズを含み、2以上のレンズ面に異なる種類のコーティング層が形成され、前記対象者を照らす照明光の透過率が可視光の透過率よりも大きい、撮像装置。
JP2017547620A 2015-10-26 2016-10-26 撮像装置 Active JP6431210B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015210095 2015-10-26
JP2015210095 2015-10-26
PCT/JP2016/004712 WO2017073059A1 (ja) 2015-10-26 2016-10-26 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2017073059A1 JPWO2017073059A1 (ja) 2018-07-05
JP6431210B2 true JP6431210B2 (ja) 2018-11-28

Family

ID=58630190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017547620A Active JP6431210B2 (ja) 2015-10-26 2016-10-26 撮像装置

Country Status (4)

Country Link
US (1) US10376199B2 (ja)
EP (1) EP3370410B1 (ja)
JP (1) JP6431210B2 (ja)
WO (1) WO2017073059A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346416B (zh) * 2017-06-09 2020-08-28 湖北天业云商网络科技有限公司 一种基于人体拓扑结构的身体运动状态检测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08290726A (ja) 1995-04-21 1996-11-05 Mitsubishi Electric Corp 居眠り警報装置
JP4290935B2 (ja) * 2002-07-18 2009-07-08 オリンパス株式会社 電子撮像装置
JP2009252094A (ja) * 2008-04-09 2009-10-29 Toyota Motor Corp 顔画像検出装置
EP2430826A1 (en) * 2009-05-12 2012-03-21 Koninklijke Philips Electronics N.V. Camera, system comprising a camera, method of operating a camera and method for deconvoluting a recorded image
JP5197532B2 (ja) * 2009-08-31 2013-05-15 キヤノン株式会社 撮像装置および撮像システム
JP5897769B2 (ja) * 2013-04-16 2016-03-30 富士フイルム株式会社 撮像装置、キャリブレーションシステム、及びプログラム
CN203535250U (zh) 2013-11-11 2014-04-09 成都市晶林电子技术有限公司 一种红外镀膜镜片
JP6056746B2 (ja) * 2013-12-18 2017-01-11 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置
DE102014203444A1 (de) * 2014-02-26 2015-08-27 Application Solutions (Electronics and Vision) Ltd. Vorrichtung und Verfahrung zur Ermittlung eines Augenzustands eines Fahrzeuginsassen
CN106165390B (zh) * 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法

Also Published As

Publication number Publication date
US10376199B2 (en) 2019-08-13
EP3370410A1 (en) 2018-09-05
EP3370410B1 (en) 2020-11-25
JPWO2017073059A1 (ja) 2018-07-05
US20180310868A1 (en) 2018-11-01
WO2017073059A1 (ja) 2017-05-04
EP3370410A4 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
US10132971B2 (en) Vehicle camera with multiple spectral filters
US20170180631A1 (en) Lens barrel, imaging device body, and imaging device
JP2008268868A (ja) 撮像装置
JP2010213274A (ja) 拡張された被写界深度の監視用撮像システム
US9961269B2 (en) Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing
JP2021509556A (ja) 低光および高光レベル撮像用の単一光学部品
US20170230566A1 (en) Shooting device, shooting method, and non-transitory computer readable recording medium storing program
US11009774B2 (en) Focus adjustment device and focus adjustment method
US9769376B2 (en) Imaging device, imaging device body, and lens barrel
JP6431210B2 (ja) 撮像装置
JP2009124568A (ja) 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
CN105430310B (zh) 图像处理方法、摄像装置以及图像处理装置
JP6330474B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
JP2009100252A (ja) 撮像装置
JP2017162233A (ja) 視線検出装置および視線検出方法
JP2008132160A (ja) 瞳孔検出装置及び瞳孔検出方法
JP2012168429A (ja) 撮像装置
JP6463975B2 (ja) 眼の開閉状態の判定方法、画像処理装置、および判定システム
JP2015087494A (ja) 撮像装置
JP2021021892A (ja) 撮像装置及び撮像システム
JP2015195499A (ja) 撮像装置、その制御方法、および制御プログラム
WO2023181630A1 (ja) 画像処理装置、および撮像システム
JP5286495B2 (ja) レンズ装置及び撮像装置
JP2016177215A (ja) 撮像装置
JP6632314B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181101

R150 Certificate of patent or registration of utility model

Ref document number: 6431210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150