WO2024070673A1

WO2024070673A1 - 固体撮像装置、電子機器及びプログラム

Info

Publication number: WO2024070673A1
Application number: PCT/JP2023/033250
Authority: WO
Inventors: 涼平風間; 一幸若山; 高草刈
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2022-09-26
Filing date: 2023-09-12
Publication date: 2024-04-04
Anticipated expiration: 2025-03-26
Also published as: US20260101102A1; CN119895291A

Abstract

［課題］認証精度を向上する。［解決手段］固体撮像装置は、光源と、第 1 受光領域と、第 2 受光領域と、を備える。光源は、ディスプレイの表示面の逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する。第 1 受光領域は、前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える。第 2 受光領域は、前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える。

Description

固体撮像装置、電子機器及びプログラム

　本開示は、固体撮像装置、電子機器及びプログラムに関する。

　顔認証機能の実現は、広く用いられる技術となってきている。モバイル端末において種々のセキュリティが必要となる処理の実現において、モバイル端末における顔認証機能の精度の向上が望まれている。顔認証手法として、デプスカメラで距離画像と 2 次元画像の双方を取得する手法や、デプスカメラで距離画像を取得し、 RGB カメラで 2 次元画像を取得する手法、或いは、 2 台の RGB カメラを用いて 2 次元画像と、視差とを取得し、視差から距離画像を取得する手法とがある。

　 RGB カメラを用いる手法においては、暗所での 2 次元画像の取得が困難であること、また、カメラの数が増えるため、モバイル端末においてはデザイン上の制約になるといった問題点がある。

　一方で、一般的に顔認証技術において必要とされる距離情報と 2 次元画像の解像度には差があり、 2 次元画像の方が高解像度の画像が必要とされる。この際、デプスカメラで両方の画像を取得する形式であると、 2 次元画像の解像度を維持するために必要以上の解像度のデプスを取得する必要が発生するという問題がある。また、モバイル端末においては、顔認証用途だけのためにディスプレイ側にカメラ用の孔を開ける必要があり、これもまた望ましいことではない。

米国特許出願公開第2021/0406350号明細書

　そこで、本開示では、認証精度を向上する、固体撮像装置を提供する。

　一実施形態によれば、固体撮像装置は、光源と、第 1 受光領域と、第 2 受光領域と、を備える。前記光源は、ディスプレイの表示面の逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する。前記第 1 受光領域は、前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える。前記第 2 受光領域は、前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える。

　固体撮像装置は、前記第 1 受光領域において受光した赤外光の強度に基づく赤外光画像を生成する、第 1 処理回路と、前記第 2 受光領域において受光した赤外光の強度に基づくデプス画像を生成する、第 2 処理回路と、をさらに備えてもよい。

　固体撮像装置は、前記デプス画像に基づいて被写体が認証対象であるかを判定し、前記被写体が認証対象であると判定した場合に、少なくとも前記赤外光画像を用いて認証処理を実行する、第 3 処理回路、をさらに備えてもよい。

　前記第 1 受光領域は、前記ディスプレイの表示面との間に可視光帯域及び赤外光帯域の 2 つの帯域に透過特性を有する、デュアルバンドパスフィルタを備えてもよい。

　前記第 2 受光領域は、前記ディスプレイの表示面との間に赤外光帯域に透過特性を有するバンドパスフィルタを備えてもよい。

　前記光源は、面光源を備えてもよい。

　前記光源は、前記第 1 受光領域において受光するための面光源と、前記第 2 受光領域において受光するための点光源と、を備えてもよい。

　固体撮像装置は、前記光源と、前記第 1 受光領域及び前記第 2 受光領域と、の間に前記ディスプレイの表示面と逆側において遮光壁を、さらに備えてもよい。

　固体撮像装置は、前記第 1 受光領域の駆動制御、前記第 2 受光領域の駆動制御、及び、前記光源の制御をする、制御回路、をさらに備えてもよい。前記制御回路は、識別子を発行し、前記光源の発光制御をし、取得された前記第赤外光画像及び取得された前記デプス画像にそれぞれ前記識別子を紐付け、前記光源の消光制御をし、前記識別子が一致する場合に、前記赤外光画像と、前記デプス画像と、が同じタイミングで取得された画像であると判定してもよい。

　固体撮像装置は、前記第 1 受光領域の駆動制御、前記第 2 受光領域の駆動制御、及び、前記光源の制御をする、制御回路、をさらに備えてもよい。前記制御回路は、識別子を発行し、前記面光源の発光制御をし、取得された前記赤外光画像に前記識別子を紐付け、前記面光源の消光制御をし、前記点光源の発光制御をし、取得された前記デプス画像に前記識別子を紐付け、前記点光源の消光制御をし、前記識別子が一致する場合に、前記赤外光画像と、前記デプス画像と、が同じタイミングで取得された画像であると判定してもよい。

　前記第 1 処理回路は、あらかじめ、前記光源を被写体の距離に配置された平面に発光して干渉赤外光画像を取得してもよく、前記干渉赤外光画像を用いて、取得する前記赤外光画像を補正してもよい。

　前記第 2 処理回路は、あらかじめ、前記光源を被写体の距離に配置された平面に発光して干渉デプス画像を取得してもよく、前記干渉デプス画像を用いて、取得する前記デプス画像を補正してもよい。

　前記第 1 受光領域に属する画素と、前記第 2 受光領域に属する画素と、が同じ画素アレイ内に配置されてもよい。

　一実施形態によれば、電子機器は、ディスプレイと、光源と、第 1 受光領域と、第 2 受光領域と、処理回路と、を備える。前記ディスプレイは、情報を表示する。前記光源は、前記ディスプレイの表示面と逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する。前記第 1 受光領域は、前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える。前記第 2 受光領域は、前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える。前記処理回路は、前記第 1 受光領域に属する画素により取得された赤外光画像及び前記第 2 受光領域に属する画素により取得されたデプス画像を用いて、認証処理をする。

　前記処理回路は、前記デプス画像に基づいて、被写体が認証対象であるかを判定してもよく、前記被写体が認証対象であると判定した場合に、少なくとも前記赤外光画像を用いて認証処理を実行してもよい。

　一実施形態によれば、プログラムは、プロセッサに、上記のいずれかに記載の制御回路の処理を実行させる。

　一実施形態によれば、プログラムは、プロセッサに、上記のいずれかに記載の処理回路の処理を実行させる。

　上記に記載の電子機器は、携帯端末、スマートフォン、タブレット端末、ディスプレイ付き車載カメラ、ディスプレイ付き認証装置又はディスプレイ付き監視カメラの少なくともいずれかであってもよい。

一実施形態に係る電子機器を模式的に示す図。一実施形態に係る画素の配置の例を示す図。一実施形態に係る固体撮像装置を模式的に示すブロック図。一実施形態に係る固体撮像装置を模式的に示すブロック図。一実施形態に係る固体撮像装置における処理を示すフローチャート。一実施形態に係る電子機器を模式的に示す図。一実施形態に係る固体撮像装置における処理を示すフローチャート。一実施形態に係る電子機器を模式的に示す図。一実施形態に係る電子機器を模式的に示す図。一実施形態に係る干渉縞の一例を示す図。一実施形態に係る干渉縞の一例を示す図。一実施形態に係る電子機器を模式的に示す図。一実施形態に係る電子機器の外観図。一実施形態に係る電子機器の外観図。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

　(第 1 実施形態)
　図1は、一実施形態に係る固体撮像装置を備える電子機器を模式的に示すブロック図である。電子機器 1 は、固体撮像装置 10 と、ディスプレイ 100 と、を備える。電子機器 1 は、ディスプレイに情報を表示するとともに、ディスプレイ下に備えられる固体撮像装置 10 により、画像を撮像し、また、撮像した画像に基づいた認証等を実行する。

　電子機器 1 は、例えば、携帯端末、スマートフォン、タブレット端末、ディスプレイ付き車載カメラ、ディスプレイ付き認証装置又はディスプレイ付き監視カメラの少なくともいずれかであってもよい。電子機器 1 は、一例として、これらの機器においてディスプレイ面側で認証処理を実行出来る構成である。

　ディスプレイ 100 は、電子機器 1 の情報を表示する出力インタフェースである。表示は、例えば、液晶、有機 EL 等の手法により実装されていてもよい。また、ディスプレイ 100 は、電子機器 1に情報を入力するタッチパネル等を有する入力インタフェースを兼ねていてもよい。ディスプレイ 100 は、表示部 102 を備え、また、表示面 100A と、表示面 100A の裏側である裏面 100B と、を備える。

　表示部 102 は、情報を表示する領域である。表示部 102 には、後述する第 1 受光領域の仕様によっては、開口部 104 が備えられていてもよい。この開口部 104 は、例えば、表示画素が備えられない領域として配置されてもよい。開口部 104 は、別の例として、当該領域における画素を間引きして実装されていてもよいし、所定の波長に対して透過性を有する画素を用いて実装されていてもよい。この場合、透過する画素については、画素回路が他の表示部 102 における画素と異なる構成を有していてもよい。

　表示面 100A は、ユーザが外部から表示された情報を見る面であり、例えば、ガラス、フィルタ等のコーティングがされていてもよいし、画素から出力される光が適切に外部から閲覧できるように偏光板、偏光フィルタ等が備えられていてもよい。

　裏面 100B は、ディスプレイ 100 の表示面 100A とは逆側の面であり、電子機器 1 の内部に面する。本開示においては、電子機器 1 における裏面 100B 側の領域をディスプレイ下の領域と記載することがある。

　固体撮像装置 10 は、電子機器 1 に備えられる装置であり、ディスプレイ 100 の下に備えられる。固体撮像装置 10 は、例えば、光源 11 と、第 1 受光領域 12 と、第 2 受光領域 13 と、デュアルバンドパスフィルタ 14 と、バンドパスフィルタ 15 と、を備える。

　光源 11 は、認証処理において利用する光源であり、例えば、赤外光帯域の光を射出する光源でありディスプレイ 100 の裏面 100B 側、すなわち、ディスプレイ 100 の下に備えられる。光源 11 は、例えば、面光源を備える。光源 11 から射出された平面波 (厳密な平面波でなくてもよい) は、ディスプレイ 100 を介して被写体を照射し、被写体において反射し、固体撮像装置 10 内の受光素子に入射する。なお、光源 11 は、固体撮像装置 10 の内部に必須の構成ではなく、固体撮像装置 10 とは別のモジュールとして電子機器 1 に備えられる構成であってもよい。

　光源 11 から射出された光の波面は、点線で示される様に伝播し、被写体を照射する被写体において反射した光が、第 1 受光領域 12 及び第 2 受光領域 13 に入射し、それぞれ画像を生成する情報を取得する。なお、図を示すスペースの関係上、被写体と電子機器１との距離が非常に短くなっているが、実際には、十分に長い距離とすることが出来る。このため、光源 11 から射出した光が被写体の略正面を照らし、その反射光をそれぞれの受光領域に属する画素が受光することも出来る。

　第 1 受光領域 12 は、ディスプレイ 100 の下に備えられ、ディスプレイ 100 の開口部 104 を介した光を受光し、受光した光の強度に基づいた信号を出力する画素を備える領域である。第 1 受光領域 12 は、可視光帯域の光を受光する画素とともに、赤外光を受光する画素を備える。可視光帯域の光を受光する画素は、例えば、 R (赤) 、 G (緑) 及び B (青) の 3 原色をそれぞれ受光する画素であってもよいし、この他、補色系又は白色を受光する画素であってもよい。赤外光帯域の光を受光する画素は、上記の可視光帯域の光を受光する画素と同じ領域 (画素アレイ) 内に混合されて配置される。

　図2は、一実施形態に係る画素の受光帯域の一例を示す図である。 R は、赤の波長帯域を受光する画素、 G は、緑の波長帯域を受光する画素、 B は、青の波長帯域を受光する画素及び IR は、赤外の波長帯域を受光する画素を示す。この図に示すように、 IR の画素が R 、 G 及び B の画素と混合されて同じ画素アレイ内に備えられてもよい。

　 IR 画素を図2の様に備えることで、可視光帯域の画像と同程度の高解像度の赤外光画像を取得することが出来る。尤も、画素の配置は、これに限定されるものではなく、上述したように補色、白色を備える配置であってもよいし、マルチスペクトルに対応する配置であってもよいし、また、プラズモンフィルタ、像面位相差を取得する画素等の種々の用途として用いることができる画素等を備える構成であってもよい。

　第 1 受光領域 12 は、上記したように可視光画像を取得するための画素と、赤外光画像を取得するための画素と、が混合されて配置され、解像度の高い赤外光画像を生成するための情報を取得することが出来る。電子機器 1 は、この赤外光画像を用いることで、例えば、認証をすることができる。この生体認証は、例えば、人物の顔認証、虹彩認証、静脈認証等の赤外光により取得することが出来る情報に基づいた生体認証であってもよい。また、この認証は、赤外光を用いるため、暗所においても所定の被写体の認証を実現することができる。

　図1に戻り、第 1 受光領域 12 の受光面側には、可視光帯域と赤外光帯域に透過特性を有するデュアルバンドパスフィルタ 14 が備えられてもよい。デュアルバンドパスフィルタ 14 は、第 1 受光領域 12 に対して適切な帯域の光を入射することが出来る。

　第 2 受光領域 13 は、例えば、ディスプレイ 100 の下に備えられ、赤外光領域に特化した光を受光する画素が配置される領域である。第 2 受光領域 13 は、例えば、 ToF (Time of Flight) の測定をする画素を備える領域である。第 2 受光領域 13 は、例えば、光源 11 から光を射出してからそれぞれの画素に被写体からの反射光が戻ってくるまでの時間を測定し、画素に対応する被写体のそれぞれの位置までの距離を測定する。この距離に基づいて、デプス画像 (距離画像) を生成することが出来る。

　第 2 受光領域 13 とディスプレイ 100 との間には、赤外光帯域に透過特性を有するバンドパスフィルタ 15 を備えられてもよい。バンドパスフィルタ 15 を介した光が第 2 受光領域 13 に入射することで、第 2 受光領域 13 において適切に ToF 測定に関する情報を取得することが出来る。

　ディスプレイ 100 の特性にもよるが、ディスプレイ 100 が赤外光を適切に透過可能な形態である場合には、例えば、光源 11 及び第 2 受光領域 13 は、開口部 104 を介さずに光を射出し、又は、光を受光してもよい。

　デュアルバンドパスフィルタ 14 及びバンドパスフィルタ 15 は、単独で備えられる必要は無く、例えば、被写体からの光をそれぞれの受光領域に集光するレンズと一体して備えられてもよい。すなわち、これらのフィルタは、例えば、レンズの表面に塗布された物質、又は、レンズそのものの材料を適切に選択することで、レンズそのものがフィルタの機能を備えるものであってもよい。

　次に、上記により取得された情報を処理する内部的な構成の限定されない例について説明する。

　図3は、一実施形態に係る固体撮像装置 10 の一例を模式的に示すブロック図である。固体撮像装置 10 は、上記の光源 11 、第 1 受光領域 12 及び第 2 受光領域 13 の他に、制御回路 20 と、記憶回路 21 と、第 1 処理回路 22 と、第 2 処理回路 23 と、第 3 処理回路 24 と、を備える。図1におけるフィルタ等は、図示を省略している。また、図示していないが固体撮像装置 10 の動作に必要となるその他の構成は、図示していないが適切に備える。

　制御回路 20 は、固体撮像装置 10 の制御をする。例えば、制御回路 20 は、光源 11 の発光タイミング、第 1 受光領域 12 及び第 2 受光領域 13 の受光タイミングにおける画素の駆動等の制御をする。その他、制御回路 20 は、適切なタイミングにおける第 1 処理回路 22 、第 2 処理回路 23 及び第 3 処理回路 24 の制御をしてもよい。すなわち、制御回路 20 は、固体撮像装置 10 における撮像制御、及び、認証に関する動作の制御をすることが出来る。

　記憶回路 21 は、固体撮像装置 10 の動作に必要となるデータ及び取得するデータを格納する回路である。記憶回路 21 は、揮発性又は不揮発性のうち少なくとも一方のメモリ、ストレージ等を備えていてもよい。

　制御回路又は処理回路の処理の一部又は全部は、ソフトウェアによる情報処理により実現されてもよい。この場合、一部又は全部の動作がソフトウェアで実装され、ソフトウェアによる情報処理がプロセッサ等の回路を用いて具体的に実現され、このソフトウェアを実行するためのプログラム又は実行ファイル等が記憶回路 21 に格納されていてもよい。本実施形態に限らず、後述の実施形態においても一部又は全部の処理は、プログラムに記述され、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるものであってもよい。

　第 1 処理回路 22 は、第 1 受光領域 12 において光の強度に基づいて取得された信号から、少なくとも赤外光画像を生成する。赤外光画像は、第 1 受光領域 12 に属する赤外線受光画素から出力される信号から生成される画像である。なお、第 1 処理回路 22 が可視光画像を赤外光画像と併せて生成することは、排除されるものではない。

　第 2 処理回路 23 は、第 2 受光領域 13 において受光タイミングに基づいて取得された信号から、デプス画像を生成する。デプス画像は、例えば、 ToF 画素における受光タイミングに基づいた距離により生成される被写体を含む領域の距離画像である。第 2 受光領域 13 に属する距離測定画素を用いて画素ごとに被写体において反射した赤外光を受信し、第 2 処理回路 23 は、この画素ごとに取得した距離に基づいて、デプス画像を生成する。

　第 3 処理回路 24 は、第 1 処理回路 22 及び第 2 処理回路 23 において取得した画像データに基づいて、認証処理を実行する。第 3 処理回路 24 は、例えば、第 2 処理回路 23 が生成したデプス画像を用いて、被写体が認証の対象として正当なものであるか否かを判定し、この結果に基づいて第 1 処理回路 22 が生成した赤外光画像を用いて認証を実行する。

　第 3 処理回路 24 は、例えば、デプス画像を用いて、被写体が人物の顔であるかを判定する。第 3 処理回路 24 は、デプス画像を用いて、取得した被写体の情報に人物の顔としての適切な凹凸がある立体構造であるか否かを判定し、人物の顔であると認識された場合においては、赤外光画像を用いて、顔の特徴量抽出、虹彩画像、静脈画像等の任意の赤外光を用いた認証方法により認証処理を実行する。

　第 3 処理回路 24 は、デプス画像に対してルールベースの処理又は学習済みモデルを用いた処理を適用することで、被写体に認証の対称が含まれるかを判定してもよい。第 3 処理回路 24 は、認証処理を実行する場合に、赤外光画像に対してルールベースの処理又は学習済みモデルを用いた処理を適用することで、認証の対象に対する認証処理を実行してもよい。

　また、第 3 処理回路 24 は、デプス画像において認証の対象が存在する領域の情報を取得することも出来る。この場合、第 3 処理回路 24 はさらに、赤外光画像から認証の対象が存在する領域を抽出して、この画像領域に対して認証処理を実行してもよい。

　第 3 処理回路 24 は、認識処理において、必要である場合には、記憶回路 21 に格納されている情報、又は、電子機器 1 の外部にあるデータベース等に登録されている情報を用いることが出来る。これらの情報は、適宜暗号化されて格納されていてもよいし、特徴量等の個人情報に戻すことが出来ない又は困難である不可逆なデータとして格納されていてもよい。

　以上のように、本実施形態によれば、ディスプレイを備える電子機器において、ディスプレイ下に備えられる光源及び撮像素子を用いて認証処理をする場合に、デプス画像と赤外光画像とを用いてより精度の高い処理を実現することができる。この処理においては赤外線の帯域の光の射出と、この赤外線帯域の光の画像を用いるため、暗所においても適切な認証をすることが出来る。この電子機器により、スマートフォン等における顔認証処理を実現したり、タブレット端末等を用いた監視システム等を実装したりすることができる。

　なお、認証の対象は、人物の顔だけではなく、人物の他の箇所、例えば、手の静脈等とすることも出来るし、人物ではない対象、例えば、ペット又は車載装置における前後の車両のナンバー等とすることもできる。また、認証は、例えば、ディスプレイに向いている人物の感情、状態等を取得する処理であってもよい。例えば、電子機器は、車載装置においてディスプレイに向いている人物の眠気、感情等の情報を取得し、適切にアラート等を発することも出来る。

　また、電子機器は、ウェブを用いた会議システムのディスプレイ等であってもよく、この場合、会議においてきちんと対象が出席していること、又は、ウェブを介した試験において適切な人物が受験しているかといった認証処理を実現することもできる。

　図4は、固体撮像装置 10 の別の例を示す図である。この図に示すように、第 3 処理回路 24 は、固体撮像装置 10 の外部に備えられていてもよい。すなわち、固体撮像装置 10 は、認証処理までは実行せずに、画像の生成処理までを実行し、電子機器 1 内に備えられる認証処理を実行する第 3 処理回路 24 に出力する形態であってもよい。

　図5は、一実施形態に係る固体撮像装置 10 の処理を示すフローチャートである。

　認証処理の実行において、制御回路 20 は、識別子を発行する (S100) 。この識別子は、撮影された画像の同期を取るために用いられる識別子である。識別子は、画像を取得するタイミングが同じタイミングであるか、異なるタイミングであるかを識別可能であればよく、例えば、識別子を発行するタイミングに基づく情報であってもよい。

　識別子を発行した後に、制御回路 20 は、光源 11 の発光制御をするための発光信号を光源 11 へと送信する (S101) 。

　発光信号を受信した光源 11 は、赤外線帯域の光をディスプレイ 100 を介して電子機器 1 の外部へと発光する (S202) 。光源 11 から射出された赤外光は、電子機器 1 の外部において被写体に照射される。

　被写体において反射した赤外光は、第 1 受光領域 12 及び第 2 受光領域 13 に入射し、それぞれの受光領域において強度情報に基づいたアナログ信号に変換される。第 1 処理回路 22 は、第 1 受光領域 12 から出力される信号に基づいて赤外光画像を生成し (S403) 、第 2 処理回路 23 は、第 2 受光領域 13 から出力される信号に基づいてデプス画像を生成する (S303) 。

　なお、第 2 処理回路 23 は、制御回路 20 から発光信号を取得してもよく、この発光のタイミングと、受光したタイミングと、を用いて第 2 画像を生成することが出来る。尤も、発光タイミングに関する情報を取得することなく、被写体における相対的な距離画像を取得してもよい。例えば、第 2 受光領域 13 において反射光を取得した時刻を画素ごとに取得し、最も早い時刻を基準として、この基準点に基づいた深さ方向の画像をデプス画像としてもよい。

　上記の処理は、第 1 受光領域 12 において受光された信号に基づいて、可視光画像を生成することを排除するものではない。

　第 1 処理回路 22 は、赤外光画像を取得後に当該赤外光画像と S100 において発行された識別子を紐付けする (S404) 。同様に、第 2 処理回路 23 は、デプス画像を取得後に当該デプス画像と S100 において発行された識別子を紐付けする (S304) 。第 1 処理回路 22 及び第 2 処理回路 23 はそれぞれ、取得した画像と識別子の情報を制御回路 20 へと送信する。例えば、制御回路 20 は、第 1 処理回路 22 及び第 2 処理回路 23 に識別子を送信しておいてもよい。

　光源 11 は、所定時間照射した後に消光する (S205) 。この所定時間は、例えば、所定距離に被写体が存在すると仮定して、第 1 受光領域 12 及び第 2 受光領域 13 に反射光が十分に到達する時間に基づいて決定、例えば、それぞれの受光領域における 1 フレームの操作が完了する時間に基づいて決定されてもよい。別の例として、第 1 処理回路 22 及び第 2 処理回路 23 において画像が生成されたことをトリガとして消光をしてもよい。また、このトリガを制御回路 20 が取得し、制御回路 20 が消光信号を光源 11 に送信することで光源 11 が消光してもよい。

　識別子が紐付けされた画像を取得した制御回路 20 は、識別子が一致するか否かを判定する (S106) 。識別子が一致することで、受信したデプス画像と赤外光画像とが光源 11 の同じ発光タイミングで取得された画像であることが判定できる。

　なお、識別子としてタイムスタンプを用いることも出来る。第 1 処理回路 22 及び第 2 処理回路 23 は、識別子を紐付けするタイミングにおいて、画像を取得した時刻のタイムスタンプを識別子として画像と紐付けてもよい。この場合、制御回路 20 は、制御回路 20 が S100 において取得したタイムスタンプと、第 1 処理回路 22 及び第 2 処理回路 23 とが画像を取得したタイミングにおけるタイムスタンプとが、整合性を有するか否かを判定することで、識別子が一致していると判定することも出来る。例えば、制御回路 20 は、赤外光画像及びデプス画像にそれぞれ紐付けられているタイムスタンプが、 S100 で取得したタイムスタンプよりも遅いタイミングであり、かつ、所定時間内に取得されたタイムスタンプであるかを判定することで、識別子が一致しているか否かを判定することも出来る。

　識別子が一致しない場合 (S107: NO) 、制御回路 20 は、撮影の制御から処理 (S100 からの処理) を繰り返し行ってもよいし、識別が出来なかったとして処理を終了してもよい。

　識別子が一致する場合 (S107: YES) 、制御回路 20 は、第 3 処理回路 24 において認証処理を実行させる (S108) 。第 3 処理回路 24 は、上述したように、デプス画像に基づいて被写体が認証の対象であるかを判定し、認証の対象である場合に赤外光画像を用いた認証を実行する。

　なお、識別子の一致の確認も、第 3 処理回路 24 が実行してもよい。すなわち、第 1 処理回路 22 及び第 2 処理回路 23 は、第 3 処理回路 24 に赤外光画像及びデプス画像を識別子とともに送信してもよい。そして、第 3 処理回路 24 は、識別子の判定の後に、識別処理を実行する態様であってもよい。さらに別の例として、制御回路 20 が第 3 処理回路 24 の動作を実行してもよい。すなわち、制御回路 20 と第 3 処理回路 24 は、同じ処理回路により構成されていてもよい。

　このように識別子の処理をすることで、固体撮像装置 10 は、デプス画像において認証の対象とされた後に、被写体を写真等にすり替えて、赤外光画像において誤った認証をさせることを回避することが可能となる。

　(第 2 実施形態)
　前述の実施形態においては、光源が 1 つである場合について説明した。光源 11 は、例えば、平面波を射出する光源であり、これを用いて第 1 受光領域 12 における赤外光画像及び第 2 受光領域 13 におけるデプス画像を取得した。デプス画像は、赤外光画像と比較して低い解像度での動作が可能なため、平面波よりも強度の強く解像度の低い点光源を利用することも有効である。本実施形態においては、このデプス画像を取得するための光源を別途備えるものである。

　図6は、一実施形態に係る電子機器 1 を模式的に示す図である。電子機器１は、光源 11 として、第 1 光源 110 と、第 2 光源 112 と、を有する。

　第 1 光源 110 は、第 1 受光領域 12 に備えられる IR 画素において被写体からの反射光を受光するのに適した光を射出する光源である。第 1 光源 110 は、例えば、面光源を有し、被写体に平面波を射出する。第 1 光源 110 から射出された光は、図に点線で示すように被写体に照射され、反射光が第 1 受光領域 12 において受光される。

　第 2 光源 112 は、第 2 受光領域 13 に備えられる ToF 画素等において被写体からの反射光を受光するのに適した光を射出する光源である。第 2 光源 112 は、例えば、第 1 光源 110 と比較して 1 点からの強度が強い点光源を備える。第 2 光源 112 から射出された光は、図に破線で示すように被写体に照射され、反射光を第 2 受光領域 13 に備えられる ToF 画素等で受光して、受光タイミングに応じたデプス画像を形成する信号を取得することが出来る。

　図7は、一実施形態に係る固体撮像装置 10 の処理を示すフローチャートである。図5と同じ符号の処理は、原則的に同じ処理であるので詳しい説明は省略する。

　制御回路は、識別子の発行 (S100) 後、第 2 光源 112 の発光信号を第 2 光源 112 へと送信する (S110) 。

　発光信号を受信した第 2 光源 112 は、例えば、点光源の光を射出する (S211) 。この点光源の光は、開口部を持たない形状から ToF 情報を取得するために必要な強度を有する。

　第 2 処理回路 23 は、第 2 受光領域 13 において受光したタイミングの情報に基づいて、デプス画像を生成し (S303) 、識別子と紐付ける (S304) 。

　第 2 光源 112 は、所定タイミングで消光する (S212) 。消光のタイミングは、前述の実施形態に準ずるタイミングでよい。

　次に、制御回路 20 は、第 1 光源 110 の発光信号を送信する (S113) 。この発光信号の送信のタイミングは、例えば、第 2 光源 112 の発光信号を送信してから所定時間後であってもよいし、第 2 光源 112 が消光したタイミングを確認した後であってもよい。

　発光信号を受信した第 1 光源 110 は、例えば、平面波を射出する (S214) 。この平面波は、開口部を通して赤外光画像を取得するために必要な程度の強度を有する。

　第 1 処理回路 22 は、第 1 受光領域 12 において受光した強度情報に基づいて赤外光画像を生成し (S404) 、識別子と紐付ける (S404) 。

　第 1 光源 110 は、所定タイミングで消光する (S215) 。この消光のタイミングも、前述の実施形態に準ずるタイミングでよい。

　この後の処理は、前述の実施形態と同様である。このような処理をすることで、受光領域による光源が備えられる場合においても適切に認証処理を実現することが可能となる。

　(第 3 実施形態)
　図8は、一実施形態に係る受光画素の配置の一例を示す図である。第 1 受光領域 12 と、第 2 受光領域 13 は、同じ領域において実装されていてもよい。すなわち、同一の画素アレイ内に、可視光帯域の情報を取得する可視光受光画素と、赤外光帯域の情報を取得する赤外光受光画素と、赤外光帯域の情報から ToF 情報を取得する ToF 画素と、が備えられる形態であってもよい。

　このように配置することで、受光素子である光電変換素子が備えられる回路面積を縮小することが可能となる。また、デプス画像と赤外光画像との間において座標のズレを最小限に抑えることが可能となり、よりデプス画像における認証対象を判定する処理と、赤外光画像における認証処理と、の精度を向上させることが出来る。

　(第 4 実施形態)
　光源 11 から射出される光は、ディスプレイ 100 を介して外部へと照射されるため、ディスプレイ 100 の構成において干渉する可能性がある。本実施形態においては、この干渉により発生しうる干渉縞の影響を抑制する固体撮像装置 10 について説明する。

　図9は、一実施形態に係る電子機器 1 の一例を模式的に示す図である。電子機器 1 は、認証処理を実行する前段階として、平面 3 に対して光源 11 からの光を照射する。電子機器 1 は、この平面における反射光に基づいて生成された赤外光画像をあらかじめ取得しておき、画素の位置における干渉縞のパターンを生成する。

　図10は、平面における干渉縞の限定されない一例を示す図である。固体撮像装置 10 は、認証処理を実行する前段階として、あらかじめこの図10に示すような干渉縞の画像を取得しておいてもよい。

　固体撮像装置 10 は、例えば、光源 11 を平面に照射して干渉縞を投影し、干渉縞が存在する赤外光画像を、第 1 受光領域 12 において受光した画像から生成する。この赤外光画像は、ディスプレイ 100 による干渉の状態を示す赤外光画像である。固体撮像装置 10 は、この取得した干渉縞を有する赤外光画像を用いて認証処理の段階における画像を補正することが出来る。

　図11は、一実施形態に係る赤外光画像における被写体領域における干渉縞の一例を示す図である。第 1 処理回路 22 は、赤外光画像を取得するタイミングにおいて、認証処理に用いる領域から、干渉縞の影響を抑制するように画像から減算することが出来る。第 1 処理回路 22 は、減算をする場合、干渉縞の画像にゲインを掛けて減算することで、第 1 受光領域 12 において取得された画像の情報が精度を低くしないように制御することができる。

　別の例として、第 1 処理回路 22 は、赤外光画像を取得するタイミングにおいて、認証処理に用いる領域に対して干渉縞に基づいたマスク処理をしてもよい。このマスク処理も同様に、情報を削除するのではなく、干渉縞の影響を抑制するように、干渉縞の光の強度に基づいた係数を取得し、それぞれの画素にこの係数を掛けることによって実行することが出来る。

　固体撮像装置 10 は、例えば、第 2 処理回路 23 が取得したデプス画像から、認証を実行する被写体の領域を取得した後、第 1 処理回路 22 においてこの被写体の領域における干渉縞の抑制処理を実行することができる。

　以上のように、本実施形態によれば、ディスプレイ 100 下に備えられる光源及び受光領域における画像の生成について、ディスプレイ 100 を介することに起因する干渉等の影響を小さくすることが可能となる。

　干渉縞の除去は、上記に記載した方法に限定されるものではなく、あらかじめ取得している平面における干渉縞を適切に除去出来る手法を用いることが出来る。

　また、平面ではなく、より認証対象に近い立体図形における干渉縞の情報をあらかじめ取得しておいてもよい。例えば、人物の顔を用いた認証処理を実行する場合には、固体撮像装置 10 は、あらかじめ回転楕円体、又は、凹凸の少ない石膏像等を用いて干渉縞の情報を取得しておいてもよい。そして、あらかじめ取得した干渉縞の情報を用いて、認証処理を実現することができる。

　なお、上記においては赤外光画像における干渉パターンを取得したがこれに限定されるものではない。例えば、固体撮像装置 10 は、デプス画像に対応する干渉縞のパターンを取得しておいてもよい。このパターンは、ディスプレイ 100 下に配置されるそれぞれの ToF 等の画素までに、平面又はその他の立体からの反射光のディスプレイ 100 における到達時間の遅延等を考慮した情報を含むことが出来る。このため、デプス画像においても同様に、ディスプレイ 100 に起因する誤差が認証のタイミングで発生することを抑制することが出来る。

　(第 5 実施形態)
　図12は、一実施形態に係る電子機器 1 を模式的に示す図である。固体撮像装置 10 は、光源 11 と、受光領域と、の間に遮光壁 16 を備える。

　遮光壁 16 は、光源 11 から射出された光が、電子機器 1 内において直接的にそれぞれの受光領域に到達しないように配置される。遮光壁 16 は、少なくとも光源 11 が射出する赤外光の帯域を透過しない材質により形成されていてもよい。

　遮光壁 16 を備えることで、電子機器 1 内及び固体撮像装置 10 ないにおける反射等の影響を抑制した認証処理を実現することが可能となる。

　なお、各実施形態において、第 1 受光領域 12 と、第 2 受光領域 13 とは、視差を減らすべく、近い位置に配置されることが望ましい。例えば、図6においては第 1 光源 110 と第 2 光源 112 とが隣接して、その外側に受光領域が配置されているが、これに限定されるものではない。例えば、第 1 光源 110 及び第 2 光源 112 がそれぞれに対応する受光領域の外側に配置されていてもよい。すなわち、図面左から、第 1 光源 110 、第 1 受光領域 12 、第 2 受光領域 13 、及び、第 2 光源 112 、が順に備えられる構成であってもよい。

　また、図6の場合においても、遮光壁をそれぞれに備えることが出来る。例えば、図面左から、第 1 光源 110 、第 1 遮光壁、第 1 受光領域 12 、第 2 受光領域 13 、第 2 遮光壁、及び、第 2 光源 112 の順で配置されていてもよい。この場合さらに、第 1 受光領域 12 と、第 2 受光領域 13 との間に遮光壁を配置してもよい。

　図13は、一実施形態に係る電子機器 1 の外観図である。右図は、左図の矢印における断面図を示す。

　電子機器 1 は、ディスプレイ 100 の下側に固体撮像装置 10 を備える。ディスプレイ 100 には、開口部 104 が備えられ、この開口部 104 を介して可視光帯域及び赤外光帯域の画像生成に必要な光が受光領域へと入射する。開口部 104 は、ディスプレイ 100 の表示部 102 の表示面に備えられるものであってもよいし、電子機器 1 におけるディスプレイ 100 の縁に存在するベゼル部 106 に備えられていてもよい。

　開口部 104 は、例えば、当該領域には発光画素が備えられずに、可視光帯域の光と、認識処理を実行するための赤外光帯域の光とを透過する物質で充填された態様であってもよい。

　図14は、一実施形態に係る電子機器 1 の外観図である。図13と同様に、右図は、左図の矢印における断面図を示す。

　電子機器 1 は、前述の実施形態で説明したように、開口部 104 を備えずに、固体撮像装置 10 を備えてもよい。この場合、ディスプレイ 100 に備えられる発光画素を間引きされたり、発光画素又は発光画素の周辺の構成を他の領域とは別の構成として適切な光が透過したりする構成を有することが出来る。位置は、電子機器 1 の図の上部に限定されるものではなく、固体撮像装置 10 は、ディスプレイ 100 内の任意の位置に配置することが出来る。

　このように、電子機器 1 は、ディスプレイ 100 の下において、適切に固体撮像装置 10 を配置することが出来る。

　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図15では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。

　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

　ここで、図16は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図16には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

　図15に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。

　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　なお、図15に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

　なお、図1から図14を用いて説明した本実施形態に係る電子機器１又は固体撮像装置10の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　以上説明した車両制御システム７０００において、図1から図14を用いて説明した本実施形態に係る電子機器１又は固体撮像装置10は、図15に示した応用例の車外情報検出ユニット７４００、車内情報検出ユニット７５００及びこれらに付随する撮像部７４１０、車外情報検出部７４２０又は運転者状態検出部７５１０に適用することができる。

　また、図1から図12を用いて説明した電子機器１又は固体撮像装置１０の少なくとも一部の構成要素は、図15に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよいし、図15に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

　前述した実施形態は、以下のような形態としてもよい。

　(1)
　ディスプレイの表示面の逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する、光源と、
　前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 1 受光領域と、
　前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 2 受光領域と、
　を備える、固体撮像装置。

　(2)
　前記第 1 受光領域において受光した赤外光の強度に基づく赤外光画像を生成する、第 1 処理回路と、
　前記第 2 受光領域において受光した赤外光の強度に基づくデプス画像を生成する、第 2 処理回路と、
　をさらに備える、(1)に記載の固体撮像装置。

　(3)
　前記デプス画像に基づいて被写体が認証対象であるかを判定し、前記被写体が認証対象であると判定した場合に、少なくとも前記赤外光画像を用いて認証処理を実行する、第 3 処理回路、
　をさらに備える、(2)に記載の固体撮像装置。

　(4)
　前記第 1 受光領域は、前記ディスプレイの表示面との間に可視光帯域及び赤外光帯域の 2 つの帯域に透過特性を有する、デュアルバンドパスフィルタを備える、
　(2)から(3)のいずれかに記載の固体撮像装置。

　(5)
　前記第 2 受光領域は、前記ディスプレイの表示面との間に赤外光帯域に透過特性を有するバンドパスフィルタを備える、
　(2)から(4)のいずれかに記載の固体撮像装置。

　(6)
　前記光源は、面光源を備える、
　(2)から(5)のいずれかに記載の固体撮像装置。

　(7)
　前記光源は、
　　前記第 1 受光領域において受光するための面光源と、
　　前記第 2 受光領域において受光するための点光源と、
　を備える、(2)から(5)のいずれかに記載の固体撮像装置。

　(8)
　前記光源と、前記第 1 受光領域及び前記第 2 受光領域と、の間に前記ディスプレイの表示面と逆側において遮光壁を備える、
　(2)から(7)のいずれかに記載の固体撮像装置。

　(9)
　前記第 1 受光領域の駆動制御、前記第 2 受光領域の駆動制御、及び、前記光源の制御をする、制御回路、
　をさらに備え、
　前記制御回路は、
　　識別子を発行し、
　　前記光源の発光制御をし、
　　取得された前記第赤外光画像及び取得された前記デプス画像にそれぞれ前記識別子を紐付け、
　　前記光源の消光制御をし、
　　前記識別子が一致する場合に、前記赤外光画像と、前記デプス画像と、が同じタイミングで取得された画像であると判定する、
　(6)に記載、又は、(6)に従属する(8)に記載の固体撮像装置。

　(10)
　前記第 1 受光領域の駆動制御、前記第 2 受光領域の駆動制御、及び、前記光源の制御をする、制御回路、
　をさらに備え、
　前記制御回路は、
　　識別子を発行し、
　　前記面光源の発光制御をし、
　　取得された前記赤外光画像に前記識別子を紐付け、
　　前記面光源の消光制御をし、
　　前記点光源の発光制御をし、
　　取得された前記デプス画像に前記識別子を紐付け、
　　前記点光源の消光制御をし、
　　前記識別子が一致する場合に、前記赤外光画像と、前記デプス画像と、が同じタイミングで取得された画像であると判定する、
　(7)に記載、又は、(7)に従属する(8)に記載の固体撮像装置。

　(11)
　前記第 1 処理回路は、
　　あらかじめ、前記光源を被写体の距離に配置された平面に発光して干渉赤外光画像を取得し、
　　前記干渉赤外光画像を用いて、取得する前記赤外光画像を補正する、
　(2)から(10)のいずれかに記載の固体撮像装置。

　(12)
　前記第 2 処理回路は、
　　あらかじめ、前記光源を被写体の距離に配置された平面に発光して干渉デプス画像を取得し、
　　前記干渉デプス画像を用いて、取得する前記デプス画像を補正する、
　(2)から(11)のいずれかに記載の固体撮像装置。

　(13)
　前記第 1 受光領域に属する画素と、前記第 2 受光領域に属する画素と、が同じ画素アレイ内に配置される、
　(1)から(12)のいずれかに記載の固体撮像装置。

　(14)
　情報を表示する、ディスプレイと、
　前記ディスプレイの表示面と逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する、光源と、
　前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 1 受光領域と、
　前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 2 受光領域と、
　前記第 1 受光領域に属する画素により取得された赤外光画像及び前記第 2 受光領域に属する画素により取得されたデプス画像を用いて、認証処理をする、処理回路、
　を備える、電子機器。

　(15)
　前記処理回路は、
　　前記デプス画像に基づいて、被写体が認証対象であるかを判定し、
　　前記被写体が認証対象であると判定した場合に、少なくとも前記赤外光画像を用いて認証処理を実行する、
　(14)に記載の電子機器。

　(16)
　プロセッサに、(9)に記載の前記制御回路の処理を実行させる、プログラム。

　(17)
　プロセッサに、(10)に記載の前記制御回路の処理を実行させる、プログラム。

　(18)
　プロセッサに、(14)又は(15)に記載の前記処理回路の処理を実行させる、プログラム。

　(19)
　携帯端末、スマートフォン、タブレット端末、ディスプレイ付き車載カメラ、ディスプレイ付き認証装置又はディスプレイ付き監視カメラの少なくともいずれかである、
　(14)又は(15)に記載の電子機器。

　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

　1: 電子機器、
　 10: 固体撮像装置、
　  11: 光源、
　   110: 第 1 光源、
　   112: 第 2 光源、
　  12: 第 1 受光領域、
　  13: 第 2 受光領域、
　  14: デュアルバンドパスフィルタ、
　  15: バンドパスフィルタ、
　 100: ディスプレイ、
　  100A: 表示面、
　  100B: 裏面、
　  102: 表示部、
　  104: 開口部、
　  106: ベゼル部、
　  20: 制御回路、
　  21: 記憶回路、
　  22: 第 1 処理回路、
　  23: 第 2 処理回路、
　  24: 第 3 処理回路

Claims

　ディスプレイの表示面の逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する、光源と、
　前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 1 受光領域と、
　前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 2 受光領域と、
　を備える、固体撮像装置。
　前記第 1 受光領域において受光した赤外光の強度に基づく赤外光画像を生成する、第 1 処理回路と、
　前記第 2 受光領域において受光した赤外光の強度に基づくデプス画像を生成する、第 2 処理回路と、
　をさらに備える、請求項1に記載の固体撮像装置。
　前記デプス画像に基づいて被写体が認証対象であるかを判定し、前記被写体が認証対象であると判定した場合に、少なくとも前記赤外光画像を用いて認証処理を実行する、第 3 処理回路、
　をさらに備える、請求項2に記載の固体撮像装置。
　前記第 1 受光領域は、前記ディスプレイの表示面との間に可視光帯域及び赤外光帯域の 2 つの帯域に透過特性を有する、デュアルバンドパスフィルタを備える、
　請求項2に記載の固体撮像装置。
　前記第 2 受光領域は、前記ディスプレイの表示面との間に赤外光帯域に透過特性を有するバンドパスフィルタを備える、
　請求項2に記載の固体撮像装置。
　前記光源は、面光源を備える、
　請求項2に記載の固体撮像装置。
　前記光源は、
　　前記第 1 受光領域において受光するための面光源と、
　　前記第 2 受光領域において受光するための点光源と、
　を備える、請求項2に記載の固体撮像装置。
　前記光源と、前記第 1 受光領域及び前記第 2 受光領域と、の間に前記ディスプレイの表示面と逆側において遮光壁を備える、
　請求項2に記載の固体撮像装置。
　前記第 1 受光領域の駆動制御、前記第 2 受光領域の駆動制御、及び、前記光源の制御をする、制御回路、
　をさらに備え、
　前記制御回路は、
　　識別子を発行し、
　　前記光源の発光制御をし、
　　取得された前記赤外光画像及び取得された前記デプス画像にそれぞれ前記識別子を紐付け、
　　前記光源の消光制御をし、
　　前記識別子が一致する場合に、前記赤外光画像と、前記デプス画像と、が同じタイミングで取得された画像であると判定する、
　請求項6に記載の固体撮像装置。
　前記第 1 受光領域の駆動制御、前記第 2 受光領域の駆動制御、及び、前記光源の制御をする、制御回路、
　をさらに備え、
　前記制御回路は、
　　識別子を発行し、
　　前記面光源の発光制御をし、
　　取得された前記赤外光画像に前記識別子を紐付け、
　　前記面光源の消光制御をし、
　　前記点光源の発光制御をし、
　　取得された前記デプス画像に前記識別子を紐付け、
　　前記点光源の消光制御をし、
　　前記識別子が一致する場合に、前記赤外光画像と、前記デプス画像と、が同じタイミングで取得された画像であると判定する、
　請求項7に記載の固体撮像装置。
　前記第 1 処理回路は、
　　あらかじめ、前記光源を被写体の距離に配置された平面に発光して干渉赤外光画像を取得し、
　　前記干渉赤外光画像を用いて、取得する前記赤外光画像を補正する、
　請求項2に記載の固体撮像装置。
　前記第 2 処理回路は、
　　あらかじめ、前記光源を被写体の距離に配置された平面に発光して干渉デプス画像を取得し、
　　前記干渉デプス画像を用いて、取得する前記デプス画像を補正する、
　請求項2に記載の固体撮像装置。
　前記第 1 受光領域に属する画素と、前記第 2 受光領域に属する画素と、が同じ画素アレイ内に配置される、
　請求項1に記載の固体撮像装置。
　情報を表示する、ディスプレイと、
　前記ディスプレイの表示面と逆側に備えられ、前記ディスプレイを介して赤外光帯域の光を射出する、光源と、
　前記ディスプレイの表示面と逆側に備えられ、可視光帯域の光を受光する画素とともに、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 1 受光領域と、
　前記ディスプレイの表示面と逆側に備えられ、少なくとも前記光源から射出された赤外光帯域の光を受光する画素を備える、第 2 受光領域と、
　前記第 1 受光領域に属する画素により取得された赤外光画像及び前記第 2 受光領域に属する画素により取得されたデプス画像を用いて、認証処理をする、処理回路、
　を備える、電子機器。
　前記処理回路は、
　　前記デプス画像に基づいて、被写体が認証対象であるかを判定し、
　　前記被写体が認証対象であると判定した場合に、少なくとも前記赤外光画像を用いて認証処理を実行する、
　請求項14に記載の電子機器。
　プロセッサに、請求項9に記載の前記制御回路の処理を実行させる、プログラム。
　プロセッサに、請求項10に記載の前記制御回路の処理を実行させる、プログラム。
　プロセッサに、請求項14に記載の前記処理回路の処理を実行させる、プログラム。
　携帯端末、スマートフォン、タブレット端末、ディスプレイ付き車載カメラ、ディスプレイ付き認証装置又はディスプレイ付き監視カメラの少なくともいずれかである、
　請求項14に記載の電子機器。