WO2024048360A1

WO2024048360A1 - 固体撮像装置及び電子機器

Info

Publication number: WO2024048360A1
Application number: PCT/JP2023/030085
Authority: WO
Inventors: 安東　泰弘
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2022-08-29
Filing date: 2023-08-22
Publication date: 2024-03-07
Also published as: JP2024032290A

Abstract

［課題］遮蔽物がある状態においても認証精度を高くする。［解決手段］固体撮像装置は、照射部と、撮像部と、画像処理回路と、を備える。照射部は、遮蔽物を透過する波長を含む光を照射する。撮像部は、可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する。情報処理回路は、前記画像データの情報処理をする。

Description

固体撮像装置及び電子機器

　本開示は、固体撮像装置及び電子機器に関する。

　今日、様々な理由からマスクを着用する人が増えている。撮影技術及び情報処理技術の向上により、種々の認証処理が顔画像を用いて実現されているが、マスクを着用している状態における認証には、いろいろと課題が残っている。例えば、露出している部分を用いて精度を上げる方法や遮蔽物を透過する光の波長を探して当該波長で撮影して顔画像を作成する方法がある。

　露出している部分から認証をする手法は、精度を高くすることは可能であっても、やはり顔全体の画像を用いた認証よりも精度は低くなる。また、透過する波長を探す手法では、この遮蔽物を透過する波長を探すためのカメラ、フィルタといった要素を備える装置が必要となるためシステムが大きく複雑になる。さらに、当該波長を照射している訳ではないので、十分な光量を取得することは困難であり、照射装置を備えると、さらにシステムが大きくなる。

特開2020-009308号公報

　そこで、本開示では、遮蔽物がある状態においても認証精度を高くする情報を取得する固体撮像装置及び電子機器を提供する。

　一実施形態によれば、固体撮像装置は、照射部と、撮像部と、画像処理回路と、を備える。照射部は、遮蔽物を透過する波長を含む光を照射する。撮像部は、可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する。情報処理回路は、前記画像データの情報処理をする。

　また、前記情報処理回路は、前記第 1 画像から、前記遮蔽物の領域である遮蔽物領域を検出し、前記第 2 画像において前記遮蔽物領域の画像を抽出し、前記第 1 画像又は前記遮蔽物領域における前記第 2 画像のうち少なくとも一方を用いて、認証に用いる情報を取得する。

　前記情報処理回路は、前記遮蔽物領域の前記第 2 画像から前記遮蔽物の影を除去してもよい。

　前記情報処理回路は、前記第 1 画像における色情報に基づいて、前記第 2 画像における色情報を推定し、前記第 1 画像から前記遮蔽物領域を削除した画像と、前記第 2 画像に推定した色情報を付加した前記遮蔽物領域の画像と、を合成して前記認証に用いる情報を取得してもよい。

　前記情報処理回路は、前記画像データにおける前記遮蔽物領域以外の領域における、前記第 1 画像のデータ及び第 2 画像のデータに基づいて、前記遮蔽物領域における色情報を推定してもよい。

　前記情報処理回路は、前記遮蔽物領域として連続しない複数領域を抽出した場合、前記複数領域のそれぞれについて、前記合成を実行してもよい。

　前記情報処理回路は、前記第 1 画像から前記遮蔽物領域を削除した画像から、可視光における第 1 特徴を抽出し、前記第 2 画像から前記遮蔽物を透過する波長帯域における第 2 特徴を抽出し、前記第 1 特徴及び前記第 2 特徴を認証に用いる情報として取得してもよい。

　前記情報処理回路は、前記第 1 画像において前記遮蔽物を検出しなかった場合に、前記第 1 画像を認証に用いる情報としてもよい。

　前記撮像部は、少なくとも人物の顔を含む領域の画像を取得してもよく、前記情報処理回路は、前記人物の認証に用いる情報を取得してもよい。

　前記遮蔽物は、マスクであってもよい。

　前記遮蔽物は、眼鏡又はサングラスのレンズであってもよい。

　一実施形態によれば、電子機器は、照射部と、撮像部と、情報処理回路と、を備える。照射部は、遮蔽物を透過する波長を含む光を照射する。撮像部は、可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する。情報処理回路は、前記画像データの情報処理をする。

　また、前記情報処理回路は、前記第 1 画像から、前記遮蔽物の領域である遮蔽物領域を検出し、前記第 2 画像において前記遮蔽物領域の画像を抽出し、前記第 1 画像又は前記遮蔽物領域における前記第 2 画像のうち少なくとも一方を用いて、認証に用いる情報を取得し、取得した情報に基づいて、認証処理を実行し、認証により判定した結果を出力する。

　電子機器は、認証情報を格納する、記憶部、をさらに備えてもよい。前記情報処理回路は、前記画像データに基づいて取得した認証に用いる情報と、前記記憶部に格納されている前記認証情報と、を比較して、認証処理を実行してもよい。

　前記情報処理回路は、外部から、認証情報を取得し、前記画像データに基づいて取得した認証に用いる情報と、外部から取得した前記認証情報と、を比較して、認証処理を実行してもよい。

　電子機器は、監視カメラであってもよい。

　電子機器は、入出門ゲートにおける認証処理を実行してもよい。

一実施形態に係る固体撮像装置を模式的に示すブロック図。一実施形態に係る受光画素の配列の一例を示す図。一実施形態に係る固体撮像装置の処理の一例を示すフローチャート。一実施形態に係る固体撮像装置の処理の一例を示すフローチャート。一実施形態に係る固体撮像装置の処理の一例を示すフローチャート。一実施形態に係る固体撮像装置の処理の一例を示すフローチャート。一実施形態に係る監視システムの一例を模式的に示すブロック図。一実施形態に係るゲートシステムの一例を模式的に示すブロック図。

　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

　本開示において、「光の波長」「波長」と記載している箇所は、光の波長帯域、と読み替えることもできる。また、本開示において、「認証情報」の文言は、監視カメラ等における監視対象を認証するための情報又は将来的に監視対象となりうる対象の認証情報を意味していてもよい。

　(第 1 実施形態)
　図1は、一実施形態に係る固体撮像装置を模式的に示すブロック図である。固体撮像装置１は、光学系 100 と、照射部 102 と、撮像素子 104 と、情報処理回路 106 と、記憶部 108 と、入出力インタフェース (以下、入出力 I/F 110 と記載する。) と、を備える。この他、固体撮像装置 1 は、それぞれの構成要素を制御する制御部等、撮像及び出力に必要な適切な図示しない構成要素を備える。

　固体撮像装置 1 は、撮像した画像から認証情報を抽出する装置である。また、固体撮像装置 1 は、当該認証情報を用いた認証結果を出力する装置であってもよい。

　光学系 100 は、外部の光を取り込む光学系である。光学系 100 により集光された光が撮像素子 104 の受光素子に入射する。光学系 100 は、 1 又は複数のレンズ、フィルタ、回折格子等を備えていてもよい。

　照射部 102 は、撮像の対象を照射する光源を備える。照射部 102 は、例えば、遮蔽物を透過する波長の光を照射する。遮蔽物を透過する波長の光は、限定されない例として、赤外線であってもよい。照射部 102 は、赤外帯域の複数の帯域の光を照射してもよい。照射部 102 は、遮蔽物を透過する帯域の光とともに、白色光を照射してもよい。また、照射部 102 は、例えば、紫外線等の光を照射してもよい。この場合、照射部 102 は、人間に害を及ぼさないような微弱な光、又は、撮像するための短時間の照射をしてもよい。

　撮像素子 104 は、光学系 100 を介して集光した光を光電変換し、光電変換により取得したアナログ信号を適切にデジタル画像データに変換して出力する回路である。撮像素子 104 は、可視光帯域の光を受光する受光素子とともに、照射部 102 が照射する遮蔽物を透過する波長の光を受光する受光素子を備える。撮像素子 104 は、例えば、対象において反射した光、対象が透過した光、又は、対象が発光している光等の情報を適切に取得する。

　図2は、一実施形態に係る撮像素子 104 における受光画素の配列の一例を示す図である。撮像素子 104 は、撮像部として、受光画素が 2 次元に配置された画素アレイを備え、画素アレイ内に、受光画素 112 がこの図2に示されるように配列される。

　受光画素 112 内に記載されているアルファベットは、それぞれの受光画素が受光可能な色を示す。 R は、赤色の波長帯域、 G は、緑色の波長帯域、 B は、青色の波長帯域、 IR は、赤外帯域の光をそれぞれ受光する画素であることを示す。限定されない一例として、図示されるように、ベイヤ配列の一部の画素を赤外帯域の光を受光する画素に置き換えたものであってもよい。

　このような配列とすることで、撮像素子 104 は、可視光帯域の画像と、赤外光帯域の画像と、を座標のズレが無い状態で取得することができる。この結果、同じ座標における情報を参照することで、撮像した対象の同じ位置の可視光の情報と、赤外光との情報を取得することができる。

　画素 112 それぞれが受光可能な波長帯域は、例えば、画素 112 に備えられる光電変換素子の光の入射面側にカラーフィルタを備え、又は、それぞれの帯域に応じた有機光電変換膜等が備えられる形態であってもよい。

　なお、図2の配列は、限定されない一例として示したものであり、画素 112 の受光する帯域の並び方はこれ以外の並び方であってもよい。また、受光する帯域は、 RGB-IR に限定されず、補色等の別の帯域を受光する画素 112 が配置されてもよい。これらにより、可視光帯域の画像を用途等に応じて適切に高精度にすることができる。

　 IR を受光する画素 112 は、 1 つの帯域だけではなく複数種類の帯域の赤外光を受光する画素 112 が混在していてもよい。複数の帯域における赤外光からそれぞれ画像を生成することで、異なる特性を有する画像を複数取得することができる。

　また、上述したように、 UV 等の別の波長帯域の光を受光する画素 112 があってもよい。

　これらの可視光帯域以外の光については、照射部 102 が対象に照射し、対象からの反射光を画素 112 が受光する形態であってもよい。

　画素 112 のそれぞれが 1 つの波長帯域の光を受光する態様について説明したがこれに限定されるものではない。別の例として、 1 つの画素 112 が複数の同一の、又は、相違する波長帯域を受光する光電変換素子を備えてもよく、この場合、画素 112 は、分割された領域ごとに、異なる波長帯域の光を受光し、適切に色情報として出力することができる。

　撮像素子 104 は、画素 112 を備えることで、可視光帯域の光と、照射部 102 が照射する波長を含む光を受光可能に形成される。撮像素子 104 は、照射部 102 が遮蔽物を透過する波長帯域の光を照射する領域の少なくとも一部を含む領域を撮像する。望ましくは、照射部 102 は、認証に用いられる対象が存在しうる範囲を照射範囲とし、撮像素子 104 は、対象が存在しうる範囲を撮像する。

　この結果、撮像素子 104 は、照射部 102 が照射した認証に用いる情報を有する対象の可視光帯域の撮像情報及び遮蔽物を透過する波長を含む領域 (例えば、赤外光帯域) の撮像情報を取得し、これらの撮像情報に対応する画像に関する情報を出力することができる。以下、可視光帯域の撮像情報から形成される画像を第 1 画像、遮蔽物を透過する波長帯域の撮像情報から形成される画像を第 2 画像と記載する。

　図1に戻り、撮像素子 104 は、撮像した情報を画像データに変換し、波長帯域ごとの画像データを取得する。撮像素子 104 は、例えば、受光素子において光電変換により取得したアナログデータをデジタルデータに変換して、画素 112 ごとに取得して情報処理回路 106 へと出力する。

　情報処理回路 106 は、撮像素子 104 から出力されるデジタルデータ (画像データ) を適切に処理して表示するための画像データを生成してもよい。情報処理回路 106 は、例えば、取得したデータのリニアマトリクス処理、欠陥補正処理等をして、画像データを生成してもよい。

　情報処理回路 106 は、適切に形成される第 1 画像から、遮蔽物の領域 (以下、遮蔽物領域と記載する。) を検出する。そして、情報処理回路 106 は、検出した遮蔽物領域に対応する第 2 画像の領域を抽出する。情報処理回路 106 は、第 1 画像又は検出した遮蔽物領域における第 2 画像のうち、少なくとも一方を用いて、認証に用いるデータを取得する。

　情報処理回路 106 はさらに、取得した認証に用いるデータを用いて、認証処理を実行し、認証結果を、入出力 I/F 110 を介して外部へと出力してもよい。この認証は、記憶部 108 に格納されている認証情報 (例えば、あらかじめ取得している対象を特定する情報) と、上記により取得した認証に用いるデータとを用いて、認証処理をすることができる。別の例として、情報処理回路 106 は、認証情報を入出力 I/F 110 を介して外部から取得することもできる。

　記憶部 108 は、固体撮像装置 1 において必要となるデータ、処理の中間データ又は処理されたデータが格納される。記憶部 108 は、例えば、各種 RAM (Random Access Memory) 、 ROM (Read Only Memory) 、 SSD (Solid State Drive) 等であってもよい。

　情報処理回路 106 の少なくとも一部の処理が、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、記憶部 108 は、このソフトウェアによる情報処理を実行するためのプログラム、実行ファイル等を格納してもよい。情報処理回路 106 は、記憶部 108 に格納されているプログラム等を参照することで、ソフトウェアによる情報処理を実現してもよい。

　入出力 I/F 110 は、固体撮像装置 1 の内部と外部とでデータを送受信するためのインタフェースである。このインタフェースは、任意の送受信可能な形式であってもよい。固体撮像装置 1 は、この入出力 I/F 110 を介して、情報処理回路 106 が処理した結果を外部へと送信したり、認証に必要となる情報を内部へと受信したりすることができる。また、この入出力 I/F 110 は、ボタン、タッチパネル、マイクといった入力インタフェース、ディスプレイ、ステレオといった出力インタフェースを備えてもよい。

　上記の構成の固体撮像装置 1 の処理について、説明する。

　図3は、一実施形態に係る固体撮像装置 1 の処理を示すフローチャートである。なお、限定されない一例として、固体撮像装置 1 がマスクをしている人物の顔を撮像の対象とし、個人認証用のデータを出力する場合について説明するが、照射部 102 が照射する波長帯域及び撮像素子 104 において光電変換する波長帯域は、その利用対象により別の波長帯域等に適宜変更することが可能である。

　固体撮像装置 1 は、照射部 102 により、対象を照射する (S100) 。照射部 102 は、遮蔽物を透過する波長帯域の光を照射する。照射部 102 は、例えば、人物の少なくとも顔が存在しうる領域に赤外領域の帯域の波長を照射する。

　撮像素子 104 は、照射部 102 が照射された範囲についての撮像し、可視光帯域における第 1 画像と、赤外光帯域における第 2 画像と、を取得する (S102) 。撮像素子 104 は、可視光帯域においては、例えば、 RGB の三原色の波長帯域に対応する情報を取得し、赤外光帯域においては、 1 又は複数の波長帯域に対応する情報を取得する。

　情報処理回路 106 は、取得した RGB の三原色の波長帯域に対応するデータから、対象における遮蔽物の領域を検出する (S104) 。情報処理回路 106 は、例えば、人物の顔の領域から、遮蔽物であるマスクの領域を検出する。

　情報処理回路 106 は、例えば、人物の顔の色の情報と、マスクの色の情報と、に基づいて、マスクの領域である遮蔽物領域を検出する。情報処理回路 106 は、別の例として、あらかじめ機械学習によりマスクをした人物の顔を含む画像からマスク領域を抽出するように学習された学習済みモデルを用いて、マスクの領域である遮蔽物領域を検出してもよい。学習において、教師データは、マスクをした人物と、当該人物におけるマスクの領域を指定したデータと、を用いることができる。

　情報処理回路 106 は、検出した遮蔽物領域に基づいて、第 2 画像から遮蔽物領域の画像を抽出する (S106) 。例えば、図２のような配列の撮像素子 104 を用いることで、第 1 画像と第 2 画像は、同じ座標で同じ対象空間の位置を表すことができる。このため、情報処理回路 106 は、第 1 画像において取得した遮蔽物領域の座標を取得し、当該座標における第 2 画像の輝度値を取得することにより、第 2 画像の遮蔽物領域の情報を取得することができる。

　情報処理回路 106 は、 S106 において抽出した画像からマスクの縁部分等に存在する影を削除する (S108) 。マスクにより影となっている箇所には、認証が有利となる情報がほとんど含まれない。このため、情報処理回路 106 は、第 2 画像において抽出された遮蔽物領域において、当該領域内に影がないかを確認し、影がある場合は、例えば、補間処理当により、当該影の影響を回避する。

　この影の検出においても、情報処理回路 106 は、学習済みモデルを用いることができる。この学習済みモデルは、例えば、教師データとして赤外光帯域におけるマスクで遮蔽された領域のデータと、影の領域を指定したデータ又は影の領域を削除し若しくは補間したデータと、を用いて学習することができる。

　情報処理回路 106 は、第 2 画像から抽出した遮蔽物領域の色情報を推定する (S110) 。情報処理回路 106 は、例えば、第 1 画像における遮蔽物領域以外の領域の色情報に基づいて、第 2 画像から抽出した遮蔽物領域の色を推定して、当該抽出した遮蔽物領域の可視光帯域の色情報を含んだ画像を取得してもよい。この色の推定は、ルールベースの処理により実行されてもよいし、学習済みモデルを用いて実行されてもよい。

　情報処理回路 106 は、例えば、遮蔽物領域以外の第 1 画像のデータ及び遮蔽物領域以外の第 2 画像のデータを用いて色に関する情報を比較して変換テーブルを作成し、この変換テーブルにしたがって、遮蔽物領域の第 2 画像のデータを可視光帯域の情報に変換することで色を推定してもよい。変換テーブルの作成は、任意の統計的手法を用いることができる。

　情報処理回路 106 は、例えば、あらかじめ機械学習により学習された、遮蔽物領域以外の第 1 画像のデータ及び第 2 画像のデータを入力すると、少なくとも遮蔽物領域を含む第 2 画像の一部又は全部のデータを出力する学習済みモデルを用いて、第 2 画像における遮蔽物領域の可視光帯域の色を推定してもよい。この学習済みモデルは、教師データとして同じ状況における可視光帯域の画像と、赤外光帯域との画像とを用いて、赤外光帯域の画像を可視光帯域の画像に変換するように学習されてもよい。

　いずれの場合においても、情報処理回路 106 は、複数の赤外光帯域のデータから第 2 画像を生成することにより、色の推定精度を向上させることができる。

　情報処理回路 106 は、第 1 画像から遮蔽物領域を削除した画像と、 S110 で取得した第 2 画像から色を推定した遮蔽物領域の画像と、を合成することで、可視光帯域における人物の顔の画像を取得する (S112) 。

　情報処理回路 106 は、合成画像について後処理を実行する (S114) 。後処理は、合成画像に関連する処理であり、例えば、合成画像を出力し、又は、合成画像を用いて認証処理を実行して認証結果を出力する処理であってもよい。

　固体撮像装置 1 は、 S112 で情報処理回路 106 が取得した合成画像を、認証に用いるデータとして出力してもよい。別の例として、固体撮像装置 1 内において、情報処理回路 106 が記憶部 108 に格納されている認証情報又は外部から取得した認証情報を用いて合成画像の認証処理を実行してもよい。

　認証処理は、任意の手法で実行することができる。認証処理は、例えば、画像から特徴点をルールベースの処理で抽出し、特徴点に基づいて実行されてもよいし、あらかじめ学習された学習済みモデルにより実行されてもよい。

　固体撮像装置 1 から認証に係るデータを取得した電子機器は、取得したデータを用いて認証処理を実行し、認証結果に基づいた処理をすることができる。固体撮像装置 1 から認証結果を取得した電子機器は、認証結果に基づいた処理をすることができる。

　以上のように、本実施形態によれば、可視光帯域で取得した遮蔽物がある対象に対して、遮蔽物を透過する波長帯域の光を照射して遮蔽物領域の像を取得し、色を推定することで、色情報を認証に用いることも可能となり、認証精度を向上させることができる。本実施形態に係る固体撮像装置 1 は、例えば、マスクを着用した人物がマスクを外すことなく精度の高い個人認証を実現することができる。

　また、固体撮像装置 1 で認証情報の取得が完結できるため、認証システムに組み込んだとしても、この認証システムは、認証に用いる装置の規模が小さく、また、複雑ではない態様で実現することができる。

　なお、情報処理回路 106 は、 S104 の前処理として、人物の顔等の対象物を抽出する処理を実行してもよい。このように対象を明確にすることで、認証の精度をより向上させることができる。この抽出処理もルールベース又は学習済みモデルを用いて実行してもよい。

　また、色の推定の処理については省略してもよく、色以外の形状等の情報から認証を実行する形態であってもよい。

　(第 2 実施形態)
　前述の第 1 実施形態では、それぞれの帯域で出力された画像を合成することで、可視光帯域の遮蔽物を除いた対象全体の画像を推定して認証情報を生成したが、これに限定されるものではない。本実施形態においては、異なる帯域の画像からそれぞれに特徴を抽出する例について説明する。

　図4は、第 2 実施形態に係る固体撮像装置 1 の処理を示すフローチャートである。

　照射部 102 、撮像素子 104 及び情報処理回路 106 における S100 から S106 の処理は、前述の実施形態と同様である。すなわち、照射部 102 が照射した (S100) 光の波長を含む帯域と可視光帯域における対象の画像を撮像素子 104 が取得し（S102）、情報処理回路 106 は、取得した第 1 画像から遮蔽物領域を検出する（S104）。

　次に、情報処理回路 106 は、第 1 画像から遮蔽物領域を除いた画像及び第 2 画像から特徴量を抽出する (S120) 。この特徴量の検出は、例えば、ルールベースの処理に基づいて実行されてもよいし、別の例として、あらかじめ学習された学習済みモデルを用いて実行されてもよい。学習済みモデルは、例えば、画像から特徴量を符号化により取得するエンコーダとして任意の手法で学習されたモデルであってもよいし、ターゲットとする特徴量を教師データとして用いて学習されたモデルであってもよい。エンコーダは、限定されない一例として、オートエンコーダを用いて取得したモデルであってもよい。

　情報処理回路 106 は、例えば、第 1 画像から遮蔽物領域を除いた画像から可視光帯域における第 1 特徴を抽出し、第 2 画像から赤外光帯域における第 2 特徴を抽出する。この結果、可視光帯域における色情報を含むマスク領域以外の顔の特徴と、赤外光帯域における色情報以外の顔の特徴とを同じタイミングで取得することができる。

　第 1 特徴は、例えば、目、鼻、輪郭、耳、といった色情報を含む形状の特徴を含んでもよい。第 2 特徴は、例えば、血管 (静脈等) の情報、凹凸の情報といった可視光帯域の色情報からは取得しづらい情報を含んでもよい。

　情報処理回路 106 は、特徴に関する後処理を実行する (S122) 。

　固体撮像装置 1 は、前述の実施形態と同様に、後処理として、第 1 特徴及び第 2 特徴に基づいた認証処理を実行し、この認証結果を出力しても良いし、第 1 特徴及び第 2 特徴に係るデータ自体を出力してもよい。

　以上のように、本実施形態に係る固体撮像装置 1 によれば、可視光帯域における特徴と、遮蔽物を透過する波長帯域 (例えば、赤外光帯域) における別の特徴と、に基づいた認証にもちいるデータを取得し、認証処理を実現することが可能となる。この結果、色情報を用いて認証を実行する前述の第 1 実施形態よりも精度の高い認証を実現することもできる。

　(第 3 実施形態)
　前述の第 1 実施形態及び第 2 実施形態においては、遮蔽物がある場合について説明したが、もちろん遮蔽物が無い場合もある。本実施形態では、遮蔽物がない場合についての処理を含めた固体撮像装置について説明する。第 1 実施形態に基づいた説明をするが、もちろん、第 2 実施形態においても同様に適用することが可能である。

　図5は、第 3 実施形態に係る固体撮像装置 1 の処理を示すフローチャートである。同じ符号の処理は、原則的に前述の実施形態における説明と同じ処理であるので説明は省略する。

　情報処理回路 106 は、遮蔽物領域の検出をした (S104) 後、遮蔽物があるか否かを判定してもよい (S140) 。

　遮蔽物を検出した場合 (S140: YES) 、固体撮像装置 1 は、第 1 実施形態と同様の処理を実行する。

　遮蔽物を検出しない場合 (S140: NO) 、情報処理回路 106 は、取得した第 1 画像に対して、後処理を実行する (S114) 。第 2 実施形態に適用する場合には、情報処理回路 106 は、第 1 画像及び第 2 画像に対して後処理を実行する。

　以上のように、固体撮像装置 1 は、例えば、人物がマスクをしているか否かを判定し、この判定結果により、処理を変更してもよい。本実施形態によれば、マスクを着用していない場合には、適切に、可視光帯域の第 1 画像に対して後処理をすることができる。

　(第 4 実施形態)
　前述の第 1 実施形態、第 2 実施形態及び第 3 実施形態においては、遮蔽物が単数である場合について説明したが、もちろん遮蔽物が複数である場合もある。本実施形態では、遮蔽物が複数ある場合についての処理を含めた固体撮像装置について説明する。第 1 実施形態に基づいた説明をするが、もちろん、第 2 実施形態及び第 3 実施形態においても同様に適用することが可能である。

　図6は、第 4 実施形態に係る固体撮像装置 1 の処理を示すフローチャートである。同じ符号の処理は、原則的に前述の実施形態における説明と同じ処理であるので説明は省略する。

　 S112 の処理の後、情報処理回路 106 は、遮蔽物が単数であるか、又は、複数の遮蔽物が存在する場合には全ての遮蔽物に対して合成 (第 2 実施形態においては特徴抽出) が完了しているかを判定する (S160) 。

　情報処理回路 106 は、 S104 の処理において、遮蔽物領域の検出を行ったタイミングで、遮蔽物領域が連続した 1 つの領域であるか、又は、それぞれが離れた位置にある連続した複数の領域であるか、を判定することができる。

　 1 つの連続した領域を複数の領域であるとの誤判定を回避するために、情報処理回路 106 は、例えば、遮蔽物領域に対してディレーション処理、クロージング処理等のモルフォロジー処理、又は、その他の処理を実行して、領域が単数であるか複数であるかを判定してもよい。

　連続であるか否かは、例えば、 4 連結又は 8 連結により判定してもよい。

　また、これらの処理は、学習済みモデルを用いて実行されてもよい。

　遮蔽物が単数であった場合、又は、全ての遮蔽物に対して合成処理 (第 2 実施形態においては特徴抽出処理) が完了している場合 (S160: YES) 、情報処理回路 106 は、画像 (第 2 実施形態においては特徴データ) に対して後処理をする (S114) 。

　遮蔽物が複数であり、全ての遮蔽物に対して合成処理等が完了していない場合 (S106: NO) 、情報処理回路 106 は、 S106 からの処理を繰り返す。

　以上のように、本実施形態に係る固体撮像装置 1 によれば、複数の遮蔽物、例えば、人物の顔に対するマスクと眼鏡又はサングラスが着用されている場合においても、適切に処理を実行することができる。

　なお、複数の遮蔽物の領域は、本実施形態のように別個のラベリング等されているものであってもよいし、別個のラベリングではなく、遮蔽物の座標情報だけを取得しているものであってもよい。座標情報だけを取得している場合、情報処理回路 106 は、この座標情報に基づいて第 2 画像との合成、又は、第 1 画像における特徴抽出からの領域の除外等の処理を実行することもできる。

　各実施形態で説明した固体撮像装置 1 は、限定されない一例として、防犯カメラや監視カメラといった電子機器において用いることが可能であり、撮像範囲に立ち入った対象 (人間) の顔の特徴を、マスクを着用している状態において取得することができる。

　図7は、一実施形態に係る監視システムの一例を示す図である。監視システム 2 は、固体撮像装置 1 と、データベース 20 と、出力部 24 と、任意に認証装置 22 と、を備える。固体撮像装置 1 において認証処理をする場合には、認証装置 22 は、省略してもよい。

　データベース 20 は、監視対象の画像又は特徴量を登録するデータベースである。固体撮像装置 1 は、データベース 20 に登録されている認証情報を用いて、撮像したデータから取得したデータの認証処理を実行してもよい。

　認証装置 22 が備えられる場合には、認証装置 22 が固体撮像装置 1 から出力された認証に関するデータと、データベース 20 に登録されている認証情報と、を用いて認証処理を実行してもよい。

　固体撮像装置 1 又は認証装置 22 は、固体撮像装置 1 が取得した認証に関するデータを新たな監視対象としてデータベース 20 に登録してもよい。また、認証が学習済みモデルで実装される場合には、固体撮像装置 1 の情報処理回路 106 又は外部の情報処理装置により、新たな認証対象が加えられた場合に、再学習をすることもできる。

　固体撮像装置 1 又は認証装置 22 は、出力部 24 を介して認証結果を出力することができる。例えば、監視対象となる人物を検出した場合には、それらは、出力部 24 を介して管理者にアラートを出力することができる。

　また、各実施形態で説明した固体撮像装置 1 は、限定されない一例として、施設等の入門ゲート、通過ゲートにおける個人認証に用いるデータを取得する電子機器において用いることができる。

　図8は、一実施形態に係るゲートシステムの一例を示す図である。ゲートシステム 3 は、固体撮像装置 1 と、データベース 20 と、制御装置 26 と、ゲート 28 と、任意で認証装置 22 と、を備える。ゲートシステム３は、ゲート 28 を通過しようとする人物の認証処理を実行し、認証された場合には、ゲートを開けるシステムである。

　固体撮像装置 1 、データベース 20 及び認証装置 22 のデータの出力については図7の場合と同様である。

　固体撮像装置 1 又は認証装置 22 は、認証結果を制御装置 26 へと出力する。別の例として、それらは、認証結果そのものではなく、認証が OK 、すなわち、ゲートを通過する許可がある人物であると認証された場合に、その旨を示す信号を制御装置 26 へと送信することもできる。

　制御装置 26 は、ゲートを通過する許可がある人物であると判定された場合に、ゲート 28 を開ける処理を実行してもよい。

　その他、種々の認証システムにおいて組み込まれることが可能である。また、別の例として、工場のライン等において、流れてくる製品について、遮蔽物がある場合の非破壊的な検査等にも用いることができる。

　前述した実施形態は、以下のような形態としてもよい。

　(1)
　遮蔽物を透過する波長を含む光を照射する、照射部と、
　可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する、撮像部と、
　前記画像データの情報処理をする、情報処理回路と、
　を備え、
　前記情報処理回路は、
　　前記第 1 画像から、前記遮蔽物の領域である遮蔽物領域を検出し、
　　前記第 2 画像において前記遮蔽物領域の画像を抽出し、
　　前記第 1 画像又は前記遮蔽物領域における前記第 2 画像のうち少なくとも一方を用いて、認証に用いる情報を取得する、
　固体撮像装置。

　(2)
　前記情報処理回路は、前記遮蔽物領域の前記第 2 画像から前記遮蔽物の影を除去する、
　(1)に記載の固体撮像装置。

　(3)
　前記情報処理回路は、
　　前記第 1 画像における色情報に基づいて、前記第 2 画像における色情報を推定し、
　　前記第 1 画像から前記遮蔽物領域を削除した画像と、前記第 2 画像に推定した色情報を付加した前記遮蔽物領域の画像と、を合成して前記認証に用いる情報を取得する、
　(1)又は(2)に記載の固体撮像装置。

　(4)
　前記情報処理回路は、前記画像データにおける前記遮蔽物領域以外の領域における、前記第 1 画像のデータ及び第 2 画像のデータに基づいて、前記遮蔽物領域における色情報を推定する、
　(3)に記載の固体撮像装置。

　(5)
　前記情報処理回路は、前記遮蔽物領域として連続しない複数領域を抽出した場合、前記複数領域のそれぞれについて、前記合成を実行する、
　(3)又は(4)に記載の固体撮像装置。

　(6)
　前記情報処理回路は、
　　前記第 1 画像から前記遮蔽物領域を削除した画像から、可視光における第 1 特徴を抽出し、
　　前記第 2 画像から前記遮蔽物を透過する波長帯域における第 2 特徴を抽出し、
　　前記第 1 特徴及び前記第 2 特徴を認証に用いる情報として取得する、
　(1)から(5)のいずれかに記載の固体撮像装置。

　(7)
　前記情報処理回路は、前記第 1 画像において前記遮蔽物を検出しなかった場合に、前記第 1 画像を認証に用いる情報とする、
　(1)から(6)のいずれかに記載の固体撮像装置。

　(8)
　前記撮像部は、少なくとも人物の顔を含む領域の画像を取得し、
　前記情報処理回路は、前記人物の認証に用いる情報を取得する、
　(1)から(7)のいずれかに記載の固体撮像装置。

　(9)
　前記遮蔽物は、マスクである、
　(8)に記載の固体撮像装置。

　(10)
　前記遮蔽物は、眼鏡又はサングラスのレンズである、
　(8)又は(9)に記載の固体撮像装置。

　(11)
　遮蔽物を透過する波長を含む光を照射する、照射部と、
　可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する、撮像部と、
　前記画像データの情報処理をする、情報処理回路と、
　を備え、
　前記情報処理回路は、
　　前記第 1 画像から、前記遮蔽物の領域である遮蔽物領域を検出し、
　　前記第 2 画像において前記遮蔽物領域の画像を抽出し、
　　前記第 1 画像又は前記遮蔽物領域における前記第 2 画像のうち少なくとも一方を用いて、認証に用いる情報を取得し、
　　取得した情報に基づいて、認証処理を実行し、
　　認証により判定した結果を出力する、
　電子機器。

　(12)
　認証情報を格納する、記憶部、
　をさらに備え、
　前記情報処理回路は、前記画像データに基づいて取得した認証に用いる情報と、前記記憶部に格納されている前記認証情報と、を比較して、認証処理を実行する、
　(11)に記載の電子機器。

　(13)
　前記情報処理回路は、
　　外部から、認証情報を取得し、
　　前記画像データに基づいて取得した認証に用いる情報と、外部から取得した前記認証情報と、を比較して、認証処理を実行する、
　(11)又は(12)に記載の電子機器。

　(14)
　監視カメラである、
　(11)から(13)のいずれかに記載の電子機器。

　(15)
　入出門ゲートにおける認証処理を実行する、
　(11)から(13)のいずれかに記載の電子機器。

　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

　1: 固体撮像装置、
　 100: 光学系、
　 102: 照射部、
　 104: 撮像素子、
　 106: 情報処理回路、
　 108: 記憶部、
　 110: 入出力 I/F、
　 112: 受光画素
　2: 監視システム、
　3: ゲートシステム、
　 20: データベース、
　 22: 認証装置、
　 26: 制御装置、
　 28: ゲート

Claims

　遮蔽物を透過する波長を含む光を照射する、照射部と、
　可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する、撮像部と、
　前記画像データの情報処理をする、情報処理回路と、
　を備え、
　前記情報処理回路は、
　　前記第 1 画像から、前記遮蔽物の領域である遮蔽物領域を検出し、
　　前記第 2 画像において前記遮蔽物領域の画像を抽出し、
　　前記第 1 画像又は前記遮蔽物領域における前記第 2 画像のうち少なくとも一方を用いて、認証に用いる情報を取得する、
　固体撮像装置。
　前記情報処理回路は、前記遮蔽物領域の前記第 2 画像から前記遮蔽物の影を除去する、
　請求項1に記載の固体撮像装置。
　前記情報処理回路は、
　　前記第 1 画像における色情報に基づいて、前記第 2 画像における色情報を推定し、
　　前記第 1 画像から前記遮蔽物領域を削除した画像と、前記第 2 画像に推定した色情報を付加した前記遮蔽物領域の画像と、を合成して前記認証に用いる情報を取得する、
　請求項1に記載の固体撮像装置。
　前記情報処理回路は、前記画像データにおける前記遮蔽物領域以外の領域における、前記第 1 画像のデータ及び第 2 画像のデータに基づいて、前記遮蔽物領域における色情報を推定する、
　請求項3に記載の固体撮像装置。
　前記情報処理回路は、前記遮蔽物領域として連続しない複数領域を抽出した場合、前記複数領域のそれぞれについて、前記合成を実行する、
　請求項3に記載の固体撮像装置。
　前記情報処理回路は、
　　前記第 1 画像から前記遮蔽物領域を削除した画像から、可視光における第 1 特徴を抽出し、
　　前記第 2 画像から前記遮蔽物を透過する波長帯域における第 2 特徴を抽出し、
　　前記第 1 特徴及び前記第 2 特徴を認証に用いる情報として取得する、
　請求項1に記載の固体撮像装置。
　前記情報処理回路は、前記第 1 画像において前記遮蔽物を検出しなかった場合に、前記第 1 画像を認証に用いる情報とする、
　請求項1に記載の固体撮像装置。
　前記撮像部は、少なくとも人物の顔を含む領域の画像を取得し、
　前記情報処理回路は、前記人物の認証に用いる情報を取得する、
　請求項1に記載の固体撮像装置。
　前記遮蔽物は、マスクである、
　請求項8に記載の固体撮像装置。
　前記遮蔽物は、眼鏡又はサングラスのレンズである、
　請求項8に記載の固体撮像装置。
　遮蔽物を透過する波長を含む光を照射する、照射部と、
　可視光帯域の光及び前記照射部が照射する波長を含む光を受光可能であり、前記照射部が照射する領域の少なくとも一部を含む領域を撮像し、前記可視光帯域の第 1 画像と、前記遮蔽物を透過する波長帯域の第 2 画像と、を含む画像データを取得する、撮像部と、
　前記画像データの情報処理をする、情報処理回路と、
　を備え、
　前記情報処理回路は、
　　前記第 1 画像から、前記遮蔽物の領域である遮蔽物領域を検出し、
　　前記第 2 画像において前記遮蔽物領域の画像を抽出し、
　　前記第 1 画像又は前記遮蔽物領域における前記第 2 画像のうち少なくとも一方を用いて、認証に用いる情報を取得し、
　　取得した情報に基づいて、認証処理を実行し、
　　認証により判定した結果を出力する、
　電子機器。
　認証情報を格納する、記憶部、
　をさらに備え、
　前記情報処理回路は、前記画像データに基づいて取得した認証に用いる情報と、前記記憶部に格納されている前記認証情報と、を比較して、認証処理を実行する、
　請求項11に記載の電子機器。
　前記情報処理回路は、
　　外部から、認証情報を取得し、
　　前記画像データに基づいて取得した認証に用いる情報と、外部から取得した前記認証情報と、を比較して、認証処理を実行する、
　請求項11に記載の電子機器。
　監視カメラである、
　請求項11に記載の電子機器。
　入出門ゲートにおける認証処理を実行する、
　請求項11に記載の電子機器。