JP7815286B2 - 鏡面反射情報の決定 - Google Patents

鏡面反射情報の決定

Info

Publication number
JP7815286B2
JP7815286B2 JP2023575417A JP2023575417A JP7815286B2 JP 7815286 B2 JP7815286 B2 JP 7815286B2 JP 2023575417 A JP2023575417 A JP 2023575417A JP 2023575417 A JP2023575417 A JP 2023575417A JP 7815286 B2 JP7815286 B2 JP 7815286B2
Authority
JP
Japan
Prior art keywords
illumination
imaging system
imaging
spectral band
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023575417A
Other languages
English (en)
Other versions
JPWO2022258484A5 (ja
JP2024522014A (ja
Inventor
マシヴァナン ダモダラン
ジョナサン アランブラ パレロ
バブ ヴァルギーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2024522014A publication Critical patent/JP2024522014A/ja
Publication of JPWO2022258484A5 publication Critical patent/JPWO2022258484A5/ja
Application granted granted Critical
Publication of JP7815286B2 publication Critical patent/JP7815286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、特定の条件におけるイメージングで使用するための方法、有形機械可読媒体及び装置に関する。
非干渉的測定及びモニタリングの分野における関心トピックは、パーソナルケア及びヘルスアプリケーション用のスキンセンシングに関する。肌(皮膚)の定量化や、検出するにはあまりにも小さい、気づくにはあまりにも微かである、又は追従するにはあまりにも遅々としている情報をユーザに提供する肌の特徴のモニタリングを可能にするスキンセンシングシステムが開発されている。ユーザが許容できる結果を実現するために、そのようなスキンセンシングシステムは、スキンセンシングを実行する際に感度及び特異性を提供する必要がある。そのようなスキンセンシングシステムによって取られた測定値の提供が、堅牢且つ信頼性が高いことが証明されると、ユーザは、これらのスキンセンシングシステムに対する信頼を確立する。
イメージングベースのスキンセンシングシステムは、ユーザの肌についての特定の情報を決定するために、様々なイメージング技法を実施する。そのような情報は、ユーザの肌の艶の良さなどのパラメータを含む。肌艶の良さを決定するための特定のシステムは、高価で、複雑であり、且つ/又は嵩張る。
本明細書で説明される態様又は実施形態は、対象者の表面の艶の良さなどの特定の情報を決定することに関する。本明細書で説明される態様又は実施形態は、そのような情報を決定するためのシステムの費用、複雑さ及び/又は嵩張りに関連付けられた1つ又は複数の問題を回避する。
第1の態様では、方法について説明する。本方法は、コンピュータ実施方法である。コンピュータ実施方法は、第1のスペクトル帯域における第1の照明及び第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明によって照明された対象者のイメージングシステムによって取得された第1及び第2のイメージングデータを受信するステップを有する。対象者に入射する第2の照明は、偏光されている。
受信される第1のイメージングデータは、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、イメージングシステムの第1のカラーフィルタが第1のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第2のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第1のスペクトル帯域内で取得される。
受信される第2のイメージングデータは、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、イメージングシステムの第2のカラーフィルタが第2のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第1のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第2のスペクトル帯域内で取得される。
鏡面反射及び拡散反射された第1の照明がイメージングシステムに入光され、拡散反射された第2の照明がイメージングシステムに入光されるように、対象者の表面からの反射後にイメージングシステムによって受光される反射された第1及び第2の照明の偏光状態に応じて、第1及び第2の照明は、イメージングシステムのイメージングシステム偏光子を介してイメージングシステムに入光される。
コンピュータ実施方法は、第1のイメージングデータと第2のイメージングデータとを比較することによって対象者の表面からの鏡面反射に関する情報を決定するステップをさらに有する。
第1の態様に関するいくつかの実施形態について、以下で説明する。
いくつかの実施形態では、第1のイメージングデータが取得される時間フレームは、第2のイメージングデータが取得される時間フレームと少なくとも部分的に重複する。
いくつかの実施形態では、第1及び第2のイメージングデータは、同時に取得される。
いくつかの実施形態では、イメージングシステム偏光子は、イメージングシステム偏光子の偏光軸に平行な電場成分を持つ反射された第1及び第2の照明をイメージングシステムに入光させるように構成される。イメージングシステム偏光子は、偏光軸に垂直な電場成分を持つ反射された第1及び第2の照明を減衰させるようにさらに構成される。
いくつかの実施形態では、鏡面反射に関する情報は、対象者の肌の艶レベルを示す。艶レベルは、第1のイメージングデータにおける強度情報と第2のイメージングデータにおける強度情報との間の差分を計算することによって決定される。
いくつかの実施形態では、第1及び第2のカラーフィルタは、カラーフィルタアレイの一部である。カラーフィルタアレイは、イメージングシステムの少なくとも1つのイメージングデバイスが、第1のスペクトル帯域内の第1のイメージングデータ及び第2のスペクトル帯域内の第2のイメージングデータを取得することを可能にするように構成される。コンピュータ実施方法は、少なくとも1つのイメージングデバイスによって取得された生イメージングデータから、第1のイメージングデータを第2のイメージングデータとは別個に抽出するステップをさらに有する。
第2の態様では、有形機械可読媒体について説明する。この有形機械可読媒体は、処理回路によって実行されると、処理回路に、第1の態様又は任意の関連する実施形態の方法を実施させる命令を備える。
第3の態様では、装置について説明する。本装置は、処理回路を備える。処理回路は、受信モジュール及び決定モジュールを備える。
受信モジュールは、第1のスペクトル帯域における第1の照明及び第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明によって照明された対象者のイメージングシステムによって取得された第1及び第2のイメージングデータを受信するように構成される。対象者に入射する第2の照明は、偏光されている。
受信される第1のイメージングデータは、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、イメージングシステムの第1のカラーフィルタが第1のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第2のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第1のスペクトル帯域内で取得される。
受信される第2のイメージングデータは、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、イメージングシステムの第2のカラーフィルタが第2のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第1のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第2のスペクトル帯域内で取得される。
鏡面反射及び拡散反射された第1の照明がイメージングシステムに入光され、拡散反射された第2の照明がイメージングシステムに入光されるように、対象者の表面からの反射後にイメージングシステムによって受光される反射された第1及び第2の照明の偏光状態に応じて、第1及び第2の照明は、イメージングシステムのイメージングシステム偏光子を介してイメージングシステムに入光される。
決定モジュールは、第1のイメージングデータと第2のイメージングデータとを比較することによって対象者の表面からの鏡面反射に関する情報を決定するように構成される。
第3の態様に関するいくつかの実施形態について以下で説明する。
いくつかの実施形態では、決定モジュールは、第1のイメージングデータと第2のイメージングデータとの間の比較に基づいて対象者の肌の艶の良さの測定値を決定するように構成される。
いくつかの実施形態では、装置は、イメージングシステム、並びに/又は第1及び第2の照明を提供するように構成された照明システムをさらに備える。
いくつかの実施形態では、イメージングシステム偏光子は、イメージングシステム偏光子の偏光軸に平行な電場成分を持つ反射された第1及び第2の照明をイメージングシステムに入光させるように構成される。イメージングシステム偏光子は、偏光軸に垂直な電場成分を持つ反射された第1及び第2の照明のイメージングシステムへの入光を防止するようにさらに構成される。
いくつかの実施形態では、照明システムは、対象者に向けられた第2の照明を偏光させるように構成された照明システム偏光子を備える。イメージングシステム偏光子の偏光軸は、照明システム偏光子の偏光軸に直交する。
いくつかの実施形態では、照明システムは、対象者に向けられた第1の照明が無偏光となるように構成されるか、又は照明システムは、対象者に向けられた第1の照明の偏光状態が対象者に向けられた第2の照明の偏光状態に直交するように、対象者に向けられた第1の照明を偏光させるように構成された追加の照明システム偏光子を備える。
いくつかの実施形態では、照明システムは、対象者の表面から反射された第1及び第2の照明の鏡面反射成分及び拡散反射成分の両方が、反射された第1及び第2の照明の偏光状態に応じて内部への入光のためにイメージングシステム内に向けられるように、第1及び第2の照明を対象者に向けるように構成される。
いくつかの実施形態では、イメージングシステムは、少なくとも1つのイメージングデバイス及び光フィルタアレイを備える。光フィルタアレイは、第1のカラーフィルタ及び第2のカラーフィルタを備える。
光フィルタアレイは、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、イメージングシステム内への第1のスペクトル帯域の少なくとも一部を、少なくとも1つのイメージングデバイスの第1のピクセルのセットに通すように構成される。
光フィルタアレイは、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、イメージングシステム内への第2のスペクトル帯域の少なくとも一部を、少なくとも1つのイメージングデバイスの第2の異なるピクセルのセットに通すようにさらに構成される。
本発明のこれら及び他の態様は、以下で説明する実施形態を参照して明らかとなり、解明されるであろう。
ここで、例示のみを目的として以下の図面を参照し、本発明の例示的実施形態について説明する。
一実施形態による対象者の表面についての特定の情報を決定する方法を示す図である。 一実施形態による対象者の表面についての特定の情報を決定するためのシステムの概略図である。 一実施形態による対象者の表面についての特定の情報を決定するためのシステムの概略図である。 図3のシステムの特定の構成要素の例示の光学的パラメータを示す図である。 一実施形態による対象者の表面についての特定の情報を決定する方法の表現の概略図である。 一実施形態による対象者の表面についての特定の情報を決定する方法を示す図である。 一実施形態による対象者の表面についての特定の情報を決定するための機械可読媒体の概略図である。 一実施形態による対象者の表面についての特定の情報を決定するための装置の概略図である。
肌の美しさの想定によっては、脂っぽく見えることなく自然で明るい艶を持つように見える肌が望ましい。肌の見え方は、光の肌との相互作用に依存する。見た目の艶のレベルは、肌に入射する様々な角度の光から生じる下地となる表面及び表面下の反射に依存する。
肌艶の測定は、特定のスキンケアソリューションの効力試験における関心事である。例えば、肌艶は、肌の美しさに関連しており、個人の自信及び/又は特定の容姿の達成に影響を及ぼす。
メイクアップや保湿剤などのスキンケア製品が肌に塗布されると、肌の見た目の艶に影響を与える。さらに、肌洗浄デバイス、シェーバー、角質除去器、水分補給デバイス、肌刺激装置(例えば、機械的、電気的、光学的)又は(例えば、美容などの理由により)肌の外観を変化させる任意の他のデバイスなどのいくつかのデバイスもまた、肌の見た目の艶に影響を与える。スキンケア製品及び/又はデバイスは、パーソナルケア計画の一部として使用される。
特定のパーソナルケア計画は、(例えば、パーソナルケア計画の前及び/又は後に)肌の艶を特徴付けすることを伴う。(例えば、肌艶を決定するために)自身の肌を特徴付けすることに関心を持つユーザは、本明細書で説明される特定の実施形態を使用してそのような特徴付けに有用な情報を決定する。この情報は、パーソナルケア計画を評価するのに有用となる。
図1は、対象者の表面(例えば、ユーザの肌)についての特定の情報を決定する方法100(例えば、コンピュータ実施方法)を示す。方法100は、ユーザデバイス、又は(ユーザデバイスに通信可能に結合された)サーバ若しくはクラウドベースのサービスなどのコンピュータによって実施される。ユーザデバイスの一例としては、スマートフォン、タブレット、スマートミラー、又は以下で説明するようにイメージングデータを処理することが可能な任意の他のデバイスなどのスマートデバイスが挙げられる。
方法100は、ブロック102において、第1及び第2のイメージングデータを受信するステップを有する。
以下でより詳細に説明するように、第1及び第2のイメージングデータは、(方法100のブロック102に従って受信される前に)イメージングシステムによって取得される。イメージングデータは、第1の照明及び第2の照明によって照明された対象者のイメージングシステムによって取得された少なくとも1つの画像から導出されたピクセル強度情報などの情報を指す。第1の照明は、第1のスペクトル帯域にあり、第2の照明は、第2のスペクトル帯域にある。第2のスペクトル帯域は、第1のスペクトル帯域とは異なるスペクトル内容を含む。第1のスペクトル帯域は、第2のスペクトル帯域と重複する場合もしない場合もある。第1及び第2のスペクトル帯域のさらなる詳細は、以下でより詳しく説明する。対象者に入射する第2の照明は、偏光されている(例えば、直線偏光されている)。
受信される第1のイメージングデータは、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、イメージングシステムの第1のカラーフィルタが第1のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第2のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第1のスペクトル帯域内で取得される。
受信される第2のイメージングデータは、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、イメージングシステムの第2のカラーフィルタが第2のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第1のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第2のスペクトル帯域内で取得される。
したがって、イメージングシステムは、第1のイメージングデータ及び第2のイメージングデータの両方を取得し、第1及び第2のイメージングデータでは反射情報が異なっていることが明らかであるという点で、第2のイメージングデータは、第1のイメージングデータとは区別される。
第1のイメージングデータは、第1のスペクトル帯域内で実行されるイメージングに対応する。第2のイメージングデータは、第2のスペクトル帯域内で実行されるイメージングに対応する。第1及び第2のイメージングデータを取得するために使用されるチャネル間のスペクトル重複、並びに第1のスペクトル帯域と第2のスペクトル帯域との間のスペクトル重複に応じて、第1のイメージングデータは、第2の照明から導出された情報を含む場合も含まない場合もあり、逆も同様である。
本明細書で説明されるイメージングシステムの実施形態は、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分(例えば、ピクセル強度値の合計の少なくとも50%)が、第1の照明から導出されることを確実にするためのやり方を提供する。同様に、そのような実施形態は、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分(例えば、画像からのピクセル強度値の合計の少なくとも50%)が、第2の照明から導出されることを確実にするためのやり方を提供する。
言い換えれば、第1のイメージングデータに登録された総強度情報(例えば、第1のイメージングデータ内のピクセル強度値の合計)の少なくとも50%(すなわち、大部分)は、第1の照明(例えば、「赤色」光)が、イメージングシステムに入光され、イメージングシステムのイメージングデバイスのピクセルによって検出されることによって生じる。対応するように、第1のイメージングデータに登録された総強度情報(例えば、第1のイメージングデータ内のピクセル強度値の合計)の50%未満(すなわち、「少数部分」)は、第2の照明(例えば、「青色」光)が、イメージングシステムに入光され、イメージングシステムのイメージングデバイスのピクセルによって検出されることによって生じる。対応する論理が、第2のイメージングデータに適用される。
第1及び第2の照明は、鏡面反射及び拡散反射された第1の照明がイメージングシステムに入光され、拡散反射された第2の照明がイメージングシステムに入光されるように、対象者の表面からの反射後にイメージングシステムによって受光される、反射された第1及び第2の照明の偏光状態に応じてイメージングシステムのイメージングシステム偏光子を介してイメージングシステムに入光される。
以下でより詳細に説明するように、対象者に入射する(すなわち、向けられる)第1及び第2の照明は、特定の初期偏光状態を持つ(例えば、偏光されている又は無偏光である)。対象者の表面(及び/又は表面下)から反射されると、この偏光状態は、保持される場合もされない場合もある。例えば、拡散反射された照明は、表面に入射する照明の偏光状態(例えば、表面の「粗さ」が、反射後の偏光状態を少なくとも部分的にランダム化する)に関わらず無偏光である(又はランダム偏光される)。しかしながら、表面に入射する照明が当初に偏光されている場合、鏡面反射された照明は、表面に入射する照明の偏光状態を少なくとも部分的に維持する。表面に入射する無偏光の照明は、鏡面反射後も無偏光のままとなる。ただし、場合によっては、表面に入射する無偏光の照明は、入射の角度に応じて反射後に少なくとも部分的に偏光される。
イメージングシステムは、鏡面反射及び拡散反射された照明が、イメージングシステムへの入射時(すなわち、表面からの反射後)のその偏光状態に応じてイメージングシステムに入光されたりされなかったりするように構成される。
方法100は、ブロック104において、第1のイメージングデータと第2のイメージングデータとを比較することによって対象者の表面からの鏡面反射に関する情報を決定するステップをさらに有する。
上述したように、第1のイメージングデータは、鏡面反射及び拡散反射の両方が行われた第1の照明に関する情報を含む。第2のイメージングデータは、拡散反射された第2の照明に関する情報を含む。鏡面反射は、見た目の艶のレベルを示し、一方で拡散反射は、そのような鏡面反射を不明瞭にする。第1のイメージングデータと第2のイメージングデータとを比較することによって、比較により鏡面反射情報が拡散反射情報から分離されるため、鏡面反射に関する情報、したがって艶のレベルを決定することが可能となる。
したがって、いくつかの実施形態では、鏡面反射に関する情報は、対象者の肌の艶レベルを示す。艶レベルは第1のイメージングデータにおける強度情報と第2のイメージングデータにおける強度情報との間の差分を計算することによって決定される。同様の言葉で言い換えると、第1のイメージングデータと第2のイメージングデータとの間の比較の結果は、対象者の肌の艶の良さの測定値に相当する。
本明細書で説明される特定の実施形態は、比較的安価な手法で(例えば、顔全体の)肌艶の視覚化を容易にする。例えば、イメージングデバイスを備えたイメージングシステムを具備したスマートフォンなどのユーザデバイスは、第1及び第2のイメージングデータを取得することが可能である。場合によっては、ユーザデバイスに結合され得るか又はユーザデバイスとその場で使用され得る(例えば、偏光子及び/又は照明システムを備えた)ハードウェアモジュールなどの追加の機器が、第1及び第2のイメージングデータの取得を容易にするために(例えば、方法100で言及したように第1及び第2の照明をその偏光状態に応じて入光させるため、且つ/又は第1及び第2の照明を提供するために)使用される。他のケースでは、専用デバイスが、第1及び第2のイメージングデータを取得すること、第1及び第2の照明を提供すること、並びに/又は方法100で言及した情報を決定することを容易にするためのハードウェア及び対応する機能を備える。さらに、本明細書で説明される特定の実施形態は、肌艶の厳密且つ/又は正確な測定及び経時的な追跡/モニタリングの提供を容易にする。場合によっては、本明細書で説明される特定の実施形態は、鏡面反射情報を正確に決定するための直接的な/複雑さの低いやり方を提供する。本明細書で説明される特定の実施形態は、潜在的には異なるタイミングで別個の画像を取得する必要なしに、且つ/又は画像を取得するための複雑な照明若しくはイメージングシステムのセットアップを使用する必要なしに、イメージングデータにおける鏡面反射情報と拡散反射情報とを区別する高度に正確なやり方を提供する。鏡面反射情報及び拡散反射情報の両方を含む光ビームは、イメージングシステムにおける共通の経路/同じ角度を辿り、これにより、複雑さが軽減し、且つ/又は鏡面反射の寄与度のより正確な推定が可能となる。場合によっては、本明細書で説明される特定の実施形態は、以下で説明するように、例えば、イメージングシステムにおける偏光子の使用を通して、対象者の艶の測定の問題に対する比較的複雑さの低い(且つコスト効果の高い)解決策を提供する。
図2は、特定の実施形態による対象者の表面についての特定の情報を決定するためのシステム200を示す。システム200は、上記の方法100などの本明細書で説明される特定の方法を少なくとも部分的に実施する。いくつかの実施形態では、システム200の特定のブロックが省略される。
システム200は、対象者202によって使用されており、イメージングシステム204及び照明システム206を備える。イメージングシステム204は、方法100で言及したイメージングデータを取得するために使用される。照明システム206は、第1及び第2の照明206a、206bを提供するように構成される。イメージングシステム204及び/又は照明システム206は、ユーザデバイスなどの少なくとも1つのデバイスによって実装される。したがって、いくつかの実施形態では、別個のデバイスが、イメージングシステム204及び照明システム206を備え、他の実施形態では、同じデバイスが、イメージングシステム204及び照明システム206を備える。
システム200は、(例えば、本明細書で説明される特定の方法を実施するためにデバイス又はサーバ若しくはクラウドベースのサービスによって実装される処理回路を備えた)コンピュータ208をさらに備える。したがって、コンピュータ208は、これらのシステムとの間で送信及び/又は受信するためにイメージングシステム204及び/又は照明システム206に通信可能に結合される。このデータは、コンピュータ208の処理回路によって処理され、且つ/又は(例えば、コンピュータ208の、若しくはコンピュータ208の処理回路にアクセス可能な)メモリに記憶される。いくつかの実施形態では、コンピュータ208は、イメージングシステム204及び/又は照明システム206の動作を制御する。いくつかの実施形態では、コンピュータ208は、照明パラメータ(例えば、照明システム206のための動作パラメータ)及び/又は検出パラメータ(例えば、イメージングシステム204のための動作パラメータ)を制御し、取込画像又は動画を記憶及び/又は処理するための制御部を備える。
図2に示すように、第1の照明206a(実線)及び第2の照明206b(破線)の両方が、照明システム206によって対象者202の表面に向けられている。対象者に入射する第1及び第2の照明206a、206bは、次いで、反射され(例えば、鏡面反射及び/又は拡散反射され)、これにより、反射された照明206a、206bのうちの少なくとも一部が、イメージングシステム204の方へ、且つその中に向けられる。図2に示すように、入射光と反射光との間の角度は、対象者202に対するイメージングシステム204及び照明システム206の各々の位置に依存する。システム200の動作は、角度に強く依存するわけではないが、異なる角度は、照明206a、206bがどの程度、鏡面反射又は拡散反射されるのかに影響を与える。一実施形態では、入射の角度は、直入射に可能な限り近い(例えば、10度未満)が、イメージングシステム204及び照明システム206の構成に応じて他の角度の範囲も使用されることを理解されたい。
図3は、特定の実施形態による対象者の表面についての特定の情報を決定するためのシステム300の異なる図(a)及び(b)を示す。図(a)は、光軸を含む平面におけるシステム300の側面図である。図(b)は、光軸に対して垂直な平面におけるシステム300の特定の構成要素の正面図である。システム300の特徴の構成要素は、概略的であり、図3に示されるもの以外の任意の適切な配置で提供されてもよい。システム200における対応する特徴と同じか又は同様の機能を持つシステム300における特徴に対する参照符号は、100だけ増分される。システム300は、システム200の特定の対応する特徴(すなわち、イメージングシステム304、照明システム306及びコンピュータ308)を備える。システム300は、方法100などの本明細書で説明される特定の方法を少なくとも部分的に実施する。
次に、イメージングシステム304について説明する。
イメージングシステム304は、偏光デバイス(すなわち、「イメージングシステム偏光子」310)を備える。イメージングシステム偏光子310は、イメージングシステム偏光子310の偏光軸に平行な電場成分を持つ反射された第1及び第2の照明306a、306b(すなわち、対象者202の表面から反射された)をイメージングシステムに入光させ、偏光軸に垂直な電場成分を持つ反射された第1及び第2の照明306a、306bを減衰させるように構成される。イメージングシステム304への入光時に減衰される第1及び第2の照明306a、306bは、イメージングシステム偏光子310による吸収又は反射によって減衰される。「偏光軸」は、イメージングシステム304への入光のために選択される電場ベクトル方向を指す。例えば、照明306a、306bの電場ベクトルが偏光軸に対して平行である場合、偏光デバイスは、この照明306a、306bをイメージングシステム403に入光させる。
図3に示すように、イメージングシステム偏光子310の偏光軸は、第1及び第2の照明306a、306bの両方に対して同じである。したがって、場合によっては、単一又は「共通の」イメージングシステム偏光子310が、反射された第1及び第2の照明306a、306bの両方の(それらの偏光に応じた)イメージングシステム304への入光を制御するために使用される。共通のイメージングシステム偏光子310の使用は、反射された第1及び第2の照明306a、306bの入光を制御するための簡易な/低コストの配置を実現する。
場合によっては、イメージングシステム偏光子310は、偏光フィルタなどの(直線)偏光デバイスを備え、偏光フィルタは、照明306a、306bが、偏光フィルタの偏光軸(「透過軸」とも呼ばれる)に平行な非ゼロ電場(ベクトル)成分を含む場合に、第1及び第2の照明306a、306bの(少なくとも部分的な)透過を可能にする。偏光フィルタは、偏光フィルタの透過軸に垂直な非ゼロ電場(ベクトル)成分を含む場合に、第1及び第2の照明306a、306bの透過を減衰させる。
場合によっては、イメージングシステム偏光子310は、入射照明の偏光状態に応じて照明を透過又は反射することが可能な偏光ビームスプリッタ(PBS、図示せず)などの偏光デバイスを備える。そのような偏光デバイスは、特定の偏光状態の照明を偏光状態に応じてイメージングシステム304に入光させるように構成される(例えば、PBSの構成に応じて、PBSから反射された偏光されている照明が入光されるか又はPBSによって透過された偏光されている照明が入光される)。いずれにせよ、PBSの偏光軸は、どの偏光状態がイメージングシステム304に入光されるのかを選択するようなやり方で配向される。
したがって、照明306a、306bのうち、イメージングシステム偏光子310の偏光軸に垂直なゼロ電場ベクトル成分(及び偏光軸に平行な非ゼロ成分)を持つ部分は、イメージングシステム偏光子310によって、ほとんど又は全く減衰なしにイメージングシステム304に入光される。
しかしながら、照明306a、306bのうち、イメージングシステム偏光子310の偏光軸に平行なゼロ電場ベクトル成分(及び偏光軸に垂直な非ゼロ成分)を持つ部分は、イメージングシステム偏光子310によって減衰される(潜在的には完全に減衰される)。したがって、減衰のレベルは、イメージングシステム偏光子310の偏光軸に平行な電場ベクトル成分と偏光軸に垂直な電場ベクトル成分との比に依存する。
したがって、イメージングシステム偏光子310は、イメージングシステム304内に向けられた反射された照明306a、306bの偏光状態に応じて対象者302の表面から反射された第1及び第2の照明306a、306bを入光及び/又は減衰させる。
光軸(「z」)は、イメージングシステム304と対象者302との間に規定される。光軸は、「イメージング軸」とも呼ばれる。光軸zに対して、イメージングシステム偏光子310は、イメージングシステム偏光子310に隣接する点によって示される「x」方向における「水平」偏光軸を持つ(対応する「y」方向は図3に鉛直に示されている)。したがって、x軸に非ゼロ電場成分を持つ照明306a、306bは、イメージングシステム偏光子310によってイメージングシステム304に入光されるが、イメージングシステム偏光子310の偏光軸に垂直な非ゼロ電場成分があるかどうかに応じて減衰される場合がある。図3及び本開示の他の場所で示す座標系は、説明を補助するために提供されており、他の座標系も使用され得る。
本実施形態では、イメージングシステム偏光子310は、対象者302の表面からの反射後、鏡面反射及び拡散反射された第1の照明306aがイメージングシステム304に入光され、拡散反射された第2の照明306bがイメージングシステム304に入光されるように、イメージングシステム304によって受光される、反射された第1及び第2の照明306a、306bの偏光状態に応じて第1及び第2の照明306a、306bをイメージングシステム304に入光させるように構成される。イメージングシステム偏光子310によって入光された(すなわち、入光後の)照明306a、306bは、イメージングシステム偏光子310の偏光軸に垂直なゼロ電場成分を持つ(完全に効率的な偏光子を仮定しているが、実際にはあり得ない)。
いくつかの実施形態では、鏡面反射及び拡散反射された第1の照明306aは、対象者302に入射する反射された第1の照明306aの偏光状態に応じて減衰される。例えば、反射された第1の照明306aの偏光状態がランダムである場合、反射された第1の照明306aの全体のうちのおよそ50%が入光される(残りの50%は、吸収又は反射により減衰される)。ただし、反射された第1の照明306aがランダム偏光されていない場合、減衰のレベルは、第1の照明306aの偏光状態と偏光軸との間の角度に応じて異なる。その結果、第1のイメージングデータは、鏡面反射及び拡散反射の両方が行われた第1の照明306aに関する情報を含む。
さらに、鏡面反射された第2の照明306bは、イメージングシステム偏光子310の偏光軸に平行なゼロ電場ベクトル成分を持つ場合、ほぼ完全に減衰される可能性が高い。(反射前の)偏光された第2の照明306bは、イメージングシステム偏光子310の偏光軸に垂直な電場成分を持つ。反射後に偏光状態が維持される(また実質的に回転されない)場合(すなわち、表面粗さによってランダム化されていない場合)、反射された第2の照明306bは、イメージングシステム偏光子310の偏光軸に平行なゼロ電場成分を持つ。この場合、結果として、第2の照明306bは、イメージングシステム偏光子310によって第2の照明306bがあまり又は全く入光されないほど大幅に減衰される。表面粗さのある場合又は艶の程度が低い場合、第2の照明306bのいくらかの拡散反射が生じ、これにより、(当初に偏光された)第2の照明306bの偏光状態が少なくとも部分的にランダム化される。したがって、拡散反射された第2の照明306bの少なくとも一部は、偏光軸と位置合わせされた非ゼロ電場成分を含み、上記拡散反射された第2の照明306bの少なくとも減衰された入光を可能にする。したがって、第2のイメージングデータは、拡散反射された第2の照明306bに関する(ただし鏡面反射された第2の照明306bに関するものでない)情報を含む。
したがって、イメージングシステム偏光子310は、特定の偏光状態を持つ照明306a、306bを入光及び/又は減衰させるために使用される。すなわち、イメージングシステム偏光子310の偏光軸の配向は、反射された第1及び第2の照明306a、306bの特定の部分が、反射された第1及び第2の照明306a、306bの偏光状態に応じて入光又は減衰されるようなものとなっている。
上で強調したように、反射された第1及び第2の照明306a、306bは、反射された第1及び第2の照明306a、306bの異なる部分の偏光状態が、異なる表面タイプからの反射後に異なる程度だけ修正されることにより複数の偏光状態を持つ。例えば、粗い表面に入射する偏光された第2の照明306bは、反射後にランダム偏光されることになり、一方、滑らかで艶のある表面に入射する偏光された第2の照明306bは、反射後にその偏光された状態を維持する(すなわち、当初に偏光された照明は、反射後に偏光されたままとなる)。
いくつかの実施形態では、当初に無偏光の(又はランダム偏光された)第1の照明306aは、粗い表面からの反射後に無偏光のままとなる。いくつかの実施形態では、当初に無偏光の(又はランダム偏光された)第1の照明306aは、滑らかな又は艶のある表面からの反射後に少なくとも部分的に偏光される。いくつかの実施形態では、第1の照明306aは、第2の照明306bの偏光状態に直交する初期偏光状態で偏光される。
したがって、滑らかな且つ/又は艶のある対象者302に入射する無偏光の第1の照明306a及び偏光された第2の照明306bの場合、(第1の照明306aを使用するイメージングに対応する)第1のイメージングデータは、鏡面反射及び拡散反射の両方が行われた第1の照明306aに関する情報を含む。イメージングシステムに入光された反射された第2の照明306bは、イメージングシステム偏光子310の偏光軸に平行なそのゼロ又はニアゼロ電場成分によりイメージングシステム偏光子310によって実質的に減衰されるため、(第2の照明306bを使用するイメージングに対応する)第2のイメージングデータに対して登録されたピクセル強度レベルは、第1のイメージングデータに対して登録されたピクセル強度レベルよりもはるかに低くなる(すなわち、暗くなる)。
したがって、(鏡面反射情報及び拡散反射情報の両方を含む)第1のイメージングデータと(拡散反射情報を含む)第2のイメージングデータとの間の差分を計算することによって、鏡面反射情報に関する情報が決定される。上記のケースでは、艶のある表面により、拡散反射のレベルが低く、鏡面反射のレベルが相対的に高い。
粗い対象者302に入射する無偏光の第1の照明306a及び偏光された第2の照明306bの場合、(第1の照明306aを使用するイメージングに対応する)第1のイメージングデータは、鏡面反射及び拡散反射の両方が行われた第1の照明306aに関する情報を含む。イメージングシステム304に入光される反射された第2の照明306が、(少なくとも部分的にランダム偏光されることがある、拡散反射を含む反射された第2の照明306bから得られるイメージングシステム偏光子310の偏光軸に平行なその非ゼロ電場成分により)イメージングシステム偏光子310によって実質的に減衰されないため、(第2の照明306を使用するイメージングに対応する)第2のイメージングデータに対して登録されたピクセル強度レベルは、(前のケースとは異なり)暗くならない。
したがって、(鏡面反射情報及び拡散反射情報の両方を含む)第1のイメージングデータと(拡散反射情報を含む)第2のイメージングデータとの間の差分を計算することによって、鏡面反射に関する情報が決定される。上記のケースでは、粗い表面により、拡散反射のレベルが高く、鏡面反射のレベルが相対的に低い。
したがって、第1及び第2のイメージングデータにおけるピクセル強度値の比(又はその間の差分)は、表面からの鏡面反射及び拡散反射の相対的な量を示す。第2のイメージングデータが、第1のイメージングデータと比べて(低い登録ピクセル強度値を伴い)相対的に「暗い」場合、これは、艶のある表面であることを示す。しかしながら、第2のイメージングデータが第1のイメージングデータと比べて(「艶のある」場合と比べて相対的により高い登録強度値を伴い)「明るい」場合、これは、粗い表面であることを示す。
場合によっては、第1及び第2のイメージングデータにおけるピクセル強度値の比又はその間の差分により、鏡面反射の定量的測定値が得られる。
いくつかの実施形態では、イメージングシステム304は、(少なくとも1つの)第1のカラーフィルタ及び(少なくとも1つの)第2のカラーフィルタを備える。カラーフィルタアレイ312は、イメージングシステム304の少なくとも1つのイメージングデバイス314が、(第1のカラーフィルタを介した)第1のスペクトル帯域内の第1のイメージングデータ及び(第2のカラーフィルタを介した)第2のスペクトル帯域内の第2のイメージングデータを取得することを可能にするように構成される。カラーフィルタアレイ312は、イメージングデバイス314自体の一部(例えば、ベイヤーフィルタ若しくは別のタイプのフィルタ層)として又は別個の構成要素として提供される。
一実施形態では、カラーフィルタアレイ312は、アレイ312の各フィルタの「セル」又は「チャネル」がイメージングデバイス314の対応するピクセルと位置合わせされるように、イメージングデバイス314のピクセル(図示せず)と位置合わせされる。例えば、ベイヤーフィルタは、イメージングデバイス314のピクセルと位置合わせされた赤色、緑色、及び青色のバンドパスフィルタの「セル」を備える。したがって、イメージングデバイス314のいくつかのピクセルが「赤色」光を登録し、いくつかのピクセルが「緑色」光を登録し、残りのピクセルが「青色」光を登録する。一実施形態では、「赤色」ピクセルが第1のイメージングデータを提供し、「緑色」ピクセルが第2のイメージングデータを提供する。別の実施形態では、「赤色」ピクセルが第1のイメージングデータを提供し、「青色」ピクセルが第2のイメージングデータを提供する。ピクセルに関連付けられた色の任意の他の組合せが第1及び第2のイメージングデータを提供してもよい。
したがって、いくつかの実施形態では、イメージングシステム304は、少なくとも1つのイメージングデバイス314及び光フィルタアレイ312を備える。光フィルタアレイ312は、第1のカラーフィルタ及び第2のカラーフィルタを備える。光フィルタアレイ312は、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明306aから導出されるように、イメージングシステム304内への第1のスペクトル帯域の少なくとも一部を、少なくとも1つのイメージングデバイス314の第1のピクセルのセットに通すように構成される。光フィルタアレイ312は、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明306aから導出されるように、イメージングシステム304内への第2のスペクトル帯域の少なくとも一部を、少なくとも1つのイメージングデバイス314の第2の異なるピクセルのセットに通すようにさらに構成される。
イメージングデバイス314及び/又はコンピュータ308は、イメージングデバイス314によって取得された生イメージングデータから、第1のイメージングデータを第2のイメージングデータとは別個に抽出する。例えば、特定の色(例えば、赤色、緑色又は青色のうちの1つ)に対応するイメージングデバイス314の特定のピクセルは、第1のイメージングデータについての「生」データとしてピクセル強度情報を提供する。別の色(例えば、赤色、緑色又は青色のうちの1つ)に対応するイメージングデバイス314の特定の他のピクセルは、第2のイメージングデータについての「生」データとしてピクセル強度情報を提供する。
別の実施形態では、イメージングシステム304は、複数(例えば、2つ以上)のイメージングデバイス(図示せず)を備える。イメージングデバイスのうちの第1のイメージングデバイスは、(例えば、適切な光フィルタを含む適切な光学配置を介して)第1の照明を受光するが、第2の照明は受光しない。イメージングデバイスのうちの第2のイメージングデバイスは、第2の照明を受光するが、第1の照明は受光しない。したがって、第1のイメージングデバイスは第1のイメージングデータを提供し、第2のイメージングデバイスは、第2のイメージングデータを提供する。
上述した配置によれば、第1及び第2のイメージングデータは、同じか又は重複する時間期間にわたって取得され得る。言い換えれば、いくつかの実施形態では、第1のイメージングデータが取得される時間フレームは、第2のイメージングデータが取得される時間フレームと少なくとも部分的に重複する。これは、第1のイメージングデータに関連付けられた特定のピクセル(又は第1のイメージングデバイス)が、第1の時間期間にわたってイメージングを実行し(例えば、フレームを取得し)、第2のイメージングデータが、第1の時間期間と少なくとも部分的に重複する第2の時間期間にわたってイメージングを実行する場合に生じる。
別の実施形態では、イメージングシステム304は、第1及び第2のイメージングデータを同時に取得するように構成される。例えば、第1のイメージングデータについての強度レベルを測定するように構成されたピクセルは、そのような強度レベルを、第2のイメージングデータについての強度レベルを測定するように構成されたピクセルと同時に測定する。
重複する時間期間にわたって且つ/又は同時に第1及び第2のイメージングデータを取得することによって、鏡面反射に関する情報を決定するためのイメージングデータは、比較的直接的且つ安価な手法で取得される。例えば、スマートフォンなどのユーザデバイスは、上述したユーザデバイスのイメージングデバイスと併せてイメージングシステム偏光子を提供することによって直接的な手法で第1及び第2のイメージングデータを取得するように構成される。場合によっては、イメージングシステム偏光子310は、ユーザデバイス自体の構成要素であるか、又は他のケースでは、別個の構成要素である。
対象者の表面(例えば、ユーザの顔)は、自発的且つ/又は非自発的に動くため、重複する時間期間にわたって且つ/又は同時に第1及び第2のイメージングデータを取得することにより、鏡面反射に関する情報を決定する際の誤差が低減される。例えば、第1及び第2のイメージングデータが同時に取得される場合、同じピクセルは、ユーザの顔の表面の同じ部分からの情報を登録する可能性が高い。さらに、場合によっては、複数の角度をカバーするために、顔の複数のビューの艶測定値が取られる。本明細書で説明される実施形態により、第1及び第2のイメージングデータを同時にスペクトル的に分離することが可能なイメージングデバイスを用いてフレームのシーケンス(例えば、動画又は画像のシーケンス)を取得することが容易になる。
第1の照明及び第2の照明のスペクトルゲーティング、並びにイメージングシステム304に入光される照明306a、306bの偏光依存性により、第1のイメージングデータを第2のイメージングデータと区別することが可能となる。したがって、イメージングシステム304及び照明システム306の構成は、鏡面反射情報を含む反射された照明306a、306bと拡散反射情報を含む反射された照明306a、306bとを容易に区別し、したがって鏡面反射情報を決定するやり方を提供する。
次に照明システム306について説明する。
照明システム306は、第1の照明306aを提供するように構成された第1の照明源316(例えば、少なくとも1つの発光ダイオード(LED)又は他のタイプの光源)を備える。本実施形態では、第1の照明306aは、無偏光であり、対象者302に向けられる。照明システム306は、第2の照明306bを提供するように構成された第2の照明源318(例えば、少なくとも1つの発光ダイオード(LED)又は他のタイプの光源)を備える。第2の照明306aは、第1の照明306bと同様の手法で対象者302に向けられる。これに関連して、第1の照明源316及び第2の照明源318は、互いに隣接するか、又は対象者302を照明するための任意の適切な配置となる。
照明システム306は、対象者302に向けられた第2の照明306bを偏光させるように構成された照明システム偏光子320を備える。イメージングシステム偏光子310の偏光軸は、(例えば、光軸に対して)照明システム偏光子320の偏光軸に直交する。同様の言葉で言い換えると、イメージングシステム偏光子310及び照明システム偏光子320によって入光若しくは透過される偏光状態は、互いに直交する(又は2つの直交する偏光状態は、ポアンカレ球上の対角線上の反対側にある点を表す)。図3に示すように、イメージングシステム偏光子310は、x方向における偏光軸を持ち、照明システム偏光子320は、y方向における偏光軸を持つ。
いくつかの実施形態では、照明システム306は、対象者302の表面から反射された第1及び第2の照明306a、306bの鏡面反射成分及び拡散反射成分の両方が、反射された第1及び第2の照明306a、306bの偏光状態に応じて内部への入光のためにイメージングシステム内に向けられるように、第1及び第2の照明306a、306bを対象者302に向けるように構成される。
上述のように、入射の角度は、構成に応じて異なる。可能な構成では、照明システム306は、入射の角度が直入射に可能な限り近くなるように、イメージングシステム304に隣接して位置決めされた第1及び第2の照明源316、318を備える。可能な構成では、複数の第1及び第2の照明源316、318は、対象者302が、複数の角度から均一に照明されるように、イメージングシステム304の周りに(例えば、輪になって同心円状に)位置決めされる。
図3に示す実施形態では、照明システム306は、対象者302に向けられた第1の照明306aが無偏光となるように構成される。ただし、いくつかの実施形態では、照明システム306は、対象者302に入射する第1の照明306aの偏光状態が、対象者に入射する第2の照明306bの偏光状態に直交するように、対象者302に向けられた第1の照明306aを偏光させるように構成された追加の照明システム偏光子(図示せず)を備える。言い換えれば、追加の照明システム偏光子は、その偏光軸が図3におけるx軸に沿って配向されている。
図4は、(実線についての)波長の関数としての透過率(%)のグラフ形式における図3のシステム300の特定の構成要素の例示の光学パラメータを示しており、図3で参照した第1及び第2の照明源316、318のスペクトル内容に対応する点線が上に重ねられている。図3で参照した特徴の参照符号は、100だけ増分される。
ケース#1では、第1の照明406a(点線)は、650nm(ナノメートル)前後を中心とする、すなわち、スペクトルの「赤色」部分に向かう第1のスペクトル帯域におけるスペクトル内容を含む。第1のスペクトル帯域の半値全幅スペクトル幅は、60nm前後である。図3のカラーフィルタアレイ312は、第1のスペクトル帯域を入光させる/通すための異なる「セル」を備える。図4では、第1の照明406aを入光させるためのスペクトル入光帯域は、実線412aで示される。スペクトル入光帯域は、主に、スペクトルの「赤色」から「赤外線」部分にある(例えば、およそ570から900nmの間)。第1の照明406aの第1のスペクトル帯域は、スペクトル入光帯域412aと実質的に重複する。したがって、スペクトル入光帯域412aに対応する図3のカラーフィルタアレイ312におけるセルは、(例えば、他のスペクトル帯域における照明の検出を低減するために)第1の照明406aが対応するピクセルによって検出されるように、第1の照明406aを入光させる。
第2の照明406b(点線)は、450nm前後を中心とする、すなわち、スペクトルの「青色」部分に向かう第2のスペクトル帯域におけるスペクトル内容を含む。第2のスペクトル帯域の半値全幅スペクトル幅は、50nm前後である。第2の照明406bを入光させるためのスペクトル入光帯域は、実線412bで示される。スペクトル入光帯域は、主に、スペクトルの「より青色」部分にある(例えば、<400から550nmの間)。第2の照明406bの第2のスペクトル帯域は、スペクトル入光帯域412bと実質的に重複する。したがって、スペクトル入光帯域412bに対応する図3のカラーフィルタアレイ312におけるセルは、(例えば、第1の照明406aなどの他のスペクトル帯域における照明の検出を低減するために)第2の照明406bが対応するピクセルによって検出されるように、第2の照明406bを入光させる。
図4のケース#2では、第1の照明406a及びスペクトル入光帯域412aは、ケース#1と同じである。しかしながら、第2の照明406b(点線)は、530nm前後を中心とする、すなわち、スペクトルの「緑色」部分を含む第2のスペクトル帯域におけるスペクトル内容を含む。第2のスペクトル帯域の半値全幅スペクトル幅は、50nm前後である。第2の照明406bを入光させるためのスペクトル入光帯域は、実線412bで示される。スペクトル入光帯域は、主に、スペクトルの「緑色」部分にある(例えば、およそ450から610nmの間)。第2の照明406bの第2のスペクトル帯域は、スペクトル入光帯域412bと実質的に重複する。したがって、スペクトル入光帯域412bに対応する図3のカラーフィルタアレイ312におけるセルは、(例えば、第1の照明406aなどの他のスペクトル帯域における照明の検出を低減するために)第2の照明406bが対応するピクセルによって検出されるように、第2の照明406bを入光させる。
ケース#2は、後述するような十分なスペクトルの区別が存在する場合に、スペクトル入光帯域並びに/又は第1及び第2の照明406a、406bの間のある程度のスペクトル重複がどのように存在するかを強調している。
このスペクトルの区別は、各照明源316、318の波長帯域(例えば、区間)が、1)イメージングシステム304の関連するチャネル(例えば、赤色光源は、関連する赤色検出チャネルを備える)のスペクトル感度との実質的なスペクトル重複(例えば、照明406a、406bのスペクトル内容の対応するスペクトル入光帯域412a、412bとの実質的重複)と、2)非関連チャネルのスペクトル感度との最小スペクトル重複とを含む場合に取得される。同様の言葉で言い換えると、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分は、第1の照明406aから導出される。同様に、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分は、第2の照明406bから導出される。ケース#1には一定程度、ケース#2ではさらに多く、チャネル間にいくらかの「漏れ」が存在する場合がある。ただし、ピクセル強度情報の大部分は、上述したスペクトルの区別により正しいチャネルから導出される可能性が高い。
ケース#1は、第1の照明源406aとスペクトル入光帯域412aによって画定される対応する検出チャネルとの間の理想的な重複(例えば、重複は、照明源スペクトルの面積に対する曲線の下の重複面積の比として測定される)を持つものとして見なされるシナリオを指している。第2の照明源406b、及びスペクトル入光帯域412aによって画定される対応する検出チャネルに関しても同じことが言える。このとき、第1及び第2の照明406a、406bと非関連検出チャネル(例えば、それぞれ第2及び第1のスペクトル入光帯域412b、412a)との間のスペクトル重複は、最小である。例えば、総スペクトル幅の<10%が重複される。第1及び第2の照明406a、406bのスペクトルと非関連検出チャネルのスペクトルとの間のスペクトル重複は、計算された鏡面反射における誤差とほぼ等価であることが観察される場合もある。ケース#2では、ケース#1と比べるとより大きい程度の重複があるが、スペクトルゲーティング動作を容易にするには十分なスペクトルの区別がある。
第1及び第2の照明406a、406bの各々に対する1つ又は複数の波長の選定は、一般に、関連する検出チャネルの波長検出範囲に対して適切であること以外は、重要ではない。例えば、上記のケース#1及び#2の場合のように、スペクトルの赤色部分を含む第1の照明406a及びスペクトルの青色又は緑色部分を含む第2の照明406bを持つのではなく、別の構成が選択されてもよい。例えば、第1の照明406aがスペクトルの青色又は緑色部分を含み、第2の照明406bがスペクトルの緑色又は赤色部分を含んでもよい。さらに、非可視照明源、例えば、紫外線又は赤外線が、照明源のうちの少なくとも一方に対して使用されてもよい。
したがって、図3も参照し、また、いくつかの実施形態では、照明システム306は、(例えば、対象者302の顔に向けられた)光照明を提供するための第1の照明ユニット(例えば、第1の照明源316)を備える。第1の照明ユニットは、第1のスペクトル放射帯域において放射することによって第1の照明406aを提供する。第1のスペクトル放射帯域は、イメージングユニット(例えば、イメージングシステム304)の第1のスペクトル検出帯域と実質的に重複するように選択される。
照明システム306は、(例えば、対象者302の顔に向けられた)直線偏光された光(照明)を提供するための第2の照明ユニット(例えば、第2の照明源318)を備える。第2の照明ユニットは、第2のスペクトル放射帯域において放射することによって第2の照明406bを提供する。第2のスペクトル放射帯域は、イメージングユニットの第2のスペクトル検出帯域と実質的に重複するように選択される。
第2の照明ユニットに関連付けられた第1の直線偏光フィルタ(例えば、照明システム偏光子320)は、イメージングユニットに入光される光の偏光軸に対して垂直に配向される。
イメージングユニットは、第2の直線偏光フィルタ(例えば、イメージングシステム偏光子310)を備える。イメージングユニットは、少なくとも2つのスペクトル検出帯域を入光させるように構成される。イメージングユニットは、対象者302の表面(例えば、顔)から反射された第2の照明406bの拡散反射率を取り込む(例えば、イメージングする)ように構成される。イメージングユニットは、同じ対象者の表面によって反射された第1の照明406aの全反射率(例えば、拡散反射率及び鏡面反射率)を取り込むようにさらに構成される。照明406a、406bの波長及び帯域幅は、イメージングユニットに関連付けられたスペクトル検出帯域と組み合わせて決められる。
制御ユニット(例えば、コンピュータ308)は、照明及び検出パラメータを制御し、取り込まれた生ベイヤー画像又は動画を記憶及び/又は処理する(例えば、第1及び第2のイメージングデータを受信し、鏡面反射に関する情報を決定する)ために提供される。上述したように、鏡面反射は、生ベイヤー画像データからの2つの別個のチャネルから抽出される。
図5は、一実施形態による対象者の表面についての特定の情報を決定する方法の表現の概略図である。図3の特徴に対する参照が行われ、同様の特徴の参照符号は、200だけ増分される。この表現は、上で説明したプロシージャによって取得された(画像によって示される)イメージングデータを示す。
図5によれば、鏡面反射及び拡散反射に関する情報が平行(parallel)の「P」画像において示されており、この画像は、入光された第1の照明306aから導出されている。拡散反射に関する情報は、交差(cross)の「C」画像において示されており、この画像は、入光された第2の照明306bから導出されている。総強度は、「P+C」画像において示されている。「P」画像と「C」画像との間の差分が、「P-C」画像において示されている。したがって、「P-C」画像は、鏡面反射画像に相当する。画像の各々は、カラーフィルタアレイ512に関連する対応するピクセルによって入光された個々のチャネル(すなわち、赤色、青色又は緑色)を「非ベイヤー化」する又は抽出することによって導出される。図5はまた、鏡面反射画像の様々な角度で取得されたフレームのシーケンスを示す。各フレームを取得するためのプロセスは、比較的直接的である(例えば、場合によっては、角度ごとに1つのフレームが取得され、鏡面反射情報を抽出するにはその1つのフレームだけが必要となる)。
携帯電話用のものなど、一部の市販のカラーカメラは、(例えば、緑色(2つ)、赤色、及び青色のサブフィルタを備える)内蔵ベイヤーフィルタを備えている。本明細書で説明したようにスペクトルゲーティングプロシージャや直交偏光子による偏光ゲーティングを利用することによって、モーションアーチファクトなしで顔の交差及び平行偏光画像が同時に取得される。したがって、交差及び平行偏光画像を同時に取得することが可能となり、これにより、コスト及び/又は複雑さが低減され、例えば、異なる角度における複数のフレームに対して、フレームの迅速な取得及び処理が可能となる。
肌の散乱及び反射特性により、カラーカメラと複数の照明源との組合せ(そのうちの少なくとも1つが偏光されている)では、ベイヤースペクトルにおける重複がより少ない。この配置は、1つが鏡面反射を含み、もう1つが鏡面反射を全く含まない(すなわち、代わりに拡散反射を含む)2つの画像(例えば、第1及び第2のイメージングデータに対応する)を提供する。
2つの画像に記録されている強度は、肌の異なる吸収、散乱及び偏光特性(並びに照明システム306によって提供される第1及び第2の照明306a、306bの異なる強度)により区別できる。艶測定の感度は、ベイヤーフィルタ(又は他のタイプのカラーフィルタアレイ512若しくは他の光学配置)及び肌の鏡面反射の事前知識によって光の適切な波長を選択することによって精緻化される。
さらに、本明細書で説明される特定の方法は、「P-C」画像におけるピクセル強度情報のヒストグラムを解析して、例えば、パーソナルケア計画後の脂性低減等を定量的に測定することによって延長される。例えば、より高いピクセル強度値に向かうピークを持つP-C画像ヒストグラムは、多量の鏡面反射を示す一方で、ピクセル強度値のより均一な分布(又はより低いピクセル強度値に向かうピーク)は、最小の鏡面反射を示す。
図6は、対象者の表面(例えば、ユーザの肌)についての特定の情報を決定する方法600(例えば、コンピュータ実施方法)を示す。方法600は、ユーザデバイス、又は(例えば、ユーザデバイスに通信可能に結合された)サーバ若しくはクラウドベースのサービスなどのコンピュータによって実施される。ユーザデバイスの一例としては、スマートフォン、タブレット、スマートミラー、又は以下で説明するようにイメージングデータを処理することが可能な任意の他のデバイスなどのスマートデバイスが挙げられる。以下の説明では図3に対する参照が行われる。
方法600は、方法100のブロック102及び104を有する。方法600は、ブロック602において、少なくとも1つのイメージングデバイス314によって取得された生イメージングデータから、第1のイメージングデータを第2のイメージングデータとは別個に抽出するステップをさらに有する。ブロック602は、ブロック102の前に実施される。
図7は、処理回路(例えば、少なくとも1つのプロセッサ)704によって実行されると、処理回路704に、方法100、方法600及び/又は関連する実施形態などの本明細書で説明される特定の方法を実施させる、命令702を記憶する有形機械可読媒体700を示す。
図8は、方法100、方法600及び/又は関連する実施形態などの本明細書で説明される特定の方法を実施するために使用される装置800を示す。装置800は、そのコンピュータ208などの図2のシステム200に関連して説明される特定の特徴に対応する機能を持つモジュールを備える。装置800は、処理回路802を備える。
処理回路802は、対象者202のイメージングシステム204によって取得された第1及び第2のイメージングデータを受信するように構成された受信モジュール804を備える。対象者202は、第1のスペクトル帯域における第1の照明206a及び第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明206bによって照明される。対象者に入射する第2の照明206aは、偏光されている。
受信される第1のイメージングデータは、第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明206aから導出されるように、イメージングシステム204の第1のカラーフィルタが第1のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第2のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第1のスペクトル帯域内で取得される。
受信される第2のイメージングデータは、第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明206bから導出されるように、イメージングシステム204の第2のカラーフィルタが第2のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第1のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行う結果として第2のスペクトル帯域内で取得される。
第1及び第2の照明は、鏡面反射及び拡散反射された第1の照明206aがイメージングシステム204に入光され、拡散反射された第2の照明206bがイメージングシステム204に入光されるように、対象者の表面からの反射後にイメージングシステムによって受光される、反射された第1及び第2の照明の偏光状態に応じてイメージングシステム204のイメージングシステム偏光子310を介してイメージングシステム204に入光される。
処理回路802は、第1のイメージングデータと第2のイメージングデータとを比較することによって対象者202の表面からの鏡面反射に関する情報を決定するように構成された決定モジュール806をさらに備える。
いくつかの実施形態では、装置800は、イメージングシステム204をさらに備える。いくつかの実施形態では、装置800は、第1及び第2の照明206a、206bを提供するように構成された照明システム206をさらに備える。
いくつかの実施形態では、決定モジュール806は、第1のイメージングデータと第2のイメージングデータとの間の比較に基づいて対象者の肌の艶の良さの測定値を決定するように構成される。
場合によっては、上述したモジュールのいずれか(例えば、受信モジュール804及び/又は決定モジュール806)は、モジュールの機能を実施するための少なくとも1つの専用プロセッサ(例えば、特定用途向け集積回路(ASIC)及び/又はフィールドプログラマブルゲートアレイ(FPGA)等)を備える。
場合によっては、上記モジュール(例えば、受信モジュール804及び/又は決定モジュール806)は、少なくとも1つのプロセッサに、上述したモジュールの機能を実施させる命令を実施するための少なくとも1つのプロセッサを備える。そのような例では、命令は、少なくとも1つのプロセッサにアクセス可能な機械可読媒体(図示せず)に記憶される。いくつかの例では、モジュール自体が、機械可読媒体を備える。いくつかの例では、機械可読媒体は、モジュール自体とは別個である(例えば、モジュールの少なくとも1つのプロセッサが、内部に記憶された命令にアクセスするために機械可読媒体と通信するように設けられる)。
特定の方法が、コンピュータ実施されるものとして説明されたが、場合によっては、そのような方法は、イメージング方法を指す。そのようなイメージング方法では、照明システム及び/又はイメージングシステムは、(コンピュータ実施方法の実施における使用のため)第1及び第2のイメージングデータの取得を可能にするために、イメージング方法の一部として使用される。同様に、場合によっては、そのようなコンピュータ実施方法を実施するための任意の装置は、第1及び第2のイメージングデータの取得を可能にするために、照明システム及び/又はイメージングシステムをさらに備える。
本開示は、以下の番号付き段落によって定義される主題を含む。
段落1. 第1のスペクトル帯域における第1の照明及び第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明によって照明された対象者のイメージングシステムによって取得されたイメージングデータを受信するステップであって、対象者に入射する第2の照明は、偏光されており、イメージングシステムが、
第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、第1のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第2のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行うことによって第1のスペクトル帯域内で第1のイメージングデータを取得することと、
第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、第2のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第1のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行うことによって第2のスペクトル帯域内で第2のイメージングデータを取得することと、
鏡面反射及び拡散反射された第1の照明がイメージングシステムに入光され、拡散反射された第2の照明がイメージングシステムに入光されるように、対象者の表面からの反射後にイメージングシステムによって受光される反射された第1及び第2の照明の偏光状態に応じて、第1及び第2の照明をイメージングシステムに入光させることと
を行うように構成される、ステップと、
第1のイメージングデータと第2のイメージングデータとを比較することによって対象者の表面からの鏡面反射に関する情報を決定するステップと
を有する、コンピュータ実施方法。
段落2. 第1のイメージングデータが取得される時間フレームが、第2のイメージングデータが取得される時間フレームと少なくとも部分的に重複する、段落1に記載のコンピュータ実施方法。
段落3. イメージングシステムが、第1及び第2のイメージングデータを同時に取得するように構成される、段落2に記載のコンピュータ実施方法。
段落4. イメージングシステムが、イメージングシステム偏光子を備え、イメージングシステム偏光子が、イメージングシステム偏光子の偏光軸に平行な電場成分を持つ反射された第1及び第2の照明をイメージングシステムに入光させることと、偏光軸に垂直な電場成分を持つ反射された第1及び第2の照明を減衰させることとを行うように構成される、段落1から3のいずれか1つに記載のコンピュータ実施方法。
段落5. 鏡面反射に関する情報が、対象者の肌の艶レベルを示し、艶レベルが、第1のイメージングデータにおける強度情報と第2のイメージングデータにおける強度情報との間の差分を計算することによって決定される、段落1から4のいずれか1つに記載のコンピュータ実施方法。
段落6. イメージングシステムが、イメージングシステムの少なくとも1つのイメージングデバイスが第1のスペクトル帯域内の第1のイメージングデータ及び第2のスペクトル帯域内の第2のイメージングデータを取得することを可能にするように構成されたカラーフィルタアレイを備え、コンピュータ実施方法が、少なくとも1つのイメージングデバイスによって取得された生イメージングデータから、第1のイメージングデータを第2のイメージングデータとは別個に抽出するステップをさらに有する、段落1から5のいずれか1つに記載のコンピュータ実施方法。
段落7. 処理回路によって実行されると、処理回路に、段落1から6のいずれか1つに記載の方法を実施させる命令を備える有形機械可読媒体。
段落8. 処理回路を備えた装置であって、処理回路が、
第1のスペクトル帯域における第1の照明及び第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明によって照明された対象者のイメージングシステムによって取得されたイメージングデータを受信するように構成された受信モジュールであって、対象者に入射する第2の照明は、偏光されており、イメージングシステムが、
第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、第1のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第2のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行うことによって第1のスペクトル帯域内で第1のイメージングデータを取得することと、
第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、第2のスペクトル帯域の少なくとも一部をイメージングシステムに入光させることと、第1のスペクトル帯域の少なくとも一部のイメージングシステムへの入光を防止することとを行うことによって第2のスペクトル帯域内で第2のイメージングデータを取得することと、
鏡面反射及び拡散反射された第1の照明がイメージングシステムに入光され、拡散反射された第2の照明がイメージングシステムに入光されるように、対象者の表面からの反射後にイメージングシステムによって受光される反射された第1及び第2の照明の偏光状態に応じて、第1及び第2の照明をイメージングシステムに入光させることとを
を行うように構成される、受信モジュールと、
第1のイメージングデータと第2のイメージングデータとを比較することによって対象者の表面からの鏡面反射に関する情報を決定するように構成された決定モジュールとを備える、装置。
段落9. 第1のイメージングデータと第2のイメージングデータとの間の比較の結果が、対象者の肌の艶の良さの測定値に相当する、段落8に記載の装置。
段落10. 装置が、イメージングシステム並びに/又は第1及び第2の照明を提供するように構成された照明システムをさらに備える、段落8又は9に記載の装置。
段落11. イメージングシステムが、イメージングシステム偏光子を備え、イメージングシステム偏光子が、イメージングシステム偏光子の偏光軸に平行な電場成分を持つ反射された第1及び第2の照明をイメージングシステムに入光させることと、偏光軸に垂直な電場成分を持つ反射された第1及び第2の照明のイメージングシステムへの入光を防止することとを行うように構成される、段落10に記載の装置。
段落12. 照明システムが、対象者に向けられた第2の照明を偏光させるように構成された照明システム偏光子を備え、イメージングシステム偏光子の偏光軸が、照明システム偏光子の偏光軸に直交する、段落11に記載の装置。
段落13. 照明システムが、対象者に向けられた第1の照明が無偏光となるように構成されるか、又は照明システムが、対象者に向けられた第1の照明の偏光状態が対象者に向けられた第2の照明の偏光状態に直交するように、対象者に向けられた第1の照明を偏光させるように構成された追加の照明システム偏光子を備える、段落10から12のいずれか1つに記載の装置。
段落14. 照明システムが、対象者の表面から反射された第1及び第2の照明の鏡面反射成分及び拡散反射成分の両方が、反射された第1及び第2の照明の偏光状態に応じて内部への入光のためにイメージングシステム内に向けられるように、第1及び第2の照明を対象者に向けるように構成される、段落10から13のいずれか1つに記載の装置。
段落15. イメージングシステムが、少なくとも1つのイメージングデバイス及び光フィルタアレイを備え、光フィルタアレイが、
第1のスペクトル帯域内で取得された第1のイメージングデータにおける強度情報の大部分が第1の照明から導出されるように、イメージングシステム内への第1のスペクトル帯域の少なくとも一部を、少なくとも1つのイメージングデバイスの第1のピクセルのセットに通すことと、
第2のスペクトル帯域内で取得された第2のイメージングデータにおける強度情報の大部分が第2の照明から導出されるように、イメージングシステム内への第2のスペクトル帯域の少なくとも一部を、少なくとも1つのイメージングデバイスの第2の異なるピクセルのセットに通すことと
を行うように構成される、段落10から14のいずれか1つに記載の装置。
本発明は、図面及び上記説明において詳細に例示及び説明されているが、そのような例示及び説明は、例示又は一例のためのものであり、限定的なものと見なされない。本発明は、開示される実施形態に限定されない。
一実施形態において説明した1つ又は複数の特徴は、別の実施形態において説明した特徴と組み合わせられるか又は置き換えられる。例えば、図1及び図6の方法100、600は、図2及び図3のシステム200、300、機械可読媒体700、並びに/又は装置800に関連して説明した特徴に基づいて修正され、逆も同様である。
本開示における実施形態は、方法、システム、又は機械可読命令と処理回路との組合せとして提供され得る。そのような機械可読命令は、その中又は上にコンピュータ可読プログラムコードを持つ非一時的機械(例えば、コンピュータ)可読記憶媒体(限定されないが、ディスクストレージ、CD-ROM、光ストレージ等を含む)上に含まれる。
本開示は、本開示の実施形態による方法、デバイス及びシステムのフローチャート及びブロック図を参照して説明される。上述したフローチャートは、実行の特定の順序を示しているが、実行の順序は、示したものとは異なっていてもよい。1つのフローチャートに関連して説明されるブロックは、別のフローチャートのブロックと組み合わされてもよい。フローチャート及び/又はブロック図における各ブロック、並びにフローチャー及び/又はブロック図におけるブロックの組合せは、機械可読命令によって実現され得ることを理解されたい。
機械可読命令は、例えば、説明及び図において説明した機能を実現するために、汎用コンピュータ、専用コンピュータ、埋込み型プロセッサ又は他のプログラマブルデータ処理デバイスのプロセッサによって実行される。具体的には、プロセッサ若しくは処理回路、又はそのモジュールは、機械可読命令を実行する。したがって、コンピュータ208、コンピュータ308、及び/又は装置800の機能モジュール(例えば、受信モジュール804及び/又は決定モジュール806)並びに本明細書で説明される他のデバイスの機能モジュールは、メモリに記憶された機械可読命令を実行するプロセッサ、又は論理回路に埋め込まれた命令に従って動作するプロセッサによって実施される。「プロセッサ」という用語は、広義には、CPU、処理ユニット、ASIC、論理ユニット、又はプログラマブルゲートアレイ等を含むと解釈されるべきである。方法及び機能モジュールは、すべて単一のプロセッサによって実行されるか又はいくつかのプロセッサに分割されて実行される。
そのような機械可読命令はまた、特定のモードで動作するようにコンピュータ又は他のプログラマブルデータ処理デバイスをガイドすることができるコンピュータ可読ストレージに記憶されてもよい。
そのような機械可読命令はまた、コンピュータ又は他のプログラマブルデータ処理デバイスが、一連の動作を実行してコンピュータ実施処理を作成することで、コンピュータ又は他のプログラマブルデバイス上で実行される命令が、フローチャート及び/又はブロック図におけるブロックによって指定される機能を実現するように、コンピュータ又は他のプログラマブルデータ処理デバイスにロードされてもよい。
さらに、本明細書の教示は、コンピュータプログラム製品の形態で実装されてもよく、コンピュータプログラム製品は、記憶媒体に記憶され、コンピュータデバイスに、本開示の実施形態に記載の方法を実施させるための複数の命令を備える。
一実施形態に関連して説明される要素又はステップは、別の実施形態に関連して説明される要素又はステップと組み合わされるか又はそれらの要素又はステップによって置き換えられる。開示される実施形態に対する他の変形は、図面、開示、及び添付の特許請求の範囲の検討から、特許請求される発明を実践する当業者によって理解及び実行され得る。特許請求の範囲において、「備える(含む、有する)」という用語は、他の要素又はステップを除外せず、単数形は、複数形を除外しない。単一のプロセッサ又は他のユニットは、特許請求の範囲に記載される複数の項目を満たし得る。単に、特定の手段が、相互に異なる従属請求項に記載されているという事実は、これらの手段の組合せが、利点を得るために使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアとともに又はその一部として供給される光記憶媒体又はソリッドステート媒体などの好適な媒体に記憶又は配布されてもよいし、インターネット又は他の有線若しくは無線電気通信システムを介してなど、他の形態で配布されてもよい。特許請求の範囲における任意の参照符号は、範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. 第1のスペクトル帯域における第1の照明及び前記第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明によって照明された対象者のイメージングシステムによって取得された第1のイメージングデータ及び第2のイメージングデータを受信するステップであって、前記対象者に入射する前記第2の照明が、偏光されており、
    受信される前記第1のイメージングデータが、前記第1のスペクトル帯域内で取得された前記第1のイメージングデータにおける強度情報の大部分が前記第1の照明から導出されるように、前記イメージングシステムの第1のカラーフィルタが前記第1のスペクトル帯域の少なくとも一部を前記イメージングシステムに入光させることと、前記第2のスペクトル帯域の少なくとも一部の前記イメージングシステムへの入光を防止することとを行う結果として前記第1のスペクトル帯域内で取得され、
    受信される前記第2のイメージングデータが、前記第2のスペクトル帯域内で取得された前記第2のイメージングデータにおける強度情報の大部分が前記第2の照明から導出されるように、前記イメージングシステムの第2のカラーフィルタが前記第2のスペクトル帯域の少なくとも一部を前記イメージングシステムに入光させることと、前記第1のスペクトル帯域の少なくとも一部の前記イメージングシステムへの入光を防止することとを行う結果として前記第2のスペクトル帯域内で取得され、
    鏡面反射及び拡散反射された前記第1の照明が前記イメージングシステムに入光され、拡散反射された前記第2の照明が前記イメージングシステムに入光されるように、前記対象者の表面からの反射後に前記イメージングシステムによって受光される反射された前記第1の照明及び前記第2の照明の偏光状態に応じて、前記第1の照明及び前記第2の照明が前記イメージングシステムのイメージングシステム偏光子を介して前記イメージングシステムに入光される、ステップと、
    前記第1のイメージングデータと前記第2のイメージングデータとを比較することによって前記対象者の前記表面からの鏡面反射に関する情報を決定するステップと
    を有し、
    前記対象者は人である、コンピュータ実施方法。
  2. 前記第1のイメージングデータが取得される時間フレームが、前記第2のイメージングデータが取得される時間フレームと少なくとも部分的に重複する、請求項1に記載のコンピュータ実施方法。
  3. 前記第1のイメージングデータ及び前記第2のイメージングデータが同時に取得される、請求項2に記載のコンピュータ実施方法。
  4. 前記イメージングシステム偏光子が、前記イメージングシステム偏光子の偏光軸に平行な電場成分を持つ反射された前記第1の照明及び前記第2の照明をイメージングシステムに入光させることと、前記偏光軸に垂直な電場成分を持つ反射された前記第1の照明及び前記第2の照明を減衰させることとを行う、請求項1から3のいずれか一項に記載のコンピュータ実施方法。
  5. 鏡面反射に関する前記情報が、前記対象者の肌の艶レベルを示し、前記艶レベルが、前記第1のイメージングデータにおける前記強度情報と前記第2のイメージングデータにおける前記強度情報との間の差分を計算することによって決定される、請求項1から4のいずれか一項に記載のコンピュータ実施方法。
  6. 前記第1のカラーフィルタ及び前記第2のカラーフィルタは、前記イメージングシステムの少なくとも1つのイメージングデバイスが前記第1のスペクトル帯域内の前記第1のイメージングデータ及び前記第2のスペクトル帯域内の前記第2のイメージングデータを取得することを可能にするカラーフィルタアレイの一部であり、前記コンピュータ実施方法は、前記少なくとも1つのイメージングデバイスによって取得された生イメージングデータから、前記第1のイメージングデータを前記第2のイメージングデータとは別個に抽出するステップをさらに有する、請求項1から5のいずれか一項に記載のコンピュータ実施方法。
  7. 処理回路によって実行されると、前記処理回路に、請求項1から6のいずれか一項に記載のコンピュータ実施方法を実施させる命令を備える、有形機械可読媒体。
  8. 処理回路を備える装置であって、前記処理回路が、
    第1のスペクトル帯域における第1の照明及び前記第1のスペクトル帯域とは異なるスペクトル内容を含む第2のスペクトル帯域における第2の照明によって照明された対象者のイメージングシステムによって取得された第1のイメージングデータ及び第2のイメージングデータを受信する受信モジュールであって、前記対象者に入射する前記第2の照明が、偏光されており、
    受信される前記第1のイメージングデータが、前記第1のスペクトル帯域内で取得された前記第1のイメージングデータにおける強度情報の大部分が前記第1の照明から導出されるように、前記イメージングシステムの第1のカラーフィルタが前記第1のスペクトル帯域の少なくとも一部を前記イメージングシステムに入光させることと、前記第2のスペクトル帯域の少なくとも一部の前記イメージングシステムへの入光を防止することとを行う結果として前記第1のスペクトル帯域内で取得され、
    受信される前記第2のイメージングデータが、前記第2のスペクトル帯域内で取得された前記第2のイメージングデータにおける強度情報の大部分が前記第2の照明から導出されるように、前記イメージングシステムの第2のカラーフィルタが前記第2のスペクトル帯域の少なくとも一部を前記イメージングシステムに入光させることと、前記第1のスペクトル帯域の少なくとも一部の前記イメージングシステムへの入光を防止することとを行う結果として前記第2のスペクトル帯域内で取得され、
    鏡面反射及び拡散反射された前記第1の照明が前記イメージングシステムに入光され、拡散反射された前記第2の照明が前記イメージングシステムに入光されるように、前記対象者の表面からの反射後に前記イメージングシステムによって受光される反射された前記第1の照明及び前記第2の照明の偏光状態に応じて、前記第1の照明及び前記第2の照明が前記イメージングシステムのイメージングシステム偏光子を介して前記イメージングシステムに入光される、受信モジュールと、
    前記第1のイメージングデータと前記第2のイメージングデータとを比較することによって前記対象者の前記表面からの鏡面反射に関する情報を決定する決定モジュールとを備え
    前記対象者は人である、装置。
  9. 前記決定モジュールが、前記第1のイメージングデータと前記第2のイメージングデータとの間の比較に基づいて前記対象者の肌の艶の良さの測定値を決定する、請求項8に記載の装置。
  10. 前記イメージングシステム並びに/又は前記第1の照明及び前記第2の照明を提供する照明システムをさらに備える、請求項8又は9に記載の装置。
  11. 前記イメージングシステム偏光子が、前記イメージングシステム偏光子の偏光軸に平行な電場成分を持つ反射された前記第1の照明及び前記第2の照明を前記イメージングシステムに入光させることと、前記偏光軸に垂直な電場成分を持つ反射された前記第1の照明及び前記第2の照明の前記イメージングシステムへの入光を防止することとを行う、請求項10に記載の装置。
  12. 前記照明システムが、前記対象者に向けられた前記第2の照明を偏光させる照明システム偏光子を備え、前記イメージングシステム偏光子の偏光軸は、前記照明システム偏光子の前記偏光軸に直交する、請求項11に記載の装置。
  13. 前記照明システムが、前記対象者に向けられた前記第1の照明が無偏光となるようにされているか、又は前記照明システムが、前記対象者に向けられた前記第1の照明の前記偏光状態が前記対象者に向けられた前記第2の照明の前記偏光状態に直交するように、前記対象者に向けられた前記第1の照明を偏光させる追加の照明システム偏光子を備える、請求項10から12のいずれか一項に記載の装置。
  14. 前記照明システムは、前記対象者の前記表面から反射された前記第1の照明及び前記第2の照明の鏡面反射成分及び拡散反射成分の両方が、反射された前記第1及び第2の照明の前記偏光状態に応じて内部への入光のために前記イメージングシステム内に向けられるように、前記第1の照明及び前記第2の照明を前記対象者に向けるように構成される、請求項10から13のいずれか一項に記載の装置。
  15. 前記イメージングシステムが、少なくとも1つのイメージングデバイス及び光フィルタアレイを備え、前記光フィルタアレイが、前記第1のカラーフィルタ及び前記第2のカラーフィルタを備え、前記光フィルタアレイは、
    前記第1のスペクトル帯域内で取得された前記第1のイメージングデータにおける前記強度情報の前記大部分が前記第1の照明から導出されるように、前記イメージングシステム内への前記第1のスペクトル帯域の少なくとも一部を、前記少なくとも1つのイメージングデバイスの第1のピクセルのセットに通すことと、
    前記第2のスペクトル帯域内で取得された前記第2のイメージングデータにおける前記強度情報の前記大部分が前記第2の照明から導出されるように、前記イメージングシステム内への前記第2のスペクトル帯域の少なくとも一部を、前記少なくとも1つのイメージングデバイスの第2の異なるピクセルのセットに通すことと
    を行う、請求項10から14のいずれか一項に記載の装置。
JP2023575417A 2021-06-09 2022-06-02 鏡面反射情報の決定 Active JP7815286B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21178495.4A EP4101368A1 (en) 2021-06-09 2021-06-09 Determining specular reflection information
EP21178495.4 2021-06-09
PCT/EP2022/065054 WO2022258484A1 (en) 2021-06-09 2022-06-02 Determining specular reflection information

Publications (3)

Publication Number Publication Date
JP2024522014A JP2024522014A (ja) 2024-06-06
JPWO2022258484A5 JPWO2022258484A5 (ja) 2025-06-09
JP7815286B2 true JP7815286B2 (ja) 2026-02-17

Family

ID=76355378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023575417A Active JP7815286B2 (ja) 2021-06-09 2022-06-02 鏡面反射情報の決定

Country Status (5)

Country Link
US (1) US20250114030A1 (ja)
EP (2) EP4101368A1 (ja)
JP (1) JP7815286B2 (ja)
CN (1) CN117479879A (ja)
WO (1) WO2022258484A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047588A (ja) 2001-08-03 2003-02-18 Olympus Optical Co Ltd 内視鏡装置
JP2012045029A (ja) 2010-08-24 2012-03-08 Fujifilm Corp 内視鏡装置および内視鏡診断装置
WO2013114891A1 (ja) 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および撮像システム
JP2015046698A (ja) 2013-08-27 2015-03-12 ソニー株式会社 撮像装置およびその撮像方法、画像処理装置およびその画像処理方法、並びに、プログラム
JP2017058383A (ja) 2014-03-04 2017-03-23 パナソニックIpマネジメント株式会社 偏光画像処理装置
WO2019185375A1 (en) 2018-03-27 2019-10-03 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2918217B1 (en) * 2012-11-09 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047588A (ja) 2001-08-03 2003-02-18 Olympus Optical Co Ltd 内視鏡装置
JP2012045029A (ja) 2010-08-24 2012-03-08 Fujifilm Corp 内視鏡装置および内視鏡診断装置
WO2013114891A1 (ja) 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および撮像システム
JP2015046698A (ja) 2013-08-27 2015-03-12 ソニー株式会社 撮像装置およびその撮像方法、画像処理装置およびその画像処理方法、並びに、プログラム
JP2017058383A (ja) 2014-03-04 2017-03-23 パナソニックIpマネジメント株式会社 偏光画像処理装置
WO2019185375A1 (en) 2018-03-27 2019-10-03 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject

Also Published As

Publication number Publication date
CN117479879A (zh) 2024-01-30
EP4351404A1 (en) 2024-04-17
WO2022258484A1 (en) 2022-12-15
EP4101368A1 (en) 2022-12-14
EP4351404B1 (en) 2026-01-28
JP2024522014A (ja) 2024-06-06
US20250114030A1 (en) 2025-04-10

Similar Documents

Publication Publication Date Title
US9517029B2 (en) Image processing device, image processing method, image processing system, program, and recording medium
USRE47921E1 (en) Reflectance imaging and analysis for evaluating tissue pigmentation
JP4017363B2 (ja) 表面検査装置及び方法
US9953237B2 (en) Gloss determination device and gloss determination method
US10939823B2 (en) Image analysis device, image analysis method, and illumination device
US11278236B2 (en) Imaging-based methods and apparatuses for assessing skin pigmentation
US20090043363A1 (en) Method and apparatus for measuring skin texture
CA2593007A1 (en) Biometric recognition/verification using multispectral imaging
JP2021509347A (ja) 対象の皮膚の1つ以上の特性の決定における使用のための画像の取得
JP2020516879A (ja) 皮膚光沢の定量的推定のための皮膚光沢測定
US10503958B2 (en) Living body determination device, living body determination method, and program
KR20090053937A (ko) 확실한 지문 획득을 위한 시스템 및 방법
WO2021229984A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4872399B2 (ja) 偽造指紋判別機能を備えた指紋像入力装置
US11690562B2 (en) Skin gloss measurement using Brewster's angle
JP7815286B2 (ja) 鏡面反射情報の決定
Kikuchi et al. Age‐related changes in surface reflection, diffuse reflection, and subsurface scattering light of facial skin: luminance value measured by the system for the optical properties of facial skin
CN206275686U (zh) 肤质检测器
JP2023073399A (ja) 評価方法及び評価システム
Wang et al. Illumination scheme for high-contrast contactless fingerprint images
Ohtsuki et al. Appearance analysis of human skin with cosmetic foundation
LU501123B1 (en) Apparatus and method for detecting polymer objects and/or chemical additives in food products
RU2440603C1 (ru) Система и способ для анализа взаимодействия свет-материал на основе спектрального свертывания
JP2026000681A (ja) 光学装置の処理装置、光学装置、光学的物体情報取得方法、及び、光学的物体情報取得プログラム
Huo et al. Computational polarization difference fingerprint imaging with stokes vector

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250528

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20251017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260204

R150 Certificate of patent or registration of utility model

Ref document number: 7815286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150