JP2023530906A - 信号対雑音比のターゲティング - Google Patents

信号対雑音比のターゲティング Download PDF

Info

Publication number
JP2023530906A
JP2023530906A JP2022576018A JP2022576018A JP2023530906A JP 2023530906 A JP2023530906 A JP 2023530906A JP 2022576018 A JP2022576018 A JP 2022576018A JP 2022576018 A JP2022576018 A JP 2022576018A JP 2023530906 A JP2023530906 A JP 2023530906A
Authority
JP
Japan
Prior art keywords
snr
images
lighting
corrected image
ambient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022576018A
Other languages
English (en)
Other versions
JP7330403B2 (ja
Inventor
マシヴァナン ダモダラン
ヤニク パルリアン ジュリアン ブールキン
ジョナサン アランブラ パレロ
リエコ フェルハーフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023530906A publication Critical patent/JP2023530906A/ja
Application granted granted Critical
Publication of JP7330403B2 publication Critical patent/JP7330403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/749Circuitry for compensating brightness variation in the scene by influencing the pick-up tube voltages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Stroboscope Apparatuses (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一実施形態では、方法100が記載される。この方法は、照明ユニット206によって照明される被写体の環境補正された画像に対応するデータを受信するステップ(102)を有し、照明ユニット206は、各画像で異なる空間強度変調パターンを有する一連の画像を得るために、撮像デバイス204が用いるフレーム取得レートよりも高い変調周波数を有する時間変調された照明を提供する。得られた一連の画像から、環境補正された画像が構成される。方法100は、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するステップ(104)をさらに有する。SNRが目標SNRよりも低いという判定に応答して、方法は、後続の環境補正された画像を構成するために、撮像デバイスが後続の一連の画像を取得している間、被写体の照明に用いられる時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を照明ユニットへ送信させる(106)。

Description

本発明は、特定条件での撮像に使用するための方法、装置、及び有形の機械可読媒体に関する。
邪魔にならない測定及びモニタリングの分野で関心の高い話題は、パーソナルケア及び健康の用途向けの皮膚センシングに関するものである。皮膚の定量化と、検知するには小さすぎる、気付くには不鮮明すぎる、又は追跡するには時間がかかりすぎる情報をユーザに提供する皮膚の特徴のモニタリングとが期待される、皮膚センシングシステムが開発されつつある。ユーザに受け入れられる結果を出すために、そうした皮膚センシングシステムは、皮膚センシングを実施するときに感度及び特異性を提供する必要がある。そうした皮膚センシングシステムによって取得された測定値が堅牢且つ確実であることが証明されれば、ユーザはこうした皮膚センシングシステムに対する信頼を確立することができる。
撮像ベースの皮膚センシングシステムは、環境照明の変化など制御が難しいパラメータによる影響を受ける可能性がある情報を判定する必要がある。例えば、ユーザの自宅など特定の制御されていない環境は、不明確な且つ/又は場合により変化する環境照明を特徴とする。そうした制御されていない環境は、ユーザの皮膚に関する誤った測定値をもたらし、それが、ユーザに受け入れられない又は信頼されない結果につながる可能性がある。一部の撮像ベースの皮膚センシングシステムに用いられる一部のカメラ(スマートフォンのカメラなど)の撮像性能は変わりやすく、したがって、撮像データが予測できない又は信頼できないことがある。
撮像ベースの皮膚センシングシステムは、ユーザの皮膚及び/又は環境照明の条件に関する特定の情報を判定するために、様々な画像処理技術を実施する。特定の環境照明の条件は、特定の画像処理技術を用いて得られる結果に影響を及ぼし、それが、ユーザの皮膚に関する損なわれた又は矛盾した測定値をもたらすことがある。
本明細書に記載される態様又は実施形態は、特定条件での撮像を改善することに関する。本明細書に記載される態様又は実施形態は、特定の環境照明の条件によって影響を受ける特定の画像処理技術に伴う1つ又は複数の問題を解決する。
第1の態様では、方法が記載される。この方法は、コンピュータによって実施される方法である。方法は、照明ユニットによって照明される被写体の環境補正された画像に対応するデータを受信するステップを有する。照明ユニットは、時間変調された照明を提供する。時間変調された照明は、一連の画像を得るために撮像デバイスが用いるフレーム取得レートよりも高い変調周波数を有する。一連の画像は、時間変調された照明、及びローリングシャッターモードで動作する撮像デバイスにより、各画像で異なる空間強度変調パターンを有する。得られた一連の画像からの情報は、環境補正された画像を構成するために用いられる。環境補正された画像では、環境照明の影響が低減される。方法は、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するステップをさらに有する。SNRが目標SNRよりも低いという判定に応答して、方法は、撮像デバイスが後続の一連の画像を取得している間、被写体の照明に用いられる時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を照明ユニットへ送信させるステップをさらに有する。後続の一連の画像は、後続の環境補正された画像の少なくとも一部に対するSNRが高められた状態で、当該後続の環境補正された画像を構成するために用いられる。
第2の態様では、方法が記載される。この方法は、コンピュータによって実施される方法である。方法は、時間変調された照明によって照明される被写体の環境補正された画像に対応するデータを受信するステップを有する。環境補正された画像は、光源によって生じる環境照明の影響を低減する。方法は、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するステップをさらに有する。決定されたSNRが目標SNRよりも低い場合、方法は、画像の少なくとも一部について目標SNRを実現するための照明パラメータの指示を提供するステップをさらに有する。
第1及び/又は第2の態様に関係する特定の実施形態を以下に記載する。
いくつかの実施形態において、目標SNRは被写体の皮膚タイプに基づく。
いくつかの実施形態において、目標SNRは、複数の異なる皮膚タイプが少なくとも目標SNRを有する画像を得ることに対応付けられた係数Aに関連付けられる。係数Aは、被写体に入射する環境光レベルと被写体に入射する全光量との比として定義される。全光量は、環境光レベルと照明ユニットによって提供される振幅変調の変調深さとの組合せを指す。指示は、皮膚タイプに応じて変調深さを変えて、異なる皮膚タイプのそれぞれについて同じ係数Aが得られるように構成される。
いくつかの実施形態において、指示は、被写体に対する環境光レベルを制御して、後続の環境補正された画像の少なくとも一部についてSNRを高めるように構成される。
いくつかの実施形態において、指示は、環境光レベルの低下を生じさせて、環境補正された画像の少なくとも一部についてSNRを高めるように構成される。
いくつかの実施形態において、照明パラメータの指示は、環境光の光源によって提供される環境光レベルを指定するための制御命令を含む。
いくつかの実施形態において、方法は、指定された環境光レベルが提供されるように、光源用の電源を制御する指示を用いるステップを有する。
いくつかの実施形態において、照明パラメータの指示は、指定された環境光レベルが必要であること、及び/又は指定された環境光レベルを提供するためにユーザの動作が必要であることを示す命令を含む。
いくつかの実施形態において、方法は、被写体が時間変調された照明によって照明されている間に、撮像デバイスに被写体の一連の画像を取得させるステップをさらに有する。方法は、被写体の一連の画像に基づき、環境補正された画像を決定するステップをさらに有してもよい。
いくつかの実施形態において、方法は、被写体が増大した振幅変調深さを有する時間変調された照明によって照明されている間に、撮像デバイスに被写体の後続の一連の画像を取得させるステップをさらに有する。方法は、被写体の後続の一連の画像に基づき、後続の環境補正された画像を決定するステップをさらに有してもよい。
いくつかの実施形態において、方法は、環境補正された画像に対応するデータを受信するステップの前に、被写体の皮膚タイプに基づき、時間変調された照明の初期の振幅変調深さ、及び/又は初期の環境光レベルを選択するステップを有する。
第3の態様では、有形の機械可読媒体が記載される。有形の機械可読媒体は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、任意の前述の態様又は実施形態による方法を実施させる命令を格納する。
第4の態様では、装置が記載される。装置は処理回路を備える。処理回路は、受信モジュール、決定モジュール、及び指示モジュールを備える。受信モジュールは、照明ユニットによって照明される被写体の環境補正された画像に対応するデータを受信するように構成され、照明ユニットは、一連の画像を得るために撮像デバイスが用いるフレーム取得レートよりも高い変調周波数を有する時間変調された照明を提供する。一連の画像は、時間変調された照明、及びローリングシャッターモードで動作する撮像デバイスにより、各画像で異なる空間強度変調パターンを有する。得られた一連の画像からの情報は、環境補正された画像を構成するために用いられる。環境補正された画像では、環境照明の影響が低減される。決定モジュールは、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するように構成される。指示モジュールは、SNRが目標SNRよりも低いという判定に応答して、撮像デバイスが後続の一連の画像を取得している間、被写体の照明に用いられる時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を照明ユニットへ送信させるように構成される。後続の一連の画像は、後続の環境補正された画像の少なくとも一部に対するSNRが高められた状態で、当該後続の環境補正された画像を構成するために用いられる。
第5の態様では、装置が記載される。装置は処理回路を備える。処理回路は、時間変調された照明によって照明される被写体の環境補正された画像に対応するデータを受信する受信モジュールを備える。環境補正された画像は、光源によって生じる環境照明の影響を低減する。処理回路は、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定する決定モジュールをさらに備える。装置は、決定されたSNRが目標SNRよりも低い場合、画像の少なくとも一部について目標SNRを実現するための照明パラメータの指示を提供する指示モジュールをさらに備える。
第4及び/又は第5の態様に関係する特定の実施形態を以下に記載する。
いくつかの実施形態において、装置は制御モジュールをさらに備え、制御モジュールは:時間変調された照明を提供するための照明ユニット;及び/又は環境光の光源を制御する。
いくつかの実施形態において、装置は、照明パラメータの指示に基づき、指定された環境光レベルが必要であること、及び/又は指定された環境光レベルを提供するためにユーザの動作が必要であることを示す命令を提供するためのユーザインターフェースをさらに備える。
本発明のこれらの態様及び他の態様は、以下に記載される(1つ又は複数の)実施形態の参照によって明らかになり、解明されるであろう。
次に、本発明の例示的な実施形態を、以下の図面を参照しながら単に例として説明する。
一実施形態による特定条件での撮像を改善する方法を示す図である。 一実施形態による特定条件での撮像を改善するためのシステムの概略図である。 一実施形態による特定条件での撮像を改善するためのシステムの概略図である。 一実施形態による特定条件での撮像を改善するためのシステムの概略図である。 一実施形態による、本明細書に記載される特定の方法の実施を示すグラフである。 一実施形態による特定条件での撮像を改善する方法を示す図である。 一実施形態による特定条件での撮像を改善するための機械可読媒体の概略図である。 一実施形態による特定条件での撮像を改善するための装置の概略図である。 一実施形態による特定条件での撮像を改善するための装置の概略図である。
図1は、特定条件での撮像を改善する方法100(例えば、コンピュータで実施される方法)を示している。方法100は、ユーザデバイス、又は(例えば、ユーザデバイスに通信可能に結合される)サーバ若しくはクラウドベースのサービスなど、コンピュータによって実施される。ユーザデバイスの例には、スマートフォン、タブレット、スマートミラー、又は画像若しくは被写体の画像表現を表示可能な任意の他のデバイスが含まれる。
方法100は、ブロック102において、照明ユニットによって照明される被写体の環境補正された画像に対応するデータを受信するステップを有し、照明ユニットは、一連の画像を得るために撮像デバイスが用いるフレーム取得レートよりも高い変調周波数を有する時間変調された照明を提供する。得られた一連の画像は、時間変調された照明、及びローリングシャッターモードで動作する撮像デバイスにより、各画像で異なる空間強度変調パターンを有する。得られた一連の画像からの情報は、環境補正された画像を構成するために用いられる。環境補正された画像では、環境照明の影響が低減される。室内灯又は太陽光などの(1つ又は複数の)光源によって生じる環境照明の影響を低減するために、環境補正された画像は、被写体の一連の画像を取得し、各画像に空間強度変調パターンを用いる技術を実施することによって得られる。
ブロック102は、被写体を照明するための照明ユニットによって提供される照明の強度を(例えば、周期的な時間変調によって)時間変調しながら、被写体の一連の画像(例えば、少なくとも3つの画像)を取得することを含む、光源によって生じる環境照明の影響を低減する例示的な技術に関連する。一連の画像を取得するための撮像デバイスは、ローリングシャッターモード(又は、フレーム内の異なる時間に画像の異なる空間部分を取得することを伴う別のモード)において、時間変調された照明の変調周波数よりも低いフレーム取得レート(例えば、一例として、1秒あたり30フレーム(fps)のフレームレート、変調周波数は少なくとも70Hz)で動作する。換言すれば、変調周波数は、環境補正された画像を構成するための一連の画像を得るために用いられるフレーム取得レートよりも高い。これは、撮像デバイスが各画像を取得するとき、被写体が変化する強度レベルで照明されると同時に、撮像デバイスがその走査を、撮像デバイスの特定のピクセルが撮像デバイスの他のピクセルよりも高い強度レベルを示すように実施することを意味する。結果として、一連の画像の連続する画像のそれぞれが、異なる空間強度変調パターンを有するようになる。この一連の画像からの情報は、環境補正された画像を、環境光が除去、基準化、又は少なくとも低減された状態で再構成するために用いられる。換言すれば、被写体は均一に照明されているように見えるか、又は環境補正された画像中の被写体の皮膚の表面全体にわたり環境照明の変化が認められないようになる。
これまでに言及したように、ブロック102では、方法100は、環境補正された画像に対応するデータを受信するステップに関連する。このデータは、メモリ(方法100を実施するコンピュータのメモリ、若しくは他のメモリ)に格納されたデータ、又は画像における環境照明の影響を低減するための技術を実施した後に得られるデータを指す。換言すれば、方法100を実施するためのコンピュータは、データを格納するメモリにアクセスする、且つ/又はそれ自体が画像における環境照明の影響を低減するための技術を実施する。
方法100は、ブロック104において、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するステップを有する。
環境補正された画像の一部は、画像の任意の領域に関連する。いくつかの実施形態では、環境補正された画像の複数の部分が選択され、その複数の部分のSNRが決定される。
いくつかの実施形態において、SNRは以下の式によって定義され、
Figure 2023530906000002
各部分において、ピクセル値の平均強度が、各部分でのそれらのピクセル値の強度の標準偏差と共に決定される。選択された領域(部分)の位置、サイズ、及び/又は形状は、SNRの計算に影響を及ぼす。したがって、いくつかの実施形態において、SNRを決定する(1つ又は複数の)部分の位置、サイズ、及び/又は形状の選択は、画像全体にわたる変化を考慮することが可能な特定の因子に基づいて行われる。例えば、画像の特定部分が、(例えば、皮膚及び/又は髪の表面の反射率、画像内の背景情報及び/又は他の特徴などの因子によって)画像の他の部分と異なるSNRを有する場合がある。画像全体に対するSNRの決定が、以下に説明する方法の目的にとって意味のある情報を提供する場合も、提供しない場合もある。画像の少なくとも一部に対するSNRの決定が、より有用な情報を提供し、且つ/又は画像全体にわたるSNRの変化を考慮に入れることを可能にする場合もある。しかしながら、いくつかの実施形態では、画像全体に対するSNRが決定される。
決定されたSNRが目標SNRよりも低い場合、方法100は、ブロック106において、SNRが目標SNRよりも低いという判定に応答して、撮像デバイスが後続の一連の画像を取得している間、被写体の照明に用いられる時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を照明ユニットへ送信させるステップを有する。後続の一連の画像は、後続の環境補正された画像の少なくとも一部(例えば、環境補正された画像のSNRが決定されているのと同じ部分に対応する部分)に対するSNRが高められた状態で、当該後続の環境補正された画像を構成するために用いられる。目標SNRとは、環境補正された画像に基づいて皮膚センシングの測定又は分析を行うときに、環境照明の条件が矛盾のない且つ/又は信頼性のある結果を得るのに最適ではない又は適切ではない場合などの特定条件における撮像の改善を可能にするSNRを指す。例えば、目標SNRは、矛盾のない且つ/又は信頼性のある皮膚センシングの測定を行うための許容可能な画質が得られる閾値(例えば、あらかじめ決められた閾値)を指す。皮膚センシングの測定又は分析のタイプに応じて、異なる目標SNRが定められる。例えば、矛盾のない且つ/又は信頼性のある結果を生み出すために、特定の皮膚センシングの測定又は分析は、他のタイプの皮膚センシングの測定よりも高いSNRを必要とする場合がある。
さらに詳しく記載されるように、いくつかの実施形態において、目標SNRは、分析中の皮膚タイプなど様々な因子に応じて異なる。したがって、目標SNRは、環境補正された画像を用いて行われる皮膚センシングの測定又は分析に影響を及ぼす様々な因子に基づいて選択される。
目標SNRを適切に選択することによって、方法100は、特定条件での改善された撮像及び/又は画像処理を容易にし、その結果、後続の環境補正された画像は、特定の皮膚センシングの測定又は分析の目的に対してより優れた品質のものになる。
さらに、後続の環境補正された画像の少なくとも一部に対するSNRを高めるための照明パラメータの指示を提供することによって、撮像が改善される。
振幅変調深さを増大させると、後続の環境補正された画像のSNRが高まるが、それは、後続の環境補正された画像を構成するために用いられる後続の一連の画像がそれぞれ、後続の一連の各画像における(空間強度変調による)最大ピクセル強度値と最小ピクセル強度値との間のコントラストが増大した空間変調パターンを有するようになるためである。照明の振幅変調深さを増大させることによって、後続の一連の画像からの異なる空間強度変調パターンを用いる環境補正技術が、(例えば、SNRが高まるような、環境光に強い影響力を持つ照明の最大強度と最小強度との差によって)SNRが高められた後続の環境補正された画像を構成する。
以下に説明する特定の実施形態は、SNRを改善するために様々なやり方で提供される照明パラメータの指示に関連している。
SNRは、状況により、環境補正された画像の知覚される品質に重要な役割を果たすと考えられる。十分に高いSNRは、環境補正された画像からの正確な定量測定値を可能にすることが期待される。皮膚のパラメータ及び特徴を経時的に追跡するには、出力される測定値が環境光の条件に依存しないことが有効である。環境補正された画像で十分に高いSNRを実現することによって、皮膚のパラメータの経時的な追跡を十分な精度で行うことが容易になる。
図2は、特定の実施形態による撮像を改善するための例示的なシステム200を示している。システム200は、前述の方法100又は後述の方法500など、本明細書に記載される特定の方法を少なくとも部分的に実施する。いくつかの実施形態では、システム200の特定のブロックが省略される。
システム200は、被写体202によって使用され、撮像システム204及び照明ユニット206を備える。撮像システム204は、方法100で言及した画像を取得するために用いられる。照明ユニット206は、時間変調された照明を提供するために用いられる。撮像システム204及び/又は照明ユニット206は、前述のようなユーザデバイスによって実施される。したがって、いくつかの実施形態では、別個のユーザデバイスが撮像システム204及び照明ユニット206を備えてもよく、他の実施形態では、同じユーザデバイスが撮像システム204及び照明ユニット206を備えてもよい。
いくつかの実施形態において、撮像システム204は、画像を取り込むための少なくとも1つの撮像デバイス、又は被写体202の表面(例えば、皮膚)と相互作用する単一若しくは複数の光源(例えば、環境光の光源、及び/又は照明ユニット206からの照明など)を検知可能なビデオ(例えば、ローリングシャッターモードのカメラ)を備える。
システム200は、(例えば、本明細書に記載される特定の方法を実施するために、ユーザデバイス、又はサーバ若しくはクラウドベースのサービスによって実行される処理回路を備える)コンピュータ208をさらに備える。したがって、コンピュータ208は、撮像システム204及び/又は照明ユニット206に通信可能に結合され、これらの構成要素とデータを送信及び/又は受信する。このデータは、コンピュータ208の処理回路によって処理され、且つ/又はメモリ(例えば、コンピュータ208のメモリ、若しくはコンピュータ208の処理回路にアクセス可能なメモリ)に格納される。いくつかの実施形態において、コンピュータ208は、撮像システム204及び/又は照明ユニット206の動作を制御する。いくつかの実施形態において、コンピュータ208は、照明パラメータ(例えば、照明ユニット206に対する動作パラメータ)、及び/又は検知パラメータ(例えば、撮像システム204に対する動作パラメータ)を制御し、取り込まれた画像又は映像を格納及び/又は処理するためのコントローラを備える。
システム200は光源210を備え、光源210は、いくつかの実施形態では、照明ユニット206と別個であり、被写体202に環境照明を提供する。しかしながら、いくつかの実施形態では、同じ照明ユニット206が、時間変調された照明を提供するだけではなく、環境照明を提供するか、又は環境照明の助けとなってもよい。いくつかの実施形態では、システム200は光源210を備えていない。いくつかの実施形態では、光源210は、スマートライト(例えば、スマート発光ダイオード(LED)、又は光出力をコンピュータ208などのコンピュータによって制御可能な他の光源)を指す。例えば、一部のスマートライトは、スマートライトの強度レベル及び/又は色の出力を制御するために、例えば無線又は有線の通信リンクを介して提供されるデータによって制御可能である。この実施形態において、コンピュータ208は、(例えば、コンピュータ208が光源210の出力を制御できるように)光源210に通信可能に結合される。いくつかの実施形態では、コンピュータ208が光源210の出力を制御できない場合がある。光源210は、環境光の唯一の光源であっても、別の光源(太陽など)からの環境光の助けとなってもよい。
図3a及び図3bは、図1の方法100など、本明細書に記載される特定の方法を実施するためのシステム300を示している。システム300は、図2のシステム200の特定の機能に対応する特定の機能を備え、こうした機能に対する参照符号は、図2と比較すると100だけ大きくなっている。
システム300の撮像デバイス304は、被写体302を撮像する。コンピュータ308は、積分時間内に記録された光子のグレイ値又は数の観点から、撮像デバイス304によって得られた信号の平均及び標準偏差を記録する。SNRは、前述の例示的な式を用いて計算される。いくつかの実施形態において、SNRは、被写体の皮膚タイプ及び環境照明の条件とは関係なく計算される。
図3aは、被写体302の(環境補正された)画像312を示しており、画像312の少なくとも一部314に対してSNRが決定されている。図3aに見られるように、照明ユニット306は、特定の変調照明レベル(例えば、後述の変調深さ)を提供する。しかしながら、図3aでは、画像312の品質が悪く、画像312の少なくとも一部314のSNRが不十分である(例えば、「不明瞭」である、又はノイズが多い)ことは明らかである。
本明細書に記載される特定の方法によれば、コンピュータ308は、図3aでは画像312のSNRが十分に高くない(すなわち、目標SNRよりも低い)と判定し、したがって、図3bに示されるいくつかの実施形態において、コンピュータ308は、照明ユニット306に異なる変調照明レベルを提供させる(例えば、図3aの場合よりも変調深さが大きく、これは、照明ユニット306に隣接するシェーディングが図3bでは図3aよりも濃いことによって表現されている)。図3bの画像312は、図3aの画像312よりも高い品質(したがって、SNR)を有する。画像312の少なくとも一部314は、方法100の少なくとも1回の反復後に目標SNRに達する。
いくつかの実施形態において、環境補正された画像312それぞれに対するSNRの分析は、(例えば、反復的に目標SNRを実現するために)照明ユニット306を制御するためのフィードバック信号の生成につながる。
係数「A」は、環境光(「環境[ルクス]」)と、被写体の皮膚の表面に当たる全光量(すなわち、「(照明+環境)[ルクス]」)との比として定義される。すなわち、
Figure 2023530906000003
であり、ここで、「環境」とは、被写体の部屋の中のスマートライト若しくは任意の他の光、及び/又は太陽光などの光源からの光を指し、「照明」とは、照明ユニット306によって提供される時間変調された照明の振幅又は変調深さを指す。
環境光レベルがゼロであるとき、又は時間変調された照明の振幅よりもずっと小さいときには、値「A」は小さくなる(例えば、A=0)。これは、被写体が暗い部屋の中にいる場合、太陽光に当たっていない場合などである。
環境光レベルが高いとき、又は時間変調された照明の振幅よりもずっと大きいときには、値「A」は大きくなる(例えば、A=0.9)。これは、被写体が明るい部屋の中にいる場合、明るい太陽光に当たっている場合などである。
換言すれば、係数「A」の値は、環境光レベルと時間変調された照明の振幅との相対値によって決まる。
いくつかの実施形態では、皮膚の特徴を経時的に追跡するために、色の情報を指定されたA値に対して基準化できるように、取得された各画像についてA値が記録される。
図4は、被写体の5つの例示的な画像(以下の「A」値に関連付けられている:0、0.25、0.5、0.75、及び0.9)で十分なSNRを得るために係数「A」を固定することの妥当性を示すグラフ(SNR(dB)とAの散布図)を含む。
各画像にはめ込まれているブロックの一覧は、画像の異なる皮膚タイプについて抽出された部分を表す(グラフの凡例には、各皮膚タイプの小片が1~6でラベル付けされている)。グラフは、6つの皮膚タイプに対するSNRとAの結果に関する凡例も示している。
「A」が増加するにつれて、画像の品質が目に見えて低下することが分かる。例えば、A=0の場合、SNRは皮膚タイプに関係なく比較的高いと思われるが、A=0.9の場合、SNRはすべての皮膚タイプについて比較的低い(グラフの目標SNRよりも低い)と思われる。したがって、環境照明レベルと時間変調された照明の振幅との相対値に従って「A」がどのように変化するかについての理解に基づくと、低レベルの環境光は高いSNRに関連付けられ、高レベルの環境光は低いSNRに関連付けられる。
A=0の場合の画像から明らかになるように、各皮膚タイプは、(例えば、目標SNRよりも大きい)十分に高いSNRに関連付けられる。これはグラフによって表現されており、グラフは、各皮膚タイプに対するSNRが(14dBの水平な破線によって表されている)目標SNRをどのように上回っているかを示している。しかしながら、(環境光レベルが高まるのに伴って)Aの値が増加する場合、SNRは低下して、被写体の皮膚タイプによっては目標SNRよりも低くなる。
例えば、目標SNR(すなわち、この場合は14dB)を実現するためには、特定の皮膚タイプ(例えば、>4とラベル付けされた皮膚タイプ)では、係数「A」を他の特定の皮膚タイプ(例えば、≦4とラベル付けされた皮膚タイプ)よりも小さくする必要がある。換言すれば、すべての皮膚タイプについて目標SNRを実現するためには「A」値をずっと小さくする必要がある(例えば、0.1)が、皮膚タイプのサブセット(例えば、≦4とラベル付けされた皮膚タイプ)では「A」値がより大きくてもよい(例えば、0.6)。
このように、係数「A」が大きくなると画質が劣化し、したがって、環境照明が高すぎる状況では皮膚の測定及び分析が損なわれる。このため、(例えば、日によって環境照明レベルが変化するために)経時的に矛盾した結果となる。こうした劣化は様々な皮膚タイプで直線的ではなく、したがって、対象のすべての皮膚タイプが設計値よりも高いSNRを実現するように、「A」を固定する必要がある。例えば、すべての皮膚タイプについてSNRが適切になり、且つ皮膚センシングの測定及び分析の性能が許容可能なものになるように、「A」は低い値(例えば、A=0.1)に設定される。換言すれば、すべての皮膚タイプについて許容可能なSNRの結果を提供する特定の係数Aが存在するように、係数Aは皮膚タイプに応じたSNRに関連付けられる。
これまでに言及したように、方法100の指示は、様々なやり方で改善されたSNR(したがって、改善された皮膚の測定及び分析)をもたらす。SNRを高める、又は(係数「A」の特定の値に関連付けられた)目標SNRを実現するために、環境照明レベル及び/又は時間変調された照明の振幅を、係数Aに対する指定された値を実現するように変化させる。例えば、SNRが目標SNRよりも低い場合、環境照明レベルを下げるか、且つ/又は時間変調された照明の振幅大きくする。
したがって、いくつかの実施形態において、目標SNRは被写体の皮膚のタイプに基づく。
いくつかの実施形態において、目標SNRは、複数の異なる皮膚タイプが少なくとも目標SNRを有する画像を得ることに対応付けられた係数Aに関連付けられる。係数Aは、被写体に入射する環境光レベルと被写体に入射する全光量との比として定義される。全光量は、環境光レベルと照明ユニットによって提供される振幅変調の変調深さとの組合せを指す。指示は、皮膚タイプに応じて変調深さを変えて、異なる皮膚タイプのそれぞれについて同じ係数Aが得られるように構成される。
いくつかの実施形態において、指示は、被写体に対する環境光レベルを制御して、後続の環境補正された画像の少なくとも一部についてSNRを高め、且つ/又は目標SNRを実現するように構成される。
いくつかの実施形態において、指示は、環境光レベルの低下を生じさせて、後続の環境補正された画像の少なくとも一部についてSNRを高め、且つ/又は目標SNRを実現するように構成される。振幅変調、又は「変調深さ」は、時間変調された照明の最大振幅と最小振幅との差を指す。場合により、環境照明レベルは、「DC」、すなわち一定の又はゆっくりと変化する照明レベルと考えられるのに対し、時間変調された照明は、「AC」、すなわち周期的に変化する照明レベルと考えられる。
振幅変調深さを増大させる場合、照明パラメータの指示は、時間変調された照明を提供するための照明ユニットによって提供される、ある異なる振幅変調深さを含む。例えば、環境照明レベルが高すぎて、目標SNRを実現するには値「A」が大きすぎる場合には、振幅変調深さを増大させる。例えば、照明ユニット206によって提供される最大強度と最小強度との差を増大させてもよい。場合により、環境照明レベルが低下したのであれば、例えばエネルギーを節約するために、振幅変調深さを低減することが適切である。
いくつかの実施形態において、照明パラメータの指示は、環境光の光源によって提供される環境光レベルを指定するための制御命令を含む。例えば、図2によって示されるように、コンピュータ208は、光源210に通信可能に結合される。したがって、いくつかの実施形態において、環境補正された画像における現在のSNRが目標SNRよりも低い場合、コンピュータ208は、光源210に提供する光を減少させ、「A」の値が小さくなる(したがって、SNRを高める、且つ/又は目標SNRを実現する)ようにする。
いくつかの実施形態において、照明パラメータの指示は、指定された環境光レベルが必要であること、及び/又は指定された環境光レベルを提供若しくは実現するために(例えば、被写体及び/又はユーザによる)動作が必要であることを、(例えば、被写体自身、又は本明細書に記載される特定の方法を用いて被写体の皮膚に対する測定を行う個人/ユーザに)示す命令(例えば、ユーザ命令)を含む。例えば、環境光が高すぎる(したがって、Aも大きすぎる)場合、指示は、環境光レベルを低下させるために特定の動作をとる必要があることをユーザに知らせる命令を含む。例えば、命令は、被写体又はユーザに対して動作を示唆し、被写体がより暗い部屋に移動すること、又は照明のスイッチを切る、若しくは窓を通して部屋に入る光を遮断するなどのいくつかの他のやり方で環境光レベルを低下させることを促す。この命令は、ユーザデバイス又はユーザインターフェース上のプロンプトの形(例えば、デバイス画面上の視覚的プロンプト、及び/又はデバイスオーディオ出力からの可聴プロンプト)で提供される。
目標SNRを実現するために、前述の方策の任意の組合せを用いて係数「A」を制御することができる。
図5は、特定条件での撮像を改善する方法500を示している。方法500は、方法100のブロック102からブロック106を含み、いくつかの実施形態では、コンピュータ208によって実施される。いくつかの実施形態では、方法500の特定のブロックが省略され、且つ/又は方法500のブロックが図5に示される順序とは異なる順序で実施される。
いくつかの実施形態では、環境補正された画像に対応するデータを受信するステップ(すなわち、ブロック102)の前に、ブロック502において、被写体の皮膚タイプに基づき、時間変調された照明の初期の振幅変調深さ、及び/又は初期の環境光レベルが選択される。例えば、SNRを高める且つ/又は目標SNRを実現するのに必要な反復回数を減らすために(例えば、場合により、目標SNRを実現するためにSNRを高めることを複数回繰り返す必要がある)、被写体の皮膚タイプを方法500で用いられる初期入力値にしてもよい。システムが方法100を実施する前に被写体の皮膚タイプを認識していれば、初期の振幅変調深さが適切に選択され、本明細書に記載される特定の方法の無用な反復の実施を避けることができる。例えば、ユーザの皮膚タイプが「6」(図4参照)であり、少ない環境光及び/又は大きい振幅変調深さを必要とすることが分かっている場合には、この情報を、被写体/ユーザ、照明ユニット206、及び/又は光源210に示し、方法500が、環境補正された画像で目標SNRをより迅速に実現できるようにする。
これまでに言及したように、被写体の一連の(例えば、連続する)画像のそれぞれにおける空間強度変調パターンに基づき、環境補正された画像が決定される。
したがって、いくつかの実施形態では、方法500は、ブロック504において、被写体が時間変調された照明によって照明されている間に、(例えば、撮像システム204の)撮像デバイスに被写体の一連の画像を取得させるステップを有する。ブロック504は、被写体の一連の画像に基づき、環境補正された画像を決定するステップをさらに有する。
いくつかの実施形態では、方法500は、ブロック506において、照明ユニット206に異なる振幅変調深さで時間変調された照明を提供させる指示を用いるステップを有する。例えば、指示は信号を含み、信号は、照明ユニット206(例えば、発光ダイオード、又はユーザデバイス若しくは他の適切なデバイスによって実行される他の照明ユニット)に、信号に従ってその照明出力を変化させるように構成される。例えば、時間変調照明を提供するために、照明ユニット206に供給される電流及び/又は電圧などの電気的パラメータを、時間に応じて変化させる。
いくつかの実施形態では、方法500は、ブロック508において、被写体が(例えば、ブロック506に従って)増大した振幅変調深さを有する時間変調された照明によって照明されている間に、撮像デバイスに被写体の後続の一連の画像を取得させるステップを有する。ブロック508は、被写体の後続の一連の画像に基づき、後続の環境補正された画像を決定するステップをさらに有する。
いくつかの実施形態では、方法500は、ブロック510において、指定された環境光レベルが提供されるように、光源(例えば、光源210)用の電源を制御する指示を用いるステップを有する。例えば、光源210用の電源は、エネルギーを供給して光源210が環境光を生成することを可能するように構成され、指示は、光源210からの光出力を変化させるために、光源210に供給する電力(例えば、電流及び/又は電圧)の量を制御する。
図6は、少なくとも1つのプロセッサ604によって実行されると、少なくとも1つのプロセッサに、方法100又は方法500など本明細書に記載される特定の方法を実施させる命令602を格納する有形の機械可読媒体600を示している。
この実施形態において、命令602は、少なくとも1つのプロセッサ604に、方法100のブロック102を実施させる命令606を含む。命令602は、少なくとも1つのプロセッサ604に、方法100のブロック104を実施させる命令608をさらに含む。命令602は、少なくとも1つのプロセッサ604に、方法100のブロック106を実施させる命令610をさらに含む。
図7は、方法100及び/又は方法500など本明細書に記載される特定の方法を実施するために用いられる装置700を示している。装置700は、コンピュータ208など図2のシステム200に関連して記載された特定の特徴に対応する機能を備えたモジュールを備える。装置700は、処理回路702を備える。
処理回路702は、受信モジュール704を備える。受信モジュール704は、照明ユニット(例えば、照明ユニット206)によって照明される被写体の環境補正された画像に対応するデータを受信するように構成され、照明ユニットは、撮像デバイス(例えば、撮像デバイス204)が用いるフレーム取得レートよりも高い変調周波数を有する時間変調された照明を提供する。撮像デバイスは、時間変調された照明、及びローリングシャッターモードで動作する撮像デバイスにより、各画像で異なる空間強度変調パターンを有する一連の画像を得る。得られた一連の画像からの情報は、環境補正された画像を構成するために用いられる。環境補正された画像では、環境照明の影響が低減される。
処理回路702は、決定モジュール706をさらに備える。決定モジュール706は、環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するように構成される。
処理回路702は、指示モジュール708をさらに備える。指示モジュール708は、SNRが目標SNRよりも低いという判定に応答して、撮像デバイスが後続の一連の画像を取得している間、被写体の照明に用いられる時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を照明ユニットへ送信させるように構成される。後続の一連の画像は、後続の環境補正された画像の少なくとも一部に対するSNRが高められた状態で、当該後続の環境補正された画像を構成するために用いられる。
図8は、方法100及び/又は方法500など本明細書に記載される特定の方法を実施するために用いられる装置800を示している。装置800は、図7の処理回路702を含む処理回路802を備えている。
いくつかの実施形態において、装置800は制御モジュール804をさらに備え、制御モジュール804は:時間変調された照明を提供するための照明ユニット206;及び/又は環境光の光源(例えば、光源210)を制御する。
いくつかの実施形態において、装置800は、照明パラメータの指示に基づき、指定された環境光レベルが必要であること、及び/又は指定された環境光レベルを提供若しくは実現するためにユーザの動作が必要であることを示す命令を提供するためのユーザインターフェース806をさらに備える。この実施形態において、ユーザインターフェース806は装置800の一部である(例えば、装置800がユーザデバイス及びユーザインターフェース806を備える場合)。いくつかの他の実施形態では、ユーザインターフェース806は別個のエンティティ(例えば、本明細書に記載される特定の方法を実施するためのコンピュータ208と別個のデバイス)でもよい。
場合により、前述のモジュール(例えば、受信モジュール704、決定モジュール706、指示モジュール708、及び/又は制御モジュール804)の任意のものが、モジュールの機能を実施するための少なくとも1つの専用プロセッサ(例えば、特定用途向け集積回路(ASIC)及び/又はフィールドプログラマブルゲートアレイ(FPGA)など)を備えてもよい。
場合により、前述のモジュール(例えば、受信モジュール704、決定モジュール706、指示モジュール708、及び/又は制御モジュール804)は、命令を実施するための少なくとも1つのプロセッサを備え、その命令は、少なくとも1つのプロセッサに前述のモジュールの機能を実施させる。そうした例において、命令は、少なくとも1つのプロセッサにアクセス可能な機械可読媒体(図示せず)に格納される。いくつかの例では、モジュール自体が機械可読媒体を含む。いくつかの例では、機械可読媒体はモジュール自体と別個でもよい(例えば、モジュールの少なくとも1つのプロセッサが、機械可読媒体と通信し、機械可読媒体に格納された命令にアクセスするように提供される)。
本発明を図面及び前述の説明において詳しく例示し、説明してきたが、そうした例示及び説明は、説明的又は例示的なものであり、限定的なものではないと考えるべきであり;本発明は開示される実施形態に限定されない。
ある実施形態に記載された1つ又は複数の特徴を、別の実施形態に記載された特徴と組み合わせること、又は置き換えることができる。例えば図1又は図5の方法100、500は、図2又は図3のシステム200、300、機械可読媒体600、及び/又は装置700、800に関連して記載された特徴に基づいて変更されてもよく、逆も同様である。
本開示の実施形態は、方法、システムとして、又は機械可読命令と処理回路との組合せとして提供される。そうした機械可読命令は、コンピュータ可読プログラムコードを有する非一時的な機械(例えば、コンピュータ)可読記憶媒体(限定されないが、ディスク記憶装置、CD-ROM、光学記憶装置などを含む)に含まれる。
本開示は、本開示の実施形態による方法、デバイス、及びシステムの流れ図並びにブロック図を参照して記載される。前述の流れ図は特定の実行順序を示すが、実行順序は図示されるものと異なってもよい。ある流れ図に関連して記載されたブロックが、別の流れ図のブロックと組み合わされてもよい。流れ図及び/又はブロック図中の各ブロック、並びに流れ図及び/又はブロック図中のブロックの組合せは、機械可読命令によって実現可能であることを理解されたい。
機械可読命令は、例えば、汎用コンピュータ、専用コンピュータ、組込み型プロセッサ、又は他のプログラム可能なデータ処理デバイスのプロセッサによって実行され、説明及び図に記載された機能を実現する。特に、プロセッサ若しくは処理回路、又はそのモジュールが、機械可読命令を実行する。したがって、システム200及び/又は装置700、800の機能モジュール(例えば、受信モジュール704、決定モジュール706、指示モジュール708、及び/又は制御モジュール804)、並びに本明細書に記載される他のデバイスは、メモリに格納された機械可読命令を実行するプロセッサ、又は論理回路に組み込まれた命令に従って動作するプロセッサによって実施される。用語「プロセッサ」は、CPU、処理ユニット、ASIC、論理ユニット、又はプログラマブルゲートアレイなどを含むものと広義に解釈すべきである。方法及び機能モジュールはすべて、単一のプロセッサによって実行されるか、又は複数のプロセッサの間で分割される。
そうした機械可読命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスを特定のモードで動作するように誘導することができるコンピュータ可読記憶装置に格納されてもよい。
そうした機械可読命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスにロードされ、その結果、コンピュータ又は他のプログラム可能なデータ処理デバイスは、一連の動作を実施してコンピュータで実施される処理を生成し、したがって、コンピュータ又は他のプログラム可能なデバイスで実行される命令は、流れ図及び/又はブロック図中の(1つ又は複数の)ブロックによって指定された機能を実現する。
さらに、本明細書における教示は、コンピュータプログラムの形で実施されてもよく、コンピュータプログラムは、記憶媒体に格納され、本開示の実施形態に列挙された方法をコンピュータデバイスに実施させるための複数の命令を含む。
ある実施形態に関連して記載された要素又はステップは、別の実施形態に関連して記載された要素又はステップと組み合わせること、又は置き換えることができる。請求される発明の実践に際し、当業者は、図面、開示、及び添付の特許請求の範囲の検討から、開示される実施形態に対する他の変形形態を理解し、実施することが可能である。特許請求の範囲において、単語「有する、備える」は、他の要素又はステップを除外するものではなく、単数形は、複数を除外するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に列挙される複数の項目の機能を果たしてもよい。特定の手段が相互に異なる従属請求項に列挙されているからといって、そうした手段の組合せが有利に使用できないことを示すわけではない。コンピュータプログラムは、他のハードウェアと共に、又は他のハードウェアの一部として提供される光学記憶媒体若しくはソリッドステート媒体などの適切な媒体に格納又は配布されてもよいが、インターネット、又は他の有線若しくは無線の通信システムを介するなど、他の形で配布されてもよい。特許請求の範囲における参照符号はいずれも、その範囲を限定すると解釈されるべきではない。

Claims (15)

  1. 照明ユニットによって照明される被写体の環境補正された画像に対応するデータを受信するステップであって、前記照明ユニットは、一連の画像を得るために撮像デバイスが用いるフレーム取得レートよりも高い変調周波数を有する時間変調された照明を提供し、前記一連の画像は、前記時間変調された照明、及びローリングシャッターモードで動作する前記撮像デバイスにより、各画像で異なる空間強度変調パターンを有しており、得られた前記一連の画像からの情報は、前記環境補正された画像を構成するために用いられ、前記環境補正された画像では環境照明の影響が低減される、データを受信するステップと、
    前記環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定するステップと、
    前記SNRが目標SNRよりも低いという判定に応答して、後続の環境補正された画像の少なくとも一部に対するSNRが高められた状態で、当該後続の環境補正された画像を構成するために、前記撮像デバイスが後続の一連の画像を取得している間、前記被写体の照明に用いられる前記時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を前記照明ユニットへ送信させるステップと
    を有する、コンピュータで実施される方法。
  2. 前記目標SNRは前記被写体の皮膚タイプに基づく、請求項1に記載のコンピュータで実施される方法。
  3. 前記目標SNRは、複数の異なる皮膚タイプが少なくとも前記目標SNRを有する画像を得ることに対応付けられた係数Aに関連付けられ、前記係数Aは、前記被写体に入射する環境光レベルと前記被写体に入射する全光量との比として定義され、前記全光量は、前記環境光レベルと前記照明ユニットによって提供される振幅変調の変調深さとの組み合わせを指し、前記指示は、前記皮膚タイプに応じて前記変調深さを変えて、前記異なる皮膚タイプのそれぞれについて同じ係数Aが得られるようにする、請求項2に記載のコンピュータで実施される方法。
  4. 前記指示は、前記被写体に対する環境光レベルを制御して、前記後続の環境補正された画像の前記少なくとも一部に対するSNRを高めるようにする、請求項1、2、又は3に記載のコンピュータで実施される方法。
  5. 前記指示は、前記環境光レベルの低下を生じさせて、前記環境補正された画像の前記少なくとも一部に対するSNRを高めるようにする、請求項1から4のいずれか一項に記載のコンピュータで実施される方法。
  6. 前記照明パラメータの前記指示は、前記環境光の光源によって提供される前記環境光レベルを指定するための制御命令を含む、請求項5に記載のコンピュータで実施される方法。
  7. 指定された前記環境光レベルが提供されるように、前記光源用の電源を制御するために指示を用いるステップを有する、請求項6に記載のコンピュータで実施される方法。
  8. 前記照明パラメータの前記指示は、指定された環境光レベルが必要であること、及び/又は前記指定された環境光レベルを提供するためにユーザの動作が必要であることを示す命令を含む、請求項1から7のいずれか一項に記載のコンピュータで実施される方法。
  9. 前記被写体が前記時間変調された照明によって照明されている間に、前記撮像デバイスに前記被写体の前記一連の画像を取得させるステップと、前記被写体の前記一連の画像に基づき、前記環境補正された画像を決定するステップとをさらに有する、請求項1から8のいずれか一項に記載のコンピュータで実施される方法。
  10. 前記被写体が増大した振幅変調深さを有する前記時間変調された照明によって照明されている間に、前記撮像デバイスに前記被写体の前記後続の一連の画像を取得させるステップと、前記被写体の前記後続の一連の画像に基づき、前記後続の環境補正された画像を決定するステップとをさらに有する、請求項1から9のいずれか一項に記載のコンピュータで実施される方法。
  11. 前記環境補正された画像に対応する前記データを受信するステップの前に、前記被写体の皮膚タイプに基づき、前記時間変調された照明の初期の振幅変調深さ、及び/又は初期の環境光レベルを選択するステップを有する、請求項1から10のいずれか一項に記載のコンピュータで実施される方法。
  12. 少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1から11のいずれか一項に記載のコンピュータで実施される方法を実施させる命令を格納する、有形の機械可読媒体。
  13. 処理回路を備える装置であって、前記処理回路は、
    照明ユニットによって照明される被写体の環境補正された画像に対応するデータを受信する受信モジュールであって、前記照明ユニットが、一連の画像を得るために撮像デバイスが用いるフレーム取得レートよりも高い変調周波数を有する時間変調された照明を提供し、前記一連の画像が、前記時間変調された照明、及びローリングシャッターモードで動作する前記撮像デバイスにより、各画像で異なる空間強度変調パターンを有しており、得られた前記一連の画像からの情報が、前記環境補正された画像を構成するために用いられ、前記環境補正された画像では環境照明の影響が低減される、受信モジュールと、
    前記環境補正された画像の少なくとも一部の信号対雑音比、すなわちSNRを決定する決定モジュールと、
    前記SNRが目標SNRよりも低いという判定に応答して、後続の環境補正された画像の少なくとも一部に対するSNRが高められた状態で、前記後続の環境補正された画像を構成するために、前記撮像デバイスが後続の一連の画像を取得している間、前記被写体の照明に用いられる前記時間変調された照明の振幅変調深さを増大させるように、照明パラメータの指示を前記照明ユニットへ送信させる指示モジュールと
    を備える、装置。
  14. 制御モジュールをさらに備え、前記制御モジュールは、前記時間変調された照明を提供するための前記照明ユニット及び/又は環境光の光源を制御する、請求項13に記載の装置。
  15. 前記照明パラメータの前記指示に基づき、指定された環境光レベルが必要であること、及び/又は、前記指定された環境光レベルを提供するためにユーザの動作が必要であることを示す命令を提供するためのユーザインターフェースをさらに備える、請求項13又は14に記載の装置。
JP2022576018A 2020-06-10 2021-06-08 信号対雑音比のターゲティング Active JP7330403B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20179192.8 2020-06-10
EP20179192.8A EP3923561A1 (en) 2020-06-10 2020-06-10 Signal-to-noise ratio targeting
PCT/EP2021/065307 WO2021250007A1 (en) 2020-06-10 2021-06-08 Signal-to-noise ratio targeting

Publications (2)

Publication Number Publication Date
JP2023530906A true JP2023530906A (ja) 2023-07-20
JP7330403B2 JP7330403B2 (ja) 2023-08-21

Family

ID=71409083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022576018A Active JP7330403B2 (ja) 2020-06-10 2021-06-08 信号対雑音比のターゲティング

Country Status (5)

Country Link
US (1) US20230181118A1 (ja)
EP (2) EP3923561A1 (ja)
JP (1) JP7330403B2 (ja)
CN (1) CN116458165A (ja)
WO (1) WO2021250007A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014520469A (ja) 2011-06-24 2014-08-21 エントロピック・コミュニケーションズ・インコーポレイテッド ディスプレイ光のシーン照明を使用して反射物体を高信頼度で検出するための方法及びシステム
US9621266B2 (en) * 2014-03-25 2017-04-11 Osram Sylvania Inc. Techniques for raster line alignment in light-based communication
WO2015173015A1 (en) 2014-05-12 2015-11-19 Koninklijke Philips N.V. Detection of coded light
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination

Also Published As

Publication number Publication date
EP3923561A1 (en) 2021-12-15
CN116458165A (zh) 2023-07-18
EP4165865A1 (en) 2023-04-19
US20230181118A1 (en) 2023-06-15
EP4165865B1 (en) 2024-01-10
JP7330403B2 (ja) 2023-08-21
WO2021250007A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
CN108513078B (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
JP5866200B2 (ja) ローリングシャッタを用いる画像センサのためのフリッカ検出回路
US20150199559A1 (en) Systems and methods of light modulation in eye tracking devices
CN107885350B (zh) 具有可调整追踪参数的导航装置
CN108600649B (zh) 一种智能家居照明亮度采集与控制方法
JP2023500510A (ja) 環境光画像補正を実施するためのシステム
JP7204052B1 (ja) 周囲光画像補正を実行するためのシステム
JP7330403B2 (ja) 信号対雑音比のターゲティング
JP7310030B2 (ja) 撮像におけるピクセル強度値の決定
CN108650455B (zh) 一种智能家居照明数据采集终端
US20210135753A1 (en) Detecting coded light
CN108601139B (zh) 一种智能家居照明数据采集方法
CN108811269B (zh) 一种智能家居照明亮度采集与控制系统
JP7418617B2 (ja) ピクセル情報の決定
JP2021145178A (ja) 画像処理装置、判定方法およびプログラム
JP2023500512A (ja) 画像の動き補償を実行するためのシステム
CN117043813A (zh) 图像捕获方法及装置
CN116520977A (zh) 一种基于激光散斑成像实现地表检测的可穿戴设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221209

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7330403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150