JPWO2021089422A5 - - Google Patents

Description

前述された事柄のうちの１つ又は複数により良好に対処するために、第１の態様において、環境光画像補正を実施するためのシステムが提供される。システムは、物体にパルス式照明を提供するように構成された光源と；物体が光源からのパルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像をキャプチャするように構成されたローリングシャッター撮像ユニットであって、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応する、ローリングシャッター撮像ユニットとを備える。光源によって提供される照明のパルス周波数は、ローリングシャッター撮像ユニットによって複数の画像がキャプチャされるフレームレートの整数倍ではない。システムは、明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の明輝度帯を含む第１の合成画像を生成することと；暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成することと；第１の合成画像と第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成することとを実施するように構成された制御ユニットを更に備える。

第２の態様において、環境光画像補正を実施するための方法が提供される。方法は、物体にパルス式照明を提供するステップと；物体が光源からのパルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像をキャプチャするステップであって、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応し、光源によって提供される照明のパルス周波数は、複数の画像がキャプチャされるフレームレートの整数倍ではない、ステップと；明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の明輝度帯を含む第１の合成画像を生成するステップと；暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成するステップと；第１の合成画像と第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成するステップとを有する。

光源１１０によって提供される照明のパルス周波数は、ローリングシャッター撮像ユニット１２０によって複数の画像がキャプチャされるフレームレートの整数倍ではない。いくつかの実施形態において、ローリングシャッター撮像ユニット１２０は、一秒当たり少なくとも３０フレームのフレームレートにおいて複数の画像をキャプチャするように構成される。

図４に戻ると、ブロック４０４において、物体が（ブロック４０２を参照して説明されたように）パルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像がキャプチャされ、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含む。このコンテキストにおいて、明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応する。ブロック４０２において提供される照明のパルス周波数は、ブロック４０４において複数の画像がキャプチャされるフレームレートの整数倍ではない。複数の画像は、システム１００のローリングシャッター撮像ユニット１２０によってキャプチャされる。いくつかの実施形態において、複数の画像は、ブロック４０４において、一秒当たり少なくとも３０フレームのフレームレートにおいてキャプチャされる。

Claims (13)

1. 環境光画像補正を実施するためのシステムであって、前記システムは、
   物体にパルス式照明を提供する光源と、
   前記物体が前記光源からの前記パルス式照明によって照らされている間に、前記パルス式照明の波周期よりも短い露出時間で前記物体の複数の画像をキャプチャするローリングシャッター撮像ユニットであって、キャプチャされた前記複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯は前記パルス式照明の高状態に対応し、暗輝度帯は前記パルス式照明の低状態に対応する、ローリングシャッター撮像ユニットと
   を備え、
   前記光源によって提供される前記パルス式照明のパルス周波数は、前記ローリングシャッター撮像ユニットによって前記複数の画像がキャプチャされるフレームレートの整数倍ではなく、
   前記システムは、
   明輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の明輝度帯を含む第１の合成画像を生成することと、
   暗輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成することと、
   前記第１の合成画像と前記第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成することと
   を実施する制御ユニットを更に備える、システム。
2. 前記第１の合成画像及び前記第２の合成画像は、照明状態に基づいて、キャプチャされた前記複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用することによって生成される、請求項１に記載のシステム。
3. 前記光源は、少なくとも７０Ｈｚのパルス周波数を有する前記パルス式照明を提供する、請求項１又は２に記載のシステム。
4. 前記ローリングシャッター撮像ユニットは、一秒当たり少なくとも３０フレームのフレームレートにおいて前記複数の画像をキャプチャする、請求項１から３のいずれか一項に記載のシステム。
5. 反射コンポーネントと、
   ベースユニットと、
   請求項１から４のいずれか一項に記載のシステムと
   を備える、デジタルミラーデバイスであって、
   前記システムの前記光源は前記反射コンポーネントに隣接して配置され、前記システムの前記制御ユニットは前記デジタルミラーデバイスの前記ベースユニットに位置付けられる、デジタルミラーデバイス。
6. ユーザ入力を受信するユーザインタフェースユニットを更に備え、
   前記制御ユニットは、
   前記ユーザインタフェースユニットを介して第１のユーザ入力を受信した際に前記光源及び前記ローリングシャッター撮像ユニットをスイッチオンすることと、
   前記ユーザインタフェースユニットを介して第２のユーザ入力を受信した際に前記物体の前記複数の画像をキャプチャするように前記ローリングシャッター撮像ユニットを制御することと
   を実施する、請求項５に記載のデジタルミラーデバイス。
7. 前記物体は対象者の頭部であり、前記システムの前記制御ユニットは、更に、前記環境光補正画像に基づいて、前記対象者の顔認識及び前記対象者の頭部方向判定のうちの少なくとも１つを実施する、請求項５又は６に記載のデジタルミラーデバイス。
8. 前記システムの前記制御ユニットは、更に、前記顔認識の動作及び前記頭部方向判定の動作のうちの少なくとも１つの結果に基づいて前記対象者の顔の特徴を判定する、請求項７に記載のデジタルミラーデバイス。
9. 前記ローリングシャッター撮像ユニットが前記複数の画像をキャプチャしている間にインジケーション光を提供するインジケーションライティングユニットを更に備える、請求項５から７のいずれか一項に記載のデジタルミラーデバイス。
10. 環境光画像補正を実施するための方法であって、前記方法は、
    物体にパルス式照明を提供するステップと、
    ローリングシャッター撮像ユニットを使用して、前記物体が光源からの前記パルス式照明によって照らされている間に、前記パルス式照明の波周期よりも短い露出時間で前記物体の複数の画像をキャプチャするステップであって、キャプチャされた前記複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯は前記パルス式照明の高状態に対応し、暗輝度帯は前記パルス式照明の低状態に対応し、前記光源によって提供される前記パルス式照明のパルス周波数は、前記複数の画像がキャプチャされるフレームレートの整数倍ではない、キャプチャするステップと、
    明輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の明輝度帯を含む第１の合成画像を生成するステップと、
    暗輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成するステップと、
    前記第１の合成画像と前記第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成するステップと
    を有する、方法。
11. 前記第１の合成画像及び前記第２の合成画像を生成するステップは、照明状態に基づいて、キャプチャされた前記複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用するステップを有する、請求項１０に記載の方法。
12. 物体にパルス式照明を提供するステップは、少なくとも７０Ｈｚのパルス周波数で前記パルス式照明を提供するステップを有する、請求項１０又は１１に記載の方法。
13. 前記複数の画像をキャプチャするステップは、一秒当たり少なくとも３０フレームのフレームレートにおいて前記複数の画像をキャプチャするステップを有する、請求項１０から１２のいずれか一項に記載の方法。