JPWO2016208214A1 - 距離センサ - Google Patents

Abstract

距離センサは、光源部と、受光部と、制御部と、距離情報生成部とを備える。光源部は、対象物に対して照射光を繰り返して照射する。受光部は、照射光の照射期間の開始から所定時間の間に光を受光する。制御部は、照射光の照射に同期して、受光部が受光した受光量を積算するように、光源部および受光部を制御する。距離情報生成部は、積算された受光量に基づいて、対象物までの距離を示す距離情報を生成する。制御部は、積算された受光量の大きさに応じて、受光部が受光量を積算する回数である積算回数を変化させる。

Description

本発明は、対象物までの距離を測定する距離センサに関する。

対象物までの距離を測定する距離センサに、対象物を含む物体に光を照射して反射光の伝播期間に基づき距離を測定するＴＯＦ（Time-Of-Flight）方式により、距離画像を生成する距離画像センサがある。ＴＯＦ方式の距離画像センサにおいて、外部からの背景光は、照射した光の反射光を用いた距離測定の障害となる。特許文献１は、ＴＯＦ方式の距離測定において、背景光を除去することが考慮された距離画像センサを開示している。

特許文献１の距離画像センサは、画素回路毎に３つの電荷蓄積のノード（容量）を備え、その内の２つは、パルス変調して照射した光に対する反射光の遅れによって電荷配分の比率が変わるように、受光のタイミングを設定する。残りの１つは、常に光の照射がＯＦＦになっているタイミングに設定することで、背景光のみの受光量を蓄積するようにする。これを用いて、反射光の遅れの情報を含む信号から背景光による成分を差し引くことにより、背景光の影響を除去している。

特許第４２３５７２９号公報

特許文献１では、画素回路の３つの容量を用いて背景光と反射光の受光量を蓄積した後で、所定の信号処理において背景光による成分を差し引いている。しかし、太陽光などの強い背景光によって蓄積される受光量が大きくなると、背景光による成分を差し引いても、蓄積した受光量の平方根に比例する統計ノイズである光ショットノイズの影響が残る。また、背景光が過度に強い状況下では、画素回路の容量に蓄積される受光量が飽和して、距離測定のための計算が成立しなくなってしまう。このため、従来技術の距離センサでは、背景光が強い状況下で距離の測定精度が低下するという問題があった。

本発明は、対象物までの距離を示す距離情報において、背景光が強い状況下での距離の測定精度の低下を抑制する距離センサを提供することを目的とする。

本発明に係る距離センサは、光源部と、受光部と、制御部と、距離情報生成部とを備える。光源部は、対象物に対して照射光を繰り返して照射する。受光部は、照射光の照射期間の開始から所定時間の間に光を受光する。制御部は、照射光の照射に同期して、受光部が受光した受光量を積算するように、光源部および受光部を制御する。距離情報生成部は、積算された受光量に基づいて、対象物までの距離を示す距離情報を生成する。制御部は、積算された受光量の大きさに応じて、受光部が受光量を積算する回数である積算回数を変化させる。

本発明に係る距離センサによると、受光部において積算された受光量の大きさに応じて積算回数を変化させるため、背景光が強い状況下で過度に受光量を積算することを回避し、距離の測定精度の低下を抑制することができる。

本発明の実施の形態１に係る距離画像センサの構成を示すブロック図 距離画像センサの外観および組み立て状態を示す斜視図 距離画像センサにおけるセンサ回路の構成例を示すブロック図 センサ回路における画素回路の構成例を示す模式図 距離画像センサにおける照射と受光の動作タイミングを示すタイミングチャート 距離画像センサにおける距離の算出方法を説明するための模式図 距離画像センサによる距離画像の生成動作を説明するための図 背景光の変動に応じた距離画像センサの動作を説明するための図 実施の形態１における距離画像の生成処理を示すフローチャート 実施の形態１における距離画像の生成処理を説明するための図 距離画像センサによる積算回数削減処理の変形例を示すフローチャート 距離画像センサによる積算回数増加処理の変形例を示すフローチャート 距離画像センサを用いた実験を説明するための図 距離画像センサを用いた実験の条件および結果を示す表 実施の形態２における距離画像の生成動作を説明するための図 受光期間の短縮前後の各種信号のタイミングチャート 距離画像センサによる受光期間の短縮を説明するための図 実施の形態２における距離画像の生成処理を示すフローチャート 距離画像センサによる受光量削減処理を示すフローチャート 距離画像センサによる受光量復旧処理を示すフローチャート

以下、添付の図面を参照して本発明に係る距離画像センサについて説明する。

各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。実施の形態２以降では実施の形態１と共通の事項についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態毎には逐次言及しない。

（実施の形態１）
１．構成
実施の形態１に係る距離画像センサの構成について、図１，２を参照して説明する。図１は、実施の形態１に係る距離画像センサの構成を示すブロック図である。図２（ａ）は、距離画像センサの外観を示す斜視図である。図２（ｂ）は、図２（ａ）の距離画像センサを示す分解図である。

本実施形態に係る距離画像センサ１は、図１に示すように、ＬＥＤ（発光ダイオード）２と、センサ回路３と、ＴＯＦ信号処理部４とを備える。距離画像センサ１は、ＴＯＦ方式において距離を測定するセンサ装置であり、対象物５までの距離を示す距離情報として距離画像を生成する距離センサの一例である。距離画像センサ１は、例えば、モバイル機器や情報端末に搭載され、コントローラ６などのホスト側でユーザの手などを対象物５として検知するために用いられる距離画像を出力する。距離画像センサ１は、ＬＥＤ２から光の照射を行い、対象物５からの反射光をセンサ回路３で受光して、ＴＯＦ信号処理部４において対象物５までの距離を示す距離画像を生成する。本実施形態において、距離画像センサ１とコントローラ６は、これらが搭載された装置に対するユーザの操作を検出するユーザインタフェースシステムを構成する。

図２（ａ），（ｂ）に示すように、距離画像センサ１は、レンズ１１と、ホルダ１２と、回路基板１３とを備える。

ＬＥＤ２は、図２（ａ）に示すように、ホルダ１２の外面に取り付けられている。ＬＥＤ２は、赤外領域の波長帯を有する光（以下、「ＬＥＤ光」という）を、ホルダ１２の外部に向けて照射する。ＬＥＤ光は、ＴＯＦ信号処理部４の制御により、パルス変調して照射される。ＬＥＤ２は、所定の波長帯を有する光を照射光として照射及び照射の停止を行う光源部の一例である。

センサ回路３は、受光面を有するＣＭＯＳ（相補型金属酸化物半導体）イメージセンサ回路で構成される。センサ回路３は、図２（ｂ）に示すように、１つの半導体チップに集積されており、ホルダ１２の内部で回路基板１３に取り付けられている。ホルダ１２の外面には、バレルレンズなどのレンズ１１が、センサ回路３の受光面を覆うように取り付けられている。レンズ１１は、ホルダ１２の外部からの光をセンサ回路３の受光面に集光する。センサ回路３は、ＬＥＤ光の照射に同期して受光する受光部の一例である。センサ回路３の構成の詳細については後述する。

ＴＯＦ信号処理部４は、ＴＯＦ方式において距離画像を生成するための種々の信号処理を行う回路を含み、制御部４０と、タイミング発生部４１と、距離画像出力部４３と、記憶部４４とを含む。ＴＯＦ信号処理部４は、例えばＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）で構成され、回路基板１３に集積されている。

ＴＯＦ信号処理部４において、制御部４０は、ロジック回路などで構成され、ＴＯＦ信号処理部４に含まれる各種の回路を制御する。制御部４０は、距離演算部４２と、平均化処理部４５とを備える。

タイミング発生部４１は、発振回路などを備え、所定の周期を有するタイミング信号を発生する。タイミング発生部４１は、パルス変調してＬＥＤ光を照射するための照射制御信号として、発生したタイミング信号をＬＥＤ２に供給する。また、タイミング発生部４１は、発生したタイミング信号をセンサ回路３にも供給し、ＬＥＤ２による照射とセンサ回路３による受光とを同期制御する。距離画像センサ１における照射と受光の動作タイミングについては、後述する。なお、タイミング発生部４１をセンサ回路３に統合し、センサ回路３からＬＥＤ１０のＬＥＤ光をパルス変調する制御を行ってもよい。

距離演算部４２は、四則演算等が可能な演算回路で構成される。距離演算部４２は、センサ回路３による反射光の検出結果に基づいて、受光した反射光の伝播期間に基づく距離を演算する。距離の算出方法については後述する。距離演算部４２は、距離の演算を画素毎に行い、例えば演算した画素毎の距離を示す距離データを記憶部４４に記録する。距離演算部４２によって全画素分の距離データが演算されることにより、距離画像が生成される。距離演算部４２は、距離情報として距離画像を生成する距離情報生成部の一例である。

距離画像出力部４３は、外部機器に情報を出力するインタフェース回路で構成される。距離画像出力部４３は、距離演算部４２において生成された距離画像をコントローラ６等の外部機器に出力する。距離画像出力部４３は、記憶部４４に記録された全画素分の距離データを出力してもよいし、距離演算部４２が演算した距離データを随時、出力してもよい。

記憶部４４は、距離画像センサ１の機能を実現するためのデータやパラメータなど各種の情報を記憶する記憶媒体である。記憶部４４は、例えばフラッシュメモリで構成される。記憶部４４は、例えば１フレームの距離画像を生成するための各種パラメータと、距離画像を平均化するフレーム数とを関連付けたテーブルを記録する（図１０参照）。

平均化処理部４５は、例えば演算回路を備えて構成される。平均化処理部４５は、所定フレームの距離画像を示す画像データを記憶部４４に記録し、記録した複数フレームの距離画像を平均化する処理を行う。距離画像の平均化の詳細については後述する。

ホスト側において、コントローラ６は、例えばＣＰＵやＭＰＵで構成される。コントローラ６は、例えばフラッシュメモリやＲＯＭで構成される内部メモリなどを備え、内部メモリに記録された所定のプログラムを実行することによって各種の機能を実現する。コントローラ６は、例えば、コントローラ６が搭載された装置の表示制御などを行う。また、コントローラ６は、距離画像センサ１からの距離画像に基づき手５などの対象物を検知し、コントローラ６が搭載されたモバイル機器や情報端末に対するユーザの操作を判断する。コントローラ６は、距離画像センサ１によって生成される距離画像に基づいて、所定の処理を実行する処理装置の一例である。

１−１．センサ回路の構成
次に、センサ回路３の構成の詳細について、図３，４を参照して説明する。図３は、距離画像センサ１におけるセンサ回路３の構成を示すブロック図である。図４は、センサ回路３における画素回路の構成を示す模式図である。

図３に示すように、センサ回路３は、複数の画素回路３０と、ゲート駆動回路３１、垂直走査回路３２及び水平読出し回路３３などの周辺回路とを備える。本実施形態では、センサ回路３において、電荷振り分け方式を採用している。

ゲート駆動回路３１は、タイミング発生部４１（図１参照）からのタイミング信号に基づいて、画素回路３０に含まれる種々のＭＯＳトランジスタを駆動するための駆動回路である。ゲート駆動回路３１は、１つの画素回路３０に対して、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３を順次出力する。第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３は、それぞれ複数の画素回路３０に対して同一のタイミングで出力される。

複数の画素回路３０は、受光面上の水平方向及び垂直方向において、マトリクス状に配置される。複数の画素回路３０は、距離画像センサの受光部における複数の画素の一例である。図４（ａ）は、半導体チップ上に積層された画素回路３０を示す模式図である。図４（ｂ）は、図４（ａ）の等価回路を示す回路図である。

画素回路３０は、図４（ａ）に示すように、フォトダイオードＰＤ、３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３を備える。画素回路３０では、ｐ型半導体基板において、フォトダイオードＰＤが埋め込み式で設けられ、フォトダイオードＰＤの周囲に３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３が設けられている。さらに、フォトダイオードＰＤが設けられた領域からフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３に渡って、それぞれＭＯＳトランジスタＭ１，Ｍ２，Ｍ３が形成されている。

３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３では、図４（ｂ）に示すように、それぞれキャパシタＣ１，Ｃ２，Ｃ３が形成される。３つのキャパシタＣ１，Ｃ２，Ｃ３は、それぞれＭＯＳトランジスタＭ１，Ｍ２，Ｍ３を介してフォトダイオードＰＤに接続されている。ＭＯＳトランジスタＭ１，Ｍ２，Ｍ３は、ゲート駆動回路３１からそれぞれのゲートに入力される第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のＯＮ／ＯＦＦによって開閉制御される。

フォトダイオードＰＤは、外部からの光を受光して光電変換する。光電変換によって生じた電荷は、ＭＯＳトランジスタＭ１，Ｍ２，Ｍ３のうちで開状態に制御されたＭＯＳトランジスタを介して、３つのキャパシタＣ１，Ｃ２，Ｃ３のうちのいずれかのキャパシタに蓄積される。このように、キャパシタＣ１，Ｃ２，Ｃ３は、フォトダイオードＰＤの受光量に相当する電荷を蓄積する。センサ回路３は、画素回路３０毎のキャパシタＣ１，Ｃ２，Ｃ３に電荷を蓄積することによって受光量を取得する。

画素回路３０間のキャパシタＣ１，Ｃ２，Ｃ３において取得された受光量は、選択信号Ｓｓによって当該画素回路３０が選択されたときに、アナログ信号線から読み出される。選択信号Ｓｓは、複数の画素回路３０から、受光量を読み出す対象の画素回路３０を選択する信号である。また、キャパシタＣ１，Ｃ２，Ｃ３は、リセット信号Ｓｒ１，Ｓｒ２，Ｓｒ３によって参照電圧ＶＲが印加されることにより、蓄積した電荷を放出してリセットされる。リセット信号Ｓｒ１，Ｓｒ２，Ｓｒ３は、例えばゲート駆動回路３１から入力される。

図３に戻り、垂直走査回路３２は、画素回路３０からの受光量の読み出しにおいて、マトリクス状に並んだ画素回路３０を垂直走査するための回路である。垂直走査回路３２は、一行に並んだ画素回路３０毎に順次、選択信号Ｓｓを出力する。

水平読出し回路３３は、垂直走査回路３２が走査する画素回路３０の受光量をＴＯＦ信号処理部４に読み出すための回路である。水平読出し回路３３は、複数のＡ／Ｄ（アナログ／デジタル）変換器３５を有し、画素回路３０からのアナログ値の受光量をデジタル量のカウント値に変換（Ａ／Ｄ変換）する。複数のＡ／Ｄ変換器３５は、例えば一列毎の画素回路３０に対して３つずつ設けられ、画素回路３０のキャパシタＣ１，Ｃ２，Ｃ３で取得された受光量をそれぞれＡ／Ｄ変換する。Ａ／Ｄ変換された受光量のカウント値は、ＴＯＦ信号処理部４の距離演算部４２（図１参照）に出力される。

２．動作
次に、本実施形態に係る距離画像センサ１の動作について説明する。

２−１．距離の算出方法
まず、距離画像センサ１による対象物までの距離の算出方法について、図５，６を参照して説明する。図５は、距離画像センサ１における照射と受光の動作タイミングを示すタイミングチャートである。図５（ａ）は、ＬＥＤ光の照射を制御するための照射制御信号のタイミングを示す。図５（ｂ）は、対象物から距離画像センサ１に到達する反射光の到達タイミングを示す。図５（ｃ），（ｄ），（ｅ）は、それぞれ画素回路３０に入力される第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のタイミングを示す。図６は、距離画像センサ１による距離の算出方法を説明するための模式図である。

図５（ａ）に示す照射制御信号は、タイミング発生部４１からＬＥＤ２に供給される（図１参照）。照射制御信号に基づき、所定の期間Ｔｐをパルス幅とするパルス波形のＬＥＤ光が、時刻ｔ１から照射される。期間Ｔｐは、例えば１０ナノ秒（ｎｓ）以上２０ナノ秒以下である。ＬＥＤ光が対象物に照射されることにより、対象物から反射光が生じる。対象物からの反射光は、距離画像センサ１までの距離に応じてＬＥＤ光の照射時から遅延して、距離画像センサ１に到達する。

図５（ｂ）に示す対象物からの反射光は、照射時のＬＥＤ光に対する遅延期間がＴｄであり、時刻ｔ１から遅延期間Ｔｄ後の時刻ｔ２に、距離画像センサ１に到達している。反射光の波形は、ＬＥＤ光と同じ期間Ｔｐのパルス幅を有する。なお、本実施形態では、遅延期間Ｔｄは期間Ｔｐ未満であることを想定している。

本実施形態のセンサ回路３では、以下の様に、図５（ｃ）〜（ｅ）に示すゲート信号Ｓｇ１〜Ｓｇ３に基づき、ＬＥＤ光の照射の停止期間中に背景光などの外光を受光するとともに、ＬＥＤ光の照射期間に同期して対象物からの反射光を時分割して受光する。

ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３は順次、照射制御信号に同期してセンサ回路３のゲート駆動回路３１から受光面上の画素回路３０に出力される（図３参照）。画素回路３０においては、ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３に基づき、フォトダイオードＰＤで受光量に応じて生成された電荷がキャパシタＣ１，Ｃ２，Ｃ３に蓄積される（図４（ｂ）参照）。なお、受光量に相当する電荷がキャパシタＣ１，Ｃ２，Ｃ３に蓄積されていない期間においてフォトダイオードＰＤで生じる電荷は、図示しないドレインゲートを通じて外部に排出されるようになっている。

図５（ｃ）に示す第１ゲート信号Ｓｇ１はＬＥＤ光の照射前で、かつ期間Ｔｐの間、ＯＮされる。第１ゲート信号Ｓｇ１がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ１に蓄積される。図６（ａ）に、キャパシタＣ１に蓄積される第１ゲート信号Ｓｇ１に基づく受光量Ｑ１を示す。受光量Ｑ１は、ＬＥＤ光の反射光が生じていない状態において取得される外光の受光量である。受光量Ｑ１は、背景光などのＬＥＤ光とは無関係の外光の影響を確認するために取得される。

図５（ｄ）に示す第２ゲート信号Ｓｇ２はＬＥＤ光の照射を開始した時刻ｔ１から停止する時刻ｔ３までの間、ＯＮされる。第２ゲート信号Ｓｇ２がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ２に蓄積される。図６（ｂ）に、キャパシタＣ２に蓄積される第２ゲート信号Ｓｇ２に基づく受光量Ｑ２を示す。受光量Ｑ２には、ＬＥＤ光の照射開始の時刻ｔ１から期間Ｔｐ以内に到達する反射光に由来する反射光成分が含まれる。また、受光量Ｑ２には、背景光などの外光成分も含まれる（図７参照）。

図５（ｅ）に示す第３ゲート信号Ｓｇ３はＬＥＤ光の照射停止後の時刻ｔ３から期間Ｔｐの間、ＯＮされる。第３ゲート信号Ｓｇ３がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ３に蓄積される。図６（ｃ）に、キャパシタＣ３に蓄積される第３ゲート信号Ｓｇ３に基づく受光量Ｑ３を示す。受光量Ｑ３には、ＬＥＤ光の照射を停止した時刻ｔ３から遅延期間Ｔｄ後の時刻ｔ４まで続けて到来する反射光に由来する反射光成分が含まれる。このように、反射光の受光量全体が時分割され、遅延期間Ｔｄに応じて、受光量Ｑ２，Ｑ３の反射光成分として振り分けられる。なお、反射光の遅延期間Ｔｄは期間Ｔｐ未満であることを想定しており、反射光の到来が終了する時刻ｔ４は、キャパシタＣ３の充電期間Ｔｐの範囲内にある。また、受光量Ｑ３には、受光量Ｑ２と同様に、外光成分も含まれる。なお、ＬＥＤ光を照射する期間の長さと、各ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３がＯＮの期間の長さとは、同じ長さでなくてもよい。

以上のように、距離画像センサ１では、センサ回路３がＬＥＤ光の照射期間の開始から所定時間の間に光を受光して、キャパシタＣ２，Ｃ３（第１のキャパシタ）において受光量Ｑ２，Ｑ３に応じた電荷を蓄積する。また、ＬＥＤ光の照射の停止期間中に光を受光して、キャパシタＣ１（第２のキャパシタ）において受光量Ｑ１に応じた電荷を蓄積する。キャパシタＣ１，Ｃ２，Ｃ３それぞれに蓄積された電荷を検出することで、受光量Ｑ１，Ｑ２，Ｑ３を取得することができる。キャパシタＣ１，Ｃ２，Ｃ３それぞれに蓄積された電荷に相当する受光量Ｑ１，Ｑ２，Ｑ３によると、対象物からの反射光の遅延期間Ｔｄと期間Ｔｐの比は、図６（ｄ）に示すように、反射光の受光量全体のうちの受光量Ｑ３に振り分けられた割合に対応している。このため、遅延期間Ｔｄは、受光量Ｑ２，Ｑ３の配分に基づいて求めることができる。

ここで、受光量Ｑ２，Ｑ３には、図６（ｂ），（ｃ）に示すように、反射光成分だけでなく外光成分も含まれている。受光量Ｑ２，Ｑ３は外光のみの受光量Ｑ１と同じ長さの期間Ｔｐで取得されているので、受光量Ｑ２，Ｑ３に含まれる外光成分は、受光量Ｑ１と同程度であると考えられる。このため、本実施形態では、受光量Ｑ２，Ｑ３から適宜、受光量Ｑ１を減算することにより、外光成分を除いた反射光成分の受光量を算出する。受光量Ｑ１は受光量Ｑ２，Ｑ３を取得する直前に取得されるため、受光量Ｑ１により受光量Ｑ２，Ｑ３における外光成分を精度良く取り除くことができる。

遅延期間Ｔｄは、ＬＥＤ光が対象物に到達し、反射光として距離画像センサ１に戻ってくるまでにかかる時間である。つまり、対象物と距離画像センサ１との間の距離を光速ｃで往復した際にかかる時間である。よって、対象物までの距離をＬとすると、Ｔｄ＝２Ｌ／ｃが成り立つため、次式を演算することにより、対象物までの距離Ｌを算出することができる。
Ｌ＝（ｃ／２）×Ｔｐ×｛（Ｑ３−Ｑ１）／（Ｑ２＋Ｑ３−２×Ｑ１）｝ （１）

２−２．距離画像の生成動作
本実施形態に係る距離画像の生成動作について、図７を参照して説明する。図７（ａ）は、１フレームの距離画像を生成する動作を説明するための図である。図７（ｂ），（ｃ），（ｄ）は、図７（ａ）の積算期間中の第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のタイミングチャートを示す。図７（ｄ）は、図７（ａ）の積算期間中のドレインゲートのタイミングチャートを示す。なお、ドレインゲートとは、フォトダイオードＰＤから電荷を排出するためのゲートである。

本実施形態に係る距離画像センサ１は、例えばモバイル機器に搭載されてユーザのジェスチャーなどによる操作を検出するために、所定値のフレームレート以上のフレームレートで距離画像を繰り返し生成する。所定値のフレームレートは、例えば３０ｆｐｓ以上６０ｆｐｓ以下の値であり、ここでは３０ｆｐｓとする。図７（ａ）に示すように、１フレームの距離画像を生成する間には、上述したパルス状のＬＥＤ光の照射及びその反射光の受光の一連の動作を所定回数、繰り返して受光量を積算する期間（積算期間）と、積算した受光量を読み出す期間（読出し期間）とがある。

積算期間は、パルス状のＬＥＤ光を照射する回数分の受光期間を含む。受光期間は、画素回路３０において受光を行う期間であり、１回の受光期間において、図７（ｂ），（ｃ），（ｄ）に示すように、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３が順次ＯＮされる（図５参照）。図７（ｅ）に示すように、ドレインゲートは、積算期間における受光期間外のときに開状態となり、フォトダイオードＰＤで光電変換された電荷を排出する。積算期間において、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３に基づき、繰り返し電荷をキャパシタＣ１，Ｃ２，Ｃ３に蓄積することにより、受光量Ｑ１，Ｑ２，Ｑ３（図６参照）が積算される。以下、積算期間において受光量Ｑ１，Ｑ２，Ｑ３をそれぞれ積算する回数を、「積算回数」という。

積算期間後の読出し期間において、ＴＯＦ信号処理部４の制御部４０は、センサ回路３のＡ／Ｄ変換器３５から、各画素回路３０で積算された受光量Ｑ１，Ｑ２，Ｑ３のカウント値を読み出す。制御部４０において、距離演算部４２は、画素回路３０毎の受光量Ｑ１，Ｑ２，Ｑ３のカウント値に基づき、式（１）を演算する。受光量Ｑ１，Ｑ２，Ｑ３の積算により、測定される距離の統計的な精度が高まり、高精度で距離を算出することができる。

距離演算部４２が１つの画素に対して上式（１）を演算することにより、その画素の距離を示す距離データが取得される。ＴＯＦ信号処理部４は、全画素分の距離データを取得することにより、１フレームの距離画像を生成する。

距離画像センサ１がジェスチャー検出などのためにモバイル機器に搭載される場合、３０ｆｐｓなどの所定値以上のフレームレートが要求されるとともに、消費電力の低減が望まれる。さらに、モバイル機器を屋内外に持ち出して使用することが想定され、屋外の太陽光などの背景光に対する対策が重要となる。以下、本実施形態の距離画像の生成動作による背景光対策について説明する。

２−２−１．背景光対策について
本実施形態における背景光対策について、図８を用いて説明する。図８は、背景光の変動に応じた距離画像センサ１の動作を説明するための図である。図８（ａ）は、通常時の１フレームの距離画像を生成する動作を示す。図８（ｂ）は、図８（ａ）の状態から背景光が増大したときの１フレームの動作を示す。図８（ｃ）は、図８（ｂ）の状態からさらに背景光が増大したときの１フレームの動作を示す。

屋外では、太陽光などの強い背景光が、距離画像における距離の測定の障害となる。本実施形態では、受光量Ｑ１を用いた式（１）の演算において、受光量Ｑ２，Ｑ３の内の背景光による外光成分を取り除いている。しかし、強い背景光により積算される受光量が大きくなると、受光量Ｑ１を用いた式（１）の演算であっても、積算した受光量の大きさに依存する光ショットノイズの影響が残ってしまう。また、背景光が強い状況下では、受光量Ｑ１，Ｑ２，Ｑ３を積算する際にキャパシタＣ１，Ｃ２，Ｃ３が飽和し、距離の測定精度が著しく低下してしまう。一方、背景光が強い状況下でも飽和しないようにキャパシタの容量値を大きく設定すると、センサ装置の大型化のみならず、大きい容量値に合わせてＡ／Ｄ変換器３５のカウント値が割り当てられるので、背景光が弱い状況下では距離の測定精度が低下してしまう。そこで、本実施形態では、距離画像の生成時に背景光の強さをモニタし、背景光の受光量の大きさに応じて、新たに距離画像を生成する際の積算回数を変化させる。

まず、図８（ａ）に示すように、通常時には、充分良好な距離の測定精度を確保するために、積算回数を２００００回などの大きい値に設定する。なお、通常時の積算回数は、距離の測定精度とともに、例えばフレームレートや消費電力のトレードオフを考慮して、適切な値を設定してもよい。

強い背景光を検知したとき、図８（ｂ）に示すように、積算回数を低減する。例えば１５０００回などに削減する。これにより、１フレーム中で積算される受光量が減少し、キャパシタＣ１，Ｃ２，Ｃ３の飽和を抑制することができる。また、このとき、積算回数の削減によって距離画像を生成するまでのフレームレートが大きくなる。積算回数を変化させた後も、背景光のモニタを行う。

図８（ｂ）の状態でモニタした背景光の受光量がさらに大きくなったとき、図８（ｃ）に示すように、積算回数をさらに削減する。ここで、背景光の強さに応じて積算回数を削減し続けると、受光量における外光成分だけでなく反射光成分も減少し、距離の測定精度が低下してしまう。そこで、積算回数の削減によってフレームレートが大きくなることを利用して、３０ｆｐｓ等の所定値以上のフレームレートが確保できる場合には、複数フレーム（例えば２フレームや３フレーム）分の距離画像を平均化して出力する。距離画像を平均化することにより、距離の測定精度の低下を抑制することができる。

また、飽和の危険性が解消する程度に背景光の受光量が低減した場合、削減した積算回数を順次、戻す。これにより、例えば距離画像センサ１が屋外から屋内に持ち込まれたときなど、背景光が強くなった後で弱まった場合において、受光量の飽和を回避しながら距離の測定精度を回復させることができる。以上の背景光対策がなされる距離画像の生成処理について、以下、説明する。

２−２−２．距離画像の生成処理
本実施形態に係る距離画像センサ１の距離画像の生成処理について、図９，１０を参照して説明する。図９は、本実施形態における距離画像の生成処理を示すフローチャートである。図１０（ａ）は、距離画像の生成処理において用いるデータテーブルＤ１を示す。図１０（ｂ）は、距離画像の平均化を説明するための表を示す。

本フローチャートによる処理は、ＴＯＦ信号処理部４の制御部４０によって実行される。

まず、制御部４０は、タイミング発生部４１を制御して、予め設定された積算回数分、パルス状のＬＥＤ光を照射するとともに受光量Ｑ１，Ｑ２，Ｑ３（図６参照）を積算するように、ＬＥＤ２とセンサ回路３とをオンオフ制御する（Ｓ１）。

次に、制御部４０は、センサ回路３から、積算回数分のオンオフ制御により積算された受光量Ｑ１，Ｑ２，Ｑ３のカウント値を、画素毎に読み出す（Ｓ２）。

制御部４０は、読み出した受光量のカウント値に基づき、距離演算部４２において式（１）を用いて距離の演算を行い、距離画像を生成する（Ｓ３）。

次に、制御部４０は、生成した距離画像の平均化を行うか否かを判断する（Ｓ４）。ステップＳ４の判断は、積算回数に基づいて判断する。例えば、図８（ａ）に示す場合は、積算回数が所定値（例えば１２０００回）よりも大きいことから距離画像の平均化を行わないと判断され（Ｓ４でＮｏ）、ステップＳ５に進む。距離画像の平均化を行う場合については後述する。

制御部４０は、距離画像出力部４３から外部機器に、１フレームの距離画像を出力する（Ｓ５）。

次に、制御部４０は、ステップＳ２において読み出した受光量に基づき、背景光の受光量を検出する（Ｓ８）。本実施形態では、制御部４０は、各画素回路３０のキャパシタＣ１において積算された受光量Ｑ１を用いて背景光の受光量の大きさを判断し、全ての画素回路３０の受光量Ｑ１の内の最大値を、背景光の検出値として使用する。

次に、制御部４０は、背景光の検出値がしきい値ＬＡを越えたか否かを判断する（Ｓ９）。しきい値ＬＡは、受光量が飽和に近い値まで積算されたことを示すしきい値であり、キャパシタＣ１，Ｃ２，Ｃ３に蓄積できる受光量の上限値によって規定される。例えば、しきい値ＬＡはキャパシタＣ１の最大蓄積量の９０％に設定される。

背景光の検出値がしきい値ＬＡを超えた場合、いずれかの画素回路３０の受光量がしきい値ＬＡを越えており、キャパシタＣ１，Ｃ２，Ｃ３で飽和を起こす可能性が高くなっている。このため、制御部４０は、背景光の検出値がしきい値ＬＡを越えたと判断した場合（Ｓ９でＹｅｓ）、積算回数削減処理を行う（Ｓ１０）。

積算回数削減処理は、背景光の増大に応じて、次のフレームで生成される距離画像の積算回数を削減するとともに、距離画像の平均化の設定を行う処理である。本フローにおいて、制御部４０は、記憶部４４に格納されたデータテーブルＤ１を用いて、積算回数削減処理を行う。

データテーブルＤ１は、図１０（ａ）に示すように、モードと、積算回数と、平均化設定フラグと、平均化フレーム数と、平均化の前後のフレームレートとを管理する。モードは、１フレーム毎の積算回数を段階的に削減するために設けられる。図１０（ａ）では、一例として５段階のモードを規定しており、図８（ａ），（ｂ），（ｃ）に示す状態は、それぞれモード１，２，３の動作を示している。平均化設定フラグは、距離画像の平均化を行うか否かを設定するフラグである。ここでは、積算回数のしきい値を１２０００として、平均化設定フラグを設定している。平均化フレーム数は、距離画像の平均化を行う場合に、平均化の対象として取得される距離画像のフレーム数である。

積算回数削減処理は、データテーブルＤ１において、設定中のモードを１段階大きいモードに移行することにより行われる。例えば、図８（ａ）に示すモード１での処理を行っている場合において検出値がしきい値ＬＡを超えたとき（Ｓ９でＹｅｓ）、制御部４０は、データテーブルＤ１を読み出してモード１からモード２に移行し（Ｓ１０）、モード２の状態でステップＳ１以降の処理を再度行う（図８（ｂ）参照）。

データテーブルＤ１のモード２には、モード１よりも小さい積算回数とともに、平均化設定フラグ「ＯＦＦ（平均化しない）」が設定されている。このため、モード２に移行後のステップＳ１において積算回数が削減され、ステップＳ４において、制御部４０はデータテーブルＤ１の平均化設定フラグを参照して「Ｎｏ」に進み、生成した１フレームの距離画像を出力する（Ｓ５）。

また、図８（ｂ）に示す場合（モード２）において検出値が、再度しきい値ＬＡを超えたとき（Ｓ９でＹｅｓ）、ステップＳ１０の積算回数削減処理において、モード２からモード３に移行する（図８（ｃ）参照）。データテーブルＤ１のモード３には、平均化設定フラグが「ＯＮ（平均化する）」に設定されている。このため、モード３に移行すると、ステップＳ４，Ｓ６，Ｓ７の処理により距離画像の平均化が行われる。

距離画像の平均化を行う場合、制御部４０は、ステップＳ４において平均化設定フラグに基づき「Ｙｅｓ」に進み、生成した距離画像のフレーム数がデータテーブルＤ１の平均化フレーム数に到達したか否かを判断する（Ｓ６）。制御部４０は、生成した距離画像のフレーム数が平均化フレーム数に到達するまで、ステップＳ１以降の処理を繰り返し行い（Ｓ６でＮｏ）、生成した距離画像を記憶部４４に記録する。

生成した距離画像のフレーム数が平均化フレーム数に到達した場合（Ｓ６でＹｅｓ）、制御部４０は、平均化処理部４５において距離画像の平均化を実行する（Ｓ７）。

図１０（ｂ）に示す表は、距離画像の平均化の前後の距離データの一例を示す。距離画像の平均化は、図１０（ｂ）に示すように、距離画像の各画素（ｘ１，ｙ１）、（ｘ２，ｙ２）、…において、平均化フレーム数分の距離データの平均値を演算することによって行われる。平均化処理部４５による距離データの平均値の演算は、実際の距離の単位で行われてもよいし、ビット数単位で行われてもよい。演算した平均値を平均化した距離画像の距離データをすることにより、フレーム毎の距離データのばらつきが平坦化され、距離の測定精度が向上する。

図１０（ａ）に示すモード３の状態では、平均化フレーム数が「２」に設定されているため、図１０（ｂ）に示すように２フレーム分の距離画像が平均化され（Ｓ７）、平均化した距離画像が出力される（Ｓ５）。このため、図１０（ａ）に示すように、平均後のフレームレート（３０．３５ｆｐｓ）は、平均前のフレームレート（６０．７ｆｐｓ）よりも１／２倍になる。データテーブルＤ１では、平均後のフレームレートが３０ｆｐｓ以上になるように、平均化フレーム数が設定されている。このため、データテーブルＤ１を参照して積算回数削減処理を行うことにより、フレームレート３０ｆｐｓ以上で距離画像を出力することが保障される。

また、制御部４０は、背景光の検出値がしきい値ＬＡを越えていないと判断した場合（Ｓ９でＮｏ）、背景光の検出値がしきい値ＬＢを下回ったか否かを判断する（Ｓ１１）。しきい値ＬＢは、積算した受光量が飽和による上限値から充分に大きいマージンを有することを示す下限のしきい値であり、積算回数が削減された分を戻しても、その場合の検出値がしきい値ＬＡ未満になるように設定される。

背景光の検出値がしきい値ＬＢを下回った場合には、全ての画素回路３０の受光量がしきい値ＬＢを下回っており、積算回数の設定を戻してもキャパシタＣ１，Ｃ２，Ｃ３の飽和は生じない。このため、制御部４０は、背景光の検出値がしきい値ＬＢを下回ったと判断した場合（Ｓ１１でＹｅｓ）、積算回数増加処理を行う（Ｓ１１）。

積算回数増加処理は、背景光の減少に応じて、次のフレームで生成される距離画像の積算回数を増加させる処理である。本フローにおいて、積算回数増加処理は、図１０（ａ）に示すデータテーブルＤ１で設定中のモードを１段階小さいモードに移行することにより行われる。これにより、背景光が一度強くなった後に弱まった場合などに、キャパシタＣ１，Ｃ２，Ｃ３の飽和を起こすことなく距離の測定精度を回復させることができる。

また、制御部４０は、背景光の検出値がしきい値ＬＢを下回っていないと判断した場合（Ｓ１１でＮｏ）、設定中のモードの状態で、ステップＳ１以降の処理を繰り返し行う。

以上の処理によると、背景光が強い状況下ではデータテーブルＤ１のモードにおいて積算回数が段階的に削減され、背景光が弱まると積算回数が増加されるので、背景光の変動による距離の測定精度の低下を抑制することができる。また、積算回数の設定に応じて距離画像の平均化を行うことにより、距離画像を出力するフレームレートを３０ｆｐｓなどの所定値以上に維持しながら、距離の測定精度の低下をより抑制することができる。

また、以上の説明では、背景光の受光量の検出（ステップＳ８）を、ステップＳ５の距離画像の出力後に行ったが、ステップＳ８以降の処理を行うタイミングはステップＳ５の後に限らない。ステップＳ８〜Ｓ１２の処理は、ステップＳ５よりも前に行ってもよく、例えばステップＳ２の受光量の読み出し後に行ってもよい。

また、以上の説明では、ステップＳ１０，Ｓ１２の処理において、図１０に示すデータテーブルＤ１のモードを一段階ずつ変更したが、これに限らず、例えば背景光の検出値に応じて変更するモード数を演算し、１フレームで複数段階のモードを変更してもよい。

また、以上の処理では、ステップＳ１０，１２の積算回数削減処理及び積算回数増加処理においてデータテーブルＤ１を参照したが、データテーブルＤ１を用いる代わりに、積算回数を設定するための演算を行ってもよい。以下、図１１，１２を用いて積算回数削減処理及び積算回数増加処理の変形例について説明する。

図１１は、積算回数削減処理の変形例を示すフローチャートである。以下で説明する処理は、図９のステップＳ１０において行われる。

まず、制御部４０は、積算回数を減らすための演算を行う（Ｓ２１）。この演算処理は、例えば、設定中の積算回数に１未満の所定値（例えば０．７５）を乗算することにより行われてもよいし、設定中の積算回数から所定数（例えば１０００回）を減算することにより行われてもよい。また、背景光の検出値としきい値ＬＡとの差分に基づいて、検出値がしきい値ＬＡ以下になる積算回数を算出してもよい。

次に、制御部４０は、積算１回当たりの期間（ＬＥＤ光の照射の１周期）および受光量の読出し期間に基づいて、演算した積算回数において距離画像を生成する場合のフレームレートを演算する（Ｓ２２）。

次に、制御部４０は、演算したフレームレートが３０ｆｐｓの２倍を超えるか否かを判定する（Ｓ２３）。演算したフレームレートが３０ｆｐｓの２倍を超えない場合（Ｓ２３でＮｏ）、制御部４０は、記憶部４４に記録された平均化設定フラグを「ＯＦＦ（平均化しない）」に設定する（Ｓ２５）。

一方、演算したフレームレートが３０ｆｐｓの２倍を超える場合（Ｓ２３でＹｅｓ）、制御部４０は、演算したフレームレートが３０ｆｐｓの３倍を超えるか否かを判定する（Ｓ２５）。演算したフレームレートが３０ｆｐｓの３倍を超えない場合（Ｓ２５でＮｏ）、制御部４０は、記憶部４４に記録された平均化フレーム数を「２」に設定する（Ｓ２６）。

一方、演算したフレームレートが３０ｆｐｓの３倍を超える場合（Ｓ２５でＹｅｓ）、制御部４０は、記憶部４４に記録された平均化フレーム数を「３」に設定する（Ｓ２７）。なお、ステップＳ２３，Ｓ２５と同様に、演算したフレームレートが３０ｆｐｓのＮ倍（Ｎ＝４，５，…）を超えるか否かの判断を行ってもよい。

制御部４０は、ステップＳ２４，Ｓ２６，Ｓ２７のいずれかの処理を行った後に、図９のステップＳ１以降の処理を行う。

以上の処理により、背景光の増大に応じて積算回数を演算し、受光量の飽和を回避することができる。また、演算した積算回数に基づき、３０ｆｐｓ以上のフレームレートを維持して距離画像の平均化を設定することができる。

図１２は、積算回数増加処理の変形例を示すフローチャートである。上記のように図９のステップＳ１０において図１１に示す積算回数削減処理を行う場合、図９のステップＳ１２では、図１２に示すように積算回数増加処理を行う。

まず、制御部４０は、設定中の積算回数が最大の積算回数であるか否かを判断する（Ｓ３０）。最大の積算回数は、例えば、距離画像を生成するまでのフレームレートが３０ｆｐｓを下回らないように設定される。設定中の積算回数が最大の積算回数である場合（Ｓ３０でＹｅｓ）、制御部４０は、積算回数の設定を変更することなく図９のステップＳ１に戻る。

一方、設定中の積算回数が最大の積算回数でない場合（Ｓ３０でＮｏ）、制御部４０は、積算回数を増やすための演算を行う（Ｓ３１）。ステップＳ３１の演算処理は、図１１のステップＳ２１で行われた演算処理に対応する演算式で行われる。例えば、ステップＳ２１で設定中の積算回数から所定数（例えば１０００回）の減算が行われた場合、ステップＳ３１では設定中の積算回数に同数（例えば１０００回）の加算を行う。

次に、制御部４０は、ステップＳ２２と同様に、演算した積算回数において距離画像を生成する場合のフレームレートを演算する（Ｓ３２）。さらに、ステップＳ３３，３４，３５，３６，３７において、それぞれステップＳ２３，２４，２５，２６，２７と同様の処理を行い、ステップＳ１に戻る。

以上の処理により、積算回数を減らすための演算に対応する演算式を用いて、減らした積算回数が戻され、背景光の減少に応じて距離の測定精度を回復させることができる。

以上の説明では、演算したフレームレートが所定値のフレームレートの２倍又は３倍を超える場合において、平均化フレーム数を「２」又は「３」に設定した。平均化フレーム数の設定はこれに限らず、演算したフレームレートが所定値のフレームレートのＮ倍（Ｎ＝４，５，…）を超える場合において、平均化フレーム数を「Ｎ」に設定してもよい。

また、以上の説明では、ステップＳ２１，Ｓ３１において演算した積算回数に応じたフレームレートを演算し（Ｓ２２，Ｓ３２）、演算したフレームレートに基づき平均化フレーム数を判断した（Ｓ２３〜２７，Ｓ３３〜３７）。しかし、フレームレートの演算は行わなくてもよい。例えば、積算回数と、平均化フレーム数（及び平均化設定フラグ）とを関連付けたデータテーブルを用いて、ステップＳ２１，Ｓ３１において演算した積算回数に応じた平均化フレーム数を指定してもよい。

２−３．確認実験について
本実施形態に係る距離画像センサ１の効果を確認するために、本距離画像センサ１を用いた実験を行った。以下、図１３，１４を参照して、本距離画像センサ１を用いて行った実験について説明する。

図１３（ａ）は、本実験における距離画像センサ１と対象物との位置関係を示す模式図である。図１３（ｂ）は、距離画像の各フレームにおける距離の標準偏差を示すグラフである。図１４は、距離画像センサ１を用いた実験の条件および結果を示す表である。

本実験では、図１３（ａ）に示すように、距離画像センサ１から３０ｃｍの距離に対象物５１を配置し、距離画像センサ１を用いて対象物５１までの距離を測定した。距離の測定は、以下の３つの条件Ａ，Ｂ，Ｃで行った（図１４参照）。
（１）条件Ａは、初期条件である。条件Ａにおいて、積算回数は２００００回（ＬＥＤ光の照射回数も２００００回）であり、距離画像の平均化は行わなかった。
（２）条件Ｂは、条件Ａから単に積算回数を削減した条件である。条件Ｂにおいて、積算回数は１２０００回（ＬＥＤ光の照射回数も１２０００回）であり、距離画像の平均化は行わなかった。
（３）条件Ｃは、条件Ｂに対して平均化を行った条件である。条件Ｃにおいて、積算回数が１２０００回（ＬＥＤ光の照射回数も１２０００回）で、かつ２フレームの距離画像の平均化を行った。

本実験では、まず、条件Ａにおいて、対象物５１までの距離を２０フレーム（２０回）測定し、測定した２０フレームの間で距離の標準偏差を計算した（図１３（ｂ）参照）。次に、条件Ｂにおいても、条件Ａと同様に、対象物５１までの距離を２０フレーム（２０回）測定し、測定した２０フレームの中で距離の標準偏差を計算した（図１３（ｂ）参照）。最後に、条件Ｃとして、条件Ｂで測定した４０フレームの距離に対して、連続する２フレームずつ平均化し、平均化した２０フレームの間で距離の標準偏差を計算した。

図１４に、条件Ａ，Ｂ，Ｃのそれぞれにおいて計算した距離の標準偏差を、飽和カウント値に対する測定カウント値の割合、およびフレームレートとともに示す。測定カウント値は、本実験の各条件の測定の１フレームで積算した受光量のＡ／Ｄ変換によるカウント値である。飽和カウント値は、受光量の上限値を示すカウント値である。

図１４に示すように、条件Ｂでは、積算回数を１２０００回に減らしたことで、フレームレートが条件Ａよりも大きくなり、飽和カウント値に対する測定カウント値の割合、つまり反射光成分を表す信号量は、条件Ａの半分になった。このため、条件Ｂの方が条件Ａよりも飽和を起こしにくいことがわかる。一方で、条件Ｂの距離の標準偏差は、信号量が小さくなった影響で、条件Ａにおける１２．９ｍｍよりも増え、１８．７ｍｍとなってしまった。

これに対して、条件Ｃでは、２フレームの平均化を行うことで、条件Ｂに対して距離の標準偏差は１４．４ｍｍにまで改善され、測定距離のばらつきを抑制できることが確認された。条件Ｃの信号量は平均前の条件Ｂと変わらない。一方、２フレームの平均化により、条件Ｃのフレームレートは条件Ｂの二倍になるが、条件Ｂでフレームレートが大きくなったため、３０ｆｐｓを維持することができた。

以上のように、例えば条件Ａのように大きい積算回数で距離を測定すると、飽和などの問題が起こることが想定される場合に、条件Ｂのように単に積算回数を減らすだけでなく、条件Ｃのようにフレーム間の平均化も行うことで、精度良く距離の測定を行うことができる。さらに、積算回数を減らすことでフレームレートを大きくできるので、背景光の対策を行いながら、所定値（３０ｆｐｓ等）以上のフレームレートを維持することも可能となる。

３．まとめ
以上のように、本実施形態に係る距離画像センサ１は、ＬＥＤ２と、センサ回路３と、制御部４０と、距離演算部４２とを備える。ＬＥＤ２は、対象物５に対してＬＥＤ光を繰り返して照射する。センサ回路３は、ＬＥＤ光の照射期間の開始から所定時間の間に光を受光する。制御部４０は、ＬＥＤ光の照射に同期して、センサ回路３が受光した受光量Ｑ１，Ｑ２，Ｑ３を積算するように、ＬＥＤ２およびセンサ回路３を制御する。距離演算部４２は、積算された受光量Ｑ１，Ｑ２，Ｑ３に基づいて、対象物５までの距離を示す距離画像を生成する。制御部４０は、積算された受光量Ｑ１の大きさに応じて、センサ回路３が受光量Ｑ１，Ｑ２，Ｑ３を積算する回数である積算回数を変化させる。

距離画像センサ１によると、センサ回路３において積算された受光量の大きさに応じて積算回数を変化させるため、背景光が強い状況下で過度に受光量を積算することを回避し、距離の測定精度の低下を抑制することができる。

また、距離画像センサ１において、制御部４０は、積算された受光量Ｑ１の大きさが、所定のしきい値ＬＡを超えたとき、積算回数を減らす。これにより、積算された受光量Ｑ１の大きさがしきい値ＬＡを超える度に積算回数を減らして、段階的に距離の測定精度の低下を抑制できる。また、しきい値ＬＡは、例えば受光量Ｑ１，Ｑ２，Ｑ３の上限値によって規定される。これにより、積算された受光量Ｑ１の大きさがしきい値ＬＡを超える度に積算回数を減らすことで、受光量Ｑ１，Ｑ２，Ｑ３の飽和が抑制される。

また、距離画像センサ１において、距離演算部４２によって１フレームの距離画像が生成されるフレームレートが、所定値のフレームレートに対する２以上の整数倍を超えるとき、距離演算部４２は、整数のフレーム数の距離画像を平均化して出力してもよい。これにより、積算回数の削減によるフレームレートの増大を利用して、出力される距離画像のフレームレートを所定値以上に維持しながら複数の距離画像を平均化して、距離の測定精度の低下を抑制することができる。

また、所定値のフレームレートは、３０ｆｐｓ以上６０ｆｐｓ以下である。これにより、例えばユーザのジェスチャーなどに追従可能な動画の距離画像を出力することができる。

また、距離画像センサ１において、積算回数と、距離画像を平均化するフレーム数とを関連付けたデータテーブルＤ１を記憶する記憶部４４をさらに備えてもよい。この場合、制御部４０は、積算された受光量Ｑ１の大きさに応じて、データテーブルＤ１を参照して積算回数を変化させる。これにより、データテーブルＤ１に基づき積算回数と距離画像を平均化するフレーム数とを設定する制御が容易に行える。

また、距離画像センサ１において、制御部４０は、積算された受光量Ｑ１の大きさに応じて、積算回数を設定する演算を行ってもよい。これにより、積算された受光量Ｑ１の大きさに応じて、逐次、積算回数を設定することができる。

また、距離画像センサ１において、センサ回路３は、ＬＥＤ光の照射期間の開始から所定時間の間に時分割して光を受光し、時分割された受光量Ｑ２，Ｑ３に相当する電荷をそれぞれ蓄積する複数の第１のキャパシタＣ２，Ｃ３を備えてもよい。これにより、時分割された受光量Ｑ２，Ｑ３を用いて距離の算出を行うことができる。

また、距離画像センサ１において、センサ回路３は、ＬＥＤ光の照射の停止期間中に光を受光し、ＬＥＤ光の照射の停止期間中に受光した受光量Ｑ１に相当する電荷を蓄積する第２のキャパシタＣ１を備えてもよい。これにより、ＬＥＤ光の反射光を含まない背景光のみの受光量Ｑ１を取得することができる。

（実施の形態２）
実施の形態１では、背景光対策として、積算した受光量の大きさに応じて積算回数を変化させた。実施の形態２では、実施形態１における積算回数の削減に加えて、さらにＬＥＤ光のパルス照射１回当たりに受光する受光期間の短縮を行う。以下、本実施形態に係る距離画像センサについて説明する。

１．概要
本実施形態に係る距離画像の生成動作の概要について、図１５，１６，１７を参照して説明する。

図１５（ａ），（ｂ）は、本実施形態における通常時と背景光が強いときのそれぞれの距離画像の生成動作を説明するための図である。本実施形態では、実施形態１における積算回数の削減に組み合わせて受光期間の短縮を行う。図１５（ａ），（ｂ）に示すように、特定の積算回数で受光量を積算する場合において、受光期間を短縮すると、ＬＥＤ光のパルス照射１回当たりに蓄積される電荷の量が減り、積算後の受光量を削減できる。このため、強い背景光が検出されたときに、受光期間の短縮と積算回数の削減とを組み合わせることにより、飽和を抑制するための受光量の削減を、より広い範囲において行うことができる。

図１６（ａ）は、受光期間の短縮前のドレインゲートのタイミングチャートである。図１６（ｂ），（ｃ），（ｄ）は、それぞれ、受光期間の短縮前の第１、第２、第３ゲート信号Ｓｇ１〜Ｓｇ３のタイミングチャートである。図１６（ｅ）は、受光期間の短縮後のドレインゲートのタイミングチャートである。図１６（ｆ），（ｇ），（ｈ）は、それぞれ、受光期間の短縮後の第１、第２、第３ゲート信号Ｓｇ１〜Ｓｇ３のタイミングチャートである。

本実施形態では、ＬＥＤ光のパルス照射の周期を変更せずに、受光期間の短縮を行う。受光期間の短縮前後において、図１６（ｅ）に示すように、ドレインゲートを開状態にする期間を短くした分だけ、閉状態にする期間を長くして、周期を一定にしている。このとき、図１６（ｂ）〜（ｄ），（ｆ）〜（ｈ）に示すように、第１、第２、第３ゲートのそれぞれを開状態にする期間を同一幅で短くしている。

また、本実施形態では、一例として、受光期間を二段階に設定する。第１の開ゲート期間Ｔ１は、受光期間の短縮前に第１、第２、第３ゲート信号のそれぞれをＯＮにする期間である。第２の開ゲート期間Ｔ２は、受光期間の短縮後に第１、第２、第３ゲート信号のそれぞれをＯＮにする期間であり、第１の開ゲート期間Ｔ１よりも短い。

図１７（ａ）は、ＬＥＤ光の波形の一例を示す波形図である。図１７（ｂ）は、ＬＥＤ光の反射光の波形の一例を示す波形図である。図１７（ｃ），（ｄ）は、受光期間の短縮前の第２、第３ゲート信号のＯＮ／ＯＦＦタイミングを示す。図１７（ｅ），（ｆ）は、受光期間の短縮後の第２、第３ゲート信号のＯＮ／ＯＦＦタイミングを示す。

図１７（ａ）に示す例では、ＬＥＤ光の波形は、１パルスの立ち上がり及び立ち下がりにおいて緩やかなスロープを有し、ＬＥＤ光の照射制御信号（図５（ａ）参照）をＯＮしている期間Ｔｐより短い期間Ｔｐ’においてピーク値近傍の強度を有する。この場合、図１７（ｂ）に示すように、ＬＥＤ光の反射光がピーク値近傍の強度を有する期間もＴｐ’となり、反射光の受光量の大部分は、期間Ｔｐの内の期間Ｔｐ’で取得される。このため、背景光が強い場合に、期間Ｔｐの内の期間Ｔｐ’以外の期間で取得される受光量は、殆ど反射光成分を有さず、背景光による外光成分が大部分を占めると考えられる。

そこで、本実施形態では、通常時には期間Ｔｐを基準とする第１の開ゲート期間Ｔ１を設定し、背景光の増大に応じて、期間Ｔｐ’を基準とする第２の開ゲート期間Ｔ２に変更する。これにより、背景光が弱い場合には、期間Ｔｐの幅の反射光を漏れなく受光して充分な距離精度が確保できるとともに、背景光が強い場合には、受光量の内の外光成分を効率良く低減して、光ショットノイズの増大や受光量の飽和を抑制することができる。

２．距離画像の生成処理
次に、本実施形態に係る距離画像の生成処理について、図１８，１９，２０を参照して説明する。

図１８は、本実施形態における距離画像の生成処理を示すフローチャートである。図１８に示すように、本実施形態では、図９のステップＳ１０，１２の処理に代えて、受光量削減処理（Ｓ１０Ａ）及び受光量復旧処理（Ｓ１２Ａ）を行う。受光量削減処理は、背景光の増大に応じて、受光期間の短縮、積算回数の削減および距離画像の平均化による受光量の削減のための設定を行う処理である。受光量復旧処理は、背景光の減少に応じて、受光量削減処理でなされた各設定を戻し、受光量を復旧させる処理である。

図１９は、受光量削減処理を示すフローチャートである。図１９に示す処理は、図１８のステップＳ１０Ａにおいて、制御部４０により行われる。

まず、制御部４０は、受光期間が、第１の開ゲート期間Ｔ１（図１６参照）に設定されているか否かを判断する（Ｓ４１）。受光期間の設定は、例えば記憶部４４において所定のフラグで管理される。

制御部４０は、受光期間が第１の開ゲート期間Ｔ１に設定されている場合（Ｓ４１でＹｅｓ）、第２の開ゲート期間Ｔ２に設定を変更する（Ｓ４２）。

一方、制御部４０は、第１の開ゲート期間Ｔ１に設定されていない場合（Ｓ４１でＮｏ）、既に受光期間が短縮されているので、積算回数削減処理を実行する（Ｓ４３）。ステップＳ４３の積算回数削減処理は、図１０（ａ）に示すデータテーブルＤ１を用いて実行されてもよいし、図１１に示すように積算回数を減らす演算によって実行されてもよい。

制御部４０はステップＳ４２，Ｓ４３の処理を行った後、図１８のステップＳ１に戻る。

以上の受光量削減処理では、まず、受光期間の短縮を行い、次に積算回数の削減や距離画像の平均化を行う。開ゲート期間の短縮は積算回数の削減と比べて距離の測定精度に影響を及ぼしにくいので、受光量削減処理により、強い背景光に対する距離の測定精度の低下を効率良く抑制することができる。

図２０は、受光量復旧処理を示すフローチャートである。図２０に示す処理は、図１８のステップＳ１２Ａにおいて、制御部４０により行われる。

まず、制御部４０は、設定中の積算回数が最大の積算回数であるか否かを判断する（Ｓ５０）。制御部４０は、設定中の積算回数が最大の積算回数でない場合（Ｓ５０でＮｏ）、図１９のステップＳ４３の積算回数量削減処理でなされた各設定を戻すように、積算回数増加処理を行う（Ｓ５１）。

一方、制御部４０は、設定中の積算回数が最大の積算回数である場合（Ｓ５０でＹｅｓ）、受光期間が、第２の開ゲート期間Ｔ２（図１６参照）に設定されているか否かを判断する（Ｓ５２）。受光期間が第２の開ゲート期間Ｔ２に設定されていない場合（Ｓ５２でＮｏ）、既に第１の開ゲート期間Ｔ１に設定されていることとなるので、特に設定を変更せずに図１８のステップＳ１に戻る。

一方、制御部４０は、第１の開ゲート期間Ｔ１に設定されている場合（Ｓ５２でＹｅｓ）、第２の開ゲート期間Ｔ２に設定を変更する（Ｓ５３）。

制御部４０はステップＳ５１，Ｓ５３の処理を行った後、図１８のステップＳ１に戻る。

以上の受光量復旧処理により、受光量削減処理によって変更された各種の設定を段階的に戻し、背景光が強い状態から弱い状態になった場合に、距離の測定精度を回復させることができる。

３．まとめ
以上のように、本実施形態に係る距離画像センサ１によると、制御部４０は、積算された受光量Ｑ１の大きさに応じて、１回当たりのＬＥＤ光の照射期間に同期してセンサ回路３が受光する期間である受光期間を変化させる。これにより、背景光が強い状況下で、背景光を含む光を受光する受光量を削減し、背景光の変動に対して距離の測定精度のより良く維持することができる。

また、距離画像センサ１において、制御部４０は、積算された受光量Ｑ１の大きさが所定のしきい値を超えたとき、受光期間を短縮し、短縮した受光期間において積算された受光量の大きさが所定のしきい値ＬＡを超えたとき、積算回数を減らしてもよい。これにより、背景光が強い状況下で、まず受光期間を短縮し、次に積算回数を減らすので、強い背景光に対する距離の測定精度の低下を効率良く抑制することができる。

（他の実施の形態）
上記の各実施形態において、図９，１８における距離画像の平均化の処理（ステップＳ７）を距離画像センサ１側で行ったが、コントローラ６側で行ってもよい。その場合、距離画像センサ１はステップＳ１〜Ｓ３を行い、随時ステップＳ３で生成した距離画像をコントローラ６に送信し、その後ステップＳ８〜Ｓ１２の処理を実行する。一方、コントローラ６は、距離画像センサ１から距離画像を受信する度にステップＳ４〜Ｓ７の処理を行い、平均化処理部の機能を実現する。コントローラ６は、平均化した距離画像に基づいて所定の処理を実行する。

また、コントローラ６は、平均化フレーム数の設定を行ってもよい。例えば、コントローラ６が距離画像センサ１から距離画像を受信する度にフレームレートを測定し、測定結果に基づいて平均化フレーム数を設定してもよい。

コントローラ６は、距離画像センサ１からの距離画像に基づいて、距離画像に映る物体までの距離や動きの検知処理を行ってもよいし、三次元的な形状を検知するための画像処理を行ってもよい。コントローラ６は、距離画像に基づく検知結果を用いて、例えば搭載された装置の表示制御などを行う。

上記の各実施形態では、背景光のモニタとして、外光専用のキャパシタＣ１において積算された受光量Ｑ１を用いたが、受光量Ｑ１に代えて、キャパシタＣ２，Ｃ３において積算された受光量Ｑ２，Ｑ３を用いてもよい。例えば、フレーム毎に受光量Ｑ２，Ｑ３のうちのより大きい受光量を用いて、反射光成分も含んで積算された受光量のモニタを行ってもよい。フレーム毎に積算された受光量Ｑ１，Ｑ２，Ｑ３の大きさに応じて次のフレームの積算回数を変化させることで、受光量Ｑ１，Ｑ２，Ｑ３の飽和を回避して距離画像を生成することができる。なお、受光量Ｑ１を用いて背景光のみをモニタする場合、例えば対象物までの距離の変化などによる受光量の増減などとは区別することができ、背景光が強い時専用のモード設定を行う場合などに有効である。

また、上記の各実施形態では、センサ回路３の全ての画素回路３０における受光量の最大値を検出値として抽出したが、受光量のモニタ方法はこれに限らず、例えば、全ての画素回路３０のうちの一部の画素回路３０における受光量の最大値を検出値として使用してもよい。また、受光量の最大値を抽出することに代えて、複数の値をサンプリングして、それぞれしきい値ＬＡ，ＬＢと比較してもよい。例えば、しきい値ＬＢとの比較において、全ての画素回路３０のうちの所定数の受光量の大きさがしきい値ＬＢを下回ったときに積算回数を増やすようにしてもよい。

また、上記の各実施形態では、画素回路３０は外光専用のキャパシタＣ１を備えたが、距離画像センサ１における画素回路はこれに限らず、外光専用のキャパシタＣ１を省略してもよい。この場合、画素回路からの読出しにおいて、反射光を含む受光量と外光の受光量とを異なるフレームで取得し、２フレームの読み出しで１フレームの距離画像を生成するようにしてもよい。例えば、連続する２つのフレームにおいて、一方のフレームでパルス状のＬＥＤ光の照射を繰り返すとともに２つのキャパシタで時分割して電荷を蓄積してＴＯＦ信号処理部４に読み出し、反射光を含む受光量を取得する。他方のフレームでは、ＬＥＤ光の照射を停止しながら受光を行うことで、外光の受光量を取得することができる。この場合、積算された受光量のモニタは、外光の受光量で行ってもよいし、反射光を含む受光量で行ってもよい。

また、上記の各実施形態では、画素回路３０が３つのキャパシタＣ１，Ｃ２，Ｃ３を備え、３種の受光量Ｑ１，Ｑ２，Ｑ３を時分割で取得する場合について説明したが、距離画像センサの画素回路が備えるキャパシタの数は３つ以上であってもよい。例えば、画素回路が４つ以上のキャパシタを備え、４種以上の受光量Ｑ１，Ｑ２，…，Ｑｎ（ｎは４以上の整数）を時分割で取得してもよい。

また、上記の各実施形態では、平均化設定フラグに基づき距離画像の平均化を行うか否かを判断した。平均化を行うか否かの切替えは平均化設定フラグを用いなくてもよく、例えば、距離画像の平均化を行わない場合には平均化フレーム数を「１」に設定するようにしてもよい。

また、上記の各実施形態では、複数フレームの距離画像を生成してから平均化した。しかし、距離画像の平均化の方法はこれに限らず、例えば、複数フレーム分の受光量を平均化して、平均化された受光量に基づき距離を演算することにより、距離画像の平均化を行ってもよい。

また、上記の各実施形態では、ＴＯＦ信号処理部４において制御部４０が距離演算部４２及び平均化処理部４５を備えたが、これに限らず、ＴＯＦ信号処理部４において制御部４０と距離演算部４２及び平均化処理部４５とを別個に構成してもよい。

また、上記の各実施形態では、ＬＥＤ光はパルス変調されたが、ＬＥＤ光の変調方法はコレに限らず、例えば信号強度を正弦波形などに変調してもよい。

また、上記の各実施形態では、距離画像センサ１がモバイル機器に搭載される場合を例示した。距離画像センサ１が搭載されるモバイル機器は、特に限定されず、例えばスマートフォンやタブレット端末、ノート型ＰＣ（パーソナルコンピュータ）、デジタルカメラ、ウェアラブル端末、携帯電話などであってもよい。

また、距離画像センサ１が搭載される機器はモバイル装置に限らず、例えば監視カメラや車載装置であってもよい。このような場合においても、距離画像センサ１によると、背景光が強い状況下であっても、人や車などの対象物までの距離の測定精度の低下を抑制できる。

また、実施の形態２では、ＬＥＤ光のパルス照射の周期を変更せずに、受光期間の短縮を行った。受光期間の短縮方法はこれに限らず、１フレーム中の積算期間における受光期間の合計が短縮されるように調整してもよい。例えば、１フレーム中で１回毎の受光期間を短縮することに合わせて周期を短くして、最後に休止期間を設けるようにしてもよい。

１ 距離画像センサ
２ ＬＥＤ
３ センサ回路
３０ 画素回路
４ ＴＯＦ信号処理部
４０ 制御部
４１ タイミング発生部
４２ 距離演算部
４３ 距離画像出力部
４４ 記憶部
ＰＤ フォトダイオード
ＦＤ１，ＦＤ２，ＦＤ３ フローティングディフュージョン
Ｃ１，Ｃ２，Ｃ３ キャパシタ

Claims (12)

1. 対象物に対して照射光を繰り返して照射する光源部と、
   前記照射光の照射期間の開始から所定時間の間に光を受光する受光部と、
   前記照射光の照射に同期して、前記受光部が受光した受光量を積算するように、前記光源部および前記受光部を制御する制御部と、
   前記積算された受光量に基づいて、前記対象物までの距離を示す距離情報を生成する距離情報生成部とを備え、
   前記制御部は、前記積算された受光量の大きさに応じて、前記受光部が受光量を積算する回数である積算回数を変化させる
   距離センサ。
2. 前記制御部は、前記積算された受光量の大きさが所定のしきい値を超えたとき、前記積算回数を減らす
   請求項１に記載の距離センサ。
3. 前記距離情報生成部によって１フレームの距離情報が生成されるフレームレートが、所定値のフレームレートに対する２以上の整数倍を超えるとき、前記整数のフレーム数の距離情報を平均化する平均化処理部をさらに備える
   請求項１又は２に記載の距離センサ。
4. 前記所定値のフレームレートは、３０ｆｐｓ以上６０ｆｐｓ以下である
   請求項３に記載の距離センサ。
5. 前記積算回数と、前記距離情報を平均化するフレーム数とを関連付けたテーブルを記憶する記憶部をさらに備え、
   前記制御部は、前記積算された受光量の大きさに応じて、前記テーブルを参照して前記積算回数を変化させる
   請求項３又は４に記載の距離センサ。
6. 前記制御部は、前記積算された受光量の大きさに応じて、前記積算回数を設定する演算を行う
   請求項１〜４のいずれか１項に記載の距離センサ。
7. 前記制御部は、前記積算された受光量の大きさに応じて、１回当たりの照射光の照射期間に同期して前記受光部が受光する期間である受光期間を変化させる
   請求項１〜６のいずれか１項に記載の距離センサ。
8. 前記制御部は、
   前記積算された受光量の大きさが所定のしきい値を超えたとき、前記受光期間を短縮し、
   短縮した受光期間において積算された受光量の大きさが所定のしきい値を超えたとき、前記積算回数を減らす
   請求項７に記載の距離センサ。
9. 前記受光部は、
   前記照射光の照射期間の開始から所定時間の間に時分割して光を受光し、
   時分割された受光量に相当する電荷をそれぞれ蓄積する複数の第１のキャパシタを備える請求項１〜８のいずれか１項に記載の距離センサ。
10. 前記受光部は、
    前記照射光の照射の停止期間中に光を受光し、
    前記照射光の照射の停止期間中に受光した受光量に相当する電荷を蓄積する第２のキャパシタを備える請求項１〜９のいずれか１項に記載の距離センサ。
11. 請求項１又は２に記載の距離センサと、
    前記距離センサによって生成される距離情報に基づいて、所定の処理を実行する処理装置とを備えたシステム。
12. 前記処理装置は、前記距離センサによって１フレームの距離情報が生成されるフレームレートが、所定値のフレームレートに対する２以上の整数倍を超えるとき、前記整数のフレーム数の距離情報を平均化する平均化処理部を備える請求項１１に記載のシステム。

Images