JP6846708B2 - 画像認識装置および距離画像生成方法 - Google Patents

Description

本開示は、画像認識装置および距離画像生成方法に関するものである。

画像認識装置から測定対象の物体（以下、測定対象物という）までの距離測定方法として、光源から測定対象物に向けて光を照射し、測定対象物から反射して帰還するまでの時間を測定する、いわゆるＴＯＦ(Time Of Flight)法が知られている。ＴＯＦ法では、複眼方式等の他の距離測定方法と比較して、距離測定装置の他に光源が必要になる点が短所である一方、光源を強くすることにより、遠方にある物体の距離測定を高分解能で行うことができる点が長所である。

例えば、特許文献１には、撮影範囲内に高反射領域がある場合におけるフレアの抑制を目的として、距離画像生成装置に複数の光源を設け、各光源の光量を独立して制御する技術が開示されている。また、特許文献２に開示された距離画像生成装置では、光源の発光強度を近距離と遠距離とで変えることにより、近距離および長距離の距離画像生成を両立させている。

特開２０１２−１６８０４９号公報 国際公開第２０１６／０８４３２３号

しかしながら、特許文献１に記載されているような複数の光源を用いる構成では、撮像空間を複数に分割（空間分割）して光を照射しているため、その分割数が増加すればするほど、全体の撮像時間が増加するとともに、フレームレートが低下してしまうという問題があった。

また、特許文献２に記載されているような距離に応じて光源の発光強度を変化させる方法では、測定対象の物体が複数存在する場合、物体によって反射率が異なるため、単純に距離のみで発光強度を変化させても、反射率の低い測定対象物の距離測定が困難であるという問題があった。

本開示の技術は、かかる点に鑑みてなされたものであり、画像認識装置において、反射率の低い測定対象物が存在する場合においても、フレームレートを低下させることなく、高精度の画像認識を実現することを目的とする。

本開示の第１態様に係る画像認識装置は、測定空間に発光パルスを照射する光源と、前記測定空間にある測定対象物からの反射光を受光する受光部と、前記受光素子から前記反射光に基づく受光信号を受け、当該受光信号に基づいて距離画像を生成する画像生成部と、前記発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該測定区間毎の反射率に対応する補正係数を演算する演算部と、前記各測定区間の前記補正係数に応じて前記光源から出射される発光パルスの照射量を調整する発光パルス制御部とを備えている、ことを特徴とする。

ここで、「発光パルスの照射量の調整」には、発光パルス数の調整、発光パルスの発光強度の調整、発光パルスのパルス長の調整が含まれる。

この態様によれば、時間分割された測定区間毎の反射率に対応する補正係数を演算し、その補正係数に応じて光源から出射される発光パルスの照射量を調整するようにしている。例えば、補正係数に応じた発光パルスの照射量の調整の一例として、発光パルスの発光強度を高める調整をすることで、受光部での受光強度を高めることができる。また、例えば、光源から照射する発光パルスの数を増やすことで、受光部による発光パルスの取得回数を増やすことができる。そうすると、反射率の低い測定対象物であっても受光部で反射光を受光できる確率が高まる。

このように、補正係数に応じて発光パルスの照射量を調整することにより、画像生成部において距離画像生成に用いる信号（反射光）のＳ／Ｎ比を向上させることができる。これにより、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。

さらに、補正係数に応じた発光パルスの照射量の調整として、例えば、反射率が高い測定対象物に対して、発光パルス数や発光パルス強度を減少させてもよい。反射率が高い画像については、発光パルス数が少ない場合や、発光パルス強度が低い場合においても測定対象物からの反射光を受光できる可能性が高い。したがって、発光パルス数を減少させたり、発光パルス強度を低下させたとしても画像認識の精度が低下する蓋然性が低い。一方で、このような反射率が高い画像の発光パルス数を減少させることで、フレーム全体としての画像認識で考えた場合に、そのフレームレートの低下を防止することができる。また、反射率が高い画像の発光パルス強度を低下させることで、消費電力を削減することができる。

本開示に係る距離画像生成方法は、測定空間に所定数の発光パルスを照射し、当該測定空間にある測定対象物との距離および反射光の強度から、当該測定対象物の反射率に対応した補正係数を演算するステップと、前記反射率を推定した測定対象物に対して、当該推定された反射率に応じた照射量の発光パルスを照射し、その反射光に基づいて距離画像を生成するステップとを備えている、ことを特徴とする。

この態様によれば、測定対象物との距離および反射光の強度から推定された補正係数に応じて、光源から出射される発光パルスの照射量を調整するようにしている。これにより、第１態様と同様に、反射率が低い測定対象物に対して発光パルス数（発光パルス強度）を増加させたり、逆に、反射率が高い測定対象物に対して、発光パルス数を減少させたりすることができる。したがって、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。また、フレームレートの低下を防止することができる。

本開示に係る画像認識装置によれば、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。また、フレームレートの低下を防止することができる。

実施形態に係る固体撮像装置の構成例を示す概略図である。 画像生成部で生成される画像の一例を示す図である。 各測定区間における低反射率の画素数の一例を示すグラフである。 フレーム毎の光源および受光素子の駆動制御の一例を示す図である。 発光パルス数を制御する前の距離画像の一例を示す図である。 発光パルス数を制御した後の距離画像の一例を示す図である。

以下、本実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。

図１は実施形態に係る画像認識装置の構成を示すブロック図である。図１に示すように、画像認識装置Ａは、光源１と、受光部としての受光素子２と、光源１および受光素子２を駆動する駆動制御部３と、画像生成部４と、反射率演算部５と、発光パルス制御部６とを備えている。

光源１は、距離画像を生成する対象となる測定空間に発光パルスを照射する。光源１は、人の視覚の妨げにならないようにする観点から、近赤外の波長帯（例えば、８００〜１２００ｎｍ）を出射できるように構成されたレーザーやＬＥＤ等により構成されている。さらに、光源１は、受光素子２と同期しており、時間的に強度変調されている。画像認識装置の設置場所が乗用車の場合、例えば、その乗用車の進行方向を通行している人や乗用車等が測定対象物であり、進行方向の空間が測定空間として例示される。なお、以下の説明では、光源１から発光パルスが出射される方向を照射方向と呼び、照射方向と直交する方向を照射直交方向と呼ぶものとする。

受光素子２は、主に、シリコンフォトダイオード、配線および酸化膜等の半導体材料を集積した素子であり、照射直交方向に分割された（並べて配置された）複数の画素（図示省略）を有する。各画素は、測定空間内の測定対象物から反射された反射光を受け、その反射光を光電変換する光電変換部（図示省略）を有している。このように、受光素子２は、測定対象物からの反射光を受光することで、測定対象物からの情報を得ることができる。

駆動制御部３は、光源１を駆動制御する光源駆動制御部３１と、受光素子２を駆動制御する受光素子制御部３２とを備えている。

光源駆動制御部３１は、フレーム期間中に所定の測定条件にしたがって光源１の駆動制御を行う。受光素子制御部３２は、光源１と受光素子２とが同期するように、所定の測定条件にしたがって受光素子２の駆動制御を行う。所定の測定条件とは、例えば、所定位置を起点とし、起点から照射方向の奥側に設定された終点までの測定距離範囲に対応する時間範囲である測定距離時間範囲に基づいて設定される。より具体的には、光源駆動制御部３１は、測定距離時間範囲をｋ個（ｋは２以上の自然数）の測定区間ｄ１〜ｄｋに分割し、各測定区間ｄ１〜ｄｋにおいて、それぞれ、同位相の発光パルスが複数ショット出射されるように光源１を駆動制御する。さらに、光源駆動制御部３１は、測定区間毎に位相をずらした発光パルスが出射されるように光源１を駆動制御する。そして、受光素子制御部２は、上記光源１が発光パルスを出射したｋ個の測定区間ｄ１〜ｄｋのうち、少なくとも１つの測定区間において、受光素子２が露光されるように、受光素子２を駆動制御する。駆動制御を受けた受光素子２からは、露光結果である受光信号ＳＸが画像生成部４に出力される。なお、測定区間ｄ１〜ｄｋの分割数ｋの値（換言すると各測定区間の距離）は、任意に設定することができる。例えば、フレーム毎の発光パルス数や、要求される画像認識精度等に基づいて、任意に設定すればよい。

画像生成部４は、受光信号ＳＸに基づいて距離画像を生成する距離画像生成部４１と、受光信号ＳＸに基づいて輝度画像を生成する輝度画像生成部４２と、反射画像生成部４３とを備えている。図２は、画像生成部４で生成される画像の一例を示している。具体的に、図２（ｂ）には、図２（ａ）に例示した撮像シーンを撮像した場合における輝度画像の一例を、図２（ｃ）には、同じように図２（ａ）の撮像シーンを撮像した場合における距離画像の一例を示している。図２（ａ）に示す撮像シーンでは、近距離に反射率の高い白い服を着た歩行者および反射率の低い車があり、遠距離に黒い服を着た歩行者および白い車がある例を示している。このような撮像シーンでは、測定対象物の距離の遠近にかかわらず、反射率の低い測定対象物（例えば、黒い服や黒い車）から反射される反射光が小さくなり、受光素子で受光できない部分が生じる場合がある。そうすると、図２（ｃ）に示すように、反射率の低い測定対象物の距離画像が部分的に欠けて、Ｓ／Ｎ比が悪化する場合がある。

そこで、本実施形態では、各測定区間ｄ１〜ｄｋにおける反射率に応じて光源１から照射される発光パルス数を制御するようにしている。以下において、詳細に説明する。

反射画像生成部４３では、距離画像から取得された距離値Ｄおよび輝度画像から取得された輝度値Ｓに基づいて反射率画像を生成する。具体的には、光源の発光強度をＩとし、測定対象物の反射率Ｒとすると、以下の式（１）の関係式が成り立つ。

ここで、反射画像生成部４３は、光源１の発光強度を把握することができるので、距離値Ｄおよび輝度値Ｓに基づいて、各測定区間ｄ１〜ｄｋにおける測定対象物の反射率を推定することができる。反射画像生成部４３では、この推定された反射率に基づいて反射率画像を生成する。図２（ｄ）には、図２（ｂ）の輝度画像および図２（ｃ）の距離画像に基づいて生成された反射率画像の一例を示している。なお、反射画像生成部４３は、光源１の発光強度として、あらかじめ内蔵されたメモリ（図示省略）等に格納された値を参照するようにしてもよいし、外部（例えば、光源制御部）から発光強度を示す信号を受信するようにしてもよい。

反射率演算部５では、反射画像生成部４３で生成された反射率画像に基づいて、各測定区間における反射率に対応する補正係数を演算する。例えば、反射率が以下の式（２）の条件を満たすものを低反射率と定義し、各測定区間における低反射率の画素数をカウントする。

ここで、閾値Ｒｔｈは、例えば１０％とする。この場合、反射率が１０％未満のものが低反射率であると定義される。なお、閾値Ｒｔｈは１０％に限定されるものではなく任意に設定することができる。図３は、各測定区間ｄ１〜ｄｋにおける低反射率の画素数をグラフで表したものである。

発光パルス制御部６では、反射率演算部５で演算された各測定区間ｄ１〜ｄｋの反射率に基づいて、駆動制御部３による光源１および受光素子２の駆動制御に対するフィードバック制御を行う。具体的には、例えば、発光パルス制御部６は、低反射率の画素数が所定の閾値以上の測定区間において、光源１から照射される発光パルス数を増加させる制御を行う。一方で、低反射率の画素数が所定の閾値より少ない測定区間や、測定対象物が存在しないような測定区間について、発光パルス数を減少させる制御を行う。

図４は、上記フィードバック制御を行う前後におけるフレーム毎の光源１および受光素子２の駆動制御の一例を示している。図４（ａ）は、フィードバック制御前の駆動制御の例を示しており、距離に応じて反射光が弱くなるため、光源１からの距離値Ｄの二乗に比例するように、光源から出射させるパルス数を増加させている。これに対し、図４（ｂ）では、低反射率の画素数が所定の閾値を超えた測定区間（図４（ｂ）ではｄ２およびｄ６）の発光パルス数をフィードバック制御前よりも増加させている。一方で、その他の測定区間では、発光パルス数を減少させている。図５および図６は同一の測定対象物に対して距離画像を生成した例、すなわち画像認識を行った例を示している。図５は上記フィードバック制御前の距離画像であり、図６は上記フィードバック制御後の距離画像である。図５の距離画像では、反射率の低い測定対象物である黒い車および黒い人について、距離画像が部分的に欠落しているが、図６の距離画像では、欠落部分が大幅に減少しており、画像認識精度が向上していることがわかる。

以上のように、本実施形態によると、各測定区間ｄ１〜ｄｋにおける反射率を演算する（例えば、低反射率の画素数をカウントする）ことにより、反射率の低い測定対象物が存在する測定区間を特定することができる。そして、この反射率の低い測定対象物が存在する測定区間に対して、発光パルス数を増加させるようにしている。これにより、Ｓ／Ｎ比を向上させることができるため、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。

さらに、例えば、低反射率の画素数が少ない測定区間や、測定対象物が存在しないような測定区間について、発光パルス数を減少させる制御を行うようにすることで、フレームレートを低下させることなく、高精度の画像認識を実現することができる。すなわち、従来技術のように空間分割により画像認識精度を高める場合には、フレームレートが低下する場合があるが、本開示の技術は、時分割方式であり、上記のようなフィードバック制御を行うことができるため、そのようなことがない。例えば、画像認識装置の設置場所が乗用車のような場合、測定空間内に他の乗用車や人等の測定対象物が存在しない測定区間が多いことが考えられ、特に顕著な効果が得られる。

＜その他の実施形態＞
上記実施形態では、補正係数に応じた発光パルスの照射量の調整として、低反射率の画素数が所定の閾値以上の測定区間について、発光パルス数を増加させるものとしたが、これに限定されない。

例えば、式（１）の関係に基づいて、補正係数を求めるようにしてもよい。また、式（１）の関係に基づいて基準値を設定し、その基準値に基づいて補正係数を求めてもよい。例えば、補正係数に基づいて発光パルス数を増減させる場合、低反射率の画素数が所定の閾値以上の測定区間について、発光パルス数を一定量増加させるようにしてもよいし、低反射率の画素数の割合に応じて、パルス数の増減量を調整するようにしてもよい。

さらに、距離の２乗に比例して発光パルス数を規格化し、その後、その規格化された発光パルス数に対して、これまでに説明したような発光パルス数の増減を掛け合わせるようにしてもよい。通常、光の反射強度は、球面状に広がる拡散反射により距離の２乗に反比例して弱まるため、上記規格化によりそれをあらかじめ補うことができる。なお、発光パルス数の規格化として、例えば、全体のパルス数を一定にする方法がある。

また、上記実施形態では発光パルスの照射量として、発光パルス数を調整する例について説明したが、前述のとおり、発光パルス数の調整に加えてまたは代えて、発光パルスの発光強度の調整、発光パルスのパルス長の調整等を行ってもよく、同様の効果が得られる。

上記の実施形態では、図３に示すように、発光パルス制御部６がフィードバック制御に用いる「低反射率の画素数の閾値」は、固定値であるものとしたが、これに限定されない。例えば、光源１から測定対象物までの距離に応じて測定対象物の見える大きさが小さくなるという観点から、図３の一点鎖線または二点鎖線で示すように、光源１からの距離が遠くなるにしたがって、「低反射率の画素数の閾値」を小さくするようにしてもよい。また、測定対象物が、人や乗用車といったように特定されている場合に、その測定対象物に応じた閾値を設定するようにしてもよい。そうすることで、特定の測定対象物の存在をより確実に判断することができるようになる。また、図３の一点鎖線及び二点鎖線で示すように、複数の閾値を設定するようにしてもよい。図３では、一点鎖線で人に対する閾値を設定し、二点鎖線で乗用車に対する閾値を設定した例を示している。また、ある大きさ以上の測定対象物を抽出できるようにしたい場合には、最小の測定対象物（例えば、図６の一点鎖線参照）に基づいて低反射率の画素数の閾値を決めることで、それ以上の大きさの測定対象物（例えば、乗用車）を認識できるようになるとともに、ノイズの影響を防ぐことができる。

また、上記実施形態では、反射画像生成部４３が、距離画像および輝度画像に基づいて反射率画像を生成し、反射率演算部５が、反射率画像に基づいて各測定区間における反射率を演算するものとしたがこれに限定されない。例えば、反射率演算部５が、距離画像および輝度画像および上式（１）に基づいて、反射率画像を生成することなく、各測定区間ｄ１〜ｄｋの反射率を演算するようにしてもよい。

また、上記実施形態では、発光パルス制御部６は、反射率に応じた発光パルス数の制御として、低反射率の画素数が所定の閾値を超えるか否かに基づいて、光源１から照射される発光パルス数を増加させるものとしたがこれに限定されない。例えば、発光パルス制御部６は、反射率画像から得られる低反射率の画素が全画素に対して占める占有率が所定の閾値以上の測定区間ｄ１〜ｄｋ（測定距離範囲）に対しては発光パルス数を増加させる一方で、同占有率が所定の閾値未満の測定区間ｄ１〜ｄｋ（測定距離範囲）に対しては発光パルス数を減少させるようにしてもよい。このような制御を行った場合においても、フレームレートを低下させることなく、高精度の画像認識を実現することができる。

本発明に係る画像認識装置は、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができるため、例えば、乗用車等に搭載する画像認識装置に応用できる。

Ａ 画像認識装置
１ 光源
２ 受光素子（受光部）
４ 画像生成部
５ 演算部
６ 発光パルス制御部
ＳＸ 受光信号

Claims (8)

1. 測定空間に発光パルスを照射する光源と、
   前記測定空間にある測定対象物からの反射光を受光する受光部と、
   前記発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該分割された測定区間毎の前記反射光に基づいて輝度画像および距離画像を生成する画像生成部と、
   前記輝度画像および前記距離画像に基づいて測定対象物の反射率を前記測定区間毎に推定し、当該推定された反射率を基に前記測定区間毎の補正係数を演算する演算部と、
   前記各測定区間の前記補正係数に応じて前記光源から照射される発光パルスの照射量を調整する発光パルス制御部とを備え、
   前記光源は、それぞれの測定区間では同位相の発光パルスを照射し、かつ、測定区間同士では互いに異なる位相の発光パルスを照射する、ことを特徴とする画像認識装置。
2. 前記発光パルス制御部は、前記照射量の調整として、前記光源から照射される発光パルス数を調整する、ことを特徴とする請求項１に記載の画像認識装置。
3. 発光パルス制御部は、前記測定区間のうち、反射率が所定の閾値以下である低反射率の画素数が所定数以上存在する測定区間に対して前記光源から出射される発光パルスの照射量を増加させる制御を行う、ことを特徴とする請求項１に記載の画像認識装置。
4. 発光パルス制御部は、前記測定区間のうち、前記低反射率の画素数が所定の閾値未満の測定区間または前記測定対象物の存在しない測定区間のうちの少なくとも一方に対して前記光源から出射する発光パルス数を減少させる制御を行う、ことを特徴とする請求項３に記載の画像認識装置。
5. 発光パルス制御部は、前記測定区間のうち、反射率が所定の閾値以下である低反射率の画素の全画素に対する占有率が所定の閾値以上の測定区間に対して前記光源から出射される発光パルスの照射量を増加させる一方で、前記占有率が所定の閾値未満の測定区間に対
   して発光パルス数を減少させる制御を行う、ことを特徴とする請求項１に記載の画像認識装置。
6. 発光パルス制御部は、前記各測定区間の前記補正係数および当該各測定区間の前記光源から前記測定対象物との距離に応じて前記光源から出射される発光パルスの照射量を制御する、ことを特徴とする請求項１に記載の画像認識装置。
7. 発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該分割された測定区間毎に所定数の発光パルスを出射し、前記測定区間毎の測定対象物との距離および反射光の強度から測定対象物の反射率を前記測定区間毎に推定し、当該推定された反射率を基に前記測定区間毎の補正係数を演算するステップと、
   前記測定対象物に対して、前記補正係数に応じた照射量の発光パルスを出射し、その反射光に基づいて距離画像を生成するステップとを備え、
   前記補正係数を演算するステップにおける前記測定区間毎に出射する前記発光パルスとして、それぞれの前記測定区間では同位相の発光パルスを照射し、かつ、前記測定区間同士では互いに異なる位相の発光パルスを照射する、ことを特徴とする距離画像生成方法。
8. 前記測定対象物との距離は、前記発光パルスの出射方向の距離に対応する時間範囲を複数の測定区間に分割し、前記発光パルスが前記測定対象物の存在する測定区間から反射して帰還するまでの時間に基づいて推定する、ことを特徴とする請求項７に記載の距離画像生成方法。

Images