JP7122806B2 - 物体接近検知装置および物体接近検知方法 - Google Patents

Description

本発明は、物体接近検知装置および物体接近検知方法に関する。

従来より、接近する物体の検知装置または検知方法として、ステレオカメラなどを用いて周囲の物体を検知し、物体までの距離を測定するものが知られている。

また、特許文献１には、メインレンズと焦点距離を可変できるマイクロレンズを２次元配列したレンズアレイとから構成されるレンズユニットを用い、個々の焦点距離に対応した画像情報に基づいて距離推定を行う装置が開示されている。

特許文献２には、複数の合焦距離を持つ多焦点レンズを用いて複数の合焦距離別に同時に撮像して複数の画像を取得し、取得した複数の画像に基づいて、移動物体の３次元空間上の位置を検出する装置が開示されている。

特開２０１４－１６３０９号公報 特開２０１４－６２７４８号公報

上に述べた特許文献１の装置では、個々の焦点距離に対応した画像情報に基づいて距離推定を行うので、そのための計算量が多くなり、消費電力が大きくなる。

また、特許文献２の装置では、複数の焦点距離の画像情報から最もピントの合う焦点距離、すなわち物体までの距離ｚを推定して算出し、それに基づいて物体のｘｙ位置を検出することによって物体の３次元位置（ｘ，ｙ，ｚ）を得る。また、所定時間ごとに３次元位置を検出して物体の移動軌跡を得る。そのため、やはり計算量が多くなって消費電力が大きくなる。

昨今においてはドローンのような小型の飛行マシンにも物体の接近を検知する検知装置が搭載され、これにより衝突による墜落の防止が図られている。

これら小型の飛行マシンでは、様々な方向からの物体を検知するために広い範囲に渡って広角に接近物体を検知する必要がある。しかし、広角に接近物体を検知するためには複数のカメラが必要となり、ステレオカメラを用いた場合にはカメラモジュールの台数が増えて重量が増加し、飛行時間が短くなる。

そのため、単眼を用いた方式が考えられるが、接近物体の距離測定のためにフォーカシングが必要であり、フォーカシングに時間がかかるため、画像を同一時刻に取得できない。また、フォーカシング用のレンズと駆動機構が必要となるため、レンズが重くなって飛行時間が短くなる。

また、上に述べたように、物体までの距離を推定するものでは計算量が多くなって消費電力が大きくなり、電源容量の限られた小型の飛行マシンでは飛行時間が短くなる。

本発明は、上述の問題に鑑みてなされたもので、接近する物体の検知を行うための計算量が少なく、低消費電力を低減することのできる物体接近検知装置および方法を提供することを目的とする。

本発明の実施形態に係る装置は、同じ対象物体を撮像するように配置された互いに焦点距離の異なる第１のレンズ群および第２のレンズ群を備え、前記第１のレンズ群および前記第２のレンズ群を通してそれぞれ撮像される第１の画像情報および第２の画像情報を取得する撮像部と、前記第１の画像情報および前記第２の画像情報に基づいて物体の有無を検知する物体検知部と、前記第１の画像情報に基づいて物体が検知されたときの当該第１の画像情報が取得された第１の時刻と前記第２の画像情報に基づいて物体が検知されたときの当該第２の画像情報が取得された第２の時刻との時刻差が接近判断用しきい値以下であるときに、物体の接近を検知したと判断する物体接近判断部と、を有する。

本発明の実施形態に係る方法は、同じ対象物体を撮像するように配置された互いに焦点距離の異なる第１のレンズ群および第２のレンズ群を通してそれぞれ第１の画像情報および第２の画像情報を取得し、前記第１の画像情報および前記第２の画像情報に基づいて物体の有無を検知し、前記第１の画像情報に基づいて物体が検知されたときの当該第１の画像情報が取得された第１の時刻と前記第２の画像情報に基づいて物体が検知されたときの当該第２の画像情報が取得された第２の時刻との時刻差が接近判断用しきい値以下であるときに、物体の接近を検知したと判断する。

本発明によると、接近する物体の検知を行うための計算量が少なく、低消費電力を低減することができる。したがって、小型の飛行マシンに適用した場合に、その飛行時間をより長くすることができる。

本発明の一実施形態に係る物体接近検知装置の概略の構成を示す図である。 物体検知部の機能的構成の例を示す図である。 物体接近検知装置のハードウエア構成を示すブロック図である。 物体接近検知装置の撮像部のレンズ構成の他の例を示す図である。 物体接近検知装置の撮像部のレンズ構成のさらに他の例を示す図である。 図５に示す撮像部における１つのレンズを拡大して示す図である。 物体接近検知装置の処理部における処理の概略を示す図である。 物体接近検知装置における画像情報およびエッジ画像の例を示す図である。 画像情報からの物体検知の様子を示す図である。 物体接近判断部における処理の概略の流れを示す図である。 画像情報の領域を分割して物体の接近を検知する様子を示す図である。 物体を検知しても接近を検知しないと判断する例を示す図である。 物体接近検知装置における処理の概略の流れを示すフローチャートである。

図１には本発明の一実施形態に係る物体接近検知装置１の概略の構成が、図２には物体検知部２３の機能的構成の例を示す図が、図３には物体接近検知装置１のハードウエア構成の例が、それぞれ示されている。

図１において、物体接近検知装置１は、撮像部１０および処理部２０を有する。

撮像部１０は、メインレンズ１１、同じ対象物体を撮像するように配置された互いに焦点距離の異なる第１のレンズ群１３Ｇ、および第２のレンズ群１４Ｇを備え、メインレンズ１１、第１のレンズ群１３Ｇ、および第２のレンズ群１４Ｇを通してそれぞれ撮像される第１の画像情報Ｄ１および第２の画像情報Ｄ２を取得する。

メインレンズ１１は、集光を行い、撮像の対象範囲を拡げて視野角を大きく（広角化）するためのものである。

第１のレンズ群１３Ｇは、第１の焦点距離をもつ複数の第１のレンズ１３，１３…からなるレンズアレイである。第２のレンズ群１４Ｇは、第２の焦点距離をもつ複数の第２のレンズ１４，１４…からなるレンズアレイである。

複数の第１のレンズ１３，１３…、および複数の第２のレンズ１４，１４…は、１つの対物面１２上に配置されている。ここの例では、対物面１２は平面であり、ガラスのような透明な物体であってもよく、または仮想的な平面であってもよい。また、平面ではなく曲面であってもよい。

撮像部１０は、さらに、第１のレンズ群１３Ｇを通過した光を受光して第１の画像情報Ｄ１を出力する第１の撮像素子１６Ｓ、および、第２のレンズ群１４Ｇを通過した光を受光して第２の画像情報Ｄ２を出力する第２の撮像素子１７Ｓを有する。第１の撮像素子１６Ｓおよび第２の撮像素子１７Ｓは、それぞれ、各レンズ１３，１４に対応した撮像素子１６、１７を含んでおり、これらで撮像された画像に基づいて、焦点距離ごとの第１の画像情報Ｄ１および第２の画像情報Ｄ２を合成する。

第１の撮像素子１６Ｓおよび第２の撮像素子１７Ｓは、対物面１２に対向するように配置されている。つまり、対物面１２に対向する平面である撮像面１５に沿って配置されている。なお、ここでは、撮像面１５の一部が第１の撮像素子１６Ｓおよび第２の撮像素子１７Ｓとなっているが、撮像面１５の全体を撮像素子とし、必要な部分の画像情報を抽出して合成するようにしてもよい。

なお、本実施形態において、第１のレンズ群１３Ｇが合焦距離Ｌの長いレンズ群であり、第２のレンズ群１４Ｇが合焦距離Ｌの短いレンズ群である。第１のレンズ群１３Ｇの合焦距離をＬ１、第２のレンズ群１３Ｇの合焦距離をＬ２とすると、Ｌ１＞Ｌ２である。つまり、第１のレンズ１３の第１の焦点距離は、第２のレンズ１４の第２の焦点距離よりも長い。

したがって、第１のレンズ１３はより遠くの物体に焦点（ピント）が合い、第２のレンズ１４は第１のレンズ１３の場合よりも近い物体に焦点が合う。そのため、物体が遠方から撮像部１０に近づいてきた場合に、最初に第１のレンズ群１３Ｇによって焦点の合った第１の画像情報Ｄ１が取得され、その後で第２のレンズ群１４Ｇによって焦点の合った第２の画像情報Ｄ２が取得されることとなる。

撮像部１０によって、所定の視野角の対象範囲に対して所定の時間間隔で連続的に、つまり周期的に撮像を行い、それぞれのタイミングで第１の画像情報Ｄ１および第２の画像情報Ｄ２を取得する。その際に、撮像のタイミングを示すタイムスタンプ（デジタルタイムスタンプ）ＤＴＳを取得する。タイムスタンプＤＴＳは、第１の画像情報Ｄ１および第２の画像情報Ｄ２がそれぞれ取得された時刻ｔを示す。時刻ｔの例をあげると、「２０１７年１月３０日１３時１０分２５秒２７」、「１５時５２分１８秒７８」「１７：２１：２５：６６」などと示すことができる。

撮像部１０における撮像の時間間隔は、例えば、１／６０秒、１／３０秒、１／１０秒、１秒、２秒などとすることができる。物体接近検知の速度を上げたい場合は時間間隔を短くし、検知の速度が低くてもよい場合には時間間隔を長くしておけばよい。また、６０ｆｐｓ（frames per second ) 、３０ｆｐｓ、２５ｆｐｓなどの適当なフレームレートの動画を取得しておき、動画から静止画などを抽出してもよい。

撮像部１０として、レンズおよび撮像素子などが一体となって構成されるカメラまたはビデオカメラを用いることが可能である。取得する画像情報Ｄ１、Ｄ２は、ＲＧＢのカラー画像情報であってもよく、モノクロ画像情報、赤外線または紫外線による画像情報、その他の画像情報であってもよい。

処理部２０は、画像記憶部２１，２２、物体検知部２３、および物体接近判断部２４を有する。

画像記憶部２１，２２は、撮像部１０で取得して転送されてきた第１の画像情報Ｄ１および第２の画像情報Ｄ２をそれぞれ記憶する。

物体検知部２３は、第１の画像情報Ｄ１および第２の画像情報Ｄ２に基づいて物体の有無を検知する。

図２によく示されるように、物体検知部２３は、例えば、第１の画像情報Ｄ１および第２の画像情報Ｄ２についてエッジ検出を行うエッジ検出部２３１を有し、エッジがエッジ検知用しきい値ｔｈ１１以上検出されたときに物体が有ると検知する。記憶部２３１Ａ，２３１Ｂには、第１のエッジ画像Ｅ１および第２のエッジ画像Ｅ２が記憶される。

物体検知部２３は、また、第１の画像情報Ｄ１および第２の画像情報Ｄ２に基づいて画像認識を行って物体を認識する物体認識部２３２を有する。物体接近判断部２４は、物体認識部２３２で認識された物体（認識物体）Ｂが互いに同じであることを条件として、物体の接近を検知したと判断することができる。記憶部２３２Ａ，２３２Ｂには、第１の認識物体Ｂ１および第２の認識物体Ｂ２が記憶される。

物体検知部２３は、また、第１の画像情報Ｄ１および第２の画像情報Ｄ２について空間周波数Ｆ１，Ｆ２を検出する空間周波数検知部２３３を有し、空間周波数Ｆ１，Ｆ２が周波数検知用しきい値ｔｈ１２以上であるときに物体が有ると検知する。

その際に、例えば、第１の画像情報Ｄ１および第２の画像情報Ｄ２をそれぞれ複数の領域に分割し、それぞれの領域ごとの画像情報について、エッジ検出または空間周波数の検出を行う。

記憶部２３３Ａ，２３３Ｂには、第１の空間周波数Ｆ１および第２の空間周波数Ｆ２が記憶される。

また、物体検知部２３は、例えば、第１の画像情報Ｄ１および第２の画像情報Ｄ２のうち、合焦距離Ｌの長いレンズ群に対応した画像情報に基づいて先に物体の有無を検知し、そこで物体が有ると検知した場合にのみ、他の画像情報に基づいて物体の有無を検知する。

なお、物体検知部２３において、エッジ検出部２３１、物体認識部２３２、および空間周波数検知部２３３における構成および処理のために、種々の公知の技術を用いることが可能である。また、これらの一部を省略した構成とすることも可能である。

物体接近判断部２４は、第１の画像情報Ｄ１に基づいて物体が検知されたときの当該第１の画像情報Ｄ１が取得された第１の時刻ｔａと、第２の画像情報Ｄ２に基づいて物体が検知されたときの当該第２の画像情報Ｄ２が取得された第２の時刻ｔｂとの時刻差Δｔが接近判断用しきい値ｔｈ１以下であるときに、物体の接近を検知したと判断する。物体の接近を検知したと判断したときに、物体接近信号Ｓ１を出力する。

物体接近判断部２４は、例えば、物体が検知された領域が、第１の画像情報Ｄ１および第２の画像情報Ｄ２について分割された互いに対応する領域またはそれに隣接する領域であったことを条件として、物体の接近を検知したと判断することが可能である。

また、例えば、物体接近判断部２４は、物体検知部２３が、第１の画像情報Ｄ１および第２の画像情報Ｄ２のうち、合焦距離Ｌの長いレンズ群に対応した画像情報よりも先に合焦距離Ｌの短いレンズ群に対応した画像情報に基づいて物体が有りと検知した場合には、物体の接近を検知しないと判断することができる。

また、物体接近判断部２４は、接近判断用しきい値ｔｈ１よりも小さい高速接近判断用しきい値ｔｈ２を持ち、時刻差Δｔが高速接近判断用しきい値ｔｈ２以下であるときに、物体の高速接近を検知したと判断する。

なお、撮像部１０による撮像の対象となる実物体については、「物体ＢＴ」「物体ＢＴ１」「物体ＢＴ２」などと記載し、撮像されが画像情報Ｄに基づいて検知されまたは認識される認識物体については、「物体Ｂ」「物体Ｂ１」「物体Ｂ２」などと記載することとする。しかし、実物体と認識物体との区別は厳密なものではない。

図３に示すように、処理部２０は、例えば、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、クロックジェネレータ１０４、外部Ｉ／Ｆ１０５などから構成され、これらがバスなどで接続されている。

ＣＰＵ(Central Processing Unit) １０１は、プログラム（コンピュータプログラム）にしたがって物体接近検知装置１の各部および全体を制御する。ＣＰＵ１０１は、例えばＡＳＩＣ（Application Specific Integrated Circuit ）によって形成することが可能である。処理部２０の機能などは、ＣＰＵ１０１が所定のプログラムを実行することにより、およびハードウエア素子との協働によって実現可能である。

ＲＯＭ（Read Only Memory）１０２およびＲＡＭ（Random Access Memory）１０３は、半導体や磁気ディスクなどによって実現可能であり、制御プログラム、アプリケーションプログラム、データ、画像情報などを記憶する。ＲＡＭ１０３は、作業用のメモリとして用いられる他、その一部が画像記憶部２１，２２として用いられる。

クロックジェネレータ１０４は、処理部２０における処理に必要なクロックを生成し、例えばカウンターによる計時やタイムスタンプＤＴＳのためのクロックを提供する。

外部Ｉ／Ｆ１０５は、他の装置との間でデータや信号の授受を行う。例えば、ドローンなどの飛行マシンの動作制御部などと接続され、処理部２０での判断結果である物体接近信号Ｓ１を動作制御部に送信することができる。動作制御部は、物体接近信号Ｓ１があったときに、例えば衝突回避のための動作を行うようにすればよい。

図４～図６には、物体接近検知装置１のレンズ構成の他の例を示す撮像部１０Ｂ、１０Ｃが示されている。

図４において、撮像部１０Ｂは、メインレンズ１１Ｂ、第１の焦点距離をもつ複数の第１のレンズ１３Ｂ，１３Ｂ…からなる第１のレンズ群１３ＧＢ、第２の焦点距離をもつ複数の第２のレンズ１４Ｂ，１４Ｂ…からなる第２のレンズ群１４ＧＢを備える。

図４の例では、メインレンズ１１Ｂの表面を対物面１２とし、対物面１２に沿ってレンズ１３Ｂ、１４Ｂが配置されている。第１の撮像素子１６ＳＢおよび第２の撮像素子１７ＳＢは、対物面１２に対向する撮像面１５Ｂ上に配置されている。

図５において、撮像部１０Ｃは、第１の焦点距離をもつ複数の第１のレンズ１３Ｃ，１３Ｃ…からなる第１のレンズ群１３ＧＣ、第２の焦点距離をもつ複数の第２のレンズ１４Ｃ，１４Ｃ…からなる第２のレンズ群１４ＧＣを備える。

図５の例では、第１のレンズ１３Ｃおよび第２のレンズ１４Ｃは、円周面状または球面状の対物面１２Ｃ上に配置されている。

第１の撮像素子１６ＳＣおよび第２の撮像素子１７ＳＣは、対物面１２Ｃに対向する円周面状または球面状の撮像面１５Ｃ上に配置されている。

また、撮像部１０，１０Ｂ，１０Ｃのいずれも、第１のレンズ１３，１３Ｂ，１３Ｃおよび第２のレンズ１４，１４Ｂ，１４Ｃは、対物面１２，１２Ｂ，１２Ｃ上においてそれぞれ交互に、詳しくは千鳥状に配置され、且つ全体としてマトリクス状に配置されている。

図５の撮像部１０Ｃでは、それぞれの第１のレンズ１３Ｃおよび第２のレンズ１４Ｃと、第１の撮像素子１６Ｃおよび第２の撮像素子１７Ｃとの間に、対応する領域外への光路を遮蔽するための遮蔽壁１８が設けられている。

遮蔽壁１８は、例えば図６に示されるように、１つの透光穴１８ａが設けられたブロック状のものであってもよい。遮蔽壁１８は、第１のレンズ１３Ｃ（または第２のレンズ１４Ｃ）と第１の撮像素子１６Ｃ（または第２の撮像素子１７Ｃ）との間に挿入される。

なお、遮蔽壁１８は、各レンズに対応した多数の透光穴１８ａが設けられた板状のものであってもよい。

図７には、処理部２０における物体接近検知のための処理の流れの例が示されている。

図７において、撮像部１０によって対象範囲についての静止画または動画などの画像が撮像され、画像から第１の画像情報Ｄ１および第２の画像情報Ｄ２が取得され、同時にタイムスタンプＤＴＳが取得される。第１の画像情報Ｄ１および第２の画像情報Ｄ２の組は、所定の時間間隔で取得され、順次処理部２０に送られる。

処理部２０において、１組の第１の画像情報Ｄ１および第２の画像情報Ｄ２に対し、エッジ検出が行われ、第１のエッジ画像Ｅ１および第２のエッジ画像Ｅ２が取得される。これらのエッジ画像に基づいて、物体の有無が検知される。物体が検知されたときに、その第１の画像情報Ｄ１または第２の画像情報Ｄ２に対応したタイムスタンプＤＴＳから時刻ｔが取得される。

通常、物体が遠方から撮像部１０に近づいてきた場合に、最初に第１のレンズ群１３Ｇによって焦点の合った第１の画像情報Ｄ１が取得され、その後で第２のレンズ群１４Ｇによって焦点の合った第２の画像情報Ｄ２が取得されることとなる。その場合には、第１の画像情報Ｄ１について例えば時刻ｔａが取得され、第２の画像情報Ｄ２について例えば時刻ｔｂが取得されることとなる。時刻ｔａが先で、時刻ｔｂが後となる。

この場合に、時刻ｔａと時刻ｔｂとの差の時刻差Δｔは、ｔｂ－ｔａであり、この時刻差Δｔは、物体が第１のレンズ群１３Ｇの合焦距離Ｌ１から第２のレンズ群１４Ｇの合焦距離Ｌ２まで移動するに要した時間である。それぞれの合焦距離Ｌ１，Ｌ２を一定とすると、時刻差Δｔが小さいほど物体の移動速度は速いことになる。

そこで、時刻差Δｔを接近判断用しきい値ｔｈ１と比較する。時刻差Δｔが接近判断用しきい値ｔｈ１以下であるときに、物体の接近を検知したと判断し、物体接近信号Ｓ１を出力する。

また、必要に応じて、時刻差Δｔを高速接近判断用しきい値ｔｈ２と比較し、時刻差Δｔが高速接近判断用しきい値ｔｈ２以下であるときに、物体の高速接近を検知したと判断し、高速物体接近信号Ｓ２を出力する。高速接近判断用しきい値ｔｈ２は、接近判断用しきい値ｔｈ１よりも小さく、例えば半分以下としてよい。例えば、接近判断用しきい値ｔｈ１を１秒とした場合に、高速接近判断用しきい値ｔｈ２を０．５秒程度とすることができる。

以下、さらに詳しく説明する。

図８（Ａ）には画像情報Ｄ１、Ｄ２の例が、図８（Ｂ）にはそのエッジ画像Ｅ１、Ｅ２の例が、それぞれ示されている。

図８（Ａ）において、画像情報Ｄ１は、第１のレンズ群１３Ｇで撮像された画像によるものであり、第１のレンズ群１３Ｇの合焦距離Ｌ１に焦点が合っている。画像情報Ｄ２は、第２のレンズ群１４Ｇで撮像された画像によるものであり、第２のレンズ群１４Ｇの合焦距離Ｌ２に焦点が合っている。

これら画像情報Ｄ１、Ｄ２において、背景の中に互いに異なる物体（実物体）ＢＴ１，物体ＢＴ２が写っており。物体ＢＴ１は物体ＢＴ２よりも撮像部１０から遠くに配置されている。一方の画像情報Ｄ１においては遠い方の物体ＢＴ１に焦点が合っており、他方の画像情報Ｄ２においては近い方の物体ＢＴ２に焦点が合っている。

図８（Ｂ）のエッジ画像Ｅ１は、画像情報Ｄ１についてエッジ検出を行った結果であり、エッジ画像Ｅ２は、画像情報Ｄ２についてエッジ検出を行った結果である。

エッジ検出の方法として、例えば、画像濃度（輝度）を微分することにより濃度勾配を求める方法、隣接する画素の濃度差を求める方法、その他の方法などがある。焦点の合った物体の画像では、エッジにおいて濃度勾配および濃度差が大きくなる傾向にある。したがって、例えば、画像の全体に対して濃度勾配や濃度差の大きい部分の面積の割合が一定以上である場合、隣接する画素との間で濃度勾配や濃度差が大きい画素が一定数以上あったり一定割合以上ある場合などに、焦点の合った物体ＢＴが有ると検知することが可能である。

図８（Ｂ）のエッジ画像Ｅ１においては、焦点の合った物体ＢＴ１についてエッジが明瞭に現れ、エッジ画像Ｅ２においては、焦点の合った物体ＢＴ２についてエッジが明瞭に現れている。したがって、この場合に、画像情報Ｄ１またはエッジ画像Ｅ１について物体ＢＴ１が検知され、画像情報Ｄ２またはエッジ画像Ｅ２について物体ＢＴ２が検知されることとなる。

図９（Ａ）（Ｂ）（Ｃ）には、画像情報から物体検知を行う様子が示されている。

図９（Ａ）には画像情報Ｄ１１、Ｄ１２、Ｄ１３が示され、図９（Ｂ）には画像情報Ｄ１１、Ｄ１２、Ｄ１３からそれぞれ得られたエッジ画像Ｅ１１、Ｅ１２、Ｅ１３が示され、図９（Ｃ）にはエッジ画像Ｅ１１、Ｅ１２、Ｅ１３におけるそれぞれの隣接画素の濃度差ΔＧの度数分布曲線が示されている。

図９（Ａ）において、画像情報Ｄ１１、Ｄ１２、Ｄ１３は、画面の中央に配置された物体（実物体）ＢＴ３を異なる距離で撮像したものである。このうち、中央の画像情報Ｄ１２において、物体ＢＴ３は合焦距離にあり、焦点が合っている。

図９（Ｂ）において、エッジ画像Ｅ１１、Ｅ１２、Ｅ１３では、エッジ検出後の画素が拡大されて示されている。このうち、エッジ画像Ｅ１２において濃淡の差つまりコントラストが大きく、エッジが最もよく検出されている。

図９（Ｃ）において、それぞれの横軸は各画素の濃度差ΔＧであり、縦軸は個数（画素数）ｎである。横軸の適当な位置をしきい値ｔｈＧとし、しきい値ｔｈＧを越える濃度差ΔＧの画素の総個数ＮＴＧをチェックする。総個数ＮＴＧは、曲線の下側の部分の面積と対応する。総個数ＮＴＧの最も多いのは、中央のエッジ画像Ｅ１２であることが分かる。

したがって、例えば、エッジの画素を示すしきい値ｔｈＧを設定し、しきい値ｔｈＧを越える画素の総個数ＮＴＧがエッジ検知用しきい値ｔｈ１１以上であった場合に、そのエッジ画像Ｅまたは画像情報Ｄにおいて物体Ｂが有ると検知すればよい。

なお、画像情報Ｄにおいて、ピントが合った鮮明な画像が含まれることによって、濃淡の差が大きくなり、つまりコントラストが大きくなり、空間周波数Ｆが高くなる傾向にある。つまり、ピントが合った画像情報Ｄは空間周波数Ｆが高い。

そこで、画像情報Ｄ１１、Ｄ１２、Ｄ１３について、それぞれの空間周波数Ｆを検出し、空間周波数Ｆが周波数検知用しきい値ｔｈ１２以上であるときに物体が有ると検知してもよい。

その場合には、空間周波数検知部２３３によって、第１の画像情報Ｄ１および第２の画像情報Ｄ２について空間周波数Ｆ１，Ｆ２を検出する。空間周波数Ｆ１，Ｆ２が周波数検知用しきい値ｔｈ１２以上であるときに物体が有ると検知すればよい。

図１０（Ａ）（Ｂ）には、物体接近判断部２４における処理の概略の流れが図で示されている。

図１０（Ａ）には、撮像部１０の視野の中に物体ＢＴが入り、時刻ｔとともに近づいてくる様子が示されている。撮像部１０によって、各時刻ｔ１，ｔ２，ｔ３，ｔ４，ｔ５において、撮像が行われる。物体ＢＴは、時刻ｔ２において第１のレンズ群１３Ｇの合焦距離Ｌ１に位置し、時刻ｔ４において第２のレンズ群１４Ｇの合焦距離Ｌ２に位置する。

図１０（Ｂ）には、各時刻ｔで撮像された画像情報Ｄ１、Ｄ２が模式的に示されている。時刻ｔ１において、焦点の合っていない画像情報Ｄ１、および実質的に何も写っていない画像情報Ｄ２が得られる。時刻ｔ２において、焦点の合った画像情報Ｄ１、および焦点の合っていない画像情報Ｄ２が得られる。時刻ｔ３において、焦点の合っていない画像情報Ｄ１、Ｄ２が得られる。時刻ｔ４において、焦点の合っていない画像情報Ｄ１、および焦点の合った画像情報Ｄ２が得られる。時刻ｔ５において、焦点の合っていない画像情報Ｄ１、Ｄ２が得られる。

これらの画像情報Ｄ１、Ｄ２から、それぞれエッジ検出によってエッジ画像Ｅ１、Ｅ２が得られ、物体ＢＴの検知が行われる。この例では、時刻ｔ２における焦点の合った画像情報Ｄ１、および時刻ｔ４における焦点の合った画像情報Ｄ２から、それぞれ物体（認識物体）Ｂ１、Ｂ２として検知される。

結局、時刻ｔ２において合焦距離Ｌ１で物体Ｂ１が検知され、時刻ｔ４において合焦距離Ｌ２で物体Ｂ２が検知されたこととなる。つまり、第１の画像情報Ｄ１に基づいて物体Ｂ１が検知されたときの第１の時刻ｔａは「時刻ｔ２」であり、第２の画像情報Ｄ２に基づいて物体Ｂ２が検知されたときの第２の時刻ｔｂは「時刻ｔ４」である。したがって、第１の時刻ｔａと第２の時刻ｔｂとの時刻差Δｔ（＝ｔｂ－ｔａ）は、Δｔ＝ｔ４－ｔ２となる。

そして、時刻差Δｔ＝ｔ４－ｔ２が、接近判断用しきい値ｔｈ１以下であるとき、つまりΔｔ＜ｔｈ１のときに、物体の接近を検知したと判断し、物体接近信号Ｓ１を出力する。

また、時刻差Δｔ＝ｔ４－ｔ２が、高速接近判断用しきい値ｔｈ２以下であるとき、つまりΔｔ＜ｔｈ２のときに、物体の高速接近を検知したと判断し、高速物体接近信号Ｓ２を出力する。

なお、物体接近の検知の判断において、時刻差Δｔがしきい値ｔｈ１，ｔｈ２と等しい場合を含めてもよい。

次に、物体接近の検知の判断における種々の条件について説明する。

まず、図１０に示した例では、同じ１つの物体ＢＴが撮像されるので、物体認識部２３２において、検知された物体Ｂ１（第１の認識物体）と物体Ｂ２（第２の認識物体）とが同じであると判断されることとなる。

この場合に、物体接近判断部２４は、物体認識部２３２で認識された物体Ｂ１，Ｂ２が互いに同じであることを条件として、物体の接近を検知したと判断することができる。つまり、このような判断を行う場合には、物体Ｂ１，Ｂ２が互いに異なっていれば、物体の接近を検知したと判断しない。したがって、物体接近信号Ｓ１は出力されない。

次に、図１１には、画像情報Ｄの領域を分割して物体の接近を検知する様子が示されている。

図１１において、撮像面１５は、この例では画素が縦３００、横３００のマトリクス状に配列されている。撮像面１５は、第１の撮像素子１６ＳＣおよび第２の撮像素子１７ＳＣを含んでいる。第１の撮像素子１６ＳＣおよび第２の撮像素子１７ＳＣとして、例えば、縦１５０、横１５０の画素が割り当てられ、それぞれ第１の画像情報画Ｄ１と第２の画像情報画Ｄ２とが得られる。

第１の撮像素子１６ＳＣおよび第２の撮像素子１７ＳＣにおいて、第１の画像情報画Ｄ１および第２の画像情報画Ｄ２について、所定のサイズの領域ＡＥに分割されている。ここの例は、縦１０画素、横１０画素のマトリクス状の領域ＡＥに分割されている。第１の画像情報画Ｄ１と第２の画像情報画Ｄ２とで、領域ＡＥの位置関係は互いに対応している。

そして、物体接近判断部２４は、物体Ｂ１，Ｂ２が検知された場合に、検知されたそれぞれの領域ＡＥが、第１の画像情報Ｄ１および第２の画像情報Ｄ２について分割された互いに対応する領域ＡＥまたはそれに隣接する領域ＡＥであったことを条件として、物体の接近を検知したと判断することができる。

つまりこの場合は、図１１に示す第２の画像情報Ｄ２において、第１の画像情報Ｄ１で物体Ｂ１が検知された領域ＡＥ１、またはこの領域ＡＥ１に対して上下左右に隣接する８つの領域ＡＥに対応するいずれかの領域ＡＥで物体Ｂ２が検知され場合にのみ、物体の接近を検知したと判断することとなり、より高い精度で物体の接近を検知することができる。

また、物体Ｂ１，Ｂ２を検知した領域ＡＥを特定できるので、これによって物体Ｂ１，Ｂ２の空間的な位置も特定することも可能である。

なお、この場合の領域ＡＥのサイズや設定の仕方は種々のものとしてよい。

図１２には、物体を検知しても接近を検知しないと判断する場合の例が示されている。図１２では、各時刻ｔで撮像された画像情報Ｄ１、Ｄ２が模式的に示されている。

つまり、撮像部１０によって、各時刻ｔ１，ｔ２，ｔ３において、撮像が行われる。時刻ｔ１において、画像情報Ｄ１からは物体が検知されず、画像情報Ｄ２からは物体Ｂ３が検知される。時刻ｔ２において、画像情報Ｄ１からは物体Ｂ１が検知され、画像情報Ｄ２からは物体Ｂ２が検知される。時刻ｔ３において、画像情報Ｄ１からは物体が検知されず、画像情報Ｄ２からは２つの物体（認識物体）Ｂ２，Ｂ３が検知される。

このような場合には、時刻ｔ１において、長い合焦距離Ｌ１のレンズ群に対応した第１の画像情報Ｄ１よりも先に短い合焦距離Ｌ２のレンズ群に対応した第２の画像情報Ｄ２に基づいて物体Ｂ３が有りと検知されたので、物体の接近を検知しないと判断し、物体接近信号Ｓ１は出力されない。

すなわち、第２の画像情報Ｄ２に基づいて検知される物体Ｂ３は、いずれの時刻ｔ１，ｔ２，ｔ３においても検知されており、これは合焦距離Ｌ２の位置に検知すべき物体ＢＴとは異なる別の物体があったか、別の物体が横切った場合などであり、誤検知に繋がるので、ここでは物体接近信号Ｓ１を出力しない。

このような状況は、例えば、飛行マシンに取り付けた撮像部１０の位置が機体などに近くて機体の一部が写っている場合や、下方を撮像するように取り付けられたため常に地面を撮像した場合などが考えられる。

なお、この場合に、もし第２の画像情報Ｄ２に基づいて物体Ｂ３が検知されなかった場合には、時刻ｔ２において物体Ｂ１が検知され、時刻ｔ３において物体Ｂ２が検知されたので、時刻差Δｔはｔ３－ｔ２となり、これが接近判断用しきい値ｔｈ１以下であるときに、物体の接近を検知したと判断し、物体接近信号Ｓ１を出力することとなる。

また、先に時刻ｔ１において第２の画像情報Ｄ２に基づいて物体Ｂ３が検知されているのであるが、時刻ｔ２において物体Ｂ１が検知され時刻ｔ３において物体Ｂ２が検知されたので、物体Ｂ１と物体Ｂ２とが同じであることを条件として、時刻差Δｔによる物体の接近の有無の判断を行い、条件を満たす場合に物体接近信号Ｓ１を出力するようにしてもよい。

また、第２の画像情報Ｄ２に基づいて検知される物体Ｂ３について、それが物体認識部２３２によって特定され、検知すべき物体ＢＴとは異なることが分かれば、この場合においても物体Ｂ１，Ｂ２の検知に基づく接近の有無の判断を行ってもよい。

また、例えば、時刻ｔ１においてのみ第２の画像情報Ｄ２に基づいて物体Ｂ３が検知され、時刻ｔ２，ｔ３においては物体Ｂ３が検知されなかった場合には、やはり検知すべき物体ＢＴとは異なることが考えられるので、このような場合、つまり短い合焦距離Ｌ２のレンズ群に対応した第２の画像情報Ｄ２に基づいて先に物体Ｂ３が有りと検知された場合には、その後の一定時間における物体Ｂ１の検知を行わないようにすることができる。この場合は、長い合焦距離Ｌ１のレンズ群に対応した第１の画像情報Ｄ１に基づいて先に物体の有無を検知した場合にのみ、第２の画像情報Ｄ２に基づく物体の有無の検知を行うこととなる。

また、第１の画像情報Ｄ１から物体が検知されるまで第２の画像情報Ｄ２に基づく物体の検知を行わないようにしてもよい。このようにすると、演算量が少なくなり、消費電力が少なくなる。

上に述べた実施形態では、撮像部１０，１０Ｂ，１０Ｃにおいて、第１の撮像素子１６ＳＣおよび第２の撮像素子１７ＳＣの２つの撮像素子によって２つの画像情報画Ｄ１、Ｄ２を取得したが、これに限らず、３つまたは４つ以上の撮像素子を用いて３つまたは４つ以上の画像情報画Ｄを取得し、それらに基づいて物体の有無の検知および物体の接近を検知してもよい。

つまり、そのような撮像部１０Ｄでは、例えば、同じ対象物体を撮像するように配置された互いに焦点距離の異なるＮ個（Ｎは３以上の整数）のレンズ群を備え、Ｎ個のレンズ群によって、第１の画像情報Ｄ１、第２の画像情報Ｄ２、第３の画像情報Ｄ３、…第Ｎの画像情報ＤＮを含むＮ個の画像情報Ｄ１～ＤＮを取得する。

そして、例えば物体検知部２３において、Ｎ個の画像情報Ｄ１～ＤＮに基づいて物体の有無を検知する。物体接近判断部２４において、Ｎ個の画像情報Ｄ１～ＤＮのうちのいずれかの画像情報画像情報Ｄ１～ＤＮに基づいて物体が検知されたときの当該画像情報が取得された時刻ｔａと他の画像情報に基づいて物体が検知されたときの当該画像情報が取得された時刻ｔｂとの時刻差Δｔが接近判断用しきい値ｔｈ１以下であるときに、物体の接近を検知したと判断する。

次に、図１３に示すフローチャートに基づいて、物体接近検知装置１における処理の概略の流れを説明する。

図１３において、撮像部１０によって第１の画像情報Ｄ１を取得する（＃１１）。第１の画像情報Ｄ１から物体の有無をチェックする（＃１２）。物体を検知した場合に（＃１２でイエス）、タイムスタンプＤＴＳなどから第１の時刻ｔａを取得する（＃１３）。第２の画像情報Ｄ２を取得し（＃１４）、物体の有無をチェックする（＃１５）。物体を検知した場合に（＃１５でイエス）、第２の時刻ｔｂを取得する（＃１６）。

第１の時刻ｔａと第２の時刻ｔｂとから時刻差Δｔを求め、これを接近判断用しきい値ｔｈ１と比較し（＃１７）、時刻差Δｔが接近判断用しきい値ｔｈ１以下であれば、物体の接近を検知したと判断し、物体接近信号Ｓ１などを出力する（＃１８）。

上に述べた実施形態によれば、物体の検知を行って時刻差Δｔを求め、これを接近判断用しきい値ｔｈ１と比較することで接近の有無を判断するので、計算量が少なく、そのため低消費電力を低減することができる。因みに従来のように物体までの距離を推定する場合には計算量が多くなって消費電力を低減できない。

したがって、本実施形態の物体接近検知装置１によると、これをドローンなどの小型の飛行マシンに搭載した場合に、その飛行時間をより長くすることができる。

撮像部１０としてメインレンズ１１と第１のレンズ群１３Ｇおよび第２のレンズ群１４Ｇの組み合わせを用いた場合には、撮像の対象範囲が拡がって広角化され、軽量な機材で様々な方向からの物体を検知することが可能である。

上に述べた実施形態において、撮像部１０，１０Ｂ，１０Ｃ、処理部２０、および物体接近検知装置１のそれぞれの全体または各部の構成、構造、組み合わせ、寸法、個数、材質、配置、処理の内容、順序、しきい値ｔｈの値などは、本発明の趣旨に沿って適宜変更することができる。

１ 物体接近検知装置
１０ 撮像部
１１ メインレンズ
１２ 対物面
１３ 第１のレンズ
１３Ｇ 第１のレンズ群
１４ 第２のレンズ
１４Ｇ 第２のレンズ群
１６ＳＣ 第１の撮像素子
１７ＳＣ 第２の撮像素子
１８ 遮蔽壁
２０ 処理部
２１，２２ 画像記憶部
２３ 物体検知部
２３１ エッジ検出部
２３２ 物体認識部
２３３ 空間周波数検知部
２４ 物体接近判断部
Ｄ１ 第１の画像情報（画像情報）
Ｄ２ 第２の画像情報（画像情報）
ｔｈ１ 接近判断用しきい値
ｔｈ２ 高速接近判断用しきい値
ｔｈ１１ エッジ検知用しきい値
ｔｈ１２ 周波数検知用しきい値
ｔａ 第１の時刻
ｔｂ 第２の時刻
Δｔ 時刻差
Ｓ１ 物体接近信号
Ｓ２ 高速物体接近信号
Ｆ 空間周波数
ＡＥ 領域
Ｌ，Ｌ１，Ｌ２ 合焦距離
Ｂ，Ｂ１，Ｂ２，Ｂ３ 物体（認識物体）
ＢＴ，ＢＴ１，ＢＴ２ 物体（実物体）

Claims (14)

1. 同じ対象物体を撮像するように配置された第１のレンズ群および前記第１のレンズよりも焦点距離の短い第２のレンズ群を備え、前記第１のレンズ群および前記第２のレンズ群を通してそれぞれ撮像される第１の画像情報および第２の画像情報を取得する撮像部と、
   前記第１の画像情報および前記第２の画像情報に基づいて物体の有無を検知する物体検知部と、
   前記第１の画像情報に基づいて物体が検知されたときの当該第１の画像情報が取得された第１の時刻から前記第２の画像情報に基づいて物体が検知されたときの当該第２の画像情報が取得された第２の時刻までの経過時間が接近判断用しきい値以下であるときに、物体の接近を検知したと判断する物体接近判断部と、
   を有することを特徴とする物体接近検知装置。
2. 前記撮像部は、
   第１の焦点距離をもつ複数の第１のレンズからなる前記第１のレンズ群と、
   前記第１のレンズ群を通過した光を受光して前記第１の画像情報を出力する第１の撮像素子と、
   第２の焦点距離をもつ複数の第２のレンズからなる前記第２のレンズ群と、
   前記第２のレンズ群を通過した光を受光して前記第２の画像情報を出力する第２の撮像素子と、
   を有する請求項１記載の物体接近検知装置。
3. 前記撮像部は、
   メインレンズと、
   第１の焦点距離をもつ複数の第１のレンズからなる前記第１のレンズ群と、
   前記メインレンズおよび前記第１のレンズ群を通過した光を受光して前記第１の画像情報を出力する第１の撮像素子と、
   第２の焦点距離をもつ複数の第２のレンズからなる前記第２のレンズ群と、
   前記メインレンズおよび前記第２のレンズ群を通過した光を受光して前記第２の画像情報を出力する第２の撮像素子と、
   を有する請求項１記載の物体接近検知装置。
4. 複数の前記第１のレンズおよび複数の前記第２のレンズは、１つの対物面上に配置され、
   前記第１の撮像素子および前記第２の撮像素子は、前記対物面に対向するように配置されてなる、
   請求項２または３記載の物体接近検知装置。
5. 複数の前記第１のレンズおよび複数の前記第２のレンズは、前記対物面上においてそれぞれ交互に配置され且つ全体としてマトリクス状に配置され、
   それぞれの前記第１のレンズおよび前記第２のレンズと前記第１の撮像素子および前記第２の撮像素子との間に、対応する領域外への光路を遮蔽するための遮蔽壁が設けられている、
   請求項４記載の物体接近検知装置。
6. 前記物体検知部は、前記第１の画像情報および前記第２の画像情報についてエッジの画素を検出し、前記エッジの画素の個数がエッジ検知用しきい値以上検出されたときに物体が有ると検知する、
   請求項１ないし５のいずれかに記載の物体接近検知装置。
7. 前記物体検知部は、前記第１の画像情報および前記第２の画像情報をそれぞれ複数の領域に分割し、それぞれの領域ごとの画像情報について、前記エッジの画像を検出する、
   請求項６記載の物体接近検知装置。
8. 前記物体接近判断部は、物体が検知された領域が、前記第１の画像情報および前記第２の画像情報について分割された互いに対応する領域またはそれに隣接する領域であったことを条件として、物体の接近を検知したと判断する、
   請求項７記載の物体接近検知装置。
9. 前記物体検知部は、前記第１の画像情報および前記第２の画像情報のうち、合焦距離の長いレンズ群に対応した画像情報に基づいて先に物体の有無を検知し、そこで物体が有ると検知した場合にのみ、他の画像情報に基づいて物体の有無を検知する、
   請求項１ないし８のいずれかに記載の物体接近検知装置。
10. 前記第１の画像情報および前記第２の画像情報に基づいて画像認識を行って物体を認識する物体認識部を有し、
    前記物体接近判断部は、前記物体認識部で認識された物体が互いに同じであることを条件として、物体の接近を検知したと判断する、
    請求項１ないし９のいずれかに記載の物体接近検知装置。
11. 前記物体接近判断部は、
    前記物体検知部が、前記第１の画像情報および前記第２の画像情報のうち、合焦距離の長いレンズ群に対応した画像情報よりも先に合焦距離の短いレンズ群に対応した画像情報に基づいて物体が有りと検知した場合には、物体の接近を検知しないと判断する、
    請求項１ないし９のいずれかに記載の物体接近検知装置。
12. 前記物体接近判断部は、
    前記接近判断用しきい値よりも小さい高速接近判断用しきい値を持ち、
    前記時刻差が前記高速接近判断用しきい値以下であるときに、物体の高速接近を検知したと判断する、
    請求項１ないし１１のいずれかに記載の物体接近検知装置。
13. 前記撮像部は、前記第１のレンズ群および前記第２のレンズ群を含み、同じ対象物体を撮像するように配置された互いに焦点距離の異なるＮ個（Ｎは３以上の整数）のレンズ群を備え、Ｎ個の前記レンズ群によって前記第１の画像情報および前記第２の画像情報を含むＮ個の画像情報を取得し、
    前記物体検知部は、Ｎ個の前記画像情報に基づいて物体の有無を検知し、
    前記物体接近判断部は、Ｎ個の前記画像情報のうちのいずれかの画像情報に基づいて物体が検知されたときの当該画像情報が取得された時刻と他の画像情報に基づいて物体が検知されたときの当該画像情報が取得された時刻との時刻差が接近判断用しきい値以下であるときに、物体の接近を検知したと判断する、
    請求項１ないし１２のいずれかに記載の物体接近検知装置。
14. 同じ対象物体を撮像するように配置された第１のレンズ群および前記第１のレンズよりも焦点距離の短い第２のレンズ群を通してそれぞれ第１の画像情報および第２の画像情報を取得し、
    前記第１の画像情報および前記第２の画像情報に基づいて物体の有無を検知し、
    前記第１の画像情報に基づいて物体が検知されたときの当該第１の画像情報が取得された第１の時刻から前記第２の画像情報に基づいて物体が検知されたときの当該第２の画像情報が取得された第２の時刻までの経過時間が接近判断用しきい値以下であるときに、物体の接近を検知したと判断する、
    ことを特徴とする物体接近検知方法。

Images