JP6618337B2 - 物体検出装置、物体検出方法、及びコンピュータプログラム - Google Patents

物体検出装置、物体検出方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6618337B2
JP6618337B2 JP2015230373A JP2015230373A JP6618337B2 JP 6618337 B2 JP6618337 B2 JP 6618337B2 JP 2015230373 A JP2015230373 A JP 2015230373A JP 2015230373 A JP2015230373 A JP 2015230373A JP 6618337 B2 JP6618337 B2 JP 6618337B2
Authority
JP
Japan
Prior art keywords
difference
image
irradiation intensity
irradiation
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015230373A
Other languages
English (en)
Other versions
JP2017097689A (ja
Inventor
浩和 高田
浩和 高田
俊之 安井
俊之 安井
和則 齊藤
和則 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takumi Vision Co Ltd
Original Assignee
Takumi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takumi Vision Co Ltd filed Critical Takumi Vision Co Ltd
Priority to JP2015230373A priority Critical patent/JP6618337B2/ja
Publication of JP2017097689A publication Critical patent/JP2017097689A/ja
Application granted granted Critical
Publication of JP6618337B2 publication Critical patent/JP6618337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像された画像から特定の物体を検出する物体検出装置及び物体検出方法、並びにコンピュータにその物体検出方法を実行させるためのコンピュータプログラムに関する。
画像中の物体を検出するための技術としては、クロマキー像を用いる方法、及びテンプレートマッチングにより検出対象の物体を識別する方法等が既に周知となっている。しかし、これらの方法は外乱光などの影響を受けやすく、また、処理量が多いために組み込み機器で利用することが困難である。そこで、外乱光などの影響を受けにくく、しかも比較的容易に物体を検出することができる技術として、赤外光を利用した物体検出方法が提案されている。
例えば、特許文献１には、赤外光を発光可能な照明装置を点灯させた状態で得た画像と消灯させた状態で得た画像との差分画像を用いて物体の検出を行う操作物体検出装置が開示されている。この操作物体検出装置の場合、外乱光の影響を低減させることができ、しかも光学系構成部分の制御範囲を小さくすることができるために安価で小型・軽量な装置とすることができる。
また、特許文献２には、赤外光である照射光の色成分による第１差分画像及び照射光の色成分とは異なる色成分による第２差分画像を生成し、さらにこれらの第１差分画像と第２差分画像とから第３差分画像を生成した上で、この第３差分画像に基づいて対象物を認識する画像処理装置が開示されている。この画像処理装置によれば、照射光の反射のみを検出することができるため、外乱光の影響を低減することが可能になる。
特開２００７−２７２５９６号公報 特開２０１０−１５２７９１号公報
しかしながら、特許文献１に開示されている操作物体検出装置では、動きにより生じる差を識別するための時間差分画像に基づいて物体を検出するため、検出対象の物体の後方に他の移動物体が存在する場合、その移動物体まで検出してしまうという問題がある。また、手振れ等によりカメラ自体が動いた場合でも正常に対象の物体を検出することができないという問題もある。
これに対し、特許文献２に開示されている画像処理装置の場合、撮影時に手振れ等が生じたとしても第１及び第２差分画像が生成される際にその影響を除去することができ、さらに、対象物の後方に当該対象物とは異なる移動物体が存在していたとしても第３差分画像が生成される際にその影響を除去することができる。しかしながら、この画像処理装置では、色成分に基づいて物体の検出を行っているため、検出対象の物体の材質及びその色によっては当該物体を正しく検出することができない場合があるという問題がある。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上述した課題を解決することができる物体検出装置、物体検出方法、及びコンピュータプログラムを提供することにある。
上述した課題を解決するために、本発明の一の態様の物体検出装置は、検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出装置において、第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成する第１差分画像生成手段と、第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成する第２差分画像生成手段と、前記第１差分画像生成手段によって生成された第１差分画像と、前記第２差分画像生成手段によって生成された第２差分画像との比により得られる差分比画像を生成する差分比画像生成手段と、前記差分比画像生成手段によって生成された差分比画像に基づいて前記物体を検出する物体検出手段とを備えることを特徴とする。
前記態様において、前記第１の照射強度と前記第２の照射強度との差に対する、前記第３の照射強度と前記第４の照射強度との差の比が、１．１以上であることが好ましい。
また、本発明の他の態様の物体検出装置は、検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出装置において、第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成する第１差分画像生成手段と、第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成する第２差分画像生成手段と、前記第１差分画像生成手段によって生成された第１差分画像と、前記第２差分画像生成手段によって生成された第２差分画像との論理積により得られる論理積画像を生成する論理積画像生成手段と、前記論理積画像生成手段によって生成された論理積画像に基づいて前記物体を検出する物体検出手段とを備えることを特徴とする。
また、本発明の他の態様の物体検出装置は、検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出装置において、第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成する第１差分画像生成手段と、第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成する第２差分画像生成手段と、前記第１差分画像生成手段によって生成された第１差分画像と、前記第２差分画像生成手段によって生成された第２差分画像との排他的論理和により得られる排他的論理和画像を生成する排他的論理和画像生成手段と、前記排他的論理和画像生成手段によって生成された排他的論理和画像に基づいて前記物体を検出する物体検出手段とを備えることを特徴とする。
前記態様において、前記第１の照射強度及び前記第２の照射強度の何れかと、前記第３の照射強度及び前記第４の照射強度の何れかとが同一であってもよい。
また、前記態様において、前記照射光の照射時間のデューティ比を変化させることによって照射強度を変化させるように構成されていてもよい。
また、前記態様において、前記物体検出手段によって検出された前記物体の輪郭を示す輪郭情報を外部のコンピュータに送信する送信手段を更に備えていてもよい。
本発明の一の態様の物体検出方法は、検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出方法において、第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成するステップと、第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成するステップと、生成された第１差分画像と第２差分画像との比により得られる差分比画像を生成するステップと、生成された差分比画像に基づいて前記物体を検出するステップとを有することを特徴とする。
また、本発明の一の態様のコンピュータプログラムは、コンピュータに、検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出させるコンピュータプログラムにおいて、前記コンピュータに、第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成するステップと、第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成するステップと、生成された第１差分画像と第２差分画像との比により得られる差分比画像を生成するステップと、生成された差分比画像に基づいて前記物体を検出するステップとを実行させることを特徴とする。
本発明に係る物体検出装置、物体検出方法、及びコンピュータプログラムによれば、外乱光の影響を抑えた上で、画像中の物体を高精度に検出することが可能になる。
本発明の実施の形態１の物体検出装置を含む物体検出システムの構成を示すブロック図。 本発明の実施の形態１の物体検出装置のハードウェア構成を示すブロック図。 本発明の実施の形態１の物体検出装置が備える制御装置の構成を示す機能ブロック図。 物体検出処理の手順を示すフローチャート。 照射強度の変化の一例を示すグラフ。 反射光の輝度比を説明するための図。 反射光画像の一例を模式的に示す図。 差分比画像の一例を模式的に示す図。 本発明の実施の形態１の物体検出装置によって得られる各画像の一例を示す図。 照射強度の変化の一例を示すグラフ。 本発明の実施の形態２の物体検出装置が備える制御装置の構成を示す機能ブロック図。 本発明の実施の形態２の物体検出装置によって得られる各画像の一例を示す図。 本発明の実施の形態３の物体検出装置が備える制御装置の構成を示す機能ブロック図。 本発明の実施の形態３の物体検出装置によって得られる各画像の一例を示す図。 本発明のその他の実施の物体検出装置を含む物体検出システムの構成を示すブロック図。
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。
（実施の形態１）
［物体検出システムの構成］
図１は、本発明の実施の形態１の物体検出装置を含む物体検出システムの構成を示すブロック図である。図１に示すように、物体検出システムは、物体検出装置１と、この物体検出装置１と通信可能に接続されたホストコンピュータ２とを備えている。物体検出装置１は、検出対象物体３に対して照射光を照射し、その反射光から画像を生成する。そして、物体検出装置１は、この画像から検出対象物体３を検出する。その検出結果を示すデータは物体検出装置１からホストコンピュータ２に対して送信され、これを受けたホストコンピュータ２が各種の処理に利用する。以下、物体検出装置１の詳細な構成について説明する。
［物体検出装置の構成］
図２は、本発明の実施の形態１の物体検出装置のハードウェア構成を示すブロック図である。図２に示すように、物体検出装置１は、制御装置１１と、カメラ１２と、ＬＥＤ（Light Emitting Diode）装置１３とを備えている。カメラ１２は、ＣＣＤ（Charged Coupled Device）等のイメージセンサを用いて構成される撮像装置である。また、ＬＥＤ装置１３は、複数のＬＥＤ素子を用いて構成される照明装置である。ここで、ＬＥＤ装置１３が備えるＬＥＤ素子は、赤外領域の波長の光を発する素子である。
制御装置１１は、図２に示すとおり、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、カメラインタフェース（Ｉ／Ｆ）１０４、タイマー１０５、ＤＭＡＣ（Direct Memory Access Controller）１０６、ＵＳＢ（Universal Serial Bus）ポート１０７、及びＳＩＯ（Serial Input Output）ポート１０８を備えている。
ＣＰＵ１０１は、物体検出装置１全体の動作を制御するとともに、ＲＡＭ１０３にロードされた各種のコンピュータプログラムを実行する。これにより、物体検出装置１が、後述する物体検出処理を含む各種の処理を実行することになる。
ＲＯＭ１０２は、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、又はＥＥＰＲＯＭ（Electrically Erasable PROM）等によって構成されており、ＣＰＵ１０１にて実行されるコンピュータプログラム及びその実行の際に用いられるデータ等が記憶されている。
ＲＡＭ１０３は、ＳＲＡＭ又はＤＲＡＭ等によって構成されており、各種のＣＰＵ１０１がコンピュータプログラムを実行するときに、ＣＰＵ１０１の作業領域として利用される。また、このＲＡＭ１０３は、複数の画像を蓄積可能なフレームバッファ１０３Ａを備えている。
カメラＩ／Ｆ１０４は、カメラ１２と接続するためのインタフェースである。また、タイマー１０５は、ＬＥＤ装置１３と接続されており、照射光を照射することを指示するための指示信号を所定のタイミングでＬＥＤ装置１３に対して出力する。これにより、ＬＥＤ装置１３の照射時間を制御することができる。本実施の形態では、このようにしてＬＥＤ装置１３の照射時間を制御することによって照射時間のデューティ比（ＬＥＤのＯＮ期間とＯＦＦ期間との比）を変化させ、これにより照射強度を調整する。ＰＷＭ（Pulse Width Modulation）を用いたデューティ制御によってＬＥＤの点灯間隔を変化させることで任意の照明強度が得られるほか、動的にデューティ比を小さくすることで消費電力を低減し、ＬＥＤの長寿命化を図ることも可能となる。なお、このように照射時間のデューティ比を変化させる方法の他、例えば、点灯するＬＥＤの数を変更させたり、駆動電流値を変化させたりすることによって、照射強度を調整するようにしてもよい。
ＤＭＡＣ１０６は、ＣＰＵ１０１の制御の下、カメラ１２により得られた撮像画像をフレームバッファ１０３Ａに転送する等、各デバイスとＲＡＭ１０３との間のデータ転送を行う。また、ＵＳＢポート１０７は、外部機器とＵＳＢを用いて接続するためのインタフェースであり、ＳＩＯポート１０８は、外部機器とＳＩＯを用いて接続するためのインタフェースである。例えば、物体検出装置１とホストコンピュータ２との間の通信は、ＵＳＢポート１０７を介して行われる。
図３は、上記の制御装置１１の構成を示す機能ブロック図である。制御装置１１は、制御部１１１、カメラ１２により得られた撮像画像を取得する画像取得部１１２、ＬＥＤ装置１３を駆動する照明駆動部１１３、及び画像から検出対象物体３を検出する物体検出部１１４を備えている。制御部１１１は、これら画像取得部１１２、照明駆動部１１３及び物体検出部１１４の動作を制御する。物体検出部１１４は、第１差分画像を生成する第１差分画像生成手段１１５、第２差分画像を生成する第２差分画像生成手段１１６と、これらの第１差分画像及び第２差分画像の比である差分比画像を生成する差分比画像生成手段１１７とを備えている。以下では、図３及び図４のフローチャートを参照しながら、物体検出装置１の動作について説明する。
［物体検出装置の動作］
図４は、物体検出装置１によって実行される物体検出処理の手順を示すフローチャートである。まず、照明駆動部１１３による駆動動作にしたがって、ＬＥＤ装置１３が検出対象物体３に対して第１照射強度で照射光を照射し、この照射光の反射光を受けてカメラ１２にて生成された第１画像を、画像取得部１１２にて取得する（Ｓ１０１）。次に、同様にしてＬＥＤ装置１３が検出対象物体３に対して第２照射強度で照射光を照射し、この照射光の反射光を受けてカメラ１２にて生成された第２画像を、画像取得部１１２にて取得する（Ｓ１０２）。ここで、第１照射強度と第２照射強度とは異なっており、ＬＥＤ装置１３の照射時間のデューティ比を変化させることにより設定される。その後、第１差分画像生成手段１１５が、上述したようにして取得された第１画像と第２画像との差分である差分画像を生成する（Ｓ１０３）。
次に、照明駆動部１１３による駆動動作にしたがって、ＬＥＤ装置１３が検出対象物体３に対して第３照射強度で照射光を照射し、この照射光の反射光を受けてカメラ１２にて生成された第３画像を、画像取得部１１２にて取得する（Ｓ１０４）。また、同様にしてＬＥＤ装置１３が検出対象物体３に対して第４照射強度で照射光を照射し、この照射光の反射光を受けてカメラ１２にて生成された第４画像を、画像取得部１１２にて取得する（Ｓ１０５）。ここで、第３照射強度と第４照射強度とは異なっており、ＬＥＤ装置１３の照射時間のデューティ比を変化させることにより設定される。なお、第３照射強度と第４照射強度との差は、第１照射強度と第２照射強度との差と異なる必要がある。その後、第２差分画像生成手段１１６が、上述したようにして取得された第３画像と第４画像との差分である差分画像を生成する（Ｓ１０６）。
図５は、照射強度の変化の一例を示すグラフである。このグラフには、ＬＥＤ装置１３の照射時間のデューティ比を０％、２０％、０％、１００％と順次変化させることによって、第１照射強度、第２照射強度、第３照射強度及び第４照射強度を実現する例が示されている。物体検出装置１は、このように照射強度を変化させながら、上記のとおり第１画像乃至第４画像を取得し、第１差分画像及び第２差分画像を生成する。
次に、差分比画像生成手段１１７が、ステップＳ１０３にて生成された第１差分画像とステップＳ１０６にて生成された第２差分画像との比である差分比画像を生成する（Ｓ１０７）。
次に、物体検出部１１４が、ステップＳ１０７にて生成された差分比画像に対して、公知の２値化及びラベリング等の処理を施すことによって、検出対象物体３の輪郭を検出する（Ｓ１０８）。
上述したようにして検出された検出対象物体３の輪郭点の座標を示す輪郭情報は、ＵＳＢポート１０７を介して、ホストコンピュータ２に対して出力される（Ｓ１０９）。これにより、ホストコンピュータ２は、検出対象物体３の検出に関する処理を実行することなく、検出対象物体３の輪郭を得ることができ、その輪郭を利用した各種の処理を実行することができる。このように、本実施の形態の場合、物体検出装置１によって物体の検出を行い、その結果をホストコンピュータ２が利用することによって、負荷分散が図られることになる。なお、輪郭情報は、画像情報等と比べて小さいサイズのデータであるため、物体検出装置１とホストコンピュータ２との間の通信データ量を抑制することができる。そのため、高速な通信インタフェースを用いる必要がなく、また、システム全体の低消費電力化を図ることができる。
以下、差分比画像による物体検出の優位性について説明する。図６は、反射光の輝度比を説明するための図である。図６において、Irは拡散反射による物体表面での反射光の輝度を、I０は光源の輝度を、ｎは単位法線ベクトルを、ｒは光源から検出対象物体までの距離を、θは入射光が法線ベクトルとなす角を、それぞれ示している。ランバート反射により反射された場合の物体表面での反射光の輝度Irは、以下の式１によって表すことができる。
ここで、ρは反射率を示している。
また、照射強度を変えて照射された光の反射光の輝度比Ir’／ Irは、次の式２によって表すことができる。
Ir’／ Ir ＝I０’／I０ ・・・ 式２
これらの式１及び２によれば、反射光の輝度比の値は、距離ｒ、角度θ、及び反射率ρに依存せずに定まることが分かる。そのため、この反射光の輝度比を用いることによって、光源から検出対象物体までの距離の大小等によらず当該物体の輪郭を精度良く得ることができ、また、物体の材質の影響を受けにくくすることができる。
図７Ａは、人間の手を検出対象物体３とした場合の反射光画像の一例を模式的に示す図である。また、図７Ｂは、同じく差分比画像の一例を模式的に示す図である。ここで、図７Ａに示す反射光画像は、上述した物体検出処理におけるステップＳ１０１、Ｓ１０２、Ｓ１０４及びＳ１０５のいずれかで取得される画像に相当し、反射光強度に応じた画素値により表されている。また、図７Ｂに示す差分比画像は、ステップＳ１０７で生成される差分比画像に相当し、反射光強度の比に応じた画素値により表されている。なお、説明の便宜上、図７Ａ及び図７Ｂでは検出対象物体である手以外の領域（背景部分）に着色が施されていないが、実際には当該領域は手の部分と比較すると暗くなっている。
図７Ａ及び図７Ｂを比較すると、反射光画像では指先部分等の反射光強度が弱く且つ一様ではないのに対して、差分比画像では指先部分を含め手全体の反射光強度がほぼ一様となっていることが分かる。光源から等距離にある物体であっても、その物体の色及び材質等によって反射光強度は変化する。そのため、図７Ａに示す反射光画像のように、指先部分の反射光強度が弱く且つ一様ではない等の現象が見られる。他方、反射光強度の比は、物体と光源との間の距離によって定まるため、照射強度を変化させた場合の光源から等距離にある物体からの反射光強度の比はほぼ一様となり、図７Ｂに示す差分比画像のようになる。この場合、手全体の輪郭を精度良く検出することができる。
また、ＬＥＤ装置の配光特性等に起因して、イメージセンサの画角内での照射光の照射が均一とならない場合、画角の周辺部において反射光強度が弱くなる。そのため、図７Ａに示す反射光画像のように、指先部分の反射光強度が弱く且つ一様ではない等の現象が見られる。他方、反射光強度の比の場合は上述したとおりほぼ一様となるため、物体検出の精度を高めることができる。
なお、第１の照射強度と第２の照射強度との差（又は第３の照射強度と第４の照射強度との差）に対する第３の照射強度と第４の照射強度との差（又は第１の照射強度と第２の照射強度との差）の比（以下「照射強度の比」という）の値が小さい場合、物体の輪郭が不明瞭になりやすく、その場合精度良く物体を抽出することが困難になるおそれもある。他方、照射強度の比の値が大きくなると、照明強度が小さい場合に暗くなりすぎる場合があるため、物体の抽出が困難になることがある。そのため、照射強度の比は、１．１以上であることが好ましく、１．２以上１０以下であることがより好ましい。
次に、本実施の形態の物体検出装置１によって得られる各画像の具体例について、図８を参照しながら説明する。図８に示す例では、３フレームの撮像画像（「第１画像」、「第２画像」及び「第３画像」）から２つのフレーム間差分画像（「第１差分画像」及び「第２差分画像」）を取得し、それらの差分画像の比である「差分比画像」を生成し、その差分比画像から物体の輪郭の検出結果である２値化画像を得ている。この場合、第１差分画像は第１画像と第２画像との差により得られ、第２差分画像は第２画像と第３画像との差により得られる。このように、第１差分画像及び第２差分画像において、それらの基になる２つの撮像画像のうちの１つが共通の撮像画像であっても構わない。この場合、４フレームの撮像画像を基にする場合と比べると、簡易な処理で足りるというメリットがある。なお、ここでの第１画像乃至第３画像は、図９のグラフで示されているように、ＬＥＤ装置１３の照射時間のデューティ比を０％、１００％、２０％と順次変化させながら取得されている。
図８に示すように、差分比画像から得られた２値化画像では、円形状の物体及び矩形状の物体の輪郭が明瞭となっており、これらの物体を高精度に検出できることが確認できる。なお、このように物体を高精度に検出することができるため、所望の物体以外の情報を削除する等の処理を容易に行うことが可能になる。
（実施の形態２）
実施の形態１の場合、２つの差分画像の比をとることにより得られる差分比画像に基づいて物体を検出している。これに対し、実施の形態２では、２つの差分画像の論理積をとることにより得られる論理積画像に基づいて物体の検出を行う。
図１０は、実施の形態２の物体検出装置が備える制御装置の構成を示す機能ブロック図である。この制御装置２１は、実施の形態１における制御装置１１の物体検出部１１４に対応する物体検出部２１４を備えている。この物体検出部２１４は、物体検出部１１４と同様に、第１差分画像を生成する第１差分画像生成手段１１５及び第２差分画像を生成する第２差分画像生成手段１１６を備えており、また、これらの第１差分画像及び第２差分画像の論理積である論理積画像を生成する論理積画像生成手段２１７を備えている。制御装置２１のその他の構成については制御装置１１の場合と同様であるので同一符号を付して説明を省略する。
本実施の形態の物体検出装置においても、実施の形態１の場合と同様にして、図４に示すフローチャートにおけるステップＳ１０１乃至Ｓ１０６が実行される。その後、論理積画像生成手段２１７が、第１差分画像と第２差分画像との論理積である論理積画像を生成する。その後は、実施の形態１の場合と同様に、物体検出部２１４がその論理積画像に対して公知の２値化及びラベリング等の処理を施すことによって検出対象物体３の輪郭を検出し（Ｓ１０８）、検出された検出対象物体３の輪郭点の座標を示す輪郭情報がホストコンピュータ２に対して出力される（Ｓ１０９）。
図１１は、実施の形態２の物体検出装置によって得られる各画像の一例を示す図である。この図１１に示す例では、３フレームの撮像画像（「第１画像」、「第２画像」及び「第３画像」）から２つのフレーム間差分画像（「第１差分画像」及び「第２差分画像」）を取得し、それらの差分画像の積である「論理積画像」を生成し、その論理積画像から物体の輪郭の検出結果である２値化画像を得ている。なお、ここでの第１画像乃至第３画像は、図９のグラフで示されているように、ＬＥＤ装置１３の照射時間のデューティ比を０％、１００％、２０％と順次変化させながら取得されている。
図１１に示すように、論理積画像から得られた２値化画像では、図面に向かって左から右方向へ移動している円形状の物体の輪郭が明瞭となっている。このように、論理積画像を用いる場合では、特に動いている物体を高精度に検出することが可能になる。
（実施の形態３）
実施の形態３では、実施の形態１及び２の場合と異なり、２つの差分画像の排他的論理和をとることにより得られる排他的論理和画像に基づいて物体の検出を行う。
図１２は、実施の形態３の物体検出装置が備える制御装置の構成を示す機能ブロック図である。この制御装置３１は、実施の形態１における制御装置１１の物体検出部１１４に対応する物体検出部３１４を備えている。この物体検出部３１４は、物体検出部１１４と同様に、第１差分画像を生成する第１差分画像生成手段１１５及び第２差分画像を生成する第２差分画像生成手段１１６を備えており、また、これらの第１差分画像及び第２差分画像の排他的論理和である排他的論理和画像を生成する排他的論理和画像生成手段３１７を備えている。制御装置３１のその他の構成については制御装置１１の場合と同様であるので同一符号を付して説明を省略する。
本実施の形態の物体検出装置においても、実施の形態１の場合と同様にして、図４に示すフローチャートにおけるステップＳ１０１乃至Ｓ１０６が実行される。その後、排他的論理和画像生成手段３１７が、第１差分画像と第２差分画像との排他的論理和である排他的論理和画像を生成する。その後は、実施の形態１の場合と同様に、物体検出部３１４がその排他的論理和画像に対して公知の２値化及びラベリング等の処理を施すことによって検出対象物体３の輪郭を検出し（Ｓ１０８）、検出された検出対象物体３の輪郭点の座標を示す輪郭情報がホストコンピュータ２に対して出力される（Ｓ１０９）。
図１３は、実施の形態３の物体検出装置によって得られる各画像の一例を示す図である。この図１３に示す例では、３フレームの撮像画像（「第１画像」、「第２画像」及び「第３画像」）から２つのフレーム間差分画像（「第１差分画像」及び「第２差分画像」）を取得し、それらの差分画像の排他的論理和である「排他的論理和画像」を生成し、その排他的論理和画像から物体の輪郭の検出結果である２値化画像を得ている。なお、ここでの第１画像乃至第３画像は、図９のグラフで示されているように、ＬＥＤ装置１３の照射時間のデューティ比を０％、１００％、２０％と順次変化させながら取得されている。
図１３に示すように、排他的論理和画像から得られた２値化画像では、図面に向かって左から右方向へ移動している円形状の物体の移動前後の輪郭が明瞭となっている。そのため、排他的論理和画像を用いる場合では、動いている物体の移動量を検出することが可能になる。
（その他の実施の形態）
上述した各実施の形態では、物体検出装置自体が、撮像装置であるカメラと光照射装置であるＬＥＤ装置とを備えているが、物体検出装置が、外部に設けられた撮像装置及び光照射装置と接続されている構成であってもよい。図１４は、そのような場合の物体検出装置を含む物体検出システムの構成を示すブロック図である。図１４に示すとおり、物体検出装置１００は、撮像素子及び発光素子を備えるカメラモジュール４、並びに外部照明装置５と接続されている。ここで、カメラモジュール４としては、例えば市販の赤外線ウェブカメラ等を用いることができる。このような構成の場合、カメラモジュール４の発光素子のＯＮ／ＯＦＦ制御をすることができないが、外部照明装置５の点滅動作を物体検出装置１００が制御することによって、上述した各実施の形態と同様に物体検出処理を実行することが可能になる。
なお、上述した実施の形態では、物体検出装置が単一のコンピュータで構成されているが、複数のコンピュータで構成された分散システムにより物体検出装置が実現される等、様々な機器構成が想定され得る。
本発明の物体検出装置、物体検出方法、及びコンピュータプログラムはそれぞれ、ユーザインタフェース装置等の各種の装置に適用可能な物体検出装置、物体検出方法、及びコンピュータプログラム等として有用である。
１ 物体検出装置
１１，２１，３１ 制御装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ カメラインタフェース
１０５ タイマー
１０６ ＤＭＡＣ
１０７ ＵＳＢポート
１０８ ＳＩＯポート
１１１ 制御部
１１２ 画像取得部
１１３ 照明駆動部
１１４，２１４，３１４ 物体検出部
１１５ 第１差分画像生成手段
１１６ 第２差分画像生成手段
１１７ 差分比画像生成手段
２１７ 論理積画像生成手段
３１７ 排他的論理和画像生成手段
１２ カメラ
１３ ＬＥＤ装置
２ ホストコンピュータ
３ 検出対象物体
４ カメラモジュール
５ 外部照明装置

Claims (9)

  1. 検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出装置において、
    第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成する第１差分画像生成手段と、
    第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成する第２差分画像生成手段と、
    前記第１差分画像生成手段によって生成された第１差分画像と、前記第２差分画像生成手段によって生成された第２差分画像との比により得られる差分比画像を生成する差分比画像生成手段と、
    前記差分比画像生成手段によって生成された差分比画像に基づいて前記物体を検出する物体検出手段と
    を備えることを特徴とする物体検出装置。
  2. 前記第１の照射強度と前記第２の照射強度との差に対する、前記第３の照射強度と前記第４の照射強度との差の比が、１．１以上である、
    請求項１に記載の物体検出装置。
  3. 検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出装置において、
    第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成する第１差分画像生成手段と、
    第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成する第２差分画像生成手段と、
    前記第１差分画像生成手段によって生成された第１差分画像と、前記第２差分画像生成手段によって生成された第２差分画像との論理積により得られる論理積画像を生成する論理積画像生成手段と、
    前記論理積画像生成手段によって生成された論理積画像に基づいて前記物体を検出する物体検出手段と
    を備えることを特徴とする物体検出装置。
  4. 検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出装置において、
    第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成する第１差分画像生成手段と、
    第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成する第２差分画像生成手段と、
    前記第１差分画像生成手段によって生成された第１差分画像と、前記第２差分画像生成手段によって生成された第２差分画像との排他的論理和により得られる排他的論理和画像を生成する排他的論理和画像生成手段と、
    前記排他的論理和画像生成手段によって生成された排他的論理和画像に基づいて前記物体を検出する物体検出手段と
    を備えることを特徴とする物体検出装置。
  5. 前記第１の照射強度及び前記第２の照射強度の何れかと、前記第３の照射強度及び前記第４の照射強度の何れかとが同一である、
    請求項１乃至４の何れかに記載の物体検出装置。
  6. 前記照射光の照射時間のデューティ比を変化させることによって照射強度を変化させるように構成されている、
    請求項１乃至５の何れかに記載の物体検出装置。
  7. 前記物体検出手段によって検出された前記物体の輪郭を示す輪郭情報を外部のコンピュータに送信する送信手段
    を更に備える、請求項１乃至６の何れかに記載の物体検出装置。
  8. 検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出する物体検出方法において、
    第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成するステップと、
    第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成するステップと、
    生成された第１差分画像と第２差分画像との比により得られる差分比画像を生成するステップと、
    生成された差分比画像に基づいて前記物体を検出するステップと
    を有することを特徴とする物体検出方法。
  9. コンピュータに、検出対象の物体に対して赤外領域の波長の照射光が照射されたときに得られた当該物体を含む領域の撮像画像に基づいて、前記物体を検出させるコンピュータプログラムにおいて、
    前記コンピュータに、
    第１の照射強度で前記波長の照射光が照射されたときに得られた第１の撮像画像と、前記第１の照射強度とは異なる第２の照射強度で前記波長の照射光が照射されたときに得られた第２の撮像画像との差により得られる第１差分画像を生成するステップと、
    第３の照射強度で前記波長の照射光が照射されたときに得られた第３の撮像画像と、前記第３の照射強度とは異なる第４の照射強度で前記波長の照射光が照射されたときに得られた第４の撮像画像との差により得られる第２差分画像を生成するステップと、
    生成された第１差分画像と第２差分画像との比により得られる差分比画像を生成するステップと、
    生成された差分比画像に基づいて前記物体を検出するステップと
    を実行させることを特徴とするコンピュータプログラム。
JP2015230373A 2015-11-26 2015-11-26 物体検出装置、物体検出方法、及びコンピュータプログラム Active JP6618337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015230373A JP6618337B2 (ja) 2015-11-26 2015-11-26 物体検出装置、物体検出方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015230373A JP6618337B2 (ja) 2015-11-26 2015-11-26 物体検出装置、物体検出方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2017097689A JP2017097689A (ja) 2017-06-01
JP6618337B2 true JP6618337B2 (ja) 2019-12-11

Family

ID=58817184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015230373A Active JP6618337B2 (ja) 2015-11-26 2015-11-26 物体検出装置、物体検出方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6618337B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995653B2 (ja) * 2018-01-31 2022-01-14 東芝Ｉｔコントロールシステム株式会社 放射線検査装置及び放射線検査方法
KR102164224B1 (ko) * 2020-04-06 2020-10-12 주식회사 지스코 영상 처리를 이용한 터널 라이닝 검사 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06180749A (ja) * 1992-12-14 1994-06-28 Toyota Motor Corp 路上物体監視装置
JP4466260B2 (ja) * 2004-07-30 2010-05-26 パナソニック電工株式会社 画像処理装置
JP4434164B2 (ja) * 2006-03-14 2010-03-17 セイコーエプソン株式会社 輪郭データを利用した画像転送
JP5505693B2 (ja) * 2009-11-04 2014-05-28 ソニー株式会社 検出装置、検出方法、プログラム、及び電子機器
JP2012068762A (ja) * 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器

Also Published As

Publication number Publication date
JP2017097689A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
JP6737776B2 (ja) センサ素子アレイにおける特徴計算
WO2020010848A1 (zh) 控制方法、微处理器、计算机可读存储介质及计算机设备
US11245845B2 (en) Systems and methods for operating an imaging device
EP3750304B1 (en) Semi-dense depth estimation from a dynamic vision sensor (dvs) stereo pair and a pulsed speckle pattern projector
US20110188779A1 (en) Image processing method and image processing system
US20160260223A1 (en) Digital camera unit with simultaneous structured and unstructured illumination
WO2014174779A1 (ja) 複数の光源を有するモーションセンサ装置
KR20150075906A (ko) 시선 추적 장치 및 방법
JP7541541B2 (ja) 複数の画像センサを有する撮像システムのための照明制御
WO2019007191A1 (zh) 控制方法、电子装置和计算机可读存储介质
JP6618337B2 (ja) 物体検出装置、物体検出方法、及びコンピュータプログラム
US20160063711A1 (en) Non-transitory storage medium encoded with computer readable image processing program, information processing system, information processing apparatus, and image processing method
JP2014181949A (ja) 情報取得装置および物体検出装置
CN107851382B (zh) 灯具检测装置及灯具检测方法
US10942607B2 (en) Manipulation detection device and video display system that are capable detecting an object on a video display surface
JP2014126943A (ja) 画像中の対象物を検出するために画像処理を行う画像処理装置及び方法
US10829042B2 (en) Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same
KR20190027081A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP7269131B2 (ja) 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
JP2011159317A (ja) ２次元コード読取装置及びその方法
WO2020188689A1 (ja) 運転者状態監視装置及び運転者状態監視方法
JP2010023626A (ja) ドライバー監視装置
JP2015148565A (ja) 情報取得装置および物体検出装置
JP2016177643A (ja) 情報コード読取装置
WO2020241844A1 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191112

R150 Certificate of patent or registration of utility model

Ref document number: 6618337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250