WO2014122712A1 - 情報取得装置および物体検出装置 - Google Patents

Abstract

　目標領域に対する距離情報を簡素な構成かつ簡易な演算処理により円滑に取得可能な情報取得装置および当該情報取得装置を備えた物体検出装置を提供する。情報取得装置（２）は、目標領域に光を投射する投射部（１００）と、目標領域をＣＭＯＳイメージセンサ（２４０）により撮像する撮像部（２００）と、ＣＭＯＳイメージセンサ（２４０）における各画素の輝度値を取得する撮像信号処理回路（２３）と、撮像信号処理回路（２３）により取得された輝度値に基づいて、各画素に対応する目標領域上の各位置に対する距離情報を取得する距離取得部（２１ｂ）と、を備える。

Description

情報取得装置および物体検出装置

　本発明は、目標領域内の情報を取得する情報取得装置および当該情報取得装置を備えた物体検出装置に関する。

　従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。

　距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている（たとえば、非特許文献１）。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。

第１９回日本ロボット学会学術講演会（２００１年９月１８－２０日）予稿集、Ｐ１２７９－１２８０

　しかしながら、上記距離画像センサでは、ドットパターンの光を生成する必要があるため、目標領域に光を投射する投射部の構成が複雑になるとの問題がある。また、参照領域に含まれるドットを実測ドットパターン上において探索する処理が必要となるため、距離情報の取得のために、煩雑な演算処理が必要になるとの問題もある。

　上記課題に鑑み、本発明は、目標領域に対する距離情報を簡素な構成かつ簡易な演算処理により円滑に取得可能な情報取得装置および目標領域に存在する物体を簡素な構成かつ簡易な演算処理により円滑に検出可能な物体検出装置を提供することを目的とする。

　本発明の第１の態様は、情報取得装置に関する。本態様に係る情報取得装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサにおける各画素の輝度値を取得する輝度取得部と、前記輝度取得部により取得された輝度値に基づいて、前記各画素に対応する前記目標領域上の各位置に対する距離情報を取得する距離取得部と、を備える。

　本態様によれば、目標領域に対する距離情報を簡素な構成かつ簡易な演算処理により円滑に取得可能な情報取得装置を提供することができる。

　本発明の第２の態様は、物体検出装置に関する。本態様に係る物体検出装置は、第１の態様に係る情報取得装置と、前記情報取得装置によって取得された前記距離情報に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える。

　本発明の第３の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に赤外の波長帯域の光を投射する投射部と、カラーイメージセンサおよび可視光をカットし赤外の波長帯域の光を透過するフィルタを備え、前記目標領域を前記カラーイメージセンサにより撮像する撮像部と、前記カラーイメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える。

　本態様によれば、目標領域に存在する物体を簡素な構成かつ簡易な演算処理により円滑に検出可能な物体検出装置を提供することができる。

　本発明によれば、目標領域に対する距離情報を簡素な構成かつ簡易な演算処理により円滑に取得可能な情報取得装置および目標領域に存在する物体を簡素な構成かつ簡易な演算処理により円滑に検出可能な物体検出装置を提供することができる。

　本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。

実施の形態に係る物体検出装置を内蔵したパーソナルコンピュータの外観構成を示す図である。 実施の形態に係る情報取得装置および物体検出装置の構成を示す図である。 実施の形態に係る投射部と撮像部の構成を示す図である。 実施の形態に係る目標領域に対する光の投射状態および目標領域の撮像状態を模式的に示す図である。 実施の形態に係るイメージセンサの感度、および、輝度値と距離の関係を規定する距離変換関数の波形を示す図である。 実施の形態に係る距離情報の取得処理および物体検出処理を示すフローチャートである。 変更例に係る投射部と撮像部の構成を示す図、当該変更例に係る目標領域に対する光の投射状態および目標領域の撮像状態を模式的に示す図、他の変更例に係る投射部の構成を示す図、および、さらに他の変更例に係る撮像部の構成を示す図である。 さらに他の変更例に係る輝度画像生成処理および物体検出処理を示すフローチャートである。 さらに他の変更例に係る物体検出装置および情報処理装置の構成を示す図である。 図９に示す変更例に係る物体検出処理を示すフローチャートである。

　以下、本発明の実施の形態につき図面を参照して説明する。

　本実施の形態は、ノート型のパーソナルコンピュータに本発明に係る物体検出装置を適用したものである。この他、本発明に係る物体検出装置は、デスクトップ型のパーソナルコンピュータやテレビ等の他の機器にも適宜適用可能なものである。なお、本発明に係る情報取得装置および物体検出装置は、必ずしも、他の機器に一体的に搭載されなくとも良く、単独で一つの装置を構成するものであっても良い。

　以下に示す実施の形態において、撮像信号処理回路２３は、請求項に記載の「輝度取得部」に相当する。図５（ｂ）に示す距離変換関数は、請求項に記載の「規定情報」に相当する。距離取得部２１ｂによって取得される距離情報は、請求項に記載の「距離に関する情報」に相当する。なお、本実施の形態に記載の情報取得装置２は、請求項１に記載の「情報取得装置」の一例である。また、情報取得装置２と情報処理部３とを含む構成が、請求項１２に記載の物体検出装置に相当する。ただし、上記請求項と本実施の形態との対応の記載は、あくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。

　図１は、本実施の形態に係るパーソナルコンピュータ１の概略構成を示す図である。図１に示すように、パーソナルコンピュータ１は、情報取得装置２と、情報処理部３を備えている。この他、パーソナルコンピュータ１は、キーボード４と、操作パッド５と、モニタ６を備えている。

　情報取得装置２は、目標領域全体に、可視光の波長帯よりも長い赤外の波長帯域の光（赤外光）を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離（以下、「距離情報」という）を取得する。情報処理部３は、情報取得装置２により取得された距離情報に基づいて、目標領域に存在する所定の物体を検出し、さらに、当該物体の動きを検出する。そして、情報処理部３は、当該物体の動きに応じて、パーソナルコンピュータ１の機能を制御する。

　たとえば、ユーザが手を用いて所定のジェスチャを行うと、情報取得装置２からジェスチャに応じた距離情報が情報処理部３に送信される。この情報に基づき、情報処理部３は、ユーザの手を検出対象物体として検出し、手の動きに対応付けられた機能（画面の拡大・縮小や、画面の明るさ調整、ページ送り、等）を実行する。

　図２は、情報取得装置２と情報処理部３の構成を示す図である。

　情報取得装置２は、光学部の構成として、投射部１００と撮像部２００とを備えている。投射部１００と撮像部２００は、Ｘ軸方向に並ぶように、配置されている。

　投射部１００は、赤外の波長帯域の光を出射する光源１１０を備えている。

　撮像部２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、情報取得装置２は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、赤外光源駆動回路２２と、撮像信号処理回路２３と、入出力回路２４と、メモリ２５を備えている。

　なお、このように、投射部１００が赤外の波長帯域の光を出射する光源１１０を備え、撮像部２００が撮像レンズ２２０とフィルタ２３０とを備える構成は、請求項８に記載の構成の一例である。

　光源１１０から目標領域に投射された光は、目標領域に存在する物体によって反射され、アパーチャ２１０を介して撮像レンズ２２０に入射する。

　アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、光源１１０の出射波長を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。

　ＣＭＯＳイメージセンサ２４０は、後述のように、可視光の波長帯域と、光源１１０から出射される赤外光の波長帯域に対して感度を有するカラーのイメージセンサである。ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。

　本実施の形態において、ＣＭＯＳイメージセンサ２４０の撮像有効領域（センサとして信号を出力する領域）は、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。ＣＭＯＳイメージセンサ２４０の撮像有効領域は、ＸＧＡ（横１０２４画素×縦７６８画素）のサイズや、ＳＸＧＡ（横１２８０画素×縦１０２４画素）のサイズ等、他のサイズであっても良い。

　ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、光源制御部２１ａと、距離取得部２１ｂとの機能が付与される。

　光源制御部２１ａは、赤外光源駆動回路２２を制御する。距離取得部２１ｂは、ＣＭＯＳイメージセンサ２４０から出力される信号に基づいて、後述のように距離情報を取得する。

　赤外光源駆動回路２２は、ＣＰＵ２１からの制御信号に応じて光源１１０を駆動する。

　撮像信号処理回路２３は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ２４０を駆動し、ＣＭＯＳイメージセンサ２４０から出力される信号から、各画素の輝度信号を取得し、取得した輝度信号をＣＰＵ２１に出力する。後述のように、撮像信号処理回路２３は、ＣＰＵ２１により設定された露光時間をＣＭＯＳイメージセンサ２４０の各画素に適用し、さらに、ＣＭＯＳイメージセンサ２４０から出力される信号に対してＣＰＵ２１により設定されたゲインを適用して、画素毎に、輝度信号を取得する。

　ＣＰＵ２１は、撮像信号処理回路２３から供給される輝度信号をもとに、情報取得装置２から検出対象物体の各部までの距離を、距離取得部２１ｂによる処理によって算出する。距離情報は、ＣＭＯＳイメージセンサ２４０の画素毎に取得される。距離情報の取得処理については、追って、図６（ａ）を参照して説明する。

　入出力回路２４は、情報処理部３とのデータ通信を制御する。

　メモリ２５は、ＣＰＵ２１により実行される制御プログラムの他、距離情報の取得に用いられる距離変換関数を保持している。この他、メモリ２５は、ＣＰＵ２１における処理の際のワーク領域としても用いられる。なお、距離変換関数については、追って、図５（ｂ）を参照して説明する。

　情報処理部３は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理部３には、図２に示す構成の他、パーソナルコンピュータ１の各部を駆動および制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。

　ＣＰＵ３１は、メモリ３３に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、物体検出部３１ａの機能と、当該物体検出部３１ａからの信号に応じて、パーソナルコンピュータ１の機能を制御するための機能制御部３１ｂの機能が付与される。

　物体検出部３１ａは、距離取得部２１ｂによって取得される距離情報から物体の形状を抽出し、さらに、抽出した物体形状の動きを検出する。機能制御部３１ｂは、物体検出部３１ａにより検出された物体の動きが所定の動きパターンに合致しているかを判定し、物体の動きが所定の動きパターンに合致している場合に、当該動きパターンに対応する制御を実行する。

　図３（ａ）～（ｃ）は、投射部１００および撮像部２００の構成を示す図である。図３（ａ）は、光源１１０の構成を示す図、図３（ｂ）は、回路基板３００に設置された状態の投射部１００および撮像部２００を示す平面図であり、図３（ｃ）は、図３（ｂ）のＡ－Ａ’断面図である。

　図３（ａ）に示すように、本実施の形態において、光源１１０は、発光ダイオード（LＥＤ：Light Emitting Diode）からなっている。赤外光を発する発光素子（図示せず）は、ハウジング１１０ａ内に収容される。発光素子から発せられた赤外光は、上面の出射部１１０ｂから所定の放射角にて外部に出射される。図３（ｂ）、（ｃ）に示すように、光源１１０は、回路基板３００上に実装されている。

　なお、このように、光源１１０がＬＥＤからなる構成は、請求項９に記載の構成の一例である。

　図３（ｂ）、（ｃ）を参照して、撮像部２００は、上述のアパーチャ２１０、撮像レンズ２２０、フィルタ２３０およびＣＭＯＳイメージセンサ２４０の他、レンズバレル２５０と、撮像レンズホルダ２６０を備えている。ＣＭＯＳイメージセンサ２４０は、回路基板３００上に実装されている。撮像レンズ２２０は、レンズバレル２５０に装着され、レンズバレル２５０は、撮像レンズ２２０を保持した状態で撮像レンズホルダ２６０に装着される。撮像レンズホルダ２６０は、下面に凹部を有し、この凹部に、フィルタ２３０が装着される。こうして、撮像レンズ２２０とフィルタ２３０とを保持した状態で、撮像レンズホルダ２６０が、ＣＭＯＳイメージセンサ２４０を覆うように、回路基板３００上に設置される。

　本実施の形態において、撮像レンズ２２０は、４枚のレンズにより構成されている。しかしながら、撮像レンズ２２０を構成するレンズの数はこれに限られるものではなく、他の枚数のレンズから撮像レンズ２２０が構成されても良い。

　回路基板３００には、投射部１００と撮像部２００の他、情報取得装置２を構成する回路部４００が実装される。図２に示すＣＰＵ２１、赤外光源駆動回路２２、撮像信号処理回路２３、入出力回路２４およびメモリ２５は、かかる回路部４００に含まれる。

　図４（ａ）は、目標領域に対する赤外光の投射状態および撮像部２００による目標領域の撮像状態を模式的に示す図である。

　図４（ａ）の下部には、投射部１００による赤外光の投射状態と、撮像部２００による目標領域の撮像状態が示されている。また、図４（ａ）の上部には、目標領域における赤外光の投射範囲と、目標領域に対する撮像部２００の撮像範囲が模式的に示されている。さらに、図４（ａ）の上部には、ＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域が示されている。図４（ａ）において、ΔＬは、情報取得装置２による距離取得範囲を示し、ＬｍａｘとＬｍｉｎは、それぞれ、情報取得装置２によって取得可能な最大距離と最小距離を示している。図４（ａ）の上部には、目標領域が最大距離Ｌｍａｘの位置にあるときの投射範囲、撮像範囲および撮像有効領域が示されている。

　図４（ａ）に示すように、撮像範囲と投射範囲は、目標領域において互いに重なり合っており、撮像範囲と投射範囲とが重なる範囲に、撮像有効領域が位置付けられる。目標領域をＣＭＯＳイメージセンサ２４０で撮像するためには、ＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域が、投射範囲内に含まれている必要がある。一方、距離が短くなるにつれて、投射範囲が狭くなり、やがて、投射範囲が撮像有効領域に対応する領域に掛らなくなる。したがって、最小距離Ｌｍｉｎは、少なくとも、投射範囲が撮像有効領域全体に掛かり得る最小の限界距離よりも長く設定される必要がある。

　一方、最大距離Ｌｍａｘは、手等の検出対象物体が存在し得る距離範囲を想定して設定される。最大距離Ｌｍａｘが長すぎると、検出対象物体の背景が撮像画像に映り込み、これにより、検出対象物体の検出精度が低下する惧れがある。したがって、最大距離Ｌｍａｘは、検出対象物体の背景が撮像画像に映り込まないよう、手等の検出対象物体が存在し得る距離範囲を想定して設定される。

　なお、図３（ａ）に示すＬＥＤが光源１１０として用いられる場合、図４（ａ）の下図に示すように、赤外光は、略均等に広がるように投射部１００から出射される。このため、図４（ａ）の上図に示すように、投射範囲のうち、撮像範囲および撮像有効領域に掛らない範囲が広くなり、赤外光の利用効率が低くなってしまう。

　この問題は、図４（ｂ）に示すように、赤外光が目標領域において撮像範囲の近傍に集まるように、投射部１００から出射される赤外光を指向させることにより解消される。このような構成は、図３（ｄ）に示すＬＥＤ１１１を光源１１０として用いることにより実現され得る。

　図３（ｄ）を参照して、ＬＥＤ１１１は、基部１１１ａと、ハウジング１１１ｂとを備える。赤外光を発する発光素子（図示せず）は、透光性のハウジング１１１ｂ内にモールドされる。ハウジング１１１ｂの上面は、レンズ面１１１ｃとなっており、このレンズ面１１１ｃによって、上面から外部に出射される赤外光の指向が調整される。レンズ面１１１ｃは、図４（ｂ）に示すように、目標領域において赤外光が撮像範囲の近傍に集まるように調整される。これにより、撮像有効領域に導かれない赤外光の光量が削減され、赤外光の利用効率が高められる。

　図５（ａ）は、ＣＭＯＳイメージセンサ２４０上の各画素の感度を模式的に示す図である。

　本実施の形態では、ＣＭＯＳイメージセンサ２４０として、カラーセンサが用いられる。したがって、ＣＭＯＳイメージセンサ２４０には、赤、緑、青をそれぞれ検知する３種の画素が含まれる。

　図５（ａ）において、Ｒ、Ｇ、Ｂは、それぞれ、ＣＭＯＳイメージセンサ２４０に含まれる赤、緑、青の画素の感度を示している。図５（ａ）に示すとおり、赤、緑、青の画素の感度は、赤外の波長帯域である８００ｎｍ以上の帯域において、略同じ感度となっている（図５（ａ）の斜線部分を参照）。したがって、図３（ｃ）に示すフィルタ２３０によって、可視光の波長帯域が除去されると、ＣＭＯＳイメージセンサ２４０の赤、緑、青の画素の感度は、互いに略等しくなる。このため、赤、緑、青の画素に、それぞれ、同じ光量の赤外光が入射すると、各色の画素から出力される信号の値は略等しくなる。よって、各画素からの信号を画素間で調整する必要はなく、各画素からの信号をそのまま距離情報の取得に用いることができる。

　図５（ｂ）は、メモリ２５に保持された距離変換関数の波形を模式的に示す図である。便宜上、図５（ｂ）には、図４（ａ）、（ｂ）に示す最大距離Ｌｍａｘおよび最小距離Ｌｍｉｎと、距離取得範囲ΔＬが併せて示されている。

　図５（ｂ）に示すように、距離変換関数は、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値と、当該輝度値に対応する距離の関係を規定する。一般に、直進する光の光量は、距離の２乗に反比例して減衰する。したがって、投射部１００から出射された赤外光は、投射部１００から目標領域までの距離と目標領域から撮像部２００までの距離を加算した距離の２乗分の１に光量が減衰した状態で、撮像部２００によって受光される。このため、図５（ｂ）に示すように、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値は、物体までの距離が長いほど小さくなり、物体までの距離が短いほど大きくなる。したがって、距離と輝度との関係を規定する距離変換関数は、図５（ｂ）に示すような曲線波形になる。

　情報取得装置２では、距離と輝度値との関係が距離変換関数に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間が調整され、同時に、輝度値の取得に適用にされるゲインが調整される。図５（ｂ）に示す例では、最小距離Ｌｍｉｎは３０ｃｍに設定され、最大距離Ｌｍａｘは８０ｃｍに設定されている。輝度値は、２５６階調で取得される。

　この場合、最小距離Ｌｍｉｎに物体が存在するときの輝度値が２３０程度となり、最大距離Ｌｍａｘに物体が存在するときの輝度値が５０程度となり、さらに、距離取得範囲ΔＬ内の他の距離の位置に物体が存在するときの輝度値が図５（ｂ）の距離変換関数の波形に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間が調整され、同時に、輝度値の取得に適用にされるゲインが調整される。より詳細には、投射部１００から所定のパワーで赤外光を出射させた状態で、基準面（スクリーン）を最小距離Ｌｍｉｎの位置から最大距離Ｌｍａｘの位置まで移動させて順次輝度値（階調）を取得する。このとき、取得した各輝度値が、図５（ｂ）の波形に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間が調整され、同時に、輝度値の取得に適用にされるゲインが調整される。

　なお、露光時間とゲインのうち露光時間の調整のみによって、輝度値と距離の関係を図５（ｂ）に示す距離変換関数に略整合させることが可能である場合には、露光時間の調整のみが行われれば良い。あるいは、ゲインの調整のみによって輝度値と距離の関係を図５（ｂ）に示す距離変換関数に略整合させることが可能である場合には、ゲインの調整のみが行われれば良い。さらに、露光時間とゲイン以外の他のパラメータが調整されても良い。

　かかる調整は、情報取得装置２の製造時に行われる。そして、調整された露光時間とゲインは、メモリ２５に保持され、距離情報の取得の際に用いられる。

　なお、このように、距離取得範囲ΔＬに対応した輝度値が各画素から得られるように、輝度値を取得するためのパラメータ（露光時間、ゲイン）を調整する構成は、請求項４に記載の構成の一例である。また、調整対象のパラメータが露光時間およびゲインである構成は、請求項５、６に記載の構成の一例である。

　図６（ａ）は、距離情報の取得処理を示すフローチャートである。図６（ａ）の処理は、図２に示すＣＰＵ２１の機能のうち、距離取得部２１ｂの機能によって実行される。

　距離情報の取得タイミングが到来すると（Ｓ１０１：ＹＥＳ）、ＣＰＵ２１は、上記のように設定された露光時間とゲインをメモリ２５から読み出して、撮像信号処理回路２３に設定する。これにより撮像信号処理回路２３は、設定された露光時間とゲインでもって、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ１０２）、取得した撮像画像から、画素毎に輝度値を取得する（Ｓ１０３）。取得された輝度値は、ＣＰＵ２１に送信される。ＣＰＵ２１は、撮像信号処理回路２３から受信した各画素の輝度値をメモリ２５に保持し、さらに、各画素の輝度値を所定の閾値Ｂｓｈと比較する。そして、ＣＰＵ２１は、輝度値が閾値Ｂｓｈに満たない画素に対してエラーを設定する（Ｓ１０４）。

　なお、Ｓ１０４において、輝度値が閾値Ｂｓｈに満たない画素に対してエラーを設定する処理は、請求項７に記載の構成の一例である。

　続いて、ＣＰＵ２１は、閾値Ｂｓｈ以上の輝度値を、メモリ２５に保持された距離変換関数に基づく演算により距離に変換し（Ｓ１０５）、かかる変換により取得された距離を、それぞれ、対応する画素に設定して距離画像を生成する（Ｓ１０６）。この際、ＣＰＵ２１は、Ｓ１０４においてエラーとなった画素に、エラーを示す値（たとえば、０）を設定する。

　なお、Ｓ１０５において、メモリ２５に保持された距離変換関数に基づく演算によって輝度値を距離に変換する処理は、請求項３に記載の構成の一例である。

　こうして、距離画像が生成された後、ＣＰＵ２１は、距離情報の取得動作が終了したか否かを判定する（Ｓ１０７）。そして、距離情報の取得動作が終了していなければ（Ｓ１０７：ＮＯ）、ＣＰＵ２１は、処理をＳ１０１に戻して、次の距離情報の取得タイミングを待つ。

　なお、Ｓ１０４における閾値Ｂｓｈは、たとえば、図５（ｂ）に示す距離変換関数において、最大距離Ｌｍａｘに対応する輝度値に設定される。これにより、最大距離Ｌｍａｘよりも遠方にある物体から反射された赤外光に基づく輝度値が、距離情報の取得対象から除外されることとなる。このため、検出対象物体の背景にある物体が撮像画像に映り込むことによって検出対象物体の検出精度が低下することが抑制される。

　図６（ｂ）は、物体検出処理を示すフローチャートである。図６（ｂ）の処理は、図２に示すＣＰＵ３１の機能のうち、物体検出部３１ａの機能によって実行される。

　図６（ａ）のＳ１０６において距離画像が取得されると（Ｓ２０１：ＹＥＳ）、ＣＰＵ３１は、距離画像における最高階調の距離値（最も情報取得装置２に接近することを表す距離値）から所定の値ΔＤを減じた値を距離閾値Ｄｓｈに設定する（Ｓ２０２）。

　次に、ＣＰＵ３１は、距離画像上において、距離値（階調値）が距離閾値Ｄｓｈよりも高い領域を、対象領域として区分する（Ｓ２０３）。そして、ＣＰＵ３１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２５に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ２０４）。なお、Ｓ２０４において検出対象物体が抽出されない場合、当該距離画像に対する検出対象物体の抽出は、エラーとされる。

　こうして、検出対象物体の抽出処理が終了すると、ＣＰＵ３１は、物体検出動作が終了したか否かを判定する（Ｓ２０５）。物体検出動作が終了していない場合（Ｓ２０５：ＮＯ）、ＣＰＵ３１は、Ｓ２０１に戻り、次の距離画像が取得されるのを待つ。そして、次の距離画像が取得されると（Ｓ２０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ２０２以降の処理を実行し、当該距離画像から検出対象物体を抽出する（Ｓ２０２～Ｓ２０４）。

　＜実施の形態の効果＞
　以上、本実施の形態によれば、目標領域に投射される光をドットパターンに変換する必要がないため、投射部１００の構成を簡素なものとすることができる。また、輝度値に基づいて各画素の距離情報が取得されるため、簡素な演算処理により距離情報を取得することができる。

　また、距離取得範囲ΔＬに対応した輝度値が各画素から得られるように、ＣＭＯＳイメージセンサ２４０の露光時間とゲインが設定されるため、最大距離Ｌｍａｘよりも遠方の物体から反射され画素に入射する赤外光の輝度は、図６（ａ）のＳ１０４における閾値Ｂｓｈよりも小さくなり、距離情報の取得対象から除外される。これにより、距離取得範囲ΔＬよりも遠方にある物体の画像が撮像画像に映り込むことにより検出対象物体の検出精度が低下することを抑制することができる。

　＜変更例＞
　以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。

　たとえば、上記実施の形態では、光源１１０としてＬＥＤを用いたが、ＬＥＤに代えて半導体レーザを光源１１０として用いることも可能である。

　図７（ａ）、（ｂ）は、光源１１０に半導体レーザを用いる場合の投射部１００と撮像部２００の構成例を示す図である。図７（ａ）は、回路基板３００に設置された状態の投射部１００および撮像部２００を示す平面図であり、図７（ｂ）は、図７（ａ）のＡ－Ａ’断面図である。図７（ａ）、（ｂ）において、図３（ｂ）、（ｃ）の各部材と同一の部材には同一の符号が付されている。本変更における撮像部２００の構成は、図３（ｂ）、（ｃ）に示す実施の形態の撮像部２００の構成と同じである。

　本変更例では、半導体レーザからなる光源１１２と、凹レンズ１２０と、レンズホルダ１３０が配されている。光源１１２は、ＣＡＮタイプの半導体レーザであり、赤外の波長帯のレーザ光を出射する。光源１１２は、回路基板３００上に実装される。凹レンズ１２０は、レンズホルダ１３０に保持される。凹レンズ１２０を保持したレンズホルダ１３０が、光源１１２を覆うように、回路基板３００に設置される。凹レンズ１２０は、光源１１２から出射されたレーザ光が、目標領域において、図７（ｃ）に示すように撮像範囲の近傍に集まるように、レーザ光を指向させる。

　なお、このように、光源１１０が半導体レーザからなり、光源１１０から出射されたレーザ光を凹レンズ１２０により目標領域に投射する構成は、請求項１０に記載の構成の一例である。

　本変更例においても、上記実施の形態と同様、目標領域に投射される光をドットパターンとする必要がないため、投射部１００の構成を簡素なものとすることができる。

　なお、図７（ａ）、（ｂ）の構成例では、凹レンズ１２０を保持するレンズホルダ１３０が用いられたが、図７（ｄ）のように、光源１１２である半導体レーザのＣＡＮの出射面に凹レンズ１４０が装着され、凹レンズ１４０と光源１１２が一体化されていても良い。こうすると、レンズホルダ１３０を省略することができ、投射部１００の構成をより簡素化することができる。

　また、上記実施の形態では、可視光の波長帯域の光を除去するためにフィルタ２３０が用いられたが、撮像レンズ２２０の材料として可視光の波長帯域の光を吸収する材料を用い、撮像レンズ２２０にフィルタの機能を付与しても良い。

　図７（ｅ）は、この場合の撮像部２００の構成例を示す図である。

　この構成例では、撮像レンズ２２１が、樹脂材料に染料を混ぜ込んだ材料から形成されている、染料としては、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低いものが用いられる。なお、ここでは、撮像レンズ２２１の材料に染料が混ぜ込まれたが、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低い材料であれば、染料以外の材料が混ぜ込まれても良い。また、図７（ｅ）のように４枚のレンズから撮像レンズ２２１が形成される場合、必ずしも、全てのレンズに染料が混ぜ込まれなくても良く、可視光を適正に除去可能であれば、１つ、２つまたは３つのレンズに染料が混ぜ込まれても良い。

　この構成例によれば、フィルタ２３０を省略できるため、撮像部２００の構成をより簡素化することができ、また、撮像部２００の背高を低くすることができる。

　なお、このように、撮像レンズ２２１が、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低い染料を樹脂材料に混ぜ込んだ材料から形成される構成は、請求項１１に記載の構成の一例である。

　また、上記実施の形態では、距離変換関数を用いた演算により輝度値が距離に変換されたが、輝度値と距離とを対応付けたテーブルをメモリ２５に保持しておき、このテーブルに基づいて、輝度値から距離を取得するようにしても良い。また、図６（ａ）の処理では、Ｓ１０５において距離が取得されたが、ここで取得される距離は、距離値でなくとも良く、距離を表すことが可能な情報であれば良い。

　また、上記実施の形態では、距離変換関数に基づいて輝度値を距離に変換して距離情報を取得したが、輝度値をそのまま距離に関する情報として取得しても良い。

　図８（ａ）は、輝度値をそのまま距離に関する情報として取得する場合の輝度画像生成処理を示すフローチャートである。

　図８（ａ）のフローチャートでは、図６（ａ）のＳ１０５が省略され、さらに、図６（ａ）のＳ１０６がＳ１１１に変更されている。すなわち、図８（ａ）のフローチャートでは、各画素の輝度値が距離値に変換されることなく、対応する画素に輝度値が設定されて輝度画像が生成される（Ｓ１１１）。上記実施の形態と同様、Ｓ１０４においてエラーが設定された画素には、エラーを示す値（たとえば、０）が設定される。

　なお、このように、輝度値を距離に関する情報として取得する構成は、請求項２に記載の構成の一例である。

　図８（ｂ）は、物体検出処理を示すフローチャートである。図８（ｂ）のフローチャートでは、距離画像に代えて輝度画像が参照される。

　すなわち、図８（ａ）のＳ１１１において輝度画像が取得されると（Ｓ２１１：ＹＥＳ）、ＣＰＵ３１は、輝度画像における最高階調の輝度値（最も情報取得装置２に接近することを表す輝度値）から所定の値ΔＢを減じた値を輝度閾値Ｂｓｈ２に設定する（Ｓ２１２）。

　次に、ＣＰＵ３１は、輝度画像上において、輝度値（階調値）が輝度閾値Ｂｓｈ２よりも高い領域を、対象領域として区分する（Ｓ２１３）。そして、ＣＰＵ３１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２５に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ２１４）。Ｓ２１４において検出対象物体が抽出されない場合、当該距離画像に対する検出対象物体の抽出は、エラーとされる。ＣＰＵ３１は、Ｓ２１１～Ｓ２１４の処理を物体検出動作が終了するまで繰り返す（Ｓ２１５）。

　図８（ａ）のフローチャートでは、距離変換関数に基づいて輝度値が距離に変換されないため、輝度画像上の各画素の輝度値は、正確な距離を表現するものとはならない。すなわち、図５（ｂ）に示すように、輝度と距離は、曲線状のグラフによって表わされる関係を有するため、輝度値を正確な距離として取得するためには、輝度値をこの曲線に従って調整する必要がある。図８（ａ）のフローチャートでは、取得された輝度値がそのまま輝度画像に設定されるため、輝度画像上の各画素の輝度値は、正確な距離を表わさず、誤差を含むものとなる。

　しかしながら、この場合も、各画素の輝度値は、大まかな距離を表わすものとなるため、輝度画像を用いて検出対象物体を検出することは可能である。したがって、本変更例によっても、図８（ｂ）のフローチャートによって、検出対象物体を検出することができる。

　なお、図８（ａ）のフローチャートでは、Ｓ１０３で取得された輝度値が、Ｓ１１１において、そのまま輝度画像に設定されたが、輝度画像に設定される値は、輝度値でなくとも良く、輝度を表わすことが可能な情報であれば良い。

　＜他の変更例＞
　上記実施の形態では、情報取得装置２と情報処理装置３側の物体検出部３１ａによって物体検出装置が構成されたが、一つの装置に情報取得装置２の機能と物体検出部３１ａの機能の両方が配されても良い。また、上記実施の形態では、輝度値が距離に変換されたが、輝度値が距離に変換されることなく、輝度値に基づいて物体検出が行われても良い。

　図９は、この場合の構成例を示す図である。図９の構成例では、図２の情報取得装置２が物体検出装置７に置き換えられている。なお、説明の便宜上、図９において、図２の構成と同一の構成には同一の符号が付されている。

　なお、図９に示す物体検出装置７は、請求項１３に記載の「物体検出装置」の一例である。また、図９に示す輝度情報取得部２１ｃと撮像信号処理回路２３は、請求項１３に記載の「輝度取得部」に相当し、物体検出部２１ｄは、請求項１３に記載の「物体検出部」に相当する。

　図９の構成例では、ＣＰＵ３１から物体検出部３１ａの機能が除かれ、ＣＰＵ２１に物体検出部２１ｄの機能が付加されている。また、メモリ３３から物体形状抽出テンプレートが除かれ、メモリ２５に物体形状抽出テンプレートが追加されている。さらに、図９の構成例では、図２の距離取得部２１ｂが輝度情報取得部２１ｃに置き換えられている。輝度情報取得部２１ｃは、ＣＭＯＳイメージセンサ２４０から取得される輝度値に基づいて輝度画像を生成する。

　図９の構成例においても、上記実施の形態と同様、物体検出が可能な距離範囲（上記実施の形態の距離取得範囲ΔＬに相当）に対応した輝度値が各画素から得られるように、輝度値を取得するためのパラメータ（露光時間、ゲイン）が調整され、調整されたパラメータの値が撮像信号処理回路２３に設定される。このようにパラメータを調整する構成は、請求項１４に記載の構成の一例である。また、調整対象のパラメータが露光時間およびゲインである構成は、請求項１５、１６に記載の構成の一例である。

　また、図９の構成例においても、上記実施の形態と同様、赤外光を出射する光源１１０が投射部１００に配され、フィルタ２３０とＣＭＯＳイメージセンサ２４０が撮像部２００に配される。ここで、光源１１０は、図３（ａ）または図３（ｄ）の構成を有するＬＥＤからなり、あるいは、図７（ａ）、（ｂ）または図７（ｄ）のように半導体レーザ１１２と凹レンズ１２０、１４０の組合せから構成され得る。また、フィルタ２３０は、光源１１０の出射波長を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタであり、ＣＭＯＳイメージセンサ２４０は、可視光の波長帯域と、光源１１０から出射される赤外光の波長帯域に対して感度を有するカラーのイメージセンサである。

　このように、投射部１００が赤外の波長帯域の光を出射する光源１１０を備え、撮像部２００が撮像レンズ２２０とフィルタ２３０とを備える構成は、請求項１７に記載の構成の一例である。また、光源１１０がＬＥＤからなる構成は、請求項１８に記載の構成の一例であり、あるいは、光源１１０が半導体レーザ１１２からなり、光源１１０から出射されたレーザ光を凹レンズ１２０、１４０により目標領域に投射する構成は、請求項１９に記載の構成の一例である。

　さらに、図９の構成例においても、上記実施の形態の変更例に係る図７（ｅ）の構成と同様、撮像レンズ２２０が、可視光の波長帯域の光の吸収が高く、赤外の波長帯域の光の吸収が低い染料を樹脂材料に混ぜ込んだ材料から形成されても良い。この構成は、請求項２０に記載の構成の一例である。

　図１０は、本変更例における物体検出処理を示すフローチャートである。図１０のフローチャートのうち、Ｓ１０２～Ｓ１１１は、図９の輝度情報取得部２１ｃにより行われ、Ｓ１１２～Ｓ１１４は、図９の物体検出部２１ｄにより行われる。Ｓ１０２～Ｓ１１１の処理は、図８（ａ）のＳ１０２～Ｓ１１１と同じであり、Ｓ１１２～Ｓ１１４の処理は、図８（ｂ）のＳ２１２～Ｓ２１４と同じであるので、ここでは、これらステップの説明は省略する。

　物体検出タイミングが到来すると（Ｓ２０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ１０２～Ｓ１１１の処理により輝度画像を生成する。そして、ＣＰＵ２１は、生成した輝度画像を参照してＳ１１２～Ｓ１１４の処理を実行し、検出対象物体を検出する。Ｓ２０１～Ｓ１１４の処理は、物体検出動作が終了するまで繰り返し実行される（Ｓ１１５）。

　本変更例においても、上記実施の形態と同様、目標領域に投射される光をドットパターンに変換する必要がないため、投射部１００の構成を簡素なものとすることができる。また、輝度値に基づいて目標領域上の物体が検出されるため、簡素な演算処理により距離情報を取得することができる。

　また、上記実施の形態および変更例では、ＣＭＯＳイメージセンサ２４０上の全ての画素について距離および輝度値が取得されたが、必ずしも全ての画素について距離および輝度値が取得されなくとも良く、たとえば、数画素おきに距離および輝度値が取得されても良い。

　また、上記実施の形態では、赤外撮像部２００の可視光除去フィルタ２３０が撮像レンズ２２０とＣＭＯＳイメージセンサ２４０との間に配置されたが、可視光除去フィルタ２３０の配置位置は、これに限られるものではなく、撮像レンズ２２０よりも目標領域側であっても良い。同様に、可視光撮像部３００の赤外除去フィルタ３３０に配置位置も適宜変更可能である。

　また、上記実施の形態では、ＣＰＵ２１による機能によってソフトウエア処理により距離情報が取得されたが、距離情報の取得が回路によるハードウエア処理により実現されても良い。

　さらに、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ２４０を用いたが、これに替えて、ＣＣＤイメージセンサを用いることもできる。また、赤外以外の波長帯域の光を距離取得に用いることもできる。

　この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

　　１　…　パーソナルコンピュータ
　　２　…　情報取得装置
　　７　…　物体検出装置
　　２１ｂ　…　距離取得部
　　２１ｃ　…　輝度情報取得部（輝度取得部）
　　２１ｄ　…　物体検出部
　　２３　…　撮像信号処理回路（輝度取得部）
　　３１ａ　…　物体検出部
　　１００　…　投射部
　　１１０　…　光源
　　１１１　…　ＬＥＤ（光源）
　　１１２　…　半導体レーザ（光源）
　　１２０、１４０　…　凹レンズ
　　２００　…　撮像部
　　２２０、２２１　…　撮像レンズ
　　２３０　…　フィルタ
　　２４０　…　ＣＭＯＳイメージセンサ（イメージセンサ、カラーイメージセンサ）

Claims (20)

1. 　目標領域に光を投射する投射部と、
   　前記目標領域をイメージセンサにより撮像する撮像部と、
   　前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、
   　前記輝度取得部により取得された輝度値に基づいて、前記画素に対応する前記目標領域上の位置までの距離に関する情報を取得する距離取得部と、を備える、
   ことを特徴とする情報取得装置。
2. 　請求項１に記載の情報取得装置において、
   　前記距離取得部は、前記輝度値を前記距離に関する情報として取得する、
   ことを特徴とする情報取得装置。
3. 　請求項１に記載の情報取得装置において、
   　前記距離取得部は、輝度値と距離との関係を規定する規定情報を備え、前記規定情報に基づいて、前記画素に対する前記距離に関する情報を取得する、
   ことを特徴とする情報取得装置。
4. 　請求項１ないし３の何れか一項に記載の情報取得装置において、
   　前記輝度取得部は、取得対象とされる距離範囲に対応した前記輝度値が前記画素から得られるように、前記イメージセンサから前記輝度値を取得するための所定のパラメータの値が調整される、
   ことを特徴とする情報取得装置。
5. 　請求項４に記載の情報取得装置において、
   　前記パラメータは、前記イメージセンサ上の各画素に適用される露光時間を含む、
   ことを特徴とする情報取得装置。
6. 　請求項４または５に記載の情報取得装置において、
   　前記パラメータは、前記イメージセンサ上の各画素から取得される信号に適用されるゲインを含む、
   ことを特徴とする情報取得装置。
7. 　請求項１ないし６の何れか一項に記載の情報取得装置において、
   　前記距離取得部は、前記輝度取得部から取得された前記輝度値のうち、所定の閾値に満たない前記輝度値を、前記距離に関する情報の取得対象から除外する、
   ことを特徴とする情報取得装置。
8. 　請求項１ないし７の何れか一項に記載の情報取得装置において、
   　前記投射部は、赤外の波長帯域の光を出射する光源を含み、
   　前記撮像部は、前記赤外の波長帯域の光を透過するフィルタと、前記目標領域に照射された前記光を前記イメージセンサに集光する撮像レンズと、を備える、
   ことを特徴とする情報取得装置。
9. 　請求項８に記載の情報取得装置において、
   　前記光源は、発光ダイオードである、
   ことを特徴とする情報取得装置。
10. 　請求項８に記載の情報取得装置において、
    　前記光源は、半導体レーザであり、
    　前記投射部は、前記半導体レーザから出射されるレーザ光を前記目標領域に投射する凹レンズを含む、
    ことを特徴とする情報取得装置。
11. 　請求項８ないし１０の何れか一項に記載の情報取得装置において、
    　前記撮像レンズは、可視光を吸収し、前記赤外の波長帯域の光を透過する材料からなり、前記フィルタが前記撮像レンズに一体的に含まれている、
    ことを特徴とする情報取得装置。
12. 　請求項１ないし１１の何れか一項に記載の情報取得装置と、
    　前記情報取得装置によって取得された前記距離に関する情報に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える、
    ことを特徴とする物体検出装置。
13. 　目標領域に赤外の波長帯域の光を投射する投射部と、
    　カラーイメージセンサおよび可視光をカットし赤外の波長帯域の光を透過するフィルタを備え、前記目標領域を前記カラーイメージセンサにより撮像する撮像部と、
    　前記カラーイメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、
    　前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える、
    ことを特徴とする物体検出装置。
14. 　請求項１３に記載の物体検出装置において、
    　前記輝度取得部は、取得対象とされる距離範囲に対応した前記輝度値が前記画素から得られるように、前記イメージセンサから前記輝度値を取得するための所定のパラメータの値が調整される、
    ことを特徴とする物体検出装置。
15. 　請求項１４に記載の物体検出装置において、
    　前記パラメータは、前記イメージセンサ上の各画素に適用される露光時間を含む、
    ことを特徴とする物体検出装置。
16. 　請求項１４または１５に記載の物体検出装置において、
    　前記パラメータは、前記イメージセンサ上の各画素から取得される信号に適用されるゲインを含む、
    ことを特徴とする物体検出装置。
17. 　請求項１３ないし１６の何れか一項に記載の物体検出装置において、
    　前記投射部は、前記赤外の波長帯域の光を出射する光源を含み、
    　前記撮像部は、前記目標領域に照射された前記光を前記カラーイメージセンサに集光する撮像レンズと、を備える、
    ことを特徴とする物体検出装置。
18. 　請求項１７に記載の物体検出装置において、
    　前記光源は、発光ダイオードである、
    ことを特徴とする物体検出装置。
19. 　請求項１７に記載の物体検出装置において、
    　前記光源は、半導体レーザであり、
    　前記投射部は、前記半導体レーザから出射されるレーザ光を前記目標領域に投射する凹レンズを含む、
    ことを特徴とする物体検出装置。
20. 　請求項１７ないし１９の何れか一項に記載の物体検出装置において、
    　前記撮像レンズは、可視光を吸収し、前記赤外の波長帯域の光を透過する材料からなり、前記フィルタが前記撮像レンズに一体的に含まれている、
    ことを特徴とする物体検出装置。

Images