JP4751443B2 - 撮影装置、及び撮影方法 - Google Patents

Description

本発明は、パターン光を物体に照射して形状等を検知する撮影装置及び撮影方法に関する。詳しくは、可視光によるパターン光を用いて物体の形状等を検知する撮影装置及び撮影方法に関する。

従来から、例えば車両の前面よりパターン光を投光して反射光をカメラで撮影し、前方の障害物を検知するようにした撮影装置がある。

この種の従来技術として、赤外線などの不可視領域光の光源と、形成パターンに対応させて透過率を変化させるよう強度分布を持たせた光学フィルタとを備え、光学フィルタから照射したパターン光を用いて物体までの距離を測定する３次元画像撮像装置が開示されている（例えば、以下の特許文献１）。

また、赤外線投光器からのスリット光を撮影エリアに照射してカメラで撮影し、撮影したスリット光照射画像とスリット光未照射画像との差分画像データを演算することで、撮影エリアにおける立体物の存在を推定するようにした周辺画像表示装置も開示されている（例えば、以下の特許文献２）。
特開２００２−２７５０１号公報 特開２００４−３２８２４０号公報

しかしながら、上記従来技術は、いずれも赤外線などの不可視光をパターン光としているため、その反射光を撮影するには特殊なカメラが必要である。従って、装置全体のコスト増を招く。更に、そのようなカメラで撮影した画像は反射率が可視光と異なるため、可視光による画像と比較して若干異なるものとなる。

一方、パターン光を可視光とすると、一般に普及している可視カメラを使用することができ、特殊なカメラが必要ないため、コスト増にはならない。しかし、パターン光を可視光とすると、人の目にそのパターン光が見えてしまい、例えば道路や店舗などの一般の環境での使用には不向きである。

そこで、本発明は上記問題点に鑑みてなされたもので、その目的は、人の目には見えない可視光のパターンを投光し、そのパターンを撮影することのできる撮影装置や撮影方法を提供することにある。

上記目的を達成するために、本発明は、可視光のパターン光を含む光を投光する投光部と、 前記可視光の映像を撮像する撮像部と、前記パターン光の投光される周期を１／６０秒より小さくなるように前記投光部を制御するとともに、前記パターン光が投光されている間に前記パターン光により投影された映像を撮像するように前記撮像部を制御する制御部とを備えることを特徴とする。

また、本発明は、前記撮影装置において、前記投光部は複数種類の前記パターン光を投光し、 前記制御部は全種類の前記パターン光が投光される時間を一周期とし前記一周期の時間間隔を１／６０秒より小さく投光されるように前記投光部を制御することを特徴とする。

更に、本発明は、前記撮影装置において、前記投光部は一種類のパターン光と均一光とを投光し、前記制御部は前記一種類のパターン光と前記均一光とが投光される時間を一周期とし前記一周期の時間間隔を１／６０秒より小さく投光されるように前記投光部を制御することを特徴とする。

更に、本発明は、前記撮影装置において、前記一周期を構成する前記複数種類のパターン光又は前記一周期を構成する前記一種類のパターン光と前記均一光を夫々時間平均して夫々の明るさを加算したとき、全体の明るさは略一定となることを特徴とする。

更に、本発明は、前記撮影装置において、前記パターン光はスリット状又は格子状のパターンで構成されることを特徴とする。

更に、本発明は、前記撮影装置において、前記投光部は発光ダイオード又は液晶シャッターで構成されることを特徴とする。

また、本発明は、上記目的を達成するために、可視光のパターン光を含む光を投光する投光部と、前記可視光の映像を撮像する撮像部とを備える撮影装置における撮影方法において、前記パターン光の投光される周期を１／６０秒より小さくなるように前記投光部から前記パターン光を投光させ、前記パターン光が投光されている間に前記撮像部により前記パターン光の投影された映像を撮像することを特徴とする。

本発明によれば、人の目には見えない可視光のパターンを投光して、そのパターンを撮影することのできる撮影装置や撮影方法を提供することができる。

図１は、撮影装置の構成例を示す図である。 図２は、パターン光の例とその時間平均の明るさの例を示す図である。 図３（Ａ）はパターン投光に対する見え方の例、図３（Ｂ）はパターン投光のタイミングの例、図３（Ｃ）は撮影タイミングの例を示す図である。 図４（Ａ）は投光部をＬＥＤにより構成した例、図４（Ｂ）は投光部を液晶シャッターにより構成した例を示す図である。 図５（Ａ）はスリット状のパターン光の例、図５（Ｂ）は格子状のパターン光の例を示す図である。 図６はパターン投光タイミングの例を示す図である。 図７（Ａ）はスリット状のパターン光と均一光の例を示し、図７（Ｂ）は格子状のパターン光と均一光の例を示す図である。 図８（Ａ）はパターン投光に対する見え方の例、図８（Ｂ）はパターン投光のタイミング例、図８（Ｃ）は撮影のタイミング例を示す図である。 図９（Ａ）は人間の目にみえるパターン光の例、図９（Ｂ）はカメラに映るパターン光の例、図９（Ｃ）及び図９（Ｄ）は撮影された画像の例を示す。

符号の説明

１０：投光部 ２０：投光制御部
３０：タイミング制御部 ４０：撮像制御部
５０：撮像部

本発明を実施するための最良の形態について以下説明する。

図１は、本発明が適用される撮影装置１の構成例を示す図である。撮影装置１は、投光部１０と、投光制御部２０と、タイミング制御部３０と、撮像制御部４０、及び撮像部５０を備える。

投光部１０は、パターン光を投光するためのものである。詳細は後述する。

投光制御部２０は、投光部１０からパターン光を所定の周期期間投光させるように、投光部１０を制御する。

タイミング制御部３０は、投光制御部２０と撮像制御部４０にタイミング制御信号を出力する。投光制御部２０は、このタイミング制御信号に基づいて投光部１０を制御する。

撮像部５０は、投光部１０から投光されたパターン光の反射光を含む映像を撮像する。

撮像制御部４０は、タイミング制御部３０からのタイミング制御信号に基づいて、撮像部５０が映像を撮影するように撮像部５０を制御する。

尚、このタイミング制御部３０は、投光制御部２０内にあってもよいし、撮像制御部４０内にあってもよい。

図２は、投光部１０から投光されるパターン光の例である。スリット状の２種類のパターン光Ａ、Ｂがある。投光部１０からこのスリット状のパターン光Ａ、Ｂをあるタイミングで交互に短時間で投光する。交互に投光する期間を一周期として、その周期期間を短くとった場合、パターン光Ａ、Ｂの明るさ（輝度）の時間平均は図２の右側のようになる。すなわち、そのパターン光Ａ、Ｂのスリット模様は人の目で認識することができなくなる。人の目に見える明るさは、図２の右側に示すように、パターン光Ａ、Ｂの明るい部分の略半分の明るさとなる。

図３（Ａ）は、パターン投光に対する人の目の見え方の例である。図２に示すような、パターン光Ａ、Ｂを交互にある一定の周期で投光すると、人の目には一定の明るさで見ることができる。

図３（Ｂ）は、パターン投光のタイミング例を示すものである。パターン光Ａを「ａ」秒間投光し、その後パターン光Ｂを同じく「ａ」秒間投光する。パターン光Ａとパターン光Ｂとを投光する時間間隔「ａ＋ｂ」を一周期とすると、その周期「ａ＋ｂ」を「１／６０」秒より小さい時間間隔とする。

本実施例では、このように時間間隔をとることで、図２や図３（Ａ）に示すように、パターン光Ａ、Ｂは人の目には略一定の明るさで見え、スリット状のパターンを見ることができなくなる。即ち、可視光のパターン光を投光しても人の目にはそのパターンを認識することができない。

そして、図３（Ｃ）に示すように、各パターン光Ａ、Ｂが投光されている間に夫々撮像部５０で映像を撮像する。撮像部５０が他の用途で設置された可視カメラで構成すれば、別途専用のカメラを設ける必要がなくコスト増を招くことがない。

撮像された映像には、スリット状のパターン光が投影されるため、形状測定用の映像として利用することができる。

次に、このパターン光の周期を「１／６０」秒より小さい時間間隔にした理由について考察する。例えば、「感覚＋知覚心理学ハンドブック」（和田陽平著、誠信書房）のｐ２３８にも記載されているように、光の強さと臨界融合周波数（光を明滅させたときに、その明滅が人の目で認識できず定常光に見える光の周波数）との関係は、光の強さを強くするほど、臨界融合周波数は除々に大きな値をとる。しかし、光の強さを強くしても、臨界融合周波数は「６０」Ｈｚを超えない。

つまり、照明を「６０」Ｈｚ以上の周波数で明滅すると、人の目にはその明滅が気付かれない、或いは気にならなくなる。即ち、定常光に見えることになる。従って、図２に示すようにスリット状のパターン光Ａ、Ｂを「１／６０」秒より小さい時間間隔で投光しても、スリット状の模様は人の目には認識できず、定常光として認識する。

尚、このように明滅する光が融合して人の目に見えるときにその明るさは、輝度の平均値となる。一般にこの法則はＴａｌｂｏｔ−Ｐｌａｔｅａｕの法則と呼ばれる。図２で、パターン光Ａ、Ｂによる光の輝度（又は強度）の時間平均を取ると、パターン光Ａ、Ｂの明るい部分の輝度（又は強度）の半分となるのは、この法則によるものである。

次にパターン光Ａ、Ｂを投光するための投光部１０の構成例について説明する。図４（Ａ）はＬＥＤ（発光ダイオード：Light Emitting Diode）１１により投光部１０を構成した例である。複数のＬＥＤ１１と、ＬＥＤ１１の発光を制御する発光制御部１２とから構成される。複数のＬＥＤ１１が図１の投光部１０に対応し、発光制御部１２が図１の投光制御部２０に対応する。

例えば、発光制御部１２により、左から一列目の全ＬＥＤ１１を発光させ、２列目は発光させないようにする。これを交互に繰り返すことにより、図２に示す、パターン光Ｂを構成することができる。また、左から１列目の全ＬＥＤ１１を発光させず、２列目を発光させ、これを交互に繰り返すことでパターン光Ａを構成することができる。そして、パターン光Ａ、Ｂの周期が「１／６０」秒より小さい時間間隔で切り替わるよう発光制御部１２により制御する。

勿論、パターン光Ａ、Ｂを構成するために、１列おきにＬＥＤ１１を発光、非発光を行わせるのではなく、２列おきなど、複数列おきに発光、非発光を行わせるようにしてもよい。

尚、パターン光Ａ、Ｂの切替えは、タイミング制御部３０からのタイミング制御信号が発光制御部１２に入力されて、この制御信号に基づいて切替えが行われる。従って、タイミング制御部３０は、パターン光Ａ、Ｂの周期が「１／６０」秒より小さい時間間隔となるようにタイミング制御信号を発光制御部１２に出力する。

図４（Ｂ）は、投光部１０を液晶シャッター１６により構成した例である。光源１５と液晶シャッター１６が、図１の投光部１０に対応し、液晶シャッター１６の透過、非透過を制御する透過制御部１７が投光制御部２０に対応する。

液晶シャッター１６は、図４（Ｂ）に示すように、垂直方向にシャッターを備え、各列おきにシャッターを透過、非透過とすることで、図２に示すパターン光Ａ、Ｂを構成することができる。勿論、前述の例と同様に、複数列おきに透過、非透過としてもよい。そして、透過制御部１７がパターン光Ａ、Ｂの周期が「１／６０」秒より小さい時間間隔となるように液晶シャッター１６を切替えるようにすれば、前述の例と同様に定常光として人の目は認識する。更に、撮像部５０を可視カメラで構成してもそのパターン光Ａ、Ｂを撮影することができる。

スリット状のパターン光Ａ、Ｂは、例えば、投光制御部２０内（又は投光制御部外）のメモリにそのパターンを記憶しておき、タイミング制御部３０からのタイミング制御信号に基づいて投光制御部２０がそのパターンを読み出すことで、投光させるようにしてもよい。

前述の例では、２種類のパターン光Ａ、Ｂを一定間隔に投光する場合について説明した。それ以外にも、３種類以上のパターン光で各パターン光を異なる時間間隔で投光させるようにしてもよい。勿論、１周期分の時間は「１／６０」秒より小さい時間間隔とする。

図５は、４種類のパターン光Ａ１、Ｂ１、Ａ２、Ｂ２による例を示す図である。即ち、図５（Ａ）に示すスリット状のパターン光Ａ１、Ｂ１と、図５（Ｂ）に示す格子状のパターン光Ａ２、Ｂ２である。

２つのパターン光Ａ１、Ａ２の明るさを加算して全体の明るさの時間平均をとると、図５（Ａ）の右側に示す明るさとなる。つまり、２つのパターン光Ａ１、Ａ２を交互に投光し、その一周期を「１／６０」秒より小さい時間間隔とすると、図５（Ａ）の右側に示すように、人の目には一定の明るさでその光を認識する。明るさは、パターンの明るい部分の略半分の明るさとなる。

また、格子状のパターン光Ａ２、Ｂ２についても同様に、その一周期を「１／６０」秒より小さい時間間隔とすることで、図５（Ｂ）の右側に示す明るさ（パターンの明るい部分の略半分の明るさ）として人の目は認識する。

そして、これら４種類のパターン光Ａ１、Ｂ１、Ａ２、Ｂ２を異なる間隔で交互に投光させるようにする。図６はパターン投光タイミングの例を示す。

即ち、パターン光Ａ１を「Ｔａ」時間投光し、パターン光Ａ２を「Ｔｂ」時間投光し、パターン光Ｂ１を「Ｔａ」時間投光し、パターン光Ｂ２を「Ｔｂ」時間投光する。２＊（Ｔａ＋Ｔｂ）＜（１／６０）秒、とすることで、前述の例と同様の理由により、格子状やスリット状のパターンを人の目は認識することがなくなる。

この場合も、撮像部５０を可視カメラで構成し、各パターン光Ａ１、Ｂ１、Ａ２、Ｂ２が投光されている時間「Ｔａ」、「Ｔｂ」内で撮像部５０がその映像を撮像するようにすれば、各パターンを含む映像を撮影することができる。タイミング制御部３０は、この時間内に各々タイミング制御信号を撮像制御部４０に出力し、撮像制御部４０はタイミング制御信号に基づいて映像を撮像するようにすればよい。

尚、格子状のパターン光Ａ２、Ｂ２を投光させるには、次のようにすればよい。即ち、投光部１０がＬＥＤ１１のときは、図４（Ａ）に示すように、隣り合うＬＥＤ１１が交互に発光、非発光となるようにすればよい。更に、複数個のＬＥＤ１１でグループを構成し、隣り合うグループで交互に発光、非発光としてもよい。

また、投光部１０を液晶シャッター１６により構成したときは、例えば、液晶シャッター１６が垂直方向のみならず水平方向も透過、非透過を制御するように構成して、各格子点を格子状のパターンの各格子点に対応するようにすれば、格子状のパターン光Ａ２、Ｂ２を構成できる。

更に、スリット状や格子状のパターンＡ１、Ｂ１、Ａ２、Ｂ２を投光部１０から投光させるために、投光制御部２０内（又は投光制御部２０外）のメモリにそのパターンを記憶しておき、投光制御部２０はタイミング制御部３０からのタイミング制御信号に基づいて、各パターンを読み出して投光させるようにしてもよい。

上述の例では、４種類のパターン光Ａ１、Ｂ１、Ａ２、Ｂ２のうち、スリット状のパターン光Ａ１、Ａ２を投光する時間間隔は同じ「Ｔａ」時間、格子状のパターン光Ａ２、Ｂ２を投光する時間間隔は同じ「Ｔｂ」時間として説明した。勿論、すべてのパターン光Ａ１、Ｂ１、Ａ２、Ｂ２を投光させる時間を異なる時間としても上述の例と同様の作用効果を奏する。

また、上述の例では、２種類のパターン光Ａ１、Ｂ１、Ａ２、Ｂ２の投光される時間順を、パターン光Ａ１、パターン光Ａ２、パターン光Ｂ１、パターン光Ｂ２の順で説明した。勿論、それ以外にも、任意の順番で各パターン光Ａ１、Ｂ１、Ａ２、Ｂ２を投光させてもよい。この場合も上述の例と同様の作用効果を奏する。

次に、他のパターン光の例について説明する。パターン光の投光時間を短くし、パターン光が投光されていないときは均一光を投光した例である。

図７（Ａ）は、スリット状のパターン光と均一光との例である。スリット状のパターン光を「ａ」秒、均一光を「ｂ」秒とすれば、一周期「ａ＋ｂ」を「１／６０」秒より小さい時間間隔とすると、人の目に見える明るさは、図７（Ａ）に示すようになる。

この場合の明るさの強度の違いは、（ａ＋ｂ）／（ａ＋ｂ）：ｂ／（ａ＋ｂ）＝１：ｂ（ａ＋ｂ）となる。ここで、「ａ」を小さくすると、ｂ／（ａ＋ｂ）≒１となり、人の目には略一定の明るさが継続しているように見える。

図７（Ｂ）は、パターン光を格子状にしたときの例である。この場合も、図７（Ａ）と同様に、格子状のパターン光を投光する時間を小さくとることで、人の目にはパターンを認識することがなく、略一定の明るさが継続しているように見える。

図８は、パターン光と均一光によるタイミング例等を示す図である。図８（Ｂ）に示すように、パターン光と均一光を夫々「ａ」秒、「ｂ」秒投光し、その一周期分の時間間隔「ａ＋ｂ」を「１／６０」秒より小さい時間間隔とすれば、図８（Ａ）に示すように、人の目には一定の明るさの定常光として認識する。そして、パターン光が投光されている「ａ」秒の時間間隔内で撮像部５０で撮像する（図８（Ｃ）参照）。

従って、この例の場合も、パターン光が可視光であっても、人の目には定常光と認識し、可視カメラで構成された撮像部５０によりパターン光を含む画像を撮影することが可能となる。

更に、パターン光は一種類のため、パターン光を投光させるための制御時間を上述の例と比較して少なくさせることができる。更に、そのパターンをメモリに記憶させて投光させる場合には、一種類のパターン光のためメモリ容量を少なくすることができる。

図９は、本撮影装置１が車両１００に搭載された場合の例を示す図である。即ち、投光部１０は車両１００の前消灯（ヘッドライト）に配置され、車載カメラ（可視カメラ）で構成される撮像部５０が車両１００に配置される。撮像部５０は車両１００前方を撮影できる位置であればどの位置に設置されてもよい。

図９（Ａ）に示すように、上述した本撮影装置１の投光部１０によって、パターン光が投光されているものの、人の目には通常のヘッドライトからの光として認識する。実際には、図９（Ｂ）に示すように、パターン光が投光されているため、このパターン光が投光されているタイミングで撮像部５０で車両１００の前方を撮像すると、図９（Ｃ）又は同図（Ｄ）に示すように映像を撮影する。図９（Ｃ）は前方に何も障害物がない場合の映像例、図９（Ｄ）が前方に障害物がある場合の例である。従って、例えば、撮影された映像から夜間走行中に前方の障害物を検知することができる。

図９の例では、ヘッドライトに投光部１０が配置され、車両１００の前方を撮影できるように撮像部５０が配置されている例を示した。例えば、車両１００の後消灯（テイルランプ）に投光部１０が配置され、撮像部５０が車両１００の後方を撮影できる位置に配置させるようにしてもよい。

更に、図９の例では、車両１００に本撮影装置１が配置された例を示したが、それ以外にも、例えば、室内や店舗の照明装置に投光部１０が配置され、撮像部５０として市販の監視カメラにより構成してもよい。パターン光は上述したようにその一周期を「１／６０」秒より小さい時間間隔とし、その時間間隔内で監視カメラで室内の様子等を撮影すれば、上述の例と同様の作用効果を奏する。

上述したいずれの例の場合も、パターン光として垂直方向（縦方向）のスリット状のパターンを用いて説明した。それ以外にも、例えば、水平方向（横方向）のスリット状のパターンを用いても上述した例と同様の作用効果を奏する。

本発明は、車両の前方等の対象物を検知する撮影装置に利用して好適である。また、本発明は、施設内や店舗内の通行者の有無や対象物を検知する撮影装置に利用して好適である。

Claims (6)

1. 可視光のパターン光を含む光を投光する投光部と、
   前記可視光の映像を撮像する撮像部と、
   前記パターン光の投光される周期を１／６０秒より小さくなるように前記投光部を制御するとともに、前記パターン光が投光されている間に前記パターン光により投影された映像を撮像するように前記撮像部を制御する制御部とを備え、
   前記投光部は複数種類の前記パターン光を投光し、
   前記制御部は全種類の前記パターン光が投光される時間を一周期とし前記一周期の時間間隔を１／６０秒より小さく投光されるように前記投光部を制御し、
   前記一周期を構成する前記複数種類のパターン光を夫々時間平均して夫々の明るさを加算したとき、全体の明るさは略一定となることを特徴とする撮影装置。
2. 可視光のパターン光を含む光を投光する投光部と、
   前記可視光の映像を撮像する撮像部と、
   前記パターン光の投光される周期を１／６０秒より小さくなるように前記投光部を制御するとともに、前記パターン光が投光されている間に前記パターン光により投影された映像を撮像するように前記撮像部を制御する制御部とを備え、
   前記投光部は一種類のパターン光と均一光とを投光し、
   前記制御部は前記一種類のパターン光と前記均一光とが投光される時間を一周期とし前記一周期の時間間隔を１／６０秒より小さく投光されるように前記投光部を制御し、
   前記一周期を構成する前記一種類のパターン光と前記均一光を夫々時間平均して夫々の明るさを加算したとき、全体の明るさは略一定となることを特徴とする撮影装置。
3. 前記パターン光はスリット状又は格子状のパターンで構成されることを特徴とする請求項１又は２記載の撮影装置。
4. 前記投光部は発光ダイオード又は液晶シャッターで構成されることを特徴とする請求項１又は２記載の撮影装置。
5. 可視光のパターン光を含む光を投光する投光部と、前記可視光の映像を撮像する撮像部とを備える撮影装置における撮影方法において、
   前記パターン光の投光される周期を１／６０秒より小さくなるように前記投光部から前記パターン光を投光させ、
   前記パターン光が投光されている間に前記撮像部により前記パターン光の投影された映像を撮像し、
   前記投光部から前記パターン光を投光させるとき、複数種類の前記パターン光を投光させ、更に、全種類の前記パターン光が投光される時間を一周期とし前記一周期の時間間隔を１／６０秒より小さく投光させるようにし、
   前記一周期を構成する前記複数種類のパターン光を夫々時間平均して夫々の明るさを加算したとき、全体の明るさは略一定となることを特徴とする撮影方法。
6. 可視光のパターン光を含む光を投光する投光部と、前記可視光の映像を撮像する撮像部とを備える撮影装置における撮影方法において、
   前記パターン光の投光される周期を１／６０秒より小さくなるように前記投光部から前記パターン光を投光させ、
   前記パターン光が投光されている間に前記撮像部により前記パターン光の投影された映像を撮像し、
   前記投光部から前記パターン光を投光させるとき、一種類のパターン光と均一光とを投光させ、更に、前記一種類のパターン光と前記均一光とが投光される時間を一周期とし前記一周期の時間間隔を１／６０より小さく投光させるようにし、
   前記一周期を構成する前記一種類のパターン光と前記均一光を夫々時間平均して夫々の明るさを加算したとき、全体の明るさは略一定となることを特徴とする撮影方法。

Images