WO2004107739A1

WO2004107739A1 - 撮像装置

Info

Publication number: WO2004107739A1
Application number: PCT/JP2004/006071
Authority: WO
Inventors: Katsuji Aoki; Katsuhiro Kanamori
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-05-29
Filing date: 2004-04-27
Publication date: 2004-12-09
Anticipated expiration: 2005-11-29
Also published as: CN100417198C; US7847825B2; JP3801616B2; JPWO2004107739A1; CN1795669A; US20060038915A1

Abstract

一定周期で光量が変化する光源（１０９）が設けられた空間において移動する対象物を撮影する撮像装置（１０７−１）であって、光源（１０９）とともに対象物を撮像する撮像素子（１０２−１）と、撮像素子（１０２−１）から出力される信号に基づいて、外部から与えられる撮像用駆動信号に同期したピクチャ列からなる映像信号を生成する信号処理部（１０３−１）と、撮像素子（１０２−１）が撮像した光源（１０９）の光量の変化に同期する信号を生成し、撮像用駆動信号として信号処理部（１０３−１）に出力するための位相差検出部（１０５−１）、位相差調整部（１０６−１）及び駆動信号発生部（１０４−１）とを備える。

Description

明細書

撮像装置技術分野

本発明は、撮像装置に関し、特に、複数の撮像装置を用いて同一の対象物を同期して撮像する技術に関する。背景技術

車両、ロボット、動物等の移動体の位置や距離を測定する技術の一つとして、複数台の撮像装置を用いて、撮影タイミングを同期させて異なる角度から同一の対象物を撮影することが行われる。各撮像装置のレンズの焦点距離、撮像装置間の距離等のパラメータから、三角測量の原理で各撮像装置から対象物までの距離等が求まるからである。なお、「撮影タイミングが同期している」とは、第 1 の撮像装置で得られるピクチャと第 2の撮像装置で得られるピクチャとが同一の時刻に撮影される（サンプリングされる）ことをいう。

従来、このような複数台の撮像装置による同期撮影の技術として、特開 2 00 0— 3 4 1 7 1 9号公報に記載されたステレオカメラ等がある。図 1 は、上記従来のステレオカメラの構成を示す図である。

図 1 において、レンズ 7 0 1 — 1 〜 2は、集光した光を結像させるものであり、撮像素子 7 0 2— "！〜 2は、レンズフ 0 1 — 1 〜 2が結像させた光を電気信号に変換するものであり、信号処理部 7 0 3— 1 〜 2は、撮像素子 7 0 2— 1 〜 2が出力する電気信号を映像信号に変換するものであり、駆動信号発生部 7 0 4は、撮像素子 7 0 2— "！〜 2及び信号処理部 7 03— 1 〜 2を駆動する駆動信号を発生するものであり、撮像部 7 0 5— 1 は、レンズ 7 0 1 — 1 、撮像素子 7 0 2— 1 、信号処理部フ 0 3 — 1 、駆動信号発生部 7 0 4から構成されるものであり、撮像部 7 0 5 — 2は、レンズ 7 0 1 — 2、撮像素子 7 0 2 — 2、信号処理部 7 0 3— 2から構成されるものであリ、画像処理部 7 0 6は、撮像部 7 0 5 — 1 〜 2が出力する映像信号を画像処理するものである。

ここで、撮像部 7 0 5 — 1 〜 2において、レンズ 7 0 1 — 1 〜 2が結像させた光は、駆動信号発生部 7 0 4が発生した駆動信号によリ駆動する撮像素子 7 0 2— "！〜 2において電気信号に変換される。撮像素子 7 0 2 — 1 〜 2において変換された電気信号は、駆動信号発生部フ 0 4が発生した駆動信号によリ駆動される信号処理部 7 0 3 — "！〜 2において映像信号に変換される。信号処理部 7 0 3— "！〜 2において変換された映像信号は、画像処理部 7 0 6に入力され、画像処理部 7 0 6が、映像信号に含まれる画像に画像処理を施す。

このように、従来の技術によれば、撮像部 7 0 5— 1 〜 2に共通の駆動信号発生部 7 0 4が発生した駆動信号が、撮像素子 7 0 2— 1 ~ 2及ぴ信号処理部 7 0 3— "！〜 2を駆動するため、撮像部 7 0 5— "！〜 2の撮影タイミングは同期している。

しかしながら、このような従来の技術では、駆動信号発生部が発生する駆動信号を各撮像部に供給する信号線が必要とされ、撮像部の台数が Q台（Qは自然数）あれば、同期信号や駆動信号を各撮像部に供給する Q本の信号線が必要であり、各撮像部の距離が離れるほど、信号線の長さも長くなリ、コスト負荷及び設置負荷が大きいという問題がある。特に、例えば、サッカー競技場において選手を撮影する場合のように、広い空間に多数の撮像部を設置する場合には、上記同期信号や駆動信号を全ての撮像部に分配して接続しておく必要があり、大きな費用とケープル敷設作業が発生する。発明の開示

そこで、本発明は、従来の撮像タイミングの同期した撮像装置に比べ、コス卜負荷及び設置負荷が小さい撮像装置を提供することを目的とする。上記目的を達成するために、本発明に係る撮像装置は、光源から入射される光量の時間変化の位相を基準として、撮影素子が変換出力する電気信号を映像信号に変換して出力する信号処理部を駆動する駆動信号の位相を調整するものである。これによつて、複数の撮像部の撮影タイミングが同期する為、複数の撮影部に共通の駆動信号発生部が出力する駆動信号を、複数の撮像部に供給するための信号線を省くことができ、従来に比ペコス卜負荷及び設置負荷が小さい撮像装置を提供することができる。

つまり、本発明に係る撮像装置は、一定周期で光量が変化する光源が設けられた空間において移動する対象物を撮影する撮像装置であって、前記光源からの光を受光し、電気信号に変換する光源検出手段と、前記光源検出手段からの電気信号に同期する信号を生成し、駆動信号として出力する駆動信号生成手段と、前記対象物を撮像する撮像手段と、前記撮像手段から出力される信号に基づいて、前記駆動信号に同期したピクチヤ列からなる映像信号を生成する信号処理手段とを備えることを特徴とする。これによつて、複数の撮像装置が、 1 つの光源からの光量の変化に同期して対象物を撮像することで、ケーブル等を用いることなく、複数の撮像装置による同期撮像が可能となる。

ここで、複数の撮像装置による撮像タイミングを表全に一致させる方法として、例えば、前記駆動信号生成手段が、前記光源検出手段からの電気信号と前記駆動信号との位相差を検出する位相差検出部と、検出された位相差が予め定められた値になるように、前記駆動信号の位相調整を行う位相調整部とを有するように構成してもよい。このとき、前記駆動信号生成手段は、前記光源の光量が変化する周期の 1 Z K ( Kは自然数）の周期となる信号を生成し、生成した信号を前記駆動信号として出力してもよい。また、別の方法として、前記光源検出手段が、前記駆動信号の周期時闆だけ前記光源の光を蓄積し、蓄積した光の量に比例するレベルをもつ電気信号を前記駆動信号の周期時間毎に出力する C C D等の場合には、前記駆動信号生成手段は、前記光源検出手段からの電気信号の振幅が最大となるように、前記駆動信号の位相調整を行う最大振幅検出部を有するように構成してもよい。

なお、前記光源検出手段と前記撮像手段とは、同一の撮像素子であつてもよい。これによつて、光源の光量変化を検出するための特別なセンザが不要となる。

また、前記光源検出手段は、 2次元的に受光素子が配列された撮像素子であり、前記撮像装置はさらに、前記撮像素子のうち、前記光源が撮像された領域を光源領域として設定する光源領域設定手段を備え、前記駆動信号生成手段は、前記光源領域設定手段で設定された光源領域の受光素子からの電気信号に基づいて、前記駆動信号を生成してもよい。このとき、前記光源領域設定部は、例えば、前記受光素子のうち、予め定められたレベル以上の電気信号を出力する受光素子を含む領域を前記光源領域として設定する。これによつて、光源が撮像されている領域からの電気信号だけに基づいて駆動信号が生成されるので、光源以外の光の影響が除かれ、よリ確実な同期合わせが可能となる。

また、前記撮像装置はさらに、前記光源検出手段からの電気信号に同期する信号を生成することができたか否かを判断し、その判断結果に応じて、前記信号処理手段によリ生成された映像信号又は無信号を選択し、選択した信号を出力する映像信号選択手段を備えてもよい。具体的には、前記駆動信号生成手段は、前記光源検出手段からの電気信号に同期するように前記駆動信号の位相調整を行う位相調整部を有し、前記映像信号選択手段は、前記位相調整部での.位相調整量が 0である場合に前記映像信号を選択し、 0でない場合に前記無信号を選択してもよい。これによつて、複数の撮像装置からの映像信号を処理する画像処理部において、光源の光によって撮影タイミングが同期し、更に、画像処理部が施す画像処理の対象である対象物が撮影され、かつ、同期が合わせられた撮像装置からの画像のみに対して画像処理を施すことが可能になる。

なお、本発明は、このような撮像装置として実現することができるだけでなく、撮像装置における制御手順をステップとする撮像方法として実現したり、そのようなステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのプログラムをインターネッ卜等の伝送媒体や C D— R O M等の記録媒体を介して配信することができるのは言うまでもない。図面の簡単な説明

図 1 は、従来の撮像装置の構成を示す図である。

図 2は、本発明の第 1 の実施の形態における撮像装置の構成を示す図である。

図 3 ( a ) は、本発明の第 1 の実施の形態における光源の光量の時間変化を示す図であり、図 3 ( b ) は、本発明の第 1 の実施の形態における撮像素子の電気信号の時間変化を示す図であり、図 3 ( c ) 本発明の第 1 の実施の形態における撮影用駆動信号の時間変化を示す図であり、図 3 ( d ) は、本発明の第 1 の実施の形態における位相差の時間変化を示す図である。

図 4 ( a ) 〜図（ c ) は、それぞれ、撮像用駆動信号の周期が光源の光量変化の周期の 2倍となる場合における光源の光量の時間変化、撮像素子の電気信号及び撮像用駆動信号の時間変化を示す図である。

図 5は、光源専用の受光センサが撮像素子と別個に設けられた撮像装置の構成例を示すプロック図である。

図 6は、本発明の第 2の実施の形態における撮像装置の構成を示す図である。

図フ（ a ) は、本発明の第 2の実施の形態における光源の光量の時間変化を示す図であり、図 7 ( b ) は、本発明の第 2の実施の形態における撮影用駆動信号の時間変化を示す図であり、図 7 ( c ) は、本発明の第 2の実施の形態における撮像素子の電気信号の時間変化を示す図である。

図 8は、本発明の第 3の実施の形態における撮像装置の構成を示す図である。

図 9は、光源領域設定部による光源設定の例を示す図である。

図 1 0は、本発明の第 4の実施の形態における撮像装置の構成を示す図である。

図 1 1 は、第 4の実施の形態の適用例を示す図である。

図 1 2は、本発明をサッカー競技場の撮影に適用した例を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態について、図面を用いて説明する。

(第 1 の実施の形態）

まず、本発明の第 1 の実施の形態における撮像装置について以下に説明する。

図 2は第 1 の実施の形態における撮像装置の構成図である。図 2において、レンズ 1 0 1 — 1 〜 p ( pは自然数）は、集光した光を結像させるものであり、撮像素子 1 0 2— 1 〜 pは、フォトトランジスタのような、駆動信号が不要であり、光の蓄積時間がなく、リアルタイムにレンズ 1 0 1 — 1 ~ pが結像させた光量に比例したレベルの電気信号を出力するものであり、信号処理部 1 0 3 — 1 〜 pは、撮像素子 1 0 2— "！〜 pが出力する電気信号を映像信号に変換するものである。なお、信号処理部 1 0 3— "！〜 pは、映像信号への変換に際して、駆動信号発生部 1 0 4— 1 〜からの撮影用駆動信号に同期したピクチャ列からなる映像信号を生成する。

また、駆動信号発生部 1 0 4 — 1 ~ pは、周期 T の撮影用駆動信号を発生し、信号処理部 1 0 3 — 1 〜 pを駆動するものであり、光源用駆動信号発生部 1 1 0は、周期 T の撮影用駆動信号の K倍の周期である周期 T ₂の光源用駆動信号を発生し（ Kは自然数）、光源 1 0 9を駆動するものであり、位相差検出部 1 0 5— 1 〜 pは、撮像素子 1 0 2— "！〜 Pが出力する電気信号と駆動信号発生部 1 0 4— "！〜 pが発生する撮影用駆動信号との位相差を検出するものであり、位相差調整部 1 0 6 — 1 〜 pは、位相差検出部 1 0 5— "！〜 pから出力される位相差が複数の撮像部で共通な位相差目標値△ T _tに一致するまで、駆動信号発生部 1 0 4一 1 〜 pの位相調整を行う位相調整信号を発生するものであり、光源

1 0 9は、光源用駆動信号発生部 1 1 0の発生する周期 τ ₂の光源用駆動信号により光量が変化するものである。

また、撮像部 1 0 7— 1 〜 ρは、レンズ 1 0 1 — 1 〜 ρ、撮像素子 1 0 2— 1 〜 ρ、信号処理部 1 0 3 _ 1 〜 ρ、駆動信号発生部 1 0 4— 1 〜 Ρ、位相差検出部 1 0 5— "！〜 ρ及び位相差調整部 1 0 6— 1 〜を含む構成であリ、画像処理部 1 0 8は、撮像部 1 0 7 — 1 〜 ρが出力する映像信号に画像処理を施すものである。

図 3は、第 1 の実施の形態における撮像装置のタイミングチャートである。図 3において、図 3 ( a ) は、光源 1 0 9の発する光量の時間変化を示し、光源 1 0 9は周期 T，の 1 倍の周期である周期 Τ ₂で光量が振幅している矩形波であり、図 3 ( b ). は、撮像素子 1 0 2— 1 ~ pの出力する電気信号の時間変化を示すものであり、図 3 ( c ) は、駆動信号発生部 1 0 4— "！〜 pが発生する周期 T ,の撮影用駆動信号の時間変化を示すものであリ、図 3 ( d ) は、位相差検出部 1 0 5— 1 〜 pが検出する位相差の時間変化を示すものである。

第 1 の実施の形態における撮像装置の動作について、図 2および図 3 を用いて以下に説明する。

まず、光源 1 0 9は、図 3 ( a ) に示すように周期 T ₂で光量が振幅しておリ、撮像部 1 0 7— 1 〜 pに入射される。

次に、撮像部 1 0 7— 1 〜 pに入射された光源 1 0 9が発する光は、レンズ 1 0 1 — 1 〜 pで結像され、撮像素子 1 0 2— 1 〜 pにおいて電気信号に変換される。この為、図 3 ( b ) に示すように、光源 1 0 9が発する光量と同じ位相をもつ電気信号が撮像素子 1 0 2 _ 1 〜 _Pから出力される。

次に、電気信号は、信号処理部 1 0 3— 1 〜 p及び位相差検出部 1 0 5 - 1 ~ pに入力される。

次に、位相差検出部 1 0 5— 1 〜では、入力した電気信号の位相と駆動信号発生部 1 0 4— 1 〜 pが出力する撮影用駆動信号との位相差 Δ Tを検出する。ここでは、光量の周期 T ₂は、撮影用駆動信号の周期丁の 1 倍であるため、各信号の立ち上がりの時間差を位相差とし、図 3 ( d ) に示すように、時刻 t 2から t 3の間が位相差厶 Tとなる。また、光量の周期 T ₂が、撮影用駆動信号の周期 T，の K倍である場合は、 K種類の位相差 Δ Tが算出されるが、最小の位相差 Δ Tを複数の撮像部 1 0 7— 1 〜 Pの撮影用駆動信号の位相とする。次に、位相差調整部 1 0 6— 1 ~ p力位相差 Δ Tを用いて撮影用駆動信号の位相を調整するための位相調整信号を出力する。図 3 ( c ) に示すように、時刻 t 3から始まる撮影用駆動信号は、位相調整を行い、周期 T 一△ Tとすることで、時刻 t 6で終了し、次の周期からは、撮像素子 1 0 2— "！〜 pの電気信号と位相が一致する。

なお、図 3 ( c ) では、複数の撮像部 1 0 7— 1 ~ pに共通な位相差目標値△ T _t = 0である場合を図示しているが、位相差 Δ Tが△ T _tであれば、撮像素子 1 0 2— "！〜 pの電気信号と駆動信号の位相が一致してなくとも、位相調整を終了する。

次に、駆動信号発生部 1 0 4— 1 ~ pが、位相調整信号により位相を調整した撮影用駆動信号を発生させる。これにより、駆動信号発生部 1 0 4— "！〜 pは、光源 1 0 9が発する光量の位相と一致した撮影用駆動信号を発生するため、光源 1 0 9が入射される複数の撮像部 1 0 7— 1 〜 pの撮影タイミングを同期することができる。つまり、信号処理部 1 0 3 — 1 〜 pは、いずれも、同一タイミングの撮影用駆動信号に同期したピクチャ列からなる映像信号を生成する。

次に、画像処理部 1 0 8が、撮像部 1 0 7— 1 ~ pから入力された撮影タイミングの同期した映像信号に含まれる画像に対して画像処理を施す。

以上のように、第 1 の実施の形態の撮像装置は、撮像部 1 0 7— "！〜 Pに入射される光源 1 0 9の振幅位相と撮像部 1 0 7— 1 ~ pの撮影用駆動信号の位相とを一致させることで、コス卜負荷を増加する同期信号発生部を省略し、設置負荷を増加させる複数の撮像部 1 0 7— 1 〜 pの結線を削減することができる。

なお、第 1 の実施の形態の撮像装置では、位相の検出に撮像素子 1 0 2 — 1 〜 pの電気信号の立ち上がリェッジを用いたが、これに限定するものではない。

また、第 1 の実施の形態の撮像装置では、光源 1 0 9が発する光量の周期 T ₂を周期丁，の 1 倍の周期としたが、例えば、図 4に示されるように、光源 1 0 9が発する光量の周期 T ₂が周期 T の K倍（ Kは自然数）としても、 P L L ( P h a s e L o c k e d L o o p ) 回路等を用いることで、光源 1 0 9が発した光量の位相を基準値として同期されるので、同様の作用が得られる。

また、第 1 の実施の形態の撮像装置は、光源 1 0 9が発する光がどのような経路で撮像部 1 0 7 — 1 〜 pに入射されたかを規定するものではない。例えば、光源 1 0 9が発する光が何かしらの物体などで反射され、その反射光が撮像部 1 0 7 — 1 〜 pに入射されるのであれば、同様の作用が得られることはいうまでもない。

また、第 1 の実施の形態の撮像装置では、光源 1 0 9が発する光を受光するセンサと対象物を撮像するセンサとが同一（撮像素子 1 0 2— 1 〜 p ) であったが、図 5に示されるように、光源 1 0 9が発する光を受光する受光センサ 1 2 0— 1 ~ pと対象物を撮影する撮像素子 1 0 2— 1 〜 Pとを別に設けてもよい。このときには、位相差検出部 1 0 5— 1 〜 pは、受光センサ 1 2 0— 1 〜 pからの電気信号と駆動信号発生部 1 0 4一 1 〜 pからの撮影用駆動信号との位相差を検出すればよい。

(第 2の実施の形態）

次に、本発明の第 2の実施の形態における撮像装置について説明する。第 2の実施の形態では、撮像素子のタイプが第 1 の実施の形態と異なる。第 1 の実施の形態では、受光量に対応した電気信号をリアルタイムに出力する撮像素子が用いられたが、第 2の実施の形態では、受光量に対応した電荷を一定時間だけ蓄積し、蓄積した電荷量に対応する電気信号を出力する撮像素子が用いられる。図 6は、第 2の実施の形態における撮像装置の構成図である。

図 6において、撮像素子 2 0 1 — 1 ~ pは、 C C Dのような、駆動信号を必要とし、駆動信号の周期時間だけ光を蓄積し、駆動信号の周期時間毎に蓄積した光の量に比例するレベルをもつ電気信号を出力するものであり、駆動信号発生部 2 0 3 — "！〜 pは、撮像素子 2 0 1 — 1 〜 p及び信号処理部 1 0 3 — "！〜 pを駆動させる周期 Τ の撮影用駆動信号を発生するものである。光源用駆動信号発生部 2 0 6は、光源 2 0 5を駆動させる周期の Κ倍の周期である周期 Τ ₂の光源用駆動信号を発生するものである（ Κは自然数）。

また、最大振幅検出部 2 0 2— 1 〜 ρは、撮像素子 2 0 1 — "！〜 ρが出力する電気信号の振幅を検出し、予め求められている最大振幅となるまで、駆動信号発生部 2 0 3— "！〜 ρが出力する撮影用駆動信号の位相を調整するものであリ、光源 2 0 5は、光源用駆動信号発生部 2 0 6が出力する光源用駆動信号により駆動され、周期 Τ ₂で、光量が変化するものである。

また、撮像部 2 0 4— 1 〜 ρは、レンズ 1 0 1 — 1 〜 ρ、撮像素子 2 0 1 — 1 〜 ρ、信号処理部 1 0 3 — 1 〜 ρ、駆動信号発生部 2 0 3 — 1 〜 Ρ、最大振幅検出部 2 0 2— 1 〜 ρから構成されるものである。なお、レンズ 1 0 1 — 1 〜 ρ、信号処理部 1 0 3— "！〜 ρ及び画像処理部 1 0 8は第 1 の実施の形態と同様であるため、ここでの説明は省略する。

次に、第 2の実施の形態における撮像装置の動作について詳細に説明する。

囱 7 ( a ) は、光源 2 0 5が発する光量の時間変化を示したものであリ、縦軸は、光量であり、横軸は時刻を示し、図 7 ( b ) は、駆動信号発生部 2 0 3 — "！〜 pが出力する撮影用駆動信号の時間変化を示したものであり、縦軸は、駆動信号レベルを示し、横軸は、時刻を示し、図 7 ( c ) は、撮像素子 2 0 1 — "！〜 pが出力する電気信号の時間変化を示すものであり、縦軸が、電気信号の電圧値を示し、横軸が、時刻を示す。なお、縦軸の時刻は、図 7 ( a ) から（ c ) において共通である。

ここで、図 7 ( a ) の光量の振幅波形は、奇関数と定数値の加算で表される。周期を T ₂、直流波の振幅を A。、各正弦波の振幅を A _nとすると、光源 2 0 5が発する光量の振幅波形は、以下の式 1 で表される光量の振幅波形 f _L ( t ) をもつ。

(式 1 )

なお、周期 T ₂は周期 T の 2倍の周期として説明する。また、 Nは光蓄積期間の番号を示すものである。

まず、上記式 1 に示す光量の振幅波形 f し ( t ) をもつ光源 2 0 5が発する光量は、撮像部 2 0 4— "！〜 pに入射される。

次に、入射された光は、撮像部 2 0 4— "！〜 pのレンズ 1 0 1 — "！〜 Pで結像され、撮像素子 2 0 1 — "！〜 pにおいて電気信号に変換される。次に、撮像素子 2 0 1 — 1 〜 pは、周期 T 時間だけ光を蓄積し、周期丁，時間毎に蓄積した光量に比例する電圧値をもつ電気信号を出力する。この為、以下の式 2で示される電気信号 F ( N ) が撮像素子 2 0 1 一 1 〜 pから出力され、信号処理部 1 0 3— 1 〜 p及び最大振幅検出部 2 0 2 — 1 〜 pに入力される。

(式 2 ) F(N)

^Ξί ^ ¹2 2 ^Λ2

T₂ -2 であるので

次に、最大振幅検出部 2 0 2 — 1 〜 pは、入力された電気信号 F ( N ) の振幅 A。 _{u t}を検出する。

ここで、光蓄積期間 N = 2 a ( aは正の整数）に蓄積した光の量に比例する電圧値をもつ電気信号 F ( 2 a ) と、光蓄積期間 N = 2 a + 1 に蓄積した光の量に比例するレベルをもつ電気信号 F ( 2 a + 1 ) に注目する。電気信号 F ( 2 a ) は、以下の式 3で表され、電気信号 F ( 2 a + 1 ) は、以下の式 4で表され、これらはお互い交互に撮像素子 2 0 1 一 "！〜 pから出力される電気信号である。なお、第 2の実施の形態では、 2 a = 0であり、 2 a + 1 = 1 である。

(式 3 )

² "+3)^Γι · Λ4α+ ΐμ(4η + 3) π(4η + 3)

π 2

_ΛΓ1+

π^Τι

+

(式 4 )

ここで、図 7 ( a ) の時刻 t 1 から t 6までの光量は、図 7 ( b ) の光蓄積期間 N = 0で撮像素子 2 0 1 — "！〜 pに蓄積され、撮像素子 2 0 1 — 1 〜 pは、図 7 ( c ) の時刻 t 6から t 1 0に蓄積した光量を電気信号として出力する。また、図 7 ( a ) の時刻 t 6から t 1 0までの光量は、図 7 ( b ) の光蓄積期間 N = 1 で撮像素子 20 1 — 1 〜 pに蓄積され、撮像素子 2 0 1 — "！〜 pは、図 7 ( c ) の時刻 t 1 0から t 1 4 に蓄積した光量を電気信号として出力する。

また、時間 T d - b x T ( bは正の整数）である場合に、電気信号 F ( 2 a ) が最大値となり、電気信号 F ( 2 a + 1 ) が最小値となるか、電気信号 F ( 2 a ) が最小値となり、電気信号 F ( 2 a + 1 ) が最大値となリ、撮像素子 20 1 — 1 〜 pから出力される電気信号は最大振幅幅をもつことになる。

次に、検出された振幅 A。 _{u t}から最大振幅 A_{m a x}を減算した振幅誤差 △ Aを算出し、振幅誤差△ Aに対応した光源 2 0 5の光量の時間変化と撮像部 2 0 4— "！〜 pの撮影用駆動信号との位相差を示す時間 T _dを算出する。

ここで、振幅誤差 Δ Α = 0である場合は、複数の撮像素子 2 0 1 — 1 ~ Ρの電気信号の振幅の一致を示すため、撮影用駆動信号の位相の調整は不要となる。また、振幅誤差△ A≠ 0である場合は、位相差を示す時間 T _dを用いて撮影用駆動信号の周期 Τ を短縮又は伸長する位相調整用期間を設け、駆動信号の位相調整した後に、再度、撮像素子 2 0 1 — 1 〜 Ρの電気信号の振幅 A。 _{u t}を検出し、最大振幅 A_{m a x}と比較する。以上のように、第 2の実施の形態は、光源 2 0 5の光量を用いて複数の撮像部 20 4— "！〜 pの位相を調整することにより、コスト負荷を大きくする同期信号発生部と、設置負荷を大きくする複数の撮像部 2 04 - 1 〜 pへの配線とを不要とすることができる。

なお、本実施形態 2の本発明の撮像装置では、光源 2 0 5が発する光量の振幅波形を奇関数と定数値の加算で表される波形としたが、周期を T ₂、直流波の振幅を A。、各余弦波の振幅を A _πとする、以下の式 5で示される偶関数と定数値の加算で表される波形であれば、撮像素子 2 0 1一 1 〜 pから出力される電気信号は、以下の式 6、電気信号 F ( 2 a ) は、以下の式 7、電気信号 F ( 2 a + 1 ) は、以下の式 8で表される。 (式 5 )

(式 6 )

(JV+1)T₁₊T,

F(N)= A₀T S A„T,

in(^ ((N + +T_d))- sin(^ (NT, + T_d ))}

Λ Τ.+Τ, «-=1 τつ τつ

T₂ =27； )

2 _4n+3)?V— (4" ₊ 3) ₂Ν 1) ι ^π(4η+3)Τ_α)

2 τ、

(式 7 )

¹ -IQJL Ι一 sm (- sin (- ^ 、

^(2M+I)^I . .Jt(2n

= Α_η 一

n-O

(式 8 )

^ ^{π 2 +} Τ, ^d

ここで、時間 T d = ( b + 7Γ / 2 ) X T である場合に、電気信号 F ( 2 a ) が最大値となリ、電気信号 F ( 2 a + 1 ) が最小値となるか、電気信号 F ( 2 a ) が最小値となリ、電気信号 F ( 2 a + 1 ) が最大値となり、撮像素子 2 0 1 — "！〜 pから出力される電気信号は最大振幅幅をもつことになる。

また、第 2の実施の形態は、光源 2 0 5が発する光がどのような経路で撮像部 2 0 4— 1 ~ pに入射されたかを規定するものではない。例えば、光源 2 0 5が発する光が何かしらの物体などで反射され、その反射光が撮像部 2 0 4— 1 〜 pに入射されるのであれば、本発明の撮像装置と同様の作用が得られることはいうまでもない。

(第 3の実施の形態）

次に、本発明の第 3の実施の形態における撮像装置について説明する。第 3の実施の形態では、光源の光量を検知するのに、撮像素子全体からの電気信号を用いるのではなく、 2次元に構成された撮像素子のうち、光源が撮影された一部の領域における撮像素子から出力される電気信号を用いる点に特徴を有する。

図 8は第 3の実施の形態における撮像装置の構成を示す図である。図 8において、光源領域設定部 5 0 1 — 1 〜 pは、撮像素子 2 0 1 — "！〜 Pが出力する電気信号において、光源 2 0 5が発する光が結像する領域を限定するものであり、撮像部 5 0 2 — 1 〜 pは、レンズ 1 0 1 — 1 〜 P、撮像素子 2 0 1 — 1 〜 p、信号処理部 1 0 3 — 1 〜 p、駆動信号発生部 2 0 3 — 1 〜 p、最大振幅検出部 2 0 2 — "！〜 p及び光源領域設定部 5 0 1 - 1 〜 pを含む構成である。

なお、レンズ 1 0 1 — 1 ~ p、撮像素子 2 0 1 — 1 〜 p、信号処理部 1 0 3 — 1 〜 p、駆動信号発生部 2 0 3 — 1 〜 _P、最大振幅検出部 2 0 2 — 1 〜 p、画像処理部 1 0 8、光源 2 0 5及び光源用駆動信号発生部 2 0 6は、第 2の実施の形態と同様であるため、ここでの説明は省略する。

第 3の実施の形態における撮像装置の動作について、図 8を用いて以下に説明する。

光源 2 0 5が発する光が撮像素子 2 0 1 — 1 ~ pの一部に結像している場合、光源 2 0 5が発する光ではない結像に対応する電気信号によリ位相差検出が乱され、その結果、撮像部 5 0 2 — 1 ~ pの位相調整に影響を及ぼすことが考えられる。そこで、第 3の実施の形態では、撮像素子 2 0 1 - 1 〜 pの出力する電気信号から、位相調整に不要な電気信号を取り除くことにより、位相調整の精度を向上している。

光源領域設定部 5 0 1 — "！〜 pは、光源 2 0 5が発する光は、他の光の光量に比べ、光量が高いため、撮像素子 2 0 1 — 1 〜 pが出力する電気信号の中で、予め定めた電気信号レベル以上の領域を光源領域として設定する。たとえば、図 9に示されるように、 2次元に構成された受光素子からなる撮像素子 2 0 1 一 1 〜 pのうち、一定レベル以上の電気信号を出力する（間欠であってもよい）受光素子を含む矩形領域を特定し、特定された矩形領域から出力される電気信号を光源の光量に対応する電気信号として、最大振幅検出部 2 0 2 — "！〜 pに出力する。

最大振蝤検出部 2 0 2— "！〜 pは、光源領域設定部 5 0 1 — "！〜 pが設定した光源領域の電気信号から、第 2の実施の形態と同様に光量の振幅を検出し、駆動信号発生部 2 0 3 — "！〜 pの撮影用駆動信号の位相を調整するこことで、複数の撮像部 5 0 2— 1 ~ _Pの位相を調整することができる。

以上のように、第 3の実施の形態は、撮像素子 2 0 1 — "！〜 pの出力する電気信号から光源 2 0 5以外が発する光に対応する電気信号を取り除くことで、光源 2 0 5の光量の時間変化を正確に検出することができるため、複数の撮像部 5 0 2 — 1 〜 pの位相調整の精度を向上することができる。

また、第 3の実施の形態の本発明の撮像装置は、光源 2 0 5が発する光がどのような経路で撮像部 5 0 2— 1 〜 pに入射されたかを規定するものではない。例えば、光源 2 0 5が発する光が何かしらの物体などで反射され、その反射光が撮像部 5 0 2— 1 〜 pに入射されるのであれば、本発明の撮像装置と同様の作用が得られることはいうまでもない。

また、第 3の実施の形態の撮像装置では、第 2の実施の形態の撮像装置に、光源領域設定部 5 0 1 — "！〜 pを追加した構成としているが、第 1 の実施の形態の撮像装置に、光源領域設定部 5 0 1 一 1 ~ pを追加した構成としても、同様の効果を得ることができる。

(第 4の実施の形態）

次に、本発明の第 4の実施の形態における撮像装置について説明する。第 4の実施の形態では、光源が対象物に装着されているために、対象物の向きや動き等によっては、複数の撮像部全てが必ずしも光源を撮影できるとは限らないために、光源の光量変化に同期して撮影された場合にだけ、映像信号を出力するようにした点に特徴を有する。

図 1 0は、第 4の実施の形態における撮像装置の構成を示す図である。図 1 0において、対象物 6 0 3は、光源 2 0 5、駆動信号発生部 2 0 3 一 1 〜 pを含む構成であり、撮像部 6 0 2— "！〜 pの撮影対象であり、映像信号選択部 6 0 1 — 1 〜 pは、最大振幅検出部 2 0 2 — "！〜 pが出力する位相調整信号から撮影用駆動信号の位相調整量を検出し、位相調整量が 0である場合は、信号処理部 1 0 3— 1 〜 pから入力される映像信号を選択し、位相調整量が 0で無い場合は、無信号を選択するものである。

また、撮像部 6 0 2— "！〜 pは、レンズ 1 0 1 — 1 〜 _P、撮像素子 2 0 1 — 1 〜 p、信号処理部 1 0 3 — 1 〜 p、駆動信号発生部 2 0 3— 1 ~ p、最大振幅検出部 2 0 2— "！〜 p及び映像信号選択部 6 0 1 — 1 〜 Pを含む構成である。

なお、レンズ 1 0 1 — 1 〜 p、撮像素子 2 0 1 — 1 〜 p、信号処理部 1 0 3 — 1 〜 p、駆動信号発生部 2 0 3 — 1 〜 p、最大振幅検出部 2 0 2 — "！〜 p、画像処理部 1 0 8、光源 2 0 5及び光源用駆動信号発生部 2 0 6は、第 2の実施の形態と同様であるため、ここでの詳細な説明は省略する。

また、この第 4の実施の形態では、光源 2 0 5は、図 1 1 に示されるように、対象物（例えば、ロボット）の特定位置（例えば、胸）に装着されている。したがって、ロボットの向きや動きによっては、複数の撮像部 6 0 2— "] 〜 pのいずれかは、光源 2 0 5を撮影することができなくなる。そのために、この第 4の実施の形態では、光源 2 0 5からの光量変化に同期して撮影ができた撮像部からの映像信号だけを画像処理部 1 0 8に出力するようにしている。図 1 0に示す第 4の実施の形態における撮像装置の動作について、図 1 0を用いて以下に説明する。第 4の実施の形態における撮像装置の位相調整の動作は、第 2の実施の形態と同様であり、ここでの詳細な説明は省略する。

まず、撮像素子 2 0 1一 1 〜 pは、対象物 6 0 3に備えられた光源 2 0 5からの光量に対応した電気信号を出力し、最大振幅検出部 2 0 2— 1 〜 Pは、撮影用駆動信号の位相調整を行う。ここで、複数の撮像部 6 0 2 - 1 〜 pが広範囲に設置されている場合に、対象物 6 0 3を撮影することのできる撮像部 6 0 2 — 1 〜 pから順に位相調整を行うことになる。

次に、最大振幅検出部 2 0 2— 1 〜 pが、撮像素子 2 0 1 — "！〜 pの電気信号の振幅から撮影用駆動信号の位相を調整する位相調整信号を、駆動信号発生部 2 0 3 — 1 〜 p及び映像信号選択部 6 0 1一 1 〜 pに出力する。

次に、映像信号選択部 6 0 1 — "！〜 pは、位相調整信号から撮影用駆動信号の位相調整量を検出し、位相調整量が 0である場合は、撮像部 6 0 2 — 1 〜 pの撮影用駆動信号の位相調整が終了していることを示すため、信号処理部 1 0 3— 1 〜 pの映像信号を画像処理部 1 0 8に出力し、位相調整量が 0でない場合は、撮像部 6 0 2— "！〜 pの撮影用駆動信号の位相調整が終了していないことを示すため、無信号を画像処理部 1 0 8に出力する。

このため、撮像部 6 0 2— 1 〜 pが複数設置されている場合に、位相調整の終了した撮像部 6 0 2 — 1 〜 pから映像信号を画像処理部 1 0 8 に出力するため、設置した全ての撮像部 6 0 2— 1 〜 pの位相調整が終了していなくとも、対象物 6 0 3の画像処理を行うことが可能となる。以上のように、第 4の実施の形態は、位相調整量に応じて、映像信号の出力を選択する映像信号選択部 6 0 1 — "！〜 pを設けることにより、位相調整が終了した映像信号のみを撮像部 6 0 2— 1 〜 pから出力することが可能となり、全ての撮像部 6 0 2 — 1 〜 pの位相調整が終了していなくとも、同期のとれた画像処理を行うことが可能となる。

また、第 4の実施の形態の撮像装置では、映像信号選択部 6 0 1 — 1 ~ Pを第 2の実施の形態の撮像装置に組み込んだ構成について説明したが、第 1 及び第 3の実施の形態の撮像装置に組み込んだとしても、同様の効果が得られることはいうまでもない。

以上、本発明に係る撮像装置について、第 1 〜第 4の実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。

たとえば、上記実施の形態では、光源は、撮影対象物と同一視野内に設置されたが、異なる視野内に設置されてもよい。たとえば、図 1 2に示されるように、撮影対象物がサッカー競技場である場合に、サッカー競技場の外に、一定周期で光量が変化する光源 1 3 1 を設置しておく。そして、一定時間間隔、あるいは、サッカー競技場を撮影する必要がない時に、各撮像部 1 3 0— 1 〜 pは、撮影方向を変化させて、光源 1 3 1 を撮影し、同期合わせ（光源の光量変化と内部の撮影用駆動信号との同期合わせ）を行う。同期合わせが終了したら、再び、各撮像部 1 3 0 一 "！〜 pは、撮影方向を変化させて、サッカー競技場を撮影する。これによって、光源を撮影対象物の近くに設置しておく必要がなくなる。また、光源は、常時、光量を変化させている必要はない。たとえば、図 1 2に示された撮像装置において、撮像部 1 3 0— 1 と撮像部 1 3 0 一 2とが光源 1 3 1 を撮影し、同期合わせをするときにだけ、光源 1 3 1 が一定周期で光量を変化させればよい。これによつて、光源の発光に要する電力が節約される。以上のように本発明によれば、既知の周期で時間変化する光源を用いて複数の撮像部の駆動信号の位相調整を行うことにより、コスト負荷を大きくする同期信号発生部を不要とし、更に、設置負荷を大きくする複数の撮像装置間の配線を不要とし、複数の撮像部の撮影タイミングの同期をとることが可能となる。産業上の利用の可能性

本発明は、ビデオカメラ等の撮像装置として、特に、複数の撮像装置を用いて同一の対象物を同期して撮像するのに適した撮像装置及び映像システム等として利用することができる。

Claims

請求の範囲

1 . 一定周期で光量が変化する光源が設けられた空間において移動する対象物を撮影する撮像装置であって、

前記光源からの光を受光し、電気信号に変換する光源検出手段と、前記光源検出手段からの電気信号に同期する信号を生成し、駆動信号として出力する駆動信号生成手段と、

前記対象物を撮像する撮像手段と、

前記撮像手段から出力される信号に基づいて、前記駆動信号に同期したピクチャ列からなる映像信号を生成する信号処理手段と

を備えることを特徴とする撮像装置。

2 . 前記駆動信号生成手段は、

前記光源検出手段からの電気信号と前記駆動信号との位相差を検出する位相差検出部と、

検出された位相差が予め定められた値になるように、前記駆動信号の位相調整を行う位相調整部とを有する

ことを特徴とする請求の範囲 1 記載の撮像装置。

3 . 前記駆動信号生成手段は、前記光源の光量が変化する周期の 1 K ( Kは自然数）の周期となる信号を生成し、生成した信号を前記駆動信号として出力する

ことを特徴とする請求の範囲 1 記載の撮像装置。

4 . 前記光源検出手段と前記撮像手段とは、同一の撮像素子であることを特徴とする請求の範囲 1 記載の撮像装置。

5 . 前記光源検出手段は、前記駆動信号の周期時間だけ前記光源の光を蓄積し、蓄積した光の量に比例するレベルをもつ電気信号を前記駆動信号の周期時間毎に出力し、

前記駆動信号生成手段は、前記光源検出手段からの電気信号の振幅が最大となるように、前記駆動信号の位相調整を行う最大振幅検出部を有する

ことを特徴とする請求の範囲 1 記載の撮像装置。

6 . 前記光源検出手段は、 2次元的に受光素子が配列された撮像素子であり、

前記撮像装置はさらに、前記撮像素子のうち、前記光源が撮像された領域を光源領域として設定する光源領域設定手段を備え、

前記駆動信号生成手段は、前記光源領域設定手段で設定された光源領域の受光素子からの電気信号に基づいて、前記駆動信号を生成する

ことを特徴とする請求の範囲 1 記載の撮像装置。

7 . 前記光源領域設定部は、前記受光素子のうち、予め定められたレべル以上の電気信号を出力する受光素子を含む領域を前記光源領域として設定する

ことを特徴とする請求の範囲 4記載の撮像装置。

8 . 前記撮像装置はさらに、前記光源検出手段からの電気信号に同期する信号を生成することができたか否かを判断し、その判断結果に応じて、前記信号処理手段により生成された映像信号又は無信号を選択し、選択した信号を出力する映像信号選択手段を備えることを特徴とする請求の範囲 1 記載の撮像装置

9 . 前記駆動信号生成手段は、前記光源検出手段からの電気信号に同期するように前記駆動信号の位相調整を行う位相調整部を有し、

前記映像信号選択手段は、前記位相調整部での位相調整量が 0である場合に前記映像信号を選択し、 0でない場合に前記無信号を選択することを特徴とする請求の範囲 8記載の撮像装置。

1 0 . —定周期で光量が変化する光源が設けられた空間において移動する対象物を撮影する撮像方法であって、

前記光源からの光を受光し、電気信号に変換する光源検出ステップと、前記光源検出ステップで得られた電気信号に同期する信号を生成し、駆動信号として出力する駆動信号生成ステップと、

前記対象物を撮像する撮像ステップと、

撮像ステップで得られた信号に基づいて、前記駆動信号に同期したピクチャ列からなる映像信号を生成する信号処理ステップと

1 1 . 一定周期で光量が変化する光源が設けられた空間において移動する対象物を撮影する撮像装置のためのプログラムであって、

請求の範囲 1 0記載の撮像方法に記載されたステップをコンピュータに実行させる

ことを特徴とするプログラム。

1 2 . 複数の撮像装置を用いて同一の対象物を同期して撮像する方法であって、

一定周期で光量が変化する光源を設け、前記複数の撮像装置が前記光量の変化に同期させて前記対象物を撮像することを特徴とする撮像方法

1 3 . 前記複数の撮像装置は、同一の撮像素子を用いて、前記光量の変化を検知するとともに前記対象物を撮像する

ことを特徴とする請求の範囲 1 2記載の撮像方法。

1 4 . 前記光源を前記対象物に装着させておく

ことを特徴とする請求の範囲 1 2記載の撮像方法。