以下、本発明の撮像システムの好適な実施の形態につき図面を用いて説明する。なお、図中、同一符号は同一又は相当部分を示す。
実施の形態1.
図1は本発明の実施の形態1による撮像システムを搭載した移動体1を進行方向から見たときの正面図である。なお、図1は、本実施の形態の撮像システムの概略構成を説明するための概念図となっている。本実施の形態の撮像システムは、移動体1に搭載されたカメラで、移動体1の周辺の撮像領域を撮像する移動撮像システムであり、移動体1の移動に伴って撮像領域の位置が変化する。移動体1には第1の視野13を撮像するように第1のカメラ11と第1の照明装置12が設置されている。同様に第2の視野16を撮像するように第2のカメラ14と第2の照明装置15が設置されており、第3の視野19を撮像するように第3のカメラ17と第3の照明装置18が設置されている。複数のエリアのうち互いに異なる1つのエリアの画像をそれぞれ撮像するように各カメラは移動体1に設置され、各カメラで撮像されるエリアを照明するように各照明装置は設置される。
すなわち、移動体1には、カメラと照明装置とを備える撮像装置の複数の組が搭載されている。第1のカメラ11と第1の照明装置12とが第1の撮像装置の組であり、第2のカメラ14と第2の照明装置15とが第2の撮像装置の組であり、第3のカメラ17と第3の照明装置18とが第3の撮像装置の組である。各照明装置は、同じ組に属するカメラで撮像される領域を照明する。なお、第1の視野13は、第1のカメラ11が撮像する第1の撮像領域に相当し、第1の照明装置12は第1の撮像領域を照明する。また、第2の視野16は、第2のカメラ14が撮像する第2の撮像領域に相当し、第2の照明装置15は第2の撮像領域を照明する。また、第3の視野19は、第3のカメラ17が撮像する第3の撮像領域に相当し、第3の照明装置18は第3の撮像領域を照明する。
撮像対象は移動体1の進行方向を軸とした周方向に広がっており、第1のカメラ11、第2のカメラ14、第3のカメラ17によって撮像対象の周方向全体が撮像される。撮像対象は、本実施の形態では例えばトンネル壁面100である。移動体1が移動しながら撮像を続けることにより、移動体1の進行方向を軸とした周方向全体の画像が移動体1の進行方向に連続的に撮像される。以降の記載において、単に周方向と記載した場合には、移動体1の進行方向を軸とした場合の周方向を意味する。より詳細には、周方向とは、移動体1の進行方向を軸とした円柱座標系における周方向である。移動体1がトンネル内を走行する場合には、移動体1の進行方向を軸とした周方向は、トンネルの周方向でもある。
図1に示すように、第2の視野16は、周方向の位置が第1の視野13と異なっている。また、第3の視野19は、周方向の位置が第1の視野13及び第2の視野16のいずれとも異なっている。さらに、第3の視野19の周方向の位置は、第2の視野16の位置を基準とすると第1の視野13とは反対側となる。
移動体1は、自動車、トラック、自動2輪、自転車、軌陸車などの道路を移動する車両、手押し車などの人が移動させる台車、地下鉄を含む鉄道、モノレールなどの軌道上を移動する車両、船舶、飛行体など、移動するものであれば何でも良い。
第1のカメラ11、第2のカメラ14、第3のカメラ17は、ライン撮像素子や2次元撮像素子などの受光素子を搭載したデジタルカメラ、ビデオカメラなどである。第1のカメラ11、第2のカメラ14、第3のカメラ17の感度波長領域は、紫外、可視、近赤外、遠赤外でもよく、テラヘルツ領域でも良い。
本実施の形態では3台のカメラが、トンネル壁面100の周方向の領域を撮像することを想定している。その為、図1のように第1のカメラ11に対応する第1の視野13、第2のカメラ14に対応する第2の視野16、第3のカメラ17に対応する第3の視野19を設定しているが、撮像したい領域に応じてカメラを増減させても良い。例えば、撮像したい領域が周方向に広い場合には、使用するカメラの数を増やしても良い。また、撮像したい領域が周方向に狭い場合には、使用するカメラの数を減らしても良い。また、トンネル壁面100の周方向の領域を隙間なく撮像したい場合は、図1のように第1の視野13、第2の視野16、第3の視野19が交互に重なるように設定しても良い。
また、本実施の形態ではトンネルの壁面を撮像しているが、本発明の撮像システムは、これに限定されるものではない。本発明の撮像システムは、移動体の周囲を撮像するものであれば、トンネルを撮像するものに限定されない。例えば、移動体1の側方に向けてカメラを設置し、移動体1の側方に存在する壁面、建造物などの対象物を撮像することも考えられる。この際、移動体1の左右の側方に向けて複数のカメラを設置しても良いし、高さ方向の異なる角度に向けて複数のカメラを設置しても良い。また、説明を簡単にするために、本実施の形態では各カメラの画角は等しく、撮像対象までの距離も各カメラで等しいものとしているが、これに限定されるわけではなく、各カメラで画角や撮影距離が違ってもよい。
第1の照明装置12、第2の照明装置15、及び第3の照明装置18は、第1のカメラ11、第2のカメラ14、及び第3のカメラ17のそれぞれが撮像するエリアに光を照射して撮像しやすくするもので、各カメラと一対一に対応して移動体1に設置される。例えば、各照明装置は、レーザダイオード、発光ダイオードなどの半導体発光素子、白熱灯、ハロゲンランプ、メタルハライドランプなどを用いて実現される。また、各照明装置から照射される波長は、紫外、可視、近赤外、遠赤外のいずれでもよく、テラヘルツ領域でも良い。各照明装置から照射される波長は、撮像したい物体、形状、カメラの感度波長、環境光の影響などを考慮して選択する。
第1の照明装置12が照明する範囲は第1の視野13を含み、第2の照明装置15が照明する範囲は第2の視野16を含み、第3の照明装置18が照明する範囲は第3の視野19を含むようにする。各視野はできるだけ均一の光量で照明されることが望ましいが、視野内に意図的に明暗分布を作りたい場合は、各照明装置をそのように設計する。各照明装置が照明する範囲や光量は、発光素子の個数や配置、集光レンズやミラーによって調整される。
撮像対象は、道路又は鉄道のトンネル壁面、橋梁の床板、橋梁の上部構造又は下部構造、建築物の壁面、港湾、空港、土手、法面など、1つのカメラの視野に収まらない広さを持つ構造となり、特定のものに限定されない。ひび割れ検査などで、小領域に分けて撮像した画像を合成することで画像の解像度を上げたい場合なども含め、複数のカメラを用いて撮像する場合には本実施の形態は適用できる。
図2は本実施の形態の撮像システムの構成を示すシステム構成図である。制御部2は、時刻取得部31、速度取得部32、第1のカメラ11、第1の照明装置12、第2のカメラ14、第2の照明装置15、第3のカメラ17、第3の照明装置18に制御パターン信号を送る。ここで、制御パターン信号とは各カメラ及び各照明装置の動作タイミングを制御する信号である。制御パターン信号により、各カメラによる撮像や各照明装置による照明がON、OFFにされる。制御パターン信号は、照明装置だけON、OFFにしてもよいし、撮像だけON、OFFにしてもよく、その両方でもよい。
制御パターン信号には、各カメラの動作を制御する撮像制御信号と、各照明装置の動作を制御する照明制御信号と、時刻取得部31及び速度取得部32の動作を制御するデータ取得制御信号とがある。また、撮像制御信号、照明制御信号及びデータ取得制御信号には、ON、OFFの2つの状態がある。制御部2は、撮像制御信号をONにすることによって、カメラの撮像をONにし、撮像制御信号をOFFにすることによって、カメラの撮像をOFFにする。また、制御部2は、照明制御信号をONにすることによって、照明装置をONにし、照明制御信号をOFFにすることによって、照明装置をOFFにする。
ここで、撮像をONにするとは、カメラに露光を開始させることを意味する。また、撮像をOFFにするとは、カメラに露光を終了させることを意味する。すなわち、撮像制御信号がONである期間が、カメラが露光状態となっている期間となる。カメラが露光状態となっている期間は、露光期間と呼ばれる。露光期間の長さは、露光時間と呼ばれる。また、照明装置をONにするとは、照明装置を点灯させることを意味する。また、照明装置をOFFにするとは、照明装置を消灯させることを意味する。すなわち、照明制御信号がONである期間が、照明装置が発光している期間となる。照明装置が発光している期間は、発光期間と呼ばれる。発光期間の長さは、発光時間と呼ばれる。
本実施の形態の撮像システムでは、各カメラ及び各照明装置の動作は、制御パターン信号により制御されることとしたが、制御パターン信号に限定されるものではなく、各カメラ及び各照明装置の動作を個別に切り替えられればよい。時刻取得部31及び速度取得部32に時刻及び速度を取得させる制御の仕方についても限定されない。
速度取得部32は、移動体1の移動速度を測定する速度測定装置であってもよいし、外部に備える測定装置で測定された速度データを取得してもよい。外部から速度データを取得する場合、速度取得部32は、データを取得するインターフェースを備えた電子計算機または電子回路で構成することができる。時刻取得部31も同様に、電子計算機または電子回路で構成することができる。
各カメラは、撮像制御パターン信号がONになると露光を開始し、撮像制御信号がOFFになると露光を終了する。この一連の動作により、各カメラは1枚の画像を撮像する。撮像された画像は各カメラから画像データ保存部41に送られ、画像データ保存部41に保存される。保存された画像データは画像処理部5に送られ、各カメラで撮像された複数枚の画像が合成されて、1枚の合成画像が生成される。画像処理部5の場所は限定されず、移動体1にあってもよいし、外部のクラウド上にあってもよい。画像処理部で合成された画像は、外部へと送出され、トンネル壁面100の異常の有無を検査するために用いられる。
データ取得制御信号に基づき、各カメラの撮像がONになるときの時刻が時刻取得部31で取得される。取得された時刻データは、画像が取得された時の時刻としてとして各画像に対応付けられて、時刻データ保存部43に記憶される。また、各カメラの撮像がONになるときの移動体1の速度が速度取得部32で取得される。取得された速度データは、画像が撮像されたときの速度として各画像に対応付けられて、速度データ保存部42に記憶される。すなわち、速度データ保存部42は、データ記憶部として機能する。データ保存部4は、画像データ保存部41と、速度データ保存部42と時刻データ保存部43を有する。すなわち、それぞれのデータはデータ保存部4へ記憶される。画像と取得した速度の対応付けについては後述する。
本実施の形態の本実施の形態の撮像システムでは、各カメラの撮像がONになるときの時刻、及び各カメラの撮像がONになるときの移動体1の速度を取得する構成としたが、これに限定されるものではない。各カメラの撮像がONである期間のうちの任意のタイミングにおいて、時刻及び速度を取得しても良い。また、移動体1の速度としては、各カメラの撮像がONである間の平均速度を使用しても良い。
図3は、本実施の形態の撮像システムにおいて、各カメラが受け取る撮像制御信号、各照明装置が受け取る照明制御信号、時刻取得部31及び速度取得部32が受け取るデータ取得制御信号の時間変化の例を示している。すなわち、図3は、本実施の形態の撮像システムにおける撮像制御シーケンスの例を示している。図3において、横軸は時間を表しており、縦軸は各信号の状態(ONまたはOFF)を表している。撮像制御信号には、第1の撮像制御信号、第2の撮像制御信号、及び第3の撮像制御信号がある。第1のカメラは、第1の撮像制御信号を受け取り、第1のカメラによる撮像は、第1の撮像制御信号によって制御される。第2のカメラは、第2の撮像制御信号を受け取り、第2のカメラによる撮像は、第2の撮像制御信号によって制御される。第3のカメラは、第3の撮像制御信号を受け取り、第3のカメラによる撮像は、第3の撮像制御信号によって制御される。
また、照明制御信号には、第1の照明制御信号、第2の照明制御信号、及び第3の照明制御信号がある。第1の照明装置は、第1の照明制御信号を受け取り、第1の照明装置による照明は、第1の照明制御信号によって制御される。第2の照明装置は、第2の照明制御信号を受け取り、第2の照明装置による照明は、第2の照明制御信号によって制御される。第3の照明装置は、第3の照明制御信号を受け取り、第3の照明装置による照明は、第3の照明制御信号によって制御される。
言い換えると、第1の撮像制御信号は、第1のカメラ11による撮像のONとOFFとを制御する信号である。また、第1の照明制御信号は、第1の照明装置12による照明のONとOFFとを制御する信号である。また、第2の撮像制御信号は、第2のカメラ14による撮像のONとOFFとを制御する信号である。また、第2の照明制御信号は、第2の照明装置15による照明のONとOFFとを制御する信号である。また、第3の撮像制御信号は、第3のカメラ17による撮像のONとOFFとを制御する信号である。また、第3の照明制御信号は、第3の照明装置18による照明のONとOFFとを制御する信号である。
図3の例では、制御部2は、第1のカメラ11による撮像と第1の照明装置12による照明とがOFFになった後に、第2のカメラ14による撮像と第2の照明装置15による照明とがONになるように制御する。また、制御部2は、第2のカメラ14による撮像と第2の照明装置15による照明とがOFFになった後に、第3のカメラ17による撮像と第3の照明装置18による照明とがONになるよう制御する。また、制御部2は、第3のカメラ17による撮像と第3の照明装置18による照明とがOFFになった後に、第1のカメラ11による撮像と第1の照明装置12による照明とがONになるよう制御する。
第1のカメラ11による撮像及び第1の照明装置12による照明がONになる時刻をt1とし、第1のカメラ11による撮像及び第1の照明装置12による照明がOFFになる時刻をt2とする。第2のカメラ14による撮像及び第2の照明装置15による照明がONになる時刻をt3とし、第2のカメラ14による撮像及び第2の照明装置15による照明がOFFになる時刻をt4とする。第3のカメラ17による撮像及び第3の照明装置18による照明がONになる時刻をt5とし、第3のカメラ17による撮像及び第3の照明装置18による照明がOFFになる時刻をt6とする。
また、時刻取得部31及び速度取得部32によるデータ取得の動作は、データ取得制御信号によって制御される。データ取得制御信号がOFFからONになると、時刻取得部31及び速度取得部32は、時刻データ及び速度データを取得する。
図4A及び図4Bは、図3の制御パターン信号で得られる画像における撮像領域の位置関係の一例を示している。撮像領域は、各画像で撮像される範囲を示す。ここで、カメラの撮像対象はトンネルの壁面であり、図4A及び図4Bはトンネル壁面100を平面に展開して表現した図である。図4A及び図4Bの横方向は、移動体1の進行方向の位置Zを示している。また、図4A及び図4Bの縦方向は、トンネルの周方向におけるトンネル壁面100の位置を示している。すなわち、移動体1の進行方向を円柱の軸とした円柱座標系において、トンネル壁面100上における撮像領域の位置をその円柱座標系で表現した場合に、図4A及び図4Bの横方向は円柱座標系の軸方向の位置Zを表し、図4A及び図4Bの縦方向は円柱座標系の周方向の位置θを表している。
図4A及び図4Bにおいて、撮像領域A1及びA2は、第1のカメラ11によって取得される画像A−1及びA−2において撮像される範囲を表しており、A1とA2とは、撮像されるタイミングが異なっている。同様に、撮像領域B1及びB2は、第2のカメラ14によって取得される画像B−1及びB−2において撮像される範囲を表しており、撮像領域C1及びC2は、第3のカメラ17によって取得される画像C−1及びC−2において撮像される範囲を表している。
ここで、第1のカメラ11によって取得される画像A−1及びA−2を第1の画像と呼び、第2のカメラ14によって取得される画像B−1及びB−2を第2の画像と呼び、第3のカメラ17によって取得される画像C−1及びC−2を第3の画像と呼ぶ。また、撮像領域A1及び撮像領域A2を第1の撮像領域と呼び、撮像領域B1及び撮像領域B2を第2の撮像領域と呼び、撮像領域C1及び撮像領域C2を第3の撮像領域と呼ぶ。
図4Aにおいて、Z1は、移動体1の進行方向における撮像領域A1の位置と撮像領域B1の位置との相違量を示しており、Z2は、移動体1の進行方向における撮像領域A1の位置と撮像領域A2の位置との相違量を示している。なお、説明を簡単にするために図4A及び図4Bでは示していないが、第1の撮像領域、第2の撮像領域、第3の撮像領域は、一部が互いに重なっていても良い。言い換えると、第1の視野13、第2の視野16、第3の視野19は重なっていてもよい。また、説明を簡単にするために、図4A及び図4Bでは、移動体1の移動速度が変化しない場合を想定している。
図3、図4A及び図4Bを用いて、処理のフローについて説明する。時刻t1において、第1の撮像制御信号及び第1の照明制御パターン信号がONになると、第1のカメラ11は露光を開始し、第1の照明装置12は発光を開始する。次に、時刻t2において、第1の撮像制御信号及び第1の照明制御信号がOFFになると、第1のカメラ11は露光を終了し、第1の照明装置12は発光を終了する。時刻t1からt2までの間に、第1のカメラ11は図4Aの範囲A1を撮像し、画像A−1を生成する。画像A−1は、データ保存部4にある画像データ保存部41に保存される。なお、本実施の形態では第1のカメラ11と第1の照明装置12を別々に制御しているが、第1のカメラと第1の照明装置をひとつの制御パターン信号で制御してもよく、制御の仕方は限定されない。
また、時刻t1において、データ取得制御信号がONになると、時刻取得部31は時刻の取得を開始し、速度取得部32は移動体1の移動速度の取得を開始する。時刻t2において、データ取得制御信号がOFFになると、得られた時刻データはデータ保存部4にある時刻データ保存部43に保存され、得られた速度データはデータ保存部4にある速度データ保存部42に保存される。取得された時刻データと、速度データとは、対応付けて記憶される。速度取得部32では、レーザ又は電波を用いた車速測定装置、オドメーター、ピトー管などで計測された速度を取得する。また速度取得部32自体が速度を測定してもよい。
次に、時刻t3において、第2の撮像制御信号及び第2の照明制御信号がONになると、第2のカメラ14は露光を開始し、第2の照明装置15は発光を開始する。時刻t3は時刻t2より後になるため、第2のカメラ14の露光や第2の照明装置の発光が開始されるときには、第1のカメラ11は露光しておらず第1の照明装置12は発光していない。次に、時刻t4において、第2の撮像制御信号及び第2の照明制御信号がOFFになると、第2のカメラ14は露光を終了し、第2の照明装置15は発光を終了する。時刻t3からt4までの間に、第2のカメラ14は図4Aの範囲B1を撮像し、画像B−1を生成する。画像B−1は、データ保存部4にある画像データ保存部41に保存される。移動体1は移動しているので、図4Aに示すように第2のカメラ14で撮像される範囲B1は、第1のカメラ11で撮像される範囲A1と比較して、進行方向に移動した範囲となる。
また、時刻t3において、データ取得制御信号がONになると、時刻取得部31は時刻の取得を開始し、速度取得部32は移動体1の移動速度の取得を開始する。時刻t4において、データ取得制御信号がOFFになると、得られた時刻データはデータ保存部4にある時刻データ保存部43に保存され、得られた速度データはデータ保存部4にある速度データ保存部42に保存される。取得された時刻データと、速度データとは、対応付けて記憶される。
次に、時刻t5において、第3の撮像制御信号及び第3の照明制御信号がONになると、第3のカメラ17は露光を開始し、第3の照明装置18は発光を開始する。時刻t5は時刻t4より後になるため、第3のカメラ17の露光や第3の照明装置18の発光が開始されるときには、第2のカメラ14は露光しておらず第2の照明装置15は発光していない。次に、時刻t6において、第3の撮像制御信号及び第3の照明制御信号がOFFになると、第3のカメラ17は露光を終了し、第3の照明装置18は発光を終了する。時刻t5からt6までの間に、第3のカメラ17は図4Aの範囲C1を撮像し、画像C−1を生成する。画像C−1は、データ保存部4にある画像データ保存部41に保存される。移動体1は移動しているので、図4Aに示すように第3のカメラ17で撮像される範囲C1は、第2のカメラ14で撮像される範囲B1と比較して、進行方向に移動した範囲となる。
また、時刻t5において、データ取得制御信号がONになると、時刻取得部31は時刻の取得を開始し、速度取得部32は移動体1の移動速度の取得を開始する。時刻t6において、データ取得制御信号がOFFになると、得られた時刻データはデータ保存部4にある時刻データ保存部43に保存され、得られた速度データはデータ保存部4にある速度データ保存部42に保存される。取得された時刻データと、速度データとは、対応付けて記憶される。
なお、本実施の形態では、制御部2は、各カメラが露光状態となっている期間が、他のカメラが露光状態となっている期間のいずれとも重ならないように制御しているが、これに限定されるものではない。制御部2は、複数の照明装置の全てが同時に点灯することがないように各照明装置の発光期間を制御すれば、ピーク電力を削減する効果を得ることができる。また、本実施の形態では、制御部2が制御パターン信号を生成することにより、各カメラ及び各照明装置の動作のタイミングを制御しているが、制御の方法はこれに限定されるものではない。
さらに、図3に示す動作シーケンスは、あくまで一例である。図3に示す動作シーケンスでは、制御部2は、時刻t1において、第1の撮像制御信号、第1の照明制御制御パターン信号、及びデータ取得パターン信号をONにする。しかし、制御部2は、これらを必ずしも同時にONにする必要はない。制御部2は、第1の照明制御制御パターン信号、第1の撮像制御信号、データ取得パターン信号の順にONにしても良い。また、図3に示す動作シーケンスでは、制御部2は、時刻t2において、第1の撮像制御信号、第1の照明制御制御パターン信号、及びデータ取得パターン信号をOFFにする。しかし、制御部2は、これらを必ずしも同時にOFFになる必要はない。制御部2は、データ取得パターン信号、第1の撮像制御信号、第1の照明制御制御パターン信号の順にOFFにしても良い。
時刻t7以降の動作は、上記の時刻t1以降の動作と同様となり、第1のカメラ11は、図4Bの範囲A2を撮像して画像A−2を生成し、第2のカメラ14は、図4Bの範囲B2を撮像して画像B−2を生成し、第3のカメラ17は、図4Bの範囲C2を撮像して画像C−2を生成する。また、時刻取得部31及び速度取得部32は、各カメラが画像を取得した時の時刻データ及び速度データを取得する。
時刻t7は、時刻t6より後であり、かつ、画像A−1で撮像される範囲A1と画像A−2で撮像される範囲A2とが一部重なるような時間とする。これは、進行方向に連続する画像を繋ぎ合せた場合に、撮像される範囲に欠損が生じないようにするためである。この条件を満たすために、時刻t1から時刻t7までの時間は、各カメラの画角、及び移動体1の想定される移動速度を考慮して決定される。
また、上記のように、各カメラで画像を取得した時刻と、その時刻における移動体1の速度とを記憶させる理由は、各カメラで異なる時刻に取得された複数の画像を繋ぎ合わせ、合成する場合に、各画像を取得した時の移動体1の速度の情報が必要となるからである。各カメラは異なる時刻に画像を取得するため、移動体1の速度に変化があった場合には、画像を取得する時の移動体1の速度は、撮像するカメラによって異なる。この結果、画像を取得する際の露光期間中における移動体1の移動量はカメラによって異なり、撮像される範囲もカメラによって異なることになる。したがって、各カメラで取得された画像を合成するには、この撮像領域の変化を考慮する必要がある。この画像の撮像領域のバラつきを考慮した合成についての詳細は後述する。
ここで、図3に示す動作シーケンスでは、各カメラの露光期間は全く重ならず、各照明装置の発光期間も全く重ならない。このような動作シーケンスを実現するため、本実施の形態においては、第1のカメラ11、第2のカメラ14、及び第3のカメラ17の1回の露光時間の合計が、第1のカメラ11の撮像周期よりも短い場合を想定している。第1のカメラ11の撮像周期とは、第1のカメラ11が露光を開始してから、第1のカメラ11が次に露光を開始するまでの時間を指しており、図3におけるt1からt7までの時間を指している。撮像周期は、フレーム時間とも呼ばれる。
また、本実施の形態では、各カメラは同じ性能を有することを想定しており、各カメラの露光時間や、各カメラのフレーム時間が等しいことを想定している。しかし、この条件に限定されることなく、各カメラの露光時間又はフレーム時間に差があってもよい。また、各照明装置の発光時間に差があってもよい。さらに、本実施の形態においては、各照明装置の発光期間は、フレーム時間内で分散して配置されるが、これに限定されるわけではなく、全ての照明装置が同時に発光しなければよい。
次に、取得された画像と速度データとを対応付ける方法について述べる。本実施の形態の撮像システムでは、各カメラ、速度取得部32、及び時刻取得部31は、内部に時計を備えており、内部時刻データを取得することができる。また、全ての時計は、必要な精度で時刻同期がとれている。さらに、各カメラで取得された画像データ、及び速度取得部32で取得された速度データは、それぞれの内部時刻データと共に、データ保存部4に保存される。この場合、時刻取得部31で取得された時刻データを用いて、同時刻に取得された画像データと速度データとを関連付けることにより、制御部2は、画像が取得されたときの移動速度を画像データと関連づけて記憶させることができる。
各カメラ及び速度取得部32が内部に時計を備えない場合には、制御部2は、時刻取得部31で取得された時刻データを各カメラ及び速度取得部32に供給することで、同じ時刻の速度データと画像データを対応付けて記憶させることができる。また、制御部2は、時刻データを用いずに、画像データと、画像データが取得された時の速度データとを対応付けることもできる。例えば、画像データ及び速度データにデータ番号を与え、データ番号を管理することで、制御部2は、画像データと、画像データが取得された時の速度データとを対応付けることができる。
データ保存部4に保存された各種データは、さらに画像処理部5に送られる。画像処理部5では画像データ保存部41から送られた画像データを適切に貼り合せる処理を行う。各カメラは、異なる時刻に画像を取得するので、図4A及び図4Bに示すように、取得された各画像は移動体1の進行方向zにおいて異なる範囲を撮像したものとなる。画像処理部5は、撮像領域の相違を考慮して、周方向において連続した画像となるように合成した画像を生成する。
すなわち、画像処理部5は、移動体1の進行方向における撮像領域A1、B1、C1の位置の違いを考慮して、画像A−1、画像B−1、画像C−1を合成する。また、画像処理部5は、移動体1の進行方向における撮像領域A2、B2、C2の位置の違いを考慮して、画像A−2、画像B−2、画像C−2を合成する。速度データと時刻データとを参照することで、各画像が取得された相対的な位置が特定できるので、画像処理部5は、各画像に対応付けられた速度データと時刻データを用いて、どの地点で撮像された画像であるかを判定して画像を合成する。
画像処理部5は、例えば下記の式(1)で示す演算によって、図4AにおいてZ1で示された撮像領域A1の位置と撮像領域B1の位置との相違量を求めることができる。ここで、va1は、第1の移動速度であり、第1のカメラ11で撮像領域A1を撮像した時の移動体1の速度である。また、t1は、第1の時刻であり、第1のカメラ11で撮像領域A1を撮像した時刻である。また、t3は、第2の時刻であり、第2のカメラ14で撮像領域B1を撮像した時刻である。または、画像処理部5は、例えば下記の式(2)で示す演算によってZ1を求めても良い。ここで、vb1は、第2の移動速度であり、第2のカメラ14で撮像領域B1を撮像した時の移動体1の速度である。
画像処理部5は、移動体1の進行方向における画像A−1と画像B−1との相対位置が、上記の相違量Z1と対応するように、画像A−1と画像B−1とを合成する。この時、画像処理部5は、各カメラの画角も考慮する。すなわち、画像処理部5は、移動体1の移動速度と、各カメラの露光開始時刻の差とに基づいて、移動体1の進行方向における第1の画像と第2の画像との位置関係を決定し、第1の画像と第2の画像とを合成する。
また、画像処理部5は、例えば下記の式(3)で示す演算によって、図4AにおいてZ2で示された撮像領域A1の位置と撮像領域A2の位置との相違量を求めることができる。ここで、vc1は、第3の移動速度であり、第3のカメラ17で撮像領域C1を撮像した時の移動体1の速度である。または、画像処理部5は、例えば下記の式(4)で示す演算によってZ2を求めても良い。画像処理部5は、求められた撮像領域の位置の相違量が反映され、画像間の位置関係が正しくなるように画像を合成する。
図5A及び図5Bは、図3の制御パターン信号で得られる画像における撮像領域の位置関係の別の例を示している。図5A及び図5Bは、図4A及び図4Bと比較して、移動体1の移動速度が遅い場合の撮像領域の位置関係を示している。図4A及び図4Bと同様に、図5A及び図5Bの横方向は円柱座標系の軸方向の位置Zを表し、図5A及び図5Bの縦方向は円柱座標系の周方向の位置θを表している。移動体1の移動速度が遅いと、同一の時間内に移動体1が移動する距離は短くなる。この結果、移動体1の進行方向における撮像領域A1の位置と撮像領域B1の位置との相違量Z1、及び移動体1の進行方向における撮像領域A1の位置と撮像領域A2の位置との相違量Z2は小さくなる。
したがって、第2のカメラ14の撮像領域B1は、第1のカメラ11の撮像領域A1に対して、Z方向の位置が変化するものの、変化量は小さくなる。同様に、第3のカメラ17の撮像領域C1は、第2のカメラ14の撮像領域B1に対して、Z方向の位置が変化するものの、変化量は小さくなる。このため、画像処理部5は、各画像が取得された時の移動体1の速度を考慮して、画像を合成する必要がある。また、異なる時間に第1のカメラ11によって撮像される範囲A1と範囲A2との位置関係も、移動体1の移動速度によって変化する。したがって、画像処理部5が、移動体1の進行方向であるZ方向にも画像を合成する場合には、やはり移動体1の移動速度を考慮する必要がある。
さらに、各カメラの露光期間中にも移動体1が移動していると、各画像には、移動体1の移動速度と各カメラの露光時間に応じたブレが発生する。画像のブレは、画像の像流れと表現されることもある。この画像のブレが実用上で無視できない場合には、画像処理部5は、この画像のブレを低減する補正処理を行っても良い。この補正処理において、画像処理部5は、移動体1の移動速度と、各カメラの露光時間とを考慮する必要がある。
言い換えると、各カメラで取得された画像には、露光期間中に移動体1が移動した距離に対応するブレが発生する。したがって、画像処理部5は、露光期間中に移動体1が移動した距離を求めて、求められた距離に応じて画像のブレを補正する。露光期間中に移動体1が移動した距離は、露光時間と移動体1の移動速度とに対応する。したがって、画像処理部5は、露光時間と移動体1の移動速度とに基づいて、各画像におけるブレの程度を見積り、見積ったブレの程度に基づいて画像を補正する。なお、画像処理部5が各画像におけるブレを低減する補正処理を行う場合、画像を合成する前に行うことが望ましい。
画像処理部5で合成された画像は、外部へと送出される。外部に送出された画像は、図示していない記憶装置等に蓄積される。または、外部に送出された画像は、図示していない検査装置へと入力され、検査装置は画像から壁面の異常の有無を検出する。壁面の異常としては、ひび割れ、水漏れ等が考えられる。検査装置は異常が存在することを検出した場合には、検出した異常のトンネル壁面における位置を求める。
図6は、本実施の形態の撮像システムにおける動作の流れを示す図である。まず、ステップS010において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS010における所定の時刻とは、図3におけるt1である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS020へと進む。次に、ステップS020において、制御部2は、第1のカメラ11に画像を取得させる。
次に、ステップS030において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS030における所定の時刻とは、図3におけるt3である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS040へと進む。次に、ステップS040において、制御部2は、第2のカメラ14に画像を取得させる。
次に、ステップS050において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS050における所定の時刻とは、図3におけるt5である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS060へと進む。次に、ステップS060において、制御部2は、第3のカメラ17に画像を取得させる。
次に、ステップS070において、制御部2は、画像の取得を終了するか否かを判定する。画像の取得を終了する操作をユーザーが行った場合、予め決められた数の画像を取得した場合等に、制御部2は、画像の取得を終了すると判定する。まだ画像の取得を終了しない場合には、制御部2の動作はステップS010に戻る。一方、画像の取得を終了する場合には、制御部2の動作はステップS080へと進む。次に、ステップS080において、制御部2は、画像処理部5に画像を合成させる。
図7は、本実施の形態の撮像システムにおいて、第1のカメラ11に画像を取得させる動作の流れを示す図である。図7は、図6のステップS020における動作の詳細を示している。まず、ステップS021において、制御部2は、第1の照明装置12の発光を開始させる。次に、ステップS022において、制御部2は、第1のカメラ11の露光を開始させる。次に、ステップS023において、制御部2は、時刻取得部31に時刻データを取得させ、速度取得部32に速度データを取得させる。なお、ステップS021、ステップS022、及びステップS023の動作は同時に実施されても良い。ただし、制御部2は、第1の照明装置12を発光させている間に、第1のカメラ11を露光させるように制御する。
次に、ステップS024において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS024における所定の時刻とは、図3におけるt2である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS025へと進む。次に、ステップS025において、制御部2は、第1のカメラ11の露光を終了させる。次に、ステップS026において、制御部2は、第1の照明装置12の発光を終了させる。次に、ステップS027において、制御部2は、取得された画像、時刻データ、及び速度データをデータ保存部4に記憶させる。
図8は、本実施の形態の撮像システムにおいて、第2のカメラ14に画像を取得させる動作の流れを示す図である。図8は、図6のステップS040における動作の詳細を示している。まず、ステップS041において、制御部2は、第2の照明装置15の発光を開始させる。次に、ステップS042において、制御部2は、第2のカメラ14の露光を開始させる。次に、ステップS043において、制御部2は、時刻取得部31に時刻データを取得させ、速度取得部32に速度データを取得させる。なお、ステップS041、ステップS042、及びステップS043の動作は同時に実施されても良い。ただし、制御部2は、第2の照明装置15を発光させている間に、第2のカメラ14を露光させるように制御する。
次に、ステップS044において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS044における所定の時刻とは、図3におけるt4である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS045へと進む。次に、ステップS045において、制御部2は、第2のカメラ14の露光を終了させる。次に、ステップS046において、制御部2は、第2の照明装置15の発光を終了させる。次に、ステップS047において、制御部2は、取得された画像、時刻データ、及び速度データをデータ保存部4に記憶させる。
図9は、本実施の形態の撮像システムにおいて、第3のカメラ17に画像を取得させる動作の流れを示す図である。図9は、図6のステップS060における動作の詳細を示している。まず、ステップS061において、制御部2は、第3の照明装置18の発光を開始させる。次に、ステップS062において、制御部2は、第3のカメラ17の露光を開始させる。次に、ステップS063において、制御部2は、時刻取得部31に時刻データを取得させ、速度取得部32に速度データを取得させる。なお、ステップS061、ステップS062、及びステップS063の動作は同時に実施されても良い。ただし、制御部2は、第3の照明装置18を発光させている間に、第3のカメラ17を露光させるように制御する。
次に、ステップS064において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS064における所定の時刻とは、図3におけるt6である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS065へと進む。次に、ステップS065において、制御部2は、第3のカメラ17の露光を終了させる。次に、ステップS066において、制御部2は、第3の照明装置18の発光を終了させる。次に、ステップS067において、制御部2は、取得された画像、時刻データ、及び速度データをデータ保存部4に記憶させる。以上が、本実施の形態の撮像システムにおける動作の流れである。
図10は本実施の形態の撮像システムのハードウェア構成の一例を示す図である。本実施の形態の撮像システムは、入力インターフェース21、CPU(Central Processing Unit)等のプロセッサ22、記憶装置23、出力インターフェース24、第1のカメラ11、第2のカメラ14、第3のカメラ17、第1の照明装置12、第2の照明装置15、第3の照明装置18を備える。以降では、インターフェースをIFと表記する。入力IF21、プロセッサ22、記憶装置23、及び出力IF24は、移動体1に搭載されたコンピュータとすることができる。しかし、これに限定されることなく、一部の構成は、各カメラ又は各照明装置に内蔵されてもよい。また、入力IF21、プロセッサ22、記憶装置23、及び出力IF24は、ネットワークを介して遠隔地、又は仮想的にクラウド上に構築されてもよい。
データ保存部4の機能は、記憶装置23によって実現される。また、制御部2、速度取得部32、時刻取得部31、画像処理部5の機能は、記憶装置23に記憶されたプログラムをプロセッサ22が実行することによって実現される。速度データ及び時刻データは、入力IF21を介して取得される。なお、入力IF21及び出力IF24は、ケーブル用ポートなどの有線ポート、USB(Universal Serial Bus)ポート、直接接続のポート、無線ネットワークのポート等である。記憶装置23はHDD(Hard Disk Drive)やSSD(Solid State Drive)、フラッシュメモリなどの記憶媒体である。
図3に示したような制御パターン信号は、入力IF21を通って記憶装置23に保存される。制御パターン信号を入力する方法としては、キーボード、マウスなどで制御パターンを直接入力する方法、予め作成した制御パターンが保存されたUSBメモリ、HDDなどその他外部メモリを有線あるいは直接ポートに接続して入力する方法、制御パターンを無線でネットワークを介して入力する方法等が考えられる。また、制御パターン信号を生成するプログラムを記憶装置23に記憶させておいてもよい。
図11A及び図11Bは、本実施の形態の撮像システムの効果を説明するための図である。図11A及び図11Bにおいて、横軸は時間を表しており、縦軸は各照明装置を発光させるために必要な電力を表している。ここで、第1の照明装置12、第2の照明装置15、及び第3の照明装置18のそれぞれを発光させるために必要な電力は同一であると仮定し、この電力をPとする。
図11Aは、本実施の形態の撮像システムにおいて必要となる電力の時間変化を示しており、図3に示す制御パターン信号で各照明装置が制御された場合に必要となる電力の時間変化を示している。図11Aにおいて、時刻t1からt2までの間は、第1の照明装置12が発光するため、電力Pが必要となる。また、時刻t3からt4までの間は、第2の照明装置15が発光するため、電力Pが必要となる。また、時刻t5からt6までの間は、第3の照明装置18が発光するため、電力Pが必要となる。また、時刻t7からt8までの間は、第1の照明装置12が発光するため、電力Pが必要となる。以降も同様である。本実施の形態の撮像システムは、各照明装置の発光期間が互いに重ならないように制御しているため、瞬間的に大きな電力を必要とすることがなく、最大消費電力が抑制されている。
図11Bは、比較例において必要となる電力の時間変化を示している。比較例は、全ての照明装置を同時に点灯し、全ての照明装置を同時に消灯するように制御された場合である。この比較例においては、時刻t1からt2までの間は、第1の照明装置12、第2の照明装置15、及び第3の照明装置18の全てが発光するため、本実施の形態の撮像システムと比較して最大消費電力が3倍となる。言い換えると、本実施の形態の撮像システムでは、最大消費電力は比較例に対して1/3に抑制される。
比較例の場合、各カメラの露光も同時に行うことが可能となる。したがって、移動体1の進行方向において同一の範囲を撮像した画像を取得できるので、取得された画像の合成は容易となる。しかしながら、この点を勘案しても、本実施の形態の撮像システムにおいて最大消費電力が抑制される効果は、非常に大きなものとなる。
最大消費電力が抑制されると、大容量バッテリを使用する必要がなくなり、バッテリを含めた撮像装置の小型化、軽量化が可能となる。この結果、移動体1が移動する際の燃料消費量を抑制でき、さらに、移動体1を小型化することも可能となる。小型・軽量になることによって、本実施の形態の撮像システムは、超小型飛行機、小型船舶、専用車両ではない一般車両に搭載しやすくなる。また、本実施の形態の撮像システムでは、廉価なバッテリの採用も可能となり、撮像システムの価格が抑えられ、広く普及しやすくなる。さらに、夜間やトンネル、地下、構造物の影になる暗い場所では照明光の光量を上げる必要があるため、最大消費電力の低減効果は、明るい場所を撮像する場合に比べてより大きくなる。
実施の形態2.
本実施の形態の撮像システムのハードウェア構成、及びシステム構成は実施の形態1におけるものと同じである。本実施の形態の撮像システムにおいては、各カメラ及び各照明装置の制御パターンが、実施の形態1におけるものとは異なる。実施の形態1の撮像システムにおいては、各カメラの露光時間の和、及び各照明装置の発光時間の和が、フレーム時間より短い場合を想定していた。一方、本実施の形態の撮像システムでは、各カメラの露光時間の和、又は各照明装置の発光時間の和が、フレーム時間よりも長い場合を想定する。なお、本実施の形態の撮像システムでは、各カメラの画角は等しく、撮像対象までの距離も各カメラで等しいものとしている。しかし、本発明はこれに限定されるわけではなく、各カメラの画角や撮影距離が違っていても適用可能である。
ここで、各カメラのフレーム時間は等しく、また各カメラの露光時間も等しく、さらに各照明装置の発光時間も等しいとする。この場合、実施の形態1の撮像システムのように、各カメラの露光時間の和、及び各照明装置の発光時間の和が、フレーム時間より短い場合には、フレーム時間内で各カメラの露光期間、及び各照明装置の発光期間を分散させることができる。しかしながら、各カメラの露光時間の和、又は各照明装置の発光時間の和が、フレーム時間よりも長い場合には、各カメラの露光期間、又は各照明装置の発光期間の少なくとも一部が重なることになる。本実施の形態の撮像システムのでは、このような場合であっても、最大消費電力を可能な限り抑制するように制御するものである。
各カメラの露光時間の和、又は各照明装置の発光時間の和がフレーム時間より長くなる原因としては、例えば、多数のカメラを用いる場合が考えられる。撮像対象の周方向の範囲が広い場合、又は高解像度画像を得るために狭い画角でカメラを並べる場合などには、撮像システムは多数のカメラを必要とする。別の例としては、移動体1の移動速度が速い場合、進行方向で撮像領域が重なるように撮像するためには、フレーム時間を短くする必要がある。
各カメラの露光期間、又は各照明装置の発光期間の全てを全く重ならないように制御することは不可能であっても、少なくとも2つのカメラの露光期間、又は少なくとも2つの照明装置の発光期間を重ならないように制御することは可能な場合がある。ここで、移動体1には、カメラと照明装置とを備える撮像装置の複数の組が搭載されている。図1に示す第1のカメラ11と第1の照明装置12とが第1の撮像装置の組であり、第2のカメラ14と第2の照明装置15とが第2の撮像装置の組であり、第3のカメラ17と第3の照明装置18とが第3の撮像装置の組である。動作期間が重ならないように制御する撮像装置の組は、例えば、第1の撮像装置の組と、第2の撮像装置の組とが考えられる。
第1の照明装置12が照明する範囲と、第2の照明装置15が照明する範囲とは、一部が重なる。第1の照明装置12及び第2の照明装置15からの照明光の照度分布が、照明範囲の中心で明るく、照明範囲の端部で暗い場合には、第1の照明装置12及び第2の照明装置15を同時に発光させると、各照明範囲の端部でも明るい画像を得ることができる。一方、第1の照明装置12及び第2の照明装置15からの照明光の照度分布が、照明範囲の端部でも十分な明るさを持つ場合には、第1の照明装置12及び第2の照明装置15を同時に発光させると、照明範囲が重なった部分が明るくなりすぎる。この場合、撮像画像において白とびが発生する可能性がある。このような場合には、互いの視野が重なる第1の撮像装置の組と、第2の撮像装置の組とを同時に動作させるのではなく、互いの視野が重ならない第1の撮像装置の組と、第3の撮像装置の組とを同時に動作させればよい。
図12は、本実施の形態の撮像システムにおいて、各カメラが受け取る撮像制御信号、各照明装置が受け取る照明制御信号、時刻取得部31及び速度取得部32が受け取るデータ取得制御信号の時間変化の例を示している。すなわち、図12は、本実施の形態の撮像システムにおける撮像制御シーケンスの例を示している。また、図13は、本実施の形態の撮像システムにおける動作の流れを示す図である。図12及び図13を用いて、本実施の形態の撮像システムの動作を説明する。
まず、ステップS010において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS010における所定の時刻とは、図12におけるt11である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS020bへと進む。次に、ステップS020bにおいて、制御部2は、第1のカメラ11及び第3のカメラ17に画像を取得させる。
次に、ステップS030において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS030における所定の時刻とは、図12におけるt13である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS040へと進む。次に、ステップS040において、制御部2は、第2のカメラ14に画像を取得させる。次に、ステップS070において、制御部2は、画像の取得を終了するか否かを判定する。画像の取得を終了しない場合には、制御部2の動作はステップS010に戻る。一方、画像の取得を終了する場合には、制御部2の動作はステップS080へと進む。次に、ステップS080において、制御部2は、画像処理部5に画像を合成させる。
図14は、本実施の形態の撮像システムにおいて、第1のカメラ11及び第3のカメラ17に画像を取得させる動作の流れを示す図である。図14は、図13のステップS020bにおける動作の詳細を示している。まず、ステップS021bにおいて、制御部2は、第1の照明装置12及び第3の照明装置18の発光を開始させる。次に、ステップS022bにおいて、制御部2は、第1のカメラ11及び第3のカメラ17の露光を開始させる。次に、ステップS023において、制御部2は、時刻取得部31に時刻データを取得させ、速度取得部32に速度データを取得させる。なお、ステップS021b、ステップS022b、及びステップS023の動作は同時に実施されても良い。ただし、制御部2は、第1の照明装置12を発光させている間に、第1のカメラ11を露光させるように制御し、第3の照明装置18を発光させている間に、第3のカメラ17を露光させるように制御する。
次に、ステップS024において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS024における所定の時刻とは、図12におけるt12である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS025bへと進む。次に、ステップS025bにおいて、制御部2は、第1のカメラ11及び第3のカメラ17の露光を終了させる。次に、ステップS026bにおいて、制御部2は、第1の照明装置12及び第3の照明装置18の発光を終了させる。次に、ステップS027において、制御部2は、取得された画像、時刻データ、及び速度データをデータ保存部4に記憶させる。
以上が、本実施の形態の撮像システムにおける動作の流れである。なお、図13におけるステップS040における制御部2の動作は、図8に示す動作と同様である。ただし、図8のステップS044における所定の時刻が、本実施の形態の撮像システムにおいては、図12に示すt14となる。以上のように、本実施の形態の撮像システムでは、第1のカメラ11、第1の照明装置12、第3のカメラ17、及び第3の照明装置18がONとなるタイミングは等しくなる。また、本実施の形態の撮像システムでは、第2のカメラ14及び第2の照明装置15がONとなるタイミングは、第1のカメラ11、第1の照明装置12、第3のカメラ17、及び第3の照明装置18がONとなるタイミングとは異なっている。制御部2は、少なくとも2つの照明装置の発光期間が重なるように制御する。図12に示す撮像制御シーケンスでは、第1の照明装置12の発光期間と、第3の照明装置18の発光期間とが重なっている。
図15A及び図15Bは、図12の制御パターン信号で得られる画像における撮像領域の位置関係を示している。図15A及び図15Bの横方向は円柱座標系の軸方向の位置Zを表している。言い換えると、図15A及び図15Bの横方向は移動体1の進行方向の位置Zを表している。また、図15A及び図15Bの縦方向は円柱座標系の周方向の位置θを表している。本実施の形態の撮像システムでは、画像A−1における撮像領域A1と、画像C−1における撮像領域C1とは、移動体1の進行方向における位置が同じとなる。一方、画像B−1における撮像領域B1は、撮像領域A1及び撮像領域C1と比較して、移動体1の進行方向における位置が異なる。
画像処理部5は、移動体1の進行方向における画像A−1と画像B−1との相対位置が、上記の相違量Z1と対応するように、画像A−1と画像B−1とを合成する。すなわち、画像処理部5は、移動体1の移動速度と、各カメラの露光開始時刻の差とに基づいて、移動体1の進行方向における第1の画像と第2の画像との位置関係を決定し、第1の画像と第2の画像とを合成する。
本実施の形態の撮像システムによれば、各カメラの露光時間の和、又は各照明装置の発光時間の和が、フレーム時間より長い場合でも、消費電力を抑えるように動作できる。図12の制御パターン信号を用いた場合、照明装置を発光させるために必要となる最大消費電力を2/3に抑えることができる。本実施の形態の撮像システムは、多数のカメラを用いる場合、移動体1の移動速度が速い場合などに有効である。なお、本実施の形態の撮像システムにおいては、実施の形態1の撮像システムと異なる部分を説明した。それ以外の部分については実施の形態1の撮像システムと同様である。
実施の形態3.
説明を簡単にするため、実施の形態1及び実施の形態2の撮像システムでは、全てのカメラの露光時間が同一であり、全ての照明装置の発光時間が同一であり、さらに、全てのカメラのフレーム時間及び画角が同一である場合を例示した。しかし、本発明における撮像システムは、このような条件に限定されるものではない。本実施の形態の撮像システムは、露光時間及びフレーム時間がカメラによって異なり、発光時間が照明装置によって異なるように制御される。
本実施の形態の撮像システムによれば、このような場合においても、照明装置を発光させるために必要となる最大消費電力を抑えることができる。なお、本実施の形態の撮像システムにおけるハードウェア構成及びシステム構成は、実施の形態1の撮像システムにおけるものと同じである。ただし、本実施の形態の撮像システムでは、制御部2が生成する制御パターン信号が、実施の形態1の撮像システムにおけるものとは異なる。
露光時間及びフレーム時間がカメラ間で異なるように制御する理由は次のようなものである。例えば、第1のカメラ11の進行方向の画角が第2のカメラ14及び第3のカメラ17の半分しかない場合、全てのカメラで同じフレーム時間とすると、第1のカメラ11では移動体1の進行方向に漏れなく撮像することができない可能性がある。一方で、第1のカメラ11で漏れなく撮像できるように、全てのカメラのフレーム時間を短くすると、第2のカメラ14及び第3のカメラ17の撮像領域において、移動体1の進行方向で重複する領域が多く発生してしまう。したがって、第2のカメラ14及び第3のカメラ17のフレーム時間と比較して、第1のカメラ11のフレーム時間を短くすることが望ましい。
この際、第1のカメラ11の画角が狭いことから、第1のカメラ11の撮像領域も狭くなる。第1のカメラ11の撮像領域に合わせて、第1の照明装置12の照明範囲を他の照明装置の照明範囲よりも狭くすることで、同じ消費電力で第1の照明装置12は他の照明装置よりも撮像領域を明るく照明することができる。この結果、第1のカメラの露光時間を短くすることができ、モーションブラーによる画質低下を抑制可能となる。
図16は、本実施の形態の撮像システムにおいて、各カメラが受け取る撮像制御信号、各照明装置が受け取る照明制御信号、時刻取得部31及び速度取得部32が受け取るデータ取得制御信号の時間変化の例を示している。すなわち、図16は、本実施の形態の撮像システムにおける撮像制御シーケンスの例を示している。また、図17は、本実施の形態の撮像システムにおける動作の流れを示す図である。図16及び図17を用いて、本実施の形態の撮像システムの動作を説明する。
まず、ステップS010cにおいて、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS010cにおける所定の時刻とは、図16におけるt21である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS020cへと進む。次に、ステップS020cにおいて、制御部2は、第1のカメラ11に画像を取得させる。
次に、ステップS030において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS030における所定の時刻とは、図16におけるt22である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS040へと進む。次に、ステップS040において、制御部2は、第2のカメラ14に画像を取得させる。
次に、ステップS010dにおいて、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS010dにおける所定の時刻とは、図16におけるt23である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS020dへと進む。次に、ステップS020dにおいて、制御部2は、第1のカメラ11に画像を取得させる。
次に、ステップS050において、制御部2は、現在時刻が所定の時刻となっているか否かを判定する。ここで、ステップS050における所定の時刻とは、図16におけるt24である。まだ所定の時刻になっていない場合には、制御部2は、所定の時刻となるまで待機する。一方、所定の時刻になっている場合には、制御部2の動作はステップS060へと進む。次に、ステップS060において、制御部2は、第3のカメラ17に画像を取得させる。次に、ステップS070において、制御部2は、画像の取得を終了するか否かを判定する。画像の取得を終了しない場合には、制御部2の動作はステップS010cに戻る。一方、画像の取得を終了する場合には、制御部2の動作はステップS080へと進む。次に、ステップS080において、制御部2は、画像処理部5に画像を合成させる。
なお、図17におけるステップS020c及びS020dにおける制御部2の動作は、図7に示す動作と同様である。また、図17におけるステップS040における制御部2の動作は、図8に示す動作と同様である。また、図17におけるステップS060における制御部2の動作は、図9に示す動作と同様であり、ただし、本実施の形態の撮像システムにおける所定の時刻は、実施の形態1の撮像システムにおけるものとは異なる。
図16に示す撮像制御シーケンスでは、第1のカメラ11のフレーム時間はt23−t21で求められ、第2のカメラ14のフレーム時間はt22−t26で求められ、第3のカメラ17のフレーム時間はt24−t28で求められる。図16に示す撮像制御シーケンスでは、第1のカメラ11のフレーム時間は、第2のカメラ14のフレーム時間及び第3のカメラ17のフレーム時間と比較して半分となっている。また、図16に示す撮像制御シーケンスでは、第1のカメラ11の1回の露光時間は、第2のカメラ14の1回の露光時間及び第3のカメラ17の1回の露光時間と比較して半分となっている。
図18Aから図18Dは、図16の制御パターン信号で得られる画像における撮像領域の位置関係を示している。図18Aから図18Dの横方向は円柱座標系の軸方向の位置Zを表している。言い換えると、図18Aから図18Dの横方向は移動体1の進行方向の位置Zを表している。また、図18Aから図18Dの縦方向は円柱座標系の周方向の位置θを表している。
図18Aから図18Dにおいて、撮像領域A11は、第1のカメラ11が時刻t21からの露光で取得する画像の撮像領域を表す。撮像領域B1は、第2のカメラ14が時刻t22からの露光で取得する画像の撮像領域を表す。撮像領域A12は、第1のカメラ11が時刻t23からの露光で取得する画像の撮像領域を表す。撮像領域C1は、第3のカメラ17が時刻t24からの露光で取得する画像の撮像領域を表す。同様に、撮像領域A21は、第1のカメラ11が時刻t25からの露光で取得する画像の撮像領域を表す。撮像領域B2は、第2のカメラ14が時刻t26からの露光で取得する画像の撮像領域を表す。撮像領域A22は、第1のカメラ11が時刻t27からの露光で取得する画像の撮像領域を表す。撮像領域C2は、第3のカメラ17が時刻t28からの露光で取得する画像の撮像領域を表す。
本実施の形態の撮像システムでは、第1のカメラ11のフレーム時間は、他のカメラのフレーム時間と比べて短くなる。したがって、第1のカメラ11で連続して取得される画像間において、撮像領域の位置の変化量は、他のカメラにおけるものと比較して小さくなる。また、第1のカメラ11の画角は、他のカメラの画角と比べて狭くなる。したがって、第1のカメラ11で取得される画像における撮像領域は、他のカメラで撮像される画像における撮像領域と比較して、移動体1の進行方向の範囲が狭くなる。画像処理部5は、移動体1の移動速度と、各カメラの画角及び露光開始時刻の差とに基づいて、移動体1の進行方向における各画像の位置関係を決定し、合成画像を生成する。
本実施の形態の撮像システムによれば、少なくとも1つのカメラの画角又は画素数が他のカメラと異なる場合でも、画質の低下を招くことなく所望の画像を取得することができる。また、本実施の形態の撮像システムによれば、少なくとも1つのカメラで取得される画像の分解能を他のカメラで取得された画像の分解能と変化させたい場合でも、画質の低下を招くことなく所望の画像を取得することができる。同じ画素数のカメラを用いる場合でも、被写体までの距離又はレンズの拡大率をカメラによって変化させることで、取得される画像の分解能を変化させることができる。この場合、移動体1の進行方向における撮像領域の広さがカメラによって変化することになる。本実施の形態の撮像システムによれば、このような場合でも所望の画像を取得することができる。
さらに、本実施の形態の撮像システムによれば、同一のカメラで連続して取得された画像間において、移動体1の進行方向における撮像領域の重なり量をカメラによって変化させたい場合でも、画質の低下を招くことなく所望の画像を取得することができる。この場合には、カメラによってフレーム時間を変化させることになる。
なお、以上では、実施の形態1の撮像システムと異なる部分を説明した。それ以外の部分については実施の形態1の撮像システムと同様である。
実施の形態4.
実施の形態1から実施の形態3の撮像システムの動作は、1枚の画像を取得するためにカメラが露光状態となる期間、及び照明装置が発光する期間が連続するように制御されていた。例えば、実施の形態1の撮像システムにおいて、図3に示す時刻t1からt2までの間に第1のカメラ11は1枚の画像を取得するが、この間に第1の撮像制御信号及び第1の照明制御信号は連続してONとなっている。すなわち、時刻t1から時刻t2までの間、第1のカメラ11は常に露光状態となっており、第1の照明装置12は常に発光状態となっている。
しかし、本発明における撮像システムの動作は、このような動作に限定されるものではない。本実施の形態の撮像システムの動作は、1枚の画像を取得する間に、カメラが露光状態となる期間と、非露光状態となる期間とが、所定のパターンで複数回切り替わるように制御される。ここで、非露光状態とは、カメラが露光状態ではない状態にあることを意味し、カメラが露光していない状態を意味する。このような制御は、符号化露光制御と呼ばれる。符号化露光制御は、像ブレの補正、ピント補正等を目的として行われる制御である。ここでは、1枚の画像を取得するための一連の露光状態の開始から終了までを露光期間と呼ぶ。
なお、本実施の形態の撮像システムにおけるハードウェア構成及びシステム構成は、実施の形態1の撮像システムにおけるものと同じである。ただし、本実施の形態の撮像システムでは、制御部2が生成する制御パターン信号が、実施の形態1の撮像システムにおけるものとは異なる。また、本実施の形態の撮像システムでは、各カメラの画角は等しく、撮像対象までの距離も各カメラで等しい場合を例示しているが、これに限定されるわけではない。
図19は、本実施の形態の撮像システムにおいて、各カメラが受け取る撮像制御信号、各照明装置が受け取る照明制御信号、時刻取得部31及び速度取得部32が受け取るデータ取得制御信号の時間変化の例を示している。すなわち、図19は、本実施の形態の撮像システムにおける撮像制御シーケンスの例を示している。図19において、第1のカメラ11は、時刻t31から時刻t32までの間に1枚の画像を取得する。一方、制御部2は、時刻t31から時刻t32までの間に、第1の撮像制御信号のON、OFFを複数回切り替える。この結果、第1のカメラ11の動作は、1枚の画像を取得する間に露光状態と非露光状態との間で複数回切り替えられる。1枚の画像を取得するための第1のカメラ11の露光期間は、時刻t31から時刻t32までとなる。
同様に、制御部2は、時刻t33から時刻t34までの間に、第2の撮像制御信号のON、OFFを複数回切り替える。この結果、第2のカメラ14の動作は、1枚の画像を取得する間に露光状態と非露光状態との間で複数回切り替えられる。また、制御部2は、時刻t35から時刻t36までの間に、第3の撮像制御信号のON、OFFを複数回切り替える。この結果、第3のカメラ17の動作は、1枚の画像を取得する間に露光状態と非露光状態との間で複数回切り替えられる。1枚の画像を取得するための第2のカメラ14の露光期間は、時刻t33から時刻t34までとなる。また、1枚の画像を取得するための第3のカメラ17の露光期間は、時刻t35から時刻t36までとなる。
図20は、図19の制御パターン信号で得られる画像における撮像領域の位置関係を示している。図20の横方向は円柱座標系の軸方向の位置Zを表している。言い換えると、図20の横方向は移動体1の進行方向の位置Zを表している。また、図20の縦方向は円柱座標系の周方向の位置θを表している。図20において、撮像領域A1は、第1のカメラ11が時刻t31から時刻t32までの露光で取得する画像の撮像領域を表す。撮像領域B1は、第2のカメラ14が時刻t33から時刻t34までの露光で取得する画像の撮像領域を表す。撮像領域C1は、第3のカメラ17が時刻t35から時刻t36までの露光で取得する画像の撮像領域を表す。
図19で示した通り、各カメラの動作は、ひとつのフレーム時間内で露光状態と非露光状態との間で複数回切り替えられるが、1回のフレーム時間に各カメラで撮像される画像は1枚である。例えば、各カメラはシャッターによってイメージセンサへの光の入射を制御し、複数回の露光によって多重露光して1枚の画像を取得する。または、各カメラは、複数回の露光状態毎に画像を生成し、生成された複数の画像を重ね合わせることで1枚の画像を取得することもできる。
以上では、本実施の形態の撮像システムの動作として、一枚の画像を取得する間に、カメラが露光状態となる期間と、非露光状態となる期間とが、複数回切り替わるように制御される場合を例示して説明した。しかし、カメラの露光状態を切り替える代わりに、照明装置の発光状態を切り替えても、同様の効果を得ることができる。すなわち、本実施の形態の撮像システムの動作として、1枚の画像を取得する間に、照明装置が発光状態となる期間と、非発光状態となる期間とが、複数回切り替わるように制御されても良い。
この場合、撮像システムの制御シーケンスは図21のようになる。ここで、非発光状態とは、照明装置が発光していない状態を意味する。また、1枚の画像を取得するための一連の発光状態の開始から終了までを発光期間と呼ぶ。図21において、時刻t31から時刻t32までの間が、1枚の画像を取得するための第1の照明装置の発光期間となる。このように制御すれば、撮像システムの消費電力は、より大幅に削減されることが期待できる。
以上のように、1枚の画像を取得する間に、カメラの露光状態又は照明装置の発光状態を複数回切り替え、切り替えパターンに応じた画像処理を行うことで、画像に発生するモーションブラーを抑制することが可能となる。また、各照明装置の発光期間の全てが重なる期間が発生しないように制御することで、最大消費電力を抑制することができる。なお、本実施の形態の撮像システムについて、実施の形態1の撮像システムと異なる部分を説明したが、説明を省略した部分については実施の形態1の撮像システムと同様である。
このような制御を行う場合、1枚の画像を取得するためのカメラの露光期間の長さに対して、実際にカメラが露光状態となっている時間は短くなる。または、このような制御を行う場合、1枚の画像を取得するための照明装置の発光期間の長さに対して、実際に照明装置が発光状態となっている時間は短くなる。したがって、取得される画像が暗くなることが懸念される。この問題を解決するためには、照明装置を明るく発光させることが考えられるが、最大消費電力が増加してしまう。本実施の形態の撮像システムによれば、最大消費電力が抑制されるため、照明装置を明るく発光させることが容易であり、効果的に符号化露光制御を行うことができる。
実施の形態5.
本実施の形態の撮像システムは、移動体1の移動速度に応じてカメラの露光時間及び照明装置の発光時間を変化させるものである。図22は、本実施の形態の撮像システムの構成を示すシステム構成図である。本実施の形態の撮像システムは、速度取得部32で取得された速度データが制御部2にも入力され、入力された速度データに基づいて制御部2が撮像制御信号及び照明制御信号を生成する点が、図2に示す実施の形態1の撮像システムとは異なる。
図23は、本実施の形態の撮像システムにおいて、各カメラが受け取る撮像制御信号、各照明装置が受け取る照明制御信号、時刻取得部31及び速度取得部32が受け取るデータ取得制御信号の時間変化の例を示している。すなわち、図23は、本実施の形態の撮像システムにおける撮像制御シーケンスの例を示している。以下、図23を用いて本実施の形態の撮像システムの動作について述べる。まず、時刻t52において、制御部2は、第1の撮像制御信号、第1の照明制御信号、及びデータ取得信号をONにする。次に、時刻t53において、制御部2は、第1の撮像制御信号、第1の照明制御信号、及びデータ取得信号をOFFにする。
次に、時刻t55において、制御部2は、第2の撮像制御信号、第2の照明制御信号、及びデータ取得信号をONにする。次に、時刻t56において、制御部2は、第2の撮像制御信号、第2の照明制御信号、及びデータ取得信号をOFFにする。次に、時刻t58において、制御部2は、第3の撮像制御信号、第3の照明制御信号、及びデータ取得信号をONにする。次に、時刻t59において、制御部2は、第3の撮像制御信号、第3の照明制御信号、及びデータ取得信号をOFFにする。以降では、同様の動作が繰り返される。
ここで、制御部2は、直前に取得された速度データに基づいて、撮像制御信号及び照明制御信号がONになってからOFFになるまでの時間を決定する。すなわち、制御部2は、直前に取得された速度データに基づいて、t53−t52、t56−t55、及びt59−t58を決定する。時刻t52、t55、t58は予め決定されており、制御部2は、直前に取得された速度データに基づいて、t53、t56、及びt59を決定する。例えば、制御部2は、時刻t52から時刻t53までの間に取得された速度データに基づいて、時刻t56を決定する。このように、制御部2は、直前に取得された移動体1の速度に基づいて、各カメラの露光時間及び各照明装置の発光時間を決定する。
また、制御部2は、移動体1の速度が遅いほど、各カメラの露光時間及び各照明装置の発光時間が長くなり、移動体1の速度が速いほど、各カメラの露光時間及び各照明装置の発光時間が短くなるように制御する。各カメラの露光時間及び各照明装置の発光時間が短くなると、各カメラで取得される画像が暗くなる懸念があるが、各カメラが画像処理を行うことで画像の明るさを補正することができる。例えば、各カメラが露光時間に応じてゲイン調整を行うことにより、画像の明るさを補正することができる。
また、制御部2は、直前に取得された移動体1の速度に基づいて、各照明装置の発光強度を制御しても良い。制御部2は、移動体1の速度が遅いほど、各照明装置の発光強度が小さくなり、移動体1の速度が速いほど、各照明装置の発光強度が大きくなるように制御する。すなわち、制御部2は、移動体1の速度が遅いほど、各カメラの露光時間及び各照明装置の発光時間が長くなるように制御するとともに、各照明装置の発光が暗くなるように制御する。一方、制御部2は、移動体1の速度が速いほど、各カメラの露光時間及び各照明装置の発光時間が短くなるように制御するとともに、各照明装置の発光が明るくなるように制御する。このように制御することで、各カメラで取得される画像の明るさの変動が抑制される。このような制御を行う場合、制御部2は発光強度を制御する信号も制御パターン信号として出力し、各照明装置はこの信号に応じた強度で発光する。
図24は、本実施の形態の撮像システムにおける撮像制御シーケンスの別の例を示している。図24に示す撮像制御シーケンスでは、制御部2は、速度取得制御信号も出力する。速度取得制御信号は、各カメラの露光時間及び各照明装置の発光時間を決定するために、速度取得部32に移動体の速度を取得させる信号である。速度取得部32は、データ取得制御信号がONになった時に加えて、速度取得制御信号がONになった時にも速度データを取得する。制御部2は、時刻t51で取得された速度データに基づいて、第1のカメラ11の露光時間及び第1の照明装置12の発光時間を決定する。また、制御部2は、時刻t54で取得された速度データに基づいて、第2のカメラ14の露光時間及び第2の照明装置15の発光時間を決定する。また、制御部2は、時刻t57で取得された速度データに基づいて、第3のカメラ17の露光時間及び第3の照明装置18の発光時間を決定する。
本実施の形態の撮像システムにおける動作の流れは、基本的には図6に示すものと同様である。ただし、本実施の形態の撮像システムは、ステップS020、S040、及びS060における動作の詳細が、実施の形態1の撮像システムにおけるものとは異なる。図25は、本実施の形態の撮像システムにおいて、第1のカメラ11に画像を取得させる動作の流れを示す図である。図25は、ステップS020における動作の詳細を示している。まず、ステップS028において、制御部2は、速度取得部32に速度データを取得させる。次に、ステップS028において、制御部2は、取得された速度データに基づいて、第1のカメラ11の露光時間及び第1の照明装置12の発光時間を決定する。ステップS021以降の動作の流れは、実施の形態1におけるものと同様である。また、ステップS040及びS060における動作も、図25と同様となる。
本実施の形態の撮像システムは、以上のように動作する。本実施の形態の撮像システムは、移動体1の移動速度に応じてカメラの露光時間及び照明装置の発光時間を変化させるものである。したがって、本実施の形態の撮像システムによれば、移動体1が高速で移動する場合に、画像に発生するモーションブラーを抑制することができ、良好な画像を取得することが可能となる。また、本実施の形態の撮像システムにおいて、移動体1の速度に応じて制御部2が照明装置の発光強度を制御しても良い。この構成によれば、移動体1が低速で移動する場合に、各照明装置を発光させるために必要な最大消費電力がさらに抑制される。一方で、移動体1が高速で移動する場合には、各照明装置を発光させるために必要な最大消費電力が増加する懸念があるが、本実施の形態の撮像システムは、各照明装置の発光期間が互いに重ならないように動作するので、最大消費電力の大幅な増加を回避することができる。