JP4529841B2

JP4529841B2 - 画像同期化装置

Info

Publication number: JP4529841B2
Application number: JP2005241356A
Authority: JP
Inventors: 幹夫尾鷲
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-08-23
Filing date: 2005-08-23
Publication date: 2010-08-25
Anticipated expiration: 2025-08-23
Also published as: JP2007060129A

Description

本発明は画像同期化装置に係り、特に２つのカメラで撮像して得られたステレオ画像を用いて、ステレオ視の原理を応用して画像領域の距離分布測定を行う距離測定装置などにおける、複数の映像信号を同期化する画像同期化装置に関する。

従来より、３次元空間に存在する物体を、２次元の画像から認識する技術としてステレオ視法が知られている（例えば、非特許文献１参照）。このステレオ視法には、レンズの光軸を平行に保った複数個のカメラで測定対象を撮像する方法と、レンズの光軸を交差させた数個のカメラで測定対象を撮像する方法とがある。そこで、２個以上のカメラモジュールとカメラ制御回路、カメラ映像信号処理回路、及びカメラ画像の視差量を用い、上記のステレオ視法の原理を応用して画像領域の距離分布測定を行う距離測定装置や、その距離測定結果を使用した物体検出装置が従来から知られている。

また、２個以上のカメラモジュールにより得られた映像信号により、３次元空間に存在する物体をステレオ視（立体視）の原理に基づいて検出する装置を、外界センサとしてロボットに搭載し、障害物を検出、衝突回避するシステムも従来知られている（例えば、非特許文献２参照）。上記の距離測定装置や物体検出装置、あるいは上記の障害物検出、衝突回避システムなどにおいて、動き量の大きな対象物体においても精度を損なわずに距離検出などを可能ならしめるには、２個以上のカメラモジュールでそれぞれ撮像された複数の映像信号を同期化する画像同期化装置が必要となる。

すなわち、ステレオ視による距離検出法においては、同一測定対象に対する２つのカメラの視差量（写される位置のずれ量）を検出する必要があるため、２つのカメラからの映像信号に同時性が求められる。測定対象が静止している場合には２つのカメラからの映像信号に多少の時間差が生じても測定精度に影響しないが、測定対象の動きが大きい場合、２つのカメラからの両映像信号の間の同期がとれていないと、本来の視差量に時間的影響が外乱として加味され、正しい視差量が得られない、すなわち、距離測定に誤差を生じることとなるためである。

図９は従来の画像同期化装置の一例のブロック図を示す。同図において、対象物体を撮像する２個のカメラモジュール１’及び２’がそれぞれ互いの光軸を平行に、あるいは交差するようにして配置されている。これらのカメラモジュール１’及び２’は、それぞれ外部同期入力端子を有しており、位相同期ループ回路（ＰＬＬ回路）４２により発生されたクロック信号に基づいて同期信号を生成する同期信号生成回路４１から同じクロックが供給されると共に、同じ同期信号が外部同期入力端子に供給され、対象物体を撮像して互いに同期した映像信号（同期化映像信号）を出力する。

カメラモジュール１’及び２’からそれぞれ出力された同期化映像信号は、メモリ４及び５にそれぞれ供給されて一時保持された後、ＰＬＬ回路４２からのクロック信号に同期して動作するＤＭＡ制御回路６により、距離演算装置８及び障害物回避処理装置９へＤＭＡ（Direct Memory Access）転送される。距離演算装置８及び障害物回避処理装置９は中央処理装置（ＣＰＵ）によるソフトウェア処理により前記ステレオ視法による距離演算を行い、またその距離演算結果などに基づいて、この映像同期化装置が搭載されている移動体（例えば、ロボット）の前方の障害物を検出して障害物を回避するための処理（例えば、移動方向を変更するなどの処理）を行う。

図１０は従来の画像同期化装置の他の例のブロック図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１０において、対象物体を撮像する２個のカメラモジュール１及び２がそれぞれ互いの光軸を平行に、あるいは交差するようにして配置されている。これらのカメラモジュール１及び２は、それぞれ外部同期入力端子を有しないカメラモジュールであり、メモリリード遅延制御／ＤＭＡ制御回路４３から同じクロックが供給されると共に、撮像した映像信号を遅延用フレームメモリ４５、４６に供給し、かつ、その映像信号の同期信号をメモリリード遅延制御／ＤＭＡ制御回路４３に供給する。

メモリリード遅延制御／ＤＭＡ制御回路４３は、ＰＬＬ回路４４からの信号に基づいて、クロックを生成してカメラモジュール１及び２へ出力すると共にＰＬＬ回路４４からの信号に基づいて遅延用フレームメモリ４５、４６から映像信号を読み出す時に、位相の遅い方の映像信号に合わせて、同期した２つの映像信号を読み出し、距離演算装置８及び障害物回避処理装置９へＤＭＡ転送する。

北野哲彦，"複数画像を利用した立体形状認識技術"，長野県情報技術試験場研究報告，ＮＯ．１５，ｐ.１４−１〜１４−４，１９９９山本美子，"立体視を用いたロボット搭載ビジョンシステムの研究"，機能集積システム工学研究室，平成１３年２月１８日

しかるに、図９に示した従来の画像同期化装置では、カメラモジュール１’及び２’の外部に設けた同期信号生成回路４１からカメラ同期信号をカメラモジュール１’及び２’に供給する構成であるため、カメラモジュール１’及び２’としては外部同期入力端子を有している高価なカメラモジュールが必要であり、通常は外部同期入力端子を有していない安価なカメラモジュールを使用できず、従って装置全体が高価となるという問題がある。

一方、図１０に示した従来の画像同期化装置では、カメラモジュール１及び２として、外部同期入力端子を有していない安価なカメラモジュールを使用することができるが、映像信号を遅延用フレームメモリ４５、４６に一旦保存して、読み出し時にタイミングを調整して、同期化を実現するようにしているため、２系統の映像信号の最大遅延量分のフレームメモリ４５、４６を必要とするという問題がある。

本発明は以上の点に鑑みなされたもので、外部同期入力端子を有しないカメラモジュールを使用しても、遅延用のフレームメモリを用いることなく、クロック精度で同期化された映像信号を出力し得る画像同期化装置を提供することを目的とする。

上記の目的を達成するため、本発明は、外部同期入力端子を有しない複数のカメラモジュールにより、同一撮像対象を撮像して得られた複数の映像信号を同期化して出力する画像同期化装置において、別々にクロックが入力されてそれぞれ動作する複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた第１のカメラモジュールから出力される第１の垂直同期信号に対する、第２のカメラモジュールから出力される第２の垂直同期信号の位相の進み量を検出する検出手段と、複数のカメラモジュールを動作させるクロックを発生して、そのクロックを複数のカメラモジュールに別々に供給するクロック発生手段と、検出手段により検出された位相の進み量に相当する時間、第２のカメラモジュールへのクロック発生手段からのクロックの供給を遮断して第２のカメラモジュールの動作を一時停止させるクロック遮断手段とを有することを特徴とする。

この発明では、予め基準として定めた第１のカメラモジュールから出力される第１の垂直同期信号に対する、第２のカメラモジュールから出力される第２の垂直同期信号の位相の進み量に相当する時間、上記第２のカメラモジュールへのクロックの供給を遮断してそのカメラモジュールの動作を一時停止するようにしたため、上記のクロックの供給遮断解除後は、第２の垂直同期信号の位相を第１の垂直同期信号の位相に一致させることができる。

また、上記の目的を達成するため、本発明は、複数のカメラモジュールからそれぞれ出力された複数の映像信号を、それぞれ時間軸圧縮した後時分割多重して、時分割多重化映像信号を出力する映像信号時間軸多重回路を更に有することを特徴とする。この発明では、複数のカメラモジュールからの複数系統の映像信号を一系統の時間軸多重化映像信号とすることができる。

本発明によれば、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量に相当する時間、上記他のカメラモジュールへのクロックの供給を遮断してそのカメラモジュールの動作を一時停止することで、クロックの供給遮断解除後は、第２の垂直同期信号の位相を第１の垂直同期信号の位相に一致させることができるため、複数のカメラモジュールとして外部同期入力端子を有しない安価な小型カメラモジュールを使用した場合でも、遅延用フレームメモリを用いることなく、互いに同期化した複数の映像信号を得ることができる。

また、本発明によれば、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。更に、本発明によれば、複数のカメラモジュールからの複数系統の映像信号を一系統の時間軸多重化映像信号として出力するようにしたため、時間軸多重化映像信号が入力されるバッファメモリの入力部のビット幅がカメラモジュール１系統分の幅で済む。

図１は本発明になる画像同期化装置の第１の実施の形態のブロック図を示す。同図中、図１０と同一構成部分には同一符号を付してある。図１において、カメラモジュール１及び２は外部同期入力端子を有しないカメラモジュールである点は図１０と同様であるが、携帯電話等に搭載されるような小型のカメラモジュールである。一般に、携帯電話等に搭載されるような小型のカメラモジュールには、撮像素子の他、撮像素子の駆動回路、信号処理マイコン（マイクロコンピュータ）、ディジタル信号処理回路（ＤＳＰ）、電源回路などが搭載されており、モジュール外部から電源とクロック、リセットを供給することにより、モジュール単体で撮像素子の制御、信号の取り出し、各種映像信号の加工が可能となっている。また、このような小型カメラモジュールには、用途の性格上、業務用カメラにあるような外部同期信号が入力される外部同期入力端子が存在しないのが普通である。

カメラモジュール１及び２には、制御用クロック、リセット信号入力、シリアルバス入力（コマンド受信用）等がある他、出力信号として、映像信号、水平同期信号、垂直同期信号がある。２個のカメラモジュール１及び２を動作させたとき、取り出される映像信号の同期化（同位相化）を図るには、電源投入タイミング、リセット入力タイミングで制御するのが一般的である。

しかし、撮像素子のハードウェア的な制御タイミングはＤＳＰ、マイコンが担当しているので、単純にリセット動作などで同期化が図れない場合がある。そのため、従来は、図１０の構成の画像同期化装置のように、遅延用フレームメモリ４５、４６のうち、位相の遅い側に読み出しタイミングを合わせることで同期化映像信号を得ているが、この場合は前述した問題がある。

そこで、本実施の形態では、冗長なフレームメモリを用いることなく、電源投入、リセット動作後に、片方のカメラモジュールの動作を基準として、もう一方のカメラ動作を追従させるように、同期化回路３を構成した点に特徴がある。

図２は同期化回路３の一実施の形態の回路系統図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、同期化回路３は、カメラモジュール１及び２からそれぞれ出力された垂直同期信号が入力されるエッジ検出、ゲート信号生成回路３１と、ＰＬＬ回路７から出力されるカメラクロックがそれぞれ一方の入力端子に供給される２入力ＡＮＤ回路３２及び３３と、ＡＮＤ回路３２、３３の各出力信号を増幅するアンプ３４、３５とよりなり、アンプ３４、３５からカメラモジュール１、２へカメラクロックを別々に供給する。

なお、ＡＮＤ回路３２の他方の入力端子にはエッジ検出、ゲート信号生成回路３１の出力信号が入力され、ＡＮＤ回路３３の他方の入力端子はハイレベルの信号が常時入力される。また、エッジ検出、ゲート信号生成回路３１内には後述する位相差計測用のアップダウンカウンタ（以下、位相差計測カウンタという）も設けられている。

次に、図１の実施の形態の動作について、図２の回路系統図、図３のタイミングチャート、図４の状態遷移図を併せ参照して説明する。図１の画像同期化装置の電源投入がなされると初期化処理が行われ（図４のステップ２１）、図３（Ａ）に示すハイレベルの同期化開始信号（同期化処理開始フラグイネーブル）の入力により同期化回路３の同期化処理動作が開始され、まず図２のエッジ検出、ゲート信号生成回路３１内の位相差計測カウンタの値が”０”とされ、待機状態となる（図４のステップ２２）。

同期化回路３には３次元空間にある同一の測定対象を撮像しているカメラモジュール１、２からそれぞれ垂直同期信号が入力されており、図２のエッジ検出、ゲート信号生成回路３１が同期化処理動作開始後、入力される垂直同期信号の立下りエッジを検出する。ここで、同期化処理動作開始時点では、図３（Ｂ）に示すようにカメラモジュール１からの垂直同期信号の方が、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号よりも位相が遅れているものとすると、エッジ検出、ゲート信号生成回路３１が同期化処理動作開始後、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号の立下りのエッジが最初に入力されるので、その立下りのエッジを時刻ｔ１で検出して、内部の位相差計測カウンタによるマスタークロックのカウントアップを開始する（図４のステップ２３）。なお、マスタークロックは例えば、エッジ検出、ゲート信号生成回路３１内のクロック発生器から出力されるが、ＰＬＬ回路７からのクロックを用いてもよい。

位相差計測カウンタのカウントアップ動作中は、位相差計測カウンタのカウンタ数は図３（Ｄ）に示すように増加していき、そのカウントアップ動作中に、続いて、図３（Ｂ）に示すようにカメラモジュール１からの垂直同期信号の立下りエッジがエッジ検出、ゲート信号生成回路３１に入力されて、時刻ｔ２でその立下りエッジが検出されると、エッジ検出、ゲート信号生成回路３１は、位相差計測カウンタによるマスタークロックのダウンカウントを開始すると共に、図２に示すＡＮＤ回路３２へローレベルのカメラ２クロックゲート信号を出力して、カメラモジュール２へのクロック遮断状態とする（図４のステップ２４）。

すなわち、図２に示すＡＮＤ回路３３は一方の入力端子に常時ハイレベルの信号が供給されているので常時「開」状態であり、ＰＬＬ回路７から出力されるクロックがＡＮＤ回路３３を通り、更にアンプ３５で増幅されてカメラモジュール１に供給されている。一方、図２に示すＡＮＤ回路３２は一方の入力端子に、エッジ検出、ゲート信号生成回路３１からカメラ２クロックゲート信号が供給されており、これは初期化後はハイレベルであるため、ＰＬＬ回路７から出力されるクロックがＡＮＤ回路３２を通り、更にアンプ３４で増幅されてカメラモジュール２に供給されているが、上記の時刻ｔ２でカメラ２クロックゲート信号がローレベルとなるため、ＡＮＤ回路３２が「閉」状態となり、ＰＬＬ回路７から出力されるクロックのカメラモジュール２への出力を遮断する。

カメラモジュール２はクロックの入力の遮断により動作を停止し、映像信号、水平同期信号、垂直同期信号は出力されない（所定値にホールドされた状態となる。）。位相差計測カウンタのダウンカウント動作中は、位相差計測カウンタのカウンタ数は図３（Ｄ）に示すように減少していき、その値が時刻ｔ３で初期値の”０”になると、エッジ検出、ゲート信号生成回路３１はカメラ２クロックゲート信号をハイレベルとする。これにより、時刻ｔ３以降はＡＮＤ回路３２が再び「開」状態となり、ＰＬＬ回路７から出力されるクロックが、ＡＮＤ回路３２を通り、更にアンプ３４で増幅されてカメラモジュール２に供給され、カメラモジュール２から再び映像信号、水平同期信号、垂直同期信号が出力され始め、同期化処理終了となる（図４のステップ２５）。

この結果、図３に示すように、時刻ｔ４で図３（Ｂ）に示すカメラモジュール１からの垂直同期信号の位相と、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号の位相とが一致し、時刻ｔ４以降、カメラモジュール１及び２からそれぞれ出力される映像信号は互いに同期した同期化映像信号として図１のバッファメモリ４及び５にそれぞれ供給されて一時保持された後、ＤＭＡ制御回路６へ供給される。ＤＭＡ制御回路６はバッファメモリ４及び５から同期化されている２つの映像信号をＰＬＬ回路７から出力されるクロックに同期して距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送する。

前述したように、距離演算装置８及び障害物回避処理装置９は中央処理装置（ＣＰＵ）によるソフトウェア処理により、前記非特許文献１などに記載の公知のステレオ視法による距離演算を行い、またその距離演算結果などに基づいて、この映像同期化装置が搭載されている移動体（例えば、ロボット）の前方の障害物を検出して障害物を回避するための処理（例えば、移動方向を変更するなどの処理）を行う。

このように、本実施の形態によれば、基準となるマスター側のカメラモジュール（マスターカメラモジュール）をカメラモジュール１とし、他方のカメラモジュール２をスレーブ側のカメラモジュール（スレーブカメラモジュール）として定め、マスター側のカメラモジュール１の垂直同期信号に対するスレーブ側のカメラモジュール２の垂直同期信号の位相の進み量を、クロック基準で動作する位相差計測カウンタによって測定し、その測定量に相当する時間（図３のｔ３−ｔ２）だけスレーブ側のカメラモジュール２へのクロック入力を一時遮断することで、マスター／スレーブカメラの垂直同期信号位相を一致させるようにしたため、外部同期入力端子を有しないカメラモジュール１及び２を使用できると共に、遅延用フレームメモリも不要にできる。

また、本実施の形態において、同期した２系統のカメラ映像信号を別々に書き込む２つのメモリは、バッファメモリ４及び５であり、遅延用フレームメモリよりも容量は少なくて済み、コスト上昇を回避できる。また、映像信号の情報量は、カメラ１個分の場合より増加するが、バッファメモリ４、５周りの回路のクロックレートを上げずに済む。これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができる。

次に、本発明の第２の実施の形態について説明する。図５は本発明になる画像同期化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図５に示す実施の形態は、同期化されている２系統の同期化映像信号を１系統の時間軸多重化映像信号としてメモリ１２へ出力する映像信号時間軸多重回路１１を有する点に特徴がある。

この第２の実施の形態の動作について、図６のタイミングチャートと共に説明する。図５カメラモジュール１から出力された図６（Ａ）に画素単位で示す第１の同期化映像信号と、カメラモジュール２から出力された図６（Ｂ）に画素単位で示す第２の同期化映像信号とは、映像信号時間軸多重回路１１に供給され、ここでそれぞれ１／２に時間軸圧縮された後、交互に時分割多重され、同図（Ｃ）に示す如き時間軸多重化映像信号とされる。すなわち、映像信号時間軸多重回路１１は、２系統の同期化映像信号の各１画素が、１／２画素伝送期間で伝送されるように１／２に時間軸圧縮多重されて、１系統の時間軸多重化映像信号を生成する。

この時間軸多重化映像信号は、バッファメモリ１２に供給され、図６（Ｄ）に示すメモリ書き込み用クロックの立ち上がりエッジタイミングに基づいて書き込まれる。ＤＭＡ制御回路１３は、バッファメモリ１２に書き込まれた時間軸多重化映像信号を読み出して、距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送して、中央処理装置（ＣＰＵ）によるソフトウェア処理により、公知のステレオ視法による距離演算や障害物回避処理を行わせる。

このように、本実施の形態では、２系統の同期化映像信号から１系統の時間軸多重化映像信号を生成するようにしているため、信号の転送レートは２倍となり、バッファメモリ１２に書き込むためのクロックは時間軸多重化映像信号と同期したクロックスピードにする必要があるが、バッファメモリ１２の入力部のビット幅がカメラモジュール１系統分の幅で済み、バッファメモリ１２を２個のカメラモジュール１及び２で共有できるというメリットがある。

これにより、例えば、この映像同期化装置をロボットに搭載した場合、カメラモジュール１及び２から映像信号時間軸多重回路１１までの回路部をロボットの頭部内の第１の基板に搭載し、バッファメモリ１２から距離演算装置８及び障害物回避処理装置９までの回路部を上記ロボットの胴体部内の第２の基板に搭載し、ビット幅がカメラモジュール１系統分の幅である１本の信号線を上記ロボットの首内を通過させて、上記第１の基板と第２の基板を接続することができる。

また、本実施の形態も第１の実施の形態と同様に、外部同期入力端子を有しないカメラモジュール１及び２を使用した場合でも、それらカメラモジュール１及び２により同一の測定対象を撮像した映像信号を同期化させて映像信号時間軸多重回路１１に入力させることができるので、ＤＭＡ制御回路１３からは同期化された２系統の映像信号を距離演算装置８や障害物回避処理装置９へＤＭＡ転送することができ、これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができ、また、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。

次に、本発明の第３の実施の形態について説明する。図７は本発明になる画像同期化装置の第３の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。図７に示す実施の形態は、同期化されている２系統の同期化映像信号を１系統の時間軸多重化映像信号とする映像信号時間軸多重回路１１、及びその時間軸多重化映像信号を格納する２つのバッファメモリ１５及び１６を有する点に特徴がある。

この第３の実施の形態の動作について、図８のタイミングチャートと共に説明する。図７のカメラモジュール１から出力された図８（Ａ）に画素単位で示す第１の同期化映像信号と、カメラモジュール２から出力された図８（Ｂ）に画素単位で示す第２の同期化映像信号とは、映像信号時間軸多重回路１１に供給され、ここでそれぞれ１／２に時間軸圧縮されて多重され、同図（Ｃ）に示す時間軸多重化映像信号とされる。すなわち、第２の実施の形態と同様に、映像信号時間軸多重回路１１は、２系統の同期化映像信号の各１画素が、１／２画素伝送期間で伝送されるように１／２に時間軸圧縮多重されて、１系統の時間軸多重化映像信号を生成する。

この時間軸多重化映像信号は、並列に設けられた２つのバッファメモリ１５及び１６にそれぞれ供給される。ここで、バッファメモリ１５に入力される第１のメモリ書き込み用クロックと、バッファメモリ１６に入力される第２のメモリ書き込み用クロックとは、図８（Ｄ）、（Ｅ）に示すように、それぞれ同期化映像信号の１画素伝送期間と同じ周期であり、かつ、互いに位相が１８０度異なるクロックであるのに対し、バッファメモリ１５及び１６はいずれも書き込み用クロックの立ち上がりエッジタイミングに基づいて書き込みが行われるので、バッファメモリ１５には時間軸多重化映像信号中の第１の同期化映像信号Ａ１、Ａ２、Ａ３、・・・が書き込まれ、バッファメモリ１６には時間軸多重化映像信号中の第２の同期化映像信号Ｂ１、Ｂ２、Ｂ３、・・・が書き込まれることになる。

ＤＭＡ制御回路１７は、バッファメモリ１５、１６にそれぞれ書き込まれた第１、第２の同期化映像信号を読み出して、距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送して、中央処理装置（ＣＰＵ）によるソフトウェア処理により、公知のステレオ視法による距離演算や障害物回避処理を行わせる。

このように、本実施の形態では、２系統の同期化映像信号から１系統の時間軸多重化映像信号を生成するようにしているため、信号の転送レートは２倍となるが、並列に設けた２つのバッファメモリ１５及び１６に書き込むためのクロックは第２の実施の形態の書き込みクロックの１／２倍の周波数とすることができ、クロックレートを上げることなく、バッファメモリ１５及び１６の入力部のビット幅がカメラモジュール１系統分の幅で済み、コスト低減に寄与するというメリットがある。

これにより、例えば、この映像同期化装置をロボットに搭載した場合、カメラモジュール１及び２から映像信号時間軸多重回路１１までの回路部をロボットの頭部内の第１の基板に搭載し、バッファメモリ１５及び１６から距離演算装置８及び障害物回避処理装置９までの回路部を上記ロボットの胴体部内の第２の基板に搭載し、ビット幅がカメラモジュール１系統分の幅である１本の信号線を上記ロボットの首内を通過させて、上記第１の基板と第２の基板を接続することができる。

また、本実施の形態も第１及び第２の実施の形態と同様に、外部同期入力端子を有しないカメラモジュール１及び２を使用した場合でも、それらカメラモジュール１及び２により同一の測定対象を撮像した映像信号を同期化させて映像信号時間軸多重回路１１に入力させることができるので、ＤＭＡ制御回路１７からは同期化された２系統の映像信号を距離演算装置８や障害物回避処理装置９へＤＭＡ転送することができ、これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができ、また、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。

なお、本発明は以上の実施の形態に限定されるものではなく、カメラモジュールなどの撮像手段は２個に限定されるものではなく、例えば３個以上の複数個の外部同期入力端子を有しないカメラモジュールを、撮像対象を取り囲むように配置し、それら複数個のカメラモジュールから同時に同期化された映像信号を得て、その複数の映像信号から撮像対象の動きなどを監視、あるいは測定する用途などにも適用可能である。また、以上の実施の形態では、映像同期化装置がロボットなどの移動体に搭載されるように説明したが、これに限定されるものではない。

本発明装置の第１の実施の形態のブロック図である。図１中同期化回路の一実施の形態の回路系統図である。図１及び図２の動作説明用タイミングチャートである。図１の状態遷移の一例を示す図である。本発明装置の第２の実施の形態のブロック図である。図５の動作説明用タイミングチャートである。本発明装置の第３の実施の形態のブロック図である。図７の動作説明用タイミングチャートである。従来装置の一例のブロック図である。従来装置の他の例のブロック図である。

符号の説明

１、２外部同期入力端子を有しないカメラモジュール
３同期化回路
４、５、１２、１５、１６バッファメモリ
６、１３、１７ＤＭＡ制御回路
７ＰＬＬ回路
８距離演算装置
９障害物回避処理装置
１１映像信号時間軸多重回路

Claims

外部同期入力端子を有しない複数のカメラモジュールにより、同一撮像対象を撮像して得られた複数の映像信号を同期化して出力する画像同期化装置において、
別々にクロックが入力されてそれぞれ動作する前記複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた第１のカメラモジュールから出力される第１の垂直同期信号に対する、第２のカメラモジュールから出力される第２の垂直同期信号の位相の進み量を検出する検出手段と、
前記複数のカメラモジュールを動作させる前記クロックを発生して、そのクロックを前記複数のカメラモジュールに別々に供給するクロック発生手段と、
前記検出手段により検出された前記位相の進み量に相当する時間、前記第２のカメラモジュールへの前記クロック発生手段からの前記クロックの供給を遮断して前記第２のカメラモジュールの動作を一時停止させるクロック遮断手段と
を有することを特徴とする画像同期化装置。
前記複数のカメラモジュールからそれぞれ出力された複数の映像信号を、それぞれ時間軸圧縮した後時分割多重して、時分割多重化映像信号を出力する映像信号時間軸多重回路を更に有することを特徴とする請求項１記載の画像同期化装置。