JP6501861B1

JP6501861B1 - 画像処理システム

Info

Publication number: JP6501861B1
Application number: JP2017250404A
Authority: JP
Inventors: 知也河越
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2019-04-17
Anticipated expiration: 2037-12-27
Also published as: JP2019117995A

Abstract

【課題】画像処理システムにおいて、外乱ノイズなどにより通信手段に障害が発生し、画像データのクロック信号が喪失するという問題がある。
【解決手段】受信した第１のクロック信号およびこの第１のクロック信号に同期して受信した画像データを第２のクロック信号に同期して画像処理する画像処理システムにおいて、前記第１のクロック信号に同期して前記画像データを書き込み、第３のクロック信号に同期して読み出しを行う第１のＦＩＦＯと、前記第３のクロック信号に同期して前記第１のＦＩＦＯから読み出した画像データを前記第３のクロック信号に同期して書き込み、前記第２のクロック信号に同期して読み出しを行う第２のＦＩＦＯとを備え、第１のクロック信号に同期して第１のＦＩＦＯに書き込まれた画像データを、第３のクロック信号で継続して読み出しするようにした。
【選択図】図１

Description

本発明は、画像処理システムに関するもので、特に、カメラモジュールからの画像データをバスインターフェースに出力する画像処理システムに関する。

車両にカメラを搭載し、撮影した画像データから、進路上の歩行者、他の車両、障害物を検知して警告を発生する制御、あるいは駐車場の区画線を検知し、車両を区画内に自動的に駐車する自動駐車の制御などの開発が行われている。
これらの制御においては、カメラモジュール（以下、カメラという）によって撮影された画像データが使用されている。画像データを使用する制御システムでは、カメラから画像データが、ＲＧＢまたはＹＵＶ形式の８ビットデータで出力される。

このシステムでは、さらに、カメラインターフェースを備え、その内部には、カメラから送信された画像データをキャプチャする画像データキャプチャ回路、画像データを一時保管するＦＩＦＯ等のメモリ、ＦＩＦＯコントロール回路、およびバスインターフェースを備えている。
この種の画像処理システムの一つとして、特許文献１に説明されている。この特許文献１に示された技術は、画像表示の際のデータ転送量を少なくして、消費電力の低減を図るものであって、本発明とは異なった課題を設定するものである。

すなわち、特許文献１において提案されている内容は、画像データを処理して送信する際に、１フレーム前の画像データと比較して、一致しないデータのみを送信するものであるのに対して、本発明は、画像データの送信時のクロック信号の喪失による問題を技術課題に取り上げるものである。

特開２００６−２４３９４０号公報

カメラから送信される画像データは、クロック信号に同期して出力され、通信手段によって、クロック信号を含めて、画像データを変調して送信される。この送信の際に、外乱ノイズなどによって通信手段に障害が発生し、クロック信号が喪失されることがある。そして、クロック信号を喪失した場合には、画像データをＦＩＦＯ等のメモリに書き込む順序が所定の順序でなくなることになり、ＦＩＦＯからの出力の順序も所定の通りではなくなる。このため、所定順序ではない画像データに基づいて画像処理を行うことになり、誤った処理結果を引き起こすことになるという問題があった。
本発明は、画像データの送信時のクロック信号の喪失を技術課題として取り上げ、たとえ画像データの送信時のクロック信号が喪失したとしても、画像データの処理において誤った処理結果が生じないようにした画像処理システムを提供することを目的としている。

本発明は、受信した第１のクロック信号およびこの第１のクロック信号に同期して受信した画像データを第２のクロック信号に同期して画像処理する画像処理システムにおいて、前記第１のクロック信号に同期して前記画像データを書き込み、第３のクロック信号に同期して読み出しを行う第１のＦＩＦＯと、前記第３のクロック信号に同期して前記第１のＦＩＦＯから読み出した画像データを前記第３のクロック信号に同期して書き込み、前記第２のクロック信号に同期して読み出しを行う第２のＦＩＦＯと、前記第２のＦＩＦＯから読み出された画像データと前記第２のＦＩＦＯのｅｍｐｔｙ信号を格納するフレームバッファとを備え、前記第１のクロック信号に同期して前記第１のＦＩＦＯに書き込まれた画像データを、前記第３のクロック信号で読み出し、前記フレームバッファに格納された前記画像データと前記ｅｍｐｔｙ信号に基づいて画像処理を行うように画像処理システムを構成している。

本発明は、第１のクロック信号に同期して第１のＦＩＦＯに書き込まれた画像データを、第３のクロック信号で継続して読み出しているので、第１のクロック信号の喪失した期間もフレームバッファへの書き込みが継続して行われ、画素データがフレームバッファの誤ったアドレスに書き込まれることがなく、誤った検知結果を出力する恐れがない。

本発明の実施の形態の画像処理システムの構成図である。本発明の実施の形態の画像処理システムのカメラ、送信手段および受信手段を示す構成図である。本発明の実施の形態の画像処理システムの第１のＦＩＦＯと第２のＦＩＦＯの関係を示す構成図である。本発明の実施の形態の画像処理システムのバスインターフェースの部分を示す構成図である。本発明の実施の形態の画像処理システムの予備ＨＲＥＦ生成回路によるクロックと出力との関係図である。本発明の実施の形態の画像処理システムの予備ＶＳＹＮＣ生成回路によるクロックと出力との関係図である。本発明の実施の形態の画像処理システムにおいてクロックの喪失が発生した場合の信号の状態を示す関係図である。本発明の実施の形態の画像処理システムにおいてクロックの喪失が発生した場合の書き出し制御回路の信号の状態を示す関係図である。本発明の実施の形態の画像処理システムに対する比較例の構成図である。本発明の実施の形態の画像処理システムに対する比較例の信号の状態を示す関係図である。本発明の実施の形態の画像処理システムに対する比較例の画像データの状態を示す関係図である。本発明の実施の形態の画像処理システムのカメラを車両に搭載する場合の事例を示す構成図である。本発明の実施の形態の画像処理システムにおいて複数のカメラの使用を示す構成図である。

実施の形態
以下、本発明に係る画像処理システムの実施の形態について、図面を用いて説明する。
図１は、本発明の実施の形態に係る画像処理システムを示す構成図であって、図１に示すように、本発明の画像処理システム１００は、カメラ１、画像データキャプチャ４１１、送信手段２、受信手段３、及び画像処理装置４を備えている。この画像処理システム１００の、画像データの通信にあたる構成を図２に示す。また、画像処理装置４の中の入力Ｉ／Ｆ部４１の前段部分として、受信手段３、第１のＦＩＦＯ４１２および第２のＦＩＦＯ４１３の構成を図３に示す。さらに、画像処理装置４の第２のＦＩＦＯ４１３とバスインターフェース４１４の構成を図４に示す。なお、Ｉ／Ｆとはインターフェースであり、ＦＩＦＯとはＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔである。
なお、図面において、同一符号は各々同一または相当部分を示す。

図２示すように、本発明の画像処理装置４は、受信した画像データに所定の処理を施し、バス５に画像データを出力するように構成している。カメラ１は、画素データ（色情報）信号Ｄ０−７（以下説明のため８ビット幅とするが、８ビット幅に限定されない）、垂直同期信号ＶＳＹＮＣ（ＶｅｒｔｉｃａｌＳｙｎｃｈｒｏｎｉｚｉｎｇＳｉｇｎａｌ垂直同期信号）、水平同期信号ＨＲＥＦ（ＨｙｐｅｒｔｅｘｔＲｅｆｅｒｅｎｃｅラインの画素データの有効を示す信号）から構成される画像データをクロック出力ＰＣＬＫ（ＰｅｒｉｐｈｅｒａｌＣｌｏｃｋ）に同期して出力する。送信手段２は、カメラ１のＰＣＬＫを含む画像データを変調し、通信線に送信する。受信手段３は、通信線から受信した信号を復調し、ＰＣＬＫを含む画像データを出力する。

入力Ｉ／Ｆ部４１は、第１のＦＩＦＯ４１２、第２のＦＩＦＯ４１３、バスインターフェース４１４およびＦＩＦＯ制御装置４１５を備え、さらに詳細には、図３および図４に示すように、書き込み信号生成回路４２１、書き出し制御回路４２２、バスインターフェース４１４から構成されている。

異なるクロックＰＣＬＫとＣＬＫで動作する回路間でデータの受け渡しを行うために、ＦＩＦＯ（非同期ＦＩＦＯ）を用いている。ＦＩＦＯは、書き込み制御入力ｗｒ＿ｅｎがイネーブルのとき、データ入力ｄｉｎのデータを書き込み、読み出し制御入力ｒｄ＿ｅｎがイネーブルのとき、データ出力ｄｏｕｔに書き込まれた順にデータを読み出す。書き込まれたデータがすべて読み出されると、ｅｍｐｔｙ出力をイネーブルにする。

カメラ１から入力された画像データは、画像データをキャプチャする画像データキャプチャ４１１を経由し、ＦＩＦＯ制御装置４１５によって第１のＦＩＦＯ４１２に一時格納される。第１のＦＩＦＯ４１２と第２のＦＩＦＯ４１３とは、同等の機能、入出力を備えたもので、受信手段３から出力される画素データ信号Ｄ０−７に加えてＨＲＥＦとＶＳＹＮＣをｄｉｎ（１０ビット幅）へ入力し、ｄｏｕｔ（１０ビット幅）から出力する。第１のＦＩＦＯ４１２の書き込み制御入力ｗｒ＿ｅｎと、読み出し制御入力ｒｄ＿ｅｎは常時イネーブルとする。

図３に示す予備ＨＲＥＦ生成回路４２３は、図５に示すように、ＨＲＥＦ入力がイネーブルになった後、１ライン（水平同期間隔）のクロック数だけ遅れて出力ＨＲＥＦｒｅｓｅｒｖｅｄをイネーブルにし、１ラインの水平表示期間のクロック数の後にディスエーブルにする。
また、予備ＶＳＹＮＣ生成回路４２４は、図６に示すように、ＶＳＹＮＣ入力がイネーブルになった後、１フレーム（１画面）のクロック数だけ遅れて出力ＶＳＹＮＣｒｅｓｅｒｖｅｄをイネーブルにし、垂直ブランキング期間のクロック数の後にディスエーブルにする。

ここで、画像データがＶＧＡ仕様のとき、１ライン（水平同期間隔）は、８００ドット（クロック）で、水平表示期間は６４０ドット（クロック）である。また、１フレーム（１画面）は、５２５ライン（＝８００ドット／ライン×５２５＝４２０００クロック）で、垂直ブランキング期間は、４５ライン（＝８００ドット／ライン×４５＝３６０００クロック）である。
２つのＭＵＸ回路４２５は、第１のＦＩＦＯ４１２のｅｍｐｔｙ出力（ｅｍｐｔｙ２）がイネーブルのとき、予備ＨＲＥＦ生成回路４２３が生成した予備のＨＲＥＦ信号と、予備ＶＳＹＮＣ生成回路４２４が生成した予備のＶＳＹＮＣ信号を書き込み信号生成回路４２１に入力し、ｅｍｐｔｙ２がディスエーブルのとき、第１のＦＩＦＯ４１２のｄｏｕｔのＨＲＥＦ、ＶＳＹＮＣの出力を入力する。

第２のＦＩＦＯ４１３は、第１のＦＩＦＯ４１２のｄｏｕｔの画素データ出力（８ビット幅）と第１のＦＩＦＯ４１２のｅｍｐｔｙ信号をｄｉｎ（９ビット幅）に入力する。
第１のＦＩＦＯ４１２のｄｉｎ、ｗｒ＿ｅｎ（クロック入力ｗｒ＿ｃｌｋ）は、受信手段３から出力されるＰＣＬＫに同期して動作する。
第１のＦＩＦＯ４１２のｄｏｕｔ、ｒｄ＿ｅｎ（クロック入力ｒｄ＿ｃｌｋ）、予備ＨＲＥＦ生成回路４２３、予備ＶＳＹＮＣ生成回路４２４、書き込み信号生成回路４２１、第１のＦＩＦＯ４１２のｄｉｎ、ｗｒ＿ｅｎ（のクロックｗｒ＿ｃｌｋ）は、第２のクロック信号ＣＬＫ２に同期して動作する。
ＣＬＫ２のクロック周波数は、ＰＣＬＫのクロック周波数より高く、かつＰＣＬＫに近い周波数に設定する。
第２のＦＩＦＯ４１３のｄｏｕｔ、ｒｄ＿ｅｎ（クロック入力ｒｄ＿ｃｌｋ）とその他の回路は、システムクロックＣＬＫに同期して動作する。

本発明の動作を、ＰＣＬＫのクロックの喪失がある場合について図７と図８に符号Ａに示す。ＰＣＬＫのクロックの喪失により、画像データの第１のＦＩＦＯ４１２への書き込みが行われないが、第１のＦＩＦＯ４１２からの読み出しおよび第２のＦＩＦＯ４１３への書き込みは継続して行われる。そのため読み出すデータがなくなり、第１のＦＩＦＯ４１２のｅｍｐｔｙ信号（ｅｍｐｔｙ２）が図７の符号Ｂに示すようにイネーブルになる。ｅｍｐｔｙ２がイネーブルの間、第２のＦＩＦＯ４１３のｄｉｎへは、無効な画素データとｅｍｐｔｙ２信号が書き込まれる。

予備ＨＲＥＦ生成回路４２３は、ＨＲＥＦ入力がイネーブルになった後、１ライン（水平同期間隔）のクロック数遅れて出力の予備ＨＲＥＦ信号ＨＲＥＦｒｅｓｅｒｖｅｄをイネーブルにし、１ラインの水平表示期間のクロック数の後にＨＲＥＦｒｅｓｅｒｖｅｄディスエーブルにしているので、ＨＲＥＦｒｅｓｅｒｖｅｄは、図７の符号Ｃに示すように、ちょうど１ライン前と同じＨＲＥＦ信号となる。
また、予備ＶＳＹＮＣ生成回路４２４は、ＨＲＥＦ入力がイネーブルになった後、１フレーム（１画面）のクロック数遅れて出力の予備ＶＳＹＮＣ信号ＶＳＹＮＣｒｅｓｅｒｖｅｄをイネーブルにし、１フレームの垂直ブランキング期間のクロック数の後にＶＳＹＮＣｒｅｓｅｒｖｅｄディスエーブルにしているので、ＶＳＹＮＣｒｅｓｅｒｖｅｄは、図７の符号Ｃに示すように、ちょうど１フレーム前と同じＶＳＹＮＣ信号となる。

ＭＵＸ回路４２５は、ｅｍｐｔｙ２がイネーブルの間、ＨＲＥＦ、ＶＳＹＮＣが無効となるため、予備ＨＲＥＦ生成回路４２３、予備ＶＳＹＮＣ生成回路４２４が生成したＨＲＥＦｒｅｓｅｒｖｅｄ、ＶＳＹＮＣｒｅｓｅｒｖｅｄを、図７の符号Ｄに示すように、書き込み信号生成回路４２１のＨＲＥＦ、ＶＳＹＮＣ入力に入力する。
以上により、第２のＦＩＦＯ４１３にはクロックが喪失した期間もｅｍｐｔｙ２によって無効が示される画素データが継続して入力される。また、書き込み信号生成回路４２１には、クロックが喪失した期間、１ライン前のＨＲＥＦ信号が入力され、１フレーム前のＶＳＹＮＣ信号が入力される。よって、第２のＦＩＦＯ４１３と書き込み信号生成回路４２１にはクロックの喪失がない場合と同じ画像データ（画素データ、ＨＲＥＦ、ＶＳＹＮＣ）が入力される。ただし、クロックが喪失した期間の画素データは、無効である。

書き込み信号生成回路４２１は、書き込みデータが有効となる期間、すなわち／［ＶＳＹＮＣ］＆［ＨＲＥＦ］がイネーブルの期間（なお、「／」は否定演算、「＆」は論理積演算）、第２のＦＩＦＯ４１３のｗｒ＿ｅｎをイネーブルにし、第１のＦＩＦＯ４１２から出力された画素データとｅｍｐｔｙ２信号を第２のＦＩＦＯ４１３に書き込む。
書き出し制御回路４２２は、図８に示すように、第２のＦＩＦＯ４１３に読み出し可能なデータがあるとき（ｅｍｐｔｙがディスエーブルのとき）、ｒｄ＿ｅｎをイネーブルにして、ＦＩＦＯのｄｏｕｔから画素データとｅｍｐｔｙ２信号を読み出す。また、読み出したデータを書き込むフレームバッファのアドレスＭＥＭＡＤＤＲを生成する。
バスインターフェース４１４は、第２のＦＩＦＯ４１３から読み出された画素データとｅｍｐｔｙ２信号を、バス５を通してフレームバッファ４２のアドレスＭＥＭＡＤＤＲに書き込む。

演算手段４３は、フレームバッファ４２の画像データを読み出して検知対象物を検知する演算を行い、検知結果を出力するが、読み出した画素データと同じアドレスＭＥＭＡＤＤＲのｅｍｐｔｙ２データがイネーブルのとき、周辺の画素データを用いて補完した画素データ使って画像処理を行う。
例えば、Ｙ番目のラインの（左から）Ｘ番目の画素データＩ（Ｘ，Ｙ）のｅｍｐｔｙ２データ（の否定データ）Ｅ（Ｘ，Ｙ）がイネーブルの場合、以下の式を用いて補完した画素データＩ´（Ｘ，Ｙ）を用いて画像処理を行う。

ＰＣＬＫに同期して第１のＦＩＦＯ４１２に書き込まれた画像データを、ＣＬＫ２で継続して読み出しているので、ＰＣＬＫの喪失した期間もフレームバッファへの書き込みが継続して行われる。そのため、画素データがフレームバッファ４２の誤ったアドレスに書き込まれることがなく、誤った検知結果を出力する恐れがない。
また、画素データとともにフレームバッファ４２にｅｍｐｔｙ２データが格納されるので、解析部は無効な画素データを周辺の画素データで補完したデータを用いて解析することができるため、検知結果の誤りを減らすことができる。
また、画素データとともにｅｍｐｔｙデータがフレームバッファに格納されるので、画素データを解析する場合に、無効な画素データを周辺の画素データで補完したデータを用いて解析することができ、検知結果の誤りを減らすことができる。

比較例
本発明の実施の形態では、第１のＦＩＦＯ４１２と第２のＦＩＦＯ４１３を用いている場合を示したが、第２のＦＩＦＯ４１３のみの構成とした場合を比較例として次に説明する。
図９が、比較例の構成を示す図である。この図に示すように、本発明の実施の形態と異なる部分は、書き込み信号生成回路４２１に入力されるデータにある。この書き込み信号生成回路４２１と第２のＦＩＦＯ４１３の制御入力ｗｒ＿ｅｎは、ｗｒ＿ｃｌｋに入力されるＰＣＬＫに同期して動作する。ＦＩＦＯの読み出しデータｄｏｕｔと制御入力ｒｄ＿ｅｎ、その他の回路は、クロックＣＬＫに同期して動作する。

ここで、例えば、図１０において、障害により通信手段（受信）のＰＣＬＫのクロックが、図１０中の符号Ａに示すように喪失した場合、画像データｄ４の次にはｄ９のデータが第２のＦＩＦＯ４１３に書き込まれる。よって、第２のＦＩＦＯ４１３のｄｏｕｔ出力には、図１１の符号Ａに示すように、ｄ９以降の画像データが、フレームバッファ４２のＭＥＭＡＤＤＲのａ５以降にずれて書き込まれてしまう。これらのフレームバッファ４２の画像データをもとに画像処理を行って何らかの検知などを行うような場合には、誤った検知結果を出力することになる恐れがある。

なお、本発明の実施の形態においては、カメラを１台としている状態で説明を行ったが、例えば、自動車の前後左右の情報を得るために、図１２に示すように、車に複数のカメラ１を搭載して、それらのカメラ１からの画像データを画像処理装置４に送信して、画像情報の処理を行うこともできる。この場合には、図１３に示すように、複数のカメラ１のそれぞれによって得られた画像データの処理を並列に行い、独立してバス５に出力することになる。

なお、この発明は、その発明の範囲内において、実施の形態の任意の構成要素を適宜組み合わせ、あるいは、適宜、変更または省略することが可能である。

１カメラ、２送信手段、３受信手段、４画像処理装置、５バス、４１入力Ｉ／Ｆ部、４２フレームバッファ、４３演算手段、４１１画像データキャプチャ、４１２第１のＦＩＦＯ、４１３第２のＦＩＦＯ、４１４バスインターフェース、４１５ＦＩＦＯ制御装置、４２１書き込み信号生成回路、４２２書き出し制御回路、４２３予備ＨＲＥＦ生成回路、４２４予備ＶＳＹＮＣ生成回路、４２５ＭＵＸ回路

Claims

受信した第１のクロック信号および前記第１のクロック信号に同期して受信した画像データを第２のクロック信号に同期して画像処理する画像処理システムにおいて、
前記第１のクロック信号に同期して前記画像データを書き込み、第３のクロック信号に同期して読み出しを行う第１のＦＩＦＯと、
前記第３のクロック信号に同期して前記第１のＦＩＦＯから読み出した画像データを前記第３のクロック信号に同期して書き込み、前記第２のクロック信号に同期して読み出しを行う第２のＦＩＦＯと、
前記第２のＦＩＦＯから読み出された画像データと前記第２のＦＩＦＯのｅｍｐｔｙ信号を格納するフレームバッファとを備え、
前記第１のクロック信号に同期して前記第１のＦＩＦＯに書き込まれた画像データを、
前記第３のクロック信号で読み出し、前記フレームバッファに格納された前記画像データと前記ｅｍｐｔｙ信号に基づいて画像処理を行うようにしたことを特徴とする画像処理システム。
前記画像データは、車に搭載されたカメラから送信手段を経由して受信したデータであることを特徴とする請求項１に記載の画像処理システム。
前記カメラが複数設けられ、それぞれの前記カメラからの画像データが並列に処理され、前記フレームバッファに格納されていることを特徴とする請求項２に記載の画像処理システム。