JPWO2019239779A1 - カメラシステム、そのコントローラ、自動車、デシリアライザ回路 - Google Patents

Abstract

コントローラ２００は、複数のカメラモジュール１１０を制御するとともに、複数のカメラモジュール１１０が撮影した映像を処理する。コントローラ２００は、（i）複数のカメラモジュール１１０それぞれに対し、フレーム同期信号ＦＳＹＮＣを出力し、（ii）複数のカメラモジュール１１０それぞれから、フレームデータＦＤＡＴＡおよびそれと同期した伝送同期信号ＳＹＮＣを受信し、（iii）受信した複数のフレームデータＦＤＡＴＡを処理し、（iv）各カメラモジュール１１０＿＃について、対応するフレーム同期信号ＦＳＹＮＣ＿＃と対応する伝送同期信号ＳＹＮＣ＿＃の時間差τを取得し、当該時間差τに応じてフレーム同期信号ＦＳＹＮＣ＿＃のタイミングを調節可能である。

Description

本発明は、データ伝送技術に関する。

車載のアラウンドビューモニタなどに、複数のカメラで撮影した映像を処理して表示するカメラシステムが用いられる。

図１は、カメラシステムのブロック図である。カメラシステム１００Ｒは、複数のカメラモジュール１１０（この例では２個）と、コントローラ２００Ｒを備える。コントローラ２００Ｒは、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂを統括的に制御するとともに、それらが撮影した映像を処理する。

コントローラ２００Ｒは、複数のレシーバ２０２、複数のバッファ２０４、同期信号生成部２０６、画像処理部２１０を含む。同期信号生成部２０６を含む。同期信号生成部２０６は、所定のフレームレートでアサートされるフレーム同期信号ＦＳＹＮＣを生成し、複数のカメラモジュール１１０＿＃（＃＝Ａ，Ｂ）に対して供給する。カメラモジュール１１０＿＃は、フレーム同期信号ＦＳＹＮＣに応じたタイミングで撮像する。カメラモジュール１１０＿＃は、撮影したフレームデータをシリアルデータＳＤＡＴＡ＿＃に変換して、コントローラ２００Ｒに送信する。

レシーバ２０２＿＃は、対応するカメラモジュール１１０＿＃からのフレームデータを構成するシリアルデータＳＤＡＴＡ＿＃を、伝送同期信号ＳＹＮＣ＿＃とともに受信する。受信したシリアルデータＳＤＡＴＡ＿＃はパラレルデータＰＤＡＴＡ＿＃に変換され、複数のピクセル単位、あるいは複数のライン単位でバッファ２０４＿＃に格納される。画像処理部２１０は、複数のバッファ２０４＿Ａ，２０４＿Ｂに格納される画像データを処理する。

本発明者は、図１のカメラシステム１００Ｒについて検討した結果、以下の課題を認識するに至った。同期信号生成部２０６とカメラモジュール１１０＿Ａの間の遅延パス１０２＿Ａと、同期信号生成部２０６とカメラモジュール１１０＿Ｂの間の遅延パス１０２＿Ｂが異なる場合がある。この場合、カメラモジュール１１０＿Ａに入力されるフレーム同期信号ＦＳＹＮＣ’と、カメラモジュール１１０＿Ｂに入力されるフレーム同期信号ＦＳＹＮＣ”のタイミングが異なることとなる。

そうすると、カメラモジュール１１０＿Ａと１１０Ｂの間で、撮影のタイミングがずれることとなり、レシーバ２０２＿Ａ，２０２＿Ｂが、シリアルデータＳＤＡＴＡ＿Ａ，ＳＤＡＴＡ＿Ｂとして受信するフレームデータのタイミングもずれることになる。

たとえば、画像処理部２１０が、カメラモジュール１１０＿Ａからのフレームデータと、カメラモジュール１１０＿Ｂからのフレームデータと、を統合して、１枚の画像を生成する場合、１枚の画像の中で部分毎に更新されるタイミングが異なってしまう。

この問題を解消するためには、バッファ２０４＿Ａ，２０４＿Ｂの容量を増やして、複数のフレームデータが到達する時間差を吸収する必要がある。しかしながらバッファ２０４の容量を増やすと、コントローラ２００Ｒの面積、コストが増大する。

本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、複数のカメラモジュールの撮影タイミングを揃えることが可能なカメラシステム、それに使用されるコントローラ、あるいはデシリアライザ回路の提供にある。

本発明のある態様は、カメラシステムに関する。カメラシステムは、複数のカメラモジュールと、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラと、を備える。コントローラは、（i）複数のカメラモジュールそれぞれに対し、フレーム同期信号を出力し、（ii）複数のカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信し、（iii）受信した複数のフレームデータを処理し、（iv）各カメラモジュールについて、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得し、当該時間差に応じてフレーム同期信号を調節可能である。

本発明の別の態様は、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラに関する。このコントローラは、それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、複数のカメラモジュールに対応する複数のフレーム同期信号を生成する同期信号生成部と、それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、複数のフレーム同期信号を複数のカメラモジュールに送信する複数のトランスミッタと、を備える。複数のフレーム同期信号のタイミングの関係が、複数の遅延測定部により測定された時間差にもとづいて調節可能である。

本発明のさらに別の態様は、デシリアライザ回路である。このデシリアライザ回路は、カメラモジュールが撮影した映像を受信可能に構成される。デシリアライザは、カメラモジュールから、フレームデータおよびそれと同期した伝送同期信号を受信するレシーバと、外部回路から受信したフレーム同期信号をカメラモジュールに送信するトランスミッタと、フレーム同期信号と伝送同期信号の時間差を取得する遅延測定部と、を備える。

なお、以上の構成要素を任意に組み合わせたもの、あるいは本発明の表現を、方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明のある態様によれば、複数のカメラモジュールの撮影タイミングを揃えることができる。

カメラシステムのブロック図である。 実施の形態に係るコントローラを備えるカメラシステムのブロック図である。 図３（ａ）、（ｂ）は、図２のカメラシステムのキャリブレーション動作を説明するタイムチャートである。 図４（ａ）、（ｂ）は、別のキャリブレーション動作を示すタイムチャートである。 一実施例に係るコントローラのブロック図である。 一実施例に係るコントローラのブロック図である。 イメージセンサが生成するＲＡＷデータと、エラー補正を説明する図である。 カメラシステムを備える自動車を示す図である。

（実施の形態の概要）
本明細書に開示される一実施の形態は、カメラシステムに関する。カメラシステムは、複数のカメラモジュールと、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラと、を備える。コントローラは、（i）複数のカメラモジュールそれぞれに対し、フレーム同期信号を出力し、（ii）複数のカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信し、（iii）受信した複数のフレームデータを処理し、（iv）各カメラモジュールについて、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得し、当該時間差に応じてフレーム同期信号を調節可能である。

伝送同期信号は、フレームデータの先頭位置（あるいはラインの先頭の位置、あるいは）を表しており、カメラモジュールの撮影タイミングと相関を有する。そこでコントローラにおいて、自身が送信するフレーム同期信号のタイミングと戻ってきた伝送同期信号のタイミングの時間差を測定し、すべてのカメラモジュールについて時間差を揃えることにより、撮像タイミングを揃えることができる。

コントローラは、それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、複数のカメラモジュールに対する複数のフレーム同期信号を生成する同期信号生成部と、それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、複数のフレーム同期信号を複数のカメラモジュールに送信する複数のトランスミッタと、を備えてもよい。複数のフレーム同期信号のタイミングの関係が、複数の遅延測定部により測定された時間差にもとづいて調節可能であってもよい。

同じカメラモジュールに対応するレシーバ、トランスミッタおよび遅延測定部は、ひとつのデシリアライザ回路に集積化されてもよい。

カメラモジュールは、イメージセンサと、デシリアライザ回路と対をなして双方向で通信可能なシリアライザ回路と、を含んでもよい。

本明細書に開示される一実施の形態は、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラに関する。コントローラは、それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、複数のカメラモジュールに対応する複数のフレーム同期信号を生成する同期信号生成部と、それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、複数のフレーム同期信号を複数のカメラモジュールに送信する複数のトランスミッタと、を備える。複数のフレーム同期信号のタイミングの関係が、複数の遅延測定部により測定された時間差にもとづいて調節可能である。

同じカメラモジュールに対応するレシーバ、トランスミッタおよび遅延測定部は、ひとつのデシリアライザ回路に集積化されてもよい。

本明細書に開示される一実施の形態は、カメラモジュールが撮影した映像を受信するデシリアライザ回路に関する。このデシリアライザ回路は、カメラモジュールから、フレームデータおよびそれと同期した伝送同期信号を受信するレシーバと、外部回路から受信したフレーム同期信号をカメラモジュールに送信するトランスミッタと、フレーム同期信号と伝送同期信号の時間差を取得する遅延測定部と、を備える。

デシリアライザ回路に、フレーム同期信号のタイミングと戻ってきた伝送同期信号のタイミングの時間差を測定する回路要素を追加することで、その他のハードウェアに大幅な変更を施さずに、撮影タイミングを揃えるためのデータを収集できる。

デシリアライザ回路は、フレーム同期信号に遅延を与える遅延回路をさらに備えてもよい。遅延が、時間差に応じて調節可能であってもよい。これにより、デシリアライザ回路の内部で、撮像タイミングを揃えるために必要な処理を完結できる。

デシリアライザ回路は、時間差を外部回路に出力可能であってもよい。この場合、デシリアライザ回路の外部で、撮像タイミングを揃えるために必要な処理の一部を実行してもよい。

（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

本明細書において、「部材Ａが、部材Ｂと接続された状態」とは、部材Ａと部材Ｂが物理的に直接的に接続される場合や、部材Ａと部材Ｂが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

同様に、「部材Ｃが、部材Ａと部材Ｂの間に設けられた状態」とは、部材Ａと部材Ｃ、あるいは部材Ｂと部材Ｃが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

図２は、実施の形態に係るコントローラ２００を備えるカメラシステム１００のブロック図である。カメラシステム１００の基本構成は、図１のカメラシステム１００Ｒと同様であり、複数の１１０＿Ａ，１１０＿Ｂと、コントローラ２００と、を備える。コントローラ２００は、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂを統括的に制御するとともに、それらが撮影した映像を処理する。本実施の形態では説明の簡潔化と理解の容易化のために、カメラモジュール１１０が２個の場合を説明するが、カメラモジュール１１０の個数は３個以上とすることも可能である。その場合、＃を、Ａ，Ｂ，Ｃ…と読み替えればよい。

コントローラ２００は、以下の機能（i）〜（iv）を有するように構成され、その実装については特に限定されない。

・機能(i)
コントローラ２００は、（i）複数のカメラモジュール１１０＿Ａ，１１０＿Ｂそれぞれに対し、個別のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂを出力する。すなわち図１のコントローラ２００Ｒと異なり、コントローラ２００は複数のカメラモジュール１１０＿Ａ，１１０＿Ｂそれぞれに対して、アサートされるタイミングが異なる（あるいは同じであってもよい）フレーム同期信号ＦＳＹＮＣ＿＃を供給可能に構成される。

カメラモジュール１１０＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃に応じたタイミングで撮像する。カメラモジュール１１０＿＃は、撮影したフレームデータＦＤＡＴＡ＿＃をシリアルデータＳＤＡＴＡ＿＃に変換して、コントローラ２００に送信する。

・機能(ii)
コントローラ２００は、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂそれぞれから、フレームデータＦＤＡＴＡ＿＃およびそれと同期した伝送同期信号ＳＹＮＣ＿＃を受信する。伝送同期信号ＳＹＮＣ＿＃としては、画像インタフェースに一般的に用いられるような、データイネーブル信号ＤＥや、水平同期信号ＨＳ、垂直同期信号ＶＳのいずれかを用いることができる。

・機能（iii）
コントローラ２００は、受信した複数のフレームデータＦＤＡＴＡ＿＃を処理する。コントローラ２００の処理の内容は特に限定されないが、たとえば複数のフレームデータＦＤＡＴＡ＿＃を統合して１枚のフレームを生成してもよいし、複数のフレームデータＦＤＡＴＡ＿＃から１枚を選択してもよい。

コントローラ２００は、（iv）各カメラモジュール１１０＿＃について、対応するフレーム同期信号ＦＳＹＮＣ＿＃と、対応する伝送同期信号ＳＹＮＣ＿＃の時間差τ_＃を取得する。コントローラ２００は、当該時間差τ_＃に応じてフレーム同期信号ＦＳＹＮＣ＿＃のタイミングを調節可能である。

以上がコントローラ２００の機能である。続いてコントローラ２００の実装の一例を説明する。コントローラ２００は、複数のレシーバ２０２、複数のバッファ２０４、複数のトランスミッタ２０８、画像処理部２１０、複数の遅延測定部２２０、同期信号生成部２３０を含む。

レシーバ２０２＿＃は、対応するカメラモジュール１１０＿＃からのフレームデータＦＤＡＴＡ＿＃を構成するシリアルデータＳＤＡＴＡ＿＃を、伝送同期信号ＳＹＮＣ＿＃とともに受信する。受信したシリアルデータＳＤＡＴＡ＿＃はパラレルデータＰＤＡＴＡ＿＃に変換され、複数のピクセル単位、あるいは複数のライン単位でバッファ２０４＿＃に格納される。画像処理部２１０は、複数のバッファ２０４＿Ａ，２０４＿Ｂに格納される画像データを処理する。

同期信号生成部２３０は、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂに対する複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂを生成する。複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングは調節可能である。

トランスミッタ２０８＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃を対応するカメラモジュール１１０＿＃に送信する。

遅延測定部２２０＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃と、対応する伝送同期信号ＳＹＮＣ＿＃の時間差τ_＃を取得する。

同期信号生成部２３０は、複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングの関係が、複数の遅延測定部２２０＿Ａ，２２０＿Ｂにより測定された時間差τ_Ａ，τ_Ｂにもとづいて調節可能である。

以上がコントローラ２００の構成である。続いてカメラシステム１００の動作を説明する。

図３（ａ）、（ｂ）は、図２のカメラシステム１００のキャリブレーション動作を説明するタイムチャートである。図３（ａ）に示すように、はじめに同期信号生成部２３０は、複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングを揃えて、カメラモジュール１１０＿Ａ，１１０＿Ｂに供給する。

その結果、フレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂはそれぞれ、異なる遅延パス１０２＿Ａ，１０２＿Ｂを経由して、カメラモジュール１１０＿Ａ，１１０＿Ｂに到達する。カメラモジュール１１０＿Ａ，１１０＿Ｂに到達時のフレーム同期信号をＦＳＹＮＣ＿Ａ’，ＦＳＹＮＣ＿Ｂ’と記す。

カメラモジュール１１０＿＃は、対応するフレーム同期信号をＦＳＹＮＣ＿＃’に応答して撮像し、フレームデータＦＤＡＴＡ＿＃を構成するシリアルデータＳＤＡＴＡ＿＃を、伝送同期信号ＳＹＮＣ＿＃とともにコントローラ２００に伝送する。

コントローラ２００において、遅延測定部２２０＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃と伝送同期信号ＳＹＮＣ＿＃の時間差τ_＃を測定する。測定された時間差τ_Ａ，τ_Ｂは、同期信号生成部２３０に与えられる。同期信号生成部２３０は、測定された時間差τ_Ａ，τ_Ｂにもとづいて、伝送同期信号ＳＹＮＣ＿Ａ，ＳＹＮＣ＿Ｂのタイミングが揃うように、フレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングを調整する。

タイミングの調整は、時間差τが大きいチャンネルを基準として行ってもよい。図３（ａ）の例では、チャンネルＢの遅延τが最大である。この場合、遅延量の差Δτ＝（τ_Ｂ−τ_Ａ）を計算し、図３（ｂ）に示すように、その他のチャンネル（この場合、Ａ）のフレーム同期信号ＦＳＹＮＣ＿ＡのタイミングをΔτ、遅延させてもよい。

反対に、タイミングの調整を、時間差τが小さいチャンネルを基準として行ってもよい。図３（ａ）の例では、チャンネルＡの遅延τが最小である。この場合、遅延量の差Δτ＝（τ_Ｂ−τ_Ａ）を計算し、その他のチャンネル（この場合、Ｂ）のフレーム同期信号ＦＳＹＮＣ＿ＢのタイミングをΔτ、早めてもよい。

図４（ａ）、（ｂ）は、別のキャリブレーション動作を示すタイムチャートである。この例では、各チャンネルのフレーム同期信号のタイミングは、全チャンネルに共通の基準値τ_ＲＥＦを用いて調整される。具体的には、基準値τ_ＲＥＦと測定された遅延量τ_＃の差分Δτ_＃＝（τ_ＲＥＦ−τ_＃）を計算し、Δτ_＃に応じてＦＳＹＮＣ＿＃のタイミングが調整される。

以上がカメラシステム１００の動作である。続いてその利点を説明する。伝送同期信号ＳＹＮＣは、フレームデータＦＤＡＴＡの先頭位置（あるいはラインの先頭）を表しており、カメラモジュール１１０の撮影タイミングと相関を有する。そこでコントローラ２００において、自身が送信するフレーム同期信号ＦＳＹＮＣ＿＃のタイミングと戻ってきた伝送同期信号ＳＹＮＣ＿＃のタイミングの時間差τ_＃を測定し、すべてのカメラモジュール１１０について時間差τ_＃を揃えることにより、撮像タイミングを揃えることができる。

複数のカメラモジュール１１０によって撮影されるフレームデータＦＤＡＴＡの到達時間を揃えることで、時間差を吸収するための余剰なバッファが不要となる。すなわちバッファ２０４＿Ａ，２０４＿Ｂの容量を小さくでき、回路面積、コストを削減できる。

本発明は、図２のブロック図や回路図として把握され、あるいは上述の説明から導かれるさまざまな装置、方法に及ぶものであり、特定の構成に限定されるものではない。以下、本発明の範囲を狭めるためではなく、発明の本質や動作の理解を助け、またそれらを明確化するために、より具体的な構成例や実施例を説明する。

図５は、一実施例に係るコントローラ２００のブロック図である。図２の対応する符号を、カッコ内に示す。カメラモジュール１１０とコントローラ２００の間が数メートルと遠い場合、汎用的なマイコンやプロセッサに内蔵されるインタフェースでは、大容量の画像データを伝送することが難しい。そこでこのような状況では、シリアライザ回路とデシリアライザ回路のセットを用いて、長距離伝送を可能とする。

コントローラ２００は、チャンネルごとに設けられるデシリアライザ回路３００＿＃と、ＳＯＣ（System on Chip）などのプロセッサ３２０を備える。一方、カメラモジュール１１０＿＃は、イメージセンサ１１２およびシリアライザ回路１１４を含む。シリアライザ回路１１４とデシリアライザ回路３００は、差動伝送路１０４を介して接続され、１本の差動伝送路１０４を経由して、双方向にシリアルデータ伝送が可能となっている。

図２において同じカメラモジュール１１０＿＃に対応するレシーバ２０２＿＃、トランスミッタ２０８＿＃および遅延測定部２２０＿＃は、図５において、ひとつのデシリアライザ回路３００＿＃に集積化される。具体的にはデシリアライザ回路３００は、レシーバ３０２、トランスミッタ３０４、シリアルパラレル変換器３０６、パラレルシリアル変換器３０８、遅延測定部３１０、遅延回路３１２を含む。

レシーバ３０２は、シリアライザ回路１１４から送信されるシリアルデータを受信する。このシリアルデータＳＤＡＴＡは、上述のフレームデータＦＤＡＴＡと伝送同期信号ＳＹＮＣを含むことができる。なお、伝送同期信号ＳＹＮＣは、差動伝送路１０４とは別の専用の信号線を介して伝送されてもよい。

シリアルパラレル変換器３０６は、レシーバ３０２が受信したシリアルデータＳＤＡＴＡをパラレルデータＰＤＡＴＡに変換する。このパラレルデータＰＤＡＴＡには、フレームデータＦＤＡＴＡと、伝送同期信号ＳＹＮＣが含まれる。

プロセッサ３２０は、画像処理部３２２、同期信号生成部３２４を含む。同期信号生成部３２４は、全カメラモジュール１１０＿Ａ，１１０＿Ｂに共通のフレーム同期信号ＦＳＹＮＣを生成する。フレーム同期信号ＦＳＹＮＣは、複数のデシリアライザ回路３００＿Ａ，３００＿Ｂに供給される。画像処理部３２２は、デシリアライザ回路３００＿Ａ，３００＿Ｂそれぞれが受信したフレームデータＦＤＡＴＡ＿Ａ，ＦＤＡＴＡ＿Ｂを受け、それらを処理する。

遅延回路３１２は、遅延時間が設定可能であり、プロセッサ３２０からフレーム同期信号ＦＳＹＮＣを遅延させることにより、チャンネルごとのフレーム同期信号ＦＳＹＮＣ＿＃を生成する。パラレルシリアル変換器３０８は、フレーム同期信号ＦＳＹＮＣ＿＃を、シリアルデータに変換する。トランスミッタ３０４は、パラレルシリアル変換器３０８の出力であるシリアルデータに応じて差動伝送路１０４を駆動し、フレーム同期信号ＦＳＹＮＣ＿＃をカメラモジュール１１０に送信する。

遅延測定部３１０は、フレーム同期信号ＦＳＹＮＣ＿＃と伝送同期信号ＳＹＮＣ＿＃の時間差（遅延）τ_＃を測定する。遅延回路３１２の遅延量は、遅延測定部３１０が測定した時間差τ_＃にもとづいて設定される。

図６は、一実施例に係るコントローラ２００のブロック図である。図５の相違点のみを説明する。図６では、同期信号生成部３２４は、チャンネルごとのフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂを生成し、デシリアライザ回路３００＿Ａ，３００＿Ｂに供給する。すなわち、図５の遅延回路３１２の機能が、図６では同期信号生成部３２４に統合されている。

デシリアライザ回路３００＿＃は、遅延測定部３１０が測定した時間差τ_＃をプロセッサ３２０に供給可能に構成される。時間差τ_＃は、Ｉ^２Ｃ（Inter IC）インタフェースやＳＰＩ（Serial Peripheral Interface）などのレジスタアクセス型のインタフェースを介してプロセッサ３２０に供給されてもよい。あるいは時間差τ_＃は、パラレルデータＰＤＡＴＡ＿＃と共通の信号ラインを経由してプロセッサ３２０に供給されてもよい。同期信号生成部３２４は、時間差τ_Ａ，τ_Ｂにもとづいてフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングを調整する。

続いて、カメラモジュール１１０からコントローラ２００へのフレームデータの伝送エラーの補正について説明する。イメージセンサの多くは、ベイヤー配列を採用している。図７は、イメージセンサが生成するＲＡＷデータと、エラー補正を説明する図である。Ｒ，Ｇ，Ｂはそれぞれ、赤、緑、青のサブピクセルを示す。多くのイメージセンサは、デモザイク処理を行う前のＲＡＷデータを出力する。したがって、カメラシステム１００では、カメラモジュール１１０からコントローラ２００に送信されるフレームデータＦＤＡＴＡが、デモザイク処理後のピクセルごとのＲＧＢデータでなく、デモザイク処理前のベイヤー配列のＲＡＷデータの場合がある。

図２のコントローラ２００において、バッファ２０４は、ＲＡＷデータとして３ライン分のデータ容量を有する。画像処理部２１０は、あるラインＹのＧのサブピクセルについてエラーを検出すると、一つ前のラインＹ−１の最近接するＧのサブピクセルのデータを流用する。Ｇのサブピクセルには２個のサブピクセルが最近接するために、それらの平均値を用いてもよい。

また画像処理部２１０は、あるラインＹのＲまたはＢのサブピクセルについてエラーを検出すると、２つ前のラインＹ−２の最近接するＲまたはＢのサブピクセルのデータを流用する。

これにより、ＲＡＷデータの伝送エラーに起因する画像の劣化を抑制できる。

続いてカメラシステム１００の用途を説明する。図８は、カメラシステムを備える自動車を示す図である。自動車５００は、複数のカメラモジュール４０２を備える。各カメラモジュール４０２は、双方向伝送システム４０６を介してコントローラ４０４と接続される。たとえばコントローラ４０４は、自動車５００の走行状態に応じて、複数のカメラモジュール４０２を処理する。たとえばコントローラ４０４は、バック走行時には、後方のカメラモジュール４０２Ｂの画像を、車載ディスプレイ５０２に表示する。駐車する際にアラウンドビューモードが選択されると、またコントローラ４０４は、複数のカメラモジュール４０２の画像を合成し、合成後の画像を車載ディスプレイ５０２に表示する。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

本発明は、データ伝送技術に関する。

１００ カメラシステム
１０２ 遅延パス
１０４ 差動伝送路
１１０ カメラモジュール
１１２ イメージセンサ
１１４ シリアライザ回路
２００ コントローラ
２０２ レシーバ
２０４ バッファ
２０６ 同期信号生成部
２１０ 画像処理部
２２０ 遅延測定部
２３０ 同期信号生成部
３００ デシリアライザ回路
３０２ レシーバ
３０４ トランスミッタ
３０６ シリアルパラレル変換器
３０８ パラレルシリアル変換器
３１０ 遅延測定部
３１２ 遅延回路
３２０ プロセッサ
３２２ 画像処理部
３２４ 同期信号生成部
４０２ カメラモジュール
４０４ コントローラ
５００ 自動車
５０２ 車載ディスプレイ

Claims (11)

1. 複数のカメラモジュールと、
   前記複数のカメラモジュールを制御するとともに、前記複数のカメラモジュールが撮影した映像を処理するコントローラと、
   を備え、
   前記コントローラは、（i）前記複数のカメラモジュールそれぞれに対し、フレーム同期信号を出力し、（ii）前記複数のカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信し、（iii）受信した複数のフレームデータを処理し、（iv）各カメラモジュールについて、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得し、当該時間差に応じて前記フレーム同期信号を調節可能であることを特徴とするカメラシステム。
2. 前記コントローラは、
   それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、
   前記複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、
   前記複数のカメラモジュールに対する複数のフレーム同期信号を生成する同期信号生成部と、
   それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、
   前記複数のフレーム同期信号を前記複数のカメラモジュールに送信する複数のトランスミッタと、
   を備え、
   前記複数のフレーム同期信号のタイミングの関係が、前記複数の遅延測定部により測定された時間差にもとづいて調節可能であることを特徴とする請求項１に記載のカメラシステム。
3. 同じカメラモジュールに対応する前記レシーバ、前記トランスミッタおよび前記遅延測定部は、ひとつのデシリアライザ回路に集積化されることを特徴とする請求項２に記載のカメラシステム。
4. 前記カメラモジュールは、
   イメージセンサと、
   前記デシリアライザ回路と対をなして双方向で通信可能なシリアライザ回路と、
   を含むことを特徴とする請求項３に記載のカメラシステム。
5. 前記カメラモジュールから前記コントローラへは、ＲＡＷデータが送信され、
   前記コントローラは、Ｇのサブピクセルについて伝送エラーを検出すると、一つ前のラインのＧのサブピクセルの値を参照し、ＲまたはＢのサブピクセルについて伝送エラーを検出すると、二つ前のラインのＲまたはＢのサブピクセルの値を参照することを特徴とする請求項１から３のいずれかに記載のカメラシステム。
6. 請求項１から５のいずれかに記載のカメラシステムを備えることを特徴とする自動車。
7. 複数のカメラモジュールを制御するとともに、前記複数のカメラモジュールが撮影した映像を処理するコントローラであって、
   それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、
   前記複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、
   前記複数のカメラモジュールに対応する複数のフレーム同期信号を生成する同期信号生成部と、
   それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、
   前記複数のフレーム同期信号を前記複数のカメラモジュールに送信する複数のトランスミッタと、
   を備え、
   前記複数のフレーム同期信号のタイミングの関係が、前記複数の遅延測定部により測定された時間差にもとづいて調節可能であることを特徴とするコントローラ。
8. 同じカメラモジュールに対応する前記レシーバ、前記トランスミッタおよび前記遅延測定部は、ひとつのデシリアライザ回路に集積化されることを特徴とする請求項７に記載のコントローラ。
9. カメラモジュールが撮影した映像を受信するデシリアライザ回路であって、
   前記カメラモジュールから、フレームデータおよびそれと同期した伝送同期信号を受信するレシーバと、
   外部回路から受信したフレーム同期信号を前記カメラモジュールに送信するトランスミッタと、
   前記フレーム同期信号と前記伝送同期信号の時間差を取得する遅延測定部と、
   を備えることを特徴とするデシリアライザ回路。
10. 前記フレーム同期信号に遅延を与える遅延回路をさらに備え、
    前記遅延が、前記時間差に応じて調節可能であることを特徴とする請求項９に記載のデシリアライザ回路。
11. 前記時間差を前記外部回路に出力可能であることを特徴とする請求項９に記載のデシリアライザ回路。

Images