JP7571121B2 - 通信装置および通信システム - Google Patents

Description

本開示は、通信装置および通信システムに関する。

近年、車両の自動運転技術を実現するために、ＣＩＳ（CMOS（Complementary Metal Oxide Semiconductor） Image Sensor）などの画像センサや、ＴＯＦ（Time of Flight）を利用した距離センサなどの各種のセンサが車両に搭載される。そして、これらのセンサとアプリケーションプロセッサ（AP：Application Processor）との通信に、ＣＩＳ(Camera
Serial Interface)－２の規格を利用することが検討されている。

また、特許文献１では、ＣＩＳ－２の規格を利用して、処理装置と複数の画像センサとを接続する際に、データバスの数を減らすことができるシステムが提案されている。

特開２０１７－２１１８６４号公報

ところで、各種のセンサとＡＰとの通信において、伝送路特性の悪化により、センサデータの再送が頻発した場合、次フレームの送信開始タイミングを超えた再送が発生する可能性がある。その場合、次フレーム以降に遅延が波及し、所望のフレームレートを維持することができない懸念がある。従って、所望のフレームレートを維持することの可能な通信装置および通信システムを提供することが望ましい。

本開示の第１の側面に係る通信装置は、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、判定部において再送要求可の場合には、再送要求データを生成し、他の通信装置に送信する送信部とを備える。

本開示の第１の側面に係る通信装置では、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。

本開示の第２の側面に係る通信装置は、再送制御において、再送要求データを受信する受信部と、他の通信装置にデータを送信する送信部と、送信部から送信したデータを送信済みデータとして保持する保持部と、再送要求データに基づいて、送信済みデータの再送制御を行う制御部とを備える。

本開示の第２の側面に係る通信装置では、再送制御において、再送要求データを受信すると、再送要求データに基づいて、保持部に保持された送信済みデータの再送制御が行われる。これにより、次フレーム以降に遅延が波及するのを防止することができる。

本開示の第３の側面に係る通信装置は、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定する判定部と、判定部において送信済みパケットの再送可の場合には、送信済みパケットを他の通信装置に送信する送信部とを備える。

本開示の第３の側面に係る通信装置では、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否が判定され、送信済みパケットの再送の可否の場合には、送信済みパケットが他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。

本開示の第４の側面に係る通信システムは、送信装置および受信装置を備え、送信装置と受信装置との間で通信を行う。この通信システムにおいて、受信装置は、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、判定部において再送要求可の場合には、再送要求データを生成し、送信装置に送信する第１送信部とを有する。この通信システムにおいて、送信装置は、再送要求データを受信する受信部と、受信装置にデータを送信する第２送信部と、第２送信部から送信したデータを送信済みデータとして保持する保持部と、再送要求データに基づいて、送信済みデータの再送制御を行う制御部とを有する。

本開示の第４の側面に係る通信システムでは、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、送信装置から受信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。

本開示の第５の側面に係る通信システムは、送信装置および受信装置を備え、送信装置と受信装置との間で通信を行う。この通信システムにおいて、受信装置は、再送制御において、再送要求データを生成し、前記送信装置に送信する第１送信部を有する。この通信システムにおいて、送信装置は、再送要求データを受信する受信部と、受信装置にデータを送信する第２送信部と、第２送信部から送信したデータを送信済みデータとして保持する保持部と、再送要求データと、フレーム内のエリアごとに規定された優先度とに基づいて、送信済みデータの再送の可否を判定する判定部とを有する。第２送信部は、判定部において送信済みパケットの再送可の場合には、送信済みパケットを受信装置に送信する。

本開示の第５の側面に係る通信システムでは、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否が判定され、送信済みパケットの再送の可否の場合には、送信済みパケットが送信装置から受信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。

本開示の一実施の形態に係る通信システムの概略構成例を表す図である。 図１の通信システムにおける、Ａ－ＰＨＹの規格に従った通信で用いられるフレームフォーマットおよびパケットフォーマットの一例を表す図である。 センサ装置および制御装置における通信装置の機能ブロックの一例を表す図である。 図１の通信システムにおいてエラーが生じたときの再送手順の一例を表す図である。 図１の通信システムにおいてエラーが生じたときの再送手順の一例を表す図である。 図１の通信システムにおいてエラーが生じたときの再送手順の一例を表す図である。 図３の再送制御器の機能ブロック例を表す図である。 図３の送信済みバッファの機能ブロック例を表す図である。 図３の送信スケジューラの機能ブロック例を表す図である。 １つのフレーム内における再送の優先度の一例を表す図である。 レジスタの設定の一例を表す図である。 １つのフレーム内における再送の優先度の一例を表す図である。 レジスタの設定の一例を表す図である。 １つのフレーム内における再送の優先度の一例を表す図である。 レジスタの設定の一例を表す図である。 図１の通信システムにおける再送制御の一例を表す図である。 図１の通信システムにおける再送制御の一例を表す図である。 図３の再送制御器の機能ブロックの一変形例を表す図である。 図３の送信済みバッファの機能ブロックの一変形例を表す図である。 撮像システムの概略構成の一例を表す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。

＜通信システムの構成例＞
図１は、本開示の一実施の形態に係る通信システム１の概略構成例を表したものである。通信システム１は、例えば、自動車などの車両に搭載され、センサユニット１０および制御装置２０を備える。センサユニット１０と制御装置２０とは、バス３０を介して互いに接続される。バス３０を介した、センサユニット１０と制御装置２０との間の信号伝送には、ＭＩＰＩ（Mobile Industry Processor Interface） アライアンスで開発されている物理層の規格であるＡ－ＰＨＹが用いられる。Ａ－ＰＨＹでは、例えば、最大１５ｍの伝送距離に対応することが想定される。

センサ装置１０は、例えば、画像センサ１１（ＣＩＳ）と、通信装置１２とを有する。画像センサ１１は、Ｉ３Ｃの規格に従ったバスを介して通信装置１２に接続される。制御装置２０は、例えば、通信装置２１と、アプリケーションプロセッサ２２（ＡＰ）とを有する。アプリケーションプロセッサ２２は、Ｉ３Ｃの規格に従ったバスを介して通信装置２１に接続される。通信装置１２と通信装置２１との間では、バス３０を介して、Ａ－ＰＨＹの規格に従った通信が行われる。

図２は、通信システム１における、Ａ－ＰＨＹの規格に従った通信で用いられるフレームフォーマットおよびパケットフォーマットの一例を表したものである。

例えば、１フレーム分の画像を伝送するフレームフォーマットでは、フレームの開始を示すフレームスタート（FS：Frame Start）から、フレームの終了を示すフレームエンド（FE：Frame End）までの間に、画像のラインごとに、そのラインのデータが格納されたパケットが生成されるか、または、そのラインを複数に分割したデータごとに、そのデータが格納されたパケットが生成される。また、例えば、１フレーム分の画像を伝送するフレームフォーマットでは、フレームの開始を示すフレームスタート（FS）から、フレームの終了を示すフレームエンド（FE）までの間に、画像に含まれる複数の画素ごとに、その複数の画素のデータが格納されたパケットが生成される。

Ａ－ＰＨＹにおけるパケットフォーマットでは、先頭にパケットヘッダが配置されるとともに、後尾にパケットテイルが配置される。そして、パケットヘッダおよびパケットテイルの間に、データが格納されるペイロードが配置される。パケットテイルには、例えば、ＰＨＹ ＣＲＣ－３２が含まれる。パケットヘッダには、例えば、Ａｄａｐｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒ、Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｏｒ、Ｐｌａｃｅｍｅｎｔ Ｄｅｓｃｒｉｐｔｏｒ、ＰＨＹ２、Ｔａｒｇｅｔ Ａｄｄｒｅｓｓ、 ＰＨＹ３、Ｐａｙｌｏａｄ ＬｅｎｇｔｈおよびＰＨＹ Ｈｅａｄｅｒ ＣＲＣが含まれる。Ａｄａｐｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒには、例えば、Ａｄａｐｔａｔｉｏｎ Ｔｙｐｅ Ｖａｌｕｅが含まれる。Ａｄａｐｔａｔｉｏｎ Ｔｙｐｅ Ｖａｌｕｅとしては、例えば、Ｉ²Ｃ、Ｉ３Ｃ、ＧＰＩＯなどが挙げられる。

さらに、パケットヘッダには、例えば、パケットを識別するためのメッセージカウント（MC：Message Count）が含まれる。メッセージカウントとしては、パケットを伝送するたびにインクリメントされる伝送番号が用いられる。パケットヘッダには、メッセージカウントの他、例えば、通信システム１を自動車などの車両に適用するのに必要となる各種の情報が含まれる。通信システム１は、パケットヘッダに含まれるメッセージカウントを利用して、パケットを個別に識別することより、パケットごとの再送を実現する。

＜通信装置１２，２１の機能ブロック＞
図３は、通信装置１２，２１の機能ブロックの一例を表したものである。

通信システム１は、例えば、通信装置１２および通信装置２１の間で互いに、低速かつ双方向の制御チャネルを介して、制御データの送受信を行う。また、通信システム１は、通信装置１２から通信装置２１に向かって、高速かつ単方向のデータチャネルを介して、例えば、画像などのセンサデータの送信を行う。

通信装置１２は、例えば、トランスミッタ５１、レシーバ５２、誤り検出符号計算器５３、誤り検出器５４、制御データ識別器５５、送信済みバッファ５６、送信スケジューラ５７、誤り検出符号計算器５８およびトランスミッタ５９を有する。通信装置１２に図示される破線より上側に配置されている各ブロックは、制御データを送受信する処理に用いられ、その破線より下側に配置されている各ブロックは、センサデータを送信する処理に用いられる。

通信装置２１は、例えば、トランスミッタ６１、レシーバ６２、誤り検出符号計算器６３、誤り検出器６４、送受信スケジューラ６５、レシーバ６６、誤り検出器６７、再送検出器６８および再送制御器６９を有する。通信装置２１に図示される破線より上側に配置されている各ブロックは、制御データを送受信する処理に用いられ、その破線より下側に配置されている各ブロックは、センサデータを受信する処理に用いられる。

トランスミッタ５１は、誤り検出符号計算器５３から供給される制御データを、制御チャネルを介して通信装置２１へ送信する。レシーバ５２は、通信装置２１から制御チャネルを介して送信されてくる制御データを受信し、誤り検出器５４へ供給する。誤り検出符号計算器５３は、制御データ識別器５５を介して供給される制御データに対する誤り検出用の符号として、例えば、パリティビットやＣＲＣ（Cyclic Redundancy Check）などを計算する。そして、誤り検出符号計算器５３は、算出した誤り検出用の符号を制御データに付加して、トランスミッタ５１に供給する。

誤り検出器５４は、レシーバ５２から供給される制御データに付加されている誤り検出用の符号を用いて、制御データに誤りが発生しているか否かを検出する。そして、誤り検出器５４は、制御データの誤り検出を行った結果に従って、制御データに誤りが発生していない場合には、そのまま制御データを制御データ識別器５５に供給する。一方、誤り検出器５４は、制御データの誤り検出を行った結果に従って、制御データに誤りが発生している場合には、制御データに誤りが発生していることを通知するとともに制御データを制御データ識別器５５に供給する。

制御データ識別器５５は、例えば、画像センサ１１を制御する制御回路（図示せず）との間で制御データの入出力を行うとともに、通信装置２１から送信されてきた制御データを識別する。即ち、制御データ識別器５５は、制御回路から入力される制御データを誤り検出符号計算器５３に供給し、誤り検出器５４から供給される制御データを制御回路に出力する際に、その制御データを識別する。例えば、制御データ識別器５５は、誤り検出器５４から供給される制御データとして、後述するような再送要求データが通信装置２１から送信されてきた場合、その再送要求データを検出して送信済みバッファ５６に供給する。

送信済みバッファ５６には、通信装置１２から通信装置２１へ送信される送信パケットが、送信スケジューラ５７から供給される。そして、送信済みバッファ５６は、送信スケジューラ５７から供給された送信パケット（送信データ）を、送信済みパケット（送信済み送信データ）として一時的に保持する。また、送信済みバッファ５６は、制御データ識別器５５から再送要求データが供給されると、適宜、保持している送信済みパケット（送信済み送信データ）の中から、再送要求データで再送が要求されている送信済みパケット（送信済み送信データ）を、再送パケット（再送データ）として送信スケジューラ５７に供給する。なお、送信パケットのペイロードに格納されているセンサデータを、以下適宜、送信データとも称する。再送パケットのペイロードに格納されているセンサデータを、以下適宜、再送データとも称する。

送信スケジューラ５７には、画像センサ１１が有する撮像素子（図示せず）からセンサデータが入力される。ここで、画像センサ１１から送信スケジューラ５７に新規に入力されたセンサデータ、即ち、再送データでないセンサデータがペイロードに格納されているパケットを、以下適宜、新規パケットと称する。また、送信スケジューラ５７は、送信済みバッファ５６との間で、後述するように再送データ送信要求および再送データ送信許可をやり取りし、送信済みバッファ５６から再送パケットが供給される。そして、送信スケジューラ５７は、新規パケットまたは再送パケットを、それぞれを送信するタイミングを調整して順次、通信装置１２から通信装置２１へ送信される送信パケットとして、送信済みバッファ５６および誤り検出符号計算器５８に供給する。

誤り検出符号計算器５８は、送信スケジューラ５７から供給される送信パケットの誤り検出用の符号として、例えば、パリティビットやＣＲＣなどを計算し、その誤り検出用の符号をパケットに付加してトランスミッタ５９に供給する。トランスミッタ５９は、誤り検出符号計算器５８から供給される送信パケットを、データチャネルを介して通信装置２１へ送信する。

トランスミッタ６１、レシーバ６２、誤り検出符号計算器６３および誤り検出器６４は、トランスミッタ５１、レシーバ５２、誤り検出符号計算器５３および誤り検出器５４と、それぞれ同様に構成される。

送受信スケジューラ６５は、例えば、アプリケーションプロセッサ２２を制御する制御回路（図示せず）との間で制御データの入出力を行うとともに、通信装置１２との間で送受信される制御データのスケジュールを管理する。即ち、送受信スケジューラ６５は、誤り検出器６４から供給される制御データを制御回路に出力するとともに、制御回路から入力される制御データを所定のタイミングで誤り検出符号計算器６３に供給して、通信装置１２へ送信させる。さらに、送受信スケジューラ６５は、再送制御器６９から再送要求データが供給されると、その再送要求データを制御データとして誤り検出符号計算器６３に供給し、通信装置１２へ送信させる。

レシーバ６６は、通信装置１２からデータチャネルを介して送信されてくる送信パケットを受信し、誤り検出器６７へ供給する。

誤り検出器６７は、レシーバ６６から供給される送信パケットに付加されている誤り検出用の符号を用いて、その送信パケットに誤りが発生しているか否かを検出する。そして、誤り検出器６７は、送信パケットに付加されている誤り検出用の符号を用いて、送信パケットに誤りが発生しているか否かを検出し、送信パケットのペイロードに格納されているセンサデータを、後段の処理回路へ出力する。

さらに、誤り検出器６７は、送信パケットに発生している誤りを検出した結果を示す誤り検出結果を再送検出器６８に供給する。例えば、誤り検出器６７は、通信装置２１が受信した送信パケットにヘッダエラーまたはペイロードエラーが発生していることを検出した場合、ヘッダエラーまたはペイロードエラーが検出されたことを示す誤り検出結果を再送検出器６８に供給する。また、誤り検出器６７は、通信装置２１が受信した送信パケットの追加パケットヘッダに含まれているメッセージカウントを再送検出器６８に供給する。

再送検出器６８は、誤り検出器６７から供給される誤り検出結果およびメッセージカウントに基づいて、通信装置２１が受信することができずに再送が必要となった送信パケットのメッセージカウントを検出する再送検出処理を行う。そして、再送検出器６８は、再送検出処理で検出したメッセージカウントを、再送を要求する候補となる再送候補メッセージカウントとして検出して再送制御器６９に供給する。なお、再送検出器６８が行う再送検出処理については後述する。

再送制御器６９は、再送検出器６８から供給される再送候補メッセージカウント、および、通信装置１２から送信されてくる各種の情報に基づいて、再送パケットの送信を要求する再送要求データを生成し、送受信スケジューラ６５に供給する再送要求処理を行う。なお、再送検出器６８が行う再送要求処理については後述する。

ここで、通信システム１は、再送制御器６９において再送要求処理を行うのに必要となる各種の情報を、センサデータがペイロードに格納されている送信パケットのヘッダに埋め込んで、通信装置１２から通信装置２１へ送信する。例えば、通信装置１２は、ＣＳＩ－２で規定されているパケットヘッダのユーザ定義領域を利用して、再送制御器６９において再送要求処理を行うのに必要となる各種の情報を送信し、それらの情報を、誤り検出器６７を介して再送制御器６９に供給する。

通信装置１２および通信装置２１は上述したような構成となっていることにより、Ａ－ＰＨＹで規定されているパケットヘッダに含まれるメッセージカウントを利用することで、パケットごとの再送を実現する。つまり、通信装置１２および通信装置２１は、ＭＩＰＩＡ－ＰＨＹの再送制御を行う。

次に、図４に示すフローチャートを参照して、通信システム１において実行されるパケット再送処理について概略的な説明を行う。図４は、通信システム１において実行されるパケット再送処理のフローチャートを表したものである。

ステップＳ１０１において、通信装置２１の再送検出器６８が再送検出処理を行う。例えば、再送検出器６８は、誤り検出器６７から供給される誤り検出結果およびメッセージカウントに基づいて、通信装置２１が受信することができずに再送が必要となった送信パケットのメッセージカウントを検出する。

ステップＳ１０２において、通信装置２１の再送制御器６９が再送要求処理を行う。例えば、再送制御器６９は、再送検出器６８から供給される再送候補メッセージカウントの中から、送信済みバッファ５６に保持されている一番古いメッセージカウントでフィルタしつつ、再送を要求するパケットのメッセージカウントが登録される再送リストを作成する。これにより、再送リストには、再送候補メッセージカウントのうちの、送信済みバッファ５６に保持されている一番古いメッセージカウントよりも新しいメッセージカウントが登録される。そして、再送制御器６９は、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。具体的には、再送制御器６９は、フレーム内のエリアごとに規定された優先度と、エリアごとに規定された再送可能回数と、エリアごとにカウントされた再送数とに基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。

ステップＳ１０３において、通信装置１２の制御データ識別器５５および送信済みバッファ５６が再送受付処理を行う。例えば、制御データ識別器５５は、誤り検出器５４から供給される制御データの中から、再送制御器６９により生成された再送要求データを識別し、再送要求のパケットを送信済みバッファ５６に供給する。そして、送信済みバッファ５６は、保持している送信済みパケットを、再送要求データで指定されているメッセージカウントを用いて検索し、再送が要求されている送信済みパケットを検索結果として取得すると、その送信済みパケットを再送パケットとして確保する。一方、送信済みバッファ５６は、再送が要求されている送信済みパケットを検索結果として取得することができなかった場合、その検索に用いた再送要求データを破棄する。

ステップＳ１０４において、通信装置１２の送信スケジューラ５７が再送データ送信処理を行う。例えば、送信スケジューラ５７は、送信済みバッファ５６で確保されている再送パケットと、新規に入力されたセンサデータがペイロードに格納されている新規パケットとを送信するタイミングを調整して、新規パケットまたは再送パケットを適宜、送信パケットとして送信する。

以上のように、通信システム１では、通信装置１２から通信装置２１へ送信される送信パケットごとに再送を要求することができ、再送が要求された再送パケットの送信を実行することができる。

＜再送検出処理の処理例＞
図５および図６を参照して、通信システム１における再送検出処理について説明する。図５、図６は、通信システム１における、Ａ－ＰＨＹの規格に従った通信において、ペイロードエラーが生じたときの再送検出処理の一例を表したものである。図５および図６は、ヘッダに含まれているメッセージカウントの受信をトリガとした再送検出処理を説明する図であり、図６に図示されている矩形の枠に囲われている番号（１～６）がメッセージカウントを表している。図５、図６には、メッセージカウント２，３，５の送信パケットにペイロードエラーが発生した状態が示されている。

通信装置２１は、メッセージカウント２の送信パケットを受信すると、その送信パケットのヘッダを確認することで、ヘッダに含まれているメッセージカウント２を取得する。このとき、その送信パケットにペイロードエラーが発生している場合には、通信装置２１は、所定の誤り検出処理を行うことで、メッセージカウント２の送信パケットにペイロードエラーが発生したことを認識する。

通信装置２１は、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。具体的には、通信装置２１は、フレーム内のエリアごとに規定された優先度と、エリアごとに規定された再送可能回数と、エリアごとにカウントされた再送数とに基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。通信装置２１は、生成した再送要求データを通信装置１２に送信する。通信装置１２は、再送要求データを通信装置２１から受信すると、受信した再送要求データで指定されているメッセージカウント２に対応する送信済みパケットを再送パケットとして確保する。通信装置１２は、確保した再送パケットを通信装置２１に対して、所定のタイミングで送信パケットとして送信する。メッセージカウント３やメッセージカウント５の送信パケットにペイロードエラーが発生しているときにも、上記と同様の処理が行われる。また、送信パケットにヘッダエラーが発生した場合にも、上記と同様の処理が行われる。

＜再送制御器６９の構成例および再送要求処理の処理例＞
次に、再送制御器６９の構成例および再送要求処理の処理例について説明する。

図７は、再送制御器６９の機能ブロック例を表したものである。再送制御器６９は、例えば、図７に示したように、再送リスト保持部７１、再送回数保持部７２、タイミング制御部７３および再送要求データ生成部７４を有する。

ここで、再送制御器６９には、例えば、送信パケットのヘッダに埋め込んで送信されてくる各種の情報が供給される。例えば、この情報としては、送信済みバッファ５６の送信済みパケット用バッファ８４（図１０）の一番古いメッセージカウントを示す情報が含まれる。

再送リスト保持部７１は、再送を要求するパケットのメッセージカウントが登録される再送リストを保持し、再送リストを管理する。例えば、再送リスト保持部７１は、再送検出器６８により検出された再送候補メッセージカウントのうちの、送信済みバッファ５６に保持されている一番古いメッセージカウントよりも新しいメッセージカウントだけが登録されるように再送リストを管理する。

例えば、再送候補メッセージカウントに従ってメッセージカウント９８～１０２が再送リストに登録されているときに、送信済みバッファ５６の送信済みパケット用バッファ８４の一番古いメッセージカウントとしてメッセージカウント１００が新たに供給されたとする。この場合、再送リスト保持部７１は、メッセージカウント１００よりも古いメッセージカウント９８および９９を再送リストから削除することで、メッセージカウント１００よりも新しいメッセージカウント１００～１０２だけが再送リストに登録される。

再送回数保持部７２は、図８に示した概念に対応するデータが格納されたレジスタ（図９）を有する。図８には、フレーム（１枚の画像データ）内の所定のエリアごとに優先度が設定されている様子が例示されている。図８では、フレーム（１枚の画像データ）は、上から下に向かって所定の行数ごとに優先度が設定されている。例えば、上からＮ１行分の各ライン（第１エリア）に対しては、優先度「低」が設定され、優先度「低」が設定されたラインからＮ２行分の各ライン（第２エリア）に対しては、優先度「中」が設定され、優先度「中」が設定されたラインからＮ３行分の各ライン（第３エリア）に対しては、優先度「高」が設定され、優先度「高」が設定されたラインからＮ４行分の各ライン（第４エリア）に対しては、優先度「中」が設定されている。例えば、図９に示したように、レジスタにおいて、第１エリアに対しては、優先度に応じた再送可能回数ＲＮがＮ５に設定され、第２エリアに対しては、優先度に応じた再送可能回数ＲＮがＮ６に設定され、第３エリアに対しては、優先度に応じた再送可能回数ＲＮがＮ７に設定され、第４エリアに対しては、優先度に応じた再送可能回数ＲＮがＮ８に設定されている。Ｎ５＋Ｎ６＋Ｎ７＋Ｎ８は、フレーム（１枚の画像データ）あたりの再送可能回数Ｎｍａｘとなっている。

Ａ－ＰＨＹ規格上、論理層が物理層の有効転送レートに対して９７．５％を超えないようにパケットを送るようにする必要がある。そのため、再送可能回数Ｎｍａｘは、Ａ－ＰＨＹ規格上、論理層が物理層の有効転送レートに対して９７．５％を超えない範囲内でパケットを送ることの可能な回数に設定されていることが好ましい。

レジスタには、エリアごとに、行数ＬＮ、再送可能回数ＲＮ、自エリア持ち越し可否フラグＣＡおよび持ち越し可否フラグＭなどの各種設定値が規定されている。レジスタには、エリアごとの設定値が、順番に記録されている。例えば、レジスタには、第１エリアの設定値、第２エリアの設定値、第３エリアの設定値、第４エリアの設定値がこの順に記録されている。

ここで、行数ＬＮは、該当するエリアに含まれる画素行の数である。再送可能回数ＲＮは、該当するエリアにおいて再送要求可能な回数の上限値である。自エリア持ち越し可否フラグＣＡは、該当するエリアにおいて実際に行われた再送要求の回数（ＲＮａ）が該当するエリアにおいてレジスタに設定された再送可能回数ＲＮに満たなかった場合に、ＲＮからＲＮａを差し引いた値（ＲＮ－ＲＮａ）を、次のエリアの再送可能回数ＲＮに足し合わせるか否かを設定するフラグである。実際に行われた再送要求の、エリアごとの回数（ＲＮａ）は、レジスタに記録される。

自エリア持ち越し可否フラグＣＡが「Ｄｉｓａｂｌｅ」の場合、ＲＮ－ＲＮａは、次のエリアの再送可能回数ＲＮに足し合わされない。自エリア持ち越し可否フラグＣＡが「Ｅｎａｂｌｅ」の場合、ＲＮ－ＲＮａは、次のエリアの再送可能回数ＲＮに足し合わされる。ＲＮ－ＲＮａが再送可能回数ＲＮに足し合わされた場合、そのエリアにおける再送可能回数ＲＮは、レジスタに設定された再送可能回数ＲＮよりもＲＮ－ＲＮａだけ多い数となる。

持ち越し可否フラグＭは、自エリアよりも前のエリアにおけるＲＮ－ＲＮａが自エリアの再送可能回数ＲＮに足し合わされているか否かに関係なく、使われずに残った再送可能回数（残り回数ＲＮｂ）を、次のエリアの再送可能回数ＲＮに足し合わせるか否かを設定するフラグである。持ち越し可否フラグＭが「Ｄｉｓａｂｌｅ」の場合、残り回数ＲＮｂは、次のエリアの再送可能回数ＲＮに足し合わされない。持ち越し可否フラグＭが「Ｅｎａｂｌｅ」の場合、残り回数ＲＮｂは、次のエリアの再送可能回数ＲＮに足し合わされる。

タイミング制御部７３は、フレーム（１枚の画像データ）内のエリアごとに設定された優先度に基づいて、再送リスト保持部７１の再送リストに登録されているメッセージカウントに対応する送信済みパケット（以下、「送信済みパケットＸ」と称する。）を、再送パケットとして再送させるための制御を行う。具体的には、タイミング制御部７３は、再送リスト保持部７１の再送リストに登録されているメッセージカウントに対応するエリア（以下、「エリアα」と称する。）に対してレジスタに設定された各種設定と、エリアαにおいて実際に行われた再送要求の回数（ＲＮａ）とに基づいて、送信済みパケットＸを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ６５に対して行うか否かの判定を行う。

タイミング制御部７３は、例えば、エリアαにおいて実際に行われた再送要求の回数（ＲＮａ）が、エリアαに対してレジスタに設定された再送可能回数ＲＮを超えない場合に、再送要求の送信要求可と判定し、送信済みパケットＸを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ６５に対して行う。ただし、レジスタにおいて、エリアαに対する持ち越し可否フラグＭが「Ｅｎａｂｌｅ」に設定されている場合、タイミング制御部７３は、例えば、エリアαにおいて実際に行われた再送要求の回数（ＲＮａ）が、エリアαに対してレジスタに設定された再送可能回数ＲＮに、残り回数ＲＮｂを足し合わせた回数を超えない場合に、再送要求の送信要求可と判定し、送信済みパケットＸを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ６５に対して行う。タイミング制御部７３は、さらに、例えば、フレーム（１枚の画像データ）内で実際に行われた再送要求の回数がフレーム（１枚の画像データ）に対して規定された再送可能回数Ｎｍａｘを超えない場合に、再送要求の送信要求可と判定し、送信済みパケットＸを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ６５に対して行う。

再送要求データ生成部７４は、タイミング制御部７３によって発行された送信要求に対して、送受信スケジューラ６５から送信許可が得られた場合、再送リスト保持部７１の再送リストから読み出したメッセージカウントに対応する送信済みパケットの再送を要求する再送要求データを生成し、送受信スケジューラ６５に供給する。

＜送信済みバッファ５６の構成例および再送受付処理の処理例＞
次に、送信済みバッファ５６の構成例および再送受付処理の処理例について説明する。

図１０は、送信済みバッファ５６の機能ブロック例を表したものである。送信済みバッファ５６は、例えば、図１０に示したように、ライト制御部８１、転送制御部８２、リード制御部８３、送信済みパケット用バッファ８４および再送パケット用バッファ８５を有する。

ライト制御部８１は、送信スケジューラ５７から供給される送信済みパケットを、送信済みパケット用バッファ８４に書き込むライト制御を行う。

転送制御部８２は、制御データ識別器５５から供給される再送要求データで指定されるメッセージカウントの送信済みパケットを、送信済みパケット用バッファ８４が保持している送信済みパケットの中から検索する。そして、転送制御部８２は、再送要求データで指定されるメッセージカウントの送信済みパケットを検索結果として取得することができた場合、その送信済みパケットを再送パケット用バッファ８５に転送する転送制御を行う。なお、転送制御部８２は、再送要求データで指定されるメッセージカウントの送信済みパケットを検索結果として取得することができなかった場合、その再送要求データを破棄する。

リード制御部８３は、再送パケット用バッファ８５が保持している再送パケットのアドレスを管理するととともに、送信スケジューラ５７に対して、再送パケット用バッファ８５が保持している再送パケットの送信を要求する再送データ送信要求を発行する。そして、リード制御部８３は、送信スケジューラ５７から再送データ送信許可が得られると、再送パケット用バッファ８５から再送パケットを読み出して送信スケジューラ５７へ供給するリード制御を行う。送信済みパケット用バッファ８４は送信済みパケットを保持し、再送パケット用バッファ８５は再送パケットを保持する。

＜送信スケジューラ５７の構成例＞
次に、送信スケジューラ５７の構成例について説明する。

図１１は、送信スケジューラ５７の機能ブロック例を表したものである。送信スケジューラ５７は、例えば、図１１に示したように、センサデータ用バッファ９１、切り替え部９２および制御部９３を有する。

センサデータ用バッファ９１は、例えば、画像センサ１１が有する撮像素子（図示せず）から新規に入力されるセンサデータがペイロードに格納された新規パケットを一時的に格納する。例えば、センサデータ用バッファ９１は、送信済みバッファ５６から供給される再送パケットの出力中に、センサデータがペイロードに格納された新規パケットが入力されることが想定されるために必要となる。

切り替え部９２は、制御部９３による制御に従って、センサデータ用バッファ９１に格納されている新規パケットと、送信済みバッファ５６から供給される再送パケットとを切り替えて、送信スケジューラ５７から出力する。制御部９３は、送信済みバッファ５６から発行された再送データ送信要求を取得すると、切り替え部９２による出力の切り替えを制御する。制御部９３は、例えば、送信済みバッファ５６から発行された再送データ送信要求を取得すると、再送データ側に切り替え部９２による出力を切り替える。

＜効果＞
次に、本実施の形態に係る通信システム１の効果について説明する。

本実施の形態では、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本実施の形態では、再送回数保持部７２に設けられたレジスタにおいて、フレーム内のエリアごとに優先度に応じた再送可能回数が規定されている。これにより、フレーム内のエリアごとに規定された再送可能回数に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本実施の形態では、各エリアにおいて実際に行われた再送要求の回数が再送可能回数を超えない場合に、再送要求可と判定される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本実施の形態では、エリアは、フレームにおける所定の行数ごとに設定される。ここで、例えば、画像センサ１１が自動車などの移動体に設けられ、画像センサ１１によって移動体の前方を撮像することにより画像データが得られるとする。このとき、画像データにおける下部領域には、自動車のボンネットが映っており、画像データにおける中央領域には、自動車の前方の道路が映っており、画像データにおける上部領域には、自動車の前方の空が映っている可能性がある。この場合、画像データにおける中央領域の重要度が他の領域の重要度と比べて高いので、フレーム内のエリアを、フレームにおける所定の行数ごとに設定することにより、所望のフレームレートを維持しつつ、画像データにおいて重要度の高い領域の再送を確保することが可能となる。

＜変形例＞
[変形例Ａ]
上記実施の形態では、フレーム（１枚の画像データ）において、上から下に向かって所定の行数ごとに優先度が設定されていた。しかし、上記実施の形態において、例えば、図１２に示したように、フレーム（１枚の画像データ）において、左から右に向かって所定の列数ごとに優先度が設定されていてもよい。この場合、１フレーム分の画像を伝送するフレームフォーマットにおいて、フレームの開始を示すフレームスタート（FS）から、フレームの終了を示すフレームエンド（FE）までの間に、画像の列ごとに、その列のデータが格納されたパケットが生成されるか、または、その列を複数に分割したデータごとに、そのデータが格納されたパケットが生成される。

図１２では、フレーム（１枚の画像データ）において、左から所定の列数ごとに優先度が設定されている。例えば、左からＮ１列分の各列（第１エリア）に対しては、優先度「低」が設定され、優先度「低」が設定された列からＮ２列分の各列（第２エリア）に対しては、優先度「高」が設定され、優先度「高」が設定された列からＮ３列分の各列（第３エリア）に対しては、優先度「中」が設定され、優先度「中」が設定された列からＮ４列分の各列（第４エリア）に対しては、優先度「低」が設定されている。例えば、第１エリアに対しては、再送可能回数ＲＮがＮ５に設定され、第２エリアに対しては、再送可能回数ＲＮがＮ６に設定され、第３エリアに対しては、再送可能回数ＲＮがＮ７に設定され、第４エリアに対しては、再送可能回数ＲＮがＮ８に設定されている。Ｎ５＋Ｎ６＋Ｎ７＋Ｎ８は、フレーム（１枚の画像データ）あたりの再送可能回数Ｎｍａｘとなっている。

レジスタには、例えば、図１３に示したように、エリアごとに、列数ＣＮ、再送可能回数ＲＮ、自エリア持ち越し可否フラグＣＡおよび持ち越し可否フラグＭなどの各種設定値が規定されている。レジスタには、エリアごとの設定値が、順番に記録されている。例えば、レジスタには、第１エリアの設定値、第２エリアの設定値、第３エリアの設定値、第４エリアの設定値がこの順に記録されている。列数ＣＮは、該当するエリアに含まれる画素列の数である。

本変形例では、エリアは、フレームにおける所定の列数ごとに設定される。ここで、例えば、画像センサ１１が自動車などの移動体に設けられ、画像センサ１１によって移動体の左前方を撮像することにより画像データが得られるとする。このとき、画像データにおける右端領域には、自動車のボディやピラーが映っており、画像データにおける中央領域には、自動車の左前方の道路が映っており、画像データにおける左端領域には、道路の路肩やガードレールが映っている可能性がある。この場合、画像データにおける中央領域の重要度が他の領域の重要度と比べて高いので、フレーム内のエリアを、フレームにおける所定の列数ごとに設定することにより、所望のフレームレートを維持しつつ、画像データにおいて重要度の高い領域の再送を確保することが可能となる。

[変形例Ｂ]
上記実施の形態では、フレーム（１枚の画像データ）において、上から下に向かって所定の行数ごとに優先度が設定されていた。しかし、上記実施の形態において、例えば、図１４に示したように、フレーム（１枚の画像データ）において、所定の複数の画素ごとに優先度が設定されていてもよい。この場合、１フレーム分の画像を伝送するフレームフォーマットにおいて、フレームの開始を示すフレームスタート（FS）から、フレームの終了を示すフレームエンド（FE）までの間に、画像に含まれる複数の画素ごとに、その複数の画素のデータが格納されたパケットが生成される。

図１４では、フレーム（１枚の画像データ）において、所定の複数の画素ごとに優先度が設定されている。例えば、逆Ｖ字形状のエリア（第１エリア）に対しては、優先度「高」が設定され、優先度「高」が設定されたエリア（第１エリア）の下に隣接するエリア（第２エリア）に対しては、優先度「中」が設定され、優先度「高」が設定されたエリア（第１エリア）の右上、左上に隣接する各エリア（第３エリア）に対しては、優先度「低」が設定され、優先度「低」が設定された各エリア（第３エリア）の上に隣接する各エリア（第４エリア）と、優先度「中」が設定されたエリア（第２エリア）の下に隣接するエリア（第４エリア）とに対しては、優先度「極低」が設定されている。例えば、第１エリアに対しては、再送可能回数ＲＮがＮ８に設定され、第２エリアに対しては、再送可能回数ＲＮがＮ７に設定され、第３エリアに対しては、再送可能回数ＲＮがＮ６に設定され、第４エリアに対しては、再送可能回数ＲＮがＮ５に設定されている。Ｎ５＋Ｎ６＋Ｎ７＋Ｎ８は、フレーム（１枚の画像データ）あたりの再送可能回数Ｎｍａｘとなっている。

レジスタには、例えば、図１５に示したように、エリアごとに、再送可能回数ＲＮ、自エリア持ち越し可否フラグＣＡおよび持ち越し可否フラグＭなどの各種設定値が規定されている。レジスタには、エリアごとの設定値が、順番に記録されている。例えば、レジスタには、第１エリアの設定値、第２エリアの設定値、第３エリアの設定値、第４エリアの設定値がこの順に記録されている。レジスタには、さらに、例えば、図１５に示したように、各エリアを区画する座標が規定されている。

本変形例では、エリアは、フレームにおける所定の複数の画素ごとに設定される。ここで、例えば、画像センサ１１が自動車などの移動体に設けられ、画像センサ１１によって移動体の前方を撮像することにより画像データが得られるとする。このとき、画像データにおける逆Ｖ字形状の領域には、自動車の前方に真っ直ぐ遠くまで伸びた道路が映っており、画像データにおける、逆Ｖ字形状の領域の下に隣接する領域には、自動車のボンネットが映っており、画像データにおける、逆Ｖ字形状の領域の左上および右上に隣接する領域には、路肩やガードレールが映っている可能性がある。この場合、画像データにおける逆Ｖ字形状の領域の重要度が他の領域の重要度と比べて高いので、フレーム内のエリアを、フレームにおける所定の複数の画素ごとに設定することにより、所望のフレームレートを維持しつつ、画像データにおいて重要度の高い領域の再送を確保することが可能となる。

[変形例Ｃ]
上記実施の形態およびその変形例において、例えば、図１６に示したように、フレーム（１枚の画像データ）あたりの再送可能回数Ｎｍａｘだけでなく、複数フレームごとの再送可能回数も規定されていてもよい。この場合、複数フレームごとにブロックという概念が導入され、ブロックサイズＢＳごとに、再送回数の上限値が規定される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

[変形例Ｄ]
上記実施の形態およびその変形例において、例えば、図１６、図１７に示したように、該当するエリアにおいて実際に行われた再送要求の回数（ＲＮａ）が該当するエリアにおいてレジスタに設定された再送可能回数ＲＮを超えた場合、再送制御器６９は、ＲＮａが再送可能回数ＲＮを超えたことを示すエラーフラグを送受信スケジューラ６５に送信してもよい。この場合、送受信スケジューラ６５は、再送制御器６９からエラーフラグが供給されると、そのエラーフラグを制御データとして誤り検出符号計算器６３に供給し、通信装置１２へ送信させる。

通信装置１２は、エラーフラグを制御データとして通信装置２１から受信すると、制御データ識別器５５は、エラーフラグを送信済みバッファ５６に供給する。送信済みバッファ５６は、エラーフラグを取得すると、再送パケットの送信スケジューラ５７への供給を停止する。通信装置１２は、エラーフラグを受信すると、さらに、再送不可を示すＮＧフラグをフレームエンドに付加する。

このように、本変形例では、ＲＮａが再送可能回数ＲＮを超えた場合に、ＲＮａが再送可能回数ＲＮを超えたことを示すエラーフラグが通信装置１２に送信される。これにより、再送パケットの送信が停止されるので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

[変形例Ｅ]
上記実施の形態およびその変形例において、例えば、図１８、図１９に示したように、再送信回数保持部７２が再送制御器６９ではなく、送信済みバッファ５６に設けられていてもよい。

この場合、タイミング制御部７３は、再送リスト保持部７１の再送リストに登録されているメッセージカウントに対応する送信済みパケット（以下、「送信済みパケットＸ」と称する。）を、再送パケットとして再送させるための制御を行う。具体的には、タイミング制御部７３は、送信済みパケットＸを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ６５に対して行う。

転送制御部８２は、フレーム（１枚の画像データ）内のエリアごとに設定された優先度に基づいて、制御データ識別器５５から供給される再送要求データで指定されるメッセージカウントの送信済みパケット（以下、「送信済みパケットＸ」と称する。）を、再送パケットとして再送させるための制御を行う。具体的には、転送制御部８２は、制御データ識別器５５から供給される再送要求データで指定されるメッセージカウントに対応するエリア（以下、「エリアα」と称する。）に対してレジスタに設定された各種設定と、エリアαにおいて実際に行われた再送要求の回数（ＲＮａ）とに基づいて、送信済みパケットＸの再送を行うか否かの判定を行う。

転送制御部８２は、例えば、エリアαにおいて実際に行われた再送要求の回数（ＲＮａ）が、エリアαに対してレジスタに設定された再送可能回数ＲＮを超えない場合に、送信済みパケットＸの再送可と判定し、送信済みパケットＸを再送パケット用バッファ８５に対して転送する転送制御を行う。ただし、レジスタにおいて、エリアαに対する持ち越し可否フラグＭが「Ｅｎａｂｌｅ」に設定されている場合、転送制御部８２は、例えば、エリアαにおいて実際に行われた再送要求の回数（ＲＮａ）が、エリアαに対してレジスタに設定された再送可能回数ＲＮに、残り回数ＲＮｂを足し合わせた回数を超えない場合に、送信済みパケットＸの再送可と判定し、送信済みパケットＸを再送パケット用バッファ８５に対して転送する転送制御を行う。転送制御部８２は、さらに、例えば、フレーム（１枚の画像データ）内で実際に行われた再送要求の回数がフレーム（１枚の画像データ）に対して設定された再送可能回数Ｎｍａｘを超えない場合に、送信済みパケットＸの再送可と判定し、送信済みパケットＸを再送パケット用バッファ８５に対して転送する転送制御を行う。

転送制御部８２は、送信済みパケットＸの再送可の場合には、送信済みパケットＸを、送信済みパケット用バッファ８４が保持している送信済みパケットの中から検索する。そして、転送制御部８２は、送信済みパケットＸを検索結果として取得することができた場合、その送信済みパケットＸを再送パケット用バッファ８５に転送する転送制御を行う。なお、転送制御部８２は、再送要求データで指定されるメッセージカウントの送信済みパケットを検索結果として取得することができなかった場合、その再送要求データを破棄する。

本変形例では、再送信回数保持部７２を用いた再送制御が通信装置１２（送信済みバッファ５６）で行われる。このようにした場合であっても、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

＜適用例＞
図２０は、上記実施の形態およびその変形例に係る通信システム１を備えた撮像システム２の概略構成の一例を表したものである。撮像システム２は、例えば、光学系２１０と、シャッタ装置２２０と、通信システム１と、信号処理回路２３０と、表示部２４０とを備える。

光学系２１０は、被写体からの像光（入射光）を通信システム１（画像センサ１１）の撮像面上に結像させる。シャッタ装置２２０は、光学系２１０および撮像システム２の間に配置され、通信システム１（画像センサ１１）への光照射期間および遮光期間を制御する。通信システム１は、外部から入射した像光（入射光）を画像センサ１１で受光し、受光した像光（入射光）に応じた画素信号を信号処理回路２３０に出力する。信号処理回路２３０は、通信システム１から入力された画素信号を処理して、映像データを生成する。信号処理回路２３０は、さらに、生成した映像データに対応する映像信号を生成し、表示部２４０に出力する。表示部２４０は、信号処理回路２３０から入力された映像信号に基づく映像を表示する。

本適用例では、上記実施の形態およびその変形例に係る通信システム１が撮像システム２に適用される。これにより、例えば、伝送するデータの容量や速度などに応じた適切な通信を行うことができるので、撮像画質の高い撮像システム２を提供することができる。

＜応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検出した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２２は、撮像部１２０３１の設置位置の例を示す図である。

車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像システム２は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、高画質な撮影画像を得ることができるので、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。

以上、実施の形態、変形例および適用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

また、本開示は、以下のような構成を取ることも可能である。
（１）
再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、
前記判定部において再送要求可の場合には、再送要求データを生成し、他の通信装置に送信する送信部と
を備えた
通信装置。
（２）
前記エリアごとに前記優先度に応じた再送可能回数が設定されたレジスタを更に備えた
（１）に記載の通信装置。
（３）
前記判定部は、各前記エリアにおいて実際に行われた再送要求の回数が前記再送可能回数を超えない場合に、再送要求可と判定する
（２）に記載の通信装置。
（４）
前記判定部は、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、再送要求可と判定する
（２）に記載の通信装置。
（５）
前記エリアは、前記フレームにおける所定の行数ごとに設定される
（１）ないし（４）のいずれか１つに記載の通信装置。
（６）
前記エリアは、前記フレームにおける所定の列数ごとに設定される
（１）ないし（４）のいずれか１つに記載の通信装置。
（７）
前記エリアは、前記フレームにおける所定の複数の画素ごとに設定される
（１）ないし（４）のいずれか１つに記載の通信装置。
（８）
当該通信装置は、ＭＩＰＩＡ－ＰＨＹの再送制御を行う
（１）ないし（７）のいずれか１つに記載の通信装置。
（９）
再送制御において、再送要求データを受信する受信部と、
他の通信装置にデータを送信する送信部と、
前記送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データに基づいて、前記送信済みデータの再送制御を行う制御部と
を備えた
通信装置。
（１０）
再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定する判定部と、
前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを他の通信装置に送信する送信部と
を備えた
通信装置。
（１１）
前記判定部は、実際に行われた前記エリアごとの再送要求の回数が前記エリアごとに規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定する
（１０）に記載の通信装置。
（１２）
前記判定部は、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定する
（１０）または（１１）に記載の通信装置。
（１３）
送信装置および受信装置を備え、前記送信装置と前記受信装置との間で通信を行う通信システムであって、
前記受信装置は、
再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、
前記判定部において再送要求可の場合には、再送要求データを生成し、前記送信装置に送信する第１送信部と
を有し、
前記送信装置は、
前記再送要求データを受信する受信部と、
前記受信装置にデータを送信する第２送信部と、
前記第２送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データに基づいて、前記送信済みデータの再送制御を行う制御部と
を有する
通信システム。
（１４）
送信装置および受信装置を備え、前記送信装置と前記受信装置との間で通信を行う通信システムであって、
前記受信装置は、再送制御において、再送要求データを生成し、前記送信装置に送信する第１送信部を有し、
前記送信装置は、
前記再送要求データを受信する受信部と、
前記受信装置にデータを送信する第２送信部と、
前記第２送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データと、フレーム内のエリアごとに規定された優先度とに基づいて、前記送信済みデータの再送の可否を判定する判定部と
を有し、
前記第２送信部は、前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを前記受信装置に送信する
通信システム。

本開示の第１の側面に係る通信装置によれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求可の場合には、再送要求データを生成し、他の通信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本開示の第２の側面に係る通信装置によれば、再送制御において、再送要求データを受信すると、再送要求データに基づいて、保持部に保持された送信済みデータの再送制御を行うようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本開示の第３の側面に係る通信装置によれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定し、送信済みパケットの再送の可否の場合には、送信済みパケットを他の通信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本開示の第４の側面に係る通信システムによれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求可の場合には、再送要求データを生成し、送信装置から受信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本開示の第５の側面に係る通信システムによれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定し、送信済みパケットの再送の可否の場合には、送信済みパケットを送信装置から受信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。

本出願は、日本国特許庁において２０２０年３月２６日に出願された日本特許出願番号第２０２０－０５６０５７号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (6)

1. ＭＩＰＩＡ－ＰＨＹの再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、
   前記判定部において再送要求可の場合には、再送要求データを生成し、他の通信装置に送信する送信部と、
   前記エリアごとに前記優先度に応じた再送可能回数が設定されたレジスタと
   を備え、
   前記判定部は、各前記エリアにおいて実際に行われた再送要求の回数が前記再送可能回数を超えない場合に、再送要求可と判定し、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、再送要求可と判定する
   通信装置。
2. 前記エリアは、前記フレームにおける所定の行数ごとに設定される
   請求項１に記載の通信装置。
3. 前記エリアは、前記フレームにおける所定の列数ごとに設定される
   請求項１に記載の通信装置。
4. 前記エリアは、前記フレームにおける所定の複数の画素ごとに設定される
   請求項１に記載の通信装置。
5. ＭＩＰＩＡ－ＰＨＹの再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定する判定部と、
   前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを他の通信装置に送信する送信部と
   を備え、
   前記判定部は、実際に行われた前記エリアごとの再送要求の回数が前記エリアごとに規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定し、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定する
   通信装置。
6. 送信装置および受信装置を備え、前記送信装置と前記受信装置との間で通信を行う通信システムであって、
   前記受信装置は、ＭＩＰＩＡ－ＰＨＹの再送制御において、再送要求データを生成し、前記送信装置に送信する第１送信部を有し、
   前記送信装置は、
   前記再送要求データを受信する受信部と、
   前記受信装置にデータを送信する第２送信部と、
   前記第２送信部から送信した前記データを送信済みデータとして保持する保持部と、
   前記再送要求データと、フレーム内のエリアごとに規定された優先度とに基づいて、前記送信済みデータの再送の可否を判定する判定部と、
   前記エリアごとに前記優先度に応じた再送可能回数が設定されたレジスタと
   を有し、
   前記第２送信部は、前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを前記受信装置に送信し、
   前記判定部は、各前記エリアにおいて実際に行われた再送要求の回数が前記再送可能回数を超えない場合に、再送要求可と判定し、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、再送要求可と判定する
   通信システム。

Images