JP5465106B2 - 表示装置及び表示システム - Google Patents

Description

本発明は、撮像装置から所定周期で連続的に送信された送信データを受信し、表示処理を行う表示装置に関する。又、本発明は、撮像装置及び表示装置を有する表示システムに関する。

画像データをデータパケットとして無線伝送する場合、送信側と受信側のクロックが異なる為、受信側でオーバーフローやアンダーフローが発生してしまう。その対策として、特許文献１では、送信クロックを用いて発信時間情報を作成し、画像データと共にパケット化してネットワークに送信し、受信側では、受信パケットを分解して発信時間情報と符号化データを抽出して揺らぎ吸収バッファに記憶させる一方、記憶させた符号化データを発信時間情報と基準時刻を元に読み出し基準時刻に従って復号化し、更に発信時間情報と基準時刻を元に受信パケットが受けた相対的な遅延揺らぎ時間を算出し、各受信パケット各々に対する相対的な遅延ゆらぎ時間を平滑化した値に応じて基準時刻の調整を行っている。

特開２００４−１０４７０１号公報

しかし、上記の従来技術は、パケット内にゆらぎ時間測定の為の時間情報を挿入し、挿入した時間情報を基にゆらぎ時間を算出する為、パケットの転送が不定期に行われる場合や、パケット転送が大規模なネットワークを介して行われる場合等、個々のパケットの到着時間が大きく変動する場合に有効である反面、時間情報を付加することで、時間情報分の送信データ量の増加が発生してしまうという欠点がある。

本発明は、上述した課題に鑑みてなされたものであって、送信データ量の増加を抑えつつ、撮像装置の動作に同期して表示処理を行うことができる表示装置及び表示システムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成し、前記撮像データをパケット化して送信データを作成するとともに、前記撮像処理の撮像位相に対して所定の位相で送信されるパケットを特定パケットと定義するとき、前記送信データを送信するときに、前記撮像データの１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットを前記特定パケットとして送信する送信処理を行う撮像装置から前記送信データを受信する受信部と、前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、前記送信データ中の前記特定パケットの受信タイミングを計測する計測部と、前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記受信タイミングを使用するか否かを判定する判定部と、前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、を有する表示装置である。

又、本発明の表示装置において、前記判定部は、前記特定パケットの受信状態として、前記特定パケットが再送されているか否かを判定する。

又、本発明の表示装置において、前記判定部は、前記特定パケットに付加されている再送か否かを示すデータを検出することにより、前記特定パケットが再送されているか否かを判定する。

又、本発明の表示装置において、前記判定部は、前記特定パケットの受信間隔の変化を検出することにより、前記特定パケットが再送されているか否かを判定する。

又、本発明の表示装置において、前記特定パケットは、再送処理を行わないことが予め指定されており、前記判定部は、前記特定パケットの受信状態として、前記特定パケットが受信されているか否かを判定する。

又、本発明の表示装置において、前記撮像装置若しくは表示装置の動作開始直後の送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットが前記特定パケットとして指定されると共に、前記特定パケットが再送処理を行うことなく受信されるまで、送信データ中の前記特定パケットの指定が継続される。

又、本発明の表示装置において、前記特定パケットは、前記撮像装置が周期的に指定して送信するパケットである。

又、本発明の表示装置において、前記特定パケットは、表示装置からの要求に応じて指定されるパケットである。

又、本発明の表示装置において、前記特定パケットは、他のパケットよりも伝送路の劣化に強い方式を用いて送信される。

又、本発明は、撮像装置と表示装置とを有する表示システムであって、前記撮像装置は、所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成する撮像部と、前記撮像データをパケット化して送信データを作成するデータ処理部と、前記送信データを送信する送信部であって、前記撮像処理の撮像位相に対して所定の位相で送信されるパケットを特定パケットと定義するとき、前記送信データのうち、前記撮像データの１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットを前記特定パケットとして送信する送信部と、を有し、前記表示装置は、前記撮像装置から前記送信データを受信する受信部と、前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、前記送信データから前記特定パケットを抽出し、前記特定パケットの受信タイミングを計測する計測部と、前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記計測部によって計測された前記受信タイミングを使用するか否かを判定する判定部と、前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、を有する表示システムである。

本発明によれば、送信データから特定パケットを抽出し、特定パケットの受信タイミングを計測した結果を用いて表示信号の位相調整処理を行うことによって、送信データ量の増加を抑えつつ、撮像装置の動作に同期して表示処理を行うことができる。

本発明の第1の実施形態による表示システムの構成を示すブロック図である。 本発明の第1の実施形態におけるデータパケットの構成を示す構成図である。 本発明の第1の実施形態の表示フレームの構成を示す構成図である。 本発明の第1の実施形態における表示位相調整回路の構成を示すブロック図である。 本発明の第1の実施形態における表示クロック生成回路の構成を示すブロック図である。 本発明の第1の実施形態における初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第1の実施形態における定常調整期間での撮像位相と送信データのタイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第1の実施形態における位相調整動作を示すフローチャートである。 本発明の第1の実施形態における実際の表示位相と最適な表示位相との差を示す模式図である。 本発明の第2の実施形態におけるデータパケットの構成を示す構成図である。 本発明の第2の実施形態における初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第2の実施形態における位相調整動作を示すフローチャートである。 本発明の第3の実施形態における初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第3の実施形態における位相調整動作を示すフローチャートである。 本発明の第4の実施形態による表示システムの構成を示すブロック図である。 本発明の第4の実施形態における位相調整動作を示すフローチャートである。

以下、図面を参照し、本発明の実施形態を説明する。

（第1の実施形態）
まず、図1〜図9を用いて、本発明の第1の実施形態を説明する。本実施形態は、所定周期で撮像を行って画像データを作成し、画像データから、複数のパケットから成る送信データを作成し、送信データを無線送信する撮像装置と、送信データを受信して表示信号を作成する表示装置（受信装置）とから成る表示システムに対して本発明を適用した場合を例に説明を行っている。

図1は、本実施形態による表示システムの構成を示している。図1に示す表示システムは、撮像装置1及び表示装置11で構成されている。撮像装置1は、撮像光学系2、画像センサ3（撮像素子）、画像処理回路4、圧縮回路5、パケット作成回路6、RF回路7、アンテナ8、撮像制御回路9、及び撮像クロック回路10を有する。

撮像光学系2は被写体の光学像を画像センサ3上に結像する。画像センサ3は、結像された光学像を撮像データに変換して画像処理回路4に出力する。本実施形態での画像センサ3はプログレッシブスキャンを行っており、所定周期でフレーム単位の撮像データを出力している。以降の説明では、画像センサ3から出力される撮像データの位相を撮像位相と記す。

撮像データは、画像処理回路4によって画像処理された後、圧縮回路5によって符号データに変換され、パケット作成回路6に出力される。パケット作成回路6は、所定のデータ量毎に符号データをまとめて画像情報を作成する。更に、パケット作成回路6は、パケットを識別する為の識別符号である ID情報を含んだ公知の付加情報を画像情報に加えてデータパケット（送信データ）を生成する。

図2はデータパケットの構成を示している。図示するように、本実施形態のデータパケットは、パケットの種別とナンバー（パケット中の画像情報のフレーム内の位置を示す）を示すパケットID、及び再送されたデータパケットであるか否かを示す再送フラグから成る付加情報と、符号データから成る画像情報とにより構成されている。

通信環境が劣化し、表示装置11がデータパケットを受信できなかった場合、再送処理が行われる。再送処理の方法は、各種提案されている。例えばACKパケットを用いる方法では、表示装置11は、データパケットを受信すると、受信したことを示すACKパケットを撮像装置1に送信する。撮像装置1はデータパケットの送信後、ACKパケットの受信待ちを行い、所定時間内にACKパケットが受信できなかった場合には再送処理を行う。

再送処理では、撮像制御回路9がRF回路7を制御してACKパケットの受信待ちを行う。所定時間内にACKパケットを受信できない場合、撮像制御回路9はデータパケットの再送処理を行う。データパケットを再送する場合、撮像制御回路9は、パケット作成回路6に対して、再送フラグをONにする指示を行う。パケット作成回路6は、撮像制御回路9の指示に応じて、再送フラグをONに設定する。

上記過程を経て、1画面分の画像データは、所定個数のパケットに分割されて送信される。本実施形態では、フレームの先頭パケットが、表示装置11で位相調整に使用する特定パケットであるとして説明を行う。尚、本実施形態では、1画面分の画像データが4パケットに分割されるものとして説明を行う。

画像センサ3、画像処理回路4、圧縮回路5、パケット作成回路6、RF回路7の動作は撮像制御回路9により制御されており、撮像制御回路9の動作は撮像クロック回路10からの撮像クロックを基準に行われている。その為、撮像装置1の動作は、撮像クロックに同期して行われることになる。上述した、画像センサ3で撮像データを生成してから撮像データをパケット化するまでの手法は公知であるので、これ以上の説明は省略する。

パケット作成回路6で作成されたパケットは、RF回路7によりアンテナ8を介して無線送信される。本実施形態では、各フレームの先頭パケットの送信が、撮像位相に対して所定の位相で開始される。

表示装置11は、送信データを受信し、表示信号27を作成する装置であって、再送処理を行っていないフレーム先頭の特定パケットの受信タイミングに基づいて表示信号27の位相を調整する。以下に、その詳細を説明する。

表示装置11は、アンテナ12、RF回路13、パケット分解回路14、伸長回路15、フレームメモリ回路16、表示回路17、ID検出回路18、撮像位相検出回路19、表示位相調整回路20、表示クロック生成回路21、表示制御回路22、及びACKパケット作成回路36を有する。

RF回路13は、アンテナ12を介して無線信号を受信し、受信した無線信号を復調し、送信データをパケット分解回路14に出力する。パケット分解回路14は、送信データを構成するパケットを画像情報と付加情報に分解し、画像情報を伸長回路15に、付加情報を ID検出回路18に出力する。

伸長回路15は、符号データを伸長し、表示データに変換してフレームメモリ回路16に出力する。表示データはフレームメモリ回路16に格納される。フレームメモリ回路16に格納された表示データは表示回路17により適宜読み出される。表示回路17は、表示データを表示用の表示信号27に変換（表示処理）して出力する。表示信号27の位相は、表示回路17に加えられる表示位相データ25の値により決定される。表示位相データ25の値は、表示位相調整回路20によって調整される。又、表示信号27の周波数は、表示回路17に加えられる表示クロック26により制御される。表示クロック26は表示クロック生成回路21から供給される。

ID検出回路18は、フレーム先頭のパケットの付加情報からパケットIDを検出し、フレームメモリ回路16に出力する。パケットID中のナンバーは、パケット中の画像情報のフレーム内の位置を示している。フレームメモリ回路16は、パケットIDに基づいて、伸長回路15からの表示データを格納する為に使用するアドレス情報を作成する。

更に、ID検出回路18は、パケットIDの検出タイミングを示すID検出タイミング信号23を作成し、撮像位相検出回路19及び表示位相調整回路20に出力する。ID検出タイミング信号23は、フレーム先頭のパケットを再送無しで受信した場合の受信タイミングを示す信号である。

ID検出回路18は、パケットIDによりフレーム先頭のパケットであることを認識し、更にそのパケットの受信状態を判定し、判定結果に応じて、ID検出タイミング信号23を作成するか否かを判定する。本実施形態におけるパケットの受信状態とは、具体的には、パケットが再送されているか否かということである。ID検出回路18は、フレーム先頭のパケットの再送フラグがOFFであることを検出することにより、再送されたパケットではないことを確認した場合にID検出タイミング信号23を作成する。

前述したように、ID検出タイミング信号23は、フレーム先頭のパケットの受信タイミングを示しており、フレーム先頭のパケットの受信タイミングは撮像装置1の撮像位相により決定されている。その為、ID検出タイミング信号23は、撮像装置1の撮像位相と同期していることになる。

撮像位相検出回路19は、ID検出タイミング信号23が出力された時点での表示位相データ25の値を保持することで、撮像位相データ24を作成する。撮像位相データ24は、表示クロック生成回路21に出力される。

ACKパケット作成回路36は、データパケットが正常に受信されたことを示すACKパケットを作成する回路である。データパケットが正常に受信された場合、ACKパケット作成回路36は表示制御回路22の指示によりACKパケットを作成し、RF回路13に送る。ACKパケットは、RF回路13により変調され、アンテナ12を通して撮像装置1に送信される。

図3は、本実施形態の表示フレームの構成を示している。本実施形態の表示フレームは、水平画素数が2200、垂直画素数が1125であり、実際に表示される有効画素は有効水平画素が1920、有効垂直画素が1080である。フレーム周波数は30Hzである。表示フレームはHDTV映像規格に準拠しており、表示フレームの構成に関するこれ以上の説明は省略する。

図4は、表示位相調整回路20の構成を示している。表示位相調整回路20は、表示信号27の位相を制御する表示位相データ25を作成する回路である。表示位相調整回路20には、ID検出タイミング信号23と表示クロック26が入力され、表示位相データ25が出力される。図示されているように、表示位相調整回路20は、表示位相カウンタ29と初期位相レジスタ28で構成されている。

表示位相カウンタ29は、図3に示した表示フレーム構成に対応した表示位相データ25を生成する為の水平カウンタと垂直カウンタで構成されている。水平カウンタは、表示クロック26によりカウントアップし、2200カウントすると0にリセットされ、リセット後は、再度カウントアップするという動作を繰り返す。これにより、水平カウンタは0〜2199のカウントを繰り返す。垂直カウンタは、水平カウンタの2200カウント毎にカウントアップするように構成されており、1125カウントすると0にリセットされ、リセット後は、再度カウントアップするという動作を繰り返す。これにより、垂直カウンタは0〜1124のカウントを繰り返す。

これらのカウンタにより、2200×1125のカウントを行うことになる。表示クロック26の周波数は74.25MHzなので、フレーム周波数は74.25MHz/(2200×1125) =30Hzとなる。

表示位相カウンタ29中の水平カウンタ及び垂直カウンタの値が表示位相データ25として出力される。表示位相データ25は、表示回路17と撮像位相検出回路19に出力される。表示回路17に加えられた表示位相データ25は、表示信号27の位相調整に使用される。

本実施形態では、図3に示したように、水平カウンタ及び垂直カウンタの値が0になった時点を、表示フレーム中の有効画素の先頭としている。すなわち、水平カウンタ及び垂直カウンタの値が0になった時点から画像表示が開始される。

初期調整時の表示位相カウンタ29は、ID検出タイミング信号23が出力された時点で初期位相レジスタ28の値がセットされる。その結果、表示位相データ25の位相は、ID検出タイミング信号23の出力タイミングを基準に所定の位相に初期調整されることになる。

その後、表示位相データ25の位相は、表示クロック生成回路21が表示クロック26の周波数を制御することにより、撮像位相に対して所定の位相を保持して同期するように調整される（定常調整）。調整の詳細については、後に図6〜図9を用いて説明を行う。

図5は、表示クロック生成回路21の構成を示している。表示クロック生成回路21には、撮像位相データ24が入力され、表示クロック26が出力される。表示クロック生成回路21は、撮像位相データ24が所定値となるように表示クロック26の周波数を制御する回路である。表示クロック生成回路21は、減算回路30、目標位相レジスタ31、制御値演算回路32、初期周波数レジスタ33、セレクタ34、及び数値制御型発振器35を有する。

減算回路30は、表示クロック生成回路21に入力された撮像位相データ24と、目標位相レジスタ31に格納されている目標位相値との減算を行う。減算結果は制御値演算回路32に出力される。上記初期調整を終了した定常調整期間では、制御値演算回路32は、数値制御型発振器35に与える周波数制御値を調整することで表示クロック26の周波数を制御し、その結果、表示位相調整回路20から出力される表示位相データ25を調整し、更に撮像位相検出回路19から出力される撮像位相データ24を制御し、減算回路30の減算結果が零となるように制御している。

撮像位相検出回路19、表示クロック生成回路21、表示位相調整回路20で構成される制御ループにより、表示信号27の位相は、撮像位相に対して、所定の位相を保持して同期している。上記制御ループの詳細はPLL(Phase Locked Loop)として公知であるので説明を省略する。

セレクタ34には、制御値演算回路32から出力される値と、初期調整時点での表示クロック26の周波数を設定する為の初期周波数レジスタ33の値とが入力される。セレクタ34は、初期調整期間には初期周波数レジスタ33の出力を選択し、それ以外の定常調整期間には制御値演算回路32の出力を選択する。数値制御型発振器35は、入力された周波数制御値に応じて出力周波数が可変される回路であり、NCO回路として公知であるので、説明を省略する。

表示制御回路22は、表示装置11の動作を制御する回路であり、各部へ制御信号（図示せず）を供給して、表示装置11内の各回路の動作を制御する。

次に、図6〜図9を用いて、初期調整期間と定常調整期間での表示位相の調整方法について説明を行う。本実施形態での初期調整期間は、表示装置11が動作を開始した直後から、撮像装置1が送信データを受信し表示を開始するまでの期間であり、定常表示期間は送信データの表示開始以降から動作終了までの期間である。

図6は、初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示している。図示したように、画像センサ3は、時刻t1-t5の期間で第1フレーム目の撮像データを出力し、休止期間を置いて第2フレーム目の撮像データを出力するという動作を繰り返している。この場合、時刻t1−t7の期間が1フレーム期間であり、時刻t1が第1フレームの撮像位相の始点となり、時刻t7が第1フレームの撮像位相の終点となる。

本実施形態において、画像センサ3は30フレーム/秒のフレームレートで動作しており、時刻t1-t7の期間は1/30秒(約33.3ms)である。パケット作成回路6でのパケット作成は、撮像データが圧縮処理され1パケット分のデータが用意できた時点(時刻t2)から開始される。本実施形態では、1フレーム分のデータから4パケットを生成する方法を例として説明を行う。

第1フレームのパケットは、時刻t2-t6の期間で生成される。パケット作成が終了すると、でき上がったパケットから適宜送信が行われる。時刻t3は、第1フレーム目の先頭パケットの送信を開始したタイミングである。本説明は、第1フレーム及び第2フレームの送信時に通信路が劣化し、第1フレームの通信では先頭パケットが再送され、第2フレームでは所定期間内に4パケット分の通信が終了せず通信が打ち切られた(時刻t10)場合を例として行っている。

図6において、時刻t4,t9,t11,t14が各フレームの先頭パケットのパケットIDを検出するタイミングである。パケットが再送処理される場合、データパケット中の再送フラグがONとなる。その為、再送パケットを受信しても、ID検出回路18からID検出タイミング信号23が出力されないことになる。

本実施形態での再送処理は、ACKパケットを用いた方式で行われている。再送方式については公知であるので、これ以上の説明を省略する。

図6中の時刻t4が、再送された先頭パケットのパケットIDが検出されるタイミングであるが、受信されたパケットが再送パケットなのでID検出タイミング信号23は出力されない。同様に、第2フレームの先頭パケット受信時にもID検出タイミング信号23は出力されない。ID検出タイミング信号23が出力されないと、撮像位相検出回路19、表示位相調整回路20、表示クロック生成回路21の初期調整が行われず、表示回路17は、表示信号27を無信号状態に保持する。

第3フレームの先頭パケットのIDを検出したタイミングが時刻t11である。第3フレームの先頭パケットは再送無しで検出された為、ID検出タイミング信号23が時刻t11のタイミングで出力され、時刻t11から所定時間が経過した後の時刻t13に第3フレームの表示が開始されるように表示位相調整回路20が調整され、表示位相データ25が決定される。

図4に示したように、ID検出タイミング信号23は表示位相カウンタ29に入力されており、表示位相カウンタ29には、時刻t11のタイミングで初期位相レジスタ28の値がセットされる。初期位相レジスタ28の値は、時刻t11-t12の期間が既知であることから、時刻t13の時点で表示位相カウンタ29の値が0となるように設定された値である。時刻t13は、第3フレームのパケット通信での通信を打ち切る時点である時刻t12の直後に設定されている。

通信の打ち切りは、通信路が劣化した場合にパケットの再送処理が頻発し通信時間が無制限に伸びることを防止する為、通信中のフレームのパケット通信を中止する処理である。つまり、フレームのパケット通信の完了は、通信打ち切りの直前まで伸びる可能性がある。

表示開始のタイミング(時刻t13)は、通信打ち切りの直前にフレーム通信が完了した場合に、受信されたフレームパケットを表示できる最短の時点に設定されている。つまり、通信打ち切りの直前に通信が完了したフレームパケットを表示可能なタイミングの中で、最も表示画像の遅延時間が短くなるタイミングが、本実施形態の表示開始のタイミング(時刻t13)として選択される。

上記処理により、表示信号27による画像表示が時刻t13の時点から開始されることになる。初期調整期間は、時刻t13時点で終了する。

図7は、定常調整期間での撮像位相と送信データのタイミング及び表示信号の位相の関係を示している。図7は、第Nフレームでは先頭パケットが再送されずに送信され、第N+1フレームでは先頭パケットが1度再送され、第N+2フレームでは再送が頻発して所定時点(時刻t31)で送信が打ち切りになる状況を示している。

図示するように、画像センサ3は、時刻t21-t24の期間で第Nフレーム目の撮像データを出力し、休止期間を置いて、第N+1フレーム目の撮像データを出力するという動作を繰り返している。この場合、時刻t21-t26の期間が1フレーム期間であり、時刻t21が撮像位相の始点となり、時刻t26が撮像位相の終点となる。

パケット作成回路6でのパケット作成は、撮像データが圧縮処理され1パケット分のデータが用意できた時点(時刻t22)から開始される。図7において、時刻t23,t30,t31,t33が各フレームの先頭パケットのパケットIDを検出するタイミングである。

最初に、第Nフレームに関わる動作を説明する。時刻t23は、表示装置11が第Nフレーム目の先頭パケットのパケットIDを検出したタイミングである。時刻t28は、第Nフレームのパケットの通信において、送信の打ち切りが行われるタイミングである。時刻t29は、表示信号27において、第Nフレームのデータの表示を開始する位相である。図示するように、時刻t29は時刻t28の直後に設定されている。

定常調整期間での表示信号27の表示位相は、初期調整期間と同様に、通信の打ち切り直前に通信が完了したフレームパケットを表示可能な位相の中で最も表示画像の遅延時間が短くなるように調整されている。定常調整期間での表示位相は、図5に示した目標位相レジスタ31の設定値によって決定される。

目標位相レジスタ31の設定値は、時刻t29の時点で表示位相データ25の値が0となる場合に、時刻t23のタイミングで表示位相データ25がとるべき値が格納されている。再送されずに受信されたフレーム先頭のパケットのパケットIDが検出されると、目標位相レジスタ31の設定値が撮像位相データ24の値と減算され、演算結果が零となるように表示クロック26の周波数が制御される。これにより、時刻t29で表示位相データ25の値が零になるように表示信号27の位相が調整される。

次に、第N+1フレーム、第N+2フレームに関わる動作を説明する。第N+1フレーム、第N+2フレームの通信では、いずれも先頭パケットが再送されている為、各フレームの先頭パケットのパケットIDの検出タイミング(時刻t30,t31)は表示位相の調整には使用されない。表示クロック生成回路21は、調整できなかった期間(時刻t30-t33の期間)の表示クロック26の周波数は、最後の調整時(時刻t23)の値を保持する。

最後に、第N+3フレームに関わる動作を説明する。第N+3フレームの通信では、先頭パケットが再送無しで通信される為、先頭パケットのパケットIDの検出タイミング(t33)が表示位相の調整に使用される。この場合の動作は、第Nフレームでの動作と同じであるので、説明を省略する。

図8は、表示装置11での位相調整動作を示している。図8を用いて表示装置11での動作開始からの位相調整動作の説明を行う。表示装置11の初期調整期間の動作モードが初期調整モードであり、定常調整期間の動作モードが定常調整モードである。最初に、初期調整モードの説明を行う。

動作開始時、調整モードは、初期位相調整モードとなっている(S1)。ID検出回路18は、特定パケット(本実施形態ではフレーム先頭のパケット)のパケットIDの検出を待ち(S2)、特定パケットのパケットIDを検出した場合、再送フラグをチェックする(S3)。再送フラグが立っていた(ONとなっていた)場合、次のフレームを待つ。この場合、ID検出回路18からID検出タイミング信号23は出力されない。

再送フラグが立っていない(OFFとなっていた)場合、ID検出回路18からID検出タイミング信号23が出力され、撮像位相検出回路19はID検出タイミング信号23に基づいて撮像位相を算出する(S4)。撮像位相の算出後、表示制御回路22は調整モードをチェックし(S5)、調整モードが初期調整モードの場合、表示位相調整回路20の制御を行う。表示位相調整回路20は、表示位相カウンタ29に初期位相レジスタ28の値をセットすることによって表示位相初回調整(S6)を行う。

その後、表示制御回路22は調整モードを定常調整モードに設定し(S7)、初期調整モードを終了する。

次に、定常調整モードの説明を行う。定常調整モードの場合(S5)、表示クロック生成回路21は、撮像位相検出回路19からの撮像位相データ24に基づいて表示クロック26の周波数調整を行う(S8)。定常調整モードは、表示装置11の動作終了、若しくは、撮像装置1からの送信データの長期中断が発生するまで継続する。撮像装置1からの送信データの長期中断の検出は、表示制御回路22がID検出タイミング信号23を測定して行うが、本発明とは無関係の技術であるので、説明を省略する。

図9は、実際の表示位相と最適な表示位相との差(以降、表示位相誤差と表記する)の変化を動作開始直後から示した模式図の例である。図9は、図6のタイミングチャートに対応して動作を行った場合の位相変化を示している。図9の時刻t1〜t13は、図6の時刻t1〜t13に対応している。図9の時刻t14〜t21は、図6の時刻t13以降の時点を示している。

本説明においては、動作開始直後の第1、第2フレームの先頭パケットは再送後に受信されたこととして説明を行う為、第1、第2フレームの受信時には表示位相調整は実施されない。

図9において、時刻t1で未調整である位相差をp1として示している。又、調整直前の時刻t11での位相差を、p1に時刻t1-t11期間の撮像クロックと表示クロック26との周波数差により発生する位相差を加えたp11aとして示している。

時刻t11の時点で、表示位相調整回路20の設定が行われ、初期調整期間が終了する。調整直後の時刻t11では、位相差を調整誤差によるp11bとして示している。その後は定常調整期間となり、表示位相誤差が零となるように、表示クロック生成回路21からの表示クロック26の周波数が制御され、図9のように表示位相誤差が零に収束していくことになる。

本実施形態においては、再送時に再送フラグをONとする場合を例として説明を行ったが、例えば再送時にパケットIDを変更して、再送を示すIDを付加することによっても、再送フラグと同等の処理を行うことが可能である。

上述したように、本実施形態によれば、送信データから特定パケットを抽出し、特定パケットの受信タイミングを計測した結果を用いて表示信号の位相調整処理を行うことによって、撮像装置の動作に同期して表示処理を行うことができる。又、特定パケットを使用することで、データ量の増加を招く時間情報を付加する必要がなくなり、送信データ量の増加を抑えることができる。特に、特定パケットの受信タイミングの測定時にパケット識別用の IDの受信タイミングを測定することで、従来のパケットの構成を変更する必要が無くなり、送信情報量を増加させずに受信タイミングの測定を行うことができる。

又、特定パケットが再送されているか否かを判定し、再送されていない特定パケットの受信タイミングを使用することによって、再送による時間ずれを排除し、正確に撮像位相を検出することができる。

又、特定パターンの変化を検出して（再送フラグの代わりに再送を示すIDを付加する場合に相当）、特定パケットが再送されているか否かを判定することによって、再送の検出を簡易に行うことができる。

（第2の実施形態）
次に、図10〜図12を用いて、本発明の第2の実施形態の説明を行う。本実施形態における表示システムの構成は第1の実施形態と同様であるので、説明を省略する。図10はデータパケットの構成を示している。図示するように、本実施形態のデータパケットは、パケットの種別とナンバー（パケット中の画像情報のフレーム内の位置を示す）を示すパケットIDから成る付加情報と、符号データから成る画像情報とにより構成されている。すなわち、第1の実施形態と異なり、付加情報中に再送フラグは配置されていない。

本実施形態は、各フレーム毎に1個用意された特定パケットの受信間隔を前フレームと現フレームとで測定し、受信間隔が所定範囲内の場合、現フレームの特定パケットの受信タイミングを使って表示信号の位相調整を行うという内容である。

本実施形態では、前フレームと現フレームの両方の特定パケットに再送が発生した場合に、受信間隔が、再送が発生しない場合の受信間隔と同一にならないように、再送開始までの待ち時間を変化させる制御が行われる。例えば、第N(N=1,3,5,--)フレームでの再送開始までの待ち時間をWT1とし、N+1フレームでの再送開始までの待ち時間をWT2とすると、WT1≠WT2とすることで、再送発生時の特定パケットの受信間隔を、再送非発生時の特定パケットの受信間隔と異ならせることが可能となる。

本実施形態で、第1の実施形態と大きく変わるのはID検出回路18の機能である。第1の実施形態のID検出回路18は、付加情報中のパケットIDによりフレーム先頭のパケットであることを認識し、再送フラグのON/OFFにより再送の有無を確認して、ID検出タイミング信号23を作成していた。本実施形態のID検出回路18は、第1の実施形態とは異なり、付加情報中のパケットIDによりフレーム先頭のパケットであることを確認した時点を基準に、前回の確認時点から今回の確認時点までの経過時間を測定する間隔測定カウンタを持ち、経過時間が所定範囲内の場合にID検出タイミング信号23をONとする。

図11は、初期調整期間での撮像位相と送信データのタイミング及び表示信号の位相の関係を示している。図11を用いて、初期調整期間を例に説明を行う。

時刻t1は、第1フレーム目の先頭パケットの送信を開始したタイミングである。本説明は、第1の実施形態と同様に、第1フレーム及び第2フレームの送信時に通信路が劣化し、第1フレームの通信では先頭パケットが再送され、第2フレームの通信では所定期間内に4パケット分の通信が終了せず通信が打ち切りになった場合を例として行っている。

本実施形態の撮像装置1は、第1フレームでは再送待ち時間WT1待った後の時刻t2から再送を開始し、第2フレームでは再送待ち時間WT2待った後の時刻t4から再送を開始している。本説明では、撮像装置1が再送間隔を制御しているが、表示装置11がACKパケットを送信する間隔を制御することにより再送開始までの待ち時間の制御を行ってもよい。

図11において、時刻t2,t4,t5,t6が各フレームの先頭パケットのパケットIDを検出するタイミングである。第1、第2フレームの先頭パケットの受信間隔Taが所定範囲外（所定範囲よりも長すぎる）である為、時刻t4で ID検出タイミング信号23はONとならない。又、第2、第3フレームの先頭パケットの受信間隔Tbが所定範囲外（所定範囲よりも短すぎる）である為、時刻t5で ID検出タイミング信号23はONとならない。この為、初期調整期間が継続することになる。

一方、第3、第4フレームの先頭パケットは再送されず、第3、第4フレームの先頭パケットの受信間隔Tcが所定範囲内である為、時刻t6でID検出タイミング信号23がONとなる。その結果、表示信号27の初期位相調整が行われ、初期調整期間が終了する。

図12は、表示装置11での位相調整動作を示している。図12を用いて表示装置11での動作開始からの位相調整動作の説明を行う。本実施形態では、第1の実施形態の再送フラグの確認(S3)の代わりに、フレーム先頭のパケットの受信間隔の確認(S11)が行われる。ID検出回路18は、各フレームにおいて、ID検出タイミング信号23を出力した時点で上記カウンタのカウント値をバッファに格納した後、カウント値を零にリセットする。ID検出回路18は、このカウント値に基づいて受信間隔を判定する(S11)。

カウント値が所定範囲外である場合、次のフレームを待つ。この場合、ID検出回路18からID検出タイミング信号23は出力されない。カウント値が所定範囲内である場合、ID検出回路18からID検出タイミング信号23が出力される。上記以外は、第1の実施形態とほぼ同じである。

上述したように、本実施形態によれば、特定パケットの受信間隔の変化を検出して、特定パケットが再送されているか否かを判定することによって、再送検出用の情報が不要となる為、送信データ量を削減することができる。

（第3の実施形態）
次に、図13、図14を用いて、本発明の第3の実施形態の説明を行う。本実施形態における表示システムの構成は第1の実施形態と同様であるので、説明を省略する。

本実施形態は、特定パケットの再送処理を行わず、特定パケットの通信が不調となった時点で特定パケットを含むフレームの送信を中止し、次のフレームの先頭から送信を再開する通信方法を使用している。又、通信開始直後の初期調整期間では、初期調整が終了するまで先頭パケットを特定パケットとして指定し、定常調整期間では、予め定められた周期のフレームの先頭パケットを特定パケットとして指定する方法を使用している。

尚、上記特定パケットの周期は、撮像装置1と表示装置11に使用されているクロック回路の特性に応じて選択される。クロック周波数差が大きく周波数の安定性が低い場合、特定パケットを頻繁に送り位相調整を細かく行うことになる。例えば各フレームの先頭パケットを全て特定パケットとしても良い。この場合、位相調整の精度が上がる利点があるが、通信環境が劣化した場合、特定パケットが通信不調となる確率が上がるという欠点も生じる。クロック周波数差が小さく周波数の安定性が高い場合、特定パケットの通信周期は長く設定されることになる。

本実施形態では、特定パケットは再送処理を行わずに通信される為、特定パケットの受信タイミングを無条件に位相調整に使用できる点が、第1、第2の実施形態と異なっている。又、特定パケットは、他のパケットよりも冗長度を上げて作成されており、通信路が劣化した場合にも通信不調となりにくくする工夫がされている。

本実施形態で、第1、第2の実施形態と変わるのは、上記送信を行う撮像装置1の機能とID検出回路18の機能である。ID検出回路18は、付加情報中のパケットIDに基づいて特定パケットであることを確認した時点を基準にID検出タイミング信号23をONとする。上記以外は、第1の実施形態と同じである。

図13を用いて、初期調整期間を例に説明を行う。本説明は、第1の実施形態と同じように、第1フレーム及び第2フレームの送信時に通信路が劣化し、第1フレームの通信では先頭パケットが再送され、第2フレームでは所定期間内に4パケット分の通信が終了せず通信打ち切りになった場合を例として行っている。

時刻t1は、第1フレーム目の先頭パケットの送信を開始したタイミングであり、時刻t2は、第2フレーム目の先頭パケットの送信を開始したタイミングである。第1フレーム、第2フレームともに先頭パケットの通信時に通信環境が劣化し、先頭パケットの通信が不調となった為、各フレームの送信を中断している。

図13において、時刻t3,t5が各フレームの先頭パケットのパケットIDを検出したタイミングである。本実施形態での撮像装置1は、再送の有無を通知する必要がないので、第2の実施形態の図10に示した、再送フラグのない構成のデータパケットを送信する。又、特定パケットを含むフレームの送信では、特定パケットの通信が不調になった時点で、そのフレームの通信が終了する。

時刻t3が第3フレーム目の先頭パケットの送信を開始したタイミングであり、時刻t3時点でID検出タイミング信号23がONとなる。その結果、表示信号27の初期調整が行われ、第1の実施形態の場合と同様に、時刻t4時点に表示信号27の先頭位相が来るように調整が行われ、初期調整期間が終了する。以降は、定常調整期間となり、例えば第4フレームの先頭パケットが特定パケットとして指定されている場合、先頭パケットの検出タイミングである時刻t5が位相調整に使用される。

次に、図14を用いて位相調整動作の説明を行う。図14に示すフローチャートは、第1の実施形態のフローチャート(図8)と比較して、S3(再送フラグの検出による再送判定)がS21に置き換わっている以外は同一になっている。

S21は、特定パケットの判定であり、ID検出回路18は、受信したパケットが予め指定された特定パケットであるか否かを判定する。例えば、初期調整期間ではフレームの先頭パケットを無条件に特定パケットとして判定し、定常調整期間では10フレーム毎に先頭パケットが特定パケットになる等のルールに基づいて判定することになる。

受信したパケットが特定パケットでない場合、次のフレームを待つ。この場合、ID検出回路18からID検出タイミング信号23は出力されない。受信したパケットが特定パケットである場合、ID検出回路18からID検出タイミング信号23が出力される。上記以外は、第1の実施形態とほぼ同じである。

上述したように、本実施形態によれば、再送を行わないパケットを特定パケットに用いることにより、再送の判別が不要となる為、位相調整回路の簡素化が図られる。

又、動作開始直後に受信した特定パケットの受信タイミングだけから位相調整が行われる為、動作開始直後の位相調整の手順が簡素化され、回路規模の削減が図られる。具体的には、図14に示した動作では、S21の判定が、S2で検出したパケットIDを用いて行われる為、図8のS3及び図11のS11と比較して、処理が簡易となる。

又、撮像装置1が周期的に送信するパケットを特定パケットとして予め決めておくことで、位相調整の手順が簡素化され、回路規模の削減が図られる。

又、特定パケットを、他のパケットよりも伝送路の劣化に強い方式を用いて送信することで、再送を行わない特定パケットが通信失敗となる可能性を低減することができる。

（第4の実施形態）
次に、図15、図16を用いて、本発明の第4の実施形態の説明を行う。

本実施形態では、第3の実施形態と同様に、特定パケットの再送処理を行わず、特定パケットの通信が不調となった時点で特定パケットを含むフレームの送信を中止し、次のフレームの先頭から再開する通信方法を使用している。本実施形態は、特定パケットの指定を表示装置11が行う点が第3の実施形態と異なっている。又、本実施形態の特定パケットを、他のパケットよりも通信速度を下げて送信することにより、通信路が劣化した場合にも通信不調となりにくくする工夫がされている。

本実施形態の表示装置11は、前フレームの最終パケットの受信が終了し、次のフレームの先頭パケットの受信が開始される迄の受信休止期間中に、撮像装置1に対して、特定パケットの送信を要求する。撮像装置1は、特定パケットの送信要求を受けると、次のフレームの先頭パケットを特定パケットとして送信する。特定パケットについては、再送処理を行わないので、撮像装置1は、通信が不調となった時点で特定パケットを含むフレームの送信を中止し、次のフレームの先頭から再開する。

図15は、本実施形態における表示装置37の構成を示している。図示するように、表示装置37では、図1に示した表示装置11のACKパケット作成回路36がパケット作成回路38に置き換わる構成となっている。パケット作成回路38は、ACKパケット作成回路36と同様のACKパケットを作成する機能の他に、撮像装置1に特定パケットの送信を要求する位相調整実施指示パケットの作成も、表示制御回路39の指示に応じて行う。

次に、図16を用いて位相調整動作の説明を行う。図16に示すフローチャートは、第3の実施形態のフローチャート(図14)と比較して、S21(特定パケットの判定)を無くして、特定パケットを要求する為の処理である、S31とS32をS1とS2の間に入れた点が異なっている。

S31は、位相調整を行う為の特定パケットの要求に関する判断であり、表示制御回路39は、表示装置11の各種状態(例：初期調整が済んでいない、位相調整間隔が空いた、周波数制御の変化が大きくまだ表示位相が収束していない、等の条件)により、次のフレームの送信時に特定パケットを入れることを要求するか否かを判定する。

特定パケットの要求を行わない場合、次のフレームを待つ。また、特定パケットの要求を行う場合、パケット作成回路38は、表示制御回路39の指示により位相調整実施指示パケットの送信処理を実施する(S32)。

以下、位相調整実施指示パケットの送受信に関連した撮像装置1及び表示装置37の動作を説明する。

撮像装置1が位相調整実施指示パケットを受信して、特定パケットを含んだ1フレーム分のデータの通信を開始した後、データに含まれる特定パケットの通信が不調になるとそのフレームの通信を中止する。撮像装置1は、特定パケット送信後の所定時間内にACKパケットが返ってこなかった場合、特定パケットの通信ができなかったと判断する。

撮像装置1は、特定パケットの送信が要求された場合、特定パケットの送信が成功するまで、特定パケットを含んだフレームの送信を繰り返す。通信が失敗した場合、撮像装置1は、次のフレームでも特定パケットを入れて送信を行う。

上記のように、撮像装置1は、特定パケットの送信が成功するまで特定パケットを送り続ける為、S31での判断は、その時点で表示装置11の位相調整が必要かどうかを基準に行われる。S2は、第1の実施形態と同様に、パケットIDの検出待ちである。

S2でパケットIDが検出された場合、ID検出回路18は、受信したパケットが特定パケットであるか否かを判定する(S33)。本処理は、先頭パケット以外、例えば最終パケットを特定パケットとする場合に必要な処理である。例えば、特定パケットがフレーム内の2番目のパケットである場合、受信休止期間中にS32が実行される為、特定パケットの受信前にS2でフレーム先頭パケットのパケットIDを検出してしまう。この場合、先頭パケットは特定パケットではないので、S33によって、位相調整処理を実行しないように処理することが必要となる。

S33で特定パケットを検出した後は、以降の処理を無条件に実行する。上記処理により、表示装置37は所望のタイミングで位相調整用の情報を入手することが可能となる。以降の処理は第1の実施形態と同じであるので説明を省略する。

上述したように、本実施形態によれば、再送を行わないパケットの転送タイミングを表示装置側から決定できるようになる為、表示位相の状況に応じて位相調整用の位相データを取得することが可能となり、高精度の位相調整が可能となる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記では撮像周期をフレームとしているが、フィールドとしてもよい。

1・・・撮像装置、2・・・撮像光学系、3・・・画像センサ（撮像部）、4・・・画像処理回路、5・・・圧縮回路、6・・・パケット作成回路（データ処理部）、7・・・ RF回路（送信部）、8・・・アンテナ、9・・・撮像制御回路、10・・・撮像クロック回路、11，37・・・表示装置、12・・・アンテナ、13・・・ RF回路（受信部）、14・・・パケット分解回路、15・・・伸長回路、16・・・フレームメモリ回路、17・・・表示回路（表示処理部）、18・・・ ID検出回路（計測部、判定部）、19・・・撮像位相検出回路、20・・・表示位相調整回路（処理部）、21・・・表示クロック生成回路、22，39・・・表示制御回路、28・・・初期位相レジスタ、29・・・表示位相カウンタ、36・・・ ACKパケット作成回路、38・・・パケット作成回路、30・・・減算回路、31・・・目標位相レジスタ、32・・・制御値演算回路、33・・・初期周波数レジスタ、34・・・セレクタ、35・・・数値制御型発振器

Claims (10)

1. 所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成し、前記撮像データをパケット化して送信データを作成するとともに、前記撮像処理の撮像位相に対して所定の位相で送信されるパケットを特定パケットと定義するとき、前記送信データを送信するときに、前記撮像データの１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットを前記特定パケットとして送信する送信処理を行う撮像装置から前記送信データを受信する受信部と、
   前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、
   前記送信データ中の前記特定パケットの受信タイミングを計測する計測部と、
   前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記受信タイミングを使用するか否かを判定する判定部と、
   前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、
   を有する表示装置。
2. 前記判定部は、前記特定パケットの受信状態として、前記特定パケットが再送されているか否かを判定する、請求項１に記載の表示装置。
3. 前記判定部は、前記特定パケットに付加されている再送か否かを示すデータを検出することにより、前記特定パケットが再送されているか否かを判定する、請求項２に記載の表示装置。
4. 前記判定部は、前記特定パケットの受信間隔の変化を検出することにより、前記特定パケットが再送されているか否かを判定する、請求項２に記載の表示装置。
5. 前記特定パケットは、再送処理を行わないことが予め指定されており、
   前記判定部は、前記特定パケットの受信状態として、前記特定パケットが受信されているか否かを判定する、請求項１に記載の表示装置。
6. 前記撮像装置若しくは表示装置の動作開始直後の送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットが前記特定パケットとして指定されると共に、前記特定パケットが前記再送処理を行うことなく受信されるまで、送信データ中の前記特定パケットの指定が継続される、請求項５に記載の表示装置。
7. 前記特定パケットは、前記撮像装置が周期的に指定して送信するパケットである、請求項５に記載の表示装置。
8. 前記特定パケットは、表示装置からの要求に応じて指定されるパケットである、請求項５に記載の表示装置。
9. 前記特定パケットは、他のパケットよりも伝送路の劣化に強い方式を用いて送信される、請求項５に記載の表示装置。
10. 撮像装置と表示装置とを有する表示システムであって、
    前記撮像装置は、
    所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成する撮像部と、
    前記撮像データをパケット化して送信データを作成するデータ処理部と、
    前記送信データを送信する送信部であって、前記撮像処理の撮像位相に対して所定の位相で送信されるパケットを特定パケットと定義するとき、前記送信データのうち、前記撮像データの１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットを前記特定パケットとして送信する送信部と、
    を有し、
    前記表示装置は、
    前記撮像装置から前記送信データを受信する受信部と、
    前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、
    前記送信データから前記特定パケットを抽出し、前記特定パケットの受信タイミングを計測する計測部と、
    前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記計測部によって計測された前記受信タイミングを使用するか否かを判定する判定部と、
    前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、
    を有する表示システム。

Images