WO2022254798A1

WO2022254798A1 - 信号処理システムおよび信号処理方法

Info

Publication number: WO2022254798A1
Application number: PCT/JP2022/004996
Authority: WO
Inventors: 真人山根; 拓也宮崎; 雄生杉江
Original assignee: ソニーグループ株式会社
Priority date: 2021-06-03
Filing date: 2022-02-09
Publication date: 2022-12-08

Abstract

本開示は、リアルタイムサービスにおいて表示の最適化を実現することができるようにする信号処理システムおよび信号処理方法に関する。送信装置は、撮像装置からの画像信号を送出し、クラウド上に設けられた処理装置は、送出された画像信号に対して信号処理を施し、受信装置は、信号処理が施された画像信号を受信する。統合装置は、時刻同期されている送信装置、処理装置、および受信装置とともにネットワークに接続され、処理装置の信号処理内容に応じて、送信装置から受信装置までの信号遅延量を設定し、受信装置に送信する。本開示は、医療向けネットワークシステムや放送局向けネットワークシステムに適用することができる。

Description

信号処理システムおよび信号処理方法

　本開示は、信号処理システムおよび信号処理方法に関し、特に、リアルタイムサービスにおいて表示の最適化を実現する信号処理システムおよび信号処理方法に関する。

　通信技術の発展や汎用プロセッサの性能向上に伴い、医療用サービスや放送用サービスなどリアルタイム性が要求されるリアルタイムサービスにおいて、クラウド上の複数のサーバが画像信号に対して各種のソフトウェア信号処理を実行することが提案されている。

　リアルタイムサービスにおいては、オンプレミス環境に近い、非常に小さいレイテンシが要求されるため、様々な低レイテンシ技術や、レイテンシをユーザに感じさせない技術の確立が求められる。

　特許文献１には、遠隔地に配置されたカメラによって提供される画像を見るためのモニタを有する制御装置が、カメラに対するコマンドを実行する前に、表示用のエミュレート画像を提示することで、遅延を感じさせない遠隔制御の方法が開示されている。

特開２０１９－１８６９３４号公報

　クラウド上の各サーバにおける処理時間は、サーバ毎、アプリ―ケーション毎に異なる場合がある。すなわち、ソフトウェア信号処理毎に遅延時間が異なる場合がある。そのため、例えば、複数の処理結果を各処理が終了した順に１枚の画像に統合して表示する場合、画像領域毎に取得時間が異なることから、不適切な表示となる可能性がある。

　したがって、リアルタイムに複数の異なる信号処理を実行する際には、それぞれの処理時間に応じて表示の最適化を実現できるシステムが求められる。

　本開示は、このような状況に鑑みてなされたものであり、リアルタイムサービスにおいて表示の最適化を実現するものである。

　本開示の信号処理システムは、撮像装置からの画像信号を送出する送信装置と、送出された前記画像信号に対して信号処理を施す、クラウド上に設けられた処理装置と、前記信号処理が施された前記画像信号を受信する受信装置と、時刻同期されている前記送信装置、前記処理装置、および前記受信装置とともにネットワークに接続され、前記処理装置の信号処理内容に応じて、前記送信装置から前記受信装置までの信号遅延量を設定し、前記受信装置に送信する統合装置とを備える信号処理システムである。

　本開示の信号処理方法は、撮像装置からの画像信号を送出する送信装置と、送出された前記画像信号に対して信号処理を施す、クラウド上に設けられた処理装置と、前記信号処理が施された前記画像信号を受信する受信装置と、時刻同期されている前記送信装置、前記処理装置、および前記受信装置とともにネットワークに接続された統合装置とを備える信号処理システムの前記統合装置が、前記処理装置の信号処理内容に応じて、前記送信装置から前記受信装置までの信号遅延量を設定し、前記受信装置に送信する信号処理方法である。

　本開示においては、処理装置の信号処理内容に応じて、送信装置から受信装置までの信号遅延量が設定され、受信装置に送信される。

本開示に係る技術を適用し得る信号処理システムの構成例を示すブロック図である。コンピュータのハードウェア構成例を示すブロック図である。統合装置の機能構成例を示す図である。信号遅延量の設定について説明する図である。画像信号の取得から出力までの流れについて説明する図である。分割画像の例を示す図である。複数の画像信号に対して信号処理を施す例を示す図である。レイテンシ優先同期について説明する図である。時刻優先同期について説明する図である。

　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。

　１．背景技術とその課題
　２．信号処理システムの構成
　３．画像信号の取得から出力までの流れ
　４．クラウド上での信号処理と同期について

＜１．背景技術とその課題＞
　通信技術の発展や汎用プロセッサの性能向上に伴い、医療用サービスや放送用サービスなどのリアルタイム性が要求されるリアルタイムサービスにおいて、クラウド上の複数のサーバが画像信号に対して各種のソフトウェア信号処理を実行することが提案されている。

　クラウド上の各サーバにおける処理時間は、サーバ毎、アプリ―ケーション毎に異なる場合がある。すなわち、ソフトウェア信号処理毎に遅延時間が異なる場合がある。例えば、医療用サービスにおいて、内視鏡画像に対するＡＩ（Artificial Intelligence）診断アプリケーション処理と、内視鏡画像に対するアップコンバート処理とでは、その処理時間が大きく異なる。そのため、例えば、これらの処理結果を各処理が終了した順に１枚の画像に統合して表示する場合、画像領域毎に取得時間が異なることから、フレームドロップによって不適切な表示となる可能性がある。

　以下においては、リアルタイムサービスにおいて表示の最適化を実現する信号処理システムの構成について説明する。

＜２．信号処理システムの構成＞
（信号処理システム全体の構成例）
　図１は、本開示に係る技術を適用し得る信号処理システムの構成例を示すブロック図である。

　図１の信号処理システム１は、医療用サービスの提供を実現する医療向けネットワークシステムとして構成されてもよいし、放送用サービスの提供を実現する放送局向けネットワークシステムとして構成されてもよい。

　信号処理システム１は、送信装置１０、撮像装置１１、受信装置２０、表示装置２１、サーバ３０、操作端末４０、および統合装置５０から構成される。

　信号処理システム１においては、撮像装置１１が複数設けられ、送信装置１０も撮像装置１１に対応する数だけ設けられる。同様に、表示装置２１が複数設けられ、受信装置２０も表示装置２１に対応する数だけ設けられる。

　信号処理システム１において、送信装置１０、受信装置２０、サーバ３０、操作端末４０、および統合装置５０は、いわゆるＩＰ（Internet Protocol）ネットワークを構成するネットワークＮＷに接続されている。

　撮像装置１１は、動画像を撮像する機能を有する電子機器として構成される。信号処理システム１が医療向けネットワークシステムとして構成される場合、撮像装置１１は、内視鏡や術場カメラなどの医療撮像装置（医療機器）として構成される。信号処理システム１が放送局向けネットワークシステムとして構成される場合、撮像装置１１は、放送用ビデオカメラなどとして構成される。

　表示装置２１は、撮像装置１１により撮像された画像（動画像）をリアルタイムに表示するモニタとして構成される。

　撮像装置１１は、それぞれ送信装置１０を介して、ネットワークＮＷに接続される。また、表示装置２１は、それぞれ受信装置２０を介して、ネットワークＮＷに接続される。撮像装置１１や表示装置２１は、ＳＤＩ（Serial Digital Interface）やＨＤＭＩ（High-Definition Multimedia Interface）（登録商標），Display Portなどのインタフェースを有している。

　送信装置１０と受信装置２０は、いわゆるＩＰコンバータとして構成される。送信装置１０は、撮像装置１１からの画像（画像信号）をＩＰ信号に変換し、ネットワークＮＷに送出する。また、受信装置２０は、ネットワークＮＷから受信したＩＰ信号を画像信号に変換し、表示装置２１に出力する。

　図１の例では、送信装置１０と撮像装置１１とが別個に構成されているが、これらが一体に構成されてもよい。また、受信装置２０と表示装置２１もまた別個に構成されているが、これらが一体に構成されてもよい。

　サーバ３０は、画像信号に対して画像処理を施す処理装置として構成され、クラウドＣＬＤ上に複数設けられる。サーバ３０は、送信装置１０から送出された画像信号を、ネットワークＮＷを介して取得し、ソフトウェアによる信号処理を施す。

　例えば、信号処理システム１が医療向けネットワークシステムとして構成される場合、サーバ３０は、内視鏡画像にガイドを重畳合成したり、４Ｋフルカラー画像に蛍光画像をオーバーレイしたりする。信号処理システム１が放送局向けネットワークシステムとして構成される場合、サーバ３０は、複数の画像に対してＰｉｎＰ（Picture in Picture）処理を施したり、ロゴやテロップの重畳、エフェクトの追加を実行したりする。

　サーバ３０は、画像処理を施した画像信号を、ネットワークＮＷを介して受信装置２０に送信する。送信装置１０－受信装置２０間のルーティングは、統合装置５０の制御に基づいて行われる。

　クラウドＣＬＤ上に設けられる複数のサーバ３０は、複数の送信装置１０からの画像信号を受信して、サーバ３０毎に各種の画像処理を施し、処理後の画像信号を複数の受信装置２０に送信することができる。

　操作端末４０は、ユーザに操作されるＰＣ（Personal Computer）やタブレット端末、スマートフォンなどとして構成される。例えば、操作端末４０は、ユーザの操作に基づいて、送信装置１０から送出された画像信号の出力先となる受信装置２０の選択を受け付ける。

　統合装置５０は、ネットワークＮＷに接続された機器に対する画像信号の入出力を制御する。具体的には、統合装置５０は、ネットワークＮＷ上に配置された送信装置１０－受信装置２０間における画像信号の高速な転送を制御する。すなわち、統合装置５０は、操作端末４０に対するユーザの操作に基づいて、図示せぬＩＰスイッチを制御することで、送信装置１０から送出された画像信号の出力先と受信装置２０を設定する（ルーティングを行う）。

　さらに、統合装置５０は、操作端末４０に対するユーザの操作に基づいて、クラウドＣＬＤ上の各サーバ３０の信号処理内容を設定する。サーバ３０それぞれは、統合装置５０により設定された信号処理内容に基づいて、送信装置１０から送出された画像信号に対して画像処理を施す。

　なお、信号処理システム１においては、低レイテンシでの画像信号の伝送を実現するため、撮像装置１１（送信装置１０）、表示装置２１（受信装置２０）、およびサーバ３０は、時刻同期されている。ここでは、例えば、エッジ－クラウド間でのＰＴＰ（Precision Time Protocol）を用いたクロック同期や、それぞれＧＭＣ（Grandmaster Clock）を用いた時刻同期が実行される。

（コンピュータのハードウェア構成例）
　図２は、上述した信号処理システム１の各装置を構成するコンピュータのハードウェア構成例を示すブロック図である。

　信号処理システム１を構成するサーバ３０、操作端末４０や統合装置５０は、図２に示される構成を有するコンピュータ１００により実現される。

　ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。

　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボードやマウス、ボタン、タッチパネルなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。

　以上のように構成されるコンピュータ１００では、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５およびバス１０４を介してＲＡＭ１０３にロードして実行することにより、各種の処理が実行される。

　ＣＰＵ１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。

　コンピュータ１００がサーバ３０として構成される場合、図２の構成に加えて、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）がさらに設けられてもよい。これにより、クラウドＣＬＤ上の各サーバ３０が、リアルタイムな信号処理を並列に低レイテンシで実行することが可能となる。

（統合装置の機能構成例）
　次に、図３を参照して、統合装置５０の機能構成例について説明する。

　図３の統合装置５０は、受信部１５１、情報取得部１５２、遅延量設定部１５３、送信部１５４、同期方法設定部１５５、および遅延量テーブルＴＢＬを備えている。情報取得部１５２、遅延量設定部１５３、および同期方法設定部１５５は、図２のＣＰＵ１０１が所定のプログラムを実行することにより実現される機能ブロックである。

　受信部１５１は、図２の通信部１０９に相当し、ネットワークＮＷを介して、送信装置１０、受信装置２０、サーバ３０、および操作端末４０からの各種情報を受信する。

　情報取得部１５２は、受信部１５１により受信された各種情報を取得し、遅延量設定部１５３や同期方法設定部１５５に供給する。情報取得部１５２により取得される情報には、例えば、クラウドＣＬＤ上の各サーバ３０について設定されている信号処理内容や、操作端末４０を操作するユーザの操作情報などが含まれる。

　遅延量設定部１５３は、情報取得部１５２からの情報に基づいて、送信装置１０により画像信号の送出が開始されてから受信装置２０により受信され、表示装置２１により画像の表示が開始されるまでの時刻差（以下、信号遅延量という）を設定する。具体的には、遅延量設定部１５３は、各サーバ３０の信号処理内容に応じて、送信装置１０から受信装置２０までの信号遅延量を設定する。

　遅延量テーブルＴＢＬは、図２の記憶部１０８に相当し、クラウドＣＬＤ上のサーバ３０毎に、各サーバ３０による信号処理の処理時間（最悪実行時間）などを保持している。
遅延量設定部１５３は、遅延量テーブルＴＢＬに保持されている、各サーバ３０による処理時間に基づいて、送信装置１０から受信装置２０までの信号遅延量を設定することもできる。

　遅延量設定部１５３により設定された信号遅延量は、送信部１５４に供給される。

　送信部１５４は、受信部１５１と同様、図２の通信部１０９に相当し、遅延量設定部１５３からの信号遅延量を、受信装置２０に送信する。

　同期方法設定部１５５は、情報取得部１５２からの情報に基づいて、クラウドＣＬＤ上のサーバ３０において実行される信号処理の同期方法を設定する。具体的には、操作端末４０に対するユーザの操作に基づいて、信号処理の同期方法が設定される。設定された同期方法を表す情報は、送信部１５４に供給され、該当する信号処理を実行するサーバ３０に送信される。

（信号遅延量の設定）
　ここで、図４を参照して、遅延量設定部１５３による信号遅延量の設定について説明する。

　図４には、送信装置１０から送出された画像信号がサーバ３０に伝送されるまでの伝送時間Ｔｓ、クラウドＣＬＤ上での各サーバ３０における処理時間Ｔｐ、サーバ３０から送出された画像信号が受信装置２０に伝送されるまでの伝送時間Ｔｒが示されている。

　クラウドＣＬＤ上では、各サーバ３０が、前段からのフレーム（画像信号）を受信し次第、信号処理を開始し、処理結果のフレームを後段に送出する。したがって、処理時間Ｔｐには、サーバ３０間の伝送時間が含まれるものとする。

　遅延量設定部１５３（統合装置５０）は、伝送時間Ｔｓ、処理時間Ｔｐ、および伝送時間Ｔｒに基づいて信号遅延量を設定し、受信装置２０に送信する。具体的には、遅延量設定部１５３は、伝送時間Ｔｓ、処理時間Ｔｐ、および伝送時間Ｔｒそれぞれの最大時間を合計した時間に基づいて、信号遅延量を設定する。遅延量設定部１５３は、設定した信号遅延量を、受信装置２０に受信される画像信号に含まれる時刻情報（撮像装置１１による撮像時刻）に付加して、受信装置２０に送信する。

　受信装置２０は、画像信号に含まれる時刻情報（撮像時刻）とその時刻情報に付加された信号遅延量により決定されるタイミングで、受信した画像信号を出力する。

　伝送時間Ｔｓ，Ｔｒそれぞれは、既存の画像伝送技術に基づいて、動的に算出されればよい。また、クラウドＣＬＤ上での処理時間Ｔｐは、動的な手法により求められてもよいし、静的な手法により求められてもよい。

　動的な手法は、統合装置５０が、送信装置１０、受信装置２０、およびサーバ３０を制御することで、画像信号の伝送および信号処理を実行させ、それらに要した時間を実測、集計する手法である。

　静的な手法は、統合装置５０が、遅延量テーブルＴＢＬ（図３）を参照し、各サーバ３０において実行される信号処理に応じて、処理時間を算出する手法である。

＜３．画像信号の取得から出力までの流れ＞
　図５は、信号処理システム１における、画像信号の取得から出力までの流れについて説明する図である。ここでは、１台の撮像装置１１により撮像されている画像が、１台の表示装置２１にリアルタイムに表示される例について説明する。

　送信装置１０は、ステップＳ１１において、撮像装置１１により撮像されている画像（画像信号）をフレーム単位で取得すると、ステップＳ１２において、取得したフレーム単位の画像信号をクラウドＣＬＤ（サーバ３０）に送出する。

　クラウドＣＬＤ（複数のサーバ３０）は、ステップＳ１３において、送信装置１０からのフレーム単位の画像信号を受信すると、ステップＳ１４において、フレーム単位の画像信号に対して、ソフトウェアによる信号処理を実行する。クラウドＣＬＤは、ステップＳ１５において、信号処理が施された画像信号を、受信装置２０に送信する。

　受信装置２０は、ステップＳ１６において、クラウドＣＬＤからの画像信号を受信すると、ステップＳ１７において、受信した画像信号を表示装置２１に出力する。

　一方で、統合装置５０は、ステップＳ２１において信号遅延量を設定し、ステップＳ２２において、設定した信号遅延量を、受信装置２０に送信する。受信装置２０は、ステップＳ２３において、統合装置５０からの信号遅延量を受信する。

　したがって、ステップＳ１７においては、受信装置２０は、統合装置５０からの信号遅延量に基づいたタイミングで、クラウドＣＬＤから受信した画像信号を表示装置２１に出力する。

　以上の処理によれば、送信装置１０、受信装置２０、およびサーバ３０（クラウドＣＬＤ）が時刻同期されている信号処理システム１において、表示装置２１は、統合装置５０により設定された信号遅延量に基づいたタイミングで、画像を表示することができる。

　これにより、クラウド上の各サーバにおける処理時間がサーバ毎、アプリ―ケーション毎に異なる場合に、それぞれの処理結果を１枚の画像に統合して表示するときであっても、フレームドロップを起こすことなく、サーバ毎、アプリ―ケーション毎の処理時間に応じて、表示の最適化を実現することが可能となる。

　なお、以上においては、統合装置５０により設定された信号遅延量は、受信装置２０に送信されるものとしたが、クラウドＣＬＤ上の各サーバ３０に送信されてもよい。これにより、各サーバ３０は、統合装置５０により設定された信号遅延量に基づいたタイミングで、信号処理を実行することができ、ひいては、サーバ毎、アプリ―ケーション毎の処理時間に応じた表示の最適化の実現に寄与することが可能となる。

＜４．クラウド上での信号処理と同期について＞
　画像を水平方向に分割して、複数のプロセッサに割り付けるとともに、各プロセッサが、割り付けられた領域を垂直方向に時分割処理し、かつ、垂直方向に分割された各領域について、先頭領域に最も大きなオーバヘッドを設定して順次処理することで、画像を高速に表示させる技術が知られている。

　信号処理システム１においては、クラウドＣＬＤ上での画像信号の伝送および信号処理について低レイテンシ化を図るため、各サーバ３０が、画像信号の各フレームを複数に分割した分割画像単位で伝送および信号処理を実行するようにする。

　具体的には、図６に示されるように、画像Ａの所定フレームは、水平方向は４分割される。画像Ａが分割された４つの領域Ａ１，Ａ２，Ａ３，Ａ４に対応する画像を、それぞれ短冊画像という。画像Ａには、メタデータとして、撮像時刻（時刻情報）とフレーム番号が付加されている。短冊画像Ａ１，Ａ２，Ａ３，Ａ４それぞれには、画像Ａのメタデータに基づいて、メタデータとして、撮像時刻、フレーム番号、および短冊番号（分割画像番号）が付加される。図６の例では、短冊画像Ａ１には、短冊番号００１が付加され、短冊画像Ａ２には、短冊番号００２が付加されている。同様に、短冊画像Ａ３には、短冊番号００３が付加され、短冊画像Ａ４には、短冊番号００４が付加されている。

　クラウドＣＬＤ上では、各サーバ３０が、短冊番号が付加された短冊画像を受信し次第、信号処理を開始し、処理結果の短冊画像を後段に送出する。

　このような構成において、複数のサーバ３０間で、画像信号を伝送しながら信号処理を施す際に、あるサーバ３０に入力される複数の画像信号について、短冊画像単位で時間差が生じることがある。この場合において、例えばＰｉｎＰ処理などの画像合成処理を実行する際、フレーム単位で同期をとる必要がある。

　そこで、サーバ３０は、複数の画像信号に対して信号処理を施す場合、分割画像単位での信号処理の結果に基づいて、フレーム単位での同期を実行する。このとき、サーバ３０は、分割画像に付加されたメタデータ（撮像時刻、フレーム番号、および分割画像番号）を用いて、フレーム単位での同期を実行する。

　サーバ３０は、フレーム単位での同期方法として、第１の画像信号を遅延させずに、所定数フレーム前の第２の画像信号を同期させるレイテンシ優先同期と、第２の画像信号に合わせて、第１の画像信号を遅延させて同期させる時刻優先同期のいずれかを実行することができる。

　そして、クラウドＣＬＤ上の各サーバ３０が、レイテンシ優先同期と時刻優先同期のいずれを実行するかは、統合装置５０の同期方法設定部１５５により設定される。

　図７は、複数の画像信号に対して信号処理を施す例を示す図である。

　図７の例では、２つの画像Ａ，Ｂが、ＰｉｎＰ処理により１つの画像（ＰｉｎＰ画像）として表示される。具体的には、サーバ＃１が、４Ｋベースバンド信号として入力された２つの画像Ａ，Ｂのうちの画像Ｂに対して縮小処理を施し、サーバ＃２に出力する。サーバ＃２は、４Ｋベースバンド信号として入力された画像Ａと、縮小画像として入力された画像Ｂに対してＰｉｎＰ処理を実行することで、画像Ａに縮小画像（画像Ｂ）が重畳されたＰｉｎＰ画像を出力する。

　図８を参照して、図７の構成におけるレイテンシ優先同期について説明する。

　図８上段には、サーバ＃２に入力される画像Ａの時刻ｔにおけるフレーム（以下、フレームＡ（ｔ）などという）が、短冊画像Ａ１，Ａ２，Ａ３，Ａ４毎に示されている。図８中段には、サーバ＃２に入力される縮小画像（画像Ｂ）の時刻ｔ－２，ｔ－１，ｔそれぞれにおけるフレーム（以下、フレームＢ（ｔ－２），Ｂ（ｔ－１），Ｂ（ｔ）などという）が、短冊画像Ｂ１，Ｂ２，Ｂ３，Ｂ４毎に示されている。

　画像Ｂに対しては、サーバ＃１において縮小処理が施されることから、図８の例では、縮小画像は、画像Ａに対して２短冊画像遅延して、サーバ＃２に入力される。

　ここで、サーバ＃２が、画像Ａと縮小画像に対してＰｉｎＰ処理を実行する際、画像Ａ，Ｂそれぞれの短冊画像のメタデータに基づいて、フレームＡ（ｔ）を遅延させず、２フレーム前のフレームＢ（ｔ－２）と同期させることで、ＰｉｎＰ処理が実行されるようにする。

　これにより、画像Ａと縮小画像（画像Ｂ）との間で時刻は同期されないものの、ＰｉｎＰ画像を最も速く出力することができる。

　図９を参照して、図７の構成における時刻優先同期について説明する。

　図９上段には、サーバ＃２に入力される画像Ａの時刻ｔにおけるフレームＡ（ｔ）が、短冊画像Ａ１，Ａ２，Ａ３，Ａ４毎に示されている。図９中段には、サーバ＃２に入力される縮小画像（画像Ｂ）の時刻ｔ－１，ｔ，ｔ＋１それぞれにおけるフレームＢ（ｔ－１），Ｂ（ｔ），Ｂ（ｔ＋１）が、短冊画像Ｂ１，Ｂ２，Ｂ３，Ｂ４毎に示されている。

　画像Ｂに対しては、サーバ＃１において縮小処理が施されることから、図９の例では、縮小画像は、画像Ａに対して２短冊画像遅延して、サーバ＃２に入力される。

　ここで、サーバ＃２が、画像Ａと縮小画像に対してＰｉｎＰ処理を実行する際、画像Ａ，Ｂそれぞれの短冊画像のメタデータに基づいて、フレームＢ（ｔ）に合わせて、フレームＡ（ｔ）を１．２５フレーム分遅延させて同期させることで、ＰｉｎＰ処理が実行されるようにする。

　これにより、画像Ａと縮小画像（画像Ｂ）との間で時刻が同期されたＰｉｎＰ画像を出力することができる。

　信号処理システム１が、放送局向けネットワークシステムとして構成される場合、視聴者が視聴するための映像を出力するときには、時刻優先同期を選択することで、視聴者に違和感を与えない放送を実現することができる。一方、放送局内でのチェックのための映像を出力するときには、レイテンシ優先同期を選択することで、より迅速なチェックを実現することができる。

　また、信号処理システム１が、医療向けネットワークシステムとして構成される場合、医療機器としての撮像装置１１の種類や、信号処理を実行する医療アプリケーションの種類に基づいて、レイテンシ優先同期と時刻優先同期のいずれかが設定されてもよい。例えば、ベースバンド信号として入力された画像上にガイドを重畳表示させる場合には、時刻優先同期が選択されるようにする。ベースバンド信号として入力された画像を低解像度化したプロキシ画像として表示させる場合には、レイテンシ優先同期が選択されるようにする。

　上述した信号処理システム１において、各サーバ３０間での画像信号の伝送に、他サーバからのデータをＣＰＵを介さずに直接ＧＰＵに転送するGPUDirect（登録商標）の１つであるGPUDirect RDMA（Remote Direct Memory Access）が用いられてもよい。これにより、画像信号の伝送に係るレイテンシをさらに削減することが可能となる。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本開示は以下のような構成をとることができる。
（１）
　撮像装置からの画像信号を送出する送信装置と、
　送出された前記画像信号に対して信号処理を施す、クラウド上に設けられた処理装置と、
　前記信号処理が施された前記画像信号を受信する受信装置と、
　時刻同期されている前記送信装置、前記処理装置、および前記受信装置とともにネットワークに接続され、前記処理装置の信号処理内容に応じて、前記送信装置から前記受信装置までの信号遅延量を設定し、前記受信装置に送信する統合装置と
　を備える信号処理システム。
（２）
　前記受信装置は、前記信号遅延量に基づいたタイミングで、受信した前記画像信号を出力する
　（１）に記載の信号処理システム。
（３）
　前記統合装置は、前記受信装置に受信される前記画像信号に含まれる時刻情報に前記信号遅延量を付加し、
　前記受信装置は、前記時刻情報と前記信号遅延量により決定される前記タイミングで、受信した前記画像信号を出力する
　（２）に記載の信号処理システム。
（４）
　前記時刻情報は、前記撮像装置による撮像時刻を含む
　（３）に記載の信号処理システム。
（５）
　前記統合装置は、前記送信装置から前記処理装置までの伝送時間、前記処理装置における処理時間、および、前記処理装置から前記受信装置までの伝送時間に基づいて、前記信号遅延量を設定する
　（１）乃至（４）のいずれかに記載の信号処理システム。
（６）
　前記統合装置は、前記クラウド上に設けられた前記処理装置による前記信号処理についての遅延量テーブルを用いて、前記処理時間を算出する
　（５）に記載の信号処理システム。
（７）
　前記処理装置は、前記クラウド上に複数設けられ、
　前記処理時間は、前記処理装置間の伝送時間を含む
　（６）に記載の信号処理システム。
（８）
　前記処理装置は、前記画像信号に対して、フレームを複数に分割した分割画像単位で前記信号処理を施す
　（１）乃至（７）のいずれかに記載の信号処理システム。
（９）
　前記処理装置は、複数の前記画像信号に対して前記信号処理を施す場合、前記分割画像単位での前記信号処理の結果に基づいて、前記フレーム単位での同期を実行する
　（８）に記載の信号処理システム。
（１０）
　前記統合装置は、前記フレーム単位での同期方法として、第１の画像信号を遅延させずに、所定数フレーム前の第２の画像信号と同期させるレイテンシ優先同期と、前記第２の画像信号に合わせて、前記第１の画像信号を遅延させて同期させる時刻優先同期のいずれかを設定する
　（９）に記載の信号処理システム。
（１１）
　前記撮像装置は、医療機器を含み、
　前記統合装置は、前記医療機器の種類に基づいて、前記レイテンシ優先同期および前記時刻優先同期のいずれかを設定する
　（１０）に記載の信号処理システム。
（１２）
　前記処理装置は、前記画像信号に含まれる時刻情報、フレーム番号、および分割画像番号を用いて、前記レイテンシ優先同期および前記時刻優先同期のいずれかを実行する
　（１０）または（１１）に記載の信号処理システム。
（１３）
　撮像装置からの画像信号を送出する送信装置と、
　送出された前記画像信号に対して信号処理を施す、クラウド上に設けられた処理装置と、
　前記信号処理が施された前記画像信号を受信する受信装置と、
　時刻同期されている前記送信装置、前記処理装置、および前記受信装置とともにネットワークに接続された統合装置と
　を備える信号処理システムの前記統合装置が、
　前記処理装置の信号処理内容に応じて、前記送信装置から前記受信装置までの信号遅延量を設定し、前記受信装置に送信する
　信号処理方法。

　１　信号処理システム，　１０　送信装置，　１１　撮像装置，　２０　受信装置，　２１　表示装置，　３０　サーバ，　４０　操作端末，　５０　統合端末，　１５１　受信部，　１５２　情報取得部，　１５３　遅延量設定部，　１５４　送信部，　１５５　同期方法設定部，　ＮＷ　ネットワーク，　ＣＬＤ　クラウド，　ＴＢＬ　遅延量テーブル

Claims

　撮像装置からの画像信号を送出する送信装置と、
　送出された前記画像信号に対して信号処理を施す、クラウド上に設けられた処理装置と、
　前記信号処理が施された前記画像信号を受信する受信装置と、
　時刻同期されている前記送信装置、前記処理装置、および前記受信装置とともにネットワークに接続され、前記処理装置の信号処理内容に応じて、前記送信装置から前記受信装置までの信号遅延量を設定し、前記受信装置に送信する統合装置と
　を備える信号処理システム。
　前記受信装置は、前記信号遅延量に基づいたタイミングで、受信した前記画像信号を出力する
　請求項１に記載の信号処理システム。
　前記統合装置は、前記受信装置に受信される前記画像信号に含まれる時刻情報に前記信号遅延量を付加し、
　前記受信装置は、前記時刻情報と前記信号遅延量により決定される前記タイミングで、受信した前記画像信号を出力する
　請求項２に記載の信号処理システム。
　前記時刻情報は、前記撮像装置による撮像時刻を含む
　請求項３に記載の信号処理システム。
　前記統合装置は、前記送信装置から前記処理装置までの伝送時間、前記処理装置における処理時間、および、前記処理装置から前記受信装置までの伝送時間に基づいて、前記信号遅延量を設定する
　請求項１に記載の信号処理システム。
　前記統合装置は、前記クラウド上に設けられた前記処理装置による前記信号処理についての遅延量テーブルを用いて、前記処理時間を算出する
　請求項５に記載の信号処理システム。
　前記処理装置は、前記クラウド上に複数設けられ、
　前記処理時間は、前記処理装置間の伝送時間を含む
　請求項６に記載の信号処理システム。
　前記処理装置は、前記画像信号に対して、フレームを複数に分割した分割画像単位で前記信号処理を施す
　請求項１に記載の信号処理システム。
　前記処理装置は、複数の前記画像信号に対して前記信号処理を施す場合、前記分割画像単位での前記信号処理の結果に基づいて、前記フレーム単位での同期を実行する
　請求項８に記載の信号処理システム。
　前記統合装置は、前記フレーム単位での同期方法として、第１の画像信号を遅延させずに、所定数フレーム前の第２の画像信号と同期させるレイテンシ優先同期と、前記第２の画像信号に合わせて、前記第１の画像信号を遅延させて同期させる時刻優先同期のいずれかを設定する
　請求項９に記載の信号処理システム。
　前記撮像装置は、医療機器を含み、
　前記統合装置は、前記医療機器の種類に基づいて、前記レイテンシ優先同期および前記時刻優先同期のいずれかを設定する
　請求項１０に記載の信号処理システム。
　前記処理装置は、前記画像信号に含まれる時刻情報、フレーム番号、および分割画像番号を用いて、前記レイテンシ優先同期および前記時刻優先同期のいずれかを実行する
　請求項１０に記載の信号処理システム。
　撮像装置からの画像信号を送出する送信装置と、
　送出された前記画像信号に対して信号処理を施す、クラウド上に設けられた処理装置と、
　前記信号処理が施された前記画像信号を受信する受信装置と、
　時刻同期されている前記送信装置、前記処理装置、および前記受信装置とともにネットワークに接続された統合装置と
　を備える信号処理システムの前記統合装置が、
　前記処理装置の信号処理内容に応じて、前記送信装置から前記受信装置までの信号遅延量を設定し、前記受信装置に送信する
　信号処理方法。