JP6776504B2

JP6776504B2 - 画像伝送装置及び画像伝送システム、並びに画像伝送装置の制御方法

Info

Publication number: JP6776504B2
Application number: JP2018505062A
Authority: JP
Inventors: 佑輔荻原
Original assignee: NEC Display Solutions Ltd
Current assignee: Sharp NEC Display Solutions Ltd
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2020-10-28
Anticipated expiration: 2036-03-14
Also published as: WO2017158672A1; JPWO2017158672A1; CN108780348A; CN108780348B; US20190018443A1; US11320853B2

Description

本発明は、送信側で表示されている画像を受信側に伝送する画像伝送装置と、画像伝送システムと、画像伝送装置の制御方法と、に関する。

パーソナルコンピュータ（ＰＣ）に付属する表示部（ディスプレイ）に表示された画面を画像データとしてそのＰＣから遠隔の表示装置に対してネットワーク経由で伝送する技術がある。例えばネットワークとして無線ＬＡＮ（ローカルエリアネットワーク；Local Area Network）を用いれば、ケーブルを用いることなく、ＰＣから離れた位置に存在する表示装置に、ＰＣの表示部の画面と同じ画面を映し出すことができ、また動画も映すことができるため、便利である。ＰＣの表示された画面をネットワーク経由で表示装置に伝送する方法としては、大別すると２種類がある。１つは画面全体の画像データをそのまま伝送する方法であり、もう１つは、前回送った画面との差分だけを差分画像データとして送る方法である。画面全体の画像データを伝送する場合には、ネットワークを介して伝送されるデータ量は多くなるが、この伝送のためにＰＣにおいて必要となる処理量は小さい。これに対し、差分画像データを伝送する方法は、伝送すべきデータ量を少なくできるので、特に、伝送帯域幅の狭いネットワークを経由して画面の画像データの伝送を行うのには適しているが、画面間での差分を算出する必要があるから、送信側となるＰＣにおいて実行される処理量は多くなる。

ＰＣは、一般にＣＰＵ（中央処理ユニット；Central Processing Unit）やＧＰＵ（グラフィックス処理ユニット；Graphics Processing Unit）などと呼ばれるプロセッサを備えており、画像処理を含む各種の演算処理を実行する。プロセッサはＰＣにおいて最も電力を消費する構成部品である。プロセッサは、その駆動クロックに応じて演算命令や論理命令などの命令を実行する。駆動クロック周波数が高いほどプロセッサの演算処理量は大きくなるが、消費電力も大きくなる。駆動クロック周波数は動作周波数とも呼ばれる。ここでいう駆動クロック周波数は、プロセッサの内部でプロセッサの論理回路や演算回路の動作に使用されるクロックの周波数を指している。

近年、バッテリーで駆動するノート型やタブレット型のＰＣが広く出回るようになってきており、バッテリーによる駆動時間を長くするための工夫も多く見られるようになってきている。例えば、プロセッサの動作周波数を下げた動作モードを省電力モードとして実装することが知られている。また特許文献１には、プロセッサの負荷量を検出してしきい値と比較し、比較結果に応じてプロセッサの動作周波数を自動的に切り替えることが開示されている。特許文献２には、プロセッサ内に設けられる回路ブロックの各々ごとに駆動クロック周波数や電源電圧を変更できるようにし、高い駆動クロック周波数及び高い電源電圧で動作する回路ブロックの数を制限することにより、プロセッサ全体としての消費電力の低減と処理速度の向上とを両立させることが開示されている。さらに特許文献３には、駆動周波数が異なりしたがって処理能力と消費電力が異なる複数のプロセッサを備える画像処理装置において、複数のプロセッサの中から、画像処理に用いることができるメモリの領域の大きさに応じて、画像処理を実行させるプロセッサを選択することが開示されている。

特開２００２−３６６２５２号公報国際公開第２０００／００２１１８号特開２０１１−１２００４０号公報

ＣＰＵなどのプロセッサの消費電力を低下させる手法として、プロセッサの駆動周波数を低下させることは一般的である。しかしながら、駆動周波数を低下させたときにプロセッサの性能が本来の性能よりも格段に低下する場合がある。このとき、画像データについての上記の伝送方法のうち、前回の画面との差分を求めて差分データを伝送する方法では、差分の算出のために多くの処理が必要になるが、駆動周波数を低下させてプロセッサの性能が低下したときに、本来必要なだけのパフォーマンスが得られず、処理が遅延することがある。このような処理の遅延は、伝送された映像が受信側の表示装置上で映像がコマ落ちしたり、不連続に再生したりすること（いわゆるカクつき）につながる。ユーザーがワードプロセッサソフトウェアを使用してＰＣ上で文章を作成したり、ウェブページを閲覧したりする程度であれば、このような性能の低下はさほど気になるものではない。しかしながら、この性能低下は、会議の場でのプレゼンテーションや、動画の伝送を行う場合には、表示品質における著しい低下とみなされる場合もある。

本発明の目的は、ネットワークを介して接続する表示装置に対して画像データを伝送する際に、画像伝送における表示品質の低下をもたらすことなく、消費電力の削減等を可能にする画像伝送装置と、画像伝送システムと、画像伝送装置の制御方法とを提供することにある。

本発明の一態様によれば、画像伝送装置は、画像データを生成する処理を行い、ネットワークを介して接続された表示装置に画像データを伝送するプロセッサと、表示装置の表示形態に関する情報を表示装置から受け取って、情報に基づいてプロセッサの駆動クロック周波数を制御するクロック制御部と、を有する。

本発明の別の態様によれば、画像伝送システムは、画像伝送装置と、ネットワークを介して画像伝送装置に接続する表示装置と、を備え、画像伝送装置は、画像データを生成する処理を行い、画像データを表示装置に伝送するプロセッサと、表示装置の表示形態に関する情報を表示装置から受け取って、情報に基づいてプロセッサの駆動クロック周波数を制御するクロック制御部と、を備える。

本発明のさらに別の態様によれば、画像伝送装置の制御方法は、画像データを生成する処理を行い、ネットワークを介して接続された表示装置に画像データを伝送するプロセッサを備える画像伝送装置の制御方法であって、表示装置の表示形態に関する情報を表示装置から受け取り、情報に基づいてプロセッサの駆動クロック周波数を制御する。

本発明によれば、ネットワークを介して接続する表示装置に対して画像データを伝送する際に、画像伝送における表示品質の低下をもたらすことなく、消費電力の削減等が可能になる。

本発明の実施の一形態の画像伝送システムの構成を示すブロック図である。画面の差分処理を説明する図である。画像伝送装置での処理を説明するフローチャートである。送信側の画像伝送装置と受信側の表示装置との接続関係を示す図である。送信側の画像伝送装置と受信側の表示装置との接続関係を示す図である。送信側の画像伝送装置と受信側の表示装置との接続関係を示す図である。送信側の画像伝送装置と受信側の表示装置との接続関係を示す図である。本発明の別の実施形態の画像伝送システムの構成を示すブロック図である。

次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は本発明の実施の一形態の画像伝送システムを示している。図示される画像伝送システムは、送信側に設けられる画像伝送装置２０と受信側に設けられる表示装置４０とからなっており、画像伝送装置２０と表示装置４０とはネットワーク１０を介して接続している。ネットワーク１０には、有線や無線によるＬＡＮなどのほか、例えば、ＵＳＢ（ユニバーサルシリアルバス；Universal Serial Bus）ケーブルなどによって２つの機器を接続する形態も含まれるものとする。

画像伝送装置２０は、各種のアプリケーションソフトウェアを実行可能な例えば一般的なＰＣ（パーソナルコンピュータ）として構成されるものであり、本体部２１と本体部２１に接続する表示部２２とを備えている。画像伝送装置２０は、好ましくは、ノート型あるいはタブレット型といった可搬のＰＣであって、バッテリーによる駆動が可能なものである。表示部２２は、例えば、液晶ディスプレイである。本体部２１は、ＣＰＵ３１を有する処理部３０と、ＣＰＵ３１に接続する主記憶として機能するＲＡＭ（ランダムアクセスメモリ；Random Access Memory）３３と、ハードディスク装置などの記憶装置３４と、ネットワーク１０とのインタフェースとなる通信部３５とを備えている。ＣＰＵ３１は、アプリケーションソフトウェアを実行するとともに、表示部２２に表示されている画面をキャプチャして画像データを生成し、表示装置４０側にこの画像データを伝送する処理を実行するプロセッサとしても機能する。記憶装置３４は、この画像伝送装置３４を動作させるための例えばオペレーティングシステム（ＯＳ）のプログラムを格納するほか、アプリケーションソフトウェアやそのアプリケーションソフトウェアで使用されるデータなどを格納する。

ＣＰＵ３１は、省電力などのためにその駆動クロック周波数を変化させることができるものであり、そのため、処理部３０には、ＣＰＵ３１の駆動クロック周波数を制御するクロック制御部３２も設けられている。図ではＣＰＵ３１の外部にクロック制御部３２が設けられているが、ＣＰＵ３１のアーキテクチャに応じてＣＰＵ３１の内部にクロック制御部３２を設けることも可能である。クロック制御部３２は、後述するように、受信側の表示装置４０からその表示装置４０における表示モードに関する情報を受け取り、受け取った表示モードに関する情報に基づいてＣＰＵ３１の駆動クロック周波数の上昇または低下の制御を行うことができる。画像伝送装置２０は、ＰＣなどから構成されていることにより、各種のアプリケーションソフトウェアを実行してその実行結果などを表示部２２に表示するが、特に、表示部２２に表示されている画面の全部または一部を、ネットワーク１０を経由して、受信側の表示装置４０に伝送する機能を備えている。表示部２２に表示される画像は、アプリケーションソフトウェアのユーザインタフェースとしての画面の画像に限られるものではなく、各種の静止画像及び動画像であってもよい。

表示装置４０は、例えば、プロジェクタや大型のディスプレイであり、実際に画像が表示されるあるいは画像をスクリーン等に投影する受信側表示部４１と、ネットワーク１０とのインタフェースとなる受信部４２と、受信側表示部４１における表示形態を設定する表示設定部４３とを備えている。表示装置４０は、典型的には、会議室等において備品として備えられるものであって、商用電源で動作するものである。そして、受信側表示部４１は、コンテンツを表示するため表示形態として複数の表示モードを備えている。表示モードは、表示装置４０の画面におけるコンテンツの表示範囲を示すものである。ここに示す例では、表示モードとして、表示装置４０の画面における表示可能範囲の全部または大部分を用いて１つの画像を表示する全画面表示モード、１つの画像のみを表示するがこの画像を表示可能範囲の一部のみを用いて表示する縮小表示モード、表示可能範囲を２以上の区画に分割して区画ごとに異なる画像を表示する分割表示モード、などを備えている。これらの表示モードは、受信側表示部４１でのコンテンツの表示範囲を規定するものであり、分割表示モードにおける個々の区画のことを分割画面と呼ぶ。これらの表示モードは、表示設定部４３によって切り替えられるようになっている。

表示装置４０では、ネットワーク１０を経由して伝送されてきた画像データが通信部４２によって受信され、表示設定部４３により設定された表示モードに応じて、受信側表示部４１がコンテンツとしてその画像データを表示あるいは投影する。ここでは、画像の投影も含めて画像の表示と呼ぶ。このとき表示装置４０は、例えば分割表示モードにおいて、異なる複数の送信側装置（あるいは画像源）からの画像を同時に表示することができる。表示設定部４３における表示モードの設定は、例えば表示装置４０に付属するリモコン装置（不図示）によって、あるいは、送信側装置（例えば画像伝送装置２０）から送られてくるリクエストによって行われる。そして表示設定部４３は、各コンテンツの表示範囲が変更されるなど表示モードの変更があったときは、表示モードに関する情報を各送信側装置、例えば画像伝送装置２０に通知する。

以上のように送信側の画像伝送装置２０及び受信側の表示装置４０が構成されているとして、画像伝送装置２０におけるアプリケーションソフトウェアの実行により表示部２２には、符号５０で示すような画面が表示されたものとする。符号５０で示す画面は、動画であってもよく、あるいはアプリケーションソフトウェアの実行画面やユーザインタフェース画面であってもよい。画面５０は、ＣＰＵ３１によりキャプチャされ、映像コンテンツとして通信部３５からネットワーク１０を経由して受信側の表示装置４０に伝送される。その結果、表示装置４０の受信側表示部４１によって、送信側の画面５０と同じ画面６０が表示される。

次に、本実施形態の画像伝送装置２０における画像データの伝送について、図２を用いて詳しく説明する。画像伝送装置２０の表示部２２には、符号７０で示すように映像（すなわち連続画像）が表示されているものとする。ＣＰＵ３１は、この映像をフレームごとにキャプチャし、映像のフレーム間の差分を取得して差分画像を生成する。そしてＣＰＵ３１は、この差分画像に基づく差分画像データを、通信部３５からネットワーク１０を介して受信側の表示装置４０に伝送する。映像フレーム間の差分を取得する際の単位時間当たりの差分量は、ＣＰＵ３１において差分を演算するために必要な処理量に関係するので、ＣＰＵ３１の駆動クロック周波数を制御するための１要素となる。また、画像データの伝送先となる表示装置４０における表示モードも、例えば全画面モードと縮小画面モードとでは必要となる画像データのサイズが異なり、画像データのサイズが異なればそれを処理するために必要な演算量も異なることから、ＣＰＵ３１の駆動クロック周波数を制御するための１要素となる。そこで本実施形態では、表示装置４０側から送られてきた表示モードに関する情報、すなわちコンテンツの表示範囲に関する情報と、映像フレームから差分画像を取得する際に発生する差分量とに基づいて、差分画像データの生成と伝送とが滞りなく実行できるように、クロック制御部３２はＣＰＵ３１の駆動クロック周波数を制御する。

例えば、送信側となる画像伝送装置２０が省電力状態であってＣＰＵ３１の駆動クロック周波数が低下している場合、表示装置４０の受信側表示部４１に表示されている送信側コンテンツの状態や送信側の表示部２２に表示されるコンテンツの状態によって、クロック制御部２１は、ＣＰＵ３１の駆動クロック周波数の上げ下げを制御する。一例として、送信側の装置が省電力状態であるときに、受信側の表示装置４０において送信側からのコンテンツが全画面表示されている場合、表示装置４０から全画面表示モードであることが通知されているので、クロック制御部３２は、その通知によって、ＣＰＵ３１の駆動クロック周波数を上昇させてこれが低下しないように制御を行う。また別の制御として、送信側からのコンテンツが表示装置４０において何らかの形態で表示されており、かつ、送信側においてコンテンツから差分画像データを取得する際の差分量が多い場合にも、ＣＰＵ３１の駆動クロック周波数を上昇させてこれが低下しないように制御を行う。一方、画像伝送装置２０が省電力状態ではない通常の状態であるときに、表示装置４０において送信側のコンテンツが表示されていない場合、あるいは分割表示で送信側のコンテンツが表示されているが差分量が少なくなった場合には、クロック制御部３２は、ＣＰＵ３１の駆動クロック周波数が低下することを許可する。

本実施形態では、画像伝送装置２０で差分画像を取得する際に得られる差分量だけでなく、受信側の表示装置４０から画像伝送装置２０側に通知されるその表示装置４０でのコンテンツの表示範囲（すなわち表示モード）に関する情報を用いてＣＰＵ３１の駆動クロック周波数を制御する。これにより、ＣＰＵ３１の駆動クロック周波数を最適なものに制御して全体としての省電力を達成しつつ、表示装置４０での送信側のコンテンツの表示範囲に適合した差分画像データを伝送できるようになる。

図３は、上述したような画像伝送装置２０におけるＣＰＵ３１の駆動クロック周波数の制御の一例の詳細を説明するフローチャートである。ステップ１０１において、ＣＰＵ３１は、画像伝送装置２０から受信側の表示装置４０への画像データの伝送を開始する。するとステップ１０２において、表示装置４０からの表示モードに関する情報に基づき、クロック制御部３２は、この画像伝送装置２０から伝送される画像データが表示装置４０において全画面で表示されるものであるかを判定する。

全画面で表示される場合、すなわち全画面モードである場合には、それに対応した差分画像の取得には大量の計算を必要とするので、クロック制御部３２は、ステップ１１１において、ＣＰＵ３１の駆動クロック周波数を上昇させる。なお、駆動クロック周波数が上限に近い場合、あるいは既に十分なパフォーマンスを発揮できる駆動クロック周波数となっている場合もあるので、「駆動クロック周波数を上昇させる」ことには、駆動クロック周波数が低下しないように現在の駆動クロック周波数を維持することも含まれる。その後、ＣＰＵ３１は、ステップ１１２において、表示部２２に表示されている画像（コンテンツ）をキャプチャし、ステップ１１３において、現フレームと前フレームとの差分を検出し、ステップ１１４において、差分画像データに基づく映像フレームの伝送処理を行う。そしてクロック制御部３２は、表示装置４０から送られてくる表示モードに関する情報に基づき、ステップ１１５において、表示装置４０における表示モードが変化したかどうか、すなわち表示装置４０におけるコンテンツ表示範囲に変化があったかどうかを判断する。ここでコンテンツ表示範囲に変化があった場合、すなわち表示モードの変更があった場合には、ステップ１０２に戻り、変化がなかった場合には、ステップ１１６においてＣＰＵ３１は、伝送が終了したかどうかを判断する。伝送が終了していない場合には、次のフレームの伝送のために処理はステップ１１２に戻り、伝送が終了した場合には、ステップ１１１で上昇させた駆動クロック周波数を元に戻すために、ステップ１１７においてクロック制御部３２は、駆動クロック周波数の低下を許可する。その後、一連の処理が終了する。

ステップ１１７において、「駆動クロック周波数を低下させる」のではなく、「駆動クロック周波数の低下を許可する」のは、ＣＰＵ３１が実行している画像伝送処理以外の処理において駆動クロック周波数を高く維持する必要がある場合があるからである。言い換えれば「駆動クロック周波数の低下を許可する」処理は、駆動クロック周波数の低下を可能にする（イネーブルにする）処理であるとも言える。ＣＰＵ３１において、画像伝送処理以外に処理負荷の大きな処理が実行されていない場合には、ステップ１１７においてＣＰＵ３１の駆動クロック周波数が低下する。

ステップ１０２において全画面表示ではない場合、クロック制御部３２は、ステップ１０３において、表示装置４０からの表示モードに関する情報に基づき、表示装置４０の表示モードが分割表示モードであり、画像伝送装置２０から伝送された画像データが受信側表示部４１での分割画面の１つに表示されているかどうか判断する。そして分割画面の１つに表示されている場合には、ＣＰＵ３１は、ステップ１２１において表示部２２に表示されている画像（コンテンツ）をキャプチャし、ステップ１２２において、現フレームと前フレームとの差分を検出する。そしてステップ１２３においてクロック制御部３２は、検出された差分量が多いかどうか、具体的には差分量としきい値とを比較して差分量の方が大きいかどうかを判定する。ここで差分量が多くない場合には、ＣＰＵ３１における大きな処理量を必要としない場合であるので、ステップ１２４においてクロック制御部３２は、ＣＰＵ３１の駆動クロック周波数の低下を許可し、その後、処理はステップ１２６に移る。一方、ステップ１２３において差分量が多いと判断したときは、ＣＰＵ３１における大きな処理量を必要とする場合であるので、ステップ１２５においてクロック制御部３２は、ＣＰＵ３１の駆動クロック周波数を上昇させ、その後、処理はステップ１２６に移る。

ステップ１２６では、ＣＰＵ３１が、差分画像データに基づく映像フレームの伝送処理を行う。そしてクロック制御部３２は、ステップ１２７において、表示装置４０における表示モードが変化したかどうか、すなわち表示装置４０におけるコンテンツ表示範囲に変化があったかどうかを判断する。ここでコンテンツ表示範囲に変化があった場合、ステップ１０２に戻り、変化がなかった場合には、ステップ１２８においてＣＰＵ３１は、伝送が終了したかどうかを判断する。伝送が終了していない場合には、次のフレームの伝送のために処理はステップ１２１に戻り、伝送が終了した場合には、ステップ１２９においてクロック制御部３２は、駆動クロック周波数の低下を許可する。その後、一連の処理が終了する。

ステップ１０３において、画像伝送装置２０から伝送された画像データが受信側表示部４１での分割画面の１つに表示されていない場合は、例えば、縮小表示モードの場合であり、ＣＰＵ３１に大きな処理量が要求されない場合である。そこでこの場合には、ステップ１３１においてクロック制御部３２はＣＰＵ３１の駆動クロック周波数の低下を許可する。その後、ＣＰＵ３１は、ステップ１３２において、表示部２２に表示されている画像（コンテンツ）をキャプチャし、ステップ１３３において、現フレームと前フレームとの差分を検出し、ステップ１３４において、差分画像データに基づく映像フレームの伝送処理を行う。そしてクロック制御部３２は、ステップ１３５において、表示装置４０における表示モードが変化したかどうか、すなわち表示装置４０におけるコンテンツ表示範囲に変化があったかどうかを判断する。ここでコンテンツ表示範囲に変化があった場合、すなわち表示モードの変更があった場合には、ステップ１３２に戻り、変化がなかった場合には、ステップ１３６において、ＣＰＵ３１は伝送が終了したかどうかを判断する。伝送が終了していない場合には、次のフレームの伝送のために処理はステップ１３２に戻り、伝送が終了した場合には、そのまま一連の処理が終了する。

表示装置４０において、画像伝送装置２０からのコンテンツの表示が全画面表示でも分割画面の１つとしての表示でもない場合の一つとして、そもそもそのコンテンツが表示装置４０で表示されていない場合があるが、その場合には、ステップ１０３からステップ１３１を実行した後、ステップ１３２〜１３４の実行を省略してステップ１３５に移行するようにしてもよい。

次に、本実施形態の画像伝送システムにおける、送信側の画像伝送装置と受信側の受信装置との接続形態について、図４〜図７を用いて説明する。以下の説明において、Ｍ，Ｎは、いずれも２以上の整数である。図４に示したものは、図１に示したものを概念的に示したものであり、１対１の接続、すなわち１台の送信側装置（画像伝送装置２０）と１台の受信側装置（表示装置４０）とが接続した場合を示している。このとき、上述したように画像伝送装置２０の表示部に表示されているコンテンツ５０が、表示装置４０にコンテンツ６０として表示される。

図５は、Ｎ対１の接続形態、すなわちＮ台の送信側装置が１台の受信側装置（表示装置４０）に接続する場合を示している。ここでは、一例として、「送信側Ａ」〜「送信側Ｃ」として示される３台の画像伝送装置２０Ａ〜２０Ｃが、１台の受信装置４０に接続している。このとき、図５に示すように、表示装置４０が分割表示モードとされて、この表示装置４０Ａに接続されている画像伝送装置２０Ａ〜２０Ｃに表示されているコンテンツ５０Ａ〜５０Ｃが表示装置４０でのそれぞれの分割画面にコンテンツ６０Ａ〜６０Ｃとして表示されるようにしてもよい。あるいは、表示装置４０側で特定の画像伝送装置を選択して、選択した画像伝送装置からのコンテンツを全画面表示するようにしてもよい。このとき、選択されなかった画像伝送装置に対しては、コンテンツ表示範囲（表示モード）の情報として、表示されていない旨が通知される。

図６は１対Ｍの接続形態、すなわち１台の送信側装置（画像伝送装置２０）が複数の受信側装置に接続する形態を示している。図示したものでは、受信側装置として、２台の表示装置４０Ａ，４０Ｂが接続している。表示装置４０Ａ，４０Ｂの各々では、画像伝送装置２０の表示部に表示されたコンテンツ５０がコンテンツ６０として表示されている。

図７はＮ対Ｍの接続形態、すなわち１台の送信側装置（画像伝送装置２０）が複数の受信側装置に接続する形態を示している。図示したものでは、送信側装置として３台の画像伝送装置２０Ａ〜２０Ｃが設けられ、受信側装置として２台の表示装置４０Ａ，４０Ｂが設けられている。ここでは、２台の表示装置４０Ａ，４０Ｂのいずれもが分割表示モードであって、表示装置４０Ａ，４０Ｂの各々の分割画面には、画像伝送装置２０Ａ〜２０Ｃに表示されているコンテンツ５０Ａ〜５０Ｃがそれぞれコンテンツ６０Ａ〜６０Ｃとして表示されている。あるいは、表示装置４０Ａ，４０Ｂの少なくとも一つを全画面表示モードとして、画像伝送装置２０Ａ〜２０Ｃのいずれか１つに表示されているコンテンツをその表示装置において表示するようにしてもよい。

上述した実施形態では、画像伝送装置の表示部に表示された画面をキャプチャし、キャプチャした画像から差分画像データを生成して受信側の表示装置に伝送していたが、本発明はこれに限られるものではない。本発明は、画像データを生成する処理を行う画像伝送装置と、画像伝送装置での処理によって得られた画像データを表示する表示装置とを有する画像伝送システムに対して、一般的に適用することができる。

図８は、本発明の別の実施形態の画像伝送システムを示している。この画像伝送システムは、画像伝送装置２０と、ネットワーク１０を介して画像伝送装置２０に接続する表示装置４０と、を備えている。画像伝送装置２０は、画像データを生成する処理を行い、この画像データを表示装置４０に伝送するプロセッサ１１と、表示装置４０の表示形態に関する情報を表示装置４０から受け取って、この情報に基づいてプロセッサ１１の駆動クロック周波数を制御するクロック制御部３２と、を備えている。プロセッサ１１としては、上述した実施形態でのＣＰＵ３１を用いることもできるし、他の形態の処理ユニットを用いることもできる。

上述した各実施形態において、例えばＣＰＵ３１あるいはプロセッサ１１の特定のレジスタに特定の値を書き込むことによってそのＣＰＵ３１やプロセッサ１１の駆動クロック周波数を変更できる場合などには、上述したクロック制御部３２の機能を、そのＣＰＵ３１やプロセッサ１１で実行されるプログラムによって実現することができる。そのようなプログラムは、図１に示した構成では、例えば、外部記憶媒体あるいはネットワーク１０を介して、記憶装置３４に読み込まれる。

以上説明した各実施形態の画像伝送装置２０は、画像や動画を表示装置４０に伝送する際に、ネットワーク１０経由で接続している表示装置４０での設定に基づいて、その画像伝送装置２０においてＣＰＵ３１やプロセッサ１１のパフォーマンスが必要な場合には、ＣＰＵ３１やプロセッサ１１の駆動クロック周波数を低下させずにパフォーマンスを維持させ、処理が必要ない場合には駆動クロック周波数の低下を許可することで、画像や動画の伝送を最適する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。

［付記１］
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサと、
前記表示装置の表示形態に関する情報を前記表示装置から受け取って、前記情報に基づいて前記プロセッサの駆動クロック周波数を制御するクロック制御部と、
を有する画像伝送装置。

［付記２］
画像を表示する表示部をさらに備え、
前記プロセッサは、前記表示部に表示されている画像をキャプチャし、前回キャプチャした画像と今回キャプチャした画像との差分画像に基づく前記画像データを生成する、付記１に記載の画像伝送装置。

［付記３］
前記クロック制御部は、前記情報と、前記差分画像を取得する際に発生する差分量とに基づいて、前記駆動クロック周波数を制御する、付記２に記載の画像伝送装置。

［付記４］
前記表示装置において前記画像が全画面に表示される第１の場合、及び、前記表示装置において前記画像が分割画面のいずれかに表示され、かつ前記差分量がしきい値より大きい第２の場合に、前記クロック制御部は、前記駆動クロック周波数が低下しないように前記駆動クロック周波数を制御し、
前記第１の場合及び第２の場合のいずれにも該当しない場合に、前記クロック制御部は、前記クロック周波数の低下を許可する、付記３に記載の画像伝送装置。

［付記５］
画像伝送装置と、
ネットワークを介して前記画像伝送装置に接続する表示装置と、
を備え、
前記画像伝送装置は、
画像データを生成する処理を行い、前記画像データを前記表示装置に伝送するプロセッサと、
前記表示装置の表示形態に関する情報を前記表示装置から受け取って、前記情報に基づいて前記プロセッサの駆動クロック周波数を制御するクロック制御部と、
を備える、画像伝送システム。

［付記６］
前記表示装置は、
前記画像データに基づいて画像を表示する受信側表示部と、
前記受信側表示部における前記表示形態を設定し、設定された表示形態に基づいて前記情報を前記画像伝送装置に通知する表示設定部と、
を有する、付記５に記載の画像伝送システム。

［付記７］
少なくとも１つの前記表示装置と、少なくとも１つの前記画像伝送装置とが前記ネットワークに接続する、付記５または６に記載の画像伝送システム。

［付記８］
複数の前記画像伝送装置が前記ネットワークに接続し、前記表示装置において、前記複数の画像伝送装置からの画像データを複数の分割画面のそれぞれに表示するか、前記複数の画像伝送装置のうちの１つからの画像データのみを表示するかを選択可能である、付記５乃至７のいずれか１項に記載の画像伝送システム。

［付記９］
前記画像伝送装置は、
画像を表示する表示部をさらに備え、
前記プロセッサは、前記表示部に表示されている画像をキャプチャし、前回キャプチャした画像と今回キャプチャした画像との差分画像に基づく前記画像データを生成する、付記５乃至８のいずれか１項に記載の画像伝送システム。

［付記１０］
前記クロック制御部は、前記情報と、前記差分画像を取得する際に発生する差分量とに基づいて、前記駆動クロック周波数を制御する、付記９に記載の画像伝送システム。

［付記１１］
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサを備える画像伝送装置の制御方法であって、
前記表示装置の表示形態に関する情報を前記表示装置から受け取り、
前記情報に基づいて前記プロセッサの駆動クロック周波数を制御する、制御方法。

［付記１２］
前記情報と、前記プロセッサが画像をキャプチャし前回キャプチャした画像と今回キャプチャした画像との差分画像を取得する際に発生する差分量と、に基づいて、前記駆動クロック周波数を制御する、付記１１に記載の画像伝送方法。

［付記１３］
前記表示装置において前記画像が全画面に表示される第１の場合、及び、前記表示装置において前記画像が分割画面のいずれかに表示され、かつ前記差分量がしきい値より大きい第２の場合に、前記駆動クロック周波数が低下しないように前記駆動クロック周波数を制御し、
前記第１の場合及び第２の場合のいずれにも該当しない場合に、前記クロック周波数の低下を許可する、付記１２に記載の画像伝送方法。

［付記１４］
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサを備えるコンピュータに、
前記表示装置の表示形態に関する情報を前記表示装置から受け取る処理と、
前記情報に基づいて前記プロセッサの駆動クロック周波数を制御する処理と、
を実行させるプログラム。

［付記１５］
前記駆動クロック周波数を制御する処理は、前記情報と、前記プロセッサが画像をキャプチャし前回キャプチャした画像と今回キャプチャした画像との差分画像を取得する際に発生する差分量と、に基づいて、前記駆動クロック周波数を制御する処理である、付記１４に記載のプログラム。

［付記１６］
前記駆動クロック周波数を制御する処理は、
前記表示装置において前記画像が全画面に表示される第１の場合、及び、前記表示装置において前記画像が分割画面のいずれかに表示され、かつ前記差分量がしきい値より大きい第２の場合に、前記駆動クロック周波数が低下しないように前記駆動クロック周波数を制御し、
前記第１の場合及び第２の場合のいずれにも該当しない場合に、前記クロック周波数の低下を許可する処理である、付記１５に記載のプログラム。

１０ネットワーク
２０，２０Ａ〜２０Ｃ画像伝送装置
２１本体部
２２表示部
３０処理部
３１ＣＰＵ
３２クロック制御部
３３ＲＡＭ
３４記憶装置
３５，４２通信部
４０，４０Ａ，４０Ｂ表示装置
４１受信側表示部
４３表示設定部

Claims

画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサと、
前記表示装置の画面におけるコンテンツの表示範囲を示す表示モードに関する情報を前記表示装置から受け取って、前記情報に基づいて、前記プロセッサの駆動クロック周波数を制御するクロック制御部と、
画像を表示する表示部と、
を有し、
前記プロセッサは、前記表示部に表示されている画像をキャプチャし、前回キャプチャした画像と今回キャプチャした画像との差分画像に基づく前記画像データを生成し、
前記クロック制御部は、前記情報と、前記差分画像を取得する際に発生する差分量とに基づいて、前記駆動クロック周波数を制御する、画像伝送装置。
前記表示装置において前記画像が全画面に表示される第１の場合、及び、前記表示装置において前記画像が分割画面のいずれかに表示され、かつ前記差分量がしきい値より大きい第２の場合に、前記クロック制御部は、前記駆動クロック周波数が低下しないように前記駆動クロック周波数を制御し、
前記第１の場合及び第２の場合のいずれにも該当しない場合に、前記クロック制御部は、前記駆動クロック周波数の低下を許可する、請求項１に記載の画像伝送装置。
前記表示モードとして、前記表示装置の画面における表示可能範囲の全画面を用いて１つの画像を表示する全画面表示モードと、前記表示装置の画面に１つの画像のみを表示するモードであって当該１つの画像を前記表示可能範囲の一部のみを用いて表示する縮小表示モードと、前記表示可能範囲を２以上の区画に分割して区画ごとに異なる画像を表示する分割表示モードとを備える、請求項１または２に記載の画像伝送装置。
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサと、
前記表示装置の表示形態に関する情報を前記表示装置から受け取って、前記情報に基づいて、前記プロセッサの駆動クロック周波数を制御するクロック制御部と、
画像を表示する表示部と、
を有し、
前記プロセッサは、前記表示部に表示されている画像をキャプチャし、前回キャプチャした画像と今回キャプチャした画像との差分画像に基づく前記画像データを生成し、
前記クロック制御部は、前記情報と、前記差分画像を取得する際に発生する差分量とに基づいて、前記駆動クロック周波数を制御する、画像伝送装置。
前記表示装置において前記画像が全画面に表示される第１の場合、及び、前記表示装置において前記画像が分割画面のいずれかに表示され、かつ前記差分量がしきい値より大きい第２の場合に、前記クロック制御部は、前記駆動クロック周波数が低下しないように前記駆動クロック周波数を制御し、
前記第１の場合及び第２の場合のいずれにも該当しない場合に、前記クロック制御部は、前記駆動クロック周波数の低下を許可する、請求項４に記載の画像伝送装置。
画像伝送装置と、
ネットワークを介して前記画像伝送装置に接続する表示装置と、
を備え、
前記画像伝送装置は、
画像データを生成する処理を行い、前記ネットワークを介して前記画像データを前記表示装置に伝送するプロセッサと、
前記表示装置の表示形態に関する情報を前記表示装置から受け取って、前記情報に基づいて前記プロセッサの駆動クロック周波数を制御するクロック制御部と、
画像を表示する表示部と、
を備え、
前記プロセッサは、前記表示部に表示されている画像をキャプチャし、前回キャプチャした画像と今回キャプチャした画像との差分画像に基づく前記画像データを生成し、
前記クロック制御部は、前記情報と、前記差分画像を取得する際に発生する差分量とに基づいて、前記駆動クロック周波数を制御する、画像伝送システム。
前記表示装置は、
前記画像データに基づいて画像を表示する受信側表示部と、
前記受信側表示部における前記表示形態を設定し、設定された表示形態に基づいて前記情報を前記画像伝送装置に通知する表示設定部と、
を有する、請求項６に記載の画像伝送システム。
複数の前記画像伝送装置が前記ネットワークに接続し、前記表示装置において、前記複数の画像伝送装置からの画像データを当該表示装置の複数の分割画面のそれぞれに表示するか、前記複数の画像伝送装置のうちの１つからの画像データのみを当該表示装置で表示するかを選択可能である、請求項６または７に記載の画像伝送システム。
前記表示形態は、前記表示装置の画面におけるコンテンツの表示範囲を示す表示モードであり、前記表示モードとして、前記表示装置の画面における表示可能範囲の全画面を用いて１つの画像を表示する全画面表示モードと、前記表示装置の画面に１つの画像のみを表示するモードであって当該１つの画像を前記表示可能範囲の一部のみを用いて表示する縮小表示モードと、前記表示可能範囲を２以上の区画に分割して区画ごとに異なる画像を表示する分割表示モードとを備える、請求項６乃至８のいずれか１項に記載の画像伝送システム。
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサを備える画像伝送装置の制御方法であって、
前記表示装置の画面におけるコンテンツの表示範囲を示す表示モードに関する情報を前記表示装置から受け取り、
前記情報と、前記プロセッサが画像をキャプチャし前回キャプチャした画像と今回キャプチャした画像との差分画像を取得する際に発生する差分量と、に基づいて前記プロセッサの駆動クロック周波数を制御する、制御方法。
前記表示モードとして、前記表示装置の画面における表示可能範囲の全画面を用いて１つの画像を表示する全画面表示モードと、前記表示装置の画面に１つの画像のみを表示するモードであって当該１つの画像を前記表示可能範囲の一部のみを用いて表示する縮小表示モードと、前記表示可能範囲を２以上の区画に分割して区画ごとに異なる画像を表示する分割表示モードとを備える、請求項１０に記載の制御方法。
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサを備える画像伝送装置の制御方法であって、
前記表示装置の表示形態に関する情報を前記表示装置から受け取り、
前記情報と、前記プロセッサが画像をキャプチャし前回キャプチャした画像と今回キャプチャした画像との差分画像を取得する際に発生する差分量と、に基づいて、前記プロセッサの駆動クロック周波数を制御する、制御方法。
画像データを生成する処理を行い、ネットワークを介して接続された表示装置に前記画像データを伝送するプロセッサを備えるコンピュータに、
前記表示装置の表示形態に関する情報を前記表示装置から受け取る処理と、
前記情報と、前記プロセッサが画像をキャプチャし前回キャプチャした画像と今回キャプチャした画像との差分画像を取得する際に発生する差分量と、に基づいて前記プロセッサの駆動クロック周波数を制御する処理と、
を実行させるプログラム。