WO2024150689A1

WO2024150689A1 - 表示装置及び表示システム

Info

Publication number: WO2024150689A1
Application number: PCT/JP2023/047031
Authority: WO
Inventors: 巧小澤; 将嗣林
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2023-01-11
Filing date: 2023-12-27
Publication date: 2024-07-18
Anticipated expiration: 2025-07-11

Abstract

［課題］複数の表示装置を用いた表示において、統一感のある高画質な画像、映像を出力する。［解決手段］表示装置は、他の表示装置と一体として構成される全体表示領域に、画像を表示する表示装置であり、表示部と、処理回路と、を備える。前記表示部は、前記画像の分割画像を表示する。前記処理回路は、前記分割画像に対して画像処理を実行する、処理回路であって、前記表示装置及び前記他の表示装置が表示する前記分割画像及び他の分割画像に対する前記画像処理の処理量に基づいて、前記画像処理の設定を決定し、決定した前記画像処理の設定に基づいて、前記分割画像に対して前記画像処理を実行し、前記画像処理を実行した前記分割画像を、前記表示部に表示する。

Description

表示装置及び表示システム

　本開示は、表示装置及び表示システムに関する。

　半導体技術の発展に伴い、ディスプレイといった表示装置の大型化や高精細化も発展してきている。表示装置を大型化する一つとして、例えば、ベゼル幅の小さい複数の表示装置を並べて設置し、複数の表示装置に亘ってシームレスに大きなサイズの画像を表示させるマルチディスプレイ、ディスプレイウォールといった手法がある。これら複数の表示装置を用いる手段においては、それぞれの表示装置の高画質化処理に加えて、表示される映像の統一感や一体感を出すためにそれぞれの表示装置間の画質の差分を極力減らすことが求められる。

　従来の技術では、例えば、全体の輝度を統一するためにそれぞれの表示装置間の輝度を計測したりパネル間で通信を行ったりという制御があるが、それぞれの表示装置間で画像処理方法を最適化する制御はされていない。複数の映像を1画面に表示する場合については、一例としてコンテンツごとに画像処理方法を定義する手法があるが、これに限定されることなく映像の数やその表示サイズによらない容易に制御できる方法が望まれている。

特開2020-187327号公報

　そこで、本開示の実施形態が解決しようとする限定されない課題の一つは、複数の表示装置を用いた表示において、統一感のある高画質な画像、映像を出力することである。本開示の実施形態により解決しようとする課題は、さらに限定されないいくつかの例として、実施形態において記載した効果に対応する課題、とすることもできる。すなわち、本開示の実施形態の説明において記載された効果のうち任意の少なくとも1つに対応する課題を本開示における解決しようとする課題とすることができる。

　一実施形態によれば、表示装置は、表示部と、処理回路と、を備える。表示装置は、他の表示装置と一体として構成される全体表示領域に、画像を表示する。
　前記表示部は、前記画像の分割画像を表示する。
　前記処理回路は、前記分割画像に対して画像処理を実行する、処理回路であって、
　　前記表示装置及び前記他の表示装置が表示する前記分割画像及び他の分割画像に対する前記画像処理の処理量に基づいて、前記画像処理の設定を決定し、
　　決定した前記画像処理の設定に基づいて、前記分割画像に対して前記画像処理を実行し、
　　前記画像処理を実行した前記分割画像を、前記表示部に表示する。

　前記処理回路は、前記分割画像及び前記他の画像のサイズに基づいて、前記画像処理の設定を決定してもよい。

　前記処理回路は、前記分割画像及び前記他の画像のサイズのうち、最大のサイズに基づいて、前記画像処理の設定を決定してもよい。

　前記処理回路は、前記全体表示領域における前記画像の位置及び前記画像のサイズに基づいて、前記最大のサイズを取得してもよい。

　前記他の表示装置と共有する、共有バッファ、をさらに備えてもよく、前記処理回路は、前記分割画像及び前記他の分割画像がそれぞれの表示装置において占有する有効領域を、前記共有バッファに格納し、前記共有バッファに格納されている前記有効領域に基づいて前記画像処理の設定を決定してもよい。

　前記処理回路は、前記画像に関するデータを前記他の表示装置との間においてリレー形式で送受信してもよい。

　前記処理回路は、前記画像に関するデータを前記他の表示装置と並列に受信してもよい。

　一実施形態によれば、表示システムは、上記のいずれかに記載の表示装置と、信号送信装置と、を備える。
　前記信号送信装置は、前記複数の表示装置のうち1つの前記表示装置にデータを送信する。
　前記複数の表示装置は、前記信号送信装置から受信したデータをリレー形式で他の表示装置に送信する。

　一実施形態によれば、表示システムは、上記のいずれかに記載の表示装置と、信号送信装置と、を備える。
　前記信号送信装置は、前記複数の表示装置に並列にデータを送信する。

　一実施形態によれば、表示システムは、信号送信装置と、複数の表示装置と、を備え、前記複数の表示装置のそれぞれの表示領域を一体とした全体表示領域に画像を表示する。
　前記信号送信装置は、
　　前記画像のデータを前記複数の表示装置のうち少なくとも1つに送信する。
　前記複数の表示装置は、
　　それぞれの表示装置が画像処理する場合における処理量に基づいて、前記複数の表示装置において共通して実行される画像処理の設定を決定し、
　　前記それぞれの表示装置において、決定した前記画像処理の設定にしたがって前記それぞれの表示装置において表示する分割画像の前記画像処理を実行し、
　　前記それぞれの表示装置において、前記画像処理を実行した前記分割画像を表示する。

　前記複数の表示装置は、前記分割画像のサイズに基づいて、前記画像処理の設定を決定してもよい。

　前記複数の表示装置は、前記分割画像のサイズのうち、最大のサイズに基づいて、前記画像処理の設定を決定してもよい。

　前記複数の表示装置は、前記それぞれの表示装置が表示する前記分割画像の有効領域に基づいて、前記画像処理内容を決定してもよい。

一実施形態に係る表示システムを模式的に示す図。一実施形態に係る表示システムを模式的に示すブロック図。一実施形態に係る表示装置を模式的に示すブロック図。一実施形態に係る表示装置の処理を示すフローチャート。一実施形態に係る画像に関するデータの一例を示す図。一実施形態に係る表示システムを模式的に示すブロック図。一実施形態に係る表示装置の処理を示すフローチャート。一実施形態に係る有効画像領域の一例を示す図。一実施形態に係る表示システムを模式的に示すブロック図。一実施形態に係る表示装置を模式的に示すブロック図。一実施形態に係る表示システムを模式的に示すブロック図。一実施形態に係る表示切り替えの一例を示す図。

　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

　本開示においては、画像及び／又は映像を出力するシステム及び装置について説明する。以下において、「画像」は、映像を含むものであり、「画像信号」は、映像信号を含むものであるとして説明する。すなわち、本開示の説明においては特に映像、映像信号の文言は用いないが、それぞれの実施形態の説明は、画像、画像信号に加えて、当然に映像、映像信号の概念を含む。

　(第1実施形態)
　図1は、一実施形態に係る表示システムを模式的に示す図である。表示システム 1 は、全体表示領域 2 と、この全体表示領域 2 に表示する信号を送信する信号送信装置 10 と、を備える。表示システム 1 は、全体表示領域 2 において、画像信号に基づいた画像 300 を出力するシステムである。

　信号送信装置 10 は、複数の表示領域が一体として形成される全体表示領域 2 に表示する画像信号を送信する装置である。信号送信装置 10 は、例えば、画像信号を生成し、又は、画像信号を外部から受信して、表示に必要なデータとともに全体表示領域 2 を構成する複数の装置へと出力する。以下においては、単にデータと記載する場合、この「データ」は、画像データ及び画像に関するデータ (例えば、画像の表示位置、画像のサイズ等) を含むことがある。

　全体表示領域 2 は、複数の表示装置の個別の表示領域 200 により形成される領域である。全体表示領域 2 は、例えば、複数の表示領域 200 によるマルチディスプレイ環境、ディスプレイウォール環境として形成される。例えば、第1表示領域 200A 、第2表示領域 200B 、第3表示領域 200C 及び第4表示領域 200D により全体表示領域 2 が形成される。

　本開示において、複数の表示領域に全体の画像が分割されて表示される場合、それぞれの表示領域において表示される画像を分割画像と記載する。

　なお、図1は、一例として示したものであり、全体表示領域 2 に含まれる表示領域 200 の数、大きさ、並べ方は、図1に限定されるものではない。例えば、全体表示領域 2 は、5以上の表示領域 200 から形成されてもよい。

　例えば、全体表示領域 2 は、表示可能な領域サイズが異なる複数の表示領域 200 又は形状が異なる複数の表示領域 200 から形成されてもよい。

　例えば、全体表示領域 2 は、複数の表示領域 200 により矩形形状以外の形状として形成されてもよいし、矩形形状である場合も図に示す比率の矩形ではなく、異なる比率の矩形として形成されてもよい。

　また、例えば、全体表示領域 2 は、複数の表示領域 200 が空間的に離れた位置に配置されて形成されてもよい。

　信号送信装置 10 から送信される画像信号は、複数の表示領域 200 を一体とした全体表示領域 2 内の任意の位置 (指定された位置) に任意のサイズ (指定されたサイズ) で表示することができる。表示システム 1 は、このように全体表示領域 2 において、複数の表示領域 200 のそれぞれが表示する画像を一体として形成することで、個々の表示装置の表示領域 200 よりも仮想的に大きな全体表示領域 2 を有するディスプレイに画像を表示することができる。

　この実装のため、信号送信装置 10 は、画像信号と併せて画像の中心位置及び画像のサイズの情報を全体表示領域 2 を形成する表示装置に送信することができる。画像の中心位置は、例えば、図1の例であれば、4つの表示装置が形成する全体表示領域 2 における位置を一意的に表す座標系を定義し、この座標系に対する水平方向及び垂直方向を指定することで設定されてもよい。なお、画像の位置は、画像の中心位置ではなく、座標系において一意的に指定できる位置、例えば、画像の左上の位置、左下の位置等、任意に指定することができる。

　図2は、一実施形態に係る表示システム 1 の接続の一例を示す図である。表示システム 1 は、例えば、信号送信装置 10 と、複数の表示装置 20 と、を備える。信号送信装置 10 から出力された信号は、表示装置 20 に亘って直列に接続される経路を介してリレー的に送信されてもよい。

　信号送信装置 10 は、第1表示装置 20A へと信号を送信する。第1表示装置 20A は、信号送信装置 10 から信号を受信し、受信した信号を、第2表示装置 20B へと送信する。第2表示装置 20B は、第1表示装置 20A から信号を受信し、受信した信号を第3表示装置 20C へと送信する。第3表示装置 20C は、第2表示装置 20B から信号を受信し、受信した信号を第4表示装置 20D へと送信する。このように、それぞれの表示装置 20X は、リレー形式で直列に接続される経路を介して信号を送受信する。

　なお、本開示におけるリレー形式とは、最初にデータを受信した表示装置から2番目の表示装置へ、2番目の表示装置から3番目の表示装置へ、といった表示装置を経由して次々にデータが伝送される形式のことをいう。

　図3は、一実施形態に係る表示装置 20 を模式的に示すブロック図である。表示装置 20 は、受信部 202 と、記憶部 204 と、決定部 206 と、処理部 208 と、伝送経路 212 と、表示部 210 として表示領域 200 と、を備える。

　表示装置 20 は、図に示す構成要素を含むディスプレイといったデバイスであってもよい。別の例として、表示装置 20 は、図に示す構成要素を含むプロジェクタであってもよい。この場合、表示領域 200 は、表示装置 20 の外部の領域であってもよい。さらに別の例として、表示装置 20 は、図に示す構成要素を含むより広い範囲に出力可能な (例えば、デジタルサイネージ用途等の) LED (Light Emitting Diode) スクリーンであってもよい。

　受信部 202 は、伝送経路 212 を介して入力されるデータを受信する。図2に示すように、信号送信装置 10 が出力したデータは、第1表示装置 20A において受信され、また、第1表示装置 20A の伝送経路 212 を介して第2表示装置 20B へと伝送される。第2表示装置 20B 、第3表示装置 20C 及び第4表示装置 20D についても同様に伝送される。

　記憶部 204 は、受信部 202 が受信したデータを格納する。記憶部 204 は、必要に応じて表示装置 20 が駆動するために必要となるその他のデータを格納することができる。例えば、ソフトウェアによる情報処理が処理回路、表示領域 200 等のハードウェア資源を用いて具体的に実現される場合には、当該ソフトウェアに関するプログラム又は実行ファイルを格納することができる。その他、処理部 208 が演算途中で必要となるデータ等を格納することができる。記憶部 204 は、例えば、 RAM (Random Access Memory) 、 SSD (Solid State Drive) 等の記憶回路を備えていてもよい。

　決定部 206 は、入力されたデータに基づいて、それぞれの表示装置 20 においてそれぞれの表示領域 200 に表示する分割画像に対して実行する画像処理の設定を決定する。画像処理の設定は、例えば、実行する画像処理の種類、実行する画像処理におけるパラメータといった画像処理の内容に関する設定である。画像処理の種類は、例えば、適用するフィルタの種類を含んでもよく、パラメータは、例えば、画像処理に関するパラメータ、フィルタ処理のカーネルの大きさのパラメータ等を任意に含むことができる。映像信号を処理する場合には、画像処理の設定は、例えば上記の他、前後の何フレーム分のデータを用いて処理をするか、といった時系列的なパラメータを含むこともできる。本開示における処理量の制御は、これらに限定されることなく、出力される画像の品質に起因する任意の画像処理、映像処理についての制御を含むことができる。

　決定部 206 は、例えば、入力されたデータに基づいて、複数の表示装置 20 におけるそれぞれの画像処理に関する処理量に関する量を取得し、この量に基づいて画像処理の設定を決定する。この画像処理の設定は、全体表示領域 2 を形成する表示領域 200 を有する表示装置 20 において共通に用いられる。

　処理部 208 は、決定部 206 が決定した画像処理の設定に基づいて画像データの画像処理を実行する。上記したように、1つの全体表示領域 2 を形成する複数の表示装置 20 の処理部 208 は、それぞれの表示装置 20 が有する表示領域 200 に表示する分割画像について複数の表示装置 20 における処理量に応じた設定の画像処理を実行する。限定されない一例として、複数の表示装置 20 において、同じ画像処理の設定を用いることもできる。

　表示部 210 は、表示領域 200 に処理部 208 が画像処理した分割画像を表示する。それぞれの表示装置 20 が画像処理をした分割画像を表示することで、全体表示領域 2 に複数の表示領域 200 を一体とした画像が表示される。表示部 210 は、例えば、水平方向ドライバと、垂直方向ドライバと、を備え、処理部 208 が処理した画像における画素信号をそれぞれの表示領域 200 の画素を適切な強度及び色の光で点灯させる制御をする。

　決定部 206 、処理部 208 及び表示部 210 の表示制御をする回路は、それぞれ専用の回路が設けられてもよいし、汎用の処理回路により処理が実行されてもよい。すなわち、決定部 206 、処理部 208 及び表示部 210 の一部又は全部は、共通のプロセッサ (例えば、 CPU: Central Processing Unit 、 GPU: Graphics Processing Unit 等) であってもよいし、 ASIC (Application Specified Integrated Circuit) 、 DSP (Digital Signal Processor) 等の専用又は半専用の処理回路により形成されていてもよい。これらの回路は、アナログ又はデジタルの回路であってもよい。また、少なくとも一部の回路は、 FPGA (Field-Programmable Gate Array) 等のプログラム可能な回路で形成されていてもよい。

　伝送経路 212 は、受信部 202 へデータを伝送する経路と、次の表示装置 20 へとデータを伝送する経路に分岐されてもよい。次の表示装置 20 へとデータを伝送する経路は、表示装置 20 の内部のバス等の経路を通過することなく、単純に、入力インタフェースから受信したデータを、出力インタフェースを介して外部へと出力する経路として形成されてもよい。

　図4は、一実施形態に係る表示装置の処理を示すフローチャートである。

　複数の表示装置 20 は、データを受信する (S100) 。上述したように、データには、画像データ (例えば、RGB 、 Yuv 等任意の色空間における画素のデータ) 及び画像に関するデータ (例えば、表示位置、サイズ等) のデータが含まれる。それぞれの表示装置 20 の受信部 202 は、これらのデータを受信し、記憶部 204 に格納することができる。

　それぞれの表示装置 20 の処理部 208 は、受信した画像に関するデータから、分割画像の最大の面積 (最大サイズ) を算出する (S102) 。一般的な画像処理においては、画像サイズにおいて処理量が大きく変化する。このため、画像処理の処理量の指標として、分割画像サイズを用いることができる。

　図５は、一実施形態に係る画像に関するデータの一例を示す図である。一例として、それぞれの表示装置 20 の表示領域 200 が同じサイズ a × b の矩形である場合について説明する。この図に示すように、データには、画像に関するデータとして、全体表示領域 2 における画像を表示する位置として中心点の位置 O(x, y) と、画像の幅 w 及び高さ h のデータが含まれる。

　中心点 O が存在する表示領域 200 は、 (x, y) 及び (i, j) のそれぞれと、 (w, h) 及び (a, b) のそれぞれとの大小を比較することで検知することができる。この中心点 O が存在する表示領域 200 の中心点を P(i, j) とする。図5においては、第2表示領域 200B の中心点を P とする。

　なお、中心点 O の位置が表示領域 200 の境界上となる場合には、最大分割画像サイズを有する領域として、いずれの表示領域 200 を選択してもよい。この選択は、所定の条件に基づいていてもよいし、ランダムであってもよいし、又は、あらかじめ決められている表示領域を選択するものであってもよい。

　図の例においては、例えば、第2表示領域 200B における分割画像が最大サイズとなる。この最大サイズ (第2表示領域 200B における分割画像サイズ) は、例えば、以下の式で取得することができる。

　画像の位置の指定が中心点ではない場合、式(1)は、画像における位置指定に基づいて変形される。

　第1表示領域 200A 、第3表示領域 200C 及び第4表示領域 200D に表示する分割画像の画像処理の演算量は、第2表示領域 200B に表示する分割画像の画像処理の演算量より小さく見積もることができる。

　それぞれの表示領域において第2表示領域 200B の分割画像の大きさに基づいた画像処理、例えば、処理部 208 が第2表示領域 200B の分割画像に対して実行することのできる最高品質の画像処理をすることで、それぞれの表示領域における画質を均一にし、かつ、実行出来る最高品質の画像処理をすることが可能となる。上述したように、この最大分割画像サイズに応じた画像処理の設定は、複数の表示装置 20 のそれぞれで別の画像処理の設定であってもよいし、同じ画像処理の設定であってもよい。

　図4に戻り、決定部 206 は、 S102 で算出した上記の式(1)の最大分割画像サイズに基づいた画像処理の設定を決定する (S104) 。上記のように、決定部 206 は、最大分割画像サイズに基づいた画像処理を設定することで、全体表示領域 2 に亘って均一であり、かつ、高品質な画像処理を実現する、画像処理の種類、組み合わせ、パラメータ、又は、これらの組み合わせといった画像処理に関する設定をすることができる。

　決定部 206 は、最大サイズに基づいて、所定の演算をすることであらかじめ決められている画像処理の種類に対するパラメータを算出してもよい。別の例として、決定部 206 は、最大サイズに基づいて、テーブル等を参照することで、画像処理の種類、パラメータ等を取得することもできる。

　決定部 206 は、例えば、最大分割画像サイズに基づいて、アップスケーリングの倍率を決定することができる。

　決定部 206 は、例えば、最大分割画像サイズに基づいて、画像処理に利用する映像信号における前後のフレームの枚数を決定することができる。決定部 206 は、フレームの枚数を決定することで、ノイズ処理の強さ、コントラスト強調の強度、といったパラメータを決定することができる。

　それぞれの表示装置 20 は、 S104 で決定された画像処理の設定に基づいて、それぞれの表示装置 20 の表示領域 200 に表示する分割画像の画像処理を実行する (S106) 。表示装置 20 によって変化しない画像処理の設定により、それぞれの表示装置 20 は、他の表示装置 20 と同程度の品質の画像処理を実行することができる。

　それぞれの表示装置 20 の表示部 210 は、表示領域 200 に画像処理を施した分割画像を表示する (S108) 。

　以上のように、本実施形態によれば、複数の表示装置 20 の表示領域 200 を用いてより大きな全体表示領域 2 を形成する表示システムにおいて、全体表示領域２に表示される画像が、表示装置 20 ごとに異なる品質となることを回避し、さらに、できるだけ高品質な画像処理をすることが可能となる。

　画像処理の設定は、上述したように単純な演算から取得される指標に基づいて決定されるため、例えば、全体表示領域 2 において動的に画像 300 の表示領域が変化する場合においても、同様の効果を奏した適用をすることが可能である。

　(第2実施形態)
　図6は、一実施形態に係る表示システムを模式的に示すブロック図である。表示システム 1 は、図2の構成に加えて、共有バッファ 22 を備えてもよい。

　共有バッファ 22 は、それぞれの表示装置 20 からアクセス可能なバッファである。共有バッファ 22 は、それぞれの表示装置 20 からデータの書き込み、及び、データの読み出しをすることができる。

　前述の実施形態における画像に関するデータは、例えば、共有バッファを介してそれぞれの表示装置が取得してもよい。

　また、別の例として、共有バッファ 22 は、信号送信装置 10 からもアクセス可能であってもよい。この場合、信号送信装置 10 が、それぞれの表示装置 20 のプロファイル、及び、画像に関するデータに基づいて、画像処理の設定を決定し、共有バッファ 22 に書き込むことができる。それぞれの表示装置 20 は、信号送信装置 10 が決定し、共有バッファ 22 に書き込みをした画像処理の設定を読み出して、それぞれの分割画像の画像処理を実行することができる。

　表示システム 1 が共有バッファ 22 を有する場合、表示システム 1 は、前述の第1実施形態とは異なる指標を用いて画像処理の設定を決定することができる。

　図7は、一実施形態に係る表示装置 20 の処理の一例を示すフローチャートである。

　表示装置 20 の受信部 202 は、信号送信装置 10 から送信されたデータを受信する (S200) 。必要に応じて、受信部 202 は、受信したデータを記憶部 204 に格納する。

　表示装置 20 の決定部 206 は、有効画像領域を検出する (S202) 。有効画像領域は、それぞれの表示装置 20 において表示する分割画像が表示領域 200 において存在する領域である。

　図8は、一実施形態に係る有効画像領域の一例を示す図である。有効画像領域は、それぞれの表示領域において、画像 300 が占める領域を表す。表示システム 1 は、例えば、有効画像領域を割合 (% 表示) で表すことができる。

　図8の例では、第1表示領域 200A の有効画像領域は、40％であり、これは、第1表示領域 200A において画像 300 を表示する領域が40%であることを示す。同様に、第2表示領域 200B の有効画像領域は、75%であり、第3表示領域 200C の有効画像領域は、15％であり、第4表示領域 200D の有効画像領域は、20％である。

　この有効画像領域は、前述の実施形態における分割画像のサイズに対応するものであり、それぞれの表示領域における有効画像領域の情報を取得することで、最大の分割画像サイズに関する情報を取得することができる。

　有効画像領域は、それぞれの表示装置 20 において、自らが表示領域 200 に表示する分割画像の表示領域 200 に対する割合を算出することで取得することができる。表示装置 20 は、例えば、表示領域 200 内における黒画素領域 (有効ではないと推定される領域) を検出し、これ以外の領域を有効画像領域とすることもできる。

　図7に戻り、それぞれの表示装置 20 の決定部 206 は、自らの表示装置 20 における有効画像領域の面積 (又は割合) を算出し、算出した面積 (割合) を共有バッファ 22 に書き込むことで他の表示装置 20 と共有する (S204) 。

　決定部 206 は、共有バッファ 22 を参照することで、最大の分割画像の面積 (割合) のデータを取得し、画像処理の設定を決定する (S206) 。

　処理部 208 は、決定部 206 が決定した画像処理の設定にしたがって自らが表示する分割画像の画像処理を実行する (S208) 。

　表示部 210 は、表示領域 200 に処理部 208 が処理した分割画像を表示する (S210) 。

　以上のように、本実施形態によっても、前述の実施形態と同様に全体表示領域２に亘って均一であり、かつ、高品質な画像処理を実現することが可能となる。

　本実施形態は、それぞれの表示領域 200 において、全体画像を送信する場合についても適用することができる。また、本実施形態は、複数の表示領域 200 が同じ大きさである場合には、全体表示領域 2 内において分離している有効領域を有する画像についても、適切な画像処理を施すことが可能である。

　(第3実施形態)
　前述の各実施形態においては、データが表示装置間においてリレー形式で送信される形態について説明した。信号送信装置 10 及び表示装置 20 の接続構成は、これに限定されるものではない。本実施形態では、他の接続構成について説明する。

　図9は、一実施形態に係る表示システム 1 における信号送信装置 10 及び表示装置 20 の一例を示すブロック図である。信号送信装置 10 は、直接的に第1表示装置 20A 、第2表示装置 20B 、第3表示装置 20C 及び第4表示装置 20D に並列 (並行) にデータを送信してもよい。

　換言すると、それぞれの表示装置 20 は、信号送信装置 10 から送信されるデータを並列に受信する。この形態であれば、例えば、データ転送の表示装置 20 における遅延を回避することも可能となる。また、信号送信装置 10 と表示装置 20 が無線の経路で接続されてもよく、この場合、信号送信装置 10 は、ブロードキャストによりデータを送信することもできる。例えば、複数のスマートフォンやタブレット端末を複数の表示装置 20 として用いることも可能である。

　図10は、一実施形態に係る表示装置 20 の一例を模式的に示すブロック図である。この図10に示すように、図3の場合とは異なり、受信したデータを送信する伝送経路 212 を含まない構成として、表示装置 20 を構成することができる。信号送信装置 10 から送信されたデータは、表示装置 20 の受信部 202 により受信され、その後の処理が実行される。

　図11は、一実施形態に係る表示システム 1 における信号送信装置 10 及び表示装置 20 の一例を示すブロック図である。この図11に示すように、図9と同様に直接的に信号送信装置 10 及び表示装置 20 が接続され、さらに、共有バッファ 22 を備える構成とすることもできる。

　これらの構成を有する表示システム 1 の処理は、前述の実施形態と同様に実行することができる。

　また、表示システム 1 の構成は、前述の第1実施形態及び本実施形態の構成に限定されることはなく、他の接続構成であってもよい。

　例えば、信号送信装置 10 が第1表示装置 20A にデータを送信し、第1表示装置 20A から他の表示装置 20 へと並列にデータが送信される形態であってもよい。この場合、決定部 206 が決定した画像処理の設定を併せて第1表示装置 20A が他の表示装置 20 へと送信することも可能である。さらには、画像データ全体ではなく、それぞれの表示装置 20 において表示される分割画像のデータのみを送信することもできる。

　このように、第1実施形態の構成及び第3実施形態の構成は、任意に組み合わせて用いることも可能である。表示システム 1 が、例えば、離れて配置される第1表示装置群と第2表示装置群においてそれぞれ1又は複数の表示装置 20 が備える場合には、第1表示装置群のマスター表示装置と、第2表示装置群のマスター表示装置のそれぞれにデータを送信し、このマスター表示装置から同じ群に存在する他の表示装置に対して、リレー形式で、又は、並列にデータが送信されてもよい。

　また、信号送信装置 10 が複数の表示装置 20 にデータを並列に伝送する場合、前述の実施形態のように、全体の画像とともに、画像の位置、サイズの情報を含むデータを送信してもよいし、別の例としては、それぞれの表示領域 200 において表示される分割画像を、それぞれの表示装置 20 に送信してもよい。図9の形態において、表示装置 20 に送信される画像データが当該表示装置 20 において表示する分割画像である場合には、信号送信装置 10 において最大分割画像サイズを算出して、それぞれの表示装置 20 に送信してもよい。

　以上のように、第1実施形態から第3実施形態の構成によれば、表示システム 1 は、適切に均質であり、かつ、高品質な画像処理を実行した画像データを表示することが可能となる。ユーザは、表示領域 200 ごとに異なる画像処理を行った場合における違和感、不自然さを感じることのない画像を見ることができる。

　すなわち、一例として、表示システム 1 は、信号送信装置 10 と、複数の表示装置 20 を有し、複数の表示装置 20 のうち1つが信号送信装置 10 から受信したデータをリレー形式で伝送し、伝送されたデータに基づいて画像処理の設定を決定することができる。

　また、別の例として、表示システム 1 は、信号送信装置 10 と、複数の表示装置 20 を有し、複数の表示装置 20 が信号送信装置 10 から並列にデータを受信し、受信したデータに基づいて画像処理の設定を決定することができる。

　上記において、画像処理は、分割画像の領域についてそれぞれの表示装置 20 が実行するとしたが、これに限定されるものではない。それぞれの表示装置 20 は、分割画像にマージンを加え、他の表示装置 20 において出力される分割画像の一部、例えば、境界周辺の画像を併せて処理することも可能である。

　表示装置 20 は、画像処理として周辺の画素を用いたフィルタ処理をすることがあるが、画像の端部においては、黒画素、白画素、又は、境界の画素の色でパディングしたデータを用いることがある。他の表示装置 20 の境界付近のデータを取得し、この境界付近のデータを用いたフィルタ処理をすることで、表示装置 20 は、分割画素の境界部分においてもより自然な画像処理を実行することができる。

　前述のそれぞれの実施形態においては、表示領域 200 が 2 × 2 の場合について説明したが、表示領域 200 の配置は、これに限定されるものではない。表示領域 200 の数は、例えば、 2 × 1 といったより少ない数であってもよいし、 3 × 4 といったより多い数であってもよい。

　前述のそれぞれの実施形態においては、表示領域 200 のサイズ及び形状が同じ場合について説明したが、これに限定されるものではない。表示領域 200 のサイズ及び形状は、少なくとも一部の表示領域 200 について異なるものであってもよい。

　さらに、表示装置 20 の性能、例えば、処理能力も同じものであるとしたが、これに限定されるものではない。表示装置 20 の処理能力は、少なくとも一部の表示装置 20 において異なるものであってもよい。この場合、決定部 206 は、処理する分割画像サイズに加えて、それぞれの表示装置 20 に備えられるプロセッサの処理性能、例えば、 MIPS (Million Instruction Per Second) 、クロック数等、画像処理に影響を与えうる指標を用いて、画像サイズによる処理量に補正を加えてもよい。また、画像処理の処理性能がメモリ律速したり、メモリ容量に依存したりする場合には、このメモリアクセス速度又はメモリ容量等の情報を用いて処理量を補正することもできる。

　この補正は、実行されうる画像処理に関するベンチマークテストをあらかじめそれぞれの表示装置 20 のプロセッサを用いて実行しておき、このベンチマークの結果に基づいて加えられてもよい。

　また、信号送信装置 10 は、複数の表示装置 20 のいずれかに含まれ、又は、いずれかの表示装置 20 であってもよい。

　この表示システム 1 は、限定されない例として、監視カメラ、オンラインミーティング、 E-sports 、デジタルサイネージ等の実装として用いることができる。

　例えば、複数台のカメラ映像を表示することで、表示システム 1 は、監視カメラの映像を映すディスプレイとして機能することができる。

　例えば、複数の参加者の映像または共有資料の映像を表示することで、表示システム 1 は、オンラインミーティングにおける表示の実装として機能することができる。

　例えば、複数人が同時に参加する E-sports の映像を任意に表示することで、表示システム 1 は、 E-sports の実況、審判、又は、プレイヤが用いるディスプレイとして機能することができる。プレイヤが用いる場合には、適宜、自らが属するチームのみの映像を表示する、といった制限を加えることもできる。

　例えば、部屋の壁、ビルの壁面等の広い領域に投影する複数のプロジェクタ、又は、これらの領域に備えられる複数の LED スクリーンを用いたデジタルサイネージの実装として表示システム 1 を用いることができる。

　上記のユースケースは、映像の優先度、中止領域判定にしたがって画像サイズが動的に変化してもよい。画像サイズ又は領域のパターンは、図5等に示す構成に限定されるものではない。

　図11は、一実施形態に係る表示の切り替えの一例を示す図である。左図に示すように、例えば、複数のカメラで撮影された映像が、それぞれの表示領域 200 に表示されている。第1画像 302 は、第1表示領域 200A に表示され、第2画像 304 は、第2表示領域 200B に表示され、第3画像 306 は、第3表示領域 200C に表示され、第4画像 308 は、第4表示領域 200D に表示されている。

　このような状態で、第1画像 302 を拡大したい場合に、右図に示すように、第1画像 302 を拡大し、他の画像を縮小して、かつ、それぞれの表示される領域を移動させて、全体表示領域 2 に適切に表示することができる。この場合においても、最大分割画像サイズに基づいた処理量から表示装置 20 において画像処理設定の決定をし、それぞれの表示装置 20 において画像処理を実行して表示することができる。

　このような場合では、画像サイズ、領域のパターンが無数に存在するため、一般的な手法では適切な画像処理方法を設定することが困難であるが、本開示における手法によれば、領域やサイズによらず、表示領域 200 における有効画素の数 (表示領域 200 における画像が表示される領域) を計数するといったシンプルな演算を行うことで、画像処理の設定の決定をすることが可能となる。この結果、表示システム 1 は、全体表示領域 2 の表示を高品質かつ表示装置 20 によらない均質な画像とすることができる。

　信号送信装置 10 は、映像信号を送信する場合、映像信号のフレーム間のブランク期間において位置及びサイズの情報を含むことができる。例えば、 HDMI 信号 (HDMI は登録商標) を用いて伝送をする場合、 HDMI 信号内のブランク期間内に、音声等の信号と重複しないように追加の情報をのせることができる。 HDMI 信号のようにデータが保証されない形式においては、さらに、受信後に信号のフィルタリングをすることで、外れ値を省くといったノイズ対策を実行することもできる。

　本開示における手法を用いているか否かは、例えば、複数の表示装置 20 におけるそれぞれの消費電力を取得し、この消費電力のうち、画像処理に用いられている消費電力を計算することで、検知することができる。より具体的には、複数の表示装置 20 のうち、最大サイズ以外の分割画像を出力する表示装置 20 における分割画像を変更せずに、最大サイズを出力する表示装置 20 における分割画像のサイズを変更することで、他の表示装置 20 の消費電力が変化するか否かをモニタリングすることで推定することができる。

　また、逆に、最大サイズを出力する表示装置 20 における分割画像を固定し、他の表示装置 20 における分割画像の条件を、最大サイズを超えない範囲で変化させることで、消費電力の変化をモニタリングして、検知することもできる。

　共有バッファ 22 を用いている場合には、共有バッファ 22 のメモリダンプ等をすることで、推定することもできる。

　前述した実施形態は、以下のような形態としてもよい。

　(1)
　他の表示装置と一体として構成される全体表示領域に、画像を表示する表示装置であって、
　前記画像の分割画像を表示する、表示部と、
　前記分割画像に対して画像処理を実行する、処理回路であって、
　　前記表示装置及び前記他の表示装置が表示する前記分割画像及び他の分割画像に対する前記画像処理の処理量に基づいて、前記画像処理の設定を決定し、
　　決定した前記画像処理の設定に基づいて、前記分割画像に対して前記画像処理を実行し、
　　前記画像処理を実行した前記分割画像を、前記表示部に表示する、
　表示装置。

　(2)
　前記処理回路は、
　　前記分割画像及び前記他の画像のサイズに基づいて、前記画像処理の設定を決定する、
　(1)に記載の表示装置。

　(3)
　前記処理回路は、
　　前記分割画像及び前記他の画像のサイズのうち、最大のサイズに基づいて、前記画像処理の設定を決定する、
　(2)に記載の表示装置。

　(4)
　前記処理回路は、
　　前記全体表示領域における前記画像の位置及び前記画像のサイズに基づいて、前記最大のサイズを取得する、
　(3)に記載の表示装置。

　(5)
　前記他の表示装置と共有する、共有バッファ、
　をさらに備え、
　前記処理回路は、
　　前記分割画像及び前記他の分割画像がそれぞれの表示装置において占有する有効領域を、前記共有バッファに格納し、
　　前記共有バッファに格納されている前記有効領域に基づいて前記画像処理の設定を決定する、
　(3)に記載の表示装置。

　(6)
　前記処理回路は、
　　前記画像に関するデータを前記他の表示装置との間においてリレー形式で送受信する、
　(1)から(5)のいずれかに記載の表示装置。

　(7)
　前記処理回路は、
　　前記画像に関するデータを前記他の表示装置と並列に受信する、
　(1)から(5)のいずれかに記載の表示装置。

　(8)
　複数の(6)に記載の前記表示装置と、
　信号送信装置と、
　を備え、
　前記信号送信装置は、前記複数の表示装置のうち1つの前記表示装置にデータを送信し、
　前記複数の表示装置は、前記信号送信装置から受信したデータをリレー形式で他の表示装置に送信する、
　表示システム。

　(9)
　複数の(7)に記載の前記表示装置と、
　信号送信装置と、
　を備え、
　前記信号送信装置は、前記複数の表示装置に並列にデータを送信する、
　表示システム。

　(10)
　信号送信装置と、
　複数の表示装置と、
　を備え、
　前記複数の表示装置のそれぞれの表示領域を一体とした全体表示領域に画像を表示する、表示システムであって、
　前記信号送信装置は、
　　前記画像のデータを前記複数の表示装置のうち少なくとも1つに送信し、
　前記複数の表示装置は、
　　それぞれの表示装置が画像処理する場合における処理量に基づいて、前記複数の表示装置において共通して実行される画像処理の設定を決定し、
　　前記それぞれの表示装置において、決定した前記画像処理の設定にしたがって前記それぞれの表示装置において表示する分割画像の前記画像処理を実行し、
　　前記それぞれの表示装置において、前記画像処理を実行した前記分割画像を表示する、
　表示システム。

　(11)
　前記複数の表示装置は、前記分割画像のサイズに基づいて、前記画像処理の設定を決定する、
　(10)に記載の表示システム。

　(12)
　前記複数の表示装置は、前記分割画像のサイズのうち、最大のサイズに基づいて、前記画像処理の設定を決定する、
　(11)に記載の表示システム。

　(13)
　前記複数の表示装置は、前記それぞれの表示装置が表示する前記分割画像の有効領域に基づいて、前記画像処理内容を決定する、
　(10)に記載の表示システム。

　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

　1: 表示システム、
　 10: 信号送信装置、
　2: 全体表示領域、
　 20: 表示装置、
　  200: 表示領域、
　  202: 受信部、
　  204: 記憶部、
　  206: 決定部、
　  208: 処理部、
　  210: 表示部、
　  212: 伝送経路、
　 22: 共有バッファ

Claims

　他の表示装置と一体として構成される全体表示領域に、画像を表示する表示装置であって、
　前記画像の分割画像を表示する、表示部と、
　前記分割画像に対して画像処理を実行する、処理回路であって、
　　前記表示装置及び前記他の表示装置が表示する前記分割画像及び他の分割画像に対する前記画像処理の処理量に基づいて、前記画像処理の設定を決定し、
　　決定した前記画像処理の設定に基づいて、前記分割画像に対して前記画像処理を実行し、
　　前記画像処理を実行した前記分割画像を、前記表示部に表示する、
　表示装置。
　前記処理回路は、
　　前記分割画像及び前記他の画像のサイズに基づいて、前記画像処理の設定を決定する、
　請求項1に記載の表示装置。
　前記処理回路は、
　　前記分割画像及び前記他の画像のサイズのうち、最大のサイズに基づいて、前記画像処理の設定を決定する、
　請求項2に記載の表示装置。
　前記処理回路は、
　　前記全体表示領域における前記画像の位置及び前記画像のサイズに基づいて、前記最大のサイズを取得する、
　請求項3に記載の表示装置。
　前記他の表示装置と共有する、共有バッファ、
　をさらに備え、
　前記処理回路は、
　　前記分割画像及び前記他の分割画像がそれぞれの表示装置において占有する有効領域を、前記共有バッファに格納し、
　　前記共有バッファに格納されている前記有効領域に基づいて前記画像処理の設定を決定する、
　請求項3に記載の表示装置。
　前記処理回路は、
　　前記画像に関するデータを前記他の表示装置との間においてリレー形式で送受信する、
　請求項1に記載の表示装置。
　前記処理回路は、
　　前記画像に関するデータを前記他の表示装置と並列に受信する、
　請求項1に記載の表示装置。
　複数の請求項6に記載の前記表示装置と、
　信号送信装置と、
　を備え、
　前記信号送信装置は、前記複数の表示装置のうち1つの前記表示装置にデータを送信し、
　前記複数の表示装置は、前記信号送信装置から受信したデータをリレー形式で他の表示装置に送信する、
　表示システム。
　複数の請求項7に記載の前記表示装置と、
　信号送信装置と、
　を備え、
　前記信号送信装置は、前記複数の表示装置に並列にデータを送信する、
　表示システム。
　信号送信装置と、
　複数の表示装置と、
　を備え、
　前記複数の表示装置のそれぞれの表示領域を一体とした全体表示領域に画像を表示する、表示システムであって、
　前記信号送信装置は、
　　前記画像のデータを前記複数の表示装置のうち少なくとも1つに送信し、
　前記複数の表示装置は、
　　それぞれの表示装置が画像処理する場合における処理量に基づいて、前記複数の表示装置において共通して実行される画像処理の設定を決定し、
　　前記それぞれの表示装置において、決定した前記画像処理の設定にしたがって前記それぞれの表示装置において表示する分割画像の前記画像処理を実行し、
　　前記それぞれの表示装置において、前記画像処理を実行した前記分割画像を表示する、
　表示システム。
　前記複数の表示装置は、前記分割画像のサイズに基づいて、前記画像処理の設定を決定する、
　請求項10に記載の表示システム。
　前記複数の表示装置は、前記分割画像のサイズのうち、最大のサイズに基づいて、前記画像処理の設定を決定する、
　請求項11に記載の表示システム。
　前記複数の表示装置は、前記それぞれの表示装置が表示する前記分割画像の有効領域に基づいて、前記画像処理の設定を決定する、
　請求項10に記載の表示システム。