JP7289390B2

JP7289390B2 - ディスプレイウォールシステムに用いるイメージ処理デバイス、および、ディスプレイ制御方法

Info

Publication number: JP7289390B2
Application number: JP2022102894A
Authority: JP
Inventors: 偉倫劉
Original assignee: Wistron Corp
Current assignee: Wistron Corp
Priority date: 2021-09-06
Filing date: 2022-06-27
Publication date: 2023-06-09
Anticipated expiration: 2042-06-27
Also published as: CN115767176A; US20230084031A1; JP2023038156A

Description

本発明は、ディスプレイシステムに関するものであって、特に、ディスプレイウォールシステム（display-wall system）に用いるイメージ処理デバイス、および、ディスプレイ制御方法に関するものである。

ディスプレイウォールシステムは、ホモジニアス（homogenous）、あるいは、ヘテロジニアス（heterogeneous）なディスプレイレイアウトで配置される複数の発光ダイオード（ＬＥＤ）ディスプレイパネルを有する。各ＬＥＤパネルは、ディスプレイ指向性（display directionality）を有するので、大量のＬＥＤパネルがあるとき、ヘテロジニアスなディスプレイレイアウト中で、従来のディスプレイウォールシステムは、往々にして、大量の画像分配器（image distributor）と画像カッター（image cutter）を必要とする。このほか、従来のディスプレイウォールシステム上で表示されるディスプレイフレームは、ＬＥＤパネル全体を覆う必要があるので、高仕様の出力装置を必要とする。

本発明は、ディスプレイウォールシステムに用いられるイメージ処理デバイス、および、ディスプレイ制御方法を提供して、上述の問題を解決することを目的とする。

一実施形態において、ディスプレイウォールシステムに用いられるイメージ処理デバイスが提供される。ディスプレイウォールシステムは、複数のディスプレイパネルを有し、ディスプレイパネルは、ディスプレイ制御装置に接続され、ディスプレイ制御装置は、イメージ処理デバイスに接続される。イメージ処理デバイスは、ストレージデバイス、および、プロセッサを有する。ストレージデバイスは、イメージ再編成プログラムを保存する。プロセッサは、イメージ再編成プログラムを実行して、ビデオ画像を受信する工程と、ビデオ画像を、複数のサブイメージに分割する工程と、ディスプレイパネルに対応するサブイメージを、ディスプレイフレームに再編成する工程と、ディスプレイフレーム、および、各ディスプレイパネルのディスプレイ設定プロファイルを、ディスプレイ制御装置に送信する工程と、ディスプレイ制御装置を用いて、各ディスプレイパネルのディスプレイ設定プロファイルにしたがって、ディスプレイフレームから、ディスプレイパネルに対応するサブイメージを抽出し、対応するディスプレイパネル上で、抽出された各サブイメージを表示する工程と、を実行する。

別の実施形態において、イメージ処理デバイスに用いられるディスプレイ制御方法が提供される。本方法は、ディスプレイ制御装置に接続される複数のディスプレイパネル上で表示されるビデオ画像を受信する工程と、ビデオ画像を、複数のサブイメージに分割する工程と、ディスプレイパネルに対応するサブイメージを、ディスプレイフレームに再編成する工程と、ディスプレイフレーム、および、各ディスプレイパネルのディスプレイ設定プロファイルを、ディスプレイ制御装置に送信する工程と、ディスプレイ制御装置を用いて、各ディスプレイパネルのディスプレイ設定プロファイルにしたがって、ディスプレイフレームから、ディスプレイパネルに対応するサブイメージを抽出し、対応するディスプレイパネル上で、抽出された各サブイメージを表示する工程と、を有する。

本発明のディスプレイウォールシステムに用いられるイメージ処理デバイス、および、ディスプレイ制御方法により、イメージ処理デバイスとディスプレイ制御装置間のイメージデータの送信に必要なバンド幅を節約することができる。このほか、必要とされるディスプレイ制御装置数を減少させることができる。

本発明の一実施形態によるディスプレイウォールシステムのブロック図である。図１Ａの実施形態によるディスプレイウォールを示す図である。図１Ａの実施形態によるディスプレイウォールを示す図である。本発明の一実施形態によるビデオ画像、ディスプレイフレーム、および、各ディスプレイパネル上で表示されるサブイメージを示す図である。本発明の一実施形態によるディスプレイ制御方法のフローチャートである。本発明の一実施形態によるディスプレイフレームがエンコーディングフレームに変換されることを示す図である。本発明の別の実施形態によるディスプレイ制御方法のフローチャートである。本発明の一実施形態によるイメージ再編成プログラムのグラフィカルユーザーインターフェースを示す図である。本発明の一実施形態によるイメージ再編成プログラムのグラフィカルユーザーインターフェースを示す図である。本発明の一実施形態によるイメージ再編成プログラムのグラフィカルユーザーインターフェースを示す図である。本発明の一実施形態によるイメージ再編成プログラムのグラフィカルユーザーインターフェースを示す図である。

本明細書で記述されるのは、本発明を実施する最適な方式であり、目的は、本発明の精神を説明することであり、本発明の範囲を限定するものではなく、本発明は、特許請求の範囲をもって結論とする。

理解すべきことは、ここで用いられる「含む」、「有する」等の用語は、明言された特徴、整数、工程、操作、素子、および／または、コンポーネンツの存在を明確にするが、一つ以上のその他の特徴、整数、工程、操作、素子、コンポーネンツ、および／または、それらの群の存在、あるいは、追加を除外するものではないことである。

順序を示す用語、たとえば、請求項の要素を修飾する請求項中の「第一」、「第二」等の使用は、それ自身で、任意の優先度、優先権、あるいは、要素ともう一つの要素の順序、あるいは、一方法の動作が実行される時間的順序を暗示しておらず、ある名称の要素と同じ名称を有する別の要素を区別するのに用いられている。

図１Ａは、本発明の実施形態によるディスプレイウォールシステムのブロック図である。図１Ｂ～図１Ｃは、図１Ａの実施形態によるディスプレイウォールを示す図である。

ディスプレイウォールシステム１０は、イメージ処理デバイス１００、ディスプレイ制御装置１２０、および、ディスプレイウォール１４０を有する。イメージ処理デバイス１００は、イメージ送信チャネル１１、および、データ送信チャネル１２により、ディスプレイ制御装置１２０に接続される。イメージ処理デバイス１００は、パソコン、あるいは、サーバーであり、イメージ再生機能（image-playback capability）、および、イメージ出力機能（image-output capability）を有する。たとえば、イメージ処理デバイス１００は、異なるフォーマットのビデオファイルを復号するとともに、再生することができ、且つ、復号されたビデオ画像を処理して、ディスプレイウォール１４０中の各ディスプレイパネル１３０Ａ、および、１３０Ｂ上で表示されるディスプレイイメージを得ることができる。イメージ処理デバイス１００は、それぞれ、送信ポート１１４、および、１１５に対応するイメージ送信チャネル１１、および、データ送信チャネル１２により、ディスプレイフレーム、および、ディスプレイウォール１４０のディスプレイ設定プロファイルを、ディスプレイ制御装置に送信する。

図１Ａに示されるように、イメージ処理デバイス１００は、プロセッサ１１０、揮発性メモリ１１１、および、ストレージデバイス１１２を有する。プロセッサ１１０は、たとえば、中央処理装置（ＣＰＵ）、汎用プロセッサ等であるが、本発明は、それらに制限されない。揮発性メモリ１１１は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、あるいは、スタティックランダムアクセスメモリ（ＳＲＡＭ）により実現されるが、本発明は、それらに制限されない。

揮発性メモリ１１１は、ビデオフレームバッファ１１１１、および、ディスプレイフレームバッファ１１１２を有する。ビデオフレームバッファ１１１１は、プロセッサ１１０がビデオファイル１１２３に対してビデオ復号を実行することにより得られるビデオ画像を一時的に保存するように構成され、ディスプレイフレームバッファ１１１２は、ディスプレイ制御装置１２０に送信されるディスプレイフレームを一時的に保存するように構成され、各ディスプレイフレームは、各ディスプレイパネル上で表示されるサブイメージを有する。注意すべきことは、ビデオフレームバッファ１１１１とディスプレイフレームバッファ１１１２はともに、ピンポンバッファ（ping-pong buffer）として設計され、これは、ビデオフレームバッファ１１１１、および、ディスプレイフレームバッファ１１１２がそれぞれ、第一部分、および、第二部分を有することを意味する。現在の操作が、第一部分に対し、保存操作を実行する場合、プロセッサ１１０は、第二部分からの読み取り操作を実行する。同様に、現在の操作が、第一部分に対して読み取り操作を実行する場合、プロセッサ１１０は、第二部分に対し、書込み操作を実行して、イメージ破壊の状況を防止する。

ストレージデバイス１１２は、オペレーティングシステム（ＯＳ）１１２１、イメージ再編成プログラム１１２２、および、ビデオファイル１１２３を保存するように構成される。オペレーティングシステム１１２１は、たとえば、Windows（登録商標）、Linux（登録商標）、MacOS（登録商標）等であるが、本発明は、それらに制限されない。イメージ再編成プログラム１１２２は、ビデオ画像中の各サブイメージを再編成、アレンジして、ディスプレイフレームバッファ１１１２中に保存されるディスプレイフレームを得るように構成される。ビデオファイル１１２３は、たとえば、イメージ圧縮ファイル、ビデオストリーミングファイル等であり、且つ、異なるビデオ圧縮フォーマット（たとえば、MPG、H.264等）を有するが、本発明は、それらに制限されない。

ディスプレイ制御装置１２０は、それぞれ、送信ポート１２１（たとえば、DisplayPortインターフェース、ＨＤＭＩ（登録商標）インターフェース、ＶＧＡインターフェース等）、および、送信ポート１２２（たとえば、ＵＳＢ２.０、あるいは、以上の基準をサポートするＵＳＢポート）に対応するイメージ送信チャネル１１、および、データ送信チャネル１２により、イメージ処理デバイス１００から、ディスプレイフレーム、および、ディスプレイウォール１４０のディスプレイ設定プロファイルを受信することができる。いくつかの実施形態において、送信ポート１１４、および、１１５は、ＵＳＢＴｙｐｅ－Ｃ送信ポートに統合され、且つ、イメージ送信チャネル１１、および、データ送信チャネル１２は一つに統合することができるが、本発明は、それらに制限されない。

ディスプレイ制御装置１２０のコントローラー１２５は、ディスプレイウォール１４０中の各ディスプレイパネル１３０Ａ、および、１３０Ｂの配列方向、解像度、および、位置に関する情報（詳細は後述する）を知るとともに、上記の情報にしたがって、対応するディスプレイパネル１３０Ａ、あるいは、１３０Ｂ上で、ディスプレイフレーム中の各サブイメージを表示する。たとえば、コントローラー１２５は、汎用プロセッサ、あるいは、マイクロプロセッサにより実現されるが、本発明は、それらに制限されない。

ディスプレイウォール１４０は、複数のディスプレイパネル１３０Ａ、および、１３０Ｂを有し、所定方式（たとえば、図１Ｂに示される風車形状、あるいは、図１Ｃに示される弧状）で配置されるが、本発明は、図１Ｂと図１Ｃに示されるヘテロジニアスなディスプレイレイアウトに制限されない。ディスプレイパネル１３０Ａ、および、１３０Ｂは、ホモジニアス（homogeneous）なディスプレイレイアウトで配置されてもよい（つまり、共に、同じスクリーン走査方向を用いる）。

たとえば、ディスプレイパネル１３０Ａ、および、１３０Ｂのスクリーン走査方向はともに、ラスター走査（raster scans）であり、これは、スキャンが、左から右、および、上から下に実行されることを意味する。あるディスプレイパネルが回転角度を有する時、たとえば、ディスプレイパネル１３０Ｂが９０度の回転角度を有する時、ディスプレイウォール１４０は、図１Ｂ、および、図１Ｃ中の走査方向１７、および、１８に示されるような二個以上のスクリーン走査方向を有する。

このほか、ディスプレイパネル１３０Ａ、および、１３０Ｂは、それぞれ、ディスプレイ制御装置１２０の出力ポート１２３、および、１２４、たとえば、イメージデータチャネル１３、および、１４に直列で接続される。いくつかの実施形態において、イメージデータチャネル１３、および、１４は、たとえば、直列接続が実現できるＲＪ４５、ＵＳＢ、あるいは、DisplayPortインターフェースにより実現されるが、本発明は、それらに制限されない。たとえば、ディスプレイパネル１３０Ａ、および、１３０Ｂはそれぞれ、イメージデータを表示する最小のユニットであり、且つ、各ディスプレイパネル１３０Ａ、および、１３０Ｂは、入力ポート１３１、出力ポート１３２、及びＬＥＤパネル１３３を有する。

たとえば、ディスプレイパネル１３０Ａ、および、１３０Ｂは、対応するイメージデータチャネル（たとえば、ＲＪ４５ネットワークラインが用いられる）により、ディスプレイ制御装置１２０から、ディスプレイフレームを受信するとともに、ディスプレイフレーム中の対応するサブイメージを表示する。たとえば、イメージデータチャネル１３、および、１４により送信されるイメージデータは、それぞれ、ディスプレイパネル１３０Ａ、および、１３０Ｂ上で表示されるサブイメージを有する。ディスプレイパネル１３０Ａ、および、１３０Ｂは、ネットワークコントローラー（図示しない）を有して、イメージデータチャネル１３、あるいは、１４により送信されたイメージデータ中の装置識別子（Device ID）を識別する。イメージデータが、ローカルのディスプレイパネル１３０Ａ、あるいは、１３０Ｂのサブイメージを有さない場合、サブイメージは、ローカルのディスプレイパネル１３０Ａ、あるいは、１３０Ｂの出力ポートにより、次のディスプレイパネル１３０Ａ、あるいは、１３０Ｂに出力される。

図２は、本発明の一実施形態によるビデオ画像、ディスプレイフレーム、および、各ディスプレイパネル上で表示されるサブイメージを示す図である。図１Ａ、および、図２を参照する。

一実施形態において、イメージ処理デバイス１００のプロセッサ１１０が、ビデオファイル１１２３に対してビデオ復号を実行することにより得られるビデオ画像２００は、ビデオフレームバッファ１１１１中に保存される。ビデオ画像２００は、複数のサブイメージ（たとえば、サブイメージ２０１、２１１、２２１、および、２３１等）に分割される。たとえば、サブイメージ２０１（位置（ａ）に対応する）とその下方に横に配置されたサブイメージ（たとえば、第一領域）、および、サブイメージ２３１（位置（ｂ）に対応する）とその下方に横に配置されたサブイメージ（たとえば、第二領域）は、ディスプレイパネル１３０Ａ上で表示される。サブイメージ２１１（位置（ｃ）に対応する）とその左側に縦に配置されたサブイメージ（たとえば、第三領域）、および、サブイメージ２２１（位置（ｄ）に対応する）とその左側で縦に配置されたサブイメージは、ディスプレイパネル１３０Ｂ上で表示される。

プロセッサ１１０により実行されるイメージ再編成プログラム１１２２は、ディスプレイパネル１３０Ａ、および、１３０Ｂ上で表示されるビデオ画像２００中のサブイメージを再編成、アレンジして、ディスプレイフレーム２５０を得て、ディスプレイフレーム２５０は、ディスプレイフレームバッファ１１１２中に保存される。簡潔には、図２中、８個のディスプレイパネル１３０Ａと８個のディスプレイパネル１３０Ｂがあり、合計、１６個のサブイメージは、それぞれ、ディスプレイパネル１３０Ａ、および、１３０Ｂで表示される必要がある。注意すべきことは、本発明は、上述の数量のディスプレイパネル１３０Ａ、および、１３０Ｂに制限されず、当業者なら、実際の需要に応じて、ディスプレイウォール１４０のディスプレイパネル１３０Ａ、および、１３０Ｂの数量を調整することができる。

イメージ再編成プログラム１１２２は、ディスプレイウォール１４０のディスプレイ設定プロファイルにしたがって、ディスプレイパネル１３０Ａ、および、１３０Ｂのそれぞれの位置に対応するサブイメージを切り取るとともに、切り取られたサブイメージを再編成して、ディスプレイフレーム２５０を得る。各ディスプレイパネル１３０Ａは、イメージデータチャネル１３により、ディスプレイ制御装置１２０から、対応するサブイメージを受信し、各ディスプレイパネル１３０Ｂは、イメージデータチャネル１４により、ディスプレイ制御装置１２０から、対応するサブイメージを受信する。

一実施形態において、ディスプレイウォール１４０中の各ディスプレイパネル１３０Ａ、および、１３０Ｂのディスプレイ設定プロファイルは以下のように示される:
#Define Total_LED_Board n
struct LedBoard_Info
{
BYTE PHY_ID;
BYTE ID;
INT X;
INT Y;
INT Width;
INT Height;
INT Rotate;
INT Rotate_Direction;
INT LedBoardWidth;
INT LedBoardHeight;
INT FB_X;
INT FB_Y;
INT FB_Width;
INT FB_Height;
};

Total_LED_Boardは、ディスプレイパネルの数量を示す；PHY_IDは、ディスプレイパネルが接続されるディスプレイ制御装置１２０の出力ポート（つまり、実体ポート）の識別子を示す；ＩＤは、直列位置を示し、直列接続においてディスプレイパネルの位置が何個目にあるかを意味する；ＸとＹは、それぞれ、ビデオフレームバッファ１１１１中のビデオ画像２００に対するサブイメージの開始点のＸ軸とＹ軸の座標（たとえば、サブイメージの左上頂点の座標に基づく）を示す；WidthとHeightは、それぞれ、表示されるサブイメージの画素幅と画素高さを示す；Rotateは、ビデオ画像に対するディスプレイパネルの回転角度を示す；Rotate_Directionは、ビデオ画像に対するディスプレイパネルの回転方向を示す；LedBoardWidthとLedBoardHeightは、それぞれ、ディスプレイパネルの画素幅と画素高さを示す；FB_XとFB_Yは、それぞれ、ディスプレイパネルのサブイメージを、ディスプレイフレームバッファ１１１２に複製する時の開始点のＸ軸とＹ軸の座標（たとえば、サブイメージの左上頂点に基づく）を示す；FB_WidthとFB_Heightはそれぞれ、ディスプレイフレームバッファ１１１２中に保存されるディスプレイパネルのサブイメージの画素幅と画素高さを示す。

図２を参照すると、ビデオ画像２００の解像度が、１０８０（横）×１０８０（縦）画素、且つ、各ディスプレイパネル１３０Ａ、および、１３０Ｂの解像度が、２４０（横）×１３５（縦）画素であると仮定する。位置（Ａ）のディスプレイパネル１３０Ａのディスプレイ設定プロファイルの内容は、以下のように示される:
PHY_ID=0;
ID=8;
X=300;
Y=0;
Width=240;
Height=135;
Rotate=0;
Rotate_Direction=0;
LedBoardWidth=240;
LedBoardHeight=135;
FB_X=0;
FB_Y=0;
FB_Width=240;
FB_Height=135;

たとえば、ディスプレイ制御装置１２０の出力ポート１２３、および、１２４のPHY_IDsは、それぞれ、０と１であり、且つ、イメージデータチャネル１３、および、１４中のディスプレイパネル１３０Ａ、および、１３０ＢのシリアルナンバーＩＤは、順に、１～８である。よって、位置（Ａ）のディスプレイパネル１３０Ａが、出力ポート１２３のイメージデータチャネル１３に接続され、故に、そのPHY_IDは０であり、且つ、それは、イメージデータチャネル１３中の最後の一個のディスプレイパネルであり、よって、そのシリアルナンバーＩＤは８である。ビデオフレームバッファ１１１１中に保存されるビデオ画像２００中のサブイメージ２０１（位置（ａ）に対応する）の左上頂点の座標（Ｘ，Ｙ）は、（３００，０）であり、且つ、表示されるサブイメージの画素幅「Width」と画素高さ「Height」は、それぞれ、２４０と１３５である。つまり、ビデオフレームバッファ１１１１の座標（３００，０）の位置は、開始点として用いられ、且つ、２４０×１３５の画素幅と画素高さのサブイメージが得られる。

このほか、ビデオ画像２００に対するサブイメージ２０１の走査方向が同じであるので、サブイメージ２０１を回転させる必要がないので、よって、パラメータRotate＝0である。回転角度が０であるとき、パラメータRotate_Directionの設定は、無視することができる。ディスプレイパネル１３０Ａの画素幅と画素高さは、それぞれ、２４０と１３５であるので、パラメータLedBoardWidthとLedBoardHeightは、それぞれ、２４０と１３５である。このほか、ディスプレイフレームバッファ１１１２中のサブイメージ２０１の左上頂点の座標は（０，０）であり、よって、（FB_X，FB_Y）＝（０，０）である。この実施形態において、ディスプレイパネル１３０Ａの解像度は、表示されるサブイメージの解像度と同じなので、パラメータFB_WidthとFB_Heightは、それぞれ、２４０と１３５に設定される。

同様に、位置（Ｂ）のディスプレイパネル１３０Ａのディスプレイ設定プロファイルの内容は、以下のように示される:
PHY_ID=0;
ID=4;
X=540;
Y=540;
Width=240;
Height=135;
Rotate=0;
Rotate_Direction=0;
LedBoardWidth=240;
LedBoardHeight=135;
FB_X=240;
FB_Y=0;
FB_Width=240;
FB_Height=135;

たとえば、位置（Ｂ）のディスプレイパネル１３０Ａは、出力ポート１２３のイメージデータチャネル１３に接続されるので、ディスプレイパネル１３０ＡのPHY_IDは０であり、且つ、それは、イメージデータチャネル１３中の第四個のディスプレイパネルであり、故に、そのシリアルナンバーＩＤは４である。ビデオフレームバッファ１１１１中に保存されるビデオ画像２００中のサブイメージ２３１（位置（ｂ）に対応する）の左上頂点の座標は（５４０，５４０）であり、表示されるサブイメージの画素幅「Width」と画素高さ「Height」は、それぞれ、２４０と１３５である。つまり、ビデオフレームバッファ１１１１の座標（５４０，５４０）の位置は、開始点として用いられ、且つ、２４０×１３５の画素幅と画素高さのサブイメージが得られる。

このほか、ビデオ画像２００に対するサブイメージ２３１の走査方向が同じなので、サブイメージ２３１を回転させる必要がなく、よって、パラメータRotate＝０である。回転角度が０であるとき、パラメータRotate_Directionの設定は、無視することができる。ディスプレイパネル１３０Ａの画素幅と画素高さは、それぞれ、２４０と１３５であるので、パラメータLedBoardWidthとLedBoardHeightは、それぞれ、２４０と１３５である。このほか、ディスプレイフレームバッファ１１１２中のサブイメージ２３１の左上頂点の座標は（２４０，０）であり、よって、（FB_X，FB_Y）＝（２４０，０）である。この実施形態において、ディスプレイパネル１３０Ａの解像度は、表示されるサブイメージの解像度と同じであるので、パラメータFB_WidthとFB_Heightは、それぞれ、２４０と１３５に設定される。

位置（Ｃ）のディスプレイパネル１３０Ｂのディスプレイ設定プロファイルの内容は、以下のように示される:
PHY_ID=1;
ID=8;
X=945;
Y=300;
Width=135;
Height=240;
Rotate=90;
Rotate_Direction=0;
LedBoardWidth=240;
LedBoardHeight=135;
FB_X=480;
FB_Y=0;
FB_Width=240;
FB_Height=135;

たとえば、位置（Ｃ）のディスプレイパネル１３０Ｂは、出力ポート１２４のイメージデータチャネル１４に接続されるので、ディスプレイパネル１３０ＢのPHY_IDは１であり、且つ、それは、イメージデータチャネル１４中の第八個のディスプレイパネルであり、よって、そのシリアルナンバーＩＤは８である。ビデオフレームバッファ１１１１中に保存されるビデオ画像２００中のサブイメージ２１１（位置（ｃ）に対応する）の左上頂点の座標は（９４５，３００）であり、表示されるサブイメージの画素幅「Width」と画素高さ「Height」は、それぞれ、１３５と２４０である。つまり、ビデオフレームバッファ１１１１の座標（９４５，３００）の位置は、開始点として用いられ、且つ、１３５×２４０の画素幅と画素高さのサブイメージが得られる。

このほか、サブイメージ２１１の走査方向は、ビデオ画像２００の走査方向に対して９０度であるので、サブイメージ２３１を、反時計回り（左方向）に回転させる必要があり、よって、パラメータRotate＝９０であり、且つ、パラメータRotate_Direction＝０である。ディスプレイパネル１３０Ｂの画素幅と画素高さは、それぞれ、２４０と１３５であるので、パラメータLedBoardWidthとLedBoardHeightは、それぞれ、２４０と１３５である。このほか、ディスプレイフレームバッファ１１１２中のサブイメージ２１１の左上頂点の座標は、（４８０，０）であり、これは、それが、サブイメージ２３１の右側にあることを意味し、よって、（FB_X，FB_Y）＝（４８０，０）である。この実施形態において、ディスプレイパネル１３０Ｂの解像度は、表示されるサブイメージの解像度と同じであり、よって、パラメータFB_WidthとFB_Heightは、それぞれ、２４０と１３５に設定される。

位置（Ｄ）のディスプレイパネル１３０Ｂのディスプレイ設定プロファイルの内容は、以下のように示される:
PHY_ID=1;
ID=4;
X=405;
Y=540;
Width=135;
Height=240;
Rotate=90;
Rotate_Direction=0;
LedBoardWidth=240;
LedBoardHeight=135;
FB_X=720;
FB_Y=0;
FB_Width=240;
FB_Height=135;

たとえば、位置（Ｄ）のディスプレイパネル１３０Ｂは、出力ポート１２４のイメージデータチャネル１４に接続されるので、ディスプレイパネル１３０ＢのPHY_IDは１であり、且つ、それは、イメージデータチャネル１４中の第四個のディスプレイパネルであり、よって、そのシリアルナンバーＩＤは４である。ビデオフレームバッファ１１１１中に保存されるビデオ画像２００中のサブイメージ２２１（即ち位置（ｄ）に対応する）の左上頂点の座標は、（４０５，５４０）であり、且つ、表示されるサブイメージの画素幅「Width」と画素高さ「Height」は、それぞれ、１３５と２４０である。つまり、ビデオフレームバッファ１１１１の座標（４０５，５４０）の位置は、開始点として用いられ、且つ、１３５×２４０の画素幅と画素高さのサブイメージが得られる。

このほか、サブイメージ２２１の走査方向は、ビデオ画像２００の走査方向に対して９０度であるので、サブイメージ２３１を反時計回り（左方向）に回転させる必要があり、よって、パラメータRotate＝９０であり、且つ、パラメータRotate_Direction＝０である。ディスプレイパネル１３０Ｂの画素幅と画素高さは、それぞれ、２４０と１３５であり、パラメータLedBoardWidthとLedBoardHeightは、それぞれ、２４０と１３５である。このほか、ディスプレイフレームバッファ１１１２中のサブイメージ２２１の左上頂点の座標は、（７２０，０）であり、これは、それが、サブイメージ２２１の右側にあることを意味し、よって、（FB_X，FB_Y）＝（７２０，０）である。この実施形態において、ディスプレイパネル１３０Ｂの解像度は、表示されるサブイメージの解像度と同じであるので、パラメータFB_WidthとFB_Heightは、それぞれ、２４０と１３５に設定される。

したがって、ディスプレイ制御装置１２０は、図２に示されるように、各ディスプレイパネル１３０Ａ、および、１３０Ｂのディスプレイ設定にしたがって、出力ポート１２３、および、１２４に対応するイメージデータチャネル１３、および、１４により、各サブイメージを、対応するディスプレイパネル１３０Ａ、あるいは、１３０Ｂに送信する。

一実施形態において、ディスプレイウォール１４０中の各ディスプレイパネル１３０Ａ、および、１３０Ｂのディスプレイ設定プロファイルは、たとえば、イメージ再編成プログラム１１２２のグラフィカルユーザーインターフェースにより生成される、手動で埋める、あるいは、モバイル装置による自動イメージ識別により得られるが、本発明は、それらに制限されない。イメージ再編成プログラム１１２２のグラフィカルユーザーインターフェースの詳細は、図６Ａ～図６Ｄの実施形態中で記述される。

図３は、本発明の一実施形態によるディスプレイ制御方法のフローチャートである。図１～図３を参照する。

工程３０２において、ビデオファイル１１２３を開く。たとえば、ビデオファイル１１２３は、イメージ圧縮ファイル、ビデオストリーミングファイル等であり、且つ、異なるビデオ圧縮フォーマット（たとえば、MPG，H.264等）を有するが、本発明は、それらに制限されない。

工程３０４において、プロセッサ１１０は、ビデオファイル１１２３を復号するとともに、復号された各ビデオ画像を、ビデオフレームバッファ１１１１に書き込む。たとえば、図２は、ビデオ画像２００が、ビデオフレームバッファ１１１１中に保存されることを示す。

工程３０６において、プロセッサ１１０は、ディスプレイウォール１４０のディスプレイ設定プロファイルを読み取る。たとえば、ディスプレイウォール１４０中のディスプレイパネル１３０Ａ、および、１３０Ｂはそれぞれ、対応するディスプレイ設定プロファイルを有し、詳細は上記の実施形態を参照する。このほか、ディスプレイ設定プロファイルは、イメージ再編成プログラム１１２２のグラフィカルユーザーインターフェースにより生成され、予めストレージデバイス１１２中に保存される。注意すべきことは、図３の工程の実行順序は、図３に示される順序に制限されず、工程３０６は、異なる順序で実行することができ、たとえば、実際の状況に基づいて、工程３０２の前、あるいは、工程３０４の後に実行することができる。

工程３０８において、プロセッサは、ビデオフレームバッファ１１１１の準備ができたか否か判断する。プロセッサ１１０が、ビデオフレームバッファ１１１１の準備ができたと判断した時、工程３１０が実行される。プロセッサ１１０が、ビデオフレームバッファ１１１１の準備ができていないと判断したとき、処理は、工程３０８に戻って、ビデオフレームバッファ１１１１の準備ができるまで待つ。

工程３１０において、プロセッサ１１０は、ビデオフレームバッファ１１１１から、ビデオ画像を読み取る。たとえば、ビデオフレームバッファ１１１１は、ピンポンバッファ（ping-pong buffer）として設計され、これは、各ビデオフレームバッファ１１１１は、第一部分、および、第二部分を有することを意味する。現在の操作が、第一部分に対して、保存操作を実行する場合、プロセッサ１１０は、第二部分からの読み取り操作を実行する。同様に、現在の操作が、第一部分に対して、読み取り操作を実行する場合、プロセッサ１１０は、第二部分で書込み操作を実行して、イメージ破壊の状況を防止する。

工程３１２において、各ディスプレイパネル上で表示されるサブイメージが、ビデオ画像から抽出される。たとえば、図２に示されるように、ビデオ画像２００中のいくつかのサブイメージは、ディスプレイパネル１３０Ａ、および、１３０Ｂに対応するので、プロセッサ１１０は、ビデオ画像２００から、ディスプレイパネル１３０Ａ、および、１３０Ｂのそれぞれで表示されるサブイメージを抽出する。

工程３１４において、回転プロセス、および／または、スケーリングプロセス（scaling processing）を、抽出された各サブイメージに対して実行する。たとえば、サブイメージの解像度が、ディスプレイパネル１３０Ａ、および、１３０Ｂの解像度と同じ場合、スケーリングプロセスは必要とされない。各サブイメージの解像度が、ディスプレイパネル１３０Ａ、および、１３０Ｂの解像度と異なる場合、プロセッサ１１０は、サブイメージを拡大縮小して（scale）、ディスプレイパネル１３０Ａ、および、１３０Ｂの解像度に適合させる。このほか、ディスプレイパネル１３０Ｂの走査方向は、ビデオ画像２００と異なるので、プロセッサ１１０は、ディスプレイパネル１３０Ｂに対応するサブイメージに対し、回転プロセスを実行する必要があり、たとえば、図２に示されるように、サブイメージを、反時計回りに（左方向へ）９０度回転させる。

工程３１６において、処理されたサブイメージにより形成されるディスプレイフレームが、ディスプレイフレームバッファ１１１２に書き込まれ、ディスプレイフレームは、イメージ送信チャネル１１により、ディスプレイ制御装置１２０に送信される。たとえば、図２に示されるディスプレイフレーム２５０は、ディスプレイパネル１３０Ａ、および、１３０Ｂのそれぞれに対応するサブイメージにより形成され、且つ、ディスプレイパネル１３０Ａ、および、１３０Ｂのそれぞれに対応しないサブイメージを含まない。よって、ディスプレイフレーム２５０の解像度は、ビデオ画像２００の解像度より小さいので、イメージ処理デバイス１００とディスプレイ制御装置１２０間のイメージデータの送信に必要とされるバンド幅を節約することができる。

工程３１８において、エンドオブファイル（EoF）に到達したか否か判断する。エンドオブファイルに到達した場合、工程は終了する。エンドオブファイルに到達していない場合、工程は３０４に戻る。

図４は、本発明の一実施形態によるディスプレイフレームを、エンコーディングフレームに変換することを示す図である。図５は、本発明の別の実施形態によるディスプレイ制御方法のフローチャートである。図４と図５を参照する。

一実施形態において、イメージ処理デバイス１００は、非リアルタイム再生（non-real-time playback）の機能をサポートする。たとえば、イメージ処理デバイス１００は、ディスプレイウォールシステム１０で表示されるビデオファイル１１２３（あるいは、リアルタイム再生ビデオストリーム）を予め得るとともに、ビデオファイル１１２３（あるいは、リアルタイム再生ビデオストリーム）を、ディスプレイウォールシステム１０に用いられる別のビデオファイルに転換させる。たとえば、ディスプレイフレーム２５０中のサブイメージは、適切に配置され、各サブイメージ、および、その左右のサブイメージは、オリジナルのビデオ画像中の隣接するサブイメージでない場合がある。このほか、ビデオファイル１１２３が、H.264等のビデオエンコード規格を用いる場合、ディスプレイフレーム２５０は、ブロックの符号化／復号化のために、複数のマクロブロックに分割され、デブロッキング処理（deblocking process）により復号されたフレームにぼやけが生じることになる。したがって、プロセッサ１１０は、図４に示される方法により、ディスプレイフレーム２５０の各サブイメージの上下左右方向にＺ個より多い画素を抽出する（これに限定されないが、たとえば、Ｚ＝１６）とともに、得られたサブイメージデータを、エンコーディングフレーム２５０’に符号化し、エンコーディングフレーム２５０’に対して、ビデオエンコードを実行して、新しいビデオファイルを得て、これは、オリジナルの一般的なビデオファイル１１２３が、ディスプレイウォールシステム１０の新しいビデオファイルに変換できることを意味する。よって、新しいビデオファイルは、非リアルタイム再生に可用である。

たとえば、図５の工程は図３に類似し、差異は、図５の工程が、非リアルタイム再生に用いられることである。たとえば、工程５１２において、プロセッサ１１０は、上下左右方向にＺ個より多い画素を有する各ディスプレイパネルで表示されるサブイメージを抽出して、各サブイメージデータを得る。

このほか、工程５１６において、プロセッサ１１０は、処理後の各サブイメージデータにより形成されるエンコーディングフレームを、エンコーディングフレームバッファに書き込むとともに、ビデオエンコードを、エンコーディングフレームに対して実行して、新しいビデオファイルを得る。図５中のその他の工程の詳細は、図３の実施形態を参照することができ、よって、ここで繰り返して説明しない。

いくつかの実施形態において、プロセッサ１１０が、新しいビデオファイルに対してビデオ復号を実行して、復号されたフレームを得るとき、プロセッサ１１０は、上下左右方向にＺ個より多い画素を有する各ディスプレイパネルに対応するサブフレームを切り取る。各サブイメージの解像度が、Ｘ（横）×Ｙ（縦）である場合、切り取った領域のサイズが、（Ｘ＋２Ｚ）×（Ｙ＋２Ｚ）であることを意味する。その後、ディスプレイ制御装置１２０は、ディスプレイウォール１４０のディスプレイ設定プロファイルにしたがって、切り取った各領域から、各サブイメージをフレーム、および、選択し、対応するディスプレイパネル上で、各サブイメージを表示する。注意すべきことは、ディスプレイウォール１４０中の各ディスプレイパネルのディスプレイ設定プロファイルの関連するパラメータ（たとえば、Ｘ、Ｙ、幅、高さ、FB_X、FB_Y、FB_Width、および、FB_Height）も、それにしたがって調整が必要である。上述の方式により、本発明の実施形態は、サブイメージ間の上述のぼやけの問題を回避することができる。

図６Ａ～図６Ｄは、本発明の一実施形態によるイメージ再編成プログラムのグラフィカルユーザーインターフェースを示す図である。図１、および、図６Ａ～図６Ｄを参照する。

図６Ａに示されるように、イメージ再編成プログラム１１２２のグラフィカルユーザーインターフェース（ＧＵＩ）６００は、ボタン６０２と６０４、フィールド６０６～６１０、作業領域６２０を有する。作業領域６２０は、一つ以上のＬＥＤキャビネットアイコン６３０を有し、各ＬＥＤキャビネットアイコン６３０のサイズと位置は、ディスプレイパネル１３０Ａ、および、１３０Ｂのそれぞれの解像度と位置に対応する。ユーザーは、作業領域６２０中で、マウス（あるいは、タッチ（touch））を用いて、ＬＥＤキャビネットアイコン６３０の任意の一つをドラッグ（drag）することができる。作業領域６２０の左上頂点の座標は（０，０）であり、且つ、各ＬＥＤキャビネットアイコン６３０は、番号（No.）とＬＥＤキャビネットアイコン６３０の座標（その左上頂点の座標を基準とする）を有する。

たとえば、ユーザーは、それぞれ、フィールド６０６と６０８に、ＬＥＤキャビネットの画素幅と画素高さを埋めてもよい。ユーザーは、また、フィールド６１０に、回転角度、および、その下方の回転方向（たとえば、右転、あるいは、左転）を埋めてもよい。このほか、ユーザーは、また、ＧＵＩ６００で、ボタン６０２をマウスでクリックして、新しいＬＥＤキャビネットアイコン６３０を作業領域６２０中に加えてもよく、新しく追加されたＬＥＤキャビネットアイコン６３０の画素幅、画素高さ、および、回転角度は、それぞれ、フィールド６０６、６０８、および、６１０中の数値に従う。

図６Ｂに示されるように、作業領域６２０中に、ＬＥＤキャビネットアイコン６３０が元々一個だけあり、且つ、その番号が１であり、ユーザーがマウスで、ＧＵＩ６００中のボタン６０２をクリックした時、新しいＬＥＤキャビネットアイコン６３０が、作業領域６２０の左上領域に加えられ、且つ、その番号は２であり、この時、その座標は、（０，０）である。ユーザーは、マウスで、番号が２のＬＥＤキャビネットアイコン６３０をクリックするとともに、それを適当な位置にドラッグし、たとえば、ＬＥＤキャビネットアイコン６３０’に対応するようにする。この時、番号が２のＬＥＤキャビネットアイコン６３０の座標は、（０，０）から（３００，１３５）に変化する。

図６Ｃに示されるように、ユーザーは、類似方法を用いて、連続的に、たとえば、番号が３～５の複数のＬＥＤキャビネットアイコン６３０を追加する。ユーザーは、また、作業領域６２０中の番号が５のＬＥＤキャビネットアイコン６３０をクリックするとともに、それを適当な位置にドラッグし、たとえば、ＬＥＤキャビネットアイコン６３０’に対応するようにする。この時、番号が５のＬＥＤキャビネットアイコン６３０’の座標は、（０，０）から（３００，５４０）に変化する。

次に、図６Ｄに示されるように、ユーザーは、すでに、作業領域６２０中の番号が５のＬＥＤキャビネットアイコン６３０をクリックしている。ユーザーが、フィールド６１０に９０を入れ、右転を選択した時、番号が５のＬＥＤキャビネットアイコン６３０は、右に９０度回転し、たとえば、ＬＥＤキャビネットアイコン６３０’に対応する。この時、番号が５のＬＥＤキャビネットアイコン６３０’の座標は（４０５，５４０）に変化する。

上述の観点において、ディスプレイウォールシステムに用いられるイメージ処理デバイス、および、ディスプレイ制御方法が提供され、ディスプレイウォール中のディスプレイパネルの再生に必要なサブイメージを再編成して、ディスプレイフレームを得て、不要なサブイメージを、ディスプレイ制御装置に送信するのを回避することができ、よって、イメージ処理デバイスとディスプレイ制御装置間のイメージデータの送信に必要なバンド幅を節約することができる。このほか、ディスプレイ制御装置は、各ディスプレイパネルのディスプレイ設定プロファイルにしたがって、ディスプレイフレームから、各ディスプレイパネルに対応するサブイメージを抽出し、対応するディスプレイパネル上で、抽出されたサブイメージを表示することができる。したがって、本発明のディスプレイウォールシステムは、必要とされるディスプレイ制御装置数を減少させることができる。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。

１０ディスプレイウォールシステム
１１イメージ送信チャネル
１２データ送信チャネル
１３、１４イメージデータチャネル
１７、１８走査方向
２１、２２、２３走査方向
１００イメージ処理デバイス
１１０プロセッサ
１１１揮発性メモリ
１１２ストレージデバイス
１１４～１１５送信ポート
１２０ディスプレイ制御装置
１２１～１２２送信ポート
１２３～１２４出力ポート
１２５コントローラー
１３０Ａ、１３０Ｂディスプレイパネル
１３１入力ポート
１３２出力ポート
１３３ＬＥＤパネル
１４０ディスプレイウォール
１１１１ビデオフレームバッファ
１１１２ディスプレイフレームバッファ
１１２１オペレーティングシステム
１１２２イメージ再編成プログラム
１１２３ビデオファイル
２００ビデオ画像
２５０ディスプレイフレーム
２５０’ エンコーディングフレーム
２０１、２１１、２２１、２３１サブイメージ
６００グラフィカルユーザーインターフェース
６０２、６０４ボタン
６０６、６０８、６１０フィールド
６２０作業領域
６３０、６３０’ ＬＥＤキャビネットアイコン
Ｚ画素

Claims

ディスプレイウォールシステムに用いるイメージ処理デバイスであって、前記ディスプレイウォールシステムは、複数のディスプレイパネルを有し、前記ディスプレイパネルは、ディスプレイ制御装置に接続され、前記ディスプレイ制御装置は、前記イメージ処理デバイスに接続され、前記イメージ処理デバイスは、
イメージ再編成プログラムを保存するストレージデバイス、および、
プロセッサを有し、
前記プロセッサは、前記イメージ再編成プログラムを実行して、
ビデオ画像を受信する工程と、
前記ビデオ画像を、複数のサブイメージに分割する工程と、
前記ディスプレイパネルに対応する前記サブイメージを、ディスプレイフレームに再編成する工程と、
前記ディスプレイフレーム、および、各ディスプレイパネルのディスプレイ設定プロファイルを、前記ディスプレイ制御装置に送信する工程と、
前記ディスプレイ制御装置を用いて、各ディスプレイパネルの前記ディスプレイ設定プロファイルにしたがって、前記ディスプレイフレームから、前記ディスプレイパネルに対応する前記サブイメージを抽出し、抽出された各サブイメージを対応する前記ディスプレイパネル上で表示する工程と、
を実行することを特徴とするイメージ処理デバイス。
さらに、ビデオフレームバッファ、および、ディスプレイフレームバッファを有し、前記プロセッサは、ビデオファイルを復号して、前記ビデオ画像を得て、
前記ディスプレイパネルは、第一群と第二群に分割され、前記第一群、および、前記第二群は、それぞれ、前記ディスプレイ制御装置の第一物理ポート、および、第二物理ポートに直列接続され、
前記第一群の前記ディスプレイパネルは、第一走査方向を有し、前記第二群の前記ディスプレイパネルは、第二走査方向を有し、前記第一走査方向は、前記第二走査方向と垂直であることを特徴とする請求項１に記載のイメージ処理デバイス。
前記ビデオフレームバッファは、第一領域、および、第二領域を有し、
前記プロセッサは、復号された前記ビデオ画像を、前記第一領域と前記第二領域の一つに交互に書き込むとともに、前記第一領域と前記第二領域のもう一つから、前記ビデオ画像を読み取り、
前記ディスプレイフレームバッファは、第三領域、および、第四領域を有し、前記プロセッサは、各ディスプレイパネルに対応する前記サブイメージを、前記第三領域と前記第四領域の一つに交互に書き込むとともに、前記第三領域と前記第四領域のもう一つから、前記ディスプレイフレームを読み取り、
各ディスプレイパネルの前記サブイメージの第一解像度は、各ディスプレイパネルの第二解像度に等しいことを特徴とする請求項２に記載のイメージ処理デバイス。
前記第一解像度は、ｘ×ｙ画素であり、前記プロセッサは、前記サブイメージに対応する（ｘ＋ｚ）×（ｙ＋ｚ）画素の第三解像度を有する複数の第二サブイメージを、前記ビデオ画像から抽出し、前記ｘ、ｙ、および、ｚは、正の整数であり、
前記イメージ処理デバイスはさらに、エンコーディングフレームバッファを有し、前記エンコーディングフレームバッファは、第五領域、および、第六領域を有し、
前記プロセッサは、前記第二サブイメージを、エンコーディングイメージに再編成し、前記エンコーディングイメージを、前記第五領域と前記第六領域の一つに交互に書き込むとともに、前記第五領域と前記第六領域のもう一つから、前記エンコーディングイメージを読み取り、
前記プロセッサは、異なる時点で、前記エンコーディングイメージを、前記ビデオファイルに符号化し、
前記ビデオファイルを開くとき、前記プロセッサは、前記ビデオファイルを復号して、前記エンコーディングイメージを得て、前記エンコーディングイメージ中の前記第二サブイメージから、前記サブイメージを抽出することを特徴とする請求項３に記載のイメージ処理デバイス。
イメージ処理デバイスに用いるディスプレイ制御方法であって、前記方法は、
ディスプレイ制御装置に接続される複数のディスプレイパネル上で表示されるビデオ画像を受信する工程と、
前記ビデオ画像を、複数のサブイメージに分割する工程と、
前記ディスプレイパネルに対応する前記サブイメージを、ディスプレイフレームに再編成する工程と、
前記ディスプレイフレーム、および、各ディスプレイパネルのディスプレイ設定プロファイルを、前記ディスプレイ制御装置に送信する工程と、
前記ディスプレイ制御装置を用いて、各ディスプレイパネルの前記ディスプレイ設定プロファイルにしたがって、前記ディスプレイフレームから、前記ディスプレイパネルに対応する前記サブイメージを抽出し、抽出された各サブイメージを、対応する前記ディスプレイパネル上で表示する工程と、
を有することを特徴とする方法。