以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。
図1は、本実施の形態における表示システムの構成を示すブロック図である。表示システムは、複数の表示装置10からなる表示部1と、表示装置10へ入力する画像信号に対する処理を行なう信号処理装置2と、表示部1を撮像する撮像装置3と、表示装置10群にて表示される表示画像の輝度又は色の較正を実施する制御装置4とを含む。
本実施の形態における表示システムは電子看板として利用され、そのため表示部1は、人が集まる街中の視認しやすい場所に設置されている。信号処理装置2は、例えば表示部1の近傍に設置されており、後述する方式に対応したケーブルにて表示部1の各表示装置10と接続されている。撮像装置3は、表示部1全体を撮像範囲とするように設置されている。例えば、撮像装置3は、電子看板である表示部1の正面上方の壁面又は天井などに取り付けられている。制御装置4は、信号処理装置2及び撮像装置3の両者と接続されている。制御装置4は例えば信号処理装置2と共に表示部1の近傍に設置されている。図1及び以下の説明では表示装置10群、信号処理装置2、撮像装置3、及び制御装置4は夫々、有線にて接続される構成とする。なお本発明では、これらは無線によって信号の送受信を行なう構成であってもよい。
このように構成される表示システムは、信号処理装置2が、制御装置4から出力されたコンテンツデータから画像信号を生成して表示部1の表示装置10へ各入力して画像を表示する。ここでいうコンテンツは、動画像、静止画像、又は音声と多重化された情報のいずれでもよく、広告宣伝用のコンテンツである。
特に本実施の形態における表示システムは、表示部1にて表示される画像の品質を向上又は画質を維持するため、画像信号が示す画像の輝度又は色の階調値と、実際に表示部1の表示装置10夫々に表示される画像の輝度又は色との間の関係を特定し、これに基づき画像信号を補正する較正機能を有する。特に、表示システムは、並置された表示装置10間の輝度差、又は色差を低減させるように補正し、画質の高いコンテンツを出力する。本実施の形態の表示システムで実現される較正機能の概要は以下である。制御装置4が、電子看板のために利用するコンテンツに基づく画像を表示している表示部1を撮像装置3で撮像し、表示されるべき画像の輝度又は色の階調値と、撮像画像から得られる輝度又は色の階調値とを比較し、入力した画像信号の階調値と表示された画像の画像信号の階調値との間の関係を特定し、求めた関係から入力する画像信号に対する補正量を算出して補正する。このため制御装置4は、宣伝広告用のコンテンツに基づく画像の中から、較正に用いることができる領域を表示装置10夫々に対応させて抽出し、抽出した画像領域が表示部1に表示されるタイミングを特定し、特定したタイミングに、撮像装置3で撮像処理を行ない、撮像された画像中の対応する領域の輝度又は色の情報を夫々取得して、入力した画像信号の輝度又は色と比較し、表示装置10毎に補正量を算出して補正を行なう。
以下、各構成部及び各構成部によって実行される処理について詳細を説明する。
表示部1は、4台の表示装置10を用いる。表示装置10は2段2列に碁盤目状に並置され、並置表示装置10群を構成している。なお表示部1は、1台の表示装置10にて構成されてもよいし、3段3列、2段3列など任意の数で並置表示装置10群が構成されてもよい。
表示装置10は、パネル11を備える。パネル11は、LCD又はプラズマディスプレイを用いる。表示装置10は後述するように信号処理装置2から出力される画像信号に基づきパネル11に画像を表示する。なお表示装置10は夫々スピーカを備えて、信号処理装置2から出力される音声信号に基づき音声を出力するようにしてもよい。ただし、スピーカは表示部1とは別に設置されてもよい。
信号処理装置2は、制御部20、記憶部21、入出力部22、画像処理部23、音声処理部24、操作部25、及び電源制御部26を備える。
制御部20は、CPU(Central Processing Unit)を用い、図示しないコンピュータプログラムに基づき各構成部を制御する。
記憶部21は、ハードディスクドライブ又はSSD(Solid State Drive)等の外部記憶装置を用いる。記憶部21は、フラッシュメモリを用いてもよい。記憶部21には、表示部1で表示画像と出力する音声とが多重化されたデータなどが記憶されてもよいし、後述するように各表示装置10へ入力される画像信号に対して各適用される補正量の情報が記憶されてもよい。
入出力部22は、信号処理装置2と、各表示装置10及び制御装置4との間のコンテンツデータ、並びに、制御用のデータを入出力するためのインタフェースである。具体的には入出力部22は、DVI(Digital Visual Interface)端子及びHDMI(High-Definition Multimedia Interface)端子を有する。これにより信号処理装置2は、制御装置4と所定の方式としてTMDS(Transition Minimized Differential Signaling )方式でシリアル通信を行ない、制御装置4からコンテンツデータを入力し、表示部1の複数の表示装置10夫々へ画像信号を出力する。また入出力部22は、TCP(Transmission Control Protocol )又はUDP(User Datagram Protocol)などの通信プロトコルで画像信号を送受信するためのLAN端子を有し、外部装置と通信により制御用のデータを送受信する。なお、入出力部22はLAN端子を介して、制御装置4からコンテンツデータを受信してもよい。入出力部22は更に、USB(Universal Serial Bus)端子又はIEEE1394端子を有する構成としてもよい。
画像処理部23は画像処理用の集積回路を用い、入出力部22にて入力したコンテンツデータから画像信号を抽出し、画像信号に対して輝度又は色、色空間等の補正、及び各種フィルタ処理を含む所定の画像処理を実行する。画像処理部23は、制御部20からの指示に基づき、画像処理後の画像信号を入出力部22から表示部1の各表示装置10へ出力させる。このとき画像処理部23は、制御部20により取得されてある並置表示装置10群の配列情報に基づき、各表示装置10へ各々に対応する画像信号を出力する。配列情報とは、例えば表示部1の、向かって左上の表示装置10を0(ゼロ)段目0(ゼロ)列(0,0)の表示装置10とし、右下の表示装置10を1段目1列(1,1)の表示装置10と識別する情報である。制御部20は、予め記憶部21に記憶されている配列情報を取得してもよいし、外部から入力される配列情報を取得してもよい。また画像処理部23は、制御部20によってソフトウェア的に実現されてもよい。
音声処理部24は、入出力部22により入力した音声を含むコンテンツデータから音声信号を抽出し、音声信号に対し、補正及びフィルタ処理を含む所定の処理を実行する。音声処理部24は、制御部20からの指示に基づき処理後の音声信号を図示しないスピーカへ出力し、音声を出力させる。なお、信号処理装置2は、音声処理部24を備えていなくともよい。
操作部25は、電源スイッチ、切替スイッチ、及び再生/停止スイッチを少なくとも含む。操作部25の電源スイッチ、切替スイッチ、及び再生/停止スイッチは、表示システムのオペレータが操作することが可能に信号処理装置2に形成されている。電源スイッチは、信号処理装置2の電源のオン及びオフを切り替えるためのスイッチである。切替スイッチは、表示部1を構成する複数の表示装置10の内のいずれか1つの制御を行なうためのスイッチであり、同時に、複数の表示装置10を選択するためのスイッチである。再生/停止スイッチは、オペレータがコンテンツの再生/停止を指示するスイッチであり、画像処理部23及び音声処理部24へのコンテンツデータの入力を開始/停止させるため、即ち表示部1への画像信号の入力を開始/停止させるためのスイッチである。操作部25は、いずれのスイッチが押下されたかを検知すると、制御部20へ通知する。
なお操作部25は、信号処理装置2と無線で通信することが可能なリモートコントローラに備えられる構成としてもよい。この場合、リモートコントローラは操作部の各スイッチが押下されることに対応する無線信号を信号処理装置2へ送信する。無線通信の通信媒体は赤外光であってもよいし、電磁波であってもよい。また、操作部25の各スイッチの押下に対応する信号を後述の制御装置4から、オペレータの操作に応じて操作指示として送信し、信号処理装置2がこれを受信し、操作指示に基づき動作するようにしてもよい。
電源制御部26は、外部の電力供給源(図示せず)から供給される電力を制御する。操作部25の電源スイッチが押下されたことを通知された制御部20は、電源制御部26に外部から電力を供給させるか、又は電力の供給を遮断する。電源制御部26は、電力の供給を受けると信号処理装置2全体に電力を供給する。逆に、電源制御部26は、電力の供給が遮断されるときは信号処理装置2全体への電力の供給が遮断される。
更に信号処理装置2は、例えばテレビジョン放送のアンテナ及びチューナを備え、制御装置4から出力されるコンテンツデータのみならず、放送信号を受信して表示部1で表示すべく出力するようにしてもよい。
撮像装置3は、例えばUSB端子を有するデジタルカメラを用い、USB端子にて後述の制御装置4と接続される。制御装置4との接続はUSBに限られない。撮像装置3は、USB端子を介して制御装置4から撮像要求信号を入力し、撮像要求信号を入力した場合に表示部1を全体的に撮像する。撮像装置3は、撮像画像の画像信号を、USB端子を介して制御装置4へ送信する。なお、撮像装置3が表示部1を適切に撮像できるように、フォーカスの設定、シャッター速度、絞り、ホワイトバランス、色空間、撮像画像のファイルフォーマット等の設定が予めしてある。特に、動画像であるコンテンツのデータに基づく画像が表示部1で表示されている間に撮像を行なうため、シャッター速度は、映像のフレームレートよりも速く設定されてある。
制御装置4は、パーソナルコンピュータを用い、制御部40、記憶部41、一時記憶部42、読出部43、入出力部44、及び接続部45を備える。
制御部40は、CPUを用い、記憶部41に記憶してある制御プログラム4Pに基づき、後述するような各機能を実現することによって表示システムの制御、及び表示システムの表示部1における輝度又は色の較正を実現する。
記憶部41は、ハードディスクドライブ又はSSD等の外部記憶装置を用いる。記憶部41は、フラッシュメモリを用いてもよい。記憶部41には上述した制御プログラム4Pが記憶されているほか、制御部40が処理時に参照する情報が予め記憶されてもよい。また記憶部41は、制御部40の処理により求められる情報を記憶する。特に、記憶部41は、制御部40が後述する処理を行なって得られるコンテンツ毎の較正情報411を記憶し、後に制御部40が参照することが可能である。更に記憶部41は、較正によって求められる補正情報412を記憶する。
一時記憶部42は、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等のRAMを用いる。一時記憶部42は、制御部40が記憶部41から制御プログラム4Pを読み出す際に用いられる。また、一時記憶部42は、制御部40の処理により発生した情報、例えば処理中の画像データ、画像データから抽出された情報などを一時的に記憶する。
読出部43は、ディスクドライブを用いる。読出部43は、CD(Compact Disk)、DVD(Digital Versatile Disk)、BD(Blu-Ray(登録商標) Disk)、フラッシュメモリ、又はフレキシブルディスクなどである記録媒体6に記録されている情報を読み出す。本実施の形態の記録媒体6には、制御プログラム6Pが記録されている。制御部40は、読出部43によって記録媒体6に記録されている情報を読み出し、記憶部41又は一時記憶部42に記憶する。記憶部41に記憶されている制御プログラム4Pは、記録媒体6から読み出された制御プログラム6Pの複製であってもよい。
記録媒体6は制御装置4から分離可能に構成される記録媒体であればよく、他に、磁気テープ又はカセットテープ等のテープ系、ハードディスク又は上述のフレキシブルディスク等の磁気ディスク系、上述のCD、DVD、BD等の光ディスク系、メモリカード又は光カードなどのカード系、マスクROM(Read Only Memory)、EPROM(Erasable Programmable ROM )、EEPROM(登録商標;Electrically EPROM)、又はフラッシュROMなどの半導体メモリであってもよい。また、制御装置4が備える入出力部44は、後述するようにLAN端子を有してもよいから、制御プログラム6Pは、通信網を介して外部からダウンロードされてもよく、電子的な伝送で具現化された搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
入出力部44は、制御装置4と、信号処理装置2及び外部の記憶装置5との間のインタフェースである。具体的には入出力部44は、DVI端子及びHDMI端子を有し、これにより制御装置4は、記憶装置5からコンテンツデータを読み出し、信号処理装置2へコンテンツデータ及び制御用の情報を送信する。入出力部44は、LAN端子を有し、外部機器との通信を行なってもよいし、LAN端子を介して信号処理装置2との間でデータを送受信してもよい。入出力部44は更に、USB端子又はIEEE1394端子を有する構成としてもよい。
接続部45は、例えばUSB端子を有し、撮像装置3と接続される。接続部45は、制御装置4が撮像装置3と接続し、撮像装置3における撮像を制御するための信号を入出力できればUSB端子に限られない。制御装置4は、接続部45を介して撮像装置3へ撮像要求信号を送信し、撮像画像の画像信号を受信する。
記憶装置5は、大容量のHDD又はSSD等を用いて画像コンテンツデータを記憶する。記憶装置5が記憶するコンテンツデータは、制御装置4から読み出しが可能である。なお記憶装置5はDVD等の記録媒体であって、制御装置4から読み出しが可能な構成であってもよい。記憶装置5は、制御装置4が備える記憶部41であってもよい。コンテンツは、電子看板として機能する表示部1に表示される宣伝広告用のコンテンツである。
図2は、本実施の形態における制御装置4によって実現される機能を示す機能ブロック図である。制御装置4の制御部40は、記憶部41に記憶されている制御プログラム4Pを読み出して実行することにより、領域分割部401、領域抽出部402、タイミング特定部403、及び較正部404として機能し、パーソナルコンピュータを表示システムの制御装置4として動作させ、以下に説明する各処理を実施して較正を行なう。なお、領域分割部401、領域抽出部402、タイミング特定部403、及び較正部404は、集積回路としてハードウェア的に構成されてもよい。
領域分割部401は、制御部40が読み出したコンテンツデータから画像を取得し、並置表示装置10群の配列情報に基づき、画像をブロックに分割する。コンテンツが動画像である場合、領域分割部401はフレーム単位で画像を取得し、各フレーム画像を配列情報に基づき分割する。また領域分割部401は、各々が並置表示装置10群のいずれの表示装置10に対応するかを特定して分割する。つまり、領域分割部401は、画像を実際に並置表示装置10群にて表示されるように分割し、いずれに属するかが後述する他の機能により特定できるようにする。配列情報は、制御部40が予め信号処理装置2から取得して記憶部41に記憶しておいてもよいし、領域分割部401が信号処理装置2から取得してもよい。
領域抽出部402は、領域分割部401から出力された分割後の複数のブロック画像夫々から、表示される輝度又は色のキャリブレーション(較正)を行なうために、均一な輝度又は色である較正用領域を抽出する。なお領域抽出部402は、較正用領域の抽出を、複数の異なる輝度又は色について行なう。例えば領域抽出部402は、輝度0(ゼロ)から最大輝度までを4段階、10段階、又は18段階等の複数段階に区別し、夫々の段階の輝度に合致する画素を含む領域を複数のフレーム画像から夫々抽出する。例えば、最大輝度が(255,255,255)であって4段階に区別する場合であれば、RGB値が(0,0,0)、(85,85,85)、(170,170,170)、(255,255,255)の4段階夫々の較正用領域を抽出する。最大輝度が(255,255,255)であって18段階に区別する場合であれば、RGB値が(0,0,0)、(15,15,15)、…、(240,240,240)、(255,255,255)の18段階夫々の較正用領域を抽出する。また領域抽出部402は、例えば18色の異なる色夫々に合致する画素を複数のフレーム画像から夫々抽出する。例えば領域抽出部402は、RGB値が赤(255,0,0)、緑(0,255,0)、青(0,0,255)夫々の較正用領域を抽出する。
領域抽出部402は、較正用領域を抽出したフレーム画像を特定するフレーム番号と、抽出した輝度又は色を示す情報と、フレーム画像中又はブロック画像中における較正用領域を示す座標情報とを含む較正情報411を記憶部41に記憶する。座標情報は例えば、ブロック画像又はフレーム画像の水平方向をx軸、垂直方向をy軸とし、最も左上の画素を原点(0,0)として1画素を1単位として表される。座標情報は他の方法で表わされてもよい。
タイミング特定部403は、記憶された較正情報411に基づいて実際に較正を行なうにあたり、較正用に用いるコンテンツデータを出力した場合に、較正用領域を含むフレーム画像が表示される時刻(コンテンツデータに基づく画像の表示開始からの経過時間)を算出する。表示時刻は例えば以下のように算出できる。
表示時刻=フレーム番号×コンテンツのフレームレート
フレーム番号は、記憶部41に記憶した較正情報411により特定される較正用領域を含むフレーム番号である。タイミング特定部403は、較正に用いるコンテンツデータが制御部40により信号処理装置2へ出力されたときに、コンテンツデータが出力されたことを表す信号を撮像装置3へ出力して起動させ、算出された時刻に基づいて撮像を行なうべき時点で撮像要求信号を出力する。これによりタイミング特定部403は、較正用領域を含む画像を撮像部で撮像するように、撮像のタイミングを制御する。
なお、タイミング特定部403は、較正用領域を含む画像の表示タイミングと、撮像装置3による撮像タイミングとの同期の制御について、入出力部44及び接続部45、並びに信号処理装置2における入出力部22における伝送遅延及び測定(撮像処理)遅延に係る遅延時間を測定しておき、遅延時間を考慮して撮像要求信号を出力することが好ましい。また、タイミング特定部403は、コンテンツデータのフレームレートに比較して、遅延時間が微小である(例えばフレームレートの1/10以下)シャッターを使用できる撮像装置3を用い、遅延時間を考慮せずに撮像要求信号を出力する構成としてもよい。
較正部404は、制御部40の処理によって較正に用いるコンテンツデータの入出力部44からの出力が開始されると、記憶された較正情報411に基づいて較正処理を行なう。較正部404は、コンテンツデータの出力が開始された場合、タイミング特定部403の制御により撮像された撮像画像の画像信号を接続部45から入力する。較正部404は、入力した撮像画像信号に基づく撮像画像と、対応するフレーム画像の較正用領域とを比較する。較正部404は撮像画像から較正用領域に対応する領域を抽出して輝度又は色についての測定値を算出し、較正用領域における輝度又は色の値と比較し、比較結果に応じて補正量を算出し、画像信号を補正する。
なお、較正部404は、並置される表示装置10毎に、測定値と較正用領域における輝度又は色の値との間の関係から入出力特性を補正量として求め、補正情報412として記憶し、信号処理装置2へ出力してもよい。そして、信号処理装置2の画像処理部23にて、各表示装置10に対応する補正情報412に基づき、入力するコンテンツデータの画像信号に対して補正を行なってもよい。信号処理装置2は、入力される種々の画像信号のRGB値に対し、較正部404から得た補正情報412を汎用的に用いて補正することが可能である。
このように構成される表示システムにて、表示部1における輝度又は色が較正される手順を、順を追って詳細に説明する。図3は、制御装置4の領域分割部401及び領域抽出部402により実施される処理手順の一例を示すフローチャートである。制御装置4の制御部40は、領域分割部401及び領域抽出部402により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により各処理を実行する。なお、以下に示す処理では、コンテンツデータは動画像である。
制御部40は、記憶装置5からコンテンツデータを入出力部44により読み出し(ステップS1)、最初のフレーム画像(フレーム番号0(ゼロ))を測定用画像の抽出対象とする(ステップS2)。具体的には制御部40は、抽出対象のフレーム画像のフレーム番号に0(ゼロ)を代入する。
制御部40は、抽出対象のフレーム画像に対し、較正用領域の抽出処理を実行する(ステップS3)。制御部40は、抽出処理の結果、較正に使用可能であるか否かを判断する(ステップS4)。具体的には、制御部40は較正用領域を抽出できたか否かを判断する。制御部40は、較正に使用可能であると判断した場合(S4:YES)、較正情報411を記憶部41に記憶し(ステップS5)、予め定めてある全ての輝度又は色について較正用領域の抽出が完了したか否かを判断する(ステップS6)。制御部40は、全ての輝度又は色について較正用領域の抽出が完了したと判断した場合(S6:YES)、処理を終了する。
ステップS4にて較正に使用可能でないと判断した場合(S4:NO)、及びステップS6にて全ての輝度又は色について較正用領域の抽出が完了していないと判断した場合(S6:NO)、制御部40は、次のフレーム画像が存在するか否かを判断する(ステップS7)。制御部40は、次のフレーム画像が存在すると判断した場合(S7:YES)、次のフレーム画像を測定用画像の抽出対象とし(ステップS8)、処理をステップS3へ戻す。制御部40は、次のフレーム画像が存在しないと判断した場合(S7:NO)、そのまま処理を終了する。
図4は、図3のステップS3における較正用領域の抽出の詳細な処理手順の一例を示すフローチャートである。
制御部40は、カウント用の変数Mに1を代入する(ステップS301)。制御部40は、領域分割部401の機能により、フレーム画像を並置表示装置10群の配列情報に基づき1〜Nのブロック画像に分割する(ステップS302)。
図5は、領域分割部401により分割されるフレーム画像の一例を示す説明図である。本実施の形態のように2段2列の配置である場合、領域分割部401は、図5中の破線で示すように画像を4つのブロック画像(N=4)に分割し、夫々領域1(左上)、領域2(右上)、領域3(左下)及び領域4(右下)と特定する。具体的には、領域分割部401は、表示部1の0(ゼロ)段目0(ゼロ)列(0,0)の表示装置10に対応する領域を領域1とし、1段目1列(1,1)の表示装置10に対応する領域を領域4として特定する。
図4のフローチャートに戻り、説明を続ける。
次に制御部40は、最初のブロック画像(番号1)を較正用領域の抽出対象画像に設定する(ステップS303)。具体的には、制御部40は、較正用領域の抽出対象画像の番号に、ブロック画像の番号、即ち領域の番号1を代入する。
制御部40は、領域抽出部402により、抽出対象のブロック画像の画素を走査して順次、各画素の輝度又は色の強度を表す値を順次参照し(ステップS304)、許容される範囲で較正対象の輝度又は色に合致するか、即ち略均一な輝度又は色に合致するか否かを判定する(ステップS305)。
詳細には、例えばコンテンツデータから取得した画像の画素の色がRGB(R:赤、G:緑、B:青)夫々の強度を示す階調値で表わされる場合、較正対象のRGB値を(Rc,Gc,Bc)とすると、制御部40は、領域抽出部402の機能により、各画素の色について以下の三式を全て満たすものを合致と判断する。
Rc−δR ≦R≦Rc+δR
Gc−δG ≦G≦Gc+δG
Bc−δB ≦B≦Bc+δB
このときδR 、δG 、δB の値夫々は、RGB値の最大値の1/32程度を目安とする。例えば、RGB値が夫々8ビットのデジタル信号で表わされる場合、RGB値は0〜255であるからδR 、δG 、δB の値は夫々「8」となる。なお、δR 、δG 、δB の値は、輝度のステップを細かく設定する場合には小さい値に設定するなど、適宜設定すればよい。
なおステップS304において、領域抽出部402は、エッジが多い画像を較正に用いないように、全画素を1画素ずつ参照して特定の輝度又は色に合致するか否かを判断するのではなく、複数の画素よりなる例えば3×3画素のブロック毎に参照するようにしてもよい。このときブロック毎の輝度又は色は、平均値又は中央値等を算出して用いてもよい。
制御部40は、領域抽出部402の機能により、ステップS305で合致すると判断した場合(S305:YES)、合致すると判断された画素を抽出し(ステップS306)、抽出対象のブロック画像全体に対し処理したか否かを判断する(ステップS307)。制御部40は、処理が未完了であると判断した場合(S307:NO)、処理をステップS304へ戻して次の画素についてステップS305の判断処理を行なう。
制御部40は、領域抽出部402の機能により、抽出対象のブロック画像全体に対し処理したと判断した場合(S307:YES)、較正対象の輝度又は色の画素、即ちRGB値(Rc,Gc,Bc)に合致する画素を閾値p以上抽出できたか否かを判断する(ステップS308)。閾値pは例えば30%などの割合又は画素数である。制御部40は、閾値p以上抽出できたと判断した場合(S308:YES)、抽出した画素に基づき較正用領域を特定する(ステップS309)。
図6は、領域抽出部402の機能により特定される較正用領域の例を示す説明図である。図6中のタイル状の各矩形は、較正対象の輝度又は色、即ちRGB値(Rc,Gc,Bc)に合致するであるとして抽出された画素を示す。図6中の太線は、以下の処理によって求められる較正用領域を示し、図5中の領域1内の太線に囲まれる範囲に対応する。領域抽出部402は、図6に示されるようにアメーバのような形状に抽出された画素群の外接矩形(破線)を特定し、外接矩形を暫定的に較正用領域とする。領域抽出部402は、暫定的な較正用領域の外周の画素について夫々、水平方向又は垂直方向に画素が連続して並んでいるか否かの判定を行なう。即ち、領域抽出部402は、暫定的較正用領域の外周ライン毎に、抽出された画素によって埋め尽くされているか否かの判定を行なう。領域抽出部402は、画素が連続して並んでいない場合、当該外周ラインの次に内側のラインを暫定的較正用領域の外周ラインとし、当該外周ラインについて同様の判定を行なう。領域抽出部402は、水平方向又は垂直方向全ての外周ラインで画素が連続して並んでいると判定した場合に、当該外周ラインを含む内側の矩形領域(図6中の太線)を較正用領域として確定し、特定する。
図4のフローチャートに戻り、説明を続ける。
制御部40は、領域抽出部402の機能により、較正用領域を特定できたか否かを判断し(ステップS310)、特定できた場合に(S310:YES)、当該フレーム画像を較正に使用可能であると判断し(ステップS311)、処理を次へ進める。
制御部40は、ステップS308にて閾値p以上抽出できないと判断した場合(S308:NO)、及びステップS310にて較正用領域を特定できないと判断した場合(S310:NO)、当該フレーム画像を較正に使用不可能であると判断し(ステップS312)、処理を次へ進める。
次に制御部40は、領域抽出部402の機能により、カウント用の変数Mが、フレーム画像の分割数(ブロック画像の個数)と同一であるか否かを判断する(ステップS313)。即ち制御部40は、全てのブロック画像について処理を行なったか否かを判断する。制御部40は、変数Mがフレーム画像の分割数と同一であると判断した場合(S313:YES)、較正用領域の抽出処理を終了し、処理を図3のステップS4へ戻す。
制御部40は、ステップS313にて変数Mがフレーム画像の分割数と異なり、全てのブロック画像について処理を行なっていないと判断した場合(S313:NO)、変数Mに1を加算し(ステップS314)、処理をステップS303へ戻す。
これにより、電子看板の機能を発揮するべく表示部1に表示する宣伝広告用のコンテンツデータを、較正にも用いることが可能となる。
図3及び図4に示した処理手順を、具体例を挙げて説明する。
図7から図10は、ブロック画像に分割され、夫々から較正用領域が抽出されるコンテンツデータのフレーム画像の例を示す説明図である。図7から図10では、8ビットのRGB値をモノクロの4段階(255,255,255)、(170,170,170)、(85,85,85)、(0,0,0)に区別した場合に、夫々のRGB値の較正用領域が抽出される例を示す。
図7に示す例のフレーム画像は、広告宣伝用のあるコンテンツの内のN1番目のフレーム画像である。このフレーム画像は、「○○株式会社」のコーポレートステートメントを表示するフレーム画像であり、背景に「白」が使われている。当該フレーム画像からは、以下に説明するように最大輝度となるRGB値が(255,255,255)である較正用領域が抽出される。
制御装置4の制御部40は、領域分割部401の機能により、図7に示すように表示部1の並置表示装置10群(図1参照)の配置に対応するように領域1、領域2、領域3、及び領域4のブロック画像に分割する。次に制御部40は、領域抽出部402の機能により、まず、領域1のブロック画像の画素を走査し、4段階のRGB値の内の(255,255,255)に合致する画素値を有する画素が存在すると判断し、(255,255,255)の画素値を有する画素を抽出し、抽出された画素のから矩形領域を特定する。これにより、図7中の領域1内の領域A1が抽出される。制御部40は、フレーム番号「N1」、抽出したRGB値(255,255,255)、及び領域A1の座標情報を較正情報411として記憶する。
同様にして制御部40は、領域2、領域3、及び領域4のブロック画像から夫々、他の表示装置10に対応する較正用領域である領域B1、領域C1、及び領域D1を抽出し、フレーム番号「N1」、RGB値(255,255,255)、並びに領域B1、領域C1、及び領域D1の座標情報を較正情報411として記憶する。
図8に示す例のフレーム画像は、図7に示した例と同一のコンテンツの内のN2番目のフレーム画像である。このフレーム画像は商品の画像を含み、背景に「薄いグレー」が使われている。当該フレーム画像からは、RGB値が(170,170,170)である較正用領域が抽出される。
図8に示す例でも、制御装置4の制御部40は、フレーム画像を領域1、領域2、領域3、及び領域4のブロック画像に分割し、各々のブロック画像から4段階のRGB値の内の(170,170,170)に合致する画素値を有する画素を抽出する。そして制御部40は領域抽出部402の機能により、抽出した画素群を含む各々領域A2、領域B2、領域C2、及び領域D2を抽出する。そして制御部40は、フレーム番号「N2」、RGB値(170,170,170)、並びに、領域A2、領域B2、領域C2、及び領域D2の座標情報を較正情報411として記憶する。
図9に示す例のフレーム画像は、図7に示した例と同一のコンテンツ内のN3番目のフレーム画像である。このフレーム画像は、商品又はサービスのイメージを表す風景画像を含み、背景は「濃いグレー」を含む。
図9に示す例でも同様に、制御装置4の制御部40は、フレーム画像を領域1、領域2、領域3、及び領域4のブロック画像に分割し、各々のブロック画像から4段階のRGB値の内の(85,85,85)に合致する画素値を有する画素を抽出できる。制御部40は、領域抽出部402の機能により、抽出した画素群を含む各々の領域A3、領域B3、領域C3、及び領域D3を抽出する。そして制御部40は、フレーム番号「N3」、RGB値(85,85,85)、並びに領域A3、領域B3、領域C3、及び領域D3の座標情報を較正情報411として記憶部41に記憶する。
図10に示す例のフレーム画像は、図7に示した例と同一のコンテンツ内のN4番目のフレーム画像である。このフレーム画像は、企業のコーポレートステートメントを表示するフレーム画像であり、背景に「黒」が使われている。当該フレーム画像からは、最小輝度となるRGB値が(0,0,0)である較正用領域が抽出される。
図10に示す例でも同様に、制御装置4の制御部40は、フレーム画像を領域1、領域2、領域3、及び領域4のブロック画像に分割し、各々のブロック画像から4段階のRGB値の内、較正用領域を抽出していないRGB値(0,0,0)に合致する画素値を有する画素を抽出する。そして制御部40は、領域抽出部402の機能により、抽出した画素群を含む各々の領域A4、領域B4、領域C4、及び領域D4を抽出する。そして制御部40は、フレーム番号「N4」、RGB値(0,0,0)、並びに領域A4、領域B4、領域C4、及び領域D4の座標情報を較正情報411として記憶部41に記憶する。
図7から図10に示したように、較正用の特別な基準となるカラーチャートではなく、宣伝広告用のコンテンツに含まれる画像を較正用の画像とすることができる。
なお、上述の図7から図10に示した例では、同一のフレーム画像からは4つの並置表示装置10群の配列情報に応じた4つのブロック画像が全て抽出され、且つ、各ブロック画像からは同一のRGB値の較正用領域が抽出された。しかしながら本発明はこれに限らず、1つのフレーム画像からは1つ、2つ又は3つのブロック画像しか抽出されず、且つ、各ブロック画像から抽出される較正用領域の輝度又は色は異なってもよい。ただし、同一の表示装置10に対応する領域1から4夫々に対して、任意の4つのフレーム画像から異なる輝度又は色の較正用領域が抽出されるべきである。つまり例えば、Nx番目のフレーム画像の領域1からはRGB値が(255,255,255)の較正用領域、領域2からは(170,170,170)の較正用領域が抽出されるなどしてもよい。
次に、図3及び図4に示した処理によって、コンテンツデータに対して記憶された較正情報に基づき、較正が実行される手順を説明する。
図11は、制御装置4のタイミング特定部403及び較正部404によって実行される処理手順の一例を示すフローチャートである。信号処理装置2が操作部25にて、オペレータによりコンテンツの再生を指示する操作がされた場合、制御部20が操作部25からの通知を受けてこれを認識し、コンテンツデータの出力開始を要求する制御用のデータを制御装置4へ出力する。制御装置4の制御部40は、入出力部44からコンテンツデータの出力開始を要求する制御用データを入力したときに、以下の処理を実行する。
制御部40は、コンテンツデータを記憶装置5から読み出し、入出力部44を介した信号処理装置2への出力を開始する(ステップS11)。これにより、コンテンツの再生が開始される。なお制御部40は、信号処理装置2からの画像信号の出力及び表示部1での表示レートに間に合うように、適切な送信レートでコンテンツデータを出力し続ける。そして制御部40は、コンテンツデータの出力を開始してからの経過時間を測定開始する(ステップS12)。
次に制御部40は、信号処理装置2からコンテンツデータの出力停止を要求する制御用のデータを入力したか否かを判断する(ステップS13)。制御部40は、コンテンツデータの出力停止を要求する制御用のデータを入力した場合(S13:YES)、コンテンツの出力の処理を終了する。なお、コンテンツデータの出力停止を要求する制御用のデータは、信号処理装置2の操作部25にて、オペレータによりコンテンツの停止を指示する操作がされ、制御部20が操作部25からの通知を受けてこれを認識したときに、信号処理装置2から制御装置4へ出力される。
制御部40は、上述のコンテンツデータの出力停止を要求する制御用のデータを入力していないと判断した場合(S13:NO)、入力するまで、以下の処理を繰り返す。
制御部40は、コンテンツデータの出力を開始してからの経過時間に基づき、タイミング特定部403の機能により、較正情報411に含まれるフレーム番号のフレーム画像の表示時刻であるか否かを判断する(ステップS14)。制御部40は、表示時刻であると判断した場合(S14:YES)、撮像要求信号を接続部45から撮像装置3へ出力して撮像を実行させる(ステップS15)。制御部40は、表示時刻でないと判断した場合(S14:NO)、処理をステップS13へ戻す。
制御部40は、撮像装置3での撮像を実行させた後、記憶してある較正情報411に含まれるフレーム番号のフレーム画像を全て撮像したか否かを判断する(ステップS16)。制御部40は、全て撮像していないと判断した場合(S16:NO)、処理をステップS13へ戻す。制御部40は、全て撮像したと判断した場合(S16:YES)、較正部404の機能により、全ての撮像画像の画像信号を撮像装置3から取得する(ステップS17)。なお、制御部40は、撮像を実行する都度に画像信号を取得してもよい。
制御部40は、較正部404の機能により、取得した撮像画像を夫々、並置表示装置10群の配列に応じてブロック画像に分割する(ステップS18)。各ブロック画像には、並置表示装置10を夫々識別する情報を対応付けておく。制御部40は、較正部404の機能により、分割されたブロック画像に基づき表示装置10毎の較正処理の実行を開始し(ステップS19)、処理をステップS13へ戻す。なお、較正処理の実行がされている間、コンテンツデータの出力は継続する。較正処理が完了した後は、出力されるコンテンツデータの画像信号は、較正部404による補正処理(後述のS907及びS911)、又は出力される補正情報412に基づき信号処理装置2で実行される補正処理によって補正される。
図12は、図11のステップS19における較正処理の詳細な処理手順の一例を示すフローチャートである。制御部40は、較正部404として以下の処理を行なう。
制御部40は、一の表示装置10を選択し(ステップS901)、対応するブロック画像から、選択した表示装置10に対応する較正用領域を撮像した領域を特定する(ステップS902)。
ステップS902にて詳細には、制御部40は、較正用領域の座標情報が記憶部41の較正情報411として記憶してあるので、これに基づき較正用領域に対応する領域を特定する。このとき制御部40は、撮像画像から表示部1中の画像が表示されている範囲を抽出し、抽出した範囲の画素数(水平方向及び垂直方向の大きさ)と、信号処理装置2へ出力したコンテンツデータのフレーム画像の画素数とを比較し、出力したフレーム画像中の較正用領域の位置及び大きさを撮像画像から抽出した範囲上の位置及び大きさに換算する。制御部40は、撮像画像から抽出した範囲上で換算した位置及び大きさの較正用領域に対応する領域を抽出し、当該領域が存在する撮像画像中の位置に対応する表示装置10の位置(左上(0,0)、右下(1,1)等)を特定し、これにより、選択した表示装置10に対応する較正用領域を撮像した領域を特定することが可能である。
次に制御部40は、特定した位置の表示装置10毎に、ステップS902で特定した領域から所定の演算により測定値(輝度値又は色値)を算出する(ステップS903)。所定の演算としては例えば、制御部40は、較正部404の機能により、較正用領域を撮像した領域の画素の画素値(RGB値)の平均値を算出する。中央値を算出するなど他の演算方法を用いてもよい。
次に制御部40は、較正部404の機能により、選択している表示装置10についての測定値と表示されるべき輝度の輝度値とを比較する(ステップS904)。制御部40は、差分が閾値以上であるか否かを判断し(ステップS905)、閾値以上であると判断した場合(S905:YES)、差分が閾値以上である測定値に対応する補正量を算出し(ステップS906)、輝度の補正を実施する(ステップS907)。制御部40は、輝度について閾値未満であると判断した場合(S905:NO)、選択している表示装置10については輝度の補正をする必要はなく、処理をそのまま次のステップS908へ進める。
制御部40は、選択している表示装置10についての測定値と表示されるべき色の色値とを比較する(ステップS908)。制御部40は、差分が閾値以上であるか否かを判断し(ステップS909)、閾値以上であると判断した場合(S909:YES)、差分が閾値以上である測定値に対応する補正量を算出し(ステップS910)、色値の補正を実施する(ステップS911)。制御部40は、色について閾値未満であると判断した場合(S909:NO)、処理をそのまま次のステップS912へ進める。
実施される補正は種々の方法が考えられる。制御部40は、算出した表示装置10毎の測定値同士を比較し、最大の測定値と最小の測定値との間の差分が所定の閾値以上である場合に、補正する方法でもよい。また差分に対する閾値は、目視により差異が認められる値を予め設定しておいてもよいし、予め測色器を用いて測定した結果に基づき設定される構成としてもよい。制御部40は、較正部404の機能により、並置表示装置10群に夫々対応する測定値の内、最も輝度値が低い表示装置10に対応する測定値に合うように、他の表示装置10へ入力するコンテンツデータの画像信号の輝度を補正する。つまり、他の表示装置10にて表示される輝度を低下させる補正を行なう。そのほか制御部40は、各測定値と表示されるべき輝度値又は色値との間の差分が所定値以上である表示装置10へ入力する画像信号を、表示されるべき輝度又は色となるように補正してもよい。特に、表示部1が1つの表示装置10からなる場合は、この方法がとられる。
なお、制御部40は、ステップS907及びステップS911における補正の実施として、各表示装置10に対応する輝度又は色毎の補正量を補正情報412として記憶部41に記憶し、補正情報412を表示装置10毎の情報として信号処理装置2へ出力するようにしてもよい。これにより、信号処理装置2の画像処理部23にて補正情報412に基づき補正がなされる。
制御部40は、全ての表示装置10について補正処理を実施したか否か判断し(S912)、否と判断した場合(S912:NO)、処理をステップS901へ戻して次の表示装置10を選択し(S901)、以後の処理を繰り返す。
制御部40は、全ての表示装置10について補正処理を実行したと判断した場合(S912:YES)、補正処理を終了し、図11のフローチャートのステップS13へ処理を戻す。以後、表示部1の表示装置10群に入力される画像信号に補正がされる。
図12に示した処理を図7から図10に示した例に当てはめれば、制御部40は、まず(0,0)の位置にある表示装置10を選択し(S901)、当該表示装置10に対応する領域A1、領域A2、領域A3、領域A4を特定し(S902)、特定した各領域から255、170、85、0に夫々対応する測定値を算出する(S903)。制御部40は、測定値と、255、170、85、0とを夫々比較し(S904)、差分が閾値以上である場合は補正を行なう。補正の方法は、他の表示装置10における測定値を算出した後、最も輝度が低い表示装置10に合わせるように入力する画像信号の輝度値を低下させる。また制御部40は、他の(0,1)、(1,0)、(1,1)の位置にある表示装置10を夫々選択し(S901)、各々の表示装置10に対応する領域B1〜B4、領域C1〜C4、領域D1〜D4を特定し(S902)、測定値を算出し(S903)、輝度又は色を比較して補正する。
このようにして、表示システムの表示部1に実際に表示するために利用するコンテンツを用い、コンテンツデータに基づく画像を表示している間に較正を実施し、補正量を特定して補正することができる。較正のためにコンテンツの再生を停止する必要もない。特に、常時的にコンテンツを出力する必要がある電子看板などの用途に用いられる表示システムにて、電子看板の機能を失わせることなく輝度又は色の較正が可能である点、優れた効果を奏する。
上述の実施の形態では、表示システムは信号処理装置2と制御装置4とを別途備える構成とした。しかしながら本発明を実施するにあたり、制御装置4を別途備えず、制御装置の機能を信号処理装置2にて実現する構成としてもよい。
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。