以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。
(実施の形態1)
図1は、実施の形態1における表示システムの構成を示すブロック図である。表示システムは、複数の表示装置10からなる表示部1と、表示装置10へ入力する画像信号に対する処理を行なう信号処理装置2と、表示部1を撮像する撮像装置3と、表示装置10群にて表示される表示画像の輝度又は色の較正を実施する制御装置4とを含む。
表示システムは電子看板として利用され、そのため表示部1は、人が集まる街中の視認しやすい場所に設置されている。信号処理装置2は、例えば表示部1の近傍に設置されており、後述する方式に対応したケーブルにて表示部1の各表示装置10と接続されている。撮像装置3は、表示部1全体を撮像範囲とするように設置されている。例えば、撮像装置3は、電子看板である表示部1の正面上方の壁面又は天井などに取り付けられている。制御装置4は、信号処理装置2及び撮像装置3の両者と接続されている。制御装置4は例えば信号処理装置2と共に表示部1の近傍に設置されている。図1及び以下の説明では表示装置10群、信号処理装置2、撮像装置3、及び制御装置4は夫々、有線にて接続される構成とする。なお本発明では、これらは無線によって信号の送受信を行なう構成であってもよい。
このように構成される表示システムは、信号処理装置2が、制御装置4から出力されたコンテンツデータから画像信号を生成して表示部1の表示装置10へ各入力して画像を表示する。実施の形態1におけるコンテンツは動画像とする。又は音声と多重化されたストリームデータでもよい。いずれも広告宣伝用のコンテンツである。
特に、本実施の形態1における表示システムは、表示部1にて表示される画像の品質を向上又は画質を維持するため、画像信号が示す画像の輝度又は色の階調値と、実際に表示部1の表示装置10夫々に表示される画像の輝度又は色との間の関係を特定し、これに基づき画像信号を補正する較正機能を有する。特に、表示システムは、並置された表示装置10間の輝度差、又は色差を低減させるように補正し、画質の高いコンテンツを出力する。表示システムで実現される較正機能の概要は以下である。制御装置4が、電子看板のために利用するコンテンツに基づく画像を表示している表示部1を撮像装置3で撮像し、表示されるべき画像の輝度又は色の階調値と、撮像画像から得られる輝度又は色の階調値とを比較し、入力した画像信号の階調値と表示された画像の画像信号の階調値との間の関係を特定し、求めた関係から入力する画像信号に対する補正量を算出して補正する。このため制御装置4は、宣伝広告用のコンテンツに基づく画像の中に、較正に用いる較正用画像が表示されるようにコンテンツを生成し、較正用画像が表示部1に表示されるタイミングを特定し、特定したタイミングに、撮像装置3で撮像処理を行ない、撮像された画像中の対応する領域の輝度又は色の情報を夫々取得して、入力した画像信号の輝度又は色と比較し、表示装置10毎に補正量を算出して補正を行なう。
以下、各構成部及び各構成部によって実行される処理について詳細を説明する。
表示部1は、4台の表示装置10を用いる。表示装置10は2段2列に碁盤目状に並置され、並置表示装置10群を構成している。なお表示部1は、1台の表示装置10にて構成されてもよいし、3段3列、2段3列など任意の数で並置表示装置10群が構成されてもよい。
表示装置10は、パネル11を備える。パネル11は、LCD又はプラズマディスプレイを用いる。表示装置10は後述するように信号処理装置2から出力される画像信号に基づきパネル11に画像を表示する。なお表示装置10は夫々スピーカを備えて、信号処理装置2から出力される音声信号に基づき音声を出力するようにしてもよい。ただし、スピーカは表示部1とは別に設置されてもよい。
信号処理装置2は、制御部20、記憶部21、入出力部22、画像処理部23、音声処理部24、操作部25、及び電源制御部26を備える。
制御部20は、CPU(Central Processing Unit)を用い、図示しないコンピュータプログラムに基づき各構成部を制御する。
記憶部21は、ハードディスクドライブ又はSSD(Solid State Drive)等の外部記憶装置を用いる。記憶部21は、フラッシュメモリを用いてもよい。記憶部21には、表示部1で表示画像と出力する音声とが多重化されたデータなどが記憶されてもよいし、後述するように各表示装置10へ入力される画像信号に対して各適用される補正量の情報が記憶されてもよい。
入出力部22は、信号処理装置2と、各表示装置10及び制御装置4との間の画像信号、並びに、制御用のデータを入出力するためのインタフェースである。具体的には入出力部22は、DVI(Digital Visual Interface)端子及びHDMI(High-Definition Multimedia Interface)端子を有する。これにより信号処理装置2は、制御装置4と所定の方式としてTMDS(Transition Minimized Differential Signaling )方式でシリアル通信を行ない、表示部1の複数の表示装置10夫々へ画像信号を出力する。また入出力部22は、TCP(Transmission Control Protocol )又はUDP(User Datagram Protocol)などの通信プロトコルで画像信号を送受信するためのLAN端子を有し、外部装置と通信により制御用のデータを送受信する。なお、入出力部22はLAN端子を介して、制御装置4から画像信号のデータを受信してもよい。入出力部22は更に、USB(Universal Serial Bus)端子又はIEEE1394端子を有する構成としてもよい。
画像処理部23は画像処理用の集積回路を用い、入出力部22にて入力した画像信号に対して輝度又は色、色空間等の補正、及び各種フィルタ処理を含む所定の画像処理を実行する。画像処理部23は、制御部20からの指示に基づき、画像処理後の画像信号を入出力部22から表示部1の各表示装置10へ出力させる。このとき画像処理部23は、制御部20により取得されてある並置表示装置10群の配列情報に基づき、各表示装置10へ各々に対応する画像信号を出力する。配列情報とは、例えば表示部1の、向かって左上の表示装置10を0(ゼロ)段目0(ゼロ)列(0,0)の表示装置10とし、右下の表示装置10を1段目1列(1,1)の表示装置10と識別する情報である。制御部20は、予め記憶部21に記憶されている配列情報を取得してもよいし、外部から入力される配列情報を取得してもよい。また画像処理部23は、制御部20によってソフトウェア的に実現されてもよい。
音声処理部24は、入出力部22により音声信号を入力し、入力した音声信号に対し、補正及びフィルタ処理を含む所定の処理を実行する。音声処理部24は、制御部20からの指示に基づき処理後の音声信号を図示しないスピーカへ出力し、音声を出力させる。なお、信号処理装置2は、音声処理部24を備えていなくともよい。
操作部25は、電源スイッチ、切替スイッチ、及び再生/停止スイッチを少なくとも含む。操作部25の電源スイッチ、切替スイッチ、及び再生/停止スイッチは、表示システムのオペレータが操作することが可能に信号処理装置2に形成されている。電源スイッチは、信号処理装置2の電源のオン及びオフを切り替えるためのスイッチである。切替スイッチは、表示部1を構成する複数の表示装置10の内のいずれか1つの制御を行なうためのスイッチであり、同時に、複数の表示装置10を選択するためのスイッチである。再生/停止スイッチは、オペレータがコンテンツの再生/停止を指示するスイッチであり、画像処理部23及び音声処理部24への画像信号及び音声信号の入力を開始/停止させるためのスイッチ、即ち表示部1への画像信号の入力を開始/停止させるためのスイッチである。操作部25は、いずれのスイッチが押下されたかを検知すると、制御部20へ通知する。
なお操作部25は、信号処理装置2と無線で通信することが可能なリモートコントローラに備えられる構成としてもよい。この場合、リモートコントローラは操作部の各スイッチが押下されることに対応する無線信号を信号処理装置2へ送信する。無線通信の通信媒体は赤外光であってもよいし、電磁波であってもよい。また、操作部25の各スイッチの押下に対応する信号を後述の制御装置4から、オペレータの操作に応じて操作指示として送信し、信号処理装置2がこれを受信し、操作指示に基づき動作するようにしてもよい。
電源制御部26は、外部の電力供給源(図示せず)から供給される電力を制御する。操作部25の電源スイッチが押下されたことを通知された制御部20は、電源制御部26に外部から電力を供給させるか、又は電力の供給を遮断する。電源制御部26は、電力の供給を受けると信号処理装置2全体に電力を供給する。逆に、電源制御部26は、電力の供給が遮断されるときは信号処理装置2全体への電力の供給が遮断される。
更に信号処理装置2は、例えばテレビジョン放送のアンテナ及びチューナを備え、制御装置4から出力される画像信号及び音声信号のみならず、放送信号を受信して放送信号に基づく画像信号及び音声信号を表示部1で表示すべく出力するようにしてもよい。
撮像装置3は、例えばUSB端子を有するデジタルカメラを用い、USB端子にて後述の制御装置4と接続される。制御装置4との接続はUSBに限られない。撮像装置3は、USB端子を介して制御装置4から撮像要求信号を入力し、撮像要求信号を入力した場合に表示部1を全体的に撮像する。撮像装置3は、撮像画像の画像信号を、USB端子を介して制御装置4へ出力する。なお、撮像装置3が表示部1を適切に撮像できるように、フォーカスの設定、シャッター速度、絞り、ホワイトバランス、色空間、撮像画像のファイルフォーマット等の設定が予めしてある。特に、動画像であるコンテンツのデータに基づく画像が表示部1で表示されている間に撮像を行なうため、シャッター速度は、映像のフレームレートよりも速く設定されてある。
制御装置4は、パーソナルコンピュータを用い、制御部40、記憶部41、一時記憶部42、読出部43、入出力部44、及び接続部45を備える。
制御部40は、CPUを用い、記憶部41に記憶してある制御プログラム4Pに基づき、後述するような各機能を実現することによって表示システムの制御、及び表示システムの表示部1における輝度又は色の較正を実現する。
記憶部41は、ハードディスクドライブ又はSSD等の外部記憶装置を用いる。記憶部41は、フラッシュメモリを用いてもよい。記憶部41には上述した制御プログラム4Pが記憶されているほか、制御部40が処理時に参照する情報が予め記憶されてもよい。また記憶部41は、制御部40の処理により求められる情報を記憶する。特に、記憶部41は、制御部40が後述する処理を行なって得られるコンテンツ毎の較正情報411を記憶し、後に制御部40が参照することが可能である。更に記憶部41は、較正によって求められる補正情報412を記憶する。
一時記憶部42は、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等のRAMを用いる。一時記憶部42は、制御部40が記憶部41から制御プログラム4Pを読み出す際に用いられる。また、一時記憶部42は、制御部40の処理により発生した情報、例えば処理中の画像データ、画像データから抽出された情報などを一時的に記憶する。
読出部43は、ディスクドライブを用いる。読出部43は、CD(Compact Disk)、DVD(Digital Versatile Disk)、BD(Blu-Ray(登録商標) Disk)、フラッシュメモリ、又はフレキシブルディスクなどである記録媒体6に記録されている情報を読み出す。記録媒体6には、制御プログラム6Pが記録されている。制御部40は、読出部43によって記録媒体6に記録されている情報を読み出し、記憶部41又は一時記憶部42に記憶する。記憶部41に記憶されている制御プログラム4Pは、記録媒体6から読み出された制御プログラム6Pの複製であってもよい。
記録媒体6は制御装置4から分離可能に構成される記録媒体であればよく、他に、磁気テープ又はカセットテープ等のテープ系、ハードディスク又は上述のフレキシブルディスク等の磁気ディスク系、上述のCD、DVD、BD等の光ディスク系、メモリカード又は光カードなどのカード系、マスクROM(Read Only Memory)、EPROM(Erasable Programmable ROM )、EEPROM(登録商標;Electrically EPROM)、又はフラッシュROMなどの半導体メモリであってもよい。また、制御装置4が備える入出力部44は、後述するようにLAN端子を有してもよいから、制御プログラム6Pは、通信網を介して外部からダウンロードされてもよく、電子的な伝送で具現化された搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
入出力部44は、制御装置4と、信号処理装置2及び外部の記憶装置5との間のインタフェースである。具体的には入出力部44は、DVI端子及びHDMI端子を有し、これにより制御装置4は、記憶装置5からコンテンツデータを読み出し、信号処理装置2へ画像信号、音声信号及び制御用の情報を送信する。入出力部44は、LAN端子を有し、外部機器との通信を行なってもよいし、LAN端子を介して信号処理装置2との間でデータを送受信してもよい。入出力部44は更に、USB端子又はIEEE1394端子を有する構成としてもよい。
接続部45は、例えばUSB端子を有し、撮像装置3と接続される。接続部45は、制御装置4が撮像装置3と接続し、撮像装置3における撮像を制御するための信号を入出力できればUSB端子に限られない。制御装置4は、接続部45を介して撮像装置3へ撮像要求信号を送信し、撮像画像の画像信号を受信する。
記憶装置5は、大容量のHDD又はSSD等を用いてコンテンツデータを記憶する。記憶装置5が記憶するコンテンツデータは、制御装置4から読み出しが可能である。なお記憶装置5はDVD等の記録媒体であって、制御装置4から読み出しが可能な構成であってもよい。記憶装置5は、制御装置4が備える記憶部41であってもよい。コンテンツデータは、電子看板として機能する表示部1に表示される宣伝広告用の動画像及び音声を含むコンテンツである。
図2は、実施の形態1における制御装置4にて実現される機能を示す機能ブロック図である。制御装置4の制御部40は、記憶部41に記憶されている制御プログラム4Pを読み出して実行することにより、較正用画像作成部401、画像信号生成部402、タイミング特定部403、及び較正部404として機能し、パーソナルコンピュータを表示システムの制御装置4として動作させ、以下に説明する各処理を実施して較正を行なう。なお、較正用画像作成部401、画像信号生成部402、タイミング特定部403、及び較正部404は、集積回路としてハードウェア的に構成されてもよい。
較正用画像作成部401は、制御部40が読み出したコンテンツデータからフレーム単位で画像を取得する。較正用画像作成部401は、取得したフレーム画像を用いて、表示される輝度又は色のキャリブレーション(較正)を行なうための均一な輝度又は色の画素からなる較正用画像を作成する。なお較正用画像作成部401は、較正用画像を、予め定めてある複数の異なる輝度又は色について行なう。勿論、全領域で均一とは限らず、80%以上などの所定の割合以上、均一な輝度又は色である画像でもよい。予め較正用画像を作成して記憶部41に記憶しておき、較正用画像作成部401が選択するようにしてもよい。異なる色又は異なる輝度の情報は、予め記憶部41に記憶しておき、較正用画像作成部401が参照可能としておく。例えば較正用画像作成部401は、輝度0(ゼロ)から最大輝度までを4段階、10段階、又は18段階等の複数段階に区別し、夫々の段階の輝度の較正用画像を作成する。具体的には、最大輝度が(255,255,255)であって4段階に区別する場合であれば、RGB値が(0,0,0)、(85,85,85)、(170,170,170)、(255,255,255)の4段階夫々の領域を含む較正用画像を作成する。また、較正用画像作成部401は、例えば18色の異なる色の画素からなる較正用画像を作成する。例えば較正用画像作成部401は、RGB値が赤(255,0,0)、橙(255,102,0)、黄(255,255,0)、緑(0,255,0)、青(0,0,255)、紫(153,0,153)、…等である画素からなる較正用画像を夫々作成する。
較正用画像作成部401は、較正用画像を作成する元にしたフレーム画像を特定するフレーム番号と、作成した較正用画像の輝度又は色を示す情報とを含む較正情報411を記憶部41に記憶する。このとき、同一の較正用画像について、即ち同一の輝度又は色について較正用画像が作成可能であると判断されたフレーム画像が複数存在する場合、最初に可能であると判断されたフレーム画像の前又後のフレーム画像のフレーム番号が記憶される。
画像信号生成部402は、作成された較正用画像を、制御部40が読み出すコンテンツデータに基づくフレーム画像間に挿入するか、又はいずれかのフレーム画像に置換し、新たな画像信号として入出力部44から信号処理装置2へ出力する。具体的には画像信号生成部402は、記憶部41に記憶してある較正情報411に基づき、記憶されているフレーム番号に、対応する輝度又は色の較正用画像を出力する。
タイミング特定部403は、記憶された較正情報411に基づいて実際に較正を行なうにあたり、画像信号生成部402が画像信号の出力を開始した場合に、表示部1に較正用画像が表示される時刻(画像の表示開始からの経過時間)を算出する。タイミング特定部403は、表示時刻を、例えば以下のように算出できる。
表示時刻=フレーム番号×フレームレート
フレーム番号は、記憶部41に記憶した較正情報411により特定されるフレーム番号の前又は後である。タイミング特定部403は、以後、前記画像信号が制御部40により信号処理装置2へ出力されたときに、出力されたことを表す信号を撮像装置3へ出力して起動させ、算出された時刻に基づいて撮像を行なうべき時点で撮像要求信号を出力する。これによりタイミング特定部403は、較正用画像が表示されたときにこれを撮像部で撮像するように、撮像のタイミングを制御する。
なお、タイミング特定部403は、表示部1に較正用画像が表示されるタイミングと、撮像装置3による撮像タイミングとの同期の制御について、入出力部44及び接続部45、並びに信号処理装置2における入出力部22における伝送遅延及び測定(撮像処理)遅延に係る遅延時間を測定しておき、遅延時間を考慮して撮像要求信号を出力する。また、タイミング特定部403は、画像信号のフレームレートに比較して、遅延時間が微小である(例えばフレームレートの1/10以下)シャッターを使用できる撮像装置3を用い、遅延時間を考慮せずに撮像要求信号を出力する構成としてもよい。
較正部404は、制御部40の処理によって較正に用いるコンテンツデータの入出力部44からの出力が開始されると、記憶された較正情報411に基づいて較正処理を行なう。較正部404は、コンテンツデータの出力が開始された場合、タイミング特定部403の制御により撮像された撮像画像信号を接続部45から入力する。較正部404は、入力した画像信号に基づく撮像画像と、対応する較正用画像とを比較し、輝度又は色の差分を特定して補正量を求め、画像信号の補正を行なう。較正部404は、撮像画像及び較正用画像を比較するに際し、並置表示装置10群の配列情報に基づき、ブロック画像に分割し、ブロック画像毎に比較して表示装置10毎に差分を特定して補正量を求める。なお配列情報は、制御部40が予め信号処理装置2から取得して記憶部41に記憶しておいてもよいし、較正部404が信号処理装置2から取得してもよい。
このように構成される表示システムにて、表示部1における輝度又は色が較正される手順を、順を追って詳細に説明する。図3は、実施の形態1における制御装置4の較正用画像作成部401により実施される処理手順の一例を示すフローチャートである。制御装置4の制御部40は、較正用画像作成部401により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により各処理を実行する。
制御部40は、記憶装置5からコンテンツデータを入出力部44により読み出し(ステップS1)、最初のフレーム画像(フレーム番号0(ゼロ))を較正用画像の作成対象とする(ステップS2)。具体的には制御部40は、較正用画像の作成対象のフレーム画像のフレーム番号に0(ゼロ)を代入する。
制御部40は、暫定的な較正用画像の作成対象のフレーム画像に対し、実際に較正用画像を作成できるか否かの判断を行なうための処理を行なう(ステップS3)。制御部40は、処理の結果、較正用画像の作成が可能であるか否かを判断する(ステップS4)。制御部40は、較正用画像の作成が可能であると判断した場合(S4:YES)、可能と判断されたフレーム画像のフレーム番号、及び較正用画像の輝度又は色の情報を含む較正情報411を記憶部41に記憶し(ステップS5)、全ての較正対象の輝度又は色についての処理が完了したか否かを判断する(ステップS6)。制御部40は、全ての輝度又は色について処理が完了したと判断した場合(S6:YES)、処理を終了する。
ステップS4にて較正用画像の作成が不可能であると判断した場合(S4:NO)、及びステップS6にて全ての輝度又は色について処理が完了していないと判断した場合(S6:NO)、制御部40は、次のフレーム画像が存在するか否かを判断する(ステップS7)。制御部40は、次のフレーム画像が存在すると判断した場合(S7:YES)、次のフレーム画像を較正用画像の作成対象とし(ステップS8)、処理をステップS3へ戻す。制御部40は、次のフレーム画像が存在しないと判断した場合(S7:NO)、そのまま処理を終了する。
図4は、図3のステップS3における較正用画像を作成できるか否かの判断処理の一例を示すフローチャートである。制御部40は、較正用画像作成部401として以下の処理を行なう。
制御部40は、カウント用の変数Mに1を代入する(ステップS31)。制御部40は、較正用画像作成部401の機能により、フレーム画像の画素を走査して順次、各画素の輝度又は色の強度を表す値を順次参照し(ステップS32)、許容される範囲で較正対象の輝度又は色に合致するか、即ち略均一な輝度又は色に合致するか否かを判定する(ステップS33)。
詳細には、フレーム画像の画素の色がRGB(R:赤、G:緑、B:青)夫々の強度を示す階調値で表わされる場合、較正対象のRGB値を(Rc,Gc,Bc)とすると、制御部40は、較正用画像作成部401の機能により、各画素の色について以下の三式を全て満たすものを合致と判断する。
Rc−δR ≦R≦Rc+δR
Gc−δG ≦G≦Gc+δG
Bc−δB ≦B≦Bc+δB
このときδR 、δG 、δB の値夫々は、RGB値の最大値の1/32程度を目安とする。例えば、RGB値が夫々8ビットのデジタル信号で表わされる場合、RGB値は0〜255であるからδR 、δG 、δB の値は夫々「8」となる。なお、δR 、δG 、δB の値は、輝度のステップを細かく設定する場合には小さい値に設定するなど、適宜設定すればよい。
またステップS32において、較正用画像作成部401は、エッジが多い画像を基にしないように、各フレーム画像に対し、全画素を1画素ずつ参照して特定の輝度又は色に合致するか否かを判断するのではなく、複数の画素よりなる例えば3×3画素のブロック毎に参照するようにしてもよい。このときブロック毎の輝度又は色は、平均値又は中央値等を算出して用いてもよい。また、較正用画像作成部401は、処理の迅速化を図るため、各フレーム画像の全画素を参照するのではなく、4画素毎に1画素を参照するなどの間引き処理を行なって代表的な画素を参照してもよい。また、較正用画像作成部401は、3×3画素などのブロックに分割し、ブロック毎に輝度又は色の平均値等を算出し、更にブロックを間引きして参照するようにしてもよい。
制御部40は、ステップS33にて合致すると判断した場合(S33:YES)、変数Mに1を加算し(ステップS34)、対象画素を全て参照したか否かを判断する(ステップS35)。制御部40は、ステップS33にて合致しないと判断した場合(S33:NO)、そのまま処理をステップS35へ進める。
制御部40は、ステップS35にて全て参照していないと判断した場合(S35:NO)、処理をステップS32へ戻し、次の画素の輝度又は色を参照する。
制御部40は、ステップS35にて全て参照したと判断した場合(S35:YES)、変数Mに基づき、較正用の輝度又は色に合致する画素又はブロックの数は所定の閾値p以上であるか否かを判断する(ステップS36)。閾値pは例えば50%などの割合又は画素数である。制御部40は、所定の閾値p以上であると判断した場合(S36:YES)、較正用画像を作成可能と判断し(ステップS37)、処理を図3のフローチャートのステップS4へ戻す。
なおステップS36にて制御部40は、水平方向に所定の画素数及び垂直方向に所定の画素数以上連続する均一な輝度又は色の領域、即ち所定サイズ以上の均一な領域を抽出した場合に、閾値p以上であると判断し、較正に使用可能と判断してもよい(S37)。
制御部40は、所定の閾値p未満であると判断した場合(S36:NO)、較正用画像を作成不可能であると判断し(ステップS38)、処理を図3のフローチャートのステップS4へ戻す。
図5から図8は、較正用画像作成部401により作成される較正用画像の一例を示す説明図である。いずれも図の上段に、較正用画像の基となるコンテンツデータ中のフレーム画像を示し、下段に、当該フレーム画像を用いて作成される較正用画像を示す。いずれも、8ビットのRGB値を予め定めてあるモノクロの4段階(255,255,255)、(170,170,170)、(85,85,85)、(0,0,0)に区別した場合に、夫々のRGB値について作成される較正用画像の例を示す。
図5の上段に示した例は、広告宣伝用のあるコンテンツデータのフレーム番号「N1」のフレーム画像である。このフレーム画像は、「○○株式会社」のコーポレートステートメントを表示するフレーム画像であり、背景に「白」が使われている。上段に示したフレーム画像からは、RGB値が最大輝度となる(255,255,255)である画素が閾値以上抽出され、下段に示すような「白」の較正用画像が作成される。
図6の上段に示した例は、図5のフレーム画像と同一のコンテンツデータ中のフレーム番号「N2」のフレーム画像を示す。このフレーム画像は、商品の画像を含み、背景に「薄いグレー」が使われている。上段に示したフレーム画像からは、RGB値が(170,170,170)である画素が閾値以上抽出され、下段に示すような「薄いグレー」の較正用画像が作成される。
図7の上段には、図5及び図6に示したフレーム画像と同一のコンテンツデータ中のフレーム番号「N3」のフレーム画像を示す。このフレーム画像は、商品又はサービスのイメージを表す風景画像を含み、背景に「濃いグレー」を含む。上段に示したフレーム画像からは、RGB値が(85,85,85)である画素が閾値以上抽出され、下段に示すような「濃いグレー」の較正用画像が作成される。
図8の上段には、図5から図7に示したフレーム画像と同一のコンテンツデータ中のフレーム番号「N4」のフレーム画像を示す。このフレーム画像は、企業のコーポレートステートメントを表示するフレーム画像であり、背景に「黒」が使われている。上段に示したフレーム画像からは、RGB値が(0,0,0)である黒の画素が閾値以上抽出され、下段に示すような「黒」の較正用画像が作成される。
次に、図5から図8に示したような較正用画像を用いて行なわれる実際の較正処理について説明する。まず制御部40は、画像信号生成部402の機能により、画像信号を生成して出力する。
図9は、画像信号の生成処理手順の一例を示すフローチャートである。信号処理装置2が操作部25にて、オペレータによりコンテンツの再生を指示する操作がされた場合、制御部20が操作部25からの通知を受けてこれを認識し、画像信号の出力開始を要求する制御用のデータを制御装置4へ出力する。制御装置4の制御部40は、入出力部44から画像信号の出力開始を要求する制御用データを入力したときに、以下の処理を実行する。
制御部40は、較正用画像を作成する基となったコンテンツデータを記憶装置5から読み出し、入出力部44を介した信号処理装置2への出力を開始する(ステップS11)。これにより、表示部1にてコンテンツの再生が開始される。なお制御部40は、信号処理装置2からの画像信号の出力及び表示部1での表示レートに間に合うように、適切な送信レートで画像信号を出力し続ける。
次に制御部40は、信号処理装置2からの画像信号の出力停止を要求する制御用のデータを入力したか否かを判断する(ステップS12)。制御部40は、画像信号の出力停止を要求する制御用のデータを入力した場合(S12:YES)、画像信号の出力の処理を終了する。なお、画像信号の出力停止を要求する制御用のデータは、信号処理装置2の操作部25にて、オペレータによりコンテンツの停止を指示する操作がされ、制御部20が操作部25からの通知を受けてこれを認識したときに、信号処理装置2から制御装置4へ出力される。
制御部40は、上述の画像信号の出力停止を要求する制御用のデータを入力していないと判断した場合(S12:NO)、入力するまで、以下の処理を繰り返す。
制御部40は、画像信号生成部402の機能により、較正用画像を出力するタイミングであるか否かを判断する(ステップS13)。ステップS13において制御部40は、具体的には、出力中の画像信号のフレーム番号を特定し、較正情報411に記憶してある較正用画像を作成する基となったフレーム画像のフレーム番号の前の番号であるか、又はフレーム番号そのものであるかを判断する。
制御部40は、較正用画像を出力するタイミングであると判断した場合(S13:YES)、画像信号生成部402の機能により、較正情報411に基づき、フレーム番号に対応する較正用画像を挿入又は置換して出力する(ステップS14)。具体的には制御部40は、較正用画像を、基となったフレーム画像の前に挿入する場合、基となったフレーム画像のフレーム番号の前の番号であると判断したときに、当該フレーム番号の後に、フレームレートに基づき、1/2フレーム時間で表示されるように表示時刻を指定して出力する。又は、基となったフレーム画像を較正用画像に置換する場合、制御部40は、基となったフレーム画像のフレーム番号であると判断したときに、基となったフレーム画像の替わりに較正用画像を出力する。又は、較正用画像を基となったフレーム画像の後に挿入する場合、基となったフレーム画像のフレーム番号の後に、フレームレートに基づき、1/2フレーム時間で表示されるように表示時刻を指定して出力する。
制御部40は、較正用画像を出力すると処理をステップS12へ戻す。一方で制御部40は、較正用画像を出力するタイミングでないと判断した場合(S13:NO)、そのまま処理をステップS12へ戻す。
これにより、較正用画像を挿入又は置換した新たな画像信号がリアルタイムに生成されて出力される。本発明はこれに限らず、画像信号生成部402は、読み出したコンテンツデータに基づき較正用画像を挿入又は置換した新たな画像信号を生成し、一旦記憶部41又は記憶装置5に記憶しておき、較正処理を行なう際に記憶されてある新たな画像信号を読み出して出力する構成としてもよい。
図10及び図11は、実施の形態1の画像信号生成部402により生成される画像信号の一例を模式的に示す説明図である。図10及び図11ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図10は、較正用画像がフレーム画像間に挿入される場合の、前後のフレーム画像を時系列的に示している。図10に示す例では、較正情報411に、フレーム番号「N2」が記憶されている。画像信号生成部402の機能により制御部40は、出力中のフレーム番号を特定し、フレーム番号が「N2−1」であると特定できた場合に、次のフレーム番号「N2」の前に、1/2フレーム時間(0.017秒)の較正用画像を挿入して出力する。図10に示すように、較正用画像と、次のフレーム画像とでは、背景が略同一の輝度又は色となる。このため、較正用画像が表示されたとしても、視聴者は違和感を持つことはない。なおここで略同一の輝度又は色という表現を用いたが、較正用画像と、次のフレーム画像とで、背景の輝度又は色は、同一でなくてもよく、視聴者が、表示される画像に対して違和感を持たない範囲に収まっていればよい。違和感を持たない範囲とは、種々の画像を用い、また、多くの視聴者に参加してもらうことで定めるものでよい。この意味で、上述に、「略」同一の輝度又は色と表現している。
図11は、フレーム画像を較正用画像に置換した場合の前後のフレーム画像を時系列的に示している。図11に示す例でも較正情報411に、フレーム番号「N2」が記憶されている。画像信号生成部402の機能により制御部40は、出力中のフレーム番号を特定し、出力するフレーム番号が「N2」であると特定できた場合に、較正用画像を出力する。制御部40は、元のフレーム画像(N2)の画像信号は出力しない。図11に示すように、較正用画像と、次のフレーム画像とでは、背景が略同一の輝度又は色となる。このため、較正用画像が表示されたとしても、視聴者は違和感を持つことはない。
なお図11に示す例では、較正用画像が表示されるフレーム時間は、図10に示した例の場合の0.017秒よりも、長く、0.033秒である。したがって、後述する撮像装置3による撮像タイミングに、1フレーム時間(0.033秒)程度のばらつきがあったとしても、較正用画像を撮像することができる。ただし、シャッター速度と撮像する時刻のばらつきは、1フレーム時間内に収める必要がある。
なお、較正用画像を挿入する場合であっても、図11に示したように1フレーム時間分に挿入するようにしてもよい。ただし、これにより出力する画像信号が長くなる。撮像するタイミングの制御を複雑化しないよう、また、表示される動画像に不自然さが生じないよう、図10に示したようなフレーム間に、1/2フレーム時間表示されるように出力することが好ましい。なお、電子看板として機能させる場合、テレビジョン放送などと比べて、再生されるコンテンツの長さは視聴者にとっては無視できるので、較正用画像を確実に撮像できるように、1フレーム時間分挿入する構成としても問題はないと考えられる。
次に、図10及び図11に示したように表示される画像に基づき較正が実行される手順を説明する。図12は、制御装置4のタイミング特定部403及び較正部404によって実行される処理手順の一例を示すフローチャートである。制御部40が信号処理装置2へ新たな画像信号の出力を開始すると、制御部40はタイミング特定部403及び較正部404の機能により、以下の処理を実行し、較正を行なう。
制御部40は、画像信号の出力を開始してからの経過時間を測定開始する(ステップS21)。
制御部40は、タイミング特定部403の機能により、画像信号の出力を開始してからの経過時間に基づき、較正用画像の表示時刻であるか否かを判断する(ステップS22)。表示時刻は、制御部40が画像信号生成部402により較正用画像を出力するに際して、表示時刻を指定して出力するので、これを記憶しておき、参照すればよい。
制御部40は、表示時刻であると判断した場合(S22:YES)、撮像要求信号を接続部45から撮像装置3へ出力して撮像を実行させる(ステップS23)。制御部40は、表示時刻でないと判断した場合(S22:NO)、処理をステップS22へ戻す。
制御部40は、撮像装置3での撮像を実行させた後、全ての較正用画像を撮像したか否かを判断する(ステップS24)。具体的には制御部40は、予め定めてある異なる複数の輝度又は色全ての較正用画像を撮像したか否か、撮像回数が較正情報411に記憶してあるフレーム番号の数と一致するかなどの方法によって判断すればよい。制御部40は、全て撮像していないと判断した場合(S24:NO)、処理をステップS22へ戻す。制御部40は、全ての較正用画像を撮像したと判断した場合(S24:YES)、較正部404の機能により、全ての撮像画像の画像信号を撮像装置3から取得する(ステップS25)。なお、制御部40は、撮像を実行させる都度に、画像信号を取得してもよい。
なおステップS25にて取得された撮像画像が、実際に較正用画像を撮像できた画像であり、後述する測定値が正当な値となるか否かを、事前に以下のように評価することが好ましい。制御部40は、撮像画像の全画素からRGB値の夫々の最大値Rmax 、Gmax 、Bmax と最小値Rmin 、Gmin 、Bmin を抽出する。制御部40は、RGB値夫々に対する判定許容値としてΔR 、ΔG 、ΔB とし、以下の三式を全て満たした場合に、実際に較正用画像を撮像して測色が出来たと判定し、いずれか1つでも満たしていない場合、測色出来ていないと判定する。
Rmax −Rmin ≦ΔR
Gmax −Gmin ≦ΔG
Bmax −Bmin ≦ΔB
なおΔR 、ΔG 、ΔB は夫々、例えば「5」などのように設定しておく。
制御部40は、較正部404の機能により、取得した撮像画像を夫々、並置表示装置10群の配列に応じてブロック画像に分割する(ステップS26)。各ブロック画像には、並置表示装置10を夫々識別する情報を対応付けておく。制御部40は、較正部404の機能により、分割されたブロック画像に基づき表示装置10毎の較正処理の実行を開始する(ステップS27)。なお、較正処理が完了した後は、出力される画像信号は、較正部404による補正処理(後述のS706及びS710)、又は出力される補正情報412に基づき信号処理装置2で実行される補正処理によって補正される。
図13は、図12のステップS27における較正処理の詳細な処理手順の一例を示すフローチャートである。制御部40は、較正部404として以下の処理を行なう。
制御部40は、一の表示装置10を選択し(ステップS701)、選択した表示装置1に対応するブロック画像から所定の演算により測定値(輝度値又は色値)を算出する(ステップS702)。所定の演算としては例えば、制御部40は、較正部404の機能により、較正用領域を撮像した領域の画素の画素値(RGB値)の平均値を算出する。中央値を算出するなど他の演算方法を用いてもよい。
次に制御部40は、較正部404の機能により、選択している表示装置10についての測定値と表示されるべき輝度の輝度値とを比較する(ステップS703)。制御部40は、差分が閾値以上であるか否かを判断し(ステップS704)、閾値以上であると判断した場合(S704:YES)、差分が閾値以上である測定値に対応する補正量を算出し(ステップS705)、輝度の補正を実施する(ステップS706)。制御部40は、輝度について閾値未満であると判断した場合(S704:NO)、選択している表示装置10については輝度の補正をする必要はなく、処理をそのまま次のステップS707へ進める。
制御部40は、選択している表示装置10についての測定値と表示されるべき色の色値とを比較する(ステップS707)。制御部40は、差分が閾値以上であるか否かを判断し(ステップS708)、閾値以上であると判断した場合(S708:YES)、差分が閾値以上である測定値に対応する補正量を算出し(ステップS709)、色値の補正を実施する(ステップS710)。制御部40は、色について閾値未満であると判断した場合(S708:NO)、処理をそのまま次のステップS711へ進める。
実施される補正には種々の方法が考えられる。制御部40は、算出した表示装置10毎の測定値同士を比較し、最大の測定値と最小の測定値との間の差分が所定の閾値以上である場合に、補正する方法でもよい。また差分に対する閾値は、目視により差異が認められる値を予め設定しておいてもよいし、予め測色器を用いて測定した結果に基づき設定される構成としてもよい。制御部40は、較正部404の機能により、並置表示装置10群に夫々対応する測定値の内、最も輝度値が低い表示装置10に対応する測定値に合うように、他の表示装置10へ入力する画像信号の輝度を補正する。つまり、他の表示装置10にて表示される輝度を低下させる補正を行なう。そのほか較正部404は、各測定値と表示されるべき輝度値又は色値との間の差分が所定値以上である表示装置10へ入力する画像信号を、表示されるべき輝度又は色となるように補正してもよい。特に、表示部1が1つの表示装置10からなる場合は、この方法がとられる。
なお、各表示装置10に対応する輝度又は色毎の補正量を補正情報412として記憶部41に記憶し、制御部40が画像信号を出力するとともに、較正部404は補正情報412を表示装置10毎の情報として信号処理装置2へ出力し、信号処理装置2の画像処理部23にて、各表示装置10に対応する補正情報412に基づき、入力する画像信号に対して補正を行なってもよい。信号処理装置2は、入力される種々の画像信号のRGB値に対し、較正部404から得た補正情報412を汎用的に用いて補正することが可能である。
制御部40は、全ての表示装置10について補正処理を実施したか否か判断し(S711)、否と判断した場合(S711:NO)、処理をステップS701へ戻して次の表示装置10を選択し(S701)、以後の処理を繰り返す。
制御部40は、全ての表示装置10について補正処理を実施したと判断した場合(S711:YES)、補正処理を終了し、図12のフローチャートのステップS21へ処理を戻す。以後、表示部1の表示装置10群に入力される画像信号に補正がされる。
このように、電子看板の機能を発揮するべく表示部1に表示する宣伝広告用のコンテンツデータに基づく画像信号中に較正用画像を違和感なく表示させ、較正にも用いることが可能となる。
(実施の形態2)
実施の形態1では、較正用画像を作成可能であると最初に判断されたフレーム画像の前後に較正用画像が挿入されるか、又は置換される構成であった。実施の形態2では、最も類似するフレーム画像の前後に較正用画像を挿入又は置換する。
実施の形態2における表示システムの構成は、制御装置4の制御部40により実施される以下の処理手順以外、実施の形態1と同様である。したがって、共通する構成には同一の符号を付し、詳細な説明を省略する。
図14は、実施の形態2における制御装置4の較正用画像作成部401により実施される処理手順の一例を示すフローチャートである。実施の形態2における制御装置4の制御部40は、較正用画像作成部401の機能により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により処理を実行する。なお以下に示す処理手順の内、図3のフローチャートに示した処理手順と同一の処理手順については、同一のステップ番号を付して詳細な説明を省略する。
制御部40は、記憶装置5からコンテンツデータを読み出し(S1)、最初のフレーム画像(フレーム番号0(ゼロ))を較正用画像の作成対象とする(S2)。
制御部40は、暫定的な較正用画像の作成対象のフレーム画像に対し、実際に較正用画像を作成できるか否かの判断を行なうための処理(S3)、較正用画像の作成が可能であるか否かを判断する(S4)。制御部40は、較正用画像の作成が不可能であると判断した場合(S4:NO)、そのまま処理を次のステップS7へ進める。
制御部40は、較正用画像の作成が可能であると判断した場合(S4:YES)、可能と判断されたフレーム画像のフレーム番号、及び較正用画像の輝度又は色の情報を含む較正情報411を記憶部41に記憶する(S5)。このとき制御部40は、ステップS3内の詳細処理でカウントされる変数Mの情報も記憶しておくとよい。
次に制御部40は、次のフレーム画像が存在するか否かを判断する(S7)。次のフレーム画像が存在すると判断した場合(S7:YES)、次のフレーム画像を較正用画像の作成対象とし(S8)、処理をステップS3へ戻す。
制御部40は、次のフレーム画像が存在しないと判断した場合(S7:NO)、全フレーム画像について較正用画像の作成判断処理を行なったので、記憶部41に記憶されている較正情報411を参照し、同一の較正対象の輝度又は色について、複数のフレーム画像のフレーム番号が記憶されているか否かを判断する(ステップS41)。制御部40は、複数のフレーム番号が記憶されていないと判断した場合(S41:NO)、そのまま処理を終了する。
制御部40は、複数のフレーム画像のフレーム番号が記憶されていると判断した場合(S41:YES)、最も類似するフレーム画像のフレーム番号を特定する(ステップS42)。このとき、制御部40は、ステップS3の処理によってカウントする変数Mの値が最も大きいフレーム画像のフレーム番号を特定することによって類似するフレーム画像を特定してもよい。又は他の公知な手法を用いて各フレーム画像の類似度に優先順位を付与し、優先順位が高いフレーム画像のフレーム番号を特定するようにしてもよい。
制御部40は、最も類似しているとして特定したフレーム番号を較正情報411に記憶し(ステップS43)、処理を終了する。
これにより、記憶してある較正情報411に基づいて新たな画像信号が生成されるに際し、較正用画像は、最も類似すると判断されたフレーム画像の前後に挿入されるか、又は当該フレーム画像自体若しくは前後に置換される。したがって、較正用画像は、視聴者に最も違和感を持たれないように表示される。
(実施の形態3)
実施の形態3では、コンテンツデータに基づく画像信号から、シーンが変化したフレーム画像の検出、所謂カット点検出を実行し、カット点の前後のフレーム画像に較正用画像を挿入又は置換する。
実施の形態3における表示システムの構成は、制御装置4の制御部40により実施される以下の処理手順以外、実施の形態1と同様である。したがって、共通する構成には同一の符合を付し、詳細な説明を省略する。
図15は、実施の形態3における制御装置4の較正用画像作成部401により実施される処理手順の一例を示すフローチャートである。実施の形態3における制御装置4の制御部40は、較正用画像作成部401の機能により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により処理を実行する。
制御部40は、記憶装置5からコンテンツデータを読み出し(S1)、最初のフレーム画像を、カット点検出対象とする(ステップS51)。
制御部40は、カット点検出対象としたフレーム画像に対し、カット点検出処理を行なう(ステップS52)。
ステップS52におけるカット点検出の方法としては、前のフレーム画像との間で、輝度又は色の分布(ヒストグラム)を比較する方法、動きベクトル予測など、既知のアルゴリズムを用いればよい。具体的には、ヒストグラムの比較の方法として、色空間ヒストグラムのバタチャリヤ(Bhattacharyya )距離を用いる方法がある。この場合制御部40は、1つのフレーム画像毎に、全画素の輝度のヒストグラム(所定の区間に区切った輝度レベル毎の当該輝度レベルである画素の数の分布)を生成する。制御部40は、生成したヒストグラムを、全画素数(例えば10000)で正規化し、前のフレーム画像に対して生成下ヒストグラムとの間で所定のバタチャリヤ距離を算出し、距離の値が閾値(例えば0.3など)を超えるならば、当該フレーム画像と前のフレーム画像との間にカット点が存在すると判断する。なお、フレーム画像の各画素の色がRGB値で表れる場合、輝度は以下の色を用いて算出できる。
輝度Y=0.29891×R+0.58661×G+0.11448×B
なお、ヒストグラムの生成は必須ではなく、フレーム画像における輝度の値Yの分散値を算出すればよい。また、輝度を用いる代わりに、R、G、Bの色成分毎に分散値を算出し、複数の色成分(R、G、B)の内、いずれかの分散値が閾値以上であるか否かによってカット点が存在するか否かを判断するようにしてもよい。
次に制御部40は、カット点検出対象としたフレーム画像に対し、カット点が実際に検出されたか否かを判断する(ステップS53)。制御部40は、カット点が検出されたと判断した場合(S53:YES)、カット点検出対象としたフレーム画像の1つ前のフレーム画像を、較正用画像の作成対象とし(ステップS54)、以後の作成判断処理(S3)、作成の可否の判断(S4)、較正情報411の記憶(S5)、及び全ての輝度又は色について処理を完了したか否かの判断(S6)を行なう。
なお、制御部40はステップS54において、カット点検出対象としたフレーム画像を較正用画像の作成対象としてもよい。
制御部40は、カット点が検出されないと判断した場合(S53:NO)、次のフレーム画像が存在するか否かを判断し(S7)、存在すると判断した場合(S7:YES)、次のフレーム画像をカット点検出対象とし(ステップS55)、処理をステップS52へ戻す。
これにより、カット点が検出されたフレーム画像、即ちシーン変化の前後のフレーム画像のみが、較正用画像を作成できるか否かの判断処理の対象となる。したがって、カット点が検出されたフレーム画像から較正用画像が作成される。
図16は、カット点が検出されるフレーム画像の例を示す説明図である。図16中の各矩形は、フレーム画像を示し、フレーム番号「N2−4」のフレームから、フレーム番号「N2+1」のフレームが時系列に並べて表示されている。制御部40は、カット点検出の方法により、フレーム番号「N2」のフレーム画像で、シーンが変化しており、前のフレーム画像(N2−1)との間にカット点が存在すると判断することが可能である。
カット点が検出されたフレーム画像が較正用画像の作成対象となることにより、以後、作成された較正用画像は当該カット点前後に挿入、又は置換されても、表示されたときに視聴者は違和感を持つことはない。
図17から図20は、実施の形態3の画像信号生成部402により生成される画像信号の一例を模式的に示す説明図である。図17から図20ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図17及び図18は、較正用画像がフレーム画像間に挿入される場合の、前後のフレーム画像を時系列的に示している。
図17に示す例では、フレーム番号「N2」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N2−1」のフレーム画像が較正用画像の作成対象となった。フレーム番号「N2−1」のフレーム画像は、多くの領域を「白」が占めており、制御部40は、RGB値が(255,255,255)の「白」の較正用画像を作成することが可能であると判断する。較正情報411には、フレーム番号「N2−1」が記憶される。実施の形態3でも、制御部40は、画像信号生成部402の機能により、図9のフローチャートに示した処理手順を実行する。このとき制御部40は、出力中のフレーム番号を特定し、記憶されている較正情報411に基づき、フレーム番号が「N2−1」であると特定できた場合に、較正用画像の出力タイミングであると判断し、次のフレーム番号「N2」のフレーム画像の前に、1/2フレーム時間(0.017秒)の較正用画像を挿入して出力し、新たな画像信号とする。
図18に示す例では、フレーム番号「N3」のフレーム画像にて、カット点が検出されている。これにより、フレーム番号「N3−1」のフレーム画像が較正用画像の作成対象となった。フレーム番号「N3−1」のフレーム画像は、多くの領域を「薄いグレー」が占めており、制御部40は、RGB値が(170,170,170)の較正用画像を作成することが可能であると判断する。較正情報411には、フレーム番号「N3−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像がフレーム番号「N3−1」であるときに、次のフレーム番号「N3」のフレーム画像の前に、1/2フレーム時間(0.017秒)の較正用画像を挿入して出力する。
図19及び図20は、フレーム画像を較正用画像に置換した場合の前後のフレーム画像を時系列的に示している。
図19に示す例では、フレーム番号「N2」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N2−1」のフレーム画像が較正用画像の作成対象となり、RGB値(255,255,255)の較正用画像が作成される。較正情報411には、フレーム番号「N2−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力するフレーム画像がフレーム番号「N2」のフレーム画像であるときに、「白」の較正用画像に置換して出力する。
図20に示す例では、フレーム番号「N3」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N3−1」のフレーム画像が較正用画像の作成対象となり、RGB値(170,170,170)の較正用画像が作成される。較正情報411には、フレーム番号「N3−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力するフレーム画像がフレーム番号「N3」のフレーム画像であるときに、「白」の較正用画像に置換して出力する。
図17から図20に示すように、較正用画像と、前のフレーム画像とでは、背景が略同一の輝度又は色となる。しかも、カット点が検出された時点、即ちシーンが変化するときに較正用画像が表示される。このため、較正用画像が表示されたとしても、視聴者はなおさら違和感を持つことはない。
(実施の形態4)
実施の形態4では更に、較正用画像を出力するに際し、複数回連続して出力する。
実施の形態4における表示システムの構成は、制御装置4の制御部40により実施される以下の処理手順以外、実施の形態1と同様である。したがって、共通する構成には同一の符合を付し、詳細な説明を省略する。
図21は、実施の形態4における画像信号の生成処理手順の一例を示すフローチャートである。なお以下に示す処理手順の内、実施の形態1における図9のフローチャートに示した処理手順と同一の処理手順については、同一のステップ番号を付して詳細な説明を省略する。
制御部40は、コンテンツデータを記憶装置5から読み出して信号処理装置2への出力を開始し(S11)、信号処理装置2からの画像信号の出力停止を要求する制御用のデータを入力したか否かを判断し(S12)、上述の画像信号の出力停止を要求する制御用のデータを入力したと判断するまで、以下の処理を繰り返す。
制御部40は、画像信号生成部402の機能により、較正用画像を出力するタイミングであるか否かを判断し(S13)、較正用画像を出力するタイミングであると判断した場合(S13:YES)、画像信号生成部402の機能により、較正情報411に基づき、フレーム番号に対応する較正用画像を、複数回、挿入又は置換して出力する(ステップS15)。
制御部40は、較正用画像を出力すると処理をステップS12へ戻し、較正用画像を出力するタイミングでないと判断した場合(S13:NO)、そのまま処理をステップS12へ戻す。
図22及び図23は、実施の形態4の画像信号生成部402により生成される画像信号の一例を模式的に示す説明図である。図22及び図23ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図22では、フレーム番号「N2」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N2−1」のフレーム画像が較正用画像の作成対象となり、RGB値(255,255,255)の較正用画像が作成される。較正情報411には、フレーム番号「N2−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像が、記憶されているフレーム番号「N2−1」である場合に、その後に、作成した較正用画像を複数回(図22では4回)、連続させて出力する。これにより、図22に示すように、元のコンテンツデータにおけるフレーム番号「N2−1」のフレーム画像と、フレーム番号「N2」のフレーム画像との間に、較正用画像が4フレーム時間分表示される。
図23では、フレーム番号「N3」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N3−1」のフレーム画像が較正用画像の作成対象となり、RGB値(170,170,170)の較正用画像が作成される。較正情報411には、フレーム番号「N3−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像が、記憶されているフレーム番号「N3−1」である場合に、その後に、作成した較正用画像を複数回、連続させて出力する。これにより、図23に示すように、元のコンテンツデータにおけるフレーム番号「N3−1」のフレーム画像と、フレーム番号「N3」のフレーム画像との間に、較正用画像が4フレーム時間分表示される。
このように、同一の輝度又は色について作成した較正用画像を、連続して出力することにより、タイミング特定部403により制御される撮像タイミングに、猶予が生まれる。複数回連続して較正用画像を出力する場合、タイミング特定部403は、先頭の較正用画像が表示される時刻を表示時刻とし、表示されるタイミングを特定する。30フレーム/秒で、4回連続出力される場合では、較正用画像は4フレーム時間(0.133秒)、表示される。したがって、撮像するまでの遅延があっても、より確実に較正用画像を撮像することが可能となる。
なお、画像信号生成部402の機能により、較正情報411に基づき、フレーム番号に対応する較正用画像を、複数回、挿入又は置換するに際し、輝度を変化させながら複数の較正用画像を挿入してもよい。図24は、実施の形態4の画像信号生成部402により生成される画像信号の他の一例を模式的に示す説明図である。図24でも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図24では、フレーム番号「N4」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。制御部40は、較正用画像作成部401の機能により、カット点検出対象としたフレーム画像の1つ前のフレーム画像、即ちフレーム番号「N4−1」のフレーム画像のみならず、カット点検出対象としたフレーム画像、即ちフレーム番号「N4」のフレーム画像についても較正用画像の作成対象とし、夫々RGB値(255,255,255)の較正用画像、及びRGB値(0,0,0)の較正用画像を作成できると判断する。較正情報411には、フレーム番号「N4−1」及び「N4」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像が、記憶されているフレーム番号「N4−1」であり、次は「N4」であって、夫々に対応する較正用画像の輝度又は色が異なる場合、二つの較正用画像間の輝度又は色を少しずつ変化させた較正用画像を連続させて出力する。これにより、図24に示すように、元のコンテンツデータにおけるフレーム番号「N4−1」のフレーム画像と、フレーム番号「N4」のフレーム画像との間に、輝度が異なる較正用画像が連続して表示される。
このようにして、輝度が少しずつ異なる較正用画像を連続して出力させたとしても、視聴者は違和感を持たせることはない。
このようにして、表示システムの表示部1に実際に表示するために利用するコンテンツを用い、コンテンツデータに基づく画像を表示している間に較正を実施し、補正量を特定して補正することができる。較正のためにコンテンツの再生を停止する必要もない。特に、常時的にコンテンツを出力する必要がある電子看板などの用途に用いられる表示システムにて、電子看板の機能を失わせることなく輝度又は色の較正が可能である点、優れた効果を奏する。
実施の形態1から4に示した構成は、適宜組み合わせて実施することも可能である。
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。