JP4399087B2 - LIGHTING SYSTEM, VIDEO DISPLAY DEVICE, AND LIGHTING CONTROL METHOD - Google Patents

Description

【００４６】
ただし、Ｍ_DISは画像表示デバイスの特性に依存する３×３行列である。色彩量（Ｘ_C，Ｙ_C，Ｚ_C）は、画像表示デバイスの特性に依存しない色彩量である。
【００４７】
ステップＳ５：色彩量（Ｘ_C，Ｙ_C，Ｚ_C）が色知覚量（Ｈ，Ｌ，Ｃ）に変換される。Ｈ、ＬおよびＣのそれぞれは、色相、明度および彩度を表す。この変換は、以下の式（２）〜（６）に示される関係式によって行われる。
【００４８】
ａ＝５００［（Ｘ_C／Ｘ_n）^(1/3)＋（Ｙ_C／Ｙ_n）^(1/3)］ （２）
ｂ＝２００［（Ｙ_C／Ｙ_n）^(1/3)＋（Ｚ_C／Ｚ_n）^(1/3)］ （３）
Ｈ＝ａｔａｎ（ｂ／ａ） （４）
Ｌ＝１１６（Ｙ_C／Ｙ_n）^(1/3)−１６ （５）
Ｃ＝（ａ²＋ｂ²）^(1/2) （６）
ただしＸ_n、Ｙ_nおよびＺ_nは定数である。
【００４９】
ステップＳ６：色補正が行われ、補正後の色知覚量（Ｈ’，Ｌ’，Ｃ’）が求められる。色補正は、以下の式（７）〜（９）に示される関係式によって行われる。
【００５０】
Ｈ’＝Ｈ＋Ｐ_H （７）
Ｌ’＝Ｌ×Ｐ_L （８）
Ｃ’＝Ｃ×Ｐ_C （９）
ここで、Ｐ_C、Ｐ_HおよびＰ_Lはそれぞれ、色補正のためのパラメータである。このように、色補正を色知覚量（Ｈ，Ｌ，Ｃ）に対して行うことにより、色相、明度および彩度のそれぞれに対して独立して色補正を行うことができる。例えば、式（７）〜（９）においてＰ_H＝０、Ｐ_L＝１およびＰ_C＝１．１であるような色補正を行うことにより、彩度、つまり色の鮮やかさだけを強調するような色補正が可能になる。色補正は、鑑賞者の好みによって任意に行うようにしてもよい。
【００５１】
ステップＳ７：補正後の色知覚量（Ｈ’，Ｌ’，Ｃ’）が、照明器具に依存しない色彩量（Ｘ_C’，Ｙ_C’，Ｚ_C’）に変換される。この変換は、以下の式（１０）〜（１４）に示される関係式によって行われる。
【００５２】
ａ＝Ｃ’×ｃｏｓＨ （１０）
ｂ＝Ｃ’×ｓｉｎＨ （１１）
Ｙ_C’＝［（Ｌ＋１６）／１１６］³×Ｙ_n （１２）
Ｘ_C’＝［ａ／５００＋（Ｙ_C’／Ｙ_n）^(1/3)］³×Ｘ_n （１３）
Ｚ_C’＝［−ｂ／２００＋（Ｙ_C’／Ｙ_n）^(1/3)］³×Ｚ_n （１４）
ステップＳ８：色彩量（Ｘ_C’，Ｙ_C’，Ｚ_C’）が、周辺領域Ｄと対応付けられた照明器具の輝度値（Ｌ_RM’，Ｌ_GM’，Ｌ_BM’）に変換される。この変換は、以下の式（１５）に示される関係式によって行われる。
【００５３】
【数２】

【００５４】
ただし、Ｍ_LAMPは周辺領域Ｄと対応付けられた照明器具の特性に依存する３×３行列である。Ｌ_RM’、Ｌ_GM’およびＬ_BM’はそれぞれ、照明器具に含まれるＲ、ＧおよびＢの色要素に割り当てられた蛍光管３Ｒ、３Ｇおよび３Ｂの発光する輝度値である。輝度値の単位は例えば［ｃｄ／ｃｍ²］である。
【００５５】
ステップＳ９：照明器具の入出力補正が行われる。すなわち、輝度値（Ｌ_RM’，Ｌ_GM’，Ｌ_BM’）が、調光信号（Ｖ_RM’，Ｖ_GM’，Ｖ_BM’）に変換される。Ｖ_RM’、Ｖ_GM’およびＶ_BM’のそれぞれは、照明器具に含まれる蛍光管３Ｒ、３Ｇおよび３Ｂをそれぞれ輝度値Ｌ_RM’、Ｌ_GM’およびＬ_BM’で発光させるために必要な入力レベルである。この照明器具の入出力補正は、図９を参照して後述される。
【００５６】
ステップＳ１０：１フレーム分の画像データに含まれる全ての周辺領域についいて、ステップＳ２〜Ｓ９の処理が完了したか否かが判定される。この判定がＹｅｓであれば１フレーム分の画像データに対する照明制御データの作成処理は終了する。照明制御データは、１フレーム分の画像データに含まれる全ての周辺領域についての調光信号の集合として定義される。上記の判定がＮｏであれば処理はステップＳ２に戻り、他の周辺領域について処理が行われる。
【００５７】
なお、図７に示される処理手順のステップＳ６で、色知覚量の補正を行わない場合、すなわちＰ_H＝０、Ｐ_L＝１、Ｐ_C＝１の場合、ステップＳ４で求められた色彩量（Ｘ_C，Ｙ_C，Ｚ_C）と、ステップＳ７で求められる色彩量（Ｘ_C’，Ｙ_C’，Ｚ_C’）とは等しくなる。この場合、ステップＳ５〜Ｓ７は省略可能である。
【００５８】
図８は、画像表示デバイス１００の入出力特性を示す。図８において横軸Ｖ_Rは、画像表示デバイス１００に入力される色要素Ｒ（赤）の輝度レベルを表し、縦軸Ｌ_Rは画像表示デバイス１００の出力レベル、すなわち色要素Ｒ（赤）の輝度値を表す。輝度レベルは、例えば、０〜２５５の値で表され、輝度値は、例えば、ｃｄ／ｃｍ²で表される。Ｖ_RとＬ_Rとの関係は以下の式（１６）によって表される。
【００５９】
Ｌ_R＝ｆ_RDIS（Ｖ_R） （１６）
ここに、関数ｆ_RDISは画像表示デバイス１００の色要素Ｒ（赤）についての入出力特性を示す関数である。このような入出力特性を示す関数は、例えば多項式で定義されて照明制御データ作成プログラム１７に組み込まれている。
【００６０】
図８には色要素Ｒ（赤）についてのみ入出力特性が示されているが、色要素Ｇ（緑）および色要素Ｂ（青）についての入出力特性も同様に、関数ｆ_GDISおよび関数ｆ_BDISとして定義されているものとすると、図７のステップＳ３における、代表色（Ｖ_RM，Ｖ_GM，Ｖ_BM）を画像表示デバイスの入出力補正後の輝度値（Ｌ_RM，Ｌ_GM，Ｌ_BM）に変換する処理は、以下の式（１７）〜（１９）により行われる。
【００６１】
Ｌ_RM＝ｆ_RDIS（Ｖ_RM） （１７）
Ｌ_GM＝ｆ_GDIS（Ｖ_GM） （１８）
Ｌ_BM＝ｆ_BDIS（Ｖ_BM） （１９）
図８に点線で、Ｖ_RMからＬ_RMが求められる様子を示す。
【００６２】
図９は、照明器具２０１の入出力特性を示す。横軸Ｖ_R’は、照明器具２０１に対する調光信号として照明制御データ入力部５に入力される色要素Ｒ（赤）の入力レベルを表し、縦軸Ｌ_R’は照明器具２０１の出力レベル、すなわち色要素Ｒ（赤）の輝度値を表す。入力レベルは、例えば、０〜５Ｖの値で表され、輝度値は、例えば、ｃｄ／ｃｍ²で表される。Ｖ_R’とＬ_R’との関係は以下の式（２０）によって表される。
【００６３】
Ｌ_R’＝ｆ_RLAMP（Ｖ_R’） （２０）
ここに、関数ｆ_RLAMPは照明器具２０１の色要素Ｒ（赤）についての入出力特性を示す関数である。このような入出力特性を示す関数は、例えば多項式で定義されて照明制御データ作成プログラム１７に組み込まれている。
【００６４】
図９には照明器具２０１の色要素Ｒ（赤）についてのみ入出力特性が示されているが、色要素Ｇ（緑）および色要素Ｂ（青）についての入出力特性も同様に、関数ｆ_GLAMPおよび関数ｆ_BLAMPとして定義されているものとすると、図７のステップＳ９における、輝度値（Ｌ_RM’，Ｌ_GM’，Ｌ_BM’）を調光信号（Ｖ_RM’，Ｖ_GM’，Ｖ_BM’）に変換する処理は、以下の式（２１）〜（２３）により行われる。
【００６５】
Ｖ_RM’＝ｆ_RLAMP ^-1（Ｌ_RM’） （２１）
Ｖ_GM’＝ｆ_GLAMP ^-1（Ｌ_GM’） （２２）
Ｖ_BM’＝ｆ_BLAMP ^-1（Ｌ_BM’） （２３）
図９に点線で、Ｌ_RM’からＶ_RM’が求められる様子を示す。
【００６６】
照明器具２０２〜照明器具２０６の入出力特性も、照明器具２０１の入出力特性と同様に関数として定義されている。
【００６７】
上述された処理手順により照明制御データ４２０が生成される。照明制御データ４２０はさらに、スムージングとフィルタリングを施されてもよい。
【００６８】
図１０は、照明制御データ４２０がスムージング処理とフィルタリング処理を施される場合のデータの流れを示す。スムージング処理とフィルタリング処理とは、照明光を変化させる時に違和感をなくすために行われる。映像と連動して照明光が変化する環境で鑑賞者が映像を鑑賞する場合、照明光は鑑賞者の周辺視野に影響を及ぼすため、照明光が急激に変化したりちらついたりすると鑑賞者は非常に違和感を感じ気になる。このような違和感を防ぐために、スムージング処理が行われる。スムージング処理は例えば、前のフレームから作成された照明制御データと、現在のフレームから作成された照明制御データとの移動平均を求めることによって行われる。移動平均に用いられるフレーム数は、例えば４フレームである。移動平均に用いられるフレーム数を多くするほど、変化が穏やかな照明制御データが作成される。すなわち、照明光の輝度値の単位時間あたりの変化量が抑制される。
【００６９】
フィルタリング処理は、照明制御データに含まれる予め定められたレベル以下の調光信号をカットする処理である。照明が点灯するか点灯しないかの境界の調光信号をカットすることにより、ちらつきを防止することができる。予め定められたレベルとは例えば、照明器具を最大の輝度値で点灯させるための調光信号の２５％の値の調光信号のレベルである。
【００７０】
このように照明制御データ４２０は、スムージング処理７０３とフィルタリング処理７０４とを施され、スムージングされフィルタリングされた照明制御データ４２０’となる。スムージングされフィルタリングされた照明制御データ４２０’は、照明制御データ入力部５に入力される。
【００７１】
図７に示される処理手順のステップＳ２では、周辺領域に含まれる画素のＲ、Ｇ、Ｂの輝度レベルの単純平均を求めることによって代表色を定義していた。代表色は、Ｒ、Ｇ、Ｂの輝度レベルの最大ヒストグラムを求めることによって定義されてもよい。例えば、周辺領域内に赤色の領域と緑色の領域が含まれる場合に、Ｒ、Ｇ、Ｂの輝度レベルの単純平均を求めることにより定義される代表色が赤色でも緑色でもない色（例えば、白色）となることがある。この場合には、代表色と実質的に同一の色の照明光を周辺領域の延長領域上に照射した場合に違和感があり好ましくない。最大ヒストグラムを求めることによって代表色が定義される場合、周辺領域内に含まれる赤色の領域と緑色の領域とのうち、面積が大きい方の領域の色が代表色となる。このようにして代表色を求めた場合には、代表色と実質的に同一の色の照明光を周辺領域の延長領域上に照射した場合に違和感がなく好ましい。
【００７２】
また、照明システム１に含まれる照明器具の数は、６個に限定されない。例えば、図４に示されるように、照明システム１は照明器具２０１〜２０６に加えて、照明器具２０３’、２０４’、２０５’および２０６’の１０個の照明器具を制御するようにしてもよい。照明器具２０３’、２０４’、２０５’および２０６’はそれぞれ、照明器具２０３、２０４、２０５および２０６よりも鑑賞者１５０の視野内で外側に配置されている。また、周辺領域と照明器具とは一対一に対応していなくてもよい。例えば、図４に示される照明器具２０５’および２０５のいずれもが、図５に示される周辺領域３０５と対応付けられていてもよい。また、照明システム１は照明器具２０５を含まず、照明器具２０５’が図５に示される周辺領域３０５と対応付けられていてもよい。
【００７３】
また、鑑賞者１５０の視野角に応じて照明器具の制御方法を変えてもよい。照明器具２０５’と 照明器具２０５とでは、鑑賞者１５０の視野角が異なる。すなわち、照明器具２０５は照明器具２０５’と比較して、鑑賞者１５０の視野の中心部に近い位置にある。照明器具２０５と照明器具２０５’との発光の色が同一であっても、鑑賞者１５０の視野角が異なることにより、照明器具２０５が鑑賞者１５０に与える印象と照明器具２０５’ が鑑賞者１５０に与える印象とは異なる。一般に、視野の周辺部ほどちらつきを感じやすいため、照明器具２０５’は照明器具２０５よりも輝度値が低くなるように制御してもよい。このような制御は、例えば、図７に示される処理手順のステップＳ６における色補正のためのパラメータを照明器具の配置に応じて適切に選択することにより実行される。
【００７４】
照明器具２０６’と照明器具２０６との関係、照明器具２０３’と照明器具２０３との関係、照明器具２０４’と照明器具２０４との関係も、上で述べた照明器具２０５’と照明器具２０５との関係と同様である。
【００７５】
画像データの周辺部に周辺領域を定義する方法も図５に示される定義方法に限定されない。
【００７６】
図１１Ａ〜図１１Ｇは、１フレーム分の画像データ３００の構造の他の例を示す。画像データに含まれる周辺領域は、照明システム１の照明器具の個数や配置に応じて、図１１Ａ〜図１１Ｇに示されるように予め定義される。
【００７７】
図１１Ａに示される１フレーム分の画像データ３００の周辺部は、周辺領域１１０２、１１０３、１１０４、１１０５および１１０６を含む。このような周辺領域の定義方法は例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０１、２０３、２０３’、２０４、２０４’、２０５、２０５’、２０６および２０６’である場合に用いられ得る。照明器具２０１は周辺領域１１０３と対応付けられる。照明器具２０３または２０３’またはその両方は、周辺領域１１０６と対応付けられる。照明器具２０５または２０５’またはその両方は、周辺領域１１０５と対応付けられる。照明器具２０６または２０６’またはその両方は、周辺領域１１０２と対応付けられる。照明器具２０４または２０４’またはその両方は、周辺領域１１０４と対応付けられる。照明器具２０５と２０３とが省略されるかまたは、照明器具２０５’と２０３’とが省略されてもよい。また、照明器具２０６と２０４とが省略されるかまたは、照明器具２０６’と２０４’とが省略されてもよい。
【００７８】
図１１Ｂに示される１フレーム分の画像データ３００は、周辺領域１１０８を含む。このような周辺領域の定義方法は例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０１、２０４および２０６である場合に用いられ得る。照明器具２０１、２０４および２０６は周辺領域１１０８と対応付けられる。照明器具２０４と２０６とが省略されてもよい。
【００７９】
図１１Ｃに示される１フレーム分の画像データ３００は、周辺領域１１０９および１１１０を含む。このような周辺領域の定義方法は例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０１、２０６、２０４、２０５、２０２および２０３である場合に用いられ得る。照明器具２０１、２０６および２０４は周辺領域１１０９と対応付けられる。照明器具２０５、２０２および２０３は、周辺領域１１１０と対応付けられる。照明器具２０６と２０４とが省略されてもよい。また、照明器具２０５と２０３とが省略されてもよい。
【００８０】
図１１Ｄに示される１フレーム分の画像データ３００は、周辺領域１１１１および１１１２を含む。このような周辺領域の定義方法は、例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０３、２０４、２０５および２０６である場合に用いられ得る。照明器具２０５および２０６は、周辺領域１１１１と対応付けられる。照明器具２０４および２０３は、周辺領域１１１２と対応付けられる。照明器具２０６と２０４とが省略されるかまたは、照明器具２０５と２０３とが省略されてもよい。
【００８１】
図１１Ｅに示される１フレーム分の画像データ３００は、周辺領域１１１３、１１１４、１１１５および１１１６を含む。このような周辺領域の定義方法は、例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０３、２０３’、２０４、２０４’、２０５、２０５’、２０６および２０６’である場合に用いられ得る。照明器具２０３または２０３’またはその両方は、周辺領域１１１６と対応付けられる。照明器具２０５または２０５’またはその両方は、周辺領域１１１４と対応付けられる。照明器具２０６または２０６’またはその両方は、周辺領域１１１３と対応付けられる。照明器具２０４または２０４’またはその両方は、周辺領域１１１５と対応付けられる。照明器具２０５と２０３とが省略されるかまたは、照明器具２０５’と２０３’とが省略されてもよい。また、照明器具２０６と２０４とが省略されるかまたは、照明器具２０６’と２０４’とが省略されてもよい。
【００８２】
図１１Ｆに示される１フレーム分の画像データ３００は、周辺領域１１１７、１１１８および１１１９を含む。このような周辺領域の定義方法は、例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０１、２０６、２０４、２０５および２０３である場合に用いられ得る。照明器具２０５および２０６は、周辺領域１１１７と対応付けられる。照明器具２０４および２０３は、周辺領域１１１９と対応付けられる。照明器具２０１は、周辺領域１１１８と対応付けられる。照明器具２０３と２０５とが省略されるかまたは、照明器具２０６と２０４とが省略されてもよい。
【００８３】
図１１Ｇに示される１フレーム分の画像データ３００は、周辺領域１１２０、１１２１、１１２２、１１２３および１１２４を含む。このような周辺領域の定義方法は、例えば、照明システム１に含まれる照明器具が、図４に示される照明器具２０２、２０３、２０３’、２０４、２０４’、２０５、２０５’、２０６および２０６’である場合に用いられ得る。照明器具２０２は周辺領域１１２３と対応付けられる。照明器具２０３または２０３’またはその両方は、周辺領域１１２４と対応付けられる。照明器具２０５または２０５’またはその両方は、周辺領域１１２２と対応付けられる。照明器具２０６または２０６’またはその両方は、周辺領域１１２０と対応付けられる。照明器具２０４または２０４’またはその両方は、周辺領域１１２１と対応付けられる。照明器具２０５と２０３とが省略されるかまたは、照明器具２０５’と２０３’とが省略されてもよい。また、照明器具２０６と２０４とが省略されるかまたは、照明器具２０６’と２０４’とが省略されてもよい。
【００８４】
以上図１１Ａ〜図１１Ｇを参照して、照明システム１の構成および画像データの周辺部に周辺領域を定義する方法のバリエーションを説明した。照明システム１の構成および画像データの周辺部に周辺領域を定義する方法のバリエーションは、図１１Ａ〜図１１Ｇに限定されない。照明システム１は、どの周辺領域にも対応付けられない照明器具を有していてもよい。照明システム１に含まれる複数の照明器具のうち少なくとも１つが、複数の周辺領域のうち対応する１つの周辺領域に連動するように制御されていれば高い臨場感が得られ、本発明の効果が得られる。
【００８５】
周辺部の周辺領域の数および照明システム１に含まれる照明器具の数が増えると、コストが増大し、照明制御データ作成のための演算量も大きくなる。周辺領域の数は、低コスト化と臨場感向上の効果を考慮して、適切に定められる。例えば、図１１Ｄに示される周辺領域の数と図１１Ｃに示される周辺領域の数はともに２個であるが、周辺領域が左右方向に位置しているほうが、周辺領域が上下方向に位置しているよりも臨場感向上の効果が大きい。従って図１１Ｄに示される周辺領域の定義方法の方が図１１Ｃに示される周辺領域の定義方法よりも好ましい。低コスト化と臨場感向上の効果を考慮すると、一般には周辺領域の数は２個〜４個程度が好ましい（例えば図１１Ｄおよび図１１Ｅ）が、本発明はこれに限定されない。
【００８６】
一般に照明器具が多いほど画像の詳細な変化に対応して照明を制御することができるが、一方で照明システムが大型になること、照明制御データの作成が複雑になり作成に要する時間が増大し、導入コストおよび計算コストともに増大する。従って、限られた数の照明器具を用いて臨場感の向上効果を高くすることが必要である。限られた数の照明器具を用いて臨場感の向上効果を高くする方法を以下に述べる。
【００８７】
図１２は、鑑賞者１５０の視野を示す。鑑賞者１５０の視野の中心線（基準線）は画像表示デバイスに表示される画像データの中心Ｏにあるものとする。鑑賞者１５０の視野は、基準線に対して鑑賞者を基点に左右３０°未満の領域に相当する中心視野５０２と、左右３０°以上の左右１００°以下の周辺視野５０３（図１２に示されるハッチングを施された領域）とからなる。人間の目は、視野内の場所によって感度が異なる。視野の中心付近は明るさや色の違いに敏感であり、視野の周辺部分は動きに敏感である。本発明者らは、照明器具の配置に関して次の３つの場合について臨場感の向上効果を評価した。
【００８８】
（ａ）中心視野内のみに照明器具を配置した場合。
【００８９】
（ｂ）周辺視野内のみに照明器具を配置した場合。
【００９０】
（ｃ）中心視野内および周辺視野内に照明器具を配置した場合。
【００９１】
上記（ａ）は、画像表示デバイス１００の背景部の照明器具（図４に示される照明器具２０１および２０２）を使用することによって実現した。上記（ｂ）は、図４に示される照明器具２０３、２０４、２０５および２０６を使用することによって実現した。上記（ｃ）は、図４に示される照明器具２０１、２０２、２０３、２０４、２０５および２０６を使用することによって実現した。
【００９２】
臨場感の向上効果は、上記３つの場合について（ｃ）＞（ｂ）＞（ａ）であり、周辺視野内のみに照明器具を配置した（ｂ）の場合でも十分に高い臨場感の向上効果が得られた。これは、すでに述べた通り、人間の視野は周辺視野の方が動き、すなわち、変化に敏感であり照明器具の発光の変化を十分に感じることができるからである。鑑賞者の視野と照明器具との位置関係は、鑑賞室の大きさや鑑賞者の位置によっても変化するが、一般的には中心視野は鑑賞室の前面に相当し、周辺視野は鑑賞室の側面に相当する。
【００９３】
上記（ｂ）の場合は、周辺視野の照明器具から照射される輝度値は、中心視野の照明装置から照射される輝度値よりも高い。一方、上記（ａ）の場合は、中心視野の照明器具から照射される輝度値は、周辺視野の照明装置から照射される輝度値よりも高い。このように、限られた照明器具を用いて照明による臨場感を向上させるためには、周辺視野にある照明器具から照射される輝度値は、中心視野内にある照明器具から照射される輝度値よりも高くすることが基本的な条件となる。従って、例えば、図１１Ｅに示される周辺領域の定義方法を用いることが好適である。
【００９４】
以上の説明は上記（ａ）、（ｂ）および（ｃ）の３つの場合について行ったが、本発明はこれらの照明器具の配置に限られない。周辺視野にある（または周辺視野内を照らす）照明器具から照射される輝度値が、中心視野内にある（または中心視野内を照らす）照明器具から照射される輝度値よりも高くありさえすれば、照明による臨場感を向上させることができる。
【００９５】
各周辺領域の大きさは、任意に定めてよい。一般に、周辺領域の大きさが小さいほど、人間が知覚する周辺領域の平均的な色と、上述したようにＲＧＢの単純平均を求めることによって求められた代表色とがよく一致する、すなわち、色再現性がよくなる。しかし周辺領域の大きさが小さい場合には、たまたまその周辺領域に比較的小さな物体の画像が含まれる場合（例えば、風景画像で鳥が飛んできたシーンなど）に、その比較的小さな物体の色が周辺領域の代表色とされることが起こり得る、すなわち、ノイズ耐性が悪くなるという問題点がある。周辺領域の大きさは、このような色再現性とノイズ耐性の観点から適切に定められる。
【００９６】
以上の説明では、照明器具はＲ（赤）、Ｇ（緑）およびＢ（青）の色要素に割り当てられた蛍光管を使用するものとしたが、色要素はＲ、ＧおよびＢに限定されない。例えば、色要素としてＣ（シアン）、Ｙ（イエロー）およびＭ（マゼンダ）が用いられてもよい。また、照明器具は蛍光管以外によって発光してもよい。たとえば、発光ダイオード（ＬＥＤ）により発光してもよい。Ｒ（赤）、Ｇ（緑）およびＢ（青）の３個の発光ダイオードで１個の照明要素を構成し、この１個の照明要素を、画像データの周辺領域に含まれる１個の画素と対応付けて制御するようにしてもよい。１個の照明器具にはこのような照明要素が複数個含まれてもよい。この場合、周辺領域に含まれる画素と、その周辺領域に対応付けられた照明器具に含まれる照明要素とを対応付けて制御することにより、周辺領域の代表色を定義しなくても、周辺領域全体により知覚される色と、１個の照明器具全体により知覚される色とを実質的に同一にすることができる。
【００９７】
また、照明器具は直接照明であっても間接照明であってもよい。例えば、図４に示される照明器具２０２は画像表示デバイス１００の背後に配置され、間接照明により背後の壁面を照らすように構成されているが、照明器具２０２が画像表示デバイス１００の前面に配置されていてもよい。また、照明器具としてスポット照明器具を用い、鑑賞室の壁面を照らすような構成にしてもよい。照明器具が壁面を照らすような構成にする場合、壁面の色は白色であることが好ましい。また照明システム１が配置される鑑賞室の大きさも図４で示される例に限定されない。例えば映画館や老人ホームにおける公共スペースのような大きな空間で照明システム１が用いられてもよい。
【００９８】
また、照明制御データがインターネット等を介して配信されてもよい。また照明制御データが搬送波により配信されてもよい。このように、照明制御データが配信される場合には、照明システム１（図１）は映像信号入力部１８および演算部１２を有さなくてもよい。すなわち照明システム１は照明制御データ入力部５と複数の照明器具とを含んでいればよい。また、照明制御データは単独で配信されずに、映像信号と共に配信されてもよい。
【００９９】
照明システム１（図１）が演算部１２を有し、準リアルタイム処理で照明制御データを作成する場合には、画像データの１つのフレームから照明制御データを作成するのに必要な演算時間を短くすることが必要である。例えば、ＮＴＳＣ信号に基づく映像信号は１秒間に３０フレームが含まれる。この場合には画像データにも１秒間に３０フレームが含まれ、これらのフレームごとに照明制御データを作成する必要がある。ルックアップテーブルを用いる方法、画素サンプリングを行う方法およびフレーム補間を行う方法をそれぞれ単独で、あるいは他と組み合わせて用いることにより、画像データの１つのフレームから照明制御データを作成するのに必要な演算時間を短くすることが可能になる。これらの方法を以下に説明する。
【０１００】
図１３は、ルックアップテーブルを用いて照明制御データを作成する場合のデータの流れを示す。まず、画像データ４１１から周辺領域の代表色８０２が求められる。この処理手順は、図７に示される処理手順のステップＳ１〜Ｓ２と同様である。次に代表色８０２をキーとして、予め作成されたルックアップテーブルが検索され（処理８０３）、照明制御データ４２０が作成される。これにより、図７に示される処理手順のステップＳ３〜Ｓ９がルックアップテーブル処理８０３により代替され、照明制御データの作成に必要な時間が大幅に短縮される。
【０１０１】
次に画素サンプリングを行う方法を説明する。
【０１０２】
図１４は、周辺領域上でサンプリングが行われる画素を示す。ハッチングを施された矩形は、サンプリングされる画素を示し、ハッチングを施されない矩形は、サンプリングされない画素を示す。サンプリングされる画素についてのみ色要素Ｒ、ＧおよびＢの平均を求めることによって代表色を定義すれば、代表色を定義するために必要な計算時間が短縮される。すなわち、図７に示される処理手順のステップＳ２に要する計算時間が短縮される。
【０１０３】
図１５は、画素サンプリング数と照明制御データの作成に必要な時間との関係を示す。照明制御データの作成に必要な時間は、画素サンプリング数が０、すなわち画素サンプリングを用いない場合の、照明制御データの作成に必要な時間を１００として表す。画素サンプリング数１とは、周辺領域の画素を１つおきにサンプリングすることを表す。図１５に示されるように、画素サンプリングを行うことにより画素サンプリングを用いない場合と比較して照明制御データの作成に必要とされる時間は約１／３に短縮され得る。画素サンプリング数を５以上に増やしても、照明制御データの作成に必要とされる時間の短縮効果はほとんどなくなる。従って画素のサンプリング数は１〜５程度が好適であるが、これに限定されない。なお、画素のサンプリング数が数個程度の場合に、画素サンプリングを用いて作成された照明制御データは、画素サンプリングを用いない場合と比較して大きな差異はない。
【０１０４】
図１６は、フレーム補間を用いて照明制御データを作成する場合のデータの流れを示す。ｎは３以上の整数として、フレーム１〜フレームｎは時間的に隣接するフレームである。また、周辺領域Ｄ₁〜Ｄ_nはそれぞれ、フレーム１〜フレームｎに含まれる周辺領域であり、これらの周辺領域はフレーム内の同一の位置にある周辺領域である。フレーム１およびフレームｎに含まれるＤ₁およびＤ_nに関して、色知覚量１６０１は図７に示される処理手順のステップＳ２〜Ｓ６によって求められる。フレーム２〜フレーム（ｎ−１）に含まれるＤ₂〜Ｄ_n-1に関しては、フレーム１とフレームｎとの双方の色知覚量１６０１を補間することによって色知覚量１６５０が求められる。この方法によれば、全フレームの画像データを処理する時間が短縮できるため、照明制御データの作成時間を短縮することができる。
【０１０５】
フレーム１およびフレームｎに関して、色知覚量１６０１は図７に示される処理手順のステップＳ７〜Ｓ９によって調光信号１６１１が求められ、全ての周辺領域について調光信号を求めることにより照明制御データ１６２１が作成される。
【０１０６】
フレーム２〜フレーム（ｎ−１）に関しても同様に、補間によって求められた色知覚量１６５０から、図７に示される処理手順のステップＳ７〜Ｓ９によって調光信号１６１１が求められ、全ての周辺領域について調光信号を求めることにより照明制御データ１６２１が作成される。
【０１０７】
本発明で用いられる色知覚量の補間方法について以下に述べる。一連のシーンの画像データでは、色知覚量を単純補間することもできる。しかし、フレーム１とフレームｎとの画像データが全く異なるシーンを表す場合には、色知覚量を単純補間することは問題を生じる。例えば、フレーム１の周辺領域Ｄ₁に関して求められた色知覚量（Ｈ₁’，Ｌ₁’，Ｃ₁’）のうち、色相Ｈ₁’がシアン色を表し、フレームｎの周辺領域Ｄ_nに関して求められた色知覚量（Ｈ_n’，Ｌ_n’，Ｃ_n’）のうち、色相Ｈ_n’が黄色を表す場合には、色知覚量（Ｈ₁’，Ｌ₁’，Ｃ₁’）と色知覚量（Ｈ_n’，Ｌ_n’，Ｃ_n’）とをそれぞれの色相、明度および彩度ごとに単純補間すると、緑色を表す色相が現れる。色知覚量の補間を行う際に、もとの画像データの代表色と全く異なる色相が知覚されることは好ましくない。全く異なる色相が知覚されると、鑑賞者に違和感を感じるからである。本発明で用いられる色知覚量の補間方法によれば、補間の際に中間の色相が知覚されることを防ぐことが可能になる。
【０１０８】
図１７Ａは本発明で用いられる色知覚量の補間方法における色相、明度および彩度の変化の例を示す。曲線１７０１は、フレーム番号と色相の関係を表す。フレーム番号は時間に対応するので、曲線１７０１は色相の時間変化を表す。同様に、曲線１７０２は明度の時間変化を表し、曲線１７０３は彩度の時間変化を表す。図１７Ａに示される例では、色相、明度、彩度をそれぞれＨ₁’からＨ_n’まで、Ｌ₁’からＬ_n’まで、Ｃ₁’からＣ_n’まで補間する際に、明度および彩度がそれぞれ、Ｌ₁’およびＣ₁’よりも小さい所定の値に変化した後で、色相がＨ₁’からＨ_n’に変化するように補間が行われ、色相がＨ_n’に変化した後で、明度および彩度がそれぞれ、Ｌ_n’およびＣ_n’に変化するように補間が行われる。所定の値とは、色相の変化が知覚されにくいような明度または彩度の値である。あるフレームについての照明制御データに含まれる調光信号の色要素毎の入力レベルＶ_RM’、Ｖ_GM’およびＶ_BM’は、色相Ｈ’、明度Ｌ’および彩度Ｃ’から上述した式（７）〜（２３）に示される変換により求められたものである。すなわち、照明制御データに含まれる調光信号の色要素毎の入力レベルＶ_RM’、Ｖ_GM’およびＶ_BM’は、色相Ｈ’、明度Ｌ’および彩度Ｃ’と対応している。色相Ｈ’、明度Ｌ’および彩度Ｃ’はそれぞれ、この調光信号によって制御される照明器具が発光する光の色相成分、明度成分、彩度成分とみなすことができる。
【０１０９】
フレーム１とフレームｎとで色相が変化する場合に、明度と彩度とを低下させてから色相を変化させれば、照明器具が発光する光の色相の変化による違和感が軽減される。彩度および明度が低い時には色相の差異が知覚されにくくなるからである。
【０１１０】
なお、色相の変化による違和感を軽減するための補間方法として、彩度または明度のどちらか一方を低下させてから色相を変化させるようにしてもよい。彩度または明度のどちらか一方が低い場合でも色相の差異は知覚されにくい。
【０１１１】
図１７Ｂは本発明で用いられる色知覚量の補間方法における色相、明度および彩度の変化の別の例を示す。曲線１７１１、１７１２および１７１３はそれぞれ、色相、明度および彩度の時間変化を表す。図１７Ｂに示される例では、色相、明度、彩度をそれぞれＨ₁’からＨ_n’まで、Ｌ₁’からＬ_n’まで、Ｃ₁’からＣ_1n’まで補間する際に、彩度がＣ₁’よりも小さい値に変化したあとで、色相がＨ₁’からＨ_n’に変化するように補間が行われ、色相がＨ_n’に変化した後で、彩度がＣ_n’に変化するように補間が行われる。明度はＬ₁’からＬ_n’まで単純補間される。
【０１１２】
図１８は、フレーム１からフレームｎまでの色知覚量の変化を色相関図上に示した図である。フレーム１およびフレームｎの色知覚量がそれぞれ点Ｐ₁および点Ｐ_nで示されている。曲線１８０１は、彩度を低下させてから色相を変化させた場合の色知覚量の変化経路を示し、曲線１８０２は、彩度を低下させずに色相を変化させた場合の色知覚量の変化経路を示す。彩度を低下させてから色相を変化させた場合には、色知覚量は点Ｐ₁からいったん白色（すなわち無彩色）に近づいたのちに点Ｐ_nまで変化する。このため、色相の変化が知覚されにくい。彩度を低下させずに色相を変化させた場合には、色知覚量は点Ｐ₁からいったん青色に近づいたのちに点Ｐ_nまで変化する。このため、色相の変化が知覚されやすい。
【０１１３】
図１７Ａおよび図１７Ｂを参照して説明した、彩度または明度のどちらか一方を低下させてから色相を変化させるような補間方法は、フレーム１とフレームｎとで色相が変化する場合に好適に用いられる補間方法である。単純補間ではなくこのような補間方法を用いるかどうかは、例えば、フレーム１とフレームｎとから求められた色相Ｈ₁’とＨ_n’との間に、違和感のある色相があるかどうかを検索することにより判断される。色相角の範囲で色のカテゴリを規定しておけば、色相Ｈ₁’とＨ_n’との間に他の色のカテゴリがあるかどうかを演算により判断することができる。色相Ｈ₁’とＨ_n’との間に他の色のカテゴリがあると判断された場合、すなわち色相が予め定められた色のカテゴリを越えて変化する場合には、図１７Ａおよび図１７Ｂを参照して説明した、彩度または明度のどちらか一方を低下させてから色相を変化させるような補間方法が用いられる。
【０１１４】
例えばｎ＝６の場合、フレーム１の色知覚量（Ｈ₁’，Ｌ₁’，Ｃ₁’）とフレーム６の色知覚量（Ｈ₆’，Ｌ₆’，Ｃ₆’）とから補間によりフレーム２の色知覚量（Ｈ₂’，Ｌ₂’，Ｃ₂’）〜フレーム５の色知覚量（Ｈ₅’，Ｌ₅’，Ｃ₅’）を求める場合の処理手順の一例を以下の（ａ）〜（ｄ）に示す。
【０１１５】
（ａ）Ｈ₂’＝Ｈ₁’とし、Ｌ₂’およびＣ₂’は十分に小さい値に設定する。十分に小さい値とは、色相の変化により違和感が知覚されないような明度および彩度の値であり、予め定められた値である。
【０１１６】
（ｂ）Ｈ₃’をＨ₁’とＨ₆’との中間の値とし、Ｌ₃’およびＣ₃’はそれぞれＬ₂’およびＣ₂’と等しくする。
【０１１７】
（ｃ）Ｈ₄’＝Ｈ₆’とし、Ｌ₄’およびＣ₄’はそれぞれＬ₃’およびＣ₃’と等しくする。
【０１１８】
（ｄ）Ｈ₅’＝Ｈ₆’とし、Ｌ₅’およびＣ₅’はそれぞれＬ₄’とＬ₆’の中間の値およびＣ₄’とＣ₆’との中間の値に設定する。
【０１１９】
なお、フレーム１とフレームｎとから求められた色相Ｈ₁’とＨ_n’との間に、違和感のある色相がない場合には、色相、明度、彩度をそれぞれ単純補間することによって色知覚量を補間してもよい。また、ｎの値が小さい場合、例えば、ｎ＝３の場合には、フレーム１とフレームｎとの時間差は小さく、フレーム１とフレームｎの画像データに含まれる画像情報の差異も小さいと考えられ、上記のような彩度または明度のどちらか一方を低下させてから色相を変化させるような補間方法を用いることは必ずしも必要ではない。このような場合にはフレーム１に関する調光信号とフレームｎに関する調光信号とを単純補間することによって中間のフレームに関する調光信号を求めるようにしてもよい。
【０１２０】
以上に説明した照明制御データの作成方法はいずれも、画像データの周辺領域の画像情報に基づいて照明を制御するような照明制御データの作成方法であった。このような制御は、鑑賞者の視野内で画像が左右上下斜め方向に延長されたように知覚させることによって臨場感を高めるために行われる。しかし本発明の照明システム１は、このように制御されることに限定されない。例えば、鑑賞者に驚き感を提供することによって臨場感を高めるように制御されたり、またはやすらぎ感を提供するように制御されてもよい。以下に、本発明の照明システム１が鑑賞者に驚き感およびやすらぎ感を提供するような照明制御データの作成方法を説明する。
【０１２１】
驚き感は、例えば、爆発したシーンが画像表示デバイスに表示されるのと同時に、照明器具を発光することによって提供することができる。鑑賞者はあたかも、自分の周りで爆発が起こったかのように錯覚し、驚く。爆発シーンの抽出は、画像データの中央部分を含む領域の画像情報を用いて行われる。
【０１２２】
図１９は、１フレーム分の画像データ３００の中央部分を含む領域として定義された中央領域１９００を示す。爆発したシーンなどの、鑑賞者を驚かせることを意図しているシーンでは、中央領域１９００の画像情報が急激に変化する。従って、中央領域１９００の画像情報の変化量を算出することにより、対象のフレームが爆発シーンであるかどうかを判定することができる。中央領域１９００の画像情報は、例えば、中央領域１９００に含まれる全てのＲ、ＧおよびＢの出力レベルの平均値（ＲＧＢ平均値）が用いられる。
【０１２３】
図２０は、各フレームにおけるＲＧＢ平均値およびＲＧＢ平均値の差分を示す。図２０に示される例では、中央領域１９００は画像データの全体領域と一致させた。図２０において横軸はフレーム番号を示す。フレーム番号１〜５１の各フレームはこの順に時間的に連続するフレームであり、爆発シーンを含んでいる。折れ線２００１は各フレームのＲＧＢ平均値を示し、折れ線２００２は各フレームのＲＧＢ平均値の差分を示し、ＲＧＢ平均値は、０〜２５５の２５６段階で表される画像の輝度レベルの単純平均値である。ＲＧＢ平均値の差分は、各フレームのＲＧＢ平均値から、１フレーム先行するフレームのＲＧＢ平均値を減じた値である。爆発シーンでは一般に、画像が急に明るくなる、すなわち、ＲＧＢ平均値が急に大きくなる。このため、ＲＧＢ平均値およびＲＧＢ平均値の差分がともにあるしきい値よりも大きいフレームを、爆発シーンとして判定することができる。図２０に示される例では、ＲＧＢ平均値が１００以上で、かつＲＧＢ平均値の差分が５０以上であるフレームが、爆発シーンと一致した。
【０１２４】
なお、爆発シーンの判定は、ＲＧＢのレベルを使用した一例を示したが、他の色彩系に変換した後で爆発シーンの判定処理を行ってもよい。
【０１２５】
図２０に示される例では、中央領域１９００は画像の全体領域と一致させた。一般の画像では、鑑賞者から遠い位置で爆発が起こるシーンが多い。また画像の周辺部での画像情報の変化量が多い画像はスピード感を増すための画像であることが多く、必ずしも爆発シーンとは一致しない。これらのことから、爆発シーンであるかどうかの判定は、画像の周辺部を含まない中心部分のみの画像情報の変化量に基づいて行うことにより判定の精度が向上する。また、画像情報の変化量だけでなく音声情報の変化量に基づいて爆発シーンなどの鑑賞者を驚かせるシーンの判定を行ってもよい。爆発シーンなどの鑑賞者を驚かせるシーンは、画像が急激に変化すると同時に音声のボリュームも急激に変化する。従って、図２０を参照して爆発シーンの判定方法を説明したのと同様に、音声情報の変化量に基づいて爆発シーンを判定する方法も説明できる。例えば、図２０に示されるグラフと同様に、横軸をフレーム番号とし、縦軸を「音声のボリュームおよび音声のボリュームの差分」としたグラフを得ることができる。また、画像情報の変化量と音声情報の変化量の両方に基づいて爆発シーンなどの鑑賞者を驚かせるシーンの判定を行うことにより、判定の精度が向上する。
【０１２６】
このような判定により爆発シーンなどの鑑賞者を驚かせるシーンであると判定されたフレームには、爆発シーン用照明制御データが作成される。爆発シーン用照明制御データは、例えば、中央領域１９００に関して図７に示される処理手順のステップＳ２〜Ｓ９と同様の処理手順を実行することにより生成される。爆発シーン用照明制御データにより制御される照明器具は、図４に示される照明器具２０１〜２０６および２０３’〜２０６’の任意の照明器具であり得る。爆発シーン用照明制御データによりこれらの照明器具の複数を制御してもよい。また、爆発シーン専用の照明器具２０５５（図４）を、例えば、鑑賞者の付近に配置し、爆発シーン用照明制御データにより照明器具２０５５を制御するようにしてもよい。照明器具２０５５は複数個設けられてもよい。照明器具２０５５は爆発シーン専用の照明器具であるので、その発光する色は単色（例えば、赤）や２色（例えば、赤と黄）であってもよい。
【０１２７】
本発明の照明システム１により鑑賞者にやすらぎ感を提供する方法を以下に説明する。照明光の光出力を０．０５Ｈｚ〜０．６Ｈｚの範囲の周波数で変化させることにより、リラックスできる、すなわち、やすらぎ感が得られることが知られている。本発明の照明システム１により画像データと連動して照明を制御する場合にも、この技術が応用できる。
【０１２８】
このようなやすらぎ感を提供する照明制御データは、例えば、図７に示される処理手順により作成された調光信号を、色信号と輝度信号とに座標変換し、輝度信号に所定の周波数で変調した後、再び調光信号に座標変換することにより作成することができる。このような調光信号の座標変換は、既知の関係式により行うことができる。
【０１２９】
図２１は、照明器具が発光する輝度値を一定の周波数で変化させる例を示す。輝度値を変化させる周波数は０．０５Ｈｚ〜０．６Ｈｚの範囲が好ましい。中でも０．１Ｈｚ〜０．４Ｈｚの範囲が、やすらぎ感を得るためには特に好ましい。
【０１３０】
図２２は、照明器具の輝度値が増加する時の輝度値の時間変化率が、輝度値が減少する時の輝度値の時間変化率よりも大きくなるように輝度値を一定の周波数で変化させる例を示す。このように輝度値を変化させることにより、呼吸リズムを照明光の変化に同期させやすくなり、やすらぎ感が向上する。輝度値の変化が息を吸ったり吐いたりするイメージを連想させるからである。
【０１３１】
照明システム１に含まれる全ての照明器具の輝度値をこのように周期的に変化させることは必須ではない。例えば、図４に示される照明器具２０１の輝度値のみを周期的に変化させてもよい。あるいは照明器具２０２の輝度値のみ、照明器具２０１および２０２の輝度値のみ、照明器具２０５および２０３の輝度値のみ、あるいは、照明器具２０１および２０２の輝度値のみを周期的に変化させるようにしてもよい。あるいは、照明器具２０１〜２０６および２０３’〜２０６’の輝度値を周期的に変化させるようにしてもよい。あるいは、画像データと連動しない照明器具２６０１（図４）を配置し、照明器具２６０１の輝度値を周期的に変化させるようにしてもよい。照明器具２６０１は、複数個あってもよい。
【０１３２】
このようなやすらぎ感を提供する方法は、例えば、風景画像などを鑑賞する場合に好適に用いられ得る。
【０１３３】
【発明の効果】
本発明によれば、画像と連動させて照明光を変化させることにより、鑑賞者に高い臨場感を知覚させることができる。
【図面の簡単な説明】
【図１】本発明の照明システム１の構成を示すブロック図
【図２】演算部１２の構成を示すブロック図
【図３】照明器具２０１の構造を示す図
【図４】本発明の照明システム１の照明器具を部屋の中にレイアウトした例を示す図
【図５】１フレーム分の画像データ３００の構造を示す図
【図６】１フレーム分の画像データ３００から照明制御データ４２０が作成される場合のデータの流れを示す図
【図７】照明制御データ作成プログラム１７の処理手順を示す図
【図８】画像表示デバイス１００の入出力特性を示す図
【図９】照明器具２０１の入出力特性を示す図
【図１０】照明制御データ４２０がスムージング処理とフィルタリング処理を施される場合のデータの流れを示す図
【図１１Ａ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１１Ｂ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１１Ｃ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１１Ｄ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１１Ｅ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１１Ｆ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１１Ｇ】１フレーム分の画像データ３００の構造の他の例を示す図
【図１２】鑑賞者１５０の視野を示す図
【図１３】ルックアップテーブルを用いて照明制御データを作成する場合のデータの流れを示す図
【図１４】周辺領域上でサンプリングが行われる画素を示す図
【図１５】画素サンプリング数と照明制御データの作成に必要な時間との関係を示す図
【図１６】フレーム補間を用いて照明制御データを作成する場合のデータの流れを示す図
【図１７Ａ】本発明で用いられる色知覚量の補間方法における色相、明度および彩度の変化の例を示す図
【図１７Ｂ】本発明で用いられる色知覚量の補間方法における色相、明度および彩度の変化の別の例を示す図
【図１８】フレーム１からフレームｎまでの色知覚量の変化を色相関図上に示した図
【図１９】１フレーム分の画像データ３００の中央部分を含む周辺領域として定義された周辺領域１９００を示す図
【図２０】各フレームにおけるＲＧＢ平均値およびＲＧＢ平均値の差分を示す図
【図２１】照明器具が発光する輝度値を一定の周波数で変化させる例を示す図
【図２２】照明器具の輝度値が増加する時の輝度値の時間変化率が、輝度値が減少する時の輝度値の時間変化率よりも大きくなるように輝度値を一定の周波数で変化させる例を示す図
【符号の説明】
１ 照明システム
５ 照明制御データ入力部
１２ 演算部
１８ 映像信号入力部
１００ 画像表示デバイス
２０１〜２０６ 照明器具
４１２ 画像データ
４２０ 照明制御データ[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image display device for displaying image data.Its image display deviceLighting systems and lighting systems used withYouRegarding the law.
[0002]
[Prior art]
In the multimedia era, progress in technological development in the image and sound fields is remarkable. In particular, with the increase in the size of the display, it has become possible to enjoy realistic images. However, increasing the size of the display has limitations on cost and installation space. Therefore, there is a need for a technique that can enhance the sense of reality when viewing images without using a very large display.
[0003]
As one of such techniques, there is a technique for controlling illumination in conjunction with an image. Since the resources and costs required to manufacture lighting devices are much less than those of large displays, the technology that controls lighting in conjunction with images is effective from the perspective of reducing costs, saving energy, and preventing global warming. It is.
[0004]
As a technique for controlling illumination in conjunction with an image, for example, “light color variable illumination device” disclosed in JP-A-3-184203 is known.
[0005]
This prior art considers the remaining part of the image displayed on the screen of the image display device by removing the pixels of the skin color part such as the human face as the background part, and only the RGB signal and the luminance signal of each pixel of the background part are considered. To obtain average chromaticity and average luminance. There is disclosed a method of controlling illumination so that the chromaticity and luminance of the wall surface on the back of the image display device are the same as the average chromaticity and average luminance of the entire screen or the background portion excluding human skin color.
[0006]
[Problems to be solved by the invention]
Since the prior art disclosed in Japanese Patent Laid-Open No. 3-184203 is based on the premise that a single light source is used, a high sense of realism cannot be obtained. In order to obtain a high sense of presence, it is necessary to use a plurality of light sources. However, a technology for obtaining a high sense of presence using a plurality of light sources has not been realized. This is because it was not known how to control a plurality of light sources to obtain a high sense of realism. The prior art disclosed in Japanese Patent Laid-Open No. 3-184203 does not mention the use of a plurality of light sources.
[0007]
  The present invention has been made in consideration of the above-described problems, and an object of the present invention is to provide a lighting system capable of obtaining a high sense of reality., Image display deviceAnd lighting systemYouIs to provide the law.
[0008]
[Means for Solving the Problems]
  An illumination system of the present invention is an illumination system used with an image display device that displays image data, and is controlled based on the calculation unit that creates illumination control data based on the image data, and the illumination control data. A plurality of lighting fixtures, wherein the computing unit cuts out a predetermined region from the image frame of the image data, and the lighting fixture corresponding to the cut-out predetermined region from the image information of the cut-out predetermined region Create the lighting control data to controlAnd when the hue of the predetermined region changes due to the change of the image frame in the image data, the illumination is changed such that the hue is changed after the saturation or brightness of the lighting fixture to be controlled is lowered. Create control dataThis achieves the above object.
  The illumination control method of the present invention is an illumination control method for controlling a lighting fixture in conjunction with image data displayed on an image display device, the step of cutting out a predetermined area from an image frame of the image data, When the hue of a predetermined area cut out from the image frame changes due to a change in the image frame of the image data, the hue is changed after the saturation or lightness of the lighting fixture corresponding to the cut out predetermined area is lowered. The step of creating the lighting control data, and the step of controlling the plurality of lighting fixtures by the lighting control data, thereby achieving the above object.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration of a lighting system 1 according to the present invention. The illumination system 1 is used with the image display device 100.
[0022]
The illumination system 1 receives the video signal 401 and converts it into image data 411, and an arithmetic unit that creates the illumination control data 420 based on the image data 411 and outputs the image data 412 and the illumination control data 420. 12, the illumination control data input unit 5 that receives the illumination control data 420 and converts it into a control voltage 430 that is input to the plurality of lighting fixtures 201 to 206, and the plurality of lighting fixtures 201 to 206.
[0023]
The video signal input unit 18 receives the video signal 401 provided from the video playback device 110 provided outside the illumination system 1, and converts the video signal 401 into image data 411. The image data 411 is output to the calculation unit 12.
[0024]
The video signal input unit 18 can be, for example, a video capture board. The video playback device 110 can be, for example, a DVD-ROM playback device or an S-VHS video playback device. The video signal 401 can be, for example, an S-VHS signal. The video reproduction device 110 may be a television broadcast receiver or a satellite broadcast receiver. The image data 411 and the image data 412 are represented, for example, in the Avi file format, but the format of the image data is not limited to this.
[0025]
FIG. 2 shows the configuration of the calculation unit 12. The calculation unit 12 includes a CPU 10, a main memory 16, and an auxiliary storage device 15. The CPU 10 controls and monitors the entire arithmetic unit 12 and executes an illumination control data creation program 17 stored in the auxiliary storage device 15. The main memory 16 temporarily stores data such as image data 411, image data 412, and illumination control data 420, and data necessary for executing the illumination control data creation program 17. The main memory 16 is accessed by the CPU 10.
[0026]
The auxiliary storage device 15 stores an illumination control data creation program 17. The auxiliary storage device 15 may be used to temporarily store data such as the image data 411, the image data 412, and the illumination control data 420. In the auxiliary storage device 15, any recording medium can be used as a recording medium for storing the illumination control data creation program 17. For example, a recording medium such as a hard disk, MO, floppy disk, MD, DVD, IC card, or optical card can be used preferably.
[0027]
The calculation unit 12 receives the image data 411 and creates illumination control data 420 based on the image data 411. The created illumination control data 420 is output in synchronization with the image data 412. For example, the arithmetic unit 12 temporarily stores the received image data 411 in the auxiliary storage device 15, creates the illumination control data 420 based on the image data stored in the auxiliary storage device 15, and the illumination control data 420 and the image The data 412 may be output at the same timing.
[0028]
Alternatively, the image data 411 is delayed by the time necessary for creating the illumination control data 420 and output as the image data 412, so that the illumination control data 420 and the image data 412 are output at the same time while receiving the image data 411. You may make it do. In this manner, the process of outputting the illumination control data 420 and the image data 412 at the same time while receiving the image data 411 is referred to as a near real time process. Note that outputting at the same timing means outputting the image data 412 and the corresponding illumination control data 420 at the same time.
[0029]
FIG. 3 shows the structure of the lighting fixture 201. The lighting fixture 201 includes fluorescent tubes 3R, 3G and 3B and lighting circuits 7R, 7G and 7B. The fluorescent tubes 3R, 3G and 3B are assigned to R (red), G (green) and B (blue) color elements, respectively. Each of the lighting circuits 7R, 7G, and 7B is, for example, an inverter lighting circuit. By inputting the control voltage 430 to the lighting circuits 7R, 7G and 7B, the fluorescent tubes 3R, 3G and 3B emit light with a luminance value corresponding to the control voltage 430. The luminance values of the fluorescent tubes 3R, 3G and 3B can be controlled independently. For example, if each of the fluorescent tubes 3R, 3G, and 3B is controlled with 256 gradations by a control voltage of 0 to 5 V, for example, the lighting fixture 201 emits light of about 16.7 million (= 256 × 256 × 256). It is possible. Note that the number of fluorescent tubes included in the lighting fixture 201 is not limited to three. For example, a plurality of fluorescent tubes corresponding to color elements having a low luminance value may be used to supplement the luminance value.
[0030]
Each of the lighting fixtures 202 to 206 used in the lighting system 1 may have the same structure as the lighting fixture 201.
[0031]
FIG. 4 shows an example in which lighting fixtures included in the lighting system 1 of the present invention are laid out in a room.
[0032]
The lighting fixture 201 is disposed near the ceiling above the image display device 100. The lighting fixture 202 is disposed near the floor behind the image display device 100. The luminaire 204 and the luminaire 203 are disposed near the right ceiling and the floor of the image display device 100, respectively. The luminaire 206 and the luminaire 205 are disposed near the ceiling and the floor on the left side of the image display device 100, respectively. Here, the right side and the left side are defined based on the viewer 150 who appreciates the image data displayed on the image display device 100.
[0033]
The lighting fixtures 203 'to 206' and the lighting fixtures 2055 and 2601 will be described later. The lighting fixtures 203 ′ to 206 ′ and the lighting fixtures 2055 and 2601 may have the same structure as the lighting fixture 201.
[0034]
Below, how the some lighting fixtures 201-206 are controlled is demonstrated.
[0035]
FIG. 5 shows the structure of image data 300 for one frame. The image data 300 for one frame includes a plurality of peripheral areas 301 to 306. Image data is represented as a time series of frames. The number of frames included in one-second image data is, for example, 30 frames.
[0036]
The basic method of controlling the plurality of lighting fixtures 201 to 206 in conjunction with the image data is perceived as the plurality of peripheral regions shown in FIG. 5 extending outward from the center 309 of the image data 300. In this way, a plurality of lighting fixtures are controlled. Specifically, the lighting fixture 201 is controlled so that the representative color of the peripheral region 301 of the image data 300 is substantially the same as the color emitted by the lighting fixture 201. Similarly, the plurality of colors are set so that the representative colors of the peripheral regions 302, 303, 304, 305, and 306 are substantially the same as the colors emitted by the lighting fixtures 202, 203, 204, 205, and 206, respectively. The lighting fixtures 202 to 206 are controlled.
[0037]
An area 351 (an area shown by hatching in FIG. 5) obtained by extending the peripheral area 301 shown in FIG. 5 outward from the center 309 of the image display device 100 is referred to as an extended area of the peripheral area 301. The luminaire associated with the peripheral region 301 is disposed in the extended region 351 of the peripheral region 301. Or the lighting fixture matched with the peripheral region 301 may be arrange | positioned so that it may be arrange | positioned in areas other than the extension area | region 351, and the extension area | region 351 may be illuminated. In this way, the luminaire associated with each peripheral area illuminates each extension area. By controlling a plurality of lighting fixtures in this way, the viewer 150 can perceive that the image is extended outward and can obtain a high sense of realism.
[0038]
FIG. 6 shows a data flow when the illumination control data 420 is created from the image data 300 for one frame. The illumination control data 420 is created based on the image information 455 of the peripheral areas 301 to 306 of the image data 300 for one frame. The process of creating the illumination control data based on the image information 455 of the peripheral areas 301 to 306 is performed by executing the illumination control data creation program 17 in the calculation unit 12. The illumination control data 420 includes dimming signal 421 to dimming signal 426. The dimming signal 421 to the dimming signal 426 are dimming signals for controlling the lighting fixtures 201 to 206, respectively. The dimming signal has three input levels V for controlling the fluorescent tubes 3R, 3G and 3B assigned to the R, G and B color elements included in the luminaire._RM', V_GM'And V_BM'including. Input level V_RM', V_GM'And V_BMEach of ′ is represented by 0 to 5 V, for example.
[0039]
A dimming signal 421 for controlling the lighting fixture 201 is created based on the image information of the peripheral region 301 of the image data 300. Similarly, dimming signals 422 to 426 for controlling the lighting fixtures 202 to 206 are created based on the image information of the peripheral areas 302 to 306 of the image data 300.
[0040]
FIG. 7 shows a processing procedure of the illumination control data creation program 17. The illumination control data creation program 17 is executed for each frame of image data, and one illumination control data 420 is created for each frame. Hereinafter, the processing procedure of the illumination control data creation program 17 will be described for each step.
[0041]
Step S1: One frame worth of image data is read into the main memory 16 (FIG. 2). The image data may be read directly from the video signal input unit 18 into the main memory 16, or the image data once stored in the auxiliary storage device may be read into the main memory 16. The read image data includes a plurality of peripheral areas. The arrangement of the plurality of peripheral areas is predetermined. For the description of the following processing procedure, one of the peripheral areas included in the image data is referred to as a peripheral area D.
[0042]
Step S2: A representative color representing the peripheral area D is defined. The peripheral region D includes a plurality of pixels, and each pixel includes three subpixels assigned to three color elements R (red), G (green), and B (blue). The image data includes information (image information) for causing these sub-pixels to emit light at a desired luminance level. The luminance level of each of the three sub-pixels assigned to the three color elements R (red), G (green), and B (blue) included in a pixel is represented by V_R, V_GAnd V_BAnd Luminance level V_R, V_GAnd V_BIs represented by a value from 0 to 255, for example, but is not limited thereto. Luminance level V_RIs a value obtained by averaging (simple average) over all pixels included in the peripheral region D._RMBrightness level V_GIs a value obtained by averaging V over all pixels included in the peripheral region D._GMBrightness level V_BIs a value obtained by averaging V over all pixels included in the peripheral region D._BMThen, the representative color of the peripheral region D is (V_RM, V_GM, V_BM).
[0043]
Step S3: Input / output correction of the image display device is performed. That is, the representative color (V_RM, V_GM, V_BM) Is the brightness value (L_RM, L_GM, L_BM). This input / output correction of the image display device will be described later with reference to FIG.
[0044]
Step S4: Luminance value after input / output correction of the image display device (L_RM, L_GM, L_BM) Is the color amount (X_C, Y_C, Z_C). This conversion is performed by the relational expression shown in the following expression (1).
[0045]
[Expression 1]

[0046]
However, M_DISIs a 3 × 3 matrix depending on the characteristics of the image display device. Color amount (X_C, Y_C, Z_C) Is a color amount that does not depend on the characteristics of the image display device.
[0047]
Step S5: Color amount (X_C, Y_C, Z_C) Is converted into color perception amounts (H, L, C). Each of H, L, and C represents hue, lightness, and saturation. This conversion is performed by the relational expressions shown in the following expressions (2) to (6).
[0048]
a = 500 [(X_C/ X_n)^(1/3)+ (Y_C/ Y_n)^(1/3)] (2)
b = 200 [(Y_C/ Y_n)^(1/3)+ (Z_C/ Z_n)^(1/3)] (3)
H = atan (b / a) (4)
L = 116 (Y_C/ Y_n)^(1/3)-16 (5)
C = (a²+ B²)^(1/2)  (6)
X_n, Y_nAnd Z_nIs a constant.
[0049]
Step S6: Color correction is performed, and corrected color perception amounts (H ′, L ′, C ′) are obtained. Color correction is performed by the relational expressions shown in the following expressions (7) to (9).
[0050]
H '= H + P_H  (7)
L ′ = L × P_L  (8)
C ′ = C × P_C  (9)
Where P_C, P_HAnd P_LAre parameters for color correction. In this way, by performing color correction on the color perception amounts (H, L, C), color correction can be performed independently for each of hue, brightness, and saturation. For example, in formulas (7) to (9), P_H= 0, P_L= 1 and P_CBy performing color correction such that = 1.1, it is possible to perform color correction that emphasizes only the saturation, that is, the vividness of the color. Color correction may be arbitrarily performed according to the taste of the viewer.
[0051]
Step S7: The corrected color perception amount (H ′, L ′, C ′) is a color amount (X_C', Y_C', Z_C′). This conversion is performed by the relational expressions shown in the following expressions (10) to (14).
[0052]
a = C ′ × cosH (10)
b = C ′ × sinH (11)
Y_C'= [(L + 16) / 116]^Three× Y_n  (12)
X_C′ = [A / 500 + (Y_C'/ Y_n)^(1/3)]^Three× X_n  (13)
Z_C′ = [− B / 200 + (Y_C'/ Y_n)^(1/3)]^Three× Z_n  (14)
Step S8: Color amount (X_C', Y_C', Z_C′) Is the luminance value (L) of the luminaire associated with the peripheral region D_RM', L_GM', L_BM′). This conversion is performed by the relational expression shown in the following expression (15).
[0053]
[Expression 2]

[0054]
However, M_LAMPIs a 3 × 3 matrix that depends on the characteristics of the luminaire associated with the peripheral region D. L_RM', L_GM'And L_BM'Is a luminance value emitted by the fluorescent tubes 3R, 3G, and 3B assigned to the R, G, and B color elements included in the lighting fixture. The unit of the luminance value is, for example, [cd / cm²].
[0055]
Step S9: Input / output correction of the lighting fixture is performed. That is, the luminance value (L_RM', L_GM', L_BM′) Is a dimming signal (V_RM', V_GM', V_BM′). V_RM', V_GM'And V_BM'Represents the luminance value L for each of the fluorescent tubes 3R, 3G, and 3B included in the lighting fixture._RM', L_GM'And L_BMThis is the input level necessary for emitting light with '. The input / output correction of the lighting fixture will be described later with reference to FIG.
[0056]
Step S10: It is determined whether or not the processing in steps S2 to S9 has been completed for all peripheral areas included in the image data for one frame. If this determination is Yes, the process of creating illumination control data for one frame of image data ends. The illumination control data is defined as a set of dimming signals for all peripheral areas included in the image data for one frame. If said determination is No, a process will return to step S2 and a process will be performed about another peripheral region.
[0057]
Note that, in step S6 of the processing procedure shown in FIG._H= 0, P_L= 1, P_C= 1, the color amount (X_C, Y_C, Z_C) And the color amount (X_C', Y_C', Z_C') Is the same. In this case, steps S5 to S7 can be omitted.
[0058]
FIG. 8 shows input / output characteristics of the image display device 100. In FIG. 8, the horizontal axis V_RRepresents the luminance level of the color element R (red) input to the image display device 100, and the vertical axis L_RRepresents the output level of the image display device 100, that is, the luminance value of the color element R (red). The luminance level is represented by a value of 0 to 255, for example, and the luminance value is, for example, cd / cm.²It is represented by V_RAnd L_RIs expressed by the following equation (16).
[0059]
L_R= F_RDIS(V_R(16)
Where function f_RDISIs a function indicating the input / output characteristics of the color element R (red) of the image display device 100. Such a function indicating input / output characteristics is defined by a polynomial, for example, and incorporated in the illumination control data creation program 17.
[0060]
Although the input / output characteristics are shown only for the color element R (red) in FIG. 8, the input / output characteristics for the color element G (green) and the color element B (blue) are similarly expressed by the function f._GDISAnd function f_BDISAs a representative color (V in step S3 of FIG. 7)._RM, V_GM, V_BM) Is the luminance value (L_RM, L_GM, L_BM) Is performed by the following equations (17) to (19).
[0061]
L_RM= F_RDIS(V_RM(17)
L_GM= F_GDIS(V_GM(18)
L_BM= F_BDIS(V_BM(19)
The dotted line in FIG._RMTo L_RMIs shown.
[0062]
FIG. 9 shows input / output characteristics of the lighting fixture 201. Horizontal axis V_R'Represents the input level of the color element R (red) input to the illumination control data input unit 5 as a dimming signal for the luminaire 201, and_R'Represents the output level of the luminaire 201, that is, the luminance value of the color element R (red). The input level is represented by a value of 0 to 5 V, for example, and the luminance value is, for example, cd / cm.²It is represented by V_R'And L_RThe relationship with ′ is expressed by the following equation (20).
[0063]
L_R'= F_RLAMP(V_R′) (20)
Where function f_RLAMPIs a function indicating the input / output characteristics for the color element R (red) of the luminaire 201. Such a function indicating input / output characteristics is defined by a polynomial, for example, and incorporated in the illumination control data creation program 17.
[0064]
Although FIG. 9 shows the input / output characteristics only for the color element R (red) of the lighting fixture 201, the input / output characteristics for the color element G (green) and the color element B (blue) are similarly expressed by the function f._GLAMPAnd function f_BLAMPIs defined as the luminance value (L in step S9 in FIG. 7)._RM', L_GM', L_BM′) The dimming signal (V_RM', V_GM', V_BMThe process of converting to ') is performed by the following equations (21) to (23).
[0065]
V_RM'= F_RLAMP ^-1(L_RM’) (21)
V_GM'= F_GLAMP ^-1(L_GM′) (22)
V_BM'= F_BLAMP ^-1(L_BM′) (23)
A dotted line in FIG._RM’To V_RMIt shows how 'is obtained.
[0066]
The input / output characteristics of the lighting fixtures 202 to 206 are also defined as functions, like the input / output characteristics of the lighting fixture 201.
[0067]
The illumination control data 420 is generated by the processing procedure described above. The lighting control data 420 may be further smoothed and filtered.
[0068]
FIG. 10 shows a data flow when the illumination control data 420 is subjected to smoothing processing and filtering processing. The smoothing process and the filtering process are performed in order to eliminate a feeling of strangeness when changing the illumination light. When the viewer views the video in an environment where the illumination light changes in conjunction with the video, the illumination light affects the viewer's peripheral visual field, so the viewer is extremely concerned if the illumination light changes rapidly or flickers. I feel a sense of discomfort. In order to prevent such a sense of incongruity, a smoothing process is performed. The smoothing process is performed, for example, by obtaining a moving average between the illumination control data created from the previous frame and the illumination control data created from the current frame. The number of frames used for the moving average is, for example, 4 frames. As the number of frames used for the moving average is increased, lighting control data with a gentle change is created. That is, the amount of change per unit time of the luminance value of the illumination light is suppressed.
[0069]
The filtering process is a process of cutting a dimming signal below a predetermined level included in the illumination control data. Flickering can be prevented by cutting the dimming signal at the boundary between lighting and non-lighting. The predetermined level is, for example, the level of the dimming signal having a value of 25% of the dimming signal for lighting the lighting fixture with the maximum luminance value.
[0070]
As described above, the illumination control data 420 is subjected to the smoothing process 703 and the filtering process 704 to become the smoothed and filtered illumination control data 420 ′. The smoothed and filtered illumination control data 420 ′ is input to the illumination control data input unit 5.
[0071]
In step S2 of the processing procedure shown in FIG. 7, the representative color is defined by obtaining a simple average of the luminance levels of R, G, and B of the pixels included in the peripheral region. The representative color may be defined by obtaining a maximum histogram of R, G, and B luminance levels. For example, when the peripheral region includes a red region and a green region, the representative color defined by obtaining a simple average of the luminance levels of R, G, and B is a color that is neither red nor green (for example, white ) May occur. In this case, there is a sense of incongruity when illumination light having substantially the same color as the representative color is irradiated onto the extended region of the peripheral region, which is not preferable. When the representative color is defined by obtaining the maximum histogram, the color of the region having the larger area among the red region and the green region included in the peripheral region becomes the representative color. When the representative color is obtained in this manner, it is preferable that the illumination light having substantially the same color as the representative color is irradiated on the extension region of the peripheral region without feeling uncomfortable.
[0072]
Further, the number of lighting fixtures included in the lighting system 1 is not limited to six. For example, as shown in FIG. 4, the lighting system 1 may control ten lighting fixtures 203 ′, 204 ′, 205 ′, and 206 ′ in addition to the lighting fixtures 201 to 206. . The luminaires 203 ′, 204 ′, 205 ′, and 206 ′ are arranged outside the luminaires 203, 204, 205, and 206, respectively, in the view of the viewer 150. In addition, the peripheral area and the lighting fixture do not have to correspond one-to-one. For example, any of the lighting fixtures 205 ′ and 205 shown in FIG. 4 may be associated with the peripheral region 305 shown in FIG. 5. Further, the lighting system 1 may not include the lighting fixture 205, and the lighting fixture 205 'may be associated with the peripheral region 305 shown in FIG.
[0073]
Further, the control method of the lighting device may be changed according to the viewing angle of the viewer 150. The viewing angle of the viewer 150 is different between the lighting fixture 205 ′ and the lighting fixture 205. That is, the luminaire 205 is closer to the center of the visual field of the viewer 150 than the luminaire 205 ′. Even if the light emission colors of the lighting fixture 205 and the lighting fixture 205 ′ are the same, the viewing angle of the viewer 150 is different, so that the impression that the lighting fixture 205 gives to the viewer 150 and the lighting fixture 205 ′ are the viewer 150. It is different from the impression given to. In general, the lighting fixture 205 ′ may be controlled so that the luminance value thereof is lower than that of the lighting fixture 205 because the peripheral portion of the visual field is easily felt. Such control is executed, for example, by appropriately selecting parameters for color correction in step S6 of the processing procedure shown in FIG. 7 according to the arrangement of the lighting fixtures.
[0074]
The relationship between the luminaire 206 ′ and the luminaire 206, the relationship between the luminaire 203 ′ and the luminaire 203, and the relationship between the luminaire 204 ′ and the luminaire 204 are also described above. It is the same as the relationship.
[0075]
The method for defining the peripheral region in the peripheral part of the image data is not limited to the definition method shown in FIG.
[0076]
11A to 11G show other examples of the structure of the image data 300 for one frame. The peripheral area included in the image data is defined in advance as shown in FIGS. 11A to 11G according to the number and arrangement of the lighting fixtures of the lighting system 1.
[0077]
The peripheral portion of the image data 300 for one frame shown in FIG. 11A includes peripheral regions 1102, 1103, 1104, 1105, and 1106. Such a peripheral region defining method is, for example, that the lighting fixtures included in the lighting system 1 are lighting fixtures 201, 203, 203 ′, 204, 204 ′, 205, 205 ′, 206 and 206 ′ shown in FIG. It can be used in some cases. The luminaire 201 is associated with the peripheral area 1103. The luminaire 203 and / or 203 ′ is associated with the peripheral area 1106. The luminaire 205 and / or 205 ′ is associated with the peripheral area 1105. The luminaire 206 and / or 206 ′ is associated with the peripheral area 1102. The luminaire 204 and / or 204 ′ are associated with the peripheral area 1104. The lighting fixtures 205 and 203 may be omitted, or the lighting fixtures 205 'and 203' may be omitted. Also, the lighting fixtures 206 and 204 may be omitted, or the lighting fixtures 206 'and 204' may be omitted.
[0078]
Image data 300 for one frame shown in FIG. 11B includes a peripheral area 1108. Such a peripheral region defining method can be used, for example, when the lighting fixtures included in the lighting system 1 are the lighting fixtures 201, 204, and 206 shown in FIG. The lighting fixtures 201, 204, and 206 are associated with the peripheral region 1108. The lighting fixtures 204 and 206 may be omitted.
[0079]
Image data 300 for one frame shown in FIG. 11C includes peripheral areas 1109 and 1110. Such a peripheral region defining method can be used, for example, when the lighting fixtures included in the lighting system 1 are the lighting fixtures 201, 206, 204, 205, 202, and 203 shown in FIG. The lighting fixtures 201, 206, and 204 are associated with the peripheral region 1109. The lighting fixtures 205, 202, and 203 are associated with the peripheral region 1110. The lighting fixtures 206 and 204 may be omitted. Also, the lighting fixtures 205 and 203 may be omitted.
[0080]
Image data 300 for one frame shown in FIG. 11D includes peripheral regions 1111 and 1112. Such a method of defining the peripheral region can be used, for example, when the lighting fixtures included in the lighting system 1 are the lighting fixtures 203, 204, 205, and 206 shown in FIG. The lighting fixtures 205 and 206 are associated with the peripheral area 1111. The lighting fixtures 204 and 203 are associated with the peripheral region 1112. The lighting fixtures 206 and 204 may be omitted, or the lighting fixtures 205 and 203 may be omitted.
[0081]
Image data 300 for one frame shown in FIG. 11E includes peripheral areas 1113, 1114, 1115, and 1116. For example, the lighting device included in the lighting system 1 is a lighting device 203, 203 ′, 204, 204 ′, 205, 205 ′, 206 and 206 ′ shown in FIG. Can be used in some cases. The lighting fixture 203 and / or 203 ′ is associated with the peripheral area 1116. The luminaire 205 and / or 205 ′ is associated with the peripheral area 1114. The luminaire 206 and / or 206 ′ is associated with the peripheral area 1113. The luminaire 204 and / or 204 ′ are associated with the peripheral area 1115. The lighting fixtures 205 and 203 may be omitted, or the lighting fixtures 205 'and 203' may be omitted. Also, the lighting fixtures 206 and 204 may be omitted, or the lighting fixtures 206 'and 204' may be omitted.
[0082]
Image data 300 for one frame shown in FIG. 11F includes peripheral areas 1117, 1118, and 1119. Such a peripheral region defining method can be used, for example, when the lighting fixtures included in the lighting system 1 are the lighting fixtures 201, 206, 204, 205, and 203 shown in FIG. The lighting fixtures 205 and 206 are associated with the peripheral region 1117. The lighting fixtures 204 and 203 are associated with the peripheral area 1119. The lighting fixture 201 is associated with the peripheral area 1118. The lighting fixtures 203 and 205 may be omitted, or the lighting fixtures 206 and 204 may be omitted.
[0083]
The image data 300 for one frame shown in FIG. 11G includes peripheral areas 1120, 1121, 1122, 1123, and 1124. Such a peripheral region defining method is, for example, that the lighting fixtures included in the lighting system 1 are the lighting fixtures 202, 203, 203 ′, 204, 204 ′, 205, 205 ′, 206 and 206 ′ shown in FIG. Can be used. The lighting fixture 202 is associated with the peripheral region 1123. The luminaire 203 and / or 203 ′ is associated with the peripheral area 1124. The luminaire 205 and / or 205 ′ is associated with the peripheral area 1122. The luminaire 206 and / or 206 ′ is associated with the peripheral area 1120. The luminaire 204 and / or 204 ′ or both are associated with the peripheral area 1121. The lighting fixtures 205 and 203 may be omitted, or the lighting fixtures 205 'and 203' may be omitted. Also, the lighting fixtures 206 and 204 may be omitted, or the lighting fixtures 206 'and 204' may be omitted.
[0084]
In the above, with reference to FIG. 11A-FIG. 11G, the structure of the illumination system 1 and the variation of the method of defining a peripheral region in the peripheral part of image data were demonstrated. Variations of the configuration of the illumination system 1 and the method of defining the peripheral region in the peripheral part of the image data are not limited to FIGS. 11A to 11G. The lighting system 1 may have a lighting fixture that is not associated with any surrounding area. If at least one of the plurality of lighting fixtures included in the lighting system 1 is controlled so as to be linked to one corresponding peripheral region among the plurality of peripheral regions, a high sense of realism can be obtained, and the effect of the present invention can be achieved. can get.
[0085]
As the number of peripheral regions in the peripheral part and the number of lighting fixtures included in the lighting system 1 increase, the cost increases and the amount of calculation for creating lighting control data also increases. The number of peripheral areas is appropriately determined in consideration of the effects of cost reduction and realism improvement. For example, the number of the peripheral regions shown in FIG. 11D and the number of the peripheral regions shown in FIG. 11C are both two, but the peripheral region is positioned in the vertical direction when the peripheral region is positioned in the horizontal direction. The effect of improving the sense of reality is greater than that. Therefore, the definition method of the peripheral region shown in FIG. 11D is preferable to the definition method of the peripheral region shown in FIG. 11C. Considering the effects of cost reduction and realism improvement, the number of peripheral regions is generally preferably about 2 to 4 (for example, FIG. 11D and FIG. 11E), but the present invention is not limited to this.
[0086]
In general, more lighting fixtures can control lighting in response to detailed changes in the image, but on the other hand, the lighting system becomes larger and the creation of lighting control data becomes complicated and the time required for creation increases. Both the introduction cost and the calculation cost increase. Therefore, it is necessary to increase the sense of presence by using a limited number of lighting fixtures. A method for enhancing the realistic effect using a limited number of lighting fixtures will be described below.
[0087]
FIG. 12 shows the field of view of the viewer 150. The center line (reference line) of the visual field of the viewer 150 is assumed to be at the center O of the image data displayed on the image display device. The viewer 150 has a central field of view 502 corresponding to a region of less than 30 ° left and right with respect to the reference line as a base point, and a peripheral field of view 503 of 30 ° to 100 ° right and left (shown in FIG. 12). Hatched area). The sensitivity of the human eye varies depending on the location within the field of view. The vicinity of the center of the visual field is sensitive to differences in brightness and color, and the peripheral part of the visual field is sensitive to movement. The present inventors evaluated the effect of improving the presence in the following three cases with respect to the arrangement of the lighting fixtures.
[0088]
(A) When a lighting fixture is arranged only in the central visual field.
[0089]
(B) When a lighting fixture is arranged only in the peripheral visual field.
[0090]
(C) When a lighting fixture is arranged in the central visual field and the peripheral visual field.
[0091]
The above (a) is realized by using the lighting fixtures in the background portion of the image display device 100 (the lighting fixtures 201 and 202 shown in FIG. 4). The above (b) was realized by using the lighting fixtures 203, 204, 205 and 206 shown in FIG. The above (c) is realized by using the lighting fixtures 201, 202, 203, 204, 205 and 206 shown in FIG.
[0092]
The effect of improving the sense of presence is (c)> (b)> (a) in the above three cases, and the effect of improving the sense of presence is sufficiently high even in the case of (b) in which the lighting apparatus is arranged only in the peripheral visual field. was gotten. This is because, as already described, the human visual field moves more in the peripheral visual field, i.e., it is more sensitive to changes and can fully sense the change in light emission of the luminaire. The positional relationship between the viewer's field of view and the lighting fixture also varies depending on the size of the viewing room and the position of the viewer, but in general the central field of view corresponds to the front of the room and the peripheral field of view is the side of the viewing room. It corresponds to.
[0093]
In the case of (b) above, the luminance value irradiated from the illumination device having the peripheral visual field is higher than the luminance value irradiated from the lighting device having the central visual field. On the other hand, in the case of the above (a), the luminance value irradiated from the lighting device having the central visual field is higher than the luminance value irradiated from the lighting device having the peripheral visual field. In this way, in order to improve the sense of reality by using limited lighting fixtures, the luminance value irradiated from the lighting fixture in the peripheral visual field is the luminance value irradiated from the lighting fixture in the central visual field. It is a basic condition to make it higher. Therefore, for example, it is preferable to use the peripheral region defining method shown in FIG. 11E.
[0094]
The above description has been given for the above three cases (a), (b), and (c), but the present invention is not limited to the arrangement of these lighting fixtures. As long as the luminance value emitted from the luminaire in the peripheral field of view (or illuminates in the peripheral field of view) is higher than the luminance value emitted from the luminaire in the central field of view (or illuminates in the central field of view) , Can improve the sense of reality by lighting.
[0095]
The size of each peripheral area may be arbitrarily determined. In general, the smaller the size of the peripheral region, the better the average color of the peripheral region perceived by humans and the representative color obtained by calculating the simple average of RGB as described above, that is, the color Reproducibility is improved. However, if the size of the surrounding area is small, if the surrounding area happens to contain an image of a relatively small object (for example, a scene where a bird flew in a landscape image), the color of the relatively small object May become the representative color of the peripheral region, that is, noise resistance is degraded. The size of the peripheral region is appropriately determined from the viewpoint of such color reproducibility and noise resistance.
[0096]
In the above description, the lighting apparatus uses fluorescent tubes assigned to R (red), G (green), and B (blue) color elements, but the color elements are not limited to R, G, and B. . For example, C (cyan), Y (yellow), and M (magenta) may be used as color elements. Moreover, you may light-emit a lighting fixture other than a fluorescent tube. For example, light may be emitted by a light emitting diode (LED). Three light emitting diodes of R (red), G (green) and B (blue) constitute one illumination element, and this one illumination element is composed of one pixel included in the peripheral area of the image data And may be controlled in association with each other. A single lighting fixture may include a plurality of such lighting elements. In this case, the peripheral region can be controlled by associating and controlling the pixels included in the peripheral region and the lighting elements included in the luminaire associated with the peripheral region without defining the representative color of the peripheral region. The color perceived as a whole and the color perceived as a whole lighting fixture can be made substantially the same.
[0097]
The lighting fixture may be direct illumination or indirect illumination. For example, the lighting fixture 202 shown in FIG. 4 is arranged behind the image display device 100 and is configured to illuminate the back wall surface by indirect lighting, but the lighting fixture 202 is arranged on the front surface of the image display device 100. It may be. Moreover, you may make it the structure which uses the spot lighting fixture as a lighting fixture and illuminates the wall surface of an appreciation room. When making it the structure which a lighting fixture illuminates a wall surface, it is preferable that the color of a wall surface is white. Further, the size of the viewing room in which the illumination system 1 is arranged is not limited to the example shown in FIG. For example, the lighting system 1 may be used in a large space such as a public space in a movie theater or a nursing home.
[0098]
Further, the lighting control data may be distributed via the Internet or the like. The illumination control data may be distributed by a carrier wave. Thus, when the illumination control data is distributed, the illumination system 1 (FIG. 1) may not have the video signal input unit 18 and the calculation unit 12. In other words, the lighting system 1 only needs to include the lighting control data input unit 5 and a plurality of lighting fixtures. Further, the illumination control data may be distributed together with the video signal without being distributed alone.
[0099]
When the illumination system 1 (FIG. 1) has the calculation unit 12 and creates illumination control data by near real-time processing, the computation time required to create illumination control data from one frame of image data is shortened. It is necessary to. For example, a video signal based on the NTSC signal includes 30 frames per second. In this case, the image data also includes 30 frames per second, and it is necessary to create illumination control data for each of these frames. Calculations required to create illumination control data from one frame of image data by using a method using a look-up table, a method for performing pixel sampling, and a method for performing frame interpolation, either alone or in combination with others Time can be shortened. These methods are described below.
[0100]
FIG. 13 shows a data flow when creating illumination control data using a lookup table. First, the representative color 802 of the peripheral area is obtained from the image data 411. This processing procedure is the same as steps S1 to S2 of the processing procedure shown in FIG. Next, a lookup table created in advance is searched using the representative color 802 as a key (processing 803), and illumination control data 420 is created. Thereby, steps S3 to S9 of the processing procedure shown in FIG. 7 are replaced by the look-up table processing 803, and the time required for creating the illumination control data is greatly shortened.
[0101]
Next, a method for performing pixel sampling will be described.
[0102]
FIG. 14 shows the pixels that are sampled on the peripheral area. A hatched rectangle indicates a pixel to be sampled, and a non-hatched rectangle indicates a pixel that is not sampled. If the representative color is defined by calculating the average of the color elements R, G and B only for the sampled pixels, the calculation time required to define the representative color is reduced. That is, the calculation time required for step S2 of the processing procedure shown in FIG. 7 is shortened.
[0103]
FIG. 15 shows the relationship between the number of pixel samplings and the time required for creating illumination control data. The time required for creating the illumination control data is represented by 100 as the time required for creating the illumination control data when the pixel sampling number is 0, that is, when pixel sampling is not used. A pixel sampling number of 1 represents sampling every other pixel in the peripheral area. As shown in FIG. 15, by performing pixel sampling, the time required for creating the illumination control data can be shortened to about 1/3 as compared with the case where pixel sampling is not used. Even if the number of pixel sampling is increased to 5 or more, the effect of shortening the time required for creating the illumination control data is almost lost. Accordingly, the sampling number of pixels is preferably about 1 to 5, but is not limited thereto. Note that when the number of pixel samplings is about several, the illumination control data created using pixel sampling is not significantly different from the case where pixel sampling is not used.
[0104]
FIG. 16 shows a data flow when creating illumination control data using frame interpolation. n is an integer of 3 or more, and frames 1 to n are temporally adjacent frames. Also, the peripheral area D₁~ D_nAre peripheral regions included in frames 1 to n, respectively, and these peripheral regions are peripheral regions at the same position in the frame. D included in frame 1 and frame n₁And D_n, The color perception amount 1601 is obtained by steps S2 to S6 of the processing procedure shown in FIG. D included in frame 2 to frame (n-1)₂~ D_n-1, The color perception amount 1650 is obtained by interpolating the color perception amount 1601 of both the frame 1 and the frame n. According to this method, since the time for processing the image data of all frames can be shortened, the time for creating the illumination control data can be shortened.
[0105]
With respect to the frame 1 and the frame n, the color perception amount 1601 is obtained from the dimming signal 1611 by steps S7 to S9 of the processing procedure shown in FIG. Created.
[0106]
Similarly, with respect to the frames 2 to (n−1), the dimming signal 1611 is obtained from steps S7 to S9 of the processing procedure shown in FIG. Lighting control data 1621 is created by obtaining a dimming signal for.
[0107]
The color perception amount interpolation method used in the present invention will be described below. In the image data of a series of scenes, the color perception amount can be simply interpolated. However, when the image data of frame 1 and frame n represent completely different scenes, simple interpolation of the color perception amount causes a problem. For example, the peripheral area D of the frame 1₁Color perceived amount (H₁', L₁', C₁') Of hue H₁'Represents cyan and the peripheral region D of frame n_nColor perceived amount (H_n', L_n', C_n') Of hue H_nWhen ′ represents yellow, the color perception amount (H₁', L₁', C₁′) And perceived color (H_n', L_n', C_n') Is simply interpolated for each hue, lightness, and saturation, a hue representing green appears. When interpolating the color perception amount, it is not preferable that a hue completely different from the representative color of the original image data is perceived. This is because if a completely different hue is perceived, the viewer feels uncomfortable. According to the color perception amount interpolation method used in the present invention, it is possible to prevent an intermediate hue from being perceived during interpolation.
[0108]
FIG. 17A shows an example of changes in hue, brightness, and saturation in the color perception amount interpolation method used in the present invention. A curve 1701 represents the relationship between the frame number and the hue. Since the frame number corresponds to time, the curve 1701 represents the temporal change in hue. Similarly, a curve 1702 represents a temporal change in brightness, and a curve 1703 represents a temporal change in saturation. In the example shown in FIG. 17A, the hue, brightness, and saturation are set to H.₁’To H_n‘L’₁'To L_nUntil ‘C’₁'To C_nWhen interpolating to ′, the lightness and saturation are respectively L₁'And C₁After changing to a predetermined value smaller than ', the hue is H₁’To H_nIs interpolated to change to ', and the hue is H_nAfter changing to ', the brightness and saturation are respectively L_n'And C_nInterpolation is performed so as to change to '. The predetermined value is a value of brightness or saturation that makes it difficult to perceive a change in hue. Input level V for each color element of the dimming signal included in the illumination control data for a certain frame_RM', V_GM'And V_BM'Is obtained from the hue H', the lightness L ', and the saturation C' by the conversion shown in the above equations (7) to (23). That is, the input level V for each color element of the dimming signal included in the illumination control data_RM', V_GM'And V_BM'Corresponds to hue H', lightness L ', and saturation C'. Hue H ′, lightness L ′, and saturation C ′ can be regarded as a hue component, a lightness component, and a saturation component of light emitted from the lighting fixture controlled by the dimming signal, respectively.
[0109]
When the hue changes between the frame 1 and the frame n, if the hue is changed after the lightness and the saturation are lowered, the uncomfortable feeling due to the change in the hue of the light emitted from the luminaire is reduced. This is because when the saturation and brightness are low, the difference in hue becomes difficult to perceive.
[0110]
Note that, as an interpolation method for reducing a sense of incongruity due to a change in hue, the hue may be changed after either one of saturation or lightness is reduced. Even when one of saturation and lightness is low, a difference in hue is hardly perceived.
[0111]
FIG. 17B shows another example of changes in hue, brightness, and saturation in the color perception amount interpolation method used in the present invention. Curves 1711, 1712, and 1713 represent changes in hue, lightness, and saturation over time, respectively. In the example shown in FIG. 17B, the hue, brightness, and saturation are set to H.₁’To H_n‘L’₁'To L_nUntil ‘C’₁'To C_1nWhen interpolating up to ', the saturation is C₁After changing to a value smaller than ', the hue is H₁’To H_nIs interpolated to change to ', and the hue is H_nAfter changing to ', the saturation is C_nInterpolation is performed so as to change to '. Lightness is L₁'To L_n'Is simply interpolated.
[0112]
FIG. 18 is a diagram showing the change in the color perception amount from frame 1 to frame n on the color correlation diagram. The amount of color perception of frame 1 and frame n is point P.₁And point P_nIt is shown in A curve 1801 indicates a change path of the color perception amount when the hue is changed after the saturation is decreased, and a curve 1802 indicates a change of the color perception amount when the hue is changed without decreasing the saturation. Indicates the route. When the hue is changed after the saturation is lowered, the color perception amount is the point P.₁After approaching white (ie, achromatic color), point P_nChange to. For this reason, it is difficult to perceive changes in hue. When the hue is changed without reducing the saturation, the color perception amount is the point P.₁Point P after approaching blue_nChange to. For this reason, a change in hue is easily perceived.
[0113]
The interpolation method described with reference to FIGS. 17A and 17B to change the hue after reducing either the saturation or the lightness is preferable when the hue changes between frame 1 and frame n. Interpolation method used. Whether such an interpolation method is used instead of simple interpolation is determined by, for example, the hue H obtained from the frame 1 and the frame n.₁’And H_nIt is determined by searching whether there is an uncomfortable hue between '. If the color category is defined within the range of hue angles, the hue H₁’And H_nIt can be determined by calculation whether or not there is another color category between 'and. Hue H₁’And H_nWhen it is determined that there is a category of another color between “,” that is, when the hue changes beyond a predetermined color category, the color described with reference to FIGS. 17A and 17B is used. An interpolation method is used in which the hue is changed after either the brightness or the brightness is lowered.
[0114]
For example, when n = 6, the color perception amount of frame 1 (H₁', L₁', C₁′) And the color perception amount of frame 6 (H₆', L₆', C₆′) And the color perception amount of frame 2 (H₂', L₂', C₂′) To the color perception amount of frame 5 (H_Five', L_Five', C_FiveAn example of the processing procedure for obtaining ') is shown in the following (a) to (d).
[0115]
(A) H₂‘= H₁’And L₂'And C₂'Is set to a sufficiently small value. The sufficiently small value is a value of brightness and saturation that does not perceive a sense of incongruity due to a change in hue, and is a predetermined value.
[0116]
(B) H_Three‘H’₁’And H₆It is an intermediate value between 'and L_Three'And C_Three'Is L₂'And C₂Equal to '.
[0117]
(C) H_Four‘= H₆’And L_Four'And C_Four'Is L_Three'And C_ThreeEqual to '.
[0118]
(D) H_Five‘= H₆’And L_Five'And C_Five'Is L_Four'And L₆′ Intermediate value and C_Four'And C₆Set to a value intermediate between '.
[0119]
The hue H obtained from the frame 1 and the frame n₁’And H_nIf there is no uncomfortable hue between 'and', the color perception amount may be interpolated by simply interpolating the hue, lightness, and saturation. When the value of n is small, for example, when n = 3, the time difference between frame 1 and frame n is small, and the difference in image information included in the image data of frame 1 and frame n is also considered small. It is not always necessary to use an interpolation method that changes the hue after reducing either the saturation or the lightness as described above. In such a case, the dimming signal for the intermediate frame may be obtained by simply interpolating the dimming signal for frame 1 and the dimming signal for frame n.
[0120]
All the illumination control data creation methods described above are illumination control data creation methods in which illumination is controlled based on image information in a peripheral region of image data. Such control is performed in order to enhance a sense of reality by making the viewer perceive that the image is extended in an oblique direction in the horizontal and vertical directions within the viewer's field of view. However, the illumination system 1 of the present invention is not limited to being controlled in this way. For example, it may be controlled so as to enhance the sense of reality by providing a sense of surprise to the viewer, or may be controlled so as to provide a feeling of peace. Below, the preparation method of the illumination control data which the illumination system 1 of this invention provides a viewer with a feeling of surprise and peace is demonstrated.
[0121]
The sense of surprise can be provided by, for example, lighting the lighting fixture at the same time that the exploded scene is displayed on the image display device. The viewer is amazed at the illusion that an explosion has occurred around him. The explosion scene is extracted using image information of an area including the central portion of the image data.
[0122]
FIG. 19 shows a central area 1900 defined as an area including the central portion of the image data 300 for one frame. In a scene that is intended to surprise the viewer, such as an exploded scene, the image information in the central area 1900 changes rapidly. Therefore, by calculating the amount of change in the image information in the central area 1900, it can be determined whether or not the target frame is an explosion scene. For example, an average value (RGB average value) of output levels of all R, G, and B included in the central region 1900 is used as the image information of the central region 1900.
[0123]
FIG. 20 shows the RGB average value and the difference between the RGB average values in each frame. In the example shown in FIG. 20, the central area 1900 is made to coincide with the entire area of the image data. In FIG. 20, the horizontal axis indicates the frame number. Each frame of frame numbers 1 to 51 is a temporally continuous frame in this order, and includes an explosion scene. A polygonal line 2001 indicates the RGB average value of each frame, a polygonal line 2002 indicates the difference between the RGB average values of each frame, and the RGB average value is a simple average value of the luminance levels of the image expressed in 256 levels from 0 to 255. is there. The difference between the RGB average values is a value obtained by subtracting the RGB average value of the frame preceding by one frame from the RGB average value of each frame. Generally, in an explosion scene, the image suddenly becomes bright, that is, the RGB average value suddenly increases. Therefore, a frame in which both the RGB average value and the difference between the RGB average values are larger than a certain threshold value can be determined as an explosion scene. In the example shown in FIG. 20, a frame having an RGB average value of 100 or more and a difference of RGB average values of 50 or more coincides with the explosion scene.
[0124]
In addition, although the example which used the RGB level showed the determination of the explosion scene, you may perform the determination process of an explosion scene after converting into another color system.
[0125]
In the example shown in FIG. 20, the central area 1900 is made to coincide with the entire area of the image. In general images, there are many scenes where an explosion occurs at a position far from the viewer. In addition, an image having a large amount of change in image information in the peripheral portion of the image is often an image for increasing a sense of speed, and does not necessarily coincide with an explosion scene. Therefore, the determination accuracy is improved by determining whether or not the scene is an explosion scene based on the amount of change in the image information of only the central portion not including the peripheral portion of the image. Also, a scene that surprises the viewer, such as an explosion scene, may be determined based on not only the amount of change in image information but also the amount of change in audio information. In scenes that surprise viewers, such as explosion scenes, the volume of sound changes rapidly as the image changes rapidly. Accordingly, a method for determining an explosion scene based on the amount of change in audio information can be described in the same manner as the method for determining an explosion scene with reference to FIG. For example, as in the graph shown in FIG. 20, a graph can be obtained in which the horizontal axis is the frame number and the vertical axis is “difference between audio volume and audio volume”. In addition, the determination accuracy is improved by determining a scene that surprises the viewer, such as an explosion scene, based on both the change amount of the image information and the change amount of the audio information.
[0126]
Explosion scene lighting control data is created in a frame that is determined to be a scene that surprises the viewer, such as an explosion scene. The explosion scene illumination control data is generated, for example, by executing a processing procedure similar to steps S2 to S9 of the processing procedure shown in FIG. The lighting fixture controlled by the explosion scene lighting control data may be any of the lighting fixtures 201-206 and 203'-206 'shown in FIG. A plurality of these lighting fixtures may be controlled by the explosion scene lighting control data. Further, a lighting fixture 2055 (FIG. 4) dedicated to the explosion scene may be arranged near the viewer, for example, and the lighting fixture 2055 may be controlled by the explosion scene lighting control data. A plurality of lighting fixtures 2055 may be provided. Since the lighting fixture 2055 is a lighting fixture dedicated to an explosion scene, the color of the emitted light may be a single color (for example, red) or two colors (for example, red and yellow).
[0127]
A method for providing a viewer with a feeling of peace with the illumination system 1 of the present invention will be described below. It is known that relaxation can be achieved, that is, a feeling of peace can be obtained by changing the light output of illumination light at a frequency in the range of 0.05 Hz to 0.6 Hz. This technique can also be applied when lighting is controlled in conjunction with image data by the lighting system 1 of the present invention.
[0128]
Illumination control data providing such a feeling of comfort is obtained by, for example, converting the dimming signal created by the processing procedure shown in FIG. 7 into a color signal and a luminance signal, and modulating the luminance signal at a predetermined frequency. Then, it can be created by converting the coordinates into a dimming signal again. Such coordinate conversion of the dimming signal can be performed by a known relational expression.
[0129]
FIG. 21 shows an example in which the luminance value emitted by the lighting fixture is changed at a constant frequency. The frequency for changing the luminance value is preferably in the range of 0.05 Hz to 0.6 Hz. Among these, the range of 0.1 Hz to 0.4 Hz is particularly preferable for obtaining a feeling of peace.
[0130]
FIG. 22 shows that the luminance value is changed at a constant frequency so that the temporal change rate of the luminance value when the luminance value of the luminaire increases is larger than the temporal change rate of the luminance value when the luminance value decreases. An example is shown. By changing the luminance value in this way, it becomes easy to synchronize the breathing rhythm with the change of the illumination light, and the feeling of peace is improved. This is because a change in luminance value is reminiscent of an image that breathes in and out.
[0131]
It is not essential to periodically change the luminance values of all the luminaires included in the lighting system 1 in this way. For example, only the luminance value of the lighting fixture 201 shown in FIG. 4 may be changed periodically. Alternatively, only the luminance value of the lighting fixture 202, only the luminance value of the lighting fixtures 201 and 202, only the luminance value of the lighting fixtures 205 and 203, or only the luminance value of the lighting fixtures 201 and 202 may be changed periodically. Good. Or you may make it change the luminance value of the lighting fixtures 201-206 and 203'-206 'periodically. Or you may make it arrange | position the lighting fixture 2601 (FIG. 4) which is not linked with image data, and change the luminance value of the lighting fixture 2601 periodically. There may be a plurality of lighting fixtures 2601.
[0132]
Such a method of providing a feeling of peace can be suitably used, for example, when viewing a landscape image or the like.
[0133]
【The invention's effect】
According to the present invention, the viewer can perceive a high sense of realism by changing the illumination light in conjunction with the image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a lighting system 1 according to the present invention.
FIG. 2 is a block diagram showing a configuration of a calculation unit 12
FIG. 3 is a diagram showing the structure of a lighting fixture 201
FIG. 4 is a diagram showing an example in which lighting fixtures of the lighting system 1 of the present invention are laid out in a room.
FIG. 5 is a diagram showing the structure of image data 300 for one frame.
FIG. 6 is a diagram showing a data flow when illumination control data 420 is created from image data 300 for one frame.
FIG. 7 is a diagram showing a processing procedure of an illumination control data creation program 17
8 is a diagram showing input / output characteristics of the image display device 100. FIG.
FIG. 9 is a diagram showing input / output characteristics of the lighting fixture 201
FIG. 10 is a diagram showing a data flow when the lighting control data 420 is subjected to smoothing processing and filtering processing;
FIG. 11A is a diagram showing another example of the structure of image data 300 for one frame.
FIG. 11B is a diagram showing another example of the structure of image data 300 for one frame.
FIG. 11C is a diagram showing another example of the structure of image data 300 for one frame.
FIG. 11D is a diagram showing another example of the structure of the image data 300 for one frame.
FIG. 11E is a diagram showing another example of the structure of the image data 300 for one frame.
FIG. 11F is a diagram showing another example of the structure of image data 300 for one frame.
FIG. 11G is a diagram showing another example of the structure of the image data 300 for one frame.
FIG. 12 is a view showing the visual field of the viewer 150
FIG. 13 is a diagram showing a data flow when creating illumination control data using a lookup table.
FIG. 14 is a diagram showing pixels to be sampled on the peripheral region
FIG. 15 is a diagram showing the relationship between the number of pixel samplings and the time required to create illumination control data
FIG. 16 is a diagram showing a data flow when creating illumination control data using frame interpolation;
FIG. 17A is a diagram showing an example of changes in hue, brightness, and saturation in the color perception amount interpolation method used in the present invention;
FIG. 17B is a diagram showing another example of changes in hue, brightness, and saturation in the color perception amount interpolation method used in the present invention;
FIG. 18 is a diagram showing a change in color perception amount from frame 1 to frame n on a color correlation diagram.
FIG. 19 is a diagram showing a peripheral area 1900 defined as a peripheral area including a central portion of image data 300 for one frame.
FIG. 20 is a diagram showing an RGB average value and a difference between RGB average values in each frame;
FIG. 21 is a diagram showing an example in which the luminance value emitted by the lighting fixture is changed at a constant frequency.
FIG. 22 changes the luminance value at a constant frequency so that the temporal change rate of the luminance value when the luminance value of the luminaire increases is larger than the temporal change rate of the luminance value when the luminance value decreases. Illustration showing an example
[Explanation of symbols]
1 Lighting system
5 Lighting control data input section
12 Calculation unit
18 Video signal input section
100 Image display device
201-206 Lighting equipment
412 Image data
420 Lighting control data

Claims (8)

An illumination system for use with an image display device that displays image data,
A calculation unit for creating illumination control data based on the image data;
A plurality of lighting fixtures controlled based on the lighting control data;
With
The computing unit is
Cut out a predetermined area from the image frame of the image data, create the illumination control data for controlling the lighting fixture corresponding to the cut out predetermined area from the image information of the cut out predetermined area , and
In the image data, when the hue of the predetermined area changes due to the change of the image frame, the lighting control data is generated so that the hue is changed after the saturation or brightness of the lighting fixture to be controlled is lowered. to, the lighting system.     The illumination system according to claim 1, wherein the predetermined area is a peripheral area of the image frame.     The illumination system according to claim 2, wherein the predetermined area is a peripheral area on the left and right of the image frame. The computing unit is
When the hue of the predetermined area changes beyond the color category due to the change of the image frame in the image data, the saturation or brightness of the luminaire to be controlled is determined from the information of the categorized color category. to create the illumination control data, such as changing the color, and thus reduce, illumination system as claimed in claim 1. The said lighting fixture is comprised from the fluorescent lamp or LED allocated to R (red), G (green), and B (blue), The illumination system as described in any one of Claim 1 to 4 . The lighting system according to any one of claims 1 to 5 , wherein the lighting fixture that illuminates the back direction of the video display device is a lighting fixture that illuminates the back direction by indirect illumination. An image display device comprising the illumination system according to claim 6 . A lighting control method for controlling a lighting fixture in conjunction with image data displayed on an image display device,
Cutting out a predetermined area from an image frame of the image data;
When the hue of a predetermined area cut out from the image frame changes due to a change in the image frame of the image data, the hue is reduced after reducing the saturation or lightness of the luminaire corresponding to the cut out predetermined area. Creating the lighting control data to be changed ;
Controlling the plurality of lighting fixtures according to the lighting control data;
Including a lighting control method.

Images