JP5438021B2 - 省電力透過ディスプレイ - Google Patents

Description

本発明は、新たなタイプの省電力透過ディスプレイ及び該ディスプレイを駆動する方法に関する。

世界的な人口増加、及び人々の環境破壊に対する意識の増大と共に、環境に優しい電気機器を作ることが重要となっている。なぜなら、今後も常に市場に投入されていく電気機器が存在するからである（例えば手動の歯ブラシの代わりに電動歯ブラシが使われ、１つのインターネットのクエリが環境に優しい電球の１時間の電力と等しいコストが掛かる）。少なくともこれら機器を可能な限りエネルギーに優しいものとするための、継続されるべき重要な傾向がある。

テレビジョンについてはこのことは、テレビジョンが自動的に何らかの基準に基づいてスイッチオフされる（何らかのユーザ挙動に基づくものとするならば、このことは一種の高度なユーザインタフェース／リモートコントローラ／オン・オフボタンとみなすこともできる）という考察に導いてきた。

しかしながら、コストにかかわりなく、考え出され得るインタラクティブなスイッチにはいずれも、何人かの又は多くの人はテレビジョンをスイッチオフしたくないという事実が残る。本発明者は、「これらの人が本を読んでおり且つテレビジョンが再生中のままであるのを見たとき、彼らは本当に、３０分の後にさえも立ち上がってテレビジョンをスイッチオフしないほど怠惰なのか、それとも例えばひとりの人が心地良い雰囲気を得るためにテレビジョンをオンにしておくことを意図的に選んでいるのか？」という疑問を提示した。

それ故、斯かる自動スイッチオフ機器は、該機器の（潜在的な）所有者の要望に沿ったものではないものとなり得、従って市場において何らかの他の付加に対するニーズが存在し得る。

斯かる考察に鑑み、本発明の技術の要素はとりわけ、
バックライト（１０６）と、前記バックライトからの光を変調して画像を生成するためのバルブ（１１０）と、を有する透過ディスプレイであって、
接続された視聴者挙動検出手段（（１５０、１５２、１６５）、１６０）との接続のためのコネクタ（１９８）と、
前記視聴者挙動検出手段から挙動測定信号（Ｉ＿ｕｓｒ）を受信するための前記視聴者挙動検出手段への入力接続部（Ｃ＿ｉ）を持ち、且つ前記挙動測定信号（Ｉ＿ｕｓｒ）に依存して前記バックライト（１０６）に最適駆動値（Ｄ＿Ｌｂ）を送信するための出力部（Ｏ＿ＢＬ）を持つ、電力最適化器（１２０）と、
を有することを特徴とする透過ディスプレイを有し得る。

本ディスプレイにおいては、視聴者は依然として適度な画質の画像を見ることができる。例えば、視聴者が誰かと話しながら又は皿洗いをしながら、現在何が放送されているかを５分毎にチェックするために該ディスプレイを見る場合には、使用される電力のかなりの節減があり得る。この新規なシステムはこのとき、以下の２つの要素を必要とする。

最初に、ユーザが何をしているかの識別を可能とする検出手段又はシステム（検出器と該検出器からのデータを解析し該データを電力最適化戦略により利用可能な数学的モデルに変換するための解析プロセッサとを有する）がある。例えば、カメラ１６０である特定の検出器に基づいて、該解析プロセッサは、人物がディスプレイを見ているか、及びどのくらいの頻度で見ているか（即ち、該人物が連続的に見ているか、又は大部分の時間の間他の活動をしながら時々見ているか）をチェックすることが可能であっても良い。該検出器は、典型的にはディスプレイに物理的に装着されるが、コネクタ１９８は、例えば防犯カメラのような部屋の隅に予め固定されたカメラへの無線リンクであっても良い（この場合、視線推定（以下を参照のこと）が変化する全体像を考慮に入れる必要がある）。該解析プロセッサは典型的にはディスプレイにおける中央プロセッサ（例えば電力最適化器が既に含まれるもの）であるが、インテリジェントセンサに属するものであっても良い（例えば、ユーザの部屋の中での動きの解析を実行し、該解析についての数学的モデルコードをコネクタ１９８を介してディスプレイに送信する、ラップトップに接続されたカメラ）。

該数学的モデルは、二値のインジケータのように単純なものであっても良いし（番組を観ている＝１；観ていない＝０）、又は、種々のタイプの行動についての名目的な（クラス）、順序的な、又は比率の数値コードであっても良い（例えば、ユーザが連続的に観ている＝１；ユーザが５０％の時間だけ観ている＝２；ユーザがたまに観ている＝３、若しくは、ユーザがテレビの前（１０ｃｍから２．５ｍまでの距離）の椅子に座っている＝１；ユーザが室内で活動している（２．５ｍから６ｍまでの距離）＝２；ユーザが別の部屋にいる（部屋を離れた）＝３）。

第２に、ユーザの振る舞いが、該ユーザがしていることを反映する物理的なパラメータを測定する検出器により斯くして分類されると、数学的なコードがディスプレイ（即ちバックライト、及び幾つかの実施例においてはバルブ（valve）のための駆動値）を最適に制御するために利用され、それにより、依然として適度に可視な画像（もはや最大限に可能な画質ではないが）が、低減された電力で表示される。

利用される電力に主に焦点を当て次いで可視性（このとき低くなり得るが、依然として利用可能ではある）を最適化することにより、若しくは最大限に達成可能な電力削減を得るために最小限必要な可視性に制限することにより（このことは高齢者にとって有用となり得、又は、目前のタスクが単に快適な動画を背景に持つことではなく、例えば子供部屋を見ることのようなより重要なタスクである場合、ユーザは、例えばリモートコントローラ上の専用ボタンのようなユーザインタフェース１７０を介して入力することにより、どの省電力モードが望ましいかを設定しても良く（例えば、背景の雰囲気＝１；必要な画像／テキストの即座の認識＝２；…）、それ故、どれだけの電力が可視性を犠牲にして削減され得るかを設定しても良い）、又はこれらの両方を同時に最適化することにより、電力と可視性との間でバランスをとるための、幾つかの選択肢がある。

観ている／観ていないによるシナリオについては、電力制御は、バックライトについての駆動値Ｄ＿Ｌｂを半分にする（ディスプレイにおける予め設定された戦略に従って）ことのような簡単なものであっても良いが、一般的には、バックライトの減光範囲、バルブのダイナミックレンジ、周囲の場面の色及び室内照明、ディスプレイの全面における反射の量、表示される画像における構造のサイズ（又はより一般的な画像のオブジェクトの内容）、観測者の距離、観測者の活動度、観測者の関心レベル、時刻、現在表示されているコンテンツのタイプ（スポーツビデオかテキストページか）等のような、より複雑な最適化戦略が望ましい。

最後に、バックライト／ビデオパラメータを変化させる処理の速度についての幾つかのシナリオがあり得ることは、言及されるべきである（同様に、どれくらいの頻度でユーザが観ているか、又はユーザがどのように観ているかを決定するために利用される特定のアルゴリズムに依存する）。例えば、ユーザが友人と活動していると分類される一方、例えば３分間ディスプレイをより注意深く観ていることを無視し、その結果、での出力輝度及びバックライトのパワーが低いままとなる、低速モードを持っても良いし、又は、高速モードにおいて、例えば視聴者が１５秒以上観ている場合にはディスプレイがバックライト輝度を即座に高くリセットしても良い。これらのモードは、ユーザインタフェース１７０を介して設定されても良いし、又はディスプレイに予め含まれたアルゴリズムによって推定されても良い。

幾つかの実施例におけるように、特定の量を用いてバックライトのパワーを削減する場合、電力最適化器は、バルブのためにより最適な駆動値Ｉ＿ｏｕｔを算出し、バックライトを変化させて該バルブに対する入力画像を提示する場合よりも、より可視な表示出力画像を生成することが有用である（例えば、画像がコンテンツにおいて暗い場合には、バルブを最大範囲にまで駆動しつつ、バックライトを低減することによって再生され得る）。このことは、入力画像ｉｍに対する画像拡張処理Ｔに対応する。単純なモデルにおいては、信号が送信されるバルブにかかわらず、Ｉ＿ｏｕｔは単一の範囲（例えば［０，２５５］）である（例えば、画素値（０，１０）及び（１０，１０）が共に該範囲内の信号２４０を持つ場合、これらは共に同じ量の光を伝送する）が、より複雑な場面／セグメント化に依存する変形例においては、Ｉ＿ｏｕｔは画像としてみなされるべきであり、即ちＩ＿ｏｕｔ（ｘ，ｙ）は、各バルブ画素（ｘ，ｙ）についての特定の値を持ち、即ち例えば表示される画像増の中央を入力画像に比較して幾分か明るくすることができる。

本発明の又は本発明に関連するこれらの及び他の態様は、図面を参照しながら説明され明らかとなるであろう。

結合された一組の代替的な観測者挙動検出手段を備えた具体的なＬＣＤ透過ディスプレイの実施例を模式的に示す。 電力最適化器の変換Ｔの例が、どのように、より可視な表示画像を与える、バルブについての駆動値Ｉ＿ｏｕｔに入力画像のグレイ値をマッピングするかを、模式的に示す。 表示可能な画像の可視性を測定するための方法の例を模式的に示す。 注視方向推定ユニット（典型的にはソフトウェアコンポーネントから成るが、必須ではない）の例を示す。

図１はＬＣＤベースのテレビジョンを示し、バックライトモジュールにおいては分解図で示し（ＴＬ管１０７が示されているが、例えばＬＥＤであっても良い）、該バックライトモジュールの前には画素１１１、１１２、…を備えＬＣＤバルブ１１０があり、ＬＣＤバルブ１１０は、ドライバ（図示されていない）を介したトランジスタへの適切な電圧の制御の下で、当該位置におけるバックライトの特定の割合を透過し、例示されるような画像を形成する。

透過ディスプレイ１００はこのタイプのディスプレイに限定されるものではなく（ハードウェア構成においてもサイズ又は適用分野においても）、例えば、会議室、商用ディスプレイブース又はラップトップＰＣディスプレイのための減光可能な照明を持つフロントプロジェクタであっても良い（ユーザが例えば電車内でインターネットをブラウズするために該ユーザの前のテーブルに置きつつ、同時に隣の人物と議論をする）ことを、当業者は理解するであろう。当業者は、「バルブ」なる語は、バックライトから当てられる信号により制御可能な光の量を局所的に通過させることが可能な、いずれの物理的な構造を総称的に意味することを、理解するであろう（例えば駆動信号＝０を供給することは該バルブを閉じ、即ち略光を透過させず、一方駆動値２５５は該バルブを略完全に（１００％）透過なものとする）。良く知られた斯かる手段は液晶であり、電圧の制御下で、光に干渉する内部構造を変化させ、特定の方向により少ない又はより多い光を出射させるものであるが、例えば制御された量の吸収色素を放出するバブルのような、他のディスプレイのタイプも存在する。

更に図示されるものは、幾つかのとり得る視聴者挙動検出手段であり、本発明のシステムが動作するためには、このうち１つのみ存在していれば良い（本システムにおいてディスプレイに接続可能である）。ユーザが、好適には適切な位置（椅子の上）に、存在しているか否かを検出するため、熱赤外線（約１０ミクロン）検出器１６５が存在しても良い。該検出器はユーザの存在を検出するのみであり、頭／目／注視の方向は検出しないが、特定の用途には動作する。例えば、本システムは、視聴者の居ない、次いで椅子に座った視聴者の熱のある、部屋を検出するように予め較正されていても良い。熱画像が可能な、より高度な検出器が、視聴者のサイズ等を観測しても良い。

例えば周囲の場（電気的なもの、光学的なもの、超音波、等）の乱れに依存して、ディスプレイの周囲の視聴者の位置及び動きをチェックするための、幾つかのより複雑なシステムが組み込まれても良い。図示された例は、少なくとも１つの超音波発生器１５０、及び少なくとも１つの（幾つかの最適に構成されたものがあっても良い）受信器１５２を持つ。反射されるパルスが、前方の構造が適切に変化したか否かの示唆を与える。例えば、飛行時間解析においては、ユーザは椅子の背よりも近くに座り、該ユーザの動きが検出され得る。

しかしながら、以下においては、（例えばディスプレイの上面の中央に）取り付けられたカメラ１６０を用いる、比較的安価で単純でありながら頑強なシステムを、詳細に説明する。ステレオカメラ（例えば距離推定に関して汎用性を実現する）が示されているが、通常のカメラ（ＲＧＢのもの、更にことによると、顔検出に役立ち得る第４の近赤外線センサを持つもの）でも構わない。

以下、図４を参照しながら、斯かるカメラがどのように注視方向推定を用いた非常に有用な実施例のために利用され得るかが説明されるが、最初に、「ユーザが存在する（テレビジョンの前の椅子に座っている）」又は「ユーザが表示された画像の方向を向いており即ち観ている」といった示唆を得ることを仮定して、どのように電力削減が動作するかを説明する。説明の単純さのため、比較的実装の簡単な方法を主に説明し、ついで、より複雑な可能性について手短に説明する。

図２は、入力画像信号ｉｍから導出された、図１に示された「家」の画像のヒストグラム２００を示し（グレイ値−色は簡単のため無視されているが、例えば暗い彩度の高い色に幾分か明るい輝度を与えて、より輝くように見えるように、以下のマッピングは色も考慮に入れても良く、以下、グレイ値と色とは交換可能に使用し、当業者は、カラーの画素の輝度についてのものかグレイ値についてのものかを理解できるであろう）、該入力画像は、０と２５５との間の値を持つディスプレイのためのグレイ値Ｉ＿ｉｎ（即ち本発明が適用されない場合にバルブを制御する）と、特定の値を持つ画像中の画素の量の数ｎとを有する。バルブの増大物理特性のため、局所的なバックライトユニットがＬｂルーメンを生成し、局所的な画素が駆動値Ｉ＿ｏｕｔ（例えばＩ＿ｉｎに等しい）で制御される場合、表示画素から局所的に出射される光はＬｏ＝（２４４／２５５）＊Ｌｂである。

入力画像は、全体の範囲［０，２５５］よりも小さな範囲のグレイ値を持ち得、又はしばしば、２５５に等しい値を持ち得、このことはしばしば過度に高いダイナミックレンジの場面が取り込まれたことを示す（例えば、太陽１８３がクリップされ得、従って該太陽の色は現実的ではなく、該色を再割り当てするかなりの自由度を持ち、例えば２５に近い全ての色を同様に扱い、これらを２５５に割り当て、残りの［０乃至２５４］を他のオブジェクトの色を最適に分布させるために利用しても良い（再クリッピング））。

本例においては、第１のヒストグラムの凸部２０１は、明るい窓１８１を除く、家１８０の色を有する。窓１８１は、空の画素に対する第２のモード／隆起部を持ち、植物（草及び木）は中間の範囲の凸部２０２に入る。

第１の興味深い尺度は、入力画像最大値（ｍ）である（例えば２３５に等しい）。既に、比率２３５／２５５でバックライトを既にスケールダウンしつつ、同時にＩ＿ｉｎ値を反比と乗算（即ち最大駆動値がこのとき２５５になる）、同一の表示される出力画像の外観が正確に保たれ得る（即ち表示される画像の可視性をも変化させない）。しかしながら、範囲を見ると、更なるバックライトの減光を為し得ることが認識される。最初に、ヒストグラム２００の３つの凸部を２５５／２３５と乗算し、修正された駆動値Ｉ＿ｏｕｔを得ている場合、凸部２０１の下限（例えば１０％の百分率境界ＬＰ）に依存して、即ち、出力輝度Ｌ＝ＬＰ＊Ｌｂが典型的な室内全面反射に略等しくなるまで、バックライトを更に減光することができる（周囲の光センサがシステムに含まれても良く、該値を修正するための更なる考慮、例えばＬＰよりも低い値が生じるオブジェクトの量又はサイズ等が、利用されても良い）。

しかしながら、第２に、縮小された範囲、及び更には典型的なヒストグラムの凸部間の距離が、可視性毎により優れた修正を行う機会をつくり、不十分な凸部間距離しかない場合、電力最適化器が、入力画像を変更することにより該距離を増大させても良い。

電力最適化器の単純なアルゴリズムは、（簡略化された以下の説明において利用される）ヒストグラムにおける典型的な凸部を見出すためにヒストグラム解析を実行し（より高い品質のアルゴリズムは類似色の空間特性をも見るが）、更に幾何的な画像セグメント化を実行する。例えば、凸部２０３は、空と２つのウィンドウとの両方の画素から成るが、この知識があれば、別個のウィンドウの離隔された領域を見出すことは容易である（図３における凸部２０４により模式的に示される）。ヒストグラム分解のための幾つかの方法が先行技術においてはあり、例えば最初に最大値を探し、次いで両側に傾斜がどれくらい深いかを見ても良い（例えば、ガウス関数のような平滑で単純な関数との相関を見ても良い）。しばしば、この粗いレベルに適用された場合、斯くして得られた凸部は既に画像構成の優れた記述を与える（例えば空は典型的には地面よりもかなり明るい）が、目的は可視性を改善することであるため、有意なオブジェクトのセグメント化は絶対的には必須ではない（とりわけ、或るオブジェクトにおいて木が草と併合されることは許容可能である。なぜなら、これらは類似する色を持ち、電力最適化器はこれらに対して同様な変換を適用して、これらをディスプレイの周囲及び／又は画像中の他の色よりも可視性高く描画するからである（最初に、周囲があまり重要ではなく、可視性が画像（ｉｍ）の内容のみで決定され得る状況を説明する（例えばテレビジョンは典型的には周囲よりもかなり明るい）が、ambilight（登録商標）がスイッチオンされている場合、更に信頼性高い可視性モデルが、電力使用に対して最適化されるべき画像の可視性を推定する際に、照明される周囲への視聴者の順応を考慮するべきである））。

分解アルゴリズムから幾つかのヒストグラム凸部が得られると、電力最適化器の目的（電力最適化器が、算出された出力パワー（主にバックライト駆動値に依存する）及び推定された可視性の関数である、バックライトレベルＤ＿ｌｂ＝ｆ（Ｐ，Ｖ）を単に変更するのではないが、改善された可視性及び／又は更に低減された電力使用のために最適化されたバルブ駆動信号を生成するため、画像拡張Ｉ＿ｏｕｔ＝Ｔ（Ｉ＿ｉｎ）の更なる自由度を利用したい場合）は、これらのモードを最適に再配置することである。例えば、電力最適化器は、凸部２０３における全ての値を単一の（又は非常に少ない数の）値にポスタライズ（posterize）して、修正されたヒストグラム凸部２５３を得ても良い。斯かる極端な手段（最適化されたＤ１とＤ２との距離）は、非常に厳しい状況の下でのみ必要とされる。一般に、凸部内で依然として識別可能な幾つかの異なる輝度があり、従って、単に凸部を別の凸部と離すように動かし、内部の凸部形状をそのままにすることが好適と思われる。

しかしながら、このことは、範囲３０１（楕円により示される）内の色が、範囲３０２の色に類似し過ぎ、即ち、ユーザが本当に注意深く見ていても、ユーザが座っている場所から現在のバックライト条件等の下で識別され得ないという状況に導き得る（このことは特定のタスクに対して望ましくなく、例えばユーザが何らかのカラーのグラフィックのテキスト（テキストはテキスト検出器により容易に検出されセグメント化され得る）を読んでおり、テキスト及び背景の色がこれらの領域内であり、且つバックライトが非常に低い場合、凸部２５１及び２５３への二値のポスタライズが望ましいものとなり得る）。この状況はしばしば起こり、例えばリンゴのような丸い物体に影がある場合、一方の側ではリンゴは明るく暗い背景からは容易に識別可能であるが、他方の側ではリンゴの縁が見えない。

従って、優れた可視性／電力バランシングを実行するための電力最適化器のための単純なアルゴリズムは、以下のようになる。

隣接する凸部についての分割境界は、電力最適化器（図３を参照）により決定され、例えば凸部２０２の全ての画素の５％が下限Ｌ＿Ｌ１の下に含まれ、５％が上限Ｌ＿Ｕ１の上にある（この５％は、工場において誤差の量としてアルゴリズムに予め設定されても良く、最悪の場合に可視性が悪くなり得る及び／又は付近のオブジェクトから区別できなくなり得る色であるが、オブジェクトのセグメント化及び解析から利益を得る、より複雑なアルゴリズムが、この基準を画像毎に決定しても良く、例えば５％の上位の画素が、推定された／セグメント化されたオブジェクトの境界の近くにある場合、該境界は０％に設定されることが好適であり（即ち凸部の上端）、オブジェクトの中央における小さなパッチ部（照明反射ハイライトである見込みが高い）である場合には、これらは最適化から破棄されても良い）。

第１の凸部２０２の上限Ｌ＿Ｕ１と第２の凸部２０３の下限Ｌ＿Ｌ２との間の距離Ｄ＿ｖはこのとき、可視性推定におけるパラメータとなる（可視性推定ユニット１３３は典型的には、所与のディスプレイハードウェア制約における人間の視覚の心理をエンコードした別のソフトウェアプログラムであり、典型的には電力最適化器１２０であるプロセッサ上で動作し、実際の電力最適化を実行する駆動値算出ユニット１３４のための入力を与えるか、又は典型的には該ユニットから数回呼び出されるが、ここで提示された新規な教示を得た当業者は、異なるソフトウェア又はハードウェア構成としてこのことを実現するために、単なるプログラミング又はＩＣ設計を超えた問題を見出すことはなく、実際の状況における説明を認識するであろう）。電力最適化器が画像セグメント化ユニット１３５により画像をセグメント化することが可能である場合、インテリジェントに最適化するための更なる距離（Ｄ＿ｖ２）及び更なる自由度が存在することとなる。

これらは電力最適化器が調節できる可変のパラメータである。なぜなら、電力最適化器は凸部をシフトさせて可変の凸部間距離Ｉ＿Ｄに導くこと、又は凸部の形状を修正して（例えば圧縮して）更なる距離ＳＱに導くことが共に可能であるからである（本アルゴリズムにより変化可能な凸部形状の量は、単純な「ブラインド型」のバージョンでは、典型的には、凸部におけるグレイ値の範囲及び凸部における画素の量といった要因に依存する（重要度が相関し、例えば小さなウィンドウは単一の値に容易にポスタライズされ得る）が、より高度な画像解析方法は更に、例えばより中央のオブジェクト又は顔が他の凸部よりもあまり修正されない凸部を持つべきであることを考慮に入れ得る）。後者は、単純な実施例においては、ブラインド的に実行され、オブジェクトの画素の幾分かの変色に導くが、周囲とはより異なるものとし、コントラストを増大させる。しかしながら、オブジェクトのセグメント化が実行される場合、本アルゴリズムは例えば、オブジェクト境界に近い影の勾配を離隔し、凸部の端と識別し、凸部の形状の当該部分、例えば３０１のみを、パラメータ的に修正する（即ち例えば、勾配を２つのとり得るグレイ値のみのコントラストの強いものとし、より平坦で３Ｄに見えないリンゴに帰着するが、周囲に対してはコントラストが強く、即ち可視性の高いものとなる）。

可視性の単純なモデル（より複雑なモデルは周囲の色のパッチの構造、セグメント化されたオブジェクトのサイズ等を利用し得るが）は単に、全ての色を（比較的大きな）パッチ色として扱う。このとき、視覚心理学的な研究は、少なくとも１つの「丁度可知差異」（ＪＮＤ）輝度差があれば、Ｌ＿Ｕ１以下のグレイ値は、Ｌ＿Ｌ２以上のものと区別可能であることを示している。該ＪＮＤは、ディスプレイ及び画像オブジェクトサイズ、全体の輝度、視聴者の順応等のような幾つかの要因に依存するが、単純な近似としては、低輝度Ｌ＿Ｕ１の２％であると言い得る。

最低限達成可能な電力の量に焦点を当てつつ幾分かの可視性をも保つ最適化において、電力最適化器は凸部を再算出し、これら凸部の限界が少なくともＪＮＤの工場で設定された値とは離れる（例えば３ＪＮＤ）ようにしても良い。オーバラップする凸部については、このことは過度の凸部形状の圧縮を含んでも良く、幾つかのオブジェクトについてはことによると、単一値ポスタライズにさせ帰着し得る。

可視性に焦点を当てた最適化においては（幾分かの電力使用も低減する）、視聴者は例えば、リモートコントローラを用いて必要とされるＪＮＤの量を増大させても良い。このことは高齢者にとって有用となり得るが、例えば視聴者が明るいランプの下でトランプをしているために可視性が誤って推定された場合にも有用となり得る。

また、幾つかの実施例は、例えば遠くにいる視聴者がいずれに対してもあまり関心がない見込みが高いがグローバルなパターンを変更する（ちらつく電球のように）という仮説に基づいて、視聴者の距離に依存して（半）自動的にパラメータを変更する（この場合、最適化における手入力が価値があるものとなり得る）か、又は対照的に、オブジェクトが小さくなっており、既に解像度の理由で画像の細部失われつつある場合、これらのオブジェクトは適切にポスタライズされ、又は少なくとも少ない内部値によって表現されるが、凸部が最大限に分離されることを可能とする。

図４は、視聴者挙動検出手段の例をどのように構築するか、即ちユーザがディスプレイに表示されているもの（テレビジョン番組、Ｅメール等）を観ているか否かをチェックするものについての、更なる情報を示し、該ユニットは典型的には注視解析器１２１内にある。注視解析器は、接続Ｃ＿ｉを介して、カメラからの生の画像である挙動測定信号Ｉ＿ｕｓｒ（一般に幾分かのユーザ挙動態様を粗く推定するための十分な情報を含む何らかの信号）を得ることが仮定される（Ｉ＿ｕｓｒは顔方向角のような既に予め処理された情報ではないが、幾つかの実施例では可能である）。最初に、場面解析ユニットが、例えば顔の色に基づいて、顔４１１を抽出する。顔解析ユニット４２０は、最初に例えば楕円形状に基づいて顔が検出されたか否か（顔の色の花瓶４１２ではないか）をチェックするが、更に顔を分析して顔の方向を抽出するように構成される（角Ａｈが算出され他のシステムモジュールに出力されても良い）。このことは例えば、特徴的な顔の点（目尻、鼻の下の影等）の間の接続網４２１を見て、その遠近法による収縮を分析することによって実行されても良い。

目が抽出されると、目解析ユニット４３０が、目を解析し、とりわけ目の注視方向を解析するように構成される。このことは、明るい領域と暗い領域との間の円形の弧４３１を検出し、瞳４３２の中心点を推定することにより実行されても良く、少なくとも水平角Ａｅｈ、更にことによると垂直角（共に正負の最大値間にあり、ゼロは真っ直ぐなものを表す）に帰着する。例えば虹彩の両側の白目の量（ＡｍＬ、ＡｍＲ）のような、他の手法が決定において利用されても良い（代替として又は精度を増大させるために）。更に、目解析ユニット４３０は、角度Ａｅｈ、Ａｅｖから、これらの因子をディスプレイ、カメラ及び部屋の幾何として考慮に入れることにより、ディスプレイの方を見ているか否かを算出するように構成される（ユーザが幾つかの視聴／非視聴時の目位置を測定させる予備的較正もまた可能であり、目角度空間及びことによると関連する確率における分類境界に導く）。

最後に、この少なくとも水平目角度データは、時間統計ユニット４４０への入力であっても良い（該ユニットは任意のものであり、他のユニットは単にとり得る実現例であるが、異なる態様で構成され得る）。人物は、十分に長い時間間隔Ｉ＿ｗ（例えば２秒）の間角度Ａｅｈがゼロに近い（少なくとも目がディスプレイ内のどこかに十分に入る即ち中央に近いほど十分に小さい）場合に、特定の時点（Ｗ（ｔ）＝１）において観ていると分類される。

また、更に高度なシステムにおいては、視聴者行動分類ユニットが存在しても良く（例えばリモートのＰＣにおいて、既にカメラに結合されたインテリジェント家庭システムを動作させて、又は電力最適化器において）、該ユニットがユーザの挙動の幾つかのインジケータを抽出する（例えば、「ＩＮＤ＝受動＝１」：ユーザが寝ている可能性がある、「ＩＮＤ＝走り回っている＝２」：ユーザが活発に室内を走り回っており、たまにしか観られないほど他の活動に従事している見込みが高い、等）。このことは、例えばカメラ画像から抽出された人物オブジェクトの動きパターン解析において実行されても良いが、幾つかの他のアルゴリズムも可能である（例えば、室内の特定の３Ｄ位置がカバーされている量、特定の認識されたジェスチャ等を分類する）。

最後に、近年、コンテンツに対する深い没入を可能とし（画像又は少なくとも幾つかの環境的な感覚／示唆が部屋へと拡大される）、透過ディスプレイの空間的な周囲を照明するように構成された照明ユニット１９１を有するテレビジョン、いわゆるambilightディスプレイが登場している（このことは、他のタイプの表示装置にも発展するであろう）。

ambilightを既知のように提示された画像と協調させることも可能であるが、本発明は、別個のアルゴリズムを用いて、ambilightをより最適に制御することを可能とする。ここでは、バランシングは、３つの基準を有する。ambilightにより消費される電力の量。少なくともこれらの光のための電力を節約するため、ユーザが観ない場合にambilightをスイッチオフすれば良いとも考えられ得るが、対照的に、ユーザがテレビジョンを「アンビエンス（ambience）モード」に切り換え、該モードを単に雰囲気を提供するものとして利用して、近くで視聴せずに詳細な画像情報を見ない場合には、ambilightは高い性能を持ち得る。ユーザは典型的には、テレビジョン（画像）全体＋ambilightシステムを一種の可変ランプとして利用することから、それとは正反対にコンテンツが重要であり明確に可視となる必要があるシナリオに至るまで、幾つかの選択可能な設置を持つ。ambilightへの電力は、照明される場のサイズ及びどれだけの空間的な変化をもたらせるかといった因子にも依存する（幾つかのＬＥＤモジュール１９１に対する単一のＴＬ管）。

ambilightの「可視性」が新たな基準となる：雰囲気のある黄色で壁全体をペイントすることが、例えば以上の設定に依存して、画像と比べてどれだけ重要か（ここではambilightはビデオ信号よりも低い時間変化に設定され得る）、十分なambilightが生成される必要がある。

周囲の（白い）オブジェクト／壁がambilightに対してどれだけ反射性であるかに特に依存する、画像の可視性。少なくともテレビジョン画像コンテンツが優位であり非常に可視性が高いものであるべき設定においては、ambilightが、視聴者にとって全て黒く見える画像の基本的に周囲にある明るい輪となってしまう（極端な例と言うべき）状況に陥るべきではない。これらのシナリオにおいては、画像コンテンツは増強される必要があり得、より重要にはambilightがことによると上限に制約される必要がある（例えば通常のambilightアルゴリズムが例えば画像コンテンツを統合することにより何を駆動値として与えようとも、最終的な駆動値はクリッピングされ、それにより周囲の輝度が平均画像輝度の１０％より小さくなるべきである。このことは典型的には、工場における設定において白い壁を仮定するが、消費者は家庭での較正のための選択肢を持っても良い）。本例において可視性の推定値は、例えばHunt式において、斯かる因子を画像及び周囲のパッチのサイズ及び位置等として考慮に入れることにより導出され得る。

出力は、接続Ｏ＿ＡＭＢＩＬによる、少なくとも１つの最適ambilight駆動値Ｄ＿ＡＭＢである。

本明細において開示されたアルゴリズム的な要素は、実際には（全体が又は一部が）ハードウェア（例えば特定用途向けＩＣの一部）として実現されても良いし、又は特殊ディジタル信号プロセッサ若しくは汎用プロセッサ等で動作するソフトウェアとして実現されても良い。

本開示から、どの要素が任意の改善点か、及びどの要素が他の要素と組み合わせて実現され得るか、更に方法の（任意の）ステップがどのように装置のそれぞれの手段に対応するか、及びその逆は、当業者には理解可能であり、ここではこれらの組み合わせが少なくとも暗黙的に開示されている。本明細書における機器（apparatus）なる語は辞書における最も広義の意味で提示され、即ち特定の目的の実現を可能とする一群の手段であり、それ故例えばＩＣ（の一部）、専用の器具、又はネットワークシステムの一部等であっても良い。

本方法の動作に必要なステップの幾つかは、データ入力及び出力ステップのようなコンピュータプログラムにおいて記載される代わりに、プロセッサの機能に既に存在していても良い。

上述の実施例は本発明を説明するものであって、限定するものではない点は留意されるべきである。当業者は、提示された例の請求の他の範囲へのマッピングを容易に実現することができ、簡潔さのため、これらの選択肢の全てを詳細には言及していない。請求項において組み合わせられた本発明の要素の組み合わせの他に、これら要素の他の組み合わせが可能である。要素のいずれの組み合わせも、単一の専用の要素で実現され得る。

請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定することを意図したものではない。「有する（comprising）」なる語は、請求項に記載されたもの以外の要素又は態様の存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。

Claims (8)

1. バックライトと、
   前記バックライトからの光を変調して画像を生成するためのバルブと、
   視聴者挙動検出装置との接続のためのコネクタと、
   前記視聴者挙動検出装置から挙動測定信号を受信するための、前記コネクタを介して前記視聴者挙動検出装置に結合された入力接続部と、前記挙動測定信号に依存して削減された電力で可視画像を提供するための最適駆動値を前記バックライトに送信するための出力部とを持つ、電力最適化器と、
   を有し、
   前記電力最適化器は、前記電力最適化器と前記バルブとの間の出力接続を介して、入力画像の入力駆動値の、前記バルブの画素を駆動するための出力駆動値への変換を更に算出し、
   前記の変換は、前記入力画像のヒストグラム解析によりヒストグラムにおける複数の凸部を見出すこと、及び、隣接する凸部についての分割境界を決定することを含み、
   前記の変換は、凸部をシフトさせて可変の凸部間距離をもたらすことにより、又は、凸部の形状を修正することにより、前記出力駆動値に関する可変パラメータを調節することを含む、透過ディスプレイ。
2. 前記電力最適化器は、実行可能なソフトウェア及び／又はハードウェア回路により、前記バックライトが前記最適駆動値により駆動されるときに、前記ディスプレイにより利用される電力に依存して、且つ所定の可視性尺度に依存して、結果として前記最適駆動値を与える関数を算出し、前記生成される画像が視聴者にとってどれだけ可視性となるかをモデル化するように構成された、請求項１に記載の透過ディスプレイ。
3. 前記電力最適化器は、実行可能なソフトウェア及び／又はハードウェア回路により、前記電力最適化器と前記バルブとの間の出力接続を介して、入力画像の入力駆動値の、前記バルブの画素を駆動するための出力駆動値への変換を算出するように構成された、請求項１又は２に記載の透過ディスプレイ。
4. 前記視聴者挙動検出装置はカメラを有し、前記カメラ又は前記電力最適化器が、前記カメラの画像に基づいて、前記視聴者の注視方向を決定するように構成された注視解析器を有する、請求項１乃至３のいずれか一項に記載の透過ディスプレイ。
5. 前記視聴者挙動検出装置は、前記透過ディスプレイに対する前記視聴者の距離を検出するための検出器を有し、前記電力最適化器は、前記視聴者の距離に依存して前記最適駆動値及び／又は前記出力駆動値を算出するように構成された、請求項１乃至４のいずれか一項に記載の透過ディスプレイ。
6. 前記カメラのシステム又は前記電力最適化器は視聴者行動分類ユニットを有し、前記電力最適化器は、前記視聴者の特定の挙動をモデル化した数に依存して前記最適駆動値及び／又は前記出力駆動値を算出するように構成された、請求項４に記載の透過ディスプレイ。
7. 前記透過ディスプレイの空間的な周囲を照明するように構成された照明ユニットを更に有し、前記電力最適化器は、前記挙動測定信号及び／又は前記最適駆動値及び／又は前記出力駆動値に依存して、前記照明ユニットのための駆動値を決定するように構成された、請求項１乃至６のいずれか一項に記載の透過ディスプレイ。
8. 請求項１乃至７のいずれか一項に記載の透過ディスプレイのための駆動値を算出する方法であって、
   前記透過ディスプレイの周囲の環境における潜在的な視聴者の挙動を示す挙動測定信号を得るステップと、
   前記挙動測定信号、前記駆動値の関数としての電力利用の算出値、及び少なくとも前記透過ディスプレイに表示されるべき画像の可視性の尺度に依存して、制約された電力利用に対する前記駆動値のための最適値を算出するステップと、
   を有する方法。

Images