JP6367234B2

JP6367234B2 - 表示画面上の動作要素の位置を検出するためのシステム及び方法

Info

Publication number: JP6367234B2
Application number: JP2015553147A
Authority: JP
Inventors: ヴェラン，ジェローム
Original assignee: コミサリアアエナジーアトミックエオックスエナジーズオルタネティヴ; イソルグ
Priority date: 2013-01-15
Filing date: 2014-01-14
Publication date: 2018-08-01
Anticipated expiration: 2034-01-14
Also published as: KR102189041B1; EP2946273B1; JP2016503932A; WO2014111650A1; US9965070B2; US20150355784A1; EP2946273A1; FR3001064B1; FR3001064A1; KR20150129663A

Description

本発明は、表示画面上の動作要素の位置を検出するためのデバイス及び方法に関する。

表示画面と、例えばスタイラス、ユーザの指又は手などの動作要素の表示画面上の位置を検出するための検出デバイスとを備えたユーザインタフェースシステムが存在している。該検出デバイスは、表示画面に重ねられ得る接触感知面すなわちタッチ面を備えてもよい。そのため、ユーザインタフェースシステムは一般にタッチスクリーンと呼ばれる。

現在、タッチスクリーンは多くの分野で使用されている。例として、携帯電話、コンピュータ、テレビ受像機、自動車、自動発券機、産業機器、医療機器などを制御するためにタッチスクリーンが既に用いられている。

国際公開第2011／119483号パンフレットには、表示画面と、動作要素の存在を検出するために表示画面の縁部に配置された発光ダイオード及び光検出器を有する、動作要素を検出するための検出デバイスとを備えているユーザインタフェースシステムの例が記載されている。

W.den Boer, A. Abileah, P. Green, T. Larsson, S. Robinson及びT.Nguyenによる出版物「Active Matrix LCD with Integrated Optical Touch Screen」（SID 03 DIGEST）には、画面上の動作要素の影を検出するのに用いられる光センサを一体化させた液晶表示画面が記載されている。

米国特許出願公開第2010／007632号明細書

実施形態は、
第１の連続画像を画面上に表示するステップ、
少なくとも１つの第２の画像を取得するステップ、
前記第２の画像の分析に基づいて、前記画面に対する少なくとも１つの動作要素の位置を検索するステップ、及び
前記第２の画像における前記動作要素の位置を決定する条件が部分的にのみ満たされている場合、次に表示される第１の画像のうちの少なくとも１つを変更するステップ
を有し、
前記第２の画像は、別々の色に関連付けられた少なくとも２つのサブ画像を含むカラー画像であることを特徴とする方法を提供する。

実施形態によれば、前記第２の画像は、前記画面に達する光の画像に相当する。

実施形態によれば、次に表示される第１の画像の少なくともある特定の画素の強度を増加又は減少させる。

実施形態によれば、次に表示される第１の画像の一部のみを変更する。

実施形態によれば、前記画面に対する前記動作要素の位置を、各サブ画像内における前記動作要素による第１の画像の反射の検出に基づいて検索する。

実施形態によれば、本方法では、前記動作要素による第１の画像の反射を表す少なくとも１つの第１の所与のパターンを、各サブ画像内で検索する。

実施形態によれば、前記動作要素による第１の画像の反射が各サブ画像内の同じ位置で検出される場合、前記画面に対する前記動作要素の位置を決定する条件が満たされる。

実施形態によれば、前記動作要素による第１の画像の反射が少なくとも１つのサブ画像内に検出され、全てのサブ画像内には検出されない場合、前記画面に対する前記動作要素の位置を決定する条件が部分的にのみ満たされる。

実施形態によれば、前記画面に対する前記動作要素の位置を、各サブ画像内における前記動作要素の影の検出に基づいて検索する。

実施形態によれば、本方法では、前記動作要素の影を表す少なくとも１つの第２の所与のパターンを、各サブ画像内で検索する。

実施形態によれば、前記動作要素の影が各サブ画像内の同じ位置で検出される場合、前記画面に対する前記動作要素の位置を決定する条件が満たされる。

実施形態によれば、前記動作要素の影が１つのサブ画像内に検出され、全てのサブ画像内には検出されない場合、前記画面に対する前記動作要素の位置を決定する条件が部分的にのみ満たされる。

実施形態は、
第１の連続画像を表示するための画面、
少なくとも１つの第２の画像を取得するための取得デバイス、
前記第２の画像の分析に基づいて前記画面に対する少なくとも１つの動作要素の位置を検索するためのデバイス、及び
前記第２の画像中の前記動作要素の位置を決定する条件が部分的にのみ満たされる場合、次に表示される第１の画像を変更するためのデバイス
を備えており、
前記第２の画像は、別々の色に関連付けられた少なくとも２つのサブ画像を含むカラー画像であることを特徴とするシステムを更に提供する。

実施形態によれば、前記取得デバイスはフォトンセンサのアレイを有しており、前記画面は表示画素のアレイを有しており、前記フォトンセンサのアレイは前記画面を覆っているか、又は前記表示画素のアレイと一体化されている。

前述及び他の特徴及び利点を、添付図面を参照して本発明を限定するものではない具体的な実施形態について以下に詳細に説明する。

表示画面と表示画面上の動作要素を検出するためのデバイスとを備えたユーザインタフェースシステムの実施形態を部分的に示す簡略図である。表示画面上の動作要素を検出する方法の実施形態をフローチャート形式で示す図である。図１のユーザインタフェースシステムの表示画面の実施形態を部分的且つ概略的に示す断面図である。表示画面上の動作要素を検出する方法の実施形態をフローチャート形式で更に詳細に示す図である。図１のユーザインタフェースシステムの動作要素を検出するための検出デバイスの実施形態を部分的且つ概略的に示す断面図である。図５の検出デバイスを部分的且つ概略的に示す正面図である。図１のユーザインタフェースシステムを検出するためのユニットの実施形態を部分的に示す簡略図である。

明瞭化のために、同一の要素は様々な図面において同一の参照番号で示されている。また、各図面は正しい縮尺で示されていない。更に、述べられている実施形態についての理解に有用な要素のみが示され説明される。特に、以降で説明されるユーザインタフェースシステムの用途については詳述されていない。接触感知式及び／又は非接触式インタフェースを介して制御され得るあらゆるタイプのデバイスにおいて、本明細書に記載のインタフェースシステムを用いることは当業者の技能の範囲内である。更に、以降で説明されるユーザインタフェースシステムによって与えられる情報を処理するための手段、及び制御される一又は複数のデバイスとの接続手段は当業者の技能の範囲内であるので説明されない。以下の説明では、別段明記しない限り、「略」、「約」及び「程度」という用語は「10％の範囲内」を意味する。

国際公開第2011／119483号パンフレットに記載の特許出願では、発光ダイオード及び光検出器が表示画面の周囲に設けられているため、ユーザインタフェースシステムの体積が増加する。特にユーザインタフェースシステムは、表示画面の周囲に発光ダイオード及び光検出器を収容するのに十分な厚さを有すべきである。また、周囲照明が強い場合、例えば日光が表示画面に直接当たる場合には、検出効率が低減する虞がある。

W. den Boer らによる出版物においては、表示画面上の動作要素の検出が、表示画面上の動作要素の影を検出することにより行われる。周囲照明が弱い若しくは無い場合、又は周囲照明の変化が激しい場合には、検出効率が低減する虞がある。

特に照明が強い場合及び照明が弱い場合に、ユーザインタフェースシステムによって表示画面上の動作要素の位置を高い信頼性で検出する方法が望まれている。

従って、実施形態の目的は、既存の方法の欠点のいくつかを少なくとも部分的に克服する、ユーザインタフェースシステムによって表示画面上の動作要素の位置を検出する方法を提供することである。

実施形態の別の目的は、動作要素の検出の信頼性を向上させることである。

実施形態の別の目的は、ユーザインタフェースデバイスを強い照明条件及び弱い照明条件で使用可能にすることである。

実施形態の別の目的は、ユーザインタフェースシステムが、表示画面を覆っているか又は表示画面に一体化されている、動作要素の位置を検出するためのデバイスを備えていることである。

実施形態の別の目的は、動作要素の位置を検出するためのデバイスを、表示画面上の動作要素と接触させて又は接触させないで動作させることである。

実施形態の別の目的は、特に液晶ディスプレイ、プラズマ画面、又は例えば有機発光ダイオードなどの有機半導体要素に基づく画面などのあらゆるタイプの表示画面で、上記の検出方法を実施することである。

実施形態の別の目的は、光検出器、特に無機半導体材料又は有機半導体材料により形成された光検出器に基づくあらゆるタイプの検出デバイスを用いて上記の検出方法を実施可能にすることである。

図１は、放射型表示画面５と、動作要素７のための接触式又は非接触式検出デバイス６とを備えているユーザインタフェースシステム１の実施形態を示す。動作要素７は、スタイラス、ユーザの指又はユーザの手に相当し得る。

画像の画素は、表示画面５に表示される画像の単位要素に相当する。表示画面５がカラー画像の表示画面であるとき、表示画面５は一般に、画像の各画素を表示するために発光する及び／又は光強度を調節するための少なくとも３つの要素を有している。これら３つの要素はサブ表示画素とも呼ばれ、夫々が実質的に単色（例えば赤、緑及び青）の放射光を発する。これら３つのサブ表示画素が発した放射光を重ね合わせることにより、表示画像の画素に対応する色覚を観察者に感じさせる。この場合、画像の画素を表示するのに用いられる３つのサブ表示画素により形成される集合体は、表示画面５の表示画素と呼ばれる。表示画面５がモノクロ画像の表示画面であるとき、表示画面５は一般に、画像の各画素を表示するための単一の光源を有している。

表示画面５は、例えば複数の行及び複数の列に分配されたサブ表示画素８（ＲＧＢ）のアレイを有している。図１には、３つのサブ表示画素を夫々有する２つの光表示画素Pix が示されている。表示画面５は、約300,000 〜2,000,000 の表示画素を有してもよい。各サブ表示画素８は、光信号を放出可能な電子部品、及び／又は複数のサブ表示画素８に共通であってもよい光源により放出されて各サブ表示画素を横切る光信号の強度を調節可能な電子部品を有している。表示画面５は、ＬＣＤ（液晶表示）画面、プラズマ画面、又は有機半導体要素に基づく画面であってもよい。例として、ＬＣＤ画面の場合、各サブ表示画素８は、複数のサブ表示画素に共通であってもよい光源から生じる光ビームを略通過させることが可能な液晶を有してもよい。

検出デバイス６は、例えば複数の行及び複数の列に分配されたフォトンセンサ（Ph）又は光検出器９のアレイを備えている。例として、６つの光検出器９のみが図１に示されている。光検出器９は、光検出器９が受ける光の量に依存する電気信号を送信可能な電子部品である。光検出器９は、フォトダイオード、フォトレジスタ、フォトトランジスタなどを有してもよい。光検出器９の数は、サブ表示画素８の数以下であってもよい。好ましくは、光検出器９の数はサブ表示画素８の数に等しい。

図１には、明瞭性を確保するため、表示画面５と検出デバイス６とが別々に示されている。しかしながら、光検出器９のアレイはサブ表示画素８のアレイに一体化されてもよい。変形例として、光検出器９のアレイはサブ表示画素８のアレイを覆ってもよい。光検出器９は、表示画面により放射される光を直接受けずに、周囲照明による光のみ、つまり表示画面５の外側から表示画面５に達する光のみを受けるように保護されている。

ユーザインタフェースシステム１は、サブ表示画素８を選択するための選択ユニット11により表示画面５に接続された表示制御ユニット10（表示コマンド）を備えている。表示制御ユニット10は、例えば、デジタル画像が記憶され得るメモリを有している。デジタル画像とは、画像のデジタル表示を意味する。好ましくは、デジタル画像は、使用される色分けのタイプに依存するデジタル値のアレイを含む。表示制御ユニット10は、記憶されたデジタル画像に相当する画像を表示するために表示画面での表示を制御することができる制御信号を表示画面５に与える。例として、ＬＣＤ画面の場合、表示制御ユニット10は、光の通過を遮断する液晶又は光を通過させる液晶を選択することにより、表示画面５での画像の表示を制御することが可能である。

ユーザインタフェースシステム１は、光検出器９を選択するための選択ユニット13により光検出器９のアレイに接続された、動作要素７を検出するためのユニット（検出ユニット）12を備えている。選択ユニット11及び選択ユニット13は、少なくとも部分的に共通していてもよい。検出ユニット12は、例えば、光検出器９により送信される信号から得られるデジタル画像が記憶され得るメモリを有している。

実施形態によれば、ユーザインタフェースシステム１は従来の表示画面に検出デバイス６が追加されたものを用いて形成されている。光検出器９のアレイはサブ表示画素８のアレイを覆っている。

別の実施形態によれば、従来の表示画面の構造を変更して、表示画面５のサブ表示画素８のレベルに光検出器９を直接形成してもよい。例として、表示画面５が液晶ディスプレイに相当するとき、検出デバイス６は、米国特許出願公開第2010/0013793号明細書に記載されているような光検出器９を備えてもよい。表示画面が有機発光ダイオードを備えているとき、検出デバイス６は、仏国特許出願公開第11/58607号明細書に記載されているような有機半導体材料から形成された光検出器９を備えてもよい。

カラーＬＣＤ画面の場合における実施形態を更に詳細に述べる。ただし、表示画面は他のタイプの表示画面、例えばプラズマ画面又は有機発光ダイオードなどの有機半導体要素に基づく画面であってもよいことを明らかにしておく。

図２は、図１に示すユーザインタフェースシステム１を用いて特に実施可能な、動作要素とユーザインタフェースシステムとの相互作用を検出する方法の実施形態をフローチャート形式で示す。動作要素とユーザインタフェースシステムとの相互作用の検出は、表示画面上での動作要素の位置検出（接触検出）又は表示画面近傍での動作要素の位置検出（非接触検出）に相当する。少なくとも以降に述べるステップ20,22,24は、表示画面５での連続画像の表示と同時的に実施され得る。

ステップ20では、光検出器９により送信された信号から、新たなデジタル画像を検出ユニット12によって取得する。画像画素という用語は、画像のアレイの要素を指す。例として、取得される画像の画像画素のデジタル値は、光検出器９のうちの１つにより送信される信号に依存する。

新たなデジタル画像は、５又は10ヘルツの周波数で取得され得る。この周波数は、表示画面５での新たな画像の表示周波数より低くてもよい。更に、新たなデジタル画像の取得周波数は一定でなくてもよく、以降に更に詳細に述べるように、本実施形態の検出方法の実施における後続の実行ステップの性質に応じて変化してもよい。本方法はステップ22に進む。

ステップ22では、検出ユニット12は、取得されたデジタル画像で動作要素が検出されるか否かを判断する。一般に、動作要素の存在を、光検出器９により送信される信号の分析に基づいて検出する。例として、動作要素が存在しない場合の光検出器９の信号のレベルに対する、動作要素が存在することによる光検出器９の信号の変化を検索してもよい。別の例では、最後に取得されたデジタル画像の信号に対する光検出器９の信号の変化を検索してもよい。この検索は、取得されたデジタル画像の画素全てに対して、又は一部のみに対して実施され得る。実施形態によれば、動作要素がある特定の形態で検出されるように、検出ユニット12は満たすべき条件を定める。

動作要素を検索するための画像分析方法の結果は、
全ての検出条件が満たされるとき、動作要素の検出が確実、
全ての検出条件が満たされないとき、動作要素の不検出が確実、又は
検出条件が部分的に満たされるとき、動作要素の存在又は不在が不確実、
となり得る。

ステップ22で動作要素が検出された場合、本方法はステップ24に進む。ステップ22で動作要素が検出されない場合、本方法はステップ20に戻って、新たなデジタル画像を取得する。ステップ22で動作要素の検出が不確実な場合、本方法はステップ26に進む。

ステップ24では、本方法は、表示画面５に対する動作要素７の検出位置に応じた動作で実行される。この動作は、ここで考慮されているユーザインタフェースシステムに従ったいかなるタイプの動作でもよい。動作の例として、メニュー表示などを挙げることができる。本方法は、ステップ20に戻る。

ステップ26では、表示制御ユニット10は、ステップ22で実施された検索法による動作要素の検出の信頼性を向上させるために、つまりステップ22の検索法の実施後に確実な検出又は確実な不検出の結果を得るために、表示されているはずの画像に関して次に表示される画像を変更する。

画像になされる変更は、ステップ22で用いられる検索アルゴリズムのタイプに依存する。表示画像の変更の可能性として、次に表示される一又は複数の画像に関して、表示画像の画像全体又はその一部のみの画像画素のレベルを上げる又は下げることを含む。例として、次に表示される画像の少なくともある表示画素のレベルを、少なくとも0.5 ％、好ましくは少なくとも１％、より好ましくは少なくとも２％、特には５％上げるか又は下げる。よって、画像画素のレベルの変化は、観察者によって感知されないか、又はわずかに感知されるだけであるという点が有利である。他の例によれば、次に表示される画像の少なくともある表示画素のレベルを、少なくとも５％、好ましくは少なくとも10％上げるか又は下げる。これにより、次に取得される画像で動作要素を検出する可能性を高めることができる点が有利である。例として、次に表示される画像の表示画素の50％未満、好ましくは25％未満、より好ましくは15％未満、更に好ましくは10％未満のレベルを、表示されているはずの画像の画像画素に関して上げるか又は下げる。

ユーザの視覚を妨げないために、変更は、少数の連続する表示画像で行われ得るか、又は間欠的に行われ得る。例として、この変更は多くとも100 を超える画像、好ましくは50を超える画像、より好ましくは25を超える画像、更に好ましくは10を超える画像で継続され、検出又は不検出が確実になると、いずれにしても中断される。一例によれば、表示される変更画像の総数に達したときに確実な検出又は確実な不検出の判断がなされていない場合、検出ユニット12は、不検出が確実であると判断する。

例として、表示画像の変更が間欠的に行われるとき、この変更は２つ、３つ又は４つの画像のうちの１つの表示画像に対して行われる。一例によれば、表示画像の変更が間欠的に行われるとき、デジタル画像は変更画像の表示後にのみ取得される。別の例によれば、表示画像の変更が間欠的に行われるとき、変更画像の表示後及び変更されていない画像の表示後に画像を取得する。変更されていない画像が表示された後の取得画像が、変更画像が表示された後の取得画像から除かれてもよく、このように得られた画像に関して動作要素の検索を実行してもよい。

また、表示画像の画像画素の値を、検出が不確実である限り且つ閾値に達するまで、新たな変更画像の表示毎に例えば、少なくとも１％、好ましくは少なくとも２％、より好ましくは少なくとも５％、更に好ましくは少なくとも10％徐々に増減させることが可能である。閾値は、表示されているはずの画像に対する、例えば50％又は100 ％もの画像画素レベルの総変化量に相当する。

例として、閾値に達したときに不確実な検出又は不確実な不検出の判断がなされていない場合、検出ユニット12は、不検出が確実であると判断する。別の例によれば、閾値に達すると、変更画像を、変更画像の画素のレベルにいかなる変化も加えることなく表示し続けてもよい。

また、不確実な検出の場合、確実な検出又は確実な不検出が得られるまで、画像取得周波数を一時的に上げてもよい。例として、画像取得周波数に、少なくとも２、好ましくは少なくとも３、より好ましくは少なくとも５、更に好ましくは少なくとも10を一時的に乗じてもよい。例として、確実な検出又は確実な不検出の際の画像取得周波数が５〜10Hzの範囲内である場合、不確実な検出の際の画像取得周波数を50〜100 Hzまで一時的に上げてもよい。

図３は、カラーＬＣＤ画面の場合の図１のユーザインタフェースシステム１の表示画面５の実施形態を示す。２つの隣り合うサブ表示画素８が図１に示されている。例として、各表示画素は、典型的には一辺の長さが200 μｍ程度の正方形状の基部を有してもよい。例として、各表示画素は、辺の長さが50μｍ〜200 μｍの範囲内である矩形状の基部を有する３つのサブ表示画素８を含む。これらのサブ表示画素間の間隔は20μｍであり、このような間隔は、以下に述べるようにアドレストランジスタ及びアドレスライン並びにこれらのマスキングに用いられる。各サブ表示画素８は、サブ表示画素８の略表面全体に延在する液晶ブロック30を有している。液晶ブロック30のアレイは２つの略平行な対向する主表面31, 32を画定している。主表面31側にはバックライティングデバイス33が配置されている。バックライティングデバイス33は全てのサブ表示画素８に共通であってもよい。例として、バックライティングデバイス33は蛍光管又は発光ダイオードを有してもよい。例として、バックライティングデバイス33は、結晶の極性に応じて各液晶ブロック30を可変的に横断する白色光を放出する。

電極34が主表面31に配置され、電極35は主表面32に配置されている。電極34及び電極35は透明な導電性材料、例えばインジウムスズ酸化物すなわちＩＴＯから形成されている。例として、電極35は主表面32全体を覆う透明な導電性材料の連続した層を形成している。この層は、サブ表示画素間の空間に堆積された透明な導電性材料（例えばアルミニウム、銀又は銅）に比べて著しく抵抗性の低い非透明材料から形成された行又は列によって完成されてもよい。各液晶ブロック30は、液晶ブロック30を挟む電極34及び電極35間に電圧を印加することにより、バックライティングデバイス33からの光に対して若干不透明であってもよい。電極34及び電極35は、バックライティングデバイス33と液晶ブロック30との間に配置された選択ブロック36をサブ表示画素８毎に有する選択ユニット11により選択される。選択ブロック36は夫々、一又は複数のトランジスタを有してもよい。

非透明部分37が、バックライティングデバイス33と選択ブロック36との間に配置されている。よって選択ブロック36は、バックライティングデバイス33により放出される光を受けない。非透明部分38が、各選択ブロック36に略対向する電極35上に配置されている。よって選択ブロック36は、周囲照明からの光を受けない。非透明部分37及び非透明部分38は、例えば金属性の材料から形成されている。

各サブ表示画素８の電極35は、波長に従って電極35を横切る光波をフィルタリング可能な材料の部分39によって覆われている。部分39は夫々、例えば着色樹脂で形成されている。以下、部分39をカラーフィルタと称する。例として、カラーフィルタ39は夫々、サブ表示画素８の電極35のうち非透明部分38で覆われた部分を除いて電極35全体を覆っている。好ましくは、各カラーフィルタ39は特定の波長前後の波長の範囲の光波を好適に通過させることが可能である。例として、３つの異なる特定の波長に関連付けられた３つのカラーフィルタ39を用いてもよい。特定の波長は、原色の波長又は該波長に近い波長に相当してもよい。三原色は、例えば、赤、緑及び青である。カラーフィルタ39は、行又は列に沿った３色の変化に従ってサブ表示画素８のアレイに亘って分配され得る。

サブ表示画素８毎に、光検出器９は主表面31上に配置されており、図３にブロックとして略示されている。例として、各光検出器９は、一辺の長さが20μｍの正方形内に含まれてもよい。例として、サブ表示画素８と関連付けられた光検出器９は、隣り合うサブ表示画素８と関連付けられた選択ブロック36と隣り合ってもよい。ＬＣＤ画面では、光検出器９はフォトトランジスタの形態で形成され得る点が有利である。このような実施形態は、ＬＣＤ画面のアドレスアレイの形成に用いられる技術を変更しないという利点を有する。

非透明部分37は、バックライティングデバイス33と光検出器９との間に介在している。よって光検出器９は、バックライティングデバイス33により放射される光を受けない。非透明部分38は光検出器９に対向配置されていない。サブ表示画素８毎に、カラーフィルタ39はサブ表示画素８の光検出器９とは反対側に延在している。従って、光検出器９は、サブ表示画素８のカラーフィルタ39によるフィルタリング後に、周囲照明から生じる光を受ける。

図４は、動作要素とユーザインタフェースシステムとの相互作用を検出するための方法の実施形態をより詳細にフローチャート形式で示す。この方法は特に、表示画面５がカラー画面である場合、図１に示されたユーザインタフェースシステム１を用いて実施され得る。動作要素とユーザインタフェースシステムとの相互作用の検出は、表示画面上での動作要素の位置検出（接触検出）又は表示画面近傍での動作要素の位置検出（非接触検出）に相当する。

ステップ50では、図２に示されている方法のステップ20に関して前述したように検出ユニット12により新たなデジタル画像を取得する。好ましくは、各デジタル画像を３つのデジタルサブ画像に分割でき、各サブ画像を、前述の３つの特定の波長の内の１つに関連付けられたサブ表示画素８の光検出器９によって送信される信号から得ることができる。以下の説明では、「画像」という用語は、所与のカラープレーンにおいてこの色と関連付けられたサブ画像を指すのに用いられる。例として、原色の赤、緑及び青と関連付けられた３つのサブ画像を対象とする。「色画素」は、サブ画像のアレイ中の一要素を指すのに用いられる。例として、色画素のデジタル値は、複数の光検出器９のうちの１つによって送信される信号に依存する。カラーフィルタ39の分配に従って、サブ画像は異なる数の色画素を有してもよい。しかしながら、サブ画像が同じ数の色画素を有することが好ましい。本方法はステップ52に進む。

本実施形態の検出方法の原理は、各色画素のデジタル値が第１成分と第２成分とに分割され得るということに基づいている。

第１成分は、表示画面５に達する周囲照明の光を表す。表示画面５に接して配置された動作要素又は表示画面５の十分近くに配置された動作要素がない場合、取得されるデジタル画像は周囲照明の光源の特性のみに依存する。特に、周囲照明が固定されている場合、連続して取得されるデジタル画像は、動作要素がない状態では略同一である。動作要素が表示画面に接しているとき、又は表示画面の近傍にあるとき、第１成分は、周囲照明の光源と表示画面５との間に動作要素が介在していることによる影を更に表す。

第２成分は表示画面５に表示される画像の反射を表す。動作要素がない状態では、反射信号は極端に弱く、周囲照明に紛れ込む。実際、表示画面５は、光が表示画面５の周りの対象により拡散されて光検出器９により検出され得る光源として機能するとみなされ得る。接触の有無に関わらず表示画面５と相互作用する動作要素がある場合、第２成分は、表示画像が動作要素に反射することから、動作要素が表示画面５の近くにある領域で増加する。更に、動作要素が表示画面に近いほど、反射画像は、動作要素が表示画面５の近くにある領域に少なくとも局所的に表示される画像に近くなる。

以下に記載するステップ52〜58は、前述のステップ22の更に詳細な実施形態を例示している。

ステップ52では、検出ユニット12は、取得されたデジタル画像と参照デジタル画像との差を計算することにより、変更されるデジタル画像を決定する。この差を、各カラープレーンに関して色画素毎に計算してもよい。実施形態によれば、参照画像は、動作要素と表示画面５との相互作用がない状態で取得されるデジタル画像に相当する。本方法はステップ54に進む。

ステップ54では、検出ユニット12は、変更画像のカラープレーン毎に、色画素の値が略一定であるかを判断する。色画素の値が略一定であれば、取得されたデジタル画像と参照画像との差はごくわずかであるので、動作要素と表示画面５とは相互作用していないことを意味する。本方法はその後ステップ50に戻り、新たなデジタル画像を取得する。そのため、参照画像は最後に取得されたデジタル画像に相当し得るか、又は相互作用なしで最後に取得されたデジタル画像の色画素毎の平均に相当し得る。色画素の値が一定でなければ、取得されたデジタル画像が参照画像とは異なることを意味する。本方法はこの場合ステップ56に進む。

ステップ56では、検出ユニット12は、特に以下に記載の第１又は第２の検索アルゴリズムの内の少なくとも１つの検索アルゴリズムに従って、好ましくは少なくとも２つの検索アルゴリズム、特に以下に述べる第１及び第２の検索アルゴリズムに従って、動作要素と表示画面５とが相互作用しているか否かを検索する。

第１の検索アルゴリズムでは、動作要素に反射した表示画像の一部を検索し、表示画面５に対する動作要素の位置を表す情報を検索された一部から推定する。好ましくは、第１の検索アルゴリズムは、カラープレーン毎に別個に実行される。実施形態によれば、検出ユニット12は、取得されたデジタル画像と表示画像に関連付けられたデジタル画像との間に局所的な相関性があるか否かを各カラープレーン内で検索する。

より具体的には、実施形態によれば、検出ユニット12は、各カラープレーン内で、表示されたデジタル画像に基づいて変更される表示画像を決定し、取得されたデジタル画像に基づいて変更される取得画像を決定する。変更される表示画像の色画素は夫々、同一のカラープレーンの全ての色画素の平均値により減じられる表示されたデジタル画像の当該色画素の値に対応する。変更される取得画像の色画素は夫々、同一のカラープレーンの全ての色画素の平均値により減じられる取得されたデジタル画像の当該画像画素の値に対応する。

検出ユニット12は、カラープレーン毎に、各色画素のデジタル値が変更される表示画像の同じ色画素のデジタル値と変更される取得画像の同じ色画素のデジタル値との差に等しい作業画像を更に決定してもよい。相互作用の場合、デジタル値は相互作用が生じる画像領域で局所的に減少する。

検出ユニット12は、作業画像内で、動作要素の予測形状に応じた既知のパターンを検索し得る。これにより、検出される動作要素の形状に応じて動作要素のフィルタリングを行うことが可能になり、表示画面に接触している対象又は表示画面に近接している対象が予測形状を有していない場合に誤った検出を避けることが可能になることが有利である。これにより、例として、ユーザの一又は複数の指の検出が予測されるときにユーザの手のひらを検出することを避けることが可能になる。方法の一例として、作業画像に対するパターンの様々な位置について作業画像とパターンとの相関を決定する。例えば相関が所与の検出閾値より高い場合に検出を行う。例として、動作要素と画面との単一の相互作用を検索してもよい。この場合、作業画像とパターンとの相関が最大になる作業画像に対するパターンの位置を検索することができる。別の例によれば、動作要素と画面との複数の相互作用を同時的に検索してもよい。これは、例えばユーザが複数の指を用いて画面と相互作用し得るときに該当する。この場合、作業画像とパターンとの相関が最大になる作業画像に対するパターンの位置を検索することができる。

検出ユニット12は、相関が最大になる作業画像に対するパターンの一又は複数の位置に基づいて、表示画面５に対する動作要素の一又は複数の検出位置を決定することができる。

例として、動作要素がまだ検出されていないとき、検出ユニット12は、作業画像に対するパターンの位置として可能な全ての位置について作業画像とパターンとの相関を決定することができる。動作要素が検出されると、検出ユニット12はまず、相関が場合によっては局所的に最大であるか又は検出閾値より高い作業画像に対するパターンの一又は複数の最後の位置に近い位置についてのみ、作業画像とパターンとの相関を決定し得る。検出されなかった場合、作業画像全体に亘って検索を続けてもよい。

第２の検索アルゴリズムでは、取得されたデジタル画像上の動作要素の影を検索する。好ましくは、第２のアルゴリズムはカラープレーン毎に別個に実施される。実施形態によれば、検出ユニット12は、各カラープレーン内で、例えば動作要素の影を表す特定のパターンに従って色画素の値の極小値を検索する。例えば、極小値が所与の閾値より小さい場合に検出を行う。検出ユニット12は、作業画像に対する極小値の位置に基づいて、表示画面５に対する動作要素の検出位置を決定することができる。本方法はステップ58に続く。

例として、動作要素がまだ検出されていないとき、検出ユニット12は、取得されたデジタル画像全体に亘って極小値を検索してもよい。動作要素が検出されると、検出ユニット12は、極小値の最後に検出された位置に近い取得されたデジタル画像の位置についてのみ極小値をまず検索してもよい。検出されなかった場合、取得されたデジタル画像全体に亘って検索を続けてもよい。

更に、所与のカラープレーン内で動作要素がまだ検出されていないとき、検出ユニットは、前述の第１又は第２のアルゴリズムを実行することにより、別のカラープレーン内で動作要素が検出された一又は複数の位置で動作要素を更に検索してもよい。

ステップ58では、検出ユニット12は、第１の検索アルゴリズム、及び場合によっては第２の検索アルゴリズムの実行後に、確実な検出、不確実な検出又は不検出のいずれかが得られたかを判断する。第１の検索アルゴリズムについて、検出ユニット12は、動作要素が３つのカラープレーンに関して表示画面に対して同じ位置で検出されたかを判断することができる。同じ位置で検出された場合、動作要素の検出は確実であり、本方法はステップ60に進む。同様に、第２の検索アルゴリズムについて、検出ユニット12は、表示画面５上の動作要素の影が３つのカラープレーンに関して同じ場所で検出されたかを判断することができる。同じ場所で検出された場合、動作要素の検出は確実であり、本方法はステップ60に進む。第１の検索アルゴリズムによりいずれのカラープレーンについても反射が検出されなかった場合、又は第２の検索アルゴリズムによりいずれのカラープレーンに関しても影が検出されなかった場合、不検出が確実になり、本方法はステップ50に戻る。その他の場合、検出は不確実であり、本方法はステップ62に進む。

不確実な検出の例として、各アルゴリズムを実行した際に、検出結果が得られなかったカラープレーンが少なくとも１つあり、検出結果が得られたカラープレーンが少なくとも１つある場合に不確実な検出が生じる。不確実な検出の別の例として、第１及び／又は第２のアルゴリズムを実行した際に、表示画面５に対する動作要素の様々な検出位置に対応する３つのカラープレーンに関して検出結果が得られた場合に不確実な検出が生じる。

ステップ60では、本方法は、図２に示された方法のステップ24に関して前述したような表示画面５に対する動作要素の検出位置に応じた動作で行われる。本方法はステップ50に戻る。

ステップ62では、表示制御ユニット10は、図２に示した方法のステップ26について前述したように、表示されているはずの画像に対して次に表示される画像を変更して、動作要素の検出の信頼性を向上させる。

第１の検出アルゴリズムの実行により不確実な検出が生じた場合、カラープレーンにおける表示画像の反射の不検出は、この色に対する反射が弱いか又はこの色に対する反射が周囲照明により分かりにくいことに起因し得る。よって、表示画像の変更の可能性として、次に表示される一又は複数の画像に関して、検出が不確実なカラープレーン内で表示画像の色画素のレベルを上げることを含む。

第２の検出アルゴリズムの実行により不確実な検出が生じた場合、カラープレーンにおける動作要素の影の不検出は、この色に関する表示画像の反射により影が補われることに起因し得る。よって、表示画面の変更の可能性として、次に表示される一又は複数の画像に関して、影が予測されているが検出されなかった一又は複数のカラープレーン内で画像の色画素の値を減じることを含む。

第１又は第２のアルゴリズムの実行により不確実な検出が生じた場合、カラープレーンにおける色画素のレベルを、動作要素が他のカラープレーン内で検出された一又は複数の位置で局所的にのみ上げる又は下げることが可能である。更に、色画素のレベルを、検出が行われたカラープレーン内でも、カラープレーン全体で又は検出位置で局所的にのみ上げることが可能である。

ユーザの視覚を妨げないように、変更が、少数の連続画像に関して行われてもよく、又は、例えば２つ若しくは３つの画像の内の１つの画像に関して間欠的に行われてもよい。間欠的に行われる場合、第１の検索アルゴリズムは、表示画像が変更されるときにのみ実行される。また、色画素の値の変更は、カラープレーンの全ての色画素に関して行われてもよく、又はカラープレーンのうち影が予測される部分の色画素に関してのみ行われてもよい。更に、表示画像の色画素の値を、不確実な検出結果が得られる限り且つ閾値に達するまで、新たな画像の表示毎に例えば少なくとも５％徐々に増加又は減少させてもよい。閾値に達したときに確実な検出の判断がなされていなければ、検出ユニット12は不検出と判断する。不確実な検出の場合、検出又は不検出が確実になるまで画像取得周波数を一時的に上げて、確実な検出又は不検出の判断を早める。より一般的には、確実な検出又は不確実な検出の場合、動作要素の検出が終了するまで画像取得周波数を一時的に上げてもよい。これにより、不検出の際に検出ユニット12を過度に使用することなく動作要素の変化を円滑且つ迅速に検出することが可能になる。

実施形態によれば、ステップ50で、取得されたデジタル画像を用いて周囲照明の強度を決定してもよい。取得されたデジタル画像の輝度を決定することにより、周囲照明の強度を得ることができる。取得されたデジタル画像がＲＧＢ色空間に符号化されているとき、取得されたデジタル画像に関してＲＧＢ色空間からＸＹＺ空間へのマトリクス変換を行って輝度Ｙの値を用いることにより、周囲照明の強度を得ることができる。実施形態によれば、表示画面５に表示される画像の輝度を、取得されたデジタル画像の色画素の輝度Ｙの平均値に従って変更してもよい。

実施形態によればステップ50で、周囲照明の一般色を決定するために、取得されたデジタル画像を用いてもよい。周囲照明の一般色を、取得されたデジタル画像の一般色を決定することにより得ることができる。取得されたデジタル画像がＲＧＢ色空間に符号化されているとき、取得されたデジタル画像に関してＲＧＢ色空間からＨＳＶ空間へのマトリクス変換を行って色相Ｈの値を用いることにより、周囲照明の一般色を得ることができる。実施形態によれば、表示画面５に表示される画像の輝度を、取得されたデジタル画像の色画素の色相Ｈの平均値に従って変更してもよい。

輝度又は色を、広範に又は局所的に変更することが可能である。実際、表示画像の輝度又は色の局所的な修正を行うことが可能である。例として、日光が表示画面５の一部のみに当たる場合、表示画像の輝度をこの部分のみで局所的に高めることができる。

周囲照明が弱い場合には第１の検索アルゴリズムが阻害されず、周囲照明が強い場合には第２の検索アルゴリズムが阻害されないことが有利である。よって、第１及び第２のアルゴリズムが実行される実施形態に従った方法の検出の信頼性が向上する。

図５は、光検出器が、表示画面に取り付けられた検出デバイス70に設けられている場合に特に適した光検出器９の実施形態を部分的且つ概略的に示す断面図である。図５は、２つの光検出器72を示す。光検出器72は複数の行及び列に分配されてもよい。各光検出器72は、動作中、表示画面５のサブ表示画素８を部分的に覆っている。

光検出器72は、透明又は半透明の誘電性支持体74、例えばガラス又はプラスチックからなる基板の表面に形成されている。

光検出器72は夫々、支持体74から下記の順序で
−光検出器72で覆われたサブ表示画素のカラーフィルタと同様に光線をフィルタリングするカラーフィルタ75、
−例えば透明な導電性酸化物すなわちＴＣＯから形成された、例えばインジウムスズ酸化物すなわちＩＴＯから形成された透明な電極76、
−例えば高濃度にドープされた透明な有機半導体ポリマ、又は透明な導電性の例えばZnO 型の金属酸化物から形成された電子注入部分78、
−例えばP3HTとして公知のポリ（３−ヘキシルチオフェン）又はポリ（３−ヘキシルチオフェン−2, 5−ジイル）（Ｐ型半導体）とPCBMとして公知の[6,6] −フェニル−Ｃ₆₁−酪酸メチルエステル（Ｎ型半導体）との混合物である、有機半導体ポリマの混合物から形成された半導体部分80、
−例えば、ポリ(3, 4)−エチレンジオキシチオフェンとポリスチレンスルホン酸ナトリウムとの混合物である、PEDOT:PSS として公知のポリマである、高濃度にドープされた有機半導体ポリマの部分82（正孔注入層）、及び
−例えばアルミニウム又は銀からなる電極84
を含む積層体を有する。

光検出器72の半導体領域80は、透明な誘電性材料86により互いに横方向に分離している。また、透明な保護被覆層88が（電極84側の）アレイの上面を覆っている。

変形例によれば、カラーフィルタ75が存在しない。この場合、光検出器72は夫々、検出する色に適したスペクトル感度を有して形成されている。これは、使用するポリマ成分及び光検出器72を形成する層の厚さを調整することにより得ることができる。

この例では、光検出器72は透明な基板74並びに透明な電極76及び電子注入部分78を通る周囲照明によって照らされるように構成されている。検出デバイス70は、保護被覆層88側で表示画面５を覆ってもよく、光検出器72は夫々、表示画面５からの光を直接受けないようにするために、表示画面５の黒色領域の上方に配置されているか、又は表示画面５のサブ表示画素の金属トラックによりマスクされている。

透明な電極76は、上から見て平行な帯状であってもよい。この場合、不透明な電極84が平行な帯に相当し得る。帯状の電極84の夫々は、検出デバイス70の同じ行の全ての光検出器に接続されており、透明な帯状の電極76は各行に対して垂直に延び、別々の行の光検出器に接続されている。変形例として、電極76は、全ての光検出器72と接触する透明な導電性材料の板に設けられてもよい。

検出デバイス70の光検出器72は印刷技術により形成されてもよい。前述の層78〜88の材料は、例えばインクジェットプリンタを用いた導電性の半導体インクの形態など、液体形態で堆積されてもよい。ここで「液体形態の材料」とは、印刷技術により堆積可能なゲル材料も指す。各層の堆積と堆積との間にアニール工程を行ってもよいが、アニール温度は150 ℃を超えてはならず、堆積と（アニール工程を採用する場合の）アニールとは大気圧で行われ得る。

印刷技術による有機半導体成分の形成については、例えばJean-Yves Laurentらによる記事「CEA-LITEN S2S printing platform for Organic CMOS and Sensors Devices」，LOPE-C Conference，2011年６月，フランクフルトに記載されている。

図６は、光検出器72を選択するための手段を更に詳細に説明する検出デバイス70の平面略図である。図６は、３つの光検出器72を夫々有する２つの行90を部分的且つ概略的に示す。選択要素92が各光検出器72と関連付けられている。選択要素92は、有機薄膜トランジスタ（OTFT）に相当してもよい。トランジスタ92のソース及びドレインのうちの一方の端子が光検出器72の電極84に接続されており、ソース及びドレインのうちの他方の端子が導電性トラック94に接続されている。導電性トラック94は、行90の全ての選択要素92に接続されてもよい。トラック94は、例えば金属などの不透明な材料から形成され得る。各トランジスタ92のゲートは、行90に対して垂直な方向に延びる透明な導電性材料のトラック96から送られる信号によって制御され得る。トラック96は、別々の行90の複数のトランジスタ92に接続されてもよい。

検出デバイス70が表示画面５を覆っている場合、２つの隣り合う行90は、表示画面５から生じる光を通過させるために透明な材料の行98により間隔をあけて配置されている。好ましくは、表示画面５に対するユーザの視覚を妨げないように、行90は行98より幅が狭い。

検出デバイス70が表示画面５に一体化されている場合、表示画面５のサブ表示画素８は夫々の行98に形成されている。

別の実施形態によれば、検出デバイスが表示画面に一体化されている場合又は表示画面を覆っている場合、タッチ式表示画面は検出デバイス70を覆うレンズ状スクリーンを有してもよい。レンズ状スクリーンは、仏国特許出願公開第12/58546号明細書に記載のレンズ状スクリーンに相当し得る。

レンズ状スクリーンは例えば、行90及び行98に平行に延びた隣り合う円柱レンズを有している。これらのレンズは平凸の円柱レンズであってよい。各レンズの幅は、行90の幅と行98の幅との和に略等しい。各レンズの焦点距離は、行90がレンズの第２焦点に略あるように調節される。レンズ状スクリーンは、レンズが行98の全幅に亘って行98を覆うように且つ光検出器の少なくとも行90の幅の少なくとも一部を覆うように、行90及び行98に対して配置されている。

各レンズは、行98を通って放射されるか又は行90によって集められる光線を逸らす（このことにより暗い領域を形成する）。行98から生じる光線はわずかに逸れるだけでこの光線の方向は光軸に比較的近いままであるが、光検出器の行90により反射する光線は光軸からかなり離れた方向に逸れる。これにより、ユーザはサブ表示画素の行98から生じる光線のみを知覚し、光検出器の行90の暗い領域を知覚しない。従って、ユーザは表示画面５により拡散された画像のみを見て、検出デバイス70を見ない。

表示画面に対して著しく傾斜している光線は、レンズによって逸らされ、検出デバイスの光検出器によって受けられる傾向にある。レンズ状スクリーンに近い動作要素の検出が、このようにかすめて通る光線の有無を検出することに基づいて行われてもよい。よって、検出デバイス70の動作はレンズ状スクリーンの存在によって妨げられない。

前述の実施形態では、例えば原色を中心とした対象の波長範囲とは異なってもよいある波長範囲の周囲照明の光波を捕捉することが可能な光検出器９が考察されている。ここで、対象の波長範囲の波長を有する光波のみを通過させるように、周囲照明の光源と光検出器との間にカラーフィルタが配置されている。或いは、各光検出器９は、光検出器毎に異なってもよい対象の波長範囲の光波のみを検出するように設計されてもよい。この場合、カラーフィルタはなくてもよい。

前述の実施形態では、方法のステップは、一又は複数の計算デバイスを用いて実行され得る。よって、本実施形態は、特定のタイプの計算デバイスを用いた動作に限定されない。

図７は、検出ユニット12及び／又は表示制御ユニット10を形成するのに用いられ得る計算デバイス1000のブロック図である。計算デバイス1000は、一又は複数のプロセッサ1001と、コンピュータにより読取可能な一又は複数の非一過性の記憶支持体（例えばメモリ1003）とを備えてもよい。メモリ1003は、コンピュータにより読取可能な非一過性の記憶手段に、実行の際に上述の検出方法のステップを行うコンピュータプログラム命令を記憶してもよい。一又は複数のプロセッサ1001はメモリ1003に接続されてもよく、これらのステップを実行させるための上記コンピュータプログラム命令を実行してもよい。

計算デバイス1000は、計算デバイスを他の計算デバイスと（例えばネットワークを介して）通信可能にするネットワーク入力／出力インタフェース1005（ネットワークI/O インタフェース）を更に備えてもよく、計算デバイスがユーザに出力信号を送ってユーザからの入力信号を受けることができる一又は複数のユーザインタフェース1007（一又は複数のユーザI/O インタフェース）を更に備えてもよい。ユーザインタフェースは、キーボード、マウス、マイクロフォン、ディスプレイ周辺機器（例えばモニタ又はタッチスクリーン）、ラウドスピーカ、カメラ及び／又は他の種々のタイプの入力／出力周辺機器を含み得る。

上述の実施形態は複数の手法で実施可能である。例として、本実施形態は、専用回路、ソフトウェア、又はそれらの組み合わせを用いて実施され得る。ソフトウェアにより実施されると、ソフトウェアコードは何らかの好適なプロセッサ（例えばマイクロプロセッサ）、又は単一の計算デバイスに設けられても複数の計算デバイス間で分散されてもよい一組のプロセッサで実行され得る。なお、前述の方法のステップを実行するあらゆる構成要素又は構成要素組立体を、上述のステップを制御する一又は複数の制御部としてみなすことができる。一又は複数の制御部は多くの手法で実施可能であり、例えば、上述の方法のステップを実行するためにソフトウェア又はマイクロコードを用いてプログラムされる専用電子回路又は汎用回路（例えば一又は複数のプロセッサ）によって実施可能である。

この点において、本明細書に記載の実施形態は、一又は複数のプロセッサで実行されると、上述の実施形態のステップを実行するコンピュータプログラム（すなわち複数の実行可能な命令）で符号化された少なくとも一つのコンピュータにより読取可能な記憶媒体（RAM 、ROM 、EEPROM、フラッシュ若しくは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD ）若しくは他の光ディスク支持体、磁気カセット、磁気テープ、磁気記憶ディスク若しくは他の磁気記憶装置、又は他のコンピュータ読取可能な非一過性記憶支持体）を備えていることに留意されたい。コンピュータにより読取可能な記憶媒体に記憶したプログラムを何らかの計算デバイスにロードして本明細書に記載の技術の複数の態様を実行することができるように、この記憶媒体は携帯型であってもよい。更に、実行されると、上述の方法のステップの１つを行うコンピュータプログラムは、ホストコンピュータ上で実行されるアプリケーションプログラムに限定されないことも記しておく。対照的に、「コンピュータプログラム」及び「ソフトウェア」という用語は、ここでは、前述の方法の複数の態様を実施するために一又は複数のプロセッサをプログラムするのに用いられ得るあらゆるタイプのコンピュータコード（例えばアプリケーションソフトウェア、ファームウェア、マイクロコード又はあらゆる形態のコンピュータ命令）を指すような一般的な意味で用いられる。

特定の実施形態を述べてきた。当業者にとっては様々な変更及び調整が想起される。特に、実施形態では２つの検索アルゴリズムが実施されると記載したが、動作要素による表示画像の反射を検索するためのアルゴリズムのみを実施することも可能である。

本特許出願は、参照によって本明細書に組み込まれている仏国特許出願第13／50350 号明細書の優先権を主張している。

Claims

第１の連続画像を画面上に表示するステップ、
少なくとも１つの第２の画像を取得するステップ、
前記第２の画像の分析に基づいて、前記画面に対する少なくとも１つの動作要素の位置を検索するステップ、及び
前記第２の画像における前記動作要素の位置を決定する条件が部分的にのみ満たされている場合、次に表示される第１の画像のうちの少なくとも１つを変更するステップ
を有し、
前記第２の画像は、別々の色に関連付けられた少なくとも２つのサブ画像を含むカラー画像であることを特徴とする方法。
前記第２の画像は、前記画面に達する光の画像に相当することを特徴とする請求項１に記載の方法。
次に表示される第１の画像の少なくともある特定の画素の強度を増加又は減少させることを特徴とする請求項１又は２に記載の方法。
次に表示される第１の画像の一部のみを変更することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
前記画面に対する前記動作要素の位置を、各サブ画像内における前記動作要素による第１の画像の反射の検出に基づいて検索することを特徴とする請求項１乃至４のいずれか１項に記載の方法。
前記動作要素による第１の画像の反射を表す少なくとも１つの第１の所与のパターンを、各サブ画像内で検索することを特徴とする請求項５に記載の方法。
前記動作要素による第１の画像の反射が各サブ画像内の同じ位置で検出される場合、前記画面に対する前記動作要素の位置を決定する条件が満たされることを特徴とする請求項５又は６に記載の方法。
前記動作要素による第１の画像の反射が少なくとも１つのサブ画像内に検出され、全てのサブ画像内には検出されない場合、前記画面に対する前記動作要素の位置を決定する条件が部分的にのみ満たされることを特徴とする請求項５乃至７のいずれか１項に記載の方法。
前記画面に対する前記動作要素の位置を、各サブ画像内における前記動作要素の影の検出に基づいて検索することを特徴とする請求項１乃至８のいずれか１項に記載の方法。
前記動作要素の影を表す少なくとも１つの第２の所与のパターンを、各サブ画像内で検索することを特徴とする請求項９に記載の方法。
前記動作要素の影が各サブ画像内の同じ位置で検出される場合、前記画面に対する前記動作要素の位置を決定する条件が満たされることを特徴とする請求項９又は１０に記載の方法。
前記動作要素の影が少なくとも１つのサブ画像内に検出され、全てのサブ画像内には検出されない場合、前記画面に対する前記動作要素の位置を決定する条件が部分的にのみ満たされることを特徴とする請求項９乃至１１のいずれか１項に記載の方法。
第１の連続画像を表示するための画面、
少なくとも１つの第２の画像を取得するための取得デバイス、
前記第２の画像の分析に基づいて前記画面に対する少なくとも１つの動作要素の位置を検索するためのデバイス、及び
前記第２の画像中の前記動作要素の位置を決定する条件が部分的にのみ満たされる場合、次に表示される第１の画像を変更するためのデバイス
を備えており、
前記第２の画像は、別々の色に関連付けられた少なくとも２つのサブ画像を含むカラー画像であることを特徴とするシステム。
前記取得デバイスはフォトンセンサのアレイを有しており、
前記画面は表示画素のアレイを有しており、
前記フォトンセンサのアレイは前記画面を覆っているか、又は前記表示画素のアレイと一体化されていることを特徴とする請求項１３に記載のシステム。