JP6203971B2 - ディスプレイ装置を操作する方法及びシステム - Google Patents

Description

本発明は、ディスプレイ装置を操作する方法に関し、該方法は以下のステップを含む。第１に、ユーザの頭部の少なくとも一部分の画像データをキャプチャする。次に、前記頭部の少なくとも一部分の動きによってユーザにより変更可能な少なくとも一つのパラメータを前記キャプチャされた画像データから確定し、その後ディスプレイ装置上の視覚表示を前記確定した少なくとも一つのパラメータに応じて制御する。更に、本発明はコンピュータ装置用のプログラムを備えたコンピュータプログラム製品に関し、前記プログラムはコンピュータ装置によって実行されたとき、前記方法のステップを実行及び／又は生ぜしめるプログラムコードセクションを備える。最後に、本発明は、ユーザの頭部の少なくとも一部分の画像データをキャプチャするキャプチャ装置、前記キャプチャ装置によりキャプチャされた画像データから前記頭部の少なくとも一部分の動きによってユーザにより変更可能な少なくとも一つのパラメータを確定するよう構成された少なくとも一つのコンピュータ装置、及び前記コンピュータ装置により確定された前記少なくとも一つのパラメータに応じてディスプレイ装置上の視覚表示を制御する制御装置を備えた、ディスプレイ装置を動作させる対応システムに関する。

これに関連して、いわゆる追跡装置、例えば視線追跡装置、顔面追跡装置、頭部追跡装置等が知られており、それらはユーザの頭部の少なくとも一部分の画像をキャプチャし、その画像からユーザの視方向、眼の動き及びその他の眼及び頭部のデータを確定するように構成されている。このような追跡装置は物理的ユニットとしても、分散型としてもよい。これらの装置は、例えば、カメラと照明装置が別々に設けられるかモニタに組み込まれる場合に分散されるが、データ処理プログラムは接続されたコンピュータ、例えばＰＣ、タブレットＰＣ又はスマートフォン等上で実行される。しかしながら、このような追跡装置は、コンピュータユニットが例えばユーザに着用される眼鏡、タブレットＰＣ又はラップトップのような装置に組み込まれる場合に物理的ユニットとして形成することもでき、この装置は更に少なくとも一つのカメラ、少なくとも一つのディスプレイ及び必要に応じ少なくとも一つの照明装置を有する。しかしながら、必要に応じ、この場合には、少なくとも一つのカメラからコンピュータ装置によりキャプチャされ、必要に応じ更に処理されたデータを利用のために他のコンピュータ、例えばＰＣ、タブレットＰＣ又はスマートフォンに転送することができる。

頭部の一部分の動きによってユーザにより変更可能な少なくとも一つのパラメータは追跡装置により決定された画像データから確定することができる。このパラメータは、例えば視方向とし得るが、眼の動き、頭部の動き及び他の眼及び頭部のデータとしてもよい。この少なくとも一つのパラメータはその後、ディスプレイ装置上のソフトウェアアプリケーションの視覚表示を制御するため、例えば表示をスクロールするため、処理のためにエクセルテーブルのセルを選択するため、アイコンを選択するために使用される。こうして、コンピュータプログラムの通常の操作ができない障害者も例えばソフトウェアアプリケーションを利用することができる。

以下の説明の範囲内において、表現「アプリケーション」はアプリケーションプログラム、例えばＷｏｒｄを意味する。表現「ファイル」は本書のような文書を意味する。コンテキストパラメータはファイル又はアプリケーション又はさらに細かい単位、例えばオブジェクト、セッティングなどに結びつけることができる。

ユーザがソフトウェアアプリケーションの操作を異なる状態において追跡装置による制御で見つけることは難しかったり易しかったりすると思われ、その操作性はソフトウェアアプリケーションの要件、特にそれぞれのシークインタラクションに依存する。

従って、本発明の目的は、ディスプレイ装置に視覚的に表示されたソフトウェアアプリケーションの操作が極めて異なる状態においてもできるだけ簡単且つ確実にできるように構成された、最初に述べた方法、対応するプログラム製品及び対応するシステムを提供することにある。

この目的は請求項１の特徴を有する方法、請求項１３の特徴を有するコンピュータプログラム製品及び請求項１４の特徴を有するシステムによって解決される。

本発明は、複数の理解の組み合わせに基づいている。即ち、一方では、追跡装置によるディスプレイ装置上のソフトウェアアプリケーションの視覚表示の制御のロバスト性は環境状態、ユーザの人相学的及び化粧的な眼及び頭部のパラメータにより大きく影響される。他方では、制御のロバスト性はユーザの挙動により影響される。更に、ロバスト性及び上述のパラメータによるその影響もカメラセンサ、光学系、必要に応じ存在する照明装置等の使用する技術的要素の個別の特性に従って相違する。即ち、異なる追跡装置及び同じ設計の異なる装置もすべてのユーザ、アプリケーション及び状態に対して同じ測定正確度及びロバスト性をもたらさない。更に、ロバスト性の上述した相違の影響は制御すべきソフトウェアアプリケーションの要求に従って相違する。スクリーンに表示される制御に関連する要素が小さいほど、操作性及びユーザ知覚へのロバスト性の変化の影響が大きくなる。最後に、ユーザがこのような制御技術をよく使うほど、利用分野及びソフトウェアアプリケーションが当たり前になり、即ち無制御になり、均一な品質の操作性及びユーザ知覚がすべてより重要になることを考慮すべきである。

ソフトウェアアプリケーションを操作し得るこのようなインタラクション装置、即ち追跡装置の効果的な利用を極めて異なるユーザに可能にするために、本発明では、正確さを反映する少なくとも一つの品質パラメータが確定され、「適応ズーム」がインタラクションのために与えられる。

本発明の範囲内においてユーザが例えば視方向によってスプレッドシートプログラムのセルを選択する場合には、本発明によれば、セル格子がこの目的のためのズームレベルでユーザに与えられ、このズームレベルは画像データのキャプチャ品質に、又は特別使用の追跡装置によって又は環境状態により影響される所定の状態において確定される上述のパラメータに、又は所定のユーザに適合する。逆に、アプリケーションにより選択装置が与えられる可能性があり、例えばスプレッドシートプログラムにはセルマーキングがあり、セルは通常大きく、現在達成可能な正確さに由来するセル数と同数の大きさになる。これはユーザの物理的特性、環境状態、使用ハードウェア、ユーザと追跡装置の距離及びその他の条件に依存する。従って、４つのセルのみの正確さが大きい場合には、４つのセルのブロックが選択要素として常に強調表示される。更に、非離散的インタラクションのシナリオにおいても、カーソル又はマウスポインタは画像データの現在のキャプチャ品質及び／又は上述の確定パラメータの正確さに適応され、ソフトウェアアプリケーションの制御は常に視覚的期待値に対応して実行されるので、低い品質又は低い正確さの場合に更に大きくなる。

表示の差は大きくしてはならず、極めて小さくすることができる。適応化は、ユーザがソフトウェアアプリケーションの操作要素の視覚表示の結果期待するインタラクションを実行することもできるように実行されることが重要である。

従って、本発明によれば、少なくとも一つの品質パラメータを画像データのキャプチャに基づいて確定し、その後少なくとも視覚表示の少なくとも一部分の解像度を前記少なくとも一つの品質パラメータに応じて変更する。

本発明の範囲内において、解像度という語は視覚表示のサイズを意味する。しかし、サイズ不変のオブジェクト当たりの画素数の変更の観点からの解像度の変更は本発明では実行してはならない。

従って、キャプチャされた画像データに基づいて、例えばキャプチャされた画像データ自体から又はこの画像データから計算される中間データ又は結果データから低い品質が確定された場合には、視覚表示の少なくとも一部分の解像度をこれらの低い品質状態下でもユーザの追跡装置によるソフトウェアアプリケーションの操作を更に可能にするように変更することができる。このように、ディスプレイ装置に表示される視覚表示の最適な解像度、例えばズームレベルを、ソフトウェアアプリケーションとのユーザのインタラクションのために最適な「バーチャル正確さ」を可能にするために提供することができる。

従って、本発明の方法によれば、このようなアプリケーションの高いロバスト性を非常に異なるユーザ、ハードウェア機器及び環境状態のために与えることができる。特に、安価なハードウェア機器でも、制御すべきソフトウェアアプリケーションの正確さ要件が高い場合でも、操作機能に障害のあるユーザでも、このようなアプリケーションの確実な操作が可能になる。

本明細書において、品質パラメータは品質、特に画像データから確定されたパラメータ又は画像データ自体の測定の正確さに関連する。品質パラメータは、確定されたパラメータの正確さの尺度、特に測定正確度を表し、特にパラメータの確定の正確度も表し、よって確定されたパラメータとは異なるパラメータである。本明細書において、品質パラメータと確定されたパラメータとは同じ画像データに基づいて確定される。本明細書において、品質パラメータは特にこの画像データに基づいて及び／又は確定されたパラメータに基づいて決定することができる。品質パラメータを確定するためには、パラメータの確定に含まれるデータ及び／又は確定されたパラメータ自体を解析するのが好ましく、このデータはキャプチャされた画像データ及び／又はその画像データから計算される中間及び／又は結果データを表す。従って、確定されたパラメータは測定された品質を表すと解釈することができ、品質パラメータは測定された品質と関連する測定正確度又は信頼度又は測定された量と関連する正確さの尺度、特に測定正確度を示す。品質パラメータは、特に予測方法でも、確定されたパラメータが実際のパラメータから、例えば最大で、最小で又は平均で、どのくらい大きく偏差しているか定量化し、例えば確定された視方向の実際の視方向からの最大可能偏差であるかどうか定量化する。品質パラメータは確定されたパラメータが対応する実際のパラメータから例えば最大でどれだけ偏差するかを示す推定値を示すこともできる。品質パラメータはまた、例えば時間的に直ちに又は所定の時間間隔で連続的に確定されるパラメータの実際の又は推定の偏差を、例えば平均値を中心とする連続的に確定されたパラメータの分散の形で示すことができる。これまで、偏差を決定するために、数ある中でも、確定されたパラメータ間の絶対差値の和又は確定されたパラメータと確定されたパラメータの平均値との絶対差値の和、標準偏差、分散、相関、スペクトル不変性（スペクトル平坦性）等の他の方法を使用することもできる。確定されたパラメータの時間的偏差としての品質パラメータは、例えば固定の期間又は固定のオーバラップ期間又はビューイング事象（凝視、サッカード等）から決定される期間に対して決定することができる。

従って、確定されたパラメータは測定の不正確さを有し、関連する品質パラメータはこれを反映又は示す。例えば、ここでは品質パラメータ自体は測定正確度に影響を与える環境状態又は環境影響を示さないで、測定正確度又は測定正確度自体の尺度を示す。よって、品質パラメータ自体はユーザに関する位置情報を示さず、このような情報は品質パラメータから導出することはできない。従って、環境状態、例えば環境の明るさ、キャプチャ装置までのユーザの距離等は画像データ自体のキャプチャにおいて必ず知る必要があるわけではないが、例えば品質パラメータがコントラストや雑音部分等の画像パラメータを観測し、それから確定されたパラメータの精度又は安定性への影響が決定される場合には、パラメータの確定へのそれらの影響を確定し示すことができる。しかしながら、必要に応じ、環境の明るさなどの環境状態についての結論を画像パラメータから引き出すこともできる。

好ましくは、少なくとも一つの品質パラメータを確定するためには、画像データから確定されたパラメータの少なくとも一つの品質及び／又は大きさ、及び／又は画像データのキャプチャ及び／又はキャプチャされた画像データの品質を解析することができる。これにより、確定されたパラメータの測定正確度は現在の環境状態を知る必要も直接測定する必要もなしに有利に確かめることができる。特に、パラメータを確定するために必要とされる、画像データから確定された中間パラメータの大きさ及び／又は画像データの品質を上述した解析において評価することもできる。

解像度が視覚表示の特性、特にサイズに関連する場合には、好ましくは、品質パラメータで示される確定されたパラメータの品質が低い場合に解像度が増大されるように変更され、例えば品質パラメータで高い正確度が示される場合の解像度に対して視覚表示が拡大される。解像度が視覚表示内の移動可能な要素の移動速度の解像度に関する場合には、解像度は例えば低い正確度に対して低減されるように変更され、例えば確定されたパラメータの正確度が高い場合の解像度に対して移動速度が低減される。これは両場合におけるユーザの表示の制御を容易にする。

好ましくは、視覚表示は頭部の少なくとも一部分の動きにより移動可能な少なくとも一つの要素を含み、ステップ（ｅ）において、少なくとも一つの移動可能な要素の移動速度は少なくとも一つの品質パラメータに応じて変更される。

悪い状態の下では、所定の解像度において頭部の少なくとも一部分の動きによって視覚表示上の一要素に正確に到達することはユーザにとって不可能である。移動可能要素の移動速度の解像度が低減されれば、アプリケーションの操作はこのように容易になる

好ましい実施形態では、ステップ（ｅ）において、視覚表示全体の解像度が少なくとも一つの品質パラメータに応じて変更される。こうして、例えば眼疾患、老化等の結果として視覚機能が制限されたユーザのソフトウェアアプリケーションの操作が容易になる。

代わりに、ステップ（ｅ）において、視覚表示の一部分のみの解像度を少なくとも一つの品質パラメータに応じて変更してもよい。これにより、ディスプレイ装置に表示し得る内容が少し低減されるだけであるため、その内容は、例えばそれぞれ活性ウィンドウの内容のみが改善された解像度で表示される場合には、解像度の増大にもかかわらず、多数のウィンドウと連携させることができる。

視覚表示は少なくとも一つの静的及び／又は動的要素を含むことができ、静的及び／又は動的要素の解像度がステップ（ｅ）において少なくとも一つの品質パラメータに応じて変更される。解像度が変更される視覚表示の一部分として、以下の群から選ばれる少なくとも一つの要素：倍率機能に対応する領域、プリセット可能な作業ウィンドウの内容、マウスポインタ、カーソル及び／又は視覚表示により生成される、アプリケーションの論理部分；を考慮することができる。例えば、これは、Ｅｘｃｅｌ又は他のソフトウェアアプリケーションのワークシートのセル領域、セルの内容、アイコンバー、そのプルダウンメニュー、スクロールバーに関するものとし得る。

このように、選択装置、従ってマウスポインタ又はカーソルは、例えば悪い状態の下で変更され、即ち拡大されるため、ユーザが現在の状態でディスプレイ装置に表示されているアプリケーションの表示された目標オブジェクトを視覚的に選択することができる正確さのレベルを再現することができる。

好ましくは、少なくとも一つの品質パラメータを確定するために、以下の群から選ばれる少なくとも一つの量：ステップ（ａ）でキャプチャされた画像データのパラメータ、特に前記画像及び／又は前記少なくとも一つの確定されたオブジェクトの雑音部分、周波数、強度分布、及び／又は、ステップ（ａ）でキャプチャされた画像データ、特に前記キャプチャされた画像データから計算される中間又は結果データの評価のパラメータ、が確定される。

言い換えれば、品質パラメータはカメラ画像から最終的に計算されるデータまでの信号処理チェーン内の各位置で確定することができる。雑音部分では、確定されたオブジェクトの信号対雑音比又は他のパラメータ、特に瞳、角膜輪部、角膜反射等が考慮される。結果データの雑音部分では、特に視方向又は頭部の向きが考慮される。

前記少なくとも一つの品質パラメータを確定するために、ステップ（ａ）でキャプチャされた画像データが以下の量の少なくとも一つ、特に時空間的周波数解析又はウェーブレット解析によるプリセット可能な周波数範囲内の周波数部分、プリセット可能な画像領域内のコントラスト値、特に画像領域内の勾配、エッジ、強度、レート／分布、プリセット可能なパラメータの大きさ値、結果データの大きさ値、少なくとも一つのプリセット可能なオブジェクトの存在、及び／又はステップ（ａ）でキャプチャされた画像データから確定される中間又は結果データの変化速度又は加速度、に関して解析される。更に、特に対応するマシン／適応学習方法がこの解析のために考慮される。プリセット可能な周波数範囲内の周波数部分の評価により、雑音部分又はジッタを異常として評価することができる。コントラスト値の評価では、特に所定の測定オブジェクト、例えば瞳の周りの所定の画像領域が評価のために考慮される。プリセット可能なパラメータの大きさ値では、特に測定オブジェクトの大きさ値が考慮される。例えば小さな角膜反射が確定される場合には、どちらかというと低い測定品質が測定されるべきである。結果データの大きさ値では、例えば視角が考量される。よって、小さい視角はどちらかというと高い測定品質を指し示すが、大きい視角はどちらかというと低い測定品質を指し示す。例えば、プリセット可能なオブジェクトの存在が検査される場合には、それは片目又は両目の存在が確定される場合に考慮される。例えば、両目に対して探索された角膜反射がすべて見つかった場合、これは片目又は両目の角膜反射が見つからなかった場合より高い測定品質を指し示す。更に、例えば両目の視角が設定可能な閾値より大きく異なる場合、これは低い測定品質を指し示す。例えばヘッド位置データの高い変化速度又は加速度はどちらかというと低い測定品質を指し示すが、逆に低い変化速度及び加速度は高い測定品質を指し示している。

解像度は線形、非線形、連続及び／又は不連続特性線に従って変更することができる。こうして、例えば、対応するコンピュータ装置の性能への適応化を実行することができ、また所定のアプリケーションの特定の要件を適応化することができる。例えば、暗黙アプリケーションケース又は時々パッシブと呼ばれるアプリケーションケースでは、例えば表示への視点が使用されるが、可視化されず、暗黙アプリケーションケースは例えばいくつかのゲームの場合であるので、連続特性線でうまく機能する。明示的アプリケーションケースでは、視点が可視化され、ユーザは例えばカーソル又は他の選択マーク、例えばスプレッドシートプログラム又はインプットマスクを目で見ながら動かすので、明示的アプリケーションケースは離散的倍率でうまく機能する。同じアプリケーションケースが頭部の動きによるアプリケーションとのインタラクションのために機能する。非線形特性線は特にこのようなアプリケーションケースに合理的であり、この場合には表示のインタラクション要素のサイズの差が大きく、スムースなインタラクションを確実にするために低い測定品質に対してより大きな倍率を高速に選択する必要がある。

解像度の変更はユーザにより特にキーコマンド、音声コマンド又はジェスチャコマンドでターンオン及びオフすることができる。例えば、視覚表示全体の解像度が増大される場合、作業ウィンドウ内で実行中のスプレッドシートプログラムでの作業が容易になる。しかしながら、処理後又は処理中に、他の作業ウィンドウが認識しにくくなり得る。解像度をターンオン及びオフすることができるようにすることによって、ディスプレイ装置上の作業ウィンドウのすべてを簡単に再び認識可能にしてソフトウェアアプリケーションの交換をユーザに可能にすることができる。加えて、ユーザに全体的に適切な一以上の解像度又は所定のアプリケーションケースに特に適切な一以上の解像度を記憶し再び読み出すことができるようにするのが合理的である。そのような特定の解像度をアプリケーションケースに結び付け、この結び付けをその発生時に自動的に調整して、ユーザに慣れ効果を生じさせ、解像度が必要以上に変更されないようにするのが有用である。

好ましくは、少なくとも一つの品質パラメータはステップ（ａ）の後で確定され、特にステップ（ｂ）と一緒に、又はステップ（ｂ）とステップ（ｃ）との間で確定され、或いはまた連続的に、即ち最初にステップ（ａ）の後で、その後プリセット可能な時間間隔で及び／又は少なくとも一つのプリセット可能な事象に応じて、好ましくは特に少なくとも一つの品質パラメータが導出される画像データ、中間データ又は結果データが少なくとも一つのプリセット可能な閾値を上回る及び／又は下回るときに確定される。少なくとも一つの品質パラメータを確定するのに特に好ましい時点としては、システムの初期化（較正及び検証を含む）時、又はアプリケーション、ファイル、ビュー又は処理ステップの変更時であり、これらの時点は新たなサイズの操作要素を必要とする。

解像度の変更に必要とされる計算は追跡装置、例えば視線追跡装置内で、又はターゲットコンピュータ上の別のプログラムにより、又は操作システムの一部分として又はアプリケーションの一部分として実行することができる。

ユーザの頭部の少なくとも一部分として、自身の頭部自体及び／又は自身の片眼又は両眼を動かすのが好ましい。

更なる好ましい実施形態は従属請求項から明らかである。

本発明による方法に関して提示した好ましい実施形態及びそれらの利点は、適用可能な限り、ディスプレイ装置を操作するための本発明によるコンピュータプログラム製品及び本発明によるシステムに準用することができる。

これから本発明の実施形態について添付図面を参照して以下に詳細に記載する。

本発明によるシステムの第１の実施形態の概略構成図である。 本発明によるシステムの第２、第３及び第４の実施形態の概略構成図である。 本発明における第１のアプリケーション例を示す図である。 本発明における第２のアプリケーション例を示す図である。 本発明における第３のアプリケーション例を示す図である。 本発明による方法の第１の実施形態の概略信号フロー図である。 本発明による方法の第２の実施形態の概略信号フロー図である。

異なる図において、明瞭のために同じ参照符号が同様に動作する同一の要素に対して以下で使用される。

図１は本発明によるシステム１０の構成を概略的に示し、このシステムは特に静止状態で利用し得る。このシステムでは、モニタ１２はユーザ１４の前に置かれ、視線追跡装置１６はモニタ１２の底部に配置され、モニタ１２はユーザ１４の頭部の少なくとも一部分の画像データをキャプチャするために照明装置１７とカメラ装置１５を含む。モニタ１２と視線追跡装置１６にデータ処理装置１８が結合され、データ処理装置１８にはソフトウェアアプリケーション２０が格納され、モニタ１２に視覚表示を生成する。モニタ１２上のアプリケーションの視覚表示はデータ処理装置１８のコンピュータ装置２４に結合された制御装置２２によって制御することができる。コンピュータ装置２４は、ユーザの頭部の少なくとも一部分、特にその頭部自体又は片眼又は両眼の視線追跡装置１６によりキャプチャされた画像データに基づいて少なくとも一つの品質パラメータを確定するように構成される。制御装置２２はモニタ１２上の視覚表示の少なくとも一部分の解像度をコンピュータ装置２４により確定された少なくとも一つの品質パラメータに応じて変化させるように構成される。図示されてない実施形態では、複数の照明装置１７及び／又は複数のカメラ装置１５を設けてもよい。更に、代わりに、品質パラメータの上述の確定は視線追跡装置内に収容されたコンピュータ装置で行ってもよく、この場合には測定データと確定された品質パラメータのみがデータ処理装置１８に転送される。

少なくとも一つの品質パラメータを決定するために、コンピュータ装置２４はキャプチャされた画像データのパラメータ、特に画像内の雑音部分及び／又は確定したオブジェクトの雑音部分を評価することができる。キャプチャされた画像データの評価、特にキャプチャされた画像データから計算される中間又は結果データのパラメータを評価することもできる。従って、コンピュータ装置２４は、キャプチャされた画像データを、プリセット可能な周波数範囲内の周波数部分、プリセット可能な画像領域のコントラスト値、プリセット可能なパラメータの大きさ値、結果データの大きさ値、プリセット可能なオブジェクトの存在及び／又はキャプチャされた画像データから計算される中間又は結果データの変化速度又は加速度に関して解析するように構成することができる。

図２は本発明によるシステムの一実施形態のコンポーネントを概略的に示し、これらのコンポーネントはモバイル状況において好適に利用し得る。このシステムでは、ユーザ１４が眼鏡のように着用し得る視線追跡装置１６が使用され、更にユーザ１４の少なくとも一つの眼の画像データをキャプチャする少なくとも一つのカメラ１５に加えて、少なくとも一つのディスプレイユニット１２、例えばディスプレイを有し、このディスプレイはウェアラブル視線追跡装置１６に結合され、画像がユーザ１４の少なくとも一つの眼に投影されるように構成されている。図２ａは単眼型の実施形態を示すが、両眼型の実施形態は図２ｂに示されている。単眼型の実施形態は一つのカメラ１５と一つのディスプレイ装置１２のみで形成されるが、両眼型の実施形態は２つのディスプレイ装置１２ａ、１２ｂと２つのカメラ１５ａ、１５ｂで実現される。

図２ｃに示す実施形態では、ディスプレイ装置１２はクローズド型ヘッドマウントディスプレイ（ＨＭＤ）のように不透明に形成され、ほぼ閉じたマスク内に配置され、少なくとも一つのカメラ１５に加えて、単眼型でも両眼型でも、視線追跡装置１６のＬＥＤ１７ａ及びＬＥＤ１７ａと関連する光学系１７ｂを含む。このような実施形態では、ディスプレイ装置１２は画像をユーザ１４の両眼に提示する。

図１のデータ処理装置１８は、図２の実施形態並びに代替実施形態におけるそれぞれの視線追跡装置１６内に設けてもよい。しかしながら、視線追跡装置１６はケーブル又は無線でモバイル又は固定のデータ処理装置１８に結合してもよい。モバイル設計のデータ処理装置１８の場合には、そのデータ処理装置はスマートフォン又はタブレットＰＣとして好適に形成することができる。

図３は、スプレッドシートプログラム、例えばＥｘｃｅｌにおける本発明のアプリケーションの一例を概略的に示す。確定された品質パラメータに応じて、領域２６内の解像度が拡大鏡機能に従って増大される。領域２６はキャプチャされた画像データから確定されたユーザの視方向に応じて視覚表示全体２８に亘って移動される。明らかなように、領域２６内のセル３０の寸法は領域２６の外部のセル３２より著しく大きい。更に明らかなように、ユーザ１４はセル３０を処理のためにプリセット可能な手段により活性化されている。本発明によれば、この処理は、確定された品質パラメータの状態及び必要に応じコンテキスト情報に対応する、領域２６の外側の表示に使用される解像度より大きい解像度で実行することができる。ユーザはいったん決定された倍率設定を記憶し再利用することができる。更に、解像度は品質パラメータの変化の決定時に変更することができる。よって、効率的な操作のための最適な表示が常に達成される。

一方では、この機能はユーザ１４に全体の概観を維持し得るが、他方では良好な光学的状態下での処理を可能にする。領域２６内のセル３０を活性化する手段は、例えばユーザ１４が視線をこのセルに向け、必要に応じ同時にキーを押す、ジェスチャを実行する、又は音声信号を発生することとすることができる。また、セルの活性化は、ユーザ１４が視線をこのセル３０に向け、片眼又は両眼をプリセット可能な時間窓内で瞬かせること又は設定可能な最小時間の間このセルに固定することによって実行することができる。他の可能性も当業者に考えられるが、本発明の要旨ではない。

図４は本発明の他のアプリケーション例を示す。ここでは、作業領域、即ち例えば作業ウィンドウの解像度が少なくとも一つの品質パラメータに応じて変更される。良好な状態、即ち、例えば高品質の追跡装置、良好な照明、追跡装置とユーザとの間の距離が小さい等の状態が存在する場合には、作業ウィンドウはディスプレイ装置１２に、例えば作業ウィンドウ３４ａのように低い解像度で提示される。しかし、品質パラメータが悪い状態を示す場合には、作業ウィンドウは高い解像度で提示される（作業ウィンドウ３４ｂ参照）。

図５は本発明の更なるアプリケーションを示す。良好な状態下での視覚表示が左側に示され、悪い状態下での同じアプリケーションの視覚表示が右側に示されている。これから明らかなように、表示全体の解像度が高められる。

図６は本発明方法の一実施形態を示す。本方法はステップ１００で開始する。ステップ１１０において、ユーザの頭部の少なくとも一部分の画像データがキャプチャされる。次に、ステップ１２０において、頭部の少なくとも一部分の動きによってユーザにより変更可能な少なくとも一つのパラメータがステップ１１０でキャプチャされた画像データから確定される。次に、ディスプレイ装置上の視覚表示がステップ１３０において、確定された少なくとも一つのパラメータ及びプリセット解像度に応じて制御される。例えば、視方向がステップ１２０で確定され、それによってセル３０が活性化される（例えば、図３及び図４参照）。いずれにせよ、この測定ループは、ステップ１４０で象徴的に示すように、少なくともこのように設定されたインタラクションが活性である限り、画像データからパラメータを確定するために連続的に更に実行される。

更に、ステップ１５０において、少なくとも一つの品質パラメータがステップ１１０でキャプチャされた画像データに基づいて直ちに確定される。ここでは、直接キャプチャされた画像データを評価することができ、またこの画像データから計算される中間又は結果データも評価することができる。ここでは、画像の雑音部分及び／又は確定されたオブジェクトの雑音部分、例えば確定された視方向の雑音部分が特により詳しく検査される。

ステップ１６０において、品質パラメータの値がプリセット可能な閾値を超えるか検査される。超える場合には、ステップ１７０において、プリセット解像度がディスプレイ装置の視覚表示の少なくとも一部分に対して品質パラメータの値に応じて変更される。しかし、閾値以下に下がることがステップ１６０において決定される場合には、本方法は（実施の形態に応じて）ステップ２００又はステップ２１０の何れかで続行される。

ステップ１５０〜１７０は、例えば本発明によるシステムの初期化（特に較正又は検証を含む）時に１回実行することができる。この場合には、本方法は、必要に応じステップ１６０をバイパスし、ステップ１８０において“Ｙ”で示すブランチに分岐され、ステップ１９０で終了する（ステップ１１０，１２０，１３０及び１４０を含む測定ループは継続すること勿論である）

評価が連続的に実行される場合には、本方法はステップ１８０において従来通りにステップ２００又はステップ２１０を介して後方に分岐する。ステップ２００又はステップ２１０による後方分岐時に、ステップ１５０〜１８０は（現在示されているように）引き続き定期的に実行することができ、また事象又は閾値によりトリガすることもできる。

図７はスプレッドシートプログラムＥｘｃｅｌの例に適用し、追跡装置として視線追跡装置を使用する、本発明による方法の一実施形態を示す。この方法では、ステップ３００において、視線追跡装置が最初に較正され、検証される。この目的のために、例えば視線追跡装置が、ユーザ１４がモニタ１２のどこを注視しているか（注視点）を測定し、その正確さをモニタ座標に基づいて評価する。ステップ３１０において、Ｅｘｃｅｌが開始され、アプリケーションファイルが開かれる。次に、ステップ３２０において、視方向カーソル、即ちユーザの視方向の変化によりモニタ上を移動されるカーソルが活性化される。この活性化は、例えばキーボード上のプリセット可能キーで実行される。

次に、即ちステップ３３０において、又はステップ３２０と同時に、本発明による品質パラメータに基づく解像度制御が活性化される。この活性化がステップ３２０と同時に実行されない場合には、ステップ３３０においてプリセット可能な複合キーを押すことによって又は音響又は視覚信号によって実行させることもできる。

ステップ３４０において、アプリケーション例において確定された品質パラメータに応じてＥｘｃｅｌテーブルの単一セルを視方向によって選択できるように解像度がセットされる。ユーザ１４が視線を向ける個々のセルが強調表示される。代わりに、表示の現在の解像度に対応するセル群及び視線追跡装置の品質パラメータを強調表示することもできる。このときユーザはその解像度が個々のセルを視覚的に選択するのに十分でないことを知る。ユーザが本発明による解像度適応化を活性化すれば、その解像度はユーザが視覚的にセルを正確に選択することができるように適応化される。

ステップ３５０において、視方向により選択されるそれぞれのセルが処理される。これは、視方向によるセルの選択、セル編集モードの活性化を含み、この活性化はキーボードを押すこと又は話すことで開始される。次に、セル領域の第１セルをアドレスするために、例えば数式がセル領域に引数として入力される。このとき、該当するセルに眼が向けられ、それを選択するためにキーが押される。その後、該当するセル領域の最終セルに眼が向けられ、キーボードがその選択を完了するために開放される。次に、数式の入力を終了するために例えば“）”キーが押される。例えばセル領域の最終該当セルが、該当領域の開始セルより低い正確度で有効化されたこの操作範囲内の一部分内にある場合には、この部分内の個々のセル選択を可能にするためにズームが自動的に変更される。例えばユーザと視線追跡装置との間の距離の変化のために雑音部分が視方向の測定において変化する場合にも同じことが本発明に従って起こり得る。代わりに、本発明によるオートスケーリングの設定を、全可視セル領域の解像度が直ちに、即ち自動的に、ユーザが所与の状態下でセルを常に正確に視覚的に選択できるように適応化されるようにすることもできる。

従って、ステップ３５０におけるＥｘｃｅｌテーブルの処理中に、少なくとも一つの品質パラメータが連続的に検査され、解像度が適切に設定されるため、特にＥｘｃｅｌテーブルの個々のセルは品質パラメータが低下しても選択可能に維持される。

ステップ３６０において、Ｅｘｃｅｌテーブルの処理が終了したか検査され、ノーであればスイッチング３５０へ後方分岐され、イエスの場合には、ステップ３７０が実行され、ここで解像度制御は非活性化され、及び／又は視方向カーソルが非活性化され、及び／又はアプリケーションファイル又はアプリケーション、即ちＥｘｃｅｌが閉じられるか、新たな作業領域の処理が続けられる。

Claims (22)

1. （ａ）ユーザ（１４）の頭部の少なくとも一部分の画像データをキャプチャするステップ（ステップ１１０）；
   （ｂ）前記頭部の少なくとも一部分の動きによって前記ユーザ（１４）により変更可能な少なくとも一つのパラメータをステップ（ａ）でキャプチャされた前記画像データから確定するステップ（１２０）；
   （ｃ）ディスプレイ装置（１２）上の、前記ユーザによるアプリケーション操作のための視覚表示を確定した前記少なくとも一つのパラメータに応じて制御するステップ（１３０）；
   を含む、ディスプレイ装置（１２）を操作する方法において、更に次のステップ：
   （ｄ）ステップ（ａ）における前記キャプチャに基づいて少なくとも一つの品質パラメータを確定するステップ（１４０）；
   （ｅ）前記視覚表示の少なくとも一部分の少なくとも一つの解像度を前記少なくとも一つの品質パラメータに応じて変更させるステップ（１５０）；
   を含み、
   ステップ（ｂ）で確定された前記パラメータは測定量を表し、前記品質パラメータは前記測定量と関連する測定の正確さ又は前記測定量と関連する測定の正確さの尺度を表す、
   ことを特徴とする、方法。
2. 前記少なくとも一つの品質パラメータを確定するために、ステップ（ｂ）で確定された前記パラメータの品質及び／又は大きさ、及び／又は前記画像データのキャプチャの品質を解析し、及び／又は前記少なくとも一つの品質パラメータを決定するために、ステップ（ａ）でキャプチャされた前記画像データを解析する、
   ことを特徴とする請求項１に記載の方法。
3. 前記視覚表示は頭部の少なくとも一部分の動きにより移動可能な少なくとも一つの要素を含み、ステップ（ｅ）において前記少なくとも一つの移動可能な要素の移動速度の解像度が前記少なくとも一つの品質パラメータに応じて変化される、
   ことを特徴とする請求項１又は２に記載の方法。
4. ステップ（ｅ）において、前記視覚表示全体の解像度が前記少なくとも一つの品質パラメータに応じて変更される、
   ことを特徴とする請求項１−３の何れか一項に記載の方法。
5. 前記視覚表示は少なくとも一つの静的及び／又は動的要素を含み、ステップ（ｅ）において、前記静的及び／又は動的要素の解像度が前記少なくとも一つの品質パラメータに応じて変更される、
   ことを特徴とする請求項４に記載の方法。
6. 前記ステップ（ｅ）において前記視覚表示全体の解像度が変更される、
   ことを特徴とする請求項４に記載の方法。
7. 前記視覚表示の一部分として、以下の群：
   ・倍率機能に対応する領域；
   ・プリセット可能な作業ウィンドウの内容；
   ・マウスポインタ；
   ・カーソル；
   ・アプリケーションの操作要素；
   ・アプリケーションにより表示されたデータの内容要素又は領域；
   ・前記視覚表示により生成される、アプリケーションの論理部分；
   から選ばれる少なくとも一つの要素の解像度が変更される、
   ことを特徴とする請求項４又は５に記載の方法。
8. 前記少なくとも一つの品質パラメータを確定するために、以下の群：
   ・ステップ（ａ）でキャプチャされた前記画像データのパラメータ、特に前記画像及び／又は前記少なくとも一つの確定オブジェクトの雑音部分、周波数、強度分布；
   ・ステップ（ａ）でキャプチャされた前記画像データの評価のパラメータ、特に前記キャプチャされた画像データから計算される中間又は結果データのパラメータ；
   から選ばれる少なくとも一つの量が確定される、
   ことを特徴とする請求項１−７の何れか一項に記載の方法。
9. 前記少なくとも一つの品質パラメータを確定するために、ステップ（ａ）でキャプチャされた前記画像データが以下の量：
   ・特に時空間的周波数解析又はウェーブレット解析による、プリセット可能な周波数範囲内の周波数部分；
   ・プリセット可能な画像領域内のコントラスト値、特に画像領域内の勾配、エッジ、強度、レート／分布；
   ・プリセット可能なパラメータの大きさ値；
   ・結果データの大きさ値；
   ・少なくとも一つのプリセット可能なオブジェクトの存在；及び／又は
   ・ステップ（ａ）でキャプチャされた前記画像データから確定される中間又は結果データの変化速度又は加速度；
   の少なくとも一つに関して解析される、
   ことを特徴とする請求項１−８の何れか一項に記載の方法。
10. 前記解像度は、線形、非線形、連続及び／又は不連続特性線に従って変化される、
    ことを特徴とする請求項１−９の何れか一項に記載の方法。
11. 前記解像度の変化は、ユーザ（１４）により、特にキーコマンド、音声コマンド又はジェスチャコマンドによってターンオン及びオフされる、
    ことを特徴とする請求項１−１０の何れか一項に記載の方法。
12. いったん設定された少なくとも一つの解像度は前記視覚表示を生成するアプリケーションに応じて又はそれと独立にユーザ（１４）によって記憶され且つ再び読み出され、前記記憶及び読み出しは予め調整されたインタラクション又は前記ユーザによりプリセット可能なインタラクションによって、特にキーコマンド、音声コマンド又はジェスチャコマンドによって実行され、又はコンテキストが共同記憶され、記憶された解像度の前記読み出しが前記コンテキストの発生時に自動的に実行される、
    ことを特徴とする、請求項１−１１の何れか一項に記載の方法。
13. 前記コンテキストは以下のパラメータ：
    ・プリセット可能なアプリケーション；
    ・プリセット可能なファイル；
    ・アプリケーションのプリセット可能なビュー、特にツールバー、ウィンドウ、ツールのビュー；
    ・ファイルのプリセット可能なビュー、特に視覚データ、処理設定、レイアウト、視覚構造に関するビュー；
    ・アプリケーションにより提供されるフロー中の所定のプロセスステップ；
    のうちの一以上から決定される、
    ことを特徴とする請求項１２に記載の方法。
14. 前記少なくとも一つの品質パラメータは、
    ・ステップ（ａ）の後で、特にステップ（ｂ）と一緒に、又はステップ（ｂ）とステップ（ｃ）との間で、又は
    ・連続的に、即ちステップ（ａ）の後で、その後プリセット可能な時間間隔で及び／又は少なくとも一つのプリセット可能な事象に応じて、好ましくは特に少なくとも一つの品質パラメータが導出される画像、中間又は結果データが少なくとも一つのプリセット可能な閾値を上回る及び／又は下回るときに、
    確定される、
    ことを特徴とする請求項１−１３の何れか一項に記載の方法。
15. 前記解像度の適応化は、以下の状態：
    ・継続的に、前記品質パラメータが新しい値を得るたび、
    ・前記品質パラメータが少なくとも一つのプリセット可能な閾値を超えるとき、
    ・コンテキストが変化するとき、
    ・前記ユーザがプリセット可能なアクションを実行するとき、特にプリセット可能なキーを押すとき、プリセット可能なジェスチャを実行するとき及び／又はプリセット可能な音響信号を発するとき、
    の少なくとも一つに応じて実行される、
    ことを特徴とする請求項１−１４の何れか一項に記載の方法。
16. 前記ユーザ（１４）の前記頭部の前記少なくとも一部分として、前記ユーザ（１４）の頭部及び／又は片目又は両目を動かす、
    ことを特徴とする請求項１−１５の何れか一項に記載の方法。
17. 前記品質パラメータは前記画像データの品質又は前記画像データから計算される中間又は結果データの品質に関連する、
    ことを特徴とする請求項１に記載の方法。
18. 前記品質パラメータは前記画像データから確定された前記パラメータの品質又は前記画像データの品質に関連する、
    ことを特徴とする請求項１に記載の方法。
19. コンピュータ装置のためのプログラムが記録された記録媒体であって、前記プログラムが前記コンピュータ装置で実行されるとき、請求項１−１８の何れか一項に記載の前記ステップを実行及び／又は生じさせるプログラムコードセクションを有する、記録媒体。
20. ・ユーザ（１４）の頭部の少なくとも一部分の画像データをキャプチャするキャプチャ装置（１５；１５ａ，１５ｂ，１７）と、
    ・前記キャプチャ装置（１５；１５ａ，１５ｂ，１７）によりキャプチャされた前記画像データから前記頭部の少なくとも一部分の動きによって前記ユーザ（１４）により変更可能な少なくとも一つのパラメータを確定するよう構成された少なくとも一つのコンピュータ装置（２４）と、
    ・前記ユーザによるアプリケーション操作のために、前記コンピュータ装置（２４）により確定された前記少なくとも一つのパラメータに応じてディスプレイ装置（１２）上の視覚表示を制御する制御装置（２２）と、
    を備えた、ディスプレイ装置（１２；１２ａ，１２ｂ）を操作するシステムにおいて、
    ステップ（ａ）でキャプチャされた前記画像データに基づいて少なくとも一つの品質パラメータを確定するように構成された少なくとも一つのコンピュータ装置（２４）が設けられ、前記制御装置（２２）が更に、前記視覚表示の少なくとも一部分の少なくとも一つの解像度を前記少なくとも一つの品質パラメータに応じて変更するように構成され、
    ステップ（ｂ）で確定された前記パラメータは測定量を表し、前記品質パラメータは前記測定量と関連する測定の正確さ又は前記測定量と関連する測定の正確さの尺度を表す、
    ことを特徴とする、システム。
21. 前記品質パラメータは前記画像データの品質又は前記画像データから計算される中間又は結果データの品質に関連する、
    ことを特徴とする請求項２０に記載のシステム。
22. 前記品質パラメータは前記画像データから確定された前記パラメータの品質又は前記画像データの品質に関連する、
    ことを特徴とする請求項２０又は２１に記載のシステム。