JP5766763B2 - スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム - Google Patents

Description

本発明は、眼球追跡技術を運用し且つグラフィカルユーザインターフェース（ＧＵＩ）に作動するコンピュータシステムに関し、特に、利用者の目を通じてカーソル制御をサポートする技術に関する。

利用者がコンピュータを操作する利便性を図るため、現有のコンピュータ内のＯＳ、例えばＷｉｎｄｏｗｓ（登録商標）或いはＬｉｎｕｘ（登録商標）には、グラフィカルユーザインターフェース（ＧＵＩ）が提供されることで、利用者とコンピュータのインタラクションが便利になっている。この種のグラフィカルユーザインターフェース内には通常ウインドウ及び例えばスクロールバー、アイコン（Ｉｃｏｎ）、ボタン等の各種クリック可能なオブジェクトをクリック又は選択のために提供されている。例を挙げると、利用者がマウスでデスクトップ（ｄｅｓｋｔｏｐ）上のあるアプリケーションプログラムを示すアイコン（Ｉｃｏｎ）を押すと、該某アプリケーションプログラムを起動させることができ、このアプリケーションプログラムを操作ウインドウ内で実行できる。利用者が更に別のアイコンを押すと別の操作ウインドウが現れて別のアプリケーションプログラムが実行され、画面が表示される。この種のよく見られるコンピュータ操作インターフェースは、一般の人々にとって非常に便利であるが、筋萎縮性側索硬化症及び筋萎縮症、脳性麻痺、脊髓の損傷、多発性硬化症を患う、又は脳卒中により四肢を動かせない、更には話すことができない特定疾患患者が使用しようとしても難しいものであった。

前段落で記述した特定疾患患者が、自由に使用できる主な器官として目があり、現在多種類の技術が開発されてこの種の特定疾患患者が目で対外的にコミュニケーションを行うことや、更に目でコンピュータを使用することをサポートし、例えば利用者がコンピュータのスクリーンを見る時、該利用者の視線を該スクリーン上における集中位置（座標）を取得することで、ウインドウ上のカーソル移動を制御する。

しがしながら、従来の技術において、現在この種の特定疾患患者が、便利で且つ速やかに、目でグラフィカルユーザインターフェース内の各種クリック可能なオブジェクトをクリックさせることは、まだ見られないため、この種の特定疾患患者がコンピュータを使用する際やはり不便である。

台湾特許公告番号第Ｉ３６２００５，Ｉ３５６３２８号 台湾特許公開番号第２０１１２４９１７号 台湾特許公開番号第２０１０３５８１３号 台湾特許公開番号第２０１０１６１８５号

そこで、本発明は上記のような従来技術の問題点に鑑みて、鋭意研究を重ねた結果、以下の発明を完成するに至った。

本発明は、該スクリーンに表示された画面上の１つの位置を示し、利用者の目が該位置を注視している注視点座標を受信することと、該画面内のクリック可能なオブジェクトを得ることと、上記表示するクリック可能なオブジェクト内から上記注視点座標を含むクリック可能なオブジェクトを見つけ出すことと、カーソルを見付けた該クリック可能なオブジェクトに移動させ、好しくは該クリック可能なオブジェクトの中心部に移動させることと、を含むスクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法を提供する。

上記該画面内のクリック可能なオブジェクトを得ることについて、画面内の一番下のレイヤの親ウインドウを取得すること、画面内の注視点座標を含む一番上のレイヤの子ウインドウをサーチすることと、該一番上のレイヤの子ウインドウにあるクリック可能なオブジェクトを見つけ出すステップで達成できる。

この他に、該注視点座標を含むクリック可能なオブジェクトを見付からない状況において、該注視点座標を中心とし、複数の該注視点座標を囲う付近座標帯を確立するステップと、いずれかのクリック可能なオブジェクトの座標が上記複数の付近座標帯にあるか否かについて上記クリック可能なオブジェクトの座標と付近座標帯を比較するステップと、複数のクリック可能なオブジェクトの座標が上記座標帯にある場合、上記該付近座標帯にある複数のクリック可能なオブジェクトのうちのどのクリック可能なオブジェクトの中心点座標が注視点座標に一番近いかを比較するステップと、該カーソルを注視点座標までの距離が一番近いクリック可能なオブジェクトの中心点座標に移動するステップとを実行できる。具体的に言うと、それら付近座標帯は計８つの点があり、且つ、うちの４つの点が各々該正方形の４つの頂角に位置し、他の４つの点が各々該正方形の各辺長の間中に位置する。この他に、前記の比較を行う時、付近座標帯上の８つの点座標のみを比較することで、クリック可能なオブジェクトの座標がこの８つの点座標にあるか否かを判断し、１個のクリック可能なオブジェクトのみが上記８つの点座標にある場合、カーソルを該クリック可能なオブジェクト上の中心部に移動させる。複数のクリック可能なオブジェクトが上記８つの点座標にある場合、上記複数のクリック可能なオブジェクトのうちのどのクリック可能なオブジェクトの中心座標が、該注視点座標に一番近いかを比較し、カーソルを、該注視点座標までの距離が一番近いクリック可能なオブジェクト上の中心部に移動させる。

本発明は、上記スクリーンと画像取込み装置とを含み、画像処理プロセスとカーソル位置決め処理プロセスを実行できるコンピュータシステムを提供する。該画像処理プロセスの実行を通じて、該コンピュータシステムは該画像取込み装置で撮影した画像に基づき上記注視点座標を算出でき、次に該カーソル位置決め処理プロセスを実行する。該カーソル位置決め処理プロセスは、上記本発明に係わる方法で記載されている各ステップを含む。

本発明は、更にコンピュータで読み込むことができるメディアを含むコンピュータプログラム製品を提供する。該コンピュータで読み込むことができるメディアは、上記本発明に係わる方法を実行させることができるプログラムコードを有する。

本発明は、利用者がスクリーン上の１つの位置を注視した時、該スクリーン内のカーソルを制御して該位置を占拠する１個のクリック可能なオブジェクトの中央部、若しくは該位置までの距離が一番近い１個のクリック可能なオブジェクトの中央部に迅速に移動させ、これを介して該利用者が目でコンピュータを使用できるという利便性を促進する。

本発明の上記特徴と利点を更に明確で理解してもらうため、以下に実施例を挙げ、添付する図面を基に詳細な説明を行う。

本発明に係るコンピュータシステムの好ましい実施例の操作を示す図である。 本発明に係るコンピュータシステムの一例を示すシステムブロック図である。 本発明に係るコンピュータシステムがそのスクリーン内に表示する見本画面の一例を示す図である。 本発明に係る方法に使用する各ステップを説明するためのフローチャートの一例を示す図である。 本発明に係る方法に使用する各ステップを説明するためのフローチャートの一例を示す図である。 本発明に係る方法に使用する各ステップを説明するためのフローチャートの一例を示す図。 本発明に係る、付近座標帯の一例を示す図である。

本発明に係るコンピュータシステム１の好ましい実施例の操作を図１を参照しながら説明する。該コンピュータシステム１は、スクリーン１０と画像取込み装置１１と上記スクリーン１０の裏にある一コンピュータ動作メカニズムとを備える。図２は、該コンピュータシステム１を示すシステムブロック図である。該コンピュータ動作メカニズムは、中央処理装置（ＣＰＵ）及びランダムアクセスメモリ（ＲＡＭ）の処理コアを有する処理ユニット１００と、ストレージユニット１０１（例えばハードディスク）と、周辺接続インターフェース１０２（例えばネットワークカードインターフェース）と、を含むものとするが、これに限定されることはない。該ストレージユニット１０１内には、グラフィカルユーザインターフェース（ＧＵＩ）のＯＳ、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳと、該処理ユニット１００が画像処理プロセス及びカーソル位置決め処理プロセスを実行させることができるプログラムコードを保存している。該コンピュータシステム１がプログラムコードをロードすると共に実行するために、これらプログラムコードを、予めコンピュータで読み込むことができるメディア（例えば光ディスク）にダビングさせることも可能である。

画像取込み装置１１は、該周辺接続インターフェイス１０２を経由して該処理ユニット１００に接続される。画像取込み装置１１は、主にＣＣＤ或いはＣＯＭ撮影ユニット１１１（図１参照）と２組の赤外線ＬＥＤ光源１１０（図１参照）とを含む。上記２組の赤外線ＬＥＤ光源１１０を先に利用者の顔に照射してから該撮影ユニット１１１で該利用者を撮影することで、画像取込み装置１１は、目を含む画像を連続して取得する。

該ストレージユニット１０１は、グラフィカルユーザインターフェース（ＧＵＩ）のＯＳ、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳを保存しており、また該ストレージユニット１０１は、該処理ユニット１００が画像処理プロセス及びカーソル位置決め処理プロセスを実行させることができるプログラムコードを保存している。該コンピュータシステム１がロードすると共に実行するために、これらプログラムコードを予めコンピュータで読み込むことができるメディア（例えば光ディスク）にダビングさせることも可能である。コンピュータシステム１は、該ＯＳの下で操作され、また該スクリーン１０を通じてカーソル３（或いはマウスポインタと称す）と複数のクリック可能なオブジェクト２００を表示する。

図３は、図１のスクリーン１０内の画面２１０を示している。画面２１０は複数のオブジェクトからなり、例えば１つの一番下のレイヤの親ウインドウ２０、複数の子ウインドウ２１、２２及び複数のクリック可能なオブジェクト２００を表示する。この実施例において、一番下のレイヤの親ウインドウ２０は、実質上Ｗｉｎｄｏｗｓデスクトップ（ｄｅｓｋｔｏｐ）であり、子ウインドウ２２が一番上のレイヤの子ウインドウである。また上記クリック可能なオブジェクト２００が一番下のレイヤの親ウインドウ２０内にある複数のアイコン（Ｉｃｏｎ）である。各ウインドウ２０、２１と２２に属する各々ボタン、スクロールバーは、各種クリックにより、ウインドウ２０、２１と２２をそれぞれコントロールする。上記画面２１０内にある全てのオブジェクトは、クリック可能なもの又はクリック不可能なもの、更に隠蔽されているものを問わず、いずれもアプリケーションプログラムインターフェース（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ、ＡＰＩ）を通じてＯＳが提供する資源内からこれらオブジェクトの属性、イベント等の情報を取得できる。前記クリック可能なオブジェクト２００に関しては、アイコン（Ｉｃｏｎ）を例とすると、取得可能な属性は左上隅の座標、長さ・幅の寸法を含むものとするが、これに限定されることはなく、これら情報を取得すると、１つのアイコン（Ｉｃｏｎ）が画面２１０内を占拠する位置とその範囲を知ることができる。同じように、例えばボタン等その他のクリック可能なオブジェクト２００が画面２１０内を占拠する位置と範囲も得ることができる。

筋萎縮性側索硬化症或いは筋萎縮症、脳性麻痺、脊髓の損傷、多発性硬化症を患い、又は脳卒中により四肢を動かせない、更には話すことができない特定疾患患者は、眼球だけを動かすことができるが、一般の人々が行うように、マウスでカーソルを移動させると共に画面２１０上の任意のクリック可能なオブジェクト２００をクリックしようとすることは困難である。本発明に係わる方法を行うことで、この種の特定疾患患者が目でカーソル３を制御して、クリックしようとするクリック可能なオブジェクト２００に迅速にカーソル３を移動させることができる。そして該特定疾患患者の凝視方式で該クリック可能なオブジェクト２００（目で該クリック可能なオブジェクトをクリックすることに相当）をトリガーすることで、該クリック可能なオブジェクト２００に対応するアプリケーションプログラム或いは機能が起動する。

図１、図３に示すように、利用者（上記特定疾患患者を例とする）は、該スクリーン１０を見ると共に例えば１個のアイコン（Ｉｃｏｎ）のような１個のクリック可能なオブジェクト２００ａをクリックしようとする時、目で画面２１０内のクリック可能なオブジェクト２００ａを注視し、実質的にスクリーン１０内の１つの位置を注視する。上記コンピュータシステム１は、画像取込み装置１１を通じて該利用者の顔を、目を含んだ画像として撮影することができる。次に、コンピュータシステム１は、上述に言及した画像処理プロセスの実行を介して上記画像取込み装置１１から得られた画像を分析と処理することで、画面２１０上の注視点座標を演算して取得する。この画面２１０上の注視点座標を得るプロセスは、例えば特許文献１、特許文献２、特許文献３及び特許文献４などのような従来の技術で開示される一部の技術内容で運用することも可能である。上記注視点座標は、スクリーン１０の画面２１０上の１つの位置を表わす。利用者は、クリック可能なオブジェクト２００ａを注視していると自ら感じているが、上記画像に基づいて算出した該注視点座標を表わす位置が、クリック可能なオブジェクト２００ａの座標或いは占拠する範囲内にちょうど位置するわけではない。しかしながら、本発明では、コンピュータシステム１が算出した該注視点座標を、利用者が注視する１つの位置であるとする。

コンピュータシステム１が、演算して注視点座標を得た後、次に上述に言及したカーソル位置決め処理プロセスを実行する。このプロセスは、具体的に本発明に係わる方法における一連のステップである。図４は、本発明に係わる方法の好ましい実施例のフローチャートである。図４は本発明のスクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法が開示され、その方法には以下のステップを含む。尚、以下の示す各フローチャートは、主に処理ユニット１００が実行する。
ａ）上記注視点座標を受信する。
ｂ）スクリーン１０内に表示された画面２１０のクリック可能なオブジェクト２００情報を得る。
ｃ）上記表示されるクリック可能なオブジェクト２００内から上記注視点座標を含むクリック可能なオブジェクト２００を見つけ出す。
ｄ）該カーソル３を、見付けたクリック可能なオブジェクト２００の上に移動させる。

ステップｂにおいて、主にスクリーン１０の画面２１０にある全てのオブジェクトを得る。これらオブジェクトは、利用者の目で見た画面が構成される。これらオブジェクト属性の読み取りを通じて、例えば不可視オブジェクト、寸法が０のオブジェクトなど、ニーズに適していないオブジェクトとの識別を行うことができる。これらのニーズに適しないオブジェクトを排除した後、例えばアイコン（Ｉｃｏｎ）、ボタン等のクリック可能なオブジェクト２００が残る。現在スクリーン１０に表示される画面２１０は、図３に示すように複数の子ウインドウ２１、２２を含む場合、図５に示す以下のステップを通じて画面２１０内に表示されるクリック可能なオブジェクト２００情報を得る。
ｂ１）画面２１０内の一番下のレイヤの親ウインドウ２０を取得する。
ｂ２）画面２１０内の注視点座標を含む一番上のレイヤの子ウインドウ２２をサーチする。
ｂ３）一番上のレイヤの子ウインドウ２２内のクリック可能なオブジェクト２００を見つけ出す。これらは ステップｂ内で言及したクリック可能なオブジェクト２００である。

図４のステップｃにおいて、該注視点座標と各クリック可能なオブジェクト２００の座標及びオブジェクト２００が占拠する範囲を比較すると、該注視座標がどのクリック可能なオブジェクト２００にあるかが分かり、こうすると該注視点座標を含むクリック可能なオブジェクト２００を見つけ出すことができる。

図４のステップｄにおいて、好ましい実施例は、カーソル３を、見つけ出したクリック可能なオブジェクト２００上の中心部に自動で移動させる。こうすることで該利用者は、カーソル３を、注視しているクリック可能なオブジェクト２００の上に移動されることが明確に分かる。

上記に従うと、ステップｃにおいて該注視点座標を含むクリック可能なオブジェクト２００を見つけ出すことができるが、該注視点座標が任意のクリック可能なオブジェクト２００の範囲に無いなど、見付からない状況が起きる可能性がある。この状況において、更に図６に示す以下のステップを実行できる。
ｃ１） 該注視点座標を中心とし、複数の該注視点座標を囲う付近座標帯を確立する。
ｃ２） いずれかのクリック可能なオブジェクト２００の座標が上記複数の付近座標帯にあるか否かを判定するため、上記クリック可能なオブジェクト２００の座標と付近座標帯を比較する。複数のクリック可能なオブジェクト２００の座標が上記座標帯にある場合、上記該付近座標帯にある複数のクリック可能なオブジェクト２００のうち、どのクリック可能なオブジェクト２００の中心点座標が、注視点座標に一番近いかを比較する。
ｃ３） 該カーソル３を注視点座標までの距離が一番近いクリック可能なオブジェクト２００の中心点座標に移動させる。

好しくは、ステップｃ１において、それら付近座標帯は、画面２１０において注視点座標を中心とする１つの正方形であり、本例では具体的に図7に示す通りとする。好ましい実施例において、上記付近座標帯で形成される正方形の面積を２０ｐｉｘｅｌとすることができる。それら付近座標帯は、計８つの点で且つ、うちの４つの点Ａ〜Ｄが各々該正方形の４つの頂角に位置し、他の４つの点Ｅ〜Ｈが各々該正方形の各辺長の間中に位置する。好ましい実施例において、ステップｃ２は付近座標帯上のＡ−Ｈの８つの点座標のみにクリック可能なオブジェクト２００の座標があるか否かを比較する。１個のクリック可能なオブジェクト２００が上記８つの点座標にある場合、直接カーソル３が該クリック可能なオブジェクト２００上の中心部に移動する。複数のクリック可能なオブジェクト２００が上記Ａ−Ｈの８つの点座標にある場合、上記複数のクリック可能なオブジェクト２００のうちのどのクリック可能なオブジェクト２００の中心座標が、該注視点座標に一番近いかを比較し、またカーソル３を、該注視点座標までの距離が一番近いクリック可能なオブジェクト２００上の中心部に移動させる。

ステップｃ１〜ｃ２を経た後、該注視点座標までの距離が一番近い任意のクリック可能なオブジェクト２００が見付からない場合、カーソル３の移動操作を実行しない。この時、コンピュータシステム１は、更に画像取込み装置１１を通じて改めて該利用者の画像を撮影し直し、次に上記画像処理プロセス及びカーソル位置決め処理プロセスを再実行する。カーソル３を該注視点座標が位置するクリック可能なオブジェクト２００、若しくは該注視点座標までの距離が一番近いクリック可能なオブジェクト２００上に移動すると、利用者は凝視方式を通じて該クリック可能なオブジェクト２００をトリガーできる。本発明の一好ましい実施例において、コンピュータシステム１は画面２１０の側辺に１個の機能ウインドウを表示し、該機能ウインドウ内に複数の図案を設ける。複数の図案は、各々１つの特定操作機能を表わす。これら機能は、例えばマウスの左ボタンシングルクリックをシミュレーションする機能、マウスの右ボタンシングルクリックをシミュレーションする機能、マウスドラッグ＆ドロップ動作をシミュレーションする機能、ズームをシミュレーションする機能等である。これら機能は、凝視方式でトリガーする。

上記の説明から分かるように、本発明は、利用者がオブジェクト位置に照準することを効果的に補助できる。従来の技術では、ウインドウ画面に多くのオブジェクトを配置した場合、コンピュータシステムでは、カーソルの位置決めエラーを非常に起こしやすく、利用者がクリックしたくないオブジェクト位置に位置決めしてしまう。利用者もオブジェクトが多すぎて、多くの集中力及び時間を照準或いはオブジェクト位置決めに掛けることとなる。本発明に係わるカーソル位置決め方式により、カーソル照準の正確性をアップすると共に利用者のオブジェクトに照準する時間を節約できる。

本発明は、実施例に基づいて以上の通り開示するが、本実施例はあくまで一例であり、この例によって何ら制限されるものではない。本発明の精神と範囲から逸脱することなく上記の実施形態を様々に変更できるのは、当業者には明らかである。したがって、 本発明の範囲は、下記の特許請求の範囲及びその法的効力によって決定されるべきである。

１ コンピュータシステム
１０ スクリーン
１００ 処理ユニット
１０１ ストレージユニット
１０２ 周辺接続インターフェース
１１ 画像取込み装置
１１０ 赤外線ＬＥＤ光源
１１１ 撮影ユニット
２００、２００ａ クリック可能なオブジェクト
２０ 一番下のレイヤの親ウインドウ
２１、２２ 子ウインドウ
２１０ 画面
３ カーソル

Claims (8)

1. スクリーンに表示された画面であって、親ウインドウと複数の子ウインドウとからなる画面上の１つの位置を示し、利用者の目が前記位置を注視している注視点座標を受信するステップと、
   前記親ウインドウと複数の子ウインドウ内の第１のクリック可能なオブジェクト全ての情報を得るステップと、
   画面上の親ウインドウの情報を取得するステップと、
   複数の子ウインドウのうち画面の一番上のレイヤにある子ウインドウであり、該子ウインドウの情報として前記注視点座標を含んでいる子ウインドウをサーチするステップと、
   前記第１のクリック可能なオブジェクトから一番上のレイヤの子ウインドウ内の第２のクリック可能なオブジェクトを決定するステップと、
   前記注視点座標を含む前記第２のクリック可能なオブジェクトを１つ見つけ出すステップと、
   カーソルを、前記１つの第２のクリック可能なオブジェクトに移動させるステップと、
   を含む、スクリーン内のカーソルを、クリック可能なオブジェクトに移動させる方法。
2. 前記カーソルを、前記１つの第２のクリック可能なオブジェクトの中心部に移動させる請求項１に記載の方法。
3. 前記１つの第２のクリック可能なオブジェクトを見付からない場合、
   前記注視点座標を囲う付近座標帯を確立するステップと、
   いずれかの前記第１のクリック可能なオブジェクトの座標が前記付近座標帯にあるか否かを判定するため、前記第１のクリック可能なオブジェクトの座標と前記付近座標帯を比較するステップと、
   複数の前記第１のクリック可能なオブジェクトの座標が前記付近座標帯にある場合、前記付近座標帯にある複数の前記第１のクリック可能なオブジェクトのうちのどの第１のクリック可能なオブジェクトの中心点座標が、前記注視点座標に一番近いかを選択するステップと、
   前記カーソルを、選択される前記第１のクリック可能なオブジェクトの中心点座標に移動するステップと、
   を実行する請求項１乃至２のうちのいずれか１項に記載の方法。
4. 前記付近座標帯は、計８つの点があり、且つ、うちの４つの点が各々正方形の４つの頂角に位置し、他の４つの点が各々前記正方形の各辺長の間中に位置する請求項３に記載の方法。
5. 比較を行う時、前記第１のクリック可能なオブジェクトの座標と前記付近座標帯上の８つの点座標とを比較することで、いずれの前記第１のクリック可能なオブジェクトの座標が前記８つの点座標にあるか否かを判断する、請求項４に記載の方法。
6. 前記カーソルを、選択した前記第１のクリック可能なオブジェクトの中心部に移動することを特徴とする請求項３に記載の方法。
7. 画像取込み装置によって利用者の顔を撮影して目を含む画像を取得するコンピュータシステムであって、
   前記画像取込み装置によって撮像される画像を取得する取得部と、
   前記画像から、前記コンピュータシステムの画面上の１つの位置を表わした注視点座標であり、ユーザが注視した座標を算出するために、請求項１に記載の方法内のステップを実行する処理ユニットを含むコンピュータシステム。
8. コンピュータに実行させるためのプログラムであり、
   コンピュータで読み込むことができるメディアに記憶され、前記コンピュータに請求項１に記載の方法を実行させるためのプログラム。
   

Images