JP6456003B2 - 視線操作装置及び方法、並びに医療機器 - Google Patents

視線操作装置及び方法、並びに医療機器 Download PDF

Info

Publication number
JP6456003B2
JP6456003B2 JP2017539732A JP2017539732A JP6456003B2 JP 6456003 B2 JP6456003 B2 JP 6456003B2 JP 2017539732 A JP2017539732 A JP 2017539732A JP 2017539732 A JP2017539732 A JP 2017539732A JP 6456003 B2 JP6456003 B2 JP 6456003B2
Authority
JP
Japan
Prior art keywords
line
sight
movement
icon
animation image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017539732A
Other languages
English (en)
Other versions
JPWO2017047212A1 (ja
Inventor
岡部　雄生
雄生 岡部
繭子 生田
繭子 生田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017047212A1 publication Critical patent/JPWO2017047212A1/ja
Application granted granted Critical
Publication of JP6456003B2 publication Critical patent/JP6456003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Description

本発明は視線操作装置及び方法、並びに医療機器に係り、特にユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作技術に関する。
従来より、視線を用いた操作技術が知られている。また、単に視線が向けられた位置（視線位置）を検知するだけでなく、それ以外の他の種類の検知の形態を組み合わせることにより、ユーザの意図を適切に把握するようにした技術も知られている。
例えば、特許文献１は、表示部に表示されたアイコン（例えば「光量減少」アイコン）をユーザが所定時間以上注視し続けた状態で、更にユーザがフットスイッチを踏んでアイコンの名称（例えば「光量減少」）を音声入力した場合、ユーザの操作を確定してアイコンに対応したアクションを実行することを開示している。尚、四角形の枠を持つ操作用のアイコンは、一般に「スイッチ」あるいは「ボタン」と呼ばれる。
特許文献２は、ユーザが視線を用いて画像の位置を指定し、更にアクション（例えば「拡大」又は「縮小」）を音声入力した場合、指定された位置を起点として音声に対応したアクションを実行することを開示している。
特許文献３は、ユーザの瞬きの頻度が閾値より大きく、且つ所定の入力部に視線が向けられた期間が閾値より大きい場合に、ユーザを操作者として特定することを開示している。
特許文献４は、現在の視線位置を算出して表示部にポインタで表示し、ユーザが視線位置を移動してポインタを移動させてから、所定の時間経過でアイコンが選択されたか否かを判定することを開示している。
特開２００１−２９９６９１号公報 特開２０１５−９３１４７号公報 特開２０１２−１２８５２３号公報 特開２００７−１９５８９２号公報
単に視線位置を検知するだけによってユーザがアイコンを操作したか否かを判断する操作技術では、ユーザが操作を意図して行った視線移動であるのか、それともユーザが無意識のうちに目を動かしたのかを、装置側で正しく判断することは、困難である。
例えば、図１５に示すように、表示画面９０に取り消し指示のためのキャンセルアイコン９１と所定のアクションの実行開始指示のためのＯＫ（オーケー）アイコン９２とが表示された状態で、ユーザが取り消し指示のためにキャンセルアイコン９１に視線を向けたとする。しかし、予め決められた所定の時間経過の前に、ユーザが無意識のうちにキャンセルアイコン９１から視線を外してＯＫアイコン９２に視線を向けてしまい、ＯＫアイコン９２に視線が向けられてから所定の時間が経過したとする。そうすると、キャンセルアイコン９１ではなく、ＯＫアイコン９２がユーザにより選択されたと装置側で判断されてしまい、所定のアクションの実行が開始される。つまり、ユーザが意図して行った視線移動ではなく、ユーザが無意識のうちに目を動かして一定の領域に視線を向け続けた場合、誤動作する危険性がある。
また、同じ場所に視線を向け続ける必要がある場合、ユーザは、もたつき感を抱く。つまり、ユーザに負担を強いることになる。
単に視線位置を検知するだけでなく、それ以外の他の種類の検知の形態を組み合わせた技術を採用することにより、適切な判断を行えるようにすることも考えられる。
例えば、操作対象のアイコンを注視した後に片目を瞑った場合のみ意図的な操作であると認識する方法、瞬きの回数で意図的な操作を認識する方法、あるいは音声入力を併用して意図的な操作を認識する方法が挙げられる。
特許文献１に開示された技術では、ユーザは、アイコンを所定時間注視し続けた状態において、更にフットスイッチを踏み且つアイコンの名称を音声入力する必要があるので、装置側の誤動作は解消するけれどもユーザ側の負担が大きい。
特許文献２に開示された技術でも、ユーザは音声入力する必要がある。
特許文献３に開示された技術では、要するに目の瞬きの回数により意図的な操作であるか否かを判断するが、無意識のうちにした瞬きであるかどうかを切り分けることは、実際には困難である。例えば、人の瞬きの回数は緊張時には通常時に比べて１０倍ほどになることがあり、また同一ユーザであってもシーンに依って違いが出てくる。つまり、意図的な操作であるか否かを判断することが実際には難しいため、誤動作につながる可能性があるといえる。
また、片目を瞑った場合のみ意図的な操作であると判断する方法の場合、片目を瞑ることが苦手な人が存在することから、実際には採用が難しい。
特許文献４に開示された技術では、ユーザが意図した視線移動であるか否かを適切に判断することができる効果を期待できない。
本発明はこのような事情に鑑みてなされたもので、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作装置及び方法、並びに医療機器を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る視線操作装置は、表示画面と、表示画面にアニメーション画像を有するアイコンを表示させる表示制御部と、ユーザの視線を検知する視線検知部と、視線検知部の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部と、追従判定部によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力する出力部と、を備える。
本態様によれば、ユーザが操作を意図した視線移動であるのか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる。
本発明の他の態様に係る視線操作装置では、表示制御部は、アニメーション画像の動き、色、形状及び模様のうち少なくともいずれかを制限する。
本発明の他の態様に係る視線操作装置では、アイコンの周辺領域又はアニメーション画像の周辺領域の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性として取得する周辺特性取得部と、周辺特性取得部により取得された周辺領域の表示の特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性を決定するアニメーション画像決定部と、を備え、表示制御部は、アニメーション画像決定部により決定されたアニメーション画像の表示の特性に基づいてアニメーション画像の表示制御を行うことにより、制限を行う。
本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの選択時機又は表示画面の表示内容に応じて、アニメーション画像の動きを異ならせる。
本発明の他の態様に係る視線操作装置では、アニメーション画像の動きをアイコンの用途に応じて異ならせる。
本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、且つアニメーション画像の動きを複数のアイコンの間で異ならせる。
本発明の他の態様に係る視線操作装置では、アニメーション画像の動きの差異は、動きの軌跡の差異、及び動きの速さの差異のうち少なくとも一つである。
本発明の他の態様に係る視線操作装置は、ユーザの視線の動きの特性をユーザごとに測定するユーザ特性測定部と、ユーザ特性測定部によるユーザごとの測定の結果に基づいて、アニメーション画像の動きを設定する動き設定部と、を備える。
本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、追従判定部は、追従の判定における視線の動きの検出時間の長さを複数のアイコンの間で異ならせる。
本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、且つ表示画面で複数のアイコンを互いに一定距離以上離して表示させる。
本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの周辺に表示される画像である周辺画像の視認性をアイコンの視認性よりも低くする。
本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの周辺に表示される画像である周辺画像の動きを停止させる。
本発明の他の態様に係る視線操作装置では、アニメーション画像の動きは、表示画面における任意の回動、表示画面の対向した二辺を結ぶ線上の動き、表示画面の対向した二角を結ぶ線上の動き、表示画面に沿った任意の振動、表示画面に沿ったジグザグの動き、及び不規則な軌跡の動きのうち少なくとも一つである。
本発明の一の態様に係る医療機器は、上記の視線操作装置を含んで構成され、出力部により出力される情報に応じて医療用の処理を実行する。
本発明の一の態様に係る視線操作方法は、表示画面にアニメーション画像を有するアイコンを表示させるステップと、ユーザの視線を検知するステップと、ユーザの視線検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定するステップと、ユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力するステップと、を含む。
本発明よれば、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる。
本発明に係る第１実施形態の視線操作装置の構成例を示すブロック図である。 表示画面にアニメーション画像を有する複数のアイコンが表示された例を示す説明図である。 表示画面におけるアイコン及びアニメーション画像の配置の説明に用いる説明図である。 視線検知の一例の説明に用いる説明図である。 第１実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。 アニメーション画像の動きに対するユーザの視線位置の動きの追従性の説明に用いる説明図である。 アニメーション画像の動きのバリエーションの説明に用いる説明図である。 本発明に係る第２実施形態の視線操作装置の構成例を示すブロック図である。 第２実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。 本発明に係る第３実施形態の視線操作装置の第１の構成例を示すブロック図である。 本発明に係る第３実施形態の視線操作装置の第２の構成例を示すブロック図である。 本発明に係る第３実施形態の視線操作装置の第３の構成例を示すブロック図である。 本発明に係る第４実施形態の視線操作装置の構成例を示すブロック図である。 本発明を医療機器又はページ切替装置に適用する場合の概略構成例の説明に用いるブロック図である。 本発明の課題の説明に用いる説明図である。
以下、添付図面に従って本発明に係る視線操作装置及び視線操作方法の実施の形態について説明する。
＜第１実施形態＞
図１は、本発明に係る第１実施形態の視線操作装置１０の構成例を示すブロック図である。
本実施形態の視線操作装置１０は、表示画面１２Ａを有する表示部１２と、ユーザを撮像してユーザの画像（以下「ユーザ画像」という）を出力するカメラ１４と、情報の入力部１６Ａ（以下「情報入力部」ともいう）及び出力部１６Ｂ（以下「情報出力部」ともいう）を有する入出力部１６と、視線操作のプログラム及びそのプログラムの実行に必要な情報を記憶する記憶部１８と、記憶部１８に記憶されたプログラムに従って視線操作装置１０の各部を制御するＣＰＵ（central processing unit）２０を備える。
本実施形態のＣＰＵ２０は、表示部１２の表示制御を行う表示制御部２２であって表示画面１２Ａにアニメーション画像を有するアイコンを表示させる表示制御部２２と、ユーザの視線を検知する視線検知部２４と、視線検知部２４の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部２６と、入力部１６Ａの情報入力及び出力部１６Ｂの情報出力を制御する入出力制御部２８を備える。本例では、追従判定部２６によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、入出力制御部２８の制御により、出力部１６Ｂにより、アイコンが選択されたことを示す情報（以下「操作情報」ともいう）が出力される。
本明細書において「アイコン」は、視線入力による操作対象であって、形状、模様、または色、あるいはこれらの組み合わせで表される。本明細書において「アイコン」は、四角形の枠を持つアイコン（一般に「ボタン」あるいは「スイッチ」と呼ばれるアイコンである）に限定さない。文字のフォントのみからなるアイコンでもよい。つまり「アイコン」は、フォントを構成する絵柄のみでもよい。
次に、表示制御部２２によるアニメーション画像の表示制御の具体例について説明する。
図２は、表示制御部２２により表示画面１２Ａに第１のアイコン５１及び第２のアイコン５２が表示された例を示す。第１のアイコン５１及び第２のアイコン５２は、それぞれ、アイコン名を示すフォント５１Ａ、５２Ａと、表示画面１２Ａの面内で回動する動きを持つアニメーション画像５１Ｂ、５２Ｂを含んで構成されている。第１のアイコン５１は、取り消し指示の入力のために表示されたアイコン（以下「キャンセルアイコン」という）である。第２のアイコン５２は、予め決められたアクションの実行開始指示の入力、あるいは表示画面１２Ａの表示内容確認の入力のために表示されたアイコン（以下「ＯＫアイコン」という）である。第１のアイコン５１は、反時計回りに回動する動きを持つアニメーション画像５１Ｂを有している。第２のアイコン５２は、時計回りに回動する動きを持つアニメーション画像５２Ｂを有している。つまり、表示制御部２２は、表示画面１２Ａに複数のアイコン５１、５２を表示させ、且つアニメーション画像５１Ｂ、５２Ｂの動きを複数のアイコン５１、５２間で異ならせるという表示制御を行っている。
尚、図２では、複数のアイコン５１、５２を表示画面１２Ａに表示した場合を示すが、ひとつのアイコンを表示画面１２Ａに表示する場合にも本発明を適用可能である。
また、図２を用いて、複数のアイコン５１、５２間で、アニメーション画像の動きの軌跡に差異を設けた場合を説明したが、このような場合に本発明は限定されない。複数のアイコン間において、アニメーション画像の動きの速さに差異を設けてもよい。複数のアイコン間において、動きの軌跡及び動きの速さの両方に差異を設けてもよい。
また、図３に示すように、表示制御部２２は、表示画面１２Ａで第１のアイコン５１及び第２のアイコン５２を互いに一定距離以上離して表示させている。図３において、第１のアイコン５１から第２のアイコン５２までの距離ＤＩ（「アイコン間隔」ともいう）は、一方のアイコン５１（又は５２）を注視した場合に、他方のアイコン５２（又は５１）から視線位置が外れる程度の大きさであることが、好ましい。本例のアイコン間隔ＤＩは、一般的な人の両眼の間隔よりも大きい。第１のアイコン５１のアニメーション画像５１Ｂから第２のアイコン５２のアニメーション画像５２Ｂまでの距離ＤＡ（「アニメーション画像間隔」ともいう）を一定距離以上としてよい。
尚、図３では、表示画面１２Ａの左サイド及び右サイドにそれぞれ第１のアイコン５１及び第２のアイコン５２を配置した例を示しているが、アイコンを４つ表示する場合には、表示画面１２Ａの左上隅、左下隅、右上隅及び右下隅にそれぞれアイコンを表示することが、好ましい。ここで、「上」、「下」、「左」、「右」とは、人の両目を結ぶ方向（左右方向）を基準としている。表示画面１２Ａに顔を向けた人の両目を結ぶ方向において、左目側が左サイドであり、右目側が右サイドである。
表示画面１２Ａの上サイド及び下サイドにそれぞれ第１のアイコン５１及び第２のアイコン５２を配置してもよい。表示画面１２Ａの左上隅及び右下隅（あるいは右上隅及び左下隅）にそれぞれ第１のアイコン５１及び第２のアイコン５２を表示してもよい。
次に、視線検知部２４の視線検知の具体例について、説明する。
本例の視線検知部２４は、カメラ１４によりユーザを撮像して得られたユーザ画像から、目の動かない部分と目の動く部分とを抽出し、目の動かない部分の位置を基準として目の動く部分の位置を検出し、その検出された目の動く部分の位置に基づいて表示画面１２Ａ上の視線位置を算出する。視線検知部２４により、視線位置の移動の軌跡を検知するようにしてもよい。
図４を用いて、カメラ１４として可視光を撮影する撮像装置を用い、目の虹彩の動きを検知することにより視線検知を行う例について説明する。視線検知部２４は、基準点としてユーザ画像６０から目頭部分６２及び／又は目尻部分６４を抽出して基準点座標を算出し、かつ動点としてユーザ画像６０から虹彩部分６６を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、ユーザの視線位置を算出する。
カメラ１４として赤外線を発光して撮影する撮像装置を用い、ユーザの目の角膜上の反射位置と瞳孔の位置との関係から視線検知を行ってもよい。視線検知部２４は、基準点としてユーザ画像６０から角膜反射像を抽出して基準点座標を算出し、かつ動点としてユーザ画像６０から瞳孔部分（図４の６８）を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、ユーザの視線位置を算出する。この赤外線を用いる視線検知では、赤外線の発光及び撮影が可能なデバイスが必要であるが、一般に視線位置の検知精度を上げやすい。
尚、本発明における視線検知は、図４を用いて説明した場合には特に限定されない。ユーザの視線を検知可能な方法であれば、他の公知技術を用いて視線検知を行ってよい。もっとも、アニメーション画像に視線を向けているか否かを判別可能である程度に、視線位置の精度が保証される視線検知技術を用いる。
次に、追従判定部２６の追従の判定について、説明する。
本例の追従判定部２６は、表示画面１２Ａにおける視線位置の動きベクトルとアニメーション画像の動きベクトルとを比較することで、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する。「動きベクトル」は、動きの方向と移動量とを示す。本例の追従判定部２６は、視線位置の動きの方向及び移動量の評価値と、アニメーション画像の動きの方向及び移動量の評価値との差分の逆数を追従度として算出し、その追従度が閾値未満である場合に「追従していない」と判定し、閾値以上である場合に「追従している」と判定する。
入出力制御部２８により制御される入出力部１６は、通信部などの特別なハードウェアデバイスには限定されない。単なる出力ポートであってもよい。また、操作情報をメモリなどの記憶デバイスに書き込む場合を含む。
また、情報の出力態様として、出力部１６Ｂにより情報を出力する場合を例に説明しているが、他の出力態様を用いてよい。例えば、表示制御部２２により表示画面１２Ａにおけるアイコンの表示を反転させる（例えば白黒表示の場合に白／黒を反転させる）ことにより、アイコンが選択されたことを示す情報を出力してよい。また、表示制御部２２により表示画面１２Ａにおけるアイコンの周辺に文字表示を行う（例えば「選択」を表示する）ことにより、アイコンが選択されたことを示す情報を出力してもよい。つまり、表示部１２を「出力部」として用いてよい。また、上記の「アイコンの表示を反転」及び「アイコンの周辺に文字表示」に限定されるものではなく、アイコンが操作または選択されたことを示す表示であればよい。尚、本明細書においてアイコンが「選択された」とは、アイコンが「指示された」、「指定された」、「操作された」といった用語で表現される場合を含む概念である。
図５は、第１実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２０により、記憶部１８に予め記憶されたプログラムに従って、実行される。
まず、表示制御部２２により、表示部１２の表示画面１２Ａにアニメーション画像を有するアイコンを表示させる（ステップＳ２）。例えば、図２に示したように、アニメーション画像５１Ｂ、５２Ｂを有するアイコン５１、５２が表示される。
次に、視線検知部２４により、ユーザの視線を検知することにより、表示部１２の表示画面１２Ａのうちのユーザの視線が向けられた位置（視線位置である）を算出する（ステップＳ４）。例えば、図４を用いて説明した視線検知技術を用いて、カメラ１４で撮像されたユーザ画像に基づいて視線位置が算出される。
次に、追従判定部２６により、視線検知部２４の視線検知の結果に基づいて、表示部１２の表示画面１２Ａに表示されたアイコン５１、５２内のアニメーション画像５１Ｂ、５２Ｂの動きに対するユーザの視線の動きの追従性を示す評価値である追従度を算出する（ステップＳ６）。例えば、アニメーション画像５１Ｂ、５２Ｂの動きベクトルに対応する評価値と、視線位置の動きベクトルに対応する評価値との差分の逆数を追従度として算出する。この場合、算出された追従度が高いほど追従性が高いといえる。
次に、追従判定部２６により、算出された追従度と閾値とを比較することにより、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する（ステップＳ８）。本例では、算出された追従度が高いほど追従性が高いので、追従度が閾値以上であれば、「追従している」と判定される。
追従していると判定された場合（ステップＳ８でＹＥＳの場合）、入出力制御部２８は、アイコンが操作されたことを示す操作情報を出力部１６Ｂにより出力する（ステップＳ１０）。視線検知を続けるか否かを判断し（ステップＳ１２）、続ける場合（ステップＳ１２でＹＥＳの場合）にはステップＳ４に戻り、続けない場合（ステップＳ１２でＮＯの場合）には本処理を終了する。
追従していないと判定された場合（ステップＳ８でＮＯの場合）、視線検知を続けるか否かを判断し（ステップＳ１４）、続ける場合（ステップＳ１４でＹＥＳの場合）にはステップＳ４に戻り、続けない場合（ステップＳ１４でＮＯの場合）には本処理を終了する。
本実施形態の視線操作装置１０によれば、図６に示すように、ユーザはアイコン５１内のアニメーション画像５１Ｂの動きを目で追うことにより視線入力操作を行うことができるので、負担が少ない。つまり、動くものを目で追うことは、マニュアル入力、フット入力、音声入力、あるいはジェスチャなどの操作と比較して楽である。また、表示画面１２Ａの表示の観察を中断させられることもない。また、所定時間が経過するまで同じ位置を凝視し続ける必要がある視線操作方法と比較して、反応が悪い、遅延が起こっている等と感じることがなく、ストレスが少ないといえる。
≪アニメーションのバリエーション≫
図２を用いて回動するアニメーションを例に説明したが、このような場合に本発明は限定されない。例えば、次のバリエーション１〜４を用いてもよい。
［アニメーションのバリエーション１］ 図７（Ａ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、上方向Ｕ、下方向Ｄ、左方向Ｌ、又は右方向Ｒの動きを持たせることができる。つまり、表示画面１２Ａの対向した二辺を結ぶ線上の動き（アニメーション）を用いる。
［アニメーションのバリエーション２］ 図７（Ｂ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、右斜め上方向ＲＵ、右斜め下方向ＲＤ、左斜め上方向ＬＵ、又は左斜め下方向ＬＤの動きを持たせることができる。つまり、表示画面１２Ａの対向した二角を結ぶ線上の動き（アニメーション）を用いる。尚、「対向した二角を結ぶ線」とは、線上に二つの対角が位置する場合に限定されず、線の近傍に二つの対角が位置する場合が含まれる。
［アニメーションのバリエーション３］ 図７（Ｃ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、上下方向ＵＤ、左右方向ＬＲ、又は斜め方向ＳＬ１又はＳＬ２において振動する動きを持たせることができる。つまり、表示画面１２Ａに沿った任意の振動をアニメーションとして用いる。
［アニメーションのバリエーション４］ 図７（Ｄ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、ジグザグＺＧの動きを、アニメーション画像に持たせることができる。
尚、本発明におけるアニメーションのバリエーションは、上述のバリエーション１〜４には特に限定されない。不規則な軌跡の動きをアニメーションとして用いてもよい。また、各種のバリエーションを組み合わせることにより、視線操作検出の精度を向上させてよい。アニメーションは、ユーザに表示画面１２Ａの面内で視線位置を移動させる契機となる動き、つまり表示画面１２の面内の動きであればよい。
≪アイコンの視認性向上≫
表示制御部２２により、アイコンの周辺領域に表示される画像である周辺画像の視認性をアイコンの視認性よりも低くしてよい。例えば、周辺画像の明るさをアイコンあるいはアニメーション画像よりも低くする（つまり暗くする）。
尚、「視認性」とは、本明細書において明るさのみに限定されない。例えば、ハーフトーンにすることで視認性を低くしてよい。要するに、アイコンの選択時機（以下「操作時機」ともいう）に、ユーザが周辺画像よりもアニメーション画像あるいはアイコンに視線を向けやすいように、周辺画像よりも目立つようにする。
また、表示制御部２２により、アイコンの表示中は、アイコンの周辺に表示される画像である周辺画像の動きを停止させてよい。
＜第２実施形態＞
第２実施形態では、人は動くものを目で追ってしまうという習性に対して、アニメーション画像の表示の特性（例えば、動き、色、形状、模様など）を制限することにより、ユーザの意図しない視線移動を防止する。
図８は、本発明に係る第２実施形態の視線操作装置１０の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
図８に示すように、本実施形態の視線操作装置１０は、表示画面１２Ａにおけるアイコンの周辺領域（又はアニメーション画像の周辺領域）の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性（以下「周辺領域表示特性」という）として取得する周辺特性取得部３２と、周辺特性取得部３２により取得された周辺領域表示特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性（以下「アニメーション画像表示特性」という）を決定するアニメーション画像決定部３４を備える。本実施形態の表示制御部２２は、アニメーション画像決定部３４により決定されたアニメーション画像表示特性に基づいてアニメーション画像の表示制御を行うことにより、アニメーション画像表示特性（動き、色、形状及び模様のうち少なくともいずれかである）を制限する。
周辺特性取得部３２により周辺領域表示特性を取得する態様の具体例として、次の第１の取得態様及び第２の取得態様が挙げられる。
［第１の取得態様］ 表示画面１２Ａの全体に表示される画像を示す情報（以下「画面情報」という）から周辺領域の画像を抽出し、その周辺領域の画像に基づいて周辺領域表示特性を算出することにより、周辺領域表示特性を取得する。
［第２の取得態様］ アイコン（又はアニメーション画像）と周辺領域表示特性との対応関係を示す表示特性情報を予め記憶部１８に記憶させておき、その表示特性情報を記憶部１８から読み出すことにより、周辺領域表示特性を取得する。
表示制御部２２により行うアニメーション画像表示特性の「制限」とは、本明細書において、アニメーション画像の表示の特性を一定の制限範囲内に収めることを意味する。
「一定の制限範囲」には、アニメーション画像の表示の特性の評価値を通常時よりも小さく設定して制限する場合と、アニメーション画像の表示の特性の評価値を通常時よりも大きく設定して制限する場合がある。例えば、ユーザの目を引くような色や派手な動きを避けるように、アニメーション画像の特性を通常時よりも低下させる場合がある。また、例えば、ユーザの目がアニメーション画像の動きのみに追従し易いように、アニメーション画像に対して、ジグザグの動き、あるいは不規則な軌跡の動きを敢えて与える場合、つまりアニメーション画像の特性を通常時よりも敢えて高める場合がある。
また、「一定の制限範囲」には、固定の制限範囲を用いると、操作シーンに応じて可変の制限範囲を用いる場合がある。例えば、記憶部１８に固定の制限範囲情報を記憶させておき、その記憶部１８に記憶された固定の制限範囲情報を読み出して用いる。また、例えば、操作シーン（例えばアイコンの操作時機や表示画面１２Ａの内容など）に応じて制限範囲を切替えてよい。
図９は、第２実施形態の視線操作装置１０を用いた視線操作方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２０により、記憶部１８に予め記憶されたプログラムに従って、実行される。尚、図５に示した第１実施形態の処理と同じステップには同じ符号を付してあり、以下では異なる事項のみ説明する。
まず、周辺特性取得部３２により、表示画面１２Ａにおけるアイコンの周辺領域（又はアニメーション画像の周辺領域）の表示の特性を示す周辺領域表示特性（例えば、動き、色、形状及び模様のうち少なくともいずれかである）を取得する（ステップＳ２２）。
例えば、表示画面１２Ａの画面情報から周辺領域の画像を抽出し、その周辺領域の画像の色の評価値（例えば周辺領域の色の平均値）を周辺領域表示特性として取得する。
次に、アニメーション画像決定部３４により、ステップＳ２２で取得された周辺領域表示特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性を示すアニメーション画像表示特性を決定する（ステップＳ２４）。
例えば、ステップＳ２２で取得された周辺領域の色の評価値を中心として、表色系座標空間において第１の閾値よりも大きく且つ第２の閾値（＞第１の閾値）よりも小さい距離に存在する色を選択することにより、アニメーション画像表示特性（本例ではアニメーション画像の色）を決定する。
次に、表示制御部２２により、ステップＳ２４で決定されたアニメーション画像表示特性に基づいてアニメーション画像の表示制御を行うことにより、アニメーション画像の表示の特性（例えば、動き、色、形状及び模様のうち少なくともいずれかである）を一定の制限範囲内に制限する（ステップＳ２６）。
例えば、ステップＳ２４で表色系座標空間から選択された色でアニメーション画像を表示する表示制御が行われる。
ステップＳ４〜Ｓ１４は、図５に示した第１実施形態の同符号のステップと同様であり、ここでは説明を省略する。
尚、上述の図９を用いた説明では、アイコン画像表示特性の制限対象が色である場合を例として説明したが、本実施形態の制限対象は、色に限定されない。アニメーション画像の形状、模様、又は動きを制限してもよいし、他の表示特性を制限してもよい。また、色、形状、模様、及び動きのうちから選択された複数の表示特性の組み合わせを制限してもよいし、それ以外の組み合わせを制限してもよい。
また、上述の図９を用いた説明では、周辺領域表示特性の取得対象及びアイコン画像表示特性の制限対象が色である場合を例として説明したが、周辺領域表示特性の取得対象とアイコン画像表示特性の制限対象とが異なる場合でもよい。例えば、周辺領域の模様を取得し、その周辺領域の模様（例えば斜線模様）を基準として一定のパターンの軌跡にアニメーションを制限（例えば斜め方向の動きを排除）することも、有効な制限態様の一例として挙げられる。
＜第３実施形態＞
第３実施形態では、誤操作防止とスムーズな操作という二つの観点から、アニメーション画像の動きを制御する。つまり、本実施形態の表示制御部２２は、誤操作防止が重要な場合と誤操作防止よりもスムーズな操作が求められる場合とによって、アニメーションを異ならせることにより、誤操作防止及びスムーズな操作の両立を図る。
図１０は、本発明に係る第３実施形態の視線操作装置１０の第１の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
図１０に示すように、本実施形態の視線操作装置１０の記憶部１８は、操作の重要度を示す重要度情報４０Ａを記憶する。動き設定部４２は、記憶部１８に記憶された重要度情報４０Ａに基づいて、表示画面１２Ａにおけるアニメーション画像の動きを設定する。表示制御部２２は、動き設定部４２の設定内容に基づいて、アイコン内のアニメーション画像の動きを重要度に応じて異ならせる。
上述の「操作の重要度」の具体例として、次の重要度１〜３が挙げられる。
（重要度１）アイコンの選択時機（操作時機）に応じた重要度。例えば、最終決定時の指示入力は、最終決定前の通常時の指示入力よりも、重要度を高くする。図２に示した取り消しアイコン５１とＯＫアイコン５２が表示画面１２Ａに表示される場合、記憶部１８は、アイコン５１、５２の操作時機と重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、アイコン５１、５２の操作時機に対応する重要度を取得し、例えば操作時機に応じた重要度が高いほど、アニメーション画像をゆっくり動かす。つまり操作時機に応じた重要度が高いほど、アニメーションのスピードが小さくなる。操作時機に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。
（重要度２）表示内容に応じた重要度。例えば、ユーザに対して警報のメッセージが表示画面１２Ａに表示される場合、警報以外の通常のメッセージが表示される場合よりも、重要度を高くする。記憶部１８は、表示画面１２Ａの表示内容と重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、表示画面１２Ａの表示内容に対応する重要度を取得し、例えば表示内容に応じた重要度が高いほどアニメーション画像をゆっくり動かす。つまり表示内容に応じた重要度が高いほど、アニメーションのスピードが小さくなる。表示内容に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。
（重要度３）アイコンの用途に応じた重要度。例えば、情報の「削除」を指示入力するための削除アイコンは、情報の「コピー」を指示入力するためのコピーアイコンよりも、重要度を高くする。記憶部１８は、アイコン５１、５２の用途（又は識別情報）と、重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、アイコン５１、５２の用途（又は識別情報）に対応する重要度を取得し、例えば重要度が高いほど、アニメーション画像をゆっくり動かす。つまり、アイコンの用途に応じた重要度が高いほどアニメーションのスピードが小さくなる。アイコンの用途に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。ここで、「アイコンの用途」とは、アイコンが視線入力により操作された場合に実行されるアクションを意味している。「アイコンの用途」は、アイコンの名称として、表示画面１２Ａに表示される場合がある。
「重要度情報」は、例えば、重要度が高いほど大きな数値とする。逆に、重要度が高いほど小さな数値としてもよい。つまり、本実施形態の「重要度情報」は、平常度（非重要度）を意味する場合であってもよい。また、どの程度のスムーズな視線入力が求められるのかを示す「スムーズ度」を採用してもよい。どのような名称の指標を用いても、本実施形態の要旨を逸脱しない範囲内の設計変更をすることができる。
図１０を用いて、重要度情報４０Ａに基づいてアニメーションを異ならせる制御を行う場合を説明したが、このような場合に本発明は限定されない。
例えば、図１１に示すように、記憶部１８に、操作シーン（具体的にはアイコンの操作時機及び／又は表示画面１２Ａの表示内容）とアニメーション画像の動きとの直接的な対応関係を示す操作シーン情報４０Ｂを記憶させておき、その操作シーン情報４０Ｂに基づいて表示制御部２２がアニメーション画像の動きを制御する構成としてもよい。
また、図１２に示すように、記憶部１８に、アイコンの用途（又は識別情報）とアニメーション画像の動きとの直接的な対応関係を示す用途情報４０Ｃを記憶させておき、その用途情報４０Ｃに基づいて、表示制御部２２がアニメーション画像の動きを制御する構成としてもよい。
以上、アイコンの選択時機（操作時機）、表示画面の表示内容、又はアイコンの用途に応じて、表示制御部２２がアニメーション画像の動きを制御することについて説明したが、本発明は、これらの組み合わせを実施してもよい。例えば、表示画面１２Ａに、重要度が高い表示内容と互いに用途が異なる二つのアイコンとを表示する場合、通常の表示内容が表示される場合よりも二つのアイコンのアニメーション画像の動きをゆっくりとし、且つアイコンの用途に応じて二つのアイコン間でアニメーション画像の動きの複雑さに差異を与える。
また、追従判定部２６の追従の判定における視線の動きの検出時間の長さを、複数のアイコンの間で異ならせてもよい。例えば、二つのアイコンが表示画面１８Ａに表示される場合、二つのアイコンのうちで重要度が相対的に高いアイコンに対する視線の動きの検出時間を相対的に長くする。
また、図２を用いて、表示画面１２Ａに複数のアイコンを表示した場合について説明したが、本実施形態は、表示画面１２Ａにアイコンを一つだけ表示する場合にも有効である。
＜第４実施形態＞
第４実施形態では、ユーザの個人ごとの視線の動きの特性（以下「ユーザ特性」という）に応じて、アニメーション画像の動きを制御する。
図１３は、本発明に係る第４実施形態の視線操作装置１０の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
図１３に示すように、本実施形態の視線操作装置１０の記憶部１８は、ユーザの視線の動きの特性（以下「ユーザ特性」という）を示すユーザ特性情報４４を記憶する。また、本実施形態の視線操作装置１０は、ユーザ特性をユーザごとに測定するユーザ特性測定部４６と、ユーザ特性測定部４６によるユーザごとの測定の結果に基づいて、表示画面１２Ａにおけるアニメーション画像の動きを設定する動き設定部４８を備える。表示制御部２２は、動き設定部４８の設定内容に基づいて、アイコン内のアニメーション画像の動きをユーザ特性に応じて異ならせる。
＜本発明の適用例＞
≪医療機器への適用例≫
本発明は、人あるいは動物の医療（診断、治療、処置など）のための医療機器に適用可能である。医療現場では、両手が塞がっている状況でも操作可能な医療機器（例えば内視鏡装置）が求められている。特に、救急患者に対する医療で有効と考えられる。
≪ページ切替装置への適用例≫
本発明は、両手を用いて楽器を演奏する演奏者（例えばピアニスト）のために楽譜のページ切替（所謂ページめくり）を行う装置に適用可能である。つまり、楽譜のページが切り替わる際、演奏者が両手を使用中である時でも、演奏者が両手を使わずに視線入力によりページの切替を指示させることができるページ切替装置を提供する。
≪視線操作装置を適用した機器の概略構成例≫
図１４は、本発明を医療機器に適用する場合の概略構成例の説明に用いるブロック図である。図１４において、図１に示した第１実施形態の視線操作装置１０の構成要素には同じ符号を付してある。尚、図１４では、医療機器１００に特有の部分については図示を省略している。また、図１４では、視線操作装置１０を医療機器１００に組み込んだ場合を示しており、ＣＰＵ２０を共有している。
図１４において、アクション部１２０は、出力部１６Ｂから出力された情報に応じたアクションを実行する。また、実行したアクションの結果等を入力部１６Ａを介して入出力制御部２８に入力する。
また、図１４において、入力部１６Ａ及び出力部１６Ｂは、特別なハードウェアではなく入力ポート及び出力ポートでもよい。また、メモリを介して情報の入力及び出力を行ってもよい。
医療機器以外の装置に本発明の視線操作装置１０を組み込む場合にも、図１４に示した場合と同じように構成することが可能である。
また、医療機器を視線操作装置１０とは別の装置として構成してもよい。医療機器以外の装置でも同様である。
本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０…視線操作装置、１２…表示部、１２Ａ…表示画面、１４…カメラ、１６…入出力部（情報入出力部）、１６Ａ…入力部（情報入力部）、１６Ｂ…出力部（情報出力部）、１８…記憶部、２０…ＣＰＵ、２２…表示制御部、２４…視線検知部、２６…追従判定部、２８…入出力制御部、３２…周辺特性取得部、３４…アニメーション画像決定部、４０Ａ…重要度情報、４０Ｂ…操作シーン情報、４０Ｃ…用途情報、４２…動き設定部、４４…ユーザ特性情報、４６…ユーザ特性測定部、４８…動き設定部

Claims (15)

  1. 表示画面と、
    前記表示画面にアニメーション画像を有するアイコンを表示させる表示制御部と、
    ユーザの視線を検知する視線検知部と、
    前記視線検知部の検知の結果に基づいて、前記ユーザの視線の動きが前記アニメーション画像の動きに追従しているか否かを判定する追従判定部と、
    前記追従判定部により前記ユーザの視線の動きが前記アニメーション画像の動きに追従していると判定された場合、前記アイコンが選択されたことを示す情報を出力する出力部と、
    を備える視線操作装置。
  2. 前記表示制御部は、前記アニメーション画像の動き、色、形状及び模様のうち少なくともいずれかを制限する、
    請求項１に記載の視線操作装置。
  3. 前記アイコンの周辺領域又は前記アニメーション画像の周辺領域の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性として取得する周辺特性取得部と、
    前記周辺特性取得部により取得された前記周辺領域の表示の特性を基準とした一定の制限範囲内の表示の特性を求めることにより、前記アニメーション画像の表示の特性を決定するアニメーション画像決定部と、
    を備え、
    前記表示制御部は、前記アニメーション画像決定部により決定された前記アニメーション画像の表示の特性に基づいて前記アニメーション画像の表示制御を行うことにより、前記制限を行う、
    請求項２に記載の視線操作装置。
  4. 前記表示制御部は、前記アイコンの選択時機又は前記表示画面の表示内容に応じて、前記アニメーション画像の動きを異ならせる、
    請求項１から３のうちいずれか一項に記載の視線操作装置。
  5. 前記表示制御部は、前記アイコンの用途に応じて、前記アニメーション画像の動きを異ならせる、
    請求項１から４のうちいずれか一項に記載の視線操作装置。
  6. 前記表示制御部は、前記表示画面に複数のアイコンを表示させ、且つ前記アニメーション画像の動きを前記複数のアイコンの間で異ならせる、
    請求項１から５のうちいずれか一項に記載の視線操作装置。
  7. 前記アニメーション画像の動きの差異は、前記動きの軌跡の差異、及び前記動きの速さの差異のうち少なくとも一つである、
    請求項６に記載の視線操作装置。
  8. 前記ユーザの視線の動きの特性をユーザごとに測定するユーザ特性測定部と、
    前記ユーザ特性測定部によるユーザごとの測定の結果に基づいて、前記アニメーション画像の動きを設定する動き設定部と、
    を備える、
    請求項１から７のうちいずれか一項に記載の視線操作装置。
  9. 前記表示制御部は、前記表示画面に複数のアイコンを表示させ、
    前記追従判定部は、前記追従の判定における前記視線の動きの検出時間の長さを前記複数のアイコンの間で異ならせる、
    請求項１から８のうちいずれか一項に記載の視線操作装置。
  10. 前記表示制御部は、前記表示画面に複数のアイコンを表示させ、且つ前記表示画面で前記複数のアイコンを互いに一定距離以上離して表示させる、
    請求項１から９のうちいずれか一項に記載の視線操作装置。
  11. 前記表示制御部は、前記アイコンの周辺に表示される画像である周辺画像の視認性を前記アイコンの視認性よりも低くする、
    請求項１から１０のうちいずれか一項に記載の視線操作装置。
  12. 前記表示制御部は、前記アイコンの周辺に表示される画像である周辺画像の動きを停止させる、
    請求項１から１１のうちいずれか一項に記載の視線操作装置。
  13. 前記アニメーション画像の動きは、前記表示画面における任意の回動、前記表示画面の対向した二辺を結ぶ線上の動き、前記表示画面の対向した二角を結ぶ線上の動き、前記表示画面に沿った任意の振動、前記表示画面に沿ったジグザグの動き、及び不規則な軌跡の動きのうち少なくとも一つである、
    請求項１から１２のうちいずれか一項に記載の視線操作装置。
  14. 請求項１から１３のうちいずれか一項に記載の視線操作装置を含んで構成され、
    前記出力部により出力される情報に応じて医療用の処理を実行する医療機器。
  15. 表示画面にアニメーション画像を有するアイコンを表示させるステップと、
    ユーザの視線を検知するステップと、
    前記ユーザの視線検知の結果に基づいて、前記ユーザの視線の動きが前記アニメーション画像の動きに追従しているか否かを判定するステップと、
    前記ユーザの視線の動きが前記アニメーション画像の動きに追従していると判定された場合、前記アイコンが選択されたことを示す情報を出力するステップと、
    を含む視線操作方法。
JP2017539732A 2015-09-16 2016-07-13 視線操作装置及び方法、並びに医療機器 Active JP6456003B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015182790 2015-09-16
JP2015182790 2015-09-16
PCT/JP2016/070632 WO2017047212A1 (ja) 2015-09-16 2016-07-13 視線操作装置及び方法、並びに医療機器

Publications (2)

Publication Number Publication Date
JPWO2017047212A1 JPWO2017047212A1 (ja) 2018-07-12
JP6456003B2 true JP6456003B2 (ja) 2019-01-23

Family

ID=58288626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539732A Active JP6456003B2 (ja) 2015-09-16 2016-07-13 視線操作装置及び方法、並びに医療機器

Country Status (4)

Country Link
US (1) US10747308B2 (ja)
EP (1) EP3352052A4 (ja)
JP (1) JP6456003B2 (ja)
WO (1) WO2017047212A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
WO2021029117A1 (ja) * 2019-08-09 2021-02-18 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
JP2021114731A (ja) * 2020-01-21 2021-08-05 キヤノン株式会社 撮像制御装置及びその制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
JP2004301869A (ja) * 2003-03-28 2004-10-28 Takuya Shinkawa 音声出力装置およびポインティングデバイス
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP5159041B2 (ja) 2006-01-30 2013-03-06 株式会社東芝 超音波診断装置およびその画像処理プログラム
JP2012128523A (ja) 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
US10884577B2 (en) * 2013-01-15 2021-01-05 Poow Innovation Ltd. Identification of dynamic icons based on eye movement
EP2956844B1 (en) * 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
US9671926B2 (en) * 2013-02-22 2017-06-06 Xiaomi Inc. Method and terminal device for displaying dynamic icon
JP2014215815A (ja) * 2013-04-25 2014-11-17 富士通株式会社 入力装置および入力制御プログラム
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
JP6165033B2 (ja) 2013-11-14 2017-07-19 オリンパス株式会社 医療システム
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung

Also Published As

Publication number Publication date
US10747308B2 (en) 2020-08-18
EP3352052A4 (en) 2018-08-01
US20180173305A1 (en) 2018-06-21
EP3352052A1 (en) 2018-07-25
JPWO2017047212A1 (ja) 2018-07-12
WO2017047212A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
JP5767386B1 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10429941B2 (en) Control device of head mounted display, operation method and operation program thereof, and image display system
ES2736966T3 (es) Manejo -sin contacto táctil- de dispositivos usando sensores de profundidad
JP6340503B2 (ja) 目追跡システム及び利き目を検出する方法
JP5539945B2 (ja) ゲーム装置、及びプログラム
US10456072B2 (en) Image interpretation support apparatus and method
JP5689850B2 (ja) 映像解析装置、映像解析方法、および注視点表示システム
KR20180053402A (ko) 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체
JP6456003B2 (ja) 視線操作装置及び方法、並びに医療機器
US20220413605A1 (en) Optical system providing accurate eye-tracking and related method
JP6367673B2 (ja) 電子機器
TW201403385A (zh) 動作引導提示方法、其系統及動作引導提示裝置
CN113544626A (zh) 信息处理装置、信息处理方法和计算机可读记录介质
JP6348191B2 (ja) 電子機器
JP2014166564A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP7029722B2 (ja) Ａｒ装置、方法及びプログラム
JP2016115329A (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP2016207042A (ja) プログラム及び記録媒体
JPWO2020016970A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019028563A (ja) 表示プログラム、情報処理装置、及び表示方法
JP6813640B2 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023238703A1 (ja) 情報処理装置、情報処理方法、プログラム
Keyvanara Perceptual Manipulations for Hiding Image Transformations in Virtual Reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6456003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250