JP6507252B2 - 機器操作装置、機器操作方法、及び電子機器システム - Google Patents

機器操作装置、機器操作方法、及び電子機器システム Download PDF

Info

Publication number
JP6507252B2
JP6507252B2 JP2017537625A JP2017537625A JP6507252B2 JP 6507252 B2 JP6507252 B2 JP 6507252B2 JP 2017537625 A JP2017537625 A JP 2017537625A JP 2017537625 A JP2017537625 A JP 2017537625A JP 6507252 B2 JP6507252 B2 JP 6507252B2
Authority
JP
Japan
Prior art keywords
neck
user
movement
sight
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017537625A
Other languages
English (en)
Other versions
JPWO2017038248A1 (ja
Inventor
岡部　雄生
雄生 岡部
繭子 生田
繭子 生田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017038248A1 publication Critical patent/JPWO2017038248A1/ja
Application granted granted Critical
Publication of JP6507252B2 publication Critical patent/JP6507252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6822—Neck
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Endoscopes (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は機器操作装置、機器操作方法、及び電子機器システムに係り、特にユーザの視線と頸部の動きとにより機器を操作する技術に関する。
各種機器の操作は、ユーザが手や足により行うことが一般的であるが、機器の種類や使用状況によっては、ユーザの動作の制約あるいは機器や操作デバイスの配置の制約が生じる場合がある。例えばスマートフォンやゲーム機等の携帯機器の操作、車両の運転操作、または医療機器の操作では両手が自由にならない場合があり、また医療機器では操作に際して手袋の着脱や手洗い等を要する場合がある。つまり、手や足による操作技術では、円滑に操作を行うことが困難な場合があった。
手や足を用いない操作技術として、視線及びジェスチャによる操作技術が知られている（例えば特許文献１〜４を参照）。
特許文献１、２には、ユーザの頭部の撮影画像に基づいてユーザの注視点を検出し、かつユーザの頭部の撮影画像に基づいて頭部の所定の動作（例えば頭部を縦に振るうなずき動作）を検出し、頭部の所定の動作が検出されるとユーザの注視点に対応する操作を確定することが、記載されている。
特許文献３には、ユーザの手の撮像画像に基づいてユーザの手の動作を検出し、指を１本立てている場合には視線位置にカーソルを移動させる処理を開始すること（カーソル追従モードオン）、及び拳を握って指を立てていない場合には視線位置にカーソルを移動させる処理を終了すること（カーソル追従モードオフ）が、記載されている。
特許文献４には、ユーザの頭部に装着できるユニット（視線位置入力部）のカメラの撮像画像に基づいて視線位置を算出し、その視線位置に焦点位置を移動することが、記載されている。また、特許文献４には、ユーザの頭部の位置や角度を検出する磁気センサを用いることも記載されている。
また、音声入力を用いる操作技術が知られている。特許文献５には、表示部に表示されたアイコン（例えば「光量減少」アイコン）をユーザが所定時間以上注視し続けた状態で、更にユーザがフットスイッチを踏んでアイコンの名称（例えば「光量減少」）を音声入力した場合、ユーザの操作を確定してアイコンに対応したアクションを実行することが、記載されている。音声入力には、衣服に装着するピンマイク、頭部に装着するヘッドマイクが用いられる。
特開２０１４−１２６９９７号公報 特開２０００−１６３１９６号公報 特開２００１−１００９０３号公報 特開２００７−１９５８９２号公報 特開２００１−２９９６９１号公報
しかしながら、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる操作技術は提供されていないといえる。
特許文献１、２に記載の技術では、視線検出により判断した操作をユーザの頭部の所定の動作検出により確定するので、確かに視線検出により判断するだけの場合よりも誤動作が回避される効果を期待することができるにしても、ユーザの頭部を撮影して得られた画像に基づいて頭部の動作を認識しているため、ユーザが意図的に頸部の筋肉を動かしたことに起因する頭部の動きであるのか、あるいは無意識のうちに体が動いたことに起因する頭部の動きであるのか、装置側で的確に判断することは難しい。また、仮に、判断処理を修正し、ユーザが小さな動きあるいは簡単な動きをした場合には装置側で無視し、ユーザが大きな動き（例えば４５度以上頭を傾ける動作）あるいは複雑な動きをした場合のみ有効とする判断処理を行うことを想定してみても、ユーザに大きな動作あるいは複雑な動作を強いることになるので、誤動作を回避できてもスムーズな操作を実現することができず、またユーザに疲労を与えることになる。
特許文献３〜５に記載の技術でも、ユーザが両手を使えない状況で容易に操作できることと、ユーザが意図した操作を的確に検出して実行することを、両立させることができるとはいえない。
一方、医療ミスの問題が起きているなか、手術の適否を判断するために、医師間の会話を記録に残すことも考えられるが、手術中の手術室では音楽が流れ、また複数の人が係るため、特許文献５の音声入力では周囲の音楽や音声が記録されてしまい、正確に手術の状況を記録することはできない。
本発明はこのような事情に鑑みてなされたもので、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる機器操作装置、機器操作方法、及び電子機器システムを提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る機器操作装置は、ユーザの視線を検出する視線検出部と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末と、検出された視線及び検出された頸部の動きに基づいて、操作対象機器及び操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部と、判断に従って操作対象機器を制御する制御部と、を備える。
本態様によれば、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる。
本発明の第２の態様に係る機器操作装置において、判断部は、検出された視線に基づいて操作対象機器及び操作内容のうちの少なくとも一方を判断し、検出された頸部の動きに基づいて判断を確定する。
本発明の第３の態様に係る機器操作装置において、視線検出部は視線の移動を検出し、判断部は、検出した視線の移動に基づいて、操作対象機器及び操作内容のうちの少なくとも一方を判断する。
本発明の第４の態様に係る機器操作装置において、操作内容は、制御部が操作対象機器に実行させる機能と、機能の実行条件と、を含む。
本発明の第５の態様に係る機器操作装置において、頸部装着端末により検出されたユーザの喉の振動からユーザの音声を認識する音声認識部と、を備える。
本発明の第６の態様に係る機器操作装置において、認識した音声を記録する音声記録部を備える。
本発明の第７の態様に係る機器操作装置において、視線検出部は、頸部装着端末が頸部の動きの検出を開始したら視線の検出を停止し、頸部装着端末が頸部の動きの検出を終了したら視線の検出を開始する。
本発明の第８の態様に係る機器操作装置において、判断部は、検出された頸部の動きが閾値よりも大きい場合に視線の検出を無効にする。
上述した目的を達成するため、本発明の機器操作方法は、ユーザの視線を検出する視線検出部と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末と、を備える機器操作装置の機器操作方法であって、検出された視線及び検出された頸部の動きに基づいて、操作対象機器及び操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断工程と、判断に従って操作対象機器を制御する制御工程と、を含む。
上述した目的を達成するため、本発明の電子機器システムは、機器操作装置と、操作対象機器である電子機器と、を含む。
電子機器は、例えば医療機器である。
本発明よれば、ユーザが両手を使えない状況でも容易に操作することができ、且つユーザが意図した操作を的確に検出して実行することができる。
図１は、第１の実施形態における電子機器システムの一例の全体構成を示す図である。 図２は、第１の実施形態における機器操作装置の一例を示すブロック図である。 図３は、操作対象機器を指定するための画面情報の一例を示す図である。 図４は、操作内容を指定するための画面情報の一例を示す図である。 図５は、頸部の動きの検出の説明に用いる説明図である。 図６は、第１の実施形態の機器操作装置を用いた機器操作方法の第１の例について処理の流れを示すフローチャートである。 図７は、第１の実施形態の機器操作装置における視線検知の説明に用いる説明図である。 図８は、第１の実施形態の機器操作装置を用いた機器操作方法の第２の例について処理の流れを示すフローチャートである。 図９は、第１の実施形態の機器操作装置を用いた機器操作方法の第３の例について処理の流れを示すフローチャートである。 図１０は、第２の実施形態における機器操作装置の一例を示すブロック図である。 図１１は、第２の実施形態の機器操作装置における頭部装着端末で撮像される視野画像及び目の画像の説明に用いる説明図である。 図１２は、第２の実施形態の機器操作装置における視線検出及び操作判断の一例の説明に用いる説明図である。 図１３は、電子機器として内視鏡装置を用いる場合の電子機器システムの一例の全体構成を示す図である。 図１４は、図１３に示した電子機器システムの構成を示すブロック図である。 図１５は、内視鏡装置による観察の様子を示す図である。
以下、添付図面に従って本発明に係る機器操作装置、機器操作方法、及び電子機器システムの実施形態について説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態における電子機器システムの一例の全体構成を示す図であり、図２は本発明の第１の実施形態における機器操作装置の一例を示すブロック図である。
図１に示すように、電子機器システム１０は、操作対象機器である電子機器２０と、電子機器２０を制御する機器操作装置３０とを含んで構成されている。
機器操作装置３０は、ユーザに対して表示を行う表示部３１（「ディスプレイ」ともいう）と、ユーザの視線を検出するためにユーザの顔を撮像する視線検出カメラ３２と、ユーザの頸部に装着されユーザの頸部の動きを検出する頸部装着端末３３と、表示部３１、視線検出カメラ３２及び頸部装着端末３３を制御する本体ユニットとして各種の演算を実行する演算部３４とを含んで構成されている。
表示部３１は、液晶表示デバイスなどの表示デバイスによって構成されている。
視線検出カメラ３２は、表示部３１の近傍に配置され、ユーザの少なくとも目を撮像して目の画像を含む画像（以下「ユーザ画像」という）を生成して出力する。ユーザの顔のうちの目の部分のみを抽出する場合、その抽出を視線検出カメラ３２の機能により実行してよいし、演算部３４にその抽出の機能を設けてもよい。尚、視線の検出を確実に安定して行うため、視線検出カメラ３２を複数設ける構成としてよい。
頸部装着端末３３は、ユーザの頸部に装着される端末であり、図１に示すように、ユーザの頸部の動きを検出する頸部動きセンサ５２と、頸部においてユーザの喉の振動を検出する振動センサ５４を備える。
頸部動きセンサ５２として、頸部の筋肉の動きを検出する筋電センサ、歪センサ、加速度センサなどのセンサデバイスを用いる。これら以外のセンサデバイスを用いてよい。また、「頸部の動き」として、頸部の筋肉の動き、頸部の骨の動き、及び頸部の表面の動き（つまり皮膚の動き）のうちのいずれを、頸部動きセンサ５２により検出してもよい。複数種類のセンサデバイスを用いて検出を行ってもよい。
振動センサ５４として、例えば、頸部の骨の振動を検出する加速度センサを用いる。他の種類のセンサを用いてもよい。
尚、頸部動きセンサ５２及び振動センサ５４を一つのセンサデバイスにより構成し、その一つのセンサデバイスに頸部の動き検出と喉の振動検出とを行わせてもよい。例えば、頸部動きセンサ５２及び振動センサ５４を一つの加速度センサで構成し、その加速度センサの出力信号から、低周波数成分を抽出することにより頸部の動きを示す信号を生成し、高周波数成分を抽出することにより喉の振動を示す信号を生成する。
図２に示すように、演算部３４は、複数の電子機器２０と通信を行う通信部３８と、電子機器２０の操作制御のためのプログラム及びそのプログラムの実行に必要な情報を記憶する記憶部３９と、記憶部３９に記憶されたプログラムを実行することにより機器操作装置３０の各部を制御するＣＰＵ（central processing unit）４０とを含んで構成されている。
通信部３８は、電子機器２０と通信を行う通信デバイスによって構成されている。図１には、無線により電子機器２０と通信する場合を図示したが、ローカルエリアネットワークなどを介して有線により電子機器２０と通信してもよい。また、図１では図示を省略した、演算部３４の外部の装置（例えばデータベース２２）と、ローカルエリアネットワークなどを介して通信してよい。
記憶部３９は、プログラムなどを記憶する不揮発性の記憶デバイスと、プログラムのワーク領域として使用される読み書き可能な記憶デバイスとを含んで構成されている。
ＣＰＵ４０は、図２に示すように、表示部３１の表示制御を行う表示制御部４１と、視線検出カメラ３２から出力されたユーザ画像に基づいてユーザの視線を検出する視線検出部４２と、頸部装着端末３３の頸部動きセンサ５２で検出されたユーザの頸部の動きに基づいてユーザの頭部の動作を認識する動作認識部４３と、視線検出部４２で検出された視線、及びユーザの頸部の動きから認識されたユーザの頭部の動作に基づいて、操作対象機器及び操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部４４と、頸部装着端末３３の振動センサ５４によりユーザの頸部で検出されたユーザの喉の振動からユーザの音声を認識する音声認識部４５と、判断部４４の判断に従って電子機器２０を制御する機器制御部４６を備える。
表示制御部４１は、表示部３１に、ユーザの操作に必要な画面情報を表示させる機能を有する。
表示制御部４１は、図３に示すように、複数の電子機器２０（例えば「電子機器Ａ」、「電子機器Ｂ」とする）をそれぞれ示す複数のアイコンＥ１１、Ｅ１２から、操作対象機器（例えば「電子機器Ａ」）を示すアイコン（例えばアイコンＥ１１）を視線入力により指定させるための画面情報（以下「操作対象機器指定画面情報」という）を、表示部３１に表示させる。
また、表示制御部４１は、図４（Ａ）に示すように、複数の機能（例えば「機能１」、「機能２」及び「機能３」とする）をそれぞれ示す複数のアイコンＥ２１、Ｅ２２、Ｅ２３から、操作対象機器に実行させる機能（例えば「機能１」）を示すアイコン（例えばアイコンＥ２１）を視線入力により指定させるための画面情報（以下「機能指定画面情報」という）を、表示部３１に表示させる。
また、表示制御部４１は、図４（Ｂ）に示すように、複数の実行条件（例えば「実行条件１」、「実行条件２」及び「実行条件３」とする）をそれぞれ示す複数のアイコンＥ３１、Ｅ３２、Ｅ３３から、操作対象機器に実行させる機能の実行条件を示すアイコン（例えばアイコンＥ３１）を視線入力により指定させるための画面情報（以下「実行条件指定画面情報」という）を、表示部３１に表示させる。
尚、「機能指定画面情報」及び「実行条件指定画面情報」は、操作内容を示すアイコンを視線入力により指定させるための画面情報（以下「操作内容指定画面情報」という）の一形態である。つまり、本例の「操作内容」には、「機能」及び「実行条件」が含まれる。
次に、視線検出部４２の視線検出について説明する。
視線（注視点）の検出は、ユーザの目の画像から、基準点を目頭、動点（基準点に対して相対的に動く部分）を虹彩とし、目頭に対する虹彩の位置に基づいて行うことができる。この場合例えば、左目の虹彩が目頭から離れていれば、ユーザは左側を見ている。逆に左目の目頭と虹彩が近ければ、ユーザは右側を見ている。
尚、視線の検出は、基準点を角膜反射点とし、動点を瞳孔にして、角膜反射の位置に対する瞳孔の位置に基づいて行うこともできる。この場合例えば、左目の角膜反射よりも瞳孔が目尻側にあれば、ユーザは左側を見ている。角膜反射よりも瞳孔が目頭側にあれば、ユーザは右側を見ている。この方式を用いる場合、ユーザの顔に赤外線を照射して赤外線カメラで撮影する。
本例の視線検出部４２は、視線の移動を検出し（つまり視線を連続して検出し）、本例の判断部４４は、検出された視線の移動に基づいて、操作対象機器と、操作対象機器に対する操作内容とを判断する。判断部４４により、操作対象機器と操作内容のうちの少なくとも一方を、検出した視線の移動に基づいて判断してもよい。
次に、動作認識部４３の動作認識について、具体例を説明する。
動作認識部４３により認識される動作として、例えば、図５（Ａ）に示す「首傾げ」（首を傾ける動作である）、図５（Ｂ）に示す「うなずき」（首の縦振り動作である）、図５（Ｃ）に示す「首振り」（首の横振り動作である）が挙げられる。つまり、「首傾げ」、「うなずき」、「首振り」といった動作を意図したユーザの脳からの指令により頸部の筋肉が動かされ、その結果として頭部が動くが、頸部の動きの結果である「頭部の動き」を検出して動作認識を行うのではなく、頸部装着端末３３の頸部動きセンサ５２により「頸部の動き」を直接的に検出して動作認識を行う。よって、動作認識部４３は、ユーザが意図した動作を的確に認識することが可能である。
判断部４４は、視線検出部４２により検出された視線に基づいて操作対象機器及び操作内容のうちの少なくとも一方を判断し、頸部装着端末３３の頸部動きセンサ５２で検出された頸部の動きに基づいて判断を確定する。尚、本例の判断部４４は、頸部動きセンサ５２の検出結果から動作認識部４３により認識された動作に基づいて判断を行っており、このような場合も本発明における「頸部の動きに基づいて判断する」あるいは「頸部の動きに基づいて判断を確定する」の概念に含まれる。
音声認識部４５は、頸部装着端末３３の振動センサ５４によりユーザの頸部により検出されるユーザの喉の振動に基づいて、ユーザの音声を認識する。
機器制御部４６は、本発明における「制御部」の一形態であり、判断部４４の判断に従って、操作対象機器である電子機器２０を制御する。
例えば、判断部４４により、図３に示した操作対象機器指定画面情報から「電子機器Ａ」が指定されたと判断され、図４（Ａ）に示した機能指定画面情報から「機能１」が指定されたと判断され、かつ図４（Ｂ）に示した実行条件指定画面情報から「実行条件１」が指定されたと判断された場合、通信部３８により、操作対象機器である電子機器Ａに対して機能１を実行条件１において実行するという指示を送信する。
図６は、本実施形態の機器操作装置３０を用いた機器操作方法の第１の例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、記憶部３９に予め記憶されたプログラムに従って、実行される。
本処理がスタートすると、まず、ステップＳ１０２で、表示制御部４１により、図３に示したように、表示部３１に操作対象機器指定画面情報を表示する。
次に、ステップＳ１０４に進んで、視線検出部４２により、ユーザの視線を検出する。例えば、図７に示すようにユーザが表示部３１の画面上に視線を向けている場合、視線検出カメラ３２により撮像された撮像画像（ユーザ画像）に基づいて、表示部３１の画面においてユーザが視線を向けている位置（視線位置）が算出される。
次に、ステップＳ１０８に進んで、判断部４４により、ステップＳ１０４で検出された視線に基づいて、ユーザが視線により指定した操作対象機器を判断する。
次に、ステップＳ１１２に進んで、頸部装着端末３３の頸部動きセンサ５２によりユーザの頸部の動きを検出し、動作認識部４３によりユーザの動作を認識する。
次に、ステップＳ１１４に進んで、判断部４４により、ユーザが確定操作の動作（例えば図５（Ｂ）に示した「うなずき」）を行ったか否かを判断する。
確定操作が行われていないと判断された場合（ステップＳ１１４でＮＯの場合）、ステップＳ１１６に進んで、判断部４４により、ユーザが取消操作の動作（例えば図５（Ｃ）に示した「首振り」）を行ったか否かを判断する。取消操作が行われたと判断された場合（ステップＳ１１６でＹＥＳの場合）、視線検出結果に基づく操作対象機器の判断結果をクリアして、ステップＳ１０２に戻る。取消操作も行われていないと判断された場合（ステップＳ１１６でＮＯの場合）、ステップＳ１１２に戻り、頸部の動き検出（ステップＳ１１２）、確定操作判断（ステップＳ１１４）を繰り返す。
確定操作が行われたと判断された場合（ステップＳ１１４でＹＥＳの場合）、ステップＳ１２２に進んで、表示制御部４１により、図４に示したように、表示部３１に操作内容指定画面情報を表示する。例えば、図４（Ａ）に示した「機能指定画面情報」又は図４（Ｂ）に示した「実行条件指定画面情報」、あるいは両方の画面情報を組み合わせた画面情報が、操作内容指定画面情報として表示される。
次に、ステップＳ１２４に進んで、視線検出部４２により、ユーザの視線を検出する。つまり、視線検出部４２により、視線検出カメラ３２の撮像画像（ユーザ画像）に基づいて、表示部３１の画面においてユーザが視線を向けている位置（視線位置）を算出する。
次に、ステップＳ１２８に進んで、判断部４４により、ステップＳ１２４で検出された視線に基づいて、ユーザが視線により指定した操作内容を判断する。つまり、操作対象の電子機器２０に対する操作内容を判断する。
次に、ステップＳ１３２に進んで、頸部装着端末３３の頸部動きセンサ５２によりユーザの頸部の動きを検出し、動作認識部４３によりユーザの動作を認識する。
次に、ステップＳ１３４に進んで、判断部４４により、ユーザが確定操作の動作（例えば図５（Ｂ）に示した「うなずき」）を行ったか否かを判断する。
確定操作が行われていないと判断された場合（ステップＳ１３４でＮＯの場合）、ステップＳ１３６に進んで、判断部４４により、ユーザが取消操作の動作（例えば図５（Ｃ）に示した「首振り」）を行ったか否かを判断する。取消操作が行われたと判断された場合（ステップＳ１３６でＹＥＳの場合）、視線検出結果に基づく操作内容の判断結果をクリアして、ステップＳ１２２に戻る。取消操作も行われていないと判断された場合（ステップＳ１３６でＮＯの場合）、ステップＳ１３２に戻り、頸部の動き検出（ステップＳ１３２）、確定操作判断（ステップＳ１３４）を繰り返す。
確定操作が行われたと判断された場合（ステップＳ１３４でＹＥＳの場合）、ステップＳ１３８に進んで、指定された操作対象機器の指定された操作内容を実行する。
次に、ステップＳ１４２に進んで、複数の電子機器２０のうちの同じ電子機器２０に対する操作を継続するか否かを判断する。同じ電子機器２０に対する操作を継続する場合（ステップＳ１４２でＹＥＳの場合）、ステップＳ１２２に戻る。また、ステップＳ１４４により、他の電子機器２０に対する操作を開始するか否かを判断する。他の電子機器２０に対する操作を開始する場合（ステップＳ１４４でＹＥＳの場合）、ステップＳ１０２に戻る。
同一及び他の電子機器２０に対する操作を終了する場合（ステップＳ１４４でＮＯの場合）、ステップＳ１５０に進んで音声処理を実行することにより、レポートの生成及び出力を行う。
ステップＳ１５０の音声処理の詳細について説明する。まず、頸部装着端末３３の振動センサ５４により、ユーザの頸部で喉の振動を検出する。次に、音声認識部４５により、検出されたユーザの喉の振動に基づいて、ユーザの音声を認識する。次に、認識した音声を記録する。つまり、周囲の音楽や音声を記録することなく頸部装着端末３３を装着した人の音声のみを容易に記録することができる。
音声を記録する態様には、機器操作装置３０の本体ユニットである演算装置３４の内部で記録する態様（以下「内部記録態様」という）と、機器操作装置３０の本体ユニットである演算装置３４の外部で記録する態様（以下「外部記録態様」）とがあり、本発明はいずれの場合であってもよい。内部記録態様では、ＣＰＵ４０の制御により、例えば記憶部３９に音声のデータを記録する。この例では記憶部３９が「音声記録部」の一形態である。外部記録態様では、通信部３８（「音声データ出力部」の一形態である）から音声のデータを出力し、例えばデータベース２２に音声のデータを記録する。この例ではデータベース２２が「音声記録部」の一形態である。例えば、音声のデータをファイル化し、データベース２２に対し、ローカルエリアネットワークを介して送信する。
また、図６では機器操作終了後に音声処理（ステップＳ１５０）を行っているが、このような場合に本発明は限定されず、機器操作中の音声を入力、認識及び記録することができる。例えば、手術中の医師等の指示や会話を音声のデータとして記録に残し、医療事故が発生した場合の証拠として活用したり、医療技術の伝承に活用できるようにする。
音声処理（ステップＳ１５０）によりレポートの生成及び出力が終了すると、本処理を終了する。
図６において、ステップＳ１０８、Ｓ１１４、Ｓ１１６、Ｓ１２８、Ｓ１３４及びＳ１３６は、本発明における「判断工程」の一形態である。また、ステップＳ１３８は、本発明における「制御工程」の一形態である。
尚、図６では、視線検出部４２による視線検出と頸部装着端末３３による頸部の動き検出とが異なる時機に行われているが、視線検出及び頸部の動き検出とを時系列で並行して行ってよい。また視線検出及び頸部の動き検出をそれぞれ連続して行ってよい。このような並行制御を行う場合、視線検出及び頸部の動き検出が同時に実行される可能性があるが、本例の視線検出部４２は、頸部装着端末３３が頸部の動き検出を開始したら視線の検出を停止し、頸部装着端末３３が頸部の動き検出を終了したら視線の検出を開始する。例えば、図６のステップＳ１１２、ステップＳ１３２で頸部の動き検出が開始されたときに視線検出部４２に視線検出を停止させ、頸部の動き検出が終了したら視線検出部４２に視線検出を再開させる。
図８は、本実施形態の機器操作装置を用いた機器操作方法の第２の例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、記憶部３９に予め記憶されたプログラムに従って、実行される。図６に示した本実施形態の第１の例と同じステップには同じ符号を付してあり、以下では相違点のみ説明する。
本例では、図６に示した視線検出（ステップＳ１０４、ステップＳ１２４）の代わりに、視線検出及び頸部の動き検出（ステップＳ１０４Ａ、ステップＳ１２４Ａ）を行う。この視線検出及び頸部の動き検出（ステップＳ１０４Ａ、ステップＳ１２４Ａ）の後に、頸部装着端末３３で検出された頸部の動きと閾値とを比較し（ステップＳ１０６、ステップＳ１２６）、検出された頸部の動きが閾値よりも大きい場合に視線の検出を無効にする。
つまり、本例では、ユーザの頸部が静止又は微動の状態での視線検出を有効にする一方で、ユーザの頸部の動きが大きく動く状態での視線検出を無効にする。なぜなら、ユーザの頸部が大きく動く状態では、ユーザの頭も大きく動き、その結果としてユーザの視線が無意識のうちに大きく動く可能性があり、ユーザの意図に合わない判断をする可能性があるからである。
ここで、「検出された頸部の動きが閾値よりも大きい場合」には、検出された頸部の動きの量（つまり動きベクトルの大きさ）が閾値よりも大きい場合、検出された頸部の動きの方向（つまり動きベクトルの方向）の変動を示す評価値が閾値よりも大きい場合、などが挙げられる。つまり、視線検出の精度に影響するユーザの頸部の動きの大きさとして、動きベクトルの大きさ以外に、動きベクトルの方向の変動の大きさが挙げられる。言い換えると、「検出された頸部の動き」は、動きベクトルの大きさ以外に、その動きベクトルの評価値を含む概念である。
図９は、本実施形態の機器操作装置を用いた機器操作方法の第３の例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、記憶部３９に予め記憶されたプログラムに従って、実行される。図６に示した本実施形態の第１の例及び図８に示した本実施形態の第２の例と同じステップには同じ符号を付してあり、以下では相違点のみ説明する。
本例では、図６及び図８に示した頸部の動き検出（ステップＳ１１２、ステップＳ１３２）の代わりに、視線検出及び頸部の動き検出（ステップＳ１１２Ａ、ステップＳ１３２Ａ）を行う。この視線検出及び頸部の動き検出（ステップＳ１１２Ａ、ステップＳ１３２Ａ）による視線検出及び頸部の動き検出の結果に基づいて、確定操作か否かの判断（ステップＳ１１４、ステップＳ１３４）、及び取消操作か否かの判断（ステップＳ１１６、ステップＳ１３６）を行う。
つまり、本例では、操作対象機器及び操作内容の判断の確定を行うか否か、並びに操作対象機器及び操作内容の判断の取消を行うか否かを、頸部の動きの検出結果のみでなく視線の検出結果にも基づいて行う。なぜなら、単に頸部の動きのみに基づいてユーザが確定操作又は取消操作を行ったか否かを判断すると、ユーザが無意識のうちに頸部を動かした場合にもユーザが確定操作又は取消操作を行ったと誤判断する可能性があるからである。このような誤判断を回避する方法として、検出された頸部の動きと比較する閾値を大きくするなどの判定基準値を変更する方法も考えられる。しかし、誤判断回避のためにユーザにより大きな頸部の動きを強いることになると、即ち無理な動作をユーザに強要すると、スムーズな操作ができないことになり、ユーザの疲労にもつながる。そこで、ユーザが表示部３１の画面上のＧＵＩ（graphical user interface）要素（例えばボタン）を注視している状態で頸部を動かした場合には頸部の動きに関わらず表示部３１の画面上の視線位置がほぼ一定又は微動の範囲内に収まるという特性を利用して判断を行う。
例えば、首の縦振り（うなずき）であるか否かを判定することによりユーザが確定操作を行ったか否かを判断する場合、首を下（又は上）に振るとユーザの瞳が上（又は下）に移動することにより、頸部の動きベクトルの大きさが頸部の動き判定用の閾値よりも大きくなる一方で画面上の視線位置の移動量が視線移動判定用の閾値以下になることを検出する。また、首の横振りであるか否かを判定することによりユーザが取消操作を行ったか否かを判断する場合、首を左（又は右）に振るとユーザの瞳が右（又は左）に移動することにより、頸部の動きベクトルの大きさが頸部の動き判定用の閾値よりも大きくなる一方で画面上の視線位置の移動量が視線移動判定用の閾値以下になることを検出する。
＜第２の実施形態＞
図１０は、第２の実施形態における機器操作装置３０の一例を示すブロック図である。図１０において、図２に示した第１の実施形態の機器操作装置３０と同じ構成要素には同じ符号を付してあり、以下では異なる点のみ説明する。
頭部装着端末６０は、図１１に示すようにユーザの頭部に装着される端末であり、ユーザの目の視野内に存在する被写体を撮像して視野画像を取得する視野カメラ６１と、ユーザの目を撮像して目の画像を取得する視線検出カメラ６２を備える。視野カメラ６１は、頭部装着端末６０がユーザの頭部に装着されたときに左目及び／又は右目の近傍に位置するように配置される。本例では、ユーザの左目及び右目と表示部３１との相対的な三次元の位置関係を算出可能とするため、左目の近傍及び右目の近傍のそれぞれに視野カメラ６１を配置し、左目の視野画像と右目の視野画像とからなる立体視画像を取得する構成としている。視線検出カメラ６２は、頭部装着端末６０がユーザの頭部に装着されたときに左目及び右目のそれぞれが撮像対象となるように配置される。視線の検出を確実に安定して行うために複数の視線検出カメラ６２（例えば左目撮像用の視線検出カメラと右目撮像用の視線検出カメラの二台）を設けてよい。
本実施形態の機器操作装置３０を用いた機器操作方法は、第１実施形態で図６を用いて説明した処理とほぼ同様に実行することができる。第２実施形態では、視線検出部４２による視線検出（図６のステップＳ１０４）において、頭部装着端末６０の視野カメラ６１により取得された視野画像と、頭部装着端末６０の視線検出カメラ６２により取得された目の画像とに基づいて、ユーザの視線位置を算出する。
本例の頭部装着端末６０は、視野カメラ６１により取得された視野画像と視線検出カメラ６２により取得した目の画像とを、本体ユニットである演算部３４に対して送信し続ける。例えば、視野画像及び目の画像を静止画として、一定あるいは不定の時間間隔で送信する。動画として一定のフレームレートで送信してもよい。
演算部３４の視線検出部４２は、視野画像（本例では左目の視野画像及び右目の視野画像の両方）に基づいて、ユーザの目と表示部３１の画面との相対的な位置関係を算出する。また、演算部３４の視線検出部４２は、目の画像（本例では左目の画像及び右目の画像の両方）に基づいて、目の基準点と動点（基準点に対して相対的に動く部分）との相対的な位置関係を算出する。視線検出カメラ６２で可視光の撮像を行う場合、例えば、目頭及び／又は目尻を基準点とし、虹彩を動点とする。視線検出カメラ６２により赤外光の撮像を行う場合、例えば、角膜反射点を基準点とし、瞳孔を動点とする。
次に、演算部３４の視線検出部４２は、算出された目と表示部３１の画面との相対的な位置関係、及び算出された目の基準点と動点との位置関係に基づいて、視野画像のうちのどこをユーザが見ているかを示す座標（視野画像における視線位置である）を算出する。つまり、視野画像と視線位置との対応付けを行う。
図１２（Ａ）に示すように、視野画像の横方向をＸ方向として縦方向をＹ方向とした場合、視線位置は、（ｘ，ｙ）座標を中心とする例えば一定半径の小さな円形の範囲として表される。つまり、図１２（Ｂ）に示すように、ユーザは視野画像のうちの（ｘ，ｙ）座標を中心とした部分に存在するＧＵＩ要素（図では要素Ｅ２１から要素Ｅ２３の三つの要素のうちの要素Ｅ２１）に視線を向けていると判断することができる。そのＧＵＩ要素をユーザが注視している状態で、図１２（Ｃ）に示すように、ユーザが首を縦に振ると、頸部装着端末３３の頸部動きセンサ５２により頸部の動きが検出され、動作認識部４３によりユーザの首の縦振り（「うなずき」ともいう）が認識されるので、ユーザが注視した要素Ｅ２１に対応した操作が確定する。
本実施形態によれば、いわゆるメガネ型の頭部装着端末６０を用いて視線検知を行うので、ユーザの顔の向きや体の向きに依らず、ユーザの視線位置を正確に検出することが可能になる。つまり、ユーザは視線を自然に向けることができる。また、ユーザの頭部の角度（顔の向き）が変わった場合でも、頭部の角度の変化に関わらず正確に視線検出を行うことができる。
＜医用システムへの適用例＞
図１３は、図１に示した電子機器２０として内視鏡装置１００を用いる場合の電子機器システム（内視鏡システム１０）を示す外観図である。
≪内視鏡本体の構成≫
内視鏡本体１１０は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者は手元操作部１０２を把持して操作し、挿入部１０４を被験者の体内に挿入して観察を行う。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端部１１６で構成されている。先端部１１６には、撮影光学系１３０（図１４参照）、照明部１２３、送水ノズル１２４、鉗子口１２６等が設けられる。
観察または処置の際には、操作部２０８（図１４参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから可視光及び赤外光のいずれか、または両方を照射することができる。また操作部２０８の操作により、送水ノズル１２４から洗浄水が放出されて、撮影光学系１３０のレンズ１３２及び、照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。鉗子口１２６には腫瘍摘出または切除のための図示せぬ処置具が挿通され、適宜進退して被検体に必要な処置を施せるようになっている。
図１４に示すように、先端部１１６の先端面には撮影光学系１３０のレンズ１３２が配設されており、このレンズ１３２の奥にＣＭＯＳ（Complementary MOS）型の撮像素子１３４、駆動回路１３６、ＡＦＥ（Analog Front End）１３８が配設されて、画像信号を出力するようになっている。本実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。
レンズ１３２等を介して取り込まれた観察像は撮像素子１３４の受光面に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
≪観察画像の表示≫
図１５は内視鏡装置１００の挿入部１０４を被検体内に挿入した状態を示す図であり、撮影光学系１３０を介して観察画像を取得する様子を示している。図１５中、参照符号ＩＡは撮影範囲を示し、参照符号ｔｍは腫瘍（図１５中黒色で隆起している部分）を示す。
図１３〜図１５に示すように、先端部１１６の先端面には、レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ、１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
≪光源装置の構成≫
図１４に示すように、光源装置３００は、光源３１０、絞り３３０、及び集光レンズ３４０等から構成されており、照明用の光をライトガイド１７０に入射させる。光源３１０は、可視光源３１０Ａ及び赤外光源３１０Ｂを備えており、可視光及び赤外線の一方または両方を照射可能である。これにより、ライトガイドコネクタ１０８（図１３参照）を光源装置３００に連結することによって、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
≪内視鏡プロセッサの構成≫
次に、図１４に基づき内視鏡プロセッサ２００の構成を説明する。内視鏡プロセッサ２００は、内視鏡装置１００から出力される画像信号を、画像入力コントローラ２０２を介して入力し、画像処理部２０４において必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に観察画像が表示される。これらの処理はＣＰＵ（Central Processing Unit；中央処理装置）２１０の制御下で行われる。画像処理部２０４では、ホワイトバランス調整等の画像処理の他、モニタ４００に表示する画像の切替または重畳表示、電子ズーム処理、操作モードに応じた画像の表示及び切替、画像信号からの特定成分（例えば輝度信号）の抽出等を行う。
また、内視鏡プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定、切替スイッチまたは送水指示ボタン等を備えており、また可視光または赤外光の照射を操作することができる。
＜その他＞
図１３を用いて、操作対象機器が医療機器である内視鏡装置１００である場合について説明したが、本発明において操作対象機器は医療機器でなくてもよい。医療機器の他にも、スマートフォン、タブレット端末、ゲーム機等の携帯機器の操作や、車両の運転等の機器操作のために両手を自由に使えない状況や、機器配置に制約がある状況での機器操作に適用できる。また、操作対象機器は１つに限られず、複数の機器から視線及び頸部の動きに基づいて選択するようにしてもよい。また本発明において、操作対象機器や機器の使用状況、操作の種類や重要度等によってはジェスチャを頭部を動かさないで頸部のみを動かす動作で行うようにしてもよいし、視線検出の対象となるユーザとジェスチャ検出の対象となるユーザを別人としてもよい。
本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０…電子機器システム、２０…電子機器、２２…データベース（音声記録部の一形態）、３０…機器操作装置、３１…表示部、３２…視線検出カメラ、３３…頸部装着端末、３４…演算部、３８…通信部、３９…記憶部（音声記録部の一形態）、４０…ＣＰＵ、４１…表示制御部、４２…視線検出部、４３…動作認識部、４４…判断部、４５…音声認識部、４６…機器制御部、５２…頸部動きセンサ、５４…振動センサ、６０…頭部装着端末、６１…視野カメラ、６２…視線検出カメラ

Claims (10)

  1. ユーザの視線を検出する視線検出部と、
    前記ユーザの頸部に装着され前記ユーザの頸部の動きを検出する頸部装着端末と、
    前記検出された視線及び前記検出された頸部の動きに基づいて、操作対象機器及び前記操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断部と、
    前記判断に従って前記操作対象機器を制御する制御部と、
    を備え、
    前記視線検出部は、前記頸部装着端末が前記頸部の動きの検出を開始したら前記視線の検出を停止し、前記頸部装着端末が頸部の動きの検出を終了したら前記視線の検出を開始する、機器操作装置。
  2. 前記判断部は、
    前記検出された視線に基づいて前記操作対象機器及び前記操作内容のうちの少なくとも一方を判断し、
    前記検出された頸部の動きに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
  3. 前記視線検出部は前記視線の移動を検出し、
    前記判断部は、前記検出した視線の移動に基づいて、前記操作対象機器及び前記操作内容のうちの少なくとも一方を判断する、請求項１または２に記載の機器操作装置。
  4. 前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から３のいずれか１項に記載の機器操作装置。
  5. 前記頸部装着端末により検出された前記ユーザの喉の振動から前記ユーザの音声を認識する音声認識部と、を備える請求項１から４のいずれか１項に記載の機器操作装置。
  6. 前記認識した音声を記録する音声記録部を備える請求項５に記載の機器操作装置。
  7. 前記判断部は、前記検出された頸部の動きが閾値よりも大きい場合に前記視線の検出を無効にする、
    請求項１から６のいずれか１項に記載の機器操作装置。
  8. 請求項１から７のいずれか１項に記載の機器操作装置と、
    前記操作対象機器である電子機器と、
    を含む電子機器システム。
  9. 前記電子機器は医療機器である、請求項８に記載の電子機器システム。
  10. ユーザの視線を検出する視線検出部と、前記ユーザの頸部に装着され前記ユーザの頸部の動きを検出する頸部装着端末と、を備える機器操作装置の機器操作方法であって、
    前記検出された視線及び前記検出された頸部の動きに基づいて、操作対象機器及び前記操作対象機器に対する操作内容のうちの少なくとも一方を判断する判断工程と、
    前記判断に従って前記操作対象機器を制御する制御工程と、
    を含み、
    前記頸部の動きの検出を開始したら前記視線の検出を停止し、前記頸部の動きの検出を終了したら前記視線の検出を開始する、機器操作方法。
JP2017537625A 2015-09-04 2016-07-07 機器操作装置、機器操作方法、及び電子機器システム Active JP6507252B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015174575 2015-09-04
JP2015174575 2015-09-04
PCT/JP2016/070073 WO2017038248A1 (ja) 2015-09-04 2016-07-07 機器操作装置、機器操作方法、及び電子機器システム

Publications (2)

Publication Number Publication Date
JPWO2017038248A1 JPWO2017038248A1 (ja) 2018-07-12
JP6507252B2 true JP6507252B2 (ja) 2019-04-24

Family

ID=58186990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017537625A Active JP6507252B2 (ja) 2015-09-04 2016-07-07 機器操作装置、機器操作方法、及び電子機器システム

Country Status (4)

Country Link
US (1) US10585476B2 (ja)
EP (1) EP3346368B1 (ja)
JP (1) JP6507252B2 (ja)
WO (1) WO2017038248A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198685A (ja) * 2017-05-26 2018-12-20 ソニー株式会社 制御装置、制御方法、および手術システム
US20210064334A1 (en) * 2018-01-18 2021-03-04 Mitsubishi Electric Corporation Device operation apparatus, device operation system and device operation method
JP2021060824A (ja) * 2019-10-07 2021-04-15 株式会社Ｆｕｊｉ 基板作業機
JP2023115808A (ja) 2022-02-08 2023-08-21 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、および記録媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JP3219001B2 (ja) * 1997-01-07 2001-10-15 日本電気株式会社 頭部動き検出装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2001100903A (ja) 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2001299691A (ja) 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
US20020110252A1 (en) * 2001-02-12 2002-08-15 Chang-Ming Liu Microphone assembly
JP5159041B2 (ja) 2006-01-30 2013-03-06 株式会社東芝 超音波診断装置およびその画像処理プログラム
JP2008046802A (ja) * 2006-08-14 2008-02-28 Advanced Telecommunication Research Institute International インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム
JP4884417B2 (ja) * 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
WO2012099223A1 (ja) * 2011-01-21 2012-07-26 山形カシオ株式会社 水中通話装置
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN103369418A (zh) * 2012-03-27 2013-10-23 新兴盛科技股份有限公司 喉震式麦克风及包含该麦克风的通讯免持装置
JP6011127B2 (ja) * 2012-08-06 2016-10-19 富士ゼロックス株式会社 行為検出プログラム及び行為検出装置
JP5846385B2 (ja) * 2012-11-07 2016-01-20 国立大学法人東京工業大学 内視鏡操作システム
JP2014126997A (ja) 2012-12-26 2014-07-07 Denso Corp 操作装置、及び操作検出方法
US20150185855A1 (en) * 2013-02-24 2015-07-02 Praveen Elak Method and apparatus to continuously maintain users eyes focused on an electronic display when either one or both are moving
US9483117B2 (en) * 2013-04-08 2016-11-01 Nokia Technologies Oy Apparatus, method and computer program for controlling a near-eye display
EP3144775B1 (en) * 2014-05-09 2020-07-08 Sony Corporation Information processing system and information processing method
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
JP6477123B2 (ja) * 2015-03-25 2019-03-06 株式会社デンソー 操作システム
US20170039750A1 (en) * 2015-03-27 2017-02-09 Intel Corporation Avatar facial expression and/or speech driven animations

Also Published As

Publication number Publication date
EP3346368A4 (en) 2018-09-12
EP3346368B1 (en) 2020-02-05
EP3346368A1 (en) 2018-07-11
JPWO2017038248A1 (ja) 2018-07-12
US20180173306A1 (en) 2018-06-21
WO2017038248A1 (ja) 2017-03-09
US10585476B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
US10506913B2 (en) Apparatus operation device, apparatus operation method, and electronic apparatus system
JP6601417B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6904254B2 (ja) 手術用制御装置、手術用制御方法、およびプログラム
JP6507252B2 (ja) 機器操作装置、機器操作方法、及び電子機器システム
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
JP2016115965A (ja) 医療用眼鏡型表示装、情報処理装置及び情報処理方法
JP4968922B2 (ja) 機器制御装置及び制御方法
JP6507827B2 (ja) 表示システム
US10706965B2 (en) Sensor information acquiring device, sensor information acquiring method, recording medium in which sensor information acquiring program is recorded, and medical instrument
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
JPWO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10877269B2 (en) Head-mounted display apparatus, inspection supporting display system, display method, and recording medium recording display program
CN111722401A (zh) 显示装置、显示控制方法以及显示系统
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
CN104679226A (zh) 非接触式医疗控制系统、方法及医疗设备
JP6996883B2 (ja) 医療用観察装置
CN114791673A (zh) 显示方法、显示装置以及记录介质
JP2021045272A (ja) 鍼刺用エコーガイドシステム
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
JP2021140432A (ja) 制御装置および医療用観察システム
JP2015126369A (ja) 撮像装置
JP6080991B1 (ja) 光学機器
TWI547909B (zh) 眼球動態追蹤裝置
KR101561768B1 (ko) 영상 촬영 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R150 Certificate of patent or registration of utility model

Ref document number: 6507252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250