JP7581340B2 - 視線検出基盤のスマートグラス表示装置 - Google Patents

視線検出基盤のスマートグラス表示装置 Download PDF

Info

Publication number
JP7581340B2
JP7581340B2 JP2022521335A JP2022521335A JP7581340B2 JP 7581340 B2 JP7581340 B2 JP 7581340B2 JP 2022521335 A JP2022521335 A JP 2022521335A JP 2022521335 A JP2022521335 A JP 2022521335A JP 7581340 B2 JP7581340 B2 JP 7581340B2
Authority
JP
Japan
Prior art keywords
distance
gaze
smart glasses
gaze detection
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022521335A
Other languages
English (en)
Other versions
JP2022551642A (ja
Inventor
ソンイル イン
スンチュン イム
Original Assignee
メディシンキュー カンパニー，リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディシンキュー カンパニー，リミティド filed Critical メディシンキュー カンパニー，リミティド
Publication of JP2022551642A publication Critical patent/JP2022551642A/ja
Application granted granted Critical
Publication of JP7581340B2 publication Critical patent/JP7581340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0866—Clinical applications involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/462—Displaying means of special interest characterised by constructional features of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、視線検出基盤のスマートグラス表示装置に関する。より詳細には、使用者の視線を検出し、視線方向に応じた自然なオーバーレイイメージをスマートグラスを介して提供する視線検出基盤のスマートグラス表示装置に関する。
最近、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、「ＶＲ」）、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、「ＡＲ」）、または複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、「ＭＲ」）の応用分野として医療およびヘルスケアが脚光を浴びている。高齢化時代の到来と競争深化による心理疾患など医療サービスの需要増加に対応するための医療専門家の育成および心理治療の代案として、スマートグラスを活用したＶＲ、ＡＲおよびＭＲ技術が浮上している。特に、従来にはトラウマ治療に制限的に活用していたことから抜け出して、ＶＲ、ＡＲおよびＭＲは、手術、治療、リハビリなど医療の全領域に適用範囲が拡大している。ＶＲ、ＡＲおよびＭＲを利用すれば、仮想患者や臓器を具現して修練教育が可能であり、医療スタッフが手術前に適切な計画を立てて事前にテストすることができる。
ＶＲ、ＡＲおよびＭＲを利用していなかった従来の医療装備、例えば、超音波スキャナーは、表示しようとする超音波映像を別途のモニター画面で確認しなければならないため、医師が治療のために患者とモニターを交互に確認しなければならないという面倒さがあった。または、遠隔手術装備やロボット手術装備も手術に必要な各種情報を医療スタッフに効率的に示すことができないことが多かった。したがって、必要な情報を見るために首を回したり、または手術時に必要な情報なしで医師の直感で治療しなければならない場合が発生することになる。
このような面倒さおよび視線分散のため、診断時の医師の集中を妨げる要素として作用した。特に、診断または手術中に関連情報画面を見なければならない状況が発生したときに医療スタッフの集中力が分散する状況が発生すると、患者は危険にさらされたり、または集中して観察しなければならない部分を見逃すこともある。
したがって、従来の医療装備にＶＲ、ＡＲおよびＭＲを導入し、診断時の医師の集中力を最大化することができ、医療スタッフの便宜性を最大限に図ることができるディスプレイ方法に対する需要が徐々に増加している。
発明の背景となる技術は、本発明に対する理解をより容易にするために作成された。発明の背景となる技術に記載された事項が先行技術として存在すると認めるものと理解されてはならない。
本発明は、医療機器におけるＡＲ、ＭＲ、ＶＲなどの装備を介して医師の所望の時点および所望の地点に表示して、診断時の医師の視線分散を防ぐ画期的なディスプレイ方法を提供する。
特に、本発明が解決しようとする課題は、使用者の視線を検出して関連情報を入れたイメージまたは映像を直観的に楽に感じる特定領域に表示し、使用者が仮想のオブジェクトを介して患者の患部または身体内部をより正確に把握できる視線検出基盤のスマートグラス表示装置を提供することである。
本発明の課題は、以上で言及した課題に制限されず、言及されていない他の課題は、以下の記載から当業者に明確に理解されるであろう。
前述した課題を解決するために、本発明の実施形態に係る視線検出基盤のスマートグラス表示装置は、眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する複数の距離測定部、前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出部、オーバーレイイメージを取得するイメージ取得部、前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する画面合成部、および前記演算された位置に前記オーバーレイイメージをディスプレイして、スマートグラス形態のディスプレイ部を含むことができる。
この場合、前記視線検出部は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングすることができる。
このとき、前記視線検出部は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出することができる。
また、前記複数の距離測定部の少なくとも一部は、前記ディスプレイ部を支持する支持台に沿って配置されることができる。
また、前記ディスプレイ部は、円形状のガイド領域を含む画面を提供し、前記画面合成部は、提供されたガイド領域に沿って視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求めることができる。
また、前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含むことができる。
また、前記画面合成部は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出することができる。
また、前記画面合成部は、前記基準点から一定間隔離隔された地点を画面境界点として抽出することができる。
また、前記ディスプレイ部は、前記オーバーレイイメージを３Ｄ立体形状で表示することができる。
また、前記ディスプレイ部は、マイクロディスプレイ、レンズ、パネル、およびスプリッタを含むことができる。
一方、本発明に係る視線検出基盤のスマートグラス表示方法は、複数の距離測定部によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階、前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出段階、オーバーレイイメージを取得するイメージ取得段階、前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する表示位置演算段階、およびスマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含むことができる。
この場合、前記視線検出段階は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングすることができる。
前記視線検出段階は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出することができる。
また、視線検出基盤のスマートグラス表示方法は、前記ディスプレイ部が円形状のガイド領域を含む画面を提供する段階、提供されたガイド領域に沿って使用者の視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める段階をさらに含むことができる。
また、前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含むことができる。
また、前記表示位置演算段階は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含むことができる。
また、前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含むことができる。
また、前記表示段階は、前記オーバーレイイメージを３Ｄ立体形状で表示する段階を含むことができる。
一方、本発明の実施形態に係るコンピュータ判読可能な記録媒体は、複数の距離測定部によって眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定し、前記第１距離および前記第２距離に基づいて視線方向を検出し、オーバーレイイメージを取得し、前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算し、スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする命令語を保存することができる。
本発明に係る課題の解決手段は、以上に例示した内容によって制限されず、さらに様々な効果が本明細書内に含まれている。
基本的に本発明は、ＶＲ、ＡＲおよびＭＲを活用して医師の所望の時点および所望の地点に医師の視線を分散させることなく必要な情報をディスプレイすることができる装置を提供することができる。
本発明は、視線の動きに基づいて動く拡張現実イメージを使用者が直観的に楽に感じる特定領域に表示して、使用者が仮想のオブジェクトを介して患者の患部または身体内部を、視線を分散させることなく高い集中力で把握できる効果がある。
本発明に係る効果は、以上に例示した内容によって制限されず、さらに様々な効果が本明細書内に含まれている。
本発明の一実施形態に係るスマートグラスの表示過程を示す例示図である。 本発明の一実施形態に係る視線検出基盤のスマートグラス表示システムの概略図である。 本発明の一実施形態に係る視線検出基盤のスマートグラス表示装置の構成図である。 本発明の一実施形態に係る視線検出基盤のスマートグラス表示装置のブロック図である。 本発明の一実施形態に係る視線検出に係るキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）モードを説明するための図である。 本発明の一実施形態に係る視線検出に係るキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）モードを説明するための図である。 本発明の一実施形態に係るディスプレイに画像が生成される過程を説明するための例示図である。 本発明の他の実施形態に係るスマートグラス表示方法を示す図である。 本発明の他の実施形態に係るスマートグラス表示方法を示す図である。 本発明の実施形態に係るスマートグラス表示方法を示す図である。
本発明の利点、そしてそれを達成する方法は、添付した図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる様々な形態で具現されることができ、単に本実施形態は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。
本発明の実施形態を説明するための図面に開示された形状、大きさ、比率、角度、個数などは例示的なものであるため、本発明が図面に示した事項によって限定されるものではない。また、本発明を説明するにおいて、関連する公知技術に対する具体的な説明が本発明の要旨を不必要に曖昧にすると判断された場合、その詳細な説明は省略する。本明細書で言及した「含む」、「有する」、「からなる」などが使用されている場合、「～のみ」が使用されていない限り、他の部分が追加されることができる。構成要素を単数で表現した場合、別に明示的な記載事項がない限り、複数を含む場合を含む。
なお、構成要素を解釈する際に、別に明示的な記載がなくても誤差範囲を含むものとして解釈する。
本発明の様々な実施形態のそれぞれ特徴が部分的に又は全体的に互いに結合又は組み合わせが可能であり、当業者が十分に理解できるように、技術的に様々な連動および駆動が可能であり、各実施形態が互いに独立的に実施可能であり得、連関関係でともに実施可能でもあり得る。
図１は、本発明の一実施形態に係るオーバーレイイメージ表示過程を示す例示図である。図２ａは、本発明の一実施形態に係る視線検出基盤の拡張現実表示システムの概略図である。図２ｂは、本発明の一実施形態に係る視線検出基盤のスマートグラス表示装置の構成図である。図２ｃは、本発明の一実施形態に係るスマートグラス表示装置のブロック図である。図３ａおよび図３ｂは、本発明の一実施形態に係る視線検出に係る視線方向補正を説明するための図である。図４は、ディスプレイにオーバーレイイメージが表示される過程を説明するための図である。
図１を参照すると、視線検出基盤のスマートグラス表示システムは、イメージ取得部２０５から取得されたイメージまたは映像を視線を合わせる対象体２００に応じたディスプレイ上の特定領域に拡張現実、複合現実または仮想現実のオーバーレイイメージまたは映像で表示する視線検出基盤のスマートグラス表示装置１００および視線検出サーバー９００を含む。ただし、図１の実施形態では、視線検出基盤のスマートグラス表示装置１００と視線検出サーバー９００が分離した形態で示したが、視線検出基盤のスマートグラス表示装置１００と視線検出サーバー９００は、１つのハウジング内に搭載されることができる。１つのハウジング内に搭載された場合には、視線検出基盤のスマートグラス表示装置１００と視線検出サーバー９００は有線で連結されることができる。
また、本実施形態では、視線を合わせる対象体２００とイメージ取得部２０５が超音波スキャナーとして１つの装置内に具現された場合を示したが、視線を合わせる対象体２００とイメージ取得部２０５が別途の装置でもあり得る。例えば、遠隔手術ロボットにおける視線を合わせる対象体２００はメスであり得、または手術患者の手術部位であり得る。例えば、イメージ取得部２０５は、手術患者の神経であってメスが入ってはならない領域を表示したイメージを視線検出サーバー９００内に保存されたイメージから取得するユニットでもあり得る。すなわち、視線検出サーバー９００には、手術患者が手術前に撮影した映像に基づいて患者の神経を表示したイメージが保存されることができる。
視線検出基盤のスマートグラス表示装置１００は、内蔵された複数の距離測定部１１によって使用者の視線を検出し、イメージ取得部２０５から取得したイメージをディスプレイ部１０３の画面上に表示できる装置である。ここで、スマートグラス表示装置１００は、視線を合わせる対象体２００を認識した後、認識した視線を合わせる対象体２００と関連して予め設定した領域に前記イメージ取得部２０５から取得した映像を表示する。このとき、視線を合わせる対象体２００は、手術、治療などに使用される電子機器または一般道具でもあり得る。例えば、視線を合わせる対象体２００は、超音波スキャナー、シザー（ｓｃｉｓｓｏｒｓ）、クリップ（ｃｌｉｐ）、メス（ｍｅｓ）などであり得る。本実施形態では視線を合わせる対象体２００が超音波スキャナーであることを基準として説明する。
本発明において、視線検出基盤のスマートグラス表示装置１００は、ディスプレイ部１０３のマイクロディスプレイ１１０（図２ｂ参照）でプロジェクションされる画面１１４が両側レンズ１１１、パネル１１２およびスプリッタ１１３を介して反射されて目に見える方式であり得る。または、ＨＭＤディスプレイを活用しながらシースルー（Ｓｅｅ－ｔｈｒｏｕｇｈ）モードでスマートグラス表示装置１００の外部カメラ１２を介して、または分離した別途のカメラを介して撮影した外部画面をＶＲの画面を介してオーバーレイ画面と重畳して見せる形態であり得る。
図２ａ、図２ｂおよび図２ｃを参照すると、視線検出基盤のスマートグラス表示装置１００は、瞳孔センシング部１０１、視線検出部１０２、ディスプレイ部１０３、画面合成部１０４および制御部１０５を含むことができる。このような瞳孔センシング部１０１、視線検出部１０２およびディスプレイ部１０３は画面合成部１０４、および制御部１０５はソフトウェア、ハードウェアまたはソフトウェアとハードウェアの組み合わせで構成されることができ、当業者は適切な手段を活用してこのような構成要素を具現することができる。
瞳孔センシング部１０１は、使用者の瞳孔をセンシングする構成であって、複数の距離測定部１１を含む。このとき、複数の距離測定部１１は、視線検出基盤のスマートグラス表示装置１００の眼鏡フレームの縁部に沿って複数が配置されることができる。
距離測定部１１は、使用者の視線の動きを把握するために瞳孔１５の位置をセンシングし、レーザ発光部と受光部を含むセンサーとして、好ましくは瞳孔の視力損傷のない波長帯の赤外線レーザを照射する。図２ａでは、説明の便宜のために、距離測定部１１から照射されるレーザ照射線（ＬＬ）を示した。
図４を参照すると、複数の距離測定部１１は眼球１０に赤外線を照射した後、瞳孔１５を介して眼球の眼底から反射された距離（ｄ１＋ｄ２）または眼球の表面から直接反射された距離（ｄ２）を測定することができる。すなわち、反射距離は、眼底から眼球表面（または瞳孔）までの距離（ｄ１）および眼球表面からセンサーユニット１１４までの距離（ｄ２）に区分することができる。この場合、複数のセンサーを介して求めたそれぞれの距離（ｄ１およびｄ２）を測定して瞳孔の位置をセンシングする。
具体的には、使用者の一部距離測定部１１から照射したレーザ光は、瞳孔１５を通過した後、使用者の眼球１０内側である眼底で反射されて、瞳孔１５を介して再び距離測定部１１でセンシングされることになる。
このとき、複数の距離測定部１１から照射された複数のレーザ光のうちの一部のみが瞳孔を通過することができる。瞳孔を通過できなかったレーザ光は、眼球１０の内部ではなく表面で反射されて、距離測定部１１の受光部に入射することになる。
複数の距離測定部１１で照射されるレーザを用いて眼底から眼球表面までの長さ（ｄ１）と眼球表面１０からディスプレイ部１０３までの長さ（ｄ２）を測定することができる。すなわち、瞳孔１５を通過した距離（ｄ１＋ｄ２）は、瞳孔１５を通過しなかった距離（ｄ１＋ｄ２）よりも長さが相対的に短いため、長さ比較によって使用者瞳孔１５の位置を把握することができる。また、複数の距離測定部１１の距離情報によって１つの距離測定ユニット１１から照射したレーザ光が瞳孔を通過するか否かおよび／または通過した光で測定された距離に基づいて、眼球から瞳孔に向かった方向を正確に決定することができる。
したがって、本発明は図４に示すように、複数の距離測定部１１が位置した様々な位置から眼底までの距離を測定するため、非常に詳細な視線方向を導出することができる。
この場合、複数の距離測定部１１は、スマートグラス表示装置１００の前記ディスプレイ部１０３を支持する支持台（眼鏡フレーム）の後面（顔と向かう面）の上側（Ｌ１）および下側（Ｌ２）に沿って配置される。ただし、距離測定部１１の位置はこれに制限されず、視線検出基盤のスマートグラス表示装置１００の眼鏡フレームの後面の側部に配置されるか、スマートグラス表示装置１００のディスプレイ部１０３のレンズ１１１またはパネル１１２に直接配置されることもできる。
視線検出部１０２は、ディスプレイ部１０３上に表示するための拡張現実イメージに対する使用者の視線方向をセンシングする構成であって、瞳孔を介して眼球の眼底から反射された距離（ｄ１＋ｄ２）、眼球の表面から直接反射された距離（ｄ２）および瞳孔の位置に基づいて視線方向を検出することができる。瞳孔センシング部１０１および視線検出部１０２に関するより詳細な説明は、図３ａ～図３ｂを参照して後述することにする。
ディスプレイ部１０３は、視線を合わせる対象体２００から取得されたイメージをディスプレイ部１０３に拡張現実、仮想現実または複合現実イメージで表示する構成である。例えば、図２ｂを参照すると、ディスプレイ部１０３はマイクロディスプレイ１０、レンズ１１１、パネル１１２、およびスプリッタ１３を含むことができる。この場合、マイクロディスプレイ１０が正面に配置されたレンズ１１１を介して像を照射すると、照射された像はレンズ１１１を介してパネル１１２の一領域に到達した後、ディスプレイパネル１２の一面に取り付けられたスプリッタ１３（ｓｐｌｉｔｔｅｒ）によって像が全反射（ｔｏｔａｌ ｒｅｆｌｅｃｔｉｏｎ）され、再び目の前方のスプリッタ１３によって像１１４が使用者の目に見えることができる。
また、ディスプレイ部１０３は、イメージ取得部２０５によって取得されたイメージまたは映像を拡張現実、仮想現実または複合現実イメージで表示するだけではなく、前記取得されたイメージ関連の様々な情報を表示することができる。例えば、医療スタッフが手術時に患者の血管を切った場合、安全に血管を連結するまでの残り時間が約６０.０秒残っていることを第２イメージ２２０で第１イメージ２１０とともに重畳して表示することができる。
イメージ取得部２０５で取得した拡張現実、仮想現実または混合イメージ（以下、オーバーレイイメージ）、例えば、超音波スキャナーでスキャンしたイメージは、視線を合わせる対象体２００により指定された特定位置にディスプレイ１０３を介してオーバーレイされる。例えば、イメージ取得部２０５で取得したイメージは、超音波検診を受ける産婦の超音波映像であり得る。この場合、スマートグラス表示装置１００は、視線を合わせる対象体２００（図４の実施形態では超音波スキャナー）が視線方向から特定範囲２５０内にあるかを認識する。そして、視線を合わせる対象体２００に係る特定位置（例えば、超音波スキャナーの場合、超音波スキャナーの超音波照射面）に取得部２０５で取得したオーバーレイイメージが重畳するようにする。
イメージは、視線検出基盤のスマートグラス表示装置１００の左側レンズおよび右側レンズに表示される。このとき、左側レンズおよび／または右側レンズは、同一のイメージを表示することができる。イメージは、図１ｂに示すように、同一の物体に対する左眼イメージ（Ｔ１'）および右眼イメージ（Ｔ１'）が表示されて、使用者が立体形状（３Ｄ）で仮想オブジェクト（Ｔ１）を認識することもできる。
また、イメージは、使用者の視線の動きに基づいてディスプレイ部１０３内で移動することができる。これに関する具体的な説明は後述する。
画面合成部１０４は、イメージ取得部２０５で取得したイメージまたは映像を適切な位置に配置および合成することができる。画面合成部１０４は、外部カメラ１２で取得した映像によって視線を合わせる対象体２００の位置を確認し、視線方向と連動してオーバーレイイメージがディスプレイされるべき位置を演算する。図４の超音波スキャナーの実施形態において、オーバーレイイメージがディスプレイされる位置は超音波スキャナーの超音波照射面である。画面合成部１０４は、超音波映像を前記演算された位置に表示するようにディスプレイ１０３を制御することができる。この場合、医師は、産婦のお腹を超音波でスキャニングするときに、超音波照射面を見ながらスキャンした画面がよく出ることを確認することができる。したがって、医師は、視線を分散させることなく、胎児の位置、所望の部分がうまくスキャンされるように調整しながら超音波検診が行うことができる。
スマートグラス表示装置１００が仮想現実を示すＨＭＤである場合、画面合成部１０４は、外部カメラ１２の映像とイメージ取得部２０５の映像を重畳してディスプレイすることができる。ただし、この場合にも視線方向と連動してオーバーレイイメージがディスプレイされるべき位置を演算した後、外部カメラ１２の映像とイメージ取得部２０５の映像を重畳してディスプレイする。
制御部１０５は、瞳孔センシング部１０１、視線検出部１０２、ディスプレイ部１０３および画面合成部１０４に対する全般的な動作を制御する機能を行うことができる。
以下では、図３ａおよび図３ｂを参照して、画面合成部１０４が瞳孔の位置および測定された距離（ｄ１およびｄ２）から推定した距離を補正する方法について詳細に記述する。
具体的に図３ａに示すように、画面合成部１０４は、キャリブレーションモードでディスプレイ１０３を介して使用者に円形状のガイド領域（ＴＲ）を表示した任意の画面３００を提供する。ここで、キャリブレーションモードは、使用者の視線方向を測定するモードであって、使用者は任意の画面３００に表示されたガイド領域（ＴＲ）に沿って最初の開始地点（ＳＰ）からガイド領域（ＴＲ）の縁部に沿って時計方向（使用者基準、一方、反時計方向であり得る）に視線を移動させるように案内される。
このとき、使用者がガイド領域（ＴＲ）に沿って視線方向を移動させるときに、視線検出部１０２は使用者の視線方向を検出する。この場合、図３ｂに示すように、理想的な使用者の視線（ｉｄｅａｌ）は、理想的な円形軌道を有するが、実際の使用者の視線（ａｃｔｕａｌ）は、理想的な使用者の視線（ｉｄｅａｌ）よりも横幅が狭く、縦幅が広い楕円形の軌道を有するように形成される。すなわち、使用者が楽に凝視できる視線方向は、通常的に正確な円形形態ではなく楕円形態を有することになる。この場合、画面合成部１０４は、キャリブレーションモードで測定した実際の視線方向に基づいて視線補正基準値を求める。この場合、視線補正基準値は例えば、離心率、扁平度、楕円の焦点位置など楕円を代表することができる値を含むことができる。
したがって、本発明によるスマートグラス表示装置１００は、視線検出部１０２で検出した視線方向を視線補正基準値に基づいて補正することができる。したがって、使用者が実際にみつめようと意図した視線方向を正確に推定することができ、画面処理においてオーバーレイイメージの表示位置の正確性が著しく増加することになる。
本実施形態においては、外部カメラ１２を介して取得したイメージに基づいて視線を合わせる対象体２００の位置を把握したが、本発明はこれに制限されない。例えば、画面合成部１０４は、視線を合わせる対象体２００の少なくとも３つの位置に搭載したビーコン２６０（Ｂｅａｃｏｎ）を用いて視線を合わせる対象体２００の位置を把握することもできる。すなわち、画面合成部１０４は、視線を合わせる対象体２００に搭載されたビーコン２６０信号を周期的に検出し、視線を合わせる対象体２００の位置を把握することができる。
以下では、図５を参照して本発明によるまた他の実施形態について説明する。
図５の実施形態においては、視線を合わせる対象体２００は、超音波スキャナーの一面に装着された光照射部２６０で照射する光であり得る。例えば、医師が超音波スキャナーを介して検診中に全体的な超音波映像のうちの所望の部分がある場合、医師は超音波スキャナーに搭載された光照射部２６０を点けて所望の位置を表示することになる。
この場合、外部カメラ１２を介して、光照射部２６０で照射する光がセンシングされる場合には、図５に示すように、光が照射された地点を中心に画面境界点（Ｐ１－Ｐ４、Ｐ２－Ｐ３）を演算する。ここで、赤外線レーザが照射された地点を基準点と仮定した場合、前記基準点を中心に対角線方向に一定間隔離隔された４地点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を画面境界点として抽出することができる。これにより、画面合成部１０４は、視線を合わせる対象体２００である光照射部２６０から照射する光を基準としてオーバーレイイメージ２１０の位置を演算することができる。
一方、図２ａは、一実施形態として、当業者の必要に応じて一部構成要素を削除するか、または新しい構成要素を追加することができる。例えば、視線検出基盤のスマートグラス表示装置１００と有・無線で連結されるコントローラーをさらに含むこともできる。
以下では、図６を参照して本発明によるまた他の実施形態について説明する。
図６の実施形態においては、視線を合わせる対象体２００は、メスおよび手術対象者の顔であり得る。また、この場合、オーバーレイイメージ２１０は予定された手術線であり得る。例えば、医師がメスを持って、患者の顔を切開する手術を進行する場合に、手術線イメージが患者の顔にオーバーレイされることができる。この場合、手術者の視線方向の一定範囲内に患者の顔とメスが、外部カメラ１２によって撮影された映像中に検出される場合に、患者の顔の上にオーバーレイイメージである手術線が重畳して表示されることになる。すなわち、視線を合わせる対象体２００は複数であり得、様々な条件（メスと手術対象者の顔の少なくとも一部が検出される場合）を満たすときに、画面合成部１０４は視線を合わせる対象体２００である手術対象者の顔を基準としてオーバーレイイメージ２１０の位置を演算することができる。またはこの場合、オーバーレイイメージ２１０は参考のための状況（執刀するメスが皮膚に入る深さが適切なのか否かに対する情報）に対する情報であり得る。または手術中に絶対に触れてはいけない神経／血管の位置などがオーバーレイイメージ２１０として表示されることもできる。このとき、オーバーレイ（あるいは重畳）されるオーバーレイイメージ２１０は、映像のブロック検索（ｂｌｏｃｋ ｓｅａｒｃｈ）やエッジ（ｅｄｇｅ）検出方式などを含む既知の映像処理方法によって表示されることができる。
したがって、本発明は、視線方向に基づいて動くオーバーレイイメージをスマートグラスの特定領域に表示することによって、医療スタッフの視線を分散させることなく、手術や検診などの本来の作業にのみ集中することができるようにする。
以下では、図７を参照して、本発明の一実施形態に係る視線検出基盤のスマートグラスの表示方法について詳細に説明する。
まず、本発明の実施形態に係るスマートグラスの表示方法は、複数の距離測定部１１によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階Ｓ１１０を含む。
この場合、視線検出部１０２は、各距離測定部１１で測定した距離が眼底から反射されたのかまたは眼球表面から反射されたのか、すなわち、前記第１距離および前記第２距離に基づいて視線方向を検出することができる（視線検出段階、Ｓ１２０）。
一方、スマートグラスの表示方法は、オーバーレイイメージを取得する。オーバーレイイメージは、前述したように超音波スキャナー、外部カメラ、別途の連結されたカメラ、またはイメージ／映像を保存するサーバーから取得可能である（イメージ取得段階、Ｓ１３０）。この場合、視線検出部１０２は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングすることができる。または、視線検出部１０２は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングする視線方向を検出することができる。
画面合成部１０４は、前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算することができる（表示位置演算段階、Ｓ１４０）。このとき、画面合成部１０４は、前記ディスプレイ部１０３によって円形状のガイド領域を含む画面を提供した後、使用者が提供されたガイド領域に沿って視線を移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求めることができる。
一方、前記表示位置演算段階Ｓ１４０は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含むことができる。この場合、前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含むことができる。
最後に、スマートグラス形態のディスプレイ部１０３は、前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含むことができる。
したがって、本発明によれば、ＶＲ、ＡＲおよびＭＲを活用して医師の所望の時点および所望の地点に医師の視線を分散させることなく、必要な情報をディスプレイすることができる装置を提供することができる。
また、本発明は、視線の動きに基づいて動く拡張現実イメージを使用者が直観的に楽に感じる特定領域に表示して、使用者が仮想のオブジェクトを介して患者の患部または身体内部を、視線を分散させることなく高い集中力で把握できる効果がある。
以上、添付図面を参照して本明細書の実施形態をさらに詳細に説明したが、本発明は、必ずしもこれらの実施形態に限定されるものではなく、本発明の技術思想を逸脱しない範囲内で多様に変形実施できる。したがって、本発明に開示された実施形態は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施形態によって本発明の技術思想の範囲を限定するものではない。よって、以上で記述した実施形態は、あらゆる面で例示的なもので、限定的なものではないと理解しなければならない。本発明の保護範囲は請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は本明細書の権利範囲に含まれると解釈されるべきである。
本明細書に開示される発明は以下を含む。
［態様１］
眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する複数の距離測定部と、
前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出部と、
オーバーレイイメージを取得するイメージ取得部と、
前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、
前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する画面合成部、および
前記演算された位置に前記オーバーレイイメージをディスプレイして、スマートグラス形態のディスプレイ部を含む視線検出基盤のスマートグラス表示装置。
［態様２］
前記視線検出部は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングする態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様３］
前記視線検出部は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出する態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様４］
前記複数の距離測定部の少なくとも一部は、前記ディスプレイ部を支持する支持台に沿って配置される態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様５］
前記ディスプレイ部は、円形状のガイド領域を含む画面を提供し、前記画面合成部は、提供されたガイド領域に沿って視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様６］
前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含む態様５に記載の視線検出基盤のスマートグラス表示装置。
［態様７］
前記画面合成部は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様８］
前記画面合成部は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する態様７に記載の視線検出基盤のスマートグラス表示装置。
［態様９］
前記ディスプレイ部は、前記オーバーレイイメージを３Ｄ立体形状で表示する態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様１０］
前記ディスプレイ部は、マイクロディスプレイ、レンズ、パネル、およびスプリッタを含む態様１に記載の視線検出基盤のスマートグラス表示装置。
［態様１１］
複数の距離測定部によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階と、
前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出段階と、
オーバーレイイメージを取得するイメージ取得段階と、
前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する表示位置演算段階、および
スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含む視線検出基盤のスマートグラス表示方法。
［態様１２］
前記視線検出段階は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングする態様１１に記載の視線検出基盤のスマートグラス表示方法。
［態様１３］
前記視線検出段階は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出する態様１１に記載の視線検出基盤のスマートグラス表示方法。
［態様１４］
前記ディスプレイ部が円形状のガイド領域を含む画面を提供する段階と、
提供されたガイド領域に沿って使用者の視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める段階をさらに含む態様１１に記載の視線検出基盤のスマートグラス表示方法。
［態様１５］
前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含む態様１４に記載の視線検出基盤のスマートグラス表示方法。
［態様１６］
前記表示位置演算段階は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含む態様１１に記載の視線検出基盤のスマートグラス表示方法。
［態様１７］
前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含む態様１６に記載の視線検出基盤のスマートグラス表示方法。
［態様１８］
前記表示段階は、前記オーバーレイイメージを３Ｄ立体形状で表示する段階を含む態様１１に記載の視線検出基盤のスマートグラス表示方法。
［態様１９］
複数の距離測定部によって眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定し、
前記第１距離および前記第２距離に基づいて視線方向を検出し、
オーバーレイイメージを取得し、
前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、
前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算し、
スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする命令語を保存するコンピュータ判読可能な記録媒体。

Claims (19)

  1. 眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する複数の距離測定部と、
    前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出部と、
    オーバーレイイメージを取得するイメージ取得部と、
    前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、
    前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する画面合成部、および
    前記演算された位置に前記オーバーレイイメージをディスプレイして、スマートグラス形態のディスプレイ部を含む視線検出基盤のスマートグラス表示装置。
  2. 前記視線検出部は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングする請求項１に記載の視線検出基盤のスマートグラス表示装置。
  3. 前記視線検出部は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出する請求項１に記載の視線検出基盤のスマートグラス表示装置。
  4. 前記複数の距離測定部の少なくとも一部は、前記ディスプレイ部を支持する支持台に沿って配置される請求項１に記載の視線検出基盤のスマートグラス表示装置。
  5. 前記ディスプレイ部は、円形状のガイド領域を含む画面を提供し、前記画面合成部は、提供されたガイド領域に沿って視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める請求項１に記載の視線検出基盤のスマートグラス表示装置。
  6. 前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含む請求項５に記載の視線検出基盤のスマートグラス表示装置。
  7. 前記画面合成部は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する請求項１に記載の視線検出基盤のスマートグラス表示装置。
  8. 前記画面合成部は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する請求項７に記載の視線検出基盤のスマートグラス表示装置。
  9. 前記ディスプレイ部は、前記オーバーレイイメージを３Ｄ立体形状で表示する請求項１に記載の視線検出基盤のスマートグラス表示装置。
  10. 前記ディスプレイ部は、マイクロディスプレイ、レンズ、パネル、およびスプリッタを含む請求項１に記載の視線検出基盤のスマートグラス表示装置。
  11. 複数の距離測定部によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階と、
    前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出段階と、
    オーバーレイイメージを取得するイメージ取得段階と、
    前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する表示位置演算段階、および
    スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含む視線検出基盤のスマートグラス表示方法。
  12. 前記視線検出段階は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングする請求項１１に記載の視線検出基盤のスマートグラス表示方法。
  13. 前記視線検出段階は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出する請求項１１に記載の視線検出基盤のスマートグラス表示方法。
  14. 前記ディスプレイ部が円形状のガイド領域を含む画面を提供する段階と、
    提供されたガイド領域に沿って使用者の視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める段階をさらに含む請求項１１に記載の視線検出基盤のスマートグラス表示方法。
  15. 前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含む請求項１４に記載の視線検出基盤のスマートグラス表示方法。
  16. 前記表示位置演算段階は、前記視線を合わせる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含む請求項１１に記載の視線検出基盤のスマートグラス表示方法。
  17. 前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含む請求項１６に記載の視線検出基盤のスマートグラス表示方法。
  18. 前記表示段階は、前記オーバーレイイメージを３Ｄ立体形状で表示する段階を含む請求項１１に記載の視線検出基盤のスマートグラス表示方法。
  19. 複数の距離測定部によって眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定し、
    前記第１距離および前記第２距離に基づいて視線方向を検出し、
    オーバーレイイメージを取得し、
    前記視線方向から一定範囲内にある視線を合わせる対象体を認識し、
    前記視線を合わせる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算し、
    スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする命令語を保存するコンピュータ判読可能な記録媒体。
JP2022521335A 2019-10-10 2020-10-12 視線検出基盤のスマートグラス表示装置 Active JP7581340B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0125456 2019-10-10
KR1020190125456A KR102097390B1 (ko) 2019-10-10 2019-10-10 시선 검출 기반의 스마트 안경 표시 장치
PCT/KR2020/013860 WO2021071336A1 (ko) 2019-10-10 2020-10-12 시선 검출 기반의 스마트 안경 표시 장치

Publications (2)

Publication Number Publication Date
JP2022551642A JP2022551642A (ja) 2022-12-12
JP7581340B2 true JP7581340B2 (ja) 2024-11-12

Family

ID=70282239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521335A Active JP7581340B2 (ja) 2019-10-10 2020-10-12 視線検出基盤のスマートグラス表示装置

Country Status (6)

Country Link
US (1) US12007574B2 (ja)
EP (1) EP4043943A4 (ja)
JP (1) JP7581340B2 (ja)
KR (1) KR102097390B1 (ja)
CN (1) CN114615947A (ja)
WO (1) WO2021071336A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
KR20230002093A (ko) 2021-06-29 2023-01-05 고려대학교 세종산학협력단 윙크 컨트롤 아이트래킹 기능 제어 장치 및 방법
CN115308907A (zh) * 2022-08-08 2022-11-08 南昌黑鲨科技有限公司 一种基于vr设备的对焦系统及方法
CN115327782B (zh) * 2022-10-11 2023-03-24 歌尔股份有限公司 显示控制方法、装置、头戴显示设备以及可读存储介质
CN115508979B (zh) * 2022-11-22 2023-03-21 深圳酷源数联科技有限公司 Ar眼镜自动调焦系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018015A (ja) 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
JP2011125693A (ja) 2009-11-18 2011-06-30 Panasonic Corp 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP2012008290A (ja) 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
US20170205876A1 (en) 2016-01-20 2017-07-20 Thalmic Labs Inc. Systems, devices, and methods for proximity-based eye tracking

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822038B2 (ja) * 1993-05-13 1996-03-04 工業技術院長 眼球運動追従型視覚提示装置
JP3735947B2 (ja) * 1996-06-26 2006-01-18 日産自動車株式会社 視線入力装置
US6414796B1 (en) * 1998-06-03 2002-07-02 Nippon Sheet Glass Co., Ltd. Head-up display device and laminated glass for head-up display device
WO2006086223A2 (en) 2005-02-08 2006-08-17 Blue Belt Technologies, Inc. Augmented reality device and method
US7967742B2 (en) * 2005-02-14 2011-06-28 Karl Storz Imaging, Inc. Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
JP5394299B2 (ja) * 2010-03-30 2014-01-22 富士フイルム株式会社 超音波診断装置
EP4036630A1 (en) * 2010-12-24 2022-08-03 Magic Leap, Inc. Image display system
JP5160699B2 (ja) * 2011-01-24 2013-03-13 オリンパスメディカルシステムズ株式会社 医療機器
JP5655644B2 (ja) * 2011-03-09 2015-01-21 富士通株式会社 視線検出装置及び視線検出方法
US20150103096A1 (en) 2012-05-30 2015-04-16 Pioneer Corporation Display device, head mount display, calibration method, calibration program and recording medium
US9494797B2 (en) * 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
TWI497991B (zh) * 2012-07-12 2015-08-21 Altek Corp 影像擷取裝置與其自動對焦方法
CN103557859B (zh) * 2013-10-10 2015-12-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
KR102227284B1 (ko) 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN103838378B (zh) * 2014-03-13 2017-05-31 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
JP2017213191A (ja) * 2016-05-31 2017-12-07 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
EP3471623B1 (en) * 2016-06-20 2023-01-25 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
JP6617662B2 (ja) * 2016-08-24 2019-12-11 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法、及びコンピュータプログラム
JP6922766B2 (ja) * 2018-01-31 2021-08-18 トヨタ自動車株式会社 コミュニケーションロボットおよびその制御プログラム
EP3540574B1 (en) 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
KR102097390B1 (ko) 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
EP4133993A4 (en) * 2020-04-06 2024-05-08 Topcon Corporation OPHTHALMOLOGICAL DEVICE
WO2021242008A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018015A (ja) 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
JP2011125693A (ja) 2009-11-18 2011-06-30 Panasonic Corp 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP2012008290A (ja) 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
US20170205876A1 (en) 2016-01-20 2017-07-20 Thalmic Labs Inc. Systems, devices, and methods for proximity-based eye tracking

Also Published As

Publication number Publication date
EP4043943A4 (en) 2023-11-08
US20230258949A1 (en) 2023-08-17
US12007574B2 (en) 2024-06-11
CN114615947A (zh) 2022-06-10
KR102097390B1 (ko) 2020-04-06
JP2022551642A (ja) 2022-12-12
WO2021071336A1 (ko) 2021-04-15
EP4043943A1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
JP7581340B2 (ja) 視線検出基盤のスマートグラス表示装置
US20230255446A1 (en) Surgical visualization systems and displays
US11438572B2 (en) Medical devices, systems and methods using eye gaze tracking for stereo viewer
US20220054223A1 (en) Surgical visualization systems and displays
KR102404559B1 (ko) 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US20170020627A1 (en) Surgical visualization systems and displays
US12099200B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
US12121308B2 (en) Augmented reality system for real space navigation and surgical system using the same
JP2016158911A (ja) 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
KR20210042784A (ko) 시선 검출 기반의 스마트 안경 표시 장치
JP3499946B2 (ja) 画像診断装置
US20240206988A1 (en) Graphical user interface for a surgical navigation system
US12320984B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241030

R150 Certificate of patent or registration of utility model

Ref document number: 7581340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150