KR20210073603A - 선택적 데이터 제공을 갖는 서비스 안경 - Google Patents

선택적 데이터 제공을 갖는 서비스 안경 Download PDF

Info

Publication number
KR20210073603A
KR20210073603A KR1020217017508A KR20217017508A KR20210073603A KR 20210073603 A KR20210073603 A KR 20210073603A KR 1020217017508 A KR1020217017508 A KR 1020217017508A KR 20217017508 A KR20217017508 A KR 20217017508A KR 20210073603 A KR20210073603 A KR 20210073603A
Authority
KR
South Korea
Prior art keywords
mounted camera
head mounted
image
view
field
Prior art date
Application number
KR1020217017508A
Other languages
English (en)
Inventor
다르샨 하리시 발데브
리베카 진 부사커
존 팔레지 주니어 린퀴스트
다카유키 미즈타니
벤저민 로버트 넬슨
코디 조지프 프레코드
Original Assignee
베크만 컬터, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베크만 컬터, 인코포레이티드 filed Critical 베크만 컬터, 인코포레이티드
Publication of KR20210073603A publication Critical patent/KR20210073603A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/04—Eye-masks ; Devices to be worn on the face, not intended for looking through; Eye-pads for sunbathing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629—Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4446—Hiding of documents or document information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149—Restricted operating environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Bioethics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

실험실 기구와 같은 기계에 대한 서비스는 기계의 사용자의 시야를 보여주는 이미지들의 캡처, 및 기밀 정보를 제거하기 위한 그들 이미지들의 수정에 의해 용이해질 수 있다. 이어서, 수정된 이미지들은 서비스 기술자에게 제공될 수 있고, 따라서, 서비스 기술자들은 그들이 기계들의 사용자들과 더 효과적으로 통신하고 상호작용할 수 있게 할 시각적 정보를 가질 수 있다.

Description

선택적 데이터 제공을 갖는 서비스 안경
관련 출원
본 출원은 2018년 11월 9일자로 미국 특허청에 출원되고 발명의 명칭이 "Service Glasses with Selective Data Provision"인 미국 가특허 출원 제62/758,147호에 관련되고, 그의 이익을 주장한다. 이로써, 그 출원은 전체가 참고로 포함된다.
기술분야
본 명세서에 개시된 기술은 실험실 기구들에 적용가능할 수 있다.
때때로, 환자들로부터의 혈액 샘플들을 분석하는 데 사용되는 기구들과 같은 실험실 기구들은 기구의 위치에 있는 개인들이 해결하는 능력들을 넘어서는 문제들을 경험할 수 있다. 이를 다루기 위해, 더 큰 전문성을 갖는 외부 서비스 직원들이 현장 또는 원격 지원 중 어느 하나를 제공하는 데 연루될 수 있다. 그러나, 이들 외부 서비스 직원들의 연루는, 실험실 기구들이, 서비스 직원들을 포함하지 않을 수도 있는 엄선된 모집단(highly select population)을 넘어서 노출되어서는 안 되는 매우 민감한 데이터를 생성하거나 디스플레이할 수 있다는 사실에 의해 복잡해질 수 있다. 따라서, 외부 서비스 직원들이 매우 민감한 데이터에 노출되는 것을 방지하면서 그들 외부 서비스 직원들이 실험실 장비에 관련된 문제들을 해결하는 것에 도움을 제공할 수 있게 하는 기술이 필요하다.
본 명세서에 개시된 실시예들은 민감 정보를 부적절하게 노출시키지 않고서 실험실 기구들에 서비스를 제공하기 위한 방법들 및 기계들을 구현하는 데 사용될 수 있다. 예를 들어, 본 명세서에 개시된 실시예들은 머리 장착형 카메라의 착용자의 시야의 이미지를 캡처하는 단계, 및 한 세트의 단계들을 수행함으로써 수정된 이미지를 생성하는 단계를 포함하는 방법을 수행하는 데 사용될 수 있다. 그러한 단계들은 착용자의 시야 내의 하나 이상의 디스플레이 스크린들을 식별하는 단계를 포함할 수 있다. 그러한 단계들은 또한, 하나 이상의 디스플레이 스크린들 각각에 대해, 미리정의된 인터페이스 라이브러리로부터의 항목과 매칭하는 인터페이스가 해당 디스플레이 스크린 상에 디스플레이되는지 여부를 결정하는 단계를 포함한다. 그러한 단계들은 또한, 미리정의된 인터페이스 라이브러리로부터의 매칭 항목을 갖는 각각의 디스플레이된 인터페이스에 대해, 미리정의된 인터페이스 라이브러리로부터 해당 인터페이스에 대응하는 이미지를 오버레이하는 단계, 또는 해당 인터페이스에서 하나 이상의 기밀 정보 위치들을 나타내는 미리정의된 인터페이스 라이브러리로부터의 정보에 기초하여 해당 인터페이스에서 기밀 정보를 마스킹하는 단계 중 어느 하나를 포함할 수 있다. 그러한 방법은 또한, 수정된 이미지를 제시하는 단계를 포함할 수 있고, 그러한 제시하는 단계는, 원격 서비스 기술자에게 수정된 이미지를 송신하는 단계, 또는 수정된 이미지를 머리 장착형 카메라가 통합되는 증강 현실 헤드피스의 디스플레이 상에 디스플레이하는 단계를 포함할 수 있다.
다른 실시예들이 또한 가능하다. 예를 들어, 개시된 기술은 머리 장착형 카메라 및 프로세서를 포함하는 시스템을 구현하는 데 사용될 수 있다. 그러한 시스템에서, 프로세서는, 실행될 때, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능한 컴퓨터 명령어들의 세트로 구성될 수 있다. 일부 실시예들에서, 그러한 결정은 머리 장착형 카메라가 활성화된 후에 이루어질 수 있다. 추가적으로, 이러한 유형의 시스템의 일부 실시예들에서, 프로세서를 구성하는 컴퓨터 명령어들은, 머리 장착형 카메라에 의해 캡처된 이미지들이, 그 이미지가 캡처되기 전에 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 결정이 이루어졌다는 필요충분조건(if and only if), 및 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 가장 최근 결정보다 더 최근에, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다는 어떠한 결정도 이루어지지 않았다는 필요충분조건에서, 머리 장착형 카메라에 의해 캡처된 이미지를 즉각적이지 않은 뷰잉에 이용가능해지게 하도록 동작가능할 수 있다.
개시된 기술이 잠재적으로 어떻게 구현될 수 있는지에 대한 추가 정보가 본 명세서에서 설명되며, 예들에 대한 변형들이 본 명세서에 설명된 자료에 기초하여 당업자에게 즉각적으로 명백해질 것이고, 당업자에 의한 과도한 실험 없이 실시될 수 있을 것이다. 따라서, 이러한 발명의 내용에서 기술된 예시적인 방법들 및 기계들은 단지 예시적인 것으로 이해되어야 하며, 이러한 또는 임의의 관련 문서에 의해 제공되는 보호의 범주를 제한하는 것으로 취급되어서는 안 된다.
도 1은 일부 실시예들에서 사용될 수 있는 한 벌의 계장화된 보안경(instrumented safety glasses)을 도시한다.
도 2는 개시된 기술의 태양들이 배치될 수 있는 예시적인 환경을 도시한다.
도 3은 실험실 기구에 의해 디스플레이될 수 있는 기밀 정보에 원격 기술자를 노출시키지 않고서 실험실 기구의 조작자가 그 원격 기술자에게 유용한 서비스 정보를 제공할 수 있도록 하기 위해 일부 실시예들에서 사용될 수 있는 프로세스를 도시한다.
도 4는 일부 실시예들에서 제스처 센서에 의해 인식되고 커맨드들과 연관될 수 있는 예시적인 제스처들을 도시한다.
도 5는 예시적인 수정되지 않은 인터페이스 스크린 이미지를 도시한다.
도 6은 일부 실시예들에서 생성될 수 있는 것과 같은 예시적인 수정된 인터페이스 스크린 이미지를 도시한다.
도 7은 일부 실시예들에서 생성될 수 있는 것과 같은 예시적인 수정된 인터페이스 스크린 이미지를 도시한다.
본 명세서에 개시된 기술은 기밀 정보의 노출을 방지하면서 실험실 장비를 서비스하는 것에 관련된 문제들을 다루는 데 사용될 수 있다.
제1 태양에 따르면, 일부 실시예들은, 머리 장착형 카메라의 착용자의 시야의 이미지를 캡처하는 단계, 수정된 이미지를 실시간으로 자동으로 생성하는 단계, 및 수정된 이미지를 제시하는 단계를 포함하는 방법을 포함할 수 있다. 그러한 방법들에서, 수정된 이미지를 자동으로 생성하는 단계는, 머리 장착형 카메라의 착용자의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계, 및 하나 이상의 식별된 부분들 각각을 마스킹하는 단계와 같은 단계들을 포함할 수 있다. 추가적으로, 상기에서 언급된 것과 같은 방법들에서, 수정된 이미지를 제시하는 단계는, 원격 서비스 기술자에게 수정된 이미지를 송신하는 단계, 증강 현실 헤드피스의 디스플레이 상에 수정된 이미지를 디스플레이하는 단계 - 머리 장착형 카메라는 증강 현실 헤드피스와 통합됨 -, 또는 실험실 기구의 디스플레이 상에 수정된 이미지를 디스플레이하는 단계를 포함할 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 머리 장착형 카메라의 착용자의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계는 단계들의 세트를 포함할 수 있다. 그러한 단계들은 착용자의 시야 내의 하나 이상의 디스플레이 스크린들을 식별하는 단계를 포함할 수 있다. 그러한 단계들은 또한, 하나 이상의 디스플레이 스크린들 각각에 대해, 미리정의된 인터페이스 라이브러리로부터의 항목과 매칭하는 인터페이스가 해당 디스플레이 스크린 상에 디스플레이되는지 여부를 결정하는 단계를 포함할 수 있다. 그러한 단계들은 또한, 미리정의된 인터페이스 라이브러리로부터의 매칭 항목을 갖는 각각의 디스플레이된 인터페이스에 대해, 미리정의된 인터페이스 라이브러리로부터의 매칭 항목으로부터의 정보에 기초하여 마스킹될 이미지의 부분들로서 해당 인터페이스의 하나 이상의 부분들을 식별하는 단계를 포함할 수 있다. 일부 그러한 실시예들에서, 하나 이상의 식별된 부분들 각각을 마스킹하는 단계는, 미리정의된 인터페이스 라이브러리로부터의 매칭 항목을 갖는 하나 이상의 디스플레이 스크린들 각각에 대해, 미리정의된 인터페이스 라이브러리로부터 해당 인터페이스에 대응하는 이미지를 오버레이하는 단계를 포함할 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 머리 장착형 카메라의 착용자의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계는, 머리 장착형 카메라의 초점 거리를 결정하는 단계, 및 머리 장착형 카메라의 착용자의 시야의 이미지의 마스킹될 일부분으로서 식별된 초점 거리보다 머리 장착형 카메라로부터 더 멀리 있는 머리 장착형 카메라의 착용자의 시야의 이미지의 각각의 부분을 식별하는 단계를 포함할 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 본 방법은 머리 장착형 카메라의 착용자의 시야의 이미지를 캡처하기 전에, 하나 이상의 표기 매체 표본 이미지들을 제공하는 단계를 포함할 수 있다. 또한, 그러한 실시예에서, 머리 장착형 카메라의 착용자의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계는, 표기 매체 표본 이미지들로부터의 정보에 기초하여 착용자의 시야 내의 하나 이상의 표기 매체를 식별하는 단계, 및 착용자의 시야의 이미지의 마스킹될 일부분으로서 착용자의 시야 내의 각각의 표기 매체를 식별하는 단계를 포함할 수 있다. 유사하게, 일부 그러한 실시예들에서, 표기 매체 표본 이미지들로부터의 정보는 하나 이상의 표기 매체 표본 컬러들을 포함할 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 본 방법은, 머리 장착형 카메라의 착용자의 시야의 이미지를 캡처하기 전에, 실험실의 이미징가능 영역을 특정하는 단계를 포함할 수 있다. 그러한 실시예에서, 본 방법은, 또한, 머리 장착형 카메라의 착용자의 시야의 이미지를 캡처한 후, 머리 장착형 카메라가 실험실의 이미징가능 영역에 위치되는지 여부를 결정하는 단계(이 결정은 이미징가능 영역의 경계에 위치된 하나 이상의 무선 송수신기들에 기초할 수 있거나, 또는 이미징가능 영역 내부에 위치된 무선 송수신기로부터의 거리에 기초할 수 있음)를 포함할 수 있다. 추가적으로, 수정된 이미지를 제시하는 단계가, 머리 장착형 카메라가 실험실의 이미징가능 영역에 위치되지 않는다는 결정에 기초하여, 원격 서비스 기술자에게 수정된 이미지를 송신하는 단계를 포함하는 일부 실시예들에서, 본 방법은 머리 장착형 카메라의 송신 기능을 자동으로 비활성화시키는 단계를 포함할 수 있다. 일부 그러한 실시예들에서, 머리 장착형 카메라의 송신 기능을 비활성화시키는 단계는, 머리 장착형 카메라를 비활성화시킴으로써 행해질 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 수정된 이미지를 제시하는 단계는, 인터넷 접속을 사용하여 원격 서비스 기술자에게 수정된 이미지를 송신하는 단계를 포함할 수 있다. 추가적으로, 일부 그러한 실시예들에서, 본 방법은, 원격 서비스 기술자에게 수정된 이미지를 송신하는 단계와 동시에, 증강 현실 헤드피스의 디스플레이 상에 머리 장착형 카메라의 착용자의 시야의 이미지를 디스플레이하는 단계를 포함할 수 있다. 일부 그러한 실시예들에서, 머리 장착형 카메라는 증강 현실 헤드피스와 통합될 수 있다. 추가적으로, 일부 실시예들에서, 머리 장착형 카메라는 한 벌의 계장화된 보안경에 의해 구성될 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 머리 장착형 카메라의 착용자의 시야의 이미지는 비디오 스트림의 일부로서 캡처될 수 있다. 일부 그러한 실시예들에서, 본 방법은, 원격 서비스 기술자에게 수정된 이미지를 송신하는 단계를 포함할 수 있고, 그 송신은 캡처된 이미지보다는 수정된 이미지를 포함하는 비디오 스트림의 버전을 송신함으로써 수행될 수 있다.
제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 수정된 이미지의 자동 생성은 머리 장착형 카메라의 착용자의 시야의 이미지를 캡처한 후 10초 이내에 완료될 수 있다. 일부 그러한 실시예들에서, 머리 장착형 카메라의 착용자의 시야의 캡처와 수정된 이미지의 생성의 완료 사이의 지연은 5초 이내, 1초 이내, 0.5초 이내, 또는 0.1초 이내일 수 있다. 추가적으로, 제1 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 머리 장착형 카메라의 착용자의 시야의 이미지는 마스킹될 부분들로서 식별된 하나 이상의 부분들 외부의 기밀 정보를 포함할 수 있다.
제2 태양에 따르면, 일부 실시예들은 머리 장착형 카메라 및 프로세서를 포함하는 시스템을 포함할 수 있다. 그러한 실시예들에서, 프로세서는, 실행될 때, 다양한 단계들을 수행하도록 동작가능한 컴퓨터 명령어들의 세트로 구성될 수 있다. 그러한 단계들은, 머리 장착형 카메라가 활성화된 후, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하는 단계, 및 머리 장착형 카메라에 의해 캡처된 이미지를, 다양한 조건들이 만족되는 필요충분조건 하에서 즉각적이지 않은 뷰잉에 이용가능해지게 하는 단계를 포함할 수 있다. 그러한 조건들은, 일부 실시예들에서, 그 이미지가 즉각적이지 않은 뷰잉에 이용가능해져야 하고/하거나 하기의 진술들 둘 모두가 참이라는 결정이 이루어진다는 것을 포함할 수 있다: (1) 머리 장착형 카메라에 의해 캡처된 이미지들이, 그 이미지가 캡처되기 전에 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 결정이 이루어졌다는 진술, 및 (2) 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 가장 최근 결정보다 더 최근에, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다는 어떠한 결정도 이루어지지 않았다는 진술.
제2 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 컴퓨터 명령어들은, 실행될 때, 머리 장착형 카메라가 미리정의된 영역 내에 위치되는지 여부를 결정하는 단계를 포함하는 단계들의 세트를 수행함으로써, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능할 수 있다. 그러한 단계들의 세트는 또한, 머리 장착형 카메라가 미리정의된 영역 내에 위치되지 않는다는 결정에 기초하여, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다고 결정하는 단계를 포함할 수 있다. 일부 그러한 실시예들에서, 시스템은, 미리정의된 영역 내부에 위치된 무선 송수신기를 포함할 수 있으며, 머리 장착형 카메라가 미리정의된 영역 내에 위치되지 않는다는 결정은 머리 장착형 카메라와 무선 송수신기 사이의 거리에 기초한다. 일부 다른 그러한 실시예들에서, 시스템은, 미리정의된 영역의 경계에 위치된 하나 이상의 무선 송수신기들을 포함할 수 있으며, 머리 장착형 카메라가 미리정의된 영역 내에 위치되지 않는다는 결정은 미리정의된 영역의 경계를 가로지르는 머리 장착형 카메라의 검출에 기초한다.
제2 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 시스템은 실험실 기구를 포함할 수 있으며, 컴퓨터 명령어들은, 실행될 때, 머리 장착형 카메라에 의해 캡처된 이미지들이 단계들의 세트를 수행함으로써 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능할 수 있다. 그러한 단계들은 실험실 기구에 대한 머리 장착형 카메라의 배향을 결정하는 단계, 및 머리 장착형 카메라의 배향이 90도 이상만큼 실험실 기구로부터 오프셋된다는 결정에 기초하여, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다고 결정하는 단계를 포함할 수 있다.
제2 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 컴퓨터 명령어들은, 실행될 때, 인가 액션의 가장 최근 발생 이후 경과된 시간이 임계 지속기간보다 더 크다는 결정에 기초하여, 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다고 결정하는 단계를 포함하는 단계들의 세트를 수행함으로써 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능할 수 있다.
제2 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 시스템은 머리 장착형 카메라와 무선으로 통신하도록 그리고/또는 머리 장착형 카메라에 의해 캡처된 이미지들을 암호화하도록 구성된 실험실 기구를 포함할 수 있다.
제2 태양의 맥락에서 기술된 것과 같은 일부 실시예들에서, 머리 장착형 카메라는 외부 광원을 포함할 수 있다. 그러한 실시예에서, 머리 장착형 카메라는, 머리 장착형 카메라가 활성화될 때 그리고 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 결정이 이루어질 때, 외부 광원을 활성화시키도록 구성될 수 있다. 유사하게, 일부 그러한 실시예들에서, 머리 장착형 카메라는, 머리 장착형 카메라가 비활성화될 때 그리고 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다는 결정이 이루어질 때, 외부 광원을 비활성화시키도록 구성될 수 있다.
제3 태양에서, 일부 실시예들은 머리 장착형 카메라, 및 머리 장착형 카메라에 의해 캡처된 이미지들에 포함된 기밀 정보가 없는 수정된 이미지들을 생성하기 위한 수단을 포함하는 기계를 포함할 수 있다.
다양한 다른 태양들 및 실시예들이 또한 가능하며, 본 명세서에 설명된 개시 내용에 기초하여 과도한 실험 없이 당업자에 의해 구현될 수 있다. 따라서, 본 명세서에 설명된 예들로부터의 상기 논의 및 특징들은 본 명세서에 의해 또는 본 발명의 이익을 주장하는 임의의 다른 문서에 의해 제공되는 보호에 대한 제한을 암시하는 것으로 취급되어서는 안 된다.
이제 도 1을 참조하면, 그 도면은 일부 실시예들에서 사용될 수 있는 한 벌의 계장화된 보안경(101)을 도시한다. 당업자에 의해 인식되는 바와 같이, 실험실 기구들의 조작자들은 기구들을 조작할 때마다 보안경을 착용할 것으로 예상될 수 있고(그리고 대체적으로 착용하도록 요구됨), 따라서, 그러한 보안경은 그러한 기술자에게 기밀 정보를 노출시키지 않으면서 조작자가 원격 서비스 기술자로부터의 도움을 얻을 수 있게 할 기술을 위한 편리한 플랫폼을 제공할 수 있다. 도 1에 도시된 바와 같이, 한 벌의 계장화된 보안경(101)은 카메라(103), LED 표시기(102), 제스처 센서(104), 스피커(105), 전원(106), 및 마이크로폰(107)을 포함할 수 있다. 일부 실시예들에서, 한 벌의 계장화된 안경(101) 상의 카메라(103)는, (활성화될 때) 안경(101)을 착용한 개인의 시야 내의 이미지들을 캡처하도록 구성될 수 있다. LED 표시기(102)는, 카메라(103)가 기록 또는 송신하고 있었을 때 자동으로 조명하도록 구성될 수 있어서, 부근 다른 사람들이 그들 모르게 기록되지 않게 할 것이다. 제스처 센서(104)는 미리정의된 제스처들의 세트를 인식하여 계장화된 안경(101)의 핸드프리 동작을 허용하도록 프로그래밍된 소프트웨어 및 프로세서를 사용하여 구현될 수 있다. 그러한 제스처들의 예들이 도 4에 도시되어 있지만, 다른 제스처들 및 연관된 액션들이 일부 실시예들에 포함될 수 있다는 것이 이해되어야 하며(예컨대, 사용자에 의한 시계방향/반시계방향 원들을, 비디오 피드를 턴온/턴오프시키라는 커맨드들로서 취급함), 따라서, 도 4에 도시된 예들은 개시된 기술의 실시예들에 의해 지원될 수 있는 제스처들 또는 연관된 커맨드들의 유형들에 대한 제한들을 암시하는 것으로 취급되어서는 안 된다. 바람직하게는 골전도 스피커로서 구현될 스피커(105)는, 계장화된 안경(101)을 착용한 개인이 그의 또는 그녀의 부근에 있는 다른 개인들을 방해하지 않고서 청각 정보(예컨대, 원격 서비스 기술자로부터의 명령어들 또는 질문들)를 수신할 수 있게 할 수 있다. 전원(106)은 계장화된 안경(101)의 다른 컴포넌트들(예컨대, 카메라(103), LED 표시기(102) 등)에 전력을 제공할 수 있는 USB 충전가능 및/또는 교체가능한 배터리를 사용하여 구현될 수 있다. 마이크로폰(107)은 일렉트릿(electret) 또는 다른 유형의 마이크로폰일 수 있고, 다양한 위치들에, 예컨대 한 벌의 계장화된 안경(101)의 스템(stem) 상에 또는 아암 상의 헤드셋 마이크로폰 - 아암은 이를 사용자의 입(도 1에는 도시되지 않음)에 근접하게 위치시킴 - 으로서 배치될 수 있고, 계장화된 안경(101)의 착용자와 원격 서비스 기술자 사이의 대화 동안 스피치 입력을 캡처하는 것과 같은 다양한 목적들을 위해 사용될 수 있다.
도 1은 한 벌의 계장화된 보안경(101)에 포함될 수 있는 다양한 컴포넌트들을 도시하지만, 다른 또는 상이한 컴포넌트들이 일부 실시예들에 포함될 수 있고, 도 1의 계장화된 보안경은 제한하는 것으로서 취급되기보다는 단지 예시적인 것으로서 보여져야 한다는 것이 이해되어야 한다. 예를 들어, 한 벌의 계장화된 안경(101)은 바람직하게는, 송수신기, 또는 외부 디바이스들 또는 엔티티들, 예컨대 원격 서비스 기술자들과의 데이터 통신을 허용하도록 구성된 송신기 및 수신기 쌍을 포함할 것이다. 그러한 송수신기는, (예컨대, 셀룰러 송수신기의 경우에) 원격 기술자들과의 직접 통신을 허용할 수 있거나, 또는 대신에 (예컨대, 별개의 셀룰러 폰 또는 컴퓨터를 통한 접속을 확립할 수 있는 것과 같은 블루투스 송수신기 또는 WiFi 송수신기의 경우에) 간접 통신을 용이하게 할 수 있다. 또한, 일부 실시예들에서, 한 벌의 계장화된 안경들(101)은, 예컨대 사용자의 시야에 포지셔닝된 별개의 반투명 스크린을 통해, 또는 계장화된 안경(101) 자체의 렌즈들 내로의 광학 디스플레이 요소들의 통합을 통해, 증강 현실 정보를 제시하는 능력을 제공할 수 있다. 컴포넌트들의 대안적인 배치(예컨대, 스템보다는 안경의 브리지 상에서의 카메라(103)의 배치) 또는 컴포넌트들의 생략(예컨대, 제스처 센서(104)의 생략)과 같은 추가의 변형들이 또한 가능하며, 본 명세서에 설명된 명시적 개시 내용에 비추어 당업자에게 즉각적으로 명백해질 것이다.
물론, 전술된 컴포넌트들의 구성들과 같이, 도 1에 도시된 것과 같은 계장화된 보안경(101)이 단지 예시적인 것으로 의도되고, 개시된 기술의 다양한 실시예들에서 사용될 수 있는 물리적 디바이스들의 유형들에 대해 제한하는 것으로 보여서는 안 된다는 것이 이해되어야 한다. 예를 들어, 일부 실시예들은 ARCore 증강 현실 프레임워크를 사용하여 생성된 소프트웨어와 같은 소프트웨어를 활용하여, 잠재적으로, 스마트폰 디스플레이가 사용자의 시야를 점유할 수 있게 할 헤드기어와 조합하여, 스마트폰이 도 1에 도시된 것과 같은 계장화된 안경(101) 대신에 사용될 수 있게 할 수 있다. 대안적으로, 상업적으로 입수가능한 증강 현실 디바이스들, 예컨대 Oculus VR, LLC로부터의 Rift가 일부 실시예들에서 사용될 수 있다. 또 다른 대안예로서, 개시된 기술의 바람직한 실시예들이 사용자에 의한 핸드프리 상호작용을 허용하는 방식으로 구현될 것이지만, 일부 실시예들은 핸드헬드 디바이스들(예컨대, 태블릿들, 헤드셋이 없는 스마트폰들)을 활용하여, 개시된 기술의 다양한 태양들로부터의 기능을 제공할 수 있다. 따라서, 도 1의 계장화된 보안경(101)은 단지 예시적인 것으로서 이해되어야 하며, 제한하는 것으로서 취급되어서는 안 된다.
이제 2를 참조하면, 그 도면은 개시된 기술의 태양들이 배치될 수 있는 예시적인 환경을 도시한다. 그 환경에서, 네트워크(201)는 실험실(202)과 원격 지원 제공자(203) 사이의 접속을 확립하는 데 사용된다. 이러한 유형의 환경에서, 실험실 기구(204)는, 실험실(202)과 지원 제공자(203) 사이의 VPN 접속의 버퍼링, 암호화, 및/또는 확립과 같은 기능을 제공할 수 있는 전용 하드웨어 인터페이스(205)를 통해 원격 지원 제공자(203)와 간접적으로 접속하는 통신 경로를 가질 수 있는 것이 가능하다. 추가적으로, 도 2에 도시된 것과 같은 환경에서 배치되는 일부 실시예들에서, 하드웨어 네트워크 인터페이스(205)는 또한, 도 1에 도시된 것과 같은 계장화된 안경(101)과 통신하는 데 사용될 수 있는 무선 액세스 포인트(206) 및/또는 일부 실시예들에서 그러한 계장화된 안경의 기능을 지원하는 데 사용될 수 있는 로컬 컴퓨터(207)에 접속될 수 있다.
일부 실시예들이 도 1에 도시된 계장화된 안경(101)과는 다른 디바이스들을 사용할 수 있는 것이 가능한 것처럼, 다양한 실시예들이 도 2에 도시된 것과는 상이한 디바이스들 및/또는 디바이스들의 조합들을 사용할 수 있는 것이 가능하다는 것이 이해되어야 한다. 예를 들어, 일부 실시예들에서, 별개의 하드웨어 인터페이스(205)를 포함하기보다는, 실험실 기구(204) 및/또는 로컬 컴퓨터(207)는, 예컨대 도 2의 별개의 하드웨어 인터페이스(205)와 유사한 기능을 제공하는 가상 기계로 구성되는 것에 의해, 원격 지원 제공자(203)에 직접 접속될 수 있다. 유사하게, 일부 실시예들에서, 실험실 기구(204)와는 별개인 로컬 컴퓨터(207)가 생략될 수 있고, 개시된 기술의 기능은, 대신에, (예컨대, 제스처 센서(104)에 대해 이전에 기술된 동일한 프로세서 및 소프트웨어를 사용한) 한 벌의 계장화된 안경의 프로세싱 능력들에 의해 그리고/또는 실험실 기구(204) 자체에 의해 지원될 수 있다. 추가적으로, 일부 실시예들에서, 로컬 컴퓨터(207) 및/또는 한 벌의 계장화된 안경에 의해 제공될 수 있는 기능은, 대신에, 원격 지원 제공자(203) 또는 다른 원격 시스템(예컨대, 실험실 기구(204) 및 원격 지원 제공자(203) 둘 모두로부터 원격에 있는 별개의 서버)에 의해 지원될 수 있다. 예를 들어, 일부 실시예들에서, 실험실 기구에서 한 벌의 계장화된 안경 상의 카메라에 의해 캡처된 이미지는 암호화된 형태로 원격 지원 제공자(또는 별개의 원격 서버)로 송신될 수 있고, 실험실 기구 자체에 있는 또는 그에 근접해 있는 컴퓨터에 의해서보다는, (예컨대, 본 명세서에서 더 상세히 기술되는 바와 같이, 기밀 정보를 제거함으로써) 그 위치에서 프로세싱될 수 있는 것이 가능할 수 있다. 따라서, 도 2의 환경은 단지 예시적인 것으로서 이해되어야 하며, 제한하는 것으로서 취급되어서는 안 된다.
이제 도 3을 참조하면, 그 도면은 기밀 정보에 원격 기술자를 부주의하게 노출시키지 않고서 실험실 기구의 조작자가 그 원격 기술자에게 유용한 서비스 정보를 제공할 수 있도록 하기 위해 일부 실시예들에서 사용될 수 있는 프로세스를 도시한다. 초기에, 도 3의 프로세스에서, 사용자의 시야의 이미지(예컨대, 사용자가 한 벌의 계장화된 보안경(101)을 착용하고 있는 실시예에서, 이러한 시야는, 반드시 사용자의 실제 시야와 동일하다기보다는, 카메라(103)의 시야일 수 있다는 것이 이해되어야 됨)가 캡처된다(301). 다음으로, 이미지가 원격 기술자에게 제공되어서는 안 되는 민감 정보를 포함하는지 여부의 결정이 이루어질 수 있다(302). 이는, 예를 들어, 이미지를 분석하여 기밀 정보가 위에 기록될 수 있는 것과 같은 점착 쪽지(sticky note)들로 보이는 부분들을 식별함으로써, 이미지를 분석하여 바코드들로 보이는 부분들을 식별함으로써, 이미지를 분석하여 기밀 정보를 디스플레이할 수 있는 스크린들 또는 다른 인터페이스들을 식별함으로써, 그리고/또는 이미지를 분석하여 사용자의 시야 내에 있을 수 있지만 그의 또는 그녀의 지원 요건들에 중요하지 않을 사람 얼굴들을 식별함으로써 행해질 수 있다. 그러한 정보가 존재하는 것으로 식별되는 경우, 그것은 캡처된 이미지에서 은폐될 수 있다(예컨대, 사람 얼굴들, 컴퓨터 디스플레이들, 바코드들 및/또는 종이 쪽지들이 블러링될 수 있음)(303). 또한, 도 3에 도시된 바와 같이, 일부 실시예들은 또한, 사용자의 시야의 이미지로부터 이질적 자료를 자동으로 제거하는 추가적인 단계(304)를 포함할 수 있다. 이는, 예를 들어, 심도 면에서의 객체들 사이를 구별하고 사용자로부터의 임계 거리보다 작은 것들을 제외한 모든 객체들을 블러링아웃함으로써, 또는 카메라의 초점 거리를 식별하고 그 거리보다 사용자로부터 더 멀리 있는 모든 객체들을 블러링아웃함으로써 행해질 수 있다. 마지막으로, 식별된 민감 정보가 은폐되었고(303) 이질적 자료가 제거되었다면(304), 수정된 이미지는 원격 기술자에게 제공될 수 있고(305), 따라서 그 또는 그녀는 사용자가 지원을 제공하기 위해 보고 있던 것에 관한 정보를 사용할 수 있을 것이다.
도 1 및 도 2의 안경(101) 및 환경에서와 같이, 도 3의 프로세스는 단지 예시적인 것으로만 이해되어야 하고, 그 프로세스에 대한 변형들 또는 그로부터의 이탈들이 일부 실시예들에 포함될 수 있다. 예시하기 위해, 도 3의 맥락에서 전술된 바와 같은 기법들을, 개별 이미지들이 아닌 비디오 스트림들의 프로세싱에 적용하는 것을 고려한다. 이미지들이 비디오 스트림들의 형태로 캡처되는 일부 실시예들에서, 도 3에 도시된 것과 같은 프로세스는 기밀 정보가 제거된 수정된 비디오 스트림을 생성하기 위해 프레임 단위로 각각의 프레임에 적용될 수 있다. 그러나, 다른 실시예들에서 (예컨대, 수정된 이미지들을 생성하는 것에 대한 프로세싱 부담을 최소화하기 위해), 도 3에 도시된 것과 같은 프로세싱은 비디오 스트림 내의 모든 이미지들보다 적은 이미지들에 대해 수행될 수 있다. 예를 들어, 일부 실시예들에서, 매 다섯 번째 이미지는 은폐되어야 하는 이미지의 부분들을 식별하도록 프로세싱될 수 있고, 이어서, 은폐는 스트림 내의 각각의 이미지에 대해 마스킹될 이미지의 부분들을 독립적으로 결정하기보다는 다음 4개의 이미지들을 위해 이월되고 그들에 적용될 수 있다. 유사하게, 비디오 스트림이 키 프레임들 및 델타들을 사용하는 형태로 인코딩되는 일부 경우들에 있어서, 도 3에 도시된 것과 같은 프로세싱은 프레임들 사이의 델타들로서 표현되는 스트림 내의 이미지들보다는 오히려 키 프레임들에만 적용될 수 있다.
비디오 프로세싱을 위한 최적화에 더하여(또는 그에 대해 대안적인) 다른 유형들이 변형들이 또한 가능하다. 예를 들어, 일부 실시예들에서, 이미지가, 조금이라도 즉각적이지 않은 뷰잉을 위해 제공되어야 하는지 여부를 결정하는 것(즉, 이미지를, 예컨대 이를 원격 서비스 기술자에게 전송함으로써 또는 추후 검토를 위해 이를 저장함으로써, 실시간의 국부적이지 않게 뷰잉가능하게 만듦), 및 그 결정의 결과에 대해 도 3에 도시된 것과 같은 단계들의 수행을 컨디셔닝하는 것의 추가적인 단계가 포함될 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 기구(204)를 하우징하는 방(208)과 같은 수용가능한 이미징 영역을 정의하는 것이 허용될 수 있고(또는 그를 정의하는 것을 요구받을 수 있음), 이미지들의 제공(305)(및 잠재적으로, 도시된 이미지 분석 및 수정과 같은 다른 단계들)은 이미지들이 수용가능한 이미징 영역에서 캡처되었는지 여부에 대해 컨디셔닝될 수 있다. 이러한 방식으로, 이미지 캡처 장비가 수용가능한 이미징 영역으로부터 부주의하게 제거되었다면(예컨대, 계장화된 안경을 착용한 누군가가 이를 턴오프하지 않고서 화장실(209)에 갔다면), 그것은, 통신되어서는 안 되는 정보를 부주의하게 제공하는 것을 회피시키기 위해 (완전히, 또는 예컨대 이미지 송신의 자동 중단에 의해, 즉각적이지 않은 뷰잉을 허용할 기능만의 비활성화를 통해) 자동으로 비활성화될 수 있다. 이러한 유형의 기능을 지원하기 위해, 일부 실시예들에서, 수용가능한 뷰잉 영역의 입구들 및 출구들에는 이미지 캡처 장비의 수송을 검출할 수 있고 그를(또는 그의 기능의 태양들을) 적절하게 비활성화시킬 수 있는(그리고, 일부 실시예들에서는, 재활성화시킬 수 있는) 비컨(beacon)들이 갖추어질 수 있다.
대안적으로, 일부 실시예들에서, 이미지 캡처 장비(및/또는 이미지 송신 또는 저장 기능과 같은 그 장비의 다양한 기능)는, 그것이 (바람직하게는, 사용자에 의해 구성가능할) 미리결정된 반경 내에 있거나, 또는 액세스 포인트(206) 또는 장비(204)의 관련있는 피스 내에 통합된 송수신기와 같은, 이미징 영역 내의 설정된 지점의 설정된 공차 이내(예컨대, 90도 이내)로 배향된 한, 단지 활성인 채로 유지되도록 구성될 수 있다. 다른 대안으로서, 일부 실시예들에서, 이미지 캡처 장비는 하나 이상의 가속도계들 및/또는 GPS 수신기와 같은 내비게이션 측정 장비를 구비할 수 있고, 그 장비를 사용하여, 건물 내의 그의 현재 포지션이 수용가능한 이미징 영역 내에 있었는지 여부를 결정할 수 있다. 이미지 캡처, 프로세싱 및/또는 제공 기능을 자동으로 활성화/비활성화시키기 위한 비-위치 기반 접근법들이 또한(또는 대안적으로) 일부 실시예들에 포함될 수 있다. 예를 들어, 일부 실시예들에서, 한 벌의 계장화된 보안경들의 동작을 제어하는 소프트웨어는, 미리특정된 심볼에 대해 캡처된 이미지들을 자동으로 검사하도록, 그리고 심볼이 인식되지 않는 한, (예컨대, 원격 기술자에게로의 이미지들의 송신을 중단함으로써) 그 안경의 기능 중 일부 또는 전부를 비활성화시키도록 구성될 수 있다. 그러한 실시예에서, 관련있는 심볼은 바람직하게는, 서비스를 필요로 할 수 있는 실험실 기구에 부착되거나 그 상에 디스플레이되어, 서비스가 마무리된 후에 안경을 턴오프시키지 않고서 계장화된 안경의 착용자가 기계와 관련되지 않은 무엇인가를 한 경우, 사용자가 기계를 더 이상 살펴보고 있지 않았다는 사실에 기초하여 안경이 이미지들을 캡처하는 것(또는 다른 태스크들을 수행하는 것)을 자동으로 중지할 수 있도록 할 수 있다.
일부 실시예들에서 존재할 수 있는 변형의 유형의 다른 예로서, 일부 경우들에 있어서, 도 3에 도시된 것과 같은 방법은 민감 정보의 더 효과적인 식별 및 스크리닝을 허용할 다양한 고급 구성/셋업 단계들에 의해 보완될 수 있다. 이것의 일부 예들, 예컨대 (그 기능이 지원되는 실시예들에서) 수용가능한 이미징 영역들의 사용자 구성은 이미 언급되었다. 그러나, 이는 다양한 실시예에서 허용/요구될 수 있는 모든 유형들의 고급 구성의 총망라한 설명으로서 보여져서는 안 된다. 예를 들어, 한 벌의 계장화된 안경에 대한 (전체) 활동을 유지하는 데 특정 심볼들의 주기적 인식이 필수적인 일부 실시예들에서, 심볼 및/또는 심볼이 검사된 빈도(예컨대, X분)는 사용자에 의해 구성가능할 수 있다. 다른 예로서, 일부 실시예들에서, 기밀 정보를 포함할 수 있는 점착 쪽지들 또는 다른 표기 매체들의 식별 및 블러링을 허용하는 기능을 지원하기 위해, 점착 쪽지들의 이미지들 및/또는 그들을 포함하는 이미지들의 세트가 캡처되고 트레이닝 코퍼스(corpus)로서 사용되어, 이미지가 캡처될 때, 그 이미지 내의 임의의 점착 쪽지들이 (예컨대, 형상 및 컬러에 기초하여) 효과적으로 식별될 수 있고 블러링되거나 달리 스크리닝될 수 있도록 하는 셋업 프로세스가 있을 수 있다. 유사하게, 일부 실시예들에서, 사용자는 캡처될 가능성이 있고 원격 서비스 직원들에 관련있을 객체들(예컨대, 실험실 기구 자체)을 캡처함으로써 고급(advance) 구성을 수행할 수 있고, 이어서, 한 벌의 계장화된 안경의 동작을 제어하는 소프트웨어는 그 정보를 사용하여, 캡처된 이미지들 내의 관련있는 객체들을 인식하고 (예컨대, 그것을 원격 기술자에게 제공될 이미지에서 블러링하거나 필터링함으로써) 그 밖의 모든 것을 관련없는 것으로 자동으로 취급할 수 있다.
물론, 전술된 고급 구성 단계들은 또한, 예시적인 것으로 의도되며, 제한하는 것으로서 취급되어서는 안 된다는 것이 이해되어야 한다. 고급 구성에 대한 대안적인 접근법의 예로서, 계장화된 보안경이 실험실 기구들의 제조자에 의해 제공되어 그 제조자가 그러한 기구들의 작동 수명들 동안에 그의 고객들에게 서비스를 제공하는 것을 돕도록 한 시나리오를 고려한다. 그러한 시나리오에서, 제조자는 그의 기계들에 의해 제시될 인터페이스들의 라이브러리를 유지할 수 있으며, 한 벌의 계장화된 안경이 기계의 이미지를 캡처했을 때, 기계에 의해 제시된 인터페이스들이 라이브러리에 대해 매칭될 수 있다. 이어서, 매칭이 발견되었을 때, 캡처된 이미지에서의 인터페이스의 그림은 라이브러리로부터의 일반 인터페이스 이미지와 오버레이될 수 있거나, 또는 캡처된 이미지에서의 인터페이스의 특정 태양들은, 기밀 정보가 디스플레이될 관련있는 인터페이스 내의 위치들을 나타내는 라이브러리 내의 정보에 기초하여 마스킹될 수 있다. 이러한 유형의 선택적 마스킹의 예가 도 5 및 도 6에 도시되어 있으며, 여기서 도 5는 예시적인 마스킹되지 않은 스크린을 도시하고, 도 6은 기밀 정보를 포함할 것으로 예상될 스크린의 부분들을 식별하는 인터페이스 라이브러리 내에 포함될 수 있는 것과 같은 정보를 도시한다. 물론, 도 5 및 도 6의 예들은 단지 예시적인 것으로 의도되고, 제한하는 것으로서 취급되어서는 안 되며, 도 7에 도시된 것과 같은 다른 선택도 레벨들로 마스킹하는 다른 유형들이 또한 일부 실시예들에서 사용될 수 있다는 것이 이해되어야 한다. 유사하게, 일부 실시예들에서, 한 벌의 계장화된 보안경의 동작을 제어하는 소프트웨어는, 제조자에 의해, 제조자의 기계들을 인식하도록 그리고 캡처된 이미지 내의 그 밖의 모든 것을 원격 서비스 제공자로 전송하기 전에 스크리닝아웃하도록 구성될 수 있다.
또 다른 변형으로서, 일부 실시예들에서, 이러한 유형의 미리정의된 인터페이스 라이브러리는 기구 제조자에 의해서가 아니라 사용자에 의해 구성가능하고/하거나 생성될 수 있다. 예를 들어, 사용자에게 인터페이스가 제공될 수 있는데, 이를 통해 그 또는 그녀는 그의 또는 그녀의 실험실 내의 기구들에 의해 디스플레이될 인터페이스들의 예들을 업로드할 수 있고, 이어서, (예컨대, 개인을 식별하거나 그와 연락하거나 그를 찾는 데 사용될 수 있는 정보, 또는 다른 기밀 정보를 디스플레이하는 인터페이스의 하나 이상의 부분들을 선택함으로써; 전체 인터페이스가 마스킹되어야 함을 특정함으로써, 등등을 함으로써) 그들 인터페이스들이 어떻게 마스킹되어야 하는지를 특정할 수 있다. 물론, 일부 실시예들에서, 제조자가 마찬가지로 이러한 유형의 구성 인터페이스를 사용하여, 예를 들어, 다른 제조자들의 기계들에 의해 제시된 인터페이스들을 미리정의된 인터페이스 라이브러리에 추가할 수 있는 것이 또한 가능하다. 따라서, 한 벌의 계장화된 안경의 동작 및 컴포넌트들의 논의와 같은 사전구성의 선행 논의는, 본 명세서 또는 본 발명의 이익을 주장하는 임의의 다른 문서에 의해 제공되는 보호의 범주에 대한 제한들을 암시하는 것으로서 취급되어서는 안 된다.
일부 실시예들에 의해 지원될 수 있는 변형의 유형의 다른 예는 개시된 기술의 태양들이 관련있는 실험실 기구에 대해 원격이 아니라 국부적인 기술자들에 의해 활용될 수 있게 하기 위해 적응될 수 있는 기능이다. 예를 들어, 기밀 정보를 현장 서비스 기술자에게 부주의하게 노출되지 않게 하기 위해, 그러한 기술자는, 그의 또는 그녀의 시각을 차단하여 그것을 전술된 것과 같은 방식으로 생성된 수정된 이미지로 대체할 가상 현실 헤드기어를 착용하여 그 또는 그녀가 기밀성을 깨는 위험 없이 관련있는 기계를 여전히 서비스할 수 있도록 할 것이 요구될 수 있다. 유사하게, 일부 실시예들에서, 개시된 기술의 태양들은, 원격 기술자가 실험실 기구의 조작자에게 그 또는 그녀가 전문 기술자의 서비스를 달리 요구할 서비스를 수행할 수 있게 하는 안내를 제공할 수 있게 하는 데 사용될 수 있다. 예를 들어, 실험실 기구의 조작자에게 증강 또는 가상 현실 헤드기어가 장착되었다면, 일부 실시예들에서, 원격 서비스 기술자는, 그 또는 그녀가 헤드기어에 의해 캡처된 시야 이미지의 부분들을 하이라이트할 수 있게 할 수 있고, 이어서 하이라이트하는 것이 (잠재적으로, 원격 서비스 기술자에게 제시된 것과 매칭할 기밀 정보로부터 지워졌던 이미지 상의 오버레이로서, 또는 그러한 이미지가 원격 기술자에게 이용가능해졌던 것과는 상이할 것이라는 사실에도 불구하고 원래 이미지에 대한 오버레이로서) 기구를 서비스하는 것에 대한 안내로서 조작자에게 제시될 수 있는 인터페이스를 제공받을 수 있다. 이러한 유형의 접근법은 또한, 예를 들어, 대신에(또는 추가적으로) 실험실 기구 자체의 디스플레이 상에 그리고/또는 실험실 기구에 근접해 있는 디바이스(예컨대, 조작자에 의해 보유되는 태블릿, 로컬 컴퓨터 등)의 디스플레이 상에 제시될 증강 현실 헤드기어를 사용하여 실험실 기구의 사용자에게 달리 제시될 정보를 디스플레이함으로써, 가상 현실 헤드기어가 이용가능한 상황들에서 적용될 수 있다.
개시된 기술의 대안적인 응용의 유형의 다른 예로서, 한 벌의 계장화된 안경 또는 다른 유형의 기록용 헤드기어에 의해 캡처된 이미지들은 후속 트레이닝 및/또는 평가를 위한 자료로서 저장되고 사용될 수 있는 것이 가능하며, 이때 불필요한 자료는 전술된 것과 같은 접근법들을 사용하여 제거되어 그러한 트레이닝 및 평가가 그에 액세스해서는 안 되는 이들에게 기밀 정보를 노출시키지 않게 할 것이다. 따라서, 개시된 기술을 사용하여 기밀성을 유지하면서 원격 서비스를 용이하게 하는 논의는 단지 예시적인 것으로 이해되어야 하며, 제한하는 것으로서 취급되어서는 안 된다.
본 발명자의 기술에 대한 추가 변형들, 그들에 대한 특징들, 및 그들의 잠재적 구현들 및 응용들은 본 발명의 관점에 비추어 당업자에게 자명할 것이고, 그들에 의한 과도한 실험 없이 실시될 수 있다. 따라서, 본 명세서도 또는 본 명세서의 개시 내용의 이익을 주장하는 어떠한 문서도 본 명세서에 기술된 본 발명자의 기술의 특정 실시예들로 제한되는 것으로 취급되어서는 안 된다.
본 명세서에서 사용되는 바와 같이, 단수 형태("a", "an", 및 "the")는 문맥이 명확하게 달리 지시하지 않는 한 복수의 지시대상들을 포함한다. 본 발명은 이제 명확성 및 이해를 목적으로 상세하게 기술되었다. 그러나, 소정 변화들 및 수정들이 첨부된 청구범위의 범주 내에서 실시될 수 있음이 이해될 것이다.
본 명세서에서 사용되는 바와 같이, 용어 "~에 기초한"은 무엇인가가 그것이 "기초한" 것으로 나타내지는 것에 의해 적어도 부분적으로 결정됨을 의미한다. 무엇인가가 그 밖의 무엇인가에 기초하여 완전히 결정되어야 함을 나타내기 위해, 그것이 어떤 것에 의해서든 완전히 결정된 것에 "배타적으로" 기초하는 것으로 기술될 것이다.
본 명세서에서 사용되는 바와 같이, 용어 "카메라"는 시각적 이미지들을 캡처하고/하거나 기록하기 위한 디바이스를 의미한다. "카메라들"의 예들은 전하 결합 디바이스 및/또는 상보적 금속-산화물-반도체 센서를 사용하여 이미지들을 캡처하는 디지털 카메라들을 포함한다.
본 명세서에서 사용되는 바와 같이, "컴퓨터"는 결과를 생성하기 위해 데이터에 대해 하나 이상의 논리적 및/또는 물리적 동작들을 수행하기 위한 명령어들을 저장 및 실행할 수 있는 디바이스들의 그룹(예컨대, 프로세서 및 메모리를 포함하는 디바이스)을 지칭하는 것으로 이해되어야 한다. "컴퓨터"는, 예를 들어 단일-코어 또는 멀티-코어 마이크로제어기 또는 마이크로컴퓨터, 데스크톱, 랩톱 또는 태블릿 컴퓨터, 스마트폰, 서버, 또는 전술한 디바이스들의 그룹들(예컨대, 조합하여, 리던던시 및 이용가능성과 같은 목적들을 위해 데이터에 대한 동작들을 수행하는 데 사용되는 서버들의 클러스터)을 포함할 수 있다. 청구범위에서, 단어 "서버"는 "컴퓨터"에 대한 동의어인 것으로 이해되어야 하며, 상이한 단어들의 사용은 청구범위의 가독성을 개선하도록 그리고 "서버"가 컴퓨터가 아님을 암시하지 않도록 의도된 것으로서 이해되어야 한다. 유사하게, 청구범위에서 단어들 "서버" 및 "컴퓨터"에 선행하는 다양한 형용사들은 가독성을 개선하도록 의도되며, 제한들로서 취급되어서는 안 된다.
본 명세서에서 사용되는 바와 같이, 용어 "기계"는 디바이스 또는 디바이스들의 조합을 지칭한다.
본 명세서에서 사용되는 바와 같이, "머리 장착형 카메라에 의해 캡처된 이미지들에 포함된 기밀 정보가 없는 수정된 이미지들을 생성하기 위한 수단"은 35 U.S.C. § 112(f)에 제공된 바와 같은 특정된 기능을 수행하기 위한 수단으로서 설명된 제한으로서 이해되어야 하며, 여기서 기능은 "머리 장착형 카메라에 의해 캡처된 이미지들에 포함된 기밀 정보가 없는 수정된 이미지들을 생성하는 것"이고, 대응하는 구조는 단락 34 및 단락 37 내지 단락 39에 기술되고 도 3에 묘사된 것으로서 구성된 컴퓨터이다.
본 명세서에서 사용되는 바와 같이, 용어 "네트워크"는 표준 프로토콜들을 사용하는 네트워크의 임의의 집합을 지칭한다. 예를 들어, 그 용어는 글로벌, 분산형 네트워크를 형성하기 위해 표준 프로토콜들(예컨대 TCP/IP, HTTP 등)의 세트에 의해 함께 링크되는 상호접속된 (공중 및/또는 사설) 네트워크들의 집합을 포함한다. 그 용어는 또한, 기존의 표준 프로토콜들에 대한 변화들 및 추가들, 또는 다른 미디어(예컨대, 텔레비전, 라디오 등)와의 통합을 포함하는, 미래에 이루어질 수 있는 변형들을 포괄하도록 의도된다.
본 명세서에서 사용되는 바와 같이, 용어 "샘플"은 임의의 생물학적 샘플을 지칭하고, 구절 "생물학적 샘플"은 그의 자연 환경으로부터 격리된 생물학적 자료의 임의의 시료, 예컨대 동물 또는 인간의 몸통을 커버하고자 한다. 이는 조직, 뼈, 인대 등과 같은 고체 형태일 수 있다. 이는 또한, 혈액, 척수액 등과 같은 액체 형태일 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "세트"는 유사한 특성, 설계, 또는 기능의 0개 이상의 것들의 수, 그룹, 또는 조합을 지칭한다.
본 명세서에서 사용되는 바와 같이, "제1", "제2" 등과 같은 수식어들은 단순히 가독성을 개선하는 데 사용되는 라벨들이며, 그들이 수식하는 항목들 사이의 임의의 시간적 또는 실질적 차이를 암시하도록 의도되지 않는다. 예를 들어, 청구범위에서 항목들을 "제1 프로그램" 및 "제2 프로그램"으로서 언급하는 것은, "제1 프로그램"이 먼저 생성됨, 또는 2개의 프로그램들이 컴퓨터에 의해 실행될 때 반드시 상이한 일들이 일어나게 할 것임을 나타내는 것으로 이해되어서는 안 된다. 유사하게, 청구범위에서 사용될 때, 단어들 "컴퓨터" 및 "서버"는 동의어들인 것으로서 이해되어야 하며, 이때 상이한 용어들은 청구범위의 가독성을 향상시키도록 그리고 그러한 상이한 용어들을 사용하는 것으로 언급되는 항목들 사이의 임의의 물리적 또는 기능적 차이를 암시하지 않도록 사용된다.
본 명세서에서 사용되는 바와 같이, "실험실"은 의학적 진단 또는 치료의 목적들을 위해 사람들 또는 동물로부터 수집된 생물학적 자료들의 샘플들과 같은 자료들에 대해 실험들 또는 테스트들이 수행되는 시설로 이해되어야 한다.

Claims (30)

  1. 방법으로서,
    a) 머리 장착형 카메라의 시야의 이미지를 캡처하는 단계;
    b) 수정된 이미지를,
    i) 상기 머리 장착형 카메라의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계; 및
    ii) 상기 하나 이상의 식별된 부분들 각각을 마스킹하는 단계를 포함하는 단계들을 수행함으로써 거의 실시간으로 자동으로 생성하는 단계;
    및
    c) 상기 수정된 이미지를 제시하는 단계를 포함하고, 상기 수정된 이미지를 제시하는 단계는,
    i) 원격 서비스 기술자에게 상기 수정된 이미지를 디스플레이하는 단계; 또는
    ii) 증강 현실 헤드피스의 디스플레이 상에 상기 수정된 이미지를 디스플레이하는 단계 - 상기 머리 장착형 카메라는 상기 증강 현실 헤드피스와 통합됨 - 를 포함하는, 방법.
  2. 제1항에 있어서, 상기 머리 장착형 카메라의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계는,
    a) 상기 시야 내의 하나 이상의 디스플레이 스크린들을 식별하는 단계;
    b) 상기 하나 이상의 디스플레이 스크린들 각각에 대해, 미리정의된 인터페이스 라이브러리로부터의 항목과 매칭하는 인터페이스가 해당 디스플레이 스크린 상에 디스플레이되는지 여부를 결정하는 단계; 및
    c) 상기 미리정의된 인터페이스 라이브러리로부터의 적어도 하나의 매칭 항목을 갖는 각각의 디스플레이된 인터페이스에 대해, 상기 미리정의된 인터페이스 라이브러리로부터의 매칭 항목으로부터의 정보에 기초하여 마스킹될 상기 이미지의 부분들로서 해당 인터페이스의 하나 이상의 부분들을 식별하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 하나 이상의 식별된 부분들 각각을 마스킹하는 단계는, 상기 미리정의된 인터페이스 라이브러리로부터의 적어도 하나의 매칭 항목을 갖는 상기 하나 이상의 디스플레이 스크린들 각각에 대해, 상기 미리정의된 인터페이스 라이브러리로부터 해당 인터페이스에 대응하는 이미지를 오버레이하는 단계를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 머리 장착형 카메라의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계는,
    a) 상기 머리 장착형 카메라의 초점 거리를 결정하는 단계; 및
    b) 상기 결정된 초점 거리보다 상기 머리 장착형 카메라로부터 더 멀리 있는 상기 머리 장착형 카메라의 시야의 이미지의 각각의 부분을 상기 머리 장착형 카메라의 시야의 이미지의 마스킹될 하나 이상의 부분들 중 하나의 부분으로서 식별하는 단계를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    a) 상기 방법은, 상기 머리 장착형 카메라의 시야의 이미지를 캡처하기 전에, 하나 이상의 표기 매체 표본 이미지들을 제공하는 단계를 포함하고;
    b) 상기 머리 장착형 카메라의 시야의 이미지의 마스킹될 하나 이상의 부분들을 식별하는 단계는,
    i) 상기 표기 매체 표본 이미지들로부터의 정보에 기초하여 상기 시야 내의 하나 이상의 표기 매체를 식별하는 단계; 및
    ii) 상기 시야 내의 하나 이상의 표기 매체 각각을 상기 머리 장착형 카메라의 시야의 이미지의 마스킹될 상기 하나 이상의 부분들 중 하나의 부분으로서 식별하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 표기 매체 표본 이미지들로부터의 정보는 하나 이상의 표기 매체 표본 컬러들을 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    a) 상기 수정된 이미지를 제시하는 단계는 상기 수정된 이미지를 상기 원격 서비스 기술자에게 송신하는 단계를 포함하고;
    b) 상기 방법은,
    i) 상기 머리 장착형 카메라의 시야의 이미지를 캡처하기 전에, 실험실의 이미징가능 영역을 특정하는 단계;
    ii) 상기 머리 장착형 카메라의 시야의 이미지를 캡처한 후에, 그리고 상기 이미징가능 영역의 경계에 위치된 하나 이상의 무선 송수신기들에 기초하여, 상기 머리 장착형 카메라가 상기 실험실의 이미징가능 영역에 위치되는지 여부를 결정하는 단계; 및
    iii) 상기 머리 장착형 카메라가 상기 실험실의 이미징가능 영역에 위치되지 않는다는 결정에 기초하여, 상기 머리 장착형 카메라의 송신 기능을 자동으로 비활성화시키는 단계를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 머리 장착형 카메라의 송신 기능은 상기 머리 장착형 카메라를 자동으로 비활성화시킴으로써 자동으로 비활성화되는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    a) 상기 수정된 이미지를 제시하는 단계는 상기 수정된 이미지를 상기 원격 기술자에게 디스플레이하는 단계를 포함하고;
    b) 상기 방법은,
    i) 상기 머리 장착형 카메라의 시야의 이미지를 캡처하기 전에, 실험실의 이미징가능 영역을 특정하는 단계;
    ii) 상기 머리 장착형 카메라의 시야의 이미지를 캡처한 후에, 그리고 상기 이미징가능 영역의 내부에 위치된 무선 송수신기로부터의 거리에 기초하여, 상기 머리 장착형 카메라가 상기 실험실의 이미징가능 영역에 위치되는지 여부를 결정하는 단계; 및
    iii) 상기 머리 장착형 카메라가 상기 실험실의 이미징가능 영역에 위치되지 않는다는 결정에 기초하여, 상기 머리 장착형 카메라의 송신 기능을 자동으로 비활성화시키는 단계를 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    a) 상기 수정된 이미지를 제시하는 단계는 상기 수정된 이미지를 상기 원격 서비스 기술자에게 디스플레이하는 단계를 포함하고;
    b) 상기 방법은 인터넷 접속을 사용하여 상기 원격 서비스 기술자에게 상기 수정된 이미지를 송신하는 단계를 포함하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    a) 상기 수정된 이미지를 제시하는 단계는 상기 수정된 이미지를 상기 원격 서비스 기술자에게 디스플레이하는 단계를 포함하고;
    b) 상기 방법은, 상기 원격 서비스 기술자에게 상기 수정된 이미지를 디스플레이하는 단계와 동시에, 상기 증강 현실 헤드피스의 디스플레이 상에 상기 머리 장착형 카메라의 시야의 이미지를 디스플레이하는 단계를 포함하며, 상기 머리 장착형 카메라는 상기 증강 현실 헤드피스와 통합되는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    a) 상기 이미지는 비디오 스트림의 일부로서 캡처되고;
    b) 상기 방법은 상기 원격 서비스 기술자에게 상기 수정된 이미지를 송신하는 단계를 포함하고;
    c) 상기 원격 서비스 기술자에게 상기 수정된 이미지를 송신하는 단계는 상기 캡처된 이미지보다는 상기 수정된 이미지를 포함하는 상기 비디오 스트림의 버전을 송신함으로써 수행되는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 수정된 이미지를 자동으로 생성하는 단계는 상기 머리 장착형 카메라의 시야의 이미지를 캡처한 후 10초 이내에 완료되는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 수정된 이미지를 거의 실시간으로 자동으로 생성하는 단계는 상기 수정된 이미지를 실시간으로 자동으로 생성하는 단계를 포함하는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 수정된 이미지를 자동으로 생성하는 단계는 상기 머리 장착형 카메라의 시야의 이미지를 캡처한 후 5초 이내에 완료되는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 수정된 이미지를 자동으로 생성하는 단계는 상기 머리 장착형 카메라의 시야의 이미지를 캡처한 후 1초 이내에 완료되는, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 수정된 이미지를 자동으로 생성하는 단계는 상기 머리 장착형 카메라의 시야의 이미지를 캡처한 후 0.5초 이내에 완료되는, 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 머리 장착형 카메라의 시야의 이미지는 마스킹될 부분들로서 식별되는 상기 하나 이상의 부분들 외부의 기밀 정보를 포함하는, 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서, 상기 머리 장착형 카메라는 한 벌의 계장화된 보안경으로 구성되는, 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    a) 상기 수정된 이미지를 제시하는 단계는 상기 수정된 이미지를 상기 원격 기술자에게 디스플레이하는 단계를 포함하고;
    b) 상기 방법은,
    i) 상기 원격 기술자가, 상기 수정된 이미지에 기초하여, 상기 머리 장착형 카메라의 시야에서 실험실 기구 내의 문제를 다루기 위한 정보를 포함하는 복원 오버레이(remediation overlay)를 생성하는 단계; 및
    ii) 상기 실험실 기구의 디스플레이 상에 상기 복원 오버레이를 포함하는 이미지를 디스플레이하는 단계를 포함하는, 방법.
  21. 시스템으로서,
    a) 머리 장착형 카메라; 및
    b) 프로세서를 포함하고;
    상기 프로세서는 컴퓨터 명령어들의 세트로 구성되고, 상기 컴퓨터 명령어들의 세트는, 실행될 때,
    A) 상기 머리 장착형 카메라가 활성화된 후에, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록; 그리고
    B) 상기 머리 장착형 카메라에 의해 캡처된 이미지를,
    I) 이미지가 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 결정이 이루어지는 필요충분조건; 및/또는
    II) 진술들 - 상기 진술들은
    1) 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 해당 이미지가 캡처되기 전에 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 결정이 이루어졌다는 진술; 및
    2) 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉을 위해 이용가능해져야 한다는 가장 최근의 결정보다 더 최근에, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다는 어떠한 결정도 이루어지지 않았다는 진술임 - 둘 모두가 참이라는 필요충분조건에서 즉각적이지 않은 뷰잉에 이용가능해지게 하도록 동작가능한, 시스템.
  22. 제21항에 있어서, 상기 컴퓨터 명령어들은, 실행될 때, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 단계들의 세트를 수행함으로써 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능하고, 상기 단계들의 세트는,
    a) 상기 머리 장착형 카메라가 미리정의된 영역 내에 위치되는지 여부를 결정하는 단계; 및
    b) 상기 머리 장착형 카메라가 상기 미리정의된 영역 내에 위치되지 않는다는 결정에 기초하여, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다고 결정하는 단계를 포함하는, 시스템.
  23. 제22항에 있어서,
    a) 상기 시스템은 상기 미리정의된 영역 내부에 위치된 무선 송수신기를 포함하고,
    b) 상기 머리 장착형 카메라가 상기 미리정의된 영역 내에 위치되지 않는다는 결정은 상기 머리 장착형 카메라와 상기 무선 송수신기 사이의 거리에 기초하는, 시스템.
  24. 제22항 또는 제23항에 있어서,
    a) 상기 시스템은 상기 미리정의된 영역의 경계에 위치되는 하나 이상의 무선 송수신기들을 포함하고;
    b) 상기 머리 장착형 카메라가 상기 미리정의된 영역 내에 위치되지 않는다는 결정은 상기 미리정의된 영역의 경계를 가로지르는 상기 머리 장착형 카메라의 검출에 기초하는, 시스템.
  25. 제21항 내지 제24항 중 어느 한 항에 있어서,
    a) 상기 시스템은 실험실 기구를 포함하고;
    b) 상기 컴퓨터 명령어들은, 실행될 때, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 단계들의 세트를 수행함으로써 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능하고, 상기 단계들의 세트는,
    i) 상기 실험실 기구에 대한 상기 머리 장착형 카메라의 배향을 결정하는 단계; 및
    ii) 상기 머리 장착형 카메라의 배향이 90도 이상만큼 상기 실험실 기구로부터 오프셋된다는 결정에 기초하여, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다고 결정하는 단계를 포함하는, 시스템.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서, 상기 컴퓨터 명령어들은, 실행될 때, 인가 액션의 가장 최근 발생 이후 경과된 시간이 임계 지속기간보다 더 크다는 결정에 기초하여, 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다고 결정하는 단계를 포함하는 단계들의 세트를 수행함으로써 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 하는지 여부를 결정하도록 동작가능한, 시스템.
  27. 제21항 내지 제26항 중 어느 한 항에 있어서, 상기 시스템은 상기 머리 장착형 카메라와 무선으로 통신하도록 구성된 실험실 기구를 포함하는, 시스템.
  28. 제21항 내지 제27항 중 어느 한 항에 있어서, 상기 시스템은 상기 머리 장착형 카메라에 의해 캡처된 이미지들을 암호화하도록 구성된 실험실 기구를 포함하는, 시스템.
  29. 제21항 내지 제28항 중 어느 한 항에 있어서,
    a) 상기 머리 장착형 카메라는 외부 광원을 포함하고;
    b) 상기 머리 장착형 카메라는, 상기 머리 장착형 카메라가 활성화될 때 그리고 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져야 한다는 결정이 이루어질 때, 상기 외부 광원을 활성화시키도록 구성되고;
    c) 상기 머리 장착형 카메라는, 상기 머리 장착형 카메라가 비활성화될 때 그리고 상기 머리 장착형 카메라에 의해 캡처된 이미지들이 즉각적이지 않은 뷰잉에 이용가능해져서는 안 된다는 결정이 이루어질 때, 상기 외부 광원을 비활성화시키도록 구성되는, 시스템.
  30. 기계로서,
    a) 머리 장착형 카메라; 및
    b) 상기 머리 장착형 카메라에 의해 캡처된 이미지들에 포함된 기밀 정보가 없는 수정된 이미지들을 생성하기 위한 수단을 포함하는, 기계.
KR1020217017508A 2018-11-09 2019-10-16 선택적 데이터 제공을 갖는 서비스 안경 KR20210073603A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862758147P 2018-11-09 2018-11-09
US62/758,147 2018-11-09
PCT/US2019/056473 WO2020096743A1 (en) 2018-11-09 2019-10-16 Service glasses with selective data provision

Publications (1)

Publication Number Publication Date
KR20210073603A true KR20210073603A (ko) 2021-06-18

Family

ID=70611124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217017508A KR20210073603A (ko) 2018-11-09 2019-10-16 선택적 데이터 제공을 갖는 서비스 안경

Country Status (5)

Country Link
EP (1) EP3877831A4 (ko)
JP (1) JP7445653B2 (ko)
KR (1) KR20210073603A (ko)
CN (1) CN113227940A (ko)
WO (1) WO2020096743A1 (ko)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000349999A (ja) 1999-06-08 2000-12-15 Ricoh Co Ltd 画像処理方法
JP4668056B2 (ja) 2005-12-19 2011-04-13 シャープ株式会社 リモートカメラ装置、リモートカメラ操作装置、およびデータ生成装置
KR100653303B1 (ko) * 2005-12-22 2006-12-05 주식회사 팬택 카메라 촬영을 제한하는 방법 및 상기 방법을 수행하는이동 통신 단말기
WO2009036782A1 (en) * 2007-09-18 2009-03-26 Vrmedia S.R.L. Information processing apparatus and method for remote technical assistance
JP2009147647A (ja) 2007-12-13 2009-07-02 Sony Corp 自動撮像装置
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5377537B2 (ja) 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
KR20230044041A (ko) * 2013-03-11 2023-03-31 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
JP2014219448A (ja) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
KR101522088B1 (ko) * 2013-06-28 2015-05-20 주식회사 포스코 카메라 내장 단말기 촬영 보안용 원격 관리 서버
JP6192107B2 (ja) 2013-12-10 2017-09-06 Kddi株式会社 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム
WO2015173344A1 (en) * 2014-05-15 2015-11-19 Showme Telepresence Aps Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
US9898610B1 (en) 2014-10-22 2018-02-20 State Farm Mutual Automobile Insurance Company System and method for concealing sensitive data on a computing device
KR101641646B1 (ko) * 2014-11-28 2016-07-21 전자부품연구원 동영상 마스킹 처리방법 및 장치
US20170337352A1 (en) * 2016-05-23 2017-11-23 Daqri, Llc Confidential information occlusion using augmented reality
JP2017211766A (ja) 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
JP6642316B2 (ja) 2016-07-15 2020-02-05 コニカミノルタ株式会社 情報処理システム、電子機器、情報処理装置、情報処理方法、電子機器処理方法、及びプログラム
JP6777470B2 (ja) 2016-09-01 2020-10-28 セコム株式会社 行動記録システム、端末装置及び行動記録方法
JP7095953B2 (ja) 2017-01-19 2022-07-05 株式会社大林組 画像管理システム、画像管理方法、及び画像管理プログラム
JP2018156293A (ja) 2017-03-16 2018-10-04 富士通株式会社 プログラム、情報処理方法および情報処理装置
JP6375070B1 (ja) 2017-03-30 2018-08-15 株式会社オプティム コンピュータシステム、画面共有方法及びプログラム

Also Published As

Publication number Publication date
WO2020096743A1 (en) 2020-05-14
JP7445653B2 (ja) 2024-03-07
JP2022506778A (ja) 2022-01-17
US20210349677A1 (en) 2021-11-11
EP3877831A1 (en) 2021-09-15
CN113227940A (zh) 2021-08-06
EP3877831A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US10786149B2 (en) Head-mounted display for performing ophthalmic examinations
US11399715B2 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope
US9819843B2 (en) Head-mounted systems and methods for providing inspection, evaluation or assessment of an event or location
US9542613B2 (en) Systems and methods for processing images
JP2022500700A (ja) 交換可能なレンズを備えたディスプレイシステム
JP2019530044A (ja) デバイスの使用を監視する装置及び方法
US10130255B2 (en) Tracking eye recovery
WO2005094667A3 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US11277358B2 (en) Chatbot enhanced augmented reality device guidance
US20220171456A1 (en) Method and System for Remote Clinician Management of Head-Mounted Vision Assist Devices
CN110100199B (zh) 采集、配准和多媒体管理的系统和方法
US10347050B1 (en) Augmented reality device to warp images
CN105759945A (zh) 穿戴设备控制系统及方法
US12001600B2 (en) Service glasses with selective data provision
US20210349677A1 (en) Service glasses with selective data provision
CN111722401A (zh) 显示装置、显示控制方法以及显示系统
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
US20210016052A1 (en) Augmented reality enabled motion sickness reduction
US20240119643A1 (en) Image processing device, image processing method, and computer-readable storage medium
TW201640277A (zh) 穿戴設備控制系統及方法
US20240115831A1 (en) Enhanced meditation experience based on bio-feedback
US20230336703A1 (en) Methods and systems for diagnosing vision loss and providing visual compensation
WO2023172395A1 (en) Accommodation tracking based on retinal-imaging