KR102228340B1 - 증강 현실 헤드 업 디스플레이와 짝을 이루는 표준 바코드 스캐너들을 사용하여 사용자 인터페이스와 상호작용하는 대안적 방법 - Google Patents

증강 현실 헤드 업 디스플레이와 짝을 이루는 표준 바코드 스캐너들을 사용하여 사용자 인터페이스와 상호작용하는 대안적 방법 Download PDF

Info

Publication number
KR102228340B1
KR102228340B1 KR1020200084722A KR20200084722A KR102228340B1 KR 102228340 B1 KR102228340 B1 KR 102228340B1 KR 1020200084722 A KR1020200084722 A KR 1020200084722A KR 20200084722 A KR20200084722 A KR 20200084722A KR 102228340 B1 KR102228340 B1 KR 102228340B1
Authority
KR
South Korea
Prior art keywords
barcode reader
augmented reality
handheld barcode
identifier
processor
Prior art date
Application number
KR1020200084722A
Other languages
English (en)
Other versions
KR20210007890A (ko
Inventor
오즈구르 오즈세린
제임스 로저 몰리-스미스
Original Assignee
제브라 테크놀로지스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제브라 테크놀로지스 코포레이션 filed Critical 제브라 테크놀로지스 코포레이션
Publication of KR20210007890A publication Critical patent/KR20210007890A/ko
Application granted granted Critical
Publication of KR102228340B1 publication Critical patent/KR102228340B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10881—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices constructional details of hand-held scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K2007/10524—Hand-held scanners

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

헤드 업 디스플레이 어셈블리를 사용하여 바코드 판독기를 위한 증강 현실 사용자 인터페이스를 디스플레이하도록 구성되는 시스템이 제공된다. 카메라와 프레젠테이션 생성기를 갖는 증강 현실 어댑터가 핸드헬드 바코드 판독기에 연관된 고유 식별자를 식별하고 핸드헬드 바코드 판독기에 의해 캡처된 데이터에 기초하여 증강 현실 디스플레이를 제공하도록 구성된다. 프레젠테이션 생성기는 카메라의 시야(FOV) 내의 고유 식별자의 로케이션에 기초하여 증강 현실 디스플레이를 위치시킬 수 있다.

Description

증강 현실 헤드 업 디스플레이와 짝을 이루는 표준 바코드 스캐너들을 사용하여 사용자 인터페이스와 상호작용하는 대안적 방법{AN ALTERNATIVE METHOD TO INTERACT WITH A USER INTERFACE USING STANDARD BARCODE SCANNERS PAIRED UP WITH AN AUGMENTED REALITY HEADS UP DISPLAY}
본 개시에서 제공되는 배경 설명은 본 개시의 상황을 일반적으로 제시하는 목적을 위한 것이다. 배경 구역에서 설명되는 정도의 현재 명명된 발명자들의 작업, 뿐만 아니라 출원 당시의 종래 기술로서 별도로 간주되지 않을 수 있는 설명의 양태들은 본 개시내용에 대한 종래 기술로서 명시적으로 인정된 것이 아니고 암묵적으로 인정된 것도 아니다.
재고 환경에서, 사용자들은 튼튼한 바코드 스캐너를 가지고 다니면서 동작시키는 것이 필요할 수 있다. 튼튼한 바코드 스캐너들은 통상적으로 다양한 극한 온도들 및 조건들을 견디도록 만들어진 핸드헬드 바코드 스캐너들이고, 일부 경우들에서는, 지면이나 물속으로 떨어지는 것도 견딜 수 있다. 그러나, 이들 튼튼한 바코드 스캐너들은 통상적으로 스크린들을 포함하지 않는다. 특히, 스크린들은 튼튼한 바코드 스캐너들이 사용될 수 있는 극한 상황들에서 쉽게 손상될 수 있다. 그러나, 이들 튼튼한 바코드 스캐너들이 통상적으로 스크린 또는 다른 사용자 인터페이스를 포함하지 않기 때문에, 사용자들이 이러한 튼튼한 바코드 스캐너들에 의해 캡처된 실시간 정보를 획득하거나, 또는 이 정보에 관련된 선택들을 하기는 어렵다.
일부 경우들에서, 헤드 업 디스플레이들(heads up displays)(HUD들)이 이 정보의 일부를 사용자들에 제공할 수 있다. 그러나, 사용자들은 종종 튼튼한 바코드 스캐너를 동작시키면서 HUD을 조작하기 어려운데, 왜냐하면 사용자들이 튼튼한 바코드 스캐너와 스캔될 물체 둘 다를 가지고 다니는 것이 종종 필요하기 때문이다. 다시 말하면, 튼튼한 바코드 스캐너와 스캔될 물체 둘 다를 가지고 다니는 사용자가, 자신의 손들이 가득 찰 것이고, 데이터를 입력하거나 또는 HUD에 의해 보여진 정보를 제어하기 위해 HUD 컨트롤들(통상적으로 유선 또는 무선 터치패드 컨트롤들)을 동시에 조작할 수 없다. HUD들을 위한 음성 입력 컨트롤들은 시끄러운 재고 환경들에서 또한 문제가 될 수 있다.
따라서, 데이터를 입력하고 HUD 상에 디스플레이된 정보를 제어하면서 스크린 없이 핸드헬드의 튼튼한 바코드 스캐너를 동시에 동작시키는 방법이 필요하다.
본 출원은 핸드헬드 바코드 판독기를 조작하는 사용자에게 가상 "스크린"(즉, 증강 현실 디스플레이로서 도시된 사용자 인터페이스)을 디스플레이하기 위해 핸드헬드 바코드 스캐너들(또한 "바코드 판독기들"이라 지칭됨)과 증강 현실 HUD들이 짝을 이루게 함으로써 데이터를 입력하고 HUD 상에 디스플레이된 정보를 제어하면서 스크린 없이 핸드헬드의 튼튼한 바코드 스캐너를 동시에 동작시키는 방법에 대한 필요를 해결한다. 특히, HUD의 카메라가 스크린 없이 핸드헬드 바코드 판독기에 부착된 고유 식별자(예컨대, 바코드 또는 QR 코드)의 이미지를 캡처할 때, HUD는 핸드헬드 바코드 판독기를 위한 가상 스크린을 디스플레이할 수 있다. 예를 들어, 가상 스크린은 핸드헬드 바코드 판독기에 의해 캡처된 데이터에 연관된 정보를 디스플레이할 수 있거나, 또는 핸드헬드 바코드 판독기의 동작에 연관된 다양한 선택들을 하도록 사용자에게 프롬프트들을 디스플레이할 수 있다.
가상 스크린은 핸드헬드 바코드 판독기에 부착되는 고유 식별자에 앵커링되는 것으로 (사용자에게) 보이도록 디스플레이될 수 있다. 예를 들면, 고유 식별자가 카메라의 시야(field of view)(FOV) 내에서 위쪽으로 이동할 때, 가상 스크린은 HUD 상에서 위로 이동될 것이고, 고유 식별자가 카메라의 FOV 내에서 아래쪽으로 이동할 때, 가상 스크린은 HUD 상에서 아래로 이동될 것이다.
더구나, 사용자가 핸드헬드 바코드 판독기 자체를 사용하여 (예컨대, 가상 스크린 상에 디스플레이되는 프롬프트들에 응답하여) 선택들을 할 수 있다. 예를 들어, 사용자는 가상 스크린의 좌측 또는 우측에 디스플레이되는 옵션들 사이에서 선택하기 위해 핸드헬드 바코드 판독기를 좌측으로 또는 우측으로 기울일 수 있다. 게다가, 다른 예로서, 사용자는 가상 스크린 상에 보여진 선택을 하기 위해 핸드헬드 바코드 판독기를 앞쪽으로 기울일 수 있다. 또 다른 예로서, 사용자가 가상 스크린 상에 보여진 선택을 확인하기 위하여 핸드헬드 바코드 판독기의 트리거를 활성화시켜 핸드헬드 바코드 판독기로 하여금 광을 방출하게 할 수 있다. 덧붙여, 사용자가 가상 스크린의 좌측 또는 우측 부분 상에 보여진 옵션을 선택하기 위하여 엄지 또는 손가락으로 핸드헬드 바코드 판독기의 좌측 부분에 부착되거나 또는 아니면 연관되는 제1 타겟, 또는 핸드헬드 바코드 판독기의 우측 부분에 부착되거나 또는 아니면 연관되는 제2 타겟을 덮을 수 있다. 따라서, 핸드헬드 바코드 판독기 및 스캔될 물체 둘 다를 가지고 다니는 사용자가, 핸드헬드 바코드 판독기를 사용하여 가상 스크린과의 선택들과 상호작용을 할 수 있다.
일 실시예에서, 시스템이 제공된다. 그 시스템은, 핸드헬드 바코드 판독기 ― 핸드헬드 바코드 판독기는 핸드헬드 바코드 판독기에 고유한 식별자를 가짐 ―; 및 증강 현실 어댑터를 포함하며, 증강 현실 어댑터는, 시야(FOV)를 갖는 카메라; 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여 증강 현실 디스플레이를 제공하도록 구성되는 프레젠테이션 생성기 ― 프레젠테이션 생성기 상의 증강 현실 디스플레이의 포지션은 FOV 내의 식별자의 로케이션에 기초함 ―; 비일시적 컴퓨터 실행가능 명령들을 저장하도록 구성되는 메모리; 및 프레젠테이션 생성기, 카메라, 및 메모리와 인터페이싱하도록 구성되는, 그리고 비일시적 컴퓨터 실행가능 명령들을 실행하도록 구성되는 프로세서를 가지며, 비일시적 컴퓨터 실행가능 명령들은, 프로세서로 하여금, 핸드헬드 바코드 판독기의 식별자를 식별하기 위해 카메라에 의해 캡처된 이미지들을 분석하게 하며; 식별자에 연관된 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여, 제2 데이터를 수신하게 하며; 그리고 프레젠테이션 생성기 ― 프레젠테이션 생성기는 제1 데이터가 핸드헬드 바코드 판독기에 의해 캡처되는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 제3 데이터를 디스플레이하도록 구성됨 ― 로 하여금, 증강 현실 디스플레이를 통해, 제2 데이터에 기초하여, 제3 데이터를 디스플레이하게 한다.
다른 실시예에서, 증강 현실 어댑터가 제공된다. 증강 현실 어댑터는, 시야(FOV)를 갖는 카메라; 고유 식별자를 갖는 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여 증강 현실 디스플레이를 제공하도록 구성되는 프레젠테이션 생성기 ― 프레젠테이션 생성기 상의 증강 현실 디스플레이의 포지션은 FOV 내의 식별자의 로케이션에 기초함 ―; 비일시적 컴퓨터 실행가능 명령들을 저장하도록 구성되는 메모리; 및 프레젠테이션 생성기, 카메라, 및 메모리와 인터페이싱하도록 구성되는, 그리고 비일시적 컴퓨터 실행가능 명령들을 실행하도록 구성되는 프로세서를 포함하며, 비일시적 컴퓨터 실행가능 명령들은, 프로세서로 하여금, 핸드헬드 바코드 판독기의 식별자를 식별하기 위해 카메라에 의해 캡처된 이미지들을 분석하게 하며; 식별자에 연관된 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여, 제2 데이터를 수신하게 하며; 그리고 프레젠테이션 생성기 ― 프레젠테이션 생성기는 제1 데이터가 핸드헬드 바코드 판독기에 의해 캡처되는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 제3 데이터를 디스플레이하도록 구성됨 ― 로 하여금, 증강 현실 디스플레이를 통해, 제2 데이터에 기초하여, 제3 데이터를 디스플레이하게 한다.
또 다른 실시예에서, 컴퓨터에 의해 구현되는 방법이 제공된다. 컴퓨터에 의해 구현되는 방법은, 프로세서에 의해, 증강 현실 어댑터의 카메라 ― 카메라는 시야(FOV)를 가짐 ― 에 의해 캡처된 이미지들을, 핸드헬드 바코드 판독기에 고유한 식별자와 FOV 내의 식별자의 로케이션을 식별하기 위해, 분석하는 단계; 프로세서에 의해, 식별자에 연관된 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여, 제2 데이터를 수신하는 단계; 및 프로세서에 의해, 증강 현실 어댑터의 프레젠테이션 생성기로 하여금, 증강 현실 디스플레이를 통해, 제2 데이터에 기초하여, 제3 데이터를 디스플레이하게 하는 단계를 포함하며, 프레젠테이션 생성기 상의 증강 현실 디스플레이의 포지션은 FOV 내의 식별자의 로케이션에 기초하고, 프레젠테이션 생성기는 제1 데이터가 핸드헬드 바코드 판독기에 의해 캡처되는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 제3 데이터를 디스플레이하도록 구성된다.
아래의 상세한 설명과 함께, 유사한 참조 번호들이 개별 도면들의 전체에 걸쳐 동일하거나 또는 기능적으로 유사한 엘리먼트들을 지칭하는 첨부 도면들은 출원서에 포함되고 출원서의 일부를 형성하고, 청구된 본 발명을 포함하는 개념들의 실시예들을 더 예시하는데 역할을 하고, 그들 실시예들의 다양한 원리들 및 장점들을 설명한다.
도 1은 일부 실시예들에 따른, HUD 어셈블리를 통해 핸드헬드 바코드 판독기를 위한 사용자 인터페이스를 디스플레이하는 예시적인 시스템의 블록도를 도시한다.
도 2a 및 도 2b는 일부 실시예들에 따른, 예시적인 HUD 어셈블리를 도시한다.
도 3은 일부 실시예들에 따른, 사용자의 머리에 장착되는 예시적인 HUD 어셈블리를 도시한다.
도 4는 일부 실시예들에 따른, 예시적인 HUD 어셈블리에 장착되는 예시적인 광 엔진들을 도시한다.
도 5는 일부 실시예들에 따른, 핸드헬드 바코드 판독기에 연관된 예시적인 고유 식별자를 도시한다.
도 6은 일부 실시예들에 따른, 핸드헬드 바코드 판독기에 연관되는 예시적인 제1 및 제2 타겟들을 도시한다.
도 7은 일 실시예에 따른, 사용자에 의해 보여질 때, 카메라의 FOV 내의 핸드헬드 바코드 판독기에 연관된 고유 식별자의 로케이션에 기초하는 프레젠테이션 생성기 상의 포지션을 갖는 예시적인 증강 현실 디스플레이를 도시한다.
도 8 내지 도 12는 사용자가 증강 현실 디스플레이와 상호작용하기 위해 핸드헬드 바코드 판독기를 사용할 수 있는 방법들의 예들을 도시한다.
도 13은 일부 실시예들에 따른, HUD를 통해 핸드헬드 바코드 판독기를 위한 사용자 인터페이스를 디스플레이하기 위한 컴퓨터에 의해 구현되는 예시적인 방법(1300)의 흐름도를 도시한다.
도 14는 일부 실시예들에 따른, 핸드헬드 바코드 판독기의 움직임에 의해 지시되는 사용자 입력에 기초하여 HUD를 통해 디스플레이되는 핸드헬드 바코드 판독기를 위한 사용자 인터페이스를 변경하기 위한 컴퓨터에 의해 구현되는 예시적인 방법의 흐름도를 도시한다.
도 15는 일부 실시예들에 따른, 핸드헬드 바코드 판독기에 의해 방출된 광에 의해 지시되는 사용자 입력에 기초하여 HUD를 통해 디스플레이되는 핸드헬드 바코드 판독기를 위한 사용자 인터페이스를 변경하기 위한 컴퓨터에 의해 구현되는 예시적인 방법의 흐름도를 도시한다.
도 16은 일부 실시예들에 따른, 핸드헬드 바코드 판독기에 연관된 타겟의 장애물에 의해 지시되는 사용자 입력에 기초하여 HUD를 통해 디스플레이되는 핸드헬드 바코드 판독기를 위한 사용자 인터페이스를 변경하기 위한 컴퓨터에 의해 구현되는 예시적인 방법의 흐름도를 도시한다.
통상의 기술자들은 도면들에서의 엘리먼트들이 단순화 및 명료화를 위해 예시되고 반드시 스케일대로 그려지지는 않았다는 것을 이해할 것이다. 예를 들어, 도면들에서의 엘리먼트들 중 일부 엘리먼트들의 치수들은 다른 엘리먼트들에 비하여 본 발명의 실시예들의 이해의 향상을 돕기 위해 과장될 수 있다.
장치 컴포넌트들은 도면들에서의 기존의 심볼들에 의해 적절한 곳에서 표현되어, 통상의 기술자들에게 쉽사리 명백하게 될 세부사항들로 본 개시를 불명료하게 하지 않기 위해서 본 발명의 실시예들을 이해하는데 적절한 그들 특정 세부사항들만을 도시한다.
도 1은 일부 실시예들에 따른, HUD 어셈블리를 통해 바코드 판독기를 위한 사용자 인터페이스를 디스플레이하는 예시적인 시스템(100)의 블록도를 도시한다. 도 1에 도시된 바와 같이, 증강 현실 어댑터(102)와 헤드 마운트(104)가 집단적으로 HUD 어셈블리(105)를 형성할 수 있다. 헤드 마운트(104)는 사람이 증강 현실 어댑터(102)에 의해 생성된 증강 현실 디스플레이를 볼 수 있도록 사람의 머리에 증강 현실 어댑터(102)을 장착하도록 구성될 수 있다. 증강 현실 어댑터(102), 핸드헬드 바코드 판독기(106) 및/또는 서버(110)가 네트워크(112)를 통해 서로 통신할 수 있는데, 그 네트워크는, 예컨대, 무선 네트워크일 수 있다.
증강 현실 어댑터(102)는 HUD 어셈블리(105)를 둘러싸는 환경을 나타내는, FOV(116) 내의 이미지들을 캡처하도록 구성되는 카메라(114)를 포함할 수 있다. 특히, 카메라(114)는 핸드헬드 바코드 판독기(106)와 핸드헬드 바코드 판독기(106)에 부착되거나 또는 아니면 연관되는 고유 식별자(118)의 이미지들을 캡처할 수 있다. 덧붙여, 카메라(114)는 핸드헬드 바코드 판독기(106)에 부착되거나 또는 아니면 연관되는 제1 타겟(119A) 및 제2 타겟(119B)의 이미지들을 캡처할 수 있다.
증강 현실 어댑터(102)는 증강 현실 디스플레이를 생성하도록 구성되는 프레젠테이션 생성기(120)를 더 포함할 수 있다. 프레젠테이션 생성기(120)는 광 엔진들(122)과 도파관(124)을 포함할 수 있다. 프레젠테이션 생성기(120)는 증강 현실 디스플레이를 통해 사용자에게 디스플레이될 핸드헬드 바코드 스캐너(106)에 의해 캡처된 데이터에 기초하여 데이터를 수신할 수 있고, 광 엔진들(122)은 증강 현실 디스플레이의 엘리먼트들을 광의 패턴들 및 펄스들로 변환할 수 있다. 광 엔진들(122)은 증강 현실 디스플레이에 대응하는 이미지들을 도파관(124)을 통해 사용자에게 디스플레이하도록 도파관(124)에 생성된 광을 전달할 수 있다. 일부 예들에서, 광 엔진들(122)은 도파관(124)에 광을 제공하기에 앞서 생성된 광을 컨디셔닝 또는 조작(예컨대, 편광화 및/또는 시준)하는 광학계를 포함한다. 예시적인 프레젠테이션 생성기(120)가 사용자에게 증강 현실 디스플레이의 시각적 컴포넌트들을 제시하기 위해 광 엔진들(122)과 도파관(124)을 이용하지만, 증강 현실 어댑터(102)는, 예를 들어, 음극선관(cathode ray tube)(CRT) 디바이스들 또는 스캐닝 레이저들과 같은 임의의 적합한 이미지 생성 기술을 채용할 수 있다.
도 1의 예에서, 광 엔진들(122)은 수신된 데이터에 기초하여 광을 생성하기 위해 광원(예컨대, 발광 다이오드들(light emitting diodes)(LED들))을 이용한다. 일부 예들에서, 광 엔진들(122)은 광으로의 즉각적인 변환을 위한 환경에서 프로세싱된 데이터를 수신한다. 일부 예들에서, 광 엔진들(122)은 이미지 데이터를 광으로 변환하기 전에 원시 이미지 데이터를 프로세싱한다. 이러한 프로세싱을 수행하기 위해, 도 1의 예시적인 광 엔진들(122)은 이미지 데이터를 프로세싱하도록 구성되는 하나 이상의 로직 회로들을 포함할 수 있으며 그리고/또는 그러한 로직 회로들과 통신할 수 있다.
도 1의 예시적인 도파관(124)은 이미지 데이터에 대응하는 방향 및 패턴으로 광 엔진들(122)로부터 수광된 광을 운반한다. 본 명세서에서 개시된 예들에서, 도 1의 예시적인 도파관(124)은 증강 현실 디스플레이가 카메라(114)의 FOV(116) 내의 고유 식별자(118)의 로케이션에 기초하여 위치될 수 있는 방향으로 광 엔진들로부터 수광된 광을 운반한다. 예를 들면, 핸드헬드 바코드 판독기(106)가 카메라(114)의 FOV(116)의 전체에 걸쳐 이동함에 따라, 핸드헬드 바코드 판독기(106)에 부착되거나 또는 아니면 연관되는 고유 식별자(118) 역시 이동할 수 있다. 따라서, 증강 현실 디스플레이는 핸드헬드 바코드 판독기(106)에 "앵커링된" 것으로 사용자에게 보여지도록 위치될 수 있다.
예시된 예에서, 도파관(124)은 광이 입력에서 출력으로 이동할 때 광을 내부적으로 반사시키기 위해 도광체를 형성하는 복수의 내부 표면들을 포함한다. 예시적인 도파관(124)은 광을 사용자의 눈 쪽으로 회절시키기 위한 격자들을 출력에 포함함으로써, 사용자에게 이미지를 디스플레이한다. 예시된 예에서, 도파관(124)은 사용자가 디스플레이된 이미지와 동시에 주변환경을, 또는 이미지가 도파관(124) 상에 디스플레이되지 않을 때에만 주변환경을 관람할 수 있도록 투명하다. 도 1의 예시적인 도파관(124)은 사용자의 제1 및 제2 눈들 각각을 통해 배치되도록 배치구성되는 제1 및 제2 렌즈들을 포함한다. 그러나, 임의의 적합한 형상 또는 사이즈가 도파관(124)에 대해 가능하다.
도 1의 카메라(114), 프레젠테이션 생성기(120), 예시적인 광 엔진들(122), 및/또는, 더 일반적으로는, 증강 현실 어댑터(102)는 하드웨어, 소프트웨어, 펌웨어, 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현된다. 예를 들면, 일부 예들에서, 증강 현실 어댑터(102)는 프로세서(126)와 메모리(128)를 포함한다.
일부 예들에서, 도 1의 예시적인 카메라(114), 프레젠테이션 생성기(120), 예시적인 광 엔진들(122), 및/또는, 더 일반적으로, 증강 현실 어댑터(102) 중 적어도 하나는 로직 회로(125)에 의해 구현된다. 로직 회로(125)는, 예를 들어, 증강 현실 어댑터(102)에 연관된 동작들을 구현하기 위해 머신 판독가능 명령들을 실행할 수 있는 프로세싱 플랫폼일 수 있다.
로직 회로(125)는, 예를 들어, 하나 이상의 마이크로프로세서들, 제어기들, 및/또는 임의의 적합한 유형의 프로세서와 같은 프로세서(126)를 포함할 수 있다. 로직 회로(125)는 프로세서(126)에 의해 (예컨대, 메모리 제어기를 통해) 액세스 가능한 메모리(128)(예컨대, 휘발성 메모리, 비휘발성 메모리)를 더 포함할 수 있다. 예시적인 프로세서(126)는, 예를 들어, 메모리(128)에 저장되는 머신 판독가능 명령들을 획득하기 위해 메모리(128)와 상호작용한다. 부가적으로 또는 대안적으로, 머신 판독가능 명령들은 저장되는 머신 판독가능 명령들에 대한 액세스를 제공하는 로직 회로(125)에 커플링될 수 있는 하나 이상의 탈착식 매체(예컨대, 콤팩트 디스크, 디지털 다용도 디스크, 탈착식 플래시 메모리 등) 상에 저장될 수 있다. 특히, 메모리(128) 상에 저장되는 머신 판독가능 명령들은 아래에서 도 13 내지 도 16으로 더 상세히 설명되는 방법들 중 임의의 방법의 단계들 중 임의의 단계를 수행하기 위한 명령들을 포함할 수 있다.
로직 회로(125)는, 예를 들어 하나 이상의 네트워크들을 통해, 다른 머신들과의 통신을 가능하게 하는 네트워크 인터페이스(129)를 더 포함할 수 있다. 예시적인 네트워크 인터페이스(129)는 임의의 적합한 프로토콜(들)에 따라 동작하도록 구성되는 임의의 적합한 유형의 통신 인터페이스(들)(예컨대, 유선 및/또는 무선 인터페이스들)를 포함한다.
일부 예들에서, 증강 현실 어댑터(102)는, 예를 들어, 핸드헬드 바코드 판독기(106)에 의해 캡처된 데이터에 기초하여 데이터를 수신하기 위하여, 핸드헬드 바코드 판독기(106)와 (예컨대, 네트워크(112)를 통해, 또는 단거리 무선 연결을 통해) 직접 통신할 수 있다. 예를 들면, 핸드헬드 바코드 판독기(106)에 의해 캡처된 데이터는, 예컨대, 스캔된 재고 아이템들(inventory items)의 지시들/식별들, 여전히 스캔될 재고 아이템들의 지시들/식별들, 스캔된 또는 스캔될 아이템들의 숫자들 등을 포함할 수 있다.
부가적으로 또는 대안적으로, 핸드헬드 바코드 판독기(106)는 서버(110)에 (예컨대, 네트워크(112)를 통해) 캡처된 데이터를 전달할 수 있다. 예를 들면, 서버(110)는, 예를 들어, 하나 이상의 마이크로프로세서들, 제어기들, 및/또는 임의의 적합한 유형의 프로세서와 같은 프로세서(130)를 포함할 수 있다. 서버(110)는 프로세서(126)(예컨대, via 메모리 제어기)에 의해 액세스 가능한 메모리(132)(예컨대, 휘발성 메모리, 비휘발성 메모리)를 더 포함할 수 있다. 예시적인 프로세서(130)는, 예를 들어, 메모리(132)에 저장되는 머신 판독가능 명령들 또는 다른 데이터를 획득하기 위해 메모리(132)와 상호작용한다. 부가적으로 또는 대안적으로, 머신 판독가능 명령들은 저장되는 머신 판독가능 명령들에 대한 액세스를 제공하는 서버(110)에 커플링될 수 있는 하나 이상의 탈착식 매체(예컨대, 콤팩트 디스크, 디지털 다용도 디스크, 탈착식 플래시 메모리 등) 상에 저장될 수 있다.
따라서, 일부 예들에서 서버(110)는 핸드헬드 바코드 판독기(106)로부터의 캡처된 데이터를 메모리(132)에 또는 데이터베이스(134)에 저장할 수 있고, 결국 캡처된 데이터(및/또는 캡처된 데이터에 기초한 데이터)를 증강 현실 어댑터(102)에 전달할 수 있다. 더구나, 일부 예들에서, 서버(110)는, 예컨대, HUD 어셈블리(105)의 사용자에게 디스플레이될 핸드헬드 바코드 판독기(106)로부터의 데이터에 기초하여 증강 현실 디스플레이들을 생성하기 위해, 핸드헬드 바코드 판독기(106)로부터의 캡처된 데이터에 대해 추가적인 프로세싱 단계들을 수행할 수 있다. 더구나, 메모리(130) 상에 저장되는 머신 판독가능 명령들은 아래에서 도 13 내지 도 16으로 더 상세히 설명되는 방법들 중 임의의 방법의 단계들 중 임의의 단계를 수행하기 위한 명령들을 포함할 수 있다.
이제 도 2a 및 도 2b로 가면, 예시적인 HUD 어셈블리(105)가 일 실시예에 따라 도시된다. 도 2a 및 도 2b의 예시적인 HUD 어셈블리(105)는 증강 현실 어댑터(102)와 예시적인 헤드 마운트(104)를 포함한다. 도 2a 및 도 2b의 예시적인 증강 현실 어댑터(102)는, 예를 들어, 도 2a 및 도 2b의 예시적인 HUD 어셈블리(105)를 착용한 사용자에 의한 소비를 위해 시청각 프레젠테이션을 생성하도록 구성되는 컴포넌트들을 수용 또는 운반한다.
도 3은 사용자의 머리(300)에 장착되는 도 2a 및 도 2b의 예시적인 HUD 어셈블리(105)를 도시한다.
도 4는 HUD 어셈블리의 사용자에게 시각적 미디어(예컨대, 도 7에 도시된 바와 같은 증강 현실 디스플레이)를 디스플레이하는 예시적인 광 엔진들(122)을 도시한다. 위에서 설명된 바와 같이, 광 엔진들(122)은 도파관에 의해 운반될 광을 생성한다. 도 4의 예시적인 광 엔진들(122)이 각각의 접안렌즈(eyepiece) 위에 위치되지만, 광 엔진들(122)은, 예를 들어, 프레임들의 에지에서와 같은 임의의 적합한 로케이션에 위치될 수 있다.
도 5는 일부 실시예들에 따른, 핸드헬드 바코드 판독기(106)에 연관되고 부착되는 예시적인 고유 식별자(118)를 도시한다. 예를 들어, 고유 식별자(118)는 특정 핸드헬드 바코드 판독기(106)에 연관되는 특정 바코드, QR 코드, 또는 다른 코드일 수 있다. 일부 예들에서, 고유 식별자(118)는 스티커 상에 인쇄될 수 있거나 또는 그렇지 않으면 핸드헬드 바코드 판독기(106)의 하우징에 탈착식으로 부착될 수 있다. 다른 예들에서, 고유 식별자(118)는 핸드헬드 바코드 판독기(106)의 하우징에 영구적으로 부착되거나 또는 인쇄될 수 있다.
도 6은 일부 실시예들에 따른, 핸드헬드 바코드 판독기(106)에 연관되고 부착되는 예시적인 제1 타겟(119A) 및 예시적인 제2 타겟(119B)을 도시한다. 일부 예들에서, 고유 식별자(118) 외에도 제1 타겟(119A)과 제2 타겟(119B)가 핸드헬드 바코드 판독기(106)에 부착될 수 있다. 예를 들면, 제1 타겟(119A)과 제2 타겟(119B)은 핸드헬드 바코드 판독기(106)에 연관되는 바코드들, QR 코드들, 또는 다른 코드들을 포함할 수 있다. 예를 들면, 제1 타겟(119A)은 핸드헬드 바코드 판독기(106)에 연관되는 제1 바코드, QR 코드, 또는 다른 코드일 수 있는 한편, 제2 타겟(119B)은 핸드헬드 바코드 판독기(106)에 연관되는 제2 바코드, QR 코드, 또는 다른 코드이고, 고유 식별자(118)는 핸드헬드 바코드 판독기(106)에 연관되는 제3 바코드, QR 코드, 또는 다른 코드이다. 다른 예들에서, 제1 타겟(119A)과 제2 타겟(119B)은 핸드헬드 바코드 판독기(106)의 기존의 특징들일 수 있다. 예를 들어, 제1 타겟(119A)은 핸드헬드 바코드 판독기의 제1 LED(106)일 수 있는 한편, 제2 타겟(119B)은 핸드헬드 바코드 판독기의 제2 LED(106)이다.
도 7은 일 실시예에 따른, 사용자에 의해 보여질 때, 카메라의 FOV 내의 핸드헬드 바코드 판독기(106)에 연관된 고유 식별자(118)의 로케이션에 기초하는 프레젠테이션 생성기 상의 포지션을 갖는 예시적인 증강 현실 디스플레이(702)를 도시한다. 도 7에 도시된 바와 같이, 증강 현실 디스플레이(702)는 사용자의 관점에서 고유 식별자(118)의 로케이션 바로 위에 위치되는 것으로 보인다. 특히, 증강 현실 디스플레이(702)는 고유 식별자(118)에 앵커링될 수 있고, 그 증강 현실 디스플레이의 프레젠테이션 생성기 상의 포지션은, 고유 식별자(118)의 로케이션이 카메라의 FOV 내에서 변경됨에 따라 변경될 수 있다.
도 8 내지 도 12는 사용자가 증강 현실 디스플레이(702)와 상호작용하기 위해 핸드헬드 바코드 판독기(106)를 사용할 수 있는 방법들의 예들을 도시한다. 예를 들어, 도 8에 도시된 바와 같이, 사용자가 증강 현실 디스플레이(702)의 좌측 또는 우측 부분에 보인 옵션을 선택하기 위해, 핸드헬드 바코드 판독기(106)를 각각 좌측으로 또는 우측으로 기울일 수 있다. 다른 예로서, 도 9에 도시된 바와 같이, 사용자가 증강 현실 디스플레이(702) 상에 보여진 선택을 확인하기 위해 핸드헬드 바코드 판독기(106)을 앞뒤로 기울일 수 있다. 또 다른 예로서, 도 10에 도시된 바와 같이, 사용자가 증강 현실 디스플레이(702) 상에 보여진 선택을 확인하기 위하여, 핸드헬드 바코드 판독기(106)의 트리거를 활성화시켜 핸드헬드 바코드 판독기로 하여금 광을 방출하게 할 수 있다. 덧붙여, 도 11 및 도 12에 도시된 바와 같이, 사용자가 증강 현실 디스플레이(702)의 좌측 또는 우측 부분에 보여진 옵션을 선택하기 위하여, 각각, 엄지 또는 손가락으로 핸드헬드 바코드 판독기(106)의 좌측 부분에 부착되거나 또는 아니면 연관되는 제1 타겟(119A), 또는 핸드헬드 바코드 판독기(106)의 우측 부분에 부착되거나 또는 아니면 연관되는 제2 타겟(119B)를 덮을 수 있다.
도 13은 일부 실시예들에 따른, HUD를 통해 바코드 판독기를 위한 사용자 인터페이스를 디스플레이하기 위한 컴퓨터에 의해 구현되는 예시적인 방법(1300)의 흐름도를 도시한다. 방법(1300)의 하나 이상의 단계들은 컴퓨터 판독가능 메모리 사에 저장되고 하나 이상의 프로세서들 상에서 실행 가능한 명령 세트로서 구현될 수 있다.
블록 1302에서, 증강 현실 어댑터의 카메라(예컨대, HUD에 연관된)가 이미지들을 캡처할 수 있다. 카메라는 FOV를 가질 수 있고 FOV 내의 이미지들을 캡처할 수 있다.
블록 1304에서, 카메라에 의해 캡처된 이미지들은 카메라의 FOV 내에서 핸드헬드 바코드 판독기에 고유한 식별자와 식별자의 로케이션을 식별하기 위해 분석될 수 있다. 예를 들어, 식별자는, 예컨대, 도 5에 도시된 바와 같이, 핸드헬드 바코드 판독기에 연관되고 핸드헬드 바코드 판독기의 하우징에 부착되는 고유 바코드 또는 QR 코드일 수 있다.
블록 1306에서, 식별자에 연관되는 핸드헬드 바코드 판독기가 제1 데이터를 캡처함에 따라, 증강 현실 어댑터에 연관된 프로세서가 제1 데이터에 기초하여 제2 데이터를 수신할 수 있다. 일부 사례들에서, 핸드헬드 바코드 판독기와 증강 현실 어댑터는 단거리 무선 연결을 통해 통신할 수 있고, 증강 현실 어댑터는 핸드헬드 바코드 판독기로부터 직접 제2 데이터를 수신할 수 있다. 다른 사례들에서, 핸드헬드 바코드 판독기는 서버와 통신할 수 있거나 또는 그렇지 않으면 서버에 제1 데이터를 제공할 수 있으며, 결국 서버는 제1 데이터를 제2 데이터로 변환하고 제2 데이터를 증강 현실 어댑터에 송신할 수 있다.
블록 1308에서, 프로세서는 증강 현실 어댑터의 프레젠테이션 생성기로 하여금 제2 데이터에 기초하여, 증강 현실 어댑터의 증강 현실 디스플레이를 통해, 제3 데이터를 디스플레이하게 할 수 있다. 제3 데이터는 스캔된 재고 아이템들의 지시들/식별들, 여전히 스캔될 재고 아이템들의 지시들/식별들, 스캔된 또는 스캔될 아이템들의 숫자들 등과 같은 핸드헬드 바코드 판독기에 의한 스캔들에 기초하여 정보를 포함할 수 있다. 덧붙여서, 일부 예들에서, 제3 데이터는 사용자 입력을 요구하는 옵션들 또는 다른 프롬프트들을 포함할 수 있다.
더욱이, 증강 현실 어댑터의 증강 현실 디스플레이를 통해 디스플레이되는 제3 데이터는 핸드헬드 바코드 판독기가 제1 데이터를 캡처하는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 디스플레이될 수 있다. 예를 들어, 핸드헬드 바코드 판독기가 바코드들을 스캔함에 따라, 그들 바코드들에 연관된 정보는 증강 현실 디스플레이를 통해 거의 즉시 디스플레이될 수 있다.
증강 현실 디스플레이는, 예컨대, 도 7에 도시된 바와 같이, 핸드헬드 바코드 판독기를 위한 "가상 스크린" 사용자 인터페이스일 수 있다. 특히, 프레젠테이션 생성기 상의 증강 현실 디스플레이의 포지션은 카메라의 FOV 내의 식별자의 로케이션에 기초할 수 있다. 예를 들면, 식별자가 카메라의 FOV의 우측상단 귀퉁이에 위치될 때, 증강 현실 디스플레이는 프레젠테이션 생성기의 우측상단 귀퉁이에 위치될 수 있고, 그 식별자가 카메라의 FOV 내에서 이동함에 따라, 증강 현실 디스플레이는 프레젠테이션 생성기 상에서 식별자를 추종할 수 있다. 다르게 말하면, 증강 현실 어댑터의 사용자의 경우, 증강 현실 디스플레이는 식별자에 앵커링되는(그리고, 프록시에 의해, 핸드헬드 바코드 판독기에 앵커링되는) 것으로 보일 수 있다.
다양한 예들에서, 방법(1300)은 도 14에 관해 더 상세히 논의되는 바와 같은 방법(1400), 도 15에 관해 더 상세히 논의되는 바와 같은 방법(1500), 및/또는 도 16에 관해 더 상세히 논의되는 바와 같은 방법(1600)의 단계들을 포함하도록 진행할 수 있다.
도 14는 일부 실시예들에 따른, 바코드 판독기의 움직임에 의해 지시되는 사용자 입력에 기초하여 HUD를 통해 디스플레이되는 바코드 판독기를 위한 사용자 인터페이스를 변경하기 위한 컴퓨터에 의해 구현되는 예시적인 방법(1400)의 흐름도를 도시한다. 방법(1400)의 하나 이상의 단계들은 컴퓨터 판독가능 메모리 사에 저장되고 하나 이상의 프로세서들 상에서 실행 가능한 명령 세트로서 구현될 수 있다.
블록 1402에서, 프로세서는 FOV 내의 핸드헬드 바코드 판독기에 연관되는 식별자의 움직임을 검출하기 위해 (예컨대, 블록 1302에서) 카메라에 의해 캡처된 이미지들을 분석할 수 있다. 일부 예들에서, FOV 내의 식별자의 움직임을 검출하는 단계는 식별자의 움직임의 방향을 검출하는 단계를 포함할 수 있다. 예를 들어, 사용자가 (예컨대, 도 8에 도시된 바와 같이) 핸드헬드 바코드 판독기를 좌측 또는 우측으로 기울여, 핸드헬드 바코드 판독기가 기울어짐에 따라 식별자로 하여금 좌측 또는 우측으로 이동하게 할 수 있다. 다른 예로서, 사용자가 (예컨대, 도 9에 도시된 바와 같이) 핸드헬드 바코드 판독기를 앞쪽과 뒤쪽으로 기울여, 핸드헬드 바코드 판독기가 기울어짐에 따라 식별자로 하여금 앞쪽과 뒤쪽으로 이동하게 할 수 있다.
블록 1404에서, 프로세서는 식별자의 움직임이 사용자 선택을 나타낸다고 결정할 수 있다. 예를 들면, 식별자의 움직임이 사용자 선택을 나타낸다고 결정하는 단계는, 사용자가 물체들을 스캔하기 위해 핸드헬드 바코드 판독기를 이동함에 따라 단순히 이동되고 있는 핸드헬드 바코드 판독기로 인한 움직임으로부터 사용자 선택을 나타내는 움직임을 구별하는 단계를 포함할 수 있다. 예를 들어, 더 빠른 움직임이 가능성 있는 사용자 선택을 나타낼 수 있는 반면, 더 느린 움직임은 사용자가 물체들을 스캔하기 위해 핸드헬드 바코드 판독기를 단순히 이동시키는 것임을 나타낸다. 더구나, 프롬프트 또는 옵션들이 증강 현실 디스플레이를 통해 디스플레이되고 있을 때의 움직임이 가능성 있는 사용자 선택을 나타낼 수 있는 반면, 프롬프트들 또는 옵션들이 증강 현실 디스플레이를 통해 디스플레이되고 있지 않을 때의 움직임은 사용자가 물체들을 스캔하기 위해 핸드헬드 바코드 판독기를 단순히 이동하고 있음을 나타낼 수 있다.
더욱이, 일부 예들에서, 사용자 선택은 식별자의 움직임의 방향에 기초하여 결정될 수 있다. 예를 들면, 사용자가 핸드헬드 바코드 판독기를 좌측으로 기울일 때, 식별자는 좌측으로 이동하여, 사용자가 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션을 선택하고 있음을 나타낼 수 있고, 사용자가 핸드헬드 바코드 판독기를 우측으로 기울일 때, 식별자는 우측으로 이동하여, 사용자가 증강 현실 디스플레이의 우측 부분 상에 디스플레이된 옵션을 선택하고 있음을 나타낼 수 있다. 더구나, 일부 예들에서, 전진/후진 모션(우/좌 모션과 비교됨)이 사용자가 선택을 확인함을 나타낼 수 있다.
블록 1406에서, 프로세서는, 예컨대, 도 8 또는 도 9에 도시된 바와 같이, 사용자 선택에 기초하여 증강 현실 디스플레이를 수정할 수 있다. 예를 들면, 사용자가 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션을 선택하였다고 프로세서가 결정하면, 프로세서는 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션에 관련된 더 많은 정보를 보이도록 증강 현실 디스플레이를 수정할 수 있다. 마찬가지로, 사용자가 선택을 확인하였다고 프로세서가 결정하면, 프로세서는 선택의 확인을 디스플레이하기 위해 증강 현실 디스플레이를 수정할 수 있다.
도 15는 일부 실시예들에 따른, 바코드 판독기에 의해 방출된 광에 의해 지시되는 사용자 입력에 기초하여 HUD를 통해 디스플레이되는 바코드 판독기를 위한 사용자 인터페이스를 변경하기 위한 컴퓨터에 의해 구현되는 예시적인 방법(1500)의 흐름도를 도시한다. 방법(1500)의 하나 이상의 단계들은 컴퓨터 판독가능 메모리 사에 저장되고 하나 이상의 프로세서들 상에서 실행 가능한 명령 세트로서 구현될 수 있다.
블록 1502에서, 프로세서는 핸드헬드 바코드 판독기에 의해 방출된 광을 검출하기 위해 (예컨대, 블록 1302에서) 카메라에 의해 캡처된 이미지들을 분석할 수 있다. 일부 예들에서, 핸드헬드 바코드 판독기에 의해 방출된 광을 검출하는 단계는 카메라의 FOV 내에서 식별자의 로케이션에 대해 상대적인 광의 로케이션을 검출하는 단계를 포함할 수 있다.
블록 1504에서, 프로세서는 핸드헬드 바코드 판독기에 의해 방출된 광이 사용자 선택을 나타낸다고 결정할 수 있다. 예를 들어, 사용자는, 예컨대, 도 10에 도시된 바와 같이, 선택을 하기 위하여 바코드들을 스캔하는데 통상적으로 사용되는 광을 방출하도록 핸드헬드 바코드 판독기의 트리거를 활성화시킬 수 있다. 일부 예들에서, 사용자는 선택을 확인하기 위하여 핸드헬드 바코드 판독기의 트리거를 단순히 활성화시켜 핸드헬드 바코드 판독기로 하여금 광을 방출하게 할 수 있다. 다른 예들에서, 사용자 선택은 카메라의 FOV 내의 식별자의 로케이션에 대해 상대적인 광의 로케이션에 기초하여 결정될 수 있다. 예를 들어, 사용자가, 증강 현실 디스플레이의 좌측 부분에 디스플레이된 옵션의 선택을 하기 위하여 핸드헬드 바코드 스캐너로 하여금 좌측을 마주하는 광을 방출하게 하도록 핸드헬드 바코드 판독기를 좌측으로 회전시키고 핸드헬드 바코드 판독기의 트리거를 활성화시킬 수 있거나, 또는 증강 현실 디스플레이의 우측 부분 상에 디스플레이된 옵션의 선택을 하기 위하여 핸드헬드 바코드 스캐너로 하여금 우측을 마주하는 광을 방출하도록 핸드헬드 바코드 판독기를 우측으로 회전시키고 핸드헬드 바코드 판독기의 트리거를 활성화시킬 수 있다.
더구나, 일부 예들에서, 핸드헬드 바코드 판독기에 의해 방출된 광이 사용자 선택을 나타낸다고 결정하는 단계는, 핸드헬드 바코드 판독기에 의해 방출된 광이 바코드에 충돌하지 않는 것으로 결정하기 위해 카메라에 의해 캡처된 이미지들을 분석하는 단계를 포함할 수 있다. 예를 들어, 재고 아이템들의 바코드들을 스캔하기 위해 핸드헬드 바코드를 단순히 사용하는 사용자가 선택하려는 의도가 아닐 수 있다.
블록 1506에서, 프로세서는, 예컨대, 도 10에 도시된 바와 같이, 사용자 선택에 기초하여 증강 현실 디스플레이를 수정할 수 있다. 예를 들면, 사용자가 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션을 선택하였다고 프로세서가 결정하며, 프로세서는 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션에 관련된 더 많은 정보를 보이도록 증강 현실 디스플레이를 수정할 수 있다. 마찬가지로, 사용자가 선택을 확인하였다고 프로세서가 결정하면, 프로세서는 선택의 확인을 디스플레이하기 위해 증강 현실 디스플레이를 수정할 수 있다.
도 16은 일부 실시예들에 따른, 바코드 판독기에 연관된 타겟의 장애물에 의해 지시되는 사용자 입력에 기초하여 HUD를 통해 디스플레이되는 바코드 판독기를 위한 사용자 인터페이스를 변경하기 위한 컴퓨터에 의해 구현되는 예시적인 방법(1600)의 흐름도를 도시한다. 방법(1600)의 하나 이상의 단계들은 컴퓨터 판독가능 메모리 사에 저장되고 하나 이상의 프로세서들 상에서 실행 가능한 명령 세트로서 구현될 수 있다.
블록 1602에서, 프로세서는 (예컨대, 제1 시간에) 핸드헬드 바코드 판독기에 연관된 제1 타겟과 핸드헬드 바코드 판독기에 연관된 제2 타겟을 식별하기 위해 (예컨대, 블록 1302에서) 카메라에 의해 캡처된 이미지들을 분석할 수 있다. 일부 예들에서, 제1 및 제2 타겟들은, 예컨대, 도 6에 도시된 바와 같이, 핸드헬드 바코드 판독기에 부착된 바코드들 또는 QR 코드들일 수 있다. 다른 예들에서, 제1 및 제2 타겟들은, 예컨대, 도 12에 도시된 바와 같이, 핸드헬드 바코드 판독기의 제1 및 제2 LED들일 수 있다.
블록 1604에서, 프로세서는 제1 타겟 또는 제2 타겟 중의 하나가 카메라의 FOV 내에서 차단됨을 결정하기 위해 (예컨대, 제1 시간 후 제2 시간에) 카메라에 의해 캡처된 이미지들을 분석할 수 있다. 예를 들어, 사용자는, 예컨대, 도 11 또는 도 12에 도시된 바와 같이, 자신의 손가락 또는 엄지로 제1 또는 제2 타겟을 덮어서 타겟이 카메라의 FOV 내에서 차단되게 할 수 있다.
블록 1606에서, 프로세서는 차단된 제1 타겟 또는 제2 타겟이 사용자 선택을 나타낸다고 결정할 수 있다. 예를 들어, 프로세서는 핸드헬드 바코드 판독기의 좌측 부분에 위치된 차단된 제1 타겟이 사용자가 증강 현실 디스플레이의 좌측 부분에 제시된 옵션을 선택하였음을 나타내는 것으로 결정할 수 있다. 마찬가지로, 프로세서는 핸드헬드 바코드 판독기의 우측 부분에 위치된 차단된 제2 타겟이 사용자가 증강 현실 디스플레이의 우측 부분에 제시된 옵션을 선택하였음을 나타내는 것으로 결정할 수 있다.
블록 1608에서, 프로세서는, 예컨대, 도 11 또는 도 12에 도시된 바와 같이, 사용자 선택에 기초하여 증강 현실 디스플레이를 수정할 수 있다. 예를 들면, 사용자가 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션을 선택하였다고 프로세서가 결정하며, 프로세서는 증강 현실 디스플레이의 좌측 부분 상에 디스플레이된 옵션에 관련된 더 많은 정보를 보이도록 증강 현실 디스플레이를 수정할 수 있다.
전술한 상세한 설명에서, 특정 실시예들이 설명되었다.　 그러나, 본 기술분야의 통상의 기술자는 다양한 수정들 및 변경들이 아래의 청구항들에서 언급된 바와 같은 본 발명의 범위로부터 벗어남 없이 이루어질 수 있다는 것을 이해한다.　 따라서, 명세서 및 도면은 제한하는 의미가 아니라 예시적인 것으로 간주되는 것이고, 모든 이러한 수정들은 본원의 교시의 범위 내에 포함되는 것으로 의도된다.　 덧붙여, 설명된 실시예들/예들/구현예들은 상호 배타적인 것으로서 해석되지 않아야 하고, 대신에, 이러한 조합들이 임의의 방식으로 허용되면 잠재적으로 결합 가능한 것으로서 이해되어야 한다.　 다르게 말하면, 전술한 실시예들/예들/구현예들 중 임의의 것에서 개시되는 임의의 특징은 전술한 다른 실시예들/예들/구현예들 중 임의의 것에 포함될 수 있다.
이점들, 장점들, 문제들에 대한 해법들, 및 임의의 이점, 장점, 또는 해법이 발생하거나 또는 더 많이 표명되게 할 수 있는 임의의 엘리먼트(들)는 임의의 또는 모든 청구항들의 중요한, 요구된, 또는 필수적인 특징들 또는 엘리먼트들로서 해석되는 것은 아니다. 본 발명은 본 출원의 계류 중에 이루어진 임의의 수정들과 등록되는 바와 같은 그들 청구항들의 모든 동등물들을 포함하는 첨부의 청구항들에 의해서만 정의된다.
더구나 본 문서에서, 제1 및 제2, 상단 및 하단 등과 같은 관계적 용어들은 임의의 실제적인 이러한 관계 또는 엔티티들 또는 액션들 사이의 순서를 반드시 요구하거나 또는 암시하는 일 없이, 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션으로부터 구별하기 위해서만 사용될 수 있다. "포함한다", "포함하는", "가진다", "갖는", "구비한다", "구비하는", "담고 있다", "담고 있는" 또는 그것들의 임의의 다른 변형과 같은 용어들은, 비독점적 개재물을 커버하도록 의도되어서, 엘리먼트들의 리스트를 포함하며, 가지며, 구비하며, 담고 있는 프로세스, 방법, 물품, 또는 장치는, 그들 엘리먼트들만 포함하는 것이 아니라 이러한 프로세스, 방법, 물품, 또는 장치에 내재하거나 또는 명시적으로 열거되지 않은 다른 엘리먼트들을 포함할 수 있다. "~ 하나의 ~ 을 포함한다", "~ 하나의 ~ 을 가진다", "~ 하나의 ~ 을 구비한다" 또는 "~ 하나의 ~ 을 담고 있다"로 말이 이어지는 엘리먼트는, 더 이상의 제약조건들 없이, 엘리먼트를 포함하며, 가지며, 구비하며, 담고 있는 프로세스, 방법, 물품, 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다. 관사 "a" 및 "an"의 사용에 해당하는 용어들은 본 명세서에서 명시적으로 달리 언급되지 않는 한 하나 이상으로서 정의된다. "실질적으로", "본질적으로", "대략", "약" 또는 그것들의 임의의 다른 버전과 같은 용어들은, 본 기술분야의 통상의 기술자에 의해 이해되는 바에 가까운 것으로서 정의되고, 하나의 비제한적인 실시예에서 그 용어는 10% 이내, 다른 실시예에서 5% 이내, 또다른 실시예에서 1% 이내 그리고 또다른 실시예에서 0.5% 이내인 것으로 정의된다. 본 명세서에서 사용되는 바와 같은 "커플링되는"이란 용어는 연결되는 것으로서 정의되지만, 반드시 직접적으로 그리고 반드시 기계적으로 연결되는 것은 아니다. 특정한 방식으로 "구성되는" 디바이스 또는 구조는 적어도 그 방식으로 구성되지만, 열거되지 않은 방식들로 또한 구성될 수 있다.
본 개시에서 사용되는 바와 같이, "로직 회로"라는 용어는 하나 이상의 머신들을 제어하기 위해 그리고/또는 하나 이상의 머신들의 동작들을 수행하기 위해 (예컨대, 미리 결정된 구성에 따른 동작을 통해 그리고/또는 저장된 머신 판독가능 명령들의 실행을 통해) 구성되는 적어도 하나의 하드웨어 컴포넌트를 포함하는 물리적 디바이스로서 명시적으로 정의된다. 로직 회로의 예들은 하나 이상의 프로세서들, 하나 이상의 코프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 제어기들, 하나 이상의 디지털 신호 프로세서들(digital signal processors)(DSP들), 하나 이상의 주문형 집적회로들(application specific integrated circuits)(ASIC들), 하나 이상의 필드 프로그램가능 게이트 어레이들(field programmable gate arrays)(FPGA들), 하나 이상의 마이크로제어기 유닛들(microcontroller units)(MCU들), 하나 이상의 하드웨어 가속기들, 하나 이상의 특수 목적 컴퓨터 칩들, 및 하나 이상의 시스템 온 어 칩(system-on-a-chip)(SoC) 디바이스들을 포함한다. 예시적인 일부 로직 회로들, 이를테면 ASIC들 또는 FPGA들은, 동작들을 수행하기 위한 구체적으로 구성되는 하드웨어이다. 예시적인 일부 로직 회로들은 동작들을 수행하기 위해 머신 판독가능 명령들을 실행하는 하드웨어이다. 예시적인 일부 로직 회로들은 머신 판독가능 명령들을 실행하는 구체적으로 구성되는 하드웨어 및 하드웨어의 조합을 포함한다.
본 개시에서 사용되는 바와 같이, "유형의 머신 판독가능 매체", "비일시적 머신 판독가능 매체" 및 "머신 판독가능 저장 디바이스"라는 용어들의 각각은, 머신 판독가능 명령들(예컨대, 소프트웨어 및/또는 펌웨어 형태의 프로그램 코드)이 저장될 수 있는 저장 매체 (예컨대, 하드 디스크 드라이브의 플래터, 디지털 다용도 디스크, 콤팩트 디스크, 플래시 메모리, 판독전용 메모리, 랜덤-액세스 메모리, 등)로서 명시적으로 정의된다. 게다가, 본 개시에서 사용되는 바와 같이, "유형의 머신 판독가능 매체", "비일시적 머신 판독가능 매체" 및 "머신 판독가능 저장 디바이스"이란 용어들의 각각은 전파하는 신호들을 배제하도록 명시적으로 정의된다. 다시 말하면, 본 특허의 임의의 청구항에서 사용되는 바와 같이, "유형의 머신 판독가능 매체"는 전파하는 신호에 의해 구현되는 것으로 독해될 수 없다. 게다가, 본 특허의 임의의 청구항에서 사용되는 바와 같이, "비일시적 머신 판독가능 매체"는 전파하는 신호에 의해 구현되는 것으로 해석될 수 없다. 게다가, 본 특허의 임의의 청구항에서 사용되는 바와 같이, "머신 판독가능 저장 디바이스"는 전파하는 신호에 의해 구현되는 것으로 해석될 수 없다.
덧붙여, 본 개시에서 사용되는 바와 같이, "유형의 머신 판독가능 매체", "비일시적 머신 판독가능 매체" 및 "머신 판독가능 저장 디바이스"라는 용어들의 각각은 임의의 적합한 지속시간동안(예컨대, 영구적으로, 연장된 시구간 동안(예컨대, 머신 판독가능 명령들에 연관된 프로그램이 실행되고 있는 동안), 및/또는 짧은 시구간 동안(예컨대, 머신 판독가능 명령들이 캐싱되는 동안 및/또는 버퍼링 프로세스 동안)) 머신 판독가능 명령들이 저장되는 저장 매체로서 명시적으로 정의된다.
본 개시의 요약서는 독자가 기술적 개시내용의 특성을 빠르게 확인하는 것을 허용하기 위해 제공된다. 그것은 청구항들의 범위 또는 의미를 해석 또는 제한하기 위해 그것이 사용되지 않을 것이라는 이해와 함께 제출된다. 덧붙여서, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화하는 목적으로 다양한 실시예들에서 함께 그룹화된다는 것을 알 수 있다. 본 개시내용의 이 방법은 청구된 실시예들이 각각의 청구항에서 명시적으로 언급된 더 많은 특징들을 요구한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 다음의 청구항들이 반영하는 대로, 발명적인 주제는 개시된 단일 실시예의 모든 특징들보다는 적게 존재한다. 따라서, 다음의 청구항들은 상세한 설명 속에 이와 같이 포함되어, 각각의 청구항은 따로따로 청구된 요지로서 독자적으로 존립한다.

Claims (20)

  1. 시스템으로서,
    고유 식별자를 갖는 핸드헬드 바코드 판독기; 및
    증강 현실 어댑터를 포함하며,
    상기 증강 현실 어댑터는:
    시야(FOV)를 갖는 카메라;
    상기 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여 증강 현실 디스플레이를 제공하도록 구성되는 프레젠테이션 생성기 ― 상기 프레젠테이션 생성기 상의 상기 증강 현실 디스플레이의 포지션은 상기 FOV 내의 상기 식별자의 로케이션에 기초함 ―;
    비일시적 컴퓨터 실행가능 명령들을 저장하도록 구성되는 메모리; 및
    상기 프레젠테이션 생성기, 상기 카메라, 및 상기 메모리와 인터페이싱하도록 구성되는, 그리고 비일시적 컴퓨터 실행가능 명령들을 실행하도록 구성되는 프로세서를 가지며,
    상기 비일시적 컴퓨터 실행가능 명령들은, 상기 프로세서로 하여금:
    상기 핸드헬드 바코드 판독기의 식별자를 식별하기 위해 상기 카메라에 의해 캡처된 이미지들을 분석하는 것;
    상기 식별자에 연관된 상기 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여, 제2 데이터를 수신하는 것; 및
    상기 프레젠테이션 생성기로 하여금, 상기 증강 현실 디스플레이를 통해, 상기 제2 데이터에 기초하여, 제3 데이터를 디스플레이하게 하는 것 ― 상기 프레젠테이션 생성기는 상기 제1 데이터가 상기 핸드헬드 바코드 판독기에 의해 캡처되는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 상기 제3 데이터를 디스플레이하도록 구성됨 ― 을 하게 하는, 시스템.
  2. 제1항에 있어서, 상기 핸드헬드 바코드 판독기와 상기 증강 현실 어댑터는 단거리 무선 연결을 통해 통신하는, 시스템.
  3. 제1항에 있어서, 상기 비일시적 컴퓨터 실행가능 명령들은 추가로, 상기 프로세서로 하여금,
    상기 식별자의 움직임을 검출하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 것;
    상기 식별자의 상기 움직임이 사용자 선택을 나타낸다고 결정하는 것; 및
    상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 것을 하게 하는, 시스템.
  4. 제3항에 있어서, 상기 식별자의 상기 움직임을 검출하는 것은 상기 식별자의 상기 움직임의 방향을 검출하는 것을 포함하고, 상기 사용자 선택은 상기 식별자의 상기 움직임의 상기 방향에 기초하여 결정되는, 시스템.
  5. 제1항에 있어서, 상기 비일시적 컴퓨터 실행가능 명령들은 추가로, 상기 프로세서로 하여금:
    상기 핸드헬드 바코드 판독기에 의해 방출된 광을 검출하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 것;
    상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광이 사용자 선택을 나타낸다고 결정하는 것; 및
    상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 것을 하게 하는, 시스템.
  6. 제5항에 있어서, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광이 사용자 선택을 나타낸다고 결정하는 것은, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광이 바코드에 충돌하지 않는 것으로 결정하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 것을 포함하는, 시스템.
  7. 제5항에 있어서, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광을 검출하는 것은 상기 식별자의 상기 로케이션에 대해 상대적인 상기 광의 로케이션을 검출하는 것을 포함하고, 상기 사용자 선택은 상기 식별자의 상기 로케이션에 대해 상대적인 상기 광의 상기 로케이션에 기초하여 결정되는, 시스템.
  8. 제1항에 있어서, 상기 비일시적 컴퓨터 실행가능 명령들은 추가로, 상기 프로세서로 하여금:
    상기 핸드헬드 바코드 판독기에 연관된 제1 타겟 및 상기 핸드헬드 바코드 판독기에 연관된 제2 타겟을 식별하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 것;
    상기 제1 타겟 또는 상기 제2 타겟 중의 하나가 상기 FOV 내에서 차단됨을 결정하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 것;
    차단된 제1 타겟 또는 제2 타겟이 사용자 선택을 나타낸다고 결정하는 것; 및
    상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 것을 하게 하는, 시스템.
  9. 제8항에 있어서, 상기 제1 타겟은 상기 핸드헬드 바코드 판독기의 제1 LED이고 상기 제2 타겟은 상기 핸드헬드 바코드 판독기의 제2 LED인, 시스템.
  10. 증강 현실 어댑터로서,
    시야(FOV)를 갖는 카메라;
    고유 식별자를 갖는 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여 증강 현실 디스플레이를 제공하도록 구성되는 프레젠테이션 생성기 ― 상기 프레젠테이션 생성기 상의 상기 증강 현실 디스플레이의 포지션은 상기 FOV 내의 상기 식별자의 로케이션에 기초함 ―;
    비일시적 컴퓨터 실행가능 명령들을 저장하도록 구성되는 메모리; 및
    상기 프레젠테이션 생성기, 상기 카메라, 및 상기 메모리와 인터페이싱하도록 구성되는, 그리고 비일시적 컴퓨터 실행가능 명령들을 실행하도록 구성되는 프로세서를 포함하며,
    상기 비일시적 컴퓨터 실행가능 명령들은, 상기 프로세서로 하여금:
    상기 핸드헬드 바코드 판독기의 식별자를 식별하기 위해 상기 카메라에 의해 캡처된 이미지들을 분석하는 것;
    상기 식별자에 연관된 상기 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여, 제2 데이터를 수신하는 것; 및
    상기 프레젠테이션 생성기로 하여금, 상기 증강 현실 디스플레이를 통해, 상기 제2 데이터에 기초하여, 제3 데이터를 디스플레이하게 하는 것 ― 상기 프레젠테이션 생성기는 상기 제1 데이터가 상기 핸드헬드 바코드 판독기에 의해 캡처되는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 상기 제3 데이터를 디스플레이하도록 구성됨 ―
    을 하게 하는, 증강 현실 어댑터.
  11. 제10항에 있어서, 상기 비일시적 컴퓨터 실행가능 명령들은 추가로, 상기 프로세서로 하여금:
    상기 식별자의 움직임을 검출하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 것;
    상기 식별자의 상기 움직임이 사용자 선택을 나타낸다고 결정하는 것; 및
    상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 것을 하게 하는, 증강 현실 어댑터.
  12. 컴퓨터에 의해 구현되는 방법으로서,
    프로세서에 의해, 증강 현실 어댑터의 카메라 ― 상기 카메라는 시야(FOV)를 가짐 ― 에 의해 캡처된 이미지들을, 상기 FOV 내에서 핸드헬드 바코드 판독기에 고유한 식별자와 상기 식별자의 로케이션을 식별하기 위해, 분석하는 단계;
    상기 프로세서에 의해, 상기 식별자에 연관된 상기 핸드헬드 바코드 판독기에 의해 캡처된 제1 데이터에 기초하여, 제2 데이터를 수신하는 단계; 및
    상기 프로세서에 의해, 상기 증강 현실 어댑터의 프레젠테이션 생성기로 하여금, 증강 현실 디스플레이를 통해, 상기 제2 데이터에 기초하여, 제3 데이터를 디스플레이하게 하는 단계를 포함하며,
    상기 프레젠테이션 생성기 상의 상기 증강 현실 디스플레이의 포지션은 상기 FOV 내의 상기 식별자의 상기 로케이션에 기초하고,
    상기 프레젠테이션 생성기는 상기 제1 데이터가 상기 핸드헬드 바코드 판독기에 의해 캡처되는 캡처 시간과 실질적으로 동시인 디스플레이 시간에 상기 제3 데이터를 디스플레이하도록 구성되는, 컴퓨터에 의해 구현되는 방법.
  13. 제12항에 있어서, 상기 핸드헬드 바코드 판독기와 상기 증강 현실 어댑터는 단거리 무선 연결을 통해 통신하는, 컴퓨터에 의해 구현되는 방법.
  14. 제12항에 있어서, 상기 프로세서에 의해, 상기 식별자의 움직임을 검출하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 단계;
    상기 프로세서에 의해, 상기 식별자의 상기 움직임이 사용자 선택을 나타낸다고 결정하는 단계; 및
    상기 프로세서에 의해, 상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 단계를 더 포함하는, 컴퓨터에 의해 구현되는 방법.
  15. 제14항에 있어서, 상기 식별자의 상기 움직임을 검출하는 것은 상기 식별자의 상기 움직임의 방향을 검출하는 것을 포함하고, 상기 사용자 선택은 상기 식별자의 상기 움직임의 상기 방향에 기초하여 결정되는, 컴퓨터에 의해 구현되는 방법.
  16. 제12항에 있어서, 상기 프로세서에 의해, 상기 핸드헬드 바코드 판독기에 의해 방출된 광을 검출하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 단계;
    상기 프로세서에 의해, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광이 사용자 선택을 나타낸다고 결정하는 단계; 및
    상기 프로세서에 의해, 상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 단계를 더 포함하는, 컴퓨터에 의해 구현되는 방법.
  17. 제16항에 있어서, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광이 사용자 선택을 나타낸다고 결정하는 단계는, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광이 바코드에 충돌하지 않는 것으로 결정하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 단계를 포함하는, 컴퓨터에 의해 구현되는 방법.
  18. 제16항에 있어서, 상기 핸드헬드 바코드 판독기에 의해 방출된 상기 광을 검출하는 단계는 상기 식별자의 상기 로케이션에 대해 상대적인 상기 광의 로케이션을 검출하는 단계를 포함하고, 상기 사용자 선택은 상기 식별자의 상기 로케이션에 대해 상대적인 상기 광의 상기 로케이션에 기초하여 결정되는, 컴퓨터에 의해 구현되는 방법.
  19. 제12항에 있어서, 상기 프로세서에 의해, 상기 핸드헬드 바코드 판독기에 연관된 제1 타겟 및 상기 핸드헬드 바코드 판독기에 연관된 제2 타겟을 식별하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 단계;
    상기 프로세서에 의해, 상기 제1 타겟 또는 상기 제2 타겟 중의 하나가 상기 FOV 내에서 차단됨을 결정하기 위해 상기 카메라에 의해 캡처된 상기 이미지들을 분석하는 단계;
    상기 프로세서에 의해, 차단된 제1 타겟 또는 제2 타겟이 사용자 선택을 나타낸다고 결정하는 단계; 및
    상기 프로세서에 의해, 상기 사용자 선택에 기초하여 상기 증강 현실 디스플레이를 수정하는 단계를 더 포함하는, 컴퓨터에 의해 구현되는 방법.
  20. 제19항에 있어서, 상기 제1 타겟은 상기 핸드헬드 바코드 판독기의 제1 LED이고 상기 제2 타겟은 상기 핸드헬드 바코드 판독기의 제2 LED인, 컴퓨터에 의해 구현되는 방법.
KR1020200084722A 2019-07-10 2020-07-09 증강 현실 헤드 업 디스플레이와 짝을 이루는 표준 바코드 스캐너들을 사용하여 사용자 인터페이스와 상호작용하는 대안적 방법 KR102228340B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/507,900 US10699087B1 (en) 2019-07-10 2019-07-10 Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
US16/507,900 2019-07-10

Publications (2)

Publication Number Publication Date
KR20210007890A KR20210007890A (ko) 2021-01-20
KR102228340B1 true KR102228340B1 (ko) 2021-03-15

Family

ID=71125235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200084722A KR102228340B1 (ko) 2019-07-10 2020-07-09 증강 현실 헤드 업 디스플레이와 짝을 이루는 표준 바코드 스캐너들을 사용하여 사용자 인터페이스와 상호작용하는 대안적 방법

Country Status (6)

Country Link
US (1) US10699087B1 (ko)
KR (1) KR102228340B1 (ko)
CN (1) CN112286374B (ko)
CA (1) CA3086019C (ko)
DE (1) DE102020117985B4 (ko)
GB (1) GB2583044B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019118965A1 (de) * 2019-07-12 2021-01-14 Workaround Gmbh Nebengerät für ein Sensor- und/oder Informationssystem sowie Sensor- und/oder Informationssystem
US11855831B1 (en) 2022-06-10 2023-12-26 T-Mobile Usa, Inc. Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018188A (ja) 2005-07-06 2007-01-25 Hitachi Ltd 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012100082A2 (en) * 2011-01-19 2012-07-26 Panelvision, Llc Interactive point of purchase system
US8873892B2 (en) * 2012-08-21 2014-10-28 Cognex Corporation Trainable handheld optical character recognition systems and methods
US9946963B2 (en) * 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
KR102138511B1 (ko) * 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US10108832B2 (en) * 2014-12-30 2018-10-23 Hand Held Products, Inc. Augmented reality vision barcode scanning system and method
US20160196713A1 (en) * 2015-01-04 2016-07-07 Paymaxs Ltd. 3d lottery card
US9390596B1 (en) * 2015-02-23 2016-07-12 Hand Held Products, Inc. Device, system, and method for determining the status of checkout lanes
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US20170367124A1 (en) 2016-06-15 2017-12-21 Symbol Technologies, Llc Arrangement for, and method of, establishing a bluetooth® paired connection between a wireless, electro-optical reader and one or more hosts
US20180373327A1 (en) * 2017-06-26 2018-12-27 Hand Held Products, Inc. System and method for selective scanning on a binocular augmented reality device
US10867141B2 (en) * 2017-07-12 2020-12-15 Hand Held Products, Inc. System and method for augmented reality configuration of indicia readers
US10254548B1 (en) * 2017-09-29 2019-04-09 Hand Held Products, Inc. Scanning device
US10573089B2 (en) * 2017-11-09 2020-02-25 The Boeing Company Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
CN109814719B (zh) * 2018-07-26 2024-04-26 亮风台（上海）信息科技有限公司 一种基于穿戴眼镜的显示信息的方法与设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018188A (ja) 2005-07-06 2007-01-25 Hitachi Ltd 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム

Also Published As

Publication number Publication date
KR20210007890A (ko) 2021-01-20
CA3086019C (en) 2021-07-13
DE102020117985B4 (de) 2022-01-05
GB2583044B (en) 2021-08-11
DE102020117985A1 (de) 2021-01-14
CN112286374B (zh) 2022-07-05
GB202010511D0 (en) 2020-08-19
CA3086019A1 (en) 2021-01-10
CN112286374A (zh) 2021-01-29
GB2583044A (en) 2020-10-14
US10699087B1 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
KR102228340B1 (ko) 증강 현실 헤드 업 디스플레이와 짝을 이루는 표준 바코드 스캐너들을 사용하여 사용자 인터페이스와 상호작용하는 대안적 방법
US11029762B2 (en) Adjusting dimensioning results using augmented reality
US9646189B2 (en) Scanner with illumination system
US10515249B2 (en) Optical information reading device
CA2954286C (en) Imaging and peripheral enhancements for mobile devices
US7416127B2 (en) Range-finding system for a portable image reader
US20130038719A1 (en) Image capturing device
JP2016126797A (ja) 加速度に基づく動き許容および予測符号化
WO2021106529A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102079697B1 (ko) 판독장치, 프로그램 및 유닛
AU2019403819B2 (en) Swipe scanning for variable focus imaging systems
US10621398B2 (en) Methods and systems for operating an indicia scanner
US10762318B2 (en) Light projected feedback for guiding hand movements
US20230421918A1 (en) Apparatuses, computer-implemented methods, and computer program products for off-axis illumination projection and use
US11847523B2 (en) Methods and devices for improving indicia decoding with an imaging device
EP4020961A1 (en) Systems, methods, and appratuses for imaging using a dual-purpose illuminator
WO2021065176A1 (ja) 処理装置、電子機器、処理方法、及びプログラム
US20210103712A1 (en) Auto-exposure region auto-correction
JP2012123613A (ja) 情報処理装置、情報処理方法、及び情報処理システム
EP3016023A1 (en) Scanner with illumination system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant