KR20210154200A

KR20210154200A - 자동 컨텍스트 작업 프레젠테이션을 위한 방법 및 시스템

Info

Publication number: KR20210154200A
Application number: KR1020217037285A
Authority: KR
Inventors: 존 에이. 베르나키; 제임스 에스. 엘. 천; 앤드류 피어스; 매튜 아담 반 시클
Original assignee: 제브라 테크놀로지스 코포레이션
Priority date: 2019-04-15
Filing date: 2020-02-04
Publication date: 2021-12-20
Also published as: US10726370B1; GB2596731B; CN113711252A; DE112020001934T5; GB202114489D0; CN113711252B; GB2596731A; WO2020214229A1

Abstract

컴퓨팅 장치에서 자동 컨텍스트 작업 프레젠테이션의 방법은, 모바일 컴퓨팅 장치에 연결된 출력 어셈블리를 통해 컴퓨팅 장치의 오퍼레이터에게 프레젠테이션을 위한 작업 명령들의 시퀀스를 컴퓨팅 장치의 메모리에 저장하는 단계; 상기 컴퓨팅 장치의 입력 어셈블리를 통해 작업 개시 이벤트를 감지하는 단계; 상기 작업 개시 이벤트 감지에 응답하여, 상기 시퀀스로부터 제1 작업 명령을 상기 오퍼레이터에게 제공하기 위해 상기 출력 어셈블리를 제어하는 단계; 상기 컴퓨팅 장치와 연관된 관성 측정 유닛으로부터 상기 오퍼레이터에 대응하는 배향 데이터를 획득하는 단계; 상기 배향 데이터에 기초하여, 상기 작업 개시 이벤트의 감지 이후에, 누적된 오퍼레이터 배향 변화를 추적하는 단계; 및, 상기 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 상기 시퀀스로부터 제2 작업 명령을 상기 오퍼레이터에게 제공하기 위해 상기 출력 어셈블리를 제어하는 단계를 포함한다.

Description

자동 컨텍스트 작업 프레젠테이션을 위한 방법 및 시스템

웨어하우스 피킹(warehouse picking)과 같은 작업은, 예컨대 후속 포장 및 배송을 위해, 오퍼레이터가 시설 전체에 걸쳐 이동하고, 다양한 객체를 검색(retrieve)할 것을 요구한다. 시설 내에서 오퍼레이터를 안내하기 위한 다수의 시스템이 존재한다. 예를 들어, 픽-투-라이트(pick-to-light) 시스템은 오퍼레이터에게 어떤 객체를 검색할지 지시하기 위해 조명하는 조명 표시기를 시설 전체에 걸쳐 배치한다. 그러나, 이러한 시스템은 배치하고 유지하는 데 비용이 많이 들고 시간이 소요될 수 있다.

유사한 참조 번호가 별개의 도면 전체에 걸쳐 동일하거나 기능적으로 유사한 요소를 지칭하는 첨부 도면은, 아래의 상세한 설명과 함께, 본 명세서에 포함되고 본 명세서의 일부를 형성하고, 청구된 발명을 포함하는 개념의 실시예를 추가로 예시하고, 이들 실시예의 다양한 원리 및 이점을 설명하는 역할을 한다.
도 1은 자동 컨텍스트 작업 프레젠테이션(automatic contextual task presentation)을 위한 시스템의 개략도이다.
도 2는 및 도 1의 웨어러블 헤드-업-디스플레이 및 도 1의 모바일 컴퓨팅 장치의 소정의 내부 하드웨어 컴포넌트의 블록 다이어그램이다.
도 3은 자동 컨텍스트 작업 프레젠테이션 방법의 흐름도이다.
도 4a는 도 1의 시스템을 구현하는 시설의 부감도이다.
도 4b는 도 4a의 시설의 일부의 측면도이다.
도 4c는 도 1의 웨어러블 헤드-업-디스플레이에 의해 제공되는 정보의 개략도이다.
도 5a는 도 4a의 시설의 일부의 업데이트된 측면도이다.
도 5b는, 도 3의 방법을 통해 생성된 누적 배향 데이터를 나타낸 개략도이다.
도 6a는 도 5a의 시설의 일부의 추가로 업데이트된 측면도이다.
도 6b는, 도 3의 방법을 통해 생성된 누적 배향 데이터의 추가 예시를 나타낸 개략도이다.
도 6c는 도 1의 웨어러블 헤드-업-디스플레이에 의해 제공되는 추가 정보의 개략도이다.
통상의 기술자는 도면 내의 요소가 단순성 및 명확성을 위해 예시되고, 반드시 축척에 맞게 그려진 것은 아니라는 것을 이해할 것이다. 예를 들어, 도면에서 일부 요소의 치수는 본 발명의 실시예의 이해를 개선하는 데 도움을 주기 위해 다른 요소에 비해 과장될 수 있다.
장치 및 방법 컴포넌트는 적절한 경우 도면에서 관례적인(conventional) 기호에 의해 표시되었고, 본 발명의 실시예를 이해하는 것과 관련된 구체적인 세부 사항만을 도시하여, 본원의 설명의 혜택을 받는 본 기술분야의 통상의 기술자에게 쉽게 명백할 세부 사항으로 본 개시내용을 모호하게 하지 않도록 한다.

본원에 개시된 예시는, 컴퓨팅 장치에서 자동 컨텍스트 작업 프레젠테이션(automatic contextual task presentation)의 방법에 관한 것으로서, 방법은, 모바일 컴퓨팅 장치에 연결된 출력 어셈블리를 통해 컴퓨팅 장치의 오퍼레이터(operator)에게 프레젠테이션을 위한 작업 명령들의 시퀀스(sequence)를 컴퓨팅 장치의 메모리에 저장하는 단계; 컴퓨팅 장치의 입력 어셈블리를 통해 작업 개시 이벤트를 감지하는 단계; 작업 개시 이벤트 감지에 응답하여, 시퀀스로부터 제1 작업 명령을 오퍼레이터에게 제공하기 위해 출력 어셈블리를 제어하는 단계; 컴퓨팅 장치와 연관된 관성 측정 유닛으로부터 오퍼레이터에 대응하는 배향 데이터를 획득하는 단계; 배향 데이터에 기초하여, 작업 개시 이벤트의 감지한 때로부터 누적된 오퍼레이터 배향 변화를 추적하는 단계; 및, 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 시퀀스로부터 제2 작업 명령을 오퍼레이터에게 제공하기 위해 출력 어셈블리를 제어하는 단계를 포함한다.

본원에 개시된 추가 예시는 컴퓨팅 장치에 관한 것으로, 컴퓨팅 장치는, 컴퓨팅 장치에 연결된 출력 어셈블리를 통해 컴퓨팅 장치의 오퍼레이터에게 프레젠테이션을 위한 작업 명령들의 시퀀스를 저장하는 메모리; 작업 개시 이벤트를 감지하도록 구성되는 입력 어셈블리; 센서와 메모리에 연결된 프로세서를 포함하되, 프로세서는, 입력 어셈블리로부터 작업 개시 이벤트 감지의 수신에 응답하여, 시퀀스로부터 제1 작업 명령을 오퍼레이터에게 제공하기 위해 출력 어셈블리를 제어하고, 관성 측정 유닛으로부터 오퍼레이터에 대응하는 배향 데이터를 획득하고, 배향 데이터에 기초하여, 작업 개시 이벤트의 감지한 때로부터 누적된 오퍼레이터 배향 변화를 추적하고, 그리고, 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 시퀀스로부터 제2 작업 명령을 오퍼레이터에게 제공하기 위해 출력 어셈블리를 제어하도록 구성된다.

도 1은 자동 컨텍스트 작업 프레젠테이션을 위한 시스템(100)을 도시한다. 시스템(100)은 웨어하우스 환경 등에 배치될 수 있으며, 여기서 한 명 이상의 오퍼레이터는 포장 및 배송을 위해 랙들(racks), 선반들 등과 같은 지지 구조물들로부터 객체를 픽(pick)한다. 통상의 기술자에게 명백한 바와 같이, 시스템(100)은 소매 시설 등과 같은 다른 환경에도 배치될 수 있다.

시스템(100)은, 본원에서 단순히 장치(104)라고도 지칭되는 모바일 컴퓨팅 장치(104)를 포함한다. 모바일 컴퓨팅 장치(104)는, 오퍼레이터의 손목, 팔, 벨트 등에 장착될 수 있는 웨어러블 컴퓨터로서 도시되어 있다. 그러나, 다른 실시예에서, 장치(104)는 스마트폰, 랩톱 컴퓨터, 태블릿 컴퓨터, 핸드헬드(handheld) 모바일 컴퓨터(예컨대, 피스톨 그립을 포함함) 등을 포함하는, 다른 적절한 폼-팩터(form-factor)를 가질 수 있다. 장치(104)는, 디스플레이(112)를 포함한 입력 및 출력 장치들을 지지하는 하우징(108)을 포함하며, 디스플레이는 일체형 터치스크린을 포함할 수 있다. 하우징(108)에 의해 지지되는 다른 입력 장치들은, 마이크로폰(116), 및 하나 이상의 버튼(120)도 포함할 수 있다. 하우징(108)에 의해 지지되는 다른 출력 장치들은, 스피커(124)를 포함할 수 있다. 하우징(108)은, 이하에서 더욱 상세히 논의되는 바와 같이, 장치(104)의 다양한 내부 컴포넌트들도 지지한다.

시스템(100)은, 핸드-마운트 바코드 스캐너로서 도 1에 도시된 본 예시에서 데이터 캡처 장치(126)도 포함하고, 따라서 본원에서 스캐너(126)로서도 지칭된다. 일반적으로, 데이터 캡처 장치(126)는, 장치(104) 및 스캐너(126)의 오퍼레이터로 하여금, 패키지들과 같은 객체들에 부착된 바코드들과 같이 기계-판독가능한 표식들(indicia)로부터 데이터를 획득할 수 있게 한다. 다른 실시예에서, 스캐너(126)는 장치(104)와 통합될 수 있다. 또 다른 실시예에서, 스캐너(126)는 생략될 수 있다.

스캐너(126)는 데이터 캡처 어셈블리를 지지하는 하우징(128)을 포함하며, 데이터 캡처 어셈블리의 이미징 윈도우(132)가 도시된다. 데이터 캡처 어셈블리는, 이미지-기반 또는 레이저-기반 바코드 스캐너 및 이와 연관된 제어 및 디코딩 하드웨어를 포함할 수 있다. 본 예시에서 핸드-마운트되는 스캐너(126)는, 또한 전술한 웨어하우스 내의 오퍼레이터와 같은 오퍼레이터의 손(예컨대, 하나 이상의 손가락에)에 마운트하기 위한 스트랩(136)을 포함한다. 스캐너(126)는, 데이터 캡처 어셈블리를 활성화하는 데 사용되는 트리거(140) 또는 다른 입력 어셈블리를 추가로 포함한다. 스캐너(126) 및 장치(104)는 무선 링크(예컨대, Bluetooth^TM)와 같은 링크(144)를 통해 통신하도록 구성된다. 다른 예시들에서, 링크(144)는 무선보다는 유선일 수 있다.

시스템(100)은, 본 예시에서 웨어러블 헤드-업-디스플레이(heads-up-display; HUD)(148)로서 구현되는 보조 출력 장치를 추가로 포함한다. 도 1에 도시된 바와 같이, HUD(148)는 안경의 영역(152)에 시각적 정보를 제공하기 위한 안경 프레임 및 적절한 디스플레이 하드웨어(예컨대, 투사 하드웨어 등)를 포함한다. HUD(148)는, 추가의 Bluetooth^TM 링크와 같은 링크(156)를 통해 장치(104)와 통신하기 위한 통신 인터페이스도 포함한다. 따라서, 장치(104)는 영역(152)에서 디스플레이하기 위해 HUD(148)에 데이터를 송신할 수 있다.

이하에서 더욱 상세히 논의되는 바와 같이, 장치(104), 스캐너(126) 및 HUD(148)는 오퍼레이터에 의해 운반되고, 영역(152)을 통해 오퍼레이터에게 작업-관련 정보를 자동 제공하도록 구성된다. 보다 구체적으로, 장치(104)는, 장치(104), HUD(148) 및 스캐너(126) 중 하나 이상에 의해 감지된 특정 이벤트에 응답하여, 영역(152)에서 제공된 정보를 자동 업데이트하도록 구성된다.

본 예시에서, 전술한 작업-관련 정보는 오퍼레이터에 의해 수행될 피킹(picking) 작업을 정의한다. 즉, 작업 정보는, 오퍼레이터가 특정 객체를 이동 및 검색하는 배치 환경(예컨대, 웨어하우스) 내의 위치를 정의한다. 작업 정보는, 검색될 특정 객체의 개수뿐만 아니라 검색될 특정 객체를 식별할 수도 있다. 이제 통상의 기술자에게 명백한 바와 같이, 수많은 이러한 작업이 오퍼레이터에게 요구될 수 있으며, 각각은 검색할 상이한 유형의 객체(및 이러한 객체의 개수)를 특정한다. 이를 위해, 시스템(100)은, 네트워크(162)를 통해 장치(104)에 접속되고 작업 명령어들의 저장소(164)를 저장하는 서버(160)를 포함할 수도 있다. 작업 명령어는, 장치(104)의 오퍼레이터에게 순차적으로 프레젠테이션하기 위해 장치(104)에(예를 들어, 배치로, 또는 한 번에 하나씩) 배치될 수 있다. 시퀀스를 통한 진행은, 장치(104) 및 HUD(148)에 의해 적어도 부분적으로 자동으로 제어된다.

도 2를 참조하면, 시스템(100)의 작동을 보다 상세하게 논의하기 전에, 장치(104) 및 HUD(148)의 소정의 내부 컴포넌트가 보다 상세히 논의될 것이다.

도 2에 도시된 바와 같이, 장치(104)는, 메모리(204)와 같은 비일시적 컴퓨터 판독가능 저장 매체와 상호 연결된, 프로세서(200)로도 지칭되는 중앙 처리 유닛(Central Processing Unit; CPU)을 포함한다. 메모리(204)는, 휘발성 메모리(예컨대, 랜덤 액세스 메모리(Random Access Memory; RAM)) 및 비휘발성 메모리(예컨대, 읽기 전용 메모리(Read Only Memory; ROM), 전기적 삭제 가능 프로그램 가능 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory; EEPROM), 플래시)의 적절한 조합을 포함한다. 프로세서(200) 및 메모리(204)는 각각 하나 이상의 집적 회로(IC)를 포함한다.

도 1에 도시된 장치(104)의 컴포넌트(예컨대, 디스플레이 및 터치스크린(112), 마이크로폰(116), 버튼(120) 및 스피커(124))는, 하나 이상의 통신 버스를 통해 프로세서(200)와 상호 연결된다. 장치(104)는 장치(104)로 하여금 스캐너(126), HUD(148) 및 서버(160)를 포함한 다른 장치와 데이터를 교환하는 것이 가능하게 하는, 통신 인터페이스(208)도 포함한다. 따라서, 통신 인터페이스(208)는, 장치(104)로 하여금 이러한 다른 장치와 통신하는 것을 가능하게 하는 임의의 적절한 하드웨어(예컨대, 송신기, 수신기, 네트워크 인터페이스 제어기 등)를 포함한다.

장치(104)는 모션 센서(212)를 포함할 수도 있다. 모션 센서(212)는, 하나 이상의 가속도계 및 하나 이상의 자이로스코프를 포함하는 관성 측정 유닛(IMU)을 포함한다. 모션 센서(212)는, 즉 삼차원에서 장치(104)의 가속도뿐만 아니라, 삼차원에서 장치(104)의 배향 변화를 감지하고, 이러한 가속도 및 배향 변화를 나타내는 데이터를 프로세서(200)에 송신하도록 구성된다. 다른 실시예에서, 모션 센서(212)는 생략된다. 장치(104)의 컴포넌트는, 전술한 통신 버스에 의해 상호 연결되고, 배터리 또는 다른 전원에 의해, 통신 버스에 걸쳐 또는 별개 전력 버스(미도시)에 의해 전력이 공급된다.

메모리(204)는 복수의 애플리케이션을 저장하고, 각각은 프로세서(200)에 의해 실행 가능한 복수의 컴퓨터 판독가능 명령어를 포함한다. 프로세서(200)에 의한 전술한 명령어의 실행은, 본원에서 논의된 바와 같이, 장치(104)로 하여금 특정 기능을 구현하도록 한다. 따라서, 애플리케이션은 아래 논의에서 이러한 기능을 수행하기 위해 구성되는 것으로 언급된다. 본 예시에서, 장치(104)의 메모리(204)는, 본원에서 애플리케이션(216)으로도 지칭되는, 작업 프레젠테이션 애플리케이션(216)을 저장한다. 장치(104)는, 프로세서(200)에 의한 애플리케이션(216)의 실행을 통해, 예를 들어 HUD(148)를 통해, 프로세서(200)에 의해 감지된 특정 이벤트에 응답하여 작업 정보를 오퍼레이터에게 제공하도록 구성된다. 작업 정보 자체는, 메모리(204), 예를 들어 서버(160)로부터 얻은 저장소(220)(예컨대, 도 1과 연관하여 언급된 저장소(164)의 서브세트임)에도 저장될 수 있다.

도 2에 도시된 바와 같이, HUD(148)는, 통신 인터페이스(234) 및 디스플레이 어셈블리(238)와 상호 연결된 프로세서(230)를 포함한다. 통신 인터페이스(234)는, HUD(148)로 하여금 장치(104)와 같은 다른 컴퓨팅 장치와 통신할 수 있게 하고, 따라서 이러한 통신을 가능하게 하는 데 필요한 송신기, 수신기, 네트워크 인터페이스 제어기 등의 임의의 적절한 조합을 포함한다. 디스플레이 어셈블리(238)는, 도 1에 도시된 영역(152)에서 장치(104)로부터 수신된 데이터를 제공하도록 프로세서(230)에 의해 제어 가능한 디스플레이 필름, 프로젝터 등과 같은 임의의 적절한 디스플레이 하드웨어를 포함한다.

HUD(148)는, 프로세서(230) 및 통신 인터페이스(234)를 통해 장치(104)로 송신하기 위해 HUD(148)의 배향 및 가속도의 변화를 나타내는 데이터를 캡처하도록 구성된, IMU와 같은 모션 센서(242)도 포함할 수 있다. 다른 실시예에서, 모션 센서(212 및 242) 중 하나는 생략된다. 즉, IMU에 의해 캡처된 모션 데이터에 의존하고 이하에 설명된 기능은, 모션 센서(212 및 242) 중 어느 하나로 구현될 수 있고, 다른 모션 센서는 시스템(100)으로부터 생략될 수 있다.

추가의 실시예에서, 프로세서(200 및 230) 중 하나 또는 둘 모두는, 필드 프로그램 가능한 게이트 어레이(Field-programmable gate arrays; FPGA) 및/또는 주문형 집적 회로(Application-Specific Integrated Circuits; ASIC)와 같이, 하나 이상의 특별 구성된 하드웨어 요소로서 구현된다.

이제 도 3을 참조하면, 시스템(100)의 작동이 보다 상세히 설명될 것이다. 도 3은, 자동 컨텍스트 작업 프레젠테이션의 방법(300)의 흐름도를 나타낸다. 방법(300)의 성능은, 시스템(100) 내에서 그것의 성능과 함께 설명될 것이다. 특히, 아래 논의에서 방법(300)의 블록은, 프로세서(200)에 의한 애플리케이션(216)의 실행을 통해 장치(104)에 의해 수행된다.

블록(305)에서, 장치(104)는 메모리(204)에 작업 명령들의 시퀀스를 획득하고 저장하도록 구성된다. 예를 들어, 장치(104)는, 네트워크(162)를 통해 서버(160)에 요청을 송신함으로써, 작업 명령을 획득하도록 구성될 수 있다. 요청은, 장치(104)의 위치 및/또는 장치(104)의 식별자(예컨대, 장치(104)의 현재 오퍼레이터와 연관된 계정 식별자 등) 중 하나 이상을 포함할 수 있다. 요청에 응답하여, 서버(160)는, 저장소(164)로부터 작업 명령의 세트를 검색하고, 로컬 저장소(220) 내에 저장 및 HUD(148)를 통한 후속 프레젠테이션을 위해 장치(104)에 작업 명령어를 송신하도록 구성될 수 있다.

작업 명령은, 각각 장치(104)의 오퍼레이터에 의해 수행될 작업을 정의한다. 예를 들어, 작업 명령들의 시퀀스는 웨어하우스 내의 특정 위치로 이동하고, 해당 위치에서 특정 객체와 연관된 바코드를 스캔하기 위한 초기 작업을 정의할 수 있다. 따라서, 작업 명령은, 객체의 위치 및 식별자를 나타내는 데이터를 포함할 수 있다. 작업 명령은, 또한 특정 위치에 도착할 때 전술한 바코드를 (예를 들어, 스캐너(126)로) 스캔하도록 오퍼레이터에게 명령하는 텍스트 스트링, 오디오 파일 등을 포함할 수 있다.

전술한 시퀀스 예시에서 후속 작업 명령은, 상기 위치로부터 특정 수의 객체를 검색하기 위한 추가 작업을 정의할 수 있다. 따라서, 이와 같은 작업 명령은, 전술한 객체 식별자뿐만 아니라 필요한 수량을 정의하는 데이터를 포함할 수 있다. 작업 명령은, 예를 들어 객체가 검색될 랙, 선반 또는 다른 지지 구조물 상의 정확한 위치를 나타내는 추가 위치 데이터도 포함할 수 있다. 시퀀스 내의 또 다른 작업 명령은, 장치(104)의 오퍼레이터에 의해 운반되는(또는 밀리는) 카트, 토트(tote) 등 내에 검색된 객체를 배치하기 위한 추가 작업을 정의할 수 있다. 따라서, 작업 명령은, 예를 들어 검색된 객체가 배치될 토트 또는 다른 위치를 정의하는 데이터를 포함한다.

블록(310)에서, 장치(104)는, 스캐너(126)의 데이터 캡처 어셈블리와 같은 입력 어셈블리를 통해, 작업 개시 이벤트가 감지되었는지 여부를 결정하도록 구성된다. 블록(310)의 수행은 도 4a 및 도 4b에 나타나 있다. 블록(310)의 수행 이전에, 장치(104)는 HUD를 제어하여, 카트(408)를 갖는 웨어하우스 시설에서 복수의 랙(404-1, 404-2, 404-3) 사이에서 특정 위치로 이동하도록 오퍼레이터(400)에게 초기 명령을 제공하는 것으로 가정된다. 초기 명령은, 주어진 객체와 연관된 바코드를 스캔(또는 RFID 태그 등과 같은 다른 표식으로부터 데이터를 캡처)하도록 오퍼레이터(400)에게 추가로 명령한다. 도 4a는 특정 위치에서 오퍼레이터(400)의 도착 후의 시설의 부감도를 나타낸다. 다른 실시예에서, HUD(148)에 의한 전술된 작업 디스플레이는 생략될 수 있다. 예를 들어, 오퍼레이터(400)는 다른 적절한 메커니즘에 의해 초기 명령을 수신했을 수 있다.

도 4b에 나타낸 바와 같이, 오퍼레이터(400)는 스캐너(126)를 제어하여 위에서 언급된 바코드를 캡처하고, 그 결과로서, 블록(310)에서, 긍정 결정을 얻게 된다. 블록(310)에서의 결정이 부정인 경우에, 장치(104)는 작업 개시 이벤트의 감지를 대기한다. 도 3으로 돌아가면, 블록(315)에서, 작업 개시 이벤트의 감지에 응답하여, 장치(104)는 메모리(204)로부터 (예를 들어, 저장소(220)로부터) 일차 작업 명령을 검색하고 HUD(148)를 통해 일차 작업 명령을 제공하도록 구성된다. 도 4c에 도시된 바와 같이, HUD(148)의 영역(152)에 제공된 일차 작업 명령은, 랙(404-2)으로부터 검색될 객체의 식별자(412)뿐만 아니라 검색될 객체의 수량(416)을 포함한다. 일차 작업 명령은, 아이템(들)이 검색될 랙(404-2) 상의 특정 위치의 표시기(예컨대, 강조 표시(highlight) 또는 다른 시각적 특징부)(424)를 포함하는, 랙(404-2)의 시각적 도해(420)도 포함할 수 있다.

도 3으로 돌아가면, 블록(320)에서, 장치(104)는 오퍼레이터(400)에 대응하는 배향 데이터를 획득하도록 구성된다. 배향 데이터는 IMU로부터, 구체적으로 도 2와 연관하여 전술한 모션 센서들(212 및 242) 중 하나로부터 획득된다. 통상의 기술자에게 명백한 바와 같이, IMU(212 및 242)는 삼차원으로(즉, 세 개의 축 각각을 따라) 가속도 및 삼차원으로(즉, 세 개의 축 각각에 대하여) 회전을 나타내는 데이터를 생성한다. 장치(104)는, 모션 센서(212 또는 242)의 출력을 처리하여 누적 배향 변화를 추적하도록 구성된다. 예를 들어, 장치(104)는 하나 이상의 자이로스코프의 출력을 통합하여 전술한 세 개의 축들 각각에 대해 누적 배향 변화를 생성하도록 구성될 수 있다. 스캐너(126) 및 장치(104)가 오퍼레이터(400)의 몸체에서 운반되기 때문에, 누적 배향 변화는 오퍼레이터(400)의 이동을 나타낸다.

장치(104)는, 블록(310)에서 긍정 결정의 시점에 시작되는 누적 배향 변화를 추적하도록 구성된다. 즉, 장치(104)는 블록(310)에서의 긍정 결정에 응답하여 (예를 들어, 블록(315)의 수행과 동시에) 모션 센서(212 또는 242)로부터의 자이로스코프 출력의 통합을 시작하도록 구성될 수 있다.

블록(325)에서, 장치(104)는, 블록(310)에서의 긍정 결정 이후로부터 누적된 배향이 미리 정의된 임계값을 초과하는지 여부를 결정하도록 구성된다. 도 4b를 참조하면, 통상의 기술자에 의해 이해되는 바와 같이, 오퍼레이터(400)가 블록(315)에서 제공된 작업 명령에 의해 식별된 객체들(즉, 본 예시에서는 두 개의 ACME 낙하산)를 검색한 경우, 오퍼레이터(400)는 카트(408)를 마주보도록 피봇팅하고 카트(408) 내에 객체들을 배치할 필요가 있을 것이다. 오퍼레이터(400)가 카트(408)와 마주보는 데 필요한 피봇 모션은, 객체들을 검색하는 작업이 완료되었음을 나타낸다. 블록(325)에서의 결정은, 오퍼레이터(400)가 카트(408)와 마주보도록 이동하는 것 이상으로 완료의 명시적인 표시를 제공할 것을 요구하지 않고, 장치(104)로 하여금 검색 작업의 완료를 자동으로 감지할 수 있게 한다.

도 5a를 참조하면, (도 4b에 나타낸 바와 같이) 오퍼레이터(400)의 초기 위치(500)가 오퍼레이터(400)의 현재 위치와 함께 나타나 있다. 도 5a에서 보는 바와 같이, 오퍼레이터(400)는 블록(315)에서 제공된 일차 명령에 의해 식별된 객체들을 검색하기 위해 랙(404-2)에 접근하였다. 도 5b는, 도 5a에 도시된 이동의 결과로써, 장치(104)에 의해 생성된 누적 배향 데이터(504)를 나타낸다. 도 5b에서 보는 바와 같이, 오퍼레이터(400)가 초기 위치(500)에서와 동일한 방향으로 대면하고 있기 때문에, 누적 배향 데이터(504)는 하나의 축에 대한 배향의 변화, 예를 들어 5도를 나타낸다. 임계값은, 예를 들어 40도 내지 100도(예컨대, 60도)의 값으로 설정될 수 있고, 도 5a 및 도 5b와 연관된 누적 배향 변화는 임계값을 초과하지 않는다. 따라서, 블록(325)에서의 결정은 부정이며, 장치(104)는 블록(320)에서 누적 배향 변화를 계속 추적한다. 따라서, HUD(148)는 도 4c에 도시된 일차 작업 명령을 또한 계속 제공한다.

도 6a를 보면, 오퍼레이터(400)의 이전 위치(600)(즉, 도 5a의 오퍼레이터(400)의 위치)뿐만 아니라 오퍼레이터(400)의 현재 위치가 도시된다. 특히, 도 6a에서, 오퍼레이터(400)는 랙(404-2)으로부터 피봇하여 카트(408)와 마주보게 하고, 도 4c에 도시된 일차 작업 명령에 의해 표시된 객체들을 검색하였다. 전술한 바와 같이, 장치(104)는, 블록(325)에서의 긍정 결정 시까지, 블록(320)에서 누적 배향 변화를 계속 추적하도록 구성된다. 따라서, 도 6b에 도시된 바와 같이, 도 6a에 도시된 오퍼레이터(400)의 피봇 이후에 생성된 누적 배향 변화는 누적 배향 변화 데이터(604a)로 표시된다. 데이터(604a)는, 앞서 언급한 5도 회전뿐만 아니라 제2 축에 대한 회전(예컨대, 170도)을 정의한다.

블록(325)의 추가 수행에서, 장치(104)는, 누적 배향 데이터(604a)에서의 각 회전을 전술한 임계값과 비교하도록 구성된다. 이제 명백해지는 바와 같이, 도 6b에 도시된 170도 회전은 임계값을 초과하고, 따라서 블록(325)에서의 결정은 긍정이다.

방법(300)의 블록(330)을 논의하기 전에, 도 6b는 누적 배향 데이터(604b)의 다른 예시도 나타낸다. 데이터(504 및 604a)는 오퍼레이터(400)와 정렬된 축(예컨대, 실질적인 수직 축, 및 서로 직교하는 두 개의 실질적인 수평 축)을 포함하지만, 방법(300)의 수행은 모션 센서(212 및 242)의 교정(calibration)을 필요로 하지 않는다. 또한, 방법(300)의 수행은 모션 센서(212 및 242)의 물리적 배치에 대한 지식을 필요로 하지 않는다. 즉, 장치(104) 및/또는 HUD(148)는 방법(300)의 성능에 영향을 미치지 않고 오퍼레이터의 다양한 위치 및 배향으로 배치될 수 있다. 따라서, 블록(320)에서 얻은 배향 데이터는, 오퍼레이터(400)와 정렬되지 않을 수 있다. 누적 배향 데이터(604b)는, 예를 들어 데이터(604a)와 연관하여 도시된 수직 및 수평 축에 대해 기울어진 축에 대한 회전 각도로서 정의된다. 그러나, 블록(325)에서의 임계값이 배향 데이터의 각 축에 대해 평가되기 때문에, 오퍼레이터(400)의 물리적 환경에 관해, 데이터(604b)에 표시된 축들의 배향은 관련이 없고, 모션 센서들(212 및 242)은 교정될 필요가 없다. 예를 들어, 데이터(604b)는 제1 축에 대하여 약 140도의 회전 및 제2 축에 대하여 약 50도의 회전을 나타낸다. 따라서, 블록(325)에서의 결정은, 데이터(604b)에 의해 정의된 축의 배향에도 불구하고, 긍정이다.

도 3을 다시 참조하면, 블록(325)에서의 긍정 결정 이후에, 블록(330)에서, 장치(104)는 누적 배향 변화를 추적하는 것을 중단하도록 구성된다. 즉, 누적 배향 변화가 재설정된다. 장치(104)는, 시퀀스에서 일차 작업 명령을 따르는 이차 작업 명령을 제공하도록 추가로 구성된다. 도 6c를 참조하면, 이차 작업 명령의 예시가 HUD(148)(특히, HUD(148)의 영역(152))에 제공된 바와 같이 나타나 있다. 이차 작업 명령은, 전술한 식별자들(412 및 416)뿐만 아니라, 검색된 객체들을 카트(408) 내 어디에 배치하는지의 시각적 표시(608)를 포함한다. 시각적 표시(608)는, 예를 들어 검색된 객체들이 배치될 카트(408) 상의 특정 빈 등에 대응하는, 강조 표시 영역(612)을 포함할 수 있다. 블록(330)의 수행 이후에, 장치(104)는 블록(310)으로 복귀하여 추가의 작업 개시 이벤트의 감지를 대기하고, 다음 시퀀스의 작업 명령을 제공할 수 있다.

다른 실시예에서, 블록(305)에서 획득한 명령 시퀀스는, 복수의 일차 및 이차 작업을 정의한 정보를 포함한다. 이러한 실시예에서, 블록(330)에서 누적 배향 변화를 추적하는 것을 중단하기보다는, 장치(104)는 다음 일차 작업 명령의 프레젠테이션을 트리거하기에 충분한 모션을 감지하기 위해 누적 배향 변화를 계속 추적한다. 예를 들어, 블록(325)에서 긍정 결정을 트리거하기에 충분한 각도 변화를 감지하면, 장치(104)는 누적 배향 변화를 계속 추적할 수 있고, 블록(325)을 반복하여 (제1 이차 작업 명령이 블록(330)에서 제공된 이후에) 다음 일차 작업 명령을 제공할지 여부를 결정할 수 있다.

상기 시스템 및 방법에 대한 추가적인 변경이 고려된다. 예를 들어, 작업 명령은 HUD(148) 상에 제공될 필요는 없지만, 디스플레이(112), 스피커(124), 또는 이들의 조합을 통해 오퍼레이터(400)에 제공될 수 있다. 추가의 실시예에서, HUD(148) 자체가 방법(300)을 수행한다. 즉, HUD(148)의 프로세서(230)는, (모바일 장치(104)에 대한 주변 기기로서 기능하는 HUD(148)보다는, 모바일 장치(104) 자체가 방법(300)과 연관된 연산을 수행하면서) 모바일 장치(104)와 독립적으로 블록들(305 내지 330) 각각을 수행한다.

일부 실시예에서, 작업 명령의 시퀀스는 블록(305)에서 검색될 필요가 없다. 대신에, 장치(104)는 한 번에 하나의 작업만 검색하고, 이전 작업이 완료된 경우에만 서버(160)로부터 시퀀스의 다음 작업을 요청하도록 구성될 수 있다. 따라서, 예를 들어, 장치(104)는 블록(325)에서 긍정 결정 후에 이차 작업을 요청하도록 구성될 수 있다.

전술한 바코드 스캔 대신에, 블록(310)에서 감지를 위해 다양하게 다른 작업 개시 이벤트가 고려된다. 작업 개시 이벤트의 다른 예시는, 미리 결정된 스트링(예컨대, 랙(404-2)에 부착된 텍스트 또는 숫자)을 말하는 오퍼레이터(400)와 같이, 오디오 신호의 감지를 포함한다. 이러한 실시예에서, 이전에 언급된 입력 어셈블리는, 마이크로폰(116)을 포함한다. 작업 개시 이벤트의 추가 예시는, 장치(104)에 의한 발판 카운터의 모니터링을 포함한다(카운터는 장치(104) 자체의 컴포넌트일 수 있고, 예를 들어 IMU 데이터의 추가 처리를 통해 구현될 수 있거나, 물리적으로 별도일 수 있음). 미리 정해진 시간(예컨대, 2초) 동안 발판이 감지되지 않는 경우에, 오퍼레이터(400)는 도 4a에 도시된 위치에 도착해서 추가 명령을 수신하도록 멈추는 것으로 가정된다. 추가 예시에서, 입력 어셈블리는 이미지 센서를 포함하고, 작업 개시 이벤트는 HUD(148)에 의해 캡처된 이미지에서 감지된 데이터를 포함한다. 이미지에서 감지된 데이터는, 전술한 바코드 또는 다른 기계 판독가능한 표식(예컨대, QR 코드), 또는 랙(404) 또는 다른 구조물의 다른 적절한 물리적 특징일 수 있다.

전술한 명세서에서, 특정 실시예가 설명되었다. 그러나, 통상의 기술자는, 하기 청구범위에 설명된 바와 같이 본 발명의 범주를 벗어나지 않으면 다양한 변형 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 본 명세서 및 도면은 제한적인 의미보다는 예시적인 의미로 간주되어야 하며, 이러한 모든 변형은 본 교시의 범위 내에 포함되는 것으로 의도된다.

임의의 이점, 장점, 또는 해결책을 생성하거나 보다 두드러지게 할 수 있는 이점, 장점, 문제점에 대한 해결책, 및 임의의 요소(들)는, 임의의 또는 모든 청구범위 중에 중요하거나, 필수적이거나, 핵심적인 특징 또는 요소로 해석되어서는 안 된다. 본 발명은, 본 출원의 특허 기간 동안 이루어진 임의의 보정 및 발행된 청구범위의 모든 균등물을 포함하는, 첨부된 청구범위에 의해서만 정의된다.

또한, 본 문서에서, 제1 및 제2, 상단 및 하단 등과 같은 관계 용어는, 이러한 실체 또는 조치 간의 임의의 실제적 관계 또는 순서를 반드시 요구하거나 암시하지 않고서, 하나의 실체 또는 조치를 다른 하나의 실체 또는 조치와 구별하기 위해서만 사용될 수 있다. 용어 "포함하다", "포함한", "갖다", "갖는", "포함하다", "포함하는", "함유하다", "함유한" 또는 이들의 임의의 다른 변형은 비-배타적인 포함을 커버하도록 의도되어, 요소들의 목록을 포함하고, 갖고, 포함하고, 함유하는 공정, 방법, 항목, 또는 장치와 같은 것은 이들 요소들만을 포함하지 않고, 이러한 공정, 방법, 항목, 또는 장치에 명시적으로 나열되거나 내재되지 않은 다른 요소들을 포함할 수 있다. "~를 포함한다", "~를 갖는다", "~를 포함한다", "~를 함유한다"로 진행하는 요소는, 더 많은 제약 없이, 그 요소를 포함하거나, 갖거나, 포함하거나, 함유하는, 공정, 방법, 항목 또는 장치에서 추가적인 동일 요소들의 존재를 배제하지 않는다. 용어 "하나" 및 "일"은 본원에서 달리 명시적으로 언급되지 않는 한, 하나 이상으로 정의된다. 용어 "실질적으로", "본질적으로", "대략", "약" 또는 이들의 임의의 다른 버전은 통상의 기술자에 의해 이해되는 바와 근사치로 정의되고, 하나의 비제한적인 실시예에서 상기 용어는 10% 이내로, 다른 실시예에서 5% 이내로, 다른 실시예에서 1% 이내로, 다른 실시예에서 0.5% 이내로 정의된다. 본원에서 사용되는 바와 같이, 용어 "결합된"은, 반드시 직접적으로 그리고 기계적으로 연결되는 것은 아니지만, 연결된 것으로 정의된다. 특정 방식으로 "구성된" 장치 또는 구조체는 적어도 이러한 방식으로 구성되지만, 열거되지 않은 방식으로 구성될 수도 있다.

일부 실시예는 하나 이상의 특수 프로세서(또는 "프로세싱 장치"), 예컨대 마이크로프로세서, 디지털 신호 프로세서, 맞춤형 프로세서 및 필드 프로그램 가능 게이트 어레이(FPGA) 및 특정 비-프로세서 회로와 연결하여 본원에 설명된 방법 및/또는 장치 기능의 일부, 대부분, 또는 모두를 구현하도록 하나 이상의 프로세서를 제어하는 고유 저장 프로그램 명령어(소프트웨어 및 펌웨어 모두 포함)를 구성할 수 있음을 이해할 것이다. 대안적으로, 일부 또는 모든 기능은 저장된 프로그램 명령어를 갖지 않는 상태 기계에 의해, 또는 하나 이상의 주문형 집적 회로(ASIC)에 의해 구현될 수 있으며, 여기서 각각의 기능 또는 특정 기능의 일부 조합이 맞춤형 로직으로서 구현된다. 물론, 두 가지 접근법의 조합이 사용될 수 있다.

또한, 일 실시예는, 본원에서 설명되고 청구된 바와 같은 방법을 수행하도록 (예를 들어, 프로세서를 포함하는) 컴퓨터를 프로그래밍하기 위해 컴퓨터 판독가능 코드가 저장된 컴퓨터 판독가능 저장 매체로서 구현될 수 있다. 이러한 컴퓨터 판독가능 저장 매체의 예시는, 하드 디스크, CD-ROM, 광학 저장 장치, 자기 저장 장치, ROM(읽기 전용 메모리), PROM(프로그램 가능 읽기 전용 메모리), EPROM(삭제 가능 및 프로그램 가능 읽기 전용 메모리), EEPROM(전기적으로 삭제 가능 및 프로그램 가능 읽기 전용 메모리) 및 플래시 메모리를 포함하나 이에 제한되지 않는다. 또한, 통상의 기술자는, 예를 들어 이용 가능한 시간, 현재 기술, 및 경제적 고려사항에 의해 가능한 상당한 노력 및 동기 부여되는 가능한 많은 설계 선택에도 불구하고, 본원에 개시된 개념 및 원리에 의해 가이드되는 경우에, 최소한의 실험으로 이러한 소프트웨어 명령어 및 프로그램 및 IC를 쉽게 생성할 수 있을 것으로 기대된다.

본 개시의 요약은 독자가 기술 공개의 성질을 신속하게 확인할 수 있도록 제공된다. 이는, 청구범위의 범주 또는 의미를 해석하거나 제한하기 위해 사용되지 않을 것이라는 것을 이해하는 상황에서 제출된다. 또한, 전술한 발명의 상세한 설명에서, 본 개시를 간소화하기 위한 목적으로 다양한 특징이 다양한 실시예에서 함께 그룹화되는 것을 알 수 있다. 본 개시의 방법은, 청구된 실시예가 각각의 청구범위에서 명시적으로 인용되는 것보다 많은 특징을 필요로 한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 다음의 청구범위가 반영됨에 따라, 발명의 대상(inventive subject matter)은 단일 개시된 실시예의 모든 특징보다 적다. 따라서, 다음의 청구범위는 본원에 상세한 설명에 포함되며, 각각의 청구범위는 그 자체가 별도로 청구된 대상(claimed subject matter)으로서 독립적이다.

Claims

컴퓨팅 장치에서, 자동 컨텍스트 작업 프레젠테이션의 방법으로서, 상기 방법은,
상기 컴퓨팅 장치의 메모리에, 모바일 컴퓨팅 장치에 연결된 출력 어셈블리를 통해 상기 컴퓨팅 장치의 오퍼레이터에게 프레젠테이션을 위한 작업 명령들의 시퀀스를 저장하는 단계;
상기 컴퓨팅 장치의 입력 어셈블리를 통해 작업 개시 이벤트를 감지하는 단계;
상기 작업 개시 이벤트 감지에 응답하여,
상기 시퀀스로부터 제1 작업 명령을 상기 오퍼레이터에게 제공하기 위해 상기 출력 어셈블리를 제어하는 단계;
상기 컴퓨팅 장치와 연관된 관성 측정 유닛으로부터 상기 오퍼레이터에 대응하는 배향 데이터를 획득하는 단계;
상기 배향 데이터에 기초하여, 상기 작업 개시 이벤트의 감지한 때로부터 누적된 오퍼레이터 배향 변화를 추적하는 단계; 및
상기 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 상기 시퀀스로부터 제2 작업 명령을 상기 오퍼레이터에게 제공하기 위해 상기 출력 어셈블리를 제어하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 컴퓨팅 장치는 모바일 컴퓨팅 장치 및 헤드-업 디스플레이(HUD) 중 적어도 하나를 포함하는, 방법.
제1항에 있어서, 상기 출력 어셈블리는 상기 컴퓨팅 장치에 연결된 헤드-업-디스플레이(HUD)를 포함하고,
상기 제1 및 제2 작업 명령들을 제공하도록 상기 출력 어셈블리를 제어하는 단계는, 상기 제1 및 제2 작업 명령들을 상기 HUD에 송신하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 입력 어셈블리는 상기 컴퓨팅 장치에 연결된 데이터 캡처 어셈블리를 포함하고, 상기 작업 개시 이벤트를 감지하는 단계는, 상기 데이터 캡처 어셈블리를 통해 기계 판독가능한 표식으로부터 데이터를 캡처하는 단계를 포함하는, 방법.
제4항에 있어서, 상기 기계 판독가능한 표식은 바코드인, 방법.
제1항에 있어서, 상기 제1 작업 명령은 픽 작동을 정의하고, 지지 구조물 상의 위치, 객체 식별자 및 수량을 포함하는, 방법.
제1항에 있어서, 상기 제2 작업 명령은 배치 작동을 정의하고, 카트 상의 위치를 포함하는, 방법.
제1항에 있어서, 상기 배향 데이터를 획득하는 단계는, 상기 관성 측정 유닛으로부터 상기 배향 데이터를 수집하는 단계를 포함하는, 방법.
제3항에 있어서, 상기 배향 데이터를 획득하는 단계는, 상기 HUD로부터 상기 배향 데이터를 수신하는 단계를 포함하고, 상기 HUD는 상기 관성 측정 유닛을 포함하는, 방법.
제1항에 있어서, 상기 작업 개시 이벤트를 감지하는 단계는, 상기 모바일 컴퓨팅 장치의 마이크로폰을 통해 가청 신호(audible signal)를 감지하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 상기 누적된 배향 변화를 재설정하는 단계를 추가로 포함하는, 방법.
컴퓨팅 장치로서,
상기 컴퓨팅 장치에 연결된 출력 어셈블리를 통해 상기 컴퓨팅 장치의 오퍼레이터에게 프레젠테이션을 위한 작업 명령들의 시퀀스를 저장하는 메모리;
작업 개시 이벤트를 감지하도록 구성되는 입력 어셈블리;
센서와 상기 메모리에 연결된 프로세서
를 포함하되, 상기 프로세서는,
상기 입력 어셈블리로부터 상기 작업 개시 이벤트의 감지를 수신하는 것에 응답하여:
상기 시퀀스로부터 제1 작업 명령을 상기 오퍼레이터에게 제공하기 위해 상기 출력 어셈블리를 제어하고,
관성 측정 유닛으로부터 상기 오퍼레이터에 대응하는 배향 데이터를 획득하고,
상기 배향 데이터에 기초하여, 상기 작업 개시 이벤트의 감지한 때로부터 누적된 오퍼레이터 배향 변화를 추적하고,
상기 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 상기 시퀀스로부터 제2 작업 명령을 상기 오퍼레이터에게 제공하기 위해 상기 출력 어셈블리를 제어하도록 구성되는, 컴퓨팅 장치.
제12항에 있어서, 상기 메모리, 상기 입력 어셈블리, 상기 프로세서 및 상기 출력 어셈블리를 지지하는 모바일 컴퓨팅 장치 하우징 및 헤드-업 디스플레이(HUD) 프레임 중 적어도 하나를 추가로 포함하는, 컴퓨팅 장치.
제12항에 있어서, 상기 출력 어셈블리는 상기 컴퓨팅 장치에 연결된 헤드-업-디스플레이(HUD)를 포함하고,
상기 프로세서는 상기 제1 및 제2 작업 명령을 상기 HUD에 송신하도록 구성되는, 모바일 컴퓨팅 장치.
제12항에 있어서, 상기 센서는 데이터 캡처 장치를 포함하고, 상기 프로세서는, 상기 작업 개시 이벤트를 감지하기 위해, 상기 데이터 캡처 장치로부터의 기계 판독가능한 표식으로부터 캡처된 데이터를 수신하도록 구성되는, 모바일 컴퓨팅 장치.
제15항에 있어서, 상기 기계 판독가능한 표식은 바코드인, 모바일 컴퓨팅 장치.
제12항에 있어서, 상기 제1 작업 명령은 픽 작동을 정의하고, 지지 구조물 상의 위치, 객체 식별자 및 수량을 포함하는, 모바일 컴퓨팅 장치.
제12항에 있어서, 상기 제2 작업 명령은 배치 작동을 정의하고, 카트 상의 위치를 포함하는, 모바일 컴퓨팅 장치.
제12항에 있어서, 상기 관성 측정 유닛을 추가로 포함하는, 모바일 컴퓨팅 장치.
제14항에 있어서, 상기 프로세서는, 상기 배향 데이터를 획득하기 위해, 상기 HUD로부터 상기 배향 데이터를 수신하도록 구성되는, 모바일 컴퓨팅 장치.
제12항에 있어서, 마이크로폰을 추가로 포함하되, 상기 프로세서는, 상기 작업 개시 이벤트를 감지하기 위해, 상기 마이크로폰을 통해 가청 신호를 감지하도록 구성되는, 모바일 컴퓨팅 장치.
제12항에 있어서, 상기 프로세서는 상기 누적된 오퍼레이터 배향 변화가 임계값을 초과하는 경우에, 상기 누적된 배향 변화를 재설정하도록 추가 구성되는, 모바일 컴퓨팅 장치.