KR102603345B1 - 시각적 표시기들의 검출 및 해석 - Google Patents

시각적 표시기들의 검출 및 해석 Download PDF

Info

Publication number
KR102603345B1
KR102603345B1 KR1020177036463A KR20177036463A KR102603345B1 KR 102603345 B1 KR102603345 B1 KR 102603345B1 KR 1020177036463 A KR1020177036463 A KR 1020177036463A KR 20177036463 A KR20177036463 A KR 20177036463A KR 102603345 B1 KR102603345 B1 KR 102603345B1
Authority
KR
South Korea
Prior art keywords
image
image data
data
determining
indicator
Prior art date
Application number
KR1020177036463A
Other languages
English (en)
Other versions
KR20180021707A (ko
Inventor
일야 블라디미로비치 브레일로브스키
폴 베렌버그
Original Assignee
아마존 테크놀로지스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아마존 테크놀로지스, 인크. filed Critical 아마존 테크놀로지스, 인크.
Publication of KR20180021707A publication Critical patent/KR20180021707A/ko
Application granted granted Critical
Publication of KR102603345B1 publication Critical patent/KR102603345B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

디바이스들의 시각적 표시기들(예컨대 LED들)의 의미를 검출 및 해석하고, 잠재적인 이상들에 대한 정보 및 솔루션들을 사용자들에게 제공하는 디바이스들, 시스템들 및 방법들이 개시된다. 예를 들어, 시각적 표시기들의 이미지 데이터는 이미지 캡처 디바이스(예컨대 카메라)에 의해 캡처될 수 있다. 그 다음 이미지 데이터는 이미지 데이터에 캡처된 객체를 식별하기 위해 분석될 수 있다. 객체의 시각적 표시기에 대응하는 이미지 데이터 내 픽셀 값들의 발광이 시각적 표시기의 시퀀스를 결정하기 위해 사용될 수 있다. 그 다음, 시퀀스의 의미에 대응하는 정보는 사용자 또는 객체 소유자의 디바이스에 전송될 수 있다.

Description

시각적 표시기들의 검출 및 해석
기술이 발달함에 따라, 전자 디바이스들의 사용 및 인기가 상당히 증가되었다. 또한 사람들이 다수의 가정용 전자 디바이스 및 가전 제품을 갖는 것이 일반적이다. 이러한 디바이스들의 일부는 사용자에게 몇몇 단편의 정보(예컨대, 배터리 부족, 전원 온, 전원 오프 등)를 표시하기 위해 번쩍이거나 밝아지는 표시기들, 예컨대 발광 다이오드들(LED들)을 갖는다. 그러나, 몇몇 디바이스에 의하면, 하나 이상의 LED를 번쩍이거나 밝힘으로써 또는 다른 그러한 애매모호한 표시기들을 활성화함으로써 디바이스가 전달하고 있는 것을 사용자에게 용이하게 확인할 수 없을 수 있다.
본 발명에 대한 보다 완전한 이해를 위해, 첨부한 도면들과 함께 취해지는 하기의 설명이 참조된다.
도 1은 본 발명의 실시예들을 구현하기 위한 시스템의 개요를 예시한다.
도 2는 본 발명의 실시예들에 따른 시각적 표시기의 대표적인 해석을 예시한다;
도 3은 본 발명의 실시예들을 구현하기 위한 시스템의 다른 개요를 예시한다.
도 4는 본 발명의 실시예들에 따른 대표적인 디바이스를 개념적으로 예시하는 블록도이다.
도 5는 본 발명의 실시예들에 따른 대표적인 컴퓨팅 디바이스를 개념적으로 예시하는 블록도이다.
도 6은 본 발명의 실시예들에 따른 객체를 식별하는 대표적인 방법을 예시한다.
도 7은 본 발명의 실시예들에 따른 시각적 표시기를 해석하는 대표적인 방법을 예시한다.
도 8은 본 발명의 실시예들을 구현하기 위한 시스템의 다른 개요를 예시한다.
도 9는 본 발명의 실시예들을 구현하기 위한 시스템의 다른 개요를 예시한다.
도 10은 본 발명의 실시예들에 따른 객체를 식별하고 시각적 표시기를 해석하는 대표적인 방법을 예시한다.
도 11은 본 발명의 실시예들을 구현하기 위한 시스템의 다른 개요를 예시한다.
도 12는 본 발명의 실시예들을 구현하기 위한 객체 식별자에 대응하는 데이터 유형 플로우 구조의 개요를 예시한다.
도 13은 본 발명의 실시예들을 구현하기 위한 사용자 프로필에 대응하는 데이터 유형 플로우 구조의 개요를 예시한다.
도 14는 본 발명의 실시예들을 구현하기 위한 디바이스 식별자에 대응하는 데이터 유형 플로우 구조의 개요를 예시한다.
도 15는 본 발명의 실시예들에 따른 분산 처리로 사용하기 위한 네트워크를 예시한다.
가정용 전자 디바이스들(예컨대, DVD/블루레이 플레이어들, 무선 라우터들, 텔레비전들, 스테레오들 등) 및 전기 가전 제품들(연기 감지기들, 온도 조절 장치들, 냉장고들, 스토브들, 온수 가열기들, 온기로들 등)은 유비쿼터스이다. 이러한 디바이스들 중 많은 디바이스는 사용자에게 정보를 제시하기 위한 임의의 유선 또는 무선 연결을 갖지 않는다. 더 정확히 말하면, 그러한 디바이스들은 몇몇 단편의 정보를 사용자에게 전달하기 위해 특정 시퀀스로 번쩍/깜박이거나 밝아지는 하나 이상의 시각적 표시기(예컨대 발광 다이오드(LED)) 또는 특정 시퀀스로 삐 소리를 내는 오디오 표시기(예컨대 삐 소리를 출력하는 스피커)를 포함하는 인터페이스를 포함할 수 있다. 예를 들어, 스토브는 스토브가 온일 때를 표시하기 위해 밝아지는 시각적 표시기를 가질 수 있고; 무선 라우터는 인터넷 연결이 작동하고 있거나 작동하고 있지 않을 때를 표시하기 위해 켜지거나 꺼지는 시각적 표시기를 가질 수 있고; 커피 메이커는 커피가 여전히 따뜻함을 표시하기 위한 시각적 표시기를 가질 수 있고; 연기 감지기는 배터리가 부족함을 표시하기 위해 활성화하는 시각적 표시기 및/또는 오디오 표시기를 가질 수 있고; 일산화탄소 센서는 이상이 발생했음을 표시하기 위해 활성화하는 시각적 표시기 및/또는 오디오 표시기를 가질 수 있는 등이다. 많은 다른 그러한 예는 용이하게 상상될 수 있다. 그러한 디바이스들의 편재성, 및 그것들 각각의 표시기들의 직관적인 의미의 상대적인 부족으로 인해, 사용자가 임의의 특정 표시기의 의미를 한 눈에 알기 어려울 수 있다. 나아가, 다수의 디바이스에 걸쳐 그러한 표시기들을 추적하는 것이 어려울 수 있다. 그러한 표시기들의 상태를 해석 및 모니터링하기 위한 개선점들이 제공된다.
디바이스들의 시각적 및/또는 오디오 표시기들의 의미를 검출 및 해석하고, 잠재적인 이상들에 대한 정보 및 솔루션들을 사용자들에게 제공하는 시스템 및 방법들이 개시된다. 예를 들어, 가전 제품들 및 다른 디바이스들에 의해 발생되는 시각적 표시기들(예컨대 LED들) 및/또는 오디오 표시기들(예컨대 삐 소리를 출력하는 스피커들)은 사용자의 집 또는 사무실 내 이미지 캡처 제품(예컨대 Dropcam® 카메라, 태블릿 컴퓨터, 스마트폰 등) 또는 오디오 캡처 제품(예컨대 마이크로폰)을 사용하여 모니터링될 수 있고, 디바이스에 있는 문제, 디바이스를 수리하는 방법, 새로운 디바이스를 구매하는 방법, 수리 서비스들을 제공, 부품들 또는 보충물들을 구매하는 능력(예컨대 표시기가 배터리 부족에 대응할 경우 배터리 또는 커피 리필) 등에 대한 정보를 사용자들에게 제공하기 위해 시퀀스들이 해석될 수 있다. 또한 시스템들 및 방법들은 사용자들에게 사용자가 각각의 디바이스(들)에서 떨어져 있을 때 그러한 표시기들에 관한 알림들을 제공할 수 있다.
예를 들어, 이미지 캡처 디바이스는 사용자의 집 내 디바이스(예를 들어, 온기로)의 시각적 표시기들의 이미지 데이터를 캡처하고 그러한 데이터를 처리를 위한 원격 디바이스로 전송할 수 있다. 원격 디바이스는 표시기 패턴 또는 시퀀스를 식별하고 패턴의 대응하는 의미를 식별할 수 있다. 예로서, 시각적 표시기들은 고온 가열기가 압력 증가로 인해 적절하게 기능하고 있지 않음을 표시할 수 있다. 이러한 경우, 원격 디바이스는 문제를 사용자에게 알리는 메시지 또는 다른 알림(예컨대 텍스트 메시지, 이메일, 전화 통화 등)을 사용자에게 전송할 수 있다. 또한 원격 디바이스는 압력을 약화하기 위한 명령 및/또는 로컬 수리 서비스에 대한 연락처 정보를 제공(또는 간단히 수리공 또는 사용자를 위한 서비스를 호출)할 수 있다. 그러한 시스템은 특히 디바이스(예를 들어, 온기로)가 통신 컴포넌트들을 자체적으로 구비하지 않는 경우 유용하다.
다른 예로, 시스템 및 방법들은 표시기들의 이미지 및/또는 오디오 데이터를 캡처하도록, 그리고 데이터를 처리하기 위한 원격 디바이스로 전송하도록 구성된 이미지 캡처 디바이스(예컨대 카메라) 및/또는 오디오 캡처 디바이스(예컨대 마이크로폰)를 포함한다. 이미지 데이터는 단일 이미지, 시각적 표시기에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖게 연속으로 캡처된 복수의 이미지, 시각적 표시기에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖는 비디오 등일 수 있다.
이미지 및/또는 오디오 캡처 디바이스(들)는 디바이스 ID와 연관될 수 있고, ID를 데이터와 함께 원격 디바이스에 전송할 수 있다. 이 점에서, ID는 하나 이상의 객체와 연관될 수 있다. 객체들은 이미지 데이터에 나타나는 객체들 및/또는 오디오 표시기를 내는 객체들일 수 있다. 그에 따라, 원격 디바이스는 객체들을 식별하고 그 다음 표시기(들)를 해석하기 위해 ID를 사용할 수 있다. 또한 ID는 사용자 ID(예컨대 특정 사용자와 연관된 숫자) 또는 다른 유형의 사용자 프로필(사용자 이름, 우편 주소 정보, 청구/결제 정보, 선호 정보, 주문 이력 정보 및 제품의 주문/구매를 주문 및 완료하기 위한 다른 정보 등과 관련된 다양한 데이터를 포함할 수 있음)과 연관될 수 있다, 예를 들어 객체 소유자의 프로필이 이전 구매 이력, 시스템 구성 등을 통해 객체의 디바이스 ID에 링크될 수 있다. 또한 사용자 프로필은 제품(들)이 표시기(들)의 해석에 대응하여 주문될 수 있게 하도록 구성될 수 있다. 예를 들어, 객체들 중 하나가 커피 머신일 때, 표시기는 커피 머신에 커피가 떨어졌거나 부족함을 표시할 수 있고, 원격 디바이스는 간단히 (사용자 선호도에 따라) 커피 머신에 대한 커피 리필을 더 주문하고 커피를 사용자에게 발송할 수 있다. 또한 표시기 또는 표시기 시퀀스는 얼마든지 다른 액션에 대응할 수 있다. 예를 들어, 표시기는 커피 머신이 고장난 상황에 대응할 수 있다. 이러한 상황에서, 원격 디바이스는 사용자 디바이스에 문제 알림을 전송하고 수리 서비스들을 제공하고, 새로운 커피 머신을 구매할 옵션을 제공하고, 커피 머신을 수리하는 방법에 관한 설명을 제공하고, 수리공 또는 수리 서비스를 부르고, 사용자의 집에 가서 커피 머신을 점검/수리하기 위한 수리 서비스를 예약하는 등을 할 수 있다.
예로, 집에 설치된 카메라는 한 번 이상 깜박이는 불빛이 비춰지는 커피 머신의 이미지들을 캡처할 수 있다. 카메라로부터의 이러한 이미지 데이터는 원격 서버에 전송될 수 있다. 서버는 데이터를 분석하고 머신의 외관에 기초하여, 원격 디바이스가 커피 머신의 브랜드 및 모델을 식별할 수 있다. 그 다음 서버는 룩업 테이블(LUT) 또는 불빛을 커피 머신 모델에 매칭하는 다른 데이터베이스를 사용하여 깜박이는 특정 불빛이 의미하는 것을 결정할 수 있다. 예를 들어, 서버는 커피 머신에 물이 떨어졌음, 여전히 뜨거움 등을 결정할 수 있다. 또한 카메라는 데이터가 서버에 전송될 때, 서버가 불빛이 어떻게 깜박이고 있는지에 기초하여 수행될 임의의 미리 구성된 액션들에 액세스할 수 있도록 디바이스 ID가 또한 전송되도록(또는 서버에 의해 검색되도록) 디바이스 ID와도 연관될 수 있다. 예를 들어, 서버는 불빛으로부터 커피 머신에 커피가 떨어졌음을 결정할 수 있다. 또한 디바이스 및/또는 카메라가 사용자 프로필(이 경우 머신의 소유자)에 링크될 수 있기 때문에, 서버는 간단히 커피를 더 주문하고 사용자 프로필에 기록된 사용자의 집 주소의 사용자에 커피를 발송할 수 있다.
본 출원에 설명된 시스템들 및 방법들은 객체들 및 다른 제품들의 이전 제조자들이 그들의 현재 설계를 유지할 수 있게 하고, 와이파이, 블루투스 또는 다른 네트워킹 하드웨어 비용 없이 표시기들을 통해 사물 인터넷(IoT, Internet of Things) 자동화를 제공할 수 있게 한다. 또한, 보다 전통적인 디스플레이들(예컨대 액정 디스플레이(LCD))을 사용자에게 통신을 제공하도록 그리고 액션들을 수행하도록 해석될 수 있는 표시기들로 대체함으로써 객체들 및 다른 제품들의 제조 비용이 감소될 수 있게 한다.
도 1은 본 발명의 실시예들을 구현하기 위한 시스템(100)의 개요를 예시한다. 시스템은 네트워크(108)를 통해 서로 통신할 수 있는 사용자 디바이스(102), 원격 디바이스(104) 및 하나 이상의 데이터베이스(106)를 포함한다. 이러한 실시예에서, 사용자 디바이스(102)는 시각적 표시기(112)(예컨대 LED)를 갖는 객체(110)(본 실시예에서 라디오)의 이미지 데이터를 캡처할 수 있다. 이미지 데이터는 단일 이미지, 시각적 표시기(112)에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖게 연속으로 캡처된 복수의 이미지, 시각적 표시기(112)에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖는 비디오 등일 수 있다.
그에 따라, 사용자 디바이스(102)는 블록(114)으로 예시된 바와 같이, 객체(110)의 이미지 데이터를 캡처한다. 그 다음 사용자 디바이스(102)는 블록(116)으로 예시된 바와 같이, 캡처된 이미지 데이터를 원격 디바이스(104)에 전송한다. 원격 디바이스(104)는 블록(118)으로 예시된 바와 같이, 이미지 데이터를 수신하고, 블록(120)으로 예시된 바와 같이, 이미지 데이터에 나타나는 객체(110)를 식별한다. 원격 디바이스(104)는 사용자 프로필에서 사용자의 구매 이력에 기초하여 객체(110)(예컨대 라디오, 마이크로웨이브, 텔레비전, DVD/블루레이 플레이어, 장난감, 보안 디바이스 등에 대한 유형 및 모델)를 식별할 수 있다. 예를 들어, 사용자가 원격 디바이스(104)와 연관된 상인에게 객체(110)를 구입한 경우 또는 특정 객체(110)를 집 내 또는 카메라의 시야 내에 있는 것으로 추가/태깅한 경우, 이것이 객체(110)를 식별하고/거나 이미지 데이터에 나타나는 것의 옵션들을 좁히기 위해 사용될 수 있다.
원격 디바이스(104)는 다양한 이미지 매칭 기술들을 사용하여 객체(110)를 식별할 수 있다. 하나의 그러한 기술은 이미지 데이터에 나타나는 객체(110)의 특징점들을 식별하는 것을 포함할 수 있다. 특징들은 이미지 데이터에 나타나는 객체(110)의 특징점들(아래에서 보다 상세하게 설명될 바와 같이 그리고 해당 기술분야에 알려진 바와 같이), 이미지 데이터에서의 텍스처들, 이미지 데이터 내 색상들 등을 포함할 수 있다. 그 다음 원격 디바이스(104)는 특징점들을 데이터베이스들(106), 예컨대 제품 이미지들 및 정보 데이터베이스(들)에 저장된 하나 이상의 알려진 객체의 알려진 특징점들과 비교할 수 있다. 또한 원격 디바이스(104)는 객체들이 매칭하는지 여부를 확인하기 위해 기하학적 검증을 수행할 수 있다.
또한 원격 디바이스(104)는 블록(122)으로 예시된 바와 같이, 표시기(112)의 위치(예컨대 객체에 관한 표시기의 위치에 대응하는 이미지 프레임 내 픽셀 좌표들)를 식별한다. 제품 이미지들 및 정보 데이터베이스(들)(106) 내 데이터의 부분으로서, 알려진 객체들의 표시기(들)의 알려진 위치들이 참조 데이터로서 저장된다. 그에 따라, 캡처된 이미지 데이터 내 객체(110)가 알려진 객체에 매칭되어 식별되면, 원격 디바이스(104)는 제품 이미지들 및 정보 데이터베이스(들)(106)에 저장된 정보에 기초하여 이미지 데이터 내 객체(110)의 표시기(112)의 위치를 식별할 수 있다.
그 다음 원격 디바이스(104)는 블록(124)으로 예시된 바와 같이, 이미지 데이터 내 표시기(112)의 표시기 패턴(본 명세서에서 시퀀스로서도 지칭됨)을 결정할 수 있다. 이는 표시기(112)의 위치에서의 픽셀 값들의 발광 및/또는 색상을 결정함으로써 그리고 발광 및/또는 색상을 제품 이미지들 및 정보 데이터베이스(들)(106)에 저장된, 식별된 객체(110)에 대응하는 알려진 표시기 패턴들(또한 참조 데이터의 부분으로서 저장되고 참조 표시기 패턴들로서 지칭됨)과 비교함으로써 수행될 수 있다. 또한 원격 디바이스(104)는 블록(126)으로 예시된 바와 같이, 표시기 패턴에 대응하는 정보를 결정할 수 있다. 이러한 데이터는 또한 제품 이미지들 및 정보 데이터베이스(들)(106)에 참조 데이터의 부분으로서 저장될 수 있다. 예를 들어, 제품 이미지들 및 정보 데이터베이스(들)(106)는 알려진 표시기 패턴들과 상관되는 알려진 객체들에 관한 데이터를 포함할 수 있으며, 이들은 알려진 정보 및 패턴에 기초한 가능한 솔루션들과 상관된다. 이는 객체(112)가 겪고 있을 수 있는 임의의 문제를 수리하기 위해, 블록(128)으로 예시된 바와 같이, 원격 디바이스(104)가 표시기 패턴을 결정할 수 있게, 표시기 패턴에 대응하는 정보를 결정할 수 있게, 그리고 솔루션에 대응하는 정보를 결정할 수 있게 한다. 솔루션은 객체를 수리하는 방법에 관한 설명, 연락될 수 있는 임의적 로컬 수리 서비스들, 새로운 객체/제품을 구매할 옵션 등일 수 있다.
도 2를 참조하면, 객체(110)에 대한 표시기 패턴들에 대응하는 정보의 테이블(200)이 예시된다. 예시된 바와 같이, 객체(110)는 여덟 개의 상이한 표시기 패턴(202-216)을 갖는다. 표시기 패턴(202)은 표시기(112)가 오프되는 것(또는 밝아지지 않은 것)에 대응하며, 이는 객체(110)가 전원 오프 모드 또는 무전원 모드에 있음에 대응한다. 표시기 패턴(204)은 표시기(112)가 긴 깜박임으로 한 번 밝아진 후 동일한 지속 기간 어두워지는 것에 대응하며, 이는 객체(110)가 컴퓨터에 접속되어 있지 않은 것에 대응한다. 표시기 패턴(206)은 표시기(112)가 짧은 깜박임으로 한 번 밝아진 후 어두워지는 것에 대응하며, 이는 객체(110)가 직렬 접속되었으나, 오프 모드인 것에 대응한다. 표시기 패턴(208)은 표시기(112)가 긴 깜박임으로 한 번 밝아지는 것에 대응하며, 이는 객체(110)가 직렬 접속되었고 온 모드인 것에 대응한다. 표시기 패턴(210)은 표시기(112)가 두 번의 짧은 깜박임으로 두 번 밝아지는 것에 대응하며, 이는 객체(110)가 USB(universal serial bus) 접속되었으나, 오프 모드인 것에 대응한다. 표시기 패턴(212)은 표시기(112)가 두 번 밝아지는 것, 즉 한 번 짧게 깜박인 후 한 번 길게 깜박이는 것에 대응하며, 이는 객체(110)가 USB 접속되었으나, 온 모드인 것에 대응한다. 표시기 패턴(214)은 표시기(112)가 세 번 밝아지는 것, 즉 두 번 짧게 깜박인 후 한 번 길게 깜박이는 것에 대응하며, 이는 객체(110)가 USB 접속되었으나, 드라이버가 설치되지 않은 것에 대응한다. 표시기 패턴(216)은 표시기(112)가 세 번 짧은 깜박임으로 세 번 밝아지는 것에 대응하며, 이는 객체(110)가 USB 접속되었고 드라이버도 설치되었으나, 애플리케이션이 실행되고 있지 않은 것에 대응한다.
다시 도 1을 참조하면, 원격 디바이스(104)는 블록(130)으로 예시된 바와 같이, 표시기 패턴에 대응하는 정보 및/또는 솔루션(문제가 존재하는 경우)에 대응하는 정보에 대응하는 메시지를 사용자 디바이스(102)에 전송한다. 사용자 디바이스(102)는 블록(132)으로 예시된 바와 같이, 표시기 패턴에 대응하는 정보 및/또는 솔루션에 대응하는 정보를 수신한다. 사용자는 이러한 정보를 원하는 대로 사용할 수 있다. 정보를 포함하는 메시지는 시스템/사용자 디바이스(102)의 구성에 따라 다양한 방식으로 전송될 수 있다. 예를 들어, 사용자가 비디오 데이터가 캡처되고 부가적인 증강 현실 정보와 함게 사용자에게 디스플레이되는 스마트폰, 구글 등을 사용하여 증강 현실 시스템을 작동하고 있는 경우, 표시기 패턴에 관한 정보를 포함하는 메시지는 비디오 데이터 위에(예를 들어, 비디오 데이터에서 시각적 표시기의 표현 근처에) 디스플레이될 수 있고, 그에 따라 표시기 패턴의 의미의 증강 현실 표상을 제공할 수 있다. 또한 정보는 사용자 디바이스(102)를 가로질러 스크롤되고, 이메일, 텍스트/SMS로서 전송되는 등일 수 있다.
예를 들어, 도 1 및 도 2를 참조하면, 객체(110)의 표시기 패턴이 표시기 패턴(204)인 것으로 결정될 때, 사용자 디바이스(102)는 객체(110)의 표시기(112)가 한 번 길게 깜박임을 나타냈음을 사용자에게 알리는 정보를 수신할 수 있으며, 이는 객체(110)가 컴퓨터에 연결되지 않은 것을 의미한다. 또한 사용자 디바이스(102)는 객체(110)를 컴퓨터에 연결시키는 방법에 관한 설명을 수신할 수 있다. 또한 사용자 디바이스(102)는 사용자가 객체(110)를 컴퓨터에 연결하는 것과 관련하여 도움을 원하는 경우 무엇을 해야하는 지에 관한 정보를 가능한 고객 지원(예를 들어, 객체(110)의 제조사의 고객 서비스) 또는 사용자가 연락할 수 있는 수리 서비스들 형태로 수신할 수 있다. 또한 사용자 디바이스(102)는 사용자가 새로운 라디오를 원하는 경우, 새로운 객체(110) 또는 다른 유사한 객체들을 구매할 옵션들을 수신할 수 있다.
위에서 설명된 바와 같이, 원격 디바이스(104)는 이미지 데이터 내 표시기(112)의 표시기 패턴 및 제품 이미지들 및 정보 데이터베이스(들)(106)에 저장된 데이터를 사용하여 표시기 패턴의 의미에 대응하는 정보를 결정한다. 그러나, 또한 원격 디바이스(104)는 표시기 패턴 및 표시기 패턴에 대응하는 정보에 관한 데이터를 획득하기 위해 제3자 데이터베이스(134)(예컨대 객체(110)의 제조자)와 통신할 수도 있다. 예를 들어, 제품 이미지들 및 정보 데이터베이스(들)(106)가 객체(110)에 관한 제한된 데이터를 가질 때, 원격 디바이스(104)는 표시기 패턴 및 표시기 패턴에 대응하는 정보에 관한 데이터에 대한 요청을 제3자(134)에 전송할 수 있다.
도 3은 본 발명의 실시예들을 구현하기 위한 시스템(300)의 다른 개요를 예시한다. 시스템은 네트워크(108)를 통해 서로 통신할 수 있는 사용자 디바이스(102), 원격 디바이스(104), 하나 이상의 데이터베이스(106) 및 이미지 캡처 디바이스(302)를 포함한다. 이러한 실시예에서, 이미지 캡처 디바이스(302)는 하나보다 많은 시각적 표시기(306)(예컨대 LED)를 갖는 객체(304)(본 실시예에서 라우터)의 이미지 데이터를 캡처하는 독립형 카메라일 수 있다. 이미지 데이터는 단일 이미지, 시각적 표시기들(306)에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖게 연속으로 캡처된 복수의 이미지, 시각적 표시기들(306)에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖는 비디오 등일 수 있다.
이러한 실시예에서, 이미지 캡처 디바이스(302)는 이미지 데이터를 캡처함으로써 또는 이미지 데이터를 주기적으로 캡처함으로써(예컨대 분, 10분, 30분마다, 시간마다, 하루에 한 번 등) 객체(304)를 지속적으로 모니터링하고 있을 수 있다. 이미지 캡처 디바이스(302)가 상시 전원에 연결될 때, 이미지 캡처 디바이스(302)는 지속적으로 또는 보다 빈번하게 이미지 데이터를 캡처하고 있을 수 있다. 그러나, 이미지 캡처 디바이스(302)가 상시 전원에 연결되지 않고, 배터리를 가질 때에는, 전력을 절약하기 위해 이미지 캡처 디바이스(302)가 덜 빈번하게 이미지 데이터를 캡처하게 하는 것이 바람직할 수 있다.
위에서 설명된 바와 같이, 이미지 캡처 디바이스(302)는 객체(304)의 이미지 데이터를 캡처한다. 그 다음 이미지 캡처 디바이스(302)는 캡처된 이미지 데이터를 네트워크(108)를 통해 원격 디바이스(104)에 직접 전송할 수 있다. 임의로, 블록(308)으로서 예시된 바와 같이, 이미지 캡처 디바이스(302)는 캡처된 이미지 데이터를 대역 외 통신(예컨대 블루투스)을 통해 사용자 디바이스(102) 또는 가정 내 다른 디바이스에 전송할 수 있고 그 다음 사용자 디바이스(102) 또는 가정 내 다른 디바이스는 캡처된 이미지 데이터를 네트워크(108)를 통해 원격 디바이스(104)에 전송할 수 있다.
이미지 데이터가 캡처되고 원격 디바이스(104)에 전송되면, 방법은 도 1을 참조하여 위에서 설명된 방식과 유사한 방식으로 진행된다. 예를 들어, 원격 디바이스(104)는 블록(118)으로 예시된 바와 같이, 이미지 데이터를 수신하고, 블록(120)으로 예시된 바와 같이, 이미지 데이터에 나타나는 객체(304)를 식별한다. 원격 디바이스(104)는 블록(122)으로 예시된 바와 같이, 표시기들(306)의 위치를 식별한다. 원격 디바이스(104)는 블록(124)으로 예시된 바와 같이, 이미지 데이터에서 표시기들(306)의 표시기 패턴을 결정한다. 원격 디바이스(104)는 블록(126)으로 예시된 바와 같이, 표시기 패턴에 대응하는 정보를 결정하고, 블록(128)으로 예시된 바와 같이, 솔루션에 대응하는 정보를 결정한다. 그 다음 원격 디바이스(104)는 블록(130)으로 예시된 바와 같이, 표시기 패턴에 대응하는 정보 및/또는 솔루션(문제가 존재하는 경우)에 대응하는 정보를 포함하는 메시지를 사용자 디바이스(102)에 전송한다. 사용자 디바이스(102)는 블록(132)으로 예시된 바와 같이, 표시기 패턴에 대응하는 정보 및/또는 솔루션에 대응하는 정보를 수신한다. 사용자는 이러한 정보를 원하는 대로 사용할 수 있다. 예를 들어, 도 3에 예시된 바와 같이, 객체(304)의 표시기 패턴은 두 개의 조명 LED를 포함한다. 이러한 예에서, 사용자 디바이스(102)는 객체(304)가 인터넷에 접속되고 제대로 기능하고 있음을 사용자에게 알리는 정보를 수신할 수 있다.
도 4는 이미지 캡처 디바이스(302)의 예시적인 구성요소들을 개념적으로 예시하는 블록도이다. 이미지 캡처 디바이스(302). 동작 시, 이미지 캡처 디바이스(302)는 아래에 설명될 바와 같이, 이미지 캡처 디바이스(302) 상에 존재하는 컴퓨터-판독가능한 및 컴퓨터-실행가능한 명령들을 포함할 수 있다.
이미지 캡처 디바이스(302)는 이미지 캡처 디바이스(302)의 구성요소들 간에 데이터를 전달하기 위한 어드레스/데이터 버스(402)를 포함할 수 있다. 또한 이미지 캡처 디바이스(302) 내 각 구성요소는 버스(402)를 거쳐 다른 구성요소들에 연결되는 것에 더하여(또는 그 대신) 다른 구성요소들에 직접 연결될 수도 있다.
이미지 캡처 디바이스(302)는 데이터 및 컴퓨터-판독가능한 명령들을 처리하기 위한 중앙 처리 장치(CPU)를 각각 포함할 수 있는 하나 이상의 제어기/프로세서(404), 및 데이터 및 명령들을 저장하기 위한 메모리(406)를 포함할 수 있다. 메모리(406)는 휘발성 랜덤 액세스 메모리(RAM), 비-휘발성 판독 전용 메모리(ROM), 비-휘발성 자기 저항(MRAM) 및/또는 다른 유형들의 메모리를 포함할 수 있다. 이미지 캡처 디바이스(302)는 임의로 데이터 및 제어기/프로세서-실행가능한 명령들을 저장하기 위해, 데이터 스토리지 구성요소(408)를 포함할 수 있다. 데이터 스토리지 구성요소(408)는 하나 이상의 비-휘발성 스토리지 유형 예컨대 자기 스토리지, 광 스토리지, 고체-상태 스토리지 등을 포함할 수 있다.
이미지 캡처 디바이스(302) 및 그것의 다양한 구성요소들을 작동시키기 위한 컴퓨터 명령들은 실행 시 일시적 "작업" 스토리지로서 메모리(406)를 사용하여, 제어기(들)/프로세서(들)(404)에 의해 실행될 수 있다. 컴퓨터 명령들은 비-휘발성 메모리(406), 스토리지(408), 또는 외부 디바이스에 비-일시적 방식으로 저장될 수 있다. 대안적으로, 실행가능한 명령들 중 일부 또는 전부가 소프트웨어에 더하여 또는 그 대신 하드웨어 또는 펌웨어에 내장될 수 있다. 컴퓨터 명령들은 본 명세서에 설명된 방법들(예를 들어 도 3 및 도 8 내지 도 14와 관련되어 설명되는 방법들) 중 하나 이상을 수행하기 위한 명령들을 포함할 수 있다.
이미지 캡처 디바이스(302)는 입력/출력 디바이스 인터페이스들(410)을 포함한다. 다양한 구성요소가 입력/출력 디바이스 인터페이스들(410), 예컨대 하나 이상의 오디오 캡처 디바이스(들)(예컨대 마이크로폰, 미도시), 카메라(412) 및/또는 다른 그러한 구성요소들을 통해 연결될 수 있다. 또한 입력/출력 디바이스 인터페이스들(410)은 외부 주변 장치 연결, 예컨대 USB(universal serial bus), 파이어와이어(FireWire), 썬더볼트(Thunderbolt) 또는 다른 연결 프로토콜을 위한 인터페이스를 포함할 수도 있다. 또한 입력/출력 디바이스 인터페이스들(410)은 안테나(414), 이더넷 포트, 무선 근거리 네트워크(WLAN)(예컨대 와이파이) 라디오, 블루투스 및/또는 무선 네트워크 라디오, 예컨대 무선 통신 네트워크, 예컨대 LTE(Long Term Evolution) 네트워크, 와이맥스 네트워크, 3G 네트워크 등과 통신할 수 있는 라디오를 통한 하나 이상의 네트워크(108)에 대한 연결을 포함할 수도 있다. 예를 들어, 안테나(414)는 네트워크(108) 및/또는 사용자 디바이스(102)(예를 들어 블루투스를 통해)에 연결될 수 있다.
이미지 캡처 디바이스(302)는 위에서 설명된 구성요소들의 전부 또는 부분 집합을 포함할 수 있다. 도 4를 참조하여 위에서 설명된 구성요소들 중 하나 이상이 본 명세서에 설명된 방법들 중 하나 이상의 방법의 단계들을 수행하기 위해 사용될 수 있다는 것을 이해해야 한다.
도 5는 컴퓨팅 디바이스(500)의 예시적인 구성요소들을 개념적으로 예시하는 블록도이다. 컴퓨팅 디바이스(500)는 사용자 디바이스(102) 및/또는 원격 디바이스(104)의 대표적인 것일 수 있다. 동작 시, 컴퓨팅 디바이스(500)는 아래에 설명될 바와 같이, 컴퓨팅 디바이스(500) 상에 존재하는 컴퓨터-판독가능한 및 컴퓨터-실행가능한 명령들을 포함할 수 있다.
컴퓨팅 디바이스(500)는 컴퓨팅 디바이스(500)의 구성요소들 간에 데이터를 전달하기 위한 어드레스/데이터 버스(502)를 포함할 수 있다. 또한 컴퓨팅 디바이스(500) 내 각 구성요소는 버스(502)를 거쳐 다른 구성요소들에 연결되는 것에 더하여(또는 그 대신) 다른 구성요소들에 직접 연결될 수도 있다.
컴퓨팅 디바이스(500)는 데이터 및 컴퓨터-판독가능한 명령들을 처리하기 위한 중앙 처리 장치(CPU)를 각각 포함할 수 있는 하나 이상의 제어기/프로세서(504) 및 데이터 및 명령들을 저장하기 위한 메모리(506)를 포함할 수 있다. 메모리(506)는 휘발성 랜덤 액세스 메모리(RAM), 비-휘발성 판독 전용 메모리(ROM), 비-휘발성 자기 저항(MRAM) 및/또는 다른 유형들의 메모리를 포함할 수 있다. 또한 컴퓨팅 디바이스(500)는 데이터 및 제어기/프로세서-실행가능한 명령들(예를 들어, 본 명세서에 예시된 그리고 설명된 알고리즘들 및 방법들을 수행하기 위한 명령들)을 저장하기 위해, 데이터 스토리지 구성요소(508)를 포함할 수 있다. 데이터 스토리지 구성요소(508)는 하나 이상의 비-휘발성 스토리지 유형 예컨대 자기 스토리지, 광 스토리지, 고체-상태 스토리지 등을 포함할 수 있다. 또한 컴퓨팅 디바이스(500)는 입력/출력 디바이스 인터페이스들(510)을 통해 착탈가능한 또는 외부 비-휘발성 메모리 및/또는 스토리지(예컨대 착탈가능한 메모리 카드, 메모리 키 드라이브, 네트워크 스토리지 등)에 연결될 수도 있다.
컴퓨팅 디바이스(500) 및 그것의 다양한 구성요소들을 작동시키기 위한 컴퓨터 명령들은 실행 시 일시적 "작업" 스토리지로서 메모리(506)를 사용하여, 제어기(들)/프로세서(들)(504)에 의해 실행될 수 있다. 컴퓨터 명령들은 비-휘발성 메모리(506), 스토리지(508), 또는 외부 디바이스에 비-일시적 방식으로 저장될 수 있다. 대안적으로, 실행가능한 명령들 중 일부 또는 전부가 소프트웨어에 더하여 또는 그 대신 하드웨어 또는 펌웨어에 내장될 수 있다.
컴퓨팅 디바이스(500)는 입력/출력 디바이스 인터페이스들(510)을 포함한다. 다양한 구성요소가 입력/출력 디바이스 인터페이스들(510), 예컨대 디스플레이(512), 하나 이상의 오디오 캡처 디바이스(들)(예컨대 마이크로폰 또는 마이크로폰들의 어레이(514)), 소리를 내기 위한 오디오 출력 디바이스(예컨대 스피커(들)(516)), 카메라(518) 및/또는 다른 그러한 구성요소들을 통해 연결될 수 있다. 또한 입력/출력 디바이스 인터페이스들(510)은 외부 주변 장치 연결, 예컨대 USB(universal serial bus), 파이어와이어(FireWire), 썬더볼트(Thunderbolt) 또는 다른 연결 프로토콜을 위한 인터페이스를 포함할 수도 있다. 또한 입력/출력 디바이스 인터페이스들(510)은 안테나(520), 이더넷 포트, 무선 근거리 네트워크(WLAN)(예컨대 와이파이) 라디오, 블루투스 및/또는 무선 네트워크 라디오, 예컨대 무선 통신 네트워크, 예컨대 LTE(Long Term Evolution) 네트워크, 와이맥스 네트워크, 3G 네트워크 등과 통신할 수 있는 라디오를 통한 하나 이상의 네트워크(108)에 대한 연결을 포함할 수도 있다.
디스플레이(512)는 임의의 적합한 기술의 디스플레이, 예컨대 액정 디스플레이, 유기 발광 다이오드 디스플레이, 전자 종이, 전기변색 디스플레이, 음극선관 디스플레이, 피코 프로젝터 또는 다른 적합한 구성요소(들)일 수 있다. 카메라(518) 및 디스플레이(512)는 컴퓨팅 디바이스(500)로 통합될 수 있거나 별개일 수 있다.
컴퓨팅 디바이스(500)는 이미지 프로세싱 모듈(522) 및/또는 오디오 프로세싱 모듈(524)을 더 포함한다. 이미지 프로세싱 모듈(522)은 본 명세서에 설명된 방법들에 따라, 캡처된 이미지 데이터를 수신하고 다양한 이미지 매칭 기술을 사용하여 객체들을 식별한다. 하나의 그러한 기술은 이미지 데이터에서 객체의 특징점들을 식별하는 것, 그 특징점들을 데이터베이스들에 저장된 하나 이상의 알려진 객체의 알려진 특징점들과 비교하는 것, 객체들이 매칭되는지 여부를 확인하기 위해 기하학적 검증을 수행하는 것 등을 포함할 수 있다. 또한 이미지 프로세싱 모듈(522)은 본 명세서에 설명된 방법들에 따라, 객체의 표시기의 위치 및 표시기 패턴을 식별할 수 있다. 이는 이미지 프로세싱 모듈(522) 및/또는 하나 이상의 제어기/프로세서(504)가 본 명세서에 설명된 방법들에 따라, 표시기 패턴 및 패턴에 기초한 솔루션들에 대응하는 정보를 결정할 수 있게 한다.
오디오 프로세싱 모듈(524)은 객체의 가청 표시기에 관해 캡처된 오디오 데이터를 수신한다. 캡처된 오디오는 사용자 프로필에서의 객체와 연관될 수 있고/거나 사용자가 오디오 데이터와 관련된 객체를 컴퓨팅 디바이스(500)에 알릴 수 있다. 이는 오디오 프로세싱 모듈(524) 및/또는 하나 이상의 제어기/프로세서(504)가 캡처 오디오 데이터를 오디오 매칭 기술들을 사용하여 알려진 객체에 대해 알려진 표시기 패턴(들)에 매칭할 수 있게 한다. 오디오 매칭 기술들 각 표시기 패턴에 대해 알려진 객체들의 오디오 핑거프린트들이 예를 들어 위에서 설명된 스토리지(508) 및/또는 데이터베이스(들)(106)에 저장되는, 오디오 핑거프린팅을 포함할 수 있다. 캡처된 오디오 데이터의 오디오 핑거프린트가 생성되고 저장된 핑거프린트들 및 입력 오디오 간 매치(들)를 찾기 위해 저장된 오디오 핑거프린트들과 비교될 수 있다. 이는 오디오 프로세싱 모듈(524) 및/또는 하나 이상의 제어기/프로세서(504)가 본 명세서에 설명된 방법들에 따라, 또한 위에서 설명된 스토리지(508) 및/또는 데이터베이스(들)(106)에 저장될 수 있는, 표시기 패턴 및 패턴에 기초한 솔루션들에 대응하는 정보를 결정할 수 있게 한다.
컴퓨팅 디바이스(500)는 위에서 설명된 구성요소들의 전부 또는 부분 집합을 포함할 수 있다. 도 1 내지 도 3 및 도 6 내지 도 14를 참조하여 설명되는 방법들의 각각은 다른 방법들 중 하나 이상과 조합될 수 있고, 방법들의 하나 이상의 단계는 다른 방법들로 통합될 수 있다는 것을 이해해야 한다. 나아가, 도 5를 참조하여 위에서 설명된 구성요소들 중 하나 이상이 도 1 내지 도 3 및 도 6 내지 도 14를 참조하여 설명된 방법들의 단계들을 수행하기 위해 사용될 수 있다.
도 6은 본 발명의 실시예들에 따른 이미지 매칭을 수행하는 대표적인 방법(600)을 예시한다. 이미지들 및 비디오는 상이한 포맷들을 가질 수 있다는 것, 예를 들어 이미지가 JPEG, GIF, BMP, MPEG 등일 수 있다는 것을 이해해야 한다. 나아가, 이미지들 및/또는 비디오의 품질 및 해상도는 애플리케이션마다 달라질 수 있다. 이미지들 및/또는 비디오는 정확히 동일한 것은 아니고 서로 버전이 변화될 수 있다. 따라서, 이미지 매칭 시 이미지는 이미지들/비디오가 서로 매칭될 수 있도록 특정 포맷으로 나타난다.
블록(602)에서, 이미지 데이터가 원격 디바이스에 의해 수신된다. 원격 디바이스는 품질을 향상시키기 위해 수신된 이미지 데이터에 몇몇 전처리를 수행할 수 있고(예컨대 노출, 포커스, 명암, 절단 등을 조절) 이미지 매칭을 수행하기 위해 이미지 데이터로부터 프레임 또는 이미지를 선택할 수 있다. 그 다음 원격 디바이스는 블록(604)으로 예시된 바와 같이, 선택된 프레임/이미지의 콘텐츠의 특징점들, 특징 벡터들, 키워드 또는 다른 표상들(예컨대 텍스처, 색상 등)을 결정할 수 있다. 키워드는 선택된 프레임/이미지의 특징점들 및/또는 특징 벡터와 관련된 수학 함수에 기초하여 결정될 수 있다. 특징점들은 이미지 회전, 축척, 관점 또는 명암 조건의 변경들에 강인한 이미지 내 특정한 점들이다. 이는 이러한 특징점들이 두 개의 이미지가 이전에 설명된 방식에 대해 상이한 경우에도, 이미지들 양자에 보통 존재할 것이라는 것을 의미한다. 또한 이러한 특징점들은 "관심점들"로 알려져 있을 수도 있다. 따라서, 이미지 매칭의 제1 스테이지는 선택된 프레임/이미지에서 이러한 특징점들을 찾는 것을 포함할 수 있다.
블록(606)에서, 원격 디바이스는 저장된 매칭 가능성 있는 이미지를 결정한다. 원격 디바이스는 하나 이상의 추정되는 매칭 저장된 이미지를 결정하기 위해 선택된 프레임/이미지의 하나 이상의 표상(예를 들어 키워드)을 사용할 수 있다. 객체에 대응하는 객체 식별자(고유한 알파-수치 코드일 수 있는)가 저장된 이미지와 연관되어 객체를 나타낼 수 있다. 저장된 이미지들은 이미지마다 단지 하나의 객체를 포함할 수 있거나(이미지 매핑을 도움), 특정 사례들에서는, 하나의 이미지에 다수의 객체를 포함할 수 있다. 그러한 경우, 특정한 저장된 이미지가 다수의 객체 식별자와 연관될 수 있다. 원격 디바이스는 선택된 프레임/이미지의 시각적 특징들(예컨대 키워드에 표시되는 것들)을 식별하고 하나 이상의 매칭 가능성 있는 저장된 이미지를 식별하기 위해 시각적 특징에 기초하여 이미지/객체 트리를 순회할 수 있다. 선택된 프레임/이미지 및 저장된 이미지들 간 비교들은 매칭 점수, 신뢰 점수 등을 포함하여, 하나 이상의 점수를 생성할 수 있다. 점수 값들에 기초하여, 원격 디바이스는 매칭 가능성 있는 저장된 이미지를 선택할 수 있다. 예를 들어, 선택된 프레임/이미지와 저장된 이미지의 비교가 소정의 임계치를 초과하는 점수를 생성하는 경우, 저장된 이미지가 매칭 가능성 있는 이미지로 선택될 수 있다.
그 다음 원격 디바이스는 블록(608)으로 예시된 바와 같이, 이미지 매칭을 수행할 수 있다. 이미지 매칭은 선택된 프레임/이미지 및 저장된 이미지 간 특징점들을 비교하는 것을 포함할 수 있다. 충분한 수의 특징점이 시각적으로 그리고 기하학적으로 매칭할 때 그 쌍이 매칭되는 것으로 결정될 수 있다. 서로 근접한 특징 벡터들은 시각적으로 유사하고, 대응하는 특징점들이 "대응(correspondences)"으로 지칭된다. 대응은 선택된 프레임/이미지의 특징 벡터들 및 저장된 이미지들의 특징 벡터들 간 내적을 찾음으로써 결정될 수 있다. 특징점들의 쌍은 그것들의 특징 벡터들의 내적이 미리 정의된 값보다 클 때 대응이다. 그 다음 대응은 기하학적 일관성을 테스트하기 위해 통계 알고리즘에 의해 프로세싱될 수 있다. 이미지들의 기하학적 매칭을 위해 사용될 수 있는 하나의 통계 알고리즘은 최소 제곱 오차법(RANSAC) 알고리즘이나, 또한 RANSAC과 같은 알고리즘들 또는 다른 통계 알고리즘들의 다른 변이형들이 사용될 수도 있다. RANSAC에서, 대응의 소집합이 무작위로 추출된다. 그 후, 이러한 추출된 특징점들을 사용하여 기하학적 변환이 이루어진다. 변환 이후, 모델에 적합한 대응이 결정된다. 모델에 적합한 대응은 기하학적으로 일관되고 "정상치들(inliers)"로 지칭된다. 이상치들은 각 이미지로부터의, 서로 대응할 수 있는 특징점들의 쌍들(여기서 쌍은 특징점들의 시각적(및 다른) 콘텐츠에 대한 소정의 비교 임계치 이내 모델에 적합함)이고, 기하학적으로 일관된다(모션 추정에 관해 아래에서 설명될 바와 같이). 이상치들의 총수는 결정될 수 있다. 위에서 언급된 단계들은 반복들/시행들의 수가 미리 정의된 임계치보다 클 때까지 또는 이미지에 대한 이상치들의 수가 이미지를 매치로서 결정하기에 충분히 클(예를 들어 이상치들의 수가 임계치를 초과할) 때까지 반복될 수 있다. RANSAC 알고리즘은 모델에 대응하는 가장 높은 수의 이상치를 갖는 모델을 리턴한다. 또한 원격 디바이스는 선택된 프레임/이미지 및 매칭 가능성 있는 저장된 이미지 간 기하학적 구조들을 확인하기 위해 동형 변환 또는 다른 기하학점 검증을 수행할 수 있다. 특징 벡터들, 다른 특징들/표상들 및 동형 변환의 비교가 충분히 높은 점수(들)(예컨대 비교 점수, 신뢰 점수 등)를 내는 경우, 매칭 가능성 있는 저장된 이미지가 매칭되는 것으로 결정될 수 있다.
매칭 이미지가 결정될 때, 시스템은 블록(610)으로 예시된 바와 같이, 매칭 이미지에 나타난 객체를 식별할 수 있다. 이러한 식별은 매칭 이미지와 연관된 객체 식별자에 기초하여 이루어질 수 있다. 매치를 확인하기 위해, 원격 디바이스는 또한 객체가 나타나는 매칭 가능성 있는 제2 저장된 이미지(예를 들어, 후보 이미지와 상이한 각도로부터 객체를 나타내는 이미지)와 다시 이미지 비교를 수행할 수 있다.
캡처된 이미지 데이터에서 객체가 식별되면, 표시기 패턴 또는 시퀀스가 분석될 수 있다. 도 7은 본 발명의 실시예들에 따른 표시기 패턴들 또는 시퀀스들을 결정 및 해석하는 대표적인 방법(700)을 예시한다. 블록(702)에서, 원격 디바이스는 이미지 데이터를 수신할 수 있다. 이미지 데이터에서 객체는 위에서 설명된 바와 같이, 식별된다. 그 다음 원격 디바이스는 블록(704)으로 예시된 바와 같이, 이미지 데이터 또는 이미지 데이터의 선택된 프레임/이미지에서 시각적 표시기의 위치를 식별한다. 데이터베이스(들)에 저장된 객체 또는 이미지는 저장된 이미지 내 알려진 객체의 알려진 표시기가 위치되는 곳에 대한 위치 또는 좌표 정보를 포함할 수 있다. 이러한 정보를 사용하여, 원격 디바이스는 선택된 프레임/이미지에서 객체의 대응하는 위치 또는 좌표들을 식별할 수 있다.
그 다음 원격 디바이스는 블록(706)으로 예시된 바와 같이, 각 프레임/이미지마다 이미지 내 표시기의 위치에서의 픽셀 값들의 평균 색상 및/또는 발광을 결정할 수 있다. 예로, 원격 디바이스가 한계 영역, 예컨대 박스, 직사각형, 원 또는 다른 기하학적 형상으로 표시기의 위치의 경계를 정할 수 있다. 그 다음 원격 디바이스는 픽셀 값들의 색상 및/또는 발광과 연관된 데이터 집합을 결정할 수 있다. 이는 경계가 정해진 영역에 이상 코사인 변환(DCT)을 적용하는 것 및 각 프레임/이미지마다 이미지 데이터의 휘도/색차(YUV) 색 공간의 휘도 성분의 DC 계수들을 결정하는 것을 포함할 수 있다. 다시 말해, 각 프레임/이미지마다 이미지 데이터의 이러한 경계가 정해진 영역 내 모든 픽셀 값의 평균 발광이 결정된다. 그 결과, 정수 값들의 시간 시퀀스 DC(1), DC(2), ..., DC(t)가 획득된다. 그 다음 이러한 시간 시퀀스의 진부화(Banalization)가 다음과 같이 수행된다:
여기서 θ는 경험적으로 정의된, 임계 파라미터이다. θ 파라미터는 이진 시퀀스의 보다 정확한 추정을 위해 변경 또는 편중될 수 있다(예를 들어, 평균 조명 레벨이 몇몇 환경에서 편중될 수 있다). 그 다음 이진 시퀀스는 변환될 수 있다. 일례로, 이진 시퀀스 내 각 "1" 및 "0"의 수가 카운팅된다. 예를 들어: .
그 다음 원격 디바이스는 블록(708)으로 예시된 바와 같이, 표시기 패턴에 대응하는 벡터를 생성할 수 있다. 예를 들어, 정수 자연수의 유한 벡터(
Figure 112017126150568-pct00003
)가 생성될 수 있다. 이러한 벡터의 길이는 기본 시퀀스 또는 객체의 표시기의 패턴에 의해 정의된다(주어진 객체에 대한 모든 신호는 한계점을 갖는다). 또한 유효한 신호마다 정수 기준 벡터들(
Figure 112017126150568-pct00004
)의 집합이 생성되고 객체 식별자와 관련되어 저장될 수 있다. 그 다음 이러한 벡터들은 이미지 데이터에서 표시기 패턴/시퀀스를 결정하기 위해 사용될 수 있다.
그러나, 몇몇 상황에서 외부 조명이 이미지 데이터의 발광에 영향을 미칠 수 있다. 외부 조명 변화 예컨대 섬광 등에 의해 야기되는 오 검출을 줄이기 위해, 그 다음 원격 디바이스는 블록(710)으로 예시된 바와 같이, 각 프레임/이미지마다 이미지 데이터 내 표시기의 위치에 근접한 제2 경계가 정해진 영역 내 픽셀 값들의 평균 색상 및/또는 발광을 결정할 수 있다. 이러한 제2 경계가 정해진 영역에 대해, 원격 디바이스는 블록(712)으로 예시된 바와 같이, 표시기를 포함하는 경계가 정해진 영역에 대해 위에서 설명된 바와 동일한 분석을 수행할 수 있고 제2 데이터 집합을 생성할 수 있다(예컨대 정수 자연수의 제2 벡터(
Figure 112017126150568-pct00005
)). 그 다음 표시기의
Figure 112017126150568-pct00006
및 제2 경계가 정해진 영역의
Figure 112017126150568-pct00007
는 블록(714)으로 예시된 바와 같이, 오프셋될 수 있다. 예를 들어, 표시기의
Figure 112017126150568-pct00008
가 제2 경계가 정해진 영역의
Figure 112017126150568-pct00009
와 유사하거나 근사할 때, 신호는 외력에 의해 생성된 것으로 결정될 수 있고 표시기의
Figure 112017126150568-pct00010
는 제2 경계가 정해진 영역의
Figure 112017126150568-pct00011
만큼 오프셋될 수 있거나 표시기의
Figure 112017126150568-pct00012
가 폐기될 수 있다.
이미지 데이터 내 표시기의 데이터 집합(예컨대
Figure 112017126150568-pct00013
)이 결정되면, 표시기의
Figure 112017126150568-pct00014
는 블록(716)으로 예시된 바와 같이, 매치를 결정하기 위해 객체에 대응하는 저장된 데이터 집합들(예컨대 저장된 벡터들)과 비교될 수 있다. 예를 들어, 다음 규칙이 구현될 수 있다(여기서
Figure 112017126150568-pct00015
및
Figure 112017126150568-pct00016
는 다른 조정 파라미터들이다):
다음의 경우
는 에 대응한다.
매치가 찾아질 때, 원격 디바이스는 블록(718)으로 예시된 바와 같이, 이미지 데이터 내 표시기 패턴/시퀀스가 매칭 패턴/시퀀스에 대응하는 것으로 결정한다. 몇몇 표시기 시퀀스는 색상 신호들을 사용하여 정의된다, 예를 들어, 시퀀스는 3 적색 깜박임 및 7 황색 깜박임을 포함할 수 있다. 이 경우 위에서 설명된 동일한 분석이 각 색상 그리고 그에 따라 검출되는 시퀀스에 대해 수행될 수 있다. 다른 예로, 위에서 설명된 분석은 이미지 캡처 디바이스의 가변 프레임 레이트를 지원하기 위해 변경될 수 있다. 이러한 상황에서, 표시기의 벡터(
Figure 112017126150568-pct00021
)의 성분들은 프레임 레이트 시퀀스에 대응한다.
다른 예로, 표시기를 갖는 객체는 텍스트 데이터를 일반적인 텍스트 포맷(예를 들어 정보 교환용 미국 표준 코드(ASCII))으로 출력할 수 있고 표시기 출력 보 레이트(baud rate)(LR)는 이미지 캡처 디바이스에 대한 프레임 레이트(FR)보다 낮다(예를 들어 16 브레이크오버 다이오드(BOD) 깜박임 패턴 및 25 프레임/초(FPS) 이미지 캡처). 그에 따라, 이미지 캡처 디바이스는 비트들을 손실하지 않고 표시기 시퀀스의 벡터를 캡처한다. 캡처는 리던던시를 생성한다. FR이 LR로 나눠지지 않는 경우, 리던던트 비트들은 일관성이 없다. 표시기는 반복가능한 간결한 동기화 시퀀스를 생성할 수 있다. 1초 정렬 보 레이트를 고려해볼 때, 1초는 동기화 패턴을 결정하는 데 요구되는 최소이다. 표시기는 최소 1초 동안 1 및 0이 교대하는 시퀀스를 생성할 수 있다(예를 들어 16 BOD 디바이스는 16진수 55의 2 옥텟을 전송한다). 캡처가 꼬박 1초 동안 성공적인 경우 이미지 캡처 디바이스는 FR 마이너스 LR 리던던트 히트를 수신한다. 이러한 시퀀스는 반복가능하고 오프셋에 따른다. 이미지 캡처 디바이스는 이전과 동일한 모든 비트를 식별할 수 있다(예를 들어 FR=25, LR=16; 2,5,8,11,13,16,19,22,24 (0-24 명수법)). 그 다음 이미지 캡처 디바이스는 후속 데이터의 실시간 캡처 또는 사후 캡처 분석 동안 비트들의 각 FR 길이 시퀀스에서 이러한 비트들을 스킵한다.
캡슐화된 텍스트를 출력하기 위해 그리고 메시지들을 분리할 수 있는 능력을 가지고, 이미지 캡처 디바이스는 고급 데이터 연결 제어(HDLC, High-level Data Link Control) 프레이밍을 사용할 수 있다. 표시기/객체는 예를 들어 이하에 제시된 바와 같이, 동기화 프리앰블 이후 HDLC 프레임 데이터를 출력하기 시작할 수 있다:
프리앰블(hex) HDLC 프레임(hex) 데이터 HDLC 프레임(hex)
5555 7E "에러 코드 245" 7E
위에서 언급된 바와 같이, 다른 실시예들에서, 시스템 및 방법들은 표시기들의 이미지 및/또는 오디오 데이터를 캡처하도록, 그리고 데이터를 처리하기 위한 원격 디바이스로 전송하도록 구성된 이미지 캡처 디바이스(예컨대 카메라) 및/또는 오디오 캡처 디바이스(예컨대 마이크로폰)를 포함한다. 이미지 및/또는 오디오 캡처 디바이스(들)는 디바이스 ID와 연관될 수 있고, 디바이스 ID를 데이터와 함께 원격 디바이스에 전송할 수 있다. 이 점에서, 디바이스 ID는 하나 이상의 객체와 연관될 수 있다. 객체들은 이미지 데이터에 캡처되는 객체들 및/또는 오디오 표시기를 내는 객체들일 수 있다. 그에 따라, 원격 디바이스는 객체들을 식별하고 그 다음 표시기(들)를 해석하기 위해 디바이스 ID를 사용할 수 있다.
도 8은 본 발명의 실시예들을 구현하기 위한 시스템(800)의 다른 개요를 예시한다. 시스템은 네트워크(108)를 통해 서로 통신할 수 있는 이미지 캡처(302), 원격 디바이스(104) 및 하나 이상의 데이터베이스(106)를 포함한다. 이러한 실시예에서, 이미지 캡처 디바이스(302)는 하나 이상의 시각적 표시기(804)(예컨대 LED)를 갖는 객체(802)(본 실시예에서 세탁기)의 이미지 데이터를 캡처하는 독립형 카메라일 수 있다. 이미지 데이터는 단일 이미지, 시각적 표시기들(804)에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖게 연속으로 캡처된 복수의 이미지, 시각적 표시기들(804)에 의해 출력되는 시퀀스를 캡처하기에 충분한 길이를 갖는 비디오 등일 수 있다.
이러한 실시예에서, 이미지 캡처 디바이스(302)는 이미지 데이터를 캡처함으로써 또는 이미지 데이터를 주기적으로 캡처함으로써(예컨대 분, 10분, 30분마다, 시간마다, 하루에 한 번 등) 객체(802)를 지속적으로 모니터링하고 있을 수 있다. 이미지 캡처 디바이스(302)가 상시 전원에 연결될 때, 이미지 캡처 디바이스(302)는 지속적으로 또는 보다 빈번하게 이미지 데이터를 캡처하고 있을 수 있다. 그러나, 이미지 캡처 디바이스(302)가 상시 전원에 연결되지 않고, 배터리를 가질 때에는, 전력을 절약하기 위해 이미지 캡처 디바이스(302)가 덜 빈번하게 이미지 데이터를 캡처하게 하는 것이 바람직할 수 있다.
위에서 설명된 바와 같이, 이미지 캡처 디바이스(302)는 객체(802)의 이미지 데이터를 캡처한다. 그 다음 이미지 캡처 디바이스(302)는 블록(806)으로 예시된 바와 같이, 캡처된 이미지 데이터를 디바이스 식별자(ID)와 함께 네트워크(108)를 통해 원격 디바이스(104)에 직접 전송할 수 있다. 대안적으로, 이미지 캡처 디바이스(302)는 캡처된 이미지 데이터를 디바이스 ID와 함께 대역 외 통신(예컨대 블루투스)을 통해 사용자 디바이스(102) 또는 가정 내 다른 디바이스에 전송할 수 있고 그 다음 사용자 디바이스(102) 또는 가정 내 다른 디바이스는 캡처된 이미지 데이터를 네트워크(108)를 통해 원격 디바이스(104)에 전송할 수 있다.
디바이스 ID는 이미지 캡처 디바이스(302)를 특정 객체, 하나 이상의 소모품, 사용자 ID 또는 다른 유형의 사용자 프로필(사용자 이름, 우편 주소, 청구/결제 정보, 선호도, 주문 이력 및 제품의 주문/구매를 주문 및 완료하기 위한 다른 정보 등을 포함함) 등에 연결하는 식별자일 수 있다. 이러한 정보는 사용자 프로필/정보 데이터베이스(들)(106)에 저장될 수 있다. 사용자는 이러한 정보에 접근할 수 있고, 사용자 선호도를 편집, 변경, 수정 또는 그 외 다르게 셋업할 수 있다. 이는 사용자가 객체(802) 상의 표시기 패턴/시퀀스가 하나 이상의 환경에서 검출될 때 일어날 일을 제어할 수 있게 한다. 예를 들어, 이러한 예에서, 디바이스 ID는 객체(802)의 특정 모델 세탁기, 사용자 프로필 및 세탁용 세제의 특정 브랜드와 연관된다.
이미지 데이터가 캡처되고 원격 디바이스(104)에 전송되면, 원격 디바이스(104)는 블록(808)으로 예시된 바와 같이, 이미지 데이터 및 디바이스 ID를 수신한다. 원격 디바이스 액세스 데이터베이스(들)(106)는 디바이스 ID에 대응하는 모든 정보를 식별한다. 예를 들어, 원격 디바이스(104)는 블록(810)으로 예시된 바와 같이, 디바이스 ID에 대응하는 객체(802)를 식별한다. 또한 원격 디바이스(104)는 디바이스 ID에 대응하는 사용자 및 다른 설정 및 선호도를 식별할 수도 있다.
그 다음 원격 디바이스(104)는 블록(812)으로 예시된 바와 같이, 이미지 데이터에서 표시기(들)(804)의 표시기 패턴을 결정한다. 이러한 결정은 위에서 설명된 바와 같이 수행될 수 있다. 그 다음 원격 디바이스는 블록(814)으로 예시된 바와 같이, 표시기 패턴에 대응하는 액션을 수행한다. 예를 들어, 객체(802)의 하나의 저장된 표시기 패턴이 소모품(예컨대 사용자 프로필에서의 사용자 선호도에 따른 특정 세탁 제품)을 주문하고 제품을 사용자의 주소로 발송하기 위한 액션에 대응할 수 있다. 원격 디바이스(104)는 제품을 자동으로 주문하고 발송하도록 셋업될 수 있거나 블록(816)으로 예시된 바와 같이, 주문을 확인하기 위한 또는 주문되었음을 식별하는 메시지를 사용자 디바이스(예컨대 사용자 디바이스(102))를 통해 사용자에게 전송할 수 있다. 예를 들어, 메시지는 임의의 수의 메시지, 예컨대 사용자에게 그/그녀의 제품이 떨어지거나 부족함을 알리는 메시지, 사용자에게 객체(802)의 제품이 떨어지거나 부족함을 알리는 메시지, 발송 알림을 전송하는 메시지, 제품 구매에 대한 영수증 등을 포함할 수 있다. 메시지는 셀룰러 폰, 구글 고글 등을 사용하여 증강 현실 포맷을 포함하여, 임의의 포맷으로 제공될 수 있다.
원격 디바이스(104)는 어느 제품들이 현재 재고가 있는지, 객체(802)와 호환가능한지 등에 기초하여 주문하기 위해 최적의 제품(예컨대 제품 식별자(즉 아마존 표준 식별 번호(ASIN))에 대응하는 제품)을 결정하기 위해 사용자 프로필(과거 구매 이력, 사용자 선호도 등을 포함함) 및 다른 데이터(제품들에 대한 고객 평가 등)를 이용할 수 있다. 제품을 주문하기 위한 프로세스의 부분으로서 또는 제품을 주문하기 전, 원격 디바이스(104)는 어느 제품이 현재 주문되어 있는지를 결정하기 위해 사용자 프로필에서의 사용자의 구매 이력을 확인할 수 있다. 몇몇 실시예에서, 제품이 최근에 주문되지 않았다면, 원격 디바이스(104)는 제품을 재주문할 수 있고/거나 사용자에게 제품에 대한 "원 클릭" 재주문 버튼을 프롬프트할 수 있다(예를 들어 사용자 디바이스 상에, 이메일, 텍스트 메시지 등을 통해).
다른 예로, 표시기(들)(804)의 표시기 패턴이 객체(802)가 고장나거나 이상을 겪고 있는 것에 대응할 때, 원격 디바이스(104)는 사용자가 문제를 수리하는 것을 돕기 위해 수리 서비스 일정이 이미 잡혔는지를 결정하기 위해 사용자 프로필에서의 사용자의 달력을 확인할 수 있다. 어떤 수리 서비스 일정도 잡혀있지 않을 때, 원격 디바이스(104)는 사용자를 위해 수리 서비스를 식별하고 사용자 프로필과 연관된 달력 상에 사용자를 위해 약속을 잡고/거나 수리 서비스에 관한 제안을 사용자에게 제공할 수 있다. 이러한 예에서, 블록(816)에서 언급되는 메시지는 객체(802)가 ABC 수리 서비스에 의해 수리될 수 있는 문제를 겪고 있음, 객체(802)가 문제를 겪고 있음 그리고 ABC 수리 서비스와의 약속 일정이 잡혔고 당신의 달력에 추가됨을 나타내는 알림을 포함할 수 있다.
표시기 패턴/시퀀스는 객체의 기능에 대한 특정 정보가 식별될 수 있고 사용자 디바이스에 전송될 수 있는 위에서 설명된 것들과 유사할 수 있다는 것을 이해해야 한다. 추가적으로, 임의의 수의 액션이 특정 표시기 패턴/시퀀스의 검출 시 개시되도록 미리 프로그램될 수 있다. 또한 이러한 액션들은 사용자 프로필 또는 사용자의 계정을 통해 사용자에 의해 수정가능할 수 있는 등이다.
몇몇 상황에서, 단일 이미지 캡처 디바이스(302)는 하나보다 많은 객체와 관련되어 사용될 수 있다. 이러한 상황들에서, 이미지 프로세싱은 하나보다 많은 객체의 식별을 포함할 수 있다(위에서 언급된 바와 같이). 대안적으로, 이미지 캡처 디바이스(302)는 디바이스 ID와 연관될 수 있고 디바이스 ID는 이미지 캡처 디바이스(302)가 캡처하는 각 객체의 위치 및 객체 식별자와 연관될 수 있다.
도 9는 본 발명의 실시예들을 구현하기 위한 시스템(900)의 다른 개요를 예시한다. 시스템은 네트워크(108)를 통해 서로 통신할 수 있는 이미지 캡처(302), 사용자 디바이스(102), 원격 디바이스(104) 및 하나 이상의 데이터베이스(106)를 포함한다. 이러한 실시예에서, 이미지 캡처 디바이스(302)는 하나 이상의 시각적 표시기(804)(예컨대 LED)를 갖는 객체(802)(본 실시예에서 세탁기) 및 하나 이상의 시각적 표시기(904)(예컨대 LED)를 갖는 객체(902)(본 실시예에서 커피 머신)의 이미지 데이터를 캡처하는 독립형 카메라일 수 있다.
위에서 설명된 바와 같이, 이미지 캡처 디바이스(302)는 객체(802 및 902)의 이미지 데이터를 캡처한다.그 다음 이미지 캡처 디바이스(302)는 블록(806)으로 예시된 바와 같이, 캡처된 이미지 데이터를 디바이스 식별자(ID)와 함께 네트워크(108)를 통해 원격 디바이스(104)에 직접 전송할 수 있다. 대안적으로, 이미지 캡처 디바이스(302)는 캡처된 이미지 데이터를 디바이스 ID와 함께 대역 외 통신(예컨대 블루투스)을 통해 사용자 디바이스(102) 또는 가정 내 다른 디바이스에 전송할 수 있고 그 다음 사용자 디바이스(102) 또는 가정 내 다른 디바이스는 캡처된 이미지 데이터를 네트워크(108)를 통해 원격 디바이스(104)에 전송할 수 있다.
이미지 데이터가 캡처되고 원격 디바이스(104)에 전송되면, 원격 디바이스(104)는 블록(808)으로 예시된 바와 같이, 이미지 데이터 및 디바이스 ID를 수신한다. 디바이스 ID와 연관된 사용자 디바이스(102)는 객체들(802 및 902)에 대응하는 입력 데이터 및 캡처된 이미지 데이터에서 그것들의 각각의 위치들을 입력하도록 알림을 받거나 질의될 수 있다. 원격 디바이스(104)는 블록(906)으로 예시된 바와 같이, 입력 데이터를 수신한다. 그 다음 원격 디바이스(104)는 디바이스 ID를 객체들(802 및 902) 및 그것들의 위치들과 연관시키기 위해 데이터베이스(들)(106)를 업데이트할 수 있다. 이는 빠르고 효율적으로 후속 캡처 이미지 데이터가 분석될 수 있게 그리고 표시기 패턴들이 결정될 수 있게 한다.
위에서 설명된 바와 같이, 원격 디바이스(104)는 블록(814)으로 예시된 바와 같이, 표시기 패턴들에 대응하는 하나 이상의 액션을 수행할 수 있다. 예를 들어, 객체(802)의 하나의 저장된 표시기 패턴이 소모품(예컨대 사용자 프로필에서의 사용자 선호도에 따른 특정 세탁 제품)을 주문하고 제품을 사용자의 주소로 발송하기 위한 액션에 대응할 수 있다. 객체(902)의 다른 저장된 표시기 패턴이 소모품(예컨대 사용자 프로필에서의 사용자 선호도에 따른 특정 커피)을 주문하고 제품을 사용자의 주소로 발송하기 위한 액션에 대응할 수 있다. 원격 디바이스(104)는 제품들을 자동으로 주문하고 발송하도록 셋업될 수 있거나 블록(816)으로 예시된 바와 같이, 주문을 또는 몇몇 다른 알림에 관하여 확인하기 위한 메시지를 사용자 디바이스(예컨대 사용자 디바이스(102))를 통해 사용자에게 전송할 수 있다.
도 10은 본 발명의 실시예들에 따라 디바이스 ID를 사용자 ID 및 객체들과 연관시키는 방법(1000)을 예시한다. 블록(1002)에서, 원격 디바이스는 디바이스 ID(예컨대 디바이스들(102, 302 등)에 대응하는 ID)를 연관시킨다. 이러한 연관은 하나 이상의 데이터베이스(예컨대 데이터베이스(들)(106))에 저장된 사용자 프로필에 저장될 수 있다. 또한 원격 디바이스는 블록(1004)으로 예시된 바와 같이, 객체(또는 객체 식별자)를 디바이스 ID 및/또는 사용자 ID와 연관시킬 수 있다. 또한 이러한 연관은 하나 이상의 데이터베이스(예컨대 데이터베이스(들)(106))에 저장된 사용자 프로필에 저장될 수 있다. 객체 식별자는 본 명세서에 설명된 이미지 매칭 기술들에 따라 원격 디바이스에 의해 결정될 수 있다. 대안적으로, 사용자는 객체의 모델을 입력 또는 선택할 수 있고, 원격 디바이스는 예를 들어, 제품 이미지들 및 정보 데이터베이스(들)(106) 내 룩업 테이블(LUT)에서 모델을 검색함으로써, 모델에 기초하여 객체 식별자를 결정할 수 있다. 유사하게, 연관들이 구매 이력 및/또는 사용자의 사용자 프로필, 사용자로부터의 입력, 사전 구성 등에 기초하여 결정될 수 있다.
또한 원격 디바이스는 블록(1006)으로 예시된 바와 같이, 이미지 내 하나 이상의 객체의 위치들을 객체 식별자들, 디바이스 ID 및/또는 사용자 ID와 연관시킬 수 있다. 또한 이러한 연관은 하나 이상의 데이터베이스(예컨대 데이터베이스(들)(106))에 저장된 사용자 프로필에 저장될 수 있다. 위치들은 본 명세서에 설명된 이미지 매칭 기술들에 따라 원격 디바이스에 의해 결정될 수 있다. 대안적으로, 사용자가 객체들의 위치들을 입력할 수 있다.
또한 원격 디바이스는 블록(1008)으로 예시된 바와 같이, 액션들을 각 대응하는 객체 식별자, 디바이스 ID 및/또는 사용자 ID를 갖는 각 객체의 특정 표시기 시퀀스들/패턴들에 대응하는 각 객체 식별자와 연관시킬 수 있다. 또한 이러한 연관은 하나 이상의 데이터베이스(예컨대 데이터베이스(들)(106))에 저장된 사용자 프로필에 저장될 수 있다. 액션들은 사용자에 의해 선택되거나 디폴트 액션들일 수 있다. 이러한 액션은 객체에 관한 임의의 수의 액션을 포함할 수 있다. 예를 들어, 액션들은 소모품을 주문하는 것, 사용자에게 이상을 알리는 것, 사용자에게 표시기 패턴/시퀀스의 의미를 알리는 것, 잠재적으로 대체할 수 있는 제품들을 제공하는 것, 수리 및/또는 고객 서비스 정보를 제공하는 것, 문제들을 핸들링하는 방법에 관한 명령들을 제공하는 것, 수리 서비스와의 약속 일정을 잡는 것 등에 관한 것일 수 있다.
그 다음 원격 디바이스는 특정 표시기 패턴/시퀀스를 검출하는 것에 응답하여 그러한 액션들을 수행할 수 있다. 예를 들어, 원격 디바이스는 블록(1010)으로 예시된 바와 같이, 이미지 데이터 및 디바이스 ID를 수신할 수 있다. 원격 디바이스 액세스 데이터베이스(들)(예컨대 데이터베이스(들)106)는 블록(1012)으로 예시된 바와 같이, 디바이스 ID에 대응하는 하나 이상의 객체를 식별한다. 그 다음 원격 디바이스는 블록(1014)으로 예시된 바와 같이, 이미지 데이터에서 각 객체의 각 표시기(들)의 표시기 패턴을 결정한다. 그 다음 원격 디바이스는 블록(1016)으로 예시된 바와 같이, 표시기 패턴들을 알려진 패턴들에 매칭시키고 각 검출된 표시기 패턴과 연관된 액션들을 결정할 수 있다. 그 다음 원격 디바이스는 블록(1018)으로 예시된 바와 같이, 표시기 패턴에 대응하는 액션(들)을 수행할 수 있다.
다른 실시예들에서, 표시기는 위에서 설명된 시각적 표시기들 대신 또는 그에 더하여 가청 표시기일 수 있다. 이러한 점에서, 원격 디바이스는 오디오 표시기 패턴/시퀀스들을 저장된 오디오 패턴들/시퀀스들에 매칭시키기 위한 오디오 매칭 기술들을 채용할 수 있고, 위에서 설명된 바와 같이 액션들을 수행하거나 사용자 디바이스에 정보를 제공할 수 있다. 도 11은 오디오 표시기들에 대하여 본 발명의 실시예들을 구현하기 위한 시스템(1100)의 개요를 예시한다. 시스템은 네트워크(108)를 통해 서로 통신할 수 있는 이미지 캡처 디바이스(1102)(예컨대 마이크로폰), 사용자 디바이스(102), 원격 디바이스(104) 및 하나 이상의 데이터베이스(106)를 포함한다. 이러한 실시예에서, 오디오 캡처 디바이스(1102)는 하나 이상의 오디오 표시기(1106)(예컨대 스피커(들))를 갖는 객체(1104)(본 실시예에서 커피 머신)의 오디오 데이터를 캡처하는 독립형 디바이스일 수 있다.
오디오 캡처 디바이스(1102)는 객체(1104)의 오디오 데이터를 캡처한다. 그 다음 오디오 캡처 디바이스(1102)는 블록(1108)으로 예시된 바와 같이, 캡처된 오디오 데이터를 디바이스 식별자(ID)와 함께 네트워크(108)를 통해 원격 디바이스(104)에 직접 전송할 수 있다. 대안적으로, 오디오 캡처 디바이스(1102)는 캡처된 오디오 데이터를 디바이스 ID와 함께 대역 외 통신(예컨대 블루투스)을 통해 사용자 디바이스(102) 또는 가정 내 다른 디바이스에 전송할 수 있고 그 다음 사용자 디바이스(102) 또는 가정 내 다른 디바이스는 캡처된 오디오 데이터를 네트워크(108)를 통해 원격 디바이스(104)에 전송할 수 있다.
오디오 데이터가 캡처되고 원격 디바이스(104)에 전송되면, 원격 디바이스(104)는 블록(1110)으로 예시된 바와 같이, 오디오 데이터 및 디바이스 ID를 수신한다. 그 다음 원격 디바이스는 블록(1112)으로 예시된 바와 같이, 데이터베이스(예컨대 데이터베이스(들)(106)) 내 룩업 테이블(LUT)에서 대응하는 객체를 검색하기 위해 디바이스 ID를 사용한다. 위에서 언급된 바와 같이, 디바이스 ID, 사용자 ID, 객체 식별자, 사용자 프로필 등은 모두 서로 링크될 수 있다. 추가적으로, 위에서 설명된 바와 같이, 하나 이상의 표시기 시퀀스/패턴은 객체 식별자에 링크될 수 있고 하나 이상의 액션은 각 표시기 시퀀스/패턴에 링크될 수 있다.
원격 디바이스(104)는 블록(1114)으로 예시된 바와 같이, 오디오 데이터에 기초하여 표시기의 패턴/시퀀스를 결정할 수 있다. 패턴/시퀀스는 오디오 핑거프린팅 기술들을 사용하여 결정될 수 있다. 예를 들어, 알려진 표시기 패턴/시퀀스를 포함하여 알려진 오디오의 디지털 요약이 주파수, 세기, 시간 및 다른 오디오 파라미터들에 기초하여 생성될 수 있다. 그 다음 이러한 디지털 요약은 디바이스 ID, 사용자 ID, 객체 식별자, 사용자 프로필 등과 연관되어, 예를 들어 데이터베이스(들)(106)에 저장될 수 있다. 원격 디바이스는 수신된 오디오 데이터 내 오디오의 예컨대 디지털 요약(또는 오디오 핑거프린트)을 생성하고 표시기 패턴/시퀀스를 결정하기 위해 수신된 오디오 데이터의 오디오 핑거프린트를 저장된 오디오 핑거프린트들과 비교할 수 있다.
그 다음 원격 디바이스(104)는 블록(1116)으로 예시된 바와 같이, 검출된 표시기 패턴들에 대응하는 하나 이상의 액션을 수행할 수 있다. 예를 들어, 객체(1104)의 하나의 저장된 표시기 패턴이 소모품(예컨대 사용자 프로필에서의 사용자 선호도에 따른 특정 커피)을 주문하고 제품을 사용자의 집 우편 주소로 발송하기 위한 액션에 대응할 수 있다. 원격 디바이스(104)는 제품들을 자동으로 주문하고 발송하도록 셋업될 수 있거나 블록(1118)으로 예시된 바와 같이, 주문을 또는 몇몇 다른 알림에 관하여 확인하기 위한 메시지를 사용자 디바이스(예컨대 사용자 디바이스(102))를 통해 사용자에게 전송할 수 있다.
위에서 설명된 바와 같이, 시스템들 및 방법들은 객체를 식별하는 것, 객체와 연관된 표시기의 의미를 결정하는 것 그리고 표시기의 의미에 기초하여 메시지를 전송/액션을 수행하는 것을 포함할 수 있다. 본 명세서에 설명된 방법들을 수행하기 위해, 다양한 단편의 데이터 및 데이터 구조들이 사용될 수 있다. 객체 ID와 관련된 데이터 유형 플로우 구조(1200)의 예가 도 12에 예시된다. 이러한 예에서, 원격 디바이스는 객체를 식별하고 객체에 대응하는 객체 ID(1202)를 결정할 수 있다. 객체 ID(1202)는 객체의 유형, 브랜드, 제조사, 모델 번호, 연도 등과 연관될 수 있다. 객체 ID(1202)는 사용자 프로필(1204)(즉, 객체의 소유자의 프로필) 및 디바이스 ID(1206)(즉 이미지 캡처 디바이스에 대응하는 ID)와 연관될 수 있다. 위에서 설명된 바와 같이, 객체는 표시기를 포함하거나 그와 연관될 수 있다. 이러한 점에서, 객체 ID(1210)는 또한 하나 이상의 표시기 시퀀스(1208-1212)(객체의 수신된 이미지 또는 오디오 데이터에 나타난 표시기의 시퀀스를 결정하기 위해 사용될 수 있음)와 연관될 수 있다.
예시된 바와 같이, 시퀀스 1(1208)은 시퀀스 1의 의미(1214)와 연관된다. 예로서, 시퀀스 1(1208)은 표시기가 밝아지는 것과 관련될 수 있고, 이러한 시퀀스의 의미는 보충가능한 제품을 주문하는 것과 관련될 수 있다. 또한 제품 유형(1216)은 객체 ID 및/또는 시퀀스 1의 의미(1214)와 연관될 수 있다. 예를 들어, 객체 ID(1202)가 모델 번호 XYZ를 갖는 브랜드 X 커피 머신에 대응할 때, 제품 유형은 커피 머신과 호환가능한 컵들의 카테고리와 관련될 수 있다. 또한 이러한 제품 유형(1216)은 이용가능하고 구매되어 사용자에게 발송될 수 있는 다양한 제품, 예컨대 제품 1(1218) 및 제품 2(1220)와 연관될 수 있다. 객체 ID(1202)가 사용자 프로필(1204)와 연관되기 때문에, 시스템들 및 방법들은 또한 사용자가 구매하기 원하는 제품을 결정하기 위해 그리고 정확한 제품을 자동으로 구매하고 제품을 사용자에게 발송하기 위해 사용자 프로필(1204)을 참조할 수 있다.
시퀀스 2(1210)는 시퀀스 2의 의미(1222)와 연관된다. 예로서, 시퀀스 2(1210)는 표시기가 지속적으로 번쩍이는 것과 관련될 수 있고, 이러한 시퀀스의 의미는 객체 ID(1202)와 연관된 객체에 수리가 필요하다는 것과 관련될 수 있다. 또한 수리 서비스들의 유형(1224)은 객체 ID 및/또는 시퀀스 2의 의미(1222)와 연관될 수 있다. 예를 들어, 수리 서비스들(1224)은 모델 번호 XYZ를 갖는 브랜드 X 커피 머신에 대한 수리 서비스들의 카테고리와 관련될 수 있다. 또한 수리 서비스들(1224)의 유형 중 이러한 유형은 모델 번호 XYZ를 갖는 브랜드 X 커피 머신을 수리하기 위해 연락될 수 있는 다양한 수리 서비스, 예컨대 수리 서비스 1(1226) 및 수리 서비스 2(1228)와 연관될 수 있다. 객체 ID(1202)가 사용자 프로필(1204)과 연관되기 때문에, 시스템들 및 방법들은 또한 객체의 위치(즉 사용자의 집 주소에서의)를 결정하기 위해 그리고 사용자에 적절한 수리 서비스를 결정하기 위해 사용자 프로필(1204)을 참조할 수 있다.
유사하게, 시퀀스 3(1212)는 시퀀스 3의 의미(1230)와 연관된다. 예로서, 시퀀스 3(1212)는 표시기가 두 번 번쩍이는 것과 관련될 수 있고, 이러한 시퀀스의 의미는 객체의 배터리 전력이 부족하다는 것과 관련될 수 있다. 또한 배터리 유형(1232)은 객체 ID 및/또는 시퀀스 3의 의미(1230)와 연관될 수 있다. 예를 들어, 객체 ID(1202)가 모델 번호 XYZ를 갖는 브랜드 X 연기 검출기에 대응할 때, 배터리 유형은 연기 검출기와 호환가능한 9 볼트 유형 배터리들(예컨대 에너자이저 배터리들, 듀라셀 배터리들 등)의 카테고리와 관련될 수 있다. 또한 이러한 배터리 유형(1232)은 이용가능하고 구매되어 사용자에게 발송될 수 있는 다양한 제품, 예컨대 배터리 1(1234) 및 배터리 2(1236)와 연관될 수 있다. 객체 ID(1202)가 사용자 프로필(1204)와 연관되기 때문에, 시스템들 및 방법들은 또한 사용자가 구매하기 원하는 대체 배터리를 결정하기 위해 그리고 정확한 대체 배터리를 자동으로 구매하고 대체 배터리를 사용자에게 발송하기 위해 사용자 프로필(1204)을 참조할 수 있다.
사용자 프로필과 관련된 데이터 유형 플로우 구조(1300)의 예가 도 13에 예시된다. 이러한 예에서, 사용자 프로필(1204)은 하나 이상의 디바이스 ID(1302), 예컨대 디바이스 ID 1(1304)(예를 들어 사용자의 집의 카메라에 대응함) 및 디바이스 ID 2(1306)(예를 들어 사용자의 스마트폰에 대응함)를 포함하고/거나 이들과 연관될 수 있다. 이러한 디바이스 ID들 중 어느 하나는 디바이스 ID(1206)일 수 있다. 또한 사용자 프로필(1204)은 하나 이상의 객체 ID(1308), 예컨대 객체 ID 1(1310)(예를 들어 특정 브랜드 및 모델 커피 머신에 대응함) 및 객체 ID 2(1312)(예를 들어 특정 브랜드 및 모델 세탁기에 대응함)를 포함하고/거나 이들과 연관될 수 있다. 이러한 객체 ID들 중 어느 하나는 객체 ID(1202)일 수 있고, 시퀀스들, 시퀀스들의 의미, 제품들, 수리 서비스들 등과 연관될 수 있다.
또한 사용자 프로필(1204)은 또한 선호도(1314), 예컨대 특정 유형의 제품(예컨대 브랜드 X, 헤이즐넛, 커피 K-Cups)에 대응하는 제품 1(1316), 및 특정 유형의 배터리(예컨대 브랜드 Y, 9 볼트 배터리)에 대응하는 배터리 1(1318)을 포함하거나 이들과 연관될 수 있다. 이러한 선호도는 사용자를 위해 자동으로 주문할 제품을 결정하기 위해 사용될 수 있다. 예를 들어, 도 12 및 도 13을 참조하면, 객체 ID(1202)는 모델 번호 XYZ를 갖는 브랜드 X 커피 머신에 대응할 수 있다. 보충가능한 제품을 주문하는 것과 관련된 의미(1214)를 갖는 시퀀스 1(1208)이 발생한 것으로 결정될 때, 시스템들 및 방법들은 사용자 프로필(1204)을 참조하고 브랜드 X, 헤이즐넛, 커피 K-Cups에 대응하는 제품 1(1316)이 주문되고 사용자의 우편 주소의 사용자에게 발송되어야 한다고 결정할 수 있다.
브랜드 X, 헤이즐넛, 커피 K-Cups에 대응하는 제품 1(1316)을 주문하기 전, 시스템들 및 방법들은 또한 사용자 프로필(1204)에 포함되고/거나 이와 연관될 수 있는 사용자의 구매 이력(1320)을 확인할 수 있다. 예를 들어, 시스템들 및 방법들은 제품 1(1316)이 최근에 주문되었는지 여부를 결정하기 위해 확인할 수 있고, 그렇지 않다면 제품 1(1316)을 주문하고 제품 1(1316)을 사용자의 주소로 발송하고/거나 사용자에게 제품 1(1316)에 대한 "원 클릭" 주문 버튼을 프롬프트하는 메시지를 전송할 수 있다(예를 들어 디바이스, 예컨대 디바이스 ID 2(1306)를 통해, 이메일을 통해 등).
구매 이력(1320)은 또한 객체 ID 1(1310)을 포함하거나 이와 연관될 수 있다. 이러한 정보는 객체 1 ID(1310)와 연관된 객체가 사용자 이전에 구매되었음을 의미한다. 이러한 정보는 이미지 데이터 또는 오디오 데이터에 나타나는 객체를 식별하는 것을 돕기 위해 사용될 수 있다. 예를 들어, 이미지 데이터에 나타나는 객체가 커피 머신과 관련되나, 어느 브랜드 및 모델의 커피 머신과 관련되는지 불분명한 경우, 사용자가 객체 1 ID(1310)와 연관된 브랜드 및 모델의 커피 머신을 구매했다는 사실이 객체를 식별하기 위해 사용될 수 있다. 그에 따라, 이미지 데이터에 나타난 객체가 이전에 구매된 객체 즉 객체 1 ID(1310)에 대응한다고 결정될 수 있다.
유사하게, 구매 이력(1320)은 디바이스 ID 1(1304), 제품 2(1322), 과거에 사용된 수리 서비스들(예컨대 도 12에 예시된 수리 서비스 2(1228)) 등을 포함하거나 이들과 연관될 수 있다. 모든 이러한 정보는 객체들의 식별 및 제품들, 수리 서비스들 등의 선택을 돕기 위해 사용될 수 있다.
사용자 프로필(1204)은 제품들의 자동 구매 및 그러한 제품들의 사용자의 주소로의 발송을 가능하게 하기 위해 결제 및 발송 정보(1324)를 포함하거나 이들과 연관될 수 있다. 또한 사용자 프로필(1204)은 사용자의 달력(1326)을 포함하거나 이와 연관될 수 있다. 달력(1326)은 수리 서비스들의 스케줄링, 제품들의 발송 등에 사용될 수 있다. 예를 들어, 도 12 및 도 13을 참조하면, 객체 ID(1202)는 모델 번호 XYZ를 갖는 브랜드 X 커피 머신에 대응할 수 있다. 객체에 수리가 필요하다는 것과 관련된 의미(1222)를 갖는 시퀀스 2(1210)가 발생한 것으로 결정될 때, 시스템들 및 방법들은 사용자 프로필(1204)을 참조하고 문제를 수리하기 위해 수리 서비스가 이미 예약이 정해졌는지 여부를 결정할 수 있다. 어떤 수리 서비스의 예약도 잡히지 않았을 때, 로컬 수리 서비스(예컨대 수리 서비스 2(1228))가 사용자를 위해 선택될 수 있다. 또한 시스템들 및 방법들은 달력(1326) 상에 약속 일정을 잡을 수 있고/거나 사용자에게 수리 서비스에 관한 제안(즉 당신의 커피 머신에 수리가 필요하며, 이는 회사 Y 수리 서비스들에 의해 수리될 수 있다)을 제공할 수 있다.
선호도들(1314 및 1320)이 사용자를 위해 제품, 수리 서비스 등을 선택할지에 관한 결정을 가능하게 하기에 충분한 정보를 제공하지 않을 때, 시스템들 및 방법들은 사용자를 위한 적절한 제품, 수리 서비스 등을 선택하기 위해 고객 평가 및 다른 그러한 데이터를 활용할 수 있다.
또한 디바이스 ID들은 특정 정보와 연관될 수 있으며, 이들은 객체들을 식별하고 제품들, 수리 서비스들 등을 선택하는 것을 도울 수 있다. 디바이스 ID들과 관련된 데이터 유형 플로우 구조(1400)의 예가 도 14에 예시된다. 이러한 예에서, 디바이스 ID 1(1304)은 객체 ID들, 예컨대 객체 ID 1(1310) 및 객체 ID 3(1404)와 연관될 수 있다. 디바이스 ID와 객체 ID들의 연관은 디바이스 ID와 연관된 디바이스의 시야 내에 있는 객체들을 식별하기 위해 사용될 수 있다. 예를 들어, 디바이스 ID 1(1304)은 사용자의 주방에 위치된 카메라에 대응할 수 있고, 객체 ID 1(1310)은 카메라의 시야의 우측에 위치된 커피 머신에 대응할 수 있으며, 객체 ID 3(1404)는 카메라의 시야의 좌측에 위치된 냉장고에 대응할 수 있다. 이러한 정보는 디바이스 ID 1(1304), 뿐만 아니라 객체 ID 1(1310) 및 디바이스 ID 3(1404)와 연관되어 저장될 수 있다. 이는 시스템들 및 방법들이 카메라로부터 수신되는 이미지 데이터에 나타나는 객체들을 빠르게 식별할 수 있게 한다. 예를 들어, 이미지 데이터가 디바이스 ID와 함께 카메라로부터 수신될 때, 시스템들 및 방법들은 디바이스 ID와 연관된 정보를 참조할 수 있고 그렇게 함으로써 좌측의 객체가 객체 ID 3(1404)와 연관된 객체라는 것, 그리고 우측의 객체가 객체 ID 1(1310)과 연관된 객체라는 것을 이해할 수 있다.
유사하게, 디바이스 ID 3(1402)(사용자의 가정 내 제2 카메라에 대응함)는 객체 ID들, 예컨대 객체 ID 2(1312)(세탁기에 대응함)와 연관될 수 있다. 또한 디바이스 ID들의 각각은 서로 연관되고 사용자 프로필(1204)과 연관될 수 있다.
또한 사용자 프로필(1204)은 사용자가 선호도, 결제 정보, 주소 등을 입력, 수정, 제거 등을 할 수 있게 하기 위해 액세스가능할 수 있다. 또한 사용자는 대응하는 디바이스들의 시야 내에 식별된 객체들이 정확하게 식별됨을 확인하기 위해 사용자 프로필(1204)에 온라인으로 액세스함으로써 사용자 프로필(1204)을 사용할 수 있다.
도 12 내지 도 14에 예시된 데이터 플로우 구조들은 단지 예들이고 다양한 단편의 데이터가 임의의 적용가능한 방식으로 구조화되어 서로 연관될 수 있다는 것을 이해해야 한다.
또한 오디오 표시기가 유사한 방식으로 설명된 시각적 표시기들 대신 또는 그에 더하여 사용될 수 있다는 것을 이해해야 한다. 그에 따라, 본 명세서에 설명된 임의의 방법들은 본 명세서에 설명된 하나 이상의 다른 방법과 조합될 수 있고 단계들이 교환 등이 될 수 있다.
본 명세서에 개시된 개념들은 예를 들어, 범용 컴퓨팅 시스템들, 멀티미디어 셋-탑 박스들, 텔레비전들, 스테레오들, 라디오들, 서버-클라이언트 컴퓨팅 시스템들, 메인프레임 컴퓨팅 시스템들, 전화 컴퓨팅 시스템들, 랩탑 컴퓨터들, 셀룰러 폰들, 개인용 정보 단말기들(PDA들), 태블릿 컴퓨터들, 웨어러블 컴퓨팅 디바이스들(와치들, 안경들 등), 다른 모바일 디바이스들 등을 포함하여, 다수의 상이한 디바이스 및 컴퓨터 시스템 내에 적용될 수 있다. 네트워크(108)를 통해, 하나 이상의 구성요소들이 네트워크 환경에 걸쳐 분산될 수 있다. 예를 들어, 다수의 컴퓨팅 디바이스(예컨대 사용자 디바이스(102), 이미지/캡처 디바이스(302), 원격 디바이스(104) 등)가 시스템에 채용될 수 있다. 그러한 멀티-디바이스 시스템에서, 디바이스들의 각각은 본 명세서에 설명된 프로세스들의 상이한 측면들을 수행하기 위한 상이한 구성요소들을 포함할 수 있다. 다수의 디바이스는 중첩 구성요소들을 포함할 수 있다.
도 15에 예시된 바와 같이, 다수의 디바이스(102, 104, 110, 302, 306, 802, 902, 1102, 1110, 및 1502-1506)는 시스템의 구성요소들을 포함할 수 있고 디바이스들을 네트워크(108)를 통해 연결될 수 있다. 네트워크(108)는 로컬 또는 개인 네트워크를 포함할 수 있거나 광역 네트워크 예컨대 인터넷을 포함할 수 있다. 디바이스들은 유선 또는 무선 연결들 중 어느 하나를 통해 네트워크(108)에 연결될 수 있다. 예를 들어, 스마트폰(1502), 랩탑 컴퓨터(1504), 데스크탑 컴퓨터(1506) 및 사용자 디바이스(102), 이미지 캡처 디바이스(302), 객체들(110, 802, 902) 및 원격 디바이스(104)가 무선 서비스 제공자를 통해, 와이파이 또는 셀룰러 네트워크 연결 등 또는 유선 연결을 통해 네트워크(108)에 연결될 수 있다. 이러한 네트워크 디바이스들은 내장된 오디오 입력 디바이스들, 예컨대 내부 마이크로폰 및 스피커를 포함할 수 있고, 디바이스들 중 하나 이상은 오디오 프로세싱 모듈을 포함할 수 있다.
본 명세서에 개시된 개념들은 예를 들어, 범용 컴퓨팅 시스템들, 텔레비전들, 스테레오들, 라디오들, 서버-클라이언트 컴퓨팅 시스템들, 메인프레임 컴퓨팅 시스템들, 전화 컴퓨팅 시스템들, 랩탑 컴퓨터들, 셀룰러 폰들, 개인용 정보 단말기들(PDA들), 태블릿 컴퓨터들, 웨어러블 컴퓨팅 디바이스들(와치들, 안경들 등), 다른 모바일 디바이스들 등을 포함하여, 다수의 상이한 디바이스 및 컴퓨터 시스템 내에 적용될 수 있다.
개시된 시스템들 및 방법들의 측면들은 산업용 설정에 적용될 수 있다. 예를 들어, 이미지 캡처 디바이스(들)는 영구적으로 설치된 카메라들(예컨대 보안 카메라들)일 수 있고 표시기들은 공장 또는 다른 산업용 장비에 속할 수 있다.
추가적으로, 시각적 표시기는 다수의 상이한 유형의 구성요소, 예컨대 LED, 색상을 변경하는 화학적 기반 표시기(예컨대 집적 회로에 대한 표시기), 차단가능한 표시기, 또는 시각적으로 지각할 수 있는 임의의 다른 유형의 표시일 수 있다.
개시된 시스템의 측면들은 컴퓨터 방법으로서 또는 제조품 예컨대 메모리 디바이스 또는 비-일시적 컴퓨터 판독가능한 저장 매체로서 구현될 수 있다. 컴퓨터 판독가능한 저장 매체는 컴퓨터에 의해 판독가능할 수 있고 컴퓨터 또는 다른 디바이스가 본 발명에 설명된 프로세스들을 수행하게 하기 위한 명령들을 포함할 수 있다. 컴퓨터 판독가능한 저장 매체는 휘발성 컴퓨터 메모리, 휘발성 컴퓨터 메모리, 하드 드라이브, 고체-상태 메모리, 플래쉬 드라이브, 착탈가능한 디스크 및/또는 다른 매체들에 의해 구현될 수 있다. 또한, 사용자 디바이스(102), 이미지 캡처 디바이스(302) 또는 원격 디바이스(104)의 하나 이상의 구성요소는 펌웨어로서 또는 하드웨어의 상태 기계로서 구현될 수 있다. 예를 들어, 적어도 프로세싱 모듈들이 주문형 반도체(ASIC), 디지털 신호 프로세서(DSP), 필드 프로그램가능 게이트 어레이(FPGA) 또는 이들의 몇몇 조합으로서 구현될 수 있다.
또한 앞에서의 내용은 다음 조항들을 고려하여 이해될 수 있다.
1. 시각적 표시기를 검출 및 해석하기 위한 컴퓨터-구현 방법으로서,
사용자 프로필과 연관된 사용자 디바이스로부터, 가전 제품의 발광 다이오드(LED)를 나타내는 이미지 데이터를 수신하는 단계;
이미지 데이터를 사용하여 가전 제품의 유형을 식별하는 단계;
가전 제품에 관한 LED의 참조 위치에 대응하는 저장된 픽셀 좌표들 및 LED의 저장된 조명 시퀀스를 결정하는 단계;
참조 데이터에 기초하여, 이미지 프레임 내 픽셀 좌표들을 식별하는 단계로서, 픽셀 좌표들을 이미지 데이터 내 LED의 위치에 대응하는, 상기 픽셀 좌표들을 식별하는 단계;
이미지 데이터의 제1 이미지 내 제1 픽셀 값의 제1 발광 값 및 제1 색상 값을 결정하는 단계로서, 제1 픽셀 값은 제1 이미지 내 LED의 위치에 대응하고 제1 이미지는 제1 시간에 대응하는, 상기 제1 발광 값 및 상기 제1 색상 값을 결정하는 단계;
이미지 데이터의 제2 이미지 내 제2 픽셀 값의 제2 발광 값 및 제2 색상 값을 결정하는 단계로서, 제2 픽셀 값은 제2 이미지 내 LED의 위치에 대응하고 제2 이미지는 제1 시간 이후 제2 시간에 대응하는, 상기 제2 발광 값 및 제2 색상 값을 결정하는 단계;
제1 발광 값, 제1 색상 값, 제2 발광 값 및 제2 색상 값이 LED의 저장된 조명 시퀀스에 대응함을 결정하는 단계;
저장된 조명 시퀀스와 연관된 정보를 식별하는 단계로서, 가전 제품에 관한, 상기 정보를 식별하는 단계; 및
정보를 사용자 디바이스에 전송하는 단계를 포함하는, 컴퓨터-구현 방법.
2. 조항 1에 있어서,
가전 제품의 유형을 식별하는 단계는 가전 제품이 사용자 프로필과 연관된 이전에 구매한 가전 제품에 대응함을 결정하는 단계를 포함하며; 그리고
저장된 조명 시퀀스와 연관된 정보를 식별하는 단계는 제품이 가전 제품에 관해 주문될 것임을 결정하는 단계를 포함하고;
방법은:
사용자 프로필과 연관된 선호 제품을 결정하는 단계,
사용자 프로필과 연관된 우편 주소를 결정하는 단계 및
우편 주소에 발송할 선호 제품을 자동으로 주문하는 단계를 포함하며; 그리고
정보를 사용자 디바이스에 전송하는 단계는 선호 제품의 구매 영수증을 전송하는 단계를 포함하는, 컴퓨터-구현 방법.
3. 조항 1에 있어서,
저장된 픽셀 좌표들을 가전 제품의 유형과 연관시키는 단계;
저장된 조명 시퀀스를 가전 제품의 유형과 연관시키는 단계;
저장된 조명 시퀀스와 연관된 정보를 가전 제품의 유형과 연관시키는 단계; 및
호환가능한 제품들을 가전 제품의 유형과 연관시키는 단계를 더 포함하는, 컴퓨터-구현 방법.
4. 컴퓨터-구현 방법으로서,
조명 시각적 표시기를 갖는 객체를 나타내는 사용자 프로필과 연관된 이미지 데이터를 수신하는 단계;
이미지 데이터에 나타나는 객체를 식별하는 단계;
조명 시각적 표시기의 의미를 결정하는 단계;
의미에 대응하여 정보를 식별하는 단계; 및
사용자 프로필과 연관된 디바이스에 메시지를 전송하는 단계를 포함하는, 컴퓨터-구현 방법.
5. 조항 4에 있어서, 의미를 결정하는 단계는 참조 데이터에 기초하여, 이미지 데이터 내 시각적 표시기의 위치에 대응하는 픽셀 좌표들을 식별하는 단계를 포함하되, 참조 데이터는 식별된 객체에 관한 시각적 표시기의 참조 위치에 대응하여 저장된 픽셀 좌표들을 포함하는, 컴퓨터-구현 방법.
6. 조항 5에 있어서, 의미를 결정하는 단계는:
시각적 표시기의 위치에 대응하는 영역의 를 정하는 단계; 및
경계가 정해진 영역 내 이미지 데이터의 하나 이상의 픽셀 값의 발광 값을 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
7. 조항 6에 있어서, 발광 값을 결정하는 단계는:
경계가 정해진 영역에 이산 코사인 변환을 적용하는 단계; 및
이미지 데이터의 휘도 및 색차 YUV 색 공간의 휘도 성분으로부터 계수를 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
8. 조항 6에 있어서, 의미를 결정하는 단계는:
이미지 데이터의 제1 이미지 내 제1 픽셀 값의 제1 발광 값을 결정하는 단계로서, 제1 픽셀 값은 제1 이미지 내 시각적 표시기의 위치에 대응하고 제1 이미지는 제1 시간에 대응하는, 상기 제1 발광 값을 결정하는 단계;
이미지 데이터의 제2 이미지 내 제2 픽셀 값의 제2 발광 값을 결정하는 단계로서, 제2 픽셀 값은 제2 이미지 내 시각적 표시기의 위치에 대응하고 제2 이미지는 제2 시간에 대응하는, 상기 제2 발광 값을 결정하는 단계; 및
제1 및 제2 발광 값들에 기초하여 제1 데이터 세트를 생성하는 단계를 포함하는, 컴퓨터-구현 방법.
9. 조항 8에 있어서, 의미를 결정하는 단계는:
시각적 표시기의 위치에 근접한 제2 위치에 대응하는 제2 영역의 경계를 정하는 단계;
제2 위치에 대응하는 이미지 데이터의 제1 이미지 내 제3 픽셀 값의 제3 발광 값을 결정하는 단계;
제2 위치에 대응하는 이미지 데이터의 제2 이미지 내 제4 픽셀 값의 제4 발광 값을 결정하는 단계;
제3 및 제4 발광 값들에 대응하여 제2 데이터 세트를 생성하는 단계; 및
제1 및 제2 발광 값들이 제2 데이터 세트에 실질적으로 매칭하는 데 실패한 제1 데이터 세트에 기초하여 외부 효과와 대조적으로 시각적 표시기에 의해 야기됨을 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
10. 조항 8에 있어서, 의미를 결정하는 단계는 제1 데이터 세트를 식별된 객체와 연관되어 저장된 데이터 세트에 매칭하는 단계를 포함하는, 컴퓨터-구현 방법.
11. 조항 4에 있어서, 사용자 프로필과 연관된 디바이스에 메시지를 전송하는 단계는 조명 시퀀스의 의미, 객체를 수리하는 방법에 대응하는 설명, 객체에 대한 잠재적으로 대체할 수 있는 부품들, 잠재적으로 대체할 수 있는 객체를 구매하기 위한 옵션들, 수리 서비스에 대한 연락처 정보 또는 객체와 연관된 소모성 물품들을 구매하기 위한 옵션들 중 적어도 하나를 전송하는 단계를 포함하는, 컴퓨터-구현 방법 .
12. 조항 4에 있어서,
객체에 대응하는 오디오 데이터를 수신하는 단계로서, 오디오 데이터는 객체와 연관된 오디오 표시기를 포함하는, 상기 오디오 데이터를 수신하는 단계;
오디오 핑거프린트를 객체와 연관되어 저장된 오디오 시퀀스들에 대응하여 저장된 오디오 핑거프린트들과 비교하는 단계;
저장된 오디오 핑거프린트에 매칭하는 오디오 핑거프린트에 기초하여 오디오 표시기의 오디오 시퀀스를 결정하는 단계를 더 포함하되;
조명 시퀀스에 대응하여 정보를 식별하는 단계는 오디오 시퀀스에 대응하여 정보를 식별하는 단계를 포함하는, 컴퓨터-구현 방법.
13. 디바이스로서,
적어도 하나의 프로세서; 및
메모리 디바이스로서, 적어도 하나의 프로세서를:
조명 시각적 표시기를 갖는 객체를 나타내는 사용자 프로필과 연관된 이미지 데이터를 수신하도록;
이미지 데이터에 나타나는 객체를 식별하도록;
조명 시각적 표시기의 의미를 결정하도록;
의미에 대응하는 정보를 식별하도록; 그리고
사용자 프로필과 연관된 디바이스에 메시지를 전송하도록 구성하여, 액션들의 세트를 수행하기 위해 적어도 하나의 프로세서에 의해 실행될 동작가능한 명령들을 포함하는, 상기 메모리 디바이스를 포함하는, 디바이스.
14. 조항 13에 있어서, 적어도 하나의 프로세서는 참조 데이터에 기초하여, 이미지 데이터 내 시각적 표시기의 위치에 대응하는 픽셀 좌표들을 식별함으로써 의미를 결정하도록 더 구성되되, 참조 데이터는 식별된 객체에 관한 상기 시각적 표시기의 참조 위치에 대응하여 저장된 픽셀 좌표들을 포함하는, 디바이스.
15. 조항 14에 있어서, 적어도 하나의 프로세서는:
시각적 표시기의 위치에 대응하는 영역의 경계를 정함으로써; 그리고
경계가 정해진 영역 내 이미지 데이터의 하나 이상의 픽셀 값의 발광 값을 결정함으로써 의미를 결정하도록 더 구성되는, 디바이스.
16. 조항 15에 있어서, 적어도 하나의 프로세서는:
경계가 정해진 영역에 이산 코사인 변환을 적용함으로써; 그리고
이미지 데이터의 휘도 및 색차 YUV 색 공간의 휘도 성분으로부터 계수를 결정함으로써 의미를 결정하도록 더 구성되는, 디바이스.
17. 조항 15에 있어서, 적어도 하나의 프로세서는:
이미지 데이터의 제1 이미지 내 제1 픽셀 값의 제1 발광 값을 결정하되, 제1 픽셀 값은 제1 이미지 내 시각적 표시기의 위치에 대응하고 제1 이미지는 제1 시간에 대응하는, 상기 제1 발광 값을 결정함으로써;
이미지 데이터의 제2 이미지 내 제2 픽셀 값의 제2 발광 값을 결정하되, 제2 픽셀 값은 제2 이미지 내 시각적 표시기의 위치에 대응하고 제2 이미지는 제2 시간에 대응하는, 상기 제2 발광 값을 결정함으로써; 그리고
제1 및 제2 발광 값들에 기초하여 제1 데이터 세트를 생성함으로써 의미를 결정하도록 더 구성되는, 디바이스.
18. 조항 17에 있어서, 적어도 하나의 프로세서는:
시각적 표시기의 위치에 근접한 제2 위치에 대응하는 제2 영역의 경계를 정함으로써;
제2 위치에 대응하는 이미지 데이터의 제1 이미지 내 제3 픽셀 값의 제3 발광 값을 결정함으로써;
제2 위치에 대응하는 이미지 데이터의 제2 이미지 내 제4 픽셀 값의 제4 발광 값을 결정함으로써;
제3 및 제4 발광 값들에 대응하여 제2 데이터 세트를 생성함으로써; 그리고
제1 및 제2 발광 값들이 제2 데이터 세트에 실질적으로 매칭하는 데 실패한 제1 데이터 세트에 기초하여 외부 효과와 대조적으로 시각적 표시기에 의해 야기됨을 결정함으로써 의미를 결정하도록 더 구성되는, 디바이스.
19. 청구항 13에 있어서, 적어도 하나의 프로세서는 제1 데이터 세트를 식별된 객체와 연관되어 저장된 데이터 세트에 매칭함으로써 의미를 결정하도록 더 구성되는, 디바이스.
20. 조항 13에 있어서, 적어도 하나의 프로세서는 조명 시퀀스의 의미, 객체를 수리하는 방법에 대응하는 설명, 객체에 대한 잠재적으로 대체할 수 있는 부품들, 잠재적으로 대체할 수 있는 객체를 구매하기 위한 옵션들, 수리 서비스에 대한 연락처 정보 또는 객체와 연관된 소모성 물품들을 구매하기 위한 옵션들 중 적어도 하나를 전송하여 사용자 프로필과 연관된 디바이스에 메시지를 전송하도록 더 구성되는, 디바이스.
본 발명에서 사용될 때, 단수 표현("한" 또는 "하나의")은 명확하게 다르게 언급되지 않는 한 하나 이상의 항목을 포함할 수 있다. 나아가, 구 "~에 기초하여"은 명확하게 다르게 언급되지 않는 한 "~에 적어도 부분적으로 기초하여"를 의미하도록 의도된다.

Claims (15)

  1. 컴퓨터-구현 방법으로서,
    조명 시각적 표시기를 갖는 객체를 나타내는 사용자 프로필과 연관된 이미지 데이터를 수신하는 단계;
    상기 이미지 데이터에 나타나는 상기 객체를 식별하는 단계;
    상기 이미지 데이터의 경계 영역 내 픽셀 값의 발광 값에 기초하여 상기 조명 시각적 표시기의 의미를 결정하는 단계로서, 상기 경계 영역은 상기 조명 시각적 표시기에 대응하는 것인, 단계; 및
    상기 의미에 대응하여 정보를 식별하는 단계; 및
    상기 사용자 프로필과 연관된 디바이스에 상기 정보를 포함하는 메시지를 전송하는 단계를 포함하는, 컴퓨터-구현 방법.
  2. 청구항 1에 있어서, 상기 의미를 결정하는 단계는 참조 데이터에 기초하여, 상기 이미지 데이터 내 상기 시각적 표시기의 위치에 대응하는 픽셀 좌표들을 식별하는 단계를 포함하되, 상기 참조 데이터는 식별된 상기 객체에 관한 상기 시각적 표시기의 참조 위치에 대응하여 저장된 픽셀 좌표들을 포함하는, 컴퓨터-구현 방법.
  3. 삭제
  4. 청구항 1에 있어서, 상기 발광 값을 결정하는 단계는,
    상기 경계 영역에 이산 코사인 변환을 적용하는 단계; 및
    상기 이미지 데이터의 휘도 및 색차 YUV 색 공간의 휘도 성분으로부터 계수를 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
  5. 청구항 1에 있어서, 상기 의미를 결정하는 단계는,
    상기 이미지 데이터의 제1 이미지 내 제1 픽셀 값의 제1 발광 값을 결정하는 단계로서, 상기 제1 픽셀 값은 상기 제1 이미지 내 상기 시각적 표시기의 위치에 대응하고 상기 제1 이미지는 제1 시간에 대응하는, 상기 제1 발광 값을 결정하는 단계;
    상기 이미지 데이터의 제2 이미지 내 제2 픽셀 값의 제2 발광 값을 결정하는 단계로서, 상기 제2 픽셀 값은 상기 제2 이미지 내 상기 시각적 표시기의 위치에 대응하고 상기 제2 이미지는 제2 시간에 대응하는, 상기 제2 발광 값을 결정하는 단계; 및
    상기 제1 발광 값 및 상기 제2 발광 값에 기초하여 제1 데이터 세트를 생성하는 단계를 포함하는, 컴퓨터-구현 방법.
  6. 청구항 5에 있어서, 상기 의미를 결정하는 단계는,
    상기 시각적 표시기의 위치에 근접한 제2 위치에 대응하는 제2 영역의 경계를 정하는 단계;
    상기 제2 위치에 대응하는 상기 이미지 데이터의 상기 제1 이미지 내 제3 픽셀 값의 제3 발광 값을 결정하는 단계;
    상기 제2 위치에 대응하는 상기 이미지 데이터의 상기 제2 이미지 내 제4 픽셀 값의 제4 발광 값을 결정하는 단계;
    상기 제3 발광 값 및 상기 제4 발광 값에 대응하는 제2 데이터 세트를 생성하는 단계; 및
    상기 제1 발광 값 및 상기 제2 발광 값이 상기 제2 데이터 세트에 실질적으로 매칭하는 데 실패한 상기 제1 데이터 세트에 기초하여 외부 효과와 대조적으로 상기 시각적 표시기에 의해 야기됨을 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
  7. 청구항 5에 있어서, 상기 의미를 결정하는 단계는 상기 제1 데이터 세트를 식별된 상기 객체와 연관되어 저장된 데이터 세트에 매칭하는 단계를 포함하는, 컴퓨터-구현 방법.
  8. 청구항 1에 있어서, 상기 사용자 프로필과 연관된 상기 디바이스에 상기 메시지를 전송하는 단계는 상기 조명 시각적 표시기의 의미, 상기 객체를 수리하는 방법에 대응하는 설명, 상기 객체에 대한 잠재적으로 대체할 수 있는 부품들, 잠재적으로 대체할 수 있는 객체를 구매하기 위한 옵션들, 수리 서비스에 대한 연락처 정보 또는 상기 객체와 연관된 소모성 물품들을 구매하기 위한 옵션들 중 적어도 하나를 전송하는 단계를 포함하는, 컴퓨터-구현 방법.
  9. 청구항 1에 있어서,
    상기 객체에 대응하는 오디오 데이터를 수신하는 단계로서, 상기 오디오 데이터는 상기 객체와 연관된 오디오 표시기를 포함하는, 상기 오디오 데이터를 수신하는 단계;
    오디오 핑거프린트를 상기 객체와 연관되어 저장된 오디오 시퀀스들에 대응하여 저장된 오디오 핑거프린트들과 비교하는 단계;
    저장된 오디오 핑거프린트에 매칭하는 상기 오디오 핑거프린트에 기초하여 상기 오디오 표시기의 오디오 시퀀스를 결정하는 단계를 더 포함하되;
    상기 의미에 대응하여 정보를 식별하는 단계는 상기 오디오 시퀀스에 대응하여 정보를 식별하는 단계를 포함하는, 컴퓨터-구현 방법.
  10. 디바이스로서,
    적어도 하나의 프로세서; 및
    메모리 디바이스로서, 상기 적어도 하나의 프로세서를,
    조명 시각적 표시기를 갖는 객체를 나타내는 사용자 프로필과 연관된 이미지 데이터를 수신하도록;
    상기 이미지 데이터에 나타나는 상기 객체를 식별하도록;
    상기 조명 시각적 표시기에 대응하는 경계 영역 내 상기 이미지 데이터의 픽셀 값의 발광 값에 기초하여 상기 조명 시각적 표시기의 의미를 결정하도록;
    상기 의미에 대응하여 정보를 식별하도록; 그리고
    상기 사용자 프로필과 연관된 디바이스에 상기 정보를 포함하는 메시지를 전송하도록 구성하여, 액션들의 세트를 수행하기 위해 상기 적어도 하나의 프로세서에 의해 실행될 동작가능한 명령들을 포함하는, 상기 메모리 디바이스를 포함하는, 디바이스.
  11. 청구항 10에 있어서, 상기 적어도 하나의 프로세서는 참조 데이터에 기초하여, 상기 이미지 데이터 내 상기 시각적 표시기의 위치에 대응하는 픽셀 좌표들을 식별함으로써 상기 의미를 결정하도록 더 구성되되, 상기 참조 데이터는 식별된 상기 객체에 관한 상기 시각적 표시기의 참조 위치에 대응하여 저장된 픽셀 좌표들을 포함하는, 디바이스.
  12. 청구항 11에 있어서, 상기 적어도 하나의 프로세서는,
    상기 경계 영역에 이산 코사인 변환을 적용함으로써; 그리고
    상기 이미지 데이터의 휘도 및 색차 YUV 색 공간의 휘도 성분으로부터 계수를 결정함으로써, 상기 의미를 결정하도록 더 구성되는, 디바이스.
  13. 청구항 11에 있어서, 상기 적어도 하나의 프로세서는,
    상기 이미지 데이터의 제1 이미지 내 제1 픽셀 값의 제1 발광 값을 결정하되, 상기 제1 픽셀 값은 상기 제1 이미지 내 상기 시각적 표시기의 위치에 대응하고 상기 제1 이미지는 제1 시간에 대응하는, 상기 제1 발광 값을 결정함으로써;
    상기 이미지 데이터의 제2 이미지 내 제2 픽셀 값의 제2 발광 값을 결정하되, 상기 제2 픽셀 값은 상기 제2 이미지 내 상기 시각적 표시기의 위치에 대응하고 상기 제2 이미지는 제2 시간에 대응하는, 상기 제2 발광 값을 결정함으로써; 그리고
    상기 제1 발광 값 및 상기 제2 발광 값에 기초하여 제1 데이터 세트를 생성함으로써, 상기 의미를 결정하도록 더 구성되는, 디바이스.
  14. 청구항 13에 있어서, 상기 적어도 하나의 프로세서는 상기 제1 데이터 세트를 식별된 상기 객체와 연관되어 저장된 데이터 세트에 매칭함으로써 상기 의미를 결정하도록 더 구성되는, 디바이스.
  15. 청구항 10에 있어서, 상기 적어도 하나의 프로세서는 상기 조명 시각적 표시기의 의미, 상기 객체를 수리하는 방법에 대응하는 설명, 상기 객체에 대한 잠재적으로 대체할 수 있는 부품들, 잠재적으로 대체할 수 있는 객체를 구매하기 위한 옵션들, 수리 서비스에 대한 연락처 정보 또는 상기 객체와 연관된 소모성 물품들을 구매하기 위한 옵션들 중 적어도 하나를 전송하여 상기 사용자 프로필과 연관된 상기 디바이스에 상기 메시지를 전송하도록 더 구성되는, 디바이스.
KR1020177036463A 2015-06-26 2016-06-22 시각적 표시기들의 검출 및 해석 KR102603345B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/751,468 2015-06-26
US14/751,468 US10157372B2 (en) 2015-06-26 2015-06-26 Detection and interpretation of visual indicators
PCT/US2016/038636 WO2016209875A1 (en) 2015-06-26 2016-06-22 Detection and interpretation of visual indicators

Publications (2)

Publication Number Publication Date
KR20180021707A KR20180021707A (ko) 2018-03-05
KR102603345B1 true KR102603345B1 (ko) 2023-11-16

Family

ID=56409682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177036463A KR102603345B1 (ko) 2015-06-26 2016-06-22 시각적 표시기들의 검출 및 해석

Country Status (6)

Country Link
US (1) US10157372B2 (ko)
EP (1) EP3314526B1 (ko)
JP (1) JP6945459B2 (ko)
KR (1) KR102603345B1 (ko)
CN (1) CN107864678B (ko)
WO (1) WO2016209875A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659447B2 (en) 2014-04-08 2017-05-23 Bally Gaming, Inc. System and method for augmented wagering
US10198620B2 (en) 2015-07-06 2019-02-05 Accenture Global Services Limited Augmented reality based component replacement and maintenance
US10482705B2 (en) 2015-08-11 2019-11-19 Bally Gaming, Inc. Gaming machine and system for concurrent gaming player interface manipulation based on visual focus
US10021461B2 (en) * 2016-02-29 2018-07-10 Rovi Guides, Inc. Systems and methods for performing an action based on context of a feature in a media asset
US10187288B2 (en) * 2017-03-09 2019-01-22 Caterpillar Inc. Communicating data link information using a light source
US11416714B2 (en) * 2017-03-24 2022-08-16 Revealit Corporation Method, system, and apparatus for identifying and revealing selected objects from video
US10612175B2 (en) 2017-09-28 2020-04-07 Midea Group Co., Ltd. Automatic color composition detection for laundry washing machine
US10909830B1 (en) 2017-11-07 2021-02-02 Pica Product Development, Llc Personal emergency alert system, method and device
US10694338B2 (en) 2017-11-07 2020-06-23 Pica Product Development, Llc Cellular automated external defibrillator (AED) tracker
US10798541B2 (en) 2017-11-07 2020-10-06 Pica Product Development, Llc Systems, methods and devices for remote trap monitoring
US10999560B2 (en) 2017-11-07 2021-05-04 Readiness Systems, LLC Remote electronic monitoring infrastructure
US10747968B2 (en) 2017-11-22 2020-08-18 Jeffrey S. Melcher Wireless device and selective user control and management of a wireless device and data
CN109150718B (zh) * 2018-08-17 2019-05-03 江苏宣宝计算机科技有限公司 路由器实时探知装置
CN109410085B (zh) * 2018-11-01 2021-06-29 日立楼宇技术（广州）有限公司 一种养殖场设备的绑定系统和方法
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
US11157220B2 (en) 2018-12-17 2021-10-26 Canon Kabushiki Kaisha Connecting an image processing device via a mobile device
US11113568B2 (en) 2019-06-14 2021-09-07 Canon Kabushiki Kaisha Devices, systems, and methods for device-error analysis using computer vision and machine learning
US11603969B2 (en) * 2019-09-05 2023-03-14 Eaton Intelligent Power Limited Interactive power distribution units (PDUs) and related systems
US11580869B2 (en) * 2019-09-23 2023-02-14 Revealit Corporation Computer-implemented interfaces for identifying and revealing selected objects from video
US20210157791A1 (en) * 2019-11-27 2021-05-27 Klarna Bank Ab Image-based record linkage
US11288935B2 (en) * 2020-01-21 2022-03-29 Arris Enterprises Llc Relaying device status information using light indicator patterns
US20210334390A1 (en) * 2020-04-22 2021-10-28 EYE Media, LLC System for on-demand capture and exchange of media items that are not recorded at the point of capture
CA3141974A1 (en) * 2020-12-11 2022-06-11 PatriotOne Technologies System and method for real-time multi-person threat tracking and re-identification
US11773524B2 (en) 2020-12-18 2023-10-03 Midea Group Co., Ltd. Laundry washing machine color composition analysis during loading
US11898289B2 (en) 2020-12-18 2024-02-13 Midea Group Co., Ltd. Laundry washing machine calibration
US11866868B2 (en) 2020-12-18 2024-01-09 Midea Group Co., Ltd. Laundry washing machine color composition analysis with article alerts
CN114202865B (zh) * 2021-11-16 2024-05-14 杭州华橙软件技术有限公司 一种监控警告方法、装置及电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121008A (ja) * 1988-10-31 1990-05-08 Toshiba Corp プラント監視装置
US6650761B1 (en) * 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
JP3213284B2 (ja) * 1998-12-10 2001-10-02 株式会社東芝 プラント監視装置
US6937747B2 (en) * 2001-09-24 2005-08-30 Hewlett Packard Development Company, L.P. System and method for capturing non-audible information for processing
JP4839611B2 (ja) * 2004-04-28 2011-12-21 日産自動車株式会社 車載表示計の自動評価装置
WO2006011141A2 (en) 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
JP2006054549A (ja) * 2004-08-10 2006-02-23 Nec Corp 携帯通信端末装置、及び、動作モード設定システム
CN101828191B (zh) * 2007-08-17 2014-12-17 贝尔直升机泰克斯特龙公司 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
EP2457196A4 (en) * 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
US8611601B2 (en) * 2011-03-08 2013-12-17 Bank Of America Corporation Dynamically indentifying individuals from a captured image
KR101797946B1 (ko) * 2011-05-25 2017-12-12 삼성전자주식회사 가전기기의 자가 진단 시스템 및 그 동작 방법
EP2786377B1 (en) * 2011-11-30 2016-03-02 Dolby International AB Chroma extraction from an audio codec
US8949872B2 (en) * 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
US9350944B2 (en) * 2012-08-24 2016-05-24 Qualcomm Incorporated Connecting to an onscreen entity
US9681468B2 (en) * 2012-08-24 2017-06-13 Qualcomm Incorporated Joining communication groups with pattern sequenced light and/or sound signals as data transmissions
KR102037416B1 (ko) * 2012-12-17 2019-10-28 삼성전자주식회사 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
CN103440313B (zh) * 2013-08-27 2018-10-16 复旦大学 基于音频指纹特征的音乐检索系统
US9098986B2 (en) 2013-10-17 2015-08-04 Rockwell Automation Technologies, Inc. Indicator light interpretation device and method for indicator lights of an electronic device
JP6171882B2 (ja) * 2013-11-19 2017-08-02 日本精機株式会社 車両用警告システム、車載装置、及びプログラム

Also Published As

Publication number Publication date
WO2016209875A1 (en) 2016-12-29
JP6945459B2 (ja) 2021-10-06
EP3314526B1 (en) 2023-09-06
EP3314526A1 (en) 2018-05-02
JP2018527648A (ja) 2018-09-20
CN107864678B (zh) 2021-09-28
KR20180021707A (ko) 2018-03-05
US10157372B2 (en) 2018-12-18
CN107864678A (zh) 2018-03-30
US20160379176A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
KR102603345B1 (ko) 시각적 표시기들의 검출 및 해석
US20200058000A1 (en) Detection and interpretation of visual indicators
US10677854B2 (en) Apparatus and methods for gathering and using operating data from a lighting product
US10602585B2 (en) Devices having calibrated LEDs
US10210444B2 (en) Cooking assistance method and cooking apparatus
US9224123B2 (en) Electric product and method of controlling the same
US9542703B2 (en) Virtual custom framing expert system
US10769509B2 (en) Determining an action associated with an apparatus using a combined bar code image
JP2017015383A (ja) 調理支援方法及び調理装置
TW201624356A (zh) 遠端食材管理系統
WO2013085865A1 (en) System and method for determining the state of a beverage
CN113269828B (zh) 物品查找方法、装置、空调设备和存储介质
KR102629250B1 (ko) 장면을 포함하는 비디오 스트림을 디스플레이하는 방법
CN110794704A (zh) 烹饪参数的确定方法、烹饪装置以及计算机存储介质
US20180218442A1 (en) Computerized interactive eyewear display board
US10102568B2 (en) System and methods for matching images with viewing environment
CN116070133A (zh) 检测方法、装置、电子设备及存储介质
CN109922369A (zh) 一种智能电视节目推荐方法、系统及存储介质
CN116406958A (zh) 用于烹饪设备的提示方法及装置、烹饪设备
CN117390261A (zh) 一种智能衣橱管理方法、系统、电子设备及可读介质
KR102046507B1 (ko) 전기 제품의 제어방법
EP3188083A1 (en) Determining an action associated with an apparatus using a combined bar code image
TW201838385A (zh) 分析系統

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant