KR20220063205A

KR20220063205A - 인터넷 연결 설치를 위한 증강 현실

Info

Publication number: KR20220063205A
Application number: KR1020227011596A
Authority: KR
Inventors: 사무엘 디디에르; 코지 카나오; 로버트 제이. 페라; 허칭 황; 마이클 앤더슨
Original assignee: 유비퀴티 인코포레이티드
Priority date: 2019-09-13
Filing date: 2020-09-11
Publication date: 2022-05-17
Also published as: US11677688B2; WO2021051007A1; US20210083992A1; JP2022547955A; CN114556440A; US20230269203A1; EP4028996A1; EP4028996A4

Abstract

네트워킹 디바이스의 다르게 숨겨진 연결을 보기 위한 장치(예를 들어, 시스템 및 디바이스) 및 방법. 다양한 다른 디바이스에 연결된 네트워크 디바이스와 같은 전자 디바이스는 연결성(connectivity) 및/또는 연결(connection)에 대한 정보가 아이덴티티, 연결 상태 및 네트워크 디바이스(들)의 포트와 관련된 다른 정보를 나타내기 위해 표시될 수 있는 실시간 이미지를 통해 관찰될 수 있다. 이러한 방법은 네트워크 디바이스의 이미지를 캡처하고 캡처된 이미지 상에 가상 객체의 오버레이를 실시간으로 사용자에게 제시하는 데 사용되는 모바일 디바이스에서 구현될 수 있다. 가상 객체는 모바일 디바이스의 움직임에 따라 실시간으로 동적으로 움직이거나 형상을 바꿀 수 있다. 하나 이상의 필터링 기술이 캡처된 이미지와 관련하여 가상 객체를 안정화시키는 데 사용하기 위해 하나 이상의 필터링 기술이 될 수 있다.

Description

인터넷 연결 설치를 위한 증강 현실

본 특허 출원은 2019년 9월 13일자로 출원되고 발명의 명칭이 "AUGMENTED REALITY FOR INTERNET CONNECTIVITY INSTALLATION"인 미국 가특허 출원 제62/900,403호에 대한 우선권을 주장하며, 그 전체가 참조로 본원에 통합된다.

본 명세서에 언급된 모든 간행물 및 특허 출원은 마치 각각의 개별 간행물 또는 특허 출원이 구체적이고 개별적으로 참조로 통합되는 것으로 나타낸 것과 동일한 정도로 그 전체가 참조로 본원에 통합된다.

본 개시는 일반적으로 증강 현실 어플리케이션에 관한 것으로, 특히 네트워크 디바이스의 이미지로 증강 현실 객체를 렌더링하는 것과 서버, 스위치, 액세스 포인트, 라우터 및 다수의 다른 네트워크 관련 디바이스를 포함하는 구성 요소에 관한 것이다.

컴퓨터 네트워킹 장비는 일반적으로 컴퓨터 네트워크 상의 디바이스들 간의 통신 및 상호 작용을 가능하게 하는 하드웨어 디바이스를 포함한다. 네트워킹 디바이스의 예는 일반적으로 컴퓨터 네트워크에서 데이터 송신을 중재하는 스위치, 라우터, 게이트웨이 및 무선 액세스 포인트를 포함한다. 비즈니스 환경에서 사용할 때, 네트워크 디바이스는 통상적으로 다양한 사용자의 컴퓨터와 프린터와 같은 사무 장비를 로컬 컴퓨터 네트워크 및 인터넷에 연결하는 데 사용된다. 네트워크 디바이스는 일반적으로 랙(rack)에 장착되고 다른 다양한 네트워크 디바이스와 함께 스택으로 구성된다. 때때로 랙은 네트워크 디바이스의 다른 랙과 함께 별도의 온도 제어실에 수용된다. 정보 기술자 또는 기술 전문가가 네트워크 디바이스의 포트에 연결된 케이블을 랙 내의 다양한 다른 디바이스에 연결할 것이다. 때때로, 네트워크 관리자는 서비스를 제공하거나 문제를 해결하기 위해 하나 이상의 네트워크 디바이스에 액세스할 필요가 있을 것이다. 통상적으로, 포트와 케이블은 서로 같거나 유사하게 보인다. 따라서, 랙에 있는 네트워크 디바이스의 다양한 케이블과 포트를 보면 어떤 포트가 어떤 네트워크 디바이스를 연결하는 데 사용되는지 식별하기 어려울 수 있다.

가정 환경에서 사용하는 경우, 네트워크 디바이스는 통상적으로 다양한 퍼스널 컴퓨터 및 다른 전자 디바이스를 인터넷에 무선으로 연결하는 데 사용된다. 소비자는 종종 다양한 케이블을 네트워크 디바이스에 연결하여 자신의 인터넷 연결을 설정하거나, 보다 복잡한 경우, 네트워크 디바이스를 올바르게 연결하기 위해 전문가를 고용한다. 사용자 매뉴얼이 도움이 될 수 있지만, 이러한 프로세스는 특히 비전문가에게 혼란스러울 수 있다. 인터넷 연결이 끊어지면, 시간 소모적인 문제 해결 없이 어떠한 디바이스가 올바르게 연결되어 동작하는지 사용자가 결정하기 어려울 수 있다. 또한, 오늘날의 홈 오토메이션의 발전과 추세는 가정 환경에서 상호 연결의 확장을 보았다. 예를 들어, 실시간 분석, 머신 러닝, 센서 기술 및 내장형 시스템이 융합되어 다양한 가전 제품 및 시스템에 대한 더 많은 모니터링 및 제어를 제공하여 높은 수준의 홈 오토메이션을 제공한다. 예를 들어, 조명, HVAC(난방, 환기 및 공조), 가전 기기, 보안 시스템 및 다른 시스템이 연결되고 중앙에서 제어되어 개선된 편의성, 편안함, 에너지 효율성 및 보안을 제공할 수 있다(예를 들어, 스마트 홈). 네트워크가 연결적으로 증가하고 더욱 복잡해짐에 따라, 이러한 네트워크를 설치하고 유지 보수하는 것이 더 복잡해질 것이다.

일반적으로, 비즈니스 또는 가정 환경에서 사용자가 네트워크 디바이스 및 관련 구성 요소를 보다 쉽게 설치, 유지 보수 및 문제 해결할 수 있도록 하는 소프트웨어, 시스템 및/또는 디바이스를 제공하는 것이 유리할 것이다.

본원에는 네트워크 연결 및 전자 디바이스의 다른 숨겨진 양태를 시각화하는 데 사용될 수 있는 소프트웨어를 포함하는 증강 현실(AR) 시스템 및 방법이 설명된다. 시스템 및 방법은 네트워크의 다양한 구성 요소의 설치, 유지 보수, 관리 및/또는 수리를 보조하는 가상 객체를 채용한다. 시스템 및 방법은 조직의 무선 및/또는 유선 네트워크 시스템을 유지 보수할 때 기술 지원 직원 또는 정보 기술(IT) 관리자에 의해 사용될 수 있다. 일부 경우에, 시스템 및 방법은 가정 또는 홈 오피스 네트워크 환경의 설치 또는 문제 해결 중에 네트워크 디바이스의 개인 소비자에 의해 사용된다.

본원에 설명되는 방법, 시스템 및 디바이스 중 임의의 것은 모바일 전화, 태블릿 컴퓨터, 랩탑 컴퓨터 또는 헤드셋(예를 들어, 가상 현실 헤드셋)과 같은 모바일 디바이스와 함께 사용될 수 있다. 예를 들어, 사용자는 모바일 디바이스의 카메라를 사용하여 하나 이상의 네트워크 디바이스의 이미지 또는 복수의 이미지(예를 들어, 실시간 이미징)를 캡처하여 모바일 디바이스의 디스플레이 상에서 네트워크 디바이스(들)의 이미지를 볼 수 있다. 일부 경우에, 본 방법은 모바일 디바이스 상에 설치되고/설치되거나 그렇지 않으면 모바일 디바이스에 의해 (예를 들어, 인터넷을 통해) 액세스 가능한 AR 소프트웨어 어플리케이션에 인코딩된다. 일부 경우에, 소프트웨어는 상업적으로 이용 가능한 AR 소프트웨어 도구와 같이, 모바일 디바이스에 의해 액세스 가능한 다른 소프트웨어(예를 들어, 어플리케이션)와 함께 작동하도록 구성될 수 있다. 임의의 운영 체제를 기반으로 하는 임의의 AR 소프트웨어 도구가 사용될 수 있다. 일부 실시예에서, 미국 캘리포니아주 쿠퍼티노에 본사가 있는 Apple Inc.에 의해 개발된 ARKit 개발 플랫폼의 AR 도구 및 피처가 사용된다.

증강 현실 기술이 알려져 있지만, 본원에 설명되는 방법 및 시스템은 사용자가 네트워크 디바이스, 그리고 일부 경우에는 네트워크의 다양한 다른 구성 요소의 연결 상태를 실시간으로 신속하고 시각적으로 결정할 수 있게 하는 피처를 포함한다. 네트워크 디바이스는 광학 코드, RF 코드 등과 같은 식별 코드 또는 코드를 포함할 수 있다. 광학 코드는 네트워킹 디바이스(예를 들어, 스위치)와 상호 연관될 수 있고 검출될 수 있는 가시적 마킹(marking)을 포함할 수 있고; 광학 코드의 예는 QR 코드, 영숫자 코드, 심볼 등을 포함하지만 이에 한정되지는 않는다. 광학 코드는 네트워크 디바이스와 연관된 인코딩된 정보를 포함하는 2차원(2D) 패턴 코드(예를 들어, 매트릭스 바(bar) 코드)에 대응할 수 있다. 광학 코드는 네트워크 디바이스의 외부 표면 상과 같은 네트워크 디바이스 상에 표시되거나, 그렇지 않으면 사용자가 쉽게 액세스할 수 있다. 일부 실시예에서, 광학 코드는 사용자가 상이한 광학 코드 또는 다른 정보에 액세스하기 위해 변경할 수 있는 터치 스크린 디스플레이와 같은 변경 가능한 디스플레이 상에 있다.

대안적으로 또는 추가적으로, 네트워크 디바이스 상의 식별 코드는 네트워크 디바이스에 대응하는 무선-기반 식별 코드일 수 있다. 일부 예에서, 네트워크 디바이스는 블루투스 신호와 같은 무선 신호를 송신할 수 있거나, 무선-주파수 식별(RFID: radio-frequency identification) 코드(태그) 또는 근거리 통신(NFC: near field communication) 코드(태그)를 통해 모바일 디바이스와 상호 작용할 수 있다. 무선-기반 식별은 네트워크 디바이스의 식별을 위한 광학 코드와 함께 또는 그 대신에 사용될 수 있다. 본 기술 분야의 통상의 기술자는 블루투스 신호가 2.402 GHz 내지 2.480 GHz 범위의 주파수를 가질 수 있고; 무선 주파수 신호는 20 kHz 내지 300 GHz 범위의 주파수를 가질 수 있음을 이해할 수 있다.

식별 코드는 특정 네트워크 디바이스와 고유하게 연관될 수 있다. 그러나, 일부 변형에서 식별 코드는 대신 네트워킹 디바이스의 특정 하위 그룹과 연관될 수 있으며, 디바이스의 고유한 식별은 특정 사용자와 연관될 수 있는 스캐닝 디바이스(예를 들어, 스마트폰, 태블릿 등)의 아이덴티티와 같은 2차 표시자에 기초하여 결정될 수 있다. 예를 들어, 식별 코드는 네트워킹 디바이스의 특정 카테고리, 클래스 또는 서브-세트를 식별할 수 있고, 네트워킹 디바이스의 이러한 카테고리, 클래스 또는 서브-세트 내의 특정 디바이스의 고유한 아이덴티티는 스캔을 수행하는 사용자의 사용자 아이덴티티, 스캐닝 디바이스(예를 들어, 스마트폰), 네트워킹 디바이스에 커플링되거나 연결된 것으로 결정된 하나 이상의 디바이스 등과 같은 연관된 2차 정보에 의해 고유하게 식별될 수 있다.

식별 코드(예를 들어, 광학 코드 및/또는 무선-기반 식별 코드)는 네트워크 디바이스의 포트 각각의 연결 상태와 연관된 실시간 정보를 검색하는 데 사용될 수 있다. 식별 코드(예를 들어, 광학 코드 및/또는 무선-기반 식별 코드)는 또한 포트의 연결 상태 및 네트워크에 연결된 디바이스의 유형에 기초하여 가상 객체의 라이브러리에 액세스하는 데 사용될 수 있다. 그러면 하나 이상의 가상 객체가 네트워크 디바이스의 캡처된 카메라 이미지와 결합(예를 들어, 그 위에 오버레이(overlay))되어 포트의 시각적 표현, 네트워크에 연결된 다양한 디바이스, 및 네트워크에 연결된 다양한 디바이스와 관련된 다른 정보를 제공할 수 있다.

일부 실시예에서, 가상 객체는 포트의 대응하는 캡처된 이미지와 정렬되는 통신 포트(가상 포트)의 도해(illustration)를 포함한다. 예를 들어, 사용자는 모바일 디바이스의 카메라를 사용하여 네트워크 디바이스의 포트를 볼 수 있고, 가상 포트는 포트의 이미지의 적어도 일부 위에 표시될 수 있다. 가상 포트의 위치는 모바일 디바이스의 움직임에 기초하여 자동으로 그리고 동적으로 조정될 수 있다. 예를 들어, 사용자가 다른 관점에서 네트워크 디바이스의 이미지를 캡처하기 위해 모바일 디바이스를 이동시킬 때, 가상 포트의 위치는 포트의 이미지 위에 위치를 유지하도록 자동으로 조정되어 네트워크 디바이스의 상이한 부분을 이동 및 보는 동안 사용자가 끊김 없는 천이를 경험한다. 일부 실시예에서, 가상 객체의 위치는 포트(들)에 대한 모바일 디바이스의 공간적 관계를 결정하는 데 사용되는 하나 이상의 자유도를 필터링함으로써 안정화된다.

가상 객체는 포트와 관련된 정보를 전달하는 텍스트, 숫자 및/또는 심볼을 갖는 하나 이상의 가상 라벨(label)을 포함할 수 있다. 예를 들어, 포트의 이미지 상에 있거나 포트의 이미지에 근접한 가상 라벨은 포트의 식별(예를 들어, 포트 번호) 및/또는 포트에 연결된 디바이스의 식별을 포함할 수 있다. 가상 라벨은 가상 라벨과 포트 사이의 관계를 나타내는 포트의 텍스트, 숫자 또는 심볼과 이미지 사이에 연장되는 라인을 포함할 수 있다.

가상 객체는 포트에 연결되거나 이전에 연결되었던 하나 이상의 디바이스의 도해를 포함할 수 있다. 도해(아이콘)는 어떤 디바이스가 어떤 포트와 연관되어 있는지에 대한 빠른 시각적 참조를 사용자에게 제공할 수 있다. 예를 들어, 아이콘은 사용자가 아이콘이 퍼스널 컴퓨터, 프린터, 라우터, 액세스 포인트, 라우터 또는 다른 디바이스인지 결정할 수 있을 만큼 충분한 상세 사항을 갖는 도해일 수 있다. 일부 경우에, 연결된 디바이스에 대한 정보가 디바이스의 특정 모델 또는 브랜드를 예시하는 데 사용된다. 예를 들어, 아이콘은 전화, 텔레비전, 랩탑 컴퓨터, 헤드셋, 데스크탑 컴퓨터, 액세스 포인트, 미디어 플레이어 또는 태블릿 컴퓨터의 특정 브랜드 또는 모델의 도해일 수 있다.

일부 경우에, 가상 객체는 포트의 연결 상태에 따라 상이한 외관을 갖는다. 예를 들어, 가상 포트는 디바이스가 포트에 연결되어 있을 때와 디바이스가 포트에 연결되어 있지 않을 때 상이한 컬러 또는 불투명 품질을 가질 수 있다. 일부 경우에, 디바이스가 포트에 연결되어 있을 때와 디바이스가 포트에 연결되어 있지 않을 때 아이콘은 상이한 컬러 또는 불투명도를 갖는다. 예를 들어, 디바이스가 현재 연결되어 있지 않지만 지정된 시간 내에 이전에 포트에 연결되었던 경우, 아이콘은 그레이-아웃(gray-out)되거나 고스트(ghost) 외관을 가질 수 있다.

일부 실시예에 따르면, 가상 객체는 네트워크 디바이스의 포트에 연결된 디바이스가 이에 연결된 다른 디바이스를 갖는지 여부에 관한 정보를 전달할 수 있다. 예를 들어, 네트워크 디바이스가 무선 액세스 포인트에 연결된 경우, 가상 라벨 및/또는 도해는 액세스 포인트 디바이스가 전화, 랩탑, 태블릿 또는 헤드셋과 같은 하나 이상의 다른 디바이스에 연결되어 있는지 여부를 나타낼 수 있다. 가상 객체는 또한 스루풋(throughput) 또는 가동 시간과 같은 네트워크 디바이스에 연결된 다양한 디바이스의 성능 정보를 전달할 수 있다. 가상 객체는 가상 그래프 또는 차트 형태로 이러한 데이터를 전달할 수 있다.

예를 들어, 연결 정보는 또한 또는 대안적으로 네트워킹 디바이스 상의 연결된 및/또는 연결되지 않은 포트 모두에 대한 포트 통계를 포함할 수 있다. 예를 들어, 가상 디스플레이는 연결된 포트의 전체 또는 일부에 대한 포트 통계에 대한 정보를 포함할 수 있으며; 사용자는 포트 통계 정보 중 임의의 것(전체 또는 서브세트)의 표시/숨기기를 토글(toggle)할 수 있다. 포트 통계 정보는 예를 들어, 스루풋 정보(예를 들어, 현재 스루풋, 시간, 일, 주 등의 평균 스루풋, MAC 주소, IP 주소 등)를 포함할 수 있다. 일부 변형에서, 포트 통계 정보는 이력 정보(예를 들어, 과거에 이루어진 하나 이상의 연결, 연결/연결 해제된 때 등을 보여줌)를 포함할 수 있다. 일부 변형에서, 포트 통계 정보는 현재 연결되지 않은 포트에 대해 표시될 수 있다. 포트 통계 정보는 텍스트, 아이콘 또는 이 둘의 일부 조합으로 표시될 수 있다. 이 정보는 사용자 선택(예를 들어, 추가 정보를 확장하거나 축소하기 위해 터치스크린에서 선택)에 의해 표시될 수 있다. 따라서, 포트 연결 정보는 가상 객체의 일부로서, 가상 객체에 추가하여, 또는 가상 객체와 별도로 표시될 수 있다.

AR 방법, 시스템 및 디바이스의 이들 및 다른 피처 및 이점이 본원에서 상세히 설명된다.

본원에 설명되는 임의의 방법은 본원에 설명되는 선택적인 단계를 포함하는 방법을 수행하도록 구성된 장치(예를 들어, 시스템, 디바이스 등)에 의해 수행될 수 있다. 예를 들어, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템이 본원에 설명된다. 이러한 시스템은: 모바일 디바이스에 의해 네트워크 디바이스로부터 식별 코드를 수신하는 단계; 네트워크 디바이스의 캡처된 카메라 이미지를 모바일 디바이스의 디스플레이 상에 표시하는 단계 ―이미지는 네트워크 디바이스의 복수의 포트를 포함함―; 식별 코드를 사용하여 복수의 포트 각각의 연결 상태와 관련된 정보를 검색하는 단계; 식별 코드를 사용하여 하나 이상의 포트에 대한 모바일 디바이스의 공간적 관계를 결정하는 단계; 및 이미지 상의 네트워크 디바이스 위에 하나 이상의 가상 포트를 오버레이(overaly)시키는 단계를 포함하고, 가상 포트는 하나 이상의 가상 포트에서 네트워크 디바이스의 연결에 대한 정보를 포함한다.

식별 코드는 광학 코드(예를 들어, 바코드, QR 코드 등) 또는 RF 코드(예를 들어, 블루투스 코드, NFC 등)일 수 있다. 이러한 방법 중 임의의 방법은 포트의 연결 상태와 관련된 정보에 기초하여 가상 객체의 라이브러리에 액세스하는 단계를 포함할 수 있으며, 가상 객체는 네트워크 디바이스(예를 들어, 카메라, 전화, 컴퓨터, 액세스 포인트 등)의 하나 이상의 포트에 연결된 디바이스의 유형에 대응하는 하나 이상의 아이콘을 포함할 수 있다. 가상 포트는 하나 이상의 아이콘을 포함할 수 있다. 이러한 아이콘은 표시되면 연결된 디바이스(들)에 대한 정보를 나타내는 데 사용될 수 있다.

예를 들어, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법은: 네트워크 디바이스의 캡처된 카메라 이미지를 모바일 디바이스의 디스플레이 상에 표시하는 단계 ―이미지는 네트워크 디바이스의 하나 이상의 포트, 및 네트워크 디바이스와 관련된 네트워크 연결 정보를 포함하는 네트워크 디바이스 상의 광학 코드를 포함함―; 광학 코드를 사용하여 하나 이상의 포트의 연결 상태와 관련된 정보를 검색하는 단계; 하나 이상의 포트의 연결 상태와 관련된 정보에 기초하여 가상 객체의 라이브러리에 액세스하는 단계 ―가상 객체는 네트워크 디바이스의 하나 이상의 포트의 각각에 연결된 디바이스의 유형에 대응하는 아이콘을 포함함―; 광학 코드를 사용하여 하나 이상의 포트에 대한 모바일 디바이스의 공간적 관계를 결정하는 단계; 및 하나 이상의 가상 포트를 오버레이시키는 단계를 포함하고, 가상 포트는 각각 네트워크 디바이스의 이미지 위에 하나 이상의 포트에 연결된 디바이스의 유형에 대응하는 아이콘을 포함하고, 가상 포트의 품질은 검색 정보에 기초하여 포트의 연결 상태를 나타낸다.

모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템은 하나 이상의 프로세서; 하나 이상의 프로세서에 커플링된 메모리를 포함할 수 있으며, 메모리는 하나 이상의 프로세서에 의해 실행될 때 컴퓨터에서 구현되는(computer-implemented) 방법을 수행하는 컴퓨터 프로그램 명령들을 저장하도록 구성되고, 컴퓨터에서 구현되는 방법은: 모바일 디바이스에 의해 네트워크 디바이스로부터 식별 코드를 수신하는 단계; 네트워크 디바이스의 캡처된 카메라 이미지를 모바일 디바이스의 디스플레이 상에 표시하는 단계 ―이미지는 네트워크 디바이스의 복수의 포트를 포함함―; 식별 코드를 사용하여 복수의 포트 각각의 연결 상태와 관련된 정보를 검색하는 단계; 식별 코드를 사용하여 하나 이상의 포트에 대한 모바일 디바이스의 공간적 관계를 결정하는 단계; 및 이미지 상의 네트워크 디바이스 위에 하나 이상의 가상 포트를 오버레이시키는 단계를 포함하고, 가상 포트는 하나 이상의 가상 포트에서 네트워크 디바이스의 연결에 대한 정보를 포함한다.

하나 이상의 프로세서는 모바일 디바이스(예를 들어, 스마트폰, 태블릿 등)의 일부일 수 있다.

이러한 방법 및 이를 수행하기 위한 디바이스 중 임의의 것은 실시간 또는 거의 실시간으로 동작하도록 구성될 수 있다.

예를 들어, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법은: 모바일 통신 디바이스(mobile telecommunications device)를 사용하여 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―비디오 이미지는 복수의 포트를 포함함―; 모바일 통신 디바이스에서, 네트워크 디바이스로부터 네트워크 디바이스에 특정한 식별 코드를 수신하는 단계; 식별 코드로부터, 네트워크 디바이스의 복수의 포트의 연결에 대한 정보를 결정하는 단계; 비디오 이미지 상에, 실시간으로 오버레이를 네트워크 디바이스의 복수의 포트 상에 표시하는 단계를 포함하고, 오버레이는 각각의 포트에 특정된 네트워크 연결의 표시자를 포함하고, 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티(identity), 연결 지속 시간, 이더넷 전원(POE: power over Ethernet) 사용 중 하나 이상을 포함한다.

모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법은: 모바일 통신 디바이스를 사용하여 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―비디오 이미지는 네트워크 디바이스에 특정한 코드를 포함함―; 코드로부터, 네트워크 디바이스의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계; 비디오 이미지 상에, 실시간으로 오버레이를 각각의 포트에 특정한 네트워크 연결의 표시자를 포함하는 네트워크 디바이스의 하나 이상의 포트 상에 표시하는 단계를 포함하고, 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함한다.

네트워크 디바이스는 예를 들어, 스위치, 라우터, 액세스 포인트 등과 같은 하나 이상의 포트를 갖는 임의의 적절한 네트워크 디바이스일 수 있다. 모바일 통신 디바이스는 스마트폰 또는 태블릿을 포함할 수 있다. 코드는 디지털 QR 코드와 같은 QR 코드를 포함할 수 있다. 디지털 QR 코드는 정보를 휴대용 디바이스(예를 들어, 스마트폰, 태블릿 등)에 광학적으로 송신하도록 업데이트되거나 수정될 수 있다.

이러한 방법 중 임의의 것은 코드 및 이미지로부터 네트워크 디바이스의 하나 이상의 포트 각각의 위치를 결정하는 단계를 포함할 수 있다. 예를 들어, 이러한 방법 중 임의의 방법은 식별 코드 및 이미지 및 모바일 통신 디바이스의 배향으로부터 네트워크 디바이스의 하나 이상의 포트 각각의 위치를 결정하는 단계를 포함할 수 있다.

결정하는 단계는 하나 이상의 포트에 관한 정보를 식별하기 위해 모바일 통신 디바이스를 사용하고 코드를 사용하여 원격 데이터베이스에 액세스함으로써 네트워크 디바이스의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계를 포함할 수 있다. 이러한 방법들 중 임의의 방법에서, 하나 이상의 포트들은 각각 고유하게 식별될 수 있다.

모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법은: 모바일 통신 디바이스를 사용하여 복수의 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―네트워크 디바이스의 각각은 복수의 포트 및 고유한 식별자 코드를 포함함―; 모바일 통신 디바이스에서, 복수의 네트워크 디바이스 중의 네트워크 디바이스로부터 네트워크 디바이스의 각각에 특정한 고유한 식별 코드를 수신하는 단계; 네트워크 디바이스의 각각에 특정한 고유한 식별 코드로부터, 네트워크 디바이스의 각각의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계; 비디오 이미지 상에 실시간으로 오버레이를 각각의 포트에 특정한 네트워크 연결의 표시자를 포함하는 네트워크 디바이스의 하나 이상의 포트의 각각 상에 표시하는 단계 ―네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함함―; 및 네트워크 연결의 표시자가 변함에 따라 실시간으로 표시를 업데이트하는 단계를 포함한다.

예를 들어, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법은: 모바일 통신 디바이스를 사용하여 복수의 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―비디오 이미지는 복수의 네트워크 디바이스 중의 네트워크 디바이스의 각각에 특정한 디지털 QR 코드를 포함함―; 디지털 QR 코드로부터, 네트워크 디바이스 각각의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계; 비디오 이미지 상에, 실시간으로 오버레이를 각각의 포트에 특정한 네트워크 연결의 표시자를 포함하는 네트워크 디바이스의 하나 이상의 포트 각각 상에 표시하는 단계 ―네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함함―; 및 네트워크 연결의 표시자가 변함에 따라 실시간으로 표시를 업데이트하는 단계를 포함할 수 있다.

또한, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템이 본원에 설명된다. 예를 들어, 시스템은: 하나 이상의 프로세서; 하나 이상의 프로세서에 커플링된 메모리를 포함하고, 메모리는 하나 이상의 프로세서에 의해 실행될 때 컴퓨터에서 구현되는 방법을 수행하는 컴퓨터 프로그램 명령을 저장하도록 구성되고, 컴퓨터에서 구현되는 방법은, 모바일 통신 디바이스를 사용하여 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―비디오 이미지는 복수의 포트를 포함함―; 모바일 통신 디바이스에서, 네트워크 디바이스로부터 네트워크 디바이스에 특정한 식별 코드를 수신하는 단계; 식별 코드로부터, 네트워크 디바이스의 복수의 포트의 연결에 대한 정보를 결정하는 단계; 비디오 이미지 상에, 실시간으로 오버레이를 네트워크 디바이스의 복수의 포트 상에 표시하는 단계를 포함하고, 오버레이는 각각의 포트에 특정된 네트워크 연결의 표시자를 포함하고, 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함할 수 있다.

모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템은: 하나 이상의 프로세서; 하나 이상의 프로세서에 커플링된 메모리를 포함하고, 메모리는 하나 이상의 프로세서에 의해 실행될 때 컴퓨터에서 구현되는 방법을 수행하는 컴퓨터 프로그램 명령을 저장하도록 구성되고, 컴퓨터에서 구현되는 방법은: 모바일 통신 디바이스를 사용하여 복수의 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―네트워크 디바이스의 각각은 복수의 포트 및 고유한 식별자 코드를 포함함―; 모바일 통신 디바이스에서, 복수의 네트워크 디바이스 중의 네트워크 디바이스로부터 네트워크 디바이스의 각각에 특정한 고유한 식별 코드를 수신하는 단계; 네트워크 디바이스의 각각에 특정한 고유한 식별 코드로부터, 네트워크 디바이스의 각각의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계; 비디오 이미지 상에 실시간으로 오버레이를 각각의 포트에 특정한 네트워크 연결의 표시자를 포함하는 네트워크 디바이스의 상기 하나 이상의 포트의 각각 상에 표시하는 단계 ―네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함함―; 및 네트워크 연결의 표시자가 변함에 따라 실시간으로 표시를 업데이트하는 단계를 포함할 수 있다.

본원에 설명된 방법 및 장치는 각각 복수의 포트를 포함하는 복수의 네트워크 디바이스(예를 들어, 복수의 스위치, 라우터 등)와 함께 사용되도록 구성될 수 있다. 예를 들어, 일부 변형에서, 본 방법은 디바이스의 스택과 같은 복수의 네트워킹 디바이스 각각에 대한 식별 코드(예를 들어, 고유한 식별 코드)를 수신하는 단계를 포함할 수 있다. 식별 코드는 모두 광학 코드, 모두 RF 또는 광학 코드와 RF 코드의 조합일 수 있다. 이러한 방법 및 장치는 사용자가 복수의 디바이스 각각에 대한 가상 포트의 디스플레이 사이에서 토글하게 할 수 있다. 예를 들어, 사용자는 모바일 통신 디바이스를 네트워크 디바이스 스택의 위/아래로 이동시켜 각각에 대응하는 가상 포트를 보여주는 보기를 변경할 수 있으며; 대안적으로 또는 추가적으로, 사용자는 상이한 네트워크 디바이스 사이에서 증강 현실 보기를 스위칭하기 위해 모바일 통신 디바이스 상의 제어를 선택할 수 있다. 일부 변형에서, 복수의 상이한 네트워크 디바이스가 동시에 함께 보여질 수 있다.

본 발명의 새로운 피처는 후속하는 청구항에서 구체적으로 제시된다. 본 발명의 피처 및 이점에 대한 더 나은 이해는 본 발명의 원리가 활용되는 예시적인 실시예를 제시하는 후속하는 상세한 설명 및 첨부 도면을 참조하여 얻어질 것이다.
도 1a 및 도 1b는 본원에 설명되는 디바이스 및 방법을 사용하는 사용자의 예를 도시한다.
도 2a는 광학 코드를 갖는 네트워크 디바이스의 스택의 예를 도시한다.
도 2b는 하나 이상의 광학 코드를 표시하기 위한 예시적인 디스플레이 스크린을 도시한다.
도 3a 내지 도 3c는 코드 생성기를 사용하여 생성된 광학 코드의 예를 도시한다.
도 4a 내지 도 4f는 AR 모드에서 모바일 디바이스를 설정하고 사용하기 위한 예시적인 사용자 인터페이스를 도시한다.
도 5a 내지 도 5c는 AR 모드에서 모바일 디바이스를 설정하기 위한 다른 예시적인 사용자 인터페이스를 도시한다.
도 6은 네트워크 디바이스를 보기 위해 캡처된 이미지와 함께 사용하기 위한 AR 오버레이의 예를 도시한다.
도 7a 및 도 7b는 AR 모드에서 모바일 디바이스를 사용하는 사용자 인터페이스의 다른 예를 도시한다.
도 8은 하나 이상의 네트워크 디바이스의 성능과 관련된 다양한 가상 객체를 포함하는 예시적인 사용자 인터페이스를 도시한다.
도 9a 내지 도 9e는 AR 객체를 렌더링하는 데 사용되는 예시적인 3D 좌표계의 양태를 도시한다.
도 10a 내지 도 10d는 AR 어플리케이션을 설정하고 사용하기 위한 예시적인 프로세스를 나타내는 흐름도 및 아키텍처 맵을 도시한다.

일반적으로, 전자 디바이스의 숨겨진 피처를 보기 위한 증강 현실(AR) 시스템, 디바이스 및 방법이 본원에 설명된다. 특정 어플리케이션에서, AR 시스템, 디바이스 및 방법은 전자 디바이스의 네트워크 연결과 관련된 정보를 전달하는 가상 객체를 렌더링하는 데 사용된다. 가상 객체는 네트워크 디바이스의 네트워크 연결 상태에 관한 시각적 표현을 사용자에게 제공하며, 이에 의해 컴퓨터 네트워크의 설치 및 관리를 용이하게 할 수 있다. 사용자는 실시간으로 네트워크 디바이스의 이미지 스트림을 캡처하기 위해 모바일 전화 또는 태블릿 컴퓨터와 같은 모바일 디바이스의 카메라를 사용할 수 있다. 가상 객체는 캡처된 이미지와 함께 모바일 디바이스의 디스플레이 상에서 렌더링되어 사용자에게 증강 현실 경험을 제공할 수 있다.

도 1a 및 도 1b는 본원에 설명된 AR 디바이스 및 방법을 사용하는 사용자(101)의 일례를 도시한다. 사용자(101)는 직장 네트워크를 설치 또는 관리하는 기술 지원 담당자 또는 IT 관리자 또는 홈 네트워크를 설치 또는 관리하는 개인 소비자와 같은 임의의 사람일 수 있다. 사용자(101)는 네트워크 디바이스(102)와 관련된 숨겨진 양태를 시각적으로 관찰하고, 네트워크 디바이스(102)를 설치, 문제 해결 및/또는 상태의 확인에 사용되는 모바일 디바이스(100)를 사용할 수 있다.

일반적으로, 네트워크 디바이스(102)는 하나 이상의 컴퓨터 네트워크에 유선 및/또는 무선으로 연결할 수 있는 임의의 전자 디바이스일 수 있다. 컴퓨터 네트워크는 광역 컴퓨터 네트워크로부터 나노 규모 컴퓨터 네트워크에 이르기까지 다양한 크기의 하나 이상의 네트워크를 포함할 수 있다. 컴퓨터 네트워크는 로컬 네트워크, 클라우드-기반 네트워크(예를 들어, 인터넷)와 같은 광역 네트워크, 또는 로컬 및 광역 네트워크의 조합일 수 있다. 예를 들어, 컴퓨터 네트워크는 비즈니스, 거주지 또는 학교의 컴퓨터를 상호 연결하는 로컬 컴퓨터 네트워크일 수 있으며, 이는 또한 인터넷에 연결될 수 있다. 일부 경우에, 네트워크 디바이스(102)는 하나 이상의 컴퓨터 네트워크에서 데이터 송신을 중재하도록 구성된다. 네트워크 디바이스(102)는 데이터를 수신, 프로세싱 및 목적지 디바이스로 전달하기 위해 패킷 스위칭을 사용하여 컴퓨터 네트워크 상의 디바이스를 연결하는 네트워크 스위치(스위칭 허브라고도 칭함)일 수 있다. 네트워크 디바이스(102)는 상이한 네트워크들 간의 데이터 흐름을 허용하는 게이트웨이 디바이스일 수 있다. 네트워크 디바이스(102)는 컴퓨터 간에 데이터 패킷을 전달하는 라우터일 수 있다. 네트워크 디바이스(102)는 '스마트' 무선 연결된 거주 가능한 공간(예를 들어, 집, 사무실, 직장 등) 네트워크를 형성할 수 있는 다양한 센서 및 제어기(노드)로부터 정보를 수신하는 디지털 허브일 수 있다. 네트워크 디바이스(102)는 복수의 통신 네트워크 또는 네트워크 세그먼트로부터 집합 네트워크를 생성하는 네트워크 브릿지일 수 있다. 네트워크 디바이스(102)는 신호를 수신하고 재송신하는 리피터(repeater)일 수 있다. 네트워크 디바이스(102)는 복수의 이더넷 디바이스를 포함함께 연결하기 위한 이더넷 허브일 수 있다. 네트워크 디바이스(102)는 다층 스위치, 프로토콜 컨버터 및/또는 브릿지 라우터(브라우터(brouter))와 같은 하이브리드 네트워크 디바이스일 수 있다. 일부 실시예에서, 네트워크 디바이스는 미국 뉴욕주 뉴욕시에 기반을 둔 Ubiquiti Networks에 의해 제조된 UniFi Dream Machine Pro(UDMP) 또는 다른 네트워크 디바이스이다. 네트워크 디바이스(102)는 프록시 서버, 방화벽 또는 네트워크 어드레스 트랜슬레이터(NAT: network address translator)와 같은 상이한 네트워크의 연결 지점에 상주하는 경계 네트워크 디바이스일 수 있다. 네트워크 디바이스(102)는 네트워크 인터페이스 제어기(NIC: network interface controller), 무선 네트워크 인터페이스 제어기, 모뎀, ISDN 단말 어댑터 또는 라인 드라이버와 같은 네트워크를 설정하거나 연결을 다이얼 업(dial up)하는 데 사용되는 엔드 스테이션(end station) 디바이스일 수 있다. 네트워크 디바이스(102)는 하나 이상의 클라이언트에 대해 기능을 제공하는 서버일 수 있다. 네트워크 디바이스(102)는 네트워크 디바이스의 스택(110), 이 경우에 랙 내에 배열된 몇몇 네트워크 디바이스 중 하나일 수 있다.

본원에 설명된 디바이스 및 방법은 가상 객체를 채용하여, 사용자(101)가 네트워크 디바이스(102)의 숨겨진 양태를 볼 수 있도록 하거나 스택(110)에 있는 다수의 네트워크 디바이스를 볼 수 있게 한다. AR 도구를 개시하기 위해, 사용자(101)는 도 1a에 도시된 바와 같이, 네트워크 디바이스(102) 상의 광학 코드(104)를 스캔하기 위해 모바일 디바이스(100)와 같은 스캐닝 디바이스를 사용할 수 있다. 예를 들어, 사용자는 모바일 디바이스(100)의 카메라를 사용하여 광학 코드(104)의 하나 이상의 이미지를 캡처할 수 있다. 광학 코드(104)는 네트워크 디바이스(102)에 대한 정보를 포함하는 임의의 머신 판독 가능 코드일 수 있다. 광학 코드(104)는 네트워크 디바이스(102)와 연관된 정보를 인코딩하는 2차원(2D) 패턴일 수 있다. 예를 들어, 광학 코드(104)는 신속 응답(QR: Quick Response) 코드, ARTag 코드, 바코드(예를 들어, 선형 바코드), 영숫자 코드, 숫자 코드, 기재된 문자 또는 이들의 임의의 조합일 수 있다. 광학 코드(104)는 사용자(101)가 쉽게 액세스할 수 있는 외부 표면과 같은 네트워크 디바이스(102)의 표면 상에 있을 수 있다. 광학 코드(104)는 임의의 수단을 사용하여 표면에 부착될 수 있다. 예를 들어, 광학 코드(104)는 네트워크 디바이스의 표면 상에 또는 네트워크 디바이스의 표면에 부착된 스티커 상에 페인팅될 수 있다. 일부 경우에, 광학 코드(104)는 네트워크 디바이스(102) 상의 디스플레이에 의해 생성된다.

광학 코드(104)는 네트워크 디바이스(102)와 연관된 정보가 액세스될 수 있도록 네트워크 디바이스(102)와 연관된 하나 이상의 식별자(예를 들어, 고유 식별자)를 포함할 수 있다. 예를 들어, 사용자가 광학 코드(104)의 하나 이상의 이미지를 캡처할 때, 모바일 디바이스(100)는 식별자(들)를 네트워크 관리 시스템(예를 들어, 하나 이상의 원격 서버)에 전송할 수 있다. 모바일 디바이스(100)로부터 식별자(들)를 수신하면, 네트워크 관리 시스템은 모바일 디바이스(100) 및/또는 네트워크 디바이스(102)에 네트워크 디바이스(102)에 관한 정보를 전송할 수 있다. 예를 들어, 모바일 디바이스(100)는 네트워크 디바이스(102)와 관련된 정보의 데이터베이스에 액세스할 수 있다. 데이터베이스는 네트워크 디바이스(102)의 아이덴티티, 네트워크 디바이스(102)의 연결 상태, 및 네트워크 디바이스(102)에 연결된 임의의 디바이스의 아이덴티티에 기초한 가상 객체의 라이브러리를 포함할 수 있다. 정보는 하드웨어 또는 소프트웨어 인터페이스와 같은 하나 이상의 통신 인터페이스에 관한 정보뿐만 아니라 네트워크 디바이스(102)의 유형(예를 들어, 제조사 및 모델)을 포함할 수 있다. 정보는 네트워크 디바이스(102)의 하나 이상의 통신 포트(108)와 관련된 정보를 포함할 수 있다. 포트(108)는 디바이스와 다른 컴퓨터 또는 주변 디바이스 사이의 임의의 유형의 인터페이스일 수 있다. 포트(108)는 디바이스에 대한 입력 또는 출력 인터페이스일 수 있다. 포트(108)는 범용 직렬 버스(USB: Universal Serial Bus) 포트, 직렬 포트, 비디오 포트, 오디오 포트, 고해상도 멀티미디어 인터페이스(HDMI: High Definition Multimedia Interface) 포트, 또는 병렬 포트를 포함하지만 이에 한정되지 않는 하드웨어 인터페이스를 포함할 수 있다. 일부 경우에, 통신 인터페이스는 하나 이상의 컴퓨터에 무선으로 연결하는 무선 인터페이스이다.

모바일 디바이스(100)가 네트워크 디바이스(102)와 연관된 정보를 수신하면, 이 정보는 실시간으로 캡처된 카메라 이미지와 함께 모바일 디바이스(100)의 디스플레이 상에 가상 객체를 렌더링하는 데 사용될 수 있다. 일부 실시예에서, 가상 객체는 캡처된 카메라 이미지를 오버레이시킨다. 가상 객체는 일반적으로 사용자(101)에게 쉽게 명백하지는 않은 정보를 전달하는 도해 및/또는 텍스트를 포함할 수 있다. 가상 객체는 가상 포트(108), 케이블(106), 또는 네트워크 디바이스(102)의 부분의 다른 도해를 포함할 수 있다. 가상 객체는 포트(108) 및/또는 무선 통신을 통해 네트워크 디바이스(102)에 연결된 임의의 디바이스의 아이덴티티 및/또는 상태에 관한 정보를 전달하는 텍스트, 숫자 및 라벨을 포함할 수 있다.

가상 객체는 네트워크 디바이스(102)에 연결된 다양한 디바이스의 도해에 대응하는 아이콘을 포함할 수 있다. 일부 경우에, 아이콘은 사용자(101)가 다양한 디바이스의 유형 및 연결을 신속하게 식별할 수 있도록 포트(108)의 캡처된 이미지에 인접하게 표시될 수 있다. 아이콘은 컴퓨터 또는 다른 디바이스(예를 들어, 센서)와 같이 네트워크에 연결된 임의의 유형의 디바이스를 도시할 수 있다. 예를 들어, 컴퓨터는 데스크탑 컴퓨터 또는 모바일 디바이스(예를 들어, 랩탑, 태블릿, 전화 또는 헤드셋)와 같은 퍼스널 컴퓨터일 수 있다. 컴퓨터는 네트워크의 한 명 이상의 사용자가 공유하도록 구성된 서버 컴퓨터일 수 있다. 컴퓨터는 서버 또는 클라이언트일 수 있다. 컴퓨터는 무선 라우터와 같은 라우터일 수 있다. 컴퓨터는 모뎀일 수 있다. 컴퓨터는 프린터 또는 다른 사무실 환경 컴퓨터 디바이스일 수 있다. 컴퓨터는 Wi-Fi 디바이스가 네트워크에 연결할 수 있도록 구성된 액세스 포인트 디바이스일 수 있다. 컴퓨터는 온도 조절기, 연기 또는 일산화탄소 검출기, 보안 시스템, 초인종, 스마트 잠금, 주방 기기와 같은 스마트 홈 디바이스일 수 있다. 컴퓨터는 카메라, 스피커 또는 마이크로폰 디바이스일 수 있다. 컴퓨터는 블루투스 디바이스일 수 있다.

일부 실시예에서, 모바일 디바이스(100)는 가상 객체를 실시간으로 동적으로 표시할 수 있다. 즉, 가상 객체는 모바일 디바이스의 카메라에 의해 캡처된 이미지가 디스플레이 상에 렌더링되는 시간 동안 또는 그 시간에 충분히 가깝게 모바일 디바이스(100)의 디스플레이 상에 렌더링될 수 있어, 사용자는 내부에 통합된 가상 객체를 갖는 비디오와 매우 유사하게 이미지의 실질적으로 연속적인 진행을 경험할 수 있다. 모바일 디바이스(100)의 카메라가 시간 경과에 따라 이미지 스트림을 캡처함에 따라, 가상 객체는 이미지 스트림과 함께 디스플레이 상에서 렌더링될 수 있다. 따라서, 네트워크 디바이스(102)의 다양한 포트(108)를 스캐닝할 때와 같이, 사용자(101)가 네트워크 디바이스(102)에 대해 모바일 디바이스(100)를 이동할 때, 가상 객체는 캡처된 이미지의 진행에 기초하여 스스로 동적으로 업데이트할 수 있다. 예를 들어, 가상 객체는 모바일 디바이스(100)가 이동함에 따라 대응하는 포트(108)에 대한 디스플레이 상의 위치를 유지할 수 있다. 이러한 공간 능력은 모바일 디바이스(100)의 움직임을 검출하기 위해 모바일 디바이스(100)의 하나 이상의 모션 센서에 의존할 수 있는 공간 좌표계를 사용하여 가능하게 될 수 있다. 예를 들어, 모바일 디바이스(100)는 가속도계 및/또는 자이로스코프를 포함할 수 있는 모션 감지 시스템을 포함할 수 있다.

가상 객체(들)는 실시간으로 다양한 포트(108)의 연결 상태에 관한 정보를 업데이트할 수 있다. 이러한 방식으로, 사용자(101)는 예를 들어, 포트(108)로부터 하나 이상의 케이블(106)을 연결 및 연결 해제함으로써, 또는 네트워크 디바이스(102)에 연결된 다양한 디바이스를 턴 온 및 턴 오프함으로써, 네트워크 디바이스(102)의 문제를 해결하기 위해 가상 객체에 의해 제공된 정보를 사용할 수 있다. 데이터가 네트워크 패킷으로 송신되는 일부 실시예(예를 들어, 패킷 스위칭)에서, 가상 객체는 사용자(101)가 보안 제어를 위한 피드 패킷 검사를 수행하는 것을 허용할 수 있다. 사용자(101)는 또한 예를 들어 네트워크 디바이스(102)가 네트워크의 다양한 디바이스에 적절하게 연결되었는지 여부를 결정하기 위해 실시간으로 각 포트(108)의 연결 상태를 확인할 수 있다. 가상 객체는 이러한 디바이스에 연결된 2차, 3차 등의 디바이스를 포함하여 네트워크의 다양한 디바이스의 상태에 관한 정보를 전달할 수 있다. 스택(110) 내의 다른 네트워크 디바이스(102)는 사용자(101)가 스택(110)의 모든 네트워크 디바이스를 스캔할 수 있도록 유사하게 AR로 볼 수 있다. 이러한 방식으로, 본원에 설명된 AR 도구는 사용자(101)가 빠르고 쉽게 네트워크의 서브시스템을 포함한 전체 네트워크 시스템의 상태를 결정할 수 있게 한다.

도 2a는 대응하는 네트워크 디바이스(202a 내지 202f)와 관련된 정보를 인코딩하는 상이한 광학 코드(204a 내지 204f)를 갖는 네트워크 디바이스(202a 내지 202f)의 예를 도시한다. 도시된 바와 같이, 광학 코드(204a 내지 204f)는 임의의 다수의 상이한 패턴을 가질 수 있다. 예를 들어, 광학 코드(204a 내지 204f)는 신속 응답(QR) 코드, ARTag 코드, 바코드(예를 들어, 선형 바코드), 영숫자 코드, 숫자 코드, 기재된 문자, 또는 이들의 임의의 조합일 수 있다. 다른 패턴은 대응하는 네트워크 디바이스의 식별 및 상태에 기초하여 다른 유형의 정보를 인코딩할 수 있다. 일부 경우에, 광학 코드(204a 내지 204f)는 네트워크 디바이스(202a 내지 202f)의 디스플레이(예를 들어, 평면 패널 디스플레이) 상에 표시된다. 도 2b는 하나 이상의 광학 코드를 표시하도록 구성될 수 있는 디스플레이 구성 요소의 일 예를 도시한다. 디스플레이는 액정 디스플레이(LCD) 및/또는 발광 다이오드(LED) 디스플레이(예를 들어, 유기 발광 다이오드(OLED) 디스플레이)와 같은 임의의 유형일 수 있다. 일부 실시예에서, 디스플레이는 터치 입력에 기초하여 상이한 이미지를 표시할 수 있는 터치 스크린 디스플레이이다. 예를 들어, 터치 스크린 디스플레이는 사용자가 터치 스크린을 스와이핑(swiping)하는 것에 응답하여 표시되는 것을 변경하도록 구성될 수 있다.

일부 경우에, 네트워크 디바이스(들)는 LCD 또는 다른 유형의 시각적으로 활성인 스크린을 갖지 않을 수 있지만, 대신 네트워킹 디바이스와 관련된 (예를 들어, 스티커 또는 다른 인쇄된 식별자와 같은) 정적 광학 코드를 사용할 수 있다.

위에서 언급한 바와 같이, 식별 코드는 식별을 위해 네트워크 디바이스를 식별(예를 들어, 고유하게 식별)하기 위해 휴대용 디바이스에 의해 사용될 수 있는 무선-기반 ID(예를 들어, 블루투스, NFC, RFID) 코드와 같은 무선 주파수(예를 들어, RF) 식별 코드일 수 있다. RF 식별 코드는 동적(스크린 상의 광학 코드와 유사)이거나 정적(예를 들어, 네트워킹 디바이스 외부에 부착된 인쇄된 광학 코드)일 수 있다.

도 3a 내지 도 3c는 상이한 코드 패턴을 포함하는 3개의 상이한 광학 코드의 예를 도시한다. 이러한 예는 네트워크 디바이스의 연결 상태를 포함하여 네트워크 디바이스에 기초하여 상이한 패턴이 고유 정보를 인코딩할 수 있는 방식을 도시한다. 광학 코드로부터의 정보는 그 후 네트워크 디바이스와 연관된 모바일 디바이스 및/또는 네트워크 디바이스 정보를 전송하고 가상 객체를 생성하는 데 사용되는, 예를 들어, 클라우드-기반 관리 시스템으로 전송될 수 있다. 일부 예에서, 광학 코드는 고유한 광학 코드를 제공하기 위해 패턴을 (예를 들어, 랜덤하게) 생성하는 패턴 생성기 프로그램을 사용하여 생성된다.

도 4a 내지 도 4f는 일부 실시예에 따라 AR 모드에서 모바일 디바이스(400)를 설정하고 사용하기 위한 사용자 인터페이스의 예를 도시한다. 도 4a는 각각 대응하는 광학 코드(예를 들어, 404)를 갖는 복수의 네트워크 디바이스(402)를 보기 위해 모바일 디바이스(400)의 카메라를 사용하는 사용자를 도시한다. 모바일 디바이스(400)는 모바일 디바이스(100)의 일 예로 고려될 수 있다. 사용자 인터페이스(420)는 모바일 디바이스의 디스플레이 화면에 표시되고 모바일 디바이스(400)의 초기 설정을 위한 다수의 인터페이스 스크린을 통해 사용자가 AR 모드로 진입하도록 안내할 수 있다. 사용자 인터페이스(420)는 네트워크 디바이스의 지리적 위치, 네트워크 디바이스의 유형(예를 들어, 제조사 및 모델) 및/또는 네트워크 디바이스의 도해를 포함할 수 있다. 사용자 인터페이스(420)는 모바일 디바이스(400)의 카메라에 캡처된 네트워크 디바이스(402)의 비디오 이미지일 수 있다. 사용자 인터페이스(420)는 AR 모드로 진입하기 위한 버튼을 포함할 수 있다.

도 4ba 및 도 4bb는 네트워크 디바이스의 광학 코드를 스캐닝하기 전의 예시적인 사용자 인터페이스(421)의 2개의 뷰를 도시한다. 사용자 인터페이스(421)는 AR 모드에서 사용하기 위해 각각의 네트워크 디바이스에 관한 정보가 액세스 및 로딩될 수 있도록 각 네트워크 디바이스를 스캔하도록 사용자에게 프롬프팅할 수 있다. 사용자 인터페이스(421)는 각각의 네트워크 디바이스의 광학 코드(예를 들어, 404)의 캡처된 이미지를 정렬하기 위한 광학 코드 정렬 프레임(422)을 포함할 수 있다.

도 4ca 내지 도 4cd는 스택("랙")의 복수의 네트워크 디바이스의 광학 코드를 스캐닝하는 동안 예시적인 사용자 인터페이스(422)의 4개의 뷰를 도시한다. 제1 네트워크 디바이스의 제1 광학 코드를 스캔한 후, 사용자 인터페이스는 사용자에게 제2 네트워크 디바이스의 제2 광학 코드를 스캔하도록 프롬프팅할 수 있다. 광학 코드 정렬 프레임(422)을 상이한 컬러 또는 색조로 제시하는 것과 같은 시각적 표시자가 광학 코드 정렬 프레임 내에서 광학 코드의 잠금(locking)을 나타내는 데 사용될 수 있다. 대안적으로 또는 추가적으로, 체크 마크 심볼(427)과 같은 상이한 시각적 표시자가 광학 코드가 성공적으로 스캔되었음을 나타내기 위해 보여질 수 있다. 일부 실시예에서, 모바일 디바이스에 의해 생성된 진동 및/또는 소리와 같은 촉각 및/또는 청각 표시자가 광학 코드의 성공적인 잠금 및/또는 스캐닝을 나타내는 데 사용될 수 있다. 사용자 인터페이스는 네트워크 디바이스의 광학 코드 각각이 성공적으로 스캔됨에 따라 점진적으로 업데이트되는 네트워크 디바이스의 목록(424) 또는 테이블을 포함할 수 있다. 예를 들어, 대응하는 네트워크 디바이스를 도시하는 아이콘(425)은 네트워크 디바이스에 대한 광학 코드가 (예를 들어, 네트워크 관리 시스템에 의해) 성공적으로 스캔 및/또는 인식된 후에 목록(424)을 채울 수 있다. 추가 네트워크 디바이스에 대한 광학 코드가 (예를 들어, 네트워크 관리 시스템에 의해) 성공적으로 스캔 및/또는 인식된 후 목록(424)은 후속적으로 추가 아이콘(426)으로 채워질 수 있다. 상이한 네트워크 디바이스에 대한 상이한 광학 코드의 이러한 스캐닝은 예를 들어, 스택의 모든 네트워크 디바이스가 스캔될 때까지 계속될 수 있다.

도 4da 내지 도 4dd는 네트워크 디바이스의 광학 코드가 성공적으로 스캔된 후 AR 설정이 적용될 수 있는 방식을 도시하는 예시적인 사용자 인터페이스(430)의 4개의 뷰를 도시한다. 하나의 뷰에서, 사용자 인터페이스(430)는 추가된 스캔된 네트워크 디바이스의 목록(432)을 나타낼 수 있으며, 사용자가 더 많은 네트워크 디바이스가 스캔되어야 하는지 여부에 응답하기 위한 프롬프트(433)(예를 들어, 버튼)를 갖는다. 사용자 인터페이스(430)는 사용자가 사용자 인터페이스의 다음 보기로 진행하도록 프롬프트(434)(예를 들어, 버튼)를 제공할 수 있다. 원하는 모든 네트워크 디바이스가 스캔된 후, 사용자 인터페이스는 사용자가 네트워크 디바이스의 스택(예를 들어, "랙")에 대한 이름을 선택적으로 입력하기 위한 프롬프트(435)(예를 들어, 버튼)를 제공하고 사용자가 다음 사용자 인터페이스 뷰로 진행하기 위한 프롬프트(436)(예를 들어, 버튼)를 제공할 수 있다. 사용자 인터페이스(430)의 임의의 뷰는 이전 뷰로 다시 복귀하기 위한 백(back) 프롬프트(438)를 포함할 수 있다. 네트워크 디바이스에 대한 AR 설정은 광학 코드에 의해 수신된 정보 및 사용자가 제공한 정보에 기초하여 네트워크 스택에 적용될 수 있다. 설정이 적용되고 완료된 후, 이 시점에서 전체 AR 경험이 로딩되어 모바일 디바이스가 새로 생성된 네트워크 디바이스의 스택에서 AR 모드로 카메라를 활용할 수 있다.

도 4e는 모바일 디바이스가 AR 모드로 진입한 예를 도시한다. 도시된 바와 같이, 모바일 디바이스(400)의 디스플레이는 네트워크 디바이스의 캡처된 이미지를 오버레이하는 하나 이상의 가상 객체(401)를 포함할 수 있는 사용자 인터페이스(450)를 표시할 수 있으며, 이는 일반적으로 사용자로부터 숨겨지는 네트워크 디바이스와 관련된 정보를 전달할 수 있다.

도 4f는 일부 실시예에 따른 AR 모드의 사용자 인터페이스(450)의 확대도를 도시한다. 가상 객체는 텍스트(예를 들어, 숫자, 문자 및/또는 심볼) 및/또는 도해를 포함할 수 있다. 예를 들어, 네트워크 디바이스의 이름 및/또는 인터넷 프로토콜(IP) 주소와 같은 네트워크 디바이스의 가상 식별 텍스트(452)는 네트워크 디바이스의 이미지에 인접하게 또는 그 위에(예를 들어, 부분적으로 위에) 위치될 수 있다. 가상 객체는 특정 네트워크 디바이스와 관련된 다양한 가상 객체를 적어도 부분적으로 프레이밍(framing)하는 포트 영역(454)을 포함할 수 있다. 가상 객체는 광학 코드의 캡처된 이미지를 정렬하기 위한 광학 코드 정렬 프레임(456)을 포함할 수 있다. 광학 코드 정렬 프레임(456)은 광학 코드 잠금을 위한 광학 코드 정렬 프레임(456)의 잠금 영역 A 내에 사용자가 광학 코드를 정렬하는 것을 보조하는 데 사용될 수 있다. 잠금 영역 A는 광학 코드 정렬 프레임(456)의 중앙 영역에 있을 수 있다. 일부 실시예에서, 포트 영역(454) 및/또는 광학 코드 정렬 프레임(456)은 네트워크 디바이스의 하위 이미지를 보이게 하는 투명 또는 반투명 품질을 가질 수 있다. 일부 경우에, 가상 포트 B는 네트워크 디바이스의 대응하는 포트에 오버레이한다. 가상 포트 B는 대응하는 물리적 포트의 형상과 크기를 가질 수 있다. 가상 포트 B는 예를 들어, 네트워크 디바이스의 제조사에 의해 식별된 포트 번호에 대응하는 번호를 포함할 수 있다. 가상 포트 B는 컬러 C로 채워질 수 있고/있거나 네트워크 디바이스의 하위 이미지가 보이도록 하기 위해 적어도 부분적으로 투명할 수 있다. 일부 경우에, 대응하는 포트의 상태에 따라 컬러 및/또는 반투명 품질이 변할 수 있다. 예를 들어, 컴퓨터에 능동적으로 연결된 가상 포트 B는 제1(예를 들어, 더 어두운) 컬러 및/또는 반투명 품질로 채워질 수 있는 반면, 컴퓨터에 능동적으로 연결되지 않은 가상 포트 B는 비어 있을 수 있거나(즉, 투명) 제2(예를 들어, 더 밝은) 컬러 및/또는 반투명 품질로 채워질 수 있다.

가상 객체는 대응하는 포트에 연결된 디바이스와 매칭되는 아이콘 F(가상 디바이스 또는 가상 컴퓨터라고도 칭함)를 포함할 수 있다. 아이콘 F는 사용자가 디바이스 유형(예를 들어, 전화, 태블릿, 랩탑, 데스크탑, 텔레비전, 액세스 포인트, 가상 어시스턴트 디바이스, 가전 기기 또는 보안 시스템 디바이스)을 식별할 수 있도록 충분한 상세 사항을 갖는 도해일 수 있어, 사용자는 서로 상이한 유형의 컴퓨터를 쉽고 신속하게 구별할 수 있다. 아이콘 F는 사용자에 의해 자동으로 할당되거나 선택되는 가상 객체 도해의 데이터베이스(라이브러리라고도 칭함)에서 선택될 수 있다. 컴퓨터의 아이콘 F의 상대적인 위치는 아이콘 영역 E 내에 포함될 수 있다.

가상 객체는 컴퓨터의 아이덴티티를 설명하는 가상 디바이스 식별 텍스트 H를 포함할 수 있다. 가상 디바이스 식별 텍스트 H는 대응하는 포트에 연결되거나 이전에 연결된 디바이스를 추가로 식별하는 데 도움이 되는 정보를 포함할 수 있다. 예를 들어, 사용자의 이름 및/또는 디바이스의 제조사 및 모델이 가상 디바이스 식별 텍스트 H에서 식별될 수 있다. 가상 디바이스 식별 텍스트 H는 예를 들어, 클라우드-기반 네트워크 관리 시스템에 의해 제공되거나 사용자에 의해 선택된 정보에 기초하여 자동으로 채워질 수 있다. 가상 디바이스 식별 텍스트 H의 상대 위치는 디바이스 식별 텍스트 영역 G 내에 포함될 수 있다.

일부 실시예에서, 아이콘 F 및/또는 가상 디바이스 식별 텍스트 H는 디바이스가 대응하는 포트에 능동적으로 연결되는지 여부에 기초하여 상이한 품질을 가질 수 있다. 예를 들어, 아이콘 F 및/또는 가상 디바이스 식별 텍스트 H는 디바이스가 포트에 능동적으로 연결되어 있을 때 전체 컬러링되거나 불투명한 외관을 가질 수 있으며, 디바이스가 현재 연결되어 있지 않지만 사전 규정된 기간 내에 이전에 포트에 연결되었던 경우에 고스트 또는 그레이-아웃 외관을 가질 수 있으며, 디바이스가 사전 규정된 기간 내에 포트에 연결될 필요가 없을 때에는 없을 수 있다(즉, 영역 E 및 G는 도해 또는 텍스트를 갖지 않음). 사전 규정된 기간은 다를 수 있다. 예를 들어, 사전 규정된 기간은 약 30분, 1시간, 2시간, 3시간, 6시간, 12시간, 24시간, 3일 또는 1주 이하일 수 있다. 일부 실시예에서, 사전 규정된 기간은 사용자에 의해 선택될 수 있다. 일부 경우에, 아이콘 F 및/또는 가상 디바이스 식별 텍스트 H는 디바이스의 동작 상태에 대한 정보를 포함한다. 동작 상태는 디바이스의 성능 특징(예를 들어, 실시간 또는 이력)을 포함할 수 있다.

일부 경우에, 아이콘 F 및/또는 가상 디바이스 식별 텍스트 H는 디바이스가 다른 디바이스(예를 들어, 2차, 3차 등의 디바이스)에 연결되어 있는지에 대한 표시를 포함할 수 있다. 예를 들어, 액세스 포인트 디바이스는 하나 이상의 전화, 태블릿, 랩탑 및/또는 헤드셋에 동작 가능하게 연결될 수 있다. 아이콘 F는 다른 컬러로 표시되거나, 후광 또는 그림자로 둘러싸여 있거나, 하나 이상의 추가 디바이스에 대한 연결을 나타내는 일부 다른 속성이 제공되는 것과 같이 다른 외관을 가질 수 있다. 대안적으로 또는 추가적으로, 가상 디바이스 식별 텍스트 H는 하나 이상의 추가 디바이스에 대한 연결을 나타내는 텍스트를 포함할 수 있다. 일부 경우에, 아이콘 F 및/또는 가상 디바이스 식별 텍스트 H는 하나 이상의 추가 디바이스의 동작 상태에 대한 정보를 포함한다.

사용자 인터페이스의 양태는 예를 들어, 모바일 디바이스의 디스플레이 치수, 폼 팩터(form factor) 및/또는 운영 체제에 따라 다를 수 있다. 예를 들어, 모바일 전화는 태블릿 컴퓨터에 비해 더 좁은 폭 또는 높이를 가질 수 있다. 사용자 인터페이스는 이러한 차이를 수용하도록 적응될 수 있다.

도 5a 내지 도 5c는 AR 모드에서 모바일 디바이스를 설정하기 위한 다른 예시적인 사용자 인터페이스를 도시한다. 도 5a는 사용자 인터페이스(521)가 채워진 네트워크 디바이스일 수 있고 광학 코드 정렬 프레임(522)에 대해 측방향으로 위치된 목록(523)을 포함하는 것을 제외하고는 사용자 인터페이스(421)(도 4ba 내지 도 4bb)와 유사한 광학 코드의 스캐닝 이전의 사용자 인터페이스(521)를 도시한다. 도 5b는 사용자 인터페이스(523)가 채워진 네트워크 디바이스일 수 있고 광학 코드 정렬 프레임(522)에 대해 측방향으로 위치되는 목록(526)을 포함하는 것을 제외하고는 사용자 인터페이스(423)(도 4ca 내지 도 4cd)와 유사한 광학 코드의 스캐닝 동안의 사용자 인터페이스(523)를 도시한다. 도 5c는 AR 설정을 완료하기 위해 사용자가 선택하는 프롬프트(535)(예를 들어, 버튼)가 사용자 인터페이스(530)의 바닥 측면(예를 들어, 우측면)에 제시되는 것을 제외하고는 사용자 인터페이스(430)(도 4da 내지 도 4dd)와 유사한 AR 설정을 적용하기 위한 사용자 인터페이스(530)를 도시한다.

본원에 설명된 바와 같이, 광학 코드는 가상 객체의 라이브러리에 대한 액세스를 제공하는 인코딩된 정보를 포함할 수 있다. 광학 코드는 가상 객체의 외관과 배치를 알려주는 수탁(fiduciary) 마커로서의 역할을 할 수 있다. 가상 객체의 상대 위치는 예를 들어, 모바일 디바이스의 카메라에 의해 캡처된 이미지에 오버레이하는 오버레이에 배열될 수 있다. 도 6은 일부 실시예에 따른 오버레이(600)의 예를 도시한다. 오버레이(600)의 적어도 일부는 모바일 디바이스의 디스플레이 상에서 렌더링될 때 하위 이미지가 보일 수 있도록 실질적으로 투명할 수 있다. 광학 코드 정렬 프레임(630)은 광학 코드의 이미지를 스캔하고 수신하도록 구성된 오버레이(600)의 영역을 규정할 수 있다. 일부 경우에, 광학 코드 정렬 프레임(630)은 경계 또는 프레임으로 윤곽이 잡힐 수 있고/있거나 중심 마커(예를 들어, 원)를 가질 수 있다. 다른 경우에, 광학 코드 정렬 프레임(630)은 경계 또는 프레임을 갖지 않을 수 있다.

광학 코드가 특정 네트워크 디바이스와 연관된 것으로 네트워크 관리 시스템(예를 들어, 로컬 또는 클라우드-기반)에 의해 스캔되고 검증되면, 네트워크 디바이스와 연관된 가상 객체의 라이브러리에 액세스되어 모바일 디바이스의 디스플레이 상에서 보여질 수 있다. 예를 들어, 광학 코드는 네트워크 디바이스의 제조사 및 모델, 그리고 포트의 유형, 위치 및 크기와 같은 관련 물리적 특징에 대해 가상 객체 관리에 알릴 수 있다. 이 정보는 다양한 유형의 가상 포트의 데이터베이스로부터 액세스되는 네트워크 디바이스의 실제 포트(들)에 대응하는 하나 이상의 가상 포트(634)를 형성하는 데 사용될 수 있다. 또한, 네트워크 관리 시스템은 포트의 연결 상태와 관련된 정보에 액세스할 수 있다. 이 정보는 하나 이상의 포트(634)의 연결 상태와 관련된 정보를 전달하는 가상 객체의 다양한 양태를 결정하는 데 사용될 수 있다.

오버레이(600)는 가상 포트(634)를 포함하는 오버레이(600)의 영역을 규정하는 포트 영역(632)을 포함할 수 있다. 포트 영역(632)은 가시적인 외곽선 또는 프레임을 포함하거나 포함하지 않을 수 있다. 일부 경우에, 포트 영역(632)은 오버레이(600)의 다른 부분과 비교하여 상이한 컬러 및/또는 반투명도를 갖는다. 가상 포트(634)는 포트의 번호를 식별하기 위한 숫자와 같은 텍스트를 포함할 수 있다. 일부 경우에, 가상 포트(634)는 포트의 연결 상태를 나타내는 하나 이상의 상태 표시자(예를 들어, 638 및 639)를 포함한다. 상태 표시자는 포트가 컴퓨터에 능동적으로 연결되어 있는지, 사전 규정된 기간 내에 컴퓨터에 이전에 연결되었는지, 또는 사전 규정된 기간 내에 컴퓨터에 연결되지 않았는지에 기초하여 상이한 외관(예를 들어, 상이한 컬러 또는 형상)을 가질 수 있다. 이러한 상태 표시자(예를 들어, 638 및 639)는 도 4e을 참조하여 상술한 채워진 품질에 추가로 또는 대안으로서 사용될 수 있다.

AR은 실시간으로 네트워크 디바이스의 광학 코드와 같은 물리적 마커에 대한 카메라의 위치 및 배향을 계산하는 비디오 추적 기능을 허용할 수 있다. 예를 들어, 카메라의 위치가 알려지면, 가상 카메라가 동일한 지점에 위치되어, 광학 코드의 위치에 가상 객체(예를 들어, 광학 코드 정렬 프레임(630))를 드러낼 수 있다. 특정 네트워크 디바이스에 관한 네트워크 관리 시스템으로부터의 정보는 광학 코드에 대한 가상 포트(634)의 정확한 배치 및 정렬을 제공하는 데 사용될 수 있다. 이 정보는 또한 가상 포트(634) 사이의 상대 거리뿐만 아니라 가상 포트(634)의 형상 및 크기를 결정하는 데 사용될 수 있다. 네트워크 관리 시스템으로부터의 정보는 추가적으로 본원에 설명된 바와 같이, 다양한 포트의 연결 상태에 기초하여 실시간으로 가상 객체의 양태를 변화시키는 데 사용될 수 있다.

모바일 디바이스와 네트워크 디바이스 사이의 공간적 관계는 사용자가 네트워크 디바이스에 대해 모바일 디바이스를 이동시킬 수 있으므로 실시간으로 변할 수 있으며, 이에 의해 네트워크 디바이스의 이미지를 다른 관점으로 투사할 수 있다. 관점의 변화를 수용하기 위해, 가상 객체 생성은 통상적으로 짐벌(gimbal) 시스템과 유사한 고정된 직교 축(x, y, z축) 주위의 회전 자유도에 기초하는 추적 움직임에 의존한다. 움직임은 롤(roll)(x 축을 중심으로 하는 회전), 피치(pitch)(y 축을 중심으로 하는 회전) 및 요(yaw)(z 축을 중심으로 하는 회전)와 같은 통상의 3차원 회전 움직임을 사용하여 추적하여 6개의 자유도를 규정할 수 있다. 이러한 모델은 유용하지만, 실시간으로 움직임을 지속적으로 모니터링하고 감지하는 것과 관련된 데이터가 많을 수 있으며, 이는 가상 객체가 디스플레이 상에 생성되기 전에 지연을 야기할 수 있다.

본원에 설명된 실시예 중 임의의 것에서, 공간적 관계는 자유도 중 하나 이상을 제거함으로써 단순화될 수 있다. 예를 들어, 네트워크 디바이스의 위치는 실질적으로 안정적이고 네트워크 디바이스 상의 포트는 일반적으로 평면을 따라 배향된다(예를 들어, 바닥에 수직인 네트워크 디바이스 후방). 따라서, 3차원 자유도 중 하나는 고정된 것으로 가정될 수 있고 모바일 디바이스와 네트워크 디바이스 사이의 공간적 관계를 결정하기 위한 계산에서 제거될 수 있다. 일부 실시예에서, 이는 포트에 대한 모바일 디바이스의 상대적인 움직임을 계산하는 데 필요하지 않은 모바일 디바이스의 3차원 움직임과 연관된 미가공 데이터의 일부를 필터링 아웃(filtering out)(예를 들어, 무시)함으로써 달성된다. 예를 들어, 일부 실시예에서, 롤(x 축을 중심으로 회전)과 연관된 움직임이 계산에서 제거될 수 있으며, 이에 의해 계산에 필요한 자유도 및 정보가 1/3만큼 감소할 수 있다. 이러한 방식으로 데이터를 필터링하면 캡처된 이미지에 대한 가상 객체(예를 들어, 가상 포트)가 더 신속하게 업데이트될 수 있도록 계산 속도를 높일 수 있다. 또한, 이는 각 이미지 프레임을 업데이트하는 데 필요한 보정량을 감소시킬 수 있으며, 이에 의해 실시간으로 더 안정적인(예를 들어, 덜 흔들리는) 위치 및 외관을 갖는 가상 객체로 귀결될 수 있다.

또한, AR 능력은 가상 포트(634)에 대한 위치를 결정하기 위해 광학적 피처 인식을 사용할 수 있다. 일부 예에서, 광학적 피처 인식은 모바일 디바이스와 네트워크 디바이스 사이의 공간적 관계와 함께 또는 그 대신에 사용될 수 있다. 일부 예에서, 광학적 피처 인식은 광학적 문자 인식(OCR: optical character recognition)을 포함할 수 있다.

보다 구체적으로, OCR을 사용하여, 하드웨어 상의 임의의 관련 텍스트(예를 들어, 포트 번호, 실제 포트 등)는 오버레이에서 AR 피처의 배치를 돕기 위해 카메라에 의해 식별될 수 있다. 이는 데드 레코닝(dead reckoning) 또는 다른 움직임-기반 피처 오버레이를 통해 발생할 수 있는 일부 센서 드리프트(drift) 또는 다른 정렬 문제를 완화할 수 있다. 또한, OCR을 사용하여 네트워크 디바이스의 특정 식별 정보가 표시되고 검증된 후 가상 포트를 찾을 수 있다.

예를 들어, 도 1을 간단히 다시 참조하면, 네트워크 디바이스(102)가 24-포인트 네트워크 스위치인 경우, 네트워크 디바이스(102)의 라벨 상의 텍스트는 OCR을 통해 캡처될 수 있고 24 포인트 스위치로서 식별될 수 있다. 그러면, 모바일 디바이스(100)는 "이것은 24-포인트 스위치입니다"라는 식별 정보를 표시할 수 있고, 그 후 네트워크 디바이스의 가상 포트는 이전에 언급된 바와 같이 AR 오버레이로 검색될 수 있다.

일부 실시예에서, OCR이 수행된 후, 모바일 디바이스(100)는 네트워크 디바이스의 예상되는 구성의 상세 사항을 표시할 수 있다. 예를 들어, 모바일 디바이스(100)는 포트 찾기를 개시하기 전에 "예상되는" 또는 "예상되는 구성"이라는 메시지(제목)를 깜박이게 함으로써 어떠한 포트의 리스트에 네트워크 디바이스가 연결되는 것으로 예상되는지 그리고 어떻게 연결되어야 하는지를 표시할 수 있다. 다양한 실시예에서, 상기 단계들은 순차적으로 또는 병렬로 일어날 수 있다.

도 7a 및 도 7b는 일부 실시예에 따른 AR 모드의 모바일 디바이스(700)의 사용자 인터페이스(720)의 다른 예를 도시한다. 도 7a 및 도 7b는 모바일 디바이스(700)의 디스플레이 상에 실시간으로 렌더링된 네트워크 디바이스(720)의 이미지를 2개의 상이한 관점에서 도시한다. 사용자 인터페이스(720)는 네트워크 디바이스(702)의 표시된 이미지의 일부에 오버레이하는 하나 이상의 가상 객체를 포함할 수 있다. 가상 객체는 가상 포트(740 및 741), 가상 케이블(742), 아이콘(750) 및 가상 라벨(752)(예를 들어, 텍스트)을 포함할 수 있다. 일부 경우에, 가상 포트를 둘러싸는 포트 영역(732)은 가상 라인(745)으로 윤곽이 그려진다. 가상 객체의 위치는 본원에 설명된 공간 좌표 모델을 사용하여 모바일 디바이스에 의한 관점의 변화에 따라 변하도록 구성될 수 있다. 이러한 방식으로, 가상 객체는 캡처된 이미지에서 대응하는 객체와의 정렬을 실질적으로 유지할 수 있다. 따라서, 가상 포트(740 및 741), 가상 케이블(742), 아이콘(750) 및 가상 라벨(752)은 모바일 디바이스(700)가 네트워크 디바이스에 대해 움직임에 따라 움직이는 것처럼 보일 수 있다. 하나 이상의 가상 객체는 대응하는 하나 이상의 포트의 연결 상태에 기초하여 변할 수 있다. 예를 들어, 가상 포트(740)는 대응하는 포트가 디바이스와 연결되었음을 나타내는 제1 컬러(예를 들어, 백색)의 외곽선을 가질 수 있고, 가상 포트(741)는 대응하는 포트가 디바이스와 연결되지 않았음을 나타내는 제2 컬러(예를 들어, 청색)의 외곽선을 가질 수 있다.

본원에 설명된 AR 디바이스 및 방법 중 임의의 것은 네트워크 디바이스 및/또는 네트워크 디바이스에 연결된 디바이스의 성능을 나타내는 가상 객체를 포함할 수 있다. 도 8은 성능 데이터를 전달하는 가상 객체의 예를 보여주는 AR 모드에 있는 동안 모바일 디바이스 디스플레이의 사용자 인터페이스의 확대도를 도시한다. 가상 객체는 네트워크 디바이스의 스루풋(862) 및 가동 시간(864)과 같은 다양한 선택 가능한 성능 메트릭을 포함할 수 있다. 선택 가능한 성능 메트릭이 선택되면, 하나 이상의 가상 차트 또는 그래프(860)가 표시될 수 있다. 도 8에서, 그래프(860)는 네트워크 디바이스에 연결된 디바이스와 관련된 스루풋 값을 나타낸다. 스루풋 메트릭은 전송 제어 프로토콜(TCP: Transmission Control Protocol) 스루풋 또는 파일 전송 시간과 같은 디바이스의 스루풋 성능과 관련된 데이터를 포함할 수 있다. 가동 시간 메트릭은 디바이스가 동작하는 시간의 퍼센티지를 포함할 수 있다. 다른 메트릭은 네트워크 디바이스 및/또는 네트워크 디바이스에 연결된 디바이스의 인터넷 트래픽 사용량 및/또는 전력 사용량을 포함할 수 있다. 일부 경우에, 메트릭은 하나 이상의 디바이스가 네트워크 디바이스에 연결된 시간의 길이를 포함할 수 있다. 일부 실시예에서, 트리 그래프는 네트워크 디바이스에 연결되거나 한 번 연결되었던 다양한(예를 들어, 1차, 2차, 3차 등) 디바이스를 도시한다. 일부 경우에, 메트릭은 디바이스의 특정 사용자와 관련된 사용 데이터를 포함할 수 있다. 예를 들어, 사용자가 소셜 미디어 어플리케이션이나 웹사이트를 사용한 시간량을 나타내는 그래프 또는 차트가 표시될 수 있다.

사용자 인터페이스는 (예를 들어, 모바일 디바이스의 터치 디스플레이를 사용하여) 터치함으로써 및/또는 전자 연필과 같은 다른 선택 가능한 방법에 의해 사용자가 선택할 수 있는 선택 가능한 가상 아이콘을 포함할 수 있다. 가상 아이콘은 포트 아이콘(870), 전원 아이콘(872), 성능 아이콘(874) 및 설정 아이콘(876)을 포함할 수 있다. 포트 아이콘(870)이 선택되면, 본원에서 설명되는 바와 같이, 다양한 가상 포트 및 가상 포트 라벨이 보일 수 있다. 전원 아이콘(872)이 선택되면, 전원 및 배터리 상태 및 사용량과 관련된 가상 객체가 보일 수 있다. 성능 아이콘(874)이 선택되면, 스루풋(862) 및 가동 시간(864)과 같은 성능과 관련된 가상 객체가 보일 수 있다. 설정 아이콘(876)이 선택되면, 네트워크 설정 및 설정과 관련된 가상 객체가 보일 수 있다.

본원에 설명되는 바와 같이, AR 기술은 3차원 좌표계(3D XYZ)를 사용하는 것에 기초할 수 있다. 도 9a 내지 도 9e는 일부 실시예에 따라 본원에 설명된 AR 방법에 대한 기초로서 사용되는 3D XYZ 축 시스템의 양태를 도시하며, 여기서 X는 폭을 나타내고, Y는 높이를 나타내고, Z는 깊이를 나타낸다. 3D XYZ 시스템은 AR 객체를 형성하는 데 사용된 공간 데이터가 이해 가능(예를 들어, 일관)하도록 보장할 수 있다. 일부 실시예에서, 3D XYZ 시스템을 확립하기 위해 크로스-플랫폼 소프트웨어 엔진이 사용된다. 예를 들어, 미국 캘리포니아주 샌프란시스코에 기반을 둔 Unity Technologies에서 개발한 Unity3D 게임 엔진이 사용될 수 있다. 폭이 1(X 축), 높이가 4(Y 축), 깊이가 3(Z 축)인 3D에 위치된 지점은 Unity3D 시스템을 사용하여 벡터3 {x:1, y:4, z;3}으로 표현될 수 있다.

3D 공간 기록은 광학 코드의 스캐닝 동안 캡처될 수 있다(예를 들어, 도 4ca 내지 도 4cd 또는 도 5b 참조). 예를 들어, 모바일 디바이스(예를 들어, 전화, 태블릿 또는 헤드셋)의 AR 어플리케이션은 네트워크 디바이스(들)의 3D 공간 기록을 '캡처'하고 사용자의 랙 구성을 '기억'하기 위해 모바일 디바이스의 카메라 및/또는 배향 시스템(예를 들어, 가속도계, 자이로스코프 및/또는 나침반)을 사용할 수 있다. 이러한 3D 공간 캡처는 1회성 설정일 수 있다. 도 9b는 네트워크 디바이스(902)의 랙(910)에 대한 3D 공간 기록의 예를 도시한다. 네트워크 디바이스(902) 각각의 공간 기록은 3D XYZ 좌표계에서 벡터의 세트(909)로서 확립될 수 있다. 3D 공간 기록은 로컬 위치를 유지하는 추적기를 기초하여 정규화된 위치의 그룹(예를 들어, 벡터3)에 대응한다. 3D 공간 기록은 본원에 설명하는 바와 같이 필터링될 수 있다. 필터링의 하나의 구현에서, 로컬 위치는 네트워크 디바이스의 배향이 통상적으로 고정되므로(예를 들어, 지면과 평행한 바닥 표면을 가짐), '패널'(예를 들어, 2D 표면) 상에 있는 것으로 고려될 수 있어, X 축을 중심으로 실질적으로 회전이 없다. 추적기 중 하나가 공간 기록에 대한 원점으로서 지정될 수 있으며, 이러한 원점에 대해 다른 추적기의 상대적 위치가 기록될 수 있다. 예를 들어, 제1 광학 코드(904a)(예를 들어, 첫 번째로 스캔됨)는 원점을 갖는 것으로 지정될 수 있고, 광학 코드(904)의 나머지(예를 들어, 후속적으로 스캔됨)의 상대 위치는 제1 광학 코드(904a)에 대해 기록될 수 있다. 일부 경우에, 상단 광학 코드(904a)가 원점으로 지정된다. 좌표계는 임의의 측정 단위에 기초할 수 있다. 일부 실시예에서, 좌표계는 메트릭 시스템(예를 들어, 미터)에 기초한다. 일부 실시예에서, 벡터1 또는 벡터2 구조가 벡터3 대신에 사용될 수 있다는 점에 유의한다. 그러나, 일부 경우에, 벡터3이 더 복잡한 네트워크 디바이스 레이아웃을 지원하는 더 많은 능력을 제공할 수 있다.

데이터는 3D XYZ 플랫폼과 Swift 또는 Java와 같은 모바일 디바이스의 네이티브 코드 사이에서 흐를 수 있다. 도 9c는 네트워크 디바이스를 설정하기 위한 JavaScript Object Notation(JSON) 코드의 일 예를 도시한다. 도 9d는 네이티브 코드에서 만들어진 하이퍼텍스트 전송 프로토콜(HTTP: Hypertext Transfer Protocol) 요청을 사용하고 공간 레코드 캡처 프로세스 동안 사용자 인터페이스에 대한 추가 데이터(랙의 경우 랙_이름 및 네트워크 디바이스의 경우 이름 및 모델 번호)를 사용하는 예를 도시한다. 도 9e는 복수의 네트워크 디바이스를 설정하기 위한 예시적인 JSON 코드를 도시한다.

도 10a 내지 도 10d는 일부 실시예에 따라, AR 어플리케이션을 설정하고 사용하기 위한 예시적인 프로세스를 나타내는 흐름도(1000) 및 대응하는 아키텍처 맵(1100)을 도시한다. 흐름도(1000)의 각 단계는 대응하는 맵(1100)에서 대응하는 아키텍처 구성 요소(예를 들어, 스위프트(Swift), 통합(Unity) AR, 네트워크 제어기(Network Controller) 또는 USW/LCM)의 표시를 포함한다. 맵(1100)은 네트워크 제어기, 스위프트, 통합 AR, USW 및 LCM 구성 요소의 표시를 나타낸다.

도 10a는 네트워크 정보로 어플리케이션 초기화에 대응하는 흐름도(1000) 및 맵(1100)의 일부를 도시한다. 흐름도(1000)를 참조하면, 1002에서 사용자는 네트워크 제어기로부터 스위프트 구성 요소로 AR 어플리케이션에 대한 네트워크 어플리케이션 프로그래밍 인터페이스(API: application programming interface)를 풀링(pulling)하기 위해 모바일 디바이스를 사용할 수 있다. 1004에서, 네트워크 JSON은 예를 들어, 본원에 설명된 필터링 방법 중 하나 이상으로 필터링된다. 1006에서, 네트워크 JSON 데이터는 통합 AR 구성 요소에서 파싱(parsing)된다. 1008에서, 공간 기록(Spatial Record)은 스위프트 구성 요소에 의해 풀링된다. 1010에서, 공간 레코드가 성공적으로 풀링되면(예), 프로세스는 도 10d에서 계속되고, 공간 기록이 성공적으로 풀링되지 않으면(아니오), 프로세스는 도 10b에서 계속된다.

도 10b는 추적기 시드(seed)를 배포하는 것에 대응하는 흐름도(1000) 및 맵(1100)의 일부를 도시한다. 흐름도(1000)를 참조하면, 도 10a에서 공간 기록이 성공적으로 풀링되지 않은 것으로 결정되면(아니오), 1012에서 맥-추적기(Mac-Tracker) 쌍이 통합 AR 구성 요소에 의해 만들어지고 스위프트 구성 요소로 전송된다. 1014에서, 맥-추적기 쌍은 스위프트 구성 요소에 의해 네트워크 제어기에 포스팅(posting)된다. 1016에서, 맥-추적기 쌍은 LCM 및 USW에 배포되고, 1018에서, 추적기가 시드로부터 생성된다(예를 들어, QR 코드를 생성).

도 10c는 공간 기록을 저장하기 위한 설정(예를 들어, 1회 설정)에 대응하는 흐름도(1000) 및 맵(1100)의 일부를 도시한다. 흐름도(1000)를 참조하면, 1020에서, 추적기가 스캔되고 공간 기록을 기재하는 데 사용되고 스위프트 구성 요소로 전송된다. 1022에서 공간 기록이 네트워크 제어기로 입력되고, 1024에서 공간 기록이 수신되어 네트워크 제어기에 의해 저장된다.

도 10d는 모바일 디바이스의 정기적인 사용을 재개하고 공간 기록에 기초하여 AR 어플리케이션을 사용하는 것에 대응하는 흐름도(1000) 및 맵(1100)의 일부를 도시한다. 흐름도(1000)를 참조하면, 1026에서 공간 기록은 공간 기록(USW/LCM)으로부터의 LCM에 대한 추적기가 재개될 수 있도록 스위프트 구성 요소에 의해 풀링된다. 또한, 네트워크 제어기는 1030에서 공간 기록에 응답한다. 1032에서 공간 기록은 통합 AR 구성 요소에서 파싱되고, 1034에서 표시된 추적기 중 임의의 것이 스캔될 수 있다. 1036에서 랙에 대한 AR 오버레이는 통합 AR 구성 요소에서 재개되어, AR 사용자 인터페이스(1038)를 구축하고 자동-토글 상호 작용(1040)으로 포트 상세 사항을 렌더링할 수 있다(1042).

본원에 설명된 많은 예가 스위치, 라우터 및 무선 액세스 포인트와 같은 네트워크 디바이스와 관련되어 있지만, 본원에 설명된 AR 기술은 이러한 유형의 디바이스에 한정되지 않는다. 예를 들어, 본원에 설명된 AR 기술은 하나 이상의 컴퓨터 네트워크에 연결할 수 있는 임의의 유형의 컴퓨터 또는 다른 디바이스를 보는 데 사용될 수 있다. 일부 경우에, 본원에 설명된 AR 기술은 모바일 전화, 태블릿, 랩탑 또는 헤드셋과 같은 모바일 디바이스의 숨겨진 연결 양태를 렌더링하는 데 사용된다. 본원에 설명된 AR 기술은 무선 통신 피처(즉, 하드웨어 포트에 한정되지 않음)의 숨겨진 연결 양태를 렌더링하는 데 사용될 수 있다. 예를 들어, 하나 이상의 안테나(예를 들어, 무선 주파수 또는 블루투스 칩)와 관련된 연결 양태는 AR 객체로 렌더링될 수 있다.

피처 또는 요소가 본원에서 다른 피처 또는 요소 "상에(on)" 있는 것으로 언급될 때, 이는 다른 피처 또는 요소 상에 직접 있을 수 있거나 개입 피처 및/또는 요소가 또한 존재할 수 있다. 대조적으로, 피처 또는 요소가 다른 피처 또는 요소 "상에 직접" 있는 것으로 언급되는 경우, 개입 피처 또는 요소가 존재하지 않는다. 피처 또는 요소가 다른 피처 또는 요소에 "연결된", "부착된" 또는 "커플링된" 것으로 언급되는 경우, 다른 피처 또는 요소에 직접 연결, 부착 또는 커플링될 수 있거나 개입 피처 또는 요소가 존재할 수 있음을 또한 이해할 것이다. 대조적으로, 피처 또는 요소가 다른 피처 또는 요소에 "직접 연결된", "직접 부착된" 또는 "직접 커플링된" 것으로 언급되는 경우, 개입 피처 또는 요소는 존재하지 않는다. 일 실시예에 대해 설명되거나 도시되었지만, 그렇게 설명되거나 도시된 피처 및 요소는 다른 실시예에 적용될 수 있다. 또한, "인접하게" 배치된 구조 또는 피처에 대한 참조에서, 다른 피처가 인접한 피처 위에 중첩되거나 아래에 놓이는 부분을 가질 수 있음을 본 기술 분야의 통상의 기술자는 이해할 것이다.

본원에서 사용된 용어는 단지 특정 실시예를 설명하기 위한 것이며 본 발명을 한정하려는 의도가 아니다. 예를 들어, 본원에 사용된 바와 같이, 단수 형태 "어느(a)", "어떤(an)" 및 "그(the)"는 문맥이 달리 명시하지 않는 한 복수 형태도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 "포함하다" 및/또는 "포함하는"이라는 용어는 언급된 피처, 단계, 동작, 요소 및/또는 구성 요소의 존재를 특정하지만 하나 이상의 다른 피처, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다. 본원에서 사용되는 바와 같이, "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목의 임의의 그리고 모든 조합을 포함하고 "/"로 약칭될 수 있다.

"아래에", "밑에", "하위의", "위에", "상위에" 등과 같은 공간적으로 상대적인 용어는 도면에 도시된 다른 요소(들) 또는 피처(들)에 대한 하나의 요소 또는 피처의 관계를 설명하는 데 있어서 설명의 용이성을 위해 본원에 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시된 배향에 추가하여 사용 또는 동작 중인 디바이스의 다른 방향을 포함하도록 의도된 것으로 이해될 것이다. 예를 들어, 도면의 디바이스가 반전된 경우, 다른 요소 또는 피처의 "아래에" 또는 "밑에" 있는 것으로 설명된 요소는 다른 요소 또는 피처의 "위에" 배향될 것이다. 따라서, 예시적인 용어 "아래에"는 위 및 아래의 배향 모두를 포함할 수 있다. 디바이스는 달리 배향될 수 있고(90도 또는 다른 배향으로 회전), 본원에 사용된 공간적으로 상대적인 설명자는 그에 따라 해석된다. 유사하게, "위로", "아래로", "수직", "수평" 등의 용어는 달리 구체적으로 지시되지 않는 한 설명의 목적으로만 본원에서 사용된다.

"제1" 및 "제2"라는 용어가 다양한 피처/요소(단계 포함)를 설명하기 위해 본원에서 사용될 수 있지만, 문맥상 달리 지시하지 않는 한 이러한 피처/요소는 이러한 용어에 의해 제한되어서는 안 된다. 이러한 용어는 하나의 피처/요소를 다른 피처/요소와 구별하는 데 사용할 수 있다. 따라서, 아래에서 논의되는 제1 피처/요소는 제2 피처/요소로 명명될 수 있고, 유사하게, 아래에서 논의되는 제2 피처/요소는 본 발명의 교시를 벗어나지 않고 제1 피처/요소로 명명될 수 있다.

예에서 사용된 것을 포함하여 본 명세서 및 청구항에 사용된 바와 같이, 그리고 달리 명시하지 않는 한, 해당 용어가 명시적으로 보이지 않더라도 모든 숫자는 "약" 또는 "대략"이라는 단어가 앞에 붙는 것처럼 읽혀질 수 있다. "약" 또는 "대략"이라는 문구는 설명된 값 및/또는 위치가 값 및/또는 위치의 합리적인 예상 범위 내에 있음을 나타내기 위해 크기 및/또는 위치를 설명할 때 사용될 수 있다. 예를 들어, 수치 값은 언급된 값(또는 값의 범위)의 +/- 0.1%, 언급된 값(또는 값의 범위)의 +/- 1%, 언급된 값(또는 값의 범위)의 +/- 2%, 언급된 값(또는 값의 범위)의 +/- 5%, 언급된 값(또는 값의 범위)의 +/- 10% 등의 값을 가질 수 있다. 본원에 언급된 임의의 수치 범위는 그 안에 포함된 모든 하위 범위를 포함하도록 의도된다.

다양한 예시적인 실시예가 위에서 설명되었지만, 청구항에 의해 설명되는 바와 같은 본 발명의 범위를 벗어나지 않고 다양한 실시예에 대해 임의의 다수의 변경이 이루어질 수 있다. 예를 들어, 다양한 설명된 방법 단계가 수행되는 순서는 대안적인 실시예에서 종종 변경될 수 있고, 다른 대안적인 실시예에서 하나 이상의 방법 단계는 모두 건너뛸 수 있다. 다양한 디바이스 및 시스템 실시예의 선택적인 피처는 일부 실시예에 포함될 수 있고 다른 실시예에는 포함되지 않을 수 있다. 따라서, 상술한 설명은 주로 예시적인 목적으로 제공되며 청구항 제시된 바와 같이 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다.

본원에 포함된 예 및 예시는 제한이 아닌 예시로서, 주제가 실시될 수 있는 특정 실시예를 나타낸다. 언급된 바와 같이, 본 개시의 범위를 벗어나지 않고 구조적 및 논리적 치환 및 변경이 이루어질 수 있도록 다른 실시예가 이로부터 활용 및 도출될 수 있다. 본 발명의 주제의 이러한 실시예는 하나 초과가 실제로 개시되는 경우, 단지 편의를 위해 본 출원의 범위를 임의의 단일 발명 또는 발명의 개념으로 자발적으로 제한하려는 의도 없이 "발명"이라는 용어로 개별적으로 또는 집합적으로 본원에서 언급될 수 있다. 따라서, 특정 실시예가 본원에서 예시되고 설명되었지만, 동일한 목적을 달성하기 위해 계산된 임의의 배열이 나타낸 특정 실시예를 치환할 수 있다. 본 개시는 다양한 실시예의 임의의 그리고 모든 적응 또는 변형을 포함하도록 의도된다. 위의 실시예의 조합, 및 본원에 구체적으로 설명되지 않은 다른 실시예는 위의 설명을 검토할 때 본 기술 분야의 통상의 기술자에게 명백할 것이다.

Claims

모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법으로서,
상기 모바일 디바이스에 의해 상기 네트워크 디바이스로부터 식별 코드를 수신하는 단계;
상기 네트워크 디바이스의 캡처된 카메라 이미지들을 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계 ―상기 이미지들은 상기 네트워크 디바이스의 복수의 포트를 포함함―;
상기 식별 코드를 사용하여 상기 복수의 포트 각각의 연결 상태와 관련된 정보를 검색하는 단계;
상기 식별 코드를 사용하여 상기 하나 이상의 포트에 대한 상기 모바일 디바이스의 공간적 관계를 결정하는 단계; 및
상기 이미지들 상의 네트워크 디바이스 위에 하나 이상의 가상 포트를 오버레이(overlay)시키는 단계
를 포함하고, 상기 가상 포트들은 상기 하나 이상의 가상 포트에서 상기 네트워크 디바이스의 상기 연결에 대한 정보를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 카메라 이미지에 대한 상기 하나 이상의 가상 포트의 정렬이 상기 결정된 공간적 관계에 기초하여 동적으로 조정되는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
추가로, 상기 가상 포트들의 각각은 상기 검색된 정보에 기초하여 상기 포트의 상기 연결 상태를 나타내는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 가상 포트들의 각각에 근접한 상기 이미지 상에 가상 라벨을 오버레이시키는 단계를 더 포함하고,
상기 가상 라벨은 상기 가상 포트들의 각각에 대응하는 상기 포트들의 각각에 연결된 디바이스의 하나 이상의 특징을 나타내는 텍스트를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 가상 포트들의 각각은 상기 하나 이상의 포트의 상기 이미지의 크기 및 형상과 실질적으로 매칭되는 크기 및 형상을 갖는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 가상 포트의 위치는 상기 네트워크 디바이스에 대한 상기 모바일 디바이스의 카메라의 관점 변화들에 따라 동적으로 변하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 가상 포트들의 각각은 대응하는 포트가 디바이스에 연결되지 않은 경우와 비교하여 상기 네트워크 디바이스의 상기 대응하는 포트가 연결된 경우에 상이한 외관을 갖는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 포트의 연결 상태와 관련된 상기 정보에 기초하여 가상 객체들의 라이브러리에 액세스하는 단계를 더 포함하고,
상기 가상 객체들은 상기 네트워크 디바이스의 하나 이상의 포트에 연결된 디바이스의 유형에 대응하는 하나 이상의 아이콘을 포함하고, 상기 가상 포트들은 상기 하나 이상의 아이콘을 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제8항에 있어서,
상기 디바이스의 상기 유형은 모바일 전화, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 무선 액세스 포인트 디바이스, 가상 어시스턴트(assistant) 디바이스, 텔레비전, 가전 기기 또는 보안 시스템 디바이스인, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제8항에 있어서,
상기 하나 이상의 아이콘은 상기 포트가 이전에 연결되어 더 이상 상기 디바이스에 연결되지 않는 경우와 비교하여 상기 포트가 상기 디바이스에 연결되는 경우에 상이한 외관을 갖는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 네트워크 디바이스에 대한 상기 모바일 디바이스의 상기 공간적 관계를 결정하는 데 사용되는 하나 이상의 자유도를 필터링함으로써 상기 네트워크 디바이스에 대한 상기 하나 이상의 가상 포트를 안정화시키는 단계를 더 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제11항에 있어서,
하나 이상의 자유도를 필터링하는 것은 좌표 공간에서 축을 중심으로 하는 회전과 관련된 데이터를 제거하는 것을 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 식별 코드는 상기 네트워크 디바이스의 터치 디스플레이 상에 있는 광학 코드인, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 식별 코드는 RF 코드인, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 포트의 상기 연결 상태는 상기 포트가 상기 디바이스에 연결되어 있는지 여부를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 포트의 상기 연결 상태는 상기 포트에 연결되었거나 상기 포트에 연결되었던 컴퓨터의 동작 상태와 관련된 정보를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 포트의 상기 연결 상태는 상기 포트에 연결되거나 연결되었던 디바이스가 제2 디바이스에 연결되는지 여부에 대한 정보를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제17항에 있어서,
상기 포트의 상기 연결 상태는 상기 디바이스의 동작 상태 및 상기 제2 디바이스의 동작 상태를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 모바일 디바이스는 모바일 전화, 태블릿 컴퓨터, 랩탑 컴퓨터 또는 헤드셋인, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 네트워크 디바이스는 네트워크 스위치, 라우터 또는 액세스 포인트인, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제1항에 있어서,
상기 하나 이상의 가상 포트의 상기 오버레이를 동적으로 조정하는 단계를 더 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법으로서,
상기 네트워크 디바이스의 캡처된 카메라 이미지들을 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계 ―상기 이미지들은 상기 네트워크 디바이스의 하나 이상의 포트, 및 상기 네트워크 디바이스와 관련된 네트워크 연결 정보를 포함하는 상기 네트워크 디바이스 상의 광학 코드를 포함함―;
상기 광학 코드를 사용하여 상기 하나 이상의 포트의 연결 상태와 관련된 정보를 검색하는 단계;
상기 하나 이상의 포트의 연결 상태와 관련된 상기 정보에 기초하여 가상 객체의 라이브러리에 액세스하는 단계 ―상기 가상 객체는 상기 네트워크 디바이스의 상기 하나 이상의 포트의 각각에 연결된 디바이스의 유형에 대응하는 아이콘을 포함함―;
상기 광학 코드를 사용하여 상기 하나 이상의 포트에 대한 상기 모바일 디바이스의 공간적 관계를 결정하는 단계; 및
하나 이상의 가상 포트를 오버레이시키는 단계
를 포함하고, 상기 가상 포트들은 각각 상기 네트워크 디바이스의 상기 이미지들 위에 상기 하나 이상의 포트에 연결된 상기 디바이스의 유형에 대응하는 상기 아이콘을 포함하고, 상기 가상 포트의 품질은 상기 검색 정보에 기초하여 상기 포트의 상기 연결 상태를 나타내는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템으로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서에 커플링된 메모리
를 포함하고, 상기 메모리는 상기 하나 이상의 프로세서에 의해 실행될 때 컴퓨터에서 구현되는(computer-implemented) 방법을 수행하는 컴퓨터 프로그램 명령들을 저장하도록 구성되고,
상기 컴퓨터에서 구현되는 방법은,
상기 모바일 디바이스에 의해 상기 네트워크 디바이스로부터 식별 코드를 수신하는 단계;
상기 네트워크 디바이스의 캡처된 카메라 이미지들을 상기 모바일 디바이스의 디스플레이 상에 표시하는 단계 ―상기 이미지들은 상기 네트워크 디바이스의 복수의 포트를 포함함―;
상기 식별 코드를 사용하여 상기 복수의 포트 각각의 연결 상태와 관련된 정보를 검색하는 단계;
상기 식별 코드를 사용하여 상기 하나 이상의 포트에 대한 상기 모바일 디바이스의 공간적 관계를 결정하는 단계; 및
상기 이미지들 상의 네트워크 디바이스 위에 하나 이상의 가상 포트를 오버레이시키는 단계
를 포함하고, 상기 가상 포트들은 상기 하나 이상의 가상 포트에서 상기 네트워크 디바이스의 상기 연결에 대한 정보를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템.
모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법으로서,
모바일 통신 디바이스(mobile telecommunications device)를 사용하여 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―상기 비디오 이미지는 복수의 포트를 포함함―;
상기 모바일 통신 디바이스에서, 상기 네트워크 디바이스로부터 상기 네트워크 디바이스에 특정한 식별 코드를 수신하는 단계;
상기 식별 코드로부터, 상기 네트워크 디바이스의 상기 복수의 포트의 연결에 대한 정보를 결정하는 단계;
상기 비디오 이미지 상에, 실시간으로 오버레이를 상기 네트워크 디바이스의 상기 복수의 포트 상에 표시하는 단계
를 포함하고, 상기 오버레이는 각각의 포트에 특정된 네트워크 연결의 표시자를 포함하고, 상기 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티(identity), 연결 지속 시간, 이더넷 전원(POE: power over Ethernet) 사용 중 하나 이상을 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 네트워크 디바이스는 스위치를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 모바일 통신 디바이스는 스마트폰 또는 태블릿을 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 식별 코드는 광학 코드를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 식별 코드는 디지털 QR 코드를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 식별 코드는 RF 코드를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 식별 코드 및 상기 이미지로부터 상기 네트워크 디바이스의 상기 하나 이상의 포트 각각의 위치들을 결정하는 단계를 더 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 식별 코드 및 상기 이미지 및 상기 모바일 통신 디바이스의 배향으로부터 상기 복수의 포트 중 각각의 포트의 위치들을 결정하는 단계를 더 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
제24항에 있어서,
상기 결정하는 단계는 상기 모바일 통신 디바이스를 사용하여 원격 데이터베이스에 액세스함으로써 상기 네트워크 디바이스의 상기 복수의 포트의 연결에 대한 정보를 결정하는 단계를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법으로서,
모바일 통신 디바이스를 사용하여 복수의 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―상기 네트워크 디바이스들의 각각은 복수의 포트 및 고유한 식별자 코드를 포함함―;
상기 모바일 통신 디바이스에서, 상기 복수의 네트워크 디바이스 중의 상기 네트워크 디바이스들로부터 상기 네트워크 디바이스들의 각각에 특정한 상기 고유한 식별 코드를 수신하는 단계;
상기 네트워크 디바이스들의 각각에 특정한 상기 고유한 식별 코드로부터, 상기 네트워크 디바이스들의 각각의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계;
상기 비디오 이미지 상에 실시간으로 오버레이를 각각의 포트에 특정한 네트워크 연결의 표시자를 포함하는 상기 네트워크 디바이스들의 상기 하나 이상의 포트의 각각 상에 표시하는 단계 ―상기 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함함―; 및
상기 네트워크 연결의 표시자가 변함에 따라 실시간으로 상기 표시를 업데이트하는 단계
를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하는 방법.
모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템으로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서에 커플링된 메모리
를 포함하고, 상기 메모리는 상기 하나 이상의 프로세서에 의해 실행될 때 컴퓨터에서 구현되는 방법을 수행하는 컴퓨터 프로그램 명령들을 저장하도록 구성되고,
상기 컴퓨터에서 구현되는 방법은,
모바일 통신 디바이스를 사용하여 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―상기 비디오 이미지는 복수의 포트를 포함함―;
상기 모바일 통신 디바이스에서, 상기 네트워크 디바이스로부터 상기 네트워크 디바이스에 특정한 식별 코드를 수신하는 단계;
상기 식별 코드로부터, 상기 네트워크 디바이스의 상기 복수의 포트의 연결에 대한 정보를 결정하는 단계;
상기 비디오 이미지 상에, 실시간으로 오버레이를 상기 네트워크 디바이스의 상기 복수의 포트 상에 표시하는 단계
를 포함하고, 상기 오버레이는 각각의 포트에 특정된 네트워크 연결의 표시자를 포함하고, 상기 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템.
모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템으로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서에 커플링된 메모리
를 포함하고, 상기 메모리는 상기 하나 이상의 프로세서에 의해 실행될 때 컴퓨터에서 구현되는 방법을 수행하는 컴퓨터 프로그램 명령들을 저장하도록 구성되고,
상기 컴퓨터에서 구현되는 방법은,
모바일 통신 디바이스를 사용하여 복수의 네트워크 디바이스의 비디오 이미지를 캡처하는 단계 ―상기 네트워크 디바이스들의 각각은 복수의 포트 및 고유한 식별자 코드를 포함함―;
상기 모바일 통신 디바이스에서, 상기 복수의 네트워크 디바이스 중의 상기 네트워크 디바이스들로부터 상기 네트워크 디바이스들의 각각에 특정한 상기 고유한 식별 코드를 수신하는 단계;
상기 네트워크 디바이스들의 각각에 특정한 상기 고유한 식별 코드로부터, 상기 네트워크 디바이스들의 각각의 하나 이상의 포트의 연결에 대한 정보를 결정하는 단계;
상기 비디오 이미지 상에 실시간으로 오버레이를 각각의 포트에 특정한 네트워크 연결의 표시자를 포함하는 상기 네트워크 디바이스들의 상기 하나 이상의 포트의 각각 상에 표시하는 단계 ―상기 네트워크 연결의 표시자는 연결 상태, 연결 속도, 데이터 트래픽, 연결 아이덴티티, 연결 지속 시간, 이더넷 전원(POE) 사용 중 하나 이상을 포함함―; 및
상기 네트워크 연결의 표시자가 변함에 따라 실시간으로 상기 표시를 업데이트하는 단계
를 포함하는, 모바일 디바이스를 사용하여 증강 현실이 적용된 네트워크 디바이스를 표시하기 위한 시스템.