KR20190081178A - 증강 현실 제공 시스템 및 방법 - Google Patents

증강 현실 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20190081178A
KR20190081178A KR1020170183533A KR20170183533A KR20190081178A KR 20190081178 A KR20190081178 A KR 20190081178A KR 1020170183533 A KR1020170183533 A KR 1020170183533A KR 20170183533 A KR20170183533 A KR 20170183533A KR 20190081178 A KR20190081178 A KR 20190081178A
Authority
KR
South Korea
Prior art keywords
information
user terminal
augmented reality
docking station
angle
Prior art date
Application number
KR1020170183533A
Other languages
English (en)
Other versions
KR102268798B1 (ko
Inventor
남상원
Original Assignee
엘에스산전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘에스산전 주식회사 filed Critical 엘에스산전 주식회사
Priority to KR1020170183533A priority Critical patent/KR102268798B1/ko
Publication of KR20190081178A publication Critical patent/KR20190081178A/ko
Application granted granted Critical
Publication of KR102268798B1 publication Critical patent/KR102268798B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 제공 시스템 및 방법에 관한 것이다. 상기 증강 현실 제공 방법은, 도킹 스테이션과 사용자 단말기의 결합을 감지하는 단계, 상기 사용자 단말기에 결합된 상기 도킹 스테이션의 ID 정보를 수신하는 단계, 상기 ID 정보를 기초로 데이터베이스에서 상기 도킹 스테이션의 위치 정보를 추출하는 단계, 상기 도킹 스테이션의 각도 정보를 수신하는 단계, 상기 위치 정보와 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계, 및 상기 표시 대상 객체에 대한 증강 현실 관련 데이터를 상기 사용자 단말기에 제공하는 단계를 포함한다.

Description

증강 현실 제공 시스템 및 방법{System and method for providing augmented reality user interface}
본 발명은 증강 현실 제공 시스템 및 방법에 관한 것이다. 구체적으로, 도킹 스테이션에 결합된 사용자 단말기에 증강 현실 정보를 제공하는 증강 현실 제공 시스템 및 방법에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리, 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 특징 때문에 증강 현실은 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하다. 특히, 증강 현실은 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
증강 현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 증강 현실 기술을 활용하려는 연구가 이어져 왔으며, 최근에는 스마트폰의 확산과 더불어 증강 현실 기술이 위치 기반 서비스에 많이 활용되고 있다.
일반적으로, 증강 현실 기술은 현재 촬영되고 있는 기기에 대한 정보를 메뉴 형태로 프리뷰 화면 상에 표시한다. 이때 프리뷰 화면은 촬영되고 있는 기기의 상태 정보를 2D 또는 3D 형태로 표시할 수 있다.
다만, 종래의 증강 현실 제공 장치의 경우, 사용자가 사용자 단말기를 손에 들고 촬영을 해야 하므로, 사용자의 손떨림에 의해 화면 상의 증강 현실 이미지가 계속해서 흔들리게 되어 어지러움을 유발하는 문제점이 있었다.
또한, 증강 현실 이미지를 표시하기 위해, 사용자 단말기의 위치 변화를 측정하고, 촬영되는 영상 속에서 객체를 계속해서 인식해야 하는 바, 동작에 필요한 연산량이 많아져 증강 현실의 구현 속도가 느려지는 문제점이 있었다.
본 발명은 특정 위치에 설치된 도킹 스테이션에 사용자 단말기를 결합함으로써, 특정 위치에서 바라본 시야 영역에 대한 증강 현실 인터페이스를 사용자 단말기에 표시할 수 있는 증강 현실 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 도킹 스테이션의 위치 정보와 각도 정보를 이용하여, 사용자 단말기의 카메라 화각 내에 위치하는 대상 객체를 선정하고, 대상 객체에 대한 증강 현실 인터페이스를 사용자 단말기에 표시하는 증강 현실 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강 현실 제공 방법은, 도킹 스테이션과 사용자 단말기의 결합을 감지하는 단계, 상기 사용자 단말기에 결합된 상기 도킹 스테이션의 ID 정보를 수신하는 단계, 상기 ID 정보를 기초로 데이터베이스에서 상기 도킹 스테이션의 위치 정보를 추출하는 단계, 상기 도킹 스테이션의 각도 정보를 수신하는 단계, 상기 위치 정보와 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계, 및 상기 표시 대상 객체에 대한 증강 현실 관련 데이터를 상기 사용자 단말기에 제공하는 단계를 포함한다.
또한, 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계는, 상기 도킹 스테이션의 위치 정보를 기초로 상기 도킹 스테이션에 인접한 객체를 선정하는 단계와, 상기 도킹 스테이션의 각도 정보를 기초로, 상기 인접한 객체 중에서 상기 사용자 단말기에 포함된 카메라부의 화각 내에 위치하는 표시 대상 객체를 선정하는 단계를 포함할 수 있다.
또한, 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계는, 상기 카메라부의 배율 정보를 수신하고, 상기 배율 정보를 기초로 상기 사용자 단말기에 표시될 표시 대상 객체를 선정하는 것을 더 포함할 수 있다.
또한, 상기 도킹 스테이션의 상기 각도 정보가 변경되는 경우, 변경된 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 재선정하는 단계와, 재선정된 상기 표시 대상 객체에 대한 증강 현실 정보를 상기 사용자 단말기에 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 각도 정보는, 상기 도킹 스테이션에 결합된 상기 사용자 단말기의 카메라의 앵글, 화각, 및 배율에 대한 정보를 포함할 수 있다.
또한, 상기 위치 정보 및 상기 각도 정보는, X축, Y축 및 Z축으로 이루어진 3차원 좌표 정보로 구성될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 증강 현실 제공 방법은, 사용자 단말기에 결합된 상기 도킹 스테이션의 ID 정보를 수신하는 단계, 상기 ID 정보를 상기 도킹 스테이션과 연결된 서버에 전송하는 단계, 상기 서버로부터 상기 도킹 스테이션과 관련된 데이터를 수신하여 메모리에 저장하는 단계, 상기 도킹 스테이션의 위치 정보와 각도 정보를 수신하는 단계, 상기 메모리에 저장된 데이터, 상기 위치 정보 및 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계, 상기 표시 대상 객체에 대한 증강 현실 인터페이스를 생성하는 단계, 및 상기 촬영된 영상에 상기 증강 현실 인터페이스를 오버랩하여 화면에 표시하는 단계를 포함한다.
또한, 상기 표시 대상 객체에 대한 증강 현실 인터페이스를 생성하는 단계는, 상기 표시 대상 객체에 대한 상태 정보를 수신하는 단계와, 상기 증강 현실 관련 데이터와 상기 상태 정보를 이용하여 상기 표시 대상 객체의 상태를 표시하는 상기 증강 현실 인터페이스를 생성하는 단계를 포함할 수 있다.
또한, 상기 서버로부터 상기 도킹 스테이션와 관련된 데이터를 수신하여 메모리에 저장하는 단계는, 상기 데이터를 상기 도킹 스테이션의 메모리 또는 상기 사용자 단말기의 메모리에 저장하는 것을 포함할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강 현실 제공 시스템은, 증강 현실 인터페이스를 디스플레이부에 표시하는 사용자 단말기, 상기 사용자 단말기가 결합되는 도킹 스테이션, 및 상기 사용자 단말기와 결합된 상기 도킹 스테이션의 위치 정보와 각도 정보를 기초로 상기 사용자 단말기에 표시될 표시 대상 객체를 선정하고, 상기 표시 대상 객체에 대한 증강 현실 관련 데이터를 상기 사용자 단말기에 제공하는 서버를 포함한다.
또한, 상기 도킹 스테이션은, 결합 테이블과, 상기 결합 테이블의 각도를 조절하는 각도 조절부와, 상기 각도 조절부의 위치를 측정하는 각도 센서부와, ID정보를 저장하는 메모리부를 포함할 수 있다.
또한, 상기 서버는, 상기 도킹 스테이션의 ID정보를 수신하고, 수신된 상기 ID정보를 기초로 상기 도킹 스테이션의 상기 위치 정보를 계산할 수 있다.
또한, 상기 서버는, 상기 위치 정보를 기초로 상기 도킹 스테이션에 인접한 객체를 선정하고, 상기 각도 정보를 기초로 상기 인접한 객체 중에서 상기 사용자 단말기에 포함된 카메라부의 화각 내에 위치하는 표시 대상 객체를 선정할 수 있다.
또한, 상기 서버는, 상기 사용자 단말기에 포함된 카메라부의 배율 정보를 수신하고, 상기 위치 정보, 상기 각도 정보 및 상기 배율 정보를 기초로 상기 사용자 단말기에 표시될 표시 대상 객체를 선정할 수 있다.
또한, 상기 서버는, 상기 도킹 스테이션의 상기 각도 정보가 변경되는 경우, 변경된 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 재선정하고, 재선정된 상기 표시 대상 객체에 대한 증강 현실 정보를 상기 사용자 단말기에 업데이트할 수 있다.
또한, 상기 각도 정보는, 상기 도킹 스테이션에 결합된 상기 사용자 단말기의 카메라의 앵글, 화각, 및 배율에 대한 정보를 포함할 수 있다.
또한, 상기 사용자 단말기는, 상기 서버로부터 수신된 상기 증강 현실 관련 데이터를 기초로 증강 현실 인터페이스를 생성하고, 상기 증강 현실 인터페이스를 디스플레이부에 표시할 수 있다.
또한, 상기 사용자 단말기는, 상기 표시 대상 객체에 대한 상태 정보를 수신하고, 상기 증강 현실 관련 데이터와 상기 상태 정보를 이용하여 상기 표시 대상 객체의 상태를 표시하는 상기 증강 현실 인터페이스를 생성하여 디스플레이부에 표시할 수 있다.
본 발명의 증강 현실 제공 시스템 및 방법은, 특정 위치에 설치된 도킹 스테이션에 사용자 단말기를 결합함으로써, 흔들림 없는 증강 현실 영상을 사용자에게 제공할 수 있다. 이를 통해, 증강 현실을 이용하면서 사용자가 어지러움을 느끼는 것을 방지할 수 있다.
또한, 본 발명의 증강 현실 제공 시스템 및 방법은, 도킹 스테이션의 위치 정보와 각도 정보를 이용하여 사용자 단말기의 카메라 화각 내에 위치하는 대상 객체에 대한 증강 현실 인터페이스를 제공할 수 있다. 즉, 본 발명은 증강 현실에 필요한 객체 인식 과정을 생략함으로써, 증강 현실 구현 속도를 향상시킬 수 있다. 이를 통해, 사용자 단말기는 더 빠르고 부드러운 증강 현실 영상을 사용자에게 제공할 수 있으며, 사용자의 입력에 대한 반응 속도도 증가될 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예에 따른 증강 현실 제공 시스템을 나타내는 도면이다.
도 2는 도 1의 사용자 단말기를 설명하기 위한 도면이다.
도 3은 도 1의 사용자 단말기와 도킹 스테이션의 결합 구조를 설명하기 위한 도면이다.
도 4는 도 1의 증강 현실 제공 시스템의 동작 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 7은 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 8 및 도 9는 본 발명의 몇몇 실시예에 따른 증강 현실 제공 시스템의 일 예를 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
이하에서, 도 1 내지 도 9를 참조하여 본 발명에 따른 증강 현실 제공 시스템 및 방법에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 시스템은, 사용자 단말기(100), 도킹 스테이션(200), 서버(300) 및 대상 기기(400)를 포함한다.
사용자 단말기(100)는 증강 현실 표시 장치로써 동작한다. 사용자 단말기(100)는 도킹 스테이션(200)에 결합된다. 사용자 단말기(100)는 도킹 스테이션(200)을 통해 서버(300)로부터 증강 현실 관련 정보를 수신하여 화면에 표시할 수 있다.
사용자 단말기(100)는 태블릿(tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터 등 정보를 무선 환경에서 송수신할 수 있는 장치가 될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
도킹 스테이션(200)는 특정 위치에 고정되어 설치되고, 사용자 단말기(100)와 결합될 수 있다. 도킹 스테이션(200)은 복수 개가 설치될 수 있으며, 각각 고유의 ID 정보가 부여된다. 도킹 스테이션(200)은 무선 또는 유선 통신을 통해 서버(300)와 데이터를 교환할 수 있다. 또한, 도킹 스테이션(200)은 서버(300)로부터 수신한 증강 현실 관련 정보를 사용자 단말기(100)에 전달할 수 있다.
서버(300)는 대상 기기(400)에 대한 각종 정보를 저장하는 데이터베이스를 포함한다. 서버(300)는 복수의 도킹 스테이션(200)에 대한 위치 정보와 도킹 스테이션(200)과 인접한 대상 기기(400)에 대한 위치 정보를 저장할 수 있다. 서버(300)는 도킹 스테이션(200)의 ID 정보를 기초로 각각의 도킹 스테이션(200)을 식별할 수 있다.
또한, 서버(300)는 대상 기기(400)에 대한 증강 현실 관련 정보를 저장한다. 만약, 사용자 단말기(100)와 결합된 도킹 스테이션(200)으로부터 ID 정보가 수신되는 경우, 서버(300)는 해당 도킹 스테이션(200)의 인접한 대상 기기(400)에 대한 증강 현실 관련 정보를 해당 도킹 스테이션(200)을 통해 사용자 단말기(100)에 제공할 수 있다.
이때, 서버(300)는 도킹 스테이션(200)의 각도 정보를 고려하여, 사용자 단말기(100)에 표시될 표시 대상 객체를 선정한다. 이어서, 서버(300)는 선정된 표시 대상 객체에 대한 증강 현실 관련 정보를 사용자 단말기(100)에 제공할 수 있다.
이를 통해, 사용자 단말기(100)는 대상 기기(400)를 촬영하고, 촬영된 영상 내에서 대상 기기(400)를 식별하는 과정을 거치지 않고, 사용자 단말기(100)가 결합된 도킹 스테이션(200)에 인접한 대상 기기(400)에 대한 증강 현실 관련 정보를 서버(300)로부터 수신하여 화면에 표시할 수 있다.
여기에서 증강 현실 관련 정보는 증강 현실 정보와 증강 현실 인터페이스를 포함하는 개념이다. 증강 현실 정보는 촬영되는 객체를 모델링 및 렌더링 하는데 이용되는 로데이터(raw data)이다. 증강 현실 정보는 2D 또는 3D 이미지로 모델링 및 렌더링될 수 있으며, 렌더링된 이미지는 증강 현실 인터페이스로 변환되어 사용자 단말기(100)의 화면에 프리뷰 형태로 표시된다.
사용자 단말기(100)는 대상 기기(400)에 대한 증강 현실 정보를 서버(300)로부터 수신하고, 증강 현실 정보를 기초로 증강 현실 인터페이스를 생성하여 화면에 표시한다.
추가적으로, 사용자 단말기(100)는 대상 기기(400)에 대한 증강 현실 인터페이스를 직접 서버(300)로부터 수신하고, 이를 화면에 그대로 표시할 수도 있다.
대상 기기(400)는 다양한 전자기기가 될 수 있다. 예를 들어, 대상 기기(400)는 자동제어기기나 산업용기기 또는 배전반 등이 될 수 있다. 이때, 대상 기기(400)는 차단기, 계전기, 통신링크장치, 전력량계, 센서부, HMI(Human Machine Interface) 등을 구성요소로 포함할 수 있고, 대상 기기(400)에 포함된 구성요소들의 동작 상태에 따라 대상 기기(400)의 전체적인 동작 상태가 결정될 수 있다.
대상 기기(400)의 동작 상태는 서버(300)에 실시간으로 업데이트되어 저장될 수 있다. 사용자 단말기(100)는 대상 기기(400)에 대한 상태 정보를 증강 현실의 형태로 사용자에게 제공할 수 있다.
이때, 대상 기기(400)는 원격 검침 시스템(Automatic Meter Reading; 이하, AMR)의 측정 대상이 될 수 있다. 일반적으로, 원격 검침 시스템(AMR)이라 함은 멀리 떨어진 지점의 측정 대상으로부터 측정 결과를 전기적 신호로 변환하여 통신 네트워크를 통해 데이터를 전송하고, 그 데이터를 컴퓨터에서 처리하는 것을 말한다.
원격 검침 시스템(AMR)의 서버는 TCP/IP(Transmission Control Protocol/Internet Protocol)를 기반으로 데이터 통신을 수행할 수 있도록 제공되는 데이터 통신망(예컨대, 기간망, 사설망, 인터넷망 포함)을 통해 다수의 데이터수집장치와 상호 접속된다. 서버는 데이터 통신망을 통해 데이터수집장치와 실시간으로 데이터 송수신을 수행하며, 각 측정 대상의 전력 상태를 실시간으로 모니터링(monitoring)하는 것이 가능하다.
또한, 서버는 데이터수집장치로부터 각 측정 대상의 검침 데이터를 실시간으로 제공받는다. 이러한 검침 데이터를 기초로 하여 각 측정 대상의 전력 상태, 예컨대 정전, 도전, 누전 상태 등을 분석하여 관리자에게 제공한다.
여기서,　검침 데이터는 하나의 데이터 집중화 장치에 할당된 모든 측정 대상의 사용 전력량의 총합, 각 측정 대상별 사용 전력량, 순시 전력량 등이 될 수 있으며, 이 외에도 각 측정 대상의 전력 품질을 파악할 수 있는 모든 데이터가 포함될 수 있다.
서버(300)는 원격 검침 시스템(AMR)의 데이터수집장치 또는 서버로써 동작할 수 있다. 즉, 서버(300)는 대상 기기(400)에 대한 검침 데이터를 실시간을 제공받고 저장할 수 있다. 이를 통해, 서버(300)는 대상 기기(400)의 동작 상태를 모니터링하고 원격 제어할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
도 2는 도 1의 사용자 단말기를 설명하기 위한 도면이다.
도 2를 참조하면, 사용자 단말기(100)는, 제어부(110), 카메라부(120), 센서부(130), 통신부(140), 증강 현실 처리부(150), 메모리부(160), 디스플레이부(170) 및 인터페이스부(180)를 포함한다. 다만, 도 2에 도시된 사용자 단말기(100)의 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 사용자 단말기(100)가 구현될 수 있다.
제어부(110)는 사용자 단말기(100)에 포함된 구성요소의 전반적인 동작을 제어할 수 있다. 제어부(110)는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 실행할 수 있다. 또한, 제어부(350)는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수 있다.
카메라부(120)는 영상을 촬영하는 장치로써, 촬영된 영상은 제어부(110)에 전달된다. 카메라부(120)에서 촬영된 영상은 실시간 프리뷰 형태로 디스플레이부(170)에 표시될 수 있다.
센서부(130)는 사용자 단말기(100)의 주변 환경 정보를 측정하는 장치이다. 센서부(130)는 온도 센서, 습도 센서, 위치감지 센서, 동작감지 센서 등을 포함할 수 있다. 여기에서, 위치감지 센서는 GPS신호를 감지하는 GPS 센서가 이용될 수 있고, 동작감지 센서로는 자이로스코프 센서 또는 가속도 센서가 이용될 수 있다. 또한, 센서부(130)는 사용자 단말기(100)의 현재 위치, 움직임, 기울기, 방향, 촬영하는 객체와의 거리, 주변의 소리, 밝기 등을 측정할 수 있다.
통신부(140)는 도킹 스테이션(200)과 데이터를 교환한다. 또한, 통신부(140)는 증강현실 데이터베이스를 저장하고 관리하는 서버(300) 또는 촬영 대상인 대상 기기(400)와 데이터를 교환한다. 이때, 증강현실 데이터베이스는 증강현실 객체, 증강현실 객체의 속성 정보를 저장한 데이터베이스이다.
통신부(140)는 다른 단말 장치와 유무선으로 데이터를 주고 받는 전자 장치, 모듈 또는 프로그램을 포함할 수 있다. 통신부(140)에서 이용하는 통신 규약은, 예를 들어, CDMA(Code Division Multiple Access) 통신, WCDMA(Wideband Code Division Multiple Access) 통신 혹은, 광대역 무선 통신을 포함한다. 다만, 본 발명이 이에 한정되는 것은 아니다.
증강 현실 처리부(150)는 증강 현실 정보를 기초로 사용자에게 제공되는 증강 현실 인터페이스를 생성할 수 있다. 증강 현실 정보는 서버(300)의 데이터베이스에 저장되거나, 사용자 단말기(100)의 메모리부(160)에 저장되어 이용될 수 있다.
증강 현실 처리부(150)는 증강 현실 정보를 기초로 실제 물체를 가상으로 정확하게 표현하는 모델링 기술과, 이를 사실적으로 표현하는 렌더링 기술을 이용할 수 있다. 모델링 기술은 비디오로 입력되는 2D 영상에 깊이 정보를 반영하여 합성하는 기술이다. 모델링 기술은 사용자 의도대로 객체 변형, 색상 변화 등을 수행하여 현실 공간에서 이룰 수 없는 다양한 응용을 가능케 한다. 렌더링 기술은 생성된 가상 모델들에 조명효과, 그림자 효과, 밝기 변화 등을 부가하여 가상 모델을 사실적으로 표현함으로써, 사용자가 증강 현실 인터페이스에서 생동감을 느낄 수 있게 하는 기술이다.
메모리부(160)는 사용자 단말기(100)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터(위치 정보, 압축된 이미지 파일, 동영상 등)를 저장한다. 또한, 메모리부(160)는 촬영되는 대상에 대응되는 증강현실 객체, 증강현실 객체의 위치 정보 및 상태 정보를 저장할 수 있다. 즉, 메모리부(160)는 표시 대상 객체와, 표시 대상 객체의 상태 정보 및 증강 현실 정보를 저장할 수 있다.
메모리부(160)는 RAM(Random Access Memory) 또는 ROM(Read Only Memory)과 정적 정보 및 명령어들을 저장하는 정적 저장 디바이스를 포함할 수 있다. 메모리부(160)는 휘발성 메모리 유닛 또는 비휘발성 메모리 유닛일 수 있다. 메모리부(160)는 또한 자기 또는 광디스크와 같은 컴퓨터 판독가능 매체의 또 다른 유형일 수 있다.
디스플레이부(170)는 사용자 단말기(100)의 동작 중에 발생되는 상태 정보(또는 인디케이터), 제한된 숫자와 문자들, 동화상(moving picture) 및 정화상(still picture) 등을 표시한다. 또한, 디스플레이부(170)는 카메라부(120)를 통해 수신되는 영상을 표시하고, 카메라부(120)의 화각 내에 위치하는 표시 대상 객체에 대한 증강 현실 인터페이스를 표시할 수 있다.
인터페이스부(180)는 사용자로부터의 입력을 수신할 수 있다. 인터페이스부(180)는 버튼형 입력부, 터치 스크린, 키보드 또는 마우스 등과 같은 입력장치를 포함할 수 있다. 예를 들어, 터치 스크린은 디스플레이부(170)의 상면에 형성될 수 있고, 사용자의 터치를 통해 입력을 수신할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
도 3은 도 1의 사용자 단말기와 도킹 스테이션의 결합 구조를 설명하기 위한 도면이다. 도 4는 도 1의 증강 현실 제공 시스템의 동작 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 증강 현실 제공 시스템에 포함된 도킹 스테이션(200)은, 사용자 단말기(100)가 결합되는 결합 테이블(210), 바닥면에 고정되는 지지부(230), 결합 테이블(210)과 지지부(230)를 연결하는 연결부(220)를 포함한다.
이때, 결합 테이블(210)은 연결부(220)를 중심으로 각도가 조절되며, 연결부(220)는 높낮이가 조절될 수 있다.
결합 테이블(210)의 일면에는 사용자 단말기(100)가 거치되는 거치부(214), 사용자 단말기(100)와 물리적 또는 전기적으로 연결되는 연결 단자(212)를 포함한다. 결합 테이블(210)의 측면에는 연결 포트(216) 및 스피커부(218)가 형성될 수 있다. 다만, 이는 하나의 예시일 뿐 본 발명이 이에 한정되는 것은 아니다.
결합 테이블(210)과 연결부(220) 사이에는 각도 조절부(225)가 형성된다. 각도 조절부(225)는 상하 좌우로 회전될 수 있으며, 각도 조절부(225)의 내측에는 위치 센서부(도 4의 230)가 구비되어, 결합 테이블(210)의 위치 정보와 각도 정보를 측정할 수 있다. 이때, 위치 정보와 각도 정보는 각각 X축, Y축 및 Z축으로 이루어진 3차원 좌표 정보로 구성될 수 있다.
예를 들어, 위치 정보는 지면을 기준으로 3차원 좌표 정보로 구성되어, 도킹 스테이션(200)에 결합된 사용자 단말기(100)의 위치를 나타낼 수 있다. 각도 정보는 결합 테이블(210)의 기울어진 정도를 측정하여 사용자 단말기(100)에 포함된 카메라부(120)의 화각의 범위에 포함된 대상 기기(400)를 계산하는데 이용될 수 있다. 또한, 각도 정보는 도킹 스테이션(200)에 결합된 사용자 단말기(100)에 포함된 카메라부(120)의 앵글, 화각 및 배율에 대한 정보를 포함할 수 있다.
여기에서, 앵글은 피사체를 찍기 위하여 카메라를 피사체를 향해 위치시켰을 때 발생하는 촬영 각도를 의미하고, 화각은 카메라로 포착하는 장면의 시야를 의미하고, 배율은 물체의 크기에 대한 상의 크기의 비를 의미한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에서 사용자 단말기(100)는 카메라부(120)의 화각 내에 위치한 대상 기기(400)에 대한 증강 현실 인터페이스를 디스플레이부(170) 상에 표시한다.
여기에서, 실질적으로 카메라부(120)가 동작하지 않더라도, 증강 현실 제공 시스템은 사용자 단말기(100)의 디스플레이부(170)에 대향되는 방향에 위치한 대상 기기(400)의 증강 현실 인터페이스를 디스플레이부(170) 상에 표시할 수 있다.
도킹 스테이션(200)은 사용자 단말기(100)와 결합된다. 도킹 스테이션(200)은, 사용자 단말기(100)가 결합된 결합 테이블(210)의 위치 정보와 각도 정보를 측정하기 위한 위치 각도 센서부(235), 사용자 단말기(100) 및 서버(300)와 데이터를 교환하는 통신부(240), 도킹 스테이션(200)의 ID 정보를 저장하는 메모리부(250)를 포함한다.
서버(300)는 도킹 스테이션(200) 및 대상 기기(400)와 연동되어 도킹 스테이션(200) 및 대상 기기(400)에 대한 데이터를 저장한다. 또한, 서버(300)는 대상 기기(400)에 대한 증강 현실 관련 정보를 도킹 스테이션(200) 또는 사용자 단말기(100)에 제공한다.
서버(300)는 객체 정보 DB(310), 상태 정보 DB(320), 위치 정보 DB(330), 증강현실 DB(340)를 포함한다. 이하에서, 대상 기기(400)는 '객체'라는 용어와 혼용하여 설명하도록 한다.
객체 정보 DB(310)는 객체에 대한 다양한 정보를 포함한다. 예를 들어, 객체의 제품 정보(제품명, 제품 번호, 제품 종류, 설치 시기, 관리 방법 등), 객체가 설치된 위치 정보, 객체와 관련된 회로도 등의 정보를 포함할 수 있다.
상태 정보 DB(320)는 객체의 동작 정보를 포함한다. 예를 들어, 상태 정보 DB(320)는 각 객체의 전력량 정보, 온도 정보, 전압 정보, 또는 전류 정보를 포함할 수 있다. 각 객체의 상태 정보는 실시간으로 업데이트될 수 있으며, 원격 검침 시스템(AMR)의 일부로 이용될 수 있다.
위치 정보 DB(320)는 객체의 위치 정보를 포함한다. 예를 들어, 위치 정보 DB(320)는 객체의 3차원 상의 공간 좌표(예를 들어, X축, Y축 및 Z축으로 이루어진 3차원 좌표 정보)로 구성될 수 있다. 또한, 위치 정보 DB(320)는 각각의 도킹 스테이션(200)에 대한 위치 정보를 포함한다. 이때, 도킹 스테이션(200)에 대한 위치 정보는 각각의 도킹 스테이션(200)에 할당된 ID 정보와 함께 저장될 수 있다. 마찬가지로, 도킹 스테이션(200)에 대한 위치 정보는 3차원 상의 공간 좌표로 구성될 수 있다.
증강현실 DB(340)는 객체를 모델링 및 렌더링 하는데 이용되는 로데이터(raw data)인 증강 현실 정보를 저장한다. 또한, 증강현실 DB(340)는 증강 현실 정보를 기초로 사용자에게 제공되는 증강 현실 인터페이스를 저장한다. 즉, 증강현실 DB(340)는 객체의 모델링 및 렌더링 이전의 증강 현실 정보와, 모델링 및 렌더링 이후의 증강 현실 인터페이스를 모두 저장하고, 사용자 단말기(100)의 요청에 따라 필요한 데이터를 제공할 수 있다.
서버(300)는 위치 각도 센서부(235)에서 측정한 도킹 스테이션(200)의 위치 정보와 각도 정보를 이용하여, 사용자 단말기(100)에 포함된 카메라부(120)의 화각 내에 위치하는 표시 대상 객체를 선정할 수 있다. 이를 통해, 서버(300)는 사용자 단말기(100)의 디스플레이부(170)에 표시되어야 할 대상 기기(400)들을 선정 할 수 있다. 이어서, 서버(300)는 선정된 대상 기기(400)에 대한 증강 현실 관련 정보를 도킹 스테이션(200)을 통해 사용자 단말기(100)에 제공할 수 있다. 사용자 단말기(100)는 수신된 증강 현실 관련 정보를 디스플레이부(170) 상에 표시할 수 있다.
구체적으로, 본 발명의 일 실시예에서 사용자 단말기(100)는 선정된 대상 기기(400)에 대한 증강 현실 정보 및 위치 정보를 서버(300)로부터 수신하고, 증강 현실 정보 및 위치 정보를 기초로 증강 현실 인터페이스를 생성하여 화면에 표시할 수 있다.
본 발명의 다른 실시예에서 사용자 단말기(100)는 대상 기기(400)에 대한 증강 현실 인터페이스를 직접 서버(300)로부터 수신하고, 디스플레이부(170)에 그대로 표시할 수 있다.
본 발명의 증강 현실 제공 시스템은 카메라부(120)에서 촬영한 영상을 분석하여 영상 내에 포함된 대상 기기(400)를 인식하는 객체 인식 과정을 생략할 수 있다. 즉, 본 발명의 증강 현실 제공 시스템은 증강 현실에 필요한 객체 인식 과정을 생략함으로써, 증강 현실 구현 속도를 향상시킬 수 있다. 이를 통해, 사용자 단말기는 더 빠르고 부드러운 증강 현실 영상을 사용자에게 제공할 수 있으며, 사용자의 입력에 대한 반응 속도는 증가될 수 있다.
본 발명의 또 다른 실시예에서, 사용자 단말기(100)는 서버로부터 사용자 단말기(100)와 결합된 도킹 스테이션(200)과 관련된 데이터를 수신할 수 있다. 여기에서, 도킹 스테이션(200)과 관련된 데이터는 도킹 스테이션(200)의 위치 정보, 도킹 스테이션(200)의 주변에 위치한 객체의 제품 정보, 객체의 위치 정보, 객체의 상태 정보, 객체의 증강 현실 정보를 포함할 수 있다. 즉, 도킹 스테이션(200)과 관련된 데이터는 서버(300)의 객체 정보 DB(310), 상태 정보 DB(320), 위치 정보 DB(330), 증강현실 DB(340)에 저장된 데이터일 수 있다.
도킹 스테이션(200)과 관련된 데이터는, 사용자 단말기(100)의 메모리 또는 도킹 스테이션(200)의 메모리에 저장되어 이용될 수 있다.
이어서, 사용자 단말기(100)는 수신된 도킹 스테이션(200)과 관련된 데이터와, 도킹 스테이션(200)의 위치 정보 및 각도 정보를 이용하여, 사용자 단말기(100)의 디스플레이부(170)에 표시 대상 객체를 선정 할 수 있다.
이어서, 사용자 단말기(100)는 표시 대상 객체에 대한 증강 현실 인터페이스를 생성하고, 생상된 증강 현실 인터페이스를 촬영된 영상에 오버랩하여 디스플레이부(170)에 표시할 수 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 한정되는 것은 아니다.
이하에서는, 본 발명의 증강 현실 제공 시스템에서 수행되는 본 발명의 몇몇 실시예에 따른 증강 현실 제공 방법에 대해 자세히 살펴보도록 한다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은, 우선 도킹 스테이션(200)과 사용자 단말기(100) 사이의 결합을 감지한다(S110). 예를 들어, 도킹 스테이션(200)은 연결 단자(212)와 결합된 사용자 단말기(100) 사이의 데이터 교환을 통해 사용자 단말기(100)와의 결합을 감지할 수 있다.
이어서, 서버(300)는 사용자 단말기(100)와 결합된 도킹 스테이션(200)의 ID 정보를 수신한다(S120). 사용자 단말기(100)와 결합된 도킹 스테이션(200)은 메모리부(250)에 저장된 자신의 ID 정보를 서버(300)에 전송한다.
이어서, 서버(300)는 수신된 ID 정보를 기초로 해당 도킹 스테이션(200)의 위치 정보를 추출한다(S130). 이때, 도킹 스테이션(200)의 위치 정보는 서버(300)에 미리 저장된 3차원 좌표 정보가 될 수 있다.
이어서, 서버(300)는 사용자 단말기(100)와 결합된 도킹 스테이션(200)의 각도 정보를 수신한다(S140). 여기에서, 각도 정보는 위치 각도 센서부(235)에 의해 측정된 결합 테이블(210)의 기울어진 정도가 될 수 있다. 또한, 각도 정보는 도킹 스테이션(200)에 결합된 사용자 단말기(100)에 포함된 카메라부(120)의 앵글, 화각, 및 배율에 대한 정보를 포함할 수 있다.
이어서, 서버(300)는 수신된 도킹 스테이션(200)의 위치 정보와 각도 정보를 기초로 사용자 단말기(100)에서 표시될 표시 대상 객체를 선정한다(S150). 이때, 서버(300)는 미리 입력된 대상 기기(400)의 위치 정보와 도킹 스테이션(200)의 위치 정보를 비교하고, 각도 정보를 고려하여 사용자 단말기(100)의 디스플레이부(170)에 표시되어야 할 표시 대상 객체를 선정할 수 있다.
예를 들어, 서버(300)는 도킹 스테이션(200)과 인접한 대상 기기(400)들을 추출하고, 도킹 스테이션(200)의 각도 정보를 고려하여 사용자 단말기(100)의 카메라부(120)의 화각 범위에 내에 포함된 대상 기기(400)를 선정할 수 있다.
이어서, 서버(300) 또는 사용자 단말기(100)는 선정된 표시 대상 객체에 대한 증강 현실 인터페이스를 생성한다(S160). 이때, 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 증강 현실 정보를 수신하여 증강 현실 인터페이스를 생성할 수 있다. 또한, 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 증강 현실 인터페이스를 직접 수신할 수 있다.
이어서, 사용자 단말기(100)는 표시 대상 객체에 대한 증강 현실 인터페이스를 디스플레이부(170)에 표시한다(S170).
이때, 본 발명의 증강 현실 제공 방법은, 도킹 스테이션(200)에 사용자 단말기(100)가 결합됨으로써, 흔들림 없는 증강 현실 영상을 사용자에게 제공할 수 있다. 또한, 본 발명의 증강 현실 제공 방법은, 도킹 스테이션(200)의 위치 정보와 각도 정보를 이용하여 사용자 단말기(100)의 카메라 화각 내에 위치하는 대상 객체에 대한 증강 현실 인터페이스를 제공할 수 있다.
따라서, 본 발명의 증강 현실 제공 방법은 증강 현실에 필요한 객체 인식 과정을 생략할 수 있어, 증강 현실 구현 속도를 향상시킬 수 있고, 사용자의 입력에 대한 반응 속도를 증가시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다. 이하에서는 앞에서 도 5를 참조하여 설명한 증강 현실 제공 방법과의 차이점을 위주로 설명하도록 한다.
도 6을 참조하면, 앞에서 설명한 S140 단계에 이어서, 서버(300)는 사용자 단말기(100)에 포함된 카메라부(120)의 배율 정보를 수신한다(S245). 여기에서, 배율은 물체의 크기에 대한 상의 크기의 비를 의미하며, 배율 정보는 카메라부(120)의 현재 배율에 대한 데이터를 포함한다.
이어서, 서버(300)는 수신된 도킹 스테이션(200)의 위치 정보와 각도 정보 및 배율 정보를 기초로 사용자 단말기(100)에서 표시될 표시 대상 객체를 선정한다(S250).
이때, 서버(300)는 미리 입력된 대상 기기(400)의 위치 정보와 도킹 스테이션(200)의 위치 정보를 비교하고, 각도 정보를 고려하여 사용자 단말기(100)의 디스플레이부(170)에 표시되어야 할 표시 대상 객체를 선정한다. 이어서, 서버(300)는 배율 정보를 기초로 사용자 단말기(100)의 디스플레이부(170)에 표시되어야 할 표시 대상 객체의 크기를 결정할 수 있다.
예를 들어, 서버(300)는 도킹 스테이션(200)과 인접한 대상 기기(400)들을 추출하고, 도킹 스테이션(200)의 각도 정보를 고려하여 사용자 단말기(100)의 카메라부(120)의 화각 범위에 내에 포함된 대상 기기(400)를 선정할 수 있다. 이어서, 서버(300)는 배율 정보를 적용할 경우, 표시되는 대상 객체의 크기와, 대상 객체 및 배경과의 비율을 결정할 수 있다.
이어서, 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 상태 정보를 수신한다(S255). 상태 정보는 표시 대상 객체의 전압, 전류, 전력량, 온도, 객체에 포함된 구성요소의 정상 동작 여부 등을 포함할 수 있다.
이어서, 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 증강 현실 정보를 수신한다(S260). 증강 현실 정보는 표시 대상 객체의 증강 현실 인터페이스를 생성하기 위한 로데이터에 해당한다.
이어서, 사용자 단말기(100)는 수신된 증강 현실 정보와 상태 정보를 기초로 증강 현실 인터페이스를 생성한다(S265). 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 증강 현실 정보를 수신하여 증강 현실 인터페이스를 생성할 수 있다. 이때, 생성된 증강 현실 인터페이스는 표시 대상 객체의 상태 정보(예를 들어, 동작 상태, 동작 전력량, 시간에 따른 전력 변화량, 동작 시간, 온도, 전압 및 전류 측정치 등)를 포함할 수 있다.
이때, 표시 대상 객체의 증강 현실 이미지는 표시 대상 객체의 상태 정보에 따라 다른 크기, 형상, 색깔로 형성될 수 있다. 구체적으로, 사용자 단말기(100)의 증강 현실 처리부(150)는 사용자가 미리 설정한 설정값을 반영하여 객체 변형 또는 색상 변화 등과 같은 효과를 증강 현실 인터페이스에 추가적으로 부여할 수 있다.
이에 따라, 사용자 단말기(100)는 사용자의 설정값을 반영하여 사용자의 요구에 맞게 변경된 증강 현실 인터페이스를 출력할 수 있다. 즉, 사용자 단말기(100)는 서버(300)에서 제공하는 증강 현실 인터페이스를 이용할 뿐만 아니라, 사용자가 원하는 다양한 표현 효과를 증강 현실 인터페이스 상에 구현할 수 있다.
이어서, 사용자 단말기(100)는 표시 대상 객체에 대한 증강 현실 인터페이스를 디스플레이부(170)에 표시한다(S270).
도 7은 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 나타내는 순서도이다. 이하에서는 앞에서 도 5를 참조하여 설명한 증강 현실 제공 방법과의 차이점을 위주로 설명하도록 한다.
도 7을 참조하면, 앞에서 설명한 S170 단계에 이어서, 도킹 스테이션(200)은 각도 변경 여부를 판단한다(S310). 도킹 스테이션(200)에 포함된 위치 각도 센서부(235)는 도킹 스테이션(200)의 결합 테이블(210)에 대한 각도 변경 여부를 감지한다.
이어서, 도킹 스테이션(200)은 각도 정보가 변경되는 경우, 서버(300)는 변경된 각도에 대한 각도 정보를 수신한다(S320).
이어서, 서버(300)는 미리 수신된 도킹 스테이션(200)의 위치 정보와, 변경된 각도 정보를 기초로 표시 대상 객체를 재선정한다(S330). 또한, 서버(300)는 위치 정보와 변경된 각도 정보뿐만 아니라, 배율 정보도 함께 참고하여 표시 대상 객체를 재선정할 수 있다. 이에 대한 설명은 도 6을 참고하여 설명하였는 바, 자세한 내용은 생략하도록 한다.
이어서, 서버(300) 또는 사용자 단말기(100)는 재선정된 표시 대상 객체에 대한 증강 현실 인터페이스를 생성한다(S340). 이때, 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 업데이트된 증강 현실 정보를 수신하여 증강 현실 인터페이스를 생성할 수 있다.
또한, 사용자 단말기(100)는 서버(300)로부터 표시 대상 객체에 대한 변경된 증강 현실 인터페이스를 직접 수신할 수 있다. 이때, 사용자 단말기(100)는 서버(300)로부터 수신한 증강 현실 인터페이스를 그대로 디스플레이부(170)로 출력하므로, 제어부(110)의 연산량이 감소되어 증강 현실 제공 방법의 동작 속도는 증가될 수 있다.
이어서, 사용자 단말기(100)는 표시 대상 객체에 대한 증강 현실 인터페이스를 디스플레이부(170)에 표시한다(S350).
도 8 및 도 9는 본 발명의 몇몇 실시예에 따른 증강 현실 제공 시스템의 일 예를 설명하기 위한 도면이다.
도 8 및 도 9를 참조하면, 본 발명의 몇몇 실시예에 따른 증강 현실 제공 시스템은 사용자 단말기(100)와 결합 가능한 복수의 도킹 스테이션(D1, D2, D3)을 포함한다. 도면에 명확히 도시되지는 않았으나, 본 발명의 증강 현실 제공 시스템은 복수의 도킹 스테이션(D1, D2, D3)을 제어하는 서버(300)를 포함한다.
복수의 도킹 스테이션(D1, D2, D3) 중 어느 하나에 결합된 사용자 단말기(100)는 복수의 대상 기기 중 카메라의 화각에 포함된 대상 기기에 대한 증강 현실 인터페이스를 디스플레이부(170)에 표시할 수 있다. 여기에서, 복수의 대상 기기(예를 들어, A1, A2, A3, B1, B2, C1, C2)는 자동제어기기나 산업용기기 또는 배전반 등이 될 수 있다.
예를 들어, 도킹 스테이션(D1)에 결합된 사용자 단말기(100)의 경우, 카메라의 화각에 포함된 대상 기기(A1, A2, A3)에 대한 증강 현실 인터페이스를 화면에 표시할 수 있다.
이때, 사용자 단말기(100)는 별도의 객체 인식 프로세스를 수행하지 않는다.
구체적으로, 각각의 도킹 스테이션(D1, D2, D3)는 고유의 ID 정보를 갖는다. 서버(300)는 복수의 대상 기기(예를 들어, A1, A2, A3, B1, B2, C1, C2)에 대한 위치 정보와, 각각의 도킹 스테이션(D1, D2, D3)에 대한 위치 정보를 미리 저장된 데이터베이스에서 추출하여 이용할 수 있다. 서버(300)는 사용자 단말기(100)와 결합된 도킹 스테이션(D1)의 ID 정보를 수신하여 도킹 스테이션(D1)의 위치 정보를 추출하고, 도킹 스테이션(D1)으로부터 각도 정보를 수신한다.
이어서, 서버(300)는 도킹 스테이션(D1)의 위치 정보와 각도 정보를 기초로 사용자 단말기(100)가 향하는 방향에 위치한 대상 기기(A1, A2, A3)를 표시 대상 객체로 선정한다. 이어서, 서버(300)는 선정된 표시 대상 객체인 대상 기기(A1, A2, A3)에 대한 증강 현실 관련 정보를 사용자 단말기(100)에 제공하고, 사용자 단말기(100)는 수신된 정보를 디스플레이부(170)에 표시하게 된다.
만약, 도킹 스테이션(D1)의 결합 테이블이 회전하여 각도 정보가 변경되는 경우, 서버(300)는 변경된 각도 정보를 기초로 표시 대상 객체를 재선정한다. 이어서, 서버(300)는 재선정된 표시 대상 객체에 대한 증강 현실 관련 정보를 사용자 단말기(100)에 제공하고, 사용자 단말기(100)를 수신된 정보를 디스플레이부(170)에 표시하게 된다.
이때, 증강 현실로 표현되는 대상 객체는 컨베이어 벨트(R1, R2, R3) 상에서 이동하는 물체, 물체를 가공하는 생산 장비(G1, G2), 물체를 검사하는 검사 장비, 자동제어기기 또는 산업용기기(예를 들어, A1, A2, A3, B1, B2, C1, C2) 등이 될 수 있다. 다만, 이는 하나의 예에 불과할 뿐, 본 발명이 이에 한정되는 것은 아니다.
사용자 단말기(100)는 다른 도킹 스테이션(D2, D3)에서도 앞에서 설명한 것과 동일한 방식으로 증강 현실 인터페이스를 표시하도록 동작될 수 있다.
추가적으로, 서버(300)는 표시 대상 객체로 선정된 대상 기기에 대한 상태 정보를 추출하여, 대상 기기의 상태 정보를 포함하는 증강 현실 인터페이스를 사용자 단말기(100)에 제공할 수 있다. 이를 통해, 사용자 단말기(100)는 해당 영역(또는, 생산 라인)의 작업 현황 및 정상 동작 여부를 한눈에 파악하고, 특정 대상 기기를 제어할 수 있다.
본 발명의 증강 현실 제공 시스템 및 방법은, 특정 위치에 설치된 도킹 스테이션에 사용자 단말기를 결합함으로써, 흔들림 없는 증강 현실 영상을 사용자에게 제공할 수 있다. 이를 통해, 증강 현실을 이용하면서 사용자가 어지러움을 느끼는 것을 방지할 수 있다.
또한, 본 발명의 증강 현실 제공 시스템 및 방법은, 도킹 스테이션의 위치 정보와 각도 정보를 이용하여 사용자 단말기의 카메라 화각 내에 위치하는 대상 객체에 대한 증강 현실 인터페이스를 제공할 수 있다. 즉, 본 발명은 증강 현실에 필요한 객체 인식 과정을 생략함으로써, 증강 현실 구현 속도를 향상시킬 수 있다. 이를 통해, 사용자 단말기는 더 빠르고 부드러운 증강 현실 영상을 사용자에게 제공할 수 있으며, 사용자의 입력에 대한 반응 속도도 증가될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 사용자 단말기
200: 도킹 스테이션
300: 서버
400: 대상 기기

Claims (18)

  1. 도킹 스테이션과 연결되는 서버에서 수행되는 증강 현실 제공 방법으로서,
    상기 도킹 스테이션과 사용자 단말기의 결합을 감지하는 단계;
    상기 사용자 단말기에 결합된 상기 도킹 스테이션의 ID 정보를 수신하는 단계;
    상기 ID 정보를 기초로 데이터베이스에서 상기 도킹 스테이션의 위치 정보를 추출하는 단계;
    상기 도킹 스테이션의 각도 정보를 수신하는 단계;
    상기 위치 정보와 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계; 및
    상기 표시 대상 객체에 대한 증강 현실 관련 데이터를 상기 사용자 단말기에 제공하는 단계를 포함하는
    증강 현실 제공 방법.
  2. 제1 항에 있어서,
    상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계는,
    상기 도킹 스테이션의 위치 정보를 기초로 상기 도킹 스테이션에 인접한 객체를 선정하는 단계와,
    상기 도킹 스테이션의 각도 정보를 기초로, 상기 인접한 객체 중에서 상기 사용자 단말기에 포함된 카메라부의 화각 내에 위치하는 표시 대상 객체를 선정하는 단계를 포함하는 증강 현실 제공 방법.
  3. 제2 항에 있어서,
    상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계는,
    상기 카메라부의 배율 정보를 수신하고, 상기 배율 정보를 기초로 상기 사용자 단말기에 표시될 표시 대상 객체를 선정하는 것을 더 포함하는 증강 현실 제공 방법.
  4. 제1 항에 있어서,
    상기 도킹 스테이션의 상기 각도 정보가 변경되는 경우, 변경된 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 재선정하는 단계와,
    재선정된 상기 표시 대상 객체에 대한 증강 현실 정보를 상기 사용자 단말기에 업데이트하는 단계를 더 포함하는 증강 현실 제공 방법.
  5. 제1 항에 있어서,
    상기 각도 정보는, 상기 도킹 스테이션에 결합된 상기 사용자 단말기의 카메라의 앵글, 화각, 및 배율에 대한 정보를 포함하는 증강 현실 제공 방법.
  6. 제1 항에 있어서,
    상기 위치 정보 및 상기 각도 정보는, X축, Y축 및 Z축으로 이루어진 3차원 좌표 정보로 구성되는 증강 현실 제공 방법.
  7. 도킹 스테이션과 결합되는 사용자 단말기에서 수행되는 증강 현실 제공 방법으로서,
    상기 사용자 단말기에 결합된 상기 도킹 스테이션의 정보를 서버에 전송하는 단계;
    상기 서버로부터 상기 도킹 스테이션과 관련된 데이터를 수신하여 메모리에 저장하는 단계;
    상기 도킹 스테이션의 위치 정보와 각도 정보를 수신하는 단계;
    상기 메모리에 저장된 상기 데이터, 상기 위치 정보 및 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 선정하는 단계;
    상기 표시 대상 객체에 대한 증강 현실 인터페이스를 생성하는 단계; 및
    상기 디스플레이부에 상기 증강 현실 인터페이스를 오버랩하여 표시하는 단계를 포함하는
    증강 현실 제공 방법.
  8. 제7 항에 있어서,
    상기 표시 대상 객체에 대한 증강 현실 인터페이스를 생성하는 단계는,
    상기 표시 대상 객체에 대한 상태 정보를 수신하는 단계와,
    상기 증강 현실 관련 데이터와 상기 상태 정보를 이용하여 상기 표시 대상 객체의 상태를 표시하는 상기 증강 현실 인터페이스를 생성하는 단계를 포함하는 증강 현실 제공 방법.
  9. 제7 항에 있어서,
    상기 서버로부터 상기 도킹 스테이션와 관련된 데이터를 수신하여 메모리에 저장하는 단계는, 상기 데이터를 상기 도킹 스테이션의 메모리 또는 상기 사용자 단말기의 메모리에 저장하는 것을 포함하는 증강 현실 제공 방법.
  10. 증강 현실 인터페이스를 디스플레이부에 표시하는 사용자 단말기;
    상기 사용자 단말기가 결합되는 도킹 스테이션; 및
    상기 사용자 단말기와 결합된 상기 도킹 스테이션의 위치 정보와 각도 정보를 기초로 상기 사용자 단말기에 표시될 표시 대상 객체를 선정하고, 상기 표시 대상 객체에 대한 증강 현실 관련 데이터를 상기 사용자 단말기에 제공하는 서버를 포함하는
    증강 현실 제공 시스템.
  11. 제10 항에 있어서,
    상기 도킹 스테이션은, 결합 테이블과, 상기 결합 테이블의 각도를 조절하는 각도 조절부와, 상기 각도 조절부의 위치를 측정하는 각도 센서부와, ID정보를 저장하는 메모리부를 포함하는 증강 현실 제공 시스템.
  12. 제11 항에 있어서,
    상기 서버는, 상기 도킹 스테이션의 ID정보를 수신하고, 수신된 상기 ID정보를 기초로 상기 도킹 스테이션의 상기 위치 정보를 계산하는 증강 현실 제공 시스템.
  13. 제10 항에 있어서,
    상기 서버는, 상기 위치 정보를 기초로 상기 도킹 스테이션에 인접한 객체를 선정하고, 상기 각도 정보를 기초로 상기 인접한 객체 중에서 상기 사용자 단말기에 포함된 카메라부의 화각 내에 위치하는 표시 대상 객체를 선정하는 증강 현실 제공 시스템.
  14. 제13 항에 있어서,
    상기 서버는, 상기 사용자 단말기에 포함된 카메라부의 배율 정보를 수신하고, 상기 위치 정보, 상기 각도 정보 및 상기 배율 정보를 기초로 상기 사용자 단말기에 표시될 표시 대상 객체를 선정하는 증강 현실 제공 시스템.
  15. 제10 항에 있어서,
    상기 서버는, 상기 도킹 스테이션의 상기 각도 정보가 변경되는 경우, 변경된 상기 각도 정보를 기초로 상기 사용자 단말기의 디스플레이부에 표시될 표시 대상 객체를 재선정하고, 재선정된 상기 표시 대상 객체에 대한 증강 현실 정보를 상기 사용자 단말기에 업데이트하는 증강 현실 제공 시스템.
  16. 제10 항에 있어서,
    상기 각도 정보는, 상기 도킹 스테이션에 결합된 상기 사용자 단말기의 카메라의 앵글, 화각, 및 배율에 대한 정보를 포함하는 증강 현실 제공 시스템.
  17. 제10 항에 있어서,
    상기 사용자 단말기는, 상기 서버로부터 수신된 상기 증강 현실 관련 데이터를 기초로 증강 현실 인터페이스를 생성하고, 상기 증강 현실 인터페이스를 디스플레이부에 표시하는 증강 현실 제공 시스템.
  18. 제10 항에 있어서,
    상기 사용자 단말기는, 상기 표시 대상 객체에 대한 상태 정보를 수신하고, 상기 증강 현실 관련 데이터와 상기 상태 정보를 이용하여 상기 표시 대상 객체의 상태를 표시하는 상기 증강 현실 인터페이스를 생성하여 디스플레이부에 표시하는 증강 현실 제공 시스템.
KR1020170183533A 2017-12-29 2017-12-29 증강 현실 제공 시스템 및 방법 KR102268798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183533A KR102268798B1 (ko) 2017-12-29 2017-12-29 증강 현실 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183533A KR102268798B1 (ko) 2017-12-29 2017-12-29 증강 현실 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190081178A true KR20190081178A (ko) 2019-07-09
KR102268798B1 KR102268798B1 (ko) 2021-06-23

Family

ID=67261179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183533A KR102268798B1 (ko) 2017-12-29 2017-12-29 증강 현실 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102268798B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210341902A1 (en) * 2018-09-06 2021-11-04 Sidel Participations Method for computer assistance in the management of a production line

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133640A (ko) * 2013-05-09 2014-11-20 삼성전자주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
JP2015222496A (ja) * 2014-05-22 2015-12-10 東芝テック株式会社 情報端末、制御プログラム及び商品販売データ処理装置。

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133640A (ko) * 2013-05-09 2014-11-20 삼성전자주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
JP2015222496A (ja) * 2014-05-22 2015-12-10 東芝テック株式会社 情報端末、制御プログラム及び商品販売データ処理装置。

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210341902A1 (en) * 2018-09-06 2021-11-04 Sidel Participations Method for computer assistance in the management of a production line

Also Published As

Publication number Publication date
KR102268798B1 (ko) 2021-06-23

Similar Documents

Publication Publication Date Title
CN107223269B (zh) 三维场景定位方法和装置
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
KR100953931B1 (ko) 혼합현실 구현 시스템 및 그 방법
CN106548516B (zh) 三维漫游方法和装置
US9541997B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN111145352A (zh) 一种房屋实景图展示方法、装置、终端设备及存储介质
US9268410B2 (en) Image processing device, image processing method, and program
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN102171726B (zh) 信息处理装置、信息处理方法、程序以及信息存储介质
JP2006244329A (ja) 携帯端末および情報処理装置、システム
JP2005135355A (ja) データオーサリング処理装置
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
US20220329770A1 (en) Information processing apparatus, video generation method and program
KR102347586B1 (ko) 증강 현실 제공 방법
JP2021520577A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
KR102264754B1 (ko) 증강 현실 제공 시스템 및 방법
US11341716B1 (en) Augmented-reality system and method
KR102263468B1 (ko) 증강 현실 제공 시스템 및 방법
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102268798B1 (ko) 증강 현실 제공 시스템 및 방법
KR20190080244A (ko) 증강 현실 제공 시스템 및 방법
KR102268797B1 (ko) 증강 현실 제공 시스템 및 방법
CN117095150A (zh) 一种视野自由度分析方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant