KR102468207B1 - 웨어러블 장치 및 웨어러블 장치의 제어방법 - Google Patents

웨어러블 장치 및 웨어러블 장치의 제어방법 Download PDF

Info

Publication number
KR102468207B1
KR102468207B1 KR1020220050102A KR20220050102A KR102468207B1 KR 102468207 B1 KR102468207 B1 KR 102468207B1 KR 1020220050102 A KR1020220050102 A KR 1020220050102A KR 20220050102 A KR20220050102 A KR 20220050102A KR 102468207 B1 KR102468207 B1 KR 102468207B1
Authority
KR
South Korea
Prior art keywords
user
information
wearable device
design drawing
view
Prior art date
Application number
KR1020220050102A
Other languages
English (en)
Inventor
우지희
Original Assignee
주식회사 여울디자인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 여울디자인 filed Critical 주식회사 여울디자인
Priority to KR1020220050102A priority Critical patent/KR102468207B1/ko
Application granted granted Critical
Publication of KR102468207B1 publication Critical patent/KR102468207B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps

Abstract

본 발명의 일 실시예에 따른, 웨어러블 장치는, 사용자에게 시야를 제공하고, 영상을 표시할 수 있는 표시부; 상기 사용자(U)의 신체에 고정되고, 상기 표시부와 연결되는 고정 부재; 상기 사용자(U)의 시야, 상기 사용자(U)의 동작, 상기 사용자(U)의 위치 정보 중 적어도 하나를 수집하는 자세 감지부; 작업 공간의 공간 정보를 수집하는 공간 측정부; 인테리어에 필요한 위치 정보를 포함한, 미리 모델링된 설계 도면 정보를 외부로부터 수신하는 통신부; 및 상기 공간 정보의 좌표 및 상기 설계 도면 정보의 좌표를 정합하고, 상기 정합시킨 좌표에 기초하여 상기 공간 정보 상에 상기 설계 도면 정보의 레벨링를 맵핑시킨 시공 정보를 생성하고, 상기 사용자(U)의 시야 또는 상기 사용자(U)의 동작에 기초하여 상기 시공 정보 및 레이저 선이 증강되도록 상기 표시부를 제어한다.

Description

웨어러블 장치 및 웨어러블 장치의 제어방법{WEARABLE DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
이러한 실시예는 공간 구조물 상에 레벨링 요소가 중첩되도록 표시하는 웨어러블 장치 및 웨어러블 장치의 제어방법에 관한 것이다.
일반적으로, 디스플레이 장치는 수신되거나 또는 저장된 영상 정보를 사용자에게 시각적으로 표시하는 출력 장치이며, 가정이나 사업장 등 다양한 분야에서 이용되고 있다. 예를 들어, 디스플레이 장치로는 개인용 컴퓨터 또는 서버용 컴퓨터 등에 연결된 모니터 장치나, 휴대용 컴퓨터 장치나, 내비게이션 단말 장치나, 일반 텔레비전 장치나, 인터넷 프로토콜 텔레비전(IPTV, Internet Protocol television) 장치나, 스마트 폰, 태블릿 PC, 개인용 디지털 보조 장치(PDA, Personal Digital Assistant), 또는 셀룰러 폰 등의 휴대용 단말 장치나, 산업 현장에서 광고나 영화 같은 화상을 재생하기 위해 이용되는 각종 디스플레이 장치나, 또는 이외 다양한 종류의 오디오/비디오 시스템 등이 있다.
디스플레이 장치는 또한 방송국, 인터넷 서버, 영상 재생 장치, 게임 장치 및/또는 휴대용 단말기 등 다양한 콘텐츠 소스로부터 콘텐츠를 수신할 수 있다. 또한, 디스플레이 장치는 콘텐츠로부터 영상과 음향을 복원(또는 디코딩)하고, 복원된 영상과 음향을 출력할 수 있다.
최근, 디스플레이 장치는 사용자(U)가 착용할 수 있는 웨어러블 장치로의 연구가 진행되고 있다. 이러한 웨어러블 장치의 대표적인 예로 디스플레이 장치가 사용자(U)의 시야에 고정되는 헤드 마운트 디스플레이(Head Mount Display, HMD)가 있다.
웨어러블 장치의 연구와 함께, 사용자에게 가상 현실을 제공하기 위한 3차원 입체 영상 및 360도 VR (Virtual Reality) 영상 (이하 가상현실 영상), AR(Augmented Reality) 영상 (이하 증강현실 영상) 등의 연구가 함께 진행되고 있다. 이러한, 가상현실 영상, 증강현실 영상 및 홀로그램은 인간 오감 자극을 통해 정보를 제공하고, 유사한 체험을 가능하게 하는 실감 콘텐츠이다. 실감 콘텐츠는 몰입감, 상호작용, 지능화 등 3I(Immersive, Interactive, Intelligent) 특징을 통해 높은 현실감을 제공하고, 경험 영역을 확장한다. 디지털 콘텐츠에 실감 콘텐츠를 적용하면 콘텐츠 전달 효과와 부가가치가 배가된다.
한편, 시공 현장이나 인테리어 공사 현장에서는 기존에 바닥에 놓인 상태에서 벽면에 레이저를 조사하는 레이저 레벨기가 사용된다. 이러한 레이저 레벨기는 공사현장에 위치한 후, 레이저를 조사하여 작업자에게 수직선 또는 수평선을 가이드하는 장치이다. 그러나 아래 선행기술문헌과 같이, 종래 레이저 레벨기는 조사된 레이저가 고정되어 있으므로, 작업자에 의해서 레이저 선이 가려지는 경우가 생긴다. 이 경우, 작업자는 레이저가 조사되지 않는 영역에 별도의 시공 위치를 표시한 후, 다시 시공을 해야 하는 불편함이 있었다.
한국 등록 특허 공보 제10-1824714호
본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 사용자(U)가 착용한 웨어러블 장치를 통해 작업 현장에 시공에 필요한 정보를 포함하는 라벨링 및 레이저 선을 증강시킴으로써, 효율적인 시공을 도와주는 웨어러블 장치 및 그 제어방법을 제공함에 그 목적이 있다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른, 웨어러블 장치는, 사용자에게 시야를 제공하고, 영상을 표시할 수 있는 표시부; 상기 사용자(U)의 신체에 고정되고, 상기 표시부와 연결되는 고정 부재; 상기 사용자(U)의 시야, 상기 사용자(U)의 동작, 상기 사용자(U)의 위치 정보 중 적어도 하나를 수집하는 자세 감지부; 작업 공간의 공간 정보를 수집하는 공간 측정부; 인테리어에 필요한 위치 정보를 포함한, 미리 모델링된 설계 도면 정보를 외부로부터 수신하는 통신부; 및 상기 공간 정보의 좌표 및 상기 설계 도면 정보의 좌표를 정합하고, 상기 정합시킨 좌표에 기초하여 상기 공간 정보 상에 상기 설계 도면 정보의 레벨링를 맵핑시킨 시공 정보를 생성하고, 상기 사용자(U)의 시야 또는 상기 사용자(U)의 동작에 기초하여 상기 시공 정보 및 레이저 선이 증강되도록 상기 표시부를 제어한다.
상기 제어부는, 상기 사용자(U)의 시야에 기초하여 공간 정보 상에 상기 라벨링을 연장시킬 수 있다.
상기 제어부는, 상기 공간 정보 또는 상기 설계 도면 정보에서 벽, 천정 또는 바닥 중 적어도 하나의 모서리를 특징점으로 추출하고, 상기 추출된 특징점에 기초하여 상기 좌표를 정합할 수 있다.
상기 제어부는, 상기 설계 도면 및 상기 자세 감지부가 수집한 상기 사용자(U)의 시야에 기초하여 상기 라벨링 및 상기 레이저 선이 필요한 위치를 안내하는 가이드 정보를 생성하고, 상기 표시부에 상기 생성한 가이드 정보를 표시할 수 있다.
상기 통신부는, 상기 웨어러블 장치와 분리될 수 있는 상기 공간 측정부가 수집하는 상기 공간 정보를 무선을 통해 수신할 수 있다.
사용자에게 시야를 제공하고, 영상을 표시할 수 있는 표시부; 및 상기 사용자(U)의 신체에 고정되고, 상기 표시부와 연결되는 고정 부재;를 포함하는 웨어러블 장치의 제어방법은, 자세 감지부가 사용자(U)의 시야, 상기 사용자(U)의 동작, 상기 사용자(U)의 위치 정보 중 적어도 하나를 수집하고; 공간 측정부가 작업 공간의 공간 정보를 수집하고; 통신부가 인테리어에 필요한 레이저 선의 위치 정보를 포함한, 미리 모델링된 설계 도면 정보를 외부로부터 수신하고; 상기 공간 정보의 좌표 및 상기 설계 도면 정보의 좌표를 정합하고; 상기 정합시킨 좌표에 기초하여 상기 공간 정보 상에 상기 설계 도면 정보의 라벨링를 맵핑시킨 시공 정보를 생성하고; 및 상기 사용자(U)의 시야 또는 상기 사용자(U)의 동작에 기초하여 상기 시공 정보 및 상기 레이저 선이 증강되도록 상기 표시부를 제어하는 것;을 포함한다.
본 발명에 의하면, 기존 바닥에 놓인 상태에서 벽면에 레이저를 조사하는 레이저 레벨기의 경우, 작업자가 작업할 때 레이저 선을 가리는 경우가 생기고, 별도로 시공 위치를 표시한 후에 다시 시공을 해야 했으나, 개시된 웨어러블 장치는 작업자가 레이저 레벨기의 이동 없이, 시공을 가능하게 한다..
스마트 폰에 사용되는 일반적인 증강현실 영상의 경우, 부정확한 GPS 신호 등에 의해서 증강되는 라벨링 또는 레이저 선의 위치에 오차가 발생할 수 있지만, 본 발명은 설계도면 정보, 공간측정 정보를 정합하고, 사용자 위치정보, 시야정보를 기초로 증강현실 영상을 출력함으로써, 시공 작업의 정확도를 향상시킬 수 있다.
종래 레이저 레벨기는, 협소한 공간 안에 레이저를 조사하기 힘든 경우가 있었지만, 개시된 웨어러블 장치는 레이저 선이 조사되지 않는 협소한 공간에의 시공 정보의 생성이 가능하다.
본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 웨어러블 장치의 외관을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 웨어러블 장치(100)를 분해 도시한 도면이다.
도 3은 개시된 일 실시예에 따른 제어 블록도이다.
도 4 는 웨어러블 장치의 제어방법에 관한 동작을 설명하기 위한 순서도이다.
도 5는 다른 실시예에 따른 웨어러블 장치의 제어방법에 관한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 웨어러블 장치의 외관을 설명하기 위한 도면이다.
웨어러블 장치(100)는 외부로부터 수신되는 설계 도면 정보 및 사용자(U)가 위치한 공간 정보에 대한 영상 데이터를 처리하고, 처리된 영상을 증강현실 영상 또는 가상현실 영상으로 표시할 수 있는 장치이다. 특히, 웨어러블 장치(100)는 사용자(U)의 신체에 착용되어, 사용자(U)의 신체에 고정될 수 있다. 예를 들어, 웨어러블 장치(100)는, 사용자(U)의 머리 또는 안면에 착용되는 헤드 마운트 디스플레이(Head Mount Display, HMD), 스마트 글라스(smart glasses) 또는 스마트 헬멧(smart helmet) 등 다양한 제품 형태로 구현될 수 있다. 이하에서는 웨어러블 장치(100)로서 헤드 마운트 디스플레이가 설명되나, 웨어러블 장치(100)는 사용자(U)의 신체에 착용되어 영상 신호를 시각적으로 재현(reproduce)하는 장치라면 그 형태가 한정되지 않는다.
도 1을 참조하면, 웨어러블 장치(100)는 인테리어 또는 일반적인 시공 현장에서 작업을 수행하는 사용자(U)에게 착용될 수 있다. 사용자(U)는 웨어러블 장치(100)를 통해서 작업 공간에 대한 시야를 가질 수 있으며, 동시에 웨어러블 장치(100)가 증강시키는 라벨링 또는 레이저 선을 함께 인식할 수 있다.
일 실시예에 따른 웨어러블 장치(100)는 소스(10)로부터 영상 데이터를 수신할 수 있다. 사용자(U)가 시공 작업을 수행하기 위해서, 웨어러블 장치(100)의 무게는 적을수록 유리하다. 다만, 웨어러블 장치(100)는 이하에서 설명하는 증강현실 영상을 처리하기 위해서 다양한 데이터를 저장하는 하드웨어 장치와 센서가 필요하다. 따라서 웨어러블 장치(100)는 동작에 필요한 최소한의 하드웨어 장치를 포함하고, 소스(10)는 설계 도면 정보와 같이 대용량의 정보를 처리하기 위한 프로세서 칩과 메모리 및 공간 정보를 수집하기 위한 RGBD 카메라, 라이다 센서 또는 레이저 센서를 포함한 공간 측정부(이하 도 3 참조)로 분리될 수 있다. 소스(10)는 무선 또는 유선 통신을 통해 웨어러블 장치(100)의 동작에 필요한 데이터를 송신할 수 있다.
한편, 반드시 웨어러블 장치(100)가 소스(10)와 구분되어 마련될 필요는 없다. 다른 실시예에 따른 웨어러블 장치(100)는 소스(10)에서 설명할 구성을 본체(101)에 모두 포함시킬 수도 있다. 이하에서는 웨어러블 장치(100)가 동작에 필요한 모든 구성을 함께 포함하는 것으로 설명한다.
도 2는 일 실시예에 따른 웨어러블 장치(100)를 분해 도시한 도면이다.
도 2에 도시된 바와 같이, 웨어러블 장치(100)는 영상을 표시하기 위한 복수의 부품들을 수용하는 본체(101)와, 본체(101)의 일면에 마련되어 영상(I)을 표시하는 스크린(102)과, 본체(101)를 지지하고 사용자(U)의 신체에 안착되는 안착 부재(103)와, 본체(101) 및 안착 부재(103)를 사용자(U)의 신체에 고정시키는 고정 부재(104)를 포함한다.
본체(101)는 웨어러블 장치(100)의 외형을 형성하며, 본체(101)의 내부에는 웨어러블 장치(100)가 영상(I)과 음향을 출력 위한 부품이 마련될 수 있다. 도 2에는 본체(101)가 평평한 판 형상으로 도시되었으나, 본체(101)의 형상이 도 2에 도시된 바에 한정되는 것은 아니며 다양한 형상으로 마련될 수 있다.
스크린(102)은 본체(101)의 전면에 형성되며, 스크린(102)에는 시각 정보인 영상(I)이 표시될 수 있다. 도 2에 도시된 바와 같이, 스크린(102)에 표시되는 영상(I)은 작업 공간에 배치될 인테리어에 관한 영상일 수 있다. 인테리어 영상은 사용자(U)가 위치한 작업 공간에서 공간 측정부(20)가 촬영한 영상을 기초로 하며, 일 예에 따른 영상은 가구 및 식기를 포함할 수 있다. 웨어러블 장치(100)는 미리 저장된 설계 도면 정보에 포함된 복수 개의 라벨링(L1)를 가구 및 벽면 등에 맵핑시킨다. 또한, 설계 도면 정보에 기초하여 웨어러블 장치(100)는 작업 공간에 필요한 레이저 선(L2)을 작업 공간에 맵핑시킬 수 있다. 이러한 동작을 통해서 스크린(102)에 표시되는 영상(I)은 작업 공간에 놓여진 가구 및 식기에 시공 정보를 포함한 라벨링이 증강되고, 작업에 필요한 레이저 선(L2)이 함께 증강되는 영상(I)일 수 있다.
스크린(102)는 가상현실 영상 또는 증강현실 영상을 표시할 수 있는 디스플레이 패널이 포함되며, 스크린(102)에는 복수의 픽셀(Pixel)이 형성될 수 있다. 따라서 스크린(102)에 표시되는 영상(I)은 복수의 픽셀로부터 출사된 광의 조합에 의하여 형성될 수 있다. 예를 들어, 복수의 픽셀이 방출하는 광이 모자이크(mosaic)와 같이 조합됨으로써 스크린(102) 상에 하나의 영상(I)이 형성될 수 있다. 복수의 픽셀 각각은 다양한 밝기 및 다양한 색상의 광을 방출할 수 있다.
다양한 밝기의 광을 방출하기 위하여, 복수의 픽셀 각각은 직접 광을 방출할 수 있는 구성(예를 들어, 유기 발광 다이오드 패널을 포함하거나 백 라이트 유닛 등에 의하여 방출된 광을 투과하거나 차단할 수 있는 구성(예를 들어, 액정 패널)을 포함할 수 있다.
이하에서는 스크린(102) 및 스크린(102)에 영상(I)을 표시하는 디스플레이 패널을 표시부(40, 이하 도 3 참조)라고 지칭한다. 즉. 표시부(40)는 스크린(102)과 영상(I)을 표시하는 디스플레이 패널을 모두 포함하는 개념이다.
안착 부재(103)는 본체(101)의 후방에 마련될 수 있으며, 안착 부재(103)는 본체(101)를 사용자(U)의 신체에 맞닿을 수 있다. 즉, 안착 부재(103)는 사용자(U)의 신체와 본체(101) 사이에 마련되며, 사용자(U)의 신체에 안착될 수 있다.
안착 부재(103)가 사용자(U)의 안면에 안착됨으로 인하여 본체(101)는 사용자(U)의 안면에 대하여 고정된 위치에 위치할 수 있다. 다시 말해, 사용자(U)가 이동하거나 고개를 돌려도 본체(101)의 전면에 형성된 스크린(102)은 사용자(U)의 안면에 대하여 일정한 위치에 위치할 수 있다.
안착 부재(103)는 사용자(U)의 신체에 안착되는 곡면부(103a)를 포함할 수 있다. 곡면부(103a)는 사용자(U)의 신체 예를 들어 사용자(U)의 안면에 밀착될 수 있으며, 사용자(U)의 신체와 밀착되는 부분이 최대화되도록 곡면부(103a)는 외력에 의하여 수축 및 확장이 가능한 탄성을 가지는 재질로 구성될 수 있다. 예를 들어, 사용자(U)의 안면에 밀착될 때 곡면부(103a)의 형태는 사용자(U)의 안면의 형태에 따라 변화할 수 있으며, 사용자(U)의 안면으로부터 분리되면 곡면부(103a)는 원래의 형태로 복원될 수 있다.
고정 부재(104)는 안착 부재(103)의 양단에 부착될 수 있으며, 본체(101) 및 안착 부재(103)를 사용자(U)의 신체에 고정시킬 수 있다.
고정 부재(104)는 띠 형태로 형성될 수 있으며, 고정 부재(104)의 양단은 안착 부재(103)의 양단에 부착될 수 있다. 또한, 고정 부재(104)는 외력에 의하여 확장 및 수축이 가능한 탄성을 가지는 재질로 구성될 수 있다.
한편, 안착 부재(103)와 고정 부재(104)는 도 2에 도시된 형태에 한정되는 것은 아니며, 안착 부재(103)와 본체(101)는 사용자(U)의 신체에 고정할 수 있는 수단이라면 그 형태가 한정되지 않는다. 예를 들어, 다른 실시예에 따른 웨어러블 장치(100)가 스마트 글라스 형태로 마련된 경우, 고정 부재(104)는 포함되지 않을 수 있으며, 안착 부재(103)는 림, 템플 및 팁과 같은 안경의 구조에 해당하는 형태로 마련될 수 있다.
이상에서 설명된 바와 같이 웨어러블 장치(100)는 사용자(U)의 안면에 고정되고, 사용자(U)의 안면에 대하여 일정한 위치에 위치할 수 있다. 그 결과, 웨어러블 장치(100)는 사용자(U)의 시야, 동작 및 위치 정보에 따라 작업 공간의 다양한 영상을 표시할 수 있고, 증강현실 영상을 통해 시공 효율성을 증가시킨다.
도 3은 개시된 일 실시예에 따른 제어 블록도이다.
도 3을 참조하면, 개시된 웨어러블 장치(100)는 작업 공간을 촬영하는 공간 측정부(20), 사용자(U)의 시야, 사용자(U)의 동작, 사용자(U)의 위치 정보 등 사용자(U)의 동작을 감지하는 자세 감지부(30), 촬영된 작업 공간과 증강현실 영상을 표시하는 표시부(40) 및 가이드에 필요한 소리를 출력하는 음향부(50) 및 전술한 구성과 웨어러블 장치(100)의 동작 전반을 제어하는 제어부(60)를 포함한다.
공간 측정부(20)는 복수 개의 하드웨어적 장치를 포함한다. 예를 들어 공간 측정부(20)는 작업 공간을 촬영하기 위한 RGBD 카메라, 작업 공간의 각도, 거리 등을 측정할 수 있는 레이저 센서 또는 라이다 센서를 포함할 수 있다. 공간 측정부(20)는 작업 공간을 촬영하고, 맵핑에 필요한 정보를 수집할 수 있는 일반적인 하드웨어적 장치를 더 포함할 수 있다.
자세 감지부(30)는 3차원 공간에서 사용자(U)의 시야, 동작 또는 위치 정보를 수집할 수 있다. 구체적으로 자세 감지부(30)는 웨어러블 장치(100)의 선형 이동 가속도, 선형 이동 속도, 선형 이동 변위, 선형 이동 방향, 기울어짐, 회전 이동 각속도, 회전 이동 각변위 및/또는 회전 방향(회전 이동의 축 방향)을 감지하여 사용자(U)의 동작 및 시야의 움직임을 판단한다. 일 예로 자세 감지부(30)는 가속도 센서, 자이로 센서 또는 자자기 센서 중 적어도 하나 이상을 포함할 수 있다. 또한, 자세 감지부(30)는 GPS(Global Positioning System), WiFi 측위 장치 등을 포함하고, 이를 통해서 사용자(U)의 위치를 판단할 수 있다.
본 발명의 일 실시예에 따르면, 자세 감지부(30)는, 사용자(U)의 시야 정보를 수집할 때, 시야 기준점을 결정하여 시* 정보를 수집할 수 있다.
즉, 가상 객체(증강되는 레이저선)의 위치를 인식하고, 사용자가 가상 객체를 주시할 때 사용자의 시점에서 가상 객체(증강되는 레이저선)와 대응되어(즉, 겹쳐져) 보여지는 실물 객체(벽, 천정 모서리 등)의 위치를 인식하는 기능을 수행할 수 있다.
실물 객체는, 사용자의 시점에서 볼 때 디스플레이 디바이스(100)의 씨 쓰루 디스플레이 화면 너머에 실제로 존재하는 객체로서, 사용자에 의하여 시각적으로 인지될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 실물 객체는, 사용자가 자신의 의지에 따라 움직일 수 있는 신체 부위(예를 들면, 손가락 끝 부위 등)이거나 실세계에 존재하는 물건일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 자세 감지부(30)는, 가상 객체의 위치와 실물 객체의 위치가 직접적으로 연관 지어질 수 있도록 하기 위하여, 실물 객체의 위치를 특정할 수 있는 실물 좌표계(또는 실세계 좌표계)에서 가상 객체의 위치를 특정할 수 있다.
자세 감지부(30)는, 또한, 본 발명을 통하여 표시되는 둘 이상의 가상 객체의 위치 및 사용자가 위의 둘 이상의 가상 객체를 각각 주시할 때 해당 사용자의 시 점에서 위의 둘 이상의 가상 객체와 각각 대응되어(즉, 겹쳐져) 보여지는 둘 이상의 실물 객체의 위치를 참조로 하여, 둘 이상의 시축(visual axis)을 각각 특정하는 기능을 수행할 수 있다. 구체적으로, 본 발명의 일 실시 예에 따르면, 사용자의 시야 기준점 결정은, 제1 가상 객체의 위치 및 사용자의 시점에서 제1 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 제1 실물 객체의 위치를 잇는 직선을 제1 시축으로서 특정할 수 있고, 제2 가상 객체 의 위치 및 사용자의 시점에서 제2 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 제2 실물 객체의 위치를 잇는 직선을 제2 시축으로서 특정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자의 시야 기준점 결정은, 위와 같이 특정되는 제1 시축 및 제2 시축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정하는 기능을 수행할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제1 시축 및 제2 시축 사이의 공통점은, 제1 시축 및 제2 시축이 교차하는 경우 에 제1 시축 및 제2 시축 사이의 교차점일 수 있고, 제1 시축 및 제2 시축이 교차하지 않는 경우에 제1 시축 및 제2 시축을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다.
예를 들면, 본 발명의 일 실시예에 따르면, 위와 같이 특정되는 둘 이상의 시축 사이의 공통점을 사용자의 안구의 회전 중심에 해당하는 점으로서 인식할 수 있고, 이에 따라 그 공통점이 사용자의 시야 기준점인 것으로 결정할 수 있다.
즉, 본 발명의 일 실시예에 따르면, 사용자는 자신이 착용하고 있는 웨어러블 장치(100)의 스크린(102) 화면 상에 표시되는 가상 객체를 스크린 화면 너머에 존재하는 실물 객체와 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 서로 다른 두 쌍의 가상 객체 및 실물 객체에 대하여 각각 수행하는 것만으로, 해당 사용자에게 적용되는 시야 기준점이 정확하게 결정될 수 있게 된다. 예를 들면, 사용자는 자신의 시점에서 볼 때 디스플레이 화면 너머에 존재하는 자신의 손가락 끝이 디스플레이 화면 상에 표시되는 점에 겹쳐져 보이도록 자신의 손가락을 허공에 위치시키는 동작을 서로 다른 점에 대하여 두 번 이상 행하는 것만으로, 자신의 시점에 정확하게 맞춤화된 영상을 제공 받을 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 위와 같이 한번 결정된 시야 기준점은 사용자의 눈동자의 위치 또는 방향이 변경되더라도(즉, 사용자의 안구가 회전하더라도) 유효하게 유지되므로, 일반적인 사용 환경에서 사용자의 눈동자의 위치 또는 방향이 변경되더라도 그에 맞추어 시야 기준점을 다시 산출할 필요가 없게 된다.
구체적으로, 본 발명의 일 실시예에 따르면, 웨어러블 장치(100)를 통해 표시되는 영상이 2차원(2D) 영상 인 경우에 시야 기준점 결정은 사용자의 왼쪽 눈 및 오른쪽 눈 중 어느 한쪽 눈에 대하여만 시야 기준점을 결정할 수 있고, 웨어러블 장치(100)를 통해 표시되는 영상이 3차원(3D) 영상인 경우에는, 사용자의 두 눈 사이의 시차(視差)를 이용하여 입체감을 구현해야 하므로, 시야 기준점 결정은 사용자의 왼쪽 눈 및 오른쪽 눈 모두에 대하여 시야 기준점을 결정할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 웨어러블 장치(100)에 의하여 제공되는 디스플레이 화면과 사용자의 눈 사이의 상대적인 위치 관계에 변화가 발생하는 경우에(예를 들면, 사용자가 웨어러블 장치를 벗었다가 다시 쓰거나 고쳐 씀에 따라 사용자의 눈과 스크린 화면 사이의 위치 관계가 달라지는 경우에), 새로 인식되는 가상 객체의 위치 및 실물 객체의 위치를 참조로 하여 둘 이상의 시축을 새로 특정하고, 그 새로 특정되는 둘 이상의 시야 기준점 사이의 공통점을 참조로 하여 사용자의 눈에 적용될 시야 기준점을 새로 결정할 수 있다.
한편, 웨어러블 장치(100)는 오직 자세 감지부(30)가 수집한 데이터만으로, 사용자(U)의 시야, 동작 또는 위치 정보를 판단하는 것이 아니다. 후술하는 제어부(60)는 자세 감지부(30)가 수집하는 다양한 데이터 뿐만 아니라, 공간 측정부(20)가 수집한 데이터를 종합적으로 고려할 수 있고, SLAM(Simultaneous Localization And Mapping) 알고리즘을 이용하여 사용자(U)의 위치 정보를 고려할 수 있다.
표시부(40)는 도 2에서 전술한 바와 같이, 가상현실 영상 또는 증강현실 영상을 시각적으로 표시하는 스크린(102), 스크린(102)에 영상이 출력되도록 제어하는 디스플레이 패널과 디스플레이 패널을 구동시키는 디스플레이 드라이버를 포함할 수 있다. 디스플레이 패널은 영상을 표시하는 단위가 되는 픽셀을 포함할 수 있다. 각각의 픽셀은 디스플레이 드라이버로부터 영상을 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 이처럼, 복수의 픽셀이 출력하는 광학 신호가 조합됨으로써 하나의 영상이 디스플레이 패널에 표시될 수 있다.
음향부(50)는 소리를 출력하는 음향을 증폭하는 오디오 앰프, 증폭된 음향을 청각적으로 출력하는 스피커, 주변의 음향을 수집하는 마이크를 포함할 수 있다. 예를 들어, 라벨링된 증강현실 영상이 표시된 후 사용자(U)가 고개를 돌리는 경우, 웨어러블 장치(100)는 설계 도면 정보 상에 시공 정보가 필요한 곳으로 영상을 변경하거나, 레이저 선을 연장시킬 수 있는 유저 인터페이스 즉, 가이드 정보를 출력할 수 있다. 이 때, 웨어러블 장치(100)는 가이드 정보를 표시하는 유저 인터페이스를 표시부(40)를 통해 표시할 뿐만 아니라, 음향부(50)를 통해 음성 가이드, 또는 소리를 출력할 수도 있다.
통신부(70)는 웨어러블 장치(100)가 외부로부터 다양한 설계 도면 정보 등 다양한 데이터를 수신하거나, 웨어러블 장치(100)가 생성한 다양한 데이터를 외부로 전송한다. 증강현실 영상은 단순한 이미지 정보 뿐만 아니라, 3차원의 이미지 정보 및 설계 정보에 필요한 다양한 정보를 포함하므로, 대용량일 수 있다. 웨어러블 장치(100)는 대용량에 해당하는 설계 도면 정보를 저장하기 어려울 수 있다. 통신부(70)는 콘센트 배치, 전등 배치, 타공 등 작업의 종류와 작업에 필요한 위치 정보를 포함한 설계 도면 정보와 증강현실 또는 가상현실 영상에 필요한 이미지 데이터를 외부로부터 수신하거나, 외부로 이러한 대용량의 데이터를 요청할 수도 있다.
통신부(70)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
제어부(60)는 웨어러블 장치(100)의 전반을 제어한다. 제어부(60)는 프로세서(61)와, 메모리(62)로 구분될 수 있다.
프로세서(61)는 전술한 공간 측정부(20), 자세 감지부(30), 표시부(40), 음향부(50) 및 통신부(70)를 제어하기 위한 제어신호를 생성하고, 웨어러블 장치(100)의 동작에 필요한 프로그램을 실현한다.
프로세서(61)는 공간 측정부(20), 자세 감지부(30) 및 통신부(70)가 수신 또는 수집한 다양한 정보를 기초로 시공 정보를 생성한다. 여기서 시공 정보는 설계 도면 정보에 포함된 정보를 공간 정보의 좌표에 매칭시킨 정보 그 자체로써, 증강현실 영상으로 변환되기 전, 라벨링에 포함될 수 있는 정보이다. 프로세서(61)는 사용자(U)가 보이는 작업 공간 위에 이러한 시공 정보가 증강되도록 출력할 수 있다. 구체적으로 프로세서(61)는 공간 정보의 좌표 및 설계 도면 정보의 좌표를 정합시키고, 정합시킨 좌표에 기초하여 공간 정보 상에 설계 도면 정보를 포함된 라벨링를 생성한다. 프로세서(61)는 시공 정보 및 레이저 선이 촬영된 공간 정보 상에 증강되도록 표시부(40)를 제어한다. 프로세서(61)가 프로그램에 의해서 실현되는 기능 또는 동작에 대한 구체적인 설명은 이하 다른 도면을 통해 후술한다.
메모리(62)는 웨어러블 장치(100)에 포함된 구성들을 제어하기 위한 프로그램 및 데이터를 저장하고, 웨어러블 디스플레이 장치(100)에 포함된 구성들을 제어하는 중에 발행하는 임시 제어 데이터를 기억할 수 있다. 구체적으로 메모리(62)는 외부로부터 수신한 설계 도면 정보를 미리 저장할 수 있다.
메모리(62)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리 등의 비휘발성 메모리와, 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다.
도 3에서 설명한 구성은 웨어러블 장치(100)의 동작에 필요한 구성을 설명의 편의를 위해서 나눠 설명한 것이다. 따라서 각각의 구성은 명칭에 제한되는 것이 아니며, 위치가 변경되거나 구성의 기능에 따라 병합될 수도 있다.
도 4 는 웨어러블 장치의 제어방법에 관한 동작을 설명하기 위한 순서도이다.
도 4를 참조하면, 웨어러블 장치(100)는 사용자(U)의 시야, 동작, 위치 정보 중 적어도 하나를 수집한다(200).
구체적으로 웨어러블 장치(100)는 자세 감지부(30)에 포함된 다양한 센서의 검출값을 종합적으로 판단한 후, 사용자(U)의 시야, 동작 및 위치 정보를 수집한다.
웨어러블 장치(100)는 작업 공간의 공간 정보를 수집한다(210).
공간 정보는 공간 수집부(20)가 수집할 수 있다. 예를 들어, 공간 정보는 공간 수집부(20)가 이동하는 상태 또는 고정 상태에 수집한 촬영 영상을 분석하여 수집될 수 있다. 공간 수집부(20)의 RGBD카메라가 촬영한 영상에서 웨어러블 장치(100)는 레이저 센서 또는 라이더 센서가 수집한 거리, 각도 정보를 부가하여 웨어러블 장치(100)의 위치를 3차원 좌표로 변환할 수 있다.
웨어러블 장치(100)는 미리 모델링된 설계 도면 정보를 외부로부터 수신한다(220).
설계 도면 정보는 작업 공간에 따라 다양하고, 대용량일 수 있다. 웨어러블 장치(100)는 통신부(70)를 통해 외부에서 설계 도면 정보를 수신하고, 저장할 수 있다.
웨어러블 장치(100)는 설계 도면 정보를 공간 수집부(20)가 수집한 공간 정보의 좌표와 정합시킨다(230).
구체적으로 웨어러블 장치(100)는 공간 정보 또는 설계 도면 정보에서 벽, 천정 또는 바닥 중 적어도 하나의 모서리를 특징점으로 추출한다. 웨어러블 장치(100)는 추출된 특정점을 서로 비교한 후, 매칭되는 특징점에 기초하여 좌표를 정합시킨다. 일 예로, 웨어러블 장치(100)는 측정된 공간 정보 상에서 인식된 가구와 설계 도면의 가구를 매칭시킴으로써, 설계 도면 정보 상에 정보를 작업 공간 상에 가구에 대한 정보로 인식할 수 있다.
웨어러블 장치(100)는 공간 정보 상에 설계 도면 정보의 라벨링을 맵핑시킨 시공 정보를 생성한다(240).
단계 230에서 전술한 바와 같이, 설계 도면 정보 상에 가구를 공간 정보에서 인식한 가구와 일치시키면, 웨어러블 장치(100)는 설계 도면 정보 상에 포함된 가구에 대한 작업 정보를 라벨링시킨다. 즉, 도 2에서 도시한 바와 같이, 설계 도면 정보 상에 포함된 정보를 라벨링(L2)된 영상을 생성함으로써, 웨어러블 장치(100)는 시공 정보를 생성할 수 있다.
웨어러블 장치(100)는 공간 정보에 시공 정보가 증강되도록 표시한다(250).
시공 정보가 생성되면, 웨어러블 장치(100)는 시공 정보가 가구 상에 증강되도록 맵핑된 좌표에 기초하여 시공 정보를 위치시키고, 촬영된 영상 안에 증강시킨다.
웨어러블 장치(100)는 사용자(U)의 시야에 따라 레이저 선이 공간 정보에 증강되도록 표시한다(260).
웨어러블 장치(100)는 시공 정보를 증강시키는 것 이외에 레이저 선이 작업 공간에 표시될 수 있도록 증강시킴으로써, 작업자가 레이저 레벨기를 따로 이동시킬 필요없이, 작업의 효율성을 증가시킬 수 있다. 구체적으로 웨어러블 장치(100)는 설계 도면 정보 상에서 작업에 필요한 작업 공간에 레이저 선이 필요하다는 정보를 인식하고, 레이저 선을 시공 정보와 함께 증강시킬 수 있다.
이를 통해서 개시된 일 예에 따른 웨어러블 장치(100)는 협소한 공간 안에 레이저를 조사하기 힘든 경우가 있었던 종래 레이저 레벨기의 단점을 보완하고, 작업자의 효율성을 증가시킬 수 있다.
도 5는 다른 실시예에 따른 웨어러블 장치의 제어방법에 관한 순서도이다.
도 5를 참조하면, 웨어러블 장치(100)는 사용자(U)의 시야, 사용자(U)의 동작, 사용자(U)의 위치 정보 중 적어도 하나를 수집한다(300).
웨어러블 장치(100)가 상기 정보를 수집하는 방법은 다양할 수 있으며, 도 4에서 설명한 바와 동일할 수 있다.
웨어러블 장치(100)는 작업 공간의 공간 정보 및 미리 모델링된 설계 도면 정보를 통신부(70)로부터 수신할 수 있다(310).
도 1에서 전술한 봐와 같이, 웨어러블 장치(100)는 공간 측정부를 웨어러블 장치와 분리하여 소스(10) 형태로 마련할 수 있다. 이 경우, 웨어러블 장치(100)는 통신부(70)를 통해 작업 공간에 대한 정보와 설계 도면 정보를 외부로부터 통신을 통해 수신할 수도 있다.
웨어러블 장치(100)는 공간 정보에 시공 정보 및 레이저 선이 증강되도록 표시할 수 있다(320).
도 4에서 전술한 바와 같이, 웨어러블 장치(100)는 공간 정보의 좌표 및 설계 도면 정보의 좌표를 정합한 후, 정합시킨 좌표에 기초하여 공간 정보 상에 설계 도면 정보의 라벨링를 맵핑시킨 시공 정보를 생성하고, 생성된 시공 정보 및 레이저 선을 촬영된 공간 정보 상에 증강되도록 표시부(40)를 출력할 수 있다.
시공 정보와 레이저 선을 증강시킨 후, 웨어러블 장치(100)는 자세 감지부(20)를 통해 사용자(U)의 시야가 이동하였는지 여부를 판단할 수 있다(340).
일 예로, 웨어러블 장치(100)는 자세 감지부(20)에 마련된 가속도 센서 또는 자이로 센서에 의해서 사용자(U)가 고개를 돌렸는지 여부를 판단할 수 있다. 이 뿐만 아니라, 웨어러블 장치(100)의 일반적인 다양한 센서의 감지 결과를 통해서 사용자(U)의 시야, 동작 위치 정보를 수집한 후, 사용자(U)가 웨어러블 장치(100)를 통해 시공 정보를 증강시킨 작업 공간 이외의 작업 공간을 바라보고 있는지 여부를 판단할 수 있다.
만약 사용자(U)의 시야가 이동되었다면(340의 예) 웨어러블 장치(100)는 변경된 시야에 따라 공간 정보에 필요한 라벨링을 이동시킬 수 있다(350).
예를 들어, 웨어러블 장치(100)가 도 2에 표시된 작업 공간의 가구를 표시한 후, 가구가 시야 각도에서 일부 벗어날 수 있다. 웨어러블 장치(100)는 공간 정보 상에 가구가 일부 포함되는 경우, 증강시킨 라벨링을 옮겨진 가구의 위치로 이동시킬 수 있다. 다른 예로, 사용자(U)가 바라본 시야 각도에 새로운 시공 정보가 필요한 경우, 웨어러블 장치(100)는 라벨링을 이동시키지 않고, 설계 도면 정보 상에 새로운 시공 정보를 생성하여 이를 증강시킬 수도 있다.
웨어러블 장치(100)는 변경된 시야에 따라 레이저 선을 연장시킬 수도 있다(360).
시야가 이동하면, 웨어러블 장치(100)는 사용자의 시야에 따라 표시된 공간 정보에 인식한 후, 설계 도면 상에 필요한 레이저 선을 다시 표시하거나, 단계 350과 같이, 시야가 변경되기 전에 표시되던 레이저 선을 연장시킬 수도 있다.
한편, 사용자의 시야가 변경되지 않으면(340의 아니오), 웨어러블 장치(100)는 증강시킨 시공 정보나 레이저 선을 변경하지 않을 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 소스 20: 공간 측정부
30: 자세 감지부 40: 표시부
50: 음향부 60: 제어부
70: 통신부 100: 웨어러블 장치
101: 본체 102: 스크린
103: 안착 부재 104: 고정 부재

Claims (6)

  1. 웨어러블 장치는,
    사용자에게 시야를 제공하고 영상을 표시할 수 있는 표시부;
    상기 사용자(U)의 신체에 고정되고, 상기 표시부를 지지하는 안착 부재;
    상기 안착 부재를 사용자(U)의 신체에 고정시키는 고정 부재;
    상기 사용자(U)의 시야, 상기 사용자(U)의 동작, 상기 사용자(U)의 위치 정보 중 적어도 하나를 수집하는 자세 감지부;
    작업 공간의 공간 정보를 수집하는 공간 측정부;
    인테리어에 필요한 레이저 선의 위치 정보를 포함한, 미리 모델링된 설계 도면 정보를 외부로부터 수신하는 통신부; 및
    상기 공간 정보의 좌표 및 상기 설계 도면 정보의 좌표를 정합하고, 상기 정합시킨 좌표에 기초하여 상기 공간 정보 상에 상기 설계 도면 정보의 라벨링를 맵핑시킨 시공 정보를 생성하고, 상기 사용자(U)의 시야 또는 상기 사용자(U)의 동작에 기초하여 상기 시공 정보 및 상기 레이저 선이 증강되도록 상기 표시부를 제어하는 제어부;를 포함하고,
    상기 제어부는,
    상기 사용자(U)의 시야가 변경되었는지 여부를 판단하고,
    상기 변경된 시야에 기초하여 이동된 공간 정보에 필요한 라벨링을 이동시키고, 상기 레이저 선을 연장시키고,
    상기 제어부는,
    상기 공간 정보 또는 상기 설계 도면 정보에서 벽, 천정 또는 바닥 중 적어도 하나의 모서리를 특징점으로 추출하고, 상기 추출된 특징점에 기초하여 상기 좌표를 정합하고,
    상기 제어부는,
    상기 설계 도면 및 상기 자세 감지부가 수집한 상기 사용자(U)의 시야에 기초하여 상기 라벨링 및 상기 레이저 선이 필요한 위치를 안내하는 가이드 정보를 생성하고,
    상기 표시부에 상기 생성한 가이드 정보를 표시하고,
    상기 통신부는,
    상기 웨어러블 장치와 분리될 수 있는 상기 공간 측정부가 수집하는 상기 공간 정보를 무선을 통해 수신하고,

    상기 웨어러블 장치는,
    상기 자세 감지부가 사용자(U)의 시야, 상기 사용자(U)의 동작, 상기 사용자(U)의 위치 정보 중 적어도 하나를 수집하고;
    상기 공간 측정부가 작업 공간의 공간 정보를 수집하고;
    상기 통신부가 인테리어에 필요한 레이저 선의 위치 정보를 포함한, 미리 모델링된 설계 도면 정보를 외부로부터 수신하고;
    상기 공간 정보의 좌표 및 상기 설계 도면 정보의 좌표를 정합하고;
    상기 정합시킨 좌표에 기초하여 상기 공간 정보 상에 상기 설계 도면 정보의 라벨링를 맵핑시킨 시공 정보를 생성하고;
    상기 사용자(U)의 시야 또는 상기 사용자(U)의 동작에 기초하여 상기 시공 정보 및 상기 레이저 선이 증강되도록 상기 표시부를 제어하고;
    상기 자세 감지부는,
    가상 객체인 증강되는 레이저 선의 위치를 인식하고, 상기 사용자가 가상 객체를 주시할 때 사용자의 시점에서 대응되어 보여지는 벽, 천정, 모서리와 같은 실물 객체의 위치를 인식하고,
    제1 가상 객체의 위치와 사용자의 시점에서 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 잇는 직선을 제1 시축으로 특정하고, 제2 가상 객체의 위치와 사용자의 시점에서 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 잇는 직선을 제2 시축으로서 특정함으로써 사용자의 시야 기준점을 결정하고 시야 정보를 수집함으로써,
    상기 웨어러블 장치를 제어하는 것을 특징으로 하는, 웨어러블 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
KR1020220050102A 2022-04-22 2022-04-22 웨어러블 장치 및 웨어러블 장치의 제어방법 KR102468207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220050102A KR102468207B1 (ko) 2022-04-22 2022-04-22 웨어러블 장치 및 웨어러블 장치의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220050102A KR102468207B1 (ko) 2022-04-22 2022-04-22 웨어러블 장치 및 웨어러블 장치의 제어방법

Publications (1)

Publication Number Publication Date
KR102468207B1 true KR102468207B1 (ko) 2022-11-17

Family

ID=84233280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220050102A KR102468207B1 (ko) 2022-04-22 2022-04-22 웨어러블 장치 및 웨어러블 장치의 제어방법

Country Status (1)

Country Link
KR (1) KR102468207B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824714B1 (ko) 2016-04-14 2018-02-09 신영측기(주) 거리 측정이 가능한 레이저 계측기
KR20200056688A (ko) * 2018-11-15 2020-05-25 주식회사 아디아랩 증강 현실을 이용한 구조물 품질검사 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824714B1 (ko) 2016-04-14 2018-02-09 신영측기(주) 거리 측정이 가능한 레이저 계측기
KR20200056688A (ko) * 2018-11-15 2020-05-25 주식회사 아디아랩 증강 현실을 이용한 구조물 품질검사 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN107111370B (zh) 现实世界对象的虚拟表示
US9395543B2 (en) Wearable behavior-based vision system
EP3195105B1 (en) Management of content in a 3d holographic environment
EP3097460B1 (en) Gaze swipe selection
US9317971B2 (en) Mechanism to give holographic objects saliency in multiple spaces
US9972130B2 (en) Apparatus and method for implementing augmented reality by using transparent display
US20150379770A1 (en) Digital action in response to object interaction
CN107771342B (zh) 一种增强现实显示方法及头戴式显示设备
US20160117864A1 (en) Recalibration of a flexible mixed reality device
US20140306993A1 (en) Holographic snap grid
US20140152558A1 (en) Direct hologram manipulation using imu
US20130083018A1 (en) Personal audio/visual system with holographic objects
WO2014144035A1 (en) Method and system for representing and interacting with augmented reality content
EP2965265A2 (en) Inconspicuous tag for generating augmented reality experiences
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
US20230292077A1 (en) Immersive augmented reality experiences using spatial audio
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
CN113031892A (zh) 信息显示方法及其处理装置与显示系统
US20240089695A1 (en) Locating Content In An Environment
KR102468207B1 (ko) 웨어러블 장치 및 웨어러블 장치의 제어방법
US11533580B2 (en) Locating content in an environment
KR20220093518A (ko) 웨어러블 장치 및 웨어러블 장치의 제어방법
CN117979414A (zh) 寻找物品的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant