KR101990284B1

KR101990284B1 - 음성인식을 이용한 지능형 인지기술기반 증강현실시스템

Info

Publication number: KR101990284B1
Application number: KR1020180161358A
Authority: KR
Inventors: 하태진; 채지훈; 엄지연
Original assignee: 주식회사 버넥트
Priority date: 2018-12-13
Filing date: 2018-12-13
Publication date: 2019-06-18

Abstract

음성인식을 이용한 지능형 인지기술기반 증강현실시스템은, 현장 작업자가 휴대하면서 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드를 표시하되, 인식할 수 있는 적어도 하나 이상의 음성명령을 각 음성명령에 할당된 숫자와 함께 박스형태의 유저 인터페이스로 표시하는 스마트 기기를 포함하는 것을 특징으로 한다.

Description

음성인식을 이용한 지능형 인지기술기반 증강현실시스템{Intelligent cognitive technology based augmented reality system using speech recognition}

본 발명은 증강현실시스템에 관한 것으로서, 더 상세하게는 음성인식을 이용한 지능형 인지기술기반 증강현실시스템에 관한 것이다.

일반적으로 플랜트는 넓은 공간상에 많은 주요 설비들이 복잡하게 밀집되어 있으며, 이러한 플랜트 산업은 고열, 고압 공정으로 이루어지기 때문에, 화재, 폭발과 같은 중대 사고가 발생하였을 경우, 그 피해 규모가 굉장히 커 고위험군 산업으로 분류되어 있다.

이에 따라, 플랜트 업체들은 주요 설비들에 안전 센서(압력, 누출 및 진동 센서 등)를 구비하여, 플랜트에서 야기되는 여러 위험 요인들을 지속적으로 모니터링하는 방법을 적극 도입하고 있다.

즉, 플랜트 설비들을 항시 실시간으로 감시할 수 있고, 신속히 설비의 위치를 찾고 플랜트 설비의 고장 및 비정상 상태 발생시, 가능한 한 빨리 최적의 의사결정을 내리기 위해서는 방대한 양의 데이터 수집, 처리, 분석, 저장 및 표시 등의 기능이 요구된다.

특히, 원자력, 기력, 복합화력, 수력, 풍력 등의 발전소는 주요 설비들의 경우, 정기적으로 예방 정비를 실시하며, 방사능 유출 및 발전소 비상 정지와 같은 심각한 상황이 발생할 경우, 빠른 시간 내에 대응 조치를 해야만 한다.

그러나 종래에는 이러한 대응에 필요한 의사 결정을 극히 단편적인 데이터 수집 및 분석에 의존하거나, 방대한 데이터 및 자료의 수집과 분석에 엄청난 시간과 비용이 소모되고 있었다. 또한, 해당 설비의 숙련된 전문가만이 수리, 점검을 수행할 수 있기 때문에 숙련된 전문가를 양성하기 위해서 엄청난 시간과 비용이 소모되고 있다. 이로 인하여, 발전소 설비의 이상상태로 인한 비상 및 재난 발생시, 신속하고 정확한 조치와 대응이 이루어지지 못하므로, 그에 따른 막대한 경제적, 사회적 손실 비용이 발생하는 문제점이 있었다.

한국공개특허 공개번호 제10-2005-0100778호("현장 중계 시스템 및 그 이용방법", 이하 선행문헌 1)에서는 초고속 통신망을 이용하여 리얼타임(real time)으로 현장을 촬영하여 비디오 및 오디오 정보를 사용자 단말기 및 중앙 통제 상황실로 송출이 가능하고, 현장 촬영 장비의 제어가 용이하고, 전송품질이 우수하고, 라이브 캐스팅(live casting) 제작비용이 저렴하고, 현장에서 발생하는 상황에 대한 통제 및 조치가 신속히 이루어질 수 있는 현장중계 시스템을 개시하고 있다.

그러나 선행문헌 1은 라이브캐스팅 데이터를 확인한 중앙 통제 상황실에서 현장에 별도의 지시사항이 있을 경우, 문자전송기 또는 TRS(Trunked Radio System)을 통해서 지령을 전달하고 있으나, 작업자가 문자로 전달되는 지령을 잘못 파악하여 잘못된 행동을 수행할 수 있는 문제점이 있다.

KR

10-2005-0100778

A

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 현장에서 생산성 향상 및 업무 효율 증대를 위한 음성인식을 이용한 지능형 인지기술기반 증강현실시스템을 제공한다.

또한, 디스플레이에 증강 가이드를 표시하되, 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성할 수 있는 증강현실시스템을 제공한다.

또한, 인식할 수 있는 적어도 하나 이상의 음성명령을 각 음성명령에 할당된 숫자와 함께 박스형태의 유저 인터페이스로 표시하는 증강현실시스템을 제공한다.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 현장 작업자가 휴대하면서 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드를 표시하되, 인식할 수 있는 적어도 하나 이상의 음성명령을 각 음성명령에 할당된 숫자와 함께 박스형태의 유저 인터페이스로 표시하는 것을 특징으로 하는 증강현실시스템이 제공된다.

또한, 본 발명에 포함되는 스마트 기기는, 상기 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 스마트 기기는, 인식된 음성명령을 처리함에 있어서, 미리 등록된 명령어 중에서 가장 유사도가 높은 명령어를 자동선택하여 실행하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 스마트 기기는, 소정의 길이 이상의 명령어가 설정된 횟수 이상 인식 실패할 경우, 소정의 유사도를 갖는 적어도 하나 이상의 명령어의 단축어 또는 할당된 숫자를 알림창로 제공하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 현장 작업자가 휴대하면서 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드를 표시하되, 인식할 수 있는 적어도 하나 이상의 음성명령을 각 음성명령에 할당된 숫자와 함께 박스형태의 유저 인터페이스로 표시하는 스마트 기기와, 디스플레이에 상기 실제영상정보를 표시하며, 원격 전문가가 지시하는 지시사항 정보를 감지하여 서버로 전송하는 지원 단말기와, 상기 스마트 기기와 상기 지원 단말기 사이에서 데이터를 상호 중계하고, 상기 지시사항 정보에 대응되는 상기 증강 가이드가 상기 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 상기 스마트 기기에 실시간 제공하는 상기 서버를 포함하는 증강현실시스템이 제공된다.

또한, 본 발명에 포함되는 스마트 기기는, 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성하는 것을 특징으로 한다.

본 발명의 실시예에 따른 음성인식을 이용한 지능형 인지기술기반 증강현실시스템은, 디스플레이에 증강 가이드를 표시하되, 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성할 수 있다.

또한, 증강현실시스템은 증강현실 원격지원모드에서, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 증강 가이드로써 현장 작업자가 착용한 스마트 기기에 제공하고,

증강현실 현장모드에서, 실제영상정보의 각 실제객체의 동작상태 및 과거정비이력을 증강 가이드로써 스마트 기기에 표시하고,

증강현실 메뉴얼 실행모드에서, 조작영상을 증강 현실화하여 증강 가이드의 가상객체로써 실제객체와 정합하여 스마트 기기에 표시함으로써, 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 현장에서 생산성 향상 및 업무 효율 증대를 달성할 수 있다.

도 1 및 도 2는 본 발명의 실시예에 따른 증강현실시스템(1)의 개념도
도 3은 본 발명의 일 실시예에 따른 증강현실시스템(1)의 구성도
도 4는 음성대화처리 기술의 개념도
도 5는 음성인식기술 분류 및 발전 방향을 나타낸 도면
도 6은 음성 신호로부터 문자 정보를 출력하는 과정을 나타낸 도면
도 7은 언어 모델이 분석되는 순서를 도시한 도면
도 8은 품사판별에 대한 분류도
도 9 내지 도 11은 영상기반의 설비인식 상태를 나타낸 도면
도 12는 증강현실시스템(1)의 스마트 기기(100)의 제스처 센서의 동작을 나타낸 도면
도 13은 스마트 기기(100)에서 음성명령을 인식하는 상태를 나타낸 도면
도 13a는 스마트 기기(100)에서 음성명령을 인식하는 다른 상태를 나타낸 도면
도 14는 스마트 기기(100)에서 가열 CCP 모니터링을 진행하는 또 다른 상태를 나타낸 도면
도 15는 금속검출 CCP 검사 모니터링을 진행하는 상태를 나타낸 도면
도 16은 이탈조치 CCP 검사 모니터링을 진행하는 상태를 나타낸 도면
도 17은 증강현실시스템(1)의 증강현실 원격지원모드의 개념도.
도 17a 내지 도 17c는 증강현실시스템(1)의 증강현실 현장모드의 예시도
도 18 및 도 18a는 증강현실시스템(1)의 증강현실 메뉴얼 생성모드에서의 동작상태를 나타낸 도면
도 19는 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 동작상태를 나타낸 도면
도 20은 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 다른 동작상태를 나타낸 도면이다.
도 21은 지원 단말기(200) 화면 구성의 예시도
도 22는 지원 단말기(200)에서 객체를 감지하는 방법을 나타낸 도면
도 23은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제1 화면 예시도
도 24는 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제2 화면 예시도
도 25는 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제3 화면 예시도
도 26은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제4 화면 예시도
도 27은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제5 화면 예시도
도 28은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제6 화면 예시도
도 29는 스마트 기기(100)에 표시되는 증강 가이드의 예시도
도 30은 증강현실시스템(1)의 증강현실 단말기의 구성도이고, 도 30a는 증강현실 단말기의 예시도

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 1 및 도 2는 본 발명의 실시예에 따른 증강현실시스템(1)의 개념도이고, 도 3은 본 발명의 일 실시예에 따른 증강현실시스템(1)의 구성도이다.

본 실시예에 따른 증강현실시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 1 내지 도 3을 참조하면, 음성인식을 이용한 지능형 인지기술기반 증강현실시스템(1)은 스마트 기기(100)와, 지원 단말기(200)와, 서버(300)를 포함하여 구성된다.

스마트 기기(100)는 현장의 작업자가 휴대하면서 사용할 수 있는, 스마트 글라스, 스마트폰, 스마트 패드로 정의될 수 있다. 본 실시예에서 스마트 기기(100)는 스마트 글라스라고 가정하고 설명하기로 한다.

또한, 지원 단말기(200)는 개인용 컴퓨터, 테이블 탑, 스마트 글라스, 스마트폰, 스마트 패드 등과 같이 통신기능을 이용하여 원격에서 전문가가 지시사항을 전달할 수 있는 기기로 정의된다. 본 실시예에서 지원 단말기(200)는 테이블 탑이라고 가정하고 설명하기로 한다.

기본적으로 스마트 기기(100)는 현장 작업자가 휴대하면서 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드를 표시한다.

특히, 스마트 기기(100)는 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성하여 서버(300)로 전송할 수 있다.

또한, 스마트 기기(100)는 음성명령이 인식될 경우 알림창을 증강시켜 표시하므로, 사용자가 음성명령인식 성공여부를 빠르게 인지할 수 있다.

지원 단말기(200)는 디스플레이에 실제영상정보를 표시하며, 원격 전문가가 지시하는 지시사항 정보를 감지하여 서버(300)로 전송한다.

서버(300)는 스마트 기기(100)와 지원 단말기(200) 사이에서 데이터를 상호 중계하고, 지시사항 정보에 대응되는 증강 가이드가 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 스마트 기기(100)에 실시간 제공한다.

음성인식을 이용한 지능형 인지기술기반 증강현실시스템(1)은 음성화상 전송 기반 모바일/웹 증강현실 현장 지원 기술을 지원한다.

또한, WebRTC(Web Real-Time Communication) 기반으로 스마트글라스 및 스마트 폰으로 현장에 있는 사용자 시점의 영상을 실시간으로 원격 클라이언트(스마트 폰/타블렛, 데스크톱)로 전송 가능하다.

또한, 스마트 기기(100)는 AR 기능을 활용한 음성인식 증강 포스트 잇(Post-it) 기능 구현으로 스마트글라스를 이용하여 중앙제어실과 현장상황을 원활하게 공유하고 소통함으로써 설비점검의 효율성을 향상시킬 수 있다.

참고적으로 증강 포스트 잇(AR Post-it)은 가상의 증강현실 메모쪽지를 설비 영상에 메모하는 것으로, 점검내용을 이력 관리하여 관련내용을 서로 공유함으로써 인적실수로 인한 안전사고를 사전에 방지할 수 있다.

즉, 스마트글라스에 내장된 카메라를 이용하여 설비를 인식 및 추적하는 기술, 작업자의 음성을 인식 및 문자로 변환하여 증강현실 메모를 생성할 수 있는 기술, 업무 지원 정보의 수집 및 자동 기록 기술이 적용된다.

도 4는 음성대화처리 기술의 개념도이다.

도 4를 참조하면, 증강현실시스템(1)에서 음성 인식의 궁극적인 목표는 자연스러운 발성에 의한 음성을 인식하여 실행 명령어로서 받아들이거나 자료로서 문서에 입력하는 완전한 음성/텍스트 변환(Full speech-to-text conversion)하는 것이며, 단지 단어를 인식할 뿐 아니라 구문 정보(문법), 의미 정보, 작업에 관련된 정보와 지식 등을 이용하여 연속 음성 또는 문장의 의미 내용을 정확하게 추출하는 음성 이해 시스템(Speech understanding system)이 적용된다.

참고적으로, 음성인식, 음성합성과 함께 음성 대화 시스템을 구성하는 대화 처리 기술은 언어이해, 대화관리, 언어생성 모듈로 구성되어 있다.

언어이해 모듈은 말한 사람의 발화를 언어처리하고 분석해 발화자의 의도를 표현하는 의미표현(Meaning representation)을 생성한다. 대화관리 모듈은 대화 흐름과 의도를 감안해 최선의 대화 전략을 계산해, 응답에 필요한 의미표현을 생성한다. 언어생성 모듈은 시스템이 응답하게 될 단어나 문장을 입력된 의미 표현으로부터 생성한다.

대화 처리 기술에서는 인간과 기계의 대화를 진행시키는 대화관리 방법이 핵심요소이며, 이에 따라 언어이해와 언어생성 방법론이 정해진다.

대화관리 방법은 특정 목적에 적합한 대화 전략을 전문가가 직접 구축하는 지식기반 방법론(Knowledge based approach)과 특정 도메인의 코퍼스 데이터로부터 학습하거나 예제화해 대화전략을 구축하는 데이터 주도 방법론(Data-driven approach)으로 구분될 수 있다.

도 5는 음성인식기술 분류 및 발전 방향을 나타낸 도면이다.

도 5를 참조하면, 음성인식 기술은 인식할 수 있는 발성의 형태, 인식 대상 화자 및 단어에 따라 분류된다.

발성 형태별로는 고립단어 인식에서 연결단어(Connected word recognition) 인식, 연속어 인식(Continuous speech recognition), 핵심어 인식으로 분류된다.

인식 대상 화자별로는 특정 화자 또는 사용자가 자신의 음성으로 미리 인식기를 훈련시키는 화자 종속 인식(Speaker dependent recognition), 임의의 화자 발성을 인식할 수 있는 화자 독립 인식(Speaker independent recognition), 사용자가 자신의 목소리에 대한 인식률을 높이기 위해 화자 독립 인식기를 자신의 목소리에 적응시키는 화자 적응(Speaker adoption) 인식으로 분류된다.

인식 대상 단어별로는 인식할 수 있는 대상단어가 고정되어 있는 고정단어 인식(Fixed vocabulary recognition)과 인식 대상 단위를 수시로 갱신할 수 있는 가변 단어 인식(Flexible vocabulary recognition)으로 구분된다.

도 6은 음성 신호로부터 문자 정보를 출력하는 과정을 나타낸 도면이다.

도 6을 참조하면, 음성 인식모듈은 크게 언어모델과 음향모델이라는 2가지의 중요한 지식원(Knowledge source)을 사용해 음성 신호로부터 문자 정보를 출력하게 되는데, 이때 개념적으로 음성 신호를 문자 심볼로 해석한다는 차원에서 음성인식 알고리즘을 디코더(Decoder)라고 부르기도 한다.

사용되는 음향모델(Acoustic model)은 우리말의 'ㄱ', 'ㄴ', 등의 소리단위를 학습해서 지식화해 놓고 디코더에서 사용한다. 언어 모델은 단어나 어휘적 쓰임새를 학습해 지식으로 가지고 있는데 예를 들어'아버지'라는 어휘 다음에'는', '이','를' 등과 같은 어휘가 어느 정도의 확률로 나타날 수 있는 가를 나타내는 통계적 모델이 일반적으로 적용된다.

이외에 자음접변, 구개음화 등의 일반적인 음운 현상을 반영하기 위해 발음규칙이 사용되며, 인식 어휘 자체를 등록하기 위해 어휘 사전이 사용된다.

도 7은 언어 모델이 분석되는 순서를 도시한 도면이고, 도 8은 품사판별에 대한 분류도이다.

도 7 및 도 8을 참조하면, 언어모델은 형태소 분석---> 구문분석--->의미분석--->담화 분석 순으로 분석모델이 확장된다.

실제 현장에서의 키워드 추출 및 토픽 모델링을 위해서는 인식된 음성 텍스트에서 단어가 현장별로 제대로 분류되어야 한다. 텍스트로부터 단어를 구분하는 것으로 Tokenization 이라고 하는데, 한국어 단어의 품사는 5언 9품사로 구성되어 있다. 구문분석(품사판별)은 텍스트 데이터분석을 위한 전처리과정 중의 하나로 취급될 수 있다.

품사판별의 정확도를 높이기 위해서 형태소분석을 진행할 수 있다. 형태소분석은 단어의 구성요소들을 분해하여 인식하는 과정이다.

만일 품사사전이 잘 구축 된다면 사전기반으로도 품사판별을 할 수 있다. 좋은 품질을 위하여 사용자사전을 해당 분야별에 특화된 도메인 단위로 구축하는 것이 필요하다.

한국어의 의미를 지니는 단어(명사/동사/형용사/부사)는 주로 어절왼쪽에 있으므로, 이러한 특성을 고려하여 비지도학습기반의 단어추출방법 중에 하나인 Character n-gram을 이용하여 단어를 추출하는 방법을 활용할 수 있다. 단어임을 판별하기 위해서 말뭉치(Cohesion) 단위로 단어 판별 점수를 계산한다. (수식1 참고. c: 문자열의 문자)

<수식 1>

인식된 음성의 띄어쓰기 품질에 따라 다른 Tokenizing 전략을 사용할 수 있다. 띄어쓰기가 잘되어 있다면, 어절의 왼쪽에서부터 단어의 점수가 가장 큰 Sub-word를 기준으로 어절을 나눌 수 있다. 띄어쓰기가 잘 되어있지 않다면 아는 단어부터 분리하는 방식을 사용하며 상세한 처리과정은 다음과 같다.

즉, 어절의"명사/형용사/동사/부사"를 사전과 비교한다. 단어가 겹치더라도 가능한 모든 후보를 생성한다.

또한, 포함관계에 있는 같은 품사의 단어 중, 가장 긴 것만 남긴다. 또한, "조사/어미/형용사/동사"확장하고, 조사, 어미 보다 명사/형용사/동사/부사 위주 인식한다. 또한, 확장된 단어 중 같은 품사는 가장 긴 것만 남긴다. 또한, 점수계산 Feature를 만든 뒤, Weight를 곱하여 Scoring을 한다. 이때, 높은 점수의 단어부터 품사를 부여/ 겹치는 부분은 제거한다. 이때, 사전에 없는 단어로 구성된 sub-sentence를 후 처리한다.

의미 분석 및 담화 분석은, 인식된 명사 및 동사들의 상관관계를 분석하여 일반적인 순서대로 단어 활용이 되어 있는지 판단할 수 있다. 명사와 동사 정보를 활용하여 사용자의 의도를 파악하여 프로그램이 사용자의 의도대로 적절히 동작/반응 할 수 있다.

음성인식 기반 프로그램 UI 가 적용되는데, 각각의 메뉴 Depth에서 "이전"등을 발음하여 이전상태로 돌아가거나 "종료" 등을 발음하여 홈 화면으로 복귀할 수 있도록 음성인식 메뉴가 구성된다.

도 9 내지 도 11은 영상기반의 설비인식 상태를 나타낸 도면이다.

도 9 내지 도 11을 참조하면, 오프라인 단계에서 설비의 특징 벡터 셋(Key-frame), 특징 디스크립터, 카메라 자세 정보 추출하여 서버(300)에 저장할 수 있다.

온라인 단계에서는 스마트 기기(100)의 카메라 입력 영상으로부터 특징을 추출한 후 사전에 저장된 Key-frame 특징과 오차 계산, 설비 인식을 통한 식별자(ID) 획득한다. 사전에 학습된 Key-frame의 특징행렬과 영상 내 특징행렬간의 변환 행렬을 계산하여 설비를 기준 한 카메라의 위치와 회전 값을 계산(Camera Tracking)한다.

스마트 기기(100) - 스마트글라스 - 를 이용하여 이력관리(AR Post-it)를 처리할 수 있는데, 현장의 작업자가 음성인식을 통해 설비에 점검이력 내역을 기록(증강)하거나 원격의 전문가가 텍스트, 보이스, 이미지, 비디오 등의 부가 정보를 현장 설비에 증강하여 유지보수를 효율적 지원할 수 있다.

AR 유지보수 정보 모델링(메시지, 음성, 비주얼 정보, 좌표계, 스케일, 카메라 자세 서술자 정의) 및 실시간 입출력 처리기술이 적용된다.

모델, 동영상, 웹페이지 등의 증강현실 정보를 입력하고, 현장의 사용자 시점 영상에 해당 정보를 증강하여 시각화. 문서공유, 화면공유, 동영상공유 등 다양한 실시간 원격지원을 진행할 수 있다.

추가적으로 GPS 기반 현장 업무 지원 위치와 및 증강현실 유지보수 지원 정보(공간 ID, 사용자 ID, 위치, 증강현실 좌표계, 증강현실 지원 정보) 관리 데이터베이스를 구축한다. 조작되는 AR 지원 정보는 워크플로우 순서대로 서버(300)에 실시간으로 저장하여 추후 보고서 작성 및 교육 자료로 활용할 수 있다.

상술한 바와 같이, 음성인식을 이용한 지능형 인지기술기반 증강현실시스템(1)은, 설비 유지보수 시 어려움이 발생할 때, 현장의 장면을 원격 전문가에서 전송하고, 전문가는 공유된 화면을 보며 지시 사항을 표시하면, 현장에 있는 작업자가 스마트글라스를 통해 정보를 볼 수 있다. 따라서 유지 보수 작업을 효율적으로 할 수 있다.

또한, 제품 생산 시설에서, 조립 상태를 점검할 수 있으며, 설치하는 전선/배관을 촬영하면 정확한 조립 형태를 화면에 함께 보여주며 바르게 배치되었는지 자동 체크가 가능하다.

또한, 재난 현장의 화상을 실시간으로 원격 시/도 소방본부에 제공하여, 재난현장 방재 지원 업무도 가능하다.

이하, 음성인식을 이용한 지능형 인지기술기반 증강현실시스템(1)을 식품안전관리인증기준인 HACCP(Hazard Analysis and Critical Control Point)에 적용한 예시를 설명하기로 한다.

도 12는 스마트 기기(100)의 제스처 센서의 동작을 나타낸 도면이다.

도 12를 참조하면, 스마트 기기(100)에는 터치방식의 제스처 센서가 구비되어 있다. 스마트글라스의 경우, 안경테 부분에 제스처 센서가 구비되고 사용자가 손가락으로 명령을 지시할 수 있다.

즉, 스마트 기기(100)는 터치패드를 통한 터치방향에 따라 위(back), 앞(우), 가까이(선택), 멀리(취소), 뒤(좌), 아래(next) 등의 명령을 전달할 수 있다. 즉, 스마트 기기(100)는 제스처 인식이 가능하고, QR코드로 로그인이 가능하며, 측정값을 입력하거나 감지하여 모니터링 결과를 서버(300)로 전송할 수 있다. 서버(300)에 전송된 결과는 지원 단말기(200)로 전달된다.

스마트 기기(100)는 음성인식을 통해 제어 및 입력이 가능하도록 구현되는데, 서버(300)에 저장된 미리 입력된 음성모델 데이터베이스와 비교하여 문자 혹은 명령어로 변환할 수 있다. 인식된 결과는 명령이나 제어, 자료입력에 활용될 수 있으며, 단어, 단문 및 자연스러운 대화체까지 명령어로 인식할 수 있다.

<표 1>

<표 2>

<표 3>

표 1은 HACCP(Hazard Analysis and Critical Control Point)을 관리할 때의 음성 명령표(공통 명령문)이고, 표 2는 가열 CCP 모니터링에 대한 음성 명령표이고, 표 3은 금속검출 CCP 모니터링에 대한 음성 명령표이다.

참고적으로 스마트 기기(100)는 명령문장이 길어 인식이 힘들 경우, 표 1 내지 표 3의 명령에 대신 1번, 2번, 3번 등 과 같은 넘버링을 사용하여 명령을 선택할 수 있도록 대체할 수 있다.

즉, 스마트 기기(100)는 소정의 길이 이상의 명령어가 설정된 횟수 이상 인식 실패할 경우, 소정의 유사도를 갖는 적어도 하나 이상의 명령어의 단축어 또는 할당된 숫자를 알림창 형태로 제공할 수 있다. 즉, 알림창은 토스트 팝업 메시지(Toast Pop up) 형태로 표시될 수 있을 것이다.

도 13은 스마트 기기(100)에서 음성명령을 인식하는 상태를 나타낸 도면이다.

도 13을 참조하면, 스마트 기기(100)는, 디스플레이에 음성인식 가능한 명령어를 표시한다.

즉, 스마트 기기(100)는 인식할 수 있는 적어도 하나 이상의 음성명령을 각 음성명령에 할당된 숫자와 함께 박스형태의 유저 인터페이스로 표시한다.

따라서 음성명령 뿐만 아니라 숫자를 통해서도 해당 명령어를 실행시킬 수 있다.

한편, 스마트 기기(100)는 인식된 음성명령을 처리할 때, 미리 등록된 명령어 중에서 가장 유사도가 높은 명령어를 자동선택하여 실행할 수 있다.

예를 들면 "가열 CCP" 명령어가 미리 등록된 상태에서, 사용자가 실수로 "가연 CCP" 라고 말을 할 경우, 스마트 기기(100)는 "가연 CCP"를 인식한 후, "가연 CCP"와 가장 유사도가 높은 미리 등록된 명령어를 자동선택한다.

즉, 미리 등록된 명령어가 "가열 CCP, 금속검출 CCP, 보고서 작성" 일 경우, 이 3가지 등록 명령어 중 가장 어휘가 가까운 "가열 CCP"를 선택하여 실행한다.

도 13a는 스마트 기기(100)에서 음성명령을 인식하는 다른 상태를 나타낸 도면이다.

도 13a를 참조하면, 스마트 기기(100)는, 디스플레이에 음성인식 가능한 명령어를 표시한다.

도 13a에서는 아래 부분에 음성인식 가능한 명령어가 시각적으로 표시되어 있다. 참고적으로, 음성인식 가능한 명령어가 시각적으로 표시되나, 자주 사용되는 기초적인 기본 명령어는 표시되지 않도록 개별 설정할 수 있다.

한편, 스마트 기기(100)에서 사용자의 음성 명령어을 인식 성공한 경우, 인식된 명령어를 표시하는 알림창을 증강시켜 표시되므로, 사용자가 인식성공여부를 쉽게 확인할 수 있다.

즉, 스마트 기기(100)는 현장 작업자가 휴대하면서 현장의 실제영상정보를 획득하는 영상 카메라가 내장되어 있는데, 디스플레이에 증강 가이드를 표시한다. 이때, 스마트 기기(100)는 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성하고, 음성명령이 인식될 경우 알림창을 증강시켜 표시할 수 있다.

즉, 스마트 기기(100)는 디스플레이에 음성인식 가능한 명령어를 표시하고 명령어가 인식 성공할 경우, 인식된 명령어를 표시하는 알림창을 증강시켜 표시하고, 소정의 길이 이상의 명령어가 설정된 횟수 이상 인식 실패할 경우, 소정의 유사도를 갖는 적어도 하나 이상의 명령어의 단축어 또는 할당된 숫자를 알림창로 제공할 수도 있다.

도 14는 스마트 기기(100)에서 가열 CCP 모니터링을 진행하는 상태를 나타낸 도면이다.

도 14를 참조하면, 스마트 기기(100)를 소지한 현장 작업자가 음성으로 상품을 선택하는 단계가 진행된다. 다음으로 검사시작 시간이 안내되고, 다음으로 음성으로 온도 측정치를 입력한다. 다음으로 성형기 온도 사진을 촬영하고, 가열시간 측정치를 음성으로 입력한다. 마지막으로 성형기 가열시간 사진을 음성명령으로 촬영한다. - STEP 1 ~ STEP 6 -

도 15는 금속검출 CCP 검사 모니터링을 진행하는 상태를 나타낸 도면이다.

도 15를 참조하면, 스마트 기기(100)를 소지한 현장 작업자가 금속검출 여부를 음성명령어를 이용하여 입력하고, 금속 검출결과를 음성 명령어를 이용하여 사진촬영한 후 전송한다.

도 16은 이탈조치 CCP 검사 모니터링을 진행하는 상태를 나타낸 도면이다.

도 16을 참조하면, 스마트 기기(100)를 소지한 현장 작업자가 음성으로 이탈유형을 입력하는 단계가 진행된다. 다음으로 이탈조치 안내를 확인하고, 이탈 조치사항을 음성으로 선택하는 단계가 진행되며 재검사 진행여부를 선택하는 단계가 진행된다. - STEP 1 ~ STEP 4 -

도 17은 증강현실시스템(1)의 증강현실 원격지원모드의 개념도이다.

도 17을 참조하면, 음성인식을 이용한 지능형 인지기술기반 증강현실시스템(1)은, 증강현실 원격지원모드, 증강현실 현장모드, 증강현실 메뉴얼 생성모드 및 증강현실 메뉴얼 실행모드로 각각 동작하도록 설정되어 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 현장에서 생산성 향상 및 업무 효율 증대를 달성할 수 있도록 구성된다.

증강현실시스템(1)에서 스마트 기기(100)는 디스플레이에 증강 가이드를 표시하되, 현장 작업자의 음성을 인식하고 문자로 변환하여 증강현실메모를 생성하고, 음성명령이 인식될 경우 알림창을 증강시켜 표시한다.

증강현실 원격지원모드는 현장에서의 작업자의 업무 수행에 있어 업무 수행을 효율화하고 고도화 할 수 있는 화상 통신 업무지원 솔루션이 적용되어 있다. 즉, 현장에서의 업무를 수행하는 초임 작업자가 일반적인 설비점검, 매뉴얼, 장비구조 등에 대한 숙련 및 이해가 부족한 경우 원격지에 있는 전문가와의 스마트글라스(스마트 기기)에 기반한 화상 통신을 진행하여 업무 수행의 고도화와 효율화가 가능하다.

즉, 증강현실 원격지원모드에서, 스마트 기기(100)는 현장 작업자가 착용하고 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시한다.

증강현실 원격지원모드에서, 지원 단말기(200)는 스마트 기기(100)로부터 실제영상정보를 전송받아 터치 스크린에 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 증강 가이드로서 스마트 기기(100)로 전송한다.

즉, 원격 전문가는 현장 작업자가 스마트 기기(100)로 촬영하여 전송하는 실제영상정보를 확인하면서, 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 증강 가이드로서 현장 작업자의 시야에 직접 제공하여 작업의 효율성을 향상시킬 수 있다.

현장 작업자는 스마트 기기(100)를 착용하여 자신의 시야에 있는 현장의 실제영상정보를 실시간 전송하고,

원격 전문가는 실제영상정보를 직접 확인하면서 손 움직임 정보 및 지시사항 정보를 증강 가이드로써 제공하므로, 현장 작업자는 스마트 기기(100)에 표시되는 증강 가이드를 직접 확인하면서 작업을 진행할 수 있다.

즉, 현장 작업자는 스마트 기기(100)의 투명 디스플레이를 통해 실제객체 뿐만 아니라 실제객체에 할당된 증강 가이드를 동시에 확인하면서 작업을 진행할 수 있다.

따라서 현장 작업자의 시야와, 원격 전문가의 시야 범위가 실질적으로 동일하게 표시되고 상호간에 지시사항을 전달할 수 있으므로, 효율적인 의사소통이 가능하여 업무효율이 증대된다.

도 17a 내지 도 17c는 증강현실시스템(1)의 증강현실 현장모드의 예시도이다.

도 17a 내지 도 17c를 참조하면, 증강현실 현장모드는 비콘 센서 및 마커 등에 고유 아이디를 부여하여 자재 정보를 증강하는 기술이 적용된다.

스마트 기기(100)이 자재(장비)에 부착된 센서 및 마커 등을 인식하여 자재의 고유 아이디를 인식하고 이를 프라이머리 키(Primary Key)로 사용하여 관련 자재 정보를 서버(300)의 데이터베이스에서 가져와 스마트 기기(100)의 디스플레이 위로 증강 가시화한다.

기본적인 자재에 대한 정보 증강과 동시에 대형 물류 창고임을 감안하여 출고(이동) 대상 자재를 파악하고 이동되어야할 위치를 나타내주는 네비게이션 기능이 적용될 수 있다. 참고적으로 창고 내의 작업자의 현재 위치와 자재가 이동되어야 할 위치를 비콘 센서의 강도를 통하여 파악하고 이동 방향을 가시화하여 스마트 기기(100)로 가이드 해주는 기능이 적용될 수 있다.

따라서 획득되는 증강 정보를 통해 현장의 작업자는 물류 창고 내의 각종 자재 정보를 시각적, 직관적으로 이해하고 자재 출고(이동) 등의 효율적인 업무 수행이 가능하다.

이때, 대상 설비에 대한 특별한 조작 없이 스마트 기기(100)로 설비 인식 시 관련 데이터가 가시화되어 과거 이력을 조회하거나 설비 점검에 대한 가이드 등의 정보를 직관적으로 확인이 가능하다. 또한, 가시화된 정보를 바탕으로 작업자가 직관적으로 설비 정보 모니터링이 가능하며 유지보수 검사, 보고서 등의 생성/저장이 가능하다.

또한, 터빈 블레이드(압축기) 등의 설비에 대한 각 단계별 정보를 실시간으로 취득하고 각종 가이드 라인 정보, 센서 값 정보, 설비 내부 상태 정보 등을 스마트 기기, 태블릿 등의 증강현실기기의 디스플레이 위로 증강 가시화할 수 있다.

또한, 작업자가 설비 점검을 수행하기 전 점검 체크리스트들 항목들에 대한 수정 및 생성이 가능하도록 체크리스트 저작기능이 적용되어 실업무시 이러한 체크리스트 문서와 증강현실기기가 연계될 수 있다.

즉, 증강현실 현장모드에서, 스마트 기기(100)는 실제영상정보의 각 실제객체의 동작상태 및 과거정비이력을 서버로부터 제공받아 증강 가이드로써 투명 디스플레이에 표시하여 작업자에게 다양한 정보를 제공할 수 있다.

다음으로, 증강현실 메뉴얼 생성모드 및 증강현실 메뉴얼 실행모드는 일반적인 설비점검, 매뉴얼, 장비구조 등의 콘텐츠 개발 시, 전문가가 아닌 외부 개발사가 개발하는 경우가 대다수로 현장 작업자가 실제 업무에 활용함에 있어 괴리감이 발생한다.

따라서 산업현장의 특성을 고려하여 작업 전문가들이 직접 필요한 설비 매뉴얼 등의 콘텐츠를 직접 제작, 삭제, 수정 및 관리 할 수 있는 시스템이 제공된다.

즉, 증강현실 메뉴얼 생성모드에서, 스마트 기기(100)는 실제영상정보의 실제객체를 사용자(현장 작업자)가 작동시키는 과정의 조작영상을 촬영하여 서버(300)로 전송하며, 증강현실 메뉴얼 실행모드에서, 스마트 기기(100)는 조작영상을 증강 현실화하여 증강 가이드의 가상객체로써 실제객체와 정합하여 표시한다.

증강현실 메뉴얼 생성모드에서 실제객체를 사용자(현장 작업자)가 작동시키는 과정의 조작영상을 촬영하고, 증강현실 메뉴얼 실행모드에서 기기(장비) 조작영상을 증강 현실화하여 실제객체와 정합하여 표시할 수 있다.

즉, 증강현실 메뉴얼 생성모드가 설정되면 스마트 기기(100)는 실제영상정보의 실제객체를 사용자(현장 작업자)가 작동시키는 과정의 조작영상을 촬영하여 서버(300)로 전송하고, 증강현실 메뉴얼 실행모드가 설정되면 스마트 기기(100)는 조작영상을 증강 현실화하여 증강 가이드의 가상객체로써 실제객체와 정합하여 표시한다.

이하, 증강현실 원격지원모드, 증강현실 메뉴얼 생성모드 및 증강현실 메뉴얼 실행모드에 대해 좀 더 상세히 살펴보기로 한다.

스마트 기기(100)는 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시함에 있어서, 현재위치정보와 실제영상정보에 대응하는 증강 가이드를 사용자의 시야범위 내에 표시한다.

서버(300)은 스마트 기기(100)로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 증강 가이드(3차원 가상영상)를 스마트 기기(100)에 실시간으로 제공한다.

스마트 기기(100)는 기본적으로 위성위치정보를 현재위치정보로써 서버(300)에 제공하도록 구성된다. 스마트 기기(100)에 통신모듈이 포함되어 있을 경우, 위성위치정보 뿐만 아니라 주변의 와이파이(Wi-Fi) 중계기의 위치, 기지국 위치 등이 현재위치정보로써 서버(300)에 추가로 제공될 수 있다.

예를 들어 특히 실내에서는 위성위치정보를 수신할 수 없는 경우가 많으므로, 스마트 기기(100)는, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 서버(300)로 전달할 수 있다. 즉 실내에 위치한 와이파이(Wi-Fi) 중계기의 절대위치는 미리 서버(300)에 저장되어 있으므로, 스마트 기기(100)이 검색된 와이파이(Wi-Fi) 중계기의 고유번호와 신호세기를 추가로 제공할 경우, 서버(300)에서는 스마트 기기(100)의 상대적인 이동경로를 파악할 수 있다.

즉, 스마트 기기(100)과 와이파이(Wi-Fi) 중계기 사이의 상대적인 거리를 신호세기로써 확인할 수 있으며 이웃하는 와이파이(Wi-Fi) 중계기와의 신호세기 변화를 토대로 이동방향을 산출할 수 있다. 실내에서 현재위치정보를 획득하는 추가적인 방식에 대해서는 후술하기로 한다.

따라서 서버(300)는 스마트 기기(100)를 착용한 사용자(현장 작업자)의 현재위치정보와, 스마트 기기(100)의 영상 카메라에서 촬영된 실제영상정보를 통해 각각의 실제객체에 할당된 가상객체를 파악하고, 이에 대한 정보를 스마트 기기(100)로 실시간으로 전송한다.

한편, 본 발명의 실시예에 따른 음성인식을 이용한 지능형 인지기술기반 증강현실시스템(1)은, 증강현실 메뉴얼 생성모드에서 실제객체를 사용자가 작동시키는 과정의 조작영상을 촬영하고, 증강현실 메뉴얼 실행모드에서 (장비) 조작영상을 증강 현실화하여 실제객체와 정합하여 표시할 수 있다.

즉, 증강현실 메뉴얼 생성모드가 설정되면 스마트 기기(100)는 실제영상정보의 실제객체를 사용자가 작동시키는 과정의 조작영상을 촬영하여 서버(300)로 전송하고, 증강현실 메뉴얼 실행모드가 설정되면 스마트 기기(100)는 조작영상을 증강 현실화하여 증강 가이드(3차원 가상영상)의 가상객체로써 실제객체와 정합하여 표시한다.

도 18 및 도 18a는 증강현실시스템(1)의 증강현실 메뉴얼 생성모드에서의 동작상태를 나타낸 도면이다.

도 18 및 도 18a를 참조하면, 증강현실 메뉴얼 생성모드가 설정된 후 스마트 기기(100)를 착용한 사용자(현장 작업자)가 증강현실 메뉴얼을 제작할 대상물(실제객체)을 바라보면서 대상물(실제객체)에 대한 증강현실용 3차원 정합 좌표계를 자동설정하게 된다.

이때, 사용자(현장 작업자)는 영상 녹화할 영역을 설정할 수 있다. 즉, 대상물(실제객체)을 선택하거나, 실제객체의 특정부분을 지정하여 영상녹화를 시작할 수 있다. 따라서 사용자(현장 작업자)가 증강현실 메뉴얼 생성모드를 설정한 후, 실제객체의 대한 유지보수 등의 행동이 스마트 기기(100)에 장착된 카메라를 통해 녹화된다.

참고적으로, 녹화 프레임 형태가 사용자의 시점에 따라서 변형될 경우 3차원 객체 추적을 통해 프레임 형태를 원형 상태로 복원할 수 있다. 즉, 스마트 기기(100)는 실제영상정보의 실제객체를 사용자가 작동시키는 과정의 조작영상을 촬영함에 있어서, 촬영시점이 변경되더라도 선택된 실제객체의 최초촬영 시점을 유지하도록 조작영상을 처리할 수 있다.

또한, 조작영상은 실제객체의 3차원 깊이정보를 포함하는데, 스마트 기기(100)에는 3D센서가 구비되어 있으므로 이를 통해 실제객체의 3차원 영상을 획득할 수 있을 것이다. 즉, 스마트 기기(100)의 카메라는 일반적인 RGB 신호 획득 뿐만 아니라 3차원 점군(Point Cloud)을 획득할 수 있는 깊이 카메라(Depth)를 포함할 수 있다. 스마트 기기(100)에 대한 상세한 구성은 후술하기로 한다.

이와 같이 사용자가 스마트 기기(100)를 착용한 후 실제객체에 대한 조작과정을 촬영하여 녹화영상을 저장하고 서버(300)에 업로드하는 과정이 진행된다.

여기에서 조작과정은 실제객체(장비)에 대한 사용법, 유지보수법 등을 포함한다. 즉 단순히 장비를 작동하는 과정과, 고장시 조치과정과, 고장시 분해 조립과정 등이 촬영된 후 서버(300)로 전송될 수 있다.

도 19는 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 동작상태를 나타낸 도면이다.

도 19를 참조하면, 증강현실 메뉴얼 실행모드가 설정된 후 스마트 기기(100)를 착용한 사용자(현장 작업자)가 대상물(실제객체)을 바라보면 대상물이 자동인식 된다. 즉, 현재위치정보 및 실제영상정보를 토대로 실제객체에 대응하는 증강 가이드(3차원 가상영상)가 스마트 기기(100)에 표시된다.

이때, 대상물(실제객체)과 함께 저장했던 동영상이 증강되어 표시되는데, 증강 동영상(가상객체)은 실물(실제객체)과 함께 보여 질 수 있도록 투명도가 조절되어 표시될 수 있다.

기본적으로 3차원 객체 추적을 통해 증강되는 증강 동영상(가상객체)은 대상물(실제객체)에 3차원적으로 정면에서 촬영한 영상처럼 정확하게 정합되어 표시된다.

참고적으로, 사용자는 시선, 음성인식, 손 제스처, 별도의 스마트 기기(100)의 내장 입력장치(터치패드, 조이스틱)를 통해서 증강 동영상의 녹화 및 재생을 제어할 수 있다. 스마트 기기(100)에 대한 상세한 구성은 후술하기로 한다.

도 20은 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 다른 동작상태를 나타낸 도면이다.

도 20을 참조하면, 대상물(실제객체)과, 실제객체에 대한 가상영상이 정합되어 표시될 수 있다. 즉, 대상물을 분해하는 동작이 가상영상으로 정합되어 표시되는 과정이 도시되어 있다.

우선 제1 도면(A) 및 제2 도면(B)의 경우, 분해할 대상물의 첫 번째 영역이 점선 등으로 표시되므로, 사용자가 가상영상으로 표시되는 것과 동일하게 첫 번째 영역의 분해동작을 진행할 수 있다.

다음으로, 제2 도면(B) 및 제3 도면(C)의 경우, 분해할 대상물의 두 번째 영역이 점선 등으로 표시되므로, 사용자가 가상영상으로 표시되는 것과 동일하게 두 번째 영역의 분해동작을 진행할 수 있다.

이때, 분해과정이 표시되는 가상영상은 사용자의 실제분해 진행여부에 관계없이 동영상 형태로 연속적으로 재생되고 재생속도 및 반복속도가 지정될 수 있다.

참고적으로, 인터렉티브(interactive) 모드가 설정될 경우, 표시되는 가상영상은 사용자의 실제분해 진행여부에 동기화되면서 재생된다. 즉, 대상물의 첫 번째 영역의 분해동작이 완료되었음을 자동식별한 후, 두 번째 영역이 점선 등으로 표시되면서 두 번째 영역의 분해동작을 재생하게 된다. 이때, 대상물의 첫 번째 영역의 분해동작이 완료될 때까지 해당 가상영상은 반복적으로 재생되며, 분해시간이 지연될 경우 자동으로 영상 재생속도가 느리게 설정된다.

스마트 기기(100)는 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시한다.

지원 단말기(200)는 스마트 기기(100)로부터 실제영상정보를 전송받아 터치 스크린에 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 증강 가이드로서 스마트 기기(100)로 전송한다.

한편, 도면에는 스마트 기기(100)와 지원 단말기(200) 사이에 직접 데이터가 전송되는 개념이 도시되어 있으나, 서버(300)를 경유하여 스마트 기기(100)와 지원 단말기(200)가 상호 간에 데이터를 전송하도록 구성될 수 있을 것이다.

스마트 기기(100)는 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하도록 구성된다.

지원 단말기(200)는 터치 스크린에 실제영상정보를 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 서버(300)로 전송한다.

즉, 지원 단말기(200)는, 실제영상정보를 표시하며 메뉴영역과 작업영역을 구분하여 표시하는 터치 스크린과, 터치 스크린의 일측에 배치되어 터치 스크린의 상부공간의 움직임 정보를 감지하는 3차원 카메라와, 원격 전문가의 음성을 녹음하여 전송하는 마이크와, 현장 작업자의 음성을 출력하는 스피커를 포함하여 구성된다. 마이크 및 스피커는 일체형으로 구성되어 헤드셋 형태로 원격 전문가가 머리에 착용하는 형태로 구성되는 것이 바람직하다.

지원 단말기(200)의 제어회로, 유무선 통신회로 등은 발명의 요지가 아니므로 설명은 생략하기로 한다.

서버(300)는 스마트 기기(100)과 지원 단말기(200) 사이에서 데이터를 상호 중계하고, 손 움직임 정보 및 지시사항 정보에 대응되는 증강 가이드가 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 스마트 기기(100)에 실시간 제공한다.

도 21은 지원 단말기(200) 화면 구성의 예시도이다.

도 21을 참조하면, 지원 단말기(200)의 터치 스크린은 메뉴영역과 작업영역으로 구분되어 표시된다.

메뉴영역은 원격 전문가가 지원 단말기(200)의 세부기능을 선택하기 위해 사용하므로, 현장 작업자에게는 표시되지 않는다.

메뉴영역은 측면, 상단에 메뉴들을 배치하여 손으로 쉽게 접근할 수 있도록 구성된다. 자동 사용성 평가를 통해 선택이 쉬운 메뉴 버튼 크기, 위치 결정이 자동 지정되는데, 자주 쓰이는 기능은 손과 가까운 위치에 배치되어 사용자가 신속하게 선택할 수 있다.

참고적으로 자주 쓰이는 기능은 사용자의 손과 가까운 위치에 자동 배치되도록 위치가 자동 조절될 수 있다. 즉, 사용자의 손이 소정의 시간동안 한 장소에 위치할 경우, 손의 위치에서 가까운 위치 순서대로 자주 쓰이는 메뉴들이 자동 이동할 수 있다.

작업영역은 현장 작업자가 전송한 실제영상정보가 표시되는 영역이면서 3차원 카메라가 객체를 검출하는 유효영역이다. 작업영역에서 원격 전문가가 펜 또는 지우개 등을 이용하여 지시사항을 드로잉할 경우, 현장 작업자의 투명 디스플레이에 지시사항이 증강 가이드로써 표시된다.

이때 원격 전문가가 선택한 실제객체 주위에 펜을 통해 지시사항을 드로잉할 경우, 현장 작업자의 투명 디스플레이에도 그 지시사항이 실제객체 주위에 드로잉 되어 증강 가이드로써 표시된다.

한편, 지원 단말기(200)는 각 도구(펜, 지우개)가 인식될 경우 드로잉 가이드 모드로 자동 전환되어 터치 스크린에서 이동하는 각 도구(펜, 지우개)의 이동좌표를 전송한다.

또한, 지원 단말기(200)는 원격 전문가의 손 및 각 공구 중 어느 하나가 인식될 경우 행동 가이드 모드로 자동 전환되어 원격 전문가의 손 움직임 영상 및 각 공구 움직임 영상을 전송한다.

즉, 지원 단말기(200)는 원격 전문가(사용자)의 행위, 즉 손을 사용하는지, 도구(펜, 지우개)를 사용하는지, 공구를 사용하는지를 판별한 후, 드로잉 가이드 모드 또는 행동 가이드 모드로 자동전환 된다.

기본적으로 행동 가이드 모드에서 원격 전문가의 모든 행위가 실시간으로 스마트 기기(100)로 전달되며, 드로잉 가이드 모드에서는 원격 전문가가 원하는 지시사항만이 선택적으로 스마트 기기(100)로 전달되도록 구성된다.

즉, 스마트 기기(100)에 불필요한 지시사항 및 정보가 전달될 경우, 스마트 기기(100)를 착용한 현장 작업자가 혼란스러울 수 있으므로 필요한 정보만을 선택하여 전송되도록 설정할 수 있다. 또한, 드로잉 가이드 모드에서도 원격 전문가가 실시간 영상이 아닌 미리 녹화된 영상만을 전송하도록 선택할 수 있다.

도 22는 지원 단말기(200)에서 객체를 감지하는 방법을 나타낸 도면이다.

도 22를 참조하면, 지원 단말기(200)의 3차원 카메라는 터치 스크린 상부의 공간의 움직임을 3차원적으로 감지하도록 구성되는데,

기본적으로 3차원 깊이정보를 이용하여 각 공구, 각 도구(펜, 지우개) 및 원격 전문가의 손을 식별하고, 그 움직임 데이터를 연속적으로 저장한다.

또한, 지원 단말기(200)의 3차원 카메라는 색상정보를 이용하여 원격 전문가의 손을 식별하고, 3차원 깊이정보를 이용하여 각 공구 및 각 도구(펜, 지우개)를 식별한 후, 그 움직임 데이터를 연속적으로 저장하도록 구성될 수 있다.

즉, 손과 같은 비강체는 색상을 이용하여 최초로 식별한 후 3차원 깊이정보를 이용하여 미리 설정된 물체인지를 재확인하는 절차가 진행될 수 있다. 또한, 각 공구 및 각 도구 등과 같은 강체는 3차원 깊이정보를 이용하여 미리 설정된 물체인지를 검출하는 절차가 진행될 수 있을 것이다.

즉, 우선 오프라인 상에서 인식할 대상물을 사전에 학습 후 분리된 객체가 사용자 손, 펜, 지우개, 도구, 연장 인지 인식한다. 펜 지우개 도구 연장 등 외형이 변하지 않는 강체는 3차원 깊이 정보(3D depth data)를 기반으로 3차원 표면 매칭(3D surface matching)하여 인식할 수 있다.

또한, 그 이외의 손과 같은 비강체는 색상정보를 이용하여 손 식별 유무를 판별하도록 구성될 수 있다. 손의 색상정보는 시스템 처음 실행 시 시작 버튼을 누르거나 할 때 암묵적으로 손을 자동으로 검출하여 자동으로 손 색상을 학습하도록 설정되는 것이 바람직하다.

도 22에 도시된 객체를 감지하는 방법은 다음과 같이 진행된다.

우선, 3차원 카메라로부터의 입력영상 중에서 터치 스크린의 상부영역의 영상을 획득하는 과정이 수행된다. - S10 -

다음으로, 학습 및 인지할 터치 스크린 화면 영역을 좀 더 세부적으로 설정하는 과정이 수행된다. - S20 -

다음으로, 촬영된 영상의 깊이정보를 바탕으로 객체를 분리하는 과정이 수행된다. - S30 -

다음으로, 추출된 영역 내 객체의 컬러정보를 적용하는 과정이 수행된다. - S40 -

마지막으로, 터치 스크린 상부의 공간 좌표계와, 스마트 기기(100)의 좌표계의 정합이 이루어지면서 증강 가이드가 스마트 기기(100)의 투명 디스플레이에 표시되는 과정이 수행된다. - S50 -

도 23은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제1 화면 예시도이다.

도 23을 참조하면, 펜이 작업 영역 내에 있다면 자동으로 드로잉 모드로 전환되며, 터치 스크린 상의 펜 이동 좌표 전송을 수행하고, 좌표간 거리 계산하여 일정 거리 이상일 경우만 전송하도록 설정된다. 지우개 객체가 인식될 경우 스크린 상의 드로잉은 삭제된다.

펜은 터치 스크린의 스타일러스 펜으로 정의되고, 손의 색상과 다르게 하여 펜이 작업 영역 내에 있는지 판별할 수 있도록 한다. 펜이 작업영역에 있고 펜 끝이 터치 스크린에 접촉되면 해당 지점의 좌표를 서버 및 스마트 기기(스마트 글라스)로 전송한다.

드로잉을 삭제할 때는 지우개 형태의 감각형 객체를 인식하여 스크린 상의 메모를 신속하게 지울 수 있도록 한다. 즉, 지우개 객체를 인식하여 지우개 객체의 영역 내에 포함되는 드로잉 픽셀 값을 삭제한다.

도 24는 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제2 화면 예시도이다.

도 24를 참조하면, 3차원 깊이 데이터(3D Depth data) 기반으로 맨손 또는 도구가 인식되면, 자동으로 행동 가이드 모드로 전환된다. 전문가가 행동하는 손의 움직임과 도구를 사용하는 모습을 그대로 전송하여 직관성이 향상되는데, 분리된 해당 객체 영역을 이미지 버퍼에 저장하여 웹 실시간(Web RTC) 기반으로 데이터를 전송한다.

따라서 전문가가 행동하는 손의 움직임과 도구를 사용하는 모습을 그대로 현장 작업자가 확인 할 수 있도록 하여 직관성이 향상되며, 분리된 해당 객체 영역을 이미지 버퍼에 저장하여 스마트 기기로 전송할 수 있다.

도 25는 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제3 화면 예시도이다.

도 25를 참조하면, 마우스 위치를 찾지 않고도 손으로 스크린을 터치하여 포인팅 할 수 있다. 손 끝 또는 펜 끝이 터치 스크린에 접촉되는 좌표를 검출하고 실시간 전송한다.

도 26은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제4 화면 예시도이다.

도 26을 참조하면, 터치 스크린 좌표 및 3차원 깊이 데이터(3D Depth data)를 기반으로 손 제스처를 인식할 수 있다. 손 끝이 터치 스크린 상에서 이동하는 2차원 좌표의 궤적을 시간 순으로 저장하고, 2차원 시계열 좌표를 웹 실시간(Web RTC) 기반으로 전송한다. 이때, 궤적의 길이가 일정 크기 이상이며 방향성이 있을 때만 해당 방향으로 화살표 증강하도록 설정될 수 있다. 화살표 객체는 현장 작업자가 착용한 스마트 기기에도 동시에 증강된다.

도 27은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제5 화면 예시도이다.

도 27을 참조하면, 터치 스크린 화면 위에서 손 또는 펜을 이용하여 신속하고 직관적으로 표시된 이미지의 위치를 변경할 수 있다. 이미지 크기 및 회전 조정은 두 손 또는 두 손가락을 이용하여 진행할 수 있다. 이미지 조작 값(2축 이동, 2축 회전, 2축 크기)은 웹 실시간(Web RTC) 기반으로 전송된다.

도 28은 지원 단말기(200) 및 스마트 기기(100)에 표시되는 제6 화면 예시도이다.

도 28을 참조하면, 지원 단말기(200)의 터치 스크린 상에서 원격 전문가가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 원격 전문가의 손의 움직임에 따라 연동되어 위치가 변경될 수 있다.

증강된 3차원 모델은 터치 스크린 화면 위에서 손 또는 펜을 이용하여 신속하고 직관적으로 위치를 변경될 수 있다. 즉, 손을 이용하여 신속하고 직관적으로 3D 모델의 위치, 크기, 회전 조정할 수 있다. 이때, 조작 값(3축 이동, 3축 회전, 3축 크기)은 웹 실시간(Web RTC) 기반으로 전송된다.

즉, 원격 전문가가 지원 단말기(200)에서 실체객체(부품)를 선택하고 3차원 모델로 증강시킨 후, 해당 부품의 조립과정, 분해과정 등을 직접 손으로 조작하는 영상을 실시간으로 현장 작업자의 스마트 기기(100)로 전송하여 직관적인 증강 가이드를 제공할 수 있다.

참고적으로, 실물 키보드 또는 가상 키보드가 지원 단말기(200)의 터치 스크린과 연동되어 사용될 수 있다. 실물 키보드가 작업 영역에 있을 경우 키보드를 인식하고, 자동으로 텍스트 가이드 모드로 전환되는데, 이때 키보드 및 손 영역은 스마트 기기(100)로 전송하지 않는다.

다른 방식으로, 터치 스크린 화면 위에 가상 키보드를 띄워서 필요할 때만 사용하고 사용 후에는 키보드를 화면상에서 닫을 수 있는 소프트웨어 방식으로 동작할 수도 있다.

한편, 전문가가 가이드 하는 모든 작업 화면을 스마트 기기(스마트글라스)으로 전송하게 되면, 작업자가 혼동할 수 있다. 이러한 현상을 방지하기 위해서 전문가의 행동 의도를 파악하여 선별적으로 가이드 메뉴가 변경되도록 하며 가이드에 필요한 정보만이 스마트 기기(스마트글라스)으로 전송된다.

예를 들면 펜이 작업 공간에 나타나고 화면에 접촉하면 즉시 드로잉 모드로 변경되고, 이미지를 전송하는데 필요한 파일 로딩 시 파일 로딩 다이얼로그 화면은 현장 작업자에게 보여줄 필요가 없기 때문에 전송하지 않는다.

도 29는 스마트 기기(100)에 표시되는 증강 가이드의 예시도이다.

도 29는 도 28의 지원 단말기(200)의 터치 스크린 상에서 원격 전문가가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 원격 전문가의 손의 움직임에 따라 연동되어 위치가 변경되는 하나의 예시를 나타낸 것이다.

즉, 터치 스크린 상의 실제영상정보 중에서 원격 전문가가 나사(실제객체)를 선택했을 경우, 나사가 3차원 모델로 증강되어 표시된다.

이때, 원격 전문가가 증강된 나사위에서 나사를 체결하기 위한 육각렌치를 손으로 들고 회전시킬 경우, 회전방향에 따라 증강된 나사가 회전하는 영상이 표시된다. 이때, 육각렌치의 회전방향 및 나사의 회전방향을 표시하는 화살표가 자동으로 표시될 수 있다.

이때, 원격 전문가가 실제 육각렌치가 아닌 가상의 육각렌치를 선택할 경우, 가상의 육각렌치도 동시에 증강되어 사용자의 손의 지시에 따라 회전하도록 설정될 수도 있을 것이다.

가상의 육각렌치를 사용할 경우, 원격 전문가의 음성명령, 즉 "시계방향 회전", "반시계방향 회전", "나사 풀기", "나사 체결하기", "3회 회전" 등과 같은 음성명령에 따라 증강된 육각렌치 및 나사가 움직이도록 설정될 수 있다.

한편, 원격 전문가가 음성으로 나사를 체결하는 구체적인 방식을 지시할 경우, 음성이 인식되어 텍스트로 터치 스크린의 화면에 표시되며, 육각렌치 또는 나사의 회전 횟수도 영상 감지되어 표시된다. 이때, 원격 전문가는 직접 텍스트를 입력하여 나사를 체결하는 구체적인 방식을 지시할 수도 있으며, 음성인식과 병행하여 지시할 수 있다.

이때, 터치 스크린에 표시되는 모든 영상 중에서 손을 제외한 영상이, 스마트 기기의 투명 디스플레이에 동시에 표시되므로, 스마트 기기를 착용한 현장 작업자는 원격 전문가가 바로 옆에서 작업을 지시하는 듯한 느낌을 얻을 수 있어, 정확한 작업 가이드가 가능하다.

원격 전문가는 실시간으로 증강 가이드를 전송하여 현장 작업자에게 지시할 수도 있으나, 순차적인 가이드를 위해, 자신의 지시동작을 미리 확인하고 필요한 영상만을 선택적으로 전송하도록 제어할 수 있다.

한편, 현장 작업자가 실제로 나사에 육각렌치를 삽입하여 나사를 체결할 때, 육각렌치 또는 나사의 회전 횟수가 영상 감지되어 표시되고, 육각렌치의 삽입 깊이도 영상 감지되어 표시될 수 있다. 즉, 최대 삽입치 및 최소 삽입치가 자동으로 감지되어 화면에 표시되므로 작업자는 육각렌치의 체결 깊이를 보다 정확하게 시각적으로 인지할 수 있다.

이때, 육각렌치의 길이정보와, 나사의 체결구멍 등과 같은 제원정보는 서버(300)에 미리 저장되어 있으므로, 미리 저장된 정보를 바탕으로 서버(300)에서 체결 깊이를 검출할 수 있을 것이다.

참고적으로, 서버(300)는 스마트 기기(100)의 투명 디스플레이의 좌표와, 지원 단말기(200)의 터치 스크린의 좌표를 항상 실시간 정합하여, 현장 작업자의 시야와, 원격 전문가의 시야가 일치되도록 제어한다.

한편, 기본적으로 증강현실 단말기는 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드(3차원 가상영상)를 표시함에 있어서, 현재위치정보와 실제영상정보에 대응하는 증강 가이드를 사용자의 시야범위 내에 표시한다.

서버(300)는 증강현실 단말기로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 증강 가이드를 증강현실 단말기에 실시간으로 제공한다.

증강현실 단말기는 기본적으로 위성위치정보를 현재위치정보로써 서버(300)에 제공하도록 구성된다. 증강현실 단말기에 통신모듈이 포함되어 있을 경우, 위성위치정보 뿐만 아니라 주변의 와이파이(Wi-Fi) 중계기의 위치, 기지국 위치 등이 현재위치정보로써 서버(300)에 추가로 제공될 수 있다.

예를 들어 특히 실내에서는 위성위치정보를 수신할 수 없는 경우가 많으므로, 증강현실 단말기는, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 서버(300)로 전달할 수 있다. 즉 실내에 위치한 와이파이(Wi-Fi) 중계기의 절대위치는 미리 서버(300)에 저장되어 있으므로, 증강현실 단말기가 검색된 와이파이(Wi-Fi) 중계기의 고유번호와 신호세기를 추가로 제공할 경우, 서버(300)에서는 증강현실 단말기의 상대적인 이동경로를 파악할 수 있다.

즉, 증강현실 단말기와 와이파이(Wi-Fi) 중계기 사이의 상대적인 거리를 신호세기로써 확인할 수 있으며 이웃하는 와이파이(Wi-Fi) 중계기와의 신호세기 변화를 토대로 이동방향을 산출할 수 있다.

따라서 서버(300)은 증강현실 단말기를 착용 또는 소지한 사용자의 현재위치정보와, 증강현실 단말기의 영상 카메라에서 촬영된 실제영상정보를 통해 각각의 실제객체에 할당된 가상객체를 파악하고, 이에 대한 정보를 증강현실 단말기로 실시간으로 전송한다.

도 30은 증강현실시스템(1)의 증강현실 단말기의 구성도이고, 도 30a는 증강현실 단말기의 예시도이다.

도 30 및 도 30a를 참조하면, 증강현실 단말기는 투명 디스플레이(110)와, 좌측 전방 카메라(121)와, 우측 전방 카메라(122)와, 좌측 3D센서(131)와, 우측 3D센서(132)와, 위성모듈(141)과, 통신모듈(142)과, 9축 센서(143)와, 배터리(144)와, 인식 카메라(145)와, 제어부(150)를 포함하여 구성된다.

투명 디스플레이(110)는 투명한 재질의 디스플레이로써 증강현실 단말기의 렌즈를 구성한다. 따라서 사용자가 전방을 주시한 상태에서 실제객체와 가상객체를 동시에 확인할 수 있다. 이때 투명 디스플레이(110)는 렌즈 전체 또는 렌즈 일부에 탑재될 수 있다.

좌측 전방 카메라(121)는 안경의 좌측에 탑재되어 전방의 실제영상정보를 획득한다. 또한, 우측 전방 카메라(122)는 안경의 우측에 탑재되어 전방의 실제영상정보를 획득한다.

좌측 3D센서(131) 및 우측 3D센서(132)는 좌측 전방 카메라(121) 및 우측 전방 카메라(122)와 연동되어 전방의 3D영상을 촬영할 수 있도록 동작한다. 즉 촬영된 3D 영상은 내장된 메모리에 저장되거나 서버(300)로 전송될 수 있다. 참고적으로 실시예에 따라 전방 카메라 및 3D센서가 하나씩 배치되어 실제영상정보를 획득하도록 구성될 수도 있을 것이다. 전방 카메라는 적외선 영역 및 가시광선 영역을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.

위성모듈(141)은 위성위치정보를 획득하기 위해 구비되고, 통신모듈(142)은 와이파이(Wi-Fi) 통신모듈, 블루투스 통신모듈, 광대역(3G, 4G, LTE) 통신모듈이 탑재될 수 있다.

9축 센서(143)는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서(143)는 증강현실 단말기의 3차원적인 움직임을 감지하여 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.

배터리(144)는 증강현실 단말기에 구동전원을 공급할 수 있도록 구성되며 충전 가능한 리튬이온 배터리나, 의사 캐패시터로 구성될 수 있다.

참고적으로, 배터리(144)는 복수의 의사 캐패시터(Pseudo Capacitor)로 구성될 수 있는데, 의사 캐패시터(Pseudo Capacitor)는 전극에서의 이차원적인 산화-환원 반응을 이용하므로 일반적인 캐패시터보다 우수한 축전용량을 가지며 수명이 상대적으로 긴 장점이 있다.

인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지한다. 인식 카메라(145)는 좌측 및 우측에 각각 배치되는 것이 가장 바람직하며 어느 한 방향에만 배치될 수도 있다.

기본적으로 인식 카메라(145)는 사용자의 눈이 위치한 방향으로 촬영되고 있으나, 투명 디스플레이(110)에서 반사되는 눈의 영상을 촬영하여 눈동자의 움직임, 응시방향, 크기변화 등을 감지하도록 구성될 수도 있을 것이다.

제어부(150)는 투명 디스플레이(110), 좌측 전방 카메라(121), 우측 전방 카메라(122), 좌측 3D센서(131), 우측 3D센서(132), 위성모듈(141), 통신모듈(142), 9축 센서(143), 배터리(144), 인식 카메라(145)의 동작을 제어한다.

한편, 제어부(150)는 충전전력의 크기에 따라 복수의 의사 캐패시터 중 적어도 어느 하나를 선택적으로 충전하도록 구성될 수 있다. 그 충전방식에 대해서 상세히 설명하면 다음과 같다.

복수의 의사 캐패시터가 3개 배치될 경우, 즉 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터가 배치된다고 가정한다. 이때 제1 의사 캐패시터의 충전용량이 가장 크고, 제2 의사 캐패시터의 충전용량은 제1 의사 캐패시터보다 작고, 제3 의사 캐패시터의 충전용량은 제2 의사 캐패시터보다 더 작다고 가정한다.

제어부(150)는 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터의 충전량을 감지한 후, 충전량이 가장 높은 순서대로 구동전력을 공급한다.

예를 들면, 제1 의사 캐패시터의 충전량이 60%이고, 제2 의사 캐패시터의 충전량이 70%이고, 제3 의사 캐패시터의 충전량이 80%일 경우,

제3 의사 캐패시터의 전력을 우선으로 공급하다가, 충전량이 40%에 도달하면 제3 의사 캐패시터의 전력공급을 차단하고 제2 의사 캐패시터의 전력을 공급한다. 또한, 제2 의사 캐패시터의 충전량이 40%에 도달하면 제2 의사 캐패시터의 전력공급을 차단하고 제1 의사 캐패시터의 전력을 공급한다.

또한, 제1 내지 제3 의사 캐패시터의 충전량이 모두 40% 이하 일 경우, 제어부(150)는 제1 내지 제3 의사 캐패시터를 병렬로 연결하여 구동전력을 공급한다.

또한, 음성명령이 인식될 경우 알림창을 증강시켜 표시할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 스마트 기기
200 : 지원 단말기
300 : 서버
110 : 투명 디스플레이
121 : 좌측 전방 카메라
122 : 우측 전방 카메라
131 : 좌측 3D센서
132 : 우측 3D센서
141 : 위성모듈
142 : 통신모듈
143 : 9축 센서
144 : 배터리
145 : 인식 카메라
150 : 제어부

Claims

삭제
삭제
삭제
현장 작업자가 휴대하면서 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드를 표시하되, 인식할 수 있는 적어도 하나 이상의 음성명령을 각 음성명령에 할당된 숫자와 함께 박스형태의 유저 인터페이스로 표시하는 스마트 기기;
디스플레이에 상기 실제영상정보를 표시하며, 원격 전문가가 지시하는 지시사항 정보를 감지하여 서버로 전송하는 지원 단말기; 및
상기 스마트 기기와 상기 지원 단말기 사이에서 데이터를 상호 중계하고, 상기 지시사항 정보에 대응되는 상기 증강 가이드가 상기 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 상기 스마트 기기에 실시간 제공하는 상기 서버;를 포함하고,
상기 스마트 기기는, 음성인식을 통해 인식된 음성을 문자로 변환하여 가상의 증강현실 메모쪽지로써 점검이력 내역을 기록하거나, 과거의 점검이력을 표시하며, 상기 원격 전문가는 상기 지원 단말기를 통해 상기 현장 작업자가 상기 스마트 기기로 촬영하여 전송하는 상기 실제영상정보를 확인하면서, 상기 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 상기 증강 가이드로써 상기 스마트 기기로 제공하도록 구성되는 증강현실시스템.
제4항에 있어서,
상기 스마트 기기는,
인식된 음성명령을 처리함에 있어서, 미리 등록된 명령어 중에서 가장 유사도가 높은 명령어를 자동선택하여 실행하는 것을 특징으로 하는 증강현실시스템.
삭제