KR101135753B1 - 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법 - Google Patents

증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법 Download PDF

Info

Publication number
KR101135753B1
KR101135753B1 KR1020100060800A KR20100060800A KR101135753B1 KR 101135753 B1 KR101135753 B1 KR 101135753B1 KR 1020100060800 A KR1020100060800 A KR 1020100060800A KR 20100060800 A KR20100060800 A KR 20100060800A KR 101135753 B1 KR101135753 B1 KR 101135753B1
Authority
KR
South Korea
Prior art keywords
unit
user
information
image
virtual
Prior art date
Application number
KR1020100060800A
Other languages
English (en)
Other versions
KR20120000437A (ko
Inventor
김상철
우종우
신기현
Original Assignee
건국대학교 산학협력단
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단, 국민대학교산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020100060800A priority Critical patent/KR101135753B1/ko
Publication of KR20120000437A publication Critical patent/KR20120000437A/ko
Application granted granted Critical
Publication of KR101135753B1 publication Critical patent/KR101135753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법에 관한 것이다. 본 발명은 클라이언트 유닛(100)과 서버유닛(200)을 포함한다. 사용자는 자신이 소유한 클라이언트 유닛(100)을 통해 자신의 위치 및 방향 정보를 추출하고 이를 서버 유닛(200)으로 전달한다. 상기 서버 유닛(200)은 상기 클라이언트 유닛(100)에서 제공된 사용자 정보 및 수행할 프로세서 정보를 이용하여 사용자가 하고자 할 의도를 추론한다. 그런 다음 상기 서버 유닛(200)은 상기 추론된 현재 상황에 따라 생성된 작업계획을 서비스 소프트웨어(300)의 함수호출에 의하여 수행하면서 이에 대한 정보를 상기 클라이언트유닛(100)으로 전송한다. 그러면 상기 클라이언트 유닛(100)은 상기 서버유닛(200)에서 제공받은 영상정보를 이용하여 가상 3D 이미지를 생성하고, 이를 현실 영상정보와 통합하여 사용자에게 제공한다. 그와 같은 본 발명에 따르면, 사용자의 의도를 충분히 파악할 수 있고, 그 의도대로 프로세서를 진행할 수 있으며, 상기 프로세서에 대한 정보를 대화형 도우미인 3D 가상 캐릭터를 통해 사용자에게 제공하기 때문에, 사용자는 실존감 있고 친숙하게 프로세스를 진행할 수 있는 이점이 있다.

Description

증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법{Apparatus and Method for Augmented Reality Interface Agent}
본 발명은 증강현실기반의 인터페이스 에이전트에 관한 것으로, 특히 사용자 정보 및 트래킹(tracking) 정보를 이용하여 사용자의 의도를 파악한 후 3D 가상 캐릭터를 통해 사용자가 소정 프로세스를 적절히 수행하도록 하는 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법에 관한 것이다.
현재 널리 사용되고 있는 컴퓨터와 사용자(user)와의 인터페이스는 그래픽 사용자 인터페이스를 중심으로 하는 직접 조작(Direct Manipulation) 방식이 주류를 이루고 있다.
상기 직접 조작 방식은 사용자가 그래픽 사용자 인터페이스로 제공되는 메뉴, 아이콘, 포인트 장치 등의 도구 모음을 사용하여 프로그램 내부에 직접적인 명령을 전달하는 방식이다.
하지만, 상기 직접 조작 방식은 프로그램이 제공하는 기능들이 방대해짐에 따라 각 기능들을 조작하기 위한 도구 모음 또한 복잡하게 되는 문제를 초래한다.
또한, 상기 직접 조작 방식은 사용자가 원하는 목표를 성취하기 위해서는 프로그램에서 제공하는 다양한 도구에 대한 지식을 습득하여야 하는 번거로움이 있다.
따라서, 사용자의 이해를 돕거나 작업을 대신 수행하는 프로세스가 필요하였고, 이에 인터페이스 에이전트(Interface Agent)가 개발되었다. 상기 인터페이스 에이전트는 사람과 프로그램 사이의 상호작용을 위한 매개체 역할을 수행하며 사용자의 목적을 성공적으로 파악하여 실행시켜 주는 지능형 프로세스이다. 즉 사용자가 수행하고자 하는 작업에 대한 사전지식을 가지고 사용자의 의도를 파악하여 사용자의 작업수행을 보조하거나 임무를 대신하여 수행하는 프로그램이고, 업무 실행에 대한 조언을 듣거나 업무를 대리 수행함으로써 편이성을 추구할 수 있다.
하지만, 상기 인터페이스 에이전트를 이용한 프로세스는 에이전트가 존재하는 소프트웨어에 의존적이고 시스템의 내부상태에 대한 정보만을 활용하여 사용자의 상황을 판단하기 때문에, 사용자의 실시간 상황을 인지하고 이를 활용하기에는 많은 제약이 따르는 문제점이 있다.
따라서 본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 인터페이스 에이전트를 증강현실 공간으로 확장하여 가상 캐릭터를 매개체로 한 사용자와의 상호작용으로 보다 인간 친화적인 인터페이스를 제공할 수 있도록 한 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따르면, 사용자 정보 및 트래킹 정보에 기초하여 현실 영상과 가상 3D 이미지를 정합하여 출력하는 클라이언트유닛; 사용자가 의도한 상황을 추론하여 상기 클라이언트 유닛에게 전달하는 서버유닛; 그리고 상기 서버유닛의 요청에 의하여 상기 추론된 상황에 따라 적절한 작업을 수행할 수 있도록 다양한 기능별 모듈을 제공하는 서비스 소프트웨어를 포함하여 구성된다.
상기 클라이언트 유닛은, 주변 환경의 영상을 획득하는 영상획득부, 상기 영상획득부가 획득한 영상정보를 통해 현재 사용자의 위치 및 방향을 추출하는 추출부, 상기 추출부에 의해 추출된 정보에 따라 상기 서버유닛에서 전송받은 정보를 기초로 가상 3D 이미지로 생성하는 이미지 생성부, 상기 이미지 생성부가 생성한 정보와 현실 영상 정보를 하나의 정보로 표시되게 정합하는 정합부를 포함하여 구성된다.
상기 서버 유닛은, 상기 영상획득부에서 제공한 영상정보를 이용하여 사용자의 위치 및 방향을 파악하는 외부상태모델부, 상기 서비스 소프트웨어에 의하여 상기 사용자의 의도를 파악하는 내부상태모델부, 상기 외부상태모델부에 의한 사용자의 위치 및 방향과 상기 내부상태모델부를 통해 상기 사용자의 의도를 추론하는 추론부, 상기 추론부에 의해 추론된 현재 상황에 대하여 작업 계획을 생성하는 작업 계획부, 상기 작업 계획에 의하여 상기 서비스 소프트웨어의 함수 호출을 통해 작업을 수행하고, 상기 수행된 작업을 가상 3D 이미지로 생성하도록 상기 이미지 생성부로 전달하는 작업 수행부를 포함하여 구성한다.
상기 클라이언트 유닛은, 영상정보를 촬영할 수 있도록 카메라가 탑재된 휴대용 기기이다.
본 발명의 다른 특징은, 클라이언트 유닛이 영상 획득을 통해 사용자의 위치 및 방향을 추출하는 단계; 서버 유닛이 상기 추출된 사용자의 위치 및 방향과 작업에 대한 사전지식을 기초로 하여 현재 상황을 추론하는 단계; 상기 서버 유닛이 상기 추론된 현재 상황에 따라 생성된 작업계획을 서비스 소프트웨어의 함수호출에 의하여 수행함과 동시에 수행중인 작업에 대한 상황을 상기 클라이언트유닛으로 전송하는 단계; 상기 클라이언트 유닛이 상기 수행중인 작업에 대한 정보를 이용하여 가상 3D 이미지를 생성하고, 현실 영상정보와 통합하여 사용자에게 제공하는 단계를 포함하여 구성된다.
본 발명에 따르면, 증강현실 환경의 외부정보 및 사용자 정보를 통해 사용자의 의도를 파악하고, 파악된 의도를 충족시키기 위해 생성된 프로세스에 따라 사용자에게 사용자 중심의 의사전달 방식으로 가상 캐릭터를 매개체로 제공하고 있어, 친화적인 인터페이스를 제공하게 됨은 물론 이에 따라 사용자는 주어진 작업에 대한 올바른 계획과 수행을 할 수 있는 이점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 증강현실기반의 인터페이스 에이전트 시스템 장치의 전체 구성도
도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 기반의 인터페이스 에이전트 시스템장치의 동작을 설명하는 흐름도
이하 본 발명의 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
먼저 본 발명을 설명하기에 앞서 인터페이스 에이전트와 증강현실에 관련된 연구 중 핵심적인 연구들을 살펴보기로 한다.
첫 번째, 'persona project'이다. 상기 프로젝트는 마이크로소프트 연구소에서 진행하였으며, 살아있는 생명체와 같이 동작하는 조수 프로그램 peedy이다. 앵무새 peedy는 PC가 보유한 오디오CD 컬렉션 중에 사용자와 대화를 통하여 음악을 선택하고 재생시켜주는 인터페이스 에이전트 시스템이다. 상기 시스템은 음성을 입력받고 이를 고차원 이벤트로 해석하는 음성언어 프로세싱, 상기 해석된 이벤트를 받아들여 이를 어떻게 캐릭터가 행동하게 할 것인지를 결정하는 다이얼로그 관리부분, 그리고 입력에 대한 반응을 애니메이션 모션 및 peedy의 음성 및 음향효과의 출력 등으로 사용자와 대화하는 비디오와 오디오 출력 부분이다. 이를 통해 peedy는 의인화된 특성을 가지고 사람의 말을 받아들이고 해석하여 사용자에게 상황에 맞게 응답을 시각 및 청각적으로 보여주게 된다.
두 번째, 'Sony Computer Science Lab Project'이다. 이는 컴퓨터와 사람간에 얼굴 표정을 통한 상호작용에 대한 연구이다.
세 번째, 'Shared Space : AR Interface'이다. 이는 증강현실 인터페이스를 통해 실 세계 위에 가상의 객체들을 증강하여 사람들의 이해를 도와 컴퓨터와 사람, 주변환경 사이에 쉽게 상호작용이 가능하도록 하고 있다.
다음에는 상기한 연구들에 기초하여 본 발명의 증강현실기반의 인터페이스 에이전트(ARIA : Augmented Reality Interface Agent) 시스템을 설명하기로 한다.
즉, 상기 ARIA 시스템은 증강현실 환경을 기반으로 동작하는 증강된 인터페이스 에이전트를 말한다. 이를 통해 증강현실 환경 내에서 사람과 인터페이스, 소프트웨어의 상호작용을 통하여 작업을 수행할 수 있는바, 구체적인 설명은 다음과 같다.
도 1에는 본 발명의 바람직한 실시 예에 따른 증강현실기반의 인터페이스 에이전트 시스템 장치의 전체 구성도가 도시되어 있다.
도 1을 보면, ARIA 시스템은 클라이언트 유닛(100)과 서버 유닛(200)을 포함한다.
먼저 클라이언트 유닛(100)이다. 상기 클라이언트 유닛(100)은 사용자가 직접 조작하는 장치로, 예컨대 PDA 및 휴대전화와 같은 이동 기기 등을 말하고, 이를 통해 증강현실 환경을 제공받게 된다.
상기 클라이언트 유닛(100)의 구성은 다음과 같다.
먼저 주변 환경의 영상을 획득하는 영상획득부(Image Tracker)(102)가 구비된다.
상기 영상획득부(102)가 획득한 영상정보를 통해 현재 사용자의 위치 및 방향을 추출하는 추출부(104)가 구비된다.
상기 서버유닛(200)에서 전송받은 정보를 기초로 가상 3D 이미지를 생성하는 이미지 생성부(106)가 구비된다. 상기 정보에는 상기 추출부(104)가 추출한 사용자의 위치 및 방향정보 즉 트래킹 정보와 상기 사용자 정보가 포함된다.
상기 이미지 생성부(106)가 생성한 정보와 현실의 영상정보를 정합하고 사용자가 볼 수 있게 디스플레이부(110)에 표시하는 정합부(108)가 구비된다.
각종 정보의 송수신을 위한 송수신부(120)가 구비된다. 상기 송수신부(120)은 상기 서버유닛(200)과 유무선 통신방식을 이용하여 정보를 송수신한다.
다음 서버 유닛(200)의 구성을 설명한다.
서버 유닛(200)에는 사용자의 의도를 파악할 수 있도록 한 외부상태모델부(202)와 내부상태모델부(204)가 구성된다.
상기 외부상태모델부(202)는 사용자의 상태를 파악하기 위한 모델이다. 이는 상기 클라이언트 유닛(100)의 추출부(104)가 추출한 정보를 전달받아 파악하는데, 결국 상기 주변환경의 영상을 획득하는 영상획득부(102)로부터 제공된 영상 정보를 기초로 파악한다.
상기 내부상태모델부(204)는 시스템의 상태를 파악하기 위한 것이다. 이는 시스템의 상태뿐만 아니라 사용자의 의도를 충족시키기 위한 작업에 대한 사전지식을 포함하여 파악한다. 이를 위해 상기 내부상태모델(204)은 다수의 서비스 모듈(310)을 포함하는 서비스 소프트웨어(300)와 연결된다. 상기 서비스 소프트웨어(300)는 후술하여 설명한다.
상기 외부상태모델부(202)과 내부상태모델부(204)을 통해 얻어진 정보를 기초로 하여 현재 상황을 추론하는 추론부(state reasoner)(206)를 구비한다.
상기 추론부(206)에 의해 추론된 현재 상황에 대하여 수행하고자 할 작업에 대한 사전지식을 이용하여 현재 상태에 대한 앞으로의 작업 계획을 생성하는 작업 계획부(action planner)(208)를 구비한다.
상기 작업 계획에 의하여 작업을 수행하며 수행된 작업에 대한 상황을 상기 클라이언트유닛(100)으로 전송하는 작업수행부(action perfomer)(210)를 구비한다. 상기 작업수행부(210)는 상기 서비스 소프트웨어(300)의 함수 호출을 통해 작업을 수행한다.
상기 서비스 소프트웨어(300)는 ARIA가 사용자에게 제공하는 다양한 기능이 구현되어 있는 실질적인 응용프로그램을 말한다. 즉 서비스 모듈(310)은 사용자가 다양한 시나리오에 따라 일정 프로세스를 수행함에 있어 이를 효율적으로 수행할 수 있도록 해준다. 따라서, 상기 서비스 소프트웨어(300)는 상기 ARIA와 의사전달은 위한 프로토콜을 제공하고 있으며, 수행할 프로세스를 위하여 다양한 기능들은 상기 ARIA에 등록된다.
그와 같은 구성의 증강현실기반의 인터페이스 에이전트 시스템 장치를 이용하여 사용자 의도에 따라 사용자가 수행할 프로세스 과정을 설명하기로 한다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 기반의 인터페이스 에이전트 시스템장치의 동작을 설명하는 흐름도이다.
먼저, 사용자는 자신의 이동 기기를 ARIA에 접속한다(s100). 상기 이동 기기에는 사용자에 대한 프로필이 저장되어 있어, ARIA와 접속시 상기 ARIA에서 자신에 대한 ID를 할당받는다. 여기서, 이동 기기를 ARIA에 직접 조작하는 것 대신, 소정 장소에 진입하면 자동으로 ARIA에 접속하고 ID를 할당받을 수도 있다.
일단 이동 기기와 ARIA가 접속되면, 상기 이동 기기는 ARIA와의 의사전달이 가능한 상태가 된다.
사용자는 ARIA와의 의사전달을 위하여 자신이 가지고 있는 이동 기기의 영상 획득부(102), 예컨대 카메라 등을 이용하여 주변 영상이나 전방의 영상을 획득한다(s102).
상기 영상 획득부(102)에 의해 획득된 영상은 추출부(104)로 전달된다.
상기 추출부(104)는 상기 영상획득부(102)가 획득한 영상정보를 통해 현재 사용자의 위치 및 방향을 추출한다(s104). 참고로 상기 사용자의 위치 및 방향 정보를 추출하기 위해서 상기 이동 기기에는 각 지역에 대한 좌표나 지도, 방향 정보 등을 알 수 있는 정보가 저장되어 있다.
상기 추출부(104)는 상기 추출한 사용자의 위치 및 방향 정보를 송수신부(120)를 통해 상기 서버유닛(200)의 외부상태모델부(202)로 전달한다(s106).
상기 서버유닛(200)은 상기 송수신부(120)를 통해 외부상태모델부(202)가 전달받은 정보를 기초로 하여 사용자에 대한 외부상태를 파악한다. 아울러, 상기 서버유닛(200)의 내부상태모델부(204)는 사용자 정보를 추론하여 사용자의 의도를 파악한다(s108).
상기 외부상태모델부(202)와 내부상태모델부(204)에 의해 파악된 모든 정보는 상기 추론부(206)로 전달된다. 이를 통해 상기 추론부(206)는 사용자가 위치하고 있는 장소 및 사용자가 하고자 하는 작업 등에 대한 현재 상황을 추론할 수 있다(s110).
일단, 상기 추론부(206)가 현재 상황을 추론하면, 그 추론된 정보는 작업 계획부(208)로 전달된다. 여기서는 상기 추론부(206)에 의해 추론된 현재 상황에 대하여 수행하고자 할 작업에 대한 사전지식을 이용하여 현재 상태에 대한 앞으로의 작업 계획을 생성하게 된다(s112).
상기 작업계획부(action planner)(208)가 생성된 작업 계획은 작업수행부(210)로 전달된다.
상기 작업수행부(210)는 서비스 소프트웨어(300)의 함수 호출을 통해 수행하고자 할 작업에 대응하는 서비스 모듈(310)을 호출하여 프로세스를 생성한다(s114).
상기 프로세스는 클라이언트 유닛(100)으로 전달한다(s116).
상기 클라이언트 유닛(100)의 이미지 생성부(106)는 상기 작업수행부(210)에서 전달받은 정보를 근거로 가상 3D 이미지로 생성한다(s118).
상기 생성된 3D 이미지는 정합부(108)로 전달된다. 상기 정합부(108)는 상기 이미지 생성부(106)가 생성한 정보와 상기 영상 획득부(102)가 획득한 현실 영상 정보를 정합하고(s120), 이를 사용자가 볼 수 있게 디스플레이부(110)에 표시한다(s122).
상기 디스플레이부(110)에 표시되는 정보는 사용자 의도에 따라 사용자가 수행하고자 할 프로세스에 대하여 사용자에게 제공될 정보이다. 이는 3D 가상 캐릭터를 통해 제공된다.
상기한 바와 같은 사용자가 수행할 프로세스에 대해 예를 들어 설명하기로 한다.
사용자가 자신이 소유한 이동 기기(즉 클라이언트 유닛)(100)를 가지고 건물내로 들어가면, 상기 클라이언트 유닛(100)은 ARIA 시스템의 서버 유닛(200)에 자동 접속되고, 이동 기기에 대한 ID를 할당받는다. 접속이 완료되면 상기 클라이언트 유닛(100)은 상기 서버유닛(200)이 제공한 환영 메시지와 가상 캐릭터가 등장하여 사용자의 목적에 따른 진행 프로세스를 제공한다.
상기 진행 프로세스에 따라 상기 서버 유닛(200)은 상술한 바 있는 상기 클라이언트 유닛(100)의 동작에 따라 전달받은 사용자의 상태, 위치 정보 및 사용자 정보를 기초로 하여 사용자의 의도를 추론한다. 이때 사용자가 서버 유닛(200)과의 대화를 통하여 자신이 건물을 방문한 목적을 제공할 수 있다.
상기 서버 유닛(200)은 사용자의 방문 목적에 따라 소정 시나리오에 따라 정보를 3D 가상 캐릭터를 통해 제공한다.
즉 사용자가 건물에 상주하는 직원이면, 상기 서버유닛(200)은 출입, 일정, 우편관리 소프트웨어를 활용하여 사용자의 출/퇴근 정보를 기록하고 당일 회의 스케줄이나 우편물 등에 대한 정보를 상기 클라이언트 유닛(100)을 통해 제공한다.
반면, 외부 방문자인 경우 회의 참석자이면 일정, 회의실 관리 소프트웨어를 이용하여 방문자를 회의실로 인도하고 회의 참석자들을 호출하는 정보를 상기 클라이언트 유닛(100)을 통해 제공한다.
또한, 기타 이용자일 경우에는 건물내의 편의시설에 대한 정보만을 제공하고, 방문자가 허용되지 않은 공간에 존재하면 보안관리 소프트웨어를 이용하여 경보를 발령하는 기능을 제공한다.
이상에서 설명한 바와 같이 본 발명은 사용자의 의도를 추론한 다음 가상 캐릭터를 통해 사용자의 목적에 따른 진행 프로세스를 제공하고 있어, 사용자의 실시간 상황에 따른 프로세서를 적절하게 진행할 수 있다.
본 발명의 권리범위는 위에서 설명된 실시 예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 기술분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
100 : 클라이언트 유닛 102 : 영상획득부
104 : 추출부 106 : 이미지 생성부
108 : 정합부 200 : 서버 유닛
202 : 외부상태모델부 204 : 내부상태모델부
206 : 추론부 208 : 작업계획부
210 : 작업수행부 300 : 서비스 소프트웨어

Claims (5)

  1. 사용자의 위치 및 방향 정보와 사용자 정보에 의해 파악된 사용자의 의도를 이용하여 현재 상황을 추론하고, 추론된 현재 상황에 근거하여 앞으로 수행하고자 할 작업에 대응하는 프로세스를 생성하는 서버유닛;
    상기 서버유닛으로 상기 사용자의 위치 및 방향 정보를 제공하며, 상기 서버유닛에서 전달받은 프로세스를 기초로 하여 수행할 작업에 대응하는 가상 3D 이미지를 생성하고 이를 현실 영상 정보와 통합하여 사용자에게 제공할 정보를 3D 가상 캐릭터로 표시하여 제공하는 클라이언트 유닛; 그리고
    상기 서버유닛이 상기 프로세스를 생성하도록 상기 서버유닛의 요청에 따라 특정 시나리오를 제공하도록 다양한 서비스 모듈을 구비하는 서비스 소프트웨어를 포함하는 증강현실기반의 인터페이스 에이전트 시스템 장치.
  2. 제1항에 있어서, 상기 클라이언트 유닛은,
    주변 환경의 영상을 획득하는 영상획득부,
    상기 영상획득부가 획득한 영상정보를 통해 상기 사용자의 위치 및 방향 정보를 추출하는 추출부,
    상기 추출부에 의해 추출된 정보에 따라 상기 서버유닛에서 전송받은 정보를 기초로 상기 가상 3D 이미지를 생성하는 이미지 생성부,
    상기 가상 3D 이미지와 현실 영상 정보를 하나의 정보로 표시되게 정합하는 정합부를 포함하여 구성되는 것을 특징으로 하는 증강현실기반의 인터페이스 에이전트 시스템 장치.
  3. 제 1항에 있어서, 상기 서버 유닛은,
    주변환경의 영상을 획득하도록 상기 클라이언트 유닛에 구성된 영상획득부에서 제공한 영상정보를 이용하여 사용자의 위치 및 방향을 파악하는 외부상태모델부,
    상기 서비스 소프트웨어에 의하여 상기 사용자의 의도를 파악하는 내부상태모델부,
    상기 외부상태모델부에 의한 사용자의 위치 및 방향과 상기 내부상태모델부를 통해 상기 사용자의 의도를 추론하는 추론부,
    상기 추론부에 의해 추론된 현재 상황에 대하여 작업 계획을 생성하는 작업 계획부,
    상기 작업 계획에 의하여 상기 서비스 소프트웨어의 함수 호출을 통해 작업을 수행하고, 상기 수행된 작업을 가상 3D 이미지로 생성하도록 상기 이미지 생성부로 전달하는 작업 수행부를 포함하여 구성하는 것을 특징으로 하는 증강현실기반의 인터페이스 에이전트 시스템 장치.
  4. 제 2항에 있어서,
    상기 클라이언트 유닛은, 영상정보를 촬영할 수 있도록 카메라가 탑재된 휴대용 기기임을 특징으로 하는 증강현실기반의 인터페이스 에이전트 시스템 장치.
  5. 클라이언트 유닛이 영상 획득을 통해 사용자의 위치 및 방향을 추출하는 단계;
    서버 유닛이 상기 추출된 사용자의 위치 및 방향과 작업에 대한 사전지식을 기초로 하여 현재 상황을 추론하는 단계;
    상기 서버 유닛이 상기 추론된 현재 상황에 따라 생성된 작업계획을 서비스 소프트웨어의 함수호출에 의하여 수행함과 동시에 수행중인 작업에 대한 상황을 상기 클라이언트유닛으로 전송하는 단계; 그리고
    상기 클라이언트 유닛이 상기 수행중인 작업에 대한 정보를 이용하여 가상 3D 이미지를 생성하고, 현실 영상정보와 통합하여 사용자에게 제공하는 단계를 포함하여 구성되는 증강현실기반의 인터페이스 에이전트 방법.
KR1020100060800A 2010-06-25 2010-06-25 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법 KR101135753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100060800A KR101135753B1 (ko) 2010-06-25 2010-06-25 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100060800A KR101135753B1 (ko) 2010-06-25 2010-06-25 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120000437A KR20120000437A (ko) 2012-01-02
KR101135753B1 true KR101135753B1 (ko) 2012-04-16

Family

ID=45608319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100060800A KR101135753B1 (ko) 2010-06-25 2010-06-25 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101135753B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102068993B1 (ko) * 2018-05-24 2020-01-22 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
WO2020017668A1 (ko) * 2018-07-16 2020-01-23 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070088415A (ko) * 2004-11-26 2007-08-29 한국전자통신연구원 네트워크 기반 로봇 시스템 실행 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070088415A (ko) * 2004-11-26 2007-08-29 한국전자통신연구원 네트워크 기반 로봇 시스템 실행 방법

Also Published As

Publication number Publication date
KR20120000437A (ko) 2012-01-02

Similar Documents

Publication Publication Date Title
US11127210B2 (en) Touch and social cues as inputs into a computer
EP3457253B1 (en) Collaboration methods to improve use of 3d models in mixed reality environments
JP5101737B2 (ja) 仮想現実サービス間の相互連動のための装置及び方法
CN108170273A (zh) 一种基于hololens眼镜的专家远程指导系统及实现方法
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US11782272B2 (en) Virtual reality interaction method, device and system
EP3549046B1 (en) Gesture-based access control in virtual environments
JP2009259199A (ja) コンピュータ仮想環境内のユーザに関連するアバタと対話する方法、システム、及びプログラム
CN110908504B (zh) 一种增强现实博物馆协作交互方法与系统
KR102463112B1 (ko) 시뮬레이션 모래상자 시스템
CN107943282A (zh) 一种基于增强现实和可穿戴设备的人机交互系统及方法
CN110377574A (zh) 图片的协作处理方法及装置、存储介质、电子装置
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111338481A (zh) 基于全身动态捕捉的数据交互系统及方法
KR101135753B1 (ko) 증강현실기반의 인터페이스 에이전트 시스템 장치 및 방법
JP6888854B1 (ja) 遠隔勤務支援システム及び遠隔勤務支援方法
JP2002120184A (ja) ネットワーク上のロボット動作制御システム
CN108459716B (zh) 一种在vr中实现多人协作完成任务的方法
CN110955331A (zh) 一种基于计算机虚拟界面的人机交互系统
CN116128468A (zh) 管理平台、数据处理方法、电子设备及存储介质
JP7102859B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
Kumar et al. Hand gesture-based stable powerpoint presentation using kinect
KR102213592B1 (ko) 가상 현실 또는 증강 현실을 활용한 플랫폼 택시 기사 교육 시스템 및 교육 방법
WO2024001799A1 (zh) 虚拟现实vr设备的防碰撞方法和电子设备
JP2024025135A (ja) 応対支援装置、応対支援方法、及び、応対支援プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee