KR20120056105A - 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법 - Google Patents

표면 변형 기반의 다중 감각 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR20120056105A
KR20120056105A KR1020100117647A KR20100117647A KR20120056105A KR 20120056105 A KR20120056105 A KR 20120056105A KR 1020100117647 A KR1020100117647 A KR 1020100117647A KR 20100117647 A KR20100117647 A KR 20100117647A KR 20120056105 A KR20120056105 A KR 20120056105A
Authority
KR
South Korea
Prior art keywords
information
space
user
unit
output
Prior art date
Application number
KR1020100117647A
Other languages
English (en)
Inventor
신희숙
임정묵
경기욱
이동우
임요안
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100117647A priority Critical patent/KR20120056105A/ko
Publication of KR20120056105A publication Critical patent/KR20120056105A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

본 발명은 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법에 관한 것으로, 복수의 센서를 이용하여 사용자가 위치하거나 또는 사용자가 요청한 공간/객체의 정보를 획득하는 공간/객체 정보 획득부, 공간/객체의 정보로부터 공간/객체의 구조 정보를 설정하여 복수 형태의 데이터 공간을 생성하고 관리하는 체험 공간/객체 정보 생성 및 관리부, 사용자의 요청 또는 기 등록된 서비스 시나리오를 기반으로 설정된 관심 영역 내에서 공간/객체에 대한 표현 범위를 결정하는 관심 영역 선정부, 공간/객체에 대한 구조 정보를 출력 모달리티(modality) 특성에 맞게 변환하는 입출력 감각 정보 변환부, 및 출력 모달리티 특성에 맞게 변환된 공간/객체의 구조 정보에 대하여 해당되는 감각 특성으로의 입출력을 처리하는 다중 감각 자극 입출력부를 포함한다.

Description

표면 변형 기반의 다중 감각 인터페이스 장치 및 방법{Apparatus for interfacing multi sense based on surface modification and method thereof}
본 발명은 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법에 관한 것으로, 더욱 상세하게는 장치 표면의 시촉각 정보를 동적으로 변화시켜 사용자 공간 인식에 따른 다양한 인터페이스로서 활용할 수 있는 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법에 관한 것이다.
터치스크린이 가지는 소프트 버튼의 장점과 물리적 버튼의 장점을 모두 수용하기 위해 터치스크린의 표면이 실제 버튼과 같은 형상을 가지도록 표현하고자 하는 다양한 기술들이 소개되었다. 또한, 시감각 기능의 보조를 위하여 2차원 평면상에서 1단계 또는 다단계의 깊이 정보를 표현하는 촉각 장치 등이 제시되었다.
대표적인 예로서, 휴대폰은 소형 단말기 내장에 대한 경량화 및 소형화의 제약 상황 때문에, 진동 피드백 중심의 장치를 이용한다. 하나 또는 그 이상의 소형 진동 소자를 활용하여, 진동의 세기 및 주파수를 시간적으로 제어하는 방법으로 다양한 패턴을 생성하여, 다양한 물리적 이벤트 및 이벤트 정보 전달 효과를 높이려는 시도가 많이 있다. 그러나, 대부분의 휴대폰에서는 시각 및 청각적 피드백 효과와 함께 정보를 표현하는 보조적인 피드백 인터페이스 장치로 활용되는 것이 일반적이다.
또한, 기존의 터치 스크린의 촉각 피드백의 부재를 개선하기 위하여 터치 스크린에 평면적인 촉각 정보를 제시하거나 스크린의 일부를 음양각으로 표현하는 화학적, 기계적 방법들도 제안되고 있다.
그러나, 이러한 종래의 방법들은 주로 2차원 평면에서의 돌출 정보 표현을 목적으로 하는 것으로, 3차원 공간 형상에 대한 정보를 표현할 수 없는 한계가 있었다.
본 발명의 목적은, 인터페이스 장치를 인간의 자기동작(위치)감각기능(proprioception)과 결합하여 사용자에게 3차원 공간 또는 볼륨에 대한 정보를 제공하고, 사용자 공간 인식에 따른 다양한 인터페이스로써도 활용할 수 있는 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치는, 복수의 센서를 이용하여 사용자가 위치하거나 또는 상기 사용자가 요청한 공간/객체의 정보를 획득하는 공간/객체 정보 획득부, 상기 공간/객체의 정보로부터 상기 사용자에게 제공할 상기 공간/객체의 구조 정보를 설정하여 상기 공간/객체에 대한 복수 형태의 데이터 공간을 생성하고 관리하는 체험 공간/객체 정보 생성 및 관리부, 상기 사용자의 요청 또는 기 등록된 서비스 시나리오를 기반으로 관심 영역이 설정하여, 상기 관심 영역 내에서 상기 공간/객체에 대한 표현 범위를 결정하는 관심 영역 선정부, 상기 관심 영역 내에서 상기 공간/객체에 대한 구조 정보를 출력 모달리티(modality) 특성에 맞게 변환하는 입출력 감각 정보 변환부, 및 상기 출력 모달리티 특성에 맞게 변환된 상기 공간/객체의 구조 정보에 대하여 해당되는 감각 특성으로의 입출력을 처리하는 다중 감각 자극 입출력부를 포함하는 것을 특징으로 한다.
상기 공간/객체 정보 획득부는, 상기 복수의 센서들에 의해 감지된 정보에 근거하여 3차원 공간 정보를 생성하는 3차원 공간 정보 생성 모듈, 및 상기 복수의 센서들에 의해 감지된 정보에 근거하여 2차원 영상의 경계 정보를 추출하는 2차원 영상 경계 정보 추출 모듈을 포함하는 것을 특징으로 한다.
상기 체험 공간/객체 정보 생성 및 관리부는 상기 3차원 공간 정보 및 상기 2차원 영상의 경계 정보를 기반으로 하여 2차원 및 3차원으로 분할된 데이터 공간을 구축하는 것을 특징으로 한다.
상기 체험 공간/객체 정보 생성 및 관리부는, 2차원 데이터 공간 및 3차원 데이터 공간의 정보로부터 대응 관계의 데이터를 연계하는 2차원-3차원 공간 형성 정보 연계 모듈을 포함하는 것을 특징으로 한다.
한편, 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치는, 상기 복수의 센서들로부터 획득한 위치 및 시간 정보를 기준으로 현재 상황 정보를 추출하고 관리하는 상황 정보 처리부를 더 포함하는 것을 특징으로 한다.
상기 체험 공간/객체 정보 생성 및 관리부는, 2차원 및 3차원으로 분할된 데이터 공간의 단위 영역을 기준으로 상기 현재 상황 정보를 융합하여, 현재 위치를 기준으로 사용자 중심 공간의 공간 정보 및 상황 정보를 처리하는 사용자 중심 공간정보 처리 모듈을 더 포함하는 것을 특징으로 한다.
상기 관심 영역 선정부는 상기 사용자의 요청 또는 상기 현재 상황 정보에 따라 결정된 이벤트 정보를 기준으로 상기 관심 영역을 결정하는 것을 특징으로 한다.
상기 관심 영역 선정부는 상기 관심 영역을 기 정의된 단위 공간의 일부 영역으로 설정하거나, 상기 단위 공간을 상기 사용자의 신체 운동 범위 내로 변형시키고자 하는 경우, 변형시키고자 하는 상기 단위 공간의 형태와 상기 공간/객체에 대한 표현 범위의 이동에 따라 상기 관심 영역을 재정의하는 것을 특징으로 한다.
상기 입출력 감각 정보 변환부는 상기 사용자의 요청에 따라 입력 데이터의 표현 감각에 대한 우선 순위를 결정하고, 상기 우선 순위에 따라 상기 입력 데이터를 대응하는 출력 모달리티에 매핑하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 방법은, 복수의 센서를 이용하여 사용자가 위치하거나 또는 상기 사용자가 요청한 공간/객체의 정보를 획득하는 단계, 상기 공간/객체의 정보로부터 상기 사용자에게 제공할 상기 공간/객체의 구조 정보를 설정하여 상기 공간/객체에 대한 복수 형태의 데이터 공간을 생성하고 관리하는 단계, 상기 사용자의 요청 또는 기 등록된 서비스 시나리오를 기반으로 관심 영역을 설정하여, 상기 관심 영역 내에서 상기 공간/객체에 대한 표현 범위를 결정하는 단계, 상기 관심 영역 내에서 상기 공간/객체에 대한 구조 정보를 출력 모달리티(modality) 특성에 맞게 변환하는 단계, 및 상기 출력 모달리티 특성에 맞게 변환된 상기 공간/객체의 구조 정보에 대하여 해당되는 감각 특성으로의 입출력을 처리하는 단계를 포함하는 것을 특징으로 한다.
상기 공간/객체의 정보를 획득하는 단계는, 상기 복수의 센서들에 의해 감지된 정보에 근거하여 3차원 공간 정보를 생성하는 단계, 및 상기 복수의 센서들에 의해 감지된 정보에 근거하여 2차원 영상의 경계 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
상기 데이터 공간을 생성하고 관리하는 단계는, 상기 3차원 공간 정보 및 상기 2차원 영상의 경계 정보를 기반으로 하여 2차원 및 3차원으로 분할된 데이터 공간을 구축하는 단계를 포함하는 것을 특징으로 한다.
상기 데이터 공간을 생성하고 관리하는 단계는, 2차원 데이터 공간 및 3차원 데이터 공간의 정보로부터 대응 관계의 데이터를 연계하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 방법은, 상기 복수의 센서들로부터 획득한 위치 및 시간 정보를 기준으로 현재 상황 정보를 추출하고 관리하는 단계를 더 포함하는 것을 특징으로 한다.
상기 데이터 공간을 생성하고 관리하는 단계는, 2차원 및 3차원으로 분할된 데이터 공간의 단위 영역을 기준으로 상기 현재 상황 정보를 융합하는 단계, 및 현재 위치를 기준으로 사용자 중심 공간의 공간 정보 및 상황 정보를 처리하는 단계를 더 포함하는 것을 특징으로 한다.
상기 공간/객체에 대한 표현 범위를 결정하는 단계는 상기 사용자의 요청 또는 상기 현재 상황 정보에 따라 결정된 이벤트 정보를 기준으로 상기 관심 영역을 결정하는 것을 특징으로 한다.
상기 공간/객체에 대한 표현 범위를 결정하는 단계는, 상기 관심 영역을 기 정의된 단위 공간의 일부 영역으로 설정하거나 상기 단위 공간을 상기 사용자의 신체 운동 범위 내로 변형시키고자 하는 경우, 변형시키고자 하는 상기 단위 공간의 형태와 상기 공간/객체에 대한 표현 범위의 이동에 따라 상기 관심 영역을 재정의하는 단계를 포함하는 것을 특징으로 한다.
상기 출력 모달리티 특성에 맞게 변환하는 단계는, 상기 사용자의 요청에 따라 입력 데이터의 표현 감각에 대한 우선 순위를 결정하는 단계, 및 상기 우선 순위에 따라 상기 입력 데이터를 대응하는 출력 모달리티에 매핑하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 3차원의 공간 정보를 사용자의 움직임과 상호작용하도록 시각, 촉각, 청각 등의 출력 모달리티 특성에 맞게 변환함으로써, 감각 자극을 통해 사용자가 3차원 공간의 형상을 쉽게 파악할 수 있는 이점이 있다.
또한, 본 발명은, 사용자가 감각 자극을 통해 3차원 공간 형상을 파악할 수 있도록 함으로써, 시각 장애인 또는 청각 장애인 등의 감각 정보를 동적으로 변화시켜 사용자 공간 인식에 따른 다양한 인터페이스 장치로서 활용할 수 있는 이점이 있다.
도 1 은 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2 는 도 1의 공간/객체 정보 획득부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 3 은 도 1의 체험 공간/객체 정보 생성 및 관리부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 4 는 도 1의 상황 정보 처리부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 5 는 도 1의 관심 영역 선정부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 6 은 도 1의 사용자 상호작용 처리부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 7 은 도 1의 입출력 감각 정보 변환부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 8 은 도 1의 다중 감각 자극 입출력부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 9 내지 도 13 은 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치에 대한 동작 설명에 참조되는 예시도이다.
도 14 는 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치의 구성을 설명하는데 참조되는 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치는 공간/객체 정보 획득부(10), 체험 공간/객체 정보 생성 및 관리부(20), 상황 정보 처리부(30), 관심 영역 선정부(40), 사용자 상호작용 처리부(50), 입출력 감각 정보 변환부(60), 및 다중 감각 자극 입출력부(70)를 포함한다.
먼저, 공간/객체 정보 획득부(10)는 사용자가 위치하거나, 또는 사용자가 알고자 하는 공간/객체의 정보를 획득하여 처리한다.
이때, 공간/객체 정보 획득부(10)는 다양한 종류 및 다수의 센서를 이용하여 3차원 공간의 구조 정보를 일반적인 3차원 복원 기술을 활용하여 생성할 수도 있다. 또한, 공간/객체 정보 획득부(10)는 원격지 중앙 정보 처리 서버 및 DB로부터 유무선 통신으로 해당 정보를 얻을 수도 있다.
공간/객체 정보 획득부(10)에서 공간 구조 정보를 센싱하는 경우에, 센서의 종류 및 부착 위치는 사용성을 고려하여 선정하고, 비전(마커 및 무마커기반) 방식, TOF(Time Of Flight) 센서 방식, 레이저/초음파/적외선 거리측정 방식 등이 사용될 수 있다. 단일 센서 모듈뿐 아니라 센서를 사용자가 상황에 적합하도록 설계 및 조립 제작이 용이한 구조로써 조립형 센서 모듈을 활용할 수도 있다.
공간/객체 정보 획득부(10)는 외부를 통하여 공간 구조 정보를 획득하는 경우, 서비스 콘텐츠 관리 서버 등을 이용함으로써 3차원 복원 계산에 대한 작업량을 분산 관리할 수 있다. 이때, 공간/객체 정보 획득부(10)는 주요 포탈 사이트의 지도 서비스 등과 연계함으로써 공간 및 객체의 구조 정보를 직접적으로 얻을 수도 있다.
체험 공간/객체 정보 생성 및 관리부(20)는 획득한 공간 정보를 해당 장치에서 처리하기에 적합한 형식으로 생성하여 관리한다. 먼저, 체험 공간/객체 정보 생성 및 관리부(20)는 공간/객체 정보 획득부(10)를 통하여 얻은 공간 구조 정보와 상황 정보 처리부(30)의 정보를 바탕으로 사용자에게 제공할 체험 공간/객체의 구조 정보를 설정한다.
체험 공간/객체 정보 생성 및 관리부(20)는 상황 정보 처리부(30)의 사용자의 프로파일, 응용 서비스, 입출력 장치 프로파일을 통하여 표현의 해상도, 표현의 비율 등을 정의한다. 또한, 체험 공간/객체 정보 생성 및 관리부(20)는 실제 체험 공간/객체 정보를 사용자 장치 표현에 적합하도록 다양한 정보 차원으로 생성 및 저장 관리한다.
예를 들어, 체험 공간/객체 정보 생성 및 관리부(20)는 Polygon 모델로 표현된 공간 구조 데이터를 Solid 모델로 표현하는 중간 단계를 거쳐서 Voxel의 집합으로 표현하고, 이를 다시 사용자 단말에서 사용자가 선택한 범위에 대한 표현 레벨을 적용한 단위(ex. Tactile Cell)로 데이터를 구축한다.
물론, 체험 공간/객체 정보 생성 및 관리부(20)는 외부 서버로부터 정보를 얻어 저장하고 저장된 데이터를 활용하여 체험 공간/객체 정보를 관리할 수 있다.
상황 정보 처리부(30)는 서비스 시나리오 기반의 이벤트 생성, 감지 및 출력 관계를 저작하고 지원한다. 이때, 상황 정보 처리부(30)는 서비스 프로파일뿐만 아니라 사용자 프로파일, 장치 프로파일 등을 저장하고 관리한다. 또한, 상황 정보 처리부(30)는 프로파일 정보와 센서를 통하여 얻게 되는 위치, 시간 등의 실시간 정보를 기준으로 상황 정보를 추출하고 관리한다.
관심 영역 선정부(40)는 사용자에 의해 관심 영역이 실시간으로 설정되거나 서비스 시나리오를 기반으로 미리 설정되면, 인터페이스 장치를 통하여 표현될 3차원 공간/객체 영역의 표현 범위를 결정한다. 이때, 관심 영역 선정부(40)는 사용자의 신체 동작과 장치의 위치 정보 및 상호작용 정보를 바탕으로 현재 수집된 3차원 공간의 형상 정보로부터 표현 대상이 되는 일부 정보를 추출한다.
사용자 상호작용 처리부(50)는 인터페이스 장치의 촉각, 시각, 청각 표시부 제어 명령을 결정하고 사용자의 입력 정보를 획득하여 처리한다.
이때, 사용자 상호작용 처리부(50)는 선정된 관심 영역의 3D 공간의 일부를 사용자의 명령 입력 즉 공간 정보를 브라우징하기 위해서 인터페이스 장치의 3차원 공간 이동 상황을 검출하는 상호작용 등과 같은 사용자 입력으로 표현할 공간을 선정하고, 이를 출력 장치를 통해서 표현하도록 제어 정보를 생성한다.
또한, 사용자 상호작용 처리부(50)는 이벤트 및 서비스 기반의 청각 및 시각 정보가 연동되어 출력되도록 제어 명령을 결정한다.
입출력 감각 정보 변환부(60)는 사용자의 선택 또는 서비스 시나리오 등을 기반으로 표현될 수 있는 정보의 종류와 장치를 통해서 출력될 수 있는 정보의 변환 관계를 설정한다.
이때, 입출력 감각 정보 변환부(60)는 체험 공간/객체 정보 생성 및 관리부(20)를 통하여 결정된 한 시점에서 표현하고자 하는 구조의 정보를 시각, 촉각, 청각 출력을 위하여 각각의 표현 장치의 특성에 맞도록 변환한다.
여기서, 입출력 감각 정보 변환부(60)는 표현하고자 하는 구조 정보의 해상도와 표현 장치의 해상도의 차이를 고려하여 데이터를 변환하고, 동기화된 출력을 위한 별도의 데이터 포맷을 사용할 수도 있다.
다중 감각 자극 입출력부(70)는 변환된 제어 정보에 따라서 촉각, 청각 및 시각적 인터페이스 장치의 입출력을 처리한다. 이때, 다중 감각 자극 입출력부(70)는 촉각, 청각 및 시각적 인터페이스 장치 출력을 하드웨어적으로 처리한다.
다중 감각 자극 입출력부(70)는 변환된 제어 정보에 따라서 촉각부의 구동을 제어하고 청각 출력 및 시각적 출력을 액추에이터를 통해서 표현한다. 다중 감각 자극 입출력부(70)는 입출력 장치의 종류에 따라서 구동 방식의 복잡도가 달라지며 단일 감각 채널뿐 아니라 멀티 감각 채널로 동기화된 표현도 가능하다.
다중 감각 자극 입출력부(70)는 단계적 조립 및 확장이 가능한 구조를 가지는 센서 및 출력기로 구성되어 원하는 입출력 모듈을 추가하거나 제외하는 과정으로 다양한 입출력 기능을 사용자가 설정할 수 있도록 한다.
도 2는 도 1의 공간/객체 정보 획득부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 2에 도시된 바와 같이, 공간/객체 정보 획득부(10)는 센서 모듈(11), 통신 모듈, 3차원 단위 공간 정보 생성 모듈(13), 및 2차원 영상 경계 정보 추출 모듈(14)을 포함한다.
센서 모듈(11)은 복수의 센서를 포함하고, 복수의 센서를 단독 또는 복합적으로 사용하여 3차원 공간/객체 정보를 감지한다. 또한, 센서 모듈(11)은 사용자 또는 인터페이스 장치의 움직임 정보, 주변 환경 등의 상황 정보를 감지한다.
이때, 센서 모듈(11)에 의해 감지된 정보들은 3차원 단위 공간 정보 생성 모듈(13) 및 2차원 영상 경계 정보 추출 모듈(14)로 제공된다. 뿐만 아니라, 센서 모듈(11)에 의해 감지된 정보들은 상황 정보 처리부(30)로 제공된다.
한편, 센서 모듈(11)은 이미지 기반의 센서, 거리 측정 기반의 센서 등으로 구현될 수 있으며, TOF(Time Of Flight) 방식의 센서를 이용하는 것도 가능하다.
3차원 공간 정보 생성 모듈(13)은 센서 모듈(11)에 의해 감지된 정보들 또는 통신 모듈을 통해 수신된 정보들에 근거하여 3차원 공간 정보를 생성한다.
또한, 2차원 영상 경계 정보 추출 모듈(14)은 센서 모듈(11)의 의해 감지된 정보들 또는 통신 모듈을 통해 수신된 정보들로부터 2차원 영상의 경계 정보를 추출한다.
3차원 공간 정보 생성 모듈(13)로부터의 3차원 공간 정보 및 2차원 영상 경계 정보 추출 모듈(14)로부터의 2차원 영상 경계 정보는 체험 공간/객체 정보 생성 및 관리부(20)로 제공된다.
한편, 공간/객체 정보 획득부(10)는 사용자 시스템의 성능 및 정보 계산량을 고려하여 3차원 단위 공간 정보 생성 모듈(13) 또는 2차원 영상 경계 정보 추출 모듈(14)을 별도의 서버로 분산 처리할 수 있다. 또한, 공간/객체 정보 획득부(10)는 3D Map 서비스를 제공하는 웹 서버 등을 통하여 직접적으로 데이터를 받아서 활용할 수도 있다.
여기서, 공간/객체 정보 획득부(10)는 최종 사용자 단말 장치에 통합되거나 또는 별도의 장치로 구현되어 데이터를 수집하는 용도로 활용될 수 있다.
도 3은 도 1의 체험 공간/객체 정보 생성 및 관리부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 3에 도시된 바와 같이, 체험 공간/객체 정보 생성 및 관리부(20)는 3차원 단위 공간 정보 조합 모듈(21), 2차원 영상 경계 정보 조합 모듈(22), 2차원-3차원 공간 형상 정보 연계 모듈(23), 사용자 중심 공간정보 처리 모듈(24), 사용자 중심 공간정보 저장 모듈(25), 및 통신 모듈(26)을 포함한다.
3차원 단위 공간 정보 조합 모듈(21)은 공간/객체 정보 획득부(10)로부터 입력받은 3차원 단위 공간 정보를 기반으로 다양한 상하위 단계의 데이터 공간을 구축한다.
또한, 2차원 영상 경계 정보 조합 모듈(22)은 공간/객체 정보 획득부(10)로부터 입력받은 2차원 영상 경계 정보를 기반으로 다양한 상하위 단계의 데이터 공간을 구축한다.
한편, 2차원-3차원 공간 형성 정보 연계 모듈(23)은 두 개의 분할 공간 집합의 상관 관계를 설정한다. 이때, 2차원-3차원 공간 형성 정보 연계 모듈(23)은 사용자 및 서비스 시나리오의 요청에 따라 사용자가 2차원 및 3차원 대응 관계의 데이터를 자유롭게 검색할 수 있도록 연계한다.
사용자 중심 공간정보 처리 모듈(24)은 2차원과 3차원으로 분할된 공간의 단위 영역을 기준으로 상황 정보 처리부(30)에서 수신한 정보를 융합한다. 이때, 사용자 중심 공간정보 처리 모듈(24)은 사용자가 현재 위치한 장소를 기준으로 일정 공간(사용자 중심 공간)의 공간 정보 및 콘텐츠 서비스용 상황 정보를 처리한다.
사용자 중심 공간 정보 저장 모듈은 사용자가 휴대하고 있는 장치 내부의 대용량 저장소에 형성되는 소규모의 데이터베이스이다. 이때, 사용자 중심 공간정보 저장 모듈(25)에 저장된 일부의 정보가 관심 영역 선정부(40)에 전송된다.
도 4는 도 1의 상황 정보 처리부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 4에 도시된 바와 같이, 상황 정보 처리부(30)는 상황 정보 송수신 모듈(31), 사용자 중심 상황정보 처리 모듈(32), 프로파일 정보 저장 모듈(33), 및 사용자 중심 상황정보 저장 모듈(34)을 포함한다.
상황 정보 송수신 모듈(31)은 공간/객체 정보 획득부(10), 체험 공간/객체 정보 생성 및 관리부(20), 관심 영역 선정부(40) 및 입출력 감각 정보 변환부(60)와 상황 정보를 송수신한다.
사용자 중심 상황정보 처리 모듈(32)은 공간/객체 정보 획득부(10)의 센서 모듈(11)로부터 획득된 상황 연계 서비스 관련 데이터를 정보화한다.
또한, 사용자 중심 상황정보 처리 모듈(32)은 사용자의 현재 상황에 따라 관심 영역 선정부(40)에 추천 또는 제한 조건을 부여한다. 또한, 사용자 중심 상황정보 처리 모듈(32)은 현재 사용자 상황 조건에 따라 입출력 감각 정보 변환부(60)에 감각 정보 변환 규칙을 추천하거나 제한한다.
프로파일 정보 저장 모듈(33)은 서비스 프로파일 뿐 아니라 사용자 프로파일, 장치 프로파일 등을 저장하고 관리한다. 사용자 중심 상황정보 저장 모듈(34)은 상황 정보 송수신 모듈(31)에 의해 수신된 상황 정보를 저장하고 관리한다.
이때, 사용자 중심 상황정보 처리 모듈(32)은 공간/객체 정보 획득부(10)로부터의 실시간 센서 데이터를 기반으로 프로파일 정보 저장 모듈(33) 및 사용자 중심 상황정보 저장 모듈(34)로부터 관련 정보를 추출한다.
상황 정보 처리부(30)는 상황 정보 연계 서비스를 제공하는 다양한 콘텐츠 서비스를 지원하기 위하여 독립적으로 구성한다.
도 5는 도 1의 관심 영역 선정부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 5에 도시된 바와 같이, 관심 영역 선정부(40)는 관심 영역 추출 모듈(41) 및 관심 영역 정보 저장 모듈(42)을 포함한다.
관심 영역 추출 모듈(41)은 관심 영역을 결정하는 우선 순위에 따라 추출한다. 이때, 관심 영역 추출 모듈(41)은 사용자 상호작용 처리부(50)에서 입력받은 사용자의 의도 또는 상황 정보 처리부(30)를 통해서 결정된 이벤트 정보를 기준으로 공간의 영역을 결정한다.
관심 영역 추출 모듈(41)은 관심 영역을 공간 정보/객체 생성 및 관리부에서 정의된 단위 공간의 일부 영역으로 설정하거나 단위 공간을 사용자의 신체 운동 범위 안으로 변형시켜서 재정의해야 할 경우, 변형의 기준이 되는 공간의 형태와 사용자의 상호작용 과정에서 표현 공간의 이동에 따라 관심 공간의 변형을 재정의한다.
관심 영역 정보 저장 모듈(42)은 관심 영역 추출 모듈(41)에 의해 결정된 관심 영역 정보를 저장하고 관리한다.
도 6은 도 1의 사용자 상호작용 처리부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 6에 도시된 바와 같이, 사용자 상호작용 처리부(50)는 영역 제한 입력 상호작용 처리 모듈(51), 영역 제한 입력 정보 인식 모듈(52), 정보 출력 모듈(53), 응용 서비스 처리 모듈(54), 및 사용자 피드백 수신 모듈(55)을 포함한다.
영역 제한 입력 상호작용 처리 모듈(51)은 사용자의 실시간 변경 입력 작업을 처리한다. 영역 제한 입력 정보 인식 모듈(52)은 영역 제한 입력 상호작용 처리 모듈(51)의 처리 결과와 관심 영역 선정부(40)의 정보를 인식하여 정보 출력 모듈(53)로 전달한다. 이때, 정보 출력 모듈(53)은 영역 제한 입력 정보 인식 모듈(52)과 응용 서비스 처리 모듈(54)의 정보를 통합하여 다중 감각 자극 입출력부(70)로 출력한다.
사용자 피드백 수신 모듈(55)은 사용자의 현재 상황 정보를 피드백 받아 그 결과를 응용 서비스 처리 모듈(54)의 입력값으로 전송한다.
도 7은 도 1의 입출력 감각 정보 변환부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 7에 도시된 바와 같이, 입출력 감각 정보 변환부(60)는 사용자 선호도 기반 정보 변환기법 결정 모듈(61), 사용자 중심 시각 자극 DB(62), 사용자 중심 청각 자극 DB(63), 사용자 중심 촉각 자극 DB(64), 사용자 중심 후각 및 미각 자극 DB(65), 우선순위 기반 정보 변환 결정 모듈(66), 및 정보 및 감각 자극 매핑 관련 변환 모듈(67)을 포함한다.
먼저, 사용자 선호도 기반 정보 변환기법 결정 모듈(61)은 사용자의 선호도에 따라서 즉각 변환되거나 현재 시점까지 사용자의 사용 특성을 학습하여 선호도를 유추하여 출력 모달리티를 제어하는 방법을 결정한다. 이때, 사용자 선호도 기반 정보 변환기법 결정 모듈(61)은 결정된 관심 영역에 대한 출력 모달리티를 결정한다.
우선 순위 기반 정보 변환 결정 모듈(66)은 상황 정보 처리부(30)와 관심 영역 선정부(40) 및 사용자 선호도 기반 정보 변환기법 결정 모듈(61)을 기준으로 메시지 표현의 중요 우선 순위를 결정한다. 이때, 우선 순위 기반 정보 변환 결정 모듈(66)은 상황 정보 처리부(30)에서 저작된 상황 정보를 자극 모달리티의 형태로 추가하도록 한다.
정보 및 감각 자극 매핑 관련 변환 모듈(67)은 우선순위 기반 정보 변환 결정 모듈(66)에서 결정된 내용에 따라 입력 데이터, 예를 들어, 관심 영역에 대한 거리 정보, 주변 상황 정보, 사용자가 현재 접촉한 장치의 위치 정보, 사용자 자세 정보, 서비스의 종류 등을 사용자 중심 시각 자극 DB(62), 사용자 중심 청각 자극 DB(63), 사용자 중심 촉각 자극 DB(64), 사용자 중심 후각 및 미각 자극 DB(65)에 근거하여 출력 모달리티(촉각, 청각, 시각, 후각 및 미각)로 매핑한다.
이때, 정보 및 감각 자극 매핑 관련 변환 모듈(67)은 입력된 콘텐츠 서비스의 정보를 선택된 특정 또는 각각의 감각 자극 정보로 변환하여 사용자 상호작용 처리부(50)로 전송된다.
도 8은 도 1의 다중 감각 자극 입출력부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 8에 도시된 바와 같이, 다중 감각 자극 입출력부(70)는 자극 정보 수신 모듈(71), 시각 정보 출력 및 수신 모듈(72), 청각 정보 출력 및 수신 모듈(73), 촉각 정보 출력 및 수신 모듈(74), 후각, 미각 정보 출력 및 수신 모듈(75), 사용자 피드백 인식 모듈(76), 및 사용자 피드백 정보 송신 모듈(77)을 포함한다.
자극 정보 수신 모듈(71)은 사용자 상호작용 처리부(50)로부터 사용자 상호 작용 정보를 입력받는다. 또한, 자극 정보 수신 모듈(71)은 사용자 상호작용 처리부(50)로부터 시각, 청각, 촉각 등에 대해 결정된 제어 명령을 입력받는다. 이때, 자극 정보 수신 모듈(71)은 사용자 상호작용 처리부(50)로부터 입력된 자극 정보를 시각 정보 출력 및 수신 모듈(72), 청각 정보 출력 및 수신 모듈(73), 촉각 정보 출력 및 수신 모듈(74), 그리고 후각, 미각 정보 출력 및 수신 모듈(75)에 전송한다.
따라서, 시각 정보 출력 및 수신 모듈(72), 청각 정보 출력 및 수신 모듈(73), 촉각 정보 출력 및 수신 모듈(74), 그리고 후각, 미각 정보 출력 및 수신 모듈(75)은 자극 정보 수신 모듈(71)로부터 전송된 사용자 입력 정보 및 제어 명령에 따라 해당되는 감각 정보를 출력한다.
사용자 피드백 인식 모듈(76)은 감각 정보 출력에 따라 사용자로부터 입력 정보에 근거하여 사용자의 피드백 정보를 인식한다. 이때, 사용자 피드백 인식 모듈(76)은 인식된 피드백 정보를 사용자 피드백 송신 모듈(77)로 전달한다. 따라서, 사용자 피드백 송신 모듈(77)은 사용자 피드백 인식 모듈(76)에 의해 인식된 사용자의 감각 특성 출력에 따른 피드백 정보를 사용자 상호작용 처리부(50)로 전송한다.
도 9 내지 도 13은 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치에 대한 동작 설명에 참조되는 예시도이다.
먼저, 도 9는 다양한 포맷의 공간 정보에 대한 실시예를 나타낸 것이다. 도 9에 도시된 바와 같이, 공간 정보는 2D map(91), 3D map(92), 2D+3D map(93), 및 상황 정보와 서비스에 대한 map(94) 등으로 저장될 수 있다.
도 10은 여러 단계의 해상도 모델에 대한 실시예를 나타낸 것이다. 도 10에 도시된 바와 같이, 본 발명에 따른 인터페이스 장치는 하나의 이미지에 대해 축소된 형태의 저해상도 모델과, 다단계로 확대된 형태의 고해상도 모델로 구현될 수 있다.
도 11은 현실세계와 가상 공간에 대해 구축된 DB를 나타낸 것이다. 도 11에 도시된 바와 같이, 인터페이스 장치는 현실세계의 영상을 근거로 하여 가상 공간을 구축할 수 있다.
도 12는 공간 정보의 포맷을 변환하는 실시예를 나타낸 것이다. 도 12에 도시된 바와 같이, 본 발명에 따른 인터페이스 장치는 2D map(121)으로부터 에지(edge) 부분을 추출하여 2D edge map(122) 형태로 포맷을 변환할 수 있다. 또한, 인터페이스 장치는 '124'에서와 같이 3D 이미지에 대해 3D voxel 형태로 포맷을 변환할 수 있다.
도 13은 공간 사용자 인터랙션의 예를 나타낸 것이다. 도 13에 도시된 바와 같이, 본 발명에 따른 인터페이스 장치는 사용자의 위치를 중심으로, layer의 수, 방위각, 고도각, 영역의 크기를 고려하여 다층구(multi-layer sphere) 형태의 근신공간(near body space) 기반 가상 정보 표현 영역(131)을 정의한다.
구 형태의 가상 정보 표현 영역(131)은 방위각과 고도각 개념으로 일정한 규칙 또는 사용자의 선택에 따라 표현 영역이 분할되게 된다. 이때, 가상 정보 표현 영역(131)의 각 레이어는 사용자의 신체 동작 가능한 영역의 범위로 정의되는 비대칭 곡면의 연속체이다. 따라서, 가상 정보 표현 영역(131)은 완전한 구형(sphare)이 아닐 수 있다.
인터페이스 장치는 '132' 및 '133'과 같이, 사용자 운동 공간 영역 안에서 가장 정보 표현 영역의 특정 위치에 특정 기능을 맵핑한다. 이때, 사용자가 특정 기능이 맵핑된 위치의 가상 정보 또는 입력 아이콘을 지시하는 경우, 인터페이스 장치는 해당 기능에 대응하여 탐색(browsing)을 수행한다.
이때, 인터페이스 장치는 다중 감각 출력 모달리티(시각, 촉각, 청각 등)를 활용하여 특정 공간에 맵핑되어 있는 정보를 사용자가 인지하거나, 또는 특정 기능의 입력 명령을 수행하도록 할 수 있다.
도 14는 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치의 정보 처리 방법에 대한 동작 흐름을 도시한 순서도이다.
도 14에 도시된 바와 같이, 본 발명에 따른 표면 변형 기반의 다중 감각 인터페이스 장치는 복수의 센서 또는 외부의 서버로부터 공간/객체 정보를 획득하면(S100), 해당 공간/객체의 구조 정보를 설정하고(S110), 공간/객체 정보를 다양한 정보의 차원으로 생성한다(S120).
이후, 표면 변형 기반의 다중 감각 인터페이스 장치는 실시간으로 입력되는 위치, 시간 정보를 기준으로 상황 정보를 추출하고(S130), 추출된 상황 정보에 근거하여 관심 영역을 선정한다(S140).
이때, 표면 변형 기반의 다중 감각 인터페이스 장치는 관심 영역에 대한 3차원 공간의 표현 범위를 결정하고(S150), 관심 영역에 대한 3차원 공간 내에서의 이벤트를 검출한다(S160).
표면 변형 기반의 다중 감각 인터페이스 장치는 이벤트 출력 정보를 생성하고(S170), 이때 생성된 이벤트 출력 정보를 복수의 감각 출력 특성에 맞게 변환한다(S180). 일 예로서, 표면 변형 기반의 다중 감각 인터페이스 장치는 이벤트 출력 정보를 시각, 청각, 촉각 특성에 맞게 변환한다.
마지막으로, 표면 변형 기반의 다중 감각 인터페이스 장치는 'S170' 과정의 이벤트 출력 정보와 'S180' 과정의 감각 변환 정보를 출력한다(S190).
이상과 같이 본 발명에 의한 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 공간/객체 정보 획득부 20: 체험 공간/객체 정보 생성 및 관리부
30: 상황 정보 처리부 40: 관심 영역 선정부
50: 사용자 상호작용 처리부 60: 입출력 감각 정보 변환부
70: 다중 감각 자극 입출력부

Claims (18)

  1. 복수의 센서를 이용하여 사용자가 위치하거나 또는 상기 사용자가 요청한 공간/객체의 정보를 획득하는 공간/객체 정보 획득부;
    상기 공간/객체의 정보로부터 상기 사용자에게 제공할 상기 공간/객체의 구조 정보를 설정하여 상기 공간/객체에 대한 복수 형태의 데이터 공간을 생성하고 관리하는 체험 공간/객체 정보 생성 및 관리부;
    상기 사용자의 요청 또는 기 등록된 서비스 시나리오를 기반으로 관심 영역이 설정하여, 상기 관심 영역 내에서 상기 공간/객체에 대한 표현 범위를 결정하는 관심 영역 선정부;
    상기 관심 영역 내에서 상기 공간/객체에 대한 구조 정보를 출력 모달리티(modality) 특성에 맞게 변환하는 입출력 감각 정보 변환부; 및
    상기 출력 모달리티 특성에 맞게 변환된 상기 공간/객체의 구조 정보에 대하여 해당되는 감각 특성으로의 입출력을 처리하는 다중 감각 자극 입출력부;를 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  2. 청구항 1에 있어서,
    상기 공간/객체 정보 획득부는,
    상기 복수의 센서들에 의해 감지된 정보에 근거하여 3차원 공간 정보를 생성하는 3차원 공간 정보 생성 모듈; 및
    상기 복수의 센서들에 의해 감지된 정보에 근거하여 2차원 영상의 경계 정보를 추출하는 2차원 영상 경계 정보 추출 모듈;을 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  3. 청구항 2에 있어서,
    상기 체험 공간/객체 정보 생성 및 관리부는,
    상기 3차원 공간 정보 및 상기 2차원 영상의 경계 정보를 기반으로 하여 2차원 및 3차원으로 분할된 데이터 공간을 구축하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  4. 청구항 1에 있어서,
    상기 체험 공간/객체 정보 생성 및 관리부는,
    2차원 데이터 공간 및 3차원 데이터 공간의 정보로부터 대응 관계의 데이터를 연계하는 2차원-3차원 공간 형성 정보 연계 모듈;을 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  5. 청구항 1에 있어서,
    상기 복수의 센서들로부터 획득한 위치 및 시간 정보를 기준으로 현재 상황 정보를 추출하고 관리하는 상황 정보 처리부;를 더 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  6. 청구항 5에 있어서,
    상기 체험 공간/객체 정보 생성 및 관리부는,
    2차원 및 3차원으로 분할된 데이터 공간의 단위 영역을 기준으로 상기 현재 상황 정보를 융합하여, 현재 위치를 기준으로 사용자 중심 공간의 공간 정보 및 상황 정보를 처리하는 사용자 중심 공간정보 처리 모듈;을 더 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  7. 청구항 5에 있어서,
    상기 관심 영역 선정부는,
    상기 사용자의 요청 또는 상기 현재 상황 정보에 따라 결정된 이벤트 정보를 기준으로 상기 관심 영역을 결정하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  8. 청구항 1에 있어서,
    상기 관심 영역 선정부는,
    상기 관심 영역을 기 정의된 단위 공간의 일부 영역으로 설정하거나, 상기 단위 공간을 상기 사용자의 신체 운동 범위 내로 변형시키고자 하는 경우, 변형시키고자 하는 상기 단위 공간의 형태와 상기 공간/객체에 대한 표현 범위의 이동에 따라 상기 관심 영역을 재정의하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  9. 청구항 1에 있어서,
    상기 입출력 감각 정보 변환부는,
    상기 사용자의 요청에 따라 입력 데이터의 표현 감각에 대한 우선 순위를 결정하고, 상기 우선 순위에 따라 상기 입력 데이터를 대응하는 출력 모달리티에 매핑하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 장치.
  10. 복수의 센서를 이용하여 사용자가 위치하거나 또는 상기 사용자가 요청한 공간/객체의 정보를 획득하는 단계;
    상기 공간/객체의 정보로부터 상기 사용자에게 제공할 상기 공간/객체의 구조 정보를 설정하여 상기 공간/객체에 대한 복수 형태의 데이터 공간을 생성하고 관리하는 단계;
    상기 사용자의 요청 또는 기 등록된 서비스 시나리오를 기반으로 관심 영역을 설정하여, 상기 관심 영역 내에서 상기 공간/객체에 대한 표현 범위를 결정하는 단계;
    상기 관심 영역 내에서 상기 공간/객체에 대한 구조 정보를 출력 모달리티(modality) 특성에 맞게 변환하는 단계; 및
    상기 출력 모달리티 특성에 맞게 변환된 상기 공간/객체의 구조 정보에 대하여 해당되는 감각 특성으로의 입출력을 처리하는 단계;를 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  11. 청구항 10에 있어서,
    상기 공간/객체의 정보를 획득하는 단계는,
    상기 복수의 센서들에 의해 감지된 정보에 근거하여 3차원 공간 정보를 생성하는 단계; 및
    상기 복수의 센서들에 의해 감지된 정보에 근거하여 2차원 영상의 경계 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  12. 청구항 11에 있어서,
    상기 데이터 공간을 생성하고 관리하는 단계는,
    상기 3차원 공간 정보 및 상기 2차원 영상의 경계 정보를 기반으로 하여 2차원 및 3차원으로 분할된 데이터 공간을 구축하는 단계;를 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  13. 청구항 10에 있어서,
    상기 데이터 공간을 생성하고 관리하는 단계는,
    2차원 데이터 공간 및 3차원 데이터 공간의 정보로부터 대응 관계의 데이터를 연계하는 단계;를 더 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  14. 청구항 10에 있어서,
    상기 복수의 센서들로부터 획득한 위치 및 시간 정보를 기준으로 현재 상황 정보를 추출하고 관리하는 단계;를 더 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  15. 청구항 14에 있어서,
    상기 데이터 공간을 생성하고 관리하는 단계는,
    2차원 및 3차원으로 분할된 데이터 공간의 단위 영역을 기준으로 상기 현재 상황 정보를 융합하는 단계; 및
    현재 위치를 기준으로 사용자 중심 공간의 공간 정보 및 상황 정보를 처리하는 단계;를 더 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  16. 청구항 14에 있어서,
    상기 공간/객체에 대한 표현 범위를 결정하는 단계는,
    상기 사용자의 요청 또는 상기 현재 상황 정보에 따라 결정된 이벤트 정보를 기준으로 상기 관심 영역을 결정하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  17. 청구항 10에 있어서,
    상기 공간/객체에 대한 표현 범위를 결정하는 단계는,
    상기 관심 영역을 기 정의된 단위 공간의 일부 영역으로 설정하거나 상기 단위 공간을 상기 사용자의 신체 운동 범위 내로 변형시키고자 하는 경우, 변형시키고자 하는 상기 단위 공간의 형태와 상기 공간/객체에 대한 표현 범위의 이동에 따라 상기 관심 영역을 재정의하는 단계;를 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
  18. 청구항 10에 있어서,
    상기 출력 모달리티 특성에 맞게 변환하는 단계는,
    상기 사용자의 요청에 따라 입력 데이터의 표현 감각에 대한 우선 순위를 결정하는 단계; 및
    상기 우선 순위에 따라 상기 입력 데이터를 대응하는 출력 모달리티에 매핑하는 단계;를 포함하는 것을 특징으로 하는 표면 변형 기반의 다중 감각 인터페이스 방법.
KR1020100117647A 2010-11-24 2010-11-24 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법 KR20120056105A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100117647A KR20120056105A (ko) 2010-11-24 2010-11-24 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100117647A KR20120056105A (ko) 2010-11-24 2010-11-24 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120056105A true KR20120056105A (ko) 2012-06-01

Family

ID=46608350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100117647A KR20120056105A (ko) 2010-11-24 2010-11-24 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120056105A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026455A (ko) * 2013-09-03 2015-03-11 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
KR20150087446A (ko) * 2014-01-20 2015-07-30 한국전자통신연구원 3차원 데이터 처리 장치 및 방법
KR20180134522A (ko) * 2017-06-09 2018-12-19 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026455A (ko) * 2013-09-03 2015-03-11 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
KR20150087446A (ko) * 2014-01-20 2015-07-30 한국전자통신연구원 3차원 데이터 처리 장치 및 방법
KR20180134522A (ko) * 2017-06-09 2018-12-19 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
CN110249291A (zh) 用于在预捕获环境中的增强现实内容递送的系统和方法
EP3088996A1 (en) Systems and methods for tactile guidance
CN103336575B (zh) 一种人机交互的智能眼镜系统及交互方法
JP6496671B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
CN105027175B (zh) 基于各设备之间的距离修改功能的方法和设备
CN110325953B (zh) 用于虚拟现实服务的屏幕控制方法和设备
KR101934308B1 (ko) 공공데이터를 융합한 3차원 조망 가시화 시스템
CN102664988B (zh) 一种基于智能手机的三维交互方法及系统
CN104508601B (zh) 具有改良的虚拟显示功能的头戴式电脑
JP2009087026A (ja) 映像表示装置
CN106843491A (zh) 带增强现实的智能设备及电子设备
CN110070556A (zh) 使用深度传感器的结构建模
JP2008033043A (ja) 地図情報配信システム、地図情報配信装置、および地図情報配信方法
KR102004986B1 (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
US9483116B2 (en) Method, device, and system for providing sensory information and sense
JP2021520577A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN102426486A (zh) 一种立体交互方法及被操作设备
WO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN102508562A (zh) 一种立体交互系统
KR20120056105A (ko) 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법
de Belen et al. Integrating mixed reality and internet of things as an assistive technology for elderly people living in a smart home
CN107102750B (zh) 一种基于笔式交互系统的虚拟三维空间中目标的选择方法
CN116430991A (zh) 基于混合现实的展厅数字人讲解方法、系统及电子设备
JP5890359B2 (ja) 端末装置、表示方法、プログラム、および表示システム

Legal Events

Date Code Title Description
A201 Request for examination
SUBM Surrender of laid-open application requested