KR20200034693A - 사용자의 감각에 대한 자극 제공 시스템 및 그 방법 - Google Patents

사용자의 감각에 대한 자극 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR20200034693A
KR20200034693A KR1020200034581A KR20200034581A KR20200034693A KR 20200034693 A KR20200034693 A KR 20200034693A KR 1020200034581 A KR1020200034581 A KR 1020200034581A KR 20200034581 A KR20200034581 A KR 20200034581A KR 20200034693 A KR20200034693 A KR 20200034693A
Authority
KR
South Korea
Prior art keywords
component
stimulus
user
components
providing
Prior art date
Application number
KR1020200034581A
Other languages
English (en)
Other versions
KR102221336B1 (ko
Inventor
강원석
윤상훈
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200034581A priority Critical patent/KR102221336B1/ko
Publication of KR20200034693A publication Critical patent/KR20200034693A/ko
Application granted granted Critical
Publication of KR102221336B1 publication Critical patent/KR102221336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces

Abstract

사용자의 감각에 대한 자극 제공 시스템 및 그 방법이 개시된다. 자극 제공 방법은 프로토콜과 관련된 컴포넌트들을 생성하는 단계; 상기 컴포넌트들 중에서 사용자에게 선택된 컴포넌트들을 컴포넌트 배치 영역에 배치하는 단계; 상기 컴포넌트 배치 영역에 배치된 컴포넌트들 각각의 타입에 따라 상기 컴포넌트 배치 영역에 배치된 컴포넌트들을 연결하여 부모 관계 또는 자식 관계를 정의하는 단계; 부모 관계 또는 자식 관계가 정의된 컴포넌트들의 속성을 결정하는 단계; 및 상기 컴포넌트들의 연결 관계 및 상기 컴포넌트들의 속성에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하도록 자극 제공 장치를 제어하는 단계를 포함할 수 있다.

Description

사용자의 감각에 대한 자극 제공 시스템 및 그 방법{SYSTEM AND METHOD FOR PROVIDING STIMULATION TO A USER'S SENSES}
본 발명은 사용자의 감각에 대한 자극을 제공하는 시스템 및 방법에 관한 것이다.
시각, 촉각, 미각, 후각, 및 청각과 같은 사용자의 감각에 대한 자극을 제공하는 기술들이 개발되고 있다. 예를 들어, 햅틱과 같이 사용자에게 촉각 자극을 제공하기 위한 기술이나, 출원 번호 제2014-0048079호에 기재된 바와 같이 사용자에게 후각 자극을 표시하기 위한 냄새 출력 장치가 개발되었다.
그러나, 시각, 촉각, 미각, 후각, 및 청각에 대한 자극을 사용자에게 제공하고, 자극에 대한 반응을 확인하는 실험을 하는 경우, 시각, 촉각, 미각, 후각, 및 청각에 대한 자극을 정밀하게 사용자에게 제공하기 위하여 사용자에게 제공하는 자극을 제어하기 위한 프로토콜을 코딩해야 하므로, 코딩 과정에 의하여 비용 및 실험 기간이 증가한다는 문제점이 있었다.
따라서, 자극 제공 장치를 통하여 다른 사용자 또는 본인에게 제공할 자극을 코딩 과정 없이도 제어할 수 있는 방법이 요청되고 있다.
본 발명은 자극을 제공하기 위한 프로토콜과 관련된 컴포넌트들을 연결하여 감각별 자극의 제공 순서, 감각별 자극의 종류, 감각별 자극의 제공 시간을 편집하도록 함으로써, 사용자가 자극 제공 장치를 통하여 다른 사용자 또는 본인에게 제공할 자극을 용이하게 제어하도록 하는 시스템 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 자극 편집 장치, 및 자극 제공 장치를 포함하는 사용자의 감각에 대한 자극 제공 시스템이 수행하는 사용자의 감각에 대한 자극 제공 방법은 상기 자극 편집 장치가 프로토콜과 관련된 컴포넌트들을 생성하는 단계; 상기 자극 편집 장치가 상기 컴포넌트들 중에서 사용자에게 선택된 컴포넌트들을 컴포넌트 배치 영역에 배치하는 단계; 상기 자극 편집 장치가 상기 컴포넌트 배치 영역에 배치된 컴포넌트들 각각의 타입에 따라 상기 컴포넌트 배치 영역에 배치된 컴포넌트들을 연결하여 부모 관계 또는 자식 관계를 정의하는 단계; 상기 자극 편집 장치가 부모 관계 또는 자식 관계가 정의된 컴포넌트들의 속성을 결정하는 단계; 및 상기 자극 제공 장치가 상기 컴포넌트들의 연결 관계 및 상기 컴포넌트들의 속성에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 프로토콜과 관련된 컴포넌트들의 타입은, 상기 프로토콜을 표현하기 위한 프로토콜 컴포넌트, 복수의 컴포넌트들의 그룹을 표현하기 위한 콤플렉스 컴포넌트, 상기 프로토콜의 최소 단위를 표현하기 위한 베이스 컴포넌트; 및 사용자의 감각에 대한 자극을 제공하는 장치를 제어하기 위한 액션 컴포넌트 중 하나일 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 프로토콜 컴포넌트는, 적어도 하나의 상기 콤플렉스 컴포넌트를 상기 프로토콜 컴포넌트의 자식 관계로 연결하기 위한 구조를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 콤플렉스 컴포넌트는, 상기 프로토콜 컴포넌트를 상기 콤플렉스 컴포넌트의 부모 관계로 연결하기 위한 구조 및 다른 콤플렉스 컴포넌트, 또는 상기 베이스 컴포넌트를 상기 콤플렉스 컴포넌트의 자식 관계로 연결하기 위한 구조를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 베이스 컴포넌트는, 상기 프로토콜 컴포넌트, 또는 상기 콤플렉스 컴포넌트를 상기 베이스 컴포넌트의 부모 관계로 연결하기 위한 구조 및 상기 액션 컴포넌트를 상기 베이스 컴포넌트의 자식 관계로 연결하기 위한 구조를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 액션 컴포넌트는, 상기 베이스 컴포넌트를 상기 액션 컴포넌트의 부모 관계로 연결하기 위한 구조를 포함하며, 사용자의 오감들 각각에 대한 자극을 제공하는 타입들, 및 사용자의 감각에 대한 자극이 없는 상태를 표시하는 타입 중 하나일 수 있다.
본 발명의 일실시예에 따른 자극 편집 장치, 및 자극 제공 장치를 포함하는 사용자의 감각에 대한 자극 제공 시스템이 수행하는 사용자의 감각에 대한 자극 제공 방법은 상기 자극 편집 장치가 프로토콜과 관련된 컴포넌트들 중에서 프로토콜의 제어와 관련된 제어 컴포넌트를 컴포넌트 배치 영역에 배치하는 단계; 상기 자극 편집 장치가 프로토콜과 관련된 컴포넌트들 중에서 사용자의 오감들 각각에 대한 자극을 제공하는 자극 컴포넌트들, 또는 사용자의 감각에 대한 자극이 없는 상태를 표시하는 휴식 컴포넌트를 상기 제어 컴포넌트에 연결하는 단계; 상기 자극 편집 장치가 상기 제어 컴포넌트, 상기 자극 컴포넌트, 및 상기 휴식 컴포넌트에 정보를 표현하기 위한 적어도 하나의 정보 컴포넌트를 연결하는 단계; 및 상기 자극 제공 장치가 상기 컴포넌트들의 연결 관계 및 상기 정보 컴포넌트에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 정보 컴포넌트는, 상기 사용자의 감각에 대한 자극을 제공할 자극 제공 장치 정보가 포함된 장치 정보 컴포넌트, 사용자의 감각에 대한 자극을 제공하기 위한 소프트웨어 정보가 포함된 소프트웨어 정보 컴포넌트, 사용자의 감각에 대한 자극을 제공하기 위한 자극 정보가 포함된 자극 정보 컴포넌트, 상기 자극 정보의 경로가 포함된 경로 정보 컴포넌트, 및 동작 시간 정보가 포함된 시간 정보 컴포넌트 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법의 상기 제어 컴포넌트, 상기 자극 컴포넌트들, 및 상기 휴식 컴포넌트는 각각 다른 제어 컴포넌트, 다른 자극 컴포넌트, 및 다른 휴식 컴포넌트와 수평 관계로 연결하기 위한 구조를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 시스템은 프로토콜과 관련된 컴포넌트들을 생성하고, 상기 컴포넌트들 중에서 사용자에게 선택된 컴포넌트들을 컴포넌트 배치 영역에 배치하며, 상기 컴포넌트 배치 영역에 배치된 컴포넌트들 각각의 타입에 따라 상기 컴포넌트 배치 영역에 배치된 컴포넌트들을 연결하여 부모 관계 또는 자식 관계를 정의하고, 부모 관계 또는 자식 관계가 정의된 컴포넌트들의 속성을 결정하며, 상기 컴포넌트들의 연결 관계 및 상기 컴포넌트들의 속성에 따라 자극 제공 장치를 제어하는 자극 편집 장치; 및 상기 자극 편집 장치의 제어에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하는 자극 제공 장치를 포함할 수 있다.
본 발명의 일실시예에 의하면, 자극을 제공하기 위한 프로토콜과 관련된 컴포넌트들을 연결하여 감각별 자극의 제공 순서, 감각별 자극의 종류, 감각별 자극의 제공 시간을 편집하도록 함으로써, 사용자가 자극 제공 장치를 통하여 다른 사용자 또는 본인에게 제공할 자극을 용이하게 제어하도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 시스템을 나타내는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 자극 편집 장치가 제공하는 편집 화면 및 컴포넌트의 일례이다.
도 3은 본 발명의 제1 실시예에 따른 컴포넌트들의 연결 과정의 일례이다.
도 4는 본 발명의 제1 실시예에 따른 속성 결정 과정의 일례이다.
도 5는 본 발명의 제2 실시예에 따른 자극 편집 장치가 제공하는 편집 화면의 일례이다.
도 6은 본 발명의 제2 실시예에 따른 제어 컴포넌트의 일례이다.
도 7은 본 발명의 제2 실시예에 따른 휴식 컴포넌트의 일례이다.
도 8은 본 발명의 제2 실시예에 따른 시각 자극 컴포넌트의 일례이다.
도 9는 본 발명의 제2 실시예에 따른 청각 자극 컴포넌트의 일례이다.
도 10은 본 발명의 제2 실시예에 따른 후각 자극 컴포넌트의 일례이다.
도 11은 본 발명의 제2 실시예에 따른 미각 자극 컴포넌트의 일례이다.
도 12는 본 발명의 제2 실시예에 따른 촉각 자극 컴포넌트의 일례이다.
도 13은 본 발명의 제2 실시예에 따른 컴포넌트들에 포함된 연결 구조의 일례이다.
도 14와 도 15는 본 발명의 제2 실시예에 따른 컴포넌트들의 연결 과정의 일례이다.
도 16은 본 발명의 제1 실시예에 따른 사용자의 감각에 대한 자극 제공 방법을 도시한 플로우차트이다.
도 17은 본 발명의 제2 실시예에 따른 사용자의 감각에 대한 자극 제공 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 방법은 사용자의 감각에 대한 자극 제공 시스템에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 시스템을 나타내는 도면이다.
사용자의 감각에 대한 자극 제공 시스템은 도 1에 도시된 바와 같이 자극 편집 장치(100), 및 자극 제공 장치(110)를 포함할 수 있다.
자극 편집 장치(100)는 사용자(101)의 요청에 따라 사용자(102)에게 제공할 감각별 자극을 편집할 수 있다. 이때, 자극을 편집하는 사용자(101)과 자극을 제공받는 사용자(102)는 동일인일 수도 있고, 서로 다른 사람일 수도 있다.
구체적으로, 자극 편집 장치(100)는 자극을 제공하기 위한 프로토콜과 관련된 컴포넌트들을 연결하여 감각별 자극의 제공 순서, 감각별 자극의 종류, 감각별 자극의 제공 시간을 편집할 수 있다. 그리고, 지극 편집 장치(100)는 편집 결과에 따라 자극 제공 장치(110)에게 사용자의 감각에 대한 자극을 순차적으로 제공하도록 지시할 수 있다.
이때, 자극 편집 장치(100)는 사용자가 컴포넌트를 선택하기 위한 입력 수단과 자극 제공 장치(110)에게 사용자의 감각에 대한 자극을 순차적으로 제공하도록 지시하기 위한 통신 수단을 포함한 단말일 수 있다. 예를 들어, 자극 편집 장치(100)는 PC, 태블릿, 모바일 중 하나일 수 있다.
또한, 자극 편집 장치(100)는 사용자(101), 또는 사용자(102)가 구성한 GUI 프로토콜을 Mark-up 언어(XML 등) 형태로 저장하고, 로드할 수 있는 기능을 포함할 수도 있다.
자극 편집 장치(100)의 구체적인 동작은 이하 도 2 내지 도 17을 참조하여 상세히 설명한다.
자극 제공 장치(110)는 자극 편집 장치(100)의 지시에 따라 사용자(102)의 감각에 대한 자극을 제공할 수 있다. 도 1에서는 자극 제공 장치(110)를 PC 형태로 도시하고 있으나, 사용자(102)에게 제공할 감각의 종류에 따라 자극 제공 장치(110)는 PC 이외의 하드웨어로 구성될 수도 있다.
예를 들어, 시각(111)에 대한 자극 제공 장치(110)는 사용자(102)에게 시각 자극을 표시하기 위한 디스플레이를 포함할 수 있다. 또한, 촉각(112)에 대한 자극 제공 장치(110)는 사용자(102)에게 촉각 자극을 제공하기 위한 진동이나 전기를 포함한 수단들 중 적어도 하나를 포함할 수 있다. 예를 들어, 촉각(112)에 대한 자극 제공 장치(110)는 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브일 수 있다.
그리고, 청각(113)에 대한 자극 제공 장치(110)는 사용자(102)에게 청각 자극을 출력하기 위한 스피커, 또는 이어폰을 포함할 수 있다. 또한, 미각(114)에 대한 자극 제공 장치(110)는 사용자(102)의 입안에서 사용자(102)에게 미각 자극을 제공하기 위한 분사 장치를 포함할 수 있다. 예를 들어, 미각(114)에 대한 자극 제공 장치(110)는 사용자(102)의 입안에 미각 용액, 또는 사용자(102)의 입안을 세척하기 위한 새척액을 분사하기 위한 분사구와, 분사된 용액을 제거하기 위한 흡입부, 및 미각 용액의 분사량 및 미각 용액에 포함된 성문을 제어하는 제어부를 포함할 수 있다.
그리고, 후각(115)에 대한 자극 제공 장치(110)는 사용자(102)에게 후각 자극을 표시하기 위한 냄새 출력 장치를 포함할 수 있다. 예를 들어, 후각(115)에 대한 자극 제공 장치(110)는 사용자(102)의 코에 배치되는 냄새 자극 공급기와 생성하는 냄새 자극의 종류, 냄새 자극의 공급 시간, 및 냄새 자극을 유지하는 시간을 제어하는 제어기를 포함할 수 있다.
본 발명의 일실시예에 따른 사용자의 감각에 대한 자극 제공 시스템은 자극을 제공하기 위한 프로토콜과 관련된 컴포넌트들을 연결하여 감각별 자극의 제공 순서, 감각별 자극의 종류, 감각별 자극의 제공 시간을 편집하도록 함으로써, 사용자가 자극 제공 장치를 통하여 다른 사용자 또는 본인에게 제공할 자극을 용이하게 제어하도록 할 수 있다.
도 2는 본 발명의 제1 실시예에 따른 자극 편집 장치가 제공하는 편집 화면 및 컴포넌트의 일례이다.
본 발명의 제1 실시예에 따른 자극 편집 장치가 제공하는 편집 화면은 도 2에 도시된 바와 같이 컴포넌트 배치 영역(210), 컴포넌트 속성 영역(220), 및 오버뷰(Overview) 윈도우(230)를 포함할 수 있다.
컴포넌트 배치 영역(210)은 자극 제공 프로토콜과 관련된 컴포넌트들을 배치하고, 배치된 컴포넌트들 간의 관계가 정의되는 영역일 수 있다.
컴포넌트 속성 영역(220)는 컴포넌트 배치 영역(210)에 배치된 컴포넌트들 중에서 사용자에게 선택된 컴포넌트의 속성을 표시하는 영역일 수 있다. 또한, 컴포넌트 속성 영역(220)에 표시된 컴포넌트의 속성은 사용자의 입력에 따라 변경되고, 변경된 속성이 컴포넌트의 속성으로 저장될 수 있다.
오버뷰 윈도우(230)는 컴포넌트 배치 영역(210)에 배치된 컴포넌트들을 축소하여 표시함으로써, 컴포넌트 배치 영역(210)에 배치된 모든 컴포넌트들 간의 관계를 표시할 수 있다.
즉, 오버뷰 윈도우(230)는 컴포넌트 배치 영역(210)에서 표시되는 영역보다 넓은 영역에 컴포넌트들을 배치할 수 있는 경우에 활성화될 수 있다. 그리고, 오버뷰 윈도우(230)는 현재의 컴포넌트 배치 영역(210)에 표시되는 화면을 도 2에서 해칭 표시한 영역과 같이 구분하여 표시함으로써, 사용자에게 현재의 컴포넌트 배치 영역(210)에 표시되는 화면이 모든 컴포넌트들 간의 관계 중 어느 부분을 표시하고 있는지를 나타낼 수 있다.
그리고, 본 발명의 제1 실시예에 따른 자극 편집 장치는 도 2에 도시된 바와 같은 프로토콜 컴포넌트(201), 콤플렉스 컴포넌트(202), 베이스 컴포넌트(230) 및 액션 컴포넌트(204) 중 적어도 하나를 생성할 수 있다.
프로토콜 컴포넌트(201)는 자극 제공 프로토콜을 표현하기 위한 컴포넌트이며, 컴포넌트들 중에서 가장 먼저 배치되는 컴포넌트일 수 있다. 즉, 프로토콜 컴포넌트(201)의 부모 관계로 연결되는 컴포넌트가 없으므로, 프로토콜 컴포넌트(201)는 다른 컴포넌트와 부모 관계로 연결되기 위한 구조를 포함하지 않을 수 있다. 대신, 프로토콜 컴포넌트(201)는 적어도 하나의 콤플렉스 컴포넌트(202)를 프로토콜 컴포넌트(201)의 자식 관계로 연결하기 위한 구조를 포함할 수 있다.
그리고, 프로토콜의 배치되고, 컴포넌트들이 연결된 후, 컴포넌트들의 속성이 결정되면, 프로토콜 컴포넌트(201)는 프로토콜 명세를 자동으로 진행할 수 있다.
콤플렉스 컴포넌트(202)는 프로토콜 컴포넌트(201)의 하위 컴포넌트이며, 복수의 베이스 컴포넌트(230)들로 구성된 컴포넌트들의 그룹을 표현하기 위한 컴포넌트일 수 있다. 이때, 콤플렉스 컴포넌트(202)는 프로토콜 컴포넌트(201)를 콤플렉스 컴포넌트(202)의 부모 관계로 연결하기 위한 구조 및 다른 콤플렉스 컴포넌트, 또는 베이스 컴포넌트(203)를 콤플렉스 컴포넌트(202)의 자식 관계로 연결하기 위한 구조를 포함할 수 있다.
베이스 컴포넌트(230)는 프로토콜의 최소 단위를 표현하기 위한 컴포넌트일 수 있다. 이때, 베이스 컴포넌트(203)는 프로토콜 컴포넌트(201), 또는 콤플렉스 컴포넌트(202)를 베이스 컴포넌트(203)의 부모 관계로 연결하기 위한 구조 및 액션 컴포넌트(204)를 베이스 컴포넌트(203)의 자식 관계로 연결하기 위한 구조를 포함할 수 있다.
액션 컴포넌트(204)는 사용자의 감각에 대한 자극을 제공하는 장치를 제어하기 위한 컴포넌트일 수 있다. 이때, 액션 컴포넌트(204)는 베이스 컴포넌트(203)를 액션 컴포넌트(204)의 부모 관계로 연결하기 위한 구조를 포함할 수 있다. 그리고, 액션 컴포넌트(204)는 컴포넌트들 중에서 최하위 컴포넌트이므로, 다른 컴포넌트와 자식 관계로 연결하기 위한 구조를 포함하지 않을 수 있다.
또한, 액션 컴포넌트(204)는 사용자의 오감들 각각에 대한 자극을 제공하는 타입들, 및 사용자의 감각에 대한 자극이 없는 상태를 표시하는 타입 중 하나일 수 있다. 예를 들어, 액션 컴포넌트(204)는 시각에 대한 자극을 제공하는 ActionVisual 컴포넌트, 촉각에 대한 자극을 제공하는 ActionHaptic 컴포넌트, 청각에 대한 자극을 제공하는 ActionAuditory 컴포넌트, 미각에 대한 자극을 제공하는 ActionGustatory 컴포넌트, 후각에 대한 자극을 제공하는 ActionOlfactory 컴포넌트, 및 자극이 없는 상태를 표시하는 논(NONE) 컴포넌트 중 하나일 수 있다.
또한, 액션 컴포넌트(204)의 초기값은 자극이 없는 상태를 표시하는 논 컴포넌트이며, 액션 컴포넌트(204)의 속성을 결정하는 과정에서 본 발명의 제1 실시예에 따른 자극 편집 장치가 논 컴포넌트를 시각 컴포넌트, 촉각 컴포넌트, 청각 컴포넌트, 미각 컴포넌트, 후각 컴포넌트 중 하나로 변경 시킬 수 있다.
도 3은 표 1에 도시된 바와 같은 자극 제어 프로토콜을 수행하기 위하여 본 발명의 제1 실시예에 따른 컴포넌트들을 연결하는 과정의 일례이다.
Figure pat00001
단계(310)에서 자극 편집 장치는 컴포넌트 배치 영역(210)에 프로토콜 컴포넌트(201)를 배치할 수 있다.
단계(320)에서 자극 편집 장치는 컴포넌트 배치 영역(210)에 제1 콤플렉스 콜 컴포넌트(321)를 추가로 배치할 수 있다. 그리고, 자극 편집 장치는 제1 콤플렉스 콜 컴포넌트(321)를 단계(310)에서 배치된 프로토콜 컴포넌트(201)에 자식 관계로 배치하여 연결할 수 있다.
단계(330)에서 자극 편집 장치는 컴포넌트 배치 영역(210)에 제1 베이스 컴포넌트(331) 및 제2 콤플렉스 콜 컴포넌트(332)를 추가로 배치할 수 있다. 이때, 자극 편집 장치는 제1 베이스 컴포넌트(331) 및 제2 콤플렉스 콜 컴포넌트(332)를 단계(320)에서 배치된 콤플렉스 콜 컴포넌트(321)에 자식 관계로 배치하여 연결할 수 있다.
단계(340)에서 자극 편집 장치는 컴포넌트 배치 영역(210)에 제1 액션 컴포넌트(341)를 추가로 배치할 수 있다. 그리고, 자극 편집 장치는 제1 액션 컴포넌트(341)를 단계(330)에서 배치된 제1 베이스 컴포넌트(331)에 자식 관계로 배치하여 연결할 수 있다.
단계(350)에서 자극 편집 장치는 컴포넌트 배치 영역(210)에 제2 베이스 컴포넌트(351) 및 제3 베이스 컴포넌트(353)를 추가로 배치할 수 있다. 이때, 자극 편집 장치는 제2 베이스 컴포넌트(351) 및 제3 베이스 컴포넌트(353)를 단계(320)에서 배치된 제2 콤플렉스 콜 컴포넌트(332)에 자식 관계로 배치하여 연결할 수 있다.
또한, 자극 편집 장치는 컴포넌트 배치 영역(210)에 제2 액션 컴포넌트(352) 및 제3 액션 컴포넌트(354)를 추가로 배치할 수 있다. 이때, 자극 편집 장치는 제2 액션 컴포넌트(352) 및 제3 액션 컴포넌트(354)를 각각 제2 베이스 컴포넌트(351) 및 제3 베이스 컴포넌트(353)에 자식 관계로 배치하여 연결할 수 있다.
도 3에 도시된 바와 같이 컴포넌트들이 연결된 상태에서 자극 편집 장치가 자극 제공 장치(110)를 제어하는 경우, 자극 편집 장치는 액션 컴포넌트들 중 프로토콜 컴포넌트(201)에 가장 가까운 제1 액션 컴포넌트(341)의 속성에 대응하는 자극 제공 장치(110)를 먼저 제어할 수 있다. 다음으로, 자극 편집 장치는 제2 액션 컴포넌트(352)의 속성에 대응하는 자극 제공 장치(110), 및 제3 액션 컴포넌트(354)의 속성에 대응하는 자극 제공 장치(110)를 순차적으로 제어할 수 있다.
도 4는 본 발명의 제1 실시예에 따른 속성 결정 과정의 일례이다.
도 3에 도시된 바와 같이 컴포넌트들이 연결된 상태에서 컴포넌트가 사용자에게 선택된 경우, 자극 편집 장치는 도 4에 도시된 바와 같이 컴포넌트 속성 영역(220)에 사용자에게 선택된 컴포넌트의 속성(400)을 표시할 수 있다.
예를 들어, 프로토콜 컴포넌트(201)의 속성은 도 4에 도시된 바와 같이 프로토콜의 지속 기간(duration), 프로토콜의 종료 시간(End Time), 프로토콜의 식별 정보(ID), 프로토콜의 반복 횟수(Loop), 프로토콜의 이름(Name), 및 프로토콜의 시작 시간(Start Time)을 포함할 수 있다.
또한, 컴포넌트 속성 영역(220)에 표시된 컴포넌트의 속성(400)의 값은 사용자의 입력에 따라 변경될 수 있다.
예를 들어, 액션 컴포넌트(204)의 속성 중 자극 제공 장치(Device)는 논 컴포넌트 상태에서 None일 수 있다. 그리고, 자극 제공 장치(Device)의 값이 None에서 디스플레이로 변경되는 경우, 자극 편집 장치는 액션 컴포넌트(204)의 타입을 논 컴포넌트에서 시각 컴포넌트로 변경 시킬 수 있다. 또한, 자극 제공 장치(Device)의 값이 None에서 스피커로 변경되는 경우, 자극 편집 장치는 액션 컴포넌트(204)의 타입을 논 컴포넌트에서 청각 컴포넌트로 변경 시킬 수 있다.
도 5는 본 발명의 제2 실시예에 따른 자극 편집 장치가 제공하는 편집 화면의 일례이다.
본 발명의 제2 실시예에 따른 자극 편집 장치는 본 발명의 제1 실시예에서 컴포넌트의 속성으로 설정한 정보들을 각각 최하위 레벨의 컴포넌트인 정보 컴포넌트로 생성하고, 본 발명의 제1 실시예에서 속성을 결정하는 과정을 속성의 값을 가지는 정보 컴포넌트를 연결하는 과정으로 대체한 실시예이다.
본 발명의 제2 실시예에 따른 자극 편집 장치가 제공하는 편집 화면은 도 5에 도시된 바와 같이 컴포넌트 집합 영역(510), 컴포넌트 배치 영역(520) 및 오버뷰 윈도우(530)를 포함할 수 있다.
컴포넌트 집합 영역(510)은 자극 제공 프로토콜과 관련된 컴포넌트들을 기능별로 그룹화하여 표시하고 있는 영역이다.
컴포넌트 배치 영역(520)은 컴포넌트 집합 영역(510)에 표시된 컴포넌트들 중에서 사용자에게 선택된 컴포넌트(501)들을 배치하고, 배치된 컴포넌트들을 연결하는 영역일 수 있다.
오버뷰 윈도우(530)는 컴포넌트 배치 영역(520)에 배치된 컴포넌트들을 축소하여 표시함으로써, 컴포넌트 배치 영역(520)에 배치된 모든 컴포넌트들 간의 관계를 표시할 수 있다. 즉, 오버뷰 윈도우(530)는 컴포넌트 배치 영역(210)에서 표시되는 영역보다 넓은 영역에 컴포넌트들을 배치할 수 있는 경우에 활성화될 수 있다. 그리고, 오버뷰 윈도우(530)는 현재의 컴포넌트 배치 영역(520)에 표시되는 화면을 윤곽선(531)로 표시함으로써, 사용자에게 현재의 컴포넌트 배치 영역(520)에 표시되는 화면이 모든 컴포넌트들 간의 관계 중 어느 부분을 표시하고 있는지를 나타낼 수 있다.
도 6은 본 발명의 제2 실시예에 따른 제어 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 제어 컴포넌트 그룹은 도 6에 도시된 바와 같이 시작 컴포넌트(611)와 그룹 컴포넌트(612)를 포함할 수 있다.
시작 컴포넌트(611)는 본 발명의 제1 실시예에 따른 프로토콜 컴포넌트(201)에 대응되는 컴포넌트이며, 자극 제공 프로토콜의 시작을 정의하는 컴포넌트일 수 있다.
따라서, 시작 컴포넌트(611)는 프로토콜 컴포넌트(201)와 같이 상위 컴포넌트가 연결되지 않을 수 있다.
또한, 시작 컴포넌트(611)의 하위 컴포넌트로 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다. 그리고, 시작 컴포넌트(611)는 수평 관계로 연결되는 이웃 컴포넌트가 없을 수 있다.
또한, 시작 컴포넌트(611)에 연결되는 정보 컴포넌트는 프로토콜의 반복 회수를 나타내기 위한 숫자 컴포넌트(620)일 수 있다.
그룹 컴포넌트(612)는 본 발명의 제1 실시예에 따른 콤플렉스 컴포넌트(202)에 대응되는 컴포넌트이며, 복수의 컴포넌트들을 포함하는 그룹을 지정하기 위한 컴포넌트일 수 있다.
이때, 그룹 컴포넌트(612)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 다른 그룹 컴포넌트가 연결될 수 있다. 또한, 그룹 컴포넌트(612)의 하위 컴포넌트로 다른 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다. 그리고, 다른 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트는 그룹 컴포넌트(612)의 이웃 컴포넌트로 연결될 수도 있다.
또한, 그룹 컴포넌트(612)에 연결되는 정보 컴포넌트는 그룹 컴포넌트(612)에 포함된 컴포넌트들의 반복 회수를 나타내기 위한 숫자 컴포넌트(630)일 수 있다.
도 7은 본 발명의 제2 실시예에 따른 휴식 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 휴식 컴포넌트 그룹은 본 발명의 제1 실시예에 따른 액션 컴포넌트(204) 중 자극이 없는 상태를 표시하는 논(NONE) 컴포넌트에 대응하는 휴식 컴포넌트(710)들의 그룹일 수 있다. 구체적으로, 휴식 컴포넌트(710)는 본 발명의 제1 실시예에 따른 베이스 컴포넌트(203)와 논(NONE) 컴포넌트가 결합된 형태의 컴포넌트일 수 있다.
이때, 휴식 컴포넌트(710)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 그룹 컴포넌트(612)가 연결될 수 있다. 또한, 휴식 컴포넌트(710)는 최하위 레벨의 컴포넌트이므로, 하위 컴포넌트가 연결되지 않을 수 있다.
그리고, 휴식 컴포넌트(710)의 이웃 컴포넌트로 그룹 컴포넌트, 다른 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다.
또한, 휴식 컴포넌트(710)에 연결되는 정보 컴포넌트는 휴식 컴포넌트(710)의 동작 시간을 나타내기 위한 숫자 컴포넌트(720)일 수 있다. 예를 들어, 휴식 컴포넌트(710)에 1000 밀리 초 동안 휴식 컴포넌트(710)가 동작하도록 하는 숫자 컴포넌트(721)가 연결될 수 있다.
도 8은 본 발명의 제2 실시예에 따른 시각 자극 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 시각 자극 컴포넌트 그룹은 본 발명의 제1 실시예에 따른 액션 컴포넌트(204) 중 ActionVisual 컴포넌트에 대응하는 시각 자극 컴포넌트(810)들의 그룹일 수 있다. 구체적으로, 시각 자극 컴포넌트(810)는 본 발명의 제1 실시예에 따른 베이스 컴포넌트(203)와 ActionVisual 컴포넌트가 결합된 형태의 컴포넌트일 수 있다.
이때, 시각 자극 컴포넌트(810)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 그룹 컴포넌트(612)가 연결될 수 있다. 또한, 시각 자극 컴포넌트(810)는 최하위 레벨의 컴포넌트이므로, 하위 컴포넌트가 연결되지 않을 수 있다.
그리고, 시각 자극 컴포넌트(810)의 이웃 컴포넌트로 그룹 컴포넌트, 휴식 컴포넌트, 다른 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다.
또한, 시각 자극 컴포넌트(810)에 연결되는 정보 컴포넌트는 장치 정보 컴포넌트(820), 소프트웨어 정보 컴포넌트(830), 경로 정보 컴포넌트(840), 자극 정보 컴포넌트(850), 시간 정보 컴포넌트(860)일 수 있다. 이때, 시각 자극 컴포넌트(810)는 문자열 컴포넌트와 연결되기 위한 구조(811,812,813,814)를 포함하고, 문자열 컴포넌트인 장치 정보 컴포넌트(820), 소프트웨어 정보 컴포넌트(830), 경로 정보 컴포넌트(840), 자극 정보 컴포넌트(850)가 각각 구조(811,812,813,814)에 연결될 수 있다. 그리고, 청각 자극 컴포넌트(810)는 숫자 컴포넌트와 연결되기 위한 구조(815)를 포함하고, 숫자 컴포넌트인 시간 정보 컴포넌트(860)는 구조(815)에 연결될 수 있다.
장치 정보 컴포넌트(820)는 시각 자극을 제공하는 자극 제공 장치(110)의 식별 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 장치 정보 컴포넌트(820)는 시각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트(821)일 수 있다.
소프트웨어 정보 컴포넌트(830)는 시각 자극을 제공하기 위한 소프트웨어의 식별 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 소프트웨어 정보 컴포넌트(830)는 시각 자극을 제공하기 위한 뷰어의 이름이 표시된 컴포넌트(831)일 수 있다.
경로 정보 컴포넌트(840)는 시각 자극을 제공하기 위한 리소스가 저장된 위치 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 경로 정보 컴포넌트(840)는 시각 자극을 제공하기 위한 이미지 파일이 저장된 위치로 이동하기 위한 경로가 표시된 컴포넌트(841)일 수 있다.
자극 정보 컴포넌트(850)는 경로 정보 컴포넌트(840)가 나타낸 위치에 저장된 리소스들 중에서 시각 자극을 제공하기 위한 리소스인 자극 정보의 이름을 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 자극 정보 컴포넌트(850)는 시각 자극을 제공하기 위한 이미지 파일 이름이 표시된 컴포넌트(851)일 수 있다.
시간 정보 컴포넌트(860)는 시각 자극 컴포넌트(810)의 동작 시간을 나타내기 위한 숫자 컴포넌트일 수 있다. 예를 들어, 시간 정보 컴포넌트(860)는 1000 밀리 초 동안 시각 자극 컴포넌트(810)가 동작하도록 하는 숫자가 표시된 컴포넌트(861)일 수 있다.
도 9는 본 발명의 제2 실시예에 따른 청각 자극 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 청각 자극 컴포넌트 그룹은 본 발명의 제1 실시예에 따른 액션 컴포넌트(204) 중 ActionAuditory 컴포넌트에 대응하는 청각 자극 컴포넌트(910)들의 그룹일 수 있다. 구체적으로, 청각 자극 컴포넌트(910)는 본 발명의 제1 실시예에 따른 베이스 컴포넌트(203)와 ActionAuditory 컴포넌트가 결합된 형태의 컴포넌트일 수 있다.
이때, 청각 자극 컴포넌트(910)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 그룹 컴포넌트(612)가 연결될 수 있다. 또한, 청각 자극 컴포넌트(910)는 최하위 레벨의 컴포넌트이므로, 하위 컴포넌트가 연결되지 않을 수 있다.
그리고, 청각 자극 컴포넌트(910)의 이웃 컴포넌트로 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 다른 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다.
또한, 청각 자극 컴포넌트(910)에 연결되는 정보 컴포넌트는 장치 정보 컴포넌트(920), 소프트웨어 정보 컴포넌트(930), 경로 정보 컴포넌트(940), 자극 정보 컴포넌트(950), 시간 정보 컴포넌트(960)일 수 있다. 이때, 청각 자극 컴포넌트(910)는 문자열 컴포넌트와 연결되기 위한 구조(911,912,913,914)를 포함하고, 문자열 컴포넌트인 장치 정보 컴포넌트(920), 소프트웨어 정보 컴포넌트(930), 경로 정보 컴포넌트(940), 자극 정보 컴포넌트(950)가 각각 구조(911,912,913,914)에 연결될 수 있다. 그리고, 청각 자극 컴포넌트(910)는 숫자 컴포넌트와 연결되기 위한 구조(915)를 포함하고, 숫자 컴포넌트인 시간 정보 컴포넌트(960)는 구조(915)에 연결될 수 있다.
장치 정보 컴포넌트(920)는 청각 자극을 제공하는 자극 제공 장치(110)의 식별 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 장치 정보 컴포넌트(920)는 청각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트(921)일 수 있다.
소프트웨어 정보 컴포넌트(930)는 청각 자극을 제공하기 위한 소프트웨어의 식별 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 소프트웨어 정보 컴포넌트(930)는 청각 자극을 제공하기 위한 플레이어의 이름이 표시된 컴포넌트(931)일 수 있다.
경로 정보 컴포넌트(940)는 청각 자극을 제공하기 위한 리소스가 저장된 위치 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 경로 정보 컴포넌트(940)는 청각 자극을 제공하기 위한 오디오 파일이 저장된 위치로 이동하기 위한 경로가 표시된 컴포넌트(941)일 수 있다.
자극 정보 컴포넌트(950)는 경로 정보 컴포넌트(940)가 나타낸 위치에 저장된 리소스들 중에서 청각 자극을 제공하기 위한 리소스인 자극 정보의 이름을 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 자극 정보 컴포넌트(950)는 청각 자극을 제공하기 위한 오디오 파일 이름이 표시된 컴포넌트(951)일 수 있다.
시간 정보 컴포넌트(960)는 청각 자극 컴포넌트(910)의 동작 시간을 나타내기 위한 숫자 컴포넌트일 수 있다. 예를 들어, 시간 정보 컴포넌트(960)는 1000 밀리 초 동안 청각 자극 컴포넌트(910)가 동작하도록 하는 숫자가 표시된 컴포넌트(961)일 수 있다.
도 10은 본 발명의 제2 실시예에 따른 후각 자극 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 후각 자극 컴포넌트 그룹은 본 발명의 제1 실시예에 따른 액션 컴포넌트(204) 중 ActionOlfactory 컴포넌트에 대응하는 후각 자극 컴포넌트(1010)들의 그룹일 수 있다. 구체적으로, 후각 자극 컴포넌트(1010)는 본 발명의 제1 실시예에 따른 베이스 컴포넌트(203)와 ActionOlfactory 컴포넌트가 결합된 형태의 컴포넌트일 수 있다.
이때, 후각 자극 컴포넌트(1010)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 그룹 컴포넌트(612)가 연결될 수 있다. 또한, 후각 자극 컴포넌트(1010)는 최하위 레벨의 컴포넌트이므로, 하위 컴포넌트가 연결되지 않을 수 있다.
그리고, 후각 자극 컴포넌트(1010)의 이웃 컴포넌트로 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 다른 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다.
또한, 후각 자극 컴포넌트(1010)에 연결되는 정보 컴포넌트는 문자열 컴포넌트(1020), 숫자 컴포넌트(1030), 참 거짓 여부를 표시하는 사실 컴포넌트(1040)일 수 있다.
이때, 후각 자극 컴포넌트(1010)는 문자열 컴포넌트(1020)와 연결되기 위한 구조(1011)를 포함하고, 문자열 컴포넌트(1020)인 장치 정보 컴포넌트(1021)가 구조(1011)에 연결될 수 있다. 그리고, 후각 자극 컴포넌트(1010)는 숫자 컴포넌트(1030)와 연결되기 위한 구조(1012, 1013, 1016)를 포함하고, 숫자 컴포넌트(1030)인 채널 정보 컴포넌트(1031), 풍속 정보 컴포넌트(1032), 및 시간 정보 컴포넌트(1033)는 각각 구조(1012,1013,1016)에 연결될 수 있다. 또한, 후각 자극 컴포넌트(1010)는 사실 컴포넌트(1040)와 연결되기 위한 구조(1014, 1015)를 포함하고, 사실 컴포넌트(1040)인 전처리 정보 컴포넌트(1041), 후처리 정보 컴포넌트(1042)는 각각 구조(1014,1015)에 연결될 수 있다.
장치 정보 컴포넌트(1021)는 후각 자극을 제공하는 자극 제공 장치(110)의 식별 정보를 문자열로 나타내는 문자열 컴포넌트(1020)일 수 있다. 예를 들어, 장치 정보 컴포넌트(1021)는 후각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트일 수 있다.
채널 정보 컴포넌트(1031)는 후각 자극을 제공하는 자극 제공 장치(110)에서 후각 자극을 출력할 채널의 식별 정보를 숫자로 나타내는 숫자 컴포넌트(1030)일 수 있다.
풍속 정보 컴포넌트(1032)는 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 전달하기 위하여 발생시키는 바람의 풍속을 숫자로 나타내는 숫자 컴포넌트(1030)일 수 있다.
전처리 정보 컴포넌트(1041)는 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 제공하기 전에 전처리할 것인지 여부를 참, 또는 거짓으로 나타내는 사실 컴포넌트(1040)일 수 있다. 전처리 정보 컴포넌트(1041)의 값이 참인 경우, 자극 편집 장치는 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 제공하기 전에 전처리하도록 제어할 수 있다.
후처리 정보 컴포넌트(1042)는 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 제공한 후에 후처리할 것인지 여부를 참, 또는 거짓으로 나타내는 사실 컴포넌트(1040)일 수 있다. 후처리 정보 컴포넌트(1042)의 값이 참인 경우, 자극 편집 장치는 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 제공한 후에 후처리하도록 제어할 수 있다.
시간 정보 컴포넌트(1033)는 후각 자극 컴포넌트(1010)의 동작 시간을 나타내기 위한 숫자 컴포넌트(1030)일 수 있다. 예를 들어, 시간 정보 컴포넌트(1033)는 1000 밀리 초 동안 후각 자극 컴포넌트(1010)가 동작하도록 하는 숫자가 표시된 컴포넌트일 수 있다.
도 11은 본 발명의 제2 실시예에 따른 미각 자극 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 미각 자극 컴포넌트 그룹은 본 발명의 제1 실시예에 따른 액션 컴포넌트(204) 중 ActionGustatory 컴포넌트에 대응하는 미각 자극 컴포넌트(1110)들의 그룹일 수 있다. 구체적으로, 미각 자극 컴포넌트(1110)는 본 발명의 제1 실시예에 따른 베이스 컴포넌트(203)와 ActionGustatory 컴포넌트가 결합된 형태의 컴포넌트일 수 있다.
이때, 미각 자극 컴포넌트(1110)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 그룹 컴포넌트(612)가 연결될 수 있다. 또한, 미각 자극 컴포넌트(1110)는 최하위 레벨의 컴포넌트이므로, 하위 컴포넌트가 연결되지 않을 수 있다.
그리고, 미각 자극 컴포넌트(1110)의 이웃 컴포넌트로 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 다른 미각 자극 컴포넌트, 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다.
또한, 미각 자극 컴포넌트(1110)에 연결되는 정보 컴포넌트는 장치 정보 컴포넌트(1120), 시간 정보 컴포넌트(1130)일 수 있다.
장치 정보 컴포넌트(1120)는 미각 자극을 제공하는 자극 제공 장치(110)의 식별 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 장치 정보 컴포넌트(1120)는 미각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트(1121)일 수 있다.
시간 정보 컴포넌트(1130)는 미각 자극 컴포넌트(1110)의 동작 시간을 나타내기 위한 숫자 컴포넌트일 수 있다. 예를 들어, 시간 정보 컴포넌트(1130)는 1000 밀리 초 동안 미각 자극 컴포넌트(1110)가 동작하도록 하는 숫자가 표시된 컴포넌트(1131)일 수 있다.
도 12는 본 발명의 제2 실시예에 따른 자극 컴포넌트들 중 촉각 자극 컴포넌트의 일례이다.
컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들 중 촉각 자극 컴포넌트 그룹은 본 발명의 제1 실시예에 따른 액션 컴포넌트(204) 중 ActionHaptic 컴포넌트에 대응하는 촉각 자극 컴포넌트(1210)들의 그룹일 수 있다. 구체적으로, 촉각 자극 컴포넌트(1210)는 본 발명의 제1 실시예에 따른 베이스 컴포넌트(203)와 ActionHaptic 컴포넌트가 결합된 형태의 컴포넌트일 수 있다.
이때, 촉각 자극 컴포넌트(1210)의 상위 컴포넌트로 시작 컴포넌트(611), 또는 그룹 컴포넌트(612)가 연결될 수 있다. 또한, 촉각 자극 컴포넌트(1210)는 최하위 레벨의 컴포넌트이므로, 하위 컴포넌트가 연결되지 않을 수 있다.
그리고, 촉각 자극 컴포넌트(1210)의 이웃 컴포넌트로 그룹 컴포넌트, 휴식 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 다른 촉각 자극 컴포넌트 중 적어도 하나가 연결될 수 있다.
또한, 촉각 자극 컴포넌트(1210)에 연결되는 정보 컴포넌트는 장치 정보 컴포넌트(1220), 시간 정보 컴포넌트(1230)일 수 있다.
장치 정보 컴포넌트(1220)는 촉각 자극을 제공하는 자극 제공 장치(120)의 식별 정보를 문자열로 나타내는 문자열 컴포넌트일 수 있다. 예를 들어, 장치 정보 컴포넌트(1220)는 촉각 자극을 제공하는 자극 제공 장치(120)의 이름이 표시된 컴포넌트(1221)일 수 있다.
시간 정보 컴포넌트(1230)는 촉각 자극 컴포넌트(1210)의 동작 시간을 나타내기 위한 숫자 컴포넌트일 수 있다. 예를 들어, 시간 정보 컴포넌트(1230)는 1000 밀리 초 동안 촉각 자극 컴포넌트(1210)가 동작하도록 하는 숫자가 표시된 컴포넌트(1231)일 수 있다.
도 13은 본 발명의 제2 실시예에 따른 컴포넌트들에 포함된 연결 구조의 일례이다.
컴포넌트 배치 영역(520)을 기준으로 컴포넌트들이 상하로 연결되면, 컴포넌트 그룹을 확장하여 확장된 자극 제공 프로토콜을 구성할 수 있다.
따라서, 그룹 컴포넌트(612), 휴식 컴포넌트(710), 시각 자극 컴포넌트(810), 청각 자극 컴포넌트(910), 후각 자극 컴포넌트(1010), 미각 자극 컴포넌트(1110), 및 촉각 자극 컴포넌트(1210)는 도 13의 케이스 1(Case 1)에 도시된 바와 같이 컴포넌트 배치 영역(520)을 기준으로 상하로 연결하기 위한 홈, 및 블록을 포함할 수 있다.
그리고, 그룹 컴포넌트(612), 휴식 컴포넌트(710), 시각 자극 컴포넌트(810), 청각 자극 컴포넌트(910), 후각 자극 컴포넌트(1010), 미각 자극 컴포넌트(1110), 및 촉각 자극 컴포넌트(1210)는 각각 상하로 연결하기 위한 홈, 및 블록을 이용하여 다른 그룹 컴포넌트(612), 휴식 컴포넌트(710), 시각 자극 컴포넌트(810), 청각 자극 컴포넌트(910), 후각 자극 컴포넌트(1010), 미각 자극 컴포넌트(1110), 및 촉각 자극 컴포넌트(1210)와 상하로 연결될 수 있다.
또한, 컴포넌트 배치 영역(520)을 기준으로 컴포넌트들이 좌우로 연결되면, 왼쪽에 연결된 컴포넌트는 오른쪽에 연결된 컴포넌트에 대한 정보의 명세를 수행할 수 있다. 따라서, 컴포넌트 집합 영역(510)에 표시된 컴포넌트의 그룹들에 포함된 컴포넌트들은 도 13의 케이스 2(Case 2)에 도시된 바와 같이 컴포넌트 배치 영역(520)을 기준으로 좌우로 연결하기 위한 홈, 및 블록을 포함할 수 있다.
도 14와 도 15는 표 1에 도시된 바와 같은 자극 제어 프로토콜을 수행하기 위하여 본 발명의 제2 실시예에 따른 컴포넌트들을 연결하는 과정의 일례이다.
단계(1410)에서 자극 편집 장치는 컴포넌트 배치 영역(510)에 시작 컴포넌트(611)를 배치하고, 프로토콜의 반복 회수를 나타내기 위한 숫자 컴포넌트(620)를 시작 컴포넌트(611)에 연결시킬 수 있다.
단계(1420)에서 자극 편집 장치는 단계(1410)에서 배치한 시작 컴포넌트(611)에 그룹 컴포넌트(612)를 연결할 수 있다. 또한, 자극 편집 장치는 그룹 컴포넌트(612)에 포함된 컴포넌트들의 반복 회수를 나타내기 위한 숫자 컴포넌트(630)를 그룹 컴포넌트(612)에 연결시킬 수 있다.
단계(1430)에서 자극 편집 장치는 그룹 컴포넌트(612)에 시각 자극 컴포넌트(810)를 연결할 수 있다. 또한, 자극 편집 장치는 시각 자극 컴포넌트(810)에 시각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트, 시각 자극을 제공하기 위한 뷰어의 이름이 표시된 컴포넌트, 이미지 파일이 저장된 위치로 이동하기 위한 경로가 표시된 컴포넌트, 이미지 파일 이름이 표시된 컴포넌트, 및 30000 밀리 초 동안 시각 자극 컴포넌트(810)가 동작하도록 하는 숫자가 표시된 컴포넌트를 연결시킬 수 있다.
단계(1440)에서 자극 편집 장치는 그룹 컴포넌트(612)에 그룹 컴포넌트(1441)를 연결할 수 있다. 이때, 그룹 컴포넌트(1441)는 도 14에 도시된 바와 같이 시각 자극 컴포넌트(810)와 상하로 연결될 수 있다.
단계(1450)에서 자극 편집 장치는 그룹 컴포넌트(1441)에 후각 자극 컴포넌트(1010)를 연결할 수 있다. 이때, 자극 편집 장치는 후각 자극 컴포넌트(1010)에 후각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트, 후각 자극을 출력할 채널의 식별 정보를 나타내는 컴포넌트, 후각 자극을 사용자(102)에게 전달하기 위하여 발생시키는 바람의 풍속을 나타내는 컴포넌트, 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 제공하기 전에 전처리할 것인지 여부를 나타내는 컴포넌트, 후각 자극을 제공하는 자극 제공 장치(110)가 후각 자극을 사용자(102)에게 제공한 후에 후처리할 것인지 여부를 나타내는 컴포넌트 및 15000 밀리 초 동안 후각 자극 컴포넌트(1010)가 동작하도록 하는 숫자가 표시된 컴포넌트를 연결시킬 수 있다.
단계(1460)에서 자극 편집 장치는 그룹 컴포넌트(1441)에 청각 자극 컴포넌트(910)를 연결할 수 있다. 이때, 청각 자극 컴포넌트(910)는 도 14에 도시된 바와 같이 후각 자극 컴포넌트(1010)와 상하로 연결될 수 있다.
또한, 자극 편집 장치는 청각 자극 컴포넌트(910)에 청각 자극을 제공하는 자극 제공 장치(110)의 이름이 표시된 컴포넌트, 청각 자극을 제공하기 위한 플레이어의 이름이 표시된 컴포넌트, 오디오 파일이 저장된 위치로 이동하기 위한 경로가 표시된 컴포넌트, 오디오 파일 이름이 표시된 컴포넌트, 및 15000 밀리 초 동안 청각 자극 컴포넌트(910)가 동작하도록 하는 숫자가 표시된 컴포넌트를 연결시킬 수 있다.
도 15에 도시된 바와 같이 컴포넌트들이 연결된 상태에서 자극 편집 장치가 자극 제공 장치(110)를 제어하는 경우, 자극 편집 장치는 시각 자극을 제공하는 자극 제공 장치(110)가 30000 밀리 초 동안 동작하도록 제어할 수 있다.
그 다음으로, 자극 편집 장치는 후각 자극을 제공하는 자극 제공 장치(110)가 15000 밀리 초 동안 동작하도록 제어할 수 있다.
다음으로, 자극 편집 장치는 청각 자극을 제공하는 자극 제공 장치(110)가 15000 밀리 초 동안 동작하도록 제어할 수 있다.
그리고, 시각 자극 컴포넌트(810), 후각 자극 컴포넌트(1010) 및 청각 자극 컴포넌트(910)의 상위 레벨인 그룹 컴포넌트(612)의 반복 회수가 2이므로, 자극 편집 장치는 시각 자극을 제공하는 자극 제공 장치(110), 후각 자극을 제공하는 자극 제공 장치(110), 및 청각 자극을 제공하는 자극 제공 장치(110)가 앞선 동작을 반복하도록 제어할 수 있다.
즉, 본 발명의 제2 실시예에 따른 자극 편집 장치는 도 14 내지 도 15에 도시된 바와 같이 컴포넌트들을 좌우로 연결하여 세부 명세를 정의하면서, 컴포넌트들을 상하로도 연결하여 확장함으로써, 확장된 자극 제공 프로토콜을 구성할 수 있다.
도 16은 본 발명의 제1 실시예에 따른 사용자의 감각에 대한 자극 제공 방법을 도시한 플로우차트이다.
단계(1610)에서 자극 편집 장치는 자극 제공 프로토콜과 관련된 컴포넌트들을 생성할 수 있다.
단계(1620)에서 자극 편집 장치는 단계(1610)에서 생성한 컴포넌트들 중에서 사용자에게 선택된 컴포넌트들을 컴포넌트 배치 영역에 배치할 수 있다.
단계(1630)에서 자극 편집 장치는 단계(1620)에서 컴포넌트 배치 영역에 배치된 컴포넌트들 각각의 타입에 따라 컴포넌트 배치 영역에 배치된 컴포넌트들을 연결하여 부모 관계 또는 자식 관계를 정의할 수 있다.
단계(1640)에서 자극 편집 장치는 단계(1630)에서 부모 관계 또는 자식 관계가 정의된 컴포넌트들의 속성을 결정할 수 있다. 이때, 자극 편집 장치는 컴포넌트들의 속성의 초기값을 편집, 또는 수정하여 컴포넌트들의 속성을 결정할 수 있다.
단계(1650)에서 자극 편집 장치는 컴포넌트들의 연결 관계 및 단계(1640)에서 결정된 컴포넌트들의 속성에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하도록 자극 제공 장치를 제어할 수 있다.
도 17은 본 발명의 제2 실시예에 따른 사용자의 감각에 대한 자극 제공 방법을 도시한 플로우차트이다.
단계(1710)에서 자극 편집 장치는 자극 제공 프로토콜과 관련된 컴포넌트들 중에서 프로토콜의 제어와 관련된 제어 컴포넌트를 컴포넌트 배치 영역에 배치할 수 있다.
단계(1720)에서 자극 편집 장치는 자극 제공 프로토콜과 관련된 컴포넌트들 중에서 사용자의 오감들 각각에 대한 자극을 제공하는 자극 컴포넌트들, 또는 사용자의 감각에 대한 자극이 없는 상태를 표시하는 휴식 컴포넌트를 단계(1710)에서 배치한 제어 컴포넌트에 연결할 수 있다.
단계(1730)에서 자극 편집 장치는 단계(1710)에서 배치한 제어 컴포넌트, 단계(1720)에서 배치한 자극 컴포넌트, 및 휴식 컴포넌트에 정보를 표현하기 위한 적어도 하나의 정보 컴포넌트를 연결할 수 있다.
단계(1740)에서 자극 편집 장치는 컴포넌트들의 연결 관계 및 단계(1730)에서 연결한 정보 컴포넌트에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하도록 자극 제공 장치를 제어할 수 있다.
본 발명은 자극을 제공하기 위한 프로토콜과 관련된 컴포넌트들을 연결하여 감각별 자극의 제공 순서, 감각별 자극의 종류, 감각별 자극의 제공 시간을 편집하도록 함으로써, 사용자가 자극 제공 장치를 통하여 다른 사용자 또는 본인에게 제공할 자극을 용이하게 제어하도록 할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 시스템이 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 시스템은 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 자극 편집 장치
110: 자극 제어 장치

Claims (9)

  1. 자극 편집 장치, 및 자극 제공 장치를 포함하는 사용자의 감각에 대한 자극 제공 시스템이 수행하는 사용자의 감각에 대한 자극 제공 방법에 있어서,
    상기 자극 편집 장치가 프로토콜과 관련된 컴포넌트들을 생성하는 단계;
    상기 자극 편집 장치가 상기 컴포넌트들 중에서 사용자에게 선택된 컴포넌트들을 컴포넌트 배치 영역에 배치하는 단계;
    상기 자극 편집 장치가 상기 컴포넌트 배치 영역에 배치된 컴포넌트들 각각의 타입에 따라 상기 컴포넌트 배치 영역에 배치된 컴포넌트들을 연결하여 부모 관계 또는 자식 관계를 정의하는 단계;
    상기 자극 편집 장치가 부모 관계 또는 자식 관계가 정의된 컴포넌트들의 속성을 결정하는 단계; 및
    상기 자극 제공 장치가 상기 컴포넌트들의 연결 관계 및 상기 컴포넌트들의 속성에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하는 단계
    를 포함하고,
    상기 부모 관계 또는 자식 관계를 정의하는 단계는,
    상기 자극 편집 장치가 상기 프로토콜을 표현하기 위한 프로토콜 컴포넌트를 가장 먼저 배치하고, 상기 프로토콜 컴포넌트에 자식 관계로 콤플렉스 컴포넌트를 연결하며, 상기 콤플렉스 컴포넌트에 자식 관계로 상기 프로토콜의 최소 단위를 표현하기 위한 베이스 컴포넌트를 연결하고, 상기 베이스 컴포넌트에 사용자의 감각에 대한 자극을 제공하는 장치를 제어하기 위한 액션 컴포넌트를 연결하며,
    상기 콤플렉스 컴포넌트는,
    복수의 베이스 컴포넌트들의 그룹, 또는 적어도 하나의 베이스 컴포넌트와 적어도 하나의 다른 콤플렉스 컴포넌트, 또는 하나의 베이스 컴포넌트가 자식 관계로 연결되고,
    상기 액션 컴포넌트는,
    시각에 대한 자극을 제공하는 시각 컴포넌트, 촉각에 대한 자극을 제공하는 촉각 컴포넌트, 청각에 대한 자극을 제공하는 청각 컴포넌트, 미각에 대한 자극을 제공하는 미각 컴포넌트, 후각에 대한 자극을 제공하는 후각 컴포넌트, 및 자극이 없는 상태를 표시하는 논(NONE) 컴포넌트 중 하나이며,
    상기 자극 제공 장치는,
    사용자에게 시각 자극을 표시하기 위한 디스플레이, 사용자에게 촉각 자극을 제공하기 위한 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브, 사용자에게 청각 자극을 출력하기 위한 스피커, 또는 이어폰, 사용자의 입안에서 사용자에게 미각 자극을 제공하기 위한 분사 장치, 사용자에게 후각 자극을 표시하기 위한 냄새 출력 장치 중 적어도 하나를 포함하고,
    상기 순차적으로 제공하는 단계는,
    상기 자극 편집 장치가 상기 프로토콜 컴포넌트와 가장 가까운 액션 컴포넌트의 속성에 대응하는 자극 제공 장치를 먼저 제어하여 사용자의 감각에 대한 자극을 제공하고, 나머지 액션 컴포넌트들과 상기 프로토콜 컴포넌트 간의 거리에 따라 순차적으로 액션 컴포넌트의 속성에 대응하는 자극 제공 장치를 제어하여 사용자의 감각에 대한 자극을 제공하며,
    상기 액션 컴포넌트의 속성이 시각 자극 컴포넌트인 경우, 상기 시각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이미지 파일을 상기 시각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 상기 디스플레이에 표시하고,
    상기 액션 컴포넌트의 속성이 청각 자극 컴포넌트인 경우, 상기 청각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 오디오 파일을 상기 청각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 상기 스피커, 또는 이어폰으로 출력하며,
    상기 액션 컴포넌트의 속성이 후각 자극 컴포넌트인 경우, 상기 냄새 출력 장치의 후각 자극을 출력하는 채널 중에서 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 채널을 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작하며, 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 풍속으로 바람을 발생시켜 상기 후각 자극을 사용자에게 전달하고,
    상기 액션 컴포넌트의 속성이 미각 자극 컴포넌트인 경우, 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이름의 상기 분사 장치를 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작시키며,
    상기 액션 컴포넌트의 속성이 촉각 자극 컴포넌트인 경우, 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이름의 상기 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브를 상기 촉각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작시키는 사용자의 감각에 대한 자극 제공 방법.
  2. 제1항에 있어서,
    상기 프로토콜 컴포넌트는,
    적어도 하나의 상기 콤플렉스 컴포넌트를 상기 프로토콜 컴포넌트의 자식 관계로 연결하기 위한 구조를 포함하는 사용자의 감각에 대한 자극 제공 방법.
  3. 제1항에 있어서,
    상기 콤플렉스 컴포넌트는,
    상기 프로토콜 컴포넌트를 상기 콤플렉스 컴포넌트의 부모 관계로 연결하기 위한 구조 및 다른 콤플렉스 컴포넌트, 또는 상기 베이스 컴포넌트를 상기 콤플렉스 컴포넌트의 자식 관계로 연결하기 위한 구조를 포함하는 사용자의 감각에 대한 자극 제공 방법.
  4. 제1항에 있어서,
    상기 베이스 컴포넌트는,
    상기 프로토콜 컴포넌트, 또는 상기 콤플렉스 컴포넌트를 상기 베이스 컴포넌트의 부모 관계로 연결하기 위한 구조 및 상기 액션 컴포넌트를 상기 베이스 컴포넌트의 자식 관계로 연결하기 위한 구조를 포함하는 사용자의 감각에 대한 자극 제공 방법.
  5. 제1항에 있어서,
    상기 액션 컴포넌트는,
    상기 베이스 컴포넌트를 상기 액션 컴포넌트의 부모 관계로 연결하기 위한 구조를 포함하며, 사용자의 오감들 각각에 대한 자극을 제공하는 타입들, 및 사용자의 감각에 대한 자극이 없는 상태를 표시하는 타입 중 하나인 사용자의 감각에 대한 자극 제공 방법.
  6. 자극 편집 장치, 및 자극 제공 장치를 포함하는 사용자의 감각에 대한 자극 제공 시스템이 수행하는 사용자의 감각에 대한 자극 제공 방법에 있어서,
    상기 자극 편집 장치가 프로토콜과 관련된 컴포넌트들 중에서 프로토콜의 제어와 관련된 제어 컴포넌트를 컴포넌트 배치 영역에 배치하는 단계;
    상기 자극 편집 장치가 상기 제어 컴포넌트의 하위 컴포넌트로 복수의 컴포넌트들을 포함하는 그룹을 지정하기 위한 그룹 컴포넌트를 연결하는 단계;
    상기 자극 편집 장치가 상기 그룹 컴포넌트의 하위 컴포넌트로 다른 그룹 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트, 및 사용자의 감각에 대한 자극이 없는 상태를 표시하는 휴식 컴포넌트 중 적어도 하나를 연결하는 단계;
    상기 자극 편집 장치가 상기 그룹 컴포넌트, 상기 제어 컴포넌트, 상기 자극 컴포넌트, 및 상기 휴식 컴포넌트에 정보를 표현하기 위한 적어도 하나의 정보 컴포넌트를 연결하는 단계; 및
    상기 자극 제공 장치가 상기 컴포넌트들의 연결 관계 및 상기 정보 컴포넌트에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하는 단계
    를 포함하고,
    상기 그룹 컴포넌트의 하위 컴포넌트로 연결된 다른 그룹 컴포넌트, 시각 자극 컴포넌트, 청각 자극 컴포넌트, 후각 자극 컴포넌트, 미각 자극 컴포넌트, 촉각 자극 컴포넌트, 및 휴식 컴포넌트는 수평 관계로 연결되고,
    상기 그룹 컴포넌트에 연결된 정보 컴포넌트는,
    상기 그룹 컴포넌트의 하위 컴포넌트로 연결된 다른 그룹 컴포넌트, 프로토콜과 관련된 컴포넌트들 중에서 사용자의 오감들 각각에 대한 자극을 제공하는 자극 컴포넌트들, 또는 사용자의 감각에 대한 자극이 없는 상태를 표시하는 휴식 컴포넌트의 반복 회수를 나타내며,
    상기 자극 제공 장치는,
    사용자에게 시각 자극을 표시하기 위한 디스플레이, 사용자에게 촉각 자극을 제공하기 위한 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브, 사용자에게 청각 자극을 출력하기 위한 스피커, 또는 이어폰, 사용자의 입안에서 사용자에게 미각 자극을 제공하기 위한 분사 장치, 사용자에게 후각 자극을 표시하기 위한 냄새 출력 장치 중 적어도 하나를 포함하고,
    상기 순차적으로 제공하는 단계는,
    상기 자극 편집 장치가 상기 그룹 컴포넌트의 하위 컴포넌트들 중에서 상기 프로토콜 컴포넌트와 가장 가까운 컴포넌트의 속성에 대응하는 자극 제공 장치를 먼저 제어하여 사용자의 감각에 대한 자극을 제공하고, 상기 그룹 컴포넌트의 나머지 하위 컴포넌트들과 상기 프로토콜 컴포넌트 간의 거리에 따라 순차적으로 상기 그룹 컴포넌트의 하위 컴포넌트의 속성에 대응하는 자극 제공 장치를 제어하여 사용자의 감각에 대한 자극을 제공하며,
    상기 그룹 컴포넌트의 하위 컴포넌트의 속성이 시각 자극 컴포넌트인 경우, 상기 시각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이미지 파일을 상기 시각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 상기 디스플레이에 표시하고,
    상기 그룹 컴포넌트의 하위 컴포넌트의 속성이 청각 자극 컴포넌트인 경우, 상기 청각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 오디오 파일을 상기 청각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 상기 스피커, 또는 이어폰으로 출력하며,
    상기 그룹 컴포넌트의 하위 컴포넌트의 속성이 후각 자극 컴포넌트인 경우, 상기 냄새 출력 장치의 후각 자극을 출력하는 채널 중에서 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 채널을 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작하며, 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 풍속으로 바람을 발생시켜 상기 후각 자극을 사용자에게 전달하고,
    상기 그룹 컴포넌트의 하위 컴포넌트의 속성이 미각 자극 컴포넌트인 경우, 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이름의 상기 분사 장치를 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작시키며,
    상기 그룹 컴포넌트의 하위 컴포넌트의 속성이 촉각 자극 컴포넌트인 경우, 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이름의 상기 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브를 상기 촉각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작시키는 사용자의 감각에 대한 자극 제공 방법.
  7. 제6항에 있어서,
    상기 정보 컴포넌트는,
    상기 사용자의 감각에 대한 자극을 제공할 자극 제공 장치 정보가 포함된 장치 정보 컴포넌트, 사용자의 감각에 대한 자극을 제공하기 위한 소프트웨어 정보가 포함된 소프트웨어 정보 컴포넌트, 사용자의 감각에 대한 자극을 제공하기 위한 자극 정보가 포함된 자극 정보 컴포넌트, 상기 자극 정보의 경로가 포함된 경로 정보 컴포넌트, 및 동작 시간 정보가 포함된 시간 정보 컴포넌트 중 적어도 하나를 포함하는 사용자의 감각에 대한 자극 제공 방법.
  8. 제6항에 있어서,
    상기 제어 컴포넌트, 상기 자극 컴포넌트들, 및 상기 휴식 컴포넌트는 각각 다른 제어 컴포넌트, 다른 자극 컴포넌트, 및 다른 휴식 컴포넌트와 수평 관계로 연결하기 위한 구조를 포함하는 사용자의 감각에 대한 자극 제공 방법.
  9. 프로토콜과 관련된 컴포넌트들을 생성하고, 상기 컴포넌트들 중에서 사용자에게 선택된 컴포넌트들을 컴포넌트 배치 영역에 배치하며, 상기 컴포넌트 배치 영역에 배치된 컴포넌트들 각각의 타입에 따라 상기 컴포넌트 배치 영역에 배치된 컴포넌트들을 연결하여 부모 관계 또는 자식 관계를 정의하고, 부모 관계 또는 자식 관계가 정의된 컴포넌트들의 속성을 결정하며, 상기 컴포넌트들의 연결 관계 및 상기 컴포넌트들의 속성에 따라 자극 제공 장치를 제어하는 자극 편집 장치; 및
    상기 자극 편집 장치의 제어에 따라 사용자의 감각에 대한 자극을 순차적으로 제공하는 자극 제공 장치
    를 포함하고,
    상기 자극 편집 장치는,
    상기 프로토콜을 표현하기 위한 프로토콜 컴포넌트를 가장 먼저 배치하고, 상기 프로토콜 컴포넌트에 자식 관계로 콤플렉스 컴포넌트를 연결하며, 상기 콤플렉스 컴포넌트에 자식 관계로 상기 프로토콜의 최소 단위를 표현하기 위한 베이스 컴포넌트를 연결하고, 상기 베이스 컴포넌트에 사용자의 감각에 대한 자극을 제공하는 장치를 제어하기 위한 액션 컴포넌트를 연결하며,
    상기 콤플렉스 컴포넌트는,
    복수의 베이스 컴포넌트들의 그룹, 또는 적어도 하나의 베이스 컴포넌트와 적어도 하나의 다른 콤플렉스 컴포넌트, 또는 하나의 베이스 컴포넌트가 자식 관계로 연결되고,
    상기 액션 컴포넌트는,
    시각에 대한 자극을 제공하는 시각 컴포넌트, 촉각에 대한 자극을 제공하는 촉각 컴포넌트, 청각에 대한 자극을 제공하는 청각 컴포넌트, 미각에 대한 자극을 제공하는 미각 컴포넌트, 후각에 대한 자극을 제공하는 후각 컴포넌트, 및 자극이 없는 상태를 표시하는 논(NONE) 컴포넌트 중 하나이며,
    상기 자극 제공 장치는,
    사용자에게 시각 자극을 표시하기 위한 디스플레이, 사용자에게 촉각 자극을 제공하기 위한 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브, 사용자에게 청각 자극을 출력하기 위한 스피커, 또는 이어폰, 사용자의 입안에서 사용자에게 미각 자극을 제공하기 위한 분사 장치, 사용자에게 후각 자극을 표시하기 위한 냄새 출력 장치 중 적어도 하나를 포함하고,
    상기 자극 편집 장치는,
    상기 프로토콜 컴포넌트와 가장 가까운 액션 컴포넌트의 속성에 대응하는 자극 제공 장치를 먼저 제어하여 사용자의 감각에 대한 자극을 제공하고, 나머지 액션 컴포넌트들과 상기 프로토콜 컴포넌트 간의 거리에 따라 순차적으로 액션 컴포넌트의 속성에 대응하는 자극 제공 장치를 제어하여 사용자의 감각에 대한 자극을 제공하며,
    상기 액션 컴포넌트의 속성이 시각 자극 컴포넌트인 경우, 상기 자극 제공 장치는, 상기 시각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이미지 파일을 상기 시각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 상기 디스플레이에 표시하고,
    상기 액션 컴포넌트의 속성이 청각 자극 컴포넌트인 경우, 상기 자극 제공 장치는, 상기 청각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 오디오 파일을 상기 청각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 상기 스피커, 또는 이어폰으로 출력하며,
    상기 액션 컴포넌트의 속성이 후각 자극 컴포넌트인 경우, 상기 자극 제공 장치는, 상기 냄새 출력 장치의 후각 자극을 출력하는 채널 중에서 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 채널을 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작하며, 상기 후각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 풍속으로 바람을 발생시켜 상기 후각 자극을 사용자에게 전달하고,
    상기 액션 컴포넌트의 속성이 미각 자극 컴포넌트인 경우, 상기 자극 제공 장치는, 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이름의 상기 분사 장치를 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작시키며,
    상기 액션 컴포넌트의 속성이 촉각 자극 컴포넌트인 경우, 상기 자극 제공 장치는, 상기 미각 자극 컴포넌트에 연결된 정보 컴포넌트에 대응하는 이름의 상기 햅틱스(haptics) 기술이 적용된 장치, 또는 촉각 글러브를 상기 촉각 자극 컴포넌트에 연결된 정보 컴포넌트에 나타난 시간 동안 동작시키는 사용자의 감각에 대한 자극 제공 시스템.
KR1020200034581A 2020-03-20 2020-03-20 사용자의 감각에 대한 자극 제공 시스템 및 그 방법 KR102221336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200034581A KR102221336B1 (ko) 2020-03-20 2020-03-20 사용자의 감각에 대한 자극 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200034581A KR102221336B1 (ko) 2020-03-20 2020-03-20 사용자의 감각에 대한 자극 제공 시스템 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170122029A Division KR20190033689A (ko) 2017-09-21 2017-09-21 사용자의 감각에 대한 자극 제공 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200034693A true KR20200034693A (ko) 2020-03-31
KR102221336B1 KR102221336B1 (ko) 2021-03-03

Family

ID=70002359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200034581A KR102221336B1 (ko) 2020-03-20 2020-03-20 사용자의 감각에 대한 자극 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102221336B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060051821A (ko) * 2004-10-15 2006-05-19 마이크로소프트 코포레이션 사용자 인터페이스 구성요소를 가시화하기 위한 시스템 및방법
US20150363175A1 (en) * 2014-06-13 2015-12-17 Cubicon Corporation Computing Expression Medium, Development Environment, and Device Communication and Control Architecture
WO2016044169A1 (en) * 2014-09-15 2016-03-24 Boston Scientific Neuromodulation Corporation Graphical user interface for programming neurostimulation pulse patterns

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060051821A (ko) * 2004-10-15 2006-05-19 마이크로소프트 코포레이션 사용자 인터페이스 구성요소를 가시화하기 위한 시스템 및방법
US20150363175A1 (en) * 2014-06-13 2015-12-17 Cubicon Corporation Computing Expression Medium, Development Environment, and Device Communication and Control Architecture
WO2016044169A1 (en) * 2014-09-15 2016-03-24 Boston Scientific Neuromodulation Corporation Graphical user interface for programming neurostimulation pulse patterns

Also Published As

Publication number Publication date
KR102221336B1 (ko) 2021-03-03

Similar Documents

Publication Publication Date Title
KR101821358B1 (ko) 다자간 메신저 서비스를 제공하는 방법 및 시스템
CN106155869A (zh) 终端应用的后台运行控制方法及其装置
JP2018195298A (ja) 対話シナリオの表示制御プログラム、対話シナリオの表示制御方法および情報処理装置
CN106774891A (zh) 虚拟现实场景的音效产生方法、设备及虚拟现实设备
CN108108158A (zh) 一种面向安卓的用户个性化定制语音控制应用方法
CN107222618A (zh) 终端截屏方法及装置
CN104850400A (zh) 一种网店页面生成方法及装置
CN103631225A (zh) 一种场景设备远程控制方法和装置
CN109032599B (zh) 基于xml表示生成可交互流程图的方法、装置、设备、介质
KR20200034693A (ko) 사용자의 감각에 대한 자극 제공 시스템 및 그 방법
CN107491311B (zh) 生成页面文件的方法、系统以及计算机设备
CN113596529A (zh) 一种终端控制方法、装置、计算机设备和存储介质
CN109766155A (zh) 一种弹框生成方法、装置及存储介质
KR20190033689A (ko) 사용자의 감각에 대한 자극 제공 시스템 및 그 방법
CN112364478A (zh) 基于虚拟现实的测试方法及相关装置
CN104267875B (zh) 一种拍照模式显示方法和装置
CN113409791A (zh) 语音识别处理方法、装置、电子设备及存储介质
CN108459875B (zh) 生成游戏流程的方法、装置和终端
CN112799656B (zh) 自动化操作的脚本文件配置方法、装置、设备和存储介质
CN107783769A (zh) 一种通过usb升级电子设备的方法、装置及电子设备
CN103970568B (zh) 对话框显示装置
CN111258558A (zh) 运动轨迹的着色处理方法及装置
JP2006004054A (ja) 電子機器のユーザインターフェイス生成装置
CN112820265B (zh) 一种语音合成模型训练方法和相关装置
CN112417140A (zh) 文法配置方法、文法匹配方法、装置和计算机设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant