KR101080803B1 - 실감 인터랙션 시스템 및 방법 - Google Patents

실감 인터랙션 시스템 및 방법 Download PDF

Info

Publication number
KR101080803B1
KR101080803B1 KR1020090110994A KR20090110994A KR101080803B1 KR 101080803 B1 KR101080803 B1 KR 101080803B1 KR 1020090110994 A KR1020090110994 A KR 1020090110994A KR 20090110994 A KR20090110994 A KR 20090110994A KR 101080803 B1 KR101080803 B1 KR 101080803B1
Authority
KR
South Korea
Prior art keywords
physical object
display unit
information
virtual object
physical
Prior art date
Application number
KR1020090110994A
Other languages
English (en)
Other versions
KR20110054376A (ko
Inventor
김건희
박지형
하성도
배문화
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020090110994A priority Critical patent/KR101080803B1/ko
Publication of KR20110054376A publication Critical patent/KR20110054376A/ko
Application granted granted Critical
Publication of KR101080803B1 publication Critical patent/KR101080803B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 현실 공간에 존재하는 물리 객체를 활용하여 컴퓨터 상의 가상 공간에 존재하는 가상 객체를 컨트롤할 수 있도록 하는 실감 인터랙션 시스템 및 방법에 관한 것으로, 인터랙션 정보를 생성하는 물리 객체와; 상기 물리 객체의 화면 접촉을 감지하여 물리 객체의 화면 접촉 위치 정보를 생성하는 한편, 정보를 시각적으로 출력하는 디스플레이부와; 상기 디스플레이부의 화면 부분을 촬영하여 영상 정보를 생성하는 촬영부와; 상기 촬영부로부터 생성된 영상 정보 내에 존재하는 물리 객체를 인식하며, 인식된 물리 객체에 대응하는 가상 객체를 생성하고, 생성된 가상 객체를 상기 디스플레이부를 통해 출력시키되, 상기 물리 객체의 화면 접촉 위치 정보, 상기 영상 정보 및 상기 인터랙션 정보를 이용하여 상기 물리 객체의 위치 및 움직임을 인식하며, 인식된 상기 물리 객체의 위치 및 움직임에 따라 상기 디스플레이부를 통해 출력된 가상 객체의 위치 및 움직임을 변화시키고, 상기 물리 객체와 가상 객체의 위치 및 움직임 변화에 따라 발생하는 이벤트 정보를 상기 디스플레이부를 통해 출력시키는 서버부를 포함하며, 상기 물리 객체 및 상기 가상 객체는 하나의 물체를 구성하는 것을 특징으로 함으로써, 사용자가 컴퓨터와의 다양한 인터랙션을 보다 현실감 있게 경험할 수 있는 효과가 있다.
인터랙션, 인터페이스, HCI, TUI

Description

실감 인터랙션 시스템 및 방법{Tangibleness Interaction System and Method}
본 발명은 실감 인터랙션 시스템 및 방법에 관한 것으로, 특히 현실 공간에 존재하는 물리 객체를 활용하여 컴퓨터 상의 가상 공간에 존재하는 가상 객체를 컨트롤할 수 있도록 하는 실감 인터랙션 시스템 및 방법에 관한 것이다.
사람-컴퓨터 인터랙션(Human-Computer Interaction, HCI)은 사용자와 컴퓨터 간의 의사소통을 제공하는 방법으로, 사용자가 사용자 인터페이스를 통해 컴퓨터와 인터랙션을 손쉽고 직관적으로 수행할 수 있도록 해준다.
일반적으로, 사람-컴퓨터 인터랙션은, 현실 공간에 존재하며 컨트롤러 역할을 하는 키보드 또는 마우스 등으로부터의 컨트롤에 의해 가상 공간, 즉 화면 상에 존재하는 객체가 반응하여 변화를 표현할 수 있도록 해주는 사용자 인터페이스를 제공하고 있다.
그러나, 이러한 사용자 인터페이스는 키보드 또는 마우스 등과 같은 컨트롤러를 사용함에 있어서 사용자가 컨트롤러의 조작 방법 등을 별도로 숙지하여 익숙 해져야 하며, 특정한 모양 및 조작 형태로 제작된 하나의 컨트롤러가 여러 기능을 수행해야 하기 때문에, 사용자가 각 기능에 연관된 실제 물체를 만지거나 조작하는 느낌을 경험할 수 없는 문제점이 있다.
최근에는 이러한 문제점을 해결하기 위해 사용자에게 실제 물체를 조작하는 경험을 느낄 수 있도록 하기 위해 실감형 사용자 인터페이스(Tangible User Interface, TUI)에 대한 연구가 활발히 이루어지고 있다.
실감형 사용자 인터페이스는 키보드, 마우스 또는 펜 모양 마우스 등의 원격 컨트롤러를 사용하지 않고 실제 조작해야 할 가상 공간, 즉 화면 상에 존재하는 대상의 위치에서 특정한 물리적 객체를 활용하는 인터페이스를 말한다. 예를 들어, 붓 형태의 디바이스를 사용하여 화면 상에 직접 그림을 그리는 인터페이스가 대표적이라고 할 수 있다.
그러나, 이러한 기존의 실감형 사용자 인터페이스는 물리적으로 온전한 하나의 객체로 이루어져 있으므로, 인터랙션이 변화됨에 따라 그 형태가 변화될 수 없기 때문에 활용 범위가 크게 제한되는 문제점이 있다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 하나의 물체를 현실 공간에 존재하는 물리 객체 부분과 컴퓨터 상에 가상으로 존재하는 가상 객체 부분으로 구분하여 모델링하고, 그 모델링된 물리 객체를 활용하여 가상 객체를 컨트롤할 수 있도록 하는 실감 인터랙션 시스템 및 방법을 제공하는데, 그 목적이 있다.
전술한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 실감 인터랙션 시스템은, 인터랙션 정보를 생성하는 물리 객체와; 상기 물리 객체의 화면 접촉을 감지하여 물리 객체의 화면 접촉 위치 정보를 생성하는 한편, 정보를 시각적으로 출력하는 디스플레이부와; 상기 디스플레이부의 화면 부분을 촬영하여 영상 정보를 생성하는 촬영부와; 상기 촬영부로부터 생성된 영상 정보 내에 존재하는 물리 객체를 인식하며, 인식된 물리 객체에 대응하는 가상 객체를 생성하고, 생성된 가상 객체를 상기 디스플레이부를 통해 출력시키되, 상기 물리 객체의 화면 접촉 위치 정보, 상기 영상 정보 및 상기 인터랙션 정보를 이용하여 상기 물리 객체의 위치 및 움직임을 인식하며, 인식된 상기 물리 객체의 위치 및 움직임에 따라 상기 디스플레이부를 통해 출력된 가상 객체의 위치 및 움직임을 변화시키고, 상기 물리 객체와 가상 객체의 위치 및 움직임 변화에 따라 발생하는 이벤트 정보를 상 기 디스플레이부를 통해 출력시키는 서버부를 포함하며, 상기 물리 객체 및 상기 가상 객체는 하나의 물체를 구성하는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 실감 인터랙션 방법은, 물리 객체에서 인터랙션 정보를 생성하는 단계와; 촬영부에서 상기 디스플레이부의 화면 부분을 촬영하여 영상 정보를 생성하는 단계와; 디스플레이부에서 상기 물리 객체의 화면 접촉을 감지하여 물리 객체의 화면 접촉 위치 정보를 생성하는 단계와; 서버부에서 촬영부로부터 생성된 영상 정보 내에 존재하는 물리 객체를 인식하며, 인식된 물리 객체에 대응하는 가상 객체를 생성하는 단계와; 상기 서버부에서 상기 생성된 가상 객체를 상기 디스플레이부를 통해 출력시키되, 상기 물리 객체의 화면 접촉 위치 정보, 상기 영상 정보 및 상기 인터랙션 정보를 이용하여 상기 물리 객체의 위치 및 움직임을 인식하며, 인식된 상기 물리 객체의 위치 및 움직임에 따라 상기 디스플레이부를 통해 출력된 가상 객체의 위치 및 움직임을 변화시키고, 상기 물리 객체와 가상 객체의 위치 및 움직임 변화에 따라 발생하는 이벤트 정보를 상기 디스플레이부를 통해 출력시키는 단계를 포함하는 것이 바람직하다.
본 발명에 따른 실감 인터랙션 시스템 및 방법에 의하면, 하나의 물체를 현실 공간에 존재하는 물리 객체 부분과 컴퓨터 상에 가상으로 존재하는 가상 객체 부분으로 구분하여 모델링하고, 그 모델링된 물리 객체를 활용하여 가상 객체를 컨 트롤함으로써, 사용자가 컴퓨터와의 다양한 인터랙션을 보다 현실감 있게 경험할 수 있는 효과가 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 실감 인터랙션 시스템 및 방법에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 실감 인터랙션 시스템의 구성을 개략적으로 도시한 블록도이고, 도 2a 및 도 2b는 본 발명의 일 실시예에 따른 실감 인터랙션 시스템의 구성을 설명하기 위한 참고도이고, 도 3은 본 발명의 일 실시예에 따른 실감 인터랙션 방법을 순차적으로 도시한 순서도이고, 도 4 및 도 5는 본 발명의 일 실시예에 따른 실감 인터랙션 방법을 설명하기 위한 참고도이다.
도 1을 참조하면, 본 발명에 따른 실감 인터랙션 시스템은 현실 공간에 존재하며 사용자 조작에 따른 인터랙션 정보를 생성하는 물리 객체(10)와, 물리 객체(10)의 화면 접촉시 접촉을 감지하여 물리 객체(10)의 화면 접촉 위치 정보를 생성하는 한편, 정보를 시각적으로 출력하는 디스플레이부(20)와, 디스플레이부(20)의 화면 부분을 촬영하여 영상 정보를 생성하는 촬영부(30)와, 촬영부(30)로부터 생성된 영상 정보 내에 존재하는 물리 객체(10)를 인식하며, 인식된 물리 객체(10)에 대응하는 가상 객체를 생성하고, 생성된 가상 객체를 디스플레이부(20)를 통해 출력시키되, 디스플레이부(20)로부터 생성된 물리 객체(10)의 화면 접촉 위치 정보, 촬영부(30)로부터 생성된 영상 정보 및 물리 객체(10)로부터 생성된 인터랙션 정보를 이용하여 물리 객체(10)의 위치 및 움직임을 인식하며, 인식된 물리 객체(10)의 위치 및 움직임에 따라 디스플레이부(20)를 통해 출력된 가상 객체의 위치 및 움직임을 변화시키고, 물리 객체(10)와 가상 객체의 위치 및 움직임 변화에 따라 발생하는 이벤트 정보를 디스플레이부(20)를 통해 출력시키는 서버부(40)를 포함하여 이루어진다.
여기서, 물리 객체(10) 및 가상 객체는 하나의 특정 물체를 구성하게 된다. 즉, 물리 객체(10)는 특정 물체의 일부분에 해당하며, 가상 객체는 특정 물체에서 물리 객체(10)에 해당하는 부분을 제외한 나머지 부분에 해당한다. 예를 들어, 물리 객체(10)는 스포이트나 비이커 또는 플라스크 등의 손잡이 부분, 가상 객체는 스포이트나 비이커 또는 플라스크 등의 손잡이 부분을 제외한 나머지 부분에 해당한다.
한편, 물리 객체(10), 디스플레이부(20), 촬영부(30) 및 서버부(40)는 각각 유선 또는 무선 통신을 수행하는 통신 모듈을 구비하며, 구비된 통신 모듈을 통해 상호 간에 정보를 송수신하는 것이 바람직하다.
물리 객체(10)는 기울이거나 압력을 가하는 등과 같은 사용자의 조작에 따라 인터랙션 정보를 생성하여 서버부(40)로 전송한다.
이러한, 물리 객체(10)는 외측에 인식용 마커가 부착되어 형성되며, 사용자의 기울임 또는 압력을 가하는 조작에 의해 발생하는 기울임 또는 압력을 감지하는 센서부를 포함한다. 여기서, 센서부는 기울임 센서 및 압력 센서 등의 각종 센서를 포함하여 이루어지는 것이 바람직하다. 예를 들어, 도 2a에 도시된 바와 같이, 비 이커 및 플라스크의 손잡이 부분에는 기울임 센서가 탑재되며, 도 2b에 도시된 바와 같이, 스포이트의 손잡이 부분에는 압력 센서가 탑재되는 것이 바람직하다.
또한, 물리 객체(10)는 사용자의 조작에 따라 변화되는 위치 정보, 움직임 정보 및 인터랙션 정보 등을 포함한 상태 변화 정보를 색 변화 등의 시각 정보로 출력하는 디스플레이 모듈(예를 들어, LED 디스플레이 등), 신호음 등의 청각 정보로 출력하는 사운드 출력 모듈 및 진동 등의 촉감 정보로 출력하는 액츄에이터 모듈 중 적어도 하나 이상을 구비하여 이루어지는 것이 바람직하다. 이에 따라, 물리 객체(10)는 사용자의 조작에 따라 변화되는 위치 정보, 움직임 정보 및 인터랙션 정보 등을 사용자에게 피드백하여 사용자로 하여금 실제 객체의 사용감을 느낄 수 있도록 해주게 된다.
한편, 물리 객체(10)는 가상 객체의 상태 및 움직임 변화, 그리고 그 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 서버부로부터 전달받아, 전달받은 이벤트 정보에 의거하여 상태 변화 정보를 출력하는 것이 바람직하다.
한편, 디스플레이부(20)는 화면 위에 놓여지는 물리 객체(10)의 접촉 여부를 감지하며, 물리 객체(10)의 접촉시 화면 접촉 위치 정보를 생성하여 서버부(40)로 전송한다. 이러한, 디스플레이부(20)는 사용자 입력 인터페이스를 구비하며, 구비된 사용자 입력 인터페이스를 통한 사용자의 터치 입력에 의해 사용자 입력 정보를 생성하여 서버부(40)로 전송한다. 예를 들어, 디스플레이부(20)는 화면 부분이 터치 스크린으로 구성된 테이블탑 디스플레이 장치 등으로 이루어질 수 있다.
또한, 디스플레이부(20)는 서버부(40)의 제어에 의해 안내 음성을 출력하는 사운드 출력부를 더 포함하는 것이 바람직하다. 예를 들어, 사운드 출력부는 서버부(40)의 제어에 의해 디스플레이부(20)의 화면에 시각적으로 출력되는 정보에 대응하는 안내 음성 등을 출력하게 된다.
한편, 촬영부(30)는 디스플레이부(20)의 화면 전체를 촬영할 수 있는 위치에 설치되는 것이 바람직하다.
한편, 서버부(40)는 촬영부(30)로부터 생성된 영상 정보 내에 존재하는 물리 객체(10)를 인식하여, 인식된 물리 객체(10)에 대응하는 가상 객체를 생성하고, 디스플레이부(20)로부터 물리 객체(10)의 화면 접촉 위치 정보를 수신하면, 생성된 가상 객체를 디스플레이부(20)로 전송하는 한편, 디스플레이부(20)로부터 수신된 물리 객체(10)의 화면 접촉 위치 정보를 이용하여 디스플레이부(20)의 화면 위에 접촉된 물리 객체(10)의 접촉 위치를 인식하고, 인식된 물리 객체(10)의 접촉 위치에 대응하는 위치에 가상 객체를 화면 출력하도록 하는 출력 제어 신호를 생성하여 디스플레이부(20)로 전송하여, 이를 수신한 디스플레이부(20)로 하여금 물리 객체(10)의 접촉 위치에 대응하는 화면 위치에 가상 객체를 출력하도록 제어하는 것이 바람직하다.
이러한, 서버부(40)는 영상 인식 기술 등을 통해 영상 정보 내에 물리 객체(10)에 부착된 인식용 마커 또는 물리 객체(10)의 특징점을 추출하고, 그 추출된 인식용 마커 또는 물리 객체(10)의 특징점을 이용하여 물리 객체(10)를 인식하며 물리 객체(10)의 위치 및 위치 이동을 인식하는 것이 바람직하다.
즉, 서버부(40)는 물리 객체(10)에 부착된 인식용 마커 또는 물리 객체(10) 의 특징점 별로 매칭된 가상 객체의 형상 정보를 저장하고 있는 메모리 모듈과, 영상 정보 내에 존재하는 인식용 마커 또는 물리 객체(10)의 특징점을 추출하는 영상 인식 모듈과, 영상 인식 모듈로부터 추출된 인식용 마커 또는 물리 객체(10)의 특징점에 매칭된 가상 객체의 형상 정보를 메모리 모듈로부터 검색하여 불러와 가상 객체를 생성하는 객체 생성 모듈을 포함하여 이루어진다.
또한, 서버부(40)는 사용자 조작에 의해 물리 객체(10)가 이동함에 따라 촬영부(30)로부터 수신되는 영상 정보 및 디스플레이부(20)로부터 수신되는 물리 객체(10)의 화면 접촉 위치 정보를 이용하여 물리 객체(10)의 이동 위치에 대응하는 디스플레이부(20)의 화면, 예컨대 물리 객체(10)가 위치한 곳으로부터 수직 방향에 해당하는 디스플레이부(20)의 화면에 가상 객체를 화면 출력하도록 하는 출력 제어 신호를 생성하여 디스플레이부(20)로 전송함으로써, 이를 수신한 디스플레이부(20)로 하여금 물리 객체(10)의 위치 이동에 대응하여 가상 객체를 위치 이동시켜 출력하도록 제어하는 것이 바람직하다.
또한, 서버부(40)는 물리 객체(10)로부터 수신되는 인터랙션 정보를 해석하여, 압력 인가 또는 기울임 등의 사용자 조작에 따른 물리 객체(10)의 상태 및 움직임 변화에 대응하도록 가상 객체의 상태 및 움직임을 제어하기 위한 가상 객체 제어 신호를 생성하여 디스플레이부(20)로 전송하는 한편, 가상 객체 제어 신호에 따른 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 디스플레이부(20)를 통해 출력시키기 위한 이벤트 제어 신호를 생성하여 디스플레이부(20)로 전송함으로써, 이를 수신한 디스플레이부(20)로 하여금 가상 객체 제어 신호에 따라 가상 객체의 상태 및 움직임을 변화시켜 출력하는 한편, 이벤트 제어 신호에 따라 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 출력하도록 제어하는 것이 바람직하다. 이러한, 서버부(40)는 물리 객체(10)로부터의 인터랙션 정보에 따라 변화되는 가상 객체의 상태 및 움직임, 그리고 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보에 대한 히스토리 데이터를 저장하는 인터랙션 히스토리 저장 모듈을 구비하고 있어, 인터랙션 히스토리 저장 모듈에 저장된 히스토리 데이터를 이용하여 가상 객체 제어 신호 및 이벤트 제어 신호를 생성하는 것이 바람직하다.
전술한 바와 같은 구성에 있어서, 도 3을 참조하여 본 발명의 일 실시예에 따른 실감 인터랙션 방법에 대하여 설명하면 다음과 같다.
먼저, 촬영부(30)에서는 디스플레이부(20)의 화면 부분을 촬영하여 영상 정보를 생성하여 서버부(40)로 전송한다(S100). 이와 더불어, 디스플레이부(20)에서는 화면 위에 놓여지는 물리 객체(10)의 접촉 여부를 감지하여 물리 객체(10)의 접촉시, 화면 접촉 위치 정보를 생성하여 서버부(40)로 전송한다(S110).
상기한 단계 S100을 통해 촬영부(30)로부터 영상 정보를 수신한 서버부(40)는 수신된 영상 정보 내에 존재하는 물리 객체(10)를 인식하고(S120), 인식된 물리 객체(10)에 대응하는 가상 객체를 생성한다(S130).
상기한 단계 S120에서 서버부(40)는 영상 인식 기술 등을 통해 영상 정보 내에 물리 객체(10)에 부착된 인식용 마커 또는 물리 객체(10)의 특징점을 추출하고, 그 추출된 인식용 마커 또는 물리 객체(10)의 특징점을 이용하여 물리 객체(10)를 인식하며 물리 객체(10)의 위치 및 위치 이동을 인식하는 것이 바람직하다.
상기한 단계 S130 이후, 서버부(40)는 상기한 단계 S110을 통해 디스플레이부(20)로부터 물리 객체(10)의 화면 접촉 위치 정보를 수신하면, 상기한 단계 S130을 통해 생성된 가상 객체를 디스플레이부(20)로 전송하는 한편(S140), 상기한 단계 S110을 통해 수신된 물리 객체(10)의 화면 접촉 위치 정보를 이용하여 디스플레이부(20)의 화면 위에 접촉된 물리 객체(10)의 접촉 위치를 인식하고, 인식된 물리 객체(10)의 접촉 위치에 대응하는 위치에 가상 객체를 화면 출력하도록 하는 출력 제어 신호를 생성하여 디스플레이부(20)로 전송한다(S150)
상기한 단계 S130 및 S140을 통해 서버부(40)로부터 가상 객체 및 출력 제어 신호를 수신한 디스플레이부(20)는 물리 객체(10)의 접촉 위치에 대응하는 화면 위치에 가상 객체를 출력한다(S160).
상기한 단계 S160 이후, 사용자 조작에 의해 물리 객체(10)가 이동함에 따라 서버부(40)는 상기한 단계 S100을 통해 촬영부(30)로부터 수신되는 영상 정보 및 상기한 단계 S110을 통해 디스플레이부(20)로부터 수신되는 물리 객체(10)의 화면 접촉 위치 정보를 이용하여 물리 객체(10)의 이동 위치에 대응하는 디스플레이부(20)의 화면, 예컨대 물리 객체(10)가 위치한 곳으로부터 수직 방향에 해당하는 디스플레이부(20)의 화면에 가상 객체를 화면 출력하도록 하는 출력 제어 신호를 생성하여 디스플레이부(20)로 전송함으로써, 이를 수신한 디스플레이부(20)로 하여금 물리 객체(10)의 위치 이동에 대응하여 가상 객체를 위치 이동시켜 출력하도록 제어하는 것이 바람직하다.
예를 들어, 도 4 및 도 5에 도시된 바와 같이, 사용자가 스포이트의 고무손잡이, 비이커의 윗부분 및 플라스크의 윗부분에 해당하는 물리 객체(10)를 디스플레이부(20)의 화면 위에 올려놓은 경우, 물리 객체(10)의 접촉 위치에 대응하는 디스플레이부(20)의 화면 위치에 스포이트의 고무손잡이, 비이커 및 플라스크의 윗부분을 제외한 나머지 부분에 해당하는 가상 객체가 출력되게 된다. 또한, 사용자가 물리 객체(10)를 화면에 접촉된 상태 또는 화면으로부터 접촉 해제된 상태로 위치 이동시키는 경우, 가상 객체가 디스플레이부(20)의 화면에 출력된 상태로 물리 객체(10)의 이동 위치에 대응하는 위치로 이동하게 된다.
상기한 단계 S160 이후, 사용자가 물리 객체(10)를 기울이거나 물리 객체(10)에 압력을 인가하는 등 물리 객체(10)를 조작함에 따라 물리 객체(10)는 사용자 조작에 따른 인터랙션 정보를 생성하여 서버부(40)로 전송한다(S170). 예를 들어, 사용자가 비이커의 손잡이에 해당하는 물리 객체(10)를 기울이는 경우, 물리 객체(10)는 기울임을 감지하여 기울임에 해당하는 사용자 조작에 따른 인터랙션 정보를 서버부(40)로 전송하게 된다.
상기한 단계 S170을 통해 물리 객체(10)로부터 인터랙션 정보를 수신한 서버부(40)는 수신된 인터랙션 정보를 해석하여, 압력 인가 또는 기울임 등의 사용자 조작에 따른 물리 객체(10)의 상태 및 움직임 변화에 대응하도록 가상 객체의 상태 및 움직임을 제어하기 위한 가상 객체 제어 신호를 생성하여 디스플레이부(20)로 전송하는 한편(S180), 이와 동시에 가상 객체 제어 신호에 따른 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 디스플레이부(20)를 통해 출 력시키기 위한 이벤트 제어 신호를 생성하여 디스플레이부(20)로 전송한다(S190). 예를 들어, 서버부(40)는 물리 객체(10)로부터 수신된 인터랙션 정보가 비이커의 손잡이 부분의 기울임에 관한 정보인 경우, 비이커의 손잡이 부분의 기울임에 대응하도록 비이커의 나머지 형상 부분에 해당하는 가상 객체의 기울임 동작을 제어하기 위한 가상 객체 제어 신호를 생성하여 디스플레이부(20)로 전송하게 되며, 가상 객체에 액체가 담겨 있는 경우, 가상 객체의 기울임의 정도에 따라 액체를 비이커 밖으로 배출시키고, 이와 동시에 배출량 만큼 비이커에 담겨져 있는 액체의 양이 줄어들도록 변화시키는 이벤트 정보를 디스플레이부(20)를 통해 출력시키기 위한 이벤트 제어 신호를 생성하여 디스플레이부(20)로 전송하게 된다.
상기한 단계 S180을 통해 서버부(40)로부터 가상 객체 제어 신호를 수신한 디스플레이부(20)는 수신된 가상 객체 제어 신호에 의해 가상 객체 제어 신호에 따라 가상 객체의 상태 및 움직임을 변화시켜 출력하는 한편, 서버부(40)로부터 수신된 이벤트 제어 신호에 따라 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 출력한다(S200). 이에, 디스플레이부(20)의 화면에는 물리 객체(10)의 상태 및 움직임에 대응하는 가상 객체의 상태 및 움직임이 출력된다.
이와 같은 본 발명에 따르면, 스포이트, 비이커 및 플라스크 등의 손잡이 부분을 물리 객체(10)로 구현하고, 액체나 화학 약품이 담겨지는 스포이트, 비이커 및 플라스크 등의 손잡이 아랫부분을 가상 객체로 모델링함으로써, 물리 객체(10) 조작을 통한 화학 실험을 수행할 수 있으며, 저항과 같은 회로설계에 필요한 소자, 오실로스코프 등의 실험장비의 다이얼과 같은 조작부를 물리 객체(10)로 구현하고, 회로 전선, 회로기판, 결과 디스플레이 부분을 가상 객체로 모델링함으로써, 물리 객체(10) 조작을 통한 전자회로 실험을 수행하는 것이 가능하다.
본 발명에 따른 실감 인터랙션 시스템 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위 내에서 다양하게 변경하여 실시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 실감 인터랙션 시스템의 구성을 개략적으로 도시한 블록도.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 실감 인터랙션 시스템의 구성을 설명하기 위한 참고도.
도 3는 본 발명의 일 실시예에 따른 실감 인터랙션 방법을 순차적으로 도시한 순서도.
도 4 및 도 5는 본 발명의 일 실시예에 따른 실감 인터랙션 방법을 설명하기 위한 참고도.
*** 도면의 주요 부분에 대한 부호의 설명 ***
10: 물리 객체 20: 디스플레이부
30: 촬영부 40: 서버부

Claims (17)

  1. 인터랙션 정보를 생성하는 물리 객체와;
    상기 물리 객체의 화면 접촉을 감지하여 물리 객체의 화면 접촉 위치 정보를 생성하는 한편, 정보를 시각적으로 출력하는 디스플레이부와;
    상기 디스플레이부의 화면 부분을 촬영하여 영상 정보를 생성하는 촬영부와;
    상기 촬영부로부터 생성된 영상 정보 내에 존재하는 물리 객체를 인식하며, 인식된 물리 객체에 대응하는 가상 객체를 생성하고, 생성된 가상 객체를 상기 디스플레이부를 통해 출력시키되, 상기 물리 객체의 화면 접촉 위치 정보, 상기 영상 정보 및 상기 인터랙션 정보를 이용하여 상기 물리 객체의 위치 및 움직임을 인식하며, 인식된 상기 물리 객체의 위치 및 움직임에 따라 상기 디스플레이부를 통해 출력된 가상 객체의 위치 및 움직임을 변화시키고, 상기 물리 객체와 가상 객체의 위치 및 움직임 변화에 따라 발생하는 이벤트 정보를 상기 디스플레이부를 통해 출력시키는 서버부를 포함하며,
    상기 물리 객체는 외측에 인식용 마커가 부착되어 형성되며, 기울임 또는 압력을 감지하는 센서부를 포함하여 이루어지고,
    상기 물리 객체 및 상기 가상 객체는 하나의 물체를 구성하는 것을 특징으로 하는 실감 인터랙션 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 물리 객체는,
    위치 정보, 움직임 정보 및 인터랙션 정보를 포함한 상태 변화 정보를 시각 정보로 출력하는 디스플레이 모듈, 청각 정보로 출력하는 사운드 출력 모듈 및 촉감 정보로 출력하는 액츄에이터 모듈 중 적어도 하나 이상을 구비하여 이루어지는 것을 특징으로 하는 실감 인터랙션 시스템.
  4. 제3항에 있어서,
    상기 물리 객체는,
    가상 객체의 상태 및 움직임 변화, 그리고 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 상기 서버부로부터 전달받아, 전달받은 이벤트 정보에 의거하여 상태 변화 정보를 출력하는 것을 특징으로 하는 실감 인터랙션 시스템.
  5. 제1항에 있어서,
    상기 디스플레이부는,
    상기 서버부의 제어에 의해 안내 음성을 출력하는 사운드 출력부를 더 포함하여 이루어지는 것을 특징으로 하는 실감 인터랙션 시스템.
  6. 제1항에 있어서,
    상기 물리 객체, 상기 디스플레이부, 상기 촬영부 및 상기 서버부는 각각 유선 또는 무선 통신을 수행하는 통신 모듈을 구비하며, 구비된 통신 모듈을 통해 상호 간에 정보를 송수신하는 것을 특징으로 하는 실감 인터랙션 시스템.
  7. 제6항에 있어서,
    상기 서버부는,
    상기 촬영부로부터 생성된 영상 정보 내에 존재하는 물리 객체를 인식하여, 인식된 물리 객체에 대응하는 가상 객체를 생성하고, 상기 디스플레이부로부터 물리 객체의 화면 접촉 위치 정보를 수신하면, 상기 생성된 가상 객체를 디스플레이부로 전송하는 한편, 상기 디스플레이부로부터 수신된 물리 객체의 화면 접촉 위치 정보를 이용하여 상기 디스플레이부의 화면 위에 접촉된 물리 객체의 접촉 위치를 인식하고, 인식된 물리 객체의 접촉 위치에 대응하는 화면 위치에 상기 가상 객체 를 출력하도록 하는 출력 제어 신호를 생성하여 상기 디스플레이부로 전송하여, 이를 수신한 상기 디스플레이부로 하여금 물리 객체의 접촉 위치에 대응하는 위치에 가상 객체를 출력하도록 제어하는 것을 특징으로 하는 실감 인터랙션 시스템.
  8. 제7항에 있어서,
    상기 서버부는,
    영상 정보 내에 물리 객체에 부착된 인식용 마커 또는 물리 객체의 특징점을 추출하고, 그 추출된 인식용 마커 또는 물리 객체의 특징점을 이용하여 물리 객체를 인식하며 물리 객체의 위치 및 위치 이동을 인식하는 것을 특징으로 하는 실감 인터랙션 시스템.
  9. 제8항에 있어서,
    상기 서버부는,
    상기 물리 객체에 부착된 인식용 마커 또는 물리 객체의 특징점 별로 매칭된 가상 객체의 형상 정보를 저장하고 있는 메모리 모듈과;
    영상 정보 내에 존재하는 인식용 마커 또는 물리 객체의 특징점을 추출하는 영상 인식 모듈과;
    상기 영상 인식 모듈로부터 추출된 인식용 마커 또는 물리 객체의 특징점에 매칭된 가상 객체의 형상 정보를 상기 메모리 모듈로부터 검색하여 불러와 가상 객체를 생성하는 객체 생성 모듈을 포함하여 이루어지는 것을 특징으로 하는 실감 인터랙션 시스템.
  10. 제8항 또는 제9항에 있어서,
    상기 서버부는,
    상기 물리 객체가 이동함에 따라 상기 촬영부로부터 수신되는 영상 정보 및 상기 디스플레이부로부터 수신되는 물리 객체의 화면 접촉 위치 정보를 이용하여 상기 물리 객체의 이동 위치에 대응하는 상기 디스플레이부의 화면에 상기 가상 객체를 화면 출력하도록 하는 출력 제어 신호를 생성하여 상기 디스플레이부로 전송함으로써, 이를 수신한 상기 디스플레이부로 하여금 상기 물리 객체의 위치 이동에 대응하여 상기 가상 객체를 위치 이동시켜 출력하도록 제어하는 것을 특징으로 하는 실감 인터랙션 시스템.
  11. 제10항에 있어서,
    상기 서버부는,
    상기 물리 객체로부터 수신되는 인터랙션 정보를 해석하여, 상기 물리 객체의 상태 및 움직임 변화에 대응하도록 상기 가상 객체의 상태 및 움직임을 제어하 기 위한 가상 객체 제어 신호를 생성하여 상기 디스플레이부로 전송하는 한편, 상기 가상 객체 제어 신호에 따른 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 상기 디스플레이부를 통해 출력시키기 위한 이벤트 제어 신호를 생성하여 상기 디스플레이부로 전송함으로써, 이를 수신한 상기 디스플레이부로 하여금 상기 가상 객체 제어 신호에 따라 가상 객체의 상태 및 움직임을 변화시켜 출력하는 한편, 상기 이벤트 제어 신호에 따라 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보를 출력하도록 제어하는 것을 특징으로 하는 실감 인터랙션 시스템.
  12. 제11항에 있어서,
    상기 서버부는,
    상기 물리 객체로부터의 인터랙션 정보에 따라 변화되는 가상 객체의 상태 및 움직임, 그리고 가상 객체의 상태 및 움직임 변화에 의해 발생하게 되는 이벤트 정보에 대한 히스토리 데이터를 저장하는 인터랙션 히스토리 저장 모듈을 구비하며,
    상기 인터랙션 히스토리 저장 모듈에 저장된 히스토리 데이터를 이용하여 가상 객체 제어 신호 및 이벤트 제어 신호를 생성하는 것을 특징으로 하는 실감 인터랙션 시스템.
  13. 물리 객체에서 인터랙션 정보를 생성하는 단계와;
    촬영부에서 디스플레이부의 화면 부분을 촬영하여 영상 정보를 생성하는 단계와;
    상기 디스플레이부에서 상기 물리 객체의 화면 접촉을 감지하여 물리 객체의 화면 접촉 위치 정보를 생성하는 단계와;
    서버부에서 촬영부로부터 생성된 영상 정보 내에 존재하는 물리 객체를 인식하며, 인식된 물리 객체에 대응하는 가상 객체를 생성하는 단계와;
    상기 서버부에서 상기 생성된 가상 객체를 상기 디스플레이부를 통해 출력시키되, 상기 물리 객체의 화면 접촉 위치 정보, 상기 영상 정보 및 상기 인터랙션 정보를 이용하여 상기 물리 객체의 위치 및 움직임을 인식하며, 인식된 상기 물리 객체의 위치 및 움직임에 따라 상기 디스플레이부를 통해 출력된 가상 객체의 위치 및 움직임을 변화시키고, 상기 물리 객체와 가상 객체의 위치 및 움직임 변화에 따라 발생하는 이벤트 정보를 상기 디스플레이부를 통해 출력시키는 단계를 포함하고,
    상기 가상 객체를 생성하는 단계는,
    상기 촬영부로부터 생성된 영상 정보 내에 물리 객체에 부착된 인식용 마커 또는 물리 객체의 특징점을 추출하는 단계와;
    상기 추출된 인식용 마커 또는 물리 객체의 특징점을 이용하여 상기 물리 객체를 인식하는 단계를 포함하여 이루어지는 것을 특징으로 하는 실감 인터랙션 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 디스플레이부를 통해 출력시키는 단계는,
    상기 서버부에서 상기 디스플레이부로부터 물리 객체의 화면 접촉 위치 정보를 수신하면, 상기 생성된 가상 객체를 상기 디스플레이부로 전송하고, 수신된 물리 객체의 화면 접촉 위치 정보를 이용하여 상기 디스플레이부의 화면 위에 접촉된 물리 객체의 접촉 위치를 인식하여, 인식된 물리 객체의 접촉 위치에 대응하는 위치에 상기 가상 객체를 화면 출력하도록 하는 출력 제어 신호를 생성하여 상기 디스플레이부로 전송하는 단계와;
    상기 디스플레이부에서 상기 서버부로부터 가상 객체 및 출력 제어 신호를 수신하여 물리 객체의 접촉 위치에 대응하는 화면 위치에 가상 객체를 출력하는 단계를 포함하여 이루어지는 것을 특징으로 하는 실감 인터랙션 방법.
  16. 제15항에 있어서,
    상기 디스플레이부를 통해 출력시키는 단계는,
    상기 물리 객체가 이동함에 따라 상기 서버부에서 상기 촬영부로부터 생성된 영상 정보 및 상기 디스플레이부로부터 생성된 물리 객체의 화면 접촉 위치 정보를 이용하여 상기 물리 객체의 이동 위치에 대응하는 상기 디스플레이부의 화면에 상기 가상 객체를 출력하도록 하는 출력 제어 신호를 생성하여 상기 디스플레이부로 전송하는 단계를 포함하여 이루어지는 것을 특징으로 하는 실감 인터랙션 방법.
  17. 제16항에 있어서,
    상기 디스플레이부를 통해 출력시키는 단계는,
    상기 서버부에서 상기 물리 객체로부터 생성된 인터랙션 정보를 해석하여, 사용자 조작에 따른 물리 객체의 동작에 대응하도록 상기 가상 객체의 동작을 제어하기 위한 가상 객체 제어 신호를 생성하여 상기 디스플레이부로 전송하는 단계와;
    상기 서버부에서 상기 가상 객체 제어 신호에 따른 가상 객체의 동작에 의해 발생하게 되는 이벤트 정보를 상기 디스플레이부를 통해 출력시키기 위한 이벤트 제어 신호를 생성하여 상기 디스플레이부로 전송하는 단계와;
    상기 디스플레이부에서 상기 서버부로부터 가상 객체 제어 신호를 수신하면, 수신된 가상 객체 제어 신호에 의해 상기 가상 객체의 동작을 출력하되, 상기 서버부로부터 수신된 이벤트 제어 신호에 따라 상기 가상 객체의 동작에 의해 발생하게 되는 이벤트 정보를 출력하는 단계를 포함하여 이루어지는 것을 특징으로 하는 실 감 인터랙션 방법.
KR1020090110994A 2009-11-17 2009-11-17 실감 인터랙션 시스템 및 방법 KR101080803B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090110994A KR101080803B1 (ko) 2009-11-17 2009-11-17 실감 인터랙션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090110994A KR101080803B1 (ko) 2009-11-17 2009-11-17 실감 인터랙션 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110054376A KR20110054376A (ko) 2011-05-25
KR101080803B1 true KR101080803B1 (ko) 2011-11-07

Family

ID=44363575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090110994A KR101080803B1 (ko) 2009-11-17 2009-11-17 실감 인터랙션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101080803B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356209B1 (ko) * 2012-04-27 2014-01-29 주식회사 테라세미콘 기판 처리 장치
WO2015102755A1 (en) * 2014-01-03 2015-07-09 Intel Corporation Dynamic augmentation of a physical scene
US10270985B2 (en) 2014-09-03 2019-04-23 Intel Corporation Augmentation of textual content with a digital scene

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338043B1 (ko) * 2012-03-05 2013-12-09 한국과학기술연구원 실감 인터랙션을 이용한 인지재활 시스템 및 방법
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
KR101686629B1 (ko) * 2015-01-30 2016-12-14 한국과학기술연구원 사용자의 압력 정보의 입력에 의해 지시되는 가상 공간 상의 위치를 결정하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356209B1 (ko) * 2012-04-27 2014-01-29 주식회사 테라세미콘 기판 처리 장치
WO2015102755A1 (en) * 2014-01-03 2015-07-09 Intel Corporation Dynamic augmentation of a physical scene
US10270985B2 (en) 2014-09-03 2019-04-23 Intel Corporation Augmentation of textual content with a digital scene

Also Published As

Publication number Publication date
KR20110054376A (ko) 2011-05-25

Similar Documents

Publication Publication Date Title
KR101080803B1 (ko) 실감 인터랙션 시스템 및 방법
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
JP6616546B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
JP5323070B2 (ja) 仮想キーパッドシステム
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
US7952566B2 (en) Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement
JP2014221636A (ja) 車両インターフェース用ジェスチャ基準制御システム
JP2012503244A (ja) 指に装着される装置および相互作用方法および通信方法
KR20110031945A (ko) 촉각적 사용자 인터페이스
JP2006244463A (ja) 記述グラフィカル・デバイス用ユーザ・インタフェース
EP3371678B1 (en) Data entry device for entering characters by a finger with haptic feedback
CN115763127A (zh) 键组件、虚拟现实接口系统和方法
KR101291602B1 (ko) 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법
CN112740146A (zh) 姿势识别系统
KR101004671B1 (ko) 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법
WO2023020691A1 (en) An arrangement and a method for providing text input in virtual reality
WO2023020692A1 (en) An arrangement and a method for providing text input in virtual reality
KR101400445B1 (ko) 자기장 기반의 사용자 단말 입력 수단, 사용자 단말 및 사용자 단말 입력 시스템
CN114072754A (zh) 运行操作系统的方法和操作系统
JPWO2005057395A1 (ja) データ入力装置、情報機器、および、ユーザインターフェイス方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 7