KR20040035881A - 대화형 시스템 및 대화 방법 - Google Patents

Abstract

본 발명은 터치 및 압력 감지 패널을 사용하여 스크린(100)과 대화하는 실시간 사운드 피드백을 발생시키는 대화형 시스템(130)에 관한 것이다. 손가락 또는 펜형상 대상물들(112)과 같은 도구들은 스크린(100)의 패널에 그림을 그리기 위하여 사용될 수 있다. 다른 사운드 피드백을 가지는 다수의 다른 도구들이 사용될 수 있다. 손가락 또는 도구를 사용하여 터치 스크린상에 실제 그림을 그리는 동안, 다수의 오디오 제어 파라미터들은 사운드 재생을 실시간으로 제어하기 위하여 사용된다. 각각의 도구(112)는 터치 스크린상에 상기 대상물의 물리적, 가상 및 대화 결과를 맞추기 위하여 설계된 그 자신의 대화 사운드를 가진다.

Description

대화형 시스템 및 대화 방법{INTERACTIVE SYSTEM AND METHOD OF INTERACTION}

전술한 대화형 시스템 및 방법의 실시예는 일반적으로 사운드의 볼륨이 제어될 수 있는 오디오 시스템들로부터 공지되어 있다. 이들 볼륨 제어는 슬라이더 또는 터치 키들에 의하여 종종 제공된다. 슬라이더가 사용될때, 슬라이더의 위치는 사운드의 볼륨을 결정한다. 터치 키들이 제공되는 경우에, 터치 키를 누르면 볼륨이 증가하거나 또는 감소한다. 만일 오디오 시스템이 사운드의 피치에 대하여 액세스를 제공하면, 피치 제어들이 제공된다. 이들 피치 제어들은 대응하게 동작될 수 있는 슬라이더 또는 터치 키들을 포함하는 사용자 인터페이스에 의하여 종종 제공된다.

전술한 대화형 시스템 및 방법의 다른 실시예는 스피커 시스템에 접속되는퍼스널 컴퓨터로부터 일반적으로 공지되어 있다. 그 다음에, 볼륨 및 피치 제어들은 소프트웨어 발생 사용자 인터페이스 제어 가젯(gadget)을 통해 퍼스널 컴퓨터에 의한 소프트웨어 실행에 의하여 제공된다. 이러한 사용자 인터페이스 제어 가젯은 키보드, 마우스 또는 조이스틱과 같은 입력장치를 통해 동작될 수 있는 버튼 가젯 또는 슬라이더를 또한 제공한다. 볼륨 또는 피치의 제어와 관련한 슬라이더 및 버튼의 대화 모델들은 이전에 기술된 오디오 시스템에 대한 대화 모델과 동일하다. 게다가, 퍼스널 컴퓨터가 터치 스크린을 가질때, 다른 입력장치들은 소프트웨어 발생 사용자 인터페이스 제어 가젯을 통해 동작시키기 위하여 펜 또는 손가락과 같이 사용될 수 있다.

그러나, 앞서 기술된 실시예들의 각각에서, 음향 신호에 대한 대화 모델은 일반적으로 사용된 포인팅 장치와 무관하다.

본 발명은 입력장치를 포함하는 대화형 시스템에 관한 것이며, 상기 입력장치는 대화형 시스템에 데이터를 입력하며, 상기 입력은 사용자가 입력장치를 조작함으로서 이루어진다.

또한, 본 발명은 입력장치에 데이터를 입력하는 단계를 포함하는 대화방법에 관한 것이며, 상기 입력은 사용자가 입력장치를 조작함으로서 이루어진다.

도 1은 본 발명에 따른 대화형 시스템의 일반적인 부분들에 대한 개요를 도시한 도면.

도 2는 개략적인 방식으로 본 발명에 따른 카메라 어레이를 가진 대화형 시스템의 실시예에 대한 일반적인 부분들을 도시한 도면.

이들 도면에서 대응하는 도면부호들은 도면들의 대응 부분들을 나타낸다.

본 발명의 목적은 대화형 시스템을 사용한 사용자 조작에 따라 음향신호에 대하여 더 직관적인 대화모델을 제공하는 대화형 시스템을 제공하는데 있다. 이 목적을 달성하기 위하여,

본 발명의 대화형 시스템은 사용자 조작의 파라미터를 측정하는 측정수단, 및

사용자 조작의 측정된 파라미터에 따르는 음향신호로 상기 측정된 파라미터를 변환하는 변환수단을 포함하는 것을 특징으로 한다.

사용자 조작의 파라미터를 측정함으로서, 다른 사용자 조작들은 다른 대화경험들을 제공한다. 사용자 조작은 예컨대, 펜, 펜슬, 브러시, 지우개 또는 손가락으로 수행될 수 있다. 이들의 각각, 실생활에서의 소위 포인팅 장치는 그들이 사용될때 다른 사운드를 발생시킨다. 예컨대, 펜은 펜슬, 브러시 또는 지우개와 다른 볼륨 레벨로 잡음을 발생시킬 것이다. 게다가, 각각의 포인팅 장치는 대화모델에 따라 동작될 수 있으며, 지우개는 이미 그려진 대상물들의 부분들을 지울 수 있으며, 펜은 펜슬 또는 브러시로 생성된 라인들보다 대부분 더 흐린 라인들을 생성할 수 있다. 게다가, 사용자가 경험하는 음향 피드백은 사용자가 조작하는 데이터의 종류에 따르지 않으나, 이 방식에서 사용자는 입력장치를 조작함으로서 수행한다. 이는 예컨대 동일한 그림이 선택된 포인팅 장치 및 포인팅 장치가 동작되는 방법에 따라 다른 음향 피드백으로 시뮬레이트된 펜 또는 크레용으로 그려질 수 있다는 것을 의미한다.

본 발명에 따른 대화형 시스템의 다른 장점은 사용자가 위치를 결정하여 조작하는 필요성 및 전용 사용자 인터페이스가 오디오를 제어하는 필요성을 감소시키는 것이며, 시스템에 의한 대화는 오디오를 제어하면서 예컨대 그림을 그리기 위하여 사용될 수 있다. 게다가, 사용자는 오디오가 손가락 또는 펜슬에 의한 더 실제적인 그림과 같이 선택된 대화의 경험을 만드는 대화를 통해 실시간으로 제어된다는 사실을 덜 알아도 된다.

본 발명에 따른 대화형 시스템의 실시예는 청구항 제 2항에 기술된다. 음향 피드백의 누름 제어에 의하여, 입력 장치를 사용한 사용자 조작의 경험은 더 직관적으로 된다. 예컨대, 입력 장치를 더 누르면, 미디어 장치의 볼륨 레벨이 증가한다. 이는 글씨를 쓰는 동안 종이에 펜을 내리 누르는 것과 비교될 수 있으며, 더 내리 누를경우에 페이퍼를 접촉하는 펜의 잡음이 더 커지게 된다.

본 발명에 따른 대화형 시스템의 실시예는 청구항 제 3항에 기술된다. 음향 피드백을 위치제어함으로서, 사용자 경험이 추가된다. 예컨대, 고속으로 이동하는 펜이 저속으로 이동하는 펜보다 더 큰 잡음을 일으킨다. 게다가, 사용자로부터 떨어져 이동되는 포인팅 장치는 증가하는 볼륨 레벨에서 높은 잡음을 일으키는 사용자쪽으로 이동되는 포인팅 장치보다 감소하는 볼륨 레벨에서 낮은 잡음을 일으킨다.

본 발명에 따른 대화형 시스템의 실시예는 청구항 제 4항에 기술된다. 방향, 예컨대 그려질 대상인 표면에 대한 크레용의 방향을 설정함으로서, 작용 음향 피드백, 즉 사용자의 시간 영향이 더 개선된다. 그 다음에, 예컨대, 표면에 수직하게 크레용을 붙들고 표면을 글씨를 쓰면, 표면에 평행하게 크레용을 붙들고 표면에 글씨를 쓸때와 다른 잡음이 유발될 수 있다.

본 발명에 따른 대화형 시스템의 다른 실시예들은 청구항 제 5항 내지 8항에 기술된다.

게다가, 본 발명의 다른 목적은 사용된 포인팅 장치에 따른 오디오 제어들을 사용하여 더 직관적인 대화모델을 제공하는 대화방법을 제공하는데 있다. 이러한 목적을 달성하기 위하여,

대화방법은 사용자 조작의 파라미터를 측정하는 단계, 및

사용자 조작의 측정된 파라미터에 따르는 음향 신호로 상기 측정된 파라미터를 변환하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 이하의 도면에 의하여 기술된 실시예들에 의하여 기술될 것이다.

도 1은 개략적인 방식으로 본 발명에 따른 대화형 시스템의 일반적인 부분들에 대한 개요를 도시한다. 여기서, 도면부호 100은 압력 센서(도시안됨)를 포함하는 LCD 터치 스크린과 같은 터치 스크린이다. 스크린상에 펜과 같은 대상물의 압력 및 위치는 퍼스널 컴퓨터(110)에 전송된다. 퍼스널 컴퓨터(110)는 위치 및 압력 파라미터들을 분석하여 이들 파라미터들을 가청 피드백으로 변조하는 소프트웨어를 포함한다. 그 다음에, 가청 피드백은 스피커들(102, 104, 106, 108)에 전송된다. 사운드 효과를 증진하기 위하여 더 많은 스피커들이 사용될 수 있다.

이러한 대화형 시스템(130)에서, 특히 가르침, 프리젠팅(presenting) 및 플레잉(playing)과 같은 이야기식 활동들은 시스템이 표면상의 물리적 대상물의 대화와 닮은 실시간 사운드 피드백의 경험을 생성하기 때문에 풍부하게 된다. 예컨대, 사용자가 펜을 사용하여 종이에 글씨를 쓰기를 원할때, 스크린(100)은 종이를 시뮬레이트하며, 펜의 형상을 가진 전용 포인팅 장치(112)는 펜을 시뮬레이트한다. 그 다음에, 사용자가 스크린(100)의 표면상에 글씨를 쓰기 시작할때, 이 대화의 위치, 속도 및 압력은 퍼스널 컴퓨터(110)에 전송된다. 여기서, 위치 파라미터는 스피커들에 의하여 둘러싸인 평면내에서의 사운드의 위치를 결정하기 위하여 사용되며, 이에 따라 사용자는 사운드가 포인팅 장치(112)의 위치로부터 발생한다는 것을 경험한다. 예컨대, 만일 대화가 좌측(114)에서 우측(116)으로 이동하면, 좌측 스피커(106)의 볼륨은 감소한다. 만일 대화가 정면(118)으로부터 후면(120)으로 이동하면, 하부 스피커(108)의 볼륨이 감소한다. 스피커들을 증가 및 감소시키기 위한 이동의 다른 매핑이 또한 가능하며, 이에 따라 사용자는 자기쪽으로 포인팅 장치를 이동시키거나 또는 자기로부터 떨어지도록 이동시키는 것을 경험한다.

속도 파라미터는 피드백 사운드의 전체 볼륨을 제어하기 위하여 사용된다. 만일 속도가 0이면, 볼륨은 0으로 세팅된다. 만일 속도가 증가하면 볼륨 레벨이 증가한다.

압력 파라미터는 사운드의 피치를 제어하기 위하여 사용된다. 만일 더 큰 압력이 가해지면, 피치는 상승할 것이다.

속도 및 압력 파라미터들이 사운드의 볼륨을 제어하고 비트와 같은 사운드의 다른 파라미터들이 제어되는 것이 또한 가능하다. 게다가, 파라미터들은 스크린을 사용하여 포인팅 장치의 대화를 동시에 제어하기 위하여 사용될 수 있다. 예컨대, 펜슬을 시뮬레이트하는 포인팅 장치가 사용될때, 압력 파라미터는 그려진 라인의 두께로 변조된다. 압력이 더 가해지면 압력 파라미터는 퍼스널 컴퓨터(110)에 의하여 스크린상의 두꺼운 라인의 실시간 표현으로 변조되며, 압력이 약하게 가해질때 압력 파라미터는 더 두꺼운 라인이 표현된다. 이를 통해, 사용자는 실제 펜슬을 사용하는 대화와 닮은 얇은 그리고 두꺼운 라인들을 직관적으로 생성할 수 있다.

다른 포인팅 장치들은 다른 피드백을 요구하며, 따라서 시스템은 포인팅 장치 식별 능력들을 포함한다. 이는 RF-태그 판독기(122)에 의하여 판독되는 RF-태그를 가진 각각의 포인팅 장치를 포함함으로서 달성된다. RF-태그를 사용하는 대신에, 각각의 포인팅 장치는 트랜스폰더 판독기에 의하여 판독될 수 있는 트랜스폰더를 포함할 수 있다. RF-태그 판독기는 퍼스널 컴퓨터(110)에 접속된다. 트랜스폰더 판독기가 사용되는 경우에, 트랜스폰더 판독기는 퍼스널 컴퓨터(110)에 접속된다. 각각의 포인팅 장치는 그 자신의 고유 식별번호를 가지며, 퍼스널 컴퓨터(110)는 고유 식별번호로부터 대응 포인팅 장치의 파라미터 세팅들의 사운드 파라미터들로의 매핑이 유지되는 데이터베이스(112)를 포함한다. 파일 구조와 같이 더 단순한 매핑을 사용하는 것이 또한 가능하며, 각각의 고유 식별번호는 크기, 및 색 등과 같은 포인팅 장치의 특징들을 더 포함하는 폴더이다.

그러나, 사용자가 그의 손가락을 사용하여 그림을 그릴때, 스크린(100)은 위치, 속도 및 압력 파라미터들을 수신하여 이들 퍼스널 컴퓨터(110)에 전송하나, 퍼스널 컴퓨터는 고유 식별번호를 수신하지 않는다. 이 경우에, 손가락 터치 종이의 사운드를 시뮬레이트하는 디폴트 사운드가 선택된다. 다른 디폴트 사운드들은 디폴트 사운드가 사용된다는 것을 사용자에게 지시하기 위하여 사용될 수 있다.

도 2는 개략적인 방식으로 본 발명에 따른 카메라 어레이를 가진 대화형 시스템(230)의 실시예의 일반적인 부분들을 기술한다. 여기서, 도면부호 202는 펜 형상 포인팅장치(216)의 위치 및 방향을 판독할 수 있는 두개의 적외선 카메라(212, 214)를 포함하는 카메라 어레이이다. 이러한 펜 형상 포인팅 장치(216)는 펜의 좌표들 및 방향이 카메라 어레이의 적외선 카메라들에 의하여 판독될 수 있는 펜형상 포인팅 장치(216)상에 부착된 3개의 발광 다이오드(LED)(204, 206, 208)를 포함한다. 포인팅 장치의 전송 위치 및 방향을 야기하는 다른 기술들이 또한 사용될 수 있다. 펜형상 포인팅 장치로서의 카메라 어레이는 퍼스널 컴퓨터(110)에 접속된다. 이러한 접속은 유선으로 이루어지나, 모든 장치들이 적정 신호들을 수신 및 전송하기 위하여 대응 소프트웨어를 갖추는 무선장치가 제공될 수 있다. 게다가, 펜형상 포인팅 장치는 압력 센서(210)를 포함한다. 이러한 실시예에서, 터치 및 압력 감지 패널에 대한 필요성이 존재하지 않으나 보통 디스플레이(218)가 사용된다. 이러한 경우에, 카메라 어레이는 펜형상 포인팅 장치의 위치 및 방향을 판독하여 이 위치 및 방향을 퍼스널 컴퓨터(110)에 전송한다. 위치는 이전에 기술된 바와같이 가청 피드백으로 변조되나, 방향은 그려진 라인의 두께를 변화시키기 위하여 사용된다. 예컨대, 크레용이 디스플레이(218)에 수직하게 사용될때, 얇은 라인이 디스플레이상에서 실시간으로 눈에 보이게 된다. 그러나, 크레용이 디스플레이(218)에 평행하게 사용될때, 크레용의 폭과 거의 동일하여 사용자의 경험을 추가로 개선하는 라인이 눈에 보이게 된다.

사용자가 기존 도면에 메시지 또는 도면을 추가하기를 원할때, 기존 도면은종래의 방식들, 즉 플로피 디스크, CD, 인터넷 등을 통해 퍼스널 컴퓨터(110)로 다운로드될 수 있다. 이러한 기존의 도면은 디스플레이상에서 눈에 보이게되며, 포인팅 장치의 좌표들은 사용자가 기존 도면에 추가하거나 또는 기존 도면으로부터 삭제하도록 하는 도면내의 좌표들로 변조된다.

압력 센서는 압력 파라미터를 퍼스널 컴퓨터(110)에 전송하며, 이 퍼스널 컴퓨터(110)는 이전에 기술된 바와같이 상기 파라미터를 사운드로 변조한다.

예컨대 패널이 터치 감지 패널이고 포인팅 장치가 압력 센서를 포함하는 전술한 실시예들의 결합이 또한 가능하다.

지우개, 만년필 펜, 브러시 등과 같은 많은 포인팅 장치들은 시스템에 추가되고 시스템으로부터 제거될 수 있다. 이를 위하여, 퍼스널 컴퓨터(110)는 스크린을 통해 동작될 수 있는 관리 소프트웨어를 포함한다. 사용된 포인팅 장치의 종류를 식별하는 사운드들을 변경하고 스크린이 시뮬레이트하는 표면을 변경하는 것이 또한 가능하다. 상기 표면은 예컨대 락보드, 유리보드 또는 화이트 보드로 변경될 수 있다. 게다가, 위치, 속도 및 압력 파라미터들을 통해 동작되는 장치들이 변경될 수 있다. 이 장치들은 예컨대 주변광의 색 및 강도를 제어하기 위하여 사용될 수 있다.

Claims (9)

1. 데이터를 대화형 시스템에 입력하는 입력장치(100, 202, 216)로서, 상기 입력은 상기 입력장치(100, 202, 216)에 대한 사용자 조작에 의하여 이루어지는, 상기 입력장치를 포함하는 대화형 시스템(130, 230)에 있어서,

   상기 사용자 조작의 파라미터를 측정하도록 구성되는 측정수단(210, 212, 214); 및

   상기 사용자 조작의 측정된 파라미터에 의존하는 음향 신호로 상기 측정된 파라미터를 변환하도록 구성되는 변환수단(110)을 더 포함하는 것을 특징으로 하는, 대화형 시스템.
2. 제 1항에 있어서, 상기 사용자 조작의 측정된 파라미터는 상기 입력이 이루어지는 압력이며, 상기 음향 신호는 상기 압력에 의존하는, 대화형 시스템.
3. 제 1항에 있어서, 상기 사용자 조작의 측정된 파라미터는 상기 입력이 이루어지는 위치이며, 상기 음향 신호는 상기 위치에 의존하는, 대화형 시스템.
4. 제 1항에 있어서, 상기 사용자 조작의 측정된 파라미터는 입력이 이루어지는 방향이며, 상기 음향 신호는 상기 방향에 의존하는, 대화형 시스템.
5. 제 1항에 있어서, 상기 입력장치는 터치 감지 패널(100)인, 대화형 시스템.
6. 제 1항에 있어서, 상기 입력 장치는 압력 감지 패널(100)인, 대화형 시스템.
7. 제 1항에 있어서, 상기 입력 장치는 적외선 카메라(212, 214)를 포함하는 카메라 어레이(202)인, 대화형 시스템.
8. 제 1항에 있어서, 상기 음향 피드백은 피치, 볼륨, 및 비트 중 적어도 하나인, 대화형 시스템.
9. 데이터를 입력장치에 입력하는 단계로서, 상기 입력은 상기 입력장치에 대한 사용자 조작에 의하여 이루어지는, 상기 단계를 포함하는 대화방법에 있어서,

   상기 사용자 조작의 파라미터를 측정하는 단계; 및

   상기 사용자 조작의 측정된 파라미터에 의존하는 음향 신호로 상기 측정된 파라미터를 변환하는 단계를 더 포함하는 것을 특징으로 하는, 대화방법.