KR20070043993A - 가상 객체를 모델링하는 것을 가능하게 하는 방법 - Google Patents

가상 객체를 모델링하는 것을 가능하게 하는 방법 Download PDF

Info

Publication number
KR20070043993A
KR20070043993A KR1020077002512A KR20077002512A KR20070043993A KR 20070043993 A KR20070043993 A KR 20070043993A KR 1020077002512 A KR1020077002512 A KR 1020077002512A KR 20077002512 A KR20077002512 A KR 20077002512A KR 20070043993 A KR20070043993 A KR 20070043993A
Authority
KR
South Korea
Prior art keywords
touch screen
shape
user
location
pressure
Prior art date
Application number
KR1020077002512A
Other languages
English (en)
Inventor
마이클 히세만
갈릴레오 제이. 데스트라
라몬 이. 에프. 밴 드 벤
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070043993A publication Critical patent/KR20070043993A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

데이터 처리 시스템은 가상 객체를 렌더링하기 위한 디스플레이 모니터, 및 사용자가 렌더링된 객체와 상호작용하게 하기 위한 터치 스크린을 구비한다. 이 시스템은 사용자가 객체 상의 제1 위치에서 객체의 형상을 변경하는 것을 가능하게 하도록 작동한다. 이 형상은, 시스템의 작동 사용중에 터치 스크린을 통해 보일때, 제1 위치와 실질적으로 일치하는 터치 스크린 상의 제2 위치에 등록된 압력의 크기의 제어하에서 변경된다.

Description

가상 객체를 모델링하는 것을 가능하게 하는 방법{METHOD OF ENABLING TO MODEL VIRTUAL OBJECTS}
본 발명은 데이터 처리 시스템에 대한 것으로서, 이 시스템은 가상 객체를 렌더링하기 위한 디스플레이 모니터, 및 사용자가 렌더링된 객체와 상호작용하게 하도록 터치 스크린을 구비한다. 본 발명은 나아가 터치 스크린을 구비하는 디스플레이 모니터 상에 렌더링된 가상 객체의 형상을 모델링하기 위한 방법 및 제어 소프트웨어에 대한 것이다.
비디오 게임, 그래픽 게임 및 기타 컴퓨터-관련 오락 소프트웨어 애플리케이션이 점진적으로 더 보급되어 왔으며, 현재 심지어는 모바일 전화 상에서도 사용된다. 멀티-플레이어 게임 또는 애플리케이션에서, 플레이어는 아바타로 알려진 살아서 움직이는(animated) 그래픽 표현을 가상 환경 내에서 그들을 대신해서 사용한다. 전용 디바이스가 전자 애완 동물 예컨대, 다마고찌: 양육(rearing) 게임을 위해 시판되고 있고 있는데, 사용자는 디스플레이 모니터 상에 렌더링된 가상 동물을 돌보아야 한다.
그래픽 생성물(creature) 및 객체가 있는 가상의 상호작용식 세계의 생성은 아이들은 말할것도 없고, 문외한에 의해 능숙하게 사용되기 쉽지 않은 예술 형태이 다. 그럼에도 불구하고, 문외한 또는 젊은이가 이러한 생성물 및 객체를 생성하게 하는 소프트웨어 애플리케이션이 환영받는데, 이는 이러한 애플리케이션이 이전에 는 획득불가능한 전자 세계 측면에 대한 사람 제어를 제공하도록 돕는다.
사용자-친화적이고 쉽게 이해되는 방식의 가상 환경에서의 객체 모델링이, 출원 일련 번호(09/840,796)로서 Greg Roelofs에 대해 4/23/01에 출원되고, 발명이 명칭이 VIRTUAL ELEPHANT MODELING BY VOXEL-CLIPPING SHADOW-CAST이며, 본 명세서에 참고문헌으로 병합된, 미국 특허 출원 공보(US20020154113)에 개시되어 있다. 이 특허 문서는 복슬(voxel) 블록으로부터 복슬을 새기기 위해 상이한 방위의 물리적인 모델의 비트맵 실루엣을 사용해서, 코끼리로 형상화된 물리적인 객체의 그래픽 모델을 형성하는 것을 개시한다.
이것은 사용자가 가상 환경 및 비디오 게임에서의 용도로 물리적인 객체의 그래픽 표현이 가능하도록 간단한 툴을 제공한다. 본 명세서에 참고문헌으로 병합된, SYSTEMS AND METHODS OF THREE-DIMENSIOANL MODELING에 대해 Jennings 등에 대해 출원된, US 특허 공보(2002/0089500)는 컴퓨터 내에 저장된 가상 객체를 변경하는 시스템 및 방법을 개시하고 있다. 이 시스템 및 방법은 달리 계산적으로 불편한 가상 객체 변경을 허용한다. 가상 객체는 체적 측정식(volumetric) 표현으로서 나타난다. 체적 측정식 모델의 일부가 대안적인 표현으로 변환된다. 대안적인 표현은 볼륨식 표현과 상이한 수의 차원을 갖는 표현일 수 있다. 자극(stimulus)이 예컨대, 힘-피드백 촉각 인터페이스(force-feedback haptic interface)를 사용하는 사용자에 의해 대안적인 표현에 가해질 수 있다. 자극에 대한 대안적인 표현의 응 답이 계산된다. 가상 객체의 형상 변화가 대안적인 표현의 응답으로부터 결정된다. 가상 객체의 표현이 사용자에 대해 임의의 시간에 디스플레이될 수 있다. 사용자는 힘-피드백 응답을 제공받을 수 있다. 다수의 자극이 연속해서 가해질 수 있다. 다수의 대안적인 표현이 이 시스템 및 방법에서 사용될 수 있다.
본 발명은 위에 개시된 알려진 시스템 및 방법에 대한 대안으로서 또는 위의 시스템 및 방법에 덧붙여서 사용될 수 있는 가상 모델을 생성 또는 형상화하게 하기 위한 시스템 또는 방법을 제안한다.
이를 위해, 본 발명자는 가상 객체를 렌더링하기 위한 디스플레이 모니터 및 사용자가 렌더링된 객체와 상호작용하게 하기 위한 터치 스크린을 구비하는 데이터 처리 시스템을 제안한다. 이 시스템은 사용자가 객체 상의 제1 위치에서 객체의 형상을 변경하는 것을 가능하게 하도록 작동한다. 이 형상은 시스템의 작동 사용중에 터치 스크린을 통해 보일때 제1 위치와 실질적으로 일치하는 터치 스크린 상의 제2 위치에 등록된 압력의 크기의 제어하에서 변경된다.
위에서 언급된 Jennings 문서는 터치 스크린 자체가 객체의 표면을 물리적으로 나타내는 것처럼 터치 스크린을 사용하는 것을 가르치거나 시사하지 않는다는 것에 주목하자. 본 발명에서, 객체는 디스플레이된 객체 표면의 특정 부분과 대응 또는 일치하는 터치 스크린의 일정 위치에 압력을 가하는 사용자를 통해 사용자에 의해 수동으로 형상화된다. Jennings에서, 입력 디바이스 이를테면 컴퓨터 마우스, 조이스틱 또는 터치 스크린은 사용자-상호작용식 소프트웨어 애플리케이션을 통해 그래픽적으로 나타난 툴과 상호작용하기 위한 등가의 대안으로서 사용되고 있다. 본 발명의 방식으로 터치 스크린을 사용함으로써, 객체를 형상화하는 단계적 변화(gradation)가 디스플레이 모니터 상에 렌더링된 객체의 이미지를 재-스케일화(확대 또는 축소)하는 것을 통해 간단히 달성될 수 있다. 또한, 터치 스크린이 객체를 물리적으로 나타냄에 따라, 사용자로의 피드백이 사용자가 단지 점토 덩어리(a chunk of clay)를 모델링하는 것처럼 시각적인 피드백으로 제한될 수 있다. 예컨대, 시스템의 작동 모드에서, 객체의 형상은 터치 스크린에 의해 등록된 대로 압력이 증가하는 경우에만 계속해서 변경된다. 동일한 위치에서 압력을 낮추는 것은 최대 압력 값의 시간에 있었던 대로 형상을 남긴다. 즉, 이 형상은 Jennings에서 사용된 인터페이스보다 직접적이고 더 직관적인 사용자 인터페이스를 제공하는, 객체의 이미지와 대응 및 일치하도록 사용자에 의해 인지된 위치에서의 압력 변화에 대응한다.
대응 물리 객체가 적당한 조명 조건 하에서 설정되는 것처럼 가상 객체를 렌더링하는 것은 시각 피드백을 향상시킬 수 있다. 이때 가상 객체와의 사용자 상호작용 동안에 객체 내의 결과적인 그림자 및 변화가 사용자가 실제로 대응 물리 객체를 처리하는 것처럼 경험되는 것과 유사하다. 추가적인 실시예에서, 터치 스크린은 시각 임프레션을 향상시키기 위해 시각 객체 상에 인공적인 손 그림자를 생성할 수 있도록, 접근할 때 사용자의 손을 이미 등록한다.
바람직하게는, 본 발명의 시스템은 한편에서의 형상의 변형 레벨과, 다른 한편에서의 인가된 압력 크기 사이의 관계를 프로그래밍하는 것을 허용한다. 이는 예컨대 물리적 또는 물질적 특성 이를테면 가상 객체에 대응하는 물리적인 객체의 탄성도 또는 굳기를 프로그램화하거나 시뮬레이트하기 위해 사용될 수 있다. 또한, 이 관계는 객체의 이미지의 스케일을 고려할 수 있다. 이는 다음과 같이 설명된다. 정의에 의해, 압력은 영역 단위당 힘이다. 이 힘은 손가락끝의 표면의 영역의 크기정도(order)를 갖는 터치 스크린 영역에 사용자에 의해 가해진다. 디스플레이된 대로 객체를 재-스케일화시에, 디스플레이된 객체에 매핑될 때 동일한 힘이 더 큰 또는 더 작은 영역에 가해진다. 따라서, 가상 객체에 가해진 가상 압력이 디스플레이되고 있는 스케일에 의존한다. 그러므로, 위의 관계가 스케일화 효과를 고려하도록 프로그래밍가능하거나 프로그램화될 수 있다. 개선사항은 예컨대, 증가하는 압축에 대한 물리적인 물질의 증가하는 압축에 대한 증가하는 고유저항을 모델링하기 위해 압력 vs 변형 관계에 비-선형 특징을 제공하는 것과 관계있을 수 있다.
바람직하게는, 이 시스템은 터치 스크린이 가상 객체에서의 밀기(pushing)뿐만 아니라 객체에서의 당김(pulling)에 의해 가상 객체를 모델링하기 위해 사용되게 한다. 즉, 시스템은 추가적인 작동 모드를 구비하되, 가상 객체의 형상이 터치 스크린으로의 압력 감소에 대응한다. 예컨대, 사용자는 일정 임계치보다 더 빠른 속도로 일정 위치에서의 압력을 증가시킬 수 있다. 시스템은 이를 사용자가 밀기보다는 객체에서 당기기를 원한다는 것으로 해석하도록 프로그램화된다. 부드러운 압력 해제시에, 객체는 예컨대 사용자를 향하는 방향으로 그리고 사용자가 터치하고 있는 터치 스크린에 있는 영역에 대응하는 위치에서 당겨지는 것처럼 변형된다.
본 발명은 또한 터치 스크린을 구비하는 디스플레이 모니터 상에 렌더링된 가상 객체의 형상을 모델링하게 하는 방법에 대한 것이다. 이 형상은 시스템의 작동 사용중에 스크린을 통해 보일때 디스플레이 모니터 상의 제1 위치와 실질적으로 일치하는 터치 스크린 상의 제2 위치에 등록된(registered) 압력의 크기의 제어하에서 객체 상의 제1 위치에서 변경되는 것이 가능하다. 이 방법은 예컨대 인터넷 상의 서비스 제공자, 또는 서버의 제어 하에 있는 다수-사용자 컴퓨터 게임과 관련있는데, 이 서버는 시스템 및 이 시스템의 특색에 대해 위에서 기술된 상호작용 종류를 가상 세계에서 인에이블한다.
본 발명은 디스플레이 모니터 및 터치 스크린을 구비하는 데이터 처리 시스템 상에서 사용하기 위한 제어 소프트웨어로 또한 구현될 수 있다. 이 소프트웨어는 위에서 설명된 사용자 상호작용 및 특색 사용을 허용한다.
첨부 도면을 참조해서 그리고 예로써 본 발명이 더 상세하게 설명된다.
도 1은 본 발명의 시스템의 블록도.
도 2 내지 도 5는 본 발명의 몇 가지 실시예를 예시하는 도면.
도 6은 본 발명의 프로세스를 예시하는 흐름도.
도 7 내지 도 9는 변형의 극성의 역전(reversal)을 예시하는 도면.
도면에 걸쳐서, 동일한 참조 번호가 유사 또는 대응 특색을 나타낸다.
도 1은 본 발명의 시스템(100)의 블록도이다. 시스템(100)은 사용자가 스크린(104)을 통해 모니터(102) 상에 디스플레이된 이미지를 보도록 배열된 터치 스크 린(104) 및 디스플레이 모니터(102)를 포함한다. 터치 스크린(104)은 스크린에 대한 터치 위치를 나타내는 입력 데이터뿐만 아니라 사용자가 작동 사용시에 터치 스크린 상에 가하는 힘 또는 압력을 나타내는 입력 데이터를 처리할 수 있다. 사용자가 스크린(104)을 터치하는 위치 형태의 사용자 입력은 모니터(102) 상에 디스플레이된 이미지의 특정 위치와 대응한다. 시스템(100)은 예컨대 원격 위치에 있는 그리고 인터넷 또는 홈 네트워크(미도시)를 통해 모니터(102) 및 터치 스크린(104)에 연결된, 데이터 처리 서브-시스템(106) 예컨대, PC 또는 또 다른 컴퓨터를 더 포함한다. 대안적으로, 위 구성요소(102-106)는 PC 또는 핸드헬드 디바이스 이를테면 셀 폰(cell phone), PDA, 또는 터치-스크린 원격 제어기와 함께 통합될 수 있다. 서브-시스템(106)은 소프트웨어 애플리케이션(108)의 제어하에서 사용자 입력 데이터를 처리하고 이미지를 제공하도록 작동한다. 서브-시스템(106)은 가상 객체의 의도된 변형을 수반하는 데이터 처리를 처리하는 원격 서버를 포함할 수 있다. 예컨대 실시간 다수-사용자 컴퓨터 게임에서 이러한 데이터 처리가 계산집약적일 수 있는 경우이거나 복잡한 가상 객체에 대한 것일 때, 바람직하게는 이 처리는 특수 서버에 위임된다.
터치 스크린(104)은 사용자가 스크린(104)을 터치하는 경우 스크린(104)에 가해진 압력의 크기 및 터치 위치 모두를 등록하도록 구성된다. 이 구성은 사용자 입력이 3-차원: 스크린(104)의 표면에서의 위치를 결정하는 두 개의 좌표 및 터치 압력 크기에 의해 나타난 스크린(104)에 수직인 추가 좌표로 고려되게 한다. 이는 지금 가상 객체를 모델링하기 위해 본 발명에서 사용되고 있다.
도 2 및 도 3은 가상 단지(pottery) 애플리케이션에서 가상 객체의 모델링을 예시하는 도면이다. 도 2에서, 모니터(102)는 원통형 객체(202)를 렌더링한다. 단지 애플리케이션에서, 가상 객체(202)는 (가상) 공간에서 고정되는 대칭축(204) 주위를 회전하도록 형성된다. 즉, 사용자가 터치 스크린(104)에 압력을 가한 결과 축(204)이 이동되지 않는다. 도 3에서, 사용자는 객체(202)의 표면 영역 상의 위치와 일치하는 위치에서의 터치 스크린(104)에 대해 자신의 손가락(302)을 가지고 민다. 터치 스크린(104)은 스크린(104)에 대한 손가락의 압력뿐만 아니라 손가락(302)과의 접촉 좌표를 등록한다. PC(106)는 이 데이터를 수신하고 이를 애플리케이션(108)에 입력하는데, 이 애플리케이션은 등록된 압력 레벨 및 좌표에 따른 객체(202)의 형상의 변경을 생성한다. 객체(202)가 회전함에 따라, 이제 형상에 대한 변경이 또한 회전 대칭을 구비한다.
예시된 바와 같은 객체(202)의 변형 정도가 스크린(104)을 접촉하는 차원 손가락(302)과 동일한 크기의 정도라는 것에 주목하자. 사용자가 객체(202)의 특징적인 조치(measures)의 차원보다 더 작은 차원을 갖는 함몰부(depression)로 객체(202)의 표면을 커버하기를 원한다고 가정하자. 이 경우에, 사용자는 손가락(302)과 터치 스크린(104) 사이의 접촉 영역이 의도된 함몰부의 차원과 동일한 특징적 차원을 구비하도록 객체(202) 상에서 줌인한다. 이로써, 변형의 스케일이 디스플레이된 객체의 스케일에 의존하도록 이루어진다.
도 4 및 도 5는 모니터(102)에 렌더링된 가상 객체(202)를 모델링하는 또 다른 모드를 예시하는 도면이다. 다시, 객체(202)는 모니터(102)를 가로질러 개체로 서 이동되지 않고, 단지 적절한 위치에서 사용자가 스크린(104)에 압력을 가한 결과로서의 변경을 겪는다. 사용자는 이제 국부적으로 객체(202)를 압착하는 것처럼 객체(202)의 이미지와 일치하는 위치에서 오른손(302) 및 왼손(502) 모두를 가지고 터치 스크린(104)에 압력을 가하고 있다. 즉, 압력을 가하는 동안 손(302)과 손(502) 사이의 접촉 위치뿐만 아니라 이 위치에서의 변화가 객체(202)의 결론적인 변형을 한정한다. 도 5의 예에서, 객체(202)는 오른손측의 상부에서 그리고 왼손측의 하부에서 변형된다.
바람직하게는, 시스템(100)은 사용자가 모니터(102)를 가로질러 객체(202)를 전체로서 이동하게 예컨대, 객체를 재위치지정하거나 보는 방향에 대해 객체의 방위를 변화시키게 한다. 예컨대, 모니터(102)는 객체(202)를 시각적으로 커버하지 않는 영역에 메뉴 옵션을 디스플레이할 수 있다. 대안적으로, 시스템(100)이 객체를 변형시키기 위한 명령과 객체(202)의 위치 또는 방위를 전체로서 변화시키기 위한 명령 사이를 구별하게 하도록 하는 방식으로 터치 스크린(104)과의 상호작용이 수행된다. 예컨대, 객체(202)가 차지하는 영역 외부에서 시작해서 스크린(104)을 가로지르는 사용자 손의 쓸어내는(sweeping) 움직임이 해당 방향과 수직인 그리고 예컨대, 자체가 가상 환경 내에 고정된 채로 남아 있는 객체(202) 매스(mass)의 (가상) 중심과 일치하는 축 주위의 쓸어내는 방향으로 객체(202)를 회전시키기 위한 명령으로서 해석된다. 사용자가 자신의 손을 접촉 및 움직이는 한 회전은 계속된다.
도 6은 본 발명의 프로세스(600)를 예시하는 흐름도이다. 단계(602)에서, 터 치 스크린(104)은 데이터를 접촉 위치 및 접촉 압력을 나타내는 PC(106)에 공급한다. 단계(604)에서, 위치가 객체(202)의 표면 상의 위치와 매치하는지가 결정된다. 매치가 존재하지 않는 경우, 애플리케이션(108)이 입력을 선택적인 단계(606) 내의 객체(202)의 형상의 변경 이외의 동작을 위한 명령으로서 해석한다. 예컨대, 객체(202)와 매치하지 않는 일련의 좌표 즉, 정돈된 좌표 세트는 객체(202)를 전체로서 일련의 좌표와 대응하는 백터 방향으로 이동시키기 위한 명령으로서 해석된다. 또 하나의 예로서, 매치가 존재하지 않는 경우, 압력 증가가 객체(202)의 이미지 상의 줌 인으로서 해석된다. 줌 아웃 동작은 예컨대 압력 변화 속도가 일정 임계치 이상이거나 압력 자체가 특정 임계치를 초과시에 개시된다. 대안적으로, 또는 덧붙여서, 형상 변경 이외의 특정 동작은 객체(202)와 함께 모니터(102) 상에 디스플레이된 매뉴 내에 옵션으로서 나열될 수 있다. 좌표가 객체(202)와 매치하는 경우, 객체 내의 압력 또는 변화가 또 하나의 동작 모드로의 전이를 나타내는지 선택적인 단계(608)가 체크하는데, 이에 대한 예가 위에서 제공되었다. 모드 전환이 존재하지 않는 경우, 객체(202)의 형상에 대한 변경이 단계(602)의 입력을 기초로 해서 단계(610)에서 결정되고 변경된 형상이 단계(612)에서 렌더링된다.
도 7 내지 도 9는 시간("t") 기간에 걸쳐 터치 스크린(102)에 가해진 압력("p")과 객체(202)의 결과적인 변형("D") 사이의 관계를 예시하기 위한 도면이다. 도 7에서, 시스템(100)은 제1 작동 모드에 있되, 압력이 시간에 걸쳐 증가하고있으며 결과적인 변형 예컨대, 원래 형상으로부터의 공간 벗어남(deviation)이 객체(202)가 국부적으로 압축된 것처럼 마찬가지로 증가하고 있다. 압력이 임계치(T) 이상으로 상승되거나, 압력이 일정한 최소 속도보다 더 큰 속도로 임계치(T) 이상으로 상승될 때, 시스템(100)은 이를 객체(202)의 최종 변형이 이 세션에서 도달된 것으로서 해석한다. 변형은 중단되고 압력은 변형 변화없이 제로로 낮아질 수 있다. 임계치(T) 및 최소 속도는 바람직하게는 프로그래밍가능하다. 임계치 이하에 머무는 값을 갖는 압력은 프로그래밍된 물질적 특성에 의존하는 변형 효과를 가질 수 있다. 예컨대, 가상 객체(202)가 모델링 점토 피이스(a piece of modeling clay)를 나타내는 경우, 압력 상승 후에 압력 감소가 최대값(임계치(T)보다 더 낮음)에 도달한 순시 압력("p")에 있었던 대로 변형을 남길 것이다. 객체(202)가 다소 탄성이 있거나 또는 푹신푹신한(spongy) 물질을 나타내는 경우, 비 필수적으로 프로그래밍된 물질 특성에 즉시 의존해서, 압력이 최대치(임계치(T) 이하임)에 도달한 후에 압력 감소가 변경 감소를 야기한다.
도 8은 시스템(100)의 제2 작동 모드를 예시한다. 세션 시작시에, 압력("p")은 임계치(T) 이상으로 급속히 증가된다. 시스템(100)은 이를 사용자가 도 7의 도면의 압축보다는, 국부 확장에 대응하는 변형을 의도하는 것으로 해석한다. 압력(p)이 임계치(T) 이하로 낮아질 때, 시스템(100)은 객체(202)의 국부 확장을 제어하는데 예컨대, 한편에서의 프로그래밍된 객체(202)의 물질 특성에 의해 결정되는 객체(202)의 내부 압력과, 다른 한편에서의 터치 스크린(104)을 통해 사용자에 의해 가해진 압력 사이에서 항상 평형 상태가 보존되는 것처럼, 제어한다.
대안적으로, 도 9는 일정 변형이 일정 임계치 이상의 변화 속도를 가지고 압력을 증가시키는 것에 의해 달성될 때 국부 확장 변형이 종결될 수 있다는 것을 나 타낸다. 변형은 이후 중단되며 압력이 변형 변화없이 제로로 낮아질 수 있다.
변형 도중에 렌더링된 대로 일련의 가상 객체(202)를 보존하는 것과 관련해서, 세부 사항에 대해서는 Jennings 문서를 참조하라.
본 발명은 예컨대, 미학적인 목적으로; 장난감으로서; 특정의 또는 프로그래밍가능한 물질 특성을 구비하는 물리 객체의 행동을 이해하는 것을 돕기 위한 보조조물)로서; 컴퓨터를 이용한 제조를 통해 이루어질 물리 모델을 위한 템플릿으로서; 가상 환경을 형상화하기 위한 또는 가상 환경 및 (작동 사용시의 가상 환경의) 가상 점유자와 상호작용하기 위한 컴퓨터 게임 내의 애플리케이션으로서; 가상 객체를 생성하도록; PC에 디스플레이된 현재 화자(speaker)의 이미지로의 터치-유도식 컨포멀(conformal) 매핑을 이용함으로써 무미건조한(uninspiring) 비디오 회의 동안에 재미를 줄 수 있도록 사용될 수 있다. 후자의 예에 대해, 바람직하게는, 회의를 방해할 수 있는 지나치게 명랑한 효과를 제거하기 위해 보통 시청 모드로 복귀하기 위한 순간-리셋 버튼뿐만 아니라 마지막 매핑의 결과를 검색하기 위한 "실행취소(undo)" 버튼이 제공된다.
본 텍스트에서 사용된 "터치 스크린"이라는 용어는 예컨대 스타일러스-작동되는 그래픽 테블릿을 또한 포함한다. 사용자 손가락과 상호작용하는 터치 스크린에 대해 위에서 논의된 것은 또한 그래픽 테블릿에도 적용가능하다.
본 발명은 데이터 처리 시스템에 이용가능한 것으로서, 이 시스템은 가상 객체를 렌더링하기 위한 디스플레이 모니터, 및 사용자가 렌더링된 객체와 상호작용 하게 하기 위한 터치 스크린을 구비한다. 본 발명은 나아가 터치 스크린을 구비하는 디스플레이 모니터 상에 렌더링된 가상 객체의 형상을 모델링하기 위한 방법 및 제어 소프트웨어에 이용가능하다.

Claims (13)

  1. 가상 객체를 렌더링하기 위한 디스플레이 모니터 및 사용자가 렌더링된 객체와 상호작용하게 하기 위한 터치 스크린을 구비하는 데이터 처리 시스템으로서,
    시스템의 작동 사용중에 터치 스크린을 통해 보일때, 제1 위치와 실질적으로 일치하는 스크린 상의 제2 위치에 등록된(registered) 압력의 크기의 제어하에서 사용자가 객체 상의 제1 위치에서 객체의 형상을 변경하는 것을 가능하게 하도록 작동하는, 디스플레이 모니터 및 터치 스크린을 구비하는 데이터 처리 시스템.
  2. 제1 항에 있어서,
    형상 변경과 크기 사이의 관계가 프로그래밍가능한, 디스플레이 모니터 및 터치 스크린을 구비하는 데이터 처리 시스템.
  3. 제1 항에 있어서,
    렌더링된 객체의 스케일을 변화시키는 것을 가능하게 작동하되, 형상 변경과 크기 사이의 관계가 렌더링된 객체의 스케일에 의존하는, 디스플레이 모니터 및 터치 스크린을 구비하는 데이터 처리 시스템.
  4. 제1 항에 있어서,
    작동 모드를 구비하되, 형상이 압력 증가에 응답하는, 디스플레이 모니터 및 터치 스크린을 구비하는 데이터 처리 시스템.
  5. 제1 항에 있어서,
    추가적인 작동 모드를 구비하되, 형상이 압력 감소에 응답하는, 디스플레이 모니터 및 터치 스크린을 구비하는 데이터 처리 시스템.
  6. 터치 스크린을 구비하는 디스플레이 모니터 상에 렌더링된 가상 객체의 형상을 모델링하게 하는 방법으로서,
    시스템의 작동 사용중에 터치 스크린을 통해 보일때 제1 위치와 실질적으로 일치하는 스크린 상의 제2 위치에 등록된 압력의 크기의 제어하에서 객체 상의 제1 위치에서 형상을 변경하게 하는 단계를 포함하는, 가상 객체의 형상을 모델링하게 하는 방법.
  7. 제6 항에 있어서,
    형상 변경과 크기 사이의 관계를 프로그래밍하게 하는 단계를 포함하는, 가상 객체의 형상을 모델링하게 하는 방법.
  8. 제6 항에 있어서,
    렌더링된 객체의 스케일을 변화시키게 하는 단계를 포함하되, 형상 변경과 크기 사이의 관계가 렌더링된 객체의 스케일에 의존하는, 가상 객체의 형상을 모델 링하게 하는 방법.
  9. 제6 항에 있어서,
    형상이 압력 증가에 응답하게 하는 단계를 포함하는, 가상 객체의 형상을 모델링하게 하는 방법.
  10. 제6 항에 있어서,
    형상이 압력 감소에 응답하게 하는 단계를 포함하는, 가상 객체의 형상을 모델링하게 하는 방법.
  11. 가상 객체를 렌더링하기 위한 디스플레이 모니터 및 사용자가 렌더링된 객체와 상호작용하게 하기 위한 터치 스크린을 구비하는 데이터 처리 시스템에서 사용하기 위한 제어 소프트웨어로서,
    시스템의 작동 사용중에 터치 스크린을 통해 보일때, 제1 위치와 실질적으로 일치하는 스크린 상의 제2 위치에 등록된 압력의 크기의 제어하에서 사용자가 객체 상의 제1 위치에서 객체의 형상을 변경하는 것을 가능하게 하도록 작동하는, 데이터 처리 시스템에서 사용하기 위한 제어 소프트웨어.
  12. 제11 항에 있어서,
    형상 변경과 크기 사이의 관계가 프로그래밍가능한, 데이터 처리 시스템에서 사용하기 위한 제어 소프트웨어.
  13. 제11 항에 있어서,
    렌더링된 객체의 스케일을 변화시키게 하되, 형상 변경과 크기 사이의 관계가 렌더링된 객체의 스케일에 의존하는, 데이터 처리 시스템에서 사용하기 위한 제어 소프트웨어.
KR1020077002512A 2004-08-02 2005-07-21 가상 객체를 모델링하는 것을 가능하게 하는 방법 KR20070043993A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04103705 2004-08-02
EP04103705.2 2004-08-02

Publications (1)

Publication Number Publication Date
KR20070043993A true KR20070043993A (ko) 2007-04-26

Family

ID=35787499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077002512A KR20070043993A (ko) 2004-08-02 2005-07-21 가상 객체를 모델링하는 것을 가능하게 하는 방법

Country Status (6)

Country Link
US (1) US20080062169A1 (ko)
EP (1) EP1776659A2 (ko)
JP (1) JP2008508630A (ko)
KR (1) KR20070043993A (ko)
CN (1) CN101253466A (ko)
WO (1) WO2006013520A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
WO2017122895A1 (ko) * 2016-01-15 2017-07-20 삼성전자(주) 3차원 형상 디자인을 위한 정보입력장치 및 이를 이용한 3차원 이미지 생성 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20090172557A1 (en) * 2008-01-02 2009-07-02 International Business Machines Corporation Gui screen sharing between real pcs in the real world and virtual pcs in the virtual world
US9665197B2 (en) 2008-01-30 2017-05-30 Nokia Technologies Oy Apparatus and method for enabling user input
KR101545736B1 (ko) * 2009-05-04 2015-08-19 삼성전자주식회사 휴대용 단말기에서 3차원 컨텐츠를 생성하기 위한 장치 및 방법
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
CA2775007A1 (en) * 2009-09-23 2011-03-31 Dingnan Han Method and interface for man-machine interaction
US20110221684A1 (en) * 2010-03-11 2011-09-15 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device
US8665307B2 (en) 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
US9544543B2 (en) 2011-02-11 2017-01-10 Tangome, Inc. Augmenting a video conference
US8508494B2 (en) * 2011-06-01 2013-08-13 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US9724600B2 (en) * 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP6021335B2 (ja) * 2011-12-28 2016-11-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN102647458A (zh) * 2012-03-28 2012-08-22 成都立方体科技有限公司 在b/s结构手机移动办公系统中显示多种文件的方法
JP6107271B2 (ja) * 2013-03-21 2017-04-05 カシオ計算機株式会社 情報処理装置、情報処理システム及びプログラム
CN106933397B (zh) * 2015-12-30 2020-06-30 网易（杭州）网络有限公司 虚拟对象控制方法及装置
US11003264B2 (en) 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
JP6315122B2 (ja) * 2017-03-08 2018-04-25 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
US11488331B2 (en) * 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7345675B1 (en) * 1991-10-07 2008-03-18 Fujitsu Limited Apparatus for manipulating an object displayed on a display device by using a touch screen
JP2827612B2 (ja) * 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US6597347B1 (en) * 1991-11-26 2003-07-22 Itu Research Inc. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
EP0657842B1 (en) * 1993-12-07 1999-03-10 Seiko Epson Corporation Touch panel input device and method of generating input signals for an information processing device
US5534893A (en) * 1993-12-15 1996-07-09 Apple Computer, Inc. Method and apparatus for using stylus-tablet input in a computer system
JPH0817288A (ja) * 1994-07-04 1996-01-19 Matsushita Electric Ind Co Ltd 透明タッチパネル
US5731819A (en) * 1995-07-18 1998-03-24 Softimage Deformation of a graphic object to emphasize effects of motion
JP3426847B2 (ja) * 1996-05-14 2003-07-14 アルプス電気株式会社 座標入力装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US7614008B2 (en) * 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US6459439B1 (en) * 1998-03-09 2002-10-01 Macromedia, Inc. Reshaping of paths without respect to control points
US6522328B1 (en) * 1998-04-07 2003-02-18 Adobe Systems Incorporated Application of a graphical pattern to a path
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6292173B1 (en) * 1998-09-11 2001-09-18 Stmicroelectronics S.R.L. Touchpad computer input system and method
JP2000231627A (ja) * 1998-12-22 2000-08-22 Xerox Corp フィードバック機構を備えた複数モード走査ペン及びこれを用いた入力方法
SE513866C2 (sv) * 1999-03-12 2000-11-20 Spectronic Ab Hand- eller fickburen elektronikapparat samt handstyrd inmatningsenhet
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
US6608631B1 (en) * 2000-05-02 2003-08-19 Pixar Amination Studios Method, apparatus, and computer program product for geometric warps and deformations
JP2002032173A (ja) * 2000-07-13 2002-01-31 Jatco Transtechnology Ltd 情報入力装置
US6958752B2 (en) * 2001-01-08 2005-10-25 Sensable Technologies, Inc. Systems and methods for three-dimensional modeling
US6819316B2 (en) * 2001-04-17 2004-11-16 3M Innovative Properties Company Flexible capacitive touch sensor
US6765572B2 (en) * 2001-04-23 2004-07-20 Koninklijke Philips Electronics N.V. Virtual modeling by voxel-clipping shadow-cast
EP1446712A2 (en) * 2001-09-24 2004-08-18 Koninklijke Philips Electronics N.V. Interactive system and method of interaction
US7385612B1 (en) * 2002-05-30 2008-06-10 Adobe Systems Incorporated Distortion of raster and vector artwork
JP4500485B2 (ja) * 2002-08-28 2010-07-14 株式会社日立製作所 タッチパネルを備えた表示装置
JP2004133086A (ja) * 2002-10-09 2004-04-30 Seiko Epson Corp 表示装置、電子機器および時計
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7538760B2 (en) * 2006-03-30 2009-05-26 Apple Inc. Force imaging input device and system
US20080007532A1 (en) * 2006-07-05 2008-01-10 E-Lead Electronic Co., Ltd. Touch-sensitive pad capable of detecting depressing pressure

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
WO2017122895A1 (ko) * 2016-01-15 2017-07-20 삼성전자(주) 3차원 형상 디자인을 위한 정보입력장치 및 이를 이용한 3차원 이미지 생성 방법

Also Published As

Publication number Publication date
CN101253466A (zh) 2008-08-27
WO2006013520A2 (en) 2006-02-09
WO2006013520A3 (en) 2008-01-17
EP1776659A2 (en) 2007-04-25
JP2008508630A (ja) 2008-03-21
US20080062169A1 (en) 2008-03-13

Similar Documents

Publication Publication Date Title
KR20070043993A (ko) 가상 객체를 모델링하는 것을 가능하게 하는 방법
JP6840702B2 (ja) 触覚装置における３次元レリーフのための摩擦変調
Schkolne et al. Surface drawing: creating organic 3D shapes with the hand and tangible tools
US6529210B1 (en) Indirect object manipulation in a simulation
JP5548285B2 (ja) ３次元ヒューマンコンピュータインタフェース
Dani et al. Creation of concept shape designs via a virtual reality interface
US8232989B2 (en) Method and apparatus for enhancing control of an avatar in a three dimensional computer-generated virtual environment
Gannon et al. Tactum: a skin-centric approach to digital design and fabrication
US8350843B2 (en) Virtual hand: a new 3-D haptic interface and system for virtual environments
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
Smith et al. Digital foam interaction techniques for 3D modeling
WO2018009788A1 (en) Multimodal haptic effects
US8749533B2 (en) Haptic device for carving and molding objects
EP1524578A1 (en) Haptic input device for generating control information
Kamuro et al. 3D Haptic modeling system using ungrounded pen-shaped kinesthetic display
JP3713381B2 (ja) 物体の把持動作シミュレーション装置
CN114419211A (zh) 控制虚拟角色骨骼的方法、装置、存储介质及电子装置
Lin et al. Haptic interaction for creative processes with simulated media
Sener et al. Towards' virtual clay'modelling-challenges and recommendations: a brief summary of the literature
TWI490817B (zh) 虛擬物件建構方法與裝置
Otaduy et al. Interaction: interfaces, algorithms, and applications
Wesson et al. Evaluating organic 3D sculpting using natural user interfaces with the Kinect
Kashiwagi et al. Crystal Palace: Merging Virtual Objects and Physical Hand-held Tools
KR20090122420A (ko) 임베디드 및 모바일 기기용 3차원 그래픽 사용자 인터페이스 방법
Noble et al. Improving interactivity within a virtual sculpting environment

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid