KR20030024681A - 3차원 휴먼 컴퓨터 인터페이스 - Google Patents

3차원 휴먼 컴퓨터 인터페이스 Download PDF

Info

Publication number
KR20030024681A
KR20030024681A KR1020027015804A KR20027015804A KR20030024681A KR 20030024681 A KR20030024681 A KR 20030024681A KR 1020027015804 A KR1020027015804 A KR 1020027015804A KR 20027015804 A KR20027015804 A KR 20027015804A KR 20030024681 A KR20030024681 A KR 20030024681A
Authority
KR
South Korea
Prior art keywords
computer
movement
computer interface
operator
target volume
Prior art date
Application number
KR1020027015804A
Other languages
English (en)
Inventor
앤더슨폴
이브라힘사퀴브
Original Assignee
홀로그래픽 이미징 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홀로그래픽 이미징 엘엘씨 filed Critical 홀로그래픽 이미징 엘엘씨
Publication of KR20030024681A publication Critical patent/KR20030024681A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Abstract

본 발명의 휴먼 컴퓨터 인터페이스는 센서들의 세트와, 액추에이터들 및 컴퓨터 생성 제어부들을 포함하며, 상기 제어부들은 3차원 디스플레이 장치에 의해 3개의 공간 차원에 투영되며 작업자의 신체의 움직임에 의해 작업자가 제어부들과 상호 작용함으로써 조작되며, 상기 움직임은 센서 시스템에 의해 검출되며, 디스플레이된 표적 용적의 특성들은 수행된 움직임에 따라 변경되며, 신체에 착용되는 액추에이터들은 신체가 컴퓨터 생성 제어부와 어떠한 방식으로 상호 작용하는가에 따라 반응하는 것을 특징으로 한다.

Description

3차원 휴먼 컴퓨터 인터페이스{Three dimensional human-computer interface}
장갑과 같은 의류 품목에 장착되는 센서를 갖는 HCI가 제공되어 있다. 상기 HCI는 이러한 시스템의 사용자가 디스플레이 장착 헬멧을 착용하는 경우에 통상 사용된다. 장갑 내의 센서는 "가상" 손이 사용자의 디스플레이 상에 묘사될 수 있도록 사용자의 손의 위치와 통신하는데 사용된다. 이러한 방식으로 사용자는 이미지의 다른 요소들에 대해 자신의 손이 존재하는 장소를 인지할 수 있다.
이는 사용자가 자신의 손의 완전한 조망을 얻을 수 없으며, 사용자가 수행하는 움직임의 정교함이 손실될 수 있는 단점을 갖는다. 이는 디스플레이 상에 손의 위치를 플롯팅하는 시스템 내의 불가피한 에러 및 지연을 수반하는, 유한 해상도를제공하는 장갑 상의 한정된 수의 센서에 기인하여 발생한다.
본 발명은 이러한 문제점들을 갖지 않는다. 보정(calibration)에 따라 "가상" 손이 디스플레이될 필요가 없다. 이는 손의 움직임이 수행될 때마다 사용자에 의해 보이는 바와 같은 이미지의 갱신의 지연에 기인하여 발생하는 종래 기술에서 제공되는 교정(correction)의 문제점을 방지할 수 있다. 본 발명의 사용자는 어떠한 손의 움직임이 수행되었는지를 볼 수 있기 때문에, 디스플레이가 갱신되기를 기다릴 때 손의 움직임을 재연할 필요가 없으며 또는 움직임을 과장할 필요가 없다.
종래의 컴퓨터 모니터와 같은 2차원 이미지 투영 시스템과 함께 사용되는 손 위치 정보 및 촉각 피드백을 제공하는 촉각 인터페이스로 구성되는 HCI 시스템들이 현존하고 있다. 상기 시스템들은, 증가된 현실감을 제공하기는 하지만, 작동하는 자연적인 디자인 환경을 제공하는 이미징 시스템에 의해 상당히 구속된다. 이를 상쇄하기 위해, 촉각 피드백과 함께 실제 3D 이미지를 작업자에게 제공하는, 미국 버지니아 24081 블랙스버그 버지니아 테크 소재의 버츄얼 인바이어런먼트 랩(Virtual Environment Lab)에 의해 공급되는 CAVE 시스템과 같은 3D 시각화 시스템이 제공되어 있다. 상기 시스템은 룸(room)으로 구성된 완전 몰입형 시스템이며, 상기 룸의 벽들에는 적절한 헤드셋을 사용하여 3D로서 조망되는 이미지가 투영된다. 상기 시스템들은 시각화에 유용하지만, 디자인 작업에 일반적으로 적합하지 않다. 따라서, 상기 시스템들은 보다 현실감이 있거나, 보다 현저한 프리젠테이션을 제공하도록 브리핑, 데모에만 실용적으로 사용될 수 있다.
본 발명은 3차원(3D) 휴먼 컴퓨터 인터페이스(HCI)에 관한 것이며, 3D HCI에 의한 상호 작용 방법에 관한 것이다. 보다 구체적으로는, 이미지 및 3D 디스플레이 시스템 상에 투영될 수 있는 임의의 다른 데이터의 용이한 조작을 허용하도록 설계된 제어부의 시스템, 센서, 도구 및 액추에이터에 관한 것이다. 센서 및 액추에이터는 장갑 또는 헤드기어 내로 합체될 수 있는 것과 같은 신체 착용 제어부, 또는 다른 신체 착용 장치, 및 오디오 시스템으로 범위가 확장된다.
도 1은 두 사람의 작업자(7)의 손들과 함께, 목표 용적(1) 및 다수의 제어부들(2, 3, 4)을 디스플레이하는 3D 워크스테이션(6)을 도시하는 도면.
도 2는 HCI를 제공하는 컴퓨터 코드의 기능의 블록 표현 형태의 도면.
본 발명에 따르면, 센서들의 세트, 액추에이터들 및 컴퓨터 생성 제어부들을 포함하는 휴먼 컴퓨터 인터페이스가 제공되며, 상기 제어부들은 3차원 디스플레이 장치에 의해 3개의 공간 차원에 투영되며 작업자의 신체의 움직임에 의해 상기 제어부들과 상호 작용하는 작업자에 의해 조작되며, 상기 움직임은 센서 시스템을 사용하여 검출되며, 디스플레이된 표적 용적의 특성들은 수행된 움직임에 따라 변경되며, 신체에 착용되는 액추에이터들은 신체가 컴퓨터 생성 제어부들과 어떠한 방식으로 상호 작용하는가에 따라 반응한다.
본 발명의 장점은 컴퓨터 이용 설계(CAD) 시스템을 사용하여 물품들을 설계하는 프로세스를 단순화시키는 효과를 갖는 자연적이며 직관적인 인터페이스가 제공된다는 것이다. 본원에 설명하는 바와 같이 인터페이스는 이미지를 매우 신속하고 자연적으로 조작할 수 있는 도구를 제공한다. HCI는 컴퓨터 시스템에 접속된 3D 디스플레이 시스템에 사용될 수 있기 때문에, 이는 또한 네트워크 시스템에 의해 동일한 컴퓨터 시스템에 접속된 자신들의 3D 디스플레이에 의해 원격 사용자들이 시스테메 접근할 수 있게 한다.
본 발명은 작업자들이 컴퓨터에 의해 작업하며 컴퓨터와 상호 작용할 수 있으며, 따라서 종래의 시스템을 사용하는 것보다 더욱 더 자연스럽게 디자인 품목을 디스플레이할 수 있는 환경을 작업자들에게 제공한다. 본 발명의 시스템은 디자인 용도 또는 디자인의 데모의 용도로 즉시 사용 가능한 실용적인 시스템이며, 또한 비숙련 요원 또는 고객에게 브리핑 및 프리젠테이션을 제공하는데 사용하기에 적합하다. 본 발명에 의해 디스플레이될, 또는 조작될 디자인 품목은 일반적으로 3D이미지로 구성될 수 있으며 본원에서는 목표 용적이라 칭한다.
본 발명은 목표 용적의 다양한 파라미터들이 조정될 수 있게 하는 자연적이며 직관적인 방식으로 작동되는 제어부 세트를 사용자 또는 작업자에게 제공하도록, 상술한 종래 기술과 같은 3D 디스플레이 및 촉각 인터페이스를 통합하는 현존하는 시스템에 적용 가능하다.
손과 앞다리가 제어부를 조정하는데 사용되는 가장 일반적인 신체의 부분이지만, 센서 시스템이 신체의 해당 부분의 위치를 검출할 수 있는 경우에는 신체의 임의의 부분이 사용될 수 있다는 것을 이해할 수 있을 것이다. 본원에서의 "손", 및 "장갑"에 대한 임의의 지칭은 이러한 점을 참조하여 이해해야 한다.
본 발명은 다른 무엇보다도 목표 용적을 치수 재설정하거나 3개의 공간 차원 중 임의의 차원에서 목표 용적을 회전시키거나 선형 이동시키는 제어부로서 작용하는 대화식 3D 아이콘들의 세트를 제공한다. 2차원(2D) 형태로 투영되며 본원에서는 메뉴 아이템들로 칭하는 특정 형태의 제어부가 3D 제어부와 함께 디스플레이될 수 있으며 컴퓨터 시스템의 부가의 기능을 제어하는데 사용될 수 있다.
제어부는 목표 용적과 나란하게 투영될 수 있으며 제어부의 조작 목적은 목표 용적의 조망을 변경시키는 것이다. 목표 용적 자체가 제어부일 수 있으며, 또는 목표 용적이 다른 제어부를 참조하지 않고 직접 조작될 수 있도록 내부에 제어부를 가질 수도 있다.
사용시에, 작업자는 수행하고자 하는 작업을 위해 적절한 제어부를 선택할 수 있으며 상기 제어부를 향해 손을 뻗을 수 있다. 작업자는 자신의 손의 위치를볼 수 있으며, 따라서 자신의 손의 위치에 대한 선택된 제어부의 위치를 인지할 수 있다. 컴퓨터 시스템은 그에 부착된 센서에 의해 작업자의 손의 위치를 인지할 수 있으며, 따라서 투영되는 제어부에 대한 손의 위치를 또한 인지할 수 있다. 시스템이 제어부에 손이 "접촉"되었음을 검출하면, 시스템은 상기 "접촉"에 응답하여 움직일 수 있는 장갑 상의 액추에이터로 피드백 신호를 전송한다. 이는 촉각 피드백으로서 공지되어 있다. 일반적으로 두 개의 형태의 촉각 피드백이 있는데, "포스 피드백(force feedback)"으로서 공지된 한 형태는 상이한 형태의 재료와의 접촉을 시뮬레이션하기 위해, 힘의 정도를 변화에 따라 손의 움직임을 경직시키도록 손에 작용할 수 있다. 약한 경직성은 사용자가 스폰지와 같은 물체를 파지하는 것과 같은 감각을 갖게 하는 경향이 있으며, 또는 경직성은 손가락이 움직인 거리에 따라 변경될 수 있으며, 이는 고무와 같은 질감을 시뮬레이션할 수 있다. 물론, 본원에서, "접촉"은 두 개의 물리적인 물체들의 실제 접촉을 의미하는 것이 아니라, 대신에 손/장갑 조합체, 또는 다른 신체 부분과, 투영 시스템에 의해 투영되는 제어부의 3D 이미지와의 외견상의 접촉을 칭하는 것이다.
제어부와의 접촉이 수행되면, 컴퓨터 시스템은 제어부의 소정의 조작이 작업자에 의해 의도되었다는 것을 이해할 수 있다. 작업자의 손이 제어부와 접촉하는 동안의, 또는 제어부가 그에 적용될 때의 손의 움직임을 해석하는 동안의 작업자의 손의 부가의 움직임은 상기 제어부에 의해 조정될 수 있는 하나 이상의 파라미터를 변경시키려는 시도로서 해석될 수 있다. 손에 의해 수행되는 이러한 움직임은, 서로에 대한 손가락들의 움직임, 손바닥에 대한 손가락들에 움직임, 손의 회전 등일수 있지만, 이에 한정되는 것은 아니다. 몇몇 제어부는 특정 파라미터를 수정하기 위해 두 개의 손이 필요하도록 요구될 수도 있다. 제어부 자체의 외관은 상기 제어부에 의해 조정되는 파라미터의 값에 따라 변경될 수 있다. 예를 들면, 목표 용적의 크기를 조정하는 제어부 자체는, 파라미터가 현재 설정되는 값에 따라 작아지거나 커질 수 있다. 또는, 제어부는 소형 이미지가 대형 이미지 내에 포위되어 표시되도록 이미지 내의 이미지로 표시되어 묘사될 수 있다. 파라미터가 조정됨에 따라 두 개의 이미지의 상대 크기 또는 위치가 이에 따라 변경된다. 다른 예로서, 제어부는 실린더의 표면 상에 다양한 파라미터 옵션이 묘사되는, 실린더로서 묘사될 수 있다. 사용시에, 실린더는 소정의 파라미터 옵션이 편리하게 선택될 수 있을 때까지 손 또는 신체의 다른 부분을 사용하여 자전될 수 있다.
보다 통상적인 CAD 소프트웨어에 제공되는 통상의 이미지 조작 도구가 상기 시스템 하에서 작동하도록 유리하게 채택될 수 있다.
손에 인가된 피드백의 형태는 접촉되는 제어부의 형태에 따라 변형될 수 있다. 몇몇 제어부들은 그들과의 접촉이 수행될 때, 손가락의 위치를 고정시키기 위해 장갑에 신호를 전송하도록 반응할 수 있다. 이는 작업자에게 고형 물체를 접촉하는 감각을 제공한다. 다른 제어부는 상술한 스폰지와 같은 감각을 제공하도록 보다 작은 피드백 힘으로 작용할 수 있다. 본원에서, 이는 파지(grasping)로서 칭한다. 다른 제어부는 상이하게 작동한다. 작업자는 이러한 종류의 제어부 내로 자신의 손을 담그고(immerse), 제어부 내에 있는 동안 자신의 손의 움직임에 의해 파라미터들에 영향을 준다. 이는 몸짓 제어부로서 공지되어 있다. 몇몇 메뉴 아이템들은 2차원으로 디스플레이될 수 있다. 작업자가 자신의 손가락을 상기 메뉴 아이템들 중 하나와 접촉시키면, 장갑은 접촉 감각을 시뮬레이션하도록 손가락 상에 약한 압력을 작용시킬 수 있다. 본원에는 3개의 상이한 촉각 피드백 기구를 설명하였지만, 상기 기구들은 상호 배제적이지 않다, 즉 하나 이상의 기구는 사용되는 제어부의 형태에 적합하다면 동시에 사용될 수 있다.
HCI는 사용되기 전에 보정되어야 한다. 이 프로세스는 컴퓨터 시스템에 의해 표시되는 바와 같은 위치를 갖는 공간 내의 작업자의 신체의 위치를 동기화하는데 사용된다. 작업자 및 컴퓨터 시스템에 의해 가시화되는 파지 또는 몸짓과 같은 행동 또는 위치의 임의의 차이는 작업자가 에러를 인지하지 못하도록 컴퓨터 시스템에 의해 처리된다.
본원에 설명하는 바와 같은 HCI는 3D 디스플레이를 갖는 컴퓨터 시스템 상에서 사용될 수 있다. 물론, 컴퓨터 시스템은 디스플레이에 직접 근접하여 배치될 필요는 없지만, 상호 접속된 컴퓨터들의 네트워크를 통해 접속될 수 있다. 현존하는 소프트웨어 및 하드웨어 도구가 HCI를 실행하기 위해 작동되어 사용된다.
이러한 HCI의 일례를 첨부 도면을 참조하여 설명한다.
사용되는 3D 워크스테이션은 미국 캘리포니아 94043 마운틴 뷰 폴라리스 애비뉴 241 소재의 페이크스페이스 랩스, 인크.(Fakespace Labs, Inc.)에 의해 제조되며, 상부에 3D 이미지를 표시하는 데스크를 제공한다. 촉각 피드백 장갑은 미국 캘리포니아 팔로 알토 파크 불러바드 2175 소재의 버츄얼 테크놀로지스 인크.(Virtual Technologies Inc.)에 의해 제조된다. 공간 내의 장갑 및 헤드의 위치를 검출하기 위한 센서 시스템은 미국 버몬트 05446 콜체스터 피오 박스 560 헐큘레스 드라이브 1 소재의 폴헤머스 인크.(Polhemus Inc.)에 의해 제공된다.
HCI를 작동시키는 사람은 센서 및/또는 액추에이터의 어레이가 장착된 촉각 피드백 장갑(9)을 착용한다. 현재 사용되는 바와 같은 시스템은 접촉식 액추에이터와 합체되는 장갑과는 별도의, 포스 피드백 기구를 합체하는 개별 장갑을 갖지만, 또한 동일한 장갑과 합체될 수도 있다. 이는 손(7)의 위치에 대한 정보를 컴퓨터 시스템에 제공하며, 또한 물체를 접촉하거나 파지할 때의 감각을 시뮬레이션하는 피드백을 제공하도록 손가락 상의 힘을 나타낸다.
시스템이 정확하게 사용될 수 있기 전에, 센서 시스템은 먼저 보정되어야 한다. 이는 작업자의 존재하는 손의 위치를 검출하는 위치에 따른 위치에서의 "가상" 손을 컴퓨터에 의해 디스플레이함으로써 수행된다. 다음, 작업자는 필요하다면 가상 손에 근접하게 정렬되도록 자신의 손을 움직이며, 다음 컴퓨터에 이러한 효과의 지시를 제공한다.
본 발명은 또한 몸짓 및 파지 동작이 유사하게 보정되는 것을 요구한다. 이는 각각의 손에 대해 각각의 손가락의 끝에 차례로 엄지 손가락을 접촉시킴으로써수행된다. 다음, 가상 손 디스플레이는 스위치 오프된다. 다음, 컴퓨터는 원래 위치에서의 임의의 에러를 연산하며 후속 연산을 수행할 때 상기 에러를 공제한다.
목표 용적(1)은 3개의 루프(2a, 2b, 2c)를 포함하는 롤케이지(2)에 의해 둘러싸인다. 각각의 루프(2x)는 롤케이지의 다른 루프들에 수직이다. 롤케이지(2)는 제어부로서 작용하며 롤케이지(2)의 중심 둘레로 목표 용적(1)을 회전시키는데 사용될 수 있다. 이는 자신의 손으로 롤케이지(2)의 루프들(2x) 중 하나를 작업자가 파지하고 필요한 움직임에 따라 루프를 조작함으로써 성취될 수 있다. 예를 들면, 수직축 둘레로 목표 용적을 회전시키기 위해, 작업자는 주 수직 차원을 갖는 루프(2a, 2c) 중 하나를 파지하고 목표 용적이 소정의 조망을 표시할 때까지 루프를 비스듬히 자전시킬 수 있다. 또는, 작업자는 수평방향 루프(2b)를 파지하고 이를 회전시킬 수 있다. 롤케이지(2)의 디자인은 임의의 회전축에서 루프들(2x) 중 임의의 하나에 의해 또한 회전될 수 있도록 형성된다. 여기서, 용어 "회전"은 물리적인 링을 회전하는 동작을 모방하는 몸짓이 수행되는 것을 의미하는 것으로 해석되어야 한다.
도 1은 또한 도면의 저부를 향해 몇몇 제어부들을 도시하고 있다. 상기 제어부들 중 몇몇은 또한 목표 용적(1)을 회전시키는데 사용될 수 있다. 도면부호 3a는 미니어쳐 롤케이지를 도시하고 3b, 3c 및 3d는 각각 롤케이지(3a)의 개별 루프를 도시하고 있는 제어부들(3x)은 원래 크기 롤케이지(2)와 유사한 방식으로 목표 이미지를 회전시키는데 또한 사용될 수 있다. 루프(3b, 3c, 3d)는 작업자에 의해 파지되고 회전될 수 있으며, 이는 특정 루프 축 둘레로 목표 용적을 회전시키는효과를 가질 수 있다. 작업자의 손(7)이 제어부(3)에 충분히 근접할 때, 장갑(9) 내의 액추에이터는 손가락의 움직임에 저항하도록 작동되어 고형 물체의 접촉을 시뮬레이션한다.
목표 용적(1)을 치수 재설정하는데 사용되는 4개의 제어부(4x)가 도 1에 또한 도시되어 있다. 상기 제어부들은 몸짓 아이콘이다. 상기 제어부들 각각은, 3개의 제어부(4b, 4c, 4d)의 경우 한 차원으로의 섀도우 연장부들(모두 서로에 대해 수직인)이며 마지막 제어부(4a)의 경우 보다 작은 입방체를 포위하는 보다 큰 섀도우 입방체인 중앙 입방체로서 묘사된다. 치수 재설정을 실행하기 위해, 작업자는 자신의 손(7)을 선택된 제어부와 접촉하도록 배치하고 자신의 손가락들을 주먹을 쥐도록 움직이거나 펼치도록 움직이며, 이는 각각 목표 용적(1)을 축소 또는 확대시키는 효과를 갖는다. 1차원 섀도우들을 갖는 제어부를 선택하면, 단지 해당 차원에서만 목표 용적(1)을 치수 재설정시키며, 반면 3차원 섀도우들을 갖는 제어부(4a)를 선택하면 모든 차원에서 동시에 치수 재설정할 수 있다.
도 1은 2D 포맷으로 디스플레이된 몇몇 다른 메뉴 아이템들(8)을 도시한다. 작업자의 손가락이 상기 메뉴 아이템들 중 하나와 접촉하게 되면, 장갑(9)은 접촉 감각을 시뮬레이션하도록 손가락에 약한 압력을 작용시킬 수 있다. 2D 메뉴 아이템의 일례는 키패드(5)이다. 이는 이러한 방식으로 제어될 수 있는 임의의 파라미터에 대한 수치 데이터를 입력하는데 사용된다.
모든 제어부들(2, 3, 4, 5, 8) 및 목표 용적(1)은 제어부들을 소정의 위치로 잡아당기거나 파지함으로서, 디스플레이 시스템(6)의 한계 내에서 작업자에 의해원하는 바에 따라 재배치될 수 있다.
도 2는 목표 용적과 제어부의 거동 및 3D 디스플레이에 의해 투영된 메뉴 아이템 모두를 제어하는 컴퓨터 프로그램의 작동의 단순 개략도이다. HCI 컴퓨터 코드가 작동될 때, 하기의 단계들이 수행된다;
a. 착용할 수 있는 장갑과 헤드기어와 같은 착용식 하드웨어를 초기화한다. 센서 시스템을 초기화한다. 3D 디스플레이 시스템 상의 디스플레이를 준비하도록 목표 용적으로서 사용되는 컴퓨터 모델을 전처리한다. 이는 장갑 내의 촉각 센서가 어떠한 방식으로 반응하는가에 대한 정보를 갖추기 위해 필요하다.
b. 3D 디스플레이 유닛을 초기화하고, 상술한 바와 같은 보정 목적을 위해 가상 손의 이미지를 생성한다. 보정을 수행한다.
c. 3D 목표 용적과 제어부 세트 및 메뉴 아이템들을 디스플레이한다. 충돌 검출을 가능화한다, 즉 글로브가 제어부 또는 메뉴 아이템과 접촉한 것을 감지하는 경우 장갑에 촉각 피드백을 활성화시키고, 제어부 또는 메뉴 아이템이 접촉된 바에 따라 적절한 작업을 수행한다. 충돌이 발생하거나 프로그램이 종료되기를 대기한다.
d. 충돌이 검출되면, 후속 작업들을 적절하게 수행한다.
e. 손-제어부 충돌의 경우, 제어부와의 접촉을 대기하는 한, 손에 의해 수행되는 움직임을 계속 감지한다. 수행된 움직임에 따라 제어부에 의해 제어된 파라미터를 조정하고, 파라미터의 신규값에 따라 목표 용적 디스플레이 및 제어 아이콘을 갱신한다. 적절한 촉각 피드백 신호를 장갑에 인가한다. 손이 더 이상 제어부와 접촉되지 않음을 검출할 때까지 상기 프로세스를 계속 수행한다.
f. 손-메뉴 아이템 충돌의 경우, 해당 메뉴 아이템에 의해 운영되는 작업을 수행하고, 필요에 따라 목표값 디스플레이 및 메뉴 아이템을 조정한다. 적절한 촉각 피드백 신호를 장갑에 인가한다.
g. 추가의 충돌이 발생하거나 프로그램이 종료되기를 대기한다. 추가의 충돌이 검출되면, 상기의 단계 d로 복귀한다.

Claims (13)

  1. 센서들의 세트와, 액추에이터들 및 컴퓨터 생성 제어부들을 포함하는 휴먼 컴퓨터 인터페이스에 있어서,
    상기 제어부들은 3차원 디스플레이 장치에 의해 3개의 공간 차원에 투영되며 작업자의 신체의 움직임에 의해 작업자가 제어부들과 상호 작용함으로써 조작되며, 상기 움직임은 센서 시스템에 의해 검출되며, 디스플레이된 표적 용적의 특성들은 수행된 움직임에 따라 변경되며, 신체에 착용되는 액추에이터들은 신체가 컴퓨터 생성 제어부와 어떠한 방식으로 상호 작용하는가에 따라 반응하는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  2. 제 1 항에 있어서, 상기 제어부들 중 적어도 하나는 디스플레이된 목표 용적을 둘러싸는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 디스플레이된 목표 용적은 제어부로서 또한 작용하는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 제어부들 중 적어도 하나에 의해 조작된 파라미터의 조정은 신체의 부분을 상기 제어부 내에 담그고 신체의 부분을 움직임으로써 성취되는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 제어부와 접촉하는 신체의 부분에 부착된 기계적 액추에이터들은 신체의 부분의 움직임에 대항하는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 3차원 디스플레이 시스템은 2차원으로 표시될 수 있도록 상기 제어부들 중 적어도 하나를 투영하는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 제어부들 중 임의의 하나는 사용자에 의해 3차원 디스플레이 시스템 둘레에 재배치될 수 있는 것을 특징으로 하는 휴먼 컴퓨터 인터페이스.
  8. 작업자는 작업자에 의해 수행된 신체의 움직임이 센서 시스템을 사용하여 검출되도록 적어도 하나의 제어부와 상호 작용하며, 수행된 신체 움직임에 따라 신호가 발생되며, 3D 목표 용적의 적어도 하나의 특성은 발생된 신호에 따라 변화될 수 있는, 3D 목표 용적의 파라미터 제어 방법에 있어서,
    상기 제어부는 또한 3D로 디스플레이되는 것을 특징으로 하는 3D 목표 용적의 파라미터 제어 방법.
  9. 적어도 처리 수단과, 메모리 및 휴먼 컴퓨터 인터페이스를 포함하며, 상기 휴먼 컴퓨터 인터페이스 자체는 센서들의 세트와, 액추에이터들 및 컴퓨터 생성 제어부들을 포함하는 컴퓨터 시스템에 있어서,
    상기 제어부들은 3차원 디스플레이 장치에 의해 3개의 공간 차원에 투영되며 작업자의 신체의 움직임에 의해 작업자가 제어부들과 상호 작용함으로써 조작되며, 상기 움직임은 센서 시스템에 의해 검출되며, 디스플레이된 표적 용적의 특성들은 수행된 움직임에 따라 변경되며, 신체에 착용되는 액추에이터들은 신체가 컴퓨터 생성 제어부와 어떠한 방식으로 상호 작용하는가에 따라 반응하는 것을 특징으로 하는 컴퓨터 시스템.
  10. 적어도 처리 수단과, 메모리 및 휴먼 컴퓨터 인터페이스를 포함하는 컴퓨터 시스템을 구비하며, 상기 휴먼 컴퓨터 인터페이스 자체는 센서들의 세트와, 액추에이터들 및 컴퓨터 생성 제어부들을 포함하는 컴퓨터 이용 설계 시스템에 있어서,
    상기 제어부들은 3차원 디스플레이 장치에 의해 3개의 공간 차원에 투영되며 작업자의 신체의 움직임에 의해 작업자가 제어부들과 상호 작용함으로써 조작되며, 상기 움직임은 센서 시스템에 의해 검출되며, 디스플레이된 표적 용적의 특성들은 수행된 움직임에 따라 변경되며, 신체에 착용되는 액추에이터들은 신체가 컴퓨터 생성 제어부와 어떠한 방식으로 상호 작용하는가에 따라 반응하는 것을 특징으로 하는 컴퓨터 이용 설계 시스템.
  11. 적어도 처리 수단과, 메모리 및 휴먼 컴퓨터 인터페이스를 포함하며, 상기 휴먼 컴퓨터 인터페이스 자체는 센서들의 세트와, 액추에이터들 및 컴퓨터 생성 제어부들을 포함하며, 상기 처리 수단은 상기 휴먼 컴퓨터 인터페이스로부터 이격되어 있으며 컴퓨터 네트워크에 의해 상기 휴먼 컴퓨터 인터페이스에 접속되는 컴퓨터 시스템에 있어서,
    상기 제어부들은 3차원 디스플레이 장치에 의해 3개의 공간 차원에 투영되며 작업자의 신체의 움직임에 의해 작업자가 제어부들과 상호 작용함으로써 조작되며, 상기 움직임은 센서 시스템에 의해 검출되며, 디스플레이된 표적 용적의 특성들은 수행된 움직임에 따라 변경되며, 신체에 착용되는 액추에이터들은 신체가 컴퓨터 생성 제어부와 어떠한 방식으로 상호 작용하는가에 따라 반응하는 것을 특징으로 하는 컴퓨터 시스템.
  12. 프로그램이 기록되어 있는 컴퓨터 판독형 매체로서, 상기 프로그램은, 프로그램을 작동시키며 3차원 디스플레이를 갖는 컴퓨터 시스템이 제 1 항에 따른 휴먼 컴퓨터 인터페이스를 작동시키도록 하는 것을 특징으로 하는 컴퓨터 판독형 매체.
  13. 첨부 도면을 참조하여 본원에 상술한 바와 같은 휴먼 컴퓨터 인터페이스.
KR1020027015804A 2000-05-22 2001-05-17 3차원 휴먼 컴퓨터 인터페이스 KR20030024681A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0012275.4A GB0012275D0 (en) 2000-05-22 2000-05-22 Three dimensional human computer interface
GB0012275.4 2000-05-22

Publications (1)

Publication Number Publication Date
KR20030024681A true KR20030024681A (ko) 2003-03-26

Family

ID=9892025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027015804A KR20030024681A (ko) 2000-05-22 2001-05-17 3차원 휴먼 컴퓨터 인터페이스

Country Status (8)

Country Link
US (3) US7312786B2 (ko)
EP (1) EP1285327A1 (ko)
JP (2) JP5244277B2 (ko)
KR (1) KR20030024681A (ko)
AU (2) AU2001258539B2 (ko)
CA (1) CA2409290A1 (ko)
GB (1) GB0012275D0 (ko)
WO (1) WO2001090870A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100665893B1 (ko) * 2004-01-27 2007-01-09 김철재 낚시대 이탈방지용 받침구
US9541999B2 (en) 2000-05-22 2017-01-10 F. Poszat Hu, Llc Three dimensional human-computer interface

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2414309B (en) * 2004-05-18 2009-02-25 Simon Richard Daniel Spherical display and control device
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
US20050285853A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
US20050285854A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
GB0602689D0 (en) * 2006-02-10 2006-03-22 Univ Edinburgh Controlling the motion of virtual objects in a virtual space
US9958934B1 (en) 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
US20090102603A1 (en) * 2007-10-19 2009-04-23 Fein Gene S Method and apparatus for providing authentication with a user interface system
US20090109174A1 (en) * 2007-10-30 2009-04-30 Fein Gene S Method and Apparatus for User Interface in Electronic Devices With Visual Display Units
US8477098B2 (en) 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
US20090109215A1 (en) 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
US8212768B2 (en) 2007-10-31 2012-07-03 Fimed Properties Ag Limited Liability Company Digital, data, and multimedia user interface with a keyboard
US8127251B2 (en) * 2007-10-31 2012-02-28 Fimed Properties Ag Limited Liability Company Method and apparatus for a user interface with priority data
US20100241999A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Canvas Manipulation Using 3D Spatial Gestures
US20100241987A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Tear-Drop Way-Finding User Interfaces
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8849570B2 (en) * 2009-03-19 2014-09-30 Microsoft Corporation Projected way-finding
WO2011020683A1 (de) * 2009-08-19 2011-02-24 Siemens Aktiengesellschaft Kontinuierliche bestimmung einer perspektive
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
JP2012208705A (ja) * 2011-03-29 2012-10-25 Nec Casio Mobile Communications Ltd 画像操作装置、画像操作方法およびプログラム
US8923686B2 (en) 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US9377863B2 (en) * 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US20140071044A1 (en) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Device and method for user interfacing, and terminal using the same
KR101950939B1 (ko) 2012-09-13 2019-02-22 삼성전자주식회사 홀로그래픽 객체 처리 장치 및 그 동작 방법
US20150185845A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara Providing tactle feedback for gesture based inputs
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
US9468847B2 (en) 2014-04-30 2016-10-18 Umm Al-Qura University Tactile feedback gloves
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
ES2746448T3 (es) * 2015-06-16 2020-03-06 Nokia Technologies Oy Realidad mediada
WO2017151142A1 (en) * 2016-03-04 2017-09-08 Hewlett-Packard Development Company, L.P. Generating digital representations using a glove interface

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0380003A (ja) 1989-08-23 1991-04-04 Kubota Corp 藺草苗の株分け装置
US5184319A (en) * 1990-02-02 1993-02-02 Kramer James F Force feedback and textures simulating interface device
US5502481A (en) * 1992-11-16 1996-03-26 Reveo, Inc. Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
CA2077173C (en) * 1991-11-22 2003-04-22 Michael Chen Method and apparatus for direct manipulation of 3-d objects on computer displays
US5886818A (en) * 1992-12-03 1999-03-23 Dimensional Media Associates Multi-image compositing
JPH075978A (ja) * 1993-06-18 1995-01-10 Sony Corp 入力装置
DE69434851T2 (de) * 1993-08-12 2007-04-19 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5670987A (en) * 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
JPH07114451A (ja) 1993-10-19 1995-05-02 Canon Inc 3次元メニュー選択方法とその装置
US5583977A (en) * 1993-10-21 1996-12-10 Taligent, Inc. Object-oriented curve manipulation system
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US5905499A (en) * 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
US5831584A (en) * 1995-07-28 1998-11-03 Chrysler Corporation Hand calibration system and virtual display selection for vehicle simulator
US5583526A (en) * 1995-07-28 1996-12-10 Chrysler Corporation Hand calibration system for virtual reality vehicle simulator
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
JP2924750B2 (ja) * 1995-12-26 1999-07-26 日本電気株式会社 3次元形状モデリング方法およびその装置
US5821925A (en) * 1996-01-26 1998-10-13 Silicon Graphics, Inc. Collaborative work environment supporting three-dimensional objects and multiple remote participants
US5807114A (en) * 1996-03-27 1998-09-15 Emory University And Georgia Tech Research Corporation System for treating patients with anxiety disorders
US5990865A (en) * 1997-01-06 1999-11-23 Gard; Matthew Davis Computer interface device
US5886700A (en) * 1997-07-24 1999-03-23 The United States Of America As Represented By The Secretary Of The Navy Three-dimensional volume selection tool
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US6075531A (en) * 1997-12-15 2000-06-13 International Business Machines Corporation Computer system and method of manipulating multiple graphical user interface components on a computer display with a proximity pointer
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6600480B2 (en) * 1998-12-31 2003-07-29 Anthony James Francis Natoli Virtual reality keyboard system and method
US6388657B1 (en) * 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
US6211848B1 (en) * 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US6765566B1 (en) * 1998-12-22 2004-07-20 Che-Chih Tsao Method and apparatus for displaying volumetric 3D images
WO2001078052A1 (en) * 2000-04-05 2001-10-18 Dimensional Media Associates, Inc. Methods and apparatus for virtual touchscreen computer interface controller
US6924787B2 (en) * 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
GB0012275D0 (en) 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9541999B2 (en) 2000-05-22 2017-01-10 F. Poszat Hu, Llc Three dimensional human-computer interface
US10592079B2 (en) 2000-05-22 2020-03-17 F. Poszat Hu, Llc Three dimensional human-computer interface
KR100665893B1 (ko) * 2004-01-27 2007-01-09 김철재 낚시대 이탈방지용 받침구

Also Published As

Publication number Publication date
JP2003534594A (ja) 2003-11-18
US7312786B2 (en) 2007-12-25
US9541999B2 (en) 2017-01-10
JP5244277B2 (ja) 2013-07-24
GB0012275D0 (en) 2000-07-12
US20080068376A1 (en) 2008-03-20
JP2013137787A (ja) 2013-07-11
US20040080716A1 (en) 2004-04-29
JP5548285B2 (ja) 2014-07-16
US10592079B2 (en) 2020-03-17
AU2001258539B2 (en) 2004-12-16
AU5853901A (en) 2001-12-03
US20170102859A1 (en) 2017-04-13
EP1285327A1 (en) 2003-02-26
CA2409290A1 (en) 2001-11-29
WO2001090870A1 (en) 2001-11-29

Similar Documents

Publication Publication Date Title
US10592079B2 (en) Three dimensional human-computer interface
AU2001258539A1 (en) Three dimensional human-computer interface
US6597347B1 (en) Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
USRE40891E1 (en) Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US11360561B2 (en) System for haptic interaction with virtual objects for applications in virtual reality
US6078308A (en) Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
JP4229244B2 (ja) カーソル制御装置
US20090319892A1 (en) Controlling the Motion of Virtual Objects in a Virtual Space
US8350843B2 (en) Virtual hand: a new 3-D haptic interface and system for virtual environments
WO1997021160B1 (en) Method and apparatus for providing force feedback for a graphical user interface
US20190377412A1 (en) Force Rendering Haptic Glove
CN113641239A (zh) 用于沉浸式人机交互的方法
Springer et al. State-of-the-art virtual reality hardware for computer-aided design
Achibet et al. DesktopGlove: A multi-finger force feedback interface separating degrees of freedom between hands
WO2022076236A1 (en) Haptic engine for spatial computing
JP2000047563A (ja) 物体の把持動作シミュレーション装置
Sofronia et al. Haptic devices in engineering and medicine
Pawar et al. Evaluating the influence of haptic force-feedback on 3D selection tasks using natural egocentric gestures
JPH11272157A (ja) 物体の把持動作シミュレーション装置
CN115298640A (zh) 可展开控制器
JPH03109631A (ja) 3次元グラフィックの接触感フィードバック装置
JP2018181185A (ja) 力覚提示器及び仮想力覚提示装置
Kraal et al. VEMECS: A virtual reality interface for spherical mechanism design
Chen et al. A 3d mouse for interacting with virtual objects
Iltanen et al. Wearable haptic device for an IPT system based on pneumatic muscles

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application