KR100832355B1 - 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램 - Google Patents

3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램 Download PDF

Info

Publication number
KR100832355B1
KR100832355B1 KR1020067014265A KR20067014265A KR100832355B1 KR 100832355 B1 KR100832355 B1 KR 100832355B1 KR 1020067014265 A KR1020067014265 A KR 1020067014265A KR 20067014265 A KR20067014265 A KR 20067014265A KR 100832355 B1 KR100832355 B1 KR 100832355B1
Authority
KR
South Korea
Prior art keywords
pointer
dimensional
pen
pointing
input
Prior art date
Application number
KR1020067014265A
Other languages
English (en)
Other versions
KR20070039868A (ko
Inventor
아츠시 나카다이라
나오브미 스즈키
다이수케 오치
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20070039868A publication Critical patent/KR20070039868A/ko
Application granted granted Critical
Publication of KR100832355B1 publication Critical patent/KR100832355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

3차원 포인팅 방법이 개시된다. 본 발명의 3차원 포인팅 방법에서는, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압 혹은 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅한다. 또한, 본 발명의 3차원 포인팅 방법에서는, 상기 입력 펜의 필압 혹은 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시장치에 표시한다.
3차원 포인팅, 포인터, 입력 펜, 검출면, 필압

Description

3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅 장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및 3차원 표시제어 프로그램 {3D POINTING METHOD, 3D DISPLAY CONTROL METHOD, 3D POINTING DEVICE, 3D DISPLAY CONTROL DEVICE, 3D POINTING PROGRAM, AND 3D DISPLAY CONTROL PROGRAM}
본 발명은, 3차원 포인팅을 수행하기 위한 기술에 관한 것으로, 특히, 펜 타입의 조작부를 구비하는 입력장치를 이용하여 표시장치에 표현된 3차원 공간 내의 포인팅을 수행하는 기술에 관한 것이다. 또한, 본 발명은, 표시장치에 표현되는 3차원 공간상에 배치(표시)된 오브젝트를 포인터로 3차원적으로 포인팅하기 위한 기술에 관한 것이다. 또한, 본 발명은, 3차원 공간에 배치되어 표시된 오브젝트의 선택 혹은 3차원 공간에 배치되어 표시된 오브젝트를 포인팅하기 위한 3차원 표시의 제어기술에 관한 것이다.
최근, PC(personal computer)의 연산 성능의 현저한 향상이나 처리속도의 고속화, 또는 그래픽 기능의 강화 등에 따라, GUI(graphical user interface)는 그 표시, 기능, 조작의 어떤 면에 있어서도 지금까지의 이상으로 복잡화되고, 조작자가 목적이 되는 동작을 실행시킴에 있어서, 이러한 것들이 장애가 되어 효율적인 조작을 방해하는 경우가 많다.
이와 같은 상태를 개선할 고안이 안출된 것이, 3차원 공간을 이용하여 정보를 표시, 조작하는 것이다. 이것은 종종 3차원 GUI 등으로 불리며, 3차원 공간에 3차원적으로 오브젝트를 배치하고, 그것을 소정의 입력장치를 이용하여 조작하는 구성이다. 이러한 3차원 GUI 외에도 3차원 공간 내에서 설계 등을 수행하는 CAD나 CG 등에 있어서도 동일한 구성을 채용하는 경우가 있지만, 동일한 3차원의 오브젝트를 조작, 포인팅한다는 관점에서, 이제부터는 3차원 GUI를 예를 들어 설명을 진행하기로 한다. 이러한 3차원 GUI를 이용하면, 지금까지 2차원 상에 나열하거나, 혹은 겹쳐서 배치한 오브젝트를 3차원적으로 배치하는 것이 가능하게 되어, 작업 공간을 효율적으로 사용할 수 있다. 또한, 우리들을 둘러싸고 있는 실세계는 3차원 공간이란 점에서, GUI를 3차원화함으로써 2차원의 GUI보다 직감적으로 취급할 수 있는 GUI가 된다.
여기서 이러한 3차원 GUI를 조작하는 과정에 있어서 필요한 과제의 하나로, 다양한 깊이 위치에 있는 오브젝트의 포인팅이 있다. 지금까지의 기술에서는, 2차원의 GUI에 있어서 이용되어 온 마우스나 키보드, 조이스틱 등을 이용하여 포인터의 깊이 이동에 필요한 새로운 기능을 부가함으로써 3차원 공간 내의 포인팅을 실현하였다. 그러나, 이들은 조작자가 입력장치를 이용하여 조작을 수행할 공간과 실제로 포인터가 표시되어 있는 공간이 다르기 때문에, 조작자가 이들 공간 사이의 의식적인 대응부여라고 하는 여분의 동작을 필요로 하므로, 깊이 이동에 대한 기능부가 등에 의해서 조작 자체가 복잡하게 되어 버리는 등의 결점이 있다.
또한 3차원 GUI를 조작하는 과정에 있어서 필요로 하는 과제의 다른 하나로 서, 3차원 공간 내에 있는 오브젝트의 조작이 있다. 지금까지는, PHANToM(SensAble Technologies, Inc.)이나 SPIDER(예를 들면, 비특허문헌 1을 참조)라 하는 3차원 입력장치를 이용하여 3차원 공간 내의 오브젝트 조작을 수행하는 것도 있지만, 앞서 설명한 포인팅의 과제와 마찬가지로, 조작자가 입력장치를 이용하여 조작을 수행할 공간과 실제로 포인터가 표시되어 있는 공간이 다르기 때문에, 조작자가 그들의 공간을 의식적으로 대응부여를 하지 않으면 안되는 여분의 작업이 필요하므로, 아암(arm)이나 고정 와이어가 존재하기 때문에 조작자의 조작 가능한 공간에는 제한이 있으며, 공간을 확장하기 위해 어떻게 해서든지 장치를 대형화할 수밖에 없었다. 또한, 상기 장치는 장치로서 아직 일반적으로 보급되어 있지 않고, 사람들이 사용하기에 익숙한 장치라고는 할 수 없었다.
한편, 우리에게 익숙한 형태의 장치로서, 펜 타입의 입력장치가 있다. 최근, 지금까지의 2차원 GUI 등의 포인팅이나 오브젝트 조작에 자주 이용되는 것으로서, 펜 타블렛(tablet)이 있다. 그중에서도 전자유도 방식의 펜 타블렛(예를 들면, 특허문헌 1을 참조)은, 그 장치의 간이성 때문에 휴대성이 있는 점, 화면을 직접 펜으로 포인팅 가능한 점, 취득할 수 있는 정보(2차원 위치나 필압(筆壓), 펜의 케이스의 각도, 펜이 구비되는 버튼, 휠 등의 상태 등)의 풍부함이라는 점에서, 마우스로 변경되는 입력장치로서 PC나 PDA(personal digital assistant), 최근에는 휴대전화 등에도 탑재되고 있다.
그러나 2차원 입력장치로서 널리 사용되고 있는 펜 타블렛(펜 타입 입력장치)이 3차원의 입력장치로서 사용된 예는 많지 않다. 하나의 예로서, 펜의 기울기 나 3차원적인 위치를 취득 가능한 펜 타입 장치를 허공에서 손으로 잡아, 펜의 앞에 있는 표시장치 내에 가상적으로 펜 끝(포인터)을 표시하고, 가상적으로 표시된 펜 끝을 포인터로서 사용하여 3차원 공간 내의 포인팅을 실현하는 예가 있다(예를 들면, 특허문허 2를 참조). 이 방법에서는, 조작자가 조작을 수행할 공간과 실제로 포인터 표시가 있는 공간이 떨어져 있지만, 가상적으로 표시된 펜 끝이 마치 자신의 펜의 일부인 것처럼 느껴진다는 점에서는 종래의 기술을 능가하고 있다. 그러나, 조작자는 펜 타입의 입력장치를 허공에서 손으로 잡지 않으면 안되기 때문에, 피로의 관점에서 장시간의 포인팅 작업에는 적합하지 않다. 또한, 손이 허공에서 떠 있기 때문에 손의 위치가 일점에 고정되기 어렵고, 조작자가 목적하는 위치에 펜 끝을 유지시킬 수 없는 큰 결점이 있다. 즉, 조작자가 입력장치를 이용하여 조작을 수행할 공간과, 실제로 포인터나 오브젝트가 표시되는 공간이 다르기 때문에, 조작자가 그 공간을 의식적으로 대응부여하지 않으면 안 되는 여분의 작업이 필요하다. 따라서, 그 시스템을 이용하여 오브젝트의 미세한 조작 등을 하는 것은 실질적으로 어렵다.
이상과 같은 점에서, 지금까지의 2차원의 GUI보다 실세계에 가까운 3차원 GUI를, 실세계와 동일한 감각으로 포인팅이나 오브젝트 조작이 가능하고, 장치 구성도 간소하고, 나아가, 조작자가 피곤해 하지 않으며 효율적으로, 정확하게 3차원 공간을 포인팅 그리고 오브젝트 조작이 가능하며, 포인팅한 오브젝트의 가공, 편집 등도 용이하게 할 수 있는 3차원 포인팅 방법 및 3차원 오브젝트 조작방법이 요구되고 있다.
다음으로, 3차원 공간에서의 포인터의 표시에 관한 배경기술을 설명한다. 상술한 바와 같이, 지금까지의 기술에서는 2차원의 GUI에서 이용되어온 마우스나 키보드, 조이스틱 등의 조작에, 깊이 방향으로의 이동에 필요한 새로운 기능을 부가함으로써, 포인터의 3차원 공간 내의 이동을 실현하고 있다. 또한, 포인터의 깊이 방향의 위치는, 예를 들면, 포인터를 확대 혹은 축소시킴으로써 표현하고, 공간 내의 뒤에 있는 오브젝트의 포인팅을 수행하였다(예를 들면, 비특허문헌 2를 참조). 즉, 3차원 공간 내에서 포인터가 앞에 있을 때에는 포인터를 크게 표시하고, 뒤에 있을 때에는 포인터를 작게 표시하는 방법 등이 제안되어 있다.
그러나, 이러한 방법의 대부분은, 3차원 공간에 표시된 포인터가 공간 내를 깊이 방향으로 자유롭게 움직이는 것이 가능하기 때문에, 아무리 포인터가 표시장치 상에 표시되어 있어도, 이것이 도대체 어떤 깊이 위치에 있고, 어디를 포인팅하고 있는지를, 조작자가 지각(인식)할 수 없는 경우가 자주 생긴다.
이러한 문제를 해결하기 위해, 예를 들면, 포인터 부근에 깊이 위치가 변하지 않는 xyz 축 등을 표시하는 레퍼런스 등을 표시하고 깊이 위치를 지각하기 쉽게 하는 방법이 있다(예를 들면, 특허문헌 3 참조). 그러나, 표시면에 레퍼런스가 나타남으로써 조작자의 시계를 가로막고, 작업 효율을 저하시키는 일도 생긴다. 또한, 레퍼런스는 실세계의 것을 포인팅할 때에 나타나는 것이 아니다. 이 때문에, 레퍼런스를 표시하는 방법은, 실세계와 동일한 감각으로 GUI를 조작하고자 하는 관점에서 보면, 적절한 방법이라고 할 수 없다.
이상의 사실로부터, 3차원 GUI를 실세계와 동일한 감각으로 조작하기 위해서 는, 3차원 GUI에서의 포인터를 이용한 포인팅 작업에 있어서, 포인터가 어느 깊이 위치에서 어디를 포인팅하고 있는지를 조작자가 즉시, 또한 정확하게 인식할 수 있는 효율적인 포인팅 방법이 요구되고 있다.
종래의 3차원 GUI에서의 포인터를 이용한 포인팅 작업에서는, 포인터가 어느 깊이 위치에서 어디를 포인팅하고 있는지를 조작자가 직관적으로, 그리고 정확하게 인식하는 것이 어렵다는 점에 문제가 있다.
다음으로, 3차원 공간에 있어서 포인터의 표시에 관한 다른 배경기술을 설명한다.
컴퓨터의 GUI로서 널리 이용되고 있는 예로서, 책상의 이미지를 컴퓨터의 표시화면상에 모방한 데스크탑 메타포(desktop metaphor)가 알려져 있다. 현재, 컴퓨터의 대부분은 이 데스크탑 화면을 핵심으로 한 유저 인터페이스를 이용하고 있다. 데스크탑 화면은 1980년대 후반부터 제작되었지만, 컴퓨터의 처리능력이나 표시장치의 고성능화에 의해 2차원의 데스크탑 화면은 정밀한 그래픽 표현이 채용되고 있으며, 동시에, 고기능화되고, 외관도 화려하게 되며, 입체적인 시각 효과도 다양화되어 오고 있다. 또한, 최근에는, 데스크탑을 3차원 공간으로 확장시키고, 아이콘이나 윈도우 등의 오브젝트를 3차원적으로 배치하는 예도 제안되어 있다(예를 들면, 비특허문헌 3을 참조).
3차원 데스크탑에서는, 종래의 2차원의 평면적인 공간에 더하여, 깊이 방향의 자유도가 확대되기 때문에, 아이콘이나 윈도우의 배열을 기능적으로 수행할 수 있는 이점이 있다. 그러나, 데스크탑이 3차원화되더라도, 포인터를 이용한 포인팅 은 여전히 2차원의 움직임에 제약을 받고 있다. 이 때문에, 깊이 방향의 자유도를 완전하게 이용하는 것이 곤란하다.
이에 대해 포인터를 3차원적으로 움직이게 하는 예도 고려되고 있지만, 3차원 공간 내에 오브젝트를 배치하는 도중에 포인터가 3차원적으로 움직이는 경우, 포인터가 전방에 있는 오브젝트의 그림자에 숨어 버려, 포인터를 눈에서 놓쳐버리는 문제가 있다.
데스크탑 인터페이스에 있어서, 이용자가 항상 포인터의 위치를 확인하는 일이 불가결하다. 2차원 GUI에서는, 포인터가 항상 최전면에 표시되는 것이 일반적이지만, 포인터의 배후에 오브젝트의 색이 포인터 자체의 색과 동일한 경우에는, 포인터와 오브젝트를 구별하는 것이 곤란하며, 포인터가 어디를 지시하고 있는지를 인식하는 것이 어려워진다. 이러한 문제를 회피하기 위해서, 포인터는 2종류 이상의 색을 이용하고 있는 것이 일반적이다. 포인터의 색이, 예를 들면, 흰색으로 가장자리가 칠해진 검은색인 경우, 바탕 화면의 색이 흰색인 경우 검은색 부분에 의해 포인팅 장소를 명확하게 확인할 수 있고, 바탕 화면의 색이 검은색인 경우 가장자리에 칠해진 흰색에 의해 포인팅 장소를 명확하게 확인할 수 있다. 이와 같이, 데스크탑 인터페이스에서는, 포인터가 어떤 장소를 지시하고 있는지를, 항상 명확하게 조작자에게 인식시킬 필요가 있고, 종래의 데스크탑에서도 상술한 바와 같은 장치가 적용되고 있다.
그리고, 3차원 데스크탑에 있어서도, 포인터의 장소를 항상 조작자에게 명확하게 인식시키는 것이 필수이지만, 3차원 공간의 성질상, 조작자로부터 보아, 어느 오브젝트의 뒤(안쪽)에 해당하는 위치로 포인터를 이동시킨 경우, 포인터가 그 오브젝트에 숨어, 조작자가 포인터의 위치를 눈에서 놓치는 문제가 생긴다. 이 때문에, 어디를 포인팅하고 있는지를 확인하는 것이 곤란하며, 결과적으로, 오브젝트의 선택이 이루어지지 않는, 데스크탑 인터페이스에 있어서 치명적인 문제가 일어난다. 이와 같이, 데스크탑을 3차원화하여도 포인터의 움직임을 3차원화하는 것은 어렵고, 데스크탑을 3차원화하는 이점을 충분히 이용할 수 없다는 문제가 3차원 데스크탑에 생긴다.
즉, 종래의 3차원 데스크탑 등의 표시장치상에 표시된 3차원 공간에서는, 3차원 공간 내에서 포인터를 이동시킬 때, 포인터가 오브젝트 뒤에 숨어, 조작자가 포인터의 위치를 인식할 수 없게 되는 문제가 있다.
또한, 포인터가 어느 오브젝트의 뒤에 숨어 인식할 수 없는 것과 마찬가지로, 종래의 3차원 데스크탑 등의 표시장치상에 표현된 3차원 공간에서는, 어느 오브젝트(전방의 오브젝트)의 뒤에 별개의 오브젝트(후방의 오브젝트)가 있는 경우, 후방의 오브젝트를 직접 인식할 수 없다. 이 때문에, 뒤의 오브젝트의 위치를 인식하거나 조작할 때, 전방의 오브젝트를 이동시키거나 표시영역을 작게 하거나 비표시의 상태로 하는 조작이 필요하다. 또한, 전방의 오브젝트의 표시영역을 작게 하거나 비표시의 상태로 하는 등의 조작을 한 경우, 전방의 오브젝트의 표시 내용을 확인하기 위해서는 표시영역을 원래의 크기로 되돌리거나 표시상태로 복귀시키는 조작이 필요하다. 이 때문에, 조작자의 편리성이 떨어진다는 문제도 있다.
특허문헌 1: 특개평5-073208호 공보
특허문헌 2: 특개평6-75693호 공보
특허문헌 3: 특개평8-248938호 공보
비특허문헌 1: Y. Hirata and M. Sato, "3-Dimensional interface Device for Virtual Work Space," Proc. of the 1992 IEEE/RSJ Int. Conf. on IROS, 2, pp 889-896, 1992.
비특허문헌 2: 渡邊惠太, 安村通晃「RUI: Realizable User Interface-커서를 이용한 정보 리얼라이제이션」, 휴먼 인터페이스 심포지엄 2003 논문집, 2003년, p. 541-544
비특허문헌 3: George Robertson 외 7명, "The Task Gallery: A 3D 윈도우 Manage", Proceedings of CHI2000, 1-6 APRIL 2000, pp. 494-501
[발명의 개시]
[발명이 해결하고자 하는 과제]
본 발명의 제 1 목적은, 조작자가 3차원 GUI상의 3차원 공간 내의 임의의 위치에 있는 포인터나 오브젝트를, 가능한 한 소규모로, 조작자가 익숙한 장치를 이용하여, 피곤함을 느끼는 일 없이 효율적으로, 또한 직감적으로 3차원 조작을 하는 것이 가능한 3차원 포인팅의 기술을 제공함에 있다.
본 발명의 제 2 목적은, 3차원 GUI에서의 포인터를 이용한 포인팅에 있어서, 포인터가 어느 깊이 위치에서 어디를 포인팅하고 있는지를 조작자가 직관적으로, 또한 정확하게 인식할 수 있는 포인팅 기술을 제공함에 있다.
본 발명의 제 3 목적은, 표시장치 상에 표시된 3차원 공간 내의 포인터를 3차원적으로 움직인 경우, 포인터가 별개의 오브젝트의 뒤(안)쪽에 해당하는 위치로 이동하였을 때에도 포인터의 위치를 용이하게 인식할 수 있는 기술을 제공하는 것에 있다. 또한, 본 발명의 제 3 목적은, 또한, 표시장치상에 표현된 3차원 공간 내에서, 전방에 표시된 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 인식이나 조작을 용이하게 하고, 조작자의 편이성을 향상시키는 것이 가능한 기술을 제공함에 있다.
[과제를 해결하기 위한 수단]
상기 제 1 목적은, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서, 상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법에 의해 달성된다.
또한 제 1 목적은, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 입력 펜의 펜 끝에 걸리는 압력인 필압과, 입력 펜의 축과 상기 검출면이 이루는 각도인 입력 펜의 기울기각과, 입력 펜의 축의 상기 검출면으로의 투영과 상기 검출면상의 소정의 직선이 이루는 각인 입력 펜의 방위각에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서, 상기 입력 펜의 기울기각 및 방위각에 기초하여 상기 입력 펜의 축의 상기 3차원 공간에서의 연장선을 구하고, 상기 3차원 공간에서의 연장선상에 3차원 포인터를 표시시키고, 상기 입력 펜의 필압에 따라서, 상기 3차원 포인터의 상기 3차원 공간에서의 연장선 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법에 의해서 달성할 수 있다.
또한, 제 1 목적은, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서, 상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 상기 조작수단의 조작에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법에 의해서도 달성할 수 있다.
또한, 제 1 목적은, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작과, 상기 입력 펜의 축과 상기 검출면이 이루는 각인 입력 펜의 기울기각과, 상기 입력 펜의 축의 상기 검출면으로의 투영과 상기 검출면상의 소정의 직선이 이루는 각인 입력 펜의 방위각에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서, 상기 입력 펜의 기울기각 및 방위각에 기초하여 상기 입력 펜의 축의 상기 3차원 공간에서의 연장선을 구하고, 상기 3차원 공간에서의 연장선상에 3차원 포인터를 표시시키고, 상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 상기 조작수단의 조작에 따라서, 상기 3차원 포인터의, 상기 3차원 공간에서의 연장선 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법에 의해서도 달성할 수 있다.
상기 구성에 있어서, 상기 3차원 포인터가 포인팅하는 점의 3차원 좌표로부터 소정의 거리 이내에 오브젝트가 존재할 때, 상기 오브젝트를 포인팅하고 있다고 판정할 수 있다.
또한, 상기 3차원 포인터로 상기 3차원 공간에 표시된 오브젝트를 포인팅하고 있을 때, 상기 오브젝트를 선택 또는 잡기 위한 조작이 이루어지면, 상기 오브젝트를 선택 또는 잡기 위한 조작 후의, 상기 3차원 포인터의 3차원 위치의 변화에 따라서, 상기 오브젝트의 3차원 위치를 변화시켜서 표시하는 것으로 해도 좋다.
또한, 상기 3차원 공간에 표시된 오브젝트를 포인팅하고 있을 때, 상기 오브젝트에 대한 조작 또는 편집 또는 가공을 개시하기 위한 조작이 이루어지면, 상기 포인팅된 오브젝트를, 상기 표시장치의 조작자로부터 보아 가장 전방의 면에 2차원적으로 표시하고, 상기 2차원적으로 표시된 오브젝트에 대하여, 상기 입력 펜에 의한 2차원적인 조작 또는 편집 또는 가공을 접수받도록 하여도 좋다.
또한, 상기 3차원 포인터가 포인팅하는 점의 2차원적인 좌표를, 상기 검출면상을 상기 입력 펜의 펜 끝으로 가리킨 위치의 2차원적인 좌표로 하고, 상기 3차원 포인터가 포인팅하는 점의 상기 2차원적인 좌표를 일정하게 하여 상기 3차원 포인터의 깊이 방향의 좌표를 변화시키도록 해도 좋다.
또한, 본 발명은, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초한 포인터를 생성하고, 표시장치에 표현된 3차원 공간 내의 소망의 점에 상기 생성한 포인터를 표시시켜 포인팅시키는 3차원 포인팅 장치로서, 상기 입력 펜으로부터의 2차원적인 좌표 및 상기 필압의 정보를 취득하는 입력정보 취득수단과, 상기 입력정보 취득수단에서 취득한 정보에 기초하여, 상기 표시장치에 표현된 3차원 공간 내의 포인터를 표시시키는 위치 및 회전 각도를 산출하는 포인터 위치/회전 각도 산출수단과, 상기 포인터 위치/회전 각도 산출수단의 산출결과에 기초한 포인터를 생성하는 포인터 생성수단과, 상기 표시장치에 표현된 3차원 공간 내에, 상기 포인터 생성수단에서 생성한 포인터로 포인팅되어 있는 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단과, 상기 표시장치에 표현된 3차원 공간 내에 표시하는 오브젝트를 생성하는 오브젝트 생성수단과, 상기 포인터 생성수단에서 생성한 포인터 및 상기 오브젝트 생성수단에서 생성한 오브젝트를, 상기 표시장치에 표현된 3차원 공간 내에 표시시키는 표시제어수단을 구비하고, 상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜 산출하는 것을 특징으로 하는 3차원 포인팅 장치로서 구성할 수도 있다.
상기 입력 펜은, 상기 필압에 따라서 펜 끝의 길이가 짧아지는 구조를 갖고, 상기 3차원 포인터는, 상기 입력 펜의 펜 끝과 동등한 형상, 또는 펜 끝의 일부와 동등한 형상을 가지는 것으로 해도 좋다.
또한 본 발명은, 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작에 기초한 포인터를 생성하고, 표시장치에 표현된 3차원 공간 내의 소망의 점에 포인터를 표시시켜서 포인팅시키는 3차원 포인팅 장치로서, 상기 입력 펜으로부터의 2차원적인 좌표와, 상기 입력 펜의 펜 끝의 접촉의 유무 또는 상기 입력 펜의 조작수단의 조작의 정보를 취득하는 입력정보 취득수단과, 상기 입력정보 취득수단에서 취득한 정보에 기초하여, 상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 조작수단이 조작된 양을 산출하는 입력정보 처리수단과, 상기 입력정보 취득수단에서 취득한 정보에 기초하여, 상기 표시장치에 표현된 3차원 공간 내의 포인터를 표시시키는 위치를 산출하는 포인터 위치/회전 각도 산출수단과, 상기 포인터 위치/회전 각도 산출수단의 산출결과에 기초한 포인터를 생성하는 포인터 생성수단과, 상기 표시장치에 표현된 3차원 공간 내에, 상기 포인터 생성수단에서 생성한 포인터로 포인팅되어 있는 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단과, 상기 표시장치에 표현된 3차원 공간 내에 표시하는 오브젝트를 생성하는 오브젝트 생성수단과, 상기 포인터 생성수단에서 생성한 포인터 및 상기 오브젝트 생성수단에서 생성한 오브젝트를, 상기 표시장치에 표현된 3차원 공간 내에 표시시키는 표시제어수단을 구비하고, 상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 조작수단의 조작에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 산출하는 것을 특징으로 하는 3차원 포인팅 장치로서도 구성할 수 있다.
상기 입력 펜은, 펜 끝으로 계속해서 가리킨 시간, 또는 조작수단의 조작에 따라서 펜 끝의 길이가 짧아지는 구조를 갖고, 상기 3차원 포인터는, 상기 입력 펜의 펜 끝과 동등한 형상, 또는 펜 끝의 일부와 동등한 형상을 갖는 것으로 해도 좋다.
또한, 본 발명은, 상기 3차원 포인팅 장치에서의 각 수단에서의 처리를, 컴퓨터에 실행시키는 3차원 포인팅 프로그램으로서 구성할 수도 있다.
제 2 목적은, 3차원 공간을 표현하는 것이 가능한 표시장치의 상기 3차원 공간 내에 표시된 포인터를, 상기 3차원 공간 내에서 이동시켜서, 상기 3차원 공간 내의 소망의 점을 포인팅시키는 3차원 포인팅 방법으로서, 상기 포인터를, 상기 표시장치의 3차원 공간의 깊이 방향과 직교하는 2차원 평면 내에서 이동 또는 회전시키는 동시에, 상기 깊이 방향으로 이동시키는 단계 1과, 상기 포인터의 포인팅을 수행하는 점 및 그 근방인 포인팅을 수행하는 부분을 제외하고 상기 포인터상의 미리 정해진 일점의 상기 깊이 방향의 위치, 상기 포인터의 형상, 및 사이즈를 일정하게 유지한 채로, 상기 포인터의 포인팅을 수행하는 부분을 상기 깊이 방향으로 이동시키는 단계 2와, 상기 단계 1 및 단계 2에서 이동시킨 포인터를, 상기 표시장치에 표시시키는 단계 3을 갖는 것을 특징으로 하는 3차원 포인팅 방법에 의해 달성할 수 있다.
상기 3차원 포인팅 방법에 있어서, 상기 단계 2는, 상기 포인터를, 상기 포인터의 표면상 또는 내부의 점을 제외하고, 미리 정해진 중심점 또는 중심축을 중심으로 하여 회전시키는 것으로 해도 좋다.
또한 제 2 목적은 3차원 공간을 표현하는 것이 가능한 표시장치의 상기 3차원 공간 내에 표시된 포인터를, 상기 3차원 공간 내에서 이동시키고, 상기 3차원 공간 내의 소망의 점을 포인팅시키는 3차원 포인팅 방법으로서, 상기 포인터를, 상기 표시장치의 3차원 공간의 깊이 방향과 직교하는 2차원 평면 내에서 이동 또는 회전시키는 동시에, 상기 깊이 방향으로 이동시키는 단계 1과, 상기 포인터의 포인팅을 수행하는 부분을 제외하고 상기 포인터상의 미리 정해진 일점의 상기 깊이 방향의 위치를 일정하게 유지하고, 또한, 상기 포인터의 형상, 및 사이즈를 변형시키면서, 상기 포인터의 포인팅을 수행하는 부분을 상기 깊이 방향으로 이동시키는 단계 4와, 상기 단계 1 및 단계 4에서 이동시킨 포인터를, 상기 표시장치에 표시시키는 단계 3을 갖는 것을 특징으로 하는 3차원 포인팅 방법에 의해서도 달성할 수 있다.
상기 3차원 포인팅 방법에 있어서, 상기 단계 4는, 상기 포인터를, 상기 포인터의 표면상 또는 내부의 점을 제외하고, 미리 정해진 중심점 또는 중심축을 중심으로 하여 회전시키는 것으로 해도 좋다. 또한 상기 포인터를 회전시키는 상기 중심점 또는 중심축이, 상기 포인터가 회전할 때의 회전 각도에 따라서 이동하는 것으로 해도 좋다.
또한, 상기 포인터는, 상기 깊이 방향의 위치, 상기 2차원 평면내의 위치, 형상, 및 사이즈가 일정한 제 1 부분과, 적어도 상기 깊이 방향의 위치가 변화하는 제 2 부분과, 상기 제 1 부분과 제 2 부분을 연결하는 제 3 부분으로 이루어지고, 상기 단계 4는, 상기 포인터의, 상기 제 2 부분을 상기 깊이 방향으로 이동시키는 것으로 해도 좋다. 또한, 상기 단계 4는, 상기 3차원 포인터의, 상기 제 2 부분의 상기 2차원 평면내의 위치, 또는 형상, 또는 사이즈를 변화시키면서, 상기 제 2 부분을 상기 깊이 방향으로 이동시키는 것으로 해도 좋다.
상기 포인터를 깊이 방향으로 이동시켰을 때, 상기 포인터의 일부분이 상기 표시장치의 표현 가능한 3차원 공간의 밖으로는 밀려나온 경우는, 상기 표시장치의 표현 가능한 상기 2차원 평면 중, 상기 밀려나온 부분에 근접하는 2차원 평면에, 상기 밀려나온 부분을 투영하거나, 또는 절곡하여 표시시키는 것으로 해도 좋다.
상기 단계 3은, 상기 포인터와 함께, 상기 깊이 방향의 위치가 일정한 참조용 포인터를 상기 표시장치에 표시시키는 것으로 해도 좋다.
또한 본 발명은 3차원 공간을 표현 가능한 표시장치상에 표현된 3차원 공간 내에 포인터를 표시시키고, 입력장치로부터의 입력정보에 기초하여 상기 포인터를 3차원적으로 이동시키고, 상기 3차원 공간 내의 임의의 일점을 포인팅시키는 3차원 포인팅 장치로서, 상기 입력장치로부터의 입력정보를 취득하는 입력정보 취득수단과, 상기 입력정보 취득수단에서 취득한 상기 입력정보에 기초하여 상기 포인터의 표시 위치 및 변형량을 산출하는 포인터 위치/변형량 산출수단과, 상기 포인터 위치/변형량 산출수단에서 산출된 표시위치에 표시하는 포인터를 생성하는 포인터 생성수단과, 상기 포인터 위치/변형량 산출수단에서 산출된 상기 포인터의 표시위치에 기초하여, 상기 포인터가 포인팅하고 있는 점에 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단과, 상기 포인팅 판정수단에서 포인팅하고 있는 오브젝트가 있다고 판정된 경우에, 오브젝트를 포인팅되어 있는 상태로 변화시키는 오브젝트 생성수단과, 상기 포인터 생성수단에서 생성한 포인터 및 상기 오브젝트 생성수단에서 생성한 오브젝트를 상기 표시장치에 표시시키는 표시제어수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치로 구성할 수도 있다.
제 3 목적은, 3차원 공간을 표현 가능한 표시장치상에 표현된 3차원 공간 내에 포인터 및 1개 이상의 오브젝트를 표시하여 두고, 입력장치로부터의 입력정보에 기초하여 상기 포인터를 3차원적으로 이동시키고, 상기 3차원 공간 내의 임의의 일점을 포인팅할 때의 상기 포인터 및 상기 오브젝트의 표시상태를 제어하는 3차원 표시제어방법으로서, 상기 입력정보에 기초하여 상기 포인터의 표시위치를 산출하는 단계 1과, 상기 단계 1에서 산출한 표시위치에 상기 포인터를 표시시키는 단계 2와, 상기 단계 1에서 산출한 상기 포인터의 표시위치에 기초하여, 상기 포인터의 깊이 위치보다도 전방에 오브젝트가 있는지의 여부를 판정하고, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트를 투명화하여 표시시키는 단계 3을 갖는 것을 특징으로 하는 3차원 표시제어방법에 의해 달성할 수 있다.
상기 3차원 표시제어방법의 단계 3은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중, 상기 포인터와 중첩되는 오브젝트만을 투명화하여 표시시키는 것으로 해도 좋다.
또한, 상기 단계 3은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중, 상기 입력장치로부터의 미리 정해진 입력정보에 기초하여 특정 또는 선택된 오브젝트를 제외하고, 별개의 오브젝트를 투명화하여 표시시키는 것으로 해도 좋다.
상기 단계 3은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트와 상기 포인터의 깊이 방향의 거리에 따라서, 상기 오브젝트의 투명도를 변화시키고, 상기 오브젝트와 상기 포인터의 깊이 방향의 거리가 클수록 투명도를 크게 하여 표시시키는 것으로 해도 좋다.
또한, 상기 단계 3은, 상기 포인터가 포인팅하고 있는 점과 중첩되는 오브젝트상의 점을 중심으로 한 소정의 형상의 영역내만을 투명화하여 표시시키는 것으로 할 수도 있다. 상기 투명화하는 소정의 형상은, 상기 포인터와 상기 오브젝트의 깊이 방향의 거리의 크기에 따라서 변화하고, 상기 깊이 방향의 거리가 클수록 상기 소정의 형상이 커지는 것으로 해도 좋다.
또한, 상기 단계 3은, 상기 포인터가 소정시간의 동안 정지하고 있는 경우는, 상기 투명화한 오브젝트를 투명화하기 전의 불투명한 상태로 되돌려서 표시시키는 단계를 갖는 것으로 해도 좋다.
또한, 본 발명은, 3차원 공간을 표현 가능한 표시장치상에 표현된 3차원 공간 내에 포인터 및 1개 이상의 오브젝트를 표시시키고, 입력장치로부터의 입력정보에 기초하여 상기 포인터를 3차원적으로 이동시키고, 상기 3차원 공간 내의 임의의 일점을 포인팅할 때의 상기 포인터 및 상기 오브젝트의 표시상태를 제어하는 3차원 표시제어장치로서, 상기 입력장치로부터의 입력정보를 취득하는 입력정보 취득수단과, 상기 입력정보 취득수단에서 취득한 상기 입력정보에 기초하여 상기 포인터의 표시위치를 산출하는 포인터 위치 산출수단과, 상기 포인터 위치 산출수단에서 산출된 표시위치에 표시하는 포인터를 생성하는 포인터 생성수단과, 상기 포인터 위치 산출수단에서 산출된 상기 포인터의 표시위치에 기초하여, 상기 포인터의 깊이 위치보다도 전방에 오브젝트가 있는지의 여부를 판정하는 동시에, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트를 투명화하는지의 여부를 판정하는 오브젝트 변경 판정수단과, 상기 표시장치에 표시시키는 오브젝트의 생성, 및 오브젝트 변경 판정수단에서 투명화하면 판정된 오브젝트가 투명화를 하는 오브젝트 생성/투명화수단과, 상기 포인터 생성수단에서 생성된 포인터, 및 상기 오브젝트 생성/투명화수단에서 생성된 오브젝트 또는 투명화된 오브젝트를 상기 표시장치에 표시시키는 표시제어수단을 구비하는 것을 특징으로 하는 3차원 표시제어장치로서 구성할 수도 있다. 또한 본 발명은 상기 3차원 표시제어장치의 각 수단의 처리를, 컴퓨터에 실행시키는 3차원 표시제어 프로그램으로서 구성할 수도 있다.
[발명의 효과]
제 1 목적을 달성하기 위한 발명에 따르면, 입력 펜의 펜 끝의 위치와, 필압 혹은 상기 입력 펜의 펜 끝으로 계속해서 가리키는 시간 또는 상기 입력 펜의 조작수단(버튼, 휠, 슬라이드 바 등)의 조작에 의해 얻어진 정보와, 상기 입력 펜의 기울기나 방위 등의 정보를 반영한 포인터를 생성하고, 상기 표시장치에 표시함으로써, 상기 표시장치에 표현된 3차원 공간 내의 임의의 점을 포인팅한다. 이 때, 상기 입력 펜은, 예를 들면, 펜 타블렛의 조작펜(전자펜)이나, 터치패널을 조작하는 스타일러스 등의 펜이며, 펜 끝을 미리 설정된 검출면상에 접촉한 상태에서 조작할 수 있다. 그 때문에, 정확한 포인팅 조작이 용이해지고, 장시간의 포인팅 조작에 의한 피로감을 경감시킬 수 있다.
또한, 상기 펜 타블렛의 검출수단(디지타이저; digitizer)을 상기 표시장치의 표시면과 중첩하거나, 상기 터치 패널을 이용함으로써, 상기 입력 펜을 상기 표시장치의 표시면상에 접촉하여 포인팅 조작을 할 수 있다. 그 때문에, 보다 정확하고 직감적인 3차원 포인팅 조작이 가능해진다.
또한, 상기 입력 펜의 기울기각, 방위각, 축 주위의 회전각의 변화를 반영하여 위치, 방향을 변경시킨 포인터를 생성할 때, 상기 포인터의 변화에 맞춰 상기 오브젝트의 위치, 방향을 변화시킨 오브젝트를 생성하여 표시함으로써, 상기 오브젝트의 위치나 방향을 변화시키기 위한 특수한 조작을 취득할 필요가 없고, 조작자의 편이성이 향상된다.
또한, 상기 오브젝트를 포인팅하고 있을 때, 상기 오브젝트에 대한 조작 또는 편집 혹은 가공을 개시하기 위한 조작을 함으로써, 상기 포인팅된 오브젝트의, 2차원 GUI적인 조작, 편집, 가공이라는 처리가 가능한 상태, 즉, 지금까지의 2차원 GUI상의 오브젝트를, 펜 타입의 입력장치를 이용하여 조작 가능한 상태로 할 수 있다. 그 때문에, 3차원 오브젝트의 가공을 지금까지의 2차원 GUI에 있어서 조작과 다름없는 조작으로 실현 가능하다. 따라서, 조작자는 오브젝트를 가공하기 위한 새로운 3차원 조작을 습득할 필요가 없다. 또한, 2차원 GUI적 조작, 편집, 가공 등의 처리가 종료한 후, 오브젝트를 다시 3차원 오브젝트로서 취급하도록 함으로써, 상기 2차원 GUI에 있어서 조작(처리)이 종료한 후, 상기 오브젝트를 다시 조작자가 바라는 3차원 위치로 용이하게 이동할 수 있다.
제 2 목적을 달성하기 위한 발명에 따르면, 포인터 상의 어느 한 점이 깊이 위치를 일정하게 유지하면서 상기 포인터의 포인팅을 수행하는 부분의 깊이 위치를 변경함으로써, 상기 포인터가 포인팅하고 있는 부분의 깊이 방향의 변화를 인식시킨다. 이때, 조작자는, 상기 포인터의 깊이위치가 일정하게 유지된 부분과 상기 포인팅하고 있는 부분의 상태로부터 포인팅되어 있는 깊이 위치를 정확하게, 그리고 직감적으로 인식할 수 있다.
또한, 상기 포인팅하고 있는 부분을 깊이 방향으로 이동시키는 경우에, 상기 포인터를 회전시키는 방법에 따르면, 상기 포인터가 회전할 때마다 상기 포인터의 깊이 방향의 기울기가 변하고, 포인팅되고 있는 깊이 위치를 용이하게 인식할 수 있다. 또한 이때, 상기 포인터를 회전시키는 상기 중심점 또는 중심축은, 고정되어도 좋으며, 상기 포인터가 회전할 때의 회전 각도에 따라서 이동하도록 하여도 좋다.
또한, 포인터가 상기 제 1 부분, 제 2 부분, 제 3 부분을 구비하는 구성에서는, 상기 포인팅하고 있는 부분만이 깊이 방향으로 절곡된 포인터가 된다. 그 때문에, 상기 제 1 부분, 제 2 부분, 제 3 부분의 상태에서, 포인팅하고 있는 깊이 위치를 용이하게 인식할 수 있다. 또한 이 때문에, 상기 제 2 부분의 상기 2차원 평면내의 위치, 또는 형상, 또는 사이즈를 변화시켜 나가면서, 상기 제 2 부분을 상기 깊이 방향으로 이동시킴으로써, 깊이 위치의 정확한 인식이 가능해진다.
제 3 목적을 달성하기 위한 발명에 따르면, 상기 포인터의 깊이 위치보다 전방에 있는 오브젝트를 투명화하여 표시한다. 그 때문에, 상기 포인터를 3차원적으로 이동시켰을 때, 상기 포인터가, 상기 포인터보다 전방에 있는 오브젝트에 숨어 보이지 않게 되는 일은 없다. 그 때문에, 상기 포인터가, 어느 오브젝트의 내측에 해당하는 위치로 이동한 경우에도 상기 포인터의 위치를 용이하게 인식할 수 있다. 또한, 상기 포인터보다 전방의 오브젝트를 투명화함으로써, 상기 투명화된 오브젝트의 내측에 숨어 있는 별개의 오브젝트의 위치를 용이하게 인식할 수 있으며, 포인팅할 수 있다. 또한, 상기 포인터를 전방으로 이동시킴으로써 투명화된 오브젝트가 원래의 불투명한 상태의 표시로 되돌아가기 때문에, 상기 투명화된 오브젝트의 표시내용도 용이하게 인식할 수 있다. 또한, 이러한 오브젝트의 투명화, 불투명화를 상기 포인터의 깊이 방향의 이동에 의해서 제어할 수 있으므로, 상기 포인터의 조작자의 편이성이 향상된다.
또한, 상기 포인터보다 전방에 있어도, 선택된 상태의 오브젝트는 투명화하지 않은 것으로 함으로써, 선택된 오브젝트의 인식이 용이해진다. 또한, 상기 포인터로부터의 깊이 방향의 거리가 큰 오브젝트만큼 투명도를 크게 함으로써, 상기 포인터의 깊이 위치나, 상기 포인터의 근방에 있는 오브젝트를 용이하게 인식할 수 있다.
또한, 상기 포인터가 포인팅하고 있는 점과 중첩되는 점을 중심으로 하여, 원형 또는 타원형, 혹은 다각형 등의 임의의 형상의 영역내에서만 투명화함으로써, 상기 오브젝트 전체가 투명화되는 것을 방지하고, 투명화, 불투명화의 전환이 연속적으로 수행되는 경우 등의, 시각적인 번잡함을 저감시킬 수 있다.
또한, 상기 포인터가 정지하고 일정시간이 경과한 경우, 상기 투명화한 오브젝트를 원래의 불투명한 상태로 되돌려 표시하는 것에 의해, 상기 포인터를 투명화한 오브젝트보다 전방까지 이동시키지 않아도, 상기 투명화한 오브젝트의 표시내용을 인식할 수 있으며, 조작자의 편이성이 더욱 향상된다.
도 1은 제 1 실시형태의 3차원 포인팅 방법의 개요를 설명하기 위한 모식도이며, 제 1 실시형태의 포인팅 방법을 실현하는 시스템의 구성예를 도시한 도면이다.
도 2는 제 1 및 제 2 실시형태의 3차원 포인팅 방법의 개요를 설명하기 위한 모식도이며, 제 1 및 제 2 실시형태의 3차원 포인팅 방법의 원리를 설명하기 위한 도면이다.
도 3은 제 1 실시형태의 3차원 포인팅 방법의 개요를 설명하기 위한 모식도이며, 제 1 실시형태의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 4a는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간의 일 예를 도시하는 정면도 및 우측도면 및 하면도이다.
도 4b는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간의 일 예를 도시하는 조감도이다.
도 5a는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 5b는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 5c는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 6a는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 6b는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 6c는 실시예 1-1, 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 7은 실시예 1-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 1-1의 3차원 포인팅 방법의 처리순서를 나타내는 순서도이다.
도 8a는 실시예 1-1, 2-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모식도이며, 표시할 포인터의 형상을 도시하는 도면이다.
도 8b는 실시예 1-1, 2-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모식도이며, 표시할 포인터의 형상을 도시하는 도면이다.
도 8c는 실시예 1-1, 2-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모식도이며, 표시할 포인터의 형상을 도시하는 도면이다.
도 8d는 실시예 1-1, 2-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모 식도이며, 표시할 포인터의 형상을 도시하는 도면이다.
도 9a는 실시예 1-2, 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 9b는 실시예 1-2, 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 9c는 실시예 1-2, 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 10a는 실시예 1-2, 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 10b는 실시예 1-2, 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 10c는 실시예 1-2, 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 11은 실시예 1-3, 2-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 12는 실시예 1-3, 2-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 13은 본 발명에 따른 실시예 1-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 1-3의 3차원 포인팅 방법의 처리순서를 도시한 순서도이다.
도 14a는 실시예 1-4, 2-4의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 14b는 실시예 1-4, 2-4의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 14c는 실시예 1-4, 2-4의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 15a는 실시예 1-4, 2-4의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 15b는 실시예 1-4, 2-4의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 15c는 실시예 1-4, 2-4의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 16a 는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 실시예 1-5, 2-5에서 이용되는 표시장치(DFD)의 원리를 설명하기 위한 도면이다.
도 16b는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 실시예 1-5, 2-5에서 이용되는 표시장치(DFD)의 원리를 설명하기 위한 도면이다.
도 17a는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간의 일 예를 도시한 정면도 및 우측도면 및 하면도이다.
도 17b는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간의 일 예를 도시한 조감도이다.
도 18a는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 18b는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 18c는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 18d는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 19a는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 19b는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 19c는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 19d는 실시예 1-5, 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 20은 실시예 1-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 1-5의 3차원 포인팅 방법의 처리순서를 나타내는 순서도이다.
도 21a는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간의 일 예를 도시한 정면도 및 우측도면 및 하면도이다.
도 21b는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간의 일 예를 도시한 조감도이다.
도 22a는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 22b는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 22c는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 23a는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 23b는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이 며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 23c는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 24a는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 24b는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 24c는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 25a는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 25a는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 25c는 실시예 1-6, 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 26은 실시예 1-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 1-6의 3차원 포인팅 방법의 처리순서를 나타내는 순서도이다.
도 27은 실시예 1-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 1-6의 3차원 포인팅 방법의 처리순서의 변형예를 도시한 순서도이다.
도 28a는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방 법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간 내의 일 예를 도시한 정면도 및 우측도면 및 하면도이다.
도 28b는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 표시장치에 표현되는 3차원 공간 내의 일 예를 도시한 조감도이다.
도 29a는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 29b는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 30a는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 30b는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 30c는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 31a는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 31b는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 32a는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 32b는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 32c는 실시예 1-6, 2-6의 3차원 포인팅 방법에서 오브젝트를 삭제하는 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 33은 실시예 1-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 실시예 1-7의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 34는 실시예 1-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 실시예 1-7의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 35a는 실시예 1-7, 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이 며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 35b는 실시예 1-7, 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 35c는 실시예 1-7, 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 36a는 실시예 1-7, 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 36b는 실시예 1-7, 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 36c는 실시예 1-7, 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다.
도 37a는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 37b는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 37c는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 38a는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 38b는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 38c는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 조감도이다.
도 39a는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 39b는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 39c는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 40a는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 40b는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 40c는 실시예 1-8, 2-8의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 입력 펜으로 조작하였을 때의 3차원 공간 내의 모습을 도시하는 정면도이다.
도 41은 제 2 실시형태의 3차원 포인팅 방법의 개요를 설명하기 위한 모식도이며, 제 2 실시형태의 포인팅 방법을 실현하기 위한 시스템의 구성예를 도시한 도 면이다.
도 42는 제 2 실시형태의 3차원 포인팅 방법의 개요를 설명하기 위한 모식도이며, 제 2 실시형태의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 43은 실시예 2-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 실시예 2-1의 3차원 포인팅 방법의 처리순서를 나타낸 순서도이다.
도 44는 실시예 2-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 2-2의 3차원 포인팅 방법의 처리순서를 나타낸 순서도이다.
도 45는 실시예 2-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예의 2-3의 3차원 포인팅 방법의 처리순서를 나타낸 순서도이다.
도 46은 실시예 2-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예의 2-5의 3차원 포인팅 방법의 처리순서를 나타낸 순서도이다.
도 47은 실시예 2-6의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예의 2-6의 3차원 포인팅 방법의 처리순서를 나타낸 순서도이다.
도 48은 실시예 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예의 2-7의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 49는 실시예 2-7의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예의 2-7의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 50은 제 3 실시형태의 3차원 포인팅 방법을 실현하기 위한 시스템의 구성예를 도시한 모식도이다.
도 51은 실시예 3-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 포인터의 조작방법을 설명하는 도면이다.
도 52는 실시예 3-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 포인터보다 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다.
도 53은 실시예 3-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 5의 3차원 공간 내의 변화의 사시도이다.
도 54는 실시예 3-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 포인터보다 앞에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다.
도 55는 실시예 3-1의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 3-1의 3차원 포인팅 방법을 시스템 제어장치(포인팅 장치)에서 실행할 때의 처리수단을 설명하기 위한 순서도이다.
도 56a는 포인터의 형상의 변형예를 도시한 모식도이며, 삼각 형상의 포인터를 도시하는 도면이다.
도 56b는 포인터의 형상의 변형예를 도시한 모식도이며, 사람의 손 형상을 가진 포인터를 도시하는 도면이다.
도 56c는 포인터의 형상의 변형예를 도시한 모식도이며, 물방울 형상의 포인 터를 도시하는 도면이다.
도 56d는 포인터의 형상의 변형예를 도시한 모식도이며, 십자 형상의 포인터를 도시하는 도면이다.
도 57은 본 실시예 3-1의 3차원 포인팅 방법에 있어서 레퍼런스를 표시하는 예를 도시한 도면이다.
도 58은 본 실시예 3-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모식도이며, 포인터보다 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시한 정면도 및 우측도면이다.
도 59는 본 실시예 3-1의 3차원 포인팅 방법의 제 1 응용예를 설명하기 위한 모식도이며, 포인터보다 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다.
도 60은 본 실시예 3-1의 3차원 포인팅 방법의 제 2 응용예를 설명하기 위한 모식도이며, 포인터보다 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시한 정면도 및 우측도면이다.
도 61은 본 실시예 3-1의 3차원 포인팅 방법의 제 3 응용예를 설명하기 위한 모식도이며, 시스템의 구성예를 도시한 도면이다.
도 62a는 본 실시예 3-1의 3차원 포인팅 방법의 제 3 응용예를 설명하기 위한 모식도이며, DFD의 작동원리를 설명하는 도면이다.
도 62b는 본 실시예 3-1의 3차원 포인팅 방법의 제 3 응용예를 설명하기 위한 모식도이며, DFD의 작동원리를 설명하는 도면이다.
도 63a는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 직선형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 63b는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 직선형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 64a는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 직선형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 64b는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 직선형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 65a는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 원호형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 65b는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 원호형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 66a는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 원호형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 66b는 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이며, 원호형의 궤적을 따라가는 경우의 응용예를 도시한 도면이다.
도 67은 실시예 3-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 포인터보다 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시한 정면도 및 우측도면이다.
도 68a는 실시예 3-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 본 실시예 3-2의 3차원 포인팅 방법에서 문제가 되는 점을 설명하는 도면이다.
도 68b는 실시예 3-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 68a에 도시된 문제점을 해결하는 방법의 일 예를 설명하는 도면이다.
도 69는 실시예 3-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 68b에 도시된 해결방법의 변형예를 설명하는 도면이다.
도 70a는 본 실시예 3-2의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 회전의 중심이 되는 점이 3차원 공간 내에서 고정되어 있는 경우의 예를 도시한 도면이다.
도 70b는 본 실시예 3-2의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 회전의 중심이 되는 점이 3차원 공간 내에서 이동하는 경우의 예를 도시한 도면이다.
도 71은 실시예 3-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 포인터보다 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다.
도 72는 실시예 3-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 71의 3차원 공간 내의 변화의 사시도이다.
도 73은 실시예 3-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 실시예 3-3의 3차원 포인팅 방법을 시스템 제어장치(포인팅 장치)에서 실행할 때의 처리순서를 설명하기 위한 순서도이다.
도 74a는 본 실시예 3의 3차원 포인팅 방법에 있어서 포인터의 연결방법을 설명하기 위한 모식도이며, XZ 평면측에서 바라본 포인터의 연결방법을 도시하는 도면이다.
도 74b는 본 실시예 3의 3차원 포인팅 방법에 있어서 포인터의 연결방법을 설명하기 위한 모식도이며, XZ 평면측에서 바라본 포인터의 연결방법을 도시하는 도면이다.
도 74c는 본 실시예 3의 3차원 포인팅 방법에 있어서 포인터의 연결방법을 설명하기 위한 모식도이며, XZ 평면측에서 바라본 포인터의 연결방법을 도시하는 도면이다.
도 74d는 본 실시예 3의 3차원 포인팅 방법에 있어서 포인터의 연결방법을 설명하기 위한 모식도이며, XZ 평면측에서 바라본 포인터의 연결방법을 도시하는 도면이다.
도 75는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 각각 포인팅하는 부분의 형상을 유지한 상태로 이동시키는 경우의 응용예를 도시한 도면이다.
도 76a는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 포인팅하는 부분의 형상을 유지한 상태로 이동시키는 경우의 응용예를 도시한 도면이다.
도 76b는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 포인팅하는 부분의 형상을 유지한 상태로 이동시키는 경우의 응용예를 도시한 도면이다.
도 77a는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 포인팅하는 부분의 형상을 변화시킨 경우의 응용예를 도시한 도면이다.
도 77b는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 포인팅하는 부분의 형상을 변화시킨 경우의 응용예를 도시한 도면이다.
도 78a는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 포인팅하는 부분의 형상을 변화시킨 경우의 응용예를 도시한 도면이다.
도 78b는 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이며, 포인팅하는 부분의 형상을 변화시킨 경우의 응용예를 도시한 도면이다.
도 79a는 제 1, 제 2 실시형태와 제 3 실시형태의 조합의 일 예를 설명하기 위한 도면이다.
도 79b는 제 1, 제 2 실시형태와 제 3 실시형태의 조합의 일 예를 설명하기 위한 도면이다.
도 79c는 제 1, 제 2 실시형태와 제 3 실시형태의 조합의 일 예를 설명하기 위한 도면이다.
도 80은 제 4 실시형태의 3차원 표시제어방법의 개요를 설명하기 위한 모식도이며, 제 4 실시형태의 3차원 표시제어방법이 적용되는 컴퓨터 시스템의 개략 구성을 도시하는 도면이다.
도 81은 제 4 실시형태의 3차원 표시제어방법의 개요를 설명하기 위한 모식도이며, 3차원 공간을 표현할 수 있는 표시장치(DFD)의 동작원리를 설명하는 도면이다.
도 82는 제 4 실시형태의 3차원 표시제어방법의 개요를 설명하기 위한 모식도이며, 표시장치상에 표현된 3차원 공간의 일 예를 도시하는 정면도 및 우측도면이다.
도 83은 제 4 실시형태의 3차원 표시제어방법의 개요를 설명하기 위한 모식도이며, 표시장치상에 표현된 3차원 공간의 일 예를 도시한 사시도(조감도)이다.
도 84는 제 4 실시형태의 3차원 표시제어방법의 개요를 설명하기 위한 모식도이며, 포인터의 조작방법의 일 예를 도시한 도면이다.
도 85는 실시예 4-1의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-1의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모습을 도시한 도면이다.
도 86은 실시예 4-1의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-1의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모습을 도시한 도면이다.
도 87은 실시예 4-1의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-1의 표시제어방법과 비교하기 위한 종래의 표시제어방법을 설명하는 3차원 공간의 모습을 도시한 도면이다.
도 88은 본 실시예 4-1의 3차원 표시제어방법을 실현하기 위한 장치에 있어서 처리순서를 나타낸 순서도이다.
도 89는 본 실시예 4-1의 3차원 표시제어방법의 응용예를 설명하기 위한 모식도이며, 응용예를 적용한 경우의 3차원 공간의 변화의 모습을 도시한 도면이다.
도 90은 본 실시예 4-1의 3차원 표시제어방법의 응용예를 설명하기 위한 모식도이며, 응용예를 실현하기 위한 장치에 있어서 처리순서를 도시한 도면이다.
도 91은 실시예 4-2의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-2의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모습을 도시한 도면이다.
도 92는 4-2의 3차원 표시방법을 설명하기 위한 모식도이며, 투명도의 결정방법의 일 예를 도시한 도면이다.
도 93은 실시예 4-2의 3차원 표시방법을 설명하기 위한 모식도이며, 본 실시예 4-2의 3차원 표시방법을 실현하기 위한 장치에 있어서 처리순서를 나타낸 순서도이다.
도 94는 실시예 4-3의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-3의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모습을 도시한 도면이다.
도 95a는 실시예 4-3의 3차원 표시제어방법을 설명하기 위한 모식도이며, 투명도의 결정방법의 일 예를 도시한 도면이다.
도 95b는 실시예 4-3의 3차원 표시제어방법을 설명하기 위한 모식도이며, 투명도의 결정방법의 일 예를 도시한 도면이다.
도 96은 실시예 4-4의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-4의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모습을 도시한 도면이다.
도 97은 실시예 4-4의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-4의 3차원 표시방법을 실현하기 위한 장치에 있어서 처리순서를 나타낸 순서도이다.
도 98은 실시예 4-5의 3차원 표시제어방법을 설명하기 위한 모식도이며, 오브젝트의 선택방법을 도시한 도면이다.
도 99는 실시예 4-5의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-5의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모습을 도시하는 도면이다.
도 100은 실시예 4-5의 3차원 표시제어방법을 설명하기 위한 모식도이며, 본 실시예 4-5의 3차원 표시방법을 실현하기 위한 장치에 있어서 처리순서를 도시한 순서도이다.
[부호의 설명]
(제 1 실시형태)
1. 시스템 제어장치
101. 입력정보 취득수단
102. 포인터 위치/회전 각도 산출수단
103. 포인터 생성수단
104. 포인팅 판정수단
105. 오브젝트 생성수단
106. 표시제어수단
2. 입력장치
201. 입력 펜
201D. 입력 펜의 버튼
201P. 입력 펜의 펜 끝
201X. 입력 펜의 케이스의 축
3. 표시장치
301. 표시장치에 표현된 3차원 공간
302. 오브젝트
303. 포인터
304. 윈도우
305. 휴지통 오브젝트
(제 2 실시형태)
1. 시스템 제어장치
101. 입력정보 취득수단
102. 포인터 위치/회전 각도 산출수단
103. 포인터 생성수단
104. 포인팅 판정수단
105. 오브젝트 생성수단
106. 표시제어수단
109. 입력정보 처리수단
2. 입력장치
201. 입력 펜
201D. 조작수단(버튼, 휠, 슬라이드바)
201P. 입력 펜의 펜 끝
201X. 입력 펜의 케이스의 축
3. 표시장치
301. 표시장치에 표현된 3차원 공간
302. 오브젝트
303. 포인터
304. 윈도우
305. 휴지통 오브젝트
(제 3 실시형태)
1. 시스템 제어장치(포인팅 장치)
101. 입력정보 취득수단
102. 포인터 위치/변형량 산출수단
103. 포인터 생성수단
104. 표시제어수단
105. 포인팅 판정수단
106. 오브젝트 생성수단
107. 처리제어수단
108. 기억수단
2. 입력장치
201. 키보드
202. 마우스
3. 표시장치
301, 301A, 301B. 표시면
4. 포인터
5. 오브젝트
(제 4 실시형태)
1. 시스템 제어장치
101. 입력정보 취득수단
102. 포인터 위치 산출수단
103. 포인터 생성수단
104. 오브젝트 변경 판정수단
105. 오브젝트 생성/투명화 수단
106. 표시제어수단
2. 입력장치
201. 휠 기능부여 마우스(마우스)
201A. 마우스 휠
3. 표시장치
301A. 전방의 표시면
301B. 후방의 표시면
4. 오브젝트
4A. 전방의 표시면에 표시된 오브젝트
4B. 후방의 표시면에 표시된 오브젝트
401. 포인터
402a~402g. 폴더 아이콘
403, 403a~403c. 윈도우
이하, 본 발명의 제 1 내지 제 4 실시형태를 설명한다. 특별히 언급하지 않는 한, 도면에 있어서 부호는 각 실시형태에 있어서 독립적으로 부여된 것으로 한다.
(제 1 실시형태)
우선, 본 발명의 제 1 실시형태에 대해서 설명한다. 제 1 실시형태는 본 발명의 제 1 목적에 대응하는 것이다.
본 발명의 제 1 실시형태의 3차원 포인팅 방법은, 3차원 표시가 가능한 표시장치에 표현된 3차원 공간상의 오브젝트를, 펜 타입의 입력장치를 이용하여 포인팅하거나, 상기 포인팅된 오브젝트의 조작을 하는 방법이다. 상기 펜 타입의 입력장치는, 예를 들면, 펜 타블렛과 같은 상기 오브젝트의 포인팅이나 조작을 수행하는 조작자가 가지고 조작을 하는 펜 타입의 조작수단(이하, 입력 펜이라고 한다)과, 상기 입력 펜의 펜 끝, 필압, 축의 방향 등의 정보를 검출하는 검출수단으로 이루어진다. 그리고 제 1 실시형태의 3차원 포인팅 방법에서는, 상기 검출수단이 검출한 정보를 기초로 포인터의 위치, 형상, 방향 등을 결정하고, 상기 표시장치에 표현된 3차원 공간상에 상기 포인터를 표시시킨다. 이렇게 함으로써, 상기 조작자는, 상기 검출수단의 검출면상에 상기 입력 펜의 펜 끝을 접촉시킨 상태에서, 상기 표시장치에 표현된 3차원 공간상의 상기 오브젝트의 포인팅이나 조작을 수행할 수 있으며, 장기간의 포인팅이나 오브젝트 조작시 상기 조작자가 느끼는 피로감을 경감시킬 수 있다.
또한, 제 1 실시형태의 3차원 포인팅 방법에서는, 상기 입력 펜의 필압을, 상기 포인터의 깊이 방향의 이동 또는 변형과 대응시키는 것으로, 상기 표시장치에 표현된 3차원 공간 내의 일점을 포인팅할 수 있게 된다. 또한, 이때 상기 입력 펜의 기울기, 방위 정보를 상기 포인터의 기울기, 방위에 반영시킴으로써, 조작자는, 상기 표시장치에 표현된 3차원 공간상에 표시된 포인터가 마치 자신이 지니고 있는 입력 펜의 펜 끝의 일부로 느낄 수 있으며, 3차원 오브젝트의 포인팅을 용이하게 그리고 직감적으로 수행하는 것이 가능하다.
또한, 제 1 실시형태의 3차원 포인팅 방법에서는, 상기 오브젝트를 포인팅한 후, 상기 포인팅된 오브젝트를, 2차원 GUI적 편집, 가공 등의 조작이 가능한 상태, 다시 말해 상기 입력 펜의 조작으로 상기 2차원 GUI상의 오브젝트를 조작하는 것이 가능한 상태로 한다. 또한 이때 상기 오브젝트 편집·가공이라는 조작이 완료된 후, 상기 오브젝트를 다시 3차원 오브젝트로서 취급하여, 조작자가 원하는 3차원 위치로 이동할 수 있도록 한다. 이와 같이 함으로써, 3차원 오브젝트의 조작을 기존의 펜 타입의 입력장치를 이용한 지금까지의 2차원 GUI에 있어서 조작과 다름없는 조작으로 실현 가능하고, 상기 조작자는, 오브젝트의 조작을 하기 위한 3차원적 입력 펜의 조작을 새롭게 습득하지 않아도 된다.
도 1 내지 도 3은, 제 1 실시형태의 3차원 포인팅 방법의 개요를 설명하기 위한 모식도이며, 도 1은 제 1 실시형태의 3차원 포인팅 방법을 실현하는 시스템의 구성예를 도시한 도면이고, 도 2는 제 1 실시형태의 3차원 포인팅 방법의 원리를 설명하기 위한 도면이고, 도 3은 제 1 실시형태의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다.
도 1에 있어서, 1은 시스템 제어장치, 101은 입력정보 취득수단, 102는 포인터 위치/회전 각도 산출수단, 103은 포인터 생성수단, 104는 포인팅 판정수단, 105는 오브젝트 생성수단, 106은 표시제어수단, 107은 포인팅 판정수단, 105는 오브젝트 생성수단, 106은 표시제어수단, 107은 처리제어수단, 108은 기억수단, 2는 입력장치, 3은 표시장치이다. 또한, 도 2에 있어서, 201P는 입력 펜의 펜 끝, 201X는 입력 펜의 케이스의 축이다. 또한, 도 3에 있어서, 201은 입력 펜, 201A는 코일, 201B는 회전각 검출용 코인, 201C는 필압 감지부이다.
제 1 실시형태의 3차원 포인팅 방법은, 예를 들면, PC 등의 시스템 제어장치에 접속된 상기 펜 타입의 입력장치를 이용하여, 상기 시스템의 제어장치에 접속된 표시장치에 표현된 3차원 공간상에 있는 포인터나 포인팅된 오브젝트를 3차원적으로 조작할 때 적용하기 적합한 포인팅 방법이다.
시스템 제어장치(1)는, 도 1에 도시된 바와 같이, 상기 입력장치(2)에서 입력된 입력정보를 취득하는 입력정보 취득수단(101)과, 상기 입력정보 취득수단(101)에서 취득한 입력정보가 포인터의 제어에 관한 정보인 경우, 상기 입력정보에 기초하여 포인터의 이동방향 및 이동량, 회전방향 및 회전 각도 등을 산출하는 포인터 위치/회전 각도 산출수단(102)과, 상기 포인터 위치/회전 각도 산출수단(102)의 산출결과에 기초한 포인터를 생성하는 포인터 생성수단(103)과, 상기 포인터 생성수단(103)에서 생성하는 포인터에 포인팅되어 있는 오브젝트가 있는지의 여부에 대한 판정을 수행하는 포인팅 판정수단(104)과, 상기 포인팅되고 있는 오브젝트가 있는 경우, 예를 들면, 그 오브젝트의 색을 변경하거나, 상기 포인터의 이동이나 회전을 추적시킨 위치나 방향의 오브젝트를 생성하는 오브젝트 생성수단(105)과, 상기 포인터 생성수단(103)에서 생성된 포인터나, 상기 오브젝트 생성수단(105)에서 생성된 오브젝트를 상기 표시장치(3)에 표시하는 표시제어수단(106)을 구비한다.
또한, 상기 시스템 제어장치(1)는, 예를 들면, 상기 PC와 같이 상기 입력장치(2)의 입력정보에 따라 소프트웨어의 기동이나 조작을 하거나, 다른 장치의 제어를 수행하는 장치이며, 도 1에 도시된 바와 같이, 상기 각 수단 외에, 예를 들면, 소프트웨어의 기동 등 처리를 제어하는 처리제어수단(107)이나, 상기 처리제어수단(107)에 의한 처리에 이용되는 데이터 등이 기억된 기억수단(108)을 포함한다. 그리고, 상기 입력정보 취득수단(101)에서 취득된 정보가 상기 포인터의 제어에 관한 정보와 다른 경우, 상기 입력정보 취득수단(101)은 상기 취득된 정보를 상기 처 리제어수단(107)으로 전송하고, 취득된 정보에 대응한 처리를 상기 시스템 제어장치(1)를 통해 수행한다. 그 때문에, 상기 표시제어수단(106)은 상기 포인터나 상기 오브젝트 이외에 상기 시스템 제어장치(1; 처리제어수단(107))에서 실행중인 처리 내용이나 처리 결과를 상기 표시수단(3)에 표시할 수 있는 수단이다.
또한, 상기 입력장치(2)는 도시는 생략되었지만 예를 들면, 상기 포인터나 오브젝트의 조작을 수행하는 조작자가 지니고 있는 펜 타입의 조작수단(입력 펜)과, 상기 입력 펜의 펜 끝의 위치, 펜 끝에 인가되는 압력(필압), 상기 입력 펜의 기울기, 방위, 회전각 등의 정보를 검출하는 검출면을 포함하는 검출수단으로 이루어진다.
도 2에 도시된 바와 같이, 상기 검출수단의 검출면상에, 상기 표시장치(3)에 표현되는 3차원 공간과 대응하는 데카르트 좌표계(Cartesian coordinate system) XYZ를 사용하여, 상기 데카르트 좌표계 XYZ의 XY 평면이 검출면으로 하면, 상기 검출수단은 상기 검출면(XY 평면)에 상기 입력 펜의 펜 끝(201P)이 접속하였을 때, 펜 끝(201P)의 좌표(x, y), 입력 펜의 케이스의 축(201X)의 방위(α; 예를 들면 0도≤α<306도), 기울기(β; 예를 들면 0도≤β≤90도), 축 주위의 회전(γ; 예를 들면 0도≤γ<360도)의 각 각도, 펜의 필압 등의 정보를 검출한다.
상기 펜 끝(201P)의 좌표, 상기 입력 펜의 케이스의 축(201X)의 방위(α), 기울기(β), 축 주위의 회전(γ), 필압 등의 정보를 검출하는 것이 가능한 입력장치(2)의 구성은, 예를 들면, 참조문헌 1(三谷 雄二, "터치패널의 기초와 응용", 테크노 타임즈사, 2001)이나 참조문헌 2(주식회사 WACOM제 intuos2의 카다로그) 등에 기재된 내용에서, 당업자라면 용이하게 추측할 수 있고, 용이하게 실현하는 것이 가능하다. 단, 상기 입력 펜의 케이스의 축(201X)의 축 주위의 회전(γ)의 각도에 대해서는, 상기 참조문헌 1이나 참조문헌 2에 기재된 구조에서는 취득할 수 없다. 그러나, 상기 축 주위의 회전(γ)의 각도를 검출하기 위해서는, 예를 들면, 도 3에 도시된 바와 같이, 상기 입력 펜(201)의 내부에 상기 참조문헌 1에 기재된 좌표지시기의 코일(201A)과 평행인 상기 축 주위의 회전(γ)을 검출하기 위한 코일(201B)을 하나 더 포함하며, 필압 감지부(201C)에 있어서 양 코일(201A, 201B)을 서로 연결하는 자속(磁束)의 변화를 각각 취득하고, 회전량을 계산하면 되는 것은 당업자라면 용이하게 생각해낼 수 있으며, 실현하는 것이 가능하다. 단, 본 실시형태의 3차원 포인팅 방법에서 사용하는 상기 입력 펜(201)은 도 3에 도시된 바와 같이, 상기 축 주위의 회전(γ)의 각도를 검출하는 기구를 구비한 구성이 아니어도 좋다.
또한, 상기 입력장치(2)는 펜 타블렛이나 펜 판넬과 스타일러스 펜의 조합과 같이 상기 입력 펜과 상기 검출수단이 분리된 장치에 한정되지 않고, 예를 들면, 펜 형태의 마우스와 같이 상기 입력 펜의 케이스 내부에 상기 검출수단이 통합되어 있는 입력장치라도 좋다.
또한, 상기 표시장치(3)는 3차원 공간을 표현할 수 있는 표시장치이면 좋고, 예를 들면 CRT 디스플레이나 액정 디스플레이와 같은 3차원 오브젝트를 2차원 평면에 투영한 형태로 표현하여 표시하는 2차원 표시장치라도 좋다. HMD(Head Mount Display)나 DFD(Depth Fused 3D; DFD에 대해서는 후술한다)와 같은 3차원 입체상을 표현하여 표시하는 것이 가능한 표시장치라도 좋다. 즉, 상기 표시장치(3)는 상기 조작자가 표시된 포인터나 오브젝트를 3차원적으로 지각하는 것이 가능하다면, 어떤 표시장치라도 좋다.
또한, 상기 입력장치(2)의 검출수단과 상기 표시장치(3)는 일체형의 형태를 취하는 것도 가능하다(예를 들면, 특개평 5-073208호 공보 참조). 상기 입력장치(2)로서 전자유도 방식의 펜 타블렛을 이용하는 경우, 상기 검출수단(디지타이저)은 상기 표시장치(3)의 표시면과 중첩되어 상기 표시장치(3)와 일체적으로 될 수 있다. 또한 동일한 형태로서 예를 들면 터치패널과 스타일러스 펜을 조합한 형태를 적용하는 것도 가능하다. 이렇게 하면, 상기 조작자는 액정 디스플레이 등의 상기 표시장치(3)의 표시면에 상기 입력 펜을 접속시켜 포인팅하는 것이 가능하게 되고, 상기 검출수단과 상기 표시장치(3)가 분리된 상태로 조작하는 경우와 비교하여 보다 직감적인 조작이 가능해진다. 단, 본 발명은 이와 같은 상기 입력장치(2)의 검출수단과 상기 표시장치(3)의 구성을 한정되지 않고 일반적인 펜 타블렛과 같은 상기 검출수단과 상기 표시장치(3)가 일체적으로 이루어지지 않아도 좋다.
[실시예 1-1]
도 4a 내지 도 7은 본 발명에 따른 실시예 1-1의 3차원 포인팅 방법을 설명하기 위한 모식도로서, 도 4a는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 정면도 및 우측도면 및 하면도이고, 도 4b는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 조감도이고, 도 5a, 도 5b, 도 5c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시한 조감도이고, 도 6a, 도 6b, 도 6c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 보습을 도시하는 정면도 및 우측도 면이고, 도 7은 본 실시예 1-1의 3차원 포인팅 방법의 처리순서를 나타내는 순서도이다. 또한, 도 6a, 도 6b, 도 6c는 각각 도 5a,도 5b, 도 5c와 대응하는 도면이다.
본 실시예 1-1의 3차원 포인팅 방법은 상기 입력 펜(201)의 필압을 변경함으로써 3차원 공간 내의 조작자가 볼 때 깊이 방향에 있는 오브젝트를 포인팅하는 방법이다.
본 실시예 1-1에서는, 상기 입력장치(2)로는 전자유도방식의 펜 타블렛, 상기 3차원 공간을 표시할 수 있는 표시장치(3)로는 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 입력장치(2)의 검출수단(디지타이저)은 상기 액정 디스플레이(3)의 표시면과 중첩되고, 표시화면상에 집적 입력 펜을 조작하고, 포인팅이 수행되는 것으로 한다. 또한, 상기 입력장치(2) 및 상기 표시장치(3)는 도 1에 도시된 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 본 실시예 1-1에서는 도 4a 및 도 4b에 도시된 바와 같이, 상기 액정 디스플레이(3)에 표현된 3차원 공간(301) 내에 도 2에서 도시된 좌표계 XYZ와 대응시킨 좌표계 XYZ를 설정하고, 오브젝트(302)가 3차원 공간(301) 내의 z<0의 위치에 배치되는 것으로 한다. 또한 상기 입력장치(2)의 입력 펜(201)을 조작하는 조작자는 상기 3차원 공간(301)의 XY 평면을 z>0의 방향에서 관찰하고 있는 것으로 한다.
또한, 본 실시예 1-1에서는, 상기 3차원 공간(301)의 z=0의 XYZ평면, 즉 상기 관찰자로부터 보아 가장 가까운 면이 상기 액정 디스플레이의 표시면인 동시에, 상기 입력장치(2)의 검출수단의 검출면으로 한다.
이 때, 상기 조작자가 도 5a 및 도 6a에 도시된 바와 같이, 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)의 표시면에 접촉시키면, 상기 표시면에 중첩된 상기 검출수단이 상기 펜 끝(201P)의 위치(좌표)나 필압 등을 검출한다. 이 때, 상기 시스템 제어장치(1)에서는 상기 입력정보 취득수단(101)에 의해 상기 검출수단이 검출한 상기 펜 끝(201P)의 위치(좌표)나 필압 등의 정보를 취득하고, 상기 포인터 위치/회전 각도 산출수단(102) 및 상기 포인터 생성수단(103)에, 상기 펜 끝(201P)이 접촉한 위치에 해당하는 상기 3차원 공간(301) 상의 위치(예를 들면, 입력 펜의 축의 3차원 공간에 있어서 연장선상의 위치)에 표시하는 포인터를 생성한다. 그리고, 상기 포인터가 생성되면, 상기 표시제어수단(106)에서 상기 표시장치(3)로 포인터 표시용의 신호가 전송되며, 예를 들면, 도 5a 및 도 6a에 도시된 바와 같이, 상기 표시장치(3)에 표현된 3차원 공간(301) 상에 상기 펜 끝(201P)의 위치 및 필압을 반영한 포인터(303)가 표시된다.
또한, 상기 조작자가 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)의 표시면에 접촉시킨 후, 예를 들면, 도 5b 및 도 6b, 혹은 도 5c 및 도 6c에 도시된 바와 같이, 상기 입력 펜(201)을 상기 액정 디스플레이(3)의 표시면으로 누르도록 하여 필압을 높이면, 상기 시스템 제어장치(1)의 상기 포인터 위치/회전 각도 산출수단(102) 및 상기 포인터 생성수단(103)에서는 상기 필압의 크기에 따른 형상의 포인터를 생성한다. 이때, 예를 들면, 상기 필압의 크기에 따라 화살표형 포인터가 길어지도록 설정하면, 상기 표시장치(3)에 표현된 3차원 공간(301) 상의 포인터(303)는 필압을 높이는 것에 의해 도 5b 및 도 6b에 도시된 바와 같이, 도 5a 및 도 6a에 도시된 포인터보다 길어진다. 또한 더 필압을 높게 하면, 도 5c 및 도 6c에 도시된 바와 같이 상기 포인터(303)가 더 길어진다.
이와 같은 포인터(303)의 표시를 상기 조작자가 상기 입력 펜(201)에 필압을 부가하는 조작을 수행하는 것과 거의 동시에 연속적으로 수행되도록 하는 것에 의해, 상기 조작자는 마치 부가된 필압에 의해 포인터가 3차원 깊이방향(z<0)으로 연장되는 것처럼 느끼는 것이 가능하다. 또한, 도시는 생략하였지만, 상기 시스템 제어장치(1)의 포인팅 판정수단(104)에 의해 상기 포인터(303; 포인터의 선두)가 목적하는 오브젝트(302)를 포인팅하였다고 판정될 때, 상기 오브젝트 생성수단(105)에서 오브젝트(302)의 색을 변경하고, 상기 3차원 공간(301)상에 표시된 오브젝트(302)의 표시를 전환하는 등의 처리를 수행하는 것에 의해, 상기 조작자에게 3차원 깊이방향(z<0)에 있는 오브젝트(302)를 포인팅하였음을 알려주는 것이 가능하다.
또한, 예를 들면, 도 5b 및 도 6b, 혹은 도 5c 및 도 6c에 도시된 바와 같이, 일반적 필압을 높여 포인터(303)를 3차원 깊이방향(z<0)으로 기울여 표시한 후, 필압을 낮춘 경우, 상기 포인터(303)를 필압을 반영한 깊이 위치까지 되돌려도 좋으면, 낮추기 전의 깊이위치에 고정시켜 두어도 좋다.
이와 같은 3차원 포인팅 방법을 실현하기 위해서는 상기 시스템 제어장치(1)에 있어서, 도 7에 도시된 바와 같이, 단계 401에서 단계 406의 처리를 실행하면 된다. 상기 시스템 제어장치(1)에서는 우선 상기 표시제어수단(106)에 의해 상기 표시장치(액정 디스플레이; 3)에 표현된 3차원 공간(301) 상에 포인터(303) 및 오 브젝트(302)를 표시해둔다(단계 401). 또한 이 때 상기 포인터(303)는 임의의 위치에 표시해둔다. 또한, 상기 입력정보 취득수단(101)은 상기 입력장치(2)의 검출수단에서 검출된 정보를 취득 가능한 상태로 둔다.
그리고, 상기 조작자가 상기 입력 펜(201)의 펜 끝(201P)을 검출수단의 검출면에 접촉시키면, 상기 검출수단이 상기 펜 끝(201P)의 위치(좌표)나 필압 등을 검출하기 때문에, 상기 입력정보 취득수단(101)은 상기 검출된 상기 펜 끝(201P)의 위치(좌표)나 필압 등의 정보를 취득한다(단계 402). 본 실시예 1-1의 3차원 포인팅 방법에서는, 상기 펜 끝(201P)의 위치(좌표)와 필압의 정보가 취득되면 되므로, 상기 단계 402에서는 상기 펜 끝(201P)의 위치(좌표)와 필압의 정보만을 취득하여도 좋지만, 상기 검출수단에서 상기 펜 끝(201P)의 위치(좌표)와 필압 외에도 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ) 등도 검출 가능하다. 그 때문에 상기 펜 끝(201P)의 위치(좌표)와 필압의 정보와 동시에 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 정보를 취득하여도 좋다.
상기 입력정보 취득수단(101)에서 상기 검출수단의 정보를 취득하면, 다음으로 상기 포인터 위치/회전 각도 산출수단(102)에 있어서, 상기 취득한 정보 중, 상기 펜 끝(201P)의 위치(좌표)와 필압의 정보를 이용하여 이들 정보를 반영하는 포인터의 위치, 방향, 길이 등을 산출한다(단계 403). 본 실시예 1-1의 3차원 포인팅 방법의 경우, 상기 단계 403에서는 상기 펜 끝(201P)의 위치(좌표)와 대응하는 상기 표시장치(3)에 표현된 3차원 공간의 XY 평면상의 위치(좌표)와, 필압과 비교하는 길이를 산출한다.
상기 단계 403의 처리가 완료되면, 다음으로 상기 포인터 생성수단(103)에서 상기 포인터 위치/회전 각도 산출수단(102)의 산출결과에 기초한 형상의 포인터를 생성하고, 상기 표시제어수단(106)에서 생성된 포인터에 관한 정보를 상기 표시장치(3)로 전송하고, 상기 3차원 공간(301) 상에 표시한다(단계 404).
또한, 상기 단계 404의 처리와 병행하여, 상기 포인팅 판정수단(104)에 있어서, 상기 포인터 위치/회전 각도 산출수단(102)에서 산출한 3차원 공간의 XY 평면상의 위치(좌표) 및 깊이 위치에 해당하는 위치에 포인팅하고 있는 오브젝트가 있는지의 여부를 판정한다(단계 405). 이 때, 포인팅하고 있는 오브젝트가 없으면, 상기 포인터(303)의 표시제어만을 수행하고, 단계 402로 되돌아가서 다음의 입력정보를 취득할 때까지 대기한다.
한편, 포인팅하고 있는 오브젝트가 있으면, 상기 오브젝트 생성수단(105)에 있어서, 예를 들면, 상기 포인팅하고 있는 오브젝트의 색을 변경한 오브젝트를 생성하고, 상기 표시제어수단(106)에서 생성된 오브젝트에 관한 정보를 상기 표시장치(3)로 전송하고, 상기 3차원 공간(301) 상에 표시한다(단계 406). 그리고 그 후, 상기 단계 402로 되돌아가 다음의 입력정보를 취득할 때까지 대기한다.
상기 시스템 제어장치(1)에 있어서, 이상의 처리를 수행하는 것에 의해 도 5a, 도 5b, 도 5c에 도시된 바와 같은 포인터의 표시제어가 가능하다.
이상 설명한 바와 같이, 본 실시예 1-1의 3차원 포인팅 방법에 따르면, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표) 및 필압에 관한 정보를 취득하고, 상기 펜 끝(201P)의 위치(좌표)와 대응하는 상기 표시장치(3)에 표현된 3차원 공간의 XY 평면상의 위치(좌표)와, 필압과 대응하는 깊이 위치를 산출하고, 산출된 위치 및 깊이 위치를 가리키는 포인터를 생성하여 표시함으로써, 상기 표시장치(3)에 표현된 3차원 공간(301) 상의 임의의 일점을 포인팅하는 것이 가능하다.
또한, 상기 입력장치(2)로서 일반적인 펜 타블렛을 이용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉한 상태에서, 상기 포인터(303)의 깊이 방향의 포인팅 위치를 변경할 수 있기 때문에, 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 1-1에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩해두면, 상기 조작자는 상기 표시면상에서 상기 입력 펜의 조작을 수행할 수 있다. 이와 같이 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201P)의 일부인 것 같은 시각 효과를 얻을 수 있으며, 상기 오브젝트(302)의 정확한 포인팅이 용이해지고, 또한 직감적인 포인팅이 가능해진다.
또한, 본 실시예 1-1에서는 상기 입력 펜(201)의 필압의 크기에 따라 길이가 변하는 상기 포인터(303)를 표시하였지만, 이것에 한정되지 않고, 예를 들면, 길이가 아닌 형상이 3차원 깊이 방향(z<0)으로 어떤 형태로 변화하는 포인터 처럼, 3차원 깊이방향(z<0)의 기울기가 변화하는 포인터와 같이, 3차원 깊이 방향(z<0)을 포인팅 가능한 것이면, 어떠한 변화라도 좋다. 또한 상기 포인터의 길이를 변화시키는 경우, 필압의 크기에 비례시켜도 좋으며, 필압의 크기의 거듭제곱이나 거듭제곱근에 비례하여도 좋다.
또한, 본 실시예 1-1에서는 상기 입력장치(2)로서 전자유도방식의 펜 타블렛을 이용하여 상기 펜 타블렛의 검출수단(디지타이저)을 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩한 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 1-1에서는 상기 입력장치(2)와 표시장치(3)의 조합으로서, 상기 전자유도방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 이용되고 있는 터치패널과 스타일러스 펜의 조합이어도 좋다.
도 8a 내지 도 8d는 본 실시예 1-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모식도이며, 도 8a, 도 8b, 도 8c, 도 8d는 각각 표시하는 포인터의 형상을 도시하는 도면이다.
본 실시예 1-1에서는 상기 포인터(303)로서 예를 들면, 도 8a에 도시된 바와 같이, 평판 모양의 화살표형 포인터(303a)를 이용하였지만, 상기 포인터(303)의 형상은 이것에 한정되지 않고, 포인팅하고 있는 위치가 시각적으로 명료한 형상이라면, 어떠한 형상이라도 좋다. 그러한 포인터의 형상으로는 예를 들면, 도 8b에 도시된 원추의 저면에 원주가 접속된 입체적인 화살표형 포인터(303b), 도 8c에 도시된 바와 같은 원추형 포인터(303c), 도 8d에 도시된 바와 같은 집게손가락으로 오브젝트를 가리키고 있는 사람 손 형상의 포인터(303d) 등이 고려될 수 있다. 또한, 도시는 생략하였지만, 도 8c에 도시된 원추형의 포인터(303c)와 유사한 다각추 형태의 포인터라도 좋다.
또한, 본 실시예 1-1에서는 상기 포인터(303)가 포인팅하고 있는 점은 화살 표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터의 어떤 부분에서도 포인팅 가능한 것으로 하거나, 포인터의 끝이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 1-1에서는 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떠한 형상이라도 좋다.
또한, 본 실시예 1-1에서는 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계를 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원이 표현 가능하다면, 3차원의 원점은 어디를 취해도 좋으며, 또한, 데카르트 좌표계일 필요도 없으며, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 1-1에서는 상기 입력 펜(201)의 필압에 주목하였지만, 여기에 후술하는 입력 펜(201)의 기울기(β)와 축 주위의 회전(γ)의 요소도 추가되어, 포인터의 기울기나 회전도 조작 가능하도록 하여도 좋다.
[실시예 1-2]
도 9a 내지 도 10c는 본 발명에 따른 실시예 1-2의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 9a, 도 9b, 도 9c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시한 조감도이고, 도 10a, 도 10b, 도 10c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시한 정면도 및 우측도면이다. 또한, 도 10a, 도 10b, 도 10c는 각각 도 9a, 도 9b, 도 9c와 대응하는 도면이다.
본 실시예 1-2의 3차원 포인팅 방법은, 상기 입력 펜(201)의 방향을 변경함으로써 3차원 공간 내의 조작자가 볼 때 깊이 방향에 있는 오브젝트를 여러 방향에서 포인팅하는 방법이다.
본 실시예 1-2에서는, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 1-1과 동일하게, 전자유도 방식의 펜 타블렛 및 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 펜 타블렛(2)의 검출수단(디지털라이저)은 상기 액정 디스플레이(3)의 표시면과 중첩된 것으로 한다.
또한, 상기 액정 디스플레이(3)에 표현되는 3차원 공간의 좌표계의 작성 방법, 상기 펜 타블렛(2)의 입력 펜(201)의 조작방법 등은, 상기 실시예 1-1에서 설명한 것으로 한다. 또한, 상기 펜 타블렛(2) 및 표시장치(3)는 도 1에 도시한 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
본 실시예 1-2의 3차원 포인팅 방법에서는, 상기 조작자가 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)에 표현된 3차원 공간(301)의 XY 평면(z=0)의 임의의 일점에 두면, 상기 시스템 제어장치(1)는 상기 입력정보수단(101)에 의해 상기 검출수단(디지타이저)이 검출한 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표), 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ), 필압 등의 정보를 취득하고, 상기 포인터 위치/회전 각도 산출수단(102) 및 상기 포인터 생성수단(103)에, 상기 펜 끝(201P)이 접촉한 위치에 해당하는 상기 3차원 공간(301) 상의 위치(예를 들면, 입력 펜의 축의 3차원 공간에 있어서 연장선상의 위치)에 표현되는 포인터를 생성시킨다. 그리고, 상기 포인터가 생성되 면, 상기 표시제어수단(106)에서 상기 표시장치(3)로 포인터 표시용의 신호가 전송되며, 예를 들면, 도 9a 및 도 10b에 도시된 바와 같이 포인터(303)가 표시된다.
또한, 상기 조작자가 상기 입력 펜(201)의 방향을 예를 들면 상기 필압을 거의 일정하게 둔 상태에서, 도 9b 및 도 10b, 혹은 도 10c 및 도 10c에 도시된 바와 같은 방향으로 변경했다고 하면, 상기 포인터 위치/회전 각도 산출수단(102) 및 상기 포인터 생성수단(103)에서는 상기 입력 펜(201)의 새로운 방위(α), 기울기(β), 축 주위의 회전(γ)으로부터 새로운 포인터의 방향을 산출하고, 산출결과에 기초한 포인터를 생성한다. 그리고 상기 표시제어수단(106)에서 상기 표시장치(3)에 새롭게 생성된 포인터 표시용의 신호를 전송하면, 도 9b 및 도 10b, 혹은 도 9c 및 도 10c에 도시된 바와 같은 포인터(303)가 표시된다.
이와 같은 포인터(303)의 표시를, 상기 조작자가 입력 펜(201)의 방향을 변경하는 조작을 수행하는 것과 거의 동시에 연속적으로 수행되도록 함으로써, 상기 조작자는 마치 펜을 기울인 방향의 펜 끝(201P)의 연장선상에 포인터(303)가 기울어져서 표시되는 것처럼 느낄 수 있다. 또한 도시는 생략하였지만, 상기 포인팅 판정수단(104)에 의해 상기 포인터(303; 포인터의 끝)가 목적하는 오브젝트를 포인팅하였을 때, 상기 오브젝트 생성수단(105)에서 그 오브젝트의 색을 변경하여, 상기 3차원 공간(301)상에 표시된 오브젝트(302)의 표시를 전환하는 등의 처리를 수행하는 것에 의해, 상기 조작자에게 3차원 깊이 방향(z<0)에 있는 오브젝트를 포인팅하였다는 것을 알리는 것이 가능하다.
또한, 도시는 생략하였지만, 상기 조작자가 상기 입력 펜(201)의 방향을 변 경하는 것과 동시에, 필압을 변경하였을 경우에, 상기 포인터 위치/회전 각도 산출수단(102) 및 상기 포인터 생성수단(103)에 있어서, 예를 들면, 상기 포인터의 방향에 추가하여 상기 실시예 1-1에서 설명한 바와 같은 필압의 크기에 비례한 길이를 산출하여, 그 산출 결과를 반영한 포인터를 생성할 수 있다.
이와 같은 3차원 포인팅 방법을 실현하기 위해서는 상기 시스템 제어장치에 있어서 도 7에 도시된 바와 같은 단계 401에서 단계 406의 처리를 실행하면 되므로 상세한 설명은 생략한다.
단, 본 실시예 1-2와 같이, 상기 입력 펜(201)의 방향을 상기 포인터에 반영하는 경우, 상기 단계 402에서는, 상기 펜 끝(201P)의 위치(좌표)와 필압 이외에 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 정보를 취득할 필요가 있다.
또한, 상기 단계 403에서는, 상기 펜 끝(201P)의 위치(좌표)와 대응하는 상기 표시장치(3)에 표현된 3차원 공간의 XY평면 상의 위치(좌표)와, 필압과 비례하는 길이에 추가해서, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)과 대응하는 상기 3차원 공간(301)상의 포인터의 방위, 기울기, 축 주위의 회전의 각도를 산출할 필요가 있다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 수행하는 것에 의해 도 9a, 도 9b, 도 9c에 도시된 바와 같은 포인터의 표시제어가 가능해진다.
이상 설명한 바와 같이, 본 실시예 1-2의 3차원 포인팅 방법에 따르면, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표) 및 필압에 추가해서, 상기 입력 펜(201) 의 방위(α), 기울기(β), 축 주위의 회전(γ)에 관한 정보를 취득하고, 상기 펜 끝(201P)의 위치(좌표)와 대응하는 상기 표시장치(3)에 표현된 3차원 공간의 XY 평면상의 위치(좌표) 및 필압과 대응하는 깊이 위치, 및 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)과 대응하는 상기 3차원 공간(301) 상의 포인터의 방위, 기울기, 축 주위의 회전의 각도를 산출하고, 산출된 위치 및 깊이 위치를 산출한 방향에서 가리키는 포인터를 생성하여 표시함으로써, 상기 표시장치(3)에 표현된 3차원 공간(301)상의 임의의 일점을 포인팅할 수 있다.
또한, 상기 입력장치(2)로서, 일반적인 펜 타블렛을 이용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉시킨 상태에서, 상기 포인터(303)의 깊이방향의 포인팅 위치를 변경하는 것이 가능하기 때문에, 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 1-2에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩해두면, 상기 조작자는, 상기 표시면상에서 상기 입력 펜의 조작을 수행할 수 있다. 이렇게 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201P)의 일부인 것처럼 시각적 효과를 얻을 수 있으며, 상기 오브젝트(302)의 정확한 포인팅이 용이해지고, 또한 직감적인 포인팅이 가능해진다.
또한, 본 실시예 1-2에서는, 포인터의 기울기, 방위, 회전이 상기 입력 펜(201)의 기울기, 방위, 회전에 각각 비례하여 변화하는 예를 나타내었지만, 이것에 한정되지 않고, 예를 들면 회전각이 아닌 형상이 3차원 깊이 방향(z<0)으로 어 떠한 변화를 하거나, 포인터의 기울기가 3차원 깊이 방향(z<0)으로 변화함으로써, 3차원 깊이 방향(z<0)을 포인팅할 수 있는 것이라면, 어떠한 변화라도 좋다. 또한, 상기 입력 펜(201)의 기울기, 방위, 회전에 각각 비례하여 포인터의 기울기, 방위, 회전을 변화시키는 경우에 한정되지 않고, 예를 들면, 상기 입력 펜(201)의 기울기, 방위, 회전 중 어느 하나가 거듭제곱 혹은 거듭제곱근에 비례하도록 하여도 좋다.
또한, 본 실시예 1-2에서는, 상기 입력장치(2)로서 전자유도 방식의 펜 타블렛을 이용하여, 상기 펜 타블렛의 검출수단(디지타이저)을 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩한 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있도록 구성하여도 좋다. 또한, 본 실시예 1-2에서는 상기 입력장치(2)와 표시장치(3)의 조합으로 하여, 상기 전자유도 방식의 펜 타블렛과 상기 액정 디스플레이를 예로서 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 이용되고 있는 터치패널과 스타일러스 펜의 조합으로 하여도 좋다.
또한, 상기 포인터의 형상은 포인팅하고 있는 위치가 시각적으로 명료한 형상이라면, 어떤 형상이라도 좋으며, 도 8a에 도시된 평판 모양의 화살표형 포인터(303a)에 한정되지 않고, 예를 들면, 도 8b에 도시된 바와 같은 원추의 저면에 원주를 접속한 입체적인 화살표형 포인터(303b), 도 8c에 도시된 바와 같은 원추형의 포인터(303c), 도 8d에 도시된 바와 같은 집게 손가락으로 오브젝트를 가리키고 있는 사람 손 형상의 포인터(303d)라도 좋다.
또한, 본 실시예 1-2에서는 상기 포인터(303)가 포인팅하고 있는 점은 화살 표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터의 어떤 부분에 있어서도 포인팅 가능한 것으로 하거나, 포인터의 끝이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 1-2에서는 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떠한 형상이라도 좋다.
또한, 본 실시예 1-2에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는 상기 실시예 1-1과 동일하게, 즉, 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원이 표현 가능하다면, 3차원 원점은 어디를 취해도 좋으며, 또한, 데카르트 좌표계일 필요도 없으며, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 1-2에서는 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)에 주목하였지만, 이것에 본 실시예 1-1에서 설명한 입력 펜(201)의 필압의 요소를 추가함으로써, 보다 직감적인 포인팅이 가능해진다.
[실시예 1-3]
도 11 내지 도 13은 본 발명에 따른 실시예 1-3의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 11은 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시한 조감도이고, 도 12는 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도이고, 도 13은 본 실시예 1-3의 3차원 포인팅 방법의 처리순서를 도시하는 순서도이다.
상기 실시예 1-1 및 실시예 1-2에서는, 상기 입력장치(2)의 입력 펜(201)의 조작에 맞추어, 상기 표시장치(3)에 표현된 3차원 공간(301)상의 포인터의 표시제어 및 포인팅된 오브젝트의 표시제어에 관한 포인팅 방법에 대해서 설명하였다.
그러나, 상기 실시예 1-1 및 실시예 1-2와 같은 방법에서 상기 3차원 공간(301)상의 오브젝트를 포인팅한 경우, 포인팅 후에 상기 오브젝트의 이동, 편집, 가공과 같은 조작이 동반되는 경우가 많다. 따라서, 본 실시예 1-3에서는 상기 3차원 공간(301) 상의 오브젝트를 포인팅한 후, 상기 입력 펜(201)을 조작하여 상기 포인팅된 오브젝트를 이동시키는 방법에 대해서 설명한다.
실시예 1-3에서는, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 1-1과 동일하게, 전자유도 방식의 펜 타블렛 및 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 펜 타블렛(2)의 검출수단(디지타이저)은 상기 액정 디스플레이(3)의 표시면과 중첩되어 있는 것으로 한다.
또한, 상기 액정 디스플레이(3)에 표현되는 3차원 공간의 좌표계의 작성 방법, 상기 펜 타블렛(2)의 입력 펜(201)의 조작 방법 등은, 상기 실시예 1-1에서 설명한 것으로 한다. 또한, 상기 펜 타블렛(2) 및 표시장치(3)는 도 1에 도시한 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 본 실시예 1-3에서는 상기 3차원 공간(301) 상의 오브젝트를 포인팅하는 방법에 대해서는 상기 실시예 1-1이나 실시예 1-2에서 설명한 방법으로도 좋으므로, 설명은 생략한다.
이 때, 예를 들어, 상기 실시예 1-1이나 실시예 1-2와 동일한 방법에 의해서 도 11 및 도 12에 도시된 바와 같이 오브젝트(302)를 포인팅한 후, 상기 오브젝트(302)를 포인팅한 것을 확인한 조작자는, 예를 들면, 상기 입력 펜(201)에 설치된 버튼(201D)을 누르는 등의 상기 오브젝트(302)를 잡는 조작을 수행한다. 그리고, 상기 입력 펜(201)의 버튼(201D)을 누르고, 그리고, 상기 입력 펜(201)의 펜 끝(201P)을 소망의 위치로 이동시킨 후, 상기 버튼(201D)을 놓는 등의 상기 오브젝트를 놓아주는 조작을 수행하면, 도 11 및 도 12에 도시된 바와 같이, 상기 입력 펜(201)의 이동에 추종하여 상기 오브젝트(302)가 3차원 공간(301)내를 이동한다. 이렇게 하면, 오브젝트를 원래의 위치에서 3차원 공간 내의 목적의 위치까지 이동시킬 수 있다. 이때, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)은 상기 표시장치(2)의 검출수단(디지타이저)으로부터, 상기 입력 펜(201)의 위치(좌표), 필압, 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 검출정보와 함께, 버튼(201D)이 눌러져 있는 것을 나타내는 정보를 취득한다. 그리고, 상기 시스템 제어장치(1)는 상기 버튼(201D)이 눌러져 있기 때문에, 상기 조작자가 상기 오브젝트(302)를 이동시키는 조작을 수행하고 있다는 것을 알 수 있다. 그 때문에, 상기 포인팅 판정수단(104) 및 오브젝트 생성수단(105)에, 상기 입력 펜(201)의 이동에 따라 움직이는 오브젝트를 생성하고, 상기 표시장치(3)에 표시하면, 상술한 오브젝트(302)의 이동 조작이 가능해진다.
이와 같이 3차원 포인팅 방법을 실현하기 위해서는, 상기 시스템 제어장치에 있어서, 도 13에 도시된 바와 같이, 단계 401에서 단계 410까지의 처리를 실행하면 된다.
한편, 도 13에 있어서, 단계 401에서 단계 406까지의 처리는, 상기 3차원 공간(301)상의 오브젝트(302)를 포인팅할 때까지의 처리이며, 도 7에 도시한 처리 단계 401에서 단계 406까지의 처리와 동일하다. 이 단계 401에서 단계 406까지의 처리는, 상기 실시예 1-1 또는 실시예 1-2에서 설명한 대로라도 좋으므로, 상세한 설명은 생략한다.
본 실시예의 3차원 포인팅 방법에서는, 상기 시스템 제어장치(1)는 상기 단계 406에서 포인팅되어 있는 오브젝트의 색을 변경하여 표시한 후, 상기 단계 402로 되돌아가지 않고, 도 13에 도시된 바와 같이, 오브젝트가 포인팅된 상태에서 상기 입력 펜(201)의 버튼(201D)이 눌러져 있는지의 여부를 판정한다(단계 407). 이러한 판정은 예를 들면, 상기 입력정보 취득수단(101)에 있어서, 상기 버튼(201D)이 눌러져 있는 것을 나타내는 정보를 취득하였는지의 여부를 판정한다. 그리고, 상기 버튼(201D)이 눌러져 있지 않으면, 상기 단계 402로 되돌아가서, 다음의 입력정보를 취득할 때까지 대기한다.
한편, 상기 버튼(201D)이 눌러져 있으면, 상기 입력정보 취득수단(101)에 있어서, 포인터에 관한 정보를 취득한다(단계 408). 이때 취득하는 정보는, 상기 실시예 1-1이나 실시예 1-2에서 설명한, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표), 필압, 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ) 정보이다.
상기 단계 408에서 상기 포인터에 관한 정보를 취득하면, 상기 포인터 위치/회전 각도 산출수단(102)에 있어서, 취득한 정보에 기초하는 포인터의 위치, 방향, 길이 등을 산출하는 것과 동시에, 상기 오브젝트의 위치, 방향을 산출한다(단계 409). 상기 포인터의 위치, 방향, 길이 등의 산출은 상기 실시예 1-1이나 실시예 1-2에서 설명한 대로이기 때문에, 상세한 설명은 생략한다. 또한, 상기 오브젝트의 위치 및 방향은, 예를 들면, 상기 포인팅되었을 경우의 오브젝트의 기준위치와 상기 포인터로 포인팅하고 있는 위치의 상대적인 위치관계가 상기 단계 409에서 산출한 포인터의 위치에서도 보존되는 위치, 방향을 산출한다.
그리고, 상기 단계 409에서 포인터의 위치, 방향, 길이 등과 상기 오브젝트의 위치, 방향을 산출하면, 상기 포인터 생성수단(103)에서 산출한 포인터의 위치, 방향, 길이에 기초한 포인터를 생성하는 것과 동시에, 상기 오브젝트 생성수단(105)에서 산출한 오브젝트의 위치, 방향에 기초한 오브젝트를 생성하고, 이들의 표시신호를 상기 표시제어수단(106)에서 상기 표시장치(3)로 전송되어, 포인터 및 오브젝트를 표시한다(단계 410).
상기 단계 410에서 포인터 및 오브젝트를 표시하면, 상기 단계 407로 되돌아가며, 상기 입력 펜(201)의 버튼(201D)이 눌러진 상태가 계속되면, 상기 단계 408에서 단계 410까지의 처리를 반복한다. 그리고, 상기 조작자가 상기 버튼(201D)을 놓은 시점에서 상기 포인터 및 오브젝트의 이동 조작이 완료된다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 수행하는 것에 의해, 도 11 및 도 12에 도시한 오브젝트의 포인팅 조작 및 이동 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 1-3의 3차원 포인팅 방법에 따르면, 상기 오브젝트를 포인팅한 후, 상기 포인팅된 오브젝트를 상기 입력 펜의 이동에 맞추어 평행 이동시킬 수 있다.
또한, 상기 입력장치(2)로서 일반적인 펜 타블렛을 이용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉한 상태에서 오브젝트를 포인팅하여 이동시킬 수 있기 때문에, 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 1-3에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩해 두면, 상기 조작자는 상기 표시면상에서 상기 입력 펜의 조작을 수행할 수 있다. 이렇게 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201)의 일부처럼 시각적 효과를 얻을 수 있으며, 상기 오브젝트(302)의 정확한 포인팅이 용이해지고, 또한 직감적인 포인팅이 가능해진다.
또한, 본 실시예 1-3에서는 상기 입력장치(2)로서 전자유도 방식의 펜 타블렛을 이용하고, 상기 펜 타블렛의 검출수단(디지타이저)을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩한 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예에서는, 상기 입력장치(2)와 표시장치(3)의 조합으로 하고, 상기 전자유도 방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 이용되고 있는 터치패널과 스타일러스 펜의 조합으로 하여도 좋다.
또한, 상기 포인터의 형상은 포인팅하고 있는 위치가 시각적으로 명료한 형상이면, 어떤 형상이라도 좋으며, 도 8a에 도시된 바와 같은 평판 모양의 화살표형 포인터(303a)에 한정되지 않고, 예를 들면, 도 8b에 도시된 바와 같은 원추의 저면에 원주가 접속된 입체적인 화살표형 포인터(303b), 도 8에 도시된 바와 같은 원추 형 포인터(303c), 도 8d에 도시된 바와 같은 집게 손가락으로 오브젝트를 가리키고 있는 사람 손 형상의 포인터(303d)라도 좋다.
또한, 본 실시예 1-3에서는, 상기 포인터(303)가 포인팅하고 있는 점은 화살표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터의 어떤 부분에 있어서도 포인팅 가능하게 하거나, 포인터의 끝이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 1-3에서는, 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떤 형상이라도 좋다.
또한, 본 실시예 1-3에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 1-1과 동일하게, 즉 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원이 표현 가능하다면, 3차원의 원점은 어디를 두어도 좋으며, 또한 데카르트 좌표계일 필요는 없으며, 예를 들면, 원주 좌표계나 구 좌표계 등이라도 좋다.
또한 본 실시예 1-3에서는 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 입력 펜(201)을 이동시켜 상기 포인팅한 오브젝트를 이동시켰지만, 이것에 한정되지 않고, 예를 들면, 키보드의 특정 키나 다른 스위치를 누르면서 입력 펜(201)을 이동시키는 등의 방법으로 상기 오브젝트를 이동시키는 것으로 하여도 좋다. 그 경우, 도 13에 도시한 단계 407에서는, 상기 오브젝트를 이동시키는 조작에 해당하는 입력정보를 취득하였는지의 여부를 판정하면 좋다.
[실시예 1-4]
도 14a 내지 도 15c는 본 발명에 따른 실시예 1-4의 3차원 포인팅 방법을 설명하기 위한 모식도로서, 도 14a, 도 14b, 도 14c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 조감도이고, 도 15a, 도 15b, 도 15c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다. 또한, 도 15a, 도 15b, 도 15c는 각각 도 14a, 도 14b, 도 14c와 대응하는 도면이다.
상기 실시예 1-3에서는 상기 표시장치(3)에 표현된 3차원 공간(301)상의 오브젝트(302)를 포인팅한 후, 상기 포인팅된 오브젝트(302)를 평행 이동하는 것이 가능한 3차원 포인팅 방법에 대해서 설명하였다.
그러나, 상기 표시장치(3)에서 표현된 3차원 공간(301)상에서는, 상기 실시예 1-3에서 설명한 바와 같은 단순한 오브젝트의 평행 이동뿐만 아니라, 3차원 공간(301)을 유효하게 이용하여, 예를 들면, 상기 포인팅된 오브젝트를 상기 3차원 공간 내에서 깊이 방향으로 기울이는 것도 가정할 수 있다. 여기서, 본 실시예 1-4에서는 오브젝트를 포인팅한 후, 연속해서 상기 포인팅된 오브젝트를 상기 3차원 공간 내 깊이 방향으로 기울이는 포인팅 방법에 대해서 설명한다.
본 실시예 1-4에서는 상기 입력장치(2) 및 상기 표시장치(3)는 각각 상기 실시예 1-1과 동일하게 전자유도 방식의 펜 타블렛 및 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 펜 타블렛(2)의 검출수단(디지타이저)은 상기 액정 디스플레이(3)의 표시면과 중첩되는 것으로 한다.
또한, 상기 액정 디스플레이(3)에 표현되는 3차원 공간의 좌표계의 작성법, 상기 펜 타블렛(2)의 입력 펜(201)의 조작방법 등은, 상기 실시예 1-1에서 설명한 대로이다. 또한, 상기 펜 타블렛(2) 및 표시장치(3)는 도 1에 도시된 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 본 실시예 1-4에서는 상기 3차원 공간(301)상의 오브젝트를 포인팅하는 방법에 대해서는, 상기 실시예 1-1이나 실시예 1-2에서 설명한 방법으로 하여도 좋으므로, 설명은 생략한다.
이 때, 상기 실시예 1-1이나 실시예 1-2와 동일한 방법에 의해, 예를 들면, 도 14a 및 도 15a에 도시된 바와 같이 오브젝트(302)를 포인팅한 후, 상기 오브젝트(302)를 포인팅한 것을 확인한 조작자는, 예를 들면, 상기 입력 펜(201)에 설치되어 있는 버튼(201D)을 누르는 등의 상기 오브젝트(302)를 잡는 조작을 한다. 그리고, 상기 입력 펜(201)의 버튼(201D)을 누르고, 상기 입력 펜(201)의 펜 끝(201P)을 상기 표시장치(3)의 표시면(검출수단의 검출면)에 접속시킨 상태에서 상기 입력 펜(201)을 원하는 방향으로 하면, 도 14b 및 도 15b, 혹은 도 14c 및 도 15c에 도시된 바와 같이, 상기 입력 펜(201)의 방향의 변화에 추종하여 상기 오브젝트(302)가 3차원 공간(301)내에서 깊이 방향으로 기울어진다. 이렇게 하면, 오브젝트(302)를 상기 3차원 공간 내(301)상에서 임의의 방향으로 기울일 수 있다. 이 때, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)은 상기 표시장치(2)의 검출수단(디지타이저)에서 상기 입력 펜(201)의 위치(좌표), 필압, 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 검출정보와 함께, 버 튼(201D)이 눌러져 있는 것을 나타내는 정보를 취득한다. 그리고, 상기 시스템 제어장치(1)는 상기 버튼(201D)이 눌러져 있기 때문에, 상기 조작자가 상기 오브젝트(302)를 이동시키는 조작을 수행하고 있다는 것을 알 수 있다. 그 때문에, 상기 포인팅 판정수단(104) 및 오브젝트 생성수단(105)에 상기 입력 펜(201)의 방향의 변화를 추적하는 오브젝트를 생성하여, 상기 표시장치(3)에 표시하면, 상술한 오브젝트(302)의 이동 조작이 가능해진다.
이와 같은 3차원 포인팅 방법을 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 예를 들면, 도 13에 도시된 바와 같이, 단계 401에서 단계 402의 처리를 실행하면 된다.
단, 상기 단계 409에서 상기 오브젝트의 위치, 방향을 산출할 때, 예를 들면, 상기 포인팅 되었을 때의 오브젝트와 상기 포인터의 상대적인 위치관계가 전부 보존되는 위치, 방향을 산출한다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 수행하는 것에 의해, 도 14a, 도 14b, 도 14c에 도시된 바와 같은 오브젝트의 포인팅 조작 및 깊이 방향으로 기울이는 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 1-4의 3차원 포인팅 방법에 따르면, 상기 오브젝트를 포인팅한 후, 상기 포인팅된 오브젝트를 상기 입력 펜(201)의 방향의 변화에 맞춰서, 동일 XY 평면 내에서 회전하거나, 깊이 방향으로 기울일 수 있다.
또한, 상기 입력장치(2)로서, 일반적인 펜 타블렛을 이용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉한 상태에서, 오브젝트를 포인팅하 고 이동시킬 수 있기 때문에, 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 1-4에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을 상기 표시장치(액정 디스플레이; 3)의 표시면과 충첩해두면, 상기 조작자는, 상기 표시면상에서 상기 입력 펜의 조작을 수행할 수 있다. 이렇게 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201)의 일부인 것처럼 시각적인 효과를 얻을 수 있으며, 상기 오브젝트(302)의 정확한 포인팅이 용이해지며, 또한 직감적인 포인팅이 가능해진다.
또한, 본 실시예 1-4에서는, 상기 입력장치(2)로서 전자유도 방식의 펜 타블렛을 이용하고, 상기 펜 타블렛의 검출수단(디지타이저)을 상기 표시장치(액정 디스플레이; 3)의 표시면과 충첩한 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있도록 구성하여도 좋다. 또한, 본 실시예 1-4에서는, 상기 입력장치(2)와 표시장치(3)의 조합으로 하여, 상기 전자유도 방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 이용되고 있는 터치 패널과 스타일러스 펜의 조합이라도 좋다.
또한, 상기 포인터의 형상은, 포인팅하고 있는 위치가 시각적으로 명료한 형상이면, 어떠한 형상이라도 좋으며, 도 8a에 도시된 평판 모양의 화살표형 포인터(303a)에 한정되지 않고, 예를 들면, 도 8b에 도시된 원추의 저면에 원주가 접속된 입체적인 화살표의 포인터(303b), 도 8c에 도시된 원추형의 포인터(303c), 도 8d에 도시된 집게 손가락으로 오브젝트를 가리키는 사람 손 형상의 포인터(303d)라도 좋다.
또한, 본 실시예 1-4에서는 상기 포인터(303)가 포인팅하고 있는 점은 화살표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터의 어떤 부분에 있어서도 포인팅 가능하게 하거나, 포인터의 끝이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 1-4에서는 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떤 형상이라도 좋다.
또한, 본 실시예 1-4에서는, 싱기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 1-1과 동일하게 즉, 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원이 표현 가능하다면 3차원의 원점은 어디를 취해도 좋으며, 또한, 데카르트 좌표계일 필요는 없으며, 예를 들면, 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 1-4에서는, 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 입력 펜(201)을 이동시켜 상기 포인팅한 오브젝트를 이동시켰지만, 이것에 한정되지 않고, 예를 들면, 키보드의 특정 키나 다른 스위치를 누르면서 입력 펜(201)을 이동시키는 등의 방법으로 상기 오브젝트를 이동시켜도 좋다. 그 경우, 도 13에 도시한 단계 407에서는, 상기 오브젝트를 이동시키는 조작에 해당하는 입력정보를 취득하였는지를 판정하면 좋다.
또한, 본 실시예 1-4에서는, 상기 포인팅된 오브젝트(302)를 동일 XY 평면 내에서 회전하거나, 깊이 방향으로 기울이는 조작방법을 설명하였지만, 그 조작방법에, 상기 실시예 1-3에서 설명한 평행 이동시키는 조작방법을 추가함으로써, 보 다 다채로운 오브젝트 조작을 수행하는 것이 가능하다.
[실시예 1-5]
도 16a 내지 도 20은 본 발명에 따른 실시예 1-5의 3차원 포인팅 방법을 설명하기 위한 모식도이며, 도 16a, 도 16b는 본 실시예 1-5에서 이용되는 표시장치(DFD)의 원리를 설명하는 도면이고, 도 17a는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 정면도 및 우측도면 및 하면도이고, 도 17b는 표시장치예 표현되는 3차원 공간의 일 예를 도시한 조감도이고, 도 18a, 도 18b, 도 18c, 도 18d는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 조감도이고, 도 19a, 도 19b, 도 19c, 도 19d는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도이고, 도 20은 본 실시예 1-5의 3차원 포인팅 방법의 처리순서를 나타내는 순서도이다. 또한, 도 19a, 도 19b, 도 19c, 도 19d는 각각 도 18a, 도 18b, 도 18c, 도 18d와 대응하는 도면으로 한다.
상기 실시예 1-3 및 실시예 1-4에서는 상기 실시예 1-1이나 실시예 1-2에서 설명한 방법으로 상기 표시장치(3)에 표현된 3차원 공간(301)내에 있는 오브젝트(302)를 포인팅한 후, 상기 포인팅된 오브젝트(302)를 XY 평면 내에서 이동 또는 회전하거나, 깊이 방향으로 기울이는 조작을 수행하는 것이 가능한 3차원 포인팅 방법에 대해서 설명하였다. 그러나, 상기 3차원 공간(301)내에 있는 오브젝트(302)를 포인팅한 후, 상기 조작자는 계속해서 수행하고 싶은 조작에는, 상기 오브젝트(302)의 이동이나 회전뿐만 아니라, 편집이나 변형 등의 지금까지의 2차원 GUI적인 조작도 있다. 상기 2차원 GUI적 조작을 수행하는 경우, 상기 실시예 1-3 및 실시예 1-4에서 설명한 방법에서는 예를 들면, 상기 조작자가 보았을 때 상기 3차원 공간(301)의 후방(먼쪽)에 있는 오브젝트를 포인팅하고 조작하고 싶을 때, 상기 오브젝트가 포인팅된 상태를 유지하기 위해, 상기 조작자는, 필압을 높인 상태로 상기 입력 펜(201)을 조작하지 않으면 안된다. 여기서, 본 실시예 1-5에서는 상기 오브젝트를 포인팅한 후, 상기 포인팅된 오브젝트를 2차원 GUI적 조작이 적용 가능한 위치로 자동적으로 이동시켜, 조작자가 목적으로 하는 편집, 변형 등을 수행한 후에, 다시 조작자는 원하는 3차원 위치로 되돌아오는 조작이 가능한 3차원 포인팅 방법에 대해서 설명한다.
또한, 본 실시예 1-5에서는 상기 입력장치(2)는 상기 각 실시예와 동일한 전자유도 방식의 펜 타블렛을 이동하는 것으로 하고, 상기 3차원 공간을 표현 가능한 표시장치(3)로서 DFD를 이용한 경우를 예로 들어 포인팅 방법 및 이것에 연결되는 오브젝트의 조작 방법에 대해서 설명한다.
상기 DFD는 예를 들면, 도 16a, 도 16b에 도시된 바와 같이, 2장 혹은 그 이상의 복수 장수의 표시면을 관찰자(조작자)가 보았을 때 중첩되도록 배치한 표시장치이며, 표시방법에 의해 통상적으로, 투과형과 휘도 변조형 2가지로 분리된다. 상기 DFD의 상세한 구성이나 동작원리에 대해서는 예를 들면, 일본특허 제3022558호 명세서나 일본특허 제3460671호 명세서 등에 기재되어 있으므로, 상세한 설명은 생략하고, 여기서는 DFD의 간단한 동작원리만을 설명한다.
여기서는 도 16a, 도 16b에 도시된 바와 같이, 2 장의 표시면(3A, 3B)이 중첩되어 있는 것으로 한다. 이때, 상기 포인터(302) 및 오브젝트(303)는 상기 2 장 의 표시면(3A, 3B)간의 3차원 공간 내에 깊이 위치를 반영하여 표시된다.
상기 DFD에 표시되는 상기 포인터(302)나 오브젝트(303)는 예를 들면, 도 16a에 도시된 바와 같이, 조작자가 보았을 때 전방의 표시면(3A) 및 후방의 표시면(3B)의 양쪽에 표시된다. 그리고 그 때, 상기 DFD가 휘도 변조형이면, 상기 전방의 표시면(3A)의 오브젝트(303A)를 휘도 LA, 상기 후방의 표시면(3B)의 오브젝트(303B)를 휘도 LB로 표시하면, 상기 3차원 공간 내에서 상기 전방의 표시면(3A)으로부터의 거리와 상기 후방의 표시면(3B)으로부터의 거리의 비가 LB:LA인 깊이 위치에 오브젝트(303)가 표시되는 것처럼 보인다.
또한, 예를 들면 도 16b에 도시된 바와 같이, 하나의 오브젝트(303)의 표시영역 내에서 휘도를 연속적으로 변화시킴으로써, 하나의 오브젝트(303)를 깊이 방향으로 기울여서 표시하는 것도 가능하다. 도 16b에 도시된 예에서는, 상기 전방의 표시면(3A)의 오브젝트(303A)의 휘도를 지면(紙面) 위에서 아래로 향하는 것에 따라 커지게 하고, 상기 후방의 표시면(3B)의 오브젝트(303B)의 휘도를 지면 아래에서 위로 향하는 것에 따라 커지게 하고 있다. 이 때문에, 상기 조작자는 지면 상방이 뒤로, 지면 하방이 앞으로 기울인 입체적인 오브젝트(303)를 관찰할 수 있다.
또한, 상세한 설명은 생략하지만, 상기 DFD가 투과형인 경우, 예를 들면, 전방의 표시면(3A)의 오브젝트(303A)를 표시하고 있는 영역의 각점(화소)의 투과도를 조절함으로써, 상기 휘도 변조형 DFD와 동일하게, 상기 전방의 표시면(3A)과 후방 의 표시면(3B) 간의 임의의 깊이 위치에 상기 포인터(302)나 오브젝트(303)의 입체상을 표시할 수 있다.
일반적인 CRT 디스플레이나 액정 디스플레이와 같은 2차원 표시장치의 경우, 상기 표현하는 상기 3차원 공간을 2차원 평면으로 투영하여 표시하는 처리가 필요하지만, 상기 DFD와 같은 3차원 표시장치의 경우, 상기 3차원 공간의 깊이방향의 위치에 따라 각 표시면상의 점(화소)의 휘도의 비율을 설정만 해두면 좋으므로, 상기 시스템 제어장치(1)에 걸리는 부하를 저감시킬 수 있다. 또한, 일반적인 CRT 디스플레이나 액정 디스플레이와 같은 2차원 표시장치의 경우, 상기 표시하는 상기 3차원 공간을 2차원 평면으로 투영하여 표시하기 때문에, 조작자에 의해, 실공간과 같은 감각으로 포인팅 조작을 하는 것은 어려운 경우가 있지만, 상기 DFD와 같은 3차원 표시장치를 이용함으로써, 보다 실공간에 근접한 감각으로 포인팅 조작을 할 수 있다. 이러한 것들로부터, 상기 DFD와 같은 3차원 표시장치를 이용함으로써, 상기 조작자는 일반적인 2차원 디스플레이를 이용하여 포인팅 조작을 하는 경우에 비해 보다 정밀하고 보다 빠르게 3차원의 깊이를 포인팅할 수 있다.
또한, 상기 표시장치(3)로서 상기 DFD를 이용한 경우에도, 상기 각 실시예에서 설명한 바와 같이, 상기 입력수단(펜 타블렛; 2)의 검출수단(디지타이저)을 상기 DFD의 표시면과 중첩하는 것이 가능하다. 또한, 상기 전자유도 방식의 펜 타블렛의 경우, 상기 검출수단의 검출면상에 Δz의 검출 가능한 범위가 있기 때문에, 상기 입력 펜의 펜 끝이 상기 검출면에 접촉하고 있지 않아도 상기 펜의 위치·기울기·방위 등의 정보를 검출할 수 있다. 그 때문에, DFD와 같은 표시면 간에 공 간이 있는 경우에도, 상기 검출수단을 DFD 표시장치의 내측에 배치해두면 상기 펜의 위치·기울기·방위 등의 정보는 취득 가능하다는 것은 당업자라면 용이하게 추측할 수 있고 실현하는 것이 가능하다. 또한, 현재는 상기 검출수단을 표시면의 내측에 배치하는 경우가 많지만, 상기 검출수단이 투명전극이면 표시면의 내측이 아니고, 외측에 배치하는 것도 가능하다. 이와 같이, 상기 검출수단을 DFD의 표시면과 중첩시킴으로써, 상기 DFD에 있어서 전방의 표시면상에서 상기 입력 펜을 조작하고, 직접 포인팅이 가능하다. 여기서, 본 실시예 1-5에서도 전자유도 방식의 펜 타블렛(2)의 검출수단과 DFD의 표시면은 중첩되어 있는 것으로 한다.
또한, 본 실시예 1-5에서는, 상기 DFD(3)의 표시면은 2장으로 하고, 도 17a 및 도 17b에 도시된 바와 같이, 상기 DFD(3)에 표현된 3차원 공간(301)내에 도 2에 도시된 좌표계 XYZ와 대응시킨 좌표계 XYZ를 설정하고, 오브젝트(302)를 3차원 공간(301)내의 z<0의 위치에 배치되는 것으로 한다. 또한, 상기 입력장치(2)의 입력 펜(201)을 조작자는, 상기 3차원 공간(301)의 XY 평면을 z>0의 방향에서 관찰하고 있는 것으로 한다.
또한 본 실시예 1-5에서는, 상기 조작자가 보았을 때 전방에 있는 표시면을 z=0으로 하고, 상기 전방에 있는 표시면이 상기 입력장치(2)의 검출수단의 검출면인 것으로 한다.
상기 조작자는 예를 들면, 상기 실시예 1-1이나 실시예 1-2에서 설명한 방법으로, 도 18a 및 도 19a에 도시된 바와 같이, 상기 3차원 공간(301)상에 입체적으로 표시된 오브젝트(302)를 포인팅한 것으로 한다. 그리고, 상기 조작자는, 상기 오브젝트(302)의 색의 변화 등으로 상기 오브젝트(302)가 포인팅되고 있는 것을 확인하고, 예를 들면, 상기 입력 펜(201)에 설치된 버튼(201D)을 1회 누르면, 상기 포인팅된 오브젝트(302)는 예를 들면, 도 18b 및 도 19b에 도시된 바와 같이, 상기 DFD의 전방의 표시면에 2차원 물체로서 표시되며, 포인터(303)가 사라진다. 도 18a에서는 상기 오브젝트(302)가 z 방향으로 두께가 없는 오브젝트로서 표시되어 있지만, 이것이 z 방향으로도 두께를 가진 입체 오브젝트인 경우에도, 이러한 과정에 있어서는 DFD를 이용한 3차원 입체 표시는 수행되지 않고, 어디까지나 2차원으로서 DFD의 전방의 표시면에 투영상으로서 상을 표시한다.
여기서 조작자는, 상기 오브젝트(302) 상에서 예를 들면, 문자를 쓰는 등의 목적하는 조작을, 2차원 GUI의 조작으로서 수행한다. 그리고 2차원 GUI의 조작이 완료된 후, 다시 한번 입력 펜(201)의 버튼(202D)을 누르면, 포인터(303)가 다시 나타나며, 상기 실시예 1-3이나 실시예 1-4에서 설명한 순서로, 예를 들면, 도 18c 및 도 19c, 혹은 도 18d 및 도 19d에 도시된, 조작자가 원하는 3차원 위치로 오브젝트(302)를 이동하거나, 깊이 방향으로 기울일 수 있다.
이와 같은 3차원 포인팅 방법을 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 20에 도시된 바와 같이, 단계 401에서 단계 415의 처리를 수행하면 좋다. 상기 시스템 제어장치(1)에서는 우선, 상기 실시예 1-1이나 실시예 1-2에서 설명한 단계 401에서 단계 406까지의 처리를 수행하며, 상기 표시장치(3)에 표현된 3차원 공간(301)상의 오브젝트(302)를 포인팅한다. 그리고 상기 단계 406에서 포인팅된 오브젝트(302)의 색을 변경하여 표시하면, 다음으로, 도 20에 도시 된 바와 같이, 상기 조작자가 상기 입력 펜(201)의 버튼(201D)을 누르는 등의 상기 포인팅된 오브젝트(302)를 2차원 GUI적 조작·편집·가공을 개시하기 위한 조작을 수행하였는지가 판정된다(단계 411). 그리고 상기 2차원 GUI적 조작·편집·가공을 개시하기 위한 조작을 수행하지 않은 경우에는 단계 402로 되돌아가 다음의 입력정보를 취득할 때까지 대기한다.
한편, 2차원 GUI적 조작·편집·가공을 개시하기 위한 조작이 수행된 경우, 다음으로, 예를 들면, 상기 표시장치(3)에 표현된 3차원 공간(301)상에 표시된 포인터(303)를 비표시하고, 상기 포인팅된 오브젝트(302)의 투영을 조작자가 보았을 때 제일 가까운 표시면에 표시한다(단계 412, 단계 413). 상기 단계 412 및 단계 413의 처리가 실행됨으로써, 상기 오브젝트(302)의 2차원 GUI적인 조작·편집·가공이 가능한 상태가 된다.
2차원 GUI적인 조작·편집·가공이 가능한 상태로 된 후, 상기 입력 펜(201)으로부터 2차원 GUI적인 조작을 접수받아 실행한다(단계 414). 또한, 단계 414의 처리 이후에는, 상기 조작자가 상기 입력 펜(201)의 버튼(201D)을 다시 누르는 등의 2차원 GUI적 조작·편집·가공을 종료하기 위한 조작을 수행하였는지를 판정한다(단계 415). 이때, 2차원 GUI적 조작·편집·가공을 종료하기 위한 조작을 수행하지 않은 경우에는, 상기 단계 414로 되돌아가 다른 2차원 GUI적 조작·편집·가공을 접수받아 실행한다.
한편, 2차원 GUI적 조작·편집·가공을 종료하기 위한 조작이 수행된 경우, 2차원 GUI적 조작을 수행하는 모드에서, 상기 실시예 1-1에서 실시예 1-4에서 설명 한 바와 같은 3차원적 포인팅 조작을 수행하는 모드로 되돌아간다. 그리고, 도 20에 도시된 바와 같이, 최초로 수행되는 단계 401에서 단계 406까지의 처리와 동등한 단계 401'에서 단계 406'까지의 처리를 수행하고, 목적하는 오브젝트를 포인팅한다.
그리고, 상기 단계 406'에서 포인팅된 오브젝트의 색을 변경하여 표시한 후에, 예를 들면, 상기 입력 펜(201)의 버튼(201D)을 누르는 등의 조작을 하여, 상기 실시예 1-3이나 실시예 1-4에서 설명한 단계 407에서 단계 410까지의 처리를 수행함으로써, 상기 포인팅된 오브젝트(302)의 3차원적 이동 조작, 회전조작, 기울이는(변형시키는) 조작이 가능해진다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 수행하는 것에 의해, 도 18a, 도 18b, 도 18c, 도 18d와 같은 포인터의 표시제어, 오브젝트의 3차원적 이동 등의 조작, 상기 오브젝트의 2차원 GUI적 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 1-5의 3차원 포인팅 방법에 따르면, 상기 입력 펜(201)의 조작만으로, 상기 실시예 1-1 내지 실시예 1-4에서 설명한 바와 같은 포인터의 3차원적 표시제어 및 오브젝트의 3차원적 이동 등의 조작에 더해, 상기 오브젝트의 2차원 GUI적 조작·편집·가공을 수행하는 것이 가능하다. 그 때문에 조작자는 오브젝트의 2차원 GUI적 조작·편집·가공을 수행하기 위한 새로운 3차원 조작을 습득할 필요가 없다.
또한, 본 실시예 1-5의 3차원 포인팅 방법에서는, 상기 입력 펜(201)의 버튼(201D)을 누르는 등의 특정한 동작을 수행함으로써, 3차원적 포인팅 조작을 수행 하는 모드에서 오브젝트의 2차원 GUI적 조작·편집·가공을 수행하는 모드로 전환한다. 이 때, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)에서 취득한 정보는, 상기 오브젝트의 2차원 GUI적 조작·편집·가공을 수행하기 위한 정보로서 처리된다. 그 때문에, 예를 들면, 조작자가 보았을 때 뒤에 있는 오브젝트를 포인팅하고 2차원 GUI적 조작·편집·가공을 수행하는 경우에, 상기 입력 펜(201)의 필압을 높게 한 상태를 유지해둘 필요가 없다. 그 결과, 상기 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 1-5에서는, 상기 입력장치(2)인 전자유도 방식의 펜 타블렛의 검출수단(디지타이저)을 3차원 공간을 표시할 수 있는 표시장치(3)인 DFD의 표시면과 중첩하고 있는 예를 들어 설명하였지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 1-5에서는, 상기 표시장치(3)로서 DFD를 이용하였지만, 이것에 한정되지 않고, 상기 실시예 1-1 내지 실시예 1-4에서 설명한 바와 같은 액정 디스플레이 등의 표시장치를 이용하여도 좋다.
또한, 본 실시예 1-5에서는, 목적하는 오브젝트(302)의 예로서 2차원적 사각형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)의 형상은 어떠한 형상이라도 좋다.
또한, 본 실시예 1-5에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는 상기 실시예 1-1과 동일하게 즉, 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원이 표현 가능하다면 3차원의 원점은 어디에 있어도 좋으며 또한, 데카르트 좌표계일 필요도 없으며, 예를 들면, 원주 좌표계나 구 좌 표계 등이라도 좋다.
또한, 본 실시예 1-5에서는 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 입력 펜(201)을 이동시켜 상기 포인팅된 오브젝트를 이동시켰지만, 이것에 한정되지 않고, 예를 들면, 키보드의 특정 키나 다른 스위치를 누르면서 입력 펜(201)을 이동시키는 등의 방법으로 상기 오브젝트를 이동시키도록 하여도 좋다. 그 경우, 도 20에 도시된 단계 407, 단계 411, 단계 415에서 상기 각각의 조작에 해당하는 입력정보를 취득하였는지의 여부를 판정하면 좋다.
또한, 본 실시예 1-5에서는 상기 오브젝트(302)에 직접 편집을 수행하는 예로서, 예를 들면, 도 18c에 도시된 바와 같이 「A」라는 문자를 기입하는 경우를 들었지만, 상기 오브젝트(302)가 파일을 나타내는 오브젝트로, 그것을 포인팅 한 후, 2차원 GUI 조작이 수행될 때, 상기 파일이 열려 그 내용을 조작자가 2차원 GUI 상에서 편집하고 파일을 닫은 후에 조작자가 원하는 3차원 위치로 이동 가능한 것으로 하여도 좋다.
[실시예 1-6]
도 21a 내지 도 27은 본 발명에 따른 실시예 1-6의 3차원 포인팅 방법을 설명하기 위한 모식도로서, 도 21a는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 정면도 및 우측도면 및, 하면도이고, 도 21b는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 조감도이고, 도 22a, 도 22b, 도 22c, 도 23a, 도 23b, 도 23c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 조감도이고, 도 24a, 도 24b, 도 24c, 도 25a, 도 25a, 도 25c는 각각 입력 펜으로 조 작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도이고, 도 26은 본 실시예 1-6의 3차원 포인팅 방법의 처리순서를 나타내는 순서도이고, 도 27은 본 실시예 1-6의 3차원 포인팅 방법의 처리순서의 변형예를 나타내는 순서도이다. 또한, 도 24a, 도 24b, 도 24c는 각각 도 22a, 도 22b, 도 22와 대응하는 도면이며, 도 25a, 도 25a, 도 25c는 각각 도 23a, 도 23b, 도 23c와 대응하는 도면이다.
본 실시예 1-6의 3차원 포인팅 방법은, 상기 실시예 1-5에서 설명한 3차원 포인팅 방법의 응용예의 하나이며, 3차원 공간(301)내에 있는 오브젝트(302)를 상기 실시예 1-1이나 실시예 1-2의 방법으로 포인팅한 후, 상기 포인팅된 오브젝트(302)를 조작자가 조작하기 쉬운 위치, 즉 지금까지의 2차원 GUI 조작이 적용 가능한 위치로 자동적으로 이동시켜, 조작자가 목적하는 편집, 가공 등을 수행한다. 그리고, 목적하는 편집, 가공이 완료된 후에, 조작자가 조작을 수행하면, 상기 오브젝트(302)가 조작자가 볼 때 3차원의 깊이 방향으로 3차원 깊이 방향에 있는 별개의 오브젝트를 간섭할 때까지 이동시키고, 별개의 오브젝트를 간섭한 후, 상기 별개의 오브젝트가 가지고 있는 속성에 따라 이동해 온 오브젝트의 상태를 변화시키는 포인팅 방법이다.
본 실시예 1-6에서는, 상기 실시예 1-5와 동일하게 상기 입력장치(2)로서 전자유도식의 펜 타블렛을 이용하며, 상기 표시장치(3)로서 DFD를 이용한 경우를 예로 들어 포인팅 방법 및 오브젝트의 조작방법에 대해서 설명한다.
또한 상기 입력장치(펜 타블렛; 2)의 검출수단(디지타이저)은, 상기 표시장치(DFD; 3)의 표시면과 중첩시켜 일체적으로 설치하는 것으로 한다.
또한, 본 실시예 1-6의 3차원 포인팅 방법을 설명함에 있어서, 예를 들면, 도 21a 및 도 21b에 도시된 바와 같이, 상기 DFD(3)의 2장의 표시면 사이에 표현된 3차원 공간(301) 내에, 좌표계 XYZ를 설정하고, 오브젝트(302)와 윈도우(304)를 3차원 공간(301) 내의 z<0의 위치에 배치한 경우를 예로 든다.
이 때, 상기 오브젝트(302)의 조작을 하고자 하는 조작자는, 우선, 도 22a 및 도 24a에 도시된 바와 같이, 상기 실시예 1-1이나 실시예 1-2에서 설명한 방법으로 상기 오브젝트(302)를 포인팅한다. 그리고, 상기 오브젝트(302)의 색의 변화 등에 의해 포인팅된 것을 확인하고, 예를 들면, 상기 입력 펜(201)에 설치된 버튼(201D)을 1회 누르면, 도 22b 및 도 24b에 도시된 바와 같이, 상기 포인팅된 오브젝트(302)가 상기 DFD의 전방의 표시면에 2차원 물체로서 표시되며, 포인터(303)가 사라진다. 본 실시예 1-6에서는 오브젝트(302)가 z 방향으로 두께가 없는 오브젝트이지만, 이것이 z 방향으로도 두께를 갖는 입체 오브젝트인 경우에도, 이 과정에 있어서는 DFD를 이용한 3차원 입체표시는 수행하지 않고, 어디까지나 2차원으로서 DFD의 전면의 표시장치로 투영상으로서 3차원상을 표시한다.
이렇게 상기 오브젝트(302)의 표시방법이 변하면, 상기 3차원 공간(301)상에서 2차원 GUI의 조작을 수행하는 것이 가능한 상태가 되기 때문에, 상기 조작자는 상기 입력 펜(201)으로 예를 들면, 도 22c 및 도 24c에 도시된 바와 같이, 상기 오브젝트(302)상에 문자를 쓰는 등의 목적하는 조작을 2차원 GUI의 조작으로서 수행할 수 있다. 그리고, 상기 조작자가 계속해서 도 23a 및 도 25a에 도시된 바와 같이, 상기 오브젝트(302)를 소망의 위치까지 2차원적 조작으로 이동시킨 후, 예를 들면, 상기 입력 펜(201)의 버튼(201)을 1회 누르면, 도 23b 및 도 25a에 도시된 바와 같이, 상기 오브젝트(302)는 상기 조작자가 볼 때 3차원 깊이 방향(z<0)으로 윈도우(304)와 간섭할 때까지 이동한다. 이 때, 상기 오브젝트(302)의 상기 3차원 깊이 방향의 z좌표가 단계적으로 작아지는 애니메이션을 부가하면, 상기 조작자에게 이동의 과정이 전달되기 쉽다. 그리고, 상기 오브젝트(302)가 상기 윈도우(304)와 간섭하면, 상기 오브젝트(302)에 대해서, 상기 윈도우(304)가 가지는 속성으로서, 윈도우상으로 이동하는 동작이 실행된다.
또한, 도 23b 및 도 25b에 도시된 바와 같이, 상기 오브젝트(302)를 자동적으로 3차원 깊이 방향(z<0)으로 이동시키는 대신, 예를 들면, 상기 실시예 1-5에서 설명한 바와 같이, 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 입력 펜(201)을 조작함으로써, 상기 오브젝트(302)를 3차원 깊이 방향(z<0)으로 이동시켜, 상기 윈도우(304)와 간섭위치까지 이동시키는 것도 가능하다.
이와 같은 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 26에 도시된 바와 같이, 단계 401에서 단계 406, 단계 411에서 단계 419까지의 처리를 수행하면 좋다. 이 때, 상기 시스템 제어장치(1)에서는 우선, 상기 실시예 1-1이나 실시예 1-2에서 설명한 단계 401에서 단계 406까지의 처리를 수행하며, 상기 표시장치(3)에 표현된 3차원 공간(301) 상의 오브젝트(302)를 포인팅한다. 그리고, 상기 단계 406에서 포인팅된 오브젝트(302)의 색을 변경시켜 표시하면, 다음으로, 도 26에 도시된 바와 같이, 상기 조작자가 상기 입력 펜(201)의 버튼(201D)을 누르는 등의 상기 포인팅된 오브젝트(302)를 2차원 GUI적 조작· 편집·가공을 개시하기 위한 조작을 수행하였는지를 판정한다(단계 411). 그리고 상기 2차원 GUI적 조작·편집·가공을 개시하기 위한 조작을 수행하지 않은 경우, 단계 402로 되돌아가 다음의 입력정보를 취득할 때까지 대기한다.
한편, 2차원 GUI적 조작·편집·가공을 개시하기 위한 조작이 수행된 경우, 다음으로, 예를 들면, 상기 표시장치(3)에 표현된 3차원 공간(301) 상에 표시된 포인터(303)를 비표시로 하고, 상기 포인팅된 오브젝트(302)의 투영을 조작자가 보았을 때 가장 가까운 표시면에 표시한다(단계 412, 단계 413). 상기 단계 412 및 단계 413의 처리가 실행됨으로써, 상기 오브젝트(302)의 2차원 GUI적 조작·편집·가공이 가능한 상태가 된다.
2차원 GUI적 조작·편집·가공이 가능한 상태가 된 후에는, 상기 입력 펜(201)으로부터의 2차원 GUI적 조작을 접수받아 실행한다(단계 414). 또한, 상기 단계 414의 처리 이후에는, 상기 조작자가 상기 입력 펜(201)의 버튼(201D)을 다시 누르는 등의 2차원 GUI적 조작·편집·가공을 종료하기 위한 조작을 수행하였는지를 판정한다(단계 415). 이때, 2차원 GUI적 조작·편집·가공을 종료하기 위한 조작을 수행하지 않은 경우에는, 상기 단계 414로 되돌아가서 다른 2차원 GUI적 조작·편집·가공을 접수하여 실행한다.
한편, 2차원 GUI적 조작·편집·가공을 종료하기 위한 조작이 수행된 경우, 2차원 GUI적 조작을 수행하는 모드에서, 상기 실시예 1-1 내지 실시예 1-4에서 설명한 바와 같은 3차원 포인팅 조작을 수행하는 모드로 되돌아간다. 그리고, 도 26에 도시된 바와 같이, 상기 오브젝트(302)를 3차원 깊이방향(z<0)으로 이동시켜 나 간다(단계 416).
또한, 상기 단계 416에 의해 상기 오브젝트(302)를 3차원 깊이 방향으로 이동시키고 있는 동안, 상기 시스템 제어장치(1)에서는 예를 들면, 상기 윈도우(304)와 같은 상기 오브젝트(303)와 간섭하는 별개의 오브젝트가 있는지의 여부를 판정한다(단계 417). 그리고, 간섭하는 오브젝트가 있는 경우, 간섭한 시점에서 상기 오브젝트(302)의 3차원 깊이 방향으로의 이동을 정지하고, 상기 오브젝트(302)에 대해서, 상기 간섭하는 별개의 오브젝트가 가지는 속성을 실행한다(단계 418).
한편, 상기 오브젝트(302)와 간섭하는 별개의 오브젝트가 없는 경우에는, 상기 오브젝트(302)를 미리 결정된 깊이 위치, 예를 들면, 단계 411 이후의 처리를 수행하기 전과 동일한 깊이 위치까지 이동시켜 표시한다(단계 419).
상기 시스템 제어장치(1)에 있어서, 도 26에 도시된 바와 같은 순서의 처리를 수행하는 것에 의해, 도 22a, 도 22b, 도 22c, 도 23a, 도 23b와 같은 일련의 포인터의 표시제어, 오브젝트의 3차원적 이동 등의 조작, 상기 오브젝트의 2차원 GUI적 조작이 가능해진다.
또한, 도 26에 도시된 처리순서에서, 상기 단계 415 이후에, 즉, 상기 2차원 GUI 조작이 가능한 상태에서 3차원적 포인팅 조작이 가능한 상태로 되돌아간 후, 단계 416과 같이 자동적으로 상기 오브젝트(302)를 깊이 방향으로 이동시키고 있지만, 이것에 한정되지 않고, 상기 조작자가, 상기 실시예 1-3이나 실시예 1-4에서 설명한 방법으로, 상기 입력 펜(201)을 조작하면서 상기 오브젝트(302)를 깊이 방향으로 이동시키도록 하여도 좋다. 이와 같은 포인팅 방법의 경우, 상기 시스템 제어장치(1)에서는 도 27에 도시된 바와 같이, 상기 단계 401에서 단계 415, 단계 417, 단계 418, 단계 420, 단계 421의 처리를 실행하면 된다.
상기 DFD(3)에 표현된 3차원 공간(301)상의 오브젝트(302)를 포인팅하고, 2차원 GUI적 조작을 수행할 때까지의 처리(단계 401에서 단계 406, 단계 411에서 단계 415)는, 도 26에 도시된 처리순서의 처리와 동일한 처리를 수행하면 좋으므로 설명은 생략한다.
그리고, 상기 단계 415에서 예를 들면, 상기 입력 펜(201)의 버튼(201D)을 1회 누르는 등의 2차원 GUI 조작이 가능한 상태에서 3차원 포인팅 조작이 가능한 상태로 되돌아가는 조작을 확인한 후에는, 상기 실시예 1-1이나 실시예 1-2에서 설명한 바와 같은 순서(단계 402'에서 단계 406')로 상기 오브젝트(302)를 포인팅한다.
상기 단계 402'에서 단계 406'에 의해 목적하는 오브젝트(302)를 포인팅하면, 다음으로, 상기 입력 펜(201)의 버튼(201D)이 눌러져 있는지의 여부를 확인한다(단계 407). 그리고, 상기 입력 펜(201)의 버튼(201D)이 눌러져 있는 것을 확인하면, 계속해서, 상기 입력 펜(201)의 조작에 맞추어, 상기 실시예 1-3이나 실시예 1-4에서 설명한 바와 같은 단계 408에서 단계 410의 처리를 수행하며, 상기 오브젝트(302)를 3차원적으로 이동시키거나, 회전 혹은 변형시킨다.
또한, 상기 시스템 제어장치(1)에서는, 상기 단계 408에서 단계 410의 처리를 수행하고, 상기 오브젝트(302)를 3차원적으로 이동시키거나, 회전 혹은 변형시키고 있는 동안, 상기 오브젝트(302)와 간섭하는 별개의 오브젝트가 있는지의 여부를 조사한다(단계 417). 그리고, 간섭하는 별개의 오브젝트가 있는 경우, 예를 들 면, 상기 간섭하는 별개의 오브젝트의 색을 변경하여 표시한다(단계 420). 또한 이와 동시에, 상기 간섭하는 별개의 오브젝트의 색을 변경하는 동시에, 상기 입력 펜(201)의 버튼(201D)이 눌러진 상태인지 확인한다. 그리고 상기 버튼(201D)이 눌러져 있는 상태이면, 상기 단계 408부터의 처리를 계속하여, 상기 오브젝트(302)의 3차원적인 이동, 회전 혹은 변형을 계속한다.
한편, 상기 간섭하는 별개의 오브젝트의 색을 변경하여 표시한 시점에서, 상기 버튼(201D)을 놓으면, 그 시점에서 상기 오브젝트(302)의 이동, 회전 혹은 변형을 정지하고, 상기 오브젝트(302)에 대해, 상기 간섭하는 별개의 오브젝트가 가지는 속성을 실행한다(단계 418).
상기 시스템 제어장치(1)에 있어서, 도 27에 도시된 바와 같은 순서의 처리를 수행함으로써, 도 22a, 도 22b, 도 22c, 도 23a, 도 23c와 같은 일련의 포인터의 표시제어, 오브젝트의 3차원적 이동 등의 조작, 상기 오브젝트의 2차원 GUI적 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 1-6의 3차원 포인팅 방법에 의하면, 3차원 공간(301)내에 있는 오브젝트(302)를 포인팅한 후, 상기 포인팅된 오브젝트(302)를 조작자가 조작하기 쉬운 위치까지 자동적으로 이동시켜, 지금까지의 2차원 GUI 조작에 의한 목적하는 편집, 가공 등을 수행하는 동시에, 목적하는 편집, 가공이 완료된 후에, 상기 오브젝트(302)가 조작자가 보았을 때 3차원의 깊이 방향으로 이동시키는 것과 동시에, 이동시킨 오브젝트(302)와 간섭하는 별개의 오브젝트가 존재하는 경우에, 상기 별개의 오브젝트가 가지는 속성에 의해 이동시킨 상기 오브젝트(302)의 상태를 변화시키는 것이 가능하다.
또한, 본 실시예 1-6의 3차원 포인팅 방법에서는, 상기 입력 펜(201)의 버튼(201D)을 누르는 등의 특정한 동작을 수행함으로써, 3차원적 포인팅 조작을 수행하는 모드에서 오브젝트의 2차원 GUI적 조작·편집·가공을 수행하는 모드로 전환한다. 이때, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)에서 취득한 정보는, 상기 오브젝트의 2차원 GUI적 조작·편집·가공을 수행하기 위한 정보로서 처리된다. 그 때문에, 예를 들면, 조작자가 보았을 때 뒤에 있는 오브젝트를 포인팅하여 2차원 GUI적 조작·편집·가공을 수행하는 경우에, 상기 입력 펜(201)의 필압을 높게 한 상태를 유지해둘 필요가 없다. 그 결과, 상기 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 1-6에서는 상기 입력장치(2)인 전자유도 방식의 펜 타블렛의 검출수단(디지타이저)을 3차원 공간을 표시 가능한 표시장치(3)인 DFD의 표시면과 중첩하고 있는 예를 들어 설명하였지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있도록 하는 구성이라도 좋다. 또한, 본 실시예 1-6에서는, 상기 표시장치(3)로서 DFD를 이용하였지만, 이것에 한정되지 않고, 상기 실시예 1-1 내지 실시예 1-4에서 설명한 바와 같은 액정 디스플레이 등의 표시장치를 이용하여도 좋다.
또한, 본 실시예 1-6에서는, 목적하는 오브젝트(302)를 예로서 2차원적 사각형 오브젝트를 들고 있지만, 이것에 한정되지 않고, 상기 오브젝트(302)의 형상은 어떠한 형상이라도 좋다.
또한, 본 실시예 1-6에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌 표계는, 상기 실시예 1-1과 동일하게, 즉, 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원이 표현 가능하다면, 3차원의 원점은 어디를 두어도 좋으며, 또한, 데카르트 좌표계일 필요도 없으며, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 1-6에서는, 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 입력 펜(201)을 이동시켜 상기 포인팅한 오브젝트를 이동시켰지만, 이것에 한정되지 않고, 예를 들면, 키보드의 특정 키나 다른 스위치를 누르면서 입력 펜(201)을 이동시키는 등의 방법으로 상기 오브젝트를 이동시키도록 하여도 좋다. 이 경우, 도 20에 도시한 단계 407, 단계 411, 단계 415에서는 상기 각각의 조작에 해당하는 입력정보를 취득하였는지의 여부를 판정하면 좋다.
또한, 본 실시예 1-6에서는 상기 오브젝트(302)에 직접 편집을 수행하는 예로서 예를 들면, 도 22c에 도시된 바와 같이 「B」라는 문자를 기입하는 경우를 들었지만, 상기 오브젝트(302)가 파일을 나타내는 오브젝트로, 그것을 포인팅 한 후, 2차원 GUI 조작이 수행될 때, 상기 파일이 열려 그 내용을 조작자가 2차원 GUI상에서 편집하고, 파일을 닫은 후에 조작자가 원하는 3차원 위치로 이동 가능한 것 등으로 해도 좋다.
또한, 본 실시예 1-6에서는 상기 별개의 오브젝트의 예로서 윈도우(304)를 들어, 상기 윈도우(304)와 간섭하였을 때 파일을 이동한다는 속성을 실행하는 경우에 대해서 설명하였지만, 이것에 한정되지 않고, 예를 들면, 다른 애플리케이션 실행용의 아이콘과 간섭하였을 때 파일을 실행한다는 속성을 실행하는 것도 가능하 다. 또한 그 이외에도, 예를 들면, 휴지통 오브젝트와 간섭하였을 때 파일을 제거한다는 속성을 실행시킬 수도 있다.
도 28a 내지 도 32c는, 본 실시예 1-6의 3차원 포인팅 방법으로 오브젝트를 제거하는 방법을 설명하기 위한 모식도로서, 도 28a는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 정면도 및 우측도면 및 하면도이고, 도 28b는 표시장치에 표현되는 3차원 공간의 일 예를 도시한 조감도이고, 도 29a, 도 29b, 도 30a, 도 30b, 도 30c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 조감도이고, 도 31a, 도 31b, 도 32a, 도 32b, 도 32c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도이다. 또한, 도 31a, 도 31b는 각각 도 29a, 도 29b와 대응하는 도면이며, 도 32a, 도 32b, 도 32c는 각각 도 30a, 도 30b, 도 30c와 대응하는 도면으로 한다.
본 실시예 1-6의 3차원 포인팅 방법에서는, 상술한 바와 같이, 오브젝트(302)를 윈도우(304)로 이동시키는 것뿐만 아니라, 예를 들면, 오브젝트(302)를 휴지통 오브젝트로 이동시켜, 삭제하는 것도 가능하다. 여기서, 도 28a 및 도 28b에 도시된 바와 같이, 상기 DFD(3)의 2장의 표시면 사이에 표현된 3차원 공간(301) 내에, 좌표계 XZY를 설정하고, 오브젝트(302)와 휴지통(305)이 3차원 공간(301) 내의 z<0의 위치에 배치된 경우를 예로 들었지만, 상기 오브젝트(302)의 삭제 순서에 대해서 설명한다.
상기 오브젝트(302)를 삭제하고자 하는 조작자는 일단, 도 29a 및 도 31a에 도시된 바와 같이, 상기 입력 펜(201)을 조작해서 삭제하고자 하는 오브젝트(302) 를 포인팅한다. 그리고, 상기 삭제하고자 하는 오브젝트(302)를 포인팅한 상태에서, 예를 들면, 상기 입력 펜(201)의 버튼(201D)을 1회 누르는 등의 특정 조작을 수행하면, 도 29b 및 도 31b에 도시된 바와 같이, 상기 포인팅된 오브젝트(302)가, 상기 전방의 표시면으로 이동하고, 2차원 GUI 조작이 가능한 상태로 변한다. 여기서, 상기 조작자는 예를 들면, 도 30a 및 도 32a에 도시된 바와 같이, 상기 포인팅된 오브젝트(302)를 휴지통(305) 위까지 이동시키고, 다시 상기 입력 펜(201)의 버튼(201D)을 1회 누르는 등의 특정 조작을 수행하면, 상기 2차원 GUI 조작이 가능한 상태에서, 3차원 포인팅이 가능한 상태로 되돌아간다. 그리고, 상기 시스템 제어장치(1)에서 수행되는 처리가 도 26에 도시된 바와 같은 순서인 경우에는, 3차원 포인팅이 가능한 상태로 되돌아간 후, 상기 오브젝트(302)가 자동적으로 3차원 깊이 방향(z<0)으로 이동하고, 상기 휴지통(305)과 간섭한 시점에서, 도 30b 및 도 32b에 도시된 바와 같이, 상기 오브젝트(302)의 표시가 사라지고, 상기 휴지통(305)이 휴지(오브젝트)가 들어 있는 상태의 표시로 전환한다.
한편, 상기 시스템 제어장치(1)에서 수행되는 처리가 도 27에 도시된 바와 같은 순서인 경우, 상기 3차원 포인팅이 가능한 상태로 되돌아간 후, 상기 조작자는 상기 입력 펜(201)을 조작하여 상기 오브젝트(302)를 상기 3차원 깊이 방향으로 이동시킨다. 그리고, 상기 오브젝트(302)가 상기 휴지통과 간섭한 시점에서, 도 30c 및 도 32c에 도시된 바와 같이, 상기 오브젝트(302)의 표시가 사라지고, 상기 휴지통(305)이 휴지(오브젝트)가 들어 있는 상태의 표시로 전환한다.
이와 같이, 본 실시예 1-6의 3차원 포인팅 방법은, 상기 오브젝트(302)와 간 섭한 오브젝트가 상기 오브젝트(302)에 대해서 속성을 실행하는 것이 가능하다면, 어떤 속성을 가지는 오브젝트라도 좋다.
[실시예 1-7]
도 33 내지 도 36c는 본 발명에 따른 실시예 1-7의 3차원 포인팅 방법을 설명하기 위한 모식도로서, 도 33 및 도 34는 본 실시예 1-7의 3차원 포인팅 방법에서 이용하는 입력 펜의 구성예를 도시하는 도면이고, 도 35a, 도 35b, 도 35c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 조감도이고, 도 36a, 도 36b, 도 36c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도 및 우측도면이다. 도 36a, 도 36b, 도 36c는 각각 도 35a, 도 35b, 도 35c와 대응하는 도면이다.
본 실시예 1-7에서는 상기 실시예 1-1 내지 실시예 1-6에서 설명한 바와 같은 3차원 포인팅 방법을 실시할 때 이용되는 입력 펜으로서, 펜 끝(201P)이 필압의 크기에 따라 입력 펜(201)의 케이스 내에 밀려들어가는 구조의 입력 펜을 이용한 경우의 포인팅 방법에 대해서 설명한다.
본 실시예 1-7에서 이용하는 입력 펜(201)은, 예를 들면, 도 33에 도시된 바와 같이, 케이스의 내부에 스프링(201E)이 들어 있고, 조작자가 상기 입력 펜(201)에 필압을 가한 경우에, 압력검지수단(201F)이 상기 스프링(201E)의 반발력으로부터 압력을 감지하는 구조를 가지는 것으로 한다. 또한, 상기 입력 펜(201)의 구성은 도 33에 도시된 바와 같은 구성에 한정되지 않고, 예를 들면, 도 34에 도시된 바와 같이, 공기압식의 피스톤(201G)을 이용하여, 공기압 감지부(201H)에 있어서, 가해진 압력을 감지하는 구조라도 좋다. 도 33 또는 도 34에 도시된 바와 같은 구성의 입력 펜(201)에서 감지된 압력은 상기 시스템 제어장치(1)에서 연산처리되고, 예를 들면, 조작자가 가한 압력에 비례하는 길이의 포인터(303)가 표시장치에 표시된다.
본 실시예 1-7에서는, 도 33 또는 도 34에 도시된 바와 같은 구성의 입력 펜(201)을 이용하여 상기 표시장치(3)에 표현된 3차원 공간의 포인팅을 수행하는 경우를 예로서, 상기 실시예 1-1에서 설명한 포인팅 방법을 실시하는 경우를 든다. 이 때, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 1-1과 동일하게 전자유도 방식의 펜 타블렛과 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 입력장치(2)의 검출수단(디지타이저)은, 상기 액정 디스플레이(3)의 표시면과 중첩되어 있는 것으로 한다.
이 때, 상기 조작자는, 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)의 XY 평면(z=0)의 임의의 일점에 두면, 예를 들면, 도 35a 및 도 36a에 도시된 바와 같이, 상기 액정 디스플레이(3)의 3차원 공간(301)상에, 원추형 등의 상기 입력 펜(201)의 펜 끝(201P)의 형상을 반영한 형상의 포인터가 표시된다.
그리고, 상기 조작자는 상기 입력 펜(201)의 필압을 높여 나가면, 예를 들면, 도 35b 및 도 36b, 혹은 도 35c 및 도 36d에 도시된 바와 같이, 상기 입력 펜(201)의 필압의 크기에 따라 표시되는 상기 포인터(303)의 크기가 변한다. 이러한 상기 포인터(303)의 크기 제어는, 상기 실시예 1-1에서 설명한 바와 같은 순서로 수행하면 좋으므로 상세한 설명은 생략한다.
이 때, 예를 들면, 도 35b 및 도 36b, 혹은 도 35c 및 도 36d에 도시된 바와 같이, 원추형의 상기 포인터(303)의 크기를, 상기 입력 펜(201)의 펜 끝(201P)의 케이스에 밀려들어가는 길이와 비례시킴으로써, 예를 들면, 상기 실시예 1-1에서 설명한 바와 같은 방법과 비교해서, 상기 포인터(303)가 상기 펜 끝(201P)의 일부라는 시각적 효과를 더욱 높아질 것으로 생각된다.
또한, 본 실시예 1-7에서는, 펜 끝이 들어가는 구조의 입력 펜(201)의 예로서, 도 33 및 도 34에 도시된 바와 같이, 스프링과 공기압을 이용한 기구의 입력 펜을 예로 들었지만, 같은 효과가 얻어진다면, 다른 기구의 입력 펜이라도 좋다. 또한, 펜의 케이스의 내부에 압력검지부(201F), 공기압 검지부(201H)를 설치하는 대신, 예를 들면, 펜 끝(201P)이 들어간 이동량을 측정하는 기구를 구비하는 등, 동일한 효과가 얻어진다면, 다른 기구의 입력 펜이라도 좋다.
또한, 본 실시예 1-7에서는 상기 실시예 1-1에서 설명한 3차원 포인팅 방법을 실시하는 경우를 예로 들었지만, 이것에 한정되지 않고, 상기 실시예 1-2 내지 실시예 1-6에서 설명한 바와 같은 포인팅 방법을 실시하는 경우에도, 도 33 및 도 34에 도시된 바와 같은 구성의 입력 펜(201)을 이용하는 것이 가능한 것은 물론이다.
[실시예 1-8]
도 37a 내지 도 40c는, 본 발명에 따른 실시예 1-8의 3차원 포인팅 방법을 설명하기 위한 모식도로서, 도 37a, 도 37b, 도 37c, 도 38a, 도 38b, 도 38c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 조감도이고, 도 39a, 도 39b, 도 39c, 도 40a, 도 40b, 도 40c는 각각 입력 펜으로 조작하였을 경우의 3차원 공간 내의 모습을 도시하는 정면도이다. 또한, 도 39a, 도 39b, 도 39c는 도 37a, 도 37b, 도 37c와 대응하는 도면이며, 도 40a, 도 40b, 도 40c는 각각 도 38a, 도 38b, 도 38c와 대응하는 도면으로 한다.
본 실시예 1-8에서는 상기 실시예 1-1 내지 실시예 1-6에서 설명한 바와 같은 3차원 포인팅 방법의 구체적인 이용 장면(scene)으로서, 3차원 표시가 가능한 표시화면과, 펜 타블렛의 검출수단을 내장하고 있는, 음악 재생 기능을 조작하기 위한 리모콘을 예로 든다. 본 실시예 1-8에서는, 상기 입력 펜(201)을 조작하였을 때의 리모컨의 표시화면 상의 포인터 및 오브젝트의 표시제어의 순서는, 상기 실시예 1-1 내지 실시예 1-7에서 설명한 순서와 동일하면 되므로 상세한 설명은 생략한다.
이 때, 상기 조작자는, 상기 실시예 1-7에서 설명한 바와 같은, 펜 끝(201P)이 케이스 내로 밀려들어가는 입력 펜(201)을 이용하여, 예를 들면, 도 37a 및 도 39a에 도시된 바와 같은, 상기 리모컨의 3차원 공간(301)에 표시된 오브젝트를 조작한다. 우선, 예를 들면, 도 37b 및 도 39b에 도시된 바와 같이, 상기 조작자는, 상기 입력 펜(201)을 조작하여 재생 버튼(302a)을 포인팅하면, 상기 재생버튼(302a)이 눌러진 상태의 표시로 전환하고 음악의 재생이 개시된다.
또한, 예를 들면, 도 37c 및 도 39c에 도시된 바와 같이, 상기 입력 펜(201)을 조작하여 볼륨 손잡이(302b)를 포인팅하고, 예를 들면, 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 손잡이(302b)를 회전시키도록 상기 입력 펜을 이동시키 면, 재생 중인 음악의 볼륨을 높이거나 낮출 수 있다.
또한, 볼륨을 높이거나 낮추는 경우, 도 37c 및 도 39c에 도시된 바와 같은 조작에 한정되지 않고, 예를 들면, 도 38a 및 도 40a에 도시된 바와 같이, 상기 손잡이(302b)의 중심 부근에서 상기 손잡이(302b)를 포인팅한 후, 상기 입력 펜(201)을 축 중심으로 회전시킴으로써, 상기 손잡이(302b)를 회전시켜, 볼륨을 높이거나 낮출 수도 있다.
또한, 예를 들면, 도 38b 및 도 40b에 도시된 바와 같이, 재생 중인 음악에 관한 정보가 표시되고 있는 영역(302c)을 상기 입력 펜(201)으로 포인팅하였을 때, 도 38c 및 도 40c에 도시된 바와 같이, 상기 영역(302c)이 2차원적인 표시로 전환되어 2차원 GUI 조작이 가능한 상태가 될 수 있도록 해두면, 예를 들면, 손으로 쓴 문자의 인식기능 등과 조합하여, 상기 영역(302c)에 재생하고자 하는 음악의 트랙 번호를 입력하고, 목적하는 트랙 번호로 스킵할 수 있다.
이와 같이, 상기 실시예 1-1 내지 실시예 1-6의 3차원 포인팅 방법을 이용함으로써, 3차원 공간(301)의 조작 버튼 등의 오브젝트를 용이하게, 그리고 직감적으로 조작할 수 있다.
또한, 본 실시예 1-8에서는, 리모콘을 이용한 음악기기의 조작예를 나타내었지만, 이것에 한정되지 않고, 예를 들면, PDA이거나, 휴대전화, 또는 키오스크(kiosk) 단말이나 ATM 등 동일한 형태가 취해지는 기기의 조작에 적용할 수도 있으며, 각각의 기기를 보다 직감적으로 조작하는 것이 가능해진다. 또한, 조작에 있어서도, 본 실시예에서는 음악을 재생하여 볼륨을 높이고, 트랙을 변경하는 조작 을 수행하였지만, 이것에 한정되지 않고, 상기 입력 펜(201)의 조작과 관련되는 조작이라면, 어떠한 조작이라도 가능하다.
또한, 본 실시예에 있어서는, 트랙번호을 입력함에 수기(손으로 씀) 인식을 이용하였지만, 2차원 GUI에서 실현 가능한 것이라면, 어떠한 방법이라도 좋으며, 예를 들면, 풀다운 메뉴로 트랙번호를 표시하고 입력 펜(201)으로 선택하도록 한 입력방법이라도 좋다.
또한, 상기 3차원 포인팅 장치는, 상기 3차원 포인팅 방법의 실현에 특화된 전용의 장치일 필요는 없으며, 예를 들면, 도 1에 도시된 바와 같이, PC 등의 컴퓨터(시스템 제어장치)와, 상기 컴퓨터에 상기 각 실시예에서 설명한 바와 같은 3차원 포인팅 방법을 실행시키는 3차원 포인팅 프로그램에 의해 실현할 수도 있다. 이 경우, 상기 3차원 포인팅 프로그램은, 상기 컴퓨터에서 판독이 가능한 상태로 기록되어 있으면, 자기적, 전기적, 광학적 기록매체 중 어느 하나에 기록되어 있어도 좋다. 또한, 상기 3차원 포인팅 프로그램은 예를 들면, 상기 기록매체에 기록되어 제공될 뿐만 아니라, 인터넷 등의 네트워크를 통해 제공되는 것도 가능하다.
(제 2 실시형태)
다음으로, 본 발명의 제 2 실시형태에 대해서 설명한다. 제 2 실시형태는 제 1 실시형태와 동일하게 본 발명의 제 1 목적에 대응하는 것이다. 제 1 실시형태는, 입력 펜의 필압 혹은 기울기 등에 따라 포인터를 제어하는 것임에 반해, 제 2 실시형태는, 입력 펜의 펜 끝의 접촉시간 혹은 입력 펜에 부착된 조작수단의 조작량 등에 따라 포인터를 제어하는 것이다. 제 1 실시형태와 제 2 실시형태에서 포인터를 제어하기 위한 입력 펜의 조작내용이 다르지만, 실현하고자 하는 것은 동일하기 때문에, 적절한 제 1 실시형태의 도면을 참조하여 제 2 실시형태를 설명한다.
제 2 실시형태의 3차원 포인팅 방법은, 3차원 표시가 가능한 표시장치에 표현된 3차원 공간상의 오브젝트를, 펜 타입의 입력장치(수단)를 이용하여 포인팅하거나, 포인팅된 오브젝트의 조작을 하는 방법이다. 상기 펜 타입의 입력장치는, 예를 들면, 펜 타블렛과 같이 상기 오브젝트의 포인팅이나 조작을 수행하는 조작자가 가지고 조작을 하는 입력 펜(전자펜)과, 상기 입력 펜의 펜 끝의 접촉의 유무, 위치, 축의 방향, 상기 입력 펜이 구비되는 조작수단의 조작정보 등의 정보를 검출하는 검출수단으로 이루어진다. 그리고, 본 실시형태의 3차원 포인팅 방법에서는, 상기 검출수단에서 검출한 정보를 기초로, 포인터의 위치, 형상, 방향 등을 결정하고, 상기 표시장치에 표현된 3차원 공간에 상기 포인터를 표시한다. 이렇게 함으로써, 상기 조작자는 상기 검출수단의 검출면상에 상기 입력 펜의 펜 끝을 접촉시킨 상태에서, 상기 표시장치에 표현된 3차원 공간상의 상기 오브젝트의 포인팅이나 조작을 수행할 수 있으며, 장시간의 포인팅이나 오브젝트 조작시의 상기 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시형태의 3차원 포인팅 방법에서는, 상기 입력 펜의 펜 끝으로 계속해서 가리키는 시간, 또는 상기 입력 펜의 조작수단의 조작 상황을, 상기 포인터의 깊이 방향의 이동 또는 변형과 대응시키는 것으로, 상기 표시장치에 표현된 3차원 공간 내의 일점을 포인팅할 수 있도록 한다. 또한, 상기 입력 펜의 기울기, 방위 정보를 상기 포인터의 기울기, 방위에 반영시킴으로써, 상기 조작자는, 상기 표시장치에 표현된 3차원 공간상에 표시된 포인터가 마치 자신이 가지고 있는 입력 펜의 펜 끝의 일부인 것처럼 느껴질 수 있어, 3차원 오브젝트의 포인팅을 용이하게 그리고 직감적으로 수행하는 것이 가능해진다.
또한, 본 실시형태의 3차원 포인팅 방법에서는, 상기 오브젝트를 포인팅한 후, 상기 포인팅된 오브젝트를 선택 또는 잡는 조작을 수행함으로써, 상기 오브젝트를 2차원 GUI적 편집, 가공 등의 조작이 가능한 상태, 바꿔 말하면 상기 입력 펜의 조작으로 상기 2차원 GUI상의 오브젝트를 조작하는 것이 가능한 상태로 한다. 또한, 상기 오브젝트의 편집, 가공과 같은 처리(조작)가 종료한 후, 상기 오브젝트를 다시 한번 3차원 오브젝트로서 취급하고, 조작자가 원하는 3차원 위치로 이동 가능하도록 한다. 이와 같이 함으로써, 3차원 오브젝트의 조작을 기존의 펜 타입의 입력장치를 이용한 지금까지의 2차원 GUI에 있어서의 조작과 다름없는 조작으로 실현 가능하다. 그 때문에, 상기 조작자는 예를 들면, 상기 오브젝트를 조작하기 위한 상기 3차원적인 입력 펜의 조작을 새롭게 습득하지 않아도 된다.
도 41은 본 실시형태의 3차원 포인팅 방법을 실현하는 시스템 구성예를 도시한 도면이다. 도 41에 있어서, 1은 시스템 제어장치, 101은 입력정보 취득수단, 102는 포인터 위치/회전 각도 산출수단, 103은 포인터 생성수단, 104는 포인팅 판정수단, 105는 오브젝트 생성수단, 106은 표시제어수단, 107은 처리제어수단, 108은 기억수단, 2는 입력장치, 3은 표시장치이다. 또한, 도 42는 본 실시형태의 3차원 포인팅 방법에서 이용되는 입력 펜의 구성예를 도시한 도면이다. 도 42에 있어 서, 201은 입력 펜, 201A는 코일, 201B는 회전각 검출용 코일, 201D는 조작수단(버튼), 201D1, 201D2는 시소형 버튼 또는 휠 혹은 슬라이드형의 바, 201D3은 누름버튼이다. 또한, 이하 설명에서는, 특히 설명이 없는 한 201D1, 201D2는 시소형 버튼, 201D3은 누름버튼이라고 한다. 또한, 상기 입력 펜(201)은 동일한 기능을 달성하는 것이라면, 상기 기구에 한정되지 않는 것은 당연하다.
본 실시형태의 3차원 포인팅 방법은, 예를 들면, PC 등의 시스템 제어장치에 접속된 상기 펜 타입의 입력장치를 이용하여, 상기 시스템 제어장치에 접속된 표시장치에 표현된 3차원 공간상에 있는 포인터나, 상기 포인터로 포인팅된 오브젝트를 3차원적으로 조작할 때 적용하기에 바람직한 포인팅 방법이다.
상기 시스템 제어장치(1)는 예를 들면, 도 41에 도시된 바와 같이, 상기 입력장치(2)에서 입력된 입력정보를 취득하는 입력정보 취득수단(101)과, 상기 입력정보 취득수단(101)에서 취득한 입력정보가 포인터의 제어에 관한 정보인 경우, 상기 입력정보에 기초하여 입력장치(2)에서 계속해서 가리키는 시간이나, 상기 입력장치(2)가 구비하는 조작수단의 조작정보(버튼이 눌러져 있는 시간이나 회수)를 산출하는 입력정보 처리수단(109)과, 상기 입력정보에 기초하여 포인터의 이동방향 및 이동량, 회전방향 및 회전 각도 등을 산출하는 포인터 위치/회전 각도 산출수단(102)과, 상기 포인터 위치/회전 각도 산출수단(102)의 산출결과에 기초한 포인터를 생성하는 포인터 생성수단(103)과, 상기 포인터 생성수단(103)에서 생성하는 포인터에 포인팅되고 있는 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수 단(104)과, 상기 포인팅되고 있는 오브젝트가 있는 경우, 예를 들면, 그 오브젝트의 색을 변경하거나, 상기 포인터의 이동이나 회전을 따라 움직인 위치나 방향의 오브젝트를 생성하거나 하는 오브젝트 생성수단(105)과, 상기 포인터 생성수단(103)에서 생성한 포인터나, 상기 오브젝트 생성수단(105)에서 생성한 오브젝트를 상기 표시장치(3)에 표시하는 표시제어수단(106)을 구비한다.
또한, 상기 시스템 제어장치(1)는 예를 들면, 상기 PC와 같이, 상기 입력장치(2)에서 입력된 입력정보에 따라 소프트웨어의 기동이나 조작을 하거나, 다른 장치의 제어를 수행하는 장치이며, 도 41에 도시된 바와 같이, 상기 각 수단 이외에도 예를 들면, 소프트웨어의 기동 등의 처리를 제어하는 처리제어수단(107)이나, 상기 처리제어수단(107)에 의한 처리에서 이용되는 데이터 등이 기억된 기억수단(108)을 구비한다. 그리고, 상기 입력정보 취득수단(101)에서 취득된 정보가, 상기 포인터의 제어에 관한 정보와 다른 경우, 상기 입력정보 취득수단(101)은, 상기 취득된 정보를 상기 처리제어수단(107)으로 전송하고, 취득된 정보에 따른 처리를 상기 시스템 제어장치(1)에서 실행한다. 그 때문에, 상기 표시제어수단(106)은 상기 포인터나 상기 오브젝트 이외에, 상기 시스템 제어장치(1; 처리제어수단(107))에서 실행중인 처리의 내용이나, 처리 결과를 상기 표시장치(3)에 표시하는 것도 가능한 수단으로 한다.
또한, 상기 입력장치(2)는, 도시하지 않았지만, 예를 들면, 상기 포인터나 오브젝트의 조작을 수행하는 조작자가 지니는 입력 펜(전자펜)과, 상기 입력 펜의 펜 끝의 접촉의 유무, 위치, 상기 입력 펜이 구비하는 버튼 등의 조작수단의 상태, 상기 입력 펜의 기울기, 방위, 회전각 등의 정보를 검출하는 검출면을 가지는 검출수단으로 이루어진 것으로 한다.
제 1 실시형태와 동일하게, 상기 검출수단의 검출면상에 도 2에 도시된 바와 같은 상기 표시장치(3)에 표현된 3차원 공간과 대응하는 데카르트 좌표계 XYZ를 작성하고, 상기 데카르트 좌표계 XYZ의 XY 평면이 검출면이라고 하면, 상기 검출수단은, 상기 검출면(XY 평면)에 상기 입력 펜의 펜 끝(201P)이 접촉하였을 때, 펜 끝(201P)의 접촉의 유무, 접촉위치의 좌표(x, y), 입력 펜의 케이스의 축(201X)의 방위(α; 예를 들면 0도≤α<360도), 기울기(β; 예를 들면 0도≤β≤90도), 축 주위의 회전(γ; 예를 들면 0도≤γ<360도)의 각 각도의 정보를 검출한다.
제 1 실시형태와 동일하게, 상기 입력 펜의 펜 끝(201P)의 접촉의 유무, 접촉 위치의 좌표(x, y), 상기 입력 펜의 케이스의 축(201)의 방위(α), 기울기(β), 축 주위의 회전(γ) 등의 정보를 검출하는 것이 가능한 입력장치(2)의 구성은, 예를 들면, 참조문헌 1(三谷 雄二, "터치패널의 기초와 응용", 테크노 타임즈사, 2001)이나 참조문헌 2(주식회사 WACOM제 intuos2의 카달로그) 등에 기재된 내용으로, 당업자라면 용이하게 추측할 수 있으며, 용이하게 실현하는 것이 가능하다. 단, 상기 입력 펜의 케이스의 축(201X)의 축 주위의 회전(γ)의 각도에 대해서는, 상기 참조문헌 1이나 참조문헌 2에 기재된 구조로는 취득할 수 없다. 그러나, 상기 축 주위의 회전(γ)의 각도를 검출하기 위해서는, 예를 들면, 도 42에 도시된 바와 같이, 상기 입력 펜(201)의 내부의, 상기 참조문헌 1에 기재되어 있는 좌표지시기의 코일(201A)과 평행하게, 상기 축 주위의 회전(γ)을 검출하기 위한 코 일(201B)을 하나 더 구비하며, 양 코일(201A, 201B)을 서로 연결하는 자속의 변화를 각각 취득하고, 회전량을 계산하면 좋다는 것은, 당업자라면 용이하게 상상할 수 있으며, 실현하는 것은 가능하다. 단, 본 실시형태의 3차원 포인팅 방법에서 사용하는 상기 입력 펜(201)은, 도 42에 도시된 바와 같은, 상기 축 주위의 회전(γ)의 각도를 검출하는 기구를 구비한 구성이 아니어도 좋다.
또한, 상기 입력장치(2)는 예를 들면, 펜 타블렛이나 터치패널과 스타일러스 펜의 조합과 같이, 상기 입력 펜과 상기 검출수단이 분리된 장치에 한정되지 않고, 예를 들면, 펜 타입 마우스와 같이, 상기 입력 펜의 케이스의 내부에 상기 검출수단이 통합되어 있는 입력장치라도 좋다.
또한, 상기 표시장치(3)는 3차원 공간을 표현 가능한 표시장치라면 좋고, 예를 들면, CRT 디스플레이나 액정 디스플레이와 같이 3차원 오브젝트를 2차원 평면으로 투영한 형태로 표현하여 표시하는 2차원 표시장치라도 좋으며, HMD(Head Mount Display)나 DFD와 같은 3차원 입체상을 표현하여 표시하는 것이 가능한 표시장치라도 좋다. 즉, 상기 표시장치(3)는 상기 조작자가 표시된 포인터나 오브젝트를 3차원적으로 지각하는 것이 가능하다면 어떠한 표시장치라도 좋다.
또한, 상기 입력장치(2)의 검출수단과 상기 표시장치(3)는 일체형의 형태를 취해도 좋다(예를 들면, 특개평 5-073208호 공보를 참조). 상기 입력장치(2)로서 예를 들면, 전자유도 방식의 펜 타블렛을 이용하는 경우, 상기 검출수단(디지타이저)은 상기 표시장치(3)의 표시면과 중첩되며, 상기 표시장치(3)와 일체적으로 할 수 있다. 또한, 동일한 형태로서 예를 들면, 터치패널과 스타일러스 펜을 조합한 형태를 적용하는 것도 가능하다. 이렇게 하면, 상기 조작자는 액정 디스플레이 등의 상기 표시장치(3)의 표시면에 상기 입력 펜을 접촉시켜 포인팅하는 것이 가능해지며, 상기 검출수단과 상기 표시장치(3)가 분리된 상태로 조작하는 경우와 비해, 보다 직감적인 조작이 가능해진다. 단, 본 발명은 이와 같은 상기 입력장치(2)의 검출수단과 상기 표시장치(3)의 구성을 한정하지 않고, 일반적인 펜 타블렛과 같이, 상기 검출수단과 상기 표시장치(3)가 일체적으로 이루어지지 않아도 좋다.
[실시예 2-1]
다음으로, 실시예 2-1을 설명한다. 실시예 2-1은 실시예 1-1과 동일하게 오브젝트를 선택 또는 잡는 경우의 실시예이며, 실시예 1-1의 도 4 내지 도 6을 이용하여 설명한다. 또한, 도 43을 참조하여 실시예 2-1의 처리순서를 설명한다. 또한, 도 5b, 도 6b, 도 6c에 있어서 입력 펜에 압력을 가하는 방향의 화살표가 기재되어 있지만, 본 실시예 2-1에서는 이러한 화살표가 없는 것으로 한다.
본 실시예 2-1의 3차원 포인팅 방법은, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단의 검출면에 접촉시켜, 시소형 버튼(201D1, 201D2)을 이용하여 3차원 공간 내의 조작자가 보았을 때 깊이 방향에 있는 오브젝트를 포인팅하고, 나아가 누름버튼(201D3)을 이용하여 오브젝트를 선택 또는 잡는 방법이다.
본 실시예 2-1에서는 상기 입력장치(2)에는 전자유도 방식의 펜 타블렛, 상기 3차원 공간을 표시할 수 있는 표시장치(3)에는 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 입력장치(2)의 검출수단(디지타이저)은 상기 액정 디스플 레이(30의 표시면과 중첩되어 있으며, 표시화면상에 직접 입력 펜을 조작하여 포인팅, 나아가 선택 또는 잡는 조작이 수행되는 것으로 한다. 또한, 상기 입력장치(2) 및 상기 표시장치(3)는 도 41에 도시된 바와 같은 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 본 실시예 2-1에서는 실시예 1-1과 동일하게, 도 4a 및 도 4b에 도시된 바와 같이, 상기 액정 디스플레이(3)에 표현된 3차원 공간(301)내에, 도 2에서 도시한 좌표계(XYZ)와 대응한 좌표계(XYZ)를 설정하고, 오브젝트(302)가 3차원 공간(301)의 z<0의 위치에 배치되어 있는 것으로 한다. 또한 이 때, 상기 입력장치(2)의 입력 펜(201)을 조작하는 조작자는, 상기 3차원 공간(301)의 XY 평면을 z>0의 방향에서 관찰하고 있는 것으로 한다.
또한, 본 실시예 2-1에서는, 상기 3차원 공간(301)의 z=0의 XY 평면, 즉 상기 조작자가 보았을 때 가장 가까운 면이 상기 액정 디스플레이의 표시면임과 동시에, 상기 입력장치(2)의 검출수단의 검출면인 것으로 한다.
상기 조작자가 예를 들면, 도 5a 및 도 6a에 도시된 바와 같이, 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)의 표시면에 접촉시키면, 상기 표시면에 중첩된 상기 검출수단이 상기 펜 끝(201P)의 위치(좌표)를 검출한다. 다음으로, 상기 시스템 제어장치(1)에서는, 펜 끝(201P)이 접촉한 상태에서 시소형 버튼(201D1, 201D2) 중 어느 하나가 눌러진 것을 판정하고, 나아가, 상기 입력정보 취득수단(101)에 의해 상기 검출수단이 검출한 상기 펜 끝(201P)의 위치(좌표) 등 의 정보를 취득하고, 상기 포인터 위치/회전 각도 산출수단(102) 및 상기 포인터 생성수단(103)에 상기 펜 끝(201P)이 접촉한 위치에 해당하는 상기 3차원 공간(301)상의 위치에 표시하는 포인터를 생성한다. 그리고, 상기 포인터가 생성되면, 상기 표시제어수단(106)에서 상기 표시장치(3)로 포인터 표시용의 신호가 전송되며, 예를 들면, 도 5a 및 도 6a에 도시된 바와 같이, 상기 표시장치(3)에 표현된 3차원 공간(301)상에, 상기 펜 끝(201P)이 접촉한 상태에서 상기 시소형 버튼(201D1, 201D2) 중 어느 하나가 눌러진 시간(또는 회수)을 반영한 포인터(303)가 표시된다.
또한, 상기 조작자가 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)의 표시면에 접촉된 그대로의 상태로, 나아가, 상기 시소형 버튼(201D1, 201D2) 중 어느 하나를 누르면, 상기 시스템 제어장치(1)의 입력정보 처리수단(109) 및 상기 포인터 위치/회전 각도 산출수단(102), 및 상기 포인터 생성수단(103)에서는, 상기 시소형 버튼(201D1, 201D2) 중 어느 하나를 누르고 있는 시간(또는 회수)에 따른 형상의 포인터를 생성한다. 이 때, 예를 들면, 상기 시소형 버튼(201D1)이 눌러져 있는 시간(또는 회수)에 비례하여 화살표 모양의 포인터가 길어지도록 해두면, 상기 시소형 버튼(201D1)을 누르는 시간(또는 회수)을 길게(또는 많게)하는 것에 의해, 도 5b 및 도 6b에 도시된 바와 같이, 상기 포인터(303)가 도 5a 및 도 6a에 도시된 포인터보다 길어진다. 또한, 상기 시소형 버튼(201D1)을 더 장시간 계속 해서 누르면(또는 다수회 누르면), 도 5c 및 도 6c에 도시된 바와 같이, 상기 포인터(303)가 더 길어진다.
한편, 예를 들면, 상기 시소형 버튼(201D2)이 눌러진 시간(또는 회수)에 따라서 상기 화살표 모양의 포인터가 짧아지도록 해두면, 상기 시소형 버튼(201D2)을 누르는 시간(또는 회수)을 길게(또는 많게)하는 것에 의해, 도 5c 및 도 6c에 도시된 바와 같이 긴 포인터가 도 5b 및 도 6b에 도시된 바와 같이 짧아진다. 또한, 상기 시소형 버튼(201D2)을 장시간 더 계속해서 누르면(또는 다수회 누르면), 도 5a 및 도 6a에 도시된 바와 같이, 상기 포인터(303)가 더 짧아진다.
이와 같은 포인터(303)의 표시를, 상기 조작자가 상기 입력 펜(201)을 접촉시켜, 상기 시소형 버튼(201D1, 201D2)을 누르는 것과 거의 동시에 연속적으로(또는 소정의 단계적으로) 수행되도록 함으로써, 상기 조작자는, 상기 시소형 버튼(201D1, 201D2)을 누른 시간(또는 회수)에 의해 상기 포인터(303)가 3차원 깊이 방향(z<0)으로 연장되어 가는 것처럼 느끼는 것이 가능하다. 또한, 상기 포인터(303)의 길이의 최대값과 최소값은 조작자가 설정할 수 있도록 하여도 좋으며, 미리 시스템에서 설정해두어도 좋다. 또한, 도시는 생략하였지만, 상기 포인터(303)의 끝이 목적하는 오브젝트(302)의 근방(예를 들면 10 픽셀의 범위내)을 포인팅한 곳에서, 상기 오브젝트 생성수단(105)에 의해 오브젝트(302)의 색을 변경하는 등의 처리를 수행하는 것에 의해, 조작자에게 오브젝트(302)를 포인팅하고 있는 사실을 전달한다. 그 때, 조작자가, 예를 들면, 상기 입력 펜(201)의 누름 버튼(201D3)을 눌렀다고 하면, 상기 시스템 제어장치(1)의 포인팅 판정수단(104)이 오브젝트(302)에 대해 선택 또는 잡는 조작이 이루어졌다고 판정하고, 상기 오브젝트의 색을 변경한 상태를 유지한다. 또한, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출면에서 분리한(띄어놓은) 경우, 상기 펜 끝(201P)을 분리한(띄어놓은) 시간에 따라서, 상기 포인터(303)를, 펜 끝(201P)을 상기 검출면에서 분리하기(띄어놓기) 직전의 상태에서 일정의 속도로 짧게 하여도 좋으며, 펜 끝을 상기 검출면에서 분리하기(띄어놓기) 직전의 상태로 고정시켜도 좋다.
이와 같은 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 43에 도시된 바와 같이, 단계 401에서 단계 410의 처리를 실행하면 된다. 즉, 상기 시스템 제어장치(1)에서는, 우선, 상기 표시제어수단(106)에 의해, 상기 표시장치(액정 디스플레이; 3)에 표현된 3차원 공간(301) 상에 오브젝트(302)를 표시해둔다(단계 401). 또한, 이때, 상기 입력정보 취득수단(101)은, 상기 입력장치(2)의 검출수단에서 검출된 정보를 취득 가능한 상태로 해둔다.
그리고, 상기 조작자가, 상기 입력 펜(201)의 펜 끝(201P)을 검출수단의 검출면에 접촉시키면, 상기 검출수단이 상기 펜 끝(201P)의 위치(좌표) 등을 검출하므로, 상기 입력정보 취득수단(101)은, 상기 검출된 상기 펜 끝(201P)의 위치(좌표) 등의, 상기 입력 펜(201)의 상태를 나타내는 정보를 취득한다(단계 402). 본 실시예 2-1의 3차원 포인팅 방법에서는, 상기 펜 끝(201P)의 위치(좌표)의 정보만 을 취득하여도 좋지만, 상기 검출수단에서는, 상기 펜 끝(201P)의 위치(좌표) 외에도, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ) 등도 검출 가능하다. 그 때문에, 상기 펜 끝(201P)의 위치(좌표)의 정보와 함께, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 정보를 취득하여도 좋다.
다음으로, 상기 입력정보 처리수단(109)에 의해, 상기 입력 펜(201)의 시소형 버튼(201D1, 201D2) 중 어느 하나가 눌러져 있는지의 여부를 판정하고, 어느 하나가 눌러져 있는지의 정보를 출력한다. 이 처리는, 예를 들면, 도 43에 도시된 바와 같이, 우선, 상기 버튼(201D1)이 눌러져 있는지의 여부를 판정하고(단계 403a), 눌러져 있는 경우에 그 정보를 상기 포인터 위치/회전 각도 산출수단(102)으로 출력한다(단계 404a). 또한, 상기 버튼(201D1)이 눌러져 있지 않은 경우에는, 상기 버튼(201D2)이 눌러져 있는지의 여부를 판정하고(단계 403b), 눌러져 있는 경우에는 그 정보를 상기 포인터 위치/회전 각도 산출수단(102)으로 출력한다(단계 404b).
다음으로, 상기 포인터 위치/회전 각도 산출수단(102)에 있어서, 상기 취득한 정보 중, 상기 펜 끝(201P)의 위치(좌표)와, 상기 시소형 버튼(201D1, 201D2) 중 어느 하나가 눌러져 있는지의 여부의 정보를 이용하여, 이들 정보를 반영하는 포인터의 위치, 방향, 길이 등을 산출한다(단계 405). 본 실시예 2-1의 3차원 포인팅 방법의 경우, 상기 단계 405에서는, 상기 펜 끝(201P)의 위치(좌표)와 대응한다. 상기 표시장치(3)에 표현된 3차원 공간(301)의 XY 평면상의 위치(좌표)와, 상기 시소형 버튼(201D1, 201D2) 중 어느 하나가 눌러져 있는 시간(또는 회수)과 비례하는 길이를 산출한다.
또한, 본 실시예 2-1과 같이, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표)의 정보만을 이용하고, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 정보를 이용하지 않는 경우에는, 상기 포인터의 방향은 항상 일정하게 포인터의 표시를 수행한다. 그 때문에, 상기 단계 405에 있어서, 상기 포인터의 방향을 산출할 필요는 없다.
상기 단계 405의 산출처리가 끝나면, 다음으로, 상기 포인터 생성수단(103)에 있어서, 상기 포인터 위치/회전 각도 산출수단(102)의 산출결과에 기초한 형태의 포인터를 생성하고, 상기 표시제어수단(106)에서 상기 생성된 포인터에 관한 정보를 상기 표시장치(3)로 전송하고, 상기 3차원 공간(301) 상에 표시한다(단계 406).
또한, 상기 시스템 제어장치(1)에서는, 상기 단계 406의 처리와 병행하여, 상기 포인팅 판정수단(104)에 있어서, 상기 포인터 위치/회전 각도 산출수단(102)에서 산출한 3차원 공간의 XY 평면상의 위치(좌표) 및 깊이 위치에 해당하는 위치에 포인팅하고 있는 오브젝트가 있는지의 여부에 대한 판정을 수행한다(단계 407). 상기 단계 407의 판정은, 예를 들면, 도 43에 도시된 바와 같이, 상기 포인터의 끝, 바꿔 말하면, 상기 포인터가 포인팅하고 있는 위치에서 10 픽셀 이내에 오브젝 트가 있는지의 여부를 판정한다. 또한, 도 43에서는, 10 픽셀 이내로 하고 있지만, 이것에 한정되지 않고, 다른 조건으로 판정하여도 좋다. 포인팅하고 있는 오브젝트가 있는지의 여부에 대한 판정은, 제 1 실시형태에서도 여기서 설명한 방법으로 수행하는 것이 가능하다. 그리고, 포인팅하고 있는 오브젝트가 없다면, 상기 포인터(303)의 표시제어만을 수행하고, 단계 402로 되돌아가 다음의 입력정보를 취득한다.
한편, 포인팅하고 있는 오브젝트가 있다면, 상기 오브젝트 생성수단(105)에 있어서, 예를 들면, 상기 포인팅하고 있는 오브젝트의 색을 변경한 오브젝트를 생성하고, 상기 표시제어수단(106)에서 상기 생성된 오브젝트에 관한 정보를 상기 표시장치(2)로 전송하고, 상기 3차원 공간(301) 상에 표시한다(단계 408). 또한, 상기 포인팅 판정수단(104)에 있어서, 상기 입력 펜(201)의 누름 버튼(201D3)이 눌러진 경우에는, 상기 포인팅하고 있는 오브젝트(302)를 선택, 또는 잡는 것이 가능하다(단계 410). 또한, 상기 누름 버튼(201D3)이 눌러져 있지 않은 경우에는, 상기 단계 402로 되돌아가 다음의 입력정보를 취득한다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 수행함에 의해, 도 5a, 도 5b, 도 5c에 도시된 바와 같은 포인터(303)의 표시제어가 가능해진다.
또한, 상기 단계 401에서 단계 406의 처리가 이미 수행된 상태, 즉, 상기 포인터가 상기 표시장치(3)에 표시된 상태에서, 상기 단계 405에 의해 상기 포인터의 길이를 산출하는 경우, 예를 들면, 상기 입력정보 처리수단(109)에서 상기 버 튼(201D1)이 눌러져 있는 것을 나타내는 정보가 입력되었을 때에는, 상기 포인터의 위치/회전 각도 산출수단(102)은, 상기 포인터의 길이를 소정의 길이만큼 길게 하도록 한다. 또한, 상기 입력정보 처리수단(109)으로부터 상기 버튼(201D2)이 눌러져 있는 것을 나타내는 정보가 입력되었을 때에는, 상기 포인터 위치/회전 각도 산출수단(102)은, 상기 포인터의 길이를 소정 길이만큼 짧게 하도록 한다. 이와 같은 처리 루프를 반복해서 실행하는 것에 의해, 상기 시소형 버튼(201D1, 201D2)이 눌러진 시간(또는 회수)에 대응하는 길이의 포인터를 표시하는 것이 가능해진다.
이상 설명한 바와 같이, 본 실시예 2-1의 3차원 포인팅 방법에 따르면, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표) 및 검출수단의 검출면에 관한 정보를 취득하고, 상기 펜 끝(201P)의 위치(좌표)와 대응하는 상기 표시장치(3)에 표현된 3차원 공간의 XY평면상의 위치(좌표)와, 상기 입력 펜(201)의 시소형 버튼(201D1, 201D2)이 눌러진 시간(또는 회수)과 대응하는 깊이 위치를 산출하고, 산출한 위치 및 깊이 위치를 가리키는 포인터를 생성하여 표시함으로써, 상기 표시장치(3)에 표현된 3차원 공간(301) 상의 임의의 일점을 포인팅할 수 있다. 또한, 상기 입력 펜(201)의 누름버튼(201D3)이 눌러져 있는지의 여부를 판정함으로써, 상기 포인터로 포인팅한 오브젝트를 선택 또는 잡을 수 있다.
또한, 상기 입력장치(2)로서, 일반적인 펜 타블렛을 이용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉시킨 상태에서, 상기 포인터(303)의 깊이 방향의 포인팅 위치를 변경할 수 있으므로, 조작자의 피로감을 경감시킬 수 있다.
또한, 본 실시예 2-1에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩해두면, 상기 조작자는, 상기 표시면상에서 상기 입력 펜(201)의 조작을 수행할 수 있다. 이렇게 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201P)의 일부인 것처럼 시각 효과가 얻어지며, 상기 오브젝트(302)의 정확한 포인팅이 용이해지고, 또한, 직감적인 포인팅이 가능해진다.
또한, 본 실시예 2-1에서는, 상기 입력 펜(201)의 시소형 버튼(201D1, 201D2)이 눌러진 시간(또는 회수)에 따라 길이가 변하는 포인터(303)를 표시하였지만, 이것에 한정되지 않고, 예를 들면, 길이가 아닌 형상이 3차원 깊이 방향(z<0)으로 어떤 변화를 하는 포인터나, 3차원 깊이 방향(z<0)의 기울기가 변화하는 포인터와 같이, 3차원 깊이 방향(z<0)을 포인팅할 수 있다면, 어떠한 변화라도 좋다. 또한, 상기 포인터의 길이를 변화시킨 경우, 시소형 버튼(201D1, 201D2)이 눌러진 시간(또는 회수)에 비례시켜도 좋으며, 눌러진 시간(또는 회수)의 거듭제곱 혹은 거듭제곱근 등에 비례시켜도 좋다.
또한, 본 실시예 2-1에서는, 상기 입력장치(2)로서 전자유도 방식의 펜 타블렛을 이용하고, 상기 펜 타블렛의 검출수단(디지타이저)을 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩시킨 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 2-1에서는, 상기 입력장치(2)와 표시장치(3)의 조합으로서, 상기 전자유도 방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등으로 이용되고 있는 터치 패널과 스타일러스 펜의 조합이라도 좋다.
또한, 본 실시예 2-1에서는, 상기 포인터(303)의 끝이 목적하는 오브젝트(302)의 근방에 있는지의 여부에 대한 판정을, 상기 포인터(303)의 끝에서 10 픽셀 범위내에 있는지의 여부를 판정하였지만, 이러한 범위는 시스템의 관리자나 조작자가 임의로 설정, 변경하는 것이 가능하다.
본 실시예 2-1에 있어서도, 실시예 1-1과 동일하게, 포인터의 형상을 도 8a, 도 8b, 도 8c, 도 8d에 도시된 바와 같이 여러 가지 형상의 포인터를 채용할 수 있다.
본 실시예 2-1에서는, 상기 포인터(303)로서, 예를 들면, 도 8a에 도시된 바와 같이, 평판 모양의 화살표형 포인터(303a)를 생성하여 표시하고 있지만, 상기 포인터(303)의 형상은 이것에 한정되지 않고, 포인팅하고 있는 위치가 시각적으로 명료한 형상이라면, 어떠한 형상이라도 좋다. 그러한 포인터의 형상으로서는, 예를 들면, 도 8b에 도시된 바와 같은 원추의 저면에 원주가 접속된 입체적인 화살표 모양의 포인터(303b), 도 8c에 도시된 바와 같은 원추형의 포인터(303c), 도 8d에 도시된 바와 같은 집게 손가락으로 오브젝트를 가리키고 있는 사람의 손 형상의 포인터(303d) 등이 생각될 수 있다. 또한, 도시는 생략하지만, 도 8c에 도시된 원추형의 포인터(303c)와 유사한 다각추형의 포인터라도 좋다.
또한, 본 실시예 2-1에서는, 상기 포인터(303)가 포인팅하고 있는 점은 화살표 모양의 포인터의 끝(화살표의 선단)으로 하였지만, 여기에 한정되지 않고, 상기 포인터의 어느 부분에 있어서도 포인팅 가능한 것이나, 포인터의 끝인 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 2-1에서는, 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떤 형상이라도 좋다.
또한, 본 실시예 2-1에서는, 상기 표시장치(3)에 표현된 3차원 공간의 좌표계를, 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원 공간이 표현 가능하다면 3차원의 원점은 어디를 두어도 좋다. 또한, 좌표계도 데카르트 좌표계일 필요는 없으며, 예를 들면, 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 2-1에서는, 상기 입력 펜(201)의 시소형 버튼(201D1, 201D2)이 눌러진 시간(또는 회수)에 주목하였지만, 이것에, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 요소가 더해져, 포인터의 방위나 기울기, 회전도 조작 가능하도록 하여도 상관없다.
[실시예 2-2]
다음으로, 실시예 2-2의 3차원 포인팅 방법을 설명한다. 본 실시예 2-2에서는, 실시예 1-2와 동일하게, 상기 입력 펜(201)의 방향을 변경함으로써, 3차원 공 간 내의 조작자가 보았을 때 깊이 방향에 있는 오브젝트를, 여러 방향에서 포인팅하는 방법에 대해서, 도 9a 내지 도 10c를 참조하여 설명한다. 또한, 본 실시예의 처리순서를 도 44를 참조하여 설명한다.
본 실시예 2-2에 있어서도, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 2-1과 동일하게, 전자유도 방식의 펜 타블렛 및 액정 디스플레이를 이용하는 것으로 한다. 또한, 상기 펜 타블렛(2)의 검출수단(디지타이저)은, 상기 액정 디스플레이(3)의 표시면과 중첩하는 것으로 한다. 또한, 상기 펜 타블렛(2) 및 표시장치(3)는, 도 41에 도시된 바와 같은 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 상기 액정 디스플레이(3)에 표현되는 3차원 공간의 좌표계의 작성법, 상기 펜 타블렛(2)의 입력 펜(201)의 조작방법 등은, 상기 실시예 2-1에서 설명한 것으로 한다. 단, 본 실시예 2-2에서는, 입력방법의 다른 형태로서, 상기 실시예 2-1에서 이용한 상기 입력 펜(201)의 시소형 버튼(201D1, 201D2)이나 누름버튼(201D3)을 이용하지 않고, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출면에서 분리하였는지의 여부의 조작에 기초하여 상기 오브젝트를 포인팅하고, 나아가 포인팅한 오브젝트를 선택 또는 잡는 것이 가능한 입력방법을 이용한다.
본 실시예 2-2의 3차원 포인팅 방법에서는, 상기 조작자가 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)에 표현된 3차원 공간(301)의 XY평면(z=0)의 임의의 일점에 두면, 상기 시스템 제어장치(1)는, 상기 입력정보 취득 수단(101)에 의해, 상기 검출수단(디지타이저)이 검출한 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표), 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ) 등의 정보를 취득한다. 또한 이때, 상기 입력정보 처리수단(109)이, 상기 입력 펜(201)의 펜 끝(201P)이 상기 검출면에 접속하고 있는 시간을 산출한다. 또한, 상기 입력정보 처리수단(109) 및 상기 포인터 위치/회전 각도 산출수단(102), 및 상기 포인터 생성수단(103)이, 상기 펜 끝(201P)이 접촉한 위치에 해당하는 상기 3차원 공간(301) 상의 위치에 표시하는 포인터를 생성한다. 그리고, 상기 포인터가 생성되면, 상기 표시제어수단(106)에서 상기 표시장치(3)로 포인터 표시용의 신호가 전송되고, 예를 들면, 도 9a 및 도 10b에 도시된 바와 같은 포인터(303)가 표시된다.
또한, 상기 조작자가, 상기 입력 펜(201)의 방향을, 예를 들면, 도 9b 및 도 10b, 혹은 도 9c 및 도 10c에 도시된 바와 같은 방향으로 변경하는 것으로 하면, 상기 포인터 위치/회전 각도 산출수단(102) 및 포인터 생성수단(103)에서는, 상기 입력 펜(201)의 새로운 방위(α), 기울기(β), 축 주위의 회전(γ)으로부터 새로운 포인터의 방향을 산출하고, 산출결과에 기초한 포인터를 생성한다. 그리고, 상기 표시제어수단(106)에서 상기 표시장치(3)로 새롭게 생성된 포인터 표시용의 신호를 전송하면, 도 9b 및 도 10b, 혹은 도 9c 및 도 10c에 도시된 바와 같은 포인터(303)가 표시된다.
이러한 포인터(303)의 표시를, 상기 조작자가 입력 펜(201)의 방향을 변경하는 조작을 수행함과 거의 동시에 연속적으로 수행되도록 함으로써, 상기 조작자는 마치 펜을 기울인 방향의 펜 끝(201P)의 연장선상에 포인터(303)가 기울어져서 표시되는 것처럼 느끼는 것이 가능하다.
또한, 이러한 포인터(303)의 표시방법에서는, 예를 들면, 상기 입력 펜(201)의 펜 끝(201P)과 상기 검출면과의 접촉 유무와, 접촉시간에 따라, 상기 포인터(303)의 길이를 조절할 수 있다. 예를 들면, 상기 조작자가 상기 입력펜(201)의 펜 끝(201P)을 상기 검출면에 접촉시켜, 조작자가 어느 시간내(예를 들면 0.5초 이내)에 펜 끝(201P)을 상기 검출면에서 분리하여 다시 접촉하는 조작(탭 조작)을 수행하면, 상기 포인터(303)의 길이가 늘어나기 시작한다. 그리고, 상기 포인터(303)의 길이가 늘어나고 있는 동안에 탭 조작을 다시 수행하면, 상기 포인터(303)의 연장이 멈추고, 그 시점에서의 길이의 포인터로서 조작자가 취급할 수 있다. 또한, 상기 포인터(303)의 길이가 변화하고 있지 않을 때, 상기 탭 조작을 수행하면, 상기 포인터(303)를 더 늘리는 것이 가능해진다. 또한, 상기 조작자가 상기 탭 조작을 2회 연속해서 수행하는 동작(더블 탭 조작)을 수행하면, 상기 포인터(303)의 길이가 줄어들기 시작한다. 그리고, 상기 포인터(303)의 길이가 줄어들고 있는 동안에 탭 조작을 수행하면, 상기 포인터(303)의 줄어듬이 멈추고, 그 시점에서의 길이 포인터로서 조작자가 취급할 수 있다. 또한, 상기 포인터(303)의 길이가 변화하고 있지 않을 때, 상기 더블 탭 조작을 수행하면, 상기 포인터(303)를 더 줄이는 것이 가능해진다.
이러한 일련의 상기 포인터(303) 신축조작 중에, 상기 포인터(303; 포인터의 끝)가 오브젝트(302)의 근방(예를 들면, 10 픽셀 범위내)에 도착하였을 때, 상기 시스템 제어장치(1)의 오브젝트 생성수단(105)에서 상기 오브젝트의 색을 변경하여, 상기 표시장치(3)에 표시된 오브젝트(302)의 표시를 전환하는 등의 처리를 수행하는 것에 의해, 상기 포인터(303)의 길이가 변화하고 있지 않은 상태에서, 그리고, 오브젝트(302)를 선택 또는 잡는 상태인 것을, 상기 조작자에게 알리는 것이 가능하다. 그리고, 상기 오브젝트(302)의 색이 변화하여 선택 또는 잡은 상태가, 예를 들면, 0.5초 이상 계속되면, 상기 조작자는, 상기 오브젝트(302)를 선택 또는 잡는 것이 가능하다.
또한, 도시는 생략하였지만, 상기 조작자가, 상기 조작중에 상기 입력 펜(201)의 방향을 변경한 경우에는, 상기 입력정보 처리수단(109) 및 상기 포인터 위치/회전 각도 산출수단(102), 및 상기 포인터 생성수단(103)에 있어서, 예를 들면, 상기 포인터의 방향에 더해, 상기 입력 펜(201)의 방향을 변경하기 직전의 포인터의 길이를 반영한 포인터를 생성하는 것이 가능하다.
이와 같은 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 44에 도시된 바와 같은 처리를 실행하면 된다. 이때, 상기 시스템 제어장치(1)에서는, 우선, 상기 표시제어수단(106)에 의해, 상기 표시장치(액정 디스플레이; 3)에 표현된 3차원 공간(301)상에 오브젝트(302)를 표시하는 것과 동시에, 포인터의 상태를 나타내는 변수 s를 s=0으로 설정한다(단계 401). 상기 포인터의 상태를 나타내는 변수 s는, 예를 들면, s=0은 포인터의 길이가 변화하고 있지 않은 상태 또는 표시되지 않은 상태를 나타내고, s=1은 포인터의 길이가 늘어나고 있는 상태를 나타내고, s=-1은 포인터의 길이가 줄어들고 있는 상태를 나타 내는 것으로 한다. 또한 이때, 상기 입력정보 취득수단(101)은, 상기 입력장치(2)의 검출수단에서 검출된 정보를 취득 가능한 상태로 해둔다.
그리고, 상기 조작자가, 상기 입력 펜(201)의 펜 끝(201P)을 검출수단의 검출면에 접촉시키면, 상기 검출수단이 상기 펜 끝(201P)의 위치(좌표) 등을 검출하므로, 상기 입력정보 취득수단(101)은, 상기 검출된 상기 펜 끝(201P)의 위치(좌표) 등의, 상기 입력 펜(201)의 상태를 나타내는 정보를 취득한다(단계 402). 또한, 본 실시예 2-2의 경우, 상기 단계 402에서는, 상기 펜 끝(201P)의 위치(좌표)의 정보와 함께, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 정보 등의 상기 입력 펜의 방향을 나타내는 정보를 취득한다.
다음에, 상기 입력정보 처리수단(109)에 의해, 상기 포인터의 상태를 나타내는 변수 s 및 상기 입력 펜(201)의 펜 끝(201P)과 상기 검출면과의 접촉상황에서, 상기 포인터의 길이를 변화시키는지의 여부를 판정하고, 그 정보를 출력한다. 이 처리는, 예를 들면, 도 44에 도시된 바와 같이, 우선, 상기 변수 s가 s=0이고, 또한，상기 탭 조작이 수행되었는지 확인하고(단계 403c), s=0에서 상기 탭 조작이 수행된 경우는, 상기 변수 s를 s21에 설정하고, 그 정보를 상기 포인터 위치/회전 각도 산출수단에 출력한다(단계 404c). 또한, s≠0 또는 탭 조작을 하고 있지 않은 경우는, 상기 변수 s가 s=0이고, 또한, 상기 더블탭 조작이 수행되었는지 확인하고(단계 403d), s=0에서 상기 더블탭 조작이 수행된 경우는, 상기 변수 s를 s=-1에 설정하고, 그 정보를 상기 포인터 위치/회전 각도 산출수단에 출력한다(단계 404d). 또한, s≠0 또는 더블탭 조작을 하고 있지 않은 경우는, 상기 탭 조작이 수행되었는지 확인하고(단계 403e), s≠0에서 상기 탭 조작이 수행된 경우는, 상기 변수 s를 s=0에 설정하고, 그 정보를 상기 포인터 위치/회전 각도 산출수단에 출력한다(단계 404e).
다음에, 상기 포인터 위치/회전 각도 산출수단(102)에 있어서, 상기 취득한 정보 중, 상기 펜 끝(201P)의 위치(좌표)와, 상기 포인터의 상태를 나타내는 변수 s의 값을 사용하여, 이들의 정보를 반영하는 포인터의 위치, 방향, 길이 등을 산출하고(단계 405), 상기 포인터 생성수단(103)에 있어서, 상기 포인터 위치/회전 각도 산출수단(102)의 산출결과에 기초한 형상의 포인터를 생성하고, 상기 표시제어수단(106)으로부터 상기 생성한 포인터에 관한 정보를 상기 표시장치(3)에 보내고, 상기 3차원 공간(301)상에 표시시킨다(단계 406). 본 실시예 2-2의 경우, 상기 단계 405에서는, 상기 펜 끝(201P)의 위치(좌표)와 대응하는, 상기 표시장치(3)에 표현된 3차원 공간(301)의 XY 평면상의 위치(좌표)와, 상기 탭 조작 또는 더블탭 조작을 한 후의, 상기 펜 끝(201P)을 상기 검출면에 접촉시키고 있는 시간에 비례하는 길이를 산출한다. 또한 이 때, 상기 포인터의 길이는, 예를 들면, 상기 변수 s가 s=1에 설정되어 있는 경우는, 상기 펜 끝(201P)을 상기 검출면에 접촉시키고 있는 시간에 비례하여 길어지도록 산출하고, 상기 변수 s가 s=-1에 설정되어 있는 경우는, 상기 펜 끝(201P)을 상기 검출면에 접촉시키고 있는 시간에 비례하여 짧아지도록 산출한다. 또한, 상기 변수 s가 s=0의 경우는, 상기 탭 조작 또는 더블 탭 조작이 수행되기 직전의 길이로 한다.
또한 이 때, 상기 시스템 제어장치(1)에서는, 상기 단계 406의 처리와 병행 하여, 상기 실시예 2-1에서 설명한 단계 407 및 단계 408의 처리를 수행한다. 상기 단계 407은, 예를 들면, 도 44에 도시된 바와 같이, 상기 포인터의 끝, 바꿔 말하면 상기 포인터가 포인팅하고 있는 위치로부터 10 픽셀 이내에 오브젝트가 있는지의 여부를 판정한다. 또한, 도 44에서는 10 픽셀 이내로 하고 있지만, 이것에 한정되지 않고, 다른 조건으로 판정하여도 좋다. 그리고, 포인팅하고 있는 오브젝트가 없으면, 상기 포인터(303)의 표시제어만을 하고, 단계 402로 되돌아가서, 다음의 입력정보를 취득한다.
한편, 포인팅하고 있는 오브젝트가 있으면, 상기 오브젝트 생성수단(105)에 있어서, 예를 들면, 상기 포인팅하고 있는 오브젝트의 색을 바꾼 오브젝트를 생성하고, 상기 표시제어수단(106)으로부터 상기 생성한 오브젝트에 관한 정보를 상기 표시장치(3)에 보내고, 상기 3차원 공간(301)상에 표시시킨다(단계 408). 또한, 상기 포인팅 판정수단(104)에 있어서, 예를 들면, 상기 변수 s가 s=0이고, 또한, 상기 오브젝트를 포인팅하고 있는 상태가 0.5초 이상 계속되고 있는지의 여부의 판정을 한다(단계 409'). 그리고, s=0에서 포인팅하고 있는 상태가 0.5초 이상 계속되고 있는 경우에는, 상기 포인팅하고 있는 오브젝트(302)를 선택, 또는 잡을 수 있다(단계 410). 또한, 상기 s≠0 또는 포인팅하고 있는 시간이 O.5초 미만인 경우는, 상기 단계 402로 되돌아가서, 다음의 입력정보를 취득한다. 또한, 상기 오브젝트를 포인팅하고 있는 상태의 지속시간에 관해서는, 0.5초 이상에 한정되지 않고, 다른 시간이라도 좋다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 하는 것에 의해, 도 9a, 도 9b, 도 9c에 도시된 바와 같은 포인터의 표시제어가 가능해진다.
또한, 도 43, 도 44에 도시한 처리순서는, 제 1 실시형태에 있어서의 도 7에서 도시한 처리순서에 대응하는 것이다. 도 43, 도 44에서는 처리내용을 보다 상세하게 기재하고 있다.
이상 설명한 바와 같이, 본 실시예 2-2의 3차원 포인팅 방법에 의하면, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표) 및 상기 검출면과의 접촉의 유무에 추가하여, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)에 관한 정보를 취득하고, 상기 펜 끝(201P)의 위치(좌표)와 대응하는 상기 표시장치(3)에 표현된 3차원 공간의 XY 평면상의 위치(좌표) 및 상기 입력 펜(201)의 펜 끝과 상기 검출면의 접촉시간과 대응하는 깊이 위치, 및 상기 입력 펜(201) 방위(α), 기울기(β), 축 주위의 회전(γ)과 대응하는 상기 3차원 공간(301)상의 포인터 방위, 기울기, 축 주위의 회전의 각도를 산출하고, 산출한 위치 및 깊이 위치, 및 산출한 방향에서 지시하는 포인터를 생성하고, 표시시키는 것으로, 상기 표시장치(3)에 표현된 3차원 공간(301)상의 임의의 한점을 포인팅할 수 있고, 또한 포인팅한 오브젝트를 선택, 또는 잡는 것이 가능해진다.
또한, 상기 입력 펜(201)에, 상기 포인터의 깊이 위치를 바꾸는 조작, 또는 가리키는 방향을 바꾸는 조작을 하기 위한 버튼 등의 조작수단을 설치할 필요가 없기 때문에, 상기 입력장치(2)로서, 종래의 일반적인 펜 타블렛과 입력 펜을 유용하는 것이 가능하다. 또한, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉시킨 상태에서, 상기 포인터(303)의 깊이 방향의 포인팅 위치를 바꿀 수 있고, 조작자의 피로를 경감시킬 수 있다.
또한, 본 실시예 2-2에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩하여 두면, 상기 조작자는, 상기 표시면상에서 상기 입력 펜의 조작을 할 수 있다. 이렇게 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201P)의 일부일 것 같은 시각 효과가 얻어지고, 상기 오브젝트(302)의 정확한 포인팅이 용이하게 되고, 또한 직감적인 포인팅이 가능해진다.
또한, 본 실시예 2-2에서는, 포인터 방위, 기울기, 축 주위의 회전이 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)에 각각 비례하여 변화하는 예를 나타내었지만, 이것에 한정되지 않고, 예를 들면, 회전각이 아니며 형상이 3차원 깊이 방향(z＜0)으로 어떠한 변화를 하거나, 포인터의 기울기가 3차원 깊이 방향(z＜0)으로 변화하는 것으로, 3차원 깊이 방향(z＜0)을 포인팅할 수 있는 것이면 어떠한 변화라도 좋다. 또한, 상기 입력 펜(201)의 기울기, 방향, 회전에 각각 비례하여 포인터의 기울기, 방향, 회전을 변화시키는 경우에 한정되지 않고, 예를 들면, 상기 입력 펜(201)의 기울기, 방향, 회전의 어느 하나가 거듭제곱 또는 거듭제곱근 등에 비례하도록 하여도 좋다.
또한, 본 실시예 2-2에서는, 상기 입력장치(2)로서 전자유도방식의 펜 타블렛을 사용하여, 상기 펜 타블렛의 검출수단(디지타이저)을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩된 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 2-2에서는, 상기 입 력장치(2)와 표시장치(3)의 조합으로서, 상기 전자유도방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 사용되고 있는 터치패널과 스타일러스 펜의 조합이라도 좋다.
또한, 본 실시예 2-2에서는, 상기 입력 펜(201)의 조작의 일 예로서 상기 펜 끝(201P)과 검출면의 접촉의 유무를 들었지만, 동일한 효과가 얻어지는 것이라면 이것에 한정되지 않는다. 예를 들면, 상기 입력 펜(201)이 구비하는 버튼이 눌러진 시간(또는 회수), 휠의 회전량이나 회전방향, 슬라이드바의 이동량이나 이동방향에 따라서 상기 포인터(303)의 길이를 변화시켜도 좋다. 또한, 상기 포인터(303)의 길이의 최대치와 최소치는, 조작자가 설정할 수 있도록 하여도 좋고, 미리 시스템 제어장치(1)에서 설정해 두어도 좋다.
또한, 본 실시예 2-2에서는, 상기 포인터(303; 포인터의 끝)가 목적하는 오브젝트(302)의 부근에 있는지의 여부의 판정을 10 픽셀의 범위 내인지의 여부로 판정하였지만, 이 범위는, 시스템의 관리자나 조작자가 임의로 설정, 변경하는 것이 가능하다. 마찬가지로, 상기 단계 409'에 있어서의 포인팅하고 있는 시간의 길이에 관해서도, 시스템의 관리자나 조작자가 임의로 설정, 변경하는 것이 가능하다.
또한, 상기 포인터의 형상은, 포인팅하고 있는 위치가 시각적으로 명료한 형상이면, 어떠한 형상이라도 좋고, 도 8a에 도시한 평판형의 화살표형 포인터(303a)에 한정되지 않고, 예를 들면, 도 8b에 도시하는 바와 같은 원추의 저면에 원주가 접속된 입체적인 화살표형 포인터(303b), 도 8c에 도시하는 바와 같은 원추형의 포인터(303c), 도 8d에 도시하는 바와 같은 집게손가락으로 오브젝트를 지시하고 있 는 사람의 손 형상의 포인터(303d)라도 좋다.
또한, 본 실시예 2-2에서는, 상기 포인터(303)가 포인팅하고 있는 점은 화살표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터의 어느 부분에 있어서도 포인팅 가능하게 하거나, 포인터의 끝이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 2-2에서는, 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들 수 있지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떠한 형상이라도 좋다.
또한, 본 실시예 2-2에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 2-1과 마찬가지로, 즉 도 4a에 도시된 바와 같이, 표시면이 z=0으로 되도록 설정하였지만, 3차원이 표현할 수 있는 것이라면 3차원의 원점은 어디라도 좋고, 또한 데카르트 좌표계일 필요도 없으며, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 2-2에서는, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)에 주목하였지만, 상기 실시예 2-1과 동일하게, 반드시 그 요소를 전부 사용할 필요는 없고, 예를 들면, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)은 이용하지 않고, 단지 깊이 위치를 바꾸는 것만으로도 좋고, 상기 입력 펜(201)의 방위(α) 및 기울기(β)만을 사용하여도 좋다.
[실시예 2-3]
다음에, 실시예 2-3에 관해서 설명한다.
상기 실시예 2-1 및 실시예 2-2에서는, 상기 입력장치(2)의 입력 펜(201)의 조작에 맞추어, 상기 표시장치(3)에 표현된 3차원 공간(301)상의 포인터의 표시 제어 및 포인팅된 오브젝트의 표시제어에 관한 포인팅 방법에 관해서 설명하였다.
그렇지만, 상기 실시예 2-1 및 실시예 2-2와 동일한 방법으로 상기 3차원 공간(301)상의 오브젝트를 포인팅한 경우, 포인팅 후에 상기 오브젝트의 이동, 편집, 가공과 같은 조작이 따르는 경우가 많다. 그래서, 본 실시예 2-3에서는, 상기 3차원 공간(301)상의 오브젝트를 포인팅한 후, 상기 오브젝트를 선택 또는 잡고, 또한, 상기 입력 펜(201)을 조작하여 상기 포인팅된 오브젝트를 이동시키는 방법에 관해서 설명한다. 여기에서는, 실시예 1-3에서 사용한 도 11, 도 12를 참조하여 설명한다. 또한, 본 실시예의 처리순서를 도 45를 참조하여 설명한다. 또한, 도 45에 도시하는 처리순서는, 제 1 실시형태에 있어서의 도 13에 도시하는 처리순서에 대응하는 것이다.
본 실시예 2-3에서는, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 2-1과 동일하게, 전자유도방식의 펜 타블렛 및 액정 디스플레이를 사용하는 것으로 한다. 또한, 상기 펜 타블렛(2)의 검출수단(디지타이저)은, 상기 액정 디스플레이(3)의 표시면과 중첩되어 있는 것으로 한다.
또한, 상기 액정 디스플레이(3)에 표현되는 3차원 공간의 좌표계의 설정 방법, 상기 펜 타블렛(2)의 입력 펜(201)의 조작방법 등은, 상기 실시예 2-1에서 설명한 그대로로 한다. 또한, 상기 펜 타블렛(2) 및 표시장치(3)는, 도 41에 도시된 바와 같은 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 본 실시예 2-3에서는, 상기 3차원 공간(301)상의 오브젝트를 포인팅한 후, 선택 또는 잡는 방법에 관해서는, 상기 실시예 2-1이나 실시예 2-2에서 설명한 것과 같은 방법이라도 좋기 때문에, 설명은 생략한다.
상기 실시예 2-1이나 실시예 2-2와 동일한 방법에 의해서, 예를 들면, 도 11 및 도 12에 도시된 바와 같이 오브젝트(302)를 포인팅한 후, 상기 오브젝트(302)의 색의 변화 등으로 상기 오브젝트(302)를 포인팅한 것을 확인한 조작자는, 예를 들면, 상기 실시예 2-1이나 실시예 2-2의 방법을 사용하여 상기 포인팅하고 있는 오브젝트(302)를 선택, 또는 잡는 조작을 한다. 그리고, 상기 오브젝트(302)를 선택 또는 잡은 상태이고, 또한 ，상기 입력 펜(201)의 펜 끝(201P)을 상기 표시장치(3)의 표시면(검출수단의 검출면)에 접촉시킨 상태에서, 상기 입력 펜(201)을 소망의 위치로 이동시키면, 도 11 및 도 12에 도시된 바와 같이, 상기 입력 펜(201)의 이동에 추종하여 상기 오브젝트(302)가 3차원 공간(301)내를 이동한다. 그리고, 도시는 생략하지만, 상기 입력 펜(201)을 소망의 위치로 이동시킨 후, 예를 들면, 상기 입력 펜(201)의 누르는 버튼(201D3)을 1회 누르는 등의 소정의 조작을 하면, 상기 오브젝트(302)의 위치가 확정되고, 상기 입력 펜(201)을 이동시키거나 펜 끝(201P)을 검출면으로부터 놓아준 후에도, 그 위치에 오브젝트(302)가 표시된다. 이렇게 하면, 상기 오브젝트(302)를 원래의 위치로부터 3차원 공간 내의 목적의 위치로까지 이동시킬 수 있다.
이 때, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)은, 상기 표 시장치(2)의 검출수단(디지타이저)으로부터, 상기 실시예 2-1이나 실시예 2-2에서 설명한 상기 오브젝트를 선택 또는 잡는 조작에 필요한 정보와 함께, 예를 들면, 상기 누르는 버튼(201D3)이 눌러져 있다는 정보를 취득한다. 그리고, 상기 시스템 제어장치(1)는, 상기 오브젝트를 선택 또는 잡는 조작이 수행되고 있기 때문에, 상기 조작자가, 상기 오브젝트(302)를 이동시키는 조작을 하고 있는 것을 알 수 있다. 그 때문에, 상기 포인팅 판정수단(104) 및 오브젝트 생성수단(105)에, 상기 입력 펜(201)의 이동에 추종하는 오브젝트를 생성시키고, 상기 표시장치(3)에 표시시키면, 상술한 바와 같은 오브젝트(302)의 이동 조작이 가능해진다.
이러한 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 45에 도시된 바와 같은 처리를 실행하면 된다. 또한, 도 45에 있어서의 최초의 처리(단계 420)는, 상기 3차원 공간(301)상의 오브젝트(302)를 선택, 또는 잡기까지의 처리이고, 상기 실시예 2-1 또는 실시예 2-2에서 설명한 대로라도 좋으므로, 상세한 설명은 생략한다.
본 실시예 2-3의 3차원 포인팅 방법에서는, 상기 시스템 제어장치(1)는, 상기 실시예 2-1 또는 실시예 2-2에서 설명한 순서에 따라 오브젝트(302)를 선택, 또는 잡는 처리(단계 420)를 한 후, 상기 입력정보 취득수단(101)에서 상기 포인터에 관한 정보를 취득한다(단계 421). 상기 단계 421에서 취득하는 정보는, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표), 상기 입력 펜(201) 방위(α), 기울기(β), 축 주위의 회전(γ) 등의 정보이다.
상기 단계 421에서 상기 입력 펜(201)의 상태를 나타내는 정보를 취득하면, 다음으로, 상기 입력정보 처리수단(109) 및 상기 포인터 위치/회전 각도 산출수단(102)에 있어서, 취득한 정보에 기초하는 포인터(303)의 위치, 방향, 길이 등을 산출하는 동시에, 상기 오브젝트(302)의 위치, 방향을 산출한다(단계 422). 상기 포인터의 위치, 방향, 길이 등의 산출은, 상기 실시예 2-1이나 실시예 2-2에서 설명한 대로이므로, 상세한 설명은 생략한다. 또한, 상기 오브젝트의 위치, 방향은, 예를 들면, 상기 포인팅되었을 때의 오브젝트의 기준위치와, 상기 포인터로 포인팅하고 있는 위치가 상대적인 위치관계가, 상기 단계 422에서 산출한 포인터의 위치라도 보존되는 위치, 방향을 산출한다.
또한, 상기 실시예 2-1과 같이, 상기 입력 펜(201)의 펜 끝(201P)의 위치(좌표)의 정보만을 사용하여, 상기 입력 펜(201)의 방위(α), 기울기(β), 축 주위의 회전(γ)의 정보를 이용하지 않는 경우에는, 상기 포인터의 방향은 항상 일정하게 하여 포인터의 표시를 한다. 그 때문에, 상기 단계 422에 있어서, 상기 포인터의 방향을 산출할 필요는 없다. 또한, 본 실시예 2-3과 같이, 상기 오브젝트(302)의 이동이 평행 이동뿐인 경우, 상기 오브젝트의 방향은 항상 일정하게 되어 오브젝트의 표시를 하기 때문에, 상기 단계 422에 있어서 상기 오브젝트의 방향을 산출할 필요는 없다.
그리고, 상기 단계 422에서 상기 포인터(303)의 위치, 방향, 길이 등과, 상기 오브젝트(302)의 위치, 방향을 산출하면, 상기 포인터 생성수단(103)에서 상기 산출한 포인터의 위치, 방향, 길이에 기초하는 포인터를 생성하는 동시에, 상기 오 브젝트 생성수단(105)에서 상기 산출한 오브젝트의 위치, 방향에 기초하는 오브젝트를 생성하고, 그 표시신호를 상기 표시제어수단(106)으로부터 상기 표시장치(3)에 보내고, 상기 포인터 및 오브젝트를 표시시킨다(단계 423).
상기 단계 423에서 상기 포인터 및 오브젝트를 표시시키면, 예를 들면, 상기 입력정보 처리수단(109)에 있어서, 상기 입력 펜(201)의 누름 버튼(201D3)이 눌러졌는지의 여부를 판정하고(단계 424), 눌러져 있지 않은 경우는, 다시 상기 입력 펜의 상태를 취득하고(단계 421), 상기 단계 422 및 단계 423의 처리를 속행한다. 한편, 상기 누름 버튼(201D)이 1회 눌러진 경우는, 상기 오브젝트의 선택 또는 잡은 상태를 해제하는 동시에, 상기 오브젝트(302)의 표시상태를, 상기 누름 버튼(201D3)이 눌러지기 직전의 위치, 방향에 고정한다(단계 425). 그리고, 상기 포인터 및 오브젝트의 이동 조작을 종료한다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 하는 것에 의해, 도 11 및 도 12에 도시된 바와 같은 오브젝트의 포인팅 조작 및 이동 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 2-3의 3차원 포인팅 방법에 의하면, 상기 오브젝트를 포인팅한 후, 상기 포인팅된 오브젝트를 선택 또는 잡고, 상기 입력 펜의 이동에 맞추어서, 상기 오브젝트를 평행 이동시킬 수 있다.
또한, 상기 입력장치(2)로서, 일반적인 펜 타블렛을 사용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉시킨 상태에서, 오브젝트를 포인팅 한 후, 선택 또는 잡고, 더욱 이동시킬 수 있기 때문에, 조작자의 피로를 경감시킬 수 있다.
또한, 본 실시예 2-3에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩해두면, 상기 조작자는, 상기 표시면상에서 상기 입력 펜의 조작을 할 수 있다. 이렇게 하면 , 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201P)의 일부일 것 같은 시각 효과가 얻어져, 상기 오브젝트(302)의 정확한 포인팅 및 이동이 용이해지고, 또한 직감적인 포인팅 및 이동이 가능해진다.
또한, 본 실시예 2-3에서는, 상기 입력장치(2)로서 전자유도방식의 펜 타블렛을 사용하여, 상기 펜 타블렛의 검출수단(디지타이저)을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩된 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 2-3에서는, 상기 입력장치(2)와 표시장치(3)의 조합으로서, 상기 전자유도방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 사용되고 있는 터치패널과 스타일러스 펜의 조합이라도 좋다.
또한, 상기 포인터의 형상은, 포인팅하고 있는 위치가 시각적으로 명료한 형상이면, 어떠한 형상이라도 좋고, 도 8a에 도사한 평판형의 화살표형 포인터(303a)에 한정되지 않고, 예를 들면, 도 8b에 도시하는 바와 같은 원추의 저면에 원주가 접속된 입체적인 화살표형 포인터(303b), 도 8c에 도시하는 바와 같은 원추형의 포인터(303c), 도 8d에 도시하는 바와 같은 집게손가락으로 오브젝트를 가리키고 있 는 사람의 손 형상의 포인터(303d)라도 좋다.
또한, 본 실시예 2-3에서는, 상기 포인터(303)가 포인팅하고 있는 점은 화살표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터의 어느 부분에 있어서도 포인팅 가능하게 하거나, 포인터의 끝이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 2-3에서는, 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들었지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떠한 형상이라도 좋다.
또한, 본 실시예 2-3에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 2-1과 동일하게, 즉 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원을 표현할 수 있는 것이라면 3차원의 원점은 어디에 취하여도 좋고, 또한 데카르트 좌표계일 필요도 없고, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 2-3에서는, 선택 또는 잡은 오브젝트(302)를, 소망의 위치까지 이동시킨 후, 상기 입력 펜(201)의 누름 버튼(201D3)을 1회 누름으로써, 상기 오브젝트의 이동 조작을 종료시켰지만, 이것에 한정되지 않고, 예를 들면, 상기 누름 버튼(201D3)의 대신에 키보드의 특정한 키나 다른 스위치를 사용하는 등, 동일한 효과가 얻어지는 것이면, 어떠한 방법으로 이동 조작을 종료시켜도 좋다.
[실시예 2-4]
다음에, 실시예 2-4에 관해서 설명한다.
상기 실시예 2-3에서는, 상기 표시장치(3)에서 표현된 3차원 공간(301)상의 오브젝트(302)를 포인팅한 후, 상기 포인팅된 오브젝트(302)를 선택, 또는 잡고, 상기 오브젝트(302)를 평행 이동시키는 것이 가능한 3차원 포인팅 방법에 관해서 설명하였다.
그렇지만, 상기 표시장치(3)로 표현된 3차원 공간(301)상에서는, 상기 실시예 2-3에서 설명한 바와 같은 단순한 오브젝트의 평행 이동뿐만 아니라, 3차원 공간(301)을 유효하게 이용하여, 예를 들면, 상기 포인팅된 오브젝트를, 상기 3차원 공간 내에서 깊이 방향으로 기울이는 것도 가정된다. 그래서, 본 실시예 2-4에서는, 실시예 1-4와 동일하게, 오브젝트를 포인팅하고, 선택 또는 잡은 후, 계속하여 상기 포인팅된 오브젝트를, 상기 3차원 공간 내에서 깊이 방향으로 기울이는 포인팅 방법에 관해서 설명한다. 여기에서는, 실시예 1-4에서 사용한 도 14a 내지 도 15c를 참조하여 설명을 한다.
본 실시예 2-4에서는, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 2-1과 동일하게, 전자유도방식의 펜 타블렛 및 액정 디스플레이를 사용하는 것으로 한다. 또한, 상기 펜 타블렛(2)의 검출수단(디지타이저)은, 상기 액정 디스플레이(3)의 표시면과 중첩하는 것으로 한다.
또한, 상기 액정 디스플레이(3)에 표현되는 3차원 공간의 좌표계의 설정 방법, 상기 펜 타블렛(2)의 입력 펜(201)의 조작방법 등은, 상기 실시예 2-2에서 설명한 대로 한다. 또한, 상기 펜 타블렛(2) 및 표시장치(3)는, 도 41에 도시된 바 와 같은 구성의 시스템 제어장치(1)에 접속되어 있는 것으로 한다.
또한, 본 실시예 2-4에서는, 상기 3차원 공간(301)상의 오브젝트를 포인팅한 후, 선택 또는 잡는 방법에 관해서는, 상기 실시예 2-1이나 실시예 2-2에서 설명한 것과 같은 방법이라도 좋기 때문에, 설명은 생략한다.
상기 실시예 2-1이나 실시예 2-2와 동일한 방법에 의해서, 예를 들면, 도 14a 및 도 15a에 도시된 바와 같이, 오브젝트(302)를 포인팅한 후, 상기 오브젝트(302)를 선택 또는 잡는다. 그리고, 상기 오브젝트(302)를 선택 또는 잡은 상태에서 상기 입력 펜(201)을 소망의 방향으로 하면, 도 14b 및 도 15b, 또는 도 14c 및 도 15c에 도시된 바와 같이, 상기 입력 펜(201)의 방향의 변화에 추종하여 상기 오브젝트(302)가 3차원 공간(301)내에서 깊이 방향으로 기운다. 이렇게 하면 오브젝트(302)를 상기 3차원 공간(301)상에서 임의의 방향으로 기울일 수 있다. 이 때, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)은, 상기 실시예 2-1이나 실시예 2-2에 있어서의 오브젝트의 선택 또는 잡는 조작에 필요한 정보를 취득한다. 그리고, 상기 시스템 제어장치(1)는, 상기 실시예 2-1이나 실시예 2-2에 있어서의 오브젝트의 선택 또는 잡는 조작이 수행되고 있기 때문에, 상기 조작자가, 상기 오브젝트(302)를 이동시키는 조작을 하고 있는 것을 알 수 있다. 그 때문에, 상기 포인팅 판정수단(104) 및 오브젝트 생성수단(105)에, 상기 입력 펜(201)의 방향의 변화를 추종하는 오브젝트를 생성시키고, 상기 표시장치(3)에 표시시키면, 상술한 바와 같은 오브젝트(302)의 이동 조작이 가능해진다.
이러한 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1) 에 있어서, 예를 들면, 도 45에 도시된 바와 같은 처리를 실행하면 된다.
단, 본 실시예 2-4에 있어서, 도 14a 내지 도 14c에 도시된 바와 같은 조작을 실행하는 경우, 상기 단계 422에서 상기 오브젝트의 위치, 방향을 산출할 때에는, 예를 들면, 상기 포인팅되었을 때의 오브젝트와 상기 포인터의 상대적인 위치관계가 모두 보존되는 위치, 방향을 산출한다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 하는 것에 의해, 도 14a, 도 14b, 도 14c에 도시된 바와 같은 오브젝트의 포인팅 조작 및 깊이 방향으로 기울이는 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 2-4의 3차원 포인팅 방법에 의하면, 상기 오브젝트를 포인팅하고, 선택 또는 잡은 후, 상기 오브젝트를, 상기 입력 펜(201)의 방향의 변화에 맞추어서, 3차원 공간 내에서 회전시키거나, 깊이 방향으로 기울일 수 있다.
또한, 상기 입력장치(2)로서, 일반적인 펜 타블렛을 사용하여, 상기 입력 펜(201)의 펜 끝(201P)을 상기 검출수단에 접촉시킨 상태에서, 오브젝트를 포인팅하여, 이동시킬 수 있기 때문에, 조작자의 피로를 경감시킬 수 있다.
또한, 본 실시예 2-4에서 설명한 바와 같이, 상기 입력장치(2)의 검출수단을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩해두면, 상기 조작자는, 상기 표시면상에서 상기 입력 펜의 조작을 할 수 있다. 이렇게 하면, 상기 포인터(303)가 상기 입력 펜(201)의 펜 끝(201P)의 일부일 것 같은 시각 효과가 얻어지고, 상기 오브젝트(302)의 정확한 포인팅이 용이해지며, 또한 직감적인 포인팅이 가능해진다.
또한, 본 실시예 2-4에서는, 상기 입력장치(2)로서 전자유도방식의 펜 타블렛을 사용하여, 상기 펜 타블렛의 검출수단(디지타이저)을, 상기 표시장치(액정 디스플레이; 3)의 표시면과 중첩된 경우를 예로 들었지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 2-4에서는, 상기 입력장치(2)와 표시장치(3)의 조합으로서, 상기 전자유도방식의 펜 타블렛과 상기 액정 디스플레이를 예로 들어 설명하였지만, 이것에 한정되지 않고, 예를 들면, PDA 등에서 사용되고 있는 터치패널과 스타일러스 펜의 조합이라도 좋다.
또한, 상기 포인터의 형상은, 포인팅하고 있는 위치가 시각적으로 명료한 형상이면, 어떠한 형상이라도 좋고, 도 8a에 도시한 평판형의 화살표형 포인터(303a)에 한정되지 않고, 예를 들면, 도 8b에 도시하는 바와 같은 원추의 저면에 원주가 접속된 입체적인 화살표형 포인터(303b), 도 8c에 도시하는 바와 같은 원추형의 포인터(303c), 도 8d에 도시하는 바와 같은 집게손가락으로 오브젝트를 지시하고 있는 사람의 손 형상의 포인터(303d)라도 좋다.
또한, 본 실시예 2-4에서는, 상기 포인터(303)가 포인팅하고 있는 점은 화살표형 포인터의 끝(화살표의 선단)으로 하였지만, 이것에 한정되지 않고, 상기 포인터 어느 부분에 있어도 포인팅 가능하게 하거나, 포인터의 선이 아닌 다른 일부로 하는 것도 가능하다.
또한, 본 실시예 2-4에서는, 상기 오브젝트(302)의 예로서 폴더형의 오브젝트를 들 수 있지만, 이것에 한정되지 않고, 상기 오브젝트(302)는 어떠한 형상이라 도 좋다.
또한, 본 실시예 2-4에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 2-1과 동일하게, 즉 도 4a에 도시된 바와 같이, 표시면이 z=0으로 되도록 설정하였지만, 3차원을 표현할 수 있는 것이라면 3차원의 원점은 어디를 취해도 좋고, 또한 데카르트 좌표계일 필요도 없고, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 2-4에서는, 상기 실시예 2-1 또는 실시예 2-2의 방법에 의해 상기 오브젝트(302)를 선택 또는 잡고, 이동시킨 후, 예를 들면, 실시예 2-3에서 설명한 바와 같이 상기 입력 펜(201)의 누름 버튼(201D3)을 누름으로써 상기 오브젝트(302)의 이동 조작을 종료시키지만, 이것에 한정되지 않고, 예를 들면, 상기 누름 버튼(201D)의 대신에 키보드의 특정한 키나 다른 스위치를 사용하는 등과 같은 효과가 얻어지는 것이면, 어떠한 방법으로 이동 조작을 종료시켜도 좋다.
또한, 본 실시예 2-4에서는, 상기 포인팅된 오브젝트(302)를 3차원 공간 내에서 회전시키거나, 깊이 방향으로 기울이게 하는 조작방법을 설명하였지만, 이 조작방법에, 상기 실시예 2-3에서 설명한 바와 같은 평행 이동시키는 조작방법을 추가함으로써, 보다 다채로운 오브젝트 조작을 하는 것이 가능해진다.
[실시예 2-5]
다음에, 실시예 2-5를 설명한다.
상기 실시예 2-3 및 실시예 2-4에서는, 상기 실시예 2-1이나 실시예 2-2에서 설명한 방법으로 상기 표시장치(3)에 표현된 3차원 공간(301)내에 있는 오브젝트(302)를 포인팅하고, 선택 또는 잡은 후, 상기 포인팅된 오브젝트(302)를 평행 이동 또는 회전시키거나, 깊이 방향으로 기울이게 하는 조작을 하는 것이 가능한 3차원 포인팅 방법에 관해서 설명하였다. 그렇지만, 상기 3차원 공간(301)내에 있는 오브젝트(302)를 포인팅하여, 선택 또는 잡은 후, 상기 조작자가 계속 수행하고자 하는 조작에는, 상기 오브젝트(302)의 이동이나 회전뿐만 아니라, 편집이나 변형 등의, 지금까지의 2차원 GUI적인 조작도 있다. 그래서, 본 실시예 2-5에서는, 실시예 1-5와 동일하게, 상기 오브젝트를 선택 또는 잡은 후, 상기 오브젝트를 2차원 GUI적인 조작을 적용할 수 있는 위치로 자동적으로 이동시키고, 조작자가 목적하는 편집, 변형 등을 한 후에, 또한 조작자가 바라는 3차원 위치로 되돌리는 조작이 가능한 3차원 포인팅 방법에 관해서 설명한다. 여기에서는, 실시예 1-5에서 사용한 도 16a 내지 도 19d를 참조하여 설명한다. 또한, 도 46을 참조하여 본 실시예 2-5의 처리순서를 설명한다. 도 46에 도시하는 처리순서는, 제 1 실시형태에 있어서의 도 20에서 도시한 처리순서에 대응하는 것이다.
또한, 본 실시예 2-5에서는, 상기 입력장치(2)는 상기 각 실시예와 동일한 전자유도방식의 펜 타블렛을 사용하는 것으로 하고, 상기 3차원 공간을 표현 가능한 표시장치(3)로서 DFD를 사용한 경우를 예로 들어 포인팅 방법 및 그것에 계속되는 오브젝트의 조작방법에 관해서 설명한다.
상기 DFD의 원리는, 도 16a, 도 16b를 참조하여 실시예 1-5에서 설명한 대로이다. 본 실시예에 있어서도, 상기 표시장치(3)로서 상기 DFD를 사용한 경우도, 상기 각 실시예에서 설명한 바와 같이, 상기 입력장치(펜 타블렛; 2)의 검출수단(디지타이저)을, 상기 DFD의 표시면과 중첩되는 것이 가능하다. 또한, 상기 전자유도 방식의 펜 타블렛의 경우, 상기 검출수단의 검출면상에 Δz의 검출 가능 범위가 있기 때문에, 상기 입력 펜의 펜 끝이 상기 검출면에 접촉하지 않더라도 상기 입력 펜의 위치, 기울기, 방향 등의 정보를 검출할 수 있다. 그 때문에, DFD와 같은 표시면의 사이에 공간이 있는 경우라도, 상기 검출수단을 DFD 표시장치의 뒤에 배치하여 두면 상기 펜의 위치, 기울기, 방향 등의 정보는 취득 가능한 것은 당업자라면 용이하게 추측할 수 있고, 실현하는 것이 가능하다. 또한, 현재는 상기 검출수단을 표시면의 뒤에 배치하는 경우가 많지만, 상기 검출수단이 투명전극이면 표시면의 뒤가 아니고, 앞에 배치하는 것도 가능하다. 이와 같이, 상기 검출수단을 DFD의 표시면과 중첩하는 것으로, 상기 DFD에서의 전방의 표시면상에서 상기 입력 펜을 조작하고, 직접 포인팅이 가능하다. 그래서, 본 실시예 2-5라도 전자유도방식의 펜 타블렛(2)의 검출수단과 DFD의 표시면은 중첩되어 있는 것으로 한다.
또한, 본 실시예 2-5에서는, 상기 DFD(3)의 표시면은 2장으로 하고, 도 17a 및 도 17b에 도시된 바와 같이, 상기 DFD(3)에 표현된 3차원 공간(301)의 후방에, 도 2에서 도시된 좌표계 XYZ와 대응시킨 좌표계 VYZ를 설정하고, 오브젝트(302)를 3차원 공간(301)내의 z<0의 위치에 배치되어 있는 것으로 한다. 또한 이 때, 상기 입력장치(2)의 입력 펜(201)을 조작하는 조작자는, 상기 3차원 공간(301)의 XY 평면을, z>0 방향으로부터 관찰하고 있는 것으로 한다.
또한, 본 실시예 2-5에서는, 상기 조작자로부터 보아 전방에 있는 표시 면(3A)을 z=0으로 하고, 상기 전방에 있는 표시면(3A)이, 상기 입력장치(2)의 검출수단의 검출면으로 한다.
상기 조작자가, 예를 들면, 상기 실시예 2-1이나 실시예 2-2에서 설명한 방법으로, 도 18a 및 도 19a에 도시된 바와 같이, 상기 3차원 공간(301)상에 입체적으로 표시된 오브젝트(302)를 포인팅한 것으로 한다. 그리고, 상기 오브젝트(302)의 색 등이 변화하는 것에 의해 상기 오브젝트(302)가 포인팅되어 있는 것을 확인한 조작자는, 예를 들면, 상기 실시예 2-1이나 실시예 2-2의 방법을 사용하여 상기 오브젝트(302)를 선택하고, 또는 잡는 조작을 한다. 이로써, 상기 포인팅된 오브젝트(302)는, 예를 들면, 도 18b 및 도 19b에 도시된 바와 같이, 상기 DFD의 전방의 표시면(3A)에 2차원 물체로서 표시되고, 포인터(303)가 없어진다. 도 18a에서는, 상기 오브젝트(302)가 z 방향에 두께가 없는 오브젝트로서 표시되어 있지만, 이것이 z 방향으로도 두께를 가지는 입체 오브젝트인 경우도, 이 과정에서는 DFD를 사용한 3차원 입체 표시는 하지 않고, 어디까지나 2차원으로서 DFD의 전방의 표시면(3A)에 투영상으로서 상을 표시한다.
여기에서 조작자는, 상기 오브젝트(302)상에서, 예를 들면 문자를 기록하는 등의 목적의 조작을, 2차원 GUI의 조작으로서 한다. 그리고, 2차원 GUI의 조작이 종료한 후, 예를 들면, 상기 입력 펜(201)의 누름 버튼(201D)을 누르면, 포인터(303)가 다시 나타나고, 상기 실시예 2-3이나 실시예 2-4에서 설명한 바와 같은 순서로, 예를 들면, 도 18c 및 도 19c, 또는 도 18d 및 도 19d에 도시된 바와 같이, 조작자가 바라는 3차원 위치에 오브젝트(302)를 이동하거나, 깊이 방향으로 기 울일 수 있게 된다.
이러한 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 46에 도시된 바와 같은 처리를 실행하면 된다. 또한, 도 46에 있어서의 최초의 처리(단계 420)는, 상기 3차원 공간(301)상의 오브젝트(302)를 선택, 또는 잡기까지의 처리이고, 상기 실시예 2-1 또는 실시예 2-2에서 설명한 대로로 좋으므로, 상세한 설명은 생략한다.
본 실시예 2-5의 3차원 포인팅 방법에서는, 상기 실시예 2-1 또는 실시예 2에서 설명한 순서에 따라 오브젝트(302)를 선택, 또는 잡는 처리(단계 420)가 수행되면, 상기 시스템 제어장치(1)는, 2차원 GUI적인 조작, 편집, 가공을 개시하기 위한 조작이 수행된 것으로 판정한다. 그 때문에, 다음으로, 예를 들면, 상기 표시장치(3)에 표시하고 있는 포인터(303)를 비표시로 하고(단계 426), 상기 선택 또는 잡은 오브젝트(302)의 투영을 상기 조작자로부터 보아 가장 가까운 표시면(3A)에 표시한다(단계 427). 이로써, 상기 오브젝트(302)의 2차원 GUI적인 조작, 편집, 가공이 가능한 상태가 된다.
상기 오브젝트(302)의 2차원 GUI적인 조작, 편집, 가공이 가능한 상태로 된 후는, 상기 입력 펜(201)으로부터의 2차원 GUI적인 조작을 접수받아, 실행한다(단계 428). 또한, 상기 조작자가, 예를 들면, 상기 입력 펜(201)의 누름 버튼(201D3)을 1회 누르는 등의, 2차원 GUI적인 조작, 편집, 가공을 종료하기 위한 조작을 하였는지의 여부를 판정한다(단계 429). 이 때, 상기 2차원 GUI적인 조작, 편집, 가 공을 종료하기 위한 조작을 하고 있지 않으면, 또 다른 2차원 GUI적인 조작, 편집, 가공을 접수받아, 실행한다. 한편, 2차원 GUI적인 조작, 편집, 가공을 종료하기 위한 조작을 한 경우는, 2차원 GUI적인 조작을 하는 모드로부터, 상기 실시예 2-3 또는 실시예 2-4에서 설명한 바와 같은 처리를 하는 모드로 되돌아가서, 상기 실시예 2-3 또는 실시예 2-4에서 설명한 것과 같은 순서로 상기 오브젝트를 평행 이동, 회전, 기울이는 조작을 할 수 있다(단계 430). 상기 단계 430은, 상기 실시예 2-3 또는 실시예 2-4에서 설명한 순서로 처리를 하면 좋으므로, 상세한 설명은 생략한다.
상기 시스템 제어장치(1)에 있어서, 이상과 같은 처리를 하는 것에 의해, 도 18a, 도 18b, 도 18c, 도 18d와 같은 포인터의 표시제어, 오브젝트의 3차원적인 이동 등의 조작, 상기 오브젝트의 2차원 GUI적인 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 2-5의 3차원 포인팅 방법에 의하면, 상기 입력 펜(201)의 조작만으로, 상기 실시예 2-1로부터 실시예 2-4에서 설명한 바와 같은 포인터의 3차원적인 표시제어 및 오브젝트의 3차원적인 이동 등의 조작에 추가하여, 상기 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하는 것이 가능하다. 그 때문에, 조작자는, 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하기 위한 새로운 3차원 조작을 습득할 필요가 없다.
또한, 본 실시예 2-5의 3차원 포인팅 방법에서는, 상기 실시예 2-1 또는 실시예 2-2의 방법에 의해 상기 오브젝트를 선택, 또는 잡는 것으로, 3차원적인 포인팅을 수행하는 모드로부터, 상기 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하 는 모드로 전환하고, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)에서 취득한 정보를, 상기 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하기 위한 정보로서 처리하도록 하였지만, 상기 오브젝트를 포인팅하는 조작 후에, 키보드의 특정한 키나 다른 스위치를 조작함으로써 상기 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하는 모드로 전환하도록 하여도 좋다.
또한, 본 실시예 2-5에서는, 상기 입력장치(2)인 전자유도방식의 펜 타블렛의 검출수단(디지타이저)을, 3차원 공간을 표시할 수 있는 표시장치(3)인 DFD의 표시면과 중첩되어 있는 예를 들어 설명하였지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 2-5에서는, 상기 표시장치(3)로서 DFD를 사용하였지만, 이것에 한정되지 않고, 상기 실시예 2-1 내지 실시예 2-4에서 설명한 바와 같은 액정 디스플레이 등의 표시장치를 사용하여도 좋다.
또한, 본 실시예 2-5에서는, 목적하는 오브젝트(302)의 예로서 2차원적인 사각형의 오브젝트를 들고 있지만, 이것에 한정되지 않고, 상기 오브젝트(302)의 형상은 어떠한 형상이라도 좋다.
또한, 본 실시예 2-5에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 2-1과 동일하게, 즉 도 4a에 도시된 바와 같이, 표시면이 z=0으로 되도록 설정하였지만, 3차원을 표현할 수 있는 것이라면 3차원의 원점은 어디를 취하여도 좋고, 또한 데카르트 좌표계일 필요도 없고, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 2-5에서는, 상기 입력 펜(201)의 누름 버튼(201D3)의 조작으로, 상기 2차원 GUI적인 조작, 편집, 가공을 하는 모드를 종료시켰지만, 이것에 한정되지 않고, 예를 들면, 상기 누름 버튼(201D3) 대신에 키보드의 특정한 키나 다른 스위치를 사용하는 등, 동일한 효과가 얻어지는 것이라면, 어떠한 방법으로 종료시켜도 좋다.
또한, 본 실시예 2-5에서는, 상기 오브젝트(302)에 2차원 GUI적인 편집을 하는 예로서, 예를 들면, 도 18c에 도시된 바와 같이 「A」라는 문자를 기록하는 경우를 들었지만, 상기 오브젝트(302)가 파일을 나타내는 오브젝트로, 그것을 포인팅한 후, 2차원 GUI 조작이 수행될 때, 상기 파일이 열려 그 내용을 조작자가 2차원 GUI 상에서 편집하여, 파일을 닫은 후에 조작자가 바라는 3차원 위치로 이동 가능한 것으로 하여도 좋다.
[실시예 2-6]
본 실시예 2-6의 3차원 포인팅 방법은, 상기 실시예 2-5에서 설명한 3차원 포인팅 방법의 응용예의 하나이고, 3차원 공간(301)내에 있는 오브젝트(302)를 상기 실시예 2-1이나 실시예 2-2 방법으로 포인팅하고, 선택 또는 잡은 후, 상기 오브젝트(302)를 조작자가 조작하기 쉬운 위치, 즉 지금까지의 2차원 CUI 조작을 적용할 수 있는 위치로 자동적으로 이동시키고, 조작자가 목적하는 편집, 가공 등을 한다. 그리고, 목적하는 편집, 가공이 종료한 후에, 조작자가 다양한 조작을 하면, 상기 오브젝트(302)가 조작자로부터 보아 3차원 깊이 방향에 있는 별개의 오브 젝트에 간섭할 때까지 이동하고, 상기 별개의 오브젝트에 간섭한 후, 상기 별개의 오브젝트가 가지는 속성에 의해서 이동하여 온 오브젝트의 상태를 변화시키는 포인팅 방법이다. 본 실시예 2-6에서는 실시예 1-6에서 사용한 도 21a 내지 도 25c를 참조하여 설명을 한다. 또한, 본 실시예 2-6의 처리순서를 도 47을 참조하여 설명한다. 도 47에 도시하는 처리순서는, 제 1 실시형태에 있어서의 도 26에서 도시한 처리순서에 대응하는 것이다.
본 실시예 2-6에서는, 상기 실시예 2-5와 동일하게, 상기 입력장치(2)로서 전자유도식의 펜 타블렛을 사용하여, 상기 표시장치(3)로서 DFD를 사용한 경우를 예로 들어, 포인팅 방법 및 오브젝트의 조작방법에 관해서 설명한다.
또한, 상기 입력장치(펜 타블렛; 2)의 검출수단(디지타이저)은, 상기 표시장치(DFD; 3)의 표시면과 중첩되어 일체적으로 설치되어 있는 것으로 한다.
또한, 본 실시예 2-6의 3차원 포인팅 방법을 설명함에 있어서, 예들 들면, 도 21a 및 도 21b에 도시된 바와 같이, 상기 DFD(3)의 2장의 표시면(3A, 3B)의 사이에 표현된 3차원 공간(301) 후방에, 좌표계 XYZ를 설정하고, 오브젝트(302)와 윈도우(304)를 3차원 공간(301)내의 z＜0의 위치에 배치한 경우를 예로 든다.
상기 오브젝트(302)의 조작을 하고자 하는 조작자는, 우선, 도 22a 및 도 24a에 도시된 바와 같이, 상기 실시예 2-1이나 실시예 2-2에서 설명한 방법으로 상기 오브젝트(302)를 포인팅하고, 선택 또는 잡는 조작을 한다. 이로써, 상기 선택 또는 잡은 오브젝트(302)는, 상기 DFD의 전방의 표시면(3A)에 2차원 물체로서 표시되고, 상기 포인터(303)가 없어진다. 본 실시예 2-6에서는, 상기 오브젝트(302)가 z 방향으로 두께가 없는 오브젝트이지만, 이것이 z 방향으로도 두께를 가지는 입체 오브젝트인 경우도, 이 과정에서는 DFD를 사용한 3차원 입체표시는 하지 않고, 어디까지나 2차원으로서 DFD의 전면의 표시면(3A)에 투영상으로서 표시한다.
이와 같이, 상기 오브젝트(302)의 표시방법이 변하면, 상기 3차원 공간(301)상에서 2차원 GUI의 조작을 하는 것이 가능한 상태로 되기 때문에, 상기 조작자는, 상기 입력 펜(201)으로, 예를 들면, 도 22c 및 도 24c에 도시된 바와 같이, 상기 오브젝트(302)상에 문자를 기록하는 등의 목적하는 조작을 2차원 GUI의 조작으로서 할 수 있다. 그리고, 상기 조작자가 계속하여, 도 23a 및 도 25a에 도시된 바와 같이, 상기 오브젝트(302)를 소망의 위치까지 2차원적인 조작으로 이동시킨 후, 예를 들면, 상기 입력 펜(201)의 누름 버튼(201D3)을 1회 누르면, 도 23b 및 도 25a에 도시된 바와 같이, 상기 오브젝트(302)는, 상기 조작자로부터 보아 3차원 깊이 방향(z＜0)으로, 윈도우(304)와 간섭할 때까지 이동한다. 이 때, 상기 오브젝트(302)의 상기 3차원 깊이 방향의 z 좌표가 단계적으로 작아지는 애니메이션을 붙이면, 상기 조작자에게 이동의 과정이 전해지기 쉽다. 그리고, 상기 오브젝트(302)가 상기 윈도우(304)와 간섭하면 상기 오브젝트(302)에 대하여, 상기 윈도우(304)가 가지는 속성으로서, 윈도우상으로 이동하는 동작이 실행된다.
또한 이 때, 도 23b 및 도 25a에 도시된 바와 같이, 상기 오브젝트(302)를 자동적으로 3차원 깊이 방향(z＜0)으로 이동시키는 대신에, 예를 들면, 상기 실시예 2-5에서 설명한 바와 같이, 상기 입력 펜(201)의 누름 버튼(201D)을 누르고 나 서 3차원적인 오브젝트 조작모드로 전환한 후에, 상기 오브젝트(302)를 3차원 깊이 방향(z<0)으로 이동시키고, 상기 윈도우(304)와 간섭하는 위치까지 이동시키는 것도 가능하다.
이러한 3차원 포인팅 방법을 실현시키기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 47에 도시된 바와 같은 처리를 실행하면 된다. 또한, 도 47에 있어서의 최초의 처리(단계 420)는, 상기 3차원 공간(301)상의 오브젝트(302)를 선택, 또는 잡기까지의 처리이고, 상기 실시예 2-1 또는 실시예 2-2에서 설명한 대로라도 좋으므로, 상세한 설명은 생략한다.
본 실시예 2-6의 3차원 포인팅 방법에서는, 상기 실시예 2-1 또는 실시예 2-2에서 설명한 순서에 따라 오브젝트(302)를 선택, 또는 잡는 처리(단계 420)가 수행되면, 상기 시스템 제어장치(1)는, 2차원 GUI적인 조작, 편집, 가공을 개시하기 위한 조작이 수행된 것으로 판정한다. 그 때문에, 다음으로, 예를 들면, 상기 표시장치(3)에 표시하고 있는 포인터(303)를 비표시로 하고(단계 426), 상기 선택 또는 잡은 오브젝트(302)의 투영을 상기 조작자로부터 보아 가장 가까운 표시면(3A)에 표시한다(단계 427). 이로써, 상기 오브젝트(302)의 2차원 GUI적인 조작, 편집, 가공이 가능한 상태가 된다.
상기 오브젝트(302)의 2차원 GUI적인 조작, 편집, 가공이 가능한 상태로 된 후는, 상기 입력 펜(201)으로부터의 2차원 GUI적인 조작을 접수받아, 실행한다(단계 428). 또한, 상기 조작자가, 예를 들면, 상기 입력 펜(201)의 누름 버튼(201D)을 1회 누르는 등의, 2차원 GUI적인 조작, 편집, 가공을 종료하기 위한 조작을 하 였는지의 여부를 판정한다(단계 429). 이 때, 상기 2차원 GUI적인 조작, 편집, 가공을 종료하기 위한 조작을 하고 있지 않으면, 또 다른 2차원 GUI적인 조작, 편집, 가공을 접수받아, 실행한다. 한편, 2차원 GUI적인 조작, 편집, 가공을 종료하기 위한 조작을 수행한 경우는, 2차원 GUI적인 조작을 하는 모드로부터, 상기 실시예 2-1로부터 실시예 2-4에서 설명한 바와 같은 3차원적인 포인팅 조작을 하는 모드로 되돌아간다. 이로써, 상기 시스템 제어장치(1)에서는, 상기 오브젝트(302)의 깊이 방향으로, 상기 윈도우(304)와 같은 상기 오브젝트(302)와 간섭하는 별개의 오브젝트가 있는지의 여부를 판정한다(단계 431). 그리고, 간섭하는 별개의 오브젝트가 있는 경우는, 예를 들면, 도 23b 및 도 25a에 도시된 바와 같이, 상기 별개의 오브젝트(윈도우(304))에 간섭할 때까지, 상기 오브젝트(302)를 3차원 깊이 방향(z＜0)으로 이동시켜서 표시한다(단계 432). 그리고, 상기 별개의 오브젝트와 간섭한 시점에서 상기 오브젝트(302)의 3차원 깊이 방향으로의 이동을 멈추고, 상기 오브젝트(302)에 대하여, 상기 간섭하는 별개의 오브젝트가 가지는 속성을 실행한다(단계 433).
한편, 상기 오브젝트(302)와 간섭하는 별개의 오브젝트가 없는 경우는, 상기 오브젝트(302)를 미리 정해진 깊이 위치, 예를 들면, 상기 단계 426 이후의 처리를 하기 직전과 동일한 깊이 위치까지 이동시켜서 표시한다(단계 434).
상기 시스템 제어장치(1)에 있어서, 도 47에 도시된 바와 같은 순서의 처리를 하는 것에 의해, 도 22a, 도 22b, 도 23c, 도 23a, 도 23b, 도 23c와 같은 일련의 포인터의 표시제어, 오브젝트의 3차원적인 이동 등의 조작, 상기 오브젝트의 2 차원 GUI적인 조작이 가능해진다.
이상 설명한 바와 같이, 본 실시예 2-6의 3차원 포인팅 방법에 의하면, 3차원 공간(301)내에 있는 오브젝트(302)를 포인팅하여, 선택 또는 잡는 것으로, 상기 오브젝트(302)를 조작자가 조작하기 쉬운 위치까지 자동적으로 이동시키고, 지금까지의 2차원 GUI 조작에 의해 목적의 조작, 편집, 가공 등을 하는 동시에, 상기 목적의 조작, 편집, 가공이 종료한 후에, 상기 오브젝트(302)를 조작자로부터 보아 3차원의 깊이 방향으로 이동시키는 동시에, 이동시킨 오브젝트(302)와 간섭하는 별개의 오브젝트가 존재하는 경우에, 상기 별개의 오브젝트가 가지는 속성에 의해서 이동시킨 상기 오브젝트(302)의 상태를 변화시킬 수 있다.
또한, 본 실시예 2-6의 3차원 포인팅 방법에서는, 상기 오브젝트를 선택, 또는 잡는 것으로, 3차원적인 포인팅 조작을 하는 모드로부터 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하는 모드로 전환하고, 상기 시스템 제어장치(1)의 상기 입력정보 취득수단(101)에서 취득한 정보를, 상기 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하기 위한 정보로서 처리하도록 하였지만, 상기 오브젝트를 포인팅하는 조작 후에, 키보드의 특정한 키나 다른 스위치를 조작함으로써 상기 오브젝트의 2차원 GUI적인 조작, 편집, 가공을 하는 모드로 전환하도록 하여도 좋다.
또한, 본 실시예 2-6에서는, 상기 입력장치(2)인 전자유도방식의 펜 타블렛의 검출수단(디지타이저)을, 3차원 공간을 표시할 수 있는 표시장치(3)인 DFD의 표시면과 중첩되어 있는 예를 들고 설명하였지만, 이것에 한정되지 않고, 양자가 별개의 위치에 있는 구성이라도 좋다. 또한, 본 실시예 2-6에서는, 상기 표시장 치(3)로서 DFD를 사용하였지만, 이것에 한정되지 않고, 상기 실시예 2-1로부터 실시예 2-4에서 설명한 바와 같은 액정 디스플레이 등의 표시장치를 사용하여도 좋다.
또한, 본 실시예 2-6에서는, 목적하는 오브젝트(302)의 예로서 2차원적인 사각형의 오브젝트를 들고 있었지만, 이것에 한정되지 않고, 상기 오브젝트(302)의 형상은 어떠한 형상이라도 좋다.
또한, 본 실시예 2-6에서는, 상기 표시장치(3)에 표현되는 3차원 공간의 좌표계는, 상기 실시예 2-1과 동일하게 즉 도 4a에 도시된 바와 같이, 표시면이 z=0이 되도록 설정하였지만, 3차원을 표현할 수 있는 것이라면 3차원의 원점은 어디를 취해도 좋고, 또한 데카르트 좌표계일 필요도 없고, 예를 들면 원주 좌표계나 구 좌표계 등이라도 좋다.
또한, 본 실시예 2-6에서는, 상기 입력 펜(201)의 누름 버튼(201D3)의 조작으로, 상기 2차원 GUI적인 조작, 편집, 가공을 하는 모드를 종료시켰지만, 이것에 한정되지 않고, 예를 들면, 상기 누름 버튼(201D3) 대신에 키보드의 특정한 키나 다른 스위치를 사용하는 등, 동일한 효과가 얻어지는 것이면, 어떠한 방법으로 종료시켜도 좋다.
또한, 본 실시예 2-6에서는, 상기 오브젝트(302)에 2차원 GUI적인 편집을 하는 예로서, 예를 들면, 도 22c에 도시된 바와 같이 「B」라는 문자를 기입하는 경우를 들었지만, 상기 오브젝트(302)가 파일을 나타내는 오브젝트로, 그것을 포인팅 한 후, 2차원 GUI 조작이 수행될 때, 상기 파일이 열려 그 내용을 조작자가 2차원 GUI 상에서 편집하여, 파일을 닫은 후에 조작자가 바라는 3차원 위치로 이동 가능하다고 하여도 좋다.
또한, 본 실시예 2-6에서는, 상기 별개의 오브젝트의 예로서 윈도우(304)를 예로 들어, 상기 윈도우(304)와 간섭하였을 때에 파일을 이동하는 속성을 실행하는 경우에 관해서 설명하였지만, 이것에 한정되지 않고, 예를 들면, 다른 애플리케이션 실행용의 아이콘과 간섭하였을 때에 파일을 실행하는 속성을 실행시키는 것도 가능하다. 또한 그 외에도, 실시예 1-6과 동일하게, 휴지통 오브젝트와 간섭하였을 때에 파일을 삭제하는 속성을 실행시키는 것도 가능하다.
이하, 실시예 1-6에서 사용한 도 28a 내지 도 32c를 참조하여 본 실시예 2-6의 3차원 포인팅 방법으로 오브젝트를 삭제하는 방법에 관해서 설명한다.
본 실시예 2-6의 3차원 포인팅 방법에서는, 상술한 바와 같이, 오브젝트(302)를 윈도우(304)로 이동시킬 뿐만 아니라, 예를 들면, 오브젝트(302)를 휴지통 오브젝트로 이동시키고, 삭제할 수도 있다. 그래서, 도 28a 및 도 28b에 도시된 바와 같이, 상기 DFD(3)의 2장의 표시면의 사이에 표현된 3차원빔(301) 사이의 중간에, 좌표계 XYZ를 설정하고, 오브젝트(302)와 휴지통 오브젝트(305)가 3차원 공간(301)내의 z<0의 위치에 배치된 경우를 예로 들어, 상기 오브젝트(302)의 삭제순서에 관해서 설명한다.
이 때, 상기 오브젝트(302)를 삭제하고자 하는 조작자는, 우선, 도 29a 및 도 31a에 도시된 바와 같이, 상기 입력 펜(201)을 조작하여 삭제하고자 하는 오브 젝트(302)를 포인팅하고, 선택 또는 잡는 조작을 한다. 이로써, 도 29b 및 도 31b에 도시된 바와 같이, 상기 포인팅된 오브젝트(302)가, 상기 전방의 표시면(3A)으로 이동하고, 2차원 GLU 조작이 가능한 상태로 변한다. 여기에서, 상기 조작자가, 예를 들면, 도 30a 및 도 32a에 도시된 바와 같이, 상기 포인팅한 오브젝트(302)를 휴지통 오브젝트(305)상까지 이동시키고, 예를 들면, 상기 입력 펜(201)의 버튼(201D3)을 1회 누르는 등의 특정한 조작을 하면, 상기 2차원 GLI 조작이 가능한 상태로부터, 3차원 포인팅이 가능한 상태로 되돌아간다. 그리고, 상기 시스템 제어장치(1)에서 수행되는 처리가, 도 47에 도시된 바와 같은 순서인 경우는, 3차원 포인팅이 가능한 상태로 되돌아간 후, 상기 오브젝트(302)가 자동적으로 3차원 깊이 방향(z＜0)으로 이동하고, 상기 휴지통 오브젝트(305)와 간섭한 시점에서, 도 30b 및 도 32b에 도시된 바와 같이, 상기 오브젝트(302)의 표시가 없어지고, 상기 휴지통(305)이 휴지(오브젝트)가 들어 있는 상태의 표시로 전환한다.
이와 같이, 본 실시예 2-6의 3차원 포인팅 방법은, 상기 오브젝트(302)와 간섭한 오브젝트가, 상기 오브젝트(302)에 대하여, 속성을 실행하는 것이 가능하면, 어떠한 속성을 가지는 오브젝트라도 좋다.
[실시예 2-7]
다음으로, 실시예 2-7에 관해서 설명한다. 도 48 및 도 49는 본 실시예 2-7의 3차원 포인팅 방법에서 사용하는 입력 펜의 구성예를 도시하는 도면이다.
본 실시예 2-7에서는, 상기 실시예 2-1로부터 실시예 2-6에서 설명한 바와 같은 3차원 포인팅 방법을 실시할 때에 사용하는 입력 펜(201)으로서, 상기 입력 펜(201)이 구비하는 휠의 회전량, 또는 슬라이드바의 이동량에 따라서, 펜 끝(201P)이 입력 펜(201)의 케이스 내에 출입하는 구조의 입력 펜을 사용한 경우의 포인팅 방법에 관해서 설명한다.
본 실시예 2-7에서 사용하는 입력 펜(201)은, 예를 들면, 도 48에 도시된 바와 같이, 케이스(201E)에 부속한 휠(201D)이, 펜 끝(201P)의 내부에 설치된 기어(또는 나사)부(201F)와 직결하고, 상기 휠(201D)을 회전시키면, 상기 펜 끝(201P)이 케이스(201E) 내에 들어가게 되어 있다. 또한, 도 48에 도시된 바와 같은 구성에 한정되지 않고, 예를 들면, 도 49에 도시된 바와 같이, 상기 슬라이드바(201D)가, 펜 끝(201P)의 내부에 설치된 기어(또는 나사)부(201F)와 내부기어(또는 나사)를 통하여 이어져 있고, 상기 슬라이드바(201D)를 이동시키면, 상기 펜 끝(201P)이 케이스(201E) 내에 들어가게 되어 있어도 좋다. 또한, 도 48 및 도 49는 상기 입력 펜(201)의 구성예이고, 도 48 및 도 49에 도시한 입력 펜과 같이, 상기 휠 또는 슬라이드바(201D)를 회전 또는 이동시킴으로써, 상기 펜 끝(201P)이 필체(201E)내에 들어가는 구성이면, 어떠한 구조라도 좋다.
이하, 본 실시예 2-7에 있어서의 포인팅 방법을 실시예 1-7에서 사용한 도 35a 내지 도 36c를 참조하여 설명한다.
본 실시예 2-7에서는, 도 48 또는 도 49에 도시된 바와 같은 구성의 입력 펜(201)을 사용하여 상기 표시장치(3)에 표현된 3차원 공간의 포인팅을 수행하는 경우의 예로서, 상기 실시예 2-1에서 설명한 포인팅 방법을 실시하는 경우를 든다. 이 때, 상기 입력장치(2) 및 상기 표시장치(3)는 각각, 상기 실시예 2-1과 같이 전자 유도방식의 펜 타블렛과 액정 디스플레이를 사용하는 것으로 한다. 또한, 상기 입력장치(2)의 검출수단(디지타이저)은, 상기 액정 디스플레이(3)의 표시면과 중첩하는 것으로 한다.
이 때, 상기 조작자가, 상기 입력 펜(201)의 펜 끝(201P)을 상기 액정 디스플레이(3)의 XY 평면(z=0)의 임의의 일점에 두면, 예를 들면, 도 35a 및 도 36a에 도시된 바와 같이, 상기 액정 디스플레이(3)의 3차원 공간(301)상에, 원추형 등의 상기 입력 펜(201)의 펜 끝(201P)의 형상을 반영한 형상의 포인터(303)가 표시된다.
그리고, 상기 조작자가, 상기 입력 펜(201)의 휠(201D)을 회전시키면( 또는 슬라이드바(201D)를 이동시키면), 예를 들면, 도 35b 및 도 36b, 또는 도 35c 및 도 36c에 도시된 바와 같이, 상기 입력 펜(201)의 휠(201D)의 회전량(또는 슬라이드바(201D)의 이동량)에 따라서, 표시되는 상기 포인터(303)의 길이가 변한다.
이 때, 예를 들면, 도 35b 및 도 36b, 또는 도 35c 및 도 36c에 도시된 바와 같이, 원추형의 상기 포인터(303)의 크기를, 상기 입력 펜(201)의 펜 끝(201P)의 케이스에 밀려들어가는 양과 비례시키는 것으로, 예를 들면, 상기 실시예 2-1에서 설명한 바와 같은 방법과 비교하여, 상기 포인터(303)가 상기 펜 끝(201P)의 일부라는 시각적 효과가 더욱 높아진다.
또한, 본 실시예 2-7에서는, 상기 실시예 2-1에서 설명한 3차원 포인팅 방법을 실시하는 경우를 예로 들었지만, 예를 들면, 펜 끝(201P)의 검출면과의 접촉의 유무를 검출하여, 전동기구에 의해서, 상기 펜 끝(201P)의 케이스(201E) 내에의 출입을 제어하는 구성의 입력 펜을 사용하면, 상기 실시예 2-2에서 설명한 바와 같이, 상기 펜 끝(201P)의 검출면과의 접촉의 유무에 의해서 포인팅을 수행하는 것도 가능한 것은 물론이다.
[실시예 2-8]
다음에, 실시예 2-8에 관해서 설명한다. 실시예 2-8에서는, 실시예 1-8과 동일한 구체적 이용 신에 대하여 설명한다. 여기에서는, 실시예 1-8에서 사용한 도 37a 내지 도 40c를 참조하여 설명한다.
본 실시예 2-8에서는, 상기 실시예 2-1로부터 실시예 2-7에서 설명한 바와 같은 3차원 포인팅 방법의 구체적인 이용 신으로서, 3차원 표시가 가능한 표시화면과, 펜 타블렛의 검출수단을 내장하고 있는, 음악재생기능을 조작하기 위한 리모콘을 예로 든다. 이 때, 상기 입력 펜(201)을 조작하였을 때의 리모콘의 표시화면상의 포인터 및 오브젝트의 표시제어의 순서는, 상기 실시예 2-1로부터 실시예 2-7에서 설명한 순서와 같아도 좋으므로, 상세한 설명은 생략한다.
본 실시예 2-8에서는, 상기 조작자는, 상기 실시예 2-7에서 설명한 바와 같은, 펜 끝(201P)이 케이스 내로 밀려들어가는 입력 펜(201)을 사용하여, 예를 들면, 도 37a 및 도 39a에 도시된 바와 같은, 상기 리모콘의 3차원 공간(301)에 표시된 오브젝트를 조작한다. 우선, 예를 들면, 도 37b 및 도 39b에 도시된 바와 같이, 상기 조작자는, 상기 입력 펜(201)을 조작하여 재생버튼(302a)을 포인팅하면, 상기 재생버튼(302a)이 눌러진 상태의 표시로 전환되고, 음악의 재생이 개시된다.
또한, 예를 들면, 도 37c 및 도 39c에 도시된 바와 같이, 상기 입력 펜(201)을 조작하여 볼륨의 손잡이(302b)를 포인팅하고, 예를 들면, 상기 입력 펜(201)의 버튼(201D)을 누르면서 상기 손잡이(302b)를 회전시키도록 상기 입력 펜을 이동시키면, 재생 중의 음악의 볼륨을 높이거나 낮출 수 있다.
또한, 볼륨을 높이거나 낮추는 경우는, 도 37c 및 도 39c에 도시된 바와 같은 조작에 한정되지 않고, 예를 들면, 도 38a 및 도 40a에 도시된 바와 같이, 상기 손잡이(302b)의 중심 부근에서 상기 손잡이(302b)를 포인팅한 후, 상기 입력 펜(201)을 축 주위로 회전시킴으로써, 상기 손잡이(302b)를 회전시켜서, 볼륨을 높이거나 낮출 수도 있다.
또한, 예를 들면, 도 38b 및 도 40b에 도시된 바와 같이, 재생 중의 음악에 관한 정보가 표시되어 있는 영역(302c)을 상기 입력 펜(201)으로 포인팅하였을 때, 도 38c 및 도 40c에 도시된 바와 같이, 상기 영역(302c)이 2차원적인 표시에 바뀌어, 2차원 GUI 조작이 가능한 상태로 할 수 있도록 해두면, 예를 들면, 손으로 쓴 문자의 인식기능 등과 조합하여, 상기 영역(302c)에 재생하고 싶은 음악의 트랙번호를 입력하고, 목적하는 트랙번호로 스킵시킬 수 있다.
이와 같이, 상기 실시예 2-1로부터 실시예 2-7의 3차원 포인팅 방법을 이용함으로써, 3차원 공간(301)의 조작버튼 등의 오브젝트를 용이하고, 또한 직감적으로 조작할 수 있다.
또한, 본 실시예 2-8에서는, 리모콘을 사용한 음악기기의 조작예를 나타냈지만, 이것에 한정되지 않고, 예를 들면, PDA이거나, 휴대전화, 또한, 키오스크 단말 이나 ATM 등의 동일한 형태가 취해지는 기기의 조작에 적용할 수도 있고, 각각의 기기를 보다 직감적으로 조작하는 것이 가능해진다. 또한, 조작에 있어서도, 본 실시예에서는, 음악을 재생하여, 볼륨을 높이고, 트랙을 바꾸는 조작을 하였지만, 이것에 한정되지 않고, 상기 입력 펜(201)에 있어서의 조작과 관련지어지는 조작이면, 어떠한 조작이라도 가능하다.
또한, 본 실시예 2-8에 있어서는, 트랙 번호를 입력하는 데 손으로 쓴 인식을 사용한다고 하였지만, 2차원의 GUI에서 실현 가능한 것이라면, 어떠한 방법이라도 좋고, 예를 들면, 풀다운 메뉴로 트랙번호를 표시하여 입력 펜(201)으로 선택하는 입력방법이라도 좋다.
또한, 상기 각 실시예에서 설명한 3차원 포인팅을 실현하는 3차원 포인팅 장치는, 상기 3차원 포인팅 방법의 실현에 특화한 전용의 장치일 필요는 없고, 예를 들면, 도 41에 도시된 바와 같이, PC 등의 컴퓨터(시스템 제어장치(1))와, 상기 컴퓨터에 상기 각 실시예에서 설명한 바와 같은 3차원 포인팅 방법을 실행시키는 3차원 포인팅 프로그램에 의해서 실현할 수도 있다. 이 경우, 상기 3차원 포인팅 프로그램은, 상기 컴퓨터에서 판독이 가능한 상태로 기록되어 있으면, 자기적, 전기적, 광학적의 어느 기록매체에 기록되어 있어도 좋다. 또한, 상기 3차원 포인팅 프로그램은, 예를 들면, 상기 기록매체에 기록하여 제공할 뿐만 아니라, 인터넷 등의 네트워크를 통해 제공하는 것도 가능하다.
(제 3 실시형태)
다음에, 본 발명의 제 3 실시형태에 관해서 설명한다. 제 3 실시형태는 본 발명의 제 2 목적으로 대응하는 것이다.
제 3 실시형태의 3차원 포인팅 방법은, 표시장치에 표현된 3차원 공간 내에 포인터 및 오브젝트를 표시하여 두고, 상기 포인터로 3차원 공간 내의 임의의 일점을 포인팅하기 위해서 상기 포인터를 깊이 방향으로 이동시키는 조작이 수행된 경우, 상기 포인터의, 포인팅을 수행하는 부분과는 다른 부분의 깊이 위치, 형상, 사이즈를 일정하게 유지한 상태에서, 상기 포인팅을 수행하는 부분을 깊이 방향으로 이동시킨다. 그리고, 포인팅을 수행하는 부분이 포인팅하고 있는 3차원 공간위치에 오브젝트가 있는 경우, 그 오브젝트를 포인팅되어 있는 것을 상태에서 바꾸어 표시시킨다. 이렇게 함으로써, 상기 포인터의 조작자가, 포인터의 깊이 위치 및 상기 포인터가 포인팅하고 있는 위치를 용이하고, 또한 정확하게 인식할 수 있도록 하였다.
도 50은 본 발명의 3차원 포인팅 방법을 실현하기 위한 시스템의 구성예를 도시하는 모식도이다.
도 50에 있어서, 1은 포인팅 장치(시스템 제어장치), 101은 입력정보 취득수단, 102는 포인팅 위치/변형량 산출수단, 103은 포인터 생성수단, 104는 표시제어수단, 105는 포인팅 판정수단, 106은 오브젝트 생성수단, 107은 처리제어수단, 108은 기억수단, 2는 입력장치, 3은 표시장치이다.
제 3 실시형태의 3차원 포인팅 방법은, 예를 들면, 상기 PC와 같은 시스템 제어장치에 접속된 표시장치에 표현된 3차원 공간상에 있는 포인터를, 상기 시스템 제어장치에 접속된 입력장치를 사용하여 3차원적으로 조작하고, 상기 3차원 공간상 의 임의의 위치를 포인팅할 때에 적용하여 바람직한 3차원 포인팅 방법이다.
상기 시스템 제어장치(1)는, 예를 들면, 도 5O에 도시된 바와 같이, 상기 입력장치(2)로부터 입력된 입력정보를 취득하는 입력정보 취득수단(101)과, 상기 입력정보 취득수단(101)에서 취득한 입력정보가 포인터의 조작에 관한 정보(포인터 조작정보)인 경우에, 상기 입력정보에 기초하여 포인팅하고 있는 점의 이동방향 및 이동량을 산출한 후 포인팅 위치 및 포인터의 변형량을 산출하는 포인팅 위치/변형량 산출수단(102)과, 상기 포인팅 위치/변형량 산출수단(102)의 산출 결과에 기초하여 포인터를 생성하는 포인터 생성수단(103)과, 상기 포인터 생성수단(103)에서 생성된 포인터를 상기 표시장치(3)에 표시시키는 표시제어수단(104)을 구비한다. 또한, 상기 시스템 제어장치(1)는, 상기 각 수단에 추가하여, 예를 들면, 도 50에 도시된 바와 같이, 상기 포인팅 위치/변형량 산출수단(102)의 산출결과에 기초하여 생성하는 포인터에 포인팅되어 있는 오브젝트가 있는지 여부, 즉, 포인터가 포인팅하고 있는 점의 xyz 좌표에 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단(105)과, 상기 포인팅되어 있는 오브젝트가 있는 경우에, 예를 들면, 그 오브젝트의 색을 바꾸는 오브젝트 생성수단(106)을 구비한다.
또한, 상기 시스템 제어장치(1)는, 예를 들면, 상기 PC와 같이, 상기 입력장치(2)로부터의 입력정보에 따라서 소프트웨어의 기동이나 조작을 하거나, 다른 장치의 제어를 하기도 하는 장치이며, 도 50에 도시된 바와 같이, 상기 각 수단 외에, 예를 들면, 처리제어수단(107)이나 기억수단(108)을 구비하고 있다. 그리고, 상기 입력정보 취득수단(101)에서 취득한 정보가, 상기 포인터 조작정보와는 다른 경우, 상기 처리제어수단(107)은 취득한 정보에 따른 처리를 실행한다.
즉, 본 실시형태의 3차원 포인팅 방법은, 특수한 3차원 포인팅 장치를 사용할 필요는 없고, 도 50에 도시된 바와 같은 기존의 시스템 제어장치(1)를 사용하여 실현할 수 있다.
또한, 상기 입력장치(2)는, 예를 들면, 키보드나 마우스와 같이 상기 시스템 제어장치(1; PC)에 일반적으로 접속되어 있는 입력 장치에 한정되지 않고, 펜 타블렛이나 조이스틱(조이패드) 등의 입력 장치라도 좋다. 또한, 상기 입력장치(2)에서 상기 포인터의 조작을 할 때에는, 예를 들면, 마우스, 또는 키보드 등의 1종류의 입력 장치로 수행하여도 좋고, 마우스 조작과 키보드 상의 특정한 키의 누름을 조합하는 등, 2종류 이상의 입력 장치로 행하여도 좋다. 또한, 상기 입력장치(2)는, 예를 들면, 터치패널이나 펜 타블렛과 같이 상기 표시장치(3)의 표시면과 일체화되어 있어도 좋다(예를 들면, 일본 공개특허공보 제(평)5-73208호를 참조.). 이러한 입력장치(2)의 경우, 펜이나 손끝 등으로 상기 표시장치(3)의 표시화면에 닿는 것으로 상기 포인터 조작정보를 입력할 수 있다.
또한, 상기 표시장치(3)는, 3차원 공간을 표현할 수 있는 표시장치이면 좋고, 예를 들면, CRT 디스플레이나 액정 디스플레이와 같은 3차원 오브젝트를 2차원 평면에 투영한 형으로 표시하는 2차원 표시장치라도, DFD(예를 들면, 일본특허 제3022558호 명세서나 일본특허 제3460671호 명세서를 참조)와 같은 3차원 입체상을 표시하는 것이 가능한 표시장치라도 좋다. 즉, 상기 표시장치(3)는, 조작자(관찰자)가, 표시된 포인터나 오브젝트의 위치나 형상을 3차원적으로 인식(지각)하는 것 이 가능하면, 어떠한 표시장치라도 좋다.
[실시예 3-1]
도 51 내지 도 55는, 본 발명에 따른 실시예 3-1의 3차원 포인팅 방법을 설명하기 위한 모식도이고, 도 51은 포인터의 조작방법을 설명하는 도면이고, 도 52는 포인터보다도 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이고, 도 53은 도 52의 3차원 공간 내의 변화의 사시도이고, 도 54는 포인터보다도 전방에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이고, 도 55는 본 실시예 3-1의 3차원 포인팅 방법을 시스템 제어장치(포인팅 장치)에서 실행할 때의 처리순서를 설명하기 위한 플로도이다. 또한, 도 52는, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 도시하고 있고, 각 단의 사이에 도시한 것과 동일한 조작을 하는 것으로, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으로 변화하는 모양을 도시하고 있는 도면이다. 또한, 도 53도 상단, 중단, 하단에 3가지의 상태를 나타내고 있고, 각각, 도 52의 상단, 중단, 하단의 각 상태의 3차원 공간 내의 모양을 사시도로 도시하고 있다. 또한, 도 54도 마찬가지로, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 도시하고 있고, 각 단의 사이에 나타낸 바와 같은 조작을 하는 것으로, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으로 변화하는 모양을 도시하고 있는 도면이다.
도 51에 있어서, 1은 시스템 제어장치, 201은 키보드, 202는 마우스, 3은 표시장치(2차원 표시장치), 301은 표시면, 4는 포인터이다.
본 실시예 3-1에서는, 도 51에 도시된 바와 같이, 상기 입력장치(2)로서 키보드(201)와 마우스(202)를 사용하여, 상기 표시장치(3)로서 액정 디스플레이 등의 2차원 표시장치를 사용한 경우를 예로 들어, 3차원 포인팅 방법을 설명한다.
또한, 상기 표시장치(3)에 표현되는 3차원 공간상에서, 예를 들면, 도 51에 도시된 바와 같이, 표시면(301)을 Z=0으로 하고, 상기 표시면(301)이 XY 평면으로 되고, 또한，조작자로부터 보아 표시면(301)으로부터 후방으로 향하는 방향을 Z축의 양의 방향으로 하는 3차원 좌표계 XYZ를 취하고 있는 것으로 한다. 이 때, 상기 3차원 공간 내에 표시된 포인터(4)를 XY 평면 내에서의 이동방향 및 이동거리는, 상기 마우스(202) 본체를 탁상 등의 평면상에서 2차원적으로 움직였을 때의 이동방향 및 이동거리에 기초하여 산출(결정)한다.
또한, 깊이 방향(Z 방향)의 이동방향 및 이동거리는, 예를 들면, 도 51에 도시된 바와 같이, 상기 키보드(201)의 컨트롤 키(Ctrl 키) 등의 미리 정해진 키(201A)를 누르면서 상기 마우스(202)의 휠(202A)을 회전시켰을 때의 회전방향과 회전 각도에 기초하여 산출(결정)한다. 이 때, 예를 들면, 도 51에 도시된 바와 같이, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 경우는 상기 포인터의 포인팅을 수행하는 부분을 3차원 공간의 +Z 방향, 즉 조작자로부터 보아 후방으로 향하는 방향으로 이동시킨다. 그리고, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 경우는 상기 포인터의 포인팅을 수행하는 부분을 3차원 공간의 +Z 방향, 즉 조작자로부터 보아 전방을 향하는 방향으로 이동시킨다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 포인터(4)의 형상은 화살표로 하고, 화살의 선단부분이 포인팅하고 있는 점(xp, yp, zp)을 나타내고 있는 것으로 한다. 그리고, 상기 화살표의 포인터(4)로 포인팅을 수행하는 부분을 깊이 방향으로 이동시킬 때에는, 상기 화살의 선단의 반대측의 끝의 깊이 위치를 일정하게 유지하면서 상기 화살의 부분을 깊이 방향으로 이동시키고, 상기 포인터(4)를 기울인다.
이러한 3차원 포인팅 방법의 일 예로서, 도 52의 상단 및 도 53의 상단에 도시된 바와 같이, 3차원 공간 내의 다른 깊이 위치에 포인터(4) 및 오브젝트(5)가 표시되어 있는 경우의 포인팅 방법을 예로 든다. 이 때, -Z 방향으로부터 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 오브젝트(5)상에 상기 포인터(4)가 중첩되어 보이지만, 상기 포인터(4)가 포인팅하고 있는 점(xp, yp, zp)과 상기 오브젝트(5)는 깊이 위치가 다르기 때문에, 상기 오브젝트(5)는 포인팅되어 있지 않다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드의 컨트롤 키(Ctrl키; 201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 52의 중단 및 도 53의 중단에 도시된 바와 같이, 상기 화살의 선단의 반대측의 끝의 깊이 위치가 일정하게 유지된 상태에서, 상기 화살의 선단부분이 +Z 방향으로 이동하고, 화살의 부분이 조작자로부터 보아 후방의 방향으로 기운다. 또한, 도 52의 중단 및 도 53의 중단에서는, 상기 포인터의 포인팅하고 있는 점의 XY 좌표(xp, yp, zp)를 일정하게 유지하고, 또한， 상기 포인터(4)의 형상, 사이즈도 일정하게 유지한 상태에서 기울이는 예를 도시하고 있다. 그 때문에, 상기 화살의 선단의 반대측의 끝은, 깊이 위치를 일정하게 유지하기 위해서, 도 52의 중단 및 도 53의 중단에 도시된 바와 같이, +X 방향으로 이동하고 있다.
이와 같이, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리는 것에 의해, 상기 포인터(4)는, 포인팅하고 있는 점(화살표의 화살의 부분)측이 조작자로부터 보아 멀어지도록 기운다. 또한 이 때, 상기 포인터(4)의 형상 및 사이즈를 유지하면서 회전시키면, 상기 포인터(4)의 화살 부분의 폭이 좁게 표시된다. 이 결과, 상기 조작자는, 포인터(4)가 깊이 방향(+Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 후방을 포인팅하고 있는 것도 인식할 수 있다.
단, 본 실시예 3-1의 3차원 포인팅 방법은, 도 52의 중단 및 도 53의 중단에 도시된 바와 같은 포인터(4)의 기울임 방법을 특정하는 것은 아니며, 후술한 바와 같이, 상기 화살의 선단의 반대측의 끝의 깊이 위치가 일정하게 유지되어 있으면, 어떠한 기울임 방법이라도 좋다.
그리고, 도 52의 중단 및 도 53의 중단에 도시된 바와 같은 상태로부터, 또 한번, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스(202)의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때도, 상기 포인터(4)는, 예를 들면, 도 52의 하단 및 도 53의 하단에 도시된 바와 같이, 상기 화살의 선단의 반대측의 끝의 깊 이 위치가 일정하게 유지된 상태에서, 상기 화살의 선단부분이 +Z 방향으로 이동하고, 화살 부분이 조작자로부터 보아 더욱 속의 방향으로 기운다. 또한 이 때, 상기 포인터의 형상 및 사이즈를 유지하면서 회전시키면, 상기 포인터의 화살의 부분의 폭이 더욱 좁게 표시된다. 이 결과, 상기 조작자는, 포인터(4)가 더욱 깊이 방향(+Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 더욱 후방을 포인팅하고 있는 것도 인식할 수 있다.
또한 이 때, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리는 조작을 계속한 결과, 도 52의 하단 및 도 53의 하단에 도시된 바와 같이, 상기 포인터(4)의 포인팅하고 있는 점(xp, yp, zp)이 상기 오브젝트(5)와 동일한 깊이 위치에 도달하고, 상기 포인터(4)의 선단의 xyz 좌표(xp, yp, zp)와 상기 오브젝트(5)의 표면상 또는 내부의 임의의 점의 xyz 좌표가 일치하면, 상기 오브젝트(5)는, 상기 포인터(4)에 의해서 포인팅되는 상태가 된다. 그 때문에, 예를 들면, 도 52의 하단 및 도 53의 하단에 도시된 바와 같이, 상기 오브젝트(5)의 색을 바꾸어, 포인팅되어 있는 상태인 것을 나타낸다. 이렇게 하면, 상기 조작자는, 상기 포인터(4)의 형상으로부터 포인터(4)의 깊이 방향의 위치, 및 포인터(4)가 포인팅하고 있는 깊이 방향의 위치를 직관적, 또한, 정확하게 인식할 수 있다. 또한, 상기 포인터(4)에 의해서 포인팅되었을 때에 오브젝트(5)의 색을 바꿈으로써, 상기 오브젝트(5)와 중첩되어 있는 포인터(4)가 상기 오브젝 트(5)를 포인팅하고 있는지의 여부를 직관적, 또한, 정확하게 인식할 수 있다.
또한, 도 52 및 도 53에서는, 상기 조작자로부터 보아, 상기 오브젝트(5)의 깊이 위치보다도 전방에 상기 포인터(4)가 있고, 상기 포인터(4)를 후방(+Z 방향)으로 기울이는 경우의 조작을 설명하였지만, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 포인터(4)를 전방(-Z 방향)으로 기울일 수도 있게 된다.
상기 포인터(4)를 전방(-Z 방향)으로 기울이는 경우의 일 예로서, 도 54의 상단에 도시된 바와 같이, 상기 오브젝트(5)의 깊이 위치보다도 후방에 상기 포인터(4)가 있는 경우를 든다. 이 때, -Z 방향에서 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 포인터의 화살 선단부분이 상기 오브젝트와 중첩되어 숨어 있는 것처럼 보이지만, 상기 포인터가 포인팅하고 있는 점(xp, yp, zp)과 상기 오브젝트는 깊이 위치가 다르기 때문에, 상기 오브젝트는 포인팅되어 있지 않다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 -Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 54의 중단에 도시된 바와 같이, 상기 화살 선단의 반대측의 끝의 깊이 위치가 일정하게 유지된 상태에서, 상기 화살의 선단부분이 -Z의 방향으로 이동하고, 화살의 부분이 조작자로부터 보아 전방의 방향으로 기운다. 또한, 도 54의 중단에서는, 상기 포인터(4)의 포인팅하고 있는 점의 XY 좌표(xp, yp)를 일정하게 유지하고, 또한, 상기 포인터(4)의 형상 및 사이즈도 일정하게 유지한 상태에서 기울이는 예를 도시하고 있다. 그 때문에, 상기 화살의 선단 의 반대측의 끝은, 깊이 위치를 일정하게 유지하기 위해서, 도 54의 중단에 도시된 바와 같이, +X 방향으로 이동하고 있다.
이와 같이, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 -Z 방향으로 돌리는 것에 의해, 상기 포인터(4)는, 포인팅하고 있는 점(xp, yp, zp)이 조작자로부터 보아 가까워지도록 기운다. 또한 이 때, 상기 포인터의 형상 및 사이즈를 유지하면서 회전시키면, 상기 포인터의 화살의 부분의 폭이 넓게 표시된다. 이 결과, 상기 조작자는, 포인터(4)가 깊이 방향(+Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 앞을 포인팅하고 있는 것도 인식할 수 있다.
그리고, 도 54의 중단에 도시된 바와 같은 상태로부터, 다시 또 한번, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 -Z 방향으로 돌린 것으로 한다. 이 때도, 상기 포인터(4)는, 예를 들면, 도 54의 하단에 도시된 바와 같이, 상기 화살 선단의 반대측의 끝의 깊이 위치가 일정하게 유지된 상태에서, 상기 화살의 선단부분이 -Z 방향으로 이동하고, 화살의 부분이 조작자로부터 보아 더욱 전방의 방향으로 기운다. 또한 이 때, 상기 포인터의 형상 및 사이즈를 유지하면서 회전시키면, 상기 포인터의 화살의 부분의 폭이 더욱 넓게 표시된다. 이 결과, 상기 조작자는, 포인터(4)가 더욱 깊이 방향(-Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 더욱 전방을 포인팅하고 있는 것도 인식할 수 있다.
또한 이 때, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 -Z 방향으로 돌리는 조작을 계속한 결과, 도 54의 하단에 도시된 바와 같이, 상기 포인터의 포인팅하고 있는 점(xp, yp, zp)이 상기 오브젝트와 동일한 깊이 위치에 도달하고, 상기 포인터(4)의 선단의 xyz 좌표(xp, yp, zp)와 상기 오브젝트(5)의 표면상 또는 내부의 임의의 점의 xyz 좌표가 일치하면, 상기 오브젝트(5)는, 상기 포인터(4)에 의해서 포인팅된 상태로 된다. 그 때문에, 예를 들면, 도 54의 하단에 도시된 바와 같이, 상기 오브젝트(5)의 색을 바꾸어, 포인팅되어 있는 상태인 것을 나타낸다. 이렇게 하면, 상기 조작자는, 상기 포인터(4)의 형상으로부터 포인터(4)의 깊이 방향의 위치, 및 포인터(4)가 포인팅하고 있는 깊이 방향의 위치를 직관적, 또한, 정확하게 인식할 수 있다. 또한, 상기 포인터(4)에 의해서 포인팅되었을 때에 오브젝트(5)의 색을 바꿈으로써, 상기 오브젝트(5)와 중첩되어 있는 포인터(4)가 상기 오브젝트(5)를 포인팅하고 있는지의 여부를 직관적, 또한, 정확하게 인식할 수 있다.
또한, 상기 마우스의 휠(202A)의 회전에 맞추어서 상기 포인터(4)를 깊이 방향(+Z 방향 또는-Z 방향)으로 기울여서 표시시킬 때에는, 예를 들면, 상기 휠(202A)의 토탈 회전 각도에 맞추어서, 상기 포인터(4)가 연속적으로 기울도록 표시시켜도 좋고, 상기 휠(202A)의 회전단계와 동기시키고, 상기 휠(202A)을 1단계 회전시킬 때마다 상기 포인터(4)를 미리 정한 각도씩 단계적으로 기울도록 표시시켜도 좋다.
이러한 본 실시예 3-1의 3차원 포인팅 방법을, 상기 시스템 제어장치(1; 포인팅 장치)에 실행시킬 때에는, 도 55에 도시된 바와 같은, 단계 601로부터 단계 608의 처리를 실행시키면 좋다. 이 때, 상기 시스템 제어장치(1)에서는, 도 55에 도시된 바와 같이, 우선, 상기 표시제어수단(104)을 사용하여, 상기 표시장치(3)에 오브젝트(5) 및 포인터(4)를 표시시킨다(단계 601). 이 때, 상기 오브젝트(5)는 복수개 표시되어 있어도 좋다. 또한, 상기 오브젝트(5) 및 포인터(4)는, 상기 표시장치(3)에서 표현되어 있는 3차원 공간 내이면, 어느 위치에 표시되어 있어도 좋은 것으로 한다.
다음에, 상기 조작자가 상기 키보드(201)나 마우스(202) 등의 입력장치(2)를 사용하여 입력한 정보를 상기 입력정보 취득수단(101)에서 취득한다(단계 602). 이 때, 상기 입력정보 취득수단(101)에서 취득하는 입력정보는, 상기 포인터(4)의 조작에 관한 정보(포인터 조작정보) 외에, 애플리케이션·소프트의 기동 등의 입력정보도 취득하지만, 여기에서는, 상기 포인터(4)의 조작에 관한 정보를 취득한 것으로 한다. 상기 입력정보 취득수단(101)에서 취득한 입력정보는, 상기 포인터 조작정보인지의 여부의 판정이 수행되고, 상기 입력정보가, 예를 들면, 마우스(202)의 이동정보(조작정보)나, 휠(202A)의 회전 조작정보 등의 상기 포인터 조작정보인 경우, 상기 입력정보 취득수단(101)은, 상기 입력정보(포인터 조작정보)를 상기 포인팅 위치/변형량 산출수단(102)에 건네주고, 포인팅 위치 및 포인터의 변형량을 산출시킨다.
이 때, 상기 포인팅 위치/변형량 산출수단(102)에서는, 예를 들면, 우선, 도 55에 도시된 바와 같이, 상기 포인터 조작정보에 기초하여 상기 포인터의 이동방향, 이동량 등을 산출한다(단계 603). 상기 단계 603에서는, 예를 들면, 마우스 본체의 2차원적인 이동방향이나 이동량의 정보로부터, 표시장치에서 표현하는 3차원 공간의 XY 하면 내에서의 상기 포인터(4)의 이동방향이나 이동량, 또는 회전 각도 등을 산출한다.
상기 단계 603에 있어서 상기 포인터(4)의 이동방향, 이동량 등을 산출하면, 다음으로, 산출결과에 기초하여 상기 표시장치(3)에 표시된 포인터(4)를 이동시켜서 표시시킨다(단계 604). 상기 단계 604는, 예를 들면, 상기 포인터(4)의 XY 평면 내에서의 이동방향, 이동량 등에 기초하여 상기 포인터 생성수단(103)에서 이동처의 포인터(4)를 생성한 후, 상기 표시제어수단(104)을 이용하여 상기 생성한 포인터(4)를 상기 표시장치(3)에 표시시킨다. 또한, 상기 포인터 조작정보 중에 상기 포인터(4)를 XY 평면 내에서 이동 또는 회전시키는 정보가 포함되어 있지 않은 경우, 상기 단계 604의 조작은 생략되고, 다음의 단계 605의 처리가 수행된다.
상기 포인팅 위치/변형량 산출수단(102)은, 상기 단계 603의 처리가 끝나면, 상기 포인터 생성수단(103) 및 상기 표시제어수단(104)에 상기 단계 604의 처리를 하게 하는 한편, 상기 포인터 조작정보에 기초하여 상기 포인터(4)의 기울이는 방향 및 기울이는 양을 산출한다(단계 605). 상기 단계 605에 있어서, 상기 기울임 방향은, 예를 들면, 상기 마우스(202)의 휠(202A)의 회전방향의 정보로부터 결정한다. 또한, 기울이는 양은, 예를 들면, 상기 마우스(202)의 휠(202A)의 회전량으로부터 산출한다.
상기 단계 605에 있어서 상기 포인터(4)의 기우는 방향 및 기우는 양을 산출하면, 다음에, 산출결과에 기초하여 상기 표시장치(3)에 표시된 포인터(4)를 기울여서 표시한다(단계 606). 상기 단계 606은, 예를 들면, 상기 포인터(4)가 기울이는 양에 기초하여 상기 포인터 생성수단(103)에서 포인터(4)를 기울이게 한 후, 상기 표시제어수단(104)을 이용하여, 예를 들면, 도 52의 중단 및 도 53의 중단 등에 도시된 바와 같이 기울인 포인터(4)를 상기 표시장치(3)에 표시시킨다. 또한, 상기 포인터 조작정보 중에 상기 포인터(4)를 Z축 방향으로 기울이는 정보가 포함되어 있지 않은 경우, 상기 단계 606의 조작은 생략되고, 다음의 단계 607의 처리가 수행된다.
또한, 상기 포인팅 위치/변형량 산출수단(102)은, 상기 단계 603 및 상기 단계 606의 처리를 한 후, 산출결과를 상기 포인터 생성수단(103)으로 건네주고 포인터를 생성시킴과 동시에, 상기 포인팅 판정수단(105)에도 산출결과를 건네준다. 이 때, 상기 포인팅 판정수단(105)은, 접수받은 산출결과로부터, 조작 후의 포인터(4)가 포인팅하고 있는 오브젝트가 있는지의 여부, 즉, 포인터(4)가 포인팅하고 있는 점의 xyz 좌표가, 오브젝트의 표면상 또는 내부의 임의의 점의 xyz 좌표로부터 미리 정해진 범위 내에 있는지의 여부를 판정한다(단계 607). 이 때, 포인팅하고 있는 오브젝트가 없으면, 단계 602로 되돌아가고, 다음의 입력정보(포인터 조작정보)를 취득할 때까지 대기한다.
또한, 포인팅하고 있는 오브젝트가 있는 경우, 상기 포인팅 판정수단(105)은, 상기 오브젝트 생성수단(106)에, 포인팅되어 있는 오브젝트의 색을 바꾼 오브 젝트를 생성시키고, 상기 표시제어수단(104)을 이용하여 상기 표시장치(3)에 표시시킨다(단계 608). 그리고, 색을 바꾼 오브젝트를 표시시킨 후는, 단계 602로 되돌아가고, 다음의 입력정보(포인터 조작정보)를 취득할 때까지 대기한다.
또한, 상술한 바와 같은 순서로 상기 포인터(4)를 기울여서 표시시킨 후, 상기 입력장치(2)로부터 상기 포인터(4)의 조작에 관한 정보를 취득하고, 예를 들면, XY 평면 내에서 이동시키는 경우, 상기 포인터(4)의 기울기를 원래로 되돌리고 나서 이동시켜도 좋고, 상기 포인터(4)를 기울인 채로 이동시켜도 좋다.
또한, 도 55에서는 생략하고 있지만, 상기 입력정보 취득수단(101)에서 상기 포인터 조작정보 이외의 입력정보를 취득한 경우, 상기 처리제어수단(107)은, 취득한 입력정보에 따른 처리를 실행한다. 이 때, 상기 포인터 조작정보 이외의 입력정보로서는, 예를 들면, 상기 포인터(4)로 포인팅한 오브젝트(5)와 관련지어진 소프트웨어의 기동이나, 수치 또는 문자열의 입력정보 등을 들 수 있다. 이 경우, 상기 처리제어수단(107)은, 상기 입력정보에 기초하여, 상기 오브젝트(5)와 관련된 소프트웨어의 기동 등의 처리를 하여, 예를 들면, 상기 오브젝트 생성수단(105)에, 처리결과에 관한 오브젝트를 생성시키고, 상기 표시제어수단(104)을 사용하여 상기 처리결과의 오브젝트를 상기 표시장치(3)에 표시시킨다.
이상 설명한 바와 같이, 본 실시예 3-1의 3차원 포인팅 방법에 의하면, 상기 포인터(4)의, 포인팅하고 있는 점(화살의 선단)과 반대측의 끝의 깊이 위치를 일정하게 유지하면서, 상기 포인팅하고 있는 점을 깊이 방향으로 기울여 상기 표시장치(3)에 표시시키는 것으로, 상기 포인터(4)를 본 조작자가 상기 포인터(4)의 깊이 위치 및 상기 포인터(4)가 포인팅하고 있는 깊이 위치를 직관적, 또한, 정확하게 인식할 수 있다.
또한, 상기 포인터(4)의 화살의 선단의 반대측의 끝의 깊이 위치를 유지하는 동시에, 상기 포인터(4) 전체의 길이를 유지한 상태에서 상기 포인터(4)를 깊이 방향으로 기울여 오브젝트(5)의 포인팅을 수행하는 방법에서는, 상기 포인터(4)의 3차원적인 길이가 변화하기 때문에, 조작자에 대하여, 보다 실물체에 가깝고, 자연스러운 오브젝트 표시를 제시할 수 있게 된다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 키보드의 컨트롤 키(201A)와 마우스의 휠(202A)의 회전조작을 조합하는 것으로, 상기 포인터(4)를 깊이 방향으로 기울이는 예를 나타내었지만, 이것에 한정되지 않고, 키보드(201)의 다른 키와 휠(202A)의 조합이라도 좋고, 휠(202A)의 대신에 키보드(201)의 커서 키(방향키)와 조합하여도 좋다. 또한, 그 외에도, 예를 들면, 펜 타블렛이나 터치패널, 조이스틱 등으로 미리 정해진 조작을 하였을 때에 기울도록 하여도 좋다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 포인터(4)로서, 화살 형상의 포인터를 예로 들었지만, 이것에 한정되지 않고, 깊이 방향으로 기울여서 표시시켰을 때의 기울기방향 및 포인팅하고 있는 점(위치)이 시각적으로 인식할 수 있는 형상이면, 어떠한 형상이라도 좋다.
도 56a 내지 도 56d는, 포인터의 형상의 변형예를 도시하는 모식도이고, 도 56a는 삼각형상의 포인터를 도시하는 도면이고, 도 56b는 사람의 손 형상의 포인터를 도시하는 도면이고, 도 56c는 물방울 형상의 포인터를 도시하는 도면이고, 도 56d는 십자 형상의 포인터를 도시하는 도면이다.
본 실시예 3-1과 같은 3차원 포인팅 방법에서는, 상기 포인터를 깊이 방향으로 기울였을 때의 시각적인 형상의 변화로부터, 상기 포인터가 포인팅하고 있는 점의 깊이 위치를 인식한다. 그 때문에, 도 52의 상단에 도시된 바와 같은 화살 모양의 포인터(4)에 한정되지 않고, 예를 들면, 도 56a에 도시하는 바와 같은 삼각형상의 포인터(4A)라도 좋다. 상기 삼각형상의 포인터의 경우, 상기 포인터(4A)의 꼭지각을 포인팅하고 있는 점(xp, yp, zp)으로 하고, 저변의 깊이 위치를 일정하게 유지한 상태에서 깊이 방향으로 기울이면 된다.
또한, 그 밖에도, 예를 들면, 도 56b에 도시하는 바와 같은 집게손가락으로 오브젝트를 지시하고 있는 사람의 손 형상의 포인터(4B), 도 56c에 도시하는 바와 같은 물방울 형상의 포인터, 도 56d에 도시하는 바와 같은 십자모양의 포인터(4D)라도 좋다. 상기 사람의 손 형상의 포인터(4B)의 경우, 예를 들면, 집게손가락의 선단을 포인팅하고 있는 점(xp, yp, zp)으로 하고, 반대측(손목)의 깊이 위치를 일정하게 유지한 상태에서 깊이 방향으로 기울이면 된다. 또한, 상기 물방울 형상의 포인터(4C)의 경우, 예를 들면, 꼭지각을 포인팅하고 있는 점(xp, yp, zp)으로 하고, 반대측(원호부)의 깊이 위치를 일정하게 유지한 상태에서 깊이 방향으로 기울이면 된다. 또한, 상기 십자 형상의 포인터(4D)의 경우, 예를 들면, 교점을 포인팅하고 있는 점(xp, yp, zp)으로 하고, 교점으로부터 연장되는 4개의 축의 1개의 축의 끝의 깊이 위치를 일정하게 유지한 상태에서 깊이 방향으로 기울이면 된다.
또한, 상기 오브젝트도, 본 실시예 3-1에서는, 도 51 등에 도시된 바와 같은 폴더아이콘형의 오브젝트를 예로 들었지만, 이것에 한정되지 않고, 데이터 파일이나 실행파일의 아이콘(쇼트커트)이나 윈도우 등, 상기 포인터로 포인팅 가능한 형상이면, 어떠한 형상의 오브젝트라도 좋다.
또한, 본 실시예 3-1의 포인팅 방법에서는, 예를 들면, 상기 포인터(4)의 시각적인 형상의 변화로부터 상기 포인터(4)의 깊이 방향의 포인팅 위치를 인식할 수 있지만, 예를 들면, 상기 3차원 공간 내에, 상기 포인터(4)가 어느 만큼 기울었는지를 조작자에게 인식시키는 지표가 되는 레퍼런스를 상기 표시장치(3)에 표시시켜도 좋다.
도 57은, 본 실시예 3-1의 3차원 포인팅 방법에 있어서 레퍼런스를 표시시키는 예를 도시하는 도면이다.
본 실시예 3-1의 포인팅 방법에서는, 상기 포인터(4)를 깊이 방향으로 기울였었을 때의 시각적인 형상의 변화에 의해서, 상기 포인터(4)의 깊이 방향의 포인팅 위치를 조작자에게 인식시킨다. 그렇지만, 동일한 깊이 위치를 포인팅한 상태가 장기간 계속되면, 시각적인 형상의 변화가 없기 때문에, 상기 포인터(4)의 깊이 방향의 포인팅 위치의 인식이 애매하게 될 가능성이 있다.
그래서, 예를 들면, 도 57에 도시된 바와 같이, 상기 표시장치(3)에 표시된 3차원 공간 내에, 상기 3차원 공간에 설정하는 XYZ 좌표계를 반영한 xyz 좌표축(레퍼런스; 7)을 표시하여 두면, 상기 포인터(4)의 깊이 위치의 변화가 없을 때에도, 상기 xyz 좌표축을 참조함으로써 상기 포인터(4)의 깊이방향의 기울기의 인식이 용 이해진다. 이 때, 상기 레퍼런스(7)는, 상기 3차원 공간상의 특정한 위치에 고정해두어도 좋고, 포인터(4)의 이동에 동반하여 이동하고, 포인터(4)가 기울 때는 그 자리에서 고정되어 있어도 좋다. 또한, 상기 레퍼런스(7)는, 상기 표시장치(3)에 표현되어 있는 3차원 공간 내가면 어떤 위치에 배치하여도 좋고, 상기 조작자가 배치위치를 설정하는 것도 가능하다. 또한, 도 57에서는, 레퍼런스(7)로서 xyz 좌표축을 도시하는 바와 같은 표시물을 사용하였지만, 이것에 한정되지 않고, 상기 조작자에게 포인터(4)의 기울기의 정도를 인식시키는 지표가 되는 표시물이면 어떠한 것이라도 좋고, 예를 들면, 기울기가 0(XY 평면과 평행)이고, 상기 포인터와 상사형인 반투명한 표시물과 같은 것이라도 좋다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 포인터(4)를 깊이 방향으로 기울일 때, 예를 들면, 도 52의 중단 및 도 53의 중단에 도시된 바와 같이, 상기 포인터(4)의 화살의 선단의 반대측의 끝의 깊이 위치를 일정하게 유지하는 동시에, 상기 포인터(4)의 전체의 길이(형상, 사이즈)를 일정하게 유지한 상태에서 기울이는 예를 들었지만, 이것에 한정되지 않고, 포인터 전체의 길이를 변화시키면서 깊이 방향으로 기울여 오브젝트의 포인팅을 하도록 하는 것도 가능하다.
도 58은, 본 실시예 3-1의 3차원 포인팅 방법의 변형예를 설명하기 위한 모식도이고, 포인터보다도 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다. 또한, 도 58은, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 도시하고 있고, 각 단의 사이에 도시된 바와 같은 조작을 하는 것으로, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으 로 변화하는 모양을 도시하고 있는 도면이다.
본 실시예 3-1의 3차원 포인팅 방법에서는, 예를 들면, 도 52의 하단에 도시된 바와 같이, 상기 포인터(4)의 전체의 길이, 형상 등도 일정하게 유지한 상태에서 깊이 방향으로 기울여서 표시시키고 있다. 그 때문에, 어떤 깊이 위치에 있는 포인터(4)로 포인팅할 수 있는 것은, 상기 포인터(4)의 길이보다도 깊이 방향의 거리가 가까운 오브젝트에 한정된다.
본 실시예 3-1의 3차원 포인팅 방법은, 예를 들면, 도 52의 하단에 도시된 바와 같은 포인터의 기울임 방법을 한정하지 않으며, 상기 포인터의 일단(화살의 선단의 반대측의 끝)의 깊이 위치와 포인터의 끝(화살의 선단)의 깊이 위치를 비교함으로써, 조작자가 포인터의 기울기를 인식하고, 포인팅 위치를 인식할 수 있도록 하는 방법이다. 즉, 포인팅하는 부분과는 다른 부분의 깊이 위치가 일정하게 유지되어 있으면, 어떠한 기울임 방법이라도 좋다.
본 실시예 3-1의 3차원 포인팅 방법에 있어서 실현 가능한, 도 52의 하단에 도시된 바와 같은 포인터의 기울임 방법과는 다른 기울임 방법의 일 예로서, 도 58의 상단에 도시된 바와 같이, 조작자의 시점으로부터 보아, 3차원 공간 내의 다른 깊이 위치에 포인터 및 오브젝트가 표시되어 있는 경우를 든다. 이 때, -Z 방향에서 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 오브젝트상에 상기 포인터가 중첩되어 보이지만, 상기 포인터가 포인팅하고 있는 점과 상기 오브젝트는 깊이 위치가 다르기 때문에, 상기 오브젝트는 포인팅되어 있지 않다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드의 컨트롤키(Ctrl 키; 201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 58의 중단 및 도 58의 하단에 도시된 바와 같이, 상기 화살의 선단의 반대측의 끝의 깊이 위치가 일정하게 유지된 상태에서, 상기 화살의 선단부분이 +Z 방향으로 이동하여, 화살 부분이 조작자로부터 보아 후방의 방향으로 기운다. 또한 이 때, 상기 화살의 선단의 반대측의 끝은, 도 58의 중단 및 도 58의 하단에 도시된 바와 같이, 조작전의 화살 선단의 반대측의 끝과 같은 3차원 공간위치에 고정되어 있다. 그리고, 예를 들면, 상기 포인터(4)의 포인팅하고 있는 점을 +Z 방향으로 이동시킬 때, XY 좌표(x, y)를 일정하게 유지한 채로 이동시킨 것으로 한다면, 상기 포인터(4)는, 포인터 전체의 길이를 변화시키면서 깊이 방향으로 기울게 된다.
이러한 3차원 포인팅 방법에서도, 상기 포인터(4)의 기울기를 인식하는 것은 가능하고, 도 52의 하단에 도시된 바와 같은 포인터의 길이가 변화하지 않는 포인팅 방법의 경우와 동일한 효과가 얻어진다. 또한 이 경우, 포인터 전체의 길이가 깊이 방향으로 기울어짐에 따라서 변화하기 때문에, 상기 포인터와의 깊이 방향의 거리가 큰 오브젝트라도 포인팅이 가능하다. 또한, 도 58의 중단 및 도 58의 하단에 도시된 바와 같은 경우, 상기 포인터(4)는, 깊이 방향의 기울기가 변함에 따라서, 길이(사이즈)가 변화하지만, 이러한 길이(사이즈)의 변경은, 상기 표시장치(3)에 표현된 3차원 공간 내에 포인터(4)를 표시시키는 경우에 있어서의, 조작자에게 3차원적인 입체감을 나타내기 위한 심리적인 묘화수법으로서 사용되는 사이즈의 변경, 즉 조작자로부터 보아 뒤에 있는 포인터를 작게 표시하거나, 조작자로부터 보 아 조작자에게 가까운 위치에 있는 포인터를 크게 표시하는 「표시상의 사이즈의 변경」과는 다르다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 도 52 및 도 53에 도시된 바와 같이, 상기 포인터(4)를 기울여서 깊이 위치가 별개의 오브젝트를 포인팅하는 방법에 관해서 설명하였지만, 이 때, 상기 포인터(4)를 기울이는 것뿐만 아니라, 도 59에 도시된 바와 같이, 상기 포인터(4)의 형상을 유지한 채로 깊이 방향으로 병진 이동시키는 조작이 가해지고 있어도 좋다.
도 59는, 본 실시예 3-1의 3차원 포인팅 방법의 제 1 응용예를 설명하기 위한 모식도이고, 포인터보다도 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다. 또한, 도 59는, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 도시하고 있고, 각 단의 사이에 나타낸 바와 같은 조작을 하는 것으로, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으로 변화하는 모양을 도시하고 있는 도면이다.
본 실시예 3-1의 3차원 포인팅 방법의 경우, 예를 들면, 도 58에 도시된 바와 같은 방법으로 하는 것으로, 포인터 전체의 길이가 깊이 방향으로 기울어짐에 따라서 변화하기 때문에, 상기 포인터와의 깊이 방향의 거리가 큰 오브젝트라도 포인팅이 가능하다. 그렇지만, 도 52의 하단에 도시된 바와 같은 포인터의 기울임 방법이라도, 예를 들면, 상기 포인터(4)를, 형상을 유지한 채로 Z축 방향으로 병진 이동시킴으로써, 상기 포인터(4)와 오브젝트(5)의 깊이 방향의 거리를, 포인터 전체의 길이보다 가깝게 하면, 상기 표시장치(3)에 표현된 3차원 공간 내의 모든 오 브젝트를 포인팅하는 것이 가능하다. 이 때, 상기 포인터(4)의 Z축 방향의 병진 이동은, 상기 키보드의 컨트롤 키(Ctrl 키; 201A)와는 다른 키, 예를 들면, 시프트 키(Shift 키)를 누르면서 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 경우는 상기 포인터(4)를 3차원 공간의 +Z 방향으로 병진 이동시키고, 상기 시프트 키(Shift 키)를 누르면서 상기 마우스의 휠(202A)을 -Z 방향으로 돌린 경우는 상기 포인터(4)를 3차원 공간의 -Z 방향으로 병진 이동시키도록 하면 좋다.
이러한 포인팅 방법의 일 예로서, 도 59의 상단에 도시된 바와 같이, 조작자의 시점으로부터 보아, 3차원 공간 내의 다른 깊이 위치에 포인터(4) 및 오브젝트(5)가 표시되어 있는 경우를 든다. 이 때, -Z 방향에서 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 오브젝트(5)상에 상기 포인터(4)가 중첩되어 보이지만, 상기 포인터(4)가 포인팅하고 있는 점(xp, yp, zp)과 상기 오브젝트(5)는 깊이 위치가 다르기 때문에, 상기 오브젝트(5)는 포인팅되어 있지 않다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드(201)의 시프트 키(Shift 키)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 59의 중단에 도시된 바와 같이, 상기 포인터(4)의 형상, 사이즈를 일정하게 유지한 상태에서, +Z 방향으로 병진 이동하고, 상기 포인터(4)와 오브젝트(5)의 깊이 방향의 거리가 가까워진다.
그리고, 도 59의 중단에 도시된 바와 같은 상태일 때, 상기 조작자가, 예를 들면, 상기 키보드(201)의 컨트롤 키(Ctrl 키; 201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리면, 상기 포인터(4)는, 예를 들면, 도 59의 하단에 도시된 바와 같이 화살의 선단의 반대측의 끝의 깊이 위치를 일정하게 유지한 상태에서 상기 화살의 선단이 후방으로 기운다.
이렇게 하면, 예를 들면, 상기 표시장치(3)에서 표현되어 있는 3차원 공간의 Z축 방향, 즉 깊이가 크고(넓고), 상기 포인터(4)를 기울이는 것만으로는 포인팅할 수 없는 오브젝트가 있는 경우라도, 도 59의 중단에 도시된 바와 같이, 상기 포인터(4)를 깊이 방향으로 병진 이동시킴으로써, 상기 오브젝트(5)를 포인팅하는 것이 가능해진다. 또한, 도 59에서는, 조작자로부터 보아 후방(+Z 방향)으로 병진 이동시키는 예를 도시하였지만, 전방(-Z 방향)으로 병진 이동시킬 수도 있는 것은 물론이다.
또한, 상기 마우스의 휠(202A)의 회전에 맞추어서 상기 포인터(4)를 Z축 방향으로 병진 이동시킬 때에는, 예를 들면, 상기 휠(202A)의 토탈 회전 각도에 맞추어서, 상기 포인터(4)가 연속적으로 이동하도록 표시시켜도 좋고, 상기 휠(202A)의 회전단계와 동기시켜, 상기 휠(202A)을 1단계 회전시킬 때마다 상기 포인터(4)를 미리 정한 거리씩 단계적으로 이동하도록 표시시켜도 좋다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 마우스(202) 본체의 2차원적인 이동을 XY 평면 내에서의 포인터(4)의 이동에 반영시켜, 상기 키보드(201)의 컨트롤 키(Ctrl 키; 201A)와 마우스(202)의 휠(202A)의 회전조작의 조합을 상기 포인터(4)의 깊이 방향의 기울기에 반영시키고 있다. 또한, 도 59에 도시한 포인팅 방법에서는, 상기 키보드(201)의 시프트 키(Shift 키)와 마우스(202)의 휠(201A)의 회전조작의 조합을 상기 포인터(4)의 깊이 방향의 병진 이동에 반영시키고 있다. 이와 같이, 본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 마우스(202) 본체, 및 키보드(201)의 키와 마우스의 휠(202A)의 회전조작의 조합으로 상기 3차원 공간 내의 모든 점을 포인팅하는 것이 가능하다. 또한, 예를 들면, 상기 키보드(201)의 컨트롤 키(Ctrl 키; 201A)나 시프트 키(Shift 키) 이외의 키와 마우스의 휠(201A)의 회전조작이 조합하는 것으로, 상기 포인터(4)를 XY 평면 내에서 회전시키는 것도 가능하다. 이 때, 상기 포인터(4)의 XY 평면 내에서의 회전은, 상기 키보드(201)의 컨트롤 키(Ctrl 키)나 시프트 키(Shift 키)와는 다른 키, 예를 들면, 알트 키(Alt 키)를 누르면서 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 경우는 상기 포인터(4)를 시계 방향으로 회전시켜, 상기 알트 키(Alt 키)를 누르면서 상기 마우스의 휠(202A)을 -Z 방향으로 돌린 경우는 상기 포인터(4)를 반시계 방향으로 회전시키도록 하면 된다.
도 60은, 본 실시예 3-1의 3차원 포인팅 방법의 제 2 응용예를 설명하기 위한 모식도이고, 포인터보다도 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이다. 또한, 도 60은, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 나타내고, 각 단의 사이에 나타낸 바와 같은 조작을 하는 것으로, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으로 변화하는 모양을 도시하고 있는 도면이다.
상기 포인터를 XY 평면 내에서 회전시키는 포인팅 방법의 일 예로서, 도 60의 상단에 도시된 바와 같이, 조작자의 시점으로부터 보아, 3차원 공간 내의 다른 깊이 위치에 포인터(4) 및 오브젝트(5)가 표시되어 있는 경우를 든다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드(201)의 알트키(Alt 키)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 60의 중단에 도시된 바와 같이, 상기 포인터(4)의 형상을 유지한 상태에서, 시계 방향으로 90도 회전한다. 이 때, -Z 방향에서 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 오브젝트상에 상기 포인터의 화살의 선단이 중첩되어 보이지만, 상기 포인터가 포인팅하고 있는 점과 상기 오브젝트는 깊이 위치가 다르기 때문에, 상기 오브젝트는 포인팅되어 있지 않다.
그리고, 도 60의 중단에 도시된 바와 같은 상태일 때, 상기 조작자가, 예를 들면, 상기 키보드(201)의 컨트롤 키(Ctrl 키; 201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리면, 상기 포인터(4)는, 예를 들면, 도 60의 하단에 도시된 바와 같이 화살의 선단의 반대측의 끝의 깊이 위치를 일정하게 유지한 상태에서 상기 화살의 선단이 후방으로 기운다. 또한, 도시는 생략하지만, 도 60의 하단에 도시된 바와 같은 상태로부터, 상기 키보드의 컨트롤 키(Ctrl 키; 201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리면, 상기 포인터(4)의 기울기가 커지고, 상기 포인터(4)의 화살의 선단(x, y, z)이 상기 오브젝트(5)와 동일한 깊이 위치에 도달하면, 상기 오브젝트(5)의 색이 바뀌고, 포인팅되어 있는 것을 인식할 수 있다.
이와 같이, 상기 포인터(4)의 XY 평면 내에서의 회전조작도 가해지는 것으 로, 상기 오브젝트를, 모든 방향에서 포인팅하는 것이 가능해져, 보다 실공간에 가까운 조작감으로 상기 포인터(4)를 조작할 수 있게 된다.
또한, 상기 마우스의 휠(202A)의 회전에 맞추어서 상기 포인터(4)를 XY 평면 내에서 회전시켜서 표시시킬 때에는, 예를 들면, 상기 휠(202A)의 토탈 회전 각도에 맞추어서, 상기 포인터(4)가 연속적으로 회전하도록 표시시켜도 좋고, 상기 휠(202A)의 회전단계와 동기시켜, 상기 휠(202A)을 1단계 회전시킬 때마다 상기 포인터(4)를 미리 정한 각도씩 단계적으로 회전하도록 표시시켜도 좋다.
또한, 본 실시예 3-1에서는, 도 51에 도시된 바와 같이, 상기 표시장치(3)로서 액정 디스플레이 등의 2차원 표시장치를 사용한 경우를 예로 들었지만, 상기 표시장치(3)로서 DFD와 같은 입체표시가 가능한 3차원 표시장치를 사용하는 것으로, 보다 정확하고, 또한 직감적으로 포인터의 깊이 위치를 인식하는 것이 가능하다.
도 61 및 도 62a, 도 62b는, 본 실시예 3-1의 3차원 포인팅 방법의 제 3 응용예를 설명하기 위한 모식도이고, 도 61은 시스템의 구성예를 도시하는 도면이고, 도 62a 및 도 62b는 DFD의 동작원리를 설명하는 도면이다.
본 실시예 3-1의 3차원 포인팅 방법에서는, 상기 표시장치(3)는, 3차원 공간을 표현하는 것이 가능하면, 어떠한 표시장치라도 상관없지만, 특히, DFD와 같은 3차원 표시장치(디스플레이)를 사용하는 것이 바람직하다. 제 1 실시형태에서도 설명한 바와 같이, 상기 DFD는, 상기 조작자(관찰자)의 시점으로부터 보아 깊이 방향에 중첩되는 복수매의 표시면을 구비하는 표시장치이다(예를 들면 일본특허 제3022558호 명세서나 일본특허 제3460671호 명세서를 참조).
상기 DFD의 동작원리에 관해서는 제 1 실시형태에서 설명한 것과 같지만, 여기에서 다시 설명한다. 설명을 간단하게 하기 위해서, 도 61에 도시된 바와 같이, 2장의 표시면(301A, 301B)이 중첩되는 것으로 한다. 이 때, 상기 포인터(4) 및 오브젝트(5)는, 상기 2장의 표시면(301A, 301B)의 사이의 3차원 공간 내에 깊이 위치를 반영하여 표시된다.
상기 DFD에 표시되는 상기 포인터(4)나 오브젝트(5)는, 예를 들면, 도 62a에 도시된 바와 같이, 조작자로부터 보아 전방의 표시면(301A) 및 후방의 표시면(301B)의 양쪽에 표시된다. 그리고 이 때, 상기 DFD가 휘도 변조형이면, 상기 전방의 표시면(301A)의 오브젝트(5A)를 휘도(LA), 상기 후방의 표시면(301B)의 오브젝트(5B)를 휘도(LB)로 표시하면, 상기 3차원 공간 내의, 상기 전방의 표시면(301A)으로부터의 거리와 상기 후방의 표시면(301B)으로부터의 거리의 비가 LB:LA의 깊이 위치에 오브젝트(5)가 표시되어 있는 것처럼 보인다.
또한, 예를 들면, 도 62b에 도시된 바와 같이, 1개의 오브젝트(5)의 표시영역 중에서 휘도를 연속적으로 변화시킴으로써, 1개의 오브젝트(5)를 깊이 방향으로 기울여서 표시시킬 수 있다. 도 62b에 도시한 예에서는, 상기 전방의 표시면(301A)의 오브젝트(5A)의 휘도를 지면상에서 아래로 향함에 따라서 커지도록 하고, 상기 후방의 표시면(301B)의 오브젝트(5B)의 휘도를 지면 아래로부터 위로 향함에 따라서 커지도록 하고 있다. 그 때문에, 상기 조작자는, 지면 상방이 후방, 지면 하방이 전방으로 기운 입체적인 오브젝트(5)를 관찰할 수 있다.
또한, 상세한 설명은 생략하지만, 상기 DFD가 투과형인 경우, 예를 들면, 전방의 표시면(301A)의 오브젝트(5A)를 표시하고 있는 영역의 각 점(화소)의 투과도를 조절함으로써, 상기 휘도 변조형의 DFD와 마찬가지로, 상기 전방의 표시면(301A)과 후방의 표시면(301B)의 사이의 임의의 깊이 위치에 상기 포인터(4)나 오브젝트(5)의 입체상을 표시할 수 있다.
표시장치로서 DFD를 사용하고 있는 경우는, 상기 표시장치(3)에 표시되는 포인터(4)의 폭에 의해서 깊이를 인식할 뿐만 아니라, 포인터(4)의 깊이가 변하지 않은 일단과 포인터(4)의 끝이 있는 깊이 위치를 비교함으로써, 직감적, 또한, 정확하게 포인터(4)의 깊이 위치를 인식할 수 있다. 또한, DFD를 사용하는 경우, DFD의 전방의 표시면, 또는 후방의 표시면을 포인터(4)의 깊이가 변하지 않는 일단이 있는 깊이 위치로 하면, 조작자는, 보다 정확하고, 또한 직감적으로 포인터(4)의 깊이 위치를 인식할 수 있는 큰 효과가 있다.
또한, 일반적인 CRT 디스플레이나 액정 디스플레이와 같은 2차원 표시장치의 경우, 상기 표현하는 상기 3차원 공간을 2차원 평면에 투영하여 표시하는 처리가 필요하지만, 상기 DFD와 같은 3차원 표시장치의 경우, 상기 3차원 공간의 깊이 방향의 위치에 따라서 각 표시면상의 점(화소)의 휘도의 비율을 설정하면 좋을 뿐이기 때문에, 상기 포인팅 장치(시스템 제어장치(1))에 걸리는 부하를 저감시킬 수 있다. 또한, 일반적인 CRT 디스플레이나 액정 디스플레이와 같은 2차원 표시장치의 경우, 상기 표시하는 상기 3차원 공간을 2차원 평면에 투영하여 표시하기 때문에, 조작자에 따라서는, 실공간과 같은 감각으로 포인팅 조작을 하는 것은 어려운 경우가 있지만, 상기 DFD와 같은 3차원 표시장치를 사용함으로써, 보다 실공간에 가까운 감각으로 포인팅 조작을 할 수 있다. 이러한 사실로부터, 상기 DFD와 같은 3차원 표시장치를 사용하는 것으로, 상기 조작자는, 일반적인 2차원 디스플레이를 사용하여 포인팅 조작을 하는 경우와 비교하여, 보다 좋은 정밀도와 속도로 3차원의 깊이를 포인팅 가능해진다.
또한, 도 61에서는, 상기 입력장치(2)로서 키보드(201)와 펜 타블렛을 조합하여 사용하는 경우를 도시하고, 제 1 실시형태의 기술을 적용할 수 있다. 즉, 상기 펜 타블렛은, 검출수단(디지타이저; 203A)상에서 입력 펜(전자 펜; 203B)을 조작하는 것에 의해, 상기 입력 펜(203B)의 펜 끝을 움직임, 필압 등을 검출하는 입력 장치이다. 그 때문에 예를 들면, 상기 입력펜(203B)의 펜 끝의 움직임을 XIYI 평면 내에서의 포인터(4)의 이동량, 상기 키보드(201)의 컨트롤 키(Ctrl 키)를 누르고 있을 때의 필압의 크기를 +Z 방향의 이동량, 상기 키보드(201)의 시프트 키(Shift 키)를 누르고 있을 때의 필압의 크기를 -z 방향의 이동량으로 반영시키면, 상기 마우스(202)를 사용하였을 때와 같은 조작감으로 상기 포인터(4)에 의한 포인팅이 가능해진다.
또한, 제 2 실시형태의 기술을 적용할 수도 있다. 이 경우, 상기 입력 펜(203B)의 필압의 크기 대신에, 예를 들면, 상기 입력 펜(203B)으로 상기 검출수단(203A)을 누른 회수에 따라서 상기 포인터(4)의 기우는 양을 결정한다.
또한, 상기 펜 타블렛의 검출수단(디지타이저; 203A)을 상기 표시장치(3; DFD)의 표시면(301A, 301B)과 중첩하면, 상기 조작자는, 상기 표시면(301A, 301B)상에서 상기 입력 펜(203B)을 조작하여, 포인팅할 수 있기 때문에, 조작자는, 더욱 정확하고, 또한 직감적으로 포인터(4)의 깊이 위치를 인식할 수 있다.
또한, 본 실시예 3-1의 3차원 포인팅 방법은, 상기 펜 타블렛의 대신에, 예를 들면, 터치패널과 같이, 상기 표시장치(3)와 일체화 가능한 입력장치를 사용하여 포인팅하는 경우에도 적합하다. 상기 터치패널의 경우, 예를 들면, 상기 입력 펜(203B) 대신에 조작자의 손가락으로 상기 표시장치(3)의 화면에 닿는 것으로 상기 포인터(4)를 조작할 수도 있기 때문에, 상기 입력 펜(203B)을 사용하는 펜 타블렛보다도, 보다 직감적으로 상기 포인터(4)를 조작할 수 있다.
또한, 본 실시예 3-1의 3차원 포인팅 방법에서는, 예를 들면, 도 52의 하단 등에 도시된 바와 같이, 상기 포인터(4)를 기울일 때, 포인팅하고 있는 점의 XY 좌표로(xp, yp)를 일정하게 유지하고, 상기 포인팅하고 있는 점이 깊이 방향으로 연장되는 직선형의 궤적을 따라가는 예를 들어 설명하였지만, 이것에 한정되지 않고, 상기 포인팅하고 있는 점이 다양한 궤적을 따라가도록 기울여도 좋다.
도 63a 내지 도 66b는, 본 실시예 3-1의 3차원 포인팅 방법의 제 4 응용예를 설명하기 위한 모식도이고, 도 63a, 도 63b, 도 64a, 도 64b는 각각 직선형상의 궤적을 따라가는 경우의 응용예를 도시하는 도면이고, 도 65a, 도 65b, 도 66a, 도 66b는 각각 원호형상의 궤적을 따라가는 경우의 응용예를 도시하는 도면이다.
또한, 도 63a, 도 63b, 도 64a, 도 64b, 도 65a, 도 65b, 도 66a, 도 66b의 각 도면은, 궤적을 알기 쉽게 하기 위해서, 3차원 공간을 XZ 평면측에서 본 도면(우측도면)을 도시하고 있다.
상기 포인팅하고 있는 점(xp, yp, zp)을 깊이 방향으로 이동시킬 때에는, 도 52의 하단 등에 도시된 바와 같은 XY 좌표(xp, yp)를 일정하게 유지한 이동에 한정되지 않고, 예를 들면, 도 63a에 도시된 바와 같이, 상기 포인팅하고 있는 점이 +Z 방향으로의 이동에 비례하여 +X 방향으로도 이동하는 궤적을 따라가도록 하여도 좋다. 또한 반대로, 도 63b에 도시된 바와 같이, 상기 포인팅하고 있는 점이 +Z 방향으로의 이동에 비례하여 -X 방향으로 이동하는 궤적을 따라가도록 하여도 좋다. 또한, 도 63a 및 도 63b에서는, 상기 포인터 전체의 길이를 유지한 상태에서 기울이는 경우를 도시하고 있지만, 이것에 한정되지 않고, 도 64a 및 도 64b에 도시된 바와 같이, 상기 포인터의 일단의 3차원적인 위치를 고정한 상태에서 상기 포인팅하고 있는 점을 깊이 방향으로 이동시켜, 포인터 전체의 길이를 변화시키면서 깊이 방향으로 기울이는 것도 가능하다.
또한, 상기 포인팅하고 있는 점(xp, yp, zp)을 깊이 방향으로 이동시킬 때의 궤적은, 상기 직선형상의 궤적에 한정되지 않고, 예를 들면, 도 65a 및 도 65b에 도시된 바와 같이, 3차원 공간상이 있는 점(xp, yp, zp)으로부터 y=yp의 XZ 평면내에 반경(r)에서 그려지는 원호형상 궤적을 따라가도록 하여도 좋다. 또한, 도 65a 및 도 65b에서는, 상기 포인터 전체의 길이를 유지한 상태에서 기울이는 경우를 나타내고 있지만, 이것에 한정되지 않고, 도 66a 및 도 66b에 도시된 바와 같이, 상기 포인터의 일단의 3차원적인 위치를 고정한 상태에서 상기 포인팅하고 있는 점을 깊이 방향으로 이동시키고, 포인터 전체의 길이를 변화시키면서 깊이 방향으로 기울이는 것도 가능하다.
또한, 상기 포인팅하고 있는 점(xp, yp, zp)을 깊이 방향으로 이동시킬 때의 궤적은, 상기 각 도면에 도시된 바와 같은 궤적에 한정되지 않고, 어떠한 궤적이라도 좋다.
[실시예 3-2]
도 67 내지 도 69는, 본 발명에 의한 실시예 3-2의 3차원 포인팅 방법을 설명하기 위한 모식도이고, 도 67은 포인터보다도 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이고, 도 68a는 본 실시예 3-2의 3차원 포인팅 방법에서 문제가 되는 점을 설명하는 도면이고, 도 68b는 도 68a에 나타낸 문제점을 해결하는 방법의 일 예를 설명하는 도면이고, 도 69는 도 68b에 나타낸 해결방법의 변형예를 설명하는 도면이다. 또한, 도 67은, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 나타내고 있고, 각 단의 사이에 나타낸 바와 같은 조작을 행함으로써, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으로 변화하는 모양을 도시하고 있는 도면이다. 또한, 도 68a, 도 68b,도 69의 각 도면은, 본 실시예 3-2의 특징을 알기 쉽게 하기 위해서, 3차원 공간을 XZ 평면측에서 본 도면(우측도면)만을 나타내고 있다.
상기 실시예 3-1에서는, 상기 포인터(4)의 포인팅하고 있는 점(xp, yp, zp)과 는 다른 부분의 깊이 위치를 일정하게 유지한 상태에서, 상기 포인팅하고 있는 점이 미리 정해진 궤적을 따라가도록, 상기 포인터(4)를 깊이 방향으로 기울이는 3차원 포인팅 방법에 관해서 설명하였다. 그래서, 본 실시예 3-2에서는, 상기 실시예 3-1과는 다른 기울임 방법의 예로서, 상기 포인터(4)를 3차원 공간상이 있는 점(xp, yp, zp)을 중심으로 하고, 또한, 상기 포인터(4)상의 각 점과 상기 중심의 거리를 일정하게 유지한 상태에서 회전시킴으로써, 상기 포인터(4)의 기울기를 인식시키고, 또한, 포인팅하고 있는 위치를 인식시키는 3차원 포인팅 방법에 대하여 설명한다.
또한, 본 실시예 3-2의 경우도, 3차원 포인팅 방법을 실현시키는 시스템 구성에 있어서, 상기 입력장치(2)에는, 키보드나 마우스, 펜 타블렛, 터치패널, 조이스틱 등 기존의 다양한 입력 장치를 사용하는 것이 가능하지만, 도 51에 도시된 바와 같이, 키보드(201)와 마우스(202)를 사용하고 있는 것으로 한다. 또한, 상기 표시장치(3)도 마찬가지로, CRT나 액정 디스플레이 등의 2차원 표시장치, DFD 등의 3차원 표시장치 등의 표시장치를 사용하는 것이 가능하지만, 도 51에 도시된 바와 같이 액정 디스플레이(2차원 표시장치)를 사용하고 있는 것으로 한다.
또한, 상기 표시장치(3)에 표현되는 3차원 공간상에서, 예를 들면, 도 51에 도시된 바와 같이, 표시면(301)을 Z=0으로 하고, 상기 표시면(301)이 XY 평면으로 되고, 또한，조작자로부터 보아 표시면으로부터 후방으로 향하는 방향을 Z축의 양의 방향으로 하는 3차원 좌표계 XYZ를 취하고 있는 것으로 한다. 이 때, 상기 3차 원 공간 내에 표시된 포인터(4)를 XY 평면 내에서의 이동방향 및 이동거리는, 상기 마우스(202) 본체를 탁상 등의 평면상에서 2차원적으로 움직였을 때의 이동방향 및 이동거리에 기초하여 산출(결정)한다.
또한, 깊이 방향(Z 방향)의 이동방향 및 이동거리는, 예를 들면, 도 51에 도시된 바와 같이, 상기 키보드(201)의 컨트롤 키(Ctrl 키) 등의 미리 정해진 키(201A)를 누르면서 상기 마우스(202)의 휠(202A)을 회전시켰을 때의 회전 방향과 회전 각도에 기초하여 산출(결정)한다. 이 때, 예를 들면, 도 51에 도시된 바와 같이, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 경우는 상기 포인터의 포인팅을 수행하는 부분을 3차원 공간의 +Z 방향, 즉 조작자로부터 보아 후방으로 향하는 방향으로 이동시킨다. 그리고, 상기 마우스의 휠(202A)을 -Z 방향으로 돌린 경우는 상기 포인터의 포인팅을 하는 부분을 3차원 공간의 -Z 방향, 즉 조작자로부터 보아 후방으로 향하는 방향으로 이동시킨다.
또한, 본 실시예 3-2의 3차원 포인팅 방법에서는, 상기 포인터의 형상은 화살표로 하고, 화살의 선단부분이 포인팅하고 있는 점(xp, yp, zp)을 나타내고 있는 것으로 한다.
본 실시예 3-2에 있어서의 3차원 포인팅 방법의 일 예로서, 도 67의 상단에 도시된 바와 같이, 3차원 공간 내의 다른 깊이 위치에 포인터(4) 및 오브젝트(5)가 표시되어 있는 경우의 포인팅 방법을 든다. 이 때, -Z 방향에서 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 오브젝트(5)상에 상기 포인터(4)가 중첩되어 보이지만, 상기 포인터(4)가 포인팅하고 있는 점(xp, yp, zp)과 상기 오브젝트(5)는 깊이 위치가 다르기 때문에, 상기 오브젝트(5)는 포인팅되어 있지 않다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드의 컨트롤 키(Ctrl 키; 201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 67의 중단에 도시된 바와 같이, 상기 3차원 공간 내의 어떤 점(xc, yc, zc)을 중심으로 하는 반경(r)의 원주상을, 상기 포인터(4)의 각 점과 상기 점(xc, yc, zc)과의 거리를 유지한 상태에서, 포인팅하고 있는 점(xp, yp, zp)이 후방(+Z 방향)으로 이동하도록 회전한다.
이와 같이, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리는 것에 의해, 상기 포인터(4)는, 포인팅하고 있는 점(화살표의 화살의 부분)측이 조작자로부터 보아 멀어지도록 기운다. 또한 이 때, 상기 포인터의 형상 및 사이즈를 유지하면서 회전시키면, 상기 포인터의 화살의 부분의 폭이 좁게 표시된다. 이 결과, 상기 조작자는, 포인터(4)가 깊이 방향(+Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 후방을 포인팅하고 있는 것도 인식할 수 있다.
그리고, 도 67의 중단에 도시된 바와 같은 상태로부터, 다시 한번, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때도, 상기 포인터는, 예를 들면, 도 67의 하단에 도시된 바와 같이, 상기 3차원 공간 내의 어떤 점(xc, yc, zc)을 중심으로 하는 반경(r)의 원주상을, 상기 포인터(4)의 각 점과 상기 점(xc, yc, zc)과의 거리를 유지한 상태에서, 포인팅하고 있는 점(xp, yp, zp)이 후방(+Z 방향)으로 이동하도록 회전한다. 이 결과, 상기 조작자는, 포인터(4)가 더욱 깊이 방향(+Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 더욱 후방을 포인팅하고 있는 것도 인식할 수 있다.
또한 이 때, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리는 조작을 계속한 결과, 도 67의 하단에 도시된 바와 같이, 상기 포인터(4)의 포인팅하고 있는 점(화살의 선단)이 상기 오브젝트(5)와 동일한 깊이 위치에 도달하고, 상기 포인터(4)의 선단의 xyz 좌표와 상기 오브젝트(5)의 표면상 또는 내부의 임의의 점의 xyz 좌표가 일치하면, 상기 오브젝트(5)는, 상기 포인터(4)에 의해서 포인팅된 상태가 된다. 그 때문에, 예를 들면, 도 67의 하단에 도시된 바와 같이, 상기 오브젝트(5)의 색을 바꾸어, 포인팅되어 있는 상태인 것을 나타낸다. 이렇게 하면, 상기 조작자는, 상기 포인터(4)의 형상으로부터 포인터의 깊이 방향의 위치, 및 포인터(4)가 포인팅하고 있는 깊이 방향의 위치를 직관적, 또한, 정확하게 인식할 수 있다. 또한, 상기 포인터(4)에 의해서 포인팅되었을 때에 오브젝트(5)의 색을 바꿈으로써, 상기 오브젝트(5)와 중첩되어 있는 포인터(4)가 상기 오브젝트(5)를 포인팅하고 있는지의 여부를 직관적, 또한, 정확하게 인식할 수 있다.
그렇지만, 본 실시예 3-2의 3차원 포인팅 방법의 경우, 상기 3차원 공간 내의 어떤 점(xc, yc, zc)을 중심으로 하는 반경(r)의 원주상을, 상기 포인터(4)의 각 점과 상기 점(xc, yc, zc)과의 거리를 유지한 상태에서, 포인팅하고 있는 점(xp, yp, zp)이 후방(+Z 방향) 또는 전방(-Z 방향)으로 이동하도록 상기 포인터(4)를 각도 θ만큼 회전시키고 있다. 이 때문에, 도 67의 중단에 도시된 바와 같이, 상기 포인터(4)를 후방으로 기울였을 때, 기울어진 후의 포인터(4)의 일부(화살의 선단의 반대측 부분)의 깊이 위치가, 기울이기 전의 깊이 위치보다도 전방으로 되어 버린다. 이 때, 상기 포인터의 깊이 위치가 충분히 크면, 기울인 후의 상기 포인터의 화살의 선단의 반대측의 부분이 상기 표시장치(3)에 표현된 3차원 공간 내에 존재하고, 표시시킬 수 있다. 그렇지만, 예를 들면, 도 68a에 도시된 바와 같이, 상기 포인터(4)가 표시면(301)상, 바꿔 말하면 상기 표시장치로 표현되어 있는 3차원 공간과 상기 조작자가 있는 실공간의 경계면상 또는 그 근방에 표시되어 있으면, 상기 포인터(4)가 회전하여 기울였을 때, 상기 포인터(4)의 화살의 선단의 반대측의 부분이 상기 표시장치(3)에 표현된 3차원 공간의 외측으로 나가버려, 표시할 수 없다. 그 때문에, 상기 포인터(4)의 형상이, 화살의 선단의 반대측의 부분이 이지러진 형상으로 되는 문제가 있다.
그래서, 본 실시예 3-2의 3차원 포인팅 방법에서는, 상기 포인터(4)를 회전시켜 깊이 방향으로 기울인 결과, 포인팅을 하지 않은 일단이 표시장치에서 표현할 수 없는 공간으로는 밀려나온 경우, 도 68b에 도시된 바와 같이, 포인터(4)의 밀려 나온 부분을 상기 3차원 공간의 XY 평면에 투영한 포인터를 생성하여, 표시시킨다. 이렇게 함으로써, 상기 3차원 공간에서 밀려나온 부분이 이지러지는 것을 방지하고, 포인터의 형상을 유지할 수 있다.
또한, 도 68b에 도시된 바와 같이 포인터(4)의 밀려나온 부분을 상기 3차원 공간의 XY 평면에 투영하는 대신에, 도 69에 도시된 바와 같이, 상기 포인터(4)상의 상기 3차원 공간의 경계면(301)상의 점을 지점으로 하고, 상기 밀려나온 부분을, 상기 3차원 공간의 경계면(XY 평면)에 절곡한 포인터를 생성하여, 표시시켜도 좋다.
또한, 본 실시예 3-2의 3차원 포인팅 방법을, 상기 시스템 제어장치(1; 포인팅 장치)에 실행시킬 때에는, 도 55에 도시된 바와 같은, 단계 601로부터 단계 608의 처리를 실행시키면 좋다. 단, 본 실시예 3-2의 3차원 포인팅 방법의 경우, 상기 포인터를 기울여서 표시시키는 단계 606에서는, 상기 단계 605의 산출결과에 기초하여 포인터를 기울였을 때, 상기 3차원 공간에서 밀려나오는 부분이 있는지의 여부를 판정하여, 밀려나오는 부분이 있는 경우는, 밀려나온 부분을 XY 평면(경계면)에 투영할지 절곡할지의 조작을 한 포인터를 생성하고, 상기 표시장치(3)에 표시시킨다.
또한, 도 67에서는, 상기 조작자로부터 보아, 상기 오브젝트(5)의 깊이 위치보다도 약간 전방에 상기 포인터(4)가 있고, 상기 포인터(4)를 후방(+Z 방향)으로 기울이는 경우의 조작을 설명하였지만, 본 실시예 3-2의 3차원 포인팅 방법에서는, 상기 포인터(4)를 전방(-Z 방향)으로 기울일 수도 있다.
이상 설명한 바와 같이, 본 실시예 3-2의 3차원 포인팅 방법에 의하면, 상기 3차원 공간 내의 어떤 점(xc, yc, zc)을 중심으로 하는 반경(r)의 원주상을, 상기 포인터(4)의 각 점과 상기 점(xc, yc, zc)의 거리를 유지한 상태에서, 포인팅하고 있는 점(xp, yp, zp)이 후방(+Z 방향) 또는 전방(-Z 방향)으로 이동하도록 상기 포인터(4)를 회전시켜 상기 표시장치(3)에 표시시키는 것으로, 상기 포인터(4)를 본 조작자가 상기 포인터(4)의 깊이위치 및 상기 포인터(4)가 포인팅하고 있는 깊이 위치를 직관적, 또한, 정확하게 인식할 수 있다.
또한, 이러한 포인터의 기울임 방법의 경우, 상기 포인터(4)의 3차원적인 길이가 변화하지 않기 때문에, 조작자에 대하여, 보다 실물체에 가깝고, 자연스러운 오브젝트 표시를 제시할 수 있다.
또한, 본 실시예 3-2의 3차원 포인팅 방법에서는, 상기 입력장치(2)로서 키보드(201)와 마우스(202)를 사용하고, 상기 키보드의 컨트롤 키(201A)와 마우스의 휠(202A)의 회전조작을 조합함으로써, 상기 포인터(4)를 깊이 방향으로 기울이는 예를 제시하였지만, 이것에 한정되지 않고, 키보드(201)의 다른 키와 휠(202A)의 조합이라도 좋고, 휠(202A)의 대신에 키보드(201)의 커서 키(방향키)와 조합하여도 좋다. 또한, 그 외에도, 예를 들면, 펜 타블렛이나 터치패널, 조이스틱 등으로 미리 정해진 조작을 하였을 때에 기울도록 하여도 좋다. 또한, 상기 표시장치(3)도, 액정 디스플레이 등의 2차원 표시장치에 한정되지 않고, DFD와 같은 3차원 표시장치라도 상관없다.
또한, 본 실시예 3-2의 3차원 포인팅 방법에서는, 상기 포인터(4)로서, 화살표형 포인터를 예로 들었지만, 이것에 한정되지 않고, 깊이 방향으로 기울여서 표시시켰을 때의 기울기 방향 및 포인팅하고 있는 점(위치)이 시각적으로 인식할 수 있는 형상이면, 어떠한 형상이라도 좋다.
또한, 상기 오브젝트(5)도, 본 실시예 3-2에서는, 도 51 등에 도시한 바와 같은 폴더아이콘형의 오브젝트를 예로 들었지만, 이것에 한정되지 않고, 데이터 파일이나 실행파일의 아이콘(쇼트 컷)이나 윈도우 등, 상기 포인터로 포인팅 가능한 형상이면, 어떠한 형상의 오브젝트라도 좋다.
또한, 본 실시예 3-2의 포인팅 방법에서는, 예를 들면, 상기 포인터(4)의 시각적인 형상의 변화로부터 상기 포인터(4)의 깊이 방향의 포인팅 위치를 인식할 수 있지만, 예를 들면, 상기 3차원 공간 내에, 상기 포인터(4)가 어느 만큼 기울었는지를 조작자에게 인식시키는 지표가 되는 레퍼런스를 상기 표시장치(3)에 표시시켜도 좋다.
또한, 본 실시예에 있어서, 회전의 중심은 본 실시예에 나타낸 위치에 있다고는 한정되지 않고, 표현되어 있는 3차원 공간의 내외라도 상관없는 것으로 한다.
또한, 본 실시예 3-2의 3차원 포인팅 방법의 경우도, 도 67에 도시된 바와 같이, 상기 포인터(4)를 회전시켜 기울이는 것뿐만 아니라, 도 59에 도시된 바와 같이 상기 포인터(4)의 형상을 유지한 채로 깊이 방향으로 병진 이동시키는 조작이 가해지고 있어도 좋고, 도 60에 도시된 바와 같이 상기 포인터(4)를 XY 평면 내에서 회전시키는 조작이 가해지고 있어도 좋다.
또한, 본 실시예 3-2의 3차원 표시방법에서는, 상기 포인터를 회전시키는 상기 3차원 공간 내의 어떤 점(xc, yc, zc)은, 도 67에 도시된 바와 같은 위치에 한정되지 않고, 임의의 위치에 취할 수 있다. 또한 이 때, 상기 점(xc, yc, zc)의 위치는, 상기 표시장치(3)에 표현되어 있는 3차원 공간 내, 또는 3차원 공간 외의 어디라도 상관없다. 그리고, 상기 점(xc, yc, zc)의 위치는, 고정해 둘 필요는 없고, 포인터(4)의 회전에 맞추어서 3차원 공간 내를 이동시키더라도 상관없다.
도 70a, 도 70b는, 본 실시예 3-2의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도이고, 도 70a는 회전의 중심이 되는 점이 3차원 공간 내에서 고정되어 있는 경우의 예를 도시하는 도면이고, 도 70b는 회전의 중심이 되는 점이 3차원 공간 내에서 이동하는 경우의 예를 도시하는 도면이다.
본 실시예 3-2의 3차원 포인팅 방법은, 상기 3차원 공간 내의 어떤 점(xc, yc, zc)을 중심으로 하는 반경(r)의 원주상을, 상기 포인터(4)의 각 점과 상기 점(xc, yc, zc)과의 거리를 유지한 상태에서, 포인팅하고 있는 점(xp, yp, zp)이 후방(+Z 방향) 또는 전방(-Z 방향)으로 이동하도록 상기 포인터(4)를 회전시킴으로써, 상기 포인터(4)를 후방 또는 앞으로 기울여서 표시한다. 그 때문에, 상기 포인터(4)가 속 또는 앞으로 기울어 있는 것이나, 포인팅하고 있는 깊이 위치를 인식할 수 있으면, 어떠한 회전 방법이라도 좋다.
가장 심플한 회전방법은, 도 70a에 도시된 바와 같이, 어떤 깊이 위치에 표 시된 포인터를 회전시키기 위해서, 중심이 되는 점(xc, yc, zc)을 설정하였을 때, 그 위치를 고정한 상태에서 상기 포인터를 회전시키는 방법이다.
그렇지만, 본 실시예 3-2의 3차원 포인팅 방법은, 이러한 포인터의 회전방법에 한정되지 않으며, 예를 들면, 도 70b에 도시된 바와 같이, 어떤 깊이 위치에 표시된 포인터(4)를 회전시키기 위해서, 중심이 되는 점(xc, yc, zc)을 설정하였을 때, 상기 포인터(4)의 회전에 맞추어서, 상기 점(xc, yc, zc)을 +X 방향으로 Δx씩 이동시켜도 좋다. 또한, 도시는 생략하지만, 상기 포인터(4)의 회전에 맞추어서, 상기 점(xc, yc, zc)을 -X 방향으로 이동시켜도 좋다.
[실시예 3-3]
도 71 내지 도 73은, 본 발명에 의한 실시예 3-3의 3차원 포인팅 방법을 설명하기 위한 모식도로서, 도 71은 포인터보다도 뒤에 있는 오브젝트를 포인팅할 때의 3차원 공간 내의 변화를 도시하는 정면도 및 우측도면이고, 도 72는 도 71의 3차원 공간 내의 변화의 사시도, 도 73은 본 실시예 3-3의 3차원 포인팅 방법을 시스템 제어장치(포인팅 장치)에서 실행할 때의 처리순서를 설명하기 위한 순서도이다. 또한, 도 71은, 상단, 중단, 하단에 3차원 공간의 3가지의 상태를 도시하고 있고, 각 단 사이에 나타낸 바와 같은 조작을 하는 것으로, 3차원 공간 내의 상태가 상단으로부터 중단, 중단으로부터 하단으로 변화하는 모양을 도시하고 있는 도면이다. 또한, 도 72도 상단, 중단, 하단에 3가지의 상태를 도시하고 있고, 각각, 도 71의 상단, 중단, 하단의 각 상태의 3차원 공간 내의 모양을 사시도로 도시하고 있다.
상기 실시예 3-1이나 실시예 3-2에서는, 상기 포인터(4)를 깊이 방향으로 기울이는 것으로, 상기 포인터(4)의, 포인팅하고 있는 점이 있는 부분과, 상기 포인팅하고 있는 점과 반대측의 단부의 깊이 위치를 바꾸어, 포인팅하고 있는 깊이 위치의 인식을 용이하고, 또한 정확하게 하고 있다. 이 때, 상기 포인터(4)의 포인팅하고 있는 점이 있는 부분과, 상기 포인팅하고 있는 점과 반대측의 단부의 깊이 위치를 바꿈으로써, 포인팅하고 있는 깊이 위치를 인식한다는 관점에서 생각하면, 상기 실시예 3-1이나 실시예 3-2에서 설명한 바와 같이, 상기 포인터의 전체의 길이나 형상을 일정하게 유지한 상태로 깊이 방향으로 기울이는 것뿐만 아니라, 상기 포인팅하고 있는 점의 주변만을 깊이 방향(+Z 방향 또는 -Z 방향)으로 이동시키는 것이라도, 포인팅하고 있는 깊이 위치의 인식하는 것은 가능하다. 그래서, 본 실시예 3-3에서는 포인팅하고 있는 점의 주변만을 깊이 방향(+Z 방향 또는 -Z 방향)으로 이동시키는 3차원 포인팅 방법에 관해서 설명한다.
또한, 본 실시예 3-3의 경우도, 3차원 포인팅 방법을 실현시키는 시스템 구성에 있어서, 상기 입력장치(2)에는, 키보드나 마우스, 펜 타블렛, 터치패널, 조이스틱 등 기존의 다양한 입력 장치를 사용하는 것이 가능하지만, 도 51에 도시된 바와 같이, 키보드(201)와 마우스(202)를 사용하고 있는 것으로 한다. 또한, 상기 표시장치(3)도 마찬가지로, CRT나 액정 디스플레이 등의 2차원 표시장치, DFD 등의 3차원 표시장치 등의 표시장치를 사용하는 것이 가능하지만, 도 51에 도시된 바와 같이 액정 디스플레이(2차원 표시장치)를 사용하고 있는 것으로 한다.
또한 이 때, 상기 표시장치(3)에 표현되는 3차원 공간상에서, 예를 들면, 도 51에 도시된 바와 같이, 표시면(301)을 Z=0으로 하고, 상기 표시면(301)이 XY 평면으로 되고, 또한, 조작자로부터 보아 표시면(301)으로부터 후방으로 향하는 방향을 Z축의 양의 방향으로 하는 3차원 좌표계 XYZ를 취하고 있는 것으로 한다. 이 때, 상기 3차원 공간 내에 표시된 포인터(4)의 XY 평면 내에서의 이동방향 및 이동거리는, 상기 마우스(202) 본체를 탁상 등의 평면상에서 2차원적으로 움직였을 때의 이동방향 및 이동거리에 기초하여 산출(결정)한다.
또한, 깊이 방향(Z 방향)의 이동방향 및 이동거리는, 예를 들면, 도 51에 도시된 바와 같이, 상기 키보드(201)의 컨트롤 키(Ctrl 키) 등의 미리 정해진 키(201A)를 누르면서 상기 마우스(202)의 휠(202A)을 회전시켰을 때의 회전방향과 회전 각도에 기초하여 산출(결정)한다. 이 때, 예를 들면, 도 51에 도시된 바와 같이, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 경우는 상기 포인터의 포인팅을 수행하는 부분을 3차원 공간의 +Z 방향, 즉 조작자로부터 보아 후방으로 향하는 방향으로 이동시킨다. 그리고, 상기 마우스의 휠(202A)을 -Z 방향으로 돌린 경우는 상기 포인터의 포인팅을 수행하는 부분을 3차원 공간의 -Z 방향, 즉 조작자로부터 보아 전방으로 향하는 방향으로 이동시킨다.
또한, 본 실시예 3-3의 3차원 포인팅 방법에서는, 상기 포인터(4)의 형상은 화살모양으로 하고, 화살의 선단부분이 포인팅하고 있는 점(xp, yp, zp)을 나타내고 있는 것으로 한다. 그리고, 깊이 방향의 포인팅을 할 때에는, 상기 화살 부분만이 깊이 방향(+Z 방향 또는 -Z 방향)으로 이동하고, 화살의 선단의 반대측의 부분은 깊이 위치를 바꾸지 않도록 한다. 또한, 상기 화살의 부분이 깊이 방향으로 이동한 경우, 상기 화살 부분과 화살의 선단의 반대측의 부분을 접속하여 일체화함으로써, 1개의 포인터로서 인식할 수 있도록 한다.
본 실시예 3-3에 있어서의 3차원 포인팅 방법의 일 예로서, 도 71의 상단 및 도 72의 상단에 도시된 바와 같이, 3차원 공간 내의 다른 깊이 위치에 포인터(4) 및 오브젝트(5)가 표시되어 있는 경우의 포인팅 방법을 든다. 이 때, -Z 방향에서 상기 3차원 공간을 보고 있는 조작자의 시점으로부터는, 상기 오브젝트(5)상에 상기 포인터(4)가 중첩되어 보이지만, 상기 포인터(4)가 포인팅하고 있는 점(xp, yp, zp)과 상기 오브젝트(5)는 깊이 위치가 다르기 때문에, 상기 오브젝트(5)는 포인팅되어 있지 않다.
이 상태로부터, 상기 조작자가, 예를 들면, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌린 것으로 한다. 이 때, 상기 포인터(4)는, 예를 들면, 도 71의 중단 및 도 72의 중단, 도 71의 하단 및 도 72의 하단에 도시된 바와 같이 포인팅하고 있는 점(xp, yp, zp)의 어떤 화살 부분만이 후방(+Z 방향)으로 병진 이동한다. 또한 이 때, 상기 포인터(4)는, 상기 화살의 부분과, 깊이 위치가 변하지 않은 화살의 선단의 반대측의 부분은, 도 71의 중단 및 도 72의 중단에 도시된 바와 같이 접속되어 있고, 화살의 부분과 화살의 선단의 반대측의 부분의 사이의 축 부분이 연장되어 절곡된 형상이 된다.
이와 같이, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리는 것에 의해, 상기 포인터(4)는, 포인팅하고 있는 점(화살의 부분)측이 조작자로부터 보아 멀어지도록 기운다. 또한 이 때, 상기 포인터의 형상 및 사이즈를 유지하면서 회전시키면, 상기 포인터의 화살의 부분의 폭이 좁게 표시된다. 이 결과, 상기 조작자는, 포인터(4)가 깊이 방향(+Z 방향)으로 기운 것을 인식할 수 있는 동시에, 상기 포인터(4)의 형상으로부터, 상기 포인터(4)가 조작전의 위치보다도 후방을 포인팅하고 있는 것도 인식할 수 있다.
또한, 상기 키보드의 컨트롤 키(201A)를 누르면서, 상기 마우스의 휠(202A)을 +Z 방향으로 돌리는 조작을 계속한 결과, 도 71의 하단 및 도 72의 하단에 도시된 바와 같이 상기 포인터(4)의 포인팅하고 있는 점(xp, yp, zp)이 상기 오브젝트(5)와 동일한 깊이 위치에 도달하고, 상기 포인터(4)의 선단의 xyz 좌표와 상기 오브젝트(5)의 표면상 또는 내부의 임의의 점의 xyz 좌표가 일치하면, 상기 오브젝트(5)는, 상기 포인터(4)에 의해서 포인팅된 상태가 된다. 그 때문에, 예를 들면, 도 71의 하단에 도시된 바와 같이, 상기 오브젝트(5)의 색을 바꾸어, 포인팅되어 있는 상태인 것을 나타낸다. 이렇게 하면, 상기 조작자는, 상기 포인터(4)의 형상으로부터 포인터의 깊이 방향의 위치, 및 포인터(4)가 포인팅하고 있는 깊이 방향의 위치를 직관적, 또한, 정확하게 인식할 수 있다. 또한, 상기 포인터(4)에 의해서 포인팅되었을 때에 오브젝트(5)의 색을 바꿈으로써, 상기 오브젝트(5)와 중첩되어 있는 포인터(4)가 상기 오브젝트(5)를 포인팅하고 있는지의 여부를 직관적, 또 한，정확하게 인식할 수 있다.
이러한 본 실시예 3-3의 3차원 포인팅 방법을, 상기 시스템 제어장치(1; 포인팅 장치)에 실행시킬 때에는, 도 73에 도시된 바와 같은, 단계 601로부터 단계 604, 단계 607로부터 단계 608, 단계 609로부터 단계 610의 처리를 실행시킬 수 있으면 된다. 또한, 도 73에 도시한 단계 601로부터 단계 604, 단계 607로부터 단계 608은, 도 55에 도시한 처리의 단계 601로부터 단계 604, 단계 607로부터 단계 608과 동일한 처리라도 좋으므로, 상세한 설명은 생략한다.
또한, 도 73에 도시한 단계 609는, 도 55에 도시한 처리의 단계 605에 상당하는 처리를 하는 단계이고, 본 실시예 3-3의 3차원 포인팅 방법의 경우, 상기 포인터(4)의 포인팅을 수행하는 부분(포인팅부)의 깊이 방향의 이동방향(+Z 방향 또는 -Z 방향), 및 이동량을 산출한다.
또한, 도 73에 도시한 단계 610은, 도 55에 도시한 처리의 단계 606에 상당하는 처리를 하는 단계이고, 본 실시예 3-3의 3차원 포인팅 방법의 경우, 상기 포인터 생성수단(103)에는, 상기 포인터(4)를 포인팅하고 있는 부분과 하고 있지 않은 부분으로 분할하고, 상기 포인팅하고 있는 부분만 깊이 방향의 위치를 바꾸어, 포인팅하고 있는 부분과 하고 있지 않은 부분을 연결한 포인터(4)를 생성시켜, 상기 표시장치(3)에 표시시킨다.
이상 설명한 바와 같이, 본 실시예 3-3의 3차원 포인팅 방법에 의하면, 상기 포인터를 포인팅하고 있는 부분과 하고 있지 않은 부분으로 분할하고, 상기 포인팅하고 있는 부분만 깊이 방향의 위치를 바꾸어, 포인팅하고 있는 부분과 하고 있지 않은 부분을 연결한 포인터를 표시시키는 것으로, 상기 포인터의 깊이 위치를 정확하고, 또한 직감적으로 인식할 수 있다.
또한, 본 실시예 3-3의 3차원 포인팅 방법을 상기 시스템 제어장치(1; 포인팅 장치)에 실행시키는 경우, 상기 포인터 생성수단(103)에서는, 상기 포인터를 포인팅하고 있는 부분과 하고 있지 않는 부분으로 분할하고, 상기 포인팅하고 있는 부분만 깊이 방향의 위치를 바꾸고, 포인팅하고 있는 부분과 하고 있지 않은 부분을 연결하여 1개의 포인터로 하는, 비교적 단순한 계산처리에 의해 포인터를 생성할 수 있다. 그 때문에, 상기 실시예 3-1이나 실시예 3-2와 같이 포인터상의 각 점의 좌표를 3차원적으로 변환하는 포인터의 생성방법과 비교하여, 포인터 생성처리의 부하가 저감하고, 고속이고 또한 순조롭게 변화하는 포인터 표시가 용이해진다.
또한, 도 71에서는, 상기 조작자로부터 보아, 상기 오브젝트(5)의 깊이 위치보다도 전방에 상기 포인터(4)가 있고, 상기 포인터(4)를 후방(+Z 방향)으로 기울이는 경우의 조작을 설명하였지만, 본 실시예 3-3의 3차원 포인팅 방법에서는, 상기 포인터(4)를 전방(-Z 방향)으로 기울일 수도 있게 된다.
도 74a 내지 도 74d는, 본 실시예 3-3의 3차원 포인팅 방법에 있어서의 포인터의 연결방법을 설명하기 위한 모식도이고, 도 74a, 도 74b, 도 74c, 도 74d는 각각 YZ 평면측에서 본 포인터의 연결방법을 도시하는 도면이다.
본 실시예 3-3의 3차원 포인팅 방법과 같이, 깊이 위치가 다른 포인팅하고 있는 부분과 하고 있지 않은 부분을 연결하여, 1개의 포인터(4)로 할 때에는, 예를 들면, 도 71의 하단이나 도 74a에 도시된 바와 같이, 평면으로 연결하면, 상기 시스템 제어장치(1)에 있어서의 포인터 생성처리가 쉬워진다. 그렇지만, 본 실시예 3-3의 3차원 포인팅 방법은, 이러한 포인터의 연결방법을 한정하지 않으며, 도 74b에 도시된 바와 같이, 연결부(절곡부)가 곡면으로 되어 있어도 좋다.
또한, 포인팅하고 있는 부분과 연결부의 접속의 방법, 및 포인팅하고 있지 않는 부분과 연결부의 접속의 방법도, 예를 들면, 도 74c에 도시된 바와 같이, 포인팅하고 있지 않는 부분과 연결부의 접속은 매끄러운 접속으로 하고, 포인팅하고 있지 않는 부분과 연결부의 접속은 절곡된 접속으로 하여도 좋다. 또한 반대로, 도 74d에 도시된 바와 같이, 포인팅하고 있는 부분과 연결부의 접속은 절곡된 접속으로 하고, 포인팅하고 있지 않는 부분과 연결부의 접속은 매끄러운 접속으로 하여도 좋다.
또한, 본 실시예 3-3의 3차원 포인팅 방법에서는, 상기 포인터(4)를 포인팅하고 있는 부분과 하고 있지 않은 부분으로 분할하고, 상기 포인팅하고 있는 부분만 깊이 방향의 위치를 바꿔, 포인팅하고 있는 부분과 하고 있지 않은 부분을 연결한 포인터를 생성하여, 표시시키면 되므로, 상기 각 도면에 나타낸 바와 같은 연결방법에 한정되지 않고, 여러가지의 연결방법을 적용하는 것이 가능하다.
도 75 내지 도 78b는, 본 실시예 3-3의 3차원 포인팅 방법의 응용예를 설명하기 위한 모식도로서, 도 75, 도 76a, 도 76b는 각각 포인팅하는 부분의 형상을 유지한 상태로 이동시키는 경우의 응용예를 도시하는 도면이고, 도 77a, 도 77b, 도 78a, 도 78b에 각각 포인팅하는 부분의 형상을 변화시키는 경우의 응용예를 도 시하는 도면이다. 또한, 도 75,도 76a, 도 76b, 도 77a, 도 77b, 도 78a, 도 78b의 각 도면은, 궤적을 알기 쉽게 하기 위해서, 3차원 공간을 XZ 평면측에서 본 도면(우측도면)을 도시하고 있다.
상기 포인팅하고 있는 부분을 깊이 방향으로 이동시킬 때에는, 도 71의 하단 등에 나타낸 바와 같은, 상기 포인팅하고 있는 점(xp, yp, zp)이 +Z 방향으로의 이동에 비례하여 +X 방향으로 이동하는 궤적을 따라가도록 이동시키는 이동에 한정되지 않고, 예를 들면, 도 75에 도시된 바와 같이, 상기 포인팅하고 있는 점(xp, yp, zp)이 +Z 방향으로의 이동에 비례하여 -X 방향으로 이동하는 궤적을 따라가도록 이동시켜도 좋다.
또한, 상기 포인팅하고 있는 점(xp, yp, zp)을 깊이 방향으로 이동시킬 때의 궤적, 직선형상의 궤적에 한정되지 않고, 예를 들면, 도 76a 및 도 76b에 도시된 바와 같이, 상기 포인팅하고 있는 점(xp, yp, zp)을, 상기 3차원 공간 내의 어떤 점(xc, yc, zc)을 중심으로 하는 반경(r)의 원호형상의 궤적을 따라가도록 이동시켜도 좋다.
또한, 도 71, 도 75, 도 76a 및 도 76b에서는, 상기 포인팅하고 있는 부분을 깊이 방향으로 이동시킬 때, 상기 포인팅하고 있는 부분의 형상을 일정하게 유지한 채로 이동시키고, 그 때의 포인팅하고 있는 부분과 하고 있지 않는 부분의 깊이 위치에 따라서 연결하고 있지만, 이것에 한정되지 않고, 도 77a, 도 77b, 도 78a, 및 도 78b에 도시된 바와 같이, 상기 포인팅하고 있는 부분과 하고 있지 않은 부분을 YZ 평면에 평행한 면에서 연결하고, 상기 포인팅하고 있는 점(xp, yp, zp)을 이동시킬 때의 궤적에 따라서, 상기 포인팅하고 있는 부분을 확대 또는 축소하거나, 길이를 바꾸어도 좋다.
또한, 상기 포인팅하고 있는 점(xp, yp, zp)을 깊이 방향으로 이동시킬 때의 궤적은, 상기 각 도면에 도시된 바와 같은 궤적에 한정되지 않고, 어떠한 궤적이라도 좋다.
또한, 본 실시예 3-3의 3차원 포인팅 방법에서는, 상기 입력장치(2)로서 키보드(201)와 마우스(202)를 사용하여, 상기 키보드(201)의 컨트롤 키(201A)와 마우스(202)의 휠(202A)의 회전조작을 조합함으로써, 상기 포인터(4)를 깊이 방향으로 기울이는 예를 나타냈지만, 이것에 한정되지 않고, 키보드(201)의 다른 키와 휠(202A)의 조합이라도 좋고, 휠(202A) 대신에 키보드(201)의 커서 키(방향키)와 조합하여도 좋다. 또한, 그 외에도, 예를 들면, 펜 타블렛이나 터치패널, 조이스틱 등으로 미리 정해진 조작을 하였을 때에 기울도록 하여도 좋다. 또한, 상기 표시장치(3)도, 액정 디스플레이 등의 2차원 표시장치에 한정되지 않고, DFD와 같은 3차원 표시장치라도 상관없다.
또한, 본 실시예 3-3의 3차원 포인팅 방법에서는, 상기 포인터(4)로서, 화살표형 포인터를 예로 들었지만, 이것에 한정되지 않고, 포인팅 부분을 깊이 방향으로 이동시켰을 때의 이동방향 및 포인팅하고 있는 점(위치)이 시각적으로 인식할 수 있는 형상이면, 어떠한 형상이라도 좋다.
또한, 상기 오브젝트도, 본 실시예 3-3에서는, 도 51 등에 도시된 바와 같은 폴더아이콘형의 오브젝트를 예로 들었지만, 이것에 한정되지 않고, 데이터 파일 화살 실행 파일의 아이콘(쇼트 컷)이나 윈도우 등, 상기 포인터로 포인팅 가능한 형상이면, 어떠한 형상의 오브젝트라도 좋다.
또한, 본 실시예 3-3의 포인팅 방법에서는, 예를 들면, 상기 포인터(4)의 시각적인 형상의 변화로부터 상기 포인터(4)의 깊이 방향의 포인팅 위치를 인식할 수 있지만, 예를 들면, 상기 3차원 공간 내에, 상기 포인터(4)의 포인팅을 수행하는 부분이 어느 만큼 깊이 방향으로 이동하였는지를 조작자에게 인식시키는 지표가 되는 레퍼런스를 상기 표시장치(3)에 표시시켜 좋다.
또한, 본 실시예 3-3의 3차원 포인팅 방법의 경우도, 도 71에 도시된 바와 같이, 상기 포인터(4)의 포인팅을 수행하는 부분만을 깊이 방향으로 병진 이동시키는 조작 외에, 도 59에 도시된 바와 같이 상기 포인터(4)의 형상을 유지한 채로 깊이 방향으로 병진 이동시키는 조작이 더해져도 좋고, 도 60에 도시된 바와 같이 상기 포인터(4)를 XY 평면 내에서 회전시키는 조작이 가해져도 좋다.
또한, 상기 각 실시예에서 설명한 3차원 포인팅 방법을 실행하는 포인팅 장치는, 상술한 바와 같이, 특수한 장치일 필요는 없고, 예를 들면, 컴퓨터와 프로그램에 의해서 실현할 수 있다. 이 때, 상기 프로그램은, 상기 각 실시예에서 설명한 처리를 컴퓨터에 실행시키는 명령이 기술되어 있으면 좋고, 자기적 또는 전기적, 또는 광학적의 어느 기록매체에 기록되어 있어도 좋다. 또한, 상기 프로그램 은, 각종 기록매체에 기록하여 제공하는 것도 가능하고, 인터넷 등의 네트워크를 통하여 제공하는 것도 가능하다.
본 제 3 실시형태에서 설명한 포인팅 기술과 제 1, 제 2 실시형태에 있어서의 입력 펜을 사용한 포인터의 제어기술을 조합하여 실시하는 것이 가능하다. 도 61에는 그 일 예가 도시되어 있다.
또한, 제 1, 제 2 실시형태에 있어서 도 5a 내지 도 6c를 참조하여 설명한 실시예에서는, 포인터의 일부의 깊이 위치를 고정하여 깊이 방향에 있는 오브젝트를 포인팅하는 본 제 3 실시형태에서 설명한 포인팅 기술이 적용되어 있다.
제 1, 제 2 실시형태와 제 3 실시형태를 조합한 실시예를 다음에 설명한다. 이 실시예는, 제 1, 제 2 실시형태에 있어서 도 5a 내지 도 6c를 참조하여 설명한 실시예 1-1, 2-1의 기술에, 제 3 실시형태에 있어서 도 52 내지 도 60을 참조하여 설명한 포인팅을 수행하는 점의 x, y 좌표를 일정하게 하여 포인팅을 수행하는 기술을 조합한 예이다.
이 예에 있어서, 입력 펜을 사용하여 포인터 조작을 하는 경우의 3차원 공간 내의 포인터의 변화를 도시하는 정면도 및 우측도면를 도 79a 내지 도 79c에 도시한다. 도 79a 내지 도 79c의 좌표의 설정 방법, 부호가 붙는 방법은 제 1, 제 2 실시형태와 동일하다. 또한, 사용하는 장치 등의 기본적인 조건은 실시예 1-1, 2-1과 같다. 또한, 입력 펜의 조작내용은 제 1, 제 2 실시형태에서 설명한 바와 같이, 입력 펜의 필압, 펜 끝의 접촉시간, 입력 펜에 장착된 조작수단의 조작량, 입력 펜의 기울기 등에 의해 포인터의 제어가 행하여진다.
단, 본 예에서는, 제 1, 제 2 실시형태에 있어서의 포인터 위치/회전 각도 산출수단이, 제 3 실시형태에 있어서의 포인팅 위치/변형량 산출수단에서의 처리와 동일하게 하고, 포인팅을 수행하는 점의 x, y 좌표를 일정하게 하여 포인터의 위치, 회전 각도 등을 산출한다. 다음으로, 도 79a 내지 도 79c를 참조하여 본 예에서의 포인팅 동작을 설명한다.
조작자가 입력 펜(201)의 펜 끝(201P)을 표시면에 접촉시키고, 포인터가 표시된 후, 도 79a에 도시하는 상태로부터, 조작자가 예를 들면 입력 펜(201)의 조작을 한다(필압을 높게 하거나, 기울기를 바꾸거나, 입력 펜(201)에 장착된 조작수단을 조작하는 등). 이 조작에 의해, 도 79b, 도 79c에 도시된 바와 같이, 포인터(303)의 화살의 선단의 반대측의 끝의 깊이 위치가 일정하게 유지된 상태에서, 화살의 선단부분 -Z 방향으로 이동하여, 화살의 부분이 조작자로부터 보아 후방의 방향으로 기운다. 단, 화살의 선단부분의 XY 좌표는 펜 끝(201P)의 XY 좌표와 동일하며 일정하다.
실시예 1-1, 2-1(도 5a 내지 도 6c)에서는, 펜 끝(201P)의 연장에 포인터(303)가 존재하지만, 이 경우, 펜 끝(201P)의 위치가 변하지 않은 경우라도, 입력 펜을 기울이는 것으로, 포인팅하는 위치(화살의 선단부분)의 x, y 좌표가 변경된다. 한편, 제 3 실시형태를 적용한 도 79a 내지 도 79c의 예에서는, 포인팅하는 위치의 x, y 좌표는 항상 펜 끝(201P)의 x, y 좌표와 동일하고, 깊이만이 변화한다. 이 때, 입력 펜의 기울기에 따라서 포인터도 회전하지만, 포인팅하는 위치는 변하지 않는다. 이로써, 포인팅하는 위치의 x, y 좌표를 펜 끝의 위치로 결정하 고, 깊이 위치를 입력 펜의 조작으로 제어하는 것이 가능해진다.
(제 4 실시형태)
다음에, 본 발명의 제 4 실시형태에 관해서 설명한다. 제 4 실시형태는 본 발명의 제 3 목적에 대응하는 것이다.
제 4 실시형태의 3차원 표시제어방법에서는, 표시장치상에 표현된 3차원 공간 내에 표시된 포인터의 위치를 3차원적으로 변화시켰을 때, 상기 3차원 공간의 관찰자로부터 보아, 상기 포인터의 깊이 위치보다도 전방에 배치된 오브젝트를 투명화시켜 표시한다. 이렇게 함으로써 상기 관찰자로부터 보아, 상기 포인터가 있는 오브젝트의 뒤에 대응하여 이동한 경우라도, 상기 포인터의 위치를 인식할 수 있도록 하였다. 또한, 상기 포인터의 깊이 위치보다도 전방에 배치된 오브젝트를 투명화함으로써, 상기 관찰자로부터 보아, 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트를 포인팅할 때, 앞의 오브젝트를 이동시키거나, 비표시의 상태로 하는 조작을 하지 않고서 포인팅할 수 있게 되고, 상기 관찰자(상기 포인터의 조작자)의 포인팅 조작이 간편해져서, 조작자의 편리성이 향상된다.
또한, 제 4 실시형태의 3차원 표시제어방법에서는, 상기 관찰자로부터 보아, 상기 포인터의 깊이 위치보다도 전방에 배치된 오브젝트를 투명화시켜서 표시할 때, 상기 관찰자로부터 보아 상기 포인터의 포인팅 위치와 중첩되는 상기 오브젝트상의 점을 중심으로 하는 미리 정해진 영역만을 투명화함으로써, 상기 포인터의 깊이 위치보다도 전방에 배치된 오브젝트의 종류나 상태를 인식하면서, 상기 포인터의 위치를 인식할 수 있도록 하였다.
또한, 상기 관찰자로부터 보아 상기 포인터의 포인팅 위치와 중첩되는 상기 오브젝트상의 점을 중심으로 하는 미리 정해진 영역만을 투명화하는 대신에, 상기 포인터의 조작에 관한 입력정보가 일정시간 입력되지 않은 경우에, 투명화된 오브젝트를 투명화하기 전의 불투명한 상태의 표시로 되돌림으로써, 상기 포인터의 깊이 위치보다도 전방에 배치된 오브젝트의 종류나 상태를 인식하면서, 상기 포인터의 위치를 인식할 수 있도록 하였다.
또한, 제 4 실시형태의 3차원 표시방법에서는, 이동 등의 조작을 하기 위해서 선택된 오브젝트에 관해서는, 상기 포인터의 깊이 위치보다도 전방에 배치되어 있어도, 투명화하지 않음으로써, 상기 오브젝트가 선택된 상태인 것을 인식할 수 있도록 하였다.
도 80 내지 도 84는, 본 발명의 제 4 실시형태의 3차원 표시제어방법의 개요를 설명하기 위한 모식도로서, 도 80은 제 4 실시형태의 3차원 표시제어방법이 적용되는 컴퓨터 시스템의 개략 구성을 도시하는 도면이고, 도 81은 3차원 공간을 표현할 수 있는 표시장치(DFD)의 동작원리를 설명하는 도면이고, 도 82는 표시장치상에 표현된 3차원 공간의 일 예를 도시하는 정면도 및 우측도면이고, 도 83은 표시장치상에 표현된 3차원 공간의 일 예를 도시하는 사시도(조감도), 도 84는 포인터의 조작방법의 일 예를 도시하는 도면이다.
도 80에 있어서, 1은 시스템 제어장치, 101은 입력정보 취득수단, 102는 포인터 위치 산출수단, 103은 포인터 생성수단, 104는 오브젝트 변경 판정수단, 105는 오브젝트 생성/투명화수단, 106은 표시제어수단, 107은 처리제어수단, 108은 기 억수단, 2는 입력장치, 3은 표시장치이다. 또한, 도 81에 있어서, 301A는 관찰자로부터 보아 전방의 표시면, 301B는 관찰자로부터 보아 후방의 표시면, 4는 관찰자가 인식하는 오브젝트, 4A는 전방의 표시면에 표시되는 오브젝트, 4B는 후방의 표시면에 표시되는 오브젝트, P는 관찰자의 시점이다. 또한, 도 82 및 도 83에 있어서, 401은 포인터, 402a에서 402g는 폴더아이콘(오브젝트), 403a로부터 403c는 윈도우(오브젝트)이다. 또한, 도 84에 있어서, 201은 마우스, 201A는 마우스의 휠이다.
제 4 실시형태의 3차원 표시제어방법은, 예를 들면, PC 등의 시스템 제어장치에 접속된 표시장치상에 표현된 3차원 공간 내에 표시된 포인터를 마우스 등의 입력장치로 조작하고, 상기 3차원 공간 내에 표시된 오브젝트의 포인팅(선택), 이동, 가공 등의 처리를 하는 경우의, 상기 포인터 및 오브젝트의 표시를 제어하는 방법이다. 또한, 상기 포인터도 상기 오브젝트의 1종이라고 생각할 수 있지만, 본 명세서에서는, 상기 3차원 공간 내의 임의의 일점을 지시하기 위한 오브젝트를 포인터로 하고, 그 밖의, 예를 들면, 아이콘, 윈도우, 풀다운 메뉴 등의 오브젝트와 구별한다.
이 때, 상기 시스템 제어장치(1)는, 예를 들면, 도 8O에 도시된 바와 같이, 상기 입력장치(2)로부터의 입력정보를 취득하는 입력정보 취득수단(101)과, 상기 입력정보 취득수단(101)에서 취득한 정보가 포인터의 조작에 관한 정보(포인터 조작정보)인 경우에, 상기 포인터 조작정보에 기초하여 포인터의 표시위치를 산출하는 포인터 위치 산출수단(102)과, 상기 포인터 위치 산출수단(102)에서 산출된 위 치에 표시하는 포인터를 생성하는 포인터 생성수단(103)과, 상기 포인터 위치 산출수단(102)에서 산출된 위치에 기초하여 오브젝트의 표시방법을 변경하는지의 여부를 판정하는 오브젝트 변경 판정수단(104)과, 새로운 오브젝트의 생성, 또는 이미 생성되어 있는 오브젝트의 투명화 또는 불투명화를 하는 오브젝트 생성/투명화수단(105)과, 상기 포인터 생성수단(103)에서 생성된 포인터나, 상기 오브젝트 생성/투명화수단(105)에서 생성, 또는 투명화 또는 불투명화된 오브젝트를 상기 표시장치(3)에 표시시키는 표시제어수단(106)을 구비한다.
또한, 상기 시스템 제어장치(1)에서는, 상기 포인터의 생성이나, 상기 오브젝트의 생성, 또는 투명화 또는 불투명화와 같은 처리 외에, 애플리케이션 소프트의 기동, 조작과 같은 처리도 할 수 있다. 그 때문에, 상기 시스템 제어장치(1)에는, 도 80에 도시된 바와 같이, 상기 입력장치(2)로부터의 입력정보 등에 기초하여 각 처리를 제어하는 처리제어수단(107)을 구비한다. 또한, 상기 시스템 제어장치(1)에는, 도 80에 도시된 바와 같이, 상기 시스템 제어장치(1)의 제어 프로그램(OS), 상기 애플리케이션 소프트의 실행 프로그램, 상기 애플리케이션 소프트를 사용하여 처리를 하는 데이터 등을 기억 유지하는 기억수단(108)을 구비한다. 이 때, 상기 시스템 제어장치(1)에서는, 상기 입력정보 취득수단(101)에서 취득한 입력정보의 내용을 판별하고, 상기 포인터 조작정보인 경우는, 그 정보를 상기 포인터 위치 산출수단(103)에 건네주고, 포인터의 표시위치를 산출한다. 한편, 상기 포인터 조작정보 이외의 정보인 경우는 그 정보를 상기 처리제어수단(107)에 건네주고, 상기 애플리케이션 소프트의 실행 등의 처리를 하게 한다.
또한, 상기 표시장치(3)는, 3차원 공간을 표현하는 것이 가능한 표시장치(디스플레이)이면, 어떠한 장치라도 좋다. 즉, 상기 표시장치는, 예를 들면, DFD와 같이 입체영상을 표시하는 것이 가능한 3차원 표시장치에 한정되지 않고, 일반적인 CRT나 액정 디스플레이 같은 2차원 표시장치라도 좋다. 상기 표시장치가 상기 DFD의 경우, 상기 포인터나 오브젝트를, 각각의 3차원 위치에 대응하는 깊이 위치에 표시시킴으로써, 상기 포인터나 오브젝트의 배치를 3차원적으로 지각할 수 있다.
상기 DFD는, 지금까지 설명한 대로, 복수매의 표시면이 상기 관찰자의 시점으로부터 보아 깊이 방향으로 중첩되도록 배치되어 있는 표시장치이다. 이 때, 설명을 간단하게 하기 위해서, 도 81에 도시된 바와 같이, 2장의 표시면(301A, 301B)이 중첩되어 있다고 하면, 상기 포인터나 오브젝트의 상은, 양쪽의 표시면(301A, 301B)에, 상기 관찰자의 시점 P로부터 보아 중첩되도록 표시된다. 또한 이 때, 상기 DFD가, 예를 들면, 휘도 변조형이면, 상기 관찰자의 시점 P로부터 보아 전방의 표시면(301A)에 표시되어 있는 오브젝트(4A)의 휘도를 LA, 후방의 표시면(301B)에 표시되어 있는 오브젝트(4B)의 휘도를 LB로 하면, 상기 관찰자에게는, 상기 각 표시면(301A, 301B)의 사이이고, 또한 상기 전방의 표시면(301A)에서의 거리와 상기 후방의 표시면(301B)에서의 거리의 비가 LB:LA로 되는 깊이 위치에 상기 오브젝트(4)가 표시되어 있는 것처럼 보인다. 그 때문에, 상기 전방의 표시면(301A)에 표시되어 있는 오브젝트(4A)의 휘도 LA와, 후방의 표시면(301B)에 표시되어 있는 오브젝 트(4B)의 휘도 LB의 비를 바꿈으로써, 상기 각 표시면(301A, 301B)의 사이의 임의의 깊이 위치에 오브젝트(4)를 표시시킬 수 있다. 또한, 도시는 생략하지만, 상기 전방의 표시면(301A)에 표시되어 있는 오브젝트(4A)의 휘도를, 예를 들면, 도 81의 지면 상방으로부터 지면 하방으로 향함에 따라서 휘도가 커지도록 표시하고, 상기 후방의 표시면(301B)에 표시되어 있는 오브젝트(4B)의 휘도를, 예를 들면, 도 81의 지면 하방으로부터 지면 상방으로 향함에 따라서 휘도가 커지도록 표시하면, 상기 오브젝트(4)의 상방이 후방으로 기울어 있는 것처럼 보인다.
또한, 도시는 생략하지만, 상기 DFD가 투과형인 경우는, 예를 들면, 상기 전방의 표시면(301A)에서 상기 오브젝트(4A)를 표시하고 있는 각 화소의 투과도를 크게 하면, 상기 오브젝트(4)가 상기 후방의 표시면(301B)의 근방에 표시되고, 상기 전방의 표시면(301A)에서 상기 오브젝트(4A)를 표시하고 있는 각 화소의 투과도를 작게 하면, 상기 오브젝트(4)가 상기 전방의 표시면(301A)의 근방에 표시되어 있는 것처럼 보인다. 그 때문에, 상기 전방의 표시면(301A)에서 상기 오브젝트(4A)를 표시하고 있는 각 화소의 투과도를 바꿈으로써, 상기 각 표시면(301A, 301B) 사이의 임의의 깊이 위치에 오브젝트(4)를 표시시킬 수 있다.
또한, 상기 표시장치(3)가 상기 액정 디스플레이 등의 2차원 표시장치의 경우는, 예를 들면, 상기 시스템 제어장치(1)내에 설정된 가상 3차원 공간상에서 상기 포인터나 오브젝트를 3차원적으로 배치한 후, 그 상태를 2차원의 표시면에 투영한 화상을 생성하고, 표시시키는 것으로, 상기 포인터나 오브젝트의 배치를 3차원 적으로 지각할 수 있다.
이러한 3차원 공간을 표현하는 것이 가능한 표시장치(3)가 접속되어 있는 상기 시스템 제어장치(1)의 경우, 상기 표시장치(3)상에, 예를 들면, 도 82 및 도 83에 도시된 바와 같이, 포인터(401)나, 폴더아이콘(402a)으로부터 402g, 윈도우(403a)로부터 403c 등의 오브젝트를 3차원적으로 배치(표시)한 3차원 데스크탑을 표시할 수 있다. 이 때, 상기 관찰자(조작자)는, 상기 3차원 데스크탑을 GUI로서, 상기 시스템 제어장치(1)에서 실행 가능한 애플리케이션 소프트를 이용할 수 있다.
이 때, 상기 전방의 표시면(301A)과 후방의 표시면(301B) 사이의 공간을 3차원 데스크탑 공간으로 하고, 예를 들면, 도 82 및 도 83에 도시된 바와 같이, 상기 전방의 표시면(301A)의 깊이 위치가 z=0, 표시면(301A, 301B)이 XY 평면과 평행하고, 또한, 전방의 표시면(301A)에서 후방의 표시면(301B)으로 향하는 방향을 Z축의 양의 방향으로 하는 3차원 좌표계 XYZ를 취하면, 상기 포인터(401)가 지시하고 있는 위치는 좌표(xp, yp, zp)로 특정된다. 그 때문에, 상기 입력장치(2)를 사용하여, 상기 포인터(401)가 지시하고 있는 위치의 좌표(xp, yp, zp)를 결정함으로써, 상기 포인터(401)를 상기 3차원 데스크 공간 내의 임의의 일점으로 이동시킬 수 있고, 상기 3차원 데스크탑 공간 내에 배치된 폴더아이콘(402a)에서 402g, 윈도우(403a)로부터 403c 등의 오브젝트를 포인팅할 수 있다.
또한, 상기 포인터를 3차원적으로 이동시키기 위해서 입력장치(2)에는, 예를 들면, 휠 기능 첨부 마우스(이하, 마우스라함) 등의 기존의 입력장치를 사용할 수 있다. 상기 마우스를 사용하여 상기 포인터를 3차원적으로 이동시키는 경우, 도 84에 도시된 바와 같이, 예를 들면, 탁상 등의 평면상에서 상기 마우스 본체를 움직였을 때의 XI축 방향의 이동량(+xI 또는 -xI)을 상기 포인터(401)의 X축 방향의 이동량에 반영시켜, YI축 방향의 이동량(+yI 또는 -yI)을 상기 포인터(401)의 Y축 방향의 이동량에 반영시키면, 상기 포인터(401)의 XY 좌표(xp, yp)를 결정할 수 있다. 그리고, 예를 들면, 상기 마우스(201)의 휠(201A)의 회전방향(+zI 또는 -zI)과 회전량을 상기 포인터(401)의 Z축 방향의 이동량에 반영시키면, 상기 포인터(401)의 깊이 위치(Z 좌표) zp를 결정할 수 있다.
또한, 상기 입력장치(2)는, 상기 마우스에 한정되지 않고, 예를 들면, 키보드나 펜 타블렛 등의 입력장치를 사용하는 것도 가능하다. 또한, 상기 마우스와 키보드를 조합하여, 예를 들면, 상기 키보드 상의 특정한 키를 누르면서 상기 휠(201A)을 회전시켰을 때의 회전방향과 이동량을 상기 포인터(401)의 Z축 방향의 이동량에 반영시켜도 좋다.
또한, 포인터의 3차원적 위치에 따라서 별개의 오브젝트의 표시를 제어하는 본 실시형태는, 제 1 내지 제 3 실시형태에도 적용할 수 있다. 즉, 제 1, 제 2 실시형태이면, 입력 펜의 조작에 의해 포인터를 이동시켰을 때, 제 4 실시형태의 기술을 적용하여 별개의 오브젝트의 표시를 제어한다. 또한, 제 3 실시형태이면, 포인터로 깊이 방향의 포인팅을 할 때, 포인터의 변형이나 이동에 따라서 별개의 오 브젝트의 표시를 제어한다.
이하, 상기 입력장치로서 상기 마우스를 사용하여, 상기 표시장치로서 DFD를 사용한 경우를 예로 들어, 상기 표시장치상에 표현된 3차원 공간(3차원 데스크탑)내의 포인터 및 오브젝트의 표시의 제어방법에 관해서 설명한다.
[실시예 4-1]
도 85 내지 도 87은, 실시예 4-1의 3차원 표시제어방법을 설명하기 위한 모식도로서, 도 85 및 도 86은 본 실시예 4-1의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모양을 도시하는 도면이고, 도 87은 본 실시예 4-1의 표시제어방법과 비교하기 위한 종래의 표시제어방법을 설명하는 3차원 공간의 모양을 도시하는 도면이다. 또한, 도 85 및 도 86은 각각, 상단, 중단, 하단에 3가지의 상태를 나타내고 있고, 각 상태는, 도면 중에 나타낸 조작을 함으로써 다른 상태로 변화한다. 또한, 각 상태는, 상기 관찰자로부터 상기 3차원 공간을 보았을 때의 정면도와 우측도면으로 나타내고 있다.
본 실시예 4-1에서는, 예를 들면, 도 82 및 도 83에 도시된 바와 같은 3차원 데스크탑 공간 내에 표시된 포인터(401)를, 도 84에 도시된 바와 같은 조작에 의해 3차원적으로 이동시키고, 상기 3차원 데스크탑 공간 내의 임의의 일점을 포인팅할 때, 상기 관찰자(조작자)로부터 보아, 상기 포인터의 깊이 위치보다도 전방에 배치된 오브젝트를 투명화하는 표시제어방법에 관해서 설명한다.
또한, 본 실시예 4-1에서는, 설명을 간단하게 하기 위해서, 예를 들면, 도 85의 상단에 도시된 바와 같이, 상기 3차원 데스크탑 공간에 포인터(401)와, 폴더 아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트가 표시되어 있는 경우를 예로 들어 설명한다. 이 때, 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트의 위치관계는, 최초, 도 85의 상단에 도시된 바와 같은 위치관계이고, 상기 포인터(401)는, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 전방에 표시되어 있는 것으로 한다. 또한 이 때, 상기 폴더아이콘(402b)은, 상기 관찰자로부터 보아 상기 윈도우(403)의 뒤에 대응하는 위치에 배치되어 있고, 상기 관찰자로부터는 보이지 않는 것으로 한다.
이 때, 상기 조작자가, 상기 마우스의 휠을, 상기 포인터(401)를 +z(z> 0)방향으로 이동시키도록 회전시키면, 도 85의 중단에 도시된 바와 같이, 상기 포인터(401)가 상기 윈도우(403)에 가까이 간다. 그리고, 상기 윈도우(403)의 깊이 위치로부터 미리 정해진 범위의 깊이 위치에 상기 포인터(401)가 도달하면, 상기 윈도우(403)가 포인팅된 상태로 되고, 예를 들면, 도 85의 중단에 도시된 바와 같이, 상기 윈도우(403)의 색을 바꾸는 등, 포인팅되어 있는 것을 도시하는 바와 같은 표시로 바꾼다.
그리고, 상기 조작자가, 이 상태로부터 또한, 상기 마우스의 휠을, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키도록 회전시키면, 도 85의 하단에 도시된 바와 같이, 상기 포인터(401)가 상기 윈도우(403)를 빠져나가, 상기 후방의 표시면(301B)에 향하여 이동을 계속한다. 이 때, 상기 윈도우(403)를 빠져나간 포인터(401)가, 상기 윈도우(403)의 깊이 위치로부터 미리 정해진 범위의 깊이 위치보다도 떨어지면, 상기 윈도우는 포인팅된 상태로부터 원래의 포인팅되어 있지 않은 상태로 되돌아가고, 예를 들면, 윈도우의 색이 원래의 색으로 되돌아간다.
단, 상기 포인터(401)가 상기 윈도우(403)를 빠져나가는 동시에, 상기 포인터(401)가 빠져나간 윈도우(403)는, 상기 관찰자로부터 보아, 상기 포인터(401)의 깊이 위치보다도 전방에 표시되게 된다. 그래서, 상기 시스템 제어장치(1)는, 도 85의 하단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치보다도 전방에 표시되게 된 윈도우(403)를 투명화하여 표시시킨다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)가 윈도우(403)의 뒤에 대응하는 위치로 이동하였을 때도, 상기 포인터(401)의 위치를 용이하게 인식할 수 있다. 또한, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키는 것만으로, 상기 윈도우(403)의 뒤에 별개의 오브젝트가 숨어 있는지의 여부나, 숨어 있는 폴더아이콘(402b)의 위치를 인식할 수 있다.
또한, 도 85의 하단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치보다도 전방의 윈도우(403)가 투명화되어 있는 상태에서, 예를 들면, 상기 마우스의 휠을 역방향으로 회전시키면, 상기 포인터(401)가 상기 윈도우(403)의 깊이 위치로부터 미리 정해진 범위의 깊이 위치에 도달한 시점에서, 도 85의 중단에 도시된 바와 같이, 상기 윈도우(403)의 표시가 포인팅되어 있는 것을 나타내는 표시로 바뀐다. 그리고, 상기 포인터(401)를 더욱 상기 전방의 표시면(301A) 측으로 이동시키고, 상기 포인터(401)가 상기 윈도우(403)의 깊이 위치로부터 미리 정해진 범위의 깊이 위치보다도 앞으로 떨어지면, 도 85의 상단에 도시된 바와 같이 상기 윈도우(403)의 표시가 원래의 표준 표시로 되돌아간다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)를 -z(z＜0) 방향으로 이동시키는 것만으로, 투명화되어 있는 상기 윈도우(403)를 원래의 불투명한 표시로 되돌릴 수 있다.
또한, 도 85에 도시한 예에서는, 상기 포인터(401)가 상기 윈도우(403)와 중첩되어 있고, 상기 포인터(401)가 상기 윈도우(403)를 빠져나가고, 상기 윈도우(403)의 뒤에 대응하는 위치로 이동하였을 때에 상기 윈도우(403)가 투명화되어 있지만, 이것에 한정되지 않고, 예를 들면, 도 86의 상단에 도시된 바와 같이, 상기 윈도우(403) 등의 오브젝트와 중첩되어 있지 않는 위치에서 상기 포인터(401)의 깊이 위치를 바꾸었을 때에도, 상기 윈도우(403)를 투명화할 수도 있다. 이 경우, 도 86의 상단에 도시된 바와 같은 상태에서 상기 포인터(401)를 후방의 표시면(301B)측으로 이동시켰을 때, 상기 포인터의 깊이 위치 zp와 상기 윈도우(403)의 깊이 위치 zo의 관계가 zp＞zo로 되면, 도 86의 중단에 도시된 바와 같이, 상기 윈도우(403)를 투명화하여 표시시키면 된다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키는 것만으로, 상기 윈도우(403)의 뒤에 숨어 있는 폴더아이콘(402b)의 위치를 인식할 수 있고, 상기 포인터(401)로 상기 폴더 아이콘(402b)을 용이하게 포인팅할 수 있다. 또한, 이렇게 하면, 예를 들면, 도 86의 중단에 도시된 바와 같은 상태로부터 더욱, 상기 포인터(401)를 후방의 표시면(301B)측으로 이동시켰을 때, 상기 포인터(401)의 깊이 위치 zp와 상기 폴더아이콘(402a)의 깊이 위치 zf의 관계가 zp＞zf로 된 시점에서, 도 86의 하단에 도시하는 바와 같은 상태로부터, 반대로, 상기 시하는 바와 같이 상기 폴더아이콘(402a)이 투명화된다. 그리고, 도 86의 하단에 도시된 바와 같은 상태로부터, 반대로, 상기 포인터(401)를 전방의 표시면(301A)측으로 이동시키면, 도 86의 중단에 도시된 바와 같은 상태를 거쳐서, 도 86의 상단에 도시된 바와 같은, 원래의 불투명한 폴더아이콘(402a) 및 윈도우(403)가 표시된 상태로 되돌아간다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)가 상기 윈도우(403)의 뒤에 대응하는 위치로 이동하였을 때도 상기 포인터(401)의 위치를 인식할 수 있다. 또한, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키는 것만으로, 상기 윈도우(403)의 뒤에 별개의 오브젝트가 숨어 있는지의 여부나, 숨어 있는 폴더아이콘(402b)의 위치를 인식할 수 있다.
종래의 3차원 데스크탑 공간의 표시제어방법에서는, 예를 들면, 도 87에 도시된 바와 같이, 상기 포인터(401)가 상기 관찰자로부터 보아 상기 윈도우(403)의 뒤에 대응하는 위치로 이동시키면, 상기 포인터(401)는 상기 윈도우(403)에 숨어 버리고, 상기 관찰자는 상기 포인터(401)의 위치를 인식할 수 없다. 그 때문에, 종래의 표시제어방법에서, 예를 들면, 상기 윈도우(403)의 뒤에 별개의 오브젝트가 숨어 있는지의 여부나, 숨어 있는 오브젝트의 위치의 인식, 선택과 같은 조작을 할 때에는, 상기 윈도우(403)를 이동시키거나, 또는 표시영역을 작게 하거나 또는 비표시의 상태로 하는 조작을 하지 않으면 안 되었다. 그리고, 이들의 조작을 한 후, 상기 윈도우(403)에 표시되어 있는 내용을 확인하는 경우는, 상기 윈도우(403)를 원래의 위치로 되돌리거나, 또는 표시영역을 크게 하거나 또는 표시상태로 되돌리는 조작을 하지 않으면 안 된다. 그 결과, 예를 들면, 도 82 및 도 83에 도시된 바와 같은, 폴더 아이콘(402a)에서 402g, 윈도우(403a)에서 403c 등의 다수의 오브 젝트가 표시되어 있는 3차원 데스크탑 공간에서, 상기 관찰자로부터 보아 후방에 표시되어 있는 오브젝트를 선택하는 경우 등에는 조작이 번잡하게 되고, 상기 관찰자(조작자)의 편리성이 나쁘다.
한편, 본 실시예 4-1의 표시제어방법에서는, 상기 포인터(401)를 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시키는 것만으로, 상기 포인터(401)의 깊이 위치보다도 앞의 오브젝트가 투명화된다. 그 때문에, 상기 포인터(401)가 투명화된 오브젝트의 뒤에 대응하는 위치로 이동하였을 때도 상기 포인터(401)의 위치를 용이하게 인식할 수 있다. 또한, 상기 포인터를 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시키는 것만으로, 상기 포인터(401)의 깊이 위치보다도 앞의 오브젝트가 투명화되고, 오브젝트의 뒤의 상태를 인식할 수 있다. 그 때문에, 상기 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트를 용이하게 포인팅할 수 있다. 그리고, 상기 포인터(401)를 상기 관찰자로부터 보아 전방으로 향하는 방향으로 이동시키는 것만으로, 상기 포인터(401)의 깊이 위치보다도 후방으로 된 오브젝트가 불투명한 상태로 되돌아가고, 투명화되어 있는 오브젝트의 표시내용을 인식할 수 있다.
이러한 본 실시예 4-1의 3차원 표시제어방법을, 도 80에 도시한 상기 시스템 제어장치(1) 등에서 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 88에 도시한 단계 501로부터 단계 510의 처리를 실행하면 된다.
도 88은, 본 실시예 4-1의 3차원 표시제어방법을 실현하기 위한 장치에 있어서의 처리순서를 나타내는 순서도이다.
도 80에 도시된 바와 같은 구성의 상기 시스템 제어장치(1)에 있어서, 도 85 또는 도 86에 도시된 바와 같은 포인터(401) 및 오브젝트(402a, 402b, 403)의 표시의 제어를 할 때에는, 우선, 도 88에 도시된 바와 같이, 상기 표시장치(3)에 포인터(401)와 오브젝트를 표시하여 둔다(단계 501). 그리고, 상기 관찰자(조작자)가 상기 마우스 등의 입력장치(2)를 조작하면, 상기 입력정보 취득수단(101)이 상기 입력장치(2)로부터의 입력정보(조작정보)를 취득한다(단계 502). 이 때, 상기 입력정보 취득수단(101)에서 입력정보를 취득하면, 예를 들면, 상기 입력정보 취득수단(101)에 있어서, 상기 입력정보가 포인터의 조작에 관한 정보(포인터 조작정보)인지의 여부를 판별(단계 503)하고, 상기 포인터 조작정보가 아닌 경우는, 상기 처리제어수단(107)에 있어서, 상기 입력정보에 따른 다른 처리를 실행한다(단계 504).
한편, 상기 입력정보가 상기 포인터 조작정보인 경우, 상기 입력정보 취득수단(101)은, 상기 입력정보를 상기 포인터 위치 산출수단(102)에 건네주고, 포인터의 이동량을 산출시켜, 상기 포인터가 새로운 표시위치(xp, yp, zp)를 산출시킨다(단계 505).
그리고, 상기 포인터 위치 산출수단(102)은, 상기 포인터의 새로운 표시위치(xp, yp, zp)를 산출하면, 우선, 상기 포인터 생성수단(103)에, 상기 새로운 표시위치에 표시키는 포인터를 생성시키고, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 506).
또한, 상기 포인터 위치 산출수단(102)은, 상기 포인터의 새로운 표시위치(xp, yp, zp)를 산출하면, 상기 오브젝트 변경 판정수단(104)에, 포인팅하고 있는 오브젝트가 있는지의 여부, 즉, 포인터가 포인팅하고 있는 점의 xyz 좌표가 오브젝트의 표면상 또는 내부의 임의의 점의 xyz 좌표로부터 미리 정해진 범위내에 있는지의 여부와, 포인터의 깊이 위치보다 전방에 오브젝트가 있는지의 여부, 즉, 포인터가 포인팅하고 있는 점의 z 좌표보다 작은 z 좌표의 점을 표면상 또는 내부에 포함하는 오브젝트가 있는지의 여부를 판정시킨다(단계 507, 단계 509). 그리고, 상기 포인팅하고 있는 오브젝트가 있는 경우는, 상기 오브젝트 생성/투명화수단(105)에서 그 오브젝트를 포인팅되어 있는 상태로 변경시켜, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 508). 또한, 상기 포인터의 깊이 위치보다 전방에 오브젝트가 있는 경우는, 상기 오브젝트 생성/투명화수단(105)에서 상기 전방의 오브젝트를 미리 정해진 투명도(α)로 변경시키고, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 510).
또한, 도 88에 도시한 예에서는, 먼저 포인팅하고 있는 오브젝트가 있는지의 여부를 판정하고 있지만, 이것에 한정되지 않고, 먼저 포인터의 깊이 위치보다 전방에 오브젝트가 있는지의 여부를 판정하여도 좋다.
상기 시스템 제어장치(1)에 있어서, 이러한 처리를 실행함으로써, 도 85 또는 도 87에 도시된 바와 같은 포인터(401) 및 오브젝트(402a, 402b, 403)의 표시 제어가 가능해진다.
이상 설명한 바와 같이, 본 실시예 4-1의 3차원 표시제어방법에 의하면, 상기 포인터의 깊이 위치보다도 전방에 배치(표시)된 오브젝트를 투명화함으로써, 상기 포인터(401)가, 어떤 오브젝트의 뒤에 대응하는 위치로 이동하였을 때에도, 상기 포인터(401)의 위치를 놓치는 일이 없고, 용이하게 인식할 수 있다.
또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시킴으로써, 상기 오브젝트를 투명화시킬 수 있기 때문에, 어떤 오브젝트의 뒤에 별개의 오브젝트가 숨어 있는지의 여부, 또는 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 위치의 인식 등을 하기 위한 조작이 종래와 비교하여 용이하다. 또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 전방으로 향하는 방향으로 이동시킴으로써, 투명화되어 있는 오브젝트를 원래의 불투명한 표시로 되돌릴 수 있기 때문에, 투명화되어 있는 오브젝트의 표시내용을 인식하기 위한 조작이 종래와 비교하여 용이하다. 즉, 본 실시예 4-1의 3차원 표시제어방법을 적용하는 것으로, 상기 관찰자(조작자)의 편리성이 향상된다.
또한, 본 실시예 4-1의 3차원 표시제어방법에서는, 예를 들면, 도 86에 도시된 바와 같이, 상기 관찰자로부터 보기 상기 포인터와 중첩되는지의 여부에 관계없이, 상기 포인터의 깊이 위치보다도 전방에 배치(표시)되는 오브젝트를 투명화하고 있지만, 이것에 한정되지 않고, 예를 들면, 상기 관찰자로부터 보아 상기 포인터의 깊이 위치보다도 전방이고, 또한, 상기 포인터와 중첩되는 오브젝트만을 투명화하여도 좋다.
도 89 및 도 90은, 본 실시예 4-1의 3차원 표시제어방법의 응용예를 설명하 기 위한 모식도이고, 도 89는 응용예를 적용한 경우의 3차원 공간의 변화의 모양을 도시하는 도면이고, 도 90은 응용예를 실현하기 위한 장치에 있어서의 처리순서를 나타내는 순서도이다. 또한, 도 89는, 상단, 중단, 하단에 3가지의 상태를 나타내고 있고, 각 상태는, 도면 중에 나타낸 조작을 하는 것으로 다른 상태로 변화한다. 또한, 각 상태는, 상기 관찰자로부터 상기 3차원 공간을 보았을 때의 정면도와 우측도면으로 도시되어 있다.
상기 관찰자로부터 보아 상기 포인터의 깊이 위치보다도 전방이고, 또한, 상기 포인터와 중첩되는 오브젝트만을 투명화하는 경우를 설명함에 있어서, 우선, 상기 3차원 데스크탑의 표시상태가, 도 89의 상단에 도시된 바와 같이, 상기 관찰자로부터 보아, 상기 포인터(401)가, 상기 윈도우(403)의 깊이 위치보다도 전방에 있지만, 상기 윈도우(403)와는 중첩되지 않은 상태로 되어 있는 것으로 한다. 이 상태에서, 예를 들면, 상기 포인터(401)를, 상기 관찰자로부터 보아 후방의 방향으로 이동시켜, 도 89의 중단에 도시된 바와 같이, 상기 윈도우(403)의 깊이 위치가 상기 포인터(401)의 깊이 위치보다도 전방으로 되었다고 한다. 이 때, 본 실시예 4-1의 3차원 표시제어방법에서는, 도 86의 중단에 도시된 바와 같이, 상기 관찰자로부터 보아 상기 포인터(401)와 상기 윈도우(403)가 중첩되어 있는지의 여부에 관계없이, 상기 윈도우(403)가 투명화된다.
그렇지만, 도 89의 중단에 도시된 바와 같은 표시상태의 경우, 상기 윈도우(403)를 투명화하지 않더라도, 상기 관찰자는 상기 포인터(401)의 위치를 인식할 수 있기 때문에, 상기 윈도우(403)를 투명화할 필요는 없다.
단, 도 89의 중단에 도시된 바와 같은 표시상태일 때, 예를 들면, 상기 포인터(401)를 상기 윈도우(403)의 뒤에 대응하는 위치로 이동시키면, 상기 윈도우(403)는 통상이 불투명한 표시이기 때문에, 그대로로서는, 도 87에 도시된 바와 같이, 상기 포인터(401)가 상기 윈도우(403)의 뒤에 숨은 상태로 되고, 상기 포인터(401)의 위치를 인식할 수 없게 된다.
그래서, 도 89의 하단에 도시된 바와 같이, 상기 포인터(401)를 이동시켰을 때, 상기 포인터(401)의 깊이 위치보다도 전방에 있고, 또한, 상기 관찰자로부터 보아 상기 포인터(401)와 중첩되는 윈도우(403)가 있는 경우는, 그 윈도우(403)를 투명화시킨다. 이렇게 함으로써, 본 실시예 4-1의 3차원 표시제어방법과 마찬가지로, 어떤 오브젝트의 뒤에 대응하는 위치로 이동한 포인터를 용이하게 인식할 수 있다. 또한, 상기 어떤 오브젝트의 뒤에 별개의 오브젝트가 숨어 있는지의 여부, 또는 상기 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 위치의 인식 등을 용이하게 할 수 있다.
이러한 3차원 표시제어방법을, 도 80에 도시한 상기 시스템 제어장치(1) 등에서 실현하기 위해서는, 도 88에 도시한 처리순서에 있어서의 단계 510에서, 도 90에 도시한 단계 510a에서 단계 510c의 처리를 하면 된다.
즉, 상기 오브젝트 변경수단(104)에 있어서의, 도 88에 도시한 단계 509의 판정에서, 상기 포인터(401)의 깊이 위치보다도 전방에 오브젝트가 있다고 판정된 경우, 상기 오브젝트 생성/투명화수단(105)에서 오브젝트를 투명화시키기 전에, 우선, 상기 전방에 있는 오브젝트의 표시영역을 확인한다(단계 510a).
그리고 다음에, 상기 전방에 있는 오브젝트 중에, 상기 관찰자로부터 보아 포인터(401)와 중첩되는 오브젝트가 있는지의 여부를 판정한다(단계 510b). 상기 단계 510b는, 예를 들면, 상기 관찰자로부터 보아 상기 포인터의 표시위치(xp, yp)와 중첩되는 상기 오브젝트의 깊이 위치에서의 XY 위치에, 오브젝트의 일부(일점)가 표시되어 있는지의 여부를 조사하면 된다. 그리고, 중첩되어 있는 오브젝트가 있다고 판정된 경우는, 그 오브젝트를 투명도(α)로 상기 표시장치(3)에 표시시킨다(단계 510c).
이렇게 하면, 상기 포인터(401)의 깊이 위치보다도 전방에 있어도, 상기 포인터(401)와 중첩되지 않은 오브젝트는 통상의 불투명한 표시의 상태를 유지할 수 있다.
본 실시예 4-1의 3차원 표시제어방법에서는, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트는 모두 투명화되기 때문에, 투명화할 필요가 없는 오브젝트도 투명화되는 경우가 있다. 그리고, 투명화되어 있는 오브젝트의 표시내용을 확인할 때에는, 상기 포인터(401)를 관찰자로부터 보아 전방의 방향으로 이동시키고, 투명화되어 있는 오브젝트를 불투명한 표시로 되돌리지 않으면 안 된다.
한편, 도 89에 도시된 바와 같은 3차원 표시제어방법에서는, 상기 포인터(401)가 상기 오브젝트의 뒤에 대응하는 위치로 이동하였을 때, 상기 포인터(401)를 숨기고 있는 오브젝트만을 투명화한다. 그 때문에, 상기 포인터(401)를 오브젝트와 중첩되지 않는 위치에 표시시켜 두면, 모든 오브젝트가 통상의 불투명 한 표시이고, 투명화할 필요가 있는 오브젝트만을 투명화할 수 있다. 이렇게 하면, 투명화되어 있는 오브젝트를 불투명한 표시로 되돌릴 때의 조작이 XY 평면 내에서의 2차원적인 조작으로 되고, 본 실시예 4-1의 3차원 표시제어방법과 비교하여, 조작의 편리성이 향상된다고 생각된다.
[실시예 4-2]
도 91 내지 도 93은, 본 발명에 의한 실시예 4-2의 3차원 표시방법을 설명하기 위한 모식도이고, 도 91은 본 실시예 4-2의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모양을 도시하는 도면이고, 도 92는 투명도의 결정방법의 일 예를 도시하는 도면이고, 도 93은 본 실시예 4-2의 3차원 표시방법을 실현하기 위한 장치에 있어서의 처리순서를 나타내는 순서도이다. 또한, 도 91은, 상단, 중단, 하단에 3가지의 상태를 나타내고 있고, 각 상태는, 도면 중에 나타낸 조작을 하는 것으로 다른 상태로 변화한다. 또한, 각 상태는, 상기 관찰자로부터 상기 3차원 공간을 보았을 때의 정면도와 우측도면으로 나타내고 있다.
본 실시예 4-2에서는, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화할 때, 상기 포인터로부터의 거리에 따라서 투명도를 바꾸고, 상기 포인터(401)의 깊이 위치나, 상기 포인터(401)의 깊이 위치보다도 전방이지만 깊이 위치가 가까운 오브젝트의 인식도를 높게 하는 표시제어방법에 관해서 설명한다.
또한, 본 실시예 4-2에서는, 설명을 간단하게 하기 위해서, 예를 들면, 도 91의 상단에 도시된 바와 같이 상기 3차원 데스크탑 공간에 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트가 표시되어 있는 경우를 예로 들어 설명한다. 이 때, 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트의 위치관계는, 최초, 도 91의 상단에 도시된 바와 같은 위치관계이고, 상기 포인터(401)는, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 전방에 표시되어 있는 것으로 한다. 또한 이 때, 상기 폴더아이콘(402b)은, 상기 관찰자로부터 보아 상기 윈도우(403)의 뒤에 대응하는 위치에 배치되어 있고, 상기 관찰자로부터는 보이지 않는 것으로 한다.
이 때, 상기 조작자가, 상기 마우스의 휠을, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키도록 회전시키고, 상기 포인터(401)의 깊이 위치가, 도 91의 중단에 도시된 바와 같이, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 후방으로 된 경우, 상기 윈도우(403)는 투명화된다. 단, 본 실시예 4-2의 표시제어방법에서는, 도 91의 중단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치와 상기 윈도우(403)의 깊이 위치의 거리(차)가 작을 때에는, 상기 윈도우(403)를 완전하게 투명으로 하는 것은 아니고, 상기 윈도우(403)의 뒤의 상태를 인식할 수 있는 정도의 투명도로 상기 윈도우(403)를 표시시킨다.
그리고, 상기 조작자가, 이 상태로부터 더욱, 상기 마우스의 휠을, 상기 포인터(401)를 +z(z> 0)방향으로 이동시키도록 회전시키고, 도 91의 하단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치와 상기 윈도우(403)의 깊이 위치의 거리(차)가 커지면, 서서히 상기 윈도우(403)의 투명도가 높아지고, 최종적으로는 상기 윈도우가 완전하게 투명화된다. 이 때, 상기 포인터(401)의 이동에 맞추어, 예를 들면, 도 91의 하단에 도시된 바와 같이, 상기 폴더아이콘(402a)도 투명화하지 만, 이 때, 상기 포인터(401)의 깊이 위치와 상기 폴더아이콘(402a)의 깊이 위치의 거리는, 상기 포인터(401)의 깊이 위치와 상기 윈도우(403)의 깊이 위치의 거리와 비교하여 작기 때문에, 상기 폴더아이콘(402a)은, 상기 윈도우(403)의 투명도보다도 작은 투명도로 표시된다.
이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)가 윈도우(403)의 뒤에 대응하는 위치로 이동하였을 때도, 상기 포인터(401)의 위치를 용이하게 인식할 수 있다. 또한, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키는 것만으로, 상기 윈도우(403)의 뒤에 별개의 오브젝트가 숨어 있는지의 여부나, 숨어 있는 폴더아이콘(402b)의 위치를 인식할 수 있다. 또한, 상기 투명화되어 있는 오브젝트의 투명도로부터, 상기 포인터(401)의 깊이 위치나, 상기 포인터(401)의 깊이 위치보다도 전방에 있지만 깊이 위치가 가까운 오브젝트를 용이하게 인식할 수 있다.
또한, 도 91의 하단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치보다도 전방의 윈도우(403) 및 폴더아이콘(402a)이 투명화되어 있는 상태에서, 예를 들면, 상기 마우스의 휠을 역방향으로 회전시키면, 상기 포인터(401)가 상기 폴더아이콘(402a)의 깊이 위치에 도달한 시점에서, 도 91의 중단에 도시된 바와 같이, 상기 폴더아이콘(402a)의 표시가 원래의 불투명한 표시로 바뀐다. 이 때, 상기 포인터(401)와 상기 윈도우(403)의 깊이 방향의 거리도 작아지기 때문에, 상기 윈도우(403)의 투명도도 작아진다. 그리고, 상기 포인터(401)를 상기 전방의 표시면(301A)측으로 더욱 이동시키고, 상기 포인터(401)가 상기 윈도우(403)의 깊이 위치에 도달하면, 도 91의 상단에 도시된 바와 같이 상기 윈도우(403)의 표시가 원래 의 불투명한 표시로 되돌아간다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)를 -z(z＜0) 방향으로 이동시키는 것만으로, 투명화되어 있는 상기 윈도우(403)를 원래의 불투명한 표시로 되돌릴 수 있다.
또한, 상기 오브젝트의 투명도(α)에 관해서, α=0일 때 완전하게 투명, α=1일 때 완전하게 불투명으로 하면, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화할 때에는, 예를 들면, 도 92에 실선으로 나타낸 바와 같이, 상기 포인터(401)와 상기 전방에 있는 오브젝트의 깊이 방향의 거리에 비례하여 α가 1에서 0의 사이를 연속적으로 변화하고, 거리가 최대, 즉 상기 오브젝트가 DFD의 전방의 표시면(301A)에 표시되고, 상기 포인터(401)가 후방의 표시면(301B)에 표시되어 있는 상태일 때에 완전하게 투명(α=0)이 되도록 하면 좋다. 또한, 도 92에 파선으로 도시된 바와 같이, 상기 최대의 거리보다도 작은 거리 Z에서 α=0이 되도록 하여도 좋다. 또한, 도시는 생략하지만, 상기 투명도(α)는, 예를 들면, 거리의 2승에 반비례하여 작아지도록 하여도 좋다.
이러한 3차원 표시제어방법을, 도 80에 도시한 시스템 제어장치(1) 등에서 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 88에 도시한 단계 501에서 단계 510의 처리를 실행하면 된다. 단, 본 실시예 4-2의 3차원 표시제어방법의 경우, 도 88에 도시한 처리순서에 있어서의 단계 510에서는, 도 93에 도시한 단계 510d에서 단계 510h의 처리를 한다.
즉, 본 실시예 4-2의 3차원 표시제어방법을 실현하기 위해서는, 상기 오브젝트 변경 판정수단(104)에 있어서의, 도 88에 도시한 단계 509의 판정에서, 상기 포 인터(401)의 깊이 위치보다도 전방에 오브젝트가 있다고 판정된 경우, 상기 오브젝트 생성/투명화수단(105)에서 오브젝트를 투명화시키기 전에, 우선, 상기 투명화하는 오브젝트를 1개 선택한다(단계 510d).
다음에, 상기 선택한 오브젝트와 상기 포인터(401)의 깊이 방향의 거리를 산출한다(단계 510e). 그리고, 상기 산출한 깊이 방향의 거리에 기초하여 상기 선택한 오브젝트의 투명도(α)를 산출한다(단계 510f).
상기 단계 510f에서 상기 선택한 오브젝트의 투명도(α)를 산출하면, 상기 오브젝트 생성/투명화수단(105)에서 산출한 투명도의 오브젝트를 생성시키고, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 510g).
이렇게 하여, 선택한 오브젝트를 거리에 따른 투명도(α)로 표시시키면, 그 외에 투명화하는 오브젝트 또는 투명도를 바꾸는 오브젝트가 있는지의 여부를 판정(단계 510h)하고, 어떤 경우는 단계 510d로 되돌아가서 단계 510d로부터 단계 510g의 처리를 반복한다.
상기 시스템 제어장치(1)에 있어서, 이러한 처리를 실행함으로써, 도 91에 도시된 바와 같은 포인터(401) 및 오브젝트(402a, 402b, 403)의 표시의 제어가 가능해진다
이상 설명한 바와 같이, 본 실시예 4-2의 3차원 표시제어방법에 의하면, 상기 포인터의 깊이 위치보다도 전방에 배치(표시)된 오브젝트를 투명화하는 것으로, 상기 포인터(401)가, 어떤 오브젝트의 뒤에 대응하는 위치로 이동하였을 때에도, 상기 포인터(401)의 위치를 놓치는 일이 없고, 용이하게 인식할 수 있다.
또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시킴으로써, 상기 오브젝트를 투명화시킬 수 있기 때문에, 어떤 오브젝트의 뒤에 별개의 오브젝트가 숨어 있는지의 여부, 또는 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 위치의 인식 등을 하기 위한 조작이 종래와 비교하여 용이하다. 또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 전방으로 향하는 방향으로 이동시킴으로써, 투명화되어 있는 오브젝트를 원래의 불투명한 표시로 되돌릴 수 있기 때문에, 투명화되어 있는 오브젝트의 표시내용을 인식하기 위한 조작이 종래와 비교하여 용이하다. 즉, 본 실시예의 3차원 표시제어방법을 적용하는 것으로, 상기 관찰자(조작자)의 편리성이 향상된다.
또한, 본 실시예 4-2와 같이, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화할 때, 상기 포인터(401)와 상기 전방에 있는 오브젝트의 깊이 방향의 거리의 크기에 따라서, 상기 전방에 있는 오브젝트의 투명도를 바꾸는 것으로, 상기 포인터(401)의 깊이 위치, 또는 상기 포인터(401)의 깊이 위치와 가까운 깊이 위치에 있는 오브젝트의 인식이 용이해진다.
[실시예 4-3]
도 94 및 도 95a, 도 95b는, 본 발명에 의한 실시예 4-3의 3차원 표시제어방법을 설명하기 위한 모식도로서, 도 94는 본 실시예 4-3의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모양을 도시하는 도면이고, 도 95a 및 도 95b는 투명도의 결정방법의 일예를 도시하는 도면이다. 또한, 도 94는, 상단, 중단, 하단에 3가지의 상태를 도시하고, 각 상태는, 도면 중에 도시한 조작을 하는 것으로 다른 상태로 변화한다. 또한, 각 상태는, 상기 관찰자로부터 상기 3차원 공간을 보았을 때의 정면도와 우측도면으로 도시하고 있다.
본 실시예 4-3에서는, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화할 때, 상기 관찰자로부터 보아 상기 포인터(401)의 포인팅 위치(xp, yp, zp)를 중심으로 한 어떤 범위의 안쪽만을 투명화하여, 오브젝트가 투명화, 불투명화에 의한 시각적인 번거로움을 저감하는 표시제어방법에 관해서 설명한다.
또한, 본 실시예 4-3에서는, 설명을 간단하게 하기 위해서, 예를 들면, 도 94의 상단에 도시된 바와 같이 상기 3차원 데스크탑 공간에 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트가 표시되어 있는 경우를 예로 들어 설명한다. 이 때, 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트의 위치관계는, 최초, 도 94의 상단에 도시된 바와 같은 위치관계이고, 상기 포인터(401)는, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 전방에 표시되어 있는 것으로 한다. 또한 이 때, 상기 폴더아이콘(402b)은, 상기 관찰자로부터 보아 상기 윈도우(403)의 뒤에 대응하는 위치에 배치되어 있고, 상기 관찰자로부터는 보이지 않는 것으로 한다.
이 때, 상기 조작자가, 상기 마우스의 휠을, 상기 포인터(401)를 +z(z>O) 방향으로 이동시키도록 회전시키면, 도 94의 중단에 도시된 바와 같이, 상기 포인터(401)가 상기 윈도우(403)에 가까이 간다. 그리고, 상기 윈도우(403)의 깊이 위 치로부터 미리 정해진 범위의 깊이 위치에 상기 포인터(401)가 도달하면, 상기 윈도우(403)가 포인팅된 상태로 되고, 예를 들면, 도 94의 중단에 도시된 바와 같이, 상기 윈도우(403)의 색을 바꾸는 등, 포인팅되어 있는 것을 도시하는 바와 같은 표시로 바꾼다.
그리고, 상기 조작자가, 이 상태로부터 더욱, 상기 마우스의 휠을, 상기 포인터(401)를 -z(z>0) 방향으로 이동시키도록 회전시키면, 도 94의 하단에 도시된 바와 같이, 상기 포인터(401)가 상기 윈도우(403)를 빠져나가, 상기 후방의 표시면(301B)으로 향하여 이동을 계속한다. 이 때, 상기 윈도우(403)를 빠져나간 포인터(401)가, 상기 윈도우(403)의 깊이 위치로부터 미리 정해진 범위의 깊이 위치보다도 떨어지면, 상기 윈도우는 포인팅된 상태로부터 원래의 포인팅되어 있지 않은 상태로 되돌아가고, 예를 들면, 윈도우의 색이 원래의 색으로 되돌아간다.
단, 상기 포인터(401)가 상기 윈도우(403)를 빠져나가는 동시에, 상기 포인터(401)가 빠져나간 윈도우(403)는, 상기 관찰자로부터 보아, 상기 포인터(401)의 깊이 위치보다도 전방에 표시된다. 그래서, 상기 시스템 제어장치(1)는, 도 94의 하단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치보다도 전방에 표시된 윈도우(403)를 투명화하여 표시시킨다. 또한 이 때, 상기 윈도우(403)는, 상기 실시예 4-1에서 설명한 바와 같이 상기 윈도우(403) 전체를 투명화하는 것은 아니며, 예를 들면, 도 94의 하단에 도시된 바와 같이, 상기 포인터(401)의 포인팅 위치(예를 들면 화살표의 선단)와 중첩되는 위치를 중심으로 한 반경(a)의 원 내만을 투명화한다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)가 윈도우(403)의 뒤 에 대응하는 위치로 이동하였을 때도, 상기 포인터(401)의 위치를 용이하게 인식할 수 있다. 또한, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키는 것만으로, 상기 윈도우(403)의 뒤에 별개의 오브젝트가 숨어 있는지의 여부나, 숨어 있는 폴더 아이콘(402b)의 위치를 인식할 수 있다. 또한, 도 94의 하단에 도시된 바와 같이, 상기 윈도우(403) 중 투명화, 불투명화되는 것은, 상기 포인터(401)와 중첩되는 영역의 근방뿐이다. 그 때문에, 예를 들면, 상기 포인터(401)를 깊이 방향으로 격심하게 이동시켰을 때 등에, 상기 윈도우(403)의 일부만이 투명화, 불투명화되어, 시각적인 번거로움을 저감시킬 수 있다.
또한, 상기 관찰자로부터 보아 상기 포인터(401)의 포인팅 위치(xp, yp, zp)와 중첩되는 점을 중심으로 한 반경(a)의 원 내만을 투명화하는 경우, 예를 들면, 반경(a)의 원 내는 투명도(α=0; 완전하게 투명)로 하여, 반경(a)의 원의 외측은 투명도(α=1; 완전하게 불투명)와 같이 델타 함수적으로 투명도를 변화시켜도 좋고, 예를 들면, 도 95a에 도시된 바와 같이, 반경(a)의 원 내는 투명도(α=0; 완전하게 투명)으로 하여, 반경(a)의 원의 외측은 거리에 비례하고 서서히 투명도(α=1; 완전하게 불투명)로 되도록 변화시켜도 좋다. 또한, 그 밖에도, 예를 들면, 도 95b에 도시된 바와 같이, 상기 관찰자로부터 보아 상기 포인터(401)의 포인팅 위치(xp, yp, zp)와 중첩되는 점(중심)을 투명도(α=0; 완전하게 투명)로 하고, 중심에서의 거리의 2승에 비례하여 투명도가 투명도(α=1; 완전하게 불투명)로 되도록 변화시켜도 좋다. 또한, 도시는 생략하지만, 상기 중심에서의 거리에 따라서 단계 함수적으로 투명도(α)가 0에서 1이 되도록 변화시켜도 좋다.
또한, 상기 반경(a)이, 상기 포인터(401)와 오브젝트의 깊이 방향의 거리의 크기에 비례하여 커지도록 하여도 좋다. 이렇게 하면, 상기 오브젝트상에서 투명화되어 있는 영역의 크기에 따라서, 상기 포인터(401)와 오브젝트의 깊이 방향의 거리를 용이하게 추측할 수 있다.
또한, 상기 오브젝트상에서 투명화하는 영역은, 도 94의 하단에 도시된 바와 같은 반경(a)의 원 영역에 한정되지 않고, 타원(타원)영역, 또는 다각형영역 등, 미리 정해진 임의의 형상이라도 좋다.
이러한 3차원 표시제어방법을, 도 80에 도시한 상기 시스템 제어장치(1) 등에서 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 88에 도시한 단계 501에서 단계 510의 처리를 실행하면 된다. 단, 본 실시예 4-3의 3차원 표시제어방법의 경우, 도 88에 도시한 처리순서에 있어서의 단계 510에서는, 도 89에 나타낸 단계 510a로부터 510c와 같은 처리를 한다. 또한, 도 89에 도시된 바와 같이 처리순서에 있어서의 단계 510c에서는, 상기 포인터(401)의 깊이 위치보다도 전방에 있고, 또한, 상기 포인터(401)와 중첩되는 오브젝트전체를 투명화하는 대신에, 상술한 바와 같이, 상기 포인터(401)가 지시하고 있는 XY 위치(xp, yp)와 중첩되는 점을 중심으로 한 원 영역, 또는 타원영역, 또는 다각형영역 등, 상기 미리 정해진 형상의 영역만을 투명화한다.
이상 설명한 바와 같이, 본 실시예 4-3의 3차원 표시제어방법에 의하면, 상 기 포인터의 깊이 위치보다도 전방에 배치(표시)된 오브젝트를 투명화하는 것으로, 상기 포인터(401)가, 어떤 오브젝트의 뒤에 대응하는 위치로 이동하였을 때에도, 상기 포인터(401)의 위치를 놓치는 일이 없고, 용이하게 인식할 수 있다.
또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시키는 것으로, 상기 오브젝트를 투명화시킬 수 있기 때문에, 어떤 오브젝트의 뒤에 별개의 오브젝트가 숨어 있는지의 여부, 또는 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 위치의 인식 등을 하기 위한 조작이 종래와 비교하여 용이하다. 또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 전방으로 향하는 방향으로 이동시키는 것으로, 투명화되어 있는 오브젝트를 원래의 불투명한 표시로 되돌릴 수 있기 때문에, 투명화되어 있는 오브젝트의 표시내용을 인식하기 위한 조작이 종래와 비교하여 용이하다. 즉, 본 실시예의 3차원 표시제어방법을 적용함으로써, 상기 관찰자(조작자)의 편리성이 향상된다.
또한, 본 실시예 4-3과 같이, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화할 때, 상기 포인터(401)가 지시하고 있는 위치와 중첩되는 점을 중심으로 하여 부분적으로 오브젝트를 투명화시키기 때문에, 예를 들면, 오브젝트가 투명화, 불투명화가 연속적인 변화에 의한 시각적인 번거로움을 저감시킬 수 있다.
[실시예 4-4]
도 96 및 도 97은, 실시예 4-4의 3차원 표시제어방법을 설명하기 위한 모식도로서, 도 96은 본 실시예 4-4의 표시제어방법을 적용한 경우의 3차원 공간의 변 화의 모양을 도시하는 도면이고, 도 97은 본 실시예 4-4의 3차원 표시방법을 실현하기 위한 장치에 있어서의 처리순서를 나타내는 순서도이다. 또한, 도 96은, 상단, 중단, 하단에 3가지의 상태를 나타내고, 각 상태는, 도면 중에 나타낸 조작을 함으로써 아래 단계의 상태로 변화한다. 또한, 각 상태는, 상기 관찰자로부터 상기 3차원 공간을 보았을 때의 정면도와 우측도면으로 나타내고 있다.
본 실시예 4-4에서는, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화한 후, 포인터가 일정 시간 정지하고 있는 경우는, 투명화된 오브젝트를 원래의 불투명한 상태로 되돌리고, 투명화된 오브젝트의 표시내용을 용이하게 인식할 수 있도록 하는 표시제어방법에 관해서 설명한다.
또한, 본 실시예 4-4에서는, 설명을 간단하게 하기 위해서, 예를 들면, 도 96의 상단에 도시된 바와 같이 상기 3차원 데스크탑 공간에 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트가 표시되어 있는 경우를 예로 들어 설명한다. 이 때, 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트의 위치관계는, 최초, 도 96의 상단에 도시된 바와 같은 위치관계이고, 상기 포인터(401)는, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 전방에 표시되어 있는 것으로 한다. 또한 이 때, 상기 폴더아이콘(402b)은, 상기 관찰자로부터 보아 상기 윈도우(403)의 뒤에 대응하는 위치에 배치되어 있고, 상기 관찰자로부터는 보이지 않는 것으로 한다.
이 때, 상기 조작자가, 상기 마우스의 휠을, 상기 포인터(401)를 +z(z> 0)방향으로 이동시키도록 회전시키고, 상기 포인터(401)의 깊이 위치가, 도 96의 중단 에 도시된 바와 같이, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 후방으로 된 경우, 상기 윈도우(403)는 투명화된다. 이 결과, 상기 관찰자(조작자)는, 상기 포인터(401)가 윈도우(403)의 뒤에 대응하는 위치로 이동하였을 때도, 상기 포인터(401)의 위치를 용이하게 인식할 수 있다. 또한, 상기 포인터(401)를 +z(z>0) 방향으로 이동시키는 것만으로, 상기 윈도우(403)의 뒤에 별개의 오브젝트가 숨어 있는지의 여부나, 숨어 있은 폴더아이콘(402b)의 위치를 인식할 수 있다.
그리고, 상기 조작자가, 이 상태에 있어서 마우스의 조작을 중단하고, 상기 마우스 본체 및 휠을 움직이지 않은 상태가, 예를 들면, 1초간 계속되었다고 하면, 도 96의 하단에 도시된 바와 같이 투명화되어 있던 상기 윈도우(403)가, 원래의 불투명한 상태의 표시로 되돌아간다. 이 결과, 상기 관찰자(조작자)는, 예를 들면, 상기 실시예 4-1 내지 실시예 4-3에서 설명한 바와 같이, 상기 포인터(401)를 상기 윈도우(403)의 깊이 위치보다도 전방으로 이동시키는 조작을 하지 않아도, 상기 윈도우(403)의 표시내용을 인식할 수 있게 된다.
또한, 도 96의 하단에 도시된 바와 같은 상태에서, 상기 마우스의 조작을 재개하면, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 윈도우(403)는 다시 투명화되고, 도 96의 중단에 도시된 바와 같이, 상기 윈도우(403)의 뒤에 숨어 있던 포인터(401) 및 폴더아이콘(402b)을 인식할 수 있게 된다.
이러한 본 실시예 4-4의 3차원 표시제어방법을, 도 80에 도시한 상기 시스템 제어장치(1) 등에서 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 97 에 도시한 단계 501에서 단계 513의 처리를 실행하면 된다.
또한, 도 97에 도시한 처리순서에 있어서의 단계 501로부터 단계 510은, 도 88에 도시한 처리순서의 단계 501로부터 단계 510의 처리와 같은 처리라도 좋으므로, 상세한 설명은 생략한다. 또한, 상기 오브젝트를 투명화할 때, 상기 실시예 4-2나 실시예 4-3에서 설명한 바와 같은 방법으로 투명화하는 경우는, 상기 단계 510에 있어서, 예를 들면, 도 93에 도시한 단계 510d에서 단계 510h의 처리, 또는 도 90에 도시한 510a에서 단계 510c와 같은 처리를 하면 좋으므로, 이 설명도 생략한다.
도 80에 도시된 바와 같은 구성의 상기 시스템 제어장치(1)에 있어서, 본 실시예 4-4의 3차원 표시방법을 실현하기 위해서는, 도 97에 도시한 단계 510의 처리, 즉, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트를 투명화하여 표시시키는 처리가 끝난 후, 상기 포인터의 조작에 관한 정보(포인터 조작정보)의 취득이 계속되고 있는지 확인한다(단계 511). 그리고, 상기 포인터 조작정보의 취득이 계속하고 있는 경우는, 도 97에 도시된 바와 같이, 상기 단계 505로부터 단계 510의 처리를 반복하고, 포인터의 표시위치의 이동, 포인팅되어 있는 오브젝트의 표시의 변경, 포인터의 깊이 위치보다도 전방에 있는 오브젝트의 투명화를 계속한다.
한편, 상기 단계 511에 있어서, 상기 포인터 조작정보의 취득이 중단되어 있다고 판정한 경우는, 상기 포인터 조작정보의 취득을 중단하고 나서 일정한 시간이 경과하였는지 확인한다(단계 512). 이 때, 일정한 시간이 경과하고 있지 않으면, 단계 511로 되돌아가서, 재차 확인을 한다.
그리고, 상기 단계 511 및 단계 512에서, 상기 포인터 조작정보의 취득이 중단되고, 또한, 중단되고 나서 일정한 시간이 경과하였다고 판정한 경우, 상기 오브젝트 생성/투명화수단(105)은, 현재 투명화되어 있는 오브젝트를, 원래의 불투명한 상태로 되돌리고, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 513).
상기 시스템 제어장치(1)에 있어서, 이러한 처리를 실행함으로써, 도 96에 도시된 바와 같은 포인터(401) 및 오브젝트(402a, 402b, 403)의 표시의 제어가 가능해진다
이상 설명한 바와 같이, 본 실시예 4-4의 3차원 표시제어방법에 의하면, 상기 포인터의 깊이 위치보다도 전방에 배치(표시)된 오브젝트를 투명화하는 것으로, 상기 포인터(401)가, 어떤 오브젝트의 뒤에 대응하는 위치로 이동하였을 때에도, 상기 포인터(401)의 위치를 놓치는 일이 없고, 용이하게 인식할 수 있다.
또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시킴으로써, 상기 오브젝트를 투명화시킬 수 있기 때문에, 어떤 오브젝트의 뒤에 별개의 오브젝트가 숨어 있는지의 여부, 또는 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 위치의 인식 등을 하기 위한 조작이 종래와 비교하여 용이하다. 또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 전방으로 향하는 방향으로 이동시킴으로써, 투명화되어 있는 오브젝트를 원래의 불투명한 표시로 되돌릴 수 있기 때문에, 투명화되어 있는 오브젝트의 표시내용을 인식하기 위한 조작이 종 래와 비교하여 용이하다. 즉, 본 실시예의 3차원 표시제어방법을 적용함으로써, 상기 관찰자(조작자)의 편리성이 향상한다.
또한, 본 실시예 4-4와 같이, 상기 포인터 조작정보의 취득이 중단되고나서 일정시간이 경과한 경우, 투명화되어 있는 오브젝트를 원래의 불투명한 상태로 되돌려서 표시시킴으로써, 예를 들면, 실시예 4-1 내지 실시예 4-3에서 설명한 바와 같은, 포인터(401)를 관찰자로부터 보아 전방의 방향으로 이동시키는 조작을 하지 않더라도, 상기 포인터(401)보다 전방에 표시되어 있는 오브젝트의 표시내용을 인식할 수 있다.
또한, 상기 투명화되어 있는 오브젝트의 깊이 위치보다도 후방에 상기 포인터(401)가 표시되어 있는 상태대로 투명화되어 있는 오브젝트를 불투명화하고, 더욱이, 상기 포인터 조작정보의 취득이 재개한 시점에서 상기 불투명화된 오브젝트를 재차 투명화하기 때문에, 상기 투명화되어 있는 오브젝트의 표시내용을 확인하기 위해서 포인터를 깊이 방향으로 이동시키는 조작을 생략할 수 있고, 상기 관찰자(조작자)의 편리성이 더욱 향상된다.
[실시예 4-5]
도 98 내지 도 100은, 실시예 4-5의 3차원 표시제어방법을 설명하기 위한 모식도로서, 도 98은 오브젝트의 선택방법을 도시하는 도면이고, 도 99는 본 실시예 4-5의 표시제어방법을 적용한 경우의 3차원 공간의 변화의 모양을 도시하는 도면이고, 도 100은 본 실시예 4-5의 3차원 표시방법을 실현하기 위한 장치에 있어서의 처리순서를 나타내는 순서도이다. 또한, 도 98 및 도 99는, 상단, 중단, 하단에 3 가지의 상태를 나타내고, 각 상태는, 도면 중에 도시한 조작을 함으로써 아래 단계의 상태로 변화한다. 또한, 각 상태는, 상기 관찰자로부터 상기 3차원 공간을 보았을 때의 정면도와 우측도면으로 나타내고 있다.
본 실시예 4-5에서는, 상기 3차원 공간 내에 표시된 오브젝트를 선택하고 있는 상태로 상기 포인터를 이동시킬 때, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중, 상기 선택하고 있는 오브젝트는 투명화하지 않고, 선택되어 있는 것을 인식할 수 있도록 하는 표시제어방법에 관해서 설명한다.
상기 표시장치(3)상의 3차원 공간 내에서 포인터(401)를 조작할 때에는, 상기 실시예 4-1 내지 실시예 4-4에서 설명한 바와 같이, 상기 포인터(401)를 3차원 공간 내에서 이동시켜 오브젝트를 포인팅하는 조작 외에, 예를 들면, 1개 이상의 오브젝트를 선택하여, 상기 선택한 오브젝트를 상기 3차원 공간 내에서 이동시키는 조작을 할 수 있게 된다.
그래서, 본 실시예 4-5에서는, 우선, 예를 들면, 도 98의 상단에 도시된 바와 같이 상기 3차원 데스크탑 공간에 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트가 표시되어 있는 경우를 예로 들어 상기 오브젝트를 3차원 공간 내에서 이동시키는 동작에 관해서 설명한다. 이 때, 포인터(401)와, 폴더아이콘(402a, 402b) 및 윈도우(403)의 3개의 오브젝트의 위치관계는, 최초, 도 98의 상단에 도시된 바와 같은 위치관계이고, 상기 포인터(401)는, 상기 관찰자로부터 보아 상기 윈도우(403)의 깊이 위치보다도 후방에 표시되어 있는 것으로 한다. 즉, 상기 윈도우(403)는, 상기 포인터(401)의 깊이 위치보다도 전방에 있기 때문에, 투명화되어 있는 것으로 한다.
이 때, 상기 조작자가, 예를 들면, 상기 마우스의 좌측 버튼을 누르면서, 상기 마우스 본체 및 휠을 조작하면, 도 98의 중단에 도시된 바와 같이, 폴더아이콘(402a, 402b)을 선택할 수 있다. 또한 이 때, 상기 폴더아이콘(402a, 402b)은, 통상의 표시로부터, 선택되어 있는 것을 나타내는 표시로 바뀐다. 그리고, 마우스의 좌측 버튼을 누르는 것을 그만두고, 예를 들면, 상기 포인터(401)로 상기 폴더아이콘(402a)을 포인팅한 후, 다시 상기 마우스의 좌측 버튼을 누르면서 휠을 회전시키면, 도 98의 하단에 도시된 바와 같이 상기 선택한 폴더아이콘(402a, 402b)을, 상대적인 위치관계를 유지하면서 상기 관찰자로부터 보아 전방의 방향으로 이동시킬 수 있다.
그리고, 상기 조작자가, 예를 들면, 도 98의 하단 또는 도 99의 상단에 도시된 바와 같이 상기 폴더아이콘(402a, 402b)을 이동시킨 후, 상기 선택한 상태대로, 도 99의 중단에 도시된 바와 같이, 상기 포인터(401)를 상기 폴더아이콘(402b)의 방향으로 이동시켰다고 한다. 이 때, 도 99의 중단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치가, 상기 폴더아이콘(402b)보다도 후방에 있다고 하면, 상기 실시예 4-1 내지 실시예 4-4의 표시제어방법에서는, 상기 폴더아이콘(402b)은 투명화되어 버린다. 그렇지만, 상기 폴더아이콘(402b)이 투명화되어 버리면, 상기 관찰자는, 상기 폴더아이콘(402b)이 선택된 상태인 것을 인식할 수 없게 된다. 또한, 도 99의 중단에 도시된 바와 같이, 2개의 선택된 폴더아이콘(402a, 402b)의 각 깊이 위치의 사이에 상기 포인터(401)가 있으면, 상기 폴더아이콘(402b)이 투명화 되고, 상기 폴더아이콘(402a)이 불투명한 상태에서 표시되어 있기 때문에, 상기 폴더아이콘(402a)만이 선택되어 있거나, 별개의 오브젝트도 함께 선택되어 있는 것인지 인식할 수 없다.
그래서, 본 실시예 4-5에서는, 도 99의 중단에 도시된 바와 같이, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 오브젝트(폴더아이콘(402b))라도, 선택된 상태이면, 투명화되지 않고, 불투명한 상태로 표시한다. 이 결과, 상기 관찰자는, 폴더아이콘(402a, 402b)이 선택되어 있는 상태인 것을 용이하게 인식할 수 있다.
그리고, 상기 조작자가, 예를 들면, 오브젝트를 포인팅하고 있지 않는 상태에서 마우스의 좌측 버튼을 누르는 등의 조작을 하여, 선택을 해제하면, 도 99의 하단에 도시된 바와 같이, 상기 폴더아이콘(402a, 402b)은, 선택되어 있는 것을 나타내는 표시로부터 통상의 표시로 되돌아간다. 그리고, 상기 포인터(401)의 깊이 위치보다도 전방에 있는 폴더아이콘(402b)은 통상의 표시로 되돌아가는 동시에, 투명화된다.
이러한 본 실시예 4-5의 3차원 표시제어방법을, 도 80에 도시한 상기 시스템 제어장치(1) 등에서 실현하기 위해서는, 상기 시스템 제어장치(1)에 있어서, 도 100에 도시한 단계 501로부터 단계 506, 단계 514로부터 단계 517의 처리를 실행하면 된다.
또한, 도 100에 도시한 처리순서에 있어서의 단계 501로부터 단계 506은, 도 88에 도시한 처리순서의 단계 501로부터 단계 506의 처리와 동일한 처리로 좋으므로, 상세한 설명은 생략한다.
도 80에 도시한 구성의 상기 시스템 제어장치(1)에 있어서, 본 실시예 4-5의 3차원 표시방법을 실현하기 위해서는, 도 100에 도시한 단계 506의 처리, 즉, 상기 포인터(401)를 새로운 표시위치에 표시시키는 처리가 끝난 후, 상기 포인터에 산출수단(102)은, 상기 오브젝트 변경 판정수단(104)에 상기 포인터(401)의 깊이 위치보다도 전방에 투명화 후보의 오브젝트가 있는지의 여부를 판정시킨다(단계 514). 이 때, 투명화 후보의 오브젝트가 없으면, 단계 502로 되돌아가고, 다음의 입력정보를 취득할 때까지 대기한다.
한편, 투명화 후보의 오브젝트가 있는 경우, 상기 오브젝트 변경 판정수단(104)은, 다음에, 상기 투명화 후보의 오브젝트 중에, 선택되어 있는 상태의 오브젝트가 있는지의 여부를 판정한다(단계 515). 그리고, 선택되어 있는 상태의 오브젝트가 없으면, 상기 오브젝트 생성/투명화수단(105)에, 상기 투명화 후보로 되어 있는 모든 오브젝트를 투명화시키고, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 516). 이 때, 상기 단계 516에서는, 상기 실시예 4-1내지 실시예 4-3에서 설명한 바와 같은 투명화방법의 어느 하나를 선택하여 상기 오브젝트를 투명화한다.
또한, 상기 투명화 후보로 되어 있는 오브젝트 중에, 선택되어 있는 상태의 오브젝트가 있는 경우는, 상기 오브젝트 생성/투명화수단(105)에, 상기 선택되어 있는 오브젝트를 제외하고, 비선택상태의 오브젝트만을 투명화시키고, 상기 표시제어수단(106)을 통하여 상기 표시장치(3)에 표시시킨다(단계 517). 이 때, 상기 단계 517에서는, 상기 실시예 4-1 내지 실시예 4-3에서 설명한 바와 같은 투명화방법 의 어느 하나를 선택하여 상기 오브젝트를 투명화한다.
상기 시스템 제어장치(1)에 있어서, 이러한 처리를 실행함으로써, 도 100에 도시하는 바와 같은 포인터(401) 및 오브젝트(402a, 402b, 403)의 표시의 제어가 가능해진다.
또한, 도 100에 도시한 처리순서에서는, 도 88에 도시한 처리순서의 단계 507 및 단계 508을 생략하고 있지만, 이들의 처리가 조합되어도 좋다. 또한, 상기 오브젝트를 투명화할 때, 상기 실시예 4-2나 실시예 4-3에서 설명한 바와 같은 방법에서 투명화하는 경우는, 상기 단계 510에 있어서, 예를 들면, 도 93에 도시한 단계 510d로부터 단계 510h의 처리, 또는 도 90에 도시한 510a로부터 단계 51Oc와 같은 처리를 하면 된다.
이상 설명한 바와 같이, 본 실시예 4-5의 3차원 표시제어방법에 의하면, 상기 포인터의 깊이 위치보다도 전방에 배치(표시)된 오브젝트를 투명화하는 것으로, 상기 포인터(401)가, 어떤 오브젝트의 뒤에 대응하는 위치로 이동하였을 때에도, 상기 포인터(401)의 위치를 놓치는 일이 없고, 용이하게 인식할 수 있다.
또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 후방으로 향하는 방향으로 이동시킴으로써, 상기 오브젝트를 투명화시킬 수 있기 때문에, 어떤 오브젝트의 뒤에 별개의 오브젝트가 숨어 있는지의 여부, 또는 어떤 오브젝트의 뒤에 숨어 있는 별개의 오브젝트의 위치의 인식 등을 하기 위한 조작이 종래와 비교하여 용이하다. 또한, 상기 포인터(401)를, 상기 관찰자로부터 보아 전방으로 향하는 방향으로 이동시킴으로써, 투명화되어 있는 오브젝트를 원래의 불투명한 표시로 되돌릴 수 있기 때문에, 투명화되어 있는 오브젝트의 표시내용을 인식하기 위한 조작이 종래와 비교하여 용이하다. 즉, 본 실시예의 3차원 표시제어방법을 적용하는 것으로, 상기 관찰자(조작자)의 편리성이 향상된다.
또한, 상기 오브젝트를 투명화할 때, 투명화의 후보인 오브젝트, 즉, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중에, 선택되어 있는 상태의 오브젝트가 있는 경우, 상기 선택되어 있는 오브젝트는 투명화하지 않은 것으로, 상기 오브젝트가 선택된 상태인 것을 용이하게 인식할 수 있다.
또한, 상기 각 실시예에서는, 상기 입력장치(2)로서 휠 기능 첨부 마우스를 사용하여, 상기 표시장치(3)로서 DFD를 사용한 경우를 예로 들어, 상기 포인터 및 오브젝트의 표시의 제어방법을 설명하였지만, 상기 입력장치(2) 및 상기 표시장치(3)는, 기존의 다양한 장치를 사용할 수 있는 것은 물론이다. 이 때, 상기 입력장치(2)에서는, 예를 들면, 키보드나 펜 타블렛, 또는 게임패드 등의 장치를 사용할 수 있다. 또한, 상기 입력장치(2)는 1종류에 한정되지 않고, 예를 들면, 키보드와 마우스를 조합하고, 상기 키보드의 특정한 키를 누르면서 마우스를 조작하는 것으로, 상기 포인터의 3차원적인 이동 조작이나 선택조작 등을 할 수도 있다. 또한, 상기 표시장치(3)도, 상기 DFD와 같은 오브젝트의 입체표시가 가능한 3차원 디스플레이에 한정되지 않고, 기존의 CRT나 액정 디스플레이, 플라스마 디스플레이 등의 2차원 디스플레이를 사용하는 것도 가능하다. 상기 표시장치(3)로서 상기 2차원 디스플레이를 사용한 경우는, 상기 시스템 제어장치(1)의 표시제어수단(106)에 있어서, 3차원 가상공간을 설정하여 상기 3차원 공간 내에 상기 포인터나 오브 젝트를 배치한 후, 상기 3차원 공간을 상기 2차원 디스플레이의 표시면에 투영한 화상을 생성하고, 상기 2차원 디스플레이에 표시시키면 좋다.
또한, 본 발명의 3차원 표시제어방법은, 특수한 입력장치, 제어장치, 표시장치를 사용하지 않고서, 기존의 입력장치, 제어장치, 표시장치를 조합함으로써 용이하게 실현할 수 있다. 또한, 본 발명의 3차원 표시제어방법을 적용한 제어장치는, 컴퓨터와 프로그램에 의해서 실현할 수 있다. 이 때, 상기 프로그램은, 예를 들면, 상기 실시예 4-1 내지 실시예 4-5에서 설명한 바와 같은 표시제어방법을 컴퓨터에 실행시키는 명령이 기술되어 있으면 좋고, 자기적 또는 전기적, 또는 광학적의 어느 하나의 기록매체에 기록하여 제공할 수 있다. 또한, 상기 기록매체에 기록하여 제공하는 대신에, 예를 들면, 인터넷 등의 네트워크를 통하여 제공할 수도 있다.
이상, 본 발명을, 각 실시형태에 기초하여 구체적으로 설명하였지만, 본 발명은, 상기 실시예에 한정되지 않으며, 그 요지를 일탈하지 않는 범위에 있어서, 다양하게 변경 가능한 것은 물론이다.

Claims (50)

  1. 삭제
  2. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 입력 펜의 펜 끝에 걸리는 압력인 필압과, 입력 펜의 축과 상기 검출면이 이루는 각도인 입력 펜의 기울기각과, 입력 펜의 축의 상기 검출면으로의 투영과 상기 검출면상의 소정의 직선이 이루는 각인 입력 펜의 방위각에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 기울기각 및 방위각에 기초하여 상기 입력 펜의 축의 상기 3차원 공간에서의 연장선을 구하고,
    상기 3차원 공간에서의 연장선상에 3차원 포인터를 표시시키고,
    상기 입력 펜의 필압에 따라서, 상기 3차원 포인터의 상기 3차원 공간에서의 연장선 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방 법.
  3. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 상기 조작수단의 조작에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법.
  4. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작과, 상기 입력 펜의 축과 상기 검출면이 이루는 각인 입력 펜의 기울기각과, 상기 입력 펜의 축의 상기 검출면으로의 투영과 상기 검출면상의 소정의 직선이 이루는 각인 입력 펜의 방위각에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 기울기각 및 방위각에 기초하여 상기 입력 펜의 축의 상기 3차원 공간에서의 연장선을 구하고,
    상기 3차원 공간에서의 연장선상에 3차원 포인터를 표시시키고,
    상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 상기 조작수단의 조작에 따라서, 상기 3차원 포인터의, 상기 3차원 공간에서의 연장선 방향의 좌표를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법.
  5. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하며,
    상기 3차원 포인터가 포인팅하는 점의 3차원 좌표로부터 소정의 거리 이내에 오브젝트가 존재할 때, 상기 오브젝트를 포인팅하고 있다고 판정하는 것을 특징으로 하는 3차원 포인팅 방법.
  6. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하며,
    상기 3차원 포인터로 상기 3차원 공간에 표시된 오브젝트를 포인팅하고 있을 때, 상기 오브젝트를 선택 또는 잡기 위한 조작이 이루어지면,
    상기 오브젝트를 선택 또는 잡기 위한 조작 후의, 상기 3차원 포인터의 3차원 위치의 변화에 따라서, 상기 오브젝트의 3차원 위치를 변화시켜서 표시하는 것을 특징으로 하는 3차원 포인팅 방법.
  7. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하며,
    상기 3차원 공간에 표시된 오브젝트를 포인팅하고 있을 때, 상기 오브젝트에 대한 조작 또는 편집 또는 가공을 개시하기 위한 조작이 이루어지면,
    상기 포인팅된 오브젝트를 상기 표시장치의 조작자로부터 보아 가장 전방의 면에 2차원적으로 표시하고,
    상기 2차원적으로 표시된 오브젝트에 대하여, 상기 입력 펜에 의한 2차원적인 조작 또는 편집 또는 가공을 받는 것을 특징으로 하는 3차원 포인팅 방법.
  8. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초하여, 표시장치에 표현된 3차원 공간 내의 소망의 점을 포인팅하는 3차원 포인팅 방법으로서,
    상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 표시하며,
    상기 3차원 포인터가 포인팅하는 점의 2차원적인 좌표를, 상기 검출면상을 상기 입력 펜의 펜 끝으로 가리킨 위치의 2차원적인 좌표로 하고, 상기 3차원 포인터가 포인팅하는 점의 상기 2차원적인 좌표를 일정하게 하여 상기 3차원 포인터의 깊이 방향의 좌표를 변화시키는 3차원 포인팅 방법.
  9. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 상기 입력 펜의 펜 끝에 걸리는 압력인 필압에 기초한 포인터를 생성하고, 표시장치에 표현된 3차원 공간 내의 소망의 점에 상기 생성한 포인터를 표시시켜 포인팅시키는 3차원 포인팅 장치로서,
    상기 입력 펜으로부터의 2차원적인 좌표 및 상기 필압의 정보를 취득하는 입력정보 취득수단과,
    상기 입력정보 취득수단에서 취득한 정보에 기초하여, 상기 표시장치에 표현된 3차원 공간 내의 포인터를 표시시키는 위치 및 회전 각도를 산출하는 포인터 위치/회전 각도 산출수단과,
    상기 포인터 위치/회전 각도 산출수단의 산출결과에 기초한 포인터를 생성하는 포인터 생성수단과,
    상기 표시장치에 표현된 3차원 공간 내에, 상기 포인터 생성수단에서 생성한 포인터로 포인팅되어 있는 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단과,
    상기 표시장치에 표현된 3차원 공간 내에 표시하는 오브젝트를 생성하는 오브젝트 생성수단과,
    상기 포인터 생성수단에서 생성한 포인터 및 상기 오브젝트 생성수단에서 생성한 오브젝트를, 상기 표시장치에 표현된 3차원 공간 내에 표시시키는 표시제어수단을 구비하고,
    상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 필압에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜 산출하는 것을 특징으로 하는 3차원 포인팅 장치.
  10. 미리 정해진 검출면상을 입력 펜의 펜 끝으로 가리켰을 때의, 가리킨 위치의 2차원적인 좌표와, 계속해서 가리킨 시간 또는 상기 입력 펜이 구비하는 조작수단의 조작에 기초한 포인터를 생성하고, 표시장치에 표현된 3차원 공간 내의 소망의 점에 포인터를 표시시켜서 포인팅시키는 3차원 포인팅 장치로서,
    상기 입력 펜으로부터의 2차원적인 좌표와, 상기 입력 펜의 펜 끝의 접촉의 유무 또는 상기 입력 펜의 조작수단의 조작의 정보를 취득하는 입력정보 취득수단과,
    상기 입력정보 취득수단에서 취득한 정보에 기초하여, 상기 입력 펜의 펜 끝 으로 계속해서 가리킨 시간, 또는 상기 조작수단이 조작된 양을 산출하는 입력정보 처리수단과,
    상기 입력정보 취득수단에서 취득한 정보에 기초하여, 상기 표시장치에 표현된 3차원 공간 내의 포인터를 표시시키는 위치를 산출하는 포인터 위치/회전 각도 산출수단과,
    상기 포인터 위치/회전 각도 산출수단의 산출결과에 기초한 포인터를 생성하는 포인터 생성수단과,
    상기 표시장치에 표현된 3차원 공간 내에, 상기 포인터 생성수단에서 생성한 포인터로 포인팅되어 있는 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단과,
    상기 표시장치에 표현된 3차원 공간 내에 표시하는 오브젝트를 생성하는 오브젝트 생성수단과,
    상기 포인터 생성수단에서 생성한 포인터 및 상기 오브젝트 생성수단에서 생성한 오브젝트를, 상기 표시장치에 표현된 3차원 공간 내에 표시시키는 표시제어수단을 구비하고,
    상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 조작수단의 조작에 따라서, 상기 3차원 공간에 표시시키는 3차원 포인터의 깊이 방향의 좌표를 변화시켜서 산출하는 것을 특징으로 하는 3차원 포인팅 장치.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 포인팅 판정수단은, 상기 3차원 포인터가 포인팅하는 점의 3차원 좌표로부터 소정의 거리 이내에 오브젝트가 존재할 때, 상기 오브젝트를 포인팅하고 있다고 판정하는 것을 특징으로 하는 3차원 포인팅 장치.
  12. 제 9 항 또는 제 10 항에 있어서,
    상기 오브젝트 생성수단은, 상기 3차원 포인터의 3차원 위치의 변화에 따라서, 상기 오브젝트의 3차원 위치를 변화시켜 생성하는 수단을 구비하고,
    상기 3차원 공간 내에 표시된 3차원 포인터로 상기 3차원 공간 내에 표시된 오브젝트를 포인팅하고 있을 때, 상기 오브젝트를 선택 또는 잡기 위한 조작이 이루어지면,
    상기 오브젝트를 선택 또는 잡기 위한 조작 후의, 상기 3차원 포인터의 3차원 위치의 변화에 따라서, 상기 오브젝트의 3차원 위치를 변화시켜서 표시시키는 것을 특징으로 하는 3차원 포인팅 장치.
  13. 제 9 항에 있어서,
    상기 입력정보 취득수단은, 상기 2차원적인 좌표 및 상기 필압의 정보에 추가하여, 상기 입력 펜의 축과 상기 검출면이 이루는 각인 입력 펜의 기울기각과 상기 입력 펜의 축의 상기 검출면으로의 투영과 상기 검출면상의 소정의 직선이 이루는 각인 입력 펜의 방위각을 취득하고,
    상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 기울기각과 상기 입력 펜의 방위각에 기초하여 상기 입력 펜의 축의 상기 3차원 공간에서의 연장선을 구하고, 상기 3차원 공간에서의 연장선상을 3차원 포인터의 위치로 하고, 상기 입력 펜의 필압에 따라서, 상기 3차원 포인터의 상기 3차원 공간에서의 연장선 방향의 좌표를 변화시켜 산출하는 것을 특징으로 하는 3차원 포인팅 장치.
  14. 제 10 항에 있어서,
    상기 입력정보 취득수단은, 또한 상기 입력 펜의 축과 상기 검출면이 이루는 각인 입력 펜의 기울기각의 정보와, 상기 입력 펜의 축의 상기 검출면으로의 투영과 상기 검출면상의 소정의 직선이 이루는 각인 입력 펜의 방위각의 정보를 취득하고,
    상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 기울기각 및 방위각에 기초하여, 상기 입력 펜의 축의 상기 3차원 공간에서의 연장선을 구하고, 상기 3차원 공간에서의 연장선상을 3차원 포인터의 위치로 하고, 상기 입력 펜의 펜 끝으로 계속해서 가리킨 시간, 또는 상기 입력 펜의 조작수단의 조작에 따라서, 상기 3차원 포인터의 상기 3차원 공간에서의 연장선 방향의 좌표를 변화시켜 산출하는 것을 특징으로 하는 3차원 포인팅 장치.
  15. 제 9 항 또는 제 10 항에 있어서,
    상기 입력정보 취득수단은, 또한 상기 검출면상을 상기 입력 펜의 펜 끝으로 가리켰을 때의 상기 입력 펜의 축 주위의 회전각인 입력 펜의 회전각의 정보를 취득하고,
    상기 포인터 위치/회전 각도 산출수단은, 상기 입력 펜의 회전각에 따라서, 상기 3차원 포인터의 축 주위의 회전각을 변화시켜 산출하는 것을 특징으로 하는 3차원 포인팅 장치.
  16. 제 9 항 또는 제 10 항에 있어서,
    상기 오브젝트 생성수단은, 상기 3차원 공간 내에 표시된 오브젝트를 포인팅하고 있을 때, 상기 오브젝트에 대한 조작 또는 편집 또는 가공을 개시하기 위한 조작이 이루어지면, 상기 포인팅된 오브젝트를 상기 표시장치의, 조작자로부터 보아 가장 전방의 면에 2차원적으로 투영한 오브젝트를 생성하는 수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  17. 제 16 항에 있어서,
    상기 오브젝트 생성수단은, 상기 가장 전방의 면에 2차원적으로 표시된 오브젝트에 대하여, 상기 입력 펜에 의한 2차원적인 조작 또는 편집 또는 가공을 받은 후, 상기 오브젝트에 대한 조작 또는 편집 또는 가공을 종료하기 위한 조작이 이루어졌을 때, 상기 2차원적으로 표시된 오브젝트를, 상기 조작 또는 편집 또는 가공을 개시하기 위한 조작이 이루어지는 직전의 3차원적인 표시상태로 되돌린 오브젝트를 생성하는 수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  18. 제 9 항에 있어서,
    상기 입력 펜은, 상기 필압에 따라서 펜 끝의 길이가 짧아지는 구조를 갖고
    상기 3차원 포인터는, 상기 입력 펜의 펜 끝과 동등한 형상, 또는 펜 끝의 일부와 동등한 형상을 갖는 것을 특징으로 하는 3차원 포인팅 장치.
  19. 제 10 항에 있어서,
    상기 입력 펜은, 펜 끝으로 계속해서 가리킨 시간, 또는 조작수단의 조작에 따라서 펜 끝의 길이가 짧아지는 구조를 갖고,
    상기 3차원 포인터는, 상기 입력 펜의 펜 끝과 동등한 형상, 또는 펜 끝의 일부와 동등한 형상을 갖는 것을 특징으로 하는 3차원 포인팅 장치.
  20. 제 9 항 또는 제 10 항에 있어서,
    상기 포인터 위치/회전 각도 산출수단은, 상기 3차원 포인터가 포인팅하는 점의 2차원적인 좌표를, 상기 검출면상을 상기 입력 펜의 펜 끝으로 가리킨 위치의 2차원적인 좌표로 하고, 상기 3차원 포인터가 포인팅하는 점의 상기 2차원적인 좌표를 일정하게 하여 상기 3차원 포인터의 깊이 방향의 좌표를 변화시키는 3차원 포인팅 장치.
  21. 제 9 항 또는 제10항에 기재된 3차원 포인팅 장치에 있어서의 각 수단에서의 처리를, 컴퓨터에 실행시키는 3차원 포인팅 프로그램.
  22. 3차원 공간을 표현하는 것이 가능한 표시장치의 상기 3차원 공간 내에 표시된 포인터를 상기 3차원 공간 내에서 이동시키고, 상기 3차원 공간 내의 소망의 점을 포인팅시키는 3차원 포인팅 방법으로서,
    상기 포인터를 상기 표시장치의 3차원 공간의 깊이 방향과 직교하는 2차원 평면 내에서 이동 또는 회전시키는 동시에, 상기 깊이 방향으로 이동시키는 단계 1과,
    상기 포인터의 포인팅을 수행하는 점 및 그 근방인 포인팅을 수행하는 부분을 제외하고 상기 포인터상의 미리 정해진 일점의 상기 깊이 방향의 위치, 상기 포인터의 형상, 및 사이즈를 일정하게 유지한 채로, 상기 포인터의 포인팅을 수행하는 부분을 상기 깊이 방향으로 이동시키는 단계 2와,
    상기 단계 1 및 단계 2에서 이동시킨 포인터를, 상기 표시장치에 표시시키는 단계 3을 갖는 것을 특징으로 하는 3차원 포인팅 방법.
  23. 제 22 항에 있어서,
    상기 단계 2는, 상기 포인터를 상기 포인터의 표면상 또는 내부의 점을 제외하고, 미리 정해진 중심점 또는 중심축을 중심으로 하여 회전시키는 것을 특징으로 하는 3차원 포인팅 방법.
  24. 3차원 공간을 표현하는 것이 가능한 표시장치의 상기 3차원 공간 내에 표시된 포인터를 상기 3차원 공간 내에서 이동시켜서, 상기 3차원 공간 내의 소망의 점을 포인팅시키는 3차원 포인팅 방법으로서,
    상기 포인터를 상기 표시장치의 3차원 공간의 깊이 방향과 직교하는 2차원 평면 내에서 이동 또는 회전시키는 동시에, 상기 깊이 방향으로 이동시키는 단계 1과,
    상기 포인터의 포인팅을 수행하는 부분을 제외하고 상기 포인터상의 미리 정해진 일점의 상기 깊이 방향의 위치를 일정하게 유지하고, 또한, 상기 포인터의 형상, 및 사이즈를 변형시키면서, 상기 포인터의 포인팅을 수행하는 부분을 상기 깊이 방향으로 이동시키는 단계 4와,
    상기 단계 1 및 단계 4에서 이동시킨 포인터를, 상기 표시장치에 표시시키는 단계 3을 갖는 것을 특징으로 하는 3차원 포인팅 방법.
  25. 제 24 항에 있어서,
    상기 단계 4는, 상기 포인터를 상기 포인터의 표면상 또는 내부의 점을 제외하고, 미리 정해진 중심점 또는 중심축을 중심으로 하여 회전시키는 것을 특징으로 하는 3차원 포인팅 방법.
  26. 제 23 항 또는 제 25 항에 있어서,
    상기 포인터를 회전시키는 상기 중심점 또는 중심축이, 상기 포인터가 회전 할 때의 회전 각도에 따라서 이동하는 것을 특징으로 하는 3차원 포인팅 방법.
  27. 제 24 항에 있어서,
    상기 포인터는, 상기 깊이 방향의 위치, 상기 2차원 평면내의 위치, 형상, 및 사이즈가 일정한 제 1 부분과, 적어도 상기 깊이 방향의 위치가 변화하는 제 2 부분과, 상기 제 1 부분과 제 2 부분을 연결하는 제 3 부분으로 이루어지고,
    상기 단계 4는, 상기 포인터의 상기 제 2 부분을 상기 깊이 방향으로 이동시키는 것을 특징으로 하는 3차원 포인팅 방법.
  28. 제 27 항에 있어서,
    상기 단계 4는, 상기 3차원 포인터의 상기 제 2 부분의 상기 2차원 평면내의 위치, 또는 형상, 또는 사이즈를 변화시키면서, 상기 제 2 부분을 상기 깊이 방향으로 이동시키는 것을 특징으로 하는 3차원 포인팅 방법.
  29. 제 22 항 또는 제24항에 있어서,
    상기 포인터를 깊이 방향으로 이동시켰을 때, 상기 포인터의 일부분이 상기 표시장치의 표현 가능한 3차원 공간의 밖으로는 밀려나온 경우는, 상기 표시장치의 표현 가능한 상기 2차원 평면 중, 상기 밀려나온 부분에 근접하는 2차원 평면에, 상기 밀려나온 부분을 투영하거나, 또는 절곡하여 표시시키는 것을 특징으로 하는 3차원 포인팅 방법.
  30. 제 22 항 또는 제24항에 있어서,
    상기 단계 3은, 상기 포인터와 함께, 상기 깊이 방향의 위치가 일정한 참조용 포인터를 상기 표시장치에 표시시키는 것을 특징으로 하는 3차원 포인팅 방법.
  31. 3차원 공간을 표현 가능한 표시장치상에 표현된 3차원 공간 내에 포인터를 표시시키고, 입력장치로부터의 입력정보에 기초하여 상기 포인터를 3차원적으로 이동시키고, 상기 3차원 공간 내의 임의의 일점을 포인팅시키는 3차원 포인팅 장치로서,
    상기 입력장치로부터의 입력정보를 취득하는 입력정보 취득수단과,
    상기 입력정보 취득수단에서 취득한 상기 입력정보에 기초하여 상기 포인터의 표시 위치 및 변형량을 산출하는 포인터 위치/변형량 산출수단과,
    상기 포인터 위치/변형량 산출수단에서 산출된 표시위치에 표시하는 포인터를 생성하는 포인터 생성수단과,
    상기 포인터 위치/변형량 산출수단에서 산출된 상기 포인터의 표시위치에 기초하여, 상기 포인터가 포인팅하고 있는 점에 오브젝트가 있는지의 여부를 판정하는 포인팅 판정수단과,
    상기 포인팅 판정수단에서 포인팅하고 있는 오브젝트가 있다고 판정된 경우에, 오브젝트를 포인팅되어 있는 상태로 변화시키는 오브젝트 생성수단과,
    상기 포인터 생성수단에서 생성한 포인터 및 상기 오브젝트 생성수단에서 생 성한 오브젝트를 상기 표시장치에 표시시키는 표시제어수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  32. 제 31 항에 있어서,
    상기 포인터 생성수단은, 상기 포인터의 포인팅을 수행하는 점 및 그 근방인 포인팅을 수행하는 부분을 제외하고 상기 포인터상의 미리 정해진 일점의 상기 깊이 방향의 위치, 상기 포인터의 형상, 및 사이즈를 일정하게 유지한 채로, 상기 포인터의 포인팅을 수행하는 부분을 상기 깊이 방향으로 이동시키는 수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  33. 제 31 항에 있어서,
    상기 포인터 생성수단은, 상기 포인터의 포인팅을 수행하는 부분을 제외하고 상기 포인터상의 미리 정해진 일점의 상기 깊이 방향의 위치를 일정하게 유지하고, 또한，상기 포인터의 형상, 및 사이즈를 변형시키면서, 상기 포인터의 포인팅을 수행하는 부분을 상기 깊이 방향으로 이동시키는 수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  34. 제 32 항 또는 제 33 항에 있어서,
    상기 포인터의 포인팅을 수행하는 부분을 깊이 방향으로 이동시키는 수단은, 상기 포인터를, 상기 포인터의 표면상 또는 내부의 점을 제외하고, 미리 정해진 중 심점 또는 중심축을 중심으로 하여 회전시키는 것을 특징으로 하는 3차원 포인팅 장치.
  35. 제 31 항에 있어서,
    상기 포인터 생성수단은, 상기 포인터를 상기 깊이 방향의 위치, 상기 2차원 평면내의 위치, 형상, 및 사이즈가 일정한 제 1 부분과, 적어도 상기 깊이 방향의 위치가 변화하는 제 2 부분으로 분할하고, 상기 제 2 부분만을 깊이 방향으로 이동시키는 수단과,
    상기 제 2 부분을 깊이 방향으로 이동시킨 후, 상기 제 1 부분과 제 2 부분을 연결하는 수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  36. 제 31, 32, 33 또는 제35항 중 어느 한 항에 있어서,
    상기 포인터 생성수단은, 상기 포인터를 깊이 방향으로 이동시켰을 때, 상기 포인터의 일부분이 상기 표시장치의 표현 가능한 3차원 공간 밖으로 밀려나오고 있는지의 여부를 판정하는 수단과,
    밀려나오고 있는 부분이 있는 경우는, 상기 표시장치의 표현 가능한 상기 2차원 평면 중, 상기 밀려나온 부분에 근접하는 2차원 평면에, 상기 밀려나온 부분을 투영, 또는 절곡하는 수단을 구비하는 것을 특징으로 하는 3차원 포인팅 장치.
  37. 제 31, 32, 33 또는 제35항 중 어느 한 항에 기재된 3차원 포인팅 장치에 있어서의 각 수단에서의 처리를, 컴퓨터에 실행시키는 3차원 포인팅 프로그램.
  38. 3차원 공간을 표현 가능한 표시장치상에 표현된 3차원 공간 내에 포인터 및 1개 이상의 오브젝트를 표시하여 두고, 입력장치로부터의 입력정보에 기초하여 상기 포인터를 3차원적으로 이동시키고, 상기 3차원 공간 내의 임의의 일점을 포인팅할 때의 상기 포인터 및 상기 오브젝트의 표시상태를 제어하는 3차원 표시제어방법으로서,
    상기 입력정보에 기초하여 상기 포인터의 표시위치를 산출하는 단계 1과,
    상기 단계 1에서 산출한 표시위치에 상기 포인터를 표시시키는 단계 2와,
    상기 단계 1에서 산출한 상기 포인터의 표시위치에 기초하여, 상기 포인터의 깊이 위치보다도 전방에 오브젝트가 있는지의 여부를 판정하고, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트를 투명화하여 표시시키는 단계 3을 갖는 것을 특징으로 하는 3차원 표시제어방법.
  39. 제 38 항에 있어서,
    상기 단계 3은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중, 상기 포인터와 중첩되는 오브젝트만을 투명화하여 표시시키는 것을 특징으로 하는 3차원 표시제어방법.
  40. 제 38 항 또는 제 39 항에 있어서,
    상기 단계 3은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중, 상기 입력장치로부터의 미리 정해진 입력정보에 기초하여 특정 또는 선택된 오브젝트를 제외하고, 별개의 오브젝트를 투명화하여 표시시키는 것을 특징으로 하는 3차원 표시제어방법.
  41. 제 38 항 또는 제 39 항에 있어서,
    상기 단계 3은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트와 상기 포인터의 깊이 방향의 거리에 따라서, 상기 오브젝트의 투명도를 변화시키고, 상기 오브젝트와 상기 포인터의 깊이 방향의 거리가 클수록 투명도를 크게 하여 표시시키는 것을 특징으로 하는 3차원 표시제어방법.
  42. 제 38 항 또는 제 39 항에 있어서,
    상기 단계 3은, 상기 포인터가 포인팅하고 있는 점과 중첩되는 오브젝트상의 점을 중심으로 한 소정의 형상의 영역내만을 투명화하여 표시시키는 것을 특징으로 하는 3차원 표시제어방법.
  43. 제 42 항에 있어서,
    상기 투명화하는 소정의 형상은, 상기 포인터와 상기 오브젝트의 깊이 방향의 거리의 크기에 따라서 변화하고, 상기 깊이 방향의 거리가 클수록 상기 소정의 형상이 커지는 것을 특징으로 하는 3차원 표시제어방법.
  44. 제 38 항 또는 제 39 항에 있어서,
    상기 단계 3은, 상기 포인터가 소정시간의 동안 정지하고 있는 경우는, 상기 투명화한 오브젝트를 투명화하기 전의 불투명한 상태로 되돌려서 표시시키는 단계를 갖는 것을 특징으로 하는 3차원 표시제어방법.
  45. 3차원 공간을 표현 가능한 표시장치상에 표현된 3차원 공간 내에 포인터 및 1개 이상의 오브젝트를 표시시키고, 입력장치로부터의 입력정보에 기초하여 상기 포인터를 3차원적으로 이동시키고, 상기 3차원 공간 내의 임의의 일점을 포인팅할 때의 상기 포인터 및 상기 오브젝트의 표시상태를 제어하는 3차원 표시제어장치로서,
    상기 입력장치로부터의 입력정보를 취득하는 입력정보 취득수단과,
    상기 입력정보 취득수단에서 취득한 상기 입력정보에 기초하여 상기 포인터의 표시위치를 산출하는 포인터 위치 산출수단과,
    상기 포인터 위치 산출수단에서 산출된 표시위치에 표시하는 포인터를 생성하는 포인터 생성수단과,
    상기 포인터 위치 산출수단에서 산출된 상기 포인터의 표시위치에 기초하여, 상기 포인터의 깊이 위치보다도 전방에 오브젝트가 있는지의 여부를 판정하는 동시에, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트를 투명화하는지의 여부를 판정하는 오브젝트 변경 판정수단과,
    상기 표시장치에 표시시키는 오브젝트의 생성, 및 오브젝트 변경 판정수단에서 투명화하면 판정된 오브젝트가 투명화를 하는 오브젝트 생성/투명화수단과,
    상기 포인터 생성수단에서 생성된 포인터, 및 상기 오브젝트 생성/투명화수단에서 생성된 오브젝트 또는 투명화된 오브젝트를 상기 표시장치에 표시시키는 표시제어수단을 구비하는 것을 특징으로 하는 3차원 표시제어장치.
  46. 제 45 항에 있어서,
    상기 오브젝트 변경 판정수단은, 상기 포인터의 깊이 위치보다도 전방에 있는 오브젝트 중에, 상기 입력장치로부터의 미리 정해진 입력정보에 기초하여 특정 또는 선택된 오브젝트가 있는지의 여부를 판정하는 수단을 구비하고,
    상기 오브젝트 생성/투명화수단에, 상기 특정된 오브젝트를 제외하고, 별개의 오브젝트를 투명화시키는 것을 특징으로 하는 3차원 표시제어장치.
  47. 제 45 항 또는 제 46 항에 있어서,
    상기 오브젝트 생성/투명화수단은, 상기 포인터와 상기 투명화하는 오브젝트의 깊이 방향의 거리를 산출하는 수단을 구비하고,
    상기 투명화하는 오브젝트의 투명도를, 상기 산출한 깊이 방향의 거리의 크기에 따라서 변화시키는 것을 특징으로 하는 3차원 표시제어장치.
  48. 제 45 항 또는 제 46 항에 있어서,
    상기 오브젝트 생성/투명화수단은, 상기 투명화하는 오브젝트상의, 상기 포인터가 포인팅하고 있는 점과 중첩되는 점을 산출하는 수단을 구비하고,
    상기 산출한 점을 중심으로 한 소정의 형상의 영역 내만을 투명화하는 것을 특징으로 하는 3차원 표시장치.
  49. 제 45 항 또는 제 46 항에 있어서,
    상기 오브젝트 변경 판정수단은, 상기 포인터가 소정 시간의 동안 정지하고 있는지의 여부를 판정하는 수단을 구비하고,
    상기 포인터가 상기 소정 시간 정지하고 있는 경우는, 상기 오브젝트 생성/투명화수단에 상기 투명화한 오브젝트를 투명화하기 전의 불투명한 상태로 되돌리게 하는 것을 특징으로 하는 3차원 표시제어장치.
  50. 제 45 항 또는 제46항에 기재된 3차원 표시제어장치의 각 수단의 처리를, 컴퓨터에 실행시키는 3차원 표시 제어 프로그램.
KR1020067014265A 2004-10-12 2005-10-12 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램 KR100832355B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00297927 2004-10-12
JP2004297927 2004-10-12
JP2004306636 2004-10-21
JPJP-P-2004-00306636 2004-10-21
JP2004309667 2004-10-25
JPJP-P-2004-00309667 2004-10-25
JP2005185131 2005-06-24
JPJP-P-2005-00185131 2005-06-24

Publications (2)

Publication Number Publication Date
KR20070039868A KR20070039868A (ko) 2007-04-13
KR100832355B1 true KR100832355B1 (ko) 2008-05-26

Family

ID=36148384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067014265A KR100832355B1 (ko) 2004-10-12 2005-10-12 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램

Country Status (6)

Country Link
US (1) US7880726B2 (ko)
EP (1) EP1821182B1 (ko)
JP (3) JP4515458B2 (ko)
KR (1) KR100832355B1 (ko)
CN (3) CN101308442B (ko)
WO (1) WO2006041097A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120730A (ko) * 2019-10-04 2019-10-24 (주) 아이.에스.브이. 각도 보상형 펜마우스 및 그에 의한 가상클릭 제어방법

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
JP4832826B2 (ja) 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
KR100811954B1 (ko) * 2006-07-13 2008-03-10 현대자동차주식회사 물체상 표시방법
WO2008024072A1 (en) * 2006-08-25 2008-02-28 Weike (S) Pte Ltd Virtual gaming system and method
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
WO2008029467A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Système, procédé et programme d'entrée de mouvement
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4442683B2 (ja) * 2007-11-27 2010-03-31 セイコーエプソン株式会社 表示システム、表示装置及びプログラム
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
KR101499546B1 (ko) * 2008-01-17 2015-03-09 삼성전자주식회사 터치 스크린 장치의 디스플레이 영역 제어 방법, 장치, 및기록매체
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8508475B2 (en) * 2008-10-24 2013-08-13 Microsoft Corporation User interface elements positioned for display
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
TWI378370B (en) * 2009-05-07 2012-12-01 Wistron Corp Buffered stylus
KR20110004027A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 펜형 입력 장치 및 이를 이용한 입력 방법
CN101599182B (zh) * 2009-07-29 2012-10-03 威盛电子股份有限公司 三维物件旋转方法和与其对应的计算机系统
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR100940744B1 (ko) * 2009-09-24 2010-02-04 (주)디지탈아리아 임베디드 및 모바일 기기에서 3차원 질감을 가진 표면의 접촉 그래픽 효과를 구현하는 방법
US8847889B2 (en) * 2009-10-20 2014-09-30 Shenzhen Yibao Technology Co., Ltd. Mouse pen and photoelectric control switch thereof
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
CN101739202B (zh) * 2009-11-06 2011-11-30 谢达 一种局部会自动透视的用户界面显示方法
FI20090434A (fi) * 2009-11-17 2011-05-18 Tampereen Yliopisto Menetelmä, tietokoneohjelma ja laite tietokoneen kanssa tapahtuvaan vuorovaikutukseen
JP5238676B2 (ja) * 2009-11-24 2013-07-17 株式会社コナミデジタルエンタテインメント 入力受付装置、入力判定方法、および、プログラム
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
JP2011177203A (ja) * 2010-02-26 2011-09-15 Nintendo Co Ltd オブジェクト制御プログラムおよびオブジェクト制御装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
WO2011121375A1 (en) * 2010-03-31 2011-10-06 Nokia Corporation Apparatuses, methods and computer programs for a virtual stylus
US8826184B2 (en) 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
JP5229273B2 (ja) * 2010-05-28 2013-07-03 株式会社Ｊｖｃケンウッド タッチパネルを有する電子機器、及び動作制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5520698B2 (ja) 2010-06-07 2014-06-11 任天堂株式会社 ゲーム装置、ゲームプログラムおよびゲームシステム
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
JP5617375B2 (ja) * 2010-06-22 2014-11-05 ソニー株式会社 画像表示装置、表示制御方法及びプログラム
JP5574849B2 (ja) * 2010-06-28 2014-08-20 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN102971692B (zh) * 2010-06-29 2016-06-08 富士胶片株式会社 三维显示设备、三维图像捕获设备、和指示确定方法
JP5589625B2 (ja) 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20130154929A1 (en) * 2010-08-27 2013-06-20 Sebastian Stopp Multiple-layer pointing position determination on a medical display
JP2012058896A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、プログラムおよび情報処理方法
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5655478B2 (ja) * 2010-10-01 2015-01-21 ソニー株式会社 情報処理装置、情報処理方法
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP2012103980A (ja) * 2010-11-11 2012-05-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120119990A1 (en) * 2010-11-12 2012-05-17 Kye Systmes Corp. Pointer control device, system and method
JP5649169B2 (ja) * 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
KR101788049B1 (ko) * 2010-12-15 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
US9271027B2 (en) * 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US8314790B1 (en) * 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US20120272180A1 (en) * 2011-04-20 2012-10-25 Nokia Corporation Method and apparatus for providing content flipping based on a scrolling operation
JP5136675B2 (ja) * 2011-06-09 2013-02-06 ソニー株式会社 ポインタ表示装置、ポインタ表示検出方法及び情報機器
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
JP2013016018A (ja) * 2011-07-04 2013-01-24 Canon Inc 表示制御装置、制御方法及びプログラム
US9373168B2 (en) * 2011-07-13 2016-06-21 Koninklijke Philips N.V. Method for automatically adjusting a focal plane of a digital pathology image
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
US20150002486A1 (en) * 2011-08-29 2015-01-01 Dolphin, S.R.O. Multifunctional pencil input peripheral computer controller
CN102981743B (zh) * 2011-09-05 2016-05-25 联想(北京)有限公司 控制操作对象的方法及电子设备
US9501098B2 (en) 2011-09-19 2016-11-22 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
US9519350B2 (en) 2011-09-19 2016-12-13 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
CN103842945B (zh) * 2011-10-11 2016-09-28 国际商业机器公司 对象指向方法、设备
CN102508561B (zh) * 2011-11-03 2013-11-06 深圳超多维光电子有限公司 一种操作棒
CN102508563B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法以及被操作设备
CN102508562B (zh) * 2011-11-03 2013-04-10 深圳超多维光电子有限公司 一种立体交互系统
CN102426486B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法及被操作设备
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP6123160B2 (ja) * 2012-03-13 2017-05-10 株式会社ニコン 電子機器、及び表示装置
US20150029149A1 (en) * 2012-03-13 2015-01-29 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and Method for Navigating on a Touch Sensitive Screen Thereof
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP5808712B2 (ja) * 2012-05-23 2015-11-10 日立マクセル株式会社 映像表示装置
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
KR101986218B1 (ko) * 2012-08-02 2019-06-05 삼성전자주식회사 디스플레이 장치 및 방법
WO2014054317A1 (ja) * 2012-10-05 2014-04-10 Ｎｅｃソフト株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP6096473B2 (ja) * 2012-11-01 2017-03-15 東芝メディカルシステムズ株式会社 医用画像診断装置、および、医用画像処理方法
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
EP2763019A1 (en) * 2013-01-30 2014-08-06 BlackBerry Limited Stylus based object modification on a touch-sensitive display
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
TWI502459B (zh) * 2013-07-08 2015-10-01 Acer Inc 電子裝置及其觸控操作方法
JP5616503B1 (ja) * 2013-08-30 2014-10-29 ヤフー株式会社 配信装置、端末装置、配信方法及び配信プログラム
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
CN105849675B (zh) 2013-10-30 2019-09-24 苹果公司 显示相关的用户界面对象
US10430017B2 (en) * 2013-12-04 2019-10-01 City University Of Hong Kong Target pointing system making use of velocity dependent cursor
US10775901B2 (en) * 2014-01-31 2020-09-15 Qualcomm Incorporated Techniques for identifying rolling gestures on a device
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
JP5968573B2 (ja) * 2014-02-18 2016-08-10 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
JP2015156135A (ja) * 2014-02-20 2015-08-27 株式会社東芝 表示装置、方法及びプログラム
CN103984425B (zh) * 2014-04-25 2017-01-04 深圳超多维光电子有限公司 用于立体显示交互的操作棒和操作棒的控制方法
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
JP6112618B2 (ja) * 2014-07-17 2017-04-12 Ｎｅｃプラットフォームズ株式会社 情報処理システム
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US9766724B2 (en) * 2014-11-03 2017-09-19 Lenovo (Singapore) Pte. Ltd. Orientation dependent stylus button function
CN105787402B (zh) * 2014-12-16 2019-07-05 阿里巴巴集团控股有限公司 一种信息展示方法及装置
KR101652973B1 (ko) * 2014-12-17 2016-09-05 주식회사 트레이스 스타일러스 펜의 기울기 정보를 이용하는 디지타이저
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
JP6521055B2 (ja) * 2015-03-20 2019-05-29 株式会社リコー 表示装置、表示制御方法、表示制御プログラムおよび表示システム
JP6651297B2 (ja) 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
KR102465804B1 (ko) * 2015-05-12 2022-11-10 엘지전자 주식회사 영상표시장치 및 그것의 제어방법
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US11262897B2 (en) 2015-06-12 2022-03-01 Nureva Inc. Method and apparatus for managing and organizing objects in a virtual repository
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
US9684391B1 (en) * 2015-12-11 2017-06-20 Logomark, Inc. Telescopic mechanism and touch tool for writing instrument or the like
CN105427824B (zh) * 2016-01-05 2016-11-30 京东方科技集团股份有限公司 具有漏电补偿模块的goa电路、阵列基板和显示面板
EP3404524B1 (en) * 2016-02-04 2022-04-06 Huawei Technologies Co., Ltd. Data processing method and electronic device
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
CN107621893B (zh) * 2016-07-15 2020-11-20 苹果公司 在非电子表面上使用电子输入设备的内容创建
US10915185B2 (en) 2016-10-31 2021-02-09 Hewlett-Packard Development Company, L.P. Generating a three-dimensional image using tilt angle of a digital pen
KR20180074070A (ko) * 2016-12-23 2018-07-03 현대자동차주식회사 차량, 및 그 제어방법
JP6382928B2 (ja) * 2016-12-27 2018-08-29 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
EP3595424B1 (en) * 2017-03-08 2022-04-27 Fuji Corporation Three-dimensional mounting device and three-dimensional mounting method
CN107102750B (zh) * 2017-04-23 2019-07-26 吉林大学 一种基于笔式交互系统的虚拟三维空间中目标的选择方法
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US20210278954A1 (en) * 2017-07-18 2021-09-09 Hewlett-Packard Development Company, L.P. Projecting inputs to three-dimensional object representations
JP7134656B2 (ja) * 2018-03-15 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
US10592013B2 (en) * 2018-04-25 2020-03-17 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
CN108984262B (zh) * 2018-07-12 2021-04-13 宁波视睿迪光电有限公司 三维指针的创建方法、装置及电子设备
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
EP3948517A1 (en) 2019-05-31 2022-02-09 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11042220B2 (en) * 2019-08-02 2021-06-22 Gustavo Mantovani Ruggiero Three-dimensional input device
US11946996B2 (en) 2020-06-30 2024-04-02 Apple, Inc. Ultra-accurate object tracking using radar in multi-object environment
US20220004299A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic shape sketching
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11681835B2 (en) * 2020-12-31 2023-06-20 Hexagon Technology Center Gmbh Rapid positioning drawing system and method
US11614806B1 (en) 2021-05-12 2023-03-28 Apple Inc. Input device with self-mixing interferometry sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022359B2 (ja) * 1981-12-10 1985-06-01 松下電器産業株式会社 立体表示装置の表示入力装置
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US4808979A (en) * 1987-04-02 1989-02-28 Tektronix, Inc. Cursor for use in 3-D imaging systems
JPH01134521A (ja) * 1987-11-19 1989-05-26 Toppan Printing Co Ltd 三次元座標入力・修正装置
JPH031217A (ja) * 1989-05-29 1991-01-07 Olympus Optical Co Ltd 立体画像処理装置
JPH0573208A (ja) 1991-09-13 1993-03-26 Wacom Co Ltd 制御装置分離型の表示装置付座標検出装置
JPH0675693A (ja) 1992-08-25 1994-03-18 Toshiba Corp ３次元ポインティング装置
JPH0816137A (ja) 1994-06-29 1996-01-19 Nec Corp ３次元座標入力装置及びカーソル表示制御方式
JPH08248938A (ja) 1995-03-13 1996-09-27 Mitsubishi Electric Corp ポインティング装置
JP3741764B2 (ja) * 1996-02-09 2006-02-01 シャープ株式会社 三次元画像作成装置
JP2976879B2 (ja) * 1996-03-22 1999-11-10 日本電気株式会社 深さ付きウィンドウ表示方式
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP3539839B2 (ja) * 1996-06-18 2004-07-07 コナミ株式会社 疑似３次元表示されたフィールド内におけるカーソルの表示方法、ゲームシステム及び記録媒体
JP3476651B2 (ja) * 1997-05-09 2003-12-10 シャープ株式会社 データ表示装置およびデータ表示プログラムを格納したコンピュータ読み取り可能な記録媒体
JPH117372A (ja) * 1997-06-17 1999-01-12 Hitachi Ltd 図形選択装置
JPH11341456A (ja) * 1998-05-29 1999-12-10 Matsushita Graphic Communication Systems Inc 家庭用マルチメディア通信システム
JP2000099232A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> Ｗｅｂページ多重同時表示閲覧方法および装置とＷｅｂページ多重同時表示閲覧プログラムを記録した記録媒体
JP2000185179A (ja) 1998-12-24 2000-07-04 Copcom Co Ltd 画像処理装置および記録媒体
EP1109091A1 (en) 1999-12-14 2001-06-20 Sun Microsystems, Inc. Display of selectable objects using visual feedback
JP4582863B2 (ja) 2000-05-22 2010-11-17 株式会社バンダイナムコゲームス 立体視映像表示装置、及び情報記憶媒体
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
CN1369863A (zh) * 2001-02-15 2002-09-18 矽统科技股份有限公司 通过预先排序以增进三维空间电脑绘图效果的方法
NZ511120A (en) 2001-04-12 2003-05-30 Deep Video Imaging Ltd Multi screen display, each screen being spaced physically apart from the other
JP2003076719A (ja) * 2001-06-22 2003-03-14 Sony Computer Entertainment Inc 情報閲覧プログラム、情報閲覧プログラムを記録した記録媒体、情報閲覧装置及び方法、情報生成プログラム、情報生成プログラムを記録した記録媒体、情報生成装置及び方法、情報生成閲覧システム
WO2003083822A1 (en) * 2002-01-25 2003-10-09 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
JP3982288B2 (ja) * 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
JP2004054777A (ja) * 2002-07-23 2004-02-19 Minolta Co Ltd ファイル管理装置
DE60325536D1 (de) * 2002-09-20 2009-02-12 Nippon Telegraph & Telephone Vorrichtung zum Erzeugen eines pseudo-dreidimensionalen Bildes
JP2004362408A (ja) 2003-06-06 2004-12-24 Canon Inc ３次元データ表示操作装置
US7480873B2 (en) 2003-09-15 2009-01-20 Sun Microsystems, Inc. Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120730A (ko) * 2019-10-04 2019-10-24 (주) 아이.에스.브이. 각도 보상형 펜마우스 및 그에 의한 가상클릭 제어방법
KR102221172B1 (ko) 2019-10-04 2021-03-02 (주) 아이.에스.브이. 펜마우스의 가상클릭 제어방법

Also Published As

Publication number Publication date
JPWO2006041097A1 (ja) 2008-05-15
JP5074475B2 (ja) 2012-11-14
CN1910543A (zh) 2007-02-07
CN101308442A (zh) 2008-11-19
CN101308441A (zh) 2008-11-19
KR20070039868A (ko) 2007-04-13
EP1821182A4 (en) 2011-02-23
CN101308441B (zh) 2010-09-22
WO2006041097A1 (ja) 2006-04-20
US7880726B2 (en) 2011-02-01
JP4515458B2 (ja) 2010-07-28
JP2010055627A (ja) 2010-03-11
JP5230787B2 (ja) 2013-07-10
EP1821182B1 (en) 2013-03-27
JP2012079328A (ja) 2012-04-19
EP1821182A1 (en) 2007-08-22
US20080225007A1 (en) 2008-09-18
CN100407118C (zh) 2008-07-30
CN101308442B (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
KR100832355B1 (ko) 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램
US10031608B2 (en) Organizational tools on a multi-touch display device
Fishkin et al. Embodied user interfaces for really direct manipulation
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
Forlines et al. Hybridpointing: fluid switching between absolute and relative pointing with a direct input device
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
EP2068237B1 (en) Information display terminal, information display method and program
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
GB2406769A (en) Manipulating a window within a three-dimensional display model
US10180714B1 (en) Two-handed multi-stroke marking menus for multi-touch devices
WO2010148483A1 (en) Computer mouse with built-in touch screen
Lemoine et al. Interaction techniques: 3d menus-based paradigm
JP4907156B2 (ja) ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム
KR102181499B1 (ko) 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템
JP2020510272A (ja) ナビゲーションシステム
Pfeuffer Extending Touch with Eye Gaze Input
Yang Blurring the boundary between direct & indirect mixed mode input environments
KRISHNAN et al. that can Integrate or Separate Operand Specification, Menu Opening and Selection, and Action Execution

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130404

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140403

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160513

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee