KR20100086931A - 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치 - Google Patents

제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치 Download PDF

Info

Publication number
KR20100086931A
KR20100086931A KR1020097015921A KR20097015921A KR20100086931A KR 20100086931 A KR20100086931 A KR 20100086931A KR 1020097015921 A KR1020097015921 A KR 1020097015921A KR 20097015921 A KR20097015921 A KR 20097015921A KR 20100086931 A KR20100086931 A KR 20100086931A
Authority
KR
South Korea
Prior art keywords
pointer
display
screen
coordinate
coordinate system
Prior art date
Application number
KR1020097015921A
Other languages
English (en)
Inventor
히데토시 카바사와
타카시 마스다
카즈유키 야마모토
쿠니히토 사와이
Original Assignee
소니 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼가이샤 filed Critical 소니 가부시끼가이샤
Publication of KR20100086931A publication Critical patent/KR20100086931A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

입력 장치가 화면의 단부(端部)로부터 화면의 외측으로 움직였을 때에, 포인터의 표시 위치와 입력 장치의 상대 위치의 어긋남이 발생하는 것을 방지하고, 유저가 직감적인 조작감을 얻을 수 있는 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치를 제공한다.
실(實)화면(95) 뿐만 아니라, 그 실화면(95) 주위에 설정된 가상 화면(105)에서도, 가상 포인터(2')의 좌표가 생성되고, 기억된다. 이것에 의해, 유저는, 예를 들면 실화면(95)의 외측에서 입력 장치(1)가 움직인 분만큼, 입력 장치를 예를 들면 역방향으로 움직이게 하는 것에 의해, 실화면(95)의 경계 라인에 도달한 포인터(2)의 실화면(95) 상에서의 이동을 재개시킬 수가 있다. 이것에 의해, 좁은 화면에 속박되는 일이 없이, 의사적(擬似的; pseudo)인 절대 좌표계에서 포인터의 좌표값이 생성되므로, 유저는 직감적으로 스트레스 없이 입력 장치(1)를 조작할 수가 있다.
입력 장치, 실포인터, 가상 포인터, 표시 장치, 케이싱, 각속도 센서 유닛, 가속도 센서 유닛, 제어 장치.

Description

제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치{CONTROL DEVICE, INPUT DEVICE, CONTROL SYSTEM, CONTROL METHOD, AND HAND-HELD DEVICE}
본 발명은, 화면 상의 포인터의 표시를 제어하는 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치에 관한 것이다.
PC(Personal Computer)에서 보급되어 있는 GUI의 컨트롤러로서, 주로 마우스나 터치 패드 등의 포인팅 디바이스가 이용되고 있다. GUI는, 종래의 PC의 HI(Human Interface)에 머무르지 않고, 예를 들면 텔레비전을 화상 매체로 해서 거실 등에서 사용되는 AV 기기나 게임기의 인터페이스로서 사용되기 시작하고 있다. 이와 같은 GUI의 컨트롤러로서, 유저가 공간에서 조작할 수 있는 포인팅 디바이스가 여러 종류 제안되어 있다(예를 들면, 특허 문헌 1, 2 참조).
예를 들면, 마우스 커서가 화면의 단부(端部)에 표시되면, 그 마우스 커서를 포함하는 화상이, 그 화면보다 외측의 가상 화면을 포함하는 화상으로 전환(切替)되는, 화면의 표시 위치의 제어 방법이 개시되어 있다(예를 들면, 특허 문헌 3 참조). 이것에 의해, 마우스 커서가 화면의 단부에 있었다고 해도 유저는 그것을 발견하기 쉽다는 효과가 얻어진다.
[특허 문헌 1] 일본 특개(特開) 2001-56743호 공보(단락 [0030], [0031], 도 3)
[특허 문헌 2] 일본 특허 제3748483호 공보(단락 [0033], [0041], 도 1)
[특허 문헌 3] 일본 특개평10-301753호 공보(단락 [0036], 도 3)
[발명이 해결하고자 하는 과제]
상기 각 특허 문헌 1∼3의 기술에서는, 포인팅 디바이스의 위치와 화면의 위치가 상대적이다. 따라서, 예를 들면 유저의 그 포인팅 디바이스를 잡(持)는 손이 어디에 있어도, 화면 상의 포인터의 위치가 결정된다. 그러나, 포인팅 디바이스가 지시하는 방향과 포인터의 표시 위치가 어긋나 있는 경우, 스트레스를 느끼는 일이 있다. 예를 들면, 레이저 포인터와 같은 감각으로 포인터를 조작하고 싶다고 생각하는 사람에게 있어서는, 그 경향이 높다고 생각된다.
또, 유저는 포인터의 위치를 의식해서 조작하지 않으면 화면으로부터 벗어나 어디에 포인터가 있는 것인지 알기 어렵다는 문제도 있다. 특히, 화면 상의 메뉴 도형이 화면의 단부에 표시되는 경우, 유저가 그 메뉴 도형의 범위를 포인팅하고 있을 때에, 포인터가 화면의 단부까지 이동하고, 포인터는 그 이상 이동하지 않음에도 불구하고, 유저는 포인팅을 계속 이동시키려고 한다. 그 때문에, 포인터의 표시 위치와 포인팅 디바이스의 상대 위치가 어긋나, 유저가 위화감을 가지는 일이 있다.
이상과 같은 사정을 감안하여, 본 발명의 목적은, 입력 장치가 화면의 단부로부터 화면의 외측으로 움직였을 때에, 포인터의 표시 위치와 입력 장치의 상대 위치의 어긋남이 발생하는 것을 방지하고, 유저가 직감적인 조작감을 얻을 수 있는 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치를 제공하는 것에 있다.
[과제를 해결하기 위한 수단]
상기 목적을 달성하기 위해, 본 발명에 따른 제어 장치는, 입력 장치의 움직임에 따른 입력 정보에 의거해서, 포인터의 표시를 제어하는 제어 장치로서, 표시되는 실(實)화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과, 상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단을 구비한다.
본 발명에서는, 실화면 뿐만 아니라, 그 실화면의 외측에 설정된 가상 화면에서도, 포인터의 좌표 정보(제2 좌표 정보)가 생성된다. 다시 말해, 좁은 실화면에 속박되는 일이 없이, 의사적(擬似的; pseudo)인 절대 좌표계에서 포인터의 좌표값이 생성된다. 이것에 의해, 가상 화면 상에서의 이동 좌표의 적산 위치로부터 재차 포인터를 실화면 상에서 표시시킬 수 있으므로, 유저에게 있어서 직감적으로 스트레스 없이 입력 장치를 조작할 수가 있다.
제2 좌표계가 제1 좌표계에 관련지어져 있다라 함은, 예를 들면 제2 좌표계와 제1 좌표계가 중합(重合; overlap)되는 경우, 또는 제2 좌표계가 제1 좌표계에 연속하는 경우 등을 의미한다.
제1 및 제2 좌표계의 스케일(좌표의 눈금)은, 전형적으로는 실질적으로 같지만(동일하지만), 달라도 좋다.
입력 장치는, 평면 조작형 입력 장치이더라도 좋고, 후술하는 공간 조작형 입력 장치이더라도 좋다.
상기 포인터는, 이른바 커서라고 칭해지는 바와 같은 정형성(定形性)을 가지는 것에만 한정되지 않고, 화면 상에 표시된 아이콘 등의 UI를 선택하는 것이 가능한 여러 가지 형태의 것이 포함된다. 예를 들면, 상기 포인터는, 항상 정형으로 표시되는 것에 한정되지 않으며, UI의 선택 조작이 가능한 영역에 도달했을 때에 그 포인터 위치가 현재화(顯在化)하는 형태도 포함된다.
제어 장치는, 상기 입력 장치에 의한 선택 조작의 대상으로 되는 선택 조작 영역의, 상기 가상 화면 상의 가상 표시 영역을, 상기 제2 좌표계에 대응지음으로써, 상기 가상 표시 영역을 기억하는 기억 수단과, 상기 생성된 제2 좌표 정보가, 상기 가상 표시 영역내에 있는지 여부를 판정하는 판정 수단과, 상기 생성된 제2 좌표 정보가, 상기 가상 표시 영역내에 있는 경우, 상기 선택 조작의 대상을 제어하는 선택 제어 수단을 더 구비한다. 이것에 의해, 유저가 가상 화면 상을 포인팅 조작할 때에, 선택 조작 영역의 가상 표시 영역에서 포인팅 조작함으로써, 선택 대상을 선택할 수가 있다.
상기 본 발명에서는, 선택 조작 영역 모두가 가상 표시 영역이더라도 좋다. 혹은, 상기 표시 제어 수단은, 상기 선택 조작 영역중, 상기 실화면 상의, 상기 가상 표시 영역에 인접하는 실표시 영역의 화상 데이터를 생성해도 좋다. 또, 실표시 영역의 화상 데이터는, 실화면의 일부에 항상 표시되어도 좋다. 예를 들면, 포인터가 실화면 상의 선택 조작 영역내에 표시되어 있는 상태에서, 유저가 입력 장치의 조작에 의해, 포인터가 실화면으로부터 벗어나 가상 화면에 들어가도록 포인팅했다고 한다. 이 경우, 그 가상 화면 상에도 그 선택 조작 영역(가상 표시 영역)이 제2 좌표계에 대응지어져 설정되어 있기 때문에, 유저는, 가상 화면 상에서 포인팅 조작함으로써, 선택 대상을 선택할 수가 있다.
선택 조작 영역에서의 선택 대상은, 예를 들면 음량 선택(음량 컨트롤), 방송 프로그램 등의 채널 선택, 화상의 재생 또는 정지(停止)의 선택, 빨리감기 또는 되감기의 선택, 실화면 상에서 흐르듯이 표시되는 하나 하나의 화상의 선택(이른바, 스크롤 기능), 그 밖의 여러 가지 메뉴 화면의 선택 항목으로 될 수 있는 대상이다.
선택 제어 수단에 의한 제어시에는, 포인터의 위치는, 가상 화면의 어디에 있어도 상관없다. 유저가 선택 조작하고 있을 때에, 포인터의 위치가, 선택 조작 영역의 가상 표시 영역내로부터, 가상 화면 상의, 가상 표시 영역 이외의 영역으로 나왔다고 해도, 선택 제어 수단에 의한 제어가 계속되어도 좋다.
실화면 상의 선택 조작 영역인 실표시 영역은, 실화면 상에 항상 표시되는 경우에 한정되지 않는다. 즉, 상기 표시 제어 수단은, 상기 제2 좌표 정보가 상기 가상 표시 영역내에 있다고 상기 판정 수단이 판정했을 때, 상기 실표시 영역을 상기 실화면 상에 표시시켜도 좋다. 이것에 의해, 유저의 의도를 반영한 선택 조작 영역의 표시 제어를 행하는 것이 가능하게 된다.
상기 선택 제어 수단은, 상기 제1 좌표계의 단부의 라인으로서 상기 제2 좌표계와의 경계로 되는 경계 라인으로부터의, 상기 생성되는 제2 좌표 정보의 거리에 따라서, 상기 선택 조작에 의한 스위칭 속도를 가변으로 제어한다. 이것에 의해, 유저의 직감에 맞는 선택 조작이 가능하게 된다.
스위칭 속도라 함은, 예를 들면 선택 대상이 음량이면 음량의 변경 속도, 선택 대상이 채널이면 채널의 변경 속도 등이며, 그 밖에 재생 속도, 빨리감기 속도, 스크롤 속도 등이다.
상기 기억 수단은, 복수의 상기 선택 조작 영역의 각각의 상기 가상 표시 영역을, 상기 제2 좌표계에 대응지음으로써, 복수의 상기 가상 표시 영역을 기억한다. 이 경우, 표시 제어 수단은, 복수의 상기 선택 조작 영역의 각각의 가상 표시 영역의 화상 데이터를 출력해도 좋고, 복수의 선택 조작 영역중 포인터의 표시 위치에 대응하는 일부의 가상 표시 영역의 화상 데이터만을 출력해도 좋다.
상기 표시 제어 수단은, 상기 입력 정보가, 상기 제1 좌표계의 단부의 라인으로서 상기 제2 좌표계와의 경계로 되는 경계 라인 상의 위치에 대응하는 제1 입력값으로부터, 상기 제2 좌표계의, 상기 경계 라인에 인접하는 영역 상의 위치에 대응하는 제2 입력값으로 바뀌었을 때, 상기 경계 라인 상에 상기 포인터가 표시되도록, 상기 포인터의 표시를 제어한다. 본 발명에서는, 제2 좌표 정보가 생성되고 있을 때는, 표시 제어 수단은, 그 경계 라인 상에 포인터를 정지(靜止)시켜서 표시시켜도 좋고, 후술하는 발명과 같이, 그 경계 라인 상에서 포인터를 이동시켜서 표시시켜도 좋다.
예를 들면, 경계 라인은 매크로적(거시적)으로 보아, 전형적으로는 직선이지만, 곡선이더라도 좋다. 제1 입력값은, 경계 라인 상의 좌표에 대응하는 값인 경우, 또는 실화면 상의, 경계 라인 이외의 좌표에 대응하는 값인 경우를 들 수 있다.
상기 표시 제어 수단은, 상기 생성 수단에 의해 생성되는 상기 제2 좌표 정보에 따라서, 상기 경계 라인 상에서 상기 제1 좌표값을 갱신함으로써, 상기 포인터를 상기 경계 라인 상에서 이동시키도록 상기 포인터의 표시를 제어한다. 이것에 의해, 유저는, 입력 장치에 의해 가상 화면 상을 포인팅하고 있는 경우에, 실화면 상의 경계 라인 상에서 표시되는 포인터의 위치를 봄으로써, 세로 방향 또는 가로 방향에서 그 가상 화면 상의 어느 위치를 포인팅하고 있는지를 인식할 수가 있다.
상기 표시 제어 수단은, 상기 제2 입력값의 변화에 따라서, 상기 경계 라인 상의 상기 포인터의 표시 양태(態樣)를 변화시켜도 좋다. 이것에 의해, 포인터가 가상 화면 내에 위치하고 있는 것, 및 포인터가 가상 화면 내의 어느 부근에 위치하고 있는지를 유저에게 인식시키는 것이 가능하게 된다. 포인터의 표시 양태의 변화에는, 포인터의 표시색의 변화, 포인터의 변형, 애니메이션화 등이 포함된다.
상기 표시 제어 수단은, 상기 제1 좌표계에 상기 포인터가 위치하는 것을 나타내는 상기 입력 정보의 제1 입력값으로부터, 상기 제2 좌표계에 상기 포인터가 위치하는 것을 나타내는 상기 입력 정보의 제2 입력값으로, 상기 입력 정보가 바뀌었을 때, 상기 포인터의 상태를, 상기 입력 정보에 비상관(非相關)인 처리를 실행하기 위한 신호를 발생해도 좋다.
비상관인 처리라 함은, 포인터의 표시를 없애는(消; hiding) 처리, 포인터를 표시시키거나 없애거나 하는(점멸(点滅)) 처리, 포인터를 실화면 상에서 정지시키는 처리, 포인터를 특정의 기호 또는 도형으로 변경하는 처리, 혹은 포인터가 입력 정보에 관계없이 특정의 움직임을 하는 처리 등을 들 수 있다.
제어 장치는, 상기 생성된 제1 좌표 정보가, 상기 제1 좌표계의 단부의 라인으로서 상기 제2 좌표계와의 경계로 되는 경계 라인 상에 있는지 여부를 판정하는 판정 수단과, 상기 제1 좌표 정보가 상기 경계 라인 상에 있는 경우, 상기 생성 수단에 의한 상기 제2 좌표 정보의 생성을 개시시키는 개시 수단을 더 구비한다.
예를 들면, 제어 장치는, 경계 라인의 좌표 데이터를 기억해 두고, 판정 수단은, 생성된 제1 좌표 정보가 기억된 좌표 데이터중, 어느것인가 하나에 일치하는지 여부에 의해 판정하면 좋다.
혹은, 제어 장치는, 상기한 바와 같이 생성된 제1 좌표 정보가, 경계 라인 상에 없어도, 상기 선택 조작 영역의 제2 영역내에 있는 경우에, 생성 수단에 의한 제2 좌표 정보의 생성을 개시시켜도 좋다.
제어 장치는, 상기 입력 장치의 버튼 조작에 따라서 출력되는 커맨드 신호를 수신하는 수신 수단과, 상기 수신된 커맨드 신호에 의거해서, 상기 포인터의 위치를 상기 실화면 상의 소정의 기준 위치에 대응시키는 교정 수단을 더 구비해도 좋다. 예를 들면, 포인터가 가상 화면의 외측의 영역에까지 도달할 만큼(정도로) 입력 장치가 크게 이동 조작된 경우, 화면 상에서의 포인터의 위치의 어긋남이 생길 수 있다. 이 경우, 상기 교정 수단에 의해 포인터 위치의 교정 처리가 실행됨으로써, 포인터의 표시 위치의 어긋남을 해소할 수 있고, 유저에 의한 직감적인 포인터의 이동 조작성을 확보할 수가 있다.
상기 표시 제어 수단은, 상기 포인터가 상기 기준 위치에 표시되었을 때에, 상기 포인터를 일시적으로 강조 표시하도록 해도 좋다. 이것에 의해, 유저에 대해서, 포인터의 위치가 교정된 것을 인식시키는 것이 가능하게 된다. 상기 강조 표시에는, 포인터의 하이라이트 표시나 확장 표시 등이 포함된다.
예를 들면, 상기 입력 장치는, 상기 입력 장치의 가속도값 및 상기 입력 장치의 각속도값중 적어도 한쪽에 의거해서, 상기 입력 장치의 속도값을 생성하고, 상기 속도값의 정보를 송신하는 공간 조작형 입력 장치이며, 상기 제어 장치는, 상기 송신된 속도값의 정보를 상기 입력 정보로서 수신하는 수신 수단을 더 구비한다.
각속도값에만 의거하여, 속도값이 생성되는 경우, 예를 들면 각속도값을 속도값으로 간주하여 출력할 수가 있다.
가속도값에만 의거하여, 속도값이 생성되는 경우, 가속도값이 적분 연산되는 것에 의해 속도값이 생성되면 좋다.
입력 장치가 각도 센서를 구비하는 경우, 그 각도 센서에 의해 얻어지는 각도값이 미분 연산됨으로써, 각속도값이 얻어진다. 입력 장치가, 각가속도 센서를 구비하는 경우, 그 각가속도 센서에 의해 얻어지는 각가속도값을 적분 연산함으로써, 각속도값이 얻어진다.
상기 입력 장치는, 상기 입력 장치의 가속도값 및 상기 입력 장치의 각속도값중 적어도 한쪽의 정보를 송신하는 공간 조작형 입력 장치이며, 상기 제어 장치는, 수신 수단과, 산출 수단을 더 구비할 수 있다. 상기 수신 수단은, 상기 송신된 가속도값 및 각속도값중 적어도 한쪽의 정보를 수신한다. 상기 산출 수단은, 상기 수신된 가속도값 및 각속도값중 적어도 한쪽의 정보에 의거하여, 상기 입력 장치의 속도값을 산출한다. 이 경우, 상기 생성 수단은, 상기 산출된 속도값의 정보를 상기 입력 정보로 해서, 상기 입력 정보에 따른 상기 제1 및 제2 좌표 정보를 생성한다.
본 발명에 따른 입력 장치는, 포인터의 표시를 제어하는 입력 장치로서, 케이싱(筐體)과, 상기 케이싱의 움직임을 검출하고, 상기 케이싱의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단과, 표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면의 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과, 상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단을 구비한다.
본 발명에 따른 제어 시스템은, 포인터의 표시를 제어하는 제어 시스템으로서, 입력 장치와 제어 장치를 구비한다. 입력 장치는, 케이싱과, 상기 케이싱의 움직임을 검출하고, 상기 케이싱의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단과, 상기 입력 정보를 송신하는 송신 수단을 가진다. 제어 장치는, 표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면의 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과, 상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단을 가진다.
본 발명에 따른 제어 방법은, 입력 장치의 움직임에 따른 입력 정보에 의거해서, 포인터의 표시를 제어하는 제어 방법으로서, 표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하고, 상기 실화면의 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성한다.
본 발명에 따른 핸드헬드 장치는, 케이싱과, 표시부와, 상기 케이싱의 움직임을 검출하고, 상기 케이싱의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단과, 상기 표시부에 표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면의 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과, 상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단을 구비한다.
[발명의 효과]
이상과 같이, 본 발명에 의하면, 입력 장치가 화면의 단부로부터 화면의 외측으로 움직였을 때에, 포인터의 표시 위치와 입력 장치의 상대 위치의 어긋남이 발생하는 것을 방지하고, 유저가 직감적인 조작감을 얻을 수가 있다.
도 1은 본 발명의 1실시형태에 따른 제어 시스템을 도시하는 도면,
도 2는 입력 장치를 도시하는 사시도,
도 3은 입력 장치의 내부 구성을 모식적으로 도시하는 도면,
도 4는 입력 장치의 전기적인 구성을 도시하는 블록도,
도 5는 표시 장치에 표시되는 화면의 예를 도시하는 도면,
도 6은 유저가 입력 장치를 쥔 모습을 도시하는 도면,
도 7은 입력 장치를 움직이게 하는 방법 및 이것에 의한 화면 상의 포인터의 움직임의 전형적인 예를 설명하기 위한 도면,
도 8은 센서 유닛을 도시하는 사시도,
도 9는 제어 시스템의 기본적인 동작을 도시하는 플로차트,
도 10은 제어 장치가 주요한 연산을 행하는 경우의 제어 시스템의 동작을 도시하는 플로차트,
도 11은 제어 장치의 제어에 따라서 표시 장치가 표시하는 화면의 1예를 도 시하는 도면,
도 12는 제어 시스템을 유저가 이용하는 경우에, 유저는, 입력 장치의 공간에서의 위치와, 전체 화면 상에서의 포인터의 위치와의 관계를 결정하기 위한 캘리브레이션 작업을 설명하기 위한 도면,
도 13은 제어 장치가, 실화면 및 가상 화면을 이용해서 포인터의 움직임을 제어할 때의 동작을 도시하는 플로차트,
도 14는 생성된 포인터의 좌표값이, 제1 좌표계로부터 경계 라인 -X를 넘어서 제2 좌표계로 들어갔을 때의, 가상 포인터 및 실(實)포인터의 움직임을 도시하는 도면,
도 15는 생성된 포인터의 좌표값이, 제1 좌표계로부터 경계 라인 +Y를 넘어서 제2 좌표계로 들어갔을 때의, 가상 포인터 및 실포인터의 움직임을 도시하는 도면,
도 16은 생성된 포인터의 좌표값이, 제1 좌표계로부터 경계 라인 -X를 넘어서 제2 좌표계로 들어가고, 또한 제2 좌표계의, 경계 라인 +Y의 아래쪽 영역까지 도달했을 때의, 가상 포인터 및 실포인터의 움직임을 도시하는 도면,
도 17은 본 발명의 다른 실시형태에 따른 화면이며, 제어 장치가 표시 장치에 표시시키는 화면을 도시하는 도면,
도 18은 화면 표시를 제어하는 제어 장치의 동작을 도시하는 플로차트,
도 19는 도 17에 도시하는 화면의 변형예,
도 20은 도 19에 도시한 화면에서의 제어 장치의 처리를 도시하는 플로차트,
도 21은 도 19에 도시한 화면에서의, 제어 장치의 다른 처리를 도시하는 플로차트,
도 22는 도 21에 도시한 처리를 설명하기 위한 전체 화면의 도면,
도 23은 본 발명의 다른 실시형태에 따른 화면이며, 제어 장치가 표시 장치에 표시시키는 화면을 도시하는 도면,
도 24는 본 발명의 다른 실시형태에 따른 화면이며, 제어 장치가 표시 장치에 표시시키는 화면을 도시하는 도면,
도 25는 본 발명의 다른 실시형태에 따른 화면이며, 제어 장치가 표시 장치에 표시시키는 화면을 도시하는 도면,
도 26은 본 발명의 다른 실시형태에 따른 화면이며, 제어 장치가 표시 장치에 표시시키는 화면을 도시하는 도면,
도 27은 화면에 표시되는 포인터의 다른 표시예를 설명하는 도면이며, (a)는 포인터의 표시색을 변화시킨 상태를 도시하고, (b)는 포인터의 형상을 변화시킨 상태를 도시하는 도면.
[부호의 설명]
1: 입력 장치, 2: 포인터(실포인터), 2': 가상 포인터, 5: 표시 장치, 10: 케이싱, 15: 각속도 센서 유닛, 16: 가속도 센서 유닛, 17: 센서 유닛, 19, 35: MPU, 40: 제어 장치, 95: 실화면, 96: 캘리브레이션 마크, 98, 99, 101, 102, 203∼206, 301∼304: 선택 조작 영역, 100: 제어 시스템.
이하, 본 발명의 실시형태를 도면을 참조하면서 설명한다.
도 1은, 본 발명의 1실시형태에 따른 제어 시스템을 도시하는 도면이다. 제어 시스템(100)은, 표시 장치(5), 제어 장치(40) 및 공간 조작형 입력 장치(1)를 포함한다.
도 2는, 공간 조작형 입력 장치(1)를 도시하는 사시도이다. 이 이후의 설명에서는, 공간 조작형 입력 장치를, 간단히 입력 장치라고 한다. 입력 장치(1)는, 유저가 잡을 수 있을 정도의 크기로 되어 있다. 입력 장치(1)는, 케이싱, 케이싱(10)의 상부에 설치된 예를 들면 2개의 버튼(11, 12), 회전식 휠 버튼(13) 등의 조작부를 구비하고 있다. 케이싱(10)의 상부 중앙 부근에 설치된 버튼(11)은, 예를 들면 PC에서 이용되는 입력 디바이스로서의 마우스의 왼쪽 버튼의 기능을 가지고, 버튼(11)에 인접하는 버튼(12)은 오른쪽 버튼의 기능을 가진다.
예를 들면, 버튼(11)을 길게 눌러서 입력 장치(1)를 이동시키는 것에 의해 「드래그 앤드 드롭」, 버튼(11)의 더블 클릭에 의해 파일을 여는 조작, 휠 버튼(13)에 의해 화면(3)의 스크롤 조작이 행해지도록 해도 좋다. 버튼(11, 12), 휠 버튼(13)의 배치, 발행되는 커맨드의 내용 등은, 적당히 변경가능하다.
도 3은, 입력 장치(1)의 내부 구성을 모식적으로 도시하는 도면이다. 도 4는, 입력 장치(1)의 전기적인 구성을 도시하는 블록도이다.
입력 장치(1)는, 센서 유닛(17), 제어 유닛(30), 배터리(14)를 구비하고 있다.
도 8은, 센서 유닛(17)을 도시하는 사시도이다. 센서 유닛(17)은, 서로 다른 각도, 예를 들면 직교하는 2축(X'축 및 Y'축)을 따른 가속도를 검출하는 가속도 센서 유닛(16)을 가진다. 즉, 가속도 센서 유닛(16)은, 제1 가속도 센서(161) 및 제2 가속도 센서(162)의 2개의 센서를 포함한다. 또, 센서 유닛(17)은, 그 직교하는 2축 둘레(周; 주위)의 각가속도를 검출하는 각속도 센서 유닛(15)을 가진다. 즉, 각속도 센서 유닛(15)은, 제1 각속도 센서(151) 및 제2 각속도 센서(152)의 2개의 센서를 포함한다. 이들 가속도 센서 유닛(16) 및 각속도 센서 유닛(15)은 패키징되고, 회로 기판(25) 상에 탑재되어 있다.
제1, 제2 각속도 센서(151, 152)로서는, 각속도에 비례한 코리올리힘을 검출하는 진동형 자이로 센서가 이용된다. 제1, 제2 가속도 센서(161, 162)로서는, 피에조 저항형, 압전형, 정전 용량형 등, 어떠한 타입의 센서이더라도 좋다. 각속도 센서(151 또는 152)로서는, 진동형 자이로 센서에 한정되지 않으며, 회전 코마(rotary top) 자이로 센서, 레이저 링 자이로 센서, 혹은 가스 레이트 자이로 센서 등이 이용되어도 좋다.
도 2 및 도 3의 설명에서는, 편의상, 케이싱(10)의 긴쪽(長手) 방향을 Z' 방향으로 하고, 케이싱(10)의 두께 방향을 X' 방향으로 하며, 케이싱(10)의 폭방향을 Y' 방향으로 한다. 이 경우, 상기 센서 유닛(17)은, 회로 기판(25)의, 가속도 센서 유닛(16) 및 각속도 센서 유닛(15)을 탑재하는 면이 X'-Y' 평면과 실질적으로 평행하게 되도록, 케이싱(10)에 내장되고, 상기한 바와 같이, 양(兩)센서 유닛(16, 15)은 X축 및 Y축의 2축에 관한 물리량을 검출한다. 본 명세서중에서는, 입력 장 치(1)와 함께 움직이는 좌표계, 다시 말해 입력 장치(1)에 고정된 좌표계를 X'축, Y'축, Z'축으로 나타낸다. 한편, 지구상에서 정지한 좌표계, 다시 말해 관성 좌표계를 X축, Y축, Z축으로 나타낸다. X'축(피치축) 및 Y'축(요축)을 포함하는 평면이 가속도 검출면, 다시 말해 회로 기판(25)의 주면(主面)과 실질적으로 평행한 면(이하, 간단히 검출면이라고 한다)이다. 또, 이후의 설명에서는, 입력 장치(1)의 움직임에 관하여, X'축 둘레의 회전 방향을 피치 방향, Y'축 둘레의 회전 방향을 요 방향이라고 하고, Z'축(롤축) 방향 둘레의 회전 방향을 롤 방향이라고 하는 경우도 있다.
제어 유닛(30)은, 메인 기판(18), 메인 기판(18) 상에 마운트된 MPU(19)(Micro Processing Unit)(혹은, CPU), 수정 발진기(20), 송수신기(21), 메인 기판(18) 상에 프린트된 안테나(22)를 포함한다.
MPU(19)는, 필요한 휘발성 및 불휘발성 메모리를 내장하고 있다. MPU(19)는, 센서 유닛(17)에 의한 검출 신호, 조작부에 의한 조작 신호 등을 입력하고, 이들 입력 신호에 따른 소정의 제어 신호를 생성하기 위해서, 각종 연산 처리 등을 행한다. 상기 메모리는, MPU(19)와는 별체(別體)로 설치되어 있어도 좋다. MPU(19) 대신에, DSP(Digital Signal Processor), FPGA(Field Programmable Gate Array) 등이 이용되어도 좋다.
전형적으로는, 센서 유닛(17)이 아날로그 신호를 출력하는 것이다. 이 경우, MPU(19)는, A/D(Analog/Digital) 컨버터를 포함한다. 그러나, 센서 유닛(17)이 A/D 컨버터를 포함하는 유닛이더라도 좋다.
송수신기(21)는, MPU(19)에서 생성된 제어 신호(입력 정보)를 RF 무선 신호로서, 안테나(22)를 거쳐서 제어 장치(40)에 송신한다. 또, 송수신기(21)는, 제어 장치(40)로부터 송신된 각종 신호를 수신하는 것도 가능하게 되어 있다.
수정 발진기(20)는, 클럭을 생성하고, 이것을 MPU(19)에 공급한다. 배터리(14)로서는, 건전지 또는 충전식 전지 등이 이용된다.
제어 장치(40)는, MPU(35)(혹은, CPU), RAM(36), ROM(37), 비디오 RAM(41), 표시 제어부(42), 안테나(39) 및 송수신기(38) 등을 포함한다.
송수신기(38)는, 입력 장치(1)로부터 송신된 제어 신호(입력 정보)를, 안테나(39)를 거쳐서 수신한다. 또, 송수신기(38)는, 입력 장치(1)에 소정의 각종 신호를 송신하는 것도 가능하게 되어 있다. MPU(35)는, 그 제어 신호를 해석하고, 각종 연산 처리를 행한다. 표시 제어부(42)는, MPU(35)의 제어에 따라서, 주로 표시 장치(5)의 화면(3) 상에 표시하기 위한 화면 데이터를 생성한다. 비디오 RAM(41)은, 표시 제어부(42)의 작업 영역으로 되며, 생성된 화면 데이터를 일시적으로 저장(格納)한다.
제어 장치(40)는, 입력 장치(1) 전용의 기기이더라도 좋지만, PC 등이더라도 좋다. 제어 장치(40)는, 입력 장치(1) 전용의 기기에 한정되지 않으며, 표시 장치(5)와 일체로 된 컴퓨터이더라도 좋고, 오디오/비주얼 기기, 프로젝터, 게임 기기, 또는 자동차 내비게이션 기기 등이더라도 좋다.
표시 장치(5)는, 예를 들면 액정 디스플레이, EL(Electro-Luminescence) 디스플레이 등을 들 수 있지만, 이들에 한정되지 않는다. 혹은, 표시 장치(5)는, 텔 레비전 방송 등을 수신할 수 있는 디스플레이와 일체로 된 장치이더라도 좋고, 이와 같은 디스플레이와 상기 제어 장치(40)가 일체로 된 장치이더라도 좋다.
도 5는, 표시 장치(5)에 표시되는 화면(3)의 예를 도시하는 도면이다. 화면(3) 상에는, 아이콘(4)이나 포인터(2) 등의 UI가 표시되어 있다. 아이콘이라 함은, 컴퓨터 상의 프로그램의 기능, 실행 커맨드, 또는 파일의 내용 등이 화면(3) 상에서 화상화된 것이다. 또한, 화면(3) 상의 수평 방향을 X축 방향으로 하고, 수직 방향을 Y축 방향으로 한다.
도 6은, 유저가 입력 장치(1)를 쥔 모습을 도시하는 도면이다. 도 6에 도시하는 바와 같이, 입력 장치(1)는, 상기 버튼(11, 12, 13) 외에, 예를 들면 텔레비전 등을 조작하는 리모트 컨트롤러에 설치되는 바와 같은 각종 조작 버튼이나 전원 스위치 등을 구비하고 있어도 좋다. 이와 같이 유저가 입력 장치(1)를 쥔 상태에서, 입력 장치(1)를 공중에서 이동시키거나, 혹은 조작부를 조작하는 것에 의해 그 입력 정보가 제어 장치(40)에 출력되고, 제어 장치(40)에 의해 UI가 제어된다.
다음에, 입력 장치(1)를 움직이게 하는 방법 및 이것에 의한 화면(3) 상의 포인터(2)의 움직임의 전형적인 예를 설명한다. 도 7은 그의 설명도이다.
도 7의 (a), (b)에 도시하는 바와 같이, 유저가 입력 장치(1)를 쥔 상태에서, 입력 장치(1)의 버튼(11, 12)이 배치되어 있는 측을 표시 장치(5) 측으로 향하게 한다. 유저는, 엄지 손가락을 위로 하고 새끼 손가락을 아래로 한 상태, 이른바 악수하는 상태로 입력 장치(1)를 쥔다. 이 상태에서, 센서 유닛(17)의 회로 기판(25)(도 8 참조)은, 표시 장치(5)의 화면(3)에 대해서 평행에 가깝게 되며, 센서 유닛(17)의 검출축인 2축이, 화면(3) 상의 수평축(X축)(피치축) 및 수직축(Y축)(요 축)에 대응하도록 된다. 이하, 이와 같은 도 7의 (a), (b)에 도시하는 입력 장치(1)의 자세를 기본 자세라고 한다.
도 7의 (a)에 도시하는 바와 같이, 기본 자세의 상태에서, 유저가 손목이나 팔을 상하 방향, 또는 피치 방향으로 흔든다. 이 때, 제2 가속도 센서(162)는, Y축 방향의 가속도(제2 가속도)를 검출하고, 제1 각속도 센서(151)는, 각도 관련값으로서 Y축 둘레의 각속도(제1 각속도) ωΦ를 검출한다. 이들 검출값에 의거해서, 제어 장치(40)는, 포인터(2)가 Y축 방향으로 이동하도록 그 포인터(2)의 표시를 제어한다.
한편, 도 7의 (b)에 도시하는 바와 같이, 기본 자세의 상태에서, 유저가 손목이나 팔을 좌우 방향, 또는 요 방향으로 흔든다. 이 때, 제1 가속도 센서(161)는, X축 방향의 가속도(제1 가속도)를 검출하고, 제2 각속도 센서(152)는, 각도 관련값으로서 X축 둘레의 각속도(제2 각속도) ωΦ를 검출한다. 이들 검출값에 의거해서, 제어 장치(40)는, 포인터(2)가 X축 방향으로 이동하도록 그 포인터(2)의 표시를 제어한다.
다음에, 이상과 같이 구성된 제어 시스템(100)의 기본적인 동작을 설명한다. 도 9는, 그 동작을 도시하는 플로차트이다.
입력 장치(1)에 전원이 투입된다. 예를 들면, 유저가 입력 장치(1) 또는 제어 장치(40)에 설치된 전원 스위치 등을 넣는 것에 의해, 입력 장치(1)에 전원이 투입된다. 전원이 투입되면, 각속도 센서 유닛(15)으로부터 2축의 각속도 신호가 출력된다. MPU(19)는, 이 2축의 각속도 신호에 의한 제1 각속도값 ωΦ 및 제2 각속도값 ωθ를 취득한다(스텝 101).
또, 입력 장치(1)에 전원이 투입되면, 가속도 센서 유닛(16)으로부터 2축의 가속도 신호가 출력된다. MPU(19)는, 이 2축의 가속도 신호에 의한 제1 가속도값 ax 및 제2 가속도값 ay를 취득한다(스텝 102). 이 가속도값의 신호는, 전원이 투입된 시점에서의 입력 장치(1)의 자세(이하, 초기 자세라고 한다)에 대응하는 신호이다. 초기 자세는, 도 7에 도시한 기본 자세인 경우도 있고, 혹은 도 11 또는 도 12에 도시한 바와 같이, 스탠드 자세인 경우도 있다.
또한, MPU(19)는, 전형적으로는 스텝 101 및 102를 소정의 클럭 주기마다 동기해서 행한다.
또한, 도 9 등에서는, 각속도 센서 유닛에 의해 각속도 신호를 취득한 후에 가속도 센서 유닛에 의해 가속도 신호를 취득하는 양태로 되어 있다. 그러나, 이 순번(順番)에 한정되는 것은 아니고, 가속도 신호를 취득한 후에 각속도 신호를 취득하는 양태로 하는 것도 가능하며, 가속도 신호와 각속도 신호를 병렬로(동시에) 취득하는 양태로 하는 것도 가능하다(이하, 도 10에서 마찬가지).
MPU(19)는, 가속도값(ax, ay) 및 각속도값(ωΦ, ωθ)에 의거해서, 소정의 연산에 의해 속도값(제1 속도값 Vx, 제2 속도값 Vy)을 산출한다(스텝 103). 제1 속도 값 Vx는 X축을 따르는 방향의 속도값이며, 제2 속도값 Vy는 Y축을 따르는 방향의 속도값이다. 이 점에서, 적어도 센서 유닛(17), 또는 MPU(19) 및 센서 유닛(17)은, 포인터(2)를 화면(3) 상에서 이동시키기 위한, 케이싱(10)의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단으로서 기능한다.
속도값(Vx, Vy)의 산출 방법으로서, 본 실시 형태에서는, MPU(19)는, 가속도값(ax, ay)을, 각가속도값(ΔωΦ, Δωθ)으로 나눔으로써 입력 장치(1)의 움직임의 회전 반경(RΦ, Rθ)을 구한다. 이 경우, 그 회전 반경(RΦ, Rθ)에 각속도값(ωΦ, ωθ)이 곱해지는 것에 의해 속도값(Vx, Vy)을 얻을 수 있다. 회전 반경(RΦ, Rθ)은, 가속도의 변화율(Δax, Δay)을, 각가속도의 변화율(Δ(ΔωΦ), Δ(Δωθ))로 나눔으로써 구해져도 좋다.
상기 산출 방법에 의해, 속도값이 산출됨으로써, 유저의 직감에 합치한 입력 장치(1)의 조작감이 얻어지고, 또 화면(3) 상의 포인터(2)의 움직임도 입력 장치(1)의 움직임에 정확하게 합치한다.
또한, 속도값(Vx, Vy)은, 반드시 상기 산출 방법에 의해, 산출되지 않아도 좋다. 예를 들면, MPU(19)는, 예를 들면 가속도값(ax, ay)을 적분해서 속도값을 구하고, 또한 각속도값(ωΦ, ωθ)을 그 적분 연산의 보조로서 이용하는 방법이 채용되어도 좋다. 혹은, 가속도값(ax, ay)이 단순히 적분되어 속도값(Vx, Vy)이 산출되 어도 상관없다. 혹은, 검출된 각속도값(ωΦ, ωθ)을 그대로 케이싱의 속도값(Vx, Vy)으로서 이용해도 좋다. 검출된 각속도값(ωΦ, ωθ)을 시간 미분함으로써 각가속도값(ΔωΦ, Δωθ)을 구할 수 있고, 이것을 케이싱의 가속도값으로서 이용하는 것도 가능하다.
MPU(19)는, 구한 속도값(Vx, Vy)의 정보를, 입력 정보로서 송수신기(21) 및 안테나(22)를 거쳐서 제어 장치(40)에 송신한다(스텝 104).
제어 장치(40)의 MPU(35)는, 안테나(39) 및 송수신기(38)를 거쳐서, 속도값(Vx, Vy)의 정보를 수신한다(스텝 105). 입력 장치(1)는, 소정의 클럭마다, 다시 말해 단위 시간마다 속도값(Vx, Vy)을 송신하므로, 제어 장치(40)는, 이것을 수신하고, 단위 시간마다의 X축 및 Y축 방향의 변위량을 취득할 수가 있다.
MPU(35)는, 하기의 식 (1), (2)에 의해, 취득한 단위 시간당의 X축 및 Y축 방향의 변위량에 따른, 포인터(2)의 화면(3) 상에서의 좌표값(X(t), Y(t))(좌표 정보)를 생성한다(스텝 106)(생성 수단). 이 좌표값의 생성에 의해, MPU(35)는, 포인터(2)가 화면(3) 상에서 이동하도록 표시를 제어한다(스텝 107).
Figure 112009046344262-PCT00001
도 9에서는, 입력 장치(1)가 주요한 연산을 행해서 속도값(Vx, Vy)을 산출하고 있었다. 도 10에 도시하는 실시형태에서는, 제어 장치(40)가 주요한 연산을 행 한다.
도 10에 도시하는 바와 같이, 스텝 201 및 202는, 스텝 101 및 102와 마찬가지 처리이다. 입력 장치(1)가, 예를 들면 센서 유닛(17)으로부터 출력된 2축의 가속도값 및 2축의 각속도값인 검출값의 정보를 제어 장치(40)에 송신한다(스텝 203). 제어 장치(40)의 MPU(35)는, 이 검출값의 정보를 수신하고(스텝 204), 스텝 103, 106 및 107과 마찬가지 처리를 실행한다(스텝 205∼207).
다음에, 본 발명의 1실시형태의 주요한 부분에 대해서 설명한다.
도 11은, 상기 제어 장치(40)에 의해 그 표시가 제어되는, 표시 장치(5)가 표시하는 화면의 1예를 도시하는 도면이다.
제어 장치(40)의 MPU(35)는, 실화면(95) 및 이 실화면(95) 상에서의 포인터(2)의 표시를 제어한다. 또, MPU(35)는, 실화면(95) 주위에 설정된 가상 화면(105) 상에서의 포인터(2)의 움직임을 제어한다.
실화면(95)은, 표시 장치(5)가 실제로 표시하는 화면이다. 가상 화면(105)은, 표시 장치(5)에 표시되지 않고, 제어 장치(40)가 기억하는 가상적인 화면이다. 실화면(95)의 가로 및 세로의 픽셀 수가 각각 Xr, Yr로 되어 있다. 가상 화면(105)의 가로 및 세로의 픽셀 수가 각각 Xv, Yv로 되어 있다.
(Xr, Yr)로서는, 예를 들면 (1280, 1024), (1920, 1080), (2048, 1152) 등, 여러 가지이며, 이들에 한정되지 않는다.
(Xv, Yv)로서는, (Xr, Yr)보다 크면 좋고, 예를 들면 (Xr, Yr)이 (800, 600)일 때, (Xv, Yv)는 예를 들면 (1280, 1024) 또는 그 이상(또는 그 이하)의 크기이 다. 혹은, (Xr, Yr)이 (1920, 1080)일 때, (Xv, Yv)는 (3920, 3080) 등이다. 그러나, (Xr, Yr)과 (Xv, Yv)와의 조합은 무엇이더라도 좋다.
MPU(35)는, 실화면(95) 상에서의 포인터(2)의 좌표값을 생성하는 경우, 실화면(95) 상의 직교 좌표계(제1 좌표계)를 이용해서 좌표값을 생성한다. 또, 마찬가지로 MPU(35)는, 가상 화면(105) 상에서의 포인터(2)의 좌표값을 생성하는 경우, 가상 화면(105) 상의 직교 좌표계(제2 좌표계)를 이용해서 좌표값을 생성한다. 적어도 실화면(95)의 단부 라인으로서, 제2 좌표계와의 경계 라인(후술한다) 상의 좌표는, 제1 및 제2 좌표계가 중합하도록 설정되어도 좋다.
제2 좌표계는, 제1 좌표계에 연속하는(혹은, 제1 좌표계에 상대적인) 좌표계이다. 예를 들면, 실화면(95)의 4개의 코너의 좌표값이 각각 (0, 0), (x1, 0), (0, y1), (x1, y1)이라고 한다. 가상 화면(105)의 4개의 코너의 좌표값이 각각 (-x2, -y2), (x1+x2, -y2), (-x2, y1+y2), (x1+x2, y1+y2)라고 한다. 이 경우, 가상 화면(105)은, 가로 방향으로 x2의 수 배의 픽셀 수분(수만큼), 실화면(95)보다 크고, 세로 방향으로 y2의 수 배의 픽셀 수분, 실화면(95)보다 커진다. MPU(35)는, 이 실화면(95) 및 가상 화면(105)의 제1 및 제2 좌표계의 데이터를, ROM(37), RAM(36), 또는 그 밖의 메모리에 저장한다.
혹은, MPU(35)는, 제2 좌표계의 적어도 일부의 영역이 제1 좌표계와 중합하는 좌표계라고 해서, 양좌표계의 데이터를 메모리에 저장해도 좋다. 즉, 실화면(95)의 제1 좌표계의 데이터와, 이 실화면(95)의 좌표 범위의 일부(예를 들면, 단부의 경계 라인) 또는 전부를 포함하는 가상 화면(105)의 제2 좌표계의 데이터 를, 메모리에 저장해도 좋다.
또한, 이후에서는, 실화면(95) 및 가상 화면(105)을 포함하는 화면을 전체 화면(155)이라고 한다.
도 12는, 이와 같은 제어 시스템(100)을 유저가 이용하는 경우에, 유저는, 입력 장치(1)의 공간에서의 위치와, 전체 화면(155) 상에서의 포인터(2)의 위치와의 관계를 결정하기 위한 캘리브레이션 작업을 설명하기 위한 도면이다.
예를 들면, 제어 장치(40)의 MPU(35)는, 실화면(95) 상의 일부, 예를 들면 중심 위치에 소정의 도형 또는 마크(이하, 캘리브레이션 마크라고 한다)(96)를 표시한다. 이 캘리브레이션 마크(96)는, 어떤 소정의 픽셀 범위(영역)에 표시되는 것이다. 캘리브레이션 마크(96)의 표시 위치(기준 위치)는, 실화면(95)의 중심 위치에 한정되지 않고, 예를 들면 실화면(95)의 4개의 코너(97)중 적어도 하나이더라도 좋다. 혹은, 캘리브레이션 마크(96)의 표시 위치는, 중앙 위치와, 4개의 코너(97)중 적어도 하나의 2점(点) 이상이더라도 좋다.
예를 들면, 적어도 2점의 캘리브레이션 마크(96)에 의한 캘리브레이션에 의해, 다음과 같은 효과도 얻어진다. MPU(35)는, 그 2점 사이의 픽셀 수와, 2점 사이의 포인터의 이동 속도(또는, 그의 적분값)를 대비함으로써, 입력 장치(1)의 이동 속도에 대한, 그 이동 분의 픽셀 수 등의 캘리브레이션을 할 수도 있다. 즉, 유저가 어느 정도의 속도로(또는, 어느 정도의 거리로) 입력 장치(1)를 움직이게 하면, 포인터가 어느 정도의 거리(픽셀 수)를 이동하는지의 캘리브레이션이 가능하게 된다. 그 결과, 유저의 조작감을 더 향상시킬 수가 있다.
유저는, 예를 들면 도 7에 도시한 바와 같은 기본 자세로 입력 장치(1)를 쥐고, 케이싱(10)을 움직이게 함으로써, 입력 장치(1)를 캘리브레이션 마크(96)의 표시 위치로 향하게 한다. 유저는, 입력 장치(1)를 캘리브레이션 마크(96)를 향하게 한 상태에서, 예를 들면 버튼(11), 또는 그 밖의 버튼 등을 누르는 것에 의해, 입력 장치(1)로부터 결정 커맨드 신호를 발생시킨다.
결정 커맨드 신호는, 제어 장치(40)에 송신되고, 제어 장치(40)는 이것을 수신한다. 제어 장치(40)의 MPU(35)는, 입력 장치(1)가 캘리브레이션 마크(96)로 향해진 상태에서 결정 커맨드 신호를 수신하면, 포인터(2)의 위치를 캘리브레이션 마크(96)에 대응시키는 처리를 실행한다(교정 수단). 그 결과, 포인터(2)가 캘리브레이션 마크(96)의 표시 위치에 표시된다(혹은, 이동한다). MPU(35)는, 현재의 포인터(2)의 위치가, 실화면(95)의 중앙 위치인 것을 나타내는 신호로서 이것을 메모리에 기억한다. 이것에 의해, MPU(35)는, 입력 장치(1)의 움직임이, 실화면(95)에 대해서는 공간에서 의사적으로 절대 위치를 나타내는 것으로 해서 포인터(2)의 움직임을 제어한다. 즉, 입력 장치(1)와 전체 화면(155)과의 위치 관계는 상대적으로 되지만, 입력 장치(1)는, 실화면(95)에 대해서는 공간에서 절대적인 위치 관계로 된다.
또한, 상기와 마찬가지 방법에 의해, 실화면(95) 상의 네 모서리의 어느것인가 또는 전부의 위치에 캘리브레이션 마크를 표시시킴으로써, 해당 위치에서의 포인터(2)의 표시 위치를 교정해도 좋다.
MPU(35)는, 포인터(2)가 캘리브레이션 마크(96) 상에 표시되었을 때에, 포인 터(2)를 일시적으로 강조 표시시켜도 좋다. 이것에 의해, 포인터(2)의 표시 위치가 교정된 것을 유저에게 인식시킬 수 있다. 포인터(2)의 강조 표시로서는, 포인터(2)의 하이라이트 표시, 확장 표시 등이 포함된다.
또한, 제어 장치(40)는, 예를 들면 표시 장치(5)에 전기적으로 접속된 시점에서, 표시 장치(5)의 디바이스 정보(화면 정보, 그 밖의 서지적(書誌的) 정보 등)를 취득한다.
다음에, 제어 장치(40)가, 이와 같은 실화면(95) 및 가상 화면(105)을 이용해서 포인터(2)의 움직임을 제어할 때의 동작에 대해서 설명한다. 도 13은, 그 플로차트이다.
상기와 같이 캘리브레이션이 종료하고, MPU(35)는, 입력 장치(1)로부터의 입력 정보에 의거해서 생성한 포인터(2)의 좌표값이, 제1 좌표계의 경계 라인에 도달했는지 여부를 판정한다(스텝 301).
경계 라인이라 함은, 제1 좌표계의 단부 라인으로서, 제2 좌표계와의 경계 라인이다. 도 11에서는, 좌표 (0, 0)으로부터 (x1, 0)까지, 및 (0, y1)로부터 (x1, y1)까지의 가로의 2개 라인(+Y 및 -Y)과, 또 좌표 (0, 0)으로부터 (0, y1)까지, 및 (x1, 0)으로부터 (x1, y1)까지의 세로의 2개 라인(-X 및 +X)중, 어느것인가 하나의 라인이다.
혹은, 경계 라인은, 어느 정도의 폭을 가진 라인, 다시 말해 2이상의 픽셀 분의 폭을 가지는 라인으로서 설정되어도 좋다.
MPU(35)는, 스텝 301에서, 포인터(2)의 좌표값이 제1 좌표계의 경계 라인에 도달하지 않는 경우, 스텝 302로 진행한다. 스텝 302에서는, MPU(35)는, 포인터(2)는 제1 좌표계에 있으므로, 그 좌표값에 따라서 포인터(2)를 표시한다.
이후의 설명에서는, 이해를 용이하게 하기 위해, 실화면(95) 상에서 표시되는 포인터(2)를 실포인터라고 하는 경우도 있다. 또, 가상 화면(105) 상에서 관리되는 포인터를 가상 포인터(2')라고 하는 경우도 있다.
스텝 301에서, 포인터(2)의 좌표값이 제1 좌표계의 경계 라인에 도달한 경우, MPU(35)는, 실포인터(2)와 가상 포인터(2')를 별도(따로) 관리한다(스텝 303). 본 실시형태에서는, MPU(35)는, 스텝 303에서는, 제2 좌표계에 의한 가상 포인터(2')의 좌표값의 생성을 개시하고, 실포인터를 경계 라인에서 표시시킨 채, 제2 좌표계에서 가상 포인터(2')의 좌표 관리를 행한다.
MPU(35)는, 포인터(2)의 좌표값이 4개의 경계 라인 -Y, -X, +Y, +X중 어느 경계 라인에 속하는 좌표값인지를 판정한다(스텝 304, 306, 308).
그 좌표값이 경계 라인 -Y에 속하는 경우, 가상 포인터(2')의 좌표값(xa, 0-δy)을 메모리에 기억한다. 또, 그 경우, 실포인터(2)의 좌표값을 (xa, 0)으로서 표시한다(스텝 305). 여기서, xa는 변화하는 값이다.
도 15는, 예를 들면 좌표값이, 제1 좌표계로부터 경계 라인 -Y를 넘어서 제2 좌표계에 들어갔을 때의, 가상 포인터(2') 및 실포인터(2)의 움직임을 도시하는 도면이다(스텝 304 및 305에 대응). 이 경우, 경계 라인 -Y 상에 있는 실포인터(2)가 (x, 0)으로부터, -δx, -δy만큼 움직인 모습이 도시되어 있다. 이 경우도 마찬가지로, MPU(35)는, 실포인터(2)의 좌표값을 (x, 0)으로부터 (x-δx, 0)으로 이 동하도록 포인터(2)의 표시를 제어한다.
그 좌표값이 경계 라인 -X에 속하는 경우, 가상 포인터(2')의 좌표값(0-δx, ya)을 메모리에 기억한다. 또, 그 경우, 실포인터(2)의 좌표값을 (0, ya)로서 표시한다(스텝 307). 여기서, ya는 변화하는 값이다.
도 14는, 예를 들면 생성된 좌표값이, 제1 좌표계로부터 경계 라인 -X를 넘어서 제2 좌표계에 들어갔을 때의, 가상 포인터(2') 및 실포인터(2)의 움직임을 도시하는 도면이다(스텝 306 및 307에 대응). 이 경우, 경계 라인 -X 상에 있는 실포인터(2)가 (0, y)로부터, -δx, +δy만큼 움직인 모습이 도시되어 있다(입력 장치(1)로부터의 입력 정보의 제1 입력값에 대응하는 좌표값으로부터, 제2 입력값에 대응하는 좌표값까지 움직인 모습이 도시되어 있다). 이 경우, MPU(35)는, 실포인터(2)의 좌표값을 (0, y)로부터 (0, y+δy)로 이동하도록 포인터(2)의 표시를 제어한다. 즉, 경계 라인 -X 상에 있는 실포인터(2)의 좌표값은, 가상 화면(105) 상의 가상 포인터(2')의 좌표값의 기억의 갱신에 대응해서, 갱신된다.
이것에 의해, 유저는, 가상 화면(105) 상을 포인팅하고 있는 경우에, 실화면(95) 상의 경계 라인상에서 표시되는 포인터(2)의 위치를 봄으로써, 세로 방향 또는 가로 방향에서 그 가상 화면(105) 상의 어느 위치를 포인팅하고 있는지를 인식할 수가 있다.
도 13의 설명으로 되돌아온다. 스텝 308에서, 좌표값이 경계 라인 +Y에 속하는 경우, 가상 포인터(2')의 좌표값(xa, y1+δy)을 메모리에 기억한다. 또, 그 경우, 실포인터(2)의 좌표값을 (xa, y1)로서 표시한다. 여기서, xa는 변화하는 값 이다.
그 좌표값이 경계 라인 +X에 속하는 경우, 가상 포인터(2')의 좌표값(x1+δx, ya)을 메모리에 기억한다. 또, 그 경우, 실포인터(2)의 좌표값을 (x1, ya)로서 표시한다(스텝 310). 여기서, ya는 변화하는 값이다.
MPU(35)는, 다음에 생성된 포인터의 좌표값이, 제2 좌표계로부터 제1 좌표계의 경계 라인에 도달했는지 여부를 판정한다(스텝 311). NO인 경우, 스텝 303부터의 처리가 반복된다. 그 후의 스텝 305, 307, 309, 310에서는, 메모리에 기억된 가상 포인터(2')의 좌표값이, 새로운 가상 포인터(2')의 좌표값으로 갱신된다.
스텝 311에서 YES인 경우, MPU(35)는, 그 좌표값이 제1 좌표계의 경계 라인 이외의 영역에 도달했는지를 판정하고(스텝 312), YES인 경우, 스텝 302로부터의 처리를 반복한다.
도 16은, 예를 들면 좌표값이, 제1 좌표계로부터 경계 라인 -X를 넘어서 제2 좌표계에 들어가고, 또한 제2 좌표계의, 경계 라인 -Y의 아래쪽 영역까지 도달했을 때의, 가상 포인터(2') 및 실포인터(2)의 움직임을 도시하는 도면이다. 이 상태는, 상기 스텝 306∼309에 대응한다.
이상과 같이, 실화면(95) 뿐만 아니라, 그 실화면(95) 주위에 설정된 가상 화면(105)에서도, 가상 포인터(2')의 좌표가 생성되고, 기억된다. 이것에 의해, 유저는, 예를 들면 실화면(95)의 외측에서 입력 장치(1)가 움직인 분만큼, 입력 장치를 예를 들면 역(逆)방향으로 움직이게 하는 것에 의해, 실화면(95)의 경계 라인에 도달한 포인터(2)의 실화면(95) 상에서의 이동을 재개시킬 수 있다. 이것에 의 해, 포인터(2)의 표시 위치와 입력 장치(1)의 상대 위치의 어긋남을 방지할 수 있다. 다시 말해, 좁은 화면에 속박되는 일이 없이, 의사적인 절대 좌표계에서 포인터의 좌표값이 생성되므로, 유저는, 직감적으로 스트레스 없이 입력 장치(1)를 조작할 수가 있다.
또, 예를 들면 포인터가 가상 화면의 외측 영역에까지 도달할 만큼(정도로) 입력 장치가 크게 이동 조작된 경우, 화면 상에서의 포인터의 위치 어긋남이 생길 수 있다. 이 경우, 상기 교정 수단에 의해 포인터 위치의 교정 처리가 실행됨으로써, 포인터의 표시 위치의 어긋남을 해소할 수 있으며, 유저에 의한 직감적인 포인터의 이동 조작성을 확보할 수가 있다.
다음에, 본 발명의 다른 실시형태에 대해서 설명한다. 도 17은, 제어 장치(40)가 표시 장치(5)에 표시시키는, 다른 실시형태에 따른 화면을 도시하는 도면이다.
제어 장치(40)가 표시 장치(5)에 표시시키는 실화면(95)의 4개의 코너에는, 소정의 아이콘(98a, 99a, 101a 및 102a)을 포함한다. 이들 복수의 아이콘(98a, 99a, 101a 및 102a)은, 유저의 입력 장치(1)에 의한 선택 조작의 대상으로 되는 선택 조작 영역의 일부(실표시 영역)의 화상 데이터이다.
제어 장치(40)는, 이들 아이콘(98a, 99a, 101a 및 102a)에 각각 연속하는 선택 조작 영역의 일부(가상 표시 영역)(98b, 99b, 101b 및 102b)를, 가상 화면(105)의 제2 좌표계에 대응짓도록 해서, 이들 영역을 RAM(36), ROM(36), 또는 그 밖의 기억 디바이스에 기억하고 있다. 제어 장치(40)는, 상기 실표시 영역 및 가상 표 시 영역을 포함하는 선택 조작 영역(98, 99, 101 및 102)에 표시되는 화상 데이터를 생성한다. 본 실시형태에서는, 실화면(95)에 아이콘(98a, 99a, 101a 및 102a)을 항상 표시시키지만, 후술하는 바와 같이, 이것에 한정되지 않는다.
선택 조작 영역(98)은, 예를 들면 텔레비전 방송 등의 채널 업을 위한 조작 영역이다. 선택 조작 영역(99)은, 그 채널 다운을 위한 조작 영역이다. 선택 조작 영역(101)은, 음성 출력의 볼륨 업을 위한 조작 영역이다. 선택 조작 영역(102)은, 그 음성 출력의 볼륨 다운을 위한 조작 영역이다. 선택 조작 영역(98, 99, 101, 102)은, 예를 들면 직사각형 모양(矩形狀; rectangular)으로 설정되어 있다. 그러나, 그들의 외형이 곡선 부분을 가지고 있어도 좋고, 모든 형상으로 설정의 변경이 가능하다.
도 18은, 본 실시형태에서의 제어 장치(40)의 동작을 도시하는 플로차트이다.
MPU(35)는, 상기한 캘리브레이션 후, 생성된 포인터(2)의 좌표값이 제1 좌표계의 경계 라인에 도달했는지 여부를 판정한다(스텝 401). NO인 경우, 도 13의 처리와 마찬가지로, MPU(35)는, 스텝 402로 진행한다.
여기서, MPU(35)는, 그 좌표값이, 아이콘(98a, 99a, 101a 및 102a)중 어느것인가 하나의 영역내에 있는지 여부를 판정해도 좋다(스텝 403). 이 경우, MPU(35)는, 그 좌표값이 그 영역내에 없는 경우, 스텝 402로 진행하면 좋다. 이 스텝 403의 판정 처리는 없어도 좋다.
스텝 401에서 YES인 경우, 도 13의 처리와 마찬가지로, MPU(35)는, 스텝 404 로 진행하고, MPU(35)는, 제2 좌표계에 의한 가상 포인터(2')의 좌표값의 생성을 개시한다. 스텝 405에서는, 예를 들면 MPU(35)는, 실포인터(2)를 경계 라인 상에 남겨서 그것을 정지시키거나, 또는 그 표시를 없애는 처리를 실행한다.
MPU(35)는, 다음에 생성된 가상 포인터(2')의 좌표값이 가상 화면(105)내에서 설정된, 선택 조작 영역(98b, 99b, 101b 및 102b)중 어느것인가 하나에 있는지 여부를 판정한다(스텝 406)(판정 수단). NO인 경우, MPU(35)는, 스텝 404로부터의 처리를 반복한다.
스텝 406에서 YES인 경우, MPU(35)는, 생성된 가상 포인터(2')의 좌표값에 대응하는 선택 조작 영역(98b, 99b, 101b 또는 102b)에서의 선택 대상을 제어한다(스텝 407)(선택 제어 수단). 스텝 407에서는, MPU(35)는, 예를 들면 소정의 일정 속도로 채널을 전환하거나, 또는 볼륨을 선택하거나 하면 좋다. 그 일정의 전환 속도는, 유저에 의한 커스터마이즈에 의해 변경가능하게 되어도 좋다.
스텝 408 및 409는, 도 13에 도시한 스텝 311 및 312와 마찬가지 처리이다.
또한, 스텝 405 이후의 처리에서, MPU(35)는, 실포인터(2)를 정지시키지 않거나, 또는 표시도 없애지 않고, 스텝 407을 실행하며, 또한 도 13에 도시한 스텝 305∼311의 처리를 실행해도 좋다.
본 실시형태에서는, 유저는, 실화면(95) 상에 표시된 아이콘(98a, 99a, 101a 및 102a)에 포인터(2)를 맞추는 것에 의해, 가상 화면(105) 상에서 포인팅 조작하여, 선택 대상을 선택할 수 있다. 본 실시형태의 경우, 아이콘(98a, 99a, 101a 및 102a)은, 소위 선택 대상의 인덱스와 같은 기능을 한다.
도 19는, 도 17에 도시하는 화면의 변형예이다.
도 17에 도시한 형태에서는, 선택 조작 영역(98, 99, 101, 102)의 형상은, 실화면(95)의 네 모서리 위치를 부분적으로 포함하는 직사각형이었다. 도 19에서의 선택 조작 영역(203∼206)은, 각각 인접하는 실화면(95)의 각 변의 전역(全域)을 포함하는 사다리꼴(台形)로 설정되어 있다. 선택 조작 영역(203(203a 및 203b))은, 경계 라인 -X를 넘어서(跨; across; 건너서) 제1 및 제2 좌표계에서 설정되어 있다. 선택 조작 영역(204(204a 및 204b))은, 경계 라인 +X를 넘어서 제1 및 제2 좌표계에서 설정되어 있다. 선택 조작 영역(205(205a 및 205b))은, 경계 라인 +Y를 넘어서 제1 및 제2 좌표계에서 설정되어 있다. 선택 조작 영역(206(206a 및 206b))은, 경계 라인 -Y를 넘어서 제1 및 제2 좌표계에서 설정되어 있다.
선택 조작 영역(203 및 204)은, 각각 채널 업 및 다운을 위한 조작 영역이다. 선택 조작 영역(205 및 206)은, 각각 볼륨 업 및 다운을 위한 조작 영역이다.
도 20은, 도 19에 도시한 화면에서의 제어 장치(40)의 처리를 도시하는 플로차트이다. 본 실시형태에서는, MPU(35)는, 도 18에 도시한 플로차트에서, 스텝 403 및 406이 없는 처리를 실행하는 것에 의해, 상기와 마찬가지 작용 효과가 얻어진다.
도 21은, 도 19에 도시한 화면에서의 다른 처리를 도시하는 플로차트이다. 이 처리 플로에서는, 스텝 605가, 스텝 505와 다르다. 스텝 505에서는, MPU(35)는, 유저의 입력 장치(1)를 이동시키는 것에 의해 발생하는 입력 정보에 따라서 생 성한 가상 포인터(2')의 좌표값에 따라서, 선택 대상의 스위칭 속도를 가변으로 제어해서, 선택 대상을 제어한다.
전형적으로는, 스텝 605에서는, 유저는, 가상 화면(105) 상에서 입력 장치(1)를 움직이게 함으로써, 채널 선택의 스피드(스위칭 속도)를 변경하거나, 볼륨 선택의 스피드(스위칭 속도)를 선택하거나 할 수 있다. 이것에 의해, 유저는, 아날로그적인 조작감으로, 직감적으로 선택 대상을 선택할 수가 있다.
도 22를 참조해서, 전형적으로는, MPU(35)는, 제1 좌표계의 경계 라인으로부터의 가상 포인터(2')의 거리에 따라서, 스위칭 속도를 가변으로 제어하면 좋다. 예를 들면, 경계 라인으로부터의 가상 포인터(2')가 떨어질수록(멀어질수록), 스위칭 속도가 빨라(또는, 느려)지면 좋다. 예를 들면, 선택 조작 영역(203b)에 대해서 설명하면, 경계 라인 -X로부터의 가로 방향에서의 거리에 따라서, 채널의 스위칭 속도가 가변으로 제어되면 좋다.
선택 조작 영역으로서는, 도 17 및 도 19에서 도시한 선택 조작 영역(98, 99, 101, 102, 203∼206)의 형태에 한정되지 않는다. 예를 들면, 그들의 형상, 크기, 또는 하나의 선택 조작 영역의 실화면(95) 상에서의 크기와 가상 화면(105) 상에서의 크기의 비율 등, 적당히 변경가능하다. 혹은, 가상 화면(105)에만 선택 조작 영역이 설정되어 있어도 좋다.
혹은, 선택 조작 영역(98, 99, 101, 102, 203∼206)에서의 선택 대상은, 음량 컨트롤, 방송 프로그램 등의 채널 선택에 한정되지 않는다. 예를 들면, 선택 대상으로서는, 화상의 재생 또는 정지의 선택, 화상의 빨리감기 또는 되감기의 선 택, 실화면(95) 상에서 흐르듯이 표시되는 하나 하나의 화상의 선택(이른바, 스크롤 기능), 그 밖에 여러 가지 메뉴 화면의 선택 항목으로 될 수 있는 대상이다.
도 17에서 도시한 화면에 대해서 제어 장치(40)의 처리에서도, MPU(35)는, 도 20의 스텝 505와 같은 스위칭 속도의 가변 제어를 실행해도 좋다. 이 경우, 예를 들면 선택 조작 영역(98b(또는, 99b, 101b, 102b))으로부터 가상 포인터(2')가 벗어난 경우에서도, MPU(35)는, 그 가변 제어를 계속해도 좋다.
도 23 및 도 24는, 본 발명의 다른 실시형태를 도시하고 있다. 도 17, 도 19 및 도 22에 도시한 실시형태에서는, 아이콘(선택 조작 영역)의 실표시 영역(98a, 99a, 101a, 102a, 203a, 204a, 205a 및 206a)이 항상 실화면(95) 상에 표시되는 경우에 대해서 설명했다. 본 실시형태에서는, 아이콘의 실표시 영역은 통상, 실화면(95) 상에는 표시되지 않고, 가상 화면(105) 내에 표시되는 선택 조작 영역의 가상 표시 영역으로 포인터(2')가 이동되었을 때에, 아이콘의 실표시 영역이 실화면(95) 상에 표시된다.
예를 들면, 도 23을 참조해서, 제1 선택 조작 영역(301)은, 경계 라인 -X를 따른 가상 화면(105) 내에 그 가상 표시 영역(301b)이 설정되고, 제2 선택 조작 영역(302)은, 경계 라인 +X를 따른 가상 화면(105) 내에 그 가상 표시 영역(302b)이 설정되어 있다.
본 실시형태에서, 제1 선택 조작 영역(301)은, 텔레비전 방송의 채널 선택용 아이콘, 제2 선택 조작 영역(302)은, 볼륨(음량) 조정용 아이콘으로서 구성되어 있다. 제1 선택 조작 영역(301)의 가상 표시 영역(301b)은, 경계 라인 -X를 따라서 설정 채널이 단계적으로 변화하는 채널 설정 영역을 가지고, 제2 선택 조작 영역(302)의 가상 표시 영역(302b)은, 경계 라인 +X를 따라서 음량이 단계적으로 변화하는 볼륨 설정 영역을 가진다.
제1 및 제2 선택 조작 영역(301, 302)의 각각의 실표시 영역(301a, 302a)은, 포인터(2)가 실화면(95) 상에 위치하고 있을 때는, 표시되지 않는다. 실표시 영역(301a, 302a)은, 포인터(2)가, 경계 라인 -X, +X를 넘어서(超; crossed over) 가상 화면(105) 내로 이동했을 때에, 표시된다. 도 23은, 커서(포인터)(2)가 경계 라인 -X를 넘어서 가상 화면(105) 내로 이동했을 때의 모습을 도시하고 있다. 도 24는, 커서(2)가 경계 라인 +X를 넘어서 가상 화면(105) 내로 이동했을 때의 모습을 도시하고 있다.
MPU(35)는, 커서(2(2'))의 좌표 정보에 의거해서, 커서(2(2'))가 경계 라인 -X 또는 +X를 넘어서 가상 화면(105) 내로 이동했는지 여부를 판정한다. MPU(35)는, 경계 라인 -X 또는 +X를 넘음으로써 생성된 가상 포인터(2')의 좌표 정보에 의거해서, 대응하는 채널 설정 영역 또는 볼륨 설정 영역을 결정한다. 그리고, MPU(35)는, 대응하는 설정 채널 또는 음량을 표시한 아이콘(실표시 영역(301a, 302a))을, 실화면(95) 상에 표시한다. 이들 아이콘(실표시 영역(301a, 302a))은, 각 설정 영역에 인접해서 표시되고, 포인터(2(2'))의 y좌표의 변화에 대응해서, 다른 표시 내용의 아이콘이 경계 라인 -X, +X를 따라서 표시된다.
이상과 같이, 커서(2)가 가상 화면(105) 내로 이동했을 때만 선택 조작 영역(301, 302)의 실표시 영역(301a, 302a)을 실화면(95) 상에 표시함으로써, 유저의 의도를 반영한 선택 조작 영역의 표시 제어를 행하는 것이 가능하게 된다. 또, 정상적으로는 실화면(95) 상에 선택 조작 영역(301, 302)이 표시되지 않음으로써, 실화면(95)에 표시되는 화상의 시인성(視認性; visibility)을 높일 수 있다.
채널 전환 제어 및 볼륨 조정 제어는, 실화면(95) 상에 아이콘(실표시 영역(301a, 302a))이 표시됨과 동시에 행해져도 좋고, 표시된 아이콘(301a, 302a)에 대한 입력 장치(1)에 의한 버튼 입력 조작을 기다려 행해져도 좋다. 또, 채널 설정용 아이콘(실표시 영역(301a))은, 해당 채널로 수신된 영상을 서브 화면으로서 동시에 표시되어도 좋다. 서브 화면은 선택된 채널의 화상에만 한정되지 않고, 이 이외의 복수 채널의 화상도 동시에 표시되어도 좋다. 이 경우, 포인터의 상하 방향의 이동에 수반해서, 표시되는 화상군이 차례로(逐次) 전환되도록 해도 좋다. 포인터(2)의 입력 조작에 의해서 선택된 화상은, 실화면(95)에서의 표시 화상으로 전환된다. 이 경우, 예를 들면 아이콘의 표시 위치로부터 서서히 실화면(95) 내에서 확대하는 등의 여러 가지 표시 제어 방법이 채용가능하다.
도 25 및 도 26은, 도 23 및 도 24에 도시하는 화면의 변형예를 도시하고 있다. 본 실시형태에서는, 비디오 재생시(편집시)의 화면을 나타내고 있다.
본 실시형태도 마찬가지로, 아이콘의 실표시 영역은 통상, 실화면(95) 상에는 표시되지 않고, 가상 화면(105) 내에 표시되는 선택 조작 영역의 가상 표시 영역으로 포인터(2')가 이동되었을 때에, 아이콘의 실표시 영역이 실화면(95) 상에 표시된다.
예를 들면, 도 25를 참조해서, 제1 선택 조작 영역(303)은, 경계 라인 +X를 따른 가상 화면(105) 내에 그 가상 표시 영역(303b)이 설정되고, 제2 선택 조작 영역(304)은, 경계 라인 -Y를 따른 가상 화면(105) 내에 그 가상 표시 영역(304b)이 설정되어 있다. 본 실시형태에서, 제1 선택 조작 영역(303)은, 재생 화면의 프레임 어드밴스(駒送; frame advance)용 아이콘, 제2 선택 조작 영역(304)은, 실화면(95)에 표시된 영상에 대한 쳅터 설정용 아이콘으로서 구성되어 있다.
제1 및 제2 선택 조작 영역(303, 304)의 각각의 실표시 영역(303a, 304a)은, 포인터(2)가 실화면(95) 상에 위치하고 있을 때는, 표시되지 않는다. 실표시 영역(303a, 304a)은, 포인터(2)가, 경계 라인 +X, -Y를 넘어서 가상 화면(105) 내로 이동했을 때에, 표시된다. 도 25는, 커서(2)가 경계 라인 +X를 넘어서 가상 화면(105) 내로 이동했을 때의 모습을 도시하고 있다. 도 26은, 커서(2)가 경계 라인 -Y를 넘어서 가상 화면(105) 내로 이동했을 때의 모습을 도시하고 있다.
MPU(35)는, 커서(2(2'))의 좌표 정보에 의거해서, 커서(2(2'))가 경계 라인 +X 또는 -Y를 넘어서 가상 화면(105) 내로 이동했는지 여부를 판정한다. MPU(35)는, 경계 라인 +X 또는 -Y를 넘음으로써 생성된 가상 포인터(2')의 좌표 정보에 의거해서, 프레임 어드밴스 조작 또는 쳅터 설정 화면을 표시한 아이콘(실표시 영역(303a, 304a))을, 실화면(95) 상에 표시한다. 이들 아이콘(실표시 영역(303a, 304a))은, 각 설정 영역에 인접해서 표시된다.
이상과 같이, 커서(2)가 가상 화면(105) 내로 이동했을 때만 선택 조작 영역(303, 304)의 실표시 영역(303a, 304a)을 실화면(95) 상에 표시함으로써, 유저의 의도를 반영한 선택 조작 영역의 표시 제어를 행하는 것이 가능하게 된다. 또, 정 상적으로는 실화면(95) 상에 선택 조작 영역(303, 304)이 표시되지 않음으로써, 실화면(95)에 표시되는 화상의 시인성을 높일 수 있다.
화상의 프레임 어드밴스 제어는, 실화면(95) 상에 아이콘(실표시 영역(303a))이 표시됨과 동시에 행해져도 좋고, 표시된 아이콘(303a)에 대한 입력 장치(1)에 의한 버튼 입력 조작을 기다려 행해져도 좋다. 또, 쳅터 설정 제어는, 예를 들면 쳅터를 설정하고 싶은 장면(場面)에서 입력 장치(1)의 버튼을 입력 조작함으로써, 시크 바(슬라이더)(304c)의 이동 경로 상에 쳅터 마크(304d)가 표시된다.
본 발명에 따른 실시형태는, 이상 설명한 실시형태에 한정되지 않고, 다른 여러 가지 실시형태가 생각된다.
상기 각 실시형태에서는, 입력 장치(1)로서 공간 조작형 입력 장치를 예로 들었다. 그러나, 이것 대신에 평면 조작형 입력 장치이더라도 좋다. 평면 조작형 입력 장치는, 예를 들면 일반적인 마우스, 혹은 게임용 컨트롤러에서 이용되는 화살표 조작(十字操作; arrow) 키에 의한 입력 장치, 혹은 조이스틱과 같은 입력 장치이더라도 좋다.
상기 각 실시형태에서는, 입력 장치(1)의 움직임에 따라서 화면 상에서 움직이는 포인터(2)를, 화살표(矢印)의 화상으로서 나타냈다. 그러나, 포인터(2)의 화상은 화살표에 한정되지 않으며, 단순한 원형, 각형(角形) 등이더라도 좋고, 캐릭터(문자) 화상, 또는 그 밖의 화상이더라도 좋다.
상기 포인터는, 이른바 커서라고 칭해지는 바와 같은 정형성을 가지는 것에만 한정되지 않고, 화면 상에 표시된 아이콘 등의 UI를 선택하는 것이 가능한 여러 가지 형태의 것이 포함된다. 예를 들면, 상기 포인터는, 항상 정형으로 표시되는 것에 한정되지 않으며, UI의 선택 조작이 가능한 영역에 도달했을 때에 그 포인터 위치가 현재화하는 형태도 포함된다.
또, 가상 포인터(2')의 좌표 위치의 변화에 대응해서, 포인터(2)의 표시를 실화면(95)과 가상 화면(105)과의 경계 라인 상에서 변화시켜도 좋다.
예를 들면, 도 27의 (a)에 도시하는 바와 같이, 경계 라인(도시의 예에서는, -X의 경계 라인)에서 포인터(2)의 표시색을, 가상 포인터(2')의 위치에 따라서 변화시킬 수 있다. 예를 들면, 경계 라인에 도달했을 때에 포인터의 표시색을 백색에서 녹색으로 변화시킨다. 표시색의 변화로서는, 가상 포인터(2')가 실화면(95)으로부터 멀어짐에 따라서, 표시색의 밝기나 농도를 변화시키는 것 등이 포함된다.
혹은, 도 27의 (b)에 도시하는 바와 같이, 상기 경계 라인에서 포인터(2)의 양태를, 가상 포인터(2')의 위치에 따라서 변화시킬 수 있다. 도시의 예에서는, 가상 화면(105)측으로 포인터(2)의 축부(軸部)가 휜 모습을 도시하고 있다. 또, 이 포인터(2)의 양태의 변화에는, 포인터(2)가 기울거나, 찌부러지는 등의 변형도 포함된다. 포인터(2)의 변형량은, 가상 포인터(2')가 실화면(95)으로부터 멀어질 수록 크게 할 수가 있다.
이것에 의해, 포인터가 가상 화면내에 위치하고 있는 것, 및 포인터가 가상 화면 내의 어느 부근에 위치하고 있는지를 유저에게 인식시키는 것이 가능하게 된다. 포인터의 표시 양태의 변화의 그 밖의 예로서, 포인터(2)가 가상 화면 측을 향해서 달리고 있는 모습을 표시하는 등, 포인터(2)의 애니메이션화를 들 수 있다.
상기 표시 장치(5)가 표시하는 실화면(95) 및 그 가상 화면(105)의 형상은 직사각형이었다. 그러나, 실화면(95)의 형상은, 삼각형, 또는 5각형 이상의 다각형, 원형, 타원형, 또는 이들중 적어도 2개의 조합의 형상이더라도 좋다. 가상 화면(105)도 마찬가지로 다양한 형상이 생각된다. 실화면(95)과 가상 화면(105)의 형상이 달라도 좋다.
상기의 설명에서는, 실화면(95) 및 가상 화면(105)의 좌표계는 직교 좌표계였다. 그러나, 실화면 및/또는 가상 화면의 좌표계는 극(極)좌표계이더라도 좋다.
상기의 설명에서는, 실화면(95) 및 가상 화면(105)은 평면이었다. 그러나, 실화면 및/또는 가상 화면은, 곡면이더라도 좋다.
제1 및 제2 좌표계의 스케일은, 상기 설명에서는 전형적으로는 실질적으로 같았지만, 달라도 좋다.
도 13에 도시한 처리에서는, MPU(35)가 가상 포인터(2')의 좌표값을 생성하고 있을 때에, 다시 말해 가상 포인터(2')가 가상 화면 상에서 움직이고 있을 때에, 경계 라인 상에서 실포인터(2)가 이동하도록 표시 제어되었다. 그러나, MPU(35)는, 가상 포인터(2')의 좌표값을 생성하고 있는 동안은, 입력 장치(1)로부터의 입력 정보에 비상관인 처리를 실행해도 좋다. 비상관인 처리라 함은, 포인터의 표시를 없애는 처리, 포인터를 표시시키거나 없애거나 하는(점멸) 처리, 포인터를 실화면 상에서 정지시키는 처리, 포인터가 특정의 기호 또는 도형으로 변경되는 처리, 혹은 포인터가 입력 정보에 관계없이 특정의 움직임을 하는 처리 등을 들 수 있다. 이것은, 도 18, 도 20, 도 21의 처리에 대해서도 마찬가지이다
도 9 및 도 10의 처리에서는, 포인터의 좌표값을 제어 장치(40)가 생성하고 있었다. 그러나, 입력 장치(1)가 포인터의 좌표값을 생성하고, 그 좌표 정보를 제어 장치(40)에 송신하거나, 또는 그 생성된 좌표 정보에 의한 표시의 제어 신호를 표시 장치(5)에 송신해도 좋다.
입력 장치(1)가, 예를 들면 가속도 센서 유닛(16)을 구비하고, 각속도 센서 유닛(15)을 구비하지 않는 형태도 생각된다. 이 경우, 스텝 103에서, 속도값(Vx, Vy)은, 가속도 센서 유닛(16)에 의해 검출되는 가속도값(ax, ay)을 적분 연산함으로써 구해진다(단, 이 경우, Y 및 X축 둘레의 각속도(ωΦ, ωθ)는 구할 수가 없다). 가속도 센서 유닛(16) 대신에, 이미지 센서에 의해 가속도가 산출되어도 좋다.
상기 각속도 센서 유닛(15) 대신으로서, 각도 센서 혹은 각가속도 센서가 이용되어도 좋다. 각도 센서로서는, 지자기 센서 또는 이미지 센서 등을 들 수 있다. 예를 들면, 3축 지자기 센서가 이용되는 경우, 각도값의 변화량이 검출되므로, 그 경우, 각도값이 미분 연산됨으로써 각속도값이 얻어진다. 각가속도 센서는, 복수의 가속도 센서의 조합에 의해 구성되고, 각가속도 센서에 의해 얻어지는 각가속도값이 적분 연산됨으로써, 각속도값이 얻어진다. 이들과 같은 실시형태의 의미에서, 주로 MPU(19 또는 35)는, 각도에 관련하는 값으로서의 각도 관련값을 출력하는 산출 수단으로서 기능한다.
예를 들면, 상기와 같이 회전 반경 R(t)를 산출하는 경우에서, Y 및 X축 둘레의 각가속도를 검출하는 상기 각가속도 센서, 또는 각도를 검출하는 센서가 이용 되어도 좋다. 이 경우, 각가속도 센서에 의해 검출된 각가속도값이 적분 연산됨으로써 각속도값(ωΦ, ωθ)이 구해진다. 혹은, 각도 센서에 의해 검출된 각도값이 미분 연산됨으로써 각속도값(ωΦ, ωθ)이 구해진다.
상기 각가속도 센서로서, 1축의 각가속도 센서로서는, 전형적으로는 회전 반경 R(t) 상에 배치된 2개의 1축 가속도 센서가 이용된다. 2개의 가속도 센서에 의해 각각 얻어지는 2개의 가속도값의 차를, 그 2개의 가속도 센서 사이의 거리로 나눔으로써, 입력 장치(1) 등의 각속도값이 산출된다. 2축의 각가속도 센서로서는, 상기 2개의 1축 가속도 센서의 검출 원리와 마찬가지로, 2개의 2축 가속도 센서가 이용되면 좋다. 이 경우, 각도 센서로서, 상기 지자기 센서 및 이미지 센서 외에, 예를 들면 롤각 Φ(도 8에서의 Z축 둘레의 각도)를 구하는 바와 같은 원리를 실현하도록, 2축의 가속도 센서가 이용되면 좋다. 따라서, Y 및 X축 둘레의 2축의 각도를 검출하기 위해서는, 2개의 2축 가속도 센서가 이용되면 좋다.
상기 실시형태에 따른 입력 장치는, 무선으로 입력 정보를 제어 장치에 송신하는 형태를 나타냈지만, 유선에 의해 입력 정보가 송신되어도 좋다
본 발명은, 예를 들면 표시부를 구비하는 핸드헬드형 정보 처리 장치(핸드헬드 장치)에 적용되어도 좋다. 이 경우, 유저가 핸드헬드 장치의 본체를 움직이게 함으로써, 그 표시부에 표시된 포인터가 움직인다. 핸드헬드 장치로서, 예를 들면 PDA(Personal Digital Assistance), 휴대 전화기, 휴대 음악 플레이어, 디지털 카메라 등을 들 수 있다.
센서 유닛(17)의, 각속도 센서 유닛(15) 및 가속도 센서 유닛(16)의 검출축은, 상술한 X'축 및 Y'축과 같이 반드시 서로 직교하고 있지 않아도 좋다. 그 경우, 삼각 함수를 이용한 계산에 의해서, 서로 직교하는 축방향으로 투영된 각각의 가속도가 얻어진다. 또 마찬가지로, 삼각 함수를 이용한 계산에 의해서, 서로 직교하는 축 둘레의 각각의 각속도를 얻을 수가 있다.
이상의 각 실시형태에서 설명한 센서 유닛(17)에 대해서, 각속도 센서 유닛(15)의 X' 및 Y'의 검출축과, 가속도 센서 유닛(16)의 X' 및 Y'축의 검출축이 각각 일치하고 있는 형태를 설명했다. 그러나, 그들 각 축은, 반드시 일치하고 있지 않아도 좋다. 예를 들면, 각속도 센서 유닛(15) 및 가속도 센서 유닛(16)이 기판 상에 탑재되는 경우, 각속도 센서 유닛(15) 및 가속도 센서 유닛(16)의 검출축의 각각이 일치하지 않도록, 각속도 센서 유닛(15) 및 가속도 센서 유닛(16)이 그 기판의 주면 내에서 소정의 회전 각도만큼 어긋나 탑재되어 있어도 좋다. 그 경우, 삼각 함수를 이용한 계산에 의해서, 각 축의 가속도 및 각속도를 얻을 수가 있다.
본 발명은, 화면 상의 포인터의 표시를 제어하는 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치에 관한 기술 분야에 이용가능하다.

Claims (20)

  1. 입력 장치의 움직임에 따른 입력 정보에 의거해서, 포인터의 표시를 제어하는 제어 장치로서,
    표시되는 실(實)화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면 주위(周圍)에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과,
    상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단
    을 구비하는 제어 장치.
  2. 제1항에 있어서,
    상기 입력 장치에 의한 선택 조작의 대상으로 되는 선택 조작 영역의, 상기 가상 화면 상의 가상 표시 영역을, 상기 제2 좌표계에 대응지음으로써, 상기 가상 표시 영역을 기억하는 기억 수단과,
    상기 생성된 제2 좌표 정보가, 상기 가상 표시 영역 내에 있는지 여부를 판정하는 판정 수단과,
    상기 생성된 제2 좌표 정보가, 상기 가상 표시 영역 내에 있는 경우, 상기 선택 조작의 대상을 제어하는 선택 제어 수단
    을 더 구비하는 제어 장치.
  3. 제2항에 있어서,
    상기 표시 제어 수단은, 상기 선택 조작 영역중, 상기 실화면 상의, 상기 가상 표시 영역에 인접하는 실표시 영역의 화상 데이터를 생성하는 제어 장치.
  4. 제3항에 있어서,
    상기 표시 제어 수단은, 상기 제2 좌표 정보가 상기 가상 표시 영역 내에 있다고 상기 판정 수단이 판정했을 때, 상기 실표시 영역을 상기 실화면 상에 표시시키는 제어 장치.
  5. 제2항에 있어서,
    상기 선택 제어 수단은, 상기 제1 좌표계의 단부(端部) 라인으로서 상기 제2 좌표계와의 경계로 되는 경계 라인으로부터의, 상기 생성되는 제2 좌표 정보의 거리에 따라서, 상기 선택 조작에 의한 스위칭 속도를 가변으로 제어하는 제어 장치.
  6. 제2항에 있어서,
    상기 기억 수단은, 복수의 상기 선택 조작 영역의 각각의 상기 가상 표시 영역을, 상기 제2 좌표계에 대응지음으로써, 복수의 상기 가상 표시 영역을 기억하는 제어 장치.
  7. 제1항에 있어서,
    상기 표시 제어 수단은,
    상기 입력 정보가, 상기 제1 좌표계의 단부 라인으로서 상기 제2 좌표계와의 경계로 되는 경계 라인 상의 위치에 대응하는 제1 입력값으로부터, 상기 제2 좌표계의, 상기 경계 라인에 인접하는 영역 상의 위치에 대응하는 제2 입력값으로 바뀌었을 때, 상기 경계 라인 상에 상기 포인터가 표시되도록, 상기 포인터의 표시를 제어하는 제어 장치.
  8. 제7항에 있어서,
    상기 표시 제어 수단은, 상기 생성 수단에 의해 생성되는 상기 제2 좌표 정보에 따라서, 상기 경계 라인 상에서 상기 제1 좌표값을 갱신함으로써, 상기 포인터를 상기 경계 라인 상에서 이동시키도록 상기 포인터의 표시를 제어하는 제어 장치.
  9. 제7항에 있어서,
    상기 표시 제어 수단은, 상기 제2 입력값의 변화에 따라서, 상기 경계 라인 상의 상기 포인터의 표시 양태(態樣)를 변화시키는 제어 장치.
  10. 제1항에 있어서,
    상기 표시 제어 수단은, 상기 제1 좌표계에 상기 포인터가 위치하는 것을 나타내는 상기 입력 정보의 제1 입력값으로부터, 상기 제2 좌표계에 상기 포인터가 위치하는 것을 나타내는 상기 입력 정보의 제2 입력값으로, 상기 입력 정보가 바뀌었을 때, 상기 포인터의 상태를, 상기 입력 정보에 비상관(非相關)인 처리를 실행하기 위한 신호를 발생하는 제어 장치.
  11. 제10항에 있어서,
    상기 입력 정보에 비상관인 처리는, 상기 포인터를 상기 실화면 상에서 정지(靜止)시키는 처리를 포함하는 제어 장치.
  12. 제1항에 있어서,
    상기 생성된 제1 좌표 정보가, 상기 제1 좌표계의 단부 라인으로서 상기 제2 좌표계와의 경계로 되는 경계 라인 상에 있는지 여부를 판정하는 판정 수단과,
    상기 제1 좌표 정보가 상기 경계 라인 상에 있는 경우, 상기 생성 수단에 의한 상기 제2 좌표 정보의 생성을 개시시키는 개시 수단
    을 더 구비하는 제어 장치.
  13. 제1항에 있어서,
    상기 입력 장치의 버튼 조작에 따라서 출력되는 커맨드 신호를 수신하는 수 신 수단과,
    상기 수신된 커맨드 신호에 의거해서, 상기 포인터의 위치를 상기 실화면 상의 소정의 기준 위치에 대응시키는 교정 수단
    을 더 구비하는 제어 장치.
  14. 제13항에 있어서,
    상기 표시 제어 수단은, 상기 포인터가 상기 기준 위치에 표시되었을 때에, 상기 포인터를 일시적으로 강조 표시하는 제어 장치.
  15. 제1항에 있어서,
    상기 입력 장치는, 상기 입력 장치의 가속도값 및 상기 입력 장치의 각속도값중 적어도 한쪽에 의거해서, 상기 입력 장치의 속도값을 생성하고, 상기 속도값의 정보를 송신하는 공간 조작형 입력 장치이며,
    상기 제어 장치는,
    상기 송신된 속도값의 정보를 상기 입력 정보로서 수신하는 수신 수단을 더 구비하는 제어 장치.
  16. 제1항에 있어서,
    상기 입력 장치는, 상기 입력 장치의 가속도값 및 상기 입력 장치의 각속도값중 적어도 한쪽의 정보를 송신하는 공간 조작형 입력 장치이며,
    상기 제어 장치는,
    상기 송신된 가속도값 및 각속도중 적어도 한쪽의 정보를 수신하는 수신 수단과,
    상기 수신된 가속도값 및 각속도중 적어도 한쪽의 정보에 의거해서, 상기 입력 장치의 속도값을 산출하는 산출 수단을 더 구비하고,
    상기 생성 수단은, 상기 산출된 속도값의 정보를 상기 입력 정보로 해서, 상기 입력 정보에 따른 상기 제1 및 제2 좌표 정보를 생성하는 제어 장치.
  17. 포인터의 표시를 제어하는 입력 장치로서,
    케이싱(筐體)과,
    상기 케이싱의 움직임을 검출하고, 상기 케이싱의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단과,
    표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과,
    상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단
    을 구비하는 입력 장치.
  18. 포인터의 표시를 제어하는 제어 시스템으로서,
    케이싱과, 상기 케이싱의 움직임을 검출하고, 상기 케이싱의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단과, 상기 입력 정보를 송신하는 송신 수단을 가지는 입력 장치와,
    표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과, 상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단을 가지는 제어 장치
    를 구비하는 제어 시스템.
  19. 입력 장치의 움직임에 따른 입력 정보에 의거해서, 포인터의 표시를 제어하는 제어 방법으로서,
    표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고,
    상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하고,
    상기 실화면 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌 표 정보를 생성하는
    제어 방법.
  20. 케이싱과,
    표시부와,
    상기 케이싱의 움직임을 검출하고, 상기 케이싱의 움직임에 따른 입력 정보를 생성하는 입력 정보 생성 수단과,
    상기 표시부에 표시되는 실화면 상의 제1 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제1 좌표 정보를 생성하고, 상기 실화면 주위에 설정된 가상 화면 상의, 상기 제1 좌표계에 관련지어진 제2 좌표계에서의, 상기 입력 정보에 따른 상기 포인터의 위치를 나타내는 제2 좌표 정보를 생성하는 생성 수단과,
    상기 생성된 제1 및 제2 좌표 정보에 따라서 상기 실화면 상에서 상기 포인터의 표시를 제어하는 표시 제어 수단
    을 구비하는 핸드헬드 장치.
KR1020097015921A 2007-12-07 2008-12-02 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치 KR20100086931A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007317659 2007-12-07
JPJP-P-2007-00317659 2007-12-07

Publications (1)

Publication Number Publication Date
KR20100086931A true KR20100086931A (ko) 2010-08-02

Family

ID=40717682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097015921A KR20100086931A (ko) 2007-12-07 2008-12-02 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치

Country Status (7)

Country Link
US (1) US8531399B2 (ko)
EP (1) EP2219101A1 (ko)
JP (2) JP5531616B2 (ko)
KR (1) KR20100086931A (ko)
CN (1) CN101606120B (ko)
TW (1) TW200941302A (ko)
WO (1) WO2009072504A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550430B2 (en) 2019-01-18 2023-01-10 Sony Group Corporation Information processing apparatus, information processing method, and recording medium

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2140916B1 (en) * 2008-06-30 2018-10-31 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
JP5669294B2 (ja) * 2009-09-30 2015-02-12 任天堂株式会社 座標算出装置および座標算出プログラム
EP2228109B1 (en) 2009-03-09 2021-03-24 Nintendo Co., Ltd. Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method
JP2010282408A (ja) * 2009-06-04 2010-12-16 Sony Corp 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
US9760186B2 (en) 2010-01-06 2017-09-12 Cm Hk Limited Electronic device for use in motion detection and method for obtaining resultant deviation thereof
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
RU2573206C2 (ru) * 2009-08-10 2016-01-20 Конинклейке Филипс Электроникс Н.В. Система и способ перемещения курсора по экрану
KR101646953B1 (ko) * 2010-01-12 2016-08-09 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR101680113B1 (ko) * 2010-04-22 2016-11-29 삼성전자 주식회사 휴대 단말기의 ｇｕｉ 제공 방법 및 장치
HK1147905A2 (en) 2010-06-30 2011-08-19 Chi Ching Lee System and method for virtual touch sensing
ES2736800T3 (es) * 2010-09-30 2020-01-07 Rakuten Inc Dispositivo de visualización, procedimiento de visualización, medio de registro legible por ordenador no transitorio en el que se registra un programa y programa de secuencia de comandos
JP5779923B2 (ja) * 2011-03-17 2015-09-16 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9857868B2 (en) * 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
JP5235032B2 (ja) * 2011-04-04 2013-07-10 シャープ株式会社 表示装置、情報処理システム及びプログラム
FR2980005A1 (fr) 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
JP5870586B2 (ja) * 2011-09-28 2016-03-01 カシオ計算機株式会社 プロジェクタ制御装置、表示装置及びプログラム。
JP5902919B2 (ja) * 2011-11-09 2016-04-13 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、情報処理方法
CN103376919A (zh) * 2012-04-13 2013-10-30 十速兴业科技（深圳）有限公司 免校式光标追踪对位方法与其系统
US9128562B2 (en) * 2012-05-25 2015-09-08 Sony Corporation Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation
TWI515632B (zh) 2012-06-26 2016-01-01 緯創資通股份有限公司 隨觸即用輸入裝置以及操作方法
KR20140055173A (ko) 2012-10-30 2014-05-09 삼성전자주식회사 입력 장치 및 그의 입력 제어 방법
CN103838360B (zh) * 2012-11-26 2018-07-06 联想(北京)有限公司 一种操作指令的识别方法和设备
JP6036217B2 (ja) * 2012-11-27 2016-11-30 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
CN103049101B (zh) * 2012-12-06 2016-04-06 上海飞智电子科技有限公司 定位指针位置的方法、系统及设备
CN103902061B (zh) * 2012-12-25 2016-12-28 华为技术有限公司 空中鼠标的光标显示方法、设备及系统
CN103111072A (zh) * 2013-01-18 2013-05-22 王一中 一种虚拟电位器及其运算方法
CN103111073A (zh) * 2013-01-18 2013-05-22 王一中 一种vp手柄及其手柄中虚拟电位器的运算方法
JP6251957B2 (ja) * 2013-01-23 2017-12-27 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
JP5779683B2 (ja) * 2013-03-27 2015-09-16 シャープ株式会社 外部機器、制御方法、表示システム、表示装置、およびテレビジョン受像機
EP2801891B1 (en) 2013-05-09 2018-12-26 Samsung Electronics Co., Ltd Input Apparatus, Pointing Apparatus, Method for Displaying Pointer, and Recordable Medium
JP2015028690A (ja) * 2013-07-30 2015-02-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20150034955A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN103520923A (zh) * 2013-10-17 2014-01-22 智尊应用程序开发有限公司 游戏控制方法及设备
CN103520921B (zh) * 2013-10-18 2016-06-01 深圳市宇恒互动科技开发有限公司 一种光标控制方法、系统及控制装置
EP2887184A1 (en) * 2013-12-23 2015-06-24 Movea Air pointer with improved user experience
WO2015104884A1 (ja) * 2014-01-08 2015-07-16 ソニー株式会社 情報処理システム、情報処理方法およびプログラム
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
JP6245117B2 (ja) * 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016157783A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 遠隔制御システム、および電子機器
JPWO2016157951A1 (ja) * 2015-03-31 2018-01-25 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
WO2016182133A1 (ko) * 2015-05-14 2016-11-17 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
JP6432583B2 (ja) * 2016-10-28 2018-12-05 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
KR102567958B1 (ko) 2016-11-10 2023-08-17 삼성디스플레이 주식회사 표시 장치, 표시 장치의 제어 방법, 및 단말
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
JP6881004B2 (ja) * 2017-05-09 2021-06-02 船井電機株式会社 表示装置
CN107957781B (zh) * 2017-12-13 2021-02-09 北京小米移动软件有限公司 信息显示方法及装置
US11620044B2 (en) * 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
CN109908582A (zh) * 2018-11-15 2019-06-21 网易（杭州）网络有限公司 一种信息处理方法及装置、电子设备、存储介质
CN110489026A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
CN110399052B (zh) * 2019-07-24 2020-12-11 威创集团股份有限公司 一种鼠标漫游方法及装置
WO2021049677A1 (ko) * 2019-09-10 2021-03-18 엘지전자 주식회사 영상표시장치 및 이의 동작방법
DE102020109553A1 (de) 2020-04-06 2021-10-07 Leitz Acco Brands Gmbh & Co Kg Verfahren zum Abbilden einer geometrischen Figur
WO2023100249A1 (ja) * 2021-11-30 2023-06-08 日本電信電話株式会社 動き取得装置、動き取得方法及び動き取得プログラム
WO2023100250A1 (ja) * 2021-11-30 2023-06-08 日本電信電話株式会社 動き取得装置、動き取得方法及び動き取得プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143270A (ja) 1991-11-20 1993-06-11 Matsushita Electric Ind Co Ltd ウインドウシステム上のカーソル管理装置およびカーソル管理方法
JP3857504B2 (ja) 1993-05-21 2006-12-13 ソニー株式会社 入力装置、制御システム
JP4236706B2 (ja) * 1995-06-16 2009-03-11 ソニー株式会社 情報処理装置及び情報処理方法
JP3313610B2 (ja) 1997-04-24 2002-08-12 エヌイーシーシステムテクノロジー株式会社 ウィンドウ画面表示位置制御装置と方法
JP3748483B2 (ja) 1997-09-12 2006-02-22 株式会社リコー 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム
JPH11353088A (ja) * 1998-06-05 1999-12-24 Nec Off Syst Ltd カーソル表示位置制御装置および方法
JP2003280785A (ja) * 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
JP4244202B2 (ja) 2004-05-06 2009-03-25 アルパイン株式会社 操作入力装置および操作入力方法
JP2006172423A (ja) * 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550430B2 (en) 2019-01-18 2023-01-10 Sony Group Corporation Information processing apparatus, information processing method, and recording medium

Also Published As

Publication number Publication date
CN101606120A (zh) 2009-12-16
US8531399B2 (en) 2013-09-10
JP2014167800A (ja) 2014-09-11
TW200941302A (en) 2009-10-01
EP2219101A1 (en) 2010-08-18
JP5531616B2 (ja) 2014-06-25
WO2009072504A1 (ja) 2009-06-11
US20100265175A1 (en) 2010-10-21
CN101606120B (zh) 2012-08-15
JPWO2009072504A1 (ja) 2011-04-21

Similar Documents

Publication Publication Date Title
KR20100086931A (ko) 제어 장치, 입력 장치, 제어 시스템, 제어 방법 및 핸드헬드 장치
US10175784B2 (en) Control device, input device, control system, handheld device, and control method
US9829998B2 (en) Information processing apparatus, input apparatus, information processing system, information processing method, and program
US20150169160A1 (en) Input apparatus, control apparatus, control system, electronic apparatus, and control method
US8395583B2 (en) Input apparatus, control apparatus, control system, control method, and handheld apparatus
KR20100095999A (ko) 입력 장치, 제어 장치, 제어 시스템, 핸드헬드 장치 및 제어 방법
JP5561092B2 (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
JPWO2009072471A1 (ja) 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
WO2016098443A1 (ja) 情報処理装置及び情報処理装置の制御方法
US8456422B2 (en) Input apparatus, control apparatus, control system, control method, and handheld apparatus
JP2014228703A (ja) 地図表示制御装置
JP5412812B2 (ja) 入力装置、制御装置、制御システム、及びハンドヘルド装置
JP2010157106A (ja) 入力装置、制御装置、ハンドヘルド装置、制御システム及び制御方法
KR20100091854A (ko) 입력 장치, 디스플레이 기기 및 리모트 컨트롤 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid