KR20180122721A - 정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램 Download PDF

Info

Publication number
KR20180122721A
KR20180122721A KR1020187030543A KR20187030543A KR20180122721A KR 20180122721 A KR20180122721 A KR 20180122721A KR 1020187030543 A KR1020187030543 A KR 1020187030543A KR 20187030543 A KR20187030543 A KR 20187030543A KR 20180122721 A KR20180122721 A KR 20180122721A
Authority
KR
South Korea
Prior art keywords
movement
gesture
pointer
extracted
control target
Prior art date
Application number
KR1020187030543A
Other languages
English (en)
Inventor
아츠시 호리
유이치 사사키
히로야스 네기시
겐타로 모리
아키라 도리이
다쿠야 마에카와
도시유키 하기와라
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20180122721A publication Critical patent/KR20180122721A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

제스처 판정부(143)는, 포인터가 터치 패널에 접하고 나서 포인터가 터치 패널로부터 떨어질 때까지의 동안의 포인터의 이동 궤적을 추출한다. 그리고, 제스처 판정부(143)는, 추출한 포인터의 이동 궤적을 해석해서, 포인터의 이동에 의해 지정된, 제어 대상의 파라미터인 제어 대상 파라미터와 제어 대상 파라미터의 제어량을 식별한다.

Description

정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램
본 발명은 터치 패널을 구비하는 정보 처리 장치에 관한 것이다.
특허문헌 1에는, 이른바 블라인드 입력이 가능한 정보 입력 장치가 개시되어 있다. 특허문헌 1의 기술에 따르면, 유저는, 정보 입력 장치의 방향을 신경쓰지 않고, 정보 입력 장치의 조작 영역(터치 패널)의 조작 키의 표시를 보지 않고서, 예를 들면 정보 입력 장치를 포켓 안에 넣은 채로 입력을 행할 수 있다.
일본 공개 특허 공보 제2009-140210호
특허문헌 1의 기술에서는, 터치 패널 상에서 유저가 손가락을 슬라이딩시킨 방향 및 방위(orientation)에 대응시켜 정보 입력 장치가 터치 패널에 조작 키를 배치한다. 그리고, 특허문헌 1의 기술에서는, 유저가 조작 키의 레이아웃을 기억하고 있는 경우에, 유저가 조작 키를 보지 않고 조작 키를 조작해서 정보 입력 장치에의 입력을 행한다.
특허문헌 1의 기술에서는, 유저는 터치 패널에 조작 키를 배치하기 위한 슬라이드 조작을 행하고, 슬라이드 조작에 의해 터치 패널에 조작 키가 배치된 후에 조작 키를 조작할 필요가 있다.
스마트 폰으로 대표되는 정보 기기는, 무선 통신에 의해, 텔레비젼의 음량 제어, 텔레비젼의 화면 휘도 제어, 에어컨의 풍량 제어, 조명의 조도 제어 등을 행할 수 있다.
유저가 특허문헌 1의 기술을 이용해서 이들 제어를 행하려고 하면, 유저는 터치 패널에 조작 키를 배치하기 위한 슬라이드 조작을 행하고, 제어 대상의 파라미터(예를 들면 텔레비젼의 음량)를 지정하기 위한 조작을 행하고, 당해 제어 대상의 파라미터의 제어량(증가량 또는 감소량)을 지정하기 위한 조작을 행할 필요가 있다.
이와 같이, 특허문헌 1의 정보 입력 장치에서는, 유저는 1개의 제어를 행하기까지 복수의 터치 패널 조작을 행해야 해서 번잡하다라고 하는 과제가 있다.
본 발명은 이러한 과제를 해결하는 것을 주된 목적의 하나로 하고 있고, 터치 패널 조작에 있어서의 편리성을 향상시키는 것을 주된 목적으로 한다.
본 발명에 따른 정보 처리 장치는,
터치 패널을 구비하는 정보 처리 장치로서,
포인터가 상기 터치 패널에 접하고 나서 상기 포인터가 상기 터치 패널로부터 떨어질 때까지의 상기 포인터의 이동 궤적을 추출하는 추출부와,
상기 추출부에 의해 추출된 상기 포인터의 이동 궤적을 해석해서, 상기 포인터의 이동에 의해 지정된, 제어 대상의 파라미터인 제어 대상 파라미터와 상기 제어 대상 파라미터의 제어량을 식별하는 식별부를 갖는다.
본 발명에서는, 포인터가 터치 패널에 접하고 나서 포인터가 터치 패널로부터 떨어질 때까지의 포인터의 이동 궤적을 해석해서, 제어 대상의 파라미터인 제어 대상 파라미터와 제어 대상 파라미터의 제어량을 식별한다. 이 때문에, 본 발명에 따르면, 유저는 1개의 터치 패널 조작으로 제어 대상 파라미터와 제어량을 지정할 수 있어, 터치 패널 조작에 있어서의 편리성을 향상시킬 수 있다.
도 1은 실시 형태 1에 따른 휴대용 기기 및 제어 대상 기기의 하드웨어 구성예를 나타내는 도면.
도 2는 실시 형태 1에 따른 휴대용 기기의 기능 구성예를 나타내는 도면.
도 3은 실시 형태 1에 따른 제스처(gesture) 조작의 예를 나타내는 도면.
도 4는 실시 형태 1에 따른 제스처 조작의 예를 나타내는 도면.
도 5는 실시 형태 2에 따른 제스처 조작의 예를 나타내는 도면.
도 6은 실시 형태 3에 따른 회전 제스처 조작과 원의 중심을 나타내는 도면.
도 7은 실시 형태 6에 따른 제스처 조작의 예를 나타내는 도면.
도 8은 실시 형태 6에 따른 제스처 조작의 예를 나타내는 도면.
도 9는 실시 형태 6에 따른 제스처 조작의 예를 나타내는 도면.
도 10은 실시 형태 7에 따른 제스처 조작의 예를 나타내는 도면.
도 11은 실시 형태 7에 따른 제스처 조작의 예를 나타내는 도면.
도 12는 실시 형태 8에 따른 제스처 조작의 예를 나타내는 도면.
도 13은 실시 형태 8에 따른 제스처 조작의 예를 나타내는 도면.
도 14는 실시 형태 8에 따른 제스처 조작의 예를 나타내는 도면.
도 15는 실시 형태 9에 따른 제스처 조작의 예를 나타내는 도면.
도 16은 실시 형태 9에 따른 제스처 조작의 예를 나타내는 도면.
도 17은 실시 형태 10에 따른 제스처 조작의 예를 나타내는 도면.
도 18은 실시 형태 10에 따른 제스처 조작의 예를 나타내는 도면.
도 19는 실시 형태 4에 따른 찌그러진 원의 예를 나타내는 도면.
도 20은 실시 형태 11에 따른 중력 센서의 정보를 이용해서 수직 방향을 결정하는 예를 나타내는 도면.
도 21은 실시 형태 1에 따른 휴대용 기기의 동작예를 나타내는 흐름도.
실시 형태 1.
***구성의 설명***
도 1은 본 실시 형태에 따른 휴대용 기기(11) 및 제어 대상 기기(10)의 하드웨어 구성예를 나타낸다.
휴대용 기기(11)는 유저로부터의 지시에 따라서, 제어 대상 기기(10)를 제어한다.
휴대용 기기(11)는 예를 들면, 스마트 폰, 태블릿 단말, 퍼스널 컴퓨터 등이다.
휴대용 기기(11)는 정보 처리 장치의 예이다. 또, 휴대용 기기(11)에 의해 행해지는 동작은 정보 처리 방법의 예이다.
제어 대상 기기(10)는 휴대용 기기(11)에 의해 제어되는 기기이다.
제어 대상 기기(10)는 텔레비젼, 에어컨, 조명 시스템 등이다.
휴대용 기기(11)는 통신 인터페이스(110), 프로세서(111), FPD(Flat　Panel　Display)(115), ROM(Read　Only　Memory)(116), RAM(Random　Access　Memory)(117) 및 센서부(112)를 구비하는 컴퓨터이다.
ROM(116)는, 도 2에 나타내는 통신 처리부(140), 제스처 검출부(141), 센서부(146), 표시 제어부(150)의 기능을 실현하는 프로그램을 기억하고 있다. 이 프로그램은 RAM(117)에 로딩되어, 프로세서(111)가 실행한다. 도 1은 프로세서(111)가 통신 처리부(140), 제스처 검출부(141), 센서부(146), 표시 제어부(150)의 기능을 실현하는 프로그램을 실행하고 있는 상태를 모식적으로 나타내고 있다. 또한, 이 프로그램은 정보 처리 프로그램의 예이다.
또, ROM(116)는 도 2에 나타내는 할당 정보 기억부(153) 및 회전 제스처 모델 정보 기억부(155)를 실현한다.
통신 인터페이스(110)는 제어 대상 기기(10)와 무선 통신을 행하는 회로이다.
FPD(115)는 유저에게 제시하는 정보를 표시한다.
센서부(112)에는, 중력 센서(113), 터치 센서(114) 및 터치 패널(118)이 포함된다.
제어 대상 기기(10)는 통신 인터페이스(101), 프로세서(102) 및 출력 장치(103)를 구비한다.
통신 인터페이스(101)는 휴대용 기기(11)와 무선 통신을 행하는 회로이다.
프로세서(102)는 통신 인터페이스(101) 및 출력 장치(103)를 제어한다.
출력 장치(103)는 제어 대상 기기(10)마다 상이하다. 제어 대상 기기(10)가 텔레비젼이면, 출력 장치(103)는 스피커 및 FPD이다. 제어 대상 기기(10)가 에어컨이면, 송풍 기구이다. 제어 대상 기기(10)가 조명 시스템이면, 출력 장치(103)는 조명 기기이다.
도 2는 본 실시 형태에 따른 휴대용 기기(11)의 기능 구성예를 나타낸다.
도 2에 나타내는 바와 같이, 휴대용 기기(11)는 통신 처리부(140), 제스처 검출부(141), 센서부(146), 표시 제어부(150), 할당 정보 기억부(153) 및 회전 제스처 모델 정보 기억부(155)로 구성된다.
통신 처리부(140)는 도 1에 나타내는 통신 인터페이스(114)를 이용해서 제어 대상 기기(11)와 통신한다. 보다 구체적으로는, 후술하는 제스처 판정부(143)에 의해 생성된 제어 커멘드를 제어 대상 기기(10)에 송신한다.
센서부(146)에는, 방향 검출부(147)와 터치 검출부(148)가 포함된다.
방향 검출부(147)는 휴대용 기기(11)의 방향을 검출한다. 방향 검출부(147)의 상세한 것은 실시 형태 11에서 설명한다.
터치 검출부(148)는 포인터에 의해 터치된 터치 좌표를 취득한다. 포인터는 유저의 손가락 또는 유저가 이용하는 터치 펜이다. 또, 터치 좌표는 포인터가 터치한 터치 패널(118) 상의 좌표이다.
제스처 검출부(141)에는, 터치 좌표 취득부(142)와 제스처 판정부(143)가 포함된다.
터치 좌표 취득부(142)는 센서부(146)로부터 터치 좌표를 취득한다.
제스처 판정부(143)는 터치 좌표 취득부(142)가 취득한 터치 좌표에 근거해서, 유저가 행한 제스처를 식별한다. 즉, 제스처 판정부(143)는, 터치 좌표를 연속해서 취득함으로써, 포인터가 터치 패널(118)에 접하고 나서 포인터가 터치 패널(118)로부터 떨어질 때까지의 포인터의 이동 궤적을 추출한다. 그리고, 제스처 판정부(143)는 추출한 포인터의 이동 궤적을 해석해서, 포인터의 이동에 따라 지정된, 제어 대상의 파라미터인 제어 대상 파라미터와 제어 대상 파라미터의 제어량을 식별한다.
제어 대상 파라미터는 제어 대상 기기(10)를 제어하기 위한 파라미터이다. 예를 들면, 제어 대상 기기(10)가 텔레비젼이면, 제어 대상 파라미터는, 음량, 화면 휘도, 화면의 콘트라스트, 메뉴 항목, 타이머 설정 시각 등이다. 또, 제어 대상 기기(10)가 에어컨이면, 제어 대상 파라미터는, 설정 온도, 설정 습도, 풍량, 풍향 등이다. 또, 제어 대상 기기(10)가 조명 시스템이면, 제어 대상 파라미터는 조도 등이다.
후술하는 바와 같이, 포인터가 터치 패널(118)에 접하고 나서 포인터가 터치 패널(118)로부터 떨어질 때까지의 동안에, 유저는 연속해서 2개의 제스처를 행한다. 1개는 제어 대상 파라미터를 지정하는 제스처(이하, 파라미터 지정 제스처라고 한다)이며, 또 하나는 제어량을 지정하는 제스처(이하, 제어량 지정 제스처라고 한다)이다. 제스처 판정부(143)는 추출한 포인터의 이동 궤적으로부터, 제어 대상 파라미터를 지정하는 이동 궤적(즉, 파라미터 지정 제스처에 대응하는 이동 궤적)을 파라미터 지정 이동 궤적으로서 추출한다. 또, 제스처 판정부(143)는 추출한 포인터의 이동 궤적으로부터, 제어량을 지정하는 이동 궤적(즉, 제어량 지정 제스처에 대응하는 이동 궤적)을 제어량 지정 이동 궤적으로서 추출한다. 그리고, 제스처 판정부(143)는 추출한 파라미터 지정 이동 궤적을 해석해서 제어 대상 파라미터를 식별하고, 추출한 제어량 지정 이동 궤적을 해석해서 제어량을 식별한다.
또, 제스처 판정부(143)는 식별한 제어 대상 파라미터 및 제어량을 제어 대상 기기(10)에 통지하기 위한 제어 커멘드를 생성한다. 그리고, 제스처 판정부(143)는 생성한 제어 커멘드를, 통신 처리부(140)를 통해서 제어 대상 기기(10)에 송신한다.
제스처 판정부(143)는 추출부 및 식별부의 예이다. 또, 제스처 판정부(143)에 의해 행해지는 동작은 추출 처리 및 식별 처리의 예이다.
표시 제어부(150)는 GUI(Graphical　User　Interface) 표시 등을 제어한다.
할당 정보 기억부(153)는 할당 정보를 기억한다.
할당 정보에는, 복수의 이동 궤적의 패턴이 기술되고, 이동 궤적의 패턴마다, 제어 대상 파라미터 또는 제어량이 정의되어 있다.
제스처 판정부(143)는 할당 정보를 참조함으로써, 추출한 이동 궤적에 대응하는 제어 대상 파라미터 또는 제어량을 식별한다.
회전 제스처 모델 정보 기억부(155)는 회전 제스처 모델 정보를 기억한다. 회전 제스처 모델 정보의 상세한 것은 실시 형태 4에서 설명한다.
***동작의 설명***
먼저, 본 실시 형태에 따른 휴대용 기기(11)의 동작의 개요를 설명한다.
본 실시 형태에서는, 유저는 제어 대상 기기(10)를 제어할 때에, 터치 패널(118)에 도 3 및 도 4에 나타내는 제스처를 행한다.
도 3은 파라미터 1의 값을 증가하기 위한 제스처와, 파라미터 1의 값을 감소하기 위한 제스처와, 파라미터 2의 값을 증가하기 위한 제스처와, 파라미터 2의 값을 감소하기 위한 제스처를 나타낸다.
도 4는 파라미터 3의 값을 증가하기 위한 제스처와, 파라미터 3의 값을 감소하기 위한 제스처와, 파라미터 4의 값을 증가하기 위한 제스처와, 파라미터 4의 값을 감소하기 위한 제스처를 나타낸다.
도 3 및 도 4에 나타내는 제스처에는, 직선 이동의 제스처(슬라이드 제스처라고도 한다)와, 원 이동의 제스처(회전 제스처라고도 한다)가 포함된다. 직선 이동의 제스처는 파라미터 지정 제스처이며, 원 이동의 제스처는 제어량 지정 제스처이다.
파라미터 1을 지정하는 파라미터 지정 제스처는, 「좌에서 우로 이동하는」 슬라이드 제스처이다. 파라미터 2를 지정하는 파라미터 지정 제스처는, 「위에서 아래로 이동하는」 슬라이드 제스처이다. 파라미터 3을 지정하는 파라미터 지정 제스처는 「우에서 좌로 이동하는」 슬라이드 제스처이다. 파라미터 4를 지정하는 파라미터 지정 제스처는 「아래에서 위로 이동하는」 슬라이드 제스처이다.
또, 파라미터의 값을 증가시키는 제어량 지정 제스처는 시계 회전의 회전 제스처이다. 또, 파라미터의 값을 감소시키는 제어량 지정 제스처는 반시계 회전의 회전 제스처이다. 증가량 또는 감소량은 포인터의 주회 수(circulation count)로 결정된다. 제스처 판정부(143)는, 원 이동의 이동 궤적에서의 포인터의 주회 방향과 주회 수를 해석해서 제어량을 식별한다. 예를 들면, 유저가 시계 회전의 회전 제스처를 2회 행한 경우는, 제스처 판정부(143)는 해당하는 파라미터의 값을 2 단계 증가시키는 것을 식별한다. 한편, 유저가 반시계 회전의 회전 제스처를 2회 행한 경우는, 제스처 판정부(143)는 파라미터의 값을 2 단계 감소시키는 것을 식별한다.
유저는 파라미터 지정 제스처와 제어량 지정 제스처를 1개의 터치 패널 조작으로 행한다. 즉, 유저는 포인터를 터치 패널(118)에 터치시키고 나서 포인터를 터치 패널(118)로부터 떼어 놓을 때까지의 동안에 파라미터 지정 제스처와 제어량 지정 제스처를 1개의 제스처로서 행한다.
할당 정보 기억부(153)가 기억하는 할당 정보에는, 파라미터마다, 파라미터 지정 제스처에 대응하는 파라미터 지정 이동 궤적 및 제어량 지정 제스처에 대응하는 제어량 지정 이동 궤적이 정의되어 있다. 할당 정보에는, 예를 들면, 파라미터 1에 대해서, 파라미터 지정 이동 궤적으로서 「좌에서 우로 이동하는」 이동 궤적이 정의되고, 파라미터의 값을 증가시키는 제어량 지정 궤적으로서 시계 회전의 이동 궤적이 정의되어 파라미터의 값을 감소시키는 제어량 지정 궤적으로서 반시계 회전의 이동 궤적이 정의되고 있다.
도 3 및 도 4에서는, 파라미터 지정 제스처로서, 수평 방향의 직선 이동(파라미터 1, 파라미터 3) 및 수직 방향의 직선 이동(파라미터 2, 파라미터 4)만을 나타내고 있지만, 다른 방향에서의 직선 이동으로 파라미터를 지정하도록 해도 좋다. 예를 들면, 파라미터 지정 제스처로서 60도 방향으로부터 120도 방향으로의 직선 이동, 120도 방향으로부터 60도 방향에의 직선 이동, 45도 방향으로부터 135도 방향으로의 직선 이동, 135도 방향으로부터 45도 방향으로의 직선 이동을 추가해도 좋다. 이와 같이 함으로써, 보다 많은 종류의 파라미터를 지정할 수 있다. 또한, 여기에서는, 방향을 각도로 나타내고 있지만, 대략의 방향으로 파라미터를 지정하도록 해도 좋다. 또, 방향은 균등하게 나눌 필요는 없다.
다음으로, 도 21에 나타내는 흐름도를 참조해서, 본 실시 형태에 따른 휴대용 기기(11)의 동작예를 설명한다.
유저가 터치 패널(118)에의 터치를 개시했을 때에(스텝 S201), 터치 검출부(148)가 터치 좌표를 인식한다(스텝 S202).
그리고, 터치 검출부(148)는 터치 좌표를 수치화하고(스텝 S203), 수치화된 터치 좌표를 RAM(117)에 저장한다(스텝 S204).
다음으로, 제스처 판정부(143)는, RAM(117)에 저장된 터치 좌표에 근거해서, 파라미터 지정 제스처를 인식할 수 있었을 때(스텝 S206에서 YES), 즉, 파라미터 지정 이동 궤적을 추출했을 때에, 제어 대상 파라미터를 식별한다(스텝 S208). 즉, 제스처 판정부(143)는, 추출한 파라미터 지정 이동 궤적을 할당 정보와 대조해서, 유저에 의해 지정된 제어 대상 파라미터를 식별한다. 그리고, 식별한 제어 대상 파라미터가 나타나는 파라미터 정보를 RAM(117)에 저장한다.
한편, 파라미터 지정 제스처를 인식할 수 없는 경우(스텝 S206에서 NO)에, 제어량 지정 제스처를 인식할 수 있었을 때(스텝 S207에서 YES), 즉, 제어량 지정 이동 궤적을 추출했을 때는, 제스처 판정부(143)는 제어량을 식별한다(스텝 S209). 즉, 제스처 판정부(143)는, 추출한 제어량 지정 이동 궤적을, 할당 정보와 대조해서, 유저에 의해 지정된 제어량을 식별한다. 그리고, 제스처 판정부(143)는, 식별한 제어량이 나타내는 제어량 정보를 RAM(117)에 저장한다.
유저에 의해 제어량 지정 제스처로서 복수회의 회전 제스처가 행해지는 경우는, 1회째의 회전 제스처를 인식했을 때에, 제스처 판정부(143)는 증가량=1(또는 감소량=1)의 제어량 정보를 생성하고, 생성한 제어량 정보를 RAM(117)에 저장한다. 이후, 회전 제스처를 인식할 때마다, 제스처 판정부(143)는 제어량 정보의 증가량(또는 감소량)의 값을 1씩 증가(increment)시킨다.
또, 유저가 어느 방향으로의 회전 제스처를 행한 후에 역방향으로의 회전 제스처를 행한 경우는, 제스처 판정부(143)는 역방향의 회전 제스처의 주회 수에 대응시켜 제어량 정보의 제어량을 감소(decrement)시킨다. 예를 들면, 도 3의 「파라미터 1-증가」(300)의 시계 회전의 회전 제스처가 3회 행해지고, 증가량=3의 제어량 정보가 RAM(117)에 저장되어 있을 때, 유저가 도 3의 「파라미터 1-감소」(301)의 반시계 회전의 회전 제스처를 1회 행한 경우는, 제스처 판정부(143)는 증가량의 값을 감소시켜서, 제어량 정보를 증가량=2로 갱신한다.
여기서, 제스처 판정부(143)가 파라미터 지정 제스처에서의 직선 이동의 이동 궤적을 추출하는 방법을 설명한다.
제스처 판정부(143)는 터치 패널(118)로부터 출력되고, 터치 좌표 취득부(142)에 의해 RAM(117)에 저장된 연속한 터치 좌표가 특정의 영역에 들어가 있고, 또한 특정의 방향으로 이동하고 있는 경우에, 터치 시점으로부터 당해 방향으로 포인터가 이동하고 있다고 판정한다. 이와 같이, 제스처 판정부(143)는 직선 이동의 개시점의 위치와 종료점의 위치를 해석해서 직선 이동의 이동 궤적을 추출해서 제어 대상 파라미터를 식별한다. 또한, 특정의 영역은 직사각형이나 타원호, 삼각형 등의 형상의 영역이다. 제스처 판정부(143)는 공지의 알고리즘인 최소 제곱법을 이용해서 직선 이동의 이동 궤적을 추출해도 좋다.
다음으로, 제스처 판정부(143)가 제어량 지정 제스처에서의 원 이동의 이동 궤적을 추출하는 방법을 설명한다.
제스처 판정부(143)는, 연속한 터치 좌표가, 더블 원의 외측과 내측의 영역의 범위에 들어가는 것, 또한, 연속한 점 군이 차례로 원을 그리도록 작성되어 있는 것의 조건을 충족한 경우에, 원 이동의 이동 궤적을 추출한다. 제스처 판정부(143)는, 점 군 내의 3점을 추출해서 원의 중심을 구하는 공지의 알고리즘을 이용해서, 원의 중심의 좌표를 추출할 수 있다. 또, 제스처 판정부(143)는, 당해 알고리즘을 반복 실행함으로써 원의 중심의 좌표의 추출 정밀도를 높일 수도 있다.
또한, 제스처 판정부(143)는 예를 들면 노이즈 제거 장치를 이용해서 외래 노이즈를 제거하도록 해도 좋다.
도 21의 플로우에 돌아와서, 유저에 의한 터치가 종료하고 있는 경우(스텝 S210에서 YES)는, 제스처 판정부(143)는 제어 커멘드를 생성한다(스텝 S211).
구체적으로는, 터치 좌표 취득부(142)가 새로운 터치 좌표를 취득하지 않게 되면, 제스처 판정부(143)는 유저에 의한 터치가 종료하고 있다고 판정한다.
제스처 판정부(143)는 RAM(117)로부터 파라미터 정보와 제어량 정보를 판독하고, 파라미터 정보와 제어 정보를 이용해서 제어 커멘드를 생성한다.
그리고, 제스처 판정부(143)는 통신 처리부(140)를 통해서 제어 대상 기기(10)에 제어 커멘드를 송신한다.
이 결과, 제어 대상 기기(10)는 제어 대상 파라미터의 값을 제어량에 따라서 제어한다.
또한, 도 21의 플로우에서는, 제스처 판정부(143)는 유저의 터치가 종료한 후에, 제어 커멘드를 생성하고, 생성한 제어 커멘드를 제어 대상 기기(10)에 송신하고 있다. 이것 대신에, 제스처 판정부(143)는, 유저의 터치가 종료하기 전에 제어 커멘드를 생성하고, 생성한 제어 커멘드를 송신하도록 해도 좋다. 제스처 판정부(143)는, 유저의 터치에 있어서의 모든 브레이크마다, 제어 커멘드를 송신하도록 해도 좋다. 예를 들면, 제스처 판정부(143)는, 도 3의 직선 이동이 완료한 단계에서, 파라미터를 통지하는 제어 커멘드를 송신하고, 원 이동의 1 주회마다, 제어량을 통지하는 제어 커멘드를 송신하도록 해도 좋다.
***실시 형태의 효과의 설명***
이상과 같이, 본 실시 형태에 따르면, 유저는 1개의 터치 패널 조작으로 제어 대상 파라미터와 제어량을 지정할 수 있어, 터치 패널 조작에 있어서의 편리성을 향상시킬 수 있다.
또, 유저는 휴대용 기기(11)의 화면을 보지 않고, 제어 대상 기기(10)의 제어를 행할 수 있다.
또, 표시 제어부(150)가, 유저가 제스처로 지정한 제어 대상 파라미터 및 제어량을 FPD(115)에 표시하고, 유저가 제어 대상 파라미터 및 제어량을 확인하도록 해도 좋다. 이와 같이 함으로써, 조작의 정밀도를 높일 수 있다.
또, 표시 제어부(150)가 제어 대상 파라미터 및 제어량을 표시하는 구성 대신에, 모터의 움직임, 소리 등에 의해 제어 대상 파라미터 및 제어량을 유저에게 통지하도록 해도 좋다.
또한, 이상에서는, 파라미터 지정 제스처로서 슬라이드 제스처를 예시하고, 제어량 지정 제스처로서 회전 제스처를 예시했다. 이것 대신에, 파라미터 지정 제스처 및 제어량 지정 제스처로서 탭, 더블 탭, 핀치 등의 일반적으로 터치 패널 조작에서 사용되고 있는 제스처를 이용해도 좋다.
실시 형태 2.
이상의 실시 형태 1에서는, 제스처 판정부(143)는, 회전 제스처에서의 포인터의 주회 수에 따라서 증가량이나 감소량을 결정하고 있다.
본 실시 형태에서는, 제스처 판정부(143)가, 회전 제스처에서의 포인터의 주회 각도에 따라서 증가량이나 감소량을 식별하는 예를 설명한다.
즉, 본 실시 형태에서는, 제스처 판정부(143)는, 제어량 지정 이동 궤적의 원 이동에서의 포인터의 주회 방향과 주회 각도를 해석해서 제어량을 식별한다.
본 실시 형태에서는, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
이하에서는, 주로 실시 형태 1과의 차이를 설명한다.
본 실시 형태에서는, 도 5에 나타내는 바와 같이, 제스처 판정부(143)는, 슬라이드 제스처에 있어서의 좌에서 우로 이동하는 수평 이동의 동작에 이어서 수평 이동의 이동 궤적을 둘러싸도록 시계 회전의 원 이동을 인식한 경우에, 포인터의 주회 각도에 따라서 제어량을 식별한다. 즉, 제스처 판정부(143)는, 시계 회전의 원 이동이 발생한 경우에, 규정의 주회 각도를 인식했을 때에 증가량=1을 판정한다. 주회 각도를 구하기 위한 중심 위치(313)는 수평 이동의 시점(314)과 종점(315)의 중심 위치이다. 또, 주회 각도=0도의 좌표는 종점(315)의 좌표이다. 제스처 판정부(143)는 포인터의 터치 좌표(316)와 종점(315) 사이의 주회 각도(311)를 구한다. 그리고, 주회 각도(311)가 사전 결정된 주회 각도 이상이면, 제스처 판정부(143)는 증가량=1을 판정한다. 또, 주회 각도(311)가 사전 결정된 주회 각도의 2배 이상이면, 제스처 판정부(143)는 증가량=2를 판정한다. 제스처 판정부(143)는 감소량도 같은 순서로 판정할 수 있다. 또, 제스처 판정부(143)는 주회 각도(311)가 증가함에 따라서, 주회 각도(311)에 비례한 증가량은 아니고, 주회 각도(311)의 제곱에 비례한 증가량을 지정하도록 해도 좋다.
실시 형태 3.
실시 형태 1 및 실시 형태 2에 따른 회전 제스처에 있어서 원의 중심 위치가 시프트됨으로써, 제스처 판정부(143)가 증가량 또는 감소량을 정확하게 식별할 수 없게 될 가능성이 있다.
그래서, 본 실시 형태에서는, 제스처 판정부(143)는, 도 6에 나타내는 바와 같이, 회전 제스처마다, 원의 중심 위치를 터치 좌표로부터 추정한다. 그리고, 제스처 판정부(143)는, 추정한 원의 중심 위치에 근거해서, 회전 제스처마다, 이동 궤적을 추출한다. 이와 같이, 제스처 판정부(143)가, 회전 제스처마다 원의 중심 위치를 추정하고, 추정한 원의 중심 위치를 각 회전 제스처에 있어서의 이동 궤적의 추출에 이용함으로써, 각 회전 제스처에 있어서의 이동 궤적을 정확하게 추출할 수 있다. 이 결과, 제스처 판정부(143)는 제어량을 식별하는 정밀도를 높일 수 있다.
본 실시 형태에서는, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이며, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
이하에서는, 주로 실시 형태 1과의 차이를 설명한다.
제스처 판정부(143)는, 도 6에 나타내는 1 주회째의 회전 제스처의 도중에, 원주의 좌표로부터 3개의 점을 무작위로 선택해서, 그 3개의 점으로부터 원의 방정식을 구하는 연산을 반복 행함으로써 1 주회째의 회전 제스처의 원의 중심 위치를 추정한다. 예를 들면, 제스처 판정부(143)는, 1 주회째의 회전 제스처에 있어서, 원의 1/4에 상당하는 이동 궤적을 얻을 수 있을 때까지, 원주의 좌표로부터 3개의 점을 선택하고, 상술의 연산을 행하는 동작을 반복해서 1 주회째의 회전 제스처의 원의 중심 위치를 추정하는 것이 생각된다. 그리고, 제스처 판정부(143)는, 추정한 원의 중심 위치에 근거해서, 1 주회째의 회전 제스처의 나머지의 3/4의 원의 이동 궤적을 추출한다. 제스처 판정부(143)는, 2 주회째의 회전 제스처, 3 주회째의 회전 제스처에 대해서도 마찬가지의 동작을 행한다.
또, 원의 중심 위치를 구할 수 있다면, 제스처 판정부(143)는 상술의 방식 이외의 방식을 이용해도 된다. 또, 제스처 판정부(143)는 회전 제스처마다 중심 위치를 구하는 대신에, 특정의 간격마다(예를 들면, 시간에서의 간격마다, 터치 좌표에서의 간격마다)에 원의 중심 위치를 구하도록 해도 좋다.
실시 형태 4.
실시 형태 1 및 실시 형태 2에 따른 회전 제스처에 있어서, 유저가 정밀도 좋게 정확한 원을 포인터로 그리는 것은 곤란하다.
그래서, 본 실시 형태에서는, 제스처 판정부(143)가 회전 제스처 모델 정보를 참조해서, 회전 제스처의 이동 궤적을 추출하는 예를 설명한다.
본 실시 형태에서는, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
이하에서는, 주로 실시 형태 1과의 차이를 설명한다.
회전 제스처 모델 정보 기억부(155)는 회전 제스처 모델 정보를 기억하고 있다. 회전 제스처 모델 정보는, 예를 들면 샘플링에 의해 얻어진 회전 제스처에 있어서의 원 이동의 이동 궤적의 모델을 나타낸다. 회전 제스처 모델 정보는, 보다 구체적으로는, 도 19에 나타내는 찌그러진 원(500)의 이동 궤적을 나타낸다. 도 19는, 유저가 엄지에 의해 회전 제스처를 행한 결과, 찌그러진 원(500)이 묘화된 것을 나타내고 있다.
회전 제스처 모델 정보에 나타나는 이동 궤적은 여러 유저가 묘화한 원 중에서 선택된 평균적인 원의 이동 궤적이라도 좋고, 휴대용 기기(11)의 유저가 묘화한 원의 이동 궤적이라도 좋다. 또, 미리 회전 제스처 모델 정보를 준비하지 않고, 유저가 회전 제스처를 행할 때마다, 제스처 판정부(143)가, 유저가 묘화한 원의 이동 궤적을 학습해서 회전 제스처 모델 정보를 생성하도록 해도 좋다.
도 19의 찌그러진 원(500)의 이동 궤적을 회전 제스처 모델 정보로서 회전 제스처 모델 정보 기억부(155)에 등록해 두면, 유저가 제어 대상 기기(10)를 제어하기 위해서 터치 패널(118)에 묘화한 원이 찌그러져도, 제스처 판정부(143)는, 패턴 매칭에 의해 터치 패널(118)에 묘화된 찌그러진 원의 이동 궤적을 회전 제스처에 있어서의 원 이동의 이동 궤적이라고 인식할 수 있다. 이 결과, 제스처 판정부(143)는 제어량을 식별하는 정밀도를 높일 수 있다.
또, 휴대용 기기(11)가 복수의 유저에 의해 공용되는 경우는, 회전 제스처 모델 정보 기억부(155)가, 유저마다 회전 제스처 모델 정보를 기억하고 있어도 좋다. 이 경우는, 제스처 판정부(143)는, 휴대용 기기(11)를 이용중의 유저에게 대응한 회전 제스처 모델 정보를 회전 제스처 모델 정보 기억부(155)로부터 판독하고, 판독한 회전 제스처 모델 정보를 이용해서 회전 제스처의 이동 궤적을 추출한다.
실시 형태 5.
실시 형태 4에서는, 제스처 판정부(143)가, 실시 형태 1의 회전 제스처에 대해서 회전 제스처 모델 정보를 적용하는 예를 설명했다. 제스처 판정부(143)는, 실시 형태 2의 회전 제스처에 대해서도 회전 모델 제스처 정보를 적용해서, 원 이동의 이동 궤적을 추출해도 좋다. 즉, 본 실시 형태에서는, 제스처 판정부(143)는, 유저가 제어 대상 기기(10)를 제어하기 위해서 터치 패널(118)에 묘화된 찌그러진 원에 대해서 회전 제스처 모델 정보를 적용해서 원 이동의 이동 궤적을 추출하고, 도 5에 나타내는 주회 각도(311)를 특정한다.
본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
실시 형태 6.
실시 형태 1에서는, 도 3 및 도 4에 나타내는 바와 같이, 파라미터 지정 제스처가 1개의 슬라이드 제스처로 구성되어 있는 예를 설명했다.
이것 대신에, 도 7 및 도 8에 나타내는 바와 같이, 파라미터 지정 제스처가 슬라이드 제스처(320)와 슬라이드 제스처(321)라고 하는 2개의 슬라이드 제스처의 조합으로 구성되어 있어도 좋다. 도 7의 예에서도, 슬라이드 제스처(320), 슬라이드 제스처(321) 및 회전 제스처(322)는 1개의 터치 패널 조작으로 행해진다.
또, 도 9에 나타내는 바와 같이, 파라미터 지정 제스처가 슬라이드 제스처(330)와 슬라이드 제스처(331)라고 하는 2개의 슬라이드 제스처의 조합으로 구성되어 있어도 좋다. 도 9의 예에서도, 슬라이드 제스처(330), 슬라이드 제스처(331) 및 회전 제스처(332)는 1개의 터치 패널 조작으로 행해진다.
이와 같이, 본 실시 형태에서는, 제스처 판정부(143)는, 파라미터 지정 이동 궤적으로서 복수의 직선 이동의 이동 궤적을 추출하고, 추출한 복수의 직선 이동의 이동 궤적을 해석해서 제어 대상 파라미터를 식별한다.
또한, 본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
실시 형태 7.
실시 형태 1~6에서는, 제어량 지정 제스처가 회전 제스처이다.
이것 대신에, 제어량 지정 제스처가 슬라이드 제스처여도 좋다.
예를 들면, 도 10 및 도 11에 나타내는 바와 같이, 파라미터 지정 제스처가 슬라이드 제스처(340)로 구성되고, 제어량 지정 제스처가 슬라이드 제스처(341)로 구성되도록 해도 좋다.
이와 같이, 본 실시 형태에서는, 제스처 판정부(143)는, 파라미터 지정 이동 궤적으로서 포인터의 직선 이동의 이동 궤적을 추출하고, 제어량 지정 이동 궤적으로서 포인터의 다른 직선 이동의 이동 궤적을 추출한다.
또한, 본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
실시 형태 8.
실시 형태 1에서는, 도 3 및 도 4에 나타내는 바와 같이, 슬라이드 제스처의 수평 방향의 이동 궤적을 둘러싸는 회전 제스처를 제어량 지정 제스처로 하는 예를 나타냈다.　
이것 대신에, 도 12 및 도 13에 나타내는 바와 같이, 수평 이동의 슬라이드 제스처(350)의 외측에서 행해지는 회전 제스처(351)를 제어량 지정 제스처로 하도록 해도 좋다.
본 실시 형태에서는, 제스처 판정부(143)는, 도 14에 나타내는 방법으로, 회전 제스처의 원의 중심을 구한다.
즉, 제스처 판정부(143)는 슬라이드 제스처의 시점(360)으로부터 종점(361)까지의 거리를 구한다. 다음으로, 제스처 판정부(143)는 시점(360)으로부터 종점(361)까지의 거리의 중심 위치(362)를 구한다. 다음으로, 제스처 판정부(143)는 중심 위치(362)로부터 종점(361)까지의 거리와 동일한 거리의 위치에 원의 중심(363)을 설정한다.
도 12 및 도 13에 나타내는 슬라이드 제스처 및 회전 제스처를 이용하는 경우에, 실시 형태 2와 마찬가지로, 유저가 회전 제스처에 있어서의 포인터의 주회 각도로 제어량을 지정하는 경우는, 제스처 판정부(143)는 도 14에 나타내는 방법으로 구한 중심 위치(362)를 기준으로 해서 주회 각도를 산출한다.
본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
실시 형태 9.
실시 형태 1~8에서는, 제스처 판정부(143)는 1개의 포인터에 의한 회전 제스처를 해석해서 제어량을 식별하고 있다.
이것 대신에, 제스처 판정부(143)는 복수의 포인터에 의한 회전 제스처를 해석해서 제어량을 식별해도 좋다.
즉, 본 실시 형태에 따른 제스처 판정부(143)는 도 15 및 도 16에 나타내는 바와 같이, 2개의 포인터가 동시에 터치 패널(118)에 접해 얻어진 2 계통의 제스처(370, 371)에 있어서의 회전 제스처를 해석해서, 유저에 의해 지정된 제어량을 식별한다.
도 15 및 도 16의 예에서는, 1회의 회전 제스처마다, 제스처 판정부(143)는 증가량(또는 감소량)을 2씩 증가시킨다.
즉, n(n≥2)개의 포인터가 이용되는 경우는, 제스처 판정부(143)는 1회의 회전 제스처마다, 증가량(또는 감소량)을 n씩 증가시킨다.
또, 제스처 판정부(143)는 2개의 포인터에 의해 회전 제스처가 행해진 경우에서도, 1회의 회전 제스처마다, 증가량(또는 감소량)을 1씩 증가시키도록 해도 좋다.
또, 제스처 판정부(143)는 1개의 포인터에 의해 슬라이드 제스처가 행해진 후에, 2개의 포인터에 의해 회전 제스처가 행해진 경우에, 1회의 회전 제스처마다, 제스처 판정부(143)는 증가량(또는 감소량)을 2씩 증가시키도록 해도 좋다.
또, 본 실시 형태에서는, 2개의 회전 제스처가 동시에 행해지기 때문에, 회전 제스처로 묘화되는 원이 찌그러지게 되기 쉽다. 이 때문에, 제스처 판정부(143)는 실시 형태 4에서 설명한 회전 제스처 모델 정보를 이용해서, 회전 제스처를 인식하도록 해도 좋다.
이와 같이, 본 실시 형태에 따른 제스처 판정부(143)는 복수의 포인터의 이동 궤적을 추출하고, 복수의 포인터의 이동 궤적을 해석해서, 제어량을 식별한다.
또한, 본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
실시 형태 10.
실시 형태 9에서는, 실시 형태 1의 회전 제스처를 2개의 포인터에 의해 실시하는 예를 설명했다. 실시 형태 2의 회전 제스처를 2개의 포인터에 의해 행해도 좋다. 본 실시 형태에서는, 도 17 및 도 18에 나타내는 바와 같이, 제스처 판정부(143)는, 2개의 포인터가 동시에 터치 패널(118)에 터치되어 병행으로 행해진 회전 제스처의 원 이동의 이동 궤적을 추출해서, 제어량을 식별한다. 본 실시 형태에서는, 제스처 판정부(143)는, 2개의 평행하는 2개의 슬라이드 제스처를 인식한 후에 2개의 회전 제스처(382, 383)를 인식한다. 제스처 판정부(143)는 2개의 회전 제스처(382, 383)에서의 포인터의 주회 각도로부터 제어량을 식별한다.
본 실시 형태에서는, 2개의 회전 제스처가 동시에 행해지기 때문에, 회전 제스처로 묘화되는 원이 찌그러지게 되기 쉽다. 이 때문에, 제스처 판정부(143)는 실시 형태 4에서 설명한 회전 제스처 모델 정보를 이용해서, 회전 제스처를 인식하도록 해도 좋다.
본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
실시 형태 11.
실시 형태 1에서는, 제스처 판정부(143)는 회전 제스처에서의 포인터의 주회 수에 의해 제어량을 식별한다. 그렇지만, 실시 형태 1에서는, 휴대용 기기(11)의 방위가 고정적이다.
즉, 실시 형태 1에서는, 휴대용 기기(11)가 본래의 방위와는 반대의 방위로 유지된 경우에는, 제스처 판정부(143)는 파라미터 지정 제스처를 정확하게 인식할 수 없다.
본 실시 형태에서는, 도 1에 나타내는 중력 센서(113)를 활용함으로써, 휴대용 기기(11)가 반대로 유지된 경우에도, 제스처 판정부(143)가 파라미터 지정 제스처를 정확하게 인식할 수 있도록 한다.
보다 구체적으로는, 본 실시 형태에서는, 제스처 판정부(143)는, 포인터의 이동 궤적과 중력 센서의 측정 결과에 의해 얻어진 휴대용 기기(10)의 방위에 근거해서, 제어 대상 파라미터와 제어량을 식별한다.
본 실시 형태에서는, 유저에 의해 제스처가 행해지기 전에, 방향 검출부(147)가 중력 센서(113)의 측정 결과를 취득하고, 중력 센서(113)의 측정 결과를 이용해서, 휴대용 기기(11)의 상하 방향을 판정한다. 그리고, 제스처 판정부(143)는 터치 좌표 취득부(142)를 통해서 터치 패널(118)로부터 얻어지는 터치 좌표를 방향 검출부(147)에 의해 판정된 휴대용 기기(11)의 상하 방향에 따라서 계산한다. 이것에 의해, 도 20에 나타내는 바와 같이, 휴대용 기기(11)가 본래의 방위로 유지되는 경우에도(도 20(a)), 휴대용 기기(11)가 반대의 방위로 유지되는 경우에도(도 20(b)), 제스처 판정부(143)는 회전 제스처를 정확하게 인식해서, 정확한 제어량을 식별할 수 있다.
본 실시 형태에서도, 실시 형태 1과 비교해서, 제스처 판정부(143) 및 방향 검출부(147)의 동작이 상이할 뿐이고, 제어 대상 기기(10) 및 휴대용 기기(11)의 하드웨어 구성예는 도 1에 나타낸 바와 같고, 휴대용 기기(11)의 기능 구성예는 도 2에 나타낸 바와 같다. 또, 휴대용 기기(11)의 동작 플로우는 도 21에 나타낸 바와 같다.
이상, 본 발명의 실시 형태에 대해 설명했지만, 이들 실시 형태 중, 2개 이상을 조합해서 실시해도 상관없다.
혹은, 이들 실시 형태 중 1개를 부분적으로 실시해도 상관없다.
혹은, 이들 실시 형태 중 2개 이상을 부분적으로 조합해서 실시해도 상관없다.
또한, 본 발명은 이들 실시 형태로 한정되는 것은 아니고, 필요에 따라서 여러 변경이 가능하다.
***하드웨어 구성의 설명***
마지막으로, 휴대용 기기(11)의 하드웨어 구성의 보충 설명을 행한다.
도 1에 나타내는 프로세서(111)는 프로세싱을 행하는 IC(Integrated　Circuit)이다.
프로세서(111)는 CPU(Central　Processing　Unit), DSP(Digital　Signal　Processor) 등이다.
통신 인터페이스(110)는 예를 들면, 통신 칩 또는 NIC(Network　Interface　Card)이다.
또, ROM(116)에는, OS(Operating　System)도 기억되어 있다.
그리고, OS의 적어도 일부가 프로세서(111)에 의해 실행된다.
프로세서(111)는 OS의 적어도 일부를 실행하면서, 통신 처리부(140), 제스처 검출부(141), 센서부(146), 표시 제어부(150)(이하, 이들을 일괄해서 「부」라고 한다)의 기능을 실현하는 프로그램을 실행한다.
프로세서(111)가 OS를 실행함으로써, 태스크 관리, 메모리 메니지먼트, 파일 관리, 통신 제어 등이 행해진다.
도 1에서는, 1개의 프로세서가 도시되어 있지만, 휴대용 기기(11)가 복수의 프로세서를 구비하고 있어도 좋다.
또, 「부」의 처리의 결과를 나타내는 정보나 데이터나 신호치나 변수치가 RAM(117), 프로세서(111) 내의 레지스터 및 캐시 기억 장치 중 적어도 어느 하나에 기억된다.
또, 「부」의 기능을 실현하는 프로그램은 자기 디스크, 플렉시블 디스크, 광디스크, 콤팩트 디스크, 블루레이(등록상표) 디스크, DVD 등의 가반 기억 매체에 기억되어도 좋다.
또, 「부」를 「회로」 또는 「공정」 또는 「순서」 또는 「처리」로 바꿔 읽어도 좋다.
또, 휴대용 기기(11)는 논리 IC(Integrated Circuit), GA(Gate Array), ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array)라고 하는 전자 회로에 의해 실현되어도 좋다.
이 경우에, 「부」는 각각 전자 회로의 일부로서 실현된다.
또한, 프로세서 및 상기의 전자 회로를 총칭해서 프로세싱 회로라고도 한다.
10　제어 대상 기기, 11 휴대용 기기, 101 통신 인터페이스, 102 프로세서, 103 출력 장치, 110 통신 인터페이스, 111 프로세서, 112 센서부, 113 중력 센서, 114 터치 센서, 115　FPD, 116　ROM, 117　RAM, 118 터치 패널, 140 통신 처리부, 141 제스처 검출부, 142 터치 좌표 취득부, 143 제스처 판정부, 146 센서부, 147 방향 검출부, 148 터치 검출부, 150 표시 제어부, 153 할당 정보 기억부, 155 회전 제스처 모델 정보 기억부.

Claims (13)

  1. 터치 패널을 구비하는 정보 처리 장치로서,
    포인터가 상기 터치 패널에 접하고 나서 상기 포인터가 상기 터치 패널로부터 떨어질 때까지의 동안의 상기 포인터의 이동 궤적을 추출하는 추출부와,
    상기 추출부에 의해 추출된 상기 포인터의 이동 궤적을 해석해서, 상기 포인터의 이동에 의해 지정된, 제어 대상의 파라미터인 제어 대상 파라미터와 상기 제어 대상 파라미터의 제어량을 식별하는 식별부
    를 갖는 정보 처리 장치.
  2. 제 1 항에 있어서,
    상기 식별부는,
    상기 추출부에 의해 추출된 상기 포인터의 이동 궤적으로부터, 상기 제어 대상 파라미터를 지정하는 이동 궤적을 파라미터 지정 이동 궤적으로서 추출하고, 상기 제어량을 지정하는 이동 궤적을 제어량 지정 이동 궤적으로서 추출하고,
    추출한 상기 파라미터 지정 이동 궤적을 해석해서 상기 제어 대상 파라미터를 식별하고,
    추출한 상기 제어량 지정 이동 궤적을 해석해서 상기 제어량을 식별하는
    정보 처리 장치.
  3. 제 2 항에 있어서,
    상기 식별부는,
    상기 추출부에 의해 추출된 상기 포인터의 이동 궤적으로부터, 상기 파라미터 지정 이동 궤적으로서, 상기 포인터의 직선 이동의 이동 궤적을 추출하고, 상기 제어량 지정 이동 궤적으로서 상기 포인터의 원 이동의 이동 궤적을 추출하고,
    추출한 상기 직선 이동의 이동 궤적을 해석해서 상기 제어 대상 파라미터를 식별하고,
    추출한 상기 원 이동의 이동 궤적을 해석해서 상기 제어량을 식별하는
    정보 처리 장치.
  4. 제 3 항에 있어서,
    상기 식별부는 상기 직선 이동의 개시점의 위치와 종료점의 위치를 해석해서 상기 제어 대상 파라미터를 식별하는 정보 처리 장치.
  5. 제 3 항에 있어서,
    상기 식별부는 상기 원 이동의 이동 궤적에서의 상기 포인터의 주회 방향(circulation direction)과 주회 수((circulation count)를 해석해서 상기 제어량을 식별하는 정보 처리 장치.
  6. 제 3 항에 있어서,
    상기 식별부는, 상기 원 이동에서의 원의 중심 위치를 추정하고, 추정한 상기 원의 중심 위치에 근거해서 상기 원 이동의 이동 궤적을 추출하는 정보 처리 장치.
  7. 제 3 항에 있어서,
    상기 식별부는, 상기 원 이동의 이동 궤적의 모델을 참조해서, 상기 추출부에 의해 추출된 상기 포인터의 이동 궤적으로부터 상기 원 이동의 이동 궤적을 추출하는 정보 처리 장치.
  8. 제 3 항에 있어서,
    상기 식별부는,
    상기 파라미터 지정 이동 궤적으로서, 복수의 직선 이동의 이동 궤적을 추출하고,
    추출한 상기 복수의 직선 이동의 이동 궤적을 해석해서 상기 제어 대상 파라미터를 식별하는
    정보 처리 장치.
  9. 제 2 항에 있어서,　
    상기 식별부는, 상기 파라미터 지정 이동 궤적으로서 상기 포인터의 직선 이동의 이동 궤적을 추출하고, 상기 제어량 지정 이동 궤적으로서 상기 포인터의 다른 직선 이동의 이동 궤적을 추출하는 정보 처리 장치.
  10. 제 1 항에 있어서,
    상기 추출부는 복수의 포인터의 이동 궤적을 추출하고,
    상기 식별부는 상기 추출부에 의해 추출된 상기 복수의 포인터의 이동 궤적을 해석해서, 상기 제어량을 식별하는
    정보 처리 장치.
  11. 제 1 항에 있어서,
    상기 정보 처리 장치는 중력 센서를 구비하고 있고,
    상기 식별부는, 상기 추출부에 의해 추출된 상기 포인터의 이동 궤적과 상기 중력 센서의 측정 결과에 의해 얻어진 상기 정보 처리 장치의 방향에 근거해서, 상기 제어 대상 파라미터와 상기 제어량을 식별하는
    정보 처리 장치.
  12. 터치 패널을 구비하는 컴퓨터가,
    포인터가 상기 터치 패널에 접하고 나서 상기 포인터가 상기 터치 패널로부터 떨어질 때까지의 동안의 상기 포인터의 이동 궤적을 추출하고,
    추출한 상기 포인터의 이동 궤적을 해석해서, 상기 포인터의 이동에 의해 지정된, 제어 대상의 파라미터인 제어 대상 파라미터와 상기 제어 대상 파라미터의 제어량을 식별하는
    정보 처리 방법.
  13. 터치 패널을 구비하는 컴퓨터로 하여금,
    포인터가 상기 터치 패널에 접하고 나서 상기 포인터가 상기 터치 패널로부터 떨어질 때까지의 동안의 상기 포인터의 이동 궤적을 추출하는 추출 처리와,
    상기 추출 처리에 의해 추출된 상기 포인터의 이동 궤적을 해석해서, 상기 포인터의 이동에 의해 지정된, 제어 대상의 파라미터인 제어 대상 파라미터와 상기 제어 대상 파라미터의 제어량을 식별하는 식별 처리
    를 실행하게 하는 정보 처리 프로그램.
KR1020187030543A 2016-04-28 2016-04-28 정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램 KR20180122721A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/063470 WO2017187629A1 (ja) 2016-04-28 2016-04-28 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
KR20180122721A true KR20180122721A (ko) 2018-11-13

Family

ID=60161275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187030543A KR20180122721A (ko) 2016-04-28 2016-04-28 정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램

Country Status (6)

Country Link
US (1) US20190095093A1 (ko)
JP (1) JP6433621B2 (ko)
KR (1) KR20180122721A (ko)
CN (1) CN109074210A (ko)
DE (1) DE112016006806T5 (ko)
WO (1) WO2017187629A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901529B2 (en) 2018-07-19 2021-01-26 Stmicroelectronics S.R.L. Double-tap event detection device, system and method
CN109947349A (zh) * 2019-03-22 2019-06-28 思特沃克软件技术(北京)有限公司 一种基于车载触摸屏进行参数调节的方法和车载触摸屏

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2008299771A (ja) * 2007-06-04 2008-12-11 Nanao Corp ディスプレイ装置
JP5034912B2 (ja) 2007-12-06 2012-09-26 パナソニック株式会社 情報入力装置、情報入力方法、および情報入力プログラム
JP2012156835A (ja) * 2011-01-27 2012-08-16 Seiko Epson Corp リモコン装置及びプログラム
US8963962B2 (en) * 2012-03-06 2015-02-24 Apple Inc. Display of multiple images
JP5944743B2 (ja) * 2012-05-23 2016-07-05 京セラ株式会社 携帯端末、表示制御プログラムおよび表示制御方法
KR101558354B1 (ko) * 2013-11-13 2015-10-20 현대자동차 주식회사 차량용 블라인드 콘트롤 시스템
CN103760982B (zh) * 2014-01-22 2017-09-22 深圳市金立通信设备有限公司 一种控制终端屏幕状态的方法及终端
CN104850329A (zh) * 2015-04-29 2015-08-19 小米科技有限责任公司 参数调节方法及装置
CN105159454A (zh) * 2015-08-26 2015-12-16 广东欧珀移动通信有限公司 一种播放设备控制方法及智能手表

Also Published As

Publication number Publication date
US20190095093A1 (en) 2019-03-28
DE112016006806T5 (de) 2019-01-24
WO2017187629A1 (ja) 2017-11-02
JP6433621B2 (ja) 2018-12-05
CN109074210A (zh) 2018-12-21
JPWO2017187629A1 (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
US10282067B2 (en) Method and apparatus of controlling an interface based on touch operations
US10514842B2 (en) Input techniques for virtual reality headset devices with front touch screens
US10318042B2 (en) Controlling method of foldable screen and electronic device
JP5841590B2 (ja) 情報入力装置及び情報入力方法
JP2017527907A (ja) 疑似ランダムに誘導される指紋登録
TW201423482A (zh) 輸入裝置、輸入方法以及記憶媒體
US9965041B2 (en) Input device, apparatus, input method, and recording medium
CN108920066B (zh) 触摸屏滑动调整方法、调整装置及触控设备
US20140218315A1 (en) Gesture input distinguishing method and apparatus in touch input device
JP2015172887A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10248307B2 (en) Virtual reality headset device with front touch screen
KR20180122721A (ko) 정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램
JP6229554B2 (ja) 検出装置および検出方法
JP6418585B2 (ja) ウェアラブルデバイス、及びウェアラブルデバイスの動作方法
US9536126B2 (en) Function execution method based on a user input, and electronic device thereof
US9405375B2 (en) Translation and scale invariant features for gesture recognition
KR20150072625A (ko) 음성인식에 의한 포인터 제어방법 및 장치
KR102122793B1 (ko) 전자 디바이스 및 전자 디바이스에서 이미지 처리 방법
JP2013077180A (ja) 認識装置およびその制御方法
EP3568745B1 (en) Hover interaction using orientation sensing
US9830499B2 (en) Method of executing function of electronic device and electronic device using same
JP6281745B2 (ja) 摺動操作検出装置、電子機器及びプログラム
EP3208772B1 (en) Operation input system, operation input method, and program
EP2919096B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
CN105446604B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application