KR20140107135A - 제스처 조작을 검출하는 데이터 처리 장치 - Google Patents

Abstract

본 발명은 제스처 조작을 검출하여 그 조작에 따른 데이터 처리를 실행하는 경우에, 그 제스처 조작을 적절하게 판정할 수 있도록 하는 것을 과제로 한다.
제스처 조작을 검출하고(도 5의 스텝 A10), 그 검출 결과에 의거하여 제스처 조작 종류의 좁힘을 실행하는 동시에(스텝 A11), 제스처 조작을 실행한 조작자의 유저 속성을 포함하는 유저 정보 테이블을 참조하고(스텝 A13), 하나의 제스처 조작 종류로 좁힌다(스텝 A14).

Description

제스처 조작을 검출하는 데이터 처리 장치{DATA PROCESSING APPARATUS WHICH DETECTS GESTURE OPERATION}

본 발명은 제스처 조작을 검출하여 그 제스처 조작 종류에 따른 데이터 처리를 실행하는 데이터 처리 장치에 관한 것이다.

종래, 휴대 단말 장치 등의 데이터 처리 장치에 있어서 터치 패널상에서의 제스처 조작의 움직임 자체로부터, 어떠한 종류의 조작이 실행된 것인지를 판정하는 기술이 알려져 있다. 예를 들면, 터치 패널상에서의 접촉 개시점과 접촉 종료점의 관계로부터 플릭 조작이 실행된 것인지, 탭 조작이 실행된 것인지를 판정하도록 한 기술(일본국 특허공개공보 제2011-118629호 참조)과, 터치 위치의 분산 상태의 임계값으로부터 드래그 조작이 실행된 것인지, 플릭 조작이 실행된 것인지를 판정하도록 한 기술(일본국 특허공개공보 제2011-134212호 참조)과, 조작의 움직임과 속도의 임계값 판정에 의해서 플릭 조작이 실행된 것인지를 판정하도록 한 기술(일본국 특허공개공보 제2006-85703호 참조)이 존재하고 있다.

그러나, 상술한 각 특허문헌의 기술에 있어서는 제스처 조작 그 자체의 움직임으로부터(물리적인 조작 상태로부터) 플릭 조작인지 아닌지를 판정하는 것에 불과하여, 오판정의 위험성이 있었다.

즉, 동일한 종류의 제스처 조작이라도, 조작하는 유저에 따라서는 그 움직임이 미묘하게 변화해 버리기 때문에, 유저의 의도와는 상반된 제스처 판정이 실행될 수 있다. 예를 들면, 플릭 조작을 실행한 의도였는데 탭 조작으로 판정되거나, 탭 조작을 실행한 의도였는데 플릭 조작으로 판정되는 등, 오판정의 위험성이 있었다.

본 발명의 과제는 제스처 조작을 검출하여 그 조작에 따른 데이터 처리를 실행하는 경우에, 그 제스처 조작을 적절하게 판정할 수 있도록 하는 것이다.

본 발명은 제스처 조작을 검출하는 데이터 처리 장치로서, 유저의 속성을 기억하는 속성 기억 수단과, 제스처 조작의 조작 내용을 검출하는 검출 수단과, 상기 제스처 조작이 실행되었을 때에, 상기 검출 수단에서 검출된 조작 내용의 검출 결과와 상기 속성 기억 수단에 기억되어 있는 유저 속성에 의거하여, 복수의 제스처 조작 종류 중에서 상기 조작된 제스처 조작 종류를 판정하는 판정 수단과, 상기 판정 수단이 판정한 제스처 조작 종류에 따른 종류의 처리를 실행하는 데이터 처리 수단을 구비하는 데이터 처리 장치를 구비한다.

본 발명에 따르면, 제스처 조작을 검출하여 그 조작에 따른 데이터 처리를 실행하는 경우에, 그 제스처 조작을 적절하게 판정할 수 있어, 조작성이 향상한다.

도 1은 데이터 처리 장치로서 적용한 태블릿 단말 장치의 기본적인 구성 요소를 나타낸 블록도이다.
도 2는 각종 화상을 축소해서 터치 표시부(6)에 일람 표시시킨 경우의 썸네일 화면을 나타낸 도면이다.
도 3a는 우선 판정 테이블(3d)을 설명하기 위한 도면이다.
도 3b는 유저 정보 테이블(3e)를 설명하기 위한 도면이다.
도 4는 화상 표시 처리가 지정되었을 때에 실행 개시되는 흐름도이다.
도 5는 도 4의 동작에 계속되는 흐름도이다.
도 6은 제스처 조작이 실행될 때마다 실행 개시되는 유저의 조작 습관의 학습 처리를 나타낸 흐름도이다.

이하, 도 1∼도 6을 참조하여 본 발명의 실시형태를 설명한다.

본 실시형태는 데이터 처리 장치로서 태블릿 단말 장치에 적용한 경우를 예시한 것으로서, 도 1은 이 태블릿 단말 장치의 기본적인 구성 요소를 나타낸 블록도이다.

태블릿 단말 장치는 그 케이스 전체가 예를 들면, A5 사이즈의 휴대형 정보 단말 장치로서, 터치 입력 기능, 무선 통신 기능 등을 구비하고 있다. CPU(1)는 전원부(2차 전지)(2)로부터의 전력 공급에 의해서 동작하고, 기억부(3)내의 각종 프로그램에 따라 이 태블릿 단말 장치의 전체 동작을 제어하는 중앙 연산 처리 장치이다.

기억부(3)는 예를 들면, ROM, 플래시 메모리 등을 갖는 구성이며, 도 4∼도 6에 나타낸 동작 수순에 따라 본 실시형태를 실현하기 위한 프로그램을 기억하는 프로그램 메모리(3a)와, 이 태블릿 단말 장치에서 필요하게 되는 각종 데이터(화상 데이터, 문장 데이터 등)을 기억하는 데이터 메모리(3b)와, 플래그 등 일시 기억용의 워크 메모리(3c) 이외에, 후술하는 우선 판정 테이블(3d), 유저 정보 테이블(3e)을 갖고 있다.

또한, 기억부(3)는 예를 들면, SD카드, IC카드 등, 착탈 가능한 가반형(휴대가능) 메모리(기록 매체)를 포함하는 구성이어도 좋고, 도시하지 않지만, 통신 기능을 통해 네트워크에 접속되어 있는 상태에 있어서는 소정의 서버 장치측의 기억 영역을 포함하는 것이어도 좋다.

조작부(4)는 누름 버튼식의 키로서, 도시 생략했지만, 전원을 온/오프시키는 전원 키 등을 구비하고 있다. 무선 LAN(Local Area Network) 통신부(5)는 고속 대용량의 통신이 가능한 무선 통신 모듈로서, 가장 가까운 곳의 무선 LAN 라우터(도시 생략)를 통해 인터넷 등에 접속 가능하게 되어 있다. 터치 표시부(6)는 표시 패널(6a)에 터치 패널(6b)을 적층 배치한 구성이며, 소프트웨어 키(소프트 키)로서의 기능명을 표시하거나, 각종 아이콘 등을 표시한다.

이 터치 표시부(6)의 터치 패널(6b)은 손가락 등(펜 등의 조작자 포함)으로 터치 조작된 위치를 검지하여 그 좌표 데이터를 입력하는 터치 스크린을 구성하는 것으로서, 예를 들면, 정전 용량 방식 혹은 저항 피막 방식을 채용하도록 하고 있지만, 광 센서 방식 등, 그 밖의 방식이어도 좋다.

터치 표시부(6)상에서 터치 조작(이하, 각종 터치 조작을 제스처 조작으로 하는 경우가 있음)이 실행되면, CPU(1)는 그 접촉 위치에 따른 신호의 시간적 변화에 의거하여 손가락 등의 이동 방향, 이동 속도, 이동량을 검출하거나, 손가락 등의 접촉이 해제된 것을 검출한다. 그리고, CPU(1)는 터치 패널(6b)상에서의 제스처 조작 종류를 판정하여, 그 종류에 따른 데이터 처리를 실행한다.

즉, CPU(1)는 그 제스처 조작의 내용(종류)으로서, 터치 표시부(6)의 화면내의 위치를 지시하는 제스처 조작이 실행된 것인지, 화면내의 표시 내용의 변경을 지시하는 제스처 조작이 실행된 것인지의 제스처 조작 종류를 판정한다.

여기서, 본 실시형태에 있어서는 터치 패널(6b)상에서 실행되는 제스처 조작 종류로서, 터치 패널(6b)상의 임의의 위치를 접촉하고 바로 해제하는 제스처 조작(탭 조작)과, 터치 패널(6b)상을 접촉 이동하고 나서 바로 해제하는 제스처 조작(표시 스크롤을 지시하는 플릭 조작)의 어느 것이 실행된 것인지를 판정하도록 하고 있지만, 이 탭 조작, 플릭 조작에 한정되지 않고, 복수의 제스처 조작 중에서 그 밖의 종류의 제스처 조작을 판정하도록 해도 좋다.

또한, 제스처 조작은 터치 패널(6b)상에의 접촉 조작(터치 조작)에 한정되지 않고, 그 접촉 조작에 근사한 조작으로서, 예를 들면, 손가락이나 펜의 접근이나 접근 이동에 의한 정전 용량 변화나 밝기 변화 등에 따라 손가락이나 펜의 위치를 검출하는 비접촉 조작을 포함하는 것을 의미하고 있다.

즉, 접촉 조작을 검출하는 접촉형 터치 패널에 한정되지 않고, 비접촉 조작을 검출하는 비접촉형 터치 패널이나 조작 검출 디바이스라도 좋지만, 본 실시형태에 있어서는 제스처 조작으로서, 접촉형 터치 패널 상에서의 접촉 조작을 예시한 경우이다.

도 2는 각종 화상을 축소하여 터치 표시부(6)에 일람 표시시킨 경우의 섬네일 화면을 나타낸 도면이다.

유저 조작에 의해 화상의 표시가 지정되면, CPU(1)는 예를 들면, SD카드 등에 의해서 외부 공급된 화상을 섬네일 화면에 일람 표시시킨다. 도 2의 예는 복수개의 화상이 3행×2열의 매트릭스형상으로 배치 표시된 경우에서의 섬네일 화면을 나타내고 있다.

이 섬네일 화면내의 비어 있는 영역에는 각종 버튼이 배치되고, 예를 들면, 우측 하부 영역에는 직전의 조작을 취소하여 원래의 상태로 되돌리는 것을 지시하는 되돌림 버튼이 배치되어 있다. 또, 섬네일 화면에 배치되는 버튼으로서는 되돌림 버튼 이외에 페이지 전환 버튼(도시 생략) 등이 있다.

이 섬네일 화면상에 있어서 어떠한 제스처 조작이 실행되면, CPU(1)는 그 제스처 조작의 종류(제스처 조작 종류)를 판정하고, 그 제스처 조작 종류가 탭 조작이면, 화상의 선택 처리를 실행하지만, 플릭 조작이면, 페이지 전환 처리를 실행하도록 하고 있다.

또한, 도 2의 예에서는 3행 1열째의 화상상에서 탭 조작을 실행한 경우를 예시하고, 또, 1행째와 2행째의 비어 있는 영역상에서 화살표 방향(우측 방향)으로의 플릭 조작과, 화살표 방향(좌측 방향)으로의 플릭 조작을 실행한 경우를 예시하고 있다.

도 3a는 우선 판정 테이블(3d)을 설명하는 도면이며, 도 3b는 유저 정보 테이블(3e)을 설명하기 위한 도면이다.

도 3a의 우선 판정 테이블(3d)은 예를 들면, 제품 출하시에 미리 준비된 테이블로서, 「유저 속성」,「탭 기본 판정값」,「플릭 기본 판정값」의 각 항목을 갖는 구성으로 되어 있다.

「유저 속성」은 조작자(유저)의 속성을 나타내는 「연령층」, 「성별」의 항목을 갖고, 남녀별의 연령층으로서 "10∼20대", "30∼50대", …, "60세 이상"으로 구분되어 있다.

「탭 기본 판정값」, 「플릭 기본 판정값」은 제스처 조작 종류를 판정할 때에 참조되는 판정값으로서, 미리 유저 속성에 따라 고정적(기본적)으로 정해진 값이다.

예를 들면, 일반적으로 "10∼20대" 및 "30∼50대"의 남성은 플릭 조작을 힘차게 실행하는 경향에 있으며, 이동 속도나 이동량의 값이 커진다는 특징을 갖고 있지만, 탭 조작도 힘차게 실행되는 경향에 있기 때문에, 제스처 조작 종류를 하나로 좁힐 수 없는 경우가 있다.

이러한 경우에는 탭 조작을 우선하기 위해, 도 3a의 예에서는 「탭 기본 판정값」에 "1", 「플릭 기본 판정값」에 "0"이 설정되어 있다. 이에 대해, "60세 이상"의 남성은 플릭 조작을 신중하게 천천히 실행하거나 하는 경향에 있으며, 이동 속도나 이동량이 작아지는 것에 대해, 탭 조작도 신중하게 실행되는 경향에 있다. 이러한 경우에는 플릭 조작을 우선해서 판정하기 때문에. 도시한 예에서는 「탭 기본 판정값」에 "0", 「플릭 기본 판정값」에 "1"이 설정되어 있다.

또, "10∼20대"의 여성은 「탭 기본 판정값」에 "1", 「플릭 기본 판정값」에 "0"이 설정되고, "30∼50대", "60세 이상"의 여성은 「탭 기본 판정값」에 "0", 「플릭 기본 판정값」에 "1"이 설정되어 있다.

또한, 상술한 예에서는 「탭 기본 판정값」, 「플릭 기본 판정값」으로서 "0" 또는 "1"을 설정하는 것에 의해서 우선 "1"/비우선 "0"으로 했지만, 이것에 한정되지 않고, 예를 들면, "10"이하의 수치라도 좋다.

도 3b는 유저 정보 테이블(3e)을 나타내고 있다.

이 유저 정보 테이블(3e)은 유저마다 그 유저에 관한 정보로서 유저별로 「No.」,「유저 ID」,「유저 속성」,「탭 판정값」,「플릭 판정값」의 각 항목을 기억한다. 이 때문에, 여러 사람이 공유해서 사용하는 환경에서는 각 유저가 자신의 식별 정보를 「유저 ID」에서 설정할 수 있다. 또한, 우선 판정 테이블(3d) 중에서 (자신의 연령층 및 성별에 대응하는) 유저 속성을 선택 지정하면, 그 선택 지정된 유저 속성에 포함되는 "연령층", "성별"이 유저 정보 테이블(3e)의 「유저 속성」으로 설정된다.

그리고, 우선 판정 테이블(3d)로부터 그 선택 지정된 「유저 속성」에 대응하는 「탭 기본 판정값」,「플릭 기본 판정값」이 읽어내어져, 유저 정보 테이블(3e)의 대응하는 「탭 판정값」, 「플릭 판정값」에 그 초기값으로서 설정된다.

이 「탭 판정값」 및 「플릭 판정값」의 값은 유저의 조작 습관에 따라 초기값부터 증가된다. 즉, CPU(1)는 탭 조작, 플릭 조작에 관해 유저의 조작 습관을 학습하고, 그 학습 결과에 의거하여 「탭 판정값」, 「플릭 판정값」의 값을 증가하도록 하고 있다.

여기서, 플릭 조작의 직후(예를 들면, 1초 이내)에 역방향으로의 되돌림 조작(역 플릭 조작)이 실행된 경우 또는 되돌림 버튼(도 2 참조)이 조작된 경우에, 또한 그것에 계속해서 탭 조작이 실행되었을 때에는 탭 조작을 플릭 조작으로 오판정한 경우라고 판단하여, 「탭 판정값」을 증가(예를 들면, +0.1)시킨다. 또, 탭 조작의 직후(예를 들면, 1초 이내)에 되돌림 버튼(도 2 참조)이 조작된 경우에, 또한 그것에 계속해서 플릭 조작이 실행되었을 때에는 플릭 조작을 탭 조작으로 오판정한 경우라고 판단하여, 「탭 판정값」을 증가(예를 들면, +0.1)시킨다.

이와 같이 본 실시형태에 있어서 데이터 처리 장치(태블릿 단말 장치)는 유저의 속성(성별, 연령층, 조작습관)을 기억하는 속성 기억 수단(유저 정보 테이블(3e), CPU(1))과, 제스처 조작을 검출하는 검출 수단(CPU(1), 터치 표시부(6))과, 제스처 조작이 실행되었을 때에, 이 검출 수단의 검출 결과와 속성 기억 수단에 기억되어 있는 유저 속성에 의거하여, 복수의 제스처 조작 종류 중에서 조작된 제스처 조작 종류를 판정하는 판정 수단(CPU(1))과, 이 판정 수단이 판정한 제스처 조작 종류에 따른 종류의 처리를 실행하는 데이터 처리 수단(CPU(1))을 구비한다.

다음에, 본 실시형태에 있어서의 데이터 처리 장치(태블릿 단말 장치)의 동작 개념을 도 4∼도 6에 나타내는 흐름도를 참조하여 설명한다.

여기서, 이들 흐름도에 기술되어 있는 각 기능은 판독 가능한 프로그램 코드의 형태로 저장되어 있으며, 이 프로그램 코드에 따른 동작이 순차 실행된다. 또, 네트워크 등의 전송 매체를 통해 전송되어 온 상술한 프로그램 코드에 따른 동작을 순차 실행할 수도 있다. 즉, 기록 매체 이외에, 전송 매체를 통해 외부 공급된 프로그램/데이터를 이용하여 본 실시형태 특유의 동작을 실행할 수도 있다. 또한, 도 4∼도 6은 태블릿 단말 장치의 전체 동작 중, 본 실시형태의 특징 부분의 동작 개요를 나타낸 흐름도이며, 이 도 4∼도 6의 흐름에서 빠졌을 때에는 전체 동작의 메인 흐름(도시 생략)으로 되돌린다

도 4 및 도 5는 화상 표시 처리가 지정되었을 때에 실행 개시되는 흐름도이며, 이 화상 표시 처리에 앞서, 전원 온시에 입력된 유저 정보 또는 생체 정보에 의거하여 조작자(유저)가 특정되어 있는 것으로 한다.

우선, CPU(1)는 예를 들면, SD카드 등에 의해서 외부 공급된 각종 화상을 표시 대상으로서 선택하고(도 4의 스텝 A1), 그들 화상을 판독하고(스텝 A2), 축소 처리를 실행한 후, 터치 표시부(6)에 섬네일 표시한다(스텝 A3).

이 섬네일 화면에는 예를 들면, 도 2에 나타내는 바와 같이 복수의 화상이 3행×2열의 매트릭스형상으로 배치 표시되는 동시에, 되돌림 버튼 등이 배치된다. 이 섬네일 화면상에 있어서 어떠한 조작이 실행되었을 때에는(스텝 A4에서 YES), 그 조작은 되돌림 버튼 등의 버튼 조작인지를 조사하고(스텝 A5), 버튼 조작이면(스텝 A4에서 YES), 되돌림 버튼인지를 조사하거나(스텝 A6), 화상 표시 처리의 종료를 지시하는 종료 버튼인지를 조사한다(스텝 A8).

현재, 되돌림 버튼이 조작되었을 때에는(스텝 A6에서 YES) 직전의 조작을 취소하여 원래의 상태로 하는 되돌림 처리(스텝 A7)를 실행한 후, 상술한 스텝 A4로 이행하지만, 되돌림 버튼 및 종료 버튼 이외의 다른 버튼이 조작되었을 때에는(스텝 A8에서 NO), 조작에 따른 처리(예를 들면, 페이지 전환 처리 등)를 실행하고(스텝 A9), 그 후, 상술한 스텝 A4로 이행한다.

또, 종료 버튼이면(스텝 A8에서 YES), 도 4 및 도 5의 흐름에서 빠진다. 또, 섬네일 화면상의 조작이 버튼 조작이 아니면, 즉, 제스처 조작이면(스텝 A5에서 NO), 도 5의 흐름으로 이행한다.

우선, CPU(1)는 섬네일 화면상에서 제스처 조작이 실행되면, 터치 패널(6b)에 대한 접촉 위치를 검출하는 동시에, 그 접촉 위치에 따른 신호의 시간적 변화에 의거하여 손가락 등의 이동 방향, 이동 속도, 이동량을 검출하거나, 손가락 등의 접촉이 해제된 것을 검출하여 제스처 조작의 검출을 실행한다(도 5의 스텝 A10).

그리고, 다음의 스텝 A11에서는 이 제스처 조작의 검출 결과에 의거하여 제스처 조작의 좁힘을 실행하고(탭 조작인지 플릭 조작인지의 좁힘을 실행하고), 하나의 제스처 조작 종류로 좁힐 수 있었는지를 조사한다(스텝 A12).

이 경우, 예를 들면, 제스처 조작의 검출 결과(조작 패턴)가 복수의 제스처 조작 종류의 각각의 조작 패턴과 특징적으로 유사해 있는지를 판별하고, 복수의 제스처 조작 종류의 조작 패턴 중의 2이상의 조작 패턴과 유사해 있지 않으면, 즉 어느 하나의 제스처 조작 종류의 조작 패턴에만 유사해 있을 때에는 하나의 제스처 조작 종류로 좁힐 수 있었던 것으로서 판단한다.

현재, 제스처 조작의 검출 결과(이동 방향, 이동 속도, 이동량 등)로부터 기세 좋은 플릭 조작 등과 같이 제스처 조작 종류(조작 패턴)의 특징이 명확하게 검출되고, 하나의 제스처 조작 종류로 좁힐 수 있었을 때에는(스텝 A12에서 YES), 다음의 스텝 A15로 이행한다.

이 경우, 그 좁힌 제스처 조작 종류가 플릭 조작이면(스텝 A15에서 YES), 플릭 조작에 따라 그 조작 방향으로 페이지를 전환하는 페이지 넘김 처리를 실행하고(스텝 A16), 탭 조작이면(스텝 A15에서 NO), 탭 조작된 위치의 화상을 선택하는 화상 선택 처리를 실행한다(스텝 A17).

또, 제스처 조작의 검출 결과로부터 하나의 제스처 조작 종류로 좁힐 수 없던 경우, 즉, 제스처 조작의 검출 결과(조작 패턴)가 복수의 제스처 조작 종류의 조작 패턴에 특징적으로 유사하여 제스처 조작의 검출 결과만으로 하나의 제스처 조작 종류로 좁히면 오판정의 가능성이 있는 바와 같은 경우에는(스텝 A12에서 NO), 「유저 속성」을 참조한 판정을 실행한다(스텝 A13∼A15).

즉, 상술한 바와 같이 해서 특정한 조작자의 「유저 속성」을 포함하는 유저 정보 테이블(3e)을 참조하고(스텝 A13), 그(조작자의) 「유저 속성」에 대응하는 「탭 판정값」, 「플릭 판정값」을 비교하여(스텝 A14), 그 판별값이 큰 쪽의 제스처 조작 종류로 좁힌다(스텝 A15).

또한, 「탭 판정값」, 「플릭 판정값」의 대소 비교에 따라 제스처 조작 종류의 좁힘을 실행하는 경우에 한정되지 않고, 「탭 판정값」, 「플릭 판정값」을 가중하여 대소 비교하는 등, 그 비교의 사양은 임의이다. 좁힌 제스처 조작 종류가 플릭 조작이면(스텝 A15에서 YES), 플릭 조작에 따라 그 조작 방향으로 페이지를 전환하기 위한 페이지 넘김 처리를 실행하고(스텝 A16), 탭 조작이면(스텝 A15에서 NO), 탭 조작된 위치의 화상을 선택하는 화상 선택 처리를 실행한다(스텝 A17).

도 6은 유저의 조작습관 학습 처리를 나타낸 흐름도이며, 제스처 조작이 실행될 때마다 도 4 및 도 5의 흐름도와 병행해서 실행 개시된다.

우선, CPU(1)는 제스처 조작 종류의 판정 결과를 취득하고(스텝 B1), 그것이 플릭 조작이면(스텝 B2에서 YES), 그 플릭 조작 후, 일정 시간내(예를 들면, 1초 이내)에 다른 조작이 실행되었는지의 여부를 조사한다(스텝 B3).

여기서, 다른 조작이 실행되지 않으면(스텝 B3에서 NO), 도 6의 흐름에서 빠지지만, 다른 조작이 실행되었을 때에는(스텝 B3에서 YES), 역방향으로의 되돌림 조작(역 플릭 조작)이 실행되었는지를 조사하거나(스텝 B4), 되돌림 버튼(도 2 참조)이 조작되었는지를 조사한다(스텝 B5).

현재, 역 플릭 조작, 되돌림 버튼 조작의 어느 것도 실행되지 않으면(스텝 B5에서 NO), 도 6의 흐름에서 빠지지만, 그 어느 하나의 조작이 실행되었을 때에는(스텝 B4에서 YES 또는 스텝 B5에서 YES), 또한 계속해서 일정 시간내(예를 들면, 1초 이내)에 다른 조작이 실행되었는지의 여부를 조사한다(스텝 B6).

여기서, 일정 시간내에 탭 조작이 실행되었을 때에는(스텝 B7에서 YES), 탭 조작을 플릭 조작으로 오판정한 경우라고 판단하고, 조작자의 「유저 속성」을 포함하는 유저 정보 테이블(3e)을 참조하여, 대응하는 「탭 판정값」을 증가(예를 들면, +0.1)시키는 처리를 실행한다(스텝 B8).

또한, 역 플릭 조작 또는 되돌림 버튼 조작에 계속해서 일정 시간내에 다른 조작이 실행되지 않은 경우(스텝 B6에서 NO) 또는 그 조작이 탭 조작이 아닌 경우에는(스텝 B7에서 NO) 도 6의 흐름에서 빠진다. 이와 같이 소정 시간내에 되돌림 조작(역 플릭 조작 또는 되돌림 버튼 조작)을 포함시켜 복수 종류의 조작이 연속해서 실행된 경우에, 그 일련의 조작 중에서 최초의 조작을 오판정의 조작으로서 인식하고, 마지막의 조작을 정상 판정한 조작으로서 학습하도록 하고 있다.

또, 판정된 제스처 조작 종류가 탭 조작이면(스텝 B2에서 NO), 그 탭 조작 후, 일정 시간내(예를 들면, 1초 이내)에 다른 조작이 실행되었는지의 여부를 조사한다(스텝 B9).

여기서, 다른 조작이 실행되지 않으면(스텝 B9에서 NO), 도 6의 흐름에서 빠지지만, 다른 조작이 실행되었을 때에는(스텝 B9에서 YES) 그 조작은 되돌림 버튼 조작(도 2 참조)인지를 조사하고(스텝 B10), 되돌림 버튼 조작이 아니면(스텝 B10에서 NO)도 6의 흐름에서 빠진다.

여기서, 되돌림 버튼이 조작되었을 때에는(스텝 B10에서 YES) 이 되돌림 버튼 조작에 계속해서 또한 일정 시간내에 다른 조작이 실행되었는지를 조사하고(스텝 B11), 다른 조작이 실행되지 않으면(스텝 B11에서 NO), 도 6의 흐름에서 빠지지만, 다른 조작이 실행되었을 때에는(스텝 B11에서 YES) 그 조작은 플릭 조작인지를 조사한다(스텝 B12).

현재, 되돌림 버튼에 계속해서 플릭 조작이 실행되었을 때에는(스텝 B12에서 YES), 플릭 조작을 탭 조작으로 오판정한 경우라고 판단하고, 조작자의 「유저 속성」을 포함하는 유저 정보 테이블(3e)을 참조하여, 대응하는 「플릭 판정값」을 증가(예를 들면, +0.1)시키는 처리를 실행한다(스텝 B13).

이하, 제스처 조작이 실행될 때마다 조작습관 학습 처리를 반복하는 결과, 유저 정보 테이블(3e)의 내용이 「탭 판정값」 및 「플릭 판정값」의 초기값부터 갱신된다. 예를 들면, 도 3b에 나타내는 바와 같이, 10∼20대 남성의 「탭 판정값」은 그 초기값 "1"이 "1.6"으로 갱신되고, 「플릭 판정값」은 그 초기값 "0"이 "0.2"로 갱신되며, 60세 이상의 여성의 「탭 판정값」은 그 초기값 "0"이 "0.1"로 갱신되고, 「플릭 판정값」은 그 초기값 "1"이 "1.8"로 갱신되어, 조작습관이 판정값에 반영되게 된다.

이상과 같이, 본 실시형태에 있어서의 데이터 처리 장치(태블릿 단말 장치)는 제스처 조작이 실행되었을 때에, 그 제스처 조작의 검출 결과와 유저 정보 테이블(3e)에 기억되어 있는 유저 속성에 의거하여, 복수의 제스처 조작 종류 중에서 조작된 제스처 조작 종류를 판정하고, 이 판정된 제스처 조작 종류에 따른 종류의 처리를 실행하도록 했으므로, 제스처 조작을 검출했을 때에 그 제스처 조작을 적절하게 판정할 수 있고, 그 조작에 따라 적절하게 데이터 처리를 실행할 수 있다. 따라서, 조작성의 향상에 기여하며, 유저에게 있어서는 의도에 따른 조작이 가능하게 된다.

제스처 조작의 검출 결과에 의거하여 하나의 제스처 조작 종류로 좁힐 수 없던 경우에, 유저 속성에 따라 어느 하나의 제스처 조작 종류를 판정하도록 했으므로, 전체적으로 적절한 판정이 가능하게 된다. 즉, 제스처 조작 검출 결과(조작 패턴)가 복수의 제스처 조작 종류의 조작 패턴에 특징적으로 유사해 있어, 제스처 조작의 검출 결과만으로 하나의 제스처 조작 종류로 좁히면 오판정의 가능성이 있는 경우에는 유저 속성을 참조하여 판정을 실행하도록 했으므로, 전체적으로 적절한 판정이 가능하게 된다.

유저 정보 테이블(3e)은 유저 속성에 대응하여 제스처 조작 종류마다 우선적으로 판정할지를 나타내는 판정값을 기억하고, CPU(1)는 제스처 조작 종류마다의 판정값을 비교하는 것에 의해서 어느 하나의 제스처 조작 종류를 판정하도록 했으므로, 예를 들면, 판정값의 대소 비교 등, 다양한 방법으로 제스처 조작 종류의 좁힘이 가능하게 된다.

CPU(1)는 유저 속성으로서 그 성별, 연령층의 복수의 항목을 기억하도록 했으므로, 유저의 속성을 세세하게 설정할 수 있고, 제스처 조작 종류를 유저 속성에 따라 적절하게 판정하는 것이 가능하게 된다.

CPU(1)는 조작자에 대해 그 제스처 조작의 조작습관을 학습하고, 이 조작습관을 유저 속성으로서 기억하도록 했으므로, 제스처 조작 종류를 판정할 때에 유저의 조작습관을 고려할 수 있어, 더욱 적절한 판정이 가능하게 된다.

CPU(1)는 소정 시간내에 되돌림 조작을 포함시켜 복수 종류의 조작이 연속해서 실행된 경우에, 그 일련의 조작 중에서 최초의 조작을 오판정의 조작으로서 인식하고, 마지막의 조작을 정상으로 판정한 조작으로서 학습하도록 했으므로, 조작습관을 적절하게 학습하는 것이 가능하게 된다.

CPU(1)는 제스처 조작을 실행한 유저를 특정하고, 그 유저 속성에 의거하여 제스처 조작 종류를 판정하도록 했으므로, 복수의 유저가 공유해서 사용하는 환경에서도 대응하는 것이 가능하게 된다.

CPU(1)는 터치 표시부(6)상의 조작을 검출한 검출 결과에 따라 제스처 조작 종류를 판정하도록 했으므로, 터치 표시부(6)상에서 실행되는 제스처 조작을 판정할 수 있다.

CPU(1)는 터치 표시부(6)상의 제스처 조작 종류로서 탭 조작, 플릭 조작의 어느 하나를 판정하도록 했으므로, 유사한 탭 조작, 플릭 조작을 적절하게 판정할 수 있다.

또한, 상술한 실시형태에 있어서 유저 정보 테이블(3e)은 유저 속성(성별 및 연령층)에 대해 「탭 판정값」, 「플릭 판정값」을 기억하도록 했지만, 성별에 대응해서 「탭 판정값」,「플릭 판정값」을 기억하는 동시에, 연령층에 대응해서 「탭 판정값」, 「플릭 판정값」을 기억하도록 해도 좋다.

이 경우, 성별을 중시할 것인지 연령층을 중시할 것인지에 따라, 그들 판정값에 대해 가중을 한 후, 가중한 성별의 「탭 판정값」과 연령층의 「탭 판정값」의 합계값을 구하는 동시에, 성별의 「플릭 판정값」과 연령층의 「플릭 판정값」의 합계값을 구하고, 그들 합계값을 비교하는 것에 의해서 제스처 조작 종류를 판정하도록 해도 좋다.

상술한 실시형태에 있어서는 제스처 조작 종류로서 탭 조작, 플릭 조작의 어느 하나를 판정하도록 했지만, 탭 조작, 플릭 조작 이외에도 예를 들면, 접촉 이동하는 조작(슬라이드 조작: 드래그 조작), 접촉 위치를 고정시켜 계속하는 조작(홀드 조작), 복수개의 손가락으로 복수의 표시 위치를 동시에 접촉하는 조작(더블 탭 조작), 표시 데이터의 확대를 지시하는 조작(핀치 아웃 조작), 표시 데이터의 축소를 지시하는 조작(핀치 인 조작) 등을 제스처 조작 종류로서 판정하도록 해도 좋다.

상술한 실시형태에 있어서는 유저 속성으로서 그 성별, 연령층의 복수의 항목을 기억하도록 했지만, 유저의 건강 상태(신체의 장애 등)의 항목을 유저 속성에 포함시키도록 해도 좋다.

상술한 실시형태에 있어서는 소정 시간내에 되돌림 조작을 포함시켜 복수 종류의 조작이 연속해서 실행된 경우에, 그 일련의 조작 중에서 최초의 조작을 오판정의 조작으로서 인식하고, 마지막의 조작을 정상으로 판정한 조작으로서 학습하도록 했지만, 이와는 반대로, 소정 시간내에 되돌림 조작을 포함시켜 복수 종류의 조작이 연속해서 실행된 경우에, 그 일련의 조작 중에서 마지막의 조작을 정상으로 판정한 조작으로서 인식하고, 최초의 조작을 오판정의 조작으로서 학습하도록 해도 좋다.

상술한 실시형태에 있어서는 터치 표시부(6)상의 제스처 조작을 검출하도록 했지만, 유저의 손짓이나 몸짓을 촬영하는 촬상 디바이스를 사용하도록 해도 좋다. 즉, 제스처 조작을 검출하는 수단은 촬상 수단이어도 좋다. 이것에 의해서 대부분의 제스처 조작을 검출하는 것이 가능하게 된다.

또, 상술한 실시형태에 있어서는 데이터 처리 장치로서 태블릿 단말 장치에 적용한 경우를 예시했지만, 데이터 처리 장치는 이에 한정되지 않고, 퍼스널 컴퓨터, PDA(개인용 휴대형 정보 통신 기기), 휴대 전화기, 디지털 카메라, 음악 플레이어 등이어도 좋다.

또, 상술한 실시형태에 있어서 나타낸 "장치"나 "부"는 기능별로 복수의 하우징으로 분리되어 있어도 좋으며, 단일의 하우징에 한정되지 않는다. 또, 상술한 흐름도에 기술한 각 스텝은 시계열적인 처리에 한정되지 않으며, 복수의 스텝을 병렬적으로 처리하거나, 별개로 독립해서 처리하도록 해도 좋다.

이상, 본 발명의 실시형태에 대해 설명했지만, 본 발명은 이에 한정되는 것은 아니고, 특허청구의 범위에 기재된 발명과 그 균등의 범위를 포함하는 것이다.

1: CPU
3: 기억부
3a; 프로그램 메모리
3b: 데이터 메모리
3d: 우선 판정 테이블
3e; 유저 정보 테이블
4; 조작부
6; 터치 표시부

Claims (10)

1. 제스처 조작을 검출하는 데이터 처리 장치로서,
   유저의 속성을 기억하는 속성 기억 수단과,
   제스처 조작의 조작 내용을 검출하는 검출 수단과,
   상기 제스처 조작이 실행되었을 때에, 상기 검출 수단에서 검출된 조작 내용의 검출 결과와 상기 속성 기억 수단에 기억되어 있는 유저 속성에 의거하여, 복수의 제스처 조작 종류 중에서 상기 조작된 제스처 조작 종류를 판정하는 판정 수단과,
   상기 판정 수단이 판정한 제스처 조작 종류에 따른 종류의 처리를 실행하는 데이터 처리 수단을 구비하는 것을 특징으로 하는 데이터 처리 장치.
2. 제 1 항에 있어서,
   상기 판정 수단은 상기 검출 수단의 검출 결과에 의거하여 하나의 제스처 조작 종류로 좁힐 수 없던 경우에, 상기 유저 속성에 따라, 어느 하나의 제스처 조작 종류를 판정하도록 한 것을 특징으로 하는 데이터 처리 장치.
3. 제 1 항에 있어서,
   상기 속성 기억 수단은 유저 속성에 대응하여 제스처 조작 종류마다 우선적으로 판정할지의 판정값을 기억하고,
   상기 판정 수단은 상기 제스처 조작 종류마다의 판정값을 비교하는 것에 의해서, 어느 하나의 제스처 조작 종류를 판정하도록 한 것을 특징으로 하는 데이터 처리 장치.
4. 제 1 항에 있어서,
   상기 속성 기억 수단은 유저 속성으로서 적어도 그 성별, 연령층, 건강 상태 중, 그 복수의 항목을 기억하도록 한 것을 특징으로 하는 데이터 처리 장치.
5. 제 1 항에 있어서,
   제스처 조작의 조작습관을 학습하는 조작습관 학습 수단을 더 구비하고,
   상기 속성 기억 수단은 상기 조작습관 학습 수단에 의해서 얻어진 조작습관을 유저의 속성으로서 기억하도록 한 것을 특징으로 하는 데이터 처리 장치.
6. 제 5 항에 있어서,
   상기 조작습관 학습 수단은 소정 시간내에 되돌림 조작을 포함시켜 복수 종류의 조작이 연속해서 실행된 경우에, 그 일련의 조작 중에서 최초의 조작을 오판정의 조작으로서 학습 또는 마지막의 조작을 정상으로 판정한 조작으로서 학습하도록 한 것을 특징으로 하는 데이터 처리 장치.
7. 제 1 항에 있어서,
   상기 검출 수단이 검출한 제스처 조작을 실행한 유저를 특정하는 특정 수단을 더 구비하고,
   상기 판정 수단은 상기 특정 수단이 특정한 유저의 속성에 의거하여 제스처 조작 종류를 판정하도록 한 것을 특징으로 하는 데이터 처리 장치.
8. 제 1 항에 있어서,
   상기 검출 수단은 표시 화면상에서 실행되는 제스처 조작, 또는 촬상 수단에 의해서 촬영된 유저의 촬영 화상으로부터 얻어지는 제스처 조작의 조작 내용을 검출하도록 한 것을 특징으로 하는 데이터 처리 장치.
9. 제 8 항에 있어서,
   상기 판정 수단은 상기 표시 화면상에서 실행된 제스처 조작 종류로서 탭 조작, 플릭 조작의 어느 하나를 판정하도록 한 것을 특징으로 하는 데이터 처리 장치.
10. 제스처 조작을 검출하는 데이터 처리 장치에 있어서의 방법으로서,
    유저의 속성을 기억 수단에 기억 관리하는 관리 스텝과,
    제스처 조작의 조작 내용을 검출하는 검출 스텝과,
    상기 제스처 조작이 실행되었을 때에, 상기 검출 스텝에서 검출된 조작 내용의 검출 결과와 상기 기억 수단에 기억되어 있는 유저 속성에 의거하여, 복수의 제스처 조작 종류 중에서 상기 조작된 제스처 조작 종류를 판정하는 판정 스텝과,
    상기 판정한 제스처 조작 종류에 따른 종류의 처리를 실행하는 실행 스텝을 포함하는 것을 특징으로 하는 방법.
    

Images