KR20120079812A - 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20120079812A
KR20120079812A KR1020110146173A KR20110146173A KR20120079812A KR 20120079812 A KR20120079812 A KR 20120079812A KR 1020110146173 A KR1020110146173 A KR 1020110146173A KR 20110146173 A KR20110146173 A KR 20110146173A KR 20120079812 A KR20120079812 A KR 20120079812A
Authority
KR
South Korea
Prior art keywords
operation input
input
information
unit
detection unit
Prior art date
Application number
KR1020110146173A
Other languages
English (en)
Inventor
야스유끼 고가
가즈유끼 야마모또
레이꼬 미야자끼
도모야 나리따
이꾸오 야마노
야스시 오꾸무라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120079812A publication Critical patent/KR20120079812A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

장치 전면측에 제공되며 정보를 표시하는 표시부와, 장치 배면측에 제공되며 배면에의 조작 입력을 검출하는 제1 검출부와, 장치 전면측에 제공되며, 상기 표시부에의 조작 입력을 검출하는 제2 검출부와, 상기 제1 검출부 및 상기 제2 검출부의 검출 결과에 기초하여, 조작 입력에 대응하는 기능을 실행시키는 조작 입력 정보 판정부를 포함하는 정보 처리 장치가 제공된다. 상기 제1 검출부에 의해 조작 입력이 검출되고 또한 상기 제2 검출부에 의해 상기 표시부에 표시된 오브젝트를 조작하는 조작 입력이 검출되면, 상기 조작 입력 정보 판정부는, 상기 제1 검출부 및 상기 제2 검출부에 의해 검출된 조작 입력에 대응하는 기능을 실행한다.

Description

정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM}
본 발명은 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램에 관한 것으로, 보다 상세하게는, 적어도 표시면과 반대측에 조작 툴의 접촉을 검출하는 센서를 구비하는 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램에 관한 것이다.
스마트 폰 등으로서 널리 보급되고 있는 GUI(Graphical User Interface)의 컨트롤러로서, 터치 패널 등의 센서를 이용한 입력 디바이스가 있다.
종래 기술의 입력 디바이스는, 표시부가 설치된 전면측에만 센서를 설치한 구성을 갖는다. 이러한 입력 디바이스에 있어서는, 전면으로부터 조작 입력이 행해지기 때문에, 표시부에 표시된 정보를 손가락으로 숨겨버려서, 조작성이 악화된다고 하는 문제가 있었다. 최근의 표시부의 고해상도화에 의해, 조작성은 더욱 악화되는 것으로 생각된다. 또한, 전면으로부터의 입력 조작은 타인에게 보여지기 쉽고, 예를 들면 비밀 번호와 같이 기밀성이 높은 정보를 입력할 때, 입력하는 정보를 숨기는 것이 곤란하였다. 또한, 최근의 터치 조작 베리에이션(variation)의 증가에 따라, 입력 조작시의 동작(제스쳐)이 경합해서 오동작이 생기기 쉬워져 조작성이 악화된다고 하는 문제가 있었다.
최근에는, 복수의 손가락의 접촉을 동시에 검출할 수 있는, 소위 멀티 터치를 검출가능한 터치 패널도 보급되기 시작하고 있다. 또한, 디바이스에 복수의 센서를 구비함으로써, 조작성의 향상을 실현하는 것도 행해지고 있다(예를 들면, 특허문헌 1, 2). 이러한 디바이스에 있어서, 디바이스의 표시부의 반대측의 면(배면)의 센서 중 하나를 손가락의 접촉을 검출하는 터치 패널로서 제공함으로써 배면측에서 조작 입력을 행할 수 있도록 하여, 소형의 디바이스이더라도 표시 화면이 손가락에 의해 숨겨지는 일이 없다. 또한, 복수의 센서를 설치함으로써, 종래의 터치 패널에서는 실현할 수 없었던 직감적인 인터액션이나, 조작계의 확장을 실현할 수 있다.
일본특허공개 제2010-108061호 공보 일본특허공개 제2009-157908호 공보
그러나, 사용시에는 유저의 눈에 들어가지 않고, 의식하기 어려운 배면에 센서를 배치했을 경우, 표시면에 표시된 특정한 보턴에 접촉하는 조작이나 문자 입력 등과 같이, 절대 좌표에 의한 조작이 곤란하다고 하는 문제가 있었다.
따라서, 본 발명은, 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적은, 센서의 배치 위치에 따라서 각 센서의 검출 결과를 이용함으로써, 디바이스의 입력 조작성을 향상시키는 것이 가능한, 신규하면서 개량된 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 일 양태에 따르면, 장치 전면측에 제공되며 정보를 표시하는 표시부와, 장치 배면측에 제공되며 배면에의 조작 입력을 검출하는 제1 검출부와, 상기 장치 전면측에 제공되며, 상기 표시부에의 조작 입력을 검출하는 제2 검출부와, 상기 제1 검출부 및 상기 제2 검출부의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는 조작 입력 정보 판정부를 포함하는 정보 처리 장치가 제공된다. 상기 제1 검출부에 의해 상기 조작 입력이 검출되고 또한 상기 제2 검출부에 의해 상기 표시부에 표시된 오브젝트를 조작하는 조작 입력이 검출되면, 상기 조작 입력 정보 판정부는, 상기 제1 검출부 및 상기 제2 검출부에 의해 검출된 조작 입력에 대응하는 기능을 실행한다.
제1 검출부로부터의 조작 입력은 상기 표시부에 표시되지 않도록 해도 좋다.
또한, 조작 입력 정보 판정부는, 제1 검출부의 검출 결과에 따라서, 제2 검출부의 검출 결과에 따라 입력되는 정보를 전환하도록 해도 좋다.
혹은, 조작 입력 정보 판정부는, 제1 검출부에 의해 조작 툴의 접촉이 검출되면, 제2 검출부로부터의 조작 입력이 있어도 상기 표시부의 표시 에리어를 이동시키지 않도록 해도 좋다.
또한, 조작 입력 정보 판정부는, 제1 검출부에 의해 조작 툴의 접촉이 검출되면, 제2 검출부로부터의 조작 입력에 따라서 제1 기능을 실행시켜도 된다. 조작 입력 정보 판정부는, 제1 검출부에 의해 조작 툴의 접촉이 검출되지 않으면, 제2 검출부로부터의 조작 입력에 따라서 제2 기능을 실행시키도록 해도 좋다.
본 발명의 정보 처리 장치는, 제1 검출부에 의한 조작 입력에 기초하여, 인증 처리를 행하는 인증 처리부와, 인증 정보를 기억하는 인증 정보 기억부를 더 포함해도 좋다. 인증 처리부는, 제1 검출부의 검출 결과에 기초하여 상기 장치 배면측으로부터 입력된 입력 정보를 특정하고, 상기 입력 정보와 상기 인증 정보를 비교해서 인증 처리를 행한다. 상기 조작 입력 정보 판정부는, 상기 인증 처리부의 인증 결과에 기초하고 또한 상기 제1 검출부 및 상기 제2 검출부의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시켜도 된다.
상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 조작 입력의 입력 시간에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정해도 좋다.
혹은, 상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 최초의 위치인 시점으로부터의 조작 툴의 이동 방향에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정해도 좋다.
또한, 상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 최초의 위치인 시점으로부터의 조작 툴의 이동 궤적의 형상에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정해도 좋다.
혹은, 상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 최초의 위치인 시점으로부터의 조작 툴의 상대 이동 방향 및 상대 이동 거리에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정해도 좋다.
본 발명의 다른 양태에 따르면, 정보를 표시하는 표시부가 제공되는 면과 반대측인 배면으로부터의 조작 입력을 검출하는 스텝과, 상기 표시부가 제공되는 전면으로부터의 조작 입력을 검출하는 스텝과, 상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는 스텝을 포함하는 정보 처리 방법이 제공된다. 상기 배면으로부터의 조작 입력이 검출되고 또한 상기 전면으로부터의 상기 표시부에 표시되는 오브젝트를 조작하는 조작 입력이 검출되면, 상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력에 대응하는 기능을 실행한다.
본 발명의 다른 양태에 따르면, 정보를 표시하는 표시부가 제공되는 면과 반대측인 배면으로부터의 조작 입력을 검출하는 제1 검출부가 상기 배면으로부터의 조작 입력을 검출하게 하고, 상기 표시부가 제공되는 전면으로부터의 조작 입력을 검출하는 제2 검출부가 상기 전면으로부터의 조작 입력을 검출하게 하는 검출 제어부와, 상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는 조작 입력 정보 판정부를 포함하는 정보 처리 장치로서 컴퓨터를 기능시키기 위한 컴퓨터 프로그램이 제공된다. 상기 정보 처리 장치는, 상기 배면으로부터의 조작 입력이 검출되고 또한 상기 전면으로부터의 상기 표시부에 표시되는 오브젝트를 조작하는 조작 입력이 검출되면, 상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력에 대응하는 기능을 실행한다.
상기 프로그램은, 컴퓨터가 구비하는 기억 장치에 저장되어, 컴퓨터가 구비하는 CPU에 읽어 들여져 실행됨으로써, 그 컴퓨터를 상기 정보 처리 장치로서 기능시킬 수 있다. 또한, 프로그램이 기록되는, 컴퓨터에 의해 판독 가능한 기록 매체도 제공된다. 기록 매체는, 예를 들면 자기 디스크, 광 디스크, 및 MO(Magneto Optical) 디스크 등이다. 또한, 자기 디스크로서는, 하드디스크 및 원반형 자성체 디스크 등을 들 수 있다. 또한, 광 디스크로서는, CD(Compact Disc), DVD-R(Digital Versatile Disc Recordable) 및 BD(Blu-Ray Disc(등록상표)) 등을 들 수 있다.
이상 설명한 바와 같이, 본 발명의 실시형태에 따르면, 센서의 배열 위치에 따라 각 센서의 검출 결과를 이용함으로써, 디바이스의 입력 조작성을 향상시킬 수 있는 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은 본 발명의 제1 실시형태에 따른 정보 처리 단말기의 표시면측을 나타내는 개략 사시도.
도 2는 상기 실시형태에 따른 정보 처리 단말기의 배면측을 나타내는 개략 사시도.
도 3은 상기 실시형태에 따른 정보 처리 단말기의 기능 구성을 나타내는 기능 블록도.
도 4는 배면에서 탭 또는 길게 누름 입력이 행해지는 상태를 나타내는 설명도.
도 5는 배면 검출부에서의 탭 또는 길게 누름의 검출 결과에 기초하는 인증 처리를 나타내는 플로우차트.
도 6은 배면에서 도형 입력이 행해지는 상태를 나타내는 설명도.
도 7은 배면 검출부에서의 도형 입력의 검출 결과에 기초하는 인증 처리를 나타내는 플로우차트.
도 8은 배면 검출부에서의 도형 입력의 검출 결과에 기초하는 애플리케이션 실행 처리를 나타내는 플로우차트.
도 9는 배면측에서 표시된 오브젝트를 고정하고, 전면측에서 오브젝트를 조작하는 조작 입력을 행하는 상황을 나타내는 설명도.
도 10은 도 9의 조작 입력의 처리를 나타내는 플로우차트.
도 11은 배면측에서 오브젝트와 관련한 표시 내용을 전환하고, 전면측에서 오브젝트를 조작하는 조작 입력을 행하는 상황을 나타내는 설명도.
도 12는 도 11의 조작 입력의 처리를 나타내는 플로우차트.
도 13은 배면측에서의 조작 입력에 의해 오브젝트를 표시시키고, 전면측에서 오브젝트를 조작하는 조작 입력을 행하는 상황을 나타내는 설명도.
도 14는 도 13의 조작 입력의 처리를 나타내는 플로우차트.
도 15는 본 발명의 제2 실시형태에 따른 정보 처리 단말기의 표시부에 복수의 오브젝트가 배열되어 있는 상태를 나타내는 설명도.
도 16은 표시부에 표시된 오브젝트를 이동시키는 조작 입력을 설명하는 설명도.
도 17은 동일한 오브젝트에의 터치 조작의 일례를 설명하는 설명도.
도 18은 동일한 오브젝트에의 터치 조작의 하나의 판정예를 설명하는 설명도.
도 19는 도 15 내지 도 18에 기초하는 오브젝트의 조작 입력 처리의 일례를 나타내는 플로우차트.
도 20은 오브젝트를 조작하는 손가락을 역방향으로 이동시키는 조작 입력을 설명하는 설명도.
도 21은 조작 대상의 이동량에 대하여, 당해 조작 대상의 조작에 따라 이동되는 오브젝트의 이동량을 감소 또는 증가시키는 조작 입력 처리를 설명하는 설명도.
도 22는 표시된 콘텐츠의 전면 및 배면으로부터의 조작 입력에 기초한 줌-인/줌-아웃 기능을 설명하기 위한 설명도.
도 23은 정보 처리 단말기의 일 하드웨어 구성예를 나타내는 하드웨어 구성도.
이하, 첨부도면을 참조하여, 본 발명의 바람직한 실시형태에 대해 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는, 동일한 참조 부호를 붙여서 그들 구성 요소에 대한 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행한다.
<1. 제1 실시형태>
[1-1. 정보 처리 단말기의 외관예]
[1-2. 기능 구성]
[1-3. 배면 검출부의 활용]
(1-3-1. 패스워드 입력시의 이용)
(1) 인증 정보로서 탭 또는 길게 누름을 이용할 경우
(2) 인증 정보로서 도형 입력을 이용할 경우
(1-3-2. 전면 검출부와의 조합에 의한 조작계의 확장)
(1) 배면측에서 표시된 오브젝트를 고정하고, 전면측에서 오브젝트를 조작하는 조작 입력
(2) 배면측에서 오브젝트와 관련한 표시 내용을 전환하고, 전면측에서 오브젝트를 조작하는 조작 입력
(3) 배면측에서의 조작 입력에 의해 오브젝트를 표시시키고, 전면측에서 오브젝트를 조작하는 조작 입력
<2. 제2 실시형태>
[2-1. 정보 처리 단말기의 기능 개요]
[2-2. 전면 검출부와 배면 검출부의 검출 결과의 조합에 의한 조작 입력 처리]
(2-2-1. 동시 검출에 의한 기능 실행)
(1) 동시 검출시에 소정의 기능을 실행시키는 처리의 설명
(2) 처리 플로우
(3) 변형예
(2-2-2. 표시된 콘텐츠의 전면 및 배면으로부터의 조작 입력에 기초한 줌-인/줌-아웃 기능)
<3. 하드웨어 구성예>
<1. 제1 실시형태>
[1-1. 정보 처리 단말기의 외관예]
우선, 도 1 및 도 2를 참조하여, 본 발명의 제1 실시형태에 따른 정보 처리단말기(100)의 개략 구성에 대해 설명한다. 또한, 도 1은, 본 실시형태에 따른 정보 처리 단말기(100)의 표시면측을 나타내는 개략 사시도이다. 도 2는, 본 실시형태에 따른 정보 처리 단말기(100)의 배면측을 나타내는 개략 사시도이다.
본 실시형태에 따른 정보 처리 단말기(100)에는, 도 1에 도시한 바와 같이, 케이싱(110)의 일면(표시면)에 표시부(120)가 제공되고, 도 2에 도시한 바와 같이, 표시면과 반대측의 면(배면)에 손가락 등의 조작 툴의 접촉을 검출가능한 터치 센서(130)가 제공되어 있다. 표시부(120)로서는, 예를 들면, 액정 디스플레이나 유기 EL 디스플레이 등을 이용할 수 있다. 또한, 터치 센서(130)로서는, 정전 용량식의 터치 센서를 이용할 수 있다. 본 실시형태에 따른 정보 처리 단말기(100)는, 적어도 배면측에 조작 입력을 검출하는 터치 센서(130)를 포함하고 있으면 되지만, 표시면측에도 터치 센서를 포함하여도 된다. 이하의 설명에서는, 본 실시형태에 따른 정보 처리 단말기(100)는, 전면 및 배면에 터치 센서를 포함하는 것으로서 설명한다.
[1-2. 기능 구성]
다음으로, 도 3에 기초하여, 본 실시형태에 따른 정보 처리 단말기(100)의 기능 구성을 설명한다. 도 3은, 본 실시형태에 따른 정보 처리 단말기(100)의 기능 구성을 나타내는 기능 블록도이다. 본 실시형태에 따른 정보 처리 단말기(100)는, 도 3에 도시한 바와 같이, 검출 표시부(140)와, 배면 검출부(143)와, 인증 처리부(144)와, 조작 입력 정보 판정부(145)와, 기능 실행부(146)와, 표시 처리부(147)와, 인증 정보 기억부(148)와, 설정 기억부(149)를 포함한다.
검출 표시부(140)는, 정보 처리 단말기(100)의 일면에 제공되고, 도 3에 도시한 바와 같이, 전면 검출부(141)와 표시부(142)로 형성된다. 검출 표시부(140)가 제공되는 정보 처리 단말기(100)의 면이 전면이다. 전면 검출부(141)는, 정보 처리 단말기(100)의 전면에의 조작 툴의 접촉을 검출하는 센서이다. 전면 검출부(141)의 검출 결과는, 후술하는 조작 입력 정보 판정부(145)에 출력된다. 표시부(142)는, 정보를 표시하는 출력 장치이며, 도 1에 나타내는 표시부(120)에 대응한다. 표시부(142)는, 표시 처리부(147)에 의해 입력된 표시 정보에 기초하여, 정보를 표시한다.
전면 검출부(141)는, 예를 들면, 표시부(142)와 적층되어 제공될 수 있다. 이에 의해, 조작 툴을 표시부(142)의 표시면에 접촉시켜서 이동시켰을 때, 표시부(142)에 표시된 오브젝트 등을 조작 툴의 움직임에 맞춰 이동시키는 등, 조작 내용을 알기 쉽게 유저에게 제시할 수 있다. 또한, 유저는 직감적으로 표시부(142)에 표시된 오브젝트를 조작할 수 있고, 조작성을 향상시킬 수 있다.
배면 검출부(143)는, 정보 처리 단말기(100)의 배면에 설치되고, 배면에의 조작 툴의 접촉을 검출하는 센서이다. 배면 검출부(143)의 검출 결과는, 후술하는 인증 처리부(144) 및 조작 입력 정보 판정부(145)에 출력된다.
인증 처리부(144)는, 배면 검출부(143)의 검출 결과에 기초하여, 정보 처리 단말기(100)의 인증 처리를 행한다. 인증 처리부(144)는, 배면 검출부(143)의 검출 결과로부터 특정된 입력 정보와, 후술하는 인증 정보 기억부(148)에 기억된 인증 정보를 비교하여, 이들이 일치하는지의 여부를 판정한다. 인증 처리부(144)는, 입력 정보와 인증 정보가 일치하는 것으로 판정했을 경우에 해당 정보 처리 단말기(100)를 사용 가능 상태로 한다. 한편, 입력 정보와 인증 정보가 일치하지 않는 것으로 판정했을 경우에는, 인증 처리부(144)는 정보 처리 단말기(100)를 사용 불가 상태로 한다.
조작 입력 정보 판정부(145)는, 전면 검출부(141) 및 배면 검출부(143)의 각 검출 결과에 기초하여, 정보 처리 단말기(100)에 입력된 조작 입력의 내용을 판정한다. 조작 입력 정보 판정부(145)는, 각 검출부에 의한 조작 툴의 접촉의 유무나 조작 툴의 움직임으로부터, 어떤 조작 입력이 입력되어 있는지를 판정한다. 그리고, 조작 입력 정보 판정부(145)는, 후술하는 설정 기억부(149)를 참조하여, 판정된 조작 입력 정보에 관련되어진 기능을 특정하고, 기능 실행부(146)에 특정한 기능을 실행하는 지시를 출력한다.
기능 실행부(146)는, 조작 입력 정보 판정부(145)에 의해 특정된 기능을 실행한다. 예를 들면, 기능 실행부(146)는, 소정의 조작 입력에 관련되어진 애플리케이션을 실행시키거나 한다. 이때, 기능 실행부(146)는, 기능 실행에 필요한 정보를 설정 기억부(149)로부터 취득할 수도 있다. 또한, 기능 실행부(146)는, 표시부(142)에 표시된 오브젝트 등의 표시 형태의 변경이나 표시 내용의 변경 등을 행할 경우에는, 표시 처리부(147)에 대하여 표시 정보의 변경을 지시한다.
표시 처리부(147)는, 표시부(142)에 표시되는 표시 정보를 생성하는 처리를 행한다. 표시 처리부(147)는, 기능 실행부(146)의 지시에 기초하거나 다른 기능부(도시하지 않음)로부터의 지시에 기초하여, 표시 내용을 표시부(142)에 표시시키기 위한 형식으로 변환한 표시 정보를 생성한다. 표시 처리부(147)에 의해 생성된 표시 정보는 표시부(142)에 출력되고, 표시부(142)에 표시 정보에 기초하는 표시 내용이 표시된다.
인증 정보 기억부(148)는, 인증 처리부(144)에 의한 인증 처리에 이용하는 인증 정보를 기억한다. 본 실시형태에서는, 인증 정보로서 제스쳐를 이용한다. 인증 정보는, 예를 들면 각 유저나 각 단말기에 대해 고유한 정보로서 설정되며, 인증하는 대상(유저나 단말기 등)과 관련되게 만들어서 인증 정보 기억부(148)에 기억시킨다. 인증 정보의 설정은, 유저가 인증 정보로서 제스쳐를 입력해서 인증하는 대상과의 관련되게 만들기를 행해도 되고, 미리 설정되어 있는 제스쳐의 내용을 나타내는 정보와 인증하는 대상을 유저가 관련되게 만들어서 행해도 된다. 인증 정보 기억부(148)에 인증 정보로서 기억되어 있는 제스쳐는, 유저가 조작 툴을 움직여서 입력한 조작 입력의 내용과 매칭된다.
설정 기억부(149)는, 조작 입력 정보의 판정이나, 조작 입력 정보에 관련되어진 기능, 기능을 실행시키기 위해서 필요한 정보 등을 기억한다. 이들 정보는, 미리 설정되어 있어도 되고, 유저가 적절히 설정해도 된다. 이밖에, 정보 처리 단말기(100)에는, 각 처리를 실행할 때에 일시적으로 필요한 정보를 기억하는 메모리(도시하지 않음)가 구비될 수도 있다.
이상, 본 실시형태에 따른 정보 처리 단말기(100)의 기능 구성에 대해서 설명했다.
[1-3. 배면 검출부의 활용]
본 실시형태에 따른 정보 처리 단말기(100)는, 배면에의 조작 툴의 접촉을 검출하는 배면 검출부(143)를 포함한다. 배면에서의 조작은, 전술한 바와 같이, 통상적인 전면에서의 조작과는 상이하고, 주위 사람들로부터 조작이 보이기 어렵다고 하는 특징이 있다. 따라서, 이러한 배면 검출부(143)의 특징을 활용하여, 본 실시형태에 따른 정보 처리 단말기(100)에서는, 배면 검출부(143)를 패스워드 입력과 같은 기밀성이 높은 정보를 입력하기 위해 이용한다.
또한, 배면에서의 조작은, 통상적인 전면에서의 조작과는 별개로 입력을 행하는 것이 가능하다. 따라서, 배면으로부터 특정한 조작이 검출되었을 경우에, 예를 들면 애플리케이션에 있어서 미리 등록된 숏컷(short cut) 기능을 실행시키도록 할 수도 있다. 이에 의해, 통상적인 전면에서의 조작과 충돌(conflict)하지 않고 조작을 간략화할 수 있다. 이때, 배면에서의 조작 입력은 해당 조작 입력을 행하고 있는 유저에도 보이지 않지만, 본 실시형태에 따른 정보 처리 단말기(100)에서는, 배면으로부터의 조작 입력 자체를 간단하게 함으로써, 조작 입력이 보이지 않더라도 조작성이 저하되지 않도록 한다. 또한, 배면으로부터 입력된 정보는, 표시부(142)에는 표시되지 않도록 하고, 정보의 기밀성을 유지한다.
이하, 배면 검출부(143)를 이용한 본 실시형태에 따른 정보 처리 단말기(100)에 있어서의 조작 입력의 예를 설명한다.
(1-3-1. 패스워드 입력시의 이용)
우선, 도 4 내지 도 7에 기초하여, 본 실시형태에 따른 정보 처리 단말기(100)의 배면 검출부(143)에의 조작 입력에 기초하는 인증 처리에 대해서 설명한다. 또한, 도 4는, 배면에서 탭 또는 길게 누름 입력이 행해지는 모습을 나타내는 설명도이다. 도 5는, 배면 검출부(143)에서의 탭 또는 길게 누름 입력의 검출 결과에 기초하는 인증 처리를 나타내는 플로우차트이다. 도 6은, 배면에서 도형 입력이 행해지는 모습을 나타내는 설명도이다. 도 7은, 배면 검출부(143)에서의 도형 입력의 검출 결과에 기초하는 인증 처리를 나타내는 플로우차트이다.
유저 인증 등에 이용하는 패스워드는, 기밀성이 높은 정보이기 때문에, 패스워드 입력 조작을 행하고 있는 손의 움직임이나 입력 내용은 주위 사람들에게 보이지 않도록 하여야 할 정보이다. 본 실시형태에서는, 조작 입력이 주위 사람들로부터 보여지기 어려운 배면측에서 패스워드 입력을 행하고, 배면측에서 행해진 조작 입력을 배면 검출부(143)에 의해 검출한다. 이때, 배면에서의 조작 입력은 유저도 볼 수 없기 때문에, 입력이 용이한 정보를 패스워드로서 이용한다.
(1) 인증 정보로서 탭 또는 길게 누름 입력을 이용할 경우
입력 조작을 볼 수 없어도 입력을 용이하게 행할 수 있는 정보로서, 예를 들면, 탭 또는 길게 누름 등과 같이, 배면에의 입력 시간을 변화시킨 조작 입력 정보가 있다. 예를 들면, 도 4에 도시한 바와 같이, 유저가 배면에 대하여 손가락을 접촉시키는 시간을 변화시킴으로써 행하는, 탭을 1회, 길게 누름 1회, 탭 2회와 같이 하는 동작을 조작 입력 정보라고 할 수 있다. 배면에 손가락을 접촉시키는 시간을 변화시키는 것은, 유저가 그 입력 조작을 보지 않고 있어도 용이하게 행할 수 있다.
탭 또는 길게 누름 입력에 의해 패스워드 입력을 행한 경우의 인증 처리는, 도 5에 도시된 바와 같다. 즉, 우선, 표시부(142)에 패스워드 입력 화면을 표시시킨다(S100). 패스워드 입력 화면은, 예를 들면 정보 처리 단말기(100)에 설치된 소정의 보턴(도시하지 않음)을 누르거나, 전면으로부터 패스워드 입력 화면을 표시시키는 조작 입력을 행하거나 하는, 소정의 조작 입력을 행함으로써 표시시킬 수 있다.
패스워드 입력 화면이 표시되면, 배면 검출부(143)에 의해 배면에의 조작 입력을 검출한다(S102). 즉, 유저는, 패스워드 입력 화면이 표시된 것을 확인하고, 배면으로부터 패스워드를 입력하는 것으로, 입력된 패스워드가 배면 검출부(143)에 의해 검출된다. 배면 검출부(143)의 검출 결과는 인증 처리부(144)에 출력된다.
그리고, 인증 처리부(144)는, 배면 검출부(143)의 검출 결과로부터, 배면에 손가락이 접촉되어 있었던 입력 시간과 소정의 시간(임계값 시간)을 비교한다(S104). 임계값 시간에는, 예를 들면 탭 입력으로 간주할 수 있는 최대 시간을 설정할 수 있다. 스텝 S104에서 입력 시간이 임계값 시간보다 짧다고 판정했을 경우, 인증 처리부(144)는 탭 입력이 된 것으로 간주한다(S106). 한편, 스텝 S104에서 입력 시간이 임계값 시간 이상이라고 판정했을 경우, 인증 처리부(144)는 길게 누름 입력이 된 것으로 간주한다(S108).
그 후, 인증 처리부(144)는, 인증 정보 기억부(148)에 기억되어 있는 인증 정보와 배면 검출부(143)의 검출 결과에 기초하는 조작 입력 정보를 비교하고, 이들이 일치하는지의 여부를 판정한다(S110). 조작 입력 정보는, 패스워드 입력 화면이 표시되고나서 배면 검출부(143)에 의해 검출된 입력으로부터 형성되고, 패스워드 입력이 종료했다고 판정될 때까지 입력된 일련의 조작 입력이 1개의 조작 입력 정보로 된다. 또한, 탭 입력 또는 길게 누름 입력과, 조작 입력 정보를 구성하는 각각의 동작을 입력 정보라고 한다. 즉, 조작 입력 정보는, 하나 또는 복수의 입력 정보로 구성되어 있게 된다.
인증 처리부(144)는, 조작 입력 정보와 인증 정보가 일치하는 것으로 판정했을 경우, 패스워드 록을 해제하고, 정보 처리 단말기(100)가 사용가능하게 되었을 때에 최초로 표시되는 홈 화면을 표시부(142)에 표시시킨다(S112).
한편, 조작 입력 정보와 인증 정보가 일치하지 않는 것으로 판정했을 경우, 인증 처리부(144)는, 조작 입력 정보를 구성하는 입력 정보의 수가 규정의 입력 수를 초과하지 않고 있는지를 판정한다(S114). 스텝 S114에서, 입력 정보의 수가 규정의 입력 수를 초과하고 있을 경우에는, 입력 수가 오버하고 있어 인증 에러가 발생한 취지를 표시부(142)에 표시하고, 유저에 통지한다(S116). 그리고, 인증 처리부(144)는, 지금까지 입력된 입력 정보로 이루어지는 조작 입력 정보를 리세트하고, 스텝 S100으로부터의 처리를 다시 실행한다. 한편, 스텝 S114에서, 입력 정보의 수가 규정의 입력 수를 초과하지 않고 있을 경우에는, 아직 패스워드를 입력하고 있는 중이라고 판단하고, 스텝 S102로부터의 처리를 반복한다.
이상, 탭 또는 길게 누름 입력에 의해 패스워드 입력을 행한 경우의 인증 처리에 대해서 설명했다. 탭 또는 길게 누름과 같이 배면에 손가락을 접촉시키는 시간을 변화시켜서 조작 입력 정보를 입력하도록 함으로써, 주위 사람들로부터 유저의 패스워드의 입력 조작이 보여지게 될 가능성이 적어지고, 패스워드의 기밀성을 유지할 수 있다. 또한, 유저의 입력 조작도 간단하기 때문에, 입력 조작을 볼 수 없는 것에 의해 조작성이 저하하는 일도 없다.
(2) 인증 정보로서 도형 입력을 이용할 경우
인증 정보의 다른 예로서, 배면에서 손가락으로 그린 도형을 인증 정보로 할 수도 있다. 예를 들면, 도 6에 도시한 바와 같이, 유저가 정보 처리 단말기(100)의 배면에 접촉시킨 손가락을 움직여서 원을 그렸다고 한다. 배면 검출부(143)의 검출 결과로부터 인식된 손가락의 궤적이 조작 입력 정보로 된다. 이렇게, 도형을 그리는 것도, 전술한 탭 또는 길게 누름 입력과 같이 입력 조작을 보고 있지않아도 용이하게 행할 수 있다.
도형 입력에 의해 패스워드 입력을 행한 경우의 인증 처리는, 도 7에 도시된 바와 같다. 또한, 도 5에 나타낸 처리와 마찬가지의 처리에 관한 상세한 설명은 생략한다. 우선, 정보 처리 단말기(100)의 표시부(142)에 패스워드 입력 화면을 표시시킨다(S120). 패스워드 입력 화면이 표시되면, 배면 검출부(143)에 의해 배면에의 조작 입력을 검출한다(S122). 배면 검출부(143)의 검출 결과는 인증 처리부(144)에 출력된다. 스텝 S120 및 S122의 처리는, 도 5의 스텝 S100 및 S102와 마찬가지로 행할 수 있다.
그리고, 인증 처리부(144)는, 배면 검출부(143)의 검출 결과로부터 배면에서 손가락이 움직인 궤적과 인증 기억부(148)에 기억되어 있는 도형을 비교하고, 가장 가까운 도형을 검색한다(S124). 인증 처리부(144)는, 인증 기억부(148)에 기억되어 있는 도형과 배면 검출부(143)의 검출 결과에 기초하여 특정된 손가락의 궤적인 조작 입력 정보를 순서대로 비교해간다.
예를 들면, 인증 처리부(144)는, 조작 입력 정보가 원에 가까운 것인지의 여부를 판정하고(S126), 원에 가깝다고 판정했을 때에는, 도형 "○"이 입력된 것으로 간주한다(S128). 또한, 인증 처리부(144)는, 조작 입력 정보가 삼각형에 가까운 것인지의 여부를 판정하고(S130), 삼각형에 가깝다고 판정했을 때에는, 도형 "△"이 입력된 것으로 간주한다(S132). 또한, 인증 처리부(144)는, 조작 입력 정보가 사각형에 가까운 것인지의 여부를 판정하고(S134), 사각형에 가깝다고 판정했을 때에는, 도형 "□"이 입력된 것으로 간주한다(S136). 이와 같이하여, 인증 처리부(144)는 조작 입력 정보와 인증 기억부(148)에 기억된 인증 정보인 도형을 순서대로 비교하여, 일치하는 도형을 특정한다.
그리고, 인증 처리부(144)는, 조작 입력 정보와 매칭되는 인증 정보(도형)가 있는지의 여부를 판정한다(S138). 스텝 S138에서, 조작 입력 정보와 매칭되는 인증 정보(도형)가 있다고 판정했을 경우, 인증 처리부(144)는, 패스워드 록을 해제하고, 정보 처리 단말기(100)가 사용가능하게 되었을 때에 최초로 표시되는 홈 화면을 표시부(142)에 표시시킨다(S140).
한편, 조작 입력 정보와 매칭되는 인증 정보(도형)가 존재하지 않는다고 판정했을 경우, 인증 처리부(144)는, 조작 입력 정보를 구성하는 입력 정보의 수가 규정의 입력 수를 초과하지 않고 있는지를 판정한다(S142). 본 예에서의 입력 정보는, 손가락이 배면에 접촉한 시점으로부터 손가락이 배면으로부터 이격한 종점까지의 궤적를 말하며, 조작 입력 정보는 이러한 입력 정보 또는 그 조합으로 이루어진다. 스텝 S142에서, 입력 정보의 수가 규정의 입력 수를 초과하고 있을 경우에는, 입력 수가 오버하고 있어 인증 에러가 발생한 취지를 표시부(142)에 표시하고, 유저에 통지한다(S144). 그리고, 인증 처리부(144)는, 지금까지 입력된 입력 정보로 이루어지는 조작 입력 정보를 리세트하고, 스텝 S120으로부터의 처리를 다시 실행한다. 한편, 스텝 S142에서, 입력 정보의 수가 규정의 입력 수를 초과하지 않고 있을 경우에는, 아직 패스워드를 입력하고 있는 중이라고 판단하고, 스텝 S122로부터의 처리를 반복한다.
이상, 도형 입력에 의해 패스워드 입력을 행한 경우의 인증 처리에 대해서 설명했다. 조작 입력 정보를 배면으로부터 입력하도록 함으로써, 주위 사람들로부터 유저의 패스워드의 입력 조작이 보여지게 될 가능성이 적어지고, 패스워드의 기밀성을 유지할 수 있다. 또한, 원, 삼각형, 사각형 등과 같은 간단한 도형을 패스워드에 이용함으로써, 유저의 입력 조작도 간단하게 되고, 입력 조작을 볼 수 없는 것에 의해 조작성이 저하하는 일도 없다.
또한, 배면 검출부(143)의 검출 결과를 이용해서 행해지는 처리로서는, 전술한 패스워드 입력뿐만 아니라, 예를 들면, 소정의 애플리케이션을 실행시키기 위한 커맨드 입력에도 이용할 수 있다. 상기 (2)의 배면 검출부에서의 도형 입력의 검출 결과에 기초하는 인증 처리를, 애플리케이션 실행 처리에 적용했을 때의 플로우차트를 도 8에 나타낸다. 도 8에 있어서, 도 7과 마찬가지의 처리가 행해지는 개소에는 도 7과 동일한 부호를 붙이고 있다.
도형 입력에 의해 애플리케이션 실행을 위한 커맨드 입력을 행할 경우의 처리는, 도 8에 도시한 바와 같이, 우선, 배면 검출부(143)에 의해 배면에의 조작 입력을 검출한다(S122). 배면 검출부(143)의 검출 결과는 조작 입력 정보 판정부(145)에 출력된다. 조작 입력 정보 판정부(145)는, 배면 검출부(143)의 검출 결과로부터, 배면에서 손가락이 움직인 궤적과 설정 기억부(149)에 기억되어 있는 도형을 비교하고, 가장 가까운 도형을 검색한다(S124).
즉, 조작 입력 정보 판정부(145)는, 설정 기억부(149)에 기억되어 있는 도형과 배면 검출부(143)의 검출 결과로부터 특정된 손가락의 궤적인 조작 입력 정보를 순서대로 비교해 간다. 예를 들면, 조작 입력 정보 판정부(145)는, 스텝 S126∼S136에 도시한 바와 같이, 조작 입력 정보를, 도형 "○", "△", "□"와 같은 설정 기억부(149)에 기억되어 있는 도형과 순서대로 비교하고, 일치하는 도형을 특정한다.
그리고, 조작 입력 정보 판정부(145)는, 조작 입력 정보와 설정 기억부(149)에 기억된 등록 정보(도형)가 일치하는 도형인지를 판정한다(S138). 스텝 S138에서 조작 입력 정보와 등록 정보(도형)가 일치하는 도형이 있었다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 해당 등록 정보와 관련되어진 소정의 애플리케이션을 기동하도록 기능 실행부(146)에 지시한다(S146). 등록 정보는, 애플리케이션 이외에도, 특정한 기능과 관련지어져 있어도 되고, 조작 입력 정보 판정부(145)에 의해, 등록 정보와 관련되어진 특정한 기능을 실행시키도록 해도 된다.
한편, 조작 입력 정보와 등록 정보가 일치하는 도형이 존재하지 않는다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 지금까지 입력된 입력 정보로 이루어지는 조작 입력 정보를 리세트하고, 스텝 S122로부터의 처리를 다시 실행한다.
이렇게, 도형 입력에 의해 애플리케이션을 실행시키는 커맨드 입력을 행할 수도 있다. 이에 의해, 유저는 간단한 입력 조작으로 애플리케이션을 실행할 수 있고, 단말기의 조작성을 향상시킬 수 있다.
(1-3-2. 전면 검출부와의 조합에 의한 조작계의 확장)
다음으로, 본 실시형태와 같이 정보 처리 단말기(100)의 전면에 전면 검출부(141)를 구비하고 있을 경우, 배면 검출부(143)의 검출 결과와 조합함으로써, 전면에서의 조작만이 가능했던 종래와 비교해서 전면에서의 조작 스텝 수를 경감하는 것이 가능하게 된다. 또한, 전면 검출부(141)가 복수의 조작 툴의 접촉을 검출가능한 멀티 터치에 대응하지 않고 있을 경우에도, 전면 검출부(141)와 배면 검출부(143)의 검출 결과를 조합함으로써, 다양한 조작 입력이 가능하게 된다.
이하, 도 9∼도 14에 기초하여, 본 실시형태에 따른 정보 처리 단말기(100)에 있어서의, 전면 검출부(141)와 배면 검출부(143)의 검출 결과의 조합에 의한 조작 입력 방법에 대해 설명한다. 또한, 도 9는, 배면측에서 표시된 오브젝트를 고정하고, 전면측에서 오브젝트를 조작하는 조작 입력을 행하는 모습을 나타내는 설명도이다. 도 10은, 도 9의 조작 입력 처리를 나타내는 플로우차트이다. 도 11은, 배면측에서 오브젝트의 표시 내용을 전환하고, 전면측에서 오브젝트를 조작하는 조작 입력을 행하는 모습을 나타내는 설명도이다. 도 12는, 도 11의 조작 입력 처리를 나타내는 플로우차트이다. 도 13은, 배면측의 조작 입력에 의해 오브젝트를 표시시키고, 전면측에서 오브젝트를 조작하는 조작 입력을 행하는 모습을 나타내는 설명도이다. 도 14는, 도 13의 조작 입력 처리를 나타내는 플로우차트이다.
(1) 배면측에서 표시된 오브젝트를 고정하고, 전면측에서 오브젝트를 조작하는 조작 입력
우선, 도 9 및 도 10에 기초하여, 배면측에서 표시된 오브젝트를 고정하고, 전면측에서 오브젝트를 조작하는 조작 입력에 대해서 설명한다. 해당 조작 입력은, 예를 들면, 오브젝트로서 콘텐츠나 사진의 일람, 지도 등이 표시부(142)에 표시되어 있을 때, 표시부(142)에 표시된 오브젝트를 스크롤하는 조작과, 오브젝트에 대한 조작을 행할 경우에 유효하다. 구체적으로는, 전면에서 손가락을 소정의 방향으로 이동시키는 드래그 조작이 행해졌을 때, 배면 검출부(143)에 의해 배면으로부터의 조작 입력이 있는지의 여부에 의해 실행하는 기능을 전환하도록 함으로써, 간단한 조작 입력으로 전면에서의 조작에 대하여 실행되는 기능을 전환할 수 있다.
도 9에는 각각 콘텐츠에 관련되어진 복수의 오브젝트(210)로 이루어지는 오브젝트 일람이 표시되어 있다. 오브젝트 일람을 구성하는 오브젝트(210)의 수가 많아서, 전부를 표시면 내에 표시되어있지 않을 경우에는, 전면으로부터 드래그 조작을 행함으로써 오브젝트 일람을 드래그 조작의 방향에 따라 스크롤할 수 있다. 또한, 오브젝트 일람으로부터 원하는 오브젝트(210)를 한번에 선택할 때, 선택하는 오브젝트(210)를 손가락으로 둘러싸는 조작에 의해 오브젝트(210)의 선택을 행할 수도 있다. 이들 조작은, 유저가 입력 조작을 확인하면서 행하는 편이 조작하기 쉽기 때문에 전면으로부터 조작 입력되지만, 조작 입력이 충돌하고, 전면으로부터의 입력밖에 할 수 없는 종래에는, 이들 조작의 어느 한쪽밖에 실현할 수 없었다.
따라서, 본 실시형태에 따르면, 배면으로부터의 조작 입력을 검출할 수 있는 것을 이용하여, 배면의 임의의 장소에서 손가락이 접촉하고 있는지의 여부에 의해 이들 조작을 전환한다. 즉, 도 10에 도시한 바와 같이, 우선, 조작 입력 정보 판정부(145)는, 전면 검출부(141)로부터의 입력을 검출하면(S200), 배면에 설치된 터치 센서인 배면 검출부(143)에 의해 배면에의 손가락의 접촉이 검출되어 있는지의 여부를 판정한다(S202).
스텝 S202에서 배면에의 손가락의 접촉이 검출되어 있을 경우, 조작 입력 정보 판정부(145)는, 전면 검출부(141)의 검출 결과에 기초하여 표시면에서의 손가락 F2의 움직임(제스쳐)을 특정하고, 그 제스쳐에 대응하는 기능을 기능 실행부(146)에 실행시킨다(S204). 도 9의 예에서는, 오브젝트 일람으로부터 원하는 오브젝트(210)를 선택하는 기능이 실행된다. 한편, 스텝 S202에서 배면에의 손가락의 접촉이 검출되지 않고 있다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 전면 검출부(141)의 검출 결과에 기초하여 통상적인 기능을 기능 실행부(146)에 실행시킨다(S206). 도 9의 예에서는, 오브젝트 일람의 스크롤이 실행되게 된다.
이렇게, 배면 검출부(143)의 검출 결과에 따라서, 전면 검출부(141)의 검출 결과에 기초하여 실행되는 기능을 전환할 수 있다. 이 조작은, 배면에 손가락을 접촉시킴으로써 표시부(142)에 표시된 오브젝트(210)가 움직이지 않도록 고정시킨다고 하는 직감적인 조작이기도 하고, 유저에 있어서 행하기 쉬운 조작이다.
이러한 조작을 표시면에 표시된 지도의 조작에 적용하면, 예를 들면 배면 검출부(143)에 의해 배면에의 손가락의 접촉이 검출되지 않고 있을 경우에는, 전면에서의 손가락 F2의 드래그 조작으로 지도를 스크롤할 수 있다. 한편, 배면 검출부(143)에 의해 배면에의 손가락의 접촉이 검출되어 있을 경우에는, 전면에서의 손가락 F2의 드래그 조작에 의해 지도의 부분 선택이나 확대/축소 등의 다른 기능을 실행시킬 수 있다.
또한, 배면에의 손가락의 접촉에 의해 표시부(142)에 표시된 오브젝트(210)를 고정할 수 있고, 따라서, 예를 들면 케이싱(110)의 기울임에 의해 오브젝트(210)의 표시 위치를 이동할 수 있는 UI에 대해서는, 오브젝트(210)를 조작할 때에 배면에 손가락을 접촉시키는 조작을 행함으로써, 케이싱(110)이 기울어져도 조작 중에 오브젝트(210)가 이동하지 않도록 할 수도 있다.
(2) 배면측에서 오브젝트의 표시 내용을 전환하고, 전면측에서 오브젝트를 조작하는 조작 입력
다음으로, 도 11 및 도 12에 기초하여, 배면측에서 오브젝트의 표시 내용을 전환하고, 전면측에서 오브젝트를 조작하는 조작 입력에 대해 설명한다. 해당 입력은, 예를 들면, 모드에 의해 다른 조작을 입력가능한 애플리케이션에 있어서, 배면으로부터의 입력 검출이 있을 경우에만 일시적으로 모드를 전환하는 등의 조작에 유효하다. 구체적으로는, 키보드의 시프트 키나 입력 문자를 전환하는 키의 대체로서, 배면 검출부(143)에 의한 검출 결과를 이용한다.
도 12에는, 표시부(142)에, 문자 입력 키와 입력 문자 바꿈 키로 이루어지는 소프트웨어 키보드(220)가 표시되어 있는 예를 나타낸다. 입력 문자 바꿈 키를 누를 때마다, 히라가나가 입력되는 히라가나 입력 모드와 가타카나가 입력되는 가타카나 입력 모드를 전환할 수 있다. 전면으로부터의 조작 입력밖에 검출할 수 없었던 종래에는, 전면에서 조작 입력을 행하는 손가락 F2에 의해, 문자 입력 키와 입력 문자 바꿈 키를 조작하지 않으면 안 되어, 전면 조작 스텝 수가 많았다. 이에 대하여, 본 실시형태에서는, 배면의 임의의 위치에 손가락을 접촉시키고 있는 동안에 입력 문자를 전환하도록 하여, 입력 문자 바꿈 키의 기능을 실현한다. 이에 의해, 전면 조작 스텝 수를 경감할 수 있다.
즉, 도 12에 도시한 바와 같이, 우선, 조작 입력 정보 판정부(145)는, 배면 검출부(143)로부터의 입력을 검출하면(S210), 배면에 설치된 터치 센서인 배면 검출부(143)의 검출 결과에 기초하여, 배면으로부터 입력 문자 바꿈 키(도 11의 "가나" 보턴)에 손가락이 접촉하고 있는지의 여부를 판정한다(S212).
스텝 S212에서 배면에의 손가락의 접촉이 검출되어 있을 경우, 조작 입력 정보 판정부(145)는, 문자 입력 키에 의해 가타카나를 입력할 수 있는 가타카나 입력 모드로 한다(S214). 도 11에 도시한 바와 같이, "가나" 보턴에 배면으로부터 손가락이 접촉하고 있을 때(즉, 접촉점 P가 "가나" 보턴에 대응하는 영역에 있을 때), 문자 입력 키에 의해 가타카나를 입력할 수 있다. 한편, 스텝 S212에서 배면에의 손가락의 접촉이 검출되지 않고 있다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 문자 입력 키에 의해 히라가나를 입력할 수 있는 히라가나 입력 모드로 설정한다(S216). 도 11의 예에서, 배면의 "가나" 보턴에 대응하는 영역으로부터 손가락이 이격되면, 문자 입력 키에 의해 입력되는 문자를 히라가나로 할 수 있다.
상술한 바와 같이, 배면 검출부(143)의 검출 결과에 따라서, 전면 검출부(141)의 검출 결과에 기초하여 실행되는 기능을 전환할 수 있다. 또한, 이러한 조작에서는, 전면 조작 스텝 수를 경감할 수 있으므로, 유저의 조작 부하를 경감할 수 있다.
(3) 배면측의 조작 입력으로 오브젝트를 표시시키고, 전면측에서 오브젝트를 조작하는 조작 입력
다음으로, 도 13 및 도 14에 기초하여, 배면측의 조작 입력에 의해 오브젝트를 표시시키고, 전면측에서 오브젝트를 조작하는 조작 입력에 대해서 설명한다. 해당 입력은, 예를 들면, 통상 표시부(142)에는 표시되지 않는 메뉴 등을, 배면의 특정 영역에 손가락이 접촉하고 있을 때에만 표시부(142)에 표시시키는 조작에 적용할 수 있다. 배면의 특정 영역에 손가락이 접촉되어 있을 때에 표시된 메뉴는, 전면으로부터 조작할 수 있다.
일례로서, 배면의 특정 영역에 손가락이 접촉되어 있을 때에 메뉴(230)가 표시부(142)에 표시된 예를 도 13에 나타낸다. 메뉴(230)는, 배면의 특정 영역에 배면측에 있는 손가락 F1의 접촉점 P가 있을 경우에만 표시되며, 손가락 F1이 배면으로부터 이격되면 메뉴(230)는 비표시가 된다. 이러한 조작 입력 처리에 따르면, 도 14에 도시한 바와 같이, 우선, 조작 입력 정보 판정부(145)는, 배면 검출부(143)로부터의 입력을 검출하면(S220), 배면에 설치된 터치 센서인 배면 검출부(143)의 검출 결과에 기초하여, 손가락 F1의 접촉점 P가 배면의 어느 영역에 존재하는지를 특정한다. 그리고, 조작 입력 정보 판정부(145)는, 접촉점 P가 존재하는 영역에 따른 메뉴(230)를 표시부(142)에 표시시키도록 기능 실행부(146)에 지시한다(S222).
스텝 S222에서 기능 실행부(146)에 메뉴(230)의 표시가 지시되면, 표시 처리부(147)는 표시부(142)에 메뉴(230)를 표시시킨다. 표시부(142)에 표시된 메뉴(230)는, 전면으로부터, 예를 들면 손가락 F2에 의해 조작할 수 있다. 메뉴(230)가 표시되면, 조작 입력 정보 판정부(145)는, 배면 검출부(143)에 의해 손가락 F1의 접촉이 검출되어 있는지의 여부를 판정한다(S224). 배면 검출부(143)에 의한 손가락 F1의 접촉 검출이 있을 경우에는, 메뉴(230)는 표시가 계속해서 되어, 유저는 전면으로부터 메뉴(230)를 조작할 수 있다(S226). 한편, 배면 검출부(143)에 의한 손가락 F1의 접촉 검출이 없어졌을 경우에는, 조작 입력 정보 판정부(145)는, 메뉴(230)를 비표시로 하도록 기능 실행부(146)에 지시한다(S228).
상기한 바와 같이, 배면 검출부(143)의 검출 결과에 따라서, 표시부(142)는 정보를 표시하거나 비표시로 할 수 있다. 또한, 배면의 특정 영역에 손가락이 접촉하고 있을 때에만 표시부(142)에 소정의 오브젝트(210)를 표시시킴으로써, 전면 조작 스텝 수를 경감할 수 있다.
이상, 본 실시형태에 따른 정보 처리 단말기(100)의 구성과 그 기능에 대해서 설명했다. 본 실시형태에 따르면, 배면에의 조작 툴의 접촉을 검출가능한 배면 검출부(143)의 특성을 활용하여, 타인에게 보이고 싶지 않은 기밀성이 높은 정보의 입력을 단말기의 배면측에서 행하도록 함으로써, 정보의 기밀성을 유지할 수 있다. 또한, 배면에서의 조작은, 통상적인 전면에서의 조작과는 별개로 입력을 행하는 것이 가능하기 때문에, 배면 검출부(143)와 전면 검출부(141)의 검출 결과를 조합함으로써, 다양한 조작을 실현할 수도 있다. 또한, 배면 검출부(143)의 조작 입력을 간단히 함으로써, 조작 입력을 유저가 볼 수 없어도 조작성이 저하되지 않도록 할 수도 있다.
<2. 제2 실시형태>
[2-1. 정보 처리 단말기의 기능 개요]
다음으로, 본 발명의 제2 실시형태에 따른 정보 처리 단말기(100)의 기능에 대해서, 도 15 내지 도 22에 기초하여 설명한다. 본 실시형태에 따른 정보 처리 단말기(100)는, 제1 실시형태에 따른 정보 처리 단말기(100)와 마찬가지로 구성할 수 있고, 그 외관은, 도 1 및 도 2에 나타내는 바와 같다. 본 실시형태에 따른 정보 처리 단말기(100)도, 전면 및 배면에 터치 센서를 구비한다.
전술한 바와 같이, 전면으로부터의 조작 입력은, 직감적으로 행할 수 있지만, 표시 영역에 조작 입력을 행하는 조작 툴이 겹쳐버려, 표시 영역에 표시된 정보의 시인성이 저하된다는 문제가 있다. 또한, 종래와 같이 전면으로부터만이 조작 입력가능할 경우, 오브젝트의 결정이나 드래그, 스크롤, 줌, 회전 등의 다양한 조작을 충돌없이 실현하는 것은 곤란하다.
한편, 배면으로부터의 조작은, 유저의 의도하지 않는 배면에의 접촉에 의해 오동작이 생길 위험성이 높다. 예를 들면, 단말기(100)를 유지하는 손가락이 배면에 접촉함으로써 의도하지 않는 기능이 실행되는 것이 생각된다. 또한, 배면에서의 입력 조작을 유저는 볼 수 없기 때문에, 미세한 조작을 행하는 것은 어렵고, 실현 가능한 기능이 제한된다. 예를 들면, 화면상에 배열된 복수의 오브젝트 중 하나를, 배면으로부터 조작 입력하여 선택 사용으로 했을 경우, 원하는 오브젝트에 손가락을 접촉시키는 것은 어렵다.
따라서, 본 실시형태에 따른 정보 처리 단말기(100)에서는, 전면 검출부(141)와 배면 검출부(143)의 쌍방의 검출 결과를 조합하는 것에 의해, 원하는 조작을 실현한다. 구체적으로는, 전면 검출부(141)와 배면 검출부(143)의 쌍방에 있어서 손가락의 접촉이 검출되어 있을 경우에만, 소정의 기능을 실행시키도록 한다. 이하, 본 실시형태에 따른 정보 처리 단말기(100)에 의한 조작 입력 처리에 대해서 설명한다. 또한, 본 실시형태에 따른 정보 처리 단말기(100)의 기능 구성은, 도 3에 나타낸 제1 실시형태에 따른 정보 처리 단말기(100)의 기능 구성과 마찬가지이다. 따라서, 본 실시형태에서는 정보 처리 단말기(100)의 기능 구성에 관한 설명은 생략한다.
[2-2. 전면 검출부와 배면 검출부의 검출 결과의 조합에 의한 조작 입력 처리]
(2-2-1. 동시 검출에 의한 기능 실행)
(1) 동시 검출시에 소정의 기능을 실행시키는 처리의 설명
우선, 도 15∼도 21에 기초하여, 본 실시형태에 따른 정보 처리 단말기(100)에 의한 조작 입력 처리에 대해 설명한다. 도 15는, 본 실시형태에 따른 정보 처리 단말기(100)의 표시부(142)에 복수의 오브젝트(210)가 배열되어 있는 상태를 나타내는 설명도이다. 도 16은, 표시부(142)에 표시된 오브젝트(210)를 이동시키는 조작 입력을 설명하는 설명도이다. 도 17은, 동일한 오브젝트(210)에의 터치 조작 예를 설명하는 설명도이다. 도 18은, 동일한 오브젝트에의 터치 조작의 판정 예를 설명하는 설명도이다. 도 19는, 도 15∼도 18에 기초하는 오브젝트의 조작 입력 처리의 일례를 나타내는 플로우차트이다. 도 20은, 오브젝트를 조작하는 손가락을 역방향으로 이동시키는 조작 입력을 설명하는 설명도이다. 도 21은, 조작 대상의 이동량에 대하여, 해당 조작 대상의 조작에 따라 이동되는 오브젝트의 이동량을 축소 또는 확대한 조작 입력 처리를 설명하는 설명도이다.
본 예에서는, 전면 검출부(141)와 배면 검출부(143)에서 입력 검출이 동시에 행해졌을 경우에 소정의 기능을 실행 가능한 조작 입력 처리가 행해진다. 예를 들면, 도 15에 도시한 바와 같이, 복수의 오브젝트(210)가 배열 표시되어 있을 때, 전면으로부터 탭 조작을 행함으로써, 탭된 오브젝트(210)의 결정을 행할 수 있다고 한다. 또한, 이들 오브젝트(210)는, 예를 들면 좌우로 배열할 수 있었던 복수 페이지에 걸쳐 배열되고 있고, 좌우의 드래그 조작에 의해 페이지 자체의 이동을 행할 수 있다고 한다. 여기에서, 특정한 오브젝트(210)의 배치를 변경하고 싶을 경우, 드래그 조작은 페이지 자체의 이동 기능에 관련되게 만들어져 있기 때문에 충돌이 생겨버려, 그대로 드래그 조작을 행함으로써는 특정한 오브젝트(210)의 배치를 변경할 수는 없다.
이러한 상황에서, 예를 들면 배치를 변경하려는 오브젝트(210)를 길게 누름으로써 해당 오브젝트(210)를 이동 가능 상태로 한 후, 드래그 조작에 의해 오브젝트(210)를 이동시키는 조작 입력을 적용하는 것도 생각된다. 그러나, 이러한 조작 입력은, 오브젝트(210)를 이동 가능 상태로 하기 때문에 길게 누름이 판정되는 시간의 경과를 대기하지 않으면 안 된다고 하는 문제가 있다. 따라서, 본 실시형태의 정보 처리 단말기(100)에서는, 전면 및 배면에 터치 센서를 구비하는 구성을 이용하여, 전면 검출부(141)와 배면 검출부(143)가 동시에 동일한 오브젝트(210)에 대응하는 영역에의 손가락의 접촉을 검출했을 때, 해당 오브젝트(210)를 이동 가능하게 한다.
예를 들면, 도 16에 도시한 바와 같이, 표시부(142)에 3개의 오브젝트(210a∼210c)가 표시되어 있다고 한다. 이때, 조작 입력 정보 판정부(145)는, 배면 검출부(143) 및 전면 검출부(141)의 검출 결과로부터, 배면으로부터 손가락 F1이, 전면으로부터 손가락 F2이, 오브젝트(210c)에 대응하는 영역에 동시에 접촉했다고 판정했을 때, 오브젝트(210c)를 표시 영역 내에서 이동 가능하게 한다. 이에 의해, 유저는, 전면 및 배면으로부터 손가락이 접촉되어 있는 오브젝트(210c)를, 당해 오브젝트(210c)를 손가락으로 집어서 움직이는 것처럼 조작할 수 있고, 직감적인 조작을 실현할 수 있다.
또한, 배면 검출부(143) 및 전면 검출부(141)에 의해, 동시에 동일한 오브젝트(210)에 대응하는 영역에 접촉이 있는 것이 검출되었을 경우에 해당 오브젝트(210)의 이동을 가능하게 했지만, "동시"란, 엄밀하게 동일 시각이 아니어도 된다. 전면 검출부(141)에 의해 접촉이 검출된 시각과 배면 검출부(143)에 의해 접촉이 검출된 시각과의 시간차가, 동시라고 인식할 수 있는 정도의 소정의 시간차일 경우에는, 동시라고 간주하도록 해도 좋다.
배면으로부터의 오브젝트(210)에의 터치 조작은, 배면으로부터만의 조작으로 행하는 것은 어렵지만, 전면의 손가락에 가까운 위치에 손가락을 접촉시키는 손가락의 체성 감각에 기초하여, 유저는 배면의 적절한 위치를 선택할 수 있다. 예를 들면, 배면만의 단순한 드래그 조작에 의해 오브젝트(210)를 이동시키는 조작계도 실현 가능하지만,이 경우, 유저로부터 보이지 않는 배면으로부터의 조작에 의해, 원하는 오브젝트(210)에 손가락을 접촉시키는 것은 곤란하다.
이에 대하여, 본 예의 조작 입력 처리에 의해, 배면으로부터의 오브젝트(210)의 선택의 용이함을 제공할 수 있다. 전면과 배면으로부터의 터치 조작 입력은, 우선, 전술한 바와 같이 체성 감각을 이용해서 대략 동시에 양방의 면으로부터 오브젝트(210)에 손가락을 접촉시키는 방법이 있다.
또한, 전면과 배면으로부터의 터치 조작 입력의 다른 예로서, 도 17에 도시한 바와 같이, 우선 배면에 대하여 손가락 F1을 접촉시킨다. 이때, 조작 입력 정보 판정부(145)는, 손가락 F1이 배면에 접촉했을 때에, 손가락 F1의 접촉 위치에 대응시킨 커서(cursor) P를 표시부(142)에 표시시킨다. 그리고, 유저는, 표시부(142)에 표시된 커서 P에 기초하여, 전면으로부터 오브젝트(210)를 선택한다. 이에 의해, 표리의 양면으로부터 동일한 오브젝트(210)를 사이에 끼우는 조작을 실현할 수 있다.
또한, 전면과 배면으로부터의 터치 조작 입력의 판정 방법으로서, 도 18에 도시한 바와 같이, 배면의 터치 판정 영역(212)을, 전면의 터치 판정 영역(211)보다 크게 설정하도록 하여도 된다. 이에 의해, 전면으로부터 원하는 오브젝트(210)에 손가락 F2이 접촉되었을 경우에, 배면으로부터 전면으로 동일한 오브젝트(210)를 선택하기 쉽다. 예를 들면, 전면의 터치 판정 영역(211)이 오브젝트(210)와 동일 사이즈로 설정되어 있을 때, 배면의 터치 판정 영역(212)은, 전면의 터치 판정 영역(211)보다 약간 크게 설정한다. 이에 의해, 손가락 F1의 접촉 위치를 눈으로 볼 수 없는 배면으로부터의 잘못된 조작의 문제를 경감하는 것이 가능하다.
또한, 상기의 터치 조작 입력에 있어서, 전면과 배면으로부터, 동일한 오브젝트(210)를 소정의 시간 간격 이내에 터치 조작했을 경우에만, 드래그에 의한 오브젝트(210)의 이동을 가능하게 하도록 하여도 된다. 이에 의해, 의도하지 않는 오브젝트 조작(즉, 오조작)을 경감시킬 수 있다.
(2) 처리 플로우
도 19에, 도 15∼도 18에서 설명한 처리에 기초하는 처리의 일례를 나타낸다. 도 19는, 도 15에 도시한 바와 같은 오브젝트(210)가 복수 배열된 화면에 있어서, 통상적인 전면으로부터의 드래그 조작에 의한 화면 전체의 이동, 전면으로부터의 탭 조작에 의한 오브젝트(210)의 선택, 양면으로부터의 드래그 조작에 있어서, 오브젝트 단체의 이동이 실현되는 것 같은 조작계의 처리를 나타내고 있다.
도 19에 도시한 바와 같이, 우선, 표시부(142)에 표시된 오브젝트(210)에 대하여, 전면으로부터 탭 조작이 있은 것인가 아닌가를, 조작 입력 정보 판정부(145)는 판정한다(S300). 스텝 S300에서 전면으로부터 탭 조작이 있었다고 판정했을 때, 조작 입력 정보 판정부(145)는, 탭된 오브젝트(210)를 선택 결정한다(S302). 한편, 스텝 S300에서 전면으로부터 탭 조작은 없다고 판정했을 때, 조작 입력 정보 판정부(145)는, 오브젝트(210)에 대하여 전면으로부터의 손가락의 접촉이 있는가 아닌가를 판정한다(S304). 오브젝트(210)에 대하여 전면으로부터의 손가락의 접촉이 없을 경우, 조작 입력 정보 판정부(145)는, 또한 오브젝트(210)의 배면의 터치 판정 영역(212)에 대하여 배면으로부터의 손가락의 접촉이 있는 것인지의 여부를 판정한다(S306).
스텝 S306에서 오브젝트(210)의 배면의 터치 판정 영역(212)에 대하여 배면으로부터의 손가락의 접촉은 없다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 스텝 S300으로 되돌아가서, 처리를 반복한다. 한편, 스텝 S306에서 오브젝트(210)의 배면의 터치 판정 영역(212)에 대하여 배면으로부터의 손가락의 접촉이 있었다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 배면에의 손가락의 접촉 위치에 관련지어진 커서 P를 표시부(142)에 표시한다(S308). 그리고, 스텝 S300으로 되돌아가서, 처리를 반복한다.
스텝 S304의 처리로 되돌아가서, 오브젝트(210)에 대하여 전면으로부터의 손가락의 접촉이 있었을 경우, 조작 입력 정보 판정부(145)는, 배면의 터치 판정 영역(212)을 확대한다(S310). 그리고, 조작 입력 정보 판정부(145)는, 오브젝트(210)의 배면의 터치 판정 영역(212)에 대하여, 배면으로부터 손가락의 접촉이 있는 것인가 아닌가를 판정한다(S312). 스텝 S312에서 배면으로부터 손가락의 접촉이 있었다고 판정했을 때, 조작 입력 정보 판정부(145)는, 스텝 S308과 같이 배면에의 손가락의 접촉 위치에 대응한 커서 P를 표시부(142)에 표시한다(S314). 그리고, 조작 입력 정보 판정부(145)는, 오브젝트(210)에 대하여 전면 및 배면의 양방으로부터 드래그 조작이 행해져서 있는지의 여부를 판정하고(S316), 이러한 드래그 조작이 행해지지 않고 있을 경우에는, 그대로 스텝 S300의 처리로 되돌아가서 처리를 반복한다.
한편, 스텝 S316에서 오브젝트(210)에 대하여 전면 및 배면의 양방으로부터 드래그 조작이 행해지고 있다고 판정했을 경우, 조작 입력 정보 판정부(145)는, 해당 오브젝트(210)를 드래그 방향으로 이동시킨다(S318).
스텝 S312의 처리로 되돌아가서, 배면으로부터 손가락의 접촉은 없다고 판정했을 때, 조작 입력 정보 판정부(145)는, 오브젝트(210)에 대하여 전면으로부터의 드래그 조작이 있는지의 여부를 판정한다(S320). 오브젝트(210)에 대하여 전면으로부터의 드래그 조작은 없다고 판정했을 때, 조작 입력 정보 판정부(145)는, 그대로 스텝S300의 처리로 되돌아가서, 처리를 반복한다. 한편, 스텝 S320에서 오브젝트(210)에 대하여 전면으로부터의 드래그 조작이 있었다고 판정했을 때, 조작 입력 정보 판정부(145)는, 화면의 표시 영역을 드래그 방향으로 이동시킨다(S322).
상기한 바와 같이, 본 실시형태에 따른 정보 처리 단말기(100)는, 배면 검출부(143)와 전면 검출부(141)의 검출 결과에 기초하여, 오브젝트 단체의 이동 및 표시 영역 전체의 이동을 실현할 수 있다.
(3) 변형예
또한, 본 예의 조작 입력 처리에서는, 배면 검출부(143) 및 전면 검출부(141)에 의해, 동시에 동일한 오브젝트(210)에 대응하는 영역에 접촉이 있은 것이 검출되었을 경우에 해당 오브젝트(210)의 이동을 가능하게 하고 있다. 도 15∼도 18에 나타내는 예에서는, 이동 대상의 오브젝트(210)에 접촉하고 있는 손가락 F1 및 F2를 동일 방향으로 이동시킴으로써, 오브젝트(210)를 집어서 움직인다고 하는 직감적인 조작을 실현했다. 한편, 예를 들면, 조작 대상의 오브젝트(210)에 접촉하고 있는 손가락 F1 및 F2를 역방향으로 이동시켜서 오브젝트(210)를 조작하는 것도 생각된다.
예를 들면, 도 20에 도시한 바와 같이, 시계의 오브젝트(250)가 표시되어 있다고 한다. 시계의 오브젝트(250)의 나사부(252)를 조작함으로써, 시계의 오브젝트(250)의 바늘을 회전시킬 수 있다. 이때의 나사부(252)의 조작을, 표시부(142)에 표시된 오브젝트(250)의 나사부(252)에 대하여 배면과 전면으로부터 손가락 F1, F2를 동시에 접촉시킨 후, 손가락 F1, F2를 역방향으로 이동시키는 것에 의해 행하도록 한다.
이에 의해, 전술한 예와 마찬가지로 오동작의 발생을 저감할 수 있고, 또한, 전면으로부터만이 드래그 조작이 입력되었을 경우에는, 해당 드래그 조작에 의해 시계의 오브젝트(250)를 이동시키는, 통상적인 드래그 조작을 할 수도 있다. 또한, 조작 대상인 나사부(252)를 배면과 전면으로부터 손가락 F1, F2을 동시에 접촉시킴으로써 나사부(252)를 집고, 그리고, 손가락 F1, F2을 역방향으로 이동시킴으로써 나사부(252)를 회전시킨다고 하는 직감적인 조작을 실현할 수 있다.
또한, 도 20에 있어서, 조작 대상인 나사부(252)의 회전에 대한 시계의 오브젝트(250)의 바늘의 조작량은, 예를 들면 기어(도시하지 않음)의 물리 메터포에 의해 나사부(252)의 회전 방향이 변환되어서 결정된다. 이와 같이, 본 실시형태에 따른 정보 처리 단말기(100)에서는, 전면과 배면으로부터의 동시 조작에 의한 조작 대상의 회전에 있어서, 조작 대상의 회전을 나사나 기어 등의 메터포에 기초한 동작 축의 변환에 의해, 다른 오브젝트의 이동을 실현할 수 있다. 이에 의해, 조작 대상의 이동량에 대하여, 해당 조작 대상의 조작에 따라서 이동되는 오브젝트의 이동량을 축소 또는 확대할 수도 있다.
예를 들면, 도 21에 도시한 바와 같이, 정보 처리 단말기(100)로 재생되어 있는 콘텐츠의 음량을, 표시부(142)에 표시된 음량 조절부(260)에 의해 조작하는 상황을 설명한다. 콘텐츠의 음량은, 음량 조절부(260)의 슬라이더(262)를 좌우로 이동시킴으로써 변화시킬 수 있다. 이때, 슬라이더(262)는, 조절 롤러(264)에 의해서도 이동가능하다. 조절 롤러(264)의 회전 이동이 슬라이더(262)의 직선 이동으로 변환된다고 하는 물리 메터포에 기초하여, 조절 롤러(264)를 회전시킴으로써 슬라이더(262)가 이동된다. 여기에서, 조절 롤러(264)의 회전 이동량에 대하여 슬라이더(262)의 직선 이동량을 작게 함으로써, 슬라이더(262)의 위치를 고정밀도로 조정할 수 있고, 콘텐츠의 음량을 미세하게 조절할 수 있다.
상기한 바와 같이, 직감적인 조작을 실현함과 함께, 조작량도 직감적으로 이해할 수 있게 할 수도 있다. 이러한 조작 입력 처리는, 예를 들면 카메라의 줌이나 핀트의 조정을 행하기 위한 오브젝트에도 적용할 수 있다. 또한, 조작 대상의 오브젝트의 표시 사이즈가 작고, 손가락으로 실제로 조작하면 손가락에 숨어버리거나 할 경우 등에도, 조작 대상의 오브젝트와 관련되는 오브젝트를 조작해서 간접적으로 조작 대상의 오브젝트를 조작함으로써, 조작하기 쉽게 할 수도 있다.
(2-2-2. 표시된 콘텐츠의 전면 및 배면으로부터의 조작 입력에 의한 줌인 및 줌 아웃 기능)
본 실시형태에 따른 정보 처리 단말기(100)에서는, 예를 들면 도 22에 도시한 바와 같이, 사진 열람의 애플리케이션에 있어서, 표시된 콘텐츠의 전면 및 배면으로부터의 조작 입력에 의해 줌 인 및 줌 아웃 기능을 실현하는 조작계를 제공할 수도 있다. 도 22는, 표시된 콘텐츠의 전면 및 배면으로부터의 조작 입력에 의한 줌 인/줌 아웃 기능을 설명하기 위한 설명도이다.
정보 처리 단말기(100)의 표시부(142)에, 콘텐츠가 표시되어 있는 상태를 생각한다. 정보 처리 단말기(100)의 조작 입력 정보 판정부(145)는, 해당 정보 처리 단말기(100)의 전면에 손가락이 접촉하지 않고 있는 상태에서 배면으로부터 탭 조작이 행해진 것을 배면 검출부(143)의 검출 결과로부터 인식했을 때에는, 배면에서의 탭 조작에 대응하는 기능은 실행되지 않는다. 이것은, 유저의 의도하지 않는 배면에의 접촉에 의해, 해당 조작에 대응하는 기능이 실행되는 것을 방지하기 위해서이다.
한편, 조작 입력 정보 판정부(145)는, 표시부(142)에 표시된 콘텐츠에 대하여 전면 및 배면으로부터의 조작 입력이 함께 있을 경우에만, 전면 검출부(141)에 의한 검출 결과 또는 배면 검출부(143)에 의한 검출 결과에 기초하여, 대칭적인 기능(여기서는, 줌 인/줌 아웃 기능)을 실행시킨다. 이에 의해, 유저는 실현되는 조작의 의미를 물리 메터포에 관련지어서 직감적으로 이해하는 것이 가능하게 된다.
예를 들면, 해당 정보 처리 단말기(100)의 배면에 손가락이 접촉한 상태에서 전면으로부터의 탭 조작이 전면 검출부(141)의 검출 결과로부터 인식되었을 경우에는, 조작 입력 정보 판정부(145)는, 표시부(142)에 표시된 콘텐츠의 줌 인을 실행시킨다. 전면으로부터의 탭 조작에서는, 그 탭 조작이 행해진 위치를 중심으로 한 줌 인(예를 들면, 줌 배율을 1배로부터 1.2배로 변경)이 행해진다.
이에 대하여, 해당 정보 처리 단말기(100)의 전면에 손가락이 접촉한 상태에서 배면으로부터의 탭 조작이 인식되었을 경우에는, 조작 입력 정보 판정부(145)는, 표시부(142)에 표시된 콘텐츠의 줌 아웃을 실행시킨다. 예를 들어, 배면으로부터의 탭에 대해서는, 예를 들면 줌 배율을 1.2배로부터 1배로 변경하면서 줌 아웃의 조작이 실현된다. 줌 아웃시에 표시되는 에리어는, 원래 전면으로부터의 탭 조작에서 줌 인하는 이전에 표시되어 있었던 영역으로 된다. 즉, 배면으로부터의 탭 조작은, 전면으로부터의 조작과 상이하게, 줌 조작의 위치를 지정하지 않도록 한다. 이것은, 배면으로부터 조작 입력을 하는 손가락이 유저로부터 보이지 않기 때문에 위치를 지정하기 어렵다고 하는 특성에 기초한다.
또한, 본 예와 마찬가지로, 전면으로부터의 특정 위치에 대한 길게 누름 조작에 의해서, 그 위치를 중심으로 한 줌 인을 기능시키고, 배면으로부터의 길게 누름 조작으로 원래의 표시 영역에의 줌 아웃을 기능시키는 조작도 생각된다.
이상, 본 발명의 제2 실시형태에 따른 정보 처리 단말기(100)에 의한 조작 입력 처리에 대해서 설명했다. 본 실시형태에 따르면, 표시부에 표시된 오브젝트에 대하여 전면과 배면의 쌍방으로부터의 복합적인 조작에 의해, 원하는 조작을 직감적이면서 동시에 효율적으로 실현할 수 있다.
구체적으로는, 오브젝트를 전면과 배면으로부터 집는 조작을 행함으로써 오브젝트를 드래그 조작 가능하게 하는 조작계에 의해, 페이지의 드래그 등, 다른 조작과의 충돌을 회피하고, 직감적인 오브젝트 조작을 실현할 수 있다. 또한, 오브젝트의 전면과 배면으로부터, 역방향의 드래그 조작을 가하는 것으로 회전 조작을 실현하는 조작계나, 한쪽의 면에 접촉한 상태에서 다른 쪽의 면으로 탭 조작함에 따른 줌 인/줌 아웃을 실현하는 조작계에 의해, 마찬가지로, 다른 조작과의 충돌을 회피하고, 직감적인 오브젝트 조작을 실현할 수 있다. 또한, 양면으로부터의 조작에 의해 오브젝트를 선택함으로써, 배면으로부터는 오브젝트를 고정밀도로 선택하는 것이 곤란하다고 하는 문제도 해결할 수 있다.
이들 조작은, 오브젝트를 집어 돌리거나, 두드린 방향으로 이동시키는 등, 물리 메터포에 기초한 조작계에 있기 때문에, 유저가 직감적으로 이해가능하다. 또한, 이들의 모든 조작계에 있어서, 전면과 배면으로부터의 복합적인 조작에 의해 커맨드가 실행되는 조작계를 실현하는 것에 의해, 예를 들면 배면에의 유저의 의도하지 않는 접촉 등에 의한 오류 조작의 문제를 회피할 수 있고, 유저는 효율적으로 조작을 실현하는 것이 가능하게 된다.
<3. 하드웨어 구성예>
본 실시형태에 따른 정보 처리 단말기(100)에 의한 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 정보 처리 단말기(100)는, 도 23에 도시한 바와 같이 구성할 수도 있다. 이하, 도 23에 기초하여, 본 실시형태에 따른 정보 처리 단말기(100)의 일 하드웨어 구성예에 대해 설명한다.
본 실시형태에 따른 정보 처리 단말기(100)는, 전술한 바와 같이, 컴퓨터 등의 처리 장치에 의해 실현할 수 있다. 정보 처리 단말기(100)는, 도 23에 도시한 바와 같이, CPU(101)와, ROM(102)과, RAM(103)과, 호스트 버스(104a)를 포함한다. 또한, 정보 처리 단말기(100)는, 브릿지(104)와, 외부 버스(104b)와, 인터페이스(105)와, 입력 장치(106)와, 출력 장치(107)와, 스토리지 장치(HDD)(108)와, 드라이브(109)와, 접속 포트(111)와, 통신 장치(113)를 포함한다.
CPU(101)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 정보 처리 단말기(100) 내의 동작 전반을 제어한다. 또한, CPU(101)는, 마이크로프로세서이어도 된다. ROM(102)은, CPU(101)에 로딩되는 프로그램이나 연산 파라미터 등을 기억한다. RAM(103)은, CPU(101)의 실행에 있어서 사용하는 프로그램이나, 그 실행시에 적절히 변화하는 파라미터 등을 일시적으로 기억한다. 이들은 CPU 버스 등으로 구성되는 호스트 버스(104a)에 의해 서로 접속되어 있다.
호스트 버스(104a)는, 브릿지(104)를 통하여, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(104b)에 접속되어 있다. 또한, 반드시 호스트 버스(104a), 브릿지(104) 및 외부 버스(104b)를 분리하여 구성할 필요는 없고, 하나의 버스에 이들 기능을 실장해도 좋다.
입력 장치(106)는, 마우스, 키보드, 터치 패널, 보턴, 마이크, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초해서 입력 신호를 생성하고, CPU(101)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 출력 장치(107)는, 예를 들면, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 또는 램프 등의 표시 장치나, 스피커 등의 음성 출력 장치를 포함한다.
스토리지 장치(108)는, 정보 처리 단말기(100)의 기억부의 일례이며, 데이터 저장용의 장치이다. 스토리지 장치(108)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 읽어내는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 스토리지 장치(108)는, 예를 들면, HDD로 구성된다. 이 스토리지 장치(108)는, 하드디스크를 구동하고, CPU(101)가 실행하는 프로그램이나 각종 데이터를 저장한다.
드라이브(109)는, 기억 매체용 리더/라이터이며, 정보 처리 단말기(100)에 내장 또는 외장된다. 드라이브(109)는, 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블(removable) 기록 매체에 기록되어 있는 정보를 읽어내고, RAM(103)에 출력한다.
접속 포트(111)는, 외부 기기와 접속되는 인터페이스이며, 예를 들면 USB(Universal Serial Bus) 등에 의해 데이터 전송가능한 외부기기와의 접속구이다. 또한, 통신 장치(113)는, 예를 들면, 통신망(10)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(113)는, 무선 LAN(Local Area Network) 대응 통신 장치이어도, 와이어리스 USB 대응 통신 장치이어도, 유선에 의한 통신을 행하는 와이어 통신 장치이어도 된다.
본 발명이 속하는 기술분야에 있어서 통상의 지식을 갖는 자이면, 특허청구범위 및 그 등가물의 범주 내에 있어서, 설계 요구조건 및 다른 요소에 따라, 각종의 변경, 조합, 서브-조합 및 수정에 상도할 수 있음을 잘 알 수 있다.
본 출원은 2011년 1월 5일자로 일본 특허청에 출원된 일본 우선 특허출원 JP2011-000344호에 개시된 주제와 관련된 주제를 포함하며, 상기 일본 우선 특허출원의 전체 내용은 본원에 참조로서 포함되어 있다.

Claims (12)

  1. 정보 처리 장치로서,
    장치 전면측에 제공되며 정보를 표시하는 표시부와,
    장치 배면측에 제공되며 배면에의 조작 입력을 검출하는 제1 검출부와,
    상기 장치 전면측에 제공되며, 상기 표시부에의 조작 입력을 검출하는 제2 검출부와,
    상기 제1 검출부 및 상기 제2 검출부의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는 조작 입력 정보 판정부를 포함하고,
    상기 제1 검출부에 의해 상기 조작 입력이 검출되고 또한 상기 제2 검출부에 의해 상기 표시부에 표시된 오브젝트를 조작하는 조작 입력이 검출되면, 상기 조작 입력 정보 판정부는, 상기 제1 검출부 및 상기 제2 검출부에 의해 검출된 조작 입력에 대응하는 기능을 실행하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 제1 검출부로부터의 조작 입력은 상기 표시부에 표시되지 않는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 조작 입력 정보 판정부는, 상기 제1 검출부의 검출 결과에 따라서, 상기 제2 검출부의 검출 결과에 따라 입력되는 정보를 전환하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 조작 입력 정보 판정부는, 상기 제1 검출부에 의해 조작 툴의 접촉이 검출되면, 상기 제2 검출부로부터의 조작 입력이 있어도 상기 표시부의 표시 에리어를 이동시키지 않는, 정보 처리 장치.
  5. 제1항에 있어서,
    상기 조작 입력 정보 판정부는, 상기 제1 검출부에 의해 조작 툴의 접촉이 검출되면, 상기 제2 검출부로부터의 조작 입력에 따라서 제1 기능을 실행시키고,
    상기 조작 입력 정보 판정부는, 상기 제1 검출부에 의해 조작 툴의 접촉이 검출되지 않으면, 상기 제2 검출부로부터의 조작 입력에 따라서 제2 기능을 실행시키는, 정보 처리 장치.
  6. 제1항에 있어서,
    상기 제1 검출부에 의한 조작 입력에 기초하여 인증 처리를 행하는 인증 처리부와,
    인증 정보를 기억하는 인증 정보 기억부를 더 포함하고,
    상기 인증 처리부는, 상기 제1 검출부의 검출 결과에 기초하여 상기 장치 배면측으로부터 입력된 입력 정보를 특정하고, 상기 입력 정보와 상기 인증 정보를 비교해서 인증 처리를 행하고,
    상기 조작 입력 정보 판정부는, 상기 인증 처리부의 인증 결과에 기초하고 또한 상기 제1 검출부 및 상기 제2 검출부의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는, 정보 처리 장치.
  7. 제6항에 있어서,
    상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 조작 입력의 입력 시간에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정하는, 정보 처리 장치.
  8. 제6항에 있어서,
    상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 최초의 위치인 시점으로부터의 조작 툴의 이동 방향에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정하는, 정보 처리 장치.
  9. 제6항에 있어서,
    상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 최초의 위치인 시점으로부터의 조작 툴의 이동 궤적의 형상에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정하는, 정보 처리 장치.
  10. 제6항에 있어서,
    상기 인증 처리부는, 상기 제1 검출부에 의해 검출된 최초의 위치인 시점으로부터의 조작 툴의 상대 이동 방향 및 상대 이동 거리에 기초하여, 상기 장치 배면측으로부터 입력된 입력 정보를 특정하는, 정보 처리 장치.
  11. 정보 처리 방법으로서,
    정보를 표시하는 표시부가 제공되는 면과 반대측인 배면으로부터의 조작 입력을 검출하는 스텝과,
    상기 표시부가 제공되는 전면으로부터의 조작 입력을 검출하는 스텝과,
    상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는 스텝을 포함하고,
    상기 배면으로부터의 조작 입력이 검출되고 또한 상기 전면으로부터의 상기 표시부에 표시되는 오브젝트를 조작하는 조작 입력이 검출되면, 상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력에 대응하는 기능을 실행하는, 정보 처리 방법.
  12. 정보를 표시하는 표시부가 제공되는 면과 반대측인 배면으로부터의 조작 입력을 검출하는 제1 검출부가 상기 배면으로부터의 조작 입력을 검출하게 하고, 상기 표시부가 제공되는 전면으로부터의 조작 입력을 검출하는 제2 검출부가 상기 전면으로부터의 조작 입력을 검출하게 하는 검출 제어부와,
    상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력의 검출 결과에 기초하여, 상기 조작 입력에 대응하는 기능을 실행시키는 조작 입력 정보 판정부를 포함하고,
    상기 배면으로부터의 조작 입력이 검출되고 또한 상기 전면으로부터의 상기 표시부에 표시되는 오브젝트를 조작하는 조작 입력이 검출되면, 상기 배면으로부터의 조작 입력 및 상기 전면으로부터의 조작 입력에 대응하는 기능을 실행하는 정보 처리 장치로서 컴퓨터를 기능시키기 위한, 컴퓨터 프로그램.
KR1020110146173A 2011-01-05 2011-12-29 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 KR20120079812A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011000344A JP5917805B2 (ja) 2011-01-05 2011-01-05 情報処理装置、情報処理方法およびコンピュータプログラム
JPJP-P-2011-000344 2011-01-05

Publications (1)

Publication Number Publication Date
KR20120079812A true KR20120079812A (ko) 2012-07-13

Family

ID=45094473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110146173A KR20120079812A (ko) 2011-01-05 2011-12-29 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램

Country Status (7)

Country Link
US (1) US20120174044A1 (ko)
EP (2) EP3557395B1 (ko)
JP (1) JP5917805B2 (ko)
KR (1) KR20120079812A (ko)
CN (1) CN102681760B (ko)
BR (1) BRPI1107115A2 (ko)
RU (1) RU2011153164A (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117885A (ja) 2011-12-02 2013-06-13 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US20130227457A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co. Ltd. Method and device for generating captured image for display windows
JP2013235344A (ja) * 2012-05-07 2013-11-21 Sony Computer Entertainment Inc 入力装置、入力制御方法、及び入力制御プログラム
WO2014002615A1 (ja) * 2012-06-27 2014-01-03 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末装置、携帯端末装置の操作方法、及び携帯端末装置の操作プログラム
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP2014029594A (ja) * 2012-07-31 2014-02-13 Canon Inc 情報端末及びその制御方法、並びにプログラム
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
JP6197797B2 (ja) * 2012-11-22 2017-09-20 日本電気株式会社 電子機器、ロック解除方法及びプログラム
JP5875510B2 (ja) * 2012-12-10 2016-03-02 株式会社ソニー・コンピュータエンタテインメント 電子機器、メニュー表示方法
JP6063734B2 (ja) * 2012-12-25 2017-01-18 京セラ株式会社 携帯端末装置、ロック解除方法およびプログラム
US9563756B2 (en) * 2013-02-07 2017-02-07 Samsung Electronics Co., Ltd. Two phase password input mechanism
KR102179056B1 (ko) * 2013-07-19 2020-11-16 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN104427081B (zh) * 2013-08-19 2019-07-02 中兴通讯股份有限公司 一种移动终端的解锁方法及装置
KR102165445B1 (ko) * 2013-09-30 2020-10-14 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
CN103761045A (zh) * 2014-01-22 2014-04-30 深圳市欧珀通信软件有限公司 一种移动终端缩放触控方法及装置
CN104063153B (zh) * 2014-05-04 2018-12-11 南京中兴软件有限责任公司 一种实现人机交互的方法和装置
JP2016024580A (ja) * 2014-07-18 2016-02-08 富士通株式会社 情報処理装置、入力制御方法、および入力制御プログラム
KR101703867B1 (ko) * 2014-08-01 2017-02-07 엘지전자 주식회사 적어도 하나의 터치에 의해 컨트롤되는 이동 단말기 및 그 제어 방법
USD755839S1 (en) 2014-09-09 2016-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
CN105847670B (zh) * 2015-02-04 2019-06-21 佳能株式会社 电子设备、摄像控制装置及其控制方法
CN105549868A (zh) * 2015-07-25 2016-05-04 宇龙计算机通信科技(深圳)有限公司 一种移动终端操作处理方法、装置和移动终端
CN105159525B (zh) * 2015-08-25 2018-01-23 广东欧珀移动通信有限公司 一种控制音箱编组的方法及控制终端
USD910708S1 (en) 2018-05-08 2021-02-16 Apple Inc. Electronic device with graphical user interface
USD914756S1 (en) 2018-10-29 2021-03-30 Apple Inc. Electronic device with graphical user interface

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543588A (en) * 1992-06-08 1996-08-06 Synaptics, Incorporated Touch pad driven handheld computing device
US7800592B2 (en) * 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US6509847B1 (en) * 1999-09-01 2003-01-21 Gateway, Inc. Pressure password input device and method
EP1257111A1 (de) * 2001-05-08 2002-11-13 Siemens Schweiz AG Mobiles Terminal mit rückseitig angeordnetem Bedienfeld
JP3852368B2 (ja) * 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
GB0317715D0 (en) * 2003-07-29 2003-09-03 Koninkl Philips Electronics Nv Display and input device
US8610675B2 (en) * 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
JP2007141029A (ja) * 2005-11-21 2007-06-07 Matsushita Electric Ind Co Ltd 携帯情報装置
US20070188474A1 (en) * 2006-02-16 2007-08-16 Zaborowski Philippe S Touch-sensitive motion device
CN101529364A (zh) * 2006-10-27 2009-09-09 诺基亚公司 用于促进三维图形用户界面内的移动的方法和装置
US8843222B2 (en) * 2007-01-08 2014-09-23 Varia Holdings Llc Selective locking of input controls for a portable media player
CN101393504B (zh) * 2007-09-20 2012-12-19 宏达国际电子股份有限公司 手持电子装置与其图形化用户界面的切换方法
US8031175B2 (en) * 2008-04-21 2011-10-04 Panasonic Corporation Touch sensitive remote control system that detects hand size characteristics of user and adapts mapping to screen display
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
US8395584B2 (en) * 2007-12-31 2013-03-12 Sony Corporation Mobile terminals including multiple user interfaces on different faces thereof configured to be used in tandem and related methods of operation
JP4762262B2 (ja) * 2008-03-13 2011-08-31 シャープ株式会社 情報表示装置及び情報表示方法
US8248237B2 (en) * 2008-04-02 2012-08-21 Yougetitback Limited System for mitigating the unauthorized use of a device
US8174503B2 (en) * 2008-05-17 2012-05-08 David H. Cain Touch-based authentication of a mobile device through user generated pattern creation
US8346308B2 (en) * 2008-09-08 2013-01-01 Research In Motion Limited Communication device
US20100073303A1 (en) * 2008-09-24 2010-03-25 Compal Electronics, Inc. Method of operating a user interface
JP2010108061A (ja) 2008-10-28 2010-05-13 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
KR101544364B1 (ko) * 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
KR101063939B1 (ko) * 2009-06-10 2011-09-08 이노디지털 주식회사 사용자 인터페이스 제어 장치 및 구현 방법
JP5478129B2 (ja) 2009-06-22 2014-04-23 株式会社ニデック 非接触式超音波眼圧計
US20120126941A1 (en) * 2010-11-19 2012-05-24 Research In Motion Limited Pressure password for a touchscreen device

Also Published As

Publication number Publication date
EP2474896A3 (en) 2016-07-06
EP2474896A2 (en) 2012-07-11
EP2474896B1 (en) 2019-06-12
RU2011153164A (ru) 2013-07-10
CN102681760A (zh) 2012-09-19
US20120174044A1 (en) 2012-07-05
BRPI1107115A2 (pt) 2015-07-21
EP3557395A1 (en) 2019-10-23
JP5917805B2 (ja) 2016-05-18
EP3557395B1 (en) 2022-01-05
JP2012141868A (ja) 2012-07-26
CN102681760B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
KR20120079812A (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램
US10684751B2 (en) Display apparatus, display method, and program
JP2012141869A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP5703873B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20110081040A (ko) 투명 디스플레이를 구비한 휴대단말에서 컨텐츠 운용 방법 및 장치
US20100149099A1 (en) Motion sensitive mechanical keyboard
EP2214088A2 (en) Information processing
US9280265B2 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
EP2613247B1 (en) Method and apparatus for displaying a keypad on a terminal having a touch screen
JP6161418B2 (ja) 画像形成装置、画像形成装置の制御方法、並びにコンピュータプログラム
JP2013089202A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
TW201523420A (zh) 資訊處理裝置、資訊處理方法及電腦程式
JP6758921B2 (ja) 電子機器及びその制御方法
JP6575081B2 (ja) 表示装置、画像処理装置及びプログラム
JP5628991B2 (ja) 表示装置、表示方法、及び表示プログラム
JP2013089201A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
KR101436585B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
KR101436588B1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
KR101436587B1 (ko) 투 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
JP2015049861A (ja) 情報処理装置、制御方法、及びプログラム
JP2018116605A (ja) 表示制御装置及び表示制御方法
JP5886997B2 (ja) 情報表示装置
KR20150062883A (ko) 터치 방식을 이용한 입력 제어 방법 및 시스템
JP7030529B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
KR101436586B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid