KR101500843B1 - 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체 - Google Patents

태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR101500843B1
KR101500843B1 KR1020130081533A KR20130081533A KR101500843B1 KR 101500843 B1 KR101500843 B1 KR 101500843B1 KR 1020130081533 A KR1020130081533 A KR 1020130081533A KR 20130081533 A KR20130081533 A KR 20130081533A KR 101500843 B1 KR101500843 B1 KR 101500843B1
Authority
KR
South Korea
Prior art keywords
area
touch panel
touch
tablet terminal
touch operation
Prior art date
Application number
KR1020130081533A
Other languages
English (en)
Other versions
KR20140009054A (ko
Inventor
아끼노리 다구찌
사또시 나까시마
마사요시 시미즈
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20140009054A publication Critical patent/KR20140009054A/ko
Application granted granted Critical
Publication of KR101500843B1 publication Critical patent/KR101500843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본원 발명은, 한손으로 조작하는 경우라도, 터치 패널을 쾌적하게 조작하는 것을 목적으로 한다. 본 실시예에 따른 태블릿 단말기(100)는, 터치 패널(140) 상에서 조작이 행해지는 대상 영역을 특정하고, 대상 영역 내의 터치 조작의 내용을 판정한다. 예를 들면, 태블릿 단말기(100)는, 시선 검출부(161)가 검출하는 시선 위치를 기초로 하여, 대상 영역을 특정한다. 그리고, 태블릿 단말기(100)는, 터치 조작의 내용에 대응하는 선택지를 포함하는 메뉴 화상을 생성하고, 미리 정해진 영역에 표시시켜, 터치 조작을 접수한다.

Description

태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체{TABLET DEVICE, AND OPERATION RECEIVING METHOD}
본 발명은 태블릿 단말기 등에 관한 것이다.
스마트폰을 비롯하여, 휴대 전화, PHS(Personal Handyphone System)나 PDA(Personal Digital Assistants) 등의 태블릿 단말기가 보급되고 있다. 태블릿 단말기는 소형, 경량이기 때문에, 이용자는, 장소를 가리지 않고 어느 곳에서나 태블릿 단말기를 사용할 수 있다.
이용자가 태블릿 단말기를 조작하는 경우에는, 태블릿 단말기의 터치 패널에 표시되는 각종 항목을 손가락으로 터치함으로써 조작한다. 예를 들면, 이용자는, 터치 패널에 표시되는 Web 페이지의 하이퍼 텍스트의 선택, 화상의 확대, 동화상의 재생, 정지 등을, 터치 조작에 의해 행한다.
그러나, 상기의 종래 기술에는, 한손으로 터치 패널을 조작하는 경우에, 쾌적하게 조작할 수 없다는 문제가 있었다.
예를 들면, 이용자가 전철의 손잡이를 잡고 있을 때나, 가방, 우산 등을 한손에 들고 있는 경우에는, 태블릿 단말기의 터치 패널을 한손으로 조작하게 된다. 이와 같은 상황 하에서 터치 패널을 조작하는 경우에는, 이용자의 손가락이 닿는 범위가 한정되게 되어, 쾌적하게 터치 패널을 조작할 수 없다.
개시의 기술은, 상기를 감안하여 이루어진 것으로서, 한손으로 터치 패널을 조작하는 경우라도, 쾌적하게 조작할 수 있는 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 제공하는 것을 목적으로 한다.
개시의 태블릿 단말기는, 영역 특정부와, 조작 판정부와, 표시 제어부를 갖는다. 영역 특정부는, 터치 패널 상에서 터치 조작이 행해지는 영역을 특정한다. 조작 판정부는, 영역 특정부에 의해 특정된 영역 내의 터치 조작의 내용을 판정한다. 표시 제어부는, 조작 판정부에 의해 판정된 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널의 소정 영역에 표시한다.
개시의 태블릿 단말기에 의하면, 한손으로 조작하는 경우라도, 터치 패널을 쾌적하게 조작할 수 있다는 효과를 발휘한다.
도 1은 본 실시예 1에 따른 태블릿 단말기의 구성을 도시하는 도면.
도 2는 터치 패널의 화면 내의 각 영역을 설명하기 위한 도면.
도 3은 대상 영역을 설명하기 위한 도면.
도 4는 미리 정해진 영역을 설명하기 위한 도면.
도 5는 메뉴 화상의 일례를 도시하는 도면(1).
도 6은 메뉴 화상의 일례를 도시하는 도면(2).
도 7은 메뉴 화상의 일례를 도시하는 도면(3).
도 8은 대응 관계 정보의 일례를 도시하는 도면(1).
도 9는 대응 관계 정보의 일례를 도시하는 도면(2).
도 10은 대응 관계 정보의 일례를 도시하는 도면(3).
도 11은 본 실시예 1에 따른 태블릿 단말기의 화면 이미지를 도시하는 도면(1).
도 12는 본 실시예 1에 따른 태블릿 단말기의 화면 이미지를 도시하는 도면(2).
도 13은 본 실시예 1에 따른 태블릿 단말기의 화면 이미지를 도시하는 도면(3).
도 14는 본 실시예 1에 따른 태블릿 단말기의 처리 수순을 설명하는 플로우차트(1).
도 15는 본 실시예 1에 따른 태블릿 단말기의 처리 수순을 설명하는 플로우차트(2).
도 16은 본 실시예 1에 따른 태블릿 단말기의 처리 수순을 설명하는 플로우차트(3).
도 17은 본 실시예 2에 따른 태블릿 단말기의 구성을 도시하는 도면.
도 18은 본 실시예 2에 따른 태블릿 단말기의 화면 이미지를 도시하는 도면.
도 19는 본 실시예 2에 따른 태블릿 단말기의 처리 수순을 설명하는 플로우차트.
도 20은 그 밖의 메뉴 화상의 일례를 도시하는 도면(1).
도 21은 그 밖의 메뉴 화상의 일례를 도시하는 도면(2).
도 22는 실시예에 따른 조작 접수 프로그램을 실행하는 컴퓨터의 일례에 대하여 설명하기 위한 도면.
이하에, 본원의 개시하는 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램의 실시예를 도면에 기초하여 상세하게 설명한다. 또한, 이 실시예에 의해 본 발명이 한정되는 것은 아니다.
[실시예 1]
본 실시예 1에 따른 태블릿 단말기의 구성에 대하여 설명한다. 도 1은 본 실시예 1에 따른 태블릿 단말기의 구성을 도시하는 도면이다. 도 1에 도시한 바와 같이, 이 태블릿 단말기(100)는, 카메라(110), 광원(120), 통신부(130), 터치 패널(140), 기억부(150), 제어부(160)를 갖는다. 또한, 그 밖의 구성은, 주지의 태블릿 단말기와 마찬가지이다.
카메라(110)는, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등을 이용한 촬상 장치이다. 카메라(110)는, 촬상 범위에 포함되는 피사체의 화상을 촬영하고, 촬영한 피사체의 화상 데이터를, 시선 검출부(161)에 출력한다.
카메라(110)는, 화상을 촬영하는 타이밍에서, 광원(120)을 제어하여, 피사체에 적외선을 조사시킨다. 카메라(110)가 촬영하는 피사체에 이용자의 안구가 포함되는 경우에는, 망막 상의 광의 반사가 카메라(110)에 의해 포착되어, 안구의 동공 부분이 다른 부분보다도 밝게 찍힌 화상이 얻어진다. 또한, 상기의 카메라(110)는, 태블릿 단말기(100)의 출하 시부터 탑재되어 있는 카메라를 이용해도 되고, 외부 접속된 디지털 카메라 등을 이용해도 된다.
광원(120)은, 카메라(110)의 제어 명령에 응답하여, 적외선을 조사하는 장치이다. 통신부(130)는, 네트워크에 접속하여 다른 장치와 데이터 통신을 실행하는 처리부이다. 예를 들면, 통신부(130)는, 무선 통신 장치에 대응한다. 후술하는 제어부(160)는, 통신부(130)를 통하여, 네트워크 상의 서버 등에 액세스한다.
터치 패널(140)은, 표시와 입력의 2가지의 기능을 구비한 인터페이스이다. 터치 패널(140)은, 제어부(160)로부터 출력되는 정보를 표시한다. 또한, 터치 패널(140)은, 터치 조작을 접수한 경우에, 접촉된 화면 위치의 정보를 제어부(160)에 출력한다.
본 실시예 1에서는, 설명의 편의상, 터치 패널(140)의 화면 내에, 시선 검출 영역, 대상 영역, 미리 정해진 영역을 정의한다. 도 2는 터치 패널의 화면 내의 각 영역을 설명하기 위한 도면이다. 도 2에 도시한 바와 같이, 터치 패널(140)에는, 시선 검출 영역(141), 대상 영역(142), 미리 정해진 영역(143)을 갖는다.
예를 들면, 시선 검출 영역(141)은, 터치 패널(140)의 표시 화면에 대응하는 영역이다. 대상 영역(142)은, 시선 위치(10a)를 포함하는 영역이다. 시선 위치(10a)는, 후술하는 시선 검출부(161)에 의해 검출되는 이용자의 화면 상의 시선 위치이다. 미리 정해진 영역(143)은, 이용자가 태블릿 단말기(100)를 한손으로 조작하는 경우에, 태블릿 단말기(100)를 유지하는 엄지 손가락(10b)이 닿는 영역이다.
대상 영역(142)에 대하여 설명한다. 도 3은 대상 영역을 설명하기 위한 도면이다. 도 3에 도시한 바와 같이, 대상 영역(142)은, 폭 ll과, 높이 ls에 의해 정의되고, 폭 ll과 높이 ls에 의한 직사각형의 무게 중심을, 무게 중심 위치 Gd(xd, yd)로 한다. 후술하는 영역 특정부(162)에 의해, 대상 영역(142)의 무게 중심 위치 Gd는, 이용자의 시선 위치(10a)와 겹치는 위치로 조정되고, 이에 의해, 대상 영역(142)의 위치도 이동한다. 폭 ll, 높이 ls의 값은, 미리 설정되어 있는 것으로 한다.
미리 정해진 영역(143)에 대하여 설명한다. 도 4는 미리 정해진 영역을 설명하기 위한 도면이다. 도 4에 도시한 바와 같이, 이 미리 정해진 영역(143)은, 미리 정해진 영역(143)의 무게 중심이 존재하는 무게 중심 위치 Gd(xd, yd)와, 폭 ll과, 높이 ls에 의해 정의된다. 이러한 미리 정해진 영역(143)에는, 이용자가 태블릿 단말기(100)를 드는 손의 엄지 손가락(10b)이 태블릿 단말기(100)를 잡은 상태에서 닿는 범위(20)와 동등 혹은 범위(20)보다도 작은 형상 및 사이즈가 정의된다. 터치 패널(140)의 화면에 표시되는 화상의 상하 방향이 정해져 있는 경우에는, 그 화면이 표시되는 좌측 아래의 코너와 미리 정해진 영역(143)의 좌측 아래의 정점이 일치하도록 무게 중심 위치 Gd(xd, yd)를 정할 수도 있다.
도 1의 설명으로 되돌아간다. 기억부(150)는, 메뉴 화상 정보(151), 대응 관계 정보(152), 표시 정보(153), 직사각형 정의 정보(154)를 기억하는 기억 장치이다. 예를 들면, 기억부(150)는, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리(Flash Memory) 등의 반도체 메모리 소자 또는 하드디스크, 광 디스크 등의 기억 장치에 대응한다.
메뉴 화상 정보(151)는, 각종 조작을 행하기 위한 각종 메뉴 화상의 정보를 포함한다. 메뉴 화상은, 터치 패널(140)의 미리 정해진 영역(143)에 표시되고, 이용자는 이러한 메뉴 화상에 대하여 터치 조작을 행한다. 여기서, 각 메뉴 화상의 일례에 대하여 설명한다. 도 5∼도 7은 메뉴 화상의 일례를 도시하는 도면이다.
도 5에 도시한 메뉴 화상(30)은, 화상의 크기를 조정하는 것이다. 예를 들면, 이용자가 메뉴 화상(30)의 화살표(30a)를, 좌측으로부터 우측으로 슬라이드시킴으로써, 해당하는 화상 또는 텍스트 문자 등을 확대하는 조작으로 된다.
도 6에 도시한 메뉴 화상(31)은, 복수의 선택 버튼(31a, 31b, 31c)을 갖는다. 후술하는 바와 같이, 각 선택 버튼(31a∼31c)은, 터치 패널(140) 상의 화면에 표시되는 각 선택 항목에 각각 대응지어지고, 이용자가 선택 버튼(31a∼31c)을 터치 조작함으로써, 해당하는 선택 항목을 선택하는 조작으로 된다. Web 페이지를 예로 하여 설명하면, 선택 항목은 하이퍼 텍스트 등에 대응한다.
도 7에 도시한 메뉴 화상(32)은, 동화상의 조작을 행하기 위한 것이다. 예를 들면, 메뉴 화상(32)은, 재생 버튼(32a), 정지 버튼(32b), 소리 버튼(32c)을 갖는다. 예를 들면, 이용자가 재생 버튼(32a)을 터치 조작함으로써, 해당하는 동화상을 재생하는 조작으로 된다. 이용자가 정지 버튼(32b)을 터치 조작함으로써, 해당하는 동화상을 정지하는 조작으로 된다. 이용자가 소리 버튼(32c)을 터치 조작함으로써, 동화상의 소리의 유음, 무음을 절환하는 조작으로 된다.
메뉴 화상 정보(151)에 포함되는 메뉴 화상은, 상기 도 5∼도 7에 도시하는 메뉴 화상에 한정되는 것은 아니다. 또한, 도 5∼도 7에 도시한 메뉴 화상의 내용도 일례에 지나지 않고, 적절히 변경해도 된다.
도 1의 설명으로 되돌아간다. 대응 관계 정보(152)는, 도 5∼도 7에 도시한 메뉴 화상에 대한 터치 조작과, 터치 패널(140) 상의 항목에 대한 조작을 대응짓기 위한 정보이다. 대응 관계 정보(152)는, 상기의 메뉴 화상에 따른 복수의 대응 관계 정보를 갖는다. 예를 들면, 메뉴 화상(30)에 대응하는 대응 관계 정보를 대응 관계 정보(152a)로 한다. 메뉴 화상(31)에 대응하는 대응 관계 정보를 대응 관계 정보(152b)로 한다. 메뉴 화상(32)에 대응하는 대응 관계 정보를 대응 관계 정보(152c)로 한다. 도 8∼도 10은 대응 관계 정보의 일례를 도시하는 도면이다.
도 8은 메뉴 화상(30)에 대응하는 대응 관계 정보(152a)의 일례를 도시한다. 도 8에 도시한 바와 같이, 이 대응 관계 정보(152a)는, x 좌표와 화상 확대율을 대응짓는다. x 좌표는, 메뉴 화상(30)의 화살표(30a)의 x 좌표에 대응한다. 화상 확대율은, 해당하는 화상 또는 텍스트 문자 등을 확대하는 경우의 확대율에 대응한다. 예를 들면, 화살표(30a)의 x 좌표가 「0」인 경우에는, 화상 확대율은 「10％」로 된다. 화살표(30a)의 x 좌표가 「xd」인 경우에는, 화상 확대율은 「100％」로 된다. 화살표(30a)의 x 좌표가 「xm」인 경우에는, 화상 확대율은 「200％」로 된다.
도 9는 메뉴 화상(31)에 대응하는 대응 관계 정보(152b)의 일례를 도시한다. 도 9에 도시한 바와 같이, 이 대응 관계 정보(152b)는, 버튼 식별 정보와, 조작 내용과, 링크 좌표를 대응짓는다. 버튼 식별 정보는, 메뉴 화상(31)에 포함되는 각 선택 버튼을 식별하는 정보이다. 조작 내용은, 선택 버튼이 터치 조작된 경우의 조작의 내용을 나타내는 정보이다. 링크 좌표는, 터치 패널(140) 상의 선택 항목의 좌표를 나타낸다. 예를 들면, 선택 버튼(31a)이 터치 조작된 경우에는, 터치 패널(140) 상의 링크 좌표 「x1, y1」의 선택 항목이 「선택」된다.
도 10은 메뉴 화상(32)에 대응하는 대응 관계 정보(152c)의 일례를 도시한다. 도 10에 도시한 바와 같이, 이 대응 관계 정보(152c)는, 버튼 식별 정보와, 조작 내용과, 링크처의 동화상 영역을 대응짓는다. 버튼 식별 정보는, 메뉴 화상(32)에 포함되는 각 버튼을 식별하는 정보이다. 조작 내용은, 선택 버튼이 터치 조작된 경우의 조작 내용을 나타내는 정보이다. 링크처의 동화상 영역은, 메뉴 화상(32)에 의해 조작하는 동화상의 터치 패널(140) 상의 영역을 나타내는 것이다. 링크처의 동화상 영역에는, 예를 들면 동화상의 좌측 위의 좌표와, 우측 아래의 좌표를 포함한다. 재생 버튼(32a)이 터치 조작된 경우에는, 터치 패널(140) 상의 동화상 영역 「(x4, y4), (x5, y5)」의 동화상이 「재생」된다.
도 1의 설명으로 되돌아간다. 표시 정보(153)는, 터치 패널(140)에 표시되는 화면의 정보이다. 예를 들면, 터치 패널(140)에 Web 페이지의 정보를 표시하는 경우에는, 표시 정보(153)에는 웹 페이지의 소스 코드가 포함된다.
직사각형 정의 정보(154)는, 도 2에 도시한 시선 검출 영역(141)의 범위, 대상 영역(142)의 각 변의 길이, 미리 정해진 영역(143)의 각 변의 길이의 정보를 포함한다.
제어부(160)는, 시선 검출부(161), 영역 특정부(162), 조작 판정부(163), 터치 판정부(164), 표시 제어부(165)를 갖는다. 예를 들면, 제어부(160)는, ASIC(Application Specific Integrated Circuit)나, FPGA(Field Programmable Gate Array) 등의 집적 장치에 대응한다. 또한, 제어부(160)는, 예를 들면 CPU나 MPU(Micro Processing Unit) 등의 전자 회로에 대응한다.
시선 검출부(161)는, 터치 패널(140) 상의 시선 위치를 검출하는 처리부이다. 시선 검출부(161)는, 시선 위치의 정보를 영역 특정부(162)에 출력한다. 예를 들면, 시선 검출부(161)는, 카메라(110)에 의해 출력된 피사체의 화상에 각막 반사법 등의 알고리즘을 적용하고, 안구의 동공의 중심 위치로부터 시선의 방향이 가리키는 시점의 위치를 검출한다. 이러한 시점의 위치를, 본 실시예에서는 시선 위치로 한다.
또한, 여기에서는, 각막 반사법을 이용하여 시선 위치를 검출하는 경우에 대하여 설명하였지만, 다른 방법을 이용하여 시선 위치를 검출해도 된다. 예를 들면, 태블릿 단말기(100)는, 터치 패널(140)의 화면을 분할하고, 분할한 영역을 보는 눈의 형상을 학습해 두고, 카메라(110)로부터 입력되는 화상으로부터 추출한 눈의 형상과 템플릿 매칭을 실행함으로써, 시선 위치를 검출해도 된다. 또한, 태블릿 단말기(100)는, 시선의 위치를 검출하는 헤드셋을 이용자에게 장착시켜, 헤드셋에 의해 검출된 시선의 위치를 취득해도 된다.
또한, 시선 검출부(161)는, 시선 위치를 검출하고, 검출한 시선 위치가 시선 검출 영역(141)에 포함되는지의 여부를, 직사각형 정의 정보(154)를 기초로 판정한다. 시선 검출부(161)는, 시선 위치가, 시선 검출 영역(141)에 포함되는 경우에, 시선 위치의 정보를 영역 특정부(162)에 출력한다.
영역 특정부(162)는, 터치 조작이 행해지는 영역을 특정하는 처리부이다. 이하에 있어서, 영역 특정부(162)의 처리의 일례에 대하여 설명한다. 영역 특정부(162)는, 시선 검출부(161)로부터 시선 위치의 정보를 취득하고, 소정 시간마다, 시선 위치의 평균을 산출한다. 영역 특정부(162)는, 평균의 시선 위치를 대상 영역의 무게 중심 좌표로 함으로써, 도 2에 도시한 대상 영역(142)의 범위를 특정한다. 영역 특정부(162)는, 특정한 대상 영역(142)의 범위의 정보를, 조작 판정부(163)에 출력한다. 대상 영역(142)의 범위의 정보는, 예를 들면 대상 영역(142)의 터치 패널(140) 상의 좌표이다.
조작 판정부(163)는, 대상 영역(142)의 영역 내의 터치 조작의 내용을 판정하는 처리부이다. 조작 판정부(163)는, 판정한 터치 조작의 내용을, 표시 제어부(165)에 출력한다.
이하에 있어서, 조작 판정부(163)의 처리의 일례에 대하여 설명한다. 조작 판정부(163)는, DOM(Document Object Model)을 이용하여, 대상 영역(142)에 포함되는 요소를 문의한다. DOM은, xml이나 html의 각 요소에 액세스하기 위한 인터페이스이다. 예를 들면, 조작 판정부(163)는, Javascript(등록 상표)의elementFromPoint(x, y)를 이용한다. 본 실시예에서는, 조작 판정부(163)는, DOM을 이용하여, 대상 영역(142)에 대응하는 소스 코드를, 표시 정보(153)로부터 취득한다.
조작 판정부(163)는, 대상 영역(142)에 포함되는 요소에, 화상이나 문자를 식별하는 태그가 포함되어 있는 경우에는, 크기를 조정하는 조작을 행한다고 판정한다. 예를 들면, 화상을 식별하는 태그는 <imag>로 되고, 문자를 식별하는 태그는 <p>로 된다. 그 밖의 화상이나 문자를 식별하는 태그는, HTML 레퍼런스 등에 정의되어 있기 때문에, 설명을 생략한다.
조작 판정부(163)는, 크기를 조정하는 조작을 행한다고 판정한 경우에는, 크기를 조정하는 조작을 행한다는 취지와, 대상 영역(142)의 범위의 정보를, 표시 제어부(165)에 출력한다.
조작 판정부(163)는, 대상 영역(142)에 포함되는 요소에, 링크처를 식별하는 태그가 포함되어 있는 경우에는, 이러한 링크처를 선택하는 조작을 행한다고 판정한다. 또한, 조작 판정부(163)는, 링크수를 집계한다. 예를 들면, 링크처를 식별하는 태그는 <a href>로 된다. 그 밖의 링크처를 식별하는 태그는, HTML 레퍼런스 등에 정의되어 있기 때문에, 설명을 생략한다.
조작 판정부(163)는, 링크처를 선택하는 조작을 행한다고 판정한 경우에는, 링크처를 선택 조작한다는 취지와, 링크수와, 선택 대상으로 되는 항목의 화면 상의 좌표를, 표시 제어부(165)에 출력한다.
조작 판정부(163)는, 대상 영역(142)에 포함되는 요소에, 동화상을 식별하는 태그가 포함되어 있는 경우에는, 동화상의 조작을 행한다고 판정한다. 예를 들면, 동화상을 식별하는 태그는 <video>로 된다. 그 밖의 동화상을 식별하는 태그는, HTML 레퍼런스 등에 정의되어 있기 때문에, 설명을 생략한다.
조작 판정부(163)는, 동화상의 조작을 행한다고 판정한 경우에는, 동화상의 조작을 행한다는 취지와, 대상 영역(142)의 범위의 정보를, 표시 제어부(165)에 출력한다.
터치 판정부(164)는, 터치 패널(140)에 대하여 터치 조작이 행해졌는지의 여부를 판정하는 처리부이다. 터치 판정부(164)는, 터치 조작이 행해졌는지의 여부의 판정 결과를 표시 제어부(165)에 출력한다.
표시 제어부(165)는, 조작 판정부(163)의 판정 결과에 대응하는 선택지를 생성하고, 선택지를, 터치 패널(140)의 미리 정해진 영역(143)에 표시하는 처리부이다. 이하에 있어서, 표시 제어부(165)의 처리의 일례에 대하여 설명한다. 또한, 표시 제어부(165)는, 터치 판정부(164)로부터, 터치 조작이 행해졌다는 취지의 정보를 접수한 것을 트리거로 하여, 하기의 처리를 실행한다.
표시 제어부(165)가, 조작 판정부(163)로부터, 크기를 조정하는 조작을 행한다는 취지와, 대상 영역(142)의 범위의 정보를 수신한 경우의 처리에 대하여 설명한다. 표시 제어부(165)는, 메뉴 화상 정보(151)로부터, 도 5에 도시한 확대 조작을 행하기 위한 메뉴 화상(30)을 취득한다. 또한, 표시 제어부(165)는, 대응 관계 정보(152)로부터, 메뉴 화상(30)에 대응하는 대응 관계 정보(152a)를 취득하고, 메뉴 화상(30)의 화살표(30a)의 조작과, 조작의 내용을 대응짓는다.
표시 제어부(165)는, 메뉴 화상(30)과 대응 관계 정보(152a)를 기초로 하여, 조작의 내용을 대응지은 후에, 메뉴 화상(30)을 미리 정해진 영역(143)에 표시시킨다. 표시 제어부(165)는, 메뉴 화상(30)의 화살표(30a)에 대한 터치 조작을 접수한 경우에, 화살표(30a)의 좌표와 대응 관계 정보(152a)를 기초로 하여, 화상 확대율을 판정한다. 표시 제어부(165)는, 화상 확대율에 따라서, 대상 영역(142)에 포함되는 화상 또는 문자를 확대한다.
다음으로, 표시 제어부(165)가, 조작 판정부(163)로부터, 링크처를 선택 조작한다는 취지와, 링크수와, 선택 대상으로 되는 항목의 화면 상의 좌표를 수신한 경우의 처리에 대하여 설명한다. 표시 제어부(165)는, 메뉴 화면 정보(151)로부터, 도 6에 도시한 선택 버튼을 포함하는 메뉴 화상(31)을 취득한다. 또한, 표시 제어부(165)는, 메뉴 화상(31)의 각 선택 버튼과, 선택 대상으로 되는 항목의 화면 상의 좌표를 대응지음으로써, 도 9에 도시한 대응 관계 정보(152)를 생성한다. 또한, 각 조작의 내용을, 선택 항목을 선택으로 설정한다. 또한, 표시 제어부(165)는, 링크수에 따라서, 도 6에 도시한 메뉴 화상(31)의 선택 버튼을 늘리는 것으로 한다.
표시 제어부(165)는, 대응 관계 정보(152)를 생성한 후에, 메뉴 화상(31)을 미리 정해진 영역(143)에 표시시킨다. 표시 제어부(165)는, 메뉴 화상(31)의 선택 버튼에 대한 터치 조작을 접수한 경우에, 터치 조작을 받은 선택 버튼의 버튼 식별 정보와, 대응 관계 정보(152b)를 비교하여, 링크 좌표를 판정한다. 표시 제어부(165)는, 판정한 링크처 좌표에 대응하는 링크처의 항목을 선택하고, 링크처의 정보를 터치 패널(140)에 표시시킨다. 예를 들면, 표시 제어부(165)는, 링크처의 항목이 하이퍼 텍스트인 경우에는, 하이퍼 텍스트에 나타내어지는 링크처의 정보를, 네트워크를 통하여 취득하고, 취득한 정보를, 터치 패널(140)에 표시시킨다.
다음으로, 표시 제어부(165)가, 조작 판정부(163)로부터, 동화상의 조작을 행한다는 취지와, 대상 영역(142)의 범위의 정보를 수신한 경우의 처리에 대하여 설명한다. 표시 제어부(165)는, 메뉴 화상 정보(151)로부터, 도 7에 도시한 동화상의 조작을 행하기 위한 메뉴 화상(32)을 취득한다. 또한, 표시 제어부(165)는, 대응 관계 정보(152)로부터, 메뉴 화상(32)에 대응하는 대응 관계 정보(152c)를 취득하고, 메뉴 화상(32)의 재생 버튼(32a), 정지 버튼(32b), 소리 버튼(32c)에 대응하는 링크처의 동화상 영역을, 대상 영역(142)의 범위의 좌표에 설정한다.
표시 제어부(165)는, 메뉴 화상(32)과 대응 관계 정보(152c)를 대응지은 후에, 메뉴 화상(32)을, 미리 정해진 영역(143)에 표시시킨다. 표시 제어부(165)는, 메뉴 화상(32)의 버튼에 대한 터치 조작을 접수한 경우에, 버튼 식별 정보와, 대응 관계 정보(152c)를 기초로 하여, 조작 내용을 특정하고, 조작 내용에 따른 처리를 실행한다. 표시 제어부(165)는, 처리 대상으로 되는 동화상의 좌표는, 링크처의 동화상 영역을 기초로 특정한다.
예를 들면, 표시 제어부(165)는, 재생 버튼(32a)에 대하여 터치 조작이 행해진 경우에는, 해당하는 영역의 동화상을 재생시킨다. 표시 제어부(165)는, 정지 버튼(32b)에 대하여 터치 조작이 행해진 경우에는, 해당하는 영역의 동화상을 정지시킨다. 표시 제어 장치(165)는, 소리 버튼(32c)에 대하여 터치 조작이 행해진 경우에는, 해당하는 동화상의 소리의 유음, 무음을 절환한다.
또한, 표시 제어부(165)는, 미리 정해진 영역(143)에 메뉴 화상(30, 31 또는 32)을 표시하고 나서, 미리 정해진 시간 이내에, 해당하는 메뉴 화상에 대한 터치 조작을 접수하지 않은 경우에는, 메뉴 화상을 삭제한다.
다음으로, 본 실시예 1에 따른 태블릿 단말기(100)의 화면 이미지에 대하여 설명한다. 도 11∼도 13은 본 실시예 1에 따른 태블릿 단말기의 화면 이미지를 도시하는 도면이다.
도 11은 크기를 조정하는 조작을 행하는 경우의 화면 이미지이다. 도 11에 도시한 바와 같이, 태블릿 단말기(100)는, 시선 위치(10a)를 검출하고, 대상 영역(142)을 설정한다(스텝 S10). 태블릿 단말기(100)는, DOM을 이용하여, 대상 영역(142) 내가 화상(20a)이라고 판정한다(스텝 S11).
태블릿 단말기(100)는, 미리 정해진 영역(143)에, 확대 조작을 행하기 위한 메뉴 화상(30)을 표시시킨다(스텝 S12). 이용자는, 메뉴 화상(30)의 화살표를 슬라이드시킨다(스텝 S13). 태블릿 단말기(100)는, 화살표의 좌표와, 대응 관계 정보(152a)를 비교하여, 화상 확대율을 판정하고, 화상 확대율에 맞추어, 화상(20)을 확대한다(스텝 S14).
도 12는 링크처를 선택하는 경우의 화면 이미지이다. 도 12에 도시한 바와 같이, 태블릿 단말기(100)는, 시선 위치(10a)를 검출하고, 대상 영역(142)을 설정한다(스텝 S20). 태블릿 단말기(100)는, DOM을 이용하여, 대상 영역(142)으로부터, 예를 들면 링크처(21, 22, 23)를 특정한다(스텝 S21).
태블릿 단말기(100)는, 미리 정해진 영역(143)에, 링크처를 선택하기 위한 메뉴 화상(31)을 표시시킨다. 예를 들면, 링크처가 3개인 경우에는, 태블릿 단말기(100)는, 3개의 선택 버튼(31a, 31b, 31c)을 갖는 메뉴 화상(31)을 미리 정해진 영역(143)에 표시시킨다(스텝 S22). 예를 들면, 선택 버튼(31a, 31b, 31c)은, 링크처(21, 22, 23)에 대응한다.
예를 들면, 이용자는, 메뉴 화상(31)의 선택 버튼(31a)을 터치 조작한다(스텝 S23). 그렇게 하면, 태블릿 단말기(100)는, 선택 버튼(31a)에 대응하는 링크처(21)가 선택되었다고 판정하고, 링크처(21)에 링크된 정보를 표시한다(스텝 S24).
도 13은 동화상을 조작하는 경우의 화면 이미지이다. 도 13에 도시한 바와 같이, 태블릿 단말기(100)는, 시선 위치(10a)를 검출하고, 대상 영역(142)을 설정한다(스텝 S30). 태블릿 단말기(100)는, DOM을 이용하여, 대상 영역(142)에 동화상이 존재한다고 판정한다. 또한, 태블릿 단말기(100)는, 동화상의 영역(142a)을 더 특정해도 된다(스텝 S31).
태블릿 단말기(100)는, 미리 정해진 영역(143)에, 동화상을 조작하기 위한 메뉴 화상(32)을 표시시킨다(스텝 S32). 예를 들면, 메뉴 화상(32)에는, 재생 버튼(32a), 정지 버튼(32b), 소리 버튼(32c)이 포함된다.
예를 들면, 이용자는, 재생 버튼(32a)을 터치 조작한다(스텝 S33). 태블릿 단말기(100)는, 재생 버튼(32a)이 터치 조작된 경우에는, 동화상을 재생한다(스텝 S34). 또한, 태블릿 단말기(100)는, 정지 버튼(32b)이 터치 조작된 경우에는, 동화상을 정지시킨다. 태블릿 단말기(100)는, 소리 버튼(32c)이 터치 조작된 경우에는, 동화상의 유음, 무음을 절환한다.
다음으로, 본 실시예 1에 따른 태블릿 단말기(100)의 처리 수순에 대하여 설명한다. 도 14∼도 16은 본 실시예 1에 따른 태블릿 단말기의 처리 수순을 설명하는 플로우차트이다. 여기에서는 설명의 편의상, 크기를 조정하는 조작을 행하는 경우, 링크처를 선택하는 조작을 행하는 경우, 동화상의 조작을 행하는 경우로 나누어 설명을 행한다.
도 14는 크기를 조정하는 조작을 행하는 경우의 플로우차트이다. 도 14에 도시한 처리는, 예를 들면 카메라(110)로부터 화상 데이터를 취득한 것을 계기로 하여 실행된다. 도 14에 도시한 바와 같이, 태블릿 단말기(100)는, 시선 위치를 검출하고(스텝 S101), 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭되었는지의 여부를 판정한다(스텝 S102). 태블릿 단말기(100)는, 시선 위치가 화면 내가 아닌 경우, 또는, 터치 패널(140)이 탭되지 않은 경우에는(스텝 S102, "아니오"), 스텝 S101로 이행한다.
한편, 태블릿 단말기(100)는, 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭된 경우에는(스텝 S102, "예"), 시선 위치를 무게 중심으로 하여, 대상 영역(142)을 설정한다(스텝 S103). 태블릿 단말기(100)는, 대상 영역(142) 내의 HTML 내의 DOM 정보를 해석하고, 대상 영역(142) 내의 화상을 특정한다(스텝 S104).
태블릿 단말기(100)는, 메뉴 화상(30)의 배치 위치를 결정하고(스텝 S105), 메뉴 화상(30)의 위치와 조작의 내용을 대응지은 대응 관계 정보(152a)를 취득한다(스텝 S106). 태블릿 단말기(100)는, 미리 정해진 영역(143)에, 메뉴 화상(30)을 표시한다(스텝 S107).
태블릿 단말기(100)는, 규정 시간 내에 터치 조작을 접수하였는지의 여부를 판정한다(스텝 S108). 태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수하지 않은 경우에는(스텝 S108, "아니오"), 메뉴 화상(30)을 삭제하고(스텝 S109), 스텝 S101로 이행한다.
한편, 태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수한 경우에는(스텝 S108, "예"), 터치 조작과 대응 관계 정보(152a)를 기초로 하여, 화상 확대율을 특정한다(스텝 S110). 태블릿 단말기(100)는, 확대를 실행한다(스텝 S111).
도 15는 링크처를 선택하는 조작을 행하는 경우의 플로우차트이다. 도 15에 도시한 처리는, 예를 들면 카메라(110)로부터 화상 데이터를 취득한 것을 계기로 하여 실행된다. 도 15에 도시한 바와 같이, 태블릿 단말기(100)는, 시선 위치를 검출하고(스텝 S201), 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭되었는지의 여부를 판정한다(스텝 S202). 태블릿 단말기(100)는, 시선 위치가 화면 내가 아닌 경우, 또는, 터치 패널(140)이 탭되지 않은 경우에는(스텝 S202, "아니오"), 스텝 S201로 이행한다.
한편, 태블릿 단말기(100)는, 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭된 경우에는(스텝 S202, "예"), 시선 위치를 무게 중심으로 하여, 대상 영역(142)을 설정한다(스텝 S203). 태블릿 단말기(100)는, 대상 영역(142) 내의 HTML 내의 DOM 정보를 해석하고, 대상 영역(142) 내의 링크의 수 및 좌표를 특정한다(스텝 S204).
태블릿 단말기(100)는, 링크가 존재하지 않는 경우에는(스텝 S205, "아니오"), 스텝 S201로 이행한다. 태블릿 단말기(100)는, 링크가 존재하는 경우에는(스텝 S205, "예"), 선택 버튼의 배치 위치를 결정한다(스텝 S206).
태블릿 단말기(100)는, 선택 버튼의 화상과 링크 좌표를 대응지음으로써, 대응 관계 정보(152b)를 생성한다(스텝 S207). 태블릿 단말기(100)는, 미리 정해진 영역(143)에 메뉴 화상(31)을 표시시킨다(스텝 S208).
태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수하였는지의 여부를 판정한다(스텝 S209). 태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수하지 않은 경우에는(스텝 S209, "아니오"), 스텝 S212로 이행한다.
태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수한 경우에는(스텝 S209, "예"), 대응 관계 정보(152b)를 기초로 하여, 터치된 선택 버튼에 대응하는 링크 좌표를 특정한다(스텝 S210).
태블릿 단말기(100)는, 조작을 실행한다(스텝 S211). 스텝 S211에 있어서, 예를 들면 태블릿 단말기(100)는, 링크 좌표의 링크처를 터치 패널(140)에 표시한다.
태블릿 단말기(100)는, 메뉴 화상을 삭제하고(스텝 S212), 대응 관계 정보(152b)를 초기화하고(스텝 S213), 스텝 S201로 이행한다.
도 16은 동화상의 조작을 행하는 경우의 플로우차트이다. 도 16에 도시한 처리는, 예를 들면 카메라(110)로부터 화상 데이터를 취득한 것을 계기로 하여 실행된다. 도 16에 도시한 바와 같이, 태블릿 단말기(100)는, 시선 위치를 검출하고(스텝 S301), 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭되었는지의 여부를 판정한다(스텝 S302). 태블릿 단말기(100)는, 시선 위치가 화면 내가 아닌 경우, 또는, 터치 패널(140)이 탭되지 않은 경우에는(스텝 S302, "아니오"), 스텝 S301로 이행한다.
한편, 태블릿 단말기(100)는, 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭된 경우에는(스텝 S302, "예"), 시선 위치를 무게 중심으로 하여, 대상 영역(142)을 설정한다(스텝 S303). 태블릿 단말기(100)는, 대상 영역(142) 내의 HTML 내의 DOM 정보를 해석하고, 대상 영역(142) 내의 동화상을 특정한다(스텝 S304).
태블릿 단말기(100)는, 메뉴 화상(32)의 배치 위치를 결정하고(스텝 S305), 동화상에 대응하는 대응 관계 정보(152c)를 취득한다(스텝 S306). 태블릿 단말기(100)는, 미리 정해진 영역(143)에, 메뉴 화상(32)을 표시한다(스텝 S307).
태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수하였는지의 여부를 판정한다(스텝 S308). 태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수하지 않은 경우에는(스텝 S308, "아니오"), 스텝 S311로 이행한다.
태블릿 단말기(100)는, 미리 정해진 시간 내에 터치 조작을 접수한 경우에는(스텝 S308, "예"), 터치된 버튼과 대응 관계 정보(152c)를 기초로 하여, 동화상에 대한 조작을 판정한다(스텝 S309).
태블릿 단말기(100)는, 조작을 실행한다(스텝 S310). 스텝 S310에 있어서, 예를 들면 태블릿 단말기(100)는, 재생 버튼(32a)에 대하여 터치 조작이 행해진 경우에는, 대상 영역(142)의 동화상을 재생한다. 태블릿 단말기(100)는, 정지 버튼(32b)에 대하여 터치 조작이 행해진 경우에는, 대상 영역(142)의 동화상을 정지한다. 태블릿 단말기(100)는, 소리 버튼(32c)에 대하여 터치 조작이 행해진 경우에는, 대상 영역(142)의 동화상의 무음, 유음을 절환한다.
태블릿 단말기(100)는, 메뉴 화상(32)을 삭제하고(스텝 S311), 대응 관계 정보(152c)를 초기화하고(스텝 S312), 스텝 S301로 이행한다.
다음으로, 본 실시예 1에 따른 태블릿 단말기(100)의 효과에 대하여 설명한다. 태블릿 단말기(100)는, 터치 패널(140) 상에서 조작이 행해지는 대상 영역(142)을 특정하고, 대상 영역(142) 내의 터치 조작의 내용을 판정한다. 그리고, 태블릿 단말기(100)는, 터치 조작의 내용에 대응하는 선택지를 포함하는 메뉴 화상을 생성하고, 미리 정해진 영역(143)에 표시시켜, 터치 조작을 접수한다. 미리 정해진 영역(143)은, 태블릿 단말기(100)를 드는 손의 엄지 손가락이 닿는 범위이기 때문에, 이용자가 한손으로 태블릿을 조작하는 경우라도, 터치 패널(140)을 쾌적하게 조작할 수 있다.
그런데, 대상 영역(142)의 화상을 그대로, 미리 정해진 영역(143)에 표시시켜, 이용자에게 터치 조작을 행하게 하는 것도 생각할 수 있지만, 그 경우에는, 터치 조작을 쾌적하게 행할 수 없는 경우가 있다. 예를 들면, 조작 대상의 화상이나 하이퍼 텍스트가 작은 경우에는, 터치 조작을 하기 어려워진다. 또한, 대상 영역(142)의 크기에 대하여 화상이 지나치게 커서 비어져 나온 경우에도, 마찬가지로 터치 조작을 하기 어려워진다. 이에 대하여, 본 실시예 1에 따른 태블릿 단말기(100)는, 대상 영역(142) 내의 터치 조작의 내용을 판정하고, 메뉴 화상을 미리 정해진 영역(143)에 표시시키기 때문에, 화상이나 문자의 크기에 좌우되지 않는 쾌적한 조작성을 실현할 수 있다.
또한, 태블릿 단말기(100)는, 터치 패널(140) 상의 시선 위치를 검출하고, 시선 위치를 포함하는 대상 영역(142)을 특정하고, 대상 영역(142) 내의 터치 조작의 내용을 판정한다. 이 때문에, 이용자가 주목하는 영역의 조작을, 한손이라도 쾌적하게 조작하는 것을 가능하게 한다.
[실시예 2]
다음으로, 본 실시예 2에 따른 태블릿 단말기에 대하여 설명한다. 본 실시예 2에 따른 태블릿 단말기(200)는, 실시예 1의 태블릿 단말기(100)와는 달리, 대상 영역의 화상 또는 문자를 확대하는 것으로 특화한 태블릿 단말기이다.
도 17은 본 실시예 2에 따른 태블릿 단말기의 구성을 도시하는 도면이다. 도 17에 도시한 바와 같이, 태블릿 단말기(200)는, 카메라(210), 광원(220), 통신부(230), 터치 패널(240), 기억부(250), 제어부(260)를 갖는다.
카메라(210), 광원(220), 통신부(230), 터치 패널(240)에 관한 설명은, 실시예 1에 나타낸 카메라(110), 광원(120), 통신부(130), 터치 패널(140)에 관한 설명과 마찬가지이기 때문에, 설명을 생략한다.
기억부(250)는, 버튼 화상 정보(251)를 기억하는 기억 장치이다. 예를 들면, 기억부(250)는, RAM, ROM, 플래시 메모리 등의 반도체 메모리 소자 또는 하드디스크, 광 디스크 등의 기억 장치에 대응한다.
버튼 화상 정보(251)는, 화상을 확대시키기 위한 확대 버튼의 화상 정보를 포함한다.
제어부(260)는, 시선 검출부(261), 터치 판정부(262), 표시 제어부(263)를 갖는다. 예를 들면 제어부(260)는, ASIC나, FPGA 등의 집적 장치에 대응한다. 또한, 제어부(260)는, 예를 들면 CPU나 MPU 등의 전자 회로에 대응한다.
시선 검출부(261)는, 터치 패널(240) 상의 시선 위치를 검출하는 처리부이다. 시선 검출부(261)는, 시선 위치의 정보를 표시 제어부(263)에 출력한다. 시선 검출부(261)가, 시선 위치를 검출하는 처리는, 실시예 1에 나타낸 시선 검출부(161)와 마찬가지이기 때문에 설명을 생략한다.
터치 판정부(262)는, 터치 패널(240)에 대하여 터치 조작이 행해졌는지의 여부를 판정하는 처리부이다. 터치 판정부(262)는, 터치 조작이 행해졌는지의 여부의 판정 결과를 표시 제어부(263)에 출력한다.
표시 제어부(263)는, 시선 위치를 중심으로 하여, 화면의 화상을 확대 표시하는 처리부이다. 또한, 표시 제어부(263)는, 터치 판정부(262)로부터, 터치 조작이 행해졌다는 취지의 정보를 접수한 것을 트리거로 하여, 하기의 처리를 실행한다.
표시 제어부(263)는, 버튼 화상 정보(251)로부터 확대 버튼의 화상을 취득하고, 확대 버튼의 화상을, 미리 정해진 영역(143)에 표시시킨다. 표시 제어부(263)는, 확대 버튼에 대한 터치 조작을 접수한 경우에는, 시선 위치를 중심으로 하여, 터치 패널(240) 상의 화상을 확대한다. 예를 들면, 표시 제어부(263)는, 소정 시간 이내에 있어서의 확대 버튼에 대한 터치 조작의 횟수에 따라서 화상 확대율을 판정하고, 판정한 화상 확대율에 따라서, 화상을 확대해도 된다. 예를 들면, 표시 제어부(263)는, 수학식 1을 기초로 하여, 확대율을 판정한다. 수학식 1의 n은 소정 시간 내에 있어서의 터치 조작 횟수이다.
Figure 112013062448293-pat00001
또한, 표시 제어부(263)는, 확대 버튼을 표시시키고 나서, 소정 시간 이내에 확대 버튼에 대한 터치 조작을 접수하지 않은 경우에는, 확대 버튼을 삭제한다.
다음으로, 본 실시예 2에 따른 태블릿 단말기(200)의 화면 이미지에 대하여 설명한다. 도 18은 본 실시예 2에 따른 태블릿 단말기의 화면 이미지를 도시하는 도면이다. 도 18에 도시한 바와 같이, 태블릿 단말기(200)는, 화상을 화면에 표시하고(스텝 S40), 시선 위치(10a)를 검출한다(스텝 S41).
태블릿 단말기(200)는, 미리 정해진 영역(143)에 확대 버튼(33)을 표시시킨다(스텝 S42). 태블릿 단말기(200)는, 확대 버튼(33)에 대한 터치 조작을 접수한 경우에(스텝 S43), 시선 위치(10a)를 중심으로 하여, 화상을 확대한다(스텝 S44).
다음으로, 본 실시예 2에 따른 태블릿 단말기(200)의 처리 수순에 대하여 설명한다. 도 19는 본 실시예 2에 따른 태블릿 단말기의 처리 수순을 설명하는 플로우차트이다. 도 19에 도시한 처리는, 예를 들면 카메라(210)로부터 화상 데이터를 취득한 것을 계기로 하여 실행된다. 도 19에 도시한 바와 같이, 태블릿 단말기(200)는, 시선 위치를 검출하고(스텝 S401), 시선 위치가 화면 내이고 또한 터치 패널(240)이 탭되었는지의 여부를 판정한다(스텝 S402). 태블릿 단말기(200)는, 시선 위치가 화면 내가 아닌 경우, 또는, 터치 패널(240)이 탭되지 않은 경우에는(스텝 S402, "아니오"), 스텝 S401로 이행한다.
한편, 태블릿 단말기(200)는, 시선 위치가 화면 내이고 또한 터치 패널(240)이 탭된 경우에는(스텝 S402, "예"), 시선 위치를 확대 중심으로 설정한다(스텝 S403). 태블릿 단말기(200)는, 미리 정해진 영역(143)에, 확대 버튼을 표시시킨다(스텝 S404).
태블릿 단말기(200)는, 미리 정해진 시간 이내에 확대 버튼에 대한 터치 조작이 있는지의 여부를 판정한다(스텝 S405). 태블릿 단말기(200)는, 미리 정해진 시간 이내에 확대 버튼에 대한 터치 조작이 없는 경우에는(스텝 S405, "아니오"), 확대 버튼을 삭제하고(스텝 S406), 스텝 S401로 이행한다.
태블릿 단말기(200)는, 미리 정해진 시간 이내에 확대 버튼에 대한 터치 조작이 있었던 경우에는(스텝 S405, "예"), 화면의 화상을 확대하고(스텝 S407), 스텝 S406으로 이행한다.
다음으로, 본 실시예 2에 따른 태블릿 단말기(200)의 효과에 대하여 설명한다. 태블릿 단말기(200)는, 미리 정해진 영역(143)에, 확대 버튼을 표시하고, 확대 버튼에 대한 터치 조작을 접수한 경우에, 시선 위치를 중심으로 하여 화상을 확대시킨다. 미리 정해진 영역(143)은, 태블릿 단말기(200)를 드는 손의 엄지 손가락이 닿는 범위이기 때문에, 이용자가 한손으로 태블릿 단말기(200)를 조작하는 경우라도, 이용자가 원하는 화상의 영역을 쾌적하게 확대시킬 수 있다.
[실시예 3]
상기의 실시예 1, 2에서는, 태블릿 단말기(100, 200)의 처리에 대하여 설명하였지만, 상술한 처리의 내용은 일례이다. 실시예 3에서는, 태블릿 단말기의 그 밖의 처리에 대하여 설명한다. 실시예 3에서는 설명의 편의상, 도 1에 도시한 태블릿 단말기(100)를 이용하여 처리를 설명한다.
링크처를 선택하는 메뉴 화상의 그 밖의 예에 대하여 설명한다. 대상 영역(142)에 포함되는 링크처의 수가 많은 경우에는, 메뉴 화상에 포함되는 선택 버튼의 수가 많아지고, 미리 정해진 영역(143)에 모든 버튼을 표시시키고자 하면, 선택 버튼의 크기가 작아져, 이용자가 선택 버튼을 터치 조작하기 어려워진다. 이 때문에, 태블릿 단말기(100)는, 대상 영역(142)의 링크처의 수가 소정수 이상인 경우에는, 메뉴 화상에 선택 버튼의 일부를 표시시키고, 선택 버튼의 절환 지시를 접수한 경우에, 선택 버튼을 절환하여 표시하도록 해도 된다.
도 20 및 도 21은 그 밖의 메뉴 화상의 일례를 도시하는 도면이다. 도 20에 도시한 바와 같이, 메뉴 화상(34)에는 일부의 선택 버튼을 표시시키고 있다. 이용자가 나머지의 선택 버튼을 선택하는 경우에는, 화살표(34a)를 터치 조작한다. 예를 들면, 표시 제어부(165)는, 화살표(34a)를 하측 방향으로 스와이프를 접수한 경우에는, 다른 선택 버튼을 표시시킨다. 또한, 표시 제어부(165)는, 도 21에 도시한 바와 같이, 메뉴 화상(35)을 표시시켜도 된다. 표시 제어부(165)는, 절환 버튼(35a, 35b)에 대하여 터치 조작을 접수한 경우에는, 다른 버튼을 표시시킨다. 또한, 표시 제어부(165)는, 풀 다운 형식으로 선택 버튼을 표시시켜도 된다. 이와 같은 처리를 표시 제어부(165)가 실행함으로써, 대상 영역(142)에 복수의 링크처가 존재하고 있어도, 이용자는 쾌적하게 조작 버튼을 선택할 수 있다.
다음으로, 태블릿 단말기(100)가 시선 위치를 보정하는 처리에 대하여 설명한다. 예를 들면, 실시예 1에서는, 도 14의 스텝 S102, 도 15의 스텝 S202, 도 16의 스텝 S302에서 나타낸 바와 같이, 시선 위치가 화면 내이고 또한 터치 패널(140)이 탭된 경우에, 시선 위치를 중심 위치로 하여, 대상 영역(142)을 특정하였다. 그러나, 탭 조작에 의해, 태블릿 단말기(140)의 각도가 어긋나게 되어, 시선 위치가 어긋나게 되는 것이 생각된다.
이 때문에, 예를 들면 영역 특정부(162)는, 터치 판정부(164)로부터 이용자가 터치 조작을 행하였는지의 여부의 정보를 취득하고, 터치 조작을 행하는 소정 시간 전의 시선 위치를 이용하여, 대상 영역(142)을 특정해도 된다. 또는, 영역 특정부(162)는, 터치 조작을 행하는 소정 시간 전부터, 터치 조작을 행하기 직전까지의 시선 위치의 평균을 산출하고, 산출한 평균 위치를 무게 중심으로 하여, 대상 영역(142)을 설정해도 된다. 이와 같은 처리를, 영역 특정부(162)가 실행함으로써, 터치 조작에 의한 시선 위치의 어긋남을 수정할 수 있다.
다음으로, 표시 제어부(165)의 그 밖의 처리에 대하여 설명한다. 상기의 실시예 1에서는, 표시 제어부(165)는, 메뉴 화상(30, 31, 32)을 각각 따로따로, 미리 정해진 영역(143)에 표시하는 예를 나타냈지만, 이것에 한정되지 않는다. 표시 제어부(165)는, 대상 영역(142) 내의 터치 조작의 내용에 따라서, 각 메뉴 화상(30, 31, 32)을 복합적으로 표시해도 된다. 예를 들면, 대상 영역(142)에, 복수의 링크처와 동화상이 존재하는 경우에는, 표시 제어부(165)는, 메뉴 화상(31, 32)을, 미리 정해진 영역(143)에 표시한다.
또한, 복수의 링크처가 존재하는 경우에는, 간단히 메뉴 화상(31)을 표시한 것만으로는, 선택 버튼과, 링크처의 대응 관계를 알기 어려운 경우가 있다. 이 때문에, 표시 제어부(165)는, 대상 영역(142)의 선택 항목과, 메뉴 화상의 선택 버튼을 시각적으로 대응지어도 된다. 예를 들면, 표시 제어부(165)는, 각각 대응하는 선택 버튼과, 선택 항목을 동일한 색으로 표시해도 되고, 선 등으로 연결하여 표시시켜도 된다. 또는, 표시 제어부(165)는, 대상 영역(142)의 링크처의 배열 순서에 맞추어, 메뉴 화상(31)의 선택 버튼을 배열하여 표시시켜도 된다. 이와 같은 처리를 표시 제어부(165)가 실행함으로써, 메뉴 화상의 선택 버튼과, 대상 영역(142)의 링크처의 관계가 명확해져, 이용자는, 어느 선택 버튼을 터치 조작하면, 어느 링크처를 선택할 수 있는지를 알기 쉬워진다.
또한, 도 6에 도시한 동화상을 조작하기 위한 메뉴 화상(32)은 일례이다. 대상 영역(142)의 동화상의 종별에 따라서는, 자동적으로 재생이 행해지는 것이 있다. 이 때문에, 표시 제어부(165)는, 자동적으로 재생이 행해지는 동화상에 대해서는, 재생 버튼(32a) 대신에 일시 정지 버튼을 배치해도 된다. 또는, 동화상의 재생 시간을, 원하는 시간으로 점프시키는 조작 버튼을, 메뉴 화상(32)에 표시시켜도 된다.
그런데, 상기의 실시예에서 설명한 각종 처리는, 미리 준비된 프로그램을 퍼스널 컴퓨터나 워크스테이션 등의 컴퓨터에서 실행함으로써 실현할 수 있다. 따라서, 이하에서는, 도 22를 사용하여, 상기의 실시예와 마찬가지의 기능을 갖는 조작 접수 프로그램을 실행하는 컴퓨터의 일례에 대하여 설명한다.
도 22는 실시예에 따른 조작 접수 프로그램을 실행하는 컴퓨터의 일례에 대하여 설명하기 위한 도면이다. 도 22에 도시한 바와 같이, 컴퓨터(300)는, 조작부(301)와, 스피커(302)와, 카메라(303)와, 디스플레이(304)와, 통신부(305)를 갖는다. 또한, 이 컴퓨터(300)는, CPU(306)와, ROM(307)과, RAM(308)과, 하드디스크 장치(309)를 갖는다. 이들 참조 부호 301∼309의 각 부는 버스(310)를 통하여 접속된다.
하드디스크 장치(309)에는, 도 22에 도시한 바와 같이, 영역 특정 프로그램(309a), 조작 판정 프로그램(309b), 표시 제어 프로그램(309c)이 기억된다.
그리고, CPU(306)가, 영역 특정 프로그램(309a), 조작 판정 프로그램(309b), 표시 제어 프로그램(309c)을 읽어내어 RAM(308)에 전개한다. 영역 특정 프로그램(309a)은, 영역 특정 프로세스(308a)로서 기능한다. 조작 판정 프로그램(309b)은, 조작 판정 프로세스(308b)로서 기능한다. 표시 제어 프로그램(309c)은, 표시 제어 프로세스(308c)로서 기능한다.
예를 들면, 영역 특정 프로세스(308a)는, 도 1에 도시한 시선 검출부(161), 영역 특정부(162) 등에 대응하는 처리를 행한다. 조작 판정 프로세스(308b)는, 도 1에 도시한 조작 판정부(163) 등에 대응하는 처리를 행한다. 표시 제어 프로세스(308c)는, 터치 판정부(164), 표시 제어부(165) 등에 대응하는 처리를 행한다.
또한, 상기의 각 프로그램(309a∼309c)에 대해서는, 반드시 처음부터 하드 디스크 장치(309) 등에 기억시켜 둘 필요는 없다. 예를 들면, 컴퓨터(300)에 삽입되는 플렉시블 디스크, 소위 FD, CD-ROM, DVD 디스크, 광자기 디스크, IC 카드 등의 「가반용의 물리 매체」에 각 프로그램을 기억시킨다. 그리고, 컴퓨터(300)가 이들 가반용의 물리 매체로부터 각 프로그램을 취득하여 실행하도록 해도 된다. 또한, 공중 회선, 인터넷, LAN, WAN 등을 통하여 컴퓨터(300)에 접속되는 다른 컴퓨터 또는 서버 장치 등에 각 프로그램을 기억시켜 두고, 컴퓨터(300)가 이들로부터 각 프로그램을 취득하여 실행하도록 해도 된다.
이상의 각 실시예를 포함하는 실시 형태에 관하여, 이하의 부기를 더 개시한다.
(부기 1)
터치 패널 상에서 터치 조작이 행해지는 영역을 특정하는 영역 특정부와,
상기 영역 특정부에 의해 특정된 영역 내의 터치 조작의 내용을 판정하는 조작 판정부와,
상기 조작 판정부에 의해 판정된 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널의 소정 영역에 표시하는 표시 제어부를 갖는 것을 특징으로 하는 태블릿 단말기.
(부기 2)
상기 터치 패널 상의 시선 위치를 검출하는 시선 검출부를 더 갖고,
상기 영역 특정부는, 상기 시선 위치를 포함하는 영역을 특정하는 것을 특징으로 하는 부기 1에 기재된 태블릿 단말기.
(부기 3)
상기 터치 패널 상에서 터치 조작이 행해졌는지의 여부를 판정하는 터치 판정부를 더 갖고,
상기 영역 특정부는, 상기 터치 패널 상에서 터치 조작이 행해진 경우에, 상기 시선 위치를 포함하는 영역의 위치를 보정하는 것을 특징으로 하는 부기 2에 기재된 태블릿 단말기.
(부기 4)
상기 표시 제어부는, 터치 조작의 내용에 대응하는 선택지의 수가 소정수 이상인 경우에는, 복수의 선택지 중, 일부의 선택지를 소정 영역에 표시하는 것을 특징으로 하는 부기 1, 2 또는 3에 기재된 태블릿 단말기.
(부기 5)
상기 표시 제어부는, 상기 영역 특정부에 의해 특정된 영역 내의 터치 조작 대상과, 상기 선택지를 시각적으로 대응지어 상기 터치 패널의 소정 영역에 표시하는 것을 특징으로 하는 부기 1 내지 4 중 어느 하나에 기재된 태블릿 단말기.
(부기 6)
컴퓨터가 실행하는 조작 접수 방법으로서,
터치 패널 상에서 터치 조작이 행해지는 영역을 특정하고,
특정한 영역 내의 터치 조작의 내용을 판정하고,
판정한 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널의 소정 영역에 표시하는 각 처리를 실행하는 조작 접수 방법.
(부기 7)
상기 터치 패널 상의 시선 위치를 검출하는 처리를 더 실행하고,
상기 영역을 특정하는 처리는, 상기 시선 위치를 포함하는 영역을 특정하는 것을 특징으로 하는 부기 6에 기재된 조작 접수 방법.
(부기 8)
상기 터치 패널 상에서 터치 조작이 행해졌는지의 여부를 판정하는 처리를 더 실행하고,
상기 영역을 특정하는 처리는, 상기 터치 패널 상에서 터치 조작이 행해진 경우에, 상기 시선 위치를 포함하는 영역의 위치를 보정하는 것을 특징으로 하는 부기 7에 기재된 조작 접수 방법.
(부기 9)
상기 표시하는 처리는, 터치 조작의 내용에 대응하는 선택지의 수가 소정수 이상인 경우에는, 복수의 선택지 중, 일부의 선택지를 소정 영역에 표시하는 것을 특징으로 하는 부기 6, 7 또는 8에 기재된 조작 접수 방법.
(부기 10)
상기 표시하는 처리는, 특정된 영역 내의 터치 조작 대상과, 상기 선택지를 시각적으로 대응지어 상기 터치 패널의 소정 영역에 표시하는 것을 특징으로 하는 부기 6 내지 9 중 어느 하나에 기재된 조작 접수 방법.
(부기 11)
컴퓨터에,
터치 패널 상에서 터치 조작이 행해지는 영역을 특정하고,
특정한 영역 내의 터치 조작의 내용을 판정하고,
판정한 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널의 소정 영역에 표시하는 각 처리를 실행시키는 것을 특징으로 하는 조작 접수 프로그램.
(부기 12)
상기 터치 패널 상의 시선 위치를 검출하는 처리를 더 실행하고,
상기 영역을 특정하는 처리는, 상기 시선 위치를 포함하는 영역을 특정하는 것을 특징으로 하는 부기 11에 기재된 조작 접수 프로그램.
(부기 13)
상기 터치 패널 상에서 터치 조작이 행해졌는지의 여부를 판정하는 처리를 더 실행하고,
상기 영역을 특정하는 처리는, 상기 터치 패널 상에서 터치 조작이 행해진 경우에, 상기 시선 위치를 포함하는 영역의 위치를 보정하는 것을 특징으로 하는 부기 12에 기재된 조작 접수 프로그램.
(부기 14)
상기 표시하는 처리는, 터치 조작의 내용에 대응하는 선택지의 수가 소정수 이상인 경우에는, 복수의 선택지 중, 일부의 선택지를 소정 영역에 표시하는 것을 특징으로 하는 부기 11, 12 또는 13에 기재된 조작 접수 프로그램.
(부기 15)
상기 표시하는 처리는, 특정된 영역 내의 터치 조작 대상과, 상기 선택지를 시각적으로 대응지어 상기 터치 패널의 소정 영역에 표시하는 것을 특징으로 하는 부기 11 내지 14 중 어느 하나에 기재된 조작 접수 프로그램.
(부기 16)
메모리와,
상기 메모리에 접속된 프로세서를 구비하고,
상기 프로세서는,
터치 패널 상에서 터치 조작이 행해지는 영역을 특정하고,
특정한 영역 내의 터치 조작의 내용을 판정하고,
판정한 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널의 소정 영역에 표시하는 각 처리를 실행하는 것을 특징으로 하는 태블릿 단말기.
(부기 17)
터치 패널 상에서 터치 조작이 행해지는 영역을 특정하고,
특정한 영역 내의 터치 조작의 내용을 판정하고,
판정한 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널의 소정 영역에 표시하는 각 처리를 컴퓨터에 실행시키는 조작 접수 프로그램을 기억하는 컴퓨터가 판독 가능한 기록 매체.
100, 200 : 태블릿 단말기
110, 210 : 카메라
120, 220 : 광원
130, 230 : 통신부
140, 240 : 터치 패널
150, 250 : 기억부
160, 260 : 제어부

Claims (8)

  1. 터치 패널 상에서 터치 조작이 행해졌는지의 여부를 판정하는 터치 판정부와,
    상기 터치 패널 상의 시선 위치를 검출하는 시선 검출부와,
    상기 터치 패널 상에서 터치 조작이 행해지는 상기 시선 위치를 포함하는 영역을 특정하고, 상기 터치 패널 상에서 터치 조작이 행해진 경우에, 상기 시선 위치를 포함하는 영역의 위치를 보정하는 영역 특정부와,
    상기 영역 특정부에 의해 특정된 영역 내의 터치 조작의 내용을 판정하는 조작 판정부와,
    상기 조작 판정부에 의해 판정된 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널 상의 영역으로서, 또한, 이용자가 태블릿 단말을 소지한 상태에서 손가락이 닿는 영역인 소정 영역에 표시하는 표시 제어부
    를 갖는 것을 특징으로 하는 태블릿 단말기.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 표시 제어부는, 터치 조작의 내용에 대응하는 선택지의 수가 소정수 이상인 경우에는, 복수의 선택지 중, 일부의 선택지를 소정 영역에 표시하는 것을 특징으로 하는 태블릿 단말기.
  5. 제4항에 있어서,
    상기 표시 제어부는, 상기 영역 특정부에 의해 특정된 영역 내의 터치 조작 대상과, 상기 선택지를 시각적으로 대응지어 상기 터치 패널의 소정 영역에 표시하는 것을 특징으로 하는 태블릿 단말기.
  6. 제1항에 있어서,
    상기 소정 영역은, 상기 터치 패널 상의 영역으로서, 또한, 이용자가 태블릿 단말을 소지한 상태에서 엄지손가락이 닿는 영역인 것을 특징으로 하는 태블릿 단말기.
  7. 컴퓨터가 실행하는 조작 접수 방법으로서,
    터치 패널 상의 시선 위치를 검출하고,
    상기 터치 패널 상에서 터치 조작이 행해지는 상기 시선 위치를 포함하는 영역을 특정하고, 상기 터치 패널 상에서 터치 조작이 행해진 경우에, 상기 터치 패널 상의 시선 위치를 포함하는 영역의 위치를 보정하고,
    특정한 영역 내의 터치 조작의 내용을 판정하고,
    판정한 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널 상의 영역으로서, 또한, 이용자가 태블릿 단말을 소지한 상태에서 손가락이 닿는 영역인 소정 영역에 표시하는
    각 처리를 실행하는 조작 접수 방법.
  8. 컴퓨터에,
    터치 패널 상의 시선 위치를 검출하고,
    상기 터치 패널 상에서 터치 조작이 행해지는 상기 시선 위치를 포함하는 영역을 특정하고, 상기 터치 패널 상에서 터치 조작이 행해진 경우에, 상기 터치 패널 상의 시선 위치를 포함하는 영역의 위치를 보정하고,
    특정한 영역 내의 터치 조작의 내용을 판정하고,
    판정한 터치 조작의 내용에 대응하는 선택지를 생성하고, 생성한 선택지를 상기 터치 패널 상의 영역으로서, 또한, 이용자가 태블릿 단말을 소지한 상태에서 손가락이 닿는 영역인 소정 영역에 표시하는
    각 처리를 실행시키는 것을 특징으로 하는 조작 접수 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020130081533A 2012-07-13 2013-07-11 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체 KR101500843B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012157568A JP6131540B2 (ja) 2012-07-13 2012-07-13 タブレット端末、操作受付方法および操作受付プログラム
JPJP-P-2012-157568 2012-07-13

Publications (2)

Publication Number Publication Date
KR20140009054A KR20140009054A (ko) 2014-01-22
KR101500843B1 true KR101500843B1 (ko) 2015-03-09

Family

ID=48703172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130081533A KR101500843B1 (ko) 2012-07-13 2013-07-11 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체

Country Status (4)

Country Link
US (1) US9952690B2 (ko)
EP (1) EP2685366A3 (ko)
JP (1) JP6131540B2 (ko)
KR (1) KR101500843B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
JP6287486B2 (ja) * 2014-03-31 2018-03-07 富士通株式会社 情報処理装置、方法及びプログラム
US9203951B1 (en) 2014-07-03 2015-12-01 International Business Machines Corporation Mobile telephone adapted for use with one hand
JP6339887B2 (ja) * 2014-07-24 2018-06-06 シャープ株式会社 画像表示装置
JP6492910B2 (ja) * 2015-04-13 2019-04-03 ブラザー工業株式会社 携帯端末
NZ740299A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation using eye pose measurement
JP2017062598A (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017049603A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Extended user touch input
CN114140867A (zh) 2015-10-16 2022-03-04 奇跃公司 使用眼睛特征的眼睛姿态识别
US20170309070A1 (en) * 2016-04-20 2017-10-26 Sangiovanni John System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments
JP6612799B2 (ja) * 2017-03-06 2019-11-27 京セラ株式会社 電子機器、制御方法、及び制御プログラム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US11487425B2 (en) * 2019-01-17 2022-11-01 International Business Machines Corporation Single-hand wide-screen smart device management
CN114902104B (zh) * 2019-12-27 2024-06-25 佳能株式会社 电子设备、电子设备的控制方法和计算机可读存储介质
JP6827132B2 (ja) * 2020-01-14 2021-02-10 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体
CN111309146B (zh) * 2020-02-10 2022-03-29 Oppo广东移动通信有限公司 图像显示方法及相关产品
JP7014874B1 (ja) 2020-09-24 2022-02-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
CN113885735B (zh) * 2021-11-03 2023-03-21 业成科技（成都）有限公司 触控显示设备及其控制方法、电子设备
EP4343526A1 (en) 2021-12-08 2024-03-27 Samsung Electronics Co., Ltd. Electronic device supporting one-handed operation mode, and operating method for electronic device
US20230359330A1 (en) * 2022-05-03 2023-11-09 Mimecast Services Ltd. Systems and methods for analysis of visually-selected information resources

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040212617A1 (en) * 2003-01-08 2004-10-28 George Fitzmaurice User interface having a placement and layout suitable for pen-based computers
KR20070036077A (ko) * 2004-06-29 2007-04-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽 사용자 인터페이스의 다중층 디스플레이
KR20120024299A (ko) * 2010-09-06 2012-03-14 엘지전자 주식회사 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089905A (ja) * 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
GB0201074D0 (en) * 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
FI116425B (fi) * 2002-01-18 2005-11-15 Nokia Corp Menetelmä ja laite laajan näppäimistön integroimiseksi pieneen laitteeseen
JP4093823B2 (ja) * 2002-08-20 2008-06-04 富士通株式会社 視野移動操作方法
JP2004110698A (ja) * 2002-09-20 2004-04-08 Sharp Corp インターネット端末装置
JP4880304B2 (ja) * 2005-12-28 2012-02-22 シャープ株式会社 情報処理装置および表示方法
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20080163053A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method to provide menu, using menu set and multimedia device using the same
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
JP2009169820A (ja) * 2008-01-18 2009-07-30 Panasonic Corp 携帯端末
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
US20100287468A1 (en) 2009-05-05 2010-11-11 Emblaze Mobile Ltd Apparatus and method for displaying menu items
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
JP5536627B2 (ja) * 2010-12-21 2014-07-02 パナソニック株式会社 昇降収納装置
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US20130219340A1 (en) * 2012-02-21 2013-08-22 Sap Ag Navigation on a Portable Electronic Device
JP5942586B2 (ja) 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
JP2013254406A (ja) * 2012-06-08 2013-12-19 Ntt Docomo Inc 表示装置、表示方法及びプログラム。

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040212617A1 (en) * 2003-01-08 2004-10-28 George Fitzmaurice User interface having a placement and layout suitable for pen-based computers
KR20070036077A (ko) * 2004-06-29 2007-04-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽 사용자 인터페이스의 다중층 디스플레이
KR20120024299A (ko) * 2010-09-06 2012-03-14 엘지전자 주식회사 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기

Also Published As

Publication number Publication date
EP2685366A2 (en) 2014-01-15
US9952690B2 (en) 2018-04-24
EP2685366A3 (en) 2016-04-20
JP6131540B2 (ja) 2017-05-24
US20140015778A1 (en) 2014-01-16
JP2014021596A (ja) 2014-02-03
KR20140009054A (ko) 2014-01-22

Similar Documents

Publication Publication Date Title
KR101500843B1 (ko) 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체
KR101780138B1 (ko) 입력 장치 및 기억 매체
CN108900767B (zh) 相机装置及其控制方法
JP5942586B2 (ja) タブレット端末および操作受付プログラム
WO2014054211A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
CN111182205B (zh) 拍摄方法、电子设备及介质
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
US20120293406A1 (en) Method and apparatus for processing input in mobile terminal
US10666853B2 (en) Virtual makeup device, and virtual makeup method
US9706108B2 (en) Information processing apparatus and associated methodology for determining imaging modes
US9535604B2 (en) Display device, method for controlling display, and recording medium
KR101797260B1 (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
KR101503017B1 (ko) 모션 검출 방법 및 장치
JP6128919B2 (ja) 表示制御装置及びその制御方法
JP2007310815A (ja) 携帯端末装置
JP7080711B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
KR20130116013A (ko) 카메라 장치 및 그의 제어 방법
JP5229928B1 (ja) 注視位置特定装置、および注視位置特定プログラム
US11526208B2 (en) Electronic device and method for controlling electronic device
JP7331120B2 (ja) 連携表示システム
US20210011367A1 (en) Method for controlling projection content and electronic device
JP2021060790A (ja) 電子機器及びその制御方法
JP6643948B2 (ja) 表示制御装置およびその制御方法
JP6079418B2 (ja) 入力装置および入力プログラム
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 6