KR101388119B1 - 정보 처리 장치, 정보 처리 장치의 제어 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 장치의 제어 방법, 및 프로그램 Download PDF

Info

Publication number
KR101388119B1
KR101388119B1 KR1020127006019A KR20127006019A KR101388119B1 KR 101388119 B1 KR101388119 B1 KR 101388119B1 KR 1020127006019 A KR1020127006019 A KR 1020127006019A KR 20127006019 A KR20127006019 A KR 20127006019A KR 101388119 B1 KR101388119 B1 KR 101388119B1
Authority
KR
South Korea
Prior art keywords
change
image
area
region
unit
Prior art date
Application number
KR1020127006019A
Other languages
English (en)
Other versions
KR20120054053A (ko
Inventor
아키타케 미츠하시
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20120054053A publication Critical patent/KR20120054053A/ko
Application granted granted Critical
Publication of KR101388119B1 publication Critical patent/KR101388119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 정보 처리 장치는, 소정의 애플리케이션을 실행하는 것에 의해 전체 화상을 생성하고; 유저가 정보를 입력하기 위한 조작을 수행한 조작 시각을 취득하고; 상기 전체 화상이 변화한 경우, 상기 전체 화상 중 변화가 발생한 영역을 포함하는 직사각형 영역을 변화 영역으로서 취득하고 또한 상기 전체 화상이 변화한 변화 시각을 취득하고; 상기 조작 시각과 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 변화 영역을, 상기 유저가 정보를 입력하고 있는 조작 영역으로서 취득하고; 또한 상기 전체 화상 중 정보 처리 장치의 화면에 표시되는 직사각형 영역을 참조 영역으로서 취득하고 상기 조작 영역을 상기 참조 영역과 합성하는 것에 의해 조작 영역 첨부 화상을 생성한다.

Description

정보 처리 장치, 정보 처리 장치의 제어 방법, 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING APPARATUS CONTROL METHOD AND PROGRAM}
본 발명은 정보 처리 장치에의 정보 입력을 용이하게 하는 기술에 관한 것이다.
유저가 단말에 문자 등을 입력할 때에, 단말의 화면이 작은 경우 및 화면에 표시되는 영역과 문자 등을 입력하기 위한 영역 간에 거리가 존재하는 경우에는 사용자가 그 문자 등을 입력하는 것이 곤란하다.
구체적으로는, 단말이 화상들의 사이즈를 감소시키는 것에 의해 모든 화상들을 표시하는 경우, 그 화상들에 포함되는 문자 등도 또한 축소되므로, 유저는 입력된 문자 등을 읽기가 어렵고 또한 입력 조작을 수행하기가 어렵다.
문자를 읽기 쉽게 하기 위해, 특허 문헌 1에 기재된 단말의 화면은 2개의 영역으로 분할되어 있다. 전체 문장은 일 영역에 표시되고, 그 문장의 일부는 다른 영역에 확대되어 표시된다.
입력을 용이하게 하기 위해, 표시되어야 할 화상의 사이즈가 단말의 화면에 대해 너무 큰 경우, 특허 문헌 2에 기재된 단말은 화면에 맞도록 그 화상의 사이즈를 변경하여 그 화상을 표시하고 있다.
일본 공개특허공보 제2004-349965호 일본 공개특허공보 제2006-276698호
그러나, 특허 문헌 1 또는 2에 기재된 단말(정보 처리 장치)에서도, 가끔 유저는 여전히 단말을 조작하기 어려운 때가 있다.
특허 문헌 1에 기재된 단말에서는, 유저가 전체 문장을 표시하는 영역에서 문자를 입력하는 경우, 문자가 축소되어 표시되기 때문에 문자를 입력하기가 곤란하다. 확대된 텍스트를 표시하도록 설계된 영역 내에 문자를 입력하는 경우에는, 입력 위치까지 화상을 스크롤할 필요가 있기 때문에 사용자가 수행해야하는 조작이 번잡하다.
특허 문헌 2에 기재된 단말에서는, 화상의 리사이징(resizing)에 의해 문장의 레이아웃이 깨질 수도 있다. 예를 들면, 리사이징 이전에 행(line)의 끝에 배열된 개행(line feed）위치가, 리사이징 이후에는 행의 가운데에 있게 될 수도 있다. 그러므로, 유저는 실제의 것과 다른 화상을 보면서 입력을 수행하게 되며, 가끔은 입력을 수행하기가 곤란한 때가 있다.
본 발명의 목적은 정보 처리 장치에서의 입력 조작을 용이하게 하는 기술을 제공하는 것이다.
상기 목적을 달성하기 위해서, 본 발명의 정보 처리 장치는,
소정의 애플리케이션을 실행하는 것에 의해 전체 화상을 생성하는 전체 화상 생성부;
유저가 정보를 입력하기 위한 조작을 수행한 조작 시각을 취득하는 조작 시각 취득부;
상기 전체 화상 생성부에 의해 생성된 상기 전체 화상이 변화한 경우, 상기 전체 화상 중 변화가 발생한 영역을 포함하는 직사각형 영역을 변화 영역으로서 취득하고 또한 상기 전체 화상이 변화한 변화 시각을 취득하는 화상 변화 취득부;
상기 조작 시각 취득부에 의해 취득된 상기 조작 시각과 상기 화상 변화 취득부에 의해 취득된 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 화상 변화 취득부에 의해 취득된 상기 변화 영역을, 상기 유저가 정보를 입력하고 있는 조작 영역으로서 취득하는 조작 영역 취득부; 및
상기 전체 화상 생성부에 의해 생성된 상기 전체 화상 중 정보 처리 장치의 화면에 표시되는 직사각형 영역을 참조 영역으로서 취득하고 또한 상기 조작 영역 취득부에 의해 취득된 상기 조작 영역을 상기 참조 영역과 합성하는 것에 의해 조작 영역 첨부 화상을 생성하는 조작 영역 첨부 화상 생성부를 포함한다.
본 발명의 정보 처리 장치 제어 방법은,
전체 화상 생성부가, 소정의 애플리케이션을 실행하는 것에 의해 전체 화상을 생성하고;
조작 시각 취득부가, 유저가 정보를 입력하기 위한 조작을 수행하는 조작 시각을 취득하고;
화상 변화 취득부가, 상기 전체 화상 생성부에 의해 생성된 상기 전체 화상이 변화한 경우, 상기 전체 화상 중 변화가 발생한 영역을 포함하는 직사각형 영역을 변화 영역으로서 취득하고 또한 상기 전체 화상이 변화한 변화 시각을 취득하고;
조작 영역 취득부가, 상기 조작 시각 취득부에 의해 취득된 상기 조작 시각과 상기 화상 변화 취득부에 의해 취득된 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 화상 변화 취득부에 의해 취득된 상기 변화 영역을, 상기 유저가 정보를 입력하고 있는 조작 영역으로서 취득하고; 또한
조작 영역 첨부 화상 생성부가, 상기 전체 화상 생성부에 의해 생성된 상기 전체 화상 중 정보 처리 장치의 화면에 표시되는 직사각형 영역을 참조 영역으로서 취득하고 또한 상기 조작 영역 취득부에 의해 취득된 상기 조작 영역을 상기 참조 영역과 합성하는 것에 의해 조작 영역 첨부 화상을 생성하는 것을 포함한다.
본 발명의 프로그램은,
컴퓨터에,
소정의 애플리케이션을 실행하는 것에 의해 전체 화상을 생성하는 전체 화상 생성 절차;
유저가 정보를 입력하기 위한 조작을 수행한 조작 시각을 취득하는 조작 시각 취득 절차;
상기 화상 생성 절차에 의해 생성된 상기 전체 화상이 변화한 경우, 상기 전체 화상 중 변화가 발생한 영역을 포함하는 직사각형 영역을 변화 영역으로서 취득하고 또한 상기 전체 화상이 변화한 변화 시각을 취득하는 화상 변화 취득 절차;
상기 조작 시각 취득 절차에 의해 취득된 상기 조작 시각과 상기 화상 변화 취득 절차에 의해 취득된 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 화상 변화 취득 절차에 의해 취득된 상기 변화 영역을, 상기 유저가 정보를 입력하고 있는 조작 영역으로서 취득하는 조작 영역 취득 절차; 및
상기 전체 화상 생성 절차에 의해 생성된 상기 전체 화상 중 정보 처리 장치의 화면에 표시되는 직사각형 영역을 참조 영역으로서 취득하고 또한 상기 조작 영역 취득 절차에 의해 취득된 상기 조작 영역을 상기 참조 영역과 합성하는 것에 의해 조작 영역 첨부 화상을 생성하는 조작 영역 첨부 화상 생성 절차를 실행시킨다.
본 발명에 따르면, 조작 시각과 화면이 변화한 변화 시각 간의 차이가 소정치 이하인 경우, 변화한 영역을 조작 영역으로서 간주하고, 그 조작 영역과 참조 영역을 합성하는 것에 의해 화상이 생성된다. 그러므로, 유저는 참조 영역을 참조하면서 조작 영역에 정보를 입력할 수 있다. 이에 의해, 입력 조작이 용이해진다.
도 1은 제 1 실시형태의 단말의 일 구성예를 나타내는 블록도.
도 2는 제 1 실시형태의 조작 정보의 내용을 나타내는 표.
도 3은 제 1 실시형태의 화상 변화 검출부의 일 구성예를 나타내는 블록도.
도 4는 제 1 실시형태의 화상 변화 정보의 내용을 나타내는 표.
도 5는 제 1 실시형태의 조작 영역 검출부의 일 구성예를 나타내는 블록도.
도 6은 제 1 실시형태의 표시 화상 생성부의 일 구성예를 나타내는 블록도.
도 7은 제 1 실시형태의 단말의 동작을 나타내는 플로차트.
도 8은 제 1 실시형태의 조작 영역 검출 처리를 나타내는 플로차트.
도 9는 제 1 실시형태의 조작 영역 첨부 화상 생성 처리를 나타내는 플로차트.
도 10은 제 1 실시형태의 단말의 동작의 일례를 나타내는 순서도.
도 11a는 제 1 실시형태의 전체 화상의 일례.
도 11b는 제 1 실시형태의 참조 영역의 일례.
도 12a는 제 1 실시형태의 전체 화상의 일례.
도 12b는 제 1 실시형태의 조작 영역의 일례.
도 12c는 제 1 실시형태의 조작 영역 첨부 화상의 일례.
도 13a는 제 1 실시형태의 전체 화상의 일례.
도 13b는 제 1 실시형태의 조작 영역의 일례.
도 13c는 제 1 실시형태의 현재 조작 영역의 일례.
도 14는 제 2 실시형태의 단말 및 컴퓨터의 일 구성예를 나타내는 블록도.
도 15는 제 3 실시형태의 단말 및 컴퓨터의 일 구성예를 나타내는 블록도.
본 발명을 실시하기 위한 실시형태들을 도면을 참조하여 상세히 설명하도록 한다.
도 1은 일 실시형태의 단말(1)의 구성을 나타내는 블록도이다. 단말(1)은 퍼스널 컴퓨터와 같은 정보 처리 장치이다. 도 1에 나타낸 바와 같이, 단말(1)은 조작부(10), 키 조작 검출부(20), 화상 변화 검출부(30), 조작 영역 검출부(40), 표시 화상 생성부(50) 및 표시부(60)를 가진다.
조작부(10)는 키보드 및 마우스와 같은 입력 디바이스이다.
조작부(10)는 조작부(10)의 동작을 검출하고, 입력 정보를 생성하며, 또한 그 입력 정보를 키 조작 검출부(20) 및 표시 화상 생성부(50)에 입력한다. 입력 정보는 유저가 조작부(10)를 어떻게 조작했는지를 나타내는 정보이며, 유저가 조작한 키의 종별에 관한 정보를 포함한다.
키 조작 검출부(20)는 조작부(10)로부터 입력 정보를 수신한 경우, 단말(1) 내에 설치된 시계(미도시)로부터 시각을 취득한다. 그 다음, 키 조작 검출부(20)는 취득한 시각을 조작 시각으로서 기록하고, 또한 수신한 입력 정보로부터 키의 종별을 판독해 낸다.
키 조작 검출부(20)는 유저가 조작한 키의 종별과 그 조작 시간을 나타내는 조작 정보를 생성하고, 그 조작 정보를 조작 영역 검출부(40)에 출력한다.
도 2는 조작 정보의 내용을 나타내는 표이다. 도 2를 참조하면, “조작 키 종별” 및 “조작 시각”이 서로 연관된 상태로 조작 정보에 저장된다. “조작 키 종별”은 유저가 조작한 키의 종별을 나타낸다. 도 2에는, 조작 키 종별의 예로서 “숫자 키”와 “이스케이프 키(ESC 키)”가 도시되어 있다. “조작 시각”은, “조작 키 종별”에 대응하는 키의 조작을 수행한 시각을 나타낸다.
도 3은 화상 변화 검출부(30)의 일 구성예를 나타내는 블록도이다. 도 3을 참조하면, 화상 변화 검출부(30)는 화상 변화 정보 취득부(301) 및 전체 화상 기억부(302)를 가진다.
화상 변화 정보 취득부(301)는 표시 화상 생성부(50)로부터 주기적으로 전체 화상 정보를 취득한다. 화상 변화 정보 취득부(301)는 취득한 전체 화상 정보를 전체 화상 기억부(302)에 저장한다.
여기서, 전체 화상 정보는 단말(1)의 화면에 화상을 표시하기 위한 애플리케이션을 실행하는 것에 의해 생성된, 가공되지 않은 전체 화상을 나타내는 화상 정보이다. 이 애플리케이션은, 예를 들면, 텍스트 데이터를 생성 및 편집하기 위한 애플리케이션이다. 애플리케이션의 실행에 의해 생성된 화상의 해상도가 단말(1)에 의해 표시 가능한 화상의 해상도보다 높은 경우, 단말(1)은 생성된 전체 화상을 있는 그대로 표시할 수 없다. 그러므로, 단말(1)은 그 화상의 일부를 잘라내서 표시하거나 축소된 화상을 표시한다. 화상 변화 정보 취득부(301)에 의해 취득되는 전체 화상 정보는, 잘라내기 및 축소와 같은 가공을 수행하기 전의 전체 화상을 나타내는 화상 정보이다.
화상 변화 정보 취득부(301)는 2회째 이후에 전체 화상 정보를 취득했을 때, 이전회에 취득한 전체 화상 정보를 전체 화상 기억부(302)로부터 판독해 내고 그 것을 금회에 취득한 전체 화상 정보와 비교한다.
화상 변화 정보 취득부(301)는, 전체 화상 정보에 의해 나타내지는 전체 화상에서 변화가 발생한 영역을 포함하는 직사각형 영역(변화 영역)을 검출한다.
그 다음, 화상 변화 정보 취득부(301)는, 검출한 변화 영역을 특정하기 위한 정보와 검출 시각을 나타내는 정보를 포함하는 화상 변화 정보를 생성한다.
화상 변화 정보 취득부(301)는 전체 화상을 비교한 후, 전체 화상 기억부(302)에 저장된 전체 화상 정보를 금회에 취득한 전체 화상 정보로 갱신한다.
도 4는 화상 변화 정보의 내용을 나타내는 표이다. 도 4를 참조하면, “변화 영역 좌표” 및 “변화 시각”은 서로 연관된 상태로 화상 변화 정보에 저장된다.
“변화 영역 좌표”는 변화 영역의 정점들 가운데서 대향하는 2개의 정점(예를 들면, 좌상(左上)의 정점 및 우하(右下)의 정점)의 좌표이다. “변화 시각”은 “변화 영역 좌표”에 대응하는 변화 영역이 검출된 시각을 나타낸다.
도 5는 조작 영역 검출부(40)의 일 구성예를 나타내는 블록도이다. 도 5를 참조하면, 조작 영역 검출부(40)는 조작 영역 판단부(401) 및 현재 조작 영역 기억부(402)를 가진다.
조작 영역 판단부(401)는 키 조작 검출부(20)로부터 조작 정보를 취득하고, 화상 변화 검출부(30)로부터 화상 변화 정보를 취득한다. 조작 영역 판단부(401)는, 조작 정보에 의해 나타내지는 키들 중에서 특정 키에 대응하는 조작 시각과 화상 변화 정보에 의해 나타내지는 변화 시각을 비교한다.
변화 시각과 조작 시각을 비교하는 대상 키(target key)는, 문자를 입력하는데 사용되는 키인 것으로 가정한다. 조작 정보에서 나타내지는 키가, 기능 키(function key)와 이스케이프 키와 같은, 문자를 입력하는데 일반적으로 사용되지 않는 키인 경우, 그 키의 조작 시각은 변화 시각과의 비교로부터 제외된다.
조작 시각과 변화 시각 간의 차이가 소정의 임계치 이하인 경우, 조작 영역 판단부(401)는, 화상 변화 정보에 의해 나타내지는 변화 영역은 조작 영역이라고 판단한다.
여기서, 조작 영역은 전체 화상을 취득하는 화상 변화 검출부(30)의 주기 내에서 유저가 조작을 수행한 결과 변화가 생긴 영역이다. 예를 들면, 유저가 키 조작을 수행하여서 입력된 문자를 표시하는 것으로 인해 변화한 영역이 변화 영역이다. 유저가 키 조작을 수행하지 않는 경우에도 화상은 변화할 수 있으며, 예를 들면, 스크린 세이버(screen saver)가 동작하는 때에도 화상은 변화한다. 그러나, 이러한 변화 영역은 조작 영역이 아니다.
그 다음, 조작 영역 판단부(401)는 현재 조작 영역 기억부(402)로부터 현재 조작 영역 정보를 판독해 낸다. 이 현재 조작 영역 정보는 현재 조작 영역을 특정하기 위한 정보이다.
현재 조작 영역을 설명하도록 한다. 전술한 바와 같이, 화상 변화 정보 취득부(301)는 소정 주기로 전체 화상 정보를 취득하고, 조작 영역 검출부(40)는 변화 시각과 조작 시각을 비교하는 것에 의해 조작 영역을 복수 회 검출한다.
그 다음, 현재 조작 영역이 단말(1)의 화면 내에 있지 않은 경우, 표시 화상 생성부(50)는 조작 영역을 가공한다. 현재 조작 영역은 복수의 검출에 의해 검출된 조작 영역들 가운데 마지막에 검출된 조작 영역이다. 가공이 수행된 경우, 현재 조작 영역은 가공된 조작 영역이 될 것이다.
조작 영역 판단부(401)는 판독된 현재 조작 영역과 검출된 조작 영역 간의 거리가 임계치 이하인지의 여부를 판단한다. 여기서, 영역들 간의 거리는 일 영역 내의 좌표들과 다른 영역 내의 좌표들 간의 거리이다. 예를 들면, 조작 영역 판단부(401)는 현재 조작 영역의 중심 좌표들과 조작 영역의 중심 좌표들 간의 거리를, 임계치와 비교한다. 다르게는, 조작 영역 판단부(401)는 현재 조작 영역의 좌상(左上)의 정점의 좌표들과 조작 영역의 좌상의 정점의 좌표들 간의 거리를, 임계치와 비교한다.
영역들 간의 거리가 임계치 이하인 경우, 조작 영역 판단부(401)는 검출한 조작 영역이 조작 영역 후보가 되게 하고, 그 조작 영역 후보를 나타내는 조작 영역 후보 정보를 표시 화상 생성부(50)에 출력한다.
여기서, 임계치는, 상기 거리가 임계치 보다 큰 경우, 검출한 조작 영역이 현재 조작 영역에 포함되는 것이 아니라, 현재 조작 영역을 넘어서는 값이다. 조작 영역의 화면 내의 위치는, 텍스트가 추가됨에 따라 이동한다. 그러나, 조작 영역 판단부(401)는 영역들 간의 거리를 비교하는 것에 의해, 조작 영역의 이동에 추종하여 현재 조작 영역을 갱신할 수 있다.
도 6은 표시 화상 생성부(50)의 일 구성예를 나타내는 블록도이다. 도 6을 참조하면, 표시 화상 생성부(50)는 전체 화상 생성부(501) 및 화상 가공부(502)를 가진다.
전체 화상 생성부(501)는 텍스트 작성용의 애플리케이션과 같은 애플리케이션을 가진다. 전체 화상 생성부(501)는 입력 정보를 조작부(10)로부터 취득하고, 애플리케이션을 이용하여 입력 정보의 내용을 포함한 전체 화상 정보를 생성한다. 전체 화상 생성부(501)는 생성한 전체 화상 정보를 화상 가공부(502) 및 화상 변화 검출부(30)에 출력한다.
화상 가공부(502)는 조작 영역 후보 정보를 조작 영역 검출부(40)로부터 취득하고, 전체 화상 정보를 전체 화상 생성부(501)부터 취득한다. 그 다음, 조작 영역 후보 정보에 의해 나타내지는 조작 영역 후보가 단말(1)의 화면 내에 포함되지 않는 경우, 화상 가공부(502)는 그것이 그 화면 내에 포함되도록 가공한다. 또한, 화상 가공부(502)는 예를 들면 전체 화상 정보에 의해 나타내지는 전체 화상의 일부를 잘라내는 것에 의해, 화상 가공을 수행하여서 단말(1)의 화면 내에 포함되는 화상을 생성한다. 이 화상의 원래의 전체 화상에서의 영역을 참조 영역으로 지칭한다.
조작 영역이 검출되지 않는 경우, 화상 가공부(502)는 참조 영역을 나타내는 화상 데이터인 참조 영역 정보를 표시부(60)에 출력한다.
조작 영역이 검출된 경우, 화상 가공부(502)는 조작 영역 후보와 참조 영역을 합성하고, 그 합성한 화상이 조작 영역 첨부 화상이 되게 한다. 조작 영역 후보의 가공을 수행한 경우, 화상 가공부(502)는 가공을 수행한 이후에 합성을 수행한다. 그 다음, 화상 가공부(502)는, 생성한 조작 영역 첨부 화상을 나타내는 조작 영역 첨부 화상 정보를 표시부(60)에 출력한다. 화상 가공부(502)는, 조작 영역 첨부 화상에서의 조작 영역이 현재 조작 영역이 되게 하고, 그 현재 조작 영역을 특정하기 위한 현재 조작 영역 정보를 조작 영역 검출부(40)에 출력한다.
현재 조작 영역 정보는, 예를 들면, 현재 조작 영역의 정점 가운데 대향하는 2점(예를 들면, 좌상의 정점과 우하의 정점)의 좌표들을 나타내는 정보이다.
다음으로, 도 7을 참조하여 단말(1)의 동작을 설명하도록 한다. 도 7은 단말(1)의 동작을 나타내는 플로차트이다. 이 동작은 텍스트 작성 또는 편집에 사용되는 애플리케이션이 실행되었을 때에 개시된다.
애플리케이션이 실행되는 경우, 표시 화상 생성부(50)는 소정의 주기에서 전체 화상 정보를 취득한다. 최초의 주기에서, 표시 화상 생성부(50)는 전체 화상 정보에 의해 나타내지는 전체 화상의 일부를 잘라내어, 단말(1)로 표시 가능한 참조 영역을 생성한다. 표시부(60)는 그 참조 영역을 화면에 표시한다(스텝 S1). 다음의 주기에서 전체 화상을 취득하는 시각이 되었을 때, 화상 변화 취득부(30)는 전체 화상 정보를 취득한다(스텝 S2).
유저가 조작부(10)를 조작하는 경우, 키 조작 검출부(20)는 키의 종별과 조작 시각을 나타내는 조작 정보를 취득한다(스텝 S3). 화상 변화 검출부(30)는 이전회의 전체 화상과 금회의 전체 화상을 비교하여, 변화 영역 및 변화 시각을 나타내는 화상 변화 정보를 취득한다(스텝 S4).
조작 영역 검출부(40)는 조작 영역의 후보를 검출하기 위한 조작 영역 검출 처리를 실행한다(스텝 S5). 표시 화상 생성부(50)는 검출된 조작 영역의 후보를 화상에 표시하기 위한 조작 영역 첨부 화상 생성 처리를 실행한다(스텝 S6).
단말(1)은 텍스트 작성용의 애플리케이션이 종료되었는지의 여부를 판단한다(스텝 S7). 애플리케이션이 종료되지 않은 경우(스텝 S7：NO), 단말(1)은 스텝 S2로 돌아온다. 애플리케이션이 종료된 경우(스텝 S7：YES), 단말(1)은 동작을 종료한다.
도 8은, 도 7의 스텝 S5의 조작 영역 검출 처리를 나타내는 플로차트이다. 도 8을 참조하면, 조작 영역 검출부(40)는 조작 정보로부터 조작 키의 종별을 취득하여, 검출 대상 키의 조작 시각만을 추출한다(스텝 S51). 검출 대상 키는, 예를 들면, 문자를 입력하는데 사용되는 키인 것으로 가정한다.
조작 영역 검출부(40)는 검출 대상 키의 조작 시각과 변화 시각 간의 차이가 임계치 이하인지의 여부를 판단한다(스텝 S52).
조작 시각과 변화 시각 간의 차이가 임계치 이하인 경우(스텝 S52：YES), 조작 영역 검출부(40)는 그 변화 시각에 대응하는 변화 영역을 조작 영역으로서 검출한다(스텝 S53).
조작 영역 검출부(40)는 저장되어 있는 현재 조작 영역을 판독해 낸다(스텝 S54). 조작 영역 검출부(40)는 검출한 조작 영역과 현재 조작 영역 간의 거리를 비교하여, 검출한 조작 영역이 현재 조작 영역 내에 있는지의 여부를 판단한다(스텝 S55).
조작 영역이 현재 조작 영역 내에 없는 경우(스텝 S55：NO), 조작 영역 검출부(40)는 검출한 조작 영역이 조작 영역 후보가 되게 한다. 조작 영역 검출부(40)는 조작 영역 후보의 정점의 좌표들을 나타내는 조작 영역 후보 정보를 생성한다(스텝 S56).
조작 시각과 변화 시각 간의 차이가 임계치 이하가 아닌 경우(스텝 S52：NO), 조작 영역이 현재 조작 영역 내에 있는 경우(스텝 S55：YES), 또는, 스텝 S56 이후에, 조작 영역 검출부(40)는 조작 영역 검출 처리를 종료한다.
도 9는, 도 7의 스텝 S6의 조작 영역 첨부 화상 생성 처리를 나타내는 플로차트이다. 도 9를 참조하면, 표시 화상 생성부(50)는 전체 화상 정보에 의해 나타내지는 전체 화상에서, 조작 영역 후보 정보에 의해 나타내지는 좌표들 내의 화상을 취득한다(스텝 S61).
표시 화상 생성부(50)는 취득한 조작 영역 후보의 세로 및 가로의 화소수가, 단말(1)에 표시 가능한 화소수의 K배보다 큰지의 여부를 판단한다(스텝 S62).
조작 영역 후보의 세로 및 가로의 화소수가, 단말(1)에 표시 가능한 화소수의 K배보다 큰 경우(스텝 S62：YES), 조작 영역 후보의 세로 및 가로의 화소수가 K배 이하가 되도록 조작 영역 후보의 화상을 가공한다(스텝 S63).
조작 영역 후보의 세로 및 가로의 화소수가, 단말(1)에 표시 가능한 화소수의 K배 이하인 경우(스텝 S62：NO), 또는, 스텝 S63 이후에, 표시 화상 생성부(50)는 참조 영역 및 조작 영역 후보를 합성하여 조작 영역 첨부 화상을 생성하고, 표시부(60)에 그것을 표시한다(스텝 S64). 그 다음, 표시 화상 생성부(50)는 조작 영역 첨부 화상에서의 조작 영역을 현재 조작 영역으로서 조작 화상 검출부(40)에 저장한다(스텝 S65). 스텝 S65 이후에, 표시 화상 생성부(50)는 조작 영역 첨부 화상 생성 처리를 종료한다.
도 10은 단말(1)의 동작의 일례를 나타내는 순서도이다. 도 10을 참조하면, 조작부(10)는 유저의 조작에 따라 입력 정보를 입력한다(스텝 T1). 표시 화상 생성부(50)는 입력 정보를 기초로 전체 화상을 생성하고, 그 전체 화상을 화상 변화 검출부(30)에 출력한다. 또한, 표시 화상 생성부(50)는 전체 화상의 일부를 잘라내어, 참조 영역을 생성한다(스텝 T2). 표시부(60)는 그 참조 영역을 단말(1)의 화면에 표시한다(스텝 T3).
키 조작 검출부(20)는 특정한 키의 조작을 검출하여, 조작 정보를 생성한다(스텝 T4). 전체 화상을 취득하는 시각이 되었을 때, 화상 변화 검출부(30)는 전체 화상을 취득한다(스텝 T5). 화상 변화 검출부(30)는 금회의 전체 화상과 이전회의 전체 화상을 비교하여, 변화 영역 및 변화 시각을 취득한다(스텝 T6).
조작 영역 검출부(40)는 조작 시각과 변화 시각 간의 차이가 임계치 이하인지의 여부를 판단한다(스텝 T7). 조작 시각과 변화 시각 간의 차이가 임계치 이하인 경우(스텝 T7：YES), 조작 영역 검출부(40)는 변화 영역을 조작 영역으로서 검출한다(스텝 T8). 그 다음, 조작 영역 검출부(40)는 현재 조작 영역을 판독해 낸다(스텝 T9).
조작 영역 검출부(40)는 검출한 조작 영역이 현재 조작 영역 내에 있는지의 여부를 판단한다(스텝 T10). 조작 영역이 현재 조작 영역 내에 없는 경우(스텝 T10：NO), 조작 영역 검출부(40)는 그 조작 영역을 조작 영역 후보로서 표시 화상 생성부(50)에 출력한다(스텝 T11).
표시 화상 생성부(50)는 참조 영역과 조작 영역 후보를 합성하여서 조작 영역 첨부 전체 화상을 생성한다(스텝 T12). 표시부(60)는 그 조작 영역 첨부 전체 화상을 표시한다(스텝 T13).
그 다음, 표시 화상 생성부(50)는 조작 영역 첨부 후보 화상에서의 조작 영역을 현재 조작 영역으로서 조작 영역 검출부(40)에 저장한다(스텝 T14).
다음으로, 도 11 내지 도 13을 참조하여, 단말(1)의 동작 결과의 일례를 설명하도록 한다. 도 11a는 키 조작으로 인해 변화하기 전의 전체 화상(G1)의 일례를 나타낸다. 도 11a에 나타낸 바와 같이, 텍스트 작성용의 애플리케이션이 실행되었을 때, 윈도우(W1)를 포함한 전체 화상(G1)이 생성된다.
도 11b에 나타낸 바와 같이, 단말(1)은 윈도우(W1)의 일부를 단말(1)의 화면에 표시할 수 있는 크기로 잘라내고, 그것을 참조 영역으로서 표시한다.
전체 화상(G1)의 취득 이후에 다음의 주기가 경과하기까지, “ABCD”가 입력되었을 경우에 대해서 생각한다. 이 경우, 도 12a에 나타낸 바와 같이, 윈도우(W2) 내에 입력된 “ABCD”를 포함한 전체 화상(G2)이 생성된다. 단말(1)은 전체 화상들 G1 및 G2를 비교하고, 도 12b에 나타낸 바와 같이, “ABCD”를 포함하는 직사각형 영역을 변화 영역으로서 추출한다. 변화 시각과 조작 시각이 같기 때문에, 단말(1)은 그 변화 영역을 조작 영역으로서 검출한다.
도 12c에 나타낸 바와 같이, 단말(1)은 조작 영역과 참조 영역을 합성하여 조작 영역 첨부 화상을 생성하고 그것을 표시한다. 예를 들면, 단말(1)은 조작 영역이 맨 앞면에 위치되도록, 참조 영역에 조작 영역을 오버랩(overlap)한다. 단말(1)은 이 조작 영역 첨부 화상에서의 조작 영역을 현재 조작 영역으로서 저장한다.
도 13a에 나타낸 바와 같이, “ABCD”가 입력된 이후에 다음의 전체 화상 정보를 취득하는 시각까지 “EFGHIJKL”이 입력되었을 경우에 대해서 생각한다.
이 경우, 단말(1)은 도 13b에 나타낸 바와 같이, “EFGHIJKL”을 포함한 직사각형 영역을 조작 영역으로서 검출한다. 여기서, 도 13c에 나타낸 바와 같이, 현재 조작 영역은 “ABCD”를 포함한 직사각형 영역이다. 검출된 조작 영역은 현재 조작 영역 내에 포함되지 않는다. 그러므로, 단말(1)은 검출된 조작 영역 및 참조 영역을 기초로 조작 영역 첨부 화상 정보를 생성하고, 현재 조작 영역을 갱신한다.
본 실시형태에서는 입력 정보를 문자 정보로 가정하고 있지만, 입력 정보는 유저의 입력 조작에 따라 화면이 변화하는 정보라면, 문자 이외의 임의의 정보일 수도 있다. 예를 들면, 문자 이외의 기호나, 음표가 또한 가능하다.
본 실시형태의 조작부(10)가 본 발명의 입력부에 해당하고, 본 실시형태의 전체 화상 생성부(501)가 본 발명의 전체 화상 생성부에 해당한다. 본 실시형태의 키 조작 검출부(20)가 본 발명의 조작 시각 취득부 및 키 종별 취득부에 해당하고, 본 실시형태의 조작 영역 판단부(401)가 본 발명의 판단부에 해당하고, 또한 본 실시형태의 현재 조작 영역 기억부(402)가 본 발명의 현재 조작 영역 기억부에 해당한다. 본 실시형태의 화상 변화 검출부(30)가 본 발명의 화상 변화 취득부에 해당하고, 본 실시형태의 조작 영역 검출부(40)가 본 발명의 조작 영역 취득부에 해당하고, 또한 본 실시형태의 화상 가공부(502)가 본 발명의 조작 영역 첨부 화상 생성부에 해당한다.
이상 설명한 바와 같이, 본 실시형태에 따르면, 조작 시각과 화면이 변화한 변화 시각 간의 차이가 소정치 이하인 경우, 단말(1)은 변화한 영역이 조작 영역이 되게 하고, 참조 영역에 그 조작 영역을 합성하는 것에 의한 화상을 생성한다. 따라서, 유저는 참조 영역을 참조하면서, 조작 영역에 정보를 입력할 수 있다. 이에 의해, 입력 조작이 용이해진다.
또한, 단말(1)은 주기적으로 전체 화상을 취득하므로, 주기 내에 수행된 유저의 조작에 추종하여 조작 영역을 갱신할 수 있다.
화상 변화 검출부(30)는 변화 영역의 대향하는 정점들의 좌표를 나타내는 정보를 생성하므로, 변화 영역 자체를 나타내는 화상에 관한 정보를 생성하는 경우와 비교하여, 생성하는 정보의 데이터 량이 작아져서 처리 속도가 더 빠르다.
조작 영역 검출부(40)는 문자를 입력하기 위한 키를 검출 대상으로 간주하므로, 문자를 입력하기 위한 키 조작 이외의 키 조작에 응답하여 조작 영역을 갱신하는 것이 발생하지 않으므로, 쓸데없는 처리가 감소한다.
표시 화상 생성부(50)는 조작 영역을 가공하므로, 단말(1)의 화면 내에 조작 영역의 내용들이 표시되지 않는 것을 방지할 수 있다.
조작 영역 검출부(40)는 검출된 변화 영역이 현재 조작 영역 내에 없으면 현재 조작 영역을 갱신하므로, 유저의 조작에 따라 변화 영역이 이동한 경우라도, 표시부(60)는 그 이동이 발생한 이후에 조작 영역을 표시할 수 있다.
(제 2 실시형태)
도 14를 참조하여, 제 2 실시형태를 설명하도록 한다. 도 14는, 본 실시형태의 단말(2) 및 컴퓨터(3)의 구성을 나타내는 전체도이다. 본 실시형태의 단말(2) 및 컴퓨터(3)는, 제 1 실시형태에서의 단말(1)의 기능들을 2대의 장치 사이에 분산하고 있는 점에서 제 1 실시형태와 다르다. 단말(2) 및 컴퓨터(3)는 퍼스널 컴퓨터와 같은 정보 처리 장치이다.
본 실시형태에서, 단말(2)은, 단말(1)의 조작부(10), 키 조작 검출부(20), 화상 변화 검출부(30), 조작 영역 검출부(40), 표시 화상 생성부(50) 및 표시부(60) 가운데, 조작부(10), 키 조작 검출부(20) 및 표시부(60)를 가진다.
한편, 컴퓨터(3)는 나머지의 화상 변화 검출부(30), 조작 영역 검출부(40) 및 표시 화상 생성부(50)를 가진다.
본 실시형태에 따르면, 기능들의 분산에 의해 1대의 장치에 부과되는 부하가 경감된다. 또한, 고장시의 리스크를 분산할 수 있다.
(제 3 실시형태)
도 15를 참조하여, 제 3 실시형태를 설명하도록 한다. 도 15는, 본 실시형태의 단말(4) 및 컴퓨터(5)의 구성을 나타내는 전체도이다. 본 실시형태의 단말(4) 및 컴퓨터(5)는, 제 1 실시형태에서의 단말(1)의 기능들을 2대의 장치 사이에 분산하고 있는 점에서 제 1 실시형태와 다르다. 단말(4) 및 컴퓨터(5)는 퍼스널 컴퓨터와 같은 정보 처리 장치이다.
본 실시형태에서, 단말(4)은, 단말(1)의 조작부(10), 키 조작 검출부(20), 화상 변화 검출부(30), 조작 영역 검출부(40), 표시 화상 생성부(50) 및 표시부(60) 가운데, 조작부(10), 키 조작 검출부(20), 조작 영역 검출부(40), 표시 화상 생성부(50) 및 표시부(60)를 가진다.
한편, 컴퓨터(5)는 나머지의 화상 변화 검출부(30)를 가진다.
본 실시형태의 표시 화상 생성부(50)는 본 발명의 송신부에 해당한다.
제 2 실시형태 및 제 3 실시형태에서 나타내지는 구성 이외의 구성으로 기능들이 분산될 수도 있음은 물론이다.
실시형태를 참조하여 본 발명을 설명했다. 그러나, 본 발명은 상기 실시형태로 한정되지 않는다. 본 발명의 구성이나 상세는, 본 발명의 범위 내에서 당업자가 이해할 수 있는 여러가지 변경들이 이루어질 수 있다.
본 출원은 2009년 8월 31일에 출원된 일본 특허출원번호 제2009-200062호를 기초로 하는 우선권을 주장하며, 그것의 전체 내용은 참조로서 본 명세서에 통합된다.

Claims (11)

  1. 소정의 애플리케이션을 실행하는 것에 의해 전체 화상을 생성하는 전체 화상 생성부;
    유저가 정보를 입력하기 위한 조작을 수행한 조작 시각을 취득하는 조작 시각 취득부;
    상기 전체 화상 생성부에 의해 생성된 상기 전체 화상이 변화한 경우, 상기 전체 화상 중 변화가 발생한 영역을 포함하는 직사각형 영역을 변화 영역으로서 취득하고 또한 상기 전체 화상이 변화한 변화 시각을 취득하는 화상 변화 취득부;
    상기 조작 시각 취득부에 의해 취득된 상기 조작 시각과 상기 화상 변화 취득부에 의해 취득된 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 화상 변화 취득부에 의해 취득된 상기 변화 영역을, 상기 유저가 정보를 입력하고 있는 조작 영역으로서 취득하는 조작 영역 취득부; 및
    상기 전체 화상 생성부에 의해 생성된 상기 전체 화상 중 정보 처리 장치의 화면에 표시되는 직사각형 영역을 참조 영역으로서 취득하고 또한 상기 조작 영역 취득부에 의해 취득된 상기 조작 영역을 상기 참조 영역과 합성하는 것에 의해 조작 영역 첨부 화상을 생성하는 조작 영역 첨부 화상 생성부를 포함하는 정보 처리 장치.
  2. 제 1 항에 있어서,
    상기 화상 변화 취득부는 상기 전체 화상 생성부에 의해 생성된 상기 전체 화상을 주기적으로 취득하고, 금회에 취득된 전체 화상과 이전회에 취득된 전체 화상을 비교하는 것에 의해 상기 변화 영역을 취득하는 정보 처리 장치.
  3. 제 1 항에 있어서,
    상기 화상 변화 취득부는 상기 변화 영역의 대향하는 2개의 정점(apex)의 좌표를 나타내는 변화 영역 정보를 생성하고;
    상기 조작 영역 첨부 화상 생성부는 상기 조작 영역 취득부에 의해 생성된 상기 변화 영역 정보에 기초하여 상기 변화 영역을 특정하는 정보 처리 장치.
  4. 제 1 항에 있어서,
    상기 조작을 수행한 키의 종별을 나타내는 종별 정보를 취득하는 키 종별 취득부를 더 포함하고;
    상기 키 종별 취득부에 의해 취득된 상기 키의 종별이 소정의 종별인 경우, 및 상기 조작 시각과 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 조작 영역 취득부는 상기 변화 영역을 상기 조작 영역으로서 취득하는 정보 처리 장치.
  5. 제 1 항에 있어서,
    상기 조작 영역 첨부 화상 생성부는, 상기 조작 영역의 세로 방향의 총 화소수 또는 상기 조작 영역의 가로 방향의 총 화소수가 최대치 이상인지의 여부를 판단하고, 상기 총 화소수가 최대치 이상인 경우, 상기 총 화소수가 최대치 미만이 되도록 상기 조작 영역을 가공하고, 그 가공된 조작 영역을 상기 참조 영역과 합성하는 정보 처리 장치.
  6. 제 5 항에 있어서,
    상기 조작 영역 취득부는,
    상기 조작 영역 첨부 화상 생성부에 의해 생성된 상기 조작 영역 첨부 화상에서의 상기 조작 영역을 현재 조작 영역으로서 저장하는 현재 조작 영역 기억부; 및
    상기 조작 시각과 상기 변화 시각 간의 차이가 소정치 이하인 경우 상기 변화 영역이 상기 현재 조작 영역 기억부에 저장된 상기 현재 조작 영역에 포함되어 있는지의 여부를 판단하고, 상기 변화 영역이 상기 현재 조작 영역에 포함되어 있지 않은 경우 상기 변화 영역을 상기 조작 영역으로서 취득하는 판단부를 포함하는 정보 처리 장치.
  7. 제 1 항에 있어서,
    유저의 조작에 따라 정보를 입력하는 입력부를 더 포함하고;
    상기 조작 시각 취득부는 상기 입력부에 의해 정보가 입력된 시각을 조작 시각으로서 취득하는 정보 처리 장치.
  8. 제 1 항에 있어서,
    상기 조작 영역 첨부 화상 생성부에 의해 취득된 상기 참조 영역 또는 상기 조작 영역 첨부 화상 생성부에 의해 생성된 상기 조작 영역 첨부 화상을 표시하는 표시부를 더 포함하는 정보 처리 장치.
  9. 제 1 항에 있어서,
    상기 전체 화상 생성부에 의해 생성된 상기 전체 화상을 다른 정보 처리 장치에 송신하는 송신부를 더 포함하고;
    상기 화상 변화 취득부는 상기 다른 정보 처리 장치로부터 상기 전체 화상을 수신하는 정보 처리 장치.
  10. 전체 화상 생성부가, 소정의 애플리케이션을 실행하는 것에 의해 전체 화상을 생성하는 단계;
    조작 시각 취득부가, 유저가 정보를 입력하기 위한 조작을 수행하는 조작 시각을 취득하는 단계;
    화상 변화 취득부가, 상기 전체 화상 생성부에 의해 생성된 상기 전체 화상이 변화한 경우, 상기 전체 화상 중 변화가 발생한 영역을 포함하는 직사각형 영역을 변화 영역으로서 취득하고 또한 상기 전체 화상이 변화한 변화 시각을 취득하는 단계;
    조작 영역 취득부가, 상기 조작 시각 취득부에 의해 취득된 상기 조작 시각과 상기 화상 변화 취득부에 의해 취득된 상기 변화 시각 간의 차이가 소정치 이하인 경우, 상기 화상 변화 취득부에 의해 취득된 상기 변화 영역을, 상기 유저가 정보를 입력하고 있는 조작 영역으로서 취득하는 단계; 및
    조작 영역 첨부 화상 생성부가, 상기 전체 화상 생성부에 의해 생성된 상기 전체 화상 중 정보 처리 장치의 화면에 표시되는 직사각형 영역을 참조 영역으로서 취득하고 또한 상기 조작 영역 취득부에 의해 취득된 상기 조작 영역을 상기 참조 영역과 합성하는 것에 의해 조작 영역 첨부 화상을 생성하는 단계를 포함하는 정보 처리 장치 제어 방법.
  11. 삭제
KR1020127006019A 2009-08-31 2010-06-03 정보 처리 장치, 정보 처리 장치의 제어 방법, 및 프로그램 KR101388119B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009200062 2009-08-31
JPJP-P-2009-200062 2009-08-31
PCT/JP2010/059455 WO2011024531A1 (ja) 2009-08-31 2010-06-03 情報処理装置、情報処理装置の制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20120054053A KR20120054053A (ko) 2012-05-29
KR101388119B1 true KR101388119B1 (ko) 2014-04-23

Family

ID=43627644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127006019A KR101388119B1 (ko) 2009-08-31 2010-06-03 정보 처리 장치, 정보 처리 장치의 제어 방법, 및 프로그램

Country Status (6)

Country Link
US (1) US20120154432A1 (ko)
EP (1) EP2474892A4 (ko)
JP (1) JP5447525B2 (ko)
KR (1) KR101388119B1 (ko)
CN (2) CN102483678B (ko)
WO (1) WO2011024531A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6232537A (ja) * 1985-08-05 1987-02-12 Mitsubishi Electric Corp 計算機システムのサ−ビス・プロセツサにおける画面処理方法
KR20040096879A (ko) * 2004-10-05 2004-11-17 장중혁 디스플레이와 화면 이동 정보 입력 장치가 장착된 기기를 이용한 gui 인터페이스 조작 방법
JP2007058638A (ja) 2005-08-25 2007-03-08 Fujitsu Ltd リモート操作プログラム、方法及び端末装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772855B2 (ja) * 1985-07-31 1995-08-02 キヤノン株式会社 情報処理方法
US5665927A (en) * 1993-06-30 1997-09-09 Casio Computer Co., Ltd. Method and apparatus for inputting musical data without requiring selection of a displayed icon
JPH0793574A (ja) * 1993-09-27 1995-04-07 Toshiba Corp データ処理装置及び表示制御方法
JP2000187544A (ja) * 1998-12-22 2000-07-04 Seiko Epson Corp データ入力装置およびその方法並びに記録媒体
US7437670B2 (en) * 2001-03-29 2008-10-14 International Business Machines Corporation Magnifying the text of a link while still retaining browser function in the magnified display
US20030206193A1 (en) * 2002-04-17 2003-11-06 Keizo Sato Communication control system and storage medium for storing image transfer program
JP4326836B2 (ja) * 2003-05-21 2009-09-09 株式会社エヌ・ティ・ティ・ドコモ シンクライアントシステム、シンクライアント端末機、中継装置及びシンクライアント端末画面更新方法
JP4900640B2 (ja) * 2005-03-30 2012-03-21 京セラ株式会社 携帯端末装置およびその文書表示制御方法
CN101078958A (zh) * 2006-05-24 2007-11-28 胡有文 一种设有手写板式代替键盘的电脑
JP4957126B2 (ja) * 2006-08-31 2012-06-20 カシオ計算機株式会社 クライアント装置およびプログラム
US7778953B2 (en) * 2007-02-19 2010-08-17 Kabushiki Kaisha Toshiba Document management apparatus and document management method
CN101414213A (zh) * 2007-10-19 2009-04-22 杭州惠道科技有限公司 人类语言、文字、符号点划式人机界面
CN101162489B (zh) * 2007-11-26 2014-07-16 施霞虹 用于保密输入的伪装图片产生方法及其使用方法
JP4827950B2 (ja) * 2008-07-31 2011-11-30 富士通株式会社 サーバ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6232537A (ja) * 1985-08-05 1987-02-12 Mitsubishi Electric Corp 計算機システムのサ−ビス・プロセツサにおける画面処理方法
KR20040096879A (ko) * 2004-10-05 2004-11-17 장중혁 디스플레이와 화면 이동 정보 입력 장치가 장착된 기기를 이용한 gui 인터페이스 조작 방법
JP2007058638A (ja) 2005-08-25 2007-03-08 Fujitsu Ltd リモート操作プログラム、方法及び端末装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S.Malik et. al., "Interacting with large displays from a distance with vision-tracked multi-finger gestural input," In the Proc. of the UIST05, ACM, pages 43-52, 2005. *

Also Published As

Publication number Publication date
CN103558967A (zh) 2014-02-05
WO2011024531A1 (ja) 2011-03-03
JP5447525B2 (ja) 2014-03-19
JPWO2011024531A1 (ja) 2013-01-24
CN102483678A (zh) 2012-05-30
EP2474892A1 (en) 2012-07-11
KR20120054053A (ko) 2012-05-29
US20120154432A1 (en) 2012-06-21
CN102483678B (zh) 2014-06-04
EP2474892A4 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5001182B2 (ja) 表示制御装置、電子機器、表示制御方法、およびプログラム
JP4776995B2 (ja) コンピュータ装置およびその制御方法およびプログラム
JP5818172B2 (ja) 情報表示装置及び表示制御プログラム並びに表示制御方法
US10289270B2 (en) Display apparatus and method for displaying highlight thereof
JP2009064068A (ja) 情報処理装置、ユーザインターフェイス制御方法およびプログラム
JP4812077B2 (ja) データ表示方法及びデータ表示装置並びにプログラム
JP2011013791A (ja) 文書処理装置及びプログラム
US9619126B2 (en) Computer-readable non-transitory storage medium with image processing program stored thereon, element layout changed material generating device, image processing device, and image processing system
JP2009266061A (ja) 画像処理装置、画像処理方法および画像伝送システム
JP2009294848A (ja) 情報表示装置及びプログラム
KR101388119B1 (ko) 정보 처리 장치, 정보 처리 장치의 제어 방법, 및 프로그램
JP2007079947A (ja) 表示装置及びそれに用いるプログラム
US8520030B2 (en) On-screen marker to assist usability while scrolling
JP5414920B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP5573693B2 (ja) 情報表示方法、情報表示プログラム、および情報表示装置
JP5957026B2 (ja) 入力領域の生成方法、生成装置、および生成プログラム
JP2012234342A (ja) 情報入力装置
US20140156737A1 (en) Method for controlling information processing apparatus and information processing apparatus
JP2001195170A (ja) 携帯型電子機器、入力制御装置、及び記憶媒体
JP2021043680A (ja) 情報処理装置及び情報処理プログラム
US20130106701A1 (en) Information processing apparatus and method thereof
JP2008017065A (ja) 電子黒板装置および電子黒板装置における画像処理方法並びにそのプログラム
JP2001309160A (ja) オーバレイ表示制御装置
JP2001117918A (ja) 文書編集処理装置
US20240310997A1 (en) Information input apparatus, method for controlling information input apparatus, and non-transitory recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee