JP6118190B2 - Information terminal and control program - Google Patents

Information terminal and control program Download PDF

Info

Publication number
JP6118190B2
JP6118190B2 JP2013129907A JP2013129907A JP6118190B2 JP 6118190 B2 JP6118190 B2 JP 6118190B2 JP 2013129907 A JP2013129907 A JP 2013129907A JP 2013129907 A JP2013129907 A JP 2013129907A JP 6118190 B2 JP6118190 B2 JP 6118190B2
Authority
JP
Japan
Prior art keywords
application
display
virtual
display area
obj
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013129907A
Other languages
Japanese (ja)
Other versions
JP2015005129A (en
Inventor
健文 大塚
健文 大塚
恵 横川
恵 横川
忠郎 長沢
忠郎 長沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013129907A priority Critical patent/JP6118190B2/en
Priority to US14/437,222 priority patent/US20150261431A1/en
Priority to CN201480002872.XA priority patent/CN104823150B/en
Priority to CN201711287317.8A priority patent/CN107918520A/en
Priority to PCT/JP2014/053933 priority patent/WO2014132863A1/en
Publication of JP2015005129A publication Critical patent/JP2015005129A/en
Application granted granted Critical
Publication of JP6118190B2 publication Critical patent/JP6118190B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、文字入力のために画面上にキーボードを模した表示を行う機能であるソフトウェアキーボード(以下、適宜「仮想キーボード」と称する)機能を用いるアプリケーション(以下、適宜「アプリ」と略称する)を実行可能な情報端末に関する。   The present invention is an application using a software keyboard (hereinafter referred to as “virtual keyboard” where appropriate) that is a function of performing a display imitating a keyboard on a screen for character input (hereinafter referred to as “app” as appropriate). Relates to an information terminal capable of executing

従来の携帯電話等の携帯情報端末(以下、単に「携帯端末」と称する)ではテンキー、ダイヤルキーなどのハードウェアキーが多く備えられていた。しかしながら、今日では、可能な限り画面サイズを拡大する傾向があり、装置そのもののサイズを大きくすることなく画面サイズをできるだけ大きくするために、端末の一面のほぼ全体が表示画面となっている機種も多く存在する。このような携帯端末では、表示画面上に操作ボタンやキーボードを模した画像の表示等を行うことにより、操作入力や文字入力を受け付けている(仮想キーボード)。   Conventional portable information terminals such as cellular phones (hereinafter simply referred to as “portable terminals”) are provided with many hardware keys such as numeric keys and dial keys. However, today, there is a tendency to enlarge the screen size as much as possible, and in order to make the screen size as large as possible without increasing the size of the device itself, there are models in which almost the entire surface of the terminal is a display screen There are many. In such a portable terminal, an operation input or a character input is received by displaying an image imitating an operation button or a keyboard on a display screen (virtual keyboard).

また、表示画面の拡大に伴い、画面上で複数のアプリを実行可能な機種も存在する。例えば、特許文献1には、表示画面を分割し、分割された個々の画面領域で異なるアプリを同時に実行する携帯端末が記載されている。この携帯端末では、分割された各表示領域において、表示されているアプリに対する操作や、分割された表示領域間を跨いでタッチ操作を行うことにより、異なるアプリの間で情報を共有することが可能となる方法が記載されている。   As the display screen expands, there are also models that can execute a plurality of applications on the screen. For example, Patent Document 1 describes a mobile terminal that divides a display screen and simultaneously executes different applications in each divided screen area. In this mobile terminal, it is possible to share information between different apps by operating the displayed app in each divided display area and touching across the divided display areas. Is described.

特表2012―521595号公報(2012年9月13日公表)Special table 2012-521595 (published on September 13, 2012)

上述した仮想キーボードでは、あるアプリで起動した仮想キーボードによりOBJ操作中の別アプリの表示が妨げられるという問題点がある。しかしながら、上記特許文献1では、このような問題点については何ら言及されていない。   The above-described virtual keyboard has a problem in that display of another application during OBJ operation is hindered by a virtual keyboard activated by a certain application. However, Patent Document 1 does not mention any such problems.

本発明は、上記問題に鑑みてなされたものであり、その目的は、あるアプリで起動した仮想キーボードによりOBJ操作中の別アプリの表示が妨げられることを抑制することのできる情報端末などを実現することにある。   The present invention has been made in view of the above problems, and an object thereof is to realize an information terminal or the like that can prevent display of another application during an OBJ operation from being hindered by a virtual keyboard activated by a certain application. There is to do.

上記の課題を解決するために、本発明の一態様に係る情報端末は、第1アプリケーションで仮想キーボードが起動されたことを検知するキーボード検知手段と、上記キーボード検知手段が、上記仮想キーボードが起動されたと検知した場合、上記第1アプリケーションとは別の第2アプリケーションでオブジェクトを操作中か否かを検知する操作検知手段と、上記操作検知手段が、上記オブジェクトを操作中であると検知した場合、上記第2アプリケーションの表示領域を変更せずに維持し、上記オブジェクトを操作中でないと検知した場合、上記表示領域を上記仮想キーボードに対する操作を阻害しないように変更する制御を行う表示制御手段と、を備えることを特徴とする。   In order to solve the above problem, an information terminal according to an aspect of the present invention includes a keyboard detection unit that detects that a virtual keyboard is activated in a first application, and the keyboard detection unit that activates the virtual keyboard. If it is detected that the object is being operated by a second application different from the first application, and the operation detection means detects that the object is being operated Display control means for controlling to change the display area so as not to hinder the operation on the virtual keyboard when it is detected that the display area of the second application is not changed and the object is not operated. It is characterized by providing.

本発明の一態様によれば、あるアプリで起動した仮想キーボードによりOBJ操作中の別アプリの表示が妨げられることを抑制することのできるという効果を奏する。   According to one aspect of the present invention, it is possible to suppress the display of another application during an OBJ operation from being hindered by a virtual keyboard activated by a certain application.

本発明の実施の一形態に係る携帯端末の構成を示すブロック図である。It is a block diagram which shows the structure of the portable terminal which concerns on one Embodiment of this invention. 上記携帯端末の表示部における表示の遷移例を示すである。It is an example of the transition of the display in the display part of the said portable terminal. 上記携帯端末における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process in the said portable terminal. 上記携帯端末の表示部における表示の別の遷移例を示す図である。It is a figure which shows another example of a transition of the display in the display part of the said portable terminal. 上記携帯端末の表示部における表示のさらに別の遷移例を示す図である。It is a figure which shows another example of a transition of the display in the display part of the said portable terminal.

本発明の実施の形態について図1〜図5に基づいて説明すれば以下のとおりである。以下の特定の実施形態で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の実施形態で説明されている場合は、その構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。   The embodiment of the present invention will be described below with reference to FIGS. Descriptions of configurations other than those described in the following specific embodiments may be omitted as necessary, but are the same as those configurations when described in other embodiments. For convenience of explanation, members having the same functions as those shown in each embodiment are given the same reference numerals, and the explanation thereof is omitted as appropriate.

〔実施形態1〕
以下、本発明の実施形態1に係る携帯端末(情報端末)1について、図1〜3および図4(a)および(b)を参照して詳細に説明する。
Embodiment 1
Hereinafter, the portable terminal (information terminal) 1 according to Embodiment 1 of the present invention will be described in detail with reference to FIGS. 1 to 3 and FIGS. 4 (a) and 4 (b).

<装置の構成>
まず、図2は、本実施形態に係る携帯端末1の外観を示す図である。ここでは、携帯端末1としてスマートフォンを想定しているが、本実施形態はスマートフォンに限られるものではなく、例えば、携帯電話機、ノート型PC(Personal Computer)等であってもよい。図2(a)に示すように、携帯端末1は、タッチパネル11を備えており、タッチパネル11に指、ペン等を接触または近づけることにより携帯端末1に対する操作を行うものである。図2(a)では、仮想KB(仮想キーボードまたはソフトウェアキーボート)53が起動している状態を示しており、タッチパネル11に、本文入力エリア51、および仮想KB53が表示されている状態を示している。仮想KBは、キーボードを模した画像を表示部に表示し、表示されたキーボード画像に接触すると、接触のあった位置に対応して、実際のキーボードの該当する部分が押下された場合と同様の処理を行うものである。
<アプリの一部に別のアプリを小さく表示する方法とその問題点>
ここで、以下、アプリの一部に別のアプリを小さく表示する方法およびその問題点について説明する。まず、図2の(a)に示すようにメールアプリ(第1アプリケーション、以下、適宜「第1アプリ」という)のみが起動している場合、携帯端末1の表示部には、本文入力エリア51および差出人表示エリア52などが表示され、表示部の紙面に対して下半分程度が仮想KBで覆われる。このとき、仮想KBによる文字入力については特に問題はない。なお、同図に示す状態は、本文入力エリア51が選択された状態(文字入力可能な状態)であるため、本文入力エリア51の紙面に対して左上側に、カーソル位置54が表示されている。
<Device configuration>
First, FIG. 2 is a diagram illustrating an appearance of the mobile terminal 1 according to the present embodiment. Here, a smartphone is assumed as the mobile terminal 1, but the present embodiment is not limited to a smartphone, and may be a mobile phone, a notebook PC (Personal Computer), or the like. As illustrated in FIG. 2A, the mobile terminal 1 includes a touch panel 11, and performs operations on the mobile terminal 1 by bringing a finger, a pen, or the like into contact with or approaching the touch panel 11. FIG. 2A shows a state where a virtual KB (virtual keyboard or software keyboard) 53 is activated, and shows a state where a text input area 51 and a virtual KB 53 are displayed on the touch panel 11. . The virtual KB displays an image simulating a keyboard on the display unit. When the displayed keyboard image is touched, the virtual KB is the same as when the corresponding part of the actual keyboard is pressed corresponding to the touched position. The processing is performed.
<How to display another app in a small size in part of the app and its problems>
Here, a method for displaying another application in a small size on a part of the application and its problems will be described below. First, as shown in FIG. 2A, when only a mail application (first application, hereinafter referred to as “first application” as appropriate) is activated, a text input area 51 is displayed on the display unit of the mobile terminal 1. The sender display area 52 and the like are displayed, and the lower half of the display unit is covered with virtual KB. At this time, there is no particular problem with character input using the virtual KB. The state shown in the figure is a state in which the text input area 51 is selected (a state in which characters can be input), and therefore the cursor position 54 is displayed on the upper left side of the page of the text input area 51. .

一方、図2の(b)に示すように、メールアプリおよびTVアプリ大55b(第2アプリケーション、以下、適宜「第2アプリ」という)の複数のアプリを表示(起動)している場合、例えば、本文入力エリア51をタップして、仮想KB53を起動させると、表示部の下半分程度が仮想KBで覆われるため、そのままでは、TVアプリ大55bが仮想KBの下に隠れてしまう。そこで、本発明の発明者らは、以上のような仮想KBを起動(表示)させることにより生じる弊害を解決する一つの方法として、仮想KBによる文字入力中はTVアプリを仮想KB自体や、仮想KBによる文字入力の位置と重ならないように一時的に移動およびリサイズ(表示位置および表示サイズを変更)することを新たに考案した。例えば、図2の(c)に示すように、TVアプリ大55bの表示位置および表示サイズをTVアプリ小55sのように変更すれば、TVアプリ小55sは、仮想KBにより阻害されないので、視聴中のTVシーンを見逃さないで済む。また、TVアプリ小55sは、メールアプリの仮想KBに対する操作を阻害しないように変更されているため、TVアプリ小55sは、仮想KBに対する操作の邪魔にもならない。以下で説明する実施形態1〜3に係る携帯端末(情報端末)1では、その基本動作として上記の方法を取り入れている。   On the other hand, as shown in FIG. 2B, when a plurality of applications of a mail application and a TV application large 55b (second application, hereinafter referred to as “second application”) are displayed (activated), for example, When the text input area 51 is tapped to activate the virtual KB 53, the lower half of the display unit is covered with the virtual KB, so that the TV application size 55b is hidden under the virtual KB. Therefore, the inventors of the present invention, as one method for solving the adverse effects caused by activating (displaying) the virtual KB as described above, make the TV application the virtual KB itself or the virtual KB during character input using the virtual KB. It was newly devised to temporarily move and resize (change the display position and display size) so as not to overlap the position of character input by KB. For example, as shown in FIG. 2C, if the display position and the display size of the TV application large 55b are changed to the TV application small 55s, the TV application small 55s is not hindered by the virtual KB. Don't miss the TV scene. Further, since the TV application small 55s is changed so as not to hinder the operation of the mail application on the virtual KB, the TV application small 55s does not interfere with the operation on the virtual KB. The portable terminal (information terminal) 1 according to the first to third embodiments described below adopts the above method as its basic operation.

しかしながら、上記の方法では、第2アプリが、TVアプリや動画再生アプリでTVや動画などのコンテンツを閲覧するような場合には特に問題はないが、第2アプリが、別のアプリで閲覧以外の各種操作を行う場合においては、ユーザが意図せず別のアプリの表示領域が変更されてしまい、ユーザ操作を妨げる可能性があるという従来にない新規な課題がある。例えば、テキスト編集アプリ(第2アプリ)で文字列を選択中に、メールアプリの仮想KBが起動すると、選択中の文字列を表示したテキスト編集アプリの表示領域の表示位置および表示サイズが変更されて文字列を選択した箇所が隠れたり、選択した文字列が小さくなって見づらくなったりして、テキスト編集アプリの操作が非常に困難になる可能性がある。   However, in the above method, there is no particular problem when the second application browses content such as TV or video with the TV app or video playback app, but the second app is other than browsing with another app. When performing these various operations, there is an unprecedented new problem that the display area of another application is changed unintentionally by the user and may interfere with the user operation. For example, when a mail application virtual KB is activated while a text string is selected in the text editing application (second application), the display position and display size of the display area of the text editing application that displays the selected text string are changed. This may make it difficult to operate the text editing application because the part where the character string is selected is hidden or the selected character string becomes small and difficult to see.

以下に記載する本発明を具現化した各形態は、以上のような従来にない新規な課題を解決すべく考案されたものである。
<携帯端末1の概略構成>
次に、図1を参照して携帯端末1の概略構成について説明する。図1は、本実施形態に係る携帯端末1の概略構成を示すブロック図である。
Each embodiment embodying the present invention described below has been devised to solve the above-described new problems that have not existed in the past.
<Schematic configuration of mobile terminal 1>
Next, a schematic configuration of the mobile terminal 1 will be described with reference to FIG. FIG. 1 is a block diagram illustrating a schematic configuration of a mobile terminal 1 according to the present embodiment.

図1に示すように、携帯端末1は、制御部10、タッチパネル11、記憶部12およびRAM13を含む構成である。なお、図1には、携帯端末1における各種構成のうち、複数のアプリのマルチ表示処理に関連する構成が示されている。また、携帯端末1におけるその他の構成については、従来と同様であるため、その説明は省略する。   As shown in FIG. 1, the mobile terminal 1 includes a control unit 10, a touch panel 11, a storage unit 12, and a RAM 13. FIG. 1 shows a configuration related to multi-display processing of a plurality of applications among various configurations in the mobile terminal 1. Moreover, since the other structure in the portable terminal 1 is the same as the past, the description is abbreviate | omitted.

タッチパネル11は、表示部21および操作受付部22を含む。表示部21は、制御部10から受信した表示情報に基づいて、表示画面に画像を表示するものである。表示部21は、LCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイなどの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備えた構成である。タッチパネル11に対する入力操作としては、タップ、ダブルタップ、ドラッグ、フリック、ピンチアウト、ピンチインなどを例示することができる。操作受付部22は、表示部21の表示画面上に設置されているか、または該表示画面と一体となって形成されている。操作受付部22は、利用者の指、ペンなど、表示画面上の位置を指し示すポインタが当該表示画面上の何れの位置に接触または接近(以下、「タッチ」という)したかを検出することにより、携帯端末1に対する操作を受け付けるものである。操作受付部22は、タッチを検出した位置の情報である受付情報を制御部10に送信する。なお、本実施形態では、表示部21が表示する領域と、操作受付部22が操作を検出する領域とは同じである。   The touch panel 11 includes a display unit 21 and an operation receiving unit 22. The display unit 21 displays an image on the display screen based on the display information received from the control unit 10. The display unit 21 includes a display element such as an LCD (Liquid Crystal Display) or an EL (Electroluminescence) display, and a driver circuit that drives the display element based on received image data. Examples of the input operation on the touch panel 11 include tap, double tap, drag, flick, pinch out, and pinch in. The operation receiving unit 22 is installed on the display screen of the display unit 21 or is formed integrally with the display screen. The operation reception unit 22 detects which position on the display screen, such as a user's finger or pen, touches or approaches (hereinafter referred to as “touch”) a pointer on the display screen. An operation for the mobile terminal 1 is received. The operation reception unit 22 transmits reception information, which is information on a position where a touch is detected, to the control unit 10. In the present embodiment, the area displayed by the display unit 21 and the area where the operation receiving unit 22 detects an operation are the same.

制御部10は、携帯端末1内の各種構成を統括的に制御するものであり、CPU(Central Processing Unit)などのプロセッサを含む。記憶部12は、各種データおよびプログラムを記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの記憶素子を含む。また、RAM13は、後述するマルチ管理部31の表示領域制御部(表示制御手段)313によって設定された表示領域の表示位置および表示サイズ等を一時的に記憶するものである。なお、制御部10内のRAMをRAM13として用いても良い。次に、制御部10には、マルチ管理部31およびアプリケーション実行部32が含まれている。また、マルチ管理部31は、仮想KB検知部(キーボード検知手段)311、OBJ操作検知部(操作検知手段)312および表示領域制御部313を含む。さらに、アプリケーション実行部32は、仮想KB処理部33を含む。なお、OBJは、オブジェクトの略称であり、本明細書では、文字情報(文字および文字列などのテキストデータ)、画像情報(静止画および動画などのイメージデータ)、およびGUI(Graphical User Interface)を構成する表示対象物やポップアップなどの総称として用いている。なお、OBJとしての画像の種類はどのようなものであってもよく、サムネイル画像なども含まれる。また、GUIを構成する表示対象物としては、例えば、仮想ボタンおよび仮想スイッチなど、ユーザによる選択を受け付けるための操作用オブジェクトを挙示できる。   The control unit 10 comprehensively controls various components in the mobile terminal 1 and includes a processor such as a CPU (Central Processing Unit). The storage unit 12 stores various data and programs, and includes storage elements such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory. The RAM 13 temporarily stores the display position, display size, and the like of the display area set by a display area control unit (display control means) 313 of the multi-management unit 31 described later. Note that the RAM in the control unit 10 may be used as the RAM 13. Next, the control unit 10 includes a multi-management unit 31 and an application execution unit 32. The multi-management unit 31 includes a virtual KB detection unit (keyboard detection unit) 311, an OBJ operation detection unit (operation detection unit) 312, and a display area control unit 313. Further, the application execution unit 32 includes a virtual KB processing unit 33. OBJ is an abbreviation for an object. In this specification, character information (text data such as characters and character strings), image information (image data such as still images and moving images), and GUI (Graphical User Interface) are used. It is used as a general term for display objects and pop-ups that make up. Note that any type of image as an OBJ may be used, including thumbnail images. In addition, as display objects constituting the GUI, for example, operation objects for accepting selection by the user, such as virtual buttons and virtual switches, can be listed.

仮想KB検知部311は、アプリケーション実行部32の仮想KB処理部33によって複数のアプリのうちの少なくとも一つのアプリで仮想KBが起動されたか否かを検知するものである。   The virtual KB detection unit 311 detects whether or not the virtual KB is activated by at least one of the plurality of applications by the virtual KB processing unit 33 of the application execution unit 32.

OBJ操作検知部312は、仮想KB検知部311によって仮想KBが起動されたと検知した場合、仮想KBが起動されたアプリ(第1アプリ)とは別のアプリ(第2アプリ)でOBJを操作中(例えば、文字の指定、OBJの選択など)であるか否かを検知するものである。また、OBJ操作検知部312は、第2アプリで操作中であったOBJに対する操作が完了したか否かをも検知できるようになっている。   When the virtual KB detection unit 311 detects that the virtual KB is activated, the OBJ operation detection unit 312 is operating the OBJ with an application (second application) different from the application (first application) from which the virtual KB is activated. (For example, designation of characters, selection of OBJ, etc.) is detected. The OBJ operation detection unit 312 can also detect whether or not the operation for the OBJ being operated by the second application has been completed.

表示領域制御部313は、少なくとも2つのアプリが実行されている場合で、一方のアプリ(第1アプリ)において仮想KBを起動する処理が実行されたとき、他方のアプリ(第2アプリ)で何らかのOBJを操作中であると検知した場合、他方のアプリの表示領域を変更せずに維持するものである。   The display area control unit 313 is configured so that when at least two applications are executed and when the process of starting the virtual KB is executed in one application (first application), the other application (second application) When it is detected that the OBJ is being operated, the display area of the other application is maintained without being changed.

また、表示領域制御部313は、上記の一方のアプリにおいて仮想KBを起動する処理が実行されたとき、OBJを操作中でないと検知した場合、仮想KBに対する操作を阻害しないように、他方のアプリの表示領域の表示位置および表示サイズを設定し、設定した表示位置および表示サイズで当該アプリが表示されるように表示情報を表示部21へ受け渡すものである。より具体的には、表示領域制御部313は、第2アプリの表示領域を変更する場合、該表示領域を、縦横比を維持したまま縮小した大きさとし、第2アプリの表示位置を、表示されている仮想キーボードにより入力されるテキストデータが表示される位置を示すカーソル位置から所定の文字数分の領域とは重ならない位置とする。これにより、第2アプリは、仮想KB、および、これからまさに文字が入力されようとしている領域とは重ならないように表示されるので、第2アプリが表示されることにより、仮想KBに対する操作を阻害してしまうことを防止できる。   In addition, when the process for starting the virtual KB is executed in one of the applications described above, the display area control unit 313 detects that the OBJ is not being operated, so that the other application is not disturbed. The display position and the display size of the display area are set, and the display information is transferred to the display unit 21 so that the application is displayed at the set display position and display size. More specifically, when changing the display area of the second application, the display area control unit 313 displays the display position of the second application by reducing the display area while maintaining the aspect ratio. A position that does not overlap with a predetermined number of characters from a cursor position indicating a position where text data input by the virtual keyboard is displayed. As a result, the second application is displayed so that it does not overlap with the virtual KB and the area where characters are about to be input, so that the operation on the virtual KB is inhibited by displaying the second application. Can be prevented.

さらに、表示領域制御部313は、第2アプリの表示位置を、仮想KBによる文字入力の終了直後に操作が必要となる領域と重ならない位置とする。これにより、第2アプリは、仮想KBによる文字入力の終了直後に操作が必要となる領域(例えば、仮想ボタンまたは仮想キーなどのGUIを構成する表示対象物の表示領域)とは重ならないように表示される。これにより、他方のアプリが表示されることにより、一方のアプリの仮想KBに対する操作の完了を阻害してしまうということを抑制することができる。   Further, the display area control unit 313 sets the display position of the second application to a position that does not overlap with an area that requires an operation immediately after the end of character input using the virtual KB. As a result, the second application does not overlap with an area that requires an operation immediately after the end of character input using the virtual KB (for example, a display area of a display object constituting a GUI such as a virtual button or a virtual key). Is displayed. Thereby, it can suppress that the completion of operation with respect to virtual KB of one application is inhibited by displaying the other application.

また、表示領域制御部313は、他方のアプリの変更前の表示領域の表示位置および表示サイズ等をRAM13に記憶させ、仮想KBの処理が終了(完了)したときに、当該他方のアプリを変更前表示位置および表示サイズで表示されるように表示情報を表示部21へ受け渡す。なお、アプリの表示領域の表示位置および表示サイズの設定処理の流れについては後述する。また、表示領域制御部313は、アプリケーション実行部32から取得したアプリ実行情報に基づいて、当該アプリの表示領域の表示位置および表示サイズを設定し、設定した表示領域および表示位置を含む当該アプリを実行するための情報を表示情報として表示部21に受け渡す。   In addition, the display area control unit 313 stores the display position, display size, and the like of the display area before the change of the other application in the RAM 13, and changes the other application when the virtual KB processing is completed (completed). The display information is transferred to the display unit 21 so as to be displayed at the previous display position and display size. The flow of processing for setting the display position and display size of the display area of the application will be described later. Further, the display area control unit 313 sets the display position and display size of the display area of the application based on the application execution information acquired from the application execution unit 32, and selects the application including the set display area and display position. Information for execution is transferred to the display unit 21 as display information.

また、表示領域制御部313は、アプリケーション実行部32から取得したアプリ実行情報が、複数のアプリを実行していることを示すものである場合、各アプリの表示領域の表示位置および表示サイズを適切に設定して、表示情報として表示部21に受け渡す。また、表示領域制御部313は、設定した表示位置および表示サイズを示す情報をRAM13に格納する。また、表示領域制御部313は、OBJ操作検知部312がOBJに対する操作が完了したと検知した場合、仮想KBに対する操作を阻害しないように第2アプリの表示領域を変更する制御を行う。これにより、第2アプリでOBJを操作中に、第1アプリの仮想KBが起動され、その後、第2アプリのOBJの操作が完了した場合、第2のアプリの表示領域を仮想KBに対する操作を阻害しないように変更する。これにより、OBJの操作が完了した第2アプリの表示により仮想KBの操作が阻害されたりすることがない。   In addition, when the application execution information acquired from the application execution unit 32 indicates that a plurality of applications are being executed, the display area control unit 313 appropriately sets the display position and the display size of each application. And is transferred to the display unit 21 as display information. The display area control unit 313 stores information indicating the set display position and display size in the RAM 13. In addition, when the OBJ operation detection unit 312 detects that the operation on the OBJ is completed, the display area control unit 313 performs control to change the display area of the second application so as not to disturb the operation on the virtual KB. As a result, the virtual KB of the first app is activated while the OBJ is being operated by the second app. After that, when the operation of the OBJ of the second app is completed, the display area of the second app is operated on the virtual KB. Change so as not to interfere. Thereby, the operation of the virtual KB is not hindered by the display of the second application that has completed the operation of the OBJ.

アプリケーション実行部32は、携帯端末1で実行される様々なアプリを処理するものである。アプリの実行処理は、従来技術により可能であるので、その説明は省略する。仮想KB処理部33は、仮想KBに関する処理を実行する。   The application execution unit 32 processes various applications executed on the mobile terminal 1. Since the application execution process can be performed by the conventional technique, the description thereof is omitted. The virtual KB processing unit 33 executes processing related to the virtual KB.

<処理の流れ>
次に、図2(b)および(c)、図3、図4(a)および(b)を参照して、最初に、携帯端末1において、サブアプリ(第2アプリ)の表示領域の表示位置および表示サイズが変更される処理の流れについて説明し、その後、サブアプリの表示領域の表示位置および表示サイズが、サブアプリの状態によって、変更されず維持されたり、変更されたりするフローについて説明する。図3は、サブアプリの表示領域の表示位置および表示サイズが、サブアプリの状態によって、変更されず維持されたり、変更されたりする処理の流れを示すフローチャートである。また、図2(b)および(c)は、サブアプリの表示領域の表示位置および表示サイズが変更される場合の表示例を示す図である。本明細書では、サブアプリとは、仮想KBを起動させたアプリとは別のアプリのことである。
<Process flow>
Next, referring to FIGS. 2B and 2C, FIG. 3, FIG. 4A and FIG. 4B, first, the display position of the display area of the sub application (second application) in the mobile terminal 1 Then, a flow of processing for changing the display size will be described, and then a flow in which the display position and display size of the display area of the sub application are maintained without being changed or changed depending on the state of the sub application will be described. FIG. 3 is a flowchart showing a flow of processing in which the display position and the display size of the display area of the sub application are maintained without being changed or changed depending on the state of the sub application. FIGS. 2B and 2C are diagrams illustrating display examples when the display position and display size of the display area of the sub application are changed. In this specification, the sub-application is an application different from the application that activates the virtual KB.

図2(b)に示すように、メールアプリ(第1アプリ)の本文入力エリア51をタップ(選択)すると、その操作結果は、操作受付部22を介して受付情報としてアプリケーション実行部32の仮想KB処理部33に受け渡される。仮想KB処理部33は、上記受付情報を受け取ると、仮想KBを起動させる。アプリケーション実行部32は、仮想KB処理部34によって仮想KBが起動されると、起動中のアプリに関する情報(仮想KBが起動されたことを示す情報を含む)アプリケーション実行情報(以下、「アプリ実行情報」と略称する)が、アプリケーション実行部32からマルチ管理部31の仮想KB検知部311に受け渡される。仮想KBは、例えば、メールアプリが起動している場合で、メール作成の指示を受け付けたとき等に起動する。例えば、図2(b)に示すように、メールアプリとTVアプリ大55bとが同時に起動しており、メールアプリの返信ボタン56が指などで押下されると、図2(c)に示すように仮想KBが起動する。このとき、仮想KBが起動すると、本文入力エリア51および差出人入力エリア52が表示されるとともに、サブアプリであるTVアプリ小55sの表示位置が表示部21の上部中央よりやや右側となるとともに、表示領域の表示サイズが元の表示領域の表示サイズの半分程度となる。   As shown in FIG. 2B, when the text input area 51 of the mail application (first application) is tapped (selected), the operation result is received as virtual information of the application execution unit 32 via the operation reception unit 22. It is delivered to the KB processing unit 33. When receiving the reception information, the virtual KB processing unit 33 activates the virtual KB. When the virtual KB is activated by the virtual KB processing unit 34, the application execution unit 32 includes information related to the activated application (including information indicating that the virtual KB has been activated), application execution information (hereinafter, “application execution information”). Is abbreviated as “”) from the application execution unit 32 to the virtual KB detection unit 311 of the multi-management unit 31. The virtual KB is activated when, for example, a mail application is activated and an email creation instruction is accepted. For example, as shown in FIG. 2B, when the mail application and the TV application size 55b are activated simultaneously and the reply button 56 of the mail application is pressed with a finger or the like, as shown in FIG. Virtual KB is activated. At this time, when the virtual KB is activated, the text input area 51 and the sender input area 52 are displayed, and the display position of the TV application small 55s as the sub application is slightly on the right side from the upper center of the display unit 21, and the display area Is about half the display size of the original display area.

このとき、TVアプリ小55sの表示位置は、本文入力エリア51における文字入力位置に重ならず、かつ、仮想KBおよび送信ボタン56(文字入力の終了直後に操作が必要となる領域)にも重ならない位置である。さらに、TVアプリ小55sの表示領域は、テレビの視聴が困難とならない大きさである。これにより、表示されているテレビによって、仮想KBに対する操作が阻害されることがないので、ユーザに対し、テレビを視聴しつつ、仮想KBに対する操作を可能にすることができる。したがって、仮想KBを操作するために、テレビで放映されていた貴重なシーンを見逃してしまうということを防止することができる。なお、設定後の表示領域は、設定前の表示領域と縦横比が同じであることが望ましい。縦横比が異なると、表示内容が乱れ、視聴者に混乱を与える可能性があるためである。また、表示領域は、予め複数の大きさ(例えば、3段階)の表示領域を設定し、適切なサイズを選択することによって設定してもよいし、本文入力エリア51の大きさに応じて無段階で設定してもよい。また、TVアプリを表示するのに最適な表示位置および表示サイズを、演算処理等を行って設定してもよい。最適な表示位置および表示サイズとは、仮想KBおよび仮想KBを起動したアプリが表示しているメニューボタンに重ならないような位置で、かつ、これから入力した文字が表示されるであろう位置とも重ならないようなものを指している。   At this time, the display position of the TV application small 55s does not overlap with the character input position in the text input area 51, and also overlaps with the virtual KB and the transmission button 56 (an area that requires an operation immediately after the character input ends). It is a position that should not be. Further, the display area of the TV application small 55s is a size that does not make it difficult to view the TV. As a result, since the operation on the virtual KB is not hindered by the displayed television, it is possible for the user to perform the operation on the virtual KB while viewing the television. Therefore, it is possible to prevent the precious scene broadcast on the television from being overlooked in order to operate the virtual KB. It is desirable that the display area after setting has the same aspect ratio as the display area before setting. This is because if the aspect ratio is different, the display content is disturbed, which may confuse the viewer. The display area may be set by setting a display area of a plurality of sizes (for example, three levels) in advance and selecting an appropriate size, or may be set according to the size of the text input area 51. It may be set in stages. Further, the optimal display position and display size for displaying the TV application may be set by performing arithmetic processing or the like. The optimal display position and display size are positions that do not overlap with the menu button displayed by the virtual KB and the application that has started the virtual KB, and overlap with the position where the input character will be displayed. It points to something that will not be.

次に、以下では、第2アプリの表示領域の表示位置および表示サイズが、第2アプリの状態によって、変更されず維持されたり、変更されたりするフローについて説明する。   Next, a flow in which the display position and the display size of the display area of the second application are maintained without being changed or changed depending on the state of the second application will be described below.

図3に示すS1で、仮想KB検知部311は、上記アプリ実行情報に基づき、メールアプリによって仮想KBが起動されたか否かを判定し、仮想KBが起動されたと判定した場合、その結果(以下、「KB起動アプリ情報」という;KB起動アプリ情報には、仮想KBを起動したアプリの識別情報なども含まれる)を、アプリ実行情報とともにOBJ操作検知部312に受け渡し、S2に進む(YES)。一方、起動中のいずれのアプリも仮想KBを起動していない場合は、S1に戻る(NO)。   In S1 shown in FIG. 3, the virtual KB detection unit 311 determines whether or not the virtual KB is activated by the mail application based on the application execution information. , “KB-started application information”; the KB-started application information includes the identification information of the application that started the virtual KB) and the application execution information, and passes it to the OBJ operation detection unit 312 and proceeds to S2 (YES) . On the other hand, if none of the activated applications has activated virtual KB, the process returns to S1 (NO).

S2で、OBJ操作検知部312は、KB起動アプリ情報およびアプリ実行情報を受け、複数のアプリが表示(起動)されているか否かを判定し、複数のアプリが起動中(表示中)の場合、その判定結果(複数アプリ起動情報)を上記アプリ実行情報および上記KB起動情報とともに、表示領域制御部313に受け渡してS3に進む(YES)。一方、複数のアプリが表示されていない場合は、S11に進む(NO)。S11では、表示領域制御部313が、メールアプリで起動された仮想KBを表示してS12に進む。S12で仮想KBが終了すると「END」に進む。   In S2, the OBJ operation detection unit 312 receives the KB activation application information and the application execution information, determines whether or not a plurality of applications are displayed (activated), and a plurality of applications are activated (displayed). Then, the determination result (multiple application activation information) is transferred to the display area control unit 313 together with the application execution information and the KB activation information, and the process proceeds to S3 (YES). On the other hand, if a plurality of applications are not displayed, the process proceeds to S11 (NO). In S11, the display area control unit 313 displays the virtual KB activated by the mail application, and proceeds to S12. When the virtual KB ends in S12, the process proceeds to "END".

S3では、OBJ操作検知部312は、サブアプリにてOBJを操作中か否かを判定し、OBJを操作中の場合、その判定結果(OBJ操作中情報)を表示領域制御部313に受け渡してS4に進む(YES)。一方、サブアプリにてOBJを操作中でない場合、その判定結果(OBJ非操作中情報)を表示領域制御部313に受け渡してS6に進む(YES)。   In S3, the OBJ operation detection unit 312 determines whether or not the OBJ is being operated by the sub application. If the OBJ is being operated, the determination result (OBJ operating information) is transferred to the display area control unit 313, and S4 is processed. Go to (YES). On the other hand, when the OBJ is not being operated by the sub application, the determination result (information not being operated on OBJ) is transferred to the display area control unit 313, and the process proceeds to S6 (YES).

S4では、表示領域制御部313は、サブアプリの表示領域の表示位置および表示サイズを変更せず、元のままで維持し、S5に進む。   In S4, the display area control unit 313 does not change the display position and display size of the display area of the sub application, and keeps them as they are, and proceeds to S5.

S5では、OBJ操作検知部312は、サブアプリにてOBJの操作が完了したか否かを判定し(すなわち、OBJ操作検知部312は、サブアプリにてOBJが操作中か否かを常時または定期的に監視している)サブアプリにてOBJの操作が完了したと判定した場合、その判定結果(OBJ操作完了情報、または上述したOBJ非操作中情報であっても良い。)を表示領域制御部313に受け渡してS6に進む(YES)。一方、OBJ操作検知部312がサブアプリにてOBJの操作が完了していないと判定した場合は、S4に戻る(NO)。   In S5, the OBJ operation detection unit 312 determines whether or not the operation of the OBJ has been completed in the sub application (that is, the OBJ operation detection unit 312 determines whether or not the OBJ is being operated in the sub application constantly or periodically. When the OBJ operation is determined to have been completed by the sub-app), the display area control unit 313 displays the determination result (which may be the OBJ operation completion information or the OBJ non-operation information described above). And proceed to S6 (YES). On the other hand, if the OBJ operation detection unit 312 determines that the OBJ operation has not been completed in the sub application, the process returns to S4 (NO).

サブアプリの表示領域の表示位置および表示サイズを変更せず、元のままで維持する場合の表示例について、図4(a)および(b)を用いて説明する。図4(a)に示す状態では、メールアプリとともにテキスト編集アプリ57が表示され、ユーザは、「傘の準備をお願いします」という文書の範囲選択を行っている(OBJを操作中の状態の一例;範囲選択された網掛け部分がOBJに相当する。)。この状態で、本文入力エリア51をタップして、仮想KBを起動させた場合、本実施形態では、テキスト編集アプリ57でOBJを操作中であるため、図4(b)に示すように、テキスト編集アプリ57の表示領域の表示位置および表示サイズを変更しないで、元の状態で維持する。このとき、仮想KBは、テキスト編集アプリ57の表示領域の背面に表示される。   A display example in the case where the display position and the display size of the display area of the sub application are not changed and is maintained as it is will be described with reference to FIGS. 4A and 4B. In the state shown in FIG. 4A, the text editing application 57 is displayed together with the mail application, and the user selects the document range “Please prepare the umbrella” (in the state where the OBJ is being operated). An example; a shaded portion with a range selected corresponds to OBJ.) In this state, when the body KB input area 51 is tapped to activate the virtual KB, in this embodiment, since the OBJ is being operated by the text editing application 57, as shown in FIG. The display position and display size of the display area of the editing application 57 are not changed, and the original state is maintained. At this time, the virtual KB is displayed on the back of the display area of the text editing application 57.

S6では、表示領域制御部313は、サブアプリの表示領域の表示位置および表示サイズをRAM13に記憶させてS7に進む。   In S6, the display area control unit 313 stores the display position and display size of the display area of the sub application in the RAM 13, and proceeds to S7.

S7では、表示領域制御部313は、仮想KBが表示され、サブアプリの表示領域の表示位置および表示サイズを変更し、変更後の表示領域および表示サイズでサブアプリが表示されるように表示情報を表示部21に受け渡して、S8に進む。S8では、表示部21に仮想KBを表示し、サブアプリを変更後の表示領域および表示サイズで表示してS9に進む〔図2(c)参照〕。   In S7, the display area control unit 313 displays the virtual KB, changes the display position and display size of the display area of the sub application, and displays the display information so that the sub application is displayed in the changed display area and display size. The data is transferred to the unit 21, and the process proceeds to S8. In S8, the virtual KB is displayed on the display unit 21, the sub-application is displayed in the changed display area and display size, and the process proceeds to S9 (see FIG. 2C).

S9で仮想KBが終了するとS10に進む(YES)。一方、仮想KBが終了していない場合、S9に戻る(NO)。   When the virtual KB ends in S9, the process proceeds to S10 (YES). On the other hand, if the virtual KB has not ended, the process returns to S9 (NO).

仮想KBが終了するタイミングとしては、例えば、サブアプリのOBJのドラッグ&ドロップの完了後などサブアプリの側で必要な操作が完了したタイミングを挙示することができる。   As the timing at which the virtual KB ends, for example, a timing at which a necessary operation on the side of the sub application such as after completion of the drag and drop of the OBJ of the sub application is completed can be listed.

S10では、表示領域制御部313は、RAM13に格納していた、変更前の表示領域の表示位置および表示サイズでサブアプリを表示するように、表示情報を表示部21に受け渡し、サブアプリの表示を変更前の表示にし、処理が終了する(END)。   In S10, the display area control unit 313 passes the display information to the display unit 21 and changes the display of the sub application so that the sub application is displayed at the display position and display size of the display area before the change stored in the RAM 13. The previous display is made and the process ends (END).

以上で説明した携帯端末1によれば、第2アプリでOBJを操作中(例えば、何らかのOBJを選択中)に、第1アプリの仮想KBを起動した場合、第2のアプリの表示領域が変更されず維持される(第2アプリの表示位置および表示サイズの変更要求などを無視する)。このため、起動した仮想KBにより操作中の第2アプリケーションの表示が妨げられることがない。また、上記の携帯端末1によれば、第2アプリでOBJを操作中でない場合に、第1アプリの仮想KBを起動した場合、第2のアプリの表示領域が仮想KBに対する操作を阻害しないように変更される。これにより、第2アプリの表示により仮想KBに対する操作が阻害されたりすることもない。以上により、仮想KBにより操作中のアプリの表示が妨げられたり、アプリの表示により仮想KBに対する操作が阻害されたりすることのない情報端末を実現できる。   According to the mobile terminal 1 described above, when the virtual KB of the first application is activated while the OBJ is being operated by the second application (for example, when some OBJ is selected), the display area of the second application is changed. (The display position and display size change request of the second application are ignored). For this reason, the display of the second application being operated is not hindered by the activated virtual KB. Further, according to the portable terminal 1 described above, when the virtual KB of the first application is activated when the OBJ is not being operated by the second application, the display area of the second application does not hinder the operation on the virtual KB. Changed to Thereby, the operation on the virtual KB is not hindered by the display of the second application. As described above, it is possible to realize an information terminal in which the virtual KB does not hinder the display of the application being operated or the operation of the virtual KB is not hindered by the display of the application.

〔実施形態2:表示部の表示形態に関するバリエーション〕
以下、表示部21の表示形態に関するバリエーションについて説明する。
[Embodiment 2: Variation on display form of display unit]
Hereinafter, the variation regarding the display form of the display part 21 is demonstrated.

<表示形態1>
以下、表示部21の表示形態1について、図4(c)および(d)を参照して説明する。図4(c)に示す状態では、メールアプリとともに画像編集アプリ58が表示されている。また、画像編集アプリ58では、ユーザは、表示されている複数の画像のうち、チェックボックスにチェックの入った3つの画像を選択している。この状態で、本文入力エリア51をタップして、仮想KBを起動させた場合、本実施形態では、図1に示すOBJ操作検知部312は、画像編集アプリ58でOBJ(画像)を操作中と判断し、表示領域制御部313は、図4(d)に示すように、テキスト編集アプリ57の表示領域の表示位置および表示サイズを変更しないで、元の状態で維持する。このとき、仮想KBは、画像編集アプリ58の表示領域の背面に表示される。
<Display form 1>
Hereinafter, the display form 1 of the display part 21 is demonstrated with reference to FIG.4 (c) and (d). In the state shown in FIG. 4C, the image editing application 58 is displayed together with the mail application. Further, in the image editing application 58, the user selects three images whose check boxes are checked among the plurality of displayed images. In this state, when the text input area 51 is tapped to activate the virtual KB, in this embodiment, the OBJ operation detection unit 312 illustrated in FIG. 1 is operating the OBJ (image) with the image editing application 58. The display area control unit 313 determines and maintains the display area and the display size of the display area of the text editing application 57 in the original state as shown in FIG. 4D. At this time, the virtual KB is displayed on the back of the display area of the image editing application 58.

<表示形態2>
以下、表示部21の表示形態2について、図5(a)および(b)を参照して説明する。図5(a)に示す状態では、メールアプリとともにテキスト編集アプリ57が表示されている。また、テキスト編集アプリ57では、ユーザは、「傘の準備をお願い・・・」という文章中の「準備」という日本語を範囲選択することにより、その後のユーザ操作を促すポップアップ表示60が表示されている(同図では操作コマンドとして、決定、選択、編集が表示されている)。この状態で、本文入力エリア51をタップして、仮想KBを起動させた場合、本実施形態では、図1に示すOBJ操作検知部312は、テキスト編集アプリ57でOBJ(ポップアップ表示60)を操作中であるため、図5(b)に示すように、テキスト編集アプリ57の表示領域の表示位置および表示サイズを変更しないで、元の状態で維持する。このとき、仮想KBは、テキスト編集アプリ57の表示領域の背面に表示される。
<Display form 2>
Hereinafter, the display form 2 of the display part 21 is demonstrated with reference to Fig.5 (a) and (b). In the state shown in FIG. 5A, the text editing application 57 is displayed together with the mail application. In the text editing application 57, the user selects a Japanese word “preparation” in the sentence “Please prepare an umbrella ...” to display a pop-up display 60 that prompts subsequent user operations. (In the figure, determination, selection, and editing are displayed as operation commands). In this state, when the body KB input area 51 is tapped to activate the virtual KB, in this embodiment, the OBJ operation detection unit 312 shown in FIG. Since it is in the middle, as shown in FIG. 5B, the display position and the display size of the display area of the text editing application 57 are not changed, and the original state is maintained. At this time, the virtual KB is displayed on the back of the display area of the text editing application 57.

〔その他〕
上述した実施形態では、テレビアプリを例に挙げて説明したが、これに限られるものではなく、動画再生アプリであってもよいし、静止画を表示するアプリやテキスト等を表示するアプリであってもよい。なお、動画等は、インターネットからダウンロードしたものであってもよいし、ユーザ自身が撮影したものであってもよい。また、上述した実施形態では、仮想KBが表示される場合を例に挙げて説明したが、これに限られるものではなく、ポップアップによるオプションメニューの表示等がされる場合であってもよい。
[Others]
In the above-described embodiment, the TV application has been described as an example. However, the present invention is not limited thereto, and may be a video playback application, an application that displays a still image, an application that displays text, or the like. May be. Note that the video or the like may be downloaded from the Internet or may be taken by the user himself / herself. In the above-described embodiment, the case where the virtual KB is displayed has been described as an example. However, the present invention is not limited to this, and an option menu may be displayed using a pop-up.

また、上述した実施形態では、仮想KBのみが表示される場合と、仮想KBの他にアプリも表示されている場合とで、仮想KBの表示領域の大きさは変化していないが、他のアプリが表示される場合に仮想KBの表示領域を小さくするものであってもよい。また、上述した実施形態では、日本語のキーボードを想定した仮想KBを例に挙げて説明したが、英語等のキーボードであってもよい。   In the embodiment described above, the size of the display area of the virtual KB does not change between the case where only the virtual KB is displayed and the case where the application is displayed in addition to the virtual KB. When the application is displayed, the display area of the virtual KB may be reduced. In the embodiment described above, the virtual KB assuming a Japanese keyboard has been described as an example, but a keyboard such as English may be used.

〔実施形態3;ソフトウェアによる実現例〕
携帯端末1の制御部10(特にマルチ管理部31およびアプリケーション実行部32)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPUを用いてソフトウェアによって実現してもよい。
[Embodiment 3; Implementation by software]
The control unit 10 (particularly the multi-management unit 31 and the application execution unit 32) of the mobile terminal 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or using a CPU. It may be realized by software.

後者の場合、携帯端末1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROMまたは記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAMなどを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。   In the latter case, the mobile terminal 1 includes a CPU that executes instructions of a program that is software that implements each function, a ROM or a storage device in which the above-described program and various data are recorded so as to be readable by a computer (or CPU). (Referred to as a “recording medium”), a RAM for developing the program, and the like. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

〔まとめ〕
本発明の態様1に係る情報端末は、第1アプリケーションで仮想キーボード(以下、「仮想KB」と略称する)が起動されたことを検知するキーボード検知手段(仮想KB検知部311)と、上記キーボード検知手段が、上記仮想キーボードが起動されたと検知した場合、上記第1アプリケーションとは別の第2アプリケーションでオブジェクト(以下、「OBJ」と略称する)を操作中か否かを検知する操作検知手段(OBJ操作検知部312)と、上記操作検知手段が、上記オブジェクトを操作中であると検知した場合、上記第2アプリケーションの表示領域を変更せずに維持する制御を行う表示制御手段(表示領域制御部313)と、を備える。
[Summary]
An information terminal according to aspect 1 of the present invention includes a keyboard detection unit (virtual KB detection unit 311) that detects that a virtual keyboard (hereinafter, abbreviated as “virtual KB”) is activated in a first application, and the keyboard. When the detection means detects that the virtual keyboard is activated, the operation detection means detects whether or not an object (hereinafter abbreviated as “OBJ”) is being operated by a second application different from the first application. When the (OBJ operation detection unit 312) and the operation detection unit detect that the object is being operated, the display control unit (display region) performs control for maintaining the display area of the second application without changing the display area. A control unit 313).

上記の構成によれば、第2アプリケーション(以下、「第2アプリ」という)でOBJを操作中に、第1アプリケーション(以下、「第1アプリ」という)の仮想KBを起動した場合、第2のアプリの表示領域(その表示位置や表示サイズ)が変更されず維持される。このため、起動した仮想KBにより操作中の第2アプリの表示が妨げられることがない。   According to the above configuration, when the virtual KB of the first application (hereinafter referred to as “first application”) is activated while the OBJ is being operated by the second application (hereinafter referred to as “second application”), The display area of the app (its display position and display size) is not changed and is maintained. For this reason, the display of the second application being operated is not hindered by the activated virtual KB.

以上により、あるアプリで起動した仮想KBによりOBJ操作中の別アプリの表示が妨げられることを抑制することができる。「仮想KB」とは、キーボードを模した画像を表示部に表示し、表示されたキーボード画像に接触すると、接触のあった位置に対応して、実際のキーボードの該当する部分が押下された場合と同様の処理を行うものである。また、本明細書では、「オブジェクト」を、文字情報(テキストデータ)、画像情報(イメージデータ)、およびGUI(Graphical User Interface)を構成する表示対象物およびポップアップなどの総称として用いている。   As described above, it is possible to prevent the display of another application during the OBJ operation from being hindered by the virtual KB activated by a certain application. “Virtual KB” means that when an image imitating the keyboard is displayed on the display unit and the displayed keyboard image is touched, the corresponding part of the actual keyboard is pressed in correspondence with the touched position The same processing is performed. Further, in this specification, “object” is used as a general term for character information (text data), image information (image data), display objects that constitute GUI (Graphical User Interface), and pop-ups.

本発明の態様2に係る情報端末は、上記態様1において、上記操作検知手段は、上記第2アプリケーションで操作中であったオブジェクトに対する操作が完了したか否かを検知し、上記表示制御手段は、上記操作検知手段が、上記オブジェクトに対する操作が完了したと検知した場合、上記仮想キーボードに対する操作を阻害しないように上記第2アプリケーションの表示領域を変更する制御を行っても良い。これにより、OBJの操作が完了した第2アプリケーションの表示により仮想KBの操作が阻害されたりすることがない。   In the information terminal according to aspect 2 of the present invention, in the aspect 1, the operation detection unit detects whether or not the operation on the object being operated in the second application is completed, and the display control unit When the operation detection unit detects that the operation on the object is completed, control may be performed to change the display area of the second application so as not to disturb the operation on the virtual keyboard. Thereby, the operation of the virtual KB is not hindered by the display of the second application that has completed the operation of the OBJ.

本発明の態様3に係る情報端末は、上記態様1または2において、上記表示制御手段は、上記第2アプリケーションの表示領域を変更する場合、該表示領域を、縦横比を維持したまま縮小した大きさとし、上記第2アプリケーションの表示位置を、表示されている仮想キーボードにより入力されるテキストデータが表示される位置を示すカーソル位置から所定の文字数分の領域とは重ならない位置としても良い。これにより、第2アプリケーションは、仮想KB、および、これからまさに文字が入力されようとしている領域とは重ならないように表示されるので、第2アプリケーションが表示されることにより、仮想KBに対する操作を阻害してしまうことを防止できる。   The information terminal according to aspect 3 of the present invention is the information terminal according to aspect 1 or 2, wherein when the display control unit changes the display area of the second application, the display area is reduced in size while maintaining the aspect ratio. The display position of the second application may be a position that does not overlap with a predetermined number of characters from the cursor position indicating the position where the text data input by the displayed virtual keyboard is displayed. As a result, the second application is displayed so that it does not overlap with the virtual KB and the area where characters are about to be input. Therefore, the operation on the virtual KB is inhibited by displaying the second application. Can be prevented.

本発明の態様3に係る情報端末は、上記態様1〜3において、上記表示制御手段は、上記第2アプリケーションの表示領域を変更する場合、上記第2アプリケーションの表示位置を、上記仮想キーボードによる文字入力の終了直後に操作が必要となる領域と重ならない位置としても良い。これにより、第2アプリケーションは、仮想キーボードによる文字入力の終了直後に操作が必要となる領域(例えば、仮想ボタンまたは仮想キーなどのGUIを構成する表示対象物の表示領域)とは重ならないように表示される。このため、第2アプリケーションが表示されることにより、第1アプリケーションの仮想KBに対する操作の完了を阻害してしまうということを防止することができる。   In the information terminal according to aspect 3 of the present invention, in the above aspects 1 to 3, when the display control means changes the display area of the second application, the display position of the second application is set to the character by the virtual keyboard. It may be a position that does not overlap with an area that requires an operation immediately after the end of input. As a result, the second application does not overlap with an area (for example, a display area of a display object constituting a GUI such as a virtual button or a virtual key) that requires an operation immediately after the character input by the virtual keyboard is finished. Is displayed. For this reason, it can prevent that the completion of operation with respect to virtual KB of a 1st application is inhibited by displaying a 2nd application.

本発明の各態様に係る情報端末は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報端末が備える各手段として動作させることにより上記情報端末をコンピュータにて実現させる情報端末の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。   The information terminal according to each aspect of the present invention may be realized by a computer. In this case, the information terminal is realized by the computer by causing the computer to operate as each unit included in the information terminal. A control program and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.

本発明は、複数のアプリが実行可能な情報端末に利用することができる。   The present invention can be used for an information terminal capable of executing a plurality of applications.

1 携帯端末(情報端末)
311 仮想KB検知部(キーボード検知手段)
312 OBJ操作検知部(操作検知手段)
313 表示領域制御部(表示制御手段)
53 仮想KB(仮想キーボード)
54 カーソル位置
1 Mobile terminal (information terminal)
311 Virtual KB detection unit (keyboard detection means)
312 OBJ operation detection unit (operation detection means)
313 Display area control unit (display control means)
53 Virtual KB (Virtual Keyboard)
54 Cursor position

Claims (5)

第1アプリケーションで仮想キーボードが起動されたことを検知するキーボード検知手段と、
上記キーボード検知手段が、上記仮想キーボードが起動されたと検知した場合、上記第1アプリケーションとは別の第2アプリケーションの表示領域に含まれているオブジェクトが、ユーザによる選択を受け付けている操作中か否かを検知する操作検知手段と、
上記操作検知手段が、上記オブジェクトを操作中であると検知した場合、上記第2アプリケーションの表示領域を変更せずに維持する制御を行う表示制御手段と、を備えることを特徴とする情報端末。
Keyboard detecting means for detecting that the virtual keyboard is activated in the first application;
When the keyboard detection unit detects that the virtual keyboard is activated, whether or not an object included in the display area of the second application different from the first application is in an operation of accepting selection by the user An operation detection means for detecting
An information terminal comprising: display control means for performing control to maintain the display area of the second application without changing when the operation detection means detects that the object is being operated.
上記操作検知手段は、上記第2アプリケーションで操作中であったオブジェクトに対する操作が完了したか否かを検知し、
上記表示制御手段は、上記操作検知手段が、上記オブジェクトに対する操作が完了したと検知した場合、上記仮想キーボードに対する操作を阻害しないように上記第2アプリケーションの表示領域を変更する制御を行うことを特徴とする請求項1に記載の情報端末。
The operation detecting means detects whether or not the operation on the object being operated in the second application is completed,
The display control means performs control to change the display area of the second application so as not to hinder the operation on the virtual keyboard when the operation detection means detects that the operation on the object is completed. The information terminal according to claim 1.
上記表示制御手段は、上記第2アプリケーションの表示領域を変更する場合、該表示領域を、縦横比を維持したまま縮小した大きさとし、上記第2アプリケーションの表示位置を、表示されている仮想キーボードにより入力されるテキストデータが表示される位置を示すカーソル位置から所定の文字数分の領域とは重ならない位置とすることを特徴とする請求項1または2に記載の情報端末。   When changing the display area of the second application, the display control means sets the display area to a size that is reduced while maintaining the aspect ratio, and sets the display position of the second application using the displayed virtual keyboard. The information terminal according to claim 1, wherein the information terminal is set to a position that does not overlap with a predetermined number of characters from a cursor position indicating a position at which input text data is displayed. 上記表示制御手段は、上記第2アプリケーションの表示領域を変更する場合、上記第2アプリケーションの表示位置を、上記仮想キーボードによる文字入力の終了直後に操作が必要となる領域と重ならない位置とすることを特徴とする請求項1から3までのいずれか1項に記載の情報端末。   When changing the display area of the second application, the display control means sets the display position of the second application to a position that does not overlap with an area that requires an operation immediately after the end of character input by the virtual keyboard. The information terminal according to any one of claims 1 to 3, wherein: 請求項1から4までのいずれか1項に記載の情報端末を動作させるための制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。   The control program for operating the information terminal of any one of Claim 1 to 4, Comprising: The control program for functioning a computer as said each means.
JP2013129907A 2013-02-27 2013-06-20 Information terminal and control program Active JP6118190B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013129907A JP6118190B2 (en) 2013-06-20 2013-06-20 Information terminal and control program
US14/437,222 US20150261431A1 (en) 2013-02-27 2014-02-19 Information terminal
CN201480002872.XA CN104823150B (en) 2013-02-27 2014-02-19 information terminal and storage medium
CN201711287317.8A CN107918520A (en) 2013-02-27 2014-02-19 The control method and recording medium of information terminal, information terminal
PCT/JP2014/053933 WO2014132863A1 (en) 2013-02-27 2014-02-19 Information terminal and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013129907A JP6118190B2 (en) 2013-06-20 2013-06-20 Information terminal and control program

Publications (2)

Publication Number Publication Date
JP2015005129A JP2015005129A (en) 2015-01-08
JP6118190B2 true JP6118190B2 (en) 2017-04-19

Family

ID=52300972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013129907A Active JP6118190B2 (en) 2013-02-27 2013-06-20 Information terminal and control program

Country Status (1)

Country Link
JP (1) JP6118190B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148172B2 (en) * 2021-03-03 2022-10-05 VoiceApp株式会社 Caption display processing program, caption display processing device, server.

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02186838A (en) * 1989-01-13 1990-07-23 Matsushita Electric Ind Co Ltd Information processor
JP4631890B2 (en) * 2007-09-14 2011-02-16 ソニー株式会社 Display control apparatus and method, and program
JP2009122890A (en) * 2007-11-14 2009-06-04 Sharp Corp Display device and information processor
JP5109854B2 (en) * 2008-07-28 2012-12-26 富士通株式会社 Display control program, method and apparatus
JP2012212277A (en) * 2011-03-31 2012-11-01 Onkyo Corp Display controller and program for the same

Also Published As

Publication number Publication date
JP2015005129A (en) 2015-01-08

Similar Documents

Publication Publication Date Title
US11947782B2 (en) Device, method, and graphical user interface for manipulating workspace views
US11023055B2 (en) Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus
US20230152940A1 (en) Device, method, and graphical user interface for managing folders
US10915225B2 (en) User terminal apparatus and method of controlling the same
US10452333B2 (en) User terminal device providing user interaction and method therefor
WO2014132863A1 (en) Information terminal and control program
CN107111496B (en) Customizable blade application
KR20210151956A (en) Systems, methods, and user interfaces for interacting with multiple application windows
US11947791B2 (en) Devices, methods, and systems for manipulating user interfaces
CN110837329B (en) Method and electronic device for managing user interface
US9448715B2 (en) Grouping of related graphical interface panels for interaction with a computing device
US20110175826A1 (en) Automatically Displaying and Hiding an On-screen Keyboard
US20110163966A1 (en) Apparatus and Method Having Multiple Application Display Modes Including Mode with Display Resolution of Another Apparatus
US20160320923A1 (en) Display apparatus and user interface providing method thereof
KR102080146B1 (en) Operating Method associated with connected Electronic Device with External Display Device and Electronic Device supporting the same
US20140218289A1 (en) Electronic device with control interface and methods therefor
US20150082211A1 (en) Terminal and method for editing user interface
US10481790B2 (en) Method and apparatus for inputting information by using on-screen keyboard
TW201333822A (en) Apparatus and method for providing transitions between screens
JP2014164718A (en) Information terminal
US10691333B2 (en) Method and apparatus for inputting character
US20160004406A1 (en) Electronic device and method of displaying a screen in the electronic device
CN106033301B (en) Application program desktop management method and touch screen terminal
US20130159934A1 (en) Changing idle screens
US9501206B2 (en) Information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170324

R150 Certificate of patent or registration of utility model

Ref document number: 6118190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150