JP6118190B2 - Information terminal and control program - Google Patents
Information terminal and control program Download PDFInfo
- Publication number
- JP6118190B2 JP6118190B2 JP2013129907A JP2013129907A JP6118190B2 JP 6118190 B2 JP6118190 B2 JP 6118190B2 JP 2013129907 A JP2013129907 A JP 2013129907A JP 2013129907 A JP2013129907 A JP 2013129907A JP 6118190 B2 JP6118190 B2 JP 6118190B2
- Authority
- JP
- Japan
- Prior art keywords
- application
- display
- virtual
- display area
- obj
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、文字入力のために画面上にキーボードを模した表示を行う機能であるソフトウェアキーボード(以下、適宜「仮想キーボード」と称する)機能を用いるアプリケーション(以下、適宜「アプリ」と略称する)を実行可能な情報端末に関する。 The present invention is an application using a software keyboard (hereinafter referred to as “virtual keyboard” where appropriate) that is a function of performing a display imitating a keyboard on a screen for character input (hereinafter referred to as “app” as appropriate). Relates to an information terminal capable of executing
従来の携帯電話等の携帯情報端末(以下、単に「携帯端末」と称する)ではテンキー、ダイヤルキーなどのハードウェアキーが多く備えられていた。しかしながら、今日では、可能な限り画面サイズを拡大する傾向があり、装置そのもののサイズを大きくすることなく画面サイズをできるだけ大きくするために、端末の一面のほぼ全体が表示画面となっている機種も多く存在する。このような携帯端末では、表示画面上に操作ボタンやキーボードを模した画像の表示等を行うことにより、操作入力や文字入力を受け付けている(仮想キーボード)。 Conventional portable information terminals such as cellular phones (hereinafter simply referred to as “portable terminals”) are provided with many hardware keys such as numeric keys and dial keys. However, today, there is a tendency to enlarge the screen size as much as possible, and in order to make the screen size as large as possible without increasing the size of the device itself, there are models in which almost the entire surface of the terminal is a display screen There are many. In such a portable terminal, an operation input or a character input is received by displaying an image imitating an operation button or a keyboard on a display screen (virtual keyboard).
また、表示画面の拡大に伴い、画面上で複数のアプリを実行可能な機種も存在する。例えば、特許文献1には、表示画面を分割し、分割された個々の画面領域で異なるアプリを同時に実行する携帯端末が記載されている。この携帯端末では、分割された各表示領域において、表示されているアプリに対する操作や、分割された表示領域間を跨いでタッチ操作を行うことにより、異なるアプリの間で情報を共有することが可能となる方法が記載されている。
As the display screen expands, there are also models that can execute a plurality of applications on the screen. For example,
上述した仮想キーボードでは、あるアプリで起動した仮想キーボードによりOBJ操作中の別アプリの表示が妨げられるという問題点がある。しかしながら、上記特許文献1では、このような問題点については何ら言及されていない。
The above-described virtual keyboard has a problem in that display of another application during OBJ operation is hindered by a virtual keyboard activated by a certain application. However,
本発明は、上記問題に鑑みてなされたものであり、その目的は、あるアプリで起動した仮想キーボードによりOBJ操作中の別アプリの表示が妨げられることを抑制することのできる情報端末などを実現することにある。 The present invention has been made in view of the above problems, and an object thereof is to realize an information terminal or the like that can prevent display of another application during an OBJ operation from being hindered by a virtual keyboard activated by a certain application. There is to do.
上記の課題を解決するために、本発明の一態様に係る情報端末は、第1アプリケーションで仮想キーボードが起動されたことを検知するキーボード検知手段と、上記キーボード検知手段が、上記仮想キーボードが起動されたと検知した場合、上記第1アプリケーションとは別の第2アプリケーションでオブジェクトを操作中か否かを検知する操作検知手段と、上記操作検知手段が、上記オブジェクトを操作中であると検知した場合、上記第2アプリケーションの表示領域を変更せずに維持し、上記オブジェクトを操作中でないと検知した場合、上記表示領域を上記仮想キーボードに対する操作を阻害しないように変更する制御を行う表示制御手段と、を備えることを特徴とする。 In order to solve the above problem, an information terminal according to an aspect of the present invention includes a keyboard detection unit that detects that a virtual keyboard is activated in a first application, and the keyboard detection unit that activates the virtual keyboard. If it is detected that the object is being operated by a second application different from the first application, and the operation detection means detects that the object is being operated Display control means for controlling to change the display area so as not to hinder the operation on the virtual keyboard when it is detected that the display area of the second application is not changed and the object is not operated. It is characterized by providing.
本発明の一態様によれば、あるアプリで起動した仮想キーボードによりOBJ操作中の別アプリの表示が妨げられることを抑制することのできるという効果を奏する。 According to one aspect of the present invention, it is possible to suppress the display of another application during an OBJ operation from being hindered by a virtual keyboard activated by a certain application.
本発明の実施の形態について図1〜図5に基づいて説明すれば以下のとおりである。以下の特定の実施形態で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の実施形態で説明されている場合は、その構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。 The embodiment of the present invention will be described below with reference to FIGS. Descriptions of configurations other than those described in the following specific embodiments may be omitted as necessary, but are the same as those configurations when described in other embodiments. For convenience of explanation, members having the same functions as those shown in each embodiment are given the same reference numerals, and the explanation thereof is omitted as appropriate.
〔実施形態1〕
以下、本発明の実施形態1に係る携帯端末(情報端末)1について、図1〜3および図4(a)および(b)を参照して詳細に説明する。
Hereinafter, the portable terminal (information terminal) 1 according to
<装置の構成>
まず、図2は、本実施形態に係る携帯端末1の外観を示す図である。ここでは、携帯端末1としてスマートフォンを想定しているが、本実施形態はスマートフォンに限られるものではなく、例えば、携帯電話機、ノート型PC(Personal Computer)等であってもよい。図2(a)に示すように、携帯端末1は、タッチパネル11を備えており、タッチパネル11に指、ペン等を接触または近づけることにより携帯端末1に対する操作を行うものである。図2(a)では、仮想KB(仮想キーボードまたはソフトウェアキーボート)53が起動している状態を示しており、タッチパネル11に、本文入力エリア51、および仮想KB53が表示されている状態を示している。仮想KBは、キーボードを模した画像を表示部に表示し、表示されたキーボード画像に接触すると、接触のあった位置に対応して、実際のキーボードの該当する部分が押下された場合と同様の処理を行うものである。
<アプリの一部に別のアプリを小さく表示する方法とその問題点>
ここで、以下、アプリの一部に別のアプリを小さく表示する方法およびその問題点について説明する。まず、図2の(a)に示すようにメールアプリ(第1アプリケーション、以下、適宜「第1アプリ」という)のみが起動している場合、携帯端末1の表示部には、本文入力エリア51および差出人表示エリア52などが表示され、表示部の紙面に対して下半分程度が仮想KBで覆われる。このとき、仮想KBによる文字入力については特に問題はない。なお、同図に示す状態は、本文入力エリア51が選択された状態(文字入力可能な状態)であるため、本文入力エリア51の紙面に対して左上側に、カーソル位置54が表示されている。
<Device configuration>
First, FIG. 2 is a diagram illustrating an appearance of the
<How to display another app in a small size in part of the app and its problems>
Here, a method for displaying another application in a small size on a part of the application and its problems will be described below. First, as shown in FIG. 2A, when only a mail application (first application, hereinafter referred to as “first application” as appropriate) is activated, a
一方、図2の(b)に示すように、メールアプリおよびTVアプリ大55b(第2アプリケーション、以下、適宜「第2アプリ」という)の複数のアプリを表示(起動)している場合、例えば、本文入力エリア51をタップして、仮想KB53を起動させると、表示部の下半分程度が仮想KBで覆われるため、そのままでは、TVアプリ大55bが仮想KBの下に隠れてしまう。そこで、本発明の発明者らは、以上のような仮想KBを起動(表示)させることにより生じる弊害を解決する一つの方法として、仮想KBによる文字入力中はTVアプリを仮想KB自体や、仮想KBによる文字入力の位置と重ならないように一時的に移動およびリサイズ(表示位置および表示サイズを変更)することを新たに考案した。例えば、図2の(c)に示すように、TVアプリ大55bの表示位置および表示サイズをTVアプリ小55sのように変更すれば、TVアプリ小55sは、仮想KBにより阻害されないので、視聴中のTVシーンを見逃さないで済む。また、TVアプリ小55sは、メールアプリの仮想KBに対する操作を阻害しないように変更されているため、TVアプリ小55sは、仮想KBに対する操作の邪魔にもならない。以下で説明する実施形態1〜3に係る携帯端末(情報端末)1では、その基本動作として上記の方法を取り入れている。
On the other hand, as shown in FIG. 2B, when a plurality of applications of a mail application and a TV application large 55b (second application, hereinafter referred to as “second application”) are displayed (activated), for example, When the
しかしながら、上記の方法では、第2アプリが、TVアプリや動画再生アプリでTVや動画などのコンテンツを閲覧するような場合には特に問題はないが、第2アプリが、別のアプリで閲覧以外の各種操作を行う場合においては、ユーザが意図せず別のアプリの表示領域が変更されてしまい、ユーザ操作を妨げる可能性があるという従来にない新規な課題がある。例えば、テキスト編集アプリ(第2アプリ)で文字列を選択中に、メールアプリの仮想KBが起動すると、選択中の文字列を表示したテキスト編集アプリの表示領域の表示位置および表示サイズが変更されて文字列を選択した箇所が隠れたり、選択した文字列が小さくなって見づらくなったりして、テキスト編集アプリの操作が非常に困難になる可能性がある。 However, in the above method, there is no particular problem when the second application browses content such as TV or video with the TV app or video playback app, but the second app is other than browsing with another app. When performing these various operations, there is an unprecedented new problem that the display area of another application is changed unintentionally by the user and may interfere with the user operation. For example, when a mail application virtual KB is activated while a text string is selected in the text editing application (second application), the display position and display size of the display area of the text editing application that displays the selected text string are changed. This may make it difficult to operate the text editing application because the part where the character string is selected is hidden or the selected character string becomes small and difficult to see.
以下に記載する本発明を具現化した各形態は、以上のような従来にない新規な課題を解決すべく考案されたものである。
<携帯端末1の概略構成>
次に、図1を参照して携帯端末1の概略構成について説明する。図1は、本実施形態に係る携帯端末1の概略構成を示すブロック図である。
Each embodiment embodying the present invention described below has been devised to solve the above-described new problems that have not existed in the past.
<Schematic configuration of
Next, a schematic configuration of the
図1に示すように、携帯端末1は、制御部10、タッチパネル11、記憶部12およびRAM13を含む構成である。なお、図1には、携帯端末1における各種構成のうち、複数のアプリのマルチ表示処理に関連する構成が示されている。また、携帯端末1におけるその他の構成については、従来と同様であるため、その説明は省略する。
As shown in FIG. 1, the
タッチパネル11は、表示部21および操作受付部22を含む。表示部21は、制御部10から受信した表示情報に基づいて、表示画面に画像を表示するものである。表示部21は、LCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイなどの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備えた構成である。タッチパネル11に対する入力操作としては、タップ、ダブルタップ、ドラッグ、フリック、ピンチアウト、ピンチインなどを例示することができる。操作受付部22は、表示部21の表示画面上に設置されているか、または該表示画面と一体となって形成されている。操作受付部22は、利用者の指、ペンなど、表示画面上の位置を指し示すポインタが当該表示画面上の何れの位置に接触または接近(以下、「タッチ」という)したかを検出することにより、携帯端末1に対する操作を受け付けるものである。操作受付部22は、タッチを検出した位置の情報である受付情報を制御部10に送信する。なお、本実施形態では、表示部21が表示する領域と、操作受付部22が操作を検出する領域とは同じである。
The
制御部10は、携帯端末1内の各種構成を統括的に制御するものであり、CPU(Central Processing Unit)などのプロセッサを含む。記憶部12は、各種データおよびプログラムを記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの記憶素子を含む。また、RAM13は、後述するマルチ管理部31の表示領域制御部(表示制御手段)313によって設定された表示領域の表示位置および表示サイズ等を一時的に記憶するものである。なお、制御部10内のRAMをRAM13として用いても良い。次に、制御部10には、マルチ管理部31およびアプリケーション実行部32が含まれている。また、マルチ管理部31は、仮想KB検知部(キーボード検知手段)311、OBJ操作検知部(操作検知手段)312および表示領域制御部313を含む。さらに、アプリケーション実行部32は、仮想KB処理部33を含む。なお、OBJは、オブジェクトの略称であり、本明細書では、文字情報(文字および文字列などのテキストデータ)、画像情報(静止画および動画などのイメージデータ)、およびGUI(Graphical User Interface)を構成する表示対象物やポップアップなどの総称として用いている。なお、OBJとしての画像の種類はどのようなものであってもよく、サムネイル画像なども含まれる。また、GUIを構成する表示対象物としては、例えば、仮想ボタンおよび仮想スイッチなど、ユーザによる選択を受け付けるための操作用オブジェクトを挙示できる。
The
仮想KB検知部311は、アプリケーション実行部32の仮想KB処理部33によって複数のアプリのうちの少なくとも一つのアプリで仮想KBが起動されたか否かを検知するものである。
The virtual
OBJ操作検知部312は、仮想KB検知部311によって仮想KBが起動されたと検知した場合、仮想KBが起動されたアプリ(第1アプリ)とは別のアプリ(第2アプリ)でOBJを操作中(例えば、文字の指定、OBJの選択など)であるか否かを検知するものである。また、OBJ操作検知部312は、第2アプリで操作中であったOBJに対する操作が完了したか否かをも検知できるようになっている。
When the virtual
表示領域制御部313は、少なくとも2つのアプリが実行されている場合で、一方のアプリ(第1アプリ)において仮想KBを起動する処理が実行されたとき、他方のアプリ(第2アプリ)で何らかのOBJを操作中であると検知した場合、他方のアプリの表示領域を変更せずに維持するものである。
The display
また、表示領域制御部313は、上記の一方のアプリにおいて仮想KBを起動する処理が実行されたとき、OBJを操作中でないと検知した場合、仮想KBに対する操作を阻害しないように、他方のアプリの表示領域の表示位置および表示サイズを設定し、設定した表示位置および表示サイズで当該アプリが表示されるように表示情報を表示部21へ受け渡すものである。より具体的には、表示領域制御部313は、第2アプリの表示領域を変更する場合、該表示領域を、縦横比を維持したまま縮小した大きさとし、第2アプリの表示位置を、表示されている仮想キーボードにより入力されるテキストデータが表示される位置を示すカーソル位置から所定の文字数分の領域とは重ならない位置とする。これにより、第2アプリは、仮想KB、および、これからまさに文字が入力されようとしている領域とは重ならないように表示されるので、第2アプリが表示されることにより、仮想KBに対する操作を阻害してしまうことを防止できる。
In addition, when the process for starting the virtual KB is executed in one of the applications described above, the display
さらに、表示領域制御部313は、第2アプリの表示位置を、仮想KBによる文字入力の終了直後に操作が必要となる領域と重ならない位置とする。これにより、第2アプリは、仮想KBによる文字入力の終了直後に操作が必要となる領域(例えば、仮想ボタンまたは仮想キーなどのGUIを構成する表示対象物の表示領域)とは重ならないように表示される。これにより、他方のアプリが表示されることにより、一方のアプリの仮想KBに対する操作の完了を阻害してしまうということを抑制することができる。
Further, the display
また、表示領域制御部313は、他方のアプリの変更前の表示領域の表示位置および表示サイズ等をRAM13に記憶させ、仮想KBの処理が終了(完了)したときに、当該他方のアプリを変更前表示位置および表示サイズで表示されるように表示情報を表示部21へ受け渡す。なお、アプリの表示領域の表示位置および表示サイズの設定処理の流れについては後述する。また、表示領域制御部313は、アプリケーション実行部32から取得したアプリ実行情報に基づいて、当該アプリの表示領域の表示位置および表示サイズを設定し、設定した表示領域および表示位置を含む当該アプリを実行するための情報を表示情報として表示部21に受け渡す。
In addition, the display
また、表示領域制御部313は、アプリケーション実行部32から取得したアプリ実行情報が、複数のアプリを実行していることを示すものである場合、各アプリの表示領域の表示位置および表示サイズを適切に設定して、表示情報として表示部21に受け渡す。また、表示領域制御部313は、設定した表示位置および表示サイズを示す情報をRAM13に格納する。また、表示領域制御部313は、OBJ操作検知部312がOBJに対する操作が完了したと検知した場合、仮想KBに対する操作を阻害しないように第2アプリの表示領域を変更する制御を行う。これにより、第2アプリでOBJを操作中に、第1アプリの仮想KBが起動され、その後、第2アプリのOBJの操作が完了した場合、第2のアプリの表示領域を仮想KBに対する操作を阻害しないように変更する。これにより、OBJの操作が完了した第2アプリの表示により仮想KBの操作が阻害されたりすることがない。
In addition, when the application execution information acquired from the
アプリケーション実行部32は、携帯端末1で実行される様々なアプリを処理するものである。アプリの実行処理は、従来技術により可能であるので、その説明は省略する。仮想KB処理部33は、仮想KBに関する処理を実行する。
The
<処理の流れ>
次に、図2(b)および(c)、図3、図4(a)および(b)を参照して、最初に、携帯端末1において、サブアプリ(第2アプリ)の表示領域の表示位置および表示サイズが変更される処理の流れについて説明し、その後、サブアプリの表示領域の表示位置および表示サイズが、サブアプリの状態によって、変更されず維持されたり、変更されたりするフローについて説明する。図3は、サブアプリの表示領域の表示位置および表示サイズが、サブアプリの状態によって、変更されず維持されたり、変更されたりする処理の流れを示すフローチャートである。また、図2(b)および(c)は、サブアプリの表示領域の表示位置および表示サイズが変更される場合の表示例を示す図である。本明細書では、サブアプリとは、仮想KBを起動させたアプリとは別のアプリのことである。
<Process flow>
Next, referring to FIGS. 2B and 2C, FIG. 3, FIG. 4A and FIG. 4B, first, the display position of the display area of the sub application (second application) in the
図2(b)に示すように、メールアプリ(第1アプリ)の本文入力エリア51をタップ(選択)すると、その操作結果は、操作受付部22を介して受付情報としてアプリケーション実行部32の仮想KB処理部33に受け渡される。仮想KB処理部33は、上記受付情報を受け取ると、仮想KBを起動させる。アプリケーション実行部32は、仮想KB処理部34によって仮想KBが起動されると、起動中のアプリに関する情報(仮想KBが起動されたことを示す情報を含む)アプリケーション実行情報(以下、「アプリ実行情報」と略称する)が、アプリケーション実行部32からマルチ管理部31の仮想KB検知部311に受け渡される。仮想KBは、例えば、メールアプリが起動している場合で、メール作成の指示を受け付けたとき等に起動する。例えば、図2(b)に示すように、メールアプリとTVアプリ大55bとが同時に起動しており、メールアプリの返信ボタン56が指などで押下されると、図2(c)に示すように仮想KBが起動する。このとき、仮想KBが起動すると、本文入力エリア51および差出人入力エリア52が表示されるとともに、サブアプリであるTVアプリ小55sの表示位置が表示部21の上部中央よりやや右側となるとともに、表示領域の表示サイズが元の表示領域の表示サイズの半分程度となる。
As shown in FIG. 2B, when the
このとき、TVアプリ小55sの表示位置は、本文入力エリア51における文字入力位置に重ならず、かつ、仮想KBおよび送信ボタン56(文字入力の終了直後に操作が必要となる領域)にも重ならない位置である。さらに、TVアプリ小55sの表示領域は、テレビの視聴が困難とならない大きさである。これにより、表示されているテレビによって、仮想KBに対する操作が阻害されることがないので、ユーザに対し、テレビを視聴しつつ、仮想KBに対する操作を可能にすることができる。したがって、仮想KBを操作するために、テレビで放映されていた貴重なシーンを見逃してしまうということを防止することができる。なお、設定後の表示領域は、設定前の表示領域と縦横比が同じであることが望ましい。縦横比が異なると、表示内容が乱れ、視聴者に混乱を与える可能性があるためである。また、表示領域は、予め複数の大きさ(例えば、3段階)の表示領域を設定し、適切なサイズを選択することによって設定してもよいし、本文入力エリア51の大きさに応じて無段階で設定してもよい。また、TVアプリを表示するのに最適な表示位置および表示サイズを、演算処理等を行って設定してもよい。最適な表示位置および表示サイズとは、仮想KBおよび仮想KBを起動したアプリが表示しているメニューボタンに重ならないような位置で、かつ、これから入力した文字が表示されるであろう位置とも重ならないようなものを指している。
At this time, the display position of the TV application small 55s does not overlap with the character input position in the
次に、以下では、第2アプリの表示領域の表示位置および表示サイズが、第2アプリの状態によって、変更されず維持されたり、変更されたりするフローについて説明する。 Next, a flow in which the display position and the display size of the display area of the second application are maintained without being changed or changed depending on the state of the second application will be described below.
図3に示すS1で、仮想KB検知部311は、上記アプリ実行情報に基づき、メールアプリによって仮想KBが起動されたか否かを判定し、仮想KBが起動されたと判定した場合、その結果(以下、「KB起動アプリ情報」という;KB起動アプリ情報には、仮想KBを起動したアプリの識別情報なども含まれる)を、アプリ実行情報とともにOBJ操作検知部312に受け渡し、S2に進む(YES)。一方、起動中のいずれのアプリも仮想KBを起動していない場合は、S1に戻る(NO)。
In S1 shown in FIG. 3, the virtual
S2で、OBJ操作検知部312は、KB起動アプリ情報およびアプリ実行情報を受け、複数のアプリが表示(起動)されているか否かを判定し、複数のアプリが起動中(表示中)の場合、その判定結果(複数アプリ起動情報)を上記アプリ実行情報および上記KB起動情報とともに、表示領域制御部313に受け渡してS3に進む(YES)。一方、複数のアプリが表示されていない場合は、S11に進む(NO)。S11では、表示領域制御部313が、メールアプリで起動された仮想KBを表示してS12に進む。S12で仮想KBが終了すると「END」に進む。
In S2, the OBJ
S3では、OBJ操作検知部312は、サブアプリにてOBJを操作中か否かを判定し、OBJを操作中の場合、その判定結果(OBJ操作中情報)を表示領域制御部313に受け渡してS4に進む(YES)。一方、サブアプリにてOBJを操作中でない場合、その判定結果(OBJ非操作中情報)を表示領域制御部313に受け渡してS6に進む(YES)。
In S3, the OBJ
S4では、表示領域制御部313は、サブアプリの表示領域の表示位置および表示サイズを変更せず、元のままで維持し、S5に進む。
In S4, the display
S5では、OBJ操作検知部312は、サブアプリにてOBJの操作が完了したか否かを判定し(すなわち、OBJ操作検知部312は、サブアプリにてOBJが操作中か否かを常時または定期的に監視している)サブアプリにてOBJの操作が完了したと判定した場合、その判定結果(OBJ操作完了情報、または上述したOBJ非操作中情報であっても良い。)を表示領域制御部313に受け渡してS6に進む(YES)。一方、OBJ操作検知部312がサブアプリにてOBJの操作が完了していないと判定した場合は、S4に戻る(NO)。
In S5, the OBJ
サブアプリの表示領域の表示位置および表示サイズを変更せず、元のままで維持する場合の表示例について、図4(a)および(b)を用いて説明する。図4(a)に示す状態では、メールアプリとともにテキスト編集アプリ57が表示され、ユーザは、「傘の準備をお願いします」という文書の範囲選択を行っている(OBJを操作中の状態の一例;範囲選択された網掛け部分がOBJに相当する。)。この状態で、本文入力エリア51をタップして、仮想KBを起動させた場合、本実施形態では、テキスト編集アプリ57でOBJを操作中であるため、図4(b)に示すように、テキスト編集アプリ57の表示領域の表示位置および表示サイズを変更しないで、元の状態で維持する。このとき、仮想KBは、テキスト編集アプリ57の表示領域の背面に表示される。
A display example in the case where the display position and the display size of the display area of the sub application are not changed and is maintained as it is will be described with reference to FIGS. 4A and 4B. In the state shown in FIG. 4A, the
S6では、表示領域制御部313は、サブアプリの表示領域の表示位置および表示サイズをRAM13に記憶させてS7に進む。
In S6, the display
S7では、表示領域制御部313は、仮想KBが表示され、サブアプリの表示領域の表示位置および表示サイズを変更し、変更後の表示領域および表示サイズでサブアプリが表示されるように表示情報を表示部21に受け渡して、S8に進む。S8では、表示部21に仮想KBを表示し、サブアプリを変更後の表示領域および表示サイズで表示してS9に進む〔図2(c)参照〕。
In S7, the display
S9で仮想KBが終了するとS10に進む(YES)。一方、仮想KBが終了していない場合、S9に戻る(NO)。 When the virtual KB ends in S9, the process proceeds to S10 (YES). On the other hand, if the virtual KB has not ended, the process returns to S9 (NO).
仮想KBが終了するタイミングとしては、例えば、サブアプリのOBJのドラッグ&ドロップの完了後などサブアプリの側で必要な操作が完了したタイミングを挙示することができる。 As the timing at which the virtual KB ends, for example, a timing at which a necessary operation on the side of the sub application such as after completion of the drag and drop of the OBJ of the sub application is completed can be listed.
S10では、表示領域制御部313は、RAM13に格納していた、変更前の表示領域の表示位置および表示サイズでサブアプリを表示するように、表示情報を表示部21に受け渡し、サブアプリの表示を変更前の表示にし、処理が終了する(END)。
In S10, the display
以上で説明した携帯端末1によれば、第2アプリでOBJを操作中(例えば、何らかのOBJを選択中)に、第1アプリの仮想KBを起動した場合、第2のアプリの表示領域が変更されず維持される(第2アプリの表示位置および表示サイズの変更要求などを無視する)。このため、起動した仮想KBにより操作中の第2アプリケーションの表示が妨げられることがない。また、上記の携帯端末1によれば、第2アプリでOBJを操作中でない場合に、第1アプリの仮想KBを起動した場合、第2のアプリの表示領域が仮想KBに対する操作を阻害しないように変更される。これにより、第2アプリの表示により仮想KBに対する操作が阻害されたりすることもない。以上により、仮想KBにより操作中のアプリの表示が妨げられたり、アプリの表示により仮想KBに対する操作が阻害されたりすることのない情報端末を実現できる。
According to the
〔実施形態2:表示部の表示形態に関するバリエーション〕
以下、表示部21の表示形態に関するバリエーションについて説明する。
[Embodiment 2: Variation on display form of display unit]
Hereinafter, the variation regarding the display form of the
<表示形態1>
以下、表示部21の表示形態1について、図4(c)および(d)を参照して説明する。図4(c)に示す状態では、メールアプリとともに画像編集アプリ58が表示されている。また、画像編集アプリ58では、ユーザは、表示されている複数の画像のうち、チェックボックスにチェックの入った3つの画像を選択している。この状態で、本文入力エリア51をタップして、仮想KBを起動させた場合、本実施形態では、図1に示すOBJ操作検知部312は、画像編集アプリ58でOBJ(画像)を操作中と判断し、表示領域制御部313は、図4(d)に示すように、テキスト編集アプリ57の表示領域の表示位置および表示サイズを変更しないで、元の状態で維持する。このとき、仮想KBは、画像編集アプリ58の表示領域の背面に表示される。
<
Hereinafter, the
<表示形態2>
以下、表示部21の表示形態2について、図5(a)および(b)を参照して説明する。図5(a)に示す状態では、メールアプリとともにテキスト編集アプリ57が表示されている。また、テキスト編集アプリ57では、ユーザは、「傘の準備をお願い・・・」という文章中の「準備」という日本語を範囲選択することにより、その後のユーザ操作を促すポップアップ表示60が表示されている(同図では操作コマンドとして、決定、選択、編集が表示されている)。この状態で、本文入力エリア51をタップして、仮想KBを起動させた場合、本実施形態では、図1に示すOBJ操作検知部312は、テキスト編集アプリ57でOBJ(ポップアップ表示60)を操作中であるため、図5(b)に示すように、テキスト編集アプリ57の表示領域の表示位置および表示サイズを変更しないで、元の状態で維持する。このとき、仮想KBは、テキスト編集アプリ57の表示領域の背面に表示される。
<Display form 2>
Hereinafter, the display form 2 of the
〔その他〕
上述した実施形態では、テレビアプリを例に挙げて説明したが、これに限られるものではなく、動画再生アプリであってもよいし、静止画を表示するアプリやテキスト等を表示するアプリであってもよい。なお、動画等は、インターネットからダウンロードしたものであってもよいし、ユーザ自身が撮影したものであってもよい。また、上述した実施形態では、仮想KBが表示される場合を例に挙げて説明したが、これに限られるものではなく、ポップアップによるオプションメニューの表示等がされる場合であってもよい。
[Others]
In the above-described embodiment, the TV application has been described as an example. However, the present invention is not limited thereto, and may be a video playback application, an application that displays a still image, an application that displays text, or the like. May be. Note that the video or the like may be downloaded from the Internet or may be taken by the user himself / herself. In the above-described embodiment, the case where the virtual KB is displayed has been described as an example. However, the present invention is not limited to this, and an option menu may be displayed using a pop-up.
また、上述した実施形態では、仮想KBのみが表示される場合と、仮想KBの他にアプリも表示されている場合とで、仮想KBの表示領域の大きさは変化していないが、他のアプリが表示される場合に仮想KBの表示領域を小さくするものであってもよい。また、上述した実施形態では、日本語のキーボードを想定した仮想KBを例に挙げて説明したが、英語等のキーボードであってもよい。 In the embodiment described above, the size of the display area of the virtual KB does not change between the case where only the virtual KB is displayed and the case where the application is displayed in addition to the virtual KB. When the application is displayed, the display area of the virtual KB may be reduced. In the embodiment described above, the virtual KB assuming a Japanese keyboard has been described as an example, but a keyboard such as English may be used.
〔実施形態3;ソフトウェアによる実現例〕
携帯端末1の制御部10(特にマルチ管理部31およびアプリケーション実行部32)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPUを用いてソフトウェアによって実現してもよい。
[Embodiment 3; Implementation by software]
The control unit 10 (particularly the
後者の場合、携帯端末1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROMまたは記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAMなどを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様1に係る情報端末は、第1アプリケーションで仮想キーボード(以下、「仮想KB」と略称する)が起動されたことを検知するキーボード検知手段(仮想KB検知部311)と、上記キーボード検知手段が、上記仮想キーボードが起動されたと検知した場合、上記第1アプリケーションとは別の第2アプリケーションでオブジェクト(以下、「OBJ」と略称する)を操作中か否かを検知する操作検知手段(OBJ操作検知部312)と、上記操作検知手段が、上記オブジェクトを操作中であると検知した場合、上記第2アプリケーションの表示領域を変更せずに維持する制御を行う表示制御手段(表示領域制御部313)と、を備える。
[Summary]
An information terminal according to
上記の構成によれば、第2アプリケーション(以下、「第2アプリ」という)でOBJを操作中に、第1アプリケーション(以下、「第1アプリ」という)の仮想KBを起動した場合、第2のアプリの表示領域(その表示位置や表示サイズ)が変更されず維持される。このため、起動した仮想KBにより操作中の第2アプリの表示が妨げられることがない。 According to the above configuration, when the virtual KB of the first application (hereinafter referred to as “first application”) is activated while the OBJ is being operated by the second application (hereinafter referred to as “second application”), The display area of the app (its display position and display size) is not changed and is maintained. For this reason, the display of the second application being operated is not hindered by the activated virtual KB.
以上により、あるアプリで起動した仮想KBによりOBJ操作中の別アプリの表示が妨げられることを抑制することができる。「仮想KB」とは、キーボードを模した画像を表示部に表示し、表示されたキーボード画像に接触すると、接触のあった位置に対応して、実際のキーボードの該当する部分が押下された場合と同様の処理を行うものである。また、本明細書では、「オブジェクト」を、文字情報(テキストデータ)、画像情報(イメージデータ)、およびGUI(Graphical User Interface)を構成する表示対象物およびポップアップなどの総称として用いている。 As described above, it is possible to prevent the display of another application during the OBJ operation from being hindered by the virtual KB activated by a certain application. “Virtual KB” means that when an image imitating the keyboard is displayed on the display unit and the displayed keyboard image is touched, the corresponding part of the actual keyboard is pressed in correspondence with the touched position The same processing is performed. Further, in this specification, “object” is used as a general term for character information (text data), image information (image data), display objects that constitute GUI (Graphical User Interface), and pop-ups.
本発明の態様2に係る情報端末は、上記態様1において、上記操作検知手段は、上記第2アプリケーションで操作中であったオブジェクトに対する操作が完了したか否かを検知し、上記表示制御手段は、上記操作検知手段が、上記オブジェクトに対する操作が完了したと検知した場合、上記仮想キーボードに対する操作を阻害しないように上記第2アプリケーションの表示領域を変更する制御を行っても良い。これにより、OBJの操作が完了した第2アプリケーションの表示により仮想KBの操作が阻害されたりすることがない。
In the information terminal according to aspect 2 of the present invention, in the
本発明の態様3に係る情報端末は、上記態様1または2において、上記表示制御手段は、上記第2アプリケーションの表示領域を変更する場合、該表示領域を、縦横比を維持したまま縮小した大きさとし、上記第2アプリケーションの表示位置を、表示されている仮想キーボードにより入力されるテキストデータが表示される位置を示すカーソル位置から所定の文字数分の領域とは重ならない位置としても良い。これにより、第2アプリケーションは、仮想KB、および、これからまさに文字が入力されようとしている領域とは重ならないように表示されるので、第2アプリケーションが表示されることにより、仮想KBに対する操作を阻害してしまうことを防止できる。
The information terminal according to aspect 3 of the present invention is the information terminal according to
本発明の態様3に係る情報端末は、上記態様1〜3において、上記表示制御手段は、上記第2アプリケーションの表示領域を変更する場合、上記第2アプリケーションの表示位置を、上記仮想キーボードによる文字入力の終了直後に操作が必要となる領域と重ならない位置としても良い。これにより、第2アプリケーションは、仮想キーボードによる文字入力の終了直後に操作が必要となる領域(例えば、仮想ボタンまたは仮想キーなどのGUIを構成する表示対象物の表示領域)とは重ならないように表示される。このため、第2アプリケーションが表示されることにより、第1アプリケーションの仮想KBに対する操作の完了を阻害してしまうということを防止することができる。
In the information terminal according to aspect 3 of the present invention, in the
本発明の各態様に係る情報端末は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報端末が備える各手段として動作させることにより上記情報端末をコンピュータにて実現させる情報端末の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The information terminal according to each aspect of the present invention may be realized by a computer. In this case, the information terminal is realized by the computer by causing the computer to operate as each unit included in the information terminal. A control program and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
本発明は、複数のアプリが実行可能な情報端末に利用することができる。 The present invention can be used for an information terminal capable of executing a plurality of applications.
1 携帯端末(情報端末)
311 仮想KB検知部(キーボード検知手段)
312 OBJ操作検知部(操作検知手段)
313 表示領域制御部(表示制御手段)
53 仮想KB(仮想キーボード)
54 カーソル位置
1 Mobile terminal (information terminal)
311 Virtual KB detection unit (keyboard detection means)
312 OBJ operation detection unit (operation detection means)
313 Display area control unit (display control means)
53 Virtual KB (Virtual Keyboard)
54 Cursor position
Claims (5)
上記キーボード検知手段が、上記仮想キーボードが起動されたと検知した場合、上記第1アプリケーションとは別の第2アプリケーションの表示領域に含まれているオブジェクトが、ユーザによる選択を受け付けている操作中か否かを検知する操作検知手段と、
上記操作検知手段が、上記オブジェクトを操作中であると検知した場合、上記第2アプリケーションの表示領域を変更せずに維持する制御を行う表示制御手段と、を備えることを特徴とする情報端末。 Keyboard detecting means for detecting that the virtual keyboard is activated in the first application;
When the keyboard detection unit detects that the virtual keyboard is activated, whether or not an object included in the display area of the second application different from the first application is in an operation of accepting selection by the user An operation detection means for detecting
An information terminal comprising: display control means for performing control to maintain the display area of the second application without changing when the operation detection means detects that the object is being operated.
上記表示制御手段は、上記操作検知手段が、上記オブジェクトに対する操作が完了したと検知した場合、上記仮想キーボードに対する操作を阻害しないように上記第2アプリケーションの表示領域を変更する制御を行うことを特徴とする請求項1に記載の情報端末。 The operation detecting means detects whether or not the operation on the object being operated in the second application is completed,
The display control means performs control to change the display area of the second application so as not to hinder the operation on the virtual keyboard when the operation detection means detects that the operation on the object is completed. The information terminal according to claim 1.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013129907A JP6118190B2 (en) | 2013-06-20 | 2013-06-20 | Information terminal and control program |
US14/437,222 US20150261431A1 (en) | 2013-02-27 | 2014-02-19 | Information terminal |
CN201480002872.XA CN104823150B (en) | 2013-02-27 | 2014-02-19 | information terminal and storage medium |
CN201711287317.8A CN107918520A (en) | 2013-02-27 | 2014-02-19 | The control method and recording medium of information terminal, information terminal |
PCT/JP2014/053933 WO2014132863A1 (en) | 2013-02-27 | 2014-02-19 | Information terminal and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013129907A JP6118190B2 (en) | 2013-06-20 | 2013-06-20 | Information terminal and control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015005129A JP2015005129A (en) | 2015-01-08 |
JP6118190B2 true JP6118190B2 (en) | 2017-04-19 |
Family
ID=52300972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013129907A Active JP6118190B2 (en) | 2013-02-27 | 2013-06-20 | Information terminal and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6118190B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7148172B2 (en) * | 2021-03-03 | 2022-10-05 | VoiceApp株式会社 | Caption display processing program, caption display processing device, server. |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02186838A (en) * | 1989-01-13 | 1990-07-23 | Matsushita Electric Ind Co Ltd | Information processor |
JP4631890B2 (en) * | 2007-09-14 | 2011-02-16 | ソニー株式会社 | Display control apparatus and method, and program |
JP2009122890A (en) * | 2007-11-14 | 2009-06-04 | Sharp Corp | Display device and information processor |
JP5109854B2 (en) * | 2008-07-28 | 2012-12-26 | 富士通株式会社 | Display control program, method and apparatus |
JP2012212277A (en) * | 2011-03-31 | 2012-11-01 | Onkyo Corp | Display controller and program for the same |
-
2013
- 2013-06-20 JP JP2013129907A patent/JP6118190B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015005129A (en) | 2015-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11947782B2 (en) | Device, method, and graphical user interface for manipulating workspace views | |
US11023055B2 (en) | Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus | |
US20230152940A1 (en) | Device, method, and graphical user interface for managing folders | |
US10915225B2 (en) | User terminal apparatus and method of controlling the same | |
US10452333B2 (en) | User terminal device providing user interaction and method therefor | |
WO2014132863A1 (en) | Information terminal and control program | |
CN107111496B (en) | Customizable blade application | |
KR20210151956A (en) | Systems, methods, and user interfaces for interacting with multiple application windows | |
US11947791B2 (en) | Devices, methods, and systems for manipulating user interfaces | |
CN110837329B (en) | Method and electronic device for managing user interface | |
US9448715B2 (en) | Grouping of related graphical interface panels for interaction with a computing device | |
US20110175826A1 (en) | Automatically Displaying and Hiding an On-screen Keyboard | |
US20110163966A1 (en) | Apparatus and Method Having Multiple Application Display Modes Including Mode with Display Resolution of Another Apparatus | |
US20160320923A1 (en) | Display apparatus and user interface providing method thereof | |
KR102080146B1 (en) | Operating Method associated with connected Electronic Device with External Display Device and Electronic Device supporting the same | |
US20140218289A1 (en) | Electronic device with control interface and methods therefor | |
US20150082211A1 (en) | Terminal and method for editing user interface | |
US10481790B2 (en) | Method and apparatus for inputting information by using on-screen keyboard | |
TW201333822A (en) | Apparatus and method for providing transitions between screens | |
JP2014164718A (en) | Information terminal | |
US10691333B2 (en) | Method and apparatus for inputting character | |
US20160004406A1 (en) | Electronic device and method of displaying a screen in the electronic device | |
CN106033301B (en) | Application program desktop management method and touch screen terminal | |
US20130159934A1 (en) | Changing idle screens | |
US9501206B2 (en) | Information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6118190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |