WO2016042864A1

WO2016042864A1 - マルチ画面の表示位置入替方法、情報処理装置およびその制御方法と制御プログラム

Info

Publication number: WO2016042864A1
Application number: PCT/JP2015/067301
Authority: WO
Inventors: 達士安田; 理石井; 正人北田
Original assignee: 日本電気株式会社
Priority date: 2014-09-16
Filing date: 2015-06-16
Publication date: 2016-03-24
Also published as: US20170255374A1; CN106716330A

Abstract

　本発明は、ユーザの意図をそのまま表現した操作により、表示位置の入替をする情報処理装置である。情報処理装置は、少なくとも２つの画面を表示する表示部と、異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出するストローク検出部と、ストローク検出部によりストロークが検出された場合、異なる画面を入れ替える入替部と、を備える。入替部は、異なる画面の領域においてストロークが共通の時間帯に検出された場合、異なる画面を入れ替える。あるいは、入替部は、異なる画面の領域においてストロークが異なる時間帯に検出された場合、異なる画面を入れ替える。

Description

マルチ画面の表示位置入替方法、情報処理装置およびその制御方法と制御プログラム

　本発明は、マルチ画面の表示位置入替方法、情報処理装置およびその制御方法と制御プログラムに関する。

　上記技術分野において、特許文献１には、２分割された表示画面上で、指を主画像の中央部分から副画像の中央部分までドラッグすることによって、主画像と副画像との表示位置を入れ替える技術が開示されている（図１４参照）。

特開２００７－２５７２２０号公報

　しかしながら、上記文献に記載の技術では、一方向のドラッグ操作を表示位置の入替に対応させるために、単純なドラッグ操作と切り分けるため多くの操作条件（例えば、５つの判定条件）が必要となり、ユーザにとって単純な操作ではなかった。

　本発明の目的は、上述の課題を解決する技術を提供することにある。

　上記目的を達成するため、本発明に係る情報処理装置は、
　少なくとも２つの画面を表示する表示手段と、
　異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出するストローク検出手段と、
　前記ストローク検出手段により前記ストロークが検出された場合、前記異なる画面を入れ替える入替手段と、
　を備える。

　上記目的を達成するため、本発明に係る情報処理装置の制御方法は、
　少なくとも２つの画面を表示する表示ステップと、
　異なる画面の領域のそれぞれにおいて、他の画面に向うストロークを検出するストローク検出ステップと、
　前記ストローク検出ステップにおいて前記ストロークが検出された場合、前記異なる画面を入れ替える入替ステップと、
　を含む。

　上記目的を達成するため、本発明に係る情報処理装置の制御プログラムは、
　少なくとも２つの画面を表示する表示ステップと、
　異なる画面の領域のそれぞれにおいて、他の画面に向うストロークを検出するストローク検出ステップと、
　前記ストローク検出ステップにおいて前記ストロークが検出された場合、前記異なる画面を入れ替える入替ステップと、
　をコンピュータに実行させる。

　上記目的を達成するため、本発明に係るマルチ画面の表示位置入替方法は、
　異なる画面の領域のそれぞれにおいて、他の画面に向うストロークを検出するストローク検出ステップと、
　前記ストローク検出ステップにおいて前記ストロークが検出された場合、前記異なる画面を入れ替える入替ステップと、
　を含む。

　本発明によれば、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。本発明の第２実施形態に係る情報処理装置の画面入替の動作図である。本発明の第２実施形態に係る情報処理装置の画面入替の他の動作図である。本発明の第２実施形態に係る情報処理装置の機能構成を示すブロック図である。本発明の第２実施形態に係る表示フレーム情報の構成を示す図である。本発明の第２実施形態に係る入替判定テーブルの構成を示す図である。本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。本発明の第２実施形態に係る表示フレーム制御の手順を示すフローチャートである。本発明の第３実施形態に係る情報処理装置の画面入替の動作図である。本発明の第３実施形態に係る情報処理装置の画面入替の他の動作図である。本発明の第３実施形態に係る入替判定テーブルの構成を示す図である。本発明の第３実施形態に係る情報処理装置の処理手順を示すフローチャートである。本発明の第４実施形態に係る情報処理装置の画面入替の動作図である。本発明の第４実施形態に係る情報処理装置の画面入替の他の動作図である。本発明の第４実施形態に係る情報処理装置の画面入替のさらに他の動作図である。本発明の第５実施形態に係る情報処理装置の画面入替の動作図である。本発明の第５実施形態に係る情報処理装置の画面入替の他の動作図である。本発明の第５実施形態に係る情報処理装置の機能構成を示すブロック図である。本発明の第５実施形態に係る表示フレーム情報の構成を示す図である。本発明の第５実施形態に係る回転判定テーブルの構成を示す図である。本発明の第５実施形態に係る情報処理装置の処理手順を示すフローチャートである。本発明の第５実施形態に係る表示フレーム制御の手順を示すフローチャートである。本発明の第６実施形態に係る情報処理装置の画面入替の動作図である。

　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

　［第１実施形態］
　本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、少なくとも２つの画面を表示する装置である。

　図１に示すように、情報処理装置１００は、表示部１０１と、ストローク検出部１０２と、画面入替手段１０３と、を含む。表示部１０１は、少なくとも２つの画面Ａ、画面Ｂを表示する（画面１１１参照）。ストローク検出部１０２は、異なる画面Ａ、画面Ｂの領域のそれぞれにおいて、他の画面に向かうストローク１１２、１１３を検出する。画面入替手段１０３は、ストローク検出部１０２によりストローク１１２、１１３が検出された場合、異なる画面Ａ、画面Ｂを入れ替える（画面１１４参照）。

　本実施形態によれば、異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出すると画面を入れ替えるので、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。すなわち、直感的なマルチ画面の表示位置入替方法が提供される。

　［第２実施形態］
　次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、両手あるいは片手の２本の指による、異なる画面のそれぞれにおける他の画面に向かうストロークを検出すると、それらの画面を入れ替える。なお、以下の例では、ストロークの時間帯が重なる場合を説明するが、ストロークの時間帯が重ならない場合も画面を入れ替えることができる。

　《画面入替動作》
　図２Ａは、本実施形態に係る情報処理装置２００の画面入替の動作図である。図２Ａは２画面の分割表示の例を示している。図２Ａにおいては、左から、２本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置２００の表示画面２１０には、画面Ａと画面Ｂとが分割表示されている。ユーザが、左手の指で画面Ａ上に画面Ｂに向かうストローク２１１を描き、かつ、右手の指で画面Ｂ上に画面Ａに向かうストローク２１２を描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。また、左手の２本指（あるいは、右手の２本指）で、画面Ａ上に画面Ｂに向かうストローク２１３と、画面Ｂ上に画面Ａに向かうストローク２１４とを描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　図２Ｂは、本実施形態に係る情報処理装置２００の画面入替の他の動作図である。図２Ｂは３画面の分割表示の例を示している。図２Ｂにおいては、左から、２本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置２００の表示画面２１０には、画面Ａと画面Ｂと画面Ｃとが分割表示されている。ユーザが、左手の指で画面Ａ上に画面Ｃに向かうストローク２１５を描き、かつ、右手の指で画面Ｃ上に画面Ａに向かうストローク２１６を描くと、画面Ａと画面Ｃとが入れ替わる（右図参照）。また、左手の２本指（あるいは、右手の２本指）で、画面Ａ上に画面Ｃに向かうストローク２１７と、画面Ｃ上に画面Ａに向かうストローク２１８とを描くと、画面Ａと画面Ｃとが入れ替わる（右図参照）。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　なお、本実施形態のストロークは、指先で軽くはらうようにするフリック操作が望ましいが、指先をスライドさせるスワイプ操作などであってもよい。

　《情報処理装置の機能構成》
　図３は、本実施形態に係る情報処理装置２００の機能構成を示すブロック図である。

　情報処理装置２００は、ディスプレイパネルを有する表示部３０１と、タッチパネルまたはホームボタンなどを有する操作部３０２と、を備える。この内、ディスプレイパネルとタッチパネルとが表示画面２１０を構成する。また、情報処理装置２００は、表示制御部３０３と、表示データ生成部３０４と、アプリ実行操作判定部３０５と、アプリケーション実行部３０６と、を備える。

　アプリ実行操作判定部３０５は、操作部３０２におけるアプリケーション実行操作を判定して、アプリケーション実行操作の場合に、アプリケーション実行部３０６でアプリケーションを起動し実行する。表示データ生成部３０４は、実行するアプリケーションに従う表示データを生成する。表示制御部３０３は、表示フレーム情報３３０を有し、アプリケーションの実行により生成された表示データを表示フレームに割り当てて、表示部３０１に表示させることにより、画面制御を行なう。

　さらに、情報処理装置２００は、表示フレーム入替判定部３０７を備える。表示フレーム入替判定部３０７は、入替判定テーブル３７０を有し、操作部３０２における操作に基づいて画面入替を判定する。表示制御部３０３は、表示フレーム入替判定部３０７が画面入替を判定すると、表示フレーム情報３３０を変更することによって、画面の入替を行なう。

　（表示フレーム情報）
　図４は、本実施形態に係る表示フレーム情報３３０の構成を示す図である。表示フレーム情報３３０は、表示制御部３０３によって、アプリケーションに関連した表示情報を画面に配置するために使用される。図４には、アプリケーションＡの生成する画面ＡとアプリケーションＢの生成する画面Ｂの入替の例を示す。なお、図４においては、一般性を保つためにフレーム表示位置やフレームサイズにおいて、ｙ軸方向（縦方向）にも表示フレームにより異なる数値を設定している。しかし、図２Ａおよび図２Ｂのようなｘ軸方向（横方向）の分割画面の場合には、ｙおよびｈの値はどの表示フレームにおいても同じとなる。

　図４の上段は、入替前の表示フレーム情報４１０である。表示フレーム情報４１０は、表示フレームＩＤ４１１に対応付けて、各表示フレーム位置４１２および表示フレームサイズ４１３を記憶する。なお、表示位置は表示フレームの左上でよいが限定されない。また、表示フレーム位置４１２および表示フレームサイズ４１３でなく、表示フレーム角の２つの表示位置であってもよい。

　表示フレーム情報４１０は、表示フレームＩＤ４１１に対応付けて、この表示フレームに表示される情報を生成するアプリケーションを表示割当アプリ４１４として、記憶する。そして、アプリケーションによって生成されたフレーム内容４１５を記憶する。

　さらに、表示フレーム情報４１０は、各表示フレームについて、画面入替の操作に基づく表示フレーム入替フラグ４１６を記憶する。本例では、画面入替の操作により、表示フレーム入替フラグ４１６が“０”から“１”になり、画面入替が実行される。

　図４の下段は、入替後の表示フレーム情報４２０である。表示フレーム情報４２０は、表示フレーム情報４１０と同様に、表示フレームＩＤ４１１に対応付けて、各表示フレーム位置４１２および表示フレームサイズ４１３を記憶する。

　表示フレーム情報４２０は、表示フレームＩＤ４１１に対応付けて、この表示フレームに表示される情報を生成するアプリケーションを入れ替えて、表示割当アプリ４２４として、記憶する。そして、アプリケーションによって生成されたフレーム内容４２５を記憶する。

　さらに、表示フレーム情報４２０は、各表示フレームについて、画面入替の操作に基づく表示フレーム入替フラグ４２６を記憶する。本例では、画面入替の操作終了により、表示フレーム入替フラグ４２６が“１”から“０”になり、画面入替が終了する。

　なお、図４においては、画面の入替は、あらかじめ配置された表示フレームへのアプリケーションの生成データの割当ての入替で行なったが、割当ては入れ替えずに表示フレームの表示位置の入替であってもよい。

　（入替判定テーブル）
　図５は、本実施形態に係る入替判定テーブル３７０の構成を示す図である。入替判定テーブル３７０は、表示フレーム入替フラグを“１”にするための条件を記憶して、画面入替の操作があったことを判定する。図５には、画面入替の操作と判定する条件を図示している。

　入替判定テーブル３７０は、画面上から検出した表示フレームＩＤとストローク方向とを含む、第１ストローク検出５０１と第２ストローク検出５０２とを記憶する。また、入替判定テーブル３７０は、表示フレーム入替操作と判断する条件５０３を記憶する。その条件５０３は、表示フレーム条件とストローク方向条件とストローク検出条件とを含む。表示フレーム条件は、検出した第１ストロークと第２ストロークとが異なる表示フレームの有るという条件である。ストローク方向条件は、第１ストロークおよび第２ストロークが、それぞれ入替相手の表示フレームを向いている条件である。ストローク検出条件は、第１ストロークと第２ストロークとの検出時間の関係であり、本実施形態では、時間帯が重なっている、すなわち共通の時間帯を有することを条件としている。２本指で本例の画面入替操作をする場合には、この条件を満たすことが多い。

　そして、入替判定テーブル３７０は、条件５０３を全て満たす場合に、表示フレーム入替フラグ５０４をＯＮ（“１”）とする。

　図５では、図２Ａおよび図２Ｂの場合の具体例として、表示フレームＦ００１の第１ストロークが表示フレームＦ００２を向き、表示フレームＦ００２の第２ストロークが表示フレームＦ００１を向いており、第１ストロークと第２ストロークとが共通の時間帯を有する場合を示してある。そして、表示フレーム入替フラグ５０４がＯＮ（“１”）となる。

　図５のような条件により、異なる画面の領域において第１時間内のタッチが検出されれば、ストロークの検出を開始することにより、フリック操作やスワイプ操作との分離が可能となる。また、ストロークが開始位置への第２時間内のタッチ後に開始されれば、ストロークの検出を開始することにより、入替指示とアイコン指示などとの分離が可能となる。しかし、これら条件は限定されるものではない。

　《情報処理装置のハードウェア構成》
　図６は、本実施形態に係る情報処理装置２００のハードウェア構成を示すブロック図である。

　図６で、ＣＰＵ(Central Processing Unit)６１０は演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２００の機能構成部を実現する。ＲＯＭ(Read Only Memory)６２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部６３０は、ネットワークを介して他の装置と通信する。なお、ＣＰＵ６１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphic Processing Unit)を含んでもよい。また、通信制御部６３０は、ＣＰＵ６１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)６４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ６４０とストレージ６５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース６６０は、ＣＰＵ６１０とは独立したＣＰＵを有して、ＲＡＭ６４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ６１０は、ＲＡＭ６４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ６１０は、処理結果をＲＡＭ６４０に準備し、後の送信あるいは転送は通信制御部６３０やＤＭＡＣ、あるいは入出力インタフェース６６０に任せる。

　ＲＡＭ６４０は、ＣＰＵ６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。表示フレーム情報３３０は、重畳表示する拡大表示フレームを含む表示フレームの定義とアプリケーションとの関連とを記憶する。表示フレームの入替判定テーブル３７０は、画面入替を判定するためのテーブルである。入出力データ６４１は、入出力インタフェース６６０を介して、表示部３０１や操作部３０２などとの転送データである。送受信データ６４２は、通信制御部６３０を介して送受信するデータである。

　ストレージ６５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。アプリケーション格納部６５１は、本情報処理装置２００で実行されるアプリケーションを格納している。表示フレームフォーマット６５２は、表示フレーム情報３３０に記憶される表示フレームのフォーマットを格納している。表示フレーム入替アルゴリズム６５３は、画面入替の判定アルゴリズムを格納している。

　ストレージ６５０には、以下のプログラムが格納される。情報処理装置制御プログラム６５４は、本情報処理装置２００の全体を制御する基礎プログラムである。アプリ実行制御モジュール６５５は、アプリケーション格納部６５１に格納されたアプリケーションを実行するモジュールである。表示フレーム制御モジュール６５６は、アプリケーションの実行に従って生成された表示情報を割り当てた表示フレームの表示部３０１への配置を制御するモジュールであり、本例では、表示フレーム入替フラグに従って画面入替を制御する。

　入出力インタフェース６６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース６６０には、表示部３０１、操作部３０２、音声入出力部６６１、などが接続される。また、ＧＰＳ(Global Positioning System)位置判定部が接続されてもよい。

　なお、図６のＲＡＭ６４０やストレージ６５０には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

　《情報処理装置の処理手順》
　図７は、本実施形態に係る情報処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を使用しながら実行し、図３の機能構成部を実現する。

　情報処理装置２００は、ステップＳ７１１において、表示画面上のアプリケーションの実行操作がされたか否かを判定する。アプリケーションの実行操作がされた場合、情報処理装置２００は、ステップＳ７１３において、指示されたアプリケーションを実行する。次に、情報処理装置２００は、ステップＳ７１５において、アプリケーションの実行に関連する表示データを生成する。そして、情報処理装置２００は、ステップＳ７１７において、生成した表示データを割り当てられている表示フレーム内に表示すべく渡す。

　アプリケーションの実行操作でない場合、情報処理装置２００は、ステップＳ７２１において、実行中のアプリケーションを終了する操作がされたか否かを判定する。実行中のアプリケーションを終了する操作がされた場合、情報処理装置２００は、ステップＳ７２３において、指示されたアプリケーションを終了する。

　アプリケーションの実行操作および終了操作でない場合、情報処理装置２００は、ステップＳ７３１において、画面上で画面入替の操作がされたか否かを判定する。本例では、２つのストロークが共通の時間帯を有する同時操作の場合である。画面入替の操作がされたと判定した場合、情報処理装置２００は、ステップＳ７３３において、画面入替を操作した表示フレームの表示フレーム入替フラグをＯＮとして、ステップＳ７３５において、表示フレーム入替を指示する。

　アプリケーションの実行操作および終了操作でなく、表示フレーム入替操作でもない場合、情報処理装置２００は、ステップＳ７４１において、指示操作された他の処理を行なう。

　（表示フレーム制御）
　図８は、本実施形態に係る表示フレーム制御の手順を示すフローチャートである。

　情報処理装置２００は、ステップＳ８１１において、図７のステップＳ７１７に処理により表示フレーム用のデータを受けたか否かを判定する。表示フレーム用のデータを受けた場合、情報処理装置２００は、ステップＳ８１３において、表示フレームを生成する。次に、情報処理装置２００は、ステップＳ８１５において、生成した表示フレームに受けた表示データを設定する。そして、情報処理装置２００は、ステップＳ８１７において、表示画面を分割して表示フレームの表示データを表示する。なお、上記ステップＳ８１３～Ｓ８１７においては、表示画面を分割する手順を示した。あらかじめ分割画面が複数の表示フレームによって生成されている場合は、表示データをアプリケーションに対応して表示フレームに割り当てることになり、ステップＳ８１３の表示フレームの生成は必要でない。

　表示フレーム用のデータを受けない場合、情報処理装置２００は、ステップＳ８２１において、図７のステップＳ７２３の処理によりアプリケーション終了の指示を受けたか否かを判定する。アプリケーション終了の指示を受けた場合、情報処理装置２００は、ステップＳ８２３において、表示データを表示していた表示フレームを消去する。そして、情報処理装置２００は、ステップＳ８２５において、表示画面を再配置する。なお、上述のように、分割画面があらかじめ設定されている場合は、開いた表示フレームに再配置するのみであり、ステップＳ８２３の表示フレームの消去は必要でない。

　表示フレーム用のデータを受けてなく、アプリケーション終了の指示を受けてもない場合、情報処理装置２００は、ステップＳ８３１において、図７のステップＳ７３５の処理により画面入替の指示を受けたか否かを判定する。画面入替の指示を受けた場合、情報処理装置２００は、ステップＳ８３３において、表示フレーム入替フラグがＯＮである２つの表示フレームの入替処理を実行する。そして、情報処理装置２００は、ステップＳ８３５において、２つの表示フレームの表示フレーム入替フラグをＯＦＦとして画面入替処理を終了する。

　本実施形態によれば、両手あるいは片手の２本の指を使って、異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出すると画面を入れ替えるので、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　［第３実施形態］
　次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、片手の１本の指による、異なる画面のそれぞれにおける他の画面に向かうストロークを検出すると、それらの画面を入れ替える。を有する点で異なる。本実施形態の場合は、ストロークの時間帯は重ならない。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

　《画面入替動作》
　図９Ａは、本実施形態に係る情報処理装置９００の画面入替の動作図である。図９Ａは２画面の分割表示の例を示している。図９Ａにおいては、左から、１本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置９００の表示画面２１０には、画面Ａと画面Ｂとが分割表示されている。ユーザが、左手の１本指（あるいは、右手の１本指）で画面Ａと画面Ｂとの上にストローク９１１を描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。ストローク９１１は、画面Ａから画面Ｂへのストロークと、画面Ｂから画面Ａへのストロークと、を含んでいる。また、左手の１本指（あるいは、右手の１本指）で、画面Ａに画面Ｂに向かうストローク９１２を描き、画面Ｂ上に画面Ａに向かうストローク９１３を描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　図９Ｂは、本実施形態に係る情報処理装置９００の画面入替の他の動作図である。図９Ｂは３画面の分割表示の例を示している。図９Ｂにおいては、左から、１本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置９００の表示画面２１０には、画面Ａと画面Ｂと画面Ｃとが分割表示されている。ユーザが、左手の１本指（あるいは、右手の１本指）で画面Ａと画面Ｂと画面Ｃとの上にストローク９１４を描くと、画面Ａと画面Ｃとが入れ替わる（右上図参照）。ストローク９１４は、画面Ａから画面Ｃへのストロークと、画面Ｃから画面Ａへのストロークと、を含んでいる。また、左手の１本指（あるいは、右手の１本指）で、画面Ａ上に画面Ｃに向かうストローク９１５を描き、画面Ｃ上に画面Ａに向かうストローク９１６を描くと、画面Ａと画面Ｃとが入れ替わる（右上図参照）。さらに、左手の１本指（あるいは、右手の１本指）で画面Ａと画面Ｃとの上にストローク９１７を描くと、画面Ａと画面Ｃとが入れ替わる（右下図参照）。ストローク９１７は、画面Ａから画面Ｃへのストロークと、画面Ｃから画面Ａへのストロークと、を含んでいる。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　（入替判定テーブル）
　図１０は、本実施形態に係る入替判定テーブル１０７０の構成を示す図である。入替判定テーブル１０７０は、表示フレーム入替フラグを“１”にするための条件を記憶して、画面入替の操作があったことを判定する。図１０には、画面入替の操作と判定する条件を図示している。なお、図１０において、図５と同様の構成要素には同じ参照番号を付して、説明を省略する。

　入替判定テーブル１０７０は、表示フレーム入替操作と判断する条件１００３を記憶する。その条件１００３は、表示フレーム条件とストローク方向条件とストローク検出条件とを含む。表示フレーム条件は、検出した第１ストロークと第２ストロークとが異なる条件である。ストローク方向条件は、第１ストロークおよび第２ストロークが、それぞれ入替相手の表示フレームを向いている条件である。ストローク検出条件は、第１ストロークと第２ストロークとの検出時間の関係であり、本実施形態では、時間帯が重なっていない、すなわち異なる検出時間帯を有することを条件としている。１本指で本例の画面入替操作をする場合には、この条件を満たすことが多い。あるいは、２本指であっても、この条件を満たす場合がある。

　そして、入替判定テーブル１０７０は、条件１００３を全て満たす場合に、表示フレーム入替フラグ５０４をＯＮ（“１”）とする。

　図１０では、図９Ａおよび図９Ｂの場合の具体例として、表示フレームＦ００１の第１ストロークが表示フレームＦ００２を向き、表示フレームＦ００２の第２ストロークが表示フレームＦ００１を向いており、第１ストロークと第２ストロークとが異なる時間帯を有する場合を示してある。そして、表示フレーム入替フラグ５０４がＯＮ（“１”）となる。

　《情報処理装置の処理手順》
　図１１は、本実施形態に係る情報処理装置９００の処理手順を示すフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を使用しながら実行し、図３の機能構成部を実現する。なお、図１１において、図７と同様のステップには同じステップ番号を付して、説明を省略する。

　情報処理装置９００は、ステップＳ１１３１において、アプリケーションの実行操作および終了操作でない場合、画面上で画面入替の操作がされたか否かを判定する。本例では、２つのストロークが異なるの時間帯を有する異時操作の場合である。画面入替の操作がされたと判定した場合、情報処理装置９００は、ステップＳ７３３において、画面入替を操作した表示フレームの表示フレーム入替フラグをＯＮとして、ステップＳ７３５において、表示フレーム入替を指示する。

　本実施形態によれば、片手の１本の指を使って、異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出すると画面を入れ替えるので、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　［第４実施形態］
　次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、情報処理装置の画面が縦に並んでいる点で異なる。その他の構成および動作は、第２実施形態、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

　《画面入替動作》》
　図１２Ａは、本実施形態に係る情報処理装置２００の画面入替の動作図である。図１２Ａは縦方向の２画面の分割表示の例を示している。図１２Ａにおいては、左から、２本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置２００の表示画面２１０には、画面Ａと画面Ｂとが縦方向に分割表示されている。ユーザが、左手の指で画面Ａ上に画面Ｂに向かうストローク１２１１を描き、かつ、右手の指で画面Ｂ上に画面Ａに向かうストローク１２１２を描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。また、右手の２本指（あるいは、左手の２本指）で、画面Ａ上に画面Ｂに向かうストローク１２１３と、画面Ｂ上に画面Ａに向かうストローク１２１４とを描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　図１２Ｂは、本実施形態に係る情報処理装置２００の画面入替の他の動作図である。図１２Ｂは縦方向を含む３画面の分割表示の例を示している。図１２Ｂにおいては、左から、２本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置２００の表示画面２１０には、画面Ａと画面Ｂと画面Ｃとが縦方向に分割表示されている。ユーザが、左手の指で画面Ａ上に画面Ｃに向かうストローク１２１５を描き、かつ、右手の指で画面Ｃ上に画面Ａに向かうストローク１２１６を描くと、画面Ａと画面Ｃとが入れ替わる（右上図参照）。また、情報処理装置２００の表示画面２１０には、画面Ａと画面Ｂと画面Ｃとが縦方向および横方向に分割表示されている。右手の２本指（あるいは、左手の２本指）で、画面Ａ上に画面Ｃに向かうストローク１２１３と、画面Ｃ上に画面Ａに向かうストローク１２１４とを描くと、画面Ａと画面Ｃとが入れ替わる（右図参照）。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　図１２Ｃは、本実施形態に係る情報処理装置９００の画面入替のさらに他の動作図である。図１２Ｃは縦方向の２画面の分割表示の例を示している。図１２Ｃにおいては、左から、１本指の画面入替操作→画面入替結果をそれぞれ図示している。

　情報処理装置９００の表示画面２１０には、画面Ａと画面Ｂとが分割表示されている。ユーザが、右手の１本指（あるいは、左手の１本指）で画面Ａと画面Ｂとの上にストローク１２２１を描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。ストローク１２２１１は、画面Ａから画面Ｂへのストロークと、画面Ｂから画面Ａへのストロークと、を含んでいる。また、右手の１本指（あるいは、左手の１本指）で、画面Ａに画面Ｂに向かうストローク１２２２を描き、画面Ｂ上に画面Ａに向かうストローク１２２３を描くと、画面Ａと画面Ｂとが入れ替わる（右図参照）。かかる操作は、ユーザが画面の入替を意図していることを表わす直感的な操作である。したがって、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　本実施形態によれば、画面が縦に並んでいる場合にも、異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出すると画面を入れ替えるので、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　［第５実施形態］
　次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第４実施形態と比べると、少なくとも２つの画面を回転させることにより入れ替える点で異なる。その他の構成および動作は、第２実施形態から第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

　《画面入替動作》
　図１３Ａは、本実施形態に係る情報処理装置１３００の画面入替の動作図である。図１３Ａは横方向の２画面の分割表示の例を示している。図１３Ａにおいては、上から、最初の画面回転操作→途中の画面回転操作→画面入替結果をそれぞれ図示している。

　情報処理装置１３００の表示画面２１０には、画面Ａと画面Ｂとが分割表示されている。ユーザが、右手の指（あるいは、左手の指）で画面Ａから画面Ｂに向かうストローク１３１１を描くと、画面Ａと画面Ｂとがストローク１３１１方向（本例では、左方向）に回転移動する（中央図参照）。さらに、中央図の回転移動した状態で、ユーザが、右手の指（あるいは、左手の指）で画面Ａから画面Ｂに向かうストローク１３１２を描くと、画面Ａと画面Ｂとがさらにストローク１３１２方向（本例では、左方向）に回転移動して、最終的には画面Ａと画面Ｂとが入れ替わる（下図参照）。

　図１３Ｂは、本実施形態に係る情報処理装置１３００の画面入替の他の動作図である。図１３Ｂは縦方向の２画面の分割表示の例を示している。図１３Ｂにおいては、左から、最初の画面回転操作→途中の画面回転操作→画面入替結果をそれぞれ図示している。

　情報処理装置１３００の表示画面２１０には、画面Ａと画面Ｂとが分割表示されている。ユーザが、右手の指（あるいは、左手の指）で画面Ａから画面Ｂに向かうストローク１３１３を描くと、画面Ａと画面Ｂとがストローク１３１３方向（本例では、下方向）に回転移動する（中央図参照）。さらに、中央図の回転移動した状態で、ユーザが、右手の指（あるいは、左手の指）で画面Ａから画面Ｂに向かうストローク１３１４を描くと、画面Ａと画面Ｂとがさらにストローク１３１４方向（本例では、下方向）に回転移動して、最終的には画面Ａと画面Ｂとが入れ替わる（下図参照）。

　《情報処理装置の機能構成》
　図１４は、本実施形態に係る情報処理装置１３００の機能構成を示すブロック図である。なお、図１４において、図３と同様の機能構成部には同じ参照番号を付して、説明を省略する。

　情報処理装置１３００は、表示制御部１４０３を備える。表示制御部１４０３は、表示フレーム情報１４３０を有し、アプリケーションの実行により生成された表示データを表示フレームに割り当てて、表示部３０１に表示させることにより、画面制御を行なう。

　さらに、情報処理装置２００は、表示フレーム回転判定部１４０７を備える。表示フレーム回転判定部１４０７は、回転判定テーブル１４７０を有し、操作部３０２における操作に基づいて画面回転を判定する。表示制御部１４０３は、表示フレーム回転判定部１４０７が画面回転を判定すると、表示フレーム情報１４３０を変更することによって、画面の回転を行ない、最終的に画面入替を実現する。

　（表示フレーム情報）
　図１５は、本実施形態に係る表示フレーム情報１４３０の構成を示す図である。表示フレーム情報１４３０は、表示制御部１４０３によって、アプリケーションに関連した表示情報を画面に配置するために使用される。図１５には、図１３Ａにおける横方向の、アプリケーションＡの生成する画面ＡとアプリケーションＢの生成する画面Ｂの回転による入替の例を示す。なお、図１５においては、一般性を保つためにフレーム表示位置やフレームサイズにおいて、ｙ軸方向（縦方向）にも表示フレームにより異なる数値を設定している。しかし、図１３Ａのようなｘ軸方向（横方向）の分割画面の場合には、ｙおよびｈの値はどの表示フレームにおいても同じとなる。なお、図１５において、図４と同様の構成要素には同じ参照番号を付して、説明を省略する。

　図１５の上段は、入替前（回転前）の表示フレーム情報１５１０である。表示フレーム情報１５１０は、各表示フレームについて、画面回転の操作に基づく表示フレーム回転フラグ１５１６を記憶する。本例では、画面回転の操作により、表示フレーム回転フラグ１５１６が“０”から“１”になり、画面回転が実行される。

　図１５の中段は、回転中の表示フレーム情報１５２０である。ここでは、画面Ａが半分回転した状態のデータを示している。表示フレーム情報１５２０には、表示画面２１０の両側に表示された画面Ａが２つの表示フレームＦ００１－１とＦ００１－２とで表わされている。表示フレーム情報１５２０は、これら表示フレームＩＤ４１１に対応付けて、回転中の各表示フレーム位置１５２２および表示フレームサイズ１５２３を記憶する。

　また、表示フレーム情報４１０は、表示フレームＩＤ４１１に対応付けて、この表示フレームに表示される情報を生成するアプリケーションを表示割当アプリ１５２４として、記憶する。そして、アプリケーションによって生成されたフレーム内容１５２５を記憶する。さらに、表示フレーム情報１５２０は、各表示フレームについて、画面回転の操作に基づく表示フレーム回転フラグ１５２６を記憶する。本例では、画面回転の操作により、表示フレーム回転フラグ１５２６が“０”から“１”になり、画面回転が実行される。

　図１５の下段は、入替後の表示フレーム情報１５３０である。表示フレーム情報１５３０は、表示フレームＩＤ４１１に対応付けて、画面入替後の各表示フレーム位置１５３２および表示フレームサイズ４１３を記憶する。

　さらに、表示フレーム情報１５３０は、各表示フレームについて、画面入替の操作に基づく表示フレーム回転フラグ１５３６を記憶する。本例では、画面入替の操作終了により、表示フレーム回転フラグ１５３６が“１”から“０”になり、画面回転による画面入替が終了する。

　（回転判定テーブル）
　図１６は、本実施形態に係る回転判定テーブル１４７０の構成を示す図である。回転判定テーブル１４７０は、表示フレーム回転フラグを“１”にするための条件を記憶して、画面回転の操作があったことを判定する。図１６には、画面回転の操作と判定する条件を図示している。

　回転判定テーブル１４７０は、画面上から検出したストロークの視点フレームと終点フレームとストローク方向とを含む、ストローク検出１６０１を記憶する。また、回転判定テーブル１４７０は、表示フレーム回転操作と判断する条件１６０２を記憶する。その条件１６０２は、表示フレーム条件とストローク方向条件とを含む。表示フレーム条件は、検出したストロークの始点フレームと終点フレームとが異なるという条件である。ストローク方向条件は、検出されたストロークが一定方向を向いている条件である。

　そして、回転判定テーブル１４７０は、条件１６０２を全て満たす場合に、表示フレーム回転フラグ１６０３をＯＮ（“１”）とする。

　図１６では、図１３Ａおよび図１３Ｂの場合の具体例として、検出したストロークが表示フレームＦ００１を始点に表示フレームＦ００２を終点とし、表示フレームＦ００１から表示フレームＦ００１を向いている場合を示してある。そして、表示フレーム回転フラグ１６０３がＯＮ（“１”）となる。

　なお、条件１６０２の始点フレームと終点フレームとが異なるという条件は、必須の条件ではない。

　《情報処理装置の処理手順》
　図１７は、本実施形態に係る情報処理装置１３００の処理手順を示すフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を使用しながら実行し、図３の機能構成部を実現する。なお、図１７において、図７と同様のステップには同じステップ番号を付して、説明を省略する。

　情報処理装置１３００は、ステップＳ１７３１において、アプリケーションの実行操作および終了操作でない場合、画面上で画面回転の操作がされたか否かを判定する。画面回転の操作がされたと判定した場合、情報処理装置１３００は、ステップＳ１７３３において、表示フレーム回転フラグをＯＮとして、ステップＳ１７３５において、表示フレーム回転を指示する。

　（表示フレーム制御）
　図１８は、本実施形態に係る表示フレーム制御の手順を示すフローチャートである。なお、図１８において、図８と同様のステップには同じステップ番号を付して、説明を省略する。

　表示フレーム用のデータを受けてなく、アプリケーション終了の指示を受けてもない場合、情報処理装置１３００は、ステップＳ１８３１において、図７のステップＳ１７３５の処理により画面回転の指示を受けたか否かを判定する。画面回転の指示を受けた場合、情報処理装置１３００は、ステップＳ１８３３において、表示フレーム回転フラグがＯＮである表示フレームの回転処理を実行する。情報処理装置１３００は、ステップＳ１８３５において、回転途中で画面入替が完了したか否かを判定する。かかる判定は、表示フレームの位置や回転量、あるいは、本例の図１５の例では元の表示フレームＦ００１－２のサイズのゼロにより可能である。回転途中で画面入替が完了した場合、情報処理装置１３００は、ステップＳ１８３７において、回転を中止する。そして、情報処理装置１３００は、ステップＳ１８３９において、表示フレーム回転フラグをＯＦＦとして画面回転処理を終了する。

　本実施形態によれば、画面を回転させるストロークを検出すると画面を入れ替えることができるので、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　［第６実施形態］
　次に、本発明の第６実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第５実施形態と比べると、少なくとも２つの画面が重畳して表示されている点で異なる。その他の構成および動作は、第２実施形態から第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

　《画面入替動作》
　図１９は、本実施形態に係る情報処理装置１９００の画面入替の動作図である。図１９は画面が重畳して表示されている例を示している。図１９においては、左から、２本指の画面入替操作→画面入替結果をそれぞれ図示している。

　図１９の上段においては、情報処理装置１９００の表示画面２１０には、画面Ａの上に重畳して画面Ｂが表示されている。ユーザが、左手の指で画面Ａ上に画面Ｂに向かうストローク１９１１を描き、かつ、右手の指で画面Ｂ上に画面Ａに向かうストローク１９１２を描くと、画面Ａと画面Ｂとが入れ替わる。

　図１９の下段においては、情報処理装置１９００の表示画面２１０には、上から画面Ｂ、画面Ａ、画面Ｄ、画面Ｃの順で画面が重畳して表示されている。ユーザが、左手の指で画面Ｃ上に画面Ｂに向かうストローク１９１３を描き、かつ、右手の指で画面Ｂ上に画面Ｃに向かうストローク１９１４を描くと、画面Ｃと画面Ｂとが入れ替わる。

　本実施形態によれば、重畳して表示されている画面においても、異なる画面の領域のそれぞれで、他の画面に向かうストロークを検出すると画面を入れ替えるので、ユーザの意図をそのまま表現した操作により、表示位置の入替をすることができる。

　［他の実施形態］
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）
は本発明の範疇に含まれる。

　この出願は、２０１４年９月１６日に出願された日本国特許出願　特願２０１４－１８８３０３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　少なくとも２つの画面を表示する表示手段と、
　異なる画面の領域のそれぞれにおいて、他の画面に向かうストロークを検出するストローク検出手段と、
　前記ストローク検出手段により前記ストロークが検出された場合、前記異なる画面を入れ替える入替手段と、
　を備える情報処理装置。
　前記入替手段は、前記ストローク検出手段により、前記異なる画面の領域において前記ストロークが共通の時間帯に検出された場合、前記異なる画面を入れ替える請求項１に記載の情報処理装置。
　前記入替手段は、前記ストローク検出手段により、前記異なる画面の領域において前記ストロークが異なる時間帯に検出された場合、前記異なる画面を入れ替える請求項１に記載の情報処理装置。
　前記ストローク検出手段は、前記異なる画面の領域において第１時間内のタッチが検出されれば、前記ストロークの検出を開始する請求項１乃至３のいずれか１項に記載の情報処理装置。
　前記ストローク検出手段は、前記ストロークが開始位置への第２時間内のタッチ後に開始されれば、前記ストロークの検出を開始する請求項１乃至４のいずれか１項に記載の情報処理装置。
　少なくとも２つの画面を表示する表示ステップと、
　異なる画面の領域のそれぞれにおいて、他の画面に向うストロークを検出するストローク検出ステップと、
　前記ストローク検出ステップにおいて前記ストロークが検出された場合、前記異なる画面を入れ替える入替ステップと、
　を含む情報処理装置の制御方法。
　少なくとも２つの画面を表示する表示ステップと、
　異なる画面の領域のそれぞれにおいて、他の画面に向うストロークを検出するストローク検出ステップと、
　前記ストローク検出ステップにおいて前記ストロークが検出された場合、前記異なる画面を入れ替える入替ステップと、
　をコンピュータに実行させる情報処理装置の制御プログラム。
　異なる画面の領域のそれぞれにおいて、他の画面に向うストロークを検出するストローク検出ステップと、
　前記ストローク検出ステップにおいて前記ストロークが検出された場合、前記異なる画面を入れ替える入替ステップと、
　を含むマルチ画面の表示位置入替方法。