JP5844707B2 - 画像表示制御装置、画像表示装置、プログラム及び画像表示方法 - Google Patents

Description

本発明は、画像表示制御装置、画像表示装置、プログラム及び画像表示方法に係り、特に、表示した画像に対する操作指示を受け付ける画像表示制御装置、当該画像表示制御装置を有する画像表示装置、上記画像表示制御装置により実行されるプログラム、及び表示した画像に対する操作指示を受け付ける画像表示方法に関する。

近年、携帯電話端末装置の発展に伴い、従来の携帯電話端末装置よりもサイズが大きなディスプレイを有する、スマートフォンと呼ばれる多機能化した携帯電話端末装置が開発されている。また、多くのスマートフォンでは、ディスプレイのサイズを可能な限り大きくする一方、筐体のサイズを小さく維持するために、従来の携帯電話端末装置では用いていたハードウェアのキーボードを採用していない。そして、この種のスマートフォンでは、オン／オフボタンなどの少数の操作ボタンのみをハードウェアの操作部とすると共に、ディスプレイがタッチパネルを兼ねるように構成されることでディスプレイをメインの操作手段として利用している。

しかしながら、この構成では、操作指示を入力する場合、マウスなどのポインティングデバイスを用いる装置のようにカーソルの移動およびクリックという２段階の操作を行うことができない。そのため、スマートフォンにおいて、ディスプレイ上で操作された際に何れの操作がされたのかを判断する処理が必要となるという問題もある。この問題は、スマートフォンに限らず、画像を表示する表示部を有するあらゆる装置に生じ得る問題である。

この問題を解決するために適用し得る技術として、特許文献１には、タッチ操作の競合を解消しつつ、簡単なタッチ操作で良好な所定操作（リンク選択の操作）を実現する端末装置が開示されている。この端末装置は、タッチ位置の座標を検出するタッチパネルと、少なくとも一部の表示領域においてタッチパネルのタッチ領域が重複した表示部とを備える。また、この端末装置は、リンクが設定された文書データから表示部に表示される表示情報を生成し、タッチされた位置を含む所定範囲をリンク有効領域として設定し、リンク有効領域内でのみリンクの選択を許容する。さらに、この端末装置は、リンク有効領域内でのタッチ離脱時にタッチ状態にあったリンクのリンク先に移行し、タッチがそのタッチ状態を維持したままリンク有効領域内からその外側へ移動したときリンク選択以外の所定の処理を実行する。

ＷＯ２００９／０４４７７０号公報

ところで、従来の画像表示装置では、一般に、表示した画像に対して各種処理を実行させるために各種処理を示すメニュー項目を表示させる操作に引き続き、当該メニュー項目の何れかを選択する操作がユーザによって行われる。また、従来の画像表示装置では、表示されている画像に対するドラッグ操作もユーザによって行われる。

従って、画像表示装置に対し、表示した画像が選択された際に、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別できる技術が要望されている。

しかしながら、上記特許文献１に開示されている技術では、タッチ位置がリンク有効領域内からその外側へ移動したときに、リンク選択（メニュー項目の選択に相当）以外の操作が実行される。そのため、ドラッグ操作を行おうとしていると判定するためには、タッチパネル上でのタッチ位置がリンク有効領域を超えるまで移動操作が継続される必要がある。よって、リンク有効領域の形状によっては当該移動操作に手間や時間がかかってしまい、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを必ずしも簡単な操作で識別することができなかった。

本発明は上記課題に鑑みてなされたものであり、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別可能とすることができる画像表示制御装置、画像表示装置、プログラム及び画像表示方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像表示装置は、画像を表示させる表示領域を有すると共に、当該表示領域の表面にタッチパネルが設けられた表示手段に表示させた画像が前記タッチパネルを介して指定された場合、予め定められた複数のメニュー項目の各々を示すメニュー画面を前記表示領域における前記表示させた画像に隣接する周辺領域の一部に空き領域を設けた状態でメニュー項目毎に表示させる制御を行う表示制御手段と、前記メニュー画面を前記表示領域に表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記メニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたと判断し、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じたドラッグ操作が指定されたと判断する判断手段と、前記判断手段による判断結果に応じた処理を実行する実行手段と、を備えている。

本発明に係る画像表示装置によれば、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別可能とすることができる。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記判断手段による判断が終了した後に前記メニュー画像の表示を中止させる制御を行うようにしても良い。これにより、メニュー画面の表示によって表示内容が隠れてしまうことを防止できる。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記画像をマトリックス状に配列させて前記表示領域に表示させる制御を行うと共に、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、指定された画像に隣接する周辺領域のうち、行方向及び列方向の少なくとも一方に隣接する画像間の領域の一部に前記空き領域を生じさせて前記メニュー画面を表示させる制御を行うようにしても良い。これにより、ドラッグ操作をスムーズに開始することができる。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、前記指定された画像の少なくとも１つの辺に隣接する周辺領域の一部に空き領域を設けた状態で、前記指定された画像の他の辺に隣接する周辺領域の一部に前記メニュー画面を表示させる制御を行うようにしても良い。これにより、ドラッグ操作をスムーズに開始することができる。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記判断手段による判断が終了する前に前記タッチパネルを介した指定が解除された場合、前記メニュー画像の表示を中止させる制御を行うようにしても良い。これにより、ユーザ操作によりメニュー画面の表示を停止させることができる。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、前記予め定められたメニュー項目を噴き出しで表示させたメニュー画面を前記画像に隣接する周辺領域の一部に空き領域を有する状態で前記表示領域に表示させる制御を行うようにしても良い。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記メニュー画面を前記表示領域に表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記表示領域上で移動された場合は、指定位置の移動に応じた表示位置に前記指定された画像を移動させながら表示させる制御を行い、前記判断手段によりメニュー項目が指定されたと判断された場合には、前記指定された画像を元の位置に移動させて表示させ、前記判断手段によりドラッグ操作が指定されたと判断された場合には、前記指定された画像を空き領域の指定位置に停止させて表示させる制御を行うようにしても良い。

また、本発明に係る画像表示装置において、前記表示制御手段は、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、指定位置または指定された画像の中心を中心とした円弧状のメニュー画面を前記画像に隣接する周辺領域の一部に空き領域を有する状態で前記表示領域に表示させる制御を行うようにしても良い。

一方、上記目的を達成するために、本発明に係る記載の画像表示装置は、本発明に係る画像表示制御装置と、画像表示すると共に表示された画像を選択するための情報を入力するタッチパネルを供えた表示手段と、を含む。

従って、本発明に係る画像表示装置によれば、本発明に係る画像表示制御装置と同様に作用することができるので、本発明に係る画像表示制御装置と同様に、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別可能とすることができことができる。

一方、上記目的を達成するために、本発明に係る記載のプログラムは、コンピュータを、予め定められた画像を表示させる表示領域を有すると共に当該表示領域の表面にタッチパネルが設けられた表示手段に表示させた画像が、前記タッチパネルを介して指定された場合、ドラッグ操作を行う際の移動方向を示す項目を含むメニュー項目の各々毎を示すメニュー画面を前記表示手段の表示領域における前記画像に隣接する周辺領域の一部に空き領域を有する状態で表示させる制御を行う表示制御手段と、前記メニュー画面を前記表示手段により表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記メニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたものと判断し、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じた前記ドラッグ操作が指定されたと判断する判断手段と、前記判断手段による判断結果に応じた処理を実行する実行手段と、として機能させるためのプログラムである。

従って、本発明に係るプログラムによれば、コンピュータを本発明に係る画像表示装置と同様に作用させることができるので、本発明に係る画像表示装置と同様に、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別可能とすることができる。

また、上記目的を達成するために、本発明に係る画像表示方法は、予め定められた画像を表示させる表示領域を有すると共に当該表示領域の表面にタッチパネルが設けられた表示手段に表示させた画像が、前記タッチパネルを介して指定された場合、ドラッグ操作を行う際の移動方向を示す項目を含むメニュー項目の各々毎を示すメニュー画面を前記表示手段の表示領域における前記画像に隣接する周辺領域の一部に空き領域を有する状態で表示させる制御を行う表示制御ステップと、前記メニュー画面を前記表示手段により表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記メニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたものと判断し、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じた前記ドラッグ操作が指定されたと判断する判断ステップと、前記判断ステップによる判断結果に応じた処理を実行する実行ステップと、を行う。

従って、本発明に係る画像表示方法によれば、本発明に係る画像表示装置と同様に作用することができるので、本発明に係る画像表示装置と同様に、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別可能とすることができる。

本発明によれば、ドラッグ操作を行おうとしているのか、メニュー項目を選択する操作を行おうとしているのかを簡単な操作で識別可能とすることができる、という効果を奏する。

実施形態に係るスマートフォンの外観を示す斜視図である。 実施形態に係るスマートフォンの構成を示すブロック図である。 実施形態に係る表示制御処理プログラムの処理の流れを示すフローチャートである。 実施形態に係る表示制御処理プログラムの実行により表示される画面の構成例を示す構成図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の構成例を示す構成図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の構成例を示す構成図である。 実施形態に係るドラッグ操作に応じた処理の説明に供する説明図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の他の構成例を示す構成図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の他の構成例を示す構成図である。 実施形態に係るメニュー画面の一例を示す構成図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の他の構成例を示す構成図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の他の構成例を示す構成図である。 実施形態に係る表示制御処理プログラムの実行により表示される画面の他の構成例を示す構成図である。

以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、本実施形態では、本発明をスマートフォンに適用した場合を例に挙げて説明するが、これに限らず、本発明は、例えば、携帯電話機、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機等、表示画面を有する他の装置に適用可能であることは言うまでもない。

図１は、本実施形態に係るスマートフォン１０の外観を示す斜視図である。図１に示すスマートフォン１０は、平板状の筐体１２を有し、筐体１２の一方の面に表示部としての表示パネル１４Ａと、入力部としての操作パネル１４Ｂとが一体となった表示入力部１４を備えている。また、係る筐体１２は、スピーカ１６と、マイクロホン１８と、操作部２０と、カメラ部２２とを備えている。なお、筐体１２の構成はこれに限定されず、例えば、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図２は、本実施形態に係るスマートフォン１０の構成を示すブロック図である。図２に示すように、スマートフォン１０の主たる構成要素として、無線通信部２４と、表示入力部１４と、通話部２６と、操作部２０と、カメラ部２２と、記憶部２８と、外部入出力部３０とを備えている。また、スマートフォン１０の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部３２と、モーションセンサ部３４と、電源部３６と、主制御部３８とを備える。さらに、スマートフォン１０の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部２４は、主制御部３８の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１４は、主制御部３８の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルディスプレイである。表示入力部１４は、表示パネル１４Ａと、操作パネル１４Ｂとを備える。

表示パネル１４Ａは、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル１４Ｂは、表示パネル１４Ａの表示面上に表示される画像を視認可能に載置され、ユーザの指先や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指先や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部３８に出力する。次いで、主制御部３８は、受信した検出信号に基づいて、表示パネル１４Ａ上の操作位置（座標）を検出する。

なお、表示領域の大きさと表示パネル１４Ａの大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１４Ｂで採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２６は、スピーカ１６やマイクロホン１８を備え、マイクロホン１８を通じて入力されたユーザの音声を主制御部３８にて処理可能な音声データに変換して主制御部３８に出力したり、無線通信部２４あるいは外部入出力部３０により受信された音声データを復号してスピーカ１６から出力するものである。また、図１に示すように、例えば、スピーカ１６を表示入力部１４が設けられた面と同じ面に搭載し、マイクロホン１８を筐体１２の側面に搭載することができる。

操作部２０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１に示すように、操作部２０は、スマートフォン１０の筐体１２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２８は、主制御部３８の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２８は、スマートフォン内蔵の内部記憶部２８Ａと着脱自在な外部メモリスロットを有する外部記憶部２８Ｂにより構成される。なお、記憶部２８を構成するそれぞれの内部記憶部２８Ａと外部記憶部２８Ｂは、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部３０は、スマートフォン１０に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部３０は、このような外部機器から伝送を受けたデータをスマートフォン１０の内部の各構成要素に伝達することや、スマートフォン１０の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部３２は、主制御部３８の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン１０の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部３２は、無線通信部２４や外部入出力部３０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部３４は、例えば、３軸の加速度センサなどを備え、主制御部３８の指示にしたがって、スマートフォン１０の物理的な動きを検出する。スマートフォン１０の物理的な動きを検出することにより、スマートフォン１０の動く方向や加速度が検出される。係る検出結果は、主制御部３８に出力されるものである。

電源部３６は、主制御部３８の指示にしたがって、スマートフォン１０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部３８は、マイクロプロセッサを備え、記憶部２８が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０の各部を統括して制御するものである。また、主制御部３８は、無線通信部２４を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２８が記憶するアプリケーションソフトウェアにしたがって主制御部３８が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部３０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部３８は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部３８が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１４に表示する機能のことをいう。

更に、主制御部３８は、表示パネル１４Ａに対する表示制御と、操作部２０、操作パネル１４Ｂを通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部３８は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル１４Ａの表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部３８は、操作部２０を通じたユーザ操作を検出したり、操作パネル１４Ｂを通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部３８は、操作パネル１４Ｂに対する操作位置が、表示パネル１４Ａに重なる重畳部分（表示領域）か、それ以外の表示パネル１４Ａに重ならない外縁部分（非表示領域）かを判定し、操作パネル１４Ｂの感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部３８は、操作パネル１４Ｂに対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２２は、主制御部３８の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部２８に記録したり、外部入出力部３０や無線通信部２４を通じて出力したりすることができる。図１に示すにスマートフォン１０において、カメラ部２２は表示入力部１４と同じ面に搭載されているが、カメラ部２２の搭載位置はこれに限らず、表示入力部１４の背面に搭載されてもよいし、あるいは、複数のカメラ部２２が搭載されてもよい。なお、複数のカメラ部２２が搭載されている場合には、撮影に供するカメラ部２２を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２２を同時に使用して撮影したりすることもできる。

また、カメラ部２２はスマートフォン１０の各種機能に利用することができる。例えば、表示パネル１４Ａにカメラ部２２で取得した画像を表示することや、操作パネル１４Ｂの操作入力のひとつとして、カメラ部２２の画像を利用することができる。また、ＧＰＳ受信部３２が位置を検出する際に、カメラ部２２からの画像を参照して位置を検出することもできる。更には、カメラ部２２からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０のカメラ部２２の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２２からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部３２により取得した位置情報、マイクロホン１８により取得した音声情報（主制御部３８等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部３４により取得した姿勢情報等などを付加して記憶部２８に記録したり、外部入出力部３０や無線通信部２４を通じて出力したりすることもできる。

ところで、本実施形態に係るスマートフォン１０は、内部記憶部２８Ａまたは外部記憶部２８Ｂの少なくとも一方に画像情報が記憶され、かつユーザ操作によって当該画像情報の一覧表示が指示された場合、表示パネル１４Ａに当該一覧表示を行わせる制御を行う。このとき、スマートフォン１０は、ユーザ操作に応じて、表示した画像に対して各種処理を実行したり、表示した画像に対してドラッグ操作を行う処理を実行したりする。

次に、図３を参照して、本実施形態に係るスマートフォン１０の作用を説明する。なお、図３は、操作パネル１４Ｂまたは操作部２０を介して実行指示が入力された際にスマートフォン１０の主制御部３８によって実行される表示制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、内部記憶部２８Ａの所定領域に予め記憶されている。

また、ここでは、錯綜を回避するため、記憶部２８に複数の画像情報が記憶されている場合について説明する。

まず、ステップＳ１００では、表示パネル１４Ａに、画面遷移の起点となるトップ画面４２を表示させる制御を行う。

図４（Ａ）は、本実施形態に係るトップ画面４２の一例を示している。図４（Ａ）に示すように、トップ画面４２は、例えばメール機能の起動を指示するためのメールボタン４４ａ、ウェブブラウジング機能の起動を指示するためのウェブボタン４４ｂ、カメラ機能の起動を指示するためのカメラボタン４４ｃを有している。また、トップ画面４２は、画像一覧機能の起動を指示するための画像一覧ボタン４４ｄ、通話機能の起動を指示するための通話ボタン４４ｅ、各種設定機能の起動を指示するための設定ボタン４４ｆなどの選択ボタンを有している。

ユーザは、トップ画面４２において所望の選択ボタンに触れることにより起動対象の機能を選択する一方、主制御部３８は、ユーザ操作により選択された選択ボタンに応じて各種機能を起動する。

そこで、次のステップ１０１では、ユーザによる何れかのメニューボタンの選択待ちを行う。次のステップ１０２では、ユーザによって選択されたメニューボタンが画像一覧ボタン４４ｄであったか否かを判定して、否定判定となった場合はステップＳ１０３に移行し、選択されたメニューボタンに対応する機能を実行した後に、本プログラムを終了する。一方、肯定判定となった場合は、ステップＳ１０４に移行する。

ステップＳ１０４では、記憶部２８に記憶されている複数の画像を一覧表示する一覧表示画面を表示パネル１４Ａに表示するように制御する。

図５（Ｂ）は、本実施形態に係る画像一覧画面４６の一例を示している。図５（Ｂ）に示すように、画像一覧画面４６は、複数の画像４８をマトリックス状に表示すると共に、表示制御処理プログラムを終了させる際に指定される終了ボタン５０を表示する。なお、複数の画像４８は、記憶部２８に記憶されている各画像情報が示す画像である。

ステップＳ１０５では、操作パネル１４Ｂを介した入力操作があったか否かを判定する。

ステップＳ１０５において入力操作があったと判定した場合、ステップＳ１０６に移行し、接触指定されたボタンが終了ボタン５０であるか否かにより、当該入力操作が表示制御処理プログラムを終了させる指示の入力操作であるか否かを判定する。

ステップＳ１０６において表示制御処理プログラムを終了させる指示の入力操作でないと判定した場合、ステップＳ１０７に移行し、上記入力操作が、画像の選択のための入力操作であるか否かを判定する。ステップＳ１０７において画像の選択のための入力操作でないと判定した場合、上記ステップＳ１０５に戻る。

一方、ステップＳ１０７において画像の選択のための入力操作がされたと判定した場合、ステップＳ１０８に移行し、予め定められた複数のメニュー項目が含まれるメニュー画面５２を表示パネル１４Ａに表示するように制御する。なお、本実施形態におけるメニュー項目は、画像情報を複製する処理、画像情報を削除する処理、画像情報に関する設定を行う処理、及び画像情報に対して不図示の画像処理プログラムを用いて画像処理を行う処理などである。

図５（Ａ）及び（Ｂ）は、本実施形態に係る画像一覧画面４６の一例を示している。図５（Ａ）に示すように、画像一覧画面４６に表示されている複数の画像４８のうちの何れかの画像４８が選択された場合、当該画像一覧画面４６に重畳されて、メニュー画面５２が表示される。また、図５（Ｂ）に示すように、本実施形態では、メニュー画面５２として、メニュー項目Ａ乃至メニュー項目Ｄの４つのメニュー項目の何れかを選択するための領域として、それぞれメニュー項目選択部５２ａ乃至５２ｄが表示される。ここで、各々のメニュー項目選択部５２ａ乃至５２ｄは、選択された画像に隣接する周辺領域の一部に空き領域を有する状態で表示される。そして、空き領域のうち、選択された画像に隣接する一部を、ドラッグ操作を指示するためのドラッグ指示領域５４ａ乃至５４ｄとする。

本実施形態では、選択された画像に対して、複数の画像４８の列方向（表示パネル１４Ａの正面視上下方向）及び行方向（表示パネル１４Ａの正面視左右方向）に隣接する両側の領域をそれぞれ空き領域とする。すなわち、画像一覧画面４６には、メニュー項目選択部５２ａ乃至５２ｄが表示された状態において、選択された画像の正面視上側、下側、左側、及び右側の各々に、ドラッグ指示領域５４ａ乃至５４ｄがそれぞれ設けられる。

ユーザが画像一覧画面４６に表示された何れかの画像に対してドラッグ操作を行いたい場合には、当該画像の表示位置を変更する処理などが想定される。本実施形態では、上記のように、ドラッグ指示領域５４ａ乃至５４ｄが、選択された画像の列方向または行方向に設けているので、ドラッグ操作を指示するための操作に引き続いてスムーズにドラッグ操作を継続させることができる。

次のステップＳ１０９では、ユーザによる操作パネル１４Ｂ上での指先による指定位置が、その後継続して移動したか否かを判定する。この際、主制御部３８は、例えば上記指定位置が予め定められた距離（画素数）以上移動した場合に、当該指定位置が移動したと判定する。

ステップＳ１０９において指定位置が移動していないと判定した場合、ステップＳ１１１に移行し、ユーザによる画像の選択が解除されたか否かを判定する。この際、主制御部３８は、ユーザの指先が操作パネル１４Ｂから離れる等により、操作パネル１４Ｂがユーザ操作に起因して発生する検出信号を出力しなくなった場合に、画像の選択が解除されたと判定する。

ステップＳ１１１において画像の選択が解除されたと判定した場合、ステップＳ１１３に移行し、ステップＳ１０７において表示したメニュー項目選択部５２ａ乃至５２ｄの表示を終了して、上記ステップＳ１０３に戻る。

一方、ステップＳ１１１において画像の選択が解除されていないと判定した場合、ステップＳ１１５に移行し、ユーザの指先による指定位置がメニュー項目選択部５２ａ乃至５２ｄが表示されている領域の何れかの領域に到達したか否かを判定する。この際、主制御部３８は、指定位置が、メニュー項目選択部５２ａ乃至５２ｄの何れか１つの表示領域の内部に位置する場合に、指定位置がメニュー項目選択部５２ａ乃至５２ｄが表示されている領域の何れか１つの領域に到達したと判定する。

ステップＳ１１５において何れかのメニュー項目選択部５２ａ乃至５２ｄの領域に到達したと判定した場合には、ステップＳ１１７に移行し、ステップＳ１０７において表示されたメニュー項目選択部５２ａ乃至５２ｄの表示を終了する。また、次のステップＳ１１９では、ユーザの指先による指定位置が到達した領域に対応するメニュー項目選択部５２ａ乃至５２ｄの何れかに応じた処理を実行する。

このように、ユーザは、操作パネル１４Ｂを介して、所望の処理を実行させたい画像の表示領域に触れることにより当該画像を指定する。そして、ユーザは、当該画像に隣接して表示されたメニュー項目選択部５２ａ乃至５２ｄの表示領域のうち上記所望の処理に対応する領域に移動させる。これにより、ユーザは、所望の画像に対して所望の処理を簡単に実行させることができる。

図５（Ａ）に示すように、ユーザの指先の移動に伴って指定位置が移動し、図５（Ｂ）に示すように、「メニューＢ」のメニュー項目選択部５２ｂの表示領域に指定位置が位置した場合に、「メニューＢ」の選択に応じた処理が行われる。

一方、ステップＳ１１５において到達していないと判定した場合、ステップＳ１２１に移行し、ユーザの指先による指定位置がドラッグ指示領域５４ａ乃至５４ｄの何れか１つの領域に到達したか否かを判定する。

ステップＳ１２１において到達したと判定した場合、ステップＳ１２３に移行し、ステップＳ１０７において表示されたメニュー項目選択部５２ａ乃至５２ｄの表示を終了する。そして、次のステップＳ１２５では、選択された画像の移動に応じたドラッグ操作を行う。

図６（Ａ）に示すように、ユーザの指先の移動に伴って操作パネル１４Ｂ上の指定位置が移動し、図６（Ｂ）に示すように、正面視右側のドラッグ指示領域５４ｄに指定位置が位置した場合、メニュー項目選択部５２ａ乃至５２ｄの表示を終了する。そして、このドラッグ操作に応じた処理が実行される。

図７（Ａ）乃至（Ｆ）は、本実施形態に係るドラッグ操作に応じた処理の一例を示す模式図である。例えば、図７（Ａ）及び（Ｂ）に示すように、１番乃至５番の画像が１列に表示されている際に、ユーザ操作によって、１番の画像がドラッグ操作の処理対象として指定され、２番乃至５番の画像が存在する方向（正面視右方向）に移動されたとする。この場合、図７（Ｃ）に示すように、１番の画像と２番の画像とが重なった状態で、１番の画像の指定が継続（長押し）された場合、主制御部３８は、１番の画像と２番の画像との集約が指示されたとし、１番の画像と２番の画像とを集約する。この際、例えば、図７（Ｄ）に示すように、１番の画像が存在する位置に新しいフォルダが作成させ、作成されたフォルダ内に１番の画像と２番の画像とが格納される。

その後、図７（Ｅ）及び（Ｆ）に示すように、さらに１番の画像の指定が継続（長押し）された場合、３番の画像、４番の画像、と順次集約されていく。そして、図７（Ｇ）に示すように、４番まで集約した段階で１番の画像の指定（長押し）が解除されると、上記作成したフォルダに１番乃至４番の画像が集約された状態で、集約（同一フォルダ内への保存）が終了される。

このように、ユーザは、操作パネル１４Ｂを介して、所望の画像の表示領域に触れることにより画像を指定すると共に、指を指定した画像に隣接するドラッグ指示領域５４ａ乃至５４ｄに移動させる。これにより、ユーザは、指定した画像に対してドラッグ操作に対応する処理を簡単に実行させることができる。

ステップＳ１２７では、接触指定されたボタンが終了ボタン５０であるか否かにより、表示制御処理プログラムを終了させる指示の入力操作がされたか否かを判定する。

次のステップＳ１２７において表示制御処理プログラムを終了させる指示の入力操作がされていないと判定した場合、上記ステップＳ１０５に戻る。

一方、ステップＳ１０３またはＳ１２７において表示制御処理プログラムを終了させる指示の入力操作がされたと判定した場合には、ステップＳ１２９に移行し、画像一覧画面４６の表示を終了するように制御した後、本表示制御処理プログラムを終了させる。

このように、スマートフォン１０は、画像を表示させる表示領域を有すると共に、当該表示領域の表面にタッチパネルである操作パネル１４Ｂが設けられた表示手段である表示パネル１４Ａに表示させた画像が前記タッチパネルを介して指定されたとする。この場合、予め定められた複数のメニュー項目の各々を示すメニュー画面を表示領域における表示させた画像に隣接する周辺領域の一部に空き領域を設けた状態でメニュー項目毎に表示させる。また、メニュー画面を表示領域に表示させた状態で、画像がタッチパネルを介して指定されたことに引き続き、指定位置がメニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたと判断する。一方、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じたドラッグ操作が指定されたと判断する。そして、判断結果に応じた処理を実行する。

また、画像に隣接する周辺領域の一部を空き領域とすることで、移動操作中に操作する指がユーザの意図に反してタッチパネルから離れてしまい、携帯端末装置に指が離れた位置で実行指示が入力されたとみなされることが防止される。すなわち、ユーザの意図に反したメニュー操作が実行されてしまうことが防止される。

なお、本実施形態では、選択された画像の周囲にメニュー画面を表示させるが、本発明は、これに限定されない。表示パネル１４Ａの表示領域において、選択された画像に重ならない位置に、各メニュー項目を指示するための移動方向を示すメニュー画面を表示させても良い。

図８（Ａ）及び（Ｂ）と、図９（Ａ）及び（Ｂ）とは、本実施形態に係る画像一覧画面４６の他の例を示している。この場合、スマートフォン１０は、画像一覧画面４６においてユーザ操作により画像が選択された場合に、一例として図８（Ａ）に示すように、選択された画像の正面視上側にメニュー画面６０を表示させる。メニュー画面６０において、選択された画像の位置を示す基準画像位置６０ａが中央に表示され、基準画像位置６０ａを基準として指定位置をどの方向に移動させるとどの処理が実行されるかを示している。

ユーザが、メニュー画面６０を参照しながら、図８（Ｂ）に示すように、指定位置をメニュー画面６０においてメニューＢが位置する方向（正面視斜め右上方向）に移動させたとする。この場合、主制御部３８は、メニューＢに対応する処理を実行する。

一方、ユーザが、図９（Ａ）に示すメニュー画面６０を参照しながら、図９（Ｂ）に示すように、指定位置をメニュー画面６０においてドラッグ操作が位置する方向（正面視右方向）に予め定められた距離以上移動させたとする。この場合、主制御部３８は、ドラッグ操作に対応する処理を実行する。

ユーザがメニュー画面６０を参照して操作パネル１４Ｂにおける指定位置を移動させている際に、図１０に示すように、メニュー画面６０に、指定位置を示す基準位置情報６０ｂを指定位置の移動に応じて移動させながら表示させても良い。これにより、ユーザは、メニュー画面６０における基準位置情報６０ｂの位置を確認しながら、メニュー項目に対応する処理またはドラッグ操作に対応する処理の実行を指示することができる。

また、本実施形態では、選択された画像の周囲に各メニュー項目を噴出しとして表示させたが、これに限定されない。表示パネル１４Ａの表示領域において、選択された画像の周囲に円弧状に、各メニュー項目を指示するための移動方向を示すメニュー画面を表示させても良い。

図１１は、本実施形態に係る画像一覧画面４６の他の例を示している。スマートフォン１０は、画像一覧画面４６においてユーザ操作により画像が選択された場合に、一例として図１１に示すように、指定位置または選択された画像の中心を中心とした円環状の領域にメニュー画面を表示させても良い。この場合、上記円環状の領域における一部分の角度に対応する領域にメニュー項目選択部６２ａ乃至６２ｄを表示させると良い。この際、上記円環状の領域における他の部分の角度に対応する領域を空き領域とし、当該空き領域をドラッグ操作を指示するための領域６２ｅとする。

また、本実施形態では、選択された画像の周囲に各メニュー項目を噴出しとして表示させるが、これに限定されない。表示パネル１４Ａの表示領域において、メニュー項目が４つ未満であった場合、複数の画像の配列において選択された画像の行方向または列方向に隣接する領域に、それぞれメニュー項目を表示させても良い。この場合、複数の画像の配列において選択された画像の行方向または列方向に隣接する領域で、かつメニュー項目が表示されない領域を空き領域とし、当該空き領域を、ドラッグ操作を指示するための領域とすると良い。

図１２（Ａ）及び（Ｂ）は、本実施形態に係る画像一覧画面４６の他の例を示している。例えば、メニュー項目が２つであった場合、図１２（Ａ）に示すように、選択された画像の正面視上側の領域及び正面視下側の領域にメニュー項目選択部６４ａ及び６４ｂを表示させる。この場合、正面視左側の領域及び正面視右側の領域を空き領域とし、当該空き領域を、ドラッグ操作を指示するための領域６４ｃとすると良い。

また、本実施形態では、指定位置がメニュー項目またはドラッグ操作を指示するための領域に移動した場合に各種処理を実行するが、これに限定されない。すなわち、ユーザ操作により画像が選択された場合、ドラッグ操作が指示されたと一旦仮定し、指定位置の移動に応じて選択された画像の表示位置を移動させるなどのドラッグ操作に対応する処理を行う。そして、選択された画像の表示位置がメニュー項目またはドラッグ操作を指示するための領域に移動した場合に各種処理を実行するようにしても良い。

図１３（Ａ）及び（Ｂ）は、本実施形態に係る画像一覧画面４６の他の例を示している。スマートフォン１０は、画像一覧画面４６においてユーザ操作により画像が選択された場合に、選択された画像の周辺領域にメニュー項目選択部６６ａ乃至６６ｄを表示させる。この際、スマートフォン１０は、例えば、図１３（Ａ）に示すように、選択された画像を中心とした円環状の領域における一部分の角度に対応する領域にメニュー項目選択部６６ａ乃至６６ｄを表示させる。この際、上記円環状の領域における他の部分の角度に対応する領域を空き領域とし、当該空き領域をドラッグ操作を指示するための領域６６ｅとする。

スマートフォン１０は、ユーザ操作により、選択された画像の表示位置がメニュー項目選択部６６ａ乃至６６ｄに到達した場合には、メニュー項目選択部６６ａ乃至６６ｄの表示を停止させ、メニュー項目に対応する処理を実行する。一方、スマートフォン１０は、ドラッグ操作を指示するための領域に到達した場合には、メニュー項目選択部６６ａ乃至６６ｄの表示を停止させ、ドラッグ操作に対応する処理を実行する。

図１３（Ｂ）に示すように、例えば、選択された画像の表示位置が「メニューＡ」のメニュー項目選択部６６ａに到達した場合には、ドラッグ操作に対応する処理を中止し、メニューＡに対応する処理が実行される。一方、選択された画像の表示位置がドラッグ操作を指示するための領域に到達した場合には、メニュー項目選択部６６ａ乃至６６ｄの表示を停止し、ドラッグ操作が継続される。

この際、選択された画像の表示位置が各領域に到達したか否かの判定は、選択された画像の一部分が各領域内に位置した場合に到達したと判定すると良い。なお、判定方法はこれに限定されず、選択された画像における予め定められた面積以上の領域が各領域内に位置した場合に到達したと判定しても良い。

さらに、上記実施の形態では、本発明をコンピュータ・プログラムの実行によるソフトウェアにより実現した場合について説明したが、本発明はこれに限定されるものではなく、本発明はハードウェアのみにより実現してもよく、ハードウェアとソフトウェアとの組み合わせによって実現してもよいことは言うまでもない。

１０ スマートフォン
１４Ａ 表示パネル
１４Ｂ 操作パネル
２８ 記憶部
３８ 主制御部
４６ 画像一覧画面。

Claims (11)

1. 画像を表示させる表示領域を有すると共に、当該表示領域の表面にタッチパネルが設けられた表示手段に表示させた画像が前記タッチパネルを介して指定された場合、予め定められた複数のメニュー項目の各々を示すメニュー画面を前記表示領域における前記表示させた画像に隣接する周辺領域の一部に空き領域を設けた状態でメニュー項目毎に表示させる制御を行う表示制御手段と、
   前記メニュー画面を前記表示領域に表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記メニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたと判断し、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じたドラッグ操作が指定されたと判断する判断手段と、
   前記判断手段による判断結果に応じた処理を実行する実行手段と、
   を備えた画像表示制御装置。
2. 前記表示制御手段は、前記判断手段による判断が終了した後に前記メニュー画像の表示を中止させる制御を行う
   請求項１記載の画像表示制御装置。
3. 前記表示制御手段は、前記画像をマトリックス状に配列させて前記表示領域に表示させる制御を行うと共に、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、指定された画像に隣接する周辺領域のうち、行方向及び列方向の少なくとも一方に隣接する画像間の領域の一部に前記空き領域を生じさせて前記メニュー画面を表示させる制御を行う
   請求項１または２記載の画像表示制御装置。
4. 前記表示制御手段は、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、前記指定された画像の少なくとも１つの辺に隣接する周辺領域の一部に空き領域を設けた状態で、前記指定された画像の他の辺に隣接する周辺領域の一部に前記メニュー画面を表示させる制御を行う
   請求項３記載の画像表示制御装置。
5. 前記表示制御手段は、前記判断手段による判断が終了する前に前記タッチパネルを介した指定が解除された場合、前記メニュー画像の表示を中止させる制御を行う
   請求項１乃至４の何れか１項記載の画像表示制御装置。
6. 前記表示制御手段は、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、前記予め定められたメニュー項目を噴き出しで表示させたメニュー画面を前記画像に隣接する周辺領域の一部に空き領域を有する状態で前記表示領域に表示させる制御を行う
   請求項１乃至５の何れか１項記載の画像表示制御装置。
7. 前記表示制御手段は、前記メニュー画面を前記表示領域に表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記表示領域上で移動された場合は、指定位置の移動に応じた表示位置に前記指定された画像を移動させながら表示させる制御を行い、前記判断手段によりメニュー項目が指定されたと判断された場合には、前記指定された画像を元の位置に移動させて表示させ、前記判断手段によりドラッグ操作が指定されたと判断された場合には、前記指定された画像を空き領域の指定位置に停止させて表示させる制御を行う
   請求項１乃至６の何れか１項記載の画像表示制御装置。
8. 前記表示制御手段は、前記表示領域に表示させた画像が前記タッチパネルを介して指定された場合、指定位置または指定された画像の中心を中心とした円弧状のメニュー画面を前記画像に隣接する周辺領域の一部に空き領域を有する状態で前記表示領域に表示させる制御を行う
   請求項１乃至７の何れか１項記載の画像表示制御装置。
9. 請求項１乃至８の何れか１項記載の画像表示制御装置と、
   画像表示させると共に表示させた画像を選択するための情報を入力するタッチパネルを供えた表示手段と、
   を含む画像表示装置。
10. コンピュータを、
    予め定められた画像を表示させる表示領域を有すると共に当該表示領域の表面にタッチパネルが設けられた表示手段に表示させた画像が、前記タッチパネルを介して指定された場合、ドラッグ操作を行う際の移動方向を示す項目を含むメニュー項目の各々毎を示すメニュー画面を前記表示手段の表示領域における前記画像に隣接する周辺領域の一部に空き領域を有する状態で表示させる制御を行う表示制御手段と、
    前記メニュー画面を前記表示手段により表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記メニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたものと判断し、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じた前記ドラッグ操作が指定されたと判断する判断手段と、
    前記判断手段による判断結果に応じた処理を実行する実行手段と、
    として機能させるためのプログラム。
11. 予め定められた画像を表示させる表示領域を有すると共に当該表示領域の表面にタッチパネルが設けられた表示手段に表示させた画像が、前記タッチパネルを介して指定された場合、ドラッグ操作を行う際の移動方向を示す項目を含むメニュー項目の各々毎を示すメニュー画面を前記表示手段の表示領域における前記画像に隣接する周辺領域の一部に空き領域を有する状態で表示させる制御を行う表示制御ステップと、
    前記メニュー画面を前記表示手段により表示させた状態で、前記画像が前記タッチパネルを介して指定されたことに引き続き、指定位置が前記メニュー画面上に移動された場合は、移動先のメニュー画面のメニュー項目が指定されたものと判断し、指定位置が前記空き領域に移動した場合は、指定された画像の当該指定位置の移動に応じた前記ドラッグ操作が指定されたと判断する判断ステップと、
    前記判断ステップによる判断結果に応じた処理を実行する実行ステップと、
    を行う画像表示制御方法。

Images