JP5492257B2 - 電子機器、制御方法及びプログラム - Google Patents

Description

本発明の実施形態は、タッチ操作によるメニューおよびオブジェクトの操作方法に係わる電子機器及び操作方法に関する。

従来は、比較的表示領域の小さい画面を持つ端末の場合、階層の異なる情報を閲覧・比較するためには、階層毎の画面移動を繰り返す必要があり、煩雑な操作となっていた。また、ソフトウェアウィンドウを多く持たない端末の場合、表示データの読み込みを繰り返すため、ユーザ操作に対する表示の遅延が生じ、使い勝手の低下に繋がっていた。これらは、ユーザにストレスを与え、操作に対する意欲を減退させる原因となる。

即ち、例えば上位階層の情報表示を維持したまま、上位階層の情報を一部集約し、下位階層の情報閲覧を可能とするといった技術への要望があるが、かかる要望を実現するための手段は知られていない。

特開２００９−２４５０１２号公報

本発明の実施の形態は、表示装置の表示領域中における階層の同時制御を行うことができる電子機器及び操作方法を提供することを目的とする。

上記課題を解決するために、実施形態によれば電子機器は、ディスプレイ上へのユーザによる少なくとも１以上のタッチ操作を検出可能な入力部と、前記ディスプレイ上に、第１階層に含まれる第１オブジェクト及び第２オブジェクトが表示されているときに、前記第１オブジェクトに対応する領域に対して、少なくとも１以上の第１タッチ操作が検出される場合に、前記第１タッチ操作に基づいて定められる前記ディスプレイ上の第１領域に、前記第１階層より下位の階層である第２階層の第３オブジェクトを表示するとともに、前記第１領域とは異なる前記ディスプレイ上の第２領域に、前記第２オブジェクトを表示する表示制御部と、を備え、前記第３オブジェクトは、前記第１オブジェクトに含まれるオブジェクトであって、前記第１タッチ操作は、２つの接触点を含むものであって、一方の接触点と他方の接触点の位置が離れる操作である。

実施形態にかかる電子機器の外観を模式的に示す図。 実施形態にかかる電子機器のハードウェア構成の一例を示すブロック図。 実施形態における代表的な表示および操作の手順を示す図。 同実施形態の機能構成を示すブロック図。 実施例１に示すフォルダ表示および操作の手順を示す図。 実施例２に示すリスト表示および操作の手順を示す図。 実施例３に示す階層を持つ画像の表示および操作手順を示す図。 実施例４に示す階層を持つ文字データの表示および操作手順を示す図。 実施例５に示す階層を持つ文字データの表示および操作手順を示す図。 実施例６に示す階層を持つ文字データの表示および操作手順を示す図。 基本手順を示す処理フロー図。

以下、添付図面を参照して実施形態にかかる電子機器及び制御方法の詳細を説明する。なお、以下の実施形態では、表示処理に関わる信号処理装置として機能するＰＤＡや携帯電話等、ユーザが把持してあるいは装着して使用する電子機器を例に説明する。

図１は、実施形態にかかる電子機器１００の外観を模式的に示す図である。電子機器１００は、表示画面を備えた情報処理装置であり、例えばスレート端末（タブレット端末）や電子書籍リーダ、デジタルフォトフレーム等として実現されている。なお、ここでは、Ｘ軸、Ｙ軸、Ｚ軸の矢印方向（Ｚ軸では図の正面方向）を正方向としている（以下同様）。

電子機器１００は、薄い箱状の筐体Ｂを備え、この筐体Ｂの上面に表示部１１が配置されている。表示部１１は、ユーザによってタッチされた表示画面上の位置を検知するタッチパネル（図２、タッチパネル１１１参照）を備えている。また、筐体Ｂの正面下部にはユーザが各種操作を行う操作スイッチ等である操作スイッチ１９、ユーザの音声を取得するためのマイク２１が配置されている。また、筐体Ｂの正面上部には音声出力を行うためのスピーカ２２が配置されている。また、筐体Ｂの縁には、把持するユーザの圧力を検知する圧力センサ２３が配置されている。なお、図示例ではＸ軸方向の左右の縁に圧力センサ２３を備える構成を例示したが、Ｙ軸方向の上下の縁に圧力センサ２３を備えてもよい。

図２は、実施形態にかかる電子機器１００のハードウェア構成の一例を示すブロック図である。図２に示すように、電子機器１００は、上述の構成に加え、ＣＰＵ１２、システムコントローラ１３、グラフィックスコントローラ１４、タッチパネルコントローラ１５、加速度センサ１６、不揮発性メモリ１７、ＲＡＭ１８、音声処理部２０等を備えている。

表示部１１は、タッチパネル１１１と、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等のディスプレイ１１２とから構成されている。タッチパネル１１１は、例えばディスプレイ１１２の表示画面上に配置された当面の座標検出装置から構成されている。タッチパネル１１１は、例えば筐体Ｂを把持したユーザの指によってタッチされた表示画面上の位置（タッチ位置）を検知することができる。このタッチパネル１１１の働きにより、ディスプレイ１１２の表示画面はいわゆるタッチスクリーンとして機能する。

ＣＰＵ１２は、電子機器１００の動作を中央制御するプロセッサであり、システムコントローラ１３を介して電子機器１００の各部を制御する。ＣＰＵ１２は、不揮発性メモリ１７からＲＡＭ１８にロードされる、オペレーティングシステム、各種アプリケーションプログラムを実行することにより、後述する各機能部（図４参照）を実現する。ＲＡＭ１８は、電子機器１００のメインメモリとして、ＣＰＵ１２がプログラムを実行する際の作業領域を提供する。

システムコントローラ１３には、不揮発性メモリ１７及びＲＡＭ１８をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１３は、グラフィックスコントローラ１４との通信を実行する機能も有している。

グラフィックスコントローラ１４は、電子機器１００のディスプレイモニタとして使用されるディスプレイ１１２を制御する表示コントローラである。タッチパネルコントローラ１５は、タッチパネル１１１を制御し、ユーザによってタッチされたディスプレイ１１２の表示画面上のタッチ位置を示す座標データをタッチパネル１１１から取得する。

加速度センサ１６は、図１に示す３軸方向（Ｘ、Ｙ、Ｚ方向）や、これに各軸周りの回転方向の検出を加えた６軸方向の加速度センサ等であって、電子機器１００に対する外部からの加速度の向きと大きさを検出し、ＣＰＵ１２に出力する。具体的に、加速度センサ１６は、加速度を検出した軸、向き（回転の場合、回転角度）、及び大きさを含んだ加速度検出信号（傾き情報）をＣＰＵ１２に出力する。なお、角速度（回転角度）検出のためのジャイロセンサを、加速度センサ１６に統合する形態としてもよい。

音声処理部２０は、マイク２１より入力される音声信号に、デジタル変換、ノイズ除去、エコーキャンセル等の音声処理を施してＣＰＵ１２へ出力する。また、音声処理部２０は、ＣＰＵ１２の制御のもとで、音声合成等の音声処理を施して生成した音声信号をスピーカ２２へ出力し、スピーカ２２による音声報知を行う。

（実施例１）
さて図３は、実施形態における代表的な表示および操作の手順を示す図である。

本実施形態では、端末にタッチセンサまたはマウス相当のポインタ入力デバイスが搭載されていることを前提とし、後述の入力装置４１よりユーザ操作を取得するものとする（上記タッチパネル１１１の例ではタッチセンサである）。入力装置４１から取得するユーザ操作は例えば2点とし、2点間の距離の変化量をもとに後述のタッチ状態判定手段１２１によってピンチアウトや他にドラッグの操作を判定する。

図３（ａ）は、Ａ，Ｂ，Ｃなどのフォルダが表示されている表示部１１のディスプレイ１１２の画面で、フォルダＡに対してピンチアウトがユーザによってなされようとしている様子を模式的に表している。このピンチアウトが実施された場合には図３（ｂ）のように、フォルダＢなどは画面の端や外に押しやられ、フォルダＡが拡大され下位階層（あるいは内容、または詳細などの表現をあててもよい）が表示される。この図３（ｂ）の例では、夫々破線とグレースケールの線で表現したフォルダＡのサブフォルダ２つが表示されている。

ドラッグの操作としては、追加操作として、ピンチアウトした後の領域の端にあたる部分をシングルタッチでドラッグすると領域を拡大する。拡大する際には、拡大前の領域が外接する矩形座標とドラッグ後の座標をもとに領域を再計算する。
図４には本実施形態の表示処理関係の機能構成図を示す。入力装置４１、中央処理制御装置４２、表示装置４３と記憶装置４４の４つの構成を含んでいる。さらに中央処理制御装置４２は、タッチ状態判定手段４２１、座標判定手段４２２、表示階層レイアウト生成部４２３、表示変換処理部４２４と画面表示手段４２５の５つの構成を含んでいる。また記憶装置４４は、ファイルデータ４４１、フォルダ・ファイル階層データ４４２、ファイル内オブジェクトデータ４４３とオブジェクト階層データ４４４の４つの構成を含んでいる。

このうち、入力装置４１は電子機器１００の表示部１１における、タッチパネル１１１とタッチパネルコントローラ１５とから構成されている。また表示装置４３は同じく表示部１１におけるディスプレイ１１２に相当している。また記憶装置４４は、不揮発性メモリ１７に相当している。

一方中央処理制御装置４２は、ＣＰＵ１２、システムコントローラ１３、とＲＡＭ１８とから構成されている。このうち画面表示手段４２５は主にグラフィックスコントローラ１４に相当していて、他のタッチ状態判定手段４２１、座標判定手段４２２、表示階層レイアウト生成部４２３、表示変換処理部４２４はＣＰＵ１２とシステムコントローラ１３とに拠って機能している。

このような構成において、フォルダまたはファイルに関する階層関係のあるオブジェクトをアイコンまたはサムネイル等にて表示する際、表示階層レイアウト生成部４２３はファイルデータ４４１およびフォルダ・ファイル階層データ４４２から情報を取得する。

中央処理制御装置４２主体にマルチタッチを検出した後、2点を設置した座標を中心として、ピンチアウトした後のタッチ座標までの距離を算出し、中心座標に表示されていたオブジェクトの属性を判別する。属性がフォルダ相当である場合、表示変換処理部４２４は、当該フォルダに対して下位層にあたるデータ群を取得し、ピンチアウトした距離分の大きさで当該フォルダを拡大表示する。拡大表示した領域に下位層にあたるデータ群のフォルダまたはアイコンを表示する。

なお、表示変換処理部４２４から画面表示手段４２５に画面情報を渡すことにより表示を実現する。この操作を階層毎に繰り返すことより、階層構造となっているデータを順次拡大表示する。また、マルチタッチ検出後の移動距離がピンチインと判定した場合、表示変換処理部４２４は、当該フォルダの表示を削除し、上位層にあたるデータ群の表示を行う。

以上の要点を処理フローにすると図１１のようになる。

ステップＳ１０１： タッチ状態判定手段４２１は、マルチタッチを検出する。

ステップＳ１０２： 座標判定手段４２２、座標を検出する。

ステップＳ１０３： 表示階層レイアウト生成部４２３は、ファイルデータ４４１およびフォルダ・ファイル階層データ４４２から情報を取得する。

ステップＳ１０４： 表示変換処理部４２４は、フォルダの拡大表示等を行う。

図５は、実施例１に示すフォルダ表示および操作の手順を示す図である。

図５（ａ）は、Ａ，Ｂ，Ｃ，Ｄなどのフォルダが表示されている表示部１１のディスプレイ１１２の画面で、フォルダＣに対してピンチアウトがユーザによってなされようとしている様子を模式的に表している。このピンチアウトが実施された場合には図５（ｂ）のように、フォルダＣ拡大され下位階層（あるいは内容、または詳細などの表現をあててもよい）が表示される。この図５（ｂ）の例では、夫々破線とグレースケールの線で表現したフォルダＣのサブフォルダ２つの他に、アイコンで示されているテキストファイルＣ１と画像ファイルＣ２とが表示されている。

（実施例２）
図６は、実施例２に示すリスト表示および操作の手順を示す図である。

フォルダまたはファイルに関する階層関係のあるオブジェクトをリストにて縮小表示する際、表示階層レイアウト生成部は表示中のファイルに対して下層に相当するデータを取得しておく。ユーザによるピンチアウト操作を取得すると、2点を設置した座標を中心として、ピンチアウトした後のタッチ座標までの距離を算出し、中心座標に表示されていたオブジェクトの下位層データを判別する。表示変換処理部４２４は、判別したデータに基づき、ピンチアウトした距離分の大きさで下位層リストを表示する。この操作を階層毎に繰り返すことより、階層構造となっているデータを順次拡大表示する。また、マルチタッチ検出後の移動距離がピンチインと判定した場合、表示変換処理部４２４は、当該リスト内の表示を削除し、上位層にあたるデータ群の再表示を行う。

図６の例では、まず図６（ａ）はタイトル１乃至タイトル３の３つのテキストが表示されている。ここでタイトル２をピンチアウトすると図６（ｂ）のようにタイトル２の下位構造が開く。この例ではタイトル２のサブタイトルが２つあり、２つ目のサブタイトルであるサブタイトル２を更にピンチアウトするとその中身である「本文１の内容が表示されてます」などのメッセージテキストが表示される。

（実施例３）
図７は、実施例３に示す階層を持つ画像の表示および操作手順を示す図である。

場所に関する階層関係にあるファイルを表示する際、表示中のファイルに対して下に相当するファイルを下位レイヤとして重ねて表示し、2点を設置した座標を中心として、ピンチアウトした後のタッチ座標までの楕円形となる範囲を表示階層レイアウト生成部にてレイアウト透過領域と定義する。ピンチアウトした範囲に表示していたオブジェクトをレイアウト透過領域外に配置する。配置のレイアウトは配置前のオブジェクト座標とピンチアウトした後のタッチ座標の差分をもとに算出する。

図７の例では、まず図７（ａ）のようにある建物の各階設計図がある。ここで２階設計図のある箇所をピンチアウトすると、図７（ｂ）のように概楕円形に透過領域が開いて下位の１階設計図が表示される。

（実施例４）
図８は、実施例４に示す階層を持つ文字データの表示および操作手順を示す図である。

時系列等の属性のあるファイルを表示する際、次の時間に相当するファイルを下位レイヤとして重ねて表示する。画面の右下周辺にシングルタッチを検出した場合、タッチ位置の移動量を元に、表示階層レイアウト生成部によってレイアウト透過領域を定義する。シングルタッチが維持されている間、下位レイヤにおいてレイアウト透過領域に該当する領域を表示する。によって次の日のスケジュールが覗ける
図８の例では、まず図８（ａ）は今日のスケジュールが表示されている。ここで右下部にスライドによるめくり操作を施すと、透過領域として図８（ｂ）のように下位構造として次の日のスケジュールが現れてくる。このめくり操作はマウスのドラッグによっても同様に実現するように構成することができる。

（実施例５）
図９は、実施例５に示す階層を持つ文字データの表示および操作手順を示す図である。

時系列等の属性のあるファイルを表示する際、次の時間に相当するファイルを下位レイヤとして重ねて表示し、2点を設置した座標を中心として、ピンチアウトした後のタッチ座標までの楕円形となる範囲を表示階層レイアウト生成部にてレイアウト透過領域と定義する。ピンチアウトした範囲に表示していたオブジェクトをレイアウト透過領域外に配置する。配置のレイアウトは配置前のオブジェクト座標とピンチアウトした後のタッチ座標の差分をもとに算出する。

図９の例では、まず図９（ａ）は今日のスケジュールが表示されている。ここで１１時の内容記載場所をピンチアウトすると図９（ｂ）のように下位構造として次の日のスケジュールが開く。この例では今日のスケジュールのＴｏＤｏリストにチェックのあるＢ社企画書作成に対して、次の日のスケジュールのＢ社企画書レビューが開示され両者の関連が把握される。

このピンチアウトなどの操作はマウスによっても同様に実現するように、ユーザのメニュー設定などによって構成することができる。例えば対象箇所の中心点をクリックし続けて上下の点をクリックすると、この上下の点を範囲とする概楕円形の窓が開くようにする。あるいは中心点をクリックし続けて左上と右下など対角の点をクリックすると、この対角の点を対向する頂点とする四角形の窓が開くようにしてもよい。これらは、他の実施例でも同様に構成できる。

また操作により、例えば階層として会議の内容のページが開くようにしてもよい。

スケジュールアイテムをピンチアウトした場合、アイテムの詳細情報を表示するが詳細情報は会議内容とは限らない。たとえば、ランチミーティングだったら、場所やメンバ、議題などoutlookの会議通知のような内容を表示する。
また、企画書レビューであれば、PJ(プロジェクト)のガントチャートへのリンクや作成した企画書を保管しているファイル管理システムへのリンクも表示し選択（ファイルopen操作等）可能とするよう構成してもよい。
また下位構造の情報として、スケジュールアイテムに紐づく関連スケジュールを表示してもよい。スケジュールアイテムの内容以外にも、タグやリンクなどで紐づけられた他のスケジュールアイテムも下位構造の一部として認識し表示させることができる。
（実施例６）
他の実施例／変形例として、図１０は実施例６に示す階層を持つ文字データの表示および操作手順を示す図である。

（１）リストの場合（図１０（ａ））
項目（オブジェクト）が縦または横に並んでいる状態で項目内に付属情報がある場合（詳細項目など）、項目周辺でピンチアウトすると、その項目を表す領域が拡大表示されて（周辺の項目は、拡大する項目からの距離に応じて縮小され）付属情報（詳細項目など）が表示される。

この例では、システム一覧の中から社員名簿を選んでピンチアウトすると、付属情報として「○山○男」「△川△朗」の２名の名が表示されている。

（２）カレンダーの場合（図１０（ｂ））
カレンダー（月間、週間など）の表示において、特定の日付周辺でピンチアウトすると、その日付を表す部分の下位情報が拡大表示されて（まわりの日付を表す四角は縮小される）、その日の予定などの情報が表示される。さらに、予定項目周辺でピンチアウトすると、拡大された領域内で該当する項目の詳細が表示される。

図１０（ｂ）の中段の例では、６月６日の天体の太陽面通過とある総選挙との項目が表示される。さらに前者をピンチアウトすると、図１０（ｂ）の下段の例のように第一接触（外日蝕の始まり）と第二接触（外日蝕の始まり）など（なお更には図示しないが１０時半頃の最小角距離など）の時刻の情報を知ることができる（また、ある総選挙についても図示しないが、例えば１９時から始まるＬＩＶＥ放送の次第などの情報を知ることができる）。

（３）カレンダーの場合（（２）の変形（不図示））
同じくカレンダー（月間、週間など）の表示において、特定の日付周辺でピンチアウトすると、その日付を表す四角が拡大表示されて（まわりの日付を表す四角は平行移動をしながら縮小される）、その日の予定などの情報が表示される。さらに、予定項目周辺でピンチアウトすると、拡大された四角領域内で該当する項目の詳細が表示される。

タッチパネル搭載の端末操作において、ピンチやスライドによって、画面上のオブジェクトに対する操作を行うことで、画面切り替えを行うことなく階層の深い情報の閲覧性を向上させる機能を提供する。

本実施形態では、上位の階層情報を維持したまま、下位の階層情報の閲覧を可能とする。これにより、表示領域の小さい画面を持つ端末であっても、階層間の関係性の情報を失うことなく、異なる階層の情報を同時に閲覧・比較することができる効果がある。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１００…電子機器（信号処理装置）、１１…表示部、１２…ＣＰＵ、１３…システムコントローラ、１４…グラフィックスコントローラ、１５…タッチパネルコントローラ、１６…加速度センサ、１７…不揮発性メモリ、１８…ＲＡＭ、１９…操作スイッチ、２０…音声処理部、２１…マイク（マイクロフォン）、２２…スピーカ、２３…圧力センサ、１１１…タッチパネル、１１２…ディスプレイ、Ｂ…筐体。

Claims (12)

1. ディスプレイ上へのユーザによる少なくとも１以上のタッチ操作を検出可能な入力部と、
   前記ディスプレイ上に、第１階層に含まれる第１オブジェクト及び第２オブジェクトが表示されているときに、前記第１オブジェクトに対応する領域に対して、少なくとも１以上の第１タッチ操作が検出される場合に、
   前記第１タッチ操作に基づいて定められる前記ディスプレイ上の第１領域に、前記第１階層より下位の階層である第２階層の第３オブジェクトを表示するとともに、
   前記第１領域とは異なる前記ディスプレイ上の第２領域に、前記第２オブジェクトを表示する表示制御部と、
   を備え、
   前記第３オブジェクトは、前記第１オブジェクトに含まれるオブジェクトであって、
   前記第１タッチ操作は、２つの接触点を含むものであって、一方の接触点と他方の接触点の位置が離れる操作である、電子機器。
2. 前記表示制御部は、前記第３オブジェクトを、前記第１オブジェクトの表示領域上に表示させる請求項１に記載の電子機器。
3. 前記表示制御部は、前記第３オブジェクトに加えて、さらに、少なくとも１以上の操作が指定可能なメニューを前記ディスプレイ上に表示する請求項１又は請求項２に記載の電子機器。
4. 前記ディスプレイは、タッチスクリーンディスプレイであって、
   更に前記タッチスクリーンディスプレイを備える請求項１乃至請求項３のいずれか１項に記載の電子機器。
5. ユーザがタッチ操作を行う入力部を備えた電子機器における制御方法であって、
   ディスプレイ上へのユーザによる少なくとも１以上のタッチ操作を検出するするステップと、
   前記ディスプレイ上に、第１階層に含まれる第１オブジェクト及び第２オブジェクトが表示されているときに、前記第１オブジェクトに対応する領域に対して、少なくとも１以上の第１タッチ操作が検出される場合に、
   前記第１タッチ操作に基づいて定められる前記ディスプレイ上の第１領域に、前記第１階層より下位の階層である第２階層の第３オブジェクトを表示するとともに、
   前記第１領域とは異なる前記ディスプレイ上の第２領域に、前記第２オブジェクトを表示するステップと、
   を有し、
   前記第３オブジェクトは、前記第１オブジェクトに含まれるオブジェクトであって、
   前記第１タッチ操作は、２つの接触点を含むものであって、一方の接触点と他方の接触点の位置が離れる操作である、制御方法。
6. 前記表示するステップでは、前記第３オブジェクトを、前記第１オブジェクトの表示領域上に表示させる請求項５に記載の制御方法。
7. 前記表示するステップでは、前記第３オブジェクトに加えて、さらに、少なくとも１以上の操作が指定可能なメニューを前記ディスプレイ上に表示する請求項５又は請求項６に記載の制御方法。
8. 前記ディスプレイは、タッチスクリーンディスプレイであって、
   更に前記タッチスクリーンディスプレイを備える請求項５乃至請求項７のいずれか１項に記載の制御方法。
9. ディスプレイ上へのユーザによる少なくとも１以上のタッチ操作を検出可能な入力部と、
   前記ディスプレイ上に、第１階層に含まれる第１オブジェクト及び第２オブジェクトが表示されているときに、前記第１オブジェクトに対応する領域に対して、少なくとも１以上の第１タッチ操作が検出される場合に、
   前記第１タッチ操作に基づいて定められる前記ディスプレイ上の第１領域に、前記第１階層より下位の階層である第２階層の第３オブジェクトを表示するとともに、
   前記第１領域とは異なる前記ディスプレイ上の第２領域に、前記第２オブジェクトを表示する表示制御部、としてコンピュータを機能させるプログラムであり、
   前記第３オブジェクトは、前記第１オブジェクトに含まれるオブジェクトであって、
   前記第１タッチ操作は、２つの接触点を含むものであって、一方の接触点と他方の接触点の位置が離れる操作である、プログラム。
10. 前記表示制御部は、前記第３オブジェクトを、前記第１オブジェクトの表示領域上に表示させる請求項９に記載のプログラム。
11. 前記表示制御部は、前記第３オブジェクトに加えて、さらに、少なくとも１以上の操作が指定可能なメニューを前記ディスプレイ上に表示する請求項９又は請求項１０に記載のプログラム。
12. 前記ディスプレイは、タッチスクリーンディスプレイであって、
    更に前記タッチスクリーンディスプレイを備える請求項９乃至請求項１１のいずれか１項に記載のプログラム。

Images