JP5108747B2 - 情報表示装置、方法およびプログラム - Google Patents

Description

本発明は、接触操作で動作指示を受け付ける情報表示装置に関する。

特許文献１では、同一の画像に関して、高画質画像データとサムネール画像データとを記憶する不揮発性メモリと、不揮発性メモリから入力された画像データに基づき、画像を表示する液晶モニタとを有しており、液晶モニタは、コマ送りボタンが押されたときに、サムネール画像データに基づき、画面全体に画像を表示するようになっているので、たとえばインデックス的に画像を表示したい場合には、サムネール画像データに基づき、画面全体に画像を表示することができるので、画像処理の時間が短縮され、画像が迅速に表示されるようになっている。

特許文献２では、デジタルカメラに、スルー画像や記録画像を表示する液晶モニタとして縦横比が縦横比が「３：６」の横長の表示画面を備えたものを使用する。撮影待機状態では、表示画面を、「３：４」の縦横比を有する最大表示領域Ａとその他の領域Ｂ，Ｃとに分割し、最大表示領域Ａにスルー画像を表示させ、他の領域Ｂ，Ｃには、直前の撮影により記録された前回の画像と、２回前の撮影により記録された前々回の画像とをそれぞれ表示させる。撮影が行われる毎に、領域Ｂ，Ｃに表示する前回の画像と前々回の画像とを更新する。撮影待機状態にあるとき、前回の被写体画像を参考にしながらフレーミング等の撮影準備を行うことが可能となり、しかも撮影操作後には、直ちに撮影結果を確認することができる。

特許文献３、４は、接触型あるいは近似接触型の操作装置の一例を示す。特許文献５は、複数の指を広げるあるいは閉じることでビューのズームイン・ズームアウトを行う。また、スワイプ（ぬぐう動作）の方向で電子ブックの表示ページを変える。
特開２０００−１３７２５号公報 特開２００５−２２９３２５号公報 特開２００８−７９１９３号公報 米国特許出願公開公報第２００６−０１６１８７１号 特表２００８−５０８６０１号公報

書籍などの紙媒体では、後で読み返したいページに指をはさんで、別のページを読みながらその状態を保持することはよく行われる。指の接触操作を受け付ける操作装置を備えた表示装置においても、後からでも見たい画像その他の表示情報を簡単な操作でキープし、しかもキープしている情報が何であるかをユーザが分かるようにすれば非常に便利である。しかし、特許文献１では、表示されている前後の画像しか重畳サムネール表示されないので、前後を超える位置の所望の画像を後からすぐに見返すことができない。特許文献２では、撮影時に、直前に撮影された画像を画面の角に表示するので、前々回を超える所望の画像を見返すことができない。

本発明は、簡単な操作で気に入った情報や後で見直したい情報を一時的にキープしておき、キープされている情報を明示的にユーザに示す。また、見直しのための操作も容易なユーザインタフェースを提供する。

本発明に係る情報表示装置は、画像その他の所望の情報を表示する表示部と、表示部の表示面に対する物体の接触位置を検出する接触検出部と、接触検出部が検出した接触位置が複数であるか否かを検出する接触数検出部と、接触数検出部が検出した複数の接触位置の１つが固定したか否かを検出する固定検出部と、接触数検出部が検出した複数の接触位置のうち、固定検出部が検出した固定接触位置以外の接触位置の挙動を検出する挙動検出部と、挙動検出部が検出した接触位置の挙動に対応する指示を検出する指示検出部と、固定検出部の検出した固定接触位置と指示検出部の検出した指示に応じて、固定接触位置が検出されたときに表示部に表示されていた情報である保持対象情報を所定のサイズまで縮小して縮小された保持対象情報の表示を継続するとともに、縮小された保持対象情報以外の情報を表示するよう表示部を制御する制御部と、を備える。

この発明によると、接触位置を固定するだけで容易に情報の表示を継続することができ、例えば何かの画像を参照しながら次の画像を見ていくようなときに非常に便利である。

制御部は、固定接触位置近傍に縮小された保持対象情報の表示を継続するよう表示部を制御する。

保持しておく情報が接触位置を固定している指などの物体の近傍に表示されるため、情報を保持していることおよびその情報の内容が明確に分かる。

縮小された保持対象情報から顔その他の特定の物体の存在領域を検出する領域検出部を備え、制御部は、領域検出部が検出した物体の存在領域が固定接触位置と重複しない位置で縮小された保持対象情報の表示を継続するよう表示部を制御する。

顔その他の物体が保持対象情報に含まれている場合は、その顔などが隠れないように表示されるため、画像内の顔のような情報の重要部分がはっきり分かる。

制御部は、情報表示が保持されたことを示す所定の情報を固定接触位置近傍に表示するよう表示部を制御する。

固定接触位置近傍に情報を表示することで、情報表示が保持されたことがさらに明確に分かる。

挙動検出部は、縮小された保持対象情報の表示領域内での接触位置の挙動を検出し、指示検出部は、挙動検出部が検出した縮小された保持対象情報の表示領域内での接触位置の挙動に基づいて接触位置の縮小された保持対象情報の拡大指示の有無を検出し、制御部は、指示検出部が拡大指示を検出したことに応じて縮小された保持対象情報を所定のサイズまで拡大して表示するよう表示部を制御する。

必要に応じて保持対象情報を拡大できる。

指示検出部は、縮小された保持対象情報の表示領域内でのタップアンドドロップ動作またはダブルタップ動作に基づいて接触位置の縮小された保持対象情報の拡大指示を検出する。

タップアンドドロップ動作は、画像を引き延ばすという動作に類似し、直感的に理解しやすい。また、ダブルタップ動作による拡大は、急いで拡大したい場合に有効である。

制御部は、指示検出部が保持対象情報の表示停止指示を検出するまで縮小された保持対象情報の表示を継続するよう表示部を制御する。

情報保持のために手その他の接触物体を静止したままにする必要がなくなる。

指示検出部は、スライド動作に基づいて縮小された保持対象情報以外の情報の表示切り替え指示を検出し、制御部は、指示検出部が表示切り替え指示を検出したことに応じて順次異なる情報を切り替えて表示するよう表示部を制御する。

スライド動作はページをめくる動作に類似しており、直感的に理解しやすい。

本発明に係る情報表示方法は、画像その他の所望の情報を表示する表示部を備えた情報表示装置が、表示部の表示面に対する物体の接触位置を検出するステップと、検出した接触位置が複数であるか否かを検出するステップと、検出した複数の接触位置の１つが固定したか否かを検出するステップと、検出した複数の接触位置のうち、検出した固定接触位置以外の接触位置の挙動を検出するステップと、検出した接触位置の挙動に対応する指示を検出するステップと、検出した固定接触位置と検出した指示に応じて、固定接触位置が検出されたときに表示部に表示されていた情報である保持対象情報を所定のサイズまで縮小して縮小された保持対象情報の表示を継続するとともに、縮小された保持対象情報以外の情報を表示するよう表示部を制御するステップと、を実行する。

この情報表示方法を情報表示装置に実行させるプログラムも本発明に含まれる。

この発明によると、接触位置を固定するだけで容易に情報の表示を継続することができ、例えば何かの画像を参照しながら次の画像を見ていくようなときに非常に便利である。

＜第１実施形態＞
図１は情報表示装置１００の概略ブロック構成を示す。情報表示装置１００は、カメラ付き携帯電話、デジタルカメラ、ＰＤＡ、ポータブルＡＶプレーヤなどで構成することができる。

情報表示装置１００は、撮像レンズおよびＣＭＯＳやＣＣＤなどの固体撮像素子を含む画像入力部１６、画像入力部１６の固体撮像素子から読み取ったアナログ画像をデジタル信号に処理するためのアナログフロントエンド回路、アナログフロントエンド回路からのデジタル画像信号を処理するＤＳＰ（Digital Signal Processor）等の信号処理回路などを含んだ入力信号処理部１７、ワンチップマイコンなどで構成され入力信号処理部１７の撮像動作を制御やその他各部の動作制御を統括するＣＰＵ１０、各種データやプログラムを記憶するＲＯＭ１２、ＣＰＵ１０の処理に必要な各種データを記憶するＲＡＭ１１、特定対象検出部１８を備えている。

ＲＯＭ１２には、ＣＰＵ１０が操作入力部１４への操作に応じて各ブロックを制御するための制御プログラムやパラメータなどを格納している。操作入力部１４は、後述のタッチパネル部３１を含むが、合わせて操作ボタンや音声操作認識回路なども含んでよい。

画像入力部１６の撮像レンズには、例えば光学２倍ズームレンズが用いられ、操作入力部１４から入力される倍率変更操作に応じてモータドライバが撮像レンズを望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズの倍率は上記に限定されない。撮像レンズには絞りが設けられており、モータドライバを介して絞りを制御して適正な露光量を得る。

操作入力部１４によって撮影モードが設定されると、ＣＰＵ１０は、動画（スルー画）を表示部１３に表示させ、撮影画角を確認可能にする。即ち、固体撮像素子は、撮像レンズの受光面に結像された被写体光をその光量に応じた量の信号電荷に変換する。このようにして蓄積された各画素の信号電荷は、ＣＰＵ１０の指令に従いタイミングジェネレータから与えられる駆動パルスに基づき、信号電荷に応じた電圧信号（画像信号）としてドライバによって順次個別に読み出され、アナログフロントエンド回路でデジタル信号に変換されてそれぞれ信号処理回路に加えられる。

信号処理回路は、ゲイン調整回路及びＡ／Ｄ変換器を含み、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１０からのコマンドに従って画像信号を処理する。

信号処理回路に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１９に格納される。

撮影画像を表示部１３にモニタ出力する場合、ＶＲＡＭ１９からＹＣ信号が読み出され、表示制御部３７に送られる。表示制御部３７は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１３に出力する。

所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭ１９のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ１９のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ１９内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１３に供給されることにより、撮像中の映像がリアルタイムに表示部１３に表示される。ユーザは、表示部１３に表示される映像（スルー）によって撮影画角を確認できる。

ここで、操作入力部１４に設けられた撮影キーが押下されると、記憶用の撮影動作がスタートする。撮影キーの押下に応動して取得された画像データは信号処理回路において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ１１に格納される。

ＲＡＭ１１に格納されたＹ／Ｃ信号は、圧縮伸長処理回路によって所定のフォーマットに従って圧縮された後、画像記録部２７にＥｘｉｆファイルなどの所定フォーマットの画像ファイルとして記憶される。通信部１５は、画像ファイルその他の情報をＴＣＰ／ＩＰその他の規格に従って外部機器に送信することができる。あるいは、通信部１５は、外部機器から画像ファイルその他の情報を受信し、画像記録部２７やＲＡＭ１１に格納することもできる。

操作入力部１４によって再生モードが設定されると、画像記録部２７に記憶されている最終の画像ファイル（最後に記憶されたファイル）の圧縮データが読み出される。最後の記憶に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ１９に保存される。ＶＲＡＭ１９に保存されたＹＣ信号は、後述の表示制御部３７に加えられる。表示制御部３７は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１３に出力する。これにより、表示部１３には画像記録部２７に記憶されている最終コマのコマ画像が表示される。

その後、操作入力部１４に設けられた十字キーの右キーが押されるか、操作入力部１４に含まれるタッチパネル部３１の左方向へのスライド操作（順送りアクション）が検出されると、Ｅｘｉｆタグに含まれる撮影日時やファイル名のアルファベットなどに沿って、順方向（昇順）にコマ送りされる。十字キーの左キーが押されるか、操作入力部１４に含まれるタッチパネル部３１の右方向へのスライド操作（逆送りアクション）が検出されると、逆方向（降順）にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが画像記録部２７から読み出され、上記と同様にしてコマ画像が表示部１３に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、画像記録部２７に記憶されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１３に再生される。

記憶させる画像ファイルの画素数は、例えば、2832×2128（６Ｍ）、2048×1536（３Ｍ）、1280×960（１Ｍ）、640×480（ＶＧＡ）の何れかであり、記憶画質と記憶画素数との組合せによって撮影画像のデータ量（ファイルサイズ）が変化する。

なお、画像入力部１６とは、要するに外部から画像を取り込む手段であれば何でもよく、撮像手段の他、通信装置（通信部１５）、メディアリーダ（画像記録部２７）などで代替されてもよい。画像入力部１６へ入力される情報および表示部１３に表示される情報は、静止画像に限らず、動画像、文字情報、書式付き文字情報（ＨＴＭＬ文書、ＸＭＬ文書のようなマークアップ言語で記述）といった映像出力可能な各種のデジタルコンテンツを含んでもよいが、説明の簡略のため、以下、静止画像により表示情報を代表する。

図２は情報表示装置１００の詳細な要部構成図である。情報表示装置１００は、タッチパネル部３１、複数タッチ検出部３２、タッチ固定検出部３３、タッチ移動検出部３４、アクション検出部３５、サムネール固定化判断部３６、および表示制御部３７を備える。複数タッチ検出部３２、タッチ固定検出部３３、タッチ移動検出部３４、アクション検出部３５、サムネール固定化判断部３６、および表示制御部３７は、ＣＰＵ１０の実行するプログラム（ＲＯＭ１２に記憶）の処理単位でもよいし、各々別々のロジック回路で構成されていてもよい。

タッチパネル部３１は、表示部１３に積層されており、表示部１３の画面座標に対応する押圧位置を示す電気信号をＣＰＵ１０に送る。タッチパネル部３１は、操作入力部１４の構成の１つである。

表示制御部３７は、ＣＰＵ１０の制御に従って表示部１３の発光体の発光輝度・発光色を制御することで、所望の情報表示を制御する。表示する情報は、ＣＰＵ１０の指示におうじて、入力信号処理部１７、画像記録部２７、ＲＡＭ１１、ＲＯＭ１２、通信部１５から提供される。典型的には、表示情報は画像記録部２７の画像ファイルに格納された画像データとその付帯情報（Ｅｘｉｆタグ）であるが、その他の経路から入力された情報で置換可能なことはいうまでもない。

複数タッチ検出部３２は、タッチパネル部３１への押圧位置（独立した押圧領域）の総個数を判別し、その判別結果をＣＰＵ１０に通知する。

タッチ固定検出部３３は、静止した押圧位置の有無を判別し、その判別結果をサムネール固定化判断部３６に通知する。押圧位置が静止しているか否かは、最初に検出された押圧位置が異なる位置に移動せず、略同一の位置での押圧が所定時間以上（例えば１秒以上）継続しているか否かによって判別できる。

タッチ移動検出部３４は、静止した押圧位置以外でのタッチパネル部３１への移動操作、例えば上下左右方向へのスライド操作、時計回り・反時計回りの回転操作などを検出し、検出結果をアクション検出部３５に通知する。タッチ移動検出部３４は、タッチパネル部３１への移動操作が停止したことも検出し、検出結果をアクション検出部３５に通知する。

アクション検出部３５は、タッチ移動検出部３４の検出した移動操作に応じて、アクションを判別する。例えば、右方向へのスライド操作は順送り、左方向へのスライド操作は逆送り、上下のスライド操作は画像の拡大または縮小、時計回り・反時計回りの回転操作は画像の時計回り・反時計回りの回転と判別する。また、それらの移動操作が停止したと判別すれば、アクションの停止を判別する。

サムネール固定化判断部３６は、アクション検出部３５が順送りまたは逆送りアクションを判別し、かつタッチ固定検出部３３が、当該アクションとは異なるタッチ位置の静止を判別したことに応じ、画像キープ指示、すなわち表示部１３に表示中のコマ画像を所定のサイズに縮小化した縮小画像の表示を継続しながら順送りまたは逆送りアクションを受け付ける指示が入力されたと判別する。そして、その判別結果を表示制御部３７に通知する。なお、縮小画像は表示データがあれば足り、Ｅｘｉｆファイルのサムネール画像のように画像記録部２７に縮小画像を記録する必要はない。よって、縮小画像はＲＡＭ１１上に存在するＹＣ信号であってもよい。

表示制御部３７は、サムネール固定化判断部３６の判別結果に応じて、表示中のコマ画像の縮小画像を所定の位置に表示する。また、順送りまたは逆送りアクションに応じてコマ画像の表示を切り替える。

図３はＣＰＵ１０が実行を制御する表示処理のフローチャートである。この処理をＣＰＵ１０に実行させるためのプログラムはＲＯＭ１２に記憶されている。

Ｓ１では、タッチパネル部３１のタッチ検出に応じ、先頭または最後尾のコマ画像を表示する。

Ｓ２では、コマ画像の表示後、複数タッチ検出部３２にてタッチ（押下）の有無およびタッチ位置の単数複数を判別する。

Ｓ３では、タッチ位置が複数であるか否かを判断する。Ｙｅｓの場合はＳ４、Ｎｏの場合はＳ９に進む。

Ｓ４では、タッチ固定検出部３３にて、複数のタッチ位置のうち少なくともいずれか１つが静止しているか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ９に進む。

Ｓ５では、静止した複数のタッチ位置の１つが表示部１３の表示領域内に設定された所定の周端領域（リザーブ領域）に含まれているか否かを判断する。Ｙｅｓの場合は画像キープ指示があったものとしてＳ６に進み、Ｎｏの場合は画像キープ指示がなかったものとしてＳ９に進む。

リザーブ領域は情報表示装置１００を把持するのに必要な指（親指）の届く範囲に設けると、把持とキープ指示を兼ねることができてユーザの負担が少ない。リザーブ領域を示す映像を画面上で示してもよい。また、リザーブ領域はユーザの利き手に応じてＣＰＵ１０が決定してもよい。例えば、ＣＰＵ１０は、ユーザが右利きと判別した場合はリザーブ領域は表示部１３の表示面左側縁部、ユーザが左利きと判別した場合はリザーブ領域は表示部１３の表示面右側縁部と決定する。つまり、右利きのユーザは左手でキープ指示を行い、左利きのユーザは右手でキープ指示ができるようにし、なおかつ利き手で順送りまたは逆送りアクションが入力できるようにする。

なお、利き手の判別方法は公知のものが採用でき、操作入力部１４から利き手の選択を受け付け、その選択内容により判別したり、あるいは特開平０４−２０５１３７号公報に記載のように、利き手に対応するスイッチのオンオフや操作者の個人情報に対応する利き手情報に基づいて利き手を決定してもよい。「指」とは、接触操作（近似接触も含む）を行うための物体の一例にすぎず、ペンその他の筆記用具で代替されてもよい。

Ｓ６では、既に表示部１３に縮小されたキープ画像が表示されているか否かを判断する。Ｙｅｓの場合はＳ９、Ｎｏの場合はＳ７に進む。ただし、複数の指による複数のキープ指示をそれぞれ別個に認識して、複数のキープ指示を同時あるいは順次に受け付けてもよい。

Ｓ７では、タッチ移動検出部３４にて右方向あるいは左方向のスライド操作を判別する。

Ｓ８では、画像キープ指示が判別された時点で表示されているコマ画像であるキープ画像を、表示部１３の所定位置、例えばタッチ固定検出部３３が検出した静止押圧位置（キープ位置）の周辺に縮小して表示する。同時に、現在表示されているコマ画像を、順送りまたは逆送りアクションに応じて後順位または前順位のコマ画像に切り替える。コマ画の切り替えを行っている遷移状態をどのように表示するかは任意である。例えば、エッジワイプトランジションエフェクト、アイリスワイプトランジションエフェクト、クロックワイプトランジションエフェクト、マトリックスワイプトランジションエフェクト、フェードトランジションエフェクト、プッシュトランジションエフェクト、スライドトランジションエフェクトなどが挙げられる。もっとも、スライド操作に応じた切り替えに相応しいのは、スライドトランジションエフェクトであろう。

コマ画の切り替えがあってもキープ画像の表示は保持される。どのコマ画像をキープ画像にするかはユーザの自由である。キープ画像の縮小が完了した後、タッチ固定検出部３３が静止した押圧位置を検出しなくなった場合、あるいはキープ画像の表示を停止する特別の指示が操作入力部１４に入力された場合、縮小されたキープ画像の表示を停止してもよい。または、タッチ固定検出部３３が静止した押圧位置を検出しなくなっても、キープ画像の表示を停止する特別の指示が操作入力部１４に入力されない限り、キープ画像の表示を継続してもよい。または、タッチ固定検出部３３が静止した押圧位置を一時的に検出しなくなっても、所定の時間内（例えば１秒間）に再び略同一の押圧位置を検出すれば、キープ画像の表示を継続してもよい。これらのいずれを行うかは操作入力部１４から選択できてもよい。

Ｓ９では、順送りまたは逆送りアクションを検出する。

Ｓ１０では、順送りまたは逆送りアクションに応じて後順位または前順位のコマ画像に切り替える。Ｓ６で既に画像キープ指示がされていると判断されない限りキープ画像は表示されない。

Ｓ１１では、操作入力部１４から表示操作の終了が指示されたか否かを判断する。Ｙｅｓの場合は処理を終了し、Ｎｏの場合はＳ２に戻る。

図４は、順送りまたは逆送りアクション、画像キープ指示に応じた画像表示の一例を示す。なお、矢印は指の動く方向を示し、表示される情報ではない。

図４（ａ）は、タッチパネル部３１の積層された表示部１３上での、ユーザの指、例えば右手人差し指による左方向へのスライド操作により、逆送りアクションが判別され、現在表示されている画像から前のコマ画像へスライドトランジションエフェクトにより遷移し、画像をなぞってめくっていくような印象をユーザに与える。図４（ｂ）は、遷移が完了して前のコマ画像が表示されている。

図４（ｃ）では、ユーザの指の１つ、例えば左手親指による押圧が表示部１３の左上に固定している。図４（ｄ）では、ユーザの指の１つの押圧が固定した状態で左方向へのスライド操作が開始しており、ここで画像キープ指示があったと判別される。

図４（ｅ）および（ｆ）では、スライド操作に応じて現在表示されているコマ画像から次のコマ画像へ遷移する。ただし、画像キープ指示があった場合とない場合の遷移の状態を示すエフェクトは異なり、画像キープ指示があった場合、キープ画像はスライド操作に応じてキープ位置に向けて徐々に縮小していく。縮小されていくキープ画像の表示領域を除く領域には、スライド操作で指示された次のコマ画像を表示する。

図４（ｇ）に示すように、キープ位置近傍でキープ画像が所定の大きさまで縮小されれば、縮小を停止して、キープ位置近傍で縮小されたキープ画像の表示を維持する。これによりユーザは、所望の画像表示の継続が確保されたことが分かる。縮小中、キープ画像の最終的な縮小サイズを示すスケールをリザーブ領域に表示してもよい。縮小されたキープ画像の表示領域を除く領域には、スライド操作で指示された次のコマ画像を表示する。この後、図４（ｈ）〜（ｊ）に示すように、現在表示されているカレントコマ画像の表示領域内でさらにスライド操作が検出されれば、縮小されたキープ画像の表示領域を除く領域には、スライド操作に応じた前あるいは後のコマ画像が表示される。キープ画像を除くコマ画像の遷移のエフェクトは、キープ指示のない場合のコマ画像の遷移の場合と同様であり、ここではスライドトランジションエフェクトによりコマ画像が切り換わる。

図５は、順送りまたは逆送りアクション、画像キープ指示に応じた画像表示の他の例を示す。なお、矢印は指の動く方向を示し、表示される情報ではない。

図５（ａ）は、タッチパネル部３１の積層された表示部１３上での、ユーザの指、例えば右手人差し指による左方向へのスライド操作により、順送りアクションが判別され、現在表示されているコマ画像（カレントコマ画像）から次のコマ画像へスライドトランジションエフェクトにより遷移している。なお、左方向のスライドを中止して右方向にスライドすると、順送りアクションがキャンセルされ、次のコマ画像からカレントコマ画像に表示が戻る。図５（ｂ）は、遷移が完了して次のコマ画像が表示されている。

図５（ｃ）では、ユーザの指の１つ、例えば左手親指による押圧が表示部１３の左下に固定している。図５（ｄ）では、ユーザの指の１つの押圧が固定した状態で左方向へのスライド操作が開始しており、ここで画像キープ指示があったと判別される。

図５（ｅ）および（ｆ）では、スライド操作に応じて現在表示されている画像から次のコマ画像へ遷移する。ただし、画像キープ指示があった場合とない場合の遷移の状態を示すエフェクトは異なり、画像キープ指示があった場合、キープ画像はスライド操作に応じてキープ位置に向けて徐々に縮小していく。縮小されていくキープ画像の表示領域を除く領域には、スライド操作で指示された次のコマ画像を表示する。

図５（ｇ）に示すように、キープ位置でキープ画像が所定の大きさまで縮小されれば、縮小を停止してその縮小されたキープ画像の表示を維持する。これによりユーザは、所望の画像表示の継続が確保されたことが分かる。縮小されたキープ画像の表示領域を除く領域には、スライド操作で指示された前のコマ画像を表示する。この後、さらにカレントコマ画像の表示領域内でスライド操作が検出されれば、縮小されたキープ画像の表示領域を除く領域には、スライド操作に応じた前あるいは後のコマ画像が表示される。

以上の操作はユーザが右利きである場合を想定して説明するが、左利きの場合はスライド操作をする手および指と画像キープ指示をする手および指を左右で反転して考えればよい。

ユーザは、キープ画像を見ながら、別のコマ画像を参照することができ、何かの画像を見ながら前または後の画像を見ていきたいときには便利な機能となる。

＜第２実施形態＞
図６は情報表示装置１００の詳細な要部構成図である。第１実施形態と同じ構成には同じ符号を付している。顔検出部３８は、コマ画像（キープ画像を含む）から顔検出を行う。顔検出の具体的な方法は、エッジ検出又は形状パターン検出による顔検出方法、特徴部の座標である特徴点をベクトル化し、特徴点ベクトルを近似検出することによる特徴点ベクトル近似法、色相検出又は肌色検出による領域検出方法、あるいは特許４１２７５２１のようなテンプレートとの相関値による顔判別等の公知の方法を利用することができる。顔検出部３８は、ＣＰＵ１０の実行するプログラム（ＲＯＭ１２に記憶）の処理単位でもよいし、ＣＰＵ１０とは別のロジック回路で構成されていてもよい。

顔検出部３８は、キープ画像の閲覧に重要と考えられる特定の領域、例えば動物、車、建物、雲といったオブジェクトを検出するブロックで代替してもよい。検出するオブジェクトは、操作入力部１４から指定された撮影モードと対応してもよい。例えば、ポートレートモードが設定されれば人物顔を検出し、風景モードが検出されれば雲や建物を検出する。あるいは、情報が文字列であれば、その中から特定の文字列、例えば撮影者名、撮影日時、著作権者などを検出してもよい。

図７は第２実施形態に係る表示処理のフローチャートを示す。この処理をＣＰＵ１０に実行させるためのプログラムはＲＯＭ１２に記憶されている。

Ｓ１１〜Ｓ１７はＳ１〜Ｓ７と同様である。

Ｓ１８では、顔検出部３８によってキープ画像から顔検出を試み、顔が検出されたか否かを判断する。Ｙｅｓの場合はＳ１９、Ｎｏの場合はＳ２０に進む。

Ｓ１９では、Ｓ８と同様、キープ画像をキープ位置の周辺に縮小して表示する。同時に、現在表示されているコマ画像を、順送りまたは逆送りアクションに応じて後順位または前順位のコマ画像に切り替える。ただし、キープ画像から検出された顔領域が、画像キープ指示の押圧位置（キープ指示位置）と重複しないように、すなわち指と顔が重ならないようにキープ画像の表示位置を決定し、その位置に縮小されたキープ画像を表示する。さらに、現在表示されているコマ画像（カレントコマ画像）からも顔検出を行い、キープ画像から検出された顔領域が、キープ指示位置と重複せず、かつコマ画像の顔とキープ画像とが重複しないようにキープ画像の表示位置を決定し、その位置に縮小されたキープ画像を表示してもよい。こうすることで、キープ画像やカレントコマ画像の重要部分の閲覧が妨げられないようにする。

Ｓ２０はＳ８と同様である。また、Ｓ２１〜Ｓ２３はＳ９〜Ｓ１１と同様である。

図８は、順送りまたは逆送りアクション、画像キープ指示に応じた画像表示の一例を示す。なお、矢印は指の動く方向を示し、表示される情報ではない。

図８（ａ）〜（ｇ）は図４（ａ）〜（ｇ）のコマ画像・キープ画像と同様である。ただし、図８（ｂ）のカレントコマ画像や図８（ｃ）〜（ｆ）のキープ画像からは顔が検出されている。検出された顔領域を示す枠その他のグラフィックを表示してもよいが、鑑賞の妨げになる場合もあるので、表示／非表示の選択を操作入力部１４から受け付け、表示制御部３７が当該選択結果に応じて当該グラフィックを表示する／しないの制御を行ってもよい。

図８（ｇ）に示すように、キープ画像から検出された顔領域は、ユーザの指の押圧位置を避けている。よって、ユーザ自身の指がキープ画像の顔などの特定のオブジェクトの閲覧を妨げることがなくなる。

あるいは、図８（ｇ）’に示すように、キープ画像を確保しているような様子をユーザに示すため、表示制御部３７は、Ｓ２２での位置決定により生じた画面端とキープ画像との間隙に、タブ（つまみ）の映像を表示したり、キープ画像ないしその周辺を点滅させたり、図示しない音声再生回路によりキープが開始した旨の音声を出力してもよい。タブの表示領域は押下領域を包含していてもよい。

あるいは、図８（ｇ）’ ’に示すように、表示制御部３７は、キープ画像を半透明化したり、色濃度を薄くして、バックグラウンドのコマ画像が透視できるようにしてもよい。この際、キープ画像の顔領域のみは半透明化せずそのまま表示してもよい。

あるいは、図８（ｇ）’ ’ ’に示すように、カレントコマ画像をフルサイズ表示したままキープ画像の位置を押圧位置およびカレントコマ画像の顔領域を避ける位置に決めることができない場合、カレントコマ画像のアスペクト比を維持したまま縮小してキープ位置周辺にカレントコマ画像の表示されない余白領域を作ってカレントコマ画像の検出オブジェクトがキープ画像と重複しないようにした上で、キープ位置と検出オブジェクトとが重複しないようなキープ画像の位置を決定してもよい。

＜第３実施形態＞
図９は情報表示装置１００の詳細な要部構成図である。第１実施形態と同じ構成には同じ符号を付している。

アクション検出部４０は、アクション検出部３５が検出しない、キープ画像の表示領域上でのアクション、例えばシングルタップ、ダブルタップ、タップ＆ドラッグを判別する。つまり、アクション検出部３５の検出するアクションはカレントコマ画像の表示に関するもの、アクション検出部４０の検出するアクションはキープ画像の表示に関するものとして区別する。

サムネール拡大判断部３９は、アクション検出部４０の検出したアクションに応じて、縮小されたキープ画像の拡大指示があったか否かを判断し、拡大指示があった場合、その旨を表示制御部３７に通知する。

図１０は第３実施形態に係る表示処理のフローチャートを示す。この処理をＣＰＵ１０に実行させるためのプログラムはＲＯＭ１２に記憶されている。

Ｓ３１〜Ｓ４０は第２実施形態のＳ１１〜Ｓ２０と同様である。ただし、Ｓ３６では、既に表示部１３に縮小されたキープ画像が表示されているか否かを判断し、Ｙｅｓの場合はＳ４１、Ｎｏの場合はＳ３７に進む。

Ｓ４１では、アクション検出部４０により、タッチ固定検出部３３の検出した押圧位置以外の押圧位置が移動したこと、すなわちタップ＆ドラッグ動作を検出する。そして、タップ＆ドラッグ動作が検出された場合、タップ＆ドラッグ動作の起点となった最初の押圧位置が、キープ画像の表示範囲内に含まれているが否かを判断する。ＹｅｓならばＳ４２、ＮｏならばＳ４４に進む。

Ｓ４２では、キープ画像の拡大指示があったことを検出する。

Ｓ４３では、タップ＆ドラッグ動作の移動量に応じてキープ画像を拡大する。これは、画像を引き延ばすような動作に類似し、直感的に理解しやすい。なお、アクション検出部４０は、タップ＆ドラッグ動作の代わりに単独のタップ動作を２回検出し、１番目のタップ動作の押圧位置から２番目のタップ動作の押圧位置までの距離に応じた拡大率でキープ画像を拡大してもよい。キープ画像をフルサイズまで拡大しなければ、カレントコマ画像とキープ画像を併存して表示させることができ、両者をじっくり対比できる。この動作は、画像表示領域の対角点を示すことと類似し、直感的に理解しやすい。あるいは、１度目のダブルタップでキープ画像を一気に所定の大きさ、例えばフルサイズまで拡大し、２度目のダブルタップで拡大を停止して元の縮小サイズに戻してもよい。これは急いで拡大したい場合に有効である。なお、キープ画像を拡大すると、カレントコマ画像の顔領域が隠れる場合があるが、これは無視する。

Ｓ４４〜Ｓ４６はＳ２１〜Ｓ２３と同様である。

図１１は、キープ画像の拡大指示に応じた画像表示の一例を示す。なお、矢印は指の動く方向を示し、表示される情報ではない。

図１１（ａ）〜（ｄ）は顔検出のない場合、図１１（ａ）’〜（ｄ）’は顔検出のある場合である。図１１（ａ)に示すように、キープ画像を指示する左手の指はそのままにして、右手の指でキープ画像の端をタップし、図１１（ｂ）に示すように、そのまま画面中央に向かってタップした右手の指をドラッグする。図１１（ｃ）に示すように、ドラッグの移動量に応じて、キープ位置周辺に縮小されていたキープ画像が拡大していき、カレントコマ画像は拡大するキープ画像の背後に隠れる。一旦フルサイズ表示（画像のアスペクト比を維持した状態で表示画面内で最大限画像を拡大して表示）が開始した後は、タップした指を開放しても表示を維持するが、フルサイズ表示に達する前にドラッグが開放された場合は、キープ画像を元の縮小状態に戻す。

図１１（ｄ）に示すように、ドラッグ先が画面下端か右端に達すると、キープ画像を画面一杯に表示する。ドラッグした指が画面から離れた場合、すなわちアクション検出部４０がタップ＆ドラッグの押圧を検知しなくなった場合、キープ画像の拡大表示を中止し、元のキープ位置周辺に縮小されたキープ画像を表示してもよい。

図１１（ａ）’〜（ｄ）’は、縮小されたキープ画像の顔検出位置とキープ指示位置が重ならないように表示される（Ｓ１９と同様）以外は、図１１（ａ）〜（ｄ）と同様である。

このように、キープした画像を、タップ＆ドラッグやダブルタップという直感的な操作で拡大表示することができる。

＜第４実施形態＞
第１〜３実施形態において、固定した指を離してもキープ画像を表示し続けるには、次のようにする。図１２は第４実施形態に係る拡大処理のフローチャートを示す。この処理をＣＰＵ１０に実行させるためのプログラムはＲＯＭ１２に記憶されている。

Ｓ５１〜Ｓ５８はＳ１〜Ｓ８と同様である。ただし、Ｓ５８では、タッチ固定検出部３３が静止した押圧位置を検出しなくなっても、キープ画像の表示を停止する特別の指示が操作入力部１４に入力されない限り、キープ画像の表示を継続する。

Ｓ５９では、キープ画像の表示を停止する特別の指示、例えば縮小あるいは拡大されたキープ画像の表示領域内で２度目のダブルタップを検出する。

Ｓ６０では、キープ画像の表示を停止する旨のメッセージを表示する。あるいは、その旨を示す音声を出力してもよい。

Ｓ６１では、キープ画像の表示を停止する。キープ画像が表示されなくなった部分にはカレントコマ画像を表示する。

図１３は、キープ指示した指の接触を開放した後のキープ画像の表示継続の一例を示す。なお、矢印は指の動く方向を示し、表示される情報ではない。

図１３（ａ）はキープ指示した指の接触が開放される様子を示している。Ｓ５８によると、単にこの指の接触が開放しても、図１３（ｂ）に示すように、縮小したキープ画像の表示は継続する。

図１３（ａ）’および（ｂ）’は、キープ画像の顔検出位置とキープ指示位置が重ならないように表示されている以外は、図１３（ａ）〜（ｂ）と同様である。

こうすることで、ユーザが意図的あるいは無意識にキープ指示をした指を画面から離してもキープ画像の表示が継続し、キープ指示を続ける負担が軽減される。

＜第５実施形態＞
ダブルタップでキープ画像の表示を停止するには、次のようにする。図１４は第５実施形態に係る表示処理のフローチャートを示す。この処理をＣＰＵ１０に実行させるためのプログラムはＲＯＭ１２に記憶されている。この処理は、第１〜３実施形態の表示処理が実行されてキープ画像の表示された後に開始する。

Ｓ７１、Ｓ７２、Ｓ７３は、それぞれＳ１、Ｓ２、Ｓ４１と同様である。ただし、Ｓ７１ではキープ画像が表示されているものとする。また、Ｓ７３でＹｅｓと判断されればＳ７４、Ｎｏと判断されればＳ８０に進む。

Ｓ７４では、アクション検出部４０により、キープ画像の表示領域でのダブルタップの有無を検出し、ダブルタップが検出されればＳ７７、検出されなければＳ７５に進む。

Ｓ７５は、Ｓ３と同様の判断を行い、ＹｅｓならばＳ７６、ＮｏならばＳ７８に進む。

Ｓ７６およびＳ７７は、Ｓ４２およびＳ４３と同様である。

Ｓ７８では、アクション検出部４０により、キープ画像の表示領域でのスライド操作を検知し、縮小されたキープ画像の移動指示の有無を判断する。キープ画像の移動指示は、キープ画像の表示領域内の任意の位置を起点に押圧位置が移動したことにより検出する。

Ｓ７９では、キープ画像の移動指示に応じて縮小されたキープ画像を表示部１３の画面上で移動させる。すなわち、最初の位置を起点にした押圧位置の移動方向と移動量に従って、縮小されたキープ画像を移動させて表示する。キープ画像の移動中も、カレントコマ画像はキープ画像の背後に隠れる。

Ｓ８０〜Ｓ８２はＳ９〜Ｓ１１と同様である。

画像表示装置の概略ブロック図 第１実施形態の画像表示装置の要部ブロック図 第１実施形態の表示処理のフローチャート 第１実施形態の表示処理による画像表示の一例を示す図 第１実施形態の表示処理による画像表示の他の一例を示す図 第２実施形態の画像表示装置の要部ブロック図 第２実施形態の表示処理のフローチャート 第２実施形態の表示処理による画像表示の一例を示す図 第３実施形態の画像表示装置の要部ブロック図 第３実施形態の表示処理のフローチャート 第３実施形態の表示処理による画像表示の一例を示す図 第４実施形態の表示処理のフローチャート 第４実施形態の表示処理による画像表示の一例を示す図 第５実施形態の表示処理のフローチャート

符号の説明

３１：タッチパネル部、３２：複数タッチ検出部、３３：タッチ固定検出部、３４：タッチ移動検出部、３５：アクション検出部、３６：サムネール固定化判断部、３７：表示制御部、３８：顔検出部、３９：サムネール拡大判断部、４０：アクション検出部

Claims (10)

1. 画像その他の所望の情報を表示する表示部と、
   前記表示部の表示面に対する物体の接触位置を検出する接触検出部と、
   前記接触検出部が検出した接触位置が複数であるか否かを検出する接触数検出部と、
   前記接触数検出部が検出した複数の接触位置の１つが固定したか否かを検出する固定検出部と、
   前記接触数検出部が検出した複数の接触位置のうち、前記固定検出部が検出した固定接触位置以外の接触位置の挙動を検出する挙動検出部と、
   前記挙動検出部が検出した接触位置の挙動に対応する指示を検出する指示検出部と、
   前記固定検出部の検出した固定接触位置と前記指示検出部の検出した指示に応じて、前記固定接触位置が検出されたときに前記表示部に表示されていた情報である保持対象情報を所定のサイズまで縮小して前記縮小された保持対象情報の表示を継続するとともに、前記縮小された保持対象情報以外の情報を表示するよう前記表示部を制御する制御部と、
   を備える情報表示装置。
2. 前記制御部は、前記固定接触位置近傍に前記縮小された保持対象情報の表示を継続するよう前記表示部を制御する請求項１に記載の情報表示装置。
3. 前記縮小された保持対象情報から顔その他の特定の物体の存在領域を検出する領域検出部を備え、
   前記制御部は、前記領域検出部が検出した物体の存在領域が前記固定接触位置と重複しない位置で前記縮小された保持対象情報の表示を継続するよう前記表示部を制御する請求項１または２に記載の情報表示装置。
4. 前記制御部は、情報表示が保持されたことを示す所定の情報を前記固定接触位置近傍に表示するよう前記表示部を制御する請求項３に記載の情報表示装置。
5. 前記挙動検出部は、前記縮小された保持対象情報の表示領域内での接触位置の挙動を検出し、
   前記指示検出部は、前記挙動検出部が検出した前記縮小された保持対象情報の表示領域内での接触位置の挙動に基づいて前記接触位置の縮小された保持対象情報の拡大指示の有無を検出し、
   前記制御部は、前記指示検出部が前記拡大指示を検出したことに応じて前記縮小された保持対象情報を所定のサイズまで拡大して表示するよう前記表示部を制御する請求項１〜４のいずれかに記載の情報表示装置。
6. 前記指示検出部は、前記縮小された保持対象情報の表示領域内でのタップアンドドロップ動作またはダブルタップ動作に基づいて前記接触位置の縮小された保持対象情報の拡大指示を検出する請求項５に記載の情報表示装置。
7. 前記制御部は、前記指示検出部が前記保持対象情報の表示停止指示を検出するまで前記縮小された保持対象情報の表示を継続するよう前記表示部を制御する請求項１〜６のいずれかに記載の情報表示装置。
8. 前記指示検出部は、スライド動作に基づいて前記縮小された保持対象情報以外の情報の表示切り替え指示を検出し、
   前記制御部は、前記指示検出部が表示切り替え指示を検出したことに応じて順次異なる情報を切り替えて表示するよう前記表示部を制御する請求項１〜７のいずれかに記載の情報表示装置。
9. 画像その他の所望の情報を表示する表示部を備えた情報表示装置が、
   前記表示部の表示面に対する物体の接触位置を検出するステップと、
   前記検出した接触位置が複数であるか否かを検出するステップと、
   前記検出した複数の接触位置の１つが固定したか否かを検出するステップと、
   前記検出した複数の接触位置のうち、前記検出した固定接触位置以外の接触位置の挙動を検出するステップと、
   前記検出した接触位置の挙動に対応する指示を検出するステップと、
   前記検出した固定接触位置と前記検出した指示に応じて、前記固定接触位置が検出されたときに前記表示部に表示されていた情報である保持対象情報を所定のサイズまで縮小して前記縮小された保持対象情報の表示を継続するとともに、前記縮小された保持対象情報以外の情報を表示するよう前記表示部を制御するステップと、
   を実行する情報表示方法。
10. 請求項９に記載の情報表示方法を情報表示装置に実行させるプログラム。

Images