JP5552767B2 - 表示処理装置、表示処理方法および表示処理プログラム - Google Patents

表示処理装置、表示処理方法および表示処理プログラム Download PDF

Info

Publication number
JP5552767B2
JP5552767B2 JP2009173967A JP2009173967A JP5552767B2 JP 5552767 B2 JP5552767 B2 JP 5552767B2 JP 2009173967 A JP2009173967 A JP 2009173967A JP 2009173967 A JP2009173967 A JP 2009173967A JP 5552767 B2 JP5552767 B2 JP 5552767B2
Authority
JP
Japan
Prior art keywords
display
image
group
unit
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009173967A
Other languages
English (en)
Other versions
JP2011028534A (ja
Inventor
綾 高岡
晶子 寺山
啓宏 王
聰 赤川
浩司 新井
俊一 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009173967A priority Critical patent/JP5552767B2/ja
Priority to CN2010102339002A priority patent/CN101968790A/zh
Priority to US12/842,395 priority patent/US20110022982A1/en
Publication of JP2011028534A publication Critical patent/JP2011028534A/ja
Application granted granted Critical
Publication of JP5552767B2 publication Critical patent/JP5552767B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7335Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

この発明は、例えば、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末、携帯型情報処理端末など、比較的に大きな表示画面を有する表示素子を備え、種々の情報の表示が可能な装置、当該装置で用いられる方法、プログラムに関する。
動画像や静止画像を撮影し、これをデジタルデータとして記録媒体に記録するデジタルカメラが広く利用されている。従来、主に動画像を撮影するものをデジタルビデオカメラと呼び、主に静止画像を撮影するものをデジタルスチルカメラと呼んで区別している場合もあるが、動画像と静止画像のいずれをも撮影することが可能なものも増えてきている。
そして、主に動画像を撮影するデジタルビデオカメラでは、DVD(Digital Versatile Disc)やハードディスクなどの大容量の記録媒体が用いられているものが多い。また、主に静止画像を撮影するデジタルスチルカメラでは、静止画像データは動画像データよりもデータ量が少ないこともあり、内蔵フラッシュメモリーや種々のリムーバルメモリーが広く用いられている。
しかし、近年では、内蔵フラッシュメモリーやリムーバルメモリーの小型化、大容量化が促進されると共に、データ圧縮技術の向上もあり、これらのメモリーに大量の動画像データを蓄積するデジタルビデオカメラも提供されるようになってきている。
このように、大量の画像データを記録媒体に対して記録可能なデジタルカメラにおいては、使用年数を重ねるごとに撮影された画像データの量も増加し、記録媒体に、ユーザーの頭の中では管理できないほどの画像データが蓄積されてしまう場合も少なくない。
従来、デジタルカメラにおいては、撮影して得た多数の画像データを、日付や時刻などの所定の情報をベースとして1つのまとまりとするようにしたフォルダを形成して管理することが行われている。
例えば、2009年1月1日に撮影した画像データの集まり等といったように、同じ撮影日に撮影された多数の画像データを、1つのフォルダで管理するなどのことが行われている。また、「運動会」や「誕生会」などのように、ユーザーが入力する名称のフォルダを形成し、これに撮影して得た画像データをまとめるようにすることも行われている。
このように、日付や時刻、あるいは、ユーザーが入力したフォルダ名などによって識別されるフォルダは、ユーザーにとっては所定のイベントにおいて撮影して得た画像データをまとめて管理できるものである。このようなフォルダも、デジタルカメラの使用年数が増えるごとに、ユーザーの頭では管理できないほどに増えることになる。
このため、デジタルカメラのような表示処理装置においては、例えば、後に記す特許文献1や特許文献2に開示されているような、フォルダ毎に画像の一覧表示やインデックス画面を駆使して、画像を見返すようにすることが行われる。
また、画像データがさらに溜まると、効率のよい絞り込み検索を行えるようにすることも必要になってくる。従来は、例えば、後に記す特許文献3や特許文献4に開示されているように、メタデータやキーワードを用いて効率よく検索を行えるようにすることが提案されている。
特開2007−037182号公報 特開2006−295236号公報 特開2008−165424号公報 特開2005−354134号公報
しかしながら、上述した特許文献1、2に開示されているような従来の画像の検索方式の場合には、目的とする画像データが格納されているフォルダを見つけ出すために、多数のフォルダ間を行き来して、各フォルダの画像データを確認する処理が必要になる。このため、操作が煩雑となり、目的とする画像データが格納されているフォルダを見つけ出すまでに時間がかかるなどの不都合が生じる場合もあると考えられる。
また、上述した特許文献3、4に開示されているような従来の絞り込み検索の場合、画像データに対して付加するようにされている分類タグや検索キーワードを、例えばGUI(Graphical User Interface)メニューなどを通じて選択し、検索を実行することになる。
この場合、分類タグや検索キーワードの選択操作が煩雑になる場合もあると考えられる。また、1回の検索で目的とする画像データを検索できない場合もあると考えられる。この場合には、検索結果を確認しながら、GUIメニューを通じて分類タグや検索キーワードを選択し、検索を繰り返すことが行われることになる。
したがって、分類タグや検索キーワードを用いた絞込み検索には、検索条件の組み合わせを指定するのにユーザーのリテラシーと労力を必要とする。したがって、検索に不慣れなユーザーにとっては、思うように絞込み検索を行うことができないといった問題も発生する。
また、持ち運ばれて使用されるビデオカメラなどのいわゆる携帯型電子機器は、いわゆるコミュニケーションツールとして使用される場合も多い。このため、ビデオカメラなどでは、蓄積されている画像データ等を、近くにいる友人や知人に対して分り易い態様で迅速かつ簡単に検索して提示するようにしたい場合もある。
また、上述した画像データ等のコンテンツの検索に関する問題は、これにとどまる問題ではない。例えば、携帯電話端末のように、電話機能、インターネット接続機能、カメラ機能、デジタルテレビ放送の受信再生機能、音楽データの記憶再生機能などの種々の機能を備えた電子機器も広く利用されている。
このような多機能な電子機器においては、画像データ等のコンテンツの検索の場合と同様に、目的とする機能についての目的とする項目の設定を行う場合に、複雑な操作を行うことによって、当該目的とする項目の設定画面に到達して実際に設定を行う場合が多い。
このように、蓄積された多数のコンテンツの中から目的のものを検索したり、設定可能な多数の項目の中から目的のものを検索したりする場合、従来は複雑な操作を行う場合が多く、できるだけ分かりやすく簡単に行えるようにしたいとする要求が高い。
以上のことに鑑み、この発明は、複雑な操作を行うことなく、選択可能な多数の項目の中から、目的とする項目を迅速かつ的確に見つけ出し、これを利用するなどのことができるようにすることを目的とする。
上記課題を解決するため、請求項1に記載の発明の表示処理装置は、数のコンテンツのそれぞれを、各コンテンツが有する情報に基づいて1以上のグループに属するようにグループ分けするグループ分けと、前記グループ分けにより前記コンテンツがグループ分けされて形成されたグループのそれぞれに対して、属するコンテンツに応じた表示用オブジェクトを形成して割り当てる割当と、前記割当により前記グループに対して割り当てられた表示用オブジェクトを表示部に表示すると共に、当該表示オブジェクトの表示領域内に、当該表示オブジェクトのグループに属するコンテンツの画像を順に表示する表示制御部とを備え、前記表示制御部は、操作部を介して、前記表示部に表示されている表示用オブジェクトのうちの1つが選択されると、表示されている表示用オブジェクトのうち、選択された表示用オブジェクトと、当該選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツが属する他のグループの表示用オブジェクト以外を非表示とするように制御すると共に、前記他のグループの表示オブジェクトの表示領域内に、前記選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツの画像を順に表示する
この表示処理装置においては、まず、グループ分けによって、複数のコンテンツのそれぞれが、各コンテンツの有する情報に従って、1つ以上のグループに属するようにグル
ープ分けされる。
グループ分けによってコンテンツがグループ分けされたグループのそれぞれに対しては、属するコンテンツに応じた表示用オブジェクトが、割当によって形成されて割り当てられる。
そして、割当によって各グループに対して割り当てられた表示用オブジェクトが、表示制御部によって表示に表示されると共に、当該表示オブジェクトの表示領域内に、当該表示オブジェクトのグループに属するコンテンツの画像が順に表示される。さらに、操作部を介して、前記表示部に表示されている表示用オブジェクトのうちの1つが選択されると、表示制御部によって、表示されている表示用オブジェクトのうち、選択された表示用オブジェクトと、当該選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツが属する他のグループの表示用オブジェクト以外を非表示とするように制御されると共に、前記他のグループの表示オブジェクトの表示領域内に、前記選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツの画像が順に表示される
これにより、ユーザーは、複数のコンテンツ(項目)のそれぞれを個別に認識することなく、まず、表示に表示される表示用オブジェクトによって、目的とするコンテンツ(項目)が属するグループを認識することができる。
そして、ユーザーは、目的とするコンテンツ(項目)が属するグループとして認識したグループから、目的とするコンテンツ(項目)を見つけ出すことができる。従って、多数のコンテンツ(項目)の中から、複雑な操作を行うことなく、検索範囲を自動的に絞り込んで目的とするコンテンツ(項目)を迅速に見つけ出し、これを利用することができる
この発明によれば、複雑な操作を行うことなく、選択可能な多数の項目の中から目的とする項目を迅速かつ的確に見つけ出し、これを利用するなどのことができる。
この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置100の構成例を説明するためのブロック図である。 撮像装置100の記録媒体135に記録される画像ファイルのレイアウト例を説明するための図である。 撮像装置100において画像ファイルがグループ化されて形成される画像グループの情報の一例を説明するための図である。 再生モード時の初期画面(アプリケーションメイン画面)の一例を説明するための図である。 表示画面上において各画像グループを表す表示として用いられる表示用オブジェクトObの構成について説明するための図である。 画像グループ内の画像ファイルの検索画面の一例を説明するための図である。 図6に続いて表示される検索結果のリスト表示の一例を説明するための図である。 複数グループを対象とした画像ファイルのAND検索の具体例について説明するための図である。 複数グループを対象とした画像ファイルのAND検索の具体例について説明するための図である。 複数グループを対象とした画像ファイルのAND検索の具体例について説明するための図である。 複数グループを対象とした画像ファイルのAND検索の具体例について説明するための図である。 1本の指だけでAND検索を行う場合の例を説明するための図である。 1本の指だけでAND検索を行う場合の例を説明するための図である。 1本の指だけでAND検索を行う場合の例を説明するための図である。 撮像装置100における再生モード時の処理を説明するためのフローチャートである。 図15に続くフローチャートである。 図15に続くフローチャートである。 図15に続くフローチャートである。 図18に続くフローチャートである。 設定モード時の処理を説明するための図である。 設定モード時の処理を説明するための図である。 設定モード時の処理を説明するための図である。 設定モード時の処理を説明するための図である。
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。以下においては、この発明を動画像や静止画像を撮影して記録媒体に記録し、これを利用することが可能な撮像装置(ビデオカメラ)に適用した場合を例にして説明する。
[撮像装置の構成例]
図1は、この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置100の構成例を説明するためのブロック図である。撮像装置100は、撮影モードを切り替えることにより、静止画像と動画像のいずれをも撮影して記録媒体に記録することができるものである。
図1に示すように、撮像装置100は、レンズ部101、撮像素子102、前処理部103、画像処理部104、表示処理部105、表示部106、タッチパネル107、圧縮処理部109、伸張処理部110、表示画像形成部111を備えている。
また、撮像装置100は、制御部120、操作部131、外部インターフェース(以下、外部I/Fと略称する。)132、入出力端子133、書き込み/読み出し部134、記録媒体135を備えている。また、撮像装置100は、モーションセンサ137、GPS受信部138、GPS用受信アンテナ139、時計回路140を備えている。
この実施の形態の撮像装置100において、表示部106は、例えば、LCD(Liquid Crystal Display)、有機ELパネル(Organic Electroluminescence Panel)等のいわゆる薄型の表示素子からなるものである。そして、後述もするが、この表示部106の表示画面の全面に対して操作面を形成するようにタッチパネル107が貼付されている。
タッチパネル107は、ユーザー(使用者)からの操作面に対する指示操作(接触操作)を受け付けて、タッチパネル107の当該操作面上の指示位置(接触位置)を検出し、当該指示位置を示す座標データを制御部120に通知するものである。
制御部120は、後述もするように、撮像装置100の各部を制御するものであり、表示部106の表示画面に対して、どのような表示を行っているかをも把握している。制御部120は、タッチパネル107からの操作面上の指示位置を示す座標データと、当該指示位置に対応する表示部106の表示画面上の表示情報とに基づいて、ユーザーからの指示操作(入力操作)を受け付けることができる。
例えば、ユーザーがタッチパネル107の操作面上の位置に、指やスタイラスなどを接触させたとする。この場合に、その接触位置に対応する(一致する)表示画面上の位置に数字が表示されていた場合には、ユーザーはその表示されている数字を選択して入力するようにしたと制御部120において判別することができる。
このように、撮像装置100においては、表示部106とタッチパネル107とによって、入力装置としてのタッチスクリーン108を形成している。なお、タッチパネル107は、例えば、感圧式や静電式のものとして実現される。
また、タッチパネル107は、操作面上の複数の箇所に同時に行うようにされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができるものである。また、タッチパネル107は、操作面に対して繰り返し行うようにされる指示操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
さらに、タッチパネル107は、ユーザーによって、指やスタイラスが接触されている間は、所定のタイミング毎に連続して接触位置を検出し、これを示す座標データを出力することもできる。
これにより、タッチパネル107は、いわゆるタップ操作、ダブルタップ操作、ドラッグ操作、フリック操作、ピンチ操作などのユーザーからの様々な指示操作(操作入力)を受け付けて、これを検出することができるものである。
ここで、タップ操作は、ユーザーの指やスタイラスによって、操作面上を「ちょん」と1回だけ指示する動作(操作)である。ダブルタップ操作は、操作面上を連続して2回、「ちょん、ちょん」と指示する動作である。
また、ドラッグ操作は、ユーザーの指やスタイラスを操作面上に接触させたまま移動させる動作である。フリック操作は、ユーザーの指やスタイラスを操作面上の1点を指示してから、そのまま任意の方向に素早く「はじく」ようにする動作である。
ピンチ操作は、ユーザーの2本の指等を同時に操作面上に接触させて、当該2本の指等を開いたり、閉じたりする動作である。この場合、特に、接触させた2本の指等を開く操作をピンチアウト操作、2本の指等を閉じる操作をピンチイン操作と呼んでいる。
ドラッグ操作とフリック操作とは、動作の速さに違いがあるものの、操作面上にユーザーの指等を接触させた後に、当該操作面上を移動させる操作(操作面上をなぞる操作)であり、移動距離と移動方向との2種類の情報によって把握できる操作である。
このため、この明細書においては、ドラッグ操作とフリック操作とのいずれかの操作を行うことにより、同じ処理を行うようにすることができる場合には、ドラッグ操作とフリック操作との総称として「なぞり操作」という文言を用いる。
また、この実施の形態の撮像装置100の表示部106の表示画面には、押圧センサ(圧力センサ)109が設けられている。押圧センサ109は、表示部106の表示画面に対して加えられた押圧力を検出し、この検出出力を制御部120に通知する。
したがって、この実施の形態の撮像装置100においては、タッチパネル107に対してユーザーが指等を接触させると、タッチパネル107からの座標データが制御部120に供給されると共に、押圧センサ109からの検出出力が制御部120に供給される。
これにより、制御部120は、タッチパネル107に対して、指示操作を行った場合に、その接触位置を把握することができるだけでなく、どれ位の力で押圧されているのかをも把握することができるようになっている。
そして、この実施の形態の撮像装置100の制御部120は、撮像装置100を構成する各部と接続され、上述もしたように、撮像装置100の各部を制御するものであり、いわゆるマイクロコンピュータの構成されたものである。
制御部120は、CPU(central Processing Unit)121、ROM(Read Only Memory)122、RAM(Random Access Memory)123、EEPROM(Electrically Erasable and Programmable ROM)124が、CPUバス125を通じて接続されて構成されている。
CPU121は、後述するROM122に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給し、また各部から提供されるデータ等を受け付けて、これを処理するものである。
ROM122は、上述のように、CPU121において実行される種々のプログラムや処理に必要になる種々のデータ等を予め記憶保持しているものである。RAM123は、各種の処理において途中結果を一時記憶するなど、主にワークエリアとして用いられるものである。
EEPROM124は、いわゆる不揮発性メモリーであり、撮像装置100の電源が落とされても保持しておくべき情報を記憶保持する。例えば、ユーザーによって設定された種々のパラメータや、種々の処理の最終結果、あるいは、機能追加などのために新たに提供された処理プログラムやデータ等が、EEPROM124に保持される。
このようにマイクロコンピュータの構成と制御部120に対しては、図1に示したように、操作部131、外部I/F132、書き込み/読み出し部134、モーションセンサ137、GPS受信部138、時計回路140が接続されている。
操作部131は、各種の調整キーや機能キー、シャッターキーなどの操作キーを有し、ユーザーからの操作入力を受け付けて、これを制御部120に通知する。これにより、制御部120は、操作部131を通じて受け付けたユーザーからの操作入力に応じて、各部を制御し、操作入力に応じた処理を実行することができるようにされる。
外部I/F132は、例えば、USB(Universal Serial Bus)やIEEE(Institute of Electrical and Electronics Engineers Inc)1394などの、所定の規格に準拠したデジタルインターフェースである。
すなわち、外部I/F132は、入出力端子133に接続された外部機器からのデータを自機において処理可能な形式のデータに変換して受け付けたり、自機から送出するデータを所定の形式のデータに変換して出力したりするものである。
書き込み/読み出し部134は、制御部120の制御に応じて、自機の記録媒体135に対して、データを書き込んだり、記録媒体135に記録されているデータを読み出したりするものである。
記録媒体135は、例えば数百ギガバイト以上の記憶容量を有する大容量のハードディスクであり、大量の動画像データや静止画像データを記憶保持することができるものである。
なお、記録媒体135としては、半導体メモリーが用いられて構成されたメモリーカード型のリムーバルメモリーや内蔵フラッシュメモリーなどを用いることもできる。また、記録媒体135として、DVD(digital Versatile Disc)やCD(Compact Disc)等の光ディスクなどの他のリムーバブル型の記録媒体を用いる構成とすることもできる。
モーションセンサ137は、撮像装置100の動きを検出するものであり、具体的には、2軸若しくは3軸の加速度センサなどにより構成される。そして、モーションセンサ137は、撮像装置100が傾けられるようにされた場合に、どの方向にどれだけ傾けられたのかを検出し、制御部120に通知することができるものである。
具体的には、モーションセンサ137は、撮像装置100がどのような向きで使用されているのかを検出することができる。例えば、撮像装置100を横にし、表示画面106Gを横長の状態にして使用しているのか、撮像装置100を縦にし、表示画面106Gを縦長の状態にして使用しているのかを検出することができる。
また、モーションセンサ137は、撮像装置100が左右に振られた場合と上下に振られた場合とを区別して検出し、これを制御部120に通知することができる。また、モーションセンサ137は、例えば、叩かれるなどして振動が加えられた場合に、これを検出して制御部120に通知することもできる。
GPS受信部138は、GPS用受信アンテナ139を通じて、複数の人口衛星からの所定の信号を受信し、これを解析することによって、撮像装置100の現在位置を検出し、これを制御部120に通知することができるものである。
このGPS受信部138の機能により、撮像装置100においては、撮影時に現在位置情報を取得して、画像データに対してメタデータとして撮影位置を示す位置情報(GPS情報)を付加することができるようにしている。
なお、GPS受信部138は、例えば、操作部131を通じて受け付けるユーザーからの指示に応じて、動作させたり、動作を停止させたりすることもできるようにされている。
時計回路140は、カレンダ機能を備え、現在年月日、現在曜日、現在時刻を提供することができると共に、必要に応じて、所定の時間間隔を計測する時間カウンタの機能をも実現することができるものである。
この時計回路140の機能により、撮影された画像データに対して撮影日時や撮影曜日などの撮影日に関する情報を付加することができるようにしている。また、時計回路140の機能を利用して、所定の操作から一定時間経過後に自動的にシャッターをきって撮影できるようにするセルフタイマー撮影機能をも実現することができるようにしている。
時計回路140の機能を用いることにより、例えば、タッチパネル107に対して指等を接触させてからの経過時間を計測し、これを制御部120が参照することなどもできるようにしている。
そして、図1に示した撮像装置100において、レンズ部101は、図示しないが、撮像レンズ(対物レンズ)、露光調整機構、合焦調整機構、シャッター機構等を含み、被写体の画像を取り込み後段の撮像素子のセンサ面に結像させるようにする部分である。
撮像素子102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像センサ(撮像素子)からなるものである。撮像素子102は、レンズ部101を通じて自己のセンサ面に結像するようにされた画像を電気信号(画像信号)として取り込む。
この実施の形態の撮像装置100において、撮像素子102は、画素毎にR(赤)、G(緑)、B(青)のいずれかの信号を形成するようにする予め決められた色パターンの単板の色フィルタを備えたものである。
そして、撮像素子102を通じて取り込まれた画像信号は、後段の前処理部103に供給される。前処理部103は、CDS(Correlated Double Sampling:2重相関サンプリング)回路やAGC(Automatic Gain Control)回路やA/D(Analog/Digital)変換器などを含み、撮像素子102からの画像信号をデジタルデータとして取り込む部分である。
前処理部103を通じて取り込まれた画像信号(画像データ)は、画像処理部104に供給される。画像処理部104は、図示しないが検波回路、ホワイトバランス回路、デモザイク回路、解像度変換回路、その他の画像補正回路等を有するものである。
画像処理部104においては、まず、前処理回路103からの画像データに基づいて、露光(露出)調整のためのパラメータ、合焦(焦点)調整のためのパラメータ、ホワイトバランス調整のためのパラメータなど、種々の調整処理のためのパラメータを形成する。
画像処理部104において形成されたパラメータの内、露光(露出)調整のためのパラメータと合焦(焦点)調整のためのパラメータとは制御部120に供給される。制御部120は、画像処理部104からのパラメータに基づいて、レンズ部102の露光調整機構や合焦調整機構を制御し、露光や合焦のための調整を適切に行うことができるようにしている。
そして、画像処理部104においては、前処理部103からの画像データに対して、黒レベル合わせ処理や上述したように形成されるホワイトバランス調整のためのパラメータ基づくホワイトバランス調整処理を行う。これらの調整処理により、前処理部103からの画像データが形成する画像が適切な色合いになるように調整する。
この後、画像処理部104においては、適切な色合いになるように調整された画像データに対して、画素毎にRGBデータ(3原色データ)を生成するデモザイク処理(同時化処理)、アパーチャ補正処理、ガンマ(γ)補正処理等を行う。
さらに、画像処理部104においては、形成したRGBデータから輝度信号(Y)と色信号(Cb、Cr)を形成するY/C変換処理や、色収差補正処理、解像度変換処理などを行って、輝度信号Yおよび色信号Cb、Crを形成する。
画像処理部104で形成された画像データ(輝度信号Y、色信号Cb、Cr)は、表示処理部105に供給され、ここで表示部106に供給する形式の画像信号に変換されて表示部106に供給される。
これにより、表示部106の表示画面には、レンズ部101を通じて取り込んだ被写体の画像が表示され、ユーザーは、表示部106の表示画面に表示される被写体の画像を確認しながら、目的とする被写体の画像を撮影することができる。
同時に、画像処理部104で形成された輝度信号Y、色信号Cb、Crは、圧縮処理部109にも供給される。そして、動画撮影モード時において、操作部131の録画キー(RECキー)が操作されると、撮像装置100は、自機に連続的に取り込んでいる画像の画像データを記録媒体135に記録する処理を開始する。
すなわち、上述のように、レンズ部101、撮像素子102、前処理部103、画像処理部104を通じて連続的に取り込まれる画像の画像データが、圧縮処理部109に供給される。
また、静止画撮影モード時において、操作部131のシャッターキーが操作されると、その時点において、レンズ部101、撮像素子102、前処理部103、画像処理部104を通じて取り込まれていた1画面分の画像データが、圧縮処理部109に供給される。
圧縮処理部109は、これに供給された画像データについて、予め決められたデータ圧縮方式に従ってデータ圧縮し、データ圧縮後の画像データを、制御部120を通じて書き込み/読み出し部134に供給する。
なお、圧縮処理部109においては、動画であれば、MPEG(Moving picture Experts Group)4方式やH.264方式が、また、静止画であれば、JPEG(Joint Photographic Experts Group)方式などが用いられる。もちろん、これに限るものではなく、データ圧縮方式は種々のものを用いるようにすることが可能である。
そして、制御部120は、書き込み/読み出し部134を制御し、圧縮処理部109からのデータ圧縮された画像データをファイルとして記録媒体135に記録する。このようにして、撮像装置100においては、被写体の画像を撮影し、当該被写体の画像を形成する画像データを記録媒体135に記録することができるようにしている。
そして、記録媒体135に記録された画像データは、制御部120に制御される書き込み/読み出し部134によって読み出すことができるようにされる。記録媒体135から読み出された画像データは、制御部120を通じて伸張処理部110に供給される。
伸張処理部110は、これに供給された画像データを、データ圧縮時に用いたデータ圧縮方式にしたがって伸張処理し、データ圧縮前の画像データを復元して、これを表示画像形成部111に供給する。
表示画像形成部111は、伸張処理部110からの画像データを用いて、また、必要な場合には、制御部120から供給される種々の表示用データをも用いて、表示部106の表示画面に表示すべき画像の画像データを形成し、これを表示処理部105に供給する。
表示処理部105は、画像処理部104からの画像データを処理したときと同様に、表示画像形成部111からの画像データから、表示部106に供給する形式の画像信号に変換し、これを表示部106に供給する。
これにより、記録媒体135に記録されている画像データに応じた画像を、表示部106の表示画面に表示することができる。すなわち、記録媒体135に記録されている目的とする画像の画像データを再生することができる。
このように、この実施の形態の撮像装置100は、被写体の画像を撮影して、記録媒体135に記録することができるものである。また、撮像装置100は、記録媒体135に記録されている画像データを読み出して再生処理し、当該画像データに応じた画像を表示部106の表示画面に表示することもできるものである。
上述の構成を有する撮像装置100においては、以下に説明するように、撮影することにより記録媒体135に記録した画像ファイルにキーワードなどの検索キー(検索条件)の候補となる情報を付加することができるようにされている。
そして、詳しくは後述するが、この実施の形態の撮像装置100においては、撮影されて記録媒体135に記録された画像データ(画像ファイル)について、付加されているキーワードなどのメタデータに基づいて自動的にグループ化できるようにしている。
そして、グループ化した画像データをグループ単位にまとめてユーザーに対して提示し、複雑な操作を伴うことなく、グループ単位に画像データを確認したり、また、複数のグループに共通する画像データを検索したりすることができるようにしている。
[画像ファイル、画像グループの構成例]
図2は、撮像装置100の記録媒体135に記録される画像ファイルのレイアウト例を説明するための図である。図2に示すように、画像ファイルは、各画像ファイルを識別するための識別情報であるファイル名を有している。このファイル名は、例えば、撮影時において、制御部120により自動付与されるものである。
また、各画像ファイルには、キーワード、GPS情報、画像分析情報、カメラ情報、撮影日時などからなるメタデータが付加するようにされている。これらのメタデータは、画像データの検索キーに対応する情報として用いることができるものである。
ここで、キーワードは、ユーザーによって入力される主にテキストデータである。具体的にキーワードは、撮影を行った場所を示す地名、画像に写っている人の名前、撮影を行った場所で開かれていたイベント名など、当該画像の内容などを示す情報が複数個登録可能にされている。
なお、キーワードは、これを付加する画像ファイルの画像データに応じて画像が表示部106の表示画面に表示されている場合において、操作部131やタッチスクリーン108を通じて入力し、当該画像ファイルに付加することができるようにされている。
また、例えば、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子133及び外部I/F132を通じて撮像装置100に取り込み、記録媒体135に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置100に取り込んで、これを利用するようにすることもできる。
GPS情報は、撮影時において、上述したGPS受信部138を通じて取得した撮影時の位置を示す位置情報(経度、緯度の情報)であり、制御部120を通じて、画像ファイルに付加することができるようにされている。
画像分析情報は、特に静止画像データに適用して好適なものであり、当該画像ファイルの画像データを所定の方式で画像分析(画像解析)を行うことにより、画像分析結果を得て、これを各画像ファイルに格納するようにしたものである。この画像分析は、撮影後の適宜にタイミングにおいて、主に制御部120の機能により行われ、画像ファイルに付加するようにされている。
そして、画像分析情報は、例えば、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。
さらに言えば、当該画像分析情報は、当該画像分析の結果に基づいて、類似する人物(顔)が写っている画像を検索したり、類似する場所が写っている画像を検索したり、あるいは、色あいや複雑さの特徴が類似する画像を検索したりするなどのことができるものである。
また、当該画像分析情報は、画像分析の結果得られる情報であって、画像における人物の顔の面積、画像に写っている人物の数、画像に写っている人物の笑顔の度合い、画像全体の特徴を示す情報といった種々の分析情報をも含んでいる。
カメラ情報は、撮影時の絞りやシャッタースピードなどを示す情報である。このカメラ情報は、制御部120において管理されている情報であり、撮影が行われた場合に、制御部120によって画像ファイルに付加するようにされている。そして、当該カメラ情報により、どのようなカメラ条件の下で撮影された画像データであるかが把握できる。
撮影日時は、時計回路140を通じて撮影時において制御部120が取得し、画像ファイルに付加した日時情報であり、年月日及び時刻からなる情報である。これにより、各画像ファイルの画像データは、いつ撮影されたものかを正確に把握することができる。
そして、画像ファイルには、メインデータとして、撮影することにより得られた被写体の画像を形成する画像データが格納されている。このように形成される画像ファイルが、撮像装置100の記録媒体135に記録される。
そして、この実施の形態の撮像装置100においては、図2に示した態様で記録媒体135に記録された画像ファイルについて、制御部120は、付加されているキーワードなどのメタデータに基づいてグループ化することができるようにしている。
例えば、同じキーワードを有する画像ファイルのグループを形成したり、GPS情報に基づいて、同じ地域に属する画像ファイルのグループを形成したりすることができる。また、画像分析情報に基づいて、画像が類似する画像ファイルのグループや同じ人が写っている画像ファイルのグループを形成することもできる。
また、撮影日時に基づいて、現在日を基準日とし、過去1週間以内に撮影された画像ファイルのグループ、過去1ヶ月以内に撮影された画像ファイルのグループなどのように期間に応じたグループを形成したりすることができるようにしている。
図3は、撮像装置の100の例えば記録媒体135に、自動的に形成するようにされる画像グループのレイアウト例を説明するための図である。図3に示すように、画像グループは、各グループを識別するための識別情報であるグループ名を有している。このグループ名は、例えば、グループ分けの処理が実行され、グループが形成された場合に、制御部120により自動的に付与されるものである。
また、各画像グループは、当該画像グループのタイトル、作成日時、その他の種々のメタデータを有している。
タイトルは、その画像グループが、画像ファイルに付加されているどのような情報に基づいてグループ化されたものであるかを示す情報である。例えば、グループに用いられたキーワード、GPS情報、画像分析情報、期間を示す情報等がタイトルとして用いられる。
具体的には、後述もするが、例えば、地名である「お台場」というキーワードを有する画像ファイルを集めた画像グループについては、「お台場」というタイトルが用いられるようにされる。また、現在日を基準として過去1週間以内に撮影された画像ファイルを集めた画像グループについては、「1週間」というタイトルが用いられるようにされる。
また、GPS情報に基づいて画像ファイルを集めた画像グループについては、そのGPS情報により特定される地域の地域名や中心となるGPS情報そのものなどが、タイトルとして用いられるようにされる。また、画像情報に基づいて画像ファイルを集めた画像グループについては、例えば、「類似画像1」、「類似画像2」といった包括名称などがタイトルとして用いられる。
作成日時は、当該画像グループを作成した日時を示す情報であり、画像グループの作成時において、制御部120が時計回路140から取得する情報である。
この他、メタデータとして、当該画像グループに属する画像ファイルの数などの撮像装置100において自動的に付与可能な情報や、ユーザーによって入力される注釈情報(文字情報)等を付加することも可能である。
そして、画像グループには、当該グループに属する(グループ化された)画像ファイルのそれぞれの、ファイル名、記録媒体上のアドレス、撮影日時が格納されている。また、図3には図示しなかったが、例えば、画像ファイル毎に、動画像か静止画像かの区別を示す情報等も付加するようにされる。
これにより、画像ファイルがグループ化されて形成された各画像グループには、いつ撮影された、どの画像ファイルが格納されており、それらの画像ファイルは、記録媒体上のどこに格納されているかを把握することができるようにされる。
このように、この実施の形態の撮像装置100においては、画像の撮影を行うと、撮影することにより得られた画像データは、図2に示した態様で、画像ファイルとして記録媒体135に記録される。
そして、記録媒体135に蓄積された画像ファイルについて、グループ分け処理を実行することによって、図3に示した態様で画像グループを管理するためのデータを構成することができる。
なお、キーワードとして複数のキーワードが付加されている画像ファイルについては、複数の画像グループに属す場合がある。同様に、過去1週間以内に撮影された画像の画像ファイルは、過去1週間以内に撮影された画像のグループだけでなく、過去1ヶ月以内に撮影された画像のグループなどにも属する。このように、この実施の形態の撮像装置100においては、1つの画像ファイルが、複数の画像グループに属するようにされる場合もあるようにされている。
なお、グループ分け処理は、例えば、撮影終了後や再生モードに切り替えられた直後などの予め決められたタイミングで自動的に行うようにすることができる。もちろん、ユーザーが指定する適宜のタイミングで、全画像ファイルを処理対象としてグループ分けを行うこともできるようにされる。
また、1度グループ分け処理が行われた後においては、例えば、「過去1週間以内」、「過去1ヶ月以内」といった現時点を基準とした所定期間内に撮影された画像の画像グループについては所定のタイミングで作り直すようにする。
それ以外の画像グループについては、新たな画像の撮影が行われた場合に、その新たな画像ファイルについてのみ、グループ分け処理を行うようにしてもよい。このようにした場合には、繰り返し行うグループ分け処理を迅速に終了させるようにすることができ、撮像装置100の負荷を軽減することができる。
なお、上述したように、画像ファイルのグループ分け処理は、画像ファイルのメタデータであるキーワード、GPS情報、画像分析情報、撮影日時に基づいて行うことができる。このため、例えば、地名などの情報に変換することなく、GPS情報(位置情報)を用いてグループ分けを行うようにするなど、画像ファイルの個々のメタデータを用いて行うことが可能である。
しかし、以下においては説明を簡単にするため、画像ファイルのグループ分け処理は、キーワードと撮影日時とに基づいて行うようにした場合を例にして説明する。すなわち、撮像装置100において、撮影することにより得た画像ファイルには、キーワード情報として、撮影された人の名前、撮影した場所の名称や地名が付加されているものとする。
そして、制御部120は、各画像ファイルのキーワード情報を参照し、同じキーワード、すなわち、同じ名前を有する画像ファイルを1つのグループとしてグループ化し、また、同じ場所の名称や地名を有する画像ファイルを1つのグループとしてグループ化する。
また、制御部120は、各画像ファイルの撮影日時を参照し、現在(現時点)を基準として、過去1週間以内に撮影された画像ファイルのグループ、過去1ヶ月以内に撮影された画像ファイルのグループのように、撮影日時に基づくグループ化をも行う。
このように、この実施の形態においては、画像ファイルのキーワードの人の名前(人に関する情報)と、画像ファイルのキーワードの場所の名称や地名(場所に関する情報)、画像ファイルの撮影日時(時間に関する情報)をグループ分けの基準として用いてグループ分けを行うようにしている。
[画像グループの表示態様と画像グループの利用方法]
次に、この実施の形態の撮像装置100において行われる、記録媒体135に記録した画像データ(画像ファイル)の閲覧・利用方法(ブラウジング方法)について具体的に説明する。以下においては、撮像装置100の記録媒体135に多数の動画像ファイルが既に記録されており、それらがグループ分けされて複数の画像グループが形成されている場合を例にして説明する。
[再生モード時の初期画面]
この実施の形態の撮像装置100は、動画像の撮影モード、静止画像の撮影モード、パラメータの設定等を行う設定モード(メンテナンスモード)、記録媒体135に蓄積されている画像ファイルの再生モード等の各種のモードを備えている。これらの各種のモードへは、操作部131を通じて切り換えることができるようにされている。
そして、この実施の形態の撮像装置100において、例えば、電源オンの状態にあるときに、操作部131のモード切り換えスイッチを通じて再生モードに切り換えると、再生モード時の初期画面が表示される。
また、撮像装置100においては、操作部131のモード切り換えスイッチが再生モードを選択された状態にあるときに、電源をオンにした場合にも、再生モードとして動作し、再生モード時の初期画面を表示する。
図4は、記録されている画像ファイルの再生を可能にする再生モード時の初期画面(アプリケーションメイン画面)の一例を説明するための図である。図4に示したように形成される再生モード時の初期画面は、上述もしたように、例えば、記録媒体135に図3に示したように形成される画像グループの情報に基づいて形成される。
すなわち、撮像装置100においては、上述もしたように、撮影されて記録媒体135に記録された画像ファイル(画像データ)については、所定のタイミングでグループ分け処理が実行される。これにより、例えば、記録媒体135には、図3を用いて説明したように、各画像ファイルが属する画像グループを管理するための情報が形成される。
撮像装置100においては、上述もしたように、画像ファイルに付加されているメタデータであるキーワードと撮影日時とに基づいてグループ分け処理が行われる。記録媒体135に記録された画像ファイルに付加されるキーワードとしては、上述もしたように、通常、撮影された人の名前や撮影した場所の地名などが用いられる。
したがって、この実施の形態の撮像装置100においては、キーワード情報として付加されている人(撮影された人の名前)、場所(撮影を行った場所の地名)、及び時間情報としての撮影日時に基づいて、画像ファイルのグループ分け処理が行われている。
具体的に、撮像装置100においては、多数の動画像ファイルが記録媒体135に記録されており、それらが、図4に示すように、「人」、「場所」、「時間」に基づいて、9つの画像グループにグループ化されている。
すなわち、撮像装置100では、キーワードの「人の名前」に基づいて、「リンダ」という人物が写っている画像のグループと、「トム」という人物が写っている画像のグループと、「メアリー」という人物が写っている画像の画像グループとが形成されている。
また、撮像装置100では、キーワードの「場所の地名」に基づいて、「お台場」で撮影された画像のグループと、「品川海浜公園」で撮影された画像のグループと、「横浜」で撮影された画像のグループとが形成されている。
また、撮像装置100では、「撮影日時」に基づいて、過去「1週間」以内に撮影された画像のグループと、過去「1ヶ月」以内に撮影された画像のグループと、過去「3ヶ月」以内に撮影された画像のグループとが形成されている。
そして、図4においては、表示用オブジェクトOb1が、「お台場」で撮影された画像のグループに対応している。また、表示用オブジェクトOb2が、「リンダ」という人物が写っている画像のグループに対応している。また、表示用オブジェクトOb3が、「トム」という人物が写っている画像のグループに対応している。
また、図4においては、表示用オブジェクトOb4が、過去「1週間」以内に撮影された画像のグループに対応している。また、表示用オブジェクトOb5が、「品川海浜公園」で撮影された画像のグループに対応している。また、表示用オブジェクトOb6が、過去「3ヶ月」以内に撮影された画像のグループに対応している。
また、図4においては、表示用オブジェクトOb7が、「横浜」で撮影された画像のグループに対応している。また、表示用オブジェクトOb8が、過去「1ヶ月」以内に撮影された画像のグループに対応している。また、表示用オブジェクトOb9が、「メアリー」という人物が写っている画像の画像グループに対応している。
このように、図4に示した再生モード時の初期画面において、表示用オブジェクトOb1〜Ob9のそれぞれは、「人」、「場所」、「時間」といった要素でグループ化され、同じ要素(属性)を有する複数の動画像ファイルのまとまりである画像グループを表している。
そして、図4に示した再生モード時の初期画面を通じて、記録媒体135に記録されている多数の動画像ファイルを再生可能な動画像ファイルとして扱うことができるようにしている。
図5は、各画像グループに割り当てられ、表示画面上において各画像グループを表す表示用オブジェクトObの構成について説明するための図である。図5に示すように、表示用オブジェクトObは、画像表示エリアAr1と、タイトル表示エリアAr2とからなっている。
画像表示エリアAr1には、当該表示用オブジェクトObに対応する画像グループに属する画像ファイルのそれぞれについて、それらの画像ファイルの画像データが形成する画像を表示するためのエリアである。
上述もしたように、この実施の形態の撮像装置100においては、記録媒体135に記録された多数の動画像ファイルを再生の対象としている。このため、画像表示エリアAr1には、表示用オブジェクトObに対応する画像グループに属する動画像ファイルの画像データによる動画像を端折って再生するようにしている。
ここで、動画像の端折った再生は、当該画像グループに属する画像ファイルの一部を順番に再生することによって、当該画像グループに属する動画像ファイルのそれぞれを認識できるように表示するものである。
具体的には、当該画像グループに属する動画像ファイルのそれぞれについて、所定の位置から一定時間分を順番に再生する。この場合、各動画像ファイルの再生開始位置となる所定の位置は、動画像ファイルの先頭、先頭から所定時間分経過した位置などの予め決められた位置とすることができる。
あるいは、画像データを解析することにより分る画像の動きが激しくなる位置、当該動画像と同期を取って再生すべき音声データを解析することにより分る盛り上がる部分の開始位置などとすることも可能である。
また、再生範囲の終点位置も、再生開始位置から予め決められた時間分経過した位置としたり、画像データを解析することによりわかるシーンチェンジ点までとしたりするなどのことが可能である。
また、画像グループに属する動画像ファイルの数に応じて、各動画像ファイルの画像データによる動画の再生時間を決めるようにしてもよい。また、画像グループに属する動画像ファイル毎のデータ量に応じて、画像ファイル毎に再生時間を異なるようにすることも可能である。
また、表示用オブジェクトObのタイトルエリアAr2には、図3に示した画像グループにおけるタイトルが表示される。すなわち、表示用オブジェクトObが示す画像グループに属する画像ファイルに共通するキーワードや区切られた期間を示す情報が表示される。
また、図4に示したように、各表示用オブジェクトOb1〜Ob9のそれぞれの大きさは異なっている。各表示用オブジェクトOb1〜Ob9の大きさは、各表示用オブジェクトが表す画像グループに属する画像ファイルの数に対応している。
すなわち、属する画像ファイルの数が多い画像グループの表示用オブジェクトほど、その直径は大きくなるようにしている。したがって、表示用オブジェクトObの大きさに応じて、画像グループにまとめられている画像ファイルの数を把握し、例えば、全画像ファイルの確認にかかる時間を予測するなど、その後の処理の参考とすることができる。
なお、ここでは、画像グループに属する画像ファイルの数に応じて対応する表示用オブジェクトの大きさを変えるようにしたが、これに限るものではない。例えば、データ量に応じて表示用オブジェクトの大きさを変えるようにしてもよい。
例えば、画像グループに属する画像ファイルが1つだけの場合であっても、比較的に長時間にわたって撮影した動画像ファイルの場合などにおいては、対応する表示用オブジェクトObの大きさを大きくする。これにより、画像グループ属する画像ファイルの画像データの量をおおまかに把握し、例えば、実際の再生時間を予測するなど、その後の処理の参考とすることができる。
そして、上述したように、この実施の形態の撮像装置100においては、記録媒体135に記録されている画像ファイルについて、同じキーワードを有する画像ファイルは同じ画像グループに属するようにグループ化するようにしている。
また、この実施の形態の撮像装置100においては、現在日を基準にして、過去1週間以内に撮影された画像のグループと、過去1ヶ月以内に撮影された画像のグループと、過去3ヶ月以内に撮影された画像のグループとにグループ化している。
これらのことを詳しく言えば、「人」に基づく画像グループは、現時点から過去に遡り出会った(映像として撮影された)人が写っている映像シーンのまとまりということができる。
また、「場所」に基づく画像グループは、現在の時点から過去の遡り、自分が赴いた(映像として撮影した)場所で撮影した映像のシーン、または、現在自分がいる場所で撮影した映像のシーンのまとまりということができる。
また、「時間」に基づく画像グループは、今日、過去1週間、過去1ヶ月、過去3ヶ月、過去半年、過去1年といった今を起点として、過去に遡り、ある期間に撮影した映像のシーンのまとまりということができる。
したがって、図4において、表示用オブジェクトOb1は、過去において「お台場」で撮影した全ての動画像ファイルを求めたものを意味し、表示用オブジェクトOb1の画像表示エリアAr1には、「お台場」で撮影された動画像ファイルのそれぞれの動画像の一部分が順番に再生するようにされているのである。
そして、図4に示した態様の表示は、制御部120が、図3に示したように形成される画像グループの情報に基づいて、書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105を制御して行うようにしている。
制御部120は、図3に示したように形成される各画像グループの情報に基づいて、各画像グループに応じた表示用オブジェクトを表示するために必要な情報を表示画像形成部111に供給する。表示画像形成部111は、これに供給された情報に基づいて、各画像グループに割り当てる(対応する)表示用オブジェクトを形成する。この場合、制御部120からの各画像グループに属する画像ファイルの数に応じて、各画像グループに割り当てる表示用オブジェクトの大きさが決められる。
この時、各表示用オブジェクトの画像表示エリアAr1に動画像を表示するため、制御部120は、各画像グループの情報に基づいて、書き込み/読み出し部134を制御して、各画像グループに属する動画像ファイルから必要な分の動画像データを読み出す。
書き込み/読み出し部によって読み出された動画像データは、制御部120を通じて伸張処理部110に供給され、ここで伸張処理された後に、表示画像形成部111に供給される。
表示画像形成部111は、これに供給された動画像データを、制御部120の制御に応じて、対応する表示用オブジェクトの画像表示エリアAr1の大きさや形状に応じて、動画像の大きさや形状を調整する。そして、表示画像形成部111は、調整した動画像データを対応する表示用オブジェクトの画像表示エリアAr1に当てはめるようにする。
このようにして、表示画像形成部111において、各画像グループに対して、表示用オブジェクトを割り当てるようにして形成し、表示画面の所定の位置に配置し、表示用の画像データを形成する。
この後、表示画像形成部111は、形成した画像データを、表示処理部105に供給する。表示処理部105は、これに供給された画像データから表示部106に供給する画像信号を形成し、これを表示部106に供給する。
これにより、表示部106の表示画面106Gには、図4に示した態様で、各画像グループに対応する表示用オブジェクトが表示された画像が表示される。なお、各表示用オブジェクトの画像表示エリアAr1に表示する画像の動画像データは、調整されたものが例えば表示画像形成部111内のメモリーなどに一時記憶され、表示画像形成部111において繰り返し利用することができるようにされる。
そして、図4に示した表示状態にあるときに、タッチパネルの目的とする表示用オブジェクトが表示されている位置をタップし、その目的とする表示用オブジェクトを選択するようにすると、動画再生の画面に遷移する。
当該動画再生の画面は、選択された表示用オブジェクトに対応する画像グループに属する動画ファイルの動画像のダイジェスト再生画像を、表示画面の全面に表示するものである。
すなわち、制御部120は、選択された表示用オブジェクトに対応する画像グループに属する画像ファイルのそれぞれから必要な分の動画像データを順次に読み出して、これを伸張処理部110に供給する。
伸張処理部110はこれに供給された動画像データを伸張処理し、伸張処理後の動画像データを表示画像形成部111に供給する。表示画像形成部111は、伸張処理後の動画像データから表示処理部105に供給する画像データを形成し、これを表示処理部105に供給する。
そして、表示処理部105は、上述もしたように、これに供給された動画像データから表示部106に供給する画像信号を形成し、これを表示部106に供給する。これにより、表示部106の表示画面108Gには、上述したようにして選択された画像グループに属する動画像ファイルの動画像のそれぞれが、一定の時間分ずつ順次に再生するようにされて、ダイジェスト再生が行うようにされる。
なお、選択された画像グループに属する動画像ファイルの動画像のダイジェスト再生の場合にも、動画像の再生は、所定の位置から一定時間分を順番に再生することが行われる。この場合、各動画像ファイルの再生開始位置となる所定の位置は、動画像ファイルの先頭、所定時間分経過した位置など予め決められた位置とすることができる。
あるいは、画像データを解析することにより分る画像の動きが激しくなる位置、当該動画像と同期を取って再生すべき音声データを解析することにより分る盛り上がる部分の開始位置などとすることも可能である。
また、再生範囲の終点位置も、再生開始位置から予め決められた時間分経過した位置としたり、画像データを解析することによりわかるシーンチェンジ点までとしたりするなどのことが可能である。
また、画像グループに属する動画像ファイルの数に応じて、各動画像ファイルの画像データによる動画の再生時間を決めるようにしてもよい。また、画像グループに属する動画像ファイル毎のデータ量に応じて、動画像ファイル毎に再生時間を異なるようにすることも可能である。
これにより、選択した画像グループ内に、どのような動画像ファイルが属しているのかを確実に知ることができ、目的とする画像ファイルを見つけ出して、これを再生させるようにすることが可能となる。
なお、目的とする画像ファイルの単独の再生は、例えば、目的とする画像ファイルのダイジェスト再生時に、タッチパネル107に対してタップ操作を行うようにするなどの所定の操作を行うことによってできるようにされる。
[1画像グループ内における画像ファイルの検索]
上述したように、図4に示した再生モード時の初期画面において、目的とする表示用オブジェクトに対してタップ操作を行うと、その表示用オブジェクトに対応する画像グループに属する画像ファイルのダイジェスト再生を行うことができる。
これに対して、目的とする表示用オブジェクトに対応する画像グループ内において、目的とする動画像ファイルを検索し、目的とする動画像データを再生するようにしたい場合もある。このため、図4に示した再生モード時の初期画面において、目的とする表示用オブジェクトの表示位置上のタッチパネルに指等を接触させたまま一定時間が経過すると、その選択された画像グループ内の画像ファイルの検索画面に遷移するようになっている。
図6は、画像グループ内の画像ファイルの検索画面の一例を説明するための図である。図4に示した再生モード時の初期画面において、表示用オブジェクトOb8の表示位置上のタッチパネル107に対してユーザーの指等が接触され、その状態が一定時間継続したとする。
制御部120は、その状態を、把握している各表示用オブジェクトの表示画面上の表示位置と、タッチパネル107から順次に供給される座標データと、時計回路140により計測できる時間とに基づいて検出する。
制御部120は、表示用オブジェクトOb8の表示位置上のタッチパネル107に対してユーザーの指等が接触され、その状態が一定時間継続したことを検出した場合、図6に示した画像グループ内の画像ファイルの検索画面の表示処理を行う。
この場合、制御部120は、記録媒体135に形成されている表示用オブジェクトOb8に対応する画像グループの情報に基づいて、書き込み/読み出し部134を制御し、その画像グループに属する動画像ファイルの先頭部分の画像データを読み出す。
そして、制御部120は、読み出した動画像データを伸張処理部110に供給する。伸張処理部110は、これに供給された動画像データを伸張処理して、処理後の動画像データを表示画像形成部111に供給する。
制御部120は、表示画像形成部111を制御し、既に用意されている表示用オブジェクトOb8を形成するための情報と、伸張処理部110から供給された動画像データとを用い、図6に示した画像グループ内の画像ファイルの検索画面を形成する。
すなわち、ユーザーによって選択された表示用オブジェクトOb8の周囲に、当該画像グループに属する動画像ファイルのサムネイル画像を形成し、これを表示用オブジェクトOb81〜OB87として螺旋状に配置する。
この場合、制御部120は、表示部106に対し設けられた押圧センサ109によって検出されるユーザーによって表示画面に対して加えられる押圧力に応じて、表示する画像ファイルのサムネイルの数を制御する。すなわち、表示部106の表示画面に対して、力が加えられるほど、選択された画像グループに属する多くの動画像ファイルのサムネイル画像を表示するようにする。
これにより、ユーザーは、表示用オブジェクトOb8の周囲に表示される動画像ファイルに対応するサムネイルの数を調整しながら、目的とする動画像ファイルに対応するサムネイル画像を検索することができるようにされる。
そして、画像グループについての情報において、画像グループに属する動画像ファイルを撮影日の新しい順に並べて管理しておくようにすれば、表示画面をより強く押した場合に、より撮影日の古い動画像ファイルのサムネイル画像を表示することができる。
なお、図6に示した画像グループ内の画像ファイルの検索画面においては、当該画像グループの7つの動画像ファイルのサムネイル画像が表示された状態を示している。そして、さらに、表示画面106Gに対する押圧力を強くすると、当該画像グループにより多くの動画像ファイルが存在している場合には、点線の丸印で示したように、より多くの動画像ファイルのサムネイル画像を表示することができうるようにされる。
このようにして、目的とする画像グループに属する動画像ファイルの検索を行うようにし、例えば、表示用オブジェクトOb8に接触させるようにしていた指等を離すと、検索結果のリスト表示に遷移する。
なお、ここでは、表示画面Gに対する押圧力をも考慮するようにしたが、これに限るものではない。例えば、押圧力の変化の検出に代えて、あるいは、押圧力の変化の検出と共に、ユーザーが表示画面Gに指等を接触させている接触時間を考慮するようにしてもよい。ユーザーの指等の表示画面Gに対する接触時間は、タッチパネル107からの検出出力の供給継続時間を、時計回路140により計測することにより計測可能である。
図7は、図6に続いて表示される検索結果のリスト表示の一例を説明するための図である。図7に示した検索結果のリスト表示においては、表示画面106Gの左側の中央に、検索対象となった画像グループについての表示用オブジェクトOb8が表示され、表示画面106Gの右側に、当該画像グループに属する動画像ファイルのサムネイル画像が表示される。
この場合、図6に示した検索画面において表示するようにされていた動画像ファイルのサムネイル画像のうち、その中央に位置することになる動画像ファイルのサムネイル画像が、図7に示したように、表示画面の上下方向の中央部分に位置するようにされる。
すなわち、図6に示した検索画面では、7つの動画像ファイルのサムネイル画像Ob81〜Ob87が表示された状態にある。このため、図7に示した検索結果のリスト表示においては、サムネイル画像Ob83を、表示画面の上下方向の中央部分に位置するようにして表示するようにしている。
このようにして、図7に示した検索結果のリスト表示が行われる。なお、図7に示した検索結果のリスト表示においては、動画像ファイルに対応するサムネイル画像を、表示画面の上下方向にスクロールさせることができるようにされる。
これにより、図6に示した検索画面において表示された動画像ファイルのサムネイル画像だけでなく、当該画像グループに属する全ての動画像ファイルのサムネイル画像を表示してみることができるようにされる。
なお、当該表示態様(パターン)は一例であり、例えば、古いものから上詰めで、古いものから下詰めで、新しいものから上詰めで、新しいものから下詰めでなどの種々の表示態様で表示することも可能である。
そして、図7に示した検索結果のリスト表示において、目的とする動画像ファイルのサムネイル画像に対してタップ操作を行うようにすると、その動画像ファイルの動画像が再生される。
すなわち、制御部120は、表示画面のどの部分に、どの動画像ファイルに対応するサムネイルを表示しているのかを把握している。このため、タップ操作により選択されたサムネイル画像を特定し、そのサムネイル画像に対応する動画像ファイルを特定して、これを再生することができる。
なお、選択された動画像ファイルの再生は、上述もしたように、制御部120が、書き込み/読み出し部134、伸張処理部111、表示画像形成部111、表示処理部105を通じて行われる。
なお、図7に示した検索結果のリスト表示は、図6に示した画像グループ内の画像ファイルの検索画面の表示で用いるようにしたデータを用いて形成することができるので、新たな画像データの読み出し等の処理を行う必要は無い。
また、図6、図7に示した表示において、表示用オブジェクトOb8の表示は、図4に示した場合と同様に、画像表示エリアAr1には、対応する画像グループに属する動画像ファイルの動画像のダイジェスト再生を行うようにすることができる。
また、図7に示した検索結果のリスト表示において、左上端部の「BACK」アイコンを選択することにより、図4に示した再生モード時の初期画面に戻ることができるようにされる。
なお、図6、図7に示した例においては、表示用オブジェクトOb8の周囲に動画像ファイルのサムネイル画像を表示するようにしたが、サムネイル画像は、静止画像でもよいし、一定時間分の動画像を再生するようにしてもよい。
また、ここでは、画像グループに属する動画像ファイルを撮影日の新しい順に並べて管理しておくことにより、表示画面をより強く押した場合に、より撮影日の古い動画像ファイルのサムネイル画像を表示できることを説明した。しかし、これに限るものではない。
逆に、画像グループに属する動画像ファイルを撮影日の古い順に並べて管理しておくことにより、表示画面をより強く押した場合に、より撮影日の新しい動画像ファイルのサムネイル画像を表示するようにすることもできる。
また、グループ化して形成した各画像グループにおいて、例えば、キーワードに含まれる場所の名称や地名について撮影頻度を求め、その撮影頻度に応じて画像ファイルを並べて管理しておくようにする。
この場合には、場所をベースに、自分が保持する画像を撮影した場所の撮影頻度の高い順あるいは低い順にサムネイル画像を呼び出し、表示画面をより強く押した場合に、より撮影頻度が低い場所、あるいは、より撮影頻度が高い場所で撮影された動画ファイルに対応するサムネイルを表示することができる。
また、グループ化して形成した画像グループにおいて、例えば、キーワードに含まれる人の名前について出現頻度を求め、その出現頻度に応じて画像ファイルを並べて管理しておくようにする。
この場合には、人をベースに、自分が保持する画像に写っている頻度の高い人の順あるいは低い人の順にサムネイル画像を呼び出し、表示画面をより強く押した場合に、より写っている頻度が低い人、あるいは、より写っている度が高い人の動画ファイルに対応するサムネイルを表示することができる。
また、GPS情報を用いることにより、現在位置を基準にして、現在位置により近い場所で撮影された動画像ファイルのサムネイルを先に表示するようにしたり、その逆に、現在位置からより遠い場所で撮影された動画像ファイルのサムネイルを先に表示するようにしたりすることもできる。
また、動画像ファイルの画像解析情報に基づいて、人物がより多く写っている動画像ファイルのサムネイル画像を先に出したり、逆に、人物がより少ない動画像ファイルのサムネイル画像を先に出したりするなどのことが可能である。
このように、押圧力に応じて表示する動画像ファイルに対応するサムネイル画像の表示順は、動画像ファイルに付加されているキーワード、撮影日時、GPS情報、画像解析情報に基づいて、適宜の順番とすることができる。
[複数グループを対象とした画像ファイルのAND検索]
図6、図7を用いて説明した例は、1つの画像グループ内において画像ファイルの検索を行うようにした。しかし、複数の画像グループに共通に属する画像ファイルの検索、すなわち、AND検索を行うようにしたい場合もある。
そこで、この実施の形態の撮像装置100においては、複数グループを対象とした画像ファイルのAND検索を行うこともできるようにしている。
まず、複数グループを対象とした画像ファイルのAND検索の概要について説明する。例えば、図4に示したように、再生モード時の初期画面が表示されている場合において、ある表示用オブジェクトの表示位置上のタッチパネル107に指等を接触させたとする。
この場合に、当該選択された表示用オブジェクトと関連のない他の表示用オブジェクトを表示から消去する。つまり、選択された表示用オブジェクトに対応する画像グループを形成している基準(人の名前、場所の地名、撮影日時)と共通する情報を有していない画像ファイルしかない画像グループの表示用オブジェクトは消去する。
例えば、図4に示したように、再生モード時の初期画面が表示されているとする。そして、3週間前に、お台場に、メアリーとリンダとが行って動画の撮影を行い、その映像以外にお台場で撮影した映像(動画像ファイル)は存在していないという状況を想定する。
この場合に、図4に示した再生モード時の初期画面において、「お台場」というタイトルの表示用オブジェクトOb1に対して指などを接触させたとする。この場合には、「トム」という表示タイトルの表示用オブジェクトOb3と、「一週間」というタイトルの表示用オブジェクトOb4と、「品川海浜公園」という表示タイトルの表示用オブジェクトOb5と、「横浜」というタイトルの表示用オブジェクトOb7とは消去される。
したがって、この場合には、「お台場」というタイトルの表示用オブジェクトOb1に対して、4つの表示用オブジェクトが残る。つまり、「リンダ」という表示タイトルの表示用オブジェクトOb2と、「3ヶ月」というタイトルの表示用オブジェクトOb6と、「1ヶ月」という表示タイトルの表示用オブジェクトOb8と、「メアリー」というタイトルの表示用オブジェクトOb9である。
したがって、残った表示用オブジェクトから、お台場には、1ヶ月以内に、リンダとメアリーと一緒に行っているということが表現されていることになる。逆に言えば、1週間以内にはお台場に入っていない。トムとはお台場に行っていない。お台場は、品川海浜公園とも横浜とも異なる。といったことを暗に意味する。
このようにすることによって、最初にユーザーが選択した表示用オブジェクトに対応する画像グループが、他のどの画像グループとの間でAND検索ができるかをユーザーに対して明確に示すことができるようにされる。
そして、残った表示用オブジェクトの中から、さらに別の1つの表示用オブジェクトを選択したとする。この場合には、新たに選択された表示用オブジェクトに対応する画像グループを形成している基準(人の名前、場所の地名、撮影日時)と共通する情報を有していない画像ファイルしかない画像グループの表示用オブジェクトは消去する。
このようにして、AND検索の範囲を絞り込んで行くことができるようにされる。そして、このようにして選択するようにした表示用オブジェクトを接合するように操作すると、それらの画像グループを対象としてAND検索を行うことができるようにされる。
以下に、複数グループを対象とした画像ファイルのAND検索の具体例にについて説明する。図8〜図11は、複数グループを対象とした画像ファイルのAND検索の具体例にについて説明するための図である。
図4に示した再生モード時の初期画面において、「メアリー」というタイトルの表示用オブジェクトOb9の表示位置上のタッチパネル107に対して指等を接触させたとする。この場合、制御部120は、図3に示したように構成される各画像グループの情報に基づいて、各画像グループに属する画像ファイルのキーワードを参照し、「メアリー」というキーワードを有する画像ファイルが属する画像グループを特定する。
そして、制御部120は、表示画像形成部111を制御して、「メアリー」というキーワードを有する画像ファイルが属する画像グループ以外の画像グループの表示用オブジェクトを消去するようにする。
これにより、この例の場合には、図8に示すように、キーワードに「メアリー」という文言を有する画像ファイルが含まれる画像グループとして、3つの画像グループがあることが示される。
つまり、「お台場」というタイトルの表示用オブジェクトOb1、「リンダ」というタイトルの表示用オブジェクトOb2、「3ヶ月」というタイトルの表示用オブジェクトOb6のそれぞれに対応する画像グループである。
そして、図8に示した状態にあるときに、各表示用オブジェクトの画像表示エリアAr1には、「メアリー」というタイトルの表示用オブジェクトOb9に関連する動画像ファイルの動画像のダイジェスト再生が行われる。
すなわち、表示用オブジェクトOb1、Ob2、Ob6のそれぞれの画像表示エリアAr1には、「メアリー」というキーワードを有する動画像ファイルのダイジェスト再生が行うようにされる。
この場合の処理も、表示のために必要な画像データ等は、上述したように、表示画像形成部111に既に用意されている。このため、制御部120は、表示画像形成部111を制御することによって、「メアリー」というキーワードを有する動画像ファイルだけのダイジェスト再生を行うようにすることができる。
そして、図8に示した状態にあるときに、ユーザーが、さらに、表示用オブジェクトOb6の表示位置上のタッチパネル107に対して指等を接触させたとする。
この場合、制御部120は、図3に示したように構成される各画像グループの情報に基づいて、画像グループに属する画像ファイルの撮影日時を参照し、現時点を基準にして3ヶ月以内に撮影された動画像ファイルを有する画像グループを特定する。
そして、その特定した画像グループに対する表示用オブジェクト以外の表示用オブジェクトを消去する。換言すれば、その特定した画像グループに対する表示用オブジェクトだけを表示するようにする。
これにより、この例の場合には、図9に示すように、現時点を基準にして3ヶ月以内に撮影された動画像ファイルを有する画像グループは、2つのグループしかないことが示される。
つまり、「3ヶ月」というタイトルの表示用オブジェクトOb6、「メアリー」というタイトルの表示用オブジェクトOb9の2つだけである。従って、この例の場合、「お台場」というタイトルの表示用オブジェクトOb1、「リンダ」というタイトルの表示用オブジェクトOb2には、過去3ヶ月以内に撮影された画像ファイルは存在せず、それよりも過去に撮影された画像ファイルしか存在していないことになる。
そして、図9に示した状態にあるときにも、表示用オブジェクトOb6の画像表示エリアAr1には、「メアリー」というタイトルの表示用オブジェクトOb9に関連する動画像ファイルの動画像のダイジェスト再生が行われる。
また、図9に示した状態にあるときは、表示用オブジェクトOb9の画像表示エリアAr1には、過去3ヶ月以内に撮影された画像ファイルのダイジェスト再生が行うようにされる。
そして、図9に示した状態にあるときに、実際にAND検索を行う場合には、表示用オブジェクトOb6に接触させるようにしている指等と、表示用オブジェクトOb9に接触させるようにしている指等とをそのままドラッグ操作するようにする。
そして、図10に示すように、表示用オブジェクトOb6と表示用オブジェクトOb9とを接触させることにより、両表示用オブジェクトを接合させる。制御部120は、各表示用オブジェクトの大きさや表示位置を管理していると共に、タッチパネル107上の指等の接触位置は、タッチパネル107からの座標データに基づいて正確に把握している。
したがって、これらの情報に基づいて、表示画像形成部111を制御し、表示用オブジェクトOb6、表示用オブジェクトOb9の表示位置を、ドラッグ操作に応じて移動させて、図10に示したように両表示用オブジェクトを接合させるようにすることができる。
そして、表示用オブジェクトOb6と表示用オブジェクトOb9とが接合した場合には、これをユーザーに対して明確に通知するため、接合部分に例えば黒丸で示される接合済み表示D1が表示するようにされる。この表示も、制御部120が表示画像形成部111を制御することにより行うことができる。
そして、表示用オブジェクトOb6と表示用オブジェクトOb9とが接合されると、制御部120は、表示用オブジェクトOb6に対応する画像グループと、表示用オブジェクトOb9に対応する画像グループとに共通に含まれる動画像ファイルを特定する。
すなわち、制御部120は、表示用オブジェクトOb6に対応する画像グループの情報と、表示用オブジェクトOb9に対応する画像グループの情報とをマッチングすることにより、共通に含まれる画像ファイルを特定する。
そして、図6を用いて説明した画像グループ内の画像ファイルの検索画面の場合と同様にして、両画像グループに含まれる動画像ファイルに対応するサムネイル画像を形成し、これを図10においてサムネイルA1〜A3として示したように表示する。
なお、この例の場合にも、両画像グループに含まれる動画像ファイルの数が多い場合には、表示用オブジェクトを指示しているユーザーの指等による押圧力に応じて、表示するサムネイル画像の数を制御するようにすることができる。
この場合の表示順は、図6を用いて説明した場合と同様に、動画像ファイルの撮影日時順、撮影場所についての撮影頻度順、人についての撮影頻度順、GPS情報を用いた現在位置を基準にした撮影場所の近い順/遠い順、画像解析情報を用いた、写っている人の数順などとすることができる。
つまり、押圧力に応じて表示する動画像ファイルに対応するサムネイル画像の表示順は、動画像ファイルに付加されているキーワード、撮影日時、GPS情報、画像解析情報に基づいて、適宜の順番とすることができる。
また、図10に示した状態にあるときに、表示用オブジェクトOb6に接触させるようにしている指等と、表示用オブジェクトOb6に接触させるようにしている指等とを再度ドラッグ操作して、両表示用オブジェクトを離して接合を解除したとする。すなわち、図9に示した状態に戻したとする。この場合には、AND検索処理が解除され、検索前の状態となるようにされる。
そして、図9に示した状態にあるときに、例えば、表示用オブジェクトOb6を選択しているユーザーの指等をタッチパネル107から離すと、図8に示した状態に戻り、再度、AND検索する条件の選択ができるようにされる。
すなわち、図9に示した状態にあるときに、いずれかの指等をタッチパネル107から離すと、その前の段階に戻り、再度のAND検索するための条件の選択ができるようにされる。
そして、図10に示した状態からタッチパネル107に接触させている指等を離し、一定時間が経過すると、図11に示すように、検索結果のリスト表示が行われる。図11に示す検索結果のリスト表示も、その基本的な構成は、図7に示した検索結果のリスト表示と同様である。
ただ、検索の対象として接合された画像グループの表示用オブジェクトが、接合された状態で、表示画面6Gの左側に表示される。これによって、AND検索が行われた、及び、その検索条件をユーザーに対して明確に示すことができる。
そして、この例の場合、ユーザーは、表示された検索結果のリスト表示において、動画像ファイルに対応するサムネイル画像A1〜A3のいずれかをタップ操作して再生する動画像ファイルを選択する。
これにより、制御部120は、そのタップ操作されたサムネイル画像に対応する動画像ファイルの画像データを読み出し、伸張処理部110、表示画像形成部111、表示処理部105、表示部106を通じて目的とする動画像を再生することができる。
なお、図11に示したAND検索結果のリスト表示においては、表示用オブジェクトOb6に対応する画像グループと表示用オブジェクトOb9に対応する画像グループとの両方に共通する画像ファイルのサムネイル画像の全部が表示対象となる。
したがって、表示用オブジェクトOb6に対応する画像グループと表示用オブジェクトOb9に対応する画像グループとの両方に共通する画像ファイルの数が多い場合には、上下方向にサムネイル画像のスクロールを行うことができる。この点は、図7を用いて説明した検索結果のリスト表示の場合と同様である。
また、図11に示したAND検索結果のリスト表示において、左上端部の「BACK」アイコンを選択することにより、図4に示した再生モード時の初期画面に戻ることができるようにされる。
なお、図10、図11に示した例においても、結合された表示用オブジェクトの周囲に動画像ファイルのサムネイル画像を表示するようにしたが、サムネイル画像は、静止画像でもよいし、一定時間分の動画像を再生するようにしてもよい。
[複数グループを対象とした画像ファイルのAND検索の他の例]
図8〜図11を用いて説明したAND検索においては、少なくとも2本の指等を同時にタッチパネル107に対して接触させるようにした。しかし、場合によっては、1本の指だけでAND検索を行うようにしたい場合もある。
この実施の形態の撮像装置100においては、1本の指だけでAND検索を行うこともできるようにしている。図12〜図14を用いて以下に説明する例は、1本の指だけでAND検索を行う場合の例である。
この例の場合においても、図4に示した再生モード時の初期画面において、目的とする最初の表示用オブジェクトを選択し、検索対象の表示用オブジェクトを絞り込むようにする点は、図12に示すように、図8を用いて説明した場合と同様である。
すなわち、図12においても、図4に示した再生モード時の初期画面において、最初に表示用オブジェクトOb9を選択している場合を示している。そして、AND検索を行うようにする場合には、図12において、矢印で示した用に、表示用オブジェクトOb9を選択している指等を、タッチパネル107に接触させたまま移動させるドラッグ操作を行う。
そして、図13に示すように、最初に選択した表示用オブジェクトOb9を、次に選択すべき表示用オブジェクト、この例の場合には表示用オブジェクトOb6と重ね合わせるようにする。
そして、重ね合わせられた表示用オブジェクトを接合させる場合には、ユーザーは、図13において矢印で示したように、重ね合わせられた表示用オブジェクトOb6と表示用オブジェクトOb9の表示位置に対してタップ操作を行うようにする。
このように、重ね合わせられた表示用オブジェクトに対するタップ操作を制御部120は、重ね合わせられた表示用オブジェクトの接合指示であると認識する。そして、制御部120が、接合が指示された表示用オブジェクトOb6と表示用オブジェクトOb9とを図14に示したように、接合させて表示させるようにする。
図14においては、接合が指示された表示用オブジェクトOb6と表示用オブジェクトOb9との接合が実行され、両表示用オブジェクトが接合されたことが、接合済み表示D1によって示される。
また、制御部120においても、表示用オブジェクトOb6と表示用オブジェクトOb9とが接合されたことを認識する。そして、図14に示した状態にあるときに、表示用オブジェクトOb6と表示用オブジェクトOb9との表示上のいずれかの位置に指等を接触させて押圧することにより、図10を用いた説明した態様で、AND検索を行うことができる。
この後、接触させた指等をタッチパネル107から離し、一定時間が経過すると、図11に示したように、検索結果のリスト表示を行うことができる。
そして、この例の場合にも、ユーザーは、表示された検索結果のリスト表示において、動画像ファイルに対応するサムネイル画像A1〜A3のいずれかをタップ操作して再生する動画像ファイルを選択することができる。
これにより、制御部120は、そのタップ操作されたサムネイル画像に対応する動画像ファイルの画像データを読み出し、伸張処理部110、表示画像形成部111、表示処理部105、表示部106を通じて目的とする動画像を再生することができる。
なお、上述したAND検索については、2つの表示用オブジェクトを接合させてAND検索を行うようにしたが、これに限るものではない。共通するキーワードを有するなど、AND検索が可能な範囲において、接合する表示用オブジェクトは、2つ以上の適宜の数とすることができる。
[撮像装置100における再生モード時の処理のまとめ]
次に、この実施の形態の撮像装置100において行われる上述した再生モード時の処理について、図15〜図19のフローチャートを参照しながらまとめる。図15〜図19に示す処理は、この実施の形態の撮像装置100が再生モードにされた場合に、主に制御部120によって実行される処理である。
上述もしたように、この実施の形態の撮像装置100においては、撮影を行うと、図2に示した態様で画像ファイルが記録媒体135に形成される。そして、所定のタイミングで、画像ファイルのグループ化処理が実行され、記録媒体135には、図3を用いて説明した画像グループの情報が形成される。
そして、撮像装置100が再生モードにされると、制御部120は、記録媒体135に作成される図3に示した画像グループの情報に基づいて、各部を制御し、アプリケーションメイン画面(再生モード時の初期画面)を表示する(ステップS1)。
この再生モード時の初期画面は、図4を用いて説明したように、画像グループの情報に基づいて、各画像グループに対応する表示用オブジェクトからなるものである。この場合、制御部120は、書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105等の各部を制御し、表示部106の表示画面に再生モード時の初期画面を表示する。
そして、制御部120は、タッチパネル107からの座標データを監視するようにして、表示画面106Gに表示されている表示用オブジェクトに対して接触する操作(指示操作)が行われたか否かを判断する(ステップS2)。
ステップS2の判断処理において、表示用オブジェクトに対して接触する操作が行われていないと判断したときには、ステップS2の処理を繰り返し、接触する操作が行われるまで待ち状態となる。
ステップS2の判断処理において、表示用オブジェクトに対して接触する操作が行われたと判断したときには、制御部120は、図8を用いて説明したように、表示用オブジェクトの表示の整理を行う(ステップS3)。
具体的にステップS3においては、制御部120は、ユーザーによって指示された表示用オブジェクトとAND接続可能な画像グループの表示用オブジェクトのみを表示するようにする。
すなわち、制御部20は、ユーザーによって指示された表示用オブジェクトに対応する画像グループのタイトルに対応する情報を有する画像ファイルが含まれている画像グループの表示用オブジェクトだけを表示する。
つまり、図8を用いて説明したように、タイトルが「メアリー」という表示用オブジェクトが選択された場合には、キーワードに「メアリー」という文言を含む画像ファイルを有する画像グループの表示用オブジェクトのみを表示する。
そして、同時にステップS3において制御部120は、表示された表示用オブジェクトの画像表示エリアAr1に、ユーザーによって選択された表示用オブジェクトと関連する画像ファイルのダイジェスト再生を行う。
つまり、タイトルが「メアリー」という表示用オブジェクトが選択された場合には、各表示用オブジェクトの画像表示エリアAr1に、キーワードに「メアリー」という文言を含む画像ファイルの画像を順番に再生することによりダイジェスト再生を行う。
また、ステップS3において制御部120は、時計回路140の機能を用いることにより、表示用オブジェクトに対してユーザーの接触が開始されてからの時間の計測も行うようにしている。
そして、制御部120は、表示用オブジェクトに対するユーザーによる接触が継続しているか否かを判断する(ステップS4)。
ステップS4の判断処理において、接触は継続していないと判断したときには、制御部120は、最初に選択された表示用オブジェクトに対応する画像グループについてのダイジェスト再生、表示画面106の全面に行うようにする(ステップS5)。
このステップS5の処理も、制御部120が、書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105、表示部106を制御することにより行われる。
そして、制御部120は、BACK(戻る)アイコンが選択されたか否かを判断し(ステップS6)する。ステップS6判断処理において、BACK(戻る)アイコンが選択されていないと判断したときには、最初に選択された表示用オブジェクトに対応する画像グループについてのダイジェスト再生を続行し、ステップS6の判断処理を繰り返す。
ステップS6判断処理において、BACK(戻る)アイコンが選択されたと判断したときには、制御部120は、ステップS1からの処理を行うようにし、再生モード時の初期画面に戻るようにする。
また、ステップS4の判断処理において、接触は継続していると判断したときには、制御部120は、他の表示用オブジェクトに対して接触する操作(指示操作)が行われたか否かを判断する(ステップS7)。
このステップS7の判断処理は、図9を用いて説明したように、複数の表示用オブジェクトが同時に選択するようにされるいわゆるマルチタッチ操作が行われたか否かを判断する処理である。
そして、ステップS7の判断処理において、他の表示用オブジェクトに対して接触する操作は行われていないと判断したときには、ステップS2で検出された最初の接触からの時間Tが、予め決められた一定時間t以上となったか否かを判断する(ステップS8)。
ステップS8の判断処理において、接触時間Tが一定時間tを越えたと判断したときには、図16に示すステップS9の処理に進む。また、ステップS8の判断処理において、接触時間Tが一定時間tを越えていないと判断したときには、図17に示すステップS16の処理に進む。
すなわち、ステップS8の判断処理において、接触時間Tが一定時間tを越えたと判断したときには、制御部120は、図16の処理に進み、一定時間t以上選択が継続されている表示用オブジェクトに対応する画像グループ内の検索を実行する(ステップS9)。
このステップS9の処理は、図6を用いて説明した処理であり、制御部120は、まず、一定時間t以上選択が継続されている表示用オブジェクトのみを表示する。そして、制御部120は、その表示用オブジェクトの周囲に、表示画面106Gに対するユーザーの押圧力に応じて、当該表示用オブジェクトに対応する画像グループに属する画像ファイルのサムネイル画像を表示する。
すなわち、ステップS9においては、画像グループの情報に、例えば、撮影日時の新しい順に画像ファイルが登録されており、撮影日時の新しい画像ファイルのサムネイルから順番に表示するようにしていたとする。この場合には、表示画面106Gに対して加える押圧力を強くすることによって、撮影日時がより古い画像ファイルのサムネイル画像まで表示することができるようにされる。
逆に、画像グループの情報に、例えば、撮影日時の古い順に画像ファイルが登録されており、撮影日時の古い画像ファイルのサムネイルから順番に表示するようにしていたとする。この場合には、表示画面106Gに対して加える押圧力を強くすることによって、撮影日時がより新しい画像ファイルのサムネイル画像まで表示することができるようにされる。
このステップS9の処理も、制御部120が、書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105等を制御することにより行われるものである。
なお、上述もしたように、ステップS9においては、押圧力の変化の検出に代えて、あるいは、押圧力の変化の検出と共に、ユーザーが表示画面Gに指等を接触させている接触時間を考慮するようにすることも可能である。
そして、制御部120は、最初に選択された表示用オブジェクトに対するユーザーの接触操作が終了したか否かを判断する(ステップS10)。ステップS10の判断処理において、最初に選択された表示用オブジェクトに対するユーザーの接触操作は終了していないと判断したときには、制御部120は、ステップS9からの処理を繰り返す。この場合には、選択された画像グループ内の検索処理を続行することができるようにされる。
ステップS10の判断処理において、最初に選択された表示用オブジェクトに対するユーザーの接触操作が終了したと判断したときには、制御部120は、図7を用いて説明したように、検索結果のリスト表示を行う(ステップS11)。
そして、制御部120は、検索結果のリスト表示において、表示された画像ファイルのサムネイルがユーザーによって選択するようにされたか否かを判断する(ステップS12)。ステップS12の判断処理において、サムネイルは選択されていないと判断したときには、BACK(戻る)アイコンBKが選択されたか否かを判断する(ステップS13)。
ステップS13の判断処理において、BACK(戻る)アイコンBKは選択されていないと判断したときには、制御部120は、ステップS12からの処理を繰り返すようにする。
また、ステップS13の判断処理において、BACK(戻る)アイコンBKが選択されたと判断したときには、制御部120は、ステップS1からの処理を行うようにし、再生モード時の初期画面に戻るようにする。
また、ステップS13の判断処理において、サムネイルが選択されたと判断したときには、制御部120は、選択されたサムネイルに対応する画像ファイルの再生を行う(ステップS14)。
このステップS14の処理は、制御部120が、書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105を制御し、指示された画像ファイルを記録媒体135から読み出して再生する処理である。
この後、BACK(戻る)アイコンが選択されたか否かを判断し(ステップS15)、選択されるまでステップS15の判断処理を繰り返すことにより待ち状態となる。また、ステップS15の判断処理において、BACK(戻る)アイコンが選択されたと判断したときには、ステップS11からの処理を繰り返し、検索結果のリスト表示から、画像ファイルの選択を行うことができるようにされる。
また、図15に示したステップS8の判断処理において、接触時間Tが一定時間tを越えていないと判断したときには、制御部120は、図17の処理に進み、表示用オブジェクトを移動させる操作が行われたか否かを判断する(ステップS16)。
このステップS16の判断処理は、タッチパネル107からの座標データに基づいて、表示用オブジェクトを選択するようにしているユーザーの指等がドラッグ操作するようにされたか否かを判断する処理である。
ステップS16の判断処理において、移動させる操作は行われていないと判断したときには、制御部120は、図15に示したステップS4からの処理を繰り返すようにする。
ステップS16の判断処理において、移動させる操作が行われたと判断したときには、制御部120は、ユーザーの当該操作に応じて、選択するようにされている表示用オブジェクトの表示画面上の表示位置を移動させる処理を行う(ステップS17)。
このステップS16〜ステップS17に至る処理が、例えば、図12を用いて説明したように、表示用オブジェクトをドラッグ操作により移動させる処理に対応する。
そして、制御部120は、表示用オブジェクトへの接触操作を終了させたか否かを判断し(ステップS18)、終了させていないと判断したときには、ステップS17からの処理を繰り返して、表示用オブジェクトの移動処理を継続して行うようにする。
ステップS18の判断処理において、表示用オブジェクトへの接触操作を終了させたと判断したときには、表示画面106Gに表示されている表示用オブジェクトに対して、新たに接触する操作(指示操作)が行われたか否かを判断する(ステップS19)。このステップS19の処理は、上述したステップS2の処理と同様の処理である。
そして、ステップS19の判断処理において、新たに接触する操作は行われていないと判断したときには、制御部120は、ステップS19の処理を繰り返し、新たに接触する操作が行われるまで待ち状態となる。
ステップS19の判断処理において、新たに接触する操作は行われていないと判断したときには、制御部120は、接触するようにされた表示画面上の位置には、表示用オブジェクトが重なっているか否かを判断する(ステップS20)。
ステップS20の判断処理において、ユーザーによる表示画面上の接触位置に、表示用オブジェクトが重なるようにして表示されていないと判断したときには、単独の表示用オブジェクトの選択であるので、図15に示したステップS3からの処理を行う。
ステップS20の判断処理において、ユーザーによる表示画面上の接触位置に、表示用オブジェクトが重なるようにして表示されていると判断したときには、図13を用いて説明した接合を指示する操作であると判断する。
この場合には、図14を用いて説明したように、重なり合うようにされている表示用オブジェクトを接合させて表示する処理を行う(ステップS21)。この後、後述する図18のステップS27の処理に進み、接合された画像グループを対象としたAND検索を行うことができるようにされる。
また、図15に示したステップS7の判断処理において、他の表示用オブジェクトに対して接触する操作が行われたと判断したときには、図18に示す処理に進む。そして、制御部120は、図9を用いて説明したように、表示用オブジェクトの表示の整理を行う(ステップS22)。
このステップS22の処理は、基本的には、図15に示したステップS3の処理と同様の処理である。すなわち、制御部120は、例えば、最初に選択された表示用オブジェクトと次に選択された表示用オブジェクトとの両方に基づいて、AND接続可能な画像グループの表示用オブジェクトのみを表示するようにする。
つまり、ステップS22においては、ユーザーによって選択するようにされた複数の表示用オブジェクトに基づいて、AND接続可能な画像グループの表示用オブジェクトのみを表示するようにする。
同時に制御部120は、表示された表示用オブジェクトの画像表示エリアAr1に、ユーザーによって選択された表示用オブジェクトと関連する画像ファイルのダイジェスト再生を行う。
次に、制御部120は、図9、図10を用いて説明したように、選択された複数の表示用オブジェクトがドラッグ操作するようにされて接合されたか否かを判断する(ステップS23)。
ステップS23の判断処理において、表示用オブジェクトが接合されていないと判断したときには、制御部120は、表示用オブジェクトを選択しているユーザーのタッチパネル107への接触操作の全部が解除されたか否かを判断する(ステップS24)。
ステップS24において、接触操作の全部が解除されたと判断したときには、制御部120は、図15のステップS1からの処理を繰り返し、再生モードの初期画面の表示に戻るようにする。
ステップS24の判断処理において、接触操作の全部が解除されていないと判断したときには、制御部120は、選択されている表示用オブジェクトは1つか否かを判断する(ステップS25)。
このステップS25の判断処理は、例えば、図9に示した用に例えば2つの表示用オブジェクトが選択されている場合に、その一方の選択が解除されたか否かを判断する処理である。
ステップS25の判断処理において、選択されている表示用オブジェクトが1つであると判断したときには、図15のステップS3からの処理を繰り返すようにする。これにより、選択されている表示用オブジェクトに対応する画像グループとAND検索可能な画像グループの表示用オブジェクトだけが表示され、その選択ができるようにされる。
また、ステップS25の判断処理において、選択されている表示用オブジェクトは1つではないと判断したときには、ステップS23の時点から選択されている表示用オブジェクトが減ったり、増えたりしたか否かを判断する(ステップS26)。
ステップS26の判断処理において、ステップS23の時点から選択されている表示用オブジェクトが減ったり、増えたりしていると判断した場合には、制御部120は、ステップS22からの処理を繰り返すようにする。すなわち、ユーザーによって選択するようにされた複数の表示用オブジェクトに基づいて、AND接続可能な画像グループの表示用オブジェクトのみを表示するようにする。
また、ステップS26の判断処理において、ステップS23の時点から選択されている表示用オブジェクトが減ったり、増えたりしていない(変わっていない)と判断した場合には、制御部120は、ステップS23からの処理を繰り返すようにする。すなわち、ユーザーによって選択するようにされた複数の表示用オブジェクトに基づいて、AND接続可能な画像グループの表示用オブジェクトのみを表示するようにする。
そして、ステップS23の判断処理において、選択された複数の表示用オブジェクトが接合するようにされたと判断された場合、図17に示したステップS21において接合処理が行われた場合には、制御部120は、ステップS27の処理を実行する。
すなわち、接合された複数の表示用オブジェクトの表示位置上の表示画面に対する押圧力に応じて、接合された表示用オブジェクトに関する画像ファイルを検索し、これに応じたサムネイルを表示する(ステップS27)。このステップS27の処理が、図10を用いて説明した処理となる。
そして、ユーザーによるタッチパネル107への接触が終了したか否かを判断する(ステップS28)。このステップS28の判断処理において、接触は終了していないと判断したときには、制御部120は、選択された表示用オブジェクトの接合状態は維持されているか否かを判断する(ステップS29)。
ステップS29の判断処理において、接合状態は維持されていると判断した場合には、制御部120は、ステップS27からの処理を繰り返し、AND検索を続行することができるようにされる。
また、ステップS29の判断処理において、接合状態は維持されていないと判断した場合には、制御部120は、ステップS23からの処理を繰り返し、表示用オブジェクトの接合状態の変化に対応する。
そして、ステップS28の判断処理において、接触は終了したと判断したときには、制御部120は、図19に示す処理に進み、制御部120は、図11を用いて説明したように、検索結果のリスト表示を行う(ステップS30)。
そして、制御部120は、検索結果のリスト表示において、表示された画像ファイルのサムネイルがユーザーによって選択するようにされたか否かを判断する(ステップS31)。ステップS31の判断処理において、サムネイルは選択されていないと判断したときには、BACK(戻る)アイコンBKが選択されたか否かを判断する(ステップS32)。
ステップS32の判断処理において、BACK(戻る)アイコンBKは選択されていないと判断したときには、制御部120は、ステップS31からの処理を繰り返すようにする。
また、ステップS32の判断処理において、BACK(戻る)アイコンBKが選択されたと判断したときには、制御部120は、ステップS1からの処理を行うようにし、再生モード時の初期画面に戻るようにする。
また、ステップS31の判断処理において、サムネイルが選択されたと判断したときには、制御部120は、選択されたサムネイルに対応する画像ファイルの再生を行う(ステップS33)。
このステップS33の処理は、制御部120が、書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105を制御し、指示された画像ファイルを記録媒体135から読み出して再生する処理である。
この後、BACK(戻る)アイコンが選択されたか否かを判断し(ステップS34)、選択されるまでステップS34の判断処理を繰り返すことにより待ち状態となる。また、ステップS34の判断処理において、BACK(戻る)アイコンが選択されたと判断したときには、ステップS30からの処理を繰り返し、検索結果のリスト表示から、画像ファイルの選択を行うことができるようにされる。
このように、この実施の形態の撮像装置100においては、上述したように、撮影することにより得た画像ファイルに対して、撮影された人物や撮影場所などを示すキーワードを入力しておく。また、画像ファイルには、自動的に撮影日時を示す情報が付加される。
これにより、撮像装置100においては、自動的に、「人」、「場所」、「時間」等の情報に基づいて、各画像ファイルをグループ分けし、そのグループ分けしたグループ毎に、ユーザーに対してその内容は把握できるように見せることができるようにされる。
そして、基本的にタッチパネル107に対するタッチ操作を行うだけで、目的とする画像ファイルの検索を行って、当該目的とする画像ファイルを特定し、当該目的とする画像ファイルを再生することができるようにされる。
したがって、検索に際して、キーワードを入力するといった面倒な操作を行うこともない。また、ユーザーが形成するようにしたフォルダに、画像ファイルをユーザー自身が振り分け格納する必要すらない。
これにより、記録媒体に大量に記録された画像ファイルから、目的とする画像ファイルを簡単かつ迅速に見つけ出すことができるようにされる。
また、上述したフローチャートの説明からも分かるように、AND検索については、共通するキーワードを有するなど、AND検索が可能な範囲において、接合する表示用オブジェクトは、2つ以上の適宜の数とすることができる。
[実施の形態の効果]
上述した実施の形態においては、記録媒体に記録された大量の画像コンテンツの中から所望の画像コンテンツを検索する際に、文字列などの複雑な検索条件の入力や、GUIメニューの操作などを行う必要はない。指1本のジェスチャ操作によって簡単にコンテンツ検索を行えるユーザーインターフェースを実現している。
また、表示用オブジェクトに対して触れるようにしている指等により表示画面に対して加えられる押圧力に応じて、ユーザーが望んだ数のコンテンツを検索することができる。
また、単独条件の検索だけでなく、絞り込み行うため、条件を組み合わせるAND検索も同様にジェスチャ操作により、直感的かつ効率的に行うことができる。
この場合、GUIメニューなどの操作を必要とせず、コンテキストに応じて提示される検索条件そのものを操作対象とするため、絞り込み条件の選択を直感的かつ効率的に行うことができる。
[変形例]
上述した実施の形態の撮像装置100においては、記録媒体135に記録された画像ファイルを検索する場合に、この発明を適用するようにした。しかし、この発明は、記録媒体に記録されたコンテンツの検索にのみ有効なものではない。
例えば、メニューから目的とする項目を選択するなどの場合にも、この発明を適用することによって、効率的に目的とする項目を選択することができる。そこで、以下に説明する例は、多数の機能を有し、各機能毎に種々の設定が可能な電子機器において、目的の機能における目的する設定を迅速に行えるようする場合の例である。
以下に説明する例においては、動画像の記録再生機能(ビデオ機能)と、静止画像の記録再生機能(フォト機能)とを備えた、図1に示した構成を有する撮像装置100に対して、さらに、音楽再生機能と、テレビ機能とを設けた撮像装置100を想定する。
ここで、テレビ機能は、デジタルテレビ放送の受信モジュールを有し、デジタルテレビ放送を受信して復調し、その映像を表示部106の表示画面に表示して視聴可能にする機能である。
また、音楽再生機能は、音楽再生モジュールを有し、例えば、記録媒体135に音楽データを記録保持し、これを選択して復号し、図1には図示しなかったが、撮像装置が備えるスピーカーや音声出力端子に接続されるイヤホンなどを通じて聴取可能にする機能である。
したがって、この例の撮像装置100は、図1に示した撮像装置100に対して、デジタルテレビ放送の受信モジュールと、音楽再生モジュールとが設けられたものとして、以下の説明においても図1を参照しながら説明する。
また、以下に説明する撮像装置100の場合には、外部インターフェース132を通じて種々の電子機器を接続し、種々のデータの送受を行うことができるものであり、その際における通信環境の設定をも行うことができるものとする。
このような多機能な電子機器としては、携帯電話端末などにおいても実現されている。例えば、電話機能、インターネット接続機能、動画像の記録再生機能、静止画像の記録再生機能、音楽再生機能、テレビ放送受信機能などを備えた携帯電話端末も提供されている。
そして、一般に、フォト、ビデオ、テレビのそれぞれで、画質などの映像に関する設定は異なる。同様に、音楽再生、ビデオ、テレビのそれぞれで、音声に関する設定は異なる。しかし、現状では、各機能についての設定項目を選択するためのメニューでは、設定可能な項目は一覧表示するようにされており、目的とする項目が探し難いという問題がある。
そこで、この変形例の撮像装置100では、各機能毎に設定可能な大項目を登録しておくようにする。例えば、音楽再生機能については、「音声設定」と「通信設定」との2つが可能なように設定され、ビデオ機能については、「音声設定」と「映像設定」と「通信設定」との3つが可能なように設定されているとする。
また、テレビ機能については、「音声設定」と「映像設定」との2つが可能なように設定され、フォト機能については、「映像設定」と「通信設定」との2つが可能なように設定されているとする。
そして、設定可能な大項目毎に、設定可能な詳細項目が、対応する機能毎に登録されているとする。例えば、「映像設定」には、フォト機能について設定可能な詳細項目として、「画像サイズ設定」、「圧縮率設定」、「ノイズリダクション」、「色合い」といった詳細項目が設定されているとする。また、「映像設定」には、ビデオ機能やテレビ機能についての詳細項目も設定されているとする。
同様に、「音声設定」や「通信設定」についても、対応する各機能毎に、設定可能な詳細項目が設定されているとする。
このような事前の設定に基づいて、撮像装置100が設定モードが選択されると、制御部120は、設定画面を表示し、目的とする機能を目的とする設定項目を迅速に探し出して、設定することができるようにしている。
図20〜図23は、設定モード時の処理を説明するための図である。この例の撮像装置100においては、自機が設定モードとされると、上述したように予め登録されている、各機能毎の設定可能な大項目の情報と、当該大項目毎の設定可能な詳細項目の情報とに基づいて、設定モード時の初期画面を形成して表示する。
この例において、図20は、設定モード時の初期画面の一例を説明するための図である。図20において、表示用オブジェクトObX1、ObX2、ObX3、ObX4のそれぞれが、各機能毎の設定可能な大項目の情報に対応するものである。また、図20において、表示用オブジェクトObY1、ObY2、ObY3のそれぞれが、大項目毎の設定可能な詳細項目の情報に対応するものである。
ここでは、フォト機能に関する設定として、画質設定を行う場合について説明する。上述したように、フォト機能については、「映像設定」と「通信設定」との2つが可能なように設定されているとする。従って、表示用オブジェクトObX4については、「映像設定」と「通信設定」とが対応付けられている。
そして、図20に示した設定モードの初期画面において、表示用オブジェクトObX4の表示位置上のタッチパネル107に指等を接触させたとする。この場合、制御部120は、図21に示すように、フォト機能について登録されている大項目に基づいて、「映像設定」用の表示用オブジェクトObY2と、「通信設定」用の表示用オブジェクトObY3とだけを表示させるようにする。
従って、フォト機能について設定する詳細項目のない「音声設定」についての表示用オブジェクトObY1は表示されなくなる。このため、設定できないにもかかわらず、「音声設定」についての表示用オブジェクトObY1を選択してしまうなどといった不都合を起こすことがないようにされる。
そして、上述したように、ユーザーが行いたい設定は、画質調整であるので、ユーザーは、図21に示した状態にあるときに、「映像設定」用の表示用オブジェクトObY2の表示位置上のタッチパネル107に指等を接触させる。
そして、図22に示すように、表示用オブジェクトObX4を選択している指等と、表示用オブジェクトOnY2を選択している指等をドラッグ操作して、両表示用オブジェクトを接合させる。
この場合、制御部120は、「映像設定」に属する詳細項目であって、「フォト機能」において設定可能な詳細項目として設定されている、上述した「画像サイズ設定」、「圧縮率設定」、「ノイズリダクション」、「色合い」についてのオブジェクトを表示する。
図22において、オブジェクトObZ1は「画像サイズ設定」に対するものであり、オブジェクトObZ2は「圧縮率設定」に対するものである。また、オブジェクトObZ3が「ノイズリダクション」に対するものであり、オブジェクトObZ4が「色合い」に対するものである。
なお、オブジェクトObZ1、オブジェクトObZ2、オブジェクトObZ3、オブジェクトObZ4としては、それぞれに対応するイラスト画像などが表示するようにされる。
そして、表示画面に加える押圧力を変えることにより、詳細項目に対応するオブジェクトの数を制御することも可能であり、設定可能な詳細項目が多い場合において、目的とする詳細設定項目を検索する場合において有効である。
この後、ユーザーは、タッチパネル107から指等は離すことにより、制御部120は、図23に示す検索結果のリスト表示を行う。そして、図23に示した検索結果のリスト表示において、オブジェクトObZ1、オブジェクトObZ2、オブジェクトObZ3、オブジェクトObZ4のいずれかが選択される、制御部120は、その選択された詳細項目の設定画面に遷移させるようにする。
そして、当該詳細項目の設定画面を介して、ユーザーは目的とする詳細項目の設定を行うことができるようにされる。
このように、目的とする設定を行う場合においても、ユーザーは、どの機能に対するどのような設定なのかをタッチパネルを通じて選択するだけで、設定可能な詳細項目を確実に特定し、正確かつ迅速に目的とする設定を行うことができる。
このように、マルチメディア機器が増える中で、1つの機器に対して設定する設定項目の数は増える一方だが、目的とする項目にユーザーが効率よくたどりつけるように、関連する設定項目のみを提示するという手段を適用することができる。
なお、図20〜図23を用いて説明した変形例の場合にも、その基本的な処理は、図15〜図19に示したフローチャートの処理と同様に行われる。すなわち、設定モードにするように操作された場合に、設定モード時の初期画面(図20)が表示され(ステップS1)、その後の処理は、図15〜図19に示した処理と同様に行われる。
[この発明の方法、プログラム]
なお、上述の実施の形態の説明からも分かるように、撮像装置100においては、記録媒体135に記録された画像ファイルについてグループ分け処理を行うことにより画像グループを形成し、制御部120に制御される表示画像形成部111等が、各画像グループに割り当てる表示用オブジェクトを形成して割り当て、この各画像グループに割り当てた表示用オブジェクトを、制御部120や表示画像形成部111が共同して表示部105の表示画面に表示する処理を行っている。
このように、複数の選択可能な項目のそれぞれを、各項目が有する情報に基づいて1以上のグループに属するように、グループ分け手段がグループ分けを実行するグループ分け工程と、前記グループ分け工程において複数の前記選択可能な項目がグループ分けされて形成されたグループのそれぞれに対して、割当手段が、属する項目に応じた表示用オブジェクトを形成して割り当てる割当工程と、前記割当工程において、前記グループに対して割り当てられた表示用オブジェクトを、表示処理手段が、表示素子の表示画面に表示するようにする表示処理工程とを有する方法が、この発明による表示処理方法である。
そして、図1において、2重線で示した伸張処理部110、表示画像形成部111等の機能は、制御部120が実現することが可能である。このため、表示処理装置に搭載されたコンピュータに、複数の選択可能な項目のそれぞれを、各項目が有する情報に基づいて1以上のグループに属するようにグループ分けを実行するグループ分けステップと、前記グループ分けステップにおいて複数の前記選択可能な項目がグループ分けされて形成されたグループのそれぞれに対して、属する項目に応じた表示用オブジェクトを形成して割り当てる割当ステップと、前記割当ステップにおいて、前記グループに対して割り当てられた表示用オブジェクトを、表示素子の表示画面に表示するようにする表示処理ステップとを実行させるコンピュータ読み取り可能なプログラムが、制御部120において実行されるこの発明による表示処理プログラムである。
また、図15〜図19のフローチャートを用いて説明した方法が、さらに詳細なこの発明の表示処理方法であり、図15〜図19のフローチャートにしたがって作成されるプログラムが、さらに詳細なこの発明の表示処理プログラムである。
[その他]
上述した実施の形態においては、制御部120が、グループ分け手段としての機能を実現し、主に表示画像形成部111が、割当手段としての機能を実現し、主に、制御部120と表示画像形成部111が、表示処理手段としての機能を実現している。
また、表示部106とタッチパネル107とが選択入力受付手段、選択手段としての機能を実現し、主に、制御部120と表示画像形成部111が、項目表示処理手段、一覧表示処理手段、第1、第2の表示制御手段としての機能を実現している。
また、主に、制御部120と表示画像形成部111が、オブジェクト表示制御手段、画像情報表示制御手段としての機能を実現している。
なお、上述した実施の形態においては、タッチパネル107を通じてユーザーからの指示入力を受け付けるようにしたが、これに限るものではない。例えば、いわゆるマウスなどのポインティングデバイスを用いて指示入力を行うようにしたり、キーボードに設けられた矢印キーなどを用いてカーソルを移動させるなどして指示入力を受け付けるようにしたりすることももちろん可能である。
また、上述した実施の形態においては、撮像装置において、主に動画像ファイルを扱う場合を例にして説明したが、これに限るものではない。扱うデータは、動画像ファイルだけでなく、静止画像ファイルであってもよいし、サムネイル画像やイラスト画像を有するようにされた音楽コンテンツなどの音声ファイルやテキストファイル、あるいは、ゲームプログラムなどであってもよい。
また、上述の実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。この発明は、種々のコンテンツを扱う電子機器や、複数の機能を備え、多種多様な設定を行うことが要求される電子機器に適用することができる。
具体的には、携帯電話端末、ゲーム機、パーソナルコンピュータ、種々の記録媒体を用いる再生装置や記録再生装置、携帯型音楽再生装置などに用いて好適である。
100…撮像装置、101…レンズ部、102…撮像素子、103…前処理部、104…画像処理部、105…表示処理部、106…表示部、107…タッチパネル、109…圧縮処理部、110…伸張処理部、111…表示画像形成部、120…制御部、131…操作部、132…外部I/F、133…入出力端子、134…書き込み/読み出し部、135…記録媒体、137…モーションセンサ、138…GPS受信部、139…GPS受信アンテナ、140…時計回路

Claims (7)

  1. 数のコンテンツのそれぞれを、各コンテンツが有する情報に基づいて1以上のグループに属するようにグループ分けするグループ分けと、
    前記グループ分けにより前記コンテンツがグループ分けされて形成されたグループのそれぞれに対して、属するコンテンツに応じた表示用オブジェクトを形成して割り当てる割当と、
    前記割当により前記グループに対して割り当てられた表示用オブジェクトを表示部に表示すると共に、当該表示オブジェクトの表示領域内に、当該表示オブジェクトのグループに属するコンテンツの画像を順に表示する表示制御部
    を備え
    前記表示制御部は、
    操作部を介して、前記表示部に表示されている表示用オブジェクトのうちの1つが選択されると、表示されている表示用オブジェクトのうち、選択された表示用オブジェクトと、当該選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツが属する他のグループの表示用オブジェクト以外を非表示とするように制御すると共に、前記他のグループの表示オブジェクトの表示領域内に、前記選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツの画像を順に表示する
    表示処理装置。
  2. 請求項に記載の表示処理装置であって、
    前記表示制御部は、
    前記表示用オブジェクトのうちの1つが選択されたままの状態で、表示されている前記他のグループの表示用オブジェクトのうちの1つがさらに前記操作部を介して選択され、選択されている2つの表示用オブジェクトを接触させる操作が行われた場合、表示されている表示用オブジェクトのうち、選択された2つの表示用オブジェクト以外を非表示とするように制御すると共に、選択された2つの表示用オブジェクトのグループに属するコンテンツのうち、同じ情報を有するコンテンツの画像を、選択された2つの表示用オブジェクトの周りに表示する
    表示処理装置。
  3. 請求項に記載の表示処理装置であって、
    前記表示制御部は、
    選択された2つの表示用オブジェクトの選択を完了する操作が行われると、当該2つの表示用オブジェクトのグループに属するコンテンツのうち、同じ情報を有するコンテンツの画像を前記表示部に一覧表示する
    表示処理装置。
  4. 請求項から請求項のいずれかに記載の表示処理装置であって、
    前記コンテンツは、記憶に記憶されている画像データである
    表示処理装置。
  5. 請求項1に記載の表示処理装置であって、
    前記コンテンツは、記憶に記憶されている画像データであり、
    グループ分けの基準となる前記各コンテンツが有する情報は、時間に関する情報、人に関する情報、場所に関する情報の1つ以上である
    表示処理装置。
  6. 表示処理装置が有するグループ分け部が、複数のコンテンツのそれぞれを、各コンテンツが有する情報に基づいて1以上のグループに属するようにグループ分けするグループ分け工程と、
    前記表示処理装置が有する割当部が、前記グループ分け工程前記コンテンツがグループ分けされて形成されたグループのそれぞれに対して、属するコンテンツに応じた表示用オブジェクトを形成して割り当てる割当工程と、
    前記表示処理装置が有する表示制御部が、前記割当工程前記グループに対して割り当てられた表示用オブジェクトを表示部に表示すると共に、当該表示オブジェクトの表示領域内に、当該表示オブジェクトのグループに属するコンテンツの画像を順に表示する第1の示工程と
    前記表示制御部が、操作部を介して、前記表示部に表示されている表示用オブジェクトのうちの1つが選択されると、表示されている表示用オブジェクトのうち、選択された表示用オブジェクトと、当該選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツが属する他のグループの表示用オブジェクト以外を非表示とするように制御すると共に、前記他のグループの表示オブジェクトの表示領域内に、前記選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツの画像を順に表示する第2の表示工程と
    を有する表示処理方法。
  7. ンピュータに、
    複数のコンテンツのそれぞれを、各コンテンツが有する情報に基づいて1以上のグループに属するようにグループ分けするグループ分けステップと、
    前記グループ分けステップ前記コンテンツがグループ分けされて形成されたグループのそれぞれに対して、属するコンテンツに応じた表示用オブジェクトを形成して割り当てる割当ステップと、
    前記割当ステップ前記グループに対して割り当てられた表示用オブジェクトを表示部に表示すると共に、当該表示オブジェクトの表示領域内に、当該表示オブジェクトのグループに属するコンテンツの画像を順に表示する第1の示ステップ
    操作部を介して、前記表示部に表示されている表示用オブジェクトのうちの1つが選択されると、表示されている表示用オブジェクトのうち、選択された表示用オブジェクトと、当該選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツが属する他のグループの表示用オブジェクト以外を非表示とするように制御すると共に、前記他のグループの表示オブジェクトの表示領域内に、前記選択された表示用オブジェクトのグループに属するコンテンツが有する情報と同じ情報を有するコンテンツの画像を順に表示する第2の表示ステップと
    を実行させるコンピュータ読み取り可能な表示処理プログラム。
JP2009173967A 2009-07-27 2009-07-27 表示処理装置、表示処理方法および表示処理プログラム Expired - Fee Related JP5552767B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009173967A JP5552767B2 (ja) 2009-07-27 2009-07-27 表示処理装置、表示処理方法および表示処理プログラム
CN2010102339002A CN101968790A (zh) 2009-07-27 2010-07-20 显示处理设备、显示处理方法和显示处理程序
US12/842,395 US20110022982A1 (en) 2009-07-27 2010-07-23 Display processing device, display processing method, and display processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009173967A JP5552767B2 (ja) 2009-07-27 2009-07-27 表示処理装置、表示処理方法および表示処理プログラム

Publications (2)

Publication Number Publication Date
JP2011028534A JP2011028534A (ja) 2011-02-10
JP5552767B2 true JP5552767B2 (ja) 2014-07-16

Family

ID=43498363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009173967A Expired - Fee Related JP5552767B2 (ja) 2009-07-27 2009-07-27 表示処理装置、表示処理方法および表示処理プログラム

Country Status (3)

Country Link
US (1) US20110022982A1 (ja)
JP (1) JP5552767B2 (ja)
CN (1) CN101968790A (ja)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289400B2 (en) 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
US8645872B2 (en) * 2010-11-30 2014-02-04 Verizon Patent And Licensing Inc. User interfaces for facilitating merging and splitting of communication sessions
US9679404B2 (en) 2010-12-23 2017-06-13 Microsoft Technology Licensing, Llc Techniques for dynamic layout of presentation tiles on a grid
US9436685B2 (en) 2010-12-23 2016-09-06 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
US20120166953A1 (en) * 2010-12-23 2012-06-28 Microsoft Corporation Techniques for electronic aggregation of information
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
US9715485B2 (en) 2011-03-28 2017-07-25 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
JP5670255B2 (ja) 2011-05-27 2015-02-18 京セラ株式会社 表示機器
JP2012256105A (ja) * 2011-06-07 2012-12-27 Sony Corp 表示装置、オブジェクト表示方法、及びプログラム
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
JP4943553B1 (ja) 2011-08-31 2012-05-30 楽天株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
JP4929414B1 (ja) 2011-08-31 2012-05-09 楽天株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
KR101812585B1 (ko) * 2012-01-02 2017-12-27 삼성전자주식회사 Ui 제공 방법 및 이를 적용한 영상 촬영 장치
JP2013140502A (ja) * 2012-01-05 2013-07-18 Dainippon Printing Co Ltd Icカード
USD682304S1 (en) 2012-01-06 2013-05-14 Path, Inc. Display screen with graphical user interface
US9672493B2 (en) * 2012-01-19 2017-06-06 International Business Machines Corporation Systems and methods for detecting and managing recurring electronic communications
US20150042676A1 (en) * 2012-03-06 2015-02-12 Nec Casio Mobile Communications, Ltd. Terminal device and method for controlling terminal device
KR101952260B1 (ko) * 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
CN102681847B (zh) * 2012-04-28 2015-06-03 华为终端有限公司 触屏终端对象处理方法及触屏终端
JP5502943B2 (ja) * 2012-06-29 2014-05-28 楽天株式会社 情報処理装置、認証装置、情報処理方法及び情報処理プログラム
US10529014B2 (en) 2012-07-12 2020-01-07 Mx Technologies, Inc. Dynamically resizing bubbles for display in different-sized two-dimensional viewing areas of different computer display devices
US10872374B2 (en) 2012-07-12 2020-12-22 Mx Technologies, Inc. Dynamically resizing bubbles for display in different-sized two-dimensional viewing areas of different computer display devices
JP6066602B2 (ja) 2012-07-13 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント 処理装置
JP6351219B2 (ja) * 2012-08-23 2018-07-04 キヤノン株式会社 画像検索装置、画像検索方法及びプログラム
US10713730B2 (en) 2012-09-11 2020-07-14 Mx Technologies, Inc. Meter for graphically representing relative status in a parent-child relationship and method for use thereof
EP2897059A4 (en) * 2012-09-13 2016-07-06 Ntt Docomo Inc USER INTERFACE DEVICE, SEARCH METHOD AND PROGRAM
EP2897058B1 (en) * 2012-09-13 2019-11-20 Ntt Docomo, Inc. User inteface device, search method, and program
CN102982123A (zh) * 2012-11-13 2013-03-20 深圳市爱渡飞科技有限公司 一种信息搜索方法及相关设备
US10013671B2 (en) * 2012-12-04 2018-07-03 Sap Se Electronic worksheet with reference-specific data display
US9477376B1 (en) * 2012-12-19 2016-10-25 Google Inc. Prioritizing content based on user frequency
JP6232706B2 (ja) * 2013-02-05 2017-11-22 コニカミノルタ株式会社 情報表示装置、画像形成装置、情報表示装置の制御方法、および情報表示装置の制御プログラム
KR20140100727A (ko) * 2013-02-07 2014-08-18 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN104035686B (zh) * 2013-03-08 2017-05-24 联想(北京)有限公司 一种文件传输方法及装置
USD725138S1 (en) * 2013-03-14 2015-03-24 Ijet International, Inc. Display screen or portion thereof with graphical user interface
USD737319S1 (en) * 2013-06-09 2015-08-25 Apple Inc. Display screen or portion thereof with graphical user interface
USD737847S1 (en) * 2013-06-10 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD750130S1 (en) * 2013-06-10 2016-02-23 Apple Inc. Display screen or portion thereof with graphical user interface
JP5765372B2 (ja) 2013-06-18 2015-08-19 コニカミノルタ株式会社 表示装置、表示装置の制御方法、および表示装置の制御プログラム
USD757740S1 (en) * 2013-06-20 2016-05-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6207260B2 (ja) * 2013-06-28 2017-10-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9477879B2 (en) * 2013-06-28 2016-10-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents
USD752107S1 (en) * 2013-09-03 2016-03-22 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US11544778B2 (en) 2013-09-09 2023-01-03 Mx Technologies, Inc. Creating an intuitive visual plan for achieving financial goals
USD740307S1 (en) * 2013-10-16 2015-10-06 Star*Club, Inc. Computer display screen with graphical user interface
US9600479B2 (en) * 2014-01-31 2017-03-21 Ricoh Company, Ltd. Electronic document retrieval and reporting with review cost and/or time estimation
USD769930S1 (en) * 2013-12-18 2016-10-25 Aliphcom Display screen or portion thereof with animated graphical user interface
USD744528S1 (en) * 2013-12-18 2015-12-01 Aliphcom Display screen or portion thereof with animated graphical user interface
US9778817B2 (en) 2013-12-31 2017-10-03 Findo, Inc. Tagging of images based on social network tags or comments
USD762682S1 (en) * 2014-01-17 2016-08-02 Beats Music, Llc Display screen or portion thereof with animated graphical user interface
USD746859S1 (en) * 2014-01-30 2016-01-05 Aol Inc. Display screen with an animated graphical user interface
US9449000B2 (en) 2014-01-31 2016-09-20 Ricoh Company, Ltd. Electronic document retrieval and reporting using tagging analysis and/or logical custodians
USD763306S1 (en) * 2014-02-21 2016-08-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
GB201406023D0 (en) * 2014-04-03 2014-05-21 Sony Corp A method, system, server and client
USD766283S1 (en) * 2014-04-23 2016-09-13 Google Inc. Display panel with a computer icon
USD778311S1 (en) 2014-06-23 2017-02-07 Google Inc. Display screen with graphical user interface for account switching by swipe
USD777768S1 (en) * 2014-06-23 2017-01-31 Google Inc. Display screen with graphical user interface for account switching by tap
US9880717B1 (en) 2014-06-23 2018-01-30 Google Llc Account switching
CN105227811A (zh) * 2014-06-30 2016-01-06 卡西欧计算机株式会社 图像生成装置以及图像生成方法
KR20160015838A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 컨텐츠 분류 방법 및 이를 위한 디바이스
USD735754S1 (en) 2014-09-02 2015-08-04 Apple Inc. Display screen or portion thereof with graphical user interface
USD762693S1 (en) 2014-09-03 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
USD752083S1 (en) * 2014-09-09 2016-03-22 Mx Technologies, Inc. Display screen or portion thereof with a graphical user interface
CN105824840B (zh) * 2015-01-07 2019-07-16 阿里巴巴集团控股有限公司 一种用于区域标签管理的方法及装置
USD769279S1 (en) * 2015-01-20 2016-10-18 Microsoft Corporation Display screen with graphical user interface
USD771667S1 (en) * 2015-01-20 2016-11-15 Microsoft Corporation Display screen with graphical user interface
KR101611388B1 (ko) * 2015-02-04 2016-04-11 네이버 주식회사 태그를 활용한 검색 서비스 제공 방법 및 시스템
US10026333B2 (en) 2015-02-24 2018-07-17 Alexandra Rose HUFFMAN Educational balancing game
USD791826S1 (en) * 2015-02-24 2017-07-11 Linkedin Corporation Display screen or portion thereof with a graphical user interface
USD765098S1 (en) 2015-03-06 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
USD771670S1 (en) 2015-03-09 2016-11-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD795917S1 (en) 2015-05-17 2017-08-29 Google Inc. Display screen with an animated graphical user interface
USD772269S1 (en) 2015-06-05 2016-11-22 Apple Inc. Display screen or portion thereof with graphical user interface
USD802620S1 (en) * 2015-08-12 2017-11-14 Samsung Electronics Co., Ltd. Display screen or portion thereof with animiated graphical user interface
USD831692S1 (en) * 2016-01-05 2018-10-23 Lg Electronics Inc. Display screen with animated graphical user interface
USD831693S1 (en) * 2016-01-05 2018-10-23 Lg Electronics Inc. Display screen with animated graphical user interface
USD911385S1 (en) 2016-02-19 2021-02-23 Sony Corporation Display panel or screen or portion thereof with animated graphical user interface
USD855649S1 (en) * 2016-02-19 2019-08-06 Sony Corporation Display screen or portion thereof with animated graphical user interface
US11061892B2 (en) * 2016-07-18 2021-07-13 State Street Corporation Techniques for automated database query generation
USD804504S1 (en) * 2016-08-30 2017-12-05 Sorenson Ip Holdings, Llc Display screen or a portion thereof with graphical user interface
USD808417S1 (en) * 2016-09-15 2018-01-23 General Electric Company Display screen or portion thereof with transitional graphical user interface
USD839912S1 (en) 2016-09-23 2019-02-05 Google Llc Display screen or portion thereof with new user start screen
USD813249S1 (en) * 2017-02-22 2018-03-20 Banuba Limited Display screen with an animated graphical user interface
CN107256109B (zh) * 2017-05-27 2021-03-16 北京小米移动软件有限公司 信息显示方法、装置及终端
JP1602697S (ja) * 2017-06-29 2018-04-23
USD908135S1 (en) * 2017-10-06 2021-01-19 Google Llc Display screen with shelf folders graphical user interface or portion thereof
USD871442S1 (en) * 2017-12-15 2019-12-31 Facebook, Inc. Display screen with animated graphical user interface
USD853438S1 (en) * 2017-12-18 2019-07-09 Facebook, Inc. Display screen with animated graphical user interface
WO2020026316A1 (ja) * 2018-07-30 2020-02-06 富士通株式会社 表示制御プログラム、装置、及び方法
USD882615S1 (en) 2018-09-06 2020-04-28 Apple Inc. Electronic device with animated graphical user interface
USD954730S1 (en) * 2019-03-06 2022-06-14 Ibble, Inc. Display screen having a graphical user interface
USD945472S1 (en) * 2019-03-27 2022-03-08 Staples, Inc. Display screen or portion thereof with a transitional graphical user interface
JP7309430B2 (ja) * 2019-04-18 2023-07-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
USD965005S1 (en) * 2020-07-24 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD973071S1 (en) * 2021-05-22 2022-12-20 Airbnb, Inc. Display screen with animated graphical user interface

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104766B2 (ja) * 1991-10-28 1995-11-13 インターナショナル・ビジネス・マシーンズ・コーポレイション データ処理システムのメニューから複数のオブジェクトを表示する方法及び装置
JP3566720B2 (ja) * 1992-04-30 2004-09-15 アプル・コンピュータ・インコーポレーテッド コンピュータ・システムにおいて情報を編成する方法と装置
JP2710547B2 (ja) * 1994-02-15 1998-02-10 インターナショナル・ビジネス・マシーンズ・コーポレイション グラフィカル・ユーザ・インターフェース
US6003034A (en) * 1995-05-16 1999-12-14 Tuli; Raja Singh Linking of multiple icons to data units
US6169575B1 (en) * 1996-09-26 2001-01-02 Flashpoint Technology, Inc. Method and system for controlled time-based image group formation
US6121968A (en) * 1998-06-17 2000-09-19 Microsoft Corporation Adaptive menus
US8028249B2 (en) * 2001-05-23 2011-09-27 Eastman Kodak Company Method and system for browsing large digital multimedia object collections
US8549434B2 (en) * 2001-10-18 2013-10-01 Microsoft Corporation Method for graphical representation of a content collection
JP2003196316A (ja) * 2001-12-28 2003-07-11 Atsushi Matsushita 情報検索アウェアネスシステム
JP2004139246A (ja) * 2002-10-16 2004-05-13 Canon Inc 画像検索装置、画像検索方法、プログラム、及び記憶媒体
US20040130636A1 (en) * 2003-01-06 2004-07-08 Schinner Charles E. Electronic image intent attribute
US7360175B2 (en) * 2003-10-03 2008-04-15 Lexisnexis, A Division Of Reed Elsevier Inc. Hierarchical, multilevel, expand and collapse navigation aid for hierarchical structures
JP3944160B2 (ja) * 2003-12-25 2007-07-11 キヤノン株式会社 撮像装置、情報処理装置、それらの制御方法及びプログラム
US8108430B2 (en) * 2004-04-30 2012-01-31 Microsoft Corporation Carousel control for metadata navigation and assignment
SE0401737D0 (sv) * 2004-07-03 2004-07-03 Tomas Hultgren Verktyg för kompetenssökning och utökad lösningsmängd vid utvecklings- och produktionstillämpningar
KR100703690B1 (ko) * 2004-11-19 2007-04-05 삼성전자주식회사 스킨 이미지를 사용하여 아이콘을 그룹별로 관리하는사용자 인터페이스 및 방법
US7683889B2 (en) * 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
CN101107603A (zh) * 2005-01-20 2008-01-16 皇家飞利浦电子股份有限公司 一种用于图像浏览的用户界面
US20060206459A1 (en) * 2005-03-14 2006-09-14 Microsoft Corporation Creation of boolean queries by direct manipulation
US7689933B1 (en) * 2005-11-14 2010-03-30 Adobe Systems Inc. Methods and apparatus to preview content
US7503009B2 (en) * 2005-12-29 2009-03-10 Sap Ag Multifunctional icon in icon-driven computer system
US7644373B2 (en) * 2006-01-23 2010-01-05 Microsoft Corporation User interface for viewing clusters of images
JP2007286864A (ja) * 2006-04-17 2007-11-01 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4885602B2 (ja) * 2006-04-25 2012-02-29 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
JP4674726B2 (ja) * 2006-09-21 2011-04-20 株式会社ソニー・コンピュータエンタテインメント ファイルの管理方法および情報処理装置
US7921139B2 (en) * 2006-12-01 2011-04-05 Whitserve Llc System for sequentially opening and displaying files in a directory
JP2008146453A (ja) * 2006-12-12 2008-06-26 Sony Corp 映像信号出力装置、操作入力処理方法
US20080163119A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method for providing menu and multimedia device using the same
US20080163118A1 (en) * 2006-12-29 2008-07-03 Jason Wolf Representation of file relationships
US7689916B1 (en) * 2007-03-27 2010-03-30 Avaya, Inc. Automatically generating, and providing multiple levels of, tooltip information over time
US7843454B1 (en) * 2007-04-25 2010-11-30 Adobe Systems Incorporated Animated preview of images
US8086996B2 (en) * 2007-05-22 2011-12-27 International Business Machines Corporation Binding an image descriptor of a graphical object to a text descriptor
US8185839B2 (en) * 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US8812986B2 (en) * 2008-05-23 2014-08-19 At&T Intellectual Property I, Lp Multimedia content information display methods and device
KR100969790B1 (ko) * 2008-09-02 2010-07-15 엘지전자 주식회사 이동단말기 및 그 컨텐츠 합성방법

Also Published As

Publication number Publication date
JP2011028534A (ja) 2011-02-10
US20110022982A1 (en) 2011-01-27
CN101968790A (zh) 2011-02-09

Similar Documents

Publication Publication Date Title
JP5552767B2 (ja) 表示処理装置、表示処理方法および表示処理プログラム
JP4752897B2 (ja) 画像処理装置、画像表示方法および画像表示プログラム
JP5268595B2 (ja) 画像処理装置、画像表示方法及び画像表示プログラム
JP4735995B2 (ja) 画像処理装置、画像表示方法および画像表示プログラム
JP4752900B2 (ja) 画像処理装置、画像表示方法および画像表示プログラム
JP5401962B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
RU2441268C2 (ru) Устройство обработки изображения, способ обработки изображения и программа отображения изображения
JP2007174378A (ja) 画像ファイリング方法及びデジタルカメラ及び画像ファイリング処理プログラム及び動画記録再生装置
JP4277592B2 (ja) 情報処理装置、撮像装置およびコンテンツ選択方法
US20110145709A1 (en) Apparatus and method for digital image processing using slideshow function
JP2006311268A (ja) 電子カメラ装置、画像記録装置及び画像記録用アプリケーションソフトウェア
JP2002209163A (ja) 電子アルバムの表示方法および電子アルバム機能を備えた電子カメラおよび電子アルバムシステム
US20100157097A1 (en) Voice recordable terminal and its image processing method
US20170150237A1 (en) Image processing device, image processing method, and program
US20050134708A1 (en) Control method of digital camera
US8947559B2 (en) Recorder and player
JP4656240B2 (ja) 情報処理装置およびコンテンツ選択方法
JP4767201B2 (ja) 画像再生装置
CN111565285A (zh) 图像输出装置及其控制方法和存储介质
JP2011035485A (ja) 表示制御装置、プログラム
JP2005303817A (ja) 撮像装置、画像再生装置、画像再生方法及び画像再生プログラム
JP2010004433A (ja) 動画検索システムおよび動画検索方法、動画検索プログラム並びにそのプログラムを記憶するコンピュータ読み取り可能な記憶媒体
JP2011066673A (ja) 撮像装置
KR20100040224A (ko) 디지털 영상 처리장치 및 이의 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140513

LAPS Cancellation because of no payment of annual fees