JP4988012B2 - 電子機器およびインデキシング制御方法 - Google Patents

電子機器およびインデキシング制御方法 Download PDF

Info

Publication number
JP4988012B2
JP4988012B2 JP2010136535A JP2010136535A JP4988012B2 JP 4988012 B2 JP4988012 B2 JP 4988012B2 JP 2010136535 A JP2010136535 A JP 2010136535A JP 2010136535 A JP2010136535 A JP 2010136535A JP 4988012 B2 JP4988012 B2 JP 4988012B2
Authority
JP
Japan
Prior art keywords
image
indexing
slide show
photo movie
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010136535A
Other languages
English (en)
Other versions
JP2012004746A (ja
Inventor
智典 坂口
光悦 和田
浩平 桃崎
謙一 田部
俊輔 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010136535A priority Critical patent/JP4988012B2/ja
Priority to US13/161,393 priority patent/US20110305437A1/en
Publication of JP2012004746A publication Critical patent/JP2012004746A/ja
Application granted granted Critical
Publication of JP4988012B2 publication Critical patent/JP4988012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215Recording a sequence of still pictures, e.g. burst mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Description

本発明の実施形態は、静止画像のインデキシングを行う電子機器およびインデキシング制御方法に関する。
近年、CCD(Charge coupled device)やCMOS(Complementary metal-oxide semiconductor)イメージセンサなどの撮像素子の高解像度化が進められている。これに伴い、携帯電話機やパーソナルコンピュータなどの電子機器が扱う静止画像も高解像度化が進んできている。
また、最近では、デジタルフォトフレームなどと称される画像再生装置が普及し始めている。デジタルフォトフレームは、例えばカード型記憶メディアに格納される複数枚の静止画像を所定時間間隔で順次表示する機能を有している。例えばパーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームと同様に、複数枚の静止画像を所定時間間隔で順次表示する機能を有するのが一般的である。このデジタルフォトフレームと同様の画像表示は、例えばスライドショー表示などと称されている。
さらに、複数枚の静止画像をより楽しく観賞するために、複数枚(1枚でも可)の静止画像から演出効果のための加工編集(エフェクト)が施された動画像を作成する動画作成技術が注目されるに至っている。この複数枚の静止画像から作成される動画像は、例えばフォトムービーなどと称されている。前述のスライドショー表示は、個々の静止画像を所定時間間隔で順次表示するほか、この動画作成技術によって、複数枚の静止画像が所定時間間隔で順次表示される動画像を作成し、当該作成した動画像を再生することによっても実現できる。このスライドショー表示用に作成される動画像(フォトムービー)は、スライドショーとも称される。
特開2008−124666号公報
ところで、スライドショーやフォトムービーを楽しむためには、通常、使用する静止画像または使用する静止画像を格納するフォルダーを指定するといった作業が必要となる。これは、例えばデジタルカメラ等で撮影した静止画像を新たに取り込んだ際、この新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを観賞しようとした場合においても同様である。
また、フォトムービーを作成するためには、例えば静止画像から顔画像等を抽出するためのインデックス情報を作成するインデキシングが完了している必要があり、新たに取り込んだ静止画像に対するインデキシングが完了するまで待機しなければならない。
つまり、これまでは、新たに取り込んだ静止画像またはこれらを格納するフォルダーを指定する手間がかかり、また、インデキシングの完了を待機する必要がある等、新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを手軽かつ速やかに観賞したいという要求に応えられていなかった。
本発明は、新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを観賞するための手間を軽減し、かつ、当該新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを速やかに観賞することを実現する電子機器およびインデキシング制御方法を提供することを目的とする。
実施形態によれば、電子機器は、インデキシング手段、スライドショー処理手段、フォトムービー処理手段およびインデキシング制御手段を具備する。インデキシング手段は、記憶領域の中の1以上の第1の静止画像に関するフォトムービー作成用のインデックス情報を作成する。スライドショー処理手段は、前記1以上の静止画像を含むスライドショーを作成し、前記作成されたスライドショーを表示する。フォトムービー処理手段は、前記インデックス情報に基づき、前記1以上の静止画像を含むフォトムービーを作成し、前記作成されたフォトムービーを表示する。インデキシング制御手段は、前記記憶領域を監視して1以上の新たな静止画像が追加されたか否かを監視し、1以上の新たな静止画像が検出された場合、前記1以上の新たな静止画像を順次表示するスライドショーを前記スライドショー処理手段に実行させ、前記スライドショー処理手段によるスライドショーの表示と並行して、前記1以上の新たな静止画像に関するインデックス情報の作成を前記インデキシング手段に実行させる。
実施形態の電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示す図。 同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムが用いるインデックス情報の例を示す図。 同実施形態の電子機器によって表示されるメイン画面の例を示す図。 同実施形態の電子機器によって表示される主人公選択画面の例を示す図。 同実施形態の電子機器によって表示されるカレンダー画面の例を示す図。 同実施形態の電子機器によって実行されるフォトムービー作成処理の手順の概要を示す概念図。 同実施形態の電子機器によってエフェクトが施されて表示される画像の第1の例を示す図。 同実施形態の電子機器によってエフェクトが施されて表示される画像の第2の例を示す図。 同実施形態の電子機器によってエフェクトが施されて表示される画像の第3の例を示す図。 同実施形態の電子機器によってエフェクトが施されて表示される画像の第4の例を示す図。 同実施形態の電子機器によってエフェクトが施されて表示される画像の第5の例を示す図。 同実施形態の電子機器によって実行されるフォトムービー作成アプリケーションプログラムの 同実施形態の電子機器によって表示される設定画面の例を示す図。 同実施形態の電子機器によって表示される写真フォルダー設定画面の例を示す図。 同実施形態の電子機器によって表示される新着写真の処理画面の例を示す図。 同実施形態の電子機器によって実行される新しい静止画像が写真フォルダーに格納されたことを契機とする種々の動作のタイミングチャート。 同実施形態の電子機器によってインデキシング中のスライドショー上に表示されるインデキシング中であることを知らせるためのオブジェクトの例を示す図。 同実施形態の電子機器によって実行される新着写真に関する処理手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるインデキシング処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される動画像生成処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるキー画像選択処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるキー画像選択処理の手順の別の例を示すフローチャート。 同実施形態の電子機器によって実行される関連画像選択処理の手順の例を示すフローチャート。
以下、実施の形態について図面を参照して説明する。
図1は、実施形態の電子機器の外観を示す斜視図である。この電子機器は、例えば、ノートブックタイプのパーソナルコンピュータ10として実現されている。図1に示すように、本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、LCD(Liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、本コンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置されている。入力操作パネル15上には、各種操作ボタンが設けられている。
また、コンピュータ本体11の右側面には、例えばUSB(Universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されているように、CPU(Central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics processing unit)105、VRAM(ビデオRAM:Random access memory)105A、サウンドコントローラ106、BIOS−ROM(Basic input/output system-read only memory)107、LAN(Local area network)コントローラ108、ハードディスクドライブ(HDD:Hard disk drive)109、光ディスクドライブ(ODD:Optical disc drive)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC:Embedded controller/keyboard controller)113、EEPROM(electrically erasable programmable ROM)114等を備える。
CPU101は、本コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及びフォトムービー作成アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。フォトムービー作成アプリケーションプログラム202は、例えばHDD109等に格納された各種デジタルコンテンツを再生するソフトウェアである。このフォトムービー作成アプリケーションプログラム202は、動画像生成機能を有している。この動画像生成機能は、例えば、HDD109等に格納された写真等の素材(デジタルコンテンツ)を用いて、動画像(フォトムービー、スライドショー)を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。フォトムービー作成アプリケーションプログラム202は、素材を用いて作成された動画像を再生し、画面(LCD17)に表示する。
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えばPCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。
サウスブリッジ104は、PCI(Peripheral component interconnect)バス上の各デバイス及びLPC(Low pin count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated drive electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、(USBコネクタ19を介して接続される)例えばUSB 2.0規格に対応した外部機器との通信を実行する。USBコントローラ111Aは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。また、カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロットに挿入される、SD(Secure digital)カード(登録商標)のようなメモリカードに対するデータの書き込み及び読み出しを実行する。
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
次いで、図3を参照して、フォトムービー作成アプリケーションプログラム202の機能構成を説明する。ここでは、フォトムービー作成アプリケーションプログラム202が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、HDD109内の所定のディレクトリ(フォルダー)に格納された複数の静止画像を用いて動画像(フォトムービー)を作成し、その作成した動画像またはスライドショーを再生する。静止画像51は、例えば、デジタル写真、他の各種静止画像ファイル(JPEG)等である。用語「フォトムービー」は複数の静止画像(例えば写真)を用いて生成される動画像(ムービー)を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は音楽と一緒に再生される。フォトムービー作成アプリケーションプログラム202は、ある静止画像(キー画像)に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。また、用語「スライドショー」は静止画像を1枚ずつ順次表示する静止画像の表示方法を意味する。スライドショーの再生において、各静止画像に様々なエフェクトやトランジションを施すことも可能である。
フォトムービー作成アプリケーションプログラム202は、ユーザが設定したHDD109内のフォルダー(写真フォルダー)を監視し、1以上の新しい静止画像(写真ファイル)が写真フォルダーに格納されたことを検知すると、それら1以上の新しい静止画像に対するインデキシングを行うと同時にそれら1以上の新しい静止画像のスライドショーを開始する。これにより、インデキシングが完了するまでの待機時間中、ユーザは、新しい静止画像のスライドショーを観賞することができる。即ち、インデキシングの処理時間を隠蔽することができる。そして、インデキシングが完了すると、フォトムービー作成アプリケーションプログラム202は、1以上の新しい静止画像をベースとしたフォトムービーを作成して再生する。これにより、新しい静止画像を早く楽しみたいというユーザのニーズに応えることができる。この場合、例えば、1以上の新しい静止画像のみからフォトムービーを作成して再生しても良いし、1以上の新しい静止画像に関連する静止画像群を写真フォルダー内の静止画像群から抽出し、1以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。さらに、1以上の新しい静止画像のみから1つ目のフォトムービーを作成して再生した後に、1以上の新しい静止画像に関連する静止画像群を写真フォルダー内の静止画像群から抽出し、1以上の新しい静止画像と、それら抽出された静止画像群とを用いて2つ目のフォトムービーを作成して再生するようにしても良い。
このように、本実施形態の電子機器では、新しい静止画像を写真フォルダーに格納するだけで、ユーザは、当該新しい静止画像の(インデックス情報を必要としない、静止画像を順次表示する)スライドショーを観賞することができる。また、このスライドショーの開始と同時に、当該新しい静止画像に対するインデキシングが開始されるので、インデキシングの完了を待機する実感をユーザに与えないで済む。そして、このインデキシングが完了したら、当該新しい静止画像をベースとしたフォトムービーが作成されて再生されるので、ユーザは、さらに、当該新しい静止画像をベースとしたフォトムービーを観賞することができる。以上のような、新しい静止画像が写真フォルダーに格納されたことを契機とする種々の動作を実現するための仕組みの詳細については後述する。
フォトムービーの作成は、1枚の静止画像(キー画像)を基に行われる。つまり、選択されたキー画像に関連する静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物(顔)の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト/トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、フォトムービー作成アプリケーションプログラム202は、写真フォルダー内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Aと別の人物Bが同じ写真に写っている頻度(共起頻度)が高いならば、人物Aを含む写真が属するイベントは、人物Bを含む写真が属するイベントに関連するイベントであると推定してもよい。
フォトムービー作成アプリケーションプログラム202は、監視部21、インデキシング部22及び再生制御部23を備える。
監視部21は、HDD109内の素材データベース301を常時監視し、新たな静止画像51が例えばUSBコントローラ111A、カードコントローラ111B等のインタフェース部を介してHDD109内の素材データベース301に格納されたか否かを判定する。素材データベース301はHDD109内の所定のディレクトリ(上述の写真フォルダー)に相当する。素材データベース301に格納された各静止画像データ51は、動画像(フォトムービー)及びスライドショーの素材候補として用いられる。素材データベース301には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
インデキシング部22は、素材データベース301内の複数の静止画像データ51を分析し、それら複数の静止画像データ51それぞれの属性を示すインデックス情報302Aを生成する。インデキシング部22によるインデキシングは、例えば、1以上の新しい静止画像(写真ファイル)が素材データベース301に格納されたことをトリガに開始される。つまり、素材データベース301に1以上の新しい静止画像が格納された時に、インデキシング部22は、その新しい静止画像に対応するインデックス情報を生成する。
インデキシング部22は顔認識機能も有している。インデックス情報302Aには、静止画像データ51に含まれる顔画像の認識結果も含まれている。
インデキシング部22は、顔画像検出部221、クラスタリング部222、イベント検出部223、及びインデックス情報生成部224を備える。
顔画像検出部221は、インデキシング対象の静止画像データ51(例えば、写真フォルダーに新たに格納された静止画像)から顔画像を検出する。顔画像は、例えば、その静止画像51の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像データ51に含まれる顔画像に対応する領域が検出され、当該領域の位置(座標)及びサイズが検出される。
また、顔画像検出部221は検出した顔画像を分析する。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である(例えば、ぼけがない)度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部222は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報(人物ID)を付与する。同一人物の顔画像群に対しては同一の人物IDが付与される。クラスタリング部222は、各顔画像の属性(笑顔度、鮮明度、正面度、人物ID)をインデックス情報生成部224に出力する。
イベント検出部223は、インデキシング対象の静止画像データ51に対応するイベントを検出する。イベント検出部223は、例えば、そのインデキシング対象の静止画像データ51の生成日時(撮影日時)に基づいて、そのインデキシング対象の静止画像データ51を、所定の期間内(例えば、1日)に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部223は、インデキシング対象の静止画像データ51に対して、そのインデキシング対象の静止画像データ51が分類されたイベントの識別情報(イベントID)を付与する。イベント検出部223は、インデキシング対象の静止画像データ51に付与されたイベントIDをインデックス情報生成部224に出力する。
インデックス情報生成部224は、顔画像検出部221、クラスタリング部222及びイベント検出部223の処理結果に基づいて、インデックス情報302Aを生成する。
図4は、インデックス情報302Aの一構成例を示す。インデックス情報302Aは、複数の静止画像データ51にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ID、生成日時(撮影日時)、生成場所(撮影場所)、イベントID、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像IDは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時(その静止画像の撮影日時)を示す。生成場所は、その静止画像が生成(撮影)された場所(位置)を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに(例えば、静止画像データに対応する写真が撮影されるときに)、GPSレシーバによって検出された位置情報を示す。イベントIDは、その静止画像に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像(例えば、その顔画像の格納場所を示すパス)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、1つの静止画像データ51に複数の顔画像が含まれるときは、その1つの静止画像データ51に対応するインデックス情報302Aは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部224は、生成したインデックス情報302Aを素材情報データベース302に格納する。
以上の構成により、インデキシング部22は、入力された静止画像データ51に対応するインデックス情報302Aを生成し、素材情報データベース302に格納することができる。
再生制御部23は、インデックス情報302Aに基づき、ある選択された静止画像(キー画像)に関連する静止画像群を、素材データベース301内の静止画像データ51群から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。再生制御部23は、例えば、キー画像選択部231、カレンダー表示部232、関連画像選択部233、シナリオ決定部234、動画像生成部235、及び動画像再生部236を備える。
キー画像選択部231は、素材データベース301に格納された静止画像データ51群からキー画像(キー静止画像)を選択する。また、キー画像選択部231は、再生中の動画像(フォトムービー)又はスライドショーに含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部231は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部231は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
キー画像選択部231は、カレンダー上に静止画像データ51群が配置されたカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部231は、例えば、カレンダー画面を用いて、ユーザによって指定された静止画像をキー画像に決定する。
キー画像選択部231は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像データ51群が素材データベース301から抽出され、それら抽出された静止画像データ51群が動画像(フォトムービー)又はスライドショーの作成に用いられる。
関連画像選択部233は、素材データベース301に格納されている静止画像データ51群から、キー画像(キー顔画像)に関連する静止画像群を選択(抽出)する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する静止画像である。関連画像選択部233は、例えば、素材情報データベース302に格納されたインデックス情報302Aを用いて、キー画像に関連する静止画像群を抽出する。関連画像選択部233は、日時関連画像選択部233A、人物関連画像選択部233B及び場所関連画像選択部233Cを備える。
日時関連画像選択部233Aは、素材データベース301に格納された静止画像データ51群から、キー画像の生成日時に関連する生成日時を有する静止画像群を選択(抽出)する。日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時と同一の期間内(例えば、日、月、時期、季節、年等で指定される期間内)に生成された静止画像群を選択(抽出)する。また、日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等(例えば、1年前の同じ日や2年後の同じ月等)に生成された静止画像群を選択(抽出)する。
人物関連画像選択部233Bは、素材データベース301に格納された静止画像データ51群から、キー顔画像(キー画像に含まれる顔画像)に関連する静止画像群を選択(抽出する)する。キー顔画像に関連する静止画像群は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
場所関連画像選択部233Cは、素材データベース301に格納された静止画像データ51群から、キー画像の生成場所に関連する生成場所で生成された静止画像群を選択(抽出)する。
シナリオ決定部234は、作成対象の動画像(例えば、フォトムービー)のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ(タイムセグメント)において使用すべきエフェクト群と使用すべき静止画像群の属性とを示す情報(シナリオ情報)である。つまり、シナリオは、チャプタと称されるタイムセグメント毎にエフェクトと静止画像属性とを規定する。
本実施形態においては、例えば、24種類のシナリオ情報がシナリオデータ303Cとして予めエフェクトデータベース303内に格納されている。シナリオ決定部234は、24種類のシナリオ情報の内の1つのシナリオ情報を、動画像(例えば、フォトムービー)の作成に使用するシナリオとして決定する。シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)が予め用意されている。さらに、スタイル毎に、例えば3種類のシナリオ情報が予め用意されている。シナリオ決定部234は、例えば、ユーザによって選択されたスタイルに対応する3種類のシナリオ情報の内の任意の1つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像(例えば、フォトムービー)のシナリオに決定する。また、ユーザがスタイルを選択する代わりに、シナリオ決定部234が、8種類のスタイル内の任意の1つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)、顔画像の笑顔度、等)に基づいて決定してもよい。
上述のように、選択されたスタイルに対応する3種類のシナリオ情報の内の1つが作成対象の動画像(例えば、フォトムービー)のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。
さらに、シナリオ決定部234は、フォトムービーの作成に使用する音楽も決定する。本実施形態では、複数の音楽が音声データ303Bとしてエフェクトデータベース303に格納されている。シナリオ決定部234は、例えば、選択されたスタイルに応じて、または関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)に応じて、使用する音楽を決定する。なお、使用する音楽はユーザが指定するようにしてもよい。
動画像生成部235は、決定されたシナリオ情報に基づいて、フォトムービーを生成する。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画像属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
動画像再生部236は、エフェクトデータベース303内に格納された、加工編集用のエフェクトデータ303Aを用い、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによって、作成されたフォトムービーを再生する。
なお、決定されたシナリオ情報は、スライドショーの静止画の表示順序を決定するために使用してもよい。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画像属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによってスライドショーで使用する静止画像それぞれとその再生タイミングを決定する。動画像再生部236は、指定された表示順序でスライドショーを再生する。また、このスライドショーの再生時、エフェクトデータ303Aを用いたエフェクトを静止画像に施してもよい。
図5は、フォトムービー作成アプリケーション202によって表示されるメイン画面40の例を示す。メイン画面40は、例えば、「スタイル」ボタン401、「音楽」ボタン402、「主人公」ボタン403、「スタート」ボタン404、ムービー再生画面405、「カレンダー」ボタン406および「設定」ボタン407を備える。
ムービー再生画面405は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面405では、再生制御部23(動画像生成部235)によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図5においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物40A〜40Fが登場する例が示されている。
フォトムービー又はスライドショーの再生中にムービー再生画面405がユーザによるポインティングデバイスの操作によってクリックされた時、フォトムービー作成アプリケーション202は、フォトムービー(スライドショー)の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、フォトムービー作成アプリケーション202は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
「主人公」ボタン403は、生成されるフォトムービー内で注目される人物(主人公)の選択を開始するためのボタンである。キー画像選択部231は、「主人公」ボタン403が押されたことに応答して、キー画像に登場する人物のリスト(顔画像選択画面)を表示する。ユーザは、例えば、ムービー再生画面405を用いてキー画像を選択した後に、「主人公」ボタン403を押して、キー顔画像の選択開始(すなわち、顔画像選択画面の表示)を指示する。
図6は、キー顔画像を選択するための顔画像選択画面41の例を示す。顔画像選択画面41では、キー画像に含まれる顔画像のリスト(顔画像41A〜41D)が表示されている。キー画像選択部231は、キー画像に登場する人物40A〜40Fから、例えば、その人物が出現する静止画像数がしきい値以上である人物(例えば、人物40A〜40D)を選択し、その選択した人物に対応する顔画像41A〜41Dをムービー再生画面405上に表示する。
ユーザは、顔画像選択画面41を用いて、顔画像41A〜41Dから注目する人物の顔画像(ここでは、顔画像41A)を選択する。キー画像選択部231は、選択された顔画像41Aをキー顔画像(主人公)に決定する。なお、選択される顔画像は複数であってもよい。また、顔画像選択画面41を用いて顔画像を選択する操作が行われないとき(例えば、「主人公」ボタン403が押されないとき)、キー画像選択部231は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
図5のメイン画面40上の「スタイル」ボタン401は、フォトムービーのスタイルの選択を開始するためのボタンである。フォトムービー作成アプリケーション202は、「スタイル」ボタン401が押されたことに応答して、スタイル選択画面を表示する。スタイル選択画面上には、上述の8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)のリストが表示される。ユーザは、希望するスタイルを選択することができる。
「音楽」ボタン402は、フォトムービーに用いられる音楽の選択を開始するためのボタンである。フォトムービー作成アプリケーション202は、「音楽」ボタン402が押されたことに応答して、音楽のリスト(音楽選択画面)を表示する。ユーザは、希望する音楽を選択することができる。
「スタート」ボタン404は、フォトムービーの生成及び再生を開始するためのボタンである。フォトムービー作成アプリケーション202は、「スタート」ボタン404が押されたことに応答して、フォトムービーの作成を開始する。そして、フォトムービー作成アプリケーション202は、作成したフォトムービーを再生して、ムービー再生画面405に表示する。
また、キー画像選択部231は、上述のように、カレンダー上に静止画像データ51が配置されたカレンダー画面を用いてキー画像を選択してもよい。「カレンダー」ボタン406は、カレンダー画面を表示するためのボタンである。
図7は、カレンダー画面42の例を示す。カレンダー画面42では、例えば、指定された月のカレンダーが表示され、静止画像データ51の生成日に基づいて、カレンダー上の日毎の欄に静止画像データ51のサムネイル画像(42A〜42C)が表示される。キー画像選択部231は、カレンダー画面42を用いて選択されたサムネイル画像に対応する静止画像データ51をキー画像に決定する。
なお、生成日が同一である静止画像データ51が複数あるとき、カレンダー画面42には、いずれかの静止画像データ51のサムネイル画像が代表画像として表示される。そして、キー画像選択部231は、カレンダー画面42を用いて代表画像が選択されたとき、対応する生成日に生成された複数の静止画像データ51のサムネイル画像のリストを表示する。キー画像選択部231は、このリストから選択されたサムネイル画像に対応する静止画像データ51をキー画像に決定する。また、キー画像選択部231は、カレンダー画面42を用いてキー画像を選択した際にも、上述の顔画像選択画面41を用いてキー顔画像を選択することができる。
ここで、フォトムービーの再生操作の流れについて説明する。フォトムービーはキー画像(メイン画面40上に表示中の画像、またはカレンダー画面を用いて選択された画像)をベースに作成される。
<メイン画面40上に表示中の画像をキー画像に使用する例>
(1)スライドショー/フォトムービー再生中に、メイン画面40をクリック
(2)スタイルを選択(デフォルトはおまかせ)
(3)フォトムービーに使用する音楽を選択(デフォルトはおまかせ)
(4)注目する人物を選択(デフォルトはおまかせ。)
(5)「スタート」ボタン404をクリック
スタイル、音楽、注目する人物がすべておまかせで良い場合は、ユーザは、メイン画面40をクリックして、表示された「スタート」ボタン404をクリックするだけでよい。
<カレンダー画面を用いて選択された画像をキー画像に使用する例>
(1)メイン画面40上の「カレンダー」ボタンをクリック
(2)ベースとする写真を撮影した日付を選択して、写真の一覧を表示
(3)写真の一覧からベースとする写真を選択し、「スタート」ボタン404をクリック
(4)メイン画面40上でスタイルを選択(デフォルトはおまかせ)
(5)メイン画面40上でフォトムービーに使用する音楽を選択(デフォルトはおまかせ)
(6)注目する人物を選択(デフォルトはおまかせ。)
(7)「スタート」ボタン404をクリック
次に、図8を参照して、フォトムービー作成処理の手順の概要について説明する。
フォトムービー作成アプリケーション202は、まず、インデックス情報に基づいて、キー画像(キー顔画像)に関連する静止画像群を素材データベース301から抽出(一次抽出)する(ブロックB101)。ブロックB101では、フォトムービー作成アプリケーション202は、例えば、選択された人物(主人公)に関連する静止画像群を素材データベース301から抽出する。
次に、フォトムービー作成アプリケーション202は、フォトムービーの作成に用いるシナリオを選定する(ブロックB102)。ブロックB102では、フォトムービー作成アプリケーション202は、選択されたスタイルや、ブロックB101で抽出した静止画像群の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ(シーン)において使用されるエフェクトの順番(エフェクト列)および静止画像群の属性(静止画像属性)とを規定する。図8では、フォトムービーのシーケンスが5つのチャプタ(チャプタ1、2、3、4、5)から構成される場合が想定されている。チャプタ1はフォトムービーのオープニングシーンであり、チャプタ5はフォトムービーのエンディングシーンである。各チャプタには、1以上のエフェクト(ここでは2つのエフェクト)が定義され、さらにエフェクト毎に静止画像属性が定義される。
静止画属性としては、例えば、人物属性(顔属性)を使用してもよい。この人物属性としては、例えば、主人公(主役)、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物(顔)を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物(顔)を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物(顔)が脇役となり得る。静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。
図8のシナリオ情報1では、例えば、チャプタ1に2つのエフェクト(エフェクト#1、エフェクト#2)が規定されており、さらに、エフェクト#1には静止画属性「主人公」が、エフェクト#2には静止画属性「主人公 OR 脇役」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「主人公 OR 脇役」は、主人公または脇役のいずれかが登場する静止画像が使用されるべきであることを指定する。静止画属性の他の幾つかの例は以下の通りである。
チャプタ2のエフェクト#11に関連付けられた静止画属性「主人公、脇役」は、主人公と脇役の双方が登場する静止画像が使用されるべきであることを指定する。チャプタ3のエフェクト#6に関連付けられた静止画属性「脇役1、脇役2、脇役3」は、3人の脇役(脇役1、脇役2、脇役3)の全てが登場する静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#3に関連付けられた静止画属性「多人数、笑顔度高」は、閾値以上の人物が登場し且つ笑顔度の高い人物の頻度がある閾値以上である静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#4に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度が閾値以上である静止画像が使用されるべきであることを指定する。このように、人物属性は、各チャプタに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定することができる。
次いで、フォトムービー作成アプリケーション202は、ブロックB101で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する1以上の静止画像をさらに抽出(本抽出)する(ブロックB103)。そして、フォトムービー作成アプリケーション202は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する(ブロックB104)。ブロックB104では、フォトムービー作成アプリケーション202は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
続いて、図9乃至図13に、フォトムービー作成アプリケーションプログラム202によってエフェクトが施されて表示される画像のいくつかの例を示す。
図9および図10は、静止画像に登場する人物の顔画像を強調するためのエフェクトの例を示している。図9に示す静止画像43では、人物43Aの顔画像にスポットを当てるためのエフェクト44Bが施されている。例えば、静止画像43において、人物43Aが主人公で、他の2人が脇役である場合、「脇役1」、「脇役2」、「主人公」という順でスポットを順次当てる3段階スポットライトのようなエフェクトを使用することも出来る。また、図10に示す静止画像44では、人物44Aの顔画像に対して、人物44Aを強調するためのエフェクト44Bが施されている。エフェクト44Bは、顔画像を囲むイラスト(オブジェクト)を顔画像に重畳している。
また、図11および図12は、複数の静止画像にエフェクトが施される例を示す。図11に示す画面45および図12に示す画面46では、複数の静止画像に対して、それら静止画像を組み合わせて表示するためのエフェクトが施されている。このエフェクトは、複数の静止画像の配置、サイズ、モーション等を決定している。
そして、図13は、複数の静止画像の各々に登場する人物の顔画像にエフェクトが施される例を示す。図13に示す画面47では、複数の静止画像から切り出された顔画像47A〜47Dが表示され、各顔画像が画面47上を移動するエフェクトが施されている。
ここで、概要については前述した、新しい静止画像が写真フォルダーに格納されたことを契機とする種々の動作を実現するための仕組みの詳細について説明する。以下、写真フォルダーに格納された新しい静止画像を新着写真と称することがある。
図14は、フォトムービー作成アプリケーションプログラム202の新着写真に関する機能構成を示すブロック図である。
図14中、「監視フォルダー」は、監視部21が新着写真がないかを監視する対象とする素材データベース301内に設けられる写真フォルダーに対応する。再生制御部23は、この「監視フォルダー」を設定するためのユーザインタフェースを提供する。また、「DB」は、インデックス情報302Aを格納する素材情報データベース302およびエフェクトデータ303A、音声データ303B、シナリオデータ303C等を格納するエフェクトデータベース303に対応する。
図5に示したメイン画面40上の「設定」ボタン407が操作されると、再生制御部23は、図15に示す設定画面48を表示する。設定画面48には、「写真フォルダーの設定」ボタン48Aおよび「新着写真の処理」ボタン48Bを含む各種設定用のボタンが複数配置されている。そして、この設定画面48上の「写真フォルダーの設定」ボタン48Aが操作されると、再生制御部23は、図16に示す写真フォルダーの設定画面49を表示する。
この写真フォルダーの設定画面49において、ユーザは、監視部21に新着写真の有無を監視させたい写真フォルダー、つまり監視フォルダーを設定する。写真フォルダーは、複数設定することができる。監視部21は、この写真フォルダーの設定画面49上で監視フォルダーとして設定された写真フォルダーに新着写真がないかを監視し、新着写真を検知したら、検知した新着写真の情報を素材情報データベース302に登録する。より具体的には、図4に示したインデックス情報302Aの空きエントリに新着写真を割り当て、画像ID、生成日時(撮影日時)、生成場所(撮影場所)を格納する。この素材情報データベース302への登録後、監視部21は、新着写真を検知した旨を再生制御部23に通知する。
なお、監視部21は、監視フォルダーとして設定された写真フォルダーに新着写真が格納された場合のほか、例えば、既存の写真フォルダーを新たに監視フォルダーとして追加すべく設定が行われた場合においても、当該既存の写真フォルダーに格納された写真を新着写真として検知する。
また、再生制御部23は、この通知を受けた際、つまり新着写真が検知された際の動作手順を設定するためのユーザインタフェースを提供する。図15に示した設定画面48上において、「新着写真の処理」ボタン48Bが操作されると、再生制御部23は、図17に示す新着写真の処理画面50を表示する。
図17に示すように、新着写真の処理画面50には、「自動」ボタン50A、「確認」ボタン50Bおよび「手動」ボタン50Cが配置されている。この3つのボタン50A〜50Cは、いずれか1つのみを排他的に選択することのできるラジオボタンとして新着写真の処理画面50上に設けられる。
「自動」ボタン50Aは、新着写真が検知された場合、インデキシングを自動的に開始するように動作設定するためのボタンである。「確認」ボタン50Bは、新着写真が検知された場合、インデキシングを開始するかどうかを確認するための表示を行い、インデキシングを開始する指示が行われたら、インデキシングを開始するように動作設定するためのボタンである。インデキシングを開始する指示が行われなかった場合には、インデキシングが未実行の写真が存在することを示し、かつ、それらを対象とするインデキシングの開始を指示するためのオブジェクトが表示される。「手動」ボタン50Cは、新着写真が検知された場合、前記「インデキシングが未実行の写真が存在することを示し、かつ、それらを対象とするインデキシングの開始を指示するためのオブジェクト」の表示のみを行うように動作設定するためのボタンである。
いま、新着写真の処理画面50上において、「自動」ボタン50Aが選択されたものと想定する。この場合、監視部21からの新着通知を受けた再生制御部23は、インデキシング部22に対し、新着写真に対するインデキシングの開始を即時的に指示する。また、これと同時に、再生処理部23は、新着写真を対象としたスライドショーを開始する。これにより、監視フォルダーに新着写真を格納するだけで、当該新着写真を対象としたスライドショーを観賞することができ、また、新着写真に対するインデキシングの処理期間を当該スライドショーの表示期間によって隠蔽することができる。
新着写真に対するインデキシングが完了すると、インデキシング部22は、インデキシング結果(イベントID、顔画像情報)を素材情報データベース302に登録し、インデキシング完了を再生制御部23に通知する。一方、このインデキシング部22からのインデキシング完了通知を受けた再生制御部23は、生成されたインデックス情報302Aを使って、新着写真を対象としたフォトムービーを作成し、表示中の(新着写真を対象とした)スライドショーに代えて、当該作成したフォトムービーの表示を開始する。これにより、煩雑な作業を何ら行うことなく、ユーザは、続いて、新着写真を対象としたフォトムービーをも観賞することができる。つまり、新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを速やかに観賞することを実現する。また、この新着写真を対象としたフォトムービーの表示終了後、監視フォルダー内のすべての写真を対象としたフォトムービーの作成および再生をさらに行っても良い。
図18は、新しい静止画像が写真フォルダーに格納されたことを契機とする種々の動作のタイミングチャートである。
新着写真を検知すると(図18の(1))、(新着写真の処理画面50上で「自動」ボタン50Aが選択されている場合)当該新着写真を対象とした(インデックス情報302Aを必要としない)スライドショーが開始され(図18の(2))、同時に、当該新着写真に対するインデキシングが開始される(図18の(3))。
インデキシングが完了すると、新着写真を対象としたスライドショーに代えて、(インデックス情報302Aを用いて作成される)同じく新着写真を対象としたフォトムービーを開始し(図18の(4))、続いて、写真フォルダー内のすべての写真を対象としたフォトムービーを開始する(図18の(5))。
なお、ここでは、新着写真の処理画面50上で「自動」ボタン50Aが選択されている場合を前提として説明したが、「確認」ボタン50Bが選択されてインデキシングの開始が指示された時や、「確認」ボタン50Bが選択されているがインデキシングの開始は指示されず、その後に、「インデキシングが未実行の写真が存在することを示し、かつ、それらを対象とするインデキシングの開始を指示するためのオブジェクト」経由でインデキシングの開始が指示された時、あるいは、「手動」ボタン50Cが選択されて前記「インデキシングが未実行の写真が存在することを示し、かつ、それらを対象とするインデキシングの開始を指示するためのオブジェクト」経由でインデキシングの開始が指示された時においても、インデキシングの開始と共にスライドショーが開始され、また、フォトムービーが開始されるといった同様の動作が行われる。
また、再生制御部23は、インデキシング部22によるインデキシング中に表示するスライドショーの各新着写真上に、図19に示すように、インデキシング中であることをユーザに知らせるためのオブジェクトa1を表示する。
図20は、フォトムービー作成アプリケーションプログラム202によって実行される新着写真に関する処理手順の例を示すフローチャートである。
監視部21は、写真フォルダーを監視し(ブロックS1)、新着写真が存在しないかを調べる(ブロックS2)。新着写真を検知した場合(ブロックS2のYES)、監視部21は、その旨を再生制御部23に通知する。
この通知を受け取った再生制御部23は、新着写真検知時の動作として「自動」が設定されていた場合(ステップS3のYES)、当該新着写真を対象としたスライドショーを開始し(ステップS8)、同時に、当該新着写真に対するインデキシングの開始をインデキシング部22に指示する(ステップS9)。この指示を受けて新着写真に対するインデキシングを開始したインデキシング部22は、インデキシングが完了した際(ステップS10のYES)、その旨を再生制御部23に通知する。
このインデキシング完了の通知を受けた再生制御部23は、新着写真を対象としたスライドショーを終了し(ステップS11)、これに代えて、生成されたインデックス情報302Aを用いて、まず、新着写真を対象としたフォトムービーを作成して再生し(ステップS12)、続いて、写真フォルダー内のすべての写真を対象としたフォトムービーを作成して再生する(ステップS13)。
一方、新着写真検知時の動作として「確認」が設定されていた場合(ステップS3のNO,ステップS4のYES)、再生制御部23は、インデキシングを開始するか否かを問い合わせるためのメッセージを表示する(ステップS6)。インデキシングの開始を指示された場合(ステップS7のYES)、再生制御部23は、前述のステップS8〜ステップS13の処理を実行する。インデキシングの開始を指示されなかった場合には(ステップS7のNO)、再生制御部23は、(インデキシング未実行の)新着写真の存在を通知するためのオブジェクトを表示する(ステップS5)。また、新着写真検知時の動作として「手動」が設定されていた場合にも(ステップS4のNO)、再生制御部23は、このステップS5の処理を実行する。また、再生制御部23は、このステップS5において表示されたオブジェクト経由でインデキシングの開始を指示されたタイミングで、前述のステップS8〜ステップS13の処理を実行する。
このように、監視フォルダーに新着写真が存在しないかを監視し、新着写真を検出したことを契機として、インデキシングを開始すると共に、新着写真を対象としたスライドショーを開始し、インデキシング完了後、新着写真を対象としたフォトムービーを開始することにより、新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを観賞するための手間を軽減し、かつ、当該新たに取り込んだ静止画像を対象としたスライドショーやフォトムービーを速やかに観賞することを実現する。
次に、図21乃至図25のフローチャートを参照して、フォトムービー作成アプリケーションプログラム202の動作手順を説明する。
顔画像検出部221は、静止画像データ51に含まれる顔画像を検出する(ブロックB11)。顔画像検出部221は、静止画像(静止画像データ51)に登場する人物の顔画像に対応する領域を検出し、当該領域の静止画像内における位置及びサイズを検出する。そして、顔画像検出部221は検出した顔画像を分析する(ブロックB12)。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する(ブロックB13)。クラスタリング部222は、顔画像に対して、対応する人物の識別情報(人物ID)を付与する。そして、クラスタリング部222は、顔画像検出部221によって検出された顔画像を示す情報と、顔画像に付与された人物IDを示す情報とをインデックス情報生成部224に出力する。
また、イベント検出部223は、静止画像データ51に対応するイベントを検出する(ブロックB14)。イベント検出部223は、静止画像データ51に対して、分類されたイベントの識別情報(イベントID)を付与する。そして、イベント検出部223は、静止画像データ51に付与されたイベントIDをインデックス情報生成部224に出力する。
インデックス情報生成部224は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する(ブロックB15)。インデックス情報302Aは、静止画像データ51の生成日時、生成場所及びイベントID、並びに該静止画像データ51に含まれる顔画像を示す顔画像情報を含む。また、この顔画像情報は、例えば、顔画像(例えば、顔画像に対応するデータの格納場所)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像データ51に複数の顔画像が含まれるとき、インデックス情報302Aは、複数の顔画像に対応する複数の顔画像情報を含む。インデックス情報生成部224は、生成したインデックス情報302Aを素材情報データベース302に格納する(ブロックB16)。
以上の処理により、フォトムービー作成アプリケーションプログラム202に入力された静止画像データ51が素材データベース301に格納され、当該静止画像データ51に対応するインデックス情報302Aが素材情報データベース302に格納される。
また、図22は、フォトムービー作成アプリケーションプログラム202によって実行される動画像生成処理の手順の例を示すフローチャートである。フォトムービー作成アプリケーション202は、フォトムービー及びスライドショーのいずれかの動画像を再生する。
まず、キー画像選択部231はキー画像選択処理を実行する(ブロックB201)。キー画像選択部231は、素材データベース301に格納された静止画像データ51からキー画像を選択する。このキー画像は、素材データベース301から、再生する動画像(フォトムービー又はスライドショー)に用いられる静止画像データ51を抽出するための抽出キーとして用いられる。キー画像選択部231は、選択したキー画像を示す情報を関連画像選択部233に出力する。キー画像選択処理の詳細な手順は、図23及び図24を参照して後述する。
次いで、関連画像選択部233は、キー画像選択部231によって選択されたキー画像を用いて、関連画像選択処理を実行する(ブロックB202)。関連画像選択部233は、素材データベース301から、キー画像に関連する静止画像データ51を選択する。キー画像に関連する静止画像データ51は、キー画像に対して、例えば、日時、人物又は場所の関連を有する静止画像データ51である。関連画像選択部233は、選択したキー画像に関連する静止画像データ51を示す情報を、エフェクト選択部234に出力する。関連画像選択処理の詳細な手順は、図25を参照して後述する。
エフェクト選択部234は、表示モードがフォトムービーモードとスライドショーモードのいずれであるかを判定する(ブロックB203)。この表示モードは、再生される動画像がフォトムービーとスライドショーのいずれであるかを示す。なお、表示モードはユーザによって変更され得る。また、予め設定された表示モードに対応する動画像を再生することや、所定の条件に基づいて表示モードを切り替えることもできる。
表示モードがフォトムービーモードであると判定された場合(ブロックB203のフォトムービー)、エフェクト選択部234は、関連画像選択部233によって選択された静止画像データ51に基づいて、エフェクトデータ303Aと音声データ303Bとを選択する(ブロックB204)。エフェクト選択部234は、選択された静止画像データ51に適したエフェクトデータ303Aと音声データ303Bとを選択する。エフェクト選択部234は、選択された静止画像データ51、エフェクトデータ303A及び音声データ303Bを示す情報を動画像生成部235に出力する。
動画像生成部235は、関連画像選択部233によって選択された静止画像データ51と、エフェクト選択部234によって選択されたエフェクトデータ303A(シナリオデータ303C)及び音声データ303Bとを用いてフォトムービーを作成する(ブロックB205)。動画像生成部235は、生成したフォトムービーを動画像再生部236に出力する。
動画像再生部236は、動画像生成部235によって生成されたフォトムービーに基づいて、フォトムービーに用いられる静止画像データ51を素材データベース301から抽出し、フォトムービーに用いられるエフェクトデータ303A及び音声データ303Bをエフェクトデータベース303から抽出する(ブロックB206)。動画像再生部236は、抽出した静止画像データ51、エフェクトデータ303A及び音声データ303Bを用いて、フォトムービーを再生し、画面(LCD17)に表示する(ブロックB207)。そして、ブロックB201のキー画像選択処理に戻り、キー画像選択部231は、例えば、表示されているフォトムービーから選択された静止画像データ51を新たなキー画像に決定する。
一方、表示モードがスライドショーモードであると判定された場合(ブロックB203のスライドショー)、動画像生成部235は、関連画像選択部233によって選択された静止画像データ51を用いてスライドショーを作成する(ブロックB208)。動画像生成部235は、生成したスライドショーを動画像再生部236に出力する。
動画像再生部236は、動画像生成部235によって生成されたスライドショーに基づいて、スライドショーに用いられる静止画像データ51を素材データベース301から抽出する(ブロックB209)。そして、動画像再生部236は、抽出した静止画像データ51を用いて、スライドショーを再生し、画面(LCD17)に表示する(ブロックB210)。スライドショーでは、抽出された静止画像データ51が所定のタイミングで順次表示される。そして、ブロックB201のキー画像選択処理に戻り、キー画像選択部231は、例えば、表示されているスライドショーから選択された静止画像データ51を新たなキー画像に決定する。
以上の処理により、フォトムービー作成アプリケーションプログラム202は、キー画像に関連する静止画像データ51を用いたスライドショー又はフォトムービーを表示できる。キー画像に関連する静止画像データ51を用いることにより、思いがけない静止画像等を含む動画像をユーザに提示することができる。
図23のフローチャートは、キー画像選択部231によって実行されるキー画像選択処理(図22のブロックB201)の手順の例を示す。ここでは、画面に表示されている動画像(フォトムービー又はスライドショー)からキー画像が選択されることを想定する。
まず、キー画像選択部231は、表示されている動画像から画像が選択されたか否かを判定する(ブロックB31)。キー画像選択部231は、例えば、画面に表示中の画像をクリックする操作を検出したとき、当該画像がキー画像に選択されたものと判定する。画像が選択されていない場合(ブロックB31のNO)、キー画像選択部231はブロックB31の処理に戻り、再度、画像が選択されたか否かを判定する。画像が選択された場合(ブロックB31のYES)、キー画像選択部231は、選択された画像をキー画像に決定する(ブロックB32)。
次いで、キー画像選択部231は、顔画像選択画面41を表示するか否かを判定する(ブロックB33)。キー画像選択部231は、例えば、顔画像選択画面41の表示を指示するボタンが押されたとき、顔画像選択画面41を表示すると判定する。キー画像選択部231は、例えば、キー画像を確定するボタンが押されたとき、顔画像選択画面41を表示しないと判定する。
顔画像選択画面41を表示すると判定された場合(ブロックB33のYES)、キー画像選択部231は顔画像選択画面41を表示する(ブロックB34)。顔画像選択画面41は、例えば、決定されたキー画像に含まれる顔画像のリストを表示する画面である。ユーザは、表示された顔画像のリストから、注目する人物(主人公)の顔画像を選択する操作を行う。そして、キー画像選択部231は、顔画像選択画面41(顔画像のリスト)から選択された顔画像をキー顔画像に決定する(ブロックB35)。なお、顔画像選択画面41を用いて選択される顔画像は、複数であってもよい。
顔画像選択画面41を表示しないと判定された場合(ブロックB32のNO)、キー画像選択部231は、キー画像に含まれるすべての顔画像をキー顔画像に決定する(ブロックB36)。なお、キー画像選択部231は、キー画像に含まれる顔画像から、顔画像の位置、サイズ、鮮明度等に基づく条件を満たす顔画像を選択して、キー顔画像に決定してもよい。
ブロックB35又はブロックB36でキー顔画像を決定した後、キー画像選択部231は、決定したキー画像及びキー顔画像を示す情報を関連画像選択部233に出力する(ブロックB37)。
以上の処理により、キー画像選択部231は、再生中の動画像(フォトムービー)又はスライドショー及び顔画像選択画面41を用いて、静止画像データ51を抽出するためのキー画像及びキー顔画像を決定することができる。関連画像選択部233は、決定されたキー画像及びキー顔画像に基づいて、素材データベース301に格納された静止画像データ51から、キー画像及びキー顔画像に関連する静止画像データ51を選択する。
また、図24のフローチャートは、キー画像選択部231によって実行されるキー画像選択処理(図22のブロックB201)の手順の別の例を示す。ここでは、カレンダー画面42を用いて、キー画像が選択されることを想定する。
まず、カレンダー表示部232は、生成日時に基づいて静止画像データ51が配置されたカレンダー画面42を表示する(ブロックB41)。カレンダー表示部232は、例えば、カレンダー画面42に設けられた日毎の欄に、対応する生成日を有する静止画像データ51のサムネイル画像を表示する。カレンダー表示部232は、対応する生成日を有する静止画像データ51が複数存在するときには、それら複数の静止画像データ51の内の、1つの静止画像データ51のサムネイル画像(代表サムネイル画像)を表示する。ユーザは、カレンダー画面42を用いて、サムネイル画像が表示されている欄に対応する生成日から、いずれかの生成日を選択する。
次に、カレンダー表示部232は、生成日が選択されたか否かを判定する(ブロックB42)。カレンダー表示部232は、例えば、カレンダー画面42上の日毎の欄がクリックされたことを検出したとき、生成日が選択されたと判定する。生成日が選択されていないとき(ブロックB42のNO)、カレンダー表示部232は、ブロックB42の処理に戻り、再度、生成日が選択されたか否かを判定する。
生成日が選択されているとき(ブロックB42のYES)、カレンダー表示部232は、選択された生成日に生成された静止画像データ51が複数存在するか否かを判定する(ブロックB43)。選択された生成日に生成された静止画像データ51が複数存在する場合(ブロックB43のYES)、カレンダー表示部232は、それら複数の静止画像データ51の各々に対応するサムネイル画像のリストを画面に表示する(ブロックB44)。そして、カレンダー表示部232は、表示されたリストから画像が選択されたか否かを判定する(ブロックB45)。リストから画像が選択されていない場合(ブロックB45のNO)、カレンダー表示部232は、ブロックB45に戻り、再度、リストから画像が選択されたか否かを判定する。リストから画像が選択されている場合(ブロックB45のYES)、キー画像選択部231は、選択された画像をキー画像に決定する(ブロックB46)。
選択された生成日に生成された静止画像データ51が複数存在しない場合(すなわち、選択された生成日に生成された静止画像データ51が1つである場合)(ブロックB43のNO)、キー画像選択部231は、選択された生成日に生成された1つの静止画像データ51をキー画像に決定する(ブロックB47)。
ブロックB46又はブロックB47でキー画像が決定された後、キー画像選択部231は、顔画像選択画面41を表示するか否かを判定する(ブロックB48)。キー画像選択部231は、例えば、顔画像選択画面41の表示を指示するボタンが押されたとき、顔画像選択画面41を表示すると判定する。キー画像選択部231は、例えば、キー画像を確定するボタンが押されたとき、顔画像選択画面41を表示しないと判定する。
顔画像選択画面41を表示すると判定された場合(ブロックB48のYES)、キー画像選択部231は顔画像選択画面41を表示する(ブロックB49)。顔画像選択画面41は、例えば、決定されたキー画像に含まれる顔画像のリストを表示する画面である。ユーザは、表示された顔画像のリストから、注目する人物(主人公)の顔画像を選択する操作を行う。そして、キー画像選択部231は、顔画像選択画面41(顔画像のリスト)から選択された顔画像をキー顔画像に決定する(ブロックB50)。なお、顔画像選択画面41を用いて選択される顔画像は、複数であってもよい。
顔画像選択画面41を表示しないと判定された場合(ブロックB48のNO)、キー画像選択部231は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に決定する(ブロックB51)。キー画像選択部231は、例えば、キー画像に含まれる顔画像から、顔画像の位置、サイズ、鮮明度等に基づく条件を満たす顔画像を選択して、キー顔画像に決定してもよい。
ブロックB50又はブロックB51でキー顔画像を決定した後、キー画像選択部231は、決定したキー画像及びキー顔画像を示す情報を関連画像選択部233に出力する(ブロックB52)。
以上の処理により、キー画像選択部231は、カレンダー画面42及び顔画像選択画面41を用いて、静止画像データ51を抽出するためのキー画像及びキー顔画像を決定することができる。関連画像選択部233は、決定されたキー画像及びキー顔画像に基づいて、素材データベース301に格納された静止画像データ51から、キー画像及びキー顔画像に関連する静止画像データ51を選択する。なお、キー画像は、上述の再生中の動画像やカレンダー画面42から選択する処理に限らず、例えば、素材データベース301に格納された静止画像データ51を示すリストから選択されてもよい。
また、図25は、関連画像選択部233によって実行される関連画像選択処理(図22のブロックB202)の手順の例を示すフローチャートである。
まず、日時関連画像選択部233Aは、素材データベース301に格納された静止画像データ51から、キー画像が生成された日時に関連する日時に生成された静止画像データ51を選択する(ブロックB61)。次に、人物関連画像選択部233Bは、素材データベース301に格納された静止画像データ51から、キー顔画像に関連する人物の顔画像を含む静止画像データ51を選択する(ブロックB62)。そして、場所関連画像選択部233Cは、素材データベース301に格納された静止画像データ51から、キー画像が生成された場所に関連する場所で生成された静止画像データ51を選択する(ブロックB63)。
関連画像選択部233は、日時関連画像選択部233A、人物関連画像選択部233B及び場所関連画像選択部233Cの各々で選択された静止画像データ51を示す情報をエフェクト選択部234に出力する(ブロックB64)。
以上の処理により、関連画像選択部233は、キー画像及びキー顔画像に関連する静止画像データ51を選択する。動画像生成部235は、選択された静止画像データ51を用いて、動画像(フォトムービー)又はスライドショーを生成する。
以上説明したように、本実施形態によれば、監視フォルダーとして設定した写真フォルダーに新着写真を格納するだけで、当該新着写真を対象としたスライドショーやフォトムービーを手軽かつ速やかに観賞することを実現できる。
なお、本実施形態の画像表示処理の手順は全てソフトウェアによって実行することができる。このため、画像表示処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
109…HDD、202…フォトムービー作成アプリケーションプログラム、21…監視部、22…インデキシング部、221…顔画像検出部、222…クラスタリング部、223…イベント検出部、224…インデックス情報生成部、23…再生制御部、231…キー画像選択部、232…カレンダー表示部、233…関連画像選択部、233A…日時関連画像抽出部、233B…人物関連画像抽出部、233C…場所関連画像抽出部、234…シナリオ決定部、235…動画像生成部、236…動画像再生部、301…素材データベース、51…静止画像データ、302…素材情報データベース、302A…インデックス情報、303…エフェクトデータベース、303A…エフェクトデータ、303B…音声データ、303C…シナリオデータ。

Claims (18)

  1. 記憶領域の中の1以上の静止画像に関するフォトムービー作成用のインデックス情報を作成するインデキシング手段と、
    前記1以上の静止画像を含むスライドショーを作成し、前記作成されたスライドショーを表示するスライドショー処理手段と、
    前記インデックス情報に基づき、前記1以上の静止画像を含むフォトムービーを作成し、前記作成されたフォトムービーを表示するフォトムービー処理手段と、
    前記記憶領域を監視して1以上の新たな静止画像が追加されたか否かを監視し、1以上の新たな静止画像が検出された場合、前記1以上の新たな静止画像を順次表示するスライドショーを前記スライドショー処理手段に実行させ、前記スライドショー処理手段によるスライドショーの表示と並行して、前記1以上の新たな静止画像に関するインデックス情報の作成を前記インデキシング手段に実行させるインデキシング制御手段と
    を具備する電子機器。
  2. 前記インデキシング制御手段は、前記インデキシング手段が前記1以上の新たな静止画像に関するインデックス情報の作成を完了させたときに、前記スライドショー処理手段に前記スライドショーを終了させる請求項1記載の電子機器。
  3. 前記インデキシング制御手段は、前記スライドショー処理手段が前記スライドショーを終了させる際、前記1以上の新たな静止画像を含む第のフォトムービーの作成および前記作成された第のフォトムービーの表示を前記フォトムービー処理手段に実行させる請求項2記載の電子機器。
  4. 前記インデキシング制御手段は、前記第のフォトムービーが終了したときに、前記1以上の新たな静止画像が追加される前より前記記憶領域に格納されていた前記1以上の静止画像と前記1以上の新たな静止画像とを含む第のフォトムービーの作成および前記作成された第のフォトムービーの表示を前記フォトムービー処理手段に実行させる請求項3記載の電子機器。
  5. 前記インデキシング制御手段は、前記1以上の新たな静止画像が前記記憶領域に追加された場合、前記インデキシング情報が作成されるべきか否かを示す入力を求めるメッセージを表示し、前記インデキシング情報が作成されるべきであることを示す入力を得た場合に、前記1以上の新たな静止画像に関するインデックス情報の作成を前記インデキシング手段に実行させる請求項1記載の電子機器。
  6. 前記1以上の新たな静止画像が前記記憶領域に追加されたときに前記インデキシング手段が前記インデキシング情報を自動的に作成すべきか否かを示す第1のモードを設定するユーザインタフェース手段をさらに具備する請求項1記載の電子機器。
  7. 前記インデキシング制御手段は、前記第1のモードが設定されておらず、かつ、前記1以上の新たな静止画像が前記記憶領域に追加された場合、前記インデキシング情報が作成されるべきか否かを示す入力を求めるメッセージを表示し、前記インデキシング情報が作成されるべきであることを示す入力を得た場合に、前記1以上の新たな静止画像に関するインデックス情報の作成を前記インデキシング手段に実行させる請求項6記載の電子機器。
  8. 前記ユーザインタフェース手段は、1以上の静止画像を格納する少なくとも1つの記憶領域を指定し、
    前記インデキシング制御手段は、前記ユーザインタフェース手段によって指定された前記少なくとも1つの記憶領域に新たな静止画像が格納されたか否か、および、前記ユーザインタフェース手段によって新たな記憶領域が指定されたか否かを監視する
    請求項6記載の電子機器。
  9. 前記インデクスシング制御手段は、前記インデキシング手段が前記インデックス情報の作成中、前記スライドショーの中で表示される静止画面上にインデックス情報の作成中であることを示すオブジェクトを表示する請求項1記載の電子機器。
  10. 記憶領域の中の1以上の静止画像に関するフォトムービー作成用のインデックス情報を作成するインデキシング手段と、前記1以上の静止画像を含むスライドショーを作成し、前記作成されたスライドショーを表示するスライドショー処理手段と、前記インデックス情報に基づき、前記1以上の静止画像を含むフォトムービーを作成し、前記作成されたフォトムービーを表示するフォトムービー処理手段とを有する電子機器のインデキシング制御方法であって、
    1以上の新たな静止画像が前記記憶領域に追加されたか否かを監視し、
    1以上の新たな静止画像が検出された場合、前記1以上の新たな静止画像を順次表示するスライドショーを前記スライドショー処理手段に実行させ、前記スライドショー処理手段によるスライドショーの表示と並行して、前記1以上の新たな静止画像に関するインデックス情報作成を前記インデキシング手段に実行させる
    インデキシング制御方法。
  11. さらに、前記インデキシング手段が前記インデックス情報の作成を完了させたときに、前記スライドショーを終了させる請求項10記載のインデキシング制御方法。
  12. さらに、前記フォトムービー処理手段によって、前記1以上の新たな静止画像を含む第のフォトムービーを作成し、
    前記スライドショーが終了した際、前記作成された第のフォトムービーを表示する
    請求項11記載のインデキシング制御方法。
  13. さらに、前記フォトムービー処理手段によって、前記1以上の新たな静止画像が追加される前より前記記憶領域に格納されていた前記1以上の静止画像と前記1以上の新たな静止画像とを含む第のフォトムービーを作成し、
    前記第のフォトムービーが終了したときに、前記作成された第のフォトムービーを表示する
    請求項12記載のインデキシング制御方法。
  14. さらに、前記1以上の新たな静止画像が前記記憶領域に追加された場合、前記インデキシング情報が作成されるべきか否かを示す入力を求めるメッセージを表示する請求項10記載のインデキシング制御方法。
  15. さらに、前記1以上の静止画像が前記記憶領域に追加されたときに前記インデキシング手段が前記インデキシング情報を自動的に作成すべきか否かを示す第1のモードを設定する請求項10記載のインデキシング制御方法。
  16. さらに、前記第1のモードが設定されておらず、かつ、前記1以上の新たな静止画像が前記記憶領域に追加された場合、前記インデキシング情報が作成されるべきか否かを示す入力を求めるメッセージを表示する請求項15記載のインデキシング制御方法。
  17. さらに、1以上の静止画像を格納する少なくとも1つの記憶領域を指定し、
    前記監視することは、指定された前記少なくとも1つの記憶領域に新たな静止画像が格納されたか否か、および、新たな記憶領域が指定されたか否かをさらに監視する
    請求項15記載のインデキシング制御方法。
  18. さらに、前記インデキシング手段が前記インデックス情報の作成中、前記スライドショーの中で表示される静止画面上にインデックス情報の作成中であることを示すオブジェクトを表示する請求項10記載のインデキシング制御方法。
JP2010136535A 2010-06-15 2010-06-15 電子機器およびインデキシング制御方法 Active JP4988012B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010136535A JP4988012B2 (ja) 2010-06-15 2010-06-15 電子機器およびインデキシング制御方法
US13/161,393 US20110305437A1 (en) 2010-06-15 2011-06-15 Electronic apparatus and indexing control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010136535A JP4988012B2 (ja) 2010-06-15 2010-06-15 電子機器およびインデキシング制御方法

Publications (2)

Publication Number Publication Date
JP2012004746A JP2012004746A (ja) 2012-01-05
JP4988012B2 true JP4988012B2 (ja) 2012-08-01

Family

ID=45096287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010136535A Active JP4988012B2 (ja) 2010-06-15 2010-06-15 電子機器およびインデキシング制御方法

Country Status (2)

Country Link
US (1) US20110305437A1 (ja)
JP (1) JP4988012B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
JP6459256B2 (ja) * 2014-07-07 2019-01-30 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
WO2016048465A1 (en) * 2014-09-22 2016-03-31 Technicolor Usa, Inc Use of depth perception as indicator of search, user interest or preference
JP7128665B2 (ja) * 2018-06-11 2022-08-31 富士フイルム株式会社 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
CN113994652A (zh) * 2019-04-03 2022-01-28 三星电子株式会社 电子设备及其控制方法
US11061525B2 (en) * 2019-05-16 2021-07-13 Microsoft Technology Licensing, Llc Digital map calendar user interface
US11151104B2 (en) 2019-05-16 2021-10-19 Microsoft Technology Licensing, Llc Time systems as data
US11645628B2 (en) 2019-05-16 2023-05-09 Microsoft Technology Licensing, Llc Translation of time between calendar systems
US11120407B2 (en) 2019-05-16 2021-09-14 Microsoft Technology Licensing, Llc Real time collaboration in calendar
US11681424B2 (en) 2021-05-14 2023-06-20 Microsoft Technology Licensing, Llc Map calendar graphical user interface with content-variable view levels
US11514405B1 (en) 2021-05-14 2022-11-29 Microsoft Technology Licensing, Llc Map calendar graphical user interface with dynamic time mold functionality

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148771A (ja) * 1998-11-06 2000-05-30 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2005039359A (ja) * 2003-07-16 2005-02-10 Konica Minolta Photo Imaging Inc 画像再生装置及びプログラム
JP4221308B2 (ja) * 2004-01-15 2009-02-12 パナソニック株式会社 静止画再生装置、静止画再生方法及びプログラム
JP2007201935A (ja) * 2006-01-27 2007-08-09 Canon Inc 画像処理装置の制御方法及び画像処理装置
EP1830361A1 (en) * 2006-03-02 2007-09-05 Sony Corporation Image displaying method and video playback apparatus
JP4826334B2 (ja) * 2006-05-12 2011-11-30 株式会社ニコン 画像受信装置及び画像撮影システム
JP4818178B2 (ja) * 2007-03-27 2011-11-16 キヤノン株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラム
US20090100068A1 (en) * 2007-10-15 2009-04-16 Ravi Gauba Digital content Management system
US7996432B2 (en) * 2008-02-25 2011-08-09 International Business Machines Corporation Systems, methods and computer program products for the creation of annotations for media content to enable the selective management and playback of media content
JP5228655B2 (ja) * 2008-07-09 2013-07-03 株式会社ニコン デジタルフォトフレーム

Also Published As

Publication number Publication date
US20110305437A1 (en) 2011-12-15
JP2012004746A (ja) 2012-01-05

Similar Documents

Publication Publication Date Title
JP4988012B2 (ja) 電子機器およびインデキシング制御方法
JP4988011B2 (ja) 電子機器及び画像処理方法
JP4940345B2 (ja) 電子機器及び画像処理方法
TWI522823B (zh) 用於跨多種裝置之智慧型媒體展示技術
JP5017424B2 (ja) 電子機器及び画像処理方法
KR20160098949A (ko) 동영상 생성 방법, 장치 및 컴퓨터 프로그램
JP2013171373A (ja) 情報処理装置、システムおよび情報処理方法
JP4768846B2 (ja) 電子機器及び画像表示方法
JP4940333B2 (ja) 電子機器及び動画像再生方法
CN112417180B (zh) 生成影集视频的方法、装置、设备及介质
JP2012004747A (ja) 電子機器および画像表示方法
JP2011217183A (ja) 電子機器、画像出力方法及びプログラム
JP5225330B2 (ja) 電子機器及び画像処理方法
JP2006031666A (ja) 電子文書閲覧システム
JP5060636B1 (ja) 電子機器、画像処理方法及びプログラム
JP2011244343A (ja) 電子機器及び動画像生成方法
JP5479198B2 (ja) 電子機器及び画像処理プログラム
JP5550688B2 (ja) 電子機器、コンテンツ送信方法及びプログラム
JP5558187B2 (ja) 電子機器及び画像処理プログラム
JP2011193386A (ja) 電子機器及び画像処理方法
JP2012231470A (ja) 電子機器及び画像処理方法
KR102050594B1 (ko) 전자장치에서 콘텐츠 재생 방법 및 장치
KR20190133653A (ko) 전자장치에서 콘텐츠 재생 방법 및 장치
JP2011243212A (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP2018007081A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20111004

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20111216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120425

R151 Written notification of patent or utility model registration

Ref document number: 4988012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350