JP4043472B2 - ビデオコンテンツ作成装置 - Google Patents

Description

この発明はビデオコンテンツ作成装置に関し、特にたとえば、痴呆症者の過去の写真を使って思い出ビデオのようなビデオコンテンツを作成する、新規なビデオコンテンツ作成装置に関する。

高齢者人口が急増している昨今、痴呆症者に対して充実した介護を提供することは緊急の課題と言える。しかし、一般に痴呆症者の介護者として世話に当たる家族は、２４時間常に痴呆症者から目を離すことができず、そのストレスを原因とする痴呆症者への虐待が最近、社会的な問題となっている。こういった痴呆症者、介護者の両者のストレスを軽減するには、痴呆症者の心理的な安定を引き出すことが重要である。そのための手法として昔の映画や音楽、本人の写真などを視聴させる回想法がある。しかし、話しかけを実施する人が必要であり在宅では行いにくい。

このため、非特許文献１において、思い出ビデオを用いる手法が提案されている。思い出ビデオとは、痴呆症者の昔の写真のスライドショービデオに、BGMやナレーションを加えたものである。
安田ほか：痴呆症者への思い出写真ビデオの作成と集中度の評価。第２８回高次脳機能障害学会総会（２００４）

思い出ビデオは痴呆症者の安定した精神状態を形成する上で有効性が確認されているが、思い出ビデオの作成は映像編集のノウハウが必要であり、一般の介護者が簡単に行えるものではない。

それゆえに、この発明の主たる目的は、比較的簡単に、痴呆症者の過去の写真を使って思い出ビデオのようなビデオコンテンツを作成できる、ビデオコンテンツ作成装置を提供することである。

請求項１の発明は、複数の写真画像データと各写真画像データに個別に設定されている１つ以上のリージョンの座標データおよびサイズデータを含むリージョン情報を含むメタ情報とを格納する記憶手段、および写真画像データとそれに関連するメタ情報とを用いてビデオコンテンツを生成するビデオコンテンツ作成装置であって、メタ情報を用いて記憶手段から写真画像データを検索する検索手段、および検索手段によって検索した写真画像データに従って写真を表示する写真表示領域、写真画像データに従ってサムネイル画像を表示するサムネイル画像表示領域および写真リスト欄を有する再生順序設定領域を含むＧＵＩ画面を表示する表示手段を備え、サムネイル画像表示領域で表示しているサムネイル画像を写真リスト欄にドラッグアンドドロップすることによって、検索した写真データのうち実際に使用する複数の写真を選択し、写真リスト欄におけるリスト搭載順を変更することによって複数の再生順序を変更できるようにし、さらに写真リスト欄に搭載している写真の写真画像データとそれに関連するメタ情報とを記憶手段から読み出してその写真を写真表示領域にフェードイン表示するフェードイン手段、フェードイン手段が読み出した写真画像データに関連するメタ情報にリージョン情報が含まれているかどうか判断する判断手段、判断手段がメタ情報にリージョン情報が含まれていると判断したとき、当該リージョン情報が示すリージョンの画像をそのリージョン情報に含まれる座標データおよびサイズデータに従って写真表示領域内で位置合わせする位置合わせ手段、フェードイン手段が読み出した写真画像データに設定されているリージョンがなくなったとき当該写真を写真表示領域からフェードアウトさせるフェードアウト手段、および生成されたビデオコンテンツを記憶媒体に記憶する手段を備える、ビデオコンテンツ作成装置である。

請求項１の発明では、たとえばイメージスキャナなどを含む写真データ入力装置（２０。実施例で相当する部分または要素を示す参照符号。以下同様。）から、写真画像データをコンピュータ（１２）に入力する。コンピュータ内にはその写真画像データにメタ情報を付与するための手段、たとえばDublin Core、Image Regions、FOAFなどを設けておく。これらのメタ情報付与手段によって、入力した写真画像データに関連するメタ情報を付与して、コンピュータは、写真画像データを関連するメタ情報とともに記憶手段（２２）に格納する。検索手段（１２，Ｓ２）が、メタ情報を用いて記憶手段か写真画像データを検索する。表示手段（１２，１６）がＧＵＩ画面（２６）を表示する。ＧＵＩ画面（２６）はサムネイル表示領域（３０）および再生順設定領域（３６）を含み、再生順設定領域（３６）の写真リスト欄（３８）にサムネイル画像をドラッグアンドドロップすることによって実際に使う写真を選択でき、そのリスト搭載順を変更することによって再生順序を変更できる。生成手段（１２，Ｓ６）は、写真リスト欄に挙げた写真の写真画像データをメタ情報とともに記憶手段から読出し、メタ情報に従って写真データを編集することによって、たとえばＡＶＩ形式やＦｌａｓｈムービー形式で、スライドショーのようなビデオコンテンツを生成する。写真が痴呆症者の昔の写真であれば、ビデオコンテンツは思い出ビデオと呼べる。
また、１つの写真画像中にリージョンを設定している場合、そのリージョンのメタ情報、たとえばリージョンの座標位置、高さ、幅などが登録される。位置合わせ手段（１２，Ｓ２７）は、そのメタ情報のたとえば高さや幅の情報を用いて、たとえば表示領域の中央にそのリージョンを位置決めする。したがって、リージョンの画像が自動的に適宜の位置に編集されるので、そのための面倒な操作がいらない。

請求項１の発明では、メタ情報を用いて写真画像データを編集するので、ビデオコンテンツの製作にあまり慣れていなくても、たとえば痴呆症者の昔の写真を用いて、比較的簡単に、思い出ビデオのようなビデオコンテンツを作成することができる。

請求項２の発明は、楽曲を示すプレイリストを登録するプレイリスト登録手段をさらに備え、フェードイン手段によって写真画像データに従った写真が写真表示領域にフェードイン表示されるときプレイリストに登録した楽曲を再生する楽曲再生手段を含み、ビデオコンテンツはＢＧＭとして再生される楽曲を含む、請求項１記載のビデオコンテンツ作成装置である。

請求項２の発明では、プレイリスト登録手段（１２，Ｓ４）はたとえばＭＰ３の楽曲データをプレイリストに登録し、楽曲再生手段（１２，Ｓ１１）は、そのプレイリストに登録した楽曲を、ＢＧＭとして再生する。したがって、プレイリストに楽曲を登録するだけで、面倒な操作なしに、自動的にＢＧＭを付けることができる。

請求項３の発明は、複数の写真画像データと各写真画像データに個別に設定されている１つ以上のリージョンの座標データおよびサイズデータを含むリージョン情報を含むメタ情報とを格納する記憶手段、および写真画像データとそれに関連するメタ情報とを用いてビデオコンテンツを生成するビデオコンテンツの作成方法であって、メタ情報を用いて記憶手段から写真画像データを検索する検索するステップ、および検索ステップによって検索した写真画像データに従って写真を表示する写真表示領域、写真画像データに従ってサムネイル画像を表示するサムネイル画像表示領域および写真リスト欄を有する再生順序設定領域を含むＧＵＩ画面を表示する表示ステップを含み、サムネイル画像表示領域で表示しているサムネイル画像を写真リスト欄にドラッグアンドドロップすることによって、検索した写真データのうち実際に使用する複数の写真を選択できるようにし、写真リスト欄におけるリスト搭載順を変更することによって複数の再生順序を変更できるようにし、さらに写真リスト欄に搭載している写真の写真画像データとそれに関連するメタ情報とを記憶手段から読み出してその写真を写真表示領域にフェードイン表示するフェードインステップ、フェードインステップで読み出した写真画像データに関連するメタ情報にリージョン情報が含まれているかどうか判断する判断ステップ、判断ステップでメタ情報にリージョン情報が含まれていると判断したとき、当該リージョン情報が示すリージョンの画像をそのリージョン情報に含まれる座標データおよびサイズデータに従って写真表示領域内で位置合わせする位置合わせステップ、フェードインステップで読み出した写真画像データに設定されているリージョンがなくなったとき当該写真を写真表示領域からフェードアウトさせるフェードアウトステップ、および生成されたビデオコンテンツを記憶媒体に記憶するステップを含む、ビデオコンテンツの作成方法である。

請求項３の発明では、請求項1の発明と同様の効果が期待できる。

この発明によれば、たとえば痴呆症者の過去の写真にメタ情報を付与し、そのメタ情報を利用して写真画像を編集することによって、比較的簡単に、思い出ビデオのようなビデオコンテンツを作成することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のビデオコンテンツ作成装置１０は、コンピュータ１２を含む。このコンピュータ１２としては、パーソナルコンピュータやワークステーションが利用可能である。

コンピュータ１２にはハードディスクやＲＡＭのような内部メモリ１４が設けられていて、その内部メモリ１４には、メタ情報を入力するためのツールとして、たとえば、いずれも商品名である、Dublin Core (ｈｔｔｐ：／／ｄｕｂｌｉｎｃｏｒｅ.ｏｒｇ <http://dublincore.org>)、Image Regions (ｈｔｔｐ：／／ｗｗｗ.ｗ３.ｏｒｇ)、FOAF (ｈｔｔｐ：／／ｗｗｗ.ｆｏａｆ−ｐｒｏｊｅｃｔ.ｏｒｇ)、Jena2(2.1) (ｈｔｔｐ：／／ｊｅｎａ.ｓｏｕｒｃｅｆｏｒｇｅ.ｎｅｔ)などが設定されている。これらはいずれも、写真画像データに関連するメタ情報を入力または登録もしくは付与する手段として機能する。

ここで、メタ情報とは、データに関する構造化した情報を意味し、実施例の場合、取り扱う写真画像データの詳細を構造的に記述する情報である。

Dublin Coreはメタ情報を取り扱う代表的なツールとして知られていて、さらに、写真中の人物の顔やオブジェクトの領域（以後、「リージョン」と呼ぶ。）を複数個指定し、これをメタ情報として保持するためにImage Regionsを利用する。リージョンが人の場合には、FOAFを利用して人のメタ情報を付与する。リージョンは静止画である写真に対して、そこへのズーム、リージョン間のパンといったエフェクトを加えるために用いる。メタ情報をＲＤＦの形式でデータベースに格納するために、Jena2(2.1)を使用する。

コンピュータ１２は図示しないが、グラフィックボードまたはプロセサやサウンドボードまたはプロセサを内蔵していて、それらを通して、ＧＵＩ画面や他のグラフィックス（映像）がモニタ１６に表示されるとともに、スピーカ１８からＢＧＭなどの音声が出力される。

コンピュータ１２にはさらに、写真データ入力装置２０が接続される。この写真データ入力装置２０は、イメージスキャナ、ディジタルカメラ（デジカメ）、インタネット（Ｗｅｂ）などの少なくとも１つを含む。イメージスキャナは、痴呆症者の過去の写真をスキャンしてカラーまたはモノクロの写真画像データを入力する。デジカメはリアルタイムで撮影した写真画像データを入力できる他、過去の写真を撮影してそれらの写真画像データを入力するという使い方もできる。インタネットは、遠隔地から送信される痴呆症者の過去の写真の写真画像データを入力し、さらには必要に応じて痴呆症者の過去にまつわる事象の写真画像データを取り込むために使用できる。さらに他の種類の写真データ入力装置が用いられてもよい。

さらに、コンピュータ１２には、インタフェース２４を介してデータベース２２が結合される。この実施例では、データベース２２にはPostgreSQL 7.4（ｈｔｔｐ：／／ｗｗｗ.ｐｏｓｔｇｒｅｓｑｌ.ｏｒｇ）というリレーショナルデータベースを用いる。

なお、図示していないが、コンピュータ１２は当然、キーボードやマウスなどの入力手段を持っている。

図１の実施例のビデオコンテンツ作成装置１０を用いて思い出ビデオを作成するためには、コンピュータ１２などは図２に示す手順で動作する。

まず、ステップＳ１で、写真画像データを入力するとともに、メタ情報を登録する。具体的には、図１の写真データ入力装置２０を用いて、主として、当該痴呆症者の過去の写真の写真画像データをコンピュータ１２に入力する。

このとき、図３に示すＧＵＩ（Graphical User Interface）画面２６がモニタ１６に表示される。このＧＵＩ２６は、モニタ画面の左方の大部分を占める、写真表示編集領域２８を含む。この写真表示編集領域２８は、そこに入力した写真画像データの写真を表示し、さらには、リージョンを指定するなどの編集作業のために利用される。ＧＵＩ２６は、モニタ画面の右方に形成されるサムネイル表示領域３０を含む。サムネイル表示領域３０には、入力しかつ後述のようにして検索した写真画像データから使用する写真を選択するためにサムネイル画像を表示する。

ＧＵＩ２６には、モニタ画面の下方に形成される、第１メタ情報入力領域３２、モニタ画面のほぼ中央に形成される第２メタ情報入力領域３４、およびモニタ画面の右下方に形成される再生順設定領域３６が設けられる。メタ情報入力領域３２には、領域２８に表示もされている写真全般に関わるDublin Core で定義されたメタ情報を入力する。また、メタ情報入力領域３４はポップアップ形式で入力時に現れる領域であり、それを用いて、FOAFを利用してリージョンが人の場合のメタ情報を入力する。そして、再生順設定領域３６は、思い出ビデオに取り込んだ写真を再生する順番を設定するために利用され、後に説明するように、ドラッグアンドドロップで順番を入れ替えることができる。

ステップＳ１での写真入力およびメタ情報登録について、具体的に説明する。図４を参照し、今、写真データ入力装置２０から図４に示すような写真（図面では線画であるが、実際は写真である。他の図面でも同様。）の写真画像データが入力されると、コンピュータ１２は、モニタ１６のＧＵＩ２６の写真表示編集領域２８にその画像データで表される写真（静止画）を表示する。それとともに、コンピュータ１２は、その写真のサムネイル画像をサムネイル表示領域３０に表示する。

そして、図示しないマウス等を利用して、その写真中で２つのリージョン、リージョン１およびリージョン２を設定すると、図５に示すように、写真表示編集領域２８中に、リージョン１およびリージョン２をそれぞれ特定する矩形枠２９ａおよび２９ｂが表示される。このようなリージョン１およびリージョン２を指定すると、Image Regionsで定義される形式で、図６に示す各リージョンのメタ情報が設定される。つまり、リージョン１の原点（矩形枠の左上の角）の座標（ｘ１１，ｙ１１）およびそれの対角の座標（ｘ１２，ｙ１２）が登録され、さらにそのリージョン１の高さｈ１および幅ｗ１もメタ情報として登録される。同様に、リージョン２についても、原点座標、対角座標、高さ、および幅が、それぞれ、ｘ２１，ｙ２１、ｘ２２，ｙ２２、ｈ２、およびｗ２として登録される。

このようにしてステップＳ１で写真を入力し、メタ情報を登録すると、たとえば図７に示すようなデータベースができる。この図７では右に、図５に示した、実際の写真が表示されリージョンが指定されている写真表示編集領域２８が描かれている。そして、楕円形の中に「dc:」とあり、それに関連する矩形の中のデータが、Dublin Coreで登録したメタ情報である。たとえば「dc:date」では日付「２００４０７１６（２００４年７月１６日）」が、「dc:title」では名称「at Disney Animal Kingdom（ディズニー動物王国にて）」が、「dc:description」では説明文「They are very happy to ride the car in the wildlife park(彼等は野生公園の車に乗って非常に楽しそう)」がメタ情報として登録される。「dc:identifier」にはリージョン番号（例示では「１」）が、「dc:type」にはリージョン内の写真の種類（例示では「person(人)」）が、それぞれ、登録される。

楕円形のなかに「imgReg:」とあるメタ情報は、Image Regionsでリージョンを指定したときのメタ情報である。「imgReg:has region」はリージョンが設定されていることを示すメタ情報であり、「imgReg:Rectangle」はリージョンが矩形であることを示し、「imgReg:regionDepict」はリージョンの説明で、「imgReg:boundingBox」はリージョンの原点位置とサイズ（高さｈ、幅ｗ）とを含む。「imgReg:coords」はリージョンの原点位置および対角位置の座標である。また、「foaf:」で与えられるメタ情報は、リージョンが人である場合の性別（例示では「female(女)」）や名前（例示では「Haruka(はるか)」）などを含む。

なお、図７に示す各メタ情報は、それぞれ以下に示される。

ｘｍｌｎｓ：ｉｍｇＲｅｇ＝“ｈｔｔｐ：／／ｗｗｗ.ｗ３.ｏｒｇ／２００４／０２／ｉｍａｇｅ−ｒｅｇｉｏｎｓ＃”
ｘｍｌｎｓ：ｆｏａｆ＝“ｘｍｌｎｓ．ｃｏｍ／ｆｏａｆ／０．１”
ｘｍｌｎｓ：ｄｃ＝“ｈｔｔｐ：／／ｐｕｒｌ.ｏｒｇ／ｄｃ／ｅｌｅｍｅｎｔｓ／１．１／”
このようにして、図２のステップＳ１で写真入力と、メタ情報登録が行なわれると、コンピュータ１２は、その写真と、それに付与したメタ情報とをデータベース２２に格納する。なお、上の説明では１枚の写真とそれのメタ情報について説明したが、入力装置２０で写真画像データを入力する都度、同じようにして、図７に示すようなメタ情報が登録され、そのメタ情報を付与した写真データがデータベース２２に格納される。

その後、図２のステップＳ２では、ステップＳ１で入力した写真のうち、そのとき使う写真を検索する。ただし、写真の検索では、上で説明したメタ情報が利用される。メタ情報を利用した写真の検索条件としては、たとえば、以下のものが利用できる。

まず、FOAFではリージョンの種類が人であるとき、その人を特定するメタ情報を付与するのであるから、このFOAFのメタ情報を利用して、「特定の人物の写っている写真」を検索することができる。複数の人物を同時に検索できるが、この場合には、検索した名前の全員が写っている写真が対象となる。

Dublin Coreのメタ情報を利用する場合には、「撮影年月日」で検索できる。たとえば、「From (第１指定日)〜To（第２指定日）」で第１指定日以降第２指定日以前に撮影した全ての写真が検索できる。「From (指定日)」でその指定日以降に撮影した全ての写真が検索できる。同様に、「To（指定日）」でその指定日以前に撮影した全ての写真が検索できる。また、「特定のプロパティに特定の値が含まれている写真」を検索できる。たとえば、「dc:title」に「Disney」の文字が含まれる写真など。ただし、複数同時に選択または検索可能であるが、複数選択時には、設定された検索条件を同時に充足する写真だけが対象となる。

このようにして、ステップＳ２で写真の選択が終了したら、次に、ステップＳ３で、検索した写真から実際に使用する写真を選択するとともに、および複数の写真を選択したときには複数の写真の再生順序を指定または決定する。このステップＳ３のためのＧＵＩ２６が図８に示される。ただし、便宜上この図８は図７以前の写真とは異なる写真を使用していることに留意されたい。

コンピュータ１２は、たとえば図示しないメニューによって、ステップＳ３が選択されたときには、図８に示すＧＵＩ２６をモニタ１６に表示する。この図８のＧＵＩ２６では、モニタ画面の右下方に、図３でも示した、再生順設定領域３６が形成される。この再生順序設定領域３６の拡大図が図９に示される。

再生順序設定領域３６は、写真リスト欄３８を含み、図８に示すように、サムネイル表示領域３０に表示されたサムネイル画像を写真リスト欄３８にドラッグアンドドロップすることによって、使用する写真を選択できる。つまり、ステップＳ２の写真検索ステップで検索した写真のサムネイル画像が、すべてサムネイル表示領域３０に表示されるので、その一覧画像の中の写真を写真リスト欄３８にドラッグアンドドロップすることによって、写真を選択することができる。なお、写真リスト欄３８には、名称（name）、タイトル（title）、日付（date）の各コラムが設定される。

また、再生順序設定領域３６には、図９に示すように、ソート指定欄４０と、思い出ビデオのスライドショーの生成を指示する生成ボタン４２、写真の削除のために使用する削除ボタン４４、および選択した写真のプレビューをするときに押す（クリックする）プレビューボタン４６が設けられる。カーソルを写真リスト欄３８のどれかの写真に合わせ、その状態でプレビューボタン４６が操作されると、図８に示すプレビュー領域４８に、プレビュー画像が表示される。

なお、ソート指定欄４０には、選択した写真をソーティングするときのプロパティ、たとえば登録日などが設定される。そして、このソート指定欄４０に特定のプロパティが、たとえばプルダウンメニューによって設定されると、コンピュータ１２は、たとえばそのプロパティに対する値の昇順で写真をソートする。

さらに、写真リスト欄３８に登録した写真リストの順序で再生されるので、もし、再生順序を変更したい場合には、その写真リスト欄３８の１行をドラッグアンドドロップして動かすことによって、リスト搭載順すなわち再生の順番を入れ替えればよい。

つづいて、図２のステップＳ４で、写真の再生時に流すＢＧＭのプレイリストを登録または選択する。この実施例では、たとえばＭＰ３形式の楽曲ファイルをサポートしていて、その中からＢＧＭとして使う楽曲をプレイリストに登録すれば、ＢＧＭがそのプレイリストに沿って、再生される。また、プレイリストとしてたとえばＭ３Ｕ形式を用いれば、Ｗｉｎａｍｐ（アプリケーション名）などの一般的なソフトで作成したプレイリストをそのまま使用できる。

ステップＳ４では、まず、図示しないメニユーで、「プレイリスト選択または登録」を選ぶ。そうすると、図１０に示すＧＵＩ２６がモニタ１６に表示される。そして、このＧＵＩ２６のプレイリスト作成ボタン５２をクリックすると、図１１に示す、新規プレイリスト登録欄５４が表示される。この登録欄５４には、プレイリストの名称（図示の例では、「Sample」）を設定するための名称欄５６および入力した名称でよいときの決定（了解）ボタン５８が形成される。そして、名称欄５６に名称を入力し、了解ボタン５８をクリックすると、図１２に示す、空のプレイリスト６０が表示される。

図１３に示す、ＭＰ３ファイル一覧６２を表示し、その中の適宜の楽曲をプレイリスト６０にドラッグアンドドロップすることによって、プレイリスト６０に、ＢＧＭとして使用する楽曲を順次選択または登録することができる。図示の例では、「ＭＹアルバム」という楽曲一覧６２（図１３）を用いて、主として、童謡が選択された。

このようにして、写真データの入力、メタ情報の登録、写真の検索、選択、楽曲の選択などの各ステップが実行され、図９に示す生成ボタン４２を押すと、思い出ビデオの生成を開始する。したがって、図２のステップＳ５では、生成ボタン４２がクリックされたかどうか判断する。もし“ＹＥＳ”ならそのまま次のステップＳ６に進むが、“ＮＯ”なら、図２の任意のステップＳ１−Ｓ４に戻って該当の作業を再開することができる。

つまり、図２の各ステップＳ１−Ｓ４はそれぞれ、メニューでの選択によって、任意の時間に任意の作業量で何回も実行可能であるので、オペレータは、時間のあるときに、必要なだけ必要な作業を行なえばよい。いずれの場合にも、前回までの作業の結果はデータベース２２に格納されているので、今回の作業では、まず、データベース２２から前回までのデータを読み出し、その後それに続行した処理またはそれを変更する処理を行う。

そして、ステップＳ５で生成ボタン４２のオンが検出されると、次のステップＳ６で、思い出ビデオのスライドショービデオ（ＲＶＭＬ）を生成する。

ここで、「ＲＶＭＬ」とは、ｓｗｆを完全に表現できるように設計されたＸＭＬの一種であり、すべてのバージョンのｓｗｆ動画はＲＶＭＬとして表現できる。ただし、ｓｗｆは、Ｆｌａｓｈのバージョンやフレームレートなどの情報を持つファイルヘッダを除くと、基本的にはタグの列だけである。たとえば、定義タグで図形を定義し、操作タグでその図形をフレームに配置し、表示タグで現在のフレームを画面に描画する、というパターンが１フレームに相当し、これを繰り返す。

そして、生成されたＲＶＭＬは、ＲＶＭＬからＦｌａｓｈツールであるKineticFusion（ｈｔｔｐ：／／ｗｗｗ.ｋｉｎｅｓｉｓｓｏｆｔｗａｒｅ．ｃｏｍ）を使用すれば、Ｆｌａｓｈムービー形式の思い出ビデオが作成できる。

図２のステップＳ６は、具体的には、図１５に示す手順で実行される。最初のステップＳ１１では、コンピュータ１２は、生成ボタン４２の操作に応答して、まず、ＢＧＭとしてのプレイリスト６０（図１４）の楽曲の再生を開始する。以後、楽曲は、そのプレイリスト６０に沿って、順次切り替わり、かつ連続的に再生される。つまり、コンピュータ１２は、プレイリスト６０に登録した楽曲データを読み出し、それをサウンドボードまたはプロセサで処理させることによって、スピーカ１８（図１）から、当該プレイリストの楽曲が音声として再生される。

次のステップＳ１３では、コンピュータ１２は、モニタ１６の表示画面に形成されたＧＵＩ２６の写真表示編集領域２８（図３）の幅をＳｗ、高さをＳｈとして設定する。

ついで、ステップＳ１５で、コンピュータ１２は、写真個数ｎをインクリメント（ｎ＝ｎ＋１）する。そして、次のステップＳ１７では、写真リスト欄３８（図９）に挙げられたｎ番目の写真がフェードイン態様で、表示編集領域２８に表示される。つまり、コンピュータ１２は、データベース２２（図１）から写真リスト欄３８のｎ番目の写真とそれに付随するメタ情報とを読み出し、ｎ番目の写真を表示する。ただし、最初はｎ＝１であるので、１番目の写真がフェードイン表示される。その後、ステップＳ１９での一定時間のポーズの後、次のステップＳ２１で、コンピュータ１２は、そのｎ番目の写真にリージョンが指定されているかどうか、たとえばImage Regionsのメタ情報があるかで判断する。

リージョンが指定されているなら、次のステップＳ２３で、コンピュータ１２は、リージョン番号ｍをインクリメント（ｍ＋１）する。そして、ステップＳ２５で、ｍ番目のリージョンのImage Regionsのメタ情報を参照する。このメタ情報に、ｍ番目のリージョンの位置データやサイズデータが含まれる。したがって、次のステップＳ２７で、コンピュータ１２は、そのようなメタ情報および先に設定した表示領域の高さＳｈおよび幅Ｓｗを利用して、ｍ番目のリージョンを、領域２８の中央に位置合わせする。

一例として、そのリージョンの幅をｗ１、高さをｈ１とすると、拡大率をｍｉｎ［Ｓｗ／ｗ１, Ｓｈ／ｈ１］として、そのリージョンがちょうど表示画面２８の中央に収まるまで、１フレームずつ、表示画面２８に対して写真画像を横軸にｄＸ、縦軸にｄＹ移動し、ｄＺ分拡大して表示する。

ただし、このステップＳ２７では、そのリージョンの画像を表示領域の中央に位置合わせするだけでなく、たとえば、左上、右下など他の位置に位置合わせするようにしてもよい。

その後、ステップＳ２９でのポーズの後、次のステップＳ３１で、コンピュータ１２は、残りリージョンがなくなったかどうかを判断する。つまり、Image Regionsのメタ情報からリージョン個数がわかるので、このステップＳ３１では、ステップＳ２３でインクリメントした結果がそのリージョン個数に等しくなったかどうか判断すればよい。残りリージョンがあれば先のステップＳ２３に戻り、ステップＳ２３−Ｓ３１を繰り返し実行する。

ステップＳ３１で“ＮＯ”なら、つまり、写真リスト欄３８でｎ番目のその写真の全てのリージョンの処理が終わったなら、次のステップＳ３３で、コンピュータ１２は、ｎ番目の写真を写真表示編集領域２８からフェードアウトさせる。

続いて、ステップＳ３５において、コンピュータ１２は、処理すべき写真の残りがなくなったかどうかを判断する。つまり、図９で示される写真リスト中の写真の数は予め判っているので、このステップＳ３５では、ステップＳ１５でインクリメントした結果がその枚数に等しくなったかどうか判断すればよい。写真残数があれば先のステップＳ１５に戻り、ステップＳ１５−Ｓ３５を繰り返し実行する。ステップＳ３５で“ＮＯ”なら、コンピュータ１２はステップＳ３７でＢＧＭを停止し、終了する。

このようにして、ステップＳ６すなわち図１５に従って、写真画像データをそれに関連するメタ情報を用いて編集することによって、一連のビデオコンテンツ（思い出ビデオ）が生成（レンダリング）される。そして、レンダリングが終了すると、レンダリング結果は、前述のＲＶＭＬの形式でコンピュータ１２のハードディスクなどの内部メモリ１４（図１）に保存する。そして、ＲＶＭＬからＦｌａｓｈムービーなどに変換して、他の記憶媒体に格納することによって、他のパソコンなどで再生することもできる。つまり、一連のビデオコンテンツは何らかの記憶装置または記憶媒体に格納されて、痴呆症者の介護のために利用される。
［評価実験］
発明者等は、写真と写真との間のトランジションついては、フェードイン、フェードアウトだけを実装した実施例の装置１０で生成した思い出ビデオの効果について、予備的な評価実験を実施した。被験者の簡単なプロファイルを表１に示す。

実験では思い出ビデオの他に、被験者の嗜好に合わせた趣味、歌、嗜好に無関係なニュースの４種類のビデオクリップを用意した。各クリップは７〜８分程度とした。被験者の様子は、モニタ画面の方向から顔の表情を撮影し、また後方から被験者の全身の映像を撮影した。次に実験時に撮影した映像を見て、各クリップ視聴開始から１分間の被験者の表情や体の反応から、被験者が集中、あるいは楽しんでいる度合いを主観的な５段階で評価した。評価は被験者と関係のない５名で行った。５名のスコアの平均を表２に示す。全ての被験者で集中、楽しんでいる度合いは、思い出ビデオが他のコンテンツに対して高い傾向が見られた。

この発明の一実施例のビデオコンテンツ作成装置を示すブロック図である。 図１実施例の全体動作を示すフロー図である。 図１実施例のＧＵＩの一例を示す図解図である。 図２のステップＳ１で利用する写真入力およびメタ情報登録時のＧＵＩの表示の一例を示す図解図である。 図４においてリージョンの切り出しを示す図解図である。 図５のリージョンのメタ情報を示す図解図である。 写真とメタ情報との関連を例示する図解図である。 図２のステップＳ３での写真の選択および再生順設定動作時のＧＵＩの一例を示す図解図である。 図８のＧＵＩにおける再生順設定領域を示す図解図である。 図２のステップＳ４でのプレイリスト作成時のＧＵＩの一部を示す図解図である。 図１１のＧＵＩに形成される新規プレイリスト登録欄を示す図解図である。 図８のＧＵＩに形成されるプレイリストの一部の一部を示す図解図である。 プレイリスト登録に用いる楽曲一覧の一例を示す図解図である。 登録済みプレイリストの一例を示す図解図である。 図２のステップＳ６での思い出ビデオ生成動作を詳細に示すフロー図である。

符号の説明

１０ …ビデオコンテンツ作成装置
１２ …コンピュータ
１４ …内部メモリ
１６ …モニタ
２０ …写真データ入力装置
２２ …データベース
２６ …ＧＵＩ
２８ …写真表示編集領域
３０ …サムネイル表示領域
３２，３４ …メタ情報入力領域
３６ …再生順設定領域
３８ …写真リスト欄
４２ …生成ボタン
６０ …プレイリスト

Claims (3)

1. 複数の写真画像データと各写真画像データに個別に設定されている１つ以上のリージョンの座標データおよびサイズデータを含むリージョン情報を含むメタ情報とを格納する記憶手段、および前記写真画像データとそれに関連するメタ情報とを用いてビデオコンテンツを生成するビデオコンテンツ作成装置であって、
   前記メタ情報を用いて前記記憶手段から写真画像データを検索する検索手段、および
   前記検索手段によって検索した写真画像データに従って写真を表示する写真表示領域、前記写真画像データに従ってサムネイル画像を表示するサムネイル画像表示領域および写真リスト欄を有する再生順序設定領域を含むＧＵＩ画面を表示する表示手段を備え、
   前記サムネイル画像表示領域で表示しているサムネイル画像を前記写真リスト欄にドラッグアンドドロップすることによって、前記検索した写真データのうち実際に使用する複数の写真を選択し、
   前記写真リスト欄におけるリスト搭載順を変更することによって前記複数の再生順序を変更できるようにし、さらに
   前記写真リスト欄に搭載している写真の写真画像データとそれに関連するメタ情報とを前記記憶手段から読み出してその写真を前記写真表示領域にフェードイン表示するフェードイン手段、
   前記フェードイン手段が読み出した写真画像データに関連するメタ情報にリージョン情報が含まれているかどうか判断する判断手段、
   前記判断手段が前記メタ情報に前記リージョン情報が含まれていると判断したとき、当該リージョン情報が示すリージョンの画像をそのリージョン情報に含まれる前記座標データおよび前記サイズデータに従って前記写真表示領域内で位置合わせする位置合わせ手段、
   前記フェードイン手段が読み出した写真画像データに設定されているリージョンがなくなったとき当該写真を前記写真表示領域からフェードアウトさせるフェードアウト手段、および
   生成されたビデオコンテンツを記憶媒体に記憶する手段を備える、ビデオコンテンツ作成装置。
2. 楽曲を示すプレイリストを登録するプレイリスト登録手段をさらに備え、
   前記フェードイン手段によって前記写真画像データに従った写真が前記写真表示領域にフェードイン表示されるとき前記プレイリストに登録した楽曲を再生する楽曲再生手段を含み、
   前記ビデオコンテンツはＢＧＭとして前記再生される楽曲を含む、請求項１記載のビデオコンテンツ作成装置。
3. 複数の写真画像データと各写真画像データに個別に設定されている１つ以上のリージョンの座標データおよびサイズデータを含むリージョン情報を含むメタ情報とを格納する記憶手段、および前記写真画像データとそれに関連するメタ情報とを用いてビデオコンテンツを生成するビデオコンテンツの作成方法であって、
   前記メタ情報を用いて前記記憶手段から写真画像データを検索する検索するステップ、および
   前記検索ステップによって検索した写真画像データに従って写真を表示する写真表示領域、前記写真画像データに従ってサムネイル画像を表示するサムネイル画像表示領域および写真リスト欄を有する再生順序設定領域を含むＧＵＩ画面を表示する表示ステップを含み、
   前記サムネイル画像表示領域で表示しているサムネイル画像を前記写真リスト欄にドラッグアンドドロップすることによって、前記検索した写真データのうち実際に使用する複数の写真を選択できるようにし、
   前記写真リスト欄におけるリスト搭載順を変更することによって前記複数の再生順序を変更できるようにし、さらに
   前記写真リスト欄に搭載している写真の写真画像データとそれに関連するメタ情報とを前記記憶手段から読み出してその写真を前記写真表示領域にフェードイン表示するフェードインステップ、
   前記フェードインステップで読み出した写真画像データに関連するメタ情報にリージョン情報が含まれているかどうか判断する判断ステップ、
   前記判断ステップで前記メタ情報に前記リージョン情報が含まれていると判断したとき、当該リージョン情報が示すリージョンの画像をそのリージョン情報に含まれる前記座標データおよび前記サイズデータに従って前記写真表示領域内で位置合わせする位置合わせステップ、
   前記フェードインステップで読み出した写真画像データに設定されているリージョンがなくなったとき当該写真を前記写真表示領域からフェードアウトさせるフェードアウトステップ、および
   生成されたビデオコンテンツを記憶媒体に記憶するステップを含む、ビデオコンテンツの作成方法。

Images