JP4018967B2

JP4018967B2 - 記録映像自動生成システム，記録映像自動生成方法，記録映像自動生成プログラムおよび記録映像自動生成プログラムの記録媒体

Info

Publication number: JP4018967B2
Application number: JP2002320874A
Authority: JP
Inventors: 恭子数藤; 裕子高橋; 聡佐久間
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-05
Filing date: 2002-11-05
Publication date: 2007-12-05
Anticipated expiration: 2022-11-05
Also published as: JP2004158950A

Description

【０００１】
【発明の属する技術分野】
本発明は，日常的な映像を自動的に蓄積して情報を抽出し，ユーザが指定する形態で，記録映像と情報とを提示する技術に関するものである。
【０００２】
【従来の技術】
日常的な映像を撮影して記録する従来の技術として，無意識の日常の動画像を整理して保存し，過去の行動を検索できるようにする技術がある（例えば，特許文献１「行動記録装置」参照）。この技術では，ユーザが外出中も常にカメラが動作していることを想定している。しかし，カメラは装置の利用者の目がとらえたものと同じ映像を記録するので，自分自身の姿を記録したいときには利用できなかった。
【０００３】
また，従来の技術として，個人のプライバシーを保護しつつ日常生活を監視するための技術がある（例えば，特許文献２「行動監視装置および行動監視・支援システム」参照）。この技術は，常時撮影の手段と，得られた映像から人物を抽出して抽象化表現する手段とを持つ。人物を抽象化表現することで常時撮影に伴うプライバシーの侵害を防ぐことができる。しかし，後から日記の代わりとして，あるいはアルバムとして，人物がそのまま映った映像を利用することができない。また，得られる映像が膨大であるのに対し，映像の検索を容易にする手段が考えられていなかった。
【０００４】
また，従来の技術として，日記に代わる記録物を得るために，自分自身で日常生活の様子を撮影することを容易にする工夫がなされたビデオの装置（ハードウェア）に関する技術がある（例えば，特許文献３「日常生活記録装置」参照）。しかし，ハードウェアの操作を行わなければならないため，今この瞬間を撮っておこうという意識が働かなければ映像を記録することができなかった。
【０００５】
【特許文献１】
特開平１０−１２２８９４号公報
【特許文献２】
特開２０００−０００２１６号公報
【特許文献３】
実開平０７−０２９９７０号公報
【０００６】
【発明が解決しようとする課題】
自分や家族が過去のある時点の様子を知りたいという状況はしばしば起こる。例えば，自分がいつ外出したのか，その時どんな服装だったか，去年の今頃子供がどんな様子だったか，などということを知りたいと思うことがある。また，外出先から現在の自宅の様子を知りたいというような状況もよく起こる。例えば，自宅に誰が尋ねて来ているか，子供が無事に帰宅したかどうか，などである。このような日常生活において生じる様々な事柄に対して知りたいという要求は，過去あるいは遠隔の映像が手に入れば解決することができる。
【０００７】
しかし，そのような映像を手に入れるためには，ユーザや撮影対象に，大変な負担がかかることとなる。いつ映像が必要となるかを事前に予測することはほとんどできず，たまたま写真やビデオ撮影を行っていた場合や，ずっと映像を取り続けた場合にしか，映像が残ることはない。
【０００８】
また，たまたま写真やビデオ撮影が行われていたとしても，その映像がどのような形でいつ必要になるかを事前に考えていなければ，後からその映像を見つけることは困難である。ずっと撮り続けた映像の中から後で必要な映像を探すような場合にも，膨大な量の映像を見て必要な映像を探さなくてはならないため，必要な映像を見つけることは困難である。
【０００９】
本発明は，上記の問題点の解決を図り，ユーザの日常生活に関連の深い場所や人を撮影対象とし，ユーザおよび撮影対象の負担なく映像を撮影して蓄積し，高次の付加情報抽出を行い，ユーザにとって有用な情報のある記録映像を作成して提示する技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は，上記の課題を達成するため，自動的に映像を蓄積し，蓄積された映像から情報を自動抽出し，ユーザが所望する形態で，記録映像や情報を提示することを特徴とする。
【００１１】
自動的に映像を蓄積するために，ユーザの関心の高い撮影対象が頻繁に視野に入る場所にカメラを設置し，そのカメラで常時撮影を行うことで，アクション（意識的に撮影しようという意識や動作）を必要とせずに日常生活に役立つ記録映像を残すことを実現する。
【００１２】
蓄積された映像から情報を自動抽出してユーザが所望する形態で記録映像や情報を提示するためには，画像処理によって変化検出，人物検出，個人認識などを行い，ユーザが指定する撮影対象，選択時刻などの提示条件に基づき，膨大な映像から有効な情報がある部分を抽出して提示することを実現する。
【００１３】
具体的には，ユーザが希望する場所に設置されたカメラにより撮影された映像を蓄積する映像蓄積手段と，前記映像蓄積手段により蓄積された映像をユーザが希望する提示条件に基づいてユーザに提示するために，ユーザが希望する撮影対象の情報と提示時期または提示形式の情報とを含む，撮影対象ごとの提示条件を入力する提示条件入力手段と，前記提示条件入力手段により入力された提示条件を記憶する提示条件記憶手段と，前記映像蓄積手段により蓄積された映像から撮影対象を検出する処理を行い，前記提示条件記憶手段に記憶された提示条件中の撮影対象が撮影されている場合にその撮影対象を識別し，前記映像から前記撮影対象の記録映像として必要な映像を抽出し，撮影対象ごとの記録映像を生成する情報抽出手段と，前記情報抽出手段により生成された記録映像と抽出された情報とを，前記提示条件記憶手段に記憶された提示条件中の前記撮影対象に対応する提示時期または提示形式の情報に基づいて，ユーザに提示する映像・情報提示手段とを備える。
【００１４】
以上の手段は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００１５】
【発明の実施の形態】
以下，本発明の実施の形態について，図に従って説明する。以下では，本発明の記録映像自動生成システムによって生成される記録映像の利用者を“ユーザ”，本発明の記録映像自動生成システム中のカメラで撮影される対象を“撮影対象”とする。また，本発明の記録映像自動生成システムの利用形態によっては，撮影対象にはユーザ自身も含まれる。
【００１６】
図１は，本発明の実施の形態における記録映像自動生成システムの構成図である。記録映像自動生成システム１は，提示条件入力手段１０，映像取得手段２０，映像蓄積手段３０，情報抽出手段４０，映像・情報提示手段５０を備える。
【００１７】
映像取得手段２０は，接続されているカメラにより撮影された撮影対象の映像を取得する。映像蓄積手段３０は，映像取得手段２０により取得された映像を蓄積する。提示条件入力手段１０は，映像蓄積手段３０に蓄積された映像をどのような記録映像として利用したいのか，その提示形式や提示時期などをユーザが指定して入力できるようにする手段である。情報抽出手段４０は，提示条件入力手段１０においてユーザから入力された提示条件に基づいて，映像蓄積手段３０に蓄積された映像に対して処理を施し，記録映像を生成する。その結果の記録映像は，再び映像蓄積手段３０に蓄積される。映像・情報提示手段５０は，提示条件入力手段１０によって入力された提示条件に基づき，提示形式を整えて，情報抽出手段４０で生成された記録映像をユーザに提示する。
【００１８】
以下，本実施の形態における記録映像自動生成システム１について，提示条件入力手段１０，映像取得手段２０，映像蓄積手段３０，情報抽出手段４０，映像・情報提示手段５０の各部について詳細に説明する。
【００１９】
提示条件入力手段１０は，ユーザが希望する記録映像の形態を，対話的に入力するための手段である。ユーザは，提示条件入力手段１０により，映像取得手段２０での撮影方法や情報抽出手段４０での処理方法を指定するために，イベントを選択することができる。
【００２０】
イベントは撮影目的に応じた映像を選択する基準であり，これによって撮影方法が決まる。イベントの例としては，以下のようなものがある。
▲１▼ 変化の検出
・留守中の自宅で何か変化が起きたら知らせてほしい。
▲２▼ 人物の検出
・留守中の自宅に誰かが尋ねてこなかったか，何度も同じ不審な人が来ていないかを確認したい。
▲３▼ 特定の個人の検出
・自分の不在中に子供が帰宅したらその映像を送信してほしい。
・子供の毎日の映像の記録をアルバムとして作成し，一定時期ごとに提示してほしい。
▲４▼ 他センサによる変化の検出
・ほかに設置したセンサが変化を検知したら撮影してほしい。
▲５▼ 常時撮影
・１日単位，１週間単位など，時間の単位で映像の移り変わりを全て観察したい。
▲６▼ 要求があった時
▲７▼ 定時撮影
▲８▼ 上記▲１▼〜▲７▼のイベントの組み合せ
上記の▲１▼から▲７▼のイベントの中で▲４▼のイベントに関しては，情報抽出手段４０ではなく映像取得手段２０での処理が必要なため，この情報は撮影方法として映像取得手段２０の制御部に送られ，これに基づいてカメラやセンサが制御され，撮影が行われる。
【００２１】
提示条件入力手段１０では，複数の記録映像の指定が可能であり，その一つ一つがユーザが必要とする記録映像の一形態に対応する。各記録映像について，それぞれイベント（撮影方法）のほかに，撮影対象，選択時刻，撮影条件，提示時期，提示形式，付加情報のいずれか１つ以上を含む提示条件を入力することができる。
【００２２】
図２は，本実施の形態におけるユーザの記録映像の指定の例を示す図である。この例では，カメラは玄関に設置されているものとする。また，ユーザが必要とする記録映像が「留守中の自宅で変化があった場合の通知」と「家族一人一人の外出の記録」であったとする。この場合に，イベントとそれに対応して提示時期や提示形式などの提示条件を，提示条件入力手段１０によって入力する。
【００２３】
以下，記録映像ｒに対し，それに対応したイベントＥをＥ（ｒ），提示時期ＤをＤ（ｒ），提示形式ＦをＦ（ｒ）とし，撮影対象ＩＤ（この例では人物のＩＤ）がｎである場合には，その人物に関する選択時刻ＴをＴ（ｒ，ｎ），その人物に関する提示時期ＤをＤ（ｒ，ｎ），その人物に関する提示形式ＦをＦ（ｒ，ｎ）とする。
【００２４】
まず，図２（ａ）に示すように，ユーザの希望する記録映像ｒ₁が「留守中の自宅で変化があった場合の通知」であるとき，
イベントＥ：Ｅ（ｒ₁）＝「変化が検出された映像」
提示時期Ｄ：Ｄ（ｒ₁）＝「ユーザに即時送信」
提示形式Ｆ：Ｆ（ｒ₁）＝「変化前後のショートムービー」
というようにイベントおよび提示条件を入力する。
【００２５】
また，図２（ｂ）に示すように，ユーザの希望する２番目の記録映像ｒ₂が「家族一人一人の記録」であるとき，
イベントＥ：
Ｅ（ｒ₂）＝「登録された人物（撮影対象ＩＤ＝１〜Ｎの人物）の検出」と指定し，撮影対象ＩＤごとの提示条件｛撮影対象ＩＤ，選択時刻Ｔ，提示時期Ｄ，提示形式Ｆ｝を入力することとなる。例えば，「長男」の撮影対象ＩＤが３であるとすると，その「長男」の提示条件を，図のように，
選択時刻Ｔ：Ｔ（ｒ₂，３）＝「帰宅時」
提示時期Ｄ：Ｄ（ｒ₂，３）＝「月１回」
提示形式Ｆ：Ｆ（ｒ₂，３）＝「サムネイル」
と入力する。他にも，撮影条件や付加情報などを入力することもできる。
【００２６】
図３は，本実施の形態における提示条件のテーブルの例を示す図である。図２（ｂ）のように，１つのイベントに対して複数の提示条件がある場合，図３の例のような提示条件のテーブルによって，指定された提示条件の情報が管理される。図３のテーブルの例では，撮影対象ごとに，選択時刻，撮影条件，提示時期，提示形式，付加情報などの提示条件が指定されている。
【００２７】
ここで，付加情報とは，記録映像に対して任意に付加することができる情報であり，この情報をどう用いるかはアプリケーションによる。例えば，記録映像のタイトルとして用いてもよいし，テロップとして用いてもよい。また，記録映像の検索のための検索キー情報としての利用も可能である。さらに，記録映像を処理するアプリケーションプログラムの起動情報またはパラメータを付加情報としたり，各種の映像処理サービスを提供するサーバ装置へのリンク情報を付加情報としたりするような実施も可能である。例えば，図３の例において撮影対象が「父」の付加情報が「コーディネートのアドバイス」となっているが，この具体的な内容としては，例えば服装コンサルタントのＷｅｂサーバへのリンク情報を含み，リンク先のＷｅｂサーバから「父」の「全身」の映像について「コーディネートのアドバイス」を得ることができるようにアプリケーションを構築することも可能である。
【００２８】
映像取得手段２０には，カメラが接続されるが，カメラだけでなくセンサも接続されることがある。映像取得手段２０は，接続されたカメラやセンサなどを制御し，カメラから撮影された映像を取得する。接続されているのが固定カメラのみの場合には，常時撮影を行う。カメラとセンサが接続されている場合には，センサの反応があった時だけ撮影するように指定することができる。
【００２９】
センサを利用した映像取得手段２０による撮影制御の例として，
・赤外線センサによって人の存在を検知したときに撮影，
・ドアの開閉をセンサで検知したときに撮影，
・ドアホンのベルが押下されたときに撮影，
などが考えられる。
【００３０】
撮影方法の指定は，提示条件入力手段１０においてユーザから入力されたイベントによって行われる。映像取得手段２０は，提示条件入力手段１０から受けた撮影方法の指定に基づいて，カメラやセンサなどを制御し，撮影対象を撮影する。
【００３１】
カメラは，ユーザ自身やユーザの関心が高い撮影対象が頻繁に視野に入る場所に設置することが想定されている。そのような場所にカメラを設置して撮影を行うことにより，ユーザや撮影対象が特にアクションを起こさなくても，映像を蓄積することができる。
【００３２】
図４は，本実施の形態における固定カメラの設置と撮影対象の例を示す図である。図４（ａ）〜（ｃ）は，ユーザの自宅の玄関にカメラを設置する例であり，この例のように玄関に固定的にカメラを設置して常時撮影することにより，出入りする家族や訪問者などを，それらの人々に意識させないで撮影することができる。
【００３３】
図４（ａ）は，カメラが設置された玄関の前に訪問者が現れたときに，その訪問者の姿を撮影する様子を示している。この映像から作成された記録映像により，ユーザは，自分の不在時に訪問者があったかどうかを知ることができる。また，訪問者は映像が撮影されていることは意識していないため，不審な訪問者の映像も記録映像として残すことができる。
【００３４】
図４（ｂ）は，カメラが設置された玄関からユーザが外出するときに，その姿を撮影する様子を示している。この映像から作成された記録映像は，ユーザが自分自身の映像をあとでチェックする場合などに用いられる。
【００３５】
図４（ｃ）は，ユーザの家庭の子供が学校から帰宅して玄関から自宅に入るときに，その姿を撮影する様子を示している。この映像から作成された記録映像により，ユーザは，学校から自分の子供が帰宅したときの状況を知ることができる。
【００３６】
図４（ｄ）は，自家用車の車内にカメラを設置した場合の例である。図４（ｄ）の例では，後部座席のチャイルドシートを撮影できるように，バックミラーの上にカメラを設置している。例えば，自家用車のエンジンが作動している間の映像を撮影し，映像を無線で映像蓄積手段３０に送信して蓄積する。ユーザは，撮影のためのアクションを起こさなくても頻繁に子供を撮影し，その映像を蓄積することができる。
【００３７】
また，カメラを設置する場所として，上記の玄関ドアや自家用車内以外にも，学校の門，教室の入り口，オフィスの出入り口，鏡の前など，さまざまな場所が考えられる。
【００３８】
映像蓄積手段３０は，映像取得手段２０で取得された映像の映像信号を，映像の取得時刻や，関連するセンサの出力などとともに受け取り，それらを蓄積する。
【００３９】
情報抽出手段４０は，提示条件入力手段１０によって入力された提示条件に基づいて，映像蓄積手段３０により蓄積された映像に処理を施し，記録映像を生成する。その生成された記録映像は，再び映像蓄積手段３０により蓄積される。
【００４０】
映像・情報提示手段５０は，提示条件入力手段１０において入力された提示条件に基づいて提示形式を整え，提示時期で指定された時期に，記録映像と情報との提示を行う。
【００４１】
図５は，本実施の形態における情報抽出処理および映像・情報提示処理のフローチャートの例である。図５のフローチャートでは，図２の例にあるようなイベントと提示条件の入力があった場合の処理の流れを示す。
【００４２】
まず，情報抽出手段４０は，提示条件入力手段１０において入力されたイベント，提示条件（図２（ａ）のイベント等）に従い，Ｅ（ｒ₁）＝「変化が検出された映像」から，映像蓄積手段３０により蓄積された映像に対して変化検出処理を行い（ステップＳ１０），取得された映像とは別の領域に，変化があった前後の映像だけを記録映像ｒ₁として蓄積する（ステップＳ１１）。変化抽出処理が高速に行われる場合には，映像取得手段２０により取得された映像について直接変化抽出処理を行いながら，変化があった部分だけを記録映像ｒ₁として蓄積することもできる。
【００４３】
映像・情報提示手段５０は，Ｄ（ｒ₁）＝「ユーザに即時送信」より，即時にユーザに記録映像ｒ₁を，Ｆ（ｒ₁）＝「変化前後のショートムービー」の提示形式で提示する（ステップＳ１２）。
【００４４】
次に，情報抽出手段４０は，提示条件入力手段１０において入力されたイベント，提示条件（図２（ｂ）のイベント等）に従い，Ｅ（ｒ₂）＝「登録された人物（撮影対象ＩＤ＝１〜Ｎの人物）の検出」より，変化があった映像（記録映像ｒ₁）から人物の検出を行う（ステップＳ２０）。ここで，記録映像ｒ₁からではなく，元の常時撮影された映像から人物の検出を行ってもよい。変化があった映像（記録映像ｒ₁）の中に人物が含まれていた場合には（ステップＳ２１），その人物が誰であるかの個人識別を行い（ステップＳ２２），その結果から，登録された人物の撮影対象ＩＤ（この例では撮影対象ＩＤ＝ｎ）を取得する（ステップＳ２３）。個人識別の結果，登録された人物ではなかった場合には，その人物に新たに撮影対象ＩＤ（例えば，Ｎ＋１）を付与するようにしてもよい。
【００４５】
ここで，変化があった映像（記録映像ｒ₁）の中に含まれている人物が撮影対象ＩＤ＝ｎの人物であった場合，情報抽出手段４０は，撮影対象ＩＤ＝ｎである人物に関する提示条件を提示条件入力手段１０から取得し，撮影対象ＩＤ＝ｎに対応する提示条件｛ｎ，Ｔ（ｒ₂，ｎ），Ｄ（ｒ₂，ｎ），Ｆ（ｒ₂，ｎ）｝を得る。
【００４６】
情報抽出手段４０は，Ｔ（ｒ₂，ｎ）より，変化があった映像（記録映像ｒ₁）が選択時刻Ｔに該当するか否かを判定し（ステップＳ２４），該当する場合には，取得した提示条件に従って付加情報を抽出し（ステップＳ２５），映像蓄積手段３０により，撮影対象ＩＤ＝ｎに対応する記録映像ｒ₂（Ａｌｂｕｍ（ｎ））として，変化があった映像と抽出された付加情報とを追加して蓄積する（ステップＳ２６）。
【００４７】
映像・情報提示手段５０は，撮影対象ＩＤ＝ｎに対応する提示条件｛ｎ，Ｔ（ｒ₂，ｎ），Ｄ（ｒ₂，ｎ），Ｆ（ｒ₂，ｎ）｝を取得し，Ｄ（ｒ₂，ｎ）より，今が提示時期Ｄであるかどうかを判定し（ステップＳ２７），提示時期ＤであればＡｌｂｕｍ（ｎ）を取得し，Ｆ（ｒ₂，ｎ）より，指定された提示形式ＦにＡｌｂｕｍ（ｎ）を編集し（ステップＳ２８），その編集されたＡｌｂｕｍ（ｎ）を提示する（ステップＳ２９）。
【００４８】
ここで，変化検出，人物検出，個人認識を行う方法として，周知の画像処理技術を用いることができる。例えば，変化検出の基本手法としては，背景差分による変化の検知や，撮影対象の学習データとのテンプレートマッチングなどの手法がある。また，個人識別の手法として，顔の個人識別や歩き方の個人識別の手法を用いることができる。
【００４９】
上記の変化検出や人物検出において，背景差分における明るさ変化などの影響を軽減するには背景の逐次更新を行うとか，人物が映像に含まれているかどうかを判定するには統計的なモデルとのマッチングを行い判定するなどの従来研究も多い。従来研究の例としては，以下のようなものがある。
・「背景差分による動物体領域抽出方法」，ＮＴＴ，特開平７−３０２３２８号公報。
・「照明変化に頑健な背景差分」，松山他，電子情報通信学会論文誌J84-D2，2001。
・「人物モデルと縦方向フィルタリングを用いた実時間人物計数システム」，中上他，第３回動画像処理実用化ワークショップ講演論文集，2002。
【００５０】
情報抽出手段４０では，提示条件入力手段１０により入力された映像の撮影条件に基づいて，映像取得手段２０により取得された映像から適切なフレームの選択を行うことにより，ベストショットを抽出することができる。以下，図３の例のテーブルによって撮影対象ごとに撮影条件が指定されている場合に，これに従ってフレームを選択して記録映像を作成する例を，図６および図７に従って説明する。
【００５１】
図６は，本実施の形態における提示条件による記録映像の作成例（１）を説明する図である。この図は，図３の例のテーブルにおいて，撮影対象が「父」である場合の例である。図３の表中の付加情報は，説明を簡単にするため省略する。図６（ａ）は，図３の例のテーブルから撮影対象が「父」である場合についての提示条件を抽出したものである。また，図６（ｂ）は，映像取得手段２０により取得された映像である。
【００５２】
情報抽出手段４０は，図６（ａ）より，撮影対象が「父」であり，選択時刻が「出勤時」であり，撮影条件が「全身」であるフレームを図６（ｂ）の映像から選択し，選択したフレームを提示形式の指示によりサムネイル化して蓄積する。図６（ｃ）は，図６（ａ）の提示条件に基づいて，図６（ｂ）の映像からフレーム選択されてサムネイル化して蓄積された記録映像である。
【００５３】
映像・情報提示手段５０は，図６（ａ）より，「月１回」の提示時期に，「１ヶ月分をサムネイル化」した提示形式で，記録映像を提示する。図６（ｄ）は，図６（ｃ）の記録映像（サムネイル）が，１ヶ月分まとめて表示された例を示している。
【００５４】
図７は，本実施の形態における提示条件による記録映像の作成例（２）を説明する図である。この図は，図３の例のテーブルにおいて，撮影対象が「子供」である場合の例である。図７（ａ）は，図３の例のテーブルから撮影対象が「子供」である場合についての提示条件を抽出したものである。また，図７（ｂ）は，映像取得手段２０により取得された映像である。
【００５５】
情報抽出手段４０は，図７（ａ）より，撮影対象が「子供」であり，選択時刻が「帰宅時」であり，撮影条件が「上半身アップ」であるフレームを図７（ｂ）の映像から選択し，選択したフレームを提示形式の指示によりショートムービーとして蓄積する。図７（ｃ）は，図７（ａ）の提示条件に基づいて，図７（ｂ）の映像からフレーム選択されてショートムービーとして蓄積された記録映像である。
【００５６】
映像・情報提示手段５０は，図７（ａ）より，「帰宅時」の提示時期に，「ショートムービー」の提示形式で，記録映像を提示する。また，図７（ａ）より，「年１回」の提示時期に，「ショートムービー」の提示形式で，記録映像を提示する。このとき，例えば，図７（ａ）付加情報の指定から，１年間蓄積されたショートムービーをもとに，アルバム作成用のアプリケーションにより毎年末に１年分のアルバムを作成し，それをユーザに提示する。図７（ｄ）は，図７（ｃ）の記録映像（ショートムービー）をもとに，１年分のアルバムを作成した例を示している。
【００５７】
以上の図６および図７の例において，フレーム選択を実現する手段としては，映像中のフレームごとの変化領域を抽出し，その形状を学習しておくことで，顔なのか上半身なのか全身なのかを判別する方法などが考えられる。
【００５８】
以上のようなベストショットフレームの選択機能により，例えば次のような本発明の利用方法が考えられる。
・毎日，自分の全身がよくわかるように映ったフレームを１枚を選択し，蓄積して，定期的に一覧化した記録映像を提示させる。これを自分自身の健康状態のチェックや日記がわりに利用する。
・撮影された人物が家族以外であると認識された場合には，すぐにユーザに顔のアップの映像を送信する。過去の訪問者のデータベースと照合し，何度も撮影されている人物である場合には，しつこい勧誘やストーカーの可能性があることを警告する。
・子供の毎日の帰宅時の映像を撮影し，顔がよくわかる部分を選択して直後にユーザの携帯にショートムービーとして送信する。これによって，ユーザは子供が安全に帰宅したことを確かめることができる。また，送信したショートムービーをそのまま蓄積し，それを１年間まとめることにより，１年分の子供のアルバムとしてユーザに届けることもできる。
【００５９】
図８は，本実施の形態における記録映像自動生成処理フローチャートである。まず，提示条件入力手段１０は，ユーザから，イベントおよび提示条件を入力する（ステップＳ３０）。映像取得手段２０は，提示条件入力手段１０が入力したイベントに基づく撮影方法に従って，必要であればセンサからの入力信号をチェックしながら，カメラにより撮影された映像を取得し（ステップＳ３１），映像蓄積手段３０は，取得された映像を蓄積する（ステップＳ３２）。
【００６０】
情報抽出手段４０は，映像蓄積手段３０から蓄積された映像を取得し，その蓄積された映像から入力された提示条件に従って，またはイベントと提示条件に従って映像を抽出し，記録映像を生成し（ステップＳ３３），その記録映像と付加情報とを映像蓄積手段３０により蓄積する（ステップＳ３４）。
【００６１】
映像・情報提示手段５０は，入力された提示条件から提示時期かどうかを判定し（ステップＳ３５），提示時期であれば，該当する記録映像と情報とを取得し，その記録映像と情報とを入力された提示条件によって指定された提示形式で，ユーザに提示する（ステップＳ３６）。
【００６２】
以上説明した本実施の形態の記録映像自動生成システム１において，提示条件入力手段１０，映像取得手段２０，映像蓄積手段３０，情報抽出手段４０，映像・情報提示手段５０の各手段は，コンピュータとそのコンピュータが実行するソフトウェアプログラムによって実現することができるが，１つのコンピュータで実現されるものであってもよいし，ネットワーク等を利用して複数のコンピュータで実現されるものであってもよい。
【００６３】
図９は，本実施の形態における記録映像自動生成システムをネットワークを利用して実現する例を示す図である。以下，いずれの場合においても，データの流れる手順は変わりはなく，図１で説明したものと同様である。
【００６４】
図９（ａ）は，映像の蓄積および処理に関する手段はすべてユーザ側にあり，記録映像の提示のみがネットワーク６０を介して行われる場合の例である。例えば，図３に示す提示条件のように，撮影対象として「家族以外の人物」が認識されたときは「認識直後」に記録映像を提示する，という提示条件が指定されていたとする。この場合には，蓄積・処理部分はすべてユーザの自宅のコンピュータで行われるが，家族以外の人物に関する認識結果の映像は，外出先のユーザ携帯端末などにネットワーク６０を介して送られることになる。
【００６５】
図９（ｂ）は，ユーザ側には映像取得手段２０のみがあり，それ以外の蓄積・処理部分は，すべてネットワーク６０を介して接続された遠隔のサーバ上に存在する場合の例である。例えば，ユーザの自宅に設置されたカメラに映像取得手段２０が組み込まれ，これから取得された映像はネットワーク６０を介して遠隔のサーバに送られ，そこで蓄積・処理部分が行われ，処理結果である記録映像と情報とがネットワーク６０を介してユーザの端末に提示される。
【００６６】
図９（ｃ）は，図９（ｂ）とほとんど同じ形態であるが，映像取得手段２０だけではなく映像蓄積手段３０もユーザ側にあり，それ以外の処理部分がネットワーク６０を介して接続された遠隔のサーバ上に存在する場合の例である。例えば，ユーザの自宅で取得され蓄積された映像は，ネットワーク６０を介して遠隔のサーバに送られ，そこであらかじめネットワーク６０を介して提示条件入力手段１０によって入力されたイベント・提示条件に基づいて情報抽出などの処理が行われ，処理結果である記録映像と付加情報等がネットワーク６０を介してユーザに提示される。
【００６７】
【発明の効果】
以上のように，本システムは，固定カメラの常時撮影等によって撮影された映像を蓄積し，情報抽出を行い，ユーザにとって必要な情報が集まった時点で，その情報と映像とをユーザに送る手段を持つことにより，ユーザ側は，最初のカメラ設置さえ行えば，その後は特に映像を残すことについて何も意識しなくても，自動的に，所望の記録映像とその映像に関する情報とを得ることができる。
【００６８】
これまで，自分自身の過去の映像を見たいと思うことがあるからといって，前もってカメラを用いて意識的に自分自身の全身を撮影することは容易でなく，また，撮影しようという動機付けもなかなか起こらないのが普通であった。また，子供の誕生直後には成長記録をずっと残したいという希望があっても，子供が少し大きくなった頃には映像を意識的に撮影することを忘れたり面倒になったりしてしまい，ある時期の子供の記録は全く残っていないということもよくあった。しかし，本システムを用いれば，無意識のうちに映像が蓄積されていくので，その中から任意の時点の映像を取り出して利用することができるようになり，上記課題は解決される。
【図面の簡単な説明】
【図１】本発明の実施の形態における記録映像自動生成システムの構成図である。
【図２】本実施の形態におけるユーザの記録映像の指定の例を示す図である。
【図３】本実施の形態における提示条件のテーブルの例を示す図である。
【図４】本実施の形態におけるカメラの設置と撮影対象の例を示す図である。
【図５】本実施の形態における情報抽出処理および映像・情報提示処理のフローチャートの例である。
【図６】本実施の形態における提示条件による記録映像の作成例（１）を説明する図である。
【図７】本実施の形態における提示条件による記録映像の作成例（２）を説明する図である。
【図８】本実施の形態における記録映像自動生成処理フローチャートである。
【図９】本実施の形態における記録映像自動生成システムをネットワークを利用して実現する例を示す図である。
【符号の説明】
１記録映像自動生成システム
１０提示条件入力手段
２０映像取得手段
３０映像蓄積手段
４０情報抽出手段
５０映像・情報提示手段
６０ネットワーク

Claims

撮影によって得られる映像を蓄積し，ユーザに提示する記録映像を自動的に作成する記録映像自動生成システムであって，
ユーザが希望する場所に設置されたカメラにより撮影された映像を蓄積する映像蓄積手段と，
前記蓄積された映像をユーザの希望に基づいて提示するために，撮影対象の情報と提示時期または提示形式の情報とを含む，撮影対象ごとの提示条件を入力する提示条件入力手段と，
前記入力された提示条件を記憶する提示条件記憶手段と，
前記映像蓄積手段により蓄積された映像から撮影対象を検出する処理を行い，前記提示条件記憶手段に記憶された提示条件中の撮影対象が撮影されている場合にその撮影対象を識別し，前記映像から前記撮影対象の記録映像として必要な映像を抽出し，撮影対象ごとの記録映像を生成する情報抽出手段と，
前記情報抽出手段により生成された記録映像を，前記提示条件記憶手段に記憶された提示条件中の前記撮影対象に対応する提示時期または提示形式の情報に基づいて，ユーザに提示する映像・情報提示手段とを備える
ことを特徴とする記録映像自動生成システム。
請求項１に記載の記録映像自動生成システムにおいて，
前記提示条件入力手段は，前記提示条件として撮影対象ごとに選択時刻の情報を入力し，前記提示条件記憶手段に記憶させ，
前記情報抽出手段は，前記撮影対象を識別した後，その撮影対象に対応して前記提示条件記憶手段に記憶された選択時刻に該当する映像だけを記録映像として抽出する
ことを特徴とする記録映像自動生成システム。
請求項１または請求項２に記載の記録映像自動生成システムにおいて，
前記提示条件入力手段は，前記提示条件として撮影対象ごとに付加情報を入力し，前記提示条件記憶手段に記憶させ，
前記情報抽出手段は，前記記録映像とともに前記撮影対象に対応して前記提示条件記憶手段に記憶された付加情報を抽出して記録し，
前記映像・情報提示手段は，前記記録映像に付加情報が付加されているとき，その付加情報の提示または付加情報に従った処理による提示を行う
ことを特徴とする記録映像自動生成システム。
撮影によって得られる映像を蓄積し，ユーザに提示する記録映像をコンピュータが自動的に作成する記録映像自動生成方法であって，
ユーザが希望する場所に設置されたカメラにより撮影された映像を蓄積する過程と，
前記蓄積された映像をユーザの希望に基づいて提示するために，撮影対象の情報と提示時期または提示形式の情報とを含む，撮影対象ごとの提示条件を入力する過程と，
前記入力された提示条件を提示条件記憶手段に記憶する過程と，
前記蓄積された映像から撮影対象を検出する処理を行い，前記提示条件記憶手段に記憶された提示条件中の撮影対象が撮影されている場合にその撮影対象を識別し，前記映像から前記撮影対象の記録映像として必要な映像を抽出し，撮影対象ごとの記録映像を生成する過程と，
前記生成された記録映像を，前記提示条件記憶手段に記憶された提示条件中の前記撮影対象に対応する提示時期または提示形式の情報に基づいてユーザに提示する過程とを有する
ことを特徴とする記録映像自動生成方法。
撮影によって得られる映像を蓄積し，ユーザに提示する記録映像を自動的に作成する記録映像自動生成方法を，コンピュータに実行させるためのプログラムであって，
ユーザが希望する場所に設置されたカメラにより撮影された映像を蓄積する処理と，
前記蓄積された映像をユーザの希望に基づいて提示するために，撮影対象の情報と提示時期または提示形式の情報とを含む，撮影対象ごとの提示条件を入力する処理と，
前記入力された提示条件を提示条件記憶手段に記憶する処理と，
前記蓄積された映像から撮影対象を検出する処理を行い，前記提示条件記憶手段に記憶された提示条件中の撮影対象が撮影されている場合にその撮影対象を識別し，前記映像から前記撮影対象の記録映像として必要な映像を抽出し，撮影対象ごとの記録映像を生成する処理と，
前記生成された記録映像を，前記提示条件記憶手段に記憶された提示条件中の前記撮影対象に対応する提示時期または提示形式の情報に基づいてユーザに提示する処理とを，
コンピュータに実行させるための記録映像自動生成プログラム。
撮影によって得られる映像を蓄積し，ユーザに提示する記録映像を自動的に作成する記録映像自動生成方法を，コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
ユーザが希望する場所に設置されたカメラにより撮影された映像を蓄積する処理と，
前記蓄積された映像をユーザの希望に基づいて提示するために，撮影対象の情報と提示時期または提示形式の情報とを含む，撮影対象ごとの提示条件を入力する処理と，
前記入力された提示条件を提示条件記憶手段に記憶する処理と，
前記蓄積された映像から撮影対象を検出する処理を行い，前記提示条件記憶手段に記憶された提示条件中の撮影対象が撮影されている場合にその撮影対象を識別し，前記映像から前記撮影対象の記録映像として必要な映像を抽出し，撮影対象ごとの記録映像を生成する処理と，
前記生成された記録映像を，前記提示条件記憶手段に記憶された提示条件中の前記撮影対象に対応する提示時期または提示形式の情報に基づいてユーザに提示する処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする記録映像自動生成プログラムの記録媒体。