JP4603472B2 - 撮像装置及びインターバル撮影機能を備えた撮像装置 - Google Patents

Description

本発明は、ユーザが意識しなくとも定期的に撮影を行うことのできるインターバル撮影機能を備えた撮像装置に関するものである。

従来より、ユーザが意識しなくとも定期的に撮影を行うことのできるインターバル撮影機能を備えた撮像装置が開発されている。そして、こうした機能を有する撮像装置を有したカメラのことをライフログカメラと称している。ライフログカメラは、常時、ユーザの身に付けて、その日の生活を無意識に記録することができるようにしたカメラであり、電池寿命や記録容量を考慮して、一定時間間隔で撮影するように制御されている。

一方、撮影間隔を定期的に設定して被写体を撮影するカメラとしては、例えば下記特許文献１及び２に記載されたような監視カメラが挙げられる。これらの監視カメラでは、画像間の差分によって移動体を検出することができる。

また、ペット類の静止画を間欠的に撮影してインターネットに接続された端末からペット類を見る監視システムも、下記特許文献３に開示されている。

更に、撮影環境に応じた撮影条件でインターバル撮影を行うカメラが、下記特許文献４に開示されている。

また、防犯カメラによって撮影タイミングを変えて利用者等を撮影する技術が、下記特許文献５に記載されている。

そして、撮影間隔を可変にするカメラについての技術は、例えば下記特許文献６及び７に記載されている。
特開２００２−２１８３０９号公報 特開２００５−１０９５５７号公報 特開２００４−１５３５６号公報 特開２００４−１２６２４２号公報 特開２００１−３２５６４３号公報 特許第３０１５３８４号公報 特開２００５−１７０２５８号公報

しかしながら、上記特許文献１及び２に記載の監視カメラでは、カメラを移動体に載置した場合、画像間の差分からでは、カメラ自体が動いたのか、被写体が動いたのかを識別するのは難しいものであった。

また、上述したようにユーザの意識に関係なく定期的に撮影を行うカメラは種々開発されているが、ユーザにとって重要なイベントについては、もっと密な情報がほしいという要求がある。つまり、重要なイベントについては、撮影を頻繁に行う等、通常のシーンよりも密な記録を必要とするという要求がある。しかしながら、その要求に応じるのに充分な機能を有する撮像装置は、上記特許文献１乃至７にはないものであった。

したがって本発明は上記実情に鑑みてなされたものであり、その目的は、重要なイベントについては密な記録を効率的に行うことが可能な撮像装置及びインターバル撮影機能を備えた撮像装置を提供することである。

すなわち請求項１に記載の発明は、複数の画像を撮影間隔をおいて撮影することで時系列画像を取得するインターバル撮影機能を備えた撮像装置に於いて、特定のオブジェクト若しくは特定のシーンを重要なオブジェクト若しくは重要なシーンとして設定可能な重要オブジェクト・重要シーン設定部と、上記重要オブジェクト・重要シーン設定部で設定された重要オブジェクト若しくは重要シーンを基準にして、撮影された画像の重要度を判定する重要度判定部と、上記重要度判定部で判定された重要度に応じて上記撮影間隔を変更する撮影間隔制御部と、を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明に於いて、上記重要オブジェクト・重要シーン設定部は、重要オブジェクトや重要シーンを撮影して登録する撮影画像登録部を有することを特徴とする。

請求項３に記載の発明は、請求項１に記載の発明に於いて、上記重要オブジェクト・重要シーン設定部は、オブジェクトやシーンを識別するオブジェクト・シーン判定部と、該オブジェクト・シーン判定部で識別されるオブジェクトやシーンの中からユーザが重要視するものを選択可能な重要オブジェクト・重要シーン選択部とを有することを特徴とする。

請求項４に記載の発明は、請求項１に記載の発明に於いて、撮影した時系列画像を構成する前後する画像の特徴の変化量を算出する特徴変化量算出部と、上記特徴変化量算出部で算出された特徴の変化量が、所定の閾値より小さい値が連続する区間の画像列の中から、少なくとも１つの画像以外の画像を抽出する類似画像削除部と、を更に具備することを特徴とする。

請求項５に記載の発明は、請求項１に記載の発明に於いて、上記撮影間隔制御部は、上記重要度判定部で判定された画像が重要度の高いものの場合には、それ以降次の判定時まで上記撮影間隔を短くするように制御することを特徴とする。

請求項６に記載の発明は、被写体を連続的に所定間隔で撮影する撮像手段と、上記被写体であるオブジェクト若しくはシーンの中から特定のオブジェクト若しくはシーンに対応したアイコンを選択可能な選択手段と、上記撮像手段で撮影された画像の中から、上記選択手段で選択されたアイコンに対応した特定のオブジェクト若しくはシーンを検出するオブジェクト・シーン検出部と、上記オブジェクト・シーン検出部で検出されたオブジェクト若しくはシーンの重要度を判定する重要度判定手段と、上記重要度判定手段で判定された上記オブジェクト若しくはシーンの重要度に基づいて、上記連続的に所定間隔で撮影する撮像手段の撮影間隔を変更する撮影間隔制御手段と、を具備することを特徴とする。

請求項７に記載の発明は、請求項６に記載の発明に於いて、上記撮影間隔制御部は、上記重要度判定部で判定された画像が重要度の高いものの場合には、それ以降次の判定時まで撮影間隔を短くするように制御することを特徴とする。

本発明によれば、撮影したイベントの重要度から撮影間隔を変更することが可能な撮像装置及びインターバル撮影機能を備えた撮像装置を提供することができる。これにより、ユーザにとって重要なイベントを密に記録することができる。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るインターバル撮影機能を備えた撮像装置が適用されたカメラの概略構成を示すブロック図である。

図１に於いて、このインターバル撮影機能を備えた撮像装置が適用されたカメラ（以下、ライフログカメラと記す）は、撮影間隔制御部１１と、撮像手段として撮像部１２と、画像記憶部１４と、類似画像削除部１５と、重要度設定部１６と、重要度判定部１８と、判定時間間隔制御部１９と、特徴変化量算出部２１とを有して構成されている。

上記撮像間隔制御部１１は、カメラのシャッタを動作させて撮影間隔を制御するためのものである。また、撮像部１２は、被写体の光学像を結像するためのＣＣＤ等の撮像素子と、該ＣＣＤで取り込まれた光学像を電気信号に変換する撮像回路を有して成る。

上記画像記憶部１４は、撮影画像登録部として、重要度設定部１６で設定された撮影時の重要オブジェクトや重要シーンを登録するためのものである。上記類似画像削除部１５は、算出された特徴の変化量が、ある閾値より小さい値が連続する区間の画像列の中から、少なくとも１枚の画像を保存し、それ以外の画像を削除する類似画像削除手段である。

重要度設定部１６は、ユーザにとって重要なオブジェクト、若しくは重要なシーンを設定するための機能を有する重要度設定手段である。重要なオブジェクトとは、例えば、ユーザの家族のメンバ等、該ユーザが指定する被写体である。また、重要なシーンとは、上記重要なオブジェクトを含む特定のシーン、例えば食事のシーンである等、ユーザが指定したシーンである。

重要度判定部１８は、上記重要度設定部１６で設定済みの重要オブジェクトや重要シーンを基準にして、撮影された画像の重要度を判定するための重要度判定手段である。上記判定時間間隔制御部１９は、上記重要度判定手段によって判定された重要度に応じて撮影間隔を変更する撮影間隔制御手段である。更に、特徴変化量算出部２１は、撮影された時系列画像の前後する画像の特徴の変化量を算出するためのものである。

次に、このように構成されたカメラの動作について、図２のフローチャートを参照して説明する。

先ず、ステップＳ１に於いて、カメラの重要度設定部１６によって、ユーザにとって重要なオブジェクト、或いは重要なシーンが設定される。ここで、重要なオブジェクトとして、例えば、上述したように、ユーザの家族のメンバを設定する場合には、家族のメンバの各々の顔が予め撮像部１２により撮影されて、画像記憶部１４に登録される。また、重要シーンについては、例えば、いつも家の中で座る食卓の席に座って正面に見えるシーン等が、予め当該カメラで撮影されて重要なシーンとして登録されるようにしておく。このようにして登録しておくと、ユーザ自身の前の座席に登録されたオブジェクト以外の客が座っている場合などでも、客との食事シーンを撮影して記録することが可能となる。

また、重要度設定部１６では、単にオブジェクトやシーンが重要であるか否かの２値の設定でなく、例えば、最重要、重要、ある程度重要等を区別してユーザが設定し、それに応じてライフログカメラの内部で“１”から“０”の間の数値に変換して、重要度として記憶させるようにしておいても良い。

次に、ステップＳ２に於いて、上記ステップＳ１で設定された重要度に応じた撮影時間間隔及び判定時間間隔が設定される。例えば、重要度１の最重要オブジェクト・最重要シーンの場合には撮影間隔を他に比べて極端に短くした動画として撮影し、重要度０．７の重要オブジェクト・重要シーンの場合には撮影間隔１秒、そして重要度０．３のある程度重要なオブジェクト・重要シーンの場合には撮影間隔１０秒、それ以外の重要度０の場合には撮影間隔５分、のように設定される。初期の撮影時間間隔及び判定時間間隔として、予め定められた値（デフォルト値）を設定してもよい。

そして、ライフログカメラをユーザの首からぶら下げるなどして身につけ、ステップＳ３に於いて、撮影時刻になったか否かが判断される。ここでは、予め図示されない計測部等により時刻が計測されている。その結果、撮影時刻になるまで判定が繰り返され、撮影時刻になったならば、ステップＳ４に移行して実際の撮影が撮像部１２によって行われる。撮像された画像は、画像記憶部１４に記録される。

ここで、ステップＳ５に於いて、判定時刻か否かが判断される。この判断の結果、まだ判定時間になっていなければ、上記ステップＳ３に移行して以降の処理動作が繰り返される。一方、判定時刻になったならば、ステップＳ６に移行して、上記ステップＳ４にて撮影された画像について、上記ステップＳ１で設定された重要オブジェクト・重要シーンと照合が行われる。つまり、ステップＳ４で撮影された画像と、上記ステップＳ１で画像記憶部１４に登録された画像とが照合されて、類似度が判定される。

そして、ステップＳ７にて照合の結果、照合値の最大が予め定められた閾値を超えたならば、ステップＳ８に移行して、照合値が最大のときの重要オブジェクト・重要シーンが選出される。次いで、ステップＳ９では、上記ステップＳ８で選出された重要オブジェクト・重要シーンの重要度が重要度判定部１８によって判定され、その重要度に基づいて、上記ステップＳ２で設定された撮影時間間隔及び判定時間間隔が変更される。一方、上記ステップＳ７にて照合の結果、照合値の最大が上記閾値を超えないならば、ステップＳ１０に移行して、判定時間間隔、撮影時間間隔がリセットされてデフォルト値に戻される。

その後、ステップＳ１１に於いて、図示されない電源スイッチの状態が検出される。ここで、上記電源スイッチがオンのままであれば、上記ステップＳ３に移行して次の判定時まで、変更された撮影間隔に基づいて撮影が行われる。そして、ステップＳ１１で電源スイッチがオフになったならばライフログカメラによる撮影が終了する。

このように、第１の実施形態によれば、予め重要オブジェクト・重要シーンを登録し、撮影された画像がこれと類似しているならば重要であると判定されて撮影間隔を変更するので、重要なイベントを緻密に撮影することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、重要オブジェクトや重要シーンの設定部に於いて、重要オブジェクトや重要シーンを実際に撮影することにより登録している。これに対し、この第２の実施形態では、重要オブジェクトや重要シーンの設定時には、予めカメラに登録されたオブジェクトアイコンやシーンアイコンの中からユーザが重要と思うものを選択することにより、重要オブジェクトや重要シーンを設定するようにしている。

以下、この第２の実施形態について説明するが、カメラの基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分の構成及び動作についてのみ説明する。

図３は、本発明の第２の実施形態に係るインターバル撮影機能を備えた撮像装置が適用されたカメラの概略構成を示すブロック図である。

図３に於いて、このライフログカメラは、撮影間隔制御部１１と、撮像部１２と、画像記憶部１４と、類似画像削除部１５と、重要度設定部１６と、重要度判定部１８と、判定時間間隔制御部１９と、アイコン登録部２２と、オブジェクト・シーン検出部２３とを有して構成されている。

上記アイコン登録部２２は、重要オブジェクトや重要シーンの設定時に、ユーザが重要であるとして選択するためのアイコンが登録されているものである。オブジェクト・シーン検出部２３は、上述したように、予めカメラに登録されたオブジェクトアイコンやシーンアイコンに相当するオブジェクトやシーンを他のものと識別するための検出手段である。例えば、ユーザが重要オブジェクトとして顔アイコンを選択した場合には、撮影画像に対し顔検出処理を行い、顔が検出されれば重要オブジェクトがあると判定し、顔が検出されなければ重要オブジェクトがないと判定する。

以下、図４のフローチャートを参照して、この第２の実施形態に於けるライフログカメラの動作について説明する。

先ず、ステップＳ２１に於いて、カメラの重要度設定部１６によって、ユーザにとって重要なオブジェクト、或いは重要なシーンが設定されるべく、アイコン登録部２２内に登録されたオブジェクトアイコンやシーンアイコンが選択される。ここでは、上述したように、重要オブジェクトとして顔アイコンが選択されたものとする。

次に、ステップＳ２２に於いて、上記ステップＳ２１で選択されたアイコンに応じた撮影時間間隔及び判定時間間隔が設定される。そして、ステップＳ２３に於いて、撮影時刻になったか否かが判断される。ここで、撮影時刻になったならば、ステップＳ２４に移行して実際の撮影が撮像部１２によって行われる。撮像された画像は、画像記憶部１４に記録される。

次いで、ステップＳ２５に於いて、判定時刻か否かが判断される。この判断の結果、まだ判定時間になっていなければ、上記ステップＳ２３に移行して以降の処理動作が繰り返される。一方、判定時刻になったならば、ステップＳ２６に移行して、上記ステップＳ２４にて撮影された画像について、上記ステップＳ２１で選択されたアイコンに対応した検出処理、すなわち、撮影画像に対して顔検出処理が行われる。

そして、続くステップＳ２７に於いて、顔検出がなされたならば、重要オブジェクト・重要シーンがあると判定される。この場合は、ステップＳ２８に移行して、重要オブジェクト・重要シーンが選出される。次いで、ステップＳ２９にて、上記ステップＳ２８で選出された重要オブジェクト・重要シーンの重要度が重要度判定部１８によって判定され、その重要度に基づいて、上記ステップＳ２２で設定された撮影時間間隔及び判定時間間隔が変更される。

一方、上記ステップＳ２７にて、顔が検出されない場合は、重要オブジェクト・重要シーンはないものと判断されて、ステップＳ３０に移行して、判定時間間隔、撮影時間間隔がリセットされてデフォルト値に戻される。

その後、ステップＳ３１に於いて、図示されない電源スイッチの状態が検出される。ここで、上記電源スイッチがオンのままであれば、上記ステップＳ２３に移行して次の判定時まで、変更された撮影間隔に基づいて撮影が行われる。そして、ステップＳ３１で電源スイッチがオフになったならばライフログカメラによる撮影が終了する。

このように、第２の実施形態によれば、重要オブジェクト・重要シーンの設定に、予め登録されたアイコンを使用するので、上述した第１の実施形態よりも容易に重要オブジェクト・重要シーンを設定することが可能である。

尚、オブジェクトの例としては、顔の検出の例について説明したが、これに限られるものではない。例えば、花、山、川、男性、子供、ペット等、また、シーンの例としては、夜景、夕景、風景、道路、特定の場所等、さまざまなパターンが考えられる。

更に、この第２の実施形態に於けるライフログカメラと上述した第１の実施形態に於けるライフラグカメラの機能は、それぞれ独立したものではなく、組み合わせたものでもよいのは言うまでもない。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

上述した第１及び第２の実施形態では、ライフログカメラで撮影された画像は順次画像記憶部１４に登録しているが、この第３の実施形態に於いては、一連の連続した画像系列から、類似したシーンを判定して抽出することで、除去するようにしている。

以下、この第３の実施形態について説明するが、カメラの基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な撮影動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとする。

図５は、本発明の第３の実施形態によるライフログカメラの動作を説明するためのフローチャートである。尚、図５のフローチャートに於いて、ステップＳ４１〜Ｓ４４、及びステップＳ４７〜Ｓ５３の処理動作は、上述した第１の実施形態に於ける図２のフローチャートのステップＳ１〜Ｓ４、及びステップＳ５〜Ｓ１１と同じであるので、それぞれ対応するステップ番号を参照してここでの説明は省略する。

ステップＳ４４にて実際の撮影が撮像部１２によって行われると、続くステップＳ４５に於いて、この撮影された画像が一連の連続して撮影された画像系列から類似したシーン（類似画像）である否かが判断される。この類似画像であるか否かの判断は、特徴変化量算出部２１によって行われるもので、撮影された時系列画像の前後する画像の特徴の変化量が算出されて、算出された特徴の変化量が所定の閾値と比較されることにより行われる。ここで、特徴の変化量が所定の閾値より小さい値が連続する場合は、その連続する区間の画像列の中から、少なくとも１枚の画像が保存され、それ以外の画像は、ステップＳ４６に移行して、類似画像削除部１５によって抽出されることで、削除される。その後、上記ステップＳ４３に移行して以降の処理動作が繰り返される。

尚、時系列画像の前後する画像とは、１単位の撮影間隔を隔てて前後する画像に限らず、複数単位の撮影間隔を隔てて前後する画像も含む。

一方、上記ステップＳ４５に於いて、特徴の変化量が所定の閾値を超えているならば、類似画像とは判断されないので、ステップＳ４７に移行して判定時刻か否かが判断され、以降、ステップＳ４７〜Ｓ５３の処理動作が行われる。

このように、第３の実施形態によれば、類似画像削除部１５にて、一連の連続した画像系列から類似したシーンを判断して類似している場合はこれを削除するようにしたので、重要オブジェクトや重要シーンにより撮影間隔が短くなることによる記憶容量の不足を対処することができる。

尚、この第３の実施形態は、カメラの基本的な構成については第１の実施形態と同じであるとして説明したが、これに限られずに第２の実施形態のカメラにも適用可能であるのは勿論である。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。

本発明の第１の実施形態に係るインターバル撮影機能を備えた撮像装置が適用されたカメラの概略構成を示すブロック図である。 本発明の第１の実施形態によるライフログカメラの動作を説明するためのフローチャートである。 本発明の第２の実施形態に係るインターバル撮影機能を備えた撮像装置が適用されたカメラの概略構成を示すブロック図である。 本発明の第２の実施形態によるライフログカメラの動作を説明するためのフローチャートである。 本発明の第３の実施形態によるライフログカメラの動作を説明するためのフローチャートである。

符号の説明

１１…撮影間隔制御部、１２…撮像部、１４…画像記憶部、１５…類似画像削除部、１６…重要度設定部、１８…重要度判定部、１９…判定時間間隔制御部、２１…特徴変化量算出部、２２…アイコン登録部、２３…オブジェクト・シーン検出部。

Claims (7)

1. 複数の画像を撮影間隔をおいて撮影することで時系列画像を取得するインターバル撮影機能を備えた撮像装置に於いて、
   特定のオブジェクト若しくは特定のシーンを重要なオブジェクト若しくは重要なシーンとして設定可能な重要オブジェクト・重要シーン設定部と、
   上記重要オブジェクト・重要シーン設定部で設定された重要オブジェクト若しくは重要シーンを基準にして、撮影された画像の重要度を判定する重要度判定部と、
   上記重要度判定部で判定された重要度に応じて上記撮影間隔を変更する撮影間隔制御部と、
   を有することを特徴とする撮像装置。
2. 上記重要オブジェクト・重要シーン設定部は、重要オブジェクトや重要シーンを撮影して登録する撮影画像登録部を有することを特徴とする請求項１に記載の撮像装置。
3. 上記重要オブジェクト・重要シーン設定部は、オブジェクトやシーンを識別するオブジェクト・シーン判定部と、該オブジェクト・シーン判定部で識別されるオブジェクトやシーンの中からユーザが重要視するものを選択可能な重要オブジェクト・重要シーン選択部とを有することを特徴とする請求項１に記載の撮像装置。
4. 撮影した時系列画像を構成する前後する画像の特徴の変化量を算出する特徴変化量算出部と、
   上記特徴変化量算出部で算出された特徴の変化量が、所定の閾値より小さい値が連続する区間の画像列の中から、少なくとも１つの画像以外の画像を抽出する類似画像削除部と、
   を更に具備することを特徴とする請求項１に記載の撮像装置。
5. 上記撮影間隔制御部は、上記重要度判定部で判定された画像が重要度の高いものの場合には、それ以降次の判定時まで上記撮影間隔を短くするように制御することを特徴とする請求項１に記載の撮像装置。
6. 被写体を連続的に所定間隔で撮影する撮像手段と、
   上記被写体であるオブジェクト若しくはシーンの中から特定のオブジェクト若しくはシーンに対応したアイコンを選択可能な選択手段と、
   上記撮像手段で撮影された画像の中から、上記選択手段で選択されたアイコンに対応した特定のオブジェクト若しくはシーンを検出するオブジェクト・シーン検出部と、
   上記オブジェクト・シーン検出部で検出されたオブジェクト若しくはシーンの重要度を判定する重要度判定手段と、
   上記重要度判定手段で判定された上記オブジェクト若しくはシーンの重要度に基づいて、上記連続的に所定間隔で撮影する撮像手段の撮影間隔を変更する撮影間隔制御手段と、
   を具備することを特徴とするインターバル撮影機能を備えた撮像装置。
7. 上記撮影間隔制御部は、上記重要度判定部で判定された画像が重要度の高いものの場合には、それ以降次の判定時まで撮影間隔を短くするように制御することを特徴とする請求項６に記載のインターバル撮影機能を備えた撮像装置。

Images