JP5809906B2 - 画像読出し装置及び画像処理システム - Google Patents

Description

本発明は、動画像の各動画像フレームの要不要を自動的に判定する技術に関する。

近年、撮像装置の高解像度化や高速化、フラッシュメモリの大容量化、及び撮像装置内の画像処理回路の高速化や低電力化が進み、高解像度による長時間動画撮影や長時間動画再生が可能になってきている。

しかしながら、動画撮影時にユーザが意図をもって撮影していない場合や、とりあえず撮り逃しの無いように長時間、動画の撮影を行っている場合などでは、撮影後の動画像に不要な動画像フレームが多く含まれてしまう。すると、後工程としての動画の編集作業や再生作業に大きな負荷がかかり、動画の編集作業や再生作業の効率を下げてしまうおそれがある。例えば、動画像ファイルに不要な動画像フレームが多く含まれていると、目的の動画像フレームを探すために多くの手間や時間がかかったり、動画像ファイルを編集用プログラムや再生用プログラムにロードする際に多くの時間がかかったりしてしまう。

例えば、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術がある（例えば、特許文献１参照）。

特開２００５−２９５２８５号公報

上述のように、動画の編集時や再生時において、動画像の各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術は、動画像フレームの要不要を判定する際にユーザにかかる負荷を軽減することができるが、その動画像フレーム自動削除機能を含む編集用プログラムや再生用プログラムに動画像ファイルをロードする必要がやはりあるため、動画像ファイル内に不要な動画像フレームが多いと、編集作業や再生作業の効率を低下させてしまう。

本発明は、動画の編集作業や再生作業の効率低下を抑えることを目的とする。

本発明の画像読出し装置は、要不要判定手段と、読出し制御手段とを備える。

前記要不要判定手段は、ＴＳパケットを記録するとともに、要不要判定データをＰＩＤと統合してメタデータとして記録する記録手段から前記メタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームであるか否かを判定する。

前記画像読出し装置は、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す。

本発明によれば、動画の編集作業や再生作業の効率低下を抑えることができる。

本発明の実施形態の画像処理システムを示す図である。 メタデータ、動画像フレーム、記録部内のセクタ、及び記録部内のクラスタの一例を示す図である。 ディレクトリの一例を示す図である。 ＦＡＴの一例を示す図である。 画像読出し装置の動作の一例を示すフローチャートである。 ＭＰＥＧ形式の符号化時における動画像フレーム、圧縮単位、及び記録部内のクラスタの一例を示す図である。 実施例１の撮像装置を備える画像処理システムを示す図である。 実施例１の撮像装置を備える画像処理システムの変形例（その１）を示す図である。 実施例１の撮像装置を備える画像処理システムの変形例（その２）を示す図である。 実施例１の撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 実施例１の撮像装置を備える画像処理システムにおける要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。 実施例１の撮像装置を備える画像処理システムにおける要判定の動画像フレームと不要判定の動画像フレームの他の例を示す図である。 実施例２の撮像装置を備える画像処理システムを示す図である。 実施例２の撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 実施例３の撮像装置を備える画像処理システムを示す図である。 実施例３の撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 実施例４の撮像装置を備える画像処理システムを示す図である。 実施例４の撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 実施例４の撮像装置を備える画像処理システムにおける要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。 本発明の他の実施形態の画像処理装置を示す図である。

図１は、本発明の実施形態の画像処理システムを示す図である。

図１に示す画像処理システムは、入力される動画像を記録部１０６に記録する画像処理装置１００と、記録部１０６から動画像を読み出す画像読出し装置１０８とを備える。

図１に示す記録部１０６は、画像処理装置１００に内蔵の記録部（例えば、ハードディスク、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ)など）でも画像処理装置１００に着脱可能な外部記録部（例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の媒体、メモリカード、又はＵＳＢメモリなど）でもよく、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性メモリ、又はフラッシュメモリなどにより構成される。図１に示す記録部１０６は、外部記録部を想定している。なお、記録部１０６が画像処理装置１００に内蔵される場合は、画像処理装置１００と画像読出し装置１０８とが互いに通信線などで接続されるものとする。

画像処理装置１００は、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、制御処理部１０９とを備える。なお、制御処理部１０９は、画像処理装置１００の各部の動作を制御するものとする。

要不要判定データ生成部１０３は、外部（例えば、撮像装置や外部記録部など）から画像処理装置１００に入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。

画像符号化部１０４は、外部から画像処理装置１００に入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録部１０６に記録する。例えば、画像符号化部１０４は、図２に示すように、入力される動画像に対してＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）形式の符号化を行うとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報ＰＩＤ（Ｐａｃｋｅｔ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）（Ｋ、Ｋ＋１、・・・）を付与して記録部１０６に記録する。

なお、記録部１０６は、画像符号化部１０４において各データにそれぞれ付与された識別情報と、記録部１０６内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルを備える。例えば、記録部１０６は、図３Ａに示すように、識別情報ＰＩＤと、記録部１０６内のクラスタの位置を示すクラスタ番号との対応関係を示す識別情報／記録位置テーブルとしてのディレクトリを備える。

また、記録部１０６は、記録部１０６内の記録位置を示す情報と、それらの記録位置におけるデータの状態を示す情報（例えば、他の記録位置にデータが続く際のその記録位置を示す情報、データがこの記録位置で終わることを示す情報、又はこの記録位置にデータが無いことを示す情報）との対応関係を示す記録位置／データ状態情報テーブルを備える。例えば、記録部１０６は、図３Ｂに示すように、記録部１０６内のクラスタの位置を示すクラスタ番号と、各クラスタ番号におけるデータの状態を示す情報（例えば、他のクラスタにデータが続く際のそのクラスタの位置を示すクラスタ番号、データがこのクラスタで終わることを示す情報：「ＦＦＦＦ」、又はこのクラスタにデータが無いことを示す情報：「００００」）との対応関係を示す記録位置／データ状態情報テーブルとしてのＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）を備える。

メタデータ生成部１０５は、符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成して、その生成したメタデータを記録部１０６に記録する。例えば、メタデータ生成部１０５は、図２に示すように、符号化後の動画像フレームｆ１の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋと、動画像フレームｆ１に対応する要不要判定データとを統合することにより動画像フレームｆ１に対応するメタデータを生成して記録部１０６に記録する。また、メタデータ生成部１０５は、符号化後の動画像フレームｆ２の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋ＋ｎ＋１と、動画像フレームｆ２に対応する要不要判定データとを統合することにより動画像フレームｆ２に対応するメタデータを生成して記録部１０６に記録する。なお、要不要判定データと統合される識別情報ＰＩＤは、符号化後の動画像フレームの分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤに限定されない。

なお、画像符号化部１０４は、外部から画像処理装置１００に入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームにそれぞれ識別情報を付与して記録部１０６に記録するように構成してもよい。この場合、画像符号化部１０４において各動画像フレームにそれぞれ付与された識別情報と、記録部１０６内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルが記録部１０６に備えられる。また、メタデータ生成部１０５は、符号化後の動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとを統合することによりメタデータを生成して、その生成したメタデータを記録部１０６に記録する。

また、図１に示す画像読出し装置１０８は、例えば、パーソナルコンピュータなどであり、要不要判定部１０７と、読出し用識別情報／記録位置テーブル１１０と、読出し用記録位置／データ状態情報テーブル１１１と、読出し制御部１１２と、読出し部１１３と、制御処理部１１４とを備える。なお、制御処理部１１４は、画像読出し装置１０８内の各部の動作を制御するものとする。また、要不要判定部１０７、読出し制御部１１２、読出し部１１３、及び制御処理部１１４などは、例えば、マイクロコンピュータなどにより構成されるものとする。

要不要判定部１０７は、記録部１０６から読み出したメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する。

読出し用識別情報／記録位置テーブル１１０は、記録部１０６内の識別情報／記録位置テーブルと同じ内容のテーブルであり、例えば、図３Ａに示すディレクトリと同様とする。

読出し用記録位置／データ状態情報テーブル１１１は、記録部１０６内の記録位置／データ状態情報テーブルと同じ内容のテーブルであり、例えば、図３Ｂに示すＦＡＴと同様とする。

読出し制御部１１２は、読出し用識別情報／記録位置テーブル１１０や読出し用記録位置／データ状態情報テーブル１１１を用いて、記録部１０６に記録される動画像ファイルの各動画像フレームのうち、要不要判定部１０７により必要な動画像フレームであると判定された動画像フレームのみを記録部１０６から読み出す。

読出し部１１３は、読出し制御部１１２により記録部１０６から読み出された動画像ファイルを、画像読出し装置１０８の内部若しくは外部で実行される動画像の編集プログラムや再生プログラム、又は、画像読出し装置１０８の内部若しくは外部に設けられる表示装置に出力する。

図４は、画像読出し装置１０８の動作の一例を示すフローチャートである。

まず、要不要判定部１０７は、画像読出し装置１０８の内部又は外部の動画像の編集プログラムや再生プログラムなどから記録部１０６内の動画像ファイルの読出し要求などがあると（Ｓ１１がＹｅｓ）、その読出し要求などに示される動画像ファイルの各動画像フレームのうちの１以上の動画像フレームに対応するメタデータを記録部１０６から読み出す（Ｓ１２）。

次に、要不要判定部１０７は、読み出したメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであるか否かを判定する（Ｓ１３）。

必要な動画像フレームではないと判定した場合（Ｓ１３がＮｏ）、要不要判定部１０７は、読出し要求などに示される動画像ファイルの各動画像フレームのうち、必要な動画像フレームが全て記録部１０６から読み出されたか否かを判断する（Ｓ１４）。

要不要判定部１０７は、必要な動画像フレームが全て読み出されたと判断した場合（Ｓ１４がＹｅｓ）、動画像ファイルの読出し処理を終了し、必要な動画像フレームが全て読み出されていないと判断した場合（Ｓ１４がＮｏ）、Ｓ１２に戻り、次の１以上の動画像フレームに対応するメタデータを記録部１０６から読み出す。

また、上記Ｓ１３において、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであると判定された場合（Ｓ１３がＹｅｓ）、読出し制御部１１２は、読出し用識別情報／記録位置テーブル１１０及び読出し用記録位置／データ状態情報テーブル１１１を参照して（Ｓ１５）、その必要な動画像フレームを記録部１０６から読み出し（Ｓ１６）、必要な動画像フレームが全て読み出されたか否かを判断する（Ｓ１４）。

例えば、図２に示す動画像フレームｆ２が必要と判定された場合、読出し制御部１１２は、図３Ａに示すディレクトリを用いて、動画像フレームｆ２の識別情報ＰＩＤ＝Ｋ＋ｎ＋１に対応する記録部１０６内のクラスタの位置を示すクラスタ番号として「０００３」を特定する。次に、読出し制御部１１２は、図３Ｂに示すＦＡＴを用いて、特定したクラスタ番号「０００３」に記録されるデータを読み出すとともに、次のクラスタ番号「０００４」に記録されるデータを読み出す。

なお、図４に示すフローチャートでは、メタデータ毎に、すなわち、動画像フレーム毎に、動画像フレームの要不要判定を行う構成であるが、所定の動画像フレーム数毎に、動画像フレームの要不要判定を行うように構成してもよい。なお、上記所定の動画像フレーム数は、動画像の編集時や再生時に必要な動画像フレームの量に基づいて、ユーザなどにより予め設定されていてもよい。このように構成することにより、要不要判定部１０７の演算量を低減することができる。

また、画像読出し装置１０８は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置を示す情報とが対応付けられたテーブルを備えていてもよい。この場合、読出し制御部１１２は、このテーブルを用いて、要不要判定部１０７により必要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置に記録されるデータのみを記録部１０６から読み出すように構成してもよい。

本発明の実施形態の画像処理システムは、編集作業や再生作業の前段階において、動画像ファイルの各動画像フレームのうち、必要な動画像フレームと判定された動画像フレームを記録部１０６から読み出す構成であるため、動画像ファイルを記録部１０６から読み出す際、不要な動画像フレーム以外が読み出される。このように、編集作業や再生作業の前段階において不要な動画像フレームが除かれた動画像ファイルを記録部１０６から読み出すことができるため、編集作業時や再生作業時において、動画像ファイルを編集用プログラムや再生用プログラムにロードする時間を短縮することができ、編集作業や再生作業の効率低下を抑えることができる。

また、本発明の実施形態の画像処理システムは、必要な動画像フレームに対応する記録部１０６の記録位置を特定するために、動画像フレームの分割後の各データや各動画像フレームに付与される識別情報を使用する構成であるため、メタデータを生成する際やメタデータを読み出す際のデータ処理量を少なくすることができ、画像処理装置１００や画像読出し装置１０８にかかる負荷を抑えることができる。

また、画像符号化部１０４は、入力される動画像に対して、ＭＰＥＧ形式の符号化を行う場合、例えば、図５に示すように、ＳＨ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）及びＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の圧縮単位（例えば、Ｉフレーム（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｂ１フレーム〜Ｂ３フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ））で符号化を行う。この場合、読出し制御部１１２は、必要な動画像フレームが含まれるＧＯＰを記録部１０６から読み出す。図５の例では、必要な動画像の先頭フレームＢ１が含まれるＧＯＰに対応するクラスタ番号「０００２」に記録されるデータを記録部１０６から読み出すとともに、必要な動画像の末尾フレームＢ２’が含まれるＧＯＰに対応するクラスタ番号「００１４」に記録されるデータを記録部１０６から読み出す。

図６Ａは、画像処理装置１００の実施例１としての撮像装置６００を備える画像処理システムを示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

図６Ａに示す撮像装置６００は、例えば、デジタルカメラなどであり、撮像部１０１と、画像処理部１０２と、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、制御処理部１０９とを備える。

撮像部１０１は、例えば、レンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し静止画像フレーム又は複数の動画像フレームからなる動画像を得る。

画像処理部１０２は、撮像部１０１により得られる静止画像又は動画像の各動画像フレームに対して、シャープネス補正、コントラスト補正、輝度・色差信号生成、及びホワイトバランス補正などの各種画像処理を行う。

画像符号化部１０４は、画像処理後の静止画像フレームに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などの符号化を行う。また、画像符号化部１０４は、画像処理後の動画像に対してＭＰＥＧ形式などの符号化を行う。

図６Ａに示す撮像装置６００の特徴とする点は、要不要判定データ生成部１０３として被写体検出処理部６０１を備え、その被写体検出処理部６０１により、画像処理後の動画像の各動画像フレームにおいて、それぞれ、要不要判定データとしての「被写体の位置」及び「被写体のサイズ」が検出され、メタデータ生成部１０５において、検出された「被写体の位置」及び「被写体のサイズ」と、識別情報ＰＩＤとが統合されてメタデータとして記録部１０６に記録される点である。

図７は、図６Ａに示す要不要判定部１０７の動作の一例を示すフローチャートである。

まず、要不要判定部１０７は、記録部１０６から読み出したメタデータに示される「被写体の位置」及び「被写体のサイズ」を入力する（Ｓ２１）。なお、被写体検出処理部６０１は、画像処理後の動画像フレーム内において被写体を検出した後、その検出した被写体を囲む矩形範囲を被写体エリアとし、その被写体エリアの左上の画素位置（ｘ０，ｙ０）を「被写体の位置」とする。また、被写体検出処理部６０１は、「被写体のサイズ」として被写体エリアの横方向の画素数をＷとするとともに被写体エリアの縦方向の画素数をＨとする。また、被写体検出処理部６０１は、動画像フレームから被写体が検出されない場合、ｘ０を０よりも小さい値にする。また、動画像フレームの左上の画素位置を（１，１）とする。

次に、要不要判定部１０７は、ｘ０が０よりも小さいか否か、すなわち、被写体が検出されていないか否かを判断する（Ｓ２２）。

被写体が検出されていると判断した場合（Ｓ２２がＮｏ）、要不要判定部１０７は、Ｗが閾値Ｔｈｒ＿Ｗよりも小さいか否か又はＨが閾値Ｔｈｒ＿Ｈよりも小さいか否か、すなわち、被写体が所定サイズよりも小さいか否かを判断する（Ｓ２３）。なお、閾値Ｔｈｒ＿Ｗや閾値Ｔｈｒ＿Ｈは、ユーザなどにより予め設定されていてもよい。

被写体が所定サイズよりも大きいと判断した場合（Ｓ２３がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｌ＿ｘよりも小さいか否か、すなわち、被写体エリアが動画像フレームの左端より外側に外れているか否かを判断する（Ｓ２４）。なお、閾値Ｔｈｒ＿Ｌ＿ｘは、ユーザなどにより予め設定されていてもよい。

被写体エリアが動画像フレームの左端より外側に外れていないと判断した場合（Ｓ２４がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｒ＿ｘよりも大きいか否か、すなわち、被写体エリアの右端が動画像フレームの右端より外側に外れているか否かを判断する（Ｓ２５）。なお、閾値Ｔｈｒ＿Ｒ＿ｘは、ユーザなどにより予め設定されていてもよい。

被写体エリアの右端が動画像フレームの右端より外側に外れていないと判断した場合（Ｓ２５がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｕ＿ｙよりも大きいか否か、すなわち、被写体エリアの上端が動画像フレームの上端より外側に外れているか否かを判断する（Ｓ２６）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。

被写体エリアの上端が動画像フレームの上端より外側に外れていないと判断した場合（Ｓ２６がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｄ＿ｙよりも小さいか否か、すなわち、被写体エリアの下端が動画像フレームの下端より外側に外れているか否かを判断する（Ｓ２７）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。

被写体エリアの下端が動画像フレームの下端より外側に外れていないと判断した場合（Ｓ２７がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ２８）。例えば、要不要判定部１０７は、図８に示すように、被写体が所定サイズよりも大きく、かつ、被写体が動画像フレームの中央付近に存在している識別情報ＰＩＤ＝８〜１１の各動画像フレームを編集時や再生時に必要な動画像フレーム（ＯＫ）として判定する。

また、要不要判定部１０７は、「被写体が検出されていない（Ｓ２２がＹｅｓ）」、「被写体が所定サイズよりも小さい（Ｓ２３がＹｅｓ）」、「被写体エリアが動画像フレームの左端より外側に外れている（Ｓ２４がＹｅｓ）」、「被写体エリアが動画像フレームの右端より外側に外れている（Ｓ２５がＹｅｓ）」、「被写体エリアが動画像フレームの上端より外側に外れている（Ｓ２６がＹｅｓ）」、及び「被写体エリアが動画像フレームの下端より外側に外れている（Ｓ２７がＹｅｓ）」の少なくとも１つを判断すると、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝−１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ２８）。例えば、要不要判定部１０７は、図８に示すように、被写体が所定サイズよりも小さい識別情報ＰＩＤ＝７の動画像フレームや被写体が動画像フレームから外れている識別情報ＰＩＤ＝１２の動画像フレームを編集時や再生時に不要な動画像フレーム（ＮＧ）として判定する。

そして、読出し制御部１１２は、要不要判定部１０７から要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出し、要不要判定部１０７から要不要判定フラグＦＬＧ＝−１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出さない。

図６Ａに示す画像読出し装置１０８は、被写体の位置やサイズに応じて、動画像フレームの要不要が判定されるため、スポーツやレースの観戦時など被写体が激しく動く場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。

なお、図７に示す要不要判定部１０７の動作例では、メタデータに記述されている構図指標は被写体の位置やサイズに基づいており、動画像フレームの要不要判定を行う構成であるが、図９に示すように、同じような構図の動画像フレームを連続して取得されるとき、それらの動画像フレームを編集時や再生時に不要な動画像フレームと判定するように構成してもよい。例えば、要不要判定部１０７において、図９に示す識別情報ＰＩＤ＝７に対応する動画像フレームの構図と、識別情報ＰＩＤ＝８、９に対応する動画像フレームの構図との差異が所定値以下であると判断されるとき、読出し制御部１１２は、識別情報ＰＩＤ＝９以降の動画像フレームを記録部１０６から読み出さないようにする。また、構図の差異が所定値以下のフレームが所定数以上連続する場合に、読出し制御部１１２は、連続するフレームの一部に相当する識別情報の動画像フレームを記録部１０６から読み出さないようにする。
なお、上記フレーム間の差異の測定方法としては、図９に示した、構図指標すなわち被写体の位置サイズの検出の差異の他に、画像の統計量に基づきフレーム間の差異を求めとも良い。フレーム間のレベル差の差分の合計値が所定値以下の場合、比較するフレームのヒストグラムの変化量の合計値が所定値以下の場合を不要とする等を使っても良い。フレーム間の差分を用いる場合、例えば、図６Ｂに示すように、被写体検出処理部１０３の代わりにフレーム間差分を積分する差分演算部１０３１手段を備える。また、ヒストグラムを用いる場合には、例えば、図６Ｃに示すように、被写体検出処理部１０３の代わりにヒストグラムを算出しフレーム間のヒストグラムの差分またはその積分を計算するヒストグラム差分演算部１０３２を備える。

図１０は、画像処理装置１００の実施例２としての撮像装置１０００を備える画像処理システムを示す図である。なお、図６に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

図１０に示す撮像装置１０００の特徴とする点は、要不要判定データ生成部１０３としてフォーカス情報処理部１００１を備え、そのフォーカス情報処理部１００１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「フォーカス情報」が設定され、メタデータ生成部１０５により、「フォーカス情報」と識別情報ＰＩＤとが統合されてメタデータとして記録部１０６に記録される点である。

図１１は、図１０に示す要不要判定部１０７の動作の一例を示すフローチャートである。

まず、要不要判定部１０７は、記録部１０６から読み出したメタデータに示される「フォーカス情報」を入力する（Ｓ３１）。なお、フォーカス情報処理部１００１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するコントラスト評価値Ｃ０を画像処理部１０２から得るとともに、フォーカスレンズのレンズ位置Ｌ０を撮像部１０１から得てメタデータ生成部１０５へ出力する。また、画像処理部１０２は、フォーカスができていないとき、すなわち、フォーカスレンズの焦点が合っていないとき、コントラスト評価値Ｃ０を０よりも小さい値にする。

次に、要不要判定部１０７は、Ｃ０が０以上である、すなわち、フォーカスレンズの焦点が合っていると判断した場合（Ｓ３２がＮｏ）、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎを要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３３）。

次に、要不要判定部１０７は、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎと前回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎ−１とを上記記憶部から読み出し（Ｓ３４）、それらレンズ位置Ｌ０＿ｎとレンズ位置Ｌ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｌよりも大きいか否か、すなわち、フォーカスが安定していないか否かを判断する（Ｓ３５）。なお、閾値Ｔｈｒ＿Ｌは、ユーザなどにより予め設定されていてもよい。

フォーカスが安定していると判断した場合（Ｓ３５がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ３６）。

また、要不要判定部１０７は、フォーカスができていないと判断した場合（Ｓ３２がＹｅｓ）又はフォーカスが安定していないと判断した場合（Ｓ３５がＹｅｓ）、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝−１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ３７）。

そして、読出し制御部１１２は、要不要判定部１０７から要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出し、要不要判定部１０７から要不要判定フラグＦＬＧ＝−１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出さない。

図１０に示す画像読出し装置１０８では、フォーカスができていないか否か又はフォーカスが安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体だけでなく撮影者も移動している場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。

図１２は、画像処理装置１００の実施例３としての撮像装置１２００を備える画像処理システムを示す図である。なお、図６に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

図１２に示す撮像装置１２００の特徴とする点は、要不要判定データ生成部１０３としてズーム情報処理部１２０１を備え、そのズーム情報処理部１２０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「ズーム情報」が設定され、メタデータ生成部１０５により、「ズーム情報」と識別情報ＰＩＤとが統合されてメタデータとして記録部１０６に記録される点である。

図１３は、図１２に示す要不要判定部１０７の動作の一例を示すフローチャートである。

まず、要不要判定部１０７は、記録部１０６から読み出したメタデータに示される「ズーム情報」を入力する（Ｓ４１）。なお、ズーム情報処理部１２０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するズーム情報Ｚ０（例えば、ズームレンズのレンズ位置やレンズ移動量など）を撮像部１０１から得てメタデータ生成部１０５へ出力する。

次に、要不要判定部１０７は、入力されるズーム情報Ｚ０を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ４２）。

次に、要不要判定部１０７は、今回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎと前回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎ−１とを上記記憶部から読み出し（Ｓ４３）、それらズーム情報Ｚ０＿ｎとズーム情報Ｚ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｚよりも大きいか否か、すなわち、ズームレンズのレンズ位置が安定していないか否かを判断する（Ｓ４４）。なお、閾値Ｔｈｒ＿Ｚは、ユーザなどにより予め設定されていてもよい。

ズームレンズのレンズ位置が安定していると判断した場合（Ｓ４４がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ４５）。

また、要不要判定部１０７は、ズームレンズのレンズ位置が安定していないと判断した場合（Ｓ４４がＹｅｓ）、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝−１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ４６）。

そして、読出し制御部１１２は、要不要判定部１０７から要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出し、要不要判定部１０７から要不要判定フラグＦＬＧ＝−１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出さない。

図１２に示す画像読出し装置１０８では、ズームレンズのレンズ位置が安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体が撮影者に対して前後方向に移動している場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。

なお、動画像の編集時や再生時に必要な動画像フレームの要不要判定処理に使用される情報は、上述したような被写体の位置やサイズ、フォーカス情報、又はズーム情報に限定されない。例えば、画像処理後の各動画像フレームの輝度階調のヒストグラムを使用してもよい。

また、上述した被写体の位置やサイズ、フォーカス情報、ズーム情報、及び輝度階調のヒストグラムのうち、２つ以上の情報を組み合わせて、動画像の編集時や再生時に必要な動画像フレームの要不要判定処理に使用してもよい。

図１４は、画像処理装置１００の実施例４としての撮像装置１４００を備える画像処理システムを示す図である。なお、図６に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

図１４に示す撮像装置１４００の特徴とする点は、要不要判定データ生成部１０３として無線アンテナ１４０１及び受信信号強度検出部１４０２を備え、受信信号強度検出部１４０２により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての受信信号強度情報（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）Ｒ０が検出され、メタデータ生成部１０５により、受信信号強度情報Ｒ０と識別情報ＰＩＤとが統合されてメタデータとして記録部１０６に記録される点である。なお、無線アンテナ１４０１は、被写体に備えられる送信機から送信される信号や撮像装置１４００から送信され被写体に反射した信号を受信するものとする。

図１５は、図１４に示す要不要判定部１０７の動作の一例を示すフローチャートである。

まず、要不要判定部１０７は、記録部１０６から読み出したメタデータに示される受信信号強度情報Ｒ０を入力する（Ｓ５１）。なお、受信信号強度検出部１４０２は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応させて、無線アンテナ１４０１により受信される受信信号のレベルを受信信号強度情報Ｒ０としてメタデータ生成部１０５へ出力する。

次に、要不要判定部１０７は、入力される受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否か、すなわち、撮像装置１４００に対して被写体が遠いか否かを判断する（Ｓ５２）。なお、閾値Ｔｈｒ＿Ｒは、ユーザなどにより予め設定されていてもよい。

撮像装置１４００に対して被写体が遠くないと判断した場合（Ｓ５２がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ５３）。例えば、要不要判定部１０７は、図１６に示すように、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きい識別情報ＰＩＤ＝１５、２２の各動画像フレームを編集時や再生時に必要な動画像フレーム（ＯＫ）として判定する。

また、要不要判定部１０７は、撮像装置１４００に対して被写体が遠いと判断した場合（Ｓ５２がＹｅｓ）、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝−１とともに、その識別情報を読出し制御部１１２に出力する（Ｓ５４）。例えば、要不要判定部１０７は、図１６に示すように、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも小さい識別情報ＰＩＤ＝１６〜２１の各動画像フレームを編集時や再生時に不要な動画像フレーム（ＮＧ）として判定する。

そして、読出し制御部１１２は、要不要判定部１０７から要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出し、要不要判定部１０７から要不要判定フラグＦＬＧ＝−１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６から読み出さない。

図１４に示す画像読出し装置１０８では、受信信号強度情報Ｒ０に応じて、動画像フレームの要不要が判定されるため、例えば、撮像装置１４００に対して被写体が前後に移動している場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。

また、上述の撮像装置１４００では、要不要判定部１０７において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要の判定が行われる構成であるが、撮像装置１４００の受信信号強度検出部１４０２において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要の判定が行われるように構成してもよい。このように構成する場合、メタデータ生成部１０５において、必要な動画像フレームであることを示す要不要判定フラグＦＬＧ＝１と、その動画像フレームに対応する識別情報とが統合されてメタデータが生成される。また、読出し制御部１１２は、要不要判定フラグＦＬＧ＝１を含むメタデータにおける識別情報に対応する動画像フレームのみを記録部１０６から読み出す。このように構成される画像読出し装置１０８では、要不要判定部１０７を省略することができる。

なお、図１に示す画像処理システムでは、画像処理装置１００と、画像読出し装置１０８とがそれぞれ独立した装置で構成されているが、図１７に示すように、画像読出し装置１０８の機能を画像処理装置１００に含めて一体の装置で構成してもよい。図１７に示す画像処理装置１００の各部の動作は上述した動作と同様であるため説明を省略する。

また、上記各実施形態において、要不要判定部１０７が識別情報とともに要不要判定フラグＦＬＧ＝１のみを読出し制御部１１２に出力し、読出し制御部１１２が要不要判定フラグＦＬＧ＝１及び識別情報を受け取ったときだけ読出し動作を行うように構成してもよい。

１００ 画像処理装置
１０１ 撮像部
１０２ 画像処理部
１０３ 要不要判定データ生成部
１０４ 画像符号化部
１０５ メタデータ生成部
１０６ 記録部
１０７ 要不要判定部
１０８ 画像読出し装置
１０９ 制御処理部
１１０ 読出し用識別情報／記録位置テーブル
１１１ 読出し用記録位置／データ状態情報テーブル
１１２ 読出し制御部
１１３ 読出し部
１１４ 制御処理部
６００ 撮像装置
６０１ 被写体検出処理部
１０００ 撮像装置
１００１ フォーカス情報処理部
１２００ 撮像装置
１２０１ ズーム情報処理部
１４００ 撮像装置
１４０１ 無線アンテナ
１４０２ 受信信号強度検出部

Claims (12)

1. 動画像の各動画像フレームにそれぞれ対応する、必要な動画像フレームであるか否かを判定するために用いられる要不要判定データを取得する手段と、
   前記動画像の各動画像フレームを符号化し、複数のＴＳパケットに分割し、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与する手段と、
   前記ＴＳパケットを記録するとともに、前記要不要判定データを前記ＰＩＤと統合してメタデータとして記録する記録手段と、
   前記記録手段から前記メタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームであるか否かを判定する要不要判定手段と、
   前記記録手段に記録されるＰＩＤと、そのＰＩＤに対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームのＰＩＤに対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す読出し制御手段と、
   を備えることを特徴とする画像読出し装置。
2. 請求項１に記載の画像読出し装置であって、
   前記記録手段には、ＭＰＥＧ２形式で符号化された前記動画像を記録されているとともに、符号化後の動画像の各動画像フレームは、それぞれ複数のＴＳパケットに分割され、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤが付与されて記録されており、
   前記読出し制御手段は、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームのＰＩＤに対応する前記記録手段の記録位置に記録されるデータのみを前記記録手段から読み出す読出す
   ことを特徴とする画像読み出し装置。
3. 請求項１に記載の画像読出し装置であって、
   入力される動画像の各動画像フレームにそれぞれ対応する、前記要不要判定データを生成する要不要判定データ生成手段と、
   前記入力される動画像の各動画像フレームを符号化し、複数のＴＳパケットに分割するとともに、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する画像符号化手段と、
   前記ＰＩＤと、そのＰＩＤに対応する要不要判定データとを統合してメタデータを生成して前記記録手段に記録するメタデータ生成手段と、
   を更に備えることを特徴とする画像読出し装置。
4. 動画像を記録手段に記録する画像処理装置と、前記記録手段から動画像を読み出す画像読出し装置とを備える画像処理システムであって、
   前記画像処理装置は、
   入力される動画像の各動画像フレームにそれぞれ対応する、必要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、
   前記入力される動画像の各動画像フレームを符号化し、複数のＴＳパケットに分割するとともに、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する画像符号化手段と、
   前記ＰＩＤと、そのＰＩＤに対応する要不要判定データとを統合してメタデータを生成して前記記録手段に記録するメタデータ生成手段と、
   を備え、
   前記画像読出し装置は、
   前記記録手段からメタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームであるか否かを判定する要不要判定手段と、
   前記記録手段に記録されるＰＩＤと、そのＰＩＤに対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームのＰＩＤに対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す読出し制御手段と、
   を備えることを特徴とする画像処理システム。
5. 請求項４に記載の画像処理システムであって、
   前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
   ことを特徴とする画像処理システム。
6. 請求項４に記載の画像処理システムであって、
   前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、
   前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出したメタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームでないと判定する
   ことを特徴とする画像処理システム。
7. 請求項４に記載の画像処理システムであって、
   前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、
   前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームでないと判定する
   ことを特徴とする画像処理システム。
8. 請求項７に記載の画像処理システムであって、
   前記画像特徴量が、被写体の構図を示す構図指標である
   ことを特徴とする画像処理システム。
9. 請求項７に記載の画像処理システムであって、
   前記画像特徴量が、画像の輝度値の統計量である
   ことを特徴とする画像処理システム。
10. 請求項４に記載の画像処理システムであって、
    前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、
    前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームでないと判定する
    ことを特徴とする画像処理システム。
11. 請求項４に記載の画像処理システムであって、
    前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、
    前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームでないと判定する
    ことを特徴とする画像処理システム。
12. 請求項４に記載の画像処理システムであって、
    被写体側からの信号を受信する無線アンテナを備え、
    前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、
    前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおけるＰＩＤに対応する動画像フレームが必要な動画像フレームでないと判定する
    ことを特徴とする画像処理システム。