JPWO2008129643A1 - ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム - Google Patents

Abstract

ショットサイズ識別装置（１）は、映像を構成するフレーム内におけるエッジを検出するエッジ検出手段（１０２）と、該検出されたエッジが連結してなる連結エッジ領域を検出する連結エッジ領域検出手段（１０３）と、該検出された連結エッジ領域の総数であるエッジ領域数を前記フレーム毎に計数するエッジ領域計数手段（１０４）と、該計数されたエッジ領域数が第１エッジ領域数閾値より大きい場合に、前記フレームをロングショットとして特定するショットサイズ特定手段（１１０、１１３）とを備える。これにより、簡便且つ迅速にショットサイズを識別することができる。

Description

本発明は、例えば、ビデオ等の動画におけるショットサイズを識別するショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラムに関する。

この種の装置における識別方法では、例えば被写体の遠方からの撮影により、被写体全体が撮影されているショット或いはフレーム画像を、映像中におけるロングショットとして識別する。又、例えば被写体の近くからの撮影により、被写体の一部がアップに撮影されているショット或いはフレーム画像を、映像中におけるアップショットとして識別する。そして、ロングショット及びアップショットの中間をミドルショットとして識別する。このようなショットサイズの識別を自動的に行うことによって、映像編集作業の効率化が図られる。例えば、非特許文献１には、カメラワーク検出及びアクティブ探索法を適用して、ショットの包含関係を判定して、該判定された包含関係に基づいて、ショットサイズを付与する技術が記載されている。

「映像編集支援システムのためのショットサイズ自動付与」電子情報通信学会論文誌、Ｖｏｌ．Ｊ８５−Ｄ−Ｉ， Ｎｏ．７， ｐｐ．５９２−６０２， ２００２

しかしながら、上述の背景技術によれば、アクティブ探索法によってズーム比率を検出しているため、情報処理の量が多くなると共に、異なるショットの前後で同一被写体が、同じようなアングルで写っていなければならないという技術的問題点がある。また、同一ショット内において、カメラと被写体との距離が変化すると対応できないという技術的問題点がある。更に、カメラワーク検出によって包含関係を判定しているため、誤検出が伝播する可能性があるという技術的問題点がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、簡便且つ迅速にショットサイズを識別することができるショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラムを提供することを課題とする。

本発明の第１のショットサイズ識別装置は、上記課題を解決するために、映像を構成するフレーム内に存在するエッジを検出するエッジ検出手段と、前記検出されたエッジが連結してなる連結エッジ領域を検出する連結エッジ領域検出手段と、前記検出された連結エッジ領域の総数であるエッジ領域数を前記フレーム毎に計数するエッジ領域計数手段と、前記計数されたエッジ領域数が第１エッジ領域数閾値より大きい場合に、前記フレームをロングショットとして特定するショットサイズ特定手段とを備える。

本発明の第１のショットサイズ識別装置によれば、動作時には、先ず、例えばプロセッサ、メモリ等を備えてなる、エッジ検出手段によって、フレームのエッジが、フレーム毎に検出される。ここに「フレーム」とは、フレーム周波数で差し替えられることで一連の映像情報を構成する複数のフレーム画像の一つ一つを意味し、フレームは、通常一枚の静止画をなす。「エッジ」とは、各フレーム内において該各フレームを複数の領域に分けてみた際に、任意の一つの領域における画像データの値がこれに隣接又は近接する一又は複数の領域における画素データと比べて、予め設定された基準に照らして大きく変化する箇所を意味する。エッジは、典型的には、各フレーム内において、画素データの一つとしての輝度が大きく変化する箇所を意味する。このエッジは、例えば、一枚のフレームを構成する複数の画素のうち、注目している画素の輝度値と該注目している画素に隣接する画素の輝度値との差分値をとり、該差分値が所定閾値より大きいか否かによって検出すればよい。この際、輝度に代えて又は加えて彩度や色相が変化する箇所をエッジとして扱ってもよい。

尚、エッジの検出は、画素毎で行うことに限らず、例えば、複数の隣接画素からなる区画（例えば、横４画素×縦４画素）毎に行っても良い。区画毎に行う場合は、該区画に含まれる画素の輝度値のうちの最大値を区画の輝度値としてもよいし、平均値を区画の輝度値としてもよい。

続いて、例えばプロセッサ、メモリ等を備えてなる、連結エッジ領域検出手段によって、検出されたエッジが連結してなる連結エッジ領域が検出される。これにより、フレーム内に写っている人物や構造物等の輪郭を検出することができる。

続いて、例えばプロセッサ、メモリ等を備えてなるエッジ領域計数手段によって、検出された連結エッジ領域のエッジ領域数が計数される。

続いて、例えばプロセッサ、メモリ等を備えてなる、ショットサイズ特定手段によって、フレーム毎に計数されたエッジ領域数が第１エッジ領域数閾値より大きい場合に、フレームがロングショットとして特定される。逆に、計数されたエッジ領域数が第１エッジ領域数閾値より小さい場合には、フレームがロングショットとして特定されることはない。ここに「第１エッジ領域数閾値」とは、ロングショットであるか否かを決定する値であり、予め固定値として、又は何らかのパラメータに係る可変値として設定されている。この第１エッジ領域数閾値は、例えば６０であり、確実にロングショットであると推定可能な値として設定されている。尚、本発明に係る「ロングショット」とは、予め設定される基準に照らして、被写体を遠方から、被写体全体が撮影されているフレームを意味する。即ち、ロングショットは、ミドルショットやアップショットと区別される相対的なものであり、どの程度離れて或いは近くから撮影されているショットをロングショットの範疇に含めるかについては、当該ショットサイズ認識の用途や仕様に応じて適宜設定される性質のものである。

本願発明者の研究によれば、一般に、ロングショットは、ミドルショットやアップショットに比べ、フレームに写っている人物や構造物の数が多いので、計数されるエッジ領域数が多いことが判明している。従って、第１エッジ領域数閾値は、アップショットは勿論、ミドルショットの際に計数されるエッジ領域数と比べて、ある程度大きく設定することが好ましい。これにより、誤った特定又は識別の可能性を低減することができる。

本発明の第１のショットサイズ識別装置では、エッジ検出を利用した統計処理の結果に従って、複数のフレーム間相互の関係を明らかにすることなく、フレームの単位で、ロングショットに係るものであるか否かを特定している。即ち、本発明では、フレームの単位でロングショットであるか否かを特定することに特化した処理を実行する。言い換えれば、複数のフレーム間相互の関係を明らかにするための、カメラワーク検出或いはアクティブ探索法等の複雑高度な処理等を実行することを要しない。本発明は、フレームの単位でロングショットであるか否かを特定するという目的を達成するための過程で、付加的或いは余分な情報が生成されることを極力排除することで、最低限或いはそれに近いデータ処理を経てこの本来の目的を達成していると言える。従って、一連の処理にかかる時間を短縮することができる。

以上の結果、本発明の第１のショットサイズ識別装置によれば、簡便且つ迅速にショットサイズを識別することができる。

本発明の第１のショットサイズ識別装置の一態様では、前記ショットサイズ特定手段は、前記計数されたエッジ領域数が、第１エッジ領域数閾値より大きいか否かを判定する判定手段と、前記第１エッジ領域数閾値より大きいと判定された場合に、前記フレームをロングショットとして識別するショットサイズ識別手段とを有する。

この態様では、ショットサイズ特定手段において、先ず、例えばプロセッサ、メモリ等を備えてなる、判定手段によって、計数されたエッジ領域数が、第１エッジ領域数閾値より大きいか否かが判定される。続いて、第１エッジ領域数閾値より大きいと判定された場合、例えばプロセッサ、メモリ等を備えてなる、ショットサイズ識別手段により、フレームがロングショットとして識別される。よって、計数されたエッジ領域数に基づいて、ショットサイズを極めて効率的に特定できる。

本発明の第１のショットサイズ識別装置の他の態様では、前記第１エッジ領域数閾値は、前記フレームに係るパラメータに基づいて決定される。

この態様によれば、第１エッジ領域数閾値は、例えば、フレームの解像度等のパラメータに基づいて決定されているので、例えば、ビデオカメラ等の撮影設定の影響を受けることなくショットサイズを識別することができ、実用上非常に有利である。

本発明の第１のショットサイズ識別装置の他の態様では、前記第１エッジ領域数閾値は、前記映像に係る所定統計値を示すパラメータに応じて可変である。

この態様によれば、第１エッジ領域数閾値は、例えば、映像を構成する複数のフレーム全てについての、或いは、現在までにショットサイズ識別に係る処理を行ったフレームについてのエッジ領域数の平均値及び標準偏差の和として、又は該和に応じた値として設定されている。例えば、映像の種類や属性が、今回の識別の対象とされている映像と同一又は類似である、過去における映像に統計値を採用すれば、最初からより適切な第１エッジ領域数閾値を設定可能となる。或いは、今回の識別の対象とされている映像自身の過去における統計値を採用すれば、将来的にはより適切な第１エッジ領域数閾値を設定可能となる。

本発明の第１のショットサイズ識別装置の他の態様では、前記ショットサイズ特定手段は、前記計数されたエッジ領域数が第２エッジ領域数閾値より小さい場合に、前記フレームをミドルショットとして特定する。

この態様によれば、ショットサイズ特定手段によって、計数されたエッジ領域数が第２エッジ領域数閾値より小さい場合に、フレームがミドルショットとして特定される。ここに、「第２エッジ領域数閾値」は、ミドルショットであるか否かを決定する値であり、予め固定値として、又は何らかのパラメータに応じた可変値として設定されている。この第２エッジ領域数閾値は、例えば２０であり、ロングショットではないと推定可能な値として設定されている。

この態様では、前記第２エッジ領域数閾値は、前記第１エッジ領域数閾値より小さくてもよい。

このように構成すれば、確実にロングショットではないフレームを識別することができ、識別結果の信頼性を向上させることが可能となる。

本発明の第１のショットサイズ識別装置の他の態様では、前記フレームのノイズを除去するノイズ除去手段を更に備える。

この態様によれば、フレーム上に存在するノイズによって、エッジ領域の数が変動する可能性を低減することができ、識別結果の信頼性を向上させることが可能となる。

本発明の第２のショットサイズ識別装置は、上記課題を解決するために、映像を構成するフレーム内における平坦の程度を示す指標値を、前記フレームを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する平坦演算手段と、前記演算された指標値を二値化する二値化手段と、前記二値化された指標値が同じである前記所定単位が連結してなる連結平坦領域のうち、前記所定単位の総数が所定閾値以上であるものを、大平坦領域として特定する大平坦領域特定手段と、前記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大平坦領域を有する前記フレームをロングショットとして特定するショットサイズ特定手段とを備える。

本発明の第２のショットサイズ識別装置によれば、動作時には、先ず、例えばプロセッサ、メモリ等を備えてなる、平坦演算手段によって、映像を構成するフレーム画像の平坦の程度を示す指標値が、所定単位毎に演算される。ここに、本発明に係る「所定単位」とは、一枚のフレーム或いはフレーム画像を構成する一画素であってもよいし、複数の画素からなる区画（例えば、縦１６画素×横１６画素）であってもよい。

尚、本発明に係る「平坦」とは、注目している所定単位における、例えば濃度値や輝度値等の、パラメータと、注目している所定単位に隣接している、或いは、所定範囲内に存在する他の所定単位におけるパラメータとの差が小さいことを意味する。この平坦は、前述のエッジと対比される性質を持つ概念である。

また、本発明に係る「指標値」とは、平坦の程度を定量的に示す値であり、例えば濃度値や輝度値等の、一又は複数のパラメータを用いて、所定の演算式に従って求められる値である。この指標値は、具体的には例えば、注目している所定単位の所定パラメータの値と、該注目している所定単位に隣接している複数の所定単位の所定パラメータの値夫々との差分値の絶対値をとり、該絶対値の平均値として求めればよい。

続いて、例えばプロセッサ、メモリ等を備えてなる、二値化手段によって、演算された指標値が二値化される。二値化する際における閾値は、ある程度小さく設定することが好ましい。これにより、誤検出の可能性を低減することができる。尚、平坦なほど指標値が小さくなるので、二値化する際は、閾値より小さい場合を１とし、閾値より大きい場合を０とすればよい。

続いて、例えばプロセッサ、メモリ等を備えてなる、大平坦領域特定手段によって、二値化された指標値が同じである（典型的には、二値化後の値が１である）複数の所定単位が連結してなる連結平坦領域のうち、所定単位の総数が、所定閾値としての、予め設定された単位数閾値以上であるものが、大平坦領域として特定される。尚、連結平坦領域の検出又は特定は、例えば、ラベリング処理等により行われる。また、「単位数閾値」とは、大平坦領域か否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。或いは、ユーザーがロングショットを定義して、手動で設定してもよい。この単位数閾値は、所定単位にもよるが、例えば、映像の解像度が縦４８０画素×横７２０画素、所定単位が、縦１６画素×横１６画素の区画である場合には、２００区画程度であり、ロングショット候補であると推定可能な値として設定されている。

続いて、例えばプロセッサ、メモリ等を備えてなる、ショットサイズ特定手段によって、上記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、上記特定された大平坦領域を有するフレームが、ロングショットとして特定される。逆に、上記特定された大平坦領域について、予め設定された複数の評価項目のうちいずれもが所定の条件を満たさない場合には、上記特定された大平坦領域を有するフレームが、ロングショットとして特定されることはない。ここに「評価項目」は、例えば、大平坦領域の形状やフレーム上の位置などである。また「所定の条件」とは、ロングショットであるか否かを決定する条件であり、確実にロングショットであると推定可能な条件として設定されている。

尚、特定された大平坦領域が複数存在する場合には、例えば、最も面積の大きい大平坦領域についての評価項目のうち少なくとも一つが所定の条件を満たす場合に、その大平坦領域を有するフレームが、ロングショットとして特定されるようにしてもよいし、複数領域を評価し、その複数領域の内少なくとも一つが評価項目のうち少なくとも一つの所定の条件を満たす場合に、その大平坦領域を有するフレームが、ロングショットとして特定されるようにしてもよい。

本発明の第２のショットサイズ識別装置では、二値化を利用した統計処理の結果に従って、複数のフレーム間相互の関係を明らかにすることなく、フレームの単位で、ロングショットに係るものであるか否かを特定している。従って、上述した本発明の第１のショットサイズ識別装置と同様に、一連の処理にかかる時間を短縮することができる。

以上の結果、本発明の第２のショットサイズ識別装置によれば、簡便且つ迅速にショットサイズを識別することができる。

本発明の第２のショットサイズ識別装置の一態様では、前記大平坦領域特定手段は、前記連結平坦領域を検出する連結平坦領域検出手段と、前記検出された連結平坦領域のうち、前記所定単位の数が前記単位数閾値以上であるものを大平坦領域として抽出する大平坦領域抽出手段とを有する。

この態様では、大平坦領域特定手段において、先ず、例えばプロセッサ、メモリ等を備えてなる、連結平坦領域検出手段によって、二値化された指標値が同じである所定単位が抽出され、該抽出された所定単位が連結してなる領域が検出される。続いて、例えばプロセッサ、メモリ等を備えてなる、大平坦領域抽出手段によって、検出された領域に含まれる所定単位の数が単位数閾値以上である領域が大領域として抽出される。よって、二値化された指標値に基づいて、大平坦領域を極めて効率的に特定できる。

本発明の第２のショットサイズ識別装置の他の態様では、前記ショットサイズ特定手段は、前記抽出された大平坦領域が、前記少なくとも一つが前記所定の条件を満たすか否かを判定する判定手段と、前記所定の条件を満たすと判定された場合に、前記抽出された大平坦領域を有するフレームを前記ロングショットとして識別するショットサイズ識別手段とを有する。

この態様では、ショットサイズ特定手段において、先ず、例えばプロセッサ、メモリ等を備えてなる、評価手段によって、抽出された大平坦領域に対し、複数の評価項目に夫々対応する複数の評価値が付与される。評価値は、例えば、形状である場合は、大領域に外接する矩形の横幅等である。或いは、フレーム上の位置である場合は、大平坦領域の重心のフレーム上における座標や、大平坦領域に外接する矩形の、一又は複数の頂点のフレーム上における座標等である。続いて、例えばプロセッサ、メモリ等を備えてなる、判定手段によって、付与された複数の評価値のうち少なくとも一つの評価値が、該評価値に対応する所定の条件を満たすか否かが判定される。続いて、所定の条件を満たすと判定された場合、例えばプロセッサ、メモリ等を備えてなる、ショットサイズ識別手段により、抽出された大平坦領域を有するフレームがロングショットとして識別される。よって、特定された大平坦領域に基づいて、ショットサイズを極めて効率的に特定できる。

本発明の第２のショットサイズ識別装置の他の態様では、前記複数の評価項目は、前記抽出された大平坦領域の面積と前記抽出された大平坦領域に外接する矩形の面積との面積比を含み、前記所定の条件は、前記面積比が面積比閾値以上である。

この態様によれば、複数の評価項目には、抽出された大領域の面積と該抽出された大領域に外接する矩形の面積との面積比が含まれている。この場合には、例えば評価手段は評価値として、面積比を付与する。

「面積比閾値」とは、ロングショットであるか否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この面積比閾値は、例えば０．４であり、確実にロングショットであると推定可能な値として設定されている。尚、「面積比」及び「面積比閾値」は、比に限らず、百分率や割合であってもよい。

本発明の第２のショットサイズ識別装置の他の態様では、前記複数の評価項目は、前記抽出された大平坦領域に外接する矩形の横幅を含み、前記所定の条件は、前記横幅が横幅閾値以上である。

この態様によれば、複数の評価項目には、抽出された大平坦領域に外接する矩形の横幅が含まれている。この場合には、例えば評価手段は評価値として、横幅を付与する。

「横幅閾値」とは、ロングショットであるか否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この横幅閾値は、例えば、映像の解像度が縦４８０画素×横７２０画素、所定単位が、縦１６画素×横１６画素の区画である場合には３０ブロックであり、確実にロングショットであると推定可能な値として設定されている。尚、「横幅」及び「横幅閾値」は、絶対値であってもよいし、何らかのパラメータに対する比、割合、又は百分率であってもよい。

本発明の第２のショットサイズ識別装置の他の態様では、前記複数の評価項目は、前記抽出された大平坦領域の重心位置を含み、前記所定の条件は、前記重心位置が、所定範囲である。

この態様によれば、複数の評価項目には、抽出された大平坦領域の重心位置が含まれている。この場合には、例えば評価手段は評価値として、重心位置を付与する。尚、「重心位置」は、典型的には、フレームにおける座標値で表されている。「座標値」は、絶対値でもよいし、何らかのパラメータに対する、比、割合、又は百分率であってもよい。

「所定範囲」とは、ロングショットであるか否かを決定する範囲であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この所定範囲は、例えば、フレームの上部３分の１以内、又は下部３分の１以内であり、確実にロングショットであると推定可能な範囲として設定されている。

本発明の第２のショットサイズ識別装置の他の態様では、前記平坦演算手段は、前記所定単位の各々に対し、周波数解析を行い、前記指標値を演算する。

この態様によれば、平坦演算手段は、フレームの所定単位における濃度値や輝度値を示す画像信号に対し周波数解析を行い、該行った周波数解析の結果に基づいて、低域周波数成分と該低域周波数成分を除いた高域周波数成分との比を求めて指標値とする。

この態様では、前記周波数解析は、二次元離散コサイン変換又は離散フーリエ変換を含んでいてもよい。

このように構成すれば、比較的効率良く精度の良い指標値を演算することができる。

本発明の第２のショットサイズ識別装置の他の態様では、前記検出された連結平坦領域の平坦領域数を計数する平坦領域数計数手段を更に備え、前記ショットサイズ特定手段は、前記少なくとも一つが前記所定の条件を満たす場合に、前記計数された平坦領域数が平坦領域数閾値以下であることを条件に、前記抽出された大平坦領域を有するフレームをロングショットとして特定する。

この態様によれば、例えばプロセッサ、メモリ等を備えてなる、平坦領域数計数手段は、検出された平坦領域の平坦領域数を計数する。本願発明者の研究によれば、例えば夜等の暗い場所で撮影された、或いは、例えば海岸等の比較的見晴らしの良い場所で撮影されたロングショットのフレームでは、比較的大きな領域を占める平坦領域が少数個検出されることが判明している。従って、検出された平坦領域の平坦領域数を計数することによって、ロングショットであるか否かを確実に判定することができ、特定結果の信頼性を向上させることが可能となる。

尚、「平坦領域数閾値」とは、ロングショットであるか否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この平坦領域数閾値は、確実にロングショットであると推定可能な値として設定されている。

本発明の第２のショットサイズ識別装置の他の態様では、前記フレームのエッジを検出するエッジ検出手段と、前記検出されたエッジが連結してなる連結エッジ領域を検出する連結エッジ領域検出手段と、前記検出された連結エッジ領域のエッジ領域数を計数するエッジ領域計数手段とを更に備え、前記ショットサイズ特定手段は、前記計数されたエッジ領域数が第１エッジ領域数閾値より大きい、又は前記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記フレームをロングショットとして特定する。

この態様によれば、大平坦領域に基づくショットサイズの特定に加えて、連結エッジ領域に基づくショットサイズの特定も行っているため、ロングショットのフレームを取りこぼす可能性を低減することができ、実用上非常に有利である。

この態様では、前記ショットサイズ特定手段は、前記計数されたエッジ領域数が第２エッジ領域数閾値より小さく、且つ前記特定された大平坦領域についた、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記フレームをロングショットとして特定してもよい。

このように構成すれば、例えば夜等の暗い場所で撮影されたロングショットのフレームのようなエッジが検出されにくいフレームであっても、誤った特定又は識別、或いは、取りこぼしの可能性を低減することができ、実用上非常に有利である。

本発明の電子機器は、上記課題を解決するために、上述したショットサイズ識別装置（但し、その各種態様を含む）と、前記ショットサイズ特定手段による特定結果に応じて前記映像の再生、記録及び編集のうち少なくとも一つに関する所定種類の処理を、前記映像に対して施す処理手段とを備える。

本発明の電子機器によれば、上述した本発明に係るショットサイズ識別装置を具備してなるので、簡便且つ迅速にショットサイズを識別することができる。この結果、効率的な映像編集作業を可能とする、編集機能・撮影補助機能付ビデオカメラ、動画再生装置、ビデオ編集機、ビデオサーバ、ビデオストレージ機器等の各種電子機器を実現することができる。

本発明の第１のショットサイズ識別方法は、上記課題を解決するために、映像を構成するフレーム内に存在するエッジを検出するエッジ検出工程と、前記検出されたエッジが連結してなる連結エッジ領域を検出する連結エッジ領域検出工程と、前記検出された連結エッジ領域の総数であるエッジ領域数を前記フレーム毎に計数するエッジ領域計数工程と、前記計数されたエッジ領域数が第１エッジ領域数閾値より大きい場合に、前記フレームをロングショットとして特定するショットサイズ特定工程とを備える。

本発明の第１のショットサイズ識別方法によれば、上述した本発明の第１のショットサイズ識別装置と同様に、簡便且つ迅速にショットサイズを識別することができる。

尚、本発明の第１のショットサイズ識別方法においても、上述した本発明の第１のショットサイズ識別装置における各種態様と同様の各種態様を採ることが可能である。

本発明の第２のショットサイズ識別方法は、上記課題を解決するために、映像を構成するフレーム内における平坦の程度を示す指標値を、前記フレームを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する平坦演算工程と、前記演算された指標値を二値化する二値化工程と、前記二値化された指標値が同じである前記所定単位が連結してなる連結平坦領域のうち、前記所定単位の総数が所定閾値以上であるものを、大平坦領域として特定する大平坦領域特定工程と、前記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大平坦領域を有する前記フレームをロングショットとして特定するショットサイズ特定工程とを備える。

本発明の第２のショットサイズ識別方法によれば、上述した本発明の第２のショットサイズ識別装置と同様に、簡便且つ迅速にショットサイズを識別することができる。

尚、本発明の第２のショットサイズ識別方法においても、上述した本発明の第２のショットサイズ識別装置における各種態様と同様の各種態様を採ることが可能である。

本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、上述した本発明のショットサイズ識別装置（但し、その各種態様を含む）として機能させる。

本実施形態のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、計測システムに備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを通信手段を介してダウンロードさせた後に実行させれば、上述した本発明のショットサイズ識別装置を比較的容易にして実現できる。これにより、上述した本発明のショットサイズ識別装置の場合と同様に、簡便且つ迅速にショットサイズを識別することができる。

本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされよう。

実施形態に係るビデオカメラの構成を示すブロック図である。 実施形態に係るフレーム画像における、ブロックの一例を図式的に示す概念図である。 実施形態に係る大平坦領域の評価項目の一例を示す概念図である。 実施形態に係るショットサイズ識別表の一例を示す概念図である。 実施形態に係るショットサイズ識別装置におけるエッジ領域ロングショット検出処理を示すフローチャートである。 実施形態に係るショットサイズ識別装置における平坦領域ロングショット検出処理を示すフローチャートである。 実施形態に係るショットサイズ識別装置におけるアップショット検出処理を示すフローチャートである。 実施形態に係るショットサイズ識別装置におけるショットサイズ識別処理を示すフローチャートである。

符号の説明

１ ビデオカメラ
１０ ショットサイズ識別装置
２０ 撮影装置
３０ 制御部
４０ 記憶装置
５０ 表示装置
６０ 操作パネル

以下、本発明のショットサイズ識別装置を備える電子機器の一例としてのビデオカメラに係る実施形態を、図１乃至図８を参照して説明する。

先ず、図１を参照して本実施形態に係るビデオカメラの構成について説明する。図１は、本実施形態に係るビデオカメラの構成を示すブロック図である。

図１において、ビデオカメラ１は、ショットサイズ識別装置１０、撮影装置２０、制御部３０、記憶装置４０、表示装置５０、及び操作パネル６０を備えて構成されている。

ショットサイズ識別装置１０は、ノイズ除去部１０１、エッジ検出部１０２、エッジ連結部１０３、エッジ数検出部１０４、平坦演算部１０５、二値化部１０６、平坦領域検出部１０７、大領域抽出部１０８、評価部１０９、判定部１１０、領域数計数部１１１、アップショット検出部１１２、及びショットサイズ識別部１１３を備えて構成されている。

ここに、本実施形態に係る「ノイズ除去部１０１」、「エッジ検出部１０２」、「エッジ連結部１０３」、「エッジ数検出部１０４」、「平坦演算部１０５」、「二値化部１０６」、「平坦領域検出部１０７」、「大領域抽出部１０８」、「判定部１１０」、「領域数計数部１１１」、及び「ショットサイズ識別部１１３」は、夫々、本発明に係る「ノイズ除去手段」、「エッジ検出手段」、「連結エッジ検出手段」、「エッジ領域数計数手段」、「平坦演算手段」、「二値化手段」、「連結平坦領域検出手段」、「大平坦領域抽出手段」、「判定手段」、「平坦領域数計数手段」、及び「ショットサイズ識別手段」の一例である。

撮影装置２０は、例えば、レンズやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を含んで構成されており、動画や、連続写真を撮影し、時間軸上で所定間隔或いは一定間隔で並ぶ複数の、本発明に係る「フレーム」の一例としてのフレーム画像を生成するように構成されている。記憶装置４０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や不揮発性のメモリであり、撮影装置２０によって生成された動画等を逐次蓄える。

制御部３０は、操作ボタン６０によって受け付けられたユーザーからの指示に応じて、撮影装置２０を制御したり、該撮影装置２０によって撮影された動画等を、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等である、表示装置５０に表示したり、或いは、撮影された動画等のショットサイズを識別するようにショットサイズ識別装置１０を制御したりする。

操作ボタン６０によって、ショットサイズ識別の要求が受け付けられた際に、制御部３０は、記憶装置４０に蓄えられている、動画（又は、連続写真）を読み込むようにショットサイズ識別装置１０を制御する。

（エッジ領域ロングショット検出処理）
ノイズ除去部１０１は、ショットサイズ識別装置１０の入力端子Ｐ１を介して読み込まれた動画のフレーム画像のノイズを、周知のノイズ除去法によって除去する。続いて、エッジ検出部１０２は、ノイズが除去されたフレーム画像に対し、周知のエッジ検出を行いエッジを検出する。

次に、エッジ連結部１０３は、検出されたエッジのうち、互いに連結しているエッジを一つの連結エッジ領域として検出する。続いて、エッジ数計数部１０４は、例えば、ラベリング処理を行う等して、検出された連結エッジ領域のエッジ領域数を計数する。

判定部１１０は、計数されたエッジ領域数が、第１エッジ領域数閾値より大きいか否かを判定する。第１エッジ領域数閾値より大きいと判定された場合、フレーム画像はロングショット候補であると判定される。尚、第１エッジ領域数閾値は、例えば、過去５フレーム程度のフレーム画像、又は全フレーム画像におけるエッジ領域数の平均値及び標準偏差の和であることが望ましいが、例えば、フレーム画像の解像度に基づいて決定される値であってもよい。

第１エッジ領域数閾値より小さいと判定された場合、判定部１１０は、続いて、計数されたエッジ領域数が、第１エッジ領域数閾値より小さい、第２エッジ領域数閾値より小さいか否かを判定する。第２エッジ領域数閾値より小さいと判定された場合、フレーム画像はミドルショット候補であると判定される。尚、第２エッジ領域数閾値も、第１エッジ領域数閾値と同様にして設定される。

第２エッジ領域数閾値より大きいと判定された場合、フレーム画像は、少なくともロングショットではないと判定される。

（平坦領域ロングショット検出処理）
平坦演算部１０５は、ショットサイズ識別装置１０の入力端子Ｐ１を介して読み込まれた動画のフレーム画像の、本発明に係る「指標値」の一例としての平坦度を、本発明に係る「所定単位」の一例としてのブロック毎に演算する。

ここで、図２を参照して、ブロックについて説明を加える。ここに、図２は、本実施形態に係るフレーム画像における、ブロックの一例を図式的に示す概念図である。

図２（ａ）において、フレーム画像２００は、複数のブロック２０１に区画されている。ブロック２０１は、図２（ｂ）に示すように、フレーム画像２００を構成している複数の画素２０１ｐを所定数（ここでは、縦１６画素×横１６画素）含んで構成されている。

尚、平坦演算部１０５は、典型的には、フレーム画像２００を複数のブロック２０１に区画した際に、該ブロック２０１に含まれている複数の画素２０１ｐ夫々の、濃度値や輝度値等の平均値を演算して各ブロックの濃度値や輝度値等としている。

このフレーム画像２００上にある各ブロック２０１についての平坦度は、例えば、ブロック２０１ａに注目すると、先ず、該ブロック２０１ａの濃度値や輝度値等のうち一又は複数の所定パラメータの値と、隣接するブロック２０１ｂの所定パラメータの値との差分値の絶対値を求める。同様の処理をブロック２０１ａに隣接するブロックについて行う。次に、求めた複数の差分値の絶対値の平均値を求めて、ブロック２０１ａの平坦度とする。

尚、差分値を求める際、平坦演算部１０５は、各ブロック２０１の濃度値や輝度値等を示す映像信号に対し、二次元コサイン変換又は離散フーリエ変換等の周波数解析を行い、隣接するブロック間の低域周波数成分のパワーと、該低域周波数成分を除いた高域周波数成分のパワーとの比を求めて差分値としている。

再び、図１に戻り、二値化部１０６は、演算された平坦度を二値化する。平坦領域検出部１０７は、二値化された平坦度が同じであるブロックを抽出して、該抽出されたブロックが連結してなる連結平坦領域を検出する。具体的には、二値化されたフレーム画像２００に対して、ラベリング処理を施して、平坦領域を検出している。

次に、大領域抽出部１０８は、検出された連結平坦領域に含まれるブロックの数が、本発明に係る「単位数閾値」の一例としてのブロック数閾値（例えば、２００ブロック）以上である領域を大平坦領域として抽出する。

次に、評価部１０９は、抽出された大平坦領域に対し、複数の評価項目に夫々対応する複数の評価値を付与する。

ここで、図３を参照して、複数の評価項目について説明を加える。ここに、図３は、本実施形態に係る大平坦領域の評価項目の一例を示す概念図である。

評価部１０５は、フレーム画像２００上の大平坦領域３０１に対し、該大平坦領域３０１の面積と該大平坦領域３０１に外接する外接矩形３０２の面積との面積比、外接矩形３０２の横幅３０２ｘ、大平坦領域３０１の重心３０１ｇの重心位置等に対応する評価値を付与する。

再び、図１に戻り、領域数計数部１１１は、平坦領域検出部１０７によって検出された連結平坦領域の数を計数する。

判定部１０６は、大平坦領域３０１に対して付与された複数の評価値のうち少なくとも一つの評価値が、該評価値に対応する所定の条件を満たすか否かを判定する。ここで、所定の条件は、評価値が面積比である場合には、面積比閾値（例えば、０．４）以上である、横幅３０２ｘである場合には、横幅閾値（例えば、３０ブロック）以上である、或いは、重心３０１ｇの重心位置である場合には、フレーム画像２００の所定範囲内（例えば、重心３０１ｇがフレーム画像２００の上部１／３又は下部１／３に存在している）である。

判定部１０６は、更に、領域数計数部１１１によって計数された平坦領域数が平坦領域数閾値（例えば、１０）以下であるか否かを判定する。

少なくとも一つの評価値が所定の条件を満たすと判定され、且つ計数された平坦領域数が平坦領域数閾値以下であると判定された場合、大平坦領域３０１を有するフレーム画像２００はロングショット候補であると判定される。一方、評価値が所定の条件を満たさない、又は係数された平坦領域数が平坦領域数閾値より大きいと判定された場合、フレーム画像２００は、少なくともロングショットではないと判定される。

（アップショット検出処理）
アップショット検出部１１２は、ショットサイズ識別装置１０の入力端子Ｐ１を介して読み込まれた動画のフレーム画像に対して、所定のアップショット検出を行い、アップショットを検出する。具体的には例えば、フレーム画像上の肌色領域を検出し、該肌色領域の面積・形状・位置等が夫々に対応する条件を満たすか否かを判定して、満たしていると判定された場合に、アップショットとして検出する。或いは、複数のフレーム画像の差分値から動物体を検出し、該動物体の面積・形状・位置等が夫々に対応する条件を満たすか否かを判定して、満たしていると判定された場合に、アップショット候補として検出する。

一方、満たしていないと判定された場合は、少なくともアップショットではないと判定される。

（ショットサイズ識別処理）
ショットサイズ識別部１１３は、上述したエッジ領域ロングショット検出処理、平坦領域ロングショット検出処理及びアップショット検出処理夫々の結果に基づいて、単純には、例えばショットサイズ識別部１１３の図示しないメモリに格納されている、図４に示すようなショットサイズ識別表を参照して、フレーム画像のショットサイズを識別する。

ここに、図４は、本実施形態に係るショットサイズ識別表の一例を示す概念図である。図４において、Ａ、Ｂ及びＣは、夫々、エッジ領域ロングショット検出処理、平坦領域ロングショット検出処理及びアップショット検出処理夫々の判定結果を示している。また、Ｌ、Ｍ及びＵは、夫々、判定結果が「ロングショット候補」、「ミドルショット候補」及び「アップショット候補」であることを示している。また、×は、判定結果が「少なくともロングショットではない」又は「少なくともアップショットではない」であることを示している。

具体的には、ショットサイズ識別部１１３は、平坦領域ロングショット検出処理の結果が「ロングショット候補」であり、且つアップショット検出処理の結果が「少なくともアップショットではない」であるフレーム画像を、或いは、エッジ領域ロングショット検出処理の結果が「ロングショット候補」であり、且つ平坦領域ロングショット検出処理の結果が「少なくともロングショットではない」であり、且つアップショット検出処理の結果が「少なくともアップショットではない」であるフレーム画像をロングショットとして識別する。ショットサイズ識別部１１３は、出力端子Ｐ２を介して、結果を出力する。該出力された結果は、制御部３０によって、表示装置５０に表示され、或いは、記憶装置４０に格納される。

エッジ領域ロングショット検出処理の結果が「ロングショット候補」であり、且つアップショット検出処理の結果が「アップショット候補」であるフレーム画像を「ロング／アップショット」として識別する。尚、この場合（即ち、図４において“◎”で示す場合）、フレーム画像を「ミドルショット」と識別してもよいし、ショットサイズ識別処理の対象から除外してもよい。

エッジ領域ロングショット検出処理の結果が「ミドルショット候補」であり、且つ平坦領域ロングショット検出処理の結果が「少なくともロングショットではない」であり、且つアップショット検出処理の結果が「少なくともアップショットではない」であるフレーム画像をミドルショットとして識別する。

エッジ領域ロングショット検出処理の結果が「ミドルショット候補」又は「少なくともロングショットではない」であり、且つアップショット検出処理の結果が「アップショット候補」であるフレーム画像をアップショットとして識別する。

エッジ領域ロングショット検出処理の結果及び平坦領域ロングショット検出処理の結果が「少なくともロングショットではない」であり、且つアップショット検出処理の結果が「少なくともアップショットではない」であるフレーム画像をミドルショットとして識別する。尚、この場合（即ち、図４において“▲”で示す場合）、フレーム画像をショットサイズ識別処理の対象から除外してもよい。

尚、図４に示すようなショットサイズ識別表に加えて又は代えて、エッジ領域ロングショット検出処理、平坦領域ロングショット検出処理及びアップショット検出処理夫々において検出又は計数された領域の面積や領域数等に応じて、フレーム画像のショットサイズを識別してもよい。

また、上記のようなフレーム画像毎のショットサイズ識別に加えて又は代えて、エッジ領域ロングショット検出処理、平坦領域ロングショット検出処理及びアップショット検出処理夫々の結果をあるショット区間で総合的に判断し、そのショット区間でのショットサイズとしても良い。具体的には、あるショット区間で最も多かったショットサイズ検出結果をそのショット区間でのショットサイズとして採用する。

或いは、例えばエッジ領域ロングショット検出処理の結果が「ロングショット候補」である場合を−５、平坦領域ロングショット検出処理の結果が「ロングショット候補」である場合を−４、エッジ領域ロングショット検出処理の結果が「ミドルショット候補」である場合を０、アップショット検出処理の結果が「アップショット候補」である場合を＋４等とする。そして、各検出パラメータとショットサイズの関連度に応じて重みを付け、あるショット区間における重み付け平均値が−（マイナス）の数値であれば、そのショット区間をロングショットとして、±０であればミドルショットとして、＋（プラス）の数値であればアップショットとして採用する等すればよい。またその平均値の絶対値を、検出結果の信頼度として扱っても良い。

尚、「ショット区間」とは、典型的には、ショットサイズが一定の区間を意味する。このショット区間の境界では、通常、カメラワークの切り替えが発生するため、周知のカメラワーク検出やシーンチェンジ検出等を用いて境界を検出してショット区間を検出すればよい。

以上の結果、本実施形態によれば、簡便且つ迅速にショットサイズを識別することができる。従って、映像編集作業を効率的に行うことができるビデオカメラ１を提供することが可能となる。

尚、図１を参照して説明した電子機器の他にも、動画再生装置、ビデオ編集機、ビデオサーバ、ビデオストレージ機器等が挙げられる。そして、これらの各種電子機器に適用可能なのは言うまでもない。

次に、以上のように構成されたビデオカメラ１が備えるショットサイズ識別装置１０の動作について、図５乃至図８のフローチャートを参照して説明を加える。ここに、図５は、本実施形態に係るショットサイズ識別装置におけるエッジ領域ロングショット検出処理を示すフローチャートであり、図６は、平坦領域ロングショット検出処理を示すフローチャートであり、図７は、アップショット検出処理を示すフローチャートであり、図８は、ショットサイズ識別処理を示すフローチャートである。

図５において、先ず、ノイズ除去部１０１によって、読み込まれた動画を構成するフレーム画像のノイズが除去される（ステップＳ１０１）。次に、エッジ検出部１０２によって、エッジが検出される（ステップＳ１０２）。次に、エッジ連結部１０３によって、検出されたエッジのうち、互いに連結しているエッジを一つの連結エッジ領域として検出される（ステップＳ１０３）。

次に、エッジ数計数部１０４によって、検出された連結エッジ領域のエッジ領域数が計数される（ステップＳ１０４）。続いて、判定部１１０によって、計数されたエッジ領域数が第１エッジ領域数閾値より大きいか否かが判定される（ステップＳ１０５）。第１エッジ領域数閾値より大きいと判定された場合（ステップＳ１０５：Ｙｅｓ）、フレーム画像は「ロングショット候補」であると判定される（ステップＳ１０６）。

第１エッジ領域数閾値より小さいと判定された場合（ステップＳ１０５：Ｎｏ）、続いて、判定部１１０は、第２エッジ領域数閾値より小さいか否かを判定する（ステップＳ１０７）。第２エッジ領域数閾値より小さいと判定された場合（ステップＳ１０７：Ｙｅｓ）、フレーム画像は「ミドルショット候補」であると判定される（ステップＳ１０８）。

第２エッジ領域数閾値より大きいと判定された場合（ステップＳ１０７：Ｎｏ）、フレーム画像は、「少なくともロングショットではない」と判定される。

図６において、平坦演算部１０５は、読み込まれた動画を構成するフレーム画像の平坦度を、ブロック毎に演算する（ステップＳ２０１）。次に、二値化部１０６によって、演算された平坦度が二値化される（ステップＳ２０２）。次に、平坦領域検出部１０７によって、二値化された平坦度が同じであるブロックが抽出され、該抽出されたブロックが連結してなる連結平坦領域が検出される（ステップＳ２０３）。

次に、領域数計数部１１１によって、検出された連結平坦領域の平坦領域数が計数される（ステップＳ２０４）。平坦領域数の計数と相前後して、大平坦領域抽出部１０８によって、検出された連結平坦領域に含まれるブロックの数がブロック数閾値以上である連結平坦領域が大平坦領域として抽出される（ステップＳ２０５）。

次に、評価部１０９によって、抽出された大平坦領域に対して、複数の評価項目に夫々対応する複数の評価値が付与される（ステップＳ２０６）。続いて、判定部１１０によって、付与された評価値が所定の条件を満たしているか否かが判定される（ステップＳ２０７）。満たしていないと判定された場合（ステップＳ２０７：Ｎｏ）、フレーム画像は「少なくともロングショットではない」と判定される（ステップＳ２１０）。

満たしていると判定された場合（ステップＳ２０７：Ｙｅｓ）、続いて、判定部１０６によって、計数された平坦領域数が平坦領域数閾値以下であるか否かが判定される（ステップＳ２０８）。平坦領域数閾値より多いと判定された場合（ステップＳ２０８：Ｎｏ）、フレーム画像は「少なくともロングショットではない」と判定される（ステップＳ２１０）。

平坦領域数閾値以下であると判定された場合（ステップＳ２０８：Ｙｅｓ）、フレーム画像は「ロングショット候補」であると判定される（ステップＳ２０９）。尚、ステップＳ２０７及びＳ２０８の各処理は、相前後して行われてもよい。

図７において、アップショット検出部１１２によって、読み込まれた動画を構成するフレーム画像に対し、所定のアップショット検出処理が施される（ステップＳ３０１）。次に、アップショットを検出したか否かが判定され（ステップＳ３０２）、検出したと判定された場合（ステップＳ３０２：Ｙｅｓ）、フレーム画像を「アップショット候補」と判定する（ステップＳ３０３）。検出していないと判定された場合（ステップＳ３０２：Ｎｏ）、フレーム画像は「少なくともアップショットではない」と判定される（ステップＳ３０４）。

ショットサイズ識別部１１３は、エッジ領域ロングショット検出処理、平坦領域ロングショット検出処理及びアップショット検出処理夫々の結果に基づいて、以下に説明する処理を行い、フレーム画像のショットサイズを識別する。
図８において、先ず、平坦領域ロングショット検出処理の結果が、「ロングショット候補」であるか否かを判定される（ステップＳ４０１）。「ロングショット候補」であると判定された場合（ステップＳ４０１：Ｙｅｓ）、続いて、アップショット検出処理の結果が、「アップショット候補」であるか否かが判定される（ステップＳ４０２）。

アップショット検出処理の結果が、「アップショット候補」でないと判定された場合（ステップＳ４０２：Ｎｏ）、フレーム画像をロングショットとして識別して（ステップＳ４０９）、結果を出力すると共に、他のフレーム画像に対して処理を行う。

アップショット検出処理の結果が、「アップショット候補」であると判定された場合（ステップＳ４０２：Ｙｅｓ）、続いて、エッジ領域ロングショット検出処理の結果が、「ロングショット候補」であるか否かが判定される（ステップＳ４０３）。「ロングショット候補」であると判定された場合（ステップＳ４０３：Ｙｅｓ）、フレーム画像をロング／アップショットとして識別して（ステップＳ４０７）、結果を出力すると共に、他のフレーム画像に対して処理を行う。

一方、エッジ領域ロングショット検出処理の結果が、「ロングショット候補」でないと判定された場合、即ち、エッジ領域ロングショット検出処理の結果が「ミドルショット候補」又は「少なくともロングショットではない」である場合（ステップＳ４０３：Ｎｏ）、フレーム画像をアップショットとして識別して（ステップＳ４０８）、結果を出力すると共に、他のフレーム画像に対して処理を行う。

平坦領域検出処理の結果が、「ロングショット候補」でないと判定された場合（ステップＳ４０１：Ｎｏ）、続いて、エッジ領域ロングショット検出処理の結果が、「ロングショット候補」であるか否かが判定される（ステップＳ４０４）。「ロングショット候補」であると判定された場合（ステップＳ４０４：Ｙｅｓ）、続いて、アップショット検出処理の結果が「アップショット候補」であるか否かが判定される（ステップＳ４０５）。

アップショット検出処理の結果が、「アップショット候補」であると判定された場合（ステップＳ４０５：Ｙｅｓ）、フレーム画像をロング／アップショットとして識別して（ステップＳ４０７）、結果を出力すると共に、他のフレーム画像に対して処理を行う。一方、「アップショット候補」でないと判定された場合（ステップＳ４０５：Ｎｏ）、フレーム画像をロングショットとして識別して（ステップＳ４０９）、結果を出力すると共に、他のフレーム画像に対して処理を行う。

エッジ領域検出処理の結果が、「ロングショット候補」でないと判定された場合（ステップＳ４０４：Ｎｏ）、続いて、アップショット検出処理の結果が「アップショット候補」であるか否かが判定される（ステップＳ４０６）。「アップショット候補」であると判定された場合（ステップＳ４０６：Ｙｅｓ）、フレーム画像をアップショットとして識別して（ステップＳ４０８）、結果を出力すると共に、他のフレーム画像に対して処理を行う。

一方、アップショット検出処理の結果が、「アップショット候補」でないと判定された場合（ステップＳ４０６：Ｎｏ）、フレーム画像をミドルショットとして識別して（ステップＳ４１０）、結果を出力すると共に、他のフレーム画像に対して処理を行う。

尚、本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラムもまた、本発明の技術的範囲に含まれるものである。

Claims (22)

1. 映像を構成するフレーム内に存在するエッジを検出するエッジ検出手段と、
   前記検出されたエッジが連結してなる連結エッジ領域を検出する連結エッジ領域検出手段と、
   前記検出された連結エッジ領域の総数であるエッジ領域数を前記フレーム毎に計数するエッジ領域計数手段と、
   前記計数されたエッジ領域数が第１エッジ領域数閾値より大きい場合に、前記フレームをロングショットとして特定するショットサイズ特定手段と
   を備えることを特徴とするショットサイズ識別装置。
2. 前記ショットサイズ特定手段は、
   前記計数されたエッジ領域数が、第１エッジ領域数閾値より大きいか否かを判定する判定手段と、
   前記第１エッジ領域数閾値より大きいと判定された場合に、前記フレームをロングショットとして識別するショットサイズ識別手段と
   を有することを特徴とする請求の範囲第１項に記載のショットサイズ識別装置。
3. 前記第１エッジ領域数閾値は、前記フレームに係るパラメータに基づいて決定されることを特徴とする請求の範囲第１項に記載のショットサイズ識別装置。
4. 前記第１エッジ領域数閾値は、前記映像に係る所定統計値を示すパラメータに応じて可変であることを特徴とする請求の範囲第１項に記載のショットサイズ識別装置。
5. 前記ショットサイズ特定手段は、前記計数されたエッジ領域数が第２エッジ領域数閾値より小さい場合に、前記フレームをミドルショットとして特定することを特徴とする請求の範囲第１項に記載のショットサイズ識別装置。
6. 前記第２エッジ領域数閾値は、前記第１エッジ領域数閾値より小さいことを特徴とする請求の範囲第５項に記載のショットサイズ識別装置。
7. 前記フレームのノイズを除去するノイズ除去手段を更に備えることを特徴とする請求の範囲第１項に記載のショットサイズ識別装置。
8. 映像を構成するフレーム内における平坦の程度を示す指標値を、前記フレームを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する平坦演算手段と、
   前記演算された指標値を二値化する二値化手段と、
   前記二値化された指標値が同じである前記所定単位が連結してなる連結平坦領域のうち、前記所定単位の総数が所定閾値以上であるものを、大平坦領域として特定する大平坦領域特定手段と、
   前記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大平坦領域を有する前記フレームをロングショットとして特定するショットサイズ特定手段と
   を備えることを特徴とするショットサイズ識別装置。
9. 前記大平坦領域特定手段は、
   前記連結平坦領域を検出する連結平坦領域検出手段と、
   前記検出された連結平坦領域のうち、前記所定単位の数が前記単位数閾値以上であるものを大平坦領域として抽出する大平坦領域抽出手段と
   を有することを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
10. 前記ショットサイズ特定手段は、
    前記抽出された大平坦領域が、前記少なくとも一つが前記所定の条件を満たすか否かを判定する判定手段と、
    前記所定の条件を満たすと判定された場合に、前記抽出された大平坦領域を有するフレームを前記ロングショットとして識別するショットサイズ識別手段と
    を有することを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
11. 前記複数の評価項目は、前記抽出された大平坦領域の面積と該抽出された大平坦領域に外接する矩形の面積との面積比を含み、
    前記所定の条件は、前記面積比が面積比閾値以上である
    ことを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
12. 前記複数の評価項目は、前記抽出された大平坦領域に外接する矩形の横幅を含み、
    前記所定の条件は、前記横幅が横幅閾値以上である
    ことを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
13. 前記複数の評価項目は、前記抽出された大平坦領域の重心位置を含み、
    前記所定の条件は、前記重心位置が、所定範囲である
    ことを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
14. 前記平坦演算手段は、前記所定単位の各々に対し、周波数解析を行い、前記指標値を演算することを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
15. 前記周波数解析は、二次元離散コサイン変換又は離散フーリエ変換を含んでいることを特徴とする請求の範囲第１４項に記載のショットサイズ識別装置。
16. 前記検出された連結平坦領域の平坦領域数を計数する平坦領域数計数手段を更に備え、
    前記ショットサイズ特定手段は、前記少なくとも一つが前記所定の条件を満たす場合に、前記計数された平坦領域数が平坦領域数閾値以下であることを条件に、前記抽出された大平坦領域を有するフレームをロングショットとして特定する
    ことを特徴とする請求の範囲第８に記載のショットサイズ識別装置。
17. 前記フレームのエッジを検出するエッジ検出手段と、
    前記検出されたエッジが連結してなる連結エッジ領域を検出する連結エッジ領域検出手段と、
    前記検出された連結エッジ領域のエッジ領域数を計数するエッジ領域計数手段と
    を更に備え、
    前記ショットサイズ特定手段は、前記計数されたエッジ領域数が第１エッジ領域数閾値より大きい、又は前記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記フレームをロングショットとして特定する
    ことを特徴とする請求の範囲第８項に記載のショットサイズ識別装置。
18. 前記ショットサイズ特定手段は、前記計数されたエッジ領域数が第２エッジ領域数閾値より小さく、且つ前記特定された大平坦領域についた、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記フレームをロングショットとして特定することを特徴とする請求の範囲第１７項に記載のショットサイズ識別装置。
19. 請求項１乃至１８のいずれか一項に記載のショットサイズ識別装置と、
    前記ショットサイズ特定手段による特定結果に応じて前記映像の再生、記録及び編集のうち少なくとも一つに関する所定種類の処理を、前記映像に対して施す処理手段と
    を備えることを特徴とする電子機器。
20. 映像を構成するフレーム内におけるエッジを検出するエッジ検出工程と、
    前記検出されたエッジが連結してなる連結エッジ領域の総数であるエッジ領域数を前記フレーム毎に計数するエッジ領域計数工程と、
    前記計数されたエッジ領域数が第１エッジ領域数閾値より大きい場合に、前記フレームをロングショットとして特定するショットサイズ特定工程と
    を備えることを特徴とするショットサイズ識別方法。
21. 映像を構成するフレーム内における平坦の程度を示す指標値を、前記フレームを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する平坦演算工程と、
    前記演算された指標値を二値化する二値化工程と、
    前記二値化された指標値が同じである前記所定単位が連結してなる連結平坦領域のうち、前記所定単位の総数が所定閾値以上であるものを、大平坦領域として特定する大平坦領域特定工程と、
    前記特定された大平坦領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大平坦領域を有する前記フレームをロングショットとして特定するショットサイズ特定工程と
    を備えることを特徴とするショットサイズ識別方法。
22. コンピュータを、請求項１乃至１８のいずれか一項に記載のショットサイズ識別装置として機能させることを特徴とするコンピュータプログラム。

Images