WO2012086616A1

WO2012086616A1 - 映像処理装置、映像処理方法及び映像処理プログラム

Info

Publication number: WO2012086616A1
Application number: PCT/JP2011/079429
Authority: WO
Inventors: 慎中手; 渉猪羽
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2010-12-22
Filing date: 2011-12-20
Publication date: 2012-06-28
Anticipated expiration: 2013-06-22

Abstract

　特徴量取得部２２は、複数のフレームから構成される映像データを含む映像情報から、前記映像情報の特徴を示す特徴量を取得する。再生区間決定部２３は、特徴量に基づいて、映像情報の内、要約映像として再生され得る再生区間、及び再生区間以外の区間である間隔区間を決定する。再生区間調整部２４は、特徴量に基づいて再生区間と間隔区間から、要約映像として再生される調整済再生区間を決定する。再生処理部２７は、調整済再生区間を再生する。

Description

映像処理装置、映像処理方法及び映像処理プログラム

　本発明は、映像データの要約映像を作成する映像処理装置、映像処理方法及び映像処理プログラムに関する。

　映像データの内容の概略を簡単に把握するために、例えば、特定の人物の顔を検出し、顔が検出された区間を、映像データの要約映像（ダイジェスト）として再生する技術が提案されている。顔が検出された区間のみを要約映像として再生すると、顔が横を向く等の理由により、顔が検出されない区間がごく短い時間ある場合において、要約映像は、一瞬映像が途切れたような、視聴者に違和感を与える映像となる。

　これに対し、顔が検出された２つの区間の間隔が所定の閾値以下であった場合に、その間隔の区間も顔が検出されたものとして扱うことで、歯抜けのない一まとまりの動画を得ることができる画像検出装置が提案されている（特許文献１参照）。

特許４１８９８１１号公報

　特許文献１に記載の技術では、閾値として間隔の長さのみを用いるため、不要な区間が再生区間として選択されてしまったり、再生区間として選択されるべき区間が選択されなかったりする場合がある。

　また、ごく短い区間が、要約映像として再生される区間の１つとなる場合、要約映像の途中に視聴者が内容を把握できないような一瞬だけの映像が挿入されることになり、視聴者に違和感を与える。

　本発明は、視聴者に違和感を与えない適切な区間を要約映像として再生可能な映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的とする。

　上記目的を達成するために、本発明の第１の態様は、複数のフレームから構成される映像データを含む映像情報から、映像情報の特徴を示す特徴量を取得する特徴量取得部（２２）と、特徴量に基づいて、映像情報の内、要約映像として再生され得る再生区間、及び再生区間以外の区間である間隔区間を決定する再生区間決定部（２３）と、特徴量に基づいて再生区間と間隔区間から、要約映像として再生される調整済再生区間を決定する再生区間調整部（２４）と、調整済再生区間を再生する再生処理部（２７）とを備える映像処理装置であることを要旨とする。

　本発明の第２の態様は、複数のフレームから構成される映像データを含む映像情報から、映像情報の特徴を示す特徴量を取得する特徴量取得ステップと、特徴量に基づいて、映像情報の内、要約映像として再生され得る再生区間、及び再生区間以外の区間である間隔区間を決定する再生区間決定ステップと、特徴量に基づいて再生区間と間隔区間から、要約映像として再生される調整済再生区間を決定する再生区間調整ステップと、調整済再生区間を再生するステップとを含む映像処理方法であることを要旨とする。

　本発明の第３の態様は、複数のフレームから構成される映像データを含む映像情報から、映像情報の特徴を示す特徴量を取得する特徴量取得ステップと、特徴量に基づいて、映像情報の内、要約映像として再生され得る再生区間、及び再生区間以外の区間である間隔区間を決定する再生区間決定ステップと、特徴量に基づいて再生区間と間隔区間から、要約映像として再生される調整済再生区間を決定する再生区間調整ステップと、調整済再生区間を再生するステップとを含む処理を実行させる映像処理プログラムであることを要旨とする。

本発明の実施の形態に係る映像処理装置の基本的な構成を説明する模式的なブロック図である。本発明の実施の形態に係る映像処理方法を説明するフローチャートである。本発明の実施の形態に係る映像処理装置に用いる映像情報供給部の一例を説明する模式的なブロック図である。本発明の実施の形態に係る映像処理装置の再生区間決定部を説明するために、映像データの特徴量、再生区間及び間隔区間を図示した一例である。本発明の実施の形態に係る映像処理装置の補填処理部を説明する模式的なブロック図である。本発明の実施の形態に係る映像処理装置の補填処理部を説明するために、映像データの再生区間及び間隔区間を図示した一例である。本発明の実施の形態に係る映像処理装置の評価値算出部を説明するために、映像データの特徴量、再生区間及び間隔区間を図示した一例である。本発明の実施の形態に係る映像処理装置の評価値算出部を説明するために、映像データのフレームを図示した一例である。図９（ａ）は、本発明の実施の形態に係る映像処理装置の評価値算出部を説明するために、映像データのフレームを図示した一例である。図９（ｂ）は、本発明の実施の形態に係る映像処理装置の評価値算出部を説明するために、映像データのフレームを図示した他の一例である。本発明の実施の形態に係る映像処理方法のうち、補填処理部の処理を説明するフローチャートである。本発明の実施の形態に係る映像処理装置の短再生区間処理部を説明する模式的なブロック図である。図１２（ａ）は、本発明の実施の形態に係る映像処理装置の短再生区間処理部を説明するために、映像データの再生区間を図示した一例である。図１２（ｂ）は、図１２（ａ）に示す再生区間を再生する要約映像を図示した一例である。図１３（ａ）は、本発明の実施の形態に係る映像処理装置の短再生区間処理部を説明するために、映像データの再生区間を図示した一例である。図１３（ｂ）は、図１３（ａ）に示す再生区間を再生する要約映像を図示した一例である。図１４（ａ）は、本発明の実施の形態に係る映像処理装置の短再生区間処理部を説明するために、映像データの再生区間を図示した一例である。図１４（ｂ）は、図１４（ａ）に示す再生区間を再生する要約映像を図示した一例である。本発明の実施の形態に係る映像処理方法のうち、短再生区間処理部の処理を説明するフローチャートである。

　次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法、及びこれらの装置に用いられるプログラムを例示するものである。本発明の技術的思想は、下記の実施の形態に例示した装置や方法、及びこれらの装置に用いられるプログラムに特定するものでない。本発明の技術的思想は、請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

　本発明の実施の形態に係る映像処理装置は、図１に示すように、本発明の実施の形態に係る映像処理装置が行う種々の演算を処理する処理部２と、プログラムファイル、映像ファイル等の種々のデータを格納する記憶部３と、外部との信号の入出力を制御する入出力制御部４と、ユーザの操作に応じて出力する信号を、入出力制御部４を介して処理部２に入力する入力部５と、種々の映像等を表示する表示部６とを備える。本発明の実施の形態に係る映像処理装置は、ノイマン型コンピュータのハードウェア構成をなすことが可能である。

　記憶部３は、映像の実データである映像データ、及び映像データに関連付けられる種々の情報を含む映像情報を格納する映像情報記憶部３１と、映像データの特徴を示す特徴量を格納する特徴量記憶部３２と、映像情報記憶部３１に格納される映像データのうち、要約映像として再生される区間を定義する要約映像情報を格納する要約映像情報記憶部３３とを備える。また、記憶部３は、本発明の実施の形態に係る映像処理装置が行う処理に必要な一連のプログラムを格納する他、処理に必要な一時記憶域等に用いることができる。

　記憶部３が備える映像情報記憶部３１、特徴量記憶部３２、要約映像情報記憶部３３は、論理構造としての表示であり、現実には、映像情報記憶部３１、特徴量記憶部３２、要約映像情報記憶部３３等は、それぞれ同一のハードウェアで構成されても良く、別個のハードウェアで構成されても良い。映像情報記憶部３１、特徴量記憶部３２、要約映像情報記憶部３３等の情報は、ＳＲＡＭ、ＤＲＡＭ等の揮発性の記憶装置からなる主記憶装置や、ハードディスク（ＨＤ）等の磁気ディスク、磁気テープ、光ディスク、光磁気ディスク等の不揮発性の記憶装置からなる補助記憶装置に格納される。補助記憶装置としては、その他、ＲＡＭディスク、ＩＣカード、フラッシュメモリカード、ＵＳＢフラッシュメモリ、フラッシュディスク（ＳＳＤ）等が使用可能である。

　入力部５は、各種スイッチ等の入力装置等で構成される。表示部６は、ディスプレイ装置等で構成される。また、入力部５及び表示部６は、入力装置とディスプレイ装置とを応用した構成として、タッチパネルやライトペン等を採用しても良い。

　処理部２は、映像情報取得部２１と、特徴量取得部２２と、再生区間決定部２３と、再生区間調整部２４と、補填処理部２５と、短再生区間処理部２６と、再生処理部２７とを論理構造として有する。

　図２にフローチャートを示す。ステップＳ１において、映像情報取得部２１は、入出力制御部４を介して映像情報供給部７から、映像情報を取得し、映像情報供給部７から取得した映像情報を映像情報記憶部３１に格納する。

　映像情報供給部７は、撮影装置、映像再生装置、映像情報を格納するサーバ装置等からなり、本発明の実施の形態に係る映像処理装置に映像情報を供給する。映像情報供給部７は、例えば図３に示す物理量検出部７２を有する撮影装置７１から取得した映像情報を供給する。物理量検出部７２は、撮影装置７１の加速度や、角速度や、傾き等の物理量を検出する、加速度センサ、ジャイロセンサ等からなる。撮影装置７１による映像情報は、物理量検出部７２が検出する物理量を含む。

　特徴量取得部２２は、ステップＳ２において、映像情報記憶部３１から映像情報を読み出し、読み出した映像情報に含まれる画像を解析した解析結果や、映像情報に含まれる物理量等の情報から、映像情報の特徴を示す特徴量を取得する。特徴量取得部２２は、取得した特徴量を特徴量記憶部３２に格納する。

　特徴量取得部２２が取得する特徴量は、「顔情報」、「動きベクトル」、「色情報」、「カメラの動き」、「撮影位置」、「ズーム情報」、「データ放送情報」、「音声情報」等を採用可能である。

　特徴量取得部２２は映像データを構成する静止画像であるフレームを画像解析し「顔情報」を検出する。「顔情報」はフレームに表示される顔に関する情報である。「顔情報」は、フレームに表示される顔の数、フレームに表示される顔の中で最も大きく表示される顔の大きさ、顔認識技術により識別されるフレームに表示される顔の種類、フレームに表示される顔の中で最も大きく表示される顔の中心から、フレームの４角のうち最も近い角までの距離、フレームにおける顔の位置等を採用可能である。

　特徴量取得部２２は、フレームを画像解析し、「動きベクトル」情報を取得する。「動きベクトル」は、各画素における、基準となるフレームからの動きベクトルの情報である。

　特徴量取得部２２は、フレームを画像解析し、「色情報」を取得する。「色情報」は、色相、明度、彩度等のフレーム中の色に関する情報である。

　「撮影位置」は、映像の撮影時の撮影装置の位置を示す情報である。撮影位置は、撮影装置７１が、全地球測位システム（ＧＰＳ）等の測位システムにより位置情報を受信する位置情報受信機を備え、映像の撮影時に、映像データと共に映像情報として記録されるようにすれば良い。

　「カメラの動き」は、撮影装置の３軸方向の移動距離、撮影装置の３軸方向の回転角度等である。「カメラの動き」は、撮影装置７１が備える物理量検出部７２により検出される加速度、角速度、傾き等の物理量を、映像データと共に映像情報として記録するようにすれば良い。また、「カメラの動き」は、特徴量取得部２２が映像情報の映像や音声を解析し取得しても良い。

　「ズーム情報」は、撮影装置７１による映像の撮影時に、ズームインの操作中か、ズームアウトの操作中か、ズーム倍率は何倍かを、映像データに関連付けて、映像情報として記録するようにすれば良い。ズームイン、ズームアウト操作に関するズーム情報は、特徴量取得部２２が複数のフレームを画像解析し取得しても良い。

　「データ放送情報」は、映像情報がテレビ番組として放送された映像である場合、映像情報に含まれる、映像データに対応した番組連動データの内容や字幕の内容等の情報である。

　「音声情報」は、映像データと共に、映像データと対応して記録された音声情報である。

　特徴量取得部２２は、上記の他、映像データの時間の長さ、映像データ中の撮影開始時刻、撮影終了時刻等の撮影日時等を特徴量として採用可能である。

　再生区間決定部２３は、ステップＳ３において、特徴量記憶部３２から特徴量を読み出す。再生区間決定部２３は、映像情報に関連付けられた特徴量に基づいて、映像データのうち要約映像として再生され得る区間として定義される再生区間、及び再生区間以外の区間である間隔区間を決定する。

　本発明の実施の形態の説明において、再生区間決定部２３が用いる特徴量を「顔情報」として説明するが、例示であり、再生区間決定部２３が用いる特徴量は、上述した特徴量の他、種々の特徴量を採用可能である。

　再生区間決定部２３は、特徴量取得部２２が顔を検出した区間を再生区間と決定する。図４に、特徴量取得部２２が映像データ上に顔Ａ，Ｂ，Ｃ，Ｄ，Ｅをそれぞれ検出した区間を示す。例えば顔Ａは、時刻ｔ_１から時刻ｔ_２の区間ｓ_１、時刻ｔ_３から時刻ｔ_４の区間ｓ_２に検出されたことを示す。
再生区間決定部２３は、特徴量取得部２２が認識した顔Ａ，Ｂ，Ｃ，Ｄ，Ｅの５種の顔のうち、１以上の顔が表示される区間を再生区間として決定する。再生区間決定部２３は、少なくとも顔Ａが検出されている時刻ｔ_１から時刻ｔ_２の区間ｓ_１、時刻ｔ_３から時刻ｔ_４の区間ｓ_２、少なくとも顔Ｃが検出されている時刻ｔ_５から時刻ｔ_６の区間ｓ_３、少なくとも顔Ｄが検出されている時刻ｔ_７から時刻ｔ_８の区間ｓ_４の４つの区間を再生区間として決定する。また、再生区間決定部２３は、再生区間ｓ_１～ｓ_４とされない時刻ｔ_２から時刻ｔ_３の区間ｉ_１、時刻ｔ_４から時刻ｔ_５の区間ｉ_２、時刻ｔ_６から時刻ｔ_７の区間ｉ_３を間隔区間として決定する。ここでは、複数の顔が一区間で検出される場合は、最も長く表示される顔の検出開始時点から検出終了時点までを一区間ｓとした。

　再生区間調整部２４は、ステップＳ４において、特徴量記憶部３２から特徴量を読み出し、特徴量に基づいて、再生区間決定部２３が決定した再生区間の調整を行う。再生区間調整部２４は、再生区間及び間隔区間から、要約映像として再生される区間である調整済再生区間を決定する。再生区間調整部２４は、決定した調整済再生区間を基に映像データのうち要約映像として再生される区間を定義する要約映像情報を生成し、要約映像情報を要約映像情報記憶部３３に格納する。

　補填処理部２５は、図５に示すように、区間特徴量取得部２５１と、評価値算出部２５２と、補填判定部２５３と、補填部２５４とを論理構造として有する。補填処理部２５は、特徴量に基づいて、再生区間決定部２３が決定した再生区間を調整する。本発明の実施の形態では補填処理部２５は隣接する再生区間に挟まれた間隔区間を再生区間に変更するか否かを特徴量に基づいて判定する。再生区間に変更する場合は、補填処理部２５は、変更された間隔区間の直前の再生区間と、直後の再生区間との間が補填されるため、再生区間を調整できる。

　補填処理部２５は、映像情報の先頭フレームの時刻ｔ＝０から所定の間隔で時刻ｔを増加させ、各時刻ｔにて処理を行う。補填処理部２５は、１つの間隔区間ｉ_ｎ（ｎは整数）を調整済再生区間に変更する間隔区間ｉ_ｎの補填に関して、図６に示すような時刻ｔ_ｍ（ｍは整数）から時刻ｔ_ｍ＋１までの、間隔区間ｉ_ｎの直前の再生区間ｓ_ｎと、時刻ｔ_ｍ＋１から時刻ｔ_ｍ＋２までの間隔区間ｉ_ｎと、時刻ｔ_ｍ＋２から時刻ｔ_ｍ＋３（図示省略）までの、間隔区間ｉ_ｎの直後の再生区間ｓ_ｎ＋１との連続する３つの区間について処理を行う。

　区間特徴量取得部２５１は、時刻ｔのフレームが、再生区間決定部２３が決定した再生区間ｓに含まれるか否かを判定する。時刻ｔのフレームが再生区間ｓに含まれる場合、区間特徴量取得部２５１は、特徴量記憶部３２から再生区間の特徴を示す特徴量（再生区間特徴量とする）を取得する。再生区間特徴量は、再生区間の特徴量により間隔区間を調整済再生区間に変更するか否かの判定に用いる評価値の算出に用いる特徴量である。

　時刻ｔのフレームが再生区間ｓに含まれず間隔区間ｉに含まれる場合、区間特徴量取得部２５１は、特徴量記憶部３２から間隔区間の特徴を示す特徴量（間隔区間特徴量とする）を取得する。間隔区間特徴量は、間隔区間の特徴量により間隔区間を調整済再生区間に変更するか否かの判定に用いる評価値の算出に用いる特徴量である。

　評価値算出部２５２は、時刻ｔが補填判定時刻ｔ_ａとなると区間特徴量取得部２５１が取得した再生区間特徴量及び間隔区間特徴量に基づいて、評価値を算出する。評価値は、時刻ｔのフレームを含む再生区間ｓ_ｎ＋１と、直前の再生区間ｓ_ｎとの間の間隔区間ｉ_ｎを補填すべきである度合いを示す。

　図６に示すように、補填判定時刻ｔ_ａは、間隔区間ｉ_ｎの直前の再生区間ｓ_ｎ、間隔区間ｉ_ｎ、間隔区間ｉ_ｎの直後の再生区間ｓ_ｎ＋１の連続する３つの区間の特徴量を、間隔区間ｉ_ｎの補填を行うか否かの判定に用いることができるように、間隔区間ｉ_ｎの直後の再生区間ｓ_ｎ＋１の開始時刻ｔ_ｍ＋２以上となるように決定される。補填判定時刻ｔ_ａは、再生区間ｓ_ｎ＋１の開始時刻ｔ_ｍ＋２から所定の時間が経過した時刻としても良いし、再生区間ｓ_ｎ＋１の終了時刻ｔ_ｍ＋３としても良い。

　－間隔区間の長さ－
　評価値算出部２５２は、間隔区間特徴量として「間隔区間の長さ」を用いて、「間隔区間の長さ」に基づく評価値を算出することができる。評価値算出部２５２は、間隔区間の長さが短いほど、評価値が高くなるように評価値を算出する。本発明の実施の形態では、評価値が高い程、再生区間と再生区間の間を補填すべき度合いが高い、すなわち間隔区間が再生区間により変更されやすいことを示す。

　顔が検出されている区間を再生区間とする場合において、顔の検出されないごく短い間隔区間は、撮影されている人物が振り返る等して、顔の検出が一時的になされなかった区間である可能性がある。このような一時的な間隔区間は、再生区間として補填され、前後の再生区間と共に一連の再生区間とされるべきと考えられる。評価値算出部２５２は、「間隔区間の長さ」を用いて評価値を算出することにより、視聴者に違和感を与えるような要約映像を作成することを防止できる。

　－間隔区間前後の顔の一致度－
　評価値算出部２５２は、再生区間特徴量として「顔情報」を用いて、「間隔区間前後の顔の一致度」に基づく評価値を算出することができる。評価値算出部２５２は、間隔区間前後の再生区間に検出された顔の一致度が高いほど、評価値が高くなるように評価値を算出する。

　例えば、評価値算出部２５２は、間隔区間をはさんで隣り合う二つの再生区間にて検出された顔の種類を比較し、顔の種類の一致度から評価値を算出する。評価値算出部２５２は、図７に示す再生区間の開始時点から所定の時間の区間ｋ_１と終了時点までの所定の時間の区間ｋ_２の特徴量を評価値の算出に用いる。再生区間と間隔区間との境界の時刻を基準とした区間に検出される顔の種類を、隣接する再生区間ｓ間で比較すればよい。

　本発明の実施の形態では、区間ｋを５秒とした。区間ｋの長さはこれに限るものではなく、特徴量が捉えやすい時間に設定すればよい。図７に示す映像データでは再生区間ｓ_１の終了時刻ｔ_２までの５秒間（区間ｋ_２）に検出されている顔は、顔Ａ，Ｃ，Ｅであり、再生区間ｓ_２の開始時刻ｔ_３からの５秒間（区間ｋ_１）に検出されている顔は、顔Ａ，Ｂ，Ｅである。顔Ａ及び顔Ｅは、再生区間ｓ_１の区間ｋ_２と、再生区間ｓ_２の区間ｋ_１との両方に検出されており、顔Ｃは再生区間ｓ_１の区間ｋ_２に検出されていたが、再生区間ｓ_２の区間ｋ_１には検出されていない。よって、間隔区間ｉ_１の前後の顔の種類（人物）の一致度は、２／３となる。

　間隔区間ｉ_２について、直前の再生区間ｓ_２の終了時刻ｔ_４までの５秒間の区間ｋ_２に検出された顔Ａ，Ｂは、直後の再生区間ｓ_３の開始時刻ｔ_５から５秒間の区間ｋ_１に検出されていない。よって、間隔区間ｉ_２の前後の人物の一致度は０となる。

　間隔区間ｉ_３について、直前の再生区間ｓ_３の終了時刻ｔ_６までの５秒間の区間ｋ_２には顔Ｃ，Ｄが検出され、直後の再生区間ｓ_４の開始時刻ｔ_７から５秒間の区間ｋ_１には顔Ｄのみが検出されている。よって、間隔区間ｉ_３の前後の人物の一致度は１／２となる。

　図７に示した映像データの場合は、顔の種類の一致度の度合いが間隔区間ｉ_１（２／３）＞間隔区間ｉ_３（１／２）＞間隔区間ｉ_２（０）の順に大きい。したがって顔の種類の一致度の度合いが大きい間隔区間ｉ_１，ｉ_３，ｉ_２の順に評価値が高い。

　撮影装置の前を人が横切る等の理由により、短い区間、フレームから人物が消失し、間隔区間が生成された場合、間隔区間の前後の再生区間で人物の構成に変化がなければ、間隔区間を再生区間として補填することが好ましい。一方で、フレームから人物が消失して生成された間隔区間の前後の再生区間で撮影されている人物がまったく異なっている場合は、２つの再生区間及び間隔区間が連続して再生されると、視聴者に違和感を与えるため、２つの再生区間の間の間隔区間は再生区間として補填されないほうが好ましい。

　評価値算出部２５２は「間隔区間の長さ」の評価値が所定の閾値以下の場合に、「間隔区間前後の顔の一致度」の評価値を算出するようにしても良い。また、評価値算出部２５２は、再生区間全体に検出された顔を比較し、評価値を算出しても良い。

　－間隔区間前後の顔の大きさ、位置の一致度－
　評価値算出部２５２は、再生区間特徴量として「顔情報」を用いて、「間隔区間前後の顔の大きさ、位置の一致度」に基づく評価値を算出することができる。評価値算出部２５２は、間隔区間前後の再生区間に検出された顔の大きさ及び位置の一致度が高いほど、評価値が高くなるように評価値を算出する。

　図７に示す映像データでは、顔Ａは、時刻ｔ_２の直前まで検出され、時刻ｔ_２から時刻ｔ_３の直前までの間隔区間ｉ_１において検出されず、時刻ｔ_３から再び検出される。図８に時刻ｔ_２の直前におけるフレームを示す。時刻ｔ_３におけるフレームが図９（ａ）に示すフレームの場合、顔Ａは、時刻ｔ_２の直前におけるフレームと、時刻ｔ_３におけるフレームとで検出される顔の大きさ、顔の位置共に変化が少ない。よって、間隔区間ｉ_１の前後で顔の大きさ、位置の一致度は高いと判定できる。

　一方、時刻ｔ_３におけるフレームが図９（ｂ）に示すフレームの場合、図８に示す時刻ｔ_２の直前におけるフレームと、時刻ｔ_３におけるフレームとで顔の大きさ、位置共に変化が大きい。よって、間隔区間ｉ_１の前後で顔の大きさ、位置の一致度は低いと判定できる。

　評価値算出部２５２は、「顔情報」を用いて評価値を算出することにより、視聴者に違和感を与えるような要約映像を作成することを防止できる。

　－補填によりできる再生区間の長さ－
　評価値算出部２５２は、再生区間特徴量として「再生区間の長さ」、間隔区間特徴量として「間隔区間の長さ」を用いて、「補填によりできる再生区間の長さ」に基づく評価値を算出することができる。評価値算出部２５２は、補填対象の間隔区間と、補填対象の間隔区間の前後直近の２つの再生区間との、３つの区間の合計の時間の長さが短いほど、評価値が高くなるように評価値を算出する。

　隣接する２つの再生区間の長さがそれぞれ十分に長い場合において、その間の間隔区間を補填することにより、間隔区間と、前後の再生区間とが連続する１つの再生区間となることは、要約映像を作成するに際して好ましくない。評価値算出部２５２は、「再生区間の長さ」及び「間隔区間の長さ」を用いて評価値を算出することにより、再生区間が不用意に長くなることを防止できる。

　－間隔区間中に顔が検出されている区間の割合－
　評価値算出部２５２は、再生区間特徴量として「顔情報」を用いて、「間隔区間中に顔が検出されている区間の割合」に基づく評価値を算出することができる。評価値算出部２５２は、間隔区間のうち、顔が検出されている区間の割合が高いほど評価値が大きくなるように評価値を算出する。

　図７に示す映像データについて、再生区間決定部２３は、５種の顔Ａ，Ｂ，Ｃ，Ｄ，Ｅのいずれかが検出されている区間を再生区間ｓ_１，ｓ_２，ｓ_３，ｓ_４，としている。しかし、特徴量取得部２２は、間隔区間ｉ_１，ｉ_２，ｉ_３において、顔Ａ，Ｂ，Ｃ，Ｄ，Ｅ以外の種類の顔を検出していたり、顔Ａ，Ｂ，Ｃ，Ｄ，Ｅを、他の種類の顔として誤認識していたりする可能性がある。特徴量取得部２２が、間隔区間の前後直近の再生区間において、それぞれ顔Ａを検出し、間隔区間の大部分で顔Ａ，Ｂ，Ｃ，Ｄ，Ｅ以外の顔を検出している場合、間隔区間で検出した顔が誤認識されている可能性が高いと考えることができる。すなわち、間隔区間前後の再生区間において検出された顔Ａが、間隔区間においても撮影されていたが、特徴量取得部２２が、間隔区間にて検出された顔をＡ以外の顔と誤認識した可能性が高いと考えられる。このような誤認識によって間隔区間とされた映像を除外して再生される要約映像は、視聴者に違和感を与えるおそれがある。

　上述のように、評価値算出部２５２は、特徴量取得部２２が取得する種々の特徴量を用いて、再生区間ｓ_ｎ＋１と直前の再生区間ｓ_ｎとの間の間隔区間ｉ_ｎを補填すべきである度合いを示す評価値を、複数の種類算出できる。評価値算出部２５２は、算出された複数の種類の評価値を組み合わせて１つの評価値として算出しても良く、複数の種類の評価値のうち、１つの評価値を選択的に算出しても良い。

　補填判定部２５３は、評価値算出部２５２が算出した評価値に基づいて、時刻ｔ＝補填判定時刻ｔ_ａのフレームを含む再生区間ｓ_ｎ＋１と、再生区間ｓ_ｎとの間の補填を行うか否かを判定する。補填判定部２５３が補填を行うと判定すると、後述する補填部２５４が間隔区間ｉ_ｎを再生区間に変更する。

　補填判定部２５３は、評価値が所定の閾値以上の場合、補填を行うと判定しても良い。または評価値算出部２５２が正規化された複数の評価値を算出するようにし、補填判定部２５３は算出された複数の評価値の平均値を閾値と比較して、補填を行うか否かを判定しても良い。

　補填部２５４は、補填判定部２５３が間隔区間ｉ_ｎについて補填を行うと判定すると、間隔区間ｉ_ｎを再生区間に変更することで、間隔区間ｉ_ｎの補填を行う。

（補填処理部２５の処理の内容）
　図１０のフローチャートを用いて、図２のフローチャートのステップＳ４の内容のうち、再生区間調整部２４の補填処理部２５の処理の内容を説明する。

　先ず、ステップＳ１０１において、補填処理部２５は、映像データ中の初期フレームの時刻ｔ＝０として、時刻ｔ＝０から順に処理を開始する。

　ステップＳ１０２において、区間特徴量取得部２５１は、時刻ｔのフレームが、再生区間決定部２３が決定した再生区間に含まれるか否かを判定する。区間特徴量取得部２５１が、時刻ｔのフレームが再生区間に含まれると判定した場合、、ステップＳ１０３に進み、区間特徴量取得部２５１は特徴量記憶部３２から特徴量を読み出し、再生区間特徴量を取得する。区間特徴量取得部２５１が、時刻ｔのフレームが再生区間に含まれないと判定した場合、ステップＳ１１０に進み、区間特徴量取得部２５１は、特徴量記憶部３２から特徴量を読み出し、間隔区間特徴量を取得し、ステップＳ１０８に進む。

　ステップＳ１０３において区間特徴量取得部２５１が再生区間特徴量を取得した後、評価値算出部２５２は、ステップＳ１０４において、時刻ｔが補填判定時刻ｔ_ａであるか否かを判定する。時刻ｔが補填判定時刻ｔ_ａであると判定した場合、評価値算出部２５２は、ステップＳ１０５に進み、時刻ｔのフレームを含む再生区間ｓ_ｎ＋１と再生区間ｓ_ｎ＋１の直前の再生区間ｓ_ｎとの間の間隔区間ｉ_ｎを補填すべきである度合いを示す評価値を算出する。評価値算出部２５２が、時刻ｔが補填判定時刻ｔ_ａでないと判定した場合、ステップＳ１０８に進む。

　ステップＳ１０６において、補填判定部２５３は、ステップＳ１０５において評価値算出部２５２が算出した評価値に基づいて、間隔区間ｉ_ｎを補填するか否かを判定する。補填判定部２５３が、間隔区間ｉ_ｎを補填すると判定した場合、補填部２５４は、ステップＳ１０７において、間隔区間ｉ_ｎを再生区間に変更することで、間隔区間ｉ_ｎの補填を行い、ステップＳ１０８に進む。補填判定部２５３が、間隔区間ｉ_ｎを補填しないと判定した場合、ステップＳ１０８に進む。

　ステップＳ１０８において、補填処理部２５は、補填処理部２５が処理を行う映像データの終了時刻まで処理が完了したか否かを判定する。判定は、時刻ｔが映像データの終了時刻に達したか否か、で確認できる。補填処理部２５が、映像データの終了部分となる時刻まで処理が完了していないと判定した場合、補填処理部２５は、ステップＳ１０９において、現状の時刻ｔを所定の時間加算し、ステップＳ１０２に戻る。補填処理部２５がステップＳ１０８にて、映像データの終了部分となる終了時刻まで処理が完了したと判定した場合、処理を終了する。

　短再生区間処理部２６は、図１１に示すように、短再生区間判定部２６１と、調整法判定部２６２と、短再生区間除外部２６３と、短再生区間伸張部２６４とを論理構造として有する。短再生区間処理部２６は、他の再生区間に比して、ごく短い再生区間である短再生区間を調整するための処理を行う。

　図１２（ａ）に示すように、映像データ中の３つの再生区間ｓ_ｎ－１，ｓ_ｎ，ｓ_ｎ＋１について、再生区間ｓ_ｎは、再生区間ｓ_ｎ－１、再生区間ｓ_ｎ＋１と比べて再生時間が短い短再生区間である。この場合、要約映像は、図１２（ｂ）に示すように、再生区間ｓ_ｎ－１と再生区間ｓ_ｎ＋１との間にごく短い時間の短再生区間ｓ_ｎを含み、視聴者に違和感を与える可能性がある。

　短再生区間処理部２６は、図１３（ａ）に示すように、短再生区間である再生区間ｓ_ｎを要約映像において再生されない区間とし、最終的に要約映像として再生される映像を、図１３（ｂ）に示すように、短再生区間を含まない映像とすることができる。また、短再生区間処理部２６は、図１４（ａ）に示すように、短再生区間である再生区間ｓ_ｎの長さを伸張することにより伸張再生区間ｓ_ｎｅとし、最終的に要約映像として再生される映像を、図１４（ｂ）に示すように、短再生区間を含まない映像とすることができる。

　短再生区間判定部２６１は、各再生区間について、短再生区間であるか否かを判定する。短再生区間判定部２６１は、例えば、長さが所定の時間以下である再生区間、長さが基の映像データの長さの所定の割合以下である再生区間等を短再生区間であると判定することができる。

　調整法判定部２６２は、短再生区間判定部２６１により判定された短再生区間について、特徴量取得部２２が取得した特徴量に基づいて、短再生区間を、再生区間から除外するか、長さを伸張するかのいずれの調整法により短再生区間を調整するかを判定する。

　調整法判定部２６２は、調整対象である短再生区間について、「再生区間の長さ」が所定の閾値未満である場合、短再生区間を再生区間から除外すると判定し、所定の閾値以上である場合、短再生区間の長さを伸張すると判定することができる。

　図４に示すように、特定の種類の顔が撮影されている区間を再生区間として選択する場合、調整法判定部２６２は、特徴量として、「顔の位置」、「顔の大きさ」等を用いて調整法の判定を行うことができる。「顔の位置」について、調整法判定部２６２は、短再生区間中、検出された顔がフレームの端から所定の範囲内に表示される場合、短再生区間の除外を行うと判定することができる。また、「顔の大きさ」について、調整法判定部２６２は、短再生区間中、検出された顔が、所定の閾値以上の顔の大きさでフレームに表示される場合、短再生区間の伸張を行うと判定することができる。

　また、調整法判定部２６２は、短再生区間の調整法を判定するために、複数の種類の特徴量を用いても良い。

　短再生区間除外部２６３は、調整法判定部２６２により除外すると判定された短再生区間を、要約映像として再生しない非再生区間とする。

　短再生区間伸張部２６４は、調整法判定部２６２により伸張すると判定された短再生区間の長さを伸張した伸張再生区間ｓ_ｎｅを生成し、要約映像として再生する調整済再生区間とする。

（短再生区間処理部２６の処理の内容）
　図１５のフローチャートを用いて、図２のフローチャートのステップＳ４の内容のうち、再生区間調整部２４の短再生区間処理部２６の処理の内容を説明する。

　先ず、ステップＳ２０１において、短再生区間判定部２６１は、再生区間決定部２３により決定され、映像情報記憶部３１に格納される映像データに定義される再生区間について、短再生区間であるか否かを判定する。短再生区間判定部２６１が、再生区間を短再生区間でないと判定する場合は、判定処理を終了する。

　短再生区間判定部２６１が、再生区間を短再生区間であると判定した場合、ステップＳ２０２において、調整法判定部２６２は、短再生区間であると判定された再生区間について、再生区間から除外するか否かを判定する。

　調整法判定部２６２が、短再生区間であると判定された再生区間について、再生区間から除外すると判定した場合、ステップＳ２０３において、短再生区間除外部２６３は、短再生区間であると判定された再生区間を再生区間から除外し、終了する。調整法判定部２６２が、短再生区間であると判定された再生区間について、再生区間から除外しないと判定した場合、ステップＳ２０４において、短再生区間伸張部２６４は、短再生区間であると判定された再生区間の長さを伸張し、終了する。

　短再生区間処理部２６は、映像情報記憶部３１に格納される映像データに定義される各再生区間に対してステップＳ２０１からステップＳ２０４の処理をそれぞれ行うようにすれば良い。

　再生区間調整部２４の補填処理部２５及び短再生区間処理部２６は、いずれの処理を先に行っても良い。また、補填処理部２５及び短再生区間処理部２６による処理について、例えば、補填処理部２５が処理を行う間、時刻ｔのフレームが、再生区間に含まれる場合、１つの再生区間毎に短再生区間処理部２６が、補填処理部２５と並列的に処理を行うようにしても良い。

　再生区間調整部２４の補填処理部２５及び短再生区間処理部２６は、いずれの処理を先に行っても、並列的に処理を行っても、特徴量に基づいて再生区間を調整することにより、ごく短い間隔区間、再生区間等を含み、視聴者に内容を把握させなかったり、視聴者に違和感を与えたりするような要約映像を再生することを防止できる。

　本発明の実施の形態に係る映像処理装置によれば、映像情報から取得される特徴量に基づいて決定された再生区間を、特徴量に基づいて調整することにより、簡易な構成で、視聴者に違和感を与えない適切な区間を要約映像として再生することができる。

　再生区間調整部２４は、再生区間調整部２４の補填処理部２５及び短再生区間処理部２６による処理をされた後の再生区間として、調整済再生区間を決定する。再生区間調整部２４は、調整済再生区間を、要約映像として再生される区間を映像データに定義する要約映像情報として、要約映像情報記憶部３３に格納する。

　再生処理部２７は、ステップＳ５において、要約映像情報記憶部３３に格納された要約映像情報を読み出し、要約映像情報により定義される映像データ中の区間を、時系列順に表示部６に表示して要約映像を再生する。

　なお、図１に示す処理部２の映像情報取得部２１、特徴量取得部２２、再生区間決定部２３、再生区間調整部２４、補填処理部２５、短再生区間処理部２６、再生処理部２７等は、それぞれ論理構造としての表示であり、それぞれ別個のハードウェアである演算処理装置により構成されて構わない。

（その他の実施の形態）
　本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

　既に述べた実施の形態においては、映像処理装置は、特徴量がシーンを画像処理すること取得可能な場合、テレビ番組等の要約映像作成に応用可能である。

　また、既に述べた実施の形態においては、映像処理方法の各ステップは、図２のフローチャートを用いて説明した順序に限られるものでなく、適宜、ステップの省略等をしても構わない。

　上記の他、本発明の実施の形態を応用した構成等、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な請求の範囲に係る発明特定事項によってのみ定められるものである。

　本出願は、２０１０年１２月２２日に出願された日本国特許願第２０１０－２８５６７３号に基づく優先権を主張しており、この出願の内容が参照により本発明の明細書に組み込まれる。

　本発明によれば、映像情報から取得される特徴量から、要約映像として再生される区間を調整することにより、視聴者に違和感を与えない適切な区間を要約映像として再生できる。

　２…処理部
　３…記憶部
　４…入出力制御部
　５…入力部
　６…表示部
　７…映像情報供給部
　２１…映像情報取得部
　２２…特徴量取得部
　２３…再生区間決定部
　２４…再生区間調整部
　２５…補填処理部
　２６…短再生区間処理部
　２７…再生処理部
　３１…映像情報記憶部
　３２…特徴量記憶部
　３３…要約映像情報記憶部
　７１…撮影装置
　７２…物理量検出部
　２５１…区間特徴量取得部
　２５２…評価値算出部
　２５３…補填判定部
　２５４…補填部
　２６１…短再生区間判定部
　２６２…調整法判定部
　２６３…短再生区間除外部
　２６４…短再生区間伸張部

Claims

　複数のフレームから構成される映像データを含む映像情報から、前記映像情報の特徴を示す特徴量を取得する特徴量取得部と、
　前記特徴量に基づいて、前記映像情報の内、要約映像として再生され得る再生区間、及び前記再生区間以外の区間である間隔区間を決定する再生区間決定部と、
　前記特徴量に基づいて前記再生区間と前記間隔区間から、要約映像として再生される調整済再生区間を決定する再生区間調整部と、
　前記調整済再生区間を再生する再生処理部と
　を備えることを特徴とする映像処理装置。
　前記再生区間調整部は、
　前記再生区間の内、所定の長さより短い時間の再生区間を短再生区間とする短再生区間判定部と、
　前記特徴量に基づいて、前記短再生区間を前記要約映像として再生しない非再生区間とする短再生区間除外部と、
　前記特徴量に基づいて、前記短再生区間の長さを伸張して前記調整済再生区間とする短再生区間伸張部と、
　を備えることを特徴とする請求項１に記載の映像処理装置。
　前記再生区間調整部は、
　前記再生区間決定部が決定した再生区間及び間隔区間の内、第１の再生区間と、前記第１の再生区間と隣接する第２の再生区間と、前記第１の再生区間と前記第２の再生区間との間の第１の間隔区間との特徴量をそれぞれ取得する区間特徴量取得部と、
　前記区間特徴量取得部が取得した、前記第１の再生区間の特徴量と、前記第２の再生区間の特徴量と、前記第１の間隔区間の特徴量とから、前記第１の間隔区間を前記要約映像として再生するか否かを判定する補填判定部と、
　前記補填判定部が前記第１の間隔区間を前記要約映像として再生すると判定すると、前記第１の間隔区間を前記調整済再生区間に変更し、前記第１の再生区区間と前記第２の再生区間との間を補填する補填部と
　を備えることを特徴とする請求項１又は２に記載の映像処理装置。
　複数のフレームから構成される映像データを含む映像情報から、前記映像情報の特徴を示す特徴量を取得する特徴量取得ステップと、
　前記特徴量に基づいて、前記映像情報の内、要約映像として再生され得る再生区間、及び前記再生区間以外の区間である間隔区間を決定する再生区間決定ステップと、
　前記特徴量に基づいて前記再生区間と前記間隔区間から、要約映像として再生される調整済再生区間を決定する再生区間調整ステップと、
　前記調整済再生区間を再生するステップと
　を含むことを特徴とする映像処理方法。
　前記再生区間調整ステップは、
　前記再生区間の内、所定の長さより短い時間の再生区間を短再生区間とする短再生区間判定ステップと、
　前記特徴量に基づいて、前記短再生区間を前記要約映像として再生しない非再生区間とする短再生区間除外ステップと、
　前記特徴量に基づいて、前記短再生区間の長さを伸張して前記調整済再生区間とする短再生区間伸張ステップと、
　を含むことを特徴とする請求項４に記載の映像処理方法。
　前記再生区間調整ステップは、
　前記再生区間決定ステップにおいて決定した前記再生区間及び前記間隔区間の内、第１の再生区間と、前記第１の再生区間と隣接する第２の再生区間と、前記第１の再生区間と前記第２の再生区間との間の第１の間隔区間との特徴量をそれぞれ取得する区間特徴量取得ステップと、
　前記区間特徴量取得ステップにおいて取得した、前記第１の再生区間の特徴量と、前記第２の再生区間の特徴量と、前記第１の間隔区間の特徴量とから、前記第１の間隔区間を前記要約映像として再生するか否かを判定する補填判定ステップと、
　前記補填判定ステップにおいて、前記第１の間隔区間が前記要約映像として再生すると判定されると、前記第１の間隔区間を前記調整済再生区間に変更し、前記第１の再生区区間と前記第２の再生区間との間を補填する補填ステップと
　を含むことを特徴とする請求項４又は５に記載の映像処理方法。
　複数のフレームから構成される映像データを含む映像情報から、前記映像情報の特徴を示す特徴量を取得する特徴量取得ステップと、
　前記特徴量に基づいて、前記映像情報の内、要約映像として再生され得る再生区間、及び前記再生区間以外の区間である間隔区間を決定する再生区間決定ステップと、
　前記特徴量に基づいて前記再生区間と前記間隔区間から、要約映像として再生される調整済再生区間を決定する再生区間調整ステップと、
　前記調整済再生区間を再生するステップと
　を含む処理をコンピュータに実行させることを特徴とする映像処理プログラム。
　前記再生区間調整ステップは、
　前記再生区間の内、所定の長さより短い時間の再生区間を短再生区間とする短再生区間判定ステップと、
　前記特徴量に基づいて、前記短再生区間を前記要約映像として再生しない非再生区間とする短再生区間除外ステップと、
　前記特徴量に基づいて、前記短再生区間の長さを伸張して前記調整済再生区間とする短再生区間伸張ステップと、
　を含むことを特徴とする請求項７に記載の映像処理プログラム。
　前記再生区間調整ステップは、
　前記再生区間決定ステップにおいて決定した前記再生区間及び前記間隔区間の内、第１の再生区間と、前記第１の再生区間と隣接する第２の再生区間と、前記第１の再生区間と前記第２の再生区間との間の第１の間隔区間との特徴量をそれぞれ取得する区間特徴量取得ステップと、
　前記区間特徴量取得ステップにおいて取得した、前記第１の再生区間の特徴量と、前記第２の再生区間の特徴量と、前記第１の間隔区間の特徴量とから、前記第１の間隔区間を前記要約映像として再生するか否かを判定する補填判定ステップと、
　前記補填判定ステップにおいて、前記第１の間隔区間が前記要約映像として再生すると判定されると、前記第１の間隔区間を前記調整済再生区間に変更し、前記第１の再生区区間と前記第２の再生区間との間を補填する補填ステップと
　を含むことを特徴とする請求項７又は８に記載の映像処理プログラム。