JP5457550B2

JP5457550B2 - 映像判定方法

Info

Publication number: JP5457550B2
Application number: JP2012512553A
Authority: JP
Inventors: 高宏浜田
Original assignee: 株式会社Ｋ−Ｗｉｌｌ
Priority date: 2010-04-26
Filing date: 2010-04-26
Publication date: 2014-04-02
Anticipated expiration: 2030-04-26
Also published as: JPWO2011135647A1; WO2011135647A1

Description

本発明は、映像判定方法に関し、特にデジタル・ビデオ／オーディオ信号の良否を判定できる映像判定方法に関する。

衛星放送やケーブルＴＶなどから番組が放映されているが、コマーシャルメッセージなどのコンテンツを番組本編に挿入する場合,ある特殊なデジタル制御信号を利用して、デジタル信号処理を行うことが増えている。この挿入処理として、デジタル映像信号SDI（Serial Digital Interface）を対象とする場合もあれば、MPEGエンコードされたストリーム信号を対象とする場合もある。しかしながら、番組本編にコンテンツを挿入する位置がずれたり、また挿入すべきコンテンツが間違ったりすることが多々ある。ここで、本編の一部にかぶさる形でコマーシャルメッセージが放送されると、視聴者から苦情が出される恐れがある。一方、コマーシャルメッセージの一部分が途切れて放送されたり、また全くコマーシャルメッセージが放送されないなどの場合には、映像配信会社が、番組スポンサーから多額の賠償金を請求される恐れもある。しかしながら、コマーシャルメッセージ映像を本編番組よりサーチする技術は特開2006-040030等に開示されているが、本編番組へのコマーシャルメッセージの挿入の適否を機械的に検出する方法は具現化されていなかった。

特開2006-040030

本発明は、かかる従来技術の問題点に鑑みてなされたものであり、例えば本編映像中に対してコマーシャルメッセージ映像の挿入の適否を機械的に検出できる映像判定方法を提供することを目的とする。

本発明の、第１映像信号より時間的に短い第２映像信号を、時間軸のいずれかの位置に挿入した前記第１映像信号（判定対象映像信号）を判定する映像判定方法において、
前記第１映像信号に付随する付随情報（制御信号）に基づいて、前記第２映像信号の挿入位置（指定位置）を検出するステップと、
検出された前記第２映像信号の挿入位置（指定位置）を基準として、第１の所定フレーム数以下で前に遡り又は後に続く第１探索範囲内にシーンチェンジがあるか否か判定し、少なくとも１つのシーンチェンジがあれば前記第１映像信号は正常であると判定するステップとを有することを特徴とする。

本発明によれば、検出された前記第２映像信号の挿入位置を基準として、第１の所定フレーム数以下で前に遡り又は後に続く第１探索範囲内にシーンチェンジがあるか否か判定し、少なくとも１つのシーンチェンジがあれば前記第１映像信号は正常であると判定するので、前記第２映像信号の挿入の適否を機械的に検出できる

前記第１探索範囲内に少なくとも１つのシーンチェンジがあった場合、それに続いて別のシーンチェンジがあれば、前記第１映像信号は良好であると判定するステップを有すると好ましい。

前記第１探索範囲内に少なくとも１つのシーンチェンジがないときは、検出された前記第２映像信号の挿入位置を基準として、第１の所定フレーム数を超える第２の所定フレーム数以下で前に遡り又は後に続く第２探索範囲内にシーンチェンジがあるか否か判定し、少なくとも１つのシーンチェンジがあれば前記第１映像信号は異常であると判定するステップとを有すると好ましい。

画像フレーム（フィールド）における輝度信号及び色差信号の少なくとも一方のレベルを縦軸とし、横軸を時間軸として２次元的に表現したときに、第１の閾値を超えるフレーム（フィールド）間の信号レベル変化が生じた場合に、前記シーンチェンジが生じたと判定すると好ましい。

本発明の、第１映像信号より時間的に短い第２映像信号を、時間軸内のいずれかの位置に挿入した前記第１映像信号（判定対象映像信号）を判定する映像判定方法において、
前記第１映像信号に付随する付随情報（制御信号）に基づいて、前記第２映像信号の挿入位置（指定位置）を検出するステップと、
検出された前記第２映像信号の挿入位置（指定位置）を基準として、第１の所定フレーム数以下で前に遡り又は後に続く第１探索範囲内に、第３の所定フレーム数以下のブラックアウト画像が含まれていれば前記第１映像信号は良好であると判定するステップとを有することを特徴とする。

本発明によれば、検出された前記第２映像信号の挿入位置を基準として、第１の所定フレーム数以下で前に遡り又は後に続く第１探索範囲内に、第３の所定フレーム数以下のブラックアウト画像が含まれていれば前記第１映像信号は良好であると判定するので、前記第２映像信号の挿入の適否を機械的に検出できる。

画像フレーム（フィールド）における輝度信号及び色差信号の少なくとも一方のレベルを縦軸とし、横軸を時間軸として２次元的に表現したときに、第２の閾値以下の状態が所定期間（フィールド）連続した場合に、前記ブラックアウト画像が生じたと判定すると好ましい。

前記第１映像信号に付随する付随情報は、前記第１映像信号のメタデータ内に含まれると好ましい。

前記第１映像信号と前記第２映像信号から輝度信号及び色差信号の少なくとも一方を抽出して、そのレベルを縦軸とし、時間軸を横軸として表示すると好ましい。これにより、第１映像信号、第２映像信号、付随信号、シーンチェンジ、ブラックアウトなどが同時に表示されるので、その関係を把握しやすくなり、実際にオペレータが映像の目視確認を行わなくとも、自動的に第２映像信号の挿入の正誤を判定できる。

前記第２映像信号は、コマーシャルメッセージ用の映像信号であると好ましい。

第２映像信号のビデオアクティビティを少なくとも１つ記憶しており、前記第１映像信号に挿入された前記第２映像信号のビデオアクティビティと照合することにより、挿入された前記第２映像信号に対応する記憶された第２映像信号を探索して特定するステップを有すると好ましい。

第２映像信号のビデオアクティビティに対応づけて、前記第２映像信号に関連する関連情報を記憶しており、挿入された前記第２映像信号に対応する記憶された第２映像信号が特定された場合、前記特定された第２映像信号の関連情報を表示するステップを有すると好ましい。

図１は、制作された本編映像にコマーシャルメッセージ映像を挿入し検査する一連のシステムの概念図である。図２は、検査ポイントＤＰ１〜ＤＰ３のいずれかに接続されて、映像の適否を判定する判定装置のブロック図である。図３は、本実施の形態にかかる映像判定方法を示すフローチャート図である。図４Ａは、本編映像信号の挿入位置に、コマーシャルメッセージ映像信号を挿入した理想状態を示す図である。図４Ｂは、抽出したコマーシャルメッセージ映像信号のビデオアクティビティを示す図である。図４Ｃは、一致もしくは類似するコマーシャルメッセージ映像信号のビデオアクティビティを示す図である。図５は、コマーシャル判別ルーチンを示すフローチャート図である。図６は、時間軸に沿ってフレーム毎の画像を並べてなる映像を示す図である。図７は、時間軸に沿ってフレーム毎の画像を並べてなる映像を示す図である。図８は、時間軸に沿ってフレーム毎の画像を並べてなる映像を示す図である。図９は、時間軸に沿ってフレーム毎の画像を並べてなる映像を示す図である。図１０は、別の実施の形態にかかる映像判定方法を示すフローチャート図である。

以下、実施の形態を参照して本発明を説明する。図１は、制作された本編映像にコマーシャルメッセージ映像を挿入し検査する一連のシステムの概念図である。図１において、コンテンツ制作者が制作した本編番組の映像信号（第１映像信号）には、予めコマーシャルメッセージ映像信号（第２映像信号）を挿入する所定時間の空白部分（ブラックアウト画像）が組み込まれている。コマーシャルメッセージ映像信号を挿入する時間軸の位置を示す位置情報は、本編映像信号のメタデータ等に制御信号として挿入されている。メタデータについては、例えば特開2009-147870等に開示されている。

本編映像信号は、映像ベースバンド信号であるSDI（Serial Digital Interface）信号から、MPEG-2/4エンコ一ドされ、ストリーム信号に変換された後、MPEG-2/4エンコ一ドされて、各視聴者に配信され、映像と音声とが視聴されるようになっている。従って、本編映像信号へ、コマーシャルメッセージ映像信号を挿入するタイミングは、エンコ一ド前（図１の挿入ポイントＩＰ１）にSDI信号で行うか、エンコード後（図１の挿入ポイントＩＰ２）にストリーム信号で行うかである。よって、コマーシャルメッセージ映像信号の挿入の適否を判定するタイミングは、エンコ一ド前（図１の検査ポイントＤＰ１）、エンコ一ド後であってデコード前（図１の検査ポイントＤＰ２）、デコ一ド後（図１の検査ポイントＤＰ３）のいずれかとなる。

図２は、検査ポイントＤＰ１〜ＤＰ３のいずれかに接続されて、映像の適否を判定する判定装置のブロック図である。この判定装置は、入力された映像ベースバンド信号から、ビデオレベルとビデオアクティビティを抽出する映像特微量抽出部１０１,映像ベースバンド信号から制御信号を抽出する第１制御信号抽出部１０２、映像特微量と制御信号から、コンテンツ挿入の位置の正誤を判断する分析部１０３、そしてその結果を表示するモニタ１０４ａを含む結果表示部１０４、エンコードされたストリーム信号をデコードして映像ベースバンド信号を作るデコード部１０５,エンコードされたストリーム信号から制御信号を抽出する第２制御信号抽出部１０６，抽出されたビデオレベルとビデオアクティビティを制御信号と関連づけるセット情報部１０７及び複数の挿入コンテンツの映像信号が付随情報と対応づけられて蓄積されている外部挿入コンテンツデータペース１０８から構成される。又、スイッチＳＷ１は、入力端子Ｔ１が検査ポイントＤＰ１，ＤＰ３に接続された場合、入力信号を映像特微量抽出部１０１に入力し、一方、入力端子Ｔ２が検査ポイントＤＰ２に接続された場合、入力信号を、デコード部１０５を介して映像特微量抽出部１０１に入力するように動作する。また、スイッチＳＷ２は、入力端子Ｔ１が検査ポイントＤＰ１，ＤＰ３に接続された場合、第１制御信号抽出部１０２で抽出された制御信号をセット情報部１０７に入力し、一方、入力端子Ｔ２が検査ポイントＤＰ２に接続された場合、第２制御信号抽出部１０６で抽出された制御信号をセット情報部１０７に入力するように動作する。

図３は、本実施の形態にかかる映像判定方法を示すフローチャート図である。まず図３のステップＳ１０１において、図２の判定装置は、いずれかの検査ポイントに接続された端子Ｔ１又は端子Ｔ２より、本編映像信号中にコマーシャルメッセージ映像信号を挿入した判定対象映像信号を入力する。次いで、ステップＳ１０２において、映像特徴量抽出部１０１が映像特徴量を抽出する。

映像特徴量は、ここではビデオレベル（Video Level）、ビデオアクティビティ（Video Activity）である。ここで、Video Levelとは、画像フレームに含まれる画素の値の平均値であり、輝度信号のレベルともいう。又は色差信号のレベルを用いても良い。更に、Video Activityとしては、画像に含まれる小ブロックごとに分散を求めたとき、この分散のフレーム内の画素の平均値を用いても良いし、単純に画像フレームに含まれる画素のフレーム内での分散値を用いても良い。画像フレーム（フィールド）間におけるビデオレベルが不連続的であって、例えば第１の閾値Ｔｈ１以上に変化した場合（図４Ａ参照）、シーンチェンジが生じたと判断できる。又、ビデオレベルが第２の閾値Ｔｈ２以下である状態が一定期間（フィールド）連続した場合（図４Ｂ参照）、ブラックアウト画像であると判断できる。

図４Ａは、本編映像信号の挿入位置に、コマーシャルメッセージ映像信号を挿入した理想状態を示す図であり、そのままモニタ１０４ａに表示されることができる。図４Ａに実線で示す本編映像信号ＳＧ１は、元々Ｔフレーム分のブラックアウト部を有しており、ここに前後を合わせてＴフレームのコマーシャルメッセージ映像信号ＳＧ２（点線）を挿入（置換）すると、ブラックアウト部ＢＯは消えることとなる。但し、コマーシャルメッセージ映像信号ＳＧ２の挿入位置が時間軸上で前後にずれると、ずれた分だけブラックアウト部ＢＯが現れる。ブラックアウト部ＢＯは、ビデオレベルが第２の閾値Ｔｈ２以下であることを利用して検出できる。この例では、シーンチェンジは、画像フレーム（フィールド）間におけるビデオレベルが、第１の閾値Ｔｈ１以上で不連続的に変化した点ＳＣ１，ＳＣ２で生じている。

次に、Video Activityとしては、例えば以下の分散Ａを用いることができる。ビデオ信号（バーチャルビデオ信号のような３次元座標値毎に値を持つ例とする、但しｚ＝０とすれば通常の２次元ビデオ信号になる）を考えたとき、時刻ｔにおける３次元座標（ｘ、ｙ、ｚ）におけるビデオ信号をＶ（ｘ、ｙ、ｚ、ｔ）とする。

ビデオ信号Ｖ（ｘ、ｙ、ｚ、ｔ）の特徴量としての分散Ａは、以下の式で表すことができる。

又、平均値ａｖｅ．Ｖは、以下の式で得ることができる。

次に、図３のステップＳ１０３において、第１制御信号抽出部１０３又は第２制御信号抽出部１０６が、入力した判定対象映像信号のメタデータから制御信号を読み出した後、コマーシャルメッセージ映像信号を挿入する指定位置を求める。ここで制御信号とは、コマーシャルメッセージ映像信号を挿入するためにＴフレーム分のブラックアウト部ＢＯの開始位置を示す位置情報であり、例えば「最初からＸＸＸＸフレーム目」というように絶対値であっても良いし、「コマーシャルフラグをたてたフレームがきたら、そこからＹＹＹフレーム目」というように相対値であっても良い。尚、制御信号は、開始位置に限らず中央位置や終了位置を示しても良い。

次に、ステップＳ１０４で、分析部１０３が、抽出したビデオレベルから、指定位置を基準として時間軸上の前後において第１の所定フレーム数Ｎの範囲（第１探索範囲）内に、シーンチェンジが存在するか否かを判断する。ここで、シーンチェンジが存在すると判断すれば、ステップＳ１０５で、分析部１０３は、例えばＴフレーム後に続けて別のシーンチェンジが存在するか否か判断する。別のシーンチェンジが存在すると判断すれば、ステップＳ１０６で、結果表示部１０４が、コマーシャルメッセージ映像信号の挿入が適切であることを示す「Ｇｏｏｄ」の文字を、図４Ａに示すビデオレベルと共に、モニタ１０４ａに表示する。これに対し、分析部１０３が、例えばＴフレーム後に続けて別のシーンチェンジが存在しないと判定すれば、ステップＳ１０７で、結果表示部１０４が、とりあえずコマーシャルメッセージ映像信号の挿入がなされていることを示す「Ｎｏｒｍａｌ」の文字を、図４Ａに示すビデオレベルと共に、モニタ１０４ａに表示する。その後、コマーシャルメッセージ判定ルーチンへと移行する。

一方、ステップＳ１０４で、分析部１０３が、抽出したビデオレベルから、指定位置を基準として時間軸上の前後において第１の所定フレーム数Ｎの範囲内に、シーンチェンジが存在しないと判断すれば、ステップＳ１０８で、第１の所定フレーム数Ｎより大きな第２の所定フレーム数Ｍ（＞Ｎ）の範囲（第２探索範囲）内に、シーンチェンジが存在するか否かを判断する。ここで、シーンチェンジが存在すると判断すれば、ステップＳ１０９で、結果表示部１０４が、コマーシャルメッセージ映像信号の挿入位置が不適切であることを示す「Ａｂｎｏｒｍａｌ」の文字を、図４Ａに示すビデオレベルと共に、モニタ１０４ａに表示する。一方、分析部１０３が、第２の所定フレーム数Ｍの範囲内に、シーンチェンジが存在しないと判断すれば、いかなるコマーシャルメッセージ映像信号も指定された位置に挿入されていないことを示す「ＮｏＣｏｍｍｅｒｃｉａｌ」の文字を、図４Ａに示すビデオレベルと共に、モニタ１０４ａに表示する。以上により、オペレータは、モニタ１０４ａの表示のみを観察しているだけで、コマーシャルメッセージ映像が適切に挿入されているか否かを判断できる。

図５は、コマーシャル判別ルーチンを示すフローチャート図である。ここで、セット情報部１０７は、本編映像信号に挿入されるコマーシャルメッセージ映像信号のビデオアクティビティ（図４Ｃ参照）と、それに関連する関連情報（スポンサー名、コンテンツ内容等）とを予め記憶したデータベース１０８にアクセス可能となっている。図５のステップＳ２０１において、映像特徴量抽出部１０１は、判定対象映像信号からＴフレーム分のコマーシャルメッセージ映像信号と判断される信号を切り出して、図４Ｂに示すようにビデオアクティビティを抽出し、セット情報部１０７に入力する。

更に、セット情報部１０７は、ステップＳ２０２で、抽出したビデオアクティビティに基づき、データベース１０８にアクセスして、一致もしくは類似するビデオアクティビティを照合しながら探索し、一致もしくは類似するビデオアクティビティがあれば、そのコマーシャルメッセージ映像信号を特定して関連情報を読み出し、ステップＳ２０３で、結果表示部１０４が、挿入された関連情報をモニタ１０４ａに表示する。これにより、オペレータは、正しいコマーシャルメッセージ映像が挿入されたか否か確認できる。

図６〜９は、時間軸に沿ってフレーム毎の画像を並べてなる映像を示す図であり、判定の具体例を示している。図６に示す例においては、本編映像信号の挿入位置にコマーシャルメッセージ映像信号が完全に一致している状態である。つまり、モニタ１０４ａに「Ｇｏｏｄ」表示がなされる。図７に示す例においては、本編映像信号の挿入位置に対し、コマーシャルメッセージ映像信号が後ろにずれているが、第１探索範囲内であるからブラックアウトが短く許容範囲である。つまり、モニタ１０４ａに「Ｎｏｒｍａｌ」表示がなされる。図８に示す例においては、本編映像信号の挿入位置に対し、コマーシャルメッセージ映像信号が前にずれているが、第１探索範囲内であるからブラックアウトが少なく許容範囲である。つまり、モニタ１０４ａに「Ｎｏｒｍａｌ」表示がなされる。図９に示す例においては、本編映像信号の挿入位置に対し、コマーシャルメッセージ映像信号が後ろにずれ、第１探索範囲内を超えて、第２探索範囲内であるからブラックアウトが長くなり修正が必要である。つまり、モニタ１０４ａに「Ａｂｎｏｒｍａｌ」表示がなされる。

図１０は、別の実施の形態にかかる映像判定方法を示すフローチャート図である。まず図１０のステップＳ３０１において、図２の判定装置は、端子Ｔ１又は端子Ｔ２より、本編映像信号中にコマーシャルメッセージ映像信号を挿入した判定対象映像信号を入力する。次いで、ステップＳ３０２において、映像特徴量抽出部１０１が映像特徴量を抽出する。

次に、ステップＳ３０３において、第１制御信号抽出部１０３又は第２制御信号抽出部１０６が、入力した判定対象映像信号のメタデータから制御信号を読み出した後、コマーシャルメッセージ映像信号を挿入する指定位置を求める。

更に、ステップＳ３０４で、分析部１０３が、抽出したビデオレベルから、指定位置を基準として時間軸上の前後において第１の所定フレーム数Ｎの範囲（第１探索範囲）内に、フレーム数Ｚ以下（ゼロを含む）のブラックアウト画像が存在するか否かを判断する。Ｚは、例えば６０ｆｐｓの映像信号では、６０フレームとするのがよい。

分析部１０３がフレーム数Ｚ以下のブラックアウト画像が存在すると判断した場合、ステップＳ３０５で、結果表示部１０４が、コマーシャルメッセージ映像信号の挿入がなされていることを示す「Ｎｏｒｍａｌ」の文字を、図４に示すビデオレベルと共に、モニタ１０４ａに表示する。その後、コマーシャルメッセージ判定ルーチンへと移行する。これに対し、分析部１０３がフレーム数Ｚを超えたブラックアウト画像が存在すると判断した場合、ブラックアウトの時間が長すぎるので、ステップＳ３０６で、結果表示部１０４が、コマーシャルメッセージ映像信号の挿入が不適切であることを示す「Ａｂｎｏｒｍａｌ」の文字を、図４に示すビデオレベルと共に、モニタ１０４ａに表示する。

Claims

第１映像信号よりフレーム数の少ない第２映像信号を、時間軸のいずれかの位置に挿入した前記第１映像信号を判定する映像判定方法において、
前記第１映像信号に付随する付随情報に基づいて、前記第２映像信号の挿入位置情報を検出するステップと、
検出された前記第２映像信号の挿入位置情報により指定される時間軸の位置を基準として、第１の所定フレーム数以下で前に遡り又は後に続く第１探索範囲内にシーンチェンジがあるか否か判定し、少なくとも１つのシーンチェンジがあれば前記第１映像信号は正常であると判定するステップとを有することを特徴とする映像判定方法。
前記第１探索範囲内に少なくとも１つのシーンチェンジがあった場合、当該シーンチェンジに続いて別のシーンチェンジがあれば、前記第１映像信号は良好であると判定するステップを有することを特徴とする請求項１に記載の映像判定方法。
前記第１探索範囲内に少なくとも１つのシーンチェンジがないときは、検出された前記第２映像信号の挿入位置を基準として、第１の所定フレーム数を超える第２の所定フレーム数以下で前に遡り又は後に続く第２探索範囲内にシーンチェンジがあるか否か判定し、少なくとも１つのシーンチェンジがあれば前記第１映像信号は異常であると判定するステップとを有することを特徴とする請求項１に記載の映像判定方法。
画像フレーム（フィールド）における輝度信号及び色差信号の少なくとも一方のレベルを縦軸とし、横軸を時間軸として２次元的に表現したときに、第１の閾値を超えるフレーム（フィールド）間の信号レベル変化が生じた場合に、前記シーンチェンジが生じたと判定することを特徴とする請求項１〜３のいずれかに記載の映像判定方法。
第１映像信号よりフレーム数の少ない第２映像信号を、時間軸のいずれかの位置に挿入した前記第１映像信号を判定する映像判定方法において、
前記第１映像信号に付随する付随情報に基づいて、前記第２映像信号の挿入位置情報を検出するステップと、
検出された前記第２映像信号の挿入位置情報により指定される時間軸の位置を基準として、第１の所定フレーム数以下で前に遡り又は後に続く第１探索範囲内に、第３の所定フレーム数以下のブラックアウト画像が含まれていれば前記第１映像信号は良好であると判定するステップとを有することを特徴とする映像判定方法。
画像フレーム（フィールド）における輝度信号及び色差信号の少なくとも一方のレベルを縦軸とし、横軸を時間軸として２次元的に表現したときに、第２の閾値以下の状態が所定期間（フィールド）連続した場合に、前記ブラックアウト画像が生じたと判定することを特徴とする請求項５に記載の映像判定方法。
前記第１映像信号に付随する付随情報は、前記第１映像信号のメタデータ内に含まれることを特徴とする請求項１〜６のいずれかに記載の映像判定方法。
前記第１映像信号と前記第２映像信号から輝度信号及び色差信号の少なくとも一方を抽出して、そのレベルを縦軸とし、時間軸を横軸として表示することを特徴とする請求項１〜７のいずれかに記載の映像判定方法。
前記第２映像信号は、コマーシャルメッセージ用の映像信号であることを特徴とする請求項１〜８のいずれかに記載の映像判定方法。
第２映像信号のビデオアクティビティを少なくとも１つ記憶しており、前記第１映像信号に挿入された前記第２映像信号のビデオアクティビティと照合することにより、挿入された前記第２映像信号に対応する記憶された第２映像信号を探索して特定するステップを有することを特徴とする請求項１〜９のいずれかに記載の映像判定方法。
第２映像信号のビデオアクティビティに対応づけて、前記第２映像信号に関連する関連情報を記憶しており、挿入された前記第２映像信号に対応する記憶された第２映像信号が特定された場合、前記特定された第２映像信号の関連情報を表示するステップを有することを特徴とする請求項１０に記載の映像判定方法。