本開示は、映像データ中から番組映像を分割する番組分割装置及び番組分割方法に関する。
放送波で放送した番組をその放送後に、その番組を見逃した視聴者等が視聴できるようにその番組の映像データをインターネットで提供するサービスが実施されている。このようなサービスにおいては、放送された一連の映像データから、放送後にインターネットで提供される番組データを切り出す必要がある。
このような一部の番組データの切り出しを行う際、従来、映像編集者が、切り出すべき番組データの開始、終了位置を判断し、切り出し位置を決定していたため、手間がかかっていた。
特許文献1は、受信した番組データを番組部とCM部に自動で分割してHDDに記録するディジタルデータ記録再生装置を開示している。このディジタルデータ記録再生装置では、記録時において、受信信号分離部が、受信したTSを各番組データに分離する変換処理を行い、視聴する番組データを選択する。CM位置検出部は、TSのヘッダー情報からCM位置情報を検出する。データ分割部は、検出されたCM位置情報から番組データを番組部とCM部とに分割する。制御部は、CM部と番組部を各々独立したデータになるようにHDDに記録する。このディジタルデータ記録再生装置では、番組データ内のヘッダー情報からCM位置を検出し、検出したCM位置に基づき番組データを番組部とCM部に分割している。
本開示は、元映像データから一部の番組を切り出した映像を自動で生成することを可能とする番組分割装置を提供する。
本開示の第1の態様において番組分割装置が提供される。番組分割装置は、第1受信部と、第2受信部と、位置検出部と、位置補正部と、を備える。第1受信部は、番組映像を示す第1映像データを受信する。第2受信部は、第1映像データが圧縮されて生成される第2映像データを受信する。第2映像データは、映像を分割すべき位置を示す位置情報を含む。位置検出部は、第2受信部で受信した第2映像データから位置情報を抽出し、位置情報に基づき生成した第2分割位置情報を出力する。位置補正部は、第1受信部で受信した第1映像データを用いて第2分割位置情報を補正することにより、第1映像データにおける分割位置を示す第1分割位置情報を生成する。
本開示の第2の態様において番組分割方法が提供される。番組分割方法は、番組映像を示す第1映像データを受信する。さらに、第1映像データが圧縮されて生成される第2映像データを受信する。第2映像データは、映像を分割すべき位置を示す位置情報を含む。本開示に係る番組分割方法は、さらに、第2映像データから位置情報を抽出し、位置情報に基づき生成した第2分割位置情報を出力する。さらに、第1映像データを用いて第2分割位置情報を補正することにより、第1映像データにおける分割位置を示す第1分割位置情報を生成する。
本開示によれば、元映像データから、切り出す番組に関する映像の分割位置を示す情報を自動で検出する。その分割位置を用いることで番組について分割した映像を自動で生成することが可能となる。
図1は、映像分割の概念を説明するための図である。
図2は、番組分割装置のハードウェア構成を示した図である。
図3は、番組分割装置の機能的な構成を示した図である。
図4は、映像分割処理を示すフローチャートである。
図5は、分割位置を示すPCR(Program Clock Reference)値の補正を説明するための図である。
図6は、第1及び第2映像間におけるPCR値の差分を説明するための図である。
図7は、第2の実施の形態における第2分割位置の補正処理を説明するための図である。
図8は、第3の実施の形態における第2分割位置の補正処理を説明するための図である。
図9は、第3の実施の形態における第2分割位置の補正処理を説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
[1−1.構成]
図1を参照して、本実施形態の番組分割装置の概要を説明する。
番組分割装置100は、映像ストリーム中の一部の番組映像を切り出して新たな映像(以下「分割映像」という)を生成する装置である。例えば、図1に示すように映像ストリームの中に複数の番組の映像が含まれている場合に、番組分割装置100は、映像ストリームを番組単位で分割し、分割した番組毎の新たな動画ファイルを生成し、出力することができる。
[1−1−1.ハードウェア構成]
図2は、番組分割装置100のハードウェア構成を示した図である。番組分割装置100は、番組分割装置100の全体動作を制御するコントローラ51と、種々の情報を表示する表示部54と、操作者の操作を受け付ける操作部55と、RAM56と、データやプログラムを格納するデータ記憶部57とを備える。さらに、番組分割装置100は、デジタル放送波を受信するためのチューナ58と、ネットワークと接続するためのネットワークインタフェース59と、外部機器を接続するための機器インタフェース60とを備える。
表示部54は例えば、液晶ディスプレイや有機ELディスプレイで構成される。操作部55は操作者が操作を行うユーザインタフェースであり、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、マウス、タッチペン等、種々の操作部材を含む。
チューナ58は、放送局から送出されたデジタル放送波を受信し、選局を行い1つのチャンネルのデータを受信する回路である。
ネットワークインタフェース59は、無線または有線の通信回線を介して番組分割装置100をLAN等のネットワークに接続するための回路(モジュール)である。ネットワークインタフェース59は所定の通信規格に準拠した通信を行う。所定の通信規格には、IEEE802.3、IEEE802.11a/11b/11g/11ac、WiFi、3G、LTE等の通信規格が含まれる。
機器インタフェース60は、番組分割装置100に他の電子機器を接続するための回路(モジュール)である。機器インタフェース60は、所定の通信規格にしたがい通信を行う。所定の通信規格には、IEEE802.3、USB、HDMI(登録商標)、IEEE1395、Bluetooth(登録商標)等が含まれる。
RAM56は、例えば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の半導体デバイスで構成されたメモリであり、データを一時的に記憶する。RAM56は、コントローラ51の作業エリアとしても機能する。
データ記憶部57は、所定の機能を実現するために必要なパラメータ、データ及びプログラム等を記憶する記録媒体である。データ記憶部57は、例えば、ハードディスク(HDD)やソリッドステートドライブ(SSD)で構成される。
コントローラ51は、CPUまたはMPU(Micro Processing Unit)を含み、所定のプログラム(ソフトウェア)を実行することで後述する所定の機能を実現する。所定のプログラムは例えば、データ記憶部57に格納される。コントローラ51の機能をハードウェア回路のみで実現してもよい。すなわち、コントローラ51は、CPU、MPU、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)等で実現することができる。
[1−1−2.機能的な構成]
図3は、本実施形態の番組分割装置の機能的な構成を示した図である。
番組分割装置100には、非圧縮動画データを含む第1映像データと、第1映像データを圧縮して生成された第2映像データとが入力される。
第1映像データは番組やCMの映像データを含む。第1映像データは、例えば、非圧縮デジタル映像データとデジタル音声データである。なお、第1映像データは圧縮動画データであってもよい。その場合、第1映像データは、フレーム間の差分情報を用いず、フレーム単位で復号可能な圧縮動画(イントラ予測符号化されたフレームのみ、すなわち、Iピクチャのみで構成された映像データ)であることが望ましい。すなわち、第1映像データは、他のフレーム画像を参照して復号するフレームを含まないような圧縮動画データであることが望ましい。また、圧縮動画データである場合、圧縮方式は可逆圧縮でも非可逆圧縮でもよい。
第2映像データは、第1映像データと同じコンテンツを示すデータを含む。送出装置200は、第1映像データを、第1映像データよりも高い圧縮率で圧縮符号化することにより、第2映像データを生成する。例えば、第2映像データは、Iピクチャ、Bピクチャ及びPピクチャを含むように構成される。
送出装置200は、放送波用のデータ(TS(Transport Stream)形式のデータ)を生成する装置である。番組情報生成装置300は、映像データに含まれる番組に関する番組情報(例えば、電子番組表(EPG))を生成する装置である。送出装置200は、第1映像データ(非圧縮動画)を入力し、第1映像データ(非圧縮動画データ)を例えばMPEG4−AVC/H.264のフォーマットにしたがい符号化することで圧縮動画データを生成する。さらに、送出装置200は、生成した圧縮動画データに対して、番組情報生成装置300により生成された番組情報(EPG(Electronic Program Guide))を多重化して、第2映像データを生成する。送出装置200により生成された第2映像データは放送波で送出される。
IP変換装置400は、送出装置200と同様に第1映像データ(非圧縮動画)を入力する。IP変換装置400は、入力用にSDI(Serial Digital Interface)端子を有し、出力用にネットワークインタフェースを有する。IP変換装置400は、第1映像データを示すSDI信号をIPパケット信号に変換し、番組分割装置100の第1受信部23へ出力する。
番組分割装置100は、分割位置設定部110と、分割処理部120とを含む。分割位置設定部110は、第2映像データを用いて映像の分割位置を設定する。分割処理部120は、設定された分割位置にしたがい第1映像データを分割する。分割位置設定部110は、第2受信部13と、分割位置受信部15と、分割指示受信部17と、分割位置検出部19とを備える。分割処理部120は、分割位置補正部21と、第1受信部23と、映像分割部25とを備える。
分割位置設定部110は、第2映像データ内に含まれる情報または番組分割装置100の外部から受信した情報に基づき、映像の分割位置を設定する。例えば、分割位置設定部110は、第2映像データに含まれる番組情報、放送局間制御信号などに基づき、分割位置を設定する。あるいは、分割位置設定部110は、外部から受信した番組情報、または外部から受信した分割指示信号に基づいて分割位置を設定する。
分割位置設定部110において、第2受信部13は、送出装置200から送信された第2映像データを含むデジタル放送波を受信する。第2受信部13は、デジタル放送波(TS)を受信するチューナ58で実現できる。第2受信部13は、送出装置200に対応したチャンネルを選局して第2映像データを受信し、第2映像データから動画データと番組情報とを抽出する。第2受信部13は、番組情報から番組毎の開始時刻と終了時刻を特定し、それらの時刻情報(時/分/秒)を動画データとともに出力する。番組情報は番組の開始時刻と終了時刻を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。なお、本実施形態では、第2受信部13は、番組単位で映像を分割するように分割位置を抽出する。
分割指示受信部17は、外部から、操作者により指定された分割位置を示す分割指示信号を受信する。分割指示信号において分割位置は、映像の再生時刻(時/分/秒)で表される。例えば、操作者が番組のダイジェスト版等を製作する際に、切り出す映像の区間(分割位置)を指定し、その指定に基づき分割指示信号が生成される。分割指示受信部17は、分割指示信号が示す分割位置を特定する時刻情報(再生時刻)を出力する。なお、再生時刻は、映像の時系列を基準とした時刻情報である。
分割位置検出部19は、第2受信部13から受信した動画データと、第2受信部13または分割指示受信部17から受信した時刻情報とから分割位置のPCR(Program Clock Reference)値(基準時刻情報の一例)を第2分割位置として求める。そして、分割位置検出部19は、第2分割位置を示す第2分割位置情報を出力する。分割位置検出部19は、映像データに含まれるPCR値と再生時刻(時/分/秒)の対応関係を把握しており、これにより再生時刻に対応したPCR値を算出することができる。なお、基準時刻情報は、映像のタイミングに対応しており、映像のタイミングを制御するために用いられる。
また、分割位置受信部15は、インターネット等のネットワークを介して番組情報生成装置300から番組情報を受信する。分割位置受信部15は、番組情報から番組毎の開始時刻と終了時刻を抽出して分割位置を特定する。この分割位置は再生時刻(時/分/秒)で表されている。分割位置受信部15は、再生時刻で表された分割位置をPCR値に変換して第2分割位置を求め、第2分割位置を示す第2分割位置情報を出力する。分割位置受信部15の機能はネットワークインタフェース59とコントローラ51で実現される。
分割処理部120において、第1受信部23は、IP変換装置400を介して非圧縮の動画データを含む第1映像データを受信する。第1受信部23の機能はネットワークインタフェース59を用いて実現される。
分割位置補正部21は、分割位置設定部110(すなわち、分割位置受信部15または分割位置検出部19)から第2分割位置情報を受信する。また、分割位置補正部21は、第1受信部23から第1映像データを受信する。分割位置補正部21は、第2分割位置情報を、第1映像データを用いて補正して、第1映像データにおける最終的な分割位置(以下「第1分割位置」という)を求める。
映像分割部25は、第1分割位置にしたがい第1映像データから映像を分割し、分割映像の動画ファイルを生成し、出力する。
後述する番組分割装置100の機能(すなわち、分割位置受信部15、分割指示受信部17、分割位置検出部19、分割位置補正部21及び映像分割部25の機能)は、所定のプログラム及びそれを実行するコントローラ51で実現される。
[1−2.動作]
以上のように構成された番組分割装置100の動作を以下に説明する。
[1−2−1.映像分割処理]
図4のフローチャートを参照し、番組分割装置100による映像分割処理を説明する。なお、図4のフローチャートは、第2受信部13または分割指示受信部17において分割位置を取得する場合の映像分割処理を示している。
番組分割装置100は、第2受信部13または分割指示受信部17において分割位置を取得する(S10)。この取得された分割位置(開始位置、終了位置)は映像の再生時刻(時/分/秒)で表されている。
第2受信部13は、第2映像データに多重化された番組情報を抽出する。第2受信部13は、番組の境界(開始時刻/終了時刻)を示す情報(時刻情報)を番組情報から取得し、分割位置検出部19に送信する。番組情報は各番組の放送時間帯すなわち各番組の開始時刻と終了時刻を示す情報を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。第2受信部13は、番組情報から番組の開始時刻と終了時刻を抽出する。
一方、分割指示受信部17は、外部より分割位置を示す情報を示す分割指示信号を受信する。分割指示信号は、対象となる映像の再生時刻を基準として、分割位置を指定する。
分割位置検出部19は、第2受信部13または分割指示受信部17から分割位置を示す時刻情報を受信し、受信した時刻情報に基づいて、番組毎に映像を分割するための分割位置を設定する。
具体的には、分割位置検出部19は、第2受信部13または分割指示受信部17から、再生時刻を基準として示される分割位置(開始時刻/終了時刻)を受信する。分割位置検出部19は、さらに、第2映像データに含まれる圧縮動画データのPCR値を参照して、分割位置に対応する再生時刻から、分割位置に対応するPCR値を求める。これにより分割位置がPCR値を用いて表わされる。PCR値を用いることにより、分割位置を正確に指定することができ、映像分割の精度を向上できる。なお、PCR(Program Clock Reference)は、33ビット長、90kHzで表現される基準時刻情報である。一般的に、PCRは、映像のタイミングを制御するために用いられる。PCRは実際の時間と下記の関係を有する。
1(PCR) = 1/90000(秒)
分割位置検出部19は、PCR値に換算した分割位置を第2分割位置として、分割処理部120(分割位置補正部21)に送信する。
分割処理部120において分割位置補正部21は、第2分割位置を補正して、第1映像データにおける分割位置(以下「第1分割位置」という)を求める(S12)。具体的には、分割位置補正部21は、第1受信部23で受信した第1映像の非圧縮の動画データを用いて第2分割位置を補正することで、第1映像データにおける第1分割位置(PCR値)を求める。そして、分割位置補正部21は、第1分割位置を示す第1分割位置情報を映像分割部25に送信する。
第1映像データと第2映像データは同じコンテンツの映像を示す。しかし、映像データに付加されるPCR値は図5に示すように第1映像データと第2映像データの間で異なった値となる。これは、第1映像データから第2映像データを生成するためのエンコード等の処理において、PCR値にずれが生じることがあるためである。よって、第2映像データのPCR値で求められた第2分割位置を第1映像データに適用する際には、第2分割位置を補正して、第1映像データのPCR値(第1分割位置)に変換する必要がある。そこで、分割位置補正部21は、第2分割位置を補正して、第1映像データにおける第1分割位置を求める。第2分割位置の補正処理の詳細については後述する。
映像分割部25は、分割位置補正部21から受信した第1分割位置(PCR値)に基づき、第1映像データから映像を切り出して分割映像を生成する(S13)。映像分割部25は、分割した映像毎に動画ファイルとして出力する。
以上のようにして番組分割装置100は、第2映像データに含まれる分割位置情報または外部から受信した分割指示信号に基づき、第1映像データから映像を切り出して分割映像を自動で生成することができる。なお、番組分割装置100は、分割映像の動画ファイルを外部に出力したが、第1分割位置を示す第1分割位置情報のみを外部に出力するようにしてもよい。
ここで、上記の処理では、分割位置設定部110は、第2受信部13または分割指示受信部17で受信した情報に基づいて第2分割位置を設定した。番組分割装置100は、これらの分割位置の入力系統に加えて、さらに、分割位置受信部15により受信した情報に基づいても分割位置を設定することができる。
分割位置受信部15は、番組情報生成装置300から、インターネット等を介して番組情報を受信する。分割位置受信部15は番組情報から番組の開始/終了時刻を抽出し、抽出した時刻に基づきPCR値を算出し、第2分割位置として分割位置補正部21に出力する。
以上のように番組分割装置100は、第1映像データにおいて分割映像を切り出す位置を、第2映像データに含まれる情報に基づいて自動で設定できる。また、映像情報の分割位置をPCR値で指定することで、映像分割の精度を向上できる。また、非圧縮動画データである第1映像データから分割映像を生成するため、高画質の分割映像を生成することができる。
[1−2−2.第2分割位置の補正]
分割位置補正部21による第2分割位置(PCR値)の補正動作について説明する。
図5は、第1映像データ及び第2映像データそれぞれにおけるPCR値を示した図である。第1映像データと第2映像データとは同じコンテンツを示すが、図5に示すように、第1映像データと第2映像データとの間でPCR値に差が生じることがある。すなわち、映像の同じフレームにおいて、第1映像データのPCR値と第2映像データのPCR値とが異なることがある。これは、第2映像データを第1映像データから生成する際に、エンコード処理や番組情報の多重化処理を行うためである。このため、第1映像データを分割する場合には、第1映像データにおけるPCR値で分割位置を特定する必要がある。しかし、第2映像データのPCRの時間軸で求められた第2分割位置は、第2映像データにおけるPCR値で特定されている。そこで、第2分割位置に対応する第2映像データにおけるPCR値を補正して、対応する第1映像データのPCR値を求める必要がある。
例えば、図5の例では、第1映像データのPCR値に対する第2映像データのPCR値の差分は+10である。よって、第2分割位置の第2映像データにおけるPCR値(=200)から、その差分(=10)だけ減算する補正を行うことにより、第2分割位置の第1映像データにおけるPCR値(=190)を求めることができる。
そこで、分割位置補正部21は下記式に基づき、分割位置を示す第1映像データにおけるPCR値(pm1)を求める。
pm1 = pm2 - pdiff
ここで、pm2は第2分割位置の第2映像データにおけるPCR値である。pdiffは第1映像データのPCR値と、それに対応する第2映像データのPCR値との差分である。
第1映像データにおけるPCR値と、それに対応する第2映像データにおけるPCR値との差分であるpdiffは、下記のようにして求められる。
図6に示すように、送出装置200から送信され、第2受信部13が時刻t1に受信した第2映像データのPCR値をp1とする。また、第1受信部23が時刻t2に受信した第1映像データのPCR値をp2とする。このとき、時刻t1における第1映像データのPCR値p1xは下記式で算出される。
p1x = p2-(t2-t1)×90000
よって、第1映像データと第2映像データのPCR値の差分pdiffは下記式で算出される。
pdiff = p1 - p1x = p1 + (t2-t1)×90000 - p2
なお、第1映像データと第2映像データ間のPCR値の差分pdiffは、時間によらず一定であるため、一度だけ算出すればよい。
以上のように、分割位置補正部21は、第1映像データと第2映像データ間のPCR値の差分(pdiff)を用いて第2分割位置(pm2)を補正することにより、第1映像データにおける分割位置(pm1)を求める。分割位置補正部21は、第1映像データと第2映像データ間のPCR値の差分(pdiff)を高い精度で求めることができる。これにより、第1映像データにおける分割位置を精度良く決定することができる。
[1−3.効果等]
以上のように本実施形態の番組分割装置100は、第1受信部23と、第2受信部13と、分割位置検出部19と、分割位置補正部21と、を備える。第1受信部23は、番組映像を示す第1映像データを受信する。第2受信部13は、第2映像データを受信する。第2映像データは、第1映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す、番組の開始/終了時刻情報(位置情報の一例)を含む。分割位置検出部19は、第2受信部13で受信した第2映像データから番組の開始/終了時刻情報を抽出し、その情報に基づき第2分割位置情報を生成する。分割位置検出部19は、さらに、第2分割位置情報を出力する。分割位置補正部21は、第1受信部23で受信した第1映像データを用いて第2分割位置情報を補正する。分割位置補正部21は、さらに、第1映像データにおける分割位置を示す第1分割位置情報を生成する。
この構成により、第1映像データにおいて分割映像を切り出す位置を、第2映像データに含まれる情報に基づいて自動的に設定することができる。よって、この情報を用いることで、第1映像データを自動的に分割し、番組の分割映像を取得することができる。
さらに、番組分割装置100は、第1分割位置情報に基づいて第1映像データの一部を切り出すことにより分割映像データを生成する映像分割部25を備えてもよい。この構成により、第1分割位置情報に基づいて第1映像データを精度良く分割し、分割映像データを自動的に取得することができる。ここで、第1映像データは非圧縮動画データであるため、第2映像データと比較して高画質である。第1映像データから分割映像を切り出すことにより、高画質の分割映像を生成することができる。
また、第1及び第2分割位置情報は、それぞれ第1及び第2映像データにおけるPCR(基準時刻情報)で表されてもよい。第1及び第2分割位置情報を、このような基準時刻情報で表現することで、番組映像の分割位置を精度よく指定することができる。
なお、第1受信部23が出力する第1映像データは、TSである必要はなく、MP4、MOVなど、異なる伝送フォーマットでもよい。その場合、映像分割部25または分割位置補正部21はその伝送フォーマットを受信して、前述する分割動作または補正動作を行う。
また、分割位置検出部19または分割位置受信部15が出力する第2分割位置は、映像分割部25が第1映像データを分割するのに十分な正確さがある表現形態であればPCRでなくともよい。例えば、映像分割部25が分割を行う絶対時刻や、第1映像データの伝送フォーマットのパケット数やパケットインデックスなど、分割位置を正確に指定できる表現であれば、本開示の思想を適用可能である。
なお、図3に示す機能部の全体またはその一部が専用ハードウェアにて実現されてもよい。
(実施の形態2)
本実施形態では、分割位置補正部21による、第1分割位置を求めるための第2分割位置の補正動作の別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部21の動作以外は実施の形態1で示したものと同様である。
異なる番組間の境界または番組とCM間の境界では、フレーム画像の内容(すなわち、フレーム画像間の画素値の差分)が大きく変化する。そこで、本実施形態では、図7に示すように、分割位置設定部110で求めた第2分割位置(pm2)の近傍範囲において隣接するフレーム画像間の画素値の差分が最も大きくなる位置(フレーム間の境界)を検出し、その位置を第1分割位置(pm1)に設定する。この方法によれば、より精度よく、番組間の境界や番組とCM間の境界を分割位置として特定することができる。
具体的には、分割位置補正部21は、分割位置設定部110により設定された第2分割位置(pm)を中心とした所定範囲(例えば、4フレーム)内において、隣接する2つのフレーム画像間の類似度を算出する。類似度は、隣接する2つのフレーム画像間の画素値の差分を求めることで算出する。そして、分割位置補正部21は、フレーム画像間の画素値の類似度が最小となる(差分が最大となる)フレーム画像の間の境界を求め、求めた境界を第1映像データにおける分割位置(補正後の分割位置)(pm1)に設定する。
例えば、図7の例では、第2分割位置(pm2)を中心とした4フレーム分の範囲内(フレームn-1からフレームn+2)において、各々のフレームと、そのフレームに隣接するフレームとの間で画素値の差分を算出する。
図7の例では、番組1から番組2へ切り替わる前後のフレーム間(フレームn-1とフレームnとの間)で、画素値の差分が最大(すなわち、類似度が最小)となる。この画素値の差分が最大となるフレーム間を、番組と番組の境界である境界位置とする。その境界位置を第1映像データにおける分割位置すなわち第1分割位置(pm1)に設定している。
フレーム画像間の類似度すなわち画素値の差分は、例えば、各画素に対して輝度(Y)、色差(Cb)、色差(Cr)のそれぞれについて差分の二乗和平方根を算出し、その総和を算出することで求めることができる。すなわち、フレーム間の画素値の差分(Diff)を下記式で算出する。
ここで、
y1(i,j)は、前フレーム内の画素(i,j)の輝度
y2(i,j)は、後フレーム内の画素(i,j)の輝度
u1(i,j)は、前フレーム内の画素(i,j)の色差(Cb)
u2(i,j)は、後フレーム内の画素(i,j)の色差(Cb)
v1(i,j)は、前フレーム内の画素(i,j)の色差(Cr)
v2(i,j)は、後フレーム内の画素(i,j)の色差(Cr)である。
以上のように本実施形態では、分割位置設定部110により設定された第2分割位置に基づく所定範囲内において隣接フレーム画像間の類似度(画素値の差分)を検出し、最小類似度(最大差分)を与える隣接フレーム画像を求め、それらのフレーム間の境界を第1分割位置に設定する。このように分割位置を設定することで、より精度よく、番組間の境界(または番組とCMの境界)を求めることができ、精度良く番組映像を分割することができる。
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がRGB値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
また、類似度(差分)の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群、または、所定間隔毎に抽出した画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
(実施の形態3)
本実施形態では、分割位置補正部21による、第1分割位置を求めるための第2分割位置(PCR値)の補正動作のさらに別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部21の動作以外は実施の形態1で示したものと同様である。
異なる番組間の境界においては、境界直前のフレームの画像データと境界直後のフレームの画像データとが交互に入り交じったフレーム(以下「混合フレーム」という)が存在する場合も想定される。すなわち、混合フレームにおいては、前の番組の画像データと、後の番組の画像データが混在する。例えば、図8に示すように、番組1と番組2の境界にあるフレームnは、奇数ラインにおいて番組1の画像データを含み、偶数ラインにおいて番組2の画像データを含む画像となる場合である。映像を分割する場合、分割映像にこのような2つの番組の画像データが混在した混合フレームが含まれると、分割映像に他の映像の画像データが含まれることになり、好ましくない。よって、このような混合フレームが存在する場合に、分割映像に混合フレームが含まれないように分割位置を設定することが好ましい。なお、このような混合フレームは番組とCMの境界においても生じ得る。
そこで、本実施形態の分割位置補正部21は、分割位置設定部110により設定された第2分割位置の近傍範囲において混合フレームの存在を検出する。分割位置補正部21は、さらに、混合フレームが検出された場合に、その混合フレームが分割映像に含まれないように第2分割位置を補正する。
混合フレームの検出方法について説明する。混合フレームの画像は、奇数ラインまたは偶数ラインのいずれか一方の画像が前フレームの画像と類似する。また、奇数ラインまたは偶数ラインの他方の画像が後フレームの画像と類似する画像となる。そこで、チェック対象とするフレーム画像の奇数ラインと偶数ラインのそれぞれについて、前後に隣接するフレームの画像との間で、画素値の差分を算出する。
2つのフレーム間の偶数ラインの画素値の差分Diff_eveは下記式で算出できる。
2つのフレーム間の奇数ラインの画素値の差分Diff_oddは下記式で算出する。
対象フレームが混合フレームでない場合、対象フレームとそれに前後に隣接するフレームのうちの少なくとも一方のフレームとの間で、奇数ラインの画素値の類似度(差分Diff_odd)と、偶数ラインの画素値の類似度(差分Diff_eve)とは同程度であると考えられる。一方、対象フレームが混合フレームである場合、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の類似度(差分Diff_odd)と、偶数ラインの画素値の類似度(差分Diff_eve)との差が大きくなると考えられる。
例えば、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの差の絶対値が所定の閾値よりも大きいときに、対象フレームが混合フレームであると判断できる。または、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの比が所定の上限閾値よりも大きいときに(または所定の下限閾値よりも小さいときに)、対象フレームが混合フレームであると判断できる。
以上のように、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとに基づき、対象フレームが混合フレームであるか否かを検出することが可能となる。
そして、分割位置補正部21は、第2分割位置が示す位置にあるフレームが混合フレームである場合、次のようにして第2分割位置を補正して第1分割位置を求める。すなわち、図9に示すように、第2分割位置(pm2)が分割の開始位置を示す場合は、混合フレームの直後にあるフレームの位置(pm_r)が分割位置となるように第2分割位置を補正する。一方、第2分割位置が分割の終了位置を示す場合は、混合フレームの直前にあるフレームの位置(pm_f)が分割位置となるように、第2分割位置を補正する。
以上のようにして分割位置を補正することで、分割映像に混合フレームが含まれることがなくなり、所望の番組の画像データのみを分割映像に含めることができる。
なお、実施の形態1ないし実施の形態3では、それぞれ異なる分割位置補正部21による第2分割位置の補正動作を説明したが、各実施形態の補正動作を適宜組み合わせて第2分割位置の補正動作を行っても良い。
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がRGB値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
また、類似度(差分)の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1〜3で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記の実施形態では、第2映像データに含まれる番組情報に基づき分割位置を設定する例を説明したが、番組情報に代えて、第2映像データまたは分割指示信号に含まれる他の種類の情報に基づき分割位置を設定してもよい。
例えば以下の方法で番組とCMの境界を検出することができる。
1)予め決められたCM挿入スケジュールに基づき事前に検出する。この場合、CM挿入スケジュールは分割指示受信部17に事前に入力されて保存され、分割指示受信部17は、そのCM挿入スケジュールに基づいて第1分割位置を出力する。
2)第2映像データの伝送信号中に番組及びCM位置を特定するための情報が入っている場合、分割位置検出部がその位置を検出し、それに基づいて第2分割位置を出力する。この場合、位置を特定するための情報は、標準化された放送局間制御信号が利用される場合や、独自フォーマットが活用される場合がある。
3)放送局間制御信号に含まれるCM位置情報を利用し、番組とCMの境界を検出する。この場合、放送局間制御信号は分割指示受信部17により入力される。
4)第2映像データの音声信号のモノラルステレオ判定によってCMと番組の境界を検出する。この場合、分割位置検出部がその位置を検出し、それに基づいて第2分割位置を出力する。
上記の実施の形態1〜3で示した番組間の境界または番組とCMの境界の検出方法と、他の実施の形態で示した境界の検出方法とを適宜組み合わせてもよい。それにより、さらに境界の検出精度を向上させることができ、分割位置をより精度よく求めることができる。
上記の実施形態において、番組分割装置100は、デジタル放送波、ネットワーク等種々の経路を通じて、外部より、第1及び第2映像データ及び分割位置情報(例えば、番組情報)を受信した。しかし、第1及び第2映像データ及び分割位置情報(例えば、番組情報)を取得する経路は、上記の実施形態において示した経路に限定されるものではない。例えば、第2受信部13は、デジタル放送波を介さずに第2映像データの映像信号を受信してもよい。また、分割位置受信部15は、番組情報生成装置300からネットワークを介さず、例えば、外部入力端子を介して直接に番組情報を受信してもよい。
なお、番組分割装置のユーザが分割する位置を任意に選択し、選択された位置を第2分割位置としてもよい。この場合、ユーザが指定する位置が不正確であっても、実施の形態2および実施の形態3に開示される補正処理によって、適切な分割位置で分割映像を生成できる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示によれば、元映像から自動で所望の番組映像を切り出すことを可能とする。よって、本開示は、元映像の一部の番組映像を切り出して新たな番組データを生成する映像処理装置に適用できる。
13 第2受信部
15 分割位置受信部
17 分割指示受信部
19 分割位置検出部
21 分割位置補正部
23 第1受信部
25 映像分割部
100 番組分割装置
110 分割位置設定部
120 分割処理部
200 送出装置
300 番組情報生成装置
本開示は、映像データ中から番組映像を分割する番組分割装置及び番組分割方法に関する。
放送波で放送した番組をその放送後に、その番組を見逃した視聴者等が視聴できるようにその番組の映像データをインターネットで提供するサービスが実施されている。このようなサービスにおいては、放送された一連の映像データから、放送後にインターネットで提供される番組データを切り出す必要がある。
このような一部の番組データの切り出しを行う際、従来、映像編集者が、切り出すべき番組データの開始、終了位置を判断し、切り出し位置を決定していたため、手間がかかっていた。
特許文献1は、受信した番組データを番組部とCM部に自動で分割してHDDに記録するディジタルデータ記録再生装置を開示している。このディジタルデータ記録再生装置では、記録時において、受信信号分離部が、受信したTSを各番組データに分離する変換処理を行い、視聴する番組データを選択する。CM位置検出部は、TSのヘッダー情報からCM位置情報を検出する。データ分割部は、検出されたCM位置情報から番組データを番組部とCM部とに分割する。制御部は、CM部と番組部を各々独立したデータになるようにHDDに記録する。このディジタルデータ記録再生装置では、番組データ内のヘッダー情報からCM位置を検出し、検出したCM位置に基づき番組データを番組部とCM部に分割している。
本開示は、元映像データから一部の番組を切り出した映像を自動で生成することを可能とする番組分割装置を提供する。
本開示の第1の態様において番組分割装置が提供される。番組分割装置は、第1受信部と、第2受信部と、位置検出部と、位置補正部と、を備える。第1受信部は、番組映像を示す第1映像データを受信する。第2受信部は、第1映像データが圧縮されて生成される第2映像データを受信する。第2映像データは、映像を分割すべき位置を示す位置情報を含む。位置検出部は、第2受信部で受信した第2映像データから位置情報を抽出し、位置情報に基づき生成した第2分割位置情報を出力する。位置補正部は、第1受信部で受信した第1映像データを用いて第2分割位置情報を補正することにより、第1映像データにおける分割位置を示す第1分割位置情報を生成する。
本開示の第2の態様において番組分割方法が提供される。番組分割方法は、番組映像を示す第1映像データを受信する。さらに、第1映像データが圧縮されて生成される第2映像データを受信する。第2映像データは、映像を分割すべき位置を示す位置情報を含む。本開示に係る番組分割方法は、さらに、第2映像データから位置情報を抽出し、位置情報に基づき生成した第2分割位置情報を出力する。さらに、第1映像データを用いて第2分割位置情報を補正することにより、第1映像データにおける分割位置を示す第1分割位置情報を生成する。
本開示によれば、元映像データから、切り出す番組に関する映像の分割位置を示す情報を自動で検出する。その分割位置を用いることで番組について分割した映像を自動で生成することが可能となる。
図1は、映像分割の概念を説明するための図である。
図2は、番組分割装置のハードウェア構成を示した図である。
図3は、番組分割装置の機能的な構成を示した図である。
図4は、映像分割処理を示すフローチャートである。
図5は、分割位置を示すPCR(Program Clock Reference)値の補正を説明するための図である。
図6は、第1及び第2映像間におけるPCR値の差分を説明するための図である。
図7は、第2の実施の形態における第2分割位置の補正処理を説明するための図である。
図8は、第3の実施の形態における第2分割位置の補正処理を説明するための図である。
図9は、第3の実施の形態における第2分割位置の補正処理を説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
[1−1.構成]
図1を参照して、本実施形態の番組分割装置の概要を説明する。
番組分割装置100は、映像ストリーム中の一部の番組映像を切り出して新たな映像(以下「分割映像」という)を生成する装置である。例えば、図1に示すように映像ストリームの中に複数の番組の映像が含まれている場合に、番組分割装置100は、映像ストリームを番組単位で分割し、分割した番組毎の新たな動画ファイルを生成し、出力することができる。
[1−1−1.ハードウェア構成]
図2は、番組分割装置100のハードウェア構成を示した図である。番組分割装置100は、番組分割装置100の全体動作を制御するコントローラ51と、種々の情報を表示する表示部54と、操作者の操作を受け付ける操作部55と、RAM56と、データやプログラムを格納するデータ記憶部57とを備える。さらに、番組分割装置100は、デジタル放送波を受信するためのチューナ58と、ネットワークと接続するためのネットワークインタフェース59と、外部機器を接続するための機器インタフェース60とを備える。
表示部54は例えば、液晶ディスプレイや有機ELディスプレイで構成される。操作部55は操作者が操作を行うユーザインタフェースであり、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、マウス、タッチペン等、種々の操作部材を含む。
チューナ58は、放送局から送出されたデジタル放送波を受信し、選局を行い1つのチャンネルのデータを受信する回路である。
ネットワークインタフェース59は、無線または有線の通信回線を介して番組分割装置100をLAN等のネットワークに接続するための回路(モジュール)である。ネットワークインタフェース59は所定の通信規格に準拠した通信を行う。所定の通信規格には、IEEE802.3、IEEE802.11a/11b/11g/11ac、WiFi、3G、LTE等の通信規格が含まれる。
機器インタフェース60は、番組分割装置100に他の電子機器を接続するための回路(モジュール)である。機器インタフェース60は、所定の通信規格にしたがい通信を行う。所定の通信規格には、IEEE802.3、USB、HDMI(登録商標)、IEEE1395、Bluetooth(登録商標)等が含まれる。
RAM56は、例えば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の半導体デバイスで構成されたメモリであり、データを一時的に記憶する。RAM56は、コントローラ51の作業エリアとしても機能する。
データ記憶部57は、所定の機能を実現するために必要なパラメータ、データ及びプログラム等を記憶する記録媒体である。データ記憶部57は、例えば、ハードディスク(HDD)やソリッドステートドライブ(SSD)で構成される。
コントローラ51は、CPUまたはMPU(Micro Processing Unit)を含み、所定のプログラム(ソフトウェア)を実行することで後述する所定の機能を実現する。所定のプログラムは例えば、データ記憶部57に格納される。コントローラ51の機能をハードウェア回路のみで実現してもよい。すなわち、コントローラ51は、CPU、MPU、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)等で実現することができる。
[1−1−2.機能的な構成]
図3は、本実施形態の番組分割装置の機能的な構成を示した図である。
番組分割装置100には、非圧縮動画データを含む第1映像データと、第1映像データを圧縮して生成された第2映像データとが入力される。
第1映像データは番組やCMの映像データを含む。第1映像データは、例えば、非圧縮デジタル映像データとデジタル音声データである。なお、第1映像データは圧縮動画データであってもよい。その場合、第1映像データは、フレーム間の差分情報を用いず、フレーム単位で復号可能な圧縮動画(イントラ予測符号化されたフレームのみ、すなわち、Iピクチャのみで構成された映像データ)であることが望ましい。すなわち、第1映像データは、他のフレーム画像を参照して復号するフレームを含まないような圧縮動画データであることが望ましい。また、圧縮動画データである場合、圧縮方式は可逆圧縮でも非可逆圧縮でもよい。
第2映像データは、第1映像データと同じコンテンツを示すデータを含む。送出装置200は、第1映像データを、第1映像データよりも高い圧縮率で圧縮符号化することにより、第2映像データを生成する。例えば、第2映像データは、Iピクチャ、Bピクチャ及びPピクチャを含むように構成される。
送出装置200は、放送波用のデータ(TS(Transport Stream)形式のデータ)を生成する装置である。番組情報生成装置300は、映像データに含まれる番組に関する番組情報(例えば、電子番組表(EPG))を生成する装置である。送出装置200は、第1映像データ(非圧縮動画)を入力し、第1映像データ(非圧縮動画データ)を例えばMPEG4−AVC/H.264のフォーマットにしたがい符号化することで圧縮動画データを生成する。さらに、送出装置200は、生成した圧縮動画データに対して、番組情報生成装置300により生成された番組情報(EPG(Electronic Program Guide))を多重化して、第2映像データを生成する。送出装置200により生成された第2映像データは放送波で送出される。
IP変換装置400は、送出装置200と同様に第1映像データ(非圧縮動画)を入力する。IP変換装置400は、入力用にSDI(Serial Digital Interface)端子を有し、出力用にネットワークインタフェースを有する。IP変換装置400は、第1映像データを示すSDI信号をIPパケット信号に変換し、番組分割装置100の第1受信部23へ出力する。
番組分割装置100は、分割位置設定部110と、分割処理部120とを含む。分割位置設定部110は、第2映像データを用いて映像の分割位置を設定する。分割処理部120は、設定された分割位置にしたがい第1映像データを分割する。分割位置設定部110は、第2受信部13と、分割位置受信部15と、分割指示受信部17と、分割位置検出部19とを備える。分割処理部120は、分割位置補正部21と、第1受信部23と、映像分割部25とを備える。
分割位置設定部110は、第2映像データ内に含まれる情報または番組分割装置100の外部から受信した情報に基づき、映像の分割位置を設定する。例えば、分割位置設定部110は、第2映像データに含まれる番組情報、放送局間制御信号などに基づき、分割位置を設定する。あるいは、分割位置設定部110は、外部から受信した番組情報、または外部から受信した分割指示信号に基づいて分割位置を設定する。
分割位置設定部110において、第2受信部13は、送出装置200から送信された第2映像データを含むデジタル放送波を受信する。第2受信部13は、デジタル放送波(TS)を受信するチューナ58で実現できる。第2受信部13は、送出装置200に対応したチャンネルを選局して第2映像データを受信し、第2映像データから動画データと番組情報とを抽出する。第2受信部13は、番組情報から番組毎の開始時刻と終了時刻を特定し、それらの時刻情報(時/分/秒)を動画データとともに出力する。番組情報は番組の開始時刻と終了時刻を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。なお、本実施形態では、第2受信部13は、番組単位で映像を分割するように分割位置を抽出する。
分割指示受信部17は、外部から、操作者により指定された分割位置を示す分割指示信号を受信する。分割指示信号において分割位置は、映像の再生時刻(時/分/秒)で表される。例えば、操作者が番組のダイジェスト版等を製作する際に、切り出す映像の区間(分割位置)を指定し、その指定に基づき分割指示信号が生成される。分割指示受信部17は、分割指示信号が示す分割位置を特定する時刻情報(再生時刻)を出力する。なお、再生時刻は、映像の時系列を基準とした時刻情報である。
分割位置検出部19は、第2受信部13から受信した動画データと、第2受信部13または分割指示受信部17から受信した時刻情報とから分割位置のPCR(Program Clock Reference)値(基準時刻情報の一例)を第2分割位置として求める。そして、分割位置検出部19は、第2分割位置を示す第2分割位置情報を出力する。分割位置検出部19は、映像データに含まれるPCR値と再生時刻(時/分/秒)の対応関係を把握しており、これにより再生時刻に対応したPCR値を算出することができる。なお、基準時刻情報は、映像のタイミングに対応しており、映像のタイミングを制御するために用いられる。
また、分割位置受信部15は、インターネット等のネットワークを介して番組情報生成装置300から番組情報を受信する。分割位置受信部15は、番組情報から番組毎の開始時刻と終了時刻を抽出して分割位置を特定する。この分割位置は再生時刻(時/分/秒)で表されている。分割位置受信部15は、再生時刻で表された分割位置をPCR値に変換して第2分割位置を求め、第2分割位置を示す第2分割位置情報を出力する。分割位置受信部15の機能はネットワークインタフェース59とコントローラ51で実現される。
分割処理部120において、第1受信部23は、IP変換装置400を介して非圧縮の動画データを含む第1映像データを受信する。第1受信部23の機能はネットワークインタフェース59を用いて実現される。
分割位置補正部21は、分割位置設定部110(すなわち、分割位置受信部15または分割位置検出部19)から第2分割位置情報を受信する。また、分割位置補正部21は、第1受信部23から第1映像データを受信する。分割位置補正部21は、第2分割位置情報を、第1映像データを用いて補正して、第1映像データにおける最終的な分割位置(以下「第1分割位置」という)を求める。
映像分割部25は、第1分割位置にしたがい第1映像データから映像を分割し、分割映像の動画ファイルを生成し、出力する。
後述する番組分割装置100の機能(すなわち、分割位置受信部15、分割指示受信部17、分割位置検出部19、分割位置補正部21及び映像分割部25の機能)は、所定のプログラム及びそれを実行するコントローラ51で実現される。
[1−2.動作]
以上のように構成された番組分割装置100の動作を以下に説明する。
[1−2−1.映像分割処理]
図4のフローチャートを参照し、番組分割装置100による映像分割処理を説明する。なお、図4のフローチャートは、第2受信部13または分割指示受信部17において分割位置を取得する場合の映像分割処理を示している。
番組分割装置100は、第2受信部13または分割指示受信部17において分割位置を取得する(S10)。この取得された分割位置(開始位置、終了位置)は映像の再生時刻(時/分/秒)で表されている。
第2受信部13は、第2映像データに多重化された番組情報を抽出する。第2受信部13は、番組の境界(開始時刻/終了時刻)を示す情報(時刻情報)を番組情報から取得し、分割位置検出部19に送信する。番組情報は各番組の放送時間帯すなわち各番組の開始時刻と終了時刻を示す情報を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。第2受信部13は、番組情報から番組の開始時刻と終了時刻を抽出する。
一方、分割指示受信部17は、外部より分割位置を示す情報を示す分割指示信号を受信する。分割指示信号は、対象となる映像の再生時刻を基準として、分割位置を指定する。
分割位置検出部19は、第2受信部13または分割指示受信部17から分割位置を示す時刻情報を受信し、受信した時刻情報に基づいて、番組毎に映像を分割するための分割位置を設定する。
具体的には、分割位置検出部19は、第2受信部13または分割指示受信部17から、再生時刻を基準として示される分割位置(開始時刻/終了時刻)を受信する。分割位置検出部19は、さらに、第2映像データに含まれる圧縮動画データのPCR値を参照して、分割位置に対応する再生時刻から、分割位置に対応するPCR値を求める。これにより分割位置がPCR値を用いて表わされる。PCR値を用いることにより、分割位置を正確に指定することができ、映像分割の精度を向上できる。なお、PCR(Program Clock Reference)は、33ビット長、90kHzで表現される基準時刻情報である。一般的に、PCRは、映像のタイミングを制御するために用いられる。PCRは実際の時間と下記の関係を有する。
1(PCR) = 1/90000(秒)
分割位置検出部19は、PCR値に換算した分割位置を第2分割位置として、分割処理部120(分割位置補正部21)に送信する。
分割処理部120において分割位置補正部21は、第2分割位置を補正して、第1映像データにおける分割位置(以下「第1分割位置」という)を求める(S12)。具体的には、分割位置補正部21は、第1受信部23で受信した第1映像の非圧縮の動画データを用いて第2分割位置を補正することで、第1映像データにおける第1分割位置(PCR値)を求める。そして、分割位置補正部21は、第1分割位置を示す第1分割位置情報を映像分割部25に送信する。
第1映像データと第2映像データは同じコンテンツの映像を示す。しかし、映像データに付加されるPCR値は図5に示すように第1映像データと第2映像データの間で異なった値となる。これは、第1映像データから第2映像データを生成するためのエンコード等の処理において、PCR値にずれが生じることがあるためである。よって、第2映像データのPCR値で求められた第2分割位置を第1映像データに適用する際には、第2分割位置を補正して、第1映像データのPCR値(第1分割位置)に変換する必要がある。そこで、分割位置補正部21は、第2分割位置を補正して、第1映像データにおける第1分割位置を求める。第2分割位置の補正処理の詳細については後述する。
映像分割部25は、分割位置補正部21から受信した第1分割位置(PCR値)に基づき、第1映像データから映像を切り出して分割映像を生成する(S13)。映像分割部25は、分割した映像毎に動画ファイルとして出力する。
以上のようにして番組分割装置100は、第2映像データに含まれる分割位置情報または外部から受信した分割指示信号に基づき、第1映像データから映像を切り出して分割映像を自動で生成することができる。なお、番組分割装置100は、分割映像の動画ファイルを外部に出力したが、第1分割位置を示す第1分割位置情報のみを外部に出力するようにしてもよい。
ここで、上記の処理では、分割位置設定部110は、第2受信部13または分割指示受信部17で受信した情報に基づいて第2分割位置を設定した。番組分割装置100は、これらの分割位置の入力系統に加えて、さらに、分割位置受信部15により受信した情報に基づいても分割位置を設定することができる。
分割位置受信部15は、番組情報生成装置300から、インターネット等を介して番組情報を受信する。分割位置受信部15は番組情報から番組の開始/終了時刻を抽出し、抽出した時刻に基づきPCR値を算出し、第2分割位置として分割位置補正部21に出力する。
以上のように番組分割装置100は、第1映像データにおいて分割映像を切り出す位置を、第2映像データに含まれる情報に基づいて自動で設定できる。また、映像情報の分割位置をPCR値で指定することで、映像分割の精度を向上できる。また、非圧縮動画データである第1映像データから分割映像を生成するため、高画質の分割映像を生成することができる。
[1−2−2.第2分割位置の補正]
分割位置補正部21による第2分割位置(PCR値)の補正動作について説明する。
図5は、第1映像データ及び第2映像データそれぞれにおけるPCR値を示した図である。第1映像データと第2映像データとは同じコンテンツを示すが、図5に示すように、第1映像データと第2映像データとの間でPCR値に差が生じることがある。すなわち、映像の同じフレームにおいて、第1映像データのPCR値と第2映像データのPCR値とが異なることがある。これは、第2映像データを第1映像データから生成する際に、エンコード処理や番組情報の多重化処理を行うためである。このため、第1映像データを分割する場合には、第1映像データにおけるPCR値で分割位置を特定する必要がある。しかし、第2映像データのPCRの時間軸で求められた第2分割位置は、第2映像データにおけるPCR値で特定されている。そこで、第2分割位置に対応する第2映像データにおけるPCR値を補正して、対応する第1映像データのPCR値を求める必要がある。
例えば、図5の例では、第1映像データのPCR値に対する第2映像データのPCR値の差分は+10である。よって、第2分割位置の第2映像データにおけるPCR値(=200)から、その差分(=10)だけ減算する補正を行うことにより、第2分割位置の第1映像データにおけるPCR値(=190)を求めることができる。
そこで、分割位置補正部21は下記式に基づき、分割位置を示す第1映像データにおけるPCR値(pm1)を求める。
pm1 = pm2 - pdiff
ここで、pm2は第2分割位置の第2映像データにおけるPCR値である。pdiffは第1映像データのPCR値と、それに対応する第2映像データのPCR値との差分である。
第1映像データにおけるPCR値と、それに対応する第2映像データにおけるPCR値との差分であるpdiffは、下記のようにして求められる。
図6に示すように、送出装置200から送信され、第2受信部13が時刻t1に受信した第2映像データのPCR値をp1とする。また、第1受信部23が時刻t2に受信した第1映像データのPCR値をp2とする。このとき、時刻t1における第1映像データのPCR値p1xは下記式で算出される。
p1x = p2-(t2-t1)×90000
よって、第1映像データと第2映像データのPCR値の差分pdiffは下記式で算出される。
pdiff = p1 - p1x = p1 + (t2-t1)×90000 - p2
なお、第1映像データと第2映像データ間のPCR値の差分pdiffは、時間によらず一定であるため、一度だけ算出すればよい。
以上のように、分割位置補正部21は、第1映像データと第2映像データ間のPCR値の差分(pdiff)を用いて第2分割位置(pm2)を補正することにより、第1映像データにおける分割位置(pm1)を求める。分割位置補正部21は、第1映像データと第2映像データ間のPCR値の差分(pdiff)を高い精度で求めることができる。これにより、第1映像データにおける分割位置を精度良く決定することができる。
[1−3.効果等]
以上のように本実施形態の番組分割装置100は、第1受信部23と、第2受信部13と、分割位置検出部19と、分割位置補正部21と、を備える。第1受信部23は、番組映像を示す第1映像データを受信する。第2受信部13は、第2映像データを受信する。第2映像データは、第1映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す、番組の開始/終了時刻情報(位置情報の一例)を含む。分割位置検出部19は、第2受信部13で受信した第2映像データから番組の開始/終了時刻情報を抽出し、その情報に基づき第2分割位置情報を生成する。分割位置検出部19は、さらに、第2分割位置情報を出力する。分割位置補正部21は、第1受信部23で受信した第1映像データを用いて第2分割位置情報を補正する。分割位置補正部21は、さらに、第1映像データにおける分割位置を示す第1分割位置情報を生成する。
この構成により、第1映像データにおいて分割映像を切り出す位置を、第2映像データに含まれる情報に基づいて自動的に設定することができる。よって、この情報を用いることで、第1映像データを自動的に分割し、番組の分割映像を取得することができる。
さらに、番組分割装置100は、第1分割位置情報に基づいて第1映像データの一部を切り出すことにより分割映像データを生成する映像分割部25を備えてもよい。この構成により、第1分割位置情報に基づいて第1映像データを精度良く分割し、分割映像データを自動的に取得することができる。ここで、第1映像データは非圧縮動画データであるため、第2映像データと比較して高画質である。第1映像データから分割映像を切り出すことにより、高画質の分割映像を生成することができる。
また、第1及び第2分割位置情報は、それぞれ第1及び第2映像データにおけるPCR(基準時刻情報)で表されてもよい。第1及び第2分割位置情報を、このような基準時刻情報で表現することで、番組映像の分割位置を精度よく指定することができる。
なお、第1受信部23が出力する第1映像データは、TSである必要はなく、MP4、MOVなど、異なる伝送フォーマットでもよい。その場合、映像分割部25または分割位置補正部21はその伝送フォーマットを受信して、前述する分割動作または補正動作を行う。
また、分割位置検出部19または分割位置受信部15が出力する第2分割位置は、映像分割部25が第1映像データを分割するのに十分な正確さがある表現形態であればPCRでなくともよい。例えば、映像分割部25が分割を行う絶対時刻や、第1映像データの伝送フォーマットのパケット数やパケットインデックスなど、分割位置を正確に指定できる表現であれば、本開示の思想を適用可能である。
なお、図3に示す機能部の全体またはその一部が専用ハードウェアにて実現されてもよい。
(実施の形態2)
本実施形態では、分割位置補正部21による、第1分割位置を求めるための第2分割位置の補正動作の別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部21の動作以外は実施の形態1で示したものと同様である。
異なる番組間の境界または番組とCM間の境界では、フレーム画像の内容(すなわち、フレーム画像間の画素値の差分)が大きく変化する。そこで、本実施形態では、図7に示すように、分割位置設定部110で求めた第2分割位置(pm2)の近傍範囲において隣接するフレーム画像間の画素値の差分が最も大きくなる位置(フレーム間の境界)を検出し、その位置を第1分割位置(pm1)に設定する。この方法によれば、より精度よく、番組間の境界や番組とCM間の境界を分割位置として特定することができる。
具体的には、分割位置補正部21は、分割位置設定部110により設定された第2分割位置(pm)を中心とした所定範囲(例えば、4フレーム)内において、隣接する2つのフレーム画像間の類似度を算出する。類似度は、隣接する2つのフレーム画像間の画素値の差分を求めることで算出する。そして、分割位置補正部21は、フレーム画像間の画素値の類似度が最小となる(差分が最大となる)フレーム画像の間の境界を求め、求めた境界を第1映像データにおける分割位置(補正後の分割位置)(pm1)に設定する。
例えば、図7の例では、第2分割位置(pm2)を中心とした4フレーム分の範囲内(フレームn-1からフレームn+2)において、各々のフレームと、そのフレームに隣接するフレームとの間で画素値の差分を算出する。
図7の例では、番組1から番組2へ切り替わる前後のフレーム間(フレームn-1とフレームnとの間)で、画素値の差分が最大(すなわち、類似度が最小)となる。この画素値の差分が最大となるフレーム間を、番組と番組の境界である境界位置とする。その境界位置を第1映像データにおける分割位置すなわち第1分割位置(pm1)に設定している。
フレーム画像間の類似度すなわち画素値の差分は、例えば、各画素に対して輝度(Y)、色差(Cb)、色差(Cr)のそれぞれについて差分の二乗和平方根を算出し、その総和を算出することで求めることができる。すなわち、フレーム間の画素値の差分(Diff)を下記式で算出する。
ここで、
y1(i,j)は、前フレーム内の画素(i,j)の輝度
y2(i,j)は、後フレーム内の画素(i,j)の輝度
u1(i,j)は、前フレーム内の画素(i,j)の色差(Cb)
u2(i,j)は、後フレーム内の画素(i,j)の色差(Cb)
v1(i,j)は、前フレーム内の画素(i,j)の色差(Cr)
v2(i,j)は、後フレーム内の画素(i,j)の色差(Cr)である。
以上のように本実施形態では、分割位置設定部110により設定された第2分割位置に基づく所定範囲内において隣接フレーム画像間の類似度(画素値の差分)を検出し、最小類似度(最大差分)を与える隣接フレーム画像を求め、それらのフレーム間の境界を第1分割位置に設定する。このように分割位置を設定することで、より精度よく、番組間の境界(または番組とCMの境界)を求めることができ、精度良く番組映像を分割することができる。
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がRGB値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
また、類似度(差分)の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群、または、所定間隔毎に抽出した画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
(実施の形態3)
本実施形態では、分割位置補正部21による、第1分割位置を求めるための第2分割位置(PCR値)の補正動作のさらに別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部21の動作以外は実施の形態1で示したものと同様である。
異なる番組間の境界においては、境界直前のフレームの画像データと境界直後のフレームの画像データとが交互に入り交じったフレーム(以下「混合フレーム」という)が存在する場合も想定される。すなわち、混合フレームにおいては、前の番組の画像データと、後の番組の画像データが混在する。例えば、図8に示すように、番組1と番組2の境界にあるフレームnは、奇数ラインにおいて番組1の画像データを含み、偶数ラインにおいて番組2の画像データを含む画像となる場合である。映像を分割する場合、分割映像にこのような2つの番組の画像データが混在した混合フレームが含まれると、分割映像に他の映像の画像データが含まれることになり、好ましくない。よって、このような混合フレームが存在する場合に、分割映像に混合フレームが含まれないように分割位置を設定することが好ましい。なお、このような混合フレームは番組とCMの境界においても生じ得る。
そこで、本実施形態の分割位置補正部21は、分割位置設定部110により設定された第2分割位置の近傍範囲において混合フレームの存在を検出する。分割位置補正部21は、さらに、混合フレームが検出された場合に、その混合フレームが分割映像に含まれないように第2分割位置を補正する。
混合フレームの検出方法について説明する。混合フレームの画像は、奇数ラインまたは偶数ラインのいずれか一方の画像が前フレームの画像と類似する。また、奇数ラインまたは偶数ラインの他方の画像が後フレームの画像と類似する画像となる。そこで、チェック対象とするフレーム画像の奇数ラインと偶数ラインのそれぞれについて、前後に隣接するフレームの画像との間で、画素値の差分を算出する。
2つのフレーム間の偶数ラインの画素値の差分Diff_eveは下記式で算出できる。
2つのフレーム間の奇数ラインの画素値の差分Diff_oddは下記式で算出する。
対象フレームが混合フレームでない場合、対象フレームとそれに前後に隣接するフレームのうちの少なくとも一方のフレームとの間で、奇数ラインの画素値の類似度(差分Diff_odd)と、偶数ラインの画素値の類似度(差分Diff_eve)とは同程度であると考えられる。一方、対象フレームが混合フレームである場合、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の類似度(差分Diff_odd)と、偶数ラインの画素値の類似度(差分Diff_eve)との差が大きくなると考えられる。
例えば、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの差の絶対値が所定の閾値よりも大きいときに、対象フレームが混合フレームであると判断できる。または、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの比が所定の上限閾値よりも大きいときに(または所定の下限閾値よりも小さいときに)、対象フレームが混合フレームであると判断できる。
以上のように、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとに基づき、対象フレームが混合フレームであるか否かを検出することが可能となる。
そして、分割位置補正部21は、第2分割位置が示す位置にあるフレームが混合フレームである場合、次のようにして第2分割位置を補正して第1分割位置を求める。すなわち、図9に示すように、第2分割位置(pm2)が分割の開始位置を示す場合は、混合フレームの直後にあるフレームの位置(pm_r)が分割位置となるように第2分割位置を補正する。一方、第2分割位置が分割の終了位置を示す場合は、混合フレームの直前にあるフレームの位置(pm_f)が分割位置となるように、第2分割位置を補正する。
以上のようにして分割位置を補正することで、分割映像に混合フレームが含まれることがなくなり、所望の番組の画像データのみを分割映像に含めることができる。
なお、実施の形態1ないし実施の形態3では、それぞれ異なる分割位置補正部21による第2分割位置の補正動作を説明したが、各実施形態の補正動作を適宜組み合わせて第2分割位置の補正動作を行っても良い。
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がRGB値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
また、類似度(差分)の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1〜3で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記の実施形態では、第2映像データに含まれる番組情報に基づき分割位置を設定する例を説明したが、番組情報に代えて、第2映像データまたは分割指示信号に含まれる他の種類の情報に基づき分割位置を設定してもよい。
例えば以下の方法で番組とCMの境界を検出することができる。
1)予め決められたCM挿入スケジュールに基づき事前に検出する。この場合、CM挿入スケジュールは分割指示受信部17に事前に入力されて保存され、分割指示受信部17は、そのCM挿入スケジュールに基づいて第1分割位置を出力する。
2)第2映像データの伝送信号中に番組及びCM位置を特定するための情報が入っている場合、分割位置検出部がその位置を検出し、それに基づいて第2分割位置を出力する。この場合、位置を特定するための情報は、標準化された放送局間制御信号が利用される場合や、独自フォーマットが活用される場合がある。
3)放送局間制御信号に含まれるCM位置情報を利用し、番組とCMの境界を検出する。この場合、放送局間制御信号は分割指示受信部17により入力される。
4)第2映像データの音声信号のモノラルステレオ判定によってCMと番組の境界を検出する。この場合、分割位置検出部がその位置を検出し、それに基づいて第2分割位置を出力する。
上記の実施の形態1〜3で示した番組間の境界または番組とCMの境界の検出方法と、他の実施の形態で示した境界の検出方法とを適宜組み合わせてもよい。それにより、さらに境界の検出精度を向上させることができ、分割位置をより精度よく求めることができる。
上記の実施形態において、番組分割装置100は、デジタル放送波、ネットワーク等種々の経路を通じて、外部より、第1及び第2映像データ及び分割位置情報(例えば、番組情報)を受信した。しかし、第1及び第2映像データ及び分割位置情報(例えば、番組情報)を取得する経路は、上記の実施形態において示した経路に限定されるものではない。例えば、第2受信部13は、デジタル放送波を介さずに第2映像データの映像信号を受信してもよい。また、分割位置受信部15は、番組情報生成装置300からネットワークを介さず、例えば、外部入力端子を介して直接に番組情報を受信してもよい。
なお、番組分割装置のユーザが分割する位置を任意に選択し、選択された位置を第2分割位置としてもよい。この場合、ユーザが指定する位置が不正確であっても、実施の形態2および実施の形態3に開示される補正処理によって、適切な分割位置で分割映像を生成できる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示によれば、元映像から自動で所望の番組映像を切り出すことを可能とする。よって、本開示は、元映像の一部の番組映像を切り出して新たな番組データを生成する映像処理装置に適用できる。
13 第2受信部
15 分割位置受信部
17 分割指示受信部
19 分割位置検出部
21 分割位置補正部
23 第1受信部
25 映像分割部
100 番組分割装置
110 分割位置設定部
120 分割処理部
200 送出装置
300 番組情報生成装置