JP3894948B2 - 動画像符号化装置及び動画像記録装置 - Google Patents

Description

本発明は、テレビジョン放送信号の動画像符号化に関し、特に、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｅｃｔｏｒ）勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）標準ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等に代表される動画像符号化方式によりテレビ番組期間とコマーシャル期間とを含むテレビジョン放送の放送信号を符号化する動画像符号化装置、この動画像符号化装置により符号化されたデータを記録する動画像記録装置、コマーシャルの境界ピクチャーに基づいた再生方式により符号化データを再生する動画像再生装置、動画像符号化方法、電子情報処理装置に動画像符号化処理を実行させるプログラム、及びこのプログラムを記録した記録媒体に関するものである。

一般に、テレビジョン放送、特に、無料放送の場合には、テレビ番組期間の前後又は途中にコマーシャル期間がある。なお、本出願において、「テレビ番組期間」とは、テレビジョン放送のうちのコマーシャル期間を含まない番組本編の放送期間を言い、「コマーシャル期間（ＣＭ期間）」とは、テレビジョン放送のうちのテレビ番組期間の前後又は途中に放送される番組本編以外の放送期間を言う。

コマーシャル（以下において、ＣＭと略称する場合がある）は、広告主が視聴者に商品情報を提供するために非常に有効な手段である。したがって、広告主やＣＭを作成した広告代理店にとって、ＣＭが契約通りに確実に放送されているか否かは重要な問題である。これを容易に確認するため、テレビジョン放送をすべて録画し、その中でＣＭ放送のみを取り出す技術が求められている。ＣＭ放送のみを取り出すためには、ＣＭ期間を確実に検出しなければならない。このような要望に応えるため、ＣＭ期間検出装置が提案されている（例えば、特許文献１参照）。また、このＣＭ期間検出方法では、ＣＭの連続性（１つのＣＭ期間に含まれる複数のＣＭ（本出願においては、１つのＣＭ期間に含まれる複数のＣＭのそれぞれを、「ＣＭ部分」と言う。）が、例えば、１５秒間ずつ繰り返し放送される性質）を評価することにより、ＣＭ期間の誤検出及び未検出を防止する対策が採用されている。さらに、検出したＣＭ期間の情報をデータベース等の記憶装置に記憶させ、その記憶情報に基づき、ＣＭ放送を確認する手法が開示されている。

特開２００３−４７０３１号公報（第５頁、第１１頁、図１、図１６）

しかしながら、上記した従来のＣＭ期間検出装置においては、検出した情報を記憶させる記憶装置等が必要であり、装置構成が複雑になるとともに装置価格が高くなってしまうという課題があった。さらに、もとの動画像情報を交換可能な記憶媒体に記録し、他の再生装置でこの記憶媒体に記憶された情報を再生する場合、検出したＣＭ期間の情報がこの記憶媒体に記録されていないため、他の再生装置ではＣＭだけを抽出して見るといった動作ができなかった。上記の従来のＣＭ期間検出装置は、広告主等の業者が自らのみ使うことを目的としたプロ用途の専用装置であった。

近年、ＣＭは視聴者に商品情報を提供するためだけではなく、企業イメージの向上のためにも重要となっている。このため、ＣＭは年々洗練され、多くの創意工夫がなされた映像作品と呼ぶにふさわしい内容を持つものも少なくない。このようなＣＭの質の向上により、若年者には番組本編よりもＣＭを好んで視聴する者も現れている。一方で、テレビ番組期間だけを視聴したいという視聴者も存在し、どちらの視聴者の要求も満足させる廉価な装置が望まれている。

そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的は、動画像を符号化した情報を記録するための動画像記録装置以外の記憶手段（例えば、内蔵大容量半導体メモリや内蔵のハードディスク）を必要とせず、テレビジョン放送を符号化する際に符号化データにコマーシャルの境界に関する情報を埋め込むことができる動画像符号化装置、コマーシャルの境界に関する情報が埋め込まれた符号化データを記録することができる動画像記録装置、及びコマーシャルの境界に関する情報に基づいた再生方式で動画像再生を行うことができる動画像再生装置を提供することにある。

本発明の動画像符号化装置は、
テレビ番組期間と、前記テレビ番組期間以外の期間とを含むテレビジョン放送の放送信号を符号化処理し、前記放送信号の符号化データを出力する符号化手段と、
前記符号化手段に、一定周期毎のピクチャーについて画面内符号化を行わせ、前記画面内符号化される一定周期毎のピクチャーの間のピクチャーについて画面間符号化を行わせるように、前記符号化手段を制御する符号化制御手段と、
前記テレビ番組期間から前記テレビ番組期間以外の期間に切り替わる境界、及び前記テレビ番組期間以外の期間から前記テレビ番組期間に切り替わる境界を検出して境界情報を出力する境界検出手段と
を有し、
前記符号化制御手段が、
前記境界情報に基づいて、前記境界にある境界ピクチャーについて画面内符号化し、
前記境界ピクチャーが、画面内符号化が行われる前記一定周期毎のピクチャーと重なった場合に、前記一定周期毎のピクチャーの所定ピクチャー数後のピクチャーを画面内符号化するように、
前記符号化処理を制御すること
を特徴としている。

また、本発明の動画像再生装置は、テレビ番組期間とこのテレビ番組期間以外のコマーシャル期間とを含むテレビジョン放送の放送信号を画面内符号化及び画面間符号化によって符号化して生成された符号化データであって、一定周期毎のピクチャーについて画面内符号化が行われる符号化データを復号する復号手段と、一定周期毎の画面内符号化ピクチャー以外の画面内符号化ピクチャーを、前記テレビ番組期間から前記コマーシャル期間に切り替わる境界及び前記コマーシャル期間から前記テレビ番組期間に切り替わる境界である番組・コマーシャル境界、並びに、前記コマーシャル期間内において放送される複数のコマーシャル部分の間のコマーシャル・コマーシャル境界と認識するコマーシャル境界判別手段と、前記コマーシャル境界判別手段により判別された前記番組・コマーシャル境界及び前記コマーシャル・コマーシャル境界に基づいて、前記復号手段による復号処理を制御する復号処理制御手段とを有することを特徴としている。

本発明の動画像符号化装置によれば、テレビジョン放送を符号化する際に符号化データにコマーシャルの境界に関する情報を埋め込むので、符号化データからコマーシャル期間を検出することが可能になるという効果が得られる。

また、本発明の動画像記録装置によれば、コマーシャルの境界に関する情報が埋め込まれた符号化データを記録するので、記録された符号化データからコマーシャル期間を検出することが可能になるという効果が得られる。

さらに、本発明の動画像再生装置によれば、一定周期毎の画面内符号化ピクチャー以外の画面内符号化ピクチャーにより、符号化データから番組・コマーシャル境界及びコマーシャル・コマーシャル境界を検出することができるので、これらの検出情報に基づく再生方式（例えば、ＣＭ選択抽出、本番組選択抽出やＣＭ早送りを含む）で動画像再生を行うことができるという効果が得られる。

本発明の実施の形態１に係る動画像符号化装置の構成を概略的に示すブロック図である。 本発明の実施の形態１、実施の形態２、実施の形態３、及び実施の形態４におけるＣＭ境界検出部の構成を概略的に示すブロック図である。 本発明の実施の形態１、実施の形態２、実施の形態３、及び実施の形態４における符号化器の構成を概略的に示すブロック図である。 （Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）は、本発明の実施の形態１に係る動画像符号化装置における符号化器によるＣＭ境界がある場合の符号化方式を示す説明図である。 （Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）は、本発明の実施の形態１に係る動画像符号化装置における符号化器によるＣＭ境界がある場合の符号化方式を示す説明図である。 （Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）は、本発明の実施の形態１に係る動画像符号化装置における符号化器によるＣＭ境界がある場合の符号化方式を示す説明図である。 本発明の実施の形態２に係る動画像記録装置の構成を概略的に示すブロック図である。 （Ａ）は、本発明の実施の形態２、実施の形態３、実施の形態４、及び実施の形態５に係る動画像記録装置における確認操作部のＣＭ期間の表示例を示す図であり、（Ｂ）は、画面内符号化フレームの位置を示す説明図であり、（Ｃ）は、同図（Ｂ）の期間Ｐａの拡大図である。 （Ａ）は、本発明の実施の形態２、実施の形態３、実施の形態４、及び実施の形態５に係る動画像記録装置における確認操作部のＣＭ期間の表示例（誤判定がある場合）を示す図であり、（Ｂ）は、画面内符号化フレームの位置を示す説明図であり、（Ｃ）は、同図（Ｂ）の期間Ｐｂの拡大図である。 （Ａ）は、本発明の実施の形態２、実施の形態３、実施の形態４、及び実施の形態５に係る動画像記録装置における確認操作部のＣＭ期間の表示例（誤判定がある場合）を示す図であり、（Ｂ）は、画面内符号化フレームの位置を示す説明図であり、（Ｃ）は、同図（Ｂ）の期間Ｐｃの拡大図である。 本発明の実施の形態３、及び実施の形態４に係る動画像記録装置の構成を概略的に示すブロック図である。 （Ａ）は、本発明の実施の形態３に係る動画像記録装置における確認操作部のＣＭ期間の表示例（データ編集部による編集前）を示す図であり、（Ｂ）は、ＣＭ期間の表示例（データ編集部による編集後）を示す図であり、（Ｃ）は、本発明の実施の形態４に係る動画像記録装置における確認操作部のＣＭ期間の表示例（データ編集部による編集前）を示す図であり、（Ｄ）は、ＣＭ期間の表示例（データ編集部による編集後）を示す図である。 （Ａ）は、本発明の実施の形態３、及び実施の形態４に係る動画像記録装置における確認操作部のＣＭ期間の表示例（データ編集部による編集前）を示す図であり、（Ｂ）は、ＣＭ期間の表示例（データ編集部による編集後）を示す図である。 本発明の実施の形態５に係る動画像再生装置の構成を概略的に示すブロック図である。

符号の説明

１ ＣＭ境界検出部、 ２ メモリ、 ３ 符号化器、 ４ 符号化制御部、 １１ シーンチェンジ検出部、 １２ 無音期間検出部、 １３ ＣＭ期間判定部、 ３２ 減算器、 ３３ ＤＣＴ回路、 ３４ 量子化回路、 ３５ ＤＣ／ＡＣ予測器、 ３６ 可変長符号化回路、 ３７ 逆量子化回路、 ３８ 逆ＤＣＴ回路、 ３９ 加算器、 ４０ 復号画像メモリ、 ４１ 予測画像作成回路、 ４２ 動き検出回路、 ４３ 動きベクトル予測回路、 ８０ 記録部、 ８１ 確認操作部、 ８２ 復号部、 ８３ 復号メモリ、 ８４ データ編集部、 ８５ ＣＭ境界判別部、 ８６ 復号処理制御部、 １０１ 動画像符号化装置、 １０２，１０３ 動画像記録装置、 １０４ 動画像再生装置、 Ｉａ 一定周期毎の画面内符号化フレーム（ピクチャー）、 Ｉｂ，Ｉｂ１，Ｉｂ２ ＣＭ境界に位置する画面内符号化フレーム（ピクチャー）、 Ｉｂ１´ 一定周期毎の画面内符号化フレーム（ピクチャー）に重なり、所定フレーム（ピクチャー）数ずらして画面内符号化されたＣＭ境界に対する画面内符号化フレーム（ピクチャー）、 Ｉｃ ＣＭ境界に対する画面内符号化フレーム（ピクチャー）が一定周期毎の画面内符号化フレーム（ピクチャー）に重なった結果、画面内符号化ではなく画面間符号化された一定周期位置の画面間符号化フレーム（ピクチャー）、 ＣＭ１〜ＣＭ４ ＣＭ期間内に連続的に存在するＣＭ部分。

以下に、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。なお、以下の説明においては、動画像符号化方式として、主に、ＭＰＥＧ−４を採用した場合を説明する。

実施の形態１．
一般に、ＭＰＥＧ−４に代表される動画像符号化方式は、入力される映像信号に対して空間的・時間的相関関係を利用してデータの圧縮を行う。そして、この空間的・時間的圧縮により得られるデータをもとに、所定の順序に従ってさらに可変長符号化を行い、ビットストリームを生成する。

ＭＰＥＧ−４では、表示される画像全体（合成画像）は、複数の画像系列の画像（物体）により構成されることから、各画像系列の、各表示時刻における画面をビデオ・オブジェクト・プレーン（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）（以下「ＶＯＰ」と記す。）と呼ぶ。また、表示画像の全体が１つの画像系列の画像により構成される場合には、ＶＯＰは、ＭＰＥＧ−１，２におけるフレーム（ＭＰＥＧ−２ではピクチャー）に相当する。以下の説明においては、説明を簡単にするために、表示画像の全体が１つの画像系列の画像により構成されるものとして説明する。この場合、ＶＯＰは「フレーム」と等価である。

フレームは、輝度信号と色差信号をもち、複数のマクロブロックから構成される。マクロブロックは、輝度信号に対して縦横それぞれ１６画素から成り、ＭＰＥＧ−４における画像符号化では、このマクロブロック単位で空間的・時間的圧縮等の手法により情報量の圧縮が行われる。

空間的圧縮は、直交変換の一種である離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）（以下「ＤＣＴ」と記す。）により時間領域から周波数領域に変換した後の信号を量子化することにより行われる。また、時間的圧縮には、動き補償が用いられる。

また、フレーム単位のデータ圧縮方法には、同一画面内の空間的圧縮のみで符号化される空間的画面内符号化（以下「フレーム内符号化」又は「ピクチャー内符号化」とも記す。）と、画面間の相関から時間的圧縮を用いて符号化される画面間符号化（以下「フレーム間符号化」又は「ピクチャー間符号化」とも記す。）とがある。

動画像符号化装置では、所定の符号化パラメータに従って、指定された符号量のビットストリームを出力しなければならない。また、ビットストリームを受け取る復号化装置側のバッファ（仮想バッファ検証器）（以下「ＶＢＶバッファ」と記す。）がオーバーフロー又はアンダーフローしないように、動画像符号化装置側でＶＢＶバッファの占有量を想定して発生符号量を制御しなければならない。動画像符号化装置における発生符号量は、フレームを構成するマクロブロック毎に設定され、発生符号量の制御は、ＤＣＴ係数を量子化するための量子化パラメータにより、フレーム単位で行われる。一般に、量子化パラメータを大きくすると発生符号量は小さくなり、量子化パラメータを小さくすると発生符号量は大きくなる。即ち、発生符号量と量子化パラメータとは反比例の関係にある。この性質を用いて、発生符号量を調整することが可能である。

図１は、本発明の実施の形態１に係る動画像符号化装置１０１の構成を概略的に示すブロック図である。図１に示されるように、動画像符号化装置１０１は、コマーシャル境界検出部（ＣＭ境界検出部）１と、メモリ２と、符号化器３と、符号化制御部４と、入力端子５及び６と、出力端子７とを備えている。入力端子５には、テレビジョン放送の映像信号Ｓ_ｐが入力され、入力端子６には、テレビジョン放送の音声信号Ｓ_ａが入力される。ＣＭ境界検出部１は、入力端子５及び６のそれぞれを介して入力されるテレビジョン放送の映像信号Ｓ_ｐと音声信号Ｓ_ａから、テレビ番組期間（番組本編期間）からコマーシャル期間に切り替わる境界及びコマーシャル期間からテレビ番組期間に切り替わる境界（本出願において「番組・コマーシャル境界（番組・ＣＭ境界）」と言う。）、並びに、コマーシャル期間内において放送される複数のコマーシャル部分の間の境界（本出願において「コマーシャル・コマーシャル境界（ＣＭ・ＣＭ境界）」と言う。）を検出して出力する。なお、本出願においては、番組・ＣＭ境界とＣＭ・ＣＭ境界の両方を含む用語（総称）として、「コマーシャル境界（ＣＭ境界）」を用いる。メモリ２は、入力端子５を介して入力されるテレビジョン放送の映像信号Ｓ_ｐを取り込み、一時的に記憶する。符号化器３は、ＭＰＥＧ−２、ＭＰＥＧ−４、又は、ＩＴＵ−Ｔ勧告Ｈ．２６３等の符号化方式でメモリ２から出力された映像信号Ｓ_ｐの符号化を行う。符号化器３で作成された符号化データ（ストリームデータ）は、出力端子７から出力され、例えば、図示しない記録部へ送られる。符号化制御部４は、ＣＭ境界検出部１から出力されるＣＭ境界情報から符号化方式を決定し、符号化器３を制御する。

図２は、図１に示されるＣＭ境界検出部１の構成を概略的に示すブロック図である。図２に示されるように、ＣＭ境界検出部１は、シーンチェンジ検出部１１と、無音期間検出部１２と、コマーシャル期間判定部（ＣＭ期間判定部）１３と、入力端子１４，１５，１６と、出力端子１７とを備えている。入力端子１４には、テレビジョン放送の現フレーム映像信号Ｓ_ｐ（０）が入力される。入力端子１５には、テレビジョン放送の現フレーム画像のＮ（Ｎは正の整数）フレーム前映像信号Ｓ_ｐ（−Ｎ）が入力される。入力端子１６には、テレビジョン放送の音声信号Ｓ_ａが入力される。シーンチェンジ検出部１１は、入力端子１４を介して入力されたテレビジョン放送の映像信号の現フレーム画像と入力端子１５を介して入力されたＮフレーム前画像から画面の切り替わり（以下「シーンチェンジ」と記す。）を検出する。無音期間検出部１２は、入力端子１６を介して入力された音声信号Ｓ_ａから無音期間ｔ_ｎｏを検出する。ＣＭ期間判定部１３は、シーンチェンジ検出部１１から出力されるシーンチェンジ情報と、無音期間検出部１２から出力される無音期間情報から、ＣＭ境界、及び、ＣＭ期間を判定し、ＣＭ境界情報を出力する。出力端子１７からは、符号化制御部４に対して、ＣＭ期間判定部１３から出力されるＣＭ境界情報が出力される。

図３は、図１に示される符号化器３の構成を概略的に示すブロック図である。図３に示されるように、符号化器３は、入力端子３１と、減算器３２と、ＤＣＴ回路３３と、量子化回路３４と、ＤＣ／ＡＣ予測器３５と、可変長符号化回路３６と、逆量子化回路３７と、逆ＤＣＴ回路３８と、加算器３９と、復号画像メモリ４０と、予測画像作成回路４１と、動き検出回路４２と、動きベクトル予測回路４３と、出力端子４４とを備えている。入力端子３１には、メモリ２（図１）から読み出されたマクロブロック単位の映像信号が入力される。減算器３２は、入力端子３１から入力される映像信号と予測画像作成回路４１から出力される予測画像との差分を出力する。ＤＣＴ回路３３は、減算器３２の出力にＤＣＴ変換を行うことによりＤＣＴ係数を出力する。量子化回路３４は、ＤＣＴ回路３３から出力されたＤＣＴ係数を量子化する。ＤＣ／ＡＣ予測器３５は、現在のブロックに隣接するブロックのＤＣ／ＡＣ係数に基づいて、ＤＣ係数及びＡＣ係数の予測を行う。逆量子化回路３７は、量子化回路３４から出力された量子化されたＤＣＴ係数を逆量子化する。逆ＤＣＴ回路３８は、逆量子化回路３７の出力を逆ＤＣＴ変換する。加算器３９は、逆ＤＣＴ回路３８の出力と予測画像作成回路４１の出力を加算して復号画像を得る。復号画像メモリ４０は、加算器３９で得られた復号画像を格納する。動き検出回路４２は、復号画像メモリ４０から出力される復号画像及びメモリ２（図１）から入力端子３１を介してマクロブロック単位で入力される映像信号に基づいて動きベクトルの検出を行う。予測画像作成回路４１は、動き検出回路４２から出力される動きベクトルに基づいて、復号画像メモリ４０から入力される復号画像から現在の映像信号に対応する予測画像を作成し、減算器３２及び加算器３９に出力する。動きベクトル予測回路４３は、動きベクトルの予測を行い、予測ベクトルを可変長符号化回路３６に出力する。可変長符号化回路３６は、ＤＣ／ＡＣ予測器３５から出力された予測係数と、動きベクトル予測回路４３から出力された動きベクトルを、量子化パラメータ等の付加情報と共に可変長符号化してビットストリームとして出力する。

以下に、図１から図３までを用いて、実施の形態１に係る動画像符号化装置１０１の動作を説明する。図１に示されるように、テレビジョン放送の映像信号は動画像符号化装置１０１の入力端子５を介して、メモリ２とＣＭ境界検出部１に入力される。テレビジョン放送の映像信号の方式には、インターレース方式とノンインターレース方式があり、また、モードとして、フィールドモードとフレームモードがある。本発明はいずれの方式及びモードにも適用可能であるが、以下の説明においては、ノンインターレース方式でフレームモードとして、映像信号がフレーム単位で入力されるものとして説明する。メモリ２に入力された映像信号は、フレーム単位で遅延されてＣＭ境界検出部１に、また、マクロブロック単位に並び替えられて符号化器３に出力される。また、映像信号と同様に、テレビジョン放送の音声信号はＣＭ境界検出部１に入力される。

図２に示されるように、ＣＭ境界検出部１においては、入力端子１４から入力されたテレビジョン放送の現フレーム映像信号（以下「現フレーム画像」とも記す。）Ｓ_ｐ（０）と、入力端子１５から入力されたＮフレーム前映像信号（以下「Ｎフレーム前画像」とも記す。）Ｓ_ｐ（−Ｎ）とが、シーンチェンジ検出部１１に入力される。シーンチェンジ検出部１１は、例えば、現フレーム画像Ｓ_ｐ（０）とＮフレーム前画像Ｓ_ｐ（−Ｎ）の輝度信号を画素毎に差の絶対値和をとり、予め設定された設定値と比較を行う。計算された差の絶対値和が前記設定値を上回った場合に、シーンチェンジが発生したと判定し、シーンチェンジが発生したフレームを示す情報をシーンチェンジ情報としてＣＭ期間判定部１３に出力する。なお、シーンチェンジ検出部１１におけるシーンチェンジ検出方法は、上記した方法に限定されるものではなく、信号レベルの時間変化に基づく他の判定方法を採用してもよい。

また、図２に示されるように、テレビジョン放送の音声信号Ｓ_ａは無音期間検出部１２に入力される。無音期間検出部１２は、テレビジョン放送の無音期間ｔ_ｎｏを検出する。一般に、テレビジョン放送のＣＭの前後（即ち、ＣＭ期間の前後、及び、ＣＭ期間内に含まれる複数のＣＭ部分の前後）には、数１０ｍｓ程度の無音期間ｔ_ｎｏが存在する。このため、ＣＭ境界を検出する際に、テレビジョン放送の無音期間ｔ_ｎｏを検出する。実施の形態１においては、シーンチェンジ検出部１１から出力されたシーンチェンジ情報と、無音期間検出部１２から出力された無音期間情報に基づいて、ＣＭ境界、及び、ＣＭ期間を判定する。例えば、テレビジョン放送では、一般に、ＣＭ期間内に含まれるＣＭ部分は１５秒又は３０秒といった一定の長さであることが多く（したがって、１５秒又は３０秒ごとにシーンチェンジ及び無音期間ｔ_ｎｏが現れる場合にはＣＭ部分と次のＣＭ部分の境界である可能性が高い）、また、複数のＣＭ部分が連続して放送される傾向が高い（したがって、シーンチェンジ及び無音期間ｔ_ｎｏが繰り返される場合にはＣＭ部分と次のＣＭ部分の境界である可能性が高い）という性質を使って、よりＣＭ判定の信頼性を向上させてもよい。また、無音期間検出部１２の代わりに、音声信号のモノラル、ステレオ、又は、２ヶ国語等のモードの切り替わり、音の大小（一般に、ＣＭの音量が大きいという性質を利用する）を使ってＣＭ境界を検出する、又は、ＣＭ境界の検出の信頼性を向上させるように構成してもよい。ＣＭ期間判定部１３で判定したＣＭ境界情報は、出力端子１７を介して、符号化制御部４に出力される。

メモリ２に入力された映像信号Ｓ_ｐは、マクロブロック単位で読み出され、符号化器３に入力される。符号化器３に入力された映像信号は、入力端子３１を介して、減算器３２と動き検出回路４２に入力される。減算器３２は、入力端子３１から入力される映像信号と予測画像生成回路４１から出力される予測画像との減算処理を行い、その差分（減算結果）をＤＣＴ回路３３に出力する。ＤＣＴ回路３３は、入力された減算回路３２の差分をＤＣＴ変換し、そのＤＣＴ係数を出力する。ＤＣＴ回路３３から出力されたＤＣＴ係数は、量子化回路３４に入力され、量子化される。量子化回路３４で量子化されたＤＣＴ係数（「量子化ＤＣＴ係数」と記す。）は、ＤＣ／ＡＣ予測器３５と逆量子化回路３７に入力される。ＤＣ／ＡＣ予測器３５は、入力された量子化ＤＣＴ係数から、現在のブロックに隣接するブロックのＤＣ／ＡＣ係数に基づいて、ＤＣ係数及びＡＣ係数の予測を行い、可変長符号化回路３６に出力する。また、逆量子化回路３７は、量子化回路３４から出力された量子化ＤＣＴ係数を逆量子化し、逆ＤＣＴ回路３８に出力する。逆ＤＣＴ回路３８は、逆量子化回路３７の出力を逆ＤＣＴ変換し、加算器３９に出力する。加算器３９は、逆ＤＣＴ回路３８の出力と予測画像作成回路４１から出力する予測画像を加算し、復号画像を作成し、復号画像メモリ４０に出力する。復号画像メモリ４０に格納された復号画像は、動き検出回路４２と予測画像作成回路４１に出力される。動き検出回路４２は、復号画像メモリ４０より出力される復号画像と、メモリ２から入力端子３１を介して入力されるマクロブロック単位で入力される映像信号から、動きベクトルの検出を行い、予測画像作成回路４１と、動きベクトル予測回路４３に出力する。予測画像作成回路４１は、動き検出回路４２から出力される動きベクトルに基づいて、復号画像メモリ４０から読み出される復号画像から現在の映像信号に対応する予測画像を作成する。動きベクトル予測回路４３は、動き検出回路４２から出力される動きベクトルから、動きベクトルの予測を行い、その予測ベクトルを可変長符号化回路３６に出力する。可変長符号化回路３６は、ＤＣ／ＡＣ予測器３５から出力された予測係数と、動きベクトル予測回路４３から出力された動きベクトルを、量子化パラメータ等の付加情報と共に可変長符号化して、ビットストリームとして出力端子７から出力する。

符号化制御部４は、ＣＭ境界検出部１で検出したＣＭ境界情報に基づいて、符号化器３における符号化（画面内符号化及び画面間符号化）を制御する。ＭＰＥＧ−４の場合を例にして、画面内符号化及び画面間符号化について簡単に説明する。

画面内符号化とは、イントラ（Ｉｎｔｒａ）符号化とも呼ばれる符号化であり、入力された画像をブロック単位に分割し、ブロック毎にＤＣＴ変換を施して量子化し、可変長符号化する符号化である。このように符号化したＶＯＰが、Ｉ−ＶＯＰである。本出願においては、「画面内符号化フレーム」とも記す。

これに対して、Ｉ−ＶＯＰ以降のＶＯＰは、動き検出により符号化したＶＯＰの中で、対象マクロブロックに対して誤差が最も小さい予測マクロブロックを検出する。対象マクロブロックと誤差の最も小さい予測マクロブロックへの動き量を示す信号を「動きベクトル」と呼ぶ。画面間符号化は、インター（Ｉｎｔｅｒ）符号化とも呼ばれる符号化であり、予測マクロブロックと符号化対象となるマクロブロックとの差分信号を求め、差分信号に対してＤＣＴを施して量子化し、量子化したＤＣＴ係数を動きベクトルや量子化幅と共に可変長符号化する符号化である。本出願においては、画面間符号化を行ったフレームを「画面間符号化フレーム」とも記す。

なお、上述の画面内符号化及び画面間符号化は、ＶＯＰ（ピクチャー、フレーム）単位だけではなく、マクロブロック単位毎にも制御可能である。以下の説明において区別の必要がある場合には、ＶＯＰ（ピクチャー、フレーム）単位の符号化については「ピクチャータイプ」、マクロブロック単位の符号化については「マクロブロックタイプ」という説明を付記する。

次に、画面内符号化及び画面間符号化を行う符号化器３の動作について説明する。符号化器３により画面内符号化を行う場合、予測画像の作成は行われないので、ＤＣＴ回路３３には、メモリ２より出力された映像信号がマクロブロック単位で入力される。ＤＣＴ回路３３は映像信号の各マクロブロックに対してＤＣＴ変換を行って得られる映像信号のＤＣＴ係数を出力する。ＤＣＴ回路３３によって出力される映像信号のＤＣＴ係数は、量子化回路３４により量子化された後、ＤＣ／ＡＣ予測器３５によりＤＣ／ＡＣ予測され、可変長符号化回路３６により量子化パラメータ等の付加情報と共に可変長符号化されビットストリームとして出力される。

一方、符号化器３により画面間符号化を行う場合、減算器３２からは、予測画像作成回路４１より出力される予測画像と、メモリ２より出力される映像信号との差分がマクロブロック単位で出力される。ＤＣＴ回路３３は予測画像と映像信号の差信号に対して、ＤＣＴ変換を行って得られるＤＣＴ係数を出力する。差信号のＤＣＴ係数は、量子化回路３４により量子化された後、ＤＣ／ＡＣ予測器３５によりＤＣ／ＡＣ予測され、可変長符号化回路３６により動きベクトル、及び量子化パラメータ等の付加情報と共に可変長符号化されビットストリームとして出力される。

次に、符号化制御部４による符号化器３に対する制御について説明する。符号化制御部４は、一定周期毎に画面内符号化を符号化器３に対して要求する。周期的に画面内符号化を行って作成したビットストリームは、再生時に、早送り及び巻き戻しを容易に実現することができる。具体的には、早送り時又は巻き戻し時に、画面内符号化されたフレームを、ビットストリーム中、あるいはＭＰ４等のシステム化された動画ファイル（その内部テーブル）から検索し、その画面内符号化されたフレームまでスキップしながら、次々と再生処理（即ち、復号処理）を行うことにより実現可能である。

図４（Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）、図５（Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）、及び、図６（Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）を用いて、テレビジョン放送がＣＭ期間を含む場合の符号化処理について具体的に説明する。

図４（Ａ）に示されるように、符号化制御部４からの制御により、符号化器３は、通常動作として一定周期Ｔａ毎に画面内符号化（画面内符号化ピクチャー（図４（Ａ）における斜線箇所）に「Ｉａ」を付す。）を行い、画面内符号化ピクチャーＩａ以外のピクチャーについて画面間符号化（図４（Ａ）における斜線箇所以外の白色箇所）を行う。

また、図４（Ｂ３）に示されるように、シーンチェンジ検出部１１によって、シーンチェンジが起こったフレーム（「シーンチェンジフレーム（又はピクチャー）」と記す。）Ｆ_ｓｃを検出する。また、図４（Ｂ２）に示されるように、無音期間検出部１２によって、無音期間ｔ_ｎｏを検出する。シーンチェンジ検出部１１から出力されるシーンチェンジフレームが、無音期間検出部１２から出力される無音期間ｔ_ｎｏと重なる場合には、ＣＭ境界の特徴である、シーンチェンジと無音期間ｔ_ｎｏの両方が同時に発生したことを意味するので、このときのシーンチェンジの生じたフレーム（又はピクチャー）Ｆ_ｓｃをＣＭ境界とみなしてＣＭ境界位置を検出する。ここで、無音期間検出部１２の代わりに、音声信号のモノラル、ステレオ、２ヶ国語等のモードの切り替わり、音の大小（即ち、音量の大きな変化）等を用いてＣＭ境界を検出してもよい。

実施の形態１においては、図４（Ｂ１）に示されるように、テレビ番組期間からＣＭ期間への切り替わり位置のフレーム、ＣＭ期間からテレビ番組期間への切り替わり位置のフレーム、ＣＭ期間内においてあるＣＭ部分から次のＣＭ部分への切り替わり位置のフレーム（これらを「ＣＭ境界位置フレーム（又はピクチャー）」と記す。）を画面間符号化フレームから画面内符号化フレーム（又はピクチャー）に変更する。その結果、符号化データは、図４（Ｃ）に示されるように、一定周期フレーム毎の画面内符号化に加え（一定周期フレーム毎の画面内符号化ピクチャーＩａに加え）、ＣＭ境界位置フレームに対しても画面内符号化がなされたものにすることができる（ＣＭ境界位置フレームとしての画面内符号化フレームを「Ｉｂ」で示す。）。符号化データから、一定周期の画面内符号化フレームＩａ以外の画面内符号化フレームＩｂを検出することは可能であるので、再生時に、ＣＭ境界を検索して、例えば、ＣＭ期間に対してスキップ又は早送り等の動作をして、再生することが可能である。

図５（Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）は、シーンチェンジ検出部１１から出力されるシーンチェンジフレームと、無音期間検出部１２から出力される無音期間ｔ_ｎｏから検出したＣＭ境界位置フレームが、通常動作の一定周期毎の画面内符号化を行うフレームと重なった場合を示した図である。このとき、図５（Ｃ）に示されるように、図５（Ｂ１）〜（Ｂ３）で作成したＣＭ境界位置フレームに対する画面内符号化を行うフレームを１フレーム遅らせて画面内符号化を行う（図５（Ｃ）のＩｂ１´）。ここで、必ずしも、遅らせるフレームは１フレームに限るものではなく、数フレームを遅延させてもよい。本出願においては、このように、本来の「境界位置フレーム（又はピクチャー）」から１又は複数フレーム遅らせて画面内符号化がなされたフレーム（又はピクチャー）を「擬似境界位置フレーム（又はピクチャー）」とも言う。ただし、このとき、テレビ番組期間からＣＭ期間への切り替わり等、ＣＭ期間の先頭の数フレームを符号化データとして残すことになるので、「Ｎｏｔ−Ｃｏｄｅｄ（ＤＣＴ係数のコードをもたないマクロブロック）タイプ」等の処置をとる等して、その期間のフレームをエンコードしないことも可能である。また、ＣＭ期間からテレビ番組期間への切り替わりでは、再生時に、テレビ番組期間の先頭の数フレームをスキップ、あるいは削除してしまうことになる。

図６（Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）は、図５（Ａ），（Ｂ１）〜（Ｂ３），（Ｃ）と同様に、シーンチェンジ検出部１１から出力されるシーンチェンジフレームと、無音期間検出部１２から出力される無音期間ｔ_ｎｏから検出したＣＭ境界位置フレームが、通常動作の一定周期毎の画面内符号化を行うフレームと重なった場合を示した図である。ただし、このとき、図６（Ｃ）に示されるように、図６（Ｂ１）〜（Ｂ３）において作成されたＣＭ境界位置フレームに対する画面内符号化を行うフレーム（図６（Ｂ１）のＩｂ１）を１フレーム遅らせて画面内符号化を行う（図６（Ｃ）のＩｂ１´）が、重なった一定周期毎の画面内符号化を行うフレーム（図６（Ｃ）のＩｃ）を、画面間符号化によって符号化する。画面内符号化を行ったフレームは、再生時の早送り、巻き戻しの再生（停止）単位となるため、図６（Ｃ）に示すような近接したフレームに対する不要な画面内符号化を避けることは符号量の有効利用につながり、結果的に、必要なフレームに符号量を割り当てることに繋がるため、有効である。ここでも、遅らせるフレーム（図６（Ｃ）のＩｂ１´）の遅延フレーム数は１フレームに限るものではなく、２フレーム以上の所定数フレームを遅延させてもよい。

以上説明したように、実施の形態１に係る動画像符号化装置１０１は、符号化制御部４において、ＣＭ境界検出部１からの出力であるＣＭ境界情報によって、符号化器３の符号化方式を制御する。ＣＭ境界検出部１は、再生時の早送り及び巻き戻しのために、一定周期毎に画面内符号化を行うのに加え、ＣＭ境界位置フレームについても、画面内符号化を行うように制御する。このとき、ＣＭ境界位置フレームが一定周期に行う画面内符号化のフレームと重なってしまう場合には、ずらして画面内符号化を行う。このように、ＣＭ境界に一定周期と異なる画面内符号化を行うことにより、符号化データ内に、ＣＭ境界情報を埋め込むことができ、再生時に、ＣＭ期間を考慮した再生が可能である。

また、ＣＭ期間の切り出しも可能である。具体的に言えば、再生時において、符号化データから、ＣＭ境界位置フレームを検索することが可能であり、また、符号化データ内に、ＣＭ境界情報を埋め込むことができるため、動画像符号化装置１０１に内蔵された記憶手段（例えば、内蔵メモリや内蔵のハードディスク）にＣＭ境界情報を記録する必要がない。

さらに、実施の形態１に係る動画像符号化装置１０１により符号化データを記録した記録媒体（光ディスク、磁気ディスク、可搬性のハードディスク装置、メモリ装置等）を、動画像符号化装置１０１とは異なる装置によって再生する場合であっても、ＣＭ境界を考慮した再生が可能である。また、実施の形態１に係る動画像符号化装置１０１により符号化データを記録した記録媒体を、ＣＭ境界情報を考慮しない動画像再生装置によって再生する際には、通常通りの再生が可能である。

さらにまた、ＣＭ境界と判定されたフレームが一定周期毎の画面内符号化フレームと重なった場合に、次フレーム以降のフレームに対して画面内符号化処理を行うようにしているので、ＣＭ境界を要因として挿入した画面内符号化を、一定周期毎の画面内符号化フレームと区別することができる。

さらに、ＣＭ境界と判定されたフレームが一定周期毎の画面内符号化フレームと重なった場合に、次フレーム以降のフレームに対して画面内符号化処理を行うようにすると共に、ピクチャーに対する画面内符号化を画面間符号化とするように制御することにより、ＣＭ境界を要因として挿入した画面内符号化フレームを一定周期毎の画面内符号化フレームと区別することができると共に、近接した画面内符号化フレームを避けることができるため、再生時の早送り及び巻き戻しの効率低下を抑えることができる。

実施の形態２．
図７は、本発明の実施の形態２に係る動画像記録装置１０２の構成を概略的に示すブロック図である。図７において、図１の構成と同一又は対応する構成には同じ符号を付す。

図７に示されるように、実施の形態２に係る動画像記録装置１０２は、実施の形態１に係る動画像符号化装置１０１の構成であるＣＭ境界検出部１、メモリ２、符号化器３、及び符号化制御部４に加え、記録部８０、確認操作部８１、復号部８２、及び復号メモリ８３を有する。

図７に示されるように、記録部８０は、符号化器３から出力された符号化データ（ビットストリーム）を記録し、保存する。確認操作部８１は、利用者が動画像記録装置１０２を操作する際に使用する操作部と、利用者に動画像記録装置１０２に関する情報を提供する表示部とを有する。なお、この表示部は、動画像記録装置１０２自体に装備された表示モニター部には限らず、動画像記録装置１０２とは別の装置である画像表示用のモニター装置であってもよい。符号化制御部４と確認操作部８１との間では、相互に制御信号が授受される。復号部８２は、記録部８０から読み出された符号化データを復号する。復号メモリ８３は、復号部８２により復号処理された復号画像データを格納する。復号メモリ８３から出力された復号画像データは、確認操作部８１及び符号化器３へ送られる。

次に、図７を用いて、実施の形態２に係る動画像記録装置１０２の動作を説明する。符号化制御部４からＣＭ境界位置フレーム（一定周期でない画面内符号化を行ったフレーム番号）を確認操作部８１に出力する。確認操作部８１は、その表示部に、符号化制御部４から出力されたＣＭ境界位置フレームを表示する。このように、ＣＭ境界前後の画像を確認することができるので、そのＣＭ境界が、本当にテレビ番組期間とＣＭ期間との間にあるのかどうか、画像を見て確認することができる。また、画面内符号化を行ったピクチャーに対して復号するので、余分な復号処理を行う必要がなく、高速に復号画像を得ることができる。

具体的には、確認操作部８１は、その表示部に、例えば、図８（Ａ）に示されるように、横方向を時間軸として、テレビ番組期間（白色部分）ｔ_ＰＲとＣＭ期間（斜線部分）ｔ_ＣＭを区別可能に（例えば、色、明るさ、模様、形状等を変えることによって視覚的に区別可能に）表示する。ＣＭの連続性から、ＣＭ境界位置フレーム（図８（Ｃ）のクロスハッチング部分＜ｉ＞〜＜ｖ＞）が一定間隔（１５秒、３０秒等のＣＭ部分として想定される時間）で、複数回連続する場合に、ＣＭ境界位置フレーム＜ｉ＞と＜ｖ＞の間の期間を、ＣＭ期間として表示させる。確認操作部８１を通じて、利用者は、ＣＭ境界検出部１で検出したＣＭ期間が妥当であることを確認することができる。

図８（Ｂ）は、図８（Ａ）を別の形式で表現したもので、ＣＭ期間の先頭と、テレビ番組期間の先頭のＣＭ境界位置フレームを図示（図８（Ｂ）のクロスハッチング部分）したものである。

図８（Ｃ）は、図８（Ａ），（Ｂ）中の期間Ｐａの拡大図である。ＣＭ期間と判断された期間内には、一定周期の画面内符号化フレームと、ＣＭ境界として判断されたＣＭ境界位置フレームによる画面内符号化フレームが存在する。図８（Ｃ）では、１つのＣＭ期間内に、ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４で示される４つのＣＭ部分があり、それぞれのＣＭ部分ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４の先頭フレーム（図８（Ｃ）においてクロスハッチング部分＜ｉ＞〜＜ｉｖ＞）はＣＭ境界位置フレームＦ_ＣＭと判定されている。なお、ＣＭ期間直後のテレビ番組先頭フレーム（図８（Ｃ）においてクロスハッチング部分＜ｖ＞）もＣＭ境界位置フレームである。

また、確認操作部８１は、利用者によって、ＣＭ境界位置フレームとその前後の画面内符号化したフレームを記録部８０に格納された符号化データ中から検索を行う。記録部８０から読み出された画面内符号化フレームの符号化データは、復号部８２に入力され、復号処理がなされる。復号部８２から出力された復号画像は、復号メモリ８３に格納される。確認操作部８１からの操作により復号メモリ８３から読み出された復号画像は、確認操作部８１に入力され、利用者はＣＭ前後の画像を確認することにより、本当にＣＭ期間であるかどうかの確認を行うことができる。

次に、ＣＭ境界の判定に際して、誤判定があった場合の具体例を、図９（Ａ），（Ｂ），（Ｃ）及び図１０（Ａ），（Ｂ），（Ｃ）に基づいて説明する。図９（Ａ），（Ｂ），（Ｃ）は、実際にはＣＭ期間でありながら、ＣＭ期間であると判定されなかった場合を示している。この場合、確認操作部８１において、図９（Ａ）のように表示される。利用者は、テレビジョン放送がドラマ等の場合には、概ね１０分から１５分に１回の割合で、ＣＭ期間が発生することになるが、図９（Ａ）の期間Ｐｂに示すように、本来、ＣＭ期間として表示されるべき時間に、ＣＭ期間が表示されていないことを、確認操作部８１の表示内容から知ることができる。

図９（Ｂ）は、図９（Ａ）を別の形式で表現したものであり、ＣＭ期間の先頭と、テレビ番組期間の先頭のＣＭ境界位置フレームＦ_ＣＭを図示したものである。期間Ｐｂにおいては、ＣＭ期間の終り（テレビ番組期間の先頭フレームに相当するＣＭ境界位置フレーム）が検出されなかったことを表している。

図９（Ｃ）は、図９（Ａ），（Ｂ）中の期間Ｐｂの拡大図である。期間Ｐｂには、一定周期の画面内符号化されたフレームと、ＣＭ境界として判断されたＣＭ境界位置フレームＦ_ＣＭによる画面内符号化されたフレームが存在する。この期間内には、ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４で示された４つのＣＭ部分が存在するが、ＣＭ部分ＣＭ４とテレビ番組期間ｔ_ＰＲとの間で、ＣＭ境界位置フレームと判定されなかった。ＣＭ期間判定として、例えば、ＣＭ部分が４個連続しなければ、ＣＭ期間と判定しないというように構成していた場合等、図９（Ａ）のように、期間ＰｂにはＣＭ期間ｔ_ＣＭが無いと判定されることになる。

また、ＣＭ部分ＣＭ２と、次のＣＭ部分ＣＭ３との間のフレームが、ＣＭ境界位置フレームと判定されなかった場合には、ＣＭ部分ＣＭ２と次のＣＭ部分ＣＭ３の組み合わせが一つの大きなＣＭ部分と見なされて、結果的に、３つのＣＭ部分であると判断される。上述のように、例えば、ＣＭ部分が４個連続しなければ、ＣＭ期間と判定しないというように構成した場合等には、期間ＰｂはＣＭ期間と判定されないことになる。また、別の場合には、ＣＭ部分ＣＭ２の期間とＣＭ部分ＣＭ３の期間とを合わせた全体の期間が、１つのＣＭ部分として妥当な期間（例えば、１５秒又は３０秒等の予め設定された期間）を超えてしまった結果、ＣＭ期間としてではなく、テレビ番組期間ｔ_ＰＲと判断される場合も同様に、期間ＰｂはＣＭ期間とは判定されない。

このような場合、利用者は、確認操作部８１を通じて、ＣＭ期間の妥当性を判断することが可能である。その上で、本来あるべき時間にＣＭ期間がないと判断した場合には、確認操作部８１からの操作により、復号部８２でＣＭ境界前後の画面内符号化を行ったフレームの復号画像を作成し、復号画像を復号メモリ８３経由で、確認操作部８１に表示させることにより、ＣＭ期間を確認することができる。また、後述するように、確認後、符号化器３で符号化方式を変更して符号化処理をやり直すことにより、ＣＭ期間の訂正を行うことが可能である。このように、ＣＭ境界と誤判定があった場合にも、確認後、修正が可能であり、符号化の際に誤ってデータを消してしまうことがない。

図１０（Ａ），（Ｂ），（Ｃ）は、図９（Ａ），（Ｂ），（Ｃ）とは逆に、実際にはＣＭ期間でないにもかかわらず、ＣＭ期間（又はＣＭ境界）と判定された場合の具体例である。図１０（Ａ）の期間Ｐｃが、それに相当する。図１０（Ｂ）の期間Ｐｃで、誤判定の結果、ＣＭ境界と見なされている。図１０（Ｃ）は、図１０（Ａ），（Ｂ）中の期間Ｐｃの拡大図である。一定周期の画面内符号化されたフレームと、誤判定の結果、ＣＭ境界として判断されたフレームによる画面内符号化されたフレームが存在する。利用者は、確認操作部８１を通して、例えば、図１０（Ａ）又は図１０（Ｂ）からそのＣＭ期間（又はＣＭ境界）の妥当性を判断することができる。また、確認操作部８１からの操作により、復号部８２でＣＭ境界前後の画面内符号化されたフレームの復号画像を作成し、復号画像を復号メモリ８３経由で、確認操作部８１に表示させることにより、本当にＣＭ境界であるのかどうかを確認することができる。この場合にも、後述するように、符号化器３で符号化方式を変更して符号化処理をやり直すことにより、ＣＭ境界の訂正を行うことが可能である。

次に、図９（Ａ），（Ｂ），（Ｃ）のように、ＣＭ期間であるにもかかわらず、ＣＭ期間でないと判断された場合の動作について説明する。利用者は、確認操作部８１を使って、符号化した符号化データ中のＣＭ期間情報を確認することができる。このＣＭ期間情報は、符号化制御部４において、一定周期でない画面内符号化フレーム位置から作成する。一定周期でない画面内符号化を行うのは、ＣＭ境界検出部１において、テレビ番組期間ｔ_ＰＲからＣＭ期間への切り替え、ＣＭ期間内のＣＭ部分から次のＣＭ部分への切り替え、ＣＭ期間からテレビ番組への切り替え等のＣＭ境界と判断した映像及び音声の不連続面の直後のフレーム（ＣＭ境界位置フレーム）である。

利用者は、本来、ＣＭ期間が存在すべきはずのところに（図９（Ａ），（Ｂ），（Ｃ）における期間Ｐｂ）に、ＣＭ期間が存在しない場合には、次の動作により、復号画像確認を行い、本当にＣＭ期間でないかどうかを確認することができる。確認に際しては、確認操作部８１の操作によって、図９（Ａ），（Ｂ），（Ｃ）に示される期間Ｐｂ内の画面内符号化フレーム（例えば、図９（Ｃ）のフレームＦ１、Ｆ２、Ｆ３、・・・）を順番に選択し、選択されたフレームに相当する符号化データを記録部８０で検索する。記録部８０から読み出された該当フレームの符号化データは、復号部８２に入力され、復号処理がなされる。復号部８２で得られた復号画像データは、復号メモリ８３に格納される。利用者は、確認操作部８１により復号画像データを復号メモリ８３から読み出して、画像の内容確認を行う。確認の結果、フレームＦ１及びＦ２は、ＣＭ部分ＣＭ４内に存在し、フレームＦ３は、テレビ番組期間ｔ_ＰＲ内に存在することがわかる。実施の形態２に係る動画像記録装置１０２の場合、ＣＭ期間とテレビ番組期間ｔ_ＰＲの間には、ＣＭ境界位置フレームに相当する画面内符号化のフレーム（図９（Ｂ）及び（Ｃ）のＦ４）が存在するはずであるが、誤判定により存在しない。このとき、確認操作部８１を使って、フレームＦ４について画面内符号化で符号化するように制御する。まず、確認操作部８１を使って、記録部８０からフレームＦ２に相当する符号化データを検索する。検索して見つけたフレームＦ２の符号化データを記録部８０から読み出し、復号器８２に入力する。復号器８２は、復号処理を行って得た復号画像を復号メモリ８３に出力する。確認操作部８１は、復号画像を復号メモリ８３から読み出して表示する。次に、フレームＦ２に相当する符号化データに続く符号化データを記録部８０から読み出し、復号器８２に入力する。復号器８２は、復号処理を行って得た復号画像を復号メモリ８３に出力する。ここで得られた復号画像は、フレームＦ２の次のフレームに相当する画像である。復号画像は、確認操作部８１に入力され表示される。

以上の復号動作を繰り返し、フレームＦ２、・・・、フレームＦ４、・・・、フレームＦ５まで復号処理を行う。復号メモリ８３に格納されたフレームＦ４に相当する復号画像は、確認操作部８１を通じて、利用者にテレビ番組期間ｔ_ＰＲの先頭フレームであることが認識される。その上で、確認操作部８１からＣＭ境界位置フレームとして認識させるために、画面間符号化から画面内符号化への変更処理を選択する。この画面間符号化から画面内符号化への変更処理命令は、確認操作部８１から符号化制御部４に入力される。同時に、変更処理が選択されると、復号メモリ８３からフレームＦ４に相当する復号画像が符号化器３に入力される。符号化器３は、符号化制御部４からの画面内符号化による符号化を指示されることにより、復号メモリ８３から入力されたフレームＦ４に相当する復号画像を画面内符号化によって符号化する。符号化された符号化データは記録部８０に出力される。フレームＦ４以降フレームＦ５に相当する復号画像も、フレームＦ４に続いて、復号メモリ８３から読み出され、符号化制御部４の制御のもと、符号化器３において符号化（画面間符号化）がなされ、記録部８０に出力される。記録部８０に入力されたフレームＦ４からフレームＦ５に相当する新しい符号化データは、もともと記録部８０に格納されていたフレームＦ４からフレームＦ５に相当する符号化データを置き換える。確認操作部８１は新しくなったＣＭ境界位置フレームを符号化制御部４から受け取り、表示する。誤判定が解消されたため、図９（Ａ），（Ｂ），（Ｃ）に示されるＣＭ境界情報は、図８（Ａ），（Ｂ），（Ｃ）に示されるＣＭ境界情報のようになる。

次に、図１０（Ａ），（Ｂ），（Ｃ）のように、ＣＭ境界でないにもかかわらず、ＣＭ境界として判断された場合の動作について説明する。利用者は、確認操作部８１を使って、符号化した符号化データ中のＣＭ期間情報を確認することができる。このＣＭ期間情報は、符号化制御部４において、一定周期でない画面内符号化フレーム位置から作成する。一定周期でない画面内符号化を行うのは、ＣＭ境界検出部１において、テレビ番組期間ｔ_ＰＲからＣＭ期間への切り替わり、ＣＭ期間内におけるＣＭ部分から次のＣＭ部分への切り替わり、ＣＭ期間からテレビ番組期間ｔ_ＰＲへの切り替わりであるＣＭ境界と判断した映像及び音声の不連続面直後のフレーム（ＣＭ境界位置フレーム）である。

利用者は、ＣＭ期間でないところ（図１０（Ａ），（Ｂ），（Ｃ）では期間Ｐｃ）にＣＭ境界があると判断された場合には、次の動作により、復号画像確認を行い、本当にＣＭ境界でないのかどうかを確認することができる。確認操作部８１で、図１０（Ａ），（Ｂ），（Ｃ）の期間Ｐｃ内の画面内符号化フレーム（例えば、フレームＦ１１、Ｆ１２、Ｆ１３、・・・）を選択する。選択されたフレームに相当する符号化データを記録部８０から検索する。記録部８０から読み出された該当フレームの符号化データは、復号部８２に入力され、復号処理がなされる。復号部８２で得られた復号画像データは、復号メモリ８３に格納される。利用者は、確認操作部８１の操作により、復号画像データを復号メモリ８３から読み出して確認操作部８１に表示させ、画像の内容確認を行う。確認の結果、フレームＦ１１、・・・、Ｆ１４はすべてテレビ番組期間ｔ_ＰＲ内のフレームであることがわかるが、テレビ番組期間ｔ_ＰＲ内には、ＣＭ境界位置フレームに挿入すべき一定周期にない画面内符号化フレーム（図１０（Ｂ）及び（Ｃ）におけるフレームＦ１３）が存在しないはずであるが、誤判定により、存在している。このとき、確認操作部８１を使って、フレームＦ１３を画面間符号化で符号化するように制御する。まず、確認操作部８１を使って、記録部８０からフレームＦ１２に相当する符号化データを検索する。検索して見つけたフレームＦ１２の符号化データを記録部８０から読み出し、復号器８２に入力する。復号器８２は、復号処理を行って得た復号画像を復号メモリ８３に出力する。確認操作部８１は、復号画像を復号メモリ８３から読み出して表示する。次に、フレームＦ１２に相当する符号化データに続く符号化データを記録部８０から読み出し、復号器８２に入力する。復号器８２は、復号処理を行って得た復号画像を復号メモリ８３に出力する。ここで得られた復号画像は、フレームＦ１２の次のフレームに相当する画像である。復号画像は、確認操作部８１に入力され表示される。

以上の復号動作を繰り返し、フレームＦ１２、・・・、フレームＦ１４まで復号処理を行う。復号メモリ８３に格納されたフレームＦ１３に相当する復号画像は、確認操作部８１を通じて、まだ、テレビ番組期間ｔ_ＰＲのフレームであることが認識される。その上で、確認操作部８１からＣＭ境界位置フレームでないものとして認識させるために、画面内符号化から画面間符号化への変更処理が選択される。この画面内符号化から画面間符号化への変更処理命令は、確認操作部８１から符号化制御部４に入力される。同時に、変更処理が選択されると、復号メモリから前の画面内符号化を行ったフレームＦ１２に相当する復号画像が、符号化器３に入力される。符号化器３は、符号化制御部４からの画面内符号化による符号化を指示されることにより、復号メモリ８３から入力されたフレームＦ１２に相当する復号画像を画面内符号化によって符号化する。符号化された符号化データは記録部８０に出力される。フレームＦ１２以降フレームＦ１４に相当する復号画像も、フレームＦ１２に続いて、復号メモリ８３から読み出され、符号化制御部４の制御のもと、符号化器３において符号化（画面間符号化）がなされ、記録部８０に出力される。記録部８０に入力されたフレームＦ１２からフレームＦ１４に相当する新しい符号化データは、もともと記録部８０に格納されていたフレームＦ１２からフレームＦ１４に相当する符号化データを置き換える。ただし、実際に、符号化データが新しくなるのは、フレームＦ１３からフレームＦ１４までである。確認操作部８１は、新しくなったＣＭ境界位置フレームを符号化制御部４から受け取り、表示する。誤判定が解消されたため、図１０（Ａ），（Ｂ），（Ｃ）に示されるＣＭ境界情報は、図８（Ａ），（Ｂ），（Ｃ）に示されるＣＭ境界情報のようになる。

次に、画面内符号化フレーム（図１０（Ｃ）におけるフレームＦ１３）を、符号化器３で画面間符号化する別の方法を説明する。まず、確認操作部８１を使って、記録部８０からフレームＦ１３に相当する符号化データを検索する。検索して見つけたフレームＦ１３の符号化データを記録部８０から読み出し、復号器８２に入力する。復号器８２は、復号処理を行って得た復号画像を復号メモリ８３に出力する。確認操作部８１は、復号画像を復号メモリ８３から読み出して表示する。同時に、復号メモリからフレームＦ１３に相当する復号画像が、符号化器３に入力される。符号化器３は、符号化制御部４からの符号化方式の制御（ピクチャータイプとして画面間符号化、マクロブロックタイプとして画面内符号化）により、復号メモリ８３から入力されたフレームＦ１３に相当する復号画像をピクチャータイプとして画面間符号化、マクロブロックタイプとして画面内符号化する。符号化された符号化データは記録部８０に出力される。この場合、フレームＦ１３から、フレームＦ１３以降フレームＦ１４への符号化データの連続性は保たれるので、フレームＦ１３以降フレームＦ１４の復号処理、符号化処理は不要である。したがって、更新される符号化データは、フレームＦ１３に相当する符号化データだけである。確認操作部８１は新しくなったＣＭ境界位置フレームを符号化制御部４から受け取り、表示する。誤判定が解消されたため、図１０（Ａ），（Ｂ），（Ｃ）に示されるＣＭ境界情報は、図８（Ａ），（Ｂ），（Ｃ）に示されるＣＭ境界情報のようになる。

以上に説明したように、実施の形態２に係る動画像記録装置１０２は、ＣＭ境界検出部１からの出力であるＣＭ境界情報によって、符号化器３での符号化方式を制御する。再生時の早送り及び巻き戻しのために、一定周期毎に画面内符号化を行うのに加え、ＣＭ境界位置フレームについても、画面内符号化を行うように制御する。確認操作部８１は、ＣＭ境界位置フレームを表示することにより、利用者にＣＭ期間を伝達することが可能であり、利用者は確認操作部８１を通じて表示されたＣＭ期間が妥当であるかどうかを判断することができる。

また、誤判定があると判断した場合にも、最低限（通常動作時、一定周期で行う画面内符号化の一周期程度）の復号処理と符号化処理を行うことにより、ＣＭ境界情報を符号化データ内に埋め込むことができる。

さらに、ＣＭ境界と誤判定があった場合にも、確認後、修正が可能であり、符号化の際に誤って消してしまうことがない。

さらにまた、余計な画面内符号化を避けることができるため、再生時の早送り、巻き戻しの効率低下を抑えることができる。

実施の形態３．
図１１は、本発明の実施の形態３に係る動画像記録装置１０３の構成を概略的に示すブロック図である。図１１において、図１（実施の形態１）と同一又は対応する構成には同じ符号を付す。図１１に示されるように、実施の形態３に係る動画像記録装置１０３は、実施の形態１に係る動画像符号化装置１０１の構成であるＣＭ境界検出部１、メモリ２、符号化器３、及び符号化制御部４に加え、記録部８０、確認操作部８１、及びデータ編集部８４を有する。

図１１に示されるように、記録部８０は、符号化器３から出力された符号化データ（ビットストリーム）を記録し、保存する。確認操作部８１は、利用者が動画像記録装置１０３を操作する際に使用する操作部と、利用者に動画像記録装置１０３に関する情報を提供する表示部とを有する。なお、この表示部は、動画像記録装置１０２自体に装備された表示モニター部には限らず、動画像記録装置１０２とは別の装置である画像表示用のモニター装置であってもよい。符号化制御部４と確認操作部８１との間では、相互に制御信号が授受される。データ編集部８４は、記録部８０に蓄えられた符号化データを確認操作部８１からの操作により編集する。編集された符号化データは、記録部８０に記録される。

次に、図１１を用いて、実施の形態３に係る動画像記録装置１０３の動作を説明する。符号化制御部４からＣＭ境界位置フレーム（一定周期でない画面内符号化フレーム番号）を確認操作部８１に出力する。確認操作部８１は、その表示部に、符号化制御部４から出力されたＣＭ境界位置フレームを表示する。

具体的には、確認操作部８１は、その表示部に、例えば、図８（Ａ）に示されるように、横方向を時間軸として、テレビ番組期間（白色部分）とＣＭ期間（斜線部分）を表示する。ＣＭの連続性から、ＣＭ境界位置フレーム（図８（Ｃ）のクロスハッチング部分＜ｉ＞〜＜ｖ＞）が一定間隔（１５秒、３０秒等ＣＭとして想定される時間）で、複数回連続する場合に、その期間をＣＭ期間として表示させる。確認操作部８１を通じて、利用者は、ＣＭ境界検出部１で検出したＣＭ期間が妥当であることを確認することができる。

図８（Ｂ）は、図８（Ａ）を別の形式で表現したもので、ＣＭ期間の先頭と、テレビ番組の先頭のＣＭ境界位置フレームを図示（図８（Ｂ）のクロスハッチング部分）したものである。

図８（Ｃ）は、図８（Ａ），（Ｂ）中の期間Ｐａの拡大図である。ＣＭ期間と判断された期間内には、一定周期の画面内符号化フレームと、ＣＭ境界として判断されたＣＭ境界位置フレームによる画面内符号化フレームが存在する。図８（Ｃ）では、１つのＣＭ期間内に、ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４で示される４つのＣＭ部分があり、それぞれのＣＭ部分ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４の先頭フレーム（図８（Ｃ）においてクロスハッチング部分＜ｉ＞〜＜ｉｖ＞）がＣＭ境界位置フレームと判定される。なお、ＣＭ期間直後のテレビ番組先頭フレーム（図８（Ｃ）においてクロスハッチング部分＜ｖ＞）もＣＭ境界位置フレームである。

利用者は、確認操作部８１でＣＭ期間の妥当性を確認した後、テレビ番組期間を繋ぐ編集を行うことが可能である。具体的には、図１２（Ａ）に示されるように、実際の符号化データの中からテレビ番組以外ｔ_ＰＲの期間に相当する符号化データ（斜線部分）を削除する。

図１２（Ａ）の場合の動作を説明する。確認操作部８１では、一定周期でない画面内符号化フレームからＣＭ期間を判別し、図１２（Ａ）のようにＣＭ期間を表示する。利用者は、ＣＭ期間を確認操作部８１で確認した後、テレビ番組期間を繋げる編集をしたい場合には、確認操作部８１を使ってテレビ番組期間結合要求をデータ編集部８４に出力する。データ編集部８４は、テレビ番組期間結合要求を確認操作部８１から受けると、記録単位となっている符号化データを記録部８０から読み出し、テレビ番組期間だけを記録部８０に記録する。ＣＭ期間直後のフレーム（テレビ番組期間の先頭フレーム）は、画面内符号化で符号化されているため、再エンコードすることなく、符号化データを結合することが可能である。確認操作部８１は、図１２（Ｂ）のように、テレビ番組期間が繋げられた（結合された）形で表示する。この場合には、テレビ番組期間を結合した動画像の符号化データを作成することが可能であり、再符号化の必要がないので、画質劣化も発生しない。

また、利用者は、確認操作部８１でＣＭ期間の妥当性を確認した後、ＣＭマスク（隠蔽）を行うことが可能である。具体的には、図１３（Ｂ）のように記録部８０に格納された画像符号化データを、別途、不図示の制御部から記録部８０に格納された音声符号化データと一緒に多重化して、例えば、ＭＰ４形式等のシステムファイル（ファイルフォーマット）として保存し、その際に、ＣＭ期間を表すＦＬＡＧ（フラグ）を新しく用意して、システムファイル内に埋め込み、再生時にそのＦＬＡＧを確認し、ＦＬＡＧによって再生とスキップを制御する。確認操作部８１で、利用者によってテレビ番組期間ｔ_ＰＲの結合を指示された場合に、データ編集部８４で、ＣＭ期間に相当するピクチャーの符号化データに対してスキップ動作をさせるようにフラグを付加する。フラグ情報により、ＣＭ期間のスキップを行うことが可能で、記録した動画像を削除することがないので、大切な動画像の一部を誤って消す危険性がない。

図１３（Ａ），（Ｂ）の場合の動作を説明する。確認操作部８１は、一定周期でない画面内符号化フレームからＣＭ期間を判別し、図１３（Ａ）に示されるように、ＣＭ期間を表示する。利用者は、ＣＭ期間を確認操作部８１で確認した後、ＣＭ期間を再生時にスキップさせる旨をＣＭ期間隠蔽要求としてデータ編集部８４に出力する。データ編集部８４は、ＣＭ期間隠蔽要求をデータ編集部８４から受けると、記録単位になっている符号化データを記録部８０から読み出し、ＣＭ期間に相当する符号化データに対しては、ＣＭ期間を表すＦＬＡＧを設け、ＦＬＡＧを付加した形で多重化する。図１３（Ｂ）の場合には、ＦＬＡＧ＝‘１’のときＣＭ期間、ＦＬＡＧ＝‘０’のときテレビ番組期間ｔ_ＰＲであるとしているが、これに限るものではない。なお、記録部８０に格納された符号化データがすでに多重化されている場合、システムファイルとしてＦＬＡＧパラメータがあれば、ＣＭ期間に相当する符号化データについてＦＬＡＧを‘０’から‘１’に変更し、ＦＬＡＧパラメータがなければ、新たに付加する。確認操作部８１では、図１３（Ｂ）のように、ＣＭ期間がＦＬＡＧ＝‘１’と変更されていることを表示する。

以上に説明したように、実施の形態３に係る動画像記録装置１０３によれば、確認操作部８１により表示されたＣＭ期間を確認した上で、テレビ番組期間を繋げる編集及び再生を行うことが可能である。

実施の形態４．
実施の形態３においては、確認操作部８１により表示されたＣＭ期間を確認した上で、テレビ番組期間を繋げる編集操作を行ったが、実施の形態３と同じく図１１に示した動画像記録装置１０３を用い、同様の操作で、テレビ番組期間を除去等し、ＣＭ期間を繋げる操作も可能である。図１１の動画像記録装置１０３を用い、確認操作部８１でＣＭ期間の妥当性を確認するまでの動作は、実施の形態３と同様のため省略する。

利用者は、確認操作部８１でＣＭ期間の妥当性を確認した後、テレビ番組期間の削除を行うことが可能である。具体的には、図１２（Ｃ）に示されるように、実際の符号化データの中からテレビ番組期間ｔ_ＰＲに相当する符号化データ（斜線のない部分）を削除する。

図１２（Ｃ）の場合の動作を説明する。確認操作部８１では、一定周期でない画面内符号化フレームからＣＭ期間を判別し、図１２（Ｃ）のようにＣＭ期間を表示する。利用者は、ＣＭ期間を確認操作部８１で確認した後、テレビ番組期間を実際に符号化データから削除したい場合には、確認操作部８１を使ってテレビ番組期間の削除要求をデータ編集部８４に出力する。データ編集部８４は、テレビ番組期間の削除要求を確認操作部８１から受けると、記録単位となっている符号化データを記録部８０から読み出し、ＣＭ期間以外の期間に相当する符号化データを削除して、記録部８０に記録する。記録された各ＣＭ期間の先頭フレームは、画面内符号化で符号化されているため、再エンコードすることなく、符号化データを結合することが可能である。確認操作部８１は、図１２（Ｄ）のように、ＣＭ期間が繋げられた（結合された）形で表示する。この場合には、ＣＭ期間が結合された動画像の符号化データを作成することが可能であり、再符号化の必要がないので、画質劣化も発生しない。

また、利用者は、確認操作部８１でＣＭ期間の妥当性を確認した後、テレビ番組期間のマスク（隠蔽）を行うことが可能である。動作は実施の形態３において、図１３（Ａ）及び（Ｂ）を用いて説明した動作と同様である。ただし、再生時にＦＬＡＧ＝‘０’の期間（テレビ番組期間）をスキップする点がことなる。このように、フラグ情報により、テレビ番組期間のスキップを行うことが可能で、記録した動画像を削除することがないので、大切なＣＭ画像の一部を誤って消す危険性がない。

以上に説明したように、実施の形態４に係る動画像記録装置１０３によれば、確認操作部８１により表示されたＣＭ期間を確認した上で、ＣＭだけをつなげる編集及び再生が可能である。

実施の形態５．
図１４は、本発明の実施の形態５に係る動画像再生装置１０４の構成を概略的に示すブロック図である。図１４に示されるように、実施の形態５に係る動画像再生装置１０４は、符号化データ（ビットストリーム）を格納する記録部８０と、記録部８０から読み出された符号化データからＣＭ境界を判別するＣＭ境界判別部８５と、ＣＭ境界判別部８５から出力される判別結果を使って復号部８２を制御する復号処理制御部８６と、復号処理制御部８６から出力される制御信号により記録部８０から読み出した符号化データを復号する復号部８２と、復号部８２により復号処理された復号画像を格納する復号メモリ８３と、動画像再生装置１０４を操作する利用者に操作系と表示系を提供する確認操作部８１とを備えている。

次に、図１４を用いて、実施の形態５に係る動画像再生装置１０４の動作を説明する。符号化データは不図示の制御手段によって予め記録部８０に格納される。確認操作部８１で動画像再生が指示されると、ＣＭ境界判別部８５は、記録部８０から符号化データを読み出し、ＣＭ境界を判別する。ＣＭ境界判別部８５の判別結果は、復号処理制御部８６に入力される。復号処理制御部８６は、ＣＭ境界判別部８５から入力される判別結果を使って、復号部８２を制御する。復号部８２は、記録部８０から読み出された符号化データを復号処理制御部８６から出力された制御信号に従って、復号処理を行う。復号部８２で復号処理されて得た復号画像データは、復号メモリ８３に格納される。復号画像データは、復号メモリ８３から読み出されて確認操作部８１に入力され、表示される。

次に、ＣＭ境界の判別について説明する。実施の形態１及び実施の形態２において既に説明したように、動画像符号化に際して、一定周期毎に画面内符号化により動画像を符号化し、同時に、ＣＭ境界と判定したフレームに対しても、画面内符号化を行う。したがって、一定周期でない画面内符号化フレームは、ＣＭ境界であると判別することができる。符号化データは、例えば、図８（Ａ），（Ｂ），（Ｃ）のようになる。動画再生途中に、ＣＭ境界判別部８５で再生フレームがＣＭ境界位置フレームであると判別した場合（図８（Ｃ）において＜ｉ＞で示されるフレーム）、復号処理制御部８６では、ＣＭ境界判別部８５からの判別結果を受けて、このＣＭ境界位置フレームに対する復号処理終了後、復号部８２の復号処理を一旦停止するように制御する。このＣＭ境界位置フレームの復号画像は、復号メモリ８３に格納された後、読み出されて、確認操作部８１に表示される。利用者は、テレビ番組期間からＣＭへの切り替わりを認識することができ、切り替わり後のフレーム＜ｉ＞の内容を確認することが可能である。利用者は、確認操作部８１を確認後、フレーム＜ｉ＞がＣＭ期間であると判断した場合には、次のＣＭ境界位置フレーム＜ｉｉ＞まで復号処理を行わずスキップするように確認操作部８１を操作する。確認操作部８１からの操作を受けて、ＣＭ境界判別部８５は、記録部８０に格納された符号化データを検索し、ＣＭ境界位置フレーム＜ｉｉ＞を判別する。ＣＭ境界検索部８５からの判別結果で、復号処理制御部８６は、記録部８０からＣＭ境界位置フレーム＜ｉｉ＞に相当する画面内符号化データを読み出し、復号部８２ではその符号化データを復号し、復号メモリ８３に格納する。復号メモリ８３に格納された復号画像は、確認操作部８１に表示される。以降、画面内符号化を行ったＣＭ境界位置フレーム＜ｉｉ＞、＜ｉｉｉ＞、＜ｉｖ＞、＜ｖ＞についても同様の処理を行い、復号画像を確認操作部８１に出力する。利用者は、確認操作部８１でそのＣＭ境界がテレビ番組期間にあるのか（図８（Ｃ）におけるフレーム＜ｖ＞）なのか、ＣＭ期間（図８（Ｃ）におけるフレーム＜ｉｉ＞、＜ｉｉｉ＞、＜ｉｖ＞）なのかを確認することができ、ＣＭ期間であれば、次のＣＭ境界まで画面内符号化フレームのみの再生を行い、テレビ番組期間であれば通常再生を行うことにより、テレビ番組期間を確実に繋げて再生処理を行うことができる。

また、上記において、確認操作部８１でテレビ番組期間と確認した場合は、復号処理を行わずスキップするように確認操作部８１を操作し、ＣＭ期間と判断した場合には、通常再生動作を行うようにすれば、同様の動作により、ＣＭ期間を繋げて再生することも可能である。

また、実施の形態３及び４において説明したように、ＣＭ期間を、記録部８０に格納されたシステムファイルから、ＣＭ境界判別部８５で判別することも可能である。図１３（Ａ），（Ｂ）の場合には、ＦＬＡＧ＝‘１’のときをＣＭ期間として判別し、復号処理制御部８６に判別結果を出力する。復号処理制御部８６は、ＣＭ境界判別部８５から出力されたＣＭ期間の判別結果で、ＣＭ期間であると判別されたフレームに対しては、復号部８２における復号処理をスキップするように制御する。したがって、復号部８２は、記録部８０から、テレビ番組期間（ＦＬＡＧ＝‘０’の期間）に相当する符号化データを読み出し、復号処理を行う。ＣＭ期間に相当する符号化データをスキップした場合にも、ＣＭ期間直後の先頭フレームは、画面内符号化で符号化されているため、そのフレームからの復号処理は可能である。

他方、テレビ番組期間をスキップし、ＣＭ期間を繋げる場合について説明する。ＦＬＡＧ＝‘１’のときをＣＭ期間として判別し、復号処理制御部８６に判別結果を出力する。復号処理制御部８６は、ＣＭ境界判別部８５から出力されたＣＭ期間の判別結果で、ＣＭ期間であると判別された以外のフレームに対しては、復号部８２における復号処理をスキップするように制御する。したがって、復号部８２は、記録部８０から、ＣＭ期間（ＦＬＡＧ＝‘１’の期間）に相当する符号化データを読み出し、復号処理を行う。ＣＭ期間以外の期間に相当する符号化データをスキップした場合にも、ＣＭ期間直後の先頭フレームは、画面内符号化で符号化されているため、そのフレームからの復号処理は可能である。

以上に説明したように、実施の形態５に係る動画像再生装置１０４は、一定周期である画面内符号化フレーム以外の画面内符号化フレームを検出してＣＭ境界として再生することができる。また、実施の形態５に係る動画像再生装置１０４によれば、簡単に符号化データからＣＭ境界を検索することができ、確実に、ＣＭ期間を結合させ、あるいはスキップ再生することができる。

なお、上記実施の形態１から実施の形態５までの装置において、「フレーム」と称しているものの概念には、テレビジョン放送信号における「フィールド」も含まれる。

また、上記実施の形態１から実施の形態５までの装置において、「テレビジョン放送番組」と称しているものには、直接テレビから入力されるテレビジョン放送の他に、ビデオレコーダや、ハードディスクレコーダに一旦録画された後に出力されるテレビジョン放送番組も含まれる。

さらに、以上に説明した本発明の動画像符号化装置、動画像記録装置、及び動画像再生装置の活用例としては、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）レコーダ、ＤＶＤプレーヤ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）記録再生装置、ハイブリッドレコーダ（ＤＶＤ記録再生装置とＨＤＤ記録再生装置の複合機）等に適用できる。

さらにまた、本発明の動画像符号化装置によって実施される動画像符号化方法、動画像記録装置によって実施される動画像記録方法、及び動画像再生装置によって実施される動画像再生方法を、パーソナルコンピュータ（ＰＣ）のような電子情報処理装置によって、インストールされたソフトウェアプログラムに従って、実行させることも可能である。プログラムのインストールに際しては、インストール用のプログラムを記録したＣＤ−ＲＯＭやＤＶＤ―ＲＯＭのような情報記録媒体からのインストール方法、又は、インターネット等の通信回線を用いたダウンロードによるインストール方法がある。

Claims (7)

1. テレビ番組期間と、番組本編以外の放送期間とを含むテレビジョン放送の放送信号を符号化処理し、前記放送信号の符号化データを出力する符号化手段と、
   前記符号化手段に、一定周期毎のピクチャーについて画面内符号化を行わせ、前記画面内符号化される一定周期毎のピクチャーの間のピクチャーについて画面間符号化を行わせるように、前記符号化手段を制御する符号化制御手段と、
   前記テレビ番組期間から番組本編以外の放送期間に切り替わる境界、及び番組本編以外の放送期間から前記テレビ番組期間に切り替わる境界を検出して境界情報を出力する境界検出手段と
   を有し、
   前記符号化制御手段が、
   前記境界情報に基づいて、前記境界にある境界ピクチャーについて画面内符号化し、
   前記境界ピクチャーが、画面内符号化が行われる前記一定周期毎のピクチャーと重なった場合に、前記一定周期毎のピクチャーの所定ピクチャー数後のピクチャーを画面内符号化するように、
   前記符号化処理を制御すること
   を特徴とする動画像符号化装置。
2. 前記符号化制御手段は、
   前記境界ピクチャーが、画面内符号化が行われる前記一定周期毎のピクチャーと重なった場合に、前記境界ピクチャーと重なった前記一定周期毎のピクチャーを画面間符号化するように、前記符号化手段を制御すること
   を特徴とする請求項１に記載の動画像符号化装置。
3. 前記境界検出手段は、
   前記放送信号の映像信号に基づいて検出されるシーンチェンジ情報、及び／又は前記放送信号の音声信号に基づいて、前記境界を検出すること
   を特徴とする請求項１に記載の動画像符号化装置。
4. 請求項１に記載の動画像符号化装置と、
   前記符号化手段から出力される前記符号化データを記録する記録手段と
   を有すること
   を特徴とする動画像記録装置。
5. 前記符号化データを編集し、複数の前記テレビ番組期間を連続して視認可能にするための操作を入力する操作手段と
   を有すること
   を特徴とする請求項４に記載の動画像記録装置。
6. 前記符号化データを編集し、複数の前記コマーシャル期間を連続して視認可能にするための操作を入力する操作手段と
   を有すること
   を特徴とする請求項４に記載の動画像記録装置。
7. 前記符号化データを、前記テレビ番組期間と前記番組本編以外の放送期間とに識別可能な状態で表示可能な表示手段と
   を有すること
   を特徴とする請求項５又は６に記載の動画像記録装置。

Images