JPH0984023A - フレーム内符号化挿入方法および映像符号化装置 - Google Patents
フレーム内符号化挿入方法および映像符号化装置Info
- Publication number
- JPH0984023A JPH0984023A JP7239945A JP23994595A JPH0984023A JP H0984023 A JPH0984023 A JP H0984023A JP 7239945 A JP7239945 A JP 7239945A JP 23994595 A JP23994595 A JP 23994595A JP H0984023 A JPH0984023 A JP H0984023A
- Authority
- JP
- Japan
- Prior art keywords
- coding
- frame
- intra
- video
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 フレーム内符号化とフレーム間予測符号化と
を混在させる映像符号化において、フレーム内符号化に
よる映像フレームの数を少なくして全体としての符号化
効率を向上させるとともに、符号化後の蓄積映像の編集
を容易にする。 【解決手段】 入力映像情報における情報の切れ目を検
出し、切れ目を検出したときにフレーム内符号化を行
う。例えば、入力映像信号に付随する音声情報において
無音状態と有音状態との間の遷移が起きたかどうかを判
別し（ステップ１０４）、遷移が起きた場合にはフレー
ム内符号化を実行し（ステップ１０２）、そうでない場
合にはフレーム間予測符号化を実行する（ステップ１０
６）。
を混在させる映像符号化において、フレーム内符号化に
よる映像フレームの数を少なくして全体としての符号化
効率を向上させるとともに、符号化後の蓄積映像の編集
を容易にする。 【解決手段】 入力映像情報における情報の切れ目を検
出し、切れ目を検出したときにフレーム内符号化を行
う。例えば、入力映像信号に付随する音声情報において
無音状態と有音状態との間の遷移が起きたかどうかを判
別し（ステップ１０４）、遷移が起きた場合にはフレー
ム内符号化を実行し（ステップ１０２）、そうでない場
合にはフレーム間予測符号化を実行する（ステップ１０
６）。
Description
【０００１】
【発明の属する技術分野】本発明は、映像の符号化方法
および装置に関し、特に、フレーム内符号化とフレーム
間予測符号化とが混在する符号化方法を使用する場合に
フレーム内符号化のフレームを挿入する位置を決定する
フレーム内符号化挿入方法および映像符号化装置に関す
る。
および装置に関し、特に、フレーム内符号化とフレーム
間予測符号化とが混在する符号化方法を使用する場合に
フレーム内符号化のフレームを挿入する位置を決定する
フレーム内符号化挿入方法および映像符号化装置に関す
る。
【０００２】
【従来の技術】映像（動画像）の高効率符号化方法とし
て、ＭＰＥＧ１ビデオ(ISO/IEC IS 11172-2)やＭＰＥＧ
２ビデオ(ISO/IEC IS 13818-2)などの符号化アルゴリズ
ムがある(MPEG=Moving Picture Coding Experts Grou
p)。これらのアルゴリズムでは、フレーム内符号化とフ
レーム間予測符号化とを混在して使用している。フレー
ム内符号化では対象とするフレームを独立に符号化し、
フレーム間予測符号化では、動き補償や補間などの手法
を用いて近接するフレームとの差成分等を抽出すること
により、対象とするフレームを符号化する。したがっ
て、フレーム間予測符号化によるフレーム当りの符号量
は、フレーム内符号化によるフレームの符号量に比べて
圧倒的に小さい。上述したようなアルゴリズムでは、映
像データを構成する一連のフレームのうち、少数のフレ
ームに対してフレーム内符号化を適用し、残りのフレー
ムについてはフレーム間予測符号化を適用することによ
り、符号化効率を高め、映像データの圧縮率の向上を図
ることができる。
て、ＭＰＥＧ１ビデオ(ISO/IEC IS 11172-2)やＭＰＥＧ
２ビデオ(ISO/IEC IS 13818-2)などの符号化アルゴリズ
ムがある(MPEG=Moving Picture Coding Experts Grou
p)。これらのアルゴリズムでは、フレーム内符号化とフ
レーム間予測符号化とを混在して使用している。フレー
ム内符号化では対象とするフレームを独立に符号化し、
フレーム間予測符号化では、動き補償や補間などの手法
を用いて近接するフレームとの差成分等を抽出すること
により、対象とするフレームを符号化する。したがっ
て、フレーム間予測符号化によるフレーム当りの符号量
は、フレーム内符号化によるフレームの符号量に比べて
圧倒的に小さい。上述したようなアルゴリズムでは、映
像データを構成する一連のフレームのうち、少数のフレ
ームに対してフレーム内符号化を適用し、残りのフレー
ムについてはフレーム間予測符号化を適用することによ
り、符号化効率を高め、映像データの圧縮率の向上を図
ることができる。
【０００３】フレーム内符号化された映像フレームは、
他の映像フレームを参照することなく復号化することが
可能である。したがって、フレーム内符号化された映像
フレームを挿入することにより、その映像フレームの位
置でランダムアクセスが可能となり、映像の切り貼り、
編集作業を実行することができる。しかしながら、フレ
ーム内符号化は符号化効率を低下させるため、全映像フ
レームをフレーム内符号化することは効率的ではなく、
一般には、符号化効率のよいフレーム間予測符号化を併
用して、最低限のランダムアクセス性を補償するために
一定周期でフレーム内符号化の映像フレームを挿入して
いる。
他の映像フレームを参照することなく復号化することが
可能である。したがって、フレーム内符号化された映像
フレームを挿入することにより、その映像フレームの位
置でランダムアクセスが可能となり、映像の切り貼り、
編集作業を実行することができる。しかしながら、フレ
ーム内符号化は符号化効率を低下させるため、全映像フ
レームをフレーム内符号化することは効率的ではなく、
一般には、符号化効率のよいフレーム間予測符号化を併
用して、最低限のランダムアクセス性を補償するために
一定周期でフレーム内符号化の映像フレームを挿入して
いる。
【０００４】ＭＰＥＧ２ビデオによる映像符号化では、
Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類の映像フ
レームを使用する。Ｉピクチャはフレーム内符号化によ
る映像フレームであり、Ｐピクチャは、時間的に前にあ
るＩピクチャあるいはＰピクチャからフレーム間順方向
予測符号化によって得られる映像フレームであり、Ｂピ
クチャは、時間的に前と後のＩピクチャあるいはＰピク
チャから双方向予測符号化によって得られる映像フレー
ムである。図１は、ＭＰＥＧ２ビデオのアルゴリズム作
成に使用されたテストモデルを示している。このテスト
モデルでは、１秒当り３０フレームとして、１５フレー
ムすなわち０.５秒ごとにＩピクチャ１１を挿入し、Ｉ
ピクチャ１１の間にはいくつかのＰピクチャ１３を分散
配置し、さらに残りのフレームをＢピクチャ１２として
いる。図において各ピクチャを結ぶ矢印は、フレーム間
予測符号化の際のフレーム間の参照関係を示している。
Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類の映像フ
レームを使用する。Ｉピクチャはフレーム内符号化によ
る映像フレームであり、Ｐピクチャは、時間的に前にあ
るＩピクチャあるいはＰピクチャからフレーム間順方向
予測符号化によって得られる映像フレームであり、Ｂピ
クチャは、時間的に前と後のＩピクチャあるいはＰピク
チャから双方向予測符号化によって得られる映像フレー
ムである。図１は、ＭＰＥＧ２ビデオのアルゴリズム作
成に使用されたテストモデルを示している。このテスト
モデルでは、１秒当り３０フレームとして、１５フレー
ムすなわち０.５秒ごとにＩピクチャ１１を挿入し、Ｉ
ピクチャ１１の間にはいくつかのＰピクチャ１３を分散
配置し、さらに残りのフレームをＢピクチャ１２として
いる。図において各ピクチャを結ぶ矢印は、フレーム間
予測符号化の際のフレーム間の参照関係を示している。
【０００５】このＭＰＥＧ２ビデオでは、０.５秒ごと
にＩピクチャ１１が挿入されているので、０.５秒を単
位とした映像の編集が可能であるが、以下に説明するよ
うな２つの問題点がある。
にＩピクチャ１１が挿入されているので、０.５秒を単
位とした映像の編集が可能であるが、以下に説明するよ
うな２つの問題点がある。
【０００６】映像の編集は、通常、情報の意味のある
単位ごとに行われると想定されるが、この単位とＩピク
チャの挿入位置とは必ずしも一致しない。図２は、一例
として、音声情報（「○○さんは、１９５０年に生ま
れ、現在、△△株式会社を経営しています。」）との同
期を取りながら映像情報の編集を行う場合を示してい
る。図２において、無地で示されたフレームはフレーム
間予測符号化によるフレーム（Ｂピクチャ、Ｐピクチ
ャ）を示し、千鳥掛け紋のフレームはフレーム内符号化
によるフレーム（Ｉピクチャ１１）を表わしている。図
２から示されるように、音声情報による編集ポイント
（句読点の直後の単語の先頭位置）の中にはＩピクチャ
１１の挿入位置と一致しないものがあり、映像の編集を
行う際に、映像での区切りのよい位置では音声情報が不
足したり余分になったりし、音声情報の区切りの良いと
ころでは適当なＩピクチャが存在しないためにそこを映
像の切れ目とすることができない、ということが起こ
る。
単位ごとに行われると想定されるが、この単位とＩピク
チャの挿入位置とは必ずしも一致しない。図２は、一例
として、音声情報（「○○さんは、１９５０年に生ま
れ、現在、△△株式会社を経営しています。」）との同
期を取りながら映像情報の編集を行う場合を示してい
る。図２において、無地で示されたフレームはフレーム
間予測符号化によるフレーム（Ｂピクチャ、Ｐピクチ
ャ）を示し、千鳥掛け紋のフレームはフレーム内符号化
によるフレーム（Ｉピクチャ１１）を表わしている。図
２から示されるように、音声情報による編集ポイント
（句読点の直後の単語の先頭位置）の中にはＩピクチャ
１１の挿入位置と一致しないものがあり、映像の編集を
行う際に、映像での区切りのよい位置では音声情報が不
足したり余分になったりし、音声情報の区切りの良いと
ころでは適当なＩピクチャが存在しないためにそこを映
像の切れ目とすることができない、ということが起こ
る。
【０００７】一方で、本来映像の編集をするはずがな
い点であっても定期的にＩピクチャを挿入しているた
め、全体としての符号化効率が低下し、データ量が増大
する。
い点であっても定期的にＩピクチャを挿入しているた
め、全体としての符号化効率が低下し、データ量が増大
する。
【０００８】
【発明が解決しようとする課題】本発明の目的は、フレ
ーム内符号化による映像フレームの数を少なくして全体
としての符号化効率を向上させるとともに、符号化後の
蓄積映像の編集を考慮して、意味のある情報単位ごとに
映像の編集を可能とする、映像符号化におけるフレーム
内符号化挿入方法と符号化装置とを提供することにあ
る。
ーム内符号化による映像フレームの数を少なくして全体
としての符号化効率を向上させるとともに、符号化後の
蓄積映像の編集を考慮して、意味のある情報単位ごとに
映像の編集を可能とする、映像符号化におけるフレーム
内符号化挿入方法と符号化装置とを提供することにあ
る。
【０００９】
【課題を解決するための手段】本発明のフレーム内符号
化挿入方法は、フレーム内符号化およびフレーム間予測
符号化を混在させて入力映像情報を符号化する映像符号
化方法において、入力映像情報における情報の切れ目を
検出し、切れ目を検出したときにフレーム内符号化を行
う。具体的には、例えば、入力映像情報に付随する音
声情報が有音状態であるかを監視し、有音状態と無音状
態との間での遷移が生じたときにフレーム内符号化を行
ったり、あるいは入力映像情報におけるシーンチェン
ジを検出したときと、前回のフレーム内符号化を行った
ときから所定の時間が経過したときとにフレーム内符号
化を行うようにする。
化挿入方法は、フレーム内符号化およびフレーム間予測
符号化を混在させて入力映像情報を符号化する映像符号
化方法において、入力映像情報における情報の切れ目を
検出し、切れ目を検出したときにフレーム内符号化を行
う。具体的には、例えば、入力映像情報に付随する音
声情報が有音状態であるかを監視し、有音状態と無音状
態との間での遷移が生じたときにフレーム内符号化を行
ったり、あるいは入力映像情報におけるシーンチェン
ジを検出したときと、前回のフレーム内符号化を行った
ときから所定の時間が経過したときとにフレーム内符号
化を行うようにする。
【００１０】本発明の映像符号化装置は、フレーム内符
号化およびフレーム間予測符号化を混在させて入力映像
情報を符号化する映像符号化装置であって、入力映像情
報における情報の切れ目を検出して切れ目信号を発生す
る検出手段と、切れ目信号を受信した場合にはフレーム
内符号化を実行して入力映像情報の符号化を行う符号化
手段とを有する。情報の切れ目としては、例えば、入力
映像情報に付随する音声情報において有音状態と無音状
態との遷移が発生したときや、画像のシーンチェンジを
検出した場合などが該当する。本発明の映像符号化装置
では、前回のフレーム内符号化を実行したときからの時
間を計測するタイマ手段をさらに設け、タイマ手段で計
測された値が所定の値に達したときにも符号化手段によ
ってフレーム内符号化が行われるようにしてもよい。
号化およびフレーム間予測符号化を混在させて入力映像
情報を符号化する映像符号化装置であって、入力映像情
報における情報の切れ目を検出して切れ目信号を発生す
る検出手段と、切れ目信号を受信した場合にはフレーム
内符号化を実行して入力映像情報の符号化を行う符号化
手段とを有する。情報の切れ目としては、例えば、入力
映像情報に付随する音声情報において有音状態と無音状
態との遷移が発生したときや、画像のシーンチェンジを
検出した場合などが該当する。本発明の映像符号化装置
では、前回のフレーム内符号化を実行したときからの時
間を計測するタイマ手段をさらに設け、タイマ手段で計
測された値が所定の値に達したときにも符号化手段によ
ってフレーム内符号化が行われるようにしてもよい。
【００１１】本発明では、意味のある情報の切れ目を入
力画像情報中から検出した時点をフレーム内符号化によ
るフレームの挿入位置としているので、潜在的に編集が
行われる可能性のあるところにフレーム内符号化による
フレームが配置されるようになって、符号化した蓄積映
像の編集が容易になる。これにより、パーソナルコンピ
ュータやワークステーションなどでの符号化映像の蓄積
および編集作業に利用することができるようになる。な
お、本発明では、情報の切れ目に対応してフレーム内符
号化を行うので、周期的にフレーム内符号化フレームを
挿入することを併用する場合であってもその周期を従来
法に比べて長くすることが可能であり、結局、全体とし
てはフレーム内符号化によるフレームの数を減らすこと
ができて符号化効率が向上する。
力画像情報中から検出した時点をフレーム内符号化によ
るフレームの挿入位置としているので、潜在的に編集が
行われる可能性のあるところにフレーム内符号化による
フレームが配置されるようになって、符号化した蓄積映
像の編集が容易になる。これにより、パーソナルコンピ
ュータやワークステーションなどでの符号化映像の蓄積
および編集作業に利用することができるようになる。な
お、本発明では、情報の切れ目に対応してフレーム内符
号化を行うので、周期的にフレーム内符号化フレームを
挿入することを併用する場合であってもその周期を従来
法に比べて長くすることが可能であり、結局、全体とし
てはフレーム内符号化によるフレームの数を減らすこと
ができて符号化効率が向上する。
【００１２】
【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して説明する。
て、図面を参照して説明する。
【００１３】《第１の実施の形態》図３は本発明の第１
の実施の形態の映像符号化装置の構成を示すブロック図
である。この映像符号化装置は、情報の切れ目を検出す
る検出手段として有音／無音検出器を用い、本発明のフ
レーム内符号化挿入方法にしたがって映像符号化を実行
するとともに、不図示の音声符号化器を用いて入力映像
情報に付随した音声情報の符号化を行うものである。こ
の映像符号化装置は、入力映像情報が予め格納されてい
る画像ファイル２１と、入力映像情報に付随する音声情
報が有音状態であるかどうかを監視して有音状態と無音
状態との間での遷移があったときに切れ目信号を出力す
る有音／無音検出器２２と、切れ目信号を受信したとき
には入力映像情報に対してフレーム内符号化を実行しそ
の他のときには入力映像情報に対してフレーム間予測符
号化を実行して符号化出力を行う符号化器２３と、によ
って構成されている。なお符号化器２３は、入力画像情
報における先頭のフレームなど、フレーム間予測符号化
での参照のためにフレーム内符号化を行う必要のある最
小限のフレームについてもフレーム内符号化を実行す
る。なお、、画像ファイル２１を設ける代わりに、ビデ
オカメラ等からの入力映像情報を直接符号化するように
してもよい。
の実施の形態の映像符号化装置の構成を示すブロック図
である。この映像符号化装置は、情報の切れ目を検出す
る検出手段として有音／無音検出器を用い、本発明のフ
レーム内符号化挿入方法にしたがって映像符号化を実行
するとともに、不図示の音声符号化器を用いて入力映像
情報に付随した音声情報の符号化を行うものである。こ
の映像符号化装置は、入力映像情報が予め格納されてい
る画像ファイル２１と、入力映像情報に付随する音声情
報が有音状態であるかどうかを監視して有音状態と無音
状態との間での遷移があったときに切れ目信号を出力す
る有音／無音検出器２２と、切れ目信号を受信したとき
には入力映像情報に対してフレーム内符号化を実行しそ
の他のときには入力映像情報に対してフレーム間予測符
号化を実行して符号化出力を行う符号化器２３と、によ
って構成されている。なお符号化器２３は、入力画像情
報における先頭のフレームなど、フレーム間予測符号化
での参照のためにフレーム内符号化を行う必要のある最
小限のフレームについてもフレーム内符号化を実行す
る。なお、、画像ファイル２１を設ける代わりに、ビデ
オカメラ等からの入力映像情報を直接符号化するように
してもよい。
【００１４】次に、この映像符号化装置の動作につい
て、図４を用いて説明する。有音／無音検出器２２の内
部には、STATE1とSTATE2の２つの変数が保持されるもの
とする。まず、入力映像情報やこれに付随する音声情報
の符号化に先立ち、有音／無音検出器２２によって入力
映像情報の先頭が有音か無音かを判別し、有音であれば
変数STATE1に０を代入し無音であれば１を代入する（ス
テップ１０１）。一方、符号化器２３は入力映像情報の
映像フレームをフレーム内符号化する（ステップ１０
２）。最初にステップ１０２を実行したときには入力映
像情報の最初の映像フレームがフレーム内符号化され
る。
て、図４を用いて説明する。有音／無音検出器２２の内
部には、STATE1とSTATE2の２つの変数が保持されるもの
とする。まず、入力映像情報やこれに付随する音声情報
の符号化に先立ち、有音／無音検出器２２によって入力
映像情報の先頭が有音か無音かを判別し、有音であれば
変数STATE1に０を代入し無音であれば１を代入する（ス
テップ１０１）。一方、符号化器２３は入力映像情報の
映像フレームをフレーム内符号化する（ステップ１０
２）。最初にステップ１０２を実行したときには入力映
像情報の最初の映像フレームがフレーム内符号化され
る。
【００１５】次に、有音／無音検出器２２は、引き続く
データが有音であるかを判別し、有音であれば変数STAT
E2に０を代入し無音であれば１を代入して（ステップ１
０３）、変数STATE1とSTATE2を比較する（ステップ１０
４）。両者が一致しない場合は、有音状態と無音状態と
の間で遷移が生じたとき、すなわちで情報が意味のある
単位を終了したときであるから、有音／無音検出器２２
は切れ目信号を出力するとともに変数STATE2の値を変数
STATE1に代入する（ステップ１０５）。このとき、切れ
目信号が出力されているので、ステップ１０２に戻って
符号化器２３によってフレーム内符号化が行われる。
データが有音であるかを判別し、有音であれば変数STAT
E2に０を代入し無音であれば１を代入して（ステップ１
０３）、変数STATE1とSTATE2を比較する（ステップ１０
４）。両者が一致しない場合は、有音状態と無音状態と
の間で遷移が生じたとき、すなわちで情報が意味のある
単位を終了したときであるから、有音／無音検出器２２
は切れ目信号を出力するとともに変数STATE2の値を変数
STATE1に代入する（ステップ１０５）。このとき、切れ
目信号が出力されているので、ステップ１０２に戻って
符号化器２３によってフレーム内符号化が行われる。
【００１６】一方、ステップ１０４で両変数STATE1とST
ATE2が一致している場合は、無音状態あるいは有音状態
が継続している場合、すなわち情報が意味のある単位中
にある場合なので、切れ目信号は出力されず、符号化器
２３によってフレーム間予測符号化が行われ（ステップ
１０６）、ステップ１０７に移行する。ステップ１０７
では、符号化すべき映像フレームがまだ残っているかど
うか、言い替えれば最後のデータかどうかを判別して処
理を続行するかを判断し、続行する場合であればステッ
プ１０３に戻って処理を継続し、続行しない場合には符
号化終了処理を行って（ステップ１０８）、一連の処理
を終了する。
ATE2が一致している場合は、無音状態あるいは有音状態
が継続している場合、すなわち情報が意味のある単位中
にある場合なので、切れ目信号は出力されず、符号化器
２３によってフレーム間予測符号化が行われ（ステップ
１０６）、ステップ１０７に移行する。ステップ１０７
では、符号化すべき映像フレームがまだ残っているかど
うか、言い替えれば最後のデータかどうかを判別して処
理を続行するかを判断し、続行する場合であればステッ
プ１０３に戻って処理を継続し、続行しない場合には符
号化終了処理を行って（ステップ１０８）、一連の処理
を終了する。
【００１７】図５は、図２と同様の入力映像情報とこれ
に付随する音声情報に対して上述の処理を行った場合に
おける、フレーム内符号化された映像フレーム（Ｉピク
チャ１１）の挿入例を示す図である。図２と図４を比較
すると明らかなように、本実施の形態によれば、符号化
効率の低いＩピクチャ１１の発生頻度が低減し、符号化
効率の高いフレーム間予測符号化によるフレームが多く
なることにより、全体としての符号化効率が向上する。
一方で、意味のある情報の切れ目にＩピクチャ１１が挿
入されているので、図示された例では音声情報側の編集
ポイントに対応する位置にＩピクチャ１１が挿入されて
いるので、編集作業が簡易化される。
に付随する音声情報に対して上述の処理を行った場合に
おける、フレーム内符号化された映像フレーム（Ｉピク
チャ１１）の挿入例を示す図である。図２と図４を比較
すると明らかなように、本実施の形態によれば、符号化
効率の低いＩピクチャ１１の発生頻度が低減し、符号化
効率の高いフレーム間予測符号化によるフレームが多く
なることにより、全体としての符号化効率が向上する。
一方で、意味のある情報の切れ目にＩピクチャ１１が挿
入されているので、図示された例では音声情報側の編集
ポイントに対応する位置にＩピクチャ１１が挿入されて
いるので、編集作業が簡易化される。
【００１８】《第２の実施の形態》図６は本発明の第２
の実施の形態の映像符号化装置の構成を示すブロック図
である。この映像符号化装置は、本発明のフレーム内符
号化挿入方法にしたがって映像符号化を実行するととも
に不図示の音声符号化器を用いて入力映像情報に付随し
た音声情報の符号化を行うものであって、検出手段とし
て画像シーンチェンジ検出器を用いるとともに、情報の
切れ目の検出が不充分であったり、ある１つのシーン
（場面）の途中で編集を行いたい場合があることなどに
対応して、一定周期でフレーム内符号化を挿入するよう
にしている。この映像符号化装置には、入力映像情報が
予め格納されている画像ファイル３１と、入力映像情報
における画像のシーンチェンジ（場面の変換）を検出し
て切れ目信号を出力する画像シーンチェンジ検出器３２
と、入力映像情報の符号化を行う符号化器３３と、前回
にフレーム内符号化を実行したときからの時間を計測す
るタイマ３４とが、設けられている。符号化器３３は、
切れ目信号を受信したときとタイマ３４で計測された値
が所定の値に達したときには入力映像情報に対してフレ
ーム内符号化を実行し、その他のときには入力映像情報
に対してフレーム間予測符号化を実行して、符号化出力
を行うものである。なお符号化器３３は、入力画像情報
における先頭のフレームなど、フレーム間予測符号化で
の参照のためにフレーム内符号化を行う必要のある最小
限のフレームについてもフレーム内符号化を実行する。
画像シーンチェンジ検出器３２におけるシーンチェンジ
の検出の方法は特定の方法に限定されるのものではな
く、輝度の変化、色相の変化の予測画像との差分の大小
などを用いる方法など、各種の方法を用いることができ
る。
の実施の形態の映像符号化装置の構成を示すブロック図
である。この映像符号化装置は、本発明のフレーム内符
号化挿入方法にしたがって映像符号化を実行するととも
に不図示の音声符号化器を用いて入力映像情報に付随し
た音声情報の符号化を行うものであって、検出手段とし
て画像シーンチェンジ検出器を用いるとともに、情報の
切れ目の検出が不充分であったり、ある１つのシーン
（場面）の途中で編集を行いたい場合があることなどに
対応して、一定周期でフレーム内符号化を挿入するよう
にしている。この映像符号化装置には、入力映像情報が
予め格納されている画像ファイル３１と、入力映像情報
における画像のシーンチェンジ（場面の変換）を検出し
て切れ目信号を出力する画像シーンチェンジ検出器３２
と、入力映像情報の符号化を行う符号化器３３と、前回
にフレーム内符号化を実行したときからの時間を計測す
るタイマ３４とが、設けられている。符号化器３３は、
切れ目信号を受信したときとタイマ３４で計測された値
が所定の値に達したときには入力映像情報に対してフレ
ーム内符号化を実行し、その他のときには入力映像情報
に対してフレーム間予測符号化を実行して、符号化出力
を行うものである。なお符号化器３３は、入力画像情報
における先頭のフレームなど、フレーム間予測符号化で
の参照のためにフレーム内符号化を行う必要のある最小
限のフレームについてもフレーム内符号化を実行する。
画像シーンチェンジ検出器３２におけるシーンチェンジ
の検出の方法は特定の方法に限定されるのものではな
く、輝度の変化、色相の変化の予測画像との差分の大小
などを用いる方法など、各種の方法を用いることができ
る。
【００１９】次に、この映像符号化装置の動作につい
て、図７を用いて説明する。まず、入力映像情報やこれ
に付随する音声情報の符号化に先立ち、タイマ３４をリ
セットして値を０にし（ステップ２０１）、符号化器３
３によって入力映像情報の映像フレームをフレーム内符
号化する（ステップ２０２）。最初にステップ２０２を
実行したときには入力映像情報の最初の映像フレームが
フレーム内符号化される。そして、タイマ３４による計
時を開始する（ステップ２０３）。
て、図７を用いて説明する。まず、入力映像情報やこれ
に付随する音声情報の符号化に先立ち、タイマ３４をリ
セットして値を０にし（ステップ２０１）、符号化器３
３によって入力映像情報の映像フレームをフレーム内符
号化する（ステップ２０２）。最初にステップ２０２を
実行したときには入力映像情報の最初の映像フレームが
フレーム内符号化される。そして、タイマ３４による計
時を開始する（ステップ２０３）。
【００２０】次に、画像シーンチェンジ検出器３２によ
って、直前に符号化した映像フレームからシーンチェン
ジがあったかどうかを判定する（ステップ２０４）。シ
ーンチェンジがあった場合には、意味のある情報の切れ
目があった場合なので、画像シーンチェンジ検出器３２
から切れ目信号が出力され、これによってステップ２０
１に戻り、タイマ３４のリセット、符号化器３３による
フレーム内符号化（ステップ２０２）及びタイマ３４の
計時再開（ステップ２０３）が行われる。一方、シーン
チェンジがなかった場合には、切れ目信号が出力されな
いので、符号化器３３によってフレーム間予測符号化が
行われ（ステップ２０５）、タイマ３４の値が所定に値
に達したかどうかの判定が行われる（ステップ２０
６）。タイマ３４の値が所定の値に達した場合（タイマ
満了の場合）には、フレーム内符号化を行うためにステ
ップ２０１に戻り、タイマ満了でない場合には、符号化
すべき映像フレームがまだ残っているかどうか、言い替
えれば最後のデータかどうかを判別して処理を続行する
かを判断し、続行する場合であればステップ２０３に戻
って処理を継続し、続行しない場合には符号化終了処理
を行って（ステップ２０８）、一連の処理を終了する。
って、直前に符号化した映像フレームからシーンチェン
ジがあったかどうかを判定する（ステップ２０４）。シ
ーンチェンジがあった場合には、意味のある情報の切れ
目があった場合なので、画像シーンチェンジ検出器３２
から切れ目信号が出力され、これによってステップ２０
１に戻り、タイマ３４のリセット、符号化器３３による
フレーム内符号化（ステップ２０２）及びタイマ３４の
計時再開（ステップ２０３）が行われる。一方、シーン
チェンジがなかった場合には、切れ目信号が出力されな
いので、符号化器３３によってフレーム間予測符号化が
行われ（ステップ２０５）、タイマ３４の値が所定に値
に達したかどうかの判定が行われる（ステップ２０
６）。タイマ３４の値が所定の値に達した場合（タイマ
満了の場合）には、フレーム内符号化を行うためにステ
ップ２０１に戻り、タイマ満了でない場合には、符号化
すべき映像フレームがまだ残っているかどうか、言い替
えれば最後のデータかどうかを判別して処理を続行する
かを判断し、続行する場合であればステップ２０３に戻
って処理を継続し、続行しない場合には符号化終了処理
を行って（ステップ２０８）、一連の処理を終了する。
【００２１】図８は、Ａさんの人物像、風景映像、Ｂさ
んの人物像とシーンが変化する映像を対象として、上述
の処理を行った場合のフレーム内符号化によるフレーム
（Ｉピクチャ１１）の挿入例を示す図である。図示され
るように、シーンチェンジを契機として映像における意
味のある情報ごとにＩピクチャが挿入されているため、
符号化後の編集作業が容易になる。また、従来の技術の
ように一定周期でもＩピクチャを挿入しているため、シ
ーンチェンジとして検出されなかった位置でもある程度
の編集が可能となる。
んの人物像とシーンが変化する映像を対象として、上述
の処理を行った場合のフレーム内符号化によるフレーム
（Ｉピクチャ１１）の挿入例を示す図である。図示され
るように、シーンチェンジを契機として映像における意
味のある情報ごとにＩピクチャが挿入されているため、
符号化後の編集作業が容易になる。また、従来の技術の
ように一定周期でもＩピクチャを挿入しているため、シ
ーンチェンジとして検出されなかった位置でもある程度
の編集が可能となる。
【００２２】以上、本発明の実施の形態について、入力
映像情報における情報の切れ目を検出する検出手段とし
て有音／無音検出器を用いる場合と画像シーンチェンジ
検出器を用いる場合を例に挙げて説明したが、本発明に
おける検出手段はこれに限られるものではなく、編集用
途に応じて各種のものを使用することができ、また、こ
れらの検出手段を組み合わせて使用することもできる。
映像情報における情報の切れ目を検出する検出手段とし
て有音／無音検出器を用いる場合と画像シーンチェンジ
検出器を用いる場合を例に挙げて説明したが、本発明に
おける検出手段はこれに限られるものではなく、編集用
途に応じて各種のものを使用することができ、また、こ
れらの検出手段を組み合わせて使用することもできる。
【００２３】
【発明の効果】以上説明したように本発明は、意味のあ
る情報の切れ目を入力画像情報中から検出してそこをフ
レーム内符号化によるフレームの挿入位置とすることに
より、従来の符号化方法に比べ、符号化効率の低いフレ
ーム内符号化の挿入頻度を低減することができて全体と
しての符号化効率を向上させることができるとともに、
意味のある情報単位に符号化後の蓄積映像の編集を行う
ことが可能になって、編集作業の簡易化が可能になると
いう効果がある。
る情報の切れ目を入力画像情報中から検出してそこをフ
レーム内符号化によるフレームの挿入位置とすることに
より、従来の符号化方法に比べ、符号化効率の低いフレ
ーム内符号化の挿入頻度を低減することができて全体と
しての符号化効率を向上させることができるとともに、
意味のある情報単位に符号化後の蓄積映像の編集を行う
ことが可能になって、編集作業の簡易化が可能になると
いう効果がある。
【図１】ＭＰＥＧ２ビデオにおける映像符号化を説明す
る図である。
る図である。
【図２】映像符号化と音声情報の編集ポイントとの関係
を示す図である。
を示す図である。
【図３】第１の実施の形態の映像符号化装置の構成を示
すブロック図である。
すブロック図である。
【図４】第１の実施の形態での処理手順を示すフローチ
ャートである。
ャートである。
【図５】第１の実施態様でのフレーム内符号化フレーム
の挿入の例を示す図である。
の挿入の例を示す図である。
【図６】第２の実施の形態の映像符号化装置の構成を示
すブロック図である。
すブロック図である。
【図７】第２の実施の形態での処理手順を示すフローチ
ャートである。
ャートである。
【図８】第２の実施態様でのフレーム内符号化フレーム
の挿入の例を示す図である。
の挿入の例を示す図である。
１１ Ｉピクチャ １２ Ｂピクチャ １３ Ｐピクチャ ２１，３１ 画像ファイル ２２ 有音／無音検出器 ２３，３３ 符号化器 ３２ 画像シーンチェンジ検出器 ３３ タイマ １０１〜１０８，２０１〜２０８ ステップ
Claims (5)
- 【請求項１】 フレーム内符号化およびフレーム間予測
符号化を混在させて入力映像情報を符号化する映像符号
化方法において、 前記入力映像情報における情報の切れ目を検出し、前記
切れ目を検出したときにフレーム内符号化を行うことを
特徴とするフレーム内符号化挿入方法。 - 【請求項２】 フレーム内符号化およびフレーム間予測
符号化を混在させて入力映像情報を符号化する映像符号
化方法において、 前記入力映像情報に付随する音声情報が有音状態である
かを監視し、有音状態と無音状態との間での遷移が生じ
たときにフレーム内符号化を行うことを特徴とするフレ
ーム内符号化挿入方法。 - 【請求項３】 フレーム内符号化およびフレーム間予測
符号化を混在させて入力映像情報を符号化する映像符号
化方法において、 前記入力映像情報におけるシーンチェンジを検出したと
きと、前回のフレーム内符号化を行ったときから所定の
時間が経過したときとに、フレーム内符号化を行うこと
を特徴とするフレーム内符号化挿入方法。 - 【請求項４】 フレーム内符号化およびフレーム間予測
符号化を混在させて入力映像情報を符号化する映像符号
化装置であって、 前記入力映像情報における情報の切れ目を検出して切れ
目信号を発生する検出手段と、 前記切れ目信号を受信した場合にはフレーム内符号化を
実行して前記入力映像情報の符号化を行う符号化手段と
を有する映像符号化装置。 - 【請求項５】 前回のフレーム内符号化を実行したとき
からの時間を計測するタイマ手段をさらに有し、前記タ
イマ手段で計測された値が所定の値に達したときには前
記符号化手段がフレーム内符号化を行う請求項４に記載
の映像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7239945A JPH0984023A (ja) | 1995-09-19 | 1995-09-19 | フレーム内符号化挿入方法および映像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7239945A JPH0984023A (ja) | 1995-09-19 | 1995-09-19 | フレーム内符号化挿入方法および映像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0984023A true JPH0984023A (ja) | 1997-03-28 |
Family
ID=17052166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7239945A Pending JPH0984023A (ja) | 1995-09-19 | 1995-09-19 | フレーム内符号化挿入方法および映像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0984023A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004159079A (ja) * | 2002-11-06 | 2004-06-03 | Ntt Data Corp | 映像データ処理装置、システム及びコンピュータプログラム |
| JP2007184909A (ja) * | 2005-12-05 | 2007-07-19 | Canon Inc | 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体 |
| JP2007282164A (ja) * | 2006-04-12 | 2007-10-25 | Alpine Electronics Inc | 画像送信装置及びその送信方法 |
| JP2009296328A (ja) * | 2008-06-05 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 |
| CN112055218A (zh) * | 2020-09-15 | 2020-12-08 | 杭州萤石软件有限公司 | 事件上报方法、装置和系统 |
-
1995
- 1995-09-19 JP JP7239945A patent/JPH0984023A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004159079A (ja) * | 2002-11-06 | 2004-06-03 | Ntt Data Corp | 映像データ処理装置、システム及びコンピュータプログラム |
| JP2007184909A (ja) * | 2005-12-05 | 2007-07-19 | Canon Inc | 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体 |
| JP2007282164A (ja) * | 2006-04-12 | 2007-10-25 | Alpine Electronics Inc | 画像送信装置及びその送信方法 |
| JP2009296328A (ja) * | 2008-06-05 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 |
| JP4676513B2 (ja) * | 2008-06-05 | 2011-04-27 | 日本電信電話株式会社 | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 |
| CN112055218A (zh) * | 2020-09-15 | 2020-12-08 | 杭州萤石软件有限公司 | 事件上报方法、装置和系统 |
| CN112055218B (zh) * | 2020-09-15 | 2024-04-26 | 杭州萤石软件有限公司 | 事件上报方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2179377C2 (ru) | Устройство и способ кодирования движущихся изображений, устройство и способ декодирования движущихся изображений и считываемый эвм носитель записи (варианты) | |
| US6463101B1 (en) | Video encoding method and apparatus | |
| JP3094903B2 (ja) | テレビジョン信号変換装置、および画像符号化装置 | |
| JP4402219B2 (ja) | ビデオ・データ中のフラッシュ・フレームの検出および符号化 | |
| CA2819674C (en) | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method | |
| JPH11252552A (ja) | ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置 | |
| JPH09187007A (ja) | 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器 | |
| KR100969224B1 (ko) | 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 ｂ 픽쳐들의 처리 방법 및 시스템 | |
| US20060140271A1 (en) | Encoding and decoding of video images with delayed reference picture refresh | |
| JPH07135659A (ja) | 動画像復号制御装置 | |
| JPH08242452A (ja) | 映像信号圧縮符号化装置 | |
| JPH0984023A (ja) | フレーム内符号化挿入方法および映像符号化装置 | |
| JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
| US7239716B2 (en) | Data insertion device and method of inserting data | |
| JP2006319547A (ja) | 動画像符号化装置 | |
| JP2003179938A (ja) | 符号化方法 | |
| JPH10174094A (ja) | 映像復号化装置 | |
| JPH08116532A (ja) | 画像復号化方式および装置 | |
| JP2614212B2 (ja) | 画像信号の符号化方法およびその装置 | |
| JP2001292372A (ja) | 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体 | |
| JP2007082029A (ja) | ビデオサーバ装置およびその再生方法 | |
| JP4616537B2 (ja) | 動画像通信システム | |
| JPH07111655A (ja) | 動画像処理装置 | |
| JP2001224029A (ja) | 画像圧縮符号化装置 | |
| JP2824028B2 (ja) | 動画像圧縮装置 |