JPH10155156A - 映像信号切換装置とその方法 - Google Patents

映像信号切換装置とその方法

Info

Publication number
JPH10155156A
JPH10155156A JP31217496A JP31217496A JPH10155156A JP H10155156 A JPH10155156 A JP H10155156A JP 31217496 A JP31217496 A JP 31217496A JP 31217496 A JP31217496 A JP 31217496A JP H10155156 A JPH10155156 A JP H10155156A
Authority
JP
Japan
Prior art keywords
video signal
mpeg stream
effect
gop
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP31217496A
Other languages
English (en)
Inventor
Noboru Asamiya
昇 浅水屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP31217496A priority Critical patent/JPH10155156A/ja
Publication of JPH10155156A publication Critical patent/JPH10155156A/ja
Abandoned legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】GOPの異なる複数のMPEGストリームを、
ピクチャ単位で任意の位置から任意の期間、イフェクト
スイッチングすることができない。 【解決手段】ソース1,ソース2は、第1のデコーダ1
1,第2のデコーダ12で各々復号化され、また第1の
遅延回路13,第2の遅延回路14で各々1GOP期間
分遅延される。イフェクトスイッチャ15では、イフェ
クトがかけられながら選択するソースが1から2に切り
換えられ、その信号はエンコーダ16で符号化される。
その時、スイッチング箇所を含むGOPは、その前のソ
ース1のGOPに接続し、対応するソース2のピクチャ
がIピクチャだったものはIピクチャで再符号化される
ようにする。出力スイッチャ18は、第1の遅延回路1
3からのソース1、イフェクトのかかった第3の遅延回
路17の出力、第2の遅延回路14からのソース2の順
に信号を選択し出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、種々の映像信号の
処理システムに適用され、MPEG方式により符号化さ
れた複数の映像信号をイフェクトをかけながら適切にス
イッチングすることのできる映像信号切換装置および映
像信号切換方法に関する。
【0002】
【従来の技術】画像処理技術や信号処理技術の進展によ
り、映像(動画像)信号を圧縮符号化する種々の方式が
提案され、実用化されつつある。そのような種々の映像
符号化方式の中の高画質で高能率に符号化することがで
きる方式の1つであり、広く使用されている方式にMP
EG方式(Moving Picture coding Experts Groupによる
高品質動画符号化方式) がある。MPEGにおいては、
入力画面をピクチャタイプ(I(Intra coded )ピクチ
ャ、P(Predictive coded)ピクチャ、B(Bidirectio
nally predictive coded)ピクチャ)に合わせて並べ変
え、動き補償予測とDCT符号化を行う。そして得られ
たDCT符号化係数を量子化し、動きベクトルや符号化
モード情報とともに可変長符号化し、MPEGストリー
ムとして出力する。この時に、I,Pピクチャの場合に
は、量子化された情報は逆量子化、逆DCTおよび動き
補償されて局部復号化され、復号器と同一の画像が復元
されフレームメモリに蓄積され、動き補償予測の参照画
面として用いられる。このような映像符号化技術を用い
て、符号化された映像信号を記録したり伝送したりする
ことが盛んに行われるようになっている。
【0003】
【発明が解決しようとする課題】しかし、前述したMP
EG方式は、ピクチャ間(フレーム間、フィールド間)
の相関を用いて符号化を行っているため、ピクチャ単位
で処理を行うことができない、特に、編集や放送などを
行う場合に重要な、複数の映像信号、すなわちMPEG
ストリームを、たとえばピクチャ単位でイフェクトを加
えながら、所望の方法で適切にスイッチングすることが
できないという問題がある。具体的には、2つの映像信
号の切り換えは、2つの映像信号を一時的にミックスし
たり、フェ−ドアウト/フェ−ドインを行ったり、ワイ
プを行ったりして切り換える方法が頻繁い用いられてい
る。しかし、そのような処理を行うためには、2つの映
像信号の各ピクチャのデータに基づいて、たとえば画素
値を所定の重み付けをして合成したり、領域ごとに所定
の映像信号の画像をはめ込んだりする処理が必要とな
る。しかし、MPEGストリームにおいては、、このよ
うな各映像信号のピクチャごとの処理が適切にできなか
った。
【0004】そのため、これまでイフェクトスイッチン
グを行う必要のある場合には、符号化された映像信号を
一度全部復号化し、復号化された映像信号に対してイフ
ェクトをかけながらスイッチングを行い、スイッチング
された映像信号を再び符号化していた。しかし、このよ
うな方法においては、全映像信号に対して符号化を繰り
返すことになり、全映像信号に対して画質の劣化を招く
という問題が生じた。特に低ビットレートの映像信号に
対して大きな影響があった。また、そのような復号化お
よび再符号化を行うイフェクトスイッチング方法におい
ては、スイッチング対象の複数の映像信号のピクチャタ
イプの位相が同じとは限らない、換言すれば通常は異な
っていると考えられ、容易に再符号化することができな
かった。すなわち、イフェクトスイッチングの行われた
映像信号においてはスイッチング前とは異なるピクチャ
タイプで再符号化されることになり、画質の著しい劣化
を招く可能性が高い。また、各々最初のGOP構成をで
きるだけ維持した状態で、すなわち各映像信号のピクチ
ャタイプをできるだけ維持した状態で再符号化しようと
すると、スイッチング部ではGOP構成の乱れが生じる
ことになり、規則的なGOP単位の符号化方法では符号
化できない。
【0005】したがって、本発明の目的は、MPEG方
式により符号化されたGOPの位相が異なるような映像
信号に対して、画質の劣化を最小期間かつ最小限度に抑
え、イフェクトを加えながらピクチャ単位で適切にスイ
ッチングすることのできる映像信号切換装置を提供する
ことにある。また、本発明の他の目的は、MPEG方式
により符号化されたGOPの位相が異なるような映像信
号に対して、画質の劣化を最小期間かつ最小限度に抑
え、イフェクトを加えながらピクチャ単位で適切にスイ
ッチングすることのできる映像信号切換方法を提供する
ことにある。
【0006】
【課題を解決するための手段】前記課題を解決するため
に、イフェクトスイッチングを行う箇所のみGOP単位
で復号化を行い、復号化された映像信号を用いてピクチ
ャ単位でスイッチングを行い、再び符号化し、符号化さ
れたまま用いる他の部分の信号と整合するようにそのス
イッチング箇所のGOPを新たなMPEGストリーム中
に配置するようにした。また、その際に、スイッチング
対象の映像信号の元のピクチャタイプおよびGOP構成
をできるだけ維持してスイッチングできるようにした。
【0007】したがって本発明の映像信号切換装置は、
入力される複数のMPEGストリームをイフェクトを加
えながら切り換えて、1つのMPEGストリームとして
出力する映像信号切換装置であって、入力され先に出力
される第1のMPEGストリーム、および、入力され前
記第1のMPEGストリームから切り換えて次に出力さ
れる第2のMPEGストリームを各々復号化し、第1の
映像信号および第2の映像信号を生成する2つの復号化
手段と、前記生成された第1の映像信号および第2の映
像信号のいずれかを実質的に選択する手段であって、前
記第1の映像信号および前記第2の映像信号に対して、
所望の位置から所望の期間所望のイフェクトを加え、該
イフェクトの加えられた映像信号を挟んで前記選択する
映像信号を前記第1の映像信号から前記第2の映像信号
に切り換えるイフェクト切換手段と、少なくとも前記イ
フェクトの加えられた映像信号を包含する該映像信号の
近傍の映像信号を再符号化し、前記第1のMPEGスト
リームの前記イフェクトが加えられ始める位置を含むG
OPの直前のGOPに接続し、前記第2のMPEGスト
リームの前記イフェクトが加えられた映像信号に対応す
る映像信号を有するGOP以降の任意のGOPに接続す
る接続用MPEGストリームを生成する接続信号生成手
段と、通常は前記第1のMPEGストリームを選択し、
前記イフェクトが加えられた映像信号の近傍の所定の期
間については前記生成された接続用MPEGストリーム
を選択し、前記所定の期間終了後前記第2のMPEGス
トリームを選択し、各々出力する出力選択手段とを有す
る。
【0008】また、本発明の映像信号切換方法は、入力
される複数のMPEGストリームをイフェクトを加えな
がら切り換えて、1つのMPEGストリームとして出力
する映像信号切換方法であって、入力される第1のMP
EGストリームを選択して出力し、前記第1のMPEG
ストリーム、および、該第1のMPEGストリームから
切り換えて次に出力する予定の第2のMPEGストリー
ムを各々復号化して第1の映像信号および第2の映像信
号を生成し、前記第1の映像信号および前記第2の映像
信号に対して、所望の位置から所望の期間所望のイフェ
クトを加え、前記イフェクトの加えられた映像信号を挟
んで選択する映像信号を前記第1の映像信号から前記第
2の映像信号に切り換え、少なくとも前記イフェクトの
加えられた映像信号を包含する該映像信号の近傍の映像
信号を再符号化して前記第1のMPEGストリームの前
記イフェクトが加えられ始める位置を含むGOPの直前
のGOPに接続し、前記第2のMPEGストリームの前
記イフェクトが加えられた映像信号に対応する映像信号
を有するGOP以降の任意のGOPに接続する接続用M
PEGストリームを生成し、前記イフェクトが加えられ
た映像信号の近傍の所定の期間については前記生成され
た接続用MPEGストリームを選択して出力し、前記所
定の期間終了後第2のMPEGストリームを選択して出
力する。
【0009】
【発明の実施の形態】本発明の一実施の形態を、図1〜
図11を参照して説明する。図1は、本実施の形態の映
像信号切換装置の構成を示すブロック図である。映像信
号切換装置1は、マトリクススイッチャ10、第1のデ
コーダ11、第2のデコーダ12、第1の遅延回路1
3、第2の遅延回路14、イフェクトスイッチャ15、
エンコーダ16、第3の遅延回路17、出力スイッチャ
18、制御部19、操作部20、表示部21およびモニ
タ22-1〜22-3を有する。
【0010】まず、各部の構成・機能について説明す
る。マトリクススイッチャ10は、複数のMPEGスト
リームが並列に入力される複数の入力チャネルと、2つ
の出力チャネルを有するマトリックススイッチャであ
り、制御部19からの切換指示信号に基づいて、任意の
入力チャネルを任意の出力チャネルに切り換える。すな
わち、マトリクススイッチャ10は、現在あるいは直ち
に映像信号切換装置1から出力すべきMPEGストリー
ムが入力される入力チャネルと出力チャネルの一方を接
続し、そのMPEGストリームが適切に後段の構成部に
出力されるようにする。また、そのMPEGストリーム
が映像信号切換装置1から出力されている最中に、その
MPEGストリームに切り換えて出力する次のMPEG
ストリームが入力される入力チャネルを出力チャネルの
他方に接続し、そのMPEGストリームも適切に後段の
構成部に出力されるようにする。なお、制御部19から
の切換指示は、即時切換を指示される場合や、時刻指定
で切り換えを指示される場合などがある。また、マトリ
クススイッチャ10における切り換えは、外部より入力
されるリファレンス信号Refに同期して行われる。
【0011】第1のデコーダ11および第2のデコーダ
12は、マトリクススイッチャ10で選択されて入力さ
れるMPEGストリームを、各々ベースバンド映像信号
として復号化する。その際に、復号化した映像信号の各
フレームが元の符号化信号の時にどんなピクチャタイプ
であったか(Iピクチャ、Pピクチャ、Bピクチャのい
ずれかであるか)という情報も合わせて出力される。こ
の復号化も、外部より入力されるリファレンス信号Ref
に同期して行われる。
【0012】第1の遅延回路13および第2の遅延回路
14は、マトリクススイッチャ10で選択されて入力さ
れる2つのMPEGストリームを、後段の出力スイッチ
ャ18において、エンコーダ16により再符号化された
MPEGストリームとスイッチングしても動画シーケン
スとして整合性が取れる様に、フレーム時間単位で遅延
させてタイミングを調整する。この遅延動作も、外部よ
り入力されるリファレンス信号Refに同期して行われ
る。
【0013】イフェクトスイッチャ15は、第1のデコ
ーダ11および第2のデコーダ12から出力される2つ
のベースバンド映像信号に対してイフェクトを加えてス
イッチング用の映像信号を生成し、そのスイッチング用
の映像信号を挟んでその2つのベースバンド映像信号を
切り換える。イフェクトスイッチャ15で加えられるこ
のイフェクトは、式1のように示される。
【0014】
【数1】 Zi =Fi (Xi )+Gi (Yi ) ・・・(1) 但し、Xi,Yi は、フレームごとの入力映像信号、Zi
は、フレームごとの出力映像信号、iは、フレーム番
号、Fi,Gi は、イフェクトを実現する関数である。
【0015】なお、イフェクトを実現する関数Fi,Gi
は、後述する操作部20に設けられて、作業者により操
作されるコントロールレバーの、対応するフレームiの
映像信号が処理されている時の位置情報などにより決定
されるパラメータである。すなわち、イフェクトスイッ
チャ15は、このパラメータの指示も含まれる制御部1
9からの制御信号に基づいて、任意の時間から任意の期
間、任意のイフェクトを施して2つの映像信号を切り換
える。
【0016】エンコーダ16は、イフェクトスイッチャ
15から入力されるベースバンドの映像信号出力をMP
EG再符号化する。このMPEG再符号化は、第1のデ
コーダ11および第2のデコーダ12より出力されるピ
クチャタイプの情報、および、制御部19からのクロー
ズGOPまたはオープンGOPを指定する信号に基づ
き、外部より入力されるリファレンス信号Refに同期し
て行われる。
【0017】このエンコーダ16の動作について、図2
のフローチャートを参照して説明する。処理が開始され
たら(ステップS30)、初期設定を行った後(ステッ
プS31)、まずその時点で制御部19から指示されて
いるエンコーダの種類がオ−プンGOPかクローズGO
Pかをチェックする(ステップS32)。その種類がオ
−プンGOPだった場合には、エンコーダ16内のフラ
グC−flagを0にセットし(ステップS33)、クロー
ズGOPだった場合には、エンコーダ16内のフラグC
−flagを1にセットしておく(ステップS34)。
【0018】そして、まず順次読み込むピクチャのIま
たはPピクチャの出現周期内でのピクチャ位置を計数す
るための変数m、および、スイッチングが行われたこと
を示すフラグnをリセットする(ステップS35、S3
6)。その後、映像信号切換装置1の一連の処理が終了
した時点でエンコーダ16の処理も終了するための、処
理終了の指示があったか否かのチェックを行い(ステッ
プS37)、以後、実際のエンコード処理に入る。実際
のエンコード処理においては、まず、イフェクトスイッ
チャ15より出力される映像信号の1フレーム分のピク
チャを取り込み(ステップS38)、IまたはPピクチ
ャを基準としたピクチャの位置を知る変数mをカウント
アップする(ステップS39)。
【0019】次に、取り込んだピクチャの元の符号化タ
イプがIピクチャか否かを調べる(ステップS40)。
ここでフラグI−flagは、第1のデコーダ11または第
2のデコーダ12により映像信号のデコード時に同時に
出力され、イフェクトスイッチャ15を介してそのピク
チャに付加して入力されるフラグであり、1の時にその
ピクチャがIピクチャとして符号化されていたことを、
0の時にIピクチャ以外のピクチャ(Pピクチャまたは
Bピクチャ)で符号化されていたことを示す。そして、
取り込んだピクチャの元の符号化タイプがIピクチャだ
った場合には、ステップS43以下の、このピクチャを
Iピクチャとして新たなGOPを生成する処理に移る。
【0020】一方で、ステップS40においてこのピク
チャの元の符号化タイプがIピクチャでなかったと判定
された場合には、ステップS41以下の処理に移り、I
ピクチャまたはPピクチャの現れる周期に基づいた符号
化処理に移る。その場合、まず変数mが予め規定されて
いるIまたはPピクチャが現れる周期Mと等しいか否か
を調べる(ステップS41)。変数mがその周期Mと等
しくない場合、すなわち変数mが周期Mより小さい場合
は、その前のIまたはPピクチャからその周期Mほど離
れておらず、そのピクチャをIまたはピクチャとして符
号化する必要はないことを意味する。したがって、ステ
ップS38の処理に移り、次のフレームの取り込みを開
始する。
【0021】ステップS41において、変数mが周期M
と等しくなった場合には、そのピクチャがその前のIま
たはPピクチャから周期Mほど離れており、IまたはP
ピクチャとして符号化すべきピクチャであることを示し
ている。そこで、そのピクチャがスイッチング後の最初
のGOPの信号であるか否か、すなわちスイッチングが
行われたことを示すフラグn=1であるか否かを調べ
(ステップS42)、n=1の時には、現在取り込んだ
ピクチャをIピクチャとし、それまでに取り込んだm個
のピクチャを新たなGOPとして符号化するステップS
43以下の処理に移る。また、n=1でない時には後述
するステップS55の処理に移り、現在取り込んだピク
チャをPピクチャとし、それまでに取り込んだm個のピ
クチャを符号化する。なお、フラグnは、制御部19が
イフェクトスイッチャ15に対して切り換えを指示する
際に、同時にセットするものとする。
【0022】ステップS40において取り込んだピクチ
ャの元の符号化タイプがIピクチャだった場合、およ
び、ステップS42において取り込んだピクチャがスイ
ッチングが行われた後の最初に符号化する映像信号だっ
た場合には、まず、スイッチングが行われたことを示す
フラグnをリセットしておき(ステップS43)、次に
フラグC−flagをチェックしてオープンGOPとして符
号化するのかクローズGOPとして符号化するのかをチ
ェックする(ステップS44)。フラグC−flagが1で
あれば、ステップS45〜ステップS49のクローズG
OPとして符号化する処理に移り、フラグC−flagが0
であれば、ステップS50〜ステップS54のオープン
GOPとして符号化する処理に移る。
【0023】クローズGOPとして符号化する処理にお
いては、まず、次のGOPに対する符号化処理のための
設定として、その時点で制御部19から指示されている
エンコーダの種類がオ−プンGOPか否かをチェックし
(ステップS45)、オ−プンGOPだった場合にはフ
ラグC−flagを0にセットする(ステップS46)。そ
して、シーケンスヘッダおよびクローズGOPのGOP
ヘッダを作成し(ステップS47)、最新の取り込みフ
レームをIピクチャとして(ステップS48)、その他
の取り込みフレームをBピクチャとして(ステップS4
9)、各々符号化する。符号化が終了したら、再びステ
ップS36以下の処理に戻る。
【0024】オープンGOPとして符号化する処理にお
いては、まず、次のGOPに対する符号化処理のための
設定として、その時点で制御部19から指示されている
エンコーダの種類がクローズGOPか否かをチェックし
(ステップS50)、クローズGOPだった場合にはフ
ラグC−flagを1にセットする(ステップS51)。そ
して、シーケンスヘッダおよびオープンGOPのGOP
ヘッダを作成し(ステップS52)、最新の取り込みフ
レームをIピクチャとして(ステップS53)、その他
の取り込みフレームをBピクチャとして(ステップS5
4)、各々符号化する。符号化が終了したら、再びステ
ップS36以下の処理に戻る。
【0025】また、ステップS42において、n=0で
ない場合、すなわち最初のGOPでない場合には、現在
取り込んだピクチャをPピクチャとして符号化し記録し
(ステップS55)、ステップS54の処理に移りそれ
までに取り込んだ未だ符号化していない(m−1)個の
ピクチャをBピクチャとして符号化する。符号化が終了
したら、再びステップS36以下の処理に戻る。
【0026】なお、ステップS37において、制御部1
9からの処理の終了の指示を検出した場合には、終了処
理をした後(ステップS57)、一連の処理を終了する
(ステップS58)。以上が、エンコーダ16の動作で
ある。
【0027】第3の遅延回路17は、GOPの最終フレ
ームでスイッチングが行われても出力スイッチャ18に
おいてこのGOPの先頭でMPEGストリームの切り換
えができるように、エンコーダ16の出力をフレーム時
間単位で遅延させる。この処理も、外部より入力される
リファレンス信号Refに同期して行われる。
【0028】出力スイッチャ18は、制御部19からの
指示に基づいて、外部リファレンス信号Refに同期して
MPEGストリームのスイッチングを行い、所望のピク
チャ単位で切り換えの行われたMPEGストリームを生
成し出力する。具体的には、出力スイッチャ18におい
ては、ソース1の映像信号からソース2の映像信号に切
り換える場合には、制御部19から指示される所定のタ
イミングで、第1の遅延回路13、第3の遅延回路1
7、第2の遅延回路14の順に切り換えを行い、ソース
2の映像信号からソース1の映像信号に切り換える場合
には、第2の遅延回路14、第3の遅延回路17、第1
の遅延回路13の順に切り換えを行う。
【0029】制御部19は、操作部20または図示せぬ
上位コンピュータからの指示に基づいて、映像信号切換
装置1が所望の動作を行うように、映像信号切換装置1
の各部を制御する。また制御部19は、その制御に伴っ
て、必要な情報を表示部21に表示するとともに、適宜
前記上位コンピュータに状態を送信する。
【0030】その制御部19の動作について、図3およ
び図4を参照して説明する。図3および図4は、制御部
19の動作を示すフローチャートである。まず、映像信
号切換装置1の動作が実質的にスタートされると(ステ
ップS1)、映像信号切換装置1の各部の初期設定を行
う(ステップS2)。この初期設定の時に、エンコーダ
16に対して符号化の際のGOP構成や符号化レートな
どの設定が行われる。基本的な初期設定が終了したら、
次に各スイッチャ10,15、18の初期設定を行う
(ステップS3)。すなわち、まずマトリクススイッチ
ャ10に対しては、最初に出力するMPEGストリーム
が入力される入力チャンネルをソース1のMPEGスト
リームとして第1のデコーダ11および第1の遅延回路
13に出力するように入力チャネルと出力チャネルの切
り換えを指示する。また、出力スイッチャ18に対して
は、そのソース1を単に遅延させた第1の遅延回路13
の出力を選択するように切り換えを指示する。またイフ
ェクトスイッチャ15に対しては、とりあえずそのソー
ス1のMPEGストリームを第1のデコーダ11でデコ
ードした結果のベースバンド映像信号を選択するように
切り換えを指示する。
【0031】このような初期設定をした後に、操作部2
0または図示せぬ上位コンピュータ(以後、外部と称す
る場合もある)からの指示に基づいて動作する通常の処
理に移る。まず、外部から終了の指示が入力されたか否
かをチェックし(ステップS4)、終了の指示の入力で
なかった場合には、次に、外部から入力MPEGストリ
ームを選択する指示、すなわち次に切り換えるMPEG
ストリームを選択する指示が入力されたか否かをチェッ
クする(ステップS5)。入力MPEGストリームを選
択する指示が入力されていた場合には、マトリクススイ
ッチャ10に対して、現在出力されるMPEGストリー
ムと切り換えて出力する次のMPEGストリームが入力
される入力チャンネルを、現在のMPEGストリームが
出力されているソース出力とは異なるソース出力として
出力するように、入力チャネルと出力チャネルの切り換
えを指示する(ステップS6)。
【0032】たとえば前述した初期設定の直後の場合に
は、その次のMPEGストリームを、現在ソース1とし
て出力されるMPEGストリームと切り換えて出力する
ために、ソース2のMPEGストリームとして第2のデ
コーダ12および第2の遅延回路14に出力するよう
に、入力チャネルと出力チャネルの切り換えを指示す
る。入力MPEGストリームを選択する指示が入力され
ていた場合は、この次のMPEGストリームの選択が終
了したら、再びステップS4以下の処理に戻り、次の指
示を検出する。
【0033】ステップS5において入力選択の指示でな
かった場合には、外部よりイフェクトスイッチの指示が
あったか否かをチェックし(ステップS7)、イフェク
トスイッチの指示があった場合には、イフェクトスイッ
チャ15に対して、指示されたイフェクトスイッチング
を行うことが可能なように、すなわち指示されたイフェ
クトを施して2つの映像信号の切り換えを行うことが可
能なように設定を行う(ステップS8)。イフェクトス
イッチの指示があった場合は、このイフェクトスイッチ
ャ15への設定を行ったら、再びステップS4以下の処
理に戻り次の指示を検出する。ステップS7において、
イフェクトスイッチの指示でなかった場合には、操作部
20のコントロールレバーの状態をチェックする(ステ
ップS9)。コントロールレバーが有効に操作されてい
ない場合には、ステップS4に戻って前述したような指
示の検出処理を繰り返す。そして、コントロールレバー
がONになった状態、すなわち操作された状態になった
ら、ステップS10の処理に移る。
【0034】ステップS10以降の実際にイフェクトス
イッチを行う処理においては、まず、現在の状態に基づ
いてソース1からソース2へ切り換えるのか、ソース2
からソース1へ切り換えるのかをチェックする(ステッ
プS10)。ソース1からソース2へのMPEGストリ
ームの切り換えが指示されていた場合には、まず、イフ
ェクトスイッチャ15に対して、第1のデコーダ11の
出力であるソース1の映像信号から、第2のデコーダ1
2の出力であるソース2の映像信号への切り換えを指示
する(ステップS11)。また、それとともに、出力ス
イッチャ18に対して、選択するMPEGストリーム
を、第1の遅延回路13から出力されるソース1のMP
EGストリームから、第3の遅延回路17より出力され
るMPEGストリームに、最新のBピクチャからIピク
チャへの変化点で切り換えるよう指示をする(ステップ
S12)。また、エンコーダ16においては、次のGO
PからオープンGOPとして符号化する旨を指示してお
く(ステップS13)。
【0035】そのような設定を行ったら、後は作業者の
イフェクト処理の操作に基づいて、実際にイフェクトス
イッチャ15に対してイフェクト処理の進行状態などを
指示する。すなわち、操作部20のコントロールレバー
の状態を検出して、その状態をイフェクトスイッチャ1
5に出力する(ステップS14)処理を、コントロール
レバーがオフにされるまで続ける(ステップS15)。
コントロールレバーがオフにされたら、そのイフェクト
が加えられたフレームを含むGOPの後に、切り換えら
れたソースの映像信号であってエンコーダ16により再
符号化された映像信号が所定のGOPだけ出力されるの
を待つ(ステップS16)。そして、そのGOPの出力
が完了したら、出力スイッチャ18に対して、選択する
信号を第3の遅延回路17の出力信号から第2の遅延回
路14の出力信号に切り換えるよう指示をする(ステッ
プS17)。これにより、ソース1のMPEGストリー
ムからソース2のMPEGストリームへの切り換えが終
了したことになる。そして最後に、エンコーダ16に対
して、次の切り換え時のためにクローズドGOPで符号
化を行うように指示をしておき(ステップS18)、そ
の切り換えの処理を終了しステップS4に戻る。
【0036】ステップS10において、ソース2からソ
ース1へのMPEGストリームの切り換えが指示されて
いた場合には、まず、イフェクトスイッチャ15に対し
て、第2のデコーダ12の出力であるソース2の映像信
号から、第1のデコーダ11の出力であるソース1の映
像信号への切り換えを指示する(ステップS19)。ま
た、それとともに、出力スイッチャ18に対して、選択
するMPEGストリームを、第2の遅延回路14から出
力されるソース2のMPEGストリームから、第3の遅
延回路17より出力されるMPEGストリームに、最新
のBピクチャからIピクチャへの変化点で切り換えるよ
う指示をする(ステップS20)。また、エンコーダ1
6においては、次のGOPからオープンGOPとして符
号化する旨を指示しておく(ステップS21)。
【0037】そのような設定を行ったら、後は作業者の
イフェクト処理の操作に基づいて、実際にイフェクトス
イッチャ15に対してイフェクト処理の進行状態などを
指示する。すなわち、操作部20のコントロールレバー
の状態を検出して、その状態をイフェクトスイッチャ1
5に出力する(ステップS22)処理を、コントロール
レバーがオフにされるまで続ける(ステップS23)。
コントロールレバーがオフにされたら、そのイフェクト
が加えられたフレームを含むGOPの後に、切り換えら
れたソースの映像信号であってエンコーダ16により再
符号化された映像信号が所定のGOPだけ出力されるの
を待つ(ステップS24)。そして、そのGOPの出力
が完了したら、出力スイッチャ18に対して、選択する
信号を第3の遅延回路17の出力信号から第1の遅延回
路13の出力信号に切り換えるよう指示をする(ステッ
プS25)。これにより、ソース2のMPEGストリー
ムからソース1のMPEGストリームへの切り換えが終
了したことになる。そして最後に、エンコーダ16に対
して、次の切り換え時のためにクローズドGOPで符号
化を行うように指示をしておき(ステップS26)、そ
の切り換えの処理を終了しステップS4に戻る。
【0038】ステップS4において終了の指示が外部よ
り入力されていた場合には、制御部19は映像信号切換
装置1の各部に対して終了処理を行って(ステップS2
7)、処理を終了する(ステップS28)。制御部19
は、このような動作を行う。
【0039】操作部20は、マトリクススイッチャ10
の切り換え指示、イフェクトスイッチャ15で行うイフ
ェクトおよび映像切り換えの指示を行うための入力装置
である。たとえばイフェクトの指示を行う操作手段とし
ては、ミックス、フェードアウト/フェードイン、ワイ
プなどのイフェクトの種類を指示するボタンなどや、そ
の指示されたイフェクトの進行状態を制御するコントロ
ールバーなどが設けられている。表示部21は、映像信
号切換装置1の動作状況を表示するためのディスプレイ
装置である。モニタ22-1〜22-3は、各々第1のデコ
ーダ11でデコードされたソース1のベースバンド映像
信号、第2のデコーダ12でデコードされたソース2の
ベースバンド映像信号、および、イフェクトスイッチャ
15でイフェクトがかけられ、スイッチングされている
結果の映像信号を確認するためのモニタである。
【0040】次に、映像信号切換装置1の動作について
図5〜図11の具体例を参照して説明する。なお、図面
において、Xi ,Yi は、各々映像信号X,Yの各フレ
ーム信号、添字iはフレーム番号である。このフレーム
番号は、ベースバンド信号において時系列と一致してい
る。また、Xi Yi は、その映像信号が一度復号化さ
れ、ベースバンド映像信号に戻ったことを示す。また、
I,P,Bは、各々そのフレームの符号化時のピクチャ
タイプを、Iピクチャに付加された○はそのIピクチャ
から始まるGOPがクローズGOPであることを示す。
また、本実施の形態においては、スイッチングされる各
入力映像信号およびスイッチング結果の出力映像信号の
GOP内のピクチャ数Nは6、IピクチャまたはPピク
チャが現れる周期Mは3とする。
【0041】まず、入力される2つの映像信号のGOP
の位相が同じで、切り換えるその2つのMPEGストリ
ームの間に選択される新たにMPEG符号化して生成さ
れたMPEGストリームとして、イフェクトを加えたピ
クチャを有するGOPのみを選択する場合の、映像信号
切換装置1の動作について図5および図6を参照して説
明する。図5は、そのような場合の映像信号切換装置1
の各部における信号を示す図であり、(A)は元のMP
EGストリームXを示す図であり、(B)はMPEGス
トリームXがデコーダにおいてデコードされた映像信号
X(dec) を示す図であり、(C)はMPEGストリーム
Xが遅延回路において遅延されたMPEGストリームX
(delay) を示す図であり、(D)は切り換えられる次の
MPEGストリームYを示す図であり、(E)はMPE
GストリームYがデコーダにおいてデコードされた映像
信号Y(dec) を示す図であり、(F)はMPEGストリ
ームYが遅延回路において遅延されたMPEGストリー
ムY(delay) を示す図であり、(G)は切り換えの行わ
れるベースバンド映像信号X+Y(base)を示す図であ
り、(H)は映像信号X+Y(base)をエンコーダにおい
て再符号化したMPEGストリームX+Y(enc) を示す
図であり、(I)はそのMPEGストリームX+Y(en
c) を遅延回路において遅延させたMPEGストリーム
X+Y(delay) を示す図であり、(J)はそれらが出力
スイッチャ18により適宜選択され出力されるMPEG
ストリームX+Y(sw)を示す図である。なお、図3
(A)の上の数字は時刻を示すものとする。
【0042】まず、図5(A)および(D)に示すよう
な切り換えを行う2つのMPEGストリームX,Yは、
マトリクススイッチャ10において、MPEGストリー
ムXがソース1として、MPEGストリームYがソース
2として出力される。すると、MPEGストリームX
は、第1のデコーダ11でデコードされて、図5(B)
に示すようなベースバンド映像信号X(dec) が生成され
る。また、第1の遅延回路13に入力されたMPEGス
トリームは丁度1GOP期間分遅延されて、図5(C)
に示すような遅延されたMPEGストリームX(delay)
が生成される。切り換えられる次のMPEGストリーム
Yも同様に、第2のデコーダ12においてデコードされ
図5(E)に示すようなベースバンド映像信号Y(dec)
が生成され、第2の遅延回路14において遅延されて図
5(F)に示すようなMPEGストリームY(delay) が
生成される。
【0043】イフェクトスイッチャ15においては、当
初ソース1に対応する第1のデコーダ11の出力を選択
しているが、操作者がモニタ22-1〜22-3をモニタリ
ングしながら、操作部20のコントロールレバーなどを
用いて、たとえばミックスやワイプなどのイフェクト操
作を行うと、その操作に基づいてイフェクト処理が行わ
れる。すなわち、前述した式1に示すような処理により
イフェクトのかけられた新たな映像信号Zが生成されて
出力される。そしてそのイフェクト操作が終了したら、
イフェクトスイッチャ15は今度はソース2に対応する
第2のデコーダ12の出力を選択する。
【0044】たとえば図5に示すように時刻7の直前か
ら時刻21までの間、すなわち、X6 ピクチャからX20
ピクチャまでの間このイフェクトスイッチングが行われ
たとすると、イフェクトスイッチャ15からは図5
(G)に示すように、時刻6までが映像信号Xとなり、
時刻7〜時刻21までが映像信号Zとなり、その後が映
像信号Yとなるような映像信号が生成される。したがっ
て、このイフェクトの加えられた映像信号Zが、第1の
映像信号Xから第2の映像信号Yに自然に変化するよう
な信号、すなわち、ミックス、フェードアウト/フェー
ドイン、ワイプなどにより変化する信号であれば、全体
として映像信号Xから映像信号Yに自然に映像が切り換
えられたことになる。
【0045】この図5(G)に示すようなベースバンド
映像信号が、エンコーダ16においてMPEG再符号化
され、図5(H)に示すような符号化された信号が生成
される。この時のエンコーダ16における再符号化動作
を、スイッチングが行われた時刻7以降の映像信号につ
いて図2のフローチャートを参照しながら説明する。な
お、制御部19からの制御信号により、エンコーダ16
は最初はクローズGOPで符号化を行うように設定され
ている。すなわち、フラグC−flag=1に設定されてい
る。また、スイッチングが行われた時に、制御部19に
よりエンコーダ16の中で参照するスイッチングが行わ
れたことを示すフラグnが1にセットされる。
【0046】時刻6において映像信号X5 までの信号が
再符号化された後の時刻7において、イフェクトのかけ
られた最初の映像信号Z6 がイフェクトスイッチャ15
よりエンコーダ16に入力される。ピクチャZ6 は、図
2に示すステップS38でエンコーダ16に読み込ま
れ、ステップS39でそのIピクチャおよびPピクチャ
を基準とした位置を示す変数mがカウントアップされ
る。映像信号X5 までが再符号化された直後なので、変
数mはリセットされており、カウントアップの結果は1
となる。そしてステップS40においてソース2の映像
信号の映像信号Z6に対応するピクチャ、すなわち映像
信号Y6 の符号化タイプが参照され、Bピクチャなので
ステップS41に移り、m=1,M=3なので再びステ
ップS38に戻り、次のピクチャZ7 を取り込む。新た
に取り込まれたピクチャZ7 も同様に、ソース2の映像
信号の対応するピクチャの元の符号化タイプがBピクチ
ャであり、m=2なので、ステップS39,S40,S
42を経て再びステップS38に戻る。
【0047】次に、取り込んだピクチャZ8 は、ソース
2の映像信号の対応するピクチャの元の符号化タイプが
Iピクチャなので、ステップS40からステップS43
に移り、フラグnをリセットした後フラグC−flagが吟
味される。前述したように通常はフラグC−flag=1に
セットされているので、クローズGOPで符号化を行う
ステップS45に処理が移る。この時制御部19におい
ては、イフェクトスイッチャ15における切り換えを行
ったら(図4のフローチャートのステップS11または
S19)直ちに、すなわち、時刻7の直後には、出力ス
イッチャ18に対する切り換えの指示と(同ステップS
12またはステップS20),エンコーダ16に対する
オープンGOPによる符号化の指示と(同ステップS1
3またはS21)を行う。そのため、このステップS4
5においては、そのオープンGOPの指示が行われてお
り、ステップS46においてフラグC−flagが0にセッ
トされる。そして、ステップS47〜ステップS49の
処理により取り込んだZ6 〜Z8のピクチャの符号化
が、ピクチャZ8 をIピクチャとして行われ、再びステ
ップS36以下の次のIピクチャまたはPピクチャまで
のピクチャの取り込みの処理に戻る。
【0048】そして、前述したのと同様に、ピクチャZ
9 〜Z11が順に取り込まれる。そして、ピクチャZ11の
ソース2の映像信号の対応するピクチャの元の符号化タ
イプはPピクチャなのでステップS40においてはその
ままステップS41に移るが、m=M=3になっている
ので、ステップS41からステップS38には戻らず、
ステップS42に移る。そして、スイッチングが行われ
たことを示すフラグnは、今回のスイッチングに関して
は既にピクチャZ6 〜Z8 を符号化する時にリセットさ
れているので0であり、処理はステップS55に移る。
すなわち、今まで取り込んだピクチャZ9 〜Z11の符号
化が、ピクチャZ11をPピクチャとして、ピクチャZ9,
Z10はBピクチャとして行われる。符号化が終了する
と、再びステップS36以下の次のIピクチャまたはP
ピクチャまでのピクチャの取り込みの処理に戻る。な
お、時刻7に映像信号の切り換えが行われてから、操作
部20のコントロールレバーはオンにされたままの状態
なので、出力スイッチャ18においては、未だこのエン
コーダ16の出力が選択されている。
【0049】再びZ12以降のピクチャが順に取り込ま
れ、ピクチャZ14のソース2の映像信号の対応するピク
チャの元の符号化タイプがIピクチャなのでステップS
40においてステップS38〜ステップS41のピクチ
ャ取り込み処理から抜け、ピクチャZ14をIピクチャと
した新たなGOPの符号化処理に移る。ただし今度は、
前回のGOP生成の処理の時にフラグC−flagが0にセ
ットされているので、オープンGOPとして符号化す
る。すなわち、ステップS50〜ステップS54の処理
に移り、取り込んだZ12〜Z14のピクチャの符号化を行
う。そして再び、ステップS38に戻って,Z15以降の
ピクチャが順に取り込まれ、ソース2の映像信号の対応
するピクチャの元の符号化タイプがIピクチャのピクチ
ャはないものの、ピクチャZ17を取り込んだ時点でm=
M=3となるので、ステップS55およびステップS5
4の処理に移り、ピクチャZ17をPピクチャとして、ピ
クチャZ15,Z16をBピクチャとして符号化が行われ
る。
【0050】ピクチャZ18〜ピクチャZ20も同様に、ピ
クチャZ20をIピクチャとし、新たなGOPとして符号
化される。そして、時刻22においてイフェクトレバー
がオフになり、イフェクトが終了するので、以降はイフ
ェクトスイッチャ15からはソース2の信号、すなわち
MPEGストリームYが出力される。エンコーダ16に
おいては、これまでと同様の再符号化処理を続ける。す
なわち、ピクチャY21〜Y23が順に取り込まれる。そし
て、ピクチャZ23の元の符号化タイプはPピクチャなの
でステップS40においてはそのままステップS41に
移るが、m=M=3になっているのでピクチャY21〜Y
23の符号化が、ピクチャY23をPピクチャ、ピクチャY
21, Y22はBピクチャとして行われる。
【0051】エンコーダ16の動作としては以後も同様
に続けられ、次のピクチャY24〜Y26においてピクチャ
Y26をIピクチャとした新たなGOPが符号化される。
このようにエンコーダ16で符号化された信号は、第3
の遅延回路17においてN−Mフレーム分、すなわち図
5の例においては3フレーム分遅延され、第1の遅延回
路13や第2の遅延回路14で遅延されたMPEGスト
リームX(delay) 、Y(delay) と同じ時間帯のMPEG
ストリームX+Y(delay) が生成される。
【0052】そして、出力スイッチャ18においては、
最初は第1の遅延回路13の出力である図5(C)に示
すMPEGストリームX(delay) を選択し、イフェクト
スイッチングが指示された期間であって、そのイフェク
トの加えられた映像信号が含まれるGOPについて、す
なわち時刻12以降においては、第3の遅延回路17の
出力である図5(I)に示すMPEGストリームX+Y
(delay) を選択する。そして、その映像信号が終了す
る、すなわち時刻30の手前では、第2の遅延回路14
の出力である図5(F)に示すMPEGストリームY(d
elay) を選択し、図5(J)に示すようなMPEGスト
リームX+Y(sw)を生成し出力する。
【0053】なお、制御部19は、図4に示すように、
イフェクトの加えられた映像信号が含まれるGOPの出
力を確認したら(ステップS16またはS24)、出力
スイッチャ18を切り換え(ステップS17またはS2
5)、その後、エンコーダ16に対してクローズGOP
の生成を指示している(ステップS18またはS2
6)。エンコーダ16においては、この指示が行われた
最初のGOPの生成の時に、ステップS50によりこの
指示を検出し、ステップS51においてフラグC−flag
を1にセットする。これにより、次にイフェクトスイッ
チングが行われた時にも最初のGOPをクローズGOP
として、2番目以降のGOPをオープンGOPとして符
号化することができる。
【0054】このように、映像信号切換装置1において
は、イフェクトスイッチングされて出力される映像信号
を含む、時刻12〜29のZ8,Z6,・・・Y21, Y22の
フレームだけが復号化および再符号化たピクチャなの
で、画質が多少なりとも劣化する部分が短時間で済む。
また、再符号化は、元の符号化タイプがIピクチャだっ
たピクチャをIピクチャとし、さらにイフェクトスイッ
チングされて生成されたピクチャに対しては、切り換え
られ接続される映像信号の対応するピクチャ、すなわち
時間帯が同じピクチャのIピクチャだったピクチャをI
ピクチャとして行う。したがって、接続部分のピクチャ
の位相が一致し、その部分の画質劣化の程度も少なくな
る。
【0055】図6は、このようなMPEGストリームに
対してイフェクトスイッチングを行う際の、スイッチン
グ開始位置に対する、イフェクトスイッチャ15の出力
およびエンコーダ16の出力の関係を示す図であり、
(A)はGOPの最初のピクチャの直前(時刻7、ピク
チャZ6 の直前)でイフェクトスイッチングが行われた
場合の各出力を示す図、(B)はGOPの2番目のピク
チャの直前(時刻8、ピクチャZ7 の直前)でイフェク
トスイッチングが行われた場合の各出力を示す図、
(C)は3番目のピクチャの直前(時刻9、ピクチャZ
8 の直前)でイフェクトスイッチングが行われた場合の
各出力を示す図、(D)は4番目のピクチャの直前(時
刻10、ピクチャZ9 の直前)でイフェクトスイッチン
グが行われた場合の各出力を示す図、(E)は5番目の
ピクチャの直前(時刻11、ピクチャZ10の直前)でイ
フェクトスイッチングが行われた場合の各出力を示す
図、(F)は6番目のピクチャの直前(時刻12、ピク
チャZ11の直前)でイフェクトスイッチングが行われた
場合の各出力を示す図である。
【0056】図6に示すように、GOPのどの位置でM
PEGストリームのイフェクトスイッチングが指示され
たとしても、その切り換え指示の時刻は、その切り換え
位置を含むGOPの先頭のIピクチャが出力スイッチャ
18に入力される(図5および図6の例においては時刻
12)以前となるので、そのGOPに対しては第3の遅
延回路17の出力を選択することが可能となり、全ての
切り換え位置に対して適切に切り換えが行える。
【0057】次に、入力される2つの映像信号のGOP
構成は同じであるが、GOPの位相が異なる場合の映像
信号切換装置1の動作について、図7〜図10を参照し
て説明する。なお、このようなGOPの位相が異なるこ
とにより処理が異なるのは、エンコーダ16の処理なの
で、以下、エンコーダ16の動作を中心に説明をする。
なお、この場合も、映像信号の切り換え位置を含む2G
OPのみ再符号化されたMPEGストリームを選択する
ものとする。
【0058】まず、最初に選択されているMPEGスト
リームXの方が、切り換えられるMPEGストリームY
よりも位相が2ピクチャ先行している場合のスイッチン
グ動作について図7および図8を参照して説明する。図
7(A)および(D)に示すような2つのMPEGスト
リームX,Yは、第1のデコーダ11および第2のデコ
ーダ12で各々デコードされて、図7(B)および
(E)に示すようなベースバンド映像信号X(dec) およ
びY(dec) が生成され、また、第1の遅延回路13およ
び第2の遅延回路14で遅延されて図7(C)および
(F)に示すような遅延されたMPEGストリームX(d
elay) およびY(delay) が生成される。そして、イフェ
クトスイッチャ15において、時刻7の手前、すなわち
X6 フレームの直前でイフェクトスイッチングを開始す
ると、イフェクトスイッチャ15からは図7(G)に示
すように、ピクチャX5 の次にイフェクトのかけられた
最初のピクチャZ6 がくるような映像信号が生成され出
力される。
【0059】ところで、エンコーダ16においては、入
力されるピクチャの元の符号化タイプを参照して処理を
決定するが、このように入力されるピクチャが新たに生
成されたピクチャの場合には、入力されスイッチング対
象となっている2つのMPEGストリームの中の、後に
さらにそのイフェクトのかけられたピクチャと切り換え
られて出力されるMPEGストリームの、時間的にその
ピクチャに対応するピクチャの符号化タイプを参照し
て、そのピクチャに対する処理を決定する。すなわち、
本実施の形態のような場合には、MPEGストリームY
の対応するピクチャの符号化タイプが参照される。
【0060】したがって、図2に示すようなエンコーダ
16の動作においては、映像信号Z6 が取り込まれた時
は、X5 までの信号が再符号化された後なので変数mは
リセットされており、またこれらのピクチャに対応する
MPEGストリームYのピクチャY6 〜Y8 は、いずれ
も元の符号化タイプがIピクチャではないので,まずス
テップS38〜ステップS41においてピクチャZ6 〜
Z8 が順に取り込まれる。そして、ピクチャZ8 を取り
込んだ時点でm=M=3になっているのでステップS4
2に移る。そして、時刻7にMPEGストリームXから
Yに切り換えられた時点で、制御部19によりスイッチ
ングが行われたことを示すフラグnが1にセットされて
いるので、最新の取り込みピクチャをIピクチャとして
新たなGOPを生成する処理がステップS43〜ステッ
プS49で行われる。その結果、図7(H)に示すよう
な、Z8 (Iピクチャ),Z6 (Bピクチャ),Z7
(Bピクチャ)という符号化映像信号が生成される。
【0061】その後再び、エンコーダ16は、ピクチャ
Z9 以下の映像をを取り込む。そして、2番目のピクチ
ャZ10の対応するMPEGストリームYのピクチャY1
0元の符号化タイプがIピクチャなので、ステップS5
0〜ステップS54の処理に移り、この2つのピクチャ
Z9 およびZ10を、新たなGOPとしてオープンGOP
により符号化する。そして、再びZ11以降のピクチャが
順に取り込まれ、ピクチャZ13を取り込んだ時点でm=
M=3となるので、ステップS55およびステップS5
4の処理に移り、ピクチャZ13をPピクチャとして、ピ
クチャZ11,Z12をBピクチャとして符号化が行われ
る。
【0062】次のピクチャZ14〜Z16においては、ピク
チャZ16の元の符号化タイプがIピクチャなので、ピク
チャZ16をIピクチャ、ピクチャZ14,Z15をBピクチ
ャとして、新たなGOPが符号化される。また、ピクチ
ャZ17〜Z19においては、ピクチャZ19を取り込んだ時
点でm=M=3となるので、ピクチャZ19をPピクチ
ャ、ピクチャZ17,Z18をBピクチャとして符号化が行
われる。このような処理を繰り返している再中の時刻2
2の直前において、イフェクト処理が終了される、すな
わちイフェクトスイッチがオフにされると、イフェクト
スイッチャ15からはMPEGストリームYのピクチャ
がエンコーダ16に入力される。すなわち、図7(G)
に示すように、ピクチャZ20の次にイフェクトのかけら
れていないピクチャY21がくるような映像信号が生成さ
れ出力される。
【0063】エンコーダ16においては、それまでの処
理を継続してそのMPEGストリームYの各ピクチャの
符号化を行う。その時に、今度はそのピクチャ自身の元
の符号化タイプを参照して処理を行う。その結果、ピク
チャZ20,Y21,Y22が順に取り込まれ、ピクチャY22
の元の符号化タイプがIピクチャなので、ピクチャY22
をIピクチャ、ピクチャZ20,Y21をBピクチャとし
て、新たなGOPが符号化される。また、ピクチャY23
〜Y25においては、ピクチャY25を取り込んだ時点でm
=M=3となるので、ピクチャY25をPピクチャ、ピク
チャY23,Y24をBピクチャとして符号化が行われる。
【0064】このようにエンコーダ16で符号化された
図7(H)に示すような信号は、図7(I)に示すよう
に第3の遅延回路17においてN−Mフレーム分遅延さ
れる。そして、出力スイッチャ18は、制御部19から
の制御信号に基づいて、そのイフェクトのかけられたピ
クチャを含むGOPを選択するように制御される。すな
わち、時刻11までは第1の遅延回路13の出力で遅延
されたMPEGストリームXを、時刻12〜時刻31の
期間はMPEGストリームX,Yの各ピクチュアおよび
イフェクトのかけられたピクチャを含みエンコーダ16
で再符号化されたMPEGストリームを、そして時刻3
2以降は第2の遅延回路14で遅延されたMPEGスト
リームYを選択する。その結果、最終的に出力スイッチ
ャ18からは図7(J)に示すような信号が出力され
る。
【0065】図8は、このような位相関係のMPEGス
トリームに対してイフェクトスイッチングを行う際の、
スイッチング開始位置とイフェクトスイッチャ15の出
力、および、エンコーダ16の出力の関係を示す図であ
り、(A)〜(F)は各々時刻7〜時刻12の直前で切
り換えられた場合の各出力を示す図である。このよう
に、位相が2つずれた場合においても、またそのような
場合のGOPのどの位置でイフェクトスイッチングが指
示されたとしても、そのスイッチング指示の時刻は、そ
の切り換え位置を含むGOPの先頭のIピクチャが出力
スイッチャ18に入力される(図7および図8の例にお
いては時刻12)以前となるので、そのGOPに対して
は第3の遅延回路17の出力を選択することが可能とな
り、全ての切り換え位置に対して適切にイフェクトスイ
ッチングが行える。
【0066】同様に、最初に選択されているMPEGス
トリームXの方が、切り換えられるMPEGストリーム
Yよりも位相が4ピクチャ先行している場合のスイッチ
ング動作を図9に、また、その場合に、任意の位置でイ
フェクトスイッチングを開始する場合の切り換え位置と
イフェクトスイッチャ15の出力、および、エンコーダ
16の出力の関係を、図10に示す。図9および図10
に示すように、位相が4ピクチャ先行している場合にお
いても、どのようなタイミングでイフェクトスイッチン
グが開始されたとしても、その開始時刻はその切り換え
位置を含むGOPの先頭のIピクチャが出力スイッチャ
18に入力される以前となるので、そのGOPに対して
は第3の遅延回路17の出力を選択することが可能とな
り、全ての切り換え位置に対して適切に切り換えが行え
る。
【0067】次に、イフェクトスイッチング時に、2つ
のMPEGストリームの間に選択される新たに生成され
たMPEGストリームとして、そのイフェクトが加えら
れたピクチャを含むGOPと、それに続くいくつかのG
OPを選択する場合の映像信号切換装置1の動作につい
て、図11を参照して説明する。この場合も、2つのM
PEGストリームX,Yが、各々ソース1およびソース
2として入力される。そして、MPEGストリームX
は、第1のデコーダ11においてデコードされて図11
(B)に示すようなベースバンド映像信号X(dec)が生
成され、また第1の遅延回路13において丁度1GOP
期間分遅延されて図11(C)に示すような遅延された
MPEGストリームX(delay) が生成される。また、M
PEGストリームYは、第2のデコーダ12でデコード
されて図11(E)に示すようなベースバンド映像信号
Y(dec) が生成され、また第2の遅延回路14において
丁度1GOP期間分遅延されて、図11(F)に示すよ
うな遅延されたMPEGストリームY(delay) が生成さ
れる。
【0068】そしてイフェクトスイッチャ15において
は、当初ソース1に対応する第1のデコーダ11の出力
を選択しているが、操作者がモニタ22-1〜22-3をモ
ニタリングしながら、操作部20のコントロールレバー
などを用いて、たとえばミックスやワイプなどのイフェ
クト操作を行うと、その操作に基づいてイフェクト処理
が行われる。すなわち、前述した式1に示すような処理
によりイフェクトのかけられた新たな映像信号Zが生成
されて出力される。そしてそのイフェクト操作が終了し
たら、イフェクトスイッチャ15は今度はソース2に対
応する第2のデコーダ12の出力を選択する。
【0069】たとえば図11に示すように時刻7の直前
から時刻22の直前までの間、すなわち、Z6 フレーム
の直前からY21フレームの直前までの間でこのイフェク
トスイッチングが行われたとすると、イフェクトスイッ
チャ15からは図11(G)に示すように、時刻6まで
が映像信号Xとなり、時刻7〜時刻21までが映像信号
Zとなり、その後が映像信号Yとなるような映像信号が
生成される。このようなイフェクトスイッチャ15の出
力信号は、エンコーダ16で符号化されて図11(H)
に示すようなMPEGストリームが生成され、さらに第
3の遅延回路17において、図11(I)に示すような
N−Mフレーム分、すなわち図11の例においては3フ
レーム分遅延されて、第1の遅延回路13や第2の遅延
回路14で遅延されたMPEGストリームX(delay) 、
Y(delay) と同じ時間帯のMPEGストリームX+Y(d
elay) が生成される。
【0070】そして、出力スイッチャ18においては、
最初は第1の遅延回路13の出力である図11(C)に
示すMPEGストリームX(delay) を選択し、イフェク
トスイッチングが指示された期間であって、そのイフェ
クトの加えられた映像信号が含まれるGOPと、それに
続く所定数のGOPとについては第3の遅延回路17の
出力である図11(I)に示すMPEGストリームX+
Y(delay) を選択し、次に第2の遅延回路14の出力で
ある図6(F)に示すMPEGストリームY(delay) を
選択する。本実施の形態においては、イフェクトスイッ
チングが行われたピクチャを含むGOPの他に、あと1
つのGOPをエンコーダ16により再符号化されたピク
チャを選択するものとする。その結果、出力スイッチャ
18においては、時刻12〜時刻31のイフェクトスイ
ッチングが行われたピクチャを含むGOPの他に、時刻
32〜時刻37のGOPも選択され、最終的に図11
(J)に示すようなMPEGストリームX+Y(sw)が生
成される。
【0071】このように、イフェクトを加えたフレーム
を有するGOPに続くいくつかのGOPに対しても再符
号化を行うことにより、イフェクトを加えた映像信号を
含む再符号化されたGOPから元のMPEGストリーム
のGOPに移る時の参照画像の違いによる画質の劣化を
徐々に軽減することができ、より画質の劣化の程度の小
さいMPEGストリームが生成できる。
【0072】なお、本発明は本実施の形態に限られるも
のではなく、種々の改変が可能である。たとえば、映像
信号切換装置1の構成も、図1に限られるものではなく
任意好適に改変してよい。また、本実施の形態で例示し
たMPEGストリームは、IまたはPピクチャが現れる
周期M=3で、GOP内のピクチャ枚数N=6の構成と
したが、これに限られるものではなっく、任意のGOP
構成に対応可能である。また、エンコーダ16において
は、出力スイッチャ18により最終的に選択される映像
信号のみを再符号化してもよいし、その可能性のある一
部分のみを再符号化するようにしてもよいし、切り換え
の有無に限らず常に再符号化するようにしてもよく、そ
の動作条件などは任意でよい。
【0073】また、エンコーダにおいては、再符号化に
関して、対応する元のMPEGストリームの対応するピ
クチャのピクチャタイプを参照し、そのGOP構成に合
わせてイフェクトスイッチングされて新たに生成された
映像信号を符号化している。しかし、元のMPEGスト
リームではなく、GOPのピクチャ数等の規定に応じて
新たなGOPを構成するようにしてもよい。そのように
すれば、GOPのピクチャ数が長くなるのを防ぐことが
でき、各遅延回路における遅延量を大きくしなくても済
むという利点がある。
【0074】
【発明の効果】以上説明したように、本発明の映像信号
切換装置および映像信号切換方法によれば、MPEG方
式により符号化されGOPの位相が異なるような映像信
号に対しても、画質の劣化を最初期間かつ最小限度に抑
え、イフェクトを加えながらピクチャ単位で適切にスイ
ッチングすることができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の映像信号切換装置の構
成を示すブロック図である。
【図2】図1に示した映像信号切換装置のエンコーダの
動作を説明するためのフローチャートである。
【図3】図1に示した映像信号切換装置の制御部の動作
を説明するための第1のフローチャートである。
【図4】図1に示した映像信号切換装置の制御部の動作
を説明するための第2のフローチャートである。
【図5】2つの映像信号のGOPの位相が同じ場合の映
像信号切換装置の各部における信号を示す図であり、
(A)は元のMPEGストリームXを示す図、(B)は
MPEGストリームXがデコーダにおいてデコードされ
た映像信号X(dec) を示す図、(C)はMPEGストリ
ームXが遅延回路において遅延されたMPEGストリー
ムX(delay) を示す図、(D)は切り換えられる次のM
PEGストリームYを示す図、(E)はMPEGストリ
ームYがデコーダにおいてデコードされた映像信号Y(d
ec) を示す図で、(F)はMPEGストリームYが遅延
回路において遅延されたMPEGストリームY(delay)
を示す図、(G)はイフェクトスイッチングの行われる
ベースバンド映像信号X+Y(base)を示す図、(H)は
映像信号X+Y(base)をエンコーダにおいて再符号化し
たMPEGストリームX+Y(enc) を示す図、(I)は
そのMPEGストリームX+Y(enc) を遅延回路におい
て遅延させたMPEGストリームX+Y(delay) を示す
図、(J)はそれらが出力スイッチャ18により適宜選
択され出力されるMPEGストリームX+Y(sw)を示す
図である。
【図6】図5に示した映像信号に対して、イフェクトス
イッチング位置を変化させた場合の再符号化処理を説明
するための図であり、(A)〜(F)は各々時刻7〜時
刻12のフレームの直前でイフェクトスイッチングが開
始された場合のイフェクトスイッチャの出力、および、
エンコーダの出力を示す図である。
【図7】切り換える映像信号のGOPの位相が元の映像
信号の位相よりも2ピクチャ遅れている場合の、映像信
号切換装置の各部の信号を示す図であり、(A)〜
(J)は各々図5と同じ信号である。
【図8】図7に示した2つの映像信号に対して、イフェ
クトスイッチング位置を変化させた場合の再符号化処理
を説明するための図であり、(A)〜(F)は各々時刻
7〜時刻12のフレームの直前でイフェクトスイッチン
グが開始された場合のイフェクトスイッチャの出力、お
よび、エンコーダの出力を示す図である。
【図9】切り換える映像信号のGOPの位相が元の映像
信号の位相よりも4ピクチャ遅れている場合の、映像信
号切換装置の各部の信号を示す図であり、(A)〜
(J)は各々図5と同じ信号である。
【図10】図9に示した2つの映像信号に対して、イフ
ェクトスイッチング位置を変化させた場合の再符号化処
理を説明するための図であり、(A)〜(F)は各々時
刻7〜時刻12のフレームの直前でイフェクトスイッチ
ングが開始された場合のイフェクトスイッチャの出力、
および、エンコーダの出力を示す図である。
【図11】イフェクトスイッチングする2つのMPEG
ストリームの間に、イフェクトが加えられたピクチャを
含むGOPとそれに続く1つのGOPを選択する場合の
映像信号切換装置の各部の信号を示す図であり、(A)
〜(J)は各々図5と同じ信号である。
【符号の説明】
1…映像信号切換装置、10…マトリクススイッチャ、
11…第1のデコーダ、12…第2のデコーダ、13…
第1の遅延回路、14…第2の遅延回路、15…イフェ
クトスイッチャ、16…エンコーダ、17…第3の遅延
回路、18…出力スイッチャ、19…制御部、20…操
作部、21…表示部、22…モニタ

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】入力される複数のMPEGストリームをイ
    フェクトを加えながら切り換えて、1つのMPEGスト
    リームとして出力する映像信号切換装置であって、 入力され先に出力される第1のMPEGストリーム、お
    よび、入力され前記第1のMPEGストリームから切り
    換えて次に出力される第2のMPEGストリームを各々
    復号化し、第1の映像信号および第2の映像信号を生成
    する2つの復号化手段と、 前記生成された第1の映像信号および第2の映像信号の
    いずれかを実質的に選択する手段であって、前記第1の
    映像信号および前記第2の映像信号に対して、所望の位
    置から所望の期間所望のイフェクトを加え、該イフェク
    トの加えられた映像信号を挟んで前記選択する映像信号
    を前記第1の映像信号から前記第2の映像信号に切り換
    えるイフェクト切換手段と、 少なくとも前記イフェクトの加えられた映像信号を包含
    する該映像信号の近傍の映像信号を再符号化し、前記第
    1のMPEGストリームの前記イフェクトが加えられ始
    める位置を含むGOPの直前のGOPに接続し、前記第
    2のMPEGストリームの前記イフェクトが加えられた
    映像信号に対応する映像信号を有するGOP以降の任意
    のGOPに接続する接続用MPEGストリームを生成す
    る接続信号生成手段と、 通常は前記第1のMPEGストリームを選択し、前記イ
    フェクトが加えられた映像信号の近傍の所定の期間につ
    いては前記生成された接続用MPEGストリームを選択
    し、前記所定の期間終了後前記第2のMPEGストリー
    ムを選択し、各々出力する出力選択手段とを有する映像
    信号切換装置。
  2. 【請求項2】前記接続信号生成手段は、前記第1のMP
    EGストリームおよび前記第2のMPEGストリームと
    同一のMPEG符号化方式で前記再符号化を行う請求項
    1記載の映像信号切換装置。
  3. 【請求項3】前記接続信号生成手段は、前記選択された
    第1の映像信号および第2の映像信号について、元のM
    PEGストリームにおいてIピクチャとして符号化され
    ていたピクチャについては、同じくIピクチャとしてM
    PEG符号化を行い、前記接続用MPEGストリームを
    生成する請求項2記載の映像信号切換装置。
  4. 【請求項4】前記接続信号生成手段は、前記接続用MP
    EGストリームの最初のGOPをクローズGOP、該G
    OP以降のGOPをオープンGOPとして前記再符号化
    を行う請求項3記載の映像信号切換装置。
  5. 【請求項5】前記出力選択手段は、前記イフェクトが加
    えられた映像信号を含むGOPの期間については前記生
    成された接続用MPEGストリームを選択し、該期間終
    了後前記第2のMPEGストリームを選択し各々出力す
    る請求項4記載の映像信号切換装置。
  6. 【請求項6】前記出力選択手段は、前記イフェクトが加
    えられた映像信号を含むGOPの期間、および、該期間
    に続く所定数のGOPについて前記生成された接続用M
    PEGストリームを選択し、該期間終了後前記第2のM
    PEGストリームを選択し各々出力する請求項4記載の
    映像信号切換装置。
  7. 【請求項7】前記出力選択手段に入力される前記入力さ
    れた第1のMPEGストリーム、前記入力された第2の
    MPEGストリーム、および、前記生成された接続用M
    PEGストリームの時間帯が同じになるように、前記各
    ストリームの該出力選択手段への入力タイミングを調整
    するタイミング調整手段をさらに有し、 前記出力選択手段は、前記タイミング調整手段により時
    間帯が同じに調整された前記第1のMPEGストリー
    ム、前記第2のMPEGストリーム、および、前記再符
    号化されたMPEGストリームのいずれかを選択する請
    求項4記載の映像信号切換装置。
  8. 【請求項8】前記イフェクト切換手段においてイフェク
    トを加える位置、期間、および加えるイフェクトの内容
    を実質的に指示するイフェクト指示手段をさらに有し、 前記第1の映像信号および前記第2の映像信号に対し
    て、前記指示された位置から前記指示された期間、前記
    指示された内容のイフェクトが加えられた映像信号を介
    して、前記第1のMPEGストリームから前記第2のM
    PEGストリームに切り換える請求項7記載の映像信号
    切換装置。
  9. 【請求項9】複数のMPEGストリームより、選択され
    出力されている前記第1のMPEGストリームと、該第
    1のMPEGストリームと切り換えて次に出力する前記
    第2のMPEGストリームとを選択する入力選択手段を
    さらに有し、 該入力選択手段において、前記映像信号の切り換え終了
    後、切り換えられて出力が開始されたMPEGストリー
    ムを前記第1のMPEGストリームとして選択し、切り
    換えられて出力の終了した元の第1のMPEGストリー
    ムに代えて新たなMPEGストリームを前記第2のMP
    EGストリームとして選択することにより、複数のMP
    EGストリームを順次切り換える請求項8記載の映像信
    号切換装置。
  10. 【請求項10】前記イフェクト切換手段は、前記第1の
    映像信号および前記第2の映像信号のミックス、フェー
    ドアウト/イン、ワイプのいずれか、またはそれらを組
    み合わせた処理を行い、前記第1の映像信号から前記第
    2の映像信号に切り換える映像信号を生成し、該生成さ
    れた映像信号を挟んで前記選択し出力する信号を前記第
    1の映像信号から前記第2の映像信号に切り換える請求
    項9記載の映像信号切換装置。
  11. 【請求項11】入力される複数のMPEGストリームを
    イフェクトを加えながら切り換えて、1つのMPEGス
    トリームとして出力する映像信号切換方法であって、 入力される第1のMPEGストリームを選択して出力
    し、 前記第1のMPEGストリーム、および、該第1のMP
    EGストリームから切り換えて次に出力する予定の第2
    のMPEGストリームを各々復号化して第1の映像信号
    および第2の映像信号を生成し、 前記第1の映像信号および前記第2の映像信号に対し
    て、所望の位置から所望の期間所望のイフェクトを加
    え、 前記イフェクトの加えられた映像信号を挟んで選択する
    映像信号を前記第1の映像信号から前記第2の映像信号
    に切り換え、 少なくとも前記イフェクトの加えられた映像信号を包含
    する該映像信号の近傍の映像信号を再符号化して前記第
    1のMPEGストリームの前記イフェクトが加えられ始
    める位置を含むGOPの直前のGOPに接続し、前記第
    2のMPEGストリームの前記イフェクトが加えられた
    映像信号に対応する映像信号を有するGOP以降の任意
    のGOPに接続する接続用MPEGストリームを生成
    し、 前記イフェクトが加えられた映像信号の近傍の所定の期
    間については前記生成された接続用MPEGストリーム
    を選択して出力し、 前記所定の期間終了後前記第2のMPEGストリームを
    選択して出力する映像信号切換方法。
  12. 【請求項12】前記接続用MPEGストリームは、前記
    第1のMPEGストリームおよび前記第2のMPEGス
    トリームと同一のMPEG符号化方式で再符号化を行い
    生成される請求項11記載の映像信号切換方法。
  13. 【請求項13】前記接続用MPEGストリームは、前記
    選択された第1の映像信号および第2の映像信号につい
    て、元のMPEGストリームにおいてIピクチャとして
    符号化されていたピクチャについては、同じくIピクチ
    ャとしてMPEG再符号化を行い生成される請求項12
    記載の映像信号切換方法。
  14. 【請求項14】前記接続用MPEGストリームは、最初
    のGOPをクローズGOP、該GOP以降のGOPをオ
    ープンGOPとして再符号化を行い生成される請求項1
    3記載の映像信号切換方法。
  15. 【請求項15】前記接続用MPEGストリームは、前記
    イフェクトが加えられた映像信号を含むGOPの期間に
    ついてのみ選択され出力される請求項14記載の映像信
    号切換方法。
  16. 【請求項16】前記接続用MPEGストリームは、前記
    イフェクトが加えられた映像信号を含むGOPの期間、
    および、該期間に続く所定数のGOPについて選択され
    出力される請求項14記載の映像信号切換方法。
  17. 【請求項17】前記選択され出力される第1のMPEG
    ストリーム、第2のMPEGストリーム、および、接続
    用MPEGストリームは、各々時間帯が同じになるよう
    にタイミングが調整された後出力される請求項14記載
    の映像信号切換方法。
  18. 【請求項18】前記イフェクトは、前記第1の映像信号
    および前記第2の映像信号のミックス、フェードアウト
    /イン、ワイプのいずれか、またはそれらを組み合わせ
    た処理である請求項17記載の映像信号切換方法。
JP31217496A 1996-11-22 1996-11-22 映像信号切換装置とその方法 Abandoned JPH10155156A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31217496A JPH10155156A (ja) 1996-11-22 1996-11-22 映像信号切換装置とその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31217496A JPH10155156A (ja) 1996-11-22 1996-11-22 映像信号切換装置とその方法

Publications (1)

Publication Number Publication Date
JPH10155156A true JPH10155156A (ja) 1998-06-09

Family

ID=18026120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31217496A Abandoned JPH10155156A (ja) 1996-11-22 1996-11-22 映像信号切換装置とその方法

Country Status (1)

Country Link
JP (1) JPH10155156A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094987A (ja) * 1999-09-22 2001-04-06 Matsushita Electric Ind Co Ltd 画像データ伝送方法
WO2006088090A1 (ja) * 2005-02-17 2006-08-24 Pioneer Corporation エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム
US7558465B2 (en) 2004-08-25 2009-07-07 Sony Corporation Information processing apparatus and information processing method, recording medium, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094987A (ja) * 1999-09-22 2001-04-06 Matsushita Electric Ind Co Ltd 画像データ伝送方法
US7558465B2 (en) 2004-08-25 2009-07-07 Sony Corporation Information processing apparatus and information processing method, recording medium, and program
WO2006088090A1 (ja) * 2005-02-17 2006-08-24 Pioneer Corporation エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム
JPWO2006088090A1 (ja) * 2005-02-17 2008-07-03 パイオニア株式会社 エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム
JP4538048B2 (ja) * 2005-02-17 2010-09-08 パイオニア株式会社 エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム

Similar Documents

Publication Publication Date Title
KR100221889B1 (ko) 동화 부호화 데이타 기록방법
US6574274B2 (en) Picture signal processing system, decoder, picture signal processing method, and decoding method
US20060285586A1 (en) Methods and systems for achieving transition effects with MPEG-encoded picture content
JPH07212766A (ja) 動画像圧縮データ切り換え装置
JP2002112138A (ja) デジタル放送受信装置
JPH10145798A (ja) デジタル符号化信号処理方式
JP4223567B2 (ja) 符号化ビデオシーケンスの切り替え方法及び装置
EP1280356A2 (en) Apparatus and method for compressing multiplexed video signals
JPH1098713A (ja) 映像信号切換装置
US20020113898A1 (en) Picture processing apparatus and method, and recording medium
JP4010617B2 (ja) 画像復号化装置及び画像復号化方法
JPH10155156A (ja) 映像信号切換装置とその方法
JPH06253331A (ja) 可変長符号化信号に対応した編集装置
JP2820630B2 (ja) 画像復号装置
JP2004357313A (ja) 画像情報処理装置及び画像情報処理方法
JPH08307860A (ja) シーン再エンコード装置
JPH10191355A (ja) 映像信号切換装置およびその方法
JPH1093860A (ja) 映像信号切換装置
JPH10155114A (ja) 映像信号切換装置
JP4906197B2 (ja) 復号装置および方法、並びに記録媒体
US6731809B1 (en) Moving picture data compression device
JP3628908B2 (ja) 符号化信号処理装置および符号化信号の同期処理方法
JPH08102945A (ja) 階層符号復号化装置
JPH08140047A (ja) 画像データ記録装置
JPH05153573A (ja) 動画像データ復号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060807

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060823

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20060828