JP4925697B2 - ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置 - Google Patents

ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置 Download PDF

Info

Publication number
JP4925697B2
JP4925697B2 JP2006081618A JP2006081618A JP4925697B2 JP 4925697 B2 JP4925697 B2 JP 4925697B2 JP 2006081618 A JP2006081618 A JP 2006081618A JP 2006081618 A JP2006081618 A JP 2006081618A JP 4925697 B2 JP4925697 B2 JP 4925697B2
Authority
JP
Japan
Prior art keywords
motion vector
unit
frame
video signal
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006081618A
Other languages
English (en)
Other versions
JP2007259142A (ja
Inventor
慶 松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006081618A priority Critical patent/JP4925697B2/ja
Priority to US11/716,653 priority patent/US8416852B2/en
Priority to EP20070251212 priority patent/EP1838106A3/en
Priority to CNA2007101379566A priority patent/CN101094412A/zh
Publication of JP2007259142A publication Critical patent/JP2007259142A/ja
Application granted granted Critical
Publication of JP4925697B2 publication Critical patent/JP4925697B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Description

本発明は、ＡＶ機器を組み合わせて用いることによってネットワーク伝送用に映像信号を符号化する場合に、動きベクトルを用いた符号化を効率的に行なえるようにしたシステム，方法及び装置に関する。
インターネットなどのネットワークを利用して、現在撮影しているライブ映像を伝送したり（例えば、テレビ電話やテレビ会議や防犯用の遠隔監視）や、記録済みの映像を伝送する（例えば映像コンテンツの配信）ことが一般化している。こうしたネットワーク経由の映像の伝送は、専用の端末によっても実現されているが、近年は、ビデオカメラやＶＴＲやＰＣ（パーソナルコンピュータ）やネットワーク対応型テレビジョン受像機やＳＴＢ（セットトップボックス）や電話機といったＡＶ機器を組み合わせることによっても実現され始めていている。
映像信号をネットワーク経由で伝送するためには、ネットワークの帯域の関係で、通常は映像信号を符号化によって圧縮した後にネットワークに送出するという処理が行われる。その際、例えば、テレビ電話用に映像信号を符号化するシステムを、ＣＣＤカメラ等の撮像部と符号化回路とを内蔵した一台の専用の端末によって実現するのであれば、撮像部からの映像信号を符号化回路で符号化して送出する一連の処理の中で、映像信号量や符号化処理に無駄が生じることのないように、バランスをとってその専用端末を設計することができる。
これに対し、ビデオカメラ等を撮像部として用いるとともにＰＣやネットワーク対応型テレビジョン受像機等を符号化回路として用いることによってテレビ電話用の映像信号符号化システムを実現する場合には、元々それらの機器が異なる目的で構成されているため、映像信号量や符号化処理に無駄が生じないように最適化されているわけではない。
図１，図２は、従来のＡＶ機器を組み合わせてこうしたネットワーク伝送のための映像信号符号化システムを構成した例をそれぞれ示すブロック図である。なお、本明細書では、ＰＣやネットワーク対応型テレビジョン受像機やＳＴＢのように映像信号を符号化する側の機器を「信号変換装置」と称し、ビデオカメラやＶＴＲのように「信号変換装置」に対して映像信号を供給する側の機器を「映像出力装置」と称する。
図１の例では、映像出力装置１００内において、例えばＭＰＥＧ−２で符号化されている映像信号が、復号部１０１によって非圧縮のコンポジット信号などの映像信号に復号される。そして、この非圧縮の映像信号が、映像出力装置１００から出力されて信号変換装置１０２に入力される。
信号変換装置１０２内では、入力映像信号が、まずサイズ・フレーム数変換部１０３に供給される。サイズ・フレーム数変換部１０３は、サイズ・フレーム情報（テレビ電話の相手方の表示装置に応じた画面サイズやフレーム数を指定する情報）に基づいて映像信号の画面サイズやフレーム数を縮小することにより、映像信号の信号量をネットワーク伝送に適した量に削減する。このようにして信号量を削減された映像信号は、符号化部１０４によってテレビ電話用の符号化方式（例えば、Ｈ．２６１や、ＭＰＥＧ−４Part10（ＡＶＣ）など）で符号化されて、図示しないネットワークインタフェースからネットワークに送出される。
図２の例では、映像出力装置２００から、ＭＰＥＧ−２などで符号化された映像信号が出力されて信号変換装置２０１に入力される。
信号変換装置２０１内では、この符号化された映像信号が、まず復号部２０２によって復号された後、サイズ・フレーム数変換部２０３に供給される。サイズ・フレーム数変換部２０３は、サイズ・フレーム情報に基づいて映像信号の画面サイズやフレーム数を縮小することにより、映像信号の信号量をネットワーク伝送に適した量に削減する。このようにして信号量を削減された映像信号は、符号化部２０４によってテレビ電話用の符号化方式で符号化されて、図示しないネットワークインタフェースからネットワークに送出される。（動きベクトル変換部２０５については後で説明する。）
ところで、ネットワークを介した映像の伝送の中でも、特にテレビ電話やテレビ会議や防犯用の遠隔監視では、リアルタイム性の要求から、高効率の符号化を行なう必要がある。高効率の符号化方法としては動きベクトルを用いた方法が一般に用いられているが、符号化時の動きベクトル検出処理は符号化処理全体の半数以上の処理を占める場合も少なくないほど多大な計算量が必要である。
そこで、図１の構成例のように信号変換装置１０２に非圧縮の映像信号が入力される場合では、符号化部１０４内に動きベクトル検出のための多大な計算を行う大規模な回路を設けることが必要になり、そのコストが製品価格を引き上げるばかりか、その回路の消費電力量の多さが常時消費者の負担となってしまう。
一方、図２の構成例のように信号変換装置に符号化された映像信号が入力される場合に関しては、復号部２０２から出力される動きベクトルを、符号化部２０４での符号化方式（及びサイズ・フレーム情報が指定する縮小後の画面サイズやフレーム数）に応じた動きベクトルに変換する動きベクトル変換部２０５を設けることにより、ゼロから動きベクトルを検出する場合よりも符号化に要する計算コストを低減する技術が既に提案されている（特許文献１）。
しかし、図２の構成は、信号変換装置２０１が、映像出力装置２００における映像信号の符号化方式（例えばＭＰＥＧ）に対応した復号部２０２を有することを前提とするものである。したがって、信号変換装置２０１として用いることのできるＡＶ機器が、映像出力装置２００として用いるＡＶ機器における符号化方式に対応した機種のものに限定されてしまい、それ以外の機種のＡＶ機器では図２の構成を実現することができない。
また、例えば、映像出力装置２００が画素数の多い高画質のＣＣＤカメラを搭載したカメラ一体型ＶＴＲであり、そのＣＣＤカメラからの映像信号を高い圧縮率で符号化した映像信号が映像出力装置２００から出力されるような場合には、信号変換装置２０１内の復号部２０２にもその高圧縮の映像信号を復号するための多大な処理能力が必要になるので、やはりそのコストが製品価格を引き上げたりその消費電力が消費者の負担となってしまう。
特開２００１−２３８２１８号公報（段落番号００２４〜２６、図１）
このように、ＡＶ機器を組み合わせて用いることによって映像出力装置と信号変換装置という２台の装置が分離したネットワーク伝送用の映像信号符号化システムを実現する場合には、従来、信号変換装置が高効率の符号化を行えるようにするための適切な方法がなく、利用者が機器構成，製品価格，消費電力，通信品質等の面で負担を強いられていた。
本発明は、上述の点に鑑み、ＡＶ機器を組み合わせて用いることによって映像出力装置と信号変換装置という２台の装置が分離したネットワーク伝送用の映像信号符号化システムを実現する場合に、信号変換装置内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、且つ、信号変換装置内に図２の例のように復号部を設けることなく、信号変換装置において動きベクトルを用いた高効率の符号化を行えるようにすることを課題とする。
上記課題を解決するために、本発明に係るネットワーク伝送用の映像信号符号化システムは、映像出力装置と信号変換装置とから成るネットワーク伝送用の映像信号符号化システムであって、この映像出力装置は、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部とを備え、この重畳部によってこの参照制御情報を重畳された映像信号を出力し、この信号変換装置は、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する分離部と、この分離部によってこの参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、この分離部によって分離されたこの参照制御情報中の動きベクトルを、この符号化部におけるこの符号化方式に応じた動きベクトルに変換する動きベクトル変換部とを備え、この符号化部は、この分離部によってこの参照制御情報を分離されてこの符号化部に供給された映像信号のフレームを符号化するフレーム符号化部と、この符号化されたフレームを復号するフレーム復号部と、この復号されたフレームを一時的に記憶するフレーム記憶部と、このフレーム記憶部に記憶された過去のフレームに対して動き補償を行なう動き補償部と、この動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、この動きベクトル変換部によって変換された動きベクトルを用いてその動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、この動きベクトル変換部によって変換された動きベクトルを参考にしてその動きベクトルの周囲の動きベクトルを検出する処理を行い、この符号化部に供給される映像信号のフレームと、このフレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、この動き補償部に供給する動きベクトル供給部とを備え、この動き補償部は、この動きベクトル供給部から供給される動きベクトルでこの動き補償を行なうことを特徴とする。
この映像信号符号化システムでは、復号部を備えた映像出力装置内において、復号された映像信号のブランキング期間に、復号部から出力される少なくとも動きベクトルを含む参照制御情報を重畳する処理が行われる。そして、この参照制御情報を重畳された映像信号が、映像出力装置から出力される。
信号変換装置では、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する処理が行われる。さらに、この分離された参照制御情報中の動きベクトルを、信号変換装置内の符号化部での符号化方式に応じた動きベクトルに変換する処理が行われる。そして、この参照制御情報を分離した映像信号が、この変換した動きベクトルを用いて信号変換装置内の符号化部で符号化される。
この符号化部内では、この参照制御情報を分離されてこの符号化部に供給された映像信号のフレームが、符号化され、復号されてフレーム記憶部に一時的に記憶される。また、動きベクトル供給部により、この動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、この動きベクトル変換部によって変換された動きベクトルを用いてその動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、この動きベクトル変換部によって変換された動きベクトルを参考にしてその動きベクトルの周囲の動きベクトルを検出する処理が行われ、この符号化部に供給される映像信号のフレームと、このフレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルが動き補償部に供給される。そして、この動き補償部により、このフレーム記憶部に記憶された過去のフレームに対して、この動きベクトル供給部から供給される動きベクトルで動き補償が行なわれる。
このように、映像出力装置の側で、動きベクトルを映像信号のブランキング期間に重畳して出力し、信号変換装置の側で、映像信号から分離したこの動きベクトルを内部の符号化回路の符号化方式に応じて変換した動きベクトルと重複する動きベクトルの検出を省略するとともに、この変換した動きベクトルを用いてその動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、この動きベクトル変換部によって変換された動きベクトルを参考にしてその動きベクトルの周囲の動きベクトルを検出する処理を行い、この符号化部に供給される映像信号のフレームと、このフレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを用いて符号化を行うことにより、映像出力装置と信号変換装置という２台の装置が分離しているにもかかわらず、信号変換装置内に動きベクトル検出のための回路として小規模で消費電力が少ない回路を設けるだけで、信号変換装置において詳細な動きベクトル検出を行なって高効率の符号化を行うことができる。
また、映像出力装置からは非圧縮の映像信号を出力するので、信号変換装置内には、映像出力装置における映像信号の符号化方式に対応した復号部を設ける必要はない。したがって、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
次に、本発明に係るネットワーク伝送用の映像信号符号化方法は、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた映像出力装置から出力された映像信号を入力した信号変換装置が、この入力した映像信号をネットワーク伝送用に符号化する方法において、この映像出力装置が、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、この信号変換装置が、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する第２のステップと、この信号変換装置が、この第２のステップで分離したこの参照制御情報中の動きベクトルを、この信号変換装置内で実行される動きベクトルによる所定の符号化方式に応じた動きベクトルに変換する第３のステップと、この信号変換装置が、この第２のステップでこの参照制御情報を分離した映像信号を、この第３のステップで変換した動きベクトルを用いてこの所定の符号化方式で符号化する第４のステップとを有し、この第４のステップでは、この信号変換装置に備えられた符号化部において、この第２のステップでこの参照制御情報を分離してこの符号化部に供給された映像信号のフレームをこの符号化部内のフレーム符号化部が符号化し、この符号化したフレームをこの符号化部内のフレーム復号部が復号し、この復号したフレームをこの符号化部内のフレーム記憶部に一時的に記憶し、この符号化部内の動きベクトル供給部が、この第３のステップで変換した動きベクトルと重複する動きベクトルの検出を省略するとともに、この第３のステップで変換した動きベクトルを用いてその動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、この動きベクトル変換部によって変換された動きベクトルを参考にしてその動きベクトルの周囲の動きベクトルを検出する処理を行い、この符号化部に供給される映像信号のフレームと、このフレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、この符号化部内の動き補償部に供給し、この動き補償部が、このフレーム記憶部に記憶された過去のフレームに対して、この動きベクトル供給部から供給される動きベクトルで動き補償を行なうことを特徴とする。
この映像信号符号化方法は、前述の本発明に係る映像信号符号化システムによる一連の処理手順に該当するものであり、信号変換装置内に動きベクトル検出のための回路として小規模で消費電力が少ない回路を設けるだけで、信号変換装置において詳細な動きベクトル検出を行なって高効率の符号化を行うことができる。また、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
次に、本発明に係る信号変換装置は、入力した映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離する分離部と、この分離部によってこの参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、この分離部によって分離されたこの参照制御情報中の動きベクトルを、この符号化部におけるこの符号化方式に応じた動きベクトルに変換する動きベクトル変換部とを備え、この符号化部は、この分離部によってこの参照制御情報を分離されてこの符号化部に供給された映像信号のフレームを符号化するフレーム符号化部と、この符号化されたフレームを復号するフレーム復号部と、この復号されたフレームを一時的に記憶するフレーム記憶部と、このフレーム記憶部に記憶された過去のフレームに対して動き補償を行なう動き補償部と、この動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、この動きベクトル変換部によって変換された動きベクトルを用いてその動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、この動きベクトル変換部によって変換された動きベクトルを参考にしてその動きベクトルの周囲の動きベクトルを検出する処理を行い、この符号化部に供給される映像信号のフレームと、このフレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、この動き補償部に供給する動きベクトル供給部とを備え、この動き補償部は、この動きベクトル供給部から供給される動きベクトルでこの動き補償を行なうことを特徴とする。
この信号変換装置は、前述の本発明に係る映像信号符号化システムを構成する信号変換装置であり、前述の映像出力装置と協働させることにより、信号変換装置内に動きベクトル検出のための回路として小規模で消費電力が少ない回路を設けるだけで、信号変換装置において詳細な動きベクトル検出を行なって高効率の符号化を行うことができる。また、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
本発明によれば、ＡＶ機器を組み合わせて用いることによって映像出力装置と信号変換装置という２台の装置が分離したネットワーク伝送用の映像信号符号化システムを実現する場合に、信号変換装置内に動きベクトル検出のための回路として小規模で消費電力が少ない回路を設けるだけで、信号変換装置において詳細な動きベクトル検出を行なって高効率の符号化を行うことができるという効果や、映像出力装置からは非圧縮の映像信号を出力するので、映像出力装置における符号化方式に対応していないＡＶ機器であっても信号変換装置として用いることができるという効果が得られる。
以下、本発明の実施の形態を図面を用いて説明する。図３は、本発明を適用したネットワーク伝送用の映像信号符号化システムの構成例を示すブロック図である。このシステムは、テレビ電話（あるいはテレビ会議や防犯用の遠隔監視）のためにネットワークに送出する映像信号を符号化するためのものであり、映像出力装置１と信号変換装置８とで構成されている。映像出力装置１は、例えばカメラ一体型ＶＴＲを用いたものである。信号変換装置８は、例えばネットワーク対応型テレビジョン受像機を用いたものである。
映像出力装置１には、本発明に関連する回路やデバイスとして、撮像部（例えばＣＣＤカメラ）２と、符号化部３と、重畳部４と、大容量記憶装置（例えばハードディスクドライブ）５と、復号部６とが設けられている。撮像部２からの映像信号は、符号化部３に供給されるとともに、重畳部４に供給される。
符号化部３は、例えばＭＰＥＧ−２規格のエンコーダであり、その構成は周知であるので図には概略構成のみを示している。撮像部２からの映像信号のフレームは、フレーム符号化部３−１によって符号化される。この符号化された映像フレームは、フレーム復号記憶部３−２によって復号されて一時的に記憶される。
動きベクトル検出部３−３では、撮像部２からの映像信号のフレームと、フレーム復号記憶部３−２に記憶された過去のフレームとの間で同一性のある映像ブロックが検出され、それらの間の位置関係が動きベクトルとして検出されて、この動きベクトルが動き補償部３−４に供給される。動き補償部３−４では、フレーム復号記憶部３−２に記憶された過去のフレームに対してこの動きベクトルで動き予測（補償）を行ない、その動き予測されたフレームをフレーム符号化部３−１に供給する。フレーム符号化部３−１では、この動き予測されたフレームが、撮像部２からの映像信号のフレームとの差分を符号化するために用いられる。
映像出力装置１の操作パネル（図示略）で、撮像部２で現在撮影している映像信号を映像出力装置１から出力させる操作が行われたときには、撮像部２からの映像信号が、符号化部３によって符号化される。そして、動きベクトル検出部３−３で検出された動きベクトルや、フレーム符号化部３−１の処理によって生成されたマクロブロックタイプ，ピクチャタイプ，画像サイズ，フレームレート等の情報が、符号化部３から参照制御情報として重畳部４に供給される。
また、この操作パネルで、撮像部２で現在撮影している映像信号を録画する操作が行われたときには、撮像部２からの映像信号が符号化部３で符号化され、この符号化された映像信号が、映像出力装置１内の大容量記憶装置５に記憶される。
また、この操作パネルで、録画済みの映像信号を映像出力装置１から出力させる操作が行われたときには、大容量記憶装置５から映像信号が再生され、その映像信号が復号部６に供給される。復号部６は、符号化部３と同じ符号化規格のデコーダであり、その構成は周知であるので詳細説明は省略する。
復号部６によって復号された映像信号は、重畳部４に供給される。また、復号部６での復号時に得られた動きベクトル，マクロブロックタイプ，ピクチャタイプ，画像サイズ，フレームレート等の情報が、復号部６から参照制御情報として重畳部４に供給される。
重畳部４は、映像出力装置１から出力する映像信号のブランキング期間に、参照制御情報を重畳する処理を行う回路である。撮像部２で現在撮影している映像信号を出力させる操作が行われたときには、前述のように符号化部３から重畳部４に参照制御情報が供給され、重畳部４は、撮像部２からの映像信号にこの参照制御情報を重畳する。また、録画済みの映像信号を出力させる操作が行われたときには、前述のように復号部６から重畳部４に参照制御情報が供給され、重畳部４は、復号部６で復号された映像信号にこの参照制御情報を重畳する。
重畳部４によってこの参照制御情報を重畳された映像信号は、映像出力装置１から出力され、映像ケーブル７を介して信号変換装置８に送られる。
信号変換装置８には、本発明に関連する回路として、分離部９と、サイズ・フレーム数変換部１０と、動きベクトル変換部１１と、符号化部１２と、ネットワークインタフェース１３とが設けられている。符号化部１２は、テレビ電話用の符号化規格（例えば、Ｈ．２６１や、ＭＰＥＧ−４Part10（ＡＶＣ）など）のエンコーダである。
映像ケーブル７を介して信号変換装置８に入力した映像信号は、分離部９に供給される。分離部９は、供給される映像信号のブランキング期間から、前述の参照制御情報を分離する処理を行う回路である。
なお、映像出力装置１から信号変換装置８への映像信号の伝送形態は、コンポジット信号などのアナログ信号であってもよいし、デジタル信号であってもよい。アナログ映像信号の場合には、重畳部４は、垂直帰線消去期間で文字放送などに用いられていないラインに参照制御情報を重畳し、映像ケーブル７として、現在一般的に用いられているコンポジット映像ケーブルなどを用い、分離部９は、上記ラインから参照制御情報を分離するようにすればよい。
デジタル映像信号の伝送規格としては、非圧縮のデジタル映像信号を高品位に伝送するための規格であるＨＤＭＩ（High Definition Multimedia Interface）の利用が始まっている。映像出力装置１及び信号変換装置８がこのＨＤＭＩ規格に則って映像信号を入出力する機器である場合には、次に述べるようにして参照制御情報を重畳すればよい。
図４は、ＨＤＭＩ規格に則った機器の概要を示す図である。映像信号を送信する側の機器であるＨＤＭＩソース２１には、ＨＤＭＩトランスミッタ２２が設けられる。ＨＤＭＩトランスミッタ２２は、供給されるビデオ（映像信号），オーディオ／ＡＵＸ（Auxiliary），コントロール／ステータスの各信号を、３つのＴＭＤＳ（Transition Minimized Differential Signaling）チャンネル０〜２のシリアルデータにエンコードして出力するとともに、ビデオのピクセルクロックをＴＭＤＳクロックチャンネルから出力する。そして、これらのチャンネルのデータと、ディスプレイの固有情報（解像度など）を通知するためのＤＤＣ（Display Data Channel）のデータと、オプションであるＣＥＣ（Consumer Electronics Control）プロトコルの双方向制御用の制御信号とが、ＨＤＭＩソース２１から、１本のケーブル（ＨＤＭＩケーブル）で、映像信号を受信する側の機器であるＨＤＭＩシンク（Sink）２３に伝送される。
ＨＤＭＩシンク２３には、ＨＤＭＩレシーバ２４が設けられる。ＨＤＭＩレシーバ２４は、ＴＭＤＳクロックチャンネルで伝送されるピクセルクロックをリファレンスとして、ＴＭＤＳチャンネル０〜２のシリアルデータから元のビデオ，オーディオ／ＡＵＸ，コントロール／ステータスの各信号を復元する。
図５は、ＨＤＭＩにおける、ビデオフレーム中のオーディオ／ＡＵＸの伝送期間であるデータアイランド期間の例（アクティブビデオが７２０×４８０ピクセルの場合の例）を示す図である。各アクティブラインの１３８ピクセル分の水平ブランキング期間と、４５ライン分の垂直ブランキング期間とのそれぞれ所定のピクセル位置に、データアイランド期間とが分散して位置している。
図３の映像出力装置１，信号変換装置８がＨＤＭＩ規格に則って映像信号を入出力する（それぞれＨＤＭＩソース，ＨＤＭＩシンクである）場合には、重畳部４，分離部９をそれぞれ図４のＨＤＭＩトランスミッタ２２，ＨＤＭＩレシーバ２４の一部として構成して、重畳部４が図５のデータアイランド期間にＡＵＸデータの一種として参照制御情報を重畳し、分離部９がこのデータアイランド期間から参照制御情報を分離するようにすればよい。これにより、映像出力装置１及び信号変換装置８がＨＤＭＩ規格に則って映像信号を入出力する機器である場合にも、本発明を適用することができる。
図３に戻り、信号変換装置８では、分離部９によって参照制御情報を分離された映像信号と、この参照制御情報中の画像サイズ及びフレームレートの情報とが、サイズ・フレーム数変換部１０に供給される。また、分離部９によって分離された参照制御情報中の動きベクトル，マクロブロックタイプ及びピクチャタイプの情報が、動きベクトル変換部１１に供給される。
サイズ・フレーム数変換部１０は、サイズ・フレーム情報（テレビ電話の相手方の表示装置に応じた画面サイズやフレーム数を指定する情報）に基づいて映像信号の画面サイズやフレーム数を縮小することにより、映像信号の信号量をネットワーク伝送に適した量に削減する。このようにして信号量を削減された映像信号は、サイズ・フレーム数変換部１０から符号化部１２に供給される。
動きベクトル変換部１１では、参照制御情報中の動きベクトルに対して、符号化部１２における符号化方式と、サイズ・フレーム情報によって指定される縮小後の画面サイズ及びフレーム数とに応じて、動きベクトルの大きさ等を変換する処理が行われる。このようにして変換された動きベクトル等は、動きベクトル変換部１１から符号化部１２に供給される。
図６は、符号化部１２の構成を示すブロック図である。符号化部１２の基本的な構成は、通常のテレビ電話用の符号化規格のエンコーダと共通しており、フレーム符号化部１２−１と、フレーム復号部１２−２と、フレーム記憶部１２−３と、動きベクトル検出部１２−４と、動き補償部１２−５とを有している。
フレーム符号化部１２−１は、サイズ・フレーム数変換部１０からの映像信号のフレームを符号化する。フレーム復号部１２−２は、この符号化された映像フレームを復号する。フレーム記憶部１２−３は、この復号されたフレームを一時的に記憶する。
動きベクトル検出部１２−４は、サイズ・フレーム数変換部１０からの映像信号のフレームと、フレーム記憶部１２−３に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、動き補償部１２−５に供給する。但し、この動きベクトル検出部１２−４は、サイズ・フレーム数変換部１０からの映像信号に基づいてゼロから動きベクトルを検出する処理を行うのではなく、動きベクトル変換部１１から符号化部１２に供給される動きベクトルと重複する動きベクトルの検出を省略するとともに、動きベクトル変換部１１から供給される動きベクトルを用いてそれとは異なるサイズのブロックの動きベクトルを検出する処理や、動きベクトル変換部１１から供給される動きベクトルを参考にしてその周囲の動きベクトルを検出する処理を行う。したがって、動きベクトル検出部１２−４は、ゼロから動きベクトルを検出する場合よりも回路が小規模で消費電力が少なくて済み、しかも、詳細な動きベクトル検出を行なうことができる。
動き補償部１２−５は、フレーム記憶部１２−３に記憶された過去のフレームに対して、動きベクトル検出部１２−４から供給される動きベクトルで動き予測（補償）を行なう。フレーム符号化部１２−１では、この動き予測されたフレームが、サイズ・フレーム数変換部１０からの映像信号のフレームとの差分を符号化するために用いられる。
この符号化部１２によってテレビ電話用の符号化方式で符号化された映像信号は、図３に示すように、ネットワークインタフェース１３からネットワーク１４に送出されて、ネットワーク１４経由でテレビ電話の相手方の機器（図示略）に伝送される。
図７，図８は、図３の映像出力装置１，信号変換装置８における処理をフローチャートとして示した図である。また、図９は、信号変換装置８内の符号化部１２における処理をフローチャートとして示した図である。
図７に示すように、映像出力装置１では、撮像部２からの映像信号を直ちに出力する（すなわちライブ映像を出力する）場合（ステップＳ１でイエス）には、符号化部３が、撮像部２からの映像信号を符号化して、符号化時に得られた参照制御情報を重畳部４に供給する（ステップＳ２）。重畳部４は、撮像部２からの映像信号のブランキング期間に、この符号化部３からの参照制御情報を重畳して映像出力装置１から出力する（ステップＳ３）。そして、ステップＳ１に戻る。
他方、録画済の映像を出力する場合（ステップＳ４でイエス）には、復号部６が、大容量記憶装置５から再生された符号化映像信号を復号して重畳部４に供給するとともに、復号時に得られた参照制御情報を重畳部４に供給する（ステップＳ５）。重畳部４は、この復号された映像信号のブランキング期間に、復号部６からの参照制御情報を重畳して映像出力装置１から出力する（ステップＳ６）。そして、ステップＳ１に戻る。
図８に示すように、信号変換装置８では、分離部９が、入力された映像信号のブランキング期間に重畳された参照制御情報を取り出すことにより、映像信号と参照制御情報とを分離する（ステップＳ１１）。そして、サイズ・フレーム数変換部１０が、サイズ・フレーム情報に基づいて画面サイズやフレーム数を調整することにより、参照制御情報を分離された映像信号を、ネットワーク経由で伝送するのに適した信号量に調節する（ステップＳ１２）。また、動きベクトル変換部１１が、分離された参照制御情報中の動きベクトルを、符号化部１２における符号化方式や、サイズ・フレーム情報によって指定される縮小後の画面サイズ及びフレーム数に合せて変換する（ステップＳ１３）。
そして、符号化部１２が、図９に示す処理により、画面サイズやフレーム数を調整された映像信号を、変換された動きベクトルを用いて符号化する（ステップＳ１４）。そして、ステップＳ１１に戻って、次の入力映像信号に対する処理を繰り返す。
図９に示すように、符号化部１２では、入力された映像信号のピクチャタイプが画面内符号化（Ｉピクチャ）であるかを、参照制御情報内のピクチャタイプの情報に基づいて確認する（ステップＳ２１）。画面内符号化である場合には、フレーム符号化部１２−１が、入力された映像信号を、フレーム符号化し（ステップＳ２２）、相手方の機器の復号部で順番どおり復号できるような順序関係にするなどリオーダを行なって出力する（ステップＳ２３）。
フレーム復号部１２−２は、フレーム符号化部１２−１によってフレーム符号化された映像を復号し（ステップＳ２４）、フレーム記憶部１２−３は、この復号された映像を参照画面として一時的に記憶する（ステップＳ２５）。そして、ステップＳ２１に戻って、次の入力映像信号に対する処理を繰り返す。
ステップＳ２１において、入力映像信号のピクチャタイプが画面内符号化でなかった場合には、動きベクトル検出部１２−４が、フレーム記憶部１２−３に記憶されている映像と、新たに入力された映像との間で同一の映像ブロックを検出する動きベクトル検出処理を行なう。このとき、動きベクトル変換部１１から供給される動きベクトルを利用して、重複する動きベクトルの検出を省略するとともに、それとは異なるサイズのブロックやその周囲の動きベクトルを検出することにより、参照制御情報からは不足する動きベクトルのみを追加して検出する（ステップＳ２６）。
続いて、動き補償部１２−５が、フレーム記憶部１２−３に記憶された過去のフレームに対して、動きベクトル検出部１２−４から供給される動きベクトルで動き予測（補償）を行ない、フレーム符号化部１２−１が、この動き予測されたフレームと、サイズ・フレーム数変換部１０からの映像信号のフレームとの差分をフレーム符号化する（ステップＳ２７）。そして、フレーム符号化部１２−１が、フレーム符号化した映像を、相手方の機器の復号部で順番どおり復号できるような順序関係にするなどリオーダを行なって出力する（ステップＳ２８）。
フレーム復号部１２−２は、フレーム符号化部１２−１によってフレーム符号化された映像を復号する（ステップＳ２９）。フレーム記憶部１２−３は、この復号により得られた差分の映像と、先に差分をとった際の動き補償した映像とを加算した映像、つまり相手方の機器の復号部で復号を行うことによって得られる映像と同じ映像を、一時的に記憶する（ステップＳ３０）。そして、ステップＳ２１に戻って、次の入力映像信号に対する処理を繰り返す。
以上に説明したように、この映像信号符号化システムでは、撮像部２で現在撮影している映像信号（ライブ映像）をネットワーク経由で伝送する場合には、映像出力装置１の側で、撮像部２からの映像信号を符号化部３で符号化することによって得られた動きベクトル等の参照制御情報が、撮像部２からの映像信号のブランキング期間に重畳して出力される。
他方、撮像部２で過去に撮影して録画した映像をネットワーク経由で伝送する場合には、映像出力装置１の側で、大容量記憶装置５から再生された符号化映像信号を復号部６で復号することによって得られた動きベクトル等の参照制御情報が、この復号された映像信号のブランキング期間に重畳して出力される。
したがって、ライブ映像，録画映像のいずれを伝送する場合にも、映像出力装置１から出力される映像信号のブランキング期間に、動きベクトルを含む参照制御情報が重畳される。
信号変換装置８の側では、入力した映像信号から分離した参照制御情報中の動きベクトルが、テレビ電話用の符号化方式に応じた動きベクトルに変換され、この変換された動きベクトルを用いて、入力した映像信号が符号化されてネットワークに送出される。
したがって、映像出力装置１と信号変換装置８という２台の装置が分離しているにもかかわらず、ライブ映像，録画映像のいずれをネットワーク経由で伝送する場合でも、信号変換装置８内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、信号変換装置８において動きベクトルを用いた高効率の符号化を行うことができる。
また、映像出力装置１からは非圧縮の映像信号を出力するので、信号変換装置８内には、映像出力装置１における映像信号の符号化方式（例えばＭＰＥＧ−２）に対応した復号部を設ける必要はない。したがって、映像出力装置１における符号化方式に対応していないＡＶ機器であっても、信号変換装置８として用いることができる。
最後に、以上に説明した事項に対する変更例を、以下に（１）〜（５）として挙げることにする。
（１）映像出力装置１の重畳部４が、参照制御情報を圧縮して映像信号のブランキング期間に重畳し、信号変換装置８の分離部９が、映像信号のブランキング期間から分離した参照制御情報を伸張するようにしてもよい。これにより、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。
（２）全ての動きベクトルを映像信号のブランキング期間に重畳するのではなく、例えばマクロブロックの差分が小さい動きベクトルのような有効な動きベクトルだけを映像信号のブランキング期間に重畳するようにしてもよい。これにより、複数の映像からの動きベクトルによって高効率で圧縮を行うＭＰＥＧ−４などの場合に、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。
（３）映像出力装置１から信号変換装置８に映像信号などを伝送するだけでなく、逆に信号変換装置８内の制御部（ＣＰＵ等）から映像出力装置１に制御信号を送り、再生の開始を指示したり、参照制御情報の伝送出力の可否を確認したり、その伝送入力の可否を指示したり、その伝送量を指示してもよい。例えば、ＨＤＭＩ規格に則った機器の場合には前述のようにＣＥＣプロトコルの双方向制御用の制御信号を伝送することができるので（図４）、このＣＥＣプロトコルによって映像出力装置１に制御信号を送ってもよい。これにより、本発明を適用したＡＶ機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。
（４）ライブ映像のみをネットワーク経由で伝送する場合には、映像出力装置１に大容量記憶装置５及び復号部６を設けなくてもよい。他方、録画済映像のみをネットワーク経由で伝送する場合や、撮像部を有しないＶＴＲ等のＡＶ機器を映像出力装置１として用いてその再生映像をネットワーク経由で伝送する場合には、符号化部３から重畳部４に参照制御情報を供給する必要はなく、復号部６からのみ重畳部４に参照制御情報を供給すればよい。
（５）映像出力装置１から出力される映像信号が、信号量が少ないためにそのままでもネットワーク伝送に適しており、且つ、この映像信号の画面サイズやフレーム数がテレビ電話の相手方の表示装置に適応している場合には、信号変換装置８において、サイズ・フレーム数変換部１０での画面サイズやフレーム数の縮小処理を省略し、分離部９で分離された映像信号をそのまま符号化部１２で符号化してもよい。
従来のＡＶ機器を組み合わせたネットワーク伝送用映像信号符号化システムの構成例を示すブロック図である。 従来のＡＶ機器を組み合わせたネットワーク伝送用映像信号符号化システムの構成例を示すブロック図である。 本発明を適用したネットワーク伝送用の映像信号符号化システムの構成例を示すブロック図である。 ＨＤＭＩ規格に則った機器の概要を示す図である。 ＨＤＭＩにおけるビデオフレーム中のデータアイランド期間の例を示す図である。 信号変換装置内の符号化部の構成を示すブロック図である。 映像出力装置の処理を示すフローチャートである。 信号変換装置の処理を示すフローチャートである。 信号変換装置内の符号化部の処理を示すフローチャートである。
符号の説明
１ 映像出力装置、 ２ 撮像部、 ３ 符号化部、 ４ 重畳部、 ５ 大容量記憶装置、 ６ 復号部、 ７ 映像ケーブル、 ８ 信号変換装置、 ９ 分離部、 １０ サイズ・フレーム変換部、 １１ 動きベクトル変換部、 １２ 符号化部

Claims (3)

  1. 映像出力装置と信号変換装置とから成るネットワーク伝送用の映像信号符号化システムであって、
    前記映像出力装置は、
    動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
    前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部と
    を備え、前記重畳部によって前記参照制御情報を重畳された映像信号を出力し、
    前記信号変換装置は、
    前記映像出力装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する分離部と、
    前記分離部によって前記参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
    前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式に応じた動きベクトルに変換する動きベクトル変換部と
    を備え、
    前記符号化部は、
    前記分離部によって前記参照制御情報を分離されて前記符号化部に供給された映像信号のフレームを符号化するフレーム符号化部と、
    前記符号化されたフレームを復号するフレーム復号部と、
    前記復号されたフレームを一時的に記憶するフレーム記憶部と、
    前記フレーム記憶部に記憶された過去のフレームに対して動き補償を行なう動き補償部と、
    前記動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、前記動きベクトル変換部によって変換された動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行い、前記符号化部に供給される映像信号のフレームと、前記フレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、前記動き補償部に供給する動きベクトル供給部とを備え、
    前記動き補償部は、前記動きベクトル供給部から供給される動きベクトルで前記動き補償を行なう
    ネットワーク伝送用の映像信号符号化システム。
  2. 動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた映像出力装置から出力された映像信号を入力した信号変換装置が、前記入力した映像信号をネットワーク伝送用に符号化する方法において、
    前記映像出力装置が、前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
    前記信号変換装置が、前記映像出力装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する第２のステップと、
    前記信号変換装置が、前記第２のステップで分離した前記参照制御情報中の動きベクトルを、前記信号変換装置内で実行される動きベクトルによる所定の符号化方式に応じた動きベクトルに変換する第３のステップと、
    前記信号変換装置が、前記第２のステップで前記参照制御情報を分離した映像信号を、前記第３のステップで変換した動きベクトルを用いて前記所定の符号化方式で符号化する第４のステップとを有し、
    前記第４のステップでは、前記信号変換装置に備えられた符号化部において、前記第２のステップで前記参照制御情報を分離して前記符号化部に供給された映像信号のフレームを前記符号化部内のフレーム符号化部が符号化し、前記符号化したフレームを前記符号化部内のフレーム復号部が復号し、前記復号したフレームを前記符号化部内のフレーム記憶部に一時的に記憶し、前記符号化部内の動きベクトル供給部が、前記第３のステップで変換した動きベクトルと重複する動きベクトルの検出を省略するとともに、前記第３のステップで変換した動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行い、前記符号化部に供給される映像信号のフレームと、前記フレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、前記符号化部内の動き補償部に供給し、前記動き補償部が、前記フレーム記憶部に記憶された過去のフレームに対して、前記動きベクトル供給部から供給される動きベクトルで動き補償を行なう
    ネットワーク伝送用の映像信号符号化方法。
  3. 入力した映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離する分離部と、
    前記分離部によって前記参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
    前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式に応じた動きベクトルに変換する動きベクトル変換部と
    を備え、
    前記符号化部は、
    前記分離部によって前記参照制御情報を分離されて前記符号化部に供給された映像信号のフレームを符号化するフレーム符号化部と、
    前記符号化されたフレームを復号するフレーム復号部と、
    前記復号されたフレームを一時的に記憶するフレーム記憶部と、
    前記フレーム記憶部に記憶された過去のフレームに対して動き補償を行なう動き補償部と、
    前記動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、前記動きベクトル変換部によって変換された動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行い、前記符号化部に供給される映像信号のフレームと、前記フレーム記憶部に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、前記動き補償部に供給する動きベクトル供給部とを備え、
    前記動き補償部は、前記動きベクトル供給部から供給される動きベクトルで前記動き補償を行なう
    信号変換装置。
JP2006081618A 2006-03-23 2006-03-23 ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置 Expired - Fee Related JP4925697B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006081618A JP4925697B2 (ja) 2006-03-23 2006-03-23 ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置
US11/716,653 US8416852B2 (en) 2006-03-23 2007-03-12 Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus
EP20070251212 EP1838106A3 (en) 2006-03-23 2007-03-22 Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus
CNA2007101379566A CN101094412A (zh) 2006-03-23 2007-03-23 视频信号编码系统和方法以及视频输出和信号转换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006081618A JP4925697B2 (ja) 2006-03-23 2006-03-23 ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置

Publications (2)

Publication Number Publication Date
JP2007259142A JP2007259142A (ja) 2007-10-04
JP4925697B2 true JP4925697B2 (ja) 2012-05-09

Family

ID=38171576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006081618A Expired - Fee Related JP4925697B2 (ja) 2006-03-23 2006-03-23 ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置

Country Status (4)

Country Link
US (1) US8416852B2 (ja)
EP (1) EP1838106A3 (ja)
JP (1) JP4925697B2 (ja)
CN (1) CN101094412A (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204104B2 (en) * 2006-03-09 2012-06-19 Sony Corporation Frame rate conversion system, method of converting frame rate, transmitter, and receiver
US7984197B2 (en) * 2008-05-27 2011-07-19 Eyran Lida Methods and devices for on the fly CEC modification
JP5444797B2 (ja) * 2009-04-10 2014-03-19 ソニー株式会社 送信装置、表示装置および画像表示システム
US9277230B2 (en) * 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
US9008177B2 (en) 2011-12-12 2015-04-14 Qualcomm Incorporated Selective mirroring of media output
US9537644B2 (en) * 2012-02-23 2017-01-03 Lattice Semiconductor Corporation Transmitting multiple differential signals over a reduced number of physical channels
US9230505B2 (en) 2013-02-25 2016-01-05 Lattice Semiconductor Corporation Apparatus, system and method for providing clock and data signaling
US9232176B2 (en) * 2013-03-04 2016-01-05 Janus Technologies, Inc. Method and apparatus for securing computer video and audio subsystems
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
CN104683823A (zh) * 2013-11-29 2015-06-03 红板凳科技股份有限公司 一种多屏联动音视频同步系统
US9800886B2 (en) * 2014-03-07 2017-10-24 Lattice Semiconductor Corporation Compressed blanking period transfer over a multimedia link
US9871516B2 (en) 2014-06-04 2018-01-16 Lattice Semiconductor Corporation Transmitting apparatus with source termination
CN104079937B (zh) * 2014-07-16 2017-06-23 山东大学 一种基于运动矢量分析的由h.264到hevc的快速帧间转码方法及转码装置
CN110602502B (zh) * 2019-08-23 2022-08-16 绍兴文理学院 一种运动矢量编码和解码的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336672A (ja) 1989-07-03 1991-02-18 Nec Corp 画像の鮮鋭化方法
JP3166346B2 (ja) 1992-10-08 2001-05-14 ソニー株式会社 映像付加情報伝送方式
JPH084547A (ja) 1994-06-20 1996-01-09 Ee Double Eng:Kk 内燃機関及び駆動装置
JP3623056B2 (ja) * 1996-09-10 2005-02-23 ソニー株式会社 動画像圧縮装置
JPH10336672A (ja) * 1997-05-30 1998-12-18 Oki Electric Ind Co Ltd 符号化方式変換装置およびその動きベクトル検出方法
GB2333657B (en) * 1998-01-22 2002-08-21 Snell & Wilcox Ltd Video signal compression
US6625211B1 (en) 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
JP4378824B2 (ja) 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
JP2001309389A (ja) 2000-04-25 2001-11-02 Sony Corp 動きベクトル変換装置及び方法
US7283566B2 (en) 2002-06-14 2007-10-16 Silicon Image, Inc. Method and circuit for generating time stamp data from an embedded-clock audio data stream and a video clock
JP2005109703A (ja) * 2003-09-29 2005-04-21 Pioneer Electronic Corp 画像出力装置、画像出力方法、画像表示システムおよび画像出力プログラム並びに情報記録媒体
JP2005135187A (ja) * 2003-10-30 2005-05-26 Toshiba Corp 電子機器および組み込みソフトウェア更新方法
US20060209880A1 (en) * 2004-12-10 2006-09-21 Mediatek Incorporation Method of audio data transmission and system thereof

Also Published As

Publication number Publication date
US8416852B2 (en) 2013-04-09
JP2007259142A (ja) 2007-10-04
EP1838106A3 (en) 2011-08-17
US20070263725A1 (en) 2007-11-15
EP1838106A2 (en) 2007-09-26
CN101094412A (zh) 2007-12-26

Similar Documents

Publication Publication Date Title
US8416852B2 (en) Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus
US8204104B2 (en) Frame rate conversion system, method of converting frame rate, transmitter, and receiver
JP4983317B2 (ja) フレームレート変換システム，フレームレート変換方法，受信装置
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
US5995150A (en) Dual compressed video bitstream camera for universal serial bus connection
KR101056096B1 (ko) 압축 및 압축복원 비디오 비트스트림 모두에 대한 움직임 보상 프레임 레이트 상향 변환을 위한 방법 및 시스템
CN102045578B (zh) 图像处理设备和图像处理方法
JP2013521717A (ja) リモートディスプレイに画像をレンダリングするためのデルタ圧縮ならびに動き予測およびメタデータの修正を可能にすること
KR20050086835A (ko) 요청시 ｉ-화상 삽입
CN102301723A (zh) 图像处理设备和方法
TWI646828B (zh) 解碼裝置及解碼方法、以及編碼裝置及編碼方法
JPH07212761A (ja) 階層符号化装置及び階層復号化装置
US20110149040A1 (en) Method and system for interlacing 3d video
US20150015782A1 (en) Video processing device for reformatting an audio/video signal and methods for use therewith
CN102088599A (zh) 图像处理设备和图像处理方法
WO2015118664A1 (ja) 画像伝送装置と画像受信装置、並びに、これらを利用した監視カメラシステム、テレビ会議システム、そして、車載カメラシステム
JP2006525731A (ja) 新標準への移行をサポートする多階層符号化
JP4184223B2 (ja) トランスコーダ
JP2002171530A (ja) スーパーインポーズ機能を備えた再符号化装置および方法
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム
WO2015155893A1 (ja) 映像出力装置、映像受信装置、および映像出力方法
WO2015145745A1 (ja) 画像出力表示システム及び画像出力装置、画像表示装置
JP2011087194A (ja) 画像処理装置および画像処理方法
WO2016006107A1 (ja) 画像伝送装置、画像受信装置および画像伝送方法
JP2012120011A (ja) 動画像通信装置、デジタルビデオカメラ、記録媒体および半導体集積回路

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100708

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees