JP6986678B2 - 映像信号処理装置及び映像信号伝送システム - Google Patents

映像信号処理装置及び映像信号伝送システム Download PDF

Info

Publication number
JP6986678B2
JP6986678B2 JP2017134843A JP2017134843A JP6986678B2 JP 6986678 B2 JP6986678 B2 JP 6986678B2 JP 2017134843 A JP2017134843 A JP 2017134843A JP 2017134843 A JP2017134843 A JP 2017134843A JP 6986678 B2 JP6986678 B2 JP 6986678B2
Authority
JP
Japan
Prior art keywords
video signal
video
data
path
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017134843A
Other languages
English (en)
Other versions
JP2019016981A (ja
Inventor
卓 関澤
高明 安部
亮治 大久保
和磨 谷
伊織 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017134843A priority Critical patent/JP6986678B2/ja
Priority to US16/024,929 priority patent/US10872440B2/en
Publication of JP2019016981A publication Critical patent/JP2019016981A/ja
Application granted granted Critical
Publication of JP6986678B2 publication Critical patent/JP6986678B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00Parallel handling of streams of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、複数のソース装置から受信した複数の映像信号がネットワークを介して送信する映像信号処理装置に関する。本開示は、そのような映像信号処理装置を送信装置として備え、さらに、送信装置から受信した映像信号をディスプレイ装置に伝える受信装置を備えた映像信号伝送システムに関する。
複数のソース装置から受信された複数の映像信号を合成し、複数の映像信号に対応する複数のウィンドウを1つのディスプレイ装置の画面に表示する映像表示システムがある。
このような映像表示システムにおいて、ソース装置とディスプレイ装置とが限られた帯域のネットワークを介して互いに遠隔して設けられ、このネットワークを介して映像信号を伝送する場合には、映像信号を圧縮する必要がある。映像信号の圧縮方法の例として、特許文献1及び2に開示されたものがある。
特許文献1は、デジタル映像を表示するウィンドウを重ねることで、同一表示画面上に複数のデジタル映像を表示可能な映像表示装置を開示している。この映像表示装置は、可視領域情報を含むウィンドウをウィンドウ管理テーブルで管理し、映像伸長処理前に可視領域の圧縮映像データのみを切り出して映像伸長を行い、これにより、映像伸長処理の負荷を軽減する。
特許文献2は、入力される画像信号を画面上で重要な部分とそれ以外の部分に分割するための分割情報を入力し、重要な部分はデータ圧縮しないかデータ圧縮しても歪みの小さい方法で符号化し、それ以外の部分は圧縮率の高い方法で符号化することを開示している。これにより、画像全体として画質が良く、データ圧縮率の高いデータ圧縮方式を実現する。
国際公開第2006/072985号 特開昭62−008658号公報
ソース装置とディスプレイ装置とがネットワークを介して互いに遠隔して設けられた映像表示システムにおいて、映像信号を圧縮して伝送する場合には、以下のような問題点があった。
データ量の異なる複数の映像信号を限られた帯域のネットワークを介して通すとき、データ量が最も多い映像信号を基準に圧縮率を同一にして複数の映像信号を圧縮すると、データ量の少ない映像信号の画質が更に劣化するという課題がある。
また、データ量の異なる複数の映像信号を限られた帯域のネットワークを介して通すとき、各ソース装置から受信する映像信号のデータ量に応じて圧縮率を変えて圧縮すると、複数の映像を重ねて表示したとき、複数の映像が重なる境界で画質の差が生じるという課題がある。
本開示は、データ量の異なる複数の映像信号を限られた帯域のネットワークを介して送信する映像信号処理装置であって、画面上の映像の劣化及びリアルタイム性能の低下が生じにくい映像信号処理装置を提供する。本開示はまた、そのような映像信号処理装置を送信装置として備え、さらに、ディスプレイ装置に接続された受信装置を備え、送信装置から受信装置に映像信号を伝送する送信システムを提供する。
本開示の第1の態様において、複数のソース装置から映像信号を入力し、複数の通信経路を介して出力する映像信号処理装置が提供される。映像信号処理装置は、通信経路毎に設けられ、各通信経路で送信される映像信号を圧縮する複数の圧縮回路と、各圧縮回路で圧縮された映像信号を、各圧縮回路に対応する通信経路を介して出力する送信回路と、入力した各映像信号のデータ量に基づいて、映像信号毎に、各映像信号の一部または全部を送信する通信経路を決定するとともに、全圧縮回路に共通の圧縮率を設定する経路/圧縮率設定回路と、を備える。経路/圧縮率設定回路は、データ量が比較的高い映像信号を分割して、分割した一部をデータ量が比較的低い映像信号を伝送する通信経路に振り分ける。
本開示の第2の態様において、映像信号伝送システムが提供される。映像信号伝送システムは、上記の映像信号処理装置と、ネットワークを介して前記映像信号処理装置から映像信号を受信し、受信した映像信号に基づき合成映像を生成し、合成映像を示す映像信号をディスプレイ装置に送信する受信装置と、を備える。受信装置は、送信回路から映像信号を受信する受信回路と、受信した各映像信号を伸長する伸長回路と、伸長された各映像信号が示す画像を合成する映像合成回路と、を備える。映像合成回路は、分割して送信された映像信号がある場合、当該映像信号を分割される前の状態に戻し、戻した後の映像信号に基づき映像合成を行う。
本開示によれば、画面上の映像の劣化及びリアルタイム性能の低下が生じにくい映像信号伝送システムを提供することができる。
本開示の実施形態に係る映像信号伝送システムの全体構成を示す図 映像信号伝送システムにおける映像信号処理装置の具体的な構成を示す図 映像信号伝送システムにおける受信装置の具体的な構成を示す図 映像信号伝送システムから伝送された映像信号に基づきディスプレイ装置に表示される映像の表示例を示す図 ディスプレイ装置に表示される複数ウィンドウの画面配置の例を示す図 (A)入力した各映像信号のデータ量を模式的に示した図、(B)第1ないし第4通信経路において送信される各映像データの使用率を模式的に示した図 単純に各映像信号の圧縮率を同一にした場合の課題を説明するための図((A)入力した各映像信号のデータ量を模式的に示した図、(B)画面占有率に偏りがある場合の画面の例を示した図、(C)第1ないし第4通信経路において送信される各映像データの使用率を模式的に示した図) 単純に各映像信号の圧縮率を異ならせた場合の課題を説明するための図 画面占有率が高い映像信号を2つの経路に割り振った場合における各通信経路における映像データの使用率を説明するための図((A)入力した各映像信号のデータ量を模式的に示した図、(B)画面占有率に偏りがある場合の画面の例を示した図、(C)第1ないし第4通信経路において送信される各映像データの使用率を模式的に示した図) 各通信経路におけるデータの使用率が均一になるように映像信号を複数の経路に割り振った場合における、各通信経路における映像データの使用率を説明するための図 ウィンドウサイズが変更された場合の各通信経路における映像データの使用率を説明するための図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
[1.構成]
本開示の映像信号伝送システムは、複数のソース装置から入力した映像信号を合成してディスプレイ装置に伝送するシステムである。図1〜3は、本開示の実施の形態1に係る映像信号伝送システムの構成を示すブロック図である。
図1は、映像信号伝送システムの全体構成を示すブロック図である。図1に示すように、映像信号伝送システム100は、複数のソース装置1a〜1dから映像信号を受信し、圧縮して出力する映像信号処理装置2(送信装置)と、ネットワーク3を介して映像信号処理装置2からの映像信号を受信し、伸長し、合成してディスプレイ装置5に出力する受信装置4と、映像信号処理装置2に制御信号101を出力する制御装置10と、を備える。
図2は、映像信号処理装置2の詳細な構成を示す図である。映像信号処理装置2は、ネットワーク3を介して受信装置4に対して映像信号を送信する送信装置として機能する。図2に示すように、映像信号処理装置2は、第1ないし第4入力回路21a〜21d、経路/圧縮率設定回路22、第1ないし第4圧縮回路23a〜23d及び送信回路24を備える。
経路/圧縮率設定回路22と、第1ないし第4圧縮回路23a〜23dのそれぞれとは第1ないし第4送信経路123a〜123dにより接続されている。また、圧縮回路23a〜23dで圧縮された映像信号を伝送する経路として、第1ないし第4通信経路125a〜125dが設定されている。送信回路24は、第1ないし第4圧縮回路23a〜23dのそれぞれから出力される映像信号を第1ないし第4通信経路125a〜125dを介してネットワーク3へ送信する。換言すれば、第1ないし第4圧縮回路23a〜23dは、第1ないし第4通信経路125a〜125dにて伝送される映像信号を圧縮する回路である。
図3は、受信装置4の詳細な構成を示す図である。図3に示すように、受信装置4は、受信回路41、伸長回路42a〜42d、映像合成回路43、及び記憶装置44を備える。
ソース装置1a〜1dは、映像信号を出力する装置であり、例えば、Blu−ray(登録商標)ディスクプレーヤ、ハードディスクレコーダ、チューナ、パーソナルコンピュータ、カメラなどである。ソース装置1a〜1dは、映像信号111a〜111dを映像信号処理装置2にそれぞれ出力する。映像信号111a〜111dは種々のフォーマット(例えば、XGA、HD、4K)で出力される。映像信号111a〜111dは、動画データ又は静止画データを含む。複数のソース装置1a〜1dから同時に送信される映像信号は、動画を示す映像信号のみを含んでもよいし、静止画を示す映像信号のみを含んでもよいし、動画を示す映像信号と静止画を示す映像信号の組合せでもよい。
ディスプレイ装置5は、液晶ディスプレイや有機ELディスプレイで構成される。ディスプレイ装置5は、単一のディスプレイ装置であってもよく、複数のディスプレイ装置の組み合わせであってもよい。複数のディスプレイ装置を組み合わせることにより、より大きな画面を構成することができる。
制御装置10は、複数のウィンドウがディスプレイ装置5の画面に表示されたときの複数のウィンドウの位置及び重なり等を指定する合成条件をユーザが入力するための入力装置と、入力された合成条件を表示する表示装置とを備える。制御装置10は、例えば、パーソナルコンピュータ、タブレット型コンピュータ又は携帯情報端末で構成できる。ユーザは、制御装置10の入力装置を介して、ディスプレイ装置5に表示させる各ウィンドウの拡大、縮小、位置及びウィンドウ間の重なり等を指定する合成条件を設定することができる。制御装置10はユーザにより設定された合成条件を示す制御信号101を出力する。制御装置10は、例えば、以下の合成条件を含む制御信号101を映像信号処理装置2に供給する。
1)入力映像の画素数
2)映像の拡大率、縮小率、合成方法
[2.動作]
以上のように構成される映像信号伝送システム100の動作を以下に説明する。
[2−1.全体動作]
映像信号伝送システム100は、ソース装置1a〜1dからそれぞれ映像データを入力し、入力した複数の映像データを合成してディスプレイ装置5に送信する。具体的には、映像信号伝送システム100において、映像信号処理装置2は、映像データを、第1ないし第4入力回路21a〜21dによりソース装置1a〜1dから入力し、圧縮回路23a〜23dでそれぞれ圧縮する。それぞれの圧縮回路23a〜23dで圧縮された映像データは送信回路24によりネットワーク3を介して受信装置4に送信される。受信装置4は、受信回路41によりネットワーク3を介して受信した複数の映像データを伸長回路42a〜42dによりそれぞれ伸長し、映像合成回路43で合成してディスプレイ装置5に表示させる。
図4は、映像信号伝送システム100から伝送されてディスプレイ装置5に表示される映像(ウィンドウ)の表示例を示した図である。映像信号伝送システム100は、4つのソース装置1a〜1dのそれぞれから入力された映像信号に対応するウィンドウA〜Bを図4(A)または(B)に示すように合成してディスプレイ装置5に表示させる。
図1〜3に戻り、映像信号処理装置2において、第1ないし第4入力回路21a〜21dはそれぞれ、ソース装置1a〜1dから映像信号111a〜111dを入力し、ディスプレイ装置5に表示されるウィンドウに該当する映像信号112a〜112dとして経路/圧縮率設定回路22に出力する。ここで、第1ないし第4入力回路21a〜21dのそれぞれに入力した映像信号は、基本的に、第1ないし第4送信経路113a〜113dを介して第1ないし第4圧縮回路23a〜23dのそれぞれに入力される。第1ないし第4圧縮回路23a〜23dで圧縮された映像信号はそれぞれ第1ないし第4通信経路125a〜125dを介して受信装置4に送信される。
映像信号112a〜112dは、ディスプレイ装置5で表示されるウィンドウを構成する。各ウィンドウが示す映像は、映像信号112a〜112dに対して、制御装置10からの制御信号101にしたがい拡大、縮小、重ね合わせ等の処理がなされて生成される映像である。以下の説明では、映像信号112a〜112dに対応する各ウィンドウがディスプレイ装置5の表示領域全体中で占める表示面積の比率を「画面占有率」とする。
入力した各映像信号は1つの送信経路123a〜123dを介して対応する圧縮回路23a〜23dへ送信される。例えば、第1ソース装置1aから入力した映像信号は第1送信経路123aを介して第1圧縮回路23aへ送信される。同様に、第2ないし第4ソース装置1b〜1dから入力した映像信号は、第2ないし第4送信経路123b〜123dをそれぞれ介して、第1ないし第4圧縮回路23b〜23dへそれぞれ送信される。第1ないし第4圧縮回路23b〜23dで圧縮された映像信号は第1ないし第4通信経路125a〜125dを介して受信装置4へ伝送される。
本実施の形態では、各通信経路125a〜125dでのデータ量の偏りがある場合、その偏りがより低減されるように、データ量の大きい映像信号(映像データ)を分割し、分割した映像信号に対して、それらを伝送する通信経路125a〜125d(すなわち、送信経路123a〜123d)を設定する。このため、経路/圧縮率設定回路22は、各映像信号に対応するウィンドウに対する画面専有率を求め、画面専有率に偏りがある場合は、画面占有率の大きい映像信号(映像データ)を分割して複数の通信経路(すなわち、送信経路)に振り分けて送信する。さらに、経路/圧縮率設定回路22は、振り分け後の映像信号の状態に基づき映像信号に対する圧縮率を設定する。
具体的には、経路/圧縮率設定回路22は、画面占有率が比較的大きい映像信号と、画面占有率が比較的小さい映像信号とを検出する。例えば、経路/圧縮率設定回路22は、画面占有率が比較的大きい映像信号として、入力した映像信号の中で画面占有率が最も大きい映像信号を検出する。また、経路/圧縮率設定回路22は、画面占有率が比較的小さい映像信号として、入力した映像信号の中で画面占有率が最も小さい映像信号を検出する。そして、経路/圧縮率設定回路22は、画面占有率が比較的大きい映像信号の映像データの一部のブロックを、その映像信号の本来の通信経路(送信経路)へ出力する。さらに、画面占有率が比較的大きい映像信号が示す映像データから一部のブロックを取り除いた残りのブロックを、画面占有率が比較的小さい映像信号に対する通信経路(送信経路)へ振り分ける。これにより、画面占有率が比較的大きい映像信号に対する通信経路(送信経路)に対しては、一部のブロックのデータのみが出力される。また、画面占有率が比較的小さい映像信号に対する通信経路(送信経路)に対しては、画面占有率が比較的小さい映像信号のデータと、画面占有率が比較的大きい映像信号の残りのブロックのデータとが出力される。このように、経路/圧縮率設定回路22は、画面占有率が高い映像信号については、複数の通信経路に振り分けて伝送する。
例えば、入力した4つの映像信号112a〜112dにおいて、画面占有率が最大の映像信号が映像信号112aであり、画面占有率が最小の映像信号が映像信号112dである場合を考える。この場合、経路/圧縮率設定回路22は、映像信号112a中の一部のブロックに関する映像信号を、第1通信路125a(すなわち、第1送信経路123a)に振り分ける。同時に、経路/圧縮率設定回路22は、映像信号112a中の残りのブロックに関する映像信号を第4通信経路125d(第4送信経路123d)に振り分ける。これにより、第4通信経路125d(第4送信経路123d)には、映像信号112dと、映像信号112a中の残りのブロックに関する映像信号とが出力される。
経路/圧縮率設定回路22は、通信経路125a〜125d(または送信経路123a〜123d)の振り分け状態を示す振り分け情報を、制御信号101が示す情報と合わせて制御信号102として送信回路24に送信する。さらに、経路/圧縮率設定回路22は、振り分け後の映像信号113a〜113dに応じて設定された圧縮率を示す圧縮信号121を出力する。
第1ないし第4圧縮回路23a〜23dはそれぞれ、基本的に第1ないし第4ソース装置1a〜1dからの映像信号113a〜113dを圧縮するために設けられた回路である。第1ないし第4圧縮回路23a〜23dは、圧縮信号121にしたがい、映像信号113a〜113dを圧縮し、圧縮後の映像信号114a〜114dを生成し、送信回路24に送信する。
送信回路24は、圧縮後の映像信号114a〜114dと、圧縮信号121と、制御信号102とを統合し、通信データ115として、ネットワーク3を介して、受信装置4に送信する。ネットワーク3は、例えば、LAN、WANなどである。
送信回路24は、圧縮後の映像信号114a〜114dを同期して送信するために、映像信号を一時的に格納するバッファ回路25を内部に備えている。
受信回路41はネットワーク3を介して通信データ115を受信する。受信回路41は、受信した通信データ115から、映像信号116a〜116dと、伸長するための条件を示す伸長信号122と、映像信号の合成条件等を示す制御信号103とを分離し、第1ないし第4伸長回路42a〜42dと映像合成回路43とに出力する。伸長信号122は、経路/圧縮率設定回路22で設定された圧縮率を示す情報を含む圧縮信号121である。制御信号103は、映像データを複数の経路に振り分けて送信したときのブロックを振り分け前の状態に戻すための情報(振り分け条件)と、ウィンドウの位置、重ね合わせ等の合成条件を示す情報とを含む。
第1ないし第4伸長回路42a〜42dはそれぞれ、第1ないし第4圧縮回路23a〜23dで圧縮された映像信号を伸長する回路である。第1ないし第4伸長回路42a〜42dは映像信号116a〜116dを伸長信号122が示す圧縮率に基づき伸長し、伸長後の映像信号117a〜117dを生成し、映像合成回路43に送る。
映像合成回路43は、制御信号103が示す振り分け条件にしたがい、伸長後の映像信号117a〜117dを、経路/圧縮率設定回路22が経路変更する前の映像信号の状態に戻す。さらに、映像合成回路43は、制御信号103が示す合成条件にしたがい各映像信号が示す映像を合成し、合成された映像を表示するための映像信号118を生成し、ディスプレイ装置5に送る。
記憶装置44は、受信回路41で受信した制御信号103を格納する。経路/圧縮率設定回路22により設定される振分け条件が更新されるまで、ディスプレイ装置5の表示状態が保持される。記憶装置44は、半導体メモリ、SSD、HDD等の記録媒体で構成される。
以上の動作により、各映像信号111a〜111dに対応する複数のウィンドウがディスプレイ装置5の画面に表示される(図4参照)。
ここで、本実施の形態の映像信号伝送システム100が解決する課題について説明する。なお、以下の説明では、図5に示すように、ディスプレイ装置5の画面を64(8×8)ブロックに分割し、画面占有率をブロック単位で求めている。
図5(A)、(B)はそれぞれ、図4(A)、(B)に示すウィンドウ配置の例を示した図であり、各ウィンドウの画面占有率を示した図である。図5(A)、(B)において、ウィンドウA、B、C、Dは、それぞれ、映像信号111a、111b、111c、111dによる映像に対応する。図6(A)は、図5(A)の場合における、入力した各映像信号112a〜112dのデータ量を模式的に示した図である。図6(B)は、図5(A)の場合における、第1ないし第4通信経路125a〜125dにおいて送信される各映像データの使用率を模式的に示した図である。ここで、データの使用率とは、画面全体のデータ量に対する、1つの通信経路にて伝送されるデータ量(すなわち、1つの圧縮回路で処理されるデータ量)の割合を示す。
図5(A)の例では、各映像信号112a〜112dのそれぞれが示す映像データの量は同じであり(図6(A)参照)、各ウィンドウA〜Dは均等な画面占有率を有する。画面全体は64ブロック分の面積を有し、各ウィンドウA〜Dは16ブロック分の面積を有する。ウィンドウA〜Dの画面占有率を以下のようになる。
ウィンドウAの画面占有率=25%(=16/64)・・・(1a)
ウィンドウBの画面占有率=25%(=16/64)・・・(1b)
ウィンドウCの画面占有率=25%(=16/64)・・・(1c)
ウィンドウDの画面占有率=25%(=16/64)・・・(1d)
4つのウィンドウの画面占有率は全て25%であり、4つの映像データのデータ量に偏りがない。偏りがない場合、図6(B)に示すように、各ウィンドウの圧縮率(ε1)は、同じ圧縮率に設定することが可能である。以下、偏りがない場合に設定される圧縮率を「基本圧縮率ε1」という。各映像に対して同じ圧縮率で圧縮するため、同一画面に複数のウィンドウの映像が重なって表示される場合であっても、映像が重なる境界における画質の差は発生しない。
一方、図5(B)は、ウィンドウ間の画面占有率に偏りがある場合の画面イメージの例を示している。ウィンドウAは36ブロック分の面積を有し、ウィンドウB、Cは9ブロック分の面積を有し、ウィンドウDは4ブロック分の面積を有する。ウィンドウA〜Dの画面占有率を次のようになる。
ウィンドウAの画面占有率=56%(=36/64)・・・(2a)
ウィンドウBの画面占有率=14%(=9/64) ・・・(2b)
ウィンドウCの画面占有率=14%(=9/64) ・・・(2c)
ウィンドウDの画面占有率= 6%(=4/64) ・・・(2d)
以上のように各ウィンドウA〜Dの映像データのデータ量に偏りが発生している。映像データ間のデータ量に偏りがない図5(A)の例では、画面全体の画面占有率は100%であったが、映像データ間のデータ量に偏りがある図5(B)の例では、画面占有率は81%(52/64ブロック)である。
図5(B)に示すように映像データのデータ量に偏りが発生している場合、データ圧縮方法として、以下の2つの方法が考えられる。一つは、全ウィンドウの圧縮率を同一に設定する方法であり、他の一つは、圧縮率をウィンドウ毎に設定する方法である。図7、8を参照して、これらのデータ圧縮方法に内在する課題を説明する。
図7を参照して、全ウィンドウの圧縮率を同一に設定する例について説明する。図7(A)は、入力した各映像信号112a〜112dのデータ量を模式的に示した図である。図7(B)は、想定する画面イメージを示しており、これは図5(B)に示す画面イメージと同じである。図7(C)は、第1ないし第4通信経路125a〜125dにおいて送信される各映像データの使用率を模式的に示した図である。
図7(A)から、ウィンドウAが最も高い画面占有率を有し、ウィンドウDが最も低い画面占有率を有する。表示画面全体は64ブロックの大きさを有する。このため、全映像データを4つの通信経路113a〜113dで均等に通信する場合、1経路当たりに送信されるデータ量は16(=64/4)ブロックとなる。よって、図7(A)に示す画面に対して、1つの通信経路において送信されるデータの使用率を、全体の25%以下にするための圧縮率αは次式で算出される。
α=ε1×(最高の画面占有率を有するウィンドウ(A)が占有するブロックの数)
/(均等に通信する場合の1通信経路当たりのブロック数)
=ε1×(36/16) ・・・(3a)
映像信号を式(3a)で求めた圧縮率αで圧縮したときの、1つの通信経路における各ウィンドウA〜Dについての通信データの使用率を次式で計算する。
各ウィンドウについての通信データの使用率
=(各ウィンドウのブロック数/α)/64 ・・・(3b)
式(3b)より、ウィンドウA〜Dに対する使用率は具体的に下記のようになる。
ウィンドウAについての通信データの使用率
={(ウィンドウAのブロック数:36)/(36/16)}/64
=25.0% ・・・(4a)
ウィンドウBについての通信データの使用率は
={(ウィンドウBのブロック数:9)/(36/16)}/64
=6.3% ・・・(4b)
ウィンドウCについての通信データの使用率は
={(ウィンドウCのブロック数:9)/(36/16)}/64
=6.3% ・・・(4c)
ウィンドウDについての通信データの使用率は
={(ウィンドウDのブロック数:4)/(36/16)}/64
=2.8% ・・・(4d)
一般的に映像信号の圧縮処理技術は、圧縮回路及び伸長回路を通して圧縮・伸長した映像信号と圧縮・伸長しない元の映像信号は完全に一致しない特性がある。そのため映像信号を高い圧縮率や高い伸長率で圧縮・伸長を繰り返すと画質が劣化する傾向にある。
つまり全映像信号の中で最も画面占有率が高いウィンドウAの圧縮率αで全映像を一律に圧縮・伸長すると、画面占有率の低いウィンドウB、ウィンドウC、ウィンドウDに対しても高い圧縮率αで圧縮・伸長される。すなわち、ウィンドウB〜Dに対しては、対応する通信経路における通信に本来必要な圧縮率よりも高い圧縮率αで圧縮・伸長される。このため、ウィンドウB〜Dに対して画質をより劣化させるという課題がある。
次に、図8を参照して、圧縮率を各ウィンドウ別に設定した例について説明する。式(2a)〜(2d)に示す各ウィンドウの画面占有率に応じて、各ウィンドウの映像に対する通信データの使用率が25%以下になるような各ウィンドウの圧縮率α、β、γ、δは次式のようになる。
α=ε1×(ウィンドウAのブロック数)/(1経路当たりのブロック数)
=ε1×(36/16) ・・・(5a)
β=ε1×(ウィンドウBのブロック数)/(1経路当たりのブロック数)
=ε1×(9/16) ・・・(5b)
γ=ε1×(ウィンドウCのブロック数)/(1経路当たりのブロック数)
=ε1×(9/16) ・・・(5c)
δ=ε1×(ウィンドウDのブロック数)/(1経路当たりのブロック数)
=ε1×(4/16) ・・・(5d)
圧縮率α、β、γ、δで各ウィンドウのデータを圧縮した場合、各ウィンドウのデータは同じデータ量に圧縮される。よって、圧縮率α、β、γ、δで各ウィンドウのデータを圧縮したときの、各通信経路を通過する通信データの使用率は次式のようになり、使用率をほぼ同一にすることができる。
ウィンドウAの通信データの使用率
=25%(=16/64) ・・・(6a)
ウィンドウBの通信データの使用率
=25%(=16/64) ・・・(6b)
ウィンドウCの通信データの使用率
=25%(=16/64) ・・・(6c)
ウィンドウDの通信データの使用率
=25%(=16/64) ・・・(6d)
しかし、各ウィンドウの圧縮率α、β、γ、δは次式の関係を有する。
α>β=γ>δ>1 ・・・(7)
このように圧縮率に差異があり、例えば、ウィンドウAとウィンドウBの圧縮率の比α/βは4倍である。ウィンドウAとウィンドウCの圧縮率の比α/γは4倍である。ウィンドウAとウィンドウDの圧縮率の比α/δは9倍である。ウィンドウBとウィンドウCの圧縮率の比β/γは1倍である。ウィンドウBとウィンドウDの圧縮率の比β/δは2.3倍である。ウィンドウCとウィンドウDの圧縮率の比γ/δは2.3倍である。
このため、高い圧縮率(例えば、α)で圧縮・伸長した映像信号(例えば、映像信号112a)と、低い圧縮率(例えば、δ)で圧縮・伸長した映像信号(例えば、映像信号112d)とを、同一画面に重ねて表示したとき映像が重なる境界で画質差が発生する傾向にある。
つまり、式(7)のとおり各ウィンドウの画面占有率に応じてα、β、γ、δという異なる圧縮率で各映像を圧縮して送信すると、ウィンドウAと他のウィンドウB、C、D間で圧縮率が大きく異なるため、複数のウィンドウが重なる境界で大きな画質差が発生する課題がある。
本実施の形態の映像信号処理装置2は、経路/圧縮率設定回路22の動作により上記の課題を解決する。
[2−2.経路/圧縮率設定回路の動作]
(1)経路/圧縮率設定回路の動作例1
以下、図9を参照して、映像信号処理装置2における経路/圧縮率設定回路22の動作について説明する。
映像信号処理装置2の経路/圧縮率設定回路22は、通信経路125a〜125dにおけるデータ使用率の偏りを低減するため、各通信経路125a〜125d(換言すれば、送信経路123a〜123d)に割り当てるデータ量(ブロック数)を変更する。
具体的には、具体的には、経路/圧縮率設定回路22は各映像信号112a〜112dについて画面占有率を算出する。画面占有率に基づき、経路/圧縮率設定回路22は、各通信経路で送信されるデータ量すなわち画面占有率の偏りがあるか否かを判断する。例えば、経路/圧縮率設定回路22は、映像信号間の画面占有率の差が所定値以上となる映像信号が存在するか否かを判断する。画面占有率の差が所定値以上となる映像信号が存在する場合、データ量すなわち画面占有率の偏りがあると判断し、経路/圧縮率設定回路22は、画面占有率が高い映像信号のデータの一部を、画面占有率が低い映像信号を伝送する通信経路125a〜125d(送信経路123a〜123d)に割り振る。これにより、各通信経路125a〜125d(すなわち各送信経路123a〜123d)で伝送されるデータ量の偏りを低減し、各通信経路において伝送される映像信号に均一な圧縮率を適用したときの全体としての通信効率を向上する。
例えば、図5(B)に示す例において式(2a)〜(2c)に示すような画面占有率の偏りがある場合、画面占有率が次式に示すような値になるように、画面占有率が大きいウィンドウAのデータの一部(データA2)を、画面占有率が小さいウィンドウDに対する第4送信経路123dに振り分ける。これにより、ウィンドウDの映像データと、ウィンドウAの映像データのうちの一部のデータA2とが、第4通信経路125d(第4送信経路123d)に出力される。また、ウィンドウAの映像データのうちの残りのデータA1が、第1通信経路125a(第1送信経路123a)に出力される。このとき、最終的に第1通信経路125aに割り当てられた全データのデータ量と、最終的に第4通信経路125dに割り当てられた全データのデータ量とが等しくなるようにデータA1,A2のサイズが決定される。このような割り当てにより画面占有率は下記のようになる。
ウィンドウA1の画面占有率
=31%(=20/64) ・・・(8a)
ウィンドウBの画面占有率
=14%(=9/64) ・・・(8b)
ウィンドウCの画面占有率
=14%(=9/64) ・・・(8c)
ウィンドウD及びA2の画面占有率
=31%(=20/64) ・・・(8d)
式(8a)〜(8d)より最も画面占有率が高いブロックA1の通信データの使用率が25%以下になるように圧縮率ε2を求める。
ε2=ε1×(ウィンドウA1のブロック数)/(1経路当たりのブロック数)
=ε1×(20/16 ・・・(9)
全ウィンドウを圧縮率ε2で一律に圧縮することにより、同一画面に複数のウィンドウ(映像)が重なって表示される場合であっても、各ウィンドウの圧縮率が同じであるため、映像が重なる境界で画質差が発生しにくくなる。
更に経路変更後の圧縮率ε2は、前述の方法(図7参照)で求めた圧縮率αよりも小さい値に設定できるため、画質の劣化をより抑制することができる。
(2)経路/圧縮率設定回路の動作例2
実施の動作例1で述べた方法では、画面占有率が大きいウィンドウAの送信データの一部A2を、画面占有率が小さいウィンドウDの通信経路125dのみに振り分けた場合、下記のとおり各通信経路125a〜125dに対する通信データの使用率が均一にならない場合がある(図9参照)。
ウィンドウA1の通信データの使用率
=25%(=16/64) ・・・(10a)
ウィンドウBの通信データの使用率
=11.3%(=7.2/64) ・・・(10b)
ウィンドウCの通信データの使用率
=11.3%(=7.2/64) ・・・(10c)
ブロックA2を振り分けたウィンドウDの通信データの使用率
=25%(=16/64) ・・・(10d)
すなわち、ウィンドウB、Cに対する通信経路125b、125cにおける通信データの使用率はウィンドウA、Dに対する通信経路125a、125dにおける通信データの使用率よりも低くなっている。すなわち、通信効率が低い通信経路が存在することになる。
そこで、全体としての通信効率をより向上させるため、経路/圧縮率設定回路22は、図10に示すように、各ウィンドウに対する送信経路の画面占有率が均一になるように画面占有率が高いウィンドウを複数のブロックに分割し、画面占有率が高いウィンドウに対する通信経路(すなわち、送信経路)以外の通信経路(送信経路)に振り分けてもよい。
具体的には、ウィンドウAのデータを4つのブロックA1〜A4に分割する。ブロックA1は14.5ブロック分のデータを含み、ブロックA2及びA3は5.5ブロック分のデータを含み、ブロックA4は10.5ブロック分のデータを含む。経路/圧縮率設定回路22は、ブロックA1のデータをウィンドウAに対する第1通信経路125a(第1送信経路123a)に振り分ける。ブロックA2のデータは、ウィンドウBに対する第2通信経路125b(第2送信経路123b)に振り分けられる。ブロックA3のデータはウィンドウCに対する第3通信経路125c(第3送信経路123c)に振り分けられる。ブロックA4のデータはウィンドウDに対する第4通信経路125d(第4送信経路123d)に振り分ける。
以上の振り分けにより、第1通信経路125aには、ウィンドウAのブロックA1(以下「ウィンドウA1」という)のデータが送信される。第2通信経路125bには、ウィンドウAのブロックA2(以下「ウィンドウA2」という)のデータと、ウィンドウBのデータとが送信される。第3通信経路125cには、ウィンドウAのブロックA3(以下「ウィンドウA3」という)のデータと、ウィンドウCのデータとが送信される。第4通信経路125dには、ウィンドウAのブロックA4部分(以下「ウィンドウA4」という)のデータと、ウィンドウBのデータとが送信される。各ウィンドウの画面占有率は以下のように均等になる。
ウィンドウA1の画面占有率
=23%(=14.5/64) ・・・(11a)
ウィンドウB及びA2の画面占有率
=23%(=14.5/64) ・・・(11b)
ウィンドウC及びA3の画面占有率
=23%(=14.5/64) ・・・(11c)
ウィンドウD及びA4の画面占有率
=23%(=14.5/64) ・・・(11d)
各ウィンドウの通信データの使用率が25%以下になるように圧縮率ε3を求めると次式となる。
ε3=ε1×(A1ウィンドウのブロック数)/(1経路当たりブロック数)
=ε1×(14.5/16) ・・・(12)
式(12)より、図10の例に対して、経路/圧縮率設定回路22により設定される圧縮率ε3は、図5(A)及び図6に示す4つの各ウィンドウのデータ量に偏りが発生していないときの基本圧縮率ε1より小さい。このため、従来の圧縮率αよりも圧縮率を小さく設定できるため、画質の劣化が生じにくい映像信号処理装置を提供することができることに加え、通信効率も高めることができる。
(3)経路/圧縮率設定回路の動作例3
以下、ウィンドウの画面占有率が変更されたときの経路/圧縮率設定回路22の動作について説明する。経路/圧縮率設定回路22は、少なくとも1つのウィンドウが拡大/縮小された場合に、拡大/縮小後の画面占有率に基づき圧縮率を設定してもよい。
制御装置10は、制御信号101によりウィンドウA〜Dを拡大、縮小、重ね合わせる等の表示制御を行う。すなわち、制御信号101により各ウィンドウA〜Dを合成した後の全ウィンドウの画面占有率も可変できる。以下、図9(B)に示す画面配置から図11(B)に示す画面配置へ変更したときの動作について説明する。
図9(B)に示す例において、全ウィンドウの画面占有率は次式で算出される。
全ウィンドウの画面占有率=81%(=52/64) ・・・(13)
図9(B)に示す状態から、制御装置10からの制御信号101にしたがいウィンドウB、Cが拡大され、全ウィンドウの画面占有率が81%から100%に達する。この場合でも、限られた帯域内で各ウィンドウの映像データを送信する必要がある。このため、変更後の画面占有率を考慮して圧縮率を設定するのが好ましい。
図11に示す場合について圧縮率ε4は式(9)と式(13)を参照して次式で算出される。
ε4=ε2×α×(振分け後のブロック数/振分け前のブロック数)
÷(全ウィンドウのブロック数/表示可能なブロック数)
=ε2×α×(20/36)÷(52/64)
=ε2×α×0.68 ・・・(14)
経路/圧縮率設定回路22は、全ウィンドウの画面占有率が最大100%に達しても、各ウィンドウ(映像信号)の画面占有率と、全ウィンドウの画面占有率とを判定し、画面占有率の小さい映像信号を送信する送信経路へ、画面占有率の大きい映像信号のデータの一部を振り分ける。これにより、送信経路間の通信データ量の偏りを低減することができる。
このように各ウィンドウを同じ圧縮率(ε4)で圧縮することで、同一画面に複数の映像が重なって表示されても、映像が重なる境界での画質差が発生しにくくなる。
さらに送信経路の変更後に設定した圧縮率(ε4)は、従来の圧縮率αよりも圧縮率を小さく設定できるため、画質の劣化をより抑制することが可能になる。
[3.効果、等]
以上のように、本実施の形態に係る映像信号処理装置2は、複数のソース装置1a〜1dから映像信号を入力し、複数の通信経路125a〜125dを介して出力する装置である。映像信号処理装置2は、通信経路毎に設けられ、各通信経路で送信される映像信号を圧縮する複数の圧縮回路23a〜23dと、各圧縮回路で圧縮された映像信号を、各圧縮回路に対応する通信経路を介して出力する送信回路24と、入力した各映像信号のデータ量に基づいて、映像信号毎に、各映像信号の一部または全部を送信する通信経路を決定するとともに、全圧縮回路23a〜23dに共通の圧縮率を設定する経路/圧縮率設定回路22と、を備える。経路/圧縮率設定回路22は、データ量が比較的高い映像信号を分割し、分割した一部をデータ量が比較的低い映像信号を伝送する通信経路に振り分ける。
上記構成によれば、各映像信号を同一の圧縮率で圧縮することにより、同一画面に複数のウィンドウ(映像)が重なって表示される場合であっても、映像が重なる境界で画質差が発生しにくくなる。さらに、データ量が比較的大きい映像信号を分割して複数の通信経路に振り分ける。これにより、圧縮率を、分割しない場合の圧縮率(α)よりも小さい値に設定できるため、画質の劣化をより抑制することができる。すなわち、画面上の映像の劣化及びリアルタイム性能の低下が生じにくい映像信号伝送システムを提供することができる。
経路/圧縮率設定回路22は、入力した映像信号の中で最もデータ量の大きい映像信号の一部A1を、一の通信経路125aに振り分けてもよい。同時に、経路/圧縮率設定回路22は、最もデータ量の大きい映像信号において残りの部分(A2、A3、A4)を、さらに一つまたは複数の部分に分割して、一つまたは複数の他の通信経路125b、125c、125dに振り分けてもよい。これにより、通信経路間の転送データ量の偏りを低減できる。
また、経路/圧縮率設定回路22は、一の通信経路と他の通信経路のそれぞれにおいて送信されるデータ量が略等しくなるように、最もデータ量の大きい映像信号を分割してもよい。これにより、各通信経路で転送されるデータを同一圧縮率で圧縮した場合に、より効率的なデータ転送が可能となる。
経路/圧縮率設定回路22は、分割して送信される映像信号(経路が変更された映像信号)がある場合、共通の圧縮率を、映像信号を分割しないときに想定される圧縮率よりも低い圧縮率に設定してもよい。これにより圧縮に伴う映像劣化を低減できる。
上記の実施の形態の映像信号伝送システム100は、映像信号処理装置2と、ネットワーク3を介して映像信号処理装置2から映像信号を受信し、受信した映像信号に基づき合成映像を生成し、合成映像を示す映像信号をディスプレイ装置5に送信する受信装置4と、を備える。受信装置4は、送信回路24から映像信号を受信する受信回路41と、受信した各映像信号を伸長する伸長回路42a〜42dと、伸長された各映像信号が示す画像を合成する映像合成回路43と、を備える。映像合成回路43は、分割して送信された映像信号がある場合、当該映像信号を分割される前の状態に戻し、戻した後の映像信号に基づき映像合成を行う。
映像信号伝送システム100において、送信回路24は、圧縮された映像信号115に加えて、圧縮された映像信号を伸長するための伸長条件を示す情報121と、送信経路の振り分けを示す振り分け情報102と、映像信号の合成条件を示す情報102とを、受信回路41に送信してもよい。映像合成回路43は、分割して送信された映像信号がある場合に振り分け条件に基づいて当該映像信号を分割される前の状態に戻し、合成条件に基づき映像合成を行う。
映像信号伝送システム100は、合成映像における各映像信号が示す映像の位置及び重なりを指定する制御信号を映像信号処理装置2に供給する制御装置10をさらに備えてもよい。これにより、ユーザは、合成映像における、各映像信号が示す映像の位置及び重なりを設定することができる。
受信装置4は、経路/圧縮率設定回路22が設定する経路と圧縮率を示す情報を格納する記憶装置44を備えてもよい。一旦記憶装置44に経路と圧縮率を示す情報を格納することで、記憶装置44からそれらの情報を読み出すことにより、それらの情報を利用することが可能となる。
映像信号は、動画データを含む映像信号及び/又は静止画データを含む映像信号であってもよい。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成を適宜組み合わせて、新たな実施の形態とすることも可能である。
上記の実施の形態では、ディスプレイ装置5に表示される画像のサイズを64ブロックに分割したが、分割するブロックの数は64に限定されるものではない。
また、ソース装置、圧縮回路、通信経路等の数を一例として4としたが、これらの数は4に限定されるものではなく、任意の数としてよい。
上記の実施の形態において、経路/圧縮率設定回路22は、各通信経路で送信されるデータ量(すなわち画面占有率)の偏りがあるか否かを画面占有率の差に基づき判断した。各通信経路で送信されるデータ量の偏りがあるかの判断を他の条件に基づき行っても良い。例えば、判断条件として、映像信号間の画面占有率の比が所定値以上となる映像信号が存在するか否かを判断してもよい。または、画面占有率に替えて、映像信号が伝送するデータ量に基づき各通信経路で送信されるデータ量(すなわち画面占有率)の偏りを判断してもよい。
制御装置10は、ユーザによるリアルタイム制御により制御信号101を生成してもよく、予め決められたプログラムに従って自動的に制御信号101を生成してもよい。
圧縮回路23a〜23dの個数はソース装置1a〜1dの個数に一致していなくてもよい。例えば、単一の圧縮回路により複数の入力した映像信号を圧縮してもよい。伸長回路42a〜42dの個数もソース装置1a〜1dの個数に一致していなくてもよい。例えば、単一の伸長回路により複数の入力した映像信号を伸長してもよい。
受信装置4とディスプレイ装置5とは一体化して構成されてもよい。映像信号処理装置2と制御装置10とは一体化して構成されてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、複数の映像ソースから映像信号を入力し、ディスプレイ装置に伝送する伝送システムに適用できる。
1a〜1d…ソース装置
2…映像信号処理装置(送信装置)
3…ネットワーク
4…受信装置
5…ディスプレイ装置
10…制御装置
21a〜21d…入力回路
22…経路/圧縮率設定回路
23a〜23d…圧縮回路
24…送信回路
25…バッファ回路
41…受信回路
42a〜42d…伸長回路
43…映像合成回路
44…記憶装置
100…映像信号伝送システム
111a〜114d…映像信号
123a〜123d…送信経路
125a〜125d…通信経路

Claims (8)

  1. 複数のソース装置から映像信号を入力し、複数の通信経路を介して出力する映像信号処理装置であって、
    通信経路毎に設けられ、各通信経路で送信される映像信号を圧縮する複数の圧縮回路と、
    各圧縮回路で圧縮された映像信号を、各圧縮回路に対応する通信経路を介して出力する送信回路と、
    入力した各映像信号のデータ量に基づいて、映像信号毎に、各映像信号の一部または全部を送信する通信経路を決定するとともに、全圧縮回路に共通の圧縮率を設定する経路/圧縮率設定回路と、を備え、
    前記経路/圧縮率設定回路は、データ量が比較的高い映像信号を分割して、分割した一部をデータ量が比較的低い映像信号を伝送する通信経路に振り分け、
    前記経路/圧縮率設定回路は、分割して送信される映像信号がある場合、前記共通の圧縮率を、映像信号を分割しないときに想定される圧縮率よりも低い圧縮率に設定する、
    映像信号処理装置。
  2. 前記経路/圧縮率設定回路は、
    入力した映像信号の中で最もデータ量の大きい映像信号の一部を一の通信経路に振り分け、
    前記最もデータ量の大きい映像信号において前記一部を除く残りの部分を、さらに一つまたは複数の部分に分割して、一つまたは複数の他の通信経路に振り分ける、
    請求項1記載の映像信号処理装置。
  3. 前記経路/圧縮率設定回路は、前記一の通信経路と前記他の通信経路のそれぞれにおいて送信されるデータ量が略等しくなるように、前記最もデータ量の大きい映像信号を分割する、請求項2記載の映像信号処理装置。
  4. 請求項1ないしのいずれかに記載の映像信号処理装置と、
    ネットワークを介して前記映像信号処理装置から映像信号を受信し、受信した映像信号に基づき合成映像を生成し、合成映像を示す映像信号をディスプレイ装置に送信する受信装置と、を備え、
    前記受信装置は、
    前記送信回路から映像信号を受信する受信回路と、
    受信した各映像信号を伸長する伸長回路と、
    前記伸長された各映像信号が示す画像を合成する映像合成回路と、を備え、
    前記映像合成回路は、分割して送信された映像信号がある場合、当該映像信号を分割される前の状態に戻し、戻した後の映像信号に基づき映像合成を行う、
    映像信号伝送システム。
  5. 前記送信回路は、圧縮された映像信号に加えて、圧縮された映像信号を伸長するための伸長条件を示す情報と、送信経路の振り分けを示す振り分け情報と、映像信号の合成条件を示す情報とを、前記受信回路に送信し、
    前記映像合成回路は、分割して送信された映像信号がある場合に前記振り分け条件に基づいて当該映像信号を分割される前の状態に戻し、前記合成条件に基づき映像合成を行う、
    請求項記載の映像信号伝送システム。
  6. 合成映像における各映像信号が示す映像の位置及び重なりを指定する制御信号を前記映像信号処理装置に供給する制御装置をさらに備えた請求項記載の映像信号伝送システム。
  7. 前記受信装置は、前記経路/圧縮率設定回路が設定する経路と圧縮率を示す情報を格納する記憶装置を備える、請求項記載の映像信号伝送システム。
  8. 前記映像信号は、動画データを含む映像信号及び/又は静止画データを含む映像信号である、請求項ないしのいずれかに記載の映像信号伝送システム。
JP2017134843A 2017-07-10 2017-07-10 映像信号処理装置及び映像信号伝送システム Active JP6986678B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017134843A JP6986678B2 (ja) 2017-07-10 2017-07-10 映像信号処理装置及び映像信号伝送システム
US16/024,929 US10872440B2 (en) 2017-07-10 2018-07-02 Image signal processing device, and image signal transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017134843A JP6986678B2 (ja) 2017-07-10 2017-07-10 映像信号処理装置及び映像信号伝送システム

Publications (2)

Publication Number Publication Date
JP2019016981A JP2019016981A (ja) 2019-01-31
JP6986678B2 true JP6986678B2 (ja) 2021-12-22

Family

ID=64903316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017134843A Active JP6986678B2 (ja) 2017-07-10 2017-07-10 映像信号処理装置及び映像信号伝送システム

Country Status (2)

Country Link
US (1) US10872440B2 (ja)
JP (1) JP6986678B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI763326B (zh) * 2020-09-16 2022-05-01 瑞昱半導體股份有限公司 影像傳輸系統

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS628658A (ja) 1985-07-04 1987-01-16 Nec Corp 領域指定デ−タ圧縮伸張方法とその装置
US4821119A (en) * 1988-05-04 1989-04-11 Bell Communications Research, Inc. Method and apparatus for low bit-rate interframe video coding
US5926285A (en) * 1991-05-14 1999-07-20 Canon Kabushiki Kaisha Image reproduction system for reproducing a still image from a video
US5903261A (en) * 1996-06-20 1999-05-11 Data Translation, Inc. Computer based video system
JP2002369143A (ja) 2001-06-07 2002-12-20 Olympus Optical Co Ltd 画像記録装置
US7634599B2 (en) * 2001-06-29 2009-12-15 Hewlett-Packard Development Company, Lp. Method for improving inline compression bandwidth for high speed buses
JPWO2006072985A1 (ja) 2005-01-06 2008-06-12 三菱電機株式会社 映像表示装置
GB2447494A (en) * 2007-03-15 2008-09-17 Linear Algebra Technologies Lt A method and circuit for compressing data using a bitmap to identify the location of data values
US8335385B2 (en) * 2008-01-21 2012-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Pixel block processing
JP5060372B2 (ja) * 2008-04-10 2012-10-31 ルネサスエレクトロニクス株式会社 データ処理装置
JP5393331B2 (ja) 2009-08-06 2014-01-22 キヤノン株式会社 撮像装置
JP5524584B2 (ja) * 2009-11-20 2014-06-18 キヤノン株式会社 画像処理装置及びその制御方法
US20120182388A1 (en) * 2011-01-18 2012-07-19 Samsung Electronics Co., Ltd. Apparatus and method for processing depth image
US9608725B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
JP6113525B2 (ja) 2013-02-28 2017-04-12 株式会社東芝 情報分割送信装置、情報分割送信方法および情報分割送信処理プログラム
JP2015201057A (ja) * 2014-04-09 2015-11-12 富士通株式会社 制御装置、再圧縮制御方法、及びプログラム

Also Published As

Publication number Publication date
US10872440B2 (en) 2020-12-22
US20190012810A1 (en) 2019-01-10
JP2019016981A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
US9384524B2 (en) Image processing apparatus and image display system
US20060012540A1 (en) Method and apparatus for image processing
JP2007025073A (ja) データ伝送方法、データ送信装置及びデータ受信装置、並びにプログラム
JP2006211006A (ja) 画像処理装置
TWI411309B (zh) 圖像處理裝置與圖像處理方法
JP4205634B2 (ja) 画像送信装置で使用される方法、およびプログラム
GB2556743A (en) Management of memory for storing display data
JP5903597B2 (ja) 画像圧縮装置、画像伸長装置および画像処理装置
JP6986678B2 (ja) 映像信号処理装置及び映像信号伝送システム
JP4974619B2 (ja) 画像データ処理装置、画像データ処理方法、プログラム及び記録媒体
US20070146541A1 (en) Video image processing apparatus, video image display apparatus, and video image processing method
WO2018008076A1 (ja) リアルタイム編集システム
JP2015080149A (ja) 映像記録装置及び映像記録方法
JP2007206255A (ja) 表示制御装置及び負荷分散方法
WO2016009507A1 (ja) 映像送受信装置及び映像表示装置
KR20090076922A (ko) 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치
JP2008257685A (ja) 画像処理装置、画像処理方法及び電子機器
JP2007520115A6 (ja) 装置、方法、システム、機械読み取り可能な媒体
JP5036666B2 (ja) 画像送信装置で使用される方法
JP2001022553A (ja) デジタル画像入出力を備えるフレームバッファ装置および画像表示装置
JPWO2020022101A1 (ja) 画像処理装置および画像処理方法
JP6534243B2 (ja) 映像処理装置
JP2016058832A (ja) 画像処理装置、その制御方法、及びプログラム
JP2020034869A (ja) 映像処理装置および映像処理システム
JP2010245768A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R151 Written notification of patent or utility model registration

Ref document number: 6986678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151