JP7350744B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP7350744B2
JP7350744B2 JP2020532297A JP2020532297A JP7350744B2 JP 7350744 B2 JP7350744 B2 JP 7350744B2 JP 2020532297 A JP2020532297 A JP 2020532297A JP 2020532297 A JP2020532297 A JP 2020532297A JP 7350744 B2 JP7350744 B2 JP 7350744B2
Authority
JP
Japan
Prior art keywords
video data
lines
image processing
data
codec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020532297A
Other languages
English (en)
Other versions
JPWO2020022101A1 (ja
Inventor
稔 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020022101A1 publication Critical patent/JPWO2020022101A1/ja
Application granted granted Critical
Publication of JP7350744B2 publication Critical patent/JP7350744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Description

本開示は、画像処理装置に関し、特に、コストを抑えたコーデックシステムを実現することができるようにする画像処理装置に関する。
現在、8K4K(7680×4320画素)の超高精細画像を伝送するために、HEVC(High Efficiency Video Coding)方式のビデオコーデック(単にコーデックともいう)を採用したスーパーハイビジョンのデジタル放送の実用化が進められている。
その中で、8K4K画像を60pまたは120pでHEVC方式のコーデック処理を行う1チップLSI(Large Scale Integration)の開発が検討されているが、現時点では、処理負荷や実装上の困難さから現実的ではない。
そこで、4K2K(3840×2160画素)画像またはこれと同じ処理量となる8K1K(7680×1080画素)画像を60pまたは120pでコーデック処理可能なLSIを、例えば4並列で用いて、8K4K画像のコーデックシステムを実現することが検討されている。
高解像度の画像を表示するための構成としては、例えば特許文献1に、カスケード接続された複数の表示制御機器が映像を分割して表示制御を行うディスプレイシステムが開示されている。このディスプレイシステムにおいては、下流の表示制御機器が、上流の表示制御機器からの映像に含まれる制御情報に基づいて、自身の表示領域の映像の表示制御を行う。
特開2017-142339号公報
8K1K画像をコーデック処理可能なLSIを4並列に用いたり、コーデック装置を4台並列に用いるなどして、8K4K画像のコーデックシステムを実現する場合、各LSIに入力されるビデオデータのライン数は、標準規格に準拠した1080ラインとなる。
一方、各LSIが行うコーデック処理のライン数は、例えば1088ラインや1056ラインなど、16または64の整数倍である必要がある。標準規格に準拠したライン数のビデオデータをコーデック処理する場合、接続系統数が多くなるため、装置規模や消費電力が大きくなり、コストが高くなってしまう。
本開示は、このような状況に鑑みてなされたものであり、コストを抑えたコーデックシステムを実現することができるようにするものである。
本開示の第1の側面の画像処理装置は、8K4K画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、前記画像処理部それぞれには、前記標準規格ライン数の前記ビデオデータを入力するための4本または8本の接続線が接続され、1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有し、隣接する前記画像処理部同士が有する前記データ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる画像処理装置である。
本開示の第1の側面においては、画像処理部それぞれに、標準規格ライン数のビデオデータを入力するための4本または8本の接続線が接続され、標準規格ライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータが生成され、隣接する前記画像処理部同士が有するデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる
本開示の第2の側面の画像処理装置は、8K4K画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、前記画像処理部それぞれには、前記標準規格ライン数の前記ビデオデータを出力するための4本または8本の接続線が接続され、1の前記画像処理部は、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成するデータ生成部を有し、隣接する前記画像処理部同士が有する前記データ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる画像処理装置である。
本開示の第2の側面においては、画像処理部それぞれに、標準規格ライン数のビデオデータを出力するための4本または8本の接続線が接続され、コーデック処理が可能なライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、標準規格ライン数のビデオデータが生成され、隣接する前記画像処理部同士が有するデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる
本開示の第3の側面の画像処理装置は、8K4K画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理するの画像処理部を備え、前記画像処理部それぞれの入力側には、前記標準規格ライン数の前記ビデオデータを入力するための16本の接続線が接続され、前記画像処理部それぞれの出力側には、前記標準規格ライン数の前記ビデオデータを出力するための16本の前記接続線が接続され、1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成する第1のデータ生成部と、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する第2のデータ生成部とを有し、前記画像処理部それぞれが有する前記第1のデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられ、前記画像処理部それぞれが有する前記第2のデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる画像処理装置である。
本開示の第3の側面においては、画像処理部それぞれの入力側には、標準規格ライン数のビデオデータを入力するための16本の接続線が接続され、前記画像処理部それぞれの出力側には、前記標準規格ライン数の前記ビデオデータを出力するための16本の前記接続線が接続され、標準規格ライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータが生成され、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータが生成され、前記画像処理部それぞれが有する前記第1のデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられ、前記画像処理部それぞれが有する前記第2のデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる
本開示によれば、コストを抑えたコーデックシステムを実現することが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ビデオレコーダと画像処理部との接続について説明する図である。 ビデオデータの入力に必要な接続線について説明する図である。 ビデオデータの入力について説明する図である。 ビデオデータの入力について説明する図である。 8K4K画像を処理する画像処理装置の構成例を示すブロック図である。 8K4K画像を処理する画像処理装置の構成例を示すブロック図である。 本開示の技術を適用したエンコード装置の構成例を示すブロック図である。 ビデオデータ生成処理について説明するフローチャートである。 本開示の技術を適用したデコード装置の構成例を示すブロック図である。 ビデオデータ生成処理について説明するフローチャートである。 ビデオデータの流れについて説明する図である。 エンコード装置におけるデータの流れの詳細について説明する図である。 伝送されるデータの量について例示する図である。 デコード装置におけるデータの流れの詳細について説明する図である。 エンコード装置の他の構成例を示すブロック図である。 エンコード装置の他の構成例を示すブロック図である。 デコード装置の他の構成例を示すブロック図である。 データの流れについて説明する図である。 60p/30p変換について説明する図である。 エンコード装置の他の構成例を示すブロック図である。 コーデック装置の第1の構成例を示すブロック図である。 コーデック装置の第2の構成例を示すブロック図である。 ビデオデータの流れについて説明する図である。 ビデオデータの流れについて説明する図である。
以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.従来技術とその課題
2.第1の実施の形態(4並列処理の構成)
3.第2の実施の形態(2並列処理の構成)
4.第3の実施の形態(エンコード装置とデコード装置を組み合わせた構成)
5.変形例
<1.従来技術とその課題>
現在、8K解像度(8K4K(7680×4320画素))の超高精細画像を伝送するために、HEVC方式のコーデックを採用したスーパーハイビジョンのデジタル放送の実用化が進められている。
その中で、8K4K画像を60pまたは120pでHEVC方式のコーデック処理を行う1チップLSIの開発が検討されているが、現時点では、処理負荷や実装上の困難さから現実的ではない。
そこで、4K2K(3840×2160画素)画像またはこれと同じ処理量となる8K1K(7680×1080画素)画像を60pまたは120pでコーデック処理可能なチップ(画像処理部)を、例えば4並列で用いて、8K4K画像のコーデックシステムを実現することが検討されている。
以下においては、このようなコーデックシステムにおけるチップの並列方式として考え得る例について説明する。なお、8K4K画像の画素数は、デジタル放送用途の7680×4320画素であるものとするが、デジタルシネマ用途の8192×4320画素であってもよい。また、4K2K画像の画素数は、デジタル放送やUHD BD(Ultra HD Blu-ray(登録商標))などの記録メディアでは3840×2160画素であるが、デジタルシネマ用途の4096×2160画素であってもよい。
(並列方式1)
並列方式1は、4K2K画像を60pまたは120pでコーデック処理可能なチップを、単純に4並列同期運転させ、それぞれのチップから生成されるビットストリームを有線または無線の回線などを用いて伝送する方式である。受信側では、同期した4つのビデオデータが復元され、同期再生される。この方式は、標準的なビデオデータ入出力IFを備える既存の機器を用いて、比較的簡単に実現可能である。
しかしながら、この方式では、ビットストリームが1系統ではなく、4系統分に分かれている。そのため、この方式は、限られた用途や伝送に関するデモンストレーションには採用できるものの、8K4Kの規格には準拠しない点から、並列方式1は採用できない。
(並列方式2)
並列方式2は、4K2K画像と同じ処理量となる8K1K(7680×1080画素)画像のコーデック処理を行うチップを4並列で用いる方式である。並列方式2では、1系統のビットストリームを生成することが念頭とされ、4つのチップそれぞれのビデオデータ入出力IFにおいては、標準規格のライン数である1080ラインのビデオデータが入出力される。
ところで、各チップが行うコーデック処理のライン数は、16の整数倍である必要があるという制約があるが、1080ラインはその制約を満たさない。1080ラインに近い1088ラインがその制約を満たすことから、例えば1080ラインのビデオデータの最下部に8ラインの黒画素(画像)を加えた1088ラインのビデオデータをエンコード処理し、ビットストリームを生成するものとする。4つのチップからのビットストリームは合成され、1つのビットストリームが生成される。再生側では、1つのビットストリームが4分割され、デコード処理された各画像の最下部8ラインを除いた、標準規格の1080ラインのビデオデータが出力される。
並列方式2においては、各チップに入出力されるのは、標準規格の1080ラインのビデオデータであるので、並列方式1と同様の入出力IFを適用することができる。しかしながら、最下部8ラインについての処理は、8K4Kの規格には準拠しない点から、並列方式2は採用できない。
(並列方式3)
並列方式3は、並列方式2と同様に、4並列の各チップのコーデック処理のライン数についての制約を満たしつつ、最下部8ラインについての処理を行わない方式である。
具体的には、4並列の各チップは、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータを処理する。
このとき、4並列の各チップ#00,#01,#02,#03のうち、チップ#01,#02,#03が処理する上から3つの領域のビデオデータを7680×1088画素とし、チップ#04が処理する最下部の領域のビデオデータを7680×1056画素とする。
また、2並列の各チップが、8K4Kのビデオデータを上から2つに分割した8K2Kサイズのビデオデータを処理するようにしてもよい。
このとき、2並列の各チップ#10,#11のうち、チップ#10が処理する上側の領域のビデオデータを7680×2176画素とし、チップ#11が処理する下側の領域のビデオデータを7680×2144画素とする。
並列方式3は、各チップと外部機器との入出力IFの規格として、標準規格に準拠しない1088,1054,2176,2144ラインを新たな規格として標準化し、新規格対応の機器を用いる手法である。
並列方式3においても、各チップが生成するビットストリームを合成した1つのビットストリームを生成することができる。再生時においては、各チップが、規定ライン数のデコード処理を行い、新規格対応の入出力IFから出力するようにする。
既存の入出力IFの規格にないライン数を追加する必要がある並列方式3は、技術的には適用可能であり、処理内容などにも問題のない方式である。しかしながら、新規格の導入・普及に要するコストや時間などの観点から、事実上実現困難であり、並列方式3は採用できない。
(並列方式4)
並列方式4は、並列方式3と同様、標準規格に準拠しないライン数のビデオデータを処理する方式である。並列方式4においても、並列方式3と同様、8K1K(7680×1088,7680×1054画素)ビデオデータや8K2K(7680×2176,7680×2144画素)ビデオデータを各チップに入力してエンコード処理を行い、ビットストリームを作成するものとする。
並列方式4においては、標準規格に準拠しないライン数のビデオデータを入力するための入力処理を行う必要がある。
一般的に、4K2K(3840×2160画素)ビデオレコーダは、フルHD(1920×1080画素)ビデオIFを4系統用いてビデオデータの入力を行う。画像を上下左右に4分割したビデオデータそれぞれが、4系統分のビデオデータとなる。ここでは、4K2Kビデオレコーダを、フルHD領域を水平に4つ並べた8K1K(7680×1080画素)対応機器として用いる。
図1は、上述したビデオレコーダと、そのビデオレコーダからのビデオデータを処理する画像処理部(チップ)との接続について説明する図である。図中左側のブロックが4台のビデオレコーダを示し、図中右側のブロックが4つの画像処理部#00,#01,#02,#03を示している。
図1に示されるように、画像処理部#00,#01,#02それぞれには、4台のビデオレコーダから2本の矢印が接続され、画像処理部#03には1本の矢印が接続されている。1本の矢印は、8K1K(7680×1080画素)相当のビデオデータを転送するための接続線を表している。実際の接続線としては、3G-SDI(Serial Digital Interface)やHDMI(登録商標)(High-Definition Multimedia Interface)などのケーブルを複数用いることが想定される。業務用機器の場合、3G-SDIケーブルの利用が一般的とされる。従来、業務用機器の場合、3G-SDIケーブルの利用が一般的とされてきたが、HDMIケーブルが利用されることもある。
例えば、フレームレートが50pまたは60p(59.94p)の場合、図2に示されるように、画像処理部#00,#01,#02それぞれには、3G-SDIケーブルまたはHDMI1.4aケーブルの8本の接続線が必要となる。また、図示はしないが、画像処理部#03には4本の接続線が必要となる。以下では、接続線として3G-SDIケーブルが用いられるものとする。
画像処理部#00,#01,#02それぞれに、64の整数倍であって16の整数倍の1088ラインのビデオデータ(60p)を入力する場合、標準規格で定義されている8K1K(7680×1080画素)分のビデオデータを、3G-SDIケーブルを4本用いて、フルHD(1920×1080画素)4系統分のビデオデータとして入力する。このとき、下部8ライン分のビデオデータが入力されないので、さらに4本の3G-SDIケーブルを用いて、8ライン分のビデオデータを、フルHD4系統分のビデオデータとして入力する。
図3および図4を参照して、上述したビデオデータの入力について説明する。
図3に示されるように、標準規格の1080ラインのビデオデータを入力する場合、4本の3G-SDIケーブルを用いればよい。したがって、8K4Kのビデオデータを伝送するには、16本の3G-SDIケーブルが用いられる。
一方、標準規格に準拠しない1088ラインのビデオデータを入力する場合、1080ラインのビデオデータに加えて、8ライン分のビデオデータを入力する必要がある。この場合、図4に示されるように、2160ライン分のビデオデータを入力可能な8本の3G-SDIケーブルを用いる。入力されたビデオデータのうち必要な1088ライン分のビデオデータが処理される。
また、標準規格に準拠しない1056ラインのビデオデータを入力する場合には、4本の3G-SDIケーブルを用いればよい。入力されたビデオデータのうち必要な1056ライン分のビデオデータが処理される。
以上のことから、上述した標準規格に準拠しないライン数のビデオデータを入力するためには、28本の3G-SDIケーブルが用いられることになる。
図5は、上述した8K4K画像を処理する画像処理装置の構成例を示すブロック図を示している。図5に示される4系統のブロック群は、上から画像処理部#00,#01,#02,#03(図1)に対応する。
図5において、ビデオIO部に入力される破線矢印は、標準規格に準拠した外部機器との接続線であり、例えば3G-SDIケーブルなどとされる。
画像処理部#00,#01,#02においては、ビデオIO部は、入力された2160ライン分のビデオデータをシリアル/パラレル変換し、後段のデータ処理部に出力する。データ処理部は、2160ライン分のビデオデータのライン数を削減することで、1088ライン分のビデオデータを生成し、後段のコーデック処理部に出力する。
一方、画像処理部#03においては、ビデオIO部は、入力された1080ライン分のビデオデータをシリアル/パラレル変換し、後段のデータ処理部に出力する。データ処理部は、1080ライン分のビデオデータのライン数を削減することで、1056ライン分のビデオデータを生成し、後段のコーデック処理部に出力する。
各画像処理部のコーデック処理部は、データ処理部からのビデオデータをコーデック処理(エンコード処理)し、得られたビデオビットストリームデータをストリーム処理部に出力する。ストリーム処理部は、4系統のビデオビットストリームデータを1系統のビデオビットストリームデータに変換して出力する。
以上においては、60pの8K4K画像を入力する例について説明したが、120pの8K4K画像を入力する場合、60p画像を2並列で入力する構成を適用することができる。
図6は、120pの8K4K画像を処理する画像処理装置の構成例を示すブロック図を示している。
詳細な説明は省略するが、図6の構成においては、図5の構成と比較して2倍の数の接続線が必要となり、装置規模も2倍となる。具体的には、56本の3G-SDIケーブルが用いられることになる。
上述した構成によれば、標準規格に準拠しないライン数のビデオデータの入力に対応することができるが、接続線の数が多くなり、装置規模、部品コスト、消費電力が大きくなってしまう。デコード処理を行う出力系統側についても同様である。
このように、並列方式4は、原理試作や技術検討の段階であれば採用可能であるが、装置の製品化の段階では採用できない。
また、上述した構成においては、ビデオレコーダなどの外部機器からの入力に、SQD(Square Division)方式が用いられる一方、コーデック処理部がラスタ方式でコーデック処理を行う場合がある。この場合、各画像処理部のビデオIO部やデータ処理部において、データの処理方式を変換するSQD/ラスタ変換機能を設ける必要がある。
さらに、上述した構成において、4台のビデオレコーダは、互いに同期運転を行うことでビデオデータを入力する。ビデオレコーダにより得られた画像の主な用途は画面表示であることから、ビデオレコーダ(装置)間の同期を完全に維持する能力には限界がある。装置間の同期が一時的に乱れることにより、複数の画像処理部が並列動作を行う上で、フレーム同期外れが発生するおそれがある。
以下においては、画像処理部同士の間で、所定ライン数のビデオデータを入出力する構成を設けることで、装置全体の接続線の数を削減し、上述した並列方式4の課題を改善する構成について説明する。
<2.第1の実施の形態>
まず、8K4K画像を分割した8K1Kのビデオデータを並列にコーデック処理する4並列の画像処理部を備える構成について説明する。
(エンコード装置の構成)
図7は、本開示の技術を適用したエンコード装置の構成例を示すブロック図である。
エンコード装置10は、図示せぬビデオレコーダなどの外部機器から入力される8K4K画像のエンコード処理を行い、ビデオビットストリームデータを出力する。
エンコード装置10は、画像処理部11-1乃至11-4を備えている。画像処理部11-1乃至11-4はそれぞれ、例えば、独立した装置や基板により構成される。
画像処理部11-1乃至11-4はそれぞれ、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータ、すなわち標準規格の1080ラインのビデオデータを入力し処理する。画像処理部11-1乃至11-4それぞれには、4本の3G-SDIケーブルが接続線として接続され、8K1Kサイズのビデオデータが入力される。すなわち、画像処理部11-1乃至11-4は、標準規格ライン数に対応した機器間入力IFを備えている。
画像処理部11-1は、データ生成部20-1、コーデック処理部30-1、およびストリーム処理部40を有しており、画像処理部11-2は、データ生成部20-2とコーデック処理部30-2を有している。画像処理部11-3は、データ生成部20-3とコーデック処理部30-3を有しており、画像処理部11-4は、データ生成部20-4とコーデック処理部30-4を有している。
データ生成部20-1乃至20-4はそれぞれ、ビデオIO部21-1乃至21-4と、データ取得部22-1乃至22-4を有している。データ生成部20-1乃至20-4はそれぞれ、例えばFPGA(Field-Programmable Gate Array)などの1つのチップで構成されてもよい。
以下においては、画像処理部11-1乃至11-4を互いに区別しない場合には、単に画像処理部11という。また、データ生成部20-1乃至20-4を互いに区別しない場合には、単にデータ生成部20といい、コーデック処理部30-1乃至30-4を互いに区別しない場合には、単にコーデック処理部30という。
データ生成部20は、入力された8K1K(1080ライン)のビデオデータのうちの所定ライン数のビデオデータの、他の画像処理部11への出力、さらに他の画像処理部11からの入力、並びに、その出力と入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータを生成する。
具体的には、データ生成部20-1は、入力された8K1K(1080ライン)のビデオデータと、画像処理部11-2(データ生成部20-2)から入力される8ラインのビデオデータとに基づいて、7680×1088画素(1088ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
データ生成部20-1においては、ビデオIO部21-1が、入力された1080ラインのビデオデータをシリアル/パラレル変換し、データ取得部22-1に出力する。データ取得部22-1は、ビデオIO部21-1からの1080ラインのビデオデータと、データ生成部20-2(ビデオIO部21-2)からの8ラインのビデオデータとを合成することで、1088ラインのビデオデータを生成する。
データ生成部20-1(データ取得部22-1)とデータ生成部20-2(ビデオIO部21-2)との間には、所定ライン数のビデオデータを伝送する伝送路51が設けられている。伝送路51は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部20-2は、入力された8K1K(1080ライン)のビデオデータから画像処理部11-1に出力した8ラインのビデオデータを除いた1072ラインのビデオデータと、画像処理部11-3(データ生成部20-3)から入力される16ラインのビデオデータとに基づいて、7680×1088画素(1088ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
データ生成部20-2においては、ビデオIO部21-2が、入力された1080ラインのビデオデータを一度シリアル/パラレル変換し、このうちの画像上部8ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部11-1(データ取得部22-1)に出力する。また、ビデオIO部21-2は、上記1080ラインの残りの画像下部1072ラインのビデオデータを分離後、データ取得部22-2に出力する。データ取得部22-2は、ビデオIO部21-2からの1072ラインのビデオデータと、データ生成部20-3(ビデオIO部21-3)から受け取る16ラインのビデオデータとを合成することで、1088ラインのビデオデータを生成する。
データ生成部20-2(データ取得部22-2)とデータ生成部20-3(ビデオIO部21-3)との間には、所定ライン数のビデオデータを伝送する伝送路52が設けられている。伝送路52は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部20-3は、入力された8K1K(1080ライン)のビデオデータから画像処理部11-2に出力した16ラインのビデオデータを除いた1064ラインのビデオデータと、画像処理部11-4(データ生成部20-4)から入力される24ラインのビデオデータとに基づいて、7680×1088画素(1088ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
データ生成部20-3においては、ビデオIO部21-3が、入力された1080ラインのビデオデータを一度シリアル/パラレル変換し、このうちの画像上部16ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部11-2(データ取得部22-2)に出力する。また、ビデオIO部21-3は、上記1080ラインの残りの画像下部1064ラインのビデオデータを分離後、データ取得部22-3に出力する。データ取得部22-3は、ビデオIO部21-3からの1064ラインのビデオデータと、データ生成部20-4(ビデオIO部21-4)から受け取る24ラインのビデオデータとを合成することで、1088ラインのビデオデータを生成する。
データ生成部20-3(データ取得部22-3)とデータ生成部20-4(ビデオIO部21-4)との間には、所定ライン数のビデオデータを伝送する伝送路53が設けられている。伝送路53は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部20-4は、入力された8K1K(1080ライン)のビデオデータから画像処理部11-3に出力した24ラインのビデオデータを除いた7680×1056画素(1056ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
データ生成部20-4においては、ビデオIO部21-4が、入力された1080ラインのビデオデータを一度シリアル/パラレル変換し、このうちの画像上部24ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部11-3(データ取得部22-3)に出力する。また、ビデオIO部21-4は、上記1080ラインの残りの画像下部1056ラインのビデオデータを分離後、データ取得部22-4に出力する。データ取得部22-4は、データ生成部20-4からの1056ラインのビデオデータを取得する。
各コーデック処理部30は、データ生成部20により生成された、コーデック処理が可能なライン数(1088ラインまたは1056ライン)のビデオデータをコーデック処理(エンコード処理)し、得られたビデオビットストリームデータを、画像処理部11-1のストリーム処理部40に出力する。各コーデック処理部30はそれぞれ、1つのLSIにより構成される。
画像処理部11-1のストリーム処理部40は、各画像処理部11の4系統のビデオビットストリームデータを1系統のビデオビットストリームデータに変換して出力する。ストリーム処理部40は、1つのLSIにより構成される。画像処理部11-1においては、コーデック処理部30-1とストリーム処理部40とが、1つのLSIにより構成されてもよい。
以上においては、伝送路51,52,53は、3G-SDIケーブルなどの1系統の接続線で構成されるものとしたが、HDMIケーブルなどのフルHD相当以下のビデオデータ量を伝送可能な接続IFや独自IFを利用した伝送路で構成されてもよい。
(エンコード装置の動作)
図8は、エンコード装置10におけるビデオデータ生成処理について説明するフローチャートである。図8の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。この処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、データ生成部20を構成するFPGAにインストールされてもよい。
ステップS11において、各画像処理部11のデータ生成部20は、外部機器から入力される8K1K(1080ライン)のビデオデータを受け取る。
ステップS12において、各データ生成部20は、8K1Kのビデオデータのうちの所定ライン数のビデオデータを、他の画像処理部11から受け取るか、さらに他の画像処理部11へ送るか、または、その両方を行う。
ステップS13において、各データ生成部20は、他の画像処理部11から受け取るか、さらに他の画像処理部11へ送るか、または、その両方を行うことで得られたビデオデータに基づいて、エンコード処理可能な1088ラインまたは1056ラインのビデオデータを生成する。
以上の構成および処理によれば、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、標準規格に準拠しないライン数のビデオデータを入力しなくとも、コーデック処理のライン数の制約を満たすことができる。その結果、図5の構成における28本から19本へと、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることができ、コストを抑えたコーデックシステムを実現することが可能となる。
特に、画像処理部同士の間で伝送されるビデオデータの量は、最大でも24ライン分であるので、フルHD相当のビデオデータを伝送可能な伝送路が1本、画像処理部同士の間にあればよい。この場合、高々24ラインの4倍となる96ライン分が伝送に消費されるにすぎない。
(デコード装置の構成)
図9は、本開示の技術を適用したデコード装置の構成例を示すブロック図である。
デコード装置60は、上述したエンコード装置10などにより出力されたビデオビットストリームデータを、各画像処理部用のビデオビットストリームデータに分割し、各画像処理部に供給することで、デコード処理を行う。さらに、デコード装置60は、各画像処理部において復元されたビデオデータを再構築し、8K4K画像を出力する。
デコード装置60は、画像処理部61-1乃至61-4を備えている。画像処理部61-1乃至61-4はそれぞれ、例えば、独立した装置や基板により構成される。
画像処理部61-1乃至61-4はそれぞれ、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータ、すなわち標準規格の1080ラインのビデオデータを出力する。画像処理部61-1乃至61-4それぞれには、4本の3G-SDIケーブルなどが接続線として接続され、8K1Kサイズのビデオデータが出力される。すなわち、画像処理部61-1乃至61-4は、標準規格ライン数に対応した機器間出力IFを備えている。
画像処理部61-1は、ビデオビットストリームデータを処理するストリーム処理部70、コーデック処理部80-1、およびデータ生成部90-1を有しており、画像処理部61-2は、コーデック処理部80-2とデータ生成部90-2を有している。画像処理部61-3は、コーデック処理部80-3とデータ生成部90-3を有しており、画像処理部61-4は、コーデック処理部80-4とデータ生成部90-4を有している。
データ生成部90-1乃至90-4はそれぞれ、データ取得部91-1乃至91-4と、ビデオIO部92-1乃至92-4を有している。データ生成部90-1乃至90-4はそれぞれ、例えばFPGAなどの1つのチップで構成されてもよい。
以下においては、画像処理部61-1乃至61-4を互いに区別しない場合には、単に画像処理部61という。また、コーデック処理部80-1乃至80-4を互いに区別しない場合には、単にコーデック処理部80といい、データ生成部90-1乃至90-4を互いに区別しない場合には、単にデータ生成部90という。
画像処理部61-1のストリーム処理部70は、1系統のビデオビットストリームデータを各画像処理部61の4系統のビデオビットストリームデータに分割して出力する。ストリーム処理部70は、1つのLSIにより構成されてもよい。
各コーデック処理部80は、ストリーム処理部70により分割されたビデオビットストリームデータをコーデック処理(デコード処理)し、コーデック処理が可能なライン数(1088ラインまたは1056ライン)のビデオデータをデータ生成部90に出力する。このビデオデータは、デコード装置60内部の独自フォーマットデータとなる。各コーデック処理部80はそれぞれ、1つのLSIにより構成される。画像処理部61-1においては、ストリーム処理部70とコーデック処理部80-1とが、1つのLSIにより構成されてもよい。
データ生成部90は、コーデック処理部80からのコーデック処理が可能なライン数のビデオデータの、他の画像処理部61への出力、さらに他の画像処理部61からの入力、並びに、その出力と入力の両方のいずれかによって、標準規格ライン数(1080ライン)のビデオデータを生成する。
具体的には、データ生成部90-1は、コーデック処理(デコード処理)された1088ラインのビデオデータから、画像処理部61-2(ビデオIO部92-2)に出力する8ラインのビデオデータを除いた1080ラインのビデオデータに基づいて、8K1Kのビデオデータを生成する。
データ生成部90-1においては、データ取得部91-1が、コーデック処理部80-1からの1088ラインのビデオデータのうちの1080ラインのビデオデータをビデオIO部92-1に出力するとともに、画像上部となる残りの8ラインのビデオデータをパラレル/シリアル変換し、データ生成部90-2(ビデオIO部92-2)に出力する。ビデオIO部92-1は、データ取得部91-1からの1080ラインのビデオデータをパラレル/シリアル変換し、8K1Kのビデオデータを出力する。
データ生成部90-1(データ取得部91-1)とデータ生成部90-2(ビデオIO部92-2)との間には、所定ライン数のビデオデータを伝送する伝送路101が設けられている。伝送路101は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部90-2は、画像処理部61-1(データ生成部90-1)から入力された8ラインのビデオデータと、コーデック処理(デコード処理)された1088ラインのビデオデータから画像処理部61-3(ビデオIO部92-3)に出力する16ラインのビデオデータを除いた1072ラインのビデオデータとに基づいて、8K1Kのビデオデータを生成する。
データ生成部90-2においては、データ取得部91-2が、コーデック処理部80-2から1088ラインのビデオデータを受け取る。データ取得部91-2は、このうちの画像下部となる1072ラインのビデオデータをビデオIO部92-2に出力するとともに、画像上部となる残りの16ラインのビデオデータをパラレル/シリアル変換し、データ生成部90-3(ビデオIO部92-3)に出力する。ビデオIO部92-2は、データ取得部91-2からの画像下部となる1072ラインのビデオデータと、画像処理部61-1(データ生成部90-1)からの画像上部となる8ラインのビデオデータとを合成することで、標準規格ライン数(1080ライン)のビデオデータを復元し、さらにパラレル/シリアル変換することで、8K1Kのビデオデータを出力する。
データ生成部90-2(データ取得部91-2)とデータ生成部90-3(ビデオIO部92-3)との間には、所定ライン数のビデオデータを伝送する伝送路102が設けられている。伝送路102は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部90-3は、画像処理部61-2(データ生成部90-1)から入力された16ラインのビデオデータと、コーデック処理(デコード処理)された1088ラインのビデオデータから画像処理部61-4(ビデオIO部92-4)に出力する24ラインのビデオデータを除いた1064ラインのビデオデータとに基づいて、8K1Kのビデオデータを生成する。
データ生成部90-3においては、データ取得部91-3が、コーデック処理部80-3から1088ラインのビデオデータを受け取る。データ取得部91-3は、このうちの画像下部となる1064ラインのビデオデータをビデオIO部92-3に出力するとともに、画像上部となる残りの24ラインのビデオデータをパラレル/シリアル変換し、データ生成部90-4(ビデオIO部92-4)に出力する。ビデオIO部92-3は、データ取得部91-3からの画像下部となる1064ラインのビデオデータと、画像処理部61-2(データ生成部90-2)からの画像上部となる16ラインのビデオデータとを合成することで、標準規格ライン数(1080ライン)のビデオデータを復元し、さらにパラレル/シリアル変換することで、8K1Kのビデオデータを出力する。
データ生成部90-3(データ取得部91-3)とデータ生成部90-4(ビデオIO部92-4)との間には、所定ライン数のビデオデータを伝送する伝送路103が設けられている。伝送路104は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部90-4は、画像処理部61-3(データ生成部90-3)から入力された24ラインのビデオデータと、コーデック処理(デコード処理)された1056ラインのビデオデータに基づいて、8K1Kのビデオデータを生成する。
データ生成部90-4においては、データ取得部91-4が、コーデック処理部80-4から1056ラインのビデオデータを受け取り、画像下部となるビデオデータとして、ビデオIO部92-4に出力する。ビデオIO部92-4は、データ取得部91-4からの画像下部となる1056ラインのビデオデータと、画像処理部61-3(データ生成部90-3)からの画像上部となる24ラインのビデオデータとを合成することで、標準規格ライン数(1080ライン)のビデオデータを復元し、さらにパラレル/シリアル変換することで、8K1Kサイズのビデオデータを出力する。
以上においては、伝送路101,102,103は、3G-SDIケーブルで構成されるものとしたが、HDMIケーブルなどのフルHD相当のビデオデータを伝送可能な伝送路で構成されてもよい。
(デコード装置の動作)
図10は、デコード装置60におけるビデオデータ生成処理について説明するフローチャートである。図10の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。この処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、データ生成部90を構成するFPGAにインストールされてもよい。
ステップS21において、各画像処理部61のデータ生成部90は、コーデック処理部80によりデコード処理された1088ラインまたは1056ラインのビデオデータを受け取る。
ステップS22において、各データ生成部90は、デコード処理されたビデオデータのうちの所定ライン数のビデオデータを、他の画像処理部61から受け取るか、さらに他の画像処理部61へ送るか、または、その両方を行う。
ステップS23において、各データ生成部90は、他の画像処理部61から受け取るか、さらに他の画像処理部61へ送るか、または、その両方を行うことで得られたビデオデータに基づいて、標準規格に準拠したライン数の8K1Kのビデオデータを生成する。
以上の構成および処理によれば、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、コーデック処理のライン数の制約を満たしつつ、標準規格に準拠したライン数のビデオデータを出力することができる。その結果、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることができ、コストを抑えたコーデックシステムを実現することが可能となる。
(ビデオデータの流れ)
図11は、上述したエンコード装置10とデコード装置60の間のビデオデータの流れについて説明する図である。
図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
Rec#0からの1080ラインのビデオデータは、エンコード装置10(画像処理部11-1)によって、Rec#1からの8ライン分のビデオデータと合成され、1088ラインのビデオデータを元にコーデック処理が行われ、ビデオビットストリームデータとして出力される。
Rec#1からの、上部8ライン分のビデオデータを除いた1072ラインのビデオデータは、エンコード装置10(画像処理部11-2)によって、Rec#2からの16ライン分のビデオデータと合成され、1088ラインのビデオデータを元にコーデック処理が行われ、ビデオビットストリームデータとして出力される。
Rec#2からの、上部16ライン分のビデオデータを除いた1064ラインのビデオデータは、エンコード装置10(画像処理部11-3)によって、Rec#3からの24ライン分のビデオデータと合成され、1088ラインのビデオデータを元にコーデック処理が行われ、ビデオビットストリームデータとして出力される。
Rec#3からの、上部24ライン分のビデオデータを除いた1056ラインのビデオデータは、エンコード装置10(画像処理部11-4)によって、コーデック処理が行われ、ビデオビットストリームデータとして出力される。
以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能なライン数のビデオデータが生成される。
一方、画像処理部11-1からの1088ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-1)によって、1080ラインのビデオデータと下部8ラインのビデオデータに分割される。そのうち1080ラインのビデオデータは、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
画像処理部11-2からの1088ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-2)によって、1072ラインのビデオデータと下部16ラインのビデオデータに分割される。そのうち1072ラインのビデオデータは、画像処理部61-1からの8ラインのビデオデータと合成され、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
画像処理部11-3からの1088ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-3)によって、1064ラインのビデオデータと下部24ラインのビデオデータに分割される。そのうち1064ラインのビデオデータは、画像処理部61-2からの16ラインのビデオデータと合成され、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
画像処理部11-4からの1056ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-4)によって、画像処理部61-3からの24ラインのビデオデータと合成され、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
以上のようにして、コーデック処理が可能なライン数のビデオビットストリームデータから、標準規格ライン数のビデオデータが再生成される。
(エンコード装置におけるデータの流れの詳細)
図12は、エンコード装置10におけるデータの流れの詳細について説明する図である。
図12において、最上段の“Write #n”,“Read #n”はそれぞれ、nフレーム目のビデオデータの、エンコード装置10内部のメモリに対する書き込み・読み出しのタイミングを示している。
また、図12において、Sys-0乃至Sys-3はそれぞれ、上述した画像処理部11-1乃至11-4を示している。
さらに、Sys-0乃至Sys-3それぞれにおける“Input 8K/1080”は、各画像処理部11によってメモリに書き込まれるビデオデータを示している。“Mem read”は、各画像処理部11によってメモリから読み出されるビデオデータを示しており、“Codec IN #x”(xは0乃至3)は、コーデック処理(エンコード処理)が行われるコーデック処理部30へと入力されるビデオデータを示している。
Sys-0乃至Sys-3それぞれにおいては、各フレームの書き込みのタイミングで、8K/1080ラインのビデオデータが順次書き込まれる。
一方で、各フレームのビデオデータの読み出しは、例えばSys-3において最初に行われてもよい。
具体的には、Read #0のタイミングで0フレーム目の読み出しが開始されると、Sys-3においては、読み出された8K/1080ラインのビデオデータから24ラインのビデオデータが分割される。分割された24ラインのビデオデータは、矢印c32で示されるように、フレーム番号0を示すデータとともに、Sys-2に伝送される。また、8K/1080ラインから24ラインを除いた8K/1056ラインのビデオデータは、後段のエンコード処理部30-4へ入力されて、エンコード処理が行われる。
次いで、Sys-2においては、Sys-3からデータが伝送されると、読み出された8K/1080ラインのビデオデータから16ラインのビデオデータが分割される。分割された16ラインのビデオデータは、矢印c21で示されるように、フレーム番号0を示すデータとともに、Sys-1に伝送される。また、8K/1080ラインから16ラインを除いた8K/1064ラインのビデオデータは、Sys-3からの24ラインのビデオデータと合成され、後段のエンコード処理部30-3へ入力されて、エンコード処理が行われる。
さらに、Sys-1においては、Sys-2からデータが伝送されると、読み出された8K/1080ラインのビデオデータから8ラインのビデオデータが分割される。分割された8ラインのビデオデータは、矢印c10で示されるように、フレーム番号0を示すデータとともに、Sys-0に伝送される。また、8K/1080ラインから8ラインを除いた8K/1072ラインのビデオデータは、Sys-2からの16ラインのビデオデータと合成され、後段のエンコード処理部30-2へ入力されて、エンコード処理が行われる。
そして、Sys-0においては、Sys-1からデータが伝送されると、読み出された8K/1080ラインのビデオデータが、Sys-1からの8ラインのビデオデータと合成され、後段のエンコード処理部30-1へ入力され、エンコード処理が行われる。
このようにして、0フレーム目のエンコード処理が行われる。1フレーム目以降についても同様にしてエンコード処理が行われる。
以上においては、各画像処理部11(Sys-0乃至Sys-3)の中で、伝送するデータが、24ラインのビデオデータとフレーム番号を示すデータで、最もデータ量の多いSys-3から読み出しが開始される。
図13は、Sys-3からSys-2に伝送されるデータの量について例示する図である。
上述したように、Sys-3とSys-2との間には、フルHD相当のビデオデータを伝送可能な伝送路が設けられる。
図13左側は、例えば29.97p,30p,59.94p、または60pなどのHDフォーマットで伝送されるデータの水平画素数を例示しており、図13右側は、ライン数(垂直走査線数)を例示している。水平画素数は、有効画素数1920画素に、ブランキング領域の280画素を加えた2200画素となり、ライン数は、有効ライン数1080ラインに、ブランキング領域の上側40ラインと下側5ラインを加えた1125ラインとなる。
上記フォーマットで8K/24ラインのビデオデータを伝送する場合、水平方向に4分割する必要があるので、24ラインの4倍となる96ライン分が消費される。また、フレーム番号を示すデータの伝送には、1ライン分が消費される。
すなわち、Sys-3からSys-2に伝送されるデータとしては、図13右側に示されるように、ブランキング領域45ライン分のデータに、97ライン分のデータを加えた142ライン分のデータが伝送されるに過ぎない。
したがって、各画像処理部11(Sys-0乃至Sys-3)の間には、フルHD相当のビデオデータを伝送可能な伝送路が1本あれば、ビデオデータの伝送は十分に可能となる。
また、各画像処理部11(Sys-0乃至Sys-3)のデータ生成部20においては、SQD方式で入力された各フレームの1080ラインのビデオデータを書き込んだ後、そのビデオデータを読み出す際、ラスタ方式のコーデック処理が可能なアドレスが生成される。これにより、SQD/ラスタ変換機能を設けるなど、構成を追加することなく、時間差のないコーデック処理を行うことができる。
さらに、上述したように、各画像処理部11(Sys-0乃至Sys-3)のデータ生成部20それぞれの間では、所定ライン数のビデオデータとともに、各フレームのフレーム番号が伝送される。これにより、ビデオレコーダなどの外部機器間の同期が一時的に乱れた場合であっても、各画像処理部11が並列動作を行う上で、フレーム同期外れが発生することを防ぐことができる。
(デコード装置におけるデータの流れの詳細)
図14は、デコード装置60におけるデータの流れの詳細について説明する図である。
図14において、最上段の“Write #n”,“Read #n”はそれぞれ、nフレーム目のビデオデータの、デコード装置60内部のメモリに対する書き込み・読み出しのタイミングを示している。
また、図14において、Sys-0乃至Sys-3はそれぞれ、上述した画像処理部61-1乃至61-4を示している。
さらに、Sys-0乃至Sys-3それぞれにおける“Codec OUT”は、コーデック処理(デコード処理)されたビデオデータを示している。“Mem read”は、各画像処理部61によってメモリから読み出されるビデオデータを示しており、“Output-x”(xは0乃至3)は、各画像処理部61から出力されるビデオデータを示している。
Sys-0乃至Sys-3それぞれにおいては、各フレームの書き込みのタイミングで、デコード処理されたビデオデータが順次書き込まれる。
一方で、各フレームのビデオデータの読み出しは、例えばSys-0から順次行われる。
具体的には、Read #0のタイミングで0フレーム目の読み出しが開始されると、Sys-0においては、デコード処理された1088ラインのビデオデータから8ラインのビデオデータが分割される。分割された8ラインのビデオデータは、矢印d01で示されるように、フレーム番号0を示すデータとともに、Sys-1に伝送される。また、1088ラインから8ラインを除いた1080ラインのビデオデータは、標準規格ライン数のビデオデータとして出力される。
次いで、Sys-1においては、Sys-0からデータが伝送されると、読み出された1088ラインのビデオデータから16ラインのビデオデータが分割される。分割された16ラインのビデオデータは、矢印d12で示されるように、フレーム番号0を示すデータとともに、Sys-2に伝送される。また、1088ラインから16ラインを除いた1072ラインのビデオデータは、Sys-0からの8ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
さらに、Sys-2においては、Sys-1からデータが伝送されると、読み出された1088ラインのビデオデータから24ラインのビデオデータが分割される。分割された24ラインのビデオデータは、矢印d23で示されるように、フレーム番号0を示すデータとともに、Sys-3に伝送される。また、1088ラインから24ラインを除いた1064ラインのビデオデータは、Sys-1からの16ラインのビデオデータと合成され、標準規格ライン数のビデオデータ(1080ライン)として出力される。
そして、Sys-3においては、Sys-2からデータが伝送されると、読み出された1056ラインのビデオデータが、Sys-2からの24ラインのビデオデータと合成され、標準規格ライン数のビデオデータ(1080ライン)として出力される。
このようにして、0フレーム目のデコード処理が行われる。1フレーム目以降についても同様にしてデコード処理が行われる。
図14においても、各画像処理部61(Sys-0乃至Sys-3)のデータ生成部90においては、ラスタ方式でコーデック処理されたビデオデータを書き込んだ後、そのビデオデータを読み出す際、1フレーム分の1080ラインのビデオデータをSQD方式で出力可能なアドレスが生成される。これにより、SQD/ラスタ変換機能を設けるなど、構成を追加することなく、時間差のないコーデック処理を行うことができる。さらに、各画像処理部61(Sys-0乃至Sys-3)のデータ生成部90それぞれの間では、所定ライン数のビデオデータとともに、各フレームのフレーム番号が伝送される。これにより、各画像処理部61が並列動作を行う上で、フレーム同期外れが発生することを防ぐことができる。
(120pの8K4K画像を処理する構成)
以上においては、60pの8K4K画像を処理する構成について説明したが、120pの8K4K画像を処理する場合、60p画像を2並列で処理する構成を適用することができる。
図15は、120pの8K4K画像を処理するエンコード装置の構成例を示すブロック図である。
エンコード装置10’は、画像処理部11’-1乃至11’-4を備えている。
図15のエンコード装置10’において、図7のエンコード装置10の各構成に対応するブロックは、同一の数字に「’」を付した符号で示されるものとし、同様の機能についての説明は省略する。
画像処理部11’-1乃至11’-4は、それぞれ、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータ、すなわち標準規格の1080ラインのビデオデータを処理する。ただし、図7のエンコード装置10と比較して、単位時間あたり2倍のビデオデータが入力されるため、画像処理部11’-1乃至11’-4それぞれには、8本の3G-SDIケーブルが接続線として接続され、8K1Kサイズのビデオデータが2並列で入力される。
各画像処理部11’が有するデータ生成部20’(ビデオIO部21’およびデータ取得部22’)は、図7のデータ生成部20(ビデオIO部21およびデータ取得部22)が2並列で動作する構成をなす。
各画像処理部11’が有するデータ生成部20’それぞれの間を接続する伝送路51’,52’,53’はそれぞれ、図7の伝送路51,52,53(例えば3G-SDIケーブル)を2並列で接続することで構成されてもよい。また、伝送路51’,52’,53’はそれぞれ、図7の伝送路51,52,53と同様、各1本の伝送路で構成され、時分割多重してデータ伝送されるようにしてもよい。
図15の構成においても、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、標準規格に準拠しないライン数のビデオデータを入力しなくとも、コーデック処理のライン数の制約を満たすことができる。その結果、図6の構成における56本から35本へと、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることが可能となる。
また、図15の構成において、画像処理部同士の間で伝送されるビデオデータの量は、最大でも24ライン分である。図15の構成では、HDフォーマットで24ラインのビデオデータを伝送する場合、図13の例で説明した96ライン分の2倍の192ライン分が消費される。また、フレーム番号を示すデータの伝送には、2ライン分が消費される。
この場合、ブランキング領域45ライン分のデータに、194ライン分のデータを加えた239ライン分のデータが伝送されるに過ぎない。
したがって、図15の構成においても、各画像処理部11’の間には、フルHD相当のビデオデータを伝送可能な伝送路が1系統分あれば、ビデオデータの伝送は十分に可能となる。
また、上述したように、各画像処理部11’のデータ生成部20’それぞれの間で、各フレームのフレーム番号が伝送されることで、各画像処理部11’が並列動作を行う上で、フレーム同期外れが発生することを防ぐことができる。
<3.第2の実施の形態>
以下では、8K4K画像を分割した8K2Kのビデオデータを並列にコーデック処理する2並列の画像処理部を備える構成について説明する。
(エンコード装置の構成)
図16は、2並列の入力IFを備えるエンコード装置の構成例を示すブロック図である。
エンコード装置110は、図示せぬビデオレコーダなどの外部機器から入力される8K4K画像のエンコード処理を行い、ビデオビットストリームデータを出力する。
エンコード装置110は、画像処理部111-1,111-2を備えている。画像処理部111-1,111-2はそれぞれ、例えば、独立した装置や基板により構成される。
画像処理部111-1,111-2はそれぞれ、8K4Kのビデオデータを上から2つに分割した8K2Kサイズのビデオデータ、すなわち標準規格の1080ラインの2倍の2160ラインのビデオデータを処理する。画像処理部111-1,111-2それぞれには、8本の3G-SDIケーブルなどが接続線として接続され、8K2Kサイズのビデオデータが入力される。すなわち、画像処理部111-1,111-2は、標準規格ライン数に対応した機器間入力IFを備えている。
画像処理部111-1は、データ生成部120-1、コーデック処理部130-1、およびストリーム処理部140を有しており、画像処理部111-2は、データ生成部120-2とコーデック処理部130-2を有している。
データ生成部120-1は、ビデオIO部121-1と、データ取得部122-10,122-11を有しており、データ生成部120-2は、ビデオIO部121-2と、データ取得部122-20,122-21を有している。データ生成部120-1,120-2はそれぞれ、例えばFPGAなどの1つのチップで構成されてもよい。
以下においては、画像処理部111-1,111-2を互いに区別しない場合には、単に画像処理部111という。また、データ生成部120-1,120-2を互いに区別しない場合には、単にデータ生成部120といい、コーデック処理部130-1,130-2を互いに区別しない場合には、単にコーデック処理部130という。
データ生成部120は、入力された8K2K(2160ライン)のビデオデータのうちの所定ライン数のビデオデータの、他の画像処理部111への出力、および、他の画像処理部111からの入力のいずれかによって、コーデック処理が可能なライン数のビデオデータを生成する。
具体的には、データ生成部120-1は、入力された8K2K(2160ライン)のビデオデータと、画像処理部111-2(データ生成部120-2)から入力される16ラインのビデオデータとに基づいて、7680×2176画素(2176ライン)のビデオデータを生成する。このビデオデータは、エンコード装置110内部の独自フォーマットデータとなる。
データ生成部120-1においては、ビデオIO部121-1が、入力された2160ラインのビデオデータをシリアル/パラレル変換し、データ取得部122-10,122-11に出力する。データ取得部122-10,122-11は、ビデオIO部121-1からの2160ラインのビデオデータと、データ生成部120-2(ビデオIO部121-2)からの16ラインのビデオデータとを合成することで、2176ラインのビデオデータを生成する。
データ生成部120-1(データ取得部122-1)とデータ生成部120-2(ビデオIO部121-2)との間には、所定ライン数のビデオデータを伝送する伝送路151が設けられている。伝送路151は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部120-2は、入力された8K2K(2160ライン)のビデオデータから画像処理部111-1に出力した16ラインのビデオデータを除いた2144ラインのビデオデータに基づいて、7680×2144画素(2144ライン)のビデオデータを生成する。このビデオデータは、エンコード装置110内部の独自フォーマットデータとなる。
データ生成部120-2においては、ビデオIO部121-2が、入力された2160ラインのビデオデータを一度シリアル/パラレル変換し、このうちの上部16ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部111-1(データ取得部122-10,122-11)に出力する。また、ビデオIO部21-2は、上記1080ラインの残りの下部2144ラインのビデオデータを分離後、シリアル/パラレル変換し、データ取得部122-20,122-21に出力する。データ取得部122-20,122-21は、ビデオIO部121-1からの2144ラインのビデオデータを取得する。
各コーデック処理部130は、データ生成部120により生成された、コーデック処理が可能なライン数(2176ラインまたは2144ライン)のビデオデータをコーデック処理(エンコード処理)し、得られたビデオビットストリームデータを、画像処理部111-1のストリーム処理部140に出力する。各コーデック処理部130はそれぞれ、1つのLSIにより構成される。
画像処理部111-1のストリーム処理部140は、各画像処理部111の2系統のビデオビットストリームデータを1系統のビデオビットストリームデータに変換して出力する。ストリーム処理部140は、1つのLSIにより構成される。画像処理部111-1においては、コーデック処理部130-1とストリーム処理部140とが、1つのLSIにより構成されてもよい。
詳細は後述するが、データ取得部122-10,122-11と、データ取得部122-20,122-21はそれぞれ、60pの8K2Kビデオデータを30pの8K2Kビデオデータに変換する60p/30p変換を行い2並列で処理する。なお、データ取得部122-10,122-11と、データ取得部122-20,122-21がそれぞれ、30pの8K2Kビデオデータを60pの8K1Kビデオデータとして2並列で処理するようにしてもよい。
図16の構成においても、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、標準規格に準拠しないライン数のビデオデータを入力しなくとも、コーデック処理のライン数の制約を満たすことができる。その結果、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることが可能となる。
また、図16の構成においては、画像処理部同士の間で伝送されるビデオデータの量は、最大でも16ライン分であるので、フルHD相当のビデオデータを伝送可能な伝送路が1系統分、画像処理部同士の間にあればよい。この場合、16ラインの4倍となる64ライン分が伝送に消費されるにすぎない。
(デコード装置の構成)
図17は、2並列の画像処理部を備えるデコード装置の構成例を示すブロック図である。
デコード装置160は、上述したエンコード装置110などにより出力されたビデオビットストリームデータを分割し、そのビデオビットストリームデータのデコード処理を行い、8K4K画像を出力する。
デコード装置160は、画像処理部161-1,161-2を備えている。画像処理部161-1,161-2はそれぞれ、例えば、独立した装置や基板により構成される。
画像処理部161-1,161-2はそれぞれ、8K4Kのビデオビットストリームデータを上から2つに分割した8K2Kサイズのビデオビットストリームデータのデコード処理を行う。さらに、画像処理部161-1,161-2は、2つに分割した8K2Kサイズのビデオデータを復元し、標準規格の1080ラインの2倍の2160ラインのビデオデータを処理する。画像処理部161-1,161-2それぞれには、8本の3G-SDIケーブルなどが接続線として接続され、8K2Kサイズのビデオデータが出力される。すなわち、画像処理部161-1,161-2は、標準規格ライン数に対応した機器間出力IFを備えている。
画像処理部161-1は、ストリーム処理部170、コーデック処理部180-1、およびデータ生成部190-1を有しており、画像処理部161-2は、コーデック処理部180-2とデータ生成部190-2を有している。
データ生成部190-1は、データ取得部191-10,191-11と、ビデオIO部192-1を有しており、データ生成部190-2は、データ取得部191-20,191-21と、ビデオIO部192-2を有している。
以下においては、画像処理部161-1,161-2を互いに区別しない場合には、単に画像処理部161という。また、コーデック処理部180-1,180-2を互いに区別しない場合には、単にコーデック処理部180といい、データ生成部190-1,190-2を互いに区別しない場合には、単にデータ生成部190という。
画像処理部161-1のストリーム処理部170は、1系統のビデオビットストリームデータを各画像処理部161の2系統のビデオビットストリームデータに分割して出力する。ストリーム処理部170は、1つのLSIにより構成される。
各コーデック処理部180は、ストリーム処理部170により分割されたビデオビットストリームデータのコーデック処理(デコード処理)を行い、コーデック処理が可能なライン数(2176ラインまたは2144ライン)のビデオデータを復元し、データ生成部190に出力する。このビデオデータは、デコード装置160内部の独自フォーマットデータとなる。各コーデック処理部180はそれぞれ、1つのLSIにより構成される。画像処理部161-1においては、ストリーム処理部170とコーデック処理部180-1とが、1つのLSIにより構成されてもよい。
データ生成部190は、コーデック処理部180からのコーデック処理が可能なライン数のビデオデータの、他の画像処理部161への出力、および、他の画像処理部161からの入力のいずれかによって、標準規格ライン数(2160ライン)のビデオデータを生成する。
具体的には、データ生成部190-1は、コーデック処理(デコード処理)された2176ラインのビデオデータから、画像処理部161-2(ビデオIO部192-2)に出力する16ラインのビデオデータを除いた2160ラインのビデオデータに基づいて、8K2Kのビデオデータを生成する。
データ生成部190-1においては、データ取得部191-10,191-11が、コーデック処理部80-1からの2176ラインのビデオデータのうちの2160ラインのビデオデータをビデオIO部192-1に出力するとともに、画像上部となる残りの16ラインのビデオデータをパラレル/シリアル変換し、データ生成部190-2(ビデオIO部192-2)に出力する。ビデオIO部192-1は、データ取得部91-1からの2160ラインのビデオデータをパラレル/シリアル変換することで、8K2Kのビデオデータを出力する。
データ生成部190-1(データ取得部191-10,191-11)とデータ生成部190-2(ビデオIO部192-2)との間には、所定ライン数のビデオデータを伝送する伝送路201が設けられている。伝送路201は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
データ生成部190-2は、画像処理部161-1(データ生成部190-1)から入力された画像上部となる16ラインのビデオデータと、コーデック処理(デコード処理)された画像下部となる2144ラインのビデオデータに基づいて、8K2Kのビデオデータを生成する。
データ生成部190-2においては、データ取得部191-20,191-21が、コーデック処理部180-2からの2144ラインのビデオデータをビデオIO部192-2に出力する。ビデオIO部192-2は、データ取得部191-2からの2144ラインのビデオデータをパラレル/シリアル変換し、画像処理部161-1(データ生成部190-1)からの16ラインのビデオデータと合成することで、8K2Kのビデオデータを出力する。
なお、データ取得部191-10,191-11と、データ取得部191-20,191-21においては、30pのビデオデータを60pのビデオデータに変換する30p/60p変換が行われる。
図17の構成においても、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、コーデック処理のライン数の制約を満たしつつ、標準規格に準拠したライン数のビデオデータを出力することができる。その結果、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることが可能となる。
(ビデオデータの流れ)
図18は、上述したエンコード装置110とデコード装置160の間のビデオデータの流れについて説明する図である。
図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
Rec#0からの画像上部となる1080ラインのビデオデータと、Rec#1からの画像下部となる1080ラインのビデオデータは、エンコード装置110(画像処理部111-1)によって、Rec#2からの画像最下部となる16ライン分のビデオデータと合成される。合成された2176ラインのビデオデータが、エンコード装置110(コーデック処理部130-1)によってエンコード処理されることによって、2176ラインのビデオビットストリームデータが生成され、出力される。
Rec#2からの、上部16ライン分のビデオデータを除いた下部1064ラインのビデオデータと、Rec#3からの1080ラインのビデオデータは、エンコード装置110(画像処理部111-2)によって合成される。合成された2144ラインのビデオデータが、エンコード装置110(コーデック処理部130-2)によってエンコード処理されることによって、2144ラインのビデオビットストリームデータが生成され、出力される。
以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能なライン数のビデオデータが生成され、さらに、コーデック処理部によってビデオビットストリームデータが生成される。
一方、画像処理部111-1からの2176ライン分のビデオビットストリームデータは、デコード装置160(画像処理部161-1)によってデコード処理され、2176ラインのビデオデータが復元される。2176ラインのビデオデータは、上部2160ラインのビデオデータと下部16ラインのビデオデータに分割される。そのうち2160ラインのビデオデータは、標準規格ライン数(2160ラインまたは1080ライン2段)のビデオデータとして出力される。
画像処理部111-2からの2144ライン分のビデオビットストリームデータは、デコード装置160(画像処理部161-2)によって、デコード処理され、2144ラインのビデオデータが復元される。2144ラインのビデオデータは、画像処理部161-1からの16ラインのビデオデータと合成され、標準規格ライン数(2160ラインまたは1080ライン2段)のビデオデータとして出力される。
以上のようにして、コーデック処理が可能なライン数のビデオビットストリームデータから、標準規格ライン数のビデオデータが再生成される。
(60p/30p変換)
ここで、図19を参照して、エンコード装置110における、60pの8K2Kビデオデータを30pの8K2Kビデオデータに変換する60p/30p変換について説明する。
図19の例では、4台の外部機器それぞれが、8K1Kビデオデータではなく、8K4K画像を上下左右に4分割した4K2Kビデオデータを入力するものとする。
図19において、最上段に示される外部機器#0からは、8K4K画像の左上の4K2Kビデオデータが入力され、2段目に示される外部機器#1からは、8K4K画像の右上の4K2Kビデオデータが入力される。すなわち、外部機器#0,#1からは、60pの8K2Kビデオデータが入力される。
また、図19において、3段目に示される外部機器#2からは、8K4K画像の左下の上部16ラインのビデオデータが入力され、4段目に示される外部機器#3からは、8K4K画像の右下の上部16ラインのビデオデータが入力される。
すなわち、図19は、画像処理部111-1のデータ取得部122-10,122-11による60p/30p変換の例を示している。
60p/30p変換においては、図中、中央に示されるように、各フレームのデータが偶数フレームと奇数フレームとに分かれて並列に処理される。具体的には、各フレームのデータは、図19に図示される画像上部の8K2Kデータ(7680画素×2176ライン)と、図示せぬ画像下部の8K2Kデータ(7680画素×2144ライン)に分かれて処理される。このうち、画像上部のデータは、上部2つの3840画素×2160ラインの4K2Kデータと、下部2つの3840画素×16ラインのデータの4つのデータから構成される。なお、画像下部のデータは、上述の16ライン分のデータが除かれた2つの3840画素×2144ラインの4K2Kデータから構成される。
図19において、0フレーム目の8K2Kデータ(Frame-0)は、上部2つの4K2KデータL0-0,L1-0と、下部16ラインのデータL2-0,L3-0から構成される。データL0-0は、外部機器#0から供給され、画像上部の左上部となる。データL0-0は、ビデオデータCh0-0,Ch1-0,Ch2-0,Ch3-0の4つの2KフルHDのデータから構成されてもよい。データL1-0は、外部機器#1から供給され、画像上部の右上部となる。データL1-0は、ビデオデータCh0-0,Ch1-0,Ch2-0,Ch3-0の4つの2KフルHDのデータから構成されてもよい。下部16ラインのデータL2-0,L3-0は、外部機器#2,#3からの2系統のデータから構成されてもよい。データL2-0は、外部機器#2からの、0フレーム目の8K2Kデータ左下のビデオデータCh0-0,Ch1-0の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。データL3-0は、外部機器#3からの、0フレーム目の8K2Kデータ右下のビデオデータCh0-0,Ch1-0の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。また、図示はしないが、外部機器#2,#3からのデータL2-0,L3-0には、フレーム番号0を示すデータも含まれる。0フレーム目は、60pで動作している以上、4台の外部機器#0,#1,#2,#3からの偶数フレームを発生源として生成される。
図19において、1フレーム目の8K2Kデータ(Frame-1)は、上部2つの4K2KデータL0-1,L1-1と、下部16ラインのデータL2-1,L3-1から構成される。データL0-1は、外部機器#0から供給され、画像上部の左上部となる。データL0-1は、ビデオデータCh0-1,Ch1-1,Ch2-1,Ch3-1の4つの2KフルHDのデータから構成されてもよい。データL1-1は、外部機器#1から供給され、画像上部の右上部となる。データL1-1は、ビデオデータCh0-1,Ch1-1,Ch2-1,Ch3-1の4つの2KフルHDのデータから構成されてもよい。下部16ラインのデータL2-1,L3-1は、外部機器#2,#3からの2系統のデータから構成されてもよい。データL2-1は、外部機器#2からの、0フレーム目の8K2Kデータ左下のビデオデータCh0-1,Ch1-1の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。データL3-1は、外部機器#3からの右下のビデオデータCh0-1,Ch1-1の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。また、図示はしないが、外部機器#2,#3からのデータL2-1,L3-1には、フレーム番号1を示すデータも含まれる。1フレーム目は、60pで動作している以上、4台の外部機器#0,#1,#2,#3からの奇数フレームを発生源として生成される。
2フレーム目のデータ(Frame-2)、3フレーム目のデータ(Frame-3)も同様にして構成される。
このようにして、図19においては、2176ラインの偶数フレームと奇数フレームとが並列に処理されることで、60pの8K2Kビデオデータが、30pの8K2Kビデオデータに変換される。
図19においては、画像処理部111-1のデータ取得部122-10,122-11による60p/30p変換の例を示した。同様にして、画像処理部111-2のデータ取得部122-20,122-21による、外部機器#2,#3からのビデオデータに対する60p/30p変換も、図19の流れに従って行われる。このとき、画像処理部111-1と画像処理部111-2との間では、各フレームのフレーム番号が伝送されるので、フレーム同期外れが発生することを防ぐとともに、60p/30p変換の開始タイミングを揃えることができる。
以上においては、エンコード装置110における60p/30p変換について説明したが、デコード装置160においては、図19の例とは逆の流れで30p/60p変換が行われる。
(120pの8K4K画像を処理する構成)
以上においては、60pの8K4K画像を処理する構成について説明したが、120pの8K4K画像を処理する場合、60p画像を2並列で処理する構成を適用することができる。
図20は、120pの8K4K画像を処理するエンコード装置の構成例を示すブロック図である。
エンコード装置110’は、画像処理部111’-1,111’-2を備えている。
図20のエンコード装置110’において、図16のエンコード装置110の各構成に対応するブロックは、同一の数字に「’」を付した符号で示されるものとし、同様の機能についての説明は省略する。
画像処理部111’-1,111’-2はそれぞれ、8K4Kのビデオデータを上から2つに分割した8K2Kサイズのビデオデータ、すなわち標準規格の1080ラインの2倍のビデオデータを処理する。ただし、図16のエンコード装置110と比較して、単位時間あたり2倍のビデオデータが入力されるため、画像処理部111’-1,111’-2それぞれには、16本の3G-SDIケーブルが接続線として接続され、8K2Kサイズのビデオデータが2並列で入力される。
各画像処理部111’が有するデータ生成部120’においては、それぞれ、ビデオIO部121’およびデータ取得部122’が2つずつ設けられている。これに対応して、各画像処理部111’においては、コーデック処理部130’も2つずつ設けられている。
すなわち、図20のエンコード装置110’のビデオIO部121’、データ取得部122’、コーデック処理部130’、およびストリーム処理部140’は、図15のエンコード装置10’のビデオIO部21’、データ取得部22’、コーデック処理部30’、およびストリーム処理部40’のそれぞれと対応した構成を採る。
ただし、図15のエンコード装置10’における伝送路51’,53’に対応する接続線は、それぞれ画像処理部111’-1,111’-2内部での接続線となる。内部での接続には、標準規格の入出力IFを用いる必要はなく、接続線として、3G-SDIケーブルが用いられてもよいし、消費電力のより低い独自の入出力IFが用いられてもよい。この場合、120pの8K4K画像を同様に処理する図15のエンコード装置10’よりも、部品コストと消費電力を抑えることができる。
各画像処理部111’が有するデータ生成部120’それぞれの間を接続する伝送路151’は、図16の伝送路151(例えば3G-SDIケーブル)を2並列で接続することで構成されてもよい。また、伝送路151’は、図16の伝送路151と同様、各1本の伝送路で構成され、時分割多重してデータ伝送されるようにしてもよい。
図20の構成において、画像処理部同士の間で伝送されるビデオデータの量は、最大で16ライン分である。図20の構成では、HD-SDIフォーマットで16ラインのビデオデータを伝送する場合、16ライン分の4倍の64ライン分の2系統分である128ライン分が消費される。フレーム番号を示すデータの伝送に2ライン分が消費されるとしても、画像処理部同士の間で伝送されるデータ量を、130ライン分のデータで収めることができる。
<4.第3の実施の形態>
以上においては、8K4K画像のエンコード処理とデコード処理のいずれかを行う構成について説明した。以下においては、8K4K画像のエンコード処理とデコード処理の両方を行う構成について説明する。
(第1の構成例)
図21は、120pの8K4K画像のエンコード処理とデコード処理の両方を行うコーデック装置の第1の構成例を示すブロック図である。
コーデック装置300は、画像処理部310,320を備えている。画像処理部310,320はそれぞれ、例えば、独立した装置や基板により構成される。
画像処理部310,320それぞれの入力側には、16本の3G-SDIケーブルが接続線として接続され、8K2Kサイズのビデオデータが2並列で入力される。同様に、画像処理部310,320それぞれの出力側にも、16本の3G-SDIケーブルなどが接続線として接続され、8K2Kサイズのビデオデータが2並列で出力される。
詳細な説明は省略するが、画像処理部310,320においては、それぞれの入力側からストリーム処理部311までの構成がエンコード処理を行い、ストリーム処理部312からそれぞれの出力側までの構成がデコード処理を行う。エンコード処理側の構成は、図20のエンコード装置110’と同様に構成される。
このような構成により、コーデック装置300は、エンコード処理とデコード処理を同時に行うことができる。
図21の例では、画像処理部320に、ホストCPU/メモリシステム321が設けられている。ストリーム処理部311から出力されたビデオビットストリームデータは、ホストCPU/メモリシステム321に保存され、ストリーム処理部312によって読み出される。
また、画像処理部310,320それぞれには、経路切替部313,322が設けられている。経路切替部313,322は、デコード処理側のデータ生成部に、ビデオデータとして、エンコード処理前のビデオデータを入力するか、エンコード・デコード処理後のビデオデータを入力するかを切り替える。なお、経路切替部313,322は、切り替え対象の2系統の信号のタイミングを調整し、2系統の信号間の信号比較回路および/または信号統計量の計測回路を有していてもよい。
このような構成において、それぞれのビデオデータを基にした画像の比較などを行うことにより、画像処理部310,320それぞれが有するコーデック処理部のパラメータやコーデック処理の効果を調整・確認することができる。この場合、ストリーム処理部311とストリーム処理部312とが直接接続されるようにしてもよい。
(第2の構成例)
図22は、120pの8K4K画像のエンコード処理とデコード処理の両方を行うコーデック装置の第2の構成例を示すブロック図である。
コーデック装置400は、画像処理部410,420を備えている。画像処理部410,420はそれぞれ、例えば、独立した装置や基板により構成される。
図22の画像処理部410,420は、コーデック処理側とデコード処理側の構成それぞれのコーデック処理部が1つのコーデック処理部になっている点で、図21の画像処理部310,320と異なる。
したがって、コーデック装置400は、エンコード処理とデコード処理を同時に行うことはできない。
図22の例では、画像処理部420に、ホストCPU/メモリシステム421が設けられている。ストリーム処理部411から出力されたビデオビットストリームデータは、ホストCPU/メモリシステム421に保存され、ストリーム処理部411によって読み出される。
また、画像処理部410,420それぞれには、経路切替部412,422が設けられている。経路切替部412,422は、デコード処理側のデータ生成部に、ビデオデータとして、エンコード処理前のビデオデータを入力するか、エンコード・デコード処理後のビデオデータを入力するかを切り替える。なお、経路切替部412,422は、切り替え対象の2系統の信号のタイミングを調整し、2系統の信号間の信号比較回路および/または信号統計量の計測回路を有していてもよい。
このような構成においても、それぞれのビデオデータを基にした画像の比較などを行うことにより、画像処理部410,420それぞれが有するコーデック処理部のパラメータやコーデック処理の効果を調整・確認することができる。
以上においては、エンコード装置とデコード装置を組み合わせた構成として、図20のエンコード装置110’に対応する構成を採用したが、上述した実施の形態における他のエンコード装置やデコード装置に対応する構成が採用されてもよい。
<5.変形例>
以下においては、上述した実施の形態の変形例について説明する。
(1)並列数
以上においては、ビデオデータを4並列または2並列に処理する構成について説明したが、処理の並列数はこれに限られず、5並列や6並列に処理する構成を実現することもできる。
図23は、5並列処理を行うエンコード装置とデコード装置の間のビデオデータの流れについて説明する図である。
図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
Rec#0からの、下部216ライン分のビデオデータを除いた864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#0に入力される。さらに、エンコード装置#0によって、864ラインのビデオビットストリームデータが生成され、出力される。
Rec#0からの下部216ライン分のビデオデータと、Rec#1からの、下部432ライン分のビデオデータを除いた648ラインのビデオデータが合成され、864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#1に入力される。さらに、エンコード装置#1によって、864ラインのビデオビットストリームデータが生成され、出力される。
Rec#1からの下部432ライン分のビデオデータと、Rec#2からの上部432ライン分のビデオデータが合成され、864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#2に入力される。さらに、エンコード装置#2によって、864ラインのビデオビットストリームデータが生成され、として出力される。
Rec#2からの、上部432ライン分のビデオデータを除いた648ラインのビデオデータと、Rec#3からの上部216ライン分のビデオデータが合成され、864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#3に入力される。さらに、エンコード装置#3によって、864ラインのビデオビットストリームデータが生成され、出力される。
Rec#3からの、上部216ライン分のビデオデータを除いた864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#4に入力される。さらに、エンコード装置#4によって、864ラインのビデオビットストリームデータが生成され、出力される。
以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能な846ラインのビデオデータが生成され、エンコード装置によってビデオビットストリームデータが生成され、出力される。
一方、図中1段目の864ラインのビデオビットストリームデータは、コーデック装置(デコード装置)#0によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータは、コーデック装置(デコード装置)#1によって復元された2段目の864ラインのビデオデータから分割された上部216ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
2段目の864ラインのビデオビットストリームデータは、デコード装置#1によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータから分割された下部648ラインのビデオデータは、コーデック装置(デコード装置)#2によって復元された3段目の864ラインのビデオデータから分割された上部432ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
3段目の864ラインのビデオビットストリームデータは、デコード装置#2によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータから分割された下部432ラインのビデオデータは、コーデック装置(デコード装置)#3によって復元された4段目の864ラインのビデオデータから分割された上部648ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
4段目の864ラインのビデオビットストリームデータは、デコード装置#3によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータから分割された下部216ラインのビデオデータは、コーデック装置(デコード装置)#4によってビデオビットストリームデータから復元された5段目の864ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
以上のようにして、コーデック処理が可能な846ラインのビデオビットストリームデータから、複数のコーデック装置からのビデオデータを合成することにより、標準規格ライン数のビデオデータが再生成される。
図24は、6並列処理を行うエンコード装置とデコード装置の間のビデオデータの流れについて説明する図である。
図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
Rec#0からの、下部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#0に入力される。さらに、エンコード装置#0によって、720ラインのビデオビットストリームデータが生成され、出力される。
Rec#0からの下部360ラインのビデオデータと、Rec#1からの360ライン分のビデオデータが合成され、720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#1に入力される。さらに、エンコード装置#1によって、720ラインのビデオビットストリームデータが生成され、出力される。
Rec#1からの、上部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#2に入力される。さらに、エンコード装置#2によって、720ラインのビデオビットストリームデータが生成され、出力される。
Rec#2からの、下部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#3に入力される。さらに、エンコード装置#3によって、720ラインのビデオビットストリームデータが生成され、出力される。
Rec#2からの下部360ライン分のビデオデータと、Rec#3からの360ライン分のビデオデータが合成され、720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#4に入力される。さらに、エンコード装置#4によって、720ラインのビデオビットストリームデータが生成され、出力される。
Rec#3からの、上部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#5に入力される。さらに、エンコード装置#5によって、720ラインのビデオビットストリームデータが生成され、出力される。
以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能な720ラインのビデオデータが生成され、エンコード装置によってビデオビットストリームデータが生成され、出力される。
一方、図中1段目の720ラインのビデオビットストリームデータは、コーデック装置(デコード装置)#0によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータは、コーデック装置(デコード装置)#1によって復元された2段目の720ラインのビデオデータから分割された上部360ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
2段目の720ラインのビデオビットストリームデータは、デコード装置#1によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータから分割された下部360ラインのビデオデータは、コーデック装置(デコード装置)#2によってビデオビットストリームデータから復元された3段目の720ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
4段目の720ラインのビデオビットストリームデータは、コーデック装置(デコード装置)#3によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータは、コーデック装置(デコード装置)#4によって復元された5段目の720ラインのビデオデータから分割された上部360ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
5段目の720ラインのビデオビットストリームデータは、デコード装置#4によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータから分割された下部360ラインのビデオデータは、コーデック装置(デコード装置)#5によってビデオビットストリームデータから復元された6段目の720ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
以上のようにして、コーデック処理が可能な720ラインのビデオビットストリームデータから、複数のコーデック装置からのビデオデータを合成することにより、標準規格ライン数のビデオデータが再生成される。
(2)HFR(ハイフレームレート)対応
上述したように、120pの8K4K画像を処理する場合、60p画像を2並列で処理する構成を適用するものとした。例えば180p以上などの、よりフレームレートの高い画像の処理は、並列数を増加することで実現することができる。
(3)同期動作
画像処理部同士の間に設けられる伝送路として、3G-SDIケーブルなどの、伝送距離が100m以上である外部機器接続入出力IFを適用することで、離れた場所での同期動作が可能となる。
また、画像処理部同士の間の伝送路によって、所定ライン数のビデオデータと、フレーム番号を示すデータに加えて、オーディオデータや、各画像処理部を制御するためのメタデータなどが伝送されるようにしてもよい。
さらに、上述した伝送路を、音源、機械、乗り物などの他の機器と接続することにより、これら他の機器との同期動作を行えるようにしてもよい。
本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示に係る技術は以下のような構成をとることができる。
(1)
所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する
画像処理装置。
(2)
前記画像は、8K4K画像である
(1)に記載の画像処理装置。
(3)
前記複数の画像処理部が有する前記データ生成部それぞれの間に、前記所定ライン数の前記ビデオデータを伝送する1系統の伝送路を備える
(1)または(2)に記載の画像処理装置。
(4)
前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
(3)に記載の画像処理装置。
(5)
前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
(3)または(4)に記載の画像処理装置。
(6)
前記データ生成部は、SQD方式で入力された1フレーム分の前記標準規格ライン数の前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、ラスタ方式の前記コーデック処理が可能なアドレスを生成する
(2)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
前記第1の画像処理部の前記データ生成部は、前記8K1Kビデオデータと、前記第2の画像処理部から入力された8ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
前記第2の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第1の画像処理部に出力した前記8ラインのビデオデータを除いた1072ラインのビデオデータと、前記第3の画像処理部から入力された16ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
前記第3の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第2の画像処理部に出力した前記16ラインのビデオデータを除いた1064ラインのビデオデータと、前記第4の画像処理部から入力された24ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
前記第4の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第3の画像処理部に出力した前記24ラインのビデオデータを除いた1056ラインのビデオデータを生成する
(2)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
前記第1の画像処理部の前記データ生成部は、前記8K2Kビデオデータと、前記第2の画像処理部から入力された16ラインのビデオデータとに基づいて、2176ラインのビデオデータを生成し、
前記第2の画像処理部の前記データ生成部は、前記8K2Kビデオデータから前記第1の画像処理部に出力した前記16ラインのビデオデータを除いた2144ラインのビデオデータを生成する
(2)乃至(6)のいずれかに記載の画像処理装置。
(9)
所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
1の前記画像処理部が、
前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する
画像処理方法。
(10)
所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
1の前記画像処理部は、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成するデータ生成部を有する
画像処理装置。
(11)
前記画像は、8K4K画像である
(10)に記載の画像処理装置。
(12)
前記複数の画像処理部が有する前記データ生成部それぞれの間に、前記所定ライン数の前記ビデオデータを伝送する1系統の伝送路を備える
(10)または(11)に記載の画像処理装置。
(13)
前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
(12)に記載の画像処理装置。
(14)
前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
(12)または(13)に記載の画像処理装置。
(15)
前記データ生成部は、ラスタ方式で前記コーデック処理された前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、1フレーム分の前記標準規格ライン数の前記ビデオデータをSQD方式で出力可能なアドレスを生成する
(11)乃至(14)のいずれかに記載の画像処理装置。
(16)
前記画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
前記第1の画像処理部の前記データ生成部は、前記コーデック処理された1088ラインのビデオデータから前記第2の画像処理部に出力した8ラインのビデオデータを除いた1080ラインのビデオデータに基づいて、前記8K1Kビデオデータを生成し、
前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記8ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第3の画像処理部に出力した16ラインのビデオデータを除いた1072ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
前記第3の画像処理部の前記データ生成部は、前記第2の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第4の画像処理部に出力した24ラインのビデオデータを除いた1064ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
前記第4の画像処理部の前記データ生成部は、前記第3の画像処理部から入力された前記24ラインのビデオデータと、前記コーデック処理された1056ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成する
(11)乃至(15)のいずれかに記載の画像処理装置。
(17)
前記画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
前記第1の画像処理部の前記データ生成部は、前記コーデック処理された2176ラインのビデオデータから前記第2の画像処理部に出力した16ラインのビデオデータを除いた2160ラインのビデオデータに基づいて、前記8K2Kビデオデータを生成し、
前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された2144ラインのビデオデータとに基づいて、前記8K2Kビデオデータを生成する
(11)乃至(15)のいずれかに記載の画像処理装置。
(18)
所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
1の前記画像処理部が、
前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する
画像処理方法。
(19)
所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
1の前記画像処理部は、
前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成する第1のデータ生成部と、
前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する第2のデータ生成部と
を有する
画像処理装置。
(20)
前記画像処理部は、前記第1のデータ生成部により生成された前記コーデック処理前の前記ビデオデータと、前記コーデック処理後の前記ビデオデータのいずれかを、前記第2のデータ生成部に入力する経路切替部をさらに有する
(19)に記載の画像処理装置。
(21)
前記経路切替部は、切り替え対象の2系統の信号間の信号比較および/または信号統計量の計測のための回路を有する
(20)に記載の画像処理装置。
(22)
所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
1の前記画像処理部が、
前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成し、
前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する
画像処理方法。
10 エンコード装置, 11-1乃至11-4 画像処理部, 20-1乃至20-4 データ生成部, 21-1乃至21-4 ビデオIO部, 22-1乃至22-4 データ取得部, 30-1乃至30-4 コーデック処理部, 40 ストリーム処理部, 60 デコード装置, 61-1乃至61-4 画像処理部, 70 ストリーム処理部, 80-1乃至80-4 コーデック処理部, 90-1乃至90-4 データ生成部, 91-1乃至91-4 データ取得部, 92-1乃至92-4 ビデオIO部

Claims (15)

  1. 8K4K画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
    前記画像処理部それぞれには、前記標準規格ライン数の前記ビデオデータを入力するための4本または8本の接続線が接続され、
    1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有し、
    隣接する前記画像処理部同士が有する前記データ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる
    画像処理装置。
  2. 前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
    請求項に記載の画像処理装置。
  3. 前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
    請求項に記載の画像処理装置。
  4. 前記データ生成部は、SQD方式で入力された1フレーム分の前記標準規格ライン数の前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、ラスタ方式の前記コーデック処理が可能なアドレスを生成する
    請求項に記載の画像処理装置。
  5. 前記8K4K画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
    前記第1の画像処理部の前記データ生成部は、前記8K1Kビデオデータと、前記第2の画像処理部から入力された8ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
    前記第2の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第1の画像処理部に出力した前記8ラインのビデオデータを除いた1072ラインのビデオデータと、前記第3の画像処理部から入力された16ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
    前記第3の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第2の画像処理部に出力した前記16ラインのビデオデータを除いた1064ラインのビデオデータと、前記第4の画像処理部から入力された24ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
    前記第4の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第3の画像処理部に出力した前記24ラインのビデオデータを除いた1056ラインのビデオデータを生成する
    請求項に記載の画像処理装置。
  6. 前記8K4K画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
    前記第1の画像処理部の前記データ生成部は、前記8K2Kビデオデータと、前記第2の画像処理部から入力された16ラインのビデオデータとに基づいて、2176ラインのビデオデータを生成し、
    前記第2の画像処理部の前記データ生成部は、前記8K2Kビデオデータから前記第1の画像処理部に出力した前記16ラインのビデオデータを除いた2144ラインのビデオデータを生成する
    請求項に記載の画像処理装置。
  7. 8K4K画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
    前記画像処理部それぞれには、前記標準規格ライン数の前記ビデオデータを出力するための4本または8本の接続線が接続され、
    1の前記画像処理部は、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成するデータ生成部を有し、
    隣接する前記画像処理部同士が有する前記データ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる
    画像処理装置。
  8. 前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
    請求項に記載の画像処理装置。
  9. 前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
    請求項に記載の画像処理装置。
  10. 前記データ生成部は、ラスタ方式で前記コーデック処理された前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、1フレーム分の前記標準規格ライン数の前記ビデオデータをSQD方式で出力可能なアドレスを生成する
    請求項に記載の画像処理装置。
  11. 前記8K4K画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
    前記第1の画像処理部の前記データ生成部は、前記コーデック処理された1088ラインのビデオデータから前記第2の画像処理部に出力した8ラインのビデオデータを除いた1080ラインのビデオデータに基づいて、前記8K1Kビデオデータを生成し、
    前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記8ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第3の画像処理部に出力した16ラインのビデオデータを除いた1072ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
    前記第3の画像処理部の前記データ生成部は、前記第2の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第4の画像処理部に出力した24ラインのビデオデータを除いた1064ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
    前記第4の画像処理部の前記データ生成部は、前記第3の画像処理部から入力された前記24ラインのビデオデータと、前記コーデック処理された1056ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成する
    請求項に記載の画像処理装置。
  12. 前記8K4K画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
    前記第1の画像処理部の前記データ生成部は、前記コーデック処理された2176ラインのビデオデータから前記第2の画像処理部に出力した16ラインのビデオデータを除いた2160ラインのビデオデータに基づいて、前記8K2Kビデオデータを生成し、
    前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された2144ラインのビデオデータとに基づいて、前記8K2Kビデオデータを生成する
    請求項に記載の画像処理装置。
  13. 8K4K画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理するの画像処理部を備え、
    前記画像処理部それぞれの入力側には、前記標準規格ライン数の前記ビデオデータを入力するための16本の接続線が接続され、
    前記画像処理部それぞれの出力側には、前記標準規格ライン数の前記ビデオデータを出力するための16本の前記接続線が接続され、
    1の前記画像処理部は、
    前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成する第1のデータ生成部と、
    前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する第2のデータ生成部と
    を有し、
    前記画像処理部それぞれが有する前記第1のデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられ、
    前記画像処理部それぞれが有する前記第2のデータ生成部の間には、前記所定ライン数の前記ビデオデータを伝送するための伝送路として1本の前記接続線が設けられる
    画像処理装置。
  14. 前記画像処理部は、前記第1のデータ生成部により生成された前記コーデック処理前の前記ビデオデータと、前記コーデック処理後の前記ビデオデータのいずれかを、前記第2のデータ生成部に入力する経路切替部をさらに有する
    請求項13に記載の画像処理装置。
  15. 前記経路切替部は、切り替え対象の2系統の信号間の信号比較および/または信号統計量の計測のための回路を有する
    請求項14に記載の画像処理装置。
JP2020532297A 2018-07-27 2019-07-12 画像処理装置 Active JP7350744B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018140947 2018-07-27
JP2018140947 2018-07-27
PCT/JP2019/027642 WO2020022101A1 (ja) 2018-07-27 2019-07-12 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2020022101A1 JPWO2020022101A1 (ja) 2021-08-02
JP7350744B2 true JP7350744B2 (ja) 2023-09-26

Family

ID=69181005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532297A Active JP7350744B2 (ja) 2018-07-27 2019-07-12 画像処理装置

Country Status (3)

Country Link
JP (1) JP7350744B2 (ja)
CN (1) CN112470473A (ja)
WO (1) WO2020022101A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257838B (zh) * 2021-11-29 2024-04-16 新奥特(北京)视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207862A (ja) 2002-12-24 2004-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム
JP2010226672A (ja) 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2011030217A (ja) 2009-07-03 2011-02-10 Panasonic Corp 画像符号化装置及び画像復号化装置
JP2015185979A (ja) 2014-03-24 2015-10-22 富士通株式会社 動画像符号化装置及び動画像符号化器
JP2018014750A (ja) 2017-09-20 2018-01-25 日本電気株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム
US20180063498A1 (en) 2016-01-29 2018-03-01 Boe Technology Group Co., Ltd. Display processing apparatus, device and method
CN109714598A (zh) 2019-01-31 2019-05-03 上海国茂数字技术有限公司 视频的编码方法、解码方法、处理方法以及视频处理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010182A (ja) * 2010-06-25 2012-01-12 Sony Corp 情報処理装置と情報処理方法
JP5741092B2 (ja) * 2011-03-15 2015-07-01 富士通株式会社 画像符号化方法及び画像符号化装置
JP2014003491A (ja) * 2012-06-19 2014-01-09 Nippon Hoso Kyokai <Nhk> 広帯域映像信号の送信装置、受信装置及びプログラム
EP3107297A4 (en) * 2014-02-10 2017-09-06 Nec Corporation Video encoding device, video encoding method, and program
WO2017051492A1 (ja) * 2015-09-24 2017-03-30 日本電気株式会社 映像符号化装置及び映像復号装置
WO2017158850A1 (ja) * 2016-03-18 2017-09-21 株式会社ソシオネクスト 画像処理装置、および画像処理方法
JP2017208674A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 映像処理装置及び映像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207862A (ja) 2002-12-24 2004-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム
JP2010226672A (ja) 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2011030217A (ja) 2009-07-03 2011-02-10 Panasonic Corp 画像符号化装置及び画像復号化装置
JP2015185979A (ja) 2014-03-24 2015-10-22 富士通株式会社 動画像符号化装置及び動画像符号化器
US20180063498A1 (en) 2016-01-29 2018-03-01 Boe Technology Group Co., Ltd. Display processing apparatus, device and method
JP2018014750A (ja) 2017-09-20 2018-01-25 日本電気株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム
CN109714598A (zh) 2019-01-31 2019-05-03 上海国茂数字技术有限公司 视频的编码方法、解码方法、处理方法以及视频处理系统

Also Published As

Publication number Publication date
WO2020022101A1 (ja) 2020-01-30
JPWO2020022101A1 (ja) 2021-08-02
CN112470473A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112188136A (zh) 多合一拼接实时刻录视频的方法、系统、存储介质及设备
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
US20060170762A1 (en) Video composition apparatus, video composition method and video composition program
CN111447394A (zh) 一种视频数据的处理方法、电子设备和存储介质
KR100532105B1 (ko) 공간분할방식 3차원 영상 신호 발생 장치
CN107567710B (zh) 用于处理视频数据的系统和方法
JP4559976B2 (ja) 映像合成装置、映像合成方法及び映像合成プログラム
US8179421B2 (en) Image synthesizing device and method and computer readable medium
JP7350744B2 (ja) 画像処理装置
US8334929B2 (en) Signal processing apparatus, and method for controlling signal processing apparatus
JP6778956B2 (ja) リアルタイム編集システム
JP2012029010A (ja) 情報処理装置、フレームデータ変換方法及びプログラム
US20110052138A1 (en) Image recording device, camera, image reproduction device, image recording method, image reproduction method, program, and integrated circuit
WO2003017664A1 (en) Method of realizing combination of multi-sets of multiple digital images and bus interface technique
JP2009296410A (ja) 高解像度の映像再生装置
JP2013247582A (ja) 映像合成方法、映像記録方法、映像合成装置、映像記録装置、映像表示システム
JP4487804B2 (ja) 画像信号変換方法及び画像信号変換装置
JP2014003491A (ja) 広帯域映像信号の送信装置、受信装置及びプログラム
JP4775351B2 (ja) 撮像装置
KR20180014370A (ko) 4k uhd 통합 콘텐츠 제작 장치 및 방법
JPH10155123A (ja) 圧縮復号データ表示システム
KR20160144061A (ko) 초고선명 텔레비전용 보급형 메인보드
JP4101612B2 (ja) 映像信号処理方法および映像信号処理装置
JP2002027373A (ja) データ記録再生装置及びデータ入力フォーマット変換方法
JP2005286829A (ja) 映像信号記録再生システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7350744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150