JP3232222U

JP3232222U - ４ｋカメラで３ｄ（三次元）の８ｋ画質を視る３ｄビデオ合成（エンコード）方式

Info

Publication number: JP3232222U
Application number: JP2020005636U
Authority: JP
Inventors: 昭柴田
Original assignee: 昭柴田
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2021-06-03
Anticipated expiration: 2030-12-10
Also published as: US20240031553A1; CN116746143A; WO2022124149A1

Abstract

【課題】左右２台のビデオカメラで撮影した２本の映像を、１本の３Ｄビデオに合成（エンコード）し、ディスプレー上で３Ｄ映像として視聴できるシステムを提供する。【解決手段】システムは、３Ｄディスプレーの水平画素数の半分に相当する解像度のカメラを２台使用して、２台のカメラの各画素をディスプレーの画素相当上に市松模様配置するアプリケーションプログラムを実行するコンピューターを備える。市松模様配置とは、左カメラの第１走査線画素をディスプレーの第１走査線（奇数行）上に、一つ飛び越しで順次配置つまり奇数列のみに配置する。右カメラの第１走査線画素をディスプレーの第２走査線（偶数行）上の第２列目から一つ飛び越しで配置つまり偶数列のみに配置する。以降、同様に左右のカメラ入力を各画素に振り分けてゆき、左右２台のカメラのすべての画素がディスプレー上に反映される。【選択図】図１

Description

本考案は、左右２台のビデオカメラで撮影した２本の映像を、１本の３Ｄビデオに合成（エンコード）し、ディスプレイ上で３Ｄ映像として視（聴）するビデオ技術の分野である。

従来、３Ｄビデオ合成（エンコード）には次の方式がある。ラインバイライン、サイドバイサイド、トップアンドボトム、フレームシーケンシャル（パッキング）、そして視差バリヤーや、レンチキュラーレンズを用いたディスプレイに対応した方式である。これらのいずれに於いても、ディスプレーの表示解像度と同等か、それ以上のカメラの出力解像度を用いる。

サイドバイサイド、トップアンドボトム、ラインバイライン、視差バリヤーやとレンチキュラーレンズを用いたディスプレイの３Ｄビデオ合成（エンコード）方式において左右２ｃｈある映像それぞれでは、エンコードの過程でカメラの総画素数の半分（５０％）の画素で３Ｄビデオストリームが作られ、残り半分の画素は捨てられている。

２台の２Ｋ（１９８０ｘ１０８０）カメラの使用時には４Ｋ（３９６０ｘ２１６０）の３Ｄディスプレーを用いる。２台の４Ｋ（３９６０ｘ２１６０）カメラを使用時には８Ｋ（７９２０）の３Ｄディスプレーを用いる。つまり、３Ｄディスプレーの水平画素数の半分に相当する解像度のカメラを２台使用する。
そして、２台のカメラの各画素をディスプレーの画素相当上に以下のように配置するアプリケーションプログラムをコンピューター等で実行する。
市松模様配置手段：左カメラの第１走査線画素をディスプレーの第１走査線（奇数行）上に、一つ飛び越しで順次配置つまり奇数列のみに配置する。右カメラの第１走査線画素をディスプレーの第２走査線（偶数行）上の第２列目から一つ飛び越しで配置つまり偶数列のみに配置する。以降、同様に左右のカメラ入力を各画素に振り分けてゆく。
結果、２台のカメラの全画素が配置され、同数の空白画素と合わせて、市松模様のように配置する。
左右忖度配置手段：
前述の空白画素の補完において、空白画素の左右に隣接する画素の中間値を算出し、映像情報を空白画素に与え、補完する。
結果、ディスプレー上では、半分（５０％）は２台のカメラの全画素が配置され、残り半分は演算して作られた画素が満たす。
上下忖度配置手段：
同様に空白画素の補完において、空白画素の上下に隣接する画素の中間値を算出し、映像情報として与え、補完する。
結果、ディスプレー上では、半分（５０％）は２台のカメラの全画素が配置され、残り半分は演算して作られた画素が満たす。

市松模様配置手段：２Ｋ相当カメラを２台使用して，４Ｋ画質（１Ｋ相当カメラでは２Ｋ画質、４Ｋカメラでは８Ｋ画質）の３Ｄ映像を偏光メガネを用いるディスプレーで見る事ができる。奇数番の走査線が左目カメラを、偶数番の走査線が右目カメラを表示する。但し、４Ｋ画質としてはとしては情報量は半分（５０％）である。
左右忖度模様配置手段：２Ｋ相当カメラを２台使用して，４Ｋ画質（１Ｋ相当カメラでは２Ｋ画質、４Ｋカメラでは８Ｋ画質）の３Ｄ映像を偏光メガネを用いるディスプレーで見る事ができる。奇数番の走査線が左目カメラを、偶数番の走査線が右目カメラを表示する。
上下忖度模様配置手段：２Ｋ相当カメラを２台使用して４Ｋ画質（１Ｋ相当カメラでは２Ｋ画質、４Ｋカメラでは８Ｋ画質）の３Ｄ映像を視差バリアーやレンチキュラーレンズを用いたディスプレーで見る事ができる。
奇数番の列が左目カメラを、偶数番の列が右目カメラを表示する。

ディスプレー画面の画素の配列を１画素を正方形１枡で表す。最上位の行は第１番目の走査線を表す。最左位の列は走査線上の最初の画素である。ディスプレーの左上から水平、垂直方向に１０画素ほどずつを記し、それ以後は同じ繰り返しであるので省略した。
図１は本考案の第１例の市松模様配置である。左カメラの第１走査線画素をディスプレーの第１走査線（奇数行）上に、一つ飛び越しで順次配置つまり奇数列のみに配置する。右カメラの第１走査線画素をディスプレーの第２走査線（偶数行）上の第２列目から一つ飛び越しで配置つまり偶数列のみに配置する。以降、同様に左右のカメラ入力を各画素に振り分けてゆく。図２は本考案の第２例の左右忖度配置である。本考案の第１例においては、ディスプレーの全画素の半分（５０％）は映像情報を持たない。そこで、映像情報を持たない空白画素は、その左右の画素の映像情報を利用し、両者の中間値を演算して与え、補完する。結果、ディスプレーの全画素が映像情報を有する。図３は本考案の第３例の上下忖度配置である。本考案の第１例において、ディスプレーの全画素の半分（５０％）は映像情報を持たない。そこで、映像情報を持たない空白画素に、その上下の画素の映像情報を利用し、両者の中間値を演算して与え、補完する。結果、ディスプレーの全画素が映像情報を有する。

考案を実施する為の形態

本考案のアプリケーションプログラムをコンピューターにインストールする。高速、多コアのＣＰＵと高速、大メモリーのＧＰＵのコンピューターには、左右２カメラからの映像信号をＨＤＭＩ又はＳＤＩ接続で受けるキャプチャーカードを挿入する。
３Ｄに合成（エンコード）されたビデオストリームはＰＣ又はＧＰＵのＨＤＭＩ、ＳＤＩ、ＵＳＢ‐ｔｙｐｅＣ、ディスプレイポート又はサンダーボルトから出力する。

左右２台の２Ｋのビデオカメラの映像信号をそれぞれキャプチャーカードのＨＤＭＩケーブルでＰＣに取り込む。本考案のプログラムに従い、１本の４Ｋの３Ｄビデオストリームが合成される。本考案１なら、偏光メガネ式、視差バリアー式、レンチキュラー式の４Ｋ３Ｄディスプレーで視る。本考案２なら、偏光メガネ式の４Ｋ３Ｄディスプレーでで視る。本考案３なら、視差バリアー、又はレンチキュラー式の４Ｋ３Ｄディスプレーで視る

医療分野において、顕微鏡下手術は３Ｄ（立体）像を観て行う。内視鏡下手術では多くが２Ｄ（平面）像を、単眼接眼レンズを覗いて、もしくは２Ｄビデオディスプレイを視て行う。２Ｄ（平面）像は前後の奥行き情報がない。しかも術者に長時間の同じ姿勢、ほぼ不動状態を強いる。そこで３Ｄビデオサージャリー（ヘッドアップサージャリー）が術者から期待されている。今日、２Ｋ，４Ｋそして８Ｋと高精細ビデオ機器の製品開発が進み、肉眼で観察して得られる情報量（解像度、精細さ、色合い、色空間）に近づいる。本発明により、２Ｋのビデオカメラでほぼ４Ｋ画質の情報が、４Ｋのビデオカメラでほぼ８Ｋ画質の情報が、又、１Ｋのビデオカメラでほぼ２Ｋ画質の情報が３Ｄ映像として観察できる。医療の分野に限らず、３Ｄ映像制作プロダクションや、民生用途にも利用できる。

表の正方形１枡を画素と呼ぶ。１画素が水平方向に並んだ集合を走査線と呼び、上から順番に第１走査線、第２走査線、第‐‐と呼ぶ。１画素が垂直方向に並んだ集合を列と呼び、左から順番に第１列、第２列、第‐‐と呼ぶ。Ｌは左目カメラ、Ｒは右目カメラ、ＬとＲの直後の数字は走査線の順位番、ハイフン直後の数字は列の順位番である。ただし、Ｌ１‐１‐２のようにハイフンが２ケある画素は走査線上の順位番画素を示し、その画素を用いて中間値を算出して補完した画素である。また、Ｌ１＋Ｌ２‐１のように＋とハイフンのある画素は、ハイフン直後の列の順位番の走査線の順位番の画素を用いて中間値を算出して補完した画素を示す。従って、以下の代表例のとおり；
１Ｌ１‐１：左カメラ第１走査線の第１画素
２Ｌ１‐２：左カメラ第１走査線の第２画素
３Ｌ１‐３：左カメラ第１走査線の第３画素
４映像信号がない画素（べたの黒い色で表示）
５Ｒ３‐１：右カメラ第３走査線の第１画素
６Ｒ３‐２：右カメラ第３走査線の第２画素
７Ｒ３‐３：右カメラ第３走査線の第３画素
８Ｌ１‐１：左カメラ第１走査線の第１画素
９Ｌ１‐１‐２：左カメラ第１走査線の第１画素と第２画素を用いて中間値を算出して補完した画素
１０Ｌ１‐２：左カメラ第１走査線の第２画素
１１Ｒ２‐１：右カメラ第２走査線の第１画素
１２Ｒ２‐１‐２：右カメラ第２走査線の第１画素と第２画素を用いて中間値を算出して補完した画素
１３Ｒ２‐２：右カメラ第２走査線の第２画素
１４Ｌ１‐１：左カメラ第１走査線の第１画素
１５Ｌ２‐１：左カメラ第２走査線の第１画素
１６Ｌ１＋Ｌ２‐１：左カメラ第１と第２走査線の第１画素を用いて中間値を算出して補完した画素
１７Ｒ３‐１：右カメラ第３走査線の第１画素
１８Ｒ３＋Ｒ４‐１：右カメラ第３と第４の走査線の第１画素を用いて中間値を算出して補完した画素
１９Ｒ４‐１：右カメラ第４走査線の第１画素

Claims

左カメラの第１走査線画素をディスプレーの第１走査線（奇数行）上に、一つ飛び越しで順次配置つまり奇数列のみに配置する。右カメラの第１走査線画素をディスプレーの第２走査線（偶数行）上の第２列目から一つ飛び越しで配置つまり偶数列のみに配置する。以降、同様に左右のカメラ入力を各画素に振り分けてゆく３Ｄビデオ合成（エンコード）方式。
左カメラの第１走査線画素をディスプレーの第１走査線（奇数行）上に、一つ飛び越しで順次配置つまり奇数列のみに配置する。右カメラの第１走査線画素をディスプレーの第２走査線（偶数行）上の第２列目から一つ飛び越しで配置つまり偶数列のみに配置する。以降、同様に左右のカメラ入力を各画素に振り分けてゆく。そのさい、奇数行偶数列と、偶数行奇数列は空白画素となる、当該空白画素には左右に隣接する画素の中間値を算出し、映像情報を空白画素に与え、補完する３Ｄビデオ合成（エンコード）方式。
左カメラの第１走査線画素をディスプレーの第１走査線（奇数行）上に、一つ飛び越しで順次配置つまり奇数列のみに配置する。右カメラの第１走査線画素をディスプレーの第２走査線（偶数行）上の第２列目から一つ飛び越しで配置つまり偶数列のみに配置する。以降、同様に左右のカメラ入力を各画素に振り分けてゆく。そのさい、奇数行偶数列と、偶数行奇数列は空白画素となる、当該空白画素には上下に隣接する画素の中間値を算出し、映像情報を空白画素に与え、補完する３Ｄビデオ合成（エンコード）方式。