WO2022269967A1 - １枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ型式にエンコードする - Google Patents

１枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ型式にエンコードする Download PDF

Info

Publication number
WO2022269967A1
WO2022269967A1 PCT/JP2022/002972 JP2022002972W WO2022269967A1 WO 2022269967 A1 WO2022269967 A1 WO 2022269967A1 JP 2022002972 W JP2022002972 W JP 2022002972W WO 2022269967 A1 WO2022269967 A1 WO 2022269967A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
camera
output
imaging element
Prior art date
Application number
PCT/JP2022/002972
Other languages
English (en)
French (fr)
Inventor
昭 柴田
Original Assignee
昭 柴田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 昭 柴田 filed Critical 昭 柴田
Priority to DE112022002179.9T priority Critical patent/DE112022002179T5/de
Priority to CN202280036342.1A priority patent/CN118160298A/zh
Priority to US18/570,349 priority patent/US20240284029A1/en
Publication of WO2022269967A1 publication Critical patent/WO2022269967A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present invention is in the field of 3D video technology, where two optical images of left eye and right eye are encoded in any 3D format for recording and display.
  • 3D (three-dimensional/stereo) moving images (videos) and photographs (still images) are produced using two video signals from two cameras. Furthermore, there is no case of shooting / producing 3D movies with one camera, or even if there is a case of shooting / producing 3D movies with a single camera, or a set of three imaging devices in a 3-plate camera, Side_By_Side in the camera Limited to type encoding. In addition, shooting/production of 3D moving images using a single camera with two built-in imaging elements has already been seen.
  • Prior art literature No patent literature No non-patent literature The challenge is to display 3D and 3D photos on any display.
  • Arbitrary 3D encoding formats are side-by-side, top-and-bottom, line-by-line, frame-sequential, 3D video encoding (synthesis) formats for parallax barrier and lenticular applications, and future encoding formats.
  • Means for Solving the Problem One imaging element divides the image of the two optical paths of the left eye and the right eye into two areas at the center of the horizontal long side of a photographing lens with a 3D adapter, an endoscope, a microscope, etc. receive light.
  • a single image frame is an image in which the left and right optical images are arranged side by side without deformation. This image is output from the camera via one HDMI or SDI cable (four cables for QUAD-SDI).
  • This cable is divided into two and connected to a PC (personal computer) via two video/USB converters or from a two-input one-output PCIe video capture card. If the image corresponding to the left eye is cropped in one image with an arbitrary aspect ratio, the image corresponding to the right eye is cropped in the other image in the same subject range, and these two images are used to process into an arbitrary 3D encoding format. This image is displayed in 3D on a 3D display. Effect of the Invention The imaging device receives the optical image, processes the signal, and outputs the image to the camera.
  • a high-performance PC does not require a dedicated camera, and when performing 3D encoding processing, a high-performance PC is faster than in-camera processing and has less delay until display. Also, by using one same video stream twice, two videos with left and right parallax can be produced. This is the same as two images with parallax taken by two cameras for left and right eyes.
  • FIG. 1 is a cross-sectional view of an adapter barrel that connects an objective lens and a camera.
  • a commercially available photographing lens, microscope or endoscope is attached to the lens mount, and a commercially available camera is attached to the camera mount.
  • FIG. 2 is a capture card and wiring diagram.
  • the upper diagram in FIG. 3 is a schematic diagram for explanation in which an optical image is projected on the imaging element inside the camera and its surroundings.
  • the letters LLL and RRR are for illustration purposes only and are not images.
  • the lower part of FIG. 3 is a schematic diagram of the received light image of the image pickup device converted by the camera into an image with an aspect ratio of 16:9.
  • the aspect ratio can be 4:3, 3:2, 1:1 or whatever.
  • FIG. 4 is an image obtained by cropping the left-eye image of the above image at 16:9 and cropping the right-eye image with the same aspect ratio and viewing area. In reality, each screen has the same size as that of FIG.
  • the lower part of FIG. 4 is a schematic diagram of an image encoded in 3D by a PC using the above left-eye image and right-eye image.
  • One camera having one imaging element is attached to one photographing lens on two optical paths for left and right eyes. Images are output from the camera via one cable (four for QUAD-SDI) and distributed to two via a distributor. This is connected to a PC via two USB converters.
  • a PCIe capture card equipped with 2 video input terminals and 1 output terminal may be used, but the input video is branched into two in the card, one is through out and goes out of the PC, and it makes a U-turn. Return to the card, load into the PC, and receive the following application software processing. For the first image, an optical image corresponding to the left (or right) eye is cropped with an arbitrary aspect ratio.
  • an optical image corresponding to the right (or left) eye is cropped to the same subject range with the same aspect ratio as the first image.
  • This cropped image corresponding to the left eye image and that of the right eye are processed into an arbitrary 3D encoding format.
  • the camera image is connected to the PCIe video card inserted in the PC, and the two video outputs of the video card are 3D encoded by cropping the same subject range using the application software installed in the PC, and output to the 3D display. , 3D display.
  • two optical images of the left and right eyes are projected onto a single imaging element, and two video streams corresponding to the left and right eye images are cut out by a PC outside the camera, and these two streams are used to perform 3D encoding.
  • watch 3D videos and 3D photos Therefore, only one camera is required, a special 3D camera is not required, which is economical, and the outer shape is compact, making it easy to use.
  • it is used for both consumer and business purposes, it is especially used in surgical microscopes, slit lamp microscopes, and endoscopes in the medical field to popularize head-up surgery. Image inspection equipment in the medical and radiological fields will change from 2D photos and videos to 3D images.
  • one video stream can be created into two streams with parallax between the left and right eyes, encoded into an arbitrary format, recorded, and displayed for output, regardless of the field. 3D viewing is possible in an optimal encoding format.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Endoscopes (AREA)

Abstract

課題 １枚の撮像素子の１台のカメラの１本の出力映像信号を任意の３Ｄエンコード型式にし、その形式で録画でき、その型式でビデオディスプレーで３Ｄ動画や３Ｄ写真を表示しようとする、課題である。 解決手段 左・右眼に相当する２本の光路を持つ３Ｄ撮影レンズは１台のカメラの１枚の撮像素子へ、左光路像はその長辺の中央で分割した撮像素子の左半分へ、右光路像は右半分側へ結像する。この中央境界線を左光路像が右半分側へ、右光路像は左半分側へ迷光しないように遮光板を設置し、撮像素子上の結像を映像信号にし、変形や圧縮を加えず、そめまま出力する。 その１本のケーブルをキャプチャーカードに接続する。このカードは入力端子２個以上、ループスルー出力端子１個以上でＰＣに内蔵しているが、カード内で２本のストリームに分岐して、１本はアプリでＰＣ処理へ、他の１本はループスルーして出力端子へ、この出力端子ともう１個の入力端子をケーブル接続すると、映像ストリームはＰＣの外に出て、Ｕターンしてこの入力端子からカードに戻り、アプリでＰＣ処理へと進行する。 左・右眼の２光学像を写した１本のビデオストリームをアプリケーションソフトウエアーで２度、ＰＣに取り込み、１度のストリームのフレーム上の左半分を任意のアスぺクト比でクロップし、２度目のストリームのフレーム上の右半分を同じアスぺクト比で同じ視野域をクロップする。こうしてできた２本のビデオストリームを用いて任意の形式に３Ｄエンコードする。これを録画し、ディスプレーに表示する。

Description

１枚の撮像素子の１台のカメラの映像を既存のすべての３Ｄ型式にエンコードする
本考案は、左眼右眼の２光学像を任意の３Ｄ型式のエンコードにして、録画、ディスプレー表示するところの、３Ｄビデオ技術の分野である。
従来、２台のカメラの２本の映像信号により３Ｄ（立体／ステレオ）動画（ビデオ）や写真（静止画）を制作する。
更に、１枚の撮像素子の、３板式カメラでは３枚１組の撮像素子の、１台のカメラにより３Ｄ動画を撮影／制作した事例はない、あるいはあったとしてもてもカメラ内でのＳｉｄｅ＿Ｂｙ＿Ｓｉｄｅ型式のエンコードに限定される。
また、２枚の撮像素子内蔵の１台のカメラによる３Ｄ動画の撮影／制作は既にみられる。
　先行技術文献
特許文献
なし
非特許文献
なし
　発明が解決しようとする課題
１枚の撮像素子の１台のカメラの１本の出力映像信号を遅延なく任意の３Ｄエンコード型式にし、その型式で録画でき、任意のディスプレーで３Ｄや３Ｄ写真を表示しようとする課題である。
任意の３Ｄエンコード型式とは、サイドバイサイド、トップアンドボトム、ラインバイライン、フレームシーケンシャルや視差バリヤー用途とレンチキュラー用途の３Ｄビデオエンコード（合成）方式であり、今後に生み出されるエンコード型式である。
　課題を解決するための手段
３Ｄアダプター付きの撮影レンズ、内視鏡や顕微鏡等の左眼と右眼の２光学光路の像を１枚の撮像素子が水平長辺の中央で２領域に分けて受光する。
１枚の映像フレームは左右の光学像がそのまま変形なく左右に並んだ映像となる。カメラからこの映像がＨＤＭＩ又はＳＤＩケーブル１本（ＱＵＡＤ‐ＳＤＩなら４本）で出力する。
このケーブルを２分配し、２台のビデオ／ＵＳＢ変換器を経て、あるいは２入力１出力ＰＣＩｅビデオキャプチャーカードからＰＣ（パーソナルコンピューター）に接続する。片方の映像で左目相当像を任意のアスペクト比でクロップすれば、他方の映像で右目相当像を同じ被写体範囲でクロップし、この２本の映像を用いて任意の３Ｄエンコード型式に処理する。この映像は３Ｄディスプレーに３Ｄ表示をする。
　考案の効果
撮像素子が光学像を受光し、信号処理し、カメラ出力まで２Ｄ映像の処理・手法と同一であり、市販されているレンズ、顕微鏡、内視鏡等、そしてカメラが使用でき、３Ｄ専用カメラを必要とせず、３Ｄエンコード処理をする際に、高性能ＰＣはカメラ内処理より速く、表示までの遅延が少ない。
又、１本の同じ映像ストリームを２度使用して左右２本の視差のある映像ができる。これは左眼右眼用の２台のカメラで撮影した２本の視差のある映像と変わるところが無い。
図１は、対物レンズとカメラを繋ぐアダプター鏡筒の断面図。レンズマウントには市販の撮影レンズ、顕微鏡や内視鏡が、カメラマウントには市販のカメラが付く。
図２は、キャプチャーカード及び結線図。
図３の上側の図は、カメラ内部の撮像素子とその周辺に光学像が投影された説明用模式図。ＬＬＬやＲＲＲの文字は説明の為に書き入れたもので像ではない。
図３の下側の図は、撮像素子の受光像をカメラが横縦比１６：９の映像にした模式図。縦横（アスペクト）比は４：３、３：２、１：１でも何でもよい。
図４の上側の図は、上記の映像を１６：９で左目像をクロップし、同じ縦横比と視野域で右目像をクロップした映像の図。実際には各々図４と同一の大きさの画面である。
図４の下側の図は、上記の左目像映像と右目像映像を用いてＰＣで３Ｄにエンコードした映像の模式図
　考案を実施する為の形態
左眼右眼用２本の光路の１本（台）の撮影レンズに１枚の撮像素子の１台のカメラを装着する。カメラから映像はケーブル１本（ＱＵＡＤーＳＤＩなら４本）で出力し、それを分配器で２本に分配する。これをＵＳＢ変換器２台を経由してＰＣに接続する。
もしくは、２映像入力端子と１出力端子装備のＰＣＩｅキャップチャーカードでも良いが、入力映像はカード内で２本に分岐し、１本はスルーアウトしてＰＣの外に出て、Ｕターンしてカードに戻り、ＰＣに取り込み、以下の応用ソフトウエアーの処理を受ける。
最初の映像は左（右でも可）目相当の光学像を任意のアスペクト比でクロップする。分岐した後の映像で右（左でも可）目相当の光学像を最初のそれと同じアスペクト比で同じ被写体の範囲をクロップする。このクロップした左目像相当の映像と右目のそれを任意の３Ｄエンコード型式に処理する。
手術顕微鏡の双眼鏡筒を外し、本考案アダプターを付け、３５ｍｍ判一眼カメラを載せる。カメラ映像を、ＰＣに挿入したＰＣＩｅビデオカードに接続し、ビデオカードの２本の映像出力を、ＰＣにインストールした応用ソフトウエアーで各々同じ被写体範囲をクロップして３Ｄエンコードし、３Ｄディスプレーに出力すると、３Ｄ表示する。
本発明は、１枚の撮像素子に左右眼の２光学像を写し込み、カメラの外部のＰＣで、左右眼像相当の２本のビデオストリームを切り出して、この２本を用いて３Ｄエンコードし、３Ｄビデオや３Ｄ写真を視聴する。従って、１台のカメラがあれば良いし、特殊な３Ｄカメラが不要で経済的であり、外形もコンパクトになり使い勝手が良い。民生用に、業務用途にも利用されるが、特に医療分野の手術顕微鏡や細隙灯顕微鏡、あるいは内視鏡に搭載してヘッドアップサージャリーを普及させる。医療、放射線分野の映像検査器機が２Ｄ写真・ビデオから３Ｄ映像になる。
又、１台のＰＣで遅延を回避して、１本のビデオストリームを左右眼の視差のある２本のストリームを製作し、任意の形式にエンコードし、記録し、表示出力できるから分野を問わず、最適なエンコード形式で３Ｄ視聴される。
　１　　対物レンズ用マウント
　２　　右側光路
　３　　左側光路
　４　　カメラマウント
　５　　遮光板
　６　　アダプター鏡筒
　７　　映像入力端子
　８　　映像出力端子
　９　　映像入力端子
１０　　キャプチャーカード
１１　　カメラ内部の撮像素子周りにに光学像が投された様子。ＬＬＬやＲＲＲの像は実際には反転している。
１２　　左光路のイメージサークル
１３　　撮撮素子
１４　　遮光板の効果を想定する境界
１５　　右光路のイメージサークル
１６　　１枚のフレーム上の左側の左光路映像
１７　　１枚のフレーム上の右側の右光路映像
１８　　左光路映像をクロップ。１枚のフレームに左光路のみの映像
１９　　右光路映像をクロップ。１枚のフレームに右光路のみの映像
２０　　上記１８と１９をＰＣで３Ｄエンコードした映像

Claims (3)

  1. ３Ｄアダプター付きの撮影レンズ、内視鏡や顕微鏡等の左眼と右眼の２光学光路の像を１枚の撮像素子が水平長辺の中央で２領域に分けて受光する。１枚のフレームは左右の光学像がそのまま変形なく左右に並んだ映像となる。
    カメラからこの映像がＨＤＭＩ又はＳＤＩケーブル１本（ＱＵＡＤ‐ＳＤＩなら４本）で出力する。
    この撮像方法、この撮像方法によりできる映像とこの映像のカメラ出力よりなる動画・写真の制作方法
  2. カメラからの映像をＨＤＭＩまたはＳＤＩ（ＱＵＡＤ−ＳＤＩならケーブル４本）ケーブル１本でキャプチャーカードに接続する。キャプチャカードは各々独立した入力端子２個以上、この入力映像のループスルー出力端子１個以上を備え、カメラからの入力映像を２本に分岐して、１本はＰＣ処理へ、他の１本はループスルーして出力端子へ、この出力端子ともう１個の入力端子をケーブル接続すると、映像ストリームはＰＣの外に出て、Ｕターンしてこの入力端子からキャプチャーカードに戻り、ＰＣ処理へと進むところのキャプチャーカードの出力端子とその入力端子を結線する方式。
  3. 同じ映像のストリームを２本用いて、１本目のストリームのフレームの左側半分を任意のアスペクト比でクロップし、２本目のストリームのフレーム上の右側半分を同じアスペクト比、かつ同じ被写体の範囲をクロップすると左目像の映像と右目像の映像の２本のストリームができる。この２本を用いて任意の型式の３Ｄにエンコードする、映像ストリームの使用とクロッピングする方法
PCT/JP2022/002972 2021-06-22 2022-01-12 １枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ型式にエンコードする WO2022269967A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112022002179.9T DE112022002179T5 (de) 2021-06-22 2022-01-12 Kodierung von Videos von einer einzelnen Kamera mit einem einzigen bildgebenden Element in alle bisherigen 3D-Formate
CN202280036342.1A CN118160298A (zh) 2021-06-22 2022-01-12 一种将单个成像元件的摄像机视频编码为3d格式的方法
US18/570,349 US20240284029A1 (en) 2021-06-22 2022-01-12 Encodes Images From a Single Image Sensor of a Single Camera into All Existing 3D Formats

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-002948U 2021-06-22
JP2021002948U JP3235441U (ja) 2021-06-22 2021-06-22 １枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ形式にエンコードする

Publications (1)

Publication Number Publication Date
WO2022269967A1 true WO2022269967A1 (ja) 2022-12-29

Family

ID=79169893

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002972 WO2022269967A1 (ja) 2021-06-22 2022-01-12 １枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ型式にエンコードする

Country Status (5)

Country Link
US (1) US20240284029A1 (ja)
JP (1) JP3235441U (ja)
CN (1) CN118160298A (ja)
DE (1) DE112022002179T5 (ja)
WO (1) WO2022269967A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077823A (ja) * 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd 映像再生装置
JP2019029876A (ja) * 2017-07-31 2019-02-21 パナソニックＩｐマネジメント株式会社 画像処理装置、カメラ装置及び出力制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077823A (ja) * 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd 映像再生装置
JP2019029876A (ja) * 2017-07-31 2019-02-21 パナソニックＩｐマネジメント株式会社 画像処理装置、カメラ装置及び出力制御方法

Also Published As

Publication number Publication date
JP3235441U (ja) 2021-12-23
CN118160298A (zh) 2024-06-07
DE112022002179T5 (de) 2024-02-15
US20240284029A1 (en) 2024-08-22

Similar Documents

Publication Publication Date Title
JP4686795B2 (ja) 画像生成装置及び画像再生装置
EP2386898A1 (en) Stereoscopic imaging apparatus and method
JP2006033228A (ja) 画像撮像装置
JPH10336705A (ja) 複眼カメラ
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
JP2011035853A (ja) 撮像装置および映像記録再生システム
US9983384B2 (en) Stereoscopic lens for digital cameras
JP2010181826A (ja) 立体画像形成装置
Kwon et al. High-definition 3D stereoscopic microscope display system for biomedical applications
JP2005020606A (ja) デジタルカメラ
JP4590754B2 (ja) 画像入力処理装置
JP2004297540A (ja) 立体映像記録再生装置
JP3676916B2 (ja) 立体撮像装置および立体表示装置
WO2011024423A1 (ja) 立体映像表示制御装置及び立体映像撮像装置
WO2022269967A1 (ja) １枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ型式にエンコードする
KR101699597B1 (ko) 단일 광 경로 배축적 입체영상 이미징 장치
JPH11187425A (ja) 立体映像装置及び方法
JP2012088549A (ja) 立体画像撮像装置、立体画像表示装置、および立体画像撮像表示装置
WO2010069169A1 (zh) 单传感器并列式立体图像拍摄方法
TWI222318B (en) 3-dimensional video recording/reproduction device
JP2012134885A (ja) 画像処理装置及び画像処理方法
WO2012132088A1 (ja) 撮像装置及び交換レンズ
WO2011101928A1 (ja) 立体画像撮影用アダプタ、ハイブリッド撮影システムおよび電子カメラ
JPH10224821A (ja) 複眼カメラおよびその複眼カメラを用いた映像表示システム
WO2012117619A1 (ja) 立体画像撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827891

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280036342.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18570349

Country of ref document: US

Ref document number: 112022002179

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22827891

Country of ref document: EP

Kind code of ref document: A1