JP2023540363A - カメラ感度を向上させ、同一の視点をマッチングするための光学装置 - Google Patents

カメラ感度を向上させ、同一の視点をマッチングするための光学装置 Download PDF

Info

Publication number
JP2023540363A
JP2023540363A JP2023515331A JP2023515331A JP2023540363A JP 2023540363 A JP2023540363 A JP 2023540363A JP 2023515331 A JP2023515331 A JP 2023515331A JP 2023515331 A JP2023515331 A JP 2023515331A JP 2023540363 A JP2023540363 A JP 2023540363A
Authority
JP
Japan
Prior art keywords
sensor
sensors
lens
image
attachment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023515331A
Other languages
English (en)
Inventor
フェリックス ザウアーマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023540363A publication Critical patent/JP2023540363A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Figure 2023540363000001
方法、システム、及びコンピュータ可読記憶媒体は、画像ビームを受け取るためのレンズ及びフォーカルリデューサと、前記フォーカルリデューサから前記画像ビームを受け取り、前記画像ビームを複数の方向に分割するためのビームスプリッタとを含む。前記システムは、また、前記ビームスプリッタに結合される複数のセンサを含む。前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成される。更に、前記複数のセンサのうちの第1のセンサの前記特定の周波数帯域は、前記複数のセンサのうちの第2のセンサの前記特定の周波数帯域と重ならない。前記フォーカルリデューサは、前記画像ビームを集光して増幅して、各センサの感度を増加させる。
【選択図】図2

Description

[0001] 本開示は、光学装置に関し、具体的には、画像マッチング及びビデオ制作におけるビデオ信号の増幅に関する。
[0002] ビデオ制作のための従来のシステムでは、大きいフィルムフォーマット(例えば、フルフレーム35mmフォーマット、又は65mm又は70mmのImage Maximum(IMAX)フォーマット)のために、大きい設定が必要である場合がある。しかしながら、大きい設定は、嵩張りかつ複雑である場合がある。更に、大きい設定を使用するマット生成は、困難かつ複雑なプロセスを伴う場合がある。
[0003] 本開示は、光に対するカメラの感度を向上させ、2つの同一の視点のマッチングを可能にする光学システムのための技術を実装することを提供する。
[0004] 1つの実装では、システムを開示する。前記システムは、画像ビームを受け取るためのレンズ及びフォーカルリデューサと、前記フォーカルリデューサから前記画像ビームを受け取り、前記画像ビームを複数の方向に分割するためのビームスプリッタとを含む。前記システムは、また、前記ビームスプリッタに結合される複数のセンサを含む。前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成される。更に、前記複数のセンサのうちの第1のセンサの前記特定の周波数帯域は、前記複数のセンサのうちの第2のセンサの前記特定の周波数帯域と重ならない。1つの実装では、前記フォーカルリデューサは、前記画像ビームを集光して増幅して、各センサの感度を増加させる。
[0005] 1つの実装では、前記ビームスプリッタは、前記第1のセンサに結合するための第1のスプリッタアタッチメントと、前記第2のセンサに結合するための第2のスプリッタアタッチメントとを少なくとも含む。1つの実装では、前記第1のセンサは、前記第1のスプリッタアタッチメントに結合するための第1のセンサアタッチメントを含み、前記第2のセンサは、前記第2のスプリッタアタッチメントに結合するための第2のセンサアタッチメントを含む。1つの実装では、前記第1のセンサアタッチメントは、対物レンズを介在させることなく、前記第1のスプリッタアタッチメントに直接結合する。1つの実装では、前記第2のセンサアタッチメントは、対物レンズを介在させることなく、前記第2のスプリッタアタッチメントに直接結合する。1つの実装では、前記第1のセンサは、可視光感知画像を生成するように構成される可視光センサであり、前記第2のセンサは、IR感知画像を生成するように構成される赤外線(IR)センサである。1つの実装では、前記システムは、前記可視光感知画像及び前記IR感知画像を受け取り、マット生成プロセスで使用するためにこれらの画像を組み合わせるためのプロセッサを更に含む。1つの実装では、前記レンズは、IMAXフォーマットレンズを含むラージフォーマットレンズである。1つの実装では、前記複数のセンサは、複数のフルフレームセンサを含む。1つの実装では、前記レンズは、35mmフォーマットレンズを含むフルフレームレンズである。1つの実装では、前記複数のセンサは、複数の2/3インチセンサを含む。
[0006] 別の実装では、方法を開示する。前記方法は、レンズ及びフォーカルリデューサを通じて画像ビームを受け取るステップと、ビームスプリッタを使用して、前記画像ビームを、複数のセンサに向けて複数の方向に分割するステップと、前記ビームスプリッタに前記複数のセンサを結合するステップと、を含み、前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成される。
[0007] 1つの実装では、前記複数のセンサのうちの第1のセンサの前記特定の周波数帯域は、前記複数のセンサのうちの第2のセンサの前記特定の周波数帯域と重ならない。1つの実装では、前記方法は、ビーム分割画像(beam-split image)を受け取って処理して、前記第1のセンサの前記特定の周波数帯域を通じて感知される第1の周波数感知画像を生成するステップと、ビーム分割画像(beam-split image)を受け取って処理して、前記第2のセンサの前記特定の周波数帯域を通じて感知される第2の周波数感知画像を生成するステップと、を更に含む。1つの実装では、前記方法は、前記第1の周波数感知画像と前記第2の周波数感知画像とを組み合わせるステップを更に含む。1つの実装では、前記レンズは、ラージフォーマットレンズである。1つの実装では、前記ラージフォーマットレンズは、IMAXフォーマットレンズを含む。1つの実装では、前記複数のセンサは、複数のフルフレームセンサを含む。1つの実装では、前記複数のフルフレームセンサは、複数の35mmフォーマットイメージセンサを含む。
[0008] 更なる実装では、フルフレームセンサをカバーするためのラージフォーマットレンズのイメージサークルを縮小するためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、フォーカルリデューサを含む前記ラージフォーマットレンズを通じて画像ビームを受け取ることと、ビームスプリッタを使用して、前記画像ビームを、複数のフルフレームセンサに向けて複数の方向に分割することと、前記ビームスプリッタに前記複数のフルフレームセンサを結合することと、を行わせ、前記複数のフルフレームセンサのうちの各フルフレームセンサは、特定の周波数帯域内の前記画像ビームを感知するように構成される。
[0009] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
[0010] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。
本開示の1つの実装による、レンズのイメージサークルを縮小するための光学システムのブロック図である。 本開示の1つの実装による、レンズのイメージサークルを縮小するための方法のフロー図である。 本開示の実装による、コンピュータシステム及びユーザの図である。 本開示の実装による、イメージサークル縮小アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。 本開示の1つの実装による、医用撮像のための方法を示す図である。
[0016] 上記のように、ビデオ制作のための従来のシステムは、大きい設定を必要とする場合がある。例えば、シーンから入射する(光の)ビームを複数のセンサ(各センサは別個のレンズを有する)に向ける必要がある設定において、IMAX、フルフレーム、及び35mmフォーマットなどのフィルムフォーマットのための大きいイメージサークルを処理するために、大きいビームスプリッタが必要である場合がある。しかしながら、大きい設定は、嵩張り、複雑であり、2つの個々のレンズを使用する結果として得られる2つの画像の不一致に起因して不正確になりやすい場合がある。更に、大きい設定を使用するマット生成は、困難かつ複雑なプロセスを伴う場合がある。
[0017] 本開示の特定の実装は、ビデオ制作においてイメージサークルを縮小するための装置及び方法を提供する。当初意図されていたイメージサークルを縮小し、そのために、レンズによって投影されるイメージサークルを集光して、より小さい領域をカバーすることによって、入射光を強める。イメージサークルのサイズ縮小に応じて、投影された画像は、明るさ及び強度が増加することができる。すなわち、より多くの光をより小さい領域上に投影することによって、より多くの光がカメラのイメージセンサに入射できるようにすることができ、これにより、より良好な信号対雑音比をもたらすことによって、光に対するカメラ感度を向上させることができる。更に、光学システムは、1つのレンズからのビームを、IR感応センサ(以下「IRセンサ」と呼ぶ)及び赤緑青(RGB)又は可視光センサ(以下「RGBセンサ」と呼ぶ)への2方向に分割することができる。
[0018] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
[0019] 1つの実装では、フルフレームセンサをカバーするためのラージフォーマットレンズのイメージサークルを縮小する光学システムは、レンズと、イメージサークルを縮小して集光することによってビームを強めるためのフォーカルリデューサと同様の他の光学要素とを含むことができる。光学システムは、1つのレンズ及び他の光学要素からのビームを、IRセンサ及びRGBセンサへの2方向に分割することもできる。別の実装では、光学システムは、1つのレンズからのビームを、複数のセンサへの複数の方向に分割することができ、各センサは、特定の周波数帯域内のビームをフィルタリングするように構成される。ビームの強化は、より長い距離を移動したり、追加の要素を通過したり、又は複数の方向に分割されることによって失われる光を補償するのに役立つことができる。
[0020] この光学システムの1つの目的は、そうでない場合には2/3インチセンサ又は35mmフルフレーム(又はスーパー35mm)イメージレンズサークルで可能なものよりも多くの光を取り込むことである。別の目的は、そうでない場合には2つのセンサ(一方はIR、他方はRGB)及び2つのレンズの前に配置される物理的に大きいビームスプリッタアレイを、ずっと小さく軽いパッケージに縮小することである。したがって、1つの実装では、光学システムの新しい設定は、1つのみのレンズと、(ビームを増幅するための)光学フォーカルリデューサとを必要とすることができる。更に別の目的は、物理的センサリグと、マット生成プロセスなどの画像及びソフトウェアパイプラインとの両方において、複雑さ、重量及びサイズを低減することである。組み合わせた効果は、グリーンスクリーンなしで、被写体をその環境から分離する能力を有するずっと小さいセンサ/カメラ上でIMAXのように見えるとともに、また、動的又は低い光条件を可能にするであろう。
[0021] 図1は、本開示の1つの実装による、レンズのイメージサークルを縮小するための光学システム100のブロック図である。図1に示す実装では、光学システム100は、対物レンズ120と、ビームスプリッタ110と、RGBセンサ150と、IRセンサ160と、プロセッサ170とを含む。
[0022] 図1に示す実装では、RGBセンサ150は、ビームスプリッタ110を取り付けるためのアタッチメント152を含む。したがって、この実装では、RGBセンサ150は、レンズを含むのではなく、ビームスプリッタ110に直接結合する。図1に示す実装では、IRセンサ160は、ビームスプリッタ110を取り付けるためのアタッチメント162を含む。したがって、この実装では、IRセンサ160は、レンズを含むのではなく、ビームスプリッタ110に直接結合する。図1に示す実装では、ビームスプリッタ110は、RGBセンサ150のアタッチメント152にビームスプリッタ110を取り付けるための第1のアタッチメント112と、IRセンサ160のアタッチメント162にビームスプリッタ110を取り付けるための第2のアタッチメント114とを含む。アタッチメント112、114、152、162は、センサ150、160のサイズに従って交換可能な要素であることに留意されたい。
[0023] 図1に示す実装では、ビームスプリッタ110は、フォーカルリデューサ122を取り付けるか又は含むことができる。第1の実装では、対物レンズ120と、フルフレームセンサ(例えば、35mmイメージセンサ)をカバーするためのラージフォーマットレンズ(例えば、65mm又はIMAXフォーマットレンズ)のイメージサークルを縮小するフォーカルリデューサ122とを通じて、(可視光及びIRの)ビーム102を受け取る。したがって、第1の実装はフィルム市場に適用される。第2の実装では、フォーカルリデューサ122は、2/3インチセンサをカバーするためのフルフレームセンサ(例えば、35mmイメージセンサ)のイメージサークルを縮小する。したがって、第2の実装は放送市場に適用され、放送画像は「フィルム」に見える。フォーカルリデューサ122は、センサ150、160のサイズ及びレンズ120の選択に従って交換可能な要素であることに留意されたい。
[0024] 次に、ビームスプリッタ110は、レンズ120からのビーム102を分割して、ビーム102をRGBセンサ150及びIRセンサ160に向ける。ビーム102の強化は、より長い距離を移動したり、追加の要素を通過したり、又は2方向に分割されることによって失われる光を補償するのに役立つことができる。
[0025] ビームスプリッタ110の前に単一のレンズ120を有する(すなわち、ビーム102の経路内のビームスプリッタ110の前に、レンズ120が配設される)とともに、センサ150、160の各々におけるレンズは取り外されるか又は存在しないことによって、(アタッチメント112、114、152、162を通じて)センサ150、160において受け取られる画像116、118は、実質的に同一のものとすることができる。すなわち、画像116、118は、同じ視野を有するだけでなく、同じレンズから入射するので実質的に同一のものとすることもできる。更に、レンズ120とビームスプリッタ110との間にフォーカルリデューサ122を含むことによって、ビームスプリッタ110のサイズを実質的に低減することができる。したがって、フォーカルリデューサ122は、ビームスプリッタ110内に又はその一部として、又はレンズ120とビームスプリッタ110との間の中間部品に取り付けられてそれとして働く別個のモジュール部品として収容される光学要素とすることができる。
[0026] 図1に示す実装では、RGBセンサ150は、画像116を受け取り、可視光感知画像154を生成し、一方、IRセンサ160は、画像118を受け取り、IR画像164を生成する。上記のように、画像116、118は、実質的に同一のものとすることができる。
[0027] 1つの実装では、プロセッサ170は、可視光感知画像154及びIR画像164を受け取り、様々な目的のために画像154、164を処理する。例えば、マット生成プロセスのために光学システム100が使用される時に、レンズ120、ビームスプリッタ110、及びセンサ150、160は、画像116、118が実質的に同一であることに基づいて、画像又は画素マッチングの初期処理を実行することができる。同様の2つのレンズが存在しないので、所与のレンズは、光ビームがレンズを通過している時、光ビームを一意に歪ませて修正する。したがって、結果として得られる画像の特性は、そのレンズに固有のものである。2又は3以上のカメラセンサの視点(point of view)から同一の視点(identical perspective)を作成するために、光ビームは、2又は3以上の方向に分割される前に、1つの同じレンズを通過する必要がある。そうでない場合には、2つの異なるレンズから発出するビームを含む視点のマッチングは、同一ではない場合がある。したがって、プロセッサ170は、画像154、164を受け取り、人工知能(AI)又は機械学習と共に、マット生成プロセスの制御部分のためだけに画像154、164を処理して、オンザフライで可能なアーチファクトを除去することができる。したがって、組み合わせた効果は、グリーンスクリーンなしで、被写体をその環境から分離する能力を有する実質的により小さいカメラ/センサ上でIMAXのように見えるとともに、また、動的又は低い光条件を可能にすることができる。
[0028] 一般的な実装では、システムは、画像ビームを受け取るためのレンズ及びフォーカルリデューサと、前記レンズの前記フォーカルリデューサから前記画像ビームを受け取り、前記画像ビームを複数の方向に分割するためのビームスプリッタと、前記ビームスプリッタに結合される複数のセンサと、を含み、前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成され、前記複数のセンサのうちの第1のセンサの前記特定の周波数帯域は、前記複数のセンサのうちの第2のセンサの前記特定の周波数帯域と重ならない。
[0029] 1つの実装では、前記ビームスプリッタは、前記第1のセンサに結合するための第1のスプリッタアタッチメントと、前記第2のセンサに結合するための第2のスプリッタアタッチメントとを少なくとも含む。前記第1のセンサは、前記第1のスプリッタアタッチメントに結合するための第1のセンサアタッチメントを含むことができ、前記第2のセンサは、前記第2のスプリッタアタッチメントに結合するための第2のセンサアタッチメントを含むことができる。前記第1のセンサアタッチメントは、レンズを介在させることなく、前記第1のスプリッタアタッチメントに直接結合することができる。前記第2のセンサアタッチメントは、レンズを介在させることなく、前記第2のスプリッタアタッチメントに直接結合することができる。前記レンズは、IMAXフォーマットレンズを含むラージフォーマットレンズとすることができる。前記複数のセンサは、複数の35mmイメージセンサを含む複数のフルフレームセンサを含む。
[0030] 図2は、本開示の1つの実装による、レンズのイメージサークルを縮小するための方法200のフロー図である。図2に示す実装では、方法200は、光に対するカメラの感度を向上させ、2つの同一の視点のマッチングを可能にする光学システムのための技術を実装する。
[0031] 1つの実装では、ステップ210において、レンズ及びフォーカルリデューサを通じて光ビームを受け取る。次に、ステップ220において、ビームスプリッタによって、ビームを、複数のセンサに向けて2つの方向に分割することができる。複数のセンサは、RGBセンサ及びIRセンサを少なくとも含むことができる。フォーカルリデューサによって行われるビームの強化は、より長い距離を移動したり、追加の要素を通過したり、又は2方向に分割されることによって失われる光を補償するのに役立つことができる。
[0032] 1つの実装では、ステップ230において、複数のセンサの各々は、レンズなしで、ビームスプリッタに直接結合するか又は取り付けられる。したがって、ビームスプリッタの前に単一のレンズを有するとともに、複数のセンサの各々におけるレンズは取り外されるか又は存在しないことによって、センサにおいて受け取られる画像は、実質的に同一のものとすることができる。更に、ビームスプリッタの前にフォーカルリデューサを有することによって、ビームスプリッタのサイズを実質的に低減することができる。
[0033] ステップ240において、複数のセンサのうちの第1のセンサは、ビーム分割画像(beam-split image)を受け取って処理して、第1の周波数スペクトルを通じて感知又はフィルタリングされる画像(第1の周波数感知画像)を生成することができる。ステップ250において、複数のセンサのうちの第2のセンサは、ビーム分割画像(beam-split image)を受け取って処理して、第2の周波数スペクトルを通じて感知又はフィルタリングされる画像(第2の周波数感知画像)を生成することができる。次に、ステップ260において、例えばマット生成プロセスのために、第1の周波数感知画像と第2の周波数感知画像とを組み合わせて、画素毎の画像マッチングを可能にして、結果として得られる画像をレイヤに分離することができる。
[0034] 図3Aは、本開示の実装による、コンピュータシステム300及びユーザ302の図である。ユーザ302は、コンピュータシステム300を使用して、図1のプロセッサ170及び図2の方法200に関して図示及び説明されるような、フルフレームセンサをカバーするためのラージフォーマットレンズのイメージサークルを縮小するためのイメージサークル縮小アプリケーション390を実装する。
[0035] コンピュータシステム300は、図3Bのイメージサークル縮小アプリケーション390を記憶して実行する。更に、コンピュータシステム300は、ソフトウェアプログラム304と通信することができる。ソフトウェアプログラム304は、イメージサークル縮小アプリケーション390のためのソフトウェアコードを含むことができる。ソフトウェアプログラム304は、以下で更に説明するように、CD、DVD又はストレージドライブなどの外部媒体にロードすることができる。
[0036] 更に、コンピュータシステム300は、ネットワーク380に接続することができる。ネットワーク380は、様々な異なるアーキテクチャ、例えば、クライアント-サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク380は、イメージサークル縮小アプリケーション390内で使用されるエンジン及びデータを協調させるサーバ385と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク380は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。
[0037] 図3Bは、本開示の実装による、イメージサークル縮小アプリケーション390をホストするコンピュータシステム300を示す機能ブロック図である。コントローラ310はプログラマブルプロセッサであり、コンピュータシステム300及びそのコンポーネントの動作を制御する。コントローラ310は、メモリ320又は内蔵コントローラメモリ(図示せず)から(例えば、コンピュータプログラムの形で)命令をロードして、これらの命令を実行してシステムを制御して、例えば、データ処理を提供する。その実行において、コントローラ310は、イメージサークル縮小アプリケーション390にソフトウェアシステムを提供して、例えば、マット生成プロセスを実行して、グリーンスクリーンを必要とせずに被写体を環境から抽出する。代替的に、このサービスは、コントローラ310又はコンピュータシステム300において別個のハードウェアコンポーネントとして実装することができる。
[0038] メモリ320は、コンピュータシステム300の他のコンポーネントによって使用するためにデータを一時的に記憶する。1つの実装では、メモリ320はRAMとして実装される。別の実装では、メモリ320は、また、フラッシュメモリ及び/又はROMなどの長期又は永久メモリを含む。
[0039] ストレージ330は、コンピュータシステム300の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ330は、イメージサークル縮小アプリケーション390によって使用されるデータを記憶する。1つの実装では、ストレージ330は、ハードディスクドライブである。
[0040] メディアデバイス340は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び/又は書き込みを行う。1つの実装では、例えば、メディアデバイス340は、光ディスクドライブである。
[0041] ユーザインターフェイス350は、コンピュータシステム300のユーザからユーザ入力を受け取ってユーザ302に情報を提示するためのコンポーネントを含む。1つの実装では、ユーザインターフェイス350は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ310は、ユーザ302からの入力を使用して、コンピュータシステム300の動作を調整する。
[0042] I/Oインターフェイス360は、1又は2以上のI/Oポートを含み、外部記憶又は補足装置(例えば、プリンタ又はPDA)などの対応するI/Oデバイスに接続する。1つの実装では、I/Oインターフェイス360のポートは、USBポート、PCMCIAポート、シリアルポート、及び/又はパラレルポートなどのポートを含む。別の実装では、I/Oインターフェイス360は、外部装置と無線で通信するための無線インターフェイスを含む。
[0043] ネットワークインターフェイス370は、イーサネット接続をサポートするRJ-45又は「Wi-Fi」インターフェイス(802.11を含むが、これに限定されるわけではない)などの有線及び/又は無線ネットワーク接続を含む。
[0044] コンピュータシステム300は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア(例えば、電力、冷却、オペレーティングシステム)を含むが、これらのコンポーネントは、簡略化のために図3Bに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる(例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成)。
[0045] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。上記の説明は、フィルム制作及び放送を含むビデオ制作において、ビデオ信号の信号強度を向上させ、2つの同一の視点のマッチングを可能にするためのシステム及び方法を含むが、説明するシステム及び方法は、医用撮像などの他の分野において適用可能である。
[0046] 例えば、図4は、本開示の1つの実装による、医用撮像のための方法400を示す。図4では、ステップ410において、IR特性を有する溶液(例えば液体)を、対象患者の管、組織、又は血流内に消費、注入、又は吸収することができる。光強化特性は、この実装においても有益であり得る。次に、ステップ420において、(例えば、小型スケールで)図1の少なくとも1つの要素(例えば、レンズ、フォーカルリデューサ、ビームスプリッタ、RGBセンサ、又はIRセンサ)を含む内視鏡を対象患者に挿入して、患者の身体の異なる部分を撮像することができ、ステップ430において、内視鏡からの画像を受け取る。次に、ステップ440において、結果として得られる画像を使用して、視覚的診断、例えば、腫瘍の展開又は位置特定を実行することができる。いくつかの実装では、光ファイバーケーブルの一端に取り付けられるレンズは、例えば、図1で説明した光学システムに画像を送信することができる。
[0047] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
100 光学システム
102 ビーム
110 ビームスプリッタ
112 第1のアタッチメント
114 第2のアタッチメント
116,118 画像
120 対物レンズ
122 フォーカルリデューサ
150 RGBセンサ
152 アタッチメント
154 可視光感知画像
160 IRセンサ
164 IR画像
162 アタッチメント
170 プロセッサ
200 レンズのイメージサークルを縮小するための方法
210 レンズ及びフォーカルリデューサを通じて光ビームを受け取る
220 ビームスプリッタを使用して、ビームを、複数のセンサに向けて2つの方向に分割
230 複数のセンサの各々を、レンズなしで、ビームスプリッタに直接取り付ける
240 ビーム分割画像を受け取って処理して、第1の周波数スペクトルを通じて感知される画像を生成
250 ビーム分割画像を受け取って処理して、第2の周波数スペクトルを通じて感知される画像を生成
260 第1の周波数感知画像と第2の周波数感知画像とを組み合わせる
300 コンピュータシステム
302 ユーザ
304 ソフトウェアプログラム
310 コントローラ
320 メモリ
330 ストレージ
340 メディアデバイス
350 ユーザインターフェイス
360 I/Oインターフェイス
370 ネットワークインターフェイス
380 ネットワーク
385 サーバ
390 イメージサークル縮小アプリケーション
400 医用撮像のための方法
410 IR特性を有する溶液を対象患者内に消費、注入、又は吸収
420 レンズ、フォーカルリデューサ、ビームスプリッタ、RGBセンサ、又はIRセンサのうちの少なくとも1つを含む内視鏡を対象患者に挿入して、患者の身体を撮像
430 内視鏡からの画像を受け取る
440 受け取った画像を使用して、視覚的診断を実行

Claims (20)

  1. システムであって、
    画像ビームを受け取るためのレンズ及びフォーカルリデューサと、
    前記フォーカルリデューサから前記画像ビームを受け取り、前記画像ビームを複数の方向に分割するためのビームスプリッタと、
    前記ビームスプリッタに結合される複数のセンサと、
    を含み、
    前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成され、
    前記複数のセンサのうちの第1のセンサの前記特定の周波数帯域は、前記複数のセンサのうちの第2のセンサの前記特定の周波数帯域と重ならない、
    ことを特徴とするシステム。
  2. 前記ビームスプリッタは、前記第1のセンサに結合するための第1のスプリッタアタッチメントと、前記第2のセンサに結合するための第2のスプリッタアタッチメントとを少なくとも含むことを特徴とする、請求項1に記載のシステム。
  3. 前記第1のセンサは、前記第1のスプリッタアタッチメントに結合するための第1のセンサアタッチメントを含み、前記第2のセンサは、前記第2のスプリッタアタッチメントに結合するための第2のセンサアタッチメントを含むことを特徴とする、請求項2に記載のシステム。
  4. 前記第1のセンサアタッチメントは、対物レンズを介在させることなく、前記第1のスプリッタアタッチメントに直接結合することを特徴とする、請求項3に記載のシステム。
  5. 前記第2のセンサアタッチメントは、対物レンズを介在させることなく、前記第2のスプリッタアタッチメントに直接結合することを特徴とする、請求項3に記載のシステム。
  6. 前記第1のセンサは、可視光感知画像を生成するように構成される可視光センサであり、前記第2のセンサは、IR感知画像を生成するように構成される赤外線(IR)センサであることを特徴とする、請求項1に記載のシステム。
  7. 前記可視光感知画像及び前記IR感知画像を受け取り、マット生成プロセスで使用するためにこれらの画像を組み合わせるためのプロセッサ、
    を更に含むことを特徴とする、請求項6に記載のシステム。
  8. 前記レンズは、IMAXフォーマットレンズを含むラージフォーマットレンズであることを特徴とする、請求項1に記載のシステム。
  9. 前記複数のセンサは、複数のフルフレームセンサを含むことを特徴とする、請求項1に記載のシステム。
  10. 前記レンズは、ラージフォーマットレンズ、フルフレーム35mmフォーマットレンズ、又はスーパー35mmフォーマットレンズであることを特徴とする、請求項1に記載のシステム。
  11. 前記複数のセンサは、複数の2/3インチセンサを含むことを特徴とする、請求項1に記載のシステム。
  12. 方法であって、
    レンズ及びフォーカルリデューサを通じて画像ビームを受け取るステップと、
    ビームスプリッタを使用して、前記画像ビームを、複数のセンサに向けて複数の方向に分割するステップと、
    前記ビームスプリッタに前記複数のセンサを結合するステップと、
    を含み、
    前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成される、
    ことを特徴とする方法。
  13. 前記複数のセンサのうちの第1のセンサの前記特定の周波数帯域は、前記複数のセンサのうちの第2のセンサの前記特定の周波数帯域と重ならないことを特徴とする、請求項12に記載の方法。
  14. ビーム分割画像(beam-split image)を受け取って処理して、前記第1のセンサの前記特定の周波数帯域を通じて感知される第1の周波数感知画像を生成するステップと、
    ビーム分割画像(beam-split image)を受け取って処理して、前記第2のセンサの前記特定の周波数帯域を通じて感知される第2の周波数感知画像を生成するステップと、
    を更に含むことを特徴とする、請求項13に記載の方法。
  15. 前記第1の周波数感知画像と前記第2の周波数感知画像とを組み合わせるステップ、
    を更に含むことを特徴とする、請求項14に記載の方法。
  16. 前記レンズは、IMAXフォーマットレンズを含むラージフォーマットレンズであることを特徴とする、請求項12に記載の方法。
  17. 前記複数のセンサは、複数のフルフレームセンサを含むことを特徴とする、請求項12に記載の方法。
  18. 前記レンズは、ラージフォーマットレンズ、フルフレーム35mmフォーマットレンズ、又はスーパー35mmフォーマットレンズであることを特徴とする、請求項12に記載の方法。
  19. 前記複数のセンサは、複数の2/3インチセンサを含むことを特徴とする、請求項12に記載の方法。
  20. レンズのイメージサークルを縮小するためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
    フォーカルリデューサを含む前記レンズを通じて画像ビームを受け取ることと、
    ビームスプリッタを使用して、前記画像ビームを、複数のセンサに向けて複数の方向に分割することと、
    前記ビームスプリッタに前記複数のセンサを結合することと、
    を行わせ、
    前記複数のセンサのうちの各センサは、特定の周波数帯域内の前記画像ビームを感知するように構成される、
    ことを特徴とする非一時的コンピュータ可読記憶媒体。
JP2023515331A 2020-09-29 2021-07-14 カメラ感度を向上させ、同一の視点をマッチングするための光学装置 Pending JP2023540363A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/036,910 US11933991B2 (en) 2020-09-29 2020-09-29 Optical apparatus for improving camera sensitivity and matching of identical perspectives
US17/036,910 2020-09-29
PCT/US2021/041661 WO2022072036A1 (en) 2020-09-29 2021-07-14 Optical apparatus for improving camera sensitivity and matching of identical perspectives

Publications (1)

Publication Number Publication Date
JP2023540363A true JP2023540363A (ja) 2023-09-22

Family

ID=80822446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023515331A Pending JP2023540363A (ja) 2020-09-29 2021-07-14 カメラ感度を向上させ、同一の視点をマッチングするための光学装置

Country Status (5)

Country Link
US (1) US11933991B2 (ja)
EP (1) EP4201052A4 (ja)
JP (1) JP2023540363A (ja)
CN (1) CN115023941A (ja)
WO (1) WO2022072036A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733522B2 (en) * 2021-04-02 2023-08-22 Rockwell Collins, Inc. Advanced monitoring solution of displays

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600487A (en) * 1994-04-14 1997-02-04 Omron Corporation Dichroic mirror for separating/synthesizing light with a plurality of wavelengths and optical apparatus and detecting method using the same
AU2629897A (en) * 1997-05-09 1998-12-08 Morphometrix Technologies Inc. Multi-spectral imaging system and method for cytology
RU2120196C1 (ru) 1997-09-29 1998-10-10 Московское конструкторское бюро "Электрон" Блок светоделительной призмы и прибора с зарядовой связью и способ сборки под юстировку этого блока
GB2382666B (en) 1998-06-05 2003-07-16 Drs Hadland Ltd Imaging arrangement and method
US6215597B1 (en) * 1999-11-17 2001-04-10 Duncan Technologies, Inc. Apparatus for forming a plurality of subimages having different characteristics
US6727971B2 (en) * 2001-01-05 2004-04-27 Disney Enterprises, Inc. Apparatus and method for curved screen projection
EP1852725A4 (en) 2005-02-21 2010-08-18 Olympus Corp LOW INTENSITY SAMPLING IMAGING UNIT AND LOW INTENSITY SAMPLE IMAGING DEVICE
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
US20100302376A1 (en) 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
TWI397718B (zh) 2009-06-12 2013-06-01 Young Optics Inc 取像裝置
KR20110037448A (ko) 2009-10-07 2011-04-13 (주)토핀스 열화상카메라용 일축형 렌즈모듈
US8879901B2 (en) * 2011-09-13 2014-11-04 Caldwell Photographic, Inc. Optical attachment for reducing the focal length of an objective lens
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US8903232B1 (en) 2013-08-05 2014-12-02 Caldwell Photographic, Inc. Optical attachment for reducing the focal length of an objective lens
JP2015166768A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 リアコンバータ
CN106605401A (zh) 2014-07-21 2017-04-26 迷你尛斯私人有限公司 图像捕获设备及方法
PL3308209T3 (pl) 2015-06-15 2020-12-14 Agrowing Ltd. Urządzenie do obrazowania multispektralnego
JP6589471B2 (ja) 2015-09-07 2019-10-16 ソニー株式会社 撮像装置、顕微鏡撮像システム及び内視鏡撮像システム
FR3052949B1 (fr) 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US9979906B2 (en) 2016-08-03 2018-05-22 Waymo Llc Beam split extended dynamic range image capture system
US10033988B2 (en) 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
JP6939000B2 (ja) * 2017-03-23 2021-09-22 株式会社Jvcケンウッド 撮像装置及び撮像方法
CN206602579U (zh) 2017-04-06 2017-10-31 成都易瞳科技有限公司 一种用于可更换镜头相机的全景镜头
US10270986B2 (en) 2017-09-22 2019-04-23 Feedback, LLC Near-infrared video compositing
US10674096B2 (en) * 2017-09-22 2020-06-02 Feedback, LLC Near-infrared video compositing
US10473903B2 (en) 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging
EP3751325B1 (en) * 2018-03-28 2024-04-10 Sony Group Corporation Optical system for rigid scope, imaging device, and endoscopic system
US11282231B2 (en) 2018-12-21 2022-03-22 Sony Group Corporation Camera rig with multiple sensors
JP6765494B1 (ja) * 2019-10-31 2020-10-07 パナソニックi−PROセンシングソリューションズ株式会社 3板式カメラ
KR20220055524A (ko) * 2020-10-26 2022-05-04 삼성디스플레이 주식회사 지문 센서 및 그를 포함한 표시 장치

Also Published As

Publication number Publication date
CN115023941A (zh) 2022-09-06
US20220099987A1 (en) 2022-03-31
US11933991B2 (en) 2024-03-19
EP4201052A4 (en) 2024-02-14
EP4201052A1 (en) 2023-06-28
WO2022072036A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US11281288B2 (en) Eye and head tracking
RU2550427C2 (ru) Способ и система для выполнения фотоплетизмографии
US20080186449A1 (en) Gaze tracking using multiple images
EP3877944A1 (en) Bright spot removal using a neural network
WO2022257946A1 (zh) 多光谱成像系统、成像方法和存储介质
JP2012027408A (ja) 電子機器
CN105916430B (zh) 内窥镜系统以及内窥镜系统的操作方法
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
EP4164237A1 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
JP2023540363A (ja) カメラ感度を向上させ、同一の視点をマッチングするための光学装置
CN110893096A (zh) 一种基于图像曝光的多光谱成像系统和方法
JP5399187B2 (ja) 画像取得装置の作動方法および画像取得装置
JP6918390B2 (ja) 撮像素子、撮像機器及び画像情報処理方法
JP6462594B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP5637783B2 (ja) 画像取得装置およびその作動方法
CN109104601A (zh) 检测装置、图像处理装置、检测方法以及图像处理方法
JP6419093B2 (ja) 撮像装置
JP2012516606A (ja) 映像データ獲得方法及び装置
WO2021171444A1 (ja) 教師データ生成装置、教師データ生成方法、記録装置及び記録方法
JP2009009206A (ja) 画像中の輪郭抽出方法及びその画像処理装置
JP2010147762A (ja) 被写体追尾装置及び撮像装置
JP2014230172A5 (ja)
JP6157521B2 (ja) 眼科撮影システム
JP2024068553A (ja) データ作成装置、制御方法およびプログラム
CN117395513A (zh) 一种基于非同源双目相机的自动曝光方法、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240524