JP7133478B2 - 立体画像キャプチャ - Google Patents
立体画像キャプチャ Download PDFInfo
- Publication number
- JP7133478B2 JP7133478B2 JP2018567280A JP2018567280A JP7133478B2 JP 7133478 B2 JP7133478 B2 JP 7133478B2 JP 2018567280 A JP2018567280 A JP 2018567280A JP 2018567280 A JP2018567280 A JP 2018567280A JP 7133478 B2 JP7133478 B2 JP 7133478B2
- Authority
- JP
- Japan
- Prior art keywords
- capture device
- image
- image capture
- captured
- another
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 8
- 230000002085 persistent effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
Description
接続要素に結合された第1の画像キャプチャデバイスであって、その第1の画像キャプチャデバイスの周囲の360°視野の画像を取り込むように構成された第1の画像キャプチャデバイスと、
第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとが接続要素と平行な共通面内に存在するように接続要素に結合された第2の画像キャプチャデバイスであって、その第2の画像キャプチャデバイスの周囲の360°視野の画像を取り込むように構成された第2の画像キャプチャデバイスと、
画像キャプチャデバイスおよび第2の画像キャプチャデバイスに結合されたコントローラであって、
第1の画像キャプチャデバイスにより取り込まれた画像を受信し、
第2の画像キャプチャデバイスにより取り込まれた別画像を受信し、
第1の画像キャプチャデバイスにより取り込まれた画像を第2の画像キャプチャデバイスにより取り込まれた別画像と位置合わせし、
第1の画像キャプチャデバイスにより取り込まれた位置合わせ画像と第2の画像キャプチャデバイスにより取り込まれた別画像との間の水平視差を均等化し、
均等化された位置合わせ画像と均等化された位置合わせ別画像とを組み合わせることによって、1以上の正距円筒画像を生成する、
ように構成されたコントローラと、
を備える。
第1の画像キャプチャデバイスにより取り込まれた画像と第2の画像キャプチャデバイスにより取り込まれた別画像とが平行座標系内に存在するように第1の画像キャプチャデバイスにより取り込まれた画像に適用される回転を決定することと、
回転を別画像に適用することによって、別画像を回転したものと画像とが平行座標系内に存在するように別画像を回転させることと、
を含んでいてもよい。
画像をキューブマップにマッピングすることと、
別画像を別のキューブマップにマッピングすることと、
キューブマップ内の特徴を識別するとともに、識別された特徴の各々に対応するキューブマップ内の位置を識別することと、
キューブマップ内の識別された特徴の各々に対応する別のキューブマップ中の位置を決定することと、
キューブマップ内の最大量の特徴の位置および別のキューブマップ中の対応する位置を記述する変換を決定することと、
を含んでいてもよい。
変換から回転を抽出し、変換の平行移動を破棄することを含んでいてもよい。
画像および別画像を回転したものを低域通過フィルタで不鮮明化することを含んでいてもよい。
第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスを含む基準面の背後の位置の第1の画像キャプチャデバイスにより取り込まれた画像を識別することと、
基準面の背後の位置の第2の画像キャプチャデバイスにより取り込まれた別画像を識別することと、
画像および別画像を交換することと、
を含んでいてもよい。
第1の画像キャプチャデバイスにより取り込まれた1以上の画像から第2の画像キャプチャデバイスにより取り込まれた1以上の別画像への高密度なオプティカルフローと、第2の画像キャプチャデバイスにより取り込まれた1以上の別画像から第1の画像キャプチャデバイスにより取り込まれた1以上の画像への高密度なオプティカルフローと、を算出することと、
算出された高密度なオプティカルフローに基づいて、1以上の画像および1以上の別画像を修正することと、
を含んでいてもよい。
算出された高密度なオプティカルフローに基づいて、第1の画像キャプチャデバイスにより取り込まれた画像をフロー処理し、第1の画像キャプチャデバイスに対する特定の深さの異なる位置について、第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、画像と別画像との間の水平視差を増大させることと、
第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスを含む基準面の背後の位置に対応する画像の部分を、基準面の背後の位置に対応する別画像の部分と交換することと、
を含んでいてもよい。
第1の画像キャプチャデバイスにより取り込まれた画像から第2の画像キャプチャデバイスを除去することを含んでいてもよい。
第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間で、第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角の特定範囲内の画像の位置に対応する第1の画像キャプチャデバイスにより取り込まれた別画像内の開始位置を識別することと、
別画像内の開始位置に対応する第1の画像キャプチャデバイスにより取り込まれた画像中の位置を決定することと、
特定範囲内において、第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間で、第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する第1の画像キャプチャデバイスにより取り込まれた画像中の終了位置を決定することと、
画像中の位置と画像中の終了位置との間の画素を再サンプリングするとともに、再サンプリングに基づいて、上記位置と終了位置との間の画像中の線に沿った画素を埋めることによって、画像を修正することと、
を含んでいてもよい。
特定範囲内において、第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間で、第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する第1の画像キャプチャデバイスにより取り込まれた画像の部分を、特定範囲内において、第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間で、第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換えることを含んでいてもよい。
接続要素に結合された第1の画像キャプチャデバイスから、第1の画像キャプチャデバイスの周囲の360°視野を表す画像を受信する工程と、
第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとが接続要素と平行な共通面内に存在するように接続要素に結合された第2の画像キャプチャデバイスから、第2の画像キャプチャデバイスの周囲の360°視野を表す別画像を受信する工程と、
第1の画像キャプチャデバイスから受信した画像を第2の画像キャプチャデバイスから受信した別画像と位置合わせする工程と、
第1の画像キャプチャデバイスから受信した位置合わせ画像と第2の画像キャプチャデバイスから受信した別画像との水平視差を均等化する工程と、
均等化された位置合わせ画像と均等化された位置合わせ別画像とを組み合わせることによって、1以上の正距円筒画像を生成する工程と、
を含む。
第1の画像キャプチャデバイスから受信した画像と第2の画像キャプチャデバイスから受信した別画像とが平行座標系内に存在するように第1の画像キャプチャデバイスから受信した画像に適用される回転を決定する工程と、
回転を別画像に適用することによって、別画像を回転したものと画像とが平行座標系内に存在するように別画像を回転させる工程と、
を含んでいてもよい。
画像をキューブマップにマッピングする工程が、
別画像を別のキューブマップにマッピングする工程と、
キューブマップ内の特徴を識別するとともに、識別された特徴の各々に対応するキューブマップ内の位置を識別する工程と、
キューブマップ内の識別された特徴の各々に対応する別のキューブマップ中の位置を決定する工程と、
キューブマップ内の最大量の特徴の位置および別のキューブマップ中の対応する位置を記述する変換を決定する工程と、
を含んでいてもよい。
変換から回転を抽出し、変換の平行移動を破棄する工程を含んでいてもよい。
画像および別画像を回転したものを低域通過フィルタで不鮮明化する工程をさらに含んでいてもよい。
第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスを含む基準面の背後の位置の第1の画像キャプチャデバイスから受信した画像を識別する工程と、
基準面の背後の位置の第2の画像キャプチャデバイスから受信した別画像を識別する工程と、
画像および別画像を交換する工程と、
を含んでいてもよい。
第1の画像キャプチャデバイスから受信した1以上の画像から第2の画像キャプチャデバイスから受信した1以上の別画像への高密度なオプティカルフローと、第2の画像キャプチャデバイスから受信した1以上の別画像から第1の画像キャプチャデバイスから受信した1以上の画像への高密度なオプティカルフローと、を算出する工程と、
算出された高密度なオプティカルフローに基づいて、1以上の画像および1以上の別画像を修正する工程と、
を含んでいてもよい。
算出された高密度なオプティカルフローに基づいて、第1の画像キャプチャデバイスから受信した画像を処理し、画像キャプチャデバイスに対する特定の深さの異なる位置について、第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、画像と別画像との間の水平視差を増大させる工程と、
第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスを含む基準面の背後の位置に対応する画像の部分を、基準面の背後の位置に対応する別画像の部分と交換する工程と、
を含んでいてもよい。
第1の画像キャプチャデバイスにより取り込まれた画像から第2の画像キャプチャデバイスを除去する工程を含んでいてもよい。
特定範囲内において、画像キャプチャデバイスと第2の画像キャプチャデバイスとの間で、第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する第1の画像キャプチャデバイスにより取り込まれた画像の部分を、特定範囲内において、第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとの間で、第1の画像キャプチャデバイスおよび第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換える工程を含んでいてもよい。
図1は、画像キャプチャデバイス110および別の画像キャプチャデバイス120を備えた例示的なシステム100を示している。種々の実施形態において、画像キャプチャデバイス110および別の画像キャプチャデバイス120は、カメラ、ビデオカメラ、または画像データを取り込むように構成された他のデバイスである。図1は、2つの画像キャプチャデバイスを具備するシステム100を示すが、他の実施形態において、システム100は、より多くの画像キャプチャデバイス(たとえば、4つの画像キャプチャデバイス、8つの画像キャプチャデバイス等)を具備していてもよい。
画像キャプチャデバイス110もしくは別の画像キャプチャデバイス120が異なる平面内にある場合の位置ずれ(たとえば、画像キャプチャデバイス110および別の画像キャプチャデバイス120の接続要素130との結合における位置ずれ)または画像キャプチャデバイス110もしくは別の画像キャプチャデバイス120における位置ずれ自体によって、画像キャプチャデバイス110および別の画像キャプチャ120により取り込まれた画像の立体視が困難となる。画像キャプチャデバイス110または別の画像キャプチャデバイス120における相対的に小さな位置ずれによって、画像キャプチャデバイス110からの画像と別の画像キャプチャデバイス120からの別画像との組み合わせの立体視が困難となる。図2は、画像キャプチャデバイス110と別の画像キャプチャデバイス120との位置ずれの一例を示している。図2の例においては、画像キャプチャデバイス110と別の画像キャプチャデバイス120との位置ずれによって、画像キャプチャデバイス110により取り込まれた画像中の物体220の位置210Aが別の画像キャプチャデバイス120により取り込まれた別画像中の物体220の位置210Bと異なっている。この位置ずれを補償するため、コントローラ140は、画像キャプチャデバイス110により取り込まれた画像を回転したものが別の画像キャプチャデバイス120により取り込まれた別画像との平行座標系内となるように画像キャプチャデバイス110により取り込まれた画像に適用する回転を決定する。たとえば、画像キャプチャデバイス110が接続要素130の左側に位置決めされたカメラであり、別の画像キャプチャデバイス120が接続要素130の右側に位置決めされた別のカメラである場合、コントローラ140は、接続要素130の左側に位置決めされたカメラ(すなわち、画像キャプチャデバイス110)により取り込まれた画像と接続要素130の右側に位置決めされたカメラ(すなわち、別の画像キャプチャデバイス120)により取り込まれた画像とが平行座標系内に存在するように、接続要素130の左側に位置決めされたカメラにより取り込まれた画像に適用される回転を決定する。他の実施形態において、コントローラ140は、別の画像キャプチャデバイス120により取り込まれた別画像に適用される回転を決定し、別画像を回転したものと画像キャプチャデバイス110により取り込まれた画像とが平行座標系内に存在するように別画像を回転させる。
画像キャプチャデバイス110および別の画像キャプチャデバイス120による露光差または不等応答によって、画像キャプチャデバイス110および別の画像キャプチャデバイス120は、露光および利得が異なるシーンの画像およびシーンの別画像をそれぞれ取り込む。上に詳述した通り、画像および別画像を幾何学的に位置合わせした後、コントローラ140は、視差および残存する幾何学的位置ずれによる微小な影響を軽減する255画素幅低域通過フィルタ等の低域通過フィルタで画像および別画像を不鮮明化する。そして、コントローラ140は、フィルタリングした別画像中の色チャンネルに対するフィルタリングした画像中の同じ色チャンネルの比を各画素の当該色チャンネルに乗じることによって、画像キャプチャデバイス110により取り込まれた画像の各色チャンネルを修正する。コントローラ140が画像ではなく別画像を回転させる実施形態において、コントローラ140は、色チャンネル中のフィルタリング画像に対する色チャンネル中のフィルタリング別画像の比を当該色チャンネル中の各画素に乗じることによって、別の画像キャプチャデバイス120により取り込まれた別画像の各色チャンネルを修正する。
画像キャプチャデバイス110からの画像および別の画像キャプチャデバイス120からの別画像を幾何学的に位置合わせした後も、画像キャプチャデバイス110と別の画像キャプチャデバイス120とのオフセットにより、画像と別画像との間には水平および垂直視差が残る。画像と別画像との水平または垂直視差は、画像キャプチャデバイス110または別の画像キャプチャデバイス120から、画像キャプチャデバイス110または別の画像キャプチャデバイス120により撮像されたシーン中の点までの距離および画像キャプチャデバイス110と別の画像キャプチャデバイス120との間の見掛けの瞳孔間隔に反比例する。見掛けの瞳孔間隔は、画像キャプチャデバイス110と別の画像キャプチャデバイス120との間の線の法線から離れる水平方位角の余弦とともに変化する。また、見掛けの瞳孔間隔は、水平線の上下の垂直高度角とともに変動する。
上記実施形態に関する記述は、説明を目的として提示しており、何ら網羅的なものでもなければ、特許権を開示の厳密な形態に制限するものでもない。当業者には当然のことながら、上記開示に照らして、多くの改良および変形が可能である。
Claims (12)
- 接続要素に結合され、第1の画像キャプチャデバイスの周囲の360°視野の画像を取り込むように構成された第1の画像キャプチャデバイスと、
前記第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとが前記接続要素と平行な共通面内に存在するように前記接続要素に結合され、前記第2の画像キャプチャデバイスの周囲の360°視野の画像を取り込むように構成された第2の画像キャプチャデバイスと、
前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに結合されたコントローラと、
を備えたシステムであって、前記コントローラは、
前記第1の画像キャプチャデバイスにより取り込まれた画像を受信し、
前記第2の画像キャプチャデバイスにより取り込まれた別画像を受信し、
前記第1の画像キャプチャデバイスにより取り込まれた画像を前記第2の画像キャプチャデバイスにより取り込まれた別画像と位置合わせし、ここで前記第1の画像キャプチャデバイスにより取り込まれた画像を前記第2の画像キャプチャデバイスにより取り込まれた別画像と位置合わせすることは、前記第2の画像キャプチャデバイスにより取り込まれた別画像と前記第1の画像キャプチャデバイスにより取り込まれた画像とが平行座標系内に存在するように前記第2の画像キャプチャデバイスにより取り込まれた別画像に適用される回転を決定することと、前記回転を前記別画像に適用することによって、前記別画像を回転したものと前記画像とが前記平行座標系内に存在するように前記別画像を回転させることと、を含むものであり、前記第2の画像キャプチャデバイスにより取り込まれた前記別画像に適用される前記回転を決定することが、
前記画像をキューブマップにマッピングすることと、
前記別画像を別のキューブマップにマッピングすることと、
前記キューブマップ内の特徴を識別するとともに、識別された特徴の各々に対応する前記キューブマップ内の位置を識別することと、
前記キューブマップ内の前記識別された特徴の各々に対応する前記別のキューブマップ中の位置を決定することと、
前記キューブマップ内の最大量の特徴の位置および前記別のキューブマップ中の対応する位置を記述する変換を決定することと、
を含み、
前記第1の画像キャプチャデバイスにより取り込まれた位置合わせ画像と前記第2の画像キャプチャデバイスにより取り込まれた前記別画像との間の水平視差を均等化し、
均等化した位置合わせ画像と均等化した位置合わせ別画像とを組み合わせることによって、立体視のための1対以上の正距円筒画像を生成する、
ように構成されている、システム。 - 前記変換が、前記回転および平行移動を含み、前記第2の画像キャプチャデバイスにより取り込まれた前記別画像に適用される前記回転を決定することが、
前記変換から前記回転を抽出し、前記変換の前記平行移動を破棄することをさらに含む、請求項1に記載のシステム。 - 前記第1の画像キャプチャデバイスにより取り込まれた前記画像を前記第2の画像キャプチャデバイスにより取り込まれた前記別画像と位置合わせすることが、
前記画像および前記別画像を回転したものを低域通過フィルタで不鮮明化することをさらに含む、請求項1に記載のシステム。 - 前記第1の画像キャプチャデバイスにより取り込まれた前記画像と前記第2の画像キャプチャデバイスにより取り込まれた前記別画像との間の水平視差を均等化することが、
前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスを含む基準面の背後の位置の前記第1の画像キャプチャデバイスにより取り込まれた画像を識別することと、
前記基準面の背後の前記位置の前記第2の画像キャプチャデバイスにより取り込まれた別画像を識別することと、
前記第1の画像キャプチャデバイスにより取り込まれた画像および前記第2の画像キャプチャデバイスにより取り込まれた別画像を交換することと、
を含む、請求項1~3のいずれか一項に記載のシステム。 - 前記第1の画像キャプチャデバイスにより取り込まれた前記画像と前記第2の画像キャプチャデバイスにより取り込まれた前記別画像との間の水平視差を均等化することが、
前記第1の画像キャプチャデバイスにより取り込まれた1以上の画像から前記第2の画像キャプチャデバイスにより取り込まれた1以上の別画像への高密度なオプティカルフローと、前記第2の画像キャプチャデバイスにより取り込まれた前記1以上の別画像から前記第1の画像キャプチャデバイスにより取り込まれた前記1以上の画像への高密度なオプティカルフローと、を算出することと、
算出された高密度なオプティカルフローに基づいて、前記1以上の画像および前記1以上の別画像のオプティカルフローを修正することと、
を含み、
任意選択として、前記算出された高密度なオプティカルフローに基づいて、前記1以上の画像および前記1以上の別画像のオプティカルフローを修正することが、
前記算出された高密度なオプティカルフローに基づいて、前記第1の画像キャプチャデバイスにより取り込まれた画像のオプティカルフローを処理し、前記第1の画像キャプチャデバイスに対する特定の深さの異なる位置について、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、前記画像と別画像との間の水平視差を増大させることと、
前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスを含む基準面の背後の位置に対応する前記画像の部分を、前記基準面の背後の位置に対応する前記別画像の部分と交換することと、
を含む、請求項1~4のいずれか一項に記載のシステム。 - 前記均等化した位置合わせ画像と前記均等化した位置合わせ別画像とを組み合わせることによって、立体視のための1対以上の正距円筒画像を生成することが、
前記第1の画像キャプチャデバイスにより取り込まれた画像から前記第2の画像キャプチャデバイスを除去することを含み、
任意選択として、前記第1の画像キャプチャデバイスにより取り込まれた画像から前記第2の画像キャプチャデバイスを除去することが、
前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間で、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角の特定範囲内の前記画像の位置に対応する前記第1の画像キャプチャデバイスにより取り込まれた別画像内の開始位置を識別することと、
前記別画像内の前記開始位置に対応する前記第1の画像キャプチャデバイスにより取り込まれた前記画像中の位置を決定することと、
前記特定範囲内において、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間で、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに対して垂直な前記線の前記法線から離れる水平方位角を有する前記第1の画像キャプチャデバイスにより取り込まれた前記画像中の終了位置を決定することと、
前記画像中の前記位置と前記画像中の前記終了位置との間の画素を再サンプリングするとともに、前記再サンプリングに基づいて、前記位置と前記終了位置との間の前記画像中の線に沿った画素を埋めることによって、前記画像を修正することと、
を含み、ならびに/または
任意選択として、前記第1の画像キャプチャデバイスにより取り込まれた前記画像から前記第2の画像キャプチャデバイスを除去することが、
特定範囲内において、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間で、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する前記第1の画像キャプチャデバイスにより取り込まれた前記画像の部分を、前記特定範囲内において、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間で、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換えることを含む、請求項1~5のいずれか一項に記載のシステム。 - 接続要素に結合された第1の画像キャプチャデバイスから、前記第1の画像キャプチャデバイスの周囲の360°視野を表す画像を受信する工程と、
前記第1の画像キャプチャデバイスと第2の画像キャプチャデバイスとが前記接続要素と平行な共通面内に存在するように前記接続要素に結合された前記第2の画像キャプチャデバイスから、前記第2の画像キャプチャデバイスの周囲の360°視野を表す別画像を受信する工程と、
前記第1の画像キャプチャデバイスから受信した画像を前記第2の画像キャプチャデバイスから受信した別画像と位置合わせする工程であって、ここで前記第1の画像キャプチャデバイスから受信した画像を前記第2の画像キャプチャデバイスから受信した別画像と位置合わせする工程は、前記第2の画像キャプチャデバイスから受信した別画像と前記第1の画像キャプチャデバイスから受信した画像とが平行座標系内に存在するように前記第2の画像キャプチャデバイスから受信した前記別画像に適用される回転を決定する工程と、前記回転を前記別画像に適用することによって、前記別画像を回転したものと前記画像とが前記平行座標系内に存在するように前記別画像を回転させる工程と、を含むものであり、前記第2の画像キャプチャデバイスから受信した前記別画像に適用される前記回転を決定する工程が、
前記画像をキューブマップにマッピングする工程と、
前記別画像を別のキューブマップにマッピングする工程と、
前記キューブマップ内の特徴を識別するとともに、識別した特徴の各々に対応する前記キューブマップ内の位置を識別する工程と、
前記キューブマップ内の前記識別した特徴の各々に対応する前記別のキューブマップ中の位置を決定する工程と、
前記キューブマップ内の最大量の特徴の位置および前記別のキューブマップ中の対応する位置を記述する変換を決定する工程と、
を含み、
前記第1の画像キャプチャデバイスから受信した位置合わせ画像と前記第2の画像キャプチャデバイスから受信した前記別画像との間の水平視差を均等化する工程と、
均等化した位置合わせ画像と均等化した位置合わせ別画像とを組み合わせることによって、立体視のための1対以上正距円筒画像を生成する工程と、
を含む、方法。 - 前記変換が、前記回転および平行移動を含み、前記第2の画像キャプチャデバイスから受信した前記別画像に適用される前記回転を決定する工程が、
前記変換から前記回転を抽出し、前記変換の前記平行移動を破棄する工程をさらに含む、請求項7に記載の方法。 - 前記第1の画像キャプチャデバイスから受信した前記画像を前記第2の画像キャプチャデバイスから受信した前記別画像と位置合わせする工程が、
前記画像および前記別画像を回転したものを低域通過フィルタで不鮮明化する工程をさらに含む、請求項7に記載の方法。 - 前記第1の画像キャプチャデバイスから受信した前記画像と前記第2の画像キャプチャデバイスから受信した前記別画像との間の水平視差を均等化する工程が、
前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスを含む基準面の背後の位置の前記第1の画像キャプチャデバイスから受信した画像を識別する工程と、
前記基準面の背後の前記位置の前記第2の画像キャプチャデバイスから受信した別画像を識別する工程と、
前記第1の画像キャプチャデバイスから受信した画像および前記第2の画像キャプチャデバイスから受信した別画像を交換する工程と、
を含む、請求項7~9のいずれか一項に記載の方法。 - 前記第1の画像キャプチャデバイスから受信した前記画像と前記第2の画像キャプチャデバイスから受信した前記別画像との間の水平視差を均等化する工程が、
前記第1の画像キャプチャデバイスから受信した1以上の画像から前記第2の画像キャプチャデバイスから受信した1以上の別画像への高密度なオプティカルフローと、前記第2の画像キャプチャデバイスから受信した前記1以上の別画像から前記第1の画像キャプチャデバイスから受信した前記1以上の画像への高密度なオプティカルフローと、を算出する工程と、
算出した高密度なオプティカルフローに基づいて、前記1以上の画像および前記1以上の別画像のオプティカルフローを修正する工程と、
を含み、
任意選択として、前記算出した高密度なオプティカルフローに基づいて、前記1以上の画像および前記1以上の別画像のオプティカルフローを修正する工程が、
前記算出した高密度なオプティカルフローに基づいて、前記第1の画像キャプチャデバイスから受信した画像のオプティカルフローを処理し、前記第1の画像キャプチャデバイスに対する特定の深さの異なる位置について、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、前記画像と別画像との間の水平視差を増大させる工程と、
前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスを含む基準面の背後の位置に対応する前記画像の部分を、前記基準面の背後の位置に対応する前記別画像の部分と交換する工程と、
を含む、請求項7~10のいずれか一項に記載の方法。 - 前記均等化した位置合わせ画像と前記均等化した位置合わせ別画像とを組み合わせることによって、立体視のための1対以上の正距円筒画像を生成する工程が、
前記第1の画像キャプチャデバイスにより取り込まれた画像から前記第2の画像キャプチャデバイスを除去する工程を含み、
任意選択として、前記第1の画像キャプチャデバイスにより取り込まれた前記画像から前記第2の画像キャプチャデバイスを除去する工程が、
特定範囲内において、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間で、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する前記第1の画像キャプチャデバイスにより取り込まれた前記画像の部分を、前記特定範囲内において、前記第1の画像キャプチャデバイスと前記第2の画像キャプチャデバイスとの間で、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換える工程を含む、請求項7~11のいずれか一項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662357918P | 2016-07-01 | 2016-07-01 | |
US62/357,918 | 2016-07-01 | ||
PCT/US2017/040266 WO2018005953A1 (en) | 2016-07-01 | 2017-06-30 | Stereoscopic image capture |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019527495A JP2019527495A (ja) | 2019-09-26 |
JP7133478B2 true JP7133478B2 (ja) | 2022-09-08 |
Family
ID=60786700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018567280A Active JP7133478B2 (ja) | 2016-07-01 | 2017-06-30 | 立体画像キャプチャ |
Country Status (11)
Country | Link |
---|---|
US (1) | US20180007344A1 (ja) |
EP (1) | EP3318059B1 (ja) |
JP (1) | JP7133478B2 (ja) |
KR (1) | KR102312471B1 (ja) |
CN (1) | CN109328460A (ja) |
AU (1) | AU2017290388A1 (ja) |
BR (1) | BR112018077346A2 (ja) |
CA (1) | CA3025180A1 (ja) |
IL (1) | IL263926A (ja) |
MX (1) | MX2018015636A (ja) |
WO (1) | WO2018005953A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10979633B1 (en) | 2019-12-17 | 2021-04-13 | Suometry, Inc. | Wide view registered image and depth information acquisition |
CN111432117B (zh) * | 2020-03-23 | 2021-08-10 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004004363A1 (ja) | 2002-06-28 | 2004-01-08 | Sharp Kabushiki Kaisha | 画像符号化装置、画像送信装置および画像撮影装置 |
JP2010256296A (ja) | 2009-04-28 | 2010-11-11 | Nippon Computer:Kk | 全方位3次元空間認識入力装置 |
US20120154548A1 (en) | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Left/right image generation for 360-degree stereoscopic video |
JP2014095809A (ja) | 2012-11-09 | 2014-05-22 | Nintendo Co Ltd | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
US20150321103A1 (en) | 2014-05-08 | 2015-11-12 | Sony Computer Entertainment Europe Limited | Image capture method and apparatus |
JP2016511968A (ja) | 2013-02-04 | 2016-04-21 | ヴァロリゼーション−ルシェルシュ,リミテッド・パートナーシップ | 全周囲立体イメージング |
WO2016086379A1 (en) | 2014-12-04 | 2016-06-09 | SZ DJI Technology Co., Ltd. | Imaging system and method |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
US8004558B2 (en) * | 2005-04-07 | 2011-08-23 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
GB2438449C (en) * | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
US20080212840A1 (en) * | 2006-09-12 | 2008-09-04 | Tamir Shalom | Imaging system, method, and accessory therefor |
KR20090038843A (ko) * | 2008-11-25 | 2009-04-21 | 스비아토슬라브 이바노비치 아르세니치 | 입체 투사 시스템 |
CN101729918A (zh) * | 2009-10-30 | 2010-06-09 | 无锡景象数字技术有限公司 | 一种实现双目立体图像校正和显示优化的方法 |
US20120105574A1 (en) * | 2010-10-28 | 2012-05-03 | Henry Harlyn Baker | Panoramic stereoscopic camera |
CN102289145A (zh) * | 2011-06-30 | 2011-12-21 | 浙江工业大学 | 基于3d全景视觉的智能三维立体摄像设备 |
JP2017521897A (ja) * | 2014-05-20 | 2017-08-03 | ネクストブイアール・インコーポレイテッド | 1つ以上のカメラを含む、または、1つ以上のカメラとともに使用するための方法及び装置 |
US9420176B2 (en) | 2014-06-19 | 2016-08-16 | Omnivision Technologies, Inc. | 360 degree multi-camera system |
US9704250B1 (en) * | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
US9369689B1 (en) * | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
US9930315B2 (en) * | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
US9877016B2 (en) * | 2015-05-27 | 2018-01-23 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
CN105611128A (zh) * | 2015-12-28 | 2016-05-25 | 上海集成电路研发中心有限公司 | 一种全景摄像机 |
CN205320214U (zh) * | 2016-01-28 | 2016-06-15 | 北京极图科技有限公司 | 3dvr 全景视频成像装置 |
US10257501B2 (en) * | 2016-04-06 | 2019-04-09 | Facebook, Inc. | Efficient canvas view generation from intermediate views |
US10249019B2 (en) * | 2016-05-06 | 2019-04-02 | Mediatek Inc. | Method and apparatus for mapping omnidirectional image to a layout output format |
WO2017218834A1 (en) * | 2016-06-17 | 2017-12-21 | Kerstein Dustin | System and method for capturing and viewing panoramic images having motion parralax depth perception without images stitching |
-
2017
- 2017-06-30 WO PCT/US2017/040266 patent/WO2018005953A1/en active Application Filing
- 2017-06-30 AU AU2017290388A patent/AU2017290388A1/en not_active Abandoned
- 2017-06-30 CA CA3025180A patent/CA3025180A1/en not_active Abandoned
- 2017-06-30 BR BR112018077346A patent/BR112018077346A2/pt not_active Application Discontinuation
- 2017-06-30 KR KR1020187037043A patent/KR102312471B1/ko active IP Right Grant
- 2017-06-30 US US15/639,030 patent/US20180007344A1/en not_active Abandoned
- 2017-06-30 EP EP17821348.4A patent/EP3318059B1/en active Active
- 2017-06-30 MX MX2018015636A patent/MX2018015636A/es unknown
- 2017-06-30 CN CN201780038514.8A patent/CN109328460A/zh active Pending
- 2017-06-30 JP JP2018567280A patent/JP7133478B2/ja active Active
-
2018
- 2018-12-24 IL IL263926A patent/IL263926A/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004004363A1 (ja) | 2002-06-28 | 2004-01-08 | Sharp Kabushiki Kaisha | 画像符号化装置、画像送信装置および画像撮影装置 |
JP2010256296A (ja) | 2009-04-28 | 2010-11-11 | Nippon Computer:Kk | 全方位3次元空間認識入力装置 |
US20120154548A1 (en) | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Left/right image generation for 360-degree stereoscopic video |
JP2014095809A (ja) | 2012-11-09 | 2014-05-22 | Nintendo Co Ltd | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
JP2016511968A (ja) | 2013-02-04 | 2016-04-21 | ヴァロリゼーション−ルシェルシュ,リミテッド・パートナーシップ | 全周囲立体イメージング |
US20150321103A1 (en) | 2014-05-08 | 2015-11-12 | Sony Computer Entertainment Europe Limited | Image capture method and apparatus |
WO2016086379A1 (en) | 2014-12-04 | 2016-06-09 | SZ DJI Technology Co., Ltd. | Imaging system and method |
Also Published As
Publication number | Publication date |
---|---|
MX2018015636A (es) | 2019-04-11 |
US20180007344A1 (en) | 2018-01-04 |
CA3025180A1 (en) | 2018-04-01 |
EP3318059B1 (en) | 2023-04-12 |
EP3318059A4 (en) | 2019-04-24 |
JP2019527495A (ja) | 2019-09-26 |
WO2018005953A1 (en) | 2018-01-04 |
IL263926A (en) | 2019-01-31 |
BR112018077346A2 (pt) | 2019-04-02 |
KR102312471B1 (ko) | 2021-10-14 |
EP3318059A1 (en) | 2018-05-09 |
AU2017290388A1 (en) | 2018-12-13 |
KR20190051901A (ko) | 2019-05-16 |
CN109328460A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10460462B2 (en) | System and method for three-dimensional image reconstruction using an absolute orientation sensor | |
CN107077743B (zh) | 用于阵列相机的动态校准的系统和方法 | |
US9686479B2 (en) | Method for combining multiple image fields | |
CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
US9094672B2 (en) | Stereo picture generating device, and stereo picture generating method | |
CN101563709B (zh) | 校准照相机系统 | |
CN112767542A (zh) | 一种多目相机的三维重建方法、vr相机和全景相机 | |
US11568516B2 (en) | Depth-based image stitching for handling parallax | |
US20170270654A1 (en) | Camera calibration using depth data | |
Zilly et al. | Joint estimation of epipolar geometry and rectification parameters using point correspondences for stereoscopic TV sequences | |
JP7133478B2 (ja) | 立体画像キャプチャ | |
CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
Wang et al. | A practical distortion correcting method from fisheye image to perspective projection image | |
US10148929B2 (en) | Method of prompting proper rotation angle for image depth establishing | |
US10721419B2 (en) | Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image | |
GB2560301A (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
CN112017138B (zh) | 一种基于场景三维结构的图像拼接方法 | |
PirahanSiah et al. | Pattern image significance for camera calibration | |
Rebiere et al. | Image mosaicing using local optical flow registration | |
McBride et al. | Single camera stereo for mobile robot surveillance | |
Atanassov et al. | Unassisted 3D camera calibration | |
CN115210533A (zh) | 用于估计图像采集设备的位姿的方法和装置 | |
Zhou et al. | Light Field Stitching Based On Concentric Spherical Modeling | |
KR101323195B1 (ko) | 2차원 영상에서 3차원 영상 생성 방법 | |
WO2023194203A1 (en) | A computer implemented method for adjusting an orientation and/or a position of a virtual representation of a first electronic device in a virtual space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7133478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |