JP4153146B2 - カメラアレイの画像制御方法、及びカメラアレイ - Google Patents
カメラアレイの画像制御方法、及びカメラアレイ Download PDFInfo
- Publication number
- JP4153146B2 JP4153146B2 JP2000223244A JP2000223244A JP4153146B2 JP 4153146 B2 JP4153146 B2 JP 4153146B2 JP 2000223244 A JP2000223244 A JP 2000223244A JP 2000223244 A JP2000223244 A JP 2000223244A JP 4153146 B2 JP4153146 B2 JP 4153146B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- camera array
- patch
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000033001 locomotion Effects 0.000 claims description 55
- 239000002131 composite material Substances 0.000 claims description 47
- 230000007246 mechanism Effects 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 9
- 239000000758 substrate Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005562 fading Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 241000287463 Phalacrocorax Species 0.000 claims 1
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000004091 panning Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 241001310793 Podium Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、ビデオシステム及び多重デジタル画像の合成に関する。より詳しくは、本発明は、カメラアレイの個々のカメラにより捕捉された各多重デジタル画像を合成すること、及び画素の重複又は不一致を回避しつつ、画像を結合し、1つの画像を形成するよう、画像の少なくとも一部分をワープする方法に関する。更に、本発明は、多重カメラの位置合わせに関し、又、1つの画像を形成するために、多重カメラからの複数の画像を高速ワーピングし、合計することを可能とする、変形用の式の決定に関する。特に、本発明は、多重カメラアレイで捕捉された場面のデジタル・パンニング及びズーミング、並びに個々に制御されるカメラ又はカメラアレイのパン及びズームの自動制御に関する。
【0002】
【従来の技術】
一般的に、遠隔にある、或いは近くに配置されるカメラは、カメラ制御のためのデバイスを備えている。これらのデバイスとしてはステッピングモータ、或いはカメラ又は画像捕捉デバイスを場面又は対象となるポイントに向けるよう構成された他の機構が挙げられる。例えば、遠隔会議の用途、監視カメラ、保安カメラ、動作、光又は他の刺激により起動される遠隔制御カメラ、ロボットなどに搭載された遠隔感知カメラ(宇宙開発、深海潜水、及び通常のカメラ操作では危険な或いは接近し難い領域又は場面(原子炉の核の内部、パイプ内部、警察自動車及び法執行ロボットなど)の感知のために用いられるものなど)である。
【0003】
通常、カメラは現場で人間の操作者が手動で操作するか、或いは操作用の入力(例えばジョイ・スティックやマウスによる)を介して遠隔操作される。遠隔操作によるカメラの場合、操作用入力は通常、ステッピングモータ又は他の制御デバイスに、カメラを被写体、物品及び対象となる領域に向けるためのコマンドを送る、制御プログラムを起動させる。現場で或いは遠隔的にカメラの全般的なズーム機能を起動することもできる。
【0004】
遠隔会議の用途(会合や講義など)では、通常機械的ティルト・パン、焦点距離及びズーム性能を備えた可変角度カメラが用いられる。このようなデバイスでは、通常人間の操作者がビデオ又は映画撮影カメラの方向付け、ズーム及び焦点合わせを行うことが必要である。場合によっては、会議参加者が、会議室内の選択した領域をズーム・インし或いは焦点合わせをするよう構成された特定のカメラを起動したり、カメラに合図を送ることが必要となる。
【0005】
多重カメラは非常に多くの用途に利用されてきた。例えば、Braunらの米国特許第5,187,571号「TELEVISION SYSTEM FOR DISPLAYING MULTIPLE VIEWS OF A REMOTE LOCATION」では、集約的視野を形成するよう配列されたNTSCカメラアレイが開示され、またHenleyの米国特許第5,657,073号「SEAMLESS MULTICAMERA PANORAMIC IMAGING WITH DISTORTION CORRECTION AND A SELECTABLE FIELD OF VIEW」では、パノラマ式/全球状の出力画像を生成するためのシステムが開示されている。
【0006】
多重又は操作可能なカメラの用途としては、通常カメラを発言者に向け、この映像を他の会議参加者に対し表示する、遠隔会議システムが挙げられる。(1つ又は複数の)カメラの方向付けは手動で行ってもよいが、操作方向を決定するための追跡機構を利用することもできる。公知の追跡機構としては、Wangらの「A HYBRID REAL-TIME FACE TRACKING SYSTEM」(ICASSP Proceedings '98)、及びChuの「SUPERDIRECTIVE MICROPHONE ARRAY FOR A SET-TOP VIDEOCONFERENCING SYSTEM」(ICASSP Proceedings '97)に開示されるものが挙げられる。
【0007】
【発明が解決しようとする課題】
しかしながら、技術上の課題及びコストの問題により、上記のシステムは普及するに至っていない。
【0008】
多重画像の統合を試みるシステムは、ユーザの需要及び目的を満たすに至っていない。例えば、McCutchenの米国特許第5,703,604号「IMMERSIVE DODECAHEDRAL VIDEO VIEWING SYSTEM」は、完全な球状の視野を確保するために十二面体状に配列されたビデオカメラのアレイを開示している。画像は半球形又は球形のドーム上の多重プロジェクタを用いて、受信端において合成される。しかしながら、McCutchenの説くアプローチは、多重画像の完全な位置合わせが得られず、明らかな「継目」が発生することから、画像境界において課題を残すであろう。
【0009】
別の例として、Henleyらの米国特許第5,657,073号「SEAMLESS MULTI-CAMERA PANORAMIC IMAGING WITH DISTORTION CORRECTION AND SELECTABLE FIELD OF VIEW」は、放射状に配列されたカメラからの画像を組み合わせることを説く。しかしながら、Henleyは放射状配列以外のカメラについては言及しておらず、また画像の合成方法について詳述していない。
【0010】
【課題を解決するための手段】
本発明人らは、画像及びビデオによる場面捕捉のための、場面内のあらゆる選択領域へのズーム及びパンが可能な固定カメラアレイを含む、カメラアレイの利用を実現した。概説すれば、本発明は、ある場面の複数の部分からなる連続画像の捕捉においてカメラアレイを利用する。各画像は少なくともワープ及びフェード技術を用いて結合され、その場面の継目のない1つの画像となる。次いで、場面の選択領域をズーム・インし、或いはその領域にパンすることで、継目のない画像の一部が捕捉され、これがユーザに呈示される。
【0011】
一実施形態において、画像は広視野センサを形成する安価なビデオカメラのアレイより結合される。広視野センサは対象となる人物又は領域の位置決定(遠隔会議の目的のためにそれらを撮像するなど)のために用いられる。形状、動作、色、及び/又は音声的手掛りを追跡することにより、カメラにより捕捉されている室内又は場面における、対象となる人物又は他の物品の位置が推定できる。
【0012】
本発明人らは、製造コストを抑え、又カメラアレイからの個々の画像を結合する際に要する速度及び計算を改良することで計算処理上のコストを抑えることにより、本発明を経済的なものとすることを目指した。主たる実施形態では、カメラアレイはデジタルカメラアレイであり、各カメラの位置は固定されている。各カメラは、画像結合の際に用いる処理装置が各画像の重複部分を認識することができるように位置合わせされており、或いは、各カメラは、各々により捕捉される場面が1つの画像又は場面へ正確に結合されるように捕捉される、場面における同一の点を有する。
【0013】
捕捉された各画像は、2台もしくはそれ以上のカメラで捕捉された場面の同一の点が、捕捉されている場面に従って適切に位置決めされた1点又は点の集合となるよう結合されるようにワープされる。次いで混合するための技術を各々の画像のエッジに適用し、結合される画像間のあらゆる明るさやコントラストの差異を除去する。
【0014】
場面が結合されて1つの画像になると、この1つの画像のある部分がパン又はズームのために選択される。次いで出力又は表示により、ユーザ又は他のデバイス(例えば、遠隔位置への伝送のため)に画像が提供される。
【0015】
更に、本発明人らは、パン、ズーム、又は他の撮像技術を通じて表示される画像の自動選択を行うことで、本発明をより価値あるものとした。例えば、ある実施形態では、場面において活動が起こっている方向を決定する際に、方向性のあるマイクロホンを用いることができ、カメラアレイは場面のその部分へ自動的にパンされる。別の実施形態では、動作検知装置を用いて動作を決定し、カメラアレイのパンニング操作をその方向に向ける。
【0016】
なお、ここでカメラアレイのパンは通常の意味でのカメラのパンとは異なり、パンされた画像は幾つかのカメラから合成された1つの場面の画像から選択されるものであることに留意されたい。
【0017】
操作可能なカメラを用いる従来の技術とは異なり、本発明は、適切に構成されれば、被写体は常にカメラアレイの視野内にある。デジタル式に結合されるアレイカメラ画像より、継目のない、高解像度の画像が生成され、又、カメラアレイの視野の領域を電子的に選択することで、高速で操作できる「バーチャル・カメラ」が生み出される。
【0018】
新しいCMOSカメラチップは、普及している現行のCCDカメラチップに比べ、より優れており、又、より安価である。形状、動作及び/又は色彩的手掛りを追跡することにより、室内における被写体の位置が決定できる。操作可能なカメラを用いた従来技術の追跡システムとは異なり、被写体は常に視野内にあり、「見失う」ことはあり得ない。カメラアレイは、一般的な操作可能なカメラを制御するためのセンサとして用いることができる。又、隣接するカメラからのビデオ画像は、継目のないパノラマビデオ画像となるべくデジタル的に合成される。これは、「バーチャル・カメラ」を電子的にパン及びズームするために用いることができる。
【0019】
機械制御されるカメラには、ズームやパンの速度が有限であるなど物理的制限があるが、バーチャル・カメラは物理的動作を伴わずに電子制御されため、このような物理的制限を受けない。バーチャル・カメラの更なる利点は、異なるユーザが同一場面の異なる領域を見ることができるように、複数の画像を抜粋することができる点にある。これは従来のカメラでは不可能であった。
【0020】
画像はデジタル領域において合成されるため、これらを更なる処理及び検出に利用することができる。このことは、従来技術のアナログ的アプローチでは不可能であった。このシステムでは、動作又は人物の画像を検出することにより適切なカメラ視野が自動的に決定される。従って、このシステムは、実カメラ又はバーチャル・カメラを最も可能性の高い被写体に向けることにより、自動的なカメラオペレータとして機能する。例えば、遠隔会議において、発言人を捕捉するよう、カメラを自動的に方向付けることが可能である。講演に使用する場合、カメラは講演者の位置と、及び新しいスライド又は他の視覚的材料が表示されたときにはそれの両方を自動的に検出することができる。即ち、新しいスライドが表示されると、バーチャル・カメラはスライド全体を視野に入れるよう操作されることができる。又講演者が移動したりジェスチャーを用いたときは、バーチャル・カメラはこれをズーム・インし、より接近したショットを得る。又、遠隔の視聴者がそれぞれのバーチャル・カメラを制御することも可能である。即ち、例えば、映写されているスライド上のある特徴又は画像に興味を覚えた人が、他の人々がスライド全体を見ている一方で、その特徴にズーム・インすることができる。
【0021】
本発明は、多重センサで捕捉された動作及び音声により決定される、興味のある領域へバーチャル・カメラを方向付ける方法を含む。更に、本発明はパノラマビデオ画像の実時間記録及び再生のための方法、任意のセンサアレイ形状、及び多重カメラの較正方法を含む。又、本発明は上記の各々の処理を実行することができ、又動作分析を利用してパノラマビデオ画像から自動的な画像選択を行うことのできるソフトウェア及び/又はデバイス;音声源の位置を利用する自動的な画像選択;音声と動作分析とを組み合わせて行う自動的な画像選択;表情又は人物の追跡システムにより強化される上記各特徴;パノラマビデオの実時間記録及び再生のためのシステム;平面状及び線形のものを含む、任意のカメラアレイ構成;及び相互に固定された多重カメラの較正方法を含む。
【0022】
又、本発明人らは上述のカメラアレイを、機械的にパンされ又は方向付けられる(カメラの捕捉レンズ(optics)を、被写体或いはパン又は向けられる領域へ方向付ける)カメラと組み合わせて利用することを実現した。例えば、カメラアレイは機械的に操作されるカメラが方向付けられる方向を決定してもよい。
【0023】
本発明は、1つのカメラアレイから同時に捕捉された1組の画像を、合成画像の共通座標系へワープさせるステップを含むカメラアレイの画像制御方法において実現されてもよい。
【0024】
本発明は、アレイに取り付けられた1組のカメラ;前記1組のカメラにより捕捉された少なくとも2つの画像を1つの合成画像へ結合するよう構成された画像結合機構;合成画像から視野を選択するよう構成された視野選択デバイス;及び選択された視野を表示するよう構成された出力機構;を含むデバイス又はカメラアレイとして具体化されてもよい。
【0025】
次に本発明の具体的な態様を以下に述べる。本発明の第1の態様は、カメラアレイにより同期的に捕捉された重複領域を有する1組の画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を1組のパッチとして複数組のパッチを識別するステップと、パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせるステップを含む、カメラアレイの画像制御方法である。第2の態様は、第1の態様において、前記変換式が双一次変換、放射変換、透視変換、及びアフィン変換のうちの少なくとも1つである。第3の態様は、第1の態様において、前記合成画像の同一の対応位置へ変換された同一の組のパッチをクロスフェーディングするステップを更に含む。第4の態様は、第1の態様において、前記ワープさせるステップが、それぞれのパッチの画素を各パッチの座標系から前記共通の座標系へ変換するために、各パッチの変形を行う。第5の態様は、第1の態様において、前記ワープさせるステップが、各パッチに所定の双一次変換行列を適用することを含み、前記所定の双一次変換行列が、各パッチを前記共通座標系へ変換するのに必要なワープの量を表している。第6の態様は、第3の態様において、前記クロスフェーディングするステップが、第1のパッチの各画素のパラメータを、前記第1のパッチの第1の境界における最小値から、前記第1のパッチの反対側の境界における最大値へ変更するステップと、第2のパッチの各画素の前記パラメータを、前記第1の境界に対応する前記第2のパッチの境界における前記最大値から、前記反対側の境界に対応する前記第2のパッチの境界における前記最小値へ変更するステップと、前記第1のパッチと前記第2のパッチの各々の対応する画素値をそれぞれ合計するステップと、合計値を前記共通座標系の対応する位置に置くステップと、を含む。第7の態様は、第6の態様において、前記パラメータが明度、明暗、及び強度のうちの少なくとも1つである。第8の態様は、第1の態様において、前記ワープさせるステップを、前記カメラアレイで同期的に捕捉された各組の画像毎に反復するステップを更に含み、各組の画像が前記カメラアレイにより捕捉される場面のビデオストリームにおける1つのフレームを表している。第9の態様は、第1の態様において、対象となる領域を合成画像から選択するステップと、選択した対象となる領域をユーザに出力するステップと、を更に含む。第10の態様は、第9の態様において、前記出力するステップが、ワープされ合成された画像から、前記対象となる領域を表示するステップを含む。第11の態様は、第9の態様において、前記選択するステップが、、前記カメラアレイにより捕捉される場面において検出された動作位置、前記場面中で検出された音声源位置、及び前記場面において検出された被写体の位置のうち少なくとも1つの位置を含む領域を前記対象となる領域として選択する。第12の態様は、第9の態様において、前記選択するステップが、前記合成画像から動作を検出するステップと、前記動作に基づいて前記バーチャル・カメラの視野を方向付けるステップと、を含む。第13の態様は、第12の態様において、前記被写体の範囲を立体的に計算することにより、前記合成画像において被写体の範囲測定を行うステップ、を更に含み、前記方向付けるステップが、前記バーチャル・カメラの視野を、検出された動作及び前記被写体の範囲に基づいて方向付けることを含む。第14の態様は、第12の態様において、1組の方向性のあるマイクロホンからの音声入力を検索するステップと、前記合成画像内で前記音声入力の方向を決定するステップと、を更に含み、前記方向付けるステップが、前記バーチャル・カメラの視野を、前記動作、前記被写体の範囲、及び前記音声入力の方向のうち少なくとも1つに基づいて方向付けることを含む。第15の態様は、アレイに取り付けられた1組のカメラと、前記1組のカメラで捕捉された重複領域を有する少なくとも2つの画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を1組のパッチとして複数組のパッチを識別し、パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせて1つの合成画像へ結合するよう構成された画像結合機構と、合成画像から視野を選択するよう構成された視野選択デバイスと、選択された視野を表示するよう構成された出力機構と、を含む、カメラアレイである。第16の態様は、第15の態様において、前記画像結合機構が、前記合成画像において、同一の位置を有するパッチをフェード及び結合するよう構成されたフェードデバイス、を更に含む。第17の態様は、第15の態様において、更に、前記画像結合機構によって結合された合成画像内からフレームを選択するフレーム選択デバイスを有し、前記フレーム選択デバイスが、合成画像において動作を検出するよう構成されたビデオ動作検出装置、前記合成画像中に生じる音声の位置を決定するよう構成された音声検出装置、前記合成画像における被写体の範囲を決定するために、前記カメラアレイの別々のカメラからの少なくとも2つの画像を利用するよう構成された立体範囲測定機構、のうちの少なくとも1つと、前記立体範囲測定機構からの範囲測定データ、前記音声検出デバイスからの位置データ、及び前記ビデオ動作検出装置により検出された動作、のうちの少なくとも1つに基づいて、前記選択されたフレームに含めるために、被写体の顔、形状、色及び動作の何れをも自動的に検出するよう構成された検出機構と、を含む。第18の態様は、第15の態様において、前記カメラアレイが、堅い基体に固定されて取り付けられ、前記ワープデバイスが前記パッチの各々に対し所定の変形を施す。第19の態様は、第15の態様において、各カメラの視野と前記合成画像の視野に共通する位置合わせ点を発見することにより、前記カメラアレイの各々を整合するよう構成された位置合わせ機構を更に含む。第20の態様は、第19の態様において、前記位置合わせ機構が、各カメラの視野内の種々の位置に方向付けることのできる位置合わせ点源と、前記位置合わせ点源を検出し、前記各カメラ視野において検出された位置合わせ点源を、前記合成画像の座標系に対し整合するよう構成された検出機構と、を含む。第21の態様は、第19の態様において、前記位置合わせ点源が、前記カメラアレイの視野に向けられた光源、及び前記カメラアレイの視野に配置されたグリッドのうちの少なくとも1つである。第22の態様は、第19の態様において、前記位置合わせ機構は、前記カメラアレイの少なくとも2つのカメラの視野に、少なくとも1つの位置合わせ点を配置し、前記カメラアレイの各カメラの視野において各位置合わせ点の位置をして、画像が前記位置合わせ点に関して結合されるよう、各カメラに対し、各位置合わせ点に関する情報を維持する。第23の態様は、第22の態様において、前記位置合わせ点を、ビーム光源から出射されて前記カメラアレイの少なくとも2つのカメラの視野に配置された可視又は赤外線レーザスポットとする。第24の態様は、第22の態様において、前記位置合わせ点を、前記アレイの少なくとも2つのカメラの視野に配置されたグリッドとする。第25の態様は、第22の態様において、前記位置合わせ機構は、前記カメラの画素を配置するために、ワープされた座標系を算出し、前記カメラの画素、フェードの量、及びワープされた座標系における対応する位置を識別するテーブルを維持する。
【0026】
【発明の実施の形態】
本発明のより完全なる理解及び本発明に付随する多くの利点は、以下の詳細な説明と添付の図面とを参照することにより、容易に得られるであろう。
ここで図面を参照する。類似の参照番号は同一又は相当部品を示すものとする。図1を参照すると、本発明に従ったビデオカメラの円状アレイの一例が図示されている。図1では、多重カメラ10が、各カメラの視野が隣接するカメラの視野と重複或いは当接するように、堅い基体20に取り付けられている。得られた画像はデジタルワーピングを用いて位置合わせされ、大きい合成画像となるよう結合される。この結果、全てのカメラの視野にまたがる、継目のない、高解像度のビデオ画像が得られる。カメラが相互に固定された位置に取り付けられているならば、種々のカメラ間の画像の位置合わせも固定的なものとなり、各フレーム毎に同一の合成機能を適用することが可能となる。従って、補間パラメータは一度計算すればよく、実際の画像合成は迅速に能率よく行うことができ、又ビデオレートでも行うことが可能である。
【0027】
カメラ構成は図1の態様に限られるものではない。例えば、図2(A)は堅い平面状の基体30に取り付けられたカメラ12の平面状アレイを示し、又図2(B)は各々が堅い基体40に取り付けられたカメラ14の直線状アレイを示している。カメラは種々の方向に位置合わせすることが可能である。例えば図2(A)では、各カメラはほぼ同じ方向に向けて位置合わせされている(上述のように、視野は重複している)が、図2(B)ではより多様な位置合わせがなされている(この例でも、ほぼ重複及び当接する領域がある)。
【0028】
テレビ会議など多くの用途において、フルモーション、超解像度の画像を伝送することは必要でもなく、又可能なことでもない。本発明は、画像内での動作、音声源の位置又は顔の位置などの手段により、通常の解像度の画像を抜粋する方法を提案する。しかしながら、多重カメラと同一場面の複数の画像とが考えられているため、超解像度処理(同一場面の多重画像から、高い解像度、即ちより多くの画素を得る)を適用してもよい。図2に示すように、多重画像が重ね合わされている場合、大きい合成画像から1つのフレームを抜粋することにより、任意のノーマルサイズのサブ画像を選択することができる。
【0029】
図3は3つのカメラの視野、即ちカメラ1の視野210、カメラ2の視野220、及びカメラ3の視野230を図示する。会議の参加者200と、参照用参加者フレーム(対象となる領域240)とは、カメラ1の視野210及びカメラ2の視野220の各々による当接状態或いは当接に近い状態の画像である。当接領域は1つのパノラマ画像へ結合され、この中から対象となる領域240(参加者200を含む領域)が選択される。更にカメラ3の視野230を上記1つのパノラマ画像へ結合することも可能である。或いは、カメラ3の視野230は対象となる領域240を含んでいないため、これを削除することもできる。こうして、選択された結合画像250(対象となる領域240を表す)が得られる。
【0030】
本発明では、あらゆる所望のサブ画像を選択することが可能であるため、選択領域の変更が「バーチャル・カメラ」の操作に相当する。カメラアレイは、各アレイ要素が小さい領域に「ズーム・イン」されるよう、長焦点距離カメラで構成することもできる。これら多くのズーム・イン画像の結合、及び解像度の低減は、ズーム・アウトに相当する。従って、固定されたカメラのアレイを用いることで、一般的なカメラの全てのパラメータ、即ちパン(パノラマ画像の異なる領域の選択)、ズーム(画像の結合或いは削除、及び解像度の変更)、及びチルト(例えば、特定の写角を与えられたカメラ、即ち上下の角度を付けたカメラからの画像の選択)を、能率よく再現することができる。
【0031】
機械操作によるカメラでは、有限旋回速度がモータ速度及び慣性により制限を受けるが、これとは異なり、バーチャル・カメラはカメラアレイの視野の何れの位置へも瞬時にパンされることができる。多重バーチャル・カメラを同一のアレイから同時に引き出すことができるため、多数のユーザが種々の領域を同時に見ることができる。この特徴は、例えば各ユーザが「個別バーチャル・カメラ」を制御することのできる、スポーツイベントなどの遠隔観戦(telepresence)の用途で特に有用となろう。
【0032】
例として、本発明の一実施形態を図4に示す。
【0033】
カメラアレイ260が、例えばスポーツイベント262に向けられている。カメラからのビデオストリームをパック、圧縮し、放送ステーション264での放送に備え、次いでケーブル、インターネット、空中波(例えば、放送塔266)又は他の放送メディア及びモードを通じて放送される。受信側では、受信デバイス(例えば、アンテナ280)が放送信号を受信し、ユーザステーション282が、1つのパノラマ的視野を形成するよう放送信号中の画像を結合する。ユーザ(図示せず)は、制御デバイス284を介して所望の視野を選択し、これにより例えば表示286が表示される。
【0034】
放送帯域幅を節約するため、制御デバイス284からの信号は発信源(ここでは、放送ステーション264)へ戻るようにすることもできる。これにより、表示286の生成に必要な特定のビデオストリームのみを識別できる。別の実施形態では、表示286全体を発信源において合成し、表示286のみをユーザに対して放送する。特定の構成は、放送帯域幅の使用可能度、及び放送ステーション264とユーザステーション282の各々の使用可能な処理能力に基づいて選択される。当業者には理解されるように、本明細書中の説明と矛盾することなく、任意の数の結合又は変更を本発明に加えることは可能である。
【0035】
カメラアレイの配置としては、放射状(円状)(図1及び図5に示すものなど)、直線状、平面状(図2(A)、図2(B)、図6及び図7に示すものなど)、室内の壁を覆うもの、或いはテーブルやその他の物体に取り付けるものなど、あらゆる配置が可能である。カメラアレイの各カメラの位置及び写角はカメラ間で相互に固定されている。従って、再較正(再位置合わせ)又は個々の画像を1つのパノラマ場面へ変換するための行列式の再計算を行うことなく、カメラアレイ全体を移動させることができる。
【0036】
カメラは通常は台又は他の基体上に固定されているが、相互に移動可能なカメラを備え、又移動後カメラアレイ中の各カメラの再位置合わせを行う位置合わせ工程を利用するカメラアレイを備えることは本発明と矛盾しない。更に、追加カメラ又は補助カメラをアレイに取り付け又は含有させる機構、及び再度の位置合わせ工程は、アレイに追加された任意のカメラに本明細書中で説明される迅速なワープ及び変換技術を適用することができる。
【0037】
ここで図5を参照する。カメラの放射状アレイはテレビ会議での使用に適している。放射状アレイは360度の視野を有し、会議のテーブルの中心(図5では“B”で表す)などの固定点にその中心を置いている。埋め込み式又は他の用途(以下に記述する)にも同様のアレイが有用である。図5の“B”に置かれたアレイはテーブルに着座しているような印象を与える。
【0038】
他の埋め込み式用途のために、同様のアレイを可動台に取り付けることも可能である。カメラ動作を攪乱することなく瞬時にパンすることができる点は、現行の埋め込み式システムに対する改良点である。例えば、警察ロボット工学などの他の用途では、偵察目的で不良環境に進入する際に、機械化カメラが必要である。デバイスは機動化され、又ビデオカメラ、遠隔パン手段、及びマイクロホンを備え、不良環境へ進入する。脅威が検出されると、カメラはその脅威を調査するためにその方向にパンするが、デバイスはパン及びズームの時間的パラメータにより制限を受ける。これに代えて、本発明に従った、同一のロボットデバイスに取り付けられた放射状アレイは、脅威を評価するために即座にパンすることができ、カメラの多重の重複を有し、以下に詳述するように、マイクロホンや動作検出によりそれ自体で脅威の位置を突き止めることができる。
【0039】
カメラアレイは、任意の所望の配置で構成することができ、又好都合な位置に配置することができる。二次元カメラアレイは、パンニングと同様、電子的ズーミングをも容易にするよう構成することができる。例えば、アレイの第一の次元は会議室又は場面の全景を網羅し、即ち全景に向けられ、他方、第二の次元は場面中の対象となる特定点に向けられたカメラを有する(図2(B)に例を示す)。カメラアレイの配置例としては、テーブルの縁、一定角度にて天井、或いは室内の1つ又は複数の壁全体を視野に入れるように配置するものがある。自動切替や電子的パンニングにより、室内のあらゆる事象の適切な画像が確保され、カメラの視野から場面の一部が外れることはない。
【0040】
図6(A)は、平面状に配置されたカメラ400を有する他の用途を示す。各カメラ400は当接する領域410の特定の1つに向けられており、ユーザは、複数のカメラの任意の組み合わせにより網羅される、任意の視野を選択することができる。これにより、優れたズーム範囲に加え上下のパンが可能となる。
【0041】
図6(B)は、他のカメラの視野と当接し或いは重複した特定領域に向けられたカメラ420(それぞれA、B及びC)を備える別の構成を示す。この場合、特定のカメラの視野は場面内の特定の対象領域に向けられている(この結果、例えば図7に示す視野A、B及びCが得られる)。図6(B)及び図7の構成は、適切なカメラ操作であるズーム及びパンを行って発言者を追跡し、表示スクリーンにズーム・インし、又視聴者が質問又は反応する場合ズーム・アウトしてこれを捉える、講演や会議室での用途に適している。
【0042】
従来技術では、課題であるカメラアレイの技術上の制約を十分解決してこなかった。重要な課題を幾つか提示する必要があろう。即ち、継目のない合成画像を形成するために多重ビデオストリームを結合する点、アレイカメラを較正する点、及び合成高解像度ビデオの高速なデータ転送レートを処理する点である。
【0043】
フレーム合成
隣接フレームの端部の接合は、パノラマ画像又は結合画像を形成するために個別の画像を結合する方法又は方法の組み合わせにより達成される。ある実施形態では、四辺形領域の空間的変形(ワープ)を用いる。これは、多重画像への普遍性を損ねることなく、2つの画像を組み合わせ、1つの大きい画像とする技術である。まず、多数の画像位置合わせ点を決定する。画像位置合わせ点とは、各サブ画像において既知の位置に結像される固定点をいう。この決定は手動或いは自動の何れによっても可能である。何れの場合においても、この工程はアレイを既知の、構造場面に方向付け、対応点を見出すことを含む。例えば、図8(A)は矩形のボックス500を含む場面に向けられた2つのカメラの視野を図示している。矩形のボックス500は視野1と視野2(視野1及び視野2はそれぞれ2つのカメラの何れか1つにより捕捉されたおおよその視野に対応する)間の重複領域にある。従って、矩形のボックス500の各々の点は、画像位置合わせ点(カメラアレイの2つ又はそれ以上のカメラの各々の視野に共通の点)であるということができる。
【0044】
図8(B)は、矩形ボックス500が、図8(A)の視野1及び視野2に対応する2つのカメラの実フレーム(当接するフレーム、即ちフレーム1及びフレーム2)において捕捉されたところを図示している。ボックスはフレーム1では四辺形の領域EFHG510であり、フレーム2ではE’F’H’G’520である。カメラ写角が微妙に異なるため、各々の四辺形領域は角構成が一致しない。従って、本発明は各四辺形領域をワープさせ、共通の座標系とすることにより、当接するフレームを突き合わせる。なお、四辺形領域EFHGの辺は図では直線であるが、実際には樽や針山状に変形していてもよく、これらは後述する高速ワープのための式によりほぼ補正され得ることを記しておく。樽や針山状の変形は、(個々の線形変形ではなく)放射状変形により補正され得る。個々の線形変形は、曲線の近似を決定する。
【0045】
或いは、他の画像の座標系へ適合させるのに、1つの画像のみをワープさせればよいものもある。例えば、四辺形領域EFHGのワープは透視変換により行うこともできる。従って、フレーム1内の四辺形EFHGは、フレーム2の座標系においてE’F’H’G’に変換されることができる。
【0046】
別の実施形態では、個々の部分が隣接する四辺形領域の双一次ワーピング(変換)を用いる。図9を参照すると、多重画像(サブ画像ともいう)の普遍性を損ねることなく、1つの大きい画像を形成するために多重画像を組み合わせる方法の一例が示されている。まず、多数の画像位置合わせ点を決定する。画像位置合わせ点とは、各サブ画像において既知の位置に結像される固定点をいう。本実施形態では、既知の位置にある固定点は、カメラアレイの軸610と同軸で、且つ半径620がカメラのほぼ動作範囲(本実施形態では、約1メートル)である円筒600からなる。ここではF絞りの小さい広角カメラを用いており、このため、約1メートル以上離れた全てのものに焦点を合わせた広い視野が得られる。
【0047】
円筒(例えば、図の640)上の正方形のパッチは、1つ又はそれ以上のカメラにより四辺形領域として結像される。結像された四辺形領域は、例えば四辺形領域ABDCのパッチ(ソースポリゴンともよぶ)として図10に図示されている。画像合成段階において、各四辺形領域(ソースポリゴン、パッチ)はワープされて正方形に戻り、各正方形をグリッドとして当接させる(即ち、正方形、ワープされた四辺形領域を共通の座標系に置く)ことにより、最終パノラマ画像650(目標画像ともいう)が合成される。
【0048】
双一次変換は四辺形領域をワープする際に用いられる(双一次ワーピング)。下記式(1)は同次の座標系u,vを、ワープされた(正方形の)座標系x,yに変換する。
【0049】
【数1】
【0050】
式(1)は、基準点(座標系u,vではABCD、座標系x,yではA’B’C’D’)により与えられる連立方程式を解くことにより決定される、8つの未知係数を有する変換行列である。各座標系における4つの点は、8つの未知のパラメータを解くための8つのスカラ値を有する。より多くの対応点(対応点とは、四辺形領域(この例では、ABDC)を含む点をいう)がある場合、重複決定された式の集合が得られる。この式は、よりロバストな評価のための最小2乗(一般逆行列)法を用いることにより解くことができる。
【0051】
上記のプロセスは各パッチ(即ち、1つ又はそれ以上のカメラで捕捉された各パッチ;画像の境界に沿った少なくとも2つのパッチの集合(結合されるべき各画像から1つのパッチ);結合画像の境界に沿って決定される各パッチ)毎に反復され、式(1)(或いは、選択された領域に同じ機能を実行する等価式)を利用して、ワーピング係数の1つの集合(この例では、8つの係数)が各パッチ毎に算出される。これらは、合成画像における正方形の目標領域の位置と同様、ワーピング係数又は較正集合と呼ばれる。
【0052】
ワープされた座標系x,yにおける画素値を算出するため、上記式はx,yに関してu,vを解くことにより逆転される。これにより、「逆マッピング」と呼ばれるプロセスが実行され得る。ワープされた座標系における各画素毎に、ワープされていない座標系中の対応する画素が見出され、その値が再現される。
【0053】
(例えば、式1の)係数はテーブル中に記憶され、画像を「迅速に」ワープする際に利用される。カメラは固定され、又位置合わせ(或いは較正、これについては後述する)されているので、同一のパッチに対して同一の式が何度も利用される(即ち、新しい対応又は位置合わせ点を見出す必要がなく、或いは係数を再計算する必要がない)。
【0054】
ワーピングは不連続的なものではなく、連続関数であるため、逆マッピングは通常非整数のワープされていない座標を生じる。このため、画素値は双一次補間を用いて隣接画素値より補間される。このプロセスでは、4つの最も近い整数点の一次結合を利用し、補間値を得る。この用途では不可欠な透視ワーピングは極値ではないため、エイリアシングを低減するために更なる補間又はフィルタリングを行う必要はない。
【0055】
他の実施形態では、パッチを捕捉画像(u,v座標系)から合成グリッド(x,y座標軸)へワープさせるために、別のタイプの空間変換を行う。合成グリッドにはめ込むために捕捉画像を変換する空間変換は、何れを用いても本発明と矛盾しない。例えば、アフィン変換や透視変換などが可能である。
【0056】
位置合わせ点の検出について以下に述べる。本実施形態では、位置合わせは各カメラの画像を検査することにより手動で行われる。この作業は、一度行えばその後は自動的に行うことができるので、過大な負担ではない。
【0057】
図11は、較正点、及び未加工画像(カメラで撮像され、ワープや他の処理を施していない画像)におけるパッチの一例を示す。画像810、820、830及び840は、連続的に位置合わせされたカメラによりある場面で撮像された、当接する画像である。各画像はグリッド815、825、835及び845を有し、これらのグリッドは、共通座標系へワープされ、場面の連続画像を形成する、ソースポリゴンを有する。更に、陰影を付した列851及び876(両のカメラ画像中にある)が混合される。一方、列877及び列852は削除しても、又混合して用いてもよい。
【0058】
更に、本発明では、高速ワープのための式にレンズ歪みの補正が含まれる。例えば、図11で使用するカメラレンズはかなりの量のレンズ膨張を呈している。画像810の右側に示された区画850の右エッジ(右方向に膨張している)、及び画像820の左側に示された区画850の右エッジ(左方向に膨張している)に注目されたい。一実施形態において、レンズ異常又はレンズ歪みは高速ワープのための式に(例えば、放射状の変形を用いて)加味されている。別の実施形態では、こういった異常は、パッチ(位置合わせ点)数を増加させ、ワープされた画像を、撮像された実際の場面により近似したものとする(連続した歪みを個々に近似させる)ことにより、補正される。
【0059】
ソースポリゴンが共通の座標軸へワープされると、これらを結合させるためにクロスフェードを利用することができる。結合画像のための画素は、ワープされた2つのポリゴンを補間することにより決定される。これを線形補間により行うことができる。より適切なマッピングを行い、又合成画像中に「継目」がなるべく現われないようにするため、ポリゴンの数及び大きさは必要に応じて調整できる。「継目」は、例えば個々の線形補間関数を用いるなど、補間関数を変えることで任意の位置に置くことができる。画像結合は、継目が顔を横切らないようバイアスされ得るため、このことは、顔の位置がわかっている場合に特に有用である。
【0060】
図12に示すように、ワーピングに加え、パッチの「クロスフェーディング」を行うことにより、かなりよい画像が得られる。このプロセスでは、異なるカメラから2つ又はそれ以上の同一正方形の画像が得られなくてはならない。例えば、図12のカメラ900及び920は同一の正方形910をそれぞれ結像している。各画像は、パッチ(画像の正方形)における画素強度を線形に低減することによりフェードされる。例えば、左のカメラ900からのパッチは、画素強度を漸減し、パッチの最左端では変化はないが、最右端で画素強度がゼロになるようフェードされる(拡大したパッチ930を参照)。逆に、右のカメラのパッチは最左端の画素がゼロになるようフェードされる(拡大したパッチ940を参照)。右及び左のパッチの画素強度を加算すると、2つの画像を滑らかに混合したパッチ画像が得られる。これにより、カメラが別々であること、及び画像強度の差異に起因するアーチファクトを低減せしめることができる。
【0061】
フェード処理を施されるパッチの大きさ又は形状は、カメラ視野の範囲内であれば特に制限はない。従って、2つ又はそれ以上のカメラ視野における被写体又は他の選択領域は、フェード処理のために任意の幾何学的形状又は輪郭で選択されることができる。
【0062】
或いは、重複領域における個々の対応する画素を、これらの画像のワープ及び整合後、何らかの方法で総括、平均し、次いでエッジにおいて又は重複領域全体にわたってフェードさせ或いはぼかすことができる。本明細書の開示に照らせば、ワープされた当接及び/又は結合画像間の平滑な移行のために、フェード、ぼかし又は平均処理を含む多くの処理手順が実行され得ることは当業者には明白であろう。
【0063】
図13及び図14は、多重画像を高解像度の合成画像へ統合する方法を示す。図13はカメラ1000(CH1)、1010(CH2)、1020(CH3)及び1030(CH4)により撮像された画像を示す。各画像は、最終パノラマ画像へワープされる、1組の四辺形のグリッドを含む。
【0064】
図14は、図13の画像にワーピング、クロスフェーディングを施し、共通座標系へ結合した後の合成画像1100を示す。図14は、共通座標系に相当し、基準の用に供されるグリッド1110を含む。画像は結合されるだけでなく、歪みの補正も行っていることに注意されたい。例えば、(タイルA1乃至A5に沿った)最左端の壁の湾曲したエッジは、合成画像では直線になっている。
【0065】
又、継目のない画像を形成する上でのクロスフェーディングの効果にも注目されたい。カメラ画像の四辺形領域1002と1012、及び1004と1014は結合され、合成画像のグリッド正方形E2及びE3となる。異なるカメラの同一視野によくある如く、CH1の四辺形領域1002及び1004は、CH2における対応する領域1012及び1014よりも暗くなっている。しかしながら、結合されたとき、グリッド正方形E2及びE3の最右端部は明るく(四辺形領域1012及び1014と同様)、一方、同じグリッド正方形(E2及びE3)の最左端領域は暗くなっている(四辺形領域1002及び1004と同様)。よって、継目は存在しない。
【0066】
図15は、各ビデオフレームを合成するステップを示すフロー・ダイアグラムである。このフロー・ダイアグラムでは、3つのカメラ(1200−1、1200−2、1200−3)が、合成パノラマ画像の一部として結合される画像をそれぞれ1つ提供する。ステップ1210−1、1210−2、1210−3において、各画像は、パッチ(四辺形領域)を選択することによりそれぞれ処理され、共通座標系に適合する空間へワープされる。ステップ1220で、ワープされた四辺形領域(パッチ)はクロスフェードされ、或いはエッジ及び継目を消去する他の技術を施され、タイル状(例えば、共通座標系)に配置される。一連の処理が完了すると、合成パノラマ画像は表示、選択、記憶又は他の処理が可能な状態となる(ステップ1230)。全てのデータ伝送及びワープを含む、現行の可能な処理速度で行われる一連の処理手順は、毎秒10乃至30フレームのビデオレートで実行されることが可能であることに留意されたい。
【0067】
バーチャル・カメラの自動制御
機械操作のカメラは、それらの向きを制御する機械システムの限界により制限を受ける。バーチャル・カメラの利点は、物理的カメラ及び/又はレンズを動かすことによる速度上の制限を受けることなく、パン及びズームを事実上瞬時に行うことができる点である。加えて、物理的カメラを動かすことは、特に図5に示すような会議テーブル上のカメラのように、被写体の視野内に直接存在する場合、気を散らす原因ともなり得る。
【0068】
このシステムでは、パノラマ画像から1つ又はそれ以上の通常の解像度の「バーチャル・カメラ」画像を選択することができる。機械的カメラには、1つの方向にしか照準を合わせることができないという制約がある。カメラアレイは、このような制限を受けない。即ち、パノラマ画像から抜粋することのできる、パン及びズームの異なる画像数は無制限である。我々は合成画像全体からの情報を用いて、動作分析、音声源の位置、及び表情の追跡から、最良のサブ画像を自動的に選択する。計算上の負担を低減するため、パノラマ画像の、バーチャル画像の合成に使用しない部分は、より低速のフレーム速度、低解像度、或いはグレースケールで分析されることができる。
【0069】
カメラアレイの有用な応用例の一つに、広視野動作センサが挙げられる。この場合、カメラアレイは室内の既知の位置に固定される。室内の領域は、1つ又はそれ以上のカメラの画像平面における固定された位置に相当する。従って、ルックアップテーブルや類似の方法により、ビデオ画像の特定領域における動作検出を用いて、その動作の対応する空間的位置を見出すことができる。この空間的位置は、例えばもう1つのカメラを適切な方向へ向ける上で十分な情報である。多重カメラ又はアレイは、例えば室内の異なるコーナー(隅)に配置するなど、視野を適切な角度に配置することにより、範囲の曖昧さを一掃するために用いることができる。
【0070】
別の有用なシステムは、一般的な操作可能なカメラ及びカメラアレイ動作センサからなる。特定の位置における動作により、適切なカメラのパン/ズームパラメータが、被写体を捕捉するよう設定される。例えば、図7で、演壇の上で動作が起こると、適切なカメラに、演壇での発言者を捕捉するために所定位置へ移動するよう信号が送られる。操作のこのモードは計算上安価であり、又得られた画像を表示する必要がないため、カメラアレイには比較的安価な白黒カメラを用いることができる。このことは、3つの白黒カメラを1つのRGBビデオ信号上で多重化させることと相俟って、処理工程において多大な節約となる。
【0071】
視差からの奥行きマップの生成
同時光学を用いる(即ち、全てのカメラが光学的に同位置にある)カメラアレイの形成は実際的でないため、カメラの対は小さな、しかし重要な基準線による離間がなされている。1つのワープ関数は1つの特定の距離においてのみ完全に機能するため、このことは、基準線から異なる位置にある被写体の画像を結合する際に、問題となる。この特定の距離にない被写体は異なる位置にワープされ、これらは画像を組み合わせたとき、二重になったり(「ゴースト」とよぶ)、合成されて省略されたりする。実際には、一般的な距離(遠隔会議の場合、例えば1メートル)に合わせてカメラアレイを較正することができ、又パッチの混合により、その距離にない被写体から不都合なアーチファクトを最小化することができるため、このことはさほど問題ではない。他の解決方法としては、異なる位置にある被写体に対し、多数のワーピング係数の計算を行うものがある。このようにして適切な組が選択され得る。
【0072】
よりよい解決法として、結像される被写体の範囲を見出す際の、視差(立体を見る上での視差)の利用を挙げる。この方法では、無限遠においてパッチが視差ることなく結合できるよう、カメラアレイを較正する。各パッチ(或いは、大きいパッチの中の小部分)を見ているとき、1つのパッチを他のパッチと合わせるためにどの程度移動させるかを見出すことにより、立体を見る上での視差が生じ得る。このタイプのカメラ較正は、これを本質的に一次元の探索に換えることで立体整合上の問題を大いに簡素化する。各パッチは対応する正方形にワープされるため、それらを整合させるためのシフトを見出せばよい。この方法はレンズ歪みによる複雑さを回避する。一次元(1−D)の相関は、1つのパッチにおける一行の画素にわたる最も大きい重複を有する差において最大となる。
【0073】
最大ピークの高さは画像整合の信頼度を示している。滑らかな、又は著しい特徴のない領域の整合を試みることにより、低いピークが得られる。一方、きめ細かい画像はくっきりとしたピークを有する。人間などの被写体をの動作範囲を見出すことが望ましければ、より大まかな視差評価を得るため、上記技術はフレーム毎の画素の差異に適用することができる。
【0074】
相関ピークの差はそのパッチにおける(カメラからの)被写体の距離に直接起因する。カメラの基準線が小さいため、高解像度が得られず、又しばしばノイズが発生するが、例えば会議テーブルの周りに座っている人間の位置を検出することは可能である。パッチは10乃至50個台の画素からなる小さいものである。各パッチ毎の視差評価は1つしかないため、より細かい空間的詳細を得るためにパッチを重ね合わせることが可能である。こうして視差評価のグリッド、及びそれらの関連する信頼度の評価値が得られる。これらはメディアンフィルタなどの空間的フィルタリングにより、及び無視された、或いは隣接点から得た評価値で置き換えられた低信頼度の点を用いて平滑化される。
【0075】
視差評価は数多くの用途を有する。直接の用途としては、アレイの視野内にある被写体又は人間の位置及び数の推定が挙げられる。これは、テンプレート突き合わせや類似の技術を用いて、平滑化(各パッチ毎の視差評価のグリッドの平滑化)された視差マップにおける適切な空間周波数の局所的ピークを探すことにより、行われる。位置が推定されると、バーチャル・カメラは、被写体を確実に常に視野の中央に置きながら、被写体位置へ「スナップ」することができる。
【0076】
もう1つの用途は、カメラ間の継目が被写体を横断しないようにすることである。個々のカメラ視野では幾つかのパッチが重複しているため、重大な視差評価のないパッチ、即ち被写体でなく背景画像のみを含むパッチのみを混合することは簡単である。
【0077】
更に別の用途は、パノラマ画像を前景画像と背景画像とに区分することである。ここでも、カメラアレイが背景に対して固定されていることから、この作業は簡素化される。従って、あらゆる画像動作は被写体により、又被写体のみによる。重要な動作又は視差のないパッチは背景画像である。前景画像である被写体が、背景との区別を明らかにする程度に動作しさえすれば、おおざっぱな背景が得られる。任意の所与の画像と背景画像との間の相違は、前景被写体のみによるものとなろう。例えば、背景が変わらない場合には再伝送する必要がないため、これらの画像を抜粋し、他の用途に利用することができる。被写体画像のみを変えて伝送することで、帯域幅が大幅に節約される(MPEG−4ビデオスタンダードを参照)。
【0078】
ビデオ分析を用いるカメラ制御
一実施形態において、動作分析はバーチャル・カメラを制御する、即ち、動作している被写体を含むパノラマ画像の部分を選択する機能を有する。動作はパノラマ画像のフレーム毎の画素の差異を計算することにより決定される。これは、ノイズを除去するための、適度な値における閾値であり、得られた動作画像の重心(最初の空間モーメント)を用いてバーチャル画像の中心を更新する。新しいバーチャル画像の位置は、(時間的に)その前の位置と動作の重心との重み付き平均として算出される。重みは、「慣性」、即ちバーチャル・カメラが位置を変える速度を変化させることで調整され得る。前の位置に重みを与えることで、大きい重みにより動作評価からの小刻みな振動は平滑化されるが、全体的なパン速度は低下する。重みが小さければ、バーチャル・カメラは動作位置の変化に迅速に応答するが、小規模の被写体動作により不規則に振動することになる。
【0079】
追跡は、新しい位置評価が前の位置評価と一定量以上異なっていた場合にのみバーチャル・カメラが変化するよう、ヒステリシス値を加えることにより更に改良され得る。動作の重心は短い、及び長いタイムスパンの両方にわたって平均される。短時間の平均が長時間の平均を事前設定された量を上回って超えた場合、カメラ視野はその位置へ向けられる。これは、くしゃみや、鉛筆の落下などの短時間の動作事象のほか、時計の秒針や蛍光体の点滅など、長時間の動作事象における安定した動作事象からの「誤警報」事象を補償する。これにより小刻みな振動は平滑化されるが、ヒステリシス閾値がこれを超えているならば、一定の被写体の動作によりバーチャル・カメラ位置の一連の跳躍が生じる。
【0080】
動作検出アルゴリズムのその他の強化としては、空間的及び時間的フィルタリングが挙げられる(例えば、頷きや移動(shifting)の代わりにハンドジェスチャーを強調するなど)。操作上、バーチャル・カメラは最初、ズーム・アウトされ、又はカメラ視野にある全てのものを概ね包含するようニュートラルモードに設定される。図5に示すような放射状アレイを使用する場合、合成画像のアスペクト比は狭くなる。即ち、アスペクト比は高くなるのではなく、広くなる。この場合、ニュートラル視野は、サイズを縮小し、ブラックや他の色を加えて引き伸ばすことにより、「郵便受けの形状」にされ、通常のアスペクト比のフレームとなることが可能である。
【0081】
或いは、ニュートラル位置は、大きい画像が、通常のアスペクトのフレームをタイル状に並べるために単位区分された、「緩慢な集まり(Brady Bunch)」としての視野であってもよい。フェーストラッカー(顔面追跡装置)からの出力により、会議の全参加者が視野内に収められ、参加者の顔上で画像分割が発生しないことが確実となる。
【0082】
1つ以上の領域で動作が検出されるならば、幾つかの発見方法を用いることができる。最も簡単なものは、最も大きい動作信号のある領域を選択し、上述の処理を施すものである。別の方法としては、カメラ視野のズームを戻し、全ての動作源を視野に収めるものがある。動作情報が競合していたりゼロである場合、カメラはデフォルトのニュートラル視野に戻ることができる。
【0083】
別の有用な検出方法としては、同一位置にある、視覚的に興味を起こさせないあまりに長い場面を不採用とするものが挙げられる。バーチャル・カメラの位置を一旦大きく変えると、タイマーが開始される。タイマー値が増加するに従い、動作変化の閾値は低減する。このことは、ショット長さの平均又は統計的分布が、ある所定の又は経験的に決定されたパラメータと適合するような方法で行われる。別のカメラチェンジを行うと、タイマーはリセットされる。最終効果は人間が行っているようなカメラ操作を促進することである。例えば、カメラの焦点を特定の発言者にしばらくの間合わせるとすると、視聴者が賛同を示して頷いているのを捕捉できないことがよくある。これらをも捕捉することにより、ビデオの現実性及びビデオへの興味が高まり、又人間の操作者の作業により近いものとなる。
【0084】
上記の全ての技術は、視差マップより推定された被写体位置と組み合わせることができる。
【0085】
バーチャル・カメラの音声制御
音声源の位置及び方向を決定する際にマイクロホンアレイを利用することが知られている。一般的に、これらは複雑で、計算上集約的なビーム形成アルゴリズムを用いる。しかしながら、テーブルに着いた発言者の方向を決定し、又、室内の何れの方向(発言者又は視聴者)から音声が発せられているかを決定するために、より率直なアプローチを用いてもよい。この情報は、恐らく映像上の手掛りと結合されることになる。この情報により、カメラは1人又は複数の発言者を捕捉するよう自動的に操作される(前記セクションで述べた方法を用いる)。
【0086】
従来のビーム形成では、音声源の方向及び距離を評価する際、位相差に依存していたが、これに対し、本発明の発明人らは、音声信号の振幅を利用すれば適切な評価が得られることを認識した。ここに示すシステムは、図16に示すような円の周りに位置合わせされた、方向性のあるマイクロホンのアレイを利用する。このようなアレイは会議テーブルや会議室の中央に置かれる。マイクロホンの方向性が十分であるならば、最も平均の大きさの高いマイクロホンが音声源の凡その方向を示すはずである。
【0087】
音声反射(特に、壁やテーブルからの反射)などの悪影響、及び実マイクロホンの方向性の不完全性(殆どのカーディオイドマイクロホンは自らの軸に対し実質上180度反応する)は本発明により最小化される。
【0088】
一実施形態において、本発明は音声信号を対象となる周波数(発言領域など)へプレフィルタリングし、換気の音やコンピュータファンのノイズなど、ある帯域にあるノイズの排除を助ける。
【0089】
更に、マイクロホンの方向性を強化するため、横方向の抑制を用いる。一実施形態において、横方向の抑制は、各隣接するマイクロホンから、平均信号の大きさをもつ小数部を控除することによりなされる。図16に示すように、各マイクロホンの時間的に平均した大きさを|M|で表す。α<1の小数部α(例えば、Mnからα1300とα1301とを控除する)を隣接する各マイクロホンから控除する。これにより、各マイクロホンからの空間的分解能がより鮮明となる。必要に応じて、付近のマイクロホンへの依存度を、直近のマイクロホンへの依存度よりも高めてもよい。振幅又はエネルギー領域において控除がなされると、位相の取消しや強化に起因する問題はみな回避される。この結果、各マイクロホンの方向性は鮮明となる。
【0090】
一実施形態において、システムは、換気など一定の音声源から各マイクロホンに投じられる周囲のエネルギーを控除することにより、周囲条件に合わせて標準化される。システムの稼動中は、各マイクロホンは各々の「視野」内の音声エネルギーの実時間評価を生成する。補間を用いれば、マイクロホンの数以上のより高い角度分解能を得ることができる。
【0091】
よりロバストなシステムでは、各マイクロホンからの音声信号のピーク又は対応する特徴を見出すことにより、音声源の位置を推定する。音声の速度は有限であるゆえ、音声信号は音声源の直近のマイクロホンに最初に到達することになる。ピーク間の時間差を与えられると、最初に到達したピークが直近のマイクロホンに対応することになる。既知の位置のマイクロホンに差の推定を与えると、音声の角度的方向を見出すのに幾何学上の制約を用いることができる。
【0092】
反射の多い複雑な環境下では、反射の統計は、音声源の角度的位置を特徴付けるためのトレーニングデータから学習される。このことを振幅の手掛りと組み合わせることにより、よりロバストな音声位置の推定が得られる。
【0093】
特に遠隔会議の用途に用いるシステムは、柔軟性のあるコード上の1つ又はそれ以上のデスクマイクロホンからなる。使用時、マイクロホンは各会議参加者の前にそれぞれ配置される。各マイクロホンは可視或いは不可視赤外線の、制御可能なビーコンを備える。ビーコンはビデオフレーム速度の1/2の速度で点滅するよう設定される。従って、ビーコンが点灯していないフレームに時間的に非常に近い、ビーコンが点灯しているフレームが存在する。これらの(ビーコンが点灯していない)フレームを控除することにより、ビーコンに相当する明るいスポットが残り、他の画像特徴は全て削除される。この方法により、パノラマ画像におけるマイクロホンの位置が決定できる。それぞれのマイクロホンで検出された音声エネルギーは、バーチャル画像をそのマイクロホンに切り換える手掛りを与えることができる。
【0094】
音声を用いたカメラ制御
種々のマイクロホンから角度的方向及び大きさの信号を与えられると、カメラは、動作に関して上述したものと同様のアルゴリズムを用いて制御され得る。短時間及び長時間の平均は、コンピュータ・ファンのような固定されたノイズ源を考慮に入れることができる。多数の発見方法を用いて、音声源位置を基にした表情及び/又は動作検出の統合が行われる。音声方向は、顔の追跡システムを開始させるための、発言者の位置の初期推定として用いられる。又、顔の追跡と音声源位置とを共に用いてもよい。従って、被写体は、カメラがその方向に向けられる前に、顔として、且つ音声源として認識されなければならない。このことは、発言者を画像として表示することを目的とした自動遠隔会議システムにおいて特に有用である。
【0095】
立体範囲測定
本発明では多重カメラを利用するため、場面において、撮像されるべき被写体の立体範囲測定を行ってもよい。会議室の壁を最大範囲とするが、よりカメラに近いところにある任意の被写体は、画像のバーチャル視野の焦点を移動させる際に、より被写体として可能性のあるものとして捉えられることになる。立体範囲測定により、被写体が会議室の壁よりも近いところにあると決定され、又それが動いているならば(動作検出は、例えばビデオ分析により行われる)、それは被写体としての可能性がより高い。これに音声検出が更に加われば、被写体はズーム・インされるべき被写体としての可能性が更に高くなる。本発明は、カメラズーミングすべき予想被写体の決定のために全ての分析機能、即ち音声、ビデオ動作検出、及び立体範囲測定の組合せを利用する態様を含む。
【0096】
データ操作及び圧縮
多重ビデオカメラは、生成されたビデオデータの絶対量全てを処理するための技術を必要とする。しかし、1つの共通CPUにおいて多重ビデオストリームを実時間で合成することは至極可能なことであり、これは増加する処理速度及び平行化に応じて基準化されなければならない。全てのカメラ視野が実時間で記録されるよう、各カメラを複数のアナログ又はデジタル記録デバイスへストリームとして向けることは可能である。こうすれば、記録されたストリームは後にも同じ方法を用いて合成されることができる。別のアプローチとしては、合成された高解像度ビデオ画像を、それを支持することのできるフォーマットに記憶させるものがある。
【0097】
任意の大きいフレームサイズは、MPEGなど多くの共通ビデオフォーマットによりサポートされる。フル解像度の画像を記録することには、従来の技術に対し、多くの利点がある。即ち、まず、多重視野を高解像度の画像から合成して作ることができ、これにより源となる材料の種々の用途がサポートされ得る。例えば、ビデオテープに録画した講義では、スライド画像を見たいと考える学生もあろうが、聴力障害をもち、読唇に頼る学生は、講師の画像を見ることを望む場合もあろう。フル解像度の画像を記録することにより、より適切な自動制御も可能となる。任意の実時間カメラ制御アルゴリズムでは将来起こり得る事象を見越すことはできないため、1分間に対し数秒間の遅延を以ってより適切な制御を得ることが可能である。従って、異なる音声又は動作源への切換えは、短時間平均が閾値に達するまで待つことなく、瞬時になされ得る。
【0098】
MPEGの如き現行の規準は、矩形であることを想定した任意の解像度のフレームを既にサポートしている。記憶及び計算の両方における、可能性のある事実上の節約のため、画素領域においてではなく、MPEGマクロブロックを用いて画像を合成することが可能である。多重ストリームアプローチには、特定の用途に必要なストリームのみを考慮すればよいという利点がある。
【0099】
例えば、円状アレイ(例えば、図5の“B”)からバーチャル・カメラを合成して作る場合、予想できる用途で必要となる、1度に考慮されるべきビデオストリームは多くても2つのみである。従って、本発明と関連する高速ワープ技術と組み合わせれば、これらの処理はデスクトップパソコンの処理能力で十分対応できる。
【0100】
逆の実施形態も考えられている。即ち、通常の解像度のビデオを超解像度のMPEGストリームから抜粋することは、適切なマクロブロックの選択及び復号のみの問題である。帯域幅に制約があるならば、パノラマビデオ画像は、重大な変更があった領域のみを送ることで効率よく伝送され得る。この技術は、H.261のような低帯域幅のビデオフォーマットでは多用されている。この方法の新しい応用として、動いている顔や、発言者などの重要な音声源に当たる画像領域のみを記憶又は伝送するものがある。
【0101】
カメラの自動位置合わせ
異なるカメラから重複する画像を組み合わせるために、各カメラはレンズ及び撮像上の歪みが識別され補正されるよう位置合わせされなければならない。このことは、(行列係数が位置合わせされたカメラ上で実行されることを前提としているため、)行列係数を用いる本発明の態様において特に重要である。一般的に、アレイ上のカメラは相互に固定されており、又位置合わせは製造時に行われることを想定している。
【0102】
本発明は相互に固定されたアレイカメラの整合を含む。カメラの整合は、各画像において一致する点の検出を含む。これは、同一場面の2つの視野を見て、各画像中のどの画素が画像平面上の同一の点と一致するかを決定することにより、手動で行われる。カメラはそれぞれ相互に固定されているため、この作業は1度行えばよく、また手動でなく自動的に行ってもよい。手動による位置合わせは、例えばカメラアレイをグリッドのような構造化画像に向け、グリッドの交点を対応する画像上に位置決めすることにより、位置合わせ点の位置を手動で決めることを含む。マシンビジョン技術を用いれば、この作業を自動的に行うことも可能である。
【0103】
一実施形態において、位置合わせは「構造光」法(例えば、図17に示すような、カメラアレイの視野を横切る可視又は赤外線レーザスポット)により行われる。この例では、半導体レーザ1400(集束された赤外線ビームなど、他のタイプの光源を用いてもよい)が、撮像されるべき場面1420上に可視赤色光又は赤外線の明るいスポット1410を投射するよう配置されている。各カメラ(この例では、カメラ1401及びカメラ1402)からの画像は、スポットの位置を検出するために分析される。検出されたスポット位置は、これを視野内においている全てのカメラにとって位置合わせ点としての役割を有する。
【0104】
スポット1410はあらゆる投影画像よりも明度が高いため、カラー画像のレッドチャネルを閾値とすることにより検出できる(色差によるもの、又は形状と明度の組み合わせを分析することによるものなど、他の検出方法も可能である)。又、多重位置合わせ点の発見のために、スポット1410を動かすことが必要である。この移動は、回転鏡又は他の光学装置の利用、多重レーザ(安価なもの)の利用、或いはレーザを上述のような機械操作によるカメラに固定することにより、行われ得る。
【0105】
本システムの別のバージョンでは、硬い基体に固定される明るい赤外線又は可視LEDを利用する。連続的にLEDを照明することにより、位置合わせ点が得られる。基体は、これらの点における視差を最小化するよう、おおよその撮像誤差へ移動されることができる。
【0106】
本発明の一実施形態が図18のブロック図に示されている。図18はカメラアレイ1510、結合デバイス1530、視野選択デバイス1560、及び出力機構1570を含む、ビデオシステム1500を示す。カメラアレイ1510は会議での講演1520に向けられている。カメラアレイ1510からの画像は結合デバイスに入力され、結合デバイス1540で上述の任意のプロセス(ワープ機構1580によるワープ、フェーディングデバイス1590によるクロスフェーディングなど)を通じて結合される。この実施形態では、結合画像はメモリ1550に記憶され、視野選択デバイス1560が出力機構1570上に表示するために結合画像の一部を選択する。視野選択デバイスは、入力機構1575(トラックボール、マウス又はキーボードなど)を介したユーザ入力からの入力に基づいて選択を行ってもよい。或いは、上述の音声入力、立体範囲測定、又はビデオ動作分析に基づいて視野を自動的に選択することもできる。
【0107】
当業者には明白であるように、本発明は、一般的な汎用コンピュータ、又は本明細書の開示に則ってプログラムされた専用デジタルコンピュータ又はマイクロプロセッサを用いて実行することができる。
【0108】
ソフトウェア技術に精通した者には明らかであるように、適切なソフトウェアの符号化は、本明細書の開示内容に基づき熟練のプログラマにより容易に実行され得る。又、当業者には明白であるように、本発明は用途に合わせた集積回路を作成することにより、或いは一般的な構成を有する回路の適切なネットワークを相互接続することによっても実行されることができる。
【0109】
本発明は、本発明の任意のプロセスを実行するようにコンピュータをプログラムする際に用いることのできる指示が記憶された記憶媒体(1つ又は複数)である、コンピュータプログラム製品を含む。記憶媒体は、フロッピーディスク、光学ディスク、DVD、CD−ROM、マイクロドライブ及び磁気光学ディスクを含むあらゆるタイプのディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム(分子メモリICを含む)、或いは指示及び/又はデータの記憶に適した他のあらゆるタイプの媒体又はデバイスを含むことができるが、これらに限定されない。
【0110】
コンピュータ読出し可能な媒体(1つ又は複数)のうちの任意の1つに記憶されているとき、本発明は汎用/専用コンピュータ又はマイクロプロセッサのハードウエアを両方とも制御し、又コンピュータ又はマイクロプロセッサが、本発明の成果を利用して、人間のユーザ又は他の機構と対話することを可能とするソフトウェアを含む。このようなソフトウェアはデバイスドライバ、操作システム、及びユーザアプリケーションを含むことができるが、これらに限定されない。最後に、コンピュータにより読出し可能な媒体は、前述した本発明を実行するためのソフトウェアを更に含む。
【0111】
汎用/専用コンピュータ又はマイクロプロセッサのプログラミング(ソフトウェア)には、本発明の開示内容を実行するためのソフトウェアモジュールが含まれる。ソフトウェアモジュールとしては、作業アーチファクトへのアンカーの挿入、種々の用途のアプリケーションプログラミングインタフェースとの通信、通信の開始と通信クライアント、会話や通信クライアントの、作業アーチファクトにおけるアンカーに相当する会話や通信クライアントの相対位置の維持、会話の検索及び記録、通信要求の要求及び処理、接続の管理、アプリケーションの開始、ダウンロードのアーチファクト、及び本発明のプロセスに従った結果としてのディスプレイ、記憶又は通信が挙げられるが、これらに限定されない。
【0112】
明らかに、本発明の開示内容に照らせば、数多くの修正及び変更を本発明に加えることが可能である。従って、本発明は、逐一説明していなくても、前記請求の範囲内において実行され得るものであることを理解されたい。
【図面の簡単な説明】
【図1】本発明に従ったビデオカメラの円状アレイの一例である。
【図2】(A)は、本発明に従ったデジタルカメラの平面状アレイの一例である。
(B)は、本発明に従ったデジタルカメラの直線状アレイの第2の例である。
【図3】本発明に従った多重カメラから結合した画像、及び「バーチャル・カメラ」の視野の選択を図解したものである。
【図4】本発明のプロセスの幾つかの可能な応用例を表す線図である。
【図5】本発明に従った、遠隔会議の用途に利用された円状カメラの例示的な配置及びカメラ角度を示す図である。
【図6】(A)は、平面状のカメラアレイを示す図である。
(B)は、平面状のカメラアレイ及び場面に対する例示的な視野を示す図である。
【図7】カメラアレイの視野A、B及びCを示す、会議及びプレゼンテーション室である。
【図8】(A)は、2つの別々のカメラで撮像される被写体の一例である。
(B)は、同一被写体を撮像する個々のカメラからのフレームの一例である。
【図9】本発明に従った較正点、及び未加工画像におけるパッチの一例を示す図、及び未加工画像から構成された平坦なパノラマを示す図である。
【図10】四辺形のパッチABDCを正方形A'B'D'C'へワープする際の一例である。
【図11】パッチを示す4つの正方形からの画像入力の一例である。
【図12】本発明に従ったクロスフェード技術を表す図である。
【図13】多重カメラ画像、及び各画像からワープされるべき四辺形領域の図である。
【図14】本発明に従った、図13のパッチ(四辺形の領域)から構成された合成パノラマ画像である。
【図15】ビデオシーケンスにおける、各フレーム毎の画像合成手順を示すフロー・ダイアグラムである。
【図16】放射状のマイクロホンアレイを示す図である。
【図17】位置合わせ点を発見する際に光源を利用する、自動カメラ較正システムの図である。
【図18】結合画像から視野を選択するための選択デバイスを備える、本発明の一実施形態のブロック図である。
【符号の説明】
10 多重カメラ
12、14 カメラ
20、30、40 基体
Claims (25)
- カメラアレイにより同期的に捕捉される重複領域を有する1組の画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を1組のパッチとして複数組のパッチを識別するステップと、
パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせるステップを含む、カメラアレイの画像制御方法。 - 前記変換式が双一次変換、放射(radial)変換、透視変換、及びアフィン変換のうちの少なくとも1つである、請求項1に記載のカメラアレイの画像制御方法。
- 前記合成画像の同一の対応位置へ変換された同一の組のパッチをクロスフェーディングするステップを更に含む、請求項1に記載のカメラアレイの画像制御方法。
- 前記ワープさせるステップが、それぞれのパッチの画素を各パッチの座標系から前記共通の座標系へ変換するために、各パッチの変形を行う、請求項1に記載のカメラアレイの画像制御方法。
- 前記ワープさせるステップが、各パッチに所定の双一次変換行列を適用することを含み、前記所定の双一次変換行列が、各パッチを前記共通座標系へ変換するのに必要なワープの量を表している、請求項1に記載のカメラアレイの画像制御方法。
- 前記クロスフェーディングするステップが、
第1のパッチの各画素のパラメータを、前記第1のパッチの第1の境界における最小値から、前記第1のパッチの反対側の境界における最大値へ変更するステップと、
第2のパッチの各画素の前記パラメータを、前記第1の境界に対応する前記第2のパッチの境界における前記最大値から、前記反対側の境界に対応する前記第2のパッチの境界における前記最小値へ変更するステップと、
前記第1のパッチと前記第2のパッチの各々の対応する画素値をそれぞれ合計するステップと、
合計値を前記共通座標系の対応する位置に置くステップと、を含む、請求項3に記載のカメラアレイの画像制御方法。 - 前記パラメータが明度、明暗、及び強度のうちの少なくとも1つである、請求項6に記載のカメラアレイの画像制御方法。
- 前記ワープさせるステップを、前記カメラアレイで同期的に捕捉された各組の画像毎に反復するステップを更に含み、各組の画像が前記カメラアレイにより捕捉される場面のビデオストリームにおける1つのフレームを表している、請求項1に記載のカメラアレイの画像制御方法。
- 対象となる領域を合成画像から選択するステップと、選択した対象となる領域をユーザに出力するステップと、を更に含む、請求項1に記載のカメラアレイの画像制御方法。
- 前記出力するステップが、ワープされ合成された画像から、前記対象となる領域を表示するステップを含む、請求項9に記載のカメラアレイの画像制御方法。
- 前記選択するステップが、前記カメラアレイにより捕捉される場面において検出された動作位置、前記場面中で検出された音声源位置、及び前記場面において検出された被写体の位置のうち少なくとも1つの位置を含む領域を、前記対象となる領域として選択する請求項9に記載のカメラアレイの画像制御方法。
- 前記選択するステップが、前記合成画像から動作を検出するステップと、前記動作に基づいてバーチャル・カメラの視野を方向付けるステップと、を含む、請求項9に記載のカメラアレイの画像制御方法。
- 前記被写体の範囲を立体的に計算することにより、前記合成画像において被写体の範囲測定を行うステップ、
を更に含み、
前記方向付けるステップが、前記バーチャル・カメラの視野を、検出された動作及び前記被写体の範囲に基づいて方向付けることを含む、
請求項12に記載のカメラアレイの画像制御方法。 - 1組の方向性のあるマイクロホンからの音声入力を検索するステップと、
前記合成画像内で前記音声入力の方向を決定するステップと、
を更に含み、
前記方向付けるステップが、前記バーチャル・カメラの視野を、前記動作、前記被写体の範囲、及び前記音声入力の方向のうち少なくとも1つに基づいて方向付けることを含む、請求項12に記載のカメラアレイの画像制御方法。 - アレイに取り付けられた1組のカメラと、
前記1組のカメラで捕捉された重複領域を有する少なくとも2つの画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を1組のパッチとして複数組のパッチを識別し、パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせて1つの合成画像へ結合するよう構成された画像結合機構と、
合成画像から視野を選択するよう構成された視野選択デバイスと、
選択された視野を表示するよう構成された出力機構と、
を含む、カメラアレイ。 - 前記画像結合機構が、
前記合成画像において、同一の位置を有するパッチをフェード(fading)及び結合するよう構成されたフェードデバイス、を更に含む、
請求項15に記載のカメラアレイ。 - 更に、前記画像結合機構によって結合された合成画像内からフレームを選択するフレーム選択デバイスを有し、
前記フレーム選択デバイスが、
合成画像において動作を検出するよう構成されたビデオ動作検出装置、
前記合成画像中に生じる音声の位置を決定するよう構成された音声検出装置、
前記合成画像における被写体の範囲を決定するために、前記カメラアレイの別々のカメラからの少なくとも2つの画像を利用するよう構成された立体範囲測定機構、
のうちの少なくとも1つと、
前記立体範囲測定機構からの範囲測定データ、前記音声検出デバイスからの位置データ、及び前記ビデオ動作検出装置により検出された動作、のうちの少なくとも1つに基づいて、前記選択されたフレームに含めるために、被写体の顔、形状、色及び動作の何れをも自動的に検出するよう構成された検出機構と、を含む、
請求項15に記載のカメラアレイ。 - 前記カメラアレイが、堅い基体に固定されて取り付けられ、
前記画像結合機構が、前記パッチの各々に対し所定の変形を施す、
請求項15に記載のカメラアレイ。 - 各カメラの視野と前記合成画像の視野に共通する位置合わせ点を発見することにより、前記カメラアレイの各々を整合するよう構成された位置合わせ機構を更に含む、請求項15に記載のカメラアレイ。
- 前記位置合わせ機構が、
各カメラの視野内の種々の位置に方向付けることのできる位置合わせ点源と、
前記位置合わせ点源を検出し、前記各カメラ視野において検出された位置合わせ点源を、前記合成画像の座標系に対し整合するよう構成された検出機構と、を含む、
請求項19に記載のカメラアレイ。 - 前記位置合わせ点源が、前記カメラアレイの視野に向けられた光源、及び前記カメラアレイの視野に配置されたグリッドのうちの少なくとも1つである、請求項19に記載のカメラアレイ。
- 前記位置合わせ機構は、前記カメラアレイの少なくとも2つのカメラの視野に、少なくとも1つの位置合わせ点を配置し、前記カメラアレイの各カメラの視野において各位置合わせ点の位置を識別して、画像が前記位置合わせ点に関して結合されるよう、各カメラに対し、各位置合わせ点に関する情報を維持する、請求項19に記載のカメラアレイ。
- 前記位置合わせ点を、ビーム光源から出射されて前記カメラアレイの少なくとも2つのカメラの視野に配置された可視又は赤外線レーザスポットとする、請求項22に記載のカメラアレイ。
- 前記位置合わせ点を、前記アレイの少なくとも2つのカメラの視野に配置されたグリッドとする、請求項22に記載のカメラアレイ。
- 前記位置合わせ機構は、前記カメラの画素を配置するために、ワープされた座標系を算出し、前記カメラの画素、フェードの量、及びワープされた座標系における対応する位置を識別するテーブルを維持する、請求項22に記載のカメラアレイ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/370,406 US7015954B1 (en) | 1999-08-09 | 1999-08-09 | Automatic video system using multiple cameras |
US370406 | 1999-08-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001094857A JP2001094857A (ja) | 2001-04-06 |
JP4153146B2 true JP4153146B2 (ja) | 2008-09-17 |
Family
ID=23459515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000223244A Expired - Fee Related JP4153146B2 (ja) | 1999-08-09 | 2000-07-25 | カメラアレイの画像制御方法、及びカメラアレイ |
Country Status (2)
Country | Link |
---|---|
US (3) | US7015954B1 (ja) |
JP (1) | JP4153146B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916452A (zh) * | 2010-07-26 | 2010-12-15 | 中国科学院遥感应用研究所 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
Families Citing this family (715)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7023913B1 (en) * | 2000-06-14 | 2006-04-04 | Monroe David A | Digital security multimedia sensor |
WO2001015081A2 (en) * | 1999-08-20 | 2001-03-01 | Hebrew University Of Jerusalem | System and method for rectified mosaicing of images recorded by a moving camera |
US7346184B1 (en) | 2000-05-02 | 2008-03-18 | Digimarc Corporation | Processing methods combining multiple frames of image data |
US7630721B2 (en) | 2000-06-27 | 2009-12-08 | Ortiz & Associates Consulting, Llc | Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices |
US7812856B2 (en) | 2000-10-26 | 2010-10-12 | Front Row Technologies, Llc | Providing multiple perspectives of a venue activity to electronic wireless hand held devices |
US7092014B1 (en) * | 2000-06-28 | 2006-08-15 | Microsoft Corporation | Scene capturing and view rendering based on a longitudinally aligned camera array |
IL139995A (en) * | 2000-11-29 | 2007-07-24 | Rvc Llc | System and method for spherical stereoscopic photographing |
JP2002325246A (ja) * | 2001-04-25 | 2002-11-08 | Univ Waseda | 競技場用中継システム |
US20080036886A1 (en) * | 2001-06-29 | 2008-02-14 | Hannigan Brett T | Methods For Generating Enhanced Digital Images |
FR2828054B1 (fr) * | 2001-07-27 | 2003-11-28 | Thomson Licensing Sa | Procede et dispositif de codage d'une scene |
EP1441528A4 (en) * | 2001-10-10 | 2005-01-12 | Matsushita Electric Ind Co Ltd | IMAGE PROCESSOR |
US20030076413A1 (en) * | 2001-10-23 | 2003-04-24 | Takeo Kanade | System and method for obtaining video of multiple moving fixation points within a dynamic scene |
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2003141527A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法 |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
AU2002366985A1 (en) * | 2001-12-26 | 2003-07-30 | Yeda Research And Development Co.Ltd. | A system and method for increasing space or time resolution in video |
JP2003223638A (ja) * | 2002-01-31 | 2003-08-08 | Electric Power Dev Co Ltd | 画像処理におけるレジストレーション補正処理方法及びこれを利用した植生状態表示方法 |
JP2003264825A (ja) * | 2002-03-06 | 2003-09-19 | Nissan Motor Co Ltd | 車載カメラ映像合成表示装置 |
CA2380105A1 (en) * | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
DE60320169T2 (de) * | 2002-05-02 | 2009-04-09 | Sony Corp. | Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium |
US7073158B2 (en) * | 2002-05-17 | 2006-07-04 | Pixel Velocity, Inc. | Automated system for designing and developing field programmable gate arrays |
US7184093B2 (en) * | 2002-05-20 | 2007-02-27 | Thomson Licensing | Video image formatting technique |
US20030220971A1 (en) * | 2002-05-23 | 2003-11-27 | International Business Machines Corporation | Method and apparatus for video conferencing with audio redirection within a 360 degree view |
US7006709B2 (en) * | 2002-06-15 | 2006-02-28 | Microsoft Corporation | System and method deghosting mosaics using multiperspective plane sweep |
US7834905B2 (en) * | 2002-06-18 | 2010-11-16 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image |
US7782357B2 (en) * | 2002-06-21 | 2010-08-24 | Microsoft Corporation | Minimizing dead zones in panoramic images |
US7602412B2 (en) * | 2002-06-21 | 2009-10-13 | Microsoft Corporation | Temperature compensation in multi-camera photographic devices |
US7298392B2 (en) * | 2003-06-26 | 2007-11-20 | Microsoft Corp. | Omni-directional camera design for video conferencing |
US7259784B2 (en) | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
US20040001145A1 (en) * | 2002-06-27 | 2004-01-01 | Abbate Jeffrey A. | Method and apparatus for multifield image generation and processing |
US7184609B2 (en) * | 2002-06-28 | 2007-02-27 | Microsoft Corp. | System and method for head size equalization in 360 degree panoramic images |
US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
AU2003280516A1 (en) * | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
US7729563B2 (en) | 2002-08-28 | 2010-06-01 | Fujifilm Corporation | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
US7631261B2 (en) * | 2002-09-12 | 2009-12-08 | Inoue Technologies, LLC | Efficient method for creating a visual telepresence for large numbers of simultaneous users |
US7447380B2 (en) * | 2002-09-12 | 2008-11-04 | Inoe Technologies, Llc | Efficient method for creating a viewpoint from plurality of images |
US7729511B2 (en) * | 2002-09-24 | 2010-06-01 | Pilz Gmbh & Co. Kg | Method and device for safeguarding a hazardous area |
US7084904B2 (en) * | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
JP3744002B2 (ja) * | 2002-10-04 | 2006-02-08 | ソニー株式会社 | 表示装置、撮像装置、および撮像/表示システム |
US7274387B2 (en) * | 2002-10-15 | 2007-09-25 | Digicomp Research Corporation | Automatic intrusion detection system for perimeter defense |
US20040100443A1 (en) * | 2002-10-18 | 2004-05-27 | Sarnoff Corporation | Method and system to allow panoramic visualization using multiple cameras |
US7424133B2 (en) * | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
JP4288939B2 (ja) * | 2002-12-05 | 2009-07-01 | ソニー株式会社 | 撮像装置 |
JP2004222254A (ja) * | 2002-12-27 | 2004-08-05 | Canon Inc | 画像処理システム、方法及びプログラム |
CN1771740A (zh) * | 2003-01-24 | 2006-05-10 | 米科伊公司 | 立体全景图像捕捉装置 |
JP3862688B2 (ja) * | 2003-02-21 | 2006-12-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP4346938B2 (ja) * | 2003-04-09 | 2009-10-21 | キヤノン株式会社 | 画像処理装置、方法、プログラム及び記憶媒体 |
JP4055998B2 (ja) * | 2003-04-15 | 2008-03-05 | 本田技研工業株式会社 | 距離検出装置、距離検出方法、及び距離検出プログラム |
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
US7495694B2 (en) * | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
JP4292891B2 (ja) * | 2003-06-26 | 2009-07-08 | ソニー株式会社 | 撮像装置、画像記録装置および画像記録方法 |
US8126155B2 (en) * | 2003-07-02 | 2012-02-28 | Fuji Xerox Co., Ltd. | Remote audio device management system |
JP4172352B2 (ja) * | 2003-07-11 | 2008-10-29 | ソニー株式会社 | 撮像装置及び方法、撮像システム、プログラム |
US7907150B2 (en) * | 2003-08-09 | 2011-03-15 | Doubleshot, Inc. | Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques |
GB2405042B (en) * | 2003-08-12 | 2007-12-05 | Hewlett Packard Development Co | Method and apparatus for generating images of a document with interaction |
US8553113B2 (en) * | 2003-08-20 | 2013-10-08 | At&T Intellectual Property I, L.P. | Digital image capturing system and method |
US7619683B2 (en) * | 2003-08-29 | 2009-11-17 | Aptina Imaging Corporation | Apparatus including a dual camera module and method of using the same |
US8103873B2 (en) * | 2003-09-05 | 2012-01-24 | Emc Corporation | Method and system for processing auditory communications |
US8209185B2 (en) * | 2003-09-05 | 2012-06-26 | Emc Corporation | Interface for management of auditory communications |
US7457396B2 (en) * | 2003-09-05 | 2008-11-25 | Emc Corporation | Automated call management |
US7499531B2 (en) * | 2003-09-05 | 2009-03-03 | Emc Corporation | Method and system for information lifecycle management |
US7330181B2 (en) * | 2003-10-31 | 2008-02-12 | Sony Corporation | Method and apparatus for processing an image, image display system, storage medium, and program |
JP4337505B2 (ja) * | 2003-10-31 | 2009-09-30 | ソニー株式会社 | 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム |
US8643955B2 (en) * | 2003-12-16 | 2014-02-04 | The Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
US7683937B1 (en) | 2003-12-31 | 2010-03-23 | Aol Inc. | Presentation of a multimedia experience |
US7787013B2 (en) * | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
EP1733273A4 (en) * | 2004-03-17 | 2012-04-25 | Tenebreax Corp | METHOD FOR PROVIDING COLOR IMAGES FROM AN ELECTRIC OPTICAL MONOCHROMIC EQUIPMENT USING TWO OPTICAL CHANNELS AND SYSTEMS, DEVICES AND EQUIPMENT IN RELATION TO THEREOF |
US8705151B2 (en) * | 2004-04-05 | 2014-04-22 | Hewlett-Packard Development Company, L.P. | Imaging device calibration methods, imaging device calibration instruments, imaging devices, and articles of manufacture |
US8587849B2 (en) * | 2004-04-05 | 2013-11-19 | Hewlett-Packard Development Company, L.P. | Imaging systems, imaging device analysis systems, imaging device analysis methods, and light beam emission methods |
US8634014B2 (en) * | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
US7145737B2 (en) * | 2004-04-12 | 2006-12-05 | Canon Kabushiki Kaisha | Lens apparatus and virtual system |
US7352919B2 (en) * | 2004-04-28 | 2008-04-01 | Seiko Epson Corporation | Method and system of generating a high-resolution image from a set of low-resolution images |
US7634533B2 (en) * | 2004-04-30 | 2009-12-15 | Microsoft Corporation | Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment |
US20050249492A1 (en) * | 2004-05-05 | 2005-11-10 | Metcalf Anthony J | Dual camera helmet mount |
JP4499476B2 (ja) * | 2004-05-25 | 2010-07-07 | オリンパス株式会社 | 分光画像入力装置及びそれを備えた光学装置 |
US9087380B2 (en) * | 2004-05-26 | 2015-07-21 | Timothy J. Lock | Method and system for creating event data and making same available to be served |
US7292257B2 (en) * | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
US9268780B2 (en) * | 2004-07-01 | 2016-02-23 | Emc Corporation | Content-driven information lifecycle management |
US8229904B2 (en) * | 2004-07-01 | 2012-07-24 | Emc Corporation | Storage pools for information management |
US8180742B2 (en) * | 2004-07-01 | 2012-05-15 | Emc Corporation | Policy-based information management |
US8180743B2 (en) | 2004-07-01 | 2012-05-15 | Emc Corporation | Information management |
US8244542B2 (en) * | 2004-07-01 | 2012-08-14 | Emc Corporation | Video surveillance |
US7444287B2 (en) * | 2004-07-01 | 2008-10-28 | Emc Corporation | Efficient monitoring system and method |
US20060004579A1 (en) * | 2004-07-01 | 2006-01-05 | Claudatos Christopher H | Flexible video surveillance |
US7707037B2 (en) * | 2004-07-01 | 2010-04-27 | Emc Corporation | Archiving of surveillance data |
JP2006030656A (ja) * | 2004-07-16 | 2006-02-02 | Canon Inc | レンズ装置 |
CN101564596A (zh) * | 2004-08-23 | 2009-10-28 | 盖姆卡斯特公司 | 用以观看和操纵虚拟环境的设备、方法和系统 |
US8626514B2 (en) * | 2004-08-31 | 2014-01-07 | Emc Corporation | Interface for management of multiple auditory communications |
US7500795B2 (en) * | 2004-09-09 | 2009-03-10 | Paul Sandhu | Apparatuses, systems and methods for enhancing telemedicine, video-conferencing, and video-based sales |
JP2006086671A (ja) * | 2004-09-15 | 2006-03-30 | Hitachi Ltd | 自動追尾機能を有する撮像装置 |
US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
US20080259073A1 (en) * | 2004-09-23 | 2008-10-23 | Conversion Works, Inc. | System and method for processing video images |
US20080246836A1 (en) * | 2004-09-23 | 2008-10-09 | Conversion Works, Inc. | System and method for processing video images for camera recreation |
US8976767B2 (en) | 2004-09-24 | 2015-03-10 | Simple Works, Inc. | System and method for communicating over an 802.15.4 network |
US7636340B2 (en) * | 2004-09-24 | 2009-12-22 | Simple Works, Inc. | System and method for communicating over an 802.15.4 network |
JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
WO2006053271A1 (en) | 2004-11-12 | 2006-05-18 | Mok3, Inc. | Method for inter-scene transitions |
US7619658B2 (en) * | 2004-11-15 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Methods and systems for producing seamless composite images without requiring overlap of source images |
US20060115182A1 (en) * | 2004-11-30 | 2006-06-01 | Yining Deng | System and method of intensity correction |
US7787012B2 (en) * | 2004-12-02 | 2010-08-31 | Science Applications International Corporation | System and method for video image registration in a heads up display |
US20060139475A1 (en) * | 2004-12-23 | 2006-06-29 | Esch John W | Multiple field of view camera arrays |
US8027710B1 (en) * | 2005-01-28 | 2011-09-27 | Patrick Dannan | Imaging system for endoscopic surgery |
US20060285150A1 (en) * | 2005-01-31 | 2006-12-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Regional proximity for shared image device(s) |
US20060170956A1 (en) * | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
US9489717B2 (en) * | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
US20060221197A1 (en) * | 2005-03-30 | 2006-10-05 | Jung Edward K | Image transformation estimator of an imaging device |
US9082456B2 (en) * | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
US7876357B2 (en) * | 2005-01-31 | 2011-01-25 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
US20060190968A1 (en) * | 2005-01-31 | 2006-08-24 | Searete Llc, A Limited Corporation Of The State Of The State Of Delaware | Sharing between shared audio devices |
US20060173972A1 (en) * | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Audio sharing |
US20060187230A1 (en) * | 2005-01-31 | 2006-08-24 | Searete Llc | Peripheral shared image device sharing |
US20070236505A1 (en) * | 2005-01-31 | 2007-10-11 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Resampling of transformed shared image techniques |
US9124729B2 (en) * | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
US8606383B2 (en) * | 2005-01-31 | 2013-12-10 | The Invention Science Fund I, Llc | Audio sharing |
US7920169B2 (en) * | 2005-01-31 | 2011-04-05 | Invention Science Fund I, Llc | Proximity of shared image devices |
US8902320B2 (en) | 2005-01-31 | 2014-12-02 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
US20060171603A1 (en) * | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Resampling of transformed shared image techniques |
US9910341B2 (en) * | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
US20060187228A1 (en) * | 2005-01-31 | 2006-08-24 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Sharing including peripheral shared image device |
US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
US20060174203A1 (en) * | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Viewfinder for shared image device |
US20060187227A1 (en) * | 2005-01-31 | 2006-08-24 | Jung Edward K | Storage aspects for imaging device |
US20070002131A1 (en) * | 2005-02-15 | 2007-01-04 | Ritchey Kurtis J | Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method |
US7450137B2 (en) * | 2005-02-18 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | System and method for blending images |
US8086088B2 (en) * | 2005-03-03 | 2011-12-27 | Sam Myung Co., Ltd. | Digital video recording method in an audio detection mode |
ES2790885T3 (es) * | 2005-03-29 | 2020-10-29 | Sportvu Ltd | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos |
US7796152B2 (en) * | 2005-04-04 | 2010-09-14 | Micoy Corporation | Multi-dimensional imaging |
US8004558B2 (en) * | 2005-04-07 | 2011-08-23 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
US10692536B1 (en) * | 2005-04-16 | 2020-06-23 | Apple Inc. | Generation and use of multiclips in video editing |
US20070008326A1 (en) * | 2005-06-02 | 2007-01-11 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Dual mode image capture technique |
US9191611B2 (en) * | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
US8253821B2 (en) * | 2005-10-31 | 2012-08-28 | The Invention Science Fund I, Llc | Degradation/preservation management of captured data |
US20070139529A1 (en) * | 2005-06-02 | 2007-06-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Dual mode image capture technique |
US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
US9967424B2 (en) * | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
US9001215B2 (en) | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
US8233042B2 (en) * | 2005-10-31 | 2012-07-31 | The Invention Science Fund I, Llc | Preservation and/or degradation of a video/audio data stream |
US20070098348A1 (en) * | 2005-10-31 | 2007-05-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Degradation/preservation management of captured data |
US20070222865A1 (en) * | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
US7782365B2 (en) * | 2005-06-02 | 2010-08-24 | Searete Llc | Enhanced video/still image correlation |
US20090144391A1 (en) * | 2007-11-30 | 2009-06-04 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Audio sharing |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US8681225B2 (en) * | 2005-06-02 | 2014-03-25 | Royce A. Levien | Storage access technique for captured data |
US8964054B2 (en) * | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
US9621749B2 (en) * | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
US20070109411A1 (en) * | 2005-06-02 | 2007-05-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Composite image selectivity |
US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US9076208B2 (en) * | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
US7872675B2 (en) * | 2005-06-02 | 2011-01-18 | The Invention Science Fund I, Llc | Saved-image management |
US9819490B2 (en) * | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
US9451200B2 (en) * | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
US8072501B2 (en) * | 2005-10-31 | 2011-12-06 | The Invention Science Fund I, Llc | Preservation and/or degradation of a video/audio data stream |
US9167195B2 (en) * | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US20060244831A1 (en) * | 2005-04-28 | 2006-11-02 | Kraft Clifford H | System and method for supplying and receiving a custom image |
US7538813B2 (en) * | 2005-05-11 | 2009-05-26 | Sony Ericsson Mobile Communications Ab | Digital cameras with triangulation autofocus systems and related methods |
US20060268360A1 (en) * | 2005-05-12 | 2006-11-30 | Jones Peter W J | Methods of creating a virtual window |
US7656403B2 (en) * | 2005-05-13 | 2010-02-02 | Micoy Corporation | Image processing and display |
US7872665B2 (en) * | 2005-05-13 | 2011-01-18 | Micoy Corporation | Image capture and processing |
US7884848B2 (en) * | 2005-05-25 | 2011-02-08 | Ginther Mark E | Viewing environment and recording system |
US20060274153A1 (en) * | 2005-06-02 | 2006-12-07 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Third party storage of captured data |
CN2804798Y (zh) * | 2005-06-21 | 2006-08-09 | 吴东明 | 一种带磁性装置的水平尺 |
US20090135200A1 (en) * | 2005-06-28 | 2009-05-28 | Mark Alan Schultz | Selective Edge Blending Based on Displayed Content |
US8194946B2 (en) * | 2005-07-28 | 2012-06-05 | Fujifilm Corporation | Aligning apparatus, aligning method, and the program |
WO2007013231A1 (ja) * | 2005-07-29 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 撮影領域調整装置 |
JP2007043225A (ja) * | 2005-07-29 | 2007-02-15 | Univ Of Electro-Communications | 撮像画像処理装置及び撮像画像処理方法 |
US7630571B2 (en) * | 2005-09-15 | 2009-12-08 | Microsoft Corporation | Automatic detection of panoramic camera position and orientation table parameters |
US20080317313A1 (en) * | 2005-09-30 | 2008-12-25 | Ut-Battelle, Llc | System and method for tracking motion for generating motion corrected tomographic images |
TW200715830A (en) * | 2005-10-07 | 2007-04-16 | Sony Taiwan Ltd | Image pick-up device of multiple lens camera system to create panoramic image |
KR100731979B1 (ko) * | 2005-10-18 | 2007-06-25 | 전자부품연구원 | 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 |
US20070120980A1 (en) * | 2005-10-31 | 2007-05-31 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Preservation/degradation of video/audio aspects of a data stream |
US20070203595A1 (en) * | 2006-02-28 | 2007-08-30 | Searete Llc, A Limited Liability Corporation | Data management of an audio data stream |
US7471292B2 (en) * | 2005-11-15 | 2008-12-30 | Sharp Laboratories Of America, Inc. | Virtual view specification and synthesis in free viewpoint |
JP5030261B2 (ja) * | 2005-11-16 | 2012-09-19 | キヤノン株式会社 | 映像配信装置、ビューワ装置、映像配信装置の制御方法、ビューワ装置の制御方法およびコンピュータプログラム |
JP4681432B2 (ja) * | 2005-11-28 | 2011-05-11 | アルパイン株式会社 | 車載周辺画像表示装置 |
JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
JP4706466B2 (ja) * | 2005-12-16 | 2011-06-22 | 株式会社日立製作所 | 撮像装置 |
US20070146543A1 (en) * | 2005-12-23 | 2007-06-28 | Demian Gordon | Volume configurations in motion capture |
CN100501566C (zh) * | 2006-01-05 | 2009-06-17 | 李明 | 曲面电影投影系统及方法 |
US9182228B2 (en) * | 2006-02-13 | 2015-11-10 | Sony Corporation | Multi-lens array system and method |
JP4855797B2 (ja) * | 2006-02-17 | 2012-01-18 | 株式会社東芝 | 監視システム及び画像処理装置 |
EP1841213A1 (en) * | 2006-03-29 | 2007-10-03 | THOMSON Licensing | Video signal combining apparatus and method |
US8581981B2 (en) * | 2006-04-28 | 2013-11-12 | Southwest Research Institute | Optical imaging system for unmanned aerial vehicle |
US7872593B1 (en) * | 2006-04-28 | 2011-01-18 | At&T Intellectual Property Ii, L.P. | System and method for collecting image data |
US7773121B1 (en) * | 2006-05-03 | 2010-08-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | High-resolution, continuous field-of-view (FOV), non-rotating imaging system |
US20070285501A1 (en) * | 2006-06-09 | 2007-12-13 | Wai Yim | Videoconference System Clustering |
KR100749337B1 (ko) * | 2006-06-13 | 2007-08-14 | 삼성전자주식회사 | 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치 |
US7697839B2 (en) * | 2006-06-30 | 2010-04-13 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
WO2008004150A2 (en) * | 2006-06-30 | 2008-01-10 | Nxp B.V. | A method and device for video stitching |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US7801430B2 (en) * | 2006-08-01 | 2010-09-21 | Hewlett-Packard Development Company, L.P. | Camera adjustment |
US20080036864A1 (en) * | 2006-08-09 | 2008-02-14 | Mccubbrey David | System and method for capturing and transmitting image data streams |
US8446509B2 (en) * | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
JP4914171B2 (ja) * | 2006-10-16 | 2012-04-11 | キヤノン株式会社 | 撮像装置の制御方法及びカメラシステム |
TW200822745A (en) * | 2006-11-01 | 2008-05-16 | Inventec Corp | Electronic device |
JP4899803B2 (ja) * | 2006-11-06 | 2012-03-21 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
US20080129822A1 (en) * | 2006-11-07 | 2008-06-05 | Glenn Daniel Clapp | Optimized video data transfer |
US8072482B2 (en) | 2006-11-09 | 2011-12-06 | Innovative Signal Anlysis | Imaging system having a rotatable image-directing device |
US8498497B2 (en) * | 2006-11-17 | 2013-07-30 | Microsoft Corporation | Swarm imaging |
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
GB2444533B (en) * | 2006-12-06 | 2011-05-04 | Sony Uk Ltd | A method and an apparatus for generating image content |
WO2008068456A2 (en) * | 2006-12-06 | 2008-06-12 | Sony United Kingdom Limited | A method and an apparatus for generating image content |
US20080151049A1 (en) * | 2006-12-14 | 2008-06-26 | Mccubbrey David L | Gaming surveillance system and method of extracting metadata from multiple synchronized cameras |
US7643063B2 (en) * | 2006-12-29 | 2010-01-05 | The Boeing Company | Dual loop stabilization of video camera images |
US8319846B2 (en) * | 2007-01-11 | 2012-11-27 | Raytheon Company | Video camera system using multiple image sensors |
US8331725B2 (en) * | 2007-01-12 | 2012-12-11 | Qualcomm Incorporated | Panoramic imaging techniques |
US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
JP2010519860A (ja) * | 2007-02-21 | 2010-06-03 | ピクセル ベロシティー,インク. | 広域監視のための拡張可能なシステム |
US9229230B2 (en) | 2007-02-28 | 2016-01-05 | Science Applications International Corporation | System and method for video image registration and/or providing supplemental data in a heads up display |
JP2008219428A (ja) * | 2007-03-02 | 2008-09-18 | Fujifilm Corp | 撮像装置 |
JP4345829B2 (ja) | 2007-03-09 | 2009-10-14 | ソニー株式会社 | 画像表示システム、画像表示装置、画像表示方法およびプログラム |
US20080226194A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for treating occlusions in 2-d to 3-d image conversion |
US20080225040A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | System and method of treating semi-transparent features in the conversion of two-dimensional images to three-dimensional images |
US8274530B2 (en) * | 2007-03-12 | 2012-09-25 | Conversion Works, Inc. | Systems and methods for filling occluded information for 2-D to 3-D conversion |
US20080228449A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for 2-d to 3-d conversion using depth access segments to define an object |
US20080226128A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images |
US20080225042A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters |
US20080225045A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion |
US20080226160A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for filling light in frames during 2-d to 3-d image conversion |
US20080226181A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images |
US20080225059A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | System and method for using off-screen mask space to provide enhanced viewing |
CA2680813C (en) * | 2007-03-16 | 2016-06-14 | Kollmorgen Corporation | System for panoramic image processing |
JP2008252640A (ja) * | 2007-03-30 | 2008-10-16 | Fujifilm Corp | 動画転送システム及びテレビ会議システム |
US8599253B2 (en) * | 2007-04-03 | 2013-12-03 | Hewlett-Packard Development Company, L.P. | Providing photographic images of live events to spectators |
CN101743567A (zh) * | 2007-05-18 | 2010-06-16 | Uab研究基金会 | 虚拟互动式出席系统及方法 |
US8111326B1 (en) | 2007-05-23 | 2012-02-07 | Adobe Systems Incorporated | Post-capture generation of synchronization points for audio to synchronize video portions captured at multiple cameras |
US20080298674A1 (en) * | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
US8224121B2 (en) * | 2007-06-15 | 2012-07-17 | The Boeing Company | System and method for assembling substantially distortion-free images |
CN101336072B (zh) * | 2007-06-29 | 2010-08-04 | 富葵精密组件(深圳)有限公司 | 表面贴装对位装置及其对位方法 |
US20090086023A1 (en) * | 2007-07-18 | 2009-04-02 | Mccubbrey David L | Sensor system including a configuration of the sensor as a virtual sensor device |
US8713181B2 (en) * | 2007-08-03 | 2014-04-29 | International Business Machines Corporation | Method for transferring inventory between virtual universes |
US20090051790A1 (en) * | 2007-08-21 | 2009-02-26 | Micron Technology, Inc. | De-parallax methods and apparatuses for lateral sensor arrays |
US8463078B2 (en) * | 2007-08-23 | 2013-06-11 | Lockheed Martin Corporation | Multi-bank TDI approach for high-sensitivity scanners |
US8008641B2 (en) * | 2007-08-27 | 2011-08-30 | Acushnet Company | Method and apparatus for inspecting objects using multiple images having varying optical properties |
US7929804B2 (en) * | 2007-10-03 | 2011-04-19 | Mitsubishi Electric Research Laboratories, Inc. | System and method for tracking objects with a synthetic aperture |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US8582805B2 (en) * | 2007-11-05 | 2013-11-12 | California Institute Of Technology | Synthetic foveal imaging technology |
US8140982B2 (en) * | 2007-11-08 | 2012-03-20 | International Business Machines Corporation | Method and system for splitting virtual universes into distinct entities |
US20090290033A1 (en) * | 2007-11-16 | 2009-11-26 | Tenebraex Corporation | Systems and methods of creating a virtual window |
WO2009064504A1 (en) * | 2007-11-16 | 2009-05-22 | Tenebraex Corporation | Systems and methods of creating a virtual window |
US8791984B2 (en) * | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
JP5111088B2 (ja) * | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
US8205148B1 (en) * | 2008-01-11 | 2012-06-19 | Bruce Sharpe | Methods and apparatus for temporal alignment of media |
CN101810004A (zh) * | 2008-01-15 | 2010-08-18 | 三菱电机株式会社 | 显示装置 |
US8520054B2 (en) * | 2008-01-23 | 2013-08-27 | Techtol Holdings, Llc | System and method to quickly acquire images |
US7921128B2 (en) | 2008-02-05 | 2011-04-05 | International Business Machines Corporation | Method and system for merging disparate virtual universes entities |
US8542289B1 (en) * | 2008-02-08 | 2013-09-24 | Google Inc. | Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve |
EP2253131B1 (en) * | 2008-02-08 | 2014-06-25 | Google, Inc. | Panoramic camera with multiple image sensors using timed shutters |
WO2009101798A1 (ja) * | 2008-02-12 | 2009-08-20 | Panasonic Corporation | 複眼撮像装置、測距装置、視差算出方法及び測距方法 |
US7746098B2 (en) * | 2008-03-10 | 2010-06-29 | Qimonda North America Corp. | Termination switching based on data rate |
US8539364B2 (en) * | 2008-03-12 | 2013-09-17 | International Business Machines Corporation | Attaching external virtual universes to an existing virtual universe |
EP2255530A4 (en) * | 2008-03-17 | 2012-11-21 | Hewlett Packard Development Co | PRESENTATION OF FLOW OF PANORAMIC VIDEO IMAGES |
KR101591085B1 (ko) * | 2008-05-19 | 2016-02-02 | 삼성전자주식회사 | 영상 파일 생성 및 재생 장치 및 방법 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US8284231B2 (en) | 2008-06-25 | 2012-10-09 | Google Inc. | Video selector |
KR20110050595A (ko) * | 2008-06-30 | 2011-05-16 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버 |
US8134589B2 (en) * | 2008-07-17 | 2012-03-13 | Eastman Kodak Company | Zoom by multiple image capture |
US20100013641A1 (en) * | 2008-07-17 | 2010-01-21 | Reed Chad M | System for providing remote signals from a patient monitor |
TWI393072B (zh) | 2008-07-23 | 2013-04-11 | Pixart Imaging Inc | 廣角感測器陣列模組及其影像校正方法、運作方法與應用 |
CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
US8179460B2 (en) * | 2008-09-22 | 2012-05-15 | Aptina Imaging Corporation | System, method, and apparatus for variable rate pixel data transfer and storage |
US8271262B1 (en) * | 2008-09-22 | 2012-09-18 | ISC8 Inc. | Portable lip reading sensor system |
JP5238429B2 (ja) * | 2008-09-25 | 2013-07-17 | 株式会社東芝 | 立体映像撮影装置および立体映像撮影システム |
JP5163409B2 (ja) * | 2008-10-03 | 2013-03-13 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
JP4623201B2 (ja) * | 2008-10-27 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5187139B2 (ja) * | 2008-10-30 | 2013-04-24 | セイコーエプソン株式会社 | 画像処理装置およびプログラム |
US8290704B2 (en) * | 2008-10-31 | 2012-10-16 | Honda Motor Co., Ltd. | System and method for collecting and conveying point of interest information |
US8830268B2 (en) * | 2008-11-07 | 2014-09-09 | Barco Nv | Non-linear image mapping using a plurality of non-linear image mappers of lesser resolution |
US8502857B2 (en) * | 2008-11-21 | 2013-08-06 | Polycom, Inc. | System and method for combining a plurality of video stream generated in a videoconference |
CA3013000C (en) | 2008-12-19 | 2022-12-13 | Vertex Pharmaceuticals Incorporated | Pyrazine derivatives useful as inhibitors of atr kinase |
WO2010075726A1 (zh) | 2008-12-30 | 2010-07-08 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
TWI393992B (zh) * | 2009-02-05 | 2013-04-21 | Nat Univ Chung Cheng | High dynamic range image synthesis method |
US8274544B2 (en) * | 2009-03-23 | 2012-09-25 | Eastman Kodak Company | Automated videography systems |
US8164617B2 (en) * | 2009-03-25 | 2012-04-24 | Cisco Technology, Inc. | Combining views of a plurality of cameras for a video conferencing endpoint with a display wall |
US8237771B2 (en) * | 2009-03-26 | 2012-08-07 | Eastman Kodak Company | Automated videography based communications |
US8666193B2 (en) | 2009-04-27 | 2014-03-04 | St-Ericsson (France) Sas | Geometric method of transforming a two-dimensional image |
US8649554B2 (en) * | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
US8639046B2 (en) * | 2009-05-04 | 2014-01-28 | Mamigo Inc | Method and system for scalable multi-user interactive visualization |
BRPI0924076B1 (pt) * | 2009-05-12 | 2021-09-21 | Huawei Device (Shenzhen) Co., Ltd. | Sistema de telepresença e método de telepresença |
JP5338498B2 (ja) * | 2009-06-09 | 2013-11-13 | ソニー株式会社 | 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム |
US9648346B2 (en) * | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
TWI492620B (zh) * | 2009-07-24 | 2015-07-11 | Hon Hai Prec Ind Co Ltd | 影像擷取裝置 |
CN101995756A (zh) * | 2009-08-26 | 2011-03-30 | 鸿富锦精密工业(深圳)有限公司 | 阵列摄影机系统 |
KR100957590B1 (ko) | 2009-09-16 | 2010-05-13 | 딕스비전 주식회사 | 객체 영상 표출형 전방향 영상레이다 장치 |
KR101634355B1 (ko) * | 2009-09-18 | 2016-06-28 | 삼성전자주식회사 | 동작 검출 장치 및 방법 |
WO2011037964A1 (en) * | 2009-09-22 | 2011-03-31 | Tenebraex Corporation | Systems and methods for correcting images in a multi-sensor system |
CN102065277A (zh) * | 2009-11-12 | 2011-05-18 | 鸿富锦精密工业(深圳)有限公司 | 阵列摄影机系统 |
EP2499827A4 (en) * | 2009-11-13 | 2018-01-03 | Pixel Velocity, Inc. | Method for tracking an object through an environment across multiple cameras |
US20110115916A1 (en) * | 2009-11-16 | 2011-05-19 | Eiji Yafuso | System for mosaic image acquisition |
JP5540746B2 (ja) * | 2009-11-20 | 2014-07-02 | ソニー株式会社 | 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8279266B2 (en) * | 2009-11-30 | 2012-10-02 | Daniel Theobald | Video system using camera modules to provide real-time composite video image |
US9430923B2 (en) | 2009-11-30 | 2016-08-30 | Innovative Signal Analysis, Inc. | Moving object detection, tracking, and displaying systems |
TW201120741A (en) * | 2009-12-04 | 2011-06-16 | Alcor Micro Corp | Vidoe/audio data detecting module and video/audio data detecting method |
JP5417138B2 (ja) * | 2009-12-07 | 2014-02-12 | 株式会社東芝 | カメラモジュール |
JP5031016B2 (ja) * | 2009-12-07 | 2012-09-19 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
KR101643607B1 (ko) * | 2009-12-30 | 2016-08-10 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
JP5316811B2 (ja) * | 2010-01-18 | 2013-10-16 | 株式会社リコー | 画像処理方法及び装置、並びに画像撮像装置 |
CN102170552A (zh) * | 2010-02-25 | 2011-08-31 | 株式会社理光 | 一种视频会议系统及其中使用的处理方法 |
US8503539B2 (en) * | 2010-02-26 | 2013-08-06 | Bao Tran | High definition personal computer (PC) cam |
US8896671B2 (en) * | 2010-04-09 | 2014-11-25 | 3D-4U, Inc. | Apparatus and method for capturing images |
JP5645450B2 (ja) * | 2010-04-16 | 2014-12-24 | キヤノン株式会社 | 画像処理装置および方法 |
JP5570284B2 (ja) * | 2010-04-16 | 2014-08-13 | キヤノン株式会社 | 画像処理装置および方法 |
JP2011228950A (ja) * | 2010-04-20 | 2011-11-10 | Sony Corp | データ構造、画像処理装置、画像処理方法、およびプログラム |
EP2569287B1 (en) | 2010-05-12 | 2014-07-09 | Vertex Pharmaceuticals Inc. | Compounds useful as inhibitors of atr kinase |
SG10201503516VA (en) | 2010-05-12 | 2015-06-29 | Pelican Imaging Corp | Architectures for imager arrays and array cameras |
SG185524A1 (en) | 2010-05-12 | 2012-12-28 | Vertex Pharma | Compounds useful as inhibitors of atr kinase |
GB201008104D0 (en) * | 2010-05-14 | 2010-06-30 | Selex Galileo Ltd | System and method for image registration |
US20110298988A1 (en) * | 2010-06-04 | 2011-12-08 | Toshiba Alpine Automotive Technology Corporation | Moving object detection apparatus and moving object detection method |
JP5395956B2 (ja) | 2010-07-02 | 2014-01-22 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システムおよび情報処理方法 |
WO2012008856A1 (en) * | 2010-07-16 | 2012-01-19 | Therese Bruce Glass | A camera arrangement |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
DE102010034987A1 (de) * | 2010-08-20 | 2012-03-01 | Steinbichler Optotechnik Gmbh | Verfahren zur 3D-Digitalisierung eines Objekts mit veränderlicher Oberfläche |
JP4763847B1 (ja) * | 2010-08-30 | 2011-08-31 | 楽天株式会社 | 画像変換装置、画像処理装置、ならびに、画像処理システム |
TW201215126A (en) * | 2010-09-27 | 2012-04-01 | Hon Hai Prec Ind Co Ltd | Image dividing system for cameras and using method of the same |
CN102438153B (zh) * | 2010-09-29 | 2015-11-25 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
WO2012047216A1 (en) * | 2010-10-06 | 2012-04-12 | Hewlett-Packard Development Company, L.P. | Systems and methods for acquiring and processing image data produced by camera arrays |
JP2013546238A (ja) | 2010-10-22 | 2013-12-26 | ユニバーシティ オブ ニュー ブランズウィック | カメラ撮像システムおよび方法 |
US9807350B2 (en) | 2010-10-28 | 2017-10-31 | Disney Enterprises, Inc. | Automated personalized imaging system |
WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
US9049423B2 (en) * | 2010-12-01 | 2015-06-02 | Qualcomm Incorporated | Zero disparity plane for feedback-based three-dimensional video |
US9900522B2 (en) | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
US9568708B2 (en) | 2010-12-13 | 2017-02-14 | Appbanc, Llc | Smartphone lens assembly |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US9007432B2 (en) * | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
US9036001B2 (en) | 2010-12-16 | 2015-05-19 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
JP5654867B2 (ja) * | 2010-12-27 | 2015-01-14 | パナソニックIpマネジメント株式会社 | 映像信号処理装置及び映像信号処理方法 |
US8838680B1 (en) | 2011-02-08 | 2014-09-16 | Google Inc. | Buffer objects for web-based configurable pipeline media processing |
US9686452B2 (en) * | 2011-02-16 | 2017-06-20 | Robert Bosch Gmbh | Surveillance camera with integral large-domain sensor |
CA2772206C (en) * | 2011-03-24 | 2016-06-21 | Kabushiki Kaisha Topcon | Omnidirectional camera |
US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
ES2607214T3 (es) * | 2011-05-31 | 2017-03-29 | Nokia Technologies Oy | Métodos, aparatos y productos de programa informático para generar imágenes panorámicas usando datos de mapas de profundidad |
GB2491396A (en) * | 2011-06-03 | 2012-12-05 | Bae Systems Plc | Sensor data alignment processing |
GB2491395A (en) * | 2011-06-03 | 2012-12-05 | Bae Systems Plc | Temporal Alignment of Sensor Data |
WO2012170559A2 (en) | 2011-06-06 | 2012-12-13 | Array Telepresence, Inc. | Dual-axis image equalization in video conferencing |
JP5261540B2 (ja) * | 2011-06-24 | 2013-08-14 | シャープ株式会社 | 欠陥検査装置及び欠陥検査方法 |
US8890953B1 (en) * | 2011-06-27 | 2014-11-18 | Rawles Llc | Optical-based scene detection and audio extraction |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
TWI486052B (zh) * | 2011-07-05 | 2015-05-21 | Realtek Semiconductor Corp | 立體影像處理裝置以及立體影像處理方法 |
WO2013014177A1 (en) | 2011-07-25 | 2013-01-31 | Sony Corporation | In-painting method for 3d stereoscopic views generation |
US10793067B2 (en) | 2011-07-26 | 2020-10-06 | Magna Electronics Inc. | Imaging system for vehicle |
JP5762211B2 (ja) * | 2011-08-11 | 2015-08-12 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
US9886552B2 (en) | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
CA2850491C (en) | 2011-09-30 | 2020-10-27 | Vertex Pharmaceuticals Incorporated | Treating pancreatic cancer and non-small cell lung cancer with atr inhibiors |
WO2013049726A2 (en) | 2011-09-30 | 2013-04-04 | Vertex Pharmaceuticals Incorporated | Processes for making compounds useful as inhibitors of atr kinase |
US9084057B2 (en) * | 2011-10-19 | 2015-07-14 | Marcos de Azambuja Turqueti | Compact acoustic mirror array system and method |
CN103096141B (zh) * | 2011-11-08 | 2019-06-11 | 华为技术有限公司 | 一种获取视觉角度的方法、装置及系统 |
IL216515A (en) | 2011-11-22 | 2015-02-26 | Israel Aerospace Ind Ltd | A system and method for processing images from a camera set |
US9246543B2 (en) * | 2011-12-12 | 2016-01-26 | Futurewei Technologies, Inc. | Smart audio and video capture systems for data processing systems |
US9177988B2 (en) | 2011-12-16 | 2015-11-03 | Chromatra, Llc. | Systems and methods for creating full-color image in low light |
US8619148B1 (en) * | 2012-01-04 | 2013-12-31 | Audience, Inc. | Image correction after combining images from multiple cameras |
US9237330B2 (en) * | 2012-02-21 | 2016-01-12 | Intellectual Ventures Fund 83 Llc | Forming a stereoscopic video |
EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
US8725918B2 (en) * | 2012-02-29 | 2014-05-13 | Apple Inc. | Cable with fade and hot plug features |
US8736706B1 (en) * | 2012-03-13 | 2014-05-27 | Google Inc. | Method and system for generating high resolution composite images |
JP6167525B2 (ja) * | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
US9426430B2 (en) | 2012-03-22 | 2016-08-23 | Bounce Imaging, Inc. | Remote surveillance sensor apparatus |
US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
US9175930B1 (en) * | 2012-03-29 | 2015-11-03 | The United States Of America, As Represented By The Secretary Of The Navy | Adaptive electronic camouflage |
KR20130111688A (ko) * | 2012-04-02 | 2013-10-11 | 삼성전자주식회사 | 휴대 단말기에서 이미지 센서를 이용한 기능 실행 방법 및 장치 |
US9836433B1 (en) * | 2012-04-02 | 2017-12-05 | Rockwell Collins, Inc. | Image processing using multiprocessor discrete wavelet transform |
US9471833B1 (en) * | 2012-04-03 | 2016-10-18 | Intuit Inc. | Character recognition using images at different angles |
MX358818B (es) | 2012-04-05 | 2018-09-05 | Vertex Pharma | Compuestos utiles como inhibidores de cinasa ataxia telangiectasia mutada y rad3 relacionados (atr) y terapias de combinacion de estos. |
US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
EP2662827B1 (en) * | 2012-05-08 | 2016-01-13 | Axis AB | Video analysis |
TWI462054B (zh) * | 2012-05-15 | 2014-11-21 | Nat Univ Chung Cheng | Estimation Method of Image Vagueness and Evaluation Method of Image Quality |
CN104335243B (zh) | 2012-05-18 | 2017-07-18 | 汤姆逊许可公司 | 一种处理全景画面的方法及装置 |
US9020203B2 (en) | 2012-05-21 | 2015-04-28 | Vipaar, Llc | System and method for managing spatiotemporal uncertainty |
US9020336B1 (en) * | 2012-05-29 | 2015-04-28 | Cordin Company, Inc. | Digital streak camera with rotating mirror |
US9260122B2 (en) * | 2012-06-06 | 2016-02-16 | International Business Machines Corporation | Multisensor evidence integration and optimization in object inspection |
US9835564B2 (en) * | 2012-06-08 | 2017-12-05 | SeeScan, Inc. | Multi-camera pipe inspection apparatus, systems and methods |
US9610101B2 (en) | 2012-06-11 | 2017-04-04 | Lihai Zhang | Long-bone fracture-reduction robot |
EP2865179A4 (en) * | 2012-06-20 | 2016-03-02 | Nokia Technologies Oy | DISPLAY CAMERA OPERATION |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
ITRM20120329A1 (it) | 2012-07-12 | 2012-10-11 | Virtualmind Di Davide Angelelli | Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps |
JP5719480B2 (ja) * | 2012-07-13 | 2015-05-20 | 富士フイルム株式会社 | 画像変形装置およびその動作制御方法 |
US9936131B2 (en) * | 2012-07-18 | 2018-04-03 | Nokia Technologies Oy | Robust two dimensional panorama generation using light field camera capture |
TW201406149A (zh) * | 2012-07-27 | 2014-02-01 | Pei Rui Technology Co Ltd | 多攝影機影像合成系統 |
CN107346061B (zh) | 2012-08-21 | 2020-04-24 | 快图有限公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US20140063199A1 (en) * | 2012-09-05 | 2014-03-06 | Samsung Electro-Mechanics Co., Ltd. | Electronic device and depth calculating method of stereo camera image using the same |
US9214013B2 (en) | 2012-09-14 | 2015-12-15 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
EP2901671A4 (en) | 2012-09-28 | 2016-08-24 | Pelican Imaging Corp | CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW |
WO2014055756A1 (en) | 2012-10-04 | 2014-04-10 | Vertex Pharmaceuticals Incorporated | Method for measuring atr inhibition mediated increases in dna damage |
US9507750B2 (en) | 2012-10-12 | 2016-11-29 | A9.Com, Inc. | Dynamic search partitioning |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US9479697B2 (en) * | 2012-10-23 | 2016-10-25 | Bounce Imaging, Inc. | Systems, methods and media for generating a panoramic view |
CA2890174A1 (en) | 2012-11-05 | 2014-05-08 | 360 Heros, Inc. | 360 degree camera mount and related photographic and video system |
KR20140060760A (ko) | 2012-11-12 | 2014-05-21 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9055216B1 (en) * | 2012-11-19 | 2015-06-09 | A9.Com, Inc. | Using sensor data to enhance image data |
KR101954193B1 (ko) * | 2012-11-26 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 전기 기기 및 그 동작방법 |
CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
US9001226B1 (en) * | 2012-12-04 | 2015-04-07 | Lytro, Inc. | Capturing and relighting images using multiple devices |
WO2014087621A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 画像認識処理適性表示システム、方法およびプログラム |
US9071756B2 (en) | 2012-12-11 | 2015-06-30 | Facebook, Inc. | Systems and methods for digital video stabilization via constraint-based rotation smoothing |
US9210404B2 (en) | 2012-12-14 | 2015-12-08 | Microsoft Technology Licensing, Llc | Calibration and registration of camera arrays using a single circular grid optical target |
US9710968B2 (en) | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
WO2014112035A1 (ja) * | 2013-01-15 | 2014-07-24 | 発紘電機株式会社 | プログラマブルコントローラシステム、そのプログラマブル表示器、作画エディタ装置、プログラム |
EP2757524B1 (en) * | 2013-01-16 | 2018-12-19 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
WO2014120244A1 (en) * | 2013-02-01 | 2014-08-07 | Empire Technology Development Llc | Remotely controlled crowd-sourced media capture |
US9497380B1 (en) | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
US10372016B2 (en) * | 2013-02-15 | 2019-08-06 | Sensormatic Electronics, LLC | Method and system for assisting security camera focusing |
WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
JP6091923B2 (ja) * | 2013-02-22 | 2017-03-08 | 株式会社日立製作所 | マルチカメラ撮影装置およびマルチカメラ撮影方法 |
US9374512B2 (en) * | 2013-02-24 | 2016-06-21 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
WO2014130977A1 (en) | 2013-02-25 | 2014-08-28 | Herold Williams | Nonlinear scaling in video conferencing |
US8947537B2 (en) | 2013-02-25 | 2015-02-03 | Teradyne, Inc. | Rotatable camera module testing system |
US9225977B2 (en) * | 2013-02-25 | 2015-12-29 | Teradyne, Inc. | Matrix testing targets |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9036943B1 (en) | 2013-03-14 | 2015-05-19 | Amazon Technologies, Inc. | Cloud-based image improvement |
US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
WO2014145856A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US20140300691A1 (en) * | 2013-04-04 | 2014-10-09 | Panasonic Corporation | Imaging system |
ITRM20130063U1 (it) | 2013-04-04 | 2014-10-05 | Virtualmind Di Davide Angelelli | Sonda per riprese endoscopiche e videoispezioni, denominata realworld360 |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US20140320611A1 (en) * | 2013-04-29 | 2014-10-30 | nanoLambda Korea | Multispectral Multi-Camera Display Unit for Accurate Color, Multispectral, or 3D Images |
US20140320592A1 (en) * | 2013-04-30 | 2014-10-30 | Microsoft Corporation | Virtual Video Camera |
CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
US9940750B2 (en) | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
CN108388005A (zh) | 2013-07-04 | 2018-08-10 | 核心光电有限公司 | 小型长焦透镜套件 |
JP5929849B2 (ja) * | 2013-07-08 | 2016-06-08 | 株式会社デンソー | 画像生成装置、画像生成方法及び画像生成プログラム |
CN109120823B (zh) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9451162B2 (en) * | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
KR101511523B1 (ko) * | 2013-08-26 | 2015-04-13 | 씨제이씨지브이 주식회사 | 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치 |
GB2517730A (en) | 2013-08-29 | 2015-03-04 | Mediaproduccion S L | A method and system for producing a video production |
KR102124617B1 (ko) * | 2013-09-03 | 2020-06-19 | 삼성전자주식회사 | 이미지 합성 방법 및 그 전자 장치 |
JP6187811B2 (ja) * | 2013-09-09 | 2017-08-30 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US9363476B2 (en) | 2013-09-20 | 2016-06-07 | Microsoft Technology Licensing, Llc | Configuration of a touch screen display with conferencing |
US20150085060A1 (en) | 2013-09-20 | 2015-03-26 | Microsoft Corporation | User experience for conferencing with a touch screen display |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9965856B2 (en) | 2013-10-22 | 2018-05-08 | Seegrid Corporation | Ranging cameras using a common substrate |
US20180227501A1 (en) * | 2013-11-05 | 2018-08-09 | LiveStage, Inc. | Multiple vantage point viewing platform and user interface |
WO2015070105A1 (en) | 2013-11-07 | 2015-05-14 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9609273B2 (en) * | 2013-11-20 | 2017-03-28 | Avaya Inc. | System and method for not displaying duplicate images in a video conference |
EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
KR101583289B1 (ko) * | 2013-12-09 | 2016-01-07 | 씨제이씨지브이 주식회사 | 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치 |
KR20150068299A (ko) * | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | 다면 영상 생성 방법 및 시스템 |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US9196039B2 (en) | 2014-04-01 | 2015-11-24 | Gopro, Inc. | Image sensor read window adjustment for multi-camera array tolerance |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
JP6214457B2 (ja) * | 2014-04-18 | 2017-10-18 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
AU2015256320B2 (en) | 2014-05-06 | 2020-03-05 | Circle Optics, Inc. | Imaging system, method, and applications |
CN105556935B (zh) * | 2014-05-15 | 2019-04-19 | 华为技术有限公司 | 用于多帧降噪的方法和终端 |
US9185391B1 (en) | 2014-06-17 | 2015-11-10 | Actality, Inc. | Adjustable parallax distance, wide field of view, stereoscopic imaging system |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9900505B2 (en) * | 2014-07-23 | 2018-02-20 | Disney Enterprises, Inc. | Panoramic video from unstructured camera arrays with globally consistent parallax removal |
CN104159026A (zh) * | 2014-08-07 | 2014-11-19 | 厦门亿联网络技术股份有限公司 | 一种实现360度全景视频的系统 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
KR102145542B1 (ko) | 2014-08-14 | 2020-08-18 | 삼성전자주식회사 | 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법 |
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
US9521830B2 (en) * | 2014-08-21 | 2016-12-20 | Identiflight, Llc | Bird or bat detection and identification for wind turbine risk mitigation |
EP3183687B1 (en) | 2014-08-21 | 2020-07-08 | IdentiFlight International, LLC | Avian detection system and method |
US10139819B2 (en) | 2014-08-22 | 2018-11-27 | Innovative Signal Analysis, Inc. | Video enabled inspection using unmanned aerial vehicles |
CN104184950B (zh) * | 2014-09-10 | 2017-12-08 | 北京奇艺世纪科技有限公司 | 一种视频图像拼接方法及装置 |
US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
WO2016048402A2 (en) * | 2014-09-26 | 2016-03-31 | Reald | Multiscopic image capture system |
CN113256730B (zh) | 2014-09-29 | 2023-09-05 | 快图有限公司 | 用于阵列相机的动态校准的系统和方法 |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
US9942583B2 (en) | 2014-11-18 | 2018-04-10 | The Invention Science Fund Ii, Llc | Devices, methods and systems for multi-user capable visual imaging arrays |
US9924109B2 (en) | 2014-11-18 | 2018-03-20 | The Invention Science Fund Ii, Llc | Devices, methods, and systems for visual imaging arrays |
US10027873B2 (en) * | 2014-11-18 | 2018-07-17 | The Invention Science Fund Ii, Llc | Devices, methods and systems for visual imaging arrays |
US10609270B2 (en) | 2014-11-18 | 2020-03-31 | The Invention Science Fund Ii, Llc | Devices, methods and systems for visual imaging arrays |
US20190028721A1 (en) * | 2014-11-18 | 2019-01-24 | Elwha Llc | Imaging device system with edge processing |
US10127463B2 (en) | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
US20160150164A1 (en) * | 2014-11-24 | 2016-05-26 | Freescale Semiconductor, Inc. | System controller, multi-camera view system and a method of processing images |
US20160165135A1 (en) * | 2014-12-05 | 2016-06-09 | Samsung Electronics Co., Ltd | Image photographing apparatus, method of photographing image and non-transitory recordable medium |
US9689976B2 (en) | 2014-12-19 | 2017-06-27 | Xidrone Systems, Inc. | Deterent for unmanned aerial systems |
US9715009B1 (en) | 2014-12-19 | 2017-07-25 | Xidrone Systems, Inc. | Deterent for unmanned aerial systems |
US9286680B1 (en) * | 2014-12-23 | 2016-03-15 | Futurewei Technologies, Inc. | Computational multi-camera adjustment for smooth view switching and zooming |
US9609234B1 (en) * | 2014-12-24 | 2017-03-28 | Vecna Technologies, Inc. | Camera module and operating method |
USD791856S1 (en) * | 2014-12-30 | 2017-07-11 | Altia Systems, Inc. | Camera mount |
CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
KR20160088719A (ko) * | 2015-01-16 | 2016-07-26 | 삼성전자주식회사 | 이미지를 촬영하는 전자 장치 및 방법 |
CA2893007C (en) * | 2015-01-19 | 2020-04-28 | Tetra Tech, Inc. | Sensor synchronization apparatus and method |
US10536633B2 (en) * | 2015-02-06 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging system and imaging apparatus including the same, and image processing method |
WO2016132267A2 (en) * | 2015-02-19 | 2016-08-25 | Spark S.R.L. | A video management system and method |
KR20170127505A (ko) | 2015-03-01 | 2017-11-21 | 넥스트브이알 인코포레이티드 | 환경 측정들을 하고 및/또는 3d 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치 |
US9955056B2 (en) * | 2015-03-16 | 2018-04-24 | Qualcomm Incorporated | Real time calibration for multi-camera wireless device |
WO2016156996A1 (en) | 2015-04-02 | 2016-10-06 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
TW201637432A (zh) * | 2015-04-02 | 2016-10-16 | Ultracker Technology Co Ltd | 即時影像縫合裝置及即時影像縫合方法 |
WO2016165016A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis-panorama |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
ES2907810T3 (es) | 2015-04-16 | 2022-04-26 | Corephotonics Ltd | Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US9813621B2 (en) * | 2015-05-26 | 2017-11-07 | Google Llc | Omnistereo capture for mobile devices |
US20160349600A1 (en) | 2015-05-26 | 2016-12-01 | Gopro, Inc. | Multi Camera Mount |
EP3304161B1 (en) | 2015-05-28 | 2021-02-17 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization in a digital camera |
US20160381345A1 (en) * | 2015-06-29 | 2016-12-29 | Mediatek Inc. | Stereoscopic camera device and associated control method |
US20170006219A1 (en) | 2015-06-30 | 2017-01-05 | Gopro, Inc. | Image stitching in a multi-camera array |
WO2017000988A1 (en) * | 2015-06-30 | 2017-01-05 | Brainlab Ag | Medical image fusion with reduced search space |
EP3317816A4 (en) * | 2015-06-30 | 2019-02-27 | GoPro, Inc. | PICTURES OF PICTURES IN A MULTIPLE CAMERAS ARRANGEMENT |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
WO2017020150A1 (zh) * | 2015-07-31 | 2017-02-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像机 |
US10498955B2 (en) | 2015-08-03 | 2019-12-03 | Disney Enterprises, Inc. | Commercial drone detection |
KR102263924B1 (ko) | 2015-08-13 | 2021-06-11 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
EP3335077B1 (en) | 2015-09-06 | 2019-08-14 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
JP2017059902A (ja) | 2015-09-14 | 2017-03-23 | 株式会社リコー | 情報処理装置、プログラム、画像処理システム |
US9858706B2 (en) * | 2015-09-22 | 2018-01-02 | Facebook, Inc. | Systems and methods for content streaming |
US10096130B2 (en) * | 2015-09-22 | 2018-10-09 | Facebook, Inc. | Systems and methods for content streaming |
CA3000684A1 (en) | 2015-09-30 | 2017-04-06 | Vertex Pharmaceuticals Incorporated | Method for treating cancer using a combination of dna damaging agents and atr inhibitors |
WO2017058199A1 (en) * | 2015-09-30 | 2017-04-06 | Hewlett-Packard Development Company, L.P. | Interactive display |
US10791285B2 (en) * | 2015-10-05 | 2020-09-29 | Woncheol Choi | Virtual flying camera system |
US9838599B1 (en) | 2015-10-15 | 2017-12-05 | Amazon Technologies, Inc. | Multiple camera alignment system with rigid substrates |
US9838600B1 (en) | 2015-10-15 | 2017-12-05 | Amazon Technologies, Inc. | Multiple camera alignment system with flexible substrates and stiffener members |
US9681111B1 (en) | 2015-10-22 | 2017-06-13 | Gopro, Inc. | Apparatus and methods for embedding metadata into video stream |
US10187590B2 (en) | 2015-10-27 | 2019-01-22 | Magna Electronics Inc. | Multi-camera vehicle vision system with image gap fill |
US10033928B1 (en) * | 2015-10-29 | 2018-07-24 | Gopro, Inc. | Apparatus and methods for rolling shutter compensation for multi-camera systems |
WO2017083418A1 (en) * | 2015-11-09 | 2017-05-18 | Nexvidea Inc. | Methods and systems for recording, producing and transmitting video and audio content |
US9842624B2 (en) * | 2015-11-12 | 2017-12-12 | Intel Corporation | Multiple camera video image stitching by placing seams for scene objects |
KR102399017B1 (ko) * | 2015-11-16 | 2022-05-17 | 삼성전자주식회사 | 이미지 생성 방법 및 장치 |
US9792709B1 (en) * | 2015-11-23 | 2017-10-17 | Gopro, Inc. | Apparatus and methods for image alignment |
US9973696B1 (en) | 2015-11-23 | 2018-05-15 | Gopro, Inc. | Apparatus and methods for image alignment |
US9848132B2 (en) | 2015-11-24 | 2017-12-19 | Gopro, Inc. | Multi-camera time synchronization |
US9782678B2 (en) | 2015-12-06 | 2017-10-10 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
US9573062B1 (en) | 2015-12-06 | 2017-02-21 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
US9473758B1 (en) | 2015-12-06 | 2016-10-18 | Sliver VR Technologies, Inc. | Methods and systems for game video recording and virtual reality replay |
US9667859B1 (en) | 2015-12-28 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
KR102187146B1 (ko) | 2015-12-29 | 2020-12-07 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
US9715638B1 (en) | 2015-12-31 | 2017-07-25 | Nokia Technologies Oy | Method and apparatus for identifying salient subimages within a panoramic image |
US9922387B1 (en) | 2016-01-19 | 2018-03-20 | Gopro, Inc. | Storage of metadata and images |
JP6726967B2 (ja) * | 2016-01-19 | 2020-07-22 | 三菱電機株式会社 | 輝度ムラ測定装置 |
US9967457B1 (en) | 2016-01-22 | 2018-05-08 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
US10194089B2 (en) * | 2016-02-08 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for implementing seamless zoom function using multiple cameras |
US9665098B1 (en) | 2016-02-16 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle |
US9743060B1 (en) | 2016-02-22 | 2017-08-22 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US9602795B1 (en) | 2016-02-22 | 2017-03-21 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US9973746B2 (en) | 2016-02-17 | 2018-05-15 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
DE102016204044A1 (de) | 2016-03-11 | 2017-09-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und head-up-display zum perspektivischen transformieren und anzeigen eines bildinhalts sowie fahrzeug |
US10204397B2 (en) * | 2016-03-15 | 2019-02-12 | Microsoft Technology Licensing, Llc | Bowtie view representing a 360-degree image |
US9686510B1 (en) | 2016-03-15 | 2017-06-20 | Microsoft Technology Licensing, Llc | Selectable interaction elements in a 360-degree video stream |
US10638092B2 (en) | 2016-03-31 | 2020-04-28 | Konica Minolta Laboratory U.S.A., Inc. | Hybrid camera network for a scalable observation system |
US9934615B2 (en) * | 2016-04-06 | 2018-04-03 | Facebook, Inc. | Transition between binocular and monocular views |
US10165258B2 (en) | 2016-04-06 | 2018-12-25 | Facebook, Inc. | Efficient determination of optical flow between images |
US10027954B2 (en) | 2016-05-23 | 2018-07-17 | Microsoft Technology Licensing, Llc | Registering cameras in a multi-camera imager |
US10326979B2 (en) | 2016-05-23 | 2019-06-18 | Microsoft Technology Licensing, Llc | Imaging system comprising real-time image registration |
US10339662B2 (en) | 2016-05-23 | 2019-07-02 | Microsoft Technology Licensing, Llc | Registering cameras with virtual fiducials |
WO2017205642A1 (en) * | 2016-05-25 | 2017-11-30 | Livit Media Inc. | Methods and systems for live sharing 360-degree video streams on a mobile device |
CN111965919B (zh) | 2016-05-30 | 2022-02-08 | 核心光电有限公司 | 旋转滚珠引导音圈电动机 |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
DE102016110686A1 (de) * | 2016-06-10 | 2017-12-14 | Rheinmetall Defence Electronics Gmbh | Verfahren und Vorrichtung zur Erstellung eines Panoramabilds |
KR102521406B1 (ko) | 2016-06-19 | 2023-04-12 | 코어포토닉스 리미티드 | 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 |
KR102261020B1 (ko) | 2016-06-28 | 2021-06-03 | 매직 립, 인코포레이티드 | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 |
WO2018007981A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
KR102574781B1 (ko) | 2016-07-15 | 2023-09-06 | 라이트 필드 랩 인코포레이티드 | 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재 |
US9934758B1 (en) | 2016-09-21 | 2018-04-03 | Gopro, Inc. | Systems and methods for simulating adaptation of eyes to changes in lighting conditions |
DE102016118918B4 (de) | 2016-10-05 | 2018-08-09 | Tichawa Vision Gmbh | Bildaufnahmeverfahren |
US10268896B1 (en) | 2016-10-05 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining video highlight based on conveyance positions of video content capture |
KR102560780B1 (ko) * | 2016-10-05 | 2023-07-28 | 삼성전자주식회사 | 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치 |
CN107945101B (zh) | 2016-10-13 | 2021-01-29 | 华为技术有限公司 | 图像处理方法和装置 |
US9973792B1 (en) | 2016-10-27 | 2018-05-15 | Gopro, Inc. | Systems and methods for presenting visual information during presentation of a video segment |
GB201620037D0 (en) * | 2016-11-28 | 2017-01-11 | Nokia Technologies Oy | Imaging device and method |
US10244200B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | View-dependent operations during playback of panoramic video |
US10244215B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | Re-projecting flat projections of pictures of panoramic video for rendering by application |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10242714B2 (en) | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
US10397549B2 (en) * | 2016-12-20 | 2019-08-27 | Gopro, Inc. | Compact array of imaging devices with supplemental imaging unit |
US10009550B1 (en) * | 2016-12-22 | 2018-06-26 | X Development Llc | Synthetic imaging |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US11531209B2 (en) | 2016-12-28 | 2022-12-20 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
US11636572B2 (en) | 2016-12-29 | 2023-04-25 | Nokia Technologies Oy | Method and apparatus for determining and varying the panning speed of an image based on saliency |
KR102164655B1 (ko) | 2017-01-12 | 2020-10-13 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 |
US10437884B2 (en) | 2017-01-18 | 2019-10-08 | Microsoft Technology Licensing, Llc | Navigation of computer-navigable physical feature graph |
US10635981B2 (en) | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Automated movement orchestration |
US11094212B2 (en) | 2017-01-18 | 2021-08-17 | Microsoft Technology Licensing, Llc | Sharing signal segments of physical graph |
US10606814B2 (en) | 2017-01-18 | 2020-03-31 | Microsoft Technology Licensing, Llc | Computer-aided tracking of physical entities |
US10482900B2 (en) | 2017-01-18 | 2019-11-19 | Microsoft Technology Licensing, Llc | Organization of signal segments supporting sensed features |
US10637814B2 (en) | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Communication routing based on physical status |
US10679669B2 (en) | 2017-01-18 | 2020-06-09 | Microsoft Technology Licensing, Llc | Automatic narration of signal segment |
EP3355587A1 (en) * | 2017-01-30 | 2018-08-01 | EVS Broadcast Equipment SA | Video production apparatus and method for video production |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10194101B1 (en) | 2017-02-22 | 2019-01-29 | Gopro, Inc. | Systems and methods for rolling shutter compensation using iterative process |
IL290630B2 (en) | 2017-02-23 | 2023-10-01 | Corephotonics Ltd | Lens designs for a folded camera |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
US10185878B2 (en) | 2017-02-28 | 2019-01-22 | Microsoft Technology Licensing, Llc | System and method for person counting in image data |
US10498968B1 (en) | 2017-03-01 | 2019-12-03 | Altia Systems, Inc. | Intelligent zoom method and video system implementing same |
CN114137790A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的系统、移动电子装置及其方法 |
CN108632504A (zh) * | 2017-03-15 | 2018-10-09 | 致伸科技股份有限公司 | 多镜头光学装置 |
JP6946684B2 (ja) * | 2017-03-17 | 2021-10-06 | 株式会社リコー | 電子情報ボードシステム、画像処理装置、及びプログラム |
FR3064768A1 (fr) * | 2017-03-30 | 2018-10-05 | Orange | Systeme de transparence pour camera banalisee |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10187607B1 (en) | 2017-04-04 | 2019-01-22 | Gopro, Inc. | Systems and methods for using a variable capture frame rate for video capture |
WO2018193713A1 (ja) * | 2017-04-21 | 2018-10-25 | ソニー株式会社 | 撮像装置 |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10600152B1 (en) * | 2017-05-10 | 2020-03-24 | Gopro, Inc. | Systems and methods for parallax compensation |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
US9986360B1 (en) | 2017-06-23 | 2018-05-29 | Cisco Technology, Inc. | Auto-calibration of relative positions of multiple speaker tracking systems |
TWI775869B (zh) * | 2017-06-29 | 2022-09-01 | 佳能企業股份有限公司 | 影像擷取裝置及影像處理方法 |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
EP3639089B1 (en) * | 2017-07-21 | 2023-09-06 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for blocking a target in video monitoring |
EP3658973B1 (en) | 2017-07-24 | 2021-01-20 | Chromatra, LLC | System and apparatus for color imaging device |
US11049218B2 (en) * | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
CN109561240B (zh) | 2017-09-24 | 2023-02-17 | 福希特公司 | 用于生成媒体资产的系统和方法 |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
US11490129B2 (en) | 2017-10-13 | 2022-11-01 | C360 Technologies, Inc. | Creating multi-camera panoramic projections |
US11474254B2 (en) | 2017-11-07 | 2022-10-18 | Piaggio Fast Forward Inc. | Multi-axes scanning system from single-axis scanner |
KR102261024B1 (ko) | 2017-11-23 | 2021-06-04 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
US10907940B1 (en) | 2017-12-12 | 2021-02-02 | Xidrone Systems, Inc. | Deterrent for unmanned aerial systems using data mining and/or machine learning for improved target detection and classification |
US11163176B2 (en) | 2018-01-14 | 2021-11-02 | Light Field Lab, Inc. | Light field vision-correction device |
CA3088376A1 (en) | 2018-01-14 | 2019-07-18 | Light Field Lab, Inc. | System and methods for rendering data from a 3d environment |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
KR102091369B1 (ko) | 2018-02-05 | 2020-05-18 | 코어포토닉스 리미티드 | 폴디드 카메라에 대한 감소된 높이 페널티 |
CN113467031B (zh) | 2018-02-12 | 2023-07-14 | 核心光电有限公司 | 具有光学图像稳定化的折叠摄像机、数字摄像机及方法 |
US11245840B2 (en) | 2018-03-06 | 2022-02-08 | Eikon Technologies LLC | Method and system for dynamically adjusting camera shots |
US10778900B2 (en) | 2018-03-06 | 2020-09-15 | Eikon Technologies LLC | Method and system for dynamically adjusting camera shots |
US10482576B2 (en) | 2018-03-19 | 2019-11-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods for multi-spectral image super-resolution |
JP7049632B2 (ja) * | 2018-03-31 | 2022-04-07 | 株式会社ウォンツ | 車両画像撮影システム |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
CN111936908B (zh) | 2018-04-23 | 2021-12-21 | 核心光电有限公司 | 具有扩展的两个自由度旋转范围的光路折叠元件 |
US10580414B2 (en) * | 2018-05-07 | 2020-03-03 | Microsoft Technology Licensing, Llc | Speaker recognition/location using neural network |
US10666863B2 (en) | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
US10735882B2 (en) * | 2018-05-31 | 2020-08-04 | At&T Intellectual Property I, L.P. | Method of audio-assisted field of view prediction for spherical video streaming |
US11812009B2 (en) * | 2018-06-22 | 2023-11-07 | Intel Corporation | Generating virtual reality content via light fields |
US10902556B2 (en) * | 2018-07-16 | 2021-01-26 | Nvidia Corporation | Compensating for disparity variation when viewing captured multi video image streams |
WO2020031005A1 (en) | 2018-08-04 | 2020-02-13 | Corephotonics Ltd. | Switchable continuous display information system above camera |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
US11284054B1 (en) | 2018-08-30 | 2022-03-22 | Largo Technology Group, Llc | Systems and method for capturing, processing and displaying a 360° video |
KR102166106B1 (ko) * | 2018-11-21 | 2020-10-15 | 스크린엑스 주식회사 | 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템 |
JPWO2020105698A1 (ja) * | 2018-11-22 | 2021-10-21 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、カメラシステム及び画像処理方法 |
WO2020142589A1 (en) * | 2019-01-04 | 2020-07-09 | Gopro, Inc. | Face detection in spherical images |
CN111919057B (zh) | 2019-01-07 | 2021-08-31 | 核心光电有限公司 | 具有滑动接头的旋转机构 |
US10810700B2 (en) * | 2019-03-05 | 2020-10-20 | Aspeed Technology Inc. | Method of adjusting texture coordinates based on control regions in a panoramic image |
WO2020183312A1 (en) | 2019-03-09 | 2020-09-17 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
CN110602476B (zh) * | 2019-08-08 | 2021-08-06 | 南京航空航天大学 | 一种基于深度信息辅助的高斯混合模型的空洞填补方法 |
US11321904B2 (en) | 2019-08-30 | 2022-05-03 | Maxon Computer Gmbh | Methods and systems for context passing between nodes in three-dimensional modeling |
US11276145B2 (en) * | 2019-09-06 | 2022-03-15 | Apple Inc. | Seamless preview stitching for multiple cameras |
KR102646521B1 (ko) | 2019-09-17 | 2024-03-21 | 인트린식 이노베이션 엘엘씨 | 편광 큐를 이용한 표면 모델링 시스템 및 방법 |
EP4042101A4 (en) | 2019-10-07 | 2023-11-22 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
CN110830781B (zh) * | 2019-10-30 | 2021-03-23 | 歌尔科技有限公司 | 一种基于双目视觉的投影图像自动校正方法及系统 |
CN110798634B (zh) * | 2019-11-28 | 2020-10-09 | 东北大学 | 图像自适应合成方法、装置及计算机可读存储介质 |
EP4066001A4 (en) | 2019-11-30 | 2024-01-24 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
JP7462769B2 (ja) | 2020-01-29 | 2024-04-05 | イントリンジック イノベーション エルエルシー | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
WO2021165764A1 (en) | 2020-02-22 | 2021-08-26 | Corephotonics Ltd. | Split screen feature for macro photography |
US11714928B2 (en) | 2020-02-27 | 2023-08-01 | Maxon Computer Gmbh | Systems and methods for a self-adjusting node workspace |
US20210303824A1 (en) * | 2020-03-31 | 2021-09-30 | Gopro, Inc. | Face detection in spherical images using overcapture |
WO2021220080A1 (en) | 2020-04-26 | 2021-11-04 | Corephotonics Ltd. | Temperature control for hall bar sensor correction |
KR102495627B1 (ko) | 2020-05-17 | 2023-02-06 | 코어포토닉스 리미티드 | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
KR20240001277A (ko) | 2020-05-30 | 2024-01-03 | 코어포토닉스 리미티드 | 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법 |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
EP4202521A1 (en) | 2020-07-15 | 2023-06-28 | Corephotonics Ltd. | Point of view aberrations correction in a scanning folded camera |
EP4065934A4 (en) | 2020-07-31 | 2023-07-26 | Corephotonics Ltd. | LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY |
KR102480820B1 (ko) | 2020-08-12 | 2022-12-22 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라의 광학 이미지 안정화 |
US11373369B2 (en) | 2020-09-02 | 2022-06-28 | Maxon Computer Gmbh | Systems and methods for extraction of mesh geometry from straight skeleton for beveled shapes |
CN112543285A (zh) * | 2020-12-02 | 2021-03-23 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
WO2022225424A1 (ru) * | 2021-04-19 | 2022-10-27 | Али Хальдун АЛЬ-ЗУБЕЙДИ | Мобильное устройство получения объемного изображения |
WO2022259154A2 (en) | 2021-06-08 | 2022-12-15 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
US20230132967A1 (en) * | 2021-10-28 | 2023-05-04 | Argo AI, LLC | Method, System, and Computer Program Product for Parallax Estimation for Sensors for Autonomous Vehicles |
GB2614051A (en) * | 2021-12-16 | 2023-06-28 | Peacock Tech Limited | Image processing |
CN115065816B (zh) * | 2022-05-09 | 2023-04-07 | 北京大学 | 一种真实地理空间场景实时构建方法和实时构建装置 |
Family Cites Families (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US564032A (en) * | 1896-07-14 | Shoe-polishing cabinet | ||
US4023720A (en) * | 1975-12-01 | 1977-05-17 | Sterling Glove Co., Ltd. | Glove turning and blocking process and apparatus |
US4395093A (en) | 1981-05-21 | 1983-07-26 | The United States Of America As Represented By The Secretary Of The Navy | Lens system for panoramic imagery |
US4393394A (en) | 1981-08-17 | 1983-07-12 | Mccoy Reginald F H | Television image positioning and combining system |
JPS5952359A (ja) | 1982-09-02 | 1984-03-26 | Hitachi Medical Corp | 画像間演算時の画像歪み自動補正装置 |
US4484801A (en) | 1982-09-20 | 1984-11-27 | The United States Of America As Represented By The Secretary Of The Navy | Panoramic lens |
US4583117A (en) | 1984-07-17 | 1986-04-15 | Stereographics Corporation | Stereoscopic video camera |
EP0185485A3 (en) | 1984-12-10 | 1988-03-16 | British Aerospace Public Limited Company | Surveillance systems |
US4745479A (en) | 1985-10-04 | 1988-05-17 | American Dynamics Corporation | Multiple image video display system |
US4862388A (en) | 1986-12-15 | 1989-08-29 | General Electric Company | Dynamic comprehensive distortion correction in a real time imaging system |
GB2185360B (en) | 1986-01-11 | 1989-10-25 | Pilkington Perkin Elmer Ltd | Display system |
JP2515101B2 (ja) | 1986-06-27 | 1996-07-10 | ヤマハ株式会社 | 映像および音響空間記録再生方法 |
US4819064A (en) | 1987-11-25 | 1989-04-04 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Television monitor field shifter and an opto-electronic method for obtaining a stereo image of optimal depth resolution and reduced depth distortion on a single screen |
US4974073A (en) | 1988-01-14 | 1990-11-27 | Metavision Inc. | Seamless video display |
GB8814288D0 (en) | 1988-06-16 | 1988-07-20 | Crosfield Electronics Ltd | Method & apparatus for generating composite images |
US5083389A (en) | 1988-07-15 | 1992-01-28 | Arthur Alperin | Panoramic display device and method of making the same |
US5068650A (en) | 1988-10-04 | 1991-11-26 | Bell Communications Research, Inc. | Memory system for high definition television display |
US5153716A (en) | 1988-12-14 | 1992-10-06 | Horizonscan Inc. | Panoramic interactive system |
US5040055A (en) | 1988-12-14 | 1991-08-13 | Horizonscan Inc. | Panoramic interactive system |
GB8829135D0 (en) | 1988-12-14 | 1989-01-25 | Smith Graham T | Panoramic interactive system |
US5175616A (en) | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US5023725A (en) | 1989-10-23 | 1991-06-11 | Mccutchen David | Method and apparatus for dodecahedral imaging system |
US5023720A (en) | 1989-10-30 | 1991-06-11 | The Grass Valley Group, Inc. | Single channel video push effect |
US5115266A (en) | 1989-11-08 | 1992-05-19 | Troje Gerald J | Optical system for recording or projecting a panoramic image |
JP2917155B2 (ja) | 1989-12-18 | 1999-07-12 | 株式会社日立製作所 | 画像結合装置及び方法 |
US5130794A (en) | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
NL9000766A (nl) | 1990-04-02 | 1991-11-01 | Koninkl Philips Electronics Nv | Inrichting voor geometrische correctie van een vertekend beeld. |
JPH0443773A (ja) * | 1990-06-11 | 1992-02-13 | Matsushita Electric Ind Co Ltd | 演算回路 |
US5170182A (en) * | 1990-08-23 | 1992-12-08 | Management Graphics, Inc. | Apparatus and method for registering an image on a recording medium |
US5142357A (en) | 1990-10-11 | 1992-08-25 | Stereographics Corp. | Stereoscopic video camera with image sensors having variable effective position |
US5258837A (en) | 1991-01-07 | 1993-11-02 | Zandar Research Limited | Multiple security video display |
US5187571A (en) * | 1991-02-01 | 1993-02-16 | Bell Communications Research, Inc. | Television system for displaying multiple views of a remote location |
US5143716A (en) * | 1991-02-01 | 1992-09-01 | Unger Evan C | Phosphorylated sugar alcohols, Mono- and Di-Saccharides as contrast agents for use in magnetic resonance imaging of the gastrointestinal region |
US5465163A (en) | 1991-03-18 | 1995-11-07 | Canon Kabushiki Kaisha | Image processing method and apparatus for processing oversized original images and for synthesizing multiple images |
US6002430A (en) | 1994-01-31 | 1999-12-14 | Interactive Pictures Corporation | Method and apparatus for simultaneous capture of a spherical image |
US5185667A (en) | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
US5990941A (en) | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
US5657402A (en) | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
CA2101932A1 (en) | 1991-12-10 | 1993-06-11 | Dominique Pitteloud | Apparatus and methods for automerging images |
US5291334A (en) | 1992-01-30 | 1994-03-01 | United Technologies Corporation | Micro-lens panoramic imager |
JPH05242216A (ja) | 1992-02-28 | 1993-09-21 | Ricoh Co Ltd | 画像処理装置 |
JP2989364B2 (ja) | 1992-03-12 | 1999-12-13 | シャープ株式会社 | 画像処理装置及び画像処理方法 |
DE69313694T2 (de) | 1992-03-23 | 1998-02-19 | Canon Kk | Bildaufnahmevorrichtung mit mehreren Linsen und Korrektur von Falschregistrierung |
JP3093869B2 (ja) | 1992-04-28 | 2000-10-03 | オリンパス光学工業株式会社 | 画像取り込み装置 |
US5302964A (en) | 1992-09-25 | 1994-04-12 | Hughes Aircraft Company | Heads-up display (HUD) incorporating cathode-ray tube image generator with digital look-up table for distortion correction |
EP0592136B1 (en) | 1992-10-09 | 1999-12-08 | Sony Corporation | Producing and recording images |
JP3107929B2 (ja) | 1992-10-22 | 2000-11-13 | キヤノン株式会社 | 複眼撮像装置 |
US5452105A (en) | 1992-11-19 | 1995-09-19 | Sharp Kabushiki Kaisha | Joint-portion processing device for image data for use in an image processing apparatus |
CA2128704C (en) | 1992-11-24 | 2004-06-22 | Theo Jogchum Poelstra | A method and device for producing panoramic images, and a method and device for consulting panoramic images |
TW219984B (en) | 1992-12-10 | 1994-02-01 | Image Technology Internat Inc | 2-D and 3-D multi-lens camera with one lens having a wider film plane than the other lenses |
KR940017747A (ko) | 1992-12-29 | 1994-07-27 | 에프. 제이. 스미트 | 영상 처리 디바이스 |
JP3058774B2 (ja) | 1993-01-29 | 2000-07-04 | 株式会社河合楽器製作所 | 映像合成装置及び映像合成方法 |
US5369450A (en) | 1993-06-01 | 1994-11-29 | The Walt Disney Company | Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display |
US5682198A (en) | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
WO1995006303A1 (en) | 1993-08-25 | 1995-03-02 | The Australian National University | Panoramic surveillance system |
JP3054002B2 (ja) | 1993-09-01 | 2000-06-19 | キヤノン株式会社 | 複眼撮像装置 |
US6128416A (en) | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
JP2883265B2 (ja) | 1993-09-24 | 1999-04-19 | キヤノン株式会社 | 画像処理装置 |
JP3035434B2 (ja) | 1993-10-13 | 2000-04-24 | キヤノン株式会社 | 複眼撮像装置 |
DE69411849T2 (de) | 1993-10-20 | 1999-03-04 | Philips Electronics Nv | Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens |
JPH07152895A (ja) | 1993-11-29 | 1995-06-16 | Canon Inc | 画像処理方法及び装置 |
US5972452A (en) * | 1993-12-07 | 1999-10-26 | Mitsubishi Gas Chemical Company, Inc. | Sheet shaped oxygen absorbing member and method for manufacture thereof |
US6040852A (en) | 1993-12-29 | 2000-03-21 | Leica Microsystems Ag | Method and device for the recording and reproduction of stereoscopic video images |
JP3192875B2 (ja) | 1994-06-30 | 2001-07-30 | キヤノン株式会社 | 画像合成方法および画像合成装置 |
US5508734A (en) | 1994-07-27 | 1996-04-16 | International Business Machines Corporation | Method and apparatus for hemispheric imaging which emphasizes peripheral content |
US5619255A (en) | 1994-08-19 | 1997-04-08 | Cornell Research Foundation, Inc. | Wide-screen video system |
US5502309A (en) | 1994-09-06 | 1996-03-26 | Rockwell International Corporation | Staring sensor |
JPH08116490A (ja) * | 1994-10-14 | 1996-05-07 | Olympus Optical Co Ltd | 画像処理装置 |
US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
DE69520329T2 (de) * | 1994-11-17 | 2001-09-27 | Canon Kk | Kamerasteuervorrichtung und -Verfahren |
US5812704A (en) | 1994-11-29 | 1998-09-22 | Focus Automation Systems Inc. | Method and apparatus for image overlap processing |
JPH08287218A (ja) | 1995-04-10 | 1996-11-01 | Sharp Corp | 画像合成装置 |
US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
US5703604A (en) | 1995-05-22 | 1997-12-30 | Dodeca Llc | Immersive dodecaherdral video viewing system |
US5657073A (en) * | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
US5963664A (en) * | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
US5793527A (en) * | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
US5905499A (en) * | 1995-07-05 | 1999-05-18 | Fakespace, Inc. | Method and system for high performance computer-generated virtual environments |
US6148118A (en) | 1995-07-05 | 2000-11-14 | Minolta Co., Ltd. | Image processing apparatus capable of reproducing large-sized document |
US5691765A (en) | 1995-07-27 | 1997-11-25 | Sensormatic Electronics Corporation | Image forming and processing device and method for use with no moving parts camera |
BR9609867A (pt) | 1995-07-27 | 1999-04-06 | Sensormatic Electronics Corp | Dispositivo e método de divisão formação e processamento de imagem para uso com câmera sem partes móveis |
US5841589A (en) | 1995-09-26 | 1998-11-24 | Boeing North American, Inc. | Panoramic optics assembly having an initial flat reflective element |
US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
US5768443A (en) | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
US5760826A (en) | 1996-05-10 | 1998-06-02 | The Trustees Of Columbia University | Omnidirectional imaging apparatus |
US6118474A (en) | 1996-05-10 | 2000-09-12 | The Trustees Of Columbia University In The City Of New York | Omnidirectional imaging apparatus |
US5982951A (en) | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
US5721585A (en) | 1996-08-08 | 1998-02-24 | Keast; Jeffrey D. | Digital video panoramic image capture and display system |
US5920376A (en) | 1996-08-30 | 1999-07-06 | Lucent Technologies, Inc. | Method and system for panoramic viewing with curved surface mirrors |
US6188800B1 (en) * | 1996-08-30 | 2001-02-13 | Yamaha Corporation | Two-dimensional spatial transformation system for video processing |
JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
JPH10178564A (ja) | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
US6173087B1 (en) * | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
US5956418A (en) * | 1996-12-10 | 1999-09-21 | Medsim Ltd. | Method of mosaicing ultrasonic volumes for visual simulation |
US5982941A (en) | 1997-02-07 | 1999-11-09 | Eastman Kodak Company | Method of producing digital image with improved performance characteristic |
GB9702833D0 (en) * | 1997-02-12 | 1997-04-02 | Seos Displays Ltd | Image display apparatus |
CA2232978C (en) | 1997-03-27 | 2001-01-16 | Peter H. Gregson | Analog video merging system |
US6043837A (en) | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
US6064760A (en) | 1997-05-14 | 2000-05-16 | The United States Corps Of Engineers As Represented By The Secretary Of The Army | Method for rigorous reshaping of stereo imagery with digital photogrammetric workstation |
US6215914B1 (en) * | 1997-06-24 | 2001-04-10 | Sharp Kabushiki Kaisha | Picture processing apparatus |
US5940641A (en) | 1997-07-10 | 1999-08-17 | Eastman Kodak Company | Extending panoramic images |
US5987164A (en) | 1997-08-01 | 1999-11-16 | Microsoft Corporation | Block adjustment method and apparatus for construction of image mosaics |
US6044181A (en) * | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
US6097854A (en) | 1997-08-01 | 2000-08-01 | Microsoft Corporation | Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping |
US6009190A (en) | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
US6078701A (en) | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
US6128108A (en) * | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
DE19836681B4 (de) | 1997-09-19 | 2008-03-27 | Carl Zeiss Ag | Stereoskopisches Aufnahme- und Wiedergabesystem |
US6011558A (en) | 1997-09-23 | 2000-01-04 | Industrial Technology Research Institute | Intelligent stitcher for panoramic image-based virtual worlds |
US6611629B2 (en) * | 1997-11-03 | 2003-08-26 | Intel Corporation | Correcting correlation errors in a composite image |
US6259470B1 (en) * | 1997-12-18 | 2001-07-10 | Intel Corporation | Image capture system having virtual camera |
US6704041B2 (en) * | 1998-03-10 | 2004-03-09 | Canon Kabushiki Kaisha | Image processing method, apparatus and memory medium therefor |
US6195204B1 (en) * | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
US6285365B1 (en) * | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
US6128143A (en) * | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
US6141145A (en) * | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
US6545702B1 (en) * | 1998-09-08 | 2003-04-08 | Sri International | Method and apparatus for panoramic imaging |
US6028719A (en) | 1998-10-02 | 2000-02-22 | Interscience, Inc. | 360 degree/forward view integral imaging system |
US6175454B1 (en) * | 1999-01-13 | 2001-01-16 | Behere Corporation | Panoramic imaging arrangement |
-
1999
- 1999-08-09 US US09/370,406 patent/US7015954B1/en not_active Expired - Lifetime
-
2000
- 2000-07-25 JP JP2000223244A patent/JP4153146B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-20 US US09/989,638 patent/US7277118B2/en not_active Expired - Lifetime
-
2006
- 2006-02-02 US US11/345,708 patent/US7710463B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916452A (zh) * | 2010-07-26 | 2010-12-15 | 中国科学院遥感应用研究所 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2001094857A (ja) | 2001-04-06 |
US7015954B1 (en) | 2006-03-21 |
US20020122113A1 (en) | 2002-09-05 |
US20060125921A1 (en) | 2006-06-15 |
US7710463B2 (en) | 2010-05-04 |
US7277118B2 (en) | 2007-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
KR101201107B1 (ko) | 파노라마식 이미지에서의 데드 존의 최소화 | |
US7224382B2 (en) | Immersive imaging system | |
US8395711B2 (en) | Method and system for fusing video streams | |
CN100455014C (zh) | 拍摄装置和方法、监视系统 | |
US7855752B2 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system | |
CN106603912B (zh) | 一种视频直播控制方法及装置 | |
US9756277B2 (en) | System for filming a video movie | |
WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
JP2004506285A (ja) | 高速デジタルパンチルトズームビデオ | |
WO2022046810A2 (en) | Merging webcam signals from multiple cameras | |
JP2014529930A (ja) | ネイティブ画像の一部の選択的キャプチャとその表示 | |
JP4736381B2 (ja) | 撮像装置及び方法、監視システム、プログラム並びに記録媒体 | |
Liu et al. | Head-size equalization for better visual perception of video conferencing | |
KR102009988B1 (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 | |
JP2004007283A (ja) | 映像配信システム、プログラム及び記録媒体 | |
CN214384918U (zh) | 音视频采集设备 | |
Foote et al. | Enhancing distance learning with panoramic video | |
JP3066594U (ja) | 画像変換装置 | |
Kim et al. | Vignetting and illumination compensation for omni-directional image generation on spherical coordinate | |
Yamada et al. | High-quality stereo panorama generation using a three-camera system | |
JP2024060611A (ja) | 撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム | |
JPH1032755A (ja) | 大画面画像合成処理装置 | |
Pajdla et al. | Acquisition of space-time volumes for a 2D REX | |
JPH08212379A (ja) | 画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060220 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060310 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060502 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080703 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |