TR201910049A2 - Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ - Google Patents
Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ Download PDFInfo
- Publication number
- TR201910049A2 TR201910049A2 TR2019/10049A TR201910049A TR201910049A2 TR 201910049 A2 TR201910049 A2 TR 201910049A2 TR 2019/10049 A TR2019/10049 A TR 2019/10049A TR 201910049 A TR201910049 A TR 201910049A TR 201910049 A2 TR201910049 A2 TR 201910049A2
- Authority
- TR
- Turkey
- Prior art keywords
- point cloud
- image
- key
- camera
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012546 transfer Methods 0.000 title claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000012806 monitoring device Methods 0.000 claims abstract description 12
- 239000011521 glass Substances 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 238000009877 rendering Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0096—Synchronisation or controlling aspects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
Bu buluş, Konser, spor müsabakası gibi farklı ortamların canlı ve üç boyutlu olarak aktarılması ve aktarılan görüntünün yayınlanarak sanal gerçeklik gözlüğü gibi izleme cihazları (5) ile izlenebilmesini sağlayan üç boyutlu ortam aktarma, yayınlama sistemi (1) ve yöntemi (100) ile ilgilidir.
Description
TARIFNAME
ÜÇ BOYUTLU ORTAM AKTARMA, YAYINLAMA SISTEMI VE
YÖNTEMI
Teknik Alan
Bu bulus, konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak
aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi
cihazlar ile izlenebilmesini saglayan üç boyutlu ortam aktarma, yayinlama sistemi
ve yöntemi ile ilgilidir.
Önceki Teknik
Dünyanin birçok yerinde konser, festival, spor müsabakasi, konferans gibi birçok
etkinlik yapilmaktadir. Insanlar söz konusu etkinliklere katilabilmek için
etkinliklerin yapildigi yerlere giderek, etkinlik biletini alarak etkinlige
katilmaktadir. Insanlar mümkün oldugunca etkinliklere canli olarak katilmayi ve
izlemeyi tercih etmektedir. Çünkü etkinligin yapildigi alani canli, üç boyutlu
görmek, izlemek, hissetmek, orada olanlari üç boyutlu olarak takip etmek,
insanlarin etkinligi tüm heyecani ile hissetmesini ve yasamasini saglamaktadir.
Ancak bütün etkinlikleri yerinde izlemek her zaman çok mümkün olmamaktadir.
Insanlar farkli sehirlerde, ülkelerde, yerlerde olan etkinliklere her zaman fiziksel
olarak katilamamaktadirlar. Bütün etkinlikleri canli olarak izlemek ve fiziksel
olarak etkinlige katilabilmek zaman ve maliyet açisindan her zaman fizibil
olmamaktadir, Insanlar ilgi duydugu etkinliklere katilamadiklarinda, söz konusu
etkinlige ait Video kayitlarini izlemektedirler. Ancak etkinlige ait Video kayitlarini
izlemek izleyiciyi yeterince tatmin etmemektedir. Izleyiciler etkinlik Videolarini
izlediginde, etkinlik alaninda yasadiklari heyecani, hisleri ve duygulari
hissedememektedir. Bunun en Önemli nedeni, etkinligin üç boyutlu (3) olarak
izlenmemesi, etkinlik alaninin ve performansi yapanlari üç boyutlu izlenmemesi ve
izleyicinin etkinlik alaninda tercih ettigi her alani görememesidir. Mevcut patent
basvurusu ise konser, spor müsabakalari, konferans gibi etkinliklerin canli ve üç
boyutlu olarak izlenmesi, izleyicinin etkinlik alanini tamamen izleyebilmesi
saglanmaktadir. Mevcut patent ile etkinlikler canli olarak üç boyutlu ortam aktarma
teknolojisi ile saglanmaktadir.
Günümüzde etkinliklerin üç boyutlu olarak aktarilmasi, tüm etkinligin üç boyutlu
olarak izlenebilmesine yönelik çok az çalisma bulunmaktadir. Mevcut
uygulamalardan birisi Intel firmasinin benzer teknik alanda gelistirdigi bir sistem
yapisidir. Ancak söz konusu sistemin çalisma sekli ve yapisi çok farklidir. Söz
konusu sistemde etkinligin gerçeklestigi alandan normal 2D yayinin haricinde, 360
dereceyi kapsayacak onlarca SK iki boyutlu (2D) kameralar kullanarak önemli
anlarin görüntüleri fotogrametri teknikleri ile nokta bulutu ve son asamada da 3D
görüntü elde edilmektedir ve normal yayin sirasinda bu anlik 3D görüntü yayina
dahil edilmektedir. Örnegin bir basketbol maçi yayini yapilirken, söz konusu sistem
önemli anlardan olan basket atilma aninda etkinlik alanindan alinan anlik 3D
görüntü normal yayina dahil edilerek sadece 0 anin farkli açilardan ve
derinliklerden görülebilmesi saglanmaktadir. Soz konusu mevcut sistemde sadece
önemli anlarin 3D görüntüleri verilmektedir.
Mevcut teknoloji ile herhangi bir etkinligin tüm anlarinin canli ve 3 boyutlu olarak
aktarilmasi, yayinlanmasi ve kullanicilarin söz konusu etkinligi 3 boyutlu olarak
izlemesi pek mümkün olmamaktadir. Çünkü bütün bu islemlerin yapilmasi için çok
yüksek islem hacmine sahip islemcilere ihtiyaç duyulmaktadir. Mevcut patent
basvurusunda önerilen sistem ve yöntem yapisi ile üç boyutlu görüntü aktarimi ve
söz konusu bütün islemler yapilabilmektedir.
Mevcut patent basvurusu ortamlarin 3 boyutlu olarak aktarilmasi ve yayinlanmasi
ile ilgilidir. Mevcut patent basvurusunda açiklanan sistem ve yöntem ile özellikle
konser, müzik dinletileri, büyük kapsamli partiler, spor müsabakalari, futbol,
basketbol maçlari, toplanti gibi etkinliklerin 3 boyutlu olarak aktarilmasi ve
yayinlanmasi saglanmaktadir. Sisteme dahil olan kullanicilar sanal gerçeklik
gözlükleri ile diledikleri etkinlige canli olarak dahil olabilecek, etkinligin oldugu
yerden bagimsiz olarak etkinligin tamamini sanal gerçeklik gözlügü veya benzer
bir teknoloji ile 3 boyutlu ve canli olarak takip edebilecektir.
Bulusun Amaçlari
Bu bulusun amaci, konser, spor müsabakasi gibi birçok farkli etkinlik ortaminin
canli ve üç boyutlu olarak aktarilmasi ve aktarilan ortamin farkli araçlara
izlenebilmesi için yayinlanmasini saglayan üç boyutlu ortam aktarma, yayinlama
sistemi ve yöntemi gerçeklestirmektir.
Bu bulusun diger amaci, konser, spor müsabakasi gibi birçok farkli etkinlik
ortaminin mevcut teknoloji ile aktarilmasina imkan saglayan üç boyutlu ortam
aktarma, yayinlama sistemi ve yöntemi gerçeklestirmektir.
Bu bulusun diger amaci, izleyicilerin etkinlikleri, o an etkinlik alaninda olan tüm
detaylari ile üç boyutlu olarak izleyebilmesini, etkinlik alaninda hissettigi canli
performans heyecaninin etkinlik alani disinda hissedilebilmesini saglayan üç
boyutlu ortam aktarma, yayinlama sistemi ve yöntemi gerçeklestirmektir.
Bulusun Ayrintili Açiklamasi
Bu bulusun amacina ulasmak için gerçeklestirilen üç boyutlu ortam aktarma,
yayinlama sistemi ve yöntemi ekli sekillerde gösterilmis olup bu sekiller;
Sekil 1. Üç boyutlu ortam aktarma, yayinlama sisteminin sematik görünüsüdür.
Sekil 2. Üç boyutlu ortam aktarma, yayinlama yönteminin sematik görünüsüdür.
Sekillerdeki parçalar tek tek numaralandirilmis olup, bu numaralarin karsiligi
asagida verilmistir.
1. Üç boyutlu ortam aktarma, yayinlama sistemi
2. Kamera seti
2.1 Derinlik kamerasi
2.2 Renk kamerasi
2.3 Isleme modülü
3. Internet baglantisi
4. Sunucu
. Izleme cihazi
100. Üç boyutlu ortam aktarma, yayinlama yöntemi
S. Sahne (Scene)
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yöntemi (100)
ile herhangi bir etkinligin bulundugu alandan tüm görüntüler, derinlik ve renk
bilgileri ile alinarak tercih edilen yere internet üzerinden aktarilabilmektedir.
Etkinlik sirasinda, etkinligin gerçeklestigi sahne, arena gibi önemli alanlar ve bu
önemli alanlarin disinda kalan diger alanlarin görüntüsü de 3 boyutlu olarak
aktarilmaktadir. Etkinligin içesinde yer alan asil unsurlar olan sporcular, sanatçilar
üç boyutlu canli olarak takip edilebilecegi gibi etkinlik alaninda bulunan bütün
izleyiciler, bütün alanlar da 3 boyutlu olarak aktarilabilmekte ve izlenebilmektedir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yöntemi (100)
sayesinde, insanlar tercih ettikleri etkinlikleri uzaktan canli ve 3 boyutlu olarak
izleyebilmektedir. Böylece `her tür etkinlik uzaktan, etkinligin oldugu alan, tercihen
sadece sahne bütün Ögeleri ile izlenebilmekte ve tercihen sadece sahnede hareket
edenlerin animasyonu yapilmaktadir. Etkinligi izlemek isteyen kullanicilar, üç
boyutlu ortam aktarma, yayinlama sistemi (1) üzerinden sanal gerçeklik gözlügü
veya benzer izleme cihazi (5) kullanarak etkinligi, etkinligin oldugu bütün alani,
etkinlikte bulunan bütün canli cansiz nesneleri canli ve 3 boyutlu olarak takip
edebilmektedir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yöntemi ( 100)
sayesinde kullanicilar tercih ettikleri etkinlikleri uzaktan canli ve 3 boyutlu olarak
izleyebilmekte, kullanici bütün etkinlik alanini canli olarak takip edebildigi için
ortamin heyecanini hissederek, canli olarak o deneyimi yasayabilmektedir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminde
(100) tercih edilen herhangi bir etkinlik alanindan 3 boyutlu bir görüntü alinmakta,
söz konusu görüntü islendikten sonra sanal gerçeklik gözlügü gibi izleme cihazi (5)
ile tercih edilen bir aygita aktarilarak yayinlanmaktadir. Bulusun sagladigi en
önemli özellik etkinlik alaninda bulunan her seyin canli, 3 boyutlu olarak
aktarilmasi, yayinlanmasi ve bunun mevcut teknoloji, islemci güçleri ile
saglanmasidir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) sahneyi ve
sahnedekileri 360 derece kapsayacak sayida kamera seti (2) (sahne büyüklügüne
göre kamera seti sayisi degismektedir), internet baglantisi (3), sunucu (4)
içermektedir. Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ayrica
en az bir izleme cihazi (5) içermekte veya izleme cihazlari (5) sisteme (1) entegre
edilerek kullanilabilmektedir.
Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak
aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi
izleme cihazlari (5) ile izlenebilmesini saglayan üç boyutlu ortam aktarma,
yayinlama sistemi (1) asagidakileri içermektedir;
- etkinlik alanindan görüntülerin üç boyutlu olarak alinmasini saglayan, bir derinlik
kamerasi (2.1), bir renk kamerasi (2.2) ve bir isleme modülü (2.3) içeren kamera
setleri (2),
- görme alani içinde her bir piksel için derinlik bilgisi hesaplamaya uyarlanmis,
saniyede 30 kareye kadar derinlik görüntüsü yakalayan derinlik kamerasi (2.1),
- çekim yapilan sahnenin (S) ve görüntüsü alinan tüm alanin yüksek çözünürlükte
ve yüksek kare hizinda (fbs: frame per second) renkli görüntülenmesini saglamak
için uyarlanmis renk kamerasi (2.2),
- derinlik kamerasi (2.1) ve renk kamerasindan (2.2) gelen derinlik ve renk
görüntülerini (images) eszamanli olarak yakalamak, sikistirmak ve senkronize
ettikten sonra görüntüleri internet baglantisi (3) ile sunucuya (4) iletmek için
uyarlanmis görüntü isleme özelligine (GPU) sahip isleme modülü (2.3),
- her bir kamera setinden (2) ayni zaman araliginda gelen tüm kamera derinlik ve
renk görüntülerini gruplandirarak görüntü karelerinin olusturmak için uyarlanmis
- derinlik kamera setlerinden (2.1) gelen gruplanmis derinlik görüntülerinin her biri
için, derinlik görüntülerindeki piksellere karsilik X, Y ve Z koordinatlarini
hesaplayarak, nokta bulutlari olusturmak, nokta bulutlari olusturduktan sonra
referans alinan bir kamera setine (2) göre diger kamera setlerinin (2) nokta
bulutlarini referans kamera setine (2) göre hizalayarak (alignment/registration)
birlestirilmis tek bir nokta bulutu olusturup ilk anahtar görüntünün (key frame) elde
edilmesi saglamak için uyarlanmis sunucu (4),
- kamera setlerinden (2) gelen yeni görüntüler ile anahtar görüntüyü tercih edilen
zaman periyodunda sürekli yenilenmek, kamera setinden (2) yeni görüntüler
geldiginde anahtar görüntü yenileme zamani içerisinde gelip gelmedigini kontrol
etmek için uyarlanmis sunucu (4),
-yeni görüntüler geldiginde yeni anahtar görüntü elde edilecek ise nokta bulutunun
yüzeyi olusturmak (mesh creation) veya anahtar görüntü alinmayacaksa eski
görüntü kabul edilecek ise anahtar görüntü üzerinde hareket eden canlilarin,
cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmak ve mevcut
anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre
hareket (animate) ettirilerek görüntünün yayinlanmasi saglamak için uyarlanmis
Üç boyutlu ortam aktarma, yayinlama sisteminde (1) etkinligin gerçeklestigi sahne
(S) (scene) ve tüm etkinlik alanina ait görüntü alinmasina kamera seti (2)
kullanilmaktadir. Etkinligin yapilacagi alanin bir baska ifade ile sahnenin (S)
büyüklügüne göre, kullanilan kameralarin kalitesine göre, 360 derecelik bütün
alanin kapsanmasina göre kamera seti (2) sayisi degismektedir. Bulusun tercih
edilen uygulamasinda sahne (S) en az on kamera seti (2) ile izlenmekte ve ortam
görüntüleri en az on kamera seti (2) ile alinmaktadir. Etkinlik alanina kamera setleri
(2) yerlestirilirken tercihen tam 360° derecelik görüntü alinabilecek sekilde,
konumda ve sayida kamera seti (2) kullanilmaktadir. Kamera seti (2) tasinabilir ve
hizli kurum yapilabilir özelliktedir ve bulusun farkli uygulamalarinda kamera seti
(2) sayisi tercih edilen sayida olabilmektedir.
Kamera seti (2) içerisinde bulunan derinlik kamerasi (2.1) çekim yapilan alanin
yani sahnenin (S) derinliginin algilanmasini saglamaktadir. Derinlik kamerasi (2.1)
ile sahnede (S) bulunan bütün insanlarin, nesnelerin, objelerin görüntülerinin
bulundugu derinlik ile algilanmasi saglanmaktadir. Derinlik algilayici kamera (2.1)
tercihen 4D LiDAR kameradir ve her bir piksel için dogru derinlikte saniyede 30
kareye kadar çoklu piksel görüntüleri yakalayarak dijital videoyu LIDAR
teknolojisi ile benzersiz sekilde birlestirebilmektedir. Derinlik kamerasi (2.1)
görüntü aldigi ortamdaki nesne konumunu ve hareketini gerçek zamanli ve çok hizli
olarak isleme yetenegine sahiptir.
Kamera seti (2) içerisinde bulunan renk kamerasi (2.2) çekim yapilan sahnenin (S)
ve görüntü yapilan tüm alanin renkli görüntülenmesini saglamaktadir. Renk
kamerasi (2.2) yüksek çözünürlükte ve yüksek kare hizinda (tbs: frame per second)
çalisacak özelliklerdir.
Kamera seti (2) içerisinde bulunan isleme modülü (2.3) (CM: Computing module)
derinlik kamerasi (2.1) ve renk kamerasindan (2.2) aldigi derinlik ve renkli
görüntüleri isleinektedir. Isleme modülü (2.3), eszamanli olarak derinlik ve renkli
görüntüleri yakalamak ve sikistirmak ve daha sonra bunlari internet baglantisi (3)
ile sunucuya (4) iletmek için uyarlanmistir. Isleme modülü (2.3) görüntü isleme
özelligine (GPU) sahiptir, güç açisinda verimli ve küçük boyutludur. Isleme
modülleri (2.3), derinlik kameralarindan (2.1) ve renk kameralarindan (2.2) gelen
derinlik ve renk görüntülerini (images) yakalamakta ve disaridan bir tetikleyici
(trigger) ile senkronize edilip tercih edilen zamanda senkron bir sekilde kayit
almaktadir. Bütün isleme modülleri ( ile
buluttaki sunucu (4) ile senkronize edilmistir. Örnegin bulusun bir uygulamasinda,
disaridan bir tetikleyici ile senkronizasyon yapilmakta, derinlik kameralari (2.1) ve
renk kameralari (2.2) tercihen saniyede otuz kare (fbs) alacak sekilde senkron
olarak kayit almaktadir. Bulusun bir uygulamasinda, tetikleyici sunucu (4)
içerisinde çalismaktadir ve tetikleme islemi sunucu (4) araciligi ile yapilmaktadir.
Kamera setinde (2) bulunan isleme modülü (2.3) ve senkronizasyon sayesinde
derinlik ve renk görüntüleri senkronize edilmektedir. Kamera seti (2) isleme
modülü (2.3) araciligi ile bütün derinlik ve renk görüntülerini, bütün görüntüler
senkronize olmus bir sekilde internet baglantisi (3) üzerinden sunucuya (4)
iletmektedir. Sunucu (4) tercihen bulut tabanli çalisan bir sunucudur. Sunucuya (4)
gelen bütün derinlik ve renk görüntüleri senkronize olmus bir sekilde gelmektedir.
Bulusun bir uygulamasinda senkronizasyon su sekilde olmaktadir. Bütün kamera
setleri (2) internet baglantisi ile sunucuya (4) baglidirlar. Bütün kamera setleri (2)
sunucu (4) saatine göre kendi saatlerini ayarlamaktadirlar ve böylece bütün kamera
setleri (2) kendi aralarinda da senkronize olmaktadirlar. Tercihen sunucu (4)
içerisinde bulunan tetikleyici ile kamera setleri (2) ayni anda görüntü almaya
baslamaktadir. Böylece sunucu (4) senkronizasyon için referans noktasi olmaktadir.
Kamera setleri (2) sahneden (S) 360 derece olarak görüntü almakta ve bütün
görüntüleri senkronize olarak sunucuya (4) iletmektedir. Sunucu (4) tercihen
internet ve bulut tabanli (cloud based) bir sunucudur. Sunucu (4) içerisinde dijital
islemlerin yapilmasini saglayan islemci, verilerin tutulmasini saglayan bellek gibi
bilgisayarlarda, sunucularda bulunan bütün donanimsal yapilar bulunmaktadir.
Sunucu (4) programlanabilir, üzerinde tercih edilen isletim sistemleri ve yazilimlar
çalistirilabilir özelliklere sahiptir. Kamera setlerinden (2) sunucuya (4) gelen
görüntüler, birbirine yakin zaman damgalarina göre sunucu (4) tarafindan
gruplandirilmaktadir. Sunucu (4) yaklasik zaman damgalarina sahip görüntüleri
gruplandinnak için uyarlanmistir.
Tercihen sunucu (4) üzerinde çalisan bir programla birbirine yakin zaman
damgalarina sahip karelerin gruplandirilmasi gerektigi belirlenmektedir. Sunucu
(4) tercih edilen milisaniye araliginda gelen bütün renk (colour) ve derinlik (depth)
görüntülerini (image) gruplandirarak kare görüntüsünü (frame) elde etmektedir.
Kamera setinin (2) özelliklerine, görüntü kalitesine göre sunucunun (4) görüntü
alma süresi ayarlana bilmekte söz konusu süre arttirilip azaltilabilmektedir.
Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak
aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi
izleme cihazlari (5) ile izlenebilmesini saglayan üç boyutlu ortam aktarma,
yayinlama yöntemi (100) asagidaki adimlari içermektedir;
- sunucu (4) tarafindan her bir kamera setinden (2) ayni zaman araliginda gelen
görüntülerin derinlik ve renk olarak gruplandirmasi ve gruplandirma ile görüntü
karelerinin olusturulmasi (1 10),
- sunucu (4) tarafindan kamera setinde (2) gelen her bir pikselin X, Y ve Z
eksenlerindeki koordinatinin hesaplanarak, gruplanmis piksellerden nokta
bulutunun (point cloud) olusturulmasi (120),
- nokta bulutu olusturulduktan sonra referans alinan bir derinlik kamerasina (2.1)
göre diger derinlik kameralarinin (2.1) nokta bulutlarinin referans derinlik
kamerasina (2.1) göre döndürülerek hizalanmasi (alignment/registration) ve tüm
nokta bulutlari birlestirilerek ilk 3B anahtar görüntü için anahtar nokta bulutunun
elde edilmesi (130),
- derinlik kameralarindan (2.1) gelen yeni hizalanmis ve birlestirilmis nokta bulutu
ile 3B anahtar görüntü için anahtar nokta bulutu tercih edilen zaman periyodunda
sürekli yenilenmektedir, derinlik kameralarindan (2.1) yeni nokta bulutu
geldiginde 3B anahtar görüntü yenileme zamani kontrol edilmektedir; yeni nokta
bulutu geldiginde yeni 3B anahtar görüntü elde edilecek ise (nokta bulutunun
yüzeyi olusturulacaksa (mesh creation) ) bir sonraki adima gidilmesi bunla beraber
asenkron sekilde en son olusturulmus 3B anahtar görüntü ile 190. adima gidilmesi,
veya 313 anahtar görüntü olusturulmayacak eski görüntü kabul edilecek ise 190.
adima gidilmesi (140),
- eger ki gelen nokta bulutu 3B anahtar görüntüyü olusturacak anahtar nokta bulutu
olarak kabul edilmis ise sirasi ile nokta bulutunun filtrelenmesi (150),
-filtrelenen nokta bulutunun yüzeyinin olusturulmasi (mesh creation) (160),
-yüzeyleri olusturulan nokta bulutunun yüzey filtrelemesinin yapilmasi (170),
-yüzey filtrelemesi yapilan nokta bulutunun dokulastirilmasi (texturing) yapilarak
- yeni 3B anahtar görüntü kabul edilmedi ise sunucu (4) üzerinde çalisan yapay zeka
algoritmalari ile anahtar görüntü üzerindeki hareket eden canlilarin, mevcut nokta
bulutu kullanilarak cisimlerin iskelet bilgisinin eklem yerleri Üoint) ile birlikte
saptanmasi ( 190),
- mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem
yerlerine göre hareket (animate) ettirilerek görüntünün izleme cihazlari (5) için
yayinlanmasi (200),
-etkinlik devam ettigi sürece ilk islem adimina dönülmesi.
Üç boyutlu ortam aktarma, yayinlama sisteminde (1) kamera setlerinin (2) görüntü
gönderme bir baska ifade ile kayit islem zamanlamasi çok önemlidir. Çünkü bir
kamera seti (2) birkaç milisaniye seviyesinde gec,` kayit aldigi zaman, görüntüler
gruplandirilarak birlestirildiginde, görüntüler üst üste gelmemektedir. Böyle bir
durumda söz konusu gecikme oldugunda görüntülerde bir kayma olacaktir. Bu
nedenden dolayi kamera setlerinin (2) senkron olarak çalismasi ve dogru zaman
setlerindeki görüntülerin gruplanarak birlestirilmesi çok önemlidir. Kamera
setlerinden (2) gelen görüntüler sürekli akis halinde belirli bir seri (grup) seklinde
geldigi için zaman olarak birbirine yakin olan görüntüler (time frame) sunucu (4)
tarafindan gruplandirilmaktadir. Sunucu (4) gruplandirmada, her bir kamera
setinden (2) ayni zaman araliginda gelen görüntüleri derinlik ve renk olarak
gruplandirrnaktadir. Her bir kamera setinden (2) gelen görüntüler zaman damgasina
(time stamp) sahiptir ve söz konusu görüntüler zaman damgasi sayesinde dogru bir
sekilde gruplanabilmektedir. Söz konusu gruplandirma ile görüntü kareleri (frame)
olusmaktadir. Sunucu (4) gruplandirma ile görüntü karelerinin (frame) olusmasini
saglamaktadir (l 10).
Sunucunun (4) dogru gruplandirmayi yapmasi, sunucu (4) içerisinde buluna ve
çalisan gruplandirma kurullari (synchronize policy) ile saglanmaktadir. Sunucu (4)
gruplandirma kurallari sayesinde zaman olarak belirli yakinliktaki görüntüleri
gruplandirabilmektedir.
Sunucu (4) gruplandirma islemini yaptiktan sonra derinlik görüntülerini (depth
image) kullanarak nokta bulutunu (point cloud) olusturmaktadir. Nokta bulutu
(point cloud) bize üç boyutlu olarak görüntüyü vermektedir. Nokta bulutunda elde
edilen görüntü, kamera setinden (2) alinan görüntünün üç boyutlu, noktalardan
olusan seklidir ve söz konusu nokta bulutu görüntüsünde henüz yüzey (surface)
görünmemektedir, görüntüye yakindan bakildigindan noktalar arasindaki bosluklar
görülebilmektedir. Derinlik görüntüsünde her bir piksel için derinlik bilgisi
bulunmaktadir. Kamera seti (2) gördügü görüntüdeki her bir piksel için derinlik
bilgisini sunucuya (4) iletmektedir. Sunucu (4) derinlik görüntüsünde bulunan her
bir pikselin derinlik bilgisini ve her bir kamera setinin (2) kendi ayar parametreleri
(camera intrinsic parameters) kullanarak nokta bulutunu olusturmaktadir. Sunucu
(4) her bir kamera setinin (2) odak alani (focus land), ana nokta (principal point)
gibi kamera seti (2) verilerini ve piksel derinlik bilgisini kullanarak her bir pikselin
yatay ve dikey eksendeki X ve Y eksenindeki koordinatlarini da hesaplayarak
bulmak için uyarlanmistir. Sunucu (4) kamera setinde (2) gelen her bir pikselin X,
Y ve Z eksenlerindeki (yatay eksen, dikey eksen, derinlik ekseni) koordinatini
hesapladiktan sonra nokta bulutunu (point cloud) olusturmaktadir (120). Sunucu (4)
her bir kamera seti (2) için ayri ayri nokta bulutu (point cloud) olusturmaktadir.
Etkinlik sirasinda alinan görüntülerin nokta bulutu olarak transfer edilmesi çok
maliyetlidir ve söz konusu nokta bulutunun islenmesi için çok yüksek islem
hacminde islemcilere ihtiyaç duyulmaktadir. Mevcut patent basvurusu ile sadece
görüntü (imaj) ve kamera seti (2) bilgileri iletilmekte, nokta bulutu sunucuda (4)
olusturulmaktadir. Böylece haberlesme hatti yorulmadan daha düsük kapasiteli
islemciler ile görüntü transferi saglanabilmektedir.
Sunucu (4) nokta bulutunu olusturduktan sonra belirlenen zaman araligindan (every
specified time interval) nokta bulutunun hizalamasini (alignment/registration)
yapmaktadir (130). Sahne (S) görüntüsünü alan kamera setleri (2) birbirlerine göre
farkli konumlandirildiklari için hizalama (alignment) islemi yapilmaz ise bütün
nokta bulutlari üst üste geçmektedir. Sunucu (4) derinlik kamerasinin (2.1) konumu
ve pozisyonuna göre nokta bulutlarini döndürrnektedir. Sunucu (4) kamera
setlerinden (2) birini referans kamera olarak kabul etmekte ve diger kamera
setlerinden (2) gelen nokta bulutlarini referans kamera setine (2) göre döndürerek
konumlandirmaktadir. Sunucu (4) hizalama (ali gnment) islemini yaparken, derinlik
kamerasi (2.1) çiftlerinin bir baska ifade ile her iki derinlik kamerasinin (2.1)
gördügü ortak noktalar bulunarak yapilmaktadir. Sunucu (4) derinlik kameralarinin
(2.1) gördügü ortak noktalar üst üste getirilerek hizalama yapilmaktadir (130).
Sunucu (4) tercih edilen zaman araliginda nokta bulutunun hizalamasini
(alignment/registration) periyodik olarak yapmaktadir, böylece derinlik
kameralarinin (2.1) konumu degisse dahi örnegin biri kamera setlerine (2) çarpsa
dahi hizalama yapildigi için görüntüde bir kayma olmamaktadir (130).
Derinlik kameralarinin (2.1) gelen görüntülerin hizalamasi yapildiktan sonra 3B
anahtar görüntü elde edilmektedir (140). 313 Anahtar görüntünün sürekli
yenilenmesi (SB anahtar görüntü elde edebilmek için nokta bulutu üzerinde
filtreleme, yüzey olusturma) gibi adimlarin yapilmasi sunucu (4) islemcisini çok
fazla mesgul etmektedir. Onun için basvuru konusu bulusta, tercih edilen bir süre
için örnegin her besinci saniyedcki nokta bulutundan (point cloud) 3B anahtar
görüntü (key frame) elde edilmektedir.
Bu asamadan sonra 3B (üç boyutlu) anahtar görüntünün (key frame) nokta
bulutundan (point cloud) elde edilip edilmedigine göre yöntem farkli sekilde
ilerlemektedir. Eger ki nokta bulutu 3B anahtar görüntü olusturmak için kabul
edilmis ise sirasi ile nokta bulutu filtrelemesi (150), yüzey olusturma (mesh
creation) (160), yüzey filtreleme (170) ve dokulastirma (texturing) (180) adimlari
yapilmaktadir. Eger ki nokta bulutu her bes saniyede bir 3B anahtar görüntü için
kabul ediliyorsa, söz konusu bu islemler her bes saniyede bir yapilmaktadir. Nokta
bulutunun (point cloud) 3B anahtar görüntü (key frame) olusturmak için kabul
edilme süresi sunucunun (4) islemci gücü, islem hizi, sahnenin (S) büyüklügü,
etkinligin içerigi gibi etkenlere göre degisebilmektedir. Söz konusu süre sistem
operatörleri veya yazilimeilar tarafindan belirlenerek sunucuya (4) kaydedilebilir.
Sunucu (4) söz konusu süre setine göre nokta bulutunu (point cloud) SB anahtar
görüntü (key frame) olusturmak için kabul etmektedir.
Yüzey olusturma (160) adiminda filtrelenen nokta bulutunun yüzey yapisi (surface
reeonstruetion) olusturulmaktadir. Örnegin kamera setleri (2) bir boks maçinin
görüntüsünü aldigini düsünürsek, yüzey olusturma (3.6) adiminda sahnede (S)
bulunan hareket eden ve etmeyen tüm nesnelerin ring ve boksörlerin görüntüsünün
yüzey yapisi yüzey olusturma adiminda olusturulmaktadir. Yüzey olusturma (160)
adiminda üç boyutlu yüzey olusturma islemi yapilmaktadir.
Üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminin (100) en önemli
özelligi kamera setlerinden (2) gelen nokta bulutlarinin hizalamasi yapildiktan
(130) sonra ortaya çikan birlestirilmis nokta bulutunun (point cloud) yüzey
olusturma (mesh creation) (160) islemi yapilmaktadir. Söz konusu yüzey olusturma
islemi bir kere yapildiktan sonra belirli bir zaman araliginda bir yenilenmektedir.
Örnegin her bes saniyede bir yüzey olusturma islemi (mesh creation) yapilmaktadir.
Söz konusu yüzey olusturma islemi yapilmis görüntü 3B anahtar görüntü (key
frame) olarak kabul edilmektedir. Yüzey olusturma isleminden sonra elde edilen
görüntü içerisinde hareketli ne varsa, tüm hareketli canlilar, cisimler
oynatilmaktadir.
Sunucu (4) yüzey olusturma islemi (160) tamamlanmis nokta bulutunu (point
cloud) tercih edilen süre boyunca anahtar görüntü (key frame) olarak kabul
etmektedir. Kamera setlerinden (2) sürekli olarak görüntü geldigi için her
milisaniye gelen nokta bulutunun yüzeyinin olusturulmasi (160) islemci gücü
açisinda mümkün degildir. Bu nedenden dolayi sunucu (4) anahtar görüntü
olusturdugunda tercih edilen süre boyunca bu anahtar görüntüyü kullanmaktadir.
Tercih edilen süre dolduktan sonra yeni 38 anahtar görüntü olusturulmaktadir. Yeni
anahtar görüntü olusana kadar mevcut anahtar görüntü kullanilmaktadir. Üç
boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminde (100) sürekli olarak
gerçek zamanli 3B anahtar görüntü olusturulmamakta, onun yerine örnegin bes
saniyede bir yüzey olusturma islemi (160) yapilarak anahtar görüntü
olusturulmakta, bes saniye boyunca en son yüzey olusturma islemi yapilan görüntü
üzerinde hareket eden cisimler, noktalar belirlenerek o noktalar oynatilmaktadir.
Sunucu (4) üzerinde çalisan yapay zeka algoritmalari ile anahtar görüntü üzerindeki
hareket eden cisimlerin iskelet bilgisini saptamaktadir (190). Sunucu (4) ?B anahtar
görüntü (key frame) üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet
yapisini belirlemektedir. Böylece sunucu (4) tarafindan anahtar görüntüdeki
hareketli canli ve cisimlerin iskelet yapisi eklem yerleri (joint) ile birlikte
çikartilmaktadir ve söz konusu eklem yerlerine göre canli ve cisimler hareket
(animate) ettirilmektedir (200). Söz konusu islem adimlari sayesinde kamera
setlerinden (2) gelen görüntü gerçek zamanli olarak oynatilmak yerine yüzey
olusturma islemi (mesh) yapilmis görüntü alinarak, söz konusu görüntü üzerindeki
canli ve hareketli cisimler saptanarak (determinate), o cisimlerin iskelet yapisi
belirlenmekte ve iskelet yapisina göre canli, hareketli cisimler oynatilmaktadir.
Canli ve hareketli cisimlerin iskelet yapisi eklem (joint) yerleri ile birlikte
çikartilmaktadir. Eklem yerleri canli ve hareketli cisimlerin hangi noktalardan
hareket edecegini göstermektedir ve canli, hareketli cisimlerin hareketi söz konusu
eklem yerlerinden yapilmaktadir. Sunucu (4) nokta bulutundan ilk 3B anahtar
görüntüyü olusturdugunda (140) görüntü üzerindeki her tür hareketli canli, cisim,
objeyi saptamaktadir. Sunucu (4) ayni zamanda nokta bulutu içindeki canli
olabilecek her türlü objenin iskelet yapisini çikartmaktadir. Sunucu (4) içerisinde
çalisan algoritmalar sayesinde, sunucu (4) nokta bulutu içerisindeki her türlü
hareketli objeyi saptayabilmekte ve objenin iskelet yapisini çikartabilmektedir.
Hareketli obje, insan veya hayvan veya her türlü obje olabilir. Sunucu (4) hareketli
Obj enin iskelet yapisini eklem yerleri ile birlikte çikartmaktadir. Sunucu (4) yeni bir
anahtar görüntü olustursun veya olusturmasin kamera setinden (2) gelen yeni
görüntülerden hareketli objenin nasil bir hareket yaptigini saptayarak, bir önceki
görüntü üzerinden sadece hareket eden eklemlerin hareketini yaptirmaktadir.
Üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminin (100) çalismasi su
sekildedir. Görüntü alinacak etkinlik yerine kamera setleri (2) yerlestirilmektedir.
Kamera setleri (2) etkinlik alanini, bir baska ifade ile sahneyi (S) 3600 derece
çevreleyecek sekilde yerlestirilmektedir. Kamera setleri (2) sahneden (S)
görüntüleri almaktadir. Kamera setleri (2), derinlik kamerasi (2.1) ve renk kamerasi
(2.2) ile etkinlik yerinden derinlik ve renk görüntülerini almaktadir. Söz konusu
derinlik ve renk görüntüleri isleme modülünde (2.3) islenmektedir. Kamera setleri
(2) tercihen sunucu (4) tarafindan tetiklenerek görüntü almaya baslamaktadirlar ve
böylece senkron olarak çalismalari saglanmaktadir. Kamera seti (2) görüntüleri
sunucu (4) tarafindan alinmaktadir. Sunucu (4) kamera setlerinden (2) gelen
görüntüleri zaman bazli olarak senkronize etmekte ve zaman bazli gmplandirarak
görüntü kareleri olusturmaktadir (110). Sunucu (4) kamera seti (2) görüntülerini
gruplandirdiktan sonra kamera setinden (2) gelen her bir pikselin X, Y ve Z
eksenlerindeki koordinatini hesapladiktan sonra nokta bulutu (point cloud)
olusturulmaktadir (120). Daha sonra sunucu (4) her derinlik kamerasindan (2.1)
gelen nokta bulutunun hizalamasini (alignment/registration) yapmaktadir. Sunucu
(4) derinlik kameralarinin (2.1) gördügü ortak noktalar üst üste getirilerek hizalama
yapilmaktadir (130). Ilk nokta bulutunun hizalamasi her zaman yapilmakta daha
sonra tercih edilen bir süre periyodunda yeniden hizalama yapilmaktadir (130).
Hizalama islemi yapildiktan sonra 3B anahtar görüntü (key frame) olusturacak tek
birlestirilmis anahtar nokta bulutu elde edilmektedir. Eger ki nokta bulutu 3B
anahtar görüntü olusturmasi için kabul edilmis ise sirasi ile nokta bulutu filtrelemesi
(150), yüzey olusturma (mesh creation) (160), yüzey filtreleme (170) ve
dokulastimia (texturing) (180) adimlari yapilmaktadir. Söz konusu bu islemlerin
gerçek zamanli olarak yapilmasi islemci açisinda çok zorlayici oldugu için söz
konusu islemler tercih edilen bir zaman periyodunda örnegin bes saniyede bir
yapilmaktadir. Söz konusu bu islemlerin yapilmadigi zaman araliginda ise en son
görüntü alinmakta ve söz konusu görüntü üzerinde hareket eden cisimlerin iskelet
bilgisini saptamaktadir (190). Sunucu (4) nokta bulutu üzerinde hareket eden
insanlarin, canlilarin, cisimlerin iskelet yapisini belirlemektedir. Böylece sunucu
(4) tarafindan 3B anahtar görüntüdeki hareketli canli ve cisimlerin iskelet yapisi
eklem yerleri (joint) ile birlikte çikartilmaktadir ve söz konusu eklem yerlerine göre
canli ve cisimler hareket (animate) ettirilmektedir (200). Böylece görüntünün
tamaminin islenmesine gerek kalmamakta sadece en son 3B anahtar görüntüdeki
hareketli objeler iskelet yapisina göre hareket ettirilmesi ve sadece hareketli
görüntüler yayinlanmaktadir. Sunucu (4) kamera setlerinden (2) aldigi görüntüyü
yukaridaki yöntem adimlarina göre isledikten sonra yayinlayarak tercih edilen bir
izleme cihazi (5) üzerinden izlenmesi saglamaktadir.
Claims (4)
- Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi izleme cihazlari (5) ile izlenebilmesini saglayan, sunucu (4) tarafindan her bir kamera setinden (2) ayni zaman araliginda gelen görüntülerin derinlik ve renk olarak gruplandirmasi ve gruplandirma ile görüntü karelerinin olusturulmasi (110), sunucu (4) tarafindan derinlik kamerasindan (2.1) gelen her bir pikselin X, Y ve Z eksenlerindeki koordinatinin hesaplanarak, gruplanmis piksellerden nokta bulutunun (point cloud) olusturulmasi (120), nokta bulutu olusturulduktan sonra referans alinan bir derinlik kamerasina (2) göre diger derinlik kameralarinin (2.1) görüntülerinin referans kamera setine
- (2) göre döndürülerek nokta bulutunun hizalanmasi (alignment/registration) ve ilk 3B anahtar görüntüsünün olusturulmasi için gerekli anahtar nokta derinlik kameralarindan (2.1) gelen yeni hizalanmis ve birlestirilmis nokta bulutu ile 38 anahtar görüntü için anahtar nokta bulunu tercih edilen zaman periyodunda sürekli yenilenmektedir, derinlik kameralarindan (2.1) yeni nokta bulutu geldiginde 3B anahtar görüntü yenileme zamani kontrol edilmektedir; yeni nokta bulutu geldiginde yeni 3B anahtar görüntü elde edilecek ise (nokta bulutunun yüzeyi olusturulacaksa (mesh creation) ) bir sonraki adima gidilmesi bunla beraber asenkron sekilde en son olusturulmus 3B anahtar görüntü ile 190. adima gidilmesi, veya 3B anahtar görüntü olusturulmayacak eski görüntü kabul edilecek ise 190. adima gidilmesi (140), eger ki nokta bulutu 3B anahtar görüntüyü olusturacak anahtar nokta bulutu olarak kabul edilmis ise sirasi ile nokta bulutunun filtrelenmesi (150), filtrelenen nokta bulutunun yüzeyinin olusturulmasi (mesh creation) (160), yüzeyleri olusturulan nokta bulutunun yüzey filtrelemesinin yapilmasi (170), yüzey filtrelemesi yapilan nokta bulutunun dokulastirilmasi (texturing) yapilarak görüntünün yayinlanmasi (180), yeni 38 anahtar görüntü kabul edilmedi ise sunucu (4) üzerinde çalisan yapay zeka algoritmalari ile en son olusturulmus 3B anahtar görüntü üzerindeki hareket eden canlilarin, mevcut nokta bulutu kullanilarak cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmasi (190), mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün izleme cihazlari (5) için yayinlanmasi (200) ve etkinlik devam ettigi sürece ilk islem adimina dönülmesi ile karakterize edilen üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Gruplanmis piksellerden nokta bulutunun (point cloud) olusturulmasi (120) adiminda; sunucu (4) tarafindan her bir derinlik kamerasinin (2.1) odak alani, ana nokta verilerini ve piksel derinlik bilgisi kullanilarak her bir pikselin yatay, dikey ve derinlik eksenindeki (X, Y ve Z eksenindeki) koordinatlarinin hesaplamasi ve sonra koordinatlara göre nokta bulutunu (point cloud) olusturulmasi ile karakterize edilen istem 13deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun hizalanmasi (alignment/registration) ve ilk anahtar nokta bulutunun elde edilmesi (130) adiminda; sunucunun (4) derinlik kamerasi (2.1) çiftlerinin gördügü ortak noktalar bularak ve gördügü ortak noktalar üst üste getirerek hizalama yapilmasi ile karakterize edilen istem 1°deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun anahtar nokta bulutu olarak kabul edilip edilmemesi (140) adiminda; nokta bulutu görüntüsü ile her 2-5 saniye araliginda bir yeni SB anahtar görüntü olusturulmasi, 3B anahtar görüntü olusturulmayan zaman süresinde en son 3B anahtar görüntünün kullanilmasi ile karakterize edilen istem 1°deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun anahtar nokta bulutu olarak kabul edilip edilmemesi (140) adiminda; nokta bulutu görüntüsü ile her 2-5 saniye araliginda yeni anahtar görüntü olusturulmasi için görüntü üzerinde sirasi ile nokta bulutu filtrelemesi (150), yüzey olusturma (mesh creation) (160), yüzey filtreleme (170) ve dokulastinna (texturing) (180) adimlarinin yapilmasi ile karakterize edilen istem l,deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun anahtar nokta bulutu olarak kabul edilip edilmemesi (140) adiminda; 3B anahtar görüntü olusturulmayan zaman süresinde en son 3B anahtar görüntünün kullanilmasi ve sirasi ile 3B anahtar görüntü üzerindeki hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmasi (190) adiminin ve mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün yayinlanmasi (200) numarali adimlarin yapilmasi ile karakterize edilen istem 1 ,deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmasi (190) adiminda; sunucunun (4) anahtar görüntü (key frame) üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet yapisini belirlemesi ile karakterize edilen istem 1°deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilmesi (200) adiminda; sunucunun (4) anahtar görüntü üzerinde sadece hareketli cisimleri eklem yerlerinden hareket ettirmesi ve söz konusu görüntünün yayinlanmasi ile karakterize edilen istem lsdeki gibi üç boyutlu ortam aktamia, yayinlama yöntemi (100). . Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi izleme cihazlari (5) ile izlenebilmesini saglayan; - etkinlik alanindan görüntülerin üç boyutlu olarak alinmasini saglayan, en az bir derinlik kamerasi (2.1), en az bir renk kamerasi (2.2) ve en az bir isleme modülü (2.3) içeren kamera setleri (2), - her bir piksel için derinlik bilgisi alan, saniyede 30 kareye kadar çoklu piksel görüntüleri yakalayan, dijital çekim yapilan alanin, sahnede (S) bulunan bütün insanlarin, nesnelerin, objelerin görüntülerinin bulundugu derinliklerin her bir piksel için ayri ayri algilanmasi saglamak için uyarlanmis derinlik kamerasi (2.1), - çekim yapilan sahnenin (S) ve görüntü yapilan tüm alanin yüksek çözünürlükte ve yüksek kare hizinda (fbs: frame per second) renkli görüntülenmesini saglamak için uyarlanmis renk kamerasi (2.2), - derinlik kamerasi (2.1) ve renk kamerasindan (2.2) gelen derinlik ve renk görüntülerini (images) eszamanli olarak yakalamak, sikistirmak ve senkronize ettikten sonra görüntüleri internet baglantisi (3) ile sunucuya (4) iletmek için uyarlanmis görüntü isleme özelligine (GPU) sahip isleme modülü (2.
- 3), - her bir kamera setinden (2) ayni zaman araliginda gelen görüntülerin derinlik ve renk olarak gruplandirarak görüntü karelerinin olusturmak için uyarlanmis - kamera setinde (2) gelen her bir pikselin X, Y ve Z eksenlerindeki koordinatinin hesaplanarak, gruplanmis piksellerden nokta bulutunun (point cloud) olusturmak, nokta bulutu olusturulduktan sonra referans alinan bir kamera setine (2) göre diger kamera setlerinin (2) görüntülerini referans kamera setine (2) göre döndürerek nokta bulutunun hizalayarak (alignment/registration) ilk anahtar görüntünün (key frame) elde edilmesi saglamak için uyarlanmis - kamera setlerinden (2) gelen yeni görüntüler ile anahtar görüntüyü tercih edilen zaman periyodunda sürekli yenilenmek, kamera setinden (2) yeni görüntüler geldiginde anahtar görüntü yenileme zamani içerisinde gelip gelmedigini kontrol etmek için uyarlanmis sunucu (
- 4), -yeni görüntüler geldiginde yeni anahtar görüntü elde edilecek ise nokta bulutunun yüzeyi olusturmak (mesh creation) veya nokta bulutu olarak eski görüntü kabul edilecek ise anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmak ve mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün yayinlanmasi saglamak için uyarlanmis sunucu (4) ile karakterize edilen üç boyutlu ortam aktarma, yayinlama sistemi (1). Her bir kamera setinin (2) Odak alani, ana nokta verileri ve piksel derinlik bilgisini kullanarak her bir pikselin yatay, dikey ve derinlik eksenindeki (X, Y ve Z eksenindeki) koordinatlari hesaplayarak koordinatlara göre nokta bulutunu (point cloud) olusturmak için uyarlanmis sunucu (4) ile karakterize edilen istem 9, daki gibi üç boyutlu ortam aktarma, yayinlama sistemi (1). Üzerinde çalisan yapay zeka algoritmalari ile anahtar görüntü (key frame) üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet bilgisinin eklem yerleri Üoint) ile birlikte saptanmasini saglamak için uyarlanmis sunucu (4) ile karakterize edilen istem 9” daki gibi üç boyutlu ortam aktarma, yayinlama
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TR2019/10049A TR201910049A2 (tr) | 2019-07-05 | 2019-07-05 | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
US17/281,144 US11398076B2 (en) | 2019-07-05 | 2019-10-07 | Three dimensional media streaming and broadcasting system and method |
PCT/TR2019/050830 WO2021006836A2 (en) | 2019-07-05 | 2019-10-07 | Three dimensional media streaming and broadcasting system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TR2019/10049A TR201910049A2 (tr) | 2019-07-05 | 2019-07-05 | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
Publications (1)
Publication Number | Publication Date |
---|---|
TR201910049A2 true TR201910049A2 (tr) | 2021-01-21 |
Family
ID=74114254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TR2019/10049A TR201910049A2 (tr) | 2019-07-05 | 2019-07-05 | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
Country Status (3)
Country | Link |
---|---|
US (1) | US11398076B2 (tr) |
TR (1) | TR201910049A2 (tr) |
WO (1) | WO2021006836A2 (tr) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11443481B1 (en) * | 2021-02-26 | 2022-09-13 | Adobe Inc. | Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models |
US11557074B1 (en) * | 2022-08-26 | 2023-01-17 | Illuscio, Inc. | Systems and methods for rigging a point cloud for animation |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9087380B2 (en) * | 2004-05-26 | 2015-07-21 | Timothy J. Lock | Method and system for creating event data and making same available to be served |
ES2790885T3 (es) * | 2005-03-29 | 2020-10-29 | Sportvu Ltd | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US20140098185A1 (en) * | 2012-10-09 | 2014-04-10 | Shahram Davari | Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources |
US10003786B2 (en) * | 2015-09-25 | 2018-06-19 | Intel Corporation | Method and system of 3D image capture with dynamic cameras |
US10681235B2 (en) * | 2016-03-28 | 2020-06-09 | Konica Minolta, Inc. | Image recording device with a reader and processor for calibrating the reader |
ES2902979T3 (es) * | 2017-04-11 | 2022-03-30 | Dolby Laboratories Licensing Corp | Experiencias de entretenimiento aumentadas estratificadas |
US10488521B2 (en) | 2017-06-13 | 2019-11-26 | TuSimple | Sensor calibration and time method for ground truth static scene sparse flow generation |
US10482628B2 (en) | 2017-09-30 | 2019-11-19 | United States Of America As Represented By The Secretary Of The Army | Photogrammetric point cloud compression for tactical networks |
US11282169B2 (en) * | 2018-02-07 | 2022-03-22 | Intel Corporation | Method and apparatus for processing and distributing live virtual reality content |
-
2019
- 2019-07-05 TR TR2019/10049A patent/TR201910049A2/tr unknown
- 2019-10-07 WO PCT/TR2019/050830 patent/WO2021006836A2/en active Application Filing
- 2019-10-07 US US17/281,144 patent/US11398076B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021006836A3 (en) | 2021-03-11 |
US20210343081A1 (en) | 2021-11-04 |
US11398076B2 (en) | 2022-07-26 |
WO2021006836A2 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107925753B (zh) | 利用动态相机进行3d图像捕捉的方法和系统 | |
US6583808B2 (en) | Method and system for stereo videoconferencing | |
CN105939481A (zh) | 一种交互式三维虚拟现实视频节目录播和直播方法 | |
EP1864505B1 (en) | Real-time objects tracking and motion capture in sports events | |
US9087380B2 (en) | Method and system for creating event data and making same available to be served | |
US10049496B2 (en) | Multiple perspective video system and method | |
US20120120201A1 (en) | Method of integrating ad hoc camera networks in interactive mesh systems | |
CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
CN108886583A (zh) | 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放,ptz,视频功能的系统和方法 | |
CN107529021B (zh) | 隧道型全景视频采集、分发、定位跟踪系统及其方法 | |
CN103051830A (zh) | 一种对所拍目标多角度实时转播的系统和方法 | |
CN106296686A (zh) | 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 | |
CN107862718A (zh) | 4d全息视频捕捉方法 | |
US11398076B2 (en) | Three dimensional media streaming and broadcasting system and method | |
CN117221633B (zh) | 一种基于元宇宙和数字孪生技术的虚拟现实直播系统 | |
CN213126145U (zh) | 一种ar-虚拟互动系统 | |
CN117793324A (zh) | 虚拟转播重建系统、实时生成系统和预生成系统 | |
US20220139047A1 (en) | Systems and methods for recreating or augmenting real-time events using sensor-based virtual reality, augmented reality, or extended reality | |
CN102118576B (zh) | 一种虚拟体育系统中的色键合成方法及装置 | |
EP2830728B1 (en) | Entertainment system and method of providing entertainment | |
JP2009519539A (ja) | イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム | |
US20210287336A1 (en) | Tracking sparse objects and people in large scale environments | |
CN108307175A (zh) | 基于柔性传感器的舞蹈动态影像捕捉和还原系统及控制方法 | |
US20150375109A1 (en) | Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems | |
CN109474819B (zh) | 图像的呈现方法及装置 |