TR201910049A2 - Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ - Google Patents

Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ Download PDF

Info

Publication number
TR201910049A2
TR201910049A2 TR2019/10049A TR201910049A TR201910049A2 TR 201910049 A2 TR201910049 A2 TR 201910049A2 TR 2019/10049 A TR2019/10049 A TR 2019/10049A TR 201910049 A TR201910049 A TR 201910049A TR 201910049 A2 TR201910049 A2 TR 201910049A2
Authority
TR
Turkey
Prior art keywords
point cloud
image
key
camera
images
Prior art date
Application number
TR2019/10049A
Other languages
English (en)
Inventor
Mermerkaya Hami̇t
Original Assignee
Karinca Teknoloji Ve Ilet San Tic Ltd Sti
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karinca Teknoloji Ve Ilet San Tic Ltd Sti filed Critical Karinca Teknoloji Ve Ilet San Tic Ltd Sti
Priority to TR2019/10049A priority Critical patent/TR201910049A2/tr
Priority to US17/281,144 priority patent/US11398076B2/en
Priority to PCT/TR2019/050830 priority patent/WO2021006836A2/en
Publication of TR201910049A2 publication Critical patent/TR201910049A2/tr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Bu buluş, Konser, spor müsabakası gibi farklı ortamların canlı ve üç boyutlu olarak aktarılması ve aktarılan görüntünün yayınlanarak sanal gerçeklik gözlüğü gibi izleme cihazları (5) ile izlenebilmesini sağlayan üç boyutlu ortam aktarma, yayınlama sistemi (1) ve yöntemi (100) ile ilgilidir.

Description

TARIFNAME ÜÇ BOYUTLU ORTAM AKTARMA, YAYINLAMA SISTEMI VE YÖNTEMI Teknik Alan Bu bulus, konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi cihazlar ile izlenebilmesini saglayan üç boyutlu ortam aktarma, yayinlama sistemi ve yöntemi ile ilgilidir. Önceki Teknik Dünyanin birçok yerinde konser, festival, spor müsabakasi, konferans gibi birçok etkinlik yapilmaktadir. Insanlar söz konusu etkinliklere katilabilmek için etkinliklerin yapildigi yerlere giderek, etkinlik biletini alarak etkinlige katilmaktadir. Insanlar mümkün oldugunca etkinliklere canli olarak katilmayi ve izlemeyi tercih etmektedir. Çünkü etkinligin yapildigi alani canli, üç boyutlu görmek, izlemek, hissetmek, orada olanlari üç boyutlu olarak takip etmek, insanlarin etkinligi tüm heyecani ile hissetmesini ve yasamasini saglamaktadir.
Ancak bütün etkinlikleri yerinde izlemek her zaman çok mümkün olmamaktadir.
Insanlar farkli sehirlerde, ülkelerde, yerlerde olan etkinliklere her zaman fiziksel olarak katilamamaktadirlar. Bütün etkinlikleri canli olarak izlemek ve fiziksel olarak etkinlige katilabilmek zaman ve maliyet açisindan her zaman fizibil olmamaktadir, Insanlar ilgi duydugu etkinliklere katilamadiklarinda, söz konusu etkinlige ait Video kayitlarini izlemektedirler. Ancak etkinlige ait Video kayitlarini izlemek izleyiciyi yeterince tatmin etmemektedir. Izleyiciler etkinlik Videolarini izlediginde, etkinlik alaninda yasadiklari heyecani, hisleri ve duygulari hissedememektedir. Bunun en Önemli nedeni, etkinligin üç boyutlu (3) olarak izlenmemesi, etkinlik alaninin ve performansi yapanlari üç boyutlu izlenmemesi ve izleyicinin etkinlik alaninda tercih ettigi her alani görememesidir. Mevcut patent basvurusu ise konser, spor müsabakalari, konferans gibi etkinliklerin canli ve üç boyutlu olarak izlenmesi, izleyicinin etkinlik alanini tamamen izleyebilmesi saglanmaktadir. Mevcut patent ile etkinlikler canli olarak üç boyutlu ortam aktarma teknolojisi ile saglanmaktadir.
Günümüzde etkinliklerin üç boyutlu olarak aktarilmasi, tüm etkinligin üç boyutlu olarak izlenebilmesine yönelik çok az çalisma bulunmaktadir. Mevcut uygulamalardan birisi Intel firmasinin benzer teknik alanda gelistirdigi bir sistem yapisidir. Ancak söz konusu sistemin çalisma sekli ve yapisi çok farklidir. Söz konusu sistemde etkinligin gerçeklestigi alandan normal 2D yayinin haricinde, 360 dereceyi kapsayacak onlarca SK iki boyutlu (2D) kameralar kullanarak önemli anlarin görüntüleri fotogrametri teknikleri ile nokta bulutu ve son asamada da 3D görüntü elde edilmektedir ve normal yayin sirasinda bu anlik 3D görüntü yayina dahil edilmektedir. Örnegin bir basketbol maçi yayini yapilirken, söz konusu sistem önemli anlardan olan basket atilma aninda etkinlik alanindan alinan anlik 3D görüntü normal yayina dahil edilerek sadece 0 anin farkli açilardan ve derinliklerden görülebilmesi saglanmaktadir. Soz konusu mevcut sistemde sadece önemli anlarin 3D görüntüleri verilmektedir.
Mevcut teknoloji ile herhangi bir etkinligin tüm anlarinin canli ve 3 boyutlu olarak aktarilmasi, yayinlanmasi ve kullanicilarin söz konusu etkinligi 3 boyutlu olarak izlemesi pek mümkün olmamaktadir. Çünkü bütün bu islemlerin yapilmasi için çok yüksek islem hacmine sahip islemcilere ihtiyaç duyulmaktadir. Mevcut patent basvurusunda önerilen sistem ve yöntem yapisi ile üç boyutlu görüntü aktarimi ve söz konusu bütün islemler yapilabilmektedir.
Mevcut patent basvurusu ortamlarin 3 boyutlu olarak aktarilmasi ve yayinlanmasi ile ilgilidir. Mevcut patent basvurusunda açiklanan sistem ve yöntem ile özellikle konser, müzik dinletileri, büyük kapsamli partiler, spor müsabakalari, futbol, basketbol maçlari, toplanti gibi etkinliklerin 3 boyutlu olarak aktarilmasi ve yayinlanmasi saglanmaktadir. Sisteme dahil olan kullanicilar sanal gerçeklik gözlükleri ile diledikleri etkinlige canli olarak dahil olabilecek, etkinligin oldugu yerden bagimsiz olarak etkinligin tamamini sanal gerçeklik gözlügü veya benzer bir teknoloji ile 3 boyutlu ve canli olarak takip edebilecektir.
Bulusun Amaçlari Bu bulusun amaci, konser, spor müsabakasi gibi birçok farkli etkinlik ortaminin canli ve üç boyutlu olarak aktarilmasi ve aktarilan ortamin farkli araçlara izlenebilmesi için yayinlanmasini saglayan üç boyutlu ortam aktarma, yayinlama sistemi ve yöntemi gerçeklestirmektir.
Bu bulusun diger amaci, konser, spor müsabakasi gibi birçok farkli etkinlik ortaminin mevcut teknoloji ile aktarilmasina imkan saglayan üç boyutlu ortam aktarma, yayinlama sistemi ve yöntemi gerçeklestirmektir.
Bu bulusun diger amaci, izleyicilerin etkinlikleri, o an etkinlik alaninda olan tüm detaylari ile üç boyutlu olarak izleyebilmesini, etkinlik alaninda hissettigi canli performans heyecaninin etkinlik alani disinda hissedilebilmesini saglayan üç boyutlu ortam aktarma, yayinlama sistemi ve yöntemi gerçeklestirmektir.
Bulusun Ayrintili Açiklamasi Bu bulusun amacina ulasmak için gerçeklestirilen üç boyutlu ortam aktarma, yayinlama sistemi ve yöntemi ekli sekillerde gösterilmis olup bu sekiller; Sekil 1. Üç boyutlu ortam aktarma, yayinlama sisteminin sematik görünüsüdür.
Sekil 2. Üç boyutlu ortam aktarma, yayinlama yönteminin sematik görünüsüdür.
Sekillerdeki parçalar tek tek numaralandirilmis olup, bu numaralarin karsiligi asagida verilmistir. 1. Üç boyutlu ortam aktarma, yayinlama sistemi 2. Kamera seti 2.1 Derinlik kamerasi 2.2 Renk kamerasi 2.3 Isleme modülü 3. Internet baglantisi 4. Sunucu . Izleme cihazi 100. Üç boyutlu ortam aktarma, yayinlama yöntemi S. Sahne (Scene) Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yöntemi (100) ile herhangi bir etkinligin bulundugu alandan tüm görüntüler, derinlik ve renk bilgileri ile alinarak tercih edilen yere internet üzerinden aktarilabilmektedir.
Etkinlik sirasinda, etkinligin gerçeklestigi sahne, arena gibi önemli alanlar ve bu önemli alanlarin disinda kalan diger alanlarin görüntüsü de 3 boyutlu olarak aktarilmaktadir. Etkinligin içesinde yer alan asil unsurlar olan sporcular, sanatçilar üç boyutlu canli olarak takip edilebilecegi gibi etkinlik alaninda bulunan bütün izleyiciler, bütün alanlar da 3 boyutlu olarak aktarilabilmekte ve izlenebilmektedir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yöntemi (100) sayesinde, insanlar tercih ettikleri etkinlikleri uzaktan canli ve 3 boyutlu olarak izleyebilmektedir. Böylece `her tür etkinlik uzaktan, etkinligin oldugu alan, tercihen sadece sahne bütün Ögeleri ile izlenebilmekte ve tercihen sadece sahnede hareket edenlerin animasyonu yapilmaktadir. Etkinligi izlemek isteyen kullanicilar, üç boyutlu ortam aktarma, yayinlama sistemi (1) üzerinden sanal gerçeklik gözlügü veya benzer izleme cihazi (5) kullanarak etkinligi, etkinligin oldugu bütün alani, etkinlikte bulunan bütün canli cansiz nesneleri canli ve 3 boyutlu olarak takip edebilmektedir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yöntemi ( 100) sayesinde kullanicilar tercih ettikleri etkinlikleri uzaktan canli ve 3 boyutlu olarak izleyebilmekte, kullanici bütün etkinlik alanini canli olarak takip edebildigi için ortamin heyecanini hissederek, canli olarak o deneyimi yasayabilmektedir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminde (100) tercih edilen herhangi bir etkinlik alanindan 3 boyutlu bir görüntü alinmakta, söz konusu görüntü islendikten sonra sanal gerçeklik gözlügü gibi izleme cihazi (5) ile tercih edilen bir aygita aktarilarak yayinlanmaktadir. Bulusun sagladigi en önemli özellik etkinlik alaninda bulunan her seyin canli, 3 boyutlu olarak aktarilmasi, yayinlanmasi ve bunun mevcut teknoloji, islemci güçleri ile saglanmasidir.
Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) sahneyi ve sahnedekileri 360 derece kapsayacak sayida kamera seti (2) (sahne büyüklügüne göre kamera seti sayisi degismektedir), internet baglantisi (3), sunucu (4) içermektedir. Bulus konusu üç boyutlu ortam aktarma, yayinlama sistemi (1) ayrica en az bir izleme cihazi (5) içermekte veya izleme cihazlari (5) sisteme (1) entegre edilerek kullanilabilmektedir.
Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi izleme cihazlari (5) ile izlenebilmesini saglayan üç boyutlu ortam aktarma, yayinlama sistemi (1) asagidakileri içermektedir; - etkinlik alanindan görüntülerin üç boyutlu olarak alinmasini saglayan, bir derinlik kamerasi (2.1), bir renk kamerasi (2.2) ve bir isleme modülü (2.3) içeren kamera setleri (2), - görme alani içinde her bir piksel için derinlik bilgisi hesaplamaya uyarlanmis, saniyede 30 kareye kadar derinlik görüntüsü yakalayan derinlik kamerasi (2.1), - çekim yapilan sahnenin (S) ve görüntüsü alinan tüm alanin yüksek çözünürlükte ve yüksek kare hizinda (fbs: frame per second) renkli görüntülenmesini saglamak için uyarlanmis renk kamerasi (2.2), - derinlik kamerasi (2.1) ve renk kamerasindan (2.2) gelen derinlik ve renk görüntülerini (images) eszamanli olarak yakalamak, sikistirmak ve senkronize ettikten sonra görüntüleri internet baglantisi (3) ile sunucuya (4) iletmek için uyarlanmis görüntü isleme özelligine (GPU) sahip isleme modülü (2.3), - her bir kamera setinden (2) ayni zaman araliginda gelen tüm kamera derinlik ve renk görüntülerini gruplandirarak görüntü karelerinin olusturmak için uyarlanmis - derinlik kamera setlerinden (2.1) gelen gruplanmis derinlik görüntülerinin her biri için, derinlik görüntülerindeki piksellere karsilik X, Y ve Z koordinatlarini hesaplayarak, nokta bulutlari olusturmak, nokta bulutlari olusturduktan sonra referans alinan bir kamera setine (2) göre diger kamera setlerinin (2) nokta bulutlarini referans kamera setine (2) göre hizalayarak (alignment/registration) birlestirilmis tek bir nokta bulutu olusturup ilk anahtar görüntünün (key frame) elde edilmesi saglamak için uyarlanmis sunucu (4), - kamera setlerinden (2) gelen yeni görüntüler ile anahtar görüntüyü tercih edilen zaman periyodunda sürekli yenilenmek, kamera setinden (2) yeni görüntüler geldiginde anahtar görüntü yenileme zamani içerisinde gelip gelmedigini kontrol etmek için uyarlanmis sunucu (4), -yeni görüntüler geldiginde yeni anahtar görüntü elde edilecek ise nokta bulutunun yüzeyi olusturmak (mesh creation) veya anahtar görüntü alinmayacaksa eski görüntü kabul edilecek ise anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmak ve mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün yayinlanmasi saglamak için uyarlanmis Üç boyutlu ortam aktarma, yayinlama sisteminde (1) etkinligin gerçeklestigi sahne (S) (scene) ve tüm etkinlik alanina ait görüntü alinmasina kamera seti (2) kullanilmaktadir. Etkinligin yapilacagi alanin bir baska ifade ile sahnenin (S) büyüklügüne göre, kullanilan kameralarin kalitesine göre, 360 derecelik bütün alanin kapsanmasina göre kamera seti (2) sayisi degismektedir. Bulusun tercih edilen uygulamasinda sahne (S) en az on kamera seti (2) ile izlenmekte ve ortam görüntüleri en az on kamera seti (2) ile alinmaktadir. Etkinlik alanina kamera setleri (2) yerlestirilirken tercihen tam 360° derecelik görüntü alinabilecek sekilde, konumda ve sayida kamera seti (2) kullanilmaktadir. Kamera seti (2) tasinabilir ve hizli kurum yapilabilir özelliktedir ve bulusun farkli uygulamalarinda kamera seti (2) sayisi tercih edilen sayida olabilmektedir.
Kamera seti (2) içerisinde bulunan derinlik kamerasi (2.1) çekim yapilan alanin yani sahnenin (S) derinliginin algilanmasini saglamaktadir. Derinlik kamerasi (2.1) ile sahnede (S) bulunan bütün insanlarin, nesnelerin, objelerin görüntülerinin bulundugu derinlik ile algilanmasi saglanmaktadir. Derinlik algilayici kamera (2.1) tercihen 4D LiDAR kameradir ve her bir piksel için dogru derinlikte saniyede 30 kareye kadar çoklu piksel görüntüleri yakalayarak dijital videoyu LIDAR teknolojisi ile benzersiz sekilde birlestirebilmektedir. Derinlik kamerasi (2.1) görüntü aldigi ortamdaki nesne konumunu ve hareketini gerçek zamanli ve çok hizli olarak isleme yetenegine sahiptir.
Kamera seti (2) içerisinde bulunan renk kamerasi (2.2) çekim yapilan sahnenin (S) ve görüntü yapilan tüm alanin renkli görüntülenmesini saglamaktadir. Renk kamerasi (2.2) yüksek çözünürlükte ve yüksek kare hizinda (tbs: frame per second) çalisacak özelliklerdir.
Kamera seti (2) içerisinde bulunan isleme modülü (2.3) (CM: Computing module) derinlik kamerasi (2.1) ve renk kamerasindan (2.2) aldigi derinlik ve renkli görüntüleri isleinektedir. Isleme modülü (2.3), eszamanli olarak derinlik ve renkli görüntüleri yakalamak ve sikistirmak ve daha sonra bunlari internet baglantisi (3) ile sunucuya (4) iletmek için uyarlanmistir. Isleme modülü (2.3) görüntü isleme özelligine (GPU) sahiptir, güç açisinda verimli ve küçük boyutludur. Isleme modülleri (2.3), derinlik kameralarindan (2.1) ve renk kameralarindan (2.2) gelen derinlik ve renk görüntülerini (images) yakalamakta ve disaridan bir tetikleyici (trigger) ile senkronize edilip tercih edilen zamanda senkron bir sekilde kayit almaktadir. Bütün isleme modülleri ( ile buluttaki sunucu (4) ile senkronize edilmistir. Örnegin bulusun bir uygulamasinda, disaridan bir tetikleyici ile senkronizasyon yapilmakta, derinlik kameralari (2.1) ve renk kameralari (2.2) tercihen saniyede otuz kare (fbs) alacak sekilde senkron olarak kayit almaktadir. Bulusun bir uygulamasinda, tetikleyici sunucu (4) içerisinde çalismaktadir ve tetikleme islemi sunucu (4) araciligi ile yapilmaktadir.
Kamera setinde (2) bulunan isleme modülü (2.3) ve senkronizasyon sayesinde derinlik ve renk görüntüleri senkronize edilmektedir. Kamera seti (2) isleme modülü (2.3) araciligi ile bütün derinlik ve renk görüntülerini, bütün görüntüler senkronize olmus bir sekilde internet baglantisi (3) üzerinden sunucuya (4) iletmektedir. Sunucu (4) tercihen bulut tabanli çalisan bir sunucudur. Sunucuya (4) gelen bütün derinlik ve renk görüntüleri senkronize olmus bir sekilde gelmektedir.
Bulusun bir uygulamasinda senkronizasyon su sekilde olmaktadir. Bütün kamera setleri (2) internet baglantisi ile sunucuya (4) baglidirlar. Bütün kamera setleri (2) sunucu (4) saatine göre kendi saatlerini ayarlamaktadirlar ve böylece bütün kamera setleri (2) kendi aralarinda da senkronize olmaktadirlar. Tercihen sunucu (4) içerisinde bulunan tetikleyici ile kamera setleri (2) ayni anda görüntü almaya baslamaktadir. Böylece sunucu (4) senkronizasyon için referans noktasi olmaktadir.
Kamera setleri (2) sahneden (S) 360 derece olarak görüntü almakta ve bütün görüntüleri senkronize olarak sunucuya (4) iletmektedir. Sunucu (4) tercihen internet ve bulut tabanli (cloud based) bir sunucudur. Sunucu (4) içerisinde dijital islemlerin yapilmasini saglayan islemci, verilerin tutulmasini saglayan bellek gibi bilgisayarlarda, sunucularda bulunan bütün donanimsal yapilar bulunmaktadir.
Sunucu (4) programlanabilir, üzerinde tercih edilen isletim sistemleri ve yazilimlar çalistirilabilir özelliklere sahiptir. Kamera setlerinden (2) sunucuya (4) gelen görüntüler, birbirine yakin zaman damgalarina göre sunucu (4) tarafindan gruplandirilmaktadir. Sunucu (4) yaklasik zaman damgalarina sahip görüntüleri gruplandinnak için uyarlanmistir.
Tercihen sunucu (4) üzerinde çalisan bir programla birbirine yakin zaman damgalarina sahip karelerin gruplandirilmasi gerektigi belirlenmektedir. Sunucu (4) tercih edilen milisaniye araliginda gelen bütün renk (colour) ve derinlik (depth) görüntülerini (image) gruplandirarak kare görüntüsünü (frame) elde etmektedir.
Kamera setinin (2) özelliklerine, görüntü kalitesine göre sunucunun (4) görüntü alma süresi ayarlana bilmekte söz konusu süre arttirilip azaltilabilmektedir.
Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi izleme cihazlari (5) ile izlenebilmesini saglayan üç boyutlu ortam aktarma, yayinlama yöntemi (100) asagidaki adimlari içermektedir; - sunucu (4) tarafindan her bir kamera setinden (2) ayni zaman araliginda gelen görüntülerin derinlik ve renk olarak gruplandirmasi ve gruplandirma ile görüntü karelerinin olusturulmasi (1 10), - sunucu (4) tarafindan kamera setinde (2) gelen her bir pikselin X, Y ve Z eksenlerindeki koordinatinin hesaplanarak, gruplanmis piksellerden nokta bulutunun (point cloud) olusturulmasi (120), - nokta bulutu olusturulduktan sonra referans alinan bir derinlik kamerasina (2.1) göre diger derinlik kameralarinin (2.1) nokta bulutlarinin referans derinlik kamerasina (2.1) göre döndürülerek hizalanmasi (alignment/registration) ve tüm nokta bulutlari birlestirilerek ilk 3B anahtar görüntü için anahtar nokta bulutunun elde edilmesi (130), - derinlik kameralarindan (2.1) gelen yeni hizalanmis ve birlestirilmis nokta bulutu ile 3B anahtar görüntü için anahtar nokta bulutu tercih edilen zaman periyodunda sürekli yenilenmektedir, derinlik kameralarindan (2.1) yeni nokta bulutu geldiginde 3B anahtar görüntü yenileme zamani kontrol edilmektedir; yeni nokta bulutu geldiginde yeni 3B anahtar görüntü elde edilecek ise (nokta bulutunun yüzeyi olusturulacaksa (mesh creation) ) bir sonraki adima gidilmesi bunla beraber asenkron sekilde en son olusturulmus 3B anahtar görüntü ile 190. adima gidilmesi, veya 313 anahtar görüntü olusturulmayacak eski görüntü kabul edilecek ise 190. adima gidilmesi (140), - eger ki gelen nokta bulutu 3B anahtar görüntüyü olusturacak anahtar nokta bulutu olarak kabul edilmis ise sirasi ile nokta bulutunun filtrelenmesi (150), -filtrelenen nokta bulutunun yüzeyinin olusturulmasi (mesh creation) (160), -yüzeyleri olusturulan nokta bulutunun yüzey filtrelemesinin yapilmasi (170), -yüzey filtrelemesi yapilan nokta bulutunun dokulastirilmasi (texturing) yapilarak - yeni 3B anahtar görüntü kabul edilmedi ise sunucu (4) üzerinde çalisan yapay zeka algoritmalari ile anahtar görüntü üzerindeki hareket eden canlilarin, mevcut nokta bulutu kullanilarak cisimlerin iskelet bilgisinin eklem yerleri Üoint) ile birlikte saptanmasi ( 190), - mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün izleme cihazlari (5) için yayinlanmasi (200), -etkinlik devam ettigi sürece ilk islem adimina dönülmesi. Üç boyutlu ortam aktarma, yayinlama sisteminde (1) kamera setlerinin (2) görüntü gönderme bir baska ifade ile kayit islem zamanlamasi çok önemlidir. Çünkü bir kamera seti (2) birkaç milisaniye seviyesinde gec,` kayit aldigi zaman, görüntüler gruplandirilarak birlestirildiginde, görüntüler üst üste gelmemektedir. Böyle bir durumda söz konusu gecikme oldugunda görüntülerde bir kayma olacaktir. Bu nedenden dolayi kamera setlerinin (2) senkron olarak çalismasi ve dogru zaman setlerindeki görüntülerin gruplanarak birlestirilmesi çok önemlidir. Kamera setlerinden (2) gelen görüntüler sürekli akis halinde belirli bir seri (grup) seklinde geldigi için zaman olarak birbirine yakin olan görüntüler (time frame) sunucu (4) tarafindan gruplandirilmaktadir. Sunucu (4) gruplandirmada, her bir kamera setinden (2) ayni zaman araliginda gelen görüntüleri derinlik ve renk olarak gruplandirrnaktadir. Her bir kamera setinden (2) gelen görüntüler zaman damgasina (time stamp) sahiptir ve söz konusu görüntüler zaman damgasi sayesinde dogru bir sekilde gruplanabilmektedir. Söz konusu gruplandirma ile görüntü kareleri (frame) olusmaktadir. Sunucu (4) gruplandirma ile görüntü karelerinin (frame) olusmasini saglamaktadir (l 10).
Sunucunun (4) dogru gruplandirmayi yapmasi, sunucu (4) içerisinde buluna ve çalisan gruplandirma kurullari (synchronize policy) ile saglanmaktadir. Sunucu (4) gruplandirma kurallari sayesinde zaman olarak belirli yakinliktaki görüntüleri gruplandirabilmektedir.
Sunucu (4) gruplandirma islemini yaptiktan sonra derinlik görüntülerini (depth image) kullanarak nokta bulutunu (point cloud) olusturmaktadir. Nokta bulutu (point cloud) bize üç boyutlu olarak görüntüyü vermektedir. Nokta bulutunda elde edilen görüntü, kamera setinden (2) alinan görüntünün üç boyutlu, noktalardan olusan seklidir ve söz konusu nokta bulutu görüntüsünde henüz yüzey (surface) görünmemektedir, görüntüye yakindan bakildigindan noktalar arasindaki bosluklar görülebilmektedir. Derinlik görüntüsünde her bir piksel için derinlik bilgisi bulunmaktadir. Kamera seti (2) gördügü görüntüdeki her bir piksel için derinlik bilgisini sunucuya (4) iletmektedir. Sunucu (4) derinlik görüntüsünde bulunan her bir pikselin derinlik bilgisini ve her bir kamera setinin (2) kendi ayar parametreleri (camera intrinsic parameters) kullanarak nokta bulutunu olusturmaktadir. Sunucu (4) her bir kamera setinin (2) odak alani (focus land), ana nokta (principal point) gibi kamera seti (2) verilerini ve piksel derinlik bilgisini kullanarak her bir pikselin yatay ve dikey eksendeki X ve Y eksenindeki koordinatlarini da hesaplayarak bulmak için uyarlanmistir. Sunucu (4) kamera setinde (2) gelen her bir pikselin X, Y ve Z eksenlerindeki (yatay eksen, dikey eksen, derinlik ekseni) koordinatini hesapladiktan sonra nokta bulutunu (point cloud) olusturmaktadir (120). Sunucu (4) her bir kamera seti (2) için ayri ayri nokta bulutu (point cloud) olusturmaktadir.
Etkinlik sirasinda alinan görüntülerin nokta bulutu olarak transfer edilmesi çok maliyetlidir ve söz konusu nokta bulutunun islenmesi için çok yüksek islem hacminde islemcilere ihtiyaç duyulmaktadir. Mevcut patent basvurusu ile sadece görüntü (imaj) ve kamera seti (2) bilgileri iletilmekte, nokta bulutu sunucuda (4) olusturulmaktadir. Böylece haberlesme hatti yorulmadan daha düsük kapasiteli islemciler ile görüntü transferi saglanabilmektedir.
Sunucu (4) nokta bulutunu olusturduktan sonra belirlenen zaman araligindan (every specified time interval) nokta bulutunun hizalamasini (alignment/registration) yapmaktadir (130). Sahne (S) görüntüsünü alan kamera setleri (2) birbirlerine göre farkli konumlandirildiklari için hizalama (alignment) islemi yapilmaz ise bütün nokta bulutlari üst üste geçmektedir. Sunucu (4) derinlik kamerasinin (2.1) konumu ve pozisyonuna göre nokta bulutlarini döndürrnektedir. Sunucu (4) kamera setlerinden (2) birini referans kamera olarak kabul etmekte ve diger kamera setlerinden (2) gelen nokta bulutlarini referans kamera setine (2) göre döndürerek konumlandirmaktadir. Sunucu (4) hizalama (ali gnment) islemini yaparken, derinlik kamerasi (2.1) çiftlerinin bir baska ifade ile her iki derinlik kamerasinin (2.1) gördügü ortak noktalar bulunarak yapilmaktadir. Sunucu (4) derinlik kameralarinin (2.1) gördügü ortak noktalar üst üste getirilerek hizalama yapilmaktadir (130).
Sunucu (4) tercih edilen zaman araliginda nokta bulutunun hizalamasini (alignment/registration) periyodik olarak yapmaktadir, böylece derinlik kameralarinin (2.1) konumu degisse dahi örnegin biri kamera setlerine (2) çarpsa dahi hizalama yapildigi için görüntüde bir kayma olmamaktadir (130).
Derinlik kameralarinin (2.1) gelen görüntülerin hizalamasi yapildiktan sonra 3B anahtar görüntü elde edilmektedir (140). 313 Anahtar görüntünün sürekli yenilenmesi (SB anahtar görüntü elde edebilmek için nokta bulutu üzerinde filtreleme, yüzey olusturma) gibi adimlarin yapilmasi sunucu (4) islemcisini çok fazla mesgul etmektedir. Onun için basvuru konusu bulusta, tercih edilen bir süre için örnegin her besinci saniyedcki nokta bulutundan (point cloud) 3B anahtar görüntü (key frame) elde edilmektedir.
Bu asamadan sonra 3B (üç boyutlu) anahtar görüntünün (key frame) nokta bulutundan (point cloud) elde edilip edilmedigine göre yöntem farkli sekilde ilerlemektedir. Eger ki nokta bulutu 3B anahtar görüntü olusturmak için kabul edilmis ise sirasi ile nokta bulutu filtrelemesi (150), yüzey olusturma (mesh creation) (160), yüzey filtreleme (170) ve dokulastirma (texturing) (180) adimlari yapilmaktadir. Eger ki nokta bulutu her bes saniyede bir 3B anahtar görüntü için kabul ediliyorsa, söz konusu bu islemler her bes saniyede bir yapilmaktadir. Nokta bulutunun (point cloud) 3B anahtar görüntü (key frame) olusturmak için kabul edilme süresi sunucunun (4) islemci gücü, islem hizi, sahnenin (S) büyüklügü, etkinligin içerigi gibi etkenlere göre degisebilmektedir. Söz konusu süre sistem operatörleri veya yazilimeilar tarafindan belirlenerek sunucuya (4) kaydedilebilir.
Sunucu (4) söz konusu süre setine göre nokta bulutunu (point cloud) SB anahtar görüntü (key frame) olusturmak için kabul etmektedir.
Yüzey olusturma (160) adiminda filtrelenen nokta bulutunun yüzey yapisi (surface reeonstruetion) olusturulmaktadir. Örnegin kamera setleri (2) bir boks maçinin görüntüsünü aldigini düsünürsek, yüzey olusturma (3.6) adiminda sahnede (S) bulunan hareket eden ve etmeyen tüm nesnelerin ring ve boksörlerin görüntüsünün yüzey yapisi yüzey olusturma adiminda olusturulmaktadir. Yüzey olusturma (160) adiminda üç boyutlu yüzey olusturma islemi yapilmaktadir. Üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminin (100) en önemli özelligi kamera setlerinden (2) gelen nokta bulutlarinin hizalamasi yapildiktan (130) sonra ortaya çikan birlestirilmis nokta bulutunun (point cloud) yüzey olusturma (mesh creation) (160) islemi yapilmaktadir. Söz konusu yüzey olusturma islemi bir kere yapildiktan sonra belirli bir zaman araliginda bir yenilenmektedir. Örnegin her bes saniyede bir yüzey olusturma islemi (mesh creation) yapilmaktadir.
Söz konusu yüzey olusturma islemi yapilmis görüntü 3B anahtar görüntü (key frame) olarak kabul edilmektedir. Yüzey olusturma isleminden sonra elde edilen görüntü içerisinde hareketli ne varsa, tüm hareketli canlilar, cisimler oynatilmaktadir.
Sunucu (4) yüzey olusturma islemi (160) tamamlanmis nokta bulutunu (point cloud) tercih edilen süre boyunca anahtar görüntü (key frame) olarak kabul etmektedir. Kamera setlerinden (2) sürekli olarak görüntü geldigi için her milisaniye gelen nokta bulutunun yüzeyinin olusturulmasi (160) islemci gücü açisinda mümkün degildir. Bu nedenden dolayi sunucu (4) anahtar görüntü olusturdugunda tercih edilen süre boyunca bu anahtar görüntüyü kullanmaktadir.
Tercih edilen süre dolduktan sonra yeni 38 anahtar görüntü olusturulmaktadir. Yeni anahtar görüntü olusana kadar mevcut anahtar görüntü kullanilmaktadir. Üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminde (100) sürekli olarak gerçek zamanli 3B anahtar görüntü olusturulmamakta, onun yerine örnegin bes saniyede bir yüzey olusturma islemi (160) yapilarak anahtar görüntü olusturulmakta, bes saniye boyunca en son yüzey olusturma islemi yapilan görüntü üzerinde hareket eden cisimler, noktalar belirlenerek o noktalar oynatilmaktadir.
Sunucu (4) üzerinde çalisan yapay zeka algoritmalari ile anahtar görüntü üzerindeki hareket eden cisimlerin iskelet bilgisini saptamaktadir (190). Sunucu (4) ?B anahtar görüntü (key frame) üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet yapisini belirlemektedir. Böylece sunucu (4) tarafindan anahtar görüntüdeki hareketli canli ve cisimlerin iskelet yapisi eklem yerleri (joint) ile birlikte çikartilmaktadir ve söz konusu eklem yerlerine göre canli ve cisimler hareket (animate) ettirilmektedir (200). Söz konusu islem adimlari sayesinde kamera setlerinden (2) gelen görüntü gerçek zamanli olarak oynatilmak yerine yüzey olusturma islemi (mesh) yapilmis görüntü alinarak, söz konusu görüntü üzerindeki canli ve hareketli cisimler saptanarak (determinate), o cisimlerin iskelet yapisi belirlenmekte ve iskelet yapisina göre canli, hareketli cisimler oynatilmaktadir.
Canli ve hareketli cisimlerin iskelet yapisi eklem (joint) yerleri ile birlikte çikartilmaktadir. Eklem yerleri canli ve hareketli cisimlerin hangi noktalardan hareket edecegini göstermektedir ve canli, hareketli cisimlerin hareketi söz konusu eklem yerlerinden yapilmaktadir. Sunucu (4) nokta bulutundan ilk 3B anahtar görüntüyü olusturdugunda (140) görüntü üzerindeki her tür hareketli canli, cisim, objeyi saptamaktadir. Sunucu (4) ayni zamanda nokta bulutu içindeki canli olabilecek her türlü objenin iskelet yapisini çikartmaktadir. Sunucu (4) içerisinde çalisan algoritmalar sayesinde, sunucu (4) nokta bulutu içerisindeki her türlü hareketli objeyi saptayabilmekte ve objenin iskelet yapisini çikartabilmektedir.
Hareketli obje, insan veya hayvan veya her türlü obje olabilir. Sunucu (4) hareketli Obj enin iskelet yapisini eklem yerleri ile birlikte çikartmaktadir. Sunucu (4) yeni bir anahtar görüntü olustursun veya olusturmasin kamera setinden (2) gelen yeni görüntülerden hareketli objenin nasil bir hareket yaptigini saptayarak, bir önceki görüntü üzerinden sadece hareket eden eklemlerin hareketini yaptirmaktadir. Üç boyutlu ortam aktarma, yayinlama sistemi (1) ve yönteminin (100) çalismasi su sekildedir. Görüntü alinacak etkinlik yerine kamera setleri (2) yerlestirilmektedir.
Kamera setleri (2) etkinlik alanini, bir baska ifade ile sahneyi (S) 3600 derece çevreleyecek sekilde yerlestirilmektedir. Kamera setleri (2) sahneden (S) görüntüleri almaktadir. Kamera setleri (2), derinlik kamerasi (2.1) ve renk kamerasi (2.2) ile etkinlik yerinden derinlik ve renk görüntülerini almaktadir. Söz konusu derinlik ve renk görüntüleri isleme modülünde (2.3) islenmektedir. Kamera setleri (2) tercihen sunucu (4) tarafindan tetiklenerek görüntü almaya baslamaktadirlar ve böylece senkron olarak çalismalari saglanmaktadir. Kamera seti (2) görüntüleri sunucu (4) tarafindan alinmaktadir. Sunucu (4) kamera setlerinden (2) gelen görüntüleri zaman bazli olarak senkronize etmekte ve zaman bazli gmplandirarak görüntü kareleri olusturmaktadir (110). Sunucu (4) kamera seti (2) görüntülerini gruplandirdiktan sonra kamera setinden (2) gelen her bir pikselin X, Y ve Z eksenlerindeki koordinatini hesapladiktan sonra nokta bulutu (point cloud) olusturulmaktadir (120). Daha sonra sunucu (4) her derinlik kamerasindan (2.1) gelen nokta bulutunun hizalamasini (alignment/registration) yapmaktadir. Sunucu (4) derinlik kameralarinin (2.1) gördügü ortak noktalar üst üste getirilerek hizalama yapilmaktadir (130). Ilk nokta bulutunun hizalamasi her zaman yapilmakta daha sonra tercih edilen bir süre periyodunda yeniden hizalama yapilmaktadir (130).
Hizalama islemi yapildiktan sonra 3B anahtar görüntü (key frame) olusturacak tek birlestirilmis anahtar nokta bulutu elde edilmektedir. Eger ki nokta bulutu 3B anahtar görüntü olusturmasi için kabul edilmis ise sirasi ile nokta bulutu filtrelemesi (150), yüzey olusturma (mesh creation) (160), yüzey filtreleme (170) ve dokulastimia (texturing) (180) adimlari yapilmaktadir. Söz konusu bu islemlerin gerçek zamanli olarak yapilmasi islemci açisinda çok zorlayici oldugu için söz konusu islemler tercih edilen bir zaman periyodunda örnegin bes saniyede bir yapilmaktadir. Söz konusu bu islemlerin yapilmadigi zaman araliginda ise en son görüntü alinmakta ve söz konusu görüntü üzerinde hareket eden cisimlerin iskelet bilgisini saptamaktadir (190). Sunucu (4) nokta bulutu üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet yapisini belirlemektedir. Böylece sunucu (4) tarafindan 3B anahtar görüntüdeki hareketli canli ve cisimlerin iskelet yapisi eklem yerleri (joint) ile birlikte çikartilmaktadir ve söz konusu eklem yerlerine göre canli ve cisimler hareket (animate) ettirilmektedir (200). Böylece görüntünün tamaminin islenmesine gerek kalmamakta sadece en son 3B anahtar görüntüdeki hareketli objeler iskelet yapisina göre hareket ettirilmesi ve sadece hareketli görüntüler yayinlanmaktadir. Sunucu (4) kamera setlerinden (2) aldigi görüntüyü yukaridaki yöntem adimlarina göre isledikten sonra yayinlayarak tercih edilen bir izleme cihazi (5) üzerinden izlenmesi saglamaktadir.

Claims (4)

    ISTEMLER
  1. Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi izleme cihazlari (5) ile izlenebilmesini saglayan, sunucu (4) tarafindan her bir kamera setinden (2) ayni zaman araliginda gelen görüntülerin derinlik ve renk olarak gruplandirmasi ve gruplandirma ile görüntü karelerinin olusturulmasi (110), sunucu (4) tarafindan derinlik kamerasindan (2.1) gelen her bir pikselin X, Y ve Z eksenlerindeki koordinatinin hesaplanarak, gruplanmis piksellerden nokta bulutunun (point cloud) olusturulmasi (120), nokta bulutu olusturulduktan sonra referans alinan bir derinlik kamerasina (2) göre diger derinlik kameralarinin (2.1) görüntülerinin referans kamera setine
  2. (2) göre döndürülerek nokta bulutunun hizalanmasi (alignment/registration) ve ilk 3B anahtar görüntüsünün olusturulmasi için gerekli anahtar nokta derinlik kameralarindan (2.1) gelen yeni hizalanmis ve birlestirilmis nokta bulutu ile 38 anahtar görüntü için anahtar nokta bulunu tercih edilen zaman periyodunda sürekli yenilenmektedir, derinlik kameralarindan (2.1) yeni nokta bulutu geldiginde 3B anahtar görüntü yenileme zamani kontrol edilmektedir; yeni nokta bulutu geldiginde yeni 3B anahtar görüntü elde edilecek ise (nokta bulutunun yüzeyi olusturulacaksa (mesh creation) ) bir sonraki adima gidilmesi bunla beraber asenkron sekilde en son olusturulmus 3B anahtar görüntü ile 190. adima gidilmesi, veya 3B anahtar görüntü olusturulmayacak eski görüntü kabul edilecek ise 190. adima gidilmesi (140), eger ki nokta bulutu 3B anahtar görüntüyü olusturacak anahtar nokta bulutu olarak kabul edilmis ise sirasi ile nokta bulutunun filtrelenmesi (150), filtrelenen nokta bulutunun yüzeyinin olusturulmasi (mesh creation) (160), yüzeyleri olusturulan nokta bulutunun yüzey filtrelemesinin yapilmasi (170), yüzey filtrelemesi yapilan nokta bulutunun dokulastirilmasi (texturing) yapilarak görüntünün yayinlanmasi (180), yeni 38 anahtar görüntü kabul edilmedi ise sunucu (4) üzerinde çalisan yapay zeka algoritmalari ile en son olusturulmus 3B anahtar görüntü üzerindeki hareket eden canlilarin, mevcut nokta bulutu kullanilarak cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmasi (190), mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün izleme cihazlari (5) için yayinlanmasi (200) ve etkinlik devam ettigi sürece ilk islem adimina dönülmesi ile karakterize edilen üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Gruplanmis piksellerden nokta bulutunun (point cloud) olusturulmasi (120) adiminda; sunucu (4) tarafindan her bir derinlik kamerasinin (2.1) odak alani, ana nokta verilerini ve piksel derinlik bilgisi kullanilarak her bir pikselin yatay, dikey ve derinlik eksenindeki (X, Y ve Z eksenindeki) koordinatlarinin hesaplamasi ve sonra koordinatlara göre nokta bulutunu (point cloud) olusturulmasi ile karakterize edilen istem 13deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun hizalanmasi (alignment/registration) ve ilk anahtar nokta bulutunun elde edilmesi (130) adiminda; sunucunun (4) derinlik kamerasi (2.1) çiftlerinin gördügü ortak noktalar bularak ve gördügü ortak noktalar üst üste getirerek hizalama yapilmasi ile karakterize edilen istem 1°deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun anahtar nokta bulutu olarak kabul edilip edilmemesi (140) adiminda; nokta bulutu görüntüsü ile her 2-5 saniye araliginda bir yeni SB anahtar görüntü olusturulmasi, 3B anahtar görüntü olusturulmayan zaman süresinde en son 3B anahtar görüntünün kullanilmasi ile karakterize edilen istem 1°deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun anahtar nokta bulutu olarak kabul edilip edilmemesi (140) adiminda; nokta bulutu görüntüsü ile her 2-5 saniye araliginda yeni anahtar görüntü olusturulmasi için görüntü üzerinde sirasi ile nokta bulutu filtrelemesi (150), yüzey olusturma (mesh creation) (160), yüzey filtreleme (170) ve dokulastinna (texturing) (180) adimlarinin yapilmasi ile karakterize edilen istem l,deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Nokta bulutunun anahtar nokta bulutu olarak kabul edilip edilmemesi (140) adiminda; 3B anahtar görüntü olusturulmayan zaman süresinde en son 3B anahtar görüntünün kullanilmasi ve sirasi ile 3B anahtar görüntü üzerindeki hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmasi (190) adiminin ve mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün yayinlanmasi (200) numarali adimlarin yapilmasi ile karakterize edilen istem 1 ,deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmasi (190) adiminda; sunucunun (4) anahtar görüntü (key frame) üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet yapisini belirlemesi ile karakterize edilen istem 1°deki gibi üç boyutlu ortam aktarma, yayinlama yöntemi (100). . Anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilmesi (200) adiminda; sunucunun (4) anahtar görüntü üzerinde sadece hareketli cisimleri eklem yerlerinden hareket ettirmesi ve söz konusu görüntünün yayinlanmasi ile karakterize edilen istem lsdeki gibi üç boyutlu ortam aktamia, yayinlama yöntemi (100). . Konser, spor müsabakasi gibi farkli ortamlarin canli ve üç boyutlu olarak aktarilmasi ve aktarilan görüntünün yayinlanarak sanal gerçeklik gözlügü gibi izleme cihazlari (5) ile izlenebilmesini saglayan; - etkinlik alanindan görüntülerin üç boyutlu olarak alinmasini saglayan, en az bir derinlik kamerasi (2.1), en az bir renk kamerasi (2.2) ve en az bir isleme modülü (2.3) içeren kamera setleri (2), - her bir piksel için derinlik bilgisi alan, saniyede 30 kareye kadar çoklu piksel görüntüleri yakalayan, dijital çekim yapilan alanin, sahnede (S) bulunan bütün insanlarin, nesnelerin, objelerin görüntülerinin bulundugu derinliklerin her bir piksel için ayri ayri algilanmasi saglamak için uyarlanmis derinlik kamerasi (2.1), - çekim yapilan sahnenin (S) ve görüntü yapilan tüm alanin yüksek çözünürlükte ve yüksek kare hizinda (fbs: frame per second) renkli görüntülenmesini saglamak için uyarlanmis renk kamerasi (2.2), - derinlik kamerasi (2.1) ve renk kamerasindan (2.2) gelen derinlik ve renk görüntülerini (images) eszamanli olarak yakalamak, sikistirmak ve senkronize ettikten sonra görüntüleri internet baglantisi (3) ile sunucuya (4) iletmek için uyarlanmis görüntü isleme özelligine (GPU) sahip isleme modülü (2.
  3. 3), - her bir kamera setinden (2) ayni zaman araliginda gelen görüntülerin derinlik ve renk olarak gruplandirarak görüntü karelerinin olusturmak için uyarlanmis - kamera setinde (2) gelen her bir pikselin X, Y ve Z eksenlerindeki koordinatinin hesaplanarak, gruplanmis piksellerden nokta bulutunun (point cloud) olusturmak, nokta bulutu olusturulduktan sonra referans alinan bir kamera setine (2) göre diger kamera setlerinin (2) görüntülerini referans kamera setine (2) göre döndürerek nokta bulutunun hizalayarak (alignment/registration) ilk anahtar görüntünün (key frame) elde edilmesi saglamak için uyarlanmis - kamera setlerinden (2) gelen yeni görüntüler ile anahtar görüntüyü tercih edilen zaman periyodunda sürekli yenilenmek, kamera setinden (2) yeni görüntüler geldiginde anahtar görüntü yenileme zamani içerisinde gelip gelmedigini kontrol etmek için uyarlanmis sunucu (
  4. 4), -yeni görüntüler geldiginde yeni anahtar görüntü elde edilecek ise nokta bulutunun yüzeyi olusturmak (mesh creation) veya nokta bulutu olarak eski görüntü kabul edilecek ise anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin iskelet bilgisinin eklem yerleri (joint) ile birlikte saptanmak ve mevcut anahtar görüntü üzerinde hareket eden canlilarin, cisimlerin eklem yerlerine göre hareket (animate) ettirilerek görüntünün yayinlanmasi saglamak için uyarlanmis sunucu (4) ile karakterize edilen üç boyutlu ortam aktarma, yayinlama sistemi (1). Her bir kamera setinin (2) Odak alani, ana nokta verileri ve piksel derinlik bilgisini kullanarak her bir pikselin yatay, dikey ve derinlik eksenindeki (X, Y ve Z eksenindeki) koordinatlari hesaplayarak koordinatlara göre nokta bulutunu (point cloud) olusturmak için uyarlanmis sunucu (4) ile karakterize edilen istem 9, daki gibi üç boyutlu ortam aktarma, yayinlama sistemi (1). Üzerinde çalisan yapay zeka algoritmalari ile anahtar görüntü (key frame) üzerinde hareket eden insanlarin, canlilarin, cisimlerin iskelet bilgisinin eklem yerleri Üoint) ile birlikte saptanmasini saglamak için uyarlanmis sunucu (4) ile karakterize edilen istem 9” daki gibi üç boyutlu ortam aktarma, yayinlama
TR2019/10049A 2019-07-05 2019-07-05 Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ TR201910049A2 (tr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TR2019/10049A TR201910049A2 (tr) 2019-07-05 2019-07-05 Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇
US17/281,144 US11398076B2 (en) 2019-07-05 2019-10-07 Three dimensional media streaming and broadcasting system and method
PCT/TR2019/050830 WO2021006836A2 (en) 2019-07-05 2019-10-07 Three dimensional media streaming and broadcasting system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TR2019/10049A TR201910049A2 (tr) 2019-07-05 2019-07-05 Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇

Publications (1)

Publication Number Publication Date
TR201910049A2 true TR201910049A2 (tr) 2021-01-21

Family

ID=74114254

Family Applications (1)

Application Number Title Priority Date Filing Date
TR2019/10049A TR201910049A2 (tr) 2019-07-05 2019-07-05 Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇

Country Status (3)

Country Link
US (1) US11398076B2 (tr)
TR (1) TR201910049A2 (tr)
WO (1) WO2021006836A2 (tr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443481B1 (en) * 2021-02-26 2022-09-13 Adobe Inc. Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models
US11557074B1 (en) * 2022-08-26 2023-01-17 Illuscio, Inc. Systems and methods for rigging a point cloud for animation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087380B2 (en) * 2004-05-26 2015-07-21 Timothy J. Lock Method and system for creating event data and making same available to be served
ES2790885T3 (es) * 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US20140098185A1 (en) * 2012-10-09 2014-04-10 Shahram Davari Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources
US10003786B2 (en) * 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
US10681235B2 (en) * 2016-03-28 2020-06-09 Konica Minolta, Inc. Image recording device with a reader and processor for calibrating the reader
ES2902979T3 (es) * 2017-04-11 2022-03-30 Dolby Laboratories Licensing Corp Experiencias de entretenimiento aumentadas estratificadas
US10488521B2 (en) 2017-06-13 2019-11-26 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
US10482628B2 (en) 2017-09-30 2019-11-19 United States Of America As Represented By The Secretary Of The Army Photogrammetric point cloud compression for tactical networks
US11282169B2 (en) * 2018-02-07 2022-03-22 Intel Corporation Method and apparatus for processing and distributing live virtual reality content

Also Published As

Publication number Publication date
WO2021006836A3 (en) 2021-03-11
US20210343081A1 (en) 2021-11-04
US11398076B2 (en) 2022-07-26
WO2021006836A2 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN107925753B (zh) 利用动态相机进行3d图像捕捉的方法和系统
US6583808B2 (en) Method and system for stereo videoconferencing
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
EP1864505B1 (en) Real-time objects tracking and motion capture in sports events
US9087380B2 (en) Method and system for creating event data and making same available to be served
US10049496B2 (en) Multiple perspective video system and method
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN108886583A (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法
CN107529021B (zh) 隧道型全景视频采集、分发、定位跟踪系统及其方法
CN103051830A (zh) 一种对所拍目标多角度实时转播的系统和方法
CN106296686A (zh) 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法
CN107862718A (zh) 4d全息视频捕捉方法
US11398076B2 (en) Three dimensional media streaming and broadcasting system and method
CN117221633B (zh) 一种基于元宇宙和数字孪生技术的虚拟现实直播系统
CN213126145U (zh) 一种ar-虚拟互动系统
CN117793324A (zh) 虚拟转播重建系统、实时生成系统和预生成系统
US20220139047A1 (en) Systems and methods for recreating or augmenting real-time events using sensor-based virtual reality, augmented reality, or extended reality
CN102118576B (zh) 一种虚拟体育系统中的色键合成方法及装置
EP2830728B1 (en) Entertainment system and method of providing entertainment
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
US20210287336A1 (en) Tracking sparse objects and people in large scale environments
CN108307175A (zh) 基于柔性传感器的舞蹈动态影像捕捉和还原系统及控制方法
US20150375109A1 (en) Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems
CN109474819B (zh) 图像的呈现方法及装置