TR201702966A2 - Kafaya takilan görüntüleme ci̇hazi (hmd’#&ler)i̇le vi̇deo konferanslari i̇çi̇n i̇yi̇leşti̇ri̇lmi̇ş yöntem ve si̇stem - Google Patents
Kafaya takilan görüntüleme ci̇hazi (hmd’#&ler)i̇le vi̇deo konferanslari i̇çi̇n i̇yi̇leşti̇ri̇lmi̇ş yöntem ve si̇stem Download PDFInfo
- Publication number
- TR201702966A2 TR201702966A2 TR2017/02966A TR201702966A TR201702966A2 TR 201702966 A2 TR201702966 A2 TR 201702966A2 TR 2017/02966 A TR2017/02966 A TR 2017/02966A TR 201702966 A TR201702966 A TR 201702966A TR 201702966 A2 TR201702966 A2 TR 201702966A2
- Authority
- TR
- Turkey
- Prior art keywords
- data
- person
- head
- image data
- video data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 title description 2
- 210000003128 head Anatomy 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 58
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000001815 facial effect Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 14
- 230000004424 eye movement Effects 0.000 claims description 14
- 239000011521 glass Substances 0.000 description 44
- 230000003190 augmentative effect Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 239000002609 medium Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000006163 transport media Substances 0.000 description 3
- 241000289669 Erinaceus europaeus Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephonic Communication Services (AREA)
Abstract
Mevcut buluş, bir video konferans oturumu sırasında video verilerini modifiye etmeye yönelik bir yöntemle ilgilidir. Bu yöntem en azından aşağıdaki adımları içermektedir: en azından görsel girdiyi yakalamak üzere bir birinci kamera ünitesi (103X) ve bir birinci kafaya takılan görüntüleme cihazı (102) içeren bir birinci terminali (100A) sağlama, en azından görsel girdinin çıktısını sağlamak üzere bir ikinci terminali (100B) sağlama, söz konusu birinci terminal (100A) ve söz konusu ikinci terminalin (100B) veri alışverişi için sunucu aracı (105) vasıtasıyla bağlandığı bir sunucu aracı (105) sağlama, birinci kamera ünitesiyle (103X) bir birinci kişinin (101) kafasının birinci temel görüntü verilerini veya birinci temel video verilerini sağlama veya yakalama, söz konusu birinci kişi (101) kafaya takılan görüntüleme cihazını (102) takarken söz konusu birinci kişinin (101) kafasının birinci işlem görüntü verilerini veya birinci işlem video verilerini birinci kamera ünitesiyle yakalama, birinci kafaya takılan görüntüleme cihazının (102) görsel görünümünü temsil eden birinci işlem görüntü verilerinin veya birinci işlem video verilerinin birinci işlem veri bölümlerini belirleme, birinci işlem görüntü verilerinin veya birinci işlem video verilerinin birinci işlem veri bölümlerini, birinci temel görüntü verilerinin ya da birinci temel video verilerinin bir parçası olan ve söz konusu kişinin yüzünün bölümlerini, özellikle söz konusu birinci kişinin (101) gözlerini temsil eden birinci temel veri bölümleriyle değiştirerek bir birinci set modifiye edilmiş görüntü verilerini veya modifiye edilmiş video verilerini oluşturma.
Description
TARIFNAME
KAFAYA TAKILAN GÖRÜNTÜLEME CIHAZI (HMD) iLE VIDEO KONFERANSLARI
IÇIN IYILESTIRILMIS YÖNTEM VE SISTEM
Mevcut bulus, Istem 1'e göre bir video konferansi oturumu sirasinda video verilerini
modifiye etmek için bir yöntemle, istem 14'e göre bu tür bir yöntemi yürütmeye yönelik bir
bilgisayar programi ürünüyle ve Istem 15'e göre video konferans oturumlarina yönelik bir
sistemle ilgilidir.
Mevcut bulusun teknik alani, video konferans sistemleriyle ilgilidir. Bu tür video konferans
sistemleri, bir veri baglantisiyla, özellikle internet baglantisiyla bilgisayar veya dizüstü
bilgisayarlar veya akilli telefonlar gibi ayrilmis terminaller araciligiyla görsel iletisimi
mümkün kilmaktadirlar. Bazi video konferans sistemlerinde kafaya takilan görüntüleme
cihazi (HMD'ler) kullanilmaktadir. Bu tür bir kafaya takilan görüntüleme cihazi, sanal
gerçekligi (VR) ve/veya artirilmis gerçekligi (AR) ve/veya karma gerçekligi (MR) mümkün
kilmaktadir.
Video konferanslar disinda sanal toplanti odalari, sanal mekanlar, rol yapma oyunlari
(rpg) ve genel olarak sanal ortamlar da kafaya takilan görüntüleme cihazlari ile
yürütülmektedir ve bu tür uygulamalarda kafaya takilan görüntüleme cihazlari,
kullanicilarin gerçek yüzleri görülemedigi takdirde can sikici ve rahatsiz edici olmaktadir.
U86806898B1 sayili patent belgesi, her bir katilimcinin bir kamerasinin ve ekraninin
oldugu bir video konferans ortaminda bakisi ve kafanin pozunu otomatik olarak
ayarlamaya yönelik bir sistemi ve yöntemi açiklamaktadir. Katilimcilarin görüntüleri sanal
3D ortamda olusturulmaktadir. Kafanin durus yönü ve göz-bakis yönü düzeltilerek bir
katilimcinin 3D ortamdaki görüntüsü, ekranda baktiklari kisiye bakiyormus gibi
görünmektedir. Bir katilimci izleyiciye bakiyorsa bakisi “kameraya” yöneltilmektedir, bu da
2788/TR
açiklamaktadir.
açiklamaktadir.
Kafaya takilan görüntüleme cihazlari ile video konferans rahatsiz edici olabilmektedir
çünkü konferanstaki diger katilimcilar, kafaya takilan görüntüleme cihazinin büyük boyutu
nedeniyle söz konusu kafaya takilan görüntüleme cihazini takan kisinin yüzünün yalnizca
küçük bir bölümünü görebilmektedirler.
Bulusun Amaci
Bu nedenle mevcut bulusun bir amaci, video konferanslar için bir yöntem ve bir video
konferans oturumu sirasinda kullanici rahatligini artiran bir video konferans sistemi
saglamaktir.
Bulusun Açiklamasi
Yukarida bahsedilen amaca, istem 1”e göre bir video konferans oturumu sirasinda video
verilerini degistirmek için bir yöntemle ulasilmaktadir. Bulus konusu yöntem, en azindan
asagidaki adimlari içermektedir: en azindan görsel girdiyi yakalamak üzere bir birinci
kamera 'ünitesini ve bir birinci kafaya takilan görüntüleme cihazi içeren bir birinci terminali
saglama; en azindan görsel girdinin çiktisini saglamak üzere bir ikinci terminali saglama;
bir sunucu araci veya iletisim araci veya aktarim ortami saglama, burada söz konusu
birinci terminal ve söz konusu ikinci terminal veri alisverisi için aktarim ortamiyla, özellikle
sunucu araci vasitasiyla baglanmaktadir; birinci kamera ünitesiyle birinci kisinin kafasinin
birinci temel görüntü verilerini veya birinci temel video verilerini saglama veya yakalama;
söz konusu birinci kisi kafaya takilan görüntüleme cihazini takarken söz konusu birinci
kisinin kafasinin birinci islem görüntü verilerini veya birinci islem video verilerini birinci
kamera 'ünitesiyle yakalama; birinci kafaya takilan görüntüleme cihazinin görsel
görünümünü temsil eden birinci islem görüntü verilerinin veya birinci islem video verilerinin
birinci islem veri bölümlerini belirleme; birinci islem görüntü verilerinin veya birinci islem
video verilerinin birinci islem veri bölümlerini birinci temel veri bölümleriyle degistirerek bir
birinci set modifiye edilmis görüntü verilerini veya modifiye edilmis video verilerini
2788/TR
olusturma, burada birinci temel veri bölümleri birinci temel görüntü verilerinin ya da birinci
temel video verilerinin bir parçasidir ve özellikle birinci modifiye edilmis görüntü verilerinin
veya birinci modifiye edilmis video verilerinin çiktisi için, en az bir diger terminal, özellikle
en az ikinci terminal araciligiyla, söz konusu kisinin yüzünün bölümlerini, özellikle söz
konusu kisinin gözlerini temsil etmektedirler, özellikle söz konusu kisinin yüzünün
Bu nedenle mevcut bulus, bir, iki veya birden fazla kullanici sanal gerçeklik gözlükleri (VR)
veya artirilmis gerçeklik gözlükleri (AR) gibi kafaya takilan görüntüleme cihazlarini
takarken tercihen tam yüz video konferansini saglama yöntemini açiklamaktadir. Bir, iki
veya birden fazla tarafin HMD/VR/AR cihazlarini kullandigi durumlarda kullanicinin
yüzünün önemli bir bölümü, özellikle gözleri HMD/VR/AR cihaziyla örtülü olmaktadir, bu
nedenle diger kullanicilar yüzün tamamini görememektedirler ve video konferansi bir
bakima anlamsiz hale gelmektedir. Yeni yöntemle bir kisinin, diger bir deyisle kullanicinin
bir veya birden fazla önceden kaydedilmis yüz pozu/pozlari gerçek zamanli videonun
üzerine bindirilip (üzerine yerlestirilip) herhangi bir engel olmadan yüzün tam olarak
görünecegi sekilde video konferansi tesis edilmesi için uzak hedef noktalarina
aktarilmaktadir.
Diger tercih edilen uygulamalar, bagimli istemlerin ve/veya asagidaki tarifname
bölümlerinin konusudur.
Mevcut bulusun tercih edilen bir uygulamasina göre ikinci terminal bir ikinci kamera ünitesi
ve bir ikinci kafaya takilan görüntüleme cihazi içermektedir. Bulusun ayrica özelligi, ikinci
kamera ünitesiyle bir ikinci kisinin kafasinin ikinci temel görüntü verilerini veya ikinci temel
video verilerini saglama veya yakalama, söz konusu ikinci kisi kafaya takilan görüntüleme
cihazini takarken söz konusu ikinci kisinin kafasinin ikinci islem görüntü verilerini veya
ikinci islem video verilerini ikinci kamera ünitesiyle yakalama, ikinci kafaya takilan
görüntüleme cihazinin görsel görünümünü temsil eden ikinci islem görüntü verilerinin veya
ikinci islem video verilerinin ikinci islem veri bölümlerini belirleme; ikinci islem görüntü
verilerinin veya ikinci islem video verilerinin ikinci islem veri bölümlerini ikinci temel veri
bölümleriyle degistirerek ikinci set modifiye edilmis görüntü verilerini veya modifiye edilmis
video verilerini yaratma, diger bir deyisle olusturma adimlaridir, burada ikinci temel veri
bölümleri ikinci temel görüntü verilerinin ya da ikinci temel video verilerinin bir parçasidir
2788/TR
ve özellikle ikinci modifiye edilmis görüntü verilerinin veya ikinci modifiye edilmis video
verilerinin birinci terminal araciligiyla çiktisi için, söz konusu ikinci kisinin yüzünün
bölümlerini, özellikle söz konusu ikinci kisinin gözlerini temsil etmektedirler. Yalnizca bir
veya yalnizca en az bir kafaya takilan görüntüleme cihazi video konferansi yöntemine
entegre edilmedigi için bu uygulama yararli olmaktadir. Böylece iki veya en az iki kisi veya
kullanici, kafaya takilan görüntüleme cihazi takarken bulus konusu video konferans
yöntemini kullanabilmektedir.
Birinci modifiye edilmis görüntü verilerinin veya birinci modifiye edilmis video verilerinin
ve/veya ikinci modifiye edilmis görüntü verilerinin veya ikinci modifiye edilmis video
verilerinin, mevcut bulusun bir diger tercih edilen uygulamasina göre sunucu aracina bagli
olan en az bir diger terminal araciligiyla çiktisi saglanmaktadir. Her terminalin bir kafaya
takilan görüntüleme cihazinin olmasina gerek olmadigindan bu uygulama yararli
olmaktadir. Böylece bir kafaya takilan görüntüleme cihazi takan veya takmayan kisiler
veya kullanicilar ayni sekilde etkilesimde bulunabilmektedir, her bir kullanicinin, diger bir
deyisle kisinin özellikle yüzü ve özellikle yüzünün tamami veya kafaya takilan görüntüleme
cihazi olmadiginda kendisi, bir, iki veya en az bir veya en az iki veya birden fazla
terminalde gösterilmektedir.
Terminal, bir ekrani olan veya bir görsel görüntüyü bir yüzeye veya ortama yansitan her
türlü cihaz olarak anlasilabilmektedir. Bu nedenle terminaller tercihen dizüstü bilgisayarlar,
tablet PC'Ier, masaüstü bilgisayarlar, akilli telefonlar, TV'Ier vb.dir. Terminal ve kafaya
takilan görüntüleme cihazi tek bir cihaz olmasi da makuldür.
Bir diger terminal mevcut bulusun tercih edilen bir diger uygulamasina göre bir diger
kamera ünitesi ve bir diger kafaya takilan görüntüleme cihazi içermektedir. Bulusun ayrica
özelligi, bir diger kamera ünitesiyle bir diger kisinin kafasinin diger temel görüntü verilerini
veya diger temel video verilerini saglama veya yakalama; söz konusu diger kisi kafaya
takilan görüntüleme cihazini takarken söz konusu diger kisinin kafasinin diger islem
görüntü verilerini veya diger islem video verilerini bir diger kamera ünitesiyle yakalama;
diger kafaya takilan görüntüleme cihazinin görsel görünümünü temsil eden diger islem
görüntü verilerinin veya diger islem video verilerinin diger islem veri bölümlerini belirleme;
diger islem görüntü verilerinin veya diger islem video verilerinin diger islem veri bölümlerini
diger temel veri bölümleriyle degistirerek bir diger set modifiye edilmis görüntü verilerini
2788/TR
veya modifiye edilmis video verilerini olusturma adimlaridir, burada diger temel veri
bölümleri diger temel görüntü verilerinin ya da diger temel video verilerinin bir parçasidir
ve 'özellikle diger modifiye edilmis görüntü verilerinin veya diger modifiye edilmis video
verilerinin çiktisi için, birinci terminal ve/veya ikinci terminal ve/veya bir diger terminal
araciligiyla, özellikle ayni anda söz konusu diger kisinin yüzünün bölümlerini, özellikle söz
konusu diger kisinin gözlerini temsil etmektedirler. Birden fazla, özellikle ikiden fazla veya
üç veya üçten fazla veya dört veya dörtten fazla kullanici veya kisi kafaya takilan
görüntüleme cihazlarini takabildiginden, diger bir deyisle kullanabildiginden bu uygulama
yararli olmaktadir. Farkli tipte kafaya takilan görüntüleme cihazlari, `özellikle sanal
gerçeklik ve artirilmis gerçeklik cihazlarinin, ayni video konferans oturumunda
kullanilmasi da mümkün olmaktadir. Bu nedenle islem görüntü verilerinin veya islem video
verilerinin temsil ettigi her kafaya takilan görüntüleme cihazi, soz konusu ilgili kafaya
takilan görüntüleme cihazini kullanan bir kullanicinin yüzünün bir bölümünü, özellikle
gözlerini temsil eden verilerle degistirilebilmektedir.
Birinci, ikinci ve/veya diger temel video verileri veya birinci, ikinci ve/veya diger temel
görüntü verileri mevcut bulusun tercih edilen bir uygulamasina göre ilgili terminalin
belleginde ve/veya sunucu aracinda saklanmaktadir. Birinci, ikinci ve/veya diger temel
video verileri veya birinci, ikinci ve/veya diger temel görüntü verileri, birinci, ikinci ve/veya
diger modifiye edilmis video verileri veya birinci, ikinci ve/veya diger modifiye edilmis
görüntü verileri gerekli oldugunda bir kez yakalanip islenmektedir. Alternatif olarak birinci,
ikinci ve/veya diger temel video verileri veya birinci, ikinci ve/veya diger temel görüntü
verileri söz konusu birinci, ikinci ve/veya üçüncü kisi bir video konferansina her
katildiginda yakalanmaktadir ve birinci, ikinci ve/veya diger temel video verileri veya
birinci, ikinci ve/veya diger temel görüntü verileri, birinci, ikinci ve/veya diger modifiye
edilmis video verileri veya birinci, ikinci ve/veya diger modifiye edilmis görüntü verileri
gerekli oldugunda güncellenmekte veya digerleriyle degistirilmekte ve islenmektedir.
En az bir terminal ve tercihen terminallerin çogu veya terminallerin tamami mevcut
bulusun tercih edilen bir diger uygulamasina göre sesli verilerin yakalanmasi ve/veya
çiktisinin saglanmasi için araçlar içermektedir, burada bir terminalle yakalanan söz
konusu yakalanmis sesli veriler en azindan bir veya birden fazla diger terminale
yönlendirilmektedir. Bu tür bir araç örnegin bir mikrofon olabilmektedir. Ses yakalama
2788/TR
araci kafaya takilan görüntüleme cihazinda düzenlenebilmektedir veya terminalin bir
parçasi olabilmektedir.
Birinci kafaya takilan görüntüleme cihazinin birinci kisinin yüzüne göre pozisyonu, mevcut
bulusun tercih edilen bir diger uygulamasina göre nesne tanima yoluyla belirlenmektedir.
Birinci kafaya takilan görüntüleme cihazinin sekli tercihen görsel veya elektronik olarak
saglanan nesne tanima ve/veya tanimlama verisi yoluyla belirlenmektedir. Elektronik
tanimlama verisi, birinci kafaya takilan görüntüleme cihazi ve birinci terminal arasindaki
veri baglantisiyla saglanmaktadir. Ikinci kafaya takilan görüntüleme cihazinin ikinci kisinin
yüzüne göre pozisyonu, mevcut bulusun tercih edilen bir diger uygulamasina göre nesne
tanima yoluyla belirlenmektedir. Ikinci kafaya takilan görüntüleme cihazinin sekli tercihen
görsel veya elektronik olarak saglanan nesne tanima ve/veya tanimlama verisi yoluyla
belirlenmektedir. Elektronik tanimlama verisi, ikinci kafaya takilan gösterge ve ikinci
terminal arasindaki veri baglantisiyla saglanmaktadir. Diger kafaya takilan görüntüleme
cihazinin bir diger kisinin yüzüne göre pozisyonu, mevcut bulusun tercih edilen bir diger
uygulamasina göre nesne tanima yoluyla belirlenmektedir. Diger kafaya takilan
görüntüleme cihazinin sekli tercihen görsel veya elektronik olarak saglanan nesne tanima
ve/veya tanimlama verisi yoluyla belirlenmektedir. Elektronik tanimlama verisi, diger
kafaya takilan gösterge ve diger terminal arasindaki veri baglantisiyla saglanmaktadir.
Birinci kisinin yüzünün cilt bölümlerinin hareketlerini temsil eden yüz hareket verileri,
mevcut bulusun tercih edilen bir diger uygulamasina göre olusturulmaktadir, burada cilt
bölümlerinin hareketleri söz konusu birinci kamera ünitesiyle yakalanmaktadir. Tercihen
ikinci kisinin yüzünün cilt bölümlerinin hareketlerini gösteren yüz hareket verileri de
olusturulmaktadir, burada cilt bölümlerinin hareketleri söz konusu ikinci kamera ünitesiyle
yakalanmaktadir. Tercihen üçüncü kisinin yüzünün cilt bölümlerinin hareketlerini gösteren
yüz hareket verileri de olusturulmaktadir, burada cilt bölümlerinin hareketleri söz konusu
üçüncü kamera ünitesiyle yakalanmaktadir.
Birinci kisinin en az bir gözünün hareketlerini gösteren göz hareket verileri mevcut bulusun
tercih edilen bir diger uygulamasina göre olusturulmaktadir, burada göz hareketleri bir göz
izleme araciyla yakalanmaktadir. Ikinci kisinin en az bir gözünün hareketlerini gösteren
göz hareket verileri de olusturulmaktadir, burada göz hareketleri bir ikinci göz izleme
araciyla yakalanmaktadir. Bir diger kisinin en az bir gözünün hareketlerini gösteren göz
2788/TR
hareket verileri de olusturulmaktadir, burada göz hareketleri bir diger göz izleme araciyla
yakalanmaktadir. Yüzün cilt hareketleri, bir opsiyonel yüz hareket detektörüyle
algilanabilmektedir, burada söz konusu yüz hareket detektörü göz izleme aracina ilaveten
veya alternatif olarak saglanabilmektedir. Bir birlesik göz izleme ve yüz hareketi
detektörünün saglanmasi, özellikle kafaya takilan görüntüleme cihazi üzerinde veya içinde
veya kafaya takilan görüntüleme cihazinin parçasi olarak düzenlenmesi de makul
olmaktadir.
Birinci temel veri bölümleri, tercih edilen bir diger uygulamaya göre birinci kisinin yüzünün
söz konusu yakalanan yüz hareket verilerine ve/veya birinci kisinin en az bir gözünün söz
konusu yakalanan g'oz hareket verilerine bagli olarak modifiye edilmektedir. Ikinci temel
veri bölümleri, tercih edilen bir diger uygulamaya göre ikinci kisinin yüzünün söz konusu
yakalanan yüz hareket verilerine ve/veya ikinci kisinin en az bir gözünün söz konusu
yakalanan göz hareket verilerine bagli olarak modifiye edilmektedir. Üçüncü temel veri
bölümleri, tercih edilen bir diger uygulamaya göre üçüncü kisinin yüzünün söz konusu
yakalanan yüz hareket verilerine ve/veya üçüncü kisinin en az bir gözünün söz konusu
yakalanan göz hareket verilerine bagli olarak modifiye edilmektedir.
Birinci temel veri bölümlerinin parçasi olarak birinci kisinin göz seklini temsil eden göz
verileri, tercih edilen bir diger uygulamaya göre tanimlanmaktadir. Göz verileri tercihen
söz konusu yakalanan göz hareket verilerine göre modifiye edilmektedir ve/veya birinci
temel veri bölümündeki gözlerin üstünde ve/veya altinda birinci kisinin yüzünün cilt
bölümlerini temsil eden cilt verileri tercihen belirlenmektedir. Cilt verileri tercihen söz
konusu yakalanan yüz hareketi verilerine göre modifiye edilmektedir. Ikinci temel veri
bölümlerinin parçasi olarak ikinci kisinin göz seklini temsil eden göz verileri, tercih edilen
bir diger uygulamaya göre tanimlanmaktadir. Göz verileri tercihen söz konusu yakalanan
göz hareket verilerine göre modifiye edilmektedir ve/veya ikinci temel veri bölümündeki
gözlerin üstünde ve/veya altinda ikinci kisinin yüzünün cilt bölümlerini temsil eden cilt
verileri tercihen belirlenmektedir. Cilt verileri tercihen söz konusu yakalanan yüz hareketi
verilerine göre modifiye edilmektedir. Diger temel veri bölümlerinin parçasi olarak diger
kisinin göz seklini gösteren göz verileri, tercih edilen bir diger uygulamaya göre
tanimlanmaktadir. Göz verileri tercihen söz konusu yakalanan göz hareket verilerine göre
modifiye edilmektedir ve/veya diger temel veri bölümündeki gözlerin üstünde ve/veya
altinda bir diger kisinin yüzünün cilt bölümlerini temsil eden cilt verileri tercihen
2788/TR
belirlenmektedir. Cilt verileri tercihen söz konusu yakalanan y'üz hareketi verilerine göre
modifiye edilmektedir. Bir kafaya takilan görüntüleme cihazini kullanan ilgili kisinin göz
hareketini temsil eden görsel veri, bir video konferans oturumunun, diger bir deyisle
sisteminin kullanilabilirligini ve/veya konforunu artirmak için kullanilabildiginden bu
uygulama yararli olmaktadir.
Göz izleme araci tercihen gözbebegi merkezli korneal yansima (PCCR) yakin göz
izleyicisidir. Söz konusu göz izleme araci tercihen birinci kafaya takilan görüntüleme
cihazinin üzerinde veya içinde ve/veya ikinci kafaya takilan görüntüleme cihazinin
üzerinde veya içinde ve/veya bir diger kafaya takilan görüntüleme cihazinin 'uzerinde veya
içinde düzenlenmektedirMevcut bulusun tercih edilen bir diger uygulamasina göre
y'ontem birinci kisinin kafa pozuyla ilgili bilgileri özellikle kamera ünitesi araciligiyla alma,
nesnenin özellikle birinci kisinin kafasinin pozuna göre kafanin sanal modelini ve kafanin
yüz bakisini yönlendirme, video konferans iletisiminin bir bölümünden görülebilir pikselleri
sanal modele yansitma, yüzün bakisini ortamda istenen noktada 'üreten kafanin
sentezlenmis gözlerini olusturma, üretilen yüzün bakisina göre sanal modeli yönlendirme
ve sanal modeli video konferans iletisiminin ilgili bölümüne yansitma adimlarini
içermektedir, burada birinci set modifiye edilmis görüntü verilerinin veya modifiye edilmis
video verilerinin en azindan bir bölümü, söz konusu sanal modelle degistirilmektedir. Ilgili
(birinci, ikinci ve/veya diger) islem görüntü verileri veya (birinci, ikinci ve/veya diger) islem
video verileri bulus konusu yöntemi, diger bir deyisle sistemi iyilestirmek için modifiye
edilebileceginden bu uygulama yararli olmaktadir.
Sentezlenmis gözler olusturma tercihen gözlerin bölümleme bilgilerini almayi ve sentetik
gözü yaratmak için iris ve göz bebegi bilgilerini kestirmeyi kapsamaktadir. Sentezlenmis
gözler ayrica tercihen orijinal gözlerin sentetik gözlerle yer degistirmesi için bölümleme
bilgilerinin kullanilmasiyla sentetik gözlerin dijital olarak video konferans iletisiminin ilgili
bölümü üzerine çizilmesini kapsamaktadir. Tercihen video konferans iletisimi sirasinda
sanal modelin sentezlenmis gözlerini gerçek zamanli dijital olarak ayarlama adimi
saglanmaktadir. Video konferans iletisimi tercihen en az iki katilimci arasinda
gerçeklestirilmektedir ve internet, entegre hizmetler dijital agi veya dogrudan iletisim
baglantisindan en az biri tarafindan kolaylastirilmaktadir.
2788/TR
Mevcut bulus ayrica Istem 1-13'e göre yöntemin uygulanmasina yönelik bir bilgisayar
programi ürünüyle ilgilidir.
Mevcut bulus ayrica video konferans oturumlari için bir sistemle ilgilidir. Söz konusu
sistem tercihen en azindan görsel girdiyi yakalamak üzere bir birinci kamera ünitesini ve
bir birinci kafaya takilan görüntüleme cihazini içeren bir birinci terminali, en azindan görsel
girdinin çiktisini saglamak üzere bir ikinci terminali, bir sunucu araci içermektedir, burada
söz konusu birinci terminal ve söz konusu ikinci terminal veri alisverisi için sunucu araci
vasitasiyla baglanmaktadir, burada birinci kisinin kafasinin birinci temel görüntü verileri
veya birinci temel video verileri birinci kamera ünitesiyle saglanmakta veya
yakalanmaktadir, burada söz konusu birinci kisi kafaya takilan görüntüleme cihazini
takarken söz konusu birinci kisinin kafasinin birinci islem görüntü verileri veya birinci islem
video verileri birinci kamera 'ünitesiyle yakalanmaktadir, burada birinci kafaya takilan
görüntüleme cihazinin görsel görünümünü temsil eden birinci islem görüntü verilerinin
veya birinci islem video verilerinin birinci islem veri bölümleri belirlenmektedir, burada
birinci islem görüntü verilerinin veya birinci islem video verilerinin birinci islem veri
bölümleri birinci temel veri bölümleriyle degistirilerek birinci set modifiye edilmis görüntü
verileri veya modifiye edilmis video verileri olusturulmaktadir, burada birinci temel veri
bölümleri birinci temel görüntü verilerinin ya da birinci temel video verilerinin bir parçasidir
ve söz konusu kisinin yüzünün bölümlerini, özellikle söz konusu kisinin gözlerini temsil
etmektedirler, burada özellikle söz konusu kisinin yüzünün tamamini temsil eden birinci
modifiye edilmis görüntü verilerinin veya birinci modifiye edilmis video verilerinin çiktisi
ikinci terminal araciligiyla saglanmaktadir.
Mevcut bulusun diger faydalari, amaçlari ve özellikleri, bulusun bilesenlerinin örnek olarak
gösterildigi ekli sekillerin asagidaki açiklamasi üzerinden açiklanacaktir. En azindan islev
olarak özünde örtüsen buluslara göre sistemlerin bilesenleri ve yöntemler ayni referans
isaretiyle isaretlenebilir, burada bu tür bilesenler söz konusu sekillerde isaretlenmek veya
açiklanmak zorunda degildir.
Bulus, asagida, ekli sekillere göre yalnizca örnek olarak açiklanmaktadir.
2788/TR
Sekillerin Kisa Açiklamasi
Kafaya takilan görüntüleme cihazlarinin kullanildigi teknigin bilinen
durumuna göre bir video konferans oturumunun sematik gösterimini
göstermektedir;
Kafaya takilan görüntüleme cihazlarinin da kullanildigi mevcut bulusa göre
video konferans oturumunun birinci sematik gösterimini göstermektedir;
Kafaya takilan görüntüleme cihazlarinin da kullanildigi mevcut bulusa göre
video konferans oturumunun ikinci sematik gösterimini göstermektedir;
bir kafaya takilan görüntüleme cihazini temsil eden piksellerin, bir insan
yüzü seklinin bir bölümünü temsil eden piksellerle degistirilmesini sematik
olarak göstermektedir;
bulus konusu video konferans oturumu sirasinda kullanilabilecek birkaç
kafaya takilan görüntüleme cihazini göstermektedir;
kullanilan kafaya takilan görüntüleme cihazini tanimlamanin, diger bir
deyisle kullanilan kafaya takilan görüntüleme cihazinin seklini algilamanin
birkaç olasiligini göstermektedir;
sematik olarak gösterilen kafaya takilan görüntüleme cihazinin önden ve
yandan görünümünü göstermektedir, burada gösterilen kafaya takilan
görüntüleme cihazi bir göz izleme araci içermektedir;
yüz hareketi izleme sirasindaki bir görünümü sematik olarak
göstermektedir, burada yüz hareketi izleme isaretler kullanilarak veya
kullanilmayarak gerçeklestirilebilmektedir;
bir sistem aktivasyon akis semasinin örnegini göstermektedir;
görüntü isleme sirasindaki adimlari temsil eden bir akis semasinin örnegini
birden fazla kullanicisi olan bir video konferansini sematik olarak
göstermektedir.
bir sanal ortama, örnek durumda sanal toplanti odasina baglanmis olan
birden fazla kullaniciyi göstermektedir.
Sekil 1, önceki teknige göre bir ortami göstermektedir. Burada bir birinci kullanicinin
kafasinin önden görünümü (101A) ve birinci kisinin (101) söz konusu kafasinin yandan
görünümü (profil) (101B) gösterilmektedir. Birinci kisi (101) bir kafaya takilan görüntüleme
2788/TR
cihazi (102) takmaktadir. Söz konusu kafaya takilan görüntüleme cihazi (102) (örnek
durumda sanal gerçeklik gözlügü) önden görünüm (102A) ve yandan görünüm (1025)
olarak gösterilmektedir. Birinci kisinin (101) kafasi birinci kamera ünitesiyle (103X)
yakalanmaktadir. Birinci kamera ünitesi (103X) video konferans oturumlari sirasinda
kullanilabilen bir kamera ünitesidir. Birinci kamera ünitesi (103X) tercihen örnek durumda
disarida konumlandirilmistir ancak diger seçenekler de mümkün olmaktadir.
Referans numarasi 103Y, bir ikinci kamera ünitesini göstermektedir. Ikinci kisinin (111)
kafasi söz konusu ikinci kamera ünitesiyle (103Y) yakalanmaktadir. Ikinci kamera ünitesi
(103Y) video konferans oturumlari sirasinda kullanilabilen bir kamera ünitesidir. Ikinci
kamera 'ünitesi (103Y) tercihen örnek durumda disarida konumlandirilmistir ancak diger
seçenekler de mümkün olmaktadir. Ikinci kisinin (111) bulus konusu video konferans
oturumu sirasinda bir kafaya takilan görüntüleme cihazi kullanmasi veya takmasi da
mümkün olmaktadir.
Referans numarasi 1032, bir diger kamera 'ünitesini belirtmektedir. Diger kisinin (114)
kafasi söz konusu diger kamera ünitesiyle (1032) yakalanmaktadir. Diger kamera ünitesi
(1032) Video konferans oturumlari sirasinda kullanilabilen bir kamera ünitesidir. Diger
kamera `ünitesi (1032) tercihen örnek durumda disarida konumlandirilmistir ancak diger
seçenekler de mümkün olmaktadir.
Referans numarasi A, birinci kisinin (101) ve ikinci kisinin (111) video konferans sistemiyle
iletisim kurduklari durumu belirtmektedir. Bu durumda yalnizca birinci kisi (101) bir kafaya
takilan görüntüleme cihazi takmaktadir, ikinci kisi (111) bir ekran gibi kafaya takilan
görüntüleme cihazindan farkli olan bir optik çikti araci kullanmaktadir. Bu durumda birinci
kamera (103X) ve ikinci kamera (103Y) tarafindan yakalanan veriler, video konferanslar
için herhangi bir aktarim ortamiyla (105) diger tarafa aktarilmaktadir. Aktarim ortami (105)
tercihen bir sunucu ünitesidir, 'örnek durumda özellikle internettir. Sesli verilerin ve video
verilerinin, birinci kisinin ( yol
gönderilmesi ve tam tersi uygulama da mümkün olmaktadir. Böylece birinci kamera
ünitesiyle (103X) yakalanan video verilerinin çiktisi ikinci kisiye (111) ekran (109)
araciligiyla saglanmaktadir. Böylece ikinci kisi (111) bir kafaya takilan görüntüleme cihazi
(110) takan birinci kullaniciyi görmektedir.
2788/TR
Referans numarasi B, birinci kisinin (101) ve diger kisinin (114) video konferans sistemiyle
iletisim kurduklari durumu belirtmektedir. Bu durumda hem birinci kisi (101) hem de diger
kisi (114) kafaya takilan görüntüleme cihazlarini kullanmakta, diger bir deyisle
takmaktadir. Bu durumda birinci kamera (103X) ve diger kamera (1032) tarafindan
yakalanan veriler, video konferanslar için herhangi bir aktarim ortamiyla (105) diger tarafa
aktarilmaktadir. Aktarim ortami (105) tercihen bir sunucu ünitesidir, örnek durumda
özellikle internettir. Sesli verilerin ve video verilerinin, birinci kisinin (101) yan tarafindaki
birinci kullanici terminalinden (100A) yol (104) üzerinden diger kisinin (114) yan
tarafindaki diger kullanici terminaline (100C) gönderilmesi ve tam tersi uygulama da
mümkün olmaktadir. Böylece birinci kamera `ünitesiyle (103X) yakalanan video verilerinin
çiktisi ikinci kisiye (111) kafaya takilan görüntüleme cihazi (112) araciligiyla
saglanmaktadir. Birinci kamera ünitesiyle (103X) yakalanan video verilerinin çiktisi
tercihen kafaya takilan görüntüleme cihazinin (112) sag ekrani ve kafaya takilan
görüntüleme cihazinin (112) sol ekrani araciligiyla saglanmaktadir. Böylece ikinci kisi
(111) bir kafaya takilan görüntüleme cihazi (110) takan birinci kullaniciyi görmektedir, yani
birinci kisinin (101) videosu herhangi bir degisiklik olmadan kafaya takilan görüntüleme
cihazinin (112) sag ekranina (112A), diger bir deyisle gözlügüne ve kafaya takilan
görüntüleme cihazinin sol ekranina (1128), diger bir deyisle gözlügüne aktarilmaktadir
(113A, 1138).
Böylece Sekil 1, bulusun Video konferans katilimcilarini oldukça rahatsiz eden sekilde
kullanicinin kafaya takilan görüntüleme cihazi (sekilde sanal gerçeklik gözlügü) taktigi ve
göz temasi ve yüz yüze iletisimi olmadigi için yüzün tamaminin görüntü olarak aktarilma
imkâninin olmadigi önceki teknige ait durumda ve de bulusa söz konusu olan cihazin
kapali oldugu durumda neler oldugunu basitçe tarif etmektedir.
Sekil 2, bulus konusu yöntemin ve sistemin birinci sematik gösterimini göstermektedir.
Referans numarasi 201, birinci kisinin (101) yüz hareketinin yakalanmasi, özellikle vektör,
tarama, görüntü ve/veya video olarak herhangi bir yöntemle yakalanmasi için kaydedilmis
kafa verilerini göstermektedir. Söz konusu kaydedilmis kafa verileri (201) tercihen bir
kafaya takilan görüntüleme cihazini temsil eden verileri içermemektedir, bu yüzden
tercihen yalnizca kafasi, özellikle yüzü, 'özellikle yüzün seklini, özellikle agzin yukarisini ve
alnin asagisini, özellikle yüzün göz bölgesini gösteren verileri içermektedir. Birinci kisinin
2788/TR
(101) söz konusu kaydedilmis kafa verileri (201) bir hesaplama sistemine veya ünitesine,
özellikle bir sunucuya ve/veya birinci terminale (100A) veya ikinci terminale (1008) veya
bir diger terminale (100C) aktarilabilmektedir. Hesaplama sistemi veya ünitesi, birinci
kamera ünitesi (103X) tarafindan yakalanan verileri, kaydedilmis verilerle (201) modifiye
etmektedir. Modifiye etme burada tercihen özellikle gerçek zamanli olarak birlestirme, yer
degistirme, üst üste bindirme, diger bir deyisle üzerine yerlestirme anlamina gelmektedir.
Böylece bir videonun veya resmin çiktisi ikinci kisiye (111) saglanmaktadir, burada söz
konusu video veya resim, birinci kamera ünitesi (103X) tarafindan yakalanan video veya
resimden farklidir. Çiktisi saglanan, diger bir deyisle görüntülenen resim tercihen kamera
(103X) tarafindan yakalanan verilerin kaydedilmis kafa verileriyle (201) birlestirilmesiyle
yapay olarak olusturulmaktadir. Bu nedenle referans numarasi 202, kullanici kafaya
takilan görüntüleme cihazi takiyor olsa bile birinci kisinin (101) yüzünün tüm görüntüsünü
aktaran görüntü verilerini temsil etmektedir.
Bu durumunda da diger kisi (114) birinci kisinin (101) gözlerini, özellikle tüm yüzünü
görmektedir.
Bu nedenle referans numarasi 203A, kafaya takilan görüntüleme cihazinin sag ekrani,
özellikle sanal gerçeklik gözlügü için kullanici kafaya takilan görüntüleme cihazi takarken
bile birinci kisinin (101) yüzünün tamaminin görünümünü aktaran görüntü verilerini
göstermektedir. Bu nedenle referans numarasi 2038, kafaya takilan görüntüleme
cihazinin sol ekrani, özellikle sanal gerçeklik gözlügü için kullanici kafaya takilan
görüntüleme cihazi takarken bile birinci kisinin (101) yüzünün tamaminin görünümünü
aktaran görüntü verilerini göstermektedir.
Dolayisiyla mevcut bulus bir video konferansi oturumu sirasinda video verilerini modifiye
etmek için bir yöntemi veya bir gelismis video konferans oturumunu saglamak için bir
yöntemi açiklamaktadir. Bir birinci terminal (100A) saglanmakta ve kullanilmaktadir,
burada birinci terminal (100A) bir dizüstü bilgisayar, masaüstü bilgisayar, cep telefonu,
tablet PC, TV veya benzeri olabilmektedir. Söz konusu terminal (100A) tercihen en
azindan görsel girdiyi yakalamak üzere bir birinci kamera ünitesini (103X) içermektedir ve
ayrica bir birinci kafaya takilan görüntüleme cihazini (102) içermektedir. Ayrica en
azindan görsel girdinin çiktisini saglamak üzere bir ikinci terminal (1OOB) saglanmakta ve
kullanilmaktadir. Tercihen bir veri aktarim araci, özellikle sunucu araci (106)
2788/TR
saglanmaktadir, burada söz konusu birinci terminal (100A) ve söz konusu ikinci terminal
(1008) veri alisverisi için sunucu araci (106), diger bir deyisle veri aktarim araci
vasitasiyla baglanmaktadir. Birinci kisinin (101) kafasinin birinci temel görüntü verileri
veya birinci temel video verileri (201) tercihen birinci kamera ünitesiyle (103X)
saglanmakta veya yakalanmaktadir. Söz konusu birinci kisi (101) birinci kafaya takilan
görüntüleme cihazini (102) takarken söz konusu birinci kisinin (101) kafasinin birinci islem
görüntü verileri veya birinci islem video verileri birinci kamera ünitesi (103X) tarafindan
yakalanmaktadir. Birinci kafaya takilan görüntüleme cihazinin (102) görsel görünümünü
temsil eden birinci islem görüntü verilerinin veya birinci islem video verilerinin birinci islem
veri bölümleri yakalanmaktadir, burada birinci islem görüntü verilerinin veya birinci islem
video verilerinin birinci islem veri bölümlerini birinci temel veri bölümleriyle degistirerek
birinci set modifiye edilmis görüntü verileri veya modifiye edilmis video verileri
olusturulmaktadir. Birinci temel veri bölümleri tercihen birinci temel görüntü verilerinin ya
da birinci temel video verilerinin bir parçasidir ve söz konusu birinci kisinin (101) yüzünün
bölümlerini, özellikle söz konusu kisinin (101) gözlerini temsil etmektedir. Özellikle söz
konusu birinci kisinin (101) yüzünün tamamini temsil eden birinci modifiye edilmis görüntü
verilerinin veya birinci modifiye edilmis video verilerinin çiktisi, ikinci terminalin (1008) bir
çikti cihazi, özellikle bir ekran araciligiyla saglanabilmekte, diger bir deyisle
gösterilebilmektedir.
Bu nedenle bulus bir veya birden fazla kullanici kafaya takilan görüntüleme cihazi
kullanirken, diger bir deyisle takarken video konferans gerçeklestirilmesi (veya bir diger
telekonferans teknigi) ile ilgilidir. Bir kafaya takilan görüntüleme cihazi kendi ekrani olan
bagimsiz veya cep telefonu baglantili sanal gerçeklik gözlükleri, artirilmis görüntüleri
(videolari) gerçek dünya üzerine bindiren artirilmis gerçeklik gözlükleri, karma gerçeklik
cihazlarini ve/veya kafa üstü gösterge ekrani (HUD) olabilmektedir.
Kamera cihazlari, diger bir deyisle kamera üniteleri (103X-103Z) herhangi bir kamera
olabilmektedir; bazi örnekleri arasinda harici kameralar veya bir cep telefonunun veya
bilgisayarin yerlesik kamerasi yer almaktadir. Kamera tek mercekli veya çift mercekli
(birden fazla mercekli) kamera, hatta isik alani kamerasi olabilmektedir.
2788/TR
Video konferans internet üzerinden, anlik mesajlasma (IM) veya voip ortami üzerinden
yapilabilmektedir. Video konferans terimi tercihen telekonferans gibi her çesit video
konferans faaliyetlerini kapsamaktadir.
Sekil 3, kaydedilmis kafa verilerinin (201) nasil yakalanip islendigini göstermektedir.
Kullanici kafasi verileri (301) ögrenme döngüsüyle veya kaydedilen videoyla veya benzer
bir teknikle alinmaktadir. Birinci kisinin (101) kafasi için kafa verileri tercihen söz konusu
kafanin ön perspektifinden yakalanmaktadir. Referans numarasi 302, söz konusu kafanin
ve/veya söz konusu kamera ünitesinin (310) özellikle en az 180° veya en az 270° veya
360° araliginda olan dönme hareketini göstermektedir. Kamera ünitesi (310) tercihen bir
kayit cihazidir, özellikle basit bir kamera veya tercihen taramali lazer destegiyle kapsayici
veya isik derinlikli kamera gibi daha kompleks bir kameradir. Kamera ünitesinin (310)
birinci kamera ünitesi (103X) veya bir diger kamera ünitesi olmasi da mümkündür. Birinci
kafaya takilan görüntüleme cihazinin (102) boyutu tespit edilmektedir ve kullanici kafasi
verileri (301); birinci kisinin (101) bir kafaya takilan görüntüleme cihazini kullanirken, diger
bir deyisle takarken yakalanmis görüntü veya video verilerinin kafaya takilan görüntüleme
cihazini temsil eden verilerin degistirilmesi için uygun sekilde kirpilmaktadir (307). Kirpilan
veriler, grafik, diger bir deyisle görüntü verileri veya video verileri modifikasyonu için bir
Kirpilan veriler (305) birinci kamera ünitesiyle (103X) yakalanan görüntü veya video
verilerinin, özellikle islem görüntü verilerinin veya islem video verilerinin modifiye edilmesi
için saglanmaktadir (309).
Dolayisiyla Sekil 2 ve Sekil 3, bulusun kullanildigi durumlari ve bulusun yararlarini
göstermektedir. Kaydedilen yüz verileri (yüz pozu) kafaya takilan görüntüleme cihazi
boyutuna göre kirpilmakta ve tercihen gerçek zamanli videoyla birlestirilmektedir (üstüne
bindirilmektedir, diger bir deyisle üstüne yerlestirilmektedir) ve ikinci ve diger kullaniciya
aktarilan video, birinci kullanicinin kafaya takilan görüntüleme cihazini kullanmadigi
siradaki yüzünün tamamidir, bu da genel video konferansi deneyimini iyilestirmektedir.
Sekil 2'de ve Sekil 3'te görüntü/video islemeyle ilgili hesaplamalar birinci kullanici
tarafinda yapilmaktadir ancak örnegin ilgili alicinin bir sunucusu veya terminali (100A,
1008) gibi farkli seçenekler de mümkün olmaktadir. Birden fazla veya tüm kullanicilarin
2788/TR
bir kafaya takilan görüntüleme cihazi kullandigi veya taktigi, pek çok, özellikle ikiden fazla
kullanicinin ayni video konferans oturumuna katilmasi da mümkündür. Dolayisiyla bir
kafaya takilan görüntüleme cihazi kullanan tercihen tüm kullanicilarin görüntü veya video
verileri (islem görüntü verileri veya islem video verileri) tercihen ilgili kullanicinin yüzünün
yüzey bölümlerini, özellikle gözlerini temsil eden görüntü veya video verileriyle modifiye
edilmektedir.
Sekil 4, bir üst üste bindirme, diger bir deyisle yer degistirme isleminin örnegini
göstermektedir. Kirpilan veriler (305), diger bir deyisle yüzün önceden tanimlanan bir
bölümünü, özellikle birinci kisinin (101) yüzünü, özellikle gözlerini temsil eden veriler,
kafaya takilan görüntüleme cihazini temsil eden islem görüntü verilerinin veya islem video
verilerinin en azindan bir bölümünün üstüne bindirilmektedir veya yerine geçmektedir.
Diger bir deyisle ve bir seçenek olarak: kirpilan kapsayici veriler (305) söz konusu islem
görüntü verilerinin veya söz konusu islem video verilerinin kismen veya kesitsel olarak üst
üste bindirilmesi (402) için islem görüntü verilerine veya islem video verilerine
aktarilmaktadir (401 ).
Sekil 5, kafaya takilan görüntüleme cihazi uygulamalari için dört örnek göstermektedir.
Referans numarasi 102A, (ekran olarak cep telefonu/ akilli telefonu olan) bir sanal
gerçeklik gözlügünü göstermektedir; referans numarasi 501, bagimsiz bir sanal gerçeklik
gözlügünü veya kendi ekrani olan sanal gerçeklik gözlügünü göstermektedir; referans
numarasi 502, tek gözün kapsandigi bir tür artirilmis gerçeklik gözlügünü veya karma
gerçeklik gözlügünü göstermektedir ve referans numarasi (503) her iki gözün kapsandigi
bir tür artirilmis gerçeklik gözlügünü veya karma gerçeklik gözlügünü göstermektedir.
Böylece Sekil 5, akilli telefonu olan en büyük sanal gerçeklik gözlügüyle, yüz üzerinde
farkli kapsama alanlari olan farkli kafaya takilan görüntüleme cihazlarini göstermektedir.
Sekil 6, kullanilmakta olan kafaya takilan görüntüleme cihazi ile ilgili bilgilerin, özellikle
sekil ve/veya renk ve/veya boyut bilgilerinin nasil toplanabilecegini gösteren üç örnegi
göstermektedir. Referans numarasi 601, hareket yakalama ve boyut algilama için isaretsiz
algilamayi veya elektronik algilamayi göstermektedir. Bu nedenle bir kafaya takilan
görüntüleme cihazinin özellikleri görüntü analiziyle toplanabilmektedir. Referans numarasi
602, kamera ünitesi (103X) için görünür olan kafaya takilan görüntüleme cihazi
parçalarindaki özel sekilleri veya noktalari veya nokta isaretlerini göstermektedir.
2788/TR
Referans numarasi 603, kare kod(QR) isaretlerini göstermektedir, burada kare kod kafaya
takilan görüntüleme cihazinin özelligiyle ilgili bilgileri veya söz konusu kafaya takilan
görüntüleme cihazinin özelliklerini temsil eden verilerin indirilebilecegi bir baglantiyi
göstermektedir. Böylece Sekil 6, sistemin kullanici yüz pozisyonunu, kafaya takilan
görüntüleme cihazi pozisyonunu ve belki de kafaya takilan görüntüleme cihazi boyutunu
nasil algiladigini göstermektedir. Video konferansinin daha kapsayici olabilmesi için
sistemin kullanicinin gözlerini kullanicinin baktigi yönde dogru bir sekilde
konumlandirmasi ve yüz ifadesini düzeltmesi gerekmektedir, bunun için farkli sensörler ve
göz izleme mekanizmalari kullanilabilmektedir.
NFC veya Bluetooth veya RFID veya WiFi gibi kablosuz teknoloji, veya kablosuz olmayan,
diger bir deyisle kablo baglantili teknoloji, özellikle USB araciligiyla veri aktarimi gibi diger
ihtimaller de ilaveten veya alternatif olarak mümkündür.
Sekil 7, özel bir kafaya takilan görüntüleme cihazini (102A) göstermektedir. Bu kafaya
takilan görüntüleme cihazi (102A) tercihen bir göz izleyicisi, özellikle herhangi bir tipte
(büyük olasilikla gözbebegi merkezli korneal yansima yakin göz izleyici) (701) ve/veya
yüz hareketlerini algilamak için (kapasitif veya optik) bir detektör (702) içermektedir.
Kullanici kafasi verileri (301), özellikle kirpilan kullanici kafasi verileri tercihen söz konusu
göz izleyicisi (701) ve/veya söz konusu yüz hareketi detektörü (702) tarafindan yapilan
ölçümlere göre modifiye edilmektedir. Böylece birinci kisinin (101) yüzünün görüntülenen
görünümü daha gerçekçi görünmektedir.
Sekil 8, yüz hareketlerini izlemenin bir örnegini göstermektedir. Nokta isaretlerinin (801)
optik algilamasi, yüz hareketlerinin algilanmasina, diger bir deyisle analiz edilmesine
imkân vermektedir. Öte yandan isaretsiz yöntemler gibi farkli algilama yöntemleri ilaveten
veya alternatif olarak mümkün olmaktadir.
Sekil 9, sistem aktivasyonunu temsil eden bir akis semasini göstermektedir.
Bulus konusu sistem, diger bir deyisle video konferans oturumu referans numarasi 901'e
göre baslatilmaktadir. Böylece 902'de sistemin gerçekten çalisip çalismadigi kontrol
edilmektedir; sistemin çalismamasi durumunda (902N) hiçbir sey olmaz (904). Sistem
gerçekten çalisiyorsa (902Y) en az bir kafaya takilan görüntüleme cihazinin algilanip
2788/TR
algilanmadigi kontrol edilmektedir (904). Herhangi bir kafaya takilan görüntüleme cihazi
algilanmazsa (904N) hiçbir sey olmaz. Bir kafaya takilan görüntüleme cihazinin
algilanmasi durumunda (904Y) kaydedilen veriler (temel görüntü verileri veya temel video
verileri) talep edilmekte, diger bir deyisle yüklenmekte veya olusturulmaktadir. Bunun
üzerine sistemin baslatilmasi tamamlanmaktadir (908).
Sekil 10, görüntü islemenin birinci kullanici tarafinda, özellikle birinci terminalle nasil
gerçeklestirildigini örnek olarak gösteren bir akis semasini göstermektedir. Gerçek
zamanli video (1001) yakalanmaktadir. Söz konusu yakalanan gerçek zamanli video
(1001), diger bir deyisle söz konusu islem görüntü verileri veya islem video verileri,
görüntü/video isleme (1002) nedeniyle modifiye edilmektedir (en çok tercihen birinci
kullanici tarafinda yapilmaktadir ancak bulutta, video konferans sunucusunda veya
uzaktan kullanicilarda hesaplama gibi diger seçenekler de mümkün olmaktadir).
Görüntü/video isleme (1002), diger bir deyisle islem görüntü verilerini veya islem video
verilerini modifiye etme, kaydedilmis verilerle (1004) yapilmaktadir. Tercihen birinci
kullanicinin en az bir gözünü temsil eden veriler, söz konusu islem görüntü verileri veya
islem video verileriyle birlestirilmektedir. Çikti (1003) olarak bir birlesik üst üste bindirilmis
görüntü/video ortaya çikmaktadir.
Böylece Sekil 10”da gösterilen üst üste bindirme hesaplamalari, herhangi bir hesaplama
ortamina ve sistemine ve cihazina aktarilabilmektedir ancak bu hesaplamalar büyük
ihtimalle kullanici tarafinda yapilmaktadir ve cihaz / terminal büyük olasilikla bilgisayar
(masaüstü, PC, dizüstü) veya akilli telefon veya tablettir.
Sekil 11, kafaya takilan görüntüleme cihazi kullanan veya kullanmayan birden fazla
kullanicinin bulus konusu video konferans oturumuna katilabilecegini göstermektedir,
burada bu kullanicilardan en az biri bir kafaya takilan görüntüleme cihazi kullanmakta,
diger bir deyisle takmaktadir. Referans numarasi 1101, (Sekil 1, 2 ve 3'teki birinci kisiye
ikinci kullaniciyi (1102) göstermektedir ve referans numarasi 1103, bir üçüncü kullaniciyi
göstermektedir ve referans numarasi 1105 bir n'inci kullaniciyi (1105) göstermektedir.
Böylece video konferans iletisimi tercihen en az iki katilimci arasinda
gerçeklestirilmektedir ve son derece tercihen video konferans (105) için en az bir aktarim
2788/TR
ortami tarafindan, özellikle internet (106), entegre hizmetler dijital agi veya dogrudan
iletisim baglantisi tarafindan kolaylastirilmaktadir.
Sekil 12, bir sanal ortami (1200), diger bir deyisle örnek durumda bir sanal toplanti odasini
göstermektedir. Sanal ortamin (1200) özellikle rol yapma oyunlari için sanal ortamlar
olmasi da mümkündür. Birinci kullanicinin (1201) bir kafaya takilan görüntüleme cihazi
örnek durumda sanal gerçeklik gözlügü vardir. Ikinci kullanicinin (1202) da bir kafaya
takilan görüntüleme cihazi, örnek durumda sanal gerçeklik gözlügü vardir. N'inci
kullanicinin (1203) da bir kafaya takilan görüntüleme cihazi, özellikle örnek durumda
sanal gerçeklik gözlügü vardir. Sanal ortamdan (1200) görülebildigi gibi, söz konusu sanal
ortamda toplanan tüm kisiler, mevcut bulus sayesinde kafaya takilan görüntüleme cihazi
Böylece mevcut bulus bir sistem ve yöntemle ilgilidir, burada yöntem tercihen bir video
konferans oturumu sirasinda video verilerini modifiye etmeye yaramaktadir ve en azindan
asagidaki adimlari içermektedir: en azindan görsel girdiyi yakalamak üzere bir birinci
kamera ünitesini (103X) ve bir birinci kafaya takilan görüntüleme cihazi (102) içeren bir
birinci terminali (100a) saglama; en azindan görsel girdinin çiktisini saglamak üzere bir
ikinci terminali (1OOB) saglama; bir sunucu araci (105) saglama, burada söz konusu birinci
terminal (
vasitasiyla baglanmaktadir, birinci kamera ünitesiyle (103X) birinci kisinin (101) kafasinin
birinci temel görüntü verilerini veya birinci temel video verilerini saglama veya yakalama;
söz konusu birinci kisi (101) kafaya takilan görüntüleme cihazini (102) takarken söz
konusu birinci kisinin (101) kafasinin birinci islem görüntü verilerini veya birinci islem video
verilerini birinci kamera ünitesiyle yakalama, birinci kafaya takilan görüntüleme cihazinin
(102) görsel görünümünü temsil eden birinci islem görüntü verilerinin veya birinci islem
video verilerinin birinci islem veri bölümlerini belirleme; birinci islem görüntü verilerinin
veya birinci islem video verilerinin birinci islem veri bölümlerini birinci temel veri
bölümleriyle degistirerek birinci set modifiye edilmis görüntü verilerini veya modifiye
edilmis video verilerini olusturma, burada birinci temel veri bölümleri birinci temel görüntü
verilerinin ya da birinci temel video verilerinin bir parçasidir ve söz konusu kisinin yüzünün
bölümlerini, özellikle söz konusu birinci kisinin (101) gözlerini temsil etmektedirler.
2788/TR
Ozellikle söz konusu birinci kisinin (101) yüzünün tamamini temsil eden, birinci modifiye
edilmis görüntü verilerinin veya birinci modifiye edilmis video verilerinin çiktisinin ikinci
terminal (1OOB) araciligiyla saglanmasi.
Dolayisiyla bulus konusu yöntem kullanicinin yüzünü öncelikle sanal gerçeklik /artirilmis
gerçeklik gözlükleri olmadan kaydetmektedir veya yüzünün fotograflarini çekmektedir. Bu
islem sirasinda isik derinlikli fotograf gibi bir teknik veya diger 3D veya kapsayici
video/fotograf teknikleri kullanilabilmektedir. Kullanici yüzünün gözlere yakin olan bölgesi
modellendikten sonra tercihen cihazda, diger bir deyisle terminalde saklanmaktadir.
Kullanici video konferansi veya video görüsmeleri sirasinda sanal gerçeklik /artirilmis
gerçeklik gözlügünü kullanmaya basladiginda bilgisayar sanal gerçeklik / artirilmis
gerçeklik gözlügünün kenarlarini kolaylikla algilamaktadir (veya tanimlayicilar gibi diger
yöntemler kullanilmaktadir) ve sanal gerçeklik / artirilmis gerçeklik gözlügü olan videoyu
normal video ile birlestirmektedir, sonuç diger kullanicinin normal yüzü sanal gerçeklik /
artirilmis gerçeklik gözlükleri olmadan görmesidir. Ek özellik, gözlerin pozisyonunu dogru
sekilde ayarlayabilecek olan sanal gerçeklik / artirilmis gerçeklik gözlügü içinde göz
izleme olacaktir.
Referans numaralari
Birinci kullanici terminali
Ikinci kullanici terminali
Diger kullanici terminali
Birinci kisi
Kullanicinin kafasinin
(birinci kullanici) önden
görünümü
Kullanicinin kafasinin
(birinci kullanici) yandan
(profil) görünümü
Birinci kafaya takilan
görüntüleme cihazi
kafaya takilan
görüntüleme cihazinin
önden görünümü (örnek
durumda sanal gerçeklik
gözlügü)
kafaya takilan
görüntüleme cihazinin
yandan görünümü (örnek
durumda sanal gerçeklik
gözlügü)
Birinci kullanicidaki video
konferans için birinci
kamera ünitesi (örnek
durumda harici olarak
konumlandirilmistir ancak
diger seçenekler de
mümkündür)
Ikinci kullanicidaki video
konferans için kamera
(örnek durumda harici
2788/TR
olarak konumlandirilmistir
ancak diger seçenekler de
mümkündür)
Üçüncü kullanicidaki video
konferans için kamera
(örnek durumda harici
olarak konumlandirilmistir
ancak diger seçenekler de
mümkündür)
Her iki kullanici görüntü-
ses bilgisi gönderir.
Video konferans için
herhangi bir aktarim
ortami
Aktarim ortami örnek
durumda internettir.
Ekran görüntüsü kullanan
video konferanstaki ikinci
kullanici
Bir kafaya takilan
görüntüleme cihazi takan
birinci kullanicinin
aktarilan videosu
Ikinci kisi
Yine sanal gerçeklik
gözlükleri kullanan Video
konferanstaki üçüncü
kullanici
Diger kullanicinin kafaya
takilan görüntüleme cihazi
Sanal gerçeklik
gözlügünün sag ekrani
sanal gerçeklik
gözlügünün sol ekrani
Birinci kullanicinin
gözlügün sag ekraninda
herhangi bir degisiklik
olmadan aktarilan videosu
Birinci kullanicinin
gözlügün sol ekraninda
herhangi bir degisiklik
olmadan aktarilan videosu
Diger kisi
Diger kafaya takilan
görüntüleme cihazi
(Vektör, tarama, görüntü
ve/veya video yöntemiyle)
yüz hareketinin
yakalanmasi için birinci
kullanicinin kaydedilmis
kafa verileri
Gerçek zamanli videonun
kaydedilmis verilerle
birlestirilmesi (bindirilmesi
- üstüne yerlestirilmesi)
için hesaplama sistemine
(gösterilmemistir)
aktarilma
Birinci kullanicinin kafaya
takilan görüntüleme cihazi
takarken bile yüzünün
aktarilan tam görünümü
Birinci kullanicinin sanal
gerçeklik gözlügünün sag
ekrani için kafaya takilan
görüntüleme cihazi
2788/TR
takarken bile yüzünün
aktarilan tam görünümü
Birinci kullanicinin sanal
gerçeklik gözlügünün sol
ekrani için kafaya takilan
görüntüleme cihazi
takarken bile yüzünün
aktarilan tam görünümü
Kullanici kafasi verileri
ögrenme döngüsüyle veya
kaydedilen videoyla veya
benzer bir teknikle
alinmaktadir.
360° veya benzer bir genis
açi verisi için döndürme ve
Kafaya takilan
görüntüleme cihazi boyutu
algilanmakta ve uygun
kirpma hazirlanmakta
Uygun kirpma
Kirpilmis veriler
Uygun kafaya takilan
görüntüleme cihazi
büyüklügü alinarak
kirpilandan aktarilan
Kirpilan verilerin aktarimi
Kayit cihazi (basit kamera
veya taramali lazer
destegiyle üç boyutlu veya
isik derinlikli kamera gibi
daha kompleks cihazlar)
Kirpilan üç boyutlu veriler
aktarilmakta
Üst üste bindirme
yapilmakta
902 N/Y
904N/Y
Bagimsiz sanal gerçeklik
gözlügü veya kendi ekrani
olan sanal gerçeklik
gözlügü
Artirilmis gerçeklik
Gözlügü türü veya tek
gözün kapsandigi karma
gerçeklik gözlügü
Artirilmis gerçeklik
Gözlügü türü veya her iki
gözün kapsandigi karma
gerçeklik gözlügü
Hareket yakalama ve
boyut algilama için
isaretsiz algilama veya
elektronik algilama
Nokta isaretleri
Kare kod isaretleri
Herhangi bir tür göz
izleyici (büyük olasilikla
gözbebegi merkezli
korneal yansima yakin göz
izleyici)
Yüz hareketlerini
algilamak için (kapasitif
veya optik) detektör
Nokta isaretleri
Bulus (açiklanan sistem)
aktive oldu mu?
Hayir/Evet
Hiçbir sey yapma
kafaya takilan
görüntüleme cihazi tespit
Hayir/Evet
Hiçbir sey yapma
1201A
2788/TR
Gerçek zamanli videoyu
kaydedilen verilerle üst
üste bindirme
Kaydedilen veriler
Gerçek zamanli video
Görüntü/video isleme (en
çok tercihen birinci
kullanici tarafindan
yapilmaktadir ancak
bulutta, video konferans
sunucusunda veya
uzaktan kullanicilarda
hesaplama gibi diger
seçenekler de mümkün
olmaktadir)
Birlesik üst üste bindirilmis
görüntü çiktisi
Kaydedilen veriler
Sanal ortam, örnek
durumda sanal toplanti
odasi ancak sanal
mekanlar ve/veya rol
yapma oyunlari (rpg) vb.
mümkün olmaktadir
Kafaya takilan
görüntüleme cihazi, 'örnek
durumda sanal gerçeklik
gözlügü takan birinci
kullanici
Sanal ortamda görülen
birinci kullanici
Kafaya takilan
görüntüleme cihazi, örnek
durumda sanal gerçeklik
gözlügü takan
kullanici
1202A
Sanal ortamda görülen
ikinci kullanici
Kafaya takilan
görüntüleme cihazi, örnek
durumda sanal gerçeklik
gözlügü takan n'inci
kullanici
1203A
2788/TR
Sanal ortamda görülen
n'inci kullanici
Birinci kullanici
Ikinci kullanici
Üçüncü kullanici
Dördüncü kullanici
n'inci kullanici
Claims (1)
- ISTEMLER Bir video konferans oturumu sirasinda video verilerini modifiye etmek için yöntem olup, en azindan asagidaki adimlari içermektedir: en azindan görsel girdiyi yakalamak üzere bir birinci kamera ünitesi (103X) ve bir birinci kafaya takilan görüntüleme cihazi ( saglama, en azindan görsel girdinin çiktisini saglamak üzere bir ikinci terminali (1OOB) saglama, söz konusu birinci terminal (1OOA) ve söz konusu ikinci terminalin (1OOB) veri alisverisi için sunucu araci (105) vasitasiyla baglandigi bir sunucu araci (105) saglama; birinci kamera ünitesiyle (103X) bir birinci kisinin (101) kafasinin birinci temel görüntü verilerini veya birinci temel video verilerini saglama veya yakalama, söz konusu birinci kisi (101) kafaya takilan görüntüleme cihazini (102) takarken söz konusu birinci kisinin (101) kafasinin birinci islem görüntü verilerini veya birinci islem video verilerini birinci kamera ünitesiyle yakalama, birinci kafaya takilan görüntüleme cihazinin (102) görsel görünümünü temsil eden birinci islem görüntü verilerinin veya birinci islem video verilerinin birinci islem veri bölümlerini belirleme, birinci islem görüntü verilerinin veya birinci islem video verilerinin birinci islem veri bölümlerini, birinci temel görüntü verilerinin ya da birinci temel video verilerinin bir parçasi olan ve söz konusu kisinin yüzünün bölümlerini, özellikle söz konusu birinci kisinin (101) gözlerini temsil eden birinci temel veri bölümleriyle degistirerek bir birinci set modifiye edilmis görüntü verilerini veya modifiye edilmis video verilerini olusturma. Istem 1'e göre yöntem olup, özelligi ikinci terminalin (1008); bir ikinci kamera ünitesi (103Y) bir ikinci kafaya takilan görüntüleme cihazi içermesi, ve asagidaki adimlari içermesidir:10 ikinci kamera ünitesiyle (103Y) bir ikinci kisinin (111) kafasinin ikinci temel görüntü verilerini veya ikinci temel video verilerini saglama veya yakalama, söz konusu ikinci kisi (111) ikinci kafaya takilan görüntüleme cihazini takarken söz konusu ikinci kisinin (111) kafasinin ikinci islem görüntü verilerini veya ikinci islem video verilerini ikinci kamera ünitesiyle (103Y) yakalama, ikinci kafaya takilan görüntüleme cihazinin görsel görünümünü temsil eden ikinci islem görüntü verilerinin veya ikinci islem video verilerinin ikinci islem veri bölümlerini belirleme, ikinci islem görüntü verilerinin veya ikinci islem video verilerinin ikinci islem veri bölümlerini, ikinci temel görüntü verilerinin ya da ikinci temel video verilerinin bir parçasi olan ve söz konusu ikinci kisinin (111) yüzünün bölümlerini, özellikle söz konusu ikinci kisinin (111) gözlerini temsil eden ikinci temel veri bölümleriyle degistirerek bir ikinci set modifiye edilmis görüntü verilerini veya modifiye edilmis video verilerini olusturma, ikinci modifiye edilmis görüntü verilerinin veya ikinci modifiye edilmis video verilerinin çiktisini birinci terminal (1OOA) araciligiyla saglama. Istem 1'e veya istem 2'ye göre yöntem olup, özelligi birinci modifiye edilmis görüntü verilerinin veya birinci modifiye edilmis video verilerinin ve/veya ikinci modifiye edilmis görüntü verilerinin veya ikinci modifiye edilmis video verilerinin çiktisinin, sunucu aracina (105) bagli olan en az bir diger terminal (100C) araciligiyla saglanmasidir. Onceki istemlerden herhangi birine göre yöntem olup, özelligi bir diger terminalin (100C) bir diger kamera ünitesini (1032) ve bir diger kafaya takilan görüntüleme cihazi (112) içermesi, ve asagidaki adimlari içermesidir: diger kamera ünitesiyle (1032) diger kisinin (114) kafasinin diger temel görüntü verilerini veya diger temel video verilerini saglama veya yakalama, 2788/TR söz konusu diger kisi (114) diger kafaya takilan görüntüleme cihazini (112) takarken söz konusu diger kisinin (114) kafasinin diger islem görüntü verilerini veya diger islem video verilerini diger kamera ünitesiyle (1032) yakalama, diger kafaya takilan görüntüleme cihazinin (112) görsel görünümünü temsil eden diger islem görüntü verilerinin veya diger islem video verilerinin diger islem veri bölümlerini belirleme, diger islem görüntü verilerinin veya diger islem video verilerinin diger islem veri bölümlerini, diger temel görüntü verilerinin ya da diger temel video verilerinin bir parçasi olan ve söz konusu diger kisinin (114) yüzünün bölümlerini, özellikle söz konusu diger kisinin (114) gözlerini temsil eden diger temel veri bölümleriyle degistirerek bir diger set modifiye edilmis görüntü verilerini veya modifiye edilmis video verilerini olusturma, diger modifiye edilmis görüntü verilerinin veya diger modifiye edilmis video verilerinin çiktisini, birinci terminal (1OOA) ve/veya ikinci terminal (1OOB) araciligiyla, özellikle ayni anda saglama. . Onceki istemlerden herhangi birine göre yöntem olup, özelligi birinci, ikinci ve/veya diger temel video verilerinin veya birinci, ikinci ve/veya diger temel görüntü verilerinin ilgili terminalin (1OOA, 1008, 1000) belleginde ve/veya sunucu aracinda (105) saklanmasi, burada birinci, ikinci ve/veya diger temel video verileri veya birinci, ikinci ve/veya diger temel görüntü verilerinin, birinci, ikinci ve/veya diger modifiye edilmis video verileri veya birinci, ikinci ve/veya diger modifiye edilmis görüntü verileri gerekli oldugunda bir kez yakalanip islenmesi,veya burada birinci, ikinci ve/veya diger temel video verileri veya birinci, ikinci ve/veya diger temel görüntü verilerinin, söz konusu birinci kisi (101), ikinci kisi (111) ve/veya diger kisi (114) bir video konferansina her katildiginda yakalanmasi ve birinci, ikinci ve/veya diger temel video verileri veya birinci, ikinci ve/veya diger temel görüntü verilerinin; birinci, ikinci ve/veya diger modifiye edilmis video verileri veya birinci, ikinci ve/veya diger modifiye edilmis görüntü verileri gerekli oldugunda güncellenmesi veya degistirilmesi ve islenmesidir. . Onceki istemlerden herhangi birine göre yöntem olup, özelligi10 çiktisinin saglanmasi için araçlar içermesi ve burada bir terminalle yakalanan söz konusu yakalanmis sesli verilerin en azindan bir veya birden fazla diger terminale yönlendirilmesidir. Onceki istemlerden herhangi birine göre yöntem olup, özelligi birinci kafaya takilan görüntüleme cihazinin (102) birinci kisinin (101) yüzüne göre pozisyonunun nesne tanima yoluyla belirlenmesi, birinci kafaya takilan görüntüleme cihazinin (102) seklinin görsel veya elektronik olarak saglanan nesne tanima ve/veya tanimlama verisi yoluyla belirlenmesidir. Onceki istemlerden herhangi birine göre yöntem olup, özelligi birinci kisinin (101) yüzünün cilt bölümlerinin hareketlerini gösteren yüz hareket verilerinin olusturulmasi, burada cilt bölümlerinin hareketlerinin söz konusu birinci kamera ünitesiyle (103X) yakalanmasidir. Onceki istemlerden herhangi birine göre yöntem olup, özelligi birinci kisinin (101) en az bir gözünün hareketlerini gösteren göz hareket verilerinin olusturulmasi, burada söz konusu göz hareketlerinin bir göz izleme araciyla (702) yakalanmasidir. Istem 8 veya 9'dan herhangi birine göre yöntem olup, özelligi birinci temel veri bölümlerinin; birinci kisinin (101) yüzünün söz konusu yakalanan yüz hareket verilerine, birinci kisinin (101) en az bir gözünün söz konusu yakalanan göz hareket verilerine göre modifiye edilmesidir. Istem 10'a göre yöntem olup, özelligi birinci temel veri bölümlerinin parçasi olarak birinci kisinin (101) göz seklini temsil eden ve söz konusu yakalanan göz hareketi verilerine göre modifiye edilen göz verilerinin belirlenmesi, birinci kisinin (101) yüzünün cilt bölümlerini temsil eden ve söz konusu yakalanan yüz hareketi verilerine göre modifiye edilen cilt verilerinin, birinci temel veri bölümündeki gözlerin üstünde ve/veya altinda tanimlanmasidir. Istem 10 veya 11'den herhangi birine göre yöntem olup, özelligi göz izleme aracinin ( yakin göz izleyicisi olmasi ve söz konusu göz izleme aracinin (702) birinci kafaya takilan görüntüleme cihazinin (102) üzerinde veya içinde yer almasidir. Onceki istemlerden herhangi birine göre yöntem olup, birinci kisinin (101) kafa pozuyla ilgili bilgilerin alinmasi; nesnenin pozuna göre kafanin sanal modelinin ve kafanin yüz bakisinin yönlendirmesi; video konferans iletisiminin bir bölümünden görülebilir piksellerin sanal modele yansitilmasi; yüzün bakisini ortamda istenen noktada üreten kafanin sentezlenmis gözlerinin olusturulmasi; sanal modelin üretilen yüzün bakisina göre yönlendirilmesi; ve birinci set modifiye edilmis görüntü verilerinin veya modifiye edilmis video verilerinin en azindan bir bölümünün yer degistigi sanal modelin video konferans iletisiminin ilgili bölümüne yansitilmasi Ile karakterize olmasidir. Istem 1-13”ten herhangi birine göre bir yöntemin uygulanmasina yönelik bilgisayar programi ürünü. En azindan; en azindan görsel girdiyi yakalamak üzere bir birinci kamera ünitesi (103X) ve bir birinci kafaya takilan görüntüleme cihazi (, en azindan görsel girdinin çiktisini saglamak üzere bir ikinci terminal (1008), söz konusu birinci terminal (1OOA) ve söz konusu ikinci terminalin (1OOB) veri alisverisi için sunucu araci (105) vasitasiyla bagli oldugu; bir birinci kisinin (101) kafasinin birinci temel görüntü verileri veya birinci temel video verilerinin, birinci kamera ünitesiyle (103X) saglandigi veya yakalandigi; söz konusu birinci kisi (101) kafaya takilan görüntüleme cihazini (102) takarken söz konusu birinci kisinin (101) kafasinin birinci islem görüntü verileri veya birinci islem video verilerinin birinci kamera ünitesiyle (103X) yakalandigi; birinci kafaya takilan görüntüleme cihazinin görsel görünümünü temsil eden birinci islem görüntü verilerinin veya birinci islem video verilerinin birinci islem veri bölümlerinin belirlendigi; birinci islem görüntü verilerinin veya birinci islem video verilerinin birinci islem veri bölümleri, birinci temel veri bölümleriyle degistirilerek bir birinci set modifiye edilmis görüntü verileri veya modifiye edilmis video verileri olusturuldugu; birinci temel veri bölümlerinin, birinci temel görüntü verilerinin ya da birinci temel video verilerinin bir parçasi oldugu ve söz konusu kisinin (101) yüzünün bölümlerini, özellikle söz konusu birinci kisinin (101) gözlerini temsil ettigi; özellikle söz konusu birinci kisinin (101) yüzünün tamamini temsil eden birinci modifiye edilmis görüntü verilerinin veya birinci modifiye edilmis video verilerinin çiktisinin ikinci terminal (1OOB) araciligiyla saglandigi, video konferans oturumlarina yönelik sistem.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2017/052449 WO2018141408A1 (en) | 2017-02-03 | 2017-02-03 | IMPROVED METHOD AND SYSTEM FOR VIDEO CONFERENCES WITH HMDs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TR201702966A2 true TR201702966A2 (tr) | 2018-08-27 |
Family
ID=58018071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TR2017/02966A TR201702966A2 (tr) | 2017-02-03 | 2017-02-27 | Kafaya takilan görüntüleme ci̇hazi (hmd’#&ler)i̇le vi̇deo konferanslari i̇çi̇n i̇yi̇leşti̇ri̇lmi̇ş yöntem ve si̇stem |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210281802A1 (tr) |
| EP (1) | EP3358835B1 (tr) |
| JP (1) | JP2020507221A (tr) |
| KR (1) | KR102574874B1 (tr) |
| CN (1) | CN109952759B (tr) |
| TR (1) | TR201702966A2 (tr) |
| WO (1) | WO2018141408A1 (tr) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109803109B (zh) * | 2018-12-17 | 2020-07-31 | 中国科学院深圳先进技术研究院 | 一种可穿戴增强现实远程视频系统及视频通话方法 |
| US20230101902A1 (en) * | 2020-03-06 | 2023-03-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods providing video conferencing with adjusted/modified video and related video conferencing nodes |
| CN112115823A (zh) * | 2020-09-07 | 2020-12-22 | 江苏瑞科科技有限公司 | 一种基于情感化身的混合现实协同系统 |
| US20220122239A1 (en) * | 2020-10-21 | 2022-04-21 | Johnson & Johnson Surgical Vision, Inc. | Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality |
| CN112492231B (zh) * | 2020-11-02 | 2023-03-21 | 重庆创通联智物联网有限公司 | 远程交互方法、装置、电子设备和计算机可读存储介质 |
| CN112887702A (zh) * | 2021-01-11 | 2021-06-01 | 杭州灵伴科技有限公司 | 一种近眼显示设备的摄像头数据的传输方法及近眼显示设备 |
| CN114979454B (zh) * | 2021-02-24 | 2024-02-20 | 广州视创显示科技有限公司 | 一种一体机显示图像调整方法、装置、设备及存储介质 |
| US11831814B2 (en) * | 2021-09-03 | 2023-11-28 | Meta Platforms Technologies, Llc | Parallel video call and artificial reality spaces |
| JPWO2023037812A1 (tr) * | 2021-09-10 | 2023-03-16 | ||
| US20230094459A1 (en) * | 2021-09-21 | 2023-03-30 | NCA Holding BV | Data modeling for virtual collaboration environment |
| US11722329B2 (en) * | 2021-10-06 | 2023-08-08 | Fotonation Limited | Gaze repositioning during a video conference |
| US11644895B1 (en) * | 2021-10-08 | 2023-05-09 | Synaptics Incorporated | Attention cues for head-mounted display (HMD) |
| US11921970B1 (en) | 2021-10-11 | 2024-03-05 | Meta Platforms Technologies, Llc | Coordinating virtual interactions with a mini-map |
| US11622083B1 (en) * | 2021-11-29 | 2023-04-04 | Motorola Mobility Llc | Methods, systems, and devices for presenting obscured subject compensation content in a videoconference |
| US20230196712A1 (en) * | 2021-12-21 | 2023-06-22 | Snap Inc. | Real-time motion and appearance transfer |
| US11935201B2 (en) * | 2022-04-28 | 2024-03-19 | Dell Products Lp | Method and apparatus for using physical devices in extended reality environments |
| US11972526B1 (en) | 2023-03-31 | 2024-04-30 | Apple Inc. | Rendering of enrolled user's face for external display |
| CN116634177B (zh) * | 2023-06-16 | 2024-02-20 | 北京行者无疆科技有限公司 | 一种基于hdmi通信设备的视频通信解码处理方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3464754B2 (ja) * | 1997-09-19 | 2003-11-10 | 日本電信電話株式会社 | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 |
| JP2000004395A (ja) * | 1998-06-15 | 2000-01-07 | Sony Corp | ビデオカメラの画像処理装置及びヘッドマウントディスプレイ |
| JP4089027B2 (ja) * | 1998-09-04 | 2008-05-21 | ソニー株式会社 | 双方向通信システム、端末装置および制御方法 |
| US6806898B1 (en) | 2000-03-20 | 2004-10-19 | Microsoft Corp. | System and method for automatically adjusting gaze and head orientation for video conferencing |
| US7106358B2 (en) | 2002-12-30 | 2006-09-12 | Motorola, Inc. | Method, system and apparatus for telepresence communications |
| WO2007043954A1 (en) * | 2005-10-10 | 2007-04-19 | Tobii Technology Ab | Eye tracker having an extended span of operating distances |
| SE529156C2 (sv) * | 2005-10-28 | 2007-05-15 | Tobii Technology Ab | Ögonföljare med visuell återkoppling |
| US20080252637A1 (en) | 2007-04-14 | 2008-10-16 | Philipp Christian Berndt | Virtual reality-based teleconferencing |
| WO2010022882A2 (en) | 2008-08-25 | 2010-03-04 | Universität Zürich Prorektorat Mnw | Adjustable virtual reality system |
| US8436789B2 (en) * | 2009-01-16 | 2013-05-07 | Microsoft Corporation | Surface puck |
| JP4902765B2 (ja) * | 2010-03-31 | 2012-03-21 | 新日鉄ソリューションズ株式会社 | 情報処理システム及び情報処理方法 |
| KR102054363B1 (ko) * | 2012-02-27 | 2019-12-11 | 뮤즈 캐피탈 엘엘씨 | 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템 |
| KR102004265B1 (ko) * | 2012-12-28 | 2019-07-26 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법 |
| KR102277893B1 (ko) * | 2013-09-04 | 2021-07-15 | 에씰로 앙터나시오날 | 증강 현실을 위한 방법 및 시스템 |
| US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
| US10719950B2 (en) * | 2014-08-05 | 2020-07-21 | Sony Corporation | Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information |
| JP5720068B1 (ja) * | 2014-10-27 | 2015-05-20 | 治幸 岩田 | 自己撮影機能付スマートグラス |
| CN104539868B (zh) * | 2014-11-24 | 2018-06-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| GB2534580B (en) * | 2015-01-28 | 2020-06-17 | Sony Interactive Entertainment Europe Ltd | Image processing |
| US9910275B2 (en) * | 2015-05-18 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
-
2017
- 2017-02-03 CN CN201780068245.XA patent/CN109952759B/zh active Active
- 2017-02-03 KR KR1020197008799A patent/KR102574874B1/ko active IP Right Grant
- 2017-02-03 JP JP2019514013A patent/JP2020507221A/ja not_active Withdrawn
- 2017-02-03 WO PCT/EP2017/052449 patent/WO2018141408A1/en active Application Filing
- 2017-02-03 US US16/334,432 patent/US20210281802A1/en not_active Abandoned
- 2017-02-27 TR TR2017/02966A patent/TR201702966A2/tr unknown
- 2017-12-27 EP EP17210684.1A patent/EP3358835B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109952759A (zh) | 2019-06-28 |
| KR102574874B1 (ko) | 2023-09-05 |
| WO2018141408A1 (en) | 2018-08-09 |
| JP2020507221A (ja) | 2020-03-05 |
| US20210281802A1 (en) | 2021-09-09 |
| KR20190112712A (ko) | 2019-10-07 |
| CN109952759B (zh) | 2021-06-15 |
| EP3358835A1 (en) | 2018-08-08 |
| EP3358835B1 (en) | 2020-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TR201702966A2 (tr) | Kafaya takilan görüntüleme ci̇hazi (hmd&#8217#&ler)i̇le vi̇deo konferanslari i̇çi̇n i̇yi̇leşti̇ri̇lmi̇ş yöntem ve si̇stem | |
| US9959676B2 (en) | Presentation of enhanced communication between remote participants using augmented and virtual reality | |
| US11455032B2 (en) | Immersive displays | |
| CN113661691B (zh) | 用于提供扩展现实环境的电子设备、存储介质和方法 | |
| EP3954111A1 (en) | Multiuser asymmetric immersive teleconferencing | |
| KR20160091316A (ko) | 물리적 위치들 간 비디오 대화 | |
| CN107924589A (zh) | 通信系统 | |
| Roth et al. | SIAMC: a socially immersive avatar mediated communication platform | |
| TW201707444A (zh) | 視線校正(一) | |
| TW202141120A (zh) | 具可調整影像感測模組的頭戴式裝置及其系統 | |
| JP2018533124A (ja) | 注視仮想オブジェクト識別モジュール、注視半透過性を実現するためのシステム、および関連する方法 | |
| KR20170014818A (ko) | 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치 | |
| TW201639347A (zh) | 視線校正(二) | |
| US20230164304A1 (en) | Communication terminal device, communication method, and software program | |
| KR20150113795A (ko) | 눈맞춤 기능 제어 장치 및 방법 | |
| JP7012983B2 (ja) | 顔画像処理装置 | |
| CN113632458A (zh) | 广角相机透视体验的系统、算法和设计 | |
| JP2020160226A (ja) | 画像処理システム、及び画像処理方法 | |
| KR20190134639A (ko) | 가상현실 상호작용을 위한 개선된 방법 및 시스템 | |
| WO2020162035A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2022092747A (ja) | 表示画像処理システム及び表示画像処理装置 | |
| WO2023075810A1 (en) | System and method for extracting, transplanting live images for streaming blended, hyper-realistic reality | |
| EP4341777A1 (en) | Communication devices, adapting entity and methods for augmented/mixed reality communication |