TWI742481B - 視訊會議全景影像展開方法 - Google Patents

視訊會議全景影像展開方法 Download PDF

Info

Publication number
TWI742481B
TWI742481B TW108144979A TW108144979A TWI742481B TW I742481 B TWI742481 B TW I742481B TW 108144979 A TW108144979 A TW 108144979A TW 108144979 A TW108144979 A TW 108144979A TW I742481 B TWI742481 B TW I742481B
Authority
TW
Taiwan
Prior art keywords
image
panoramic
panoramic image
video conference
dimensional
Prior art date
Application number
TW108144979A
Other languages
English (en)
Other versions
TW202123081A (zh
Inventor
劉培中
Original Assignee
茂傑國際股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 茂傑國際股份有限公司 filed Critical 茂傑國際股份有限公司
Priority to TW108144979A priority Critical patent/TWI742481B/zh
Priority to CN202010073379.4A priority patent/CN113037994A/zh
Priority to US16/782,236 priority patent/US11375169B2/en
Publication of TW202123081A publication Critical patent/TW202123081A/zh
Application granted granted Critical
Publication of TWI742481B publication Critical patent/TWI742481B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種視訊會議全景影像展開方法，係透過一影像擷取(capture)步驟，以至少一全景攝影機擷取至少一視訊會議全景圖像或影像，並再經由一人身特徵辨識(bodily human features recognition)步驟，以分別辨識視訊會議全景圖像或影像中之各與會者被攝影對象的人身特徵辨識，並再依該人身特徵辨識結果，進行二維(2D)展開圖像分割點尋找、影像分割與二維圖像展開、縫合(Stitching)處理步驟，以該二維展開圖像分割點分別針對會議全景圖像或影像中之人身分割衝突予以即時(real time)閃避及修正分割點，以取得一即時反映與完全正確對應該原先視訊會議全景圖像或影像之二維全景圖像(Panorama)。

Description

視訊會議全景影像展開方法
本發明係關於一種視訊會議全景影像展開方法，特別是以人身特徵辨識來做為二維全景圖像展開之分割點閃避、調整與縫合、展開依據之方法。
按，習知全景攝影機廣泛使用於室內360度會議全景攝影及記錄場合，諸如具有多鏡頭之魚眼(Fisheye)鏡頭型態之全景攝影機，可以取得360度全景會議圖像或影像，然而，習知全景攝影機所使用之魚眼鏡頭會導致人物變形，甚至無法進行人臉辨識，必需進行變形校正、分割截取及縫合為二維全景圖像，就算使用習知非魚眼鏡頭之一般全景攝影機鏡頭，影像雖未變形，但要組合成二維全景圖像，也需經影像分割截取及縫合程序，無論如何，上述之魚眼鏡頭或非魚眼鏡頭之全景攝影機所取得之360度全景會議圖像或影像，在上述分割截取之處理過程中，會有切割到攝影對象之人臉問題，導致最終縫合形成二維之全景圖像時，會有遭切割攝影對象人臉被分開在兩側之問題及窘況，實乃目前全景攝影機應用於視訊會議全景影像展開所極待解決之課題。
如第一圖及第二圖所示，則顯示典型習知之魚眼鏡頭型式的全景攝影機之攝影及360度全景會議圖像或影像分割、縫合之操作方式，其中，為了避開切割截取過程，則在會議桌A的某一角度位置，例如：90度位置(即12點鐘方向)，設置一參考物B，以供置放於會議桌A中之全景攝影機C可以有360度全景會議圖像或影像分割、縫合之參考基準點，而為了避免參加視訊會的被攝影對象D1、D2、D3及D4在上述360度全景會議圖像或影像分割、縫合時，會有切割到被攝影對象D1、D2、D3或D4任一者的人臉、人身圖像或影像之情況，被攝影對象D1、D2、D3及D4的座 位安排亦必需避開該參考物B的前方涵蓋範圍，以讓使用者得以在選擇360度全景會議圖像或影像分割起始點時，得以用該參考物B為360度全景會議圖像或影像分割起始點，但如此一來，必需讓該全景攝影機C的至少一個鏡頭或一面必需對準該參考物B，因而大幅侷限該全景攝影機C的設置與應用範圍，並且，使該被攝影對象D1、D2、D3及D4的座位位置與數量也會因此被大幅限制，而不具產業利用價值及經濟效益。
另外，在先前專利技術文獻方面，如中華民國專利公報第I549070號「行動裝置及其控制方法」發明專利案，其主要目的是利用攝影鏡頭(即影像擷取單元110)所截取之全景影像中之人臉辨識來控制該行動裝置的休眠關閉螢幕或開啟螢幕之操作控制，但相同地，在諸如進行該360度全景會議圖像或影像分割操作的過程中，亦無法解決被攝影對象的人臉或人身被切割，而造成最終縫合形成二維之全景圖像時，會有遭切割攝影對象人臉被分開在兩側之問題及窘況。
除此之外，再如中華民國專利公報第I633499號「全景影像的顯示方法與其電子裝置」發明專利案，顯示一種應用於手機上之人臉辨識列出人臉顯示，後對某個人臉顯示操作時上方的全景圖示會響應其操作，其主要是應用在手機上的全景拍攝，並無法適用於一般室內的視訊會議系統，並且，該手機360 viewer的全景影像顯示皆為接續攝影畫面，並不是將一個全景影像或圖像，以上述的截取及縫合方式，形成該二維展開的全景圖像，也就是這樣的專利前案技術，並不能適用於室內的視訊會之全景影像的切割及縫合處理，退萬步言，就算可以應用，但也沒有辦法解決上述全景影像的切割及縫合處理過程中，該攝影對象的人臉或人身被切割之問題及缺點，仍有不具產業利用價值及經濟效益。
本發明之主要目的在於提供視訊會議全景影像展開方法，以消除上述習知及前案專利之全景攝影機使用於室內360度會議全景攝影及記錄場合，以及，該全景攝影機之攝影及360度全景會議圖像或影像分割、縫合展開形成之二維全景圖像的操作過程，所產生的與會者之被攝影對象的人臉或人身被切割，而造成最終縫合形成二維之全景圖像時，會有遭切 割攝影對象人臉或人身被分開在兩側之問題及缺點。
緣此，本發明之一種視訊會議全景影像展開方法，其步驟係包括：
(a)取得原始全景圖像或影像，即透過至少一全景攝影機攝影擷取取得至少一原始視訊會議全景圖像或影像；
(b)進行人身特徵辨識，即針對步驟(a)之全景攝影機攝影擷取取得至少一原始視訊會議全景圖像或影像中之與會者被攝影對象逐一進行人身特徵辨識；
(c)尋找二維圖像展開之分割點，並將該分割點定為二維全景影像展開的起始點，即根據步驟(b)經逐一與會者被攝影對象人身特徵辨識的原始視訊會議全景圖像或影像中，予以尋找到不會切割到與會者被攝影對象之人身特徵的分割點，並以此分割點作為將來二維全景影像展開起始點；
(d)依分割點進行所需影像區域的截取，即根據步驟(c)已尋找到的分割點進行該原始視訊會議全景圖像或影像區域的分割截取，亦即主要以該原始視訊會議全景圖像或影像中之各與會者被攝影對象之區域為主，進行分割截取，以截取得至少一準全景影像；
(e)將初步全景影像以該二維全景影像展開起始點進行組合、縫合，即將經由步驟(d)截取之準全景影像依據所對應的二維全景影像展開起始點，即步驟(c)之分割點，予以進行組合及縫合；
(f)形成一二維全景圖像，即經由步驟(e)之準全景影像組合及縫合後，即形成一展開之二維全景圖像。
進一步，本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機為一具魚眼鏡頭之全景攝影機所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機為一具多鏡頭之全景攝影機所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(b)中之人身特徵辨識為該與會者被攝影對象的人臉、五官、上半身人形輪廓或臉部動態影像之其中至少任一者或至少二者結合之特徵辨識。
上述本發明之一種視訊會議全景影像展開方法，其中，該步 驟(c)之尋找二維圖像展開之分割點，並將該分割點定為全景影像的起始點的步驟更包含：
(c1)隨機選取一測試分割點，於該步驟(b)經逐一與會者被攝影對象人身特徵辨識的原始視訊會議全景圖像或影像中，隨機選取一測試分割點；
(c2)測試分割點是否切割到人身特徵？如果是則進行步驟(c21)，如果不是則進行步驟(c22)，即依據該步驟(c1)所選出之測試分割點位置來判斷是否切割到步驟(c1)之任一與會者被攝影對象人身特徵；
(c21)移動測試分割點，即將步驟(c1)之測試分割點予以向順時針或逆時針方向進行移動，並再重覆步驟(c2)；
(c22)以該測試分割點作為二維圖像展開之分割點，即以步驟(c2)中不會切割到步驟(c1)之任一與會者被攝影對象人身特徵的測試分割點作為該二維圖像展開之分割點；
(c3)結束。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)~步驟(f)為一預先儲存於該步驟(a)之全景攝影機內之影像處理軟體所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一影像處理器，該步驟(a)~步驟(f)為一預先儲存於該影像處理器內之影像處理軟體所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一智慧型通訊裝置，該步驟(a)~步驟(f)為一預先儲存於該智慧型通訊裝置內之影像處理軟體所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結之智慧型通訊裝置為一智慧型手機所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結之智慧型通訊裝置為一平板電腦所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一桌上型電腦，該步驟(a)~步驟(f)為一預先儲存於該桌上型電腦內之影像處理軟體所構成。
上述本發明之一種視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一筆記型電腦，該步驟(a)~步驟(f)為一預先儲存於該筆記型電腦內之影像處理軟體所構成。
本發明之一種視訊會議全景影像展開方法之功效，係在於藉由該上述步驟(a)~(f)之各步驟，對於該景攝影機攝影擷取取得至少一原始視訊會議全景圖像或影像中之與會者被攝影對象，係以諸如：人臉、五官、上半身人形輪廓或臉部動態影像等人身特徵辨識處理，並以人身特徵辨識後之結果作為該提供該原始視訊會議全景圖像或影像最後切割及展開成二維全景圖像之分割點與起始點選擇依據，並且，該分割點可以隨機變化與移動，不必如習知技術設置任何參考物，即可在切割過程中，根據上述該原始視訊會議全景圖像或影像中之各與會者被攝影對象之人身特徵辨識結果予以選擇避開，可完全消弭上述習知或專利前案技術進行該360度全景會議圖像或影像分割操作的過程中，無法解決該與會者被攝影對象的人臉或人身被切割，而造成最終縫合形成二維之全景圖像，會有遭切割與會者攝影對象之人臉或人身被分開在兩側之問題及缺點，毋需增加任何設備及成本，並且，本發明所提供的原始視訊會議全景圖像或影像中之各與會者被攝影對象人身特徵辨識結果，也可以進一步提供後續該展開後的二維全景圖像的至少一選定的與會者被攝影對象的即時變動、放大鎖定追蹤影像應用功能，進一步提昇本發明之產業利用價值及經濟效益。
[本發明部份]
10‧‧‧取得原始全景圖像或影像
20‧‧‧進行人身特徵辨識
30‧‧‧尋找二維圖像展開之分割點，並將該分割點定為全景影像的起始點
31‧‧‧隨機選取一測試分割點
32‧‧‧測試分割點是否切割到人身特徵
33‧‧‧移動測試分割點
34‧‧‧以該測試分割點作為二維圖像展開之分割點
35‧‧‧結束
40‧‧‧依分割點進行所需影像區域的截取
50‧‧‧將初步全景影像以該二維全景影像展開起始點進行組合、縫合
60‧‧‧形成一二維全景圖像
60A‧‧‧全景攝影機
61‧‧‧影像處理器
62‧‧‧智慧型通訊裝置
63‧‧‧桌上型電腦
64‧‧‧筆記型電腦
70‧‧‧與會者被攝影對象
71‧‧‧與會者被攝影對象
72‧‧‧與會者被攝影對象
73‧‧‧與會者被攝影對象
74‧‧‧與會者被攝影對象
711‧‧‧即時放大鎖定追蹤影像
721‧‧‧即時放大鎖定追蹤影像
731‧‧‧即時放大鎖定追蹤影像
100‧‧‧二維全景圖像
100’‧‧‧二維全景圖像
X‧‧‧分割點
X’‧‧‧分割點
T‧‧‧測試分割點
P‧‧‧準全景影像
[習知部份]
A‧‧‧會議桌
B‧‧‧參考物
C‧‧‧全景攝影機
D1‧‧‧被攝影對象
D2‧‧‧被攝影對象
D3‧‧‧被攝影對象
D4‧‧‧被攝影對象
第一圖係習知視訊會議全景影像展開方法的操作示意圖；
第二圖為第一圖之習知二維全景影像展開示意圖；
第三圖係本發明之視訊會議全景影像展開方法的流程圖；
第四圖係本發明之視訊會議全景影像展開方法第一實施例之切割截取操作示意圖；
第五圖係本發明之視訊會議全景影像展開方法第一實施例的展開二 維全景圖像示意圖；
第六圖第三圖中之尋找二維圖像展開之分割點，並將該分割點定為全景影像的起始點步驟之施實例流程圖；
第七圖係本發明之視訊會議全景影像展開方法第一實施例之選取分割點切割截取操作示意圖之一；
第八圖係本發明之視訊會議全景影像展開方法第一實施例之選取分割點切割截取操作示意圖之二；
第九圖係本發明之視訊會議全景影像展開方法的第二實施例圖；
第十圖係本發明之視訊會議全景影像展開方法的第三實施例圖；
第十一圖係本發明之視訊會議全景影像展開方法的第四實施例圖；
第十二圖係本發明之視訊會議全景影像展開方法的第五實施例圖；
第十三圖係本發明之視訊會議全景影像展開方法的較佳應用例圖；
第十四圖係第十三圖中應用例之展開二維全景圖像示意圖；
第十五圖係第十四圖之展開二維全景圖像示意圖顯示之另一實施例圖。
請參閱如第三圖、第四圖及第五圖所示，第三圖為本發明之視訊會議全景影像展開方法之流程圖，其步驟係包含步驟10~60，其中：
(10)取得原始全景圖像或影像，即透過至少一全景攝影機60A(如第四圖所示)攝影擷取取得至少一原始視訊會議全景圖像或影像，該全景攝影機60A之型式不限，在本發明中係列舉以具魚眼鏡頭之全景攝影機為例，其他如具多鏡頭之全景攝影機亦不脫本發明之範疇；
(20)進行人身特徵辨識，即針對步驟10之全景攝影機60A攝影擷取取得至少一原始視訊會議全景圖像或影像中之與會者被攝影對象70、71、72及73逐一進行人身特徵辨識，該人身特徵辨識項目不限，在本發明中係列舉以 該與會者被攝影對象70、71、72及73的人臉、五官、上半身人形輪廓或臉部動態影像的其中至少一者或至少二者結合之特徵辨識為例；
(30)尋找二維圖像展開之分割點，並將該分割點定為二維全景影像展開的起始點，即根據步驟20經逐一與會者被攝影對象70、71、72及73人身特徵辨識的原始視訊會議全景圖像或影像中，予以尋找到不會切割到與會者被攝影對象70、71、72及73之人身特徵的分割點X(如第四圖及第五圖所示)，並以此分割點X作為將來二維全景影像100(如第五圖所示)展開起始點；
(40)依分割點進行所需影像區域的截取，即根據步驟30已尋找到的分割點X進行該原始視訊會議全景圖像或影像區域的分割截取，亦即主要以該原始視訊會議全景圖像或影像中之各與會者被攝影對象之區域為主進行分割截取，以截取得至少一準全景影像P(如第四圖下方所示)，此準全景影像P非最終之顯示圖像，係為虛擬圖像；
(50)將準全景影像以該二維全景影像展開起始點進行組合、縫合，即將經由步驟40截取之準全景影像P依據所對應的二維全景影像展開起始點，即步驟30之分割點X，予以進行組合及縫合，也就是根據該分割點X分割位於該與會者被攝影對象70及73之間，使該與會者被攝影對象70及73影像分割分別置於最左邊及最右邊位置，該與會者被攝影對象70影像右側與該與會者被攝影對象71影像之左側進行黏貼縫合，該與會者被攝影對象71影像右側與該與會者被攝影對象72影像之左側進行黏貼縫合，該與會者被攝影對象72影像右側與該與會者被攝影對象73影像之左側進行黏貼縫合；(60)形成一二維全景圖像，即經由步驟50之準全景影像P組合及縫合後，即形成一展開之二維全景圖像100。
上述本發明之視訊會議全景影像展開方法之流程圖中之步驟10~60係列舉單一分割點X為該至少一原始視訊會議全景圖像或影像的對應展開之二維全景圖像100之起始點，該分割點X之數量與位置選取、黏貼及縫合等組合程序不限於此，亦可以多個分割點X在不同的位置來作為該二維全景圖像100的組合、縫合的起始點，其操作步驟亦可比照上述步驟10~60而得到相同的對應展開之二維全景圖像100。
請再配合第六圖及第七圖所示，第六圖為上述第三圖所示之步驟(30)之本發明中之尋找二維圖像展開之分割點，並將該分割點定為全景影像的起始點步驟之施實例流程圖，係包含步驟31~35，其中：
(31)隨機選取一測試分割點，於上述第三圖所示之步驟20經逐一與會者被攝影對象70、71、72及73人身特徵辨識的原始視訊會議全景圖像或影像中，隨機選取一測試分割點T(如第七圖所示)；
(32)測試分割點是否切割到人身特徵？如果是則進行步驟33，如果不是則進行步驟34，即依據該步驟31所選出之測試分割點T位置來判斷是否切割到步驟31之任一與會者被攝影對象70、71、72及73人身特徵；
(33)移動測試分割點，即將步驟31之測試分割點T予以向順時針方向或逆時針方向進行移動，在本發明中係列舉該原來位於對應0度位置的測試分割點T向逆時針方向移動到45度角位置之例(如第七圖及第八圖對照所示)，並再重覆步驟32；
(34)以該測試分割點作為二維圖像展開之分割點，即以步驟(32)中不會切割到步驟(31)之任一與會者被攝影對象人身特徵的測試分割點T(如第八圖所示)作為該二維圖像展開之分割點X，也就是對應於第四圖所示之分割點X；
(35)結束。
上述第六圖~第八圖所示之本發明中之尋找二維圖像展開之分割點，並將該分割點定為全景影像的起始點步驟(31)~(35)之施實例流程圖及其對應的切割操作示意圖，係僅為便於說明本發明之技術內容及技術手段之實施例說明，並非用以限制本發明之範疇，舉凡是等效之切割操作流程與技術手段，當不脫本發明之範疇。
上述本發明第三圖所示之視訊會議全景影像展開方法之流程圖中之步驟10~60可以為一預先儲存於該步驟10之全景攝影機60A內之影像處理軟體所構成。
請再參閱第九圖所示，為本發明之視訊會議全景影像展開方法之第二實施例，其中，顯示該步驟10之全景攝影機60A連結至少一影像處理器61，而上述第三圖所示之步驟10~60可以為一預先儲存於該影像處理器61內部之軟體。
請再配合第十圖所示，為本發明之視訊會議全景影像展開方法之第三實施例，其中，顯示該步驟10之全景攝影機60A連結至少一智慧型通訊裝置62，而上述第三圖所示之步驟10~60可以為一預先儲存於該智慧型通訊裝置62內部之軟體，該智慧型通訊裝置62之型式不限，在本發明中係列舉智慧型手機、平板電腦為例。
請再參閱第十一圖所示，為本發明之視訊會議全景影像展開方法之第四實施例，其中，顯示該步驟10之全景攝影機60A連結至少一桌上型電腦63，而上述第三圖所示之步驟10~60可以為一預先儲存於該桌上型電腦63內部之軟體。
請再配合第十二圖所示，為本發明之視訊會議全景影像展開方法之第五實施例，其中，顯示該步驟10之全景攝影機60A連結至少一筆記型電腦64，而上述第三圖所示之步驟10~60可以為一預先儲存於該筆記型電腦64內部之軟體。
請再參閱第十三圖及第十四圖所示，為本發明之視訊會議全景影像展開方法的較佳應用例，其中，顯示在原先如第四圖所示及第五圖所示四個與會者被攝影對象70、71、72及73的展開之二維全景圖像100，如在視訊會議過程中，有另一個新的與會者被攝影對象74即時加入介入該與會者被攝影對象71及72之間時，同樣可即時藉由上述本發明方法之步驟10~60所示之視訊會議全景影像展開方法，讓該與會者被攝影對象70、71、74、72及73的人身特徵辨識結果，以及，新的分割點X’(如第十三圖所示)選取、影像重新黏貼、縫合等組合程序，同樣可以得到新的即時更新包括與會者被攝影對象70、71、74、72及73的展開之二維全景圖像100’(如第十四圖所示)。
請再配合第十五圖所示，為上述第十四圖中之本發明之視訊會議全景影像展開方法的較佳應用例的展開之二維全景圖像100’之另一顯示實施例，即該包括與會者被攝影對象70、71、74、72及73新的即時更新的展開之二維全景圖像100’在顯示過程中，並可再選定至少一與會者被攝影對象70、71、74、72或73的即時放大鎖定追蹤影像顯示，即在本發明第十五圖中係列舉將該與會者被攝影對象71、72及73作為該即時放大鎖定 追蹤影像之對象，並在該二維全景圖像100’下方分別顯示三個對應的即時放大鎖定追蹤影像711、721及731，以提供如視訊會議終端監控或會議發言記錄單位之即時放大鎖定追蹤功效。
在以上第三圖~第十五圖中所示本發明之視訊會議全景影像展開方法，其中所揭示的相關說明及圖式，係僅為便於闡明本發明的技術內容及技術手段，所揭示較佳實施例之一隅，並不而限制其範疇，並且，舉凡針對本發明之步驟、方法之等效替代修飾，皆不脫本發明之創作精神及範疇，其範圍將由以下的申請專利範圍來界定之。
10‧‧‧取得原始全景圖像或影像
20‧‧‧進行人身特徵辨識
40‧‧‧依分割點進行所需影像區域的截取
50‧‧‧將初步全景影像以該二維全景影像展開起始點進行組合、縫合
60‧‧‧形成一二維全景圖像

Claims (10)

  1. 一種視訊會議全景影像展開方法，其步驟係包括：(a)取得原始全景圖像或影像，即透過至少一全景攝影機攝影擷取取得至少一原始視訊會議全景圖像或影像；(b)進行人身特徵辨識，即針對步驟(a)之全景攝影機攝影擷取取得至少一原始視訊會議全景圖像或影像中之與會者被攝影對象逐一進行人臉、五官、上半身人形輪廓或臉部動態影像之其中至少任一者或至少二者結合之人身特徵辨識；(c)尋找二維圖像展開之分割點，並將該分割點定為二維全景影像展開的起始點，其步驟更包含：(c1)隨機選取一測試分割點，於該步驟(b)經逐一與會者被攝影對象人身特徵辨識的原始視訊會議全景圖像或影像中，隨機選取一測試分割點，(c2)測試分割點是否切割到人身特徵，如果是則進行步驟(c21)，如果不是則進行步驟(c22)，即依據該步驟(c1)所選出之測試分割點位置來判斷是否切割到步驟(c1)之任一與會者被攝影對象人身特徵，(c21)移動測試分割點，即將步驟(c1)之測試分割點予以向順時針或逆時針方向進行移動，並再重覆步驟(c2)，(c22)以該測試分割點作為二維圖像展開之分割點，即以步驟(c2)中不會切割到步驟(c1)之任一與會者被攝影對象人身特徵的測試分割點作為該二維圖像展開之分割點；(d)依分割點進行所需影像區域的截取，即根據步驟(c)之步驟(c22)已尋找到的分割點進行該原始視訊會議全景圖像或影像區域的分割截取，亦即主要以該原始視訊會議全景圖像或影像中之各與會者被攝影對象之區域為主進行分割截取，以截取得至少一準全景影像；(e)將準全景影像以該二維全景影像展開起始點進行組合、縫合，即將經由步驟(d)截取之準全景影像依據所對應的二維全景影像展開起始點，即步驟(c)之步驟(c22)之分割點，予以進行組合及縫合，並且在該二維全景影像下方貼合有至少一可任意選定之步驟(b)之與會者被攝影對象之即時放大鎖定追蹤影像；(f)形成一二維全景圖像，即經由步驟(e)之準全景影像組合及縫合後，即 形成一展開之二維全景圖像，且該二維全景圖像下方並貼合有至少一步驟(b)之與會者被攝影對象之即時放大鎖定追蹤影像。
  2. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機為一具魚眼鏡頭之全景攝影機所構成。
  3. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機為一具多鏡頭之全景攝影機所構成。
  4. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)~步驟(f)為一預先儲存於該步驟(a)之全景攝影機內之影像處理軟體所構成。
  5. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一影像處理器，該步驟(a)~步驟(f)為一預先儲存於該影像處理器內之影像處理軟體所構成。
  6. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一智慧型通訊裝置，該步驟(a)~步驟(f)為一預先儲存於該智慧型通訊裝置內之影像處理軟體所構成。
  7. 如申請專利範圍第6項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結之智慧型通訊裝置為一智慧型手機所構成。
  8. 如申請專利範圍第6項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結之智慧型通訊裝置為一平板電腦所構成。
  9. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一桌上型電腦，該步驟(a)~步驟(f)為一預先儲存於該桌上型電腦內之影像處理軟體所構成。
  10. 如申請專利範圍第1項所述之視訊會議全景影像展開方法，其中，該步驟(a)中之全景攝影機連結至少一筆記型電腦，該步驟(a)~步驟(f)為一預先儲存於該筆記型電腦內之影像處理軟體所構成。
TW108144979A 2019-12-09 2019-12-09 視訊會議全景影像展開方法 TWI742481B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108144979A TWI742481B (zh) 2019-12-09 2019-12-09 視訊會議全景影像展開方法
CN202010073379.4A CN113037994A (zh) 2019-12-09 2020-01-22 视频会议全景影像展开方法
US16/782,236 US11375169B2 (en) 2019-12-09 2020-02-05 Video conference panoramic image spreading method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108144979A TWI742481B (zh) 2019-12-09 2019-12-09 視訊會議全景影像展開方法

Publications (2)

Publication Number Publication Date
TW202123081A TW202123081A (zh) 2021-06-16
TWI742481B true TWI742481B (zh) 2021-10-11

Family

ID=76209940

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144979A TWI742481B (zh) 2019-12-09 2019-12-09 視訊會議全景影像展開方法

Country Status (3)

Country Link
US (1) US11375169B2 (zh)
CN (1) CN113037994A (zh)
TW (1) TWI742481B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824321B (zh) * 2021-07-02 2023-12-01 創惟科技股份有限公司 影像控制器、影像處理系統及影像修正方法
CN113784189B (zh) * 2021-08-31 2023-08-01 Oook(北京)教育科技有限责任公司 一种圆桌视频会议的生成方法、装置、介质和电子设备
US20230403367A1 (en) * 2022-06-08 2023-12-14 Microsoft Technology Licensing, Llc Customization of a user interface displaying a rendering of multiple participants of a hybrid communication session
WO2024091335A1 (en) * 2022-10-25 2024-05-02 Zoom Video Communications, Inc. Unified video stream in video conferencing
CN117422617B (zh) * 2023-10-12 2024-04-09 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI535285B (zh) * 2010-10-15 2016-05-21 Dainippon Printing Co Ltd Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4439763B2 (ja) * 2001-07-04 2010-03-24 株式会社リコー 画像録画再生システムおよび画像録画再生方法
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
TWI549070B (zh) 2015-08-18 2016-09-11 宏碁股份有限公司 行動裝置及其控制方法
US9842624B2 (en) * 2015-11-12 2017-12-12 Intel Corporation Multiple camera video image stitching by placing seams for scene objects
CN108076304A (zh) * 2016-11-15 2018-05-25 深圳三微思博科技有限公司 一种内置投影和摄像头阵列的视频处理方法和会议系统
TWI633499B (zh) 2017-06-22 2018-08-21 宏碁股份有限公司 全景影像的顯示方法及其電子裝置
CN108257086B (zh) * 2017-12-22 2021-04-13 微幻科技(北京)有限公司 一种全景照片处理的方法及装置
CN109035138B (zh) * 2018-08-17 2023-06-09 深圳如布科技有限公司 会议记录方法、装置、设备和存储介质
US20210127059A1 (en) * 2019-10-29 2021-04-29 Microsoft Technology Licensing, Llc Camera having vertically biased field of view

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI535285B (zh) * 2010-10-15 2016-05-21 Dainippon Printing Co Ltd Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法

Also Published As

Publication number Publication date
CN113037994A (zh) 2021-06-25
TW202123081A (zh) 2021-06-16
US11375169B2 (en) 2022-06-28
US20210176444A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
TWI742481B (zh) 視訊會議全景影像展開方法
EP3346329B1 (en) Image processing method and apparatus
JP2022017369A (ja) 角度分離されたサブシーンの合成およびスケーリング
US8345961B2 (en) Image stitching method and apparatus
JP4057241B2 (ja) 仮想カメラを有する改善された画像撮影システム
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN105303161A (zh) 一种多人拍照的方法及装置
JP2023541551A (ja) 複数のカメラからのウェブカム信号のマージ
CN113840070B (zh) 拍摄方法、装置、电子设备及介质
WO2022161340A1 (zh) 图像显示方法、装置及电子设备
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN113329172A (zh) 拍摄方法、装置及电子设备
WO2018166170A1 (zh) 一种图像处理的方法、装置及智能会议终端
TWI750967B (zh) 適用於具廣角網路攝影機之視訊會議系統之影像顯示方法
WO2020000393A1 (zh) 图像处理方法及装置、第一电子设备和图像处理系统
JP7424076B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
CN110264406B (zh) 图像处理装置及图像处理的方法
TW202211667A (zh) 全視角會議攝影裝置
WO2024001342A1 (zh) 成像畸变矫正方法及装置
TWI826119B (zh) 影像處理方法、系統以及非暫態電腦可讀取記錄媒體
US20240161343A1 (en) Image processing method, system, and non-transitory computer readable storage medium
CN110807729B (zh) 图像数据的处理方法及装置
WO2019061051A1 (zh) 一种拍照方法和拍照装置
WO2023225910A1 (zh) 视频显示方法及装置、终端设备及计算机存储介质
WO2019104629A1 (zh) 一种导播控制方法及装置