TWI792444B - 攝像頭的控制方法、裝置、介質和電子設備 - Google Patents
攝像頭的控制方法、裝置、介質和電子設備 Download PDFInfo
- Publication number
- TWI792444B TWI792444B TW110127253A TW110127253A TWI792444B TW I792444 B TWI792444 B TW I792444B TW 110127253 A TW110127253 A TW 110127253A TW 110127253 A TW110127253 A TW 110127253A TW I792444 B TWI792444 B TW I792444B
- Authority
- TW
- Taiwan
- Prior art keywords
- type
- information
- camera
- video frame
- frame image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004044 response Effects 0.000 claims abstract description 90
- 210000000056 organ Anatomy 0.000 claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Geometry (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
Abstract
一種攝像頭的控制方法、裝置、介質和電子設備,控制方法包括:即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊;對頭像資訊進行分析,獲取每個器官的器官標識資訊,器官標識資訊用於指示器官是否存在;基於器官標識資訊確定頭像資訊中的面部的面向類型,其中,面向類型包括:正向類型、側向類型和背向類型,正向類型表示頭像資訊中的面部朝向攝像頭,側向類型表示頭像資訊中的面部的一側朝向攝像頭,背向類型表示頭像資訊中的面部背向攝像頭;響應於面向類型為正向類型,控制攝像頭聚焦至授課教師;響應於面向類型為背向類型或側向類型,控制攝像頭聚焦至授課黑板。
Description
本發明涉及影像處理領域,具體而言,涉及一種攝像頭的控制方法、裝置、介質和電子設備。
隨著電腦技術的發展,基於互聯網的直播教學開始興起,而一種結合多媒體技術的全景智慧黑板也隨著直播教學應運而生,直播教學中通常採用攝像頭實現基於互聯網的遠端教學。
提供該發明內容部分以便以簡要的形式介紹構思,這些構思將在後面的具體實施方式部分被詳細描述。該發明內容部分並不旨在標識要求保護的技術方案的關鍵特徵或必要特徵,也不旨在用於限制所要求的保護的技術方案的範圍。
本發明的目的在於提供一種攝像頭的控制方法、裝置、介質和電子設備,能夠解決上述提到的至少一個技術問題。具體方案如下:
根據本發明的具體實施方式,本發明提供一種攝像頭的控制方法,包括:
即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊;
對所述頭像資訊進行分析,獲取每個器官的器官標識資訊,所述器官標識資訊用於指示所述器官是否存在;
基於所述器官標識資訊確定所述頭像資訊中的面部的面向類型,其中,所述面向類型,包括;正向類型、側向類型和背向類型,所述正向類型表示所述頭像資訊中的面部朝向攝像頭,所述側向類型表示所述頭像資訊中的面部的一側朝向攝像頭,所述背向類型表示所述頭像資訊中的面部背向所述攝像頭;
響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師;
響應於所述面向類型為背向類型或側向類型,控制所述攝像頭聚焦至授課黑板。
可選的,所述器官標識資訊至少包括左眼標識資訊和右眼標識資訊;
所述基於所述器官標識資訊確定所述頭像資訊中的面部相對於攝像頭的面向類型,包括:
響應於所述左眼標識資訊和所述右眼標識資訊均指示存在,確定所述面向類型為正向類型;
響應於所述左眼標識資訊和所述右眼標識資訊之一指示存在,確定所述面向類型為側向類型;
響應於所述左眼標識資訊和所述右眼標識資訊均指示不存在,確定所述面向類型為背向類型。
可選的,所述響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師包括:
響應於所述面向類型為正向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課教師,以獲取第一當前視頻幀圖像,其中,所述第一當前視頻幀圖像包括所述授課教師的全身影像資訊,且所述全身影像資訊佔據所述第一當前視頻幀圖像的第一區域,所述第一區域是預先設置的。
可選的,所述響應於所述面向類型為側向類型,控制所述攝像頭聚焦至授課黑板包括:
響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,以獲取第二當前視頻幀圖像,其中,所述第二當前視頻幀圖像包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中與所述面向類型相關聯的第二區域內,所述第二區域是預先設置的。
可選的,所述側向類型包括左側類型,響應於所述右眼標識資訊指示存在且所述左眼標識資訊指示不存在,確定所述側向類型為所述左側類型;
所述響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取第二當前視頻幀圖像,包括:
響應於所述側向類型為所述左側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像,其中,所述第二當前視頻幀圖像包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中左側的所述第二區域內。
可選的,所述側向類型包括右側類型,響應於所述左眼標識資訊指示存在且所述右眼標識資訊指示不存在,確定所述側向類型為所述右側類型;
所述響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取第二當前視頻幀圖像,包括:
響應於所述側向類型為所述右側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像,其中,所述第二當前視頻幀圖像包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中右側的所述第二區域內。
可選的,所述獲取直播課堂的視頻幀圖像中授課教師的頭像資訊,包括:
通過攝像頭即時獲取所述直播課堂的視頻幀圖像;
判斷所述視頻幀圖像是否包括所述授課教師的頭像資訊;
響應於所述視頻幀圖像包括所述授課教師的頭像資訊,獲取所述視頻幀圖像中授課教師的頭像資訊;
響應於所述視頻幀圖像不包括所述授課教師的頭像資訊,基於預設攝像參數調整所述攝像頭使得所述視頻幀圖像包括所述授課黑板的整體影像資訊。
根據本發明的具體實施方式,本發明提供一種攝像頭的控制裝置,包括:
頭像獲取組件,配置為即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊;
分析組件,配置為對所述頭像資訊進行分析,獲取每個器官的器官標識資訊,所述器官標識資訊用於指示所述器官是否存在;
確定組件,配置為基於所述器官標識資訊確定所述頭像資訊中的面部的面向類型,其中,所述正向類型表示所述頭像資訊中的面部朝向攝像頭,所述側向類型表示所述頭像資訊中的面部的一側朝向攝像頭,所述背向類型表示所述頭像資訊中的面部背向所述攝像頭;
聚焦控制組件,配置為響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師;以及配置為響應於所述面向類型為背向類型或側向類型,控制所述攝像頭聚焦至授課黑板。
可選的,所述器官標識資訊至少包括左眼標識資訊和右眼標識資訊;
相應的,所述確定組件,配置為:
響應於所述左眼標識資訊和所述右眼標識資訊均指示存在,確定所述面向類型為正向類型;
響應於所述左眼標識資訊和所述右眼標識資訊之一指示存在,確定所述面向類型為側向類型;
響應於所述左眼標識資訊和所述右眼標識資訊均指示不存在,確定所述面向類型為背向類型。
可選的,所述聚焦控制組件,配置為:
響應於所述面向類型為正向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課教師,以獲取第一當前視頻幀圖像,其中,所述第一當前視頻幀圖像包括所述授課教師的全身影像資訊,且所述全身影像資訊佔據所述第一當前視頻幀圖像的第一區域,所述第一區域是預先設置的;
以及
響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,以獲取第二當前視頻幀圖像,其中,所述第二當前視頻幀圖像包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中與所述面向類型相關聯的第二區域內,所述第二區域是預先設置的。
可選的,所述側向類型包括左側類型,響應於所述右眼標識資訊指示存在且所述左眼標識資訊指示不存在,確定所述側向類型為所述左側類型。
相應的,聚焦控制組件配置為:
響應於所述側向類型為所述左側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像,其中,所述第二當前視頻幀圖像包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中左側的所述第二區域內。
可選的,所述側向類型包括右側類型,響應於所述左眼標識資訊指示存在且所述右眼標識資訊指示不存在,確定所述側向類型為所述右側類型。
相應的,聚焦控制組件配置為:
響應於所述側向類型為所述右側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像,其中,所述第二當前視頻幀圖像包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中右側的所述第二區域內。
可選的,攝像頭的頭像獲取組件還包括:判斷組件以及處理組件。
通過攝像頭即時獲取所述直播課堂的視頻幀圖像;所述判斷組件配置為判斷所述視頻幀圖像是否包括所述授課教師的頭像資訊;
響應於所述視頻幀圖像包括所述授課教師的頭像資訊,所述處理組件獲取所述視頻幀圖像中授課教師的頭像資訊。
響應於所述視頻幀圖像不包括所述授課教師的頭像資訊,所述處理組件配置為基於預設攝像參數調整所述攝像頭使得所述視頻幀圖像包括所述授課黑板的整體影像資訊。
根據本發明的具體實施方式,本發明提供一種電腦可讀存儲介質,其上存儲有電腦程式,所述程式被處理器執行時實現如前述方面任一項所述攝像頭的控制方法。
根據本發明的具體實施方式,本發明提供一種電子設備,包括:一個或多個處理器;存儲裝置,用於存儲一個或多個程式,當所述一個或多個程式被所述一個或多個處理器執行時,使得所述一個或多個處理器實現如前述方面任一項所述攝像頭的控制方法。
本發明實施例的上述方案與相關技術相比,至少具有以下有益效果:
本發明提供了一種攝像頭的控制方法、裝置、介質和電子設備。本發明通過視頻幀圖像中授課教師的頭像資訊確定頭像資訊中面部的面向類型,然後,通過面向類型確定攝像頭的聚焦目標。使直播課堂中能夠結合教學過程為參與遠端直播教學的學生提供對應的、清晰的圖像,提高了教學體驗,保證了教學品質。
下面將參照圖式更詳細地描述本發明的實施例。雖然圖式中顯示了本發明的某些實施例,然而應當理解的是,本發明可以通過各種形式來實現,而且不應該被解釋為限於這裡闡述的實施例,相反提供這些實施例是為了更加透徹和完整地理解本發明。應當理解的是,本發明的圖式及實施例僅用於示例性作用,並非用於限制本發明的保護範圍。
應當理解,本發明的方法實施方式中記載的各個步驟可以按照不同的循序執行,和/或並存執行。此外,方法實施方式可以包括附加的步驟和/或省略執行示出的步驟。本發明的範圍在此方面不受限制。
本文使用的術語“包括”及其變形是開放性包括,即“包括但不限於”。術語“基於”是“至少部分地基於”。術語“一個實施例”表示“至少一個實施例”;術語“另一實施例”表示“至少一個另外的實施例”;術語“一些實施例”表示“至少一些實施例”。其他術語的相關定義將在下文描述中給出。
需要注意,本發明中提及的“第一”、“第二”等概念僅用於對不同的裝置、模組或單元進行區分,並非用於限定這些裝置、模組或單元所執行的功能的順序或者相互依存關係。
需要注意,本發明中提及的“一個”、“多個”的修飾是示意性而非限制性的,所屬技術領域中具有通常知識者應當理解,除非在上下文另有明確指出,否則應該理解為“一個或多個”。
本發明實施方式中的多個裝置之間所交互的消息或者資訊的名稱僅用於說明性的目的,而並不是用於對這些消息或資訊的範圍進行限制。
教學互動是一種重要的教學手段。即把教育活動看作是師生間、學生間進行的一種基於教學內容的交往和溝通,把教學過程視為一種動態發展的、教與學統一的交互影響和交互活動過程。在教學過程中,通過調節師生關係及其相互作用產生教學互動,達到提高教學效果的一種教學手段。
隨著電腦技術的發展,基於互聯網的直播教學開始興起,而一種結合多媒體技術的全景智慧黑板也隨著直播教學應運而生。在全景智慧黑板中,包括多個功能顯示區,每個功能顯示區用於顯示相同或不同的內容。例如,如圖1所示,在全景智慧黑板左側三分之一區域為影像顯示區域12,中部為教學內容顯示區域13,右側三分之一區域為互動區域14,上部為參與直播教學學生的頭像顯示區域11。整個全景智慧黑板不僅有功能顯示區,而且全景智慧黑板的整個區域都能夠作為黑板,在其表面進行書寫。全景智慧黑板將多個授課教師的授課活動集成與一體,既能在授課教師端顯示,也能在參與遠端教學的學生端顯示。使直播課堂中人物形象與教學內容緊密結合,有助於直播教學中的參與者克服距離感,增強現場感,提高教學的趣味性。
在一些實施例中,在直播課堂的現場中,採用一台固定機位和固定攝像參數的攝像機對授課教師的主要活動空間進行全景式拍攝,比如,在視頻幀圖像中包括授課教師影像和整塊黑板影像。但是,申請人發現這種攝像方式的視頻幀圖像,其圖像效果很難保證授課教師的人物影像與黑板中的字體影像均處於清晰狀態。也就無法保證參與遠端直播教學的學生能夠獲得良好的教學體驗。
為了克服上述問題,本發明提供一種攝像頭的控制方法、裝置、介質和電子設備。
下面結合圖式詳細說明本發明的具體實施例。
對本發明提供的一些實施例,即一種攝像頭的控制方法的實施例。
下面結合圖2對本發明實施例進行詳細說明。
本發明實施例所述直播課堂的現場中,採用一個攝像頭拍攝授課教師和授課黑板。但是,該攝像頭是可控的,能夠根據現場中的教學變化,自動調整聚焦位置。
步驟S201,即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊。
所述視頻幀圖像就是利用攝像頭即時拍攝的,其中包括授課教師的頭像資訊。
頭像資訊,也就是人物影像中的頭部資訊,包括:臉部資訊、器官資訊和後腦資訊。
器官資訊,包括:左眼資訊、右眼資訊、左眉資訊、右眉資訊、左耳資訊、右耳資訊、口部資訊和鼻部資訊。
在一些實施例中,利用經過訓練的頭像識別模型能夠從視頻幀圖像中即時識別並獲取授課教師的頭像資訊。
頭像識別模型可以基於之前的歷史頭像資訊獲得,例如以歷史頭像資訊作為訓練樣本訓練出頭像識別模型。關於根據頭像識別模型對歷史頭像資訊進行頭像識別的過程本實施例不做詳述,可參照相關技術中各種實現方式實施。
在一些實施例中,通過Canny算子邊緣檢測方法能夠從視頻幀圖像中檢測到授課教師頭像的輪廓資訊,並通過該輪廓資訊能夠獲得授課教師的頭像資訊。
步驟S202,對所述頭像資訊進行分析,獲取每個器官的器官標識資訊。
所述器官標識資訊用於指示所述器官是否存在。器官標識資訊,包括:左眼標識資訊和右眼標識資訊、左眉標識資訊和右眉標識資訊、左耳標識資訊和右耳標識資訊、口部標識資訊和鼻部標識資訊。例如,左眼標識資訊為1,表示在所述頭像資訊中存在左眼資訊;左眼標識資訊為0,表示在所述頭像資訊中不存在左眼資訊;同樣,右眼標識資訊為1,表示在所述頭像資訊中存在右眼資訊;右眼標識資訊為0,表示在所述頭像資訊中不存在右眼資訊。
利用經過訓練的器官識別模型能夠對所述頭像資訊進行識別,輸出器官標識資訊。
器官識別模型可以基於之前的歷史頭像資訊獲得,例如以歷史頭像資訊作為訓練樣本訓練出器官識別模型。關於根據器官識別模型對歷史頭像資訊進行器官識別的過程本實施例不做詳述,可參照相關技術中各種實現方式實施。
由於授課教師在授課過程中,其頭部是動態變換的,因此,器官標識資訊也是在動態變換的。
步驟S203,基於所述器官標識資訊確定所述頭像資訊中的面部的面向類型。
其中,所述面向類型,包括;正向類型、側向類型和背向類型。
所述正向類型表示所述頭像資訊中的面部朝向攝像頭。可以理解為,授課教師面向聽課學生進行授課、交流。
所述側向類型表示所述頭像資訊中的面部即不朝向黑板,也不朝向攝像頭,可以理解為,例如,授課教師的一側面朝向聽課學生,另一側面朝向黑板,授課教師基於黑板上的內容向聽課學生授課。所述背向類型表示所述頭像資訊中的面部背向所述攝像頭,可以理解為,授課教師背向聽課學生,例如授課教師朝向黑板在黑板上書寫。
可選的,所述器官標識資訊至少包括左眼標識資訊和右眼標識資訊。
相應的,所述基於所述器官標識資訊確定所述頭像資訊中的面部相對於攝像頭的面向類型,包括以下步驟:
步驟S203a,響應於所述左眼標識資訊和所述右眼標識資訊均指示存在,確定所述面向類型為正向類型。
可以理解為,如果一個頭像的雙眼都顯示在視頻幀圖像中,則表明該授課教師在授課時面部是朝向攝像頭方向的。
本發明實施例選擇左眼標識資訊和右眼標識資訊作為判斷面向類型的依據是因為:雙耳容易被頭髮遮擋,雙眉也容易被頭髮或帽子遮擋,且雙眉處於人臉比較突出的眉弓處,比較容易造成誤判,相較之下,採用左眼標識資訊和右眼標識資訊作為判斷面向類型的依據可以準確判斷出頭像資訊中的面部的面向類型。
步驟S203b,響應於所述左眼標識資訊和所述右眼標識資訊中的一個指示存在,所述左眼標識資訊和所述右眼標識資訊中的另一個指示不存在時,確定所述面向類型為側向類型。
進一步的,所述側向類型包括左側類型和右側類型。
響應於所述右眼標識資訊指示存在且所述左眼標識資訊指示不存在,確定所述面向類型為左側類型。
響應於所述左眼標識資訊指示存在且所述右眼標識資訊指示不存在,確定所述面向類型為右側類型。
例如,具體地,對於所述左眼標識資訊和右眼標識資訊,步驟S203b還包括:
步驟S203b-1,響應於僅所述左眼標識資訊指示存在且所述右眼標識資訊指示不存在,確定所述面向類型為右側類型;
步驟S203b-2,響應於僅所述右眼標識資訊指示存在且所述左眼標識資訊指示不存在,確定所述面向類型為左側類型。
步驟S203c,響應於所述左眼標識資訊和所述右眼標識資訊均指示不存在時,確定所述面向類型為背向類型。
可以理解為,當頭像資訊中不存在左眼資訊和右眼資訊,表明授課教師背對著攝像機,例如授課教師朝向黑板。
步驟S204,響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師。
當所述面向類型為正向類型時,也就是授課教師背對著授課黑板且面部朝向聽課學生,此時,授課教師的授課重點不在授課黑板上,因此,將攝像頭聚焦至授課教師。可以理解為,使授課教師的影像清晰。引導參與直播教學的學生將注意力集中至授課教師,聽取授課教師的講課內容。
可選的,所述響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師包括以下步驟:
響應於所述面向類型為正向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課教師,以獲取第一當前視頻幀圖像21,其中,所述第第一當前視頻幀圖像21包括所述授課教師的全身影像資訊,且所述全身影像資訊佔據所述第一當前視頻幀圖像21的第一區域23。
其中,所述第一區域23是預先設置的。
例如,如圖3所示,第一區域23位於第一當前視頻幀圖像21中間區域,通過調整攝像頭的焦距使第一區域23的高等於第一當前視頻幀圖像21的高,這裡所說的第一區域23的高指的是第一區域23在圖3中的垂直方向上的長度,這裡所說的第一當前視頻幀圖像21的高指的是第一當前視頻幀圖像21在圖3中的垂直方向上的長度,從而使授課教師的全身影像處於第一當前視頻幀圖像21最醒目的位置,同時將攝像頭聚焦至所述授課教師,從而保證目標的清晰度。
步驟S205,響應於所述面向類型為背向類型或側向類型,控制所述攝像頭聚焦至授課黑板。
當所述面向類型為背向類型或側向類型時,意味著,授課內容與授課黑板相關,因此,控制所述攝像頭聚焦至授課黑板。可以理解為,使授課黑板上的文字更清晰。引導參與直播教學的學生將注意力集中至授課黑板上。
可選的,所述響應於所述面向類型為側向類型,控制所述攝像頭聚焦至授課黑板包括以下步驟:
響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,以獲取第二當前視頻幀圖像22,其中,所述第二當前視頻幀圖像22包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像22中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,例如所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比例如大於等於0.9且小於等於1。且使所述授課教師的影像資訊位於所述視頻幀圖像中與所述面向類型相關聯的第二區域24內。這裡所說的授課黑板的影像資訊的高度指的是所述授課黑板在圖4或圖5中的垂直方向上的長度,這裡所說的第二當前視頻幀圖像22的高度指的是第二當前視頻幀圖像22在圖4或圖5中的垂直方向上的長度。
本發明實施例不僅控制所述攝像頭聚焦至授課黑板,而且將授課教師的身體姿態與黑板內容結合起來,以便根據授課教師對授課黑板的動作聚焦至對應的黑板上的內容。例如,授課教師在黑板中書寫,或授課教師在指點黑板內容。
在一個具體實施例中,所述側向類型包括左側類型,響應於所述右眼標識資訊指示存在且所述左眼標識資訊指示不存在,確定所述側向類型為所述左側類型。也就是,在視頻幀圖像中授課教師的頭像資訊中僅存在右眼資訊,不存在左眼資訊。可以理解為,授課教師側身授課,其右側面部朝向學生。當授課教師不是正向面對學生授課時,希望學生將注意力轉移至黑板。
相應的,所述響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取第二當前視頻幀圖像22,包括以下步驟:
響應於所述側向類型為所述左側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像22,其中,所述第二當前視頻幀圖像22包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像22中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像22中左側的所述第二區域24內。
例如,如圖4所示,側向類型為左側類型時,表明授課教師在講解授課黑板中的內容,因此,所述第二當前視頻幀圖像22中的所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,例如等於1,出於正常的閱讀習慣,使授課教師的影像資訊佈置在第二當前視頻幀圖像22中左側,再加上控制所述攝像頭聚焦至授課黑板,具體地聚焦至黑板上的當前涉及的內容,即當前板面資訊,以便聽課學生將注意力轉移至授課黑板中的內容。
在一個具體實施例中,所述側向類型包括右側類型,響應於所述左眼標識資訊指示存在且所述右眼標識資訊指示不存在,確定所述側向類型為所述右側類型。也就是,在視頻幀圖像中授課教師的頭像資訊中僅存在左眼資訊,不存在右眼資訊。可以理解為,授課教師側身授課,其左側面部朝向學生。當授課教師不是正向面對學生授課時,希望學生將注意力轉移。
相應的,所述響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取第二當前視頻幀圖像22,包括以下步驟:
響應於所述側向類型為所述右側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像22,其中,所述第二當前視頻幀圖像22包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像22中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像22中右側的所述第二區域24內。
例如,如圖5所示,側向類型為右側類型時,表明授課教師在講解授課黑板中的內容,因此,所述第二當前視頻幀圖像22中的所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,例如,等於1,出於正常閱讀習慣,使授課教師的影像資訊佈置在第二當前視頻幀圖像22中右側,再加上控制所述攝像頭聚焦至授課黑板,具體地聚焦至黑板上的當前涉及的內容,即當前板面資訊,以便聽課學生將注意力轉移至授課黑板中的內容。
面向類型為背向類型時,表明授課教師正在授課黑板中書寫授課內容。響應於所述面向類型為背向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課教師,以獲取第三當前視頻幀圖像因此,所述第三當前視頻幀圖像中的所述授課黑板的影像資訊的高度與所述第三當前視頻幀圖像的高度比滿足預設高度比範圍,例如等於1;由於正常書寫習慣是自左至右,因此,授課教師的影像資訊佈置在第三當前視頻幀圖像中右側,再加上控制所述攝像頭聚焦至授課教師左側的授課黑板,以便聽課學生將注意力轉移至授課黑板中的內容。
本發明是以追蹤授課教師的頭像資訊作為聚焦的依據,但是,在追蹤授課教師的頭像資訊的過程中,有可能發生授課教師的頭像資訊不在視頻幀圖像中,例如,授課教師尚未進入直播課堂中,或追蹤的頭像資訊丟失。為了避免授課教師不在攝像頭的視頻幀圖像內,無法聚焦至目標。可選的,所述獲取直播課堂的視頻幀圖像中授課教師的頭像資訊包括以下步驟:
步驟S201-1,通過攝像頭即時獲取所述直播課堂的視頻幀圖像。
步驟S201-2,判斷所述視頻幀圖像是否包括所述授課教師的頭像資訊。
利用經過訓練的頭像識別模型能夠從所述視頻幀圖像中識別出授課教師的頭像資訊。
步驟S201-3,響應於所述視頻幀圖像包括所述授課教師的頭像資訊,獲取所述視頻幀圖像中授課教師的頭像資訊。
表明視頻幀圖像中包括授課教師的頭像資訊,由此可以獲取授課教師的頭像資訊。進而可以執行前述步驟以便對目標對象進行聚焦。
步驟S201-4,響應於所述視頻幀圖像不包括所述授課教師的頭像資訊,則基於預設攝像參數調整所述攝像頭使得所述視頻幀圖像包括所述授課黑板的整體影像資訊。
具體地,如果在視頻幀圖像中不包括授課教師的頭像資訊,表明在目標追蹤過程中目標丟失;或目標尚未進入攝像頭的追蹤範圍。比如開課前。
預設攝像參數,包括:攝像頭的焦距資訊、攝像角度資訊和聚焦資訊。預設攝像參數的目的是為了使視頻幀圖像包括所述授課黑板的全景影像資訊,從而擴大攝像頭的攝像範圍,提高追蹤目標的範圍。
本發明實施例通過視頻幀圖像中授課教師的頭像資訊確定頭像資訊中面部的面向類型,然後,通過面向類型確定攝像頭的聚焦目標。使直播課堂中能夠結合教學過程為參與遠端直播教學的學生提供對應的、清晰的圖像,提高了教學體驗,保證了教學品質。
與本發明提供的前述實施例相對應,本發明還提供了一些實施例,即一種攝像頭的控制裝置。由於該些實施例基本相似於前述實施例,所以描述得比較簡單,相關的部分請參見前述實施例的對應說明即可。下述描述的裝置實施例僅僅是示意性的。
圖6示出了本發明提供的一種攝像頭的控制裝置的實施例。
如圖6所示,本發明提供一種攝像頭的控制裝置600,包括:
頭像獲取組件601,配置為即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊;
分析組件602,配置為對所述頭像資訊進行分析,獲取每個器官的器官標識資訊,所述器官標識資訊用於指示所述器官是否存在;
確定組件603,配置為基於所述器官標識資訊確定所述頭像資訊中的面部的面向類型,其中,所述正向類型表示所述頭像資訊中的面部朝向攝像頭,所述側向類型表示所述頭像資訊中的面部的一側朝向攝像頭,所述背向類型表示所述頭像的面部背向所述攝像頭;
聚焦控制組件604,配置為響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師;以及配置為響應於所述面向類型為背向類型或側向類型,控制所述攝像頭聚焦至授課黑板。
可選的,所述器官標識資訊至少包括左眼標識資訊和右眼標識資訊;
相應的,所述確定組件603,配置為:
響應於所述左眼標識資訊和所述右眼標識資訊均指示存在,確定所述面向類型為正向類型;
響應於所述左眼標識資訊和所述右眼標識資訊之一指示存在,確定所述面向類型為側向類型;
響應於所述左眼標識資訊和所述右眼標識資訊均指示不存在,確定所述面向類型為背向類型。
可選的,所述聚焦控制組件604,配置為:
響應於所述面向類型為正向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課教師,以獲取第一當前視頻幀圖像21,其中,所述第一當前視頻幀圖像21包括所述授課教師的全身影像資訊,且所述全身影像資訊佔據所述第一當前視頻幀圖像21的第一區域23,所述第一區域23是預先設置的;
以及
響應於所述面向類型為側向類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,以獲取第二當前視頻幀圖像22,其中,所述第二當前視頻幀圖像22包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像22中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像22中與所述面向類型相關聯的第二區域24內,所述第二區域24是預先設置的。
可選的,所述側向類型包括左側類型,響應於所述右眼標識資訊指示存在且所述左眼標識資訊指示不存在,確定所述側向類型為所述左側類型。
相應的,聚焦控制組件604配置為:
響應於所述側向類型為所述左側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像22,其中,所述第二當前視頻幀圖像22包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像22中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像中左側的所述第二區域24內。
可選的,所述側向類型包括右側類型,響應於所述左眼標識資訊指示存在且所述右眼標識資訊指示不存在,確定所述側向類型為所述右側類型。
相應的,聚焦控制組件604配置為:
響應於所述側向類型為所述右側類型,控制所述攝像頭的焦距和拍攝角度且聚焦至所述授課黑板,獲取所述第二當前視頻幀圖像22,其中,所述第二當前視頻幀圖像22包括所述授課黑板的影像資訊和所述授課教師的影像資訊,在所述第二當前視頻幀圖像22中所述授課黑板的影像資訊的高度與所述第二當前視頻幀圖像22的高度比滿足預設高度比範圍,且使所述授課教師的影像資訊位於所述第二當前視頻幀圖像22中右側的所述第二區域24內。
可選的,如圖6所示,攝像頭的頭像獲取組件601還包括:判斷組件6011以及處理組件6012。
通過攝像頭即時獲取所述直播課堂的視頻幀圖像;所述判斷組件6011配置為判斷所述視頻幀圖像是否包括所述授課教師的頭像資訊;
響應於所述視頻幀圖像包括所述授課教師的頭像資訊,所述處理組件6012獲取所述視頻幀圖像中授課教師的頭像資訊。
響應於所述視頻幀圖像不包括所述授課教師的頭像資訊,所述處理組件6012配置為基於預設攝像參數調整所述攝像頭使得所述視頻幀圖像包括所述授課黑板的整體影像資訊。
本發明實施例通過視頻幀圖像中授課教師的頭像資訊確定頭像資訊中面部的面向類型,然後,通過面向類型確定攝像頭的聚焦目標。使直播課堂中能夠結合教學過程為參與遠端直播教學的學生提供對應的、清晰的圖像,提高了教學體驗,保證了教學品質。
本發明一些實施例提供了一種電子設備,該設備用於攝像頭的控制方法,所述電子設備,包括:至少一個處理器;以及,與所述至少一個處理器通信連接的記憶體;其中,
所述記憶體存儲有可被所述一個處理器執行的指令,所述指令被所述至少一個處理器執行,以使所述至少一個處理器能夠執行如前述實施例所述攝像頭的控制方法。
本發明實施例提供了一種電腦可讀存儲介質,所述電腦可讀存儲介質存儲有電腦可執行指令,該電腦可執行指令可執行如前述實施例中所述攝像頭的控制方法。
下面參考圖7,其示出了適於用來實現本發明實施例的電子設備的結構示意圖。本發明實施例中的終端設備可以包括但不限於諸如行動電話、筆記型電腦、數位廣播接收器、PDA(個人數位助理)、PAD(平板電腦)、PMP(可擕式多媒體播放機)、車載終端(例如車載導航終端)等等的移動終端以及諸如數位TV、臺式電腦等等的固定終端。圖7示出的電子設備僅僅是一個示例,不應對本發明實施例的功能和使用範圍帶來任何限制。
如圖7所示,電子設備可以包括處理裝置(例如中央處理器、圖形處理器等)701,其可以根據存儲在唯讀記憶體(ROM)702中的程式或者從存儲裝置708載入到隨機訪問記憶體(RAM)703中的程式而執行各種適當的動作和處理。在RAM 703中,還存儲有電子設備操作所需的各種程式和數據。處理裝置701、ROM 702以及RAM 703通過匯流排704彼此相連。輸入/輸出(I/O)介面705也連接至匯流排704。
通常,以下裝置可以連接至I/O介面705:包括例如觸控式螢幕、觸控板、鍵盤、滑鼠、攝像頭、麥克風、加速度計、陀螺儀等的輸入裝置706;包括例如液晶顯示器(LCD)、揚聲器、振動器等的輸出裝置707;包括例如磁帶、硬碟等的存儲裝置708;以及通信裝置709。通信裝置709可以允許電子設備與其他設備進行無線或有線通信以交換數據。雖然圖7示出了具有各種裝置的電子設備,但是應理解的是,並不要求實施或具備所有示出的裝置。可以替代地實施或具備更多或更少的裝置。
特別地,根據本發明的實施例,上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如,本發明的實施例包括一種電腦程式產品,其包括承載在非暫態電腦可讀介質上的電腦程式,該電腦程式包含用於執行流程圖所示的方法的程式碼。在這樣的實施例中,該電腦程式可以通過通信裝置709從網路上被下載和安裝,或者從存儲裝置708被安裝,或者從ROM 702被安裝。在該電腦程式被處理裝置701執行時,執行本發明實施例的方法中限定的上述功能。
需要說明的是,本發明上述的電腦可讀介質可以是電腦可讀信號介質或者電腦可讀存儲介質或者是上述兩者的任意組合。電腦可讀存儲介質例如可以是——但不限於——電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件,或者任意以上的組合。電腦可讀存儲介質的更具體的例子可以包括但不限於:具有一個或多個導線的電連接、可擕式電腦磁片、硬碟、隨機訪問記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、光纖、可擕式緊湊磁片唯讀記憶體(CD-ROM)、光記憶體件、磁記憶體件、或者上述的任意合適的組合。在本發明中,電腦可讀存儲介質可以是任何包含或存儲程式的有形介質,該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。而在本發明中,電腦可讀信號介質可以包括在基帶中或者作為載波一部分傳播的數據信號,其中承載了電腦可讀的程式碼。這種傳播的數據信號可以採用多種形式,包括但不限於電磁信號、光信號或上述的任意合適的組合。電腦可讀信號介質還可以是電腦可讀存儲介質以外的任何電腦可讀介質,該電腦可讀信號介質可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。電腦可讀介質上包含的程式碼可以用任何適當的介質傳輸,包括但不限於:電線、光纜、RF(射頻)等等,或者上述的任意合適的組合。
在一些實施方式中,客戶端、伺服器可以利用諸如HTTP(HyperText Transfer Protocol,超文字傳輸協定)之類的任何當前已知或未來研發的網路通訊協定進行通信,並且可以與任意形式或介質的數位數據通信(例如,通信網路)互連。通信網路的示例包括局域網(“LAN”),廣域網路(“WAN”),網際網(例如,互聯網)以及端對端網路(例如,ad hoc端對端網路),以及任何當前已知或未來研發的網路。
上述電腦可讀介質可以是上述電子設備中所包含的;也可以是單獨存在,而未裝配入該電子設備。
可以以一種或多種程式設計語言或其組合來編寫用於執行本發明的操作的電腦程式代碼,上述程式設計語言包括但不限於面向對象的程式設計語言—諸如Java、Smalltalk、C++,還包括常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。程式碼可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作為一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路——包括局域網(LAN)或廣域網路(WAN)—連接到用戶電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。
圖式中的流程圖和框圖,圖示了按照本發明各種實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模組、程式段、或代碼的一部分,該模組、程式段、或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意,在有些作為替換的實現中,方框中所標注的功能也可以以不同於圖式中所標注的順序發生。例如,兩個接連地表示的方框實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執行規定的功能或操作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
描述於本發明實施例中所涉及到的單元可以通過軟體的方式實現,也可以通過硬體的方式來實現。其中,單元的名稱在某種情況下並不構成對該單元本身的限定。
本文中以上描述的功能可以至少部分地由一個或多個硬體邏輯部件來執行。例如,非限制性地,可以使用的示範類型的硬體邏輯部件包括:現場可程式設計閘陣列(FPGA)、專用積體電路(ASIC)、專用標準產品(ASSP)、片上系統(SOC)、複雜可程式設計邏輯裝置(CPLD)等等。
在本發明的上下文中,機器可讀介質可以是有形的介質,其可以包含或存儲以供指令執行系統、裝置或設備使用或與指令執行系統、裝置或設備結合地使用的程式。機器可讀介質可以是機器可讀信號介質或機器可讀儲存介質。機器可讀介質可以包括但不限於電子的、磁性的、光學的、電磁的、紅外的、或半導體系統、裝置或設備,或者上述內容的任何合適組合。機器可讀存儲介質的更具體示例會包括基於一個或多個線的電氣連接、可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦除可程式設計唯讀記憶體(EPROM或快閃記憶體)、光纖、便捷式緊湊盤唯讀記憶體(CD-ROM)、光學儲存設備、磁儲存設備、或上述內容的任何合適組合。
以上描述僅為本發明的較佳實施例以及對所運用技術原理的說明。所屬技術領域中具有通常知識者應當理解,本發明中所涉及的公開範圍,並不限於上述技術特徵的特定組合而成的技術方案,同時也應涵蓋在不脫離上述公開構思的情況下,由上述技術特徵或其等同特徵進行任意組合而形成的其它技術方案。例如上述特徵與本發明中公開的(但不限於)具有類似功能的技術特徵進行互相替換而形成的技術方案。
此外,雖然採用特定次序描繪了各操作,但是這不應當理解為要求這些操作以所示出的特定次序或以順序次序執行來執行。在一定環境下,多工和並行處理可能是有利的。同樣地,雖然在上面論述中包含了若干具體實現細節,但是這些不應當被解釋為對本發明的範圍的限制。在單獨的實施例的上下文中描述的某些特徵還可以組合地實現在單個實施例中。相反地,在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合的方式實現在多個實施例中。
儘管已經採用特定於結構特徵和/或方法邏輯動作的語言描述了本主題,但是應當理解所附申請專利範圍中所限定的主題未必局限於上面描述的特定特徵或動作。相反,上面所描述的特定特徵和動作僅僅是實現申請專利範圍的示例形式。
11: 頭像顯示區域
12: 影像顯示區域
13: 教學內容顯示區域
14: 互動區域
21: 第一當前視頻幀圖像
22: 第二當前視頻幀圖像
23: 第一區域
24: 第二區域
600: 控制裝置
601: 頭像獲取組件
6011: 判斷組件
6012: 處理組件
602: 分析組件
603: 確定組件
604: 聚焦控制組件
701: 處理裝置
702: 唯讀記憶體
703: 隨機訪問記憶體
704: 匯流排
705: I/O介面
706: 輸入裝置
707: 輸出裝置
708: 存儲裝置
709: 通信裝置
S201: 即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊
S202: 對所述頭像資訊進行分析,獲取每個器官的器官標識資訊
S203: 基於所述器官標識資訊確定所述頭像資訊中的面部的面向類型
S204: 響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師
S205: 響應於所述面向類型為背向類型或側向類型,控制所述攝像頭聚焦至授課黑板
結合圖式並參考以下具體實施方式,本發明各實施例的上述和其他特徵、優點及方面將變得更加明顯。貫穿圖式中,相同或相似的圖式標記表示相同或相似的元素。應當理解圖式是示意性的,元件和元素不一定按照比例繪製。在圖式中:
圖1示出了全景智慧黑板示意圖;
圖2示出了根據本發明實施例的攝像頭的控制方法的流程圖;
圖3示出了根據本發明實施例的攝像頭的控制方法的一種視頻幀圖像的示意圖;
圖4示出了根據本發明實施例的攝像頭的控制方法的又一種視頻幀圖像的示意圖;
圖5示出了根據本發明實施例的攝像頭的控制方法的又一種視頻幀圖像的示意圖;
圖6示出了根據本發明實施例的攝像頭的控制裝置的結構框圖;
圖7示出了根據本發明的實施例的電子設備連接結構示意圖。
S201: 即時獲取直播課堂的視頻幀圖像中授課教師的頭像資訊
S202: 對所述頭像資訊進行分析,獲取每個器官的器官標識資訊
S203: 基於所述器官標識資訊確定所述頭像資訊中的面部的面向類型
S204: 響應於所述面向類型為正向類型,控制所述攝像頭聚焦至所述授課教師
S205: 響應於所述面向類型為背向類型或側向類型,控制所述攝像頭聚焦至授課黑板
Claims (9)
- 一種攝像頭的控制方法,包括:即時獲取直播課堂的一視頻幀圖像中一授課教師的一頭像資訊;對該頭像資訊進行分析,獲取每個器官的一器官標識資訊,該器官標識資訊用於指示器官是否存在;基於該器官標識資訊確定該頭像資訊中的面部的一面向類型,其中,該面向類型,包括:一正向類型、一側向類型和一背向類型,該正向類型表示該頭像資訊中的面部朝向該攝像頭,該側向類型表示該頭像資訊中的面部的一側朝向該攝像頭,該背向類型表示該頭像資訊中的面部背向該攝像頭;響應於該面向類型為該正向類型,控制該攝像頭聚焦至該授課教師;及響應於該面向類型為該背向類型或該側向類型,控制該攝像頭聚焦至一授課黑板;其中,該器官標識資訊至少包括一左眼標識資訊和一右眼標識資訊;基於該器官標識資訊確定該頭像資訊中的面部相對於該攝像頭的該面向類型,包括:響應於該左眼標識資訊和該右眼標識資訊均指示存在,確定該面向類型為該正向類型;響應於該左眼標識資訊和該右眼標識資訊之一指示存在,確定該面向類型為該側向類型;及 響應於該左眼標識資訊和該右眼標識資訊均指示不存在,確定該面向類型為該背向類型。
- 如請求項1所述之攝像頭的控制方法,其中,響應於該面向類型為該正向類型,控制該攝像頭聚焦至該授課教師包括:響應於該面向類型為該正向類型,控制該攝像頭的焦距和拍攝角度且聚焦至該授課教師,以獲取一第一當前視頻幀圖像,其中,該第一當前視頻幀圖像包括該授課教師的一全身影像資訊,且該全身影像資訊佔據該第一當前視頻幀圖像的一第一區域,該第一區域是預先設置的。
- 如請求項1所述之攝像頭的控制方法,其中,響應於該面向類型為該側向類型,控制該攝像頭聚焦至該授課黑板包括:響應於該面向類型為該側向類型,控制該攝像頭的焦距和拍攝角度且聚焦至該授課黑板,以獲取一第二當前視頻幀圖像,其中,該第二當前視頻幀圖像包括該授課黑板的影像資訊和該授課教師的影像資訊,在該第二當前視頻幀圖像中該授課黑板的影像資訊的高度與該第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使該授課教師的影像資訊位於該第二當前視頻幀圖像中與該面向類型相關聯的一第二區域內,該第二區域是預先設置的。
- 如請求項3所述之攝像頭的控制方法,其中,該側向類型包括一左側類型,響應於該右眼標識資訊指示存在且該左眼標識資訊指示不存在,確定該側向類型為該左側類型;及響應於該面向類型為該側向類型,控制該攝像頭的焦距和拍攝角度且聚焦至該授課黑板,獲取該第二當前視頻幀圖像,包括: 響應於該側向類型為該左側類型,控制該攝像頭的焦距和拍攝角度且聚焦至該授課黑板,獲取該第二當前視頻幀圖像,其中,該第二當前視頻幀圖像包括該授課黑板的影像資訊和該授課教師的影像資訊,在該第二當前視頻幀圖像中該授課黑板的影像資訊的高度與該第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使該授課教師的影像資訊位於該第二當前視頻幀圖像中左側的該第二區域內。
- 如請求項3所述之攝像頭的控制方法,其中,該側向類型包括一右側類型,響應於該左眼標識資訊指示存在且該右眼標識資訊指示不存在,確定該側向類型為該右側類型;及響應於該面向類型為該側向類型,控制該攝像頭的焦距和拍攝角度且聚焦至該授課黑板,獲取該第二當前視頻幀圖像,包括:響應於該側向類型為該右側類型,控制該攝像頭的焦距和拍攝角度且聚焦至該授課黑板,獲取該第二當前視頻幀圖像,其中,該第二當前視頻幀圖像包括該授課黑板的影像資訊和該授課教師的影像資訊,在該第二當前視頻幀圖像中該授課黑板的影像資訊的高度與該第二當前視頻幀圖像的高度比滿足預設高度比範圍,且使該授課教師的影像資訊位於該第二當前視頻幀圖像中右側的該第二區域內。
- 如請求項1所述之攝像頭的控制方法,其中,獲取直播課堂的該視頻幀圖像中該授課教師的該頭像資訊,包括:通過該攝像頭即時獲取該直播課堂的該視頻幀圖像;判斷該視頻幀圖像是否包括該授課教師的該頭像資訊; 響應於該視頻幀圖像包括該授課教師的該頭像資訊,獲取該視頻幀圖像中該授課教師的該頭像資訊;及響應於該視頻幀圖像不包括該授課教師的該頭像資訊,基於預設攝像參數調整該攝像頭使得該視頻幀圖像包括該授課黑板的一整體影像資訊。
- 一種攝像頭的控制裝置,包括:一頭像獲取組件,配置為即時獲取直播課堂的一第一視頻幀圖像中一授課教師的一頭像資訊;一分析組件,配置為對該頭像資訊進行分析,獲取每個器官的一器官標識資訊,該器官標識資訊用於指示器官是否存在;確定組件,配置為基於該器官標識資訊確定該頭像資訊中的面部的一面向類型,其中,該面向類型,包括;一正向類型、一側向類型和一背向類型,該正向類型表示該頭像資訊中的面部朝向該攝像頭,該側向類型表示該頭像資訊中的面部的一側朝向該攝像頭,該背向類型表示該頭像資訊中的面部背向該攝像頭;一聚焦控制組件,配置為響應於該面向類型為該正向類型,控制該攝像頭聚焦至該授課教師;以及響應於該面向類型為該背向類型或該側向類型,控制該攝像頭聚焦至一授課黑板;其中,該器官標識資訊至少包括一左眼標識資訊和一右眼標識資訊;基於該器官標識資訊確定該頭像資訊中的面部相對於該攝像頭的該面向類型,包括: 響應於該左眼標識資訊和該右眼標識資訊均指示存在,確定該面向類型為該正向類型;響應於該左眼標識資訊和該右眼標識資訊之一指示存在,確定該面向類型為該側向類型;及響應於該左眼標識資訊和該右眼標識資訊均指示不存在,確定該面向類型為該背向類型。
- 一種電腦可讀存儲介質,其上存儲有一電腦程式,其中,該電腦程式被一處理器執行時實現如請求項1至6中任一項所述之方法。
- 一種電子設備,包括:一個或多個處理器;及一存儲裝置,用於存儲一個或多個程式,當該一個或該多個程式被該一個或該多個處理器執行時,使得該一個或該多個處理器實現如請求項1至6中任一項所述之方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110423610.2A CN113141464B (zh) | 2021-04-20 | 2021-04-20 | 摄像头的控制方法、装置、介质和电子设备 |
CN202110423610.2 | 2021-04-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202243461A TW202243461A (zh) | 2022-11-01 |
TWI792444B true TWI792444B (zh) | 2023-02-11 |
Family
ID=76813171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110127253A TWI792444B (zh) | 2021-04-20 | 2021-07-23 | 攝像頭的控制方法、裝置、介質和電子設備 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11722768B2 (zh) |
CN (1) | CN113141464B (zh) |
TW (1) | TWI792444B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096812A (zh) * | 2011-01-30 | 2011-06-15 | 吴柯维 | 一种教学智能录播系统用教师黑板书写动作检测方法 |
CN104735416A (zh) * | 2015-03-31 | 2015-06-24 | 宣城状元郎电子科技有限公司 | 跟踪摄像、录音信息采集处理直播网络教学系统 |
CN106790226A (zh) * | 2017-01-15 | 2017-05-31 | 刘小艳 | 一种便携移动式音视频教学交互设备 |
CN110555331A (zh) * | 2018-05-30 | 2019-12-10 | 苏州乐轩科技有限公司 | 脸部辨识系统与方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101270780B1 (ko) * | 2011-02-14 | 2013-06-07 | 김영대 | 가상 강의실 강의 방법 및 장치 |
CN103338331A (zh) * | 2013-07-04 | 2013-10-02 | 上海斐讯数据通信技术有限公司 | 一种采用眼球控制对焦的图像采集系统 |
US9666088B2 (en) * | 2013-08-07 | 2017-05-30 | Xerox Corporation | Video-based teacher assistance |
US10939033B2 (en) * | 2018-03-19 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for directing adaptive camera systems |
CN108490832A (zh) * | 2018-03-27 | 2018-09-04 | 百度在线网络技术(北京)有限公司 | 用于发送信息的方法和装置 |
JP7052663B2 (ja) * | 2018-09-26 | 2022-04-12 | トヨタ自動車株式会社 | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム |
CN109583352A (zh) * | 2018-11-22 | 2019-04-05 | 广州市保伦电子有限公司 | 基于视频分析的课堂教师行为获取方法、装置及介质 |
CN111182250A (zh) * | 2019-11-29 | 2020-05-19 | 安徽文香信息技术有限公司 | 一种音视频教学录播系统及其控制方法 |
CN111144356B (zh) * | 2019-12-30 | 2021-01-05 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
CN111932633A (zh) * | 2020-07-21 | 2020-11-13 | 浪潮金融信息技术有限公司 | 一种基于人脸部位检测技术自动调节摄像头的方法 |
CN112330997A (zh) * | 2020-11-13 | 2021-02-05 | 北京安博盛赢教育科技有限责任公司 | 一种控制演示视频的方法、装置、介质和电子设备 |
WO2022140392A1 (en) * | 2020-12-22 | 2022-06-30 | AI Data Innovation Corporation | System and method for dynamically cropping a video transmission |
CN113096252B (zh) * | 2021-03-05 | 2021-11-02 | 华中师范大学 | 一种混合增强教学场景中多移动机制融合方法 |
CN113141518B (zh) * | 2021-04-20 | 2022-09-06 | 北京安博盛赢教育科技有限责任公司 | 直播课堂中视频帧图像的控制方法、控制装置 |
-
2021
- 2021-04-20 CN CN202110423610.2A patent/CN113141464B/zh active Active
- 2021-07-23 TW TW110127253A patent/TWI792444B/zh active
- 2021-07-29 US US17/388,077 patent/US11722768B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096812A (zh) * | 2011-01-30 | 2011-06-15 | 吴柯维 | 一种教学智能录播系统用教师黑板书写动作检测方法 |
CN104735416A (zh) * | 2015-03-31 | 2015-06-24 | 宣城状元郎电子科技有限公司 | 跟踪摄像、录音信息采集处理直播网络教学系统 |
CN106790226A (zh) * | 2017-01-15 | 2017-05-31 | 刘小艳 | 一种便携移动式音视频教学交互设备 |
CN110555331A (zh) * | 2018-05-30 | 2019-12-10 | 苏州乐轩科技有限公司 | 脸部辨识系统与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113141464A (zh) | 2021-07-20 |
CN113141464B (zh) | 2023-04-18 |
US20220337738A1 (en) | 2022-10-20 |
US11722768B2 (en) | 2023-08-08 |
TW202243461A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6165846B2 (ja) | 目のトラッキングに基づくディスプレイの一部の選択的強調 | |
CN109600678B (zh) | 信息展示方法、装置及系统、服务器、终端、存储介质 | |
US20170374486A1 (en) | Positional audio assignment system | |
US11812152B2 (en) | Method and apparatus for controlling video frame image in live classroom | |
CN112085775B (zh) | 图像处理的方法、装置、终端和存储介质 | |
CN114419300A (zh) | 风格化图像生成方法、装置、电子设备及存储介质 | |
WO2023125181A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
US20210142568A1 (en) | Web-based remote assistance system with context & content-aware 3d hand gesture visualization | |
CN112286610A (zh) | 一种互动处理方法、装置、电子设备和存储介质 | |
JP2023519422A (ja) | オーディオ処理方法、装置、可読媒体及び電子機器 | |
CN111656275B (zh) | 一种确定图像对焦区域的方法及装置 | |
WO2021190625A1 (zh) | 拍摄方法和设备 | |
US9756421B2 (en) | Audio refocusing methods and electronic devices utilizing the same | |
CN110933350A (zh) | 一种电子云镜录播系统、方法及装置 | |
TWI792444B (zh) | 攝像頭的控制方法、裝置、介質和電子設備 | |
US11810336B2 (en) | Object display method and apparatus, electronic device, and computer readable storage medium | |
WO2023030321A1 (zh) | 视线角度调整方法、装置、电子设备及存储介质 | |
CN112486380B (zh) | 一种显示界面的处理方法、装置、介质和电子设备 | |
CN114630085A (zh) | 图像投影方法、装置、存储介质及电子设备 | |
JP7339435B2 (ja) | パーソナルデバイスによって支援されるtvストリーミング及びレンダリングコンテンツの中心窩最適化 | |
WO2021155843A1 (zh) | 用于处理图像的方法和装置 | |
US20240320256A1 (en) | Method, apparatus, device, readable storage medium and product for media content processing | |
CN115460460B (zh) | 基于人脸检测的信息交互方法、装置、设备及存储介质 | |
US20240305682A1 (en) | Gaze-Based Copresence System | |
JP7333714B2 (ja) | 提示制御装置、提示装置、およびプログラム |