TWI775896B - 用於使用卷積神經網路的視頻超解析度的方法和設備 - Google Patents

用於使用卷積神經網路的視頻超解析度的方法和設備 Download PDF

Info

Publication number
TWI775896B
TWI775896B TW107124405A TW107124405A TWI775896B TW I775896 B TWI775896 B TW I775896B TW 107124405 A TW107124405 A TW 107124405A TW 107124405 A TW107124405 A TW 107124405A TW I775896 B TWI775896 B TW I775896B
Authority
TW
Taiwan
Prior art keywords
resolution
pictures
optical flow
picture
video
Prior art date
Application number
TW107124405A
Other languages
English (en)
Other versions
TW201918997A (zh
Inventor
任昊宇
哈米 莫斯塔法 伊爾
正元 李
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201918997A publication Critical patent/TW201918997A/zh
Application granted granted Critical
Publication of TWI775896B publication Critical patent/TWI775896B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本發明提供一種用於使用卷積神經網路的視頻超解析度 的方法和設備。方法包含：接收具有第一多個畫面的視頻，所述第一多個畫面具有第一解析度；基於第一類型的運動補償從第一多個畫面生成多個變形畫面；生成具有第二解析度的第二多個畫面，其中第二解析度屬於比第一解析度更高的解析度，其中使用卷積網路從多個變形畫面的子組獲得具有第二解析度的第二多個畫面中的每一個；以及基於第二類型的運動補償生成具有第二解析度的第三多個畫面，其中從第二多個畫面的子組的融合獲得具有第二解析度的第三多個畫面中的每一個。

Description

用於使用卷積神經網路的視頻超解析度的方法 和設備 [優先權]
本申請要求2017年11月9日在美國專利商標局申請且指定序號62/583,633的美國臨時專利申請和2018年4月5日在美國專利商標局申請且指定序號15/946,531的美國非臨時專利申請的優先權，所述申請的全部內容以引用的方式併入本文中。
本公開大體上涉及視頻超解析度(super resolution；SR)，且更確切地說，涉及一種使用具有二階段運動補償的卷積神經網路(convolutional neural network；CNN)的視頻SR的設備和方法。
視頻超解析度是用於將低解析度(low resolution；LR)視頻恢復為高解析度(high resolution；HR)視頻的方法。視頻超解析度改進品質且從已用於移動/智慧手機相機中的低解析度視頻 檢索資訊。在一些典型視頻超解析度系統之間，使用深度CNN。
由於時間運動資訊並未良好使用，因此常規視頻SR系統的精度受到限制。常規的視頻SR方法僅使用LR域中的運動。
構造基於CNN的視頻超解析度系統的問題涉及使用時間資訊以對齊畫面。大部分常規方法僅接收LR中的光流，且將圖像變形應用於運動補償。由於僅考慮LR運動，因此性能受到限制。
根據一個實施例，本系統和方法經由二階段運動補償來構建視頻超解析度系統以改進輸出品質。
根據一個實施例，提供一種用於使用卷積神經網路的視頻超解析度的方法。方法包含：接收具有第一多個畫面的視頻，所述第一多個畫面具有第一解析度；基於第一類型的運動補償從第一多個畫面生成多個變形畫面；生成具有第二解析度的第二多個畫面，其中第二解析度屬於比第一解析度更高的解析度，其中使用卷積網路從多個變形畫面的子組獲得具有第二解析度的第二多個畫面中的每一個；以及基於第二類型的運動補償生成具有第二解析度的第三多個畫面，其中從第二多個畫面的子組的融合獲得具有第二解析度的第三多個畫面中的每一個。
根據一個實施例，提供一種用於使用卷積神經網路的視頻超解析度的設備。所述設備包含：接收器，配置成接收具有第一多個畫面的視頻，所述第一多個畫面具有第一解析度；第一解 析度補償裝置，配置成基於第一類型的運動補償從第一多個畫面生成多個變形畫面；多圖像空間超解析度(SR)裝置，配置成生成具有第二解析度的第二多個畫面，其中第二解析度屬於比第一解析度更高的解析度，其中使用卷積網路從多個變形畫面的子組獲得具有第二解析度的第二多個畫面中的每一個；以及第二解析度運動補償裝置，配置成基於第二類型的運動補償生成具有第二解析度的第三多個畫面，其中從第二多個畫面的子組的融合獲得具有第二解析度的第三多個畫面中的每一個。
101、201:LR運動補償裝置
103、203:多圖像空間SR裝置
205:HR運動補償裝置
301:HR運動估計裝置
303:圖像變形裝置
305、411、511:融合裝置
401:第一神經網路裝置
403、503:第一變形裝置
405、505:多圖像空間SR裝置
407:第二神經網路裝置
409、509:第二變形裝置
501:神經網路裝置
507:光流超解析度裝置
800:網路環境
801:電子裝置
802、804:電子裝置/外部電子裝置
808:外部電子裝置/伺服器
820:處理器
821:主處理器
823:輔助處理器
830、950、1033:記憶體
832:揮發性記憶體
834:非揮發性記憶體
836:內部記憶體
838:外部記憶體
840:程式
842:作業系統
844:中介軟體
846:應用程式
850:輸入裝置
855:聲音輸出裝置
860:顯示裝置
870:音訊模組
876、1076:感測器模組
877:介面
878:連接端子
879:觸覺模組
880:相機模組
888:電源管理模組
889:電池
890:通信模組
892:無線通信模組
894:有線通信模組
896:訂戶識別模組
897:天線模組
897-1:MST天線
897-3:NFC天線
897-5:無線充電天線
898:第一網路
899:第二網路
910:鏡頭組合件
920:閃光燈
930:圖像感測器
940:圖像穩定器
960:圖像信號處理器
1010:顯示器
1030:顯示驅動器積體電路
1031:介面模組
1035:影像處理模組
1037:映射模組
1050:觸控電路
1051:觸控感測器
1053:觸控感測器IC
1101:應用程式管理器
1103:視窗管理器
1105:多媒體管理器
1107:資源管理器
1109:電源管理器
1111:資料庫管理器
1113:套裝程式管理器
1115:連線管理員
1117:通知管理器
1119:位置管理器
1121:圖形管理器
1123:安全管理器
1125:電話管理器
1127:語音辨識管理器
1151:家用應用程式
1153:撥號器應用程式
1155:短消息服務/多媒體消息接發服務應用程式
1157:即時消息應用程式
1159:瀏覽器應用程式
1161:相機應用程式
1163:告警應用程式
1165:聯繫應用程式
1167:語音辨識應用程式
1169:電子郵件應用程式
1171:日曆應用程式
1173:媒體播放機應用程式
1175:個人相冊應用程式
1177:監視應用程式
1179:健康狀況應用程式
1181:環境資訊應用程式
1210:磁性安全傳輸通信模組
1230:近場通信模組
1250:無線充電模組
通過以下結合附圖進行的詳細描述將更加清楚地瞭解本公開的某些實施例的上述和其它方面、特性和優點，其中：圖1是根據一個實施例的視頻SR系統的框圖。
圖2是根據一個實施例的具有二階段運動補償的本視頻SR系統的框圖。
圖3是根據一個實施例的本HR運動補償模組的框圖。
圖4是根據一個實施例的執行本視頻SR系統的另一框圖。
圖5是根據一個實施例的執行本視頻SR系統的另一框圖。
圖6是根據一個實施例的用於說明基於三維(three dimensional；3D)SR CNN(SRCNN)的多空間SR的示範性圖式。
圖7是根據一個實施例的用於說明訓練用於高效HR運動估計的SRCNN的示範性圖式。
圖8是根據一個實施例的在網路環境中的電子裝置的框圖。
圖9是根據一個實施例的相機模組的框圖。
圖10是根據一個實施例的顯示裝置的框圖。
圖11是根據一個實施例的程式的框圖。
圖12是根據一個實施例的電子裝置的無線通信模組、電源管理模組以及天線模組的框圖。
在下文中，參考附圖來詳細描述本公開的實施例。應注意，儘管相同元件繪示於不同圖式中，但相同元件將由相同參考編號指定。在以下描述中，僅提供如詳細配置和元件的具體細節以說明總體理解本公開的實施例。因此，所屬領域的技術人員將明白，在不脫離本公開的範圍的情況下可進行對本文中所描述的實施例的各種變化和修改。另外，出於清楚和簡潔起見，省略熟知的功能和構造的描述。下文所描述的術語是考慮本公開中的功能所定義的術語，且可根據使用者、使用者的意圖或常規而不同。因此，術語的定義應基於整個說明書中的內容來確定。
本公開可具有各種修改和各種實施例，在本公開中參考附圖在下文詳細描述實施例。然而，應理解，本公開不限於實施例，但包含本公開的範圍內的所有修改、等效物和替代例。
儘管包含如第一和第二等的序數的術語可用於描述各 種元件，但結構元件不受術語限制。術語僅用於將一個元件與另一元件區分開來。舉例來說，在不脫離本公開的範圍的情況下，第一結構元件可稱為第二結構元件。類似地，第二結構元件也可稱作第一結構元件。如本文中所使用，術語“和/或”包含一或多個相關物品的任何和所有組合。
本文中所用的術語僅用於描述本公開的各種實施例但並不意欲限制本公開。除非上下文另外明確指示，否則單數形式意欲包含複數形式。在本公開中，應理解，術語“包含”或“具有”指示特性、編號、步驟、操作、結構元件、部件或其組合的存在，且排除一或多個其它特性、編號、步驟、操作、結構元件、部件或其組合的存在或可能性。
除非不同定義，否則本文中所使用的所有術語具有與本公開所屬的領域的技術人員理解的那些術語相同的含義。如一般所使用的詞典中所定義的那些術語的術語將解釋為具有與相關技術領域中的上下文含義相同的含義，且除非在本公開中清楚地定義，否則將不解釋為具有理想或過度正式的含義。
圖1是根據一個實施例的視頻SR系統的流程圖。視頻SR系統包含LR運動補償裝置101和多圖像空間SR解析度裝置103。
圖2是根據一個實施例的具有二階段運動補償的本視頻SR系統的框圖。本視頻SR系統包含LR運動補償裝置201、多圖像空間SR解析度裝置203以及HR運動補償裝置205。HR運動 補償裝置205接收中間HR輸出，所述中間HR輸出是作為輸入的多圖像空間SR裝置203的輸出，且輸出改進的HR畫面。
圖3是根據一個實施例的本HR運動補償裝置的框圖。HR運動補償裝置205包含HR運動估計裝置301、圖像變形裝置303以及融合裝置305，其中變形指示改變形狀(例如彎曲、扭轉)，且其中融合指示匯合(joining)。
HR運動補償裝置205接收由多圖像空間SR裝置203生成的中間HR畫面作為輸入，計算HR光流，使用HR光流以使中間HR畫面變形，以及將加權融合應用到變形的HR畫面以生成改進畫面作為輸出，其中加權融合指示根據指定權重執行融合。
本系統包含如下文圖4和圖5中所描述的用於HR運動估計的兩種方法。
圖4是根據一個實施例的執行本視頻SR系統的另一框圖。本視頻SR系統包含具有二階段補償的神經網路(例如CNN)。本HR運動補償裝置包含第一神經網路裝置401、第一變形裝置403、多圖像空間超解析度裝置405、第二神經網路裝置407、第二變形裝置409以及融合裝置411，其中變形發生在融合之前。
第一神經網路裝置401和第一變形裝置403接收LR視頻。第一神經網路裝置401可將FlowNet 2.0直接地應用到所接收LR視頻的畫面以確定LR視頻的光流。第一神經網路裝置401以增大的計算成本來提供增強精度。此外，為確定中間HR輸出的光流，本視頻超解析度系統等待多圖像空間SR裝置405生成中間 HR輸出。因此，效率相對低。
第二變形裝置409可執行與第一變形裝置403相同的變形函數。
融合裝置可包含基於圖像變形之後的高斯權重(Gaussian weights)和運動懲罰的融合方法。視頻超解析度系統包含三個裝置：LR運動補償裝置、多圖像空間SR裝置以及HR運動補償裝置。第一神經網路裝置401和第一變形裝置403可以是LR運動補償裝置的部分。多圖像空間SR裝置405可以是多圖像空間SR裝置的部分。第二神經網路裝置407、第二變形裝置409以及融合裝置411可以是HR運動補償裝置的部分。
圖5是根據一個實施例的執行本視頻SR系統的另一框圖。本視頻SR系統包含神經網路(例如CNN)和具有二階段運動補償的光流SR。本HR運動補償裝置包含神經網路裝置501、第一變形裝置503、多圖像空間超解析度裝置505、光流超解析度裝置507、第二變形裝置509以及融合裝置511。
神經網路裝置501和第一變形裝置503接收LR視頻。神經網路裝置501可將FlowNet 2.0直接地應用到所接收LR視頻的畫面以確定LR視頻的光流。
光流超解析度裝置507接收由神經網路裝置501確定的所接收的LR視頻的光流。光流超解析度裝置507基於由神經網路裝置501確定的LR光流和超解析度網路方法來確定HR光流。
相較於如圖4中所描述的視頻超解析度系統，如圖5中 所描述的視頻超解析度系統具有至少兩個優點。第一，相較于直接地應用神經網路方法來確定HR光流，基於LR光流來確定SR光流更快(例如快超過10倍)。第二，不需要中間HR輸出來確定SR光流。因此，可並行地執行空間SR和光學SR，這提高效率。
相較于上文參看圖1所描述的不包含HR運動補償的常規的視頻超解析度方法，上文參看圖4所描述的視頻超解析度方法可以實現約0.2dB到0.4dB更佳性能，但具有150毫秒/畫面的額外計算成本，其中150毫秒/畫面是用於解析度為720×480的視頻。對於較大/較小圖像，額外計算成本也將較大/較小。相較于上文參看圖1所描述的常規的視頻超解析度方法，上文參看圖5所描述的視頻超解析度方法可以實現約0.1dB到0.2dB更佳性能，而無額外計算成本。
第二變形裝置509可以執行與第一變形裝置503相同的變形函數。
融合裝置511可包含基於圖像變形之後的高斯權重和運動懲罰的融合方法。上文參看圖5所描述的視頻超解析度系統包含三個裝置：LR運動補償裝置、多圖像空間SR裝置以及HR運動補償裝置。神經網路裝置501和第一變形裝置503可以是LR運動補償裝置的部分。多圖像空間超解析度裝置505可以是多圖像空間SR裝置的部分。光流超解析度裝置507、第二變形裝置509以及融合裝置511可以是HR運動補償裝置的部分。
返回參看圖2，LR運動補償裝置201接收三個連續的 LR畫面
Figure 107124405-A0305-02-0011-1
作為輸入，且輸出三個變形的畫面
Figure 107124405-A0305-02-0011-2
，在如下的式(1)到式(3)中：
Figure 107124405-A0305-02-0011-3
Figure 107124405-A0305-02-0011-4
Figure 107124405-A0305-02-0011-5
其中
Figure 107124405-A0305-02-0011-6
和
Figure 107124405-A0305-02-0011-7
是從LR畫面t-1/t+1到畫面t的光流。為計算LR光流，可利用預訓練的FlowNet 2.0神經網路。
圖6是根據一個實施例的用於說明基於三維(3D)SRCNN(SRCNN)的多空間SR的示範性圖式。
參看圖6，多圖像空間SR裝置203、多圖像空間SR裝置405或多圖像空間SR裝置505可以是具有多通道輸入和單通道輸出的3D卷積網路。多圖像空間SR裝置203、多圖像空間SR裝置405或多圖像空間SR裝置505可接收三個變形LR畫面
Figure 107124405-A0305-02-0011-8
作為輸入，且輸出單個中間HR畫面
Figure 107124405-A0305-02-0011-9
。可基於3D卷積和級聯訓練的SRCNN來實施這個網路。
如圖6中所示出，3D SRCNN網路可包含19個層和‘9-5-3-3-...-3-5'架構。第一層“9”可具有9×9×3 3D內核和64個濾波器，第二層“5”可具有5×5×3 3D內核和32個濾波器。層“3”中的每一個(例如中間層)含有16個3×3×1 2D卷積濾波器。最後一層“5”可具有5×5×1 2D內核。所有內核具有步幅1。將2圖元空間零填充(spatial zero padding；sp)應用於中間層以使得輸出特徵映射尺寸與輸入特徵映射相同。第一3D卷積層具有額外 2圖元時間零填充(temporal zero padding；tp)。
HR運動補償裝置205可接收三個連續的中間HR畫面
Figure 107124405-A0305-02-0012-10
作為輸入，且輸出單個改進畫面
Figure 107124405-A0305-02-0012-12
。HR運動補償通過HR運動估計、圖像變形以及融合來實現。
可通過確定HR光流
Figure 107124405-A0305-02-0012-13
和
Figure 107124405-A0305-02-0012-14
來執行HR運動估計。如上文所描述，本公開提供用於確定HR光流的兩種方法。即，通過將FlowNet 2.0應用於
Figure 107124405-A0305-02-0012-15
上來直接地計算HR光流，或對LR流
Figure 107124405-A0305-02-0012-16
和
Figure 107124405-A0305-02-0012-17
執行超解析度。
為對LR流
Figure 107124405-A0305-02-0012-18
和
Figure 107124405-A0305-02-0012-19
執行超解析度，任何圖像超解析度網路可用於構建光流超解析度網路。根據一個實施例，可使用3層SRCNN。由於光流具有兩個通道x和y，因此SRCNN可利用兩個通道之間共用的權重分別地在每一通道上訓練。
圖7是根據一個實施例的用於示出訓練SRCNN的示範性圖式。
參看圖7，SRCNN分別地在x光流和y光流上訓練。在x光流上訓練的SRCNN中的權重與在y光流上訓練的SRCNN共用。
在獲得HR光流
Figure 107124405-A0305-02-0012-20
和
Figure 107124405-A0305-02-0012-21
之後，輸入HR圖像
Figure 107124405-A0305-02-0012-22
根據如下式(4)到式(6)變形：
Figure 107124405-A0305-02-0012-23
Figure 107124405-A0305-02-0012-24
Figure 107124405-A0305-02-0012-25
本系統將變形HR畫面
Figure 107124405-A0305-02-0013-26
融合為單個改進HR輸出
Figure 107124405-A0305-02-0013-27
。本系統包含加權融合方法，其中權重由如下式(7)中的光流的量值懲罰：
Figure 107124405-A0305-02-0013-28
其中w t 是具有與
Figure 107124405-A0305-02-0013-29
相同尺寸的權重矩陣。w中的每一要素w i,j 可根據如下式(8)計算：
Figure 107124405-A0305-02-0013-30
其中z(i,j)是圖元(i,j)的光流的量值，δ(sigma)是常數。
如果圖元(i,j)中的運動較大，那麼對應權重w i,j 在融合中將較小。這可以減小輸出畫面中的運動模糊。
圖8是根據一個實施例的網路環境800中的電子裝置801的框圖。
參看圖8，網路環境800中的電子裝置801可以經由第一網路898(例如短程無線通信網路)與電子裝置802通信，或經由第二網路899(例如遠端無線通信網路)與電子裝置804或伺服器808通信。根據一個實施例，電子裝置801可經由伺服器808與電子裝置804通信。電子裝置801可包含處理器820、記憶體830、輸入裝置850、聲音輸出裝置855、顯示裝置860、音訊模組870、感測器模組876、介面877、觸覺模組879、相機模組880、電源管理模組888、電池889、通信模組890、訂戶識別模組(subscriber identification module；SIM)896或天線模組897。在 一個實施例中，可從電子裝置801中省略所述元件中的至少一個(例如顯示裝置860或相機模組880)，或可將一或多個其它元件添加到電子裝置801。在一個實施例中，可將所述元件中的一些實施為單一積體電路(integrated circuit；IC)。舉例來說，可將感測器模組876(例如指紋感測器、虹膜感測器或照度感測器)嵌入於顯示裝置860(例如顯示器)中。
處理器820可以執行例如軟體(例如程式840)以控制與處理器820耦合的電子裝置801中的至少一個其它元件(例如硬體或軟體元件)，且可執行各種資料處理或計算。根據一個實施例，作為資料處理或計算的至少一部分，處理器820可將從另一元件(例如感測器模組876或通信模組890)接收到的命令或資料載入到揮發性記憶體832中，處理儲存在揮發性記憶體832中的命令或資料，且將所得資料儲存在非揮發性記憶體834中。根據一個實施例，處理器820可包含主處理器821(例如中央處理單元(central processing unit；CPU)、應用程式處理器(application processor；AP))以及輔助處理器823(例如圖形處理單元(graphics processing unit；GPU)、圖像信號處理器(image signal processor；ISP)、感測器集線器處理器或通信處理器(communication processor；CP))，所述輔助處理器可獨立於主處理器821操作或結合所述主處理器821操作。另外地或可替代地，輔助處理器823可調適成消耗比主處理器821更少的電源，或執行特定功能。輔助處理器823可與主處理器821分離實施或實施為所述主處理器 的一部分。
輔助處理器823可在主處理器821處於未啟動(例如睡眠)狀態時代替主處理器821，或在主處理器821處於啟動狀態(例如執行應用程式)時連同主處理器821，來控制與電子裝置801中的元件當中的至少一個元件(例如顯示裝置860、感測器模組876或通信模組890)相關的功能或狀態中的至少一些。根據一個實施例，輔助處理器823(例如圖像信號處理器或通信處理器)可實施為功能上與輔助處理器823相關的另一元件(例如相機模組880或通信模組890)的部分。
記憶體830可儲存由電子裝置801中的至少一個元件(例如處理器820或感測器模組876)使用的各種資料。各種資料可包含(例如)軟體(例如程式840)和用於與其相關的命令的輸入資料或輸出資料。記憶體830可包含揮發性記憶體832或非揮發性記憶體834。
程式840可儲存於記憶體830中作為軟體，且可包含(例如)作業系統(operating system；OS)842、中介軟體844或應用程式846。
輸入裝置850可從電子裝置801的外部(例如使用者)接收待由電子裝置801中的其它元件(例如處理器820)使用的命令或資料。輸入裝置850可包含(例如)麥克風、滑鼠或鍵盤。
聲音輸出裝置855可以向電子裝置801的外部輸出聲音信號。聲音輸出裝置855可包含(例如)揚聲器或接收器。揚聲 器可用於一般目的，例如播放多媒體或錄音，且接收器可用於接收來電呼叫。根據一個實施例，接收器可實施為與揚聲器分離，或為揚聲器的部分。
顯示裝置860可以視覺方式向電子裝置801的外部(例如使用者)提供資訊。顯示裝置860可包含(例如)顯示器、全息圖裝置或投影儀以及控制顯示器、全息圖裝置以及投影儀中的對應一個的控制電路。根據一個實施例，顯示裝置860可包含觸控電路或感測器電路(例如壓力感測器)，所述觸控電路調適成檢測觸控，所述感測器電路調適成測量由觸控引發的力的強度。
音訊模組870可以將聲音轉化為電信號且反之亦然。根據一個實施例，音訊模組870可經由輸入裝置850獲得聲音，或經由聲音輸出裝置855或與電子裝置801直接地(例如有線)或無線地耦合的外部電子裝置(例如電子裝置802)的頭戴式耳機來輸出聲音。
感測器模組876可以檢測電子裝置801的操作狀態(例如，電源或溫度)或電子裝置801外部的環境狀態(例如，使用者的狀態)，且接著生成對應於檢測到的狀態的電信號或資料值。根據一個實施例，感測器模組876可包含(例如)手勢感測器、陀螺儀感測器、大氣壓感測器、磁感測器、加速度感測器、握持感測器、接近感測器(proximity sensor)、顏色感測器、紅外(infrared；IR)感測器、生物識別感測器、溫度感測器、濕度感測器或照度感測器。
介面877可以支援一或多個規定協定用於電子裝置801與外部電子裝置(例如電子裝置802)直接地(例如有線)或無線地耦合。根據一個實施例，介面877可包含(例如)高清晰度多媒體介面(high definition multimedia interface；HDMI)、通用序列匯流排(universal serial bus；USB)介面、安全數位(secure digital；SD)卡介面或音訊介面。
連接端子878可包含連接器，經由所述連接器可將電子裝置801與外部電子裝置(例如電子裝置802)物理地連接。根據一個實施例，連接端子878可包含(例如)HDMI連接器、USB連接器、SD卡連接器或音訊連接器(例如頭戴式耳機連接器)。
觸覺模組879可將電信號轉化為機械刺激(例如振動或移動)或電子刺激，所述電子刺激可由使用者經由感觸感覺或肌肉運動知覺的感覺來辨識。根據一個實施例，觸覺模組879可包含(例如)發動機、壓電式元件或電子刺激器。
相機模組880可捕獲靜態圖像或移動圖像。根據一個實施例，相機模組880可包含一或多個鏡頭、圖像感測器、圖像信號處理器或閃光燈。
電源管理模組888可管理供應到電子裝置801的電源。根據一個實施例，電源管理模組888可實施為例如電源管理積體電路(power management integrated circuit；PMIC)的至少一部分。
電池889可向電子裝置801的至少一個元件供電。根據一個實施例，電池889可包含(例如)不可充電的初級單元、可 充電的次級單元或燃料電池。
通信模組890可支援在電子裝置801與外部電子裝置(例如電子裝置802、電子裝置804或伺服器808)之間建立直接(例如有線)通信通道或無線通信通道且經由現有通信通道執行通信。通信模組890可包含可獨立於處理器820(例如AP)操作的一或多個通信處理器，且支援直接(例如有線)通信或無線通信。根據一個實施例，通信模組890可包含無線通信模組892(例如蜂窩式通信模組、短程無線通信模組或全球導航衛星系統(global satellite system；GNSS)通信模組)或有線通信模組894(例如局域網(local area network；LAN)通信模組或電力線通信(power line communication；PLC)模組)。這些通信模組中的對應一個可經由第一網路898(例如短程通信網路，例如BluetoothTM、無線保真(wireless-fidelity；Wi-Fi)直連或紅外資料協會(the Infrared Data Association；IrDA)標準)或第二網路899(例如遠端通信網路，例如蜂窩式網路、網際網路或電腦網路(例如，LAN或廣域網路(wide area network；WAN))與外部電子裝置通信。這些不同類型的通信模組可實施為單一元件(例如單一IC)，或可實施為彼此分離的多個元件(例如多個IC)。無線通信模組892可使用儲存在訂戶識別模組896中的訂戶資訊(例如，國際移動訂戶識別碼(international mobile subscriber identity；IMSI))來識別且認證例如第一網路898或第二網路899的通信網路中的電子裝置801。
天線模組897可將信號或電源傳輸到電子裝置801的外 部(例如外部電子裝置)或從所述電子裝置的外部接收信號或電源。根據一個實施例，天線模組897可包含一或多個天線，且可例如通過通信模組890(例如無線通信模組892)從所述天線中選擇適合於通信方案的至少一個天線，所述通信方案用於通信網路，例如第一網路898或第二網路899中。隨後可在通信模組890與外部電子裝置之間經由選定的至少一個天線來傳輸或接收信號或電源。
上述元件中的至少一些可彼此耦合且經由週邊間通信方案(例如匯流排、通用輸入和輸出(general purpose input and output；GPIO)、串列週邊介面(serial peripheral interface；SPI)或移動行業處理器介面(mobile industry processor interface，MIPI))在其間傳送信號(例如命令或資料)。
根據一個實施例，可在電子裝置801與外部電子裝置804之間經由與第二網路899耦合的伺服器808來傳輸或接收命令或資料。電子裝置802和電子裝置804中的每一個可以是屬於與電子裝置801相同的類型或不同的類型的裝置。根據一個實施例，待在電子裝置801處執行的操作中的全部或一些可在外部電子裝置802、外部電子裝置804或外部電子裝置808中的一或多個處執行。舉例來說，如果電子裝置801應自動地或回應於來自使用者或另一裝置的請求來執行功能或服務，那麼代替執行所述功能或所述服務或除執行所述功能或所述服務以外，電子裝置801可請求一或多個外部電子裝置以執行所述功能或所述服務的至少一部 分。接收請求的一或多個外部電子裝置可執行所請求的功能或服務的至少一部分，或與請求相關的額外功能或額外服務，並將執行的結果傳遞到電子裝置801。電子裝置801可提供結果(含或不含所述結果的進一步處理)作為對請求的答覆的至少一部分。為此，例如可使用雲端計算、分散式運算或客戶機-伺服器計算技術。
根據一個實施例的電子裝置可以是不同類型的電子裝置中的一個。電子裝置可以包含(例如)可攜式通信裝置(例如智慧手機)、電腦、可攜式多媒體裝置、可攜式醫療裝置、相機、可穿戴裝置或家用設備。根據本公開的一個實施例，電子裝置不限於上文所描述的那些。
用於本公開中的術語並不意欲限制本公開，而是希望包含用於對應實施例的各種變化、等效物或替代物。關於隨附圖式的描述，類似附圖標號可用於指代類似或相關元件。除非相關上下文明確指示，否則對應於物品的名詞的單數形式可包含所述事物中的一或多個。如本文中所使用，如“A或B”、“A和B中的至少一個”、“A或B中的至少一個”、“A、B或C”、“A、B和C中的至少一個”以及“A、B或C中的至少一個”的此類短語中的每一個可包含在所述短語中的對應一個中一起計數的物品的所有可能組合。如本文中所使用，例如“第1”、“第2”、“第一”以及“第二”的術語可用於區分對應元件與另一元件，但並不意欲在其它方面中(例如重要性或順序)限制元件。希望如果元件(例如第一元件)稱作(含或不含術語“以操作方式”或“以 通信方式”)與另一元件(例如第二元件)“耦合”、“耦合到”另一元件、與另一元件“連接”或“連接到”另一元件，那麼其指示元件可直接地(例如有線)、無線地或經由第三元件與另一元件耦合。
如本文中所使用，術語“模組”可包含以硬體、軟體或韌體形式實施的單元，且可與其它術語(例如)“邏輯”、“邏輯塊”、“部分”以及“電路”互換使用。模組可以是調適成執行一或多個功能的單一集成元件，或最小單元或其部分。舉例來說，根據一個實施例，模組可以專用積體電路(application-specific integrated circuit；ASIC)形式實施。
一個實施例可實施為軟體(例如程式840)，所述套裝軟體含儲存在儲存介質(例如，內部記憶體836或外部記憶體838)中的一或多個指令，所述儲存介質可由機器(例如電子裝置801)讀取。舉例來說，機器(例如電子裝置801)的處理器(例如，處理器820)可調用儲存在儲存介質中的一或多個指令中的至少一個，且在使用或在不使用處於處理器的控制下的一或多個其它元件的情況下執行所述一或多個指令中的至少一個。因此，可操作機器以根據所調用的至少一個指令來執行至少一個功能。一或多個指令可包含由編譯器(complier)生成的代碼或可由解譯器(interpreter)執行的代碼。可以非暫時性儲存介質形式提供機器可讀儲存介質。術語“非暫時性”指示儲存介質是實體裝置，且不包含信號(例如電磁波)，但這個術語不在其中資料半永久地儲存 在儲存介質中與其中資料臨時儲存在儲存介質中之間區分。
根據一個實施例，本公開的方法可包括且提供於電腦程式產品中。電腦程式產品可作為產品在賣家與買家之間交易。電腦程式產品可以機器可讀儲存介質(例如，壓縮光碟唯讀記憶體(compact disc read only memory；CD-ROM))形式分佈，或經由應用程式商店(例如Play StoreTM)線上分佈(例如下載或上傳)，或在兩個使用者裝置(例如智慧型電話)之間直接地分佈。如果線上分佈，那麼電腦程式產品的至少一部分可臨時生成或至少臨時儲存在機器可讀儲存介質，例如製造商的伺服器的記憶體、應用程式商店的伺服器或中繼伺服器中。
根據一個實施例，上述元件中的每一元件(例如，模組或程式)可包含單一實體或多個實體。根據一個實施例，可省略上述元件中的一或多個，或可添加一或多個其它元件。可替代地或另外地，可將多個元件(例如，模組或程式)集成為單一元件。在這種情況下，集成元件仍可以與在集成之前由多個元件中的對應一個的執行一樣，以相同或類似的方式來執行多個元件中的每一個的一或多個功能。可依序、並行、反復地或啟發式進行由模組、程式或另一元件執行的操作，或可以不同的循序執行或省略操作中的一或多個，或可添加一或多個其它操作。
圖9是根據一個實施例的相機模組880的框圖。
參看圖9，相機模組880可包含鏡頭組合件910、閃光燈920、圖像感測器930、圖像穩定器940、記憶體950(例如緩 衝記憶體)或圖像信號處理器960。鏡頭組合件910可收集從對象發射或反射的光，所述物件的圖像是待拍攝的。鏡頭組合件910可包含一或多個鏡頭。根據一個實施例，相機模組880可包含多個鏡頭組合件910。在這種情況下，相機模組880可形成(例如)雙相機、360度相機或球面相機。多個鏡頭組合件910中的一些可具有相同鏡頭屬性(例如，視角、焦距、自動聚焦、f編號或光學變焦)，或至少一個鏡頭組合件可具有一或多個不同於另一鏡頭組合件中的那些屬性的鏡頭屬性。鏡頭組合件910可包含(例如)廣角鏡頭或攝遠鏡頭。
閃光燈920可發射光，所述光用於強化從對象反射的光。根據一個實施例，閃光燈920可包含一或多個發光二極體(light emitting diodes；LED)(例如，紅光-綠光-藍光(red-green-blue，RGB)LED、白光LED、紅外線(IR)LED或紫外線(ultraviolet；UV)LED)或氙氣燈。圖像感測器930可通過將從物件發射或反射的光和經由鏡頭組合件910傳輸的光轉化成電信號來獲得對應於物件的圖像。根據一個實施例，圖像感測器930可選自具有不同屬性的圖像感測器，例如RGB感測器、黑光白光(black-and-white；BW)感測器、IR感測器或UV感測器；多個具有相同屬性的圖像感測器；或多個具有不同屬性的圖像感測器。可使用(例如)電荷耦合裝置(charged coupled device；CCD)感測器或互補金屬氧化物半導體(complementary metal oxide semiconductor；CMOS)感測器來實施包含於圖像感測器930中的 每一圖像感測器。
圖像穩定器940可在特定方向上移動圖像感測器930或包含於鏡頭組合件910中的至少一個鏡頭，或回應於相機模組880或包含相機模組880的電子裝置801的移動來控制圖像感測器930的操作屬性(例如，調節讀出時序)。這允許通過所捕獲的圖像上的移動來補償至少一部分的負效果(例如圖像模糊)。根據一個實施例，圖像穩定器940可使用安置於相機模組880的內部或外部的陀螺儀感測器或加速度感測器來感測相機模組880或電子裝置801的此類移動。根據一個實施例，圖像穩定器940可實施為(例如)光學圖像穩定器。
記憶體950可儲存用於後續影像處理任務的圖像。舉例來說，如果由於快門遲滯而延遲圖像捕獲或快速捕獲多個圖像，那麼可將獲得的原始圖像(例如拜耳模式(Bayer-patterned)圖像、高解析度圖像)儲存於記憶體950中，且可經由顯示裝置860預覽其對應的拷貝圖像(例如低解析度圖像)。此後，如果符合規定條件(例如通過使用者輸入或系統命令)，那麼可例如通過圖像信號處理器960來獲得且處理儲存於記憶體950中的原始圖像的至少一部分。根據一個實施例，記憶體950可配置為記憶體830的至少一部分或為獨立於記憶體830操作的單獨記憶體。
圖像信號處理器960可對於經由圖像感測器930獲得的圖像或儲存於記憶體950中圖像來執行一或多個影像處理。一或多個影像處理可包含(例如)深度圖生成、三維(3D)模型化、 全景生成、特徵點提取、圖像合成或圖像補償(例如，降噪、解析度調節、亮度調節、模糊、銳化或軟化)。另外地或可替代地，圖像信號處理器960可對於包含於相機模組880中的元件中的至少一個(例如圖像感測器930)來執行控制(例如曝光時間控制或讀出時序控制)。可將由圖像信號處理器960處理的圖像儲存於記憶體950中以用於進一步處理，或可提供到相機模組880外部的外部元件(例如記憶體830、顯示裝置860、電子裝置802、電子裝置804或伺服器808)。根據一個實施例，圖像信號處理器960可配置為處理器820的至少一部分，或配置為獨立於處理器820操作的單獨處理器。如果圖像信號處理器960配置為來自處理器820的單獨處理器，那麼可在進一步處理由圖像信號處理器960處理的至少一個圖像之時或之後通過處理器820、經由顯示裝置860顯示所述至少一個圖像。
根據一個實施例，電子裝置801可包含具有不同屬性或功能的多個相機模組880。在這種情況下，多個相機模組880中的至少一個可形成(例如)廣角相機，且多個相機模組880中的至少另一個可形成攝遠相機。類似地，多個相機模組880中的至少一個可形成(例如)前置相機，且多個相機模組880中的至少另一個可形成後置相機。
圖10是根據一個實施例的顯示裝置860的框圖。
參看圖10，顯示裝置860可包含顯示器1010和控制顯示器1010的顯示驅動器積體電路(display driver integrated circuit；DDI)1030。DDI 1030可包含介面模組1031、記憶體1033(例如緩衝記憶體)、影像處理模組1035或映射模組1037。DDI 1030可經由介面模組1031來接收圖像資訊，所述圖像資訊含有圖像資料或對應於控制來自電子裝置801中的另一元件的圖像資料的命令的圖像控制信號。舉例來說，根據一個實施例，可從處理器820(例如主處理器821(例如AP))或可獨立於主處理器821的功能操作的輔助處理器823(例如圖形處理單元)接收圖像資訊。DDI 1030可經由介面模組1031(例如)與觸控電路1050或感測器模組1076通信。DDI 1030還可以例如逐畫面的方式將所接收的圖像資訊的至少一部分儲存在記憶體1033中。
影像處理模組1035可對於圖像資料的至少一部分來執行預處理或後處理(例如調節解析度、亮度或尺寸)。根據一個實施例，可例如至少部分地基於圖像資料的一或多個特徵或顯示器1010的一或多個特徵來執行預處理或後處理。
映射模組1037可生成對應於由影像處理模組1035預處理或後處理的圖像資料的電壓值或電流值。根據一個實施例，可例如至少部分地基於圖元的一或多個屬性(例如圖元的陣列，例如RGB條或PenTile結構，或每一子圖元的尺寸)來執行電壓值或電流值的生成。顯示器1010的至少一些圖元可例如至少部分地基於電壓值或電流值來驅動，使得可經由顯示器1010顯示對應於圖像資料的視覺資訊(例如文本、圖像或圖示)。
根據一個實施例，顯示裝置860可進一步包含觸控電路 1050。觸控電路1050可包含觸控感測器1051和控制觸控感測器1051的觸控感測器IC 1053。觸控感測器IC 1053可控制觸控感測器1051以感測對於顯示器1010上的某一位置的觸摸式輸入或懸停輸入。為了這一目的，例如，觸控感測器1051可檢測(例如測量)對應於顯示器1010上的某一位置的信號(例如，電壓、光量、電阻或一或多個電荷的量)的改變。觸控電路1050可將指示經由觸控感測器1051偵測到的觸摸式輸入或懸停輸入的輸入資訊(例如位置、區域、壓力或時間)提供到處理器820。根據一個實施例，觸控電路1050的至少部分(例如觸控感測器IC 1053)可形成為顯示器1010或DDI 1030的部分，或形成為安置於顯示裝置860外部的另一元件(例如輔助處理器823)的部分。
根據一個實施例，顯示裝置860可進一步包含感測器模組876的至少一個感測器(例如指紋感測器、虹膜感測器、壓力感測器或照度感測器)或用於至少一個感測器的控制電路。在這種情況下，可將至少一個感測器或用於至少一個感測器的控制電路嵌入於顯示裝置860的元件(例如，顯示器1010、DDI 1030或觸控電路1050)的一個部分中。舉例來說，當嵌入於顯示裝置860中的感測器模組876包含生物識別感測器(例如指紋感測器)時，生物識別感測器可獲得對應於經由顯示器1010的一部分接收的觸摸式輸入的生物識別資訊(例如指紋圖像)。舉例來說，當嵌入於顯示裝置860中的感測器模組1076包含壓力感測器時，壓力感測器可獲得對應於經由顯示器1010的部分或整個區域接收的觸摸式 輸入的壓力資訊。根據一個實施例，觸控感測器1051或感測器模組1076可安置於顯示器1010的圖元層中的圖元之間，或圖元層上方或下方。
圖11是根據一個實施例的程式840的框圖。
參看圖11，程式840可包含控制電子裝置801、中介軟體844或可在OS 842中執行的應用程式846的一或多個資源的OS 842。OS 842可包含(例如)Android®、iOS®、Windows®、Symbian®、Tizen®或BadaTM。例如可在製造期間將程式840的至少一部分預載入到電子裝置801上，或可在使用者使用期間從外部電子裝置(例如電子裝置802或電子裝置804或伺服器808)下載或由外部電子裝置更新。
OS 842可控制電子裝置801的一或多個系統資源(例如處理、記憶體或電源)的管理(例如分配或去分配)。另外地或可替代地，OS 842可包含一或多個驅動器程式，以驅動電子裝置801的其它硬體裝置，例如輸入裝置850、聲音輸出裝置855、顯示裝置860、音訊模組870、感測器模組876、介面877、觸覺模組879、相機模組880、電源管理模組888、電池889、通信模組890、訂戶識別模組896或天線模組897。
中介軟體844可將各種功能提供到應用程式846，使得由電子裝置801的一或多個資源提供的功能或資訊可由應用程式846使用。中介軟體844可包含(例如)應用程式管理器1101、視窗管理器1103、多媒體管理器1105、資源管理器1107、電源管 理器1109、資料庫管理器1111、套裝程式管理器1113、連線管理員1115、通知管理器1117、位置管理器1119、圖形管理器1121、安全管理器1123、電話管理器1125或語音辨識管理器1127。
應用程式管理器1101例如可管理應用程式846的生命週期。視窗管理器1103例如可管理在螢幕上使用的一或多個圖形化使用者介面(graphical user interface；GUI)資源。多媒體管理器1105例如可識別待用於播放媒體檔的一或多個格式，且可使用適合於選自一或多個格式的對應格式的轉碼器來編碼或解碼媒體檔中的對應一個。資源管理器1107例如可管理應用程式846的原始程式碼或記憶體830的儲存空間。電源管理器1109例如可管理電池889的容量、溫度或電源，且至少部分地基於電池889的容量、溫度或電源的對應資訊來確定或提供待用於電子裝置801的操作的相關資訊。根據一個實施例，電源管理器1109可與電子裝置801的基本輸入/輸出系統(basic input/output system；BIOS)交交互操作。
資料庫管理器1111例如可生成、檢索或改變待由應用程式846使用的資料庫。套裝程式管理器1113例如可管理以套裝程式檔形式分佈的應用程式的安裝或更新。連線管理員1115例如可管理電子裝置801與外部電子裝置之間的無線連接或直接連接。通知管理器1117例如可提供通知用戶出現指定事件(例如來電呼叫、消息或警告)的功能。位置管理器1119例如可管理關於電子裝置801的位置資訊。圖形管理器1121例如可管理待提供給 使用者的一或多個圖形效果，或與一或多個圖形效果相關的使用者介面。
安全管理器1123例如可提供系統安全或使用者認證。電話管理器1125例如可管理由電子裝置801提供的語音呼叫功能或視頻呼叫功能。語音辨識管理器1127例如可將使用者的語音資料傳輸到伺服器808，以及從伺服器808接收對應於至少部分地基於語音資料來在電子裝置801上執行的功能的命令，或至少部分地基於語音資料轉換的文本資料。根據一個實施例，中介軟體844可動態地刪除一些現有元件或添加新元件。根據一個實施例，中介軟體844的至少部分可包含作為OS 842的部分或可實施於與OS 842分離的其它軟體中。
應用程式846可包含(例如)家用應用程式1151、撥號器應用程式1153、短消息服務(short message service；SMS)/多媒體消息服務(multimedia messaging service；MMS)應用程式1155、即時消息(instant message；IM)應用程式1157、瀏覽器應用程式1159、相機應用程式1161、告警應用程式1163、聯繫應用程式1165、語音辨識應用程式1167、電子郵件應用程式1169、日曆應用程式1171、媒體播放機應用程式1173、個人相冊應用程式1175、監視應用程式1177、健康狀況應用程式1179(例如用於測量鍛煉程度或生物識別資訊，例如血糖)或環境資訊應用程式1181(例如用於測量氣壓、濕度或溫度資訊)。根據一個實施例，應用程式846可進一步包含資訊交換應用程式，其能夠支援電子裝置 801與外部電子裝置之間的資訊交換。資訊交換應用程式例如可包含通知傳達應用程式，其調適成將指定的資訊(例如呼叫、消息或警告)傳遞到外部電子裝置；或裝置管理應用程式，其調適成管理外部電子裝置。通知傳達應用程式可將對應於在電子裝置801的另一應用程式(例如電子郵件應用程式1169)處出現的指定事件(例如接收電子郵件)的通知資訊傳遞到外部電子裝置。另外地或可替代地，通知傳達應用程式可從外部電子裝置接收通知資訊並且將通知資訊提供到電子裝置801的使用者。
裝置管理應用程式可控制外部電子裝置或其一些元件(例如，電子裝置的顯示裝置或相機模組)的電源(例如接通或斷開)或功能(例如亮度、解析度或聚焦的調節)。另外地或可替代地，裝置管理應用程式可支援在外部電子裝置上運行的應用程式的安裝、刪除或更新。
圖12是根據一個實施例的電子裝置801的無線通信模組892、電源管理模組888以及天線模組897的框圖。
參看圖12，無線通信模組892可包含磁性安全傳輸(magnetic secure transmission；MST)通信模組1210或近場通信(near-field communication；NFC)模組1230，且電源管理模組888可包含無線充電模組1250。在這種情況下，天線模組897可包含多個天線，所述多個天線包含與MST通信模組1210連接的MST天線897-1、與NFC通信模組1230連接的NFC天線897-3以及與無線充電模組1250連接的無線充電天線897-5。簡要地描述或此 處省略上文關於圖8所描述的組件的描述。
MST通信模組1210可從處理器820接收含有控制資訊或例如卡(例如信用卡)資訊的繳費資訊的信號，生成對應於接收到的信號的磁信號，且接著經由MST天線897-1將所生成的磁信號傳遞到外部電子裝置802(例如銷售終端(point-of-sale；POS)裝置)。為生成磁信號，根據一個實施例，MST通信模組1210可包含開關模組，所述開關模組包含與MST天線897-1連接的一或多個開關，且控制開關模組根據接收到的信號改變供應到MST天線897-1的電壓或電流的方向。電壓或電流的方向的改變允許從MST天線897-1發射的磁信號(例如磁場)的方向因此改變。如果在外部電子裝置802處檢測，那麼其方向改變的磁信號可引起類似于當對應於與接收到的信號相關聯的卡資訊的磁卡刷過通過電子裝置802的讀卡器時所產生的磁場效果的效果(例如波形)。根據一個實施例，例如，可經由網路899將由電子裝置802接收的呈磁信號形式的繳費相關資訊和控制信號進一步傳輸到外部伺服器808(例如繳費伺服器)。
NFC通信模組1230可從處理器820獲得含有控制資訊或例如卡資訊的繳費資訊的信號且經由NFC天線897-3將所獲得的信號傳輸到外部電子裝置802。根據一個實施例，NFC通信模組1230可經由NFC天線897-3接收從外部電子裝置802傳輸的此類信號。
無線充電模組1250可經由無線充電天線897-5將電源 無線地傳輸到外部電子裝置802(例如蜂窩式電話或可穿戴裝置)，或從外部電子裝置802(例如無線充電裝置)無線地接收電源。無線充電模組1250可支援包含例如磁共振方案或磁感應方案的各種無線充電方案中的一或多個。
根據一個實施例，MST天線897-1、NFC天線897-3或無線充電天線897-5中的一些可共用其輻射器的至少一部分。舉例來說，MST天線897-1的輻射器可用作NFC天線897-3或無線充電天線897-5的輻射器，或反之亦然。在這種情況下，天線模組897可包含開關電路，所述開關電路調適成例如在無線通信模組892(例如MST通信模組1210或NFC通信模組1230)或電源管理模組(例如無線充電模組1250)的控制下選擇性地連接(例如閉合)或斷開連接(例如打開)天線897-1、天線897-3以及天線897-5的至少一部分。舉例來說，當電子裝置801使用無線充電功能時，NFC通信模組1230或無線充電模組1250可控制開關電路，以將由NFC天線897-3和無線充電天線897-5共用的輻射器的至少一個部分與NFC天線897-3臨時斷開連接且將輻射器的至少一個部分與無線充電天線897-5連接。
根據一個實施例，MST通信模組1210、NFC通信模組1230或無線充電模組1250的至少一個功能可由外部處理器(例如處理器820)控制。根據一個實施例，MST通信模組1210或NFC通信模組1230的至少一個規定功能(例如繳費功能)可在信任的執行環境(trusted execution environment；TEE)中執行。根據一 個實施例，TEE可形成執行環境，其中例如，將記憶體1230的至少一些指定區域分配用於執行需要相對高安全性等級的功能(例如財務交易或個人資訊相關功能)。在這種情況下，可例如根據存取其的實體或在TEE中執行的應用程式來限制性地准許對記憶體830的至少一些指定區域的存取。
根據一個實施例，本系統和方法在視頻超解析度中提供二階段運動補償方案來改進輸出視頻的品質。在LR運動補償和空間超解析度之後，將HR運動補償模組整合到視頻超解析度系統中。由於考慮LR運動和HR運動兩者，因此相較於常規的方法，輸出視頻具有更好的品質。
本系統可包含用於高效HR運動估計的超解析度網路。網路接收LR光流作為輸入，且輸出HR光流。因此，HR運動估計可與空間超解析度並行地執行，相較於直接地估計HR光流，這樣更快。
深度學習方法已在視頻超解析度中展示重要性能。然而，大部分常規的深度學習SR系統僅利用LR運動來對齊，這限制輸出視頻的品質。
在本公開中，下文描述用於視頻超解析度的二階段運動補償方案。本系統接收LR輸入視頻。本系統包含LR運動補償模組，所述LR運動補償模組將LR運動補償應用到到LR輸入視頻。將對準畫面提供到多圖像空間超解析度網路以將畫面上採樣到所需尺寸的HR畫面(中間HR畫面)。本系統進一步包含HR運動 補償模組，所述HR運動補償模組將中間HR畫面改進成最終輸出。
在LR運動補償中，光流由利用稱作FlowNet 2.0的卷積網路來學習光流的第二代方法提取。接著將LR圖像變形應用到所提取的光流。根據一個實施例，在多圖像空間超解析度下，將具有三維(3D)卷積層的級聯訓練超解析度CNN用於生成中間HR畫面。根據一個實施例，在HR運動補償中，HR光流可通過FlowNet 2.0或將SR網路應用到LR流上來提取。通過併入這些階段，本系統可利用相對低的計算成本來構建準確視頻超解析度CNN。
根據一個實施例，本系統和方法經由二階段運動補償來構建視頻超解析度系統以改進輸出品質。根據一個實施例，本系統和方法基於LR光流輸入來確定HR光流以在使用HR運動補償時維持低複雜度。本系統和方法基於由運動處罰的權重來融合HR運動補償中的多個畫面。
根據一個實施例，本系統提供從LR視頻檢索資訊的視頻超解析度以生成HR視頻。本系統學習具有二階段運動補償的極深卷積神經網路。本系統不同於僅具有一個LR運動補償階段的常規SR網路。
儘管本公開的某些實施例已描述於本公開的詳細描述中，但可在不脫離本公開的範圍的情況下以各種形式修改本公開。因此，不應僅基於所描述實施例來確定本公開的範圍，而相反基於所附權利要求書和其等效物來確定。
201:LR運動補償裝置
203:多圖像空間SR裝置
205:HR運動補償裝置

Claims (18)

  1. 一種用於使用卷積神經網路的視頻超解析度的方法，包括：由接收器接收具有第一多個畫面的視頻，所述第一多個畫面具有第一解析度；由第一解析度運動補償裝置基於第一類型的運動補償從所述第一多個畫面生成多個變形畫面，其包括學習所述視頻中的參考畫面周圍的相鄰畫面的光流；由多圖像空間超解析度裝置生成具有第二解析度的第二多個畫面，其中所述第二解析度屬於比所述第一解析度更高的解析度，其中使用卷積網路從所述多個變形畫面的子集獲得具有所述第二解析度的所述第二多個畫面中的每一個。
  2. 如申請專利範圍第1項所述的方法，其中所述光流為低解析度光流，並且生成所述多個變形畫面更包括：基於所述低解析度光流生成低解析度視頻中的所述參考畫面周圍的所述相鄰畫面的變形低解析度畫面。
  3. 如申請專利範圍第2項所述的方法，其中學習所述低解析度光流包括在基礎實況光流資料上訓練深度完全卷積神經網路的集合且將深度完全卷積神經網路的所述集合直接地應用到所述低解析度視頻的畫面。
  4. 如申請專利範圍第1項所述的方法，其中生成具有第二解析度的所述第二多個畫面包括使用深度卷積神經網路，其中各層部署三維卷積運算元。
  5. 如申請專利範圍第1項所述的方法，更包括由第二解析度運動補償裝置基於第二類型的運動補償生成具有所述第二解析度的第三多個畫面，其中生成所述第三多個畫面包括：使用卷積神經網路從高解析度中間畫面學習高解析度光流；基於相對於參考中間畫面的高解析度光流從所述高解析度中間畫面的連續畫面生成變形高解析度畫面；以及將加權融合應用到所述變形高解析度畫面以生成高解析度視頻的改進畫面。
  6. 如申請專利範圍第5項所述的方法，其中學習所述高解析度光流包括在基礎實況光流資料上訓練深度完全卷積神經網路的集合以及將深度完全卷積神經網路的所述集合直接地應用到所述高解析度中間畫面的畫面。
  7. 如申請專利範圍第5項所述的方法，其中應用所述加權融合包括基於用於每一相鄰畫面的所學習的所述高解析度光流識別對應於所述參考中間畫面中的圖元的相鄰畫面中的圖元，以及基於所述高解析度光流的量值來應用基於高斯權重以及運動懲罰的加權融合。
  8. 如申請專利範圍第1項所述的方法，其中生成所述第二多個畫面包括： 通過對低解析度光流執行超解析度來學習高解析度光流；基於所述高解析度光流從中間高解析度畫面的連續畫面生成變形高解析度畫面；以及將加權融合應用到所述變形高解析度畫面以生成高解析度視頻的改進畫面。
  9. 如申請專利範圍第8項所述的方法，其中對所述低解析度光流執行超解析度包括訓練深度完全卷積神經網路以對所述低解析度光流執行超解析度，其中通過將高解析度光流應用於基礎實況高解析度畫面來估計實況高解析度光流。
  10. 一種用於使用卷積神經網路的視頻超解析度的設備，包括：接收器，配置成接收具有第一多個畫面的視頻，所述第一多個畫面具有第一解析度；第一解析度運動補償裝置，配置成基於第一類型的運動補償從所述第一多個畫面生成多個變形畫面，並且學習所述視頻中的參考畫面周圍的相鄰畫面的光流；多圖像空間超解析度裝置，配置成生成具有第二解析度的第二多個畫面，其中所述第二解析度屬於比所述第一解析度更高的解析度，其中使用卷積網路從所述多個變形畫面的子集獲得具有所述第二解析度的所述第二多個畫面中的每一個。
  11. 如申請專利範圍第10項所述的設備，其中所述光流為低解析度光流，並且所述第一解析度運動補償裝置更配置成：基於所述低解析度光流生成低解析度視頻中的所述參考畫面周圍的所述相鄰畫面的變形低解析度畫面。
  12. 如申請專利範圍第11項所述的設備，其中所述第一解析度運動補償裝置還配置成在基礎實況光流資料上訓練深度完全卷積神經網路的集合以及將深度完全卷積神經網路的所述集合直接地應用到所述低解析度視頻的畫面。
  13. 如申請專利範圍第10項所述的設備，其中所述多圖像空間超解析度裝置還配置成使用深度卷積神經網路，其中各層部署三維卷積運算元。
  14. 如申請專利範圍第10項所述的設備，更包括：第二解析度運動補償裝置，配置成藉由下述操作來基於第二類型的運動補償而生成具有所述第二解析度的第三多個畫面：使用卷積神經網路從高解析度中間畫面學習高解析度光流；基於相對於參考中間畫面的高解析度光流從所述高解析度中間畫面的連續畫面生成變形高解析度畫面；以及將加權融合應用到所述變形高解析度畫面以生成高解析度視頻的改進畫面。
  15. 如申請專利範圍第14項所述的設備，其中所述第二解析度運動補償裝置還配置成將深度完全卷積神經網路的集合直接地訓練到所述高解析度中間畫面的畫面。
  16. 如申請專利範圍第14項所述的設備，其中所述第二解析度運動補償裝置還配置成基於用於每一相鄰畫面的所學習的所述高解析度光流識別對應於所述參考中間畫面中的圖元的相鄰畫面中的圖元，以及基於所述高解析度光流的量值來應用基於高斯權重以及運動懲罰的加權融合。
  17. 如申請專利範圍第10項所述的設備，其中所述第二解析度運動補償裝置更配置成：通過對低解析度光流執行超解析度來學習高解析度光流；基於所述高解析度光流從中間高解析度畫面的連續畫面生成變形高解析度畫面；以及將加權融合應用到所述變形高解析度畫面以生成高解析度視頻的改進畫面。
  18. 如申請專利範圍第17項所述的設備，其中所述第二解析度運動補償裝置還配置成通過訓練深度完全卷積神經網路以對所述低解析度光流執行超解析度，其中通過將高解析度光流應用於實況高解析度畫面來估計基礎實況高解析度光流。
TW107124405A 2017-11-09 2018-07-16 用於使用卷積神經網路的視頻超解析度的方法和設備 TWI775896B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762583633P 2017-11-09 2017-11-09
US62/583,633 2017-11-09
US15/946,531 2018-04-05
US15/946,531 US10733714B2 (en) 2017-11-09 2018-04-05 Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation

Publications (2)

Publication Number Publication Date
TW201918997A TW201918997A (zh) 2019-05-16
TWI775896B true TWI775896B (zh) 2022-09-01

Family

ID=66328788

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124405A TWI775896B (zh) 2017-11-09 2018-07-16 用於使用卷積神經網路的視頻超解析度的方法和設備

Country Status (4)

Country Link
US (2) US10733714B2 (zh)
KR (1) KR102341456B1 (zh)
CN (1) CN109767383A (zh)
TW (1) TWI775896B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074473B (zh) * 2016-04-11 2020-04-24 北京市商汤科技开发有限公司 用于对象跟踪的方法和系统
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN107169927B (zh) * 2017-05-08 2020-03-24 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
US10769761B2 (en) * 2017-06-30 2020-09-08 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11481934B2 (en) * 2018-10-10 2022-10-25 New York University System, method, and computer-accessible medium for generating magnetic resonance imaging-based anatomically guided positron emission tomography reconstruction images with a convolutional neural network
US11205112B2 (en) * 2019-04-01 2021-12-21 Honeywell International Inc. Deep neural network-based inertial measurement unit (IMU) sensor compensation method
CN110177282B (zh) * 2019-05-10 2021-06-04 杭州电子科技大学 一种基于srcnn的帧间预测方法
CN110163800B (zh) * 2019-05-13 2023-01-06 南京大学 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置
US11032576B2 (en) * 2019-06-10 2021-06-08 Microsoft Technology Licensing, Llc Selectively enhancing compressed digital content
CN114270799B (zh) * 2019-06-13 2024-04-05 Lg伊诺特有限公司 相机装置以及相机装置的图像生成方法
CN110446071A (zh) * 2019-08-13 2019-11-12 腾讯科技（深圳）有限公司 基于神经网络的多媒体处理方法、装置、设备及介质
CN110689509B (zh) * 2019-09-10 2024-04-19 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
KR20190117416A (ko) * 2019-09-26 2019-10-16 엘지전자 주식회사 동영상 프레임 해상도를 향상시키기 위한 방법 및 장치
CN110992260B (zh) * 2019-10-15 2022-04-22 网宿科技股份有限公司 一种视频超分辨率重建的方法和装置
KR20210051242A (ko) 2019-10-30 2021-05-10 삼성전자주식회사 멀티 렌즈 영상 복원 장치 및 방법
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
CN111062900B (zh) * 2019-11-21 2021-02-12 西北工业大学 一种基于置信度融合的双目视差图增强方法
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
WO2021125369A1 (ko) * 2019-12-16 2021-06-24 전자부품연구원 데이터 변형을 통한 고해상도 동영상 프레임 율 고속 변환 방법 및 장치
WO2021132862A1 (ko) * 2019-12-26 2021-07-01 주식회사 디파이 모션 기반 심폐 기능 지표 측정기, 노쇠 정도 예측 장치 및 방법
CN111179318B (zh) * 2019-12-31 2022-07-12 浙江大学 基于双流法的复杂背景运动小目标检测方法
WO2021163022A1 (en) * 2020-02-11 2021-08-19 Subtle Medical, Inc. Systems and methods for real-time video enhancement
US11200644B2 (en) * 2020-02-27 2021-12-14 Fotonation Limited Video super resolution method
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
TWI768364B (zh) * 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
WO2022011571A1 (zh) * 2020-07-14 2022-01-20 Oppo广东移动通信有限公司 视频处理方法、装置、设备、解码器、系统及存储介质
KR20220013183A (ko) 2020-07-24 2022-02-04 삼성전자주식회사 영상 복원 장치 및 방법
TWI760830B (zh) * 2020-08-28 2022-04-11 佳易科技股份有限公司 儲存裝置及使用其之醫療設備
KR20220029310A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 이미지 센서, 이미지 센서를 포함하는 이미지 획득 장치 및 그것의 동작 방법
KR20220053361A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN112581372B (zh) * 2021-02-26 2021-05-28 杭州海康威视数字技术股份有限公司 一种跨时空映射超分辨光场成像方法、装置及设备
KR20220145567A (ko) 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 고해상도 프레임 생성 장치
US20230095237A1 (en) * 2021-09-23 2023-03-30 Samsung Electronics Co., Ltd. Efficient flicker suppression for single image super-resolution
US20230230212A1 (en) * 2022-01-14 2023-07-20 Omnivision Technologies, Inc. Image processing method and apparatus implementing the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201131511A (en) * 2010-03-10 2011-09-16 Chunghwa Picture Tubes Ltd Super-resolution method for video display
US9230303B2 (en) * 2013-04-16 2016-01-05 The United States Of America, As Represented By The Secretary Of The Navy Multi-frame super-resolution of image sequence with arbitrary motion patterns
US9754351B2 (en) * 2015-11-05 2017-09-05 Facebook, Inc. Systems and methods for processing content using convolutional neural networks

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123780B2 (en) 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
EP1977395B1 (en) 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US8487929B2 (en) * 2009-09-09 2013-07-16 Advanced Micro Devices, Inc. Resolution enhancement of video stream based on spatial and temporal correlation
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
CN102360498B (zh) * 2011-10-27 2013-09-18 江苏省邮电规划设计院有限责任公司 图像超分辨率重建方法
CN103489173B (zh) * 2013-09-23 2016-08-17 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN103886568B (zh) * 2014-03-18 2017-06-06 南方医科大学 基于配准的肺4d‑ct图像超分辨率重建方法
JP6242742B2 (ja) * 2014-05-08 2017-12-06 株式会社東芝 画像処理装置、撮像装置及び画像処理方法
JP6414458B2 (ja) * 2014-12-17 2018-10-31 株式会社デンソー 演算処理装置
US10049279B2 (en) 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
US10057562B2 (en) * 2016-04-06 2018-08-21 Facebook, Inc. Generating intermediate views using optical flow
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10547873B2 (en) 2016-05-23 2020-01-28 Massachusetts Institute Of Technology System and method for providing real-time super-resolution for compressed videos
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
US10785471B1 (en) * 2017-05-12 2020-09-22 Facebook Technologies, Llc Upsampling content for head-mounted displays
CN107274347A (zh) 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
US11284107B2 (en) * 2017-08-22 2022-03-22 Google Llc Co-located reference frame interpolation using optical flow estimation
US10776688B2 (en) * 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US10783611B2 (en) * 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution
US11568236B2 (en) * 2018-01-25 2023-01-31 The Research Foundation For The State University Of New York Framework and methods of diverse exploration for fast and safe policy improvement
US20190045193A1 (en) * 2018-06-29 2019-02-07 Intel Corporation Region-based motion estimation and modeling for accurate region-based motion compensation for efficient video processing or coding
US20210103764A1 (en) * 2020-12-17 2021-04-08 Intel Corporation Accurate optical flow estimation in stereo pairs of equirectangular images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201131511A (en) * 2010-03-10 2011-09-16 Chunghwa Picture Tubes Ltd Super-resolution method for video display
US9230303B2 (en) * 2013-04-16 2016-01-05 The United States Of America, As Represented By The Secretary Of The Navy Multi-frame super-resolution of image sequence with arbitrary motion patterns
US9754351B2 (en) * 2015-11-05 2017-09-05 Facebook, Inc. Systems and methods for processing content using convolutional neural networks

Also Published As

Publication number Publication date
CN109767383A (zh) 2019-05-17
TW201918997A (zh) 2019-05-16
KR102341456B1 (ko) 2021-12-21
US11599979B2 (en) 2023-03-07
KR20190053074A (ko) 2019-05-17
US20200294217A1 (en) 2020-09-17
US10733714B2 (en) 2020-08-04
US20190139205A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
TWI775896B (zh) 用於使用卷積神經網路的視頻超解析度的方法和設備
EP3579544B1 (en) Electronic device for providing quality-customized image and method of controlling the same
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
US9692959B2 (en) Image processing apparatus and method
TWI808987B (zh) 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法
US10681287B2 (en) Apparatus and method for displaying AR object
US11120536B2 (en) Apparatus and method for determining image sharpness
EP3481048A1 (en) Electronic device for recording image using multiple cameras and operating method thereof
US11968439B2 (en) Electronic device comprising camera and electronic device control method
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
US10929961B2 (en) Electronic device and method for correcting images using external electronic device
TWI822987B (zh) 用於確定影像的深度資訊的系統及方法
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US11126322B2 (en) Electronic device and method for sharing image with external device using image link information
US20220358776A1 (en) Electronic device and operating method thereof
US20230412920A1 (en) Method for executing application, and electronic device supporting same
US20200273137A1 (en) Electronic device for providing image related to inputted information, and operating method therefor

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent