JP7392227B2 - 映像フレーム補間のための特徴ピラミッドワーピング - Google Patents
映像フレーム補間のための特徴ピラミッドワーピング Download PDFInfo
- Publication number
- JP7392227B2 JP7392227B2 JP2021564227A JP2021564227A JP7392227B2 JP 7392227 B2 JP7392227 B2 JP 7392227B2 JP 2021564227 A JP2021564227 A JP 2021564227A JP 2021564227 A JP2021564227 A JP 2021564227A JP 7392227 B2 JP7392227 B2 JP 7392227B2
- Authority
- JP
- Japan
- Prior art keywords
- input frame
- feature pyramid
- frame
- input
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 83
- 230000006870 function Effects 0.000 claims description 60
- 230000033001 locomotion Effects 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 56
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 230000015654 memory Effects 0.000 claims description 48
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 238000003786 synthesis reaction Methods 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 38
- 238000012549 training Methods 0.000 description 35
- 238000001994 activation Methods 0.000 description 28
- 238000003860 storage Methods 0.000 description 21
- 230000002123 temporal effect Effects 0.000 description 20
- 239000004065 semiconductor Substances 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical group [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 241000070023 Phoenicopterus roseus Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 239000010979 ruby Substances 0.000 description 2
- 229910001750 ruby Inorganic materials 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000001436 Antirrhinum majus Species 0.000 description 1
- PGLIUCLTXOYQMV-UHFFFAOYSA-N Cetirizine hydrochloride Chemical compound Cl.Cl.C1CN(CCOCC(=O)O)CCN1C(C=1C=CC(Cl)=CC=1)C1=CC=CC=C1 PGLIUCLTXOYQMV-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 101100408383 Mus musculus Piwil1 gene Proteins 0.000 description 1
- 241000414697 Tegra Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000016273 neuron death Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
[1]本願は、２０１９年１月１５日に出願された米国特許仮出願第６２／７９２，６９３号の優先権を主張するものであり、そのすべての内容を本明細書に援用する。
[2]本開示は一般的に、信号処理及びコンピュータビジョンの分野に関し、特に、特徴ピラミッドワーピングによる映像フレーム補間に関する。
[3]本明細書で提供する背景説明は、本開示の背景を大略提示することを目的とする。本明細書において別段の指示がない限り、本項に記載の内容は、本願の特許請求の範囲の先行技術ではなく、また、本項に含むことで先行技術と認められるものではない。
[4]映像フレーム補間は、多くの実用的応用を伴うコンピュータビジョンにおける古典的問題である。例えば近年、人間の脳波パワースペクトルの解析によって実証されている通り、映像フレーム補間の使用によって、映像のフレームレートを変換してモニタのリフレッシュレートと一致させることにより、映像鑑賞の体験を改善可能である（［Ｒ２６］、［Ｒ２７］）。映像フレーム補間は、色伝搬等の通常であれば労働集約的な映像編集タスクにも対応可能である（［Ｒ３１］）。各フレームを修正する代わりに、数個の主要なフレームのみを修正し、補間を用いてこれらの修正をその他のフレームに伝搬させることも可能である。また、フレーム補間は、映像のフレーム間圧縮にも対応可能である（［Ｒ４７］）。これらの用途では、時間領域の映像フレーム補間を採用するが、これは、所与の視点間の補間によって、空間におけるビューの合成にも同様に適用可能である（［Ｒ０９］）。通常はオプティカルフローの形態である入力フレーム間の高品質の高密度対応が補間には不可欠である。
[5]ただし、オプティカルフロー推定自体は、困難な課題であり、オクルージョン、広範な動き、及びテクスチャの欠如等の困難に直面している（［Ｒ０６］、［Ｒ１９］）。これらの課題に対処するため、多くの既存技術では、様々な特徴を抽出して、対応を確立する（［Ｒ０１］、［Ｒ０４］、［Ｒ０５］、［Ｒ１５］、［Ｒ４６］）。最近では、［Ｒ１６］及び［Ｒ４４］ほかが、オプティカルフロー推定用の特徴ピラミッド抽出器をトレーニングすること提案して、従来技術の新たな結果を実現している。ただし、映像の増強にオプティカルフローを使用するには、対象タスクに対するオプティカルフローの微調節が重要であることを［Ｒ４９］が示している。
[6]オプティカルフロー推定は、映像フレーム補間の不可欠な部分である。深層学習ではないオプティカルフロー法に関する調査が［Ｒ０２］及び［Ｒ４３］に見られる。［Ｒ０７］は、畳み込みニューラルネットワークであれば、オプティカルフロー推定に関する従来の変分的手法に張り合えることを示している。［Ｒ１７］では、このような複数のネットワークを積み重ねて、大小の変位を適当に扱っている。［Ｒ３９］では、空間ピラミッドを利用して、古典的なオプティカルフローの原理を深層学習と組み合わせる。最近では、オプティカルフロー予測をさらに改善するより高度な空間ピラミッド技術を［Ｒ１６］及び［Ｒ４４］が提案している。
[7]映像フレーム補間の実行には、市販のオプティカルフローを直接使用可能である。［Ｒ０２］は、アウトサイドイン手法を用いて任意の孔を埋めるとともにオクルージョンマスクを考慮しつつ、入力フレームをワープさせることにより、オプティカルフロー推定の補助的な誤差基準としてフレーム補間を採用することを提案している。［Ｒ１３］は、マルコフ確率場法を用いて選択された候補フローから中間フレームを合成する前の前方及び後方フローに応じたオクルージョンを論証している。［Ｒ２０］では、両方向のオプティカルフローを一体的に予測し、その後これらの予測の線形結合によって補間結果を合成する。同様に、［Ｒ３４］では、二方向フローに従って入力フレームをワープさせる一方、コンテキスト情報を利用する合成ネットワークを用いてこれらを結合する。このようにオプティカルフローを使用することによって、任意の時間的位置でのフレーム補間が可能となる。
[8]市販の方法を直接用いてオプティカルフローの結果を出力するほか、いくつかの方法では、映像フレーム補間のタスクに対してオプティカルフロー推定をカスタマイズする。［Ｒ３８］では、オプティカルフロー形成を修正して対称とすることにより、両方向でのオプティカルフローの推定を回避する。［Ｒ３０］では、畳み込みニューラルネットワークを用いてボクセルフローを推定するとともに、選択マスクを組み込んでビュー合成を実行する。［Ｒ４９］は、オプティカルフロー形成を修正するものではないが、フレーム補間等の特定の映像処理タスクに対してオプティカルフローを最適化するタスク指向フローを提案している。
[9]オプティカルフローを使用する代わりに、［Ｒ３２］、［Ｒ３３］では、周波数領域における位相シフトとして動きを表す。この手法は、モーションブラー及び輝度変化を含む困難なシナリオにおいて良好に機能するものの、位相アンビギュイティのため、扱い得る動き範囲は制限される。［Ｒ３５］、［Ｒ３６］では、適応畳み込みによって、動き推定及びビュー合成を単一のステップとして組み合わせる。これは、小さな変位の場合は堅牢な形成となるが、カーネルサイズが制限されていることから、大きな変位を扱うことはできない。
[10]映像フレーム補間は、新規ビューの補間に関連し、２つの所与のビュー間の視点から新たな画像がレンダリングされる。フレーム補間の場合と同様に、ビュー補間にも深層学習が適用されている。例えば、［Ｒ０９］では、プレーンスイープボリュームをニューラルネットワークに組み込んで、広い基準値により分離されたビュー間を補間する。［Ｒ５１］においては、外観フローの推定によりピクセルをワープ及び混合して新規ビューを合成するように、ニューラルネットワークがトレーニングされる。［Ｒ２２］においては、ニューラルネットワークの使用によって、視差推定及び混合を別個にモデル化するとともに、ニューラルネットワークの一体的なトレーニングによって、一組のわずかな入力ビューから新たなビューを合成する。
[11]添付の図面と併せた以下の詳細な説明によって、実施形態が容易に理解されるであろう。この説明を容易にするため、同様の参照番号によって同様の構造的要素を指定する。添付の図面の各図においては、実施形態を一例として示しているに過ぎず、何ら限定を目的としたものではない。
[14]本明細書に記載の実施形態は、映像フレーム補間のための動き推定、特に、映像フレーム補間用に最適化された特徴ピラミッドを用いたフレーム補間のための機械学習の提供に関する。フレーム補間の目標として、動き推定及び動き補償がある。動き推定には、２つの画像間の状態の推定及び／又はある２Ｄ画像から別の２Ｄ画像への（通例、一連の映像フレーム中の隣り合うフレームからの）変換を表す動きベクトルの決定を含む。動きベクトルは、画像の全体又は一部（例えば、ピクセルの矩形若しくは任意形状のブロック、又はピクセルごと）に関していてもよい。動きベクトルは、並進運動モデル又はその他何らかの種類のモデルにより表されるようになっていてもよい。動き補償には、映像中の物体の動き及び／又はカメラの動きを考慮することにより、過去のフレーム並びに／又は１つ若しくは複数の未来のフレームを所与として、映像中のフレームの予測を含む。実施形態では、動き推定のための画像表現としての特徴ピラミッドの能力を踏まえ、これらをフレーム補間用の深層ニューラルネットワークへとシームレスに組み込む。本開示は、強力な画像表現として特徴ピラミッドを利用する映像フレーム補間の実施形態を提供するとともに、フレーム補間のタスクに対してこれらを最適化する。
[15]種々実施形態において、特徴ピラミッドは、２つの入力フレームそれぞれに対して抽出される。これらの特徴ピラミッドは、オプティカルフローにより推定されたフレーム間動きに従って、入力フレームとともに対象時間位置へとワープする。オプティカルフローは、観測者とシーンとの間の相対的な動きによる視覚シーン中の物体、表面、及び縁部の見掛けの動きのパターン、並びに／又は、画像若しくは映像中の輝度パターンの移動の見掛けの速度の分布である。実施形態において、オプティカルフローの成分は、映像フレーム補間のタスクに対して微調節される。そして、フレーム合成ネットワークの使用により、これらプリワープした特徴ピラミッド及び入力フレームからの補間結果を予測する。特徴ピラミッド抽出器及びフレーム合成ネットワークの一体的なトレーニングにより、これらは、フレーム補間のタスクに対して最適化される。他の実施形態についても説明及び／又は請求を行う。
[16]種々実施形態においては、特徴ピラミッド抽出器として深層ニューラルネットワークが利用されるとともに、２つの入力フレームそれぞれに対して特徴ピラミッドが生成される。そして、特徴ピラミッドは、映像フレーム補間に対して微調節された市販のオプティカルフローのメカニズムにより推定された動きに従って、中間フレームの対象時間位置へとプリワープする。これらの特徴によりガイドされた中間フレームの補間には、フレーム合成ネットワークが採用される。特徴抽出器及びフレーム合成ネットワークの一体的なトレーニングにより、これらは、映像フレーム補間に対して最適化される。他の実施形態についても説明及び／又は請求を行う。
[17]本明細書の実施形態では、困難なシナリオにおいて映像フレームを補間可能である。本明細書に記載の実施形態の能力は、強力な画像表現としての特徴ピラミッドの使用と、高品質の画像合成に必要な細部を重視可能とする特徴ピラミッドのプリワーピングとの組み合わせに由来する。実験により示される通り、フレーム補間用の特徴ピラミッドは、動き推定用の特徴ピラミッドとは異なるパターンを示す。さらに、特徴ピラミッド抽出器ネットワーク及びフレーム合成ネットワークの一体的なトレーニングによって、映像フレーム補間用の両ネットワークがさらに最適化される。最後に、本実施形態の実行は、特定のオプティカルフロー法と密接な関係にあるわけではない。本開示は、拡張的な定量的且つ定性的評価も提供し、本明細書に記載の種々実施形態に係る特徴ピラミッドの利用によって、従来の手法よりも堅牢で高品質の映像フレーム補間が可能になることを実証する。本明細書の実施形態は、フレーム補間に関して説明するが、ビュー補間及びマルチフレーム補間にも使用可能である。
[18]ここで図面を参照して、図１は、本明細書に記載の実施形態の特徴ピラミッドワーピング（ＦＰＷ）技術を使用する一例を含む、様々なフレーム補間方法を用いた映像フレーム補間の困難な一例を示している。図１が示すフラミンゴの脚の画像は、その繊細な形状と大きな動きから、重要な課題をもたらしている。図１は、オーバーレイ入力フレーム、タスク指向フロー（ＴｏＦｌｏｗ）（［Ｒ４９］）、分離可能畳み込み（ＳｅｐＣｏｎｖ）－ＬＦ（［Ｒ３６］）、コンテキスト認識合成（ＣｔｘＳｙｎ）－ＬＦ（［Ｒ３４］）、及びＦＰＷ－ＬＦと称する本明細書に記載の実施形態に係るフラミンゴの脚を示している。図１から分かる通り、フラミンゴの脚の移動の推定及び／又は補償は難しく、既存のフレーム補間方法を使用すると、アーチファクト又は重複が生じる。既存のフレーム補間方法と比較して、ＦＰＷでは、フレーム補間用の特徴ピラミッドを利用及び最適化するとともに、この困難な例に対して、高品質のフレーム補間結果を実現する。
[19]図１に示すように、ＦＰＷは、困難なシナリオにおいて映像フレームを補間可能である。ＦＰＷの能力は、強力な画像表現としての特徴ピラミッドの使用と、高品質の画像合成に必要な細部を重視可能とする特徴ピラミッドのプリワーピングとの組み合わせに由来する。以下により詳しく論じる通り、フレーム補間用の特徴ピラミッドは、動き推定用の特徴ピラミッドとは異なるパターンを示す。さらに、特徴ピラミッド抽出器ネットワーク及びフレーム合成ネットワークの一体的なトレーニングによって、映像フレーム補間用の両ネットワークがさらに最適化される。最後に、本明細書の実施形態の実行は、特定のオプティカルフロー実施態様と密接な関係にあるわけではない。ＦＰＷは、Ｏｐｔｉｃａｌ Ｆｌｏｗ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ（ＦｌｏｗＮｅｔ）（［Ｒ０７］）、ＦｌｏｗＮｅｔ ２．０（ＦｌｏｗＮｅｔ２）（［Ｒ１７］）、又はＰｙｒａｍｉｄ，Ｗａｒｐｉｎｇ，ａｎｄ Ｃｏｓｔ ｖｏｌｕｍｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＷＣ－Ｎｅｔ）（［Ｒ４４］）のいずれを使用するかに関わらず、高品質の補間結果を生成する。特に、以下に論じる定量的且つ定性的評価は、特徴ピラミッドを利用するＦＰＷによって、従来の技術よりも堅牢で高品質の映像フレーム補間が可能になることを実証する。
Ｉ．映像フレーム補間の実施形態
Ｉ．映像フレーム補間の実施形態
[20]２つの入力フレームＩ０及びＩ１を所与として、映像フレーム補間では、中間フレームＩｔを生成しようとする。ここで、ｔ∈（０，１）は、２つの入力フレーム間の所望の時間位置を規定する。実施形態においては、高品質の映像フレーム補間のため、特徴ピラミッドがフレーム合成ニューラルネットワークと一体化される。
Ｉ．Ａ．特徴ピラミッドワーピング
Ｉ．Ａ．特徴ピラミッドワーピング
[21]図２は、種々実施形態に係る、例示的なフレーム補間ニューラルネットワーク（ＦＩＮＮ）アーキテクチャ２００を示している。ＦＩＮＮアーキテクチャ２００（又は、単に「ＦＩＮＮ２００」）は、高品質の映像フレーム補間用の画像表現として特徴ピラミッドを組み込んだ深層ニューラルネットワークである。図２に示すように、ＦＩＮＮアーキテクチャ２００は、特徴ピラミッド抽出器（ＦＰＥ）３００、前方ワーピングエンジン（ＦＷＥ）２０５、フレーム合成ニューラルネットワーク（ＦＳＮ）４００、及びオプティカルフロー推定器（ＯＦＥ）２１５を具備する。図２には、２つのＯＦＥ２１５、２つのＦＰＥ３００、２つのＦＷＥ２０５、及び１つのＦＳＮ４００を示すが、他の実施形態において、ＦＩＮＮ２００は、１つのＯＦＥ２１５、１つのＦＰＥ３００、１つのＦＷＥ２０５、及び１つのＦＳＮ４００だけを具備していてもよいし、図示よりも多くのＯＦＥ２１５、ＦＰＥ３００、ＦＷＥ２０５、及びＦＳＮ４００を具備していてもよい。
[22]ＯＦＥ２１５は、２つの入力フレームＩ０及びＩ１の両方向のフレーム間動き並びに／又は２つの入力フレームＩ０及びＩ１間の二方向オプティカルフローを推定する。実施形態において、ＯＦＥ２１５は、（例えば、入力フレームＩ０から入力フレームＩ１までの）前方オプティカルフロー２１６０と、（例えば、入力フレームＩ１から入力フレームＩ０までの）後方オプティカルフロー２１６１とを推定する。オプティカルフローは、あるフレームから別のフレームまでピクセルが移動する様子を示す。例えば、オプティカルフローは、あるフレームから次のフレームまで特定のピクセルが移動した様子（例えば、（１つ又は複数の）方向）を示し得る。図２の例においては、フレームＩ０からフレームＩ１まで前方に移動する車両を示すが、この車両は、フレームＩ１からフレームＩ０まで後方に移動する。前方フロー２１６０は、フレームＩ０からフレームＩ１までの車両のフローを推定し、後方フロー２１６１は、フレームＩ０からフレームＩ１までの車両のフローを推定する。
[23]ＯＦＥ２１５は、フレーム補間用の動き推定を実行するソフトウェアエンジン、モジュール、オブジェクト、又は他の同様の論理ユニットである。他の実施態様において、ＯＦＥ２１５は、フレーム補間用の動き推定を実行する適当なビットストリーム、論理ブロック等が設定されたハードウェア要素であってもよい。種々実施形態において、動き推定は、オプティカルフローによって明示的に実行されるが、他の実施形態においては、適応畳み込みによって暗示的に実行されるようになっていてもよい。オプティカルフロー推定では、正確なピクセルごとの位置を使用するとともに、２つの入力画像間の対応を見つけるが、これには、画像の特徴表現の学習のみならず、２つの画像中の異なる位置での整合の学習を伴う。言い換えると、オプティカルフローは、画像間でピクセルが移動する様子を表すが、これには、２つの画像（又は、映像フレーム）間のピクセル対応を示すデータ構造を含んでいてもよい。例えば、ＦｌｏｗＮｅｔは、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを使用して、オプティカルフローの概念をデータから直接学習する。実施形態において、ＦＰＷは、オプティカルフローを用いた明示的な動き推定に基づく。これらの実施形態においては、オプティカルフロー形成が変化しないため、ＦＰＷがオプティカルフロー推定の継続的進化を利用することが可能となる。いくつかの実施形態において、ＦＰＷは、２つの従来技術のオプティカルフロー法に等しく良好に研究（ＦｌｏｗＮｅｔ２（［Ｒ１７］）及びＰＷＣ－Ｎｅｔ（［Ｒ４４］））を利用するようにしてもよい。
[24]（１つ又は複数の）ＦＰＥ３００は、入力画像（例えば、入力フレームＩ０及びＩ１）から特徴を抽出する。特に、（１つ又は複数の）ＦＰＥ３００は、２つの入力フレームＩ０及びＩ１の特徴ピラミッド表現を抽出し、ＦＷＥ２０５は、ＯＦＥ２１５が出力した（１つ又は複数の）推定オプティカルフローに従って、入力フレームＩ０及びＩ１とともに特徴ピラミッドを対象時間位置ｔへとプリワープさせる。ＦＰＥ３００は、例えば特徴空間に対する主成分分析の実行によって、特徴ピラミッドの視覚化を生成する。特徴ピラミッドは、とりわけ、異なる解像度における入力フレームＩ０又はＩ１の様々な表現を含み、特徴ピラミッドの各レベルには、異なる解像度のうちの１つにおける入力フレームを含む。図２の例において、ある特徴ピラミッドは、３つの異なる解像度における入力フレームＩ０の３つのレベル３０５Ａ０、３０５Ｂ０、及び３０５Ｃ０を含み、別の特徴ピラミッドは、３つの異なる解像度における入力フレームＩ１の３つのレベル３０５Ａ１、３０５Ｂ１、及び３０５Ｃ１を含む。
[25]各特徴ピラミッドの各レベルには、一組の特徴を含む。種々実施形態において、各組の特徴における少なくとも一部の特徴は、入力フレームの色空間（又は、色モデル）に基づく。色空間／モデルは、例えばＲＧＢ（赤、緑、青）、ＣＭＹＫ（シアン、マゼンタ、黄、キー）、ＨＳＬ（色相、彩度、明度）及び／若しくはＨＳＶ（色相、彩度、色値）、ＹＵＶ（輝度、青彩度／投影、赤彩度／投影）、ＬＡＢ若しくはＣＩＥＬＡＢ、並びに／又はその他類似のものであってもよい。ＦＩＮＮ２００が動作する色空間は、ＦＩＮＮ２００が特定の色空間に対してトレーニングされている限り柔軟である。この追加又は代替としては、ピクセル輝度値が特徴集合のうちの（１つ又は複数の）特徴であってもよい。種々実施形態において、抽出対象の特徴は、ＦＰＥ３００によって学習される。また、いくつかの実施形態において、ＦＰＥ３００は、各ピラミッドレベルである数の特徴を学習することにより、好適な逆伝搬技術を用いて入力画像からの抽出を行う。ＦＰＥ３００は、抽出対象の特徴を学習した後、複数の解像度（例えば、各ピラミッドレベルの各解像度）においてこれらの特徴をワープさせる。いくつかの実施形態において、抽出対象の特定の特徴は、良好なフレームを可能な限り補間及び維持する作業が可能となるように、ＦＳＮ４００によって決定される。ＦＰＥ３００のアーキテクチャを図３に示す。
[26]ここで図３を参照して、入力画像３０１を所与として、ＦＰＥ３００は、３つのレベル３０５Ａ、３０５Ｂ、及び３０５Ｃで特徴ピラミッド３０５を返す。種々実施形態において、ＦＰＥ３００は、フィードフォワードＮＮ（ＦＮＮ）、畳み込みＮＮ（ＣＮＮ）、及び／又はその他何らかのＮＮ等、多層ニューラルネットワーク（ＮＮ）であってもよい。ＮＮ中の層には、入力変数（例えば、入力特徴）のデータを受け取る入力層と、入力を処理する１つ又は複数の隠れ層と、ＮＮの決定又は評価を出力する出力層とを含む。例示的な一実施態様において、入力変数は、関連する可変データを含む１つ又は複数のベクトルとして設定され、出力決定又は評価についても、１つ又は複数のベクトルを含む。ＮＮ中の異なる層間の複数の接続パターンが用いられるようになっていてもよい。また、各層は、それぞれが１つ又は複数の入力を受け取るとともに出力（又は、「活性化（activation, アクチベーション）」）を生成する１つ又は複数のニューロン（又は、「ノード」）を含んでいてもよい。入力値に適用される関数は、重みのベクトル及びバイアスにより決定される（これらのバイアス及び重みの反復的調整によるＮＮ進化中の学習）。重みのベクトル及びバイアスは、「フィルタ」と称し、特定の特徴を表す。各ノードの出力は、入力がモデルの予測に関連するかに基づいて出力を活性化すべきか否かを判定する活性化関数を通過する。用語「活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）」は、一組の入力を所与としてノードの出力を規定する当該ノードの関数を表し、出力はその後、元の問題に対する所望の解決手段が見つかるまで、次のノード以降の入力として使用される。
[27]種々実施形態において、ＦＰＥ３００の１つ又は複数の隠れ層には、乗算又は他のドット積で畳み込まれる一連の畳み込み層を含み、（１つ又は複数の）活性化関数は、正規化線形ユニット（「ＲｅＬＵ」又は「正規化線形関数」）であってもよいし、パラメトリックＲｅＬＵ（「ＰＲｅＬＵ」）であってもよい。ＲｅＬＵは、関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を演算する活性化関数であり、ＲｅＬＵの活性化は、ｘ＜０の場合にゼロ、ｘ＞０の場合に傾き１の線形である（例えば、活性化は、ゼロを閾値とする）。ＰＲｅＬＵは、関数
を演算する活性化関数である。ここで、ｙｉは、ｉ番目のチャネル上の非線形活性化関数ｆの入力であり、ａｉは、ａｉ＝０である場合にＰＲｅＬＵがＲｅＬＵとなり、ａｉが比較的小さな数（例えば、ａｉ＝０．０１）である場合にＰＲｅＬＵがリーキーＲｅＬＵとなるように、負の傾きを制御する係数（「リークパラメータ」）である。このように、ＰＲｅＬＵは、他のニューラルネットワークパラメータと併せて学習されたパラメータへのリークの係数を構成する。言い換えると、ＰＲｅＬＵは、リークパラメータａの学習によって、負の入力に対する適正な正の傾きを見つけることにより、逆伝搬誤差信号を遮断するゼロ導関数に起因する負のニューロンの死（すなわち、常にゼロに等しいニューロン）を防止する。
を演算する活性化関数である。ここで、ｙｉは、ｉ番目のチャネル上の非線形活性化関数ｆの入力であり、ａｉは、ａｉ＝０である場合にＰＲｅＬＵがＲｅＬＵとなり、ａｉが比較的小さな数（例えば、ａｉ＝０．０１）である場合にＰＲｅＬＵがリーキーＲｅＬＵとなるように、負の傾きを制御する係数（「リークパラメータ」）である。このように、ＰＲｅＬＵは、他のニューラルネットワークパラメータと併せて学習されたパラメータへのリークの係数を構成する。言い換えると、ＰＲｅＬＵは、リークパラメータａの学習によって、負の入力に対する適正な正の傾きを見つけることにより、逆伝搬誤差信号を遮断するゼロ導関数に起因する負のニューロンの死（すなわち、常にゼロに等しいニューロン）を防止する。
[28]図３の例においては、ＦＰＥ３００が表により表され、ＦＰＥの動作は、表の最上部で開始となって、表の最下部に達するまで続く。表の各行は、ＮＮ中の層を表す。ＦＰＥ３００は、第１の解像度で入力画像（フレーム）３０１（例えば、入力フレームＩ０及び／又はＩ１）を受け取る入力層３０８を含み、各隠れ層は、２Ｄ畳み込み層（Ｃｏｎｖ２ｄ）３１０及び対応する活性化関数（ＰｒｅＬＵ）３１５を含む（これらを「畳み込み層３１０」等と称する場合もある）。本例において、ＦＰＥ３００は、ストライド畳み込み３１０（ストライド畳み込み（Ｃｏｎｖ２ｄ）３１０Ａ～３１０Ｆを含む）を用いてダウンサンプリングを実行するとともに、ａ＝０．２５で初期化された活性化関数としてＰＲｅＬＵ３１５（ＰＲｅＬＵ３１５Ａ～３１５Ｆを含む）を利用する（［Ｒ１２］）。他の実施形態においては、他の活性化関数が用いられるようになっていてもよい。
[29]第１の畳み込み層３１０Ａは、入力層３０８で受信された入力画像３０１から、一組の入力特徴（Ｆｉｎ）のうちの特徴の第１の組（Ｆ１）を選択（抽出）するが、表ではこれを「特徴」列により示す。ＭＬの背景において、特徴は、観測対象の現象の個々の測定可能な性質又は特性である。特徴は通例、数字、文字列、変数、グラフ等を用いて表されるが、一組の特徴を「特徴ベクトル」と称する場合がある。各畳み込み層３１０は、２つの入力（例えば、入力画像の画像行列並びにフィルタ若しくはカーネル（「カーネル」列に示す））を取得するようにしてもよく、また、入力中の検出した特徴の存在をまとめた特徴マップを出力として生成するようにしてもよい。各層３１０から抽出された特徴は、次の層３１０に供給されて、連続した一組の特徴（例えば、図３の例における特徴集合Ｆ１、Ｆ２、及びＦ３を含む）を生成する。
[30]種々実施形態において、一組の入力特徴（Ｆｉｎ）は、入力画像３０１の色空間に基づく（例えば、ＲＧＢ色空間の場合の赤、緑、及び青（ここで、Ｆｉｎは、３つの特徴を含む））。追加又は代替として、一組の入力特徴（Ｆｉｎ）は、画像３０１中の１つ又は複数のピクセルの輝度値を含んでいてもよい。追加又は代替として、一組の入力特徴（Ｆｉｎ）は、各ピクセルのエリアにおけるピクセル値及び／又は他の情報を記述する記述子をピクセルごとに含んでいてもよい。また、一組の入力特徴（Ｆｉｎ）は、逆伝搬等により学習されるようになっていてもよい。いくつかの実施形態においては、各層３１０において９６個の特徴が抽出されるようになっていてもよい（例えば、特徴集合Ｆ１、Ｆ２、及びＦ３がそれぞれ、９６個の特徴を有していてもよい）。他の実施形態においては、最高解像度の場合に３２個の特徴が抽出されるようになっていてもよく（例えば、Ｆ１＝３２）、中間解像度の場合に６４個の特徴が抽出されるようになっていてもよく（例えば、Ｆ２＝６４）、最低解像度の場合に９６個の特徴が抽出されるようになっていてもよい（例えば、Ｆ３＝９６）。実施形態において、ＦＰＥ３００は、各層において任意数の特徴を抽出するように構成されていてもよい。抽出特徴数を増やすとフレーム補間の品質が向上し得る一方、補間結果を計算するための時間及びリソース消費も増大し得る点において、品質対時間及びリソース消費の観点でのトレードオフが存在し得ることに留意するものとする。同様に、抽出特徴数を減らすと（例えば、処理時間及びリソース消費の観点での）システム性能が向上し得る一方、補間結果の品質が低下することにもなり得る。
[31]各層は、入力画像３０１の低解像度表現を生成する。例えば、画像３０５Ａは、入力画像３０１よりも解像度が低く、画像３０５Ｂは、画像３０５Ａよりも解像度が低く、画像３０５Ｃは、画像３０５Ｂよりも解像度が低い。解像度は、ストライド畳み込み３１０の使用により低下する。ストライドは、入力行列上のピクセルシフト数である。ストライドが１の場合は一度に１ピクセルだけフィルタが移動し、ストライドが２の場合は一度に２ピクセルだけフィルタが移動する。図３の「ストライド」列に示すように、２つの層が２×２のストライドであり、他の層は１×１のストライドである。実施形態において、ストライドが畳み込みに対して２×２の場合、出力サイズは、入力サイズの半分である。いくつかの実施形態においては、次元縮退に１×１のストライドが用いられるようになっていてもよい。図３の例においては、各レベルの解像度が半分になっている。また、出力ボリューム空間サイズの制御に（図３の「パディング」列に示すような）パディングが用いられるようになっていてもよい。図３は、６つの畳み込み層３１０及び６つの活性化関数３１５を伴う３つの解像度レベルを示しているが、他の実施形態においては、任意数のレベル及び／又は層が用いられるようになっていてもよい。ただし、層又はレベルの数の増減は、上述と類似の性能／品質トレードオフを伴い得ることに留意するものとする。
[32]図２を再び参照して、ＦＷＥ２０５は、ＯＦＥ２１５が出力した推定オプティカルフローに従って、入力フレームＩ０及びＩ１とともに特徴ピラミッド（例えば、図３の特徴ピラミッド３０５であって、特徴ピラミッドレベル３０５Ａ、３０５Ｂ、及び３０５Ｃを含む）を対象時間位置ｔへとワープ（プリワープ）させる。本明細書において、用語「ワープ（ｗａｒｐ）」又は「ワーピング（ｗａｒｐｉｎｇ）」は、ある画像（又は、映像フレーム）においてオプティカルフローが指示する位置へのピクセルの移動を表す。図２の例において、ＦＷＥ２０５は、ＯＦＥ２１５からの前方オプティカルフローを用いて、入力フレームＩ０を入力フレームＩ１に向かってワープさせる（例えば、時間的に前方へと車両を移動させる）とともに、ＯＦＥ２１５からの後方オプティカルフローを用いて、入力フレームＩ１を入力フレームＩ０に向かってワープさせる（例えば、時間的に後方へと車両を移動させる）。このように入力フレームＩ０及びＩ１をワープさせることにより、入力フレームＩ０及びＩ１間の所望の時間位置（ｔ）へと入力フレームＩ０及びＩ１中のピクセルをシフト可能となる。
[33]また、抽出された特徴ピラミッド３０５は、（１つ又は複数の）推定オプティカルフローに従って、入力フレームＩ０及びＩ１とともに対象時間位置ｔ∈（０，１）へとワープする。実施形態において、ＦＷＥ２０５は、ｔによりスケーリングされた前方オプティカルフローに従って第１のフレームＩ０の特徴ピラミッド３０５をワープ（プリワープ）させるとともに、１－ｔによりスケーリングされた後方オプティカルフローに従って第２のフレームＩ１の特徴ピラミッドをワープ（プリワープ）させる。ピラミッドの個々のレベルをワープさせるため、ＦＷＥ２０５は、最大解像度のオプティカルフローを再サイズ規定及び再スケーリングする。いくつかの実施形態において、ＦＷＥ２０５は、空間変換ネットワークが導入するような後方ワーピング（［Ｒ１８］）を使用する代わりに、［Ｒ３４］に記載の方式等の前方ワーピングを実行する。これにより、ＦＷＥ２０５は、以下に論じる評価において実証される通り、任意の時間位置ｔにおいてフレームを効果的に補間することが可能となる。ただし、前方ワーピングは、２つのソースピクセルが同じ対象にマッピングされる曖昧さを有するが、これは、光学的整合性検査により解消される（［Ｒ０２］）。さらに、実施形態において、ＦＷＥ２０５は、ＦｌｏｗＮｅｔ２（［Ｒ１７］）の設計原理に従い、オプティカルフロー推定の品質の補助測定として光学的整合性を利用する。これにより、後述する後続のＦＳＮ４００は、ワープした（プリワープした）特徴ピラミッドからの情報を組み合わせる場合に、この品質尺度を導入することができる。プリワープした特徴ピラミッド３０５並びに入力フレームＩ０及びＩ１は、ＦＳＮ４００への供給によって、最終的な補間結果を生成する。ＦＳＮ４００は、プリワープした入力フレーム及び特徴ピラミッドを入力として取得し、補間結果を生成するように構成されている。ＦＳＮ４００の例示的なアーキテクチャを図４に示す。
[34]図４は、種々実施形態に係る、ＦＳＮ４００の例示的なアーキテクチャを示している。ＦＳＮ４００は、２つの入力フレームＩ０及びＩ１のワープした特徴ピラミッドによりガイドされたフレーム補間結果４１０を生成する。本例において、ＦＳＮ４００は、この目的の残余畳み込み－逆畳み込みグリッドネットワーク（ＧｒｉｄＮｅｔ）（［Ｒ１０］）アーキテクチャ等のグリッドネットワークを、［Ｒ３４］に論じる改良を施して採用することにより、チェッカー盤アーチファクトを防止する（［Ｒ３７］）。このようなＧｒｉｄＮｅｔの一例は、２０１８年２月２７日に出願された同時係属の米国特許仮出願第６２，６３５，６７５号「ＣＯＮＴＥＸＴ－ＡＷＡＲＥ ＳＹＮＴＨＥＳＩＳ ＦＯＲ ＶＩＤＥＯ ＦＲＡＭＥ ＩＮＴＥＲＰＯＬＡＴＩＯＮ」に図示及び記載されている。他の実施形態においては、Ｕ－ｎｅｔ等の他種のグリッドが用いられるようになっていてもよい。一般的に、ＧｒｉｄＮｅｔアーキテクチャによれば、ニューラルネットワーク内の情報が複数の経路を取れることにより、複数のスケールで特徴表現を最も良く組み合わせる方法を学習することが可能となる。特に、ＦＳＮ４００は、ワープした２つの特徴ピラミッドをチャネルに関してレベルごとに連結して、１つ若しくは複数の行並びに１つ若しくは複数の列を備えたＧｒｉｄＮｅｔに供給する。これにより、このアーキテクチャは、ワープした特徴ピラミッドからのマルチスケール情報を組み合わせて、補間結果４１０を合成することができる。
[35]図４の例において、ＦＳＮ４００は、３つの行及び６つの列を備えた２次元グリッドに構造化されたＧｒｉｄＮｅｔであり、情報／データは、特徴マップＸｉ，ｊを接続する演算層において処理される。一般的に、特徴マップは、データベクトルを特徴空間にマッピングする関数である。各層は、フィルタ（又は、「カーネル」）の適用によって、情報／データの入力及び対応する特徴マップＸｉ，ｊの出力を行う。各層において要素に関する行列の乗算が実行され、結果が合計されるとともに、その合計が特徴マップＸｉ，ｊに代入される。グリッド中の各特徴マップＸｉ，ｊは、行ｉ及び列ｊにより指定される。ここで、ｉは、行の総数であり、ｊは、列の総数である。明瞭化のため、図４においては、すべての特徴マップＸｉ，ｊにラベリングしているわけではない。水平接続（すなわち、ＧｒｉｄＮｅｔの行）は、「ストリーム」と称する。ストリームは、完全畳み込みであり、特徴マップのサイズを一定に保つ。また、ストリームは、残余である。これは、ストリームがそれぞれの入力との差異を予測することを意味する。垂直演算層も畳み込みであるが、これらは、特徴マップのサイズを変化させる。グリッド中の位置に応じて、空間サイズは、サブサンプリング又はアップサンプリングによってそれぞれ、縮小又は拡大される。
[36]ＧｒｉｄＮｅｔの行には、横サンプリングを実行する残余層を含む（図４においては、「Ｌ」で示す）。各残余層は、入力マップ解像度も特徴マップ数も変化させない。言い換えると、各行の層は、特徴解像度が一定に保たれるストリームを構成する。３つのストリームはそれぞれ、情報を異なるスケールで処理する。各列は、ストリームを接続することにより、ダウンサンプリング及びアップサンプリング層を用いて情報を交換する。ＧｒｉｄＮｅｔの最初の３つの列（例えば、ｊ＝０、１、又は２）は、ダウンサンプリング（図４においては、「Ｄ」で示す）を実行する畳み込み層を含み、これにより解像度が低下するとともに、特徴マップの数が２倍になる。ＧｒｉｄＮｅｔの最後の３つの列（例えば、ｊ＝３、４、又は５）は、アップサンプリング（図４においては、「Ｕ」で示す）を実行する逆畳み込み層を含み、これにより解像度が上昇するとともに、特徴マップの数が２分の１になる。各ブロック中のシャープ又はハッシュ（「＃」）記号は、当該ブロックの出力チャネルの数を示す。
[37]図４の例においては、プリワープしたフレーム及びプリワープした第１レベルの特徴４０５Ａが１行目の３２出力チャネル残余ブロックに供給され、プリワープした第２レベルの特徴４０５Ｂが２行目の６４出力チャネル残余ブロックに供給され、プリワープした第３レベルの特徴４０５Ｃが３行目の１２８出力チャネル残余ブロックに供給される。プリワープした特徴は、１行目の３出力チャネル残余ブロックから出力される。これらの点間では、プリワープしたフレームが複数の経路において流れ得る。いくつかの実施形態において、ＦＳＮ４００は、パラメトリック正規化線形ユニット（ＰＲｅＬＵ）の導入によってトレーニングを改善するとともに、双線形アップサンプリングの使用によってチェッカー盤アーチファクトを回避する。例えば、ＦＳＮ４００の行及び列はそれぞれ、１つ又は複数のＰＲｅＬＵ層が間に配設された１つ又は複数の畳み込み層を含んでいてもよい。
[38]種々実施形態において、ＦＩＮＮ２００は、完全に微分可能なパイプラインであってもよい。図２の例においては、ＯＦＥ２１５が予備トレーニングされ、ＦＰＥ３００及びＦＳＮ４００がトレーニングされるが、ＦＩＮＮ２００のパイプラインは、この構成に限定されない。代替として、完全に微分可能であることから、映像フレーム補間のタスクに対してＯＦＥ２１５は微調節可能である。これは、［Ｒ４９］の知見により対応されるが、この中では、特定のタスクに対して一般の動き推定器が次善となり得ることが論じられている。
[39]種々実施形態によれば、ＦＩＮＮ２００が完全に微分可能であることから、（例えば、ＦＷＥ２０５による）特徴ワーピング動作及び／又は（例えば、ＦＳＮ４００による）フレーム補間動作に対する勾配を計算して、逆伝搬に使用可能である。逆伝搬は、ＮＮによるＭＬモデルのパラメータの決定及び／又は変更を可能にする深層学習技術である。これにより、ＦＰＥ３００（例えば、図３参照）は、入力画像３０１から抽出される特徴の数及び種類に関してトレーニング可能である。また、これによりＦＳＮ４００は、特徴ピラミッドを合成して出力画像を生成するのに有用な特徴に関してトレーニング可能となり得る。
[40]ＦＩＮＮ２００のサブシステム２０５、２１５、３００、及び４００は、ソフトウェアコンポーネント（例えば、ソフトウェアエンジン、ソフトウェアエージェント、人工知能（ＡＩ）エージェント、モジュール、オブジェクト、又は類似の論理ユニット）、個々のハードウェア要素、又はこれらの組み合わせとして実装されていてもよい。ソフトウェアベースの例示的な一実施態様において、ＦＩＮＮ２００のサブシステムは、好適なプログラミング言語、開発ツール／環境等を用いて開発されるようになっていてもよく、これらは、１つ又は複数のコンピュータシステムの１つ又は複数のプロセッサにより実行される（例えば、図９のプロセッサ回路９０２参照）。本例において、ＦＩＮＮ２００のサブシステム２０５、２１０、２１５、及び３００は、単一のプロセッサ又は個々の処理デバイスにより実行されるようになっていてもよい。ハードウェアベースの例示的な一実施態様において、ＦＩＮＮ２００の各サブシステム２０５、２１０、２１５、及び３００は、（１つ又は複数の）各ＡＩ加速コプロセッサ、ＡＩ ＧＰＵ、テンソル処理ユニット（ＴＰＵ）、又はそれぞれの機能を実行するように適当な論理ブロック、（１つ又は複数の）ビットストリーム等が設定されたハードウェアアクセラレータ（例えば、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ、ＳｏＣ等）において実装されている。
Ｉ．Ｂ．機械学習モデルのトレーニング
Ｉ．Ｂ．機械学習モデルのトレーニング
[41]機械学習（ＭＬ）では、１つ又は複数の特定のタスクに対する性能を漸進的に改善するアルゴリズムを使用する。一般的に、ＭＬアルゴリズムは、何らかのタスク及び／又は何らかの性能尺度に関する経験（例えば、「トレーニングデータ」又は「トレーニングデータセット」）により学習するコンピュータプログラムである。ＭＬモデルは、１つ又は複数のトレーニングデータセットによりＭＬアルゴリズムがトレーニングされた後に生成される任意のオブジェクト又はデータ構造である。トレーニングの後、ＭＬモデルは、新たなデータセットに関する予測に用いられるようになっていてもよい。用語「ＭＬアルゴリズム（ＭＬ ａｌｇｏｒｉｔｈｍ）」は、用語「ＭＬモデル（ＭＬ ｍｏｄｅｌ）」と異なる概念を表すが、これらの用語は、本開示の目的のために区別なく用いられるようになっていてもよい。
[42]種々実施形態において、ＦＰＥ３００及びＦＳＮ４００は、Ａｄａｍ（［Ｒ２４］）を用いることにより、α＝０．００１、β１＝０．９、及びβ２＝０．９９９で５０エポックにわたって一体的にトレーニングされる。ＯＦＥ２１５を後で微調節する場合は、α＝０．０００１で、さらに５０エポックにわたってトレーニングが継続される。これら２つのトレーニングプロセスそれぞれについて、バッチごとに８つのサンプルが用いられる。
[43]トレーニングを目的として、色損失関数及び知覚損失関数を含む２つの損失関数が考えられる。したがって、モデルの２つの異なる形式がトレーニングされる。色損失に関してトレーニングされたモデルが標準的なベンチマークにて十分に機能する一方、知覚損失に関してトレーニングされたモデルは、様々な場合においてより多くの詳細を維持する。色損失の場合は、ラプラシアンピラミッド表現間の差異に基づく損失が利用されるようになっていてもよく、式１により表される（［Ｒ０３］、［Ｒ３４］）。
[44]式１において、Ｌｉは、Ｉのラプラシアンピラミッドのｉ番目のレベルを表す。知覚損失に関しては、深層の画像特徴間の差異に基づく損失が採用され、式２により表される（［Ｒ２０］、［Ｒ２１］、［Ｒ２８］、［Ｒ２９］、［Ｒ３６］、［Ｒ３４］、［Ｒ４０］）。
[45]式２において、φは、一般の画像分類ネットワークによる特徴活性化を表す。いくつかの実施形態においては、ＶＧＧ－１９（［Ｒ４１］）のｒｅｌｕ４＿４層の活性化が用いられるようになっていてもよい。
[46]ネットワーク（例えば、ＦＩＮＮ２００）のトレーニングには、任意好適なトレーニングデータセットが用いられるようになっていてもよい。実験を目的として、ネットワーク（例えば、ＦＩＮＮ２００）は、Ｘｕｅほか（［Ｒ４９］）の公開されているＶｉｍｅｏ－９０ｋデータセットを用いてトレーニングされている。これは、再現性を促進するとともに、近年、フレーム補間法を再実装する際の手助けとなるが、トレーニングデータの消失に起因する困難が言われている（［Ｒ２３］）。Ｖｉｍｅｏ－９０ｋデータセットのトレーニング部は、それぞれが４４８×２５６ピクセルの解像度で一連の３つの連続フレームを備えた５１，３１３個のフレーム三つ組から成る。したがって、本明細書に記載の評価には、ｔ＝０．５におけるモデルのトレーニングの監視しか含まず、異なるｔでのフレーム補間に際して、本明細書に記載の手法の汎化能力を阻害する可能性がある。ただし、以下に記載の評価は、ｔ＝０．５でトレーニングされた本実施形態のモデルが依然として、任意の時間位置におけるフレームの補間に成功し得ることを示す。
[47]また、トレーニング中に、オンラインデータ拡張が実行されるようになっていてもよい。例えば、Ｖｉｍｅｏ－９０ｋデータセットの元のフレーム三つ組に対するトレーニングの代わりに、２５６×２５６ピクセルのランダムクロップに対して実験モデルがトレーニングされている。これにより、空間的な動きの組み立てにおける任意の潜在的な事前処理をトレーニングデータセット内で軽減することが可能となる。さらに、トレーニングには、クロップされた三つ組の水平及び垂直両方向のランダムなフリップを含み、同様に、時間的順序のランダムな逆転を含む。
[48]例示的な一実施態様において、ＦＩＮＮ２００のパイプラインは、Ｔｏｒｃｈライブラリ及び科学演算フレームワークに基づくＰｙｔｈｏｎプログラミング言語用のオープンソースの機械学習ライブラリであるＰｙＴｏｒｃｈを用いて開発されていてもよい。また、前方ワーピングを効率的に実行するには、エヌヴィディア（Ｎｖｉｄｉａ）（登録商標）のクーダ（ＣＵＤＡ）（登録商標）ツールキットを用いて開発されたカスタムのコンピュータ統合デバイスアーキテクチャ（ＣＵＤＡ：Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）が利用されるようになっていてもよい。このセットアップによって、エヌヴィディア（登録商標）のタイタン Ｘ（Ｔｉｔａｎ Ｘ）（登録商標）上での動作によりＰＷＣ－Ｎｅｔ（［Ｒ４４］）を用いてオプティカルフローを推定する場合に、７２０ｐフレームを０．４０５秒で、１０８０ｐフレームを０．９１３秒で合成することが可能となる。また、ＦＰＥ３００及びＦＳＮ４００は、比較的サイズが小さく、格納時に合計で１７メガバイトにしかならない。
ＩＩ．実験
ＩＩ．実験
[49]現在利用可能な技術に対して、本明細書に記載のＦＰＷ実施形態を公開されているデータセットに関して定量的且つ定性的に評価及び比較した。
[50]方法：基準実施態様を利用可能な従来の複数の映像フレーム補間法に対して、ＦＰＷ実施形態を比較した。第１の従来方法は、オプティカルフローに基づく代表的な方法として、動きの詳細を保存する（ＭＤＰ）－Ｆｌｏｗ２（［Ｒ４８］）を含み、Ｂａｋｅｒほか（［Ｒ０２］）のフレーム合成アルゴリズムとの組み合わせによって、補間されたフレームを生成する。第２の従来方法は、そのタスク固有のオプティカルフロー形式により、ＴｏＦｌｏｗ（［Ｒ４９］）アルゴリズムを含む。第３の従来方法は、動き補償を暗示的に実行するＳｅｐＣｏｎｖ（［Ｒ３６］）を含む。また、従来の方法としては、Ｖｏｘｅｌ Ｆｌｏｗ（［Ｒ３０］）、Ｓｕｐｅｒ ＳｌｏＭｏ（［Ｒ１６］）、及びＣｔｘＳｙｎ（［Ｒ３４］）が挙げられる。
[51]データセット：公開されているフレーム補間用の一般的なデータセットに対して、定量的評価を実行した。これには、３，７８２例に及ぶＶｉｍｅｏ－９０ｋ（［Ｒ４９］）データセットのほか、ＵＣＦ１０１（［Ｒ４２］）から３７９例を抽出したＬｉｕほか（［Ｒ３０］）からのデータセットを含む。また、その結果は、Ｍｉｄｄｌｅｂｕｒｙオプティカルフローベンチマークの補間部分と比較した。マルチフレーム映像補間を評価するため、Ｓｌｏｗ Ｆｌｏｗの著書（［Ｒ１９］）から高フレームレートのＳｉｎｔｅｌデータセットを取得した。
[52]基準：すべての定量的比較に対して、ピーク信号対雑音比（ＰＳＮＲ）及び構造的類似性（ＳＳＩＭ）（［Ｒ４５］）を使用した。また、知覚的類似性を測定するための学習知覚画像パッチ類似性（ＬＰＩＰＳ：Ｌｅａｒｎｅｄ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｐａｔｃｈ Ｓｉｍｉｌａｒｉｔｙ）（［Ｒ５０］）基準を導入した。特に、この基準のバージョン０．１を実験に利用して、ＡｌｅｘＮｅｔ（［Ｒ２５］）上で線形校正した。ＰＳＮＲ及びＳＳＩＭに関しては、高い値ほど良好な結果を示すが、ＬＰＩＰＳ基準では、低い値ほど良好な結果を示す。混乱を回避するため、以下に記載の表においては矢印を使用することにより、この違いを示す。
ＩＩ．Ａ．特徴ピラミッドワーピングの実施形態の解析
ＩＩ．Ａ．特徴ピラミッドワーピングの実施形態の解析
[53]ＦＰＷ実施形態の解析では、ＦＰＷ実施形態を市販のオプティカルフロー法と比較するが、これは、このオプティカルフロー法を標準的なフレーム合成アルゴリズムと組み合わせてフレームを補間する基準値の比較を含む（［Ｒ０２］）。また、この解析では、利用するオプティカルフロー法の性能にＦＰＷ実施形態が大きく依存するか、又は、ＦＰＷ実施形態が十分に一般的であるかを解析する。また、ＦＩＮＮ２００のパイプラインが完全に微分可能であることから、この解析では、フレーム補間のタスクに対して、ＯＦＥ２１５の微調節の効果を解析する。さらに、この解析では、ＦＰＥ３００が注目するパターンを解析するとともに、これらのパターンが、動き推定に用いられる特徴ピラミッドと異なるかを解析する。さらに、この解析では、２つの異なる損失関数を考慮して、ＦＰＷモデルをトレーニングする。簡略化のため、ＬＦの使用の効果を後述する実験には、ＬＬＡＰのみを使用した。
[54]図１Ｔは、２つの異なるオプティカルフロー法（ＦｌｏｗＮｅｔ２（［Ｒ１７］）及びＰＷＣ－Ｎｅｔ（［Ｒ４４］））に関する基準値比較を示した表１を含む。基準値比較では、従来技術の２つのオプティカルフロー法すなわちＦｌｏｗＮｅｔ２（［Ｒ１７］）及びＰＷＣ－Ｎｅｔ（［Ｒ４４］）を考慮する。これらの方法はそれぞれ、基準値としてＢａｋｅｒほか（［Ｒ０２］）により提供された古典的なフレーム合成アルゴリズムと組み合わされており、それぞれを「ＦｌｏｗＮｅｔ２－Ｃｌａｓｓｉｃ」及び「ＰＷＣ－Ｎｅｔ－Ｃｌａｓｓｉｃ」と示す。これらのオプティカルフローネットワークはいずれも、ＦｌｙｉｎｇＣｈａｉｒｓデータセット（［Ｒ０７］）上でトレーニングされる。ＦＰＷ実施形態の２つの形式（一方がＦｌｏｗＮｅｔ２、他方がＰＷＣ－Ｎｅｔによる（ＰＷＣ－Ｎｅｔの代替＝Ｌｉｔｅ ＦｌｏｗＮｅｔ、ＳｐｙＮｅｔ、ＭＤＰ－Ｆｌｏｗ２））をさらに評価するが、それぞれを「ＦｌｏｗＮｅｔ２－ＦＰＷ」及び「ＰＷＣ－Ｎｅｔ－ＦＰＷ」と示す。表１に示すように、ＦＰＷ実施形態は、基準値補間アルゴリズムによって大幅に改善され、またＦＰＷ実施形態で使用するオプティカルフローアルゴリズムに関わらず、一貫して大幅に改善される。ＦｌｏｗＮｅｔ２及びＰＷＣ－ＮｅｔがＦＩＮＮ２００の補間パイプライン内で同様に十分機能するとともに、ＰＷＣ－Ｎｅｔのパラメータが少数であることから、後続の実験においてもこれらの形式を使用する。
[55]前述の通り、ＦＩＮＮ２００のパイプラインが完全に微分可能であることから、このオプティカルフロー法は、映像フレーム補間のタスクに対して微調節されるようになっていてもよい。図１Ｔの表１に示すように、オプティカルフローネットワーク（ＰＷＣ－Ｎｅｔ）を微調節することによって、ＦＰＷ実施形態（ＰＷＣ－Ｎｅｔ－ｆｔ－ＦＰＷ）の性能がさらに向上することが可能である。このため、後続の実験においては、ＦＰＷ実施形態のこの形式を使用する。また、ＰＷＣ－Ｎｅｔの微調節により、ＦＰＷ実施形態は、［Ｒ０２］の補間アルゴリズムによる結果も改善することに留意するものとする。
[56]図５は、［Ｒ０８］に係る、異なるタスク固有特徴ピラミッドから抽出された特徴の視覚化を示している。前述の通り、ＦＰＥ３００は、ＦＳＮ４００と一体的にトレーニングされるため、フレーム補間用のタスク固有の特徴を収集することが可能となる。フレーム補間用の特徴ピラミッドと動き推定用の特徴ピラミッドとの違いを調べるため、［Ｒ０８］のフィルタ視覚化技術を採用した。特に、入力画像を変更することによって、ＦＰＥ３００の最終層の活性化を最大化した。同様に、ＰＷＣ－Ｎｅｔ（［Ｒ４４］）の同等層の活性化を最大化し、これらをＦＰＷ実施形態と比較した。図５は、一組の代表的な特徴活性化を示している。ＦＰＷ実施形態の特徴ピラミッドが局所パターンに注目している一方、ＰＷＣ－Ｎｅｔの特徴ピラミッドは、大きなパターンを示している。これは、入力フレーム間の動きに従った特徴ピラミッドのワーピングによるＦＰＷ実施形態中の明示的な動き補償が原因と考えられる。これにより、ＦＰＥ３００は、高品質の補間結果を合成するのに重要な細部にさらに注目可能となる。
ＩＩ．Ｂ．定量的評価
ＩＩ．Ｂ．定量的評価
[57]図２Ｔは、従来の様々な映像フレーム補間法及び複数の公開データセットに対するＦＰＷ実施形態の定量的比較を示した表２を含む。表２に示すように、ＬＬＡＰ損失でトレーニングしたＦＰＷ実施形態は、ＰＳＮＲ及びＳＳＩＭに関して、従来のその他すべての方法よりも一貫して優れていたが、ＬＦ損失でトレーニングしたＦＰＷ実施形態は、ＬＰＩＰＳに関して最も良く機能した。これは、ＬＦのような知覚損失が知覚的により良い結果となる一方、ＬＬＡＰのような他の損失は、ＳＳＩＭ及びＰＳＮＲ等の数値の基準に対して有利に働く点において、映像フレーム補間に両種の損失を採用した過去の研究（［Ｒ３４］、［Ｒ３６］）のレポートと整合する。
[58]また、ＬＬＡＰ損失でトレーニングしたＦＰＷ実施形態による補間結果を、同じくフレーム補間を評価する関連のＭｉｄｄｌｅｂｕｒｙオプティカルフローベンチマーク（［Ｒ０２］）と比較した。このベンチマークでは、二乗平均平方根補間誤差（ＩＥ）及びその勾配正規化対応誤差（ＮＥ）を基準として使用する。図３Ｔは、オプティカルフローのＭｉｄｄｌｅｂｕｒｙベンチマーク（［Ｒ０２］）の関連する補間カテゴリに関する定量的ランキングを示した表３を含む。表３に示すように、ＦＰＷ実施形態は、従来の２番目に良い方法と比較した場合に、平均で１．０２ｄＢだけ、従来の補間方法よりも大幅に優れている。実験に際して、ＦＰＷ実施形態は、ベンチマークで報告された１５８個のすべての方法の中で１番となった。
[59]図６は、高フレームレートＳｉｎｔｅｌデータセット（［Ｒ１９］）に関するＦＰＷ実施形態のマルチフレーム補間能力の評価であるグラフ６００を示している。ＦＰＷ実施形態は、ワーピングによって動きを明示的に補償することから、入力フレームの特徴ピラミッドを任意の時間位置にワープさせることができる。したがって、ＦＰＷ実施形態は、２つの所与のフレーム間で複数のフレームをシームレスに補間可能である。この性質を定量的に評価するため、Ｓｌｏｗ Ｆｌｏｗの著書（［Ｒ１９］）からＳｉｎｔｅｌベンチマークの高フレームレート形式を取得し、１３個すべてのシーン上でフレーム０～３２からフレーム１～３１を補間した。その後、マルチフレーム補間には必然的に対応しないＳｅｐＣｏｎｖ（［Ｒ３６］）に対して、ＦＰＷ実施形態を比較した。このため、ＳｅｐＣｏｎｖに対して再帰補間方式を採用することにより、複数の中間フレームを予測した。図６のグラフ６００に示すように、ＦＰＷ実施形態は、ｔ＝０．５においてのみ監視されているにも関わらず、任意のｔにおける高品質の補間結果を予測することができる。２つの損失関数に関して、ここで再び、ＬＬＡＰ損失でトレーニングしたＦＰＷモデルは、ＰＳＮＲに関してより良く機能する一方、ＬＦ損失でトレーニングした本モデルは、ＬＰＩＰＳに関してより良く機能することが分かる。
ＩＩ．Ｃ．定性的評価
ＩＩ．Ｃ．定性的評価
[60]図７Ａは、３つの異なる例の補間結果を示しており、ＦＰＷ実施形態を複数の従来方法と比較したものである。図７Ｂは、４つの異なる例の別の補間結果を示しており、ＦＰＷ実施形態を複数の従来方法と比較したものである。スペースの制限により、比較したすべての補間方法の結果を示しているわけではない。さらに、異なる損失を用いてトレーニングしたモデルによる方法について、知覚品質に注目した当該モデルの結果を示している。ホッケースティックの例及びテニスラケットの例は、それぞれの細長構造及び大きな動きに起因する課題をもたらしている。複数のスケールにわたってこの情報を保持可能な特徴ピラミッドの統合により、ＦＰＷ実施形態では、従来の技術よりも良好にこれらのシナリオを扱う。フットボール選手の例における左側のフットボール選手の脚は、大きな動き、オクルージョン、及び輝度の変化を伴う。ここで再び、ＦＰＷ実施形態では、従来の技術よりも堅牢に、この困難な場合を扱う。
[61]図８は、様々なＦＰＷ実施形態に係る、２つの異なる映像補間シナリオに関するマルチフレーム補間能力を示している。また、図８は、ＦＰＷ実施形態の２つのマルチフレーム補間結果を示している。このシナリオにおけるＦＰＷ実施形態の定量的な有効性については実証済みであるが、ここに提供する例は、ＦＰＷ実施形態のマルチフレーム補間結果が時間的に整合することを示している。
[62]前述の通り、映像フレーム補間は、新規ビューの時間的な合成に限定されない。代替として、映像フレーム補間は、空間中の新規ビュー補間（［Ｒ０９］）にも採用可能であり、ステレオ及び明視野画像における新規ビューの合成を含む（［Ｒ２２］）。このように、映像フレーム補間用のＦＰＷ実施形態は、オートステレオスコピック及び明視野コンテンツ制作等の用途に対する新規ビュー補間の実行に成功し得る。
ＩＩＩ．概要
ＩＩＩ．概要
[63]本明細書に記載のＦＰＷ実施形態は、従来のフレーム補間技術と比較して、高品質の映像フレーム補間を提供する。ＦＰＷ実施形態は、ニューラルネットワークを使用して、２つの入力フレームの特徴ピラミッドを抽出するとともに、推定オプティカルフローを用いて、入力フレームとともに特徴ピラミッドを対象時間位置へとプリワープさせる。プリワープしたピラミッド及び入力フレームは、フレーム合成ネットワークに供給され、補間結果が生成される。特徴ピラミッドの画像表現としての使用及び特徴ピラミッドのプリワープを組み合わせることにより、ＦＰＷ実施形態は、高品質の画像合成に必要な細部に注目し得る。特徴ピラミッド抽出器ネットワーク及びフレーム合成ネットワークの一体的なトレーニングによって、フレーム補間のタスク用の両ネットワークがさらに最適化される。実験において示す通り、ＦＰＷ実施形態は、困難なシナリオの場合のフレーム補間に成功するとともに、映像フレーム補間技術の改善を実現する。映像フレーム補間技術の改善は、拡張現実、光学式文字認識、画像及び／若しくは映像検索、自律若しくはコンピュータ支援車両運用、顔認識、ジェスチャ認識、手書き文字認識、ロボティクス及び／若しくはロボティックナビゲーション、リモートセンシング、並びに／又はその他類似のもの等、コンピュータビジョンアプリケーションを利用するコンピュータデバイス及びシステムの機能の改良につながる。本明細書に記載のＦＰＷ実施形態は、従来の映像補間技術に対する改良であることから、コンピュータデバイス／システム自体の機能の改良でもある。ＦＰＷ実施形態は、従来の映像補間技術よりも効率的な演算リソースの使用によって、より良い結果をもたらすためである。コンピュータシステム／デバイス自体の機能の改良は、映像補間を実行する際の演算及びメモリリソースの少なくとも一方の保護に基づく。
[64]ＦＰＷ実施形態は、ｔ＝０．５における例のみを使用した監視モデルを含むが、前述の評価は、ＦＰＷ実施形態によって任意の時間位置におけるフレームを高品質に補間可能であることを示している。また、ＦＰＷ実施形態は、複数の中間フレームに関してトレーニングした場合、さらに良い結果を生成し得る。
[65]ＦＰＷ実施形態は、映像フレーム補間に関する過去の研究を踏まえ、色損失及び知覚損失を採用することにより、ＦＰＷ補間ニューラルネットワークをトレーニングする（例えば、図２及び図４のＦＳＮ４００）。本明細書に記載の実験は、これらのネットワークが高品質の補間結果を生成し得ることを示している。さらに、本明細書に記載のＦＰＷ実施形態は、敵対的トレーニング、画像生成におけるサイクル一貫性、及び／又は監視トレーニングのその他類似の先進技術を含むように拡張可能である。
ＩＶ．例示的なシステム及び実施態様
ＩＶ．例示的なシステム及び実施態様
[66]図９は、種々実施形態に係る、コンピュータシステム９００（「プラットフォーム９００」）、「デバイス９００」、「電化製品９００」等とも称する）の一例を示している。システム９００は、本明細書に記載のコンピュータデバイスのいずれかとしての使用に適していてもよい。システム９００の構成要素は、個々のコンピュータシステムとして実装されていてもよいし、大型のシステムの筐体内に別途組み込まれた構成要素として実装されていてもよい。システム９００の構成要素は、適当なロジック、ソフトウェア、ハードウェア、又はこれらの組み合わせがコンピュータシステム９００において適応された状態で、集積回路（ＩＣ）又は他の離散電子デバイスとして実装されていてもよい。追加又は代替として、システム９００の構成要素の一部は、好適なシステムオンチップ（ＳｏＣ）、システムインパッケージ（ＳｉＰ）、マルチチップパッケージ（ＭＣＰ）等として組み合わされ、実装されていてもよい。
[67]システム９００は、リモートシステム９５５へのコンテンツ及び／若しくはサービスの提供並びに／又はリモートシステム９５５からのコンテンツ及び／若しくはサービスへのアクセスが可能な物理的ハードウェアデバイス及びソフトウェアコンポーネントを具備していてもよい。システム９００及び／又はリモートシステム９５５は、相互のコンテンツ／サービスのアクセス及び／又は提供に使用できる任意好適なコンピュータシステム等のデータ処理装置として実装可能である。例として、システム９００及び／又はリモートシステム９５５としては、デスクトップコンピュータ、ワークステーション、ラップトップコンピュータ、セルラー方式移動電話（例えば、「スマートフォン」）、タブレットコンピュータ、携帯型メディアプレーヤ、ウェアラブルコンピュータデバイス、サーバコンピュータシステム、（例えば、クラウドベースの環境における）演算リソースの集合体、又はネットワーク９５０等のネットワークと直接若しくは間接的にインターフェース可能なその他何らかのコンピュータデバイスが挙げられる。システム９００は、リモートシステム９５５との通信により、例えば伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）上のハイパーテキスト転送プロトコル（ＨＴＴＰ）、或いは、ファイル転送プロトコル（ＦＴＰ）、セッション記述プロトコル（ＳＤＰ）を伴うセッション開始プロトコル（ＳＩＰ）、リアルタイム転送プロトコル（ＲＴＰ）若しくはリアルタイムストリーミングプロトコル（ＲＴＳＰ）、セキュアシェル（ＳＳＨ）、拡張可能メッセージングプレゼンスプロトコル（ＸＭＰＰ）、ウェブソケット、並びに／又は本明細書に記載のようなその他何らかの通信プロトコルを用いて、コンテンツ／サービスの取得／サーブを行い、その逆もまた同様である。
[68]本明細書において、用語「コンテンツ（ｃｏｎｔｅｎｔ）」は、特定の視聴者又はエンドユーザに伝達される視覚情報又は可聴情報を表し、特定の主題又はテーマに関する情報を含んでいてもよいし、これを伝達するものであってもよい。コンテンツ又はコンテンツ項目は、異なるコンテンツタイプ（例えば、テキスト、画像、音声、映像等）であること、並びに／又は、異なるフォーマット（例えば、マイクロソフト（Ｍｉｃｒｏｓｏｆｔ）（登録商標）のワード（Ｗｏｒｄ）（登録商標）文書、ポータブルドキュメントフォーマット（ＰＤＦ）文書、ＨＴＭＬ文書等のテキストファイル、ＭＰＥＧ－４オーディオファイル並びにＷｅｂＭオーディオ及び／若しくはビデオファイル等のオーディオファイル）を有することが可能である。本明細書において、用語「サービス（ｓｅｒｖｉｃｅ）」は、システム９００等の要求側の代わりに実行される特定の機能又は一組の機能を表す。例として、サービスには、指定情報の読み出し又は一組の動作の実行を含んでいてもよいし、これらを伴っていてもよい。コンテンツ／サービスにアクセスするため、システム９００は、プロセッサ、メモリデバイス、通信インターフェース等の構成要素を具備する。ただし、用語「コンテンツ（ｃｏｎｔｅｎｔ）」及び「サービス（ｓｅｒｖｉｃｅ）」は、異なる概念を表すものの、本開示の全体を通して区別なく用いられるようになっていてもよい。
[69]ここでシステム９００を参照して、このシステム９００は、プログラムコードの実行、一連の算術演算若しくは論理演算の逐次的且つ自動的な実行、並びに／又はデジタルデータの記録、格納、及び／若しくは転送を行うように構成されたプロセッサ回路９０２を具備する。プロセッサ回路９０２は、１つ若しくは複数のプロセッサコア並びに１つ若しくは複数のキャッシュメモリ、低ドロップアウト電圧レギュレータ（ＬＤＯ）、割り込みコントローラ、シリアル周辺機器インターフェース（ＳＰＩ）等のシリアルインターフェース、インターインテグレーテッド回路（Ｉ２Ｃ）又はユニバーサルプログラマブルシリアルインターフェース回路、リアルタイムクロック（ＲＴＣ）、インターバルタイマー及びウォッチドッグタイマー等のタイマーカウンタ、汎用入出力（Ｉ／Ｏ）、メモリカードコントローラ、相互接続（ＩＸ）コントローラ及び／又はインターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）インターフェース、ＪＴＡＧ（Ｊｏｉｎｔ Ｔｅｓｔ Ａｃｃｅｓｓ Ｇｒｏｕｐ）テストアクセスポート等の回路を含むが、これらに限定されない。プロセッサ回路９０２は、オンチップメモリ回路又はキャッシュメモリ回路を含んでいてもよく、これは、ＤＲＡＭ、ＳＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、固体メモリ、及び／又は本明細書に記載のようなその他任意の種類のメモリデバイス技術等、任意好適な揮発性及び／又は不揮発性メモリを含んでいてもよい。プロセッサ回路９０２の個々のプロセッサ（又は、個々のプロセッサコア）は、メモリ／ストレージと結合されていてもよいし、メモリ／ストレージを含んでいてもよく、メモリ／ストレージに格納された命令を実行して、様々なアプリケーション又はオペレーティングシステムのシステム９００上での動作を可能にするように構成されていてもよい。これらの実施形態において、プロセッサ回路９０２のプロセッサ（又は、コア）は、アプリケーションソフトウェア（例えば、ロジック／モジュール９８０）を動作させることにより、特定のサービスをシステム９００のユーザに提供するように構成されている。いくつかの実施形態において、プロセッサ回路９０２は、本明細書の種々実施形態に従って動作する専用プロセッサ／コントローラを含んでいてもよい。
[70]種々実施態様において、プロセッサ回路９０２の（１つ又は複数の）プロセッサは、例えば１つ若しくは複数のプロセッサコア（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、Ａｃｏｒｎ ＲＩＳＣマシン（ＡＲＭ）プロセッサ、複数命令セットコンピュータ（ＣＩＳＣ）プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ＳｏＣ及び／若しくはプログラマブルＳｏＣ、マイクロプロセッサ若しくはコントローラ、又はこれらの任意好適な組み合わせを含んでいてもよい。例として、プロセッサ回路９０２は、（１つ又は複数の）インテル（Ｉｎｔｅｌ）（登録商標）コア（Ｃｏｒｅ）（商標）ベースプロセッサ、（１つ又は複数の）ＭＣＵクラスプロセッサ、（１つ又は複数の）ジーオン（Ｘｅｏｎ）（登録商標）プロセッサ、（１つ又は複数の）ライゼン（Ｒｙｚｅｎ）（登録商標）又はエピック（Ｅｐｙｃ）（登録商標）プロセッサ、アクセラレーテッド処理ユニット（ＡＰＵ）、ＭｘＧＰＵ等の（１つ又は複数の）Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ（ＡＭＤ）ゼン（Ｚｅｎ）（登録商標）コアアーキテクチャプロセッサ、アップル（Ａｐｐｌｅ）（登録商標）社の（１つ又は複数の）Ａ、Ｓ、Ｗ、及びＴシリーズプロセッサ、クアルコム（Ｑｕａｌｃｏｍｍ）（登録商標）テクノロジーズ社の（１つ又は複数の）スナップドラゴン（Ｓｎａｐｄｒａｇｏｎ）（商標）又はセントリック（Ｃｅｎｔｒｉｑ）（商標）プロセッサ、テキサスインスツルメンツ（Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ）（登録商標）社の（１つ又は複数の）オープンマルチメディアアプリケーションプラットフォーム（ＯＭＡＰ：Ｏｐｅｎ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎｓ Ｐｌａｔｆｏｒｍ）（商標）プロセッサ、オープンパワー（ＯｐｅｎＰＯＷＥＲ）（登録商標）財団及び／又はＩＢＭ（登録商標）が提供する（１つ又は複数の）Ｐｏｗｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅプロセッサ、ＭＩＰＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｉｎｃ．が提供する（１つ又は複数の）ＭＩＰＳ Ｗａｒｒｉｏｒ Ｍ－ｃｌａｓｓ、Ｗａｒｒｉｏｒ Ｉ－ｃｌａｓｓ、及びＷａｒｒｉｏｒ Ｐ－ｃｌａｓｓプロセッサ、ＡＲＭ Ｈｏｌｄｉｎｇｓ，Ｌｔｄ．からライセンス供与されている（１つ又は複数の）ＡＲＭ Ｃｏｒｔｅｘ－Ａ、Ｃｏｒｔｅｘ－Ｒ、及びＣｏｒｔｅｘ－Ｍファミリプロセッサ、カビウム（Ｃａｖｉｕｍ）（商標）社が提供するサンダーＸ２（ＴｈｕｎｄｅｒＸ２）（登録商標）、エヌヴィディア（登録商標）が提供するジーイーフォース（ＧｅＦｏｒｃｅ）（登録商標）、テグラ（Ｔｅｇｒａ）（登録商標）、タイタンＸ（Ｔｉｔａｎ Ｘ）（登録商標）、テスラ（Ｔｅｓｌａ）（登録商標）、シールド（Ｓｈｉｅｌｄ）（登録商標）、及び／又は他の類似のＧＰＵ等を含んでいてもよい。本開示の他の場所において、プロセッサ回路９０２の他の例を記載する可能性もある。
[71]いくつかの実施態様において、プロセッサ回路９０２の（１つ又は複数の）プロセッサは、デジタルストリーミングデータを実時間処理するように具体的に設計されたマイクロプロセッサベースの（１つ又は複数の）ＳｏＣ、（１つ又は複数の）ＦＰＧＡ、或いは（１つ又は複数の）ＤＳＰを含む１つ又は複数のメディアプロセッサであってもよいし、これらを含んでいてもよく、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（Ｈ．２６４及びＭＰＥＧ－４としても知られる）デジタルデータ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（Ｈ．２６５及びＭＰＥＧ－Ｈ ｐａｒｔ２としても知られる）デジタルデータ、及び／又はその他類似のものを圧縮／解凍（又は、符号化及び復号化）する符号器／復号器回路を含んでいてもよい。
[72]いくつかの実施態様において、プロセッサ回路９０２は、１つ又は複数のハードウェアアクセラレータを具備していてもよい。ハードウェアアクセラレータは、マイクロプロセッサ、設定可能なハードウェア（例えば、ＦＰＧＡ、プログラマブルＡＳＩＣ、プログラマブルＳｏＣ、ＤＳＰ等）、又は汎用プロセッサコアを使用する場合よりも効率的となり得る１つ又は複数の特定のタスク又はワークロード（例えば、ＦＩＮＮ２００のサブシステムの特定のタスク又はワークロード）を実行するように調整されたその他何らかの好適な専用処理デバイスであってもよい。いくつかの実施形態において、特定のタスク又はワークロードは、プロセッサ回路９０２の１つ又は複数のプロセッサからアンロードされるようになっていてもよい。これらの実施態様において、プロセッサ回路９０２の回路は、本明細書に記載の種々実施形態の手順、方法、機能等、様々な機能を実行するようにプログラム可能な他の相互接続リソースを含む論理ブロック又は論理ファブリックを備えていてもよい。また、プロセッサ回路９０２は、論理ブロック、論理ファブリック、データ等をＬＵＴ等に格納するのに用いられるメモリセル（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、スタティックメモリ（例えば、ＳＲＡＭ、アンチヒューズ等））を具備していてもよい。
[73]いくつかの実施態様において、プロセッサ回路９０２は、図２に関して上述したＦＩＮＮ２００のサブシステムの動作等、機械学習機能に対して具体的に調整されたハードウェア要素を含んでいてもよい。これらの実施態様において、プロセッサ回路９０２は、適当な重み付け及びトレーニングコードがロードされた場合に多くの異なる種類のＡＩ命令セットを実行可能なＡＩエンジンチップであってもよいし、このようなＡＩエンジンチップを具備していてもよい。追加又は代替として、プロセッサ回路９０２は、（１つ又は複数の）ＡＩアクセラレータであってもよいし、（１つ又は複数の）ＡＩアクセラレータを具備していてもよく、これは、ＦＩＮＮ２００のサブシステムのうちの１つ又は複数等、ＡＩ用途のハードウェア加速用に設計された前述のハードウェアアクセラレータのうちの１つ又は複数であってもよい。例として、これら（１つ又は複数の）プロセッサ又はアクセラレータは、人工知能（ＡＩ）ＧＰＵ、グーグル（Ｇｏｏｇｌｅ）（登録商標）社により開発されたテンソル処理ユニット（ＴＰＵ）、アルファＩＣｓ（ＡｌｐｈａＩＣｓ）（登録商標）が提供するリアルＡＩプロセッサ（ＲＡＰ）（商標）、インテル（登録商標）社が提供するナバーナ（Ｎｅｒｖａｎａ）（商標）ニューラルネットワークプロセッサ（ＮＮＳ）、インテル（登録商標）モビディウス（Ｍｏｖｉｄｉｕｓ）（商標）ミリアド（Ｍｙｒｉａｄ）（商標）Ｘビジョン処理ユニット（ＶＰＵ）、エヌヴィディア（登録商標）ＰＸ（商標）ベースのＧＰＵ、ジェネラルビジョン（Ｇｅｎｅｒａｌ Ｖｉｓｉｏｎ）（登録商標）が提供するＮＭ５００チップ、テスラ（Ｔｅｓｌａ）（登録商標）社が提供するＨａｒｄｗａｒｅ ３、アダプティーバ（Ａｄａｐｔｅｖａ）（登録商標）が提供するエピファニ（Ｅｐｉｐｈａｎｙ）（商標）ベースのプロセッサ等のクラスタであってもよい。いくつかの実施形態において、プロセッサ回路９０２及び／又はハードウェアアクセラレータ回路は、クアルコム（登録商標）が提供するＨｅｘａｇｏｎ ６８５ ＤＳＰ、イマジネーションテクノロジーズ（登録商標）社が提供するＰｏｗｅｒＶＲ ２ＮＸニューラルネットアクセラレータ（ＮＮＡ）、アップル（登録商標）Ａ１１若しくはＡ１２バイオニックＳｏＣ内のニューラルエンジンコア、ファーウェイ（Ｈｕａｗｅｉ）（登録商標）が提供するＨｉＳｉｌｉｃｏｎ Ｋｉｒｉｎ ９７０内のニューラル処理ユニット（ＮＰＵ）、及び／又はその他類似のもの等、（１つ又は複数の）ＡＩ加速コプロセッサとして実装されていてもよい。
[74]いくつかの実施態様において、プロセッサ回路９０２の（１つ又は複数の）プロセッサは、ＦＩＮＮ２００の対応するサブシステムを動作させるように具体的に設計された
１つ又は複数のカスタム設計シリコンコアであってもよいし、このような１つ又は複数のカスタム設計シリコンコアを具備していてもよい。これらのコアは、ハードウェア記述言語論理（例えば、レジスタ転送論理、ｖｅｒｉｌｏｇ、超高速集積回路ハードウェア記述言語（ＶＨＤＬ）等）、電子コンポーネント及び接続並びに／又はプロセス固有の超大規模集積（ＶＬＳＩ）レイアウトのゲートレベル記述を含むネットリストコア、並びに／又はトランジスタレイアウトフォーマットにおけるアナログ若しくはデジタル論理を含む合成可能コアとして設計されていてもよい。これらの実施態様においては、（１つ又は複数の）カスタム設計シリコンコア上でＦＩＮＮ２００のサブシステムのうちの１つ又は複数が少なくとも部分的に動作するようになっていてもよい。これらの「ハードウェア化」サブシステムは、大型のチップセットに組み込まれていてもよいが、汎用プロセッサコアを使用する場合よりも効率的と考えられる。
１つ又は複数のカスタム設計シリコンコアであってもよいし、このような１つ又は複数のカスタム設計シリコンコアを具備していてもよい。これらのコアは、ハードウェア記述言語論理（例えば、レジスタ転送論理、ｖｅｒｉｌｏｇ、超高速集積回路ハードウェア記述言語（ＶＨＤＬ）等）、電子コンポーネント及び接続並びに／又はプロセス固有の超大規模集積（ＶＬＳＩ）レイアウトのゲートレベル記述を含むネットリストコア、並びに／又はトランジスタレイアウトフォーマットにおけるアナログ若しくはデジタル論理を含む合成可能コアとして設計されていてもよい。これらの実施態様においては、（１つ又は複数の）カスタム設計シリコンコア上でＦＩＮＮ２００のサブシステムのうちの１つ又は複数が少なくとも部分的に動作するようになっていてもよい。これらの「ハードウェア化」サブシステムは、大型のチップセットに組み込まれていてもよいが、汎用プロセッサコアを使用する場合よりも効率的と考えられる。
[75]システムメモリ回路９０４は、格納された命令９８２をプロセッサ回路９０２が連続的に読み出して実行する主記憶を与えるように構成された任意数のメモリデバイスを具備している。いくつかの実施形態において、メモリ回路９０４は、プロセッサ回路９０２と関連付けられたオンダイのメモリ又はレジスタである。例として、メモリ回路９０４は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）等の揮発性メモリを含んでいてもよい。また、メモリ回路９０４は、高速電気的消去可能メモリ（一般的には「フラッシュメモリ」と称する）、相変化ＲＡＭ（ＰＲＡＭ）、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）等の抵抗変化型メモリ等の不揮発性メモリ（ＮＶＭ）を含んでいてもよい。また、メモリ回路９０４は、永続記憶装置（任意の種類の一時的及び／又は永続的ストレージが考えられる）を含んでいてもよく、不揮発性メモリ、光学的、磁気的、及び／又は固体大容量ストレージ等が挙げられるが、これらに限定されない。
[76]記憶回路９０８は、データ、アプリケーション、オペレーティングシステム（ＯＳ）等の情報の永続的記憶を与えるように構成されている。例として、記憶回路９０８は、ハードディスクドライブ（ＨＤＤ）、マイクロＨＤＤ、固体ディスクドライブ（ＳＳＤＤ）、フラッシュメモリカード（例えば、ＳＤカード、ｍｉｃｒｏＳＤカード、ｘＤピクチャカード等）、ＵＳＢフラッシュドライブ、プロセッサ回路９０２と関連付けられたオンダイのメモリ若しくはレジスタ、抵抗変化型メモリ、相変化メモリ、ホログラフィックメモリ、又は化学メモリ等として実装されていてもよい。
[77]記憶回路９０８は、本明細書に記載の技術を実現するソフトウェア、ファームウェア、マイクロコード、又はハードウェアレベル命令の形態の演算論理９８０（又は、「モジュール９８０」）を格納するように構成されていてもよい。演算論理９８０は、システム９００の様々な構成要素（例えば、ドライバ、ライブラリ、アプリケーションプログラミングインターフェース（ＡＰＩ）等）、システム９００のＯＳ、１つ若しくは複数のアプリケーションの動作用、並びに／又は本明細書に記載の実施形態の実行用のプログラミング命令又はプログラミング命令を生成するデータの一時的コピー及び／又は永続的コピーを格納するように採用されていてもよい。演算論理９８０は、後でプロセッサ回路９０２がアクセスして実行することにより、本明細書に記載の機能を実行する命令９８２又は命令９８２を生成するデータとしてメモリ回路９０４に格納又はロードされるようになっていてもよい。プロセッサ回路９０２は、相互接続（ＩＸ）９０６を介して、メモリ回路９０４及び／又は記憶回路９０８にアクセスする。命令９８２は、例えば上掲の動作及び機能の（１つ又は複数の）フローチャート及び（１つ又は複数の）ブロック図に関して説明した通り、特定の動作シーケンス又は動作フローを実行するようにプロセッサ回路９０２に指示する。プロセッサ回路９０２が対応するアセンブラ命令又はプロセッサ回路９０２が実行する命令９８４若しくは命令９８４を生成するデータへとコンパイルされ得る高級言語によって、様々な要素が実現されるようになっていてもよい。プログラミング命令の永続的コピーは、例えば配布媒体（図示せず）、（例えば、配信サーバ（図示せず）からの）通信インターフェース、又は無線（ＯＴＡ）によって、工場又は現場にある記憶回路９０８の永続的記憶装置に投入されるようになっていてもよい。
[78]システム９００のオペレーティングシステム（ＯＳ）は、汎用ＯＳであってもよいし、コンピュータシステム９００に対して具体的に記述及び調整されたＯＳであってもよい。例えば、システム９００がサーバシステム又はデスクトップ若しくはラップトップシステム９００である場合、ＯＳは、例えばＵｎｉｘ（登録商標）又はＲｅｄ Ｈａｔ Ｅｎｔｅｒｐｒｉｓｅが提供するＬｉｎｕｘ（登録商標）等のＵｎｉｘ様ＯＳ、マイクロソフト（登録商標）社が提供するウィンドウズ１０（Ｗｉｎｄｏｗｓ １０）（登録商標）、アップル（登録商標）社が提供するｍａｃＯＳ等であってもよい。システム９００がモバイル機器である別の例において、ＯＳは、グーグル（登録商標）社が提供するアンドロイド（Ａｎｄｒｏｉｄ）（登録商標）、アップル（登録商標）社が提供するｉＯＳ（登録商標）、マイクロソフト（登録商標）社が提供するウィンドウズ１０モバイル（Ｗｉｎｄｏｗｓ １０ Ｍｏｂｉｌｅ）（登録商標）、ＫａｉＯＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ．が提供するＫａｉＯＳ等のモバイルＯＳであってもよい。
[79]ＯＳは、コンピュータのハードウェア及びソフトウェアリソースを管理するとともに、様々なアプリケーション（例えば、アプリケーション１１０）の共通サービスを提供する。ＯＳは、システム９００に対して埋め込み、取り付け、或いは通信結合された特定のデバイスを制御するように動作する１つ又は複数のドライバ又はＡＰＩを含んでいてもよい。ドライバとしては、システム９００内に存在し得る様々なＩ／Ｏデバイス又はシステム９００に接続され得る様々なＩ／Ｏデバイスに対する相互作用又は制御をシステム９００の他の構成要素が行えるようにする個々のドライバが挙げられる。例えば、ドライバとしては、表示装置へのアクセスの制御及び許可を行うディスプレイドライバ、システム９００のタッチスクリーンインターフェースへのアクセスの制御及び許可を行うタッチスクリーンドライバ、センサ回路９２１のセンサ測定値の取得並びにセンサ回路９２１へのアクセスの制御及び許可を行うセンサドライバ、アクチュエータ９２２のアクチュエータ位置の取得並びに／又はアクチュエータ９２２へのアクセスの制御及び許可を行うアクチュエータドライバ、埋め込み画像取り込みデバイスへのアクセスの制御及び許可を行うカメラドライバ、１つ又は複数のオーディオデバイスへのアクセスの制御及び許可を行うオーディオドライバが挙げられる。また、ＯＳは、上述のＦＩＮＮ２００の様々なサブシステム等、システム９００が動作させる他のアプリケーションからデータを取得して使用する１つ又は複数のアプリケーションのプログラムコード及び／又はソフトウェアコンポーネントを提供する１つ又は複数のライブラリ、ドライバ、ＡＰＩ、ファームウェア、ミドルウェア、ソフトウェアグルー等を含んでいてもよい。
[80]システム９００の構成要素は、相互接続（ＩＸ）９０６を介して相互に通信する。ＩＸ９０６は、業界標準アーキテクチャ（ＩＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、インターインテグレーテッド回路（Ｉ２Ｃ）、シリアル周辺機器インターフェース（ＳＰＩ）、ポイントツーポイントインターフェース、電力管理バス（ＰＭＢｕｓ）、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）、ＰＣＩエクスプレス（ＰＣＩｅ）、インテル（登録商標）Ｕｌｔｒａ Ｐａｔｈ Ｉｎｔｅｒｆａｃｅ（ＵＰＩ）、インテル（登録商標）Ａｃｃｅｌｅｒａｔｏｒ Ｌｉｎｋ（ＩＡＬ）、Ｃｏｍｍｏｎ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ（ＣＡＰＩ）、インテル（登録商標）ＱｕｉｃｋＰａｔｈ Ｉｎｔｅｒｃｏｎｎｅｃｔ （ＱＰＩ）、インテル（登録商標）Ｏｍｎｉ－Ｐａｔｈ Ａｒｃｈｉｔｅｃｔｕｒｅ （ＯＰＡ） ＩＸ、ラピッドＩＯ（ＲａｐｉｄＩＯ）（商標）システム相互接続、イーサネット（登録商標）、Ｃａｃｈｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｆｏｒ Ａｃｃｅｌｅｒａｔｏｒｓ（ＣＣＩＡ）、Ｇｅｎ－Ｚ Ｃｏｎｓｏｒｔｉｕｍ ＩＸｓ、Ｏｐｅｎ Ｃｏｈｅｒｅｎｔ Ａｃｃｅｌｅｒａｔｏｒ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＯｐｅｎＣＡＰＩ）等の任意数のＩＸ技術、及び／又は他の任意数のＩＸ技術を含んでいてもよい。ＩＸ９０６は、例えばＳｏＣベースのシステムにおいて用いられる専用バスであってもよい。
[81]通信回路９０９は、１つ若しくは複数のネットワーク（例えば、ネットワーク９５０）上並びに／又は他のデバイスとの通信に用いられるハードウェア要素又はハードウェア要素の集合体である。通信回路９０９は、モデム９１０及び送受信機回路（「ＴＲｘ」）８１２を具備する。モデム９１０は、様々なプロトコル及び無線制御機能を実行する１つ又は複数の処理デバイス（例えば、ベースバンドプロセッサ）を具備する。モデム９１０は、システム９００のアプリケーション回路とのインターフェース（例えば、プロセッサ回路９０２とＣＲＭ８６０との組み合わせ）によって、ベースバンド信号を生成して処理するとともに、ＴＲｘ９１２の動作を制御する。モデム９１０は、１つ又は複数の無線通信プロトコルに従って、ＴＲｘ９１２を介した１つ又は複数の無線ネットワークとの通信を可能にする様々な無線制御機能を処理するようにしてもよい。モデム９１０は、ＴＲｘ９１２の受信信号経路から受信したベースバンド信号を処理するとともに、送信信号経路を介してＴＲｘ９１２に供給されるベースバンド信号を生成する１つ若しくは複数のシングルコア若しくはマルチコアプロセッサ（例えば、１つ若しくは複数のベースバンドプロセッサ）又は制御論理等の回路を含んでいてもよいが、これらに限定されない。種々実施形態において、モデム９１０は、リアルタイムＯＳ（ＲＴＯＳ）の実装により、モデム９１０のリソースの管理、タスクのスケジューリング等を行うようにしてもよい。
[82]また、通信回路９０９は、ＴＲｘ９１２を具備することにより、非固体媒体を通じて、変調電磁放射を用いた無線ネットワークとの通信を可能にする。ＴＲｘ９１２は、モデム９１０に供給されるデジタルベースバンド信号へとアナログＲＦ信号（例えば、既存又は受信変調波形）を変換する回路を備えた受信信号経路を含む。また、ＴＲｘ９１２は、モデム９１０により供給されたデジタルベースバンド信号を、１つ又は複数のアンテナ素子（図示せず）を含むアンテナアレイを介して増幅及び送信されるアナログＲＦ信号（例えば、変調波形）へと変換するように構成された回路を備えた送信信号経路を含む。アンテナアレイは、１つ又は複数のプリント配線板の表面に作製された複数のマイクロストリップアンテナ又は印刷アンテナであってもよい。アンテナアレイは、多様な形状の金属箔パッチ（例えば、パッチアンテナ）として形成されていてもよく、また、金属伝送線等を用いてＴＲｘ９１２と結合されていてもよい。
[83]ＴＲｘ９１２は、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））無線通信技術、Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ（ＧＰＲＳ）無線通信技術、Ｅｎｈａｎｃｅｄ Ｄａｔａ Ｒａｔｅｓ ｆｏｒ ＧＳＭ Ｅｖｏｌｕｔｉｏｎ（ＥＤＧＥ）無線通信技術、及び／又はＴｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ（３ＧＰＰ）無線通信技術（例えば、Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（ＵＭＴＳ）、Ｆｒｅｅｄｏｍ ｏｆ Ｍｕｌｔｉｍｅｄｉａ Ａｃｃｅｓｓ（ＦＯＭＡ）、３ＧＰＰ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、３ＧＰＰ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ Ａｄｖａｎｃｅｄ（ＬＴＥ Ａｄｖａｎｃｅｄ）、Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ ２０００（ＣＤＭ２０００）、Ｃｅｌｌｕｌａｒ Ｄｉｇｉｔａｌ Ｐａｃｋｅｔ Ｄａｔａ（ＣＤＰＤ）、Ｍｏｂｉｔｅｘ、Ｔｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ（３Ｇ）、Ｃｉｒｃｕｉｔ Ｓｗｉｔｃｈｅｄ Ｄａｔａ（ＣＳＤ）、Ｈｉｇｈ－Ｓｐｅｅｄ Ｃｉｒｃｕｉｔ－Ｓｗｉｔｃｈｅｄ Ｄａｔａ（ＨＳＣＳＤ）、Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（Ｔｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ）（ＵＭＴＳ（３Ｇ））、Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）（Ｗ－ＣＤＭＡ（ＵＭＴＳ））、Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＰＡ）、Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＤＰＡ）、Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＵＰＡ）、Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ Ｐｌｕｓ（ＨＳＰＡ＋）、Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ－Ｔｉｍｅ－Ｄｉｖｉｓｉｏｎ Ｄｕｐｌｅｘ（ＵＭＴＳ－ＴＤＤ）、Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ（ＴＤ－ＣＤＭＡ）、Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ－Ｓｙｎｃｈｒｏｎｏｕｓ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ（ＴＤ－ＣＤＭＡ）、３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ ８（Ｐｒｅ－４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）（３ＧＰＰ Ｒｅｌ．８（Ｐｒｅ－４Ｇ））、３ＧＰＰ Ｒｅｌ．９（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ ９）、３ＧＰＰ Ｒｅｌ．１０（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １０）、３ＧＰＰ Ｒｅｌ．１１（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １１）、３ＧＰＰ Ｒｅｌ．１２（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １２）、３ＧＰＰ Ｒｅｌ．８（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ ８）、３ＧＰＰ Ｒｅｌ．１４（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １４）、３ＧＰＰ Ｒｅｌ．１５（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １５）、３ＧＰＰ Ｒｅｌ．１６（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １６）、３ＧＰＰ Ｒｅｌ．１７（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ Ｒｅｌｅａｓｅ １７）及びそれ以降のリリース（Ｒｅｌ．１８、Ｒｅｌ．１９等）、３ＧＰＰ ５Ｇ、３ＧＰＰ ＬＴＥ Ｅｘｔｒａ、ＬＴＥ－Ａｄｖａｎｃｅｄ Ｐｒｏ、ＬＴＥ Ｌｉｃｅｎｓｅｄ－Ａｓｓｉｓｔｅｄ Ａｃｃｅｓｓ （ＬＡＡ）、ＭｕＬＴＥｆｉｒｅ、ＵＭＴＳ Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ（ＵＴＲＡ）、Ｅｖｏｌｖｅｄ ＵＭＴＳ Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ（Ｅ－ＵＴＲＡ）、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ Ａｄｖａｎｃｅｄ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）（ＬＴＥ Ａｄｖａｎｃｅｄ（４Ｇ））、ｃｄｍａＯｎｅ（２Ｇ）、Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ ２０００（Ｔｈｉｒｄ ｇｅｎｅｒａｔｉｏｎ）（ＣＤＭ２０００（３Ｇ））、Ｅｖｏｌｕｔｉｏｎ－Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ ｏｒ Ｅｖｏｌｕｔｉｏｎ－Ｄａｔａ Ｏｎｌｙ（ＥＶ－ＤＯ）、Ａｄｖａｎｃｅｄ Ｍｏｂｉｌｅ Ｐｈｏｎｅ Ｓｙｓｔｅｍ （１ｓｔ Ｇｅｎｅｒａｔｉｏｎ）（ＡＭＰＳ（１Ｇ））、Ｔｏｔａｌ Ａｃｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ／Ｅｘｔｅｎｄｅｄ Ｔｏｔａｌ Ａｃｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ（ＴＡＣＳ／ＥＴＡＣＳ）、Ｄｉｇｉｔａｌ ＡＭＰＳ（２ｎｄ Ｇｅｎｅｒａｔｉｏｎ）（Ｄ－ＡＭＰＳ（２Ｇ））、Ｐｕｓｈ－ｔｏ－ｔａｌｋ（ＰＴＴ）、Ｍｏｂｉｌｅ Ｔｅｌｅｐｈｏｎｅ Ｓｙｓｔｅｍ（ＭＴＳ）、Ｉｍｐｒｏｖｅｄ Ｍｏｂｉｌｅ Ｔｅｌｅｐｈｏｎｅ Ｓｙｓｔｅｍ（ＩＭＴＳ）、Ａｄｖａｎｃｅｄ Ｍｏｂｉｌｅ Ｔｅｌｅｐｈｏｎｅ Ｓｙｓｔｅｍ（ＡＭＴＳ）、ＯＬＴ（Ｎｏｒｗｅｇｉａｎ ｆｏｒ Ｏｆｆｅｎｔｌｉｇ Ｌａｎｄｍｏｂｉｌ Ｔｅｌｅｆｏｎｉ，Ｐｕｂｌｉｃ Ｌａｎｄ Ｍｏｂｉｌｅ Ｔｅｌｅｐｈｏｎｙ）、ＭＴＤ（Ｓｗｅｄｉｓｈ ａｂｂｒｅｖｉａｔｉｏｎ ｆｏｒ Ｍｏｂｉｌｔｅｌｅｆｏｎｉｓｙｓｔｅｍ Ｄ、又はＭｏｂｉｌｅ ｔｅｌｅｐｈｏｎｙ ｓｙｓｔｅｍ Ｄ）、Ｐｕｂｌｉｃ Ａｕｔｏｍａｔｅｄ Ｌａｎｄ Ｍｏｂｉｌｅ（Ａｕｔｏｔｅｌ／ＰＡＬＭ）、ＡＲＰ（Ｆｉｎｎｉｓｈ ｆｏｒ Ａｕｔｏｒａｄｉｏｐｕｈｅｌｉｎ、「自動車電話」）、ＮＭＴ（Ｎｏｒｄｉｃ Ｍｏｂｉｌｅ Ｔｅｌｅｐｈｏｎｙ）、ＮＴＴ（日本電信電話）の高容量形式（Ｈｉｃａｐ）、Ｃｅｌｌｕｌａｒ Ｄｉｇｉｔａｌ Ｐａｃｋｅｔ Ｄａｔａ（ＣＤＰＤ）、Ｍｏｂｉｔｅｘ、ＤａｔａＴＡＣ、Ｉｎｔｅｇｒａｔｅｄ Ｄｉｇｉｔａｌ Ｅｎｈａｎｃｅｄ Ｎｅｔｗｏｒｋ（ｉＤＥＮ）、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ（ＰＤＣ）、Ｃｉｒｃｕｉｔ Ｓｗｉｔｃｈｅｄ Ｄａｔａ（ＣＳＤ）、簡易型携帯電話（ＰＨＳ）、Ｗｉｄｅｂａｎｄ Ｉｎｔｅｇｒａｔｅｄ Ｄｉｇｉｔａｌ Ｅｎｈａｎｃｅｄ Ｎｅｔｗｏｒｋ（ＷｉＤＥＮ）、ｉＢｕｒｓｔ、Ｕｎｌｉｃｅｎｓｅｄ Ｍｏｂｉｌｅ Ａｃｃｅｓｓ（ＵＭＡ）（３ＧＰＰ Ｇｅｎｅｒｉｃ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋ又はＧＡＮ規格とも称する）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）、ＩＥＥＥ８０２．１５．４ベースのプロトコル（例えば、ＩＰｖ６ ｏｖｅｒ Ｌｏｗ Ｐｏｗｅｒ Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ（６ＬｏＷＰＡＮ）、ＷｉｒｅｌｅｓｓＨＡＲＴ、ＭｉＷｉ、Ｔｈｒｅａｄ、Ｉ６００．１１ａ等）、ＷｉＦｉ－ｄｉｒｅｃｔ、ＡＮＴ／ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）、Ｚ－Ｗａｖｅ、３ＧＰＰデバイスツーデバイス（Ｄ２Ｄ）又はＰｒｏｘｉｍｉｔｙ Ｓｅｒｖｉｃｅｓ（ＰｒｏＳｅ）、Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ（ＵＰｎＰ）、Ｌｏｗ－Ｐｏｗｅｒ Ｗｉｄｅ－Ａｒｅａ－Ｎｅｔｗｏｒｋ（ＬＰＷＡＮ）、ＬｏＲａＷＡＮ（商標）（Ｌｏｎｇ Ｒａｎｇｅ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｓｉｇｆｏｘ、Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ Ａｌｌｉａｎｃｅ（ＷｉＧｉｇ）規格、一般的なミリ波規格（ＷｉＧｉｇ、ＩＥＥＥ８０２．１１ａｄ、ＩＥＥＥ８０２．１１ａｙ等の１０～３００ＧＨｚ以上で動作する無線システム）、３００ＧＨｚ及びＴＨｚ帯より上で動作する技術、（３ＧＰＰ／ＬＴＥベース又はＩＥＥＥ８０２．１１ｐ等の）Ｖｅｈｉｃｌｅ－ｔｏ－Ｖｅｈｉｃｌｅ（Ｖ２Ｖ）、Ｖｅｈｉｃｌｅ－ｔｏ－Ｘ（Ｖ２Ｘ）、Ｖｅｈｉｃｌｅ－ｔｏ－Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（Ｖ２Ｉ）、及びＩｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－Ｖｅｈｉｃｌｅ（Ｉ２Ｖ）通信技術、３ＧＰＰセルラーＶ２Ｘ、高度道路交通システム等のＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）通信システム、Ｅｕｒｏｐｅａｎ ＩＴＳ－Ｇ５システム（すなわち、Ｅｕｒｏｐｅａｎ ｆｌａｖｏｒ ｏｆ ＩＥＥＥ８０２．１１ｐベースＤＳＲＣ（ＩＴＳ－Ｇ５Ａ（すなわち、５，８７５ＧＨｚ～５，９０５ＧＨｚの周波数範囲における安全関連用途のＩＴＳ専用欧州ＩＴＳ周波数帯におけるＩＴＳ－Ｇ５の動作）、ＩＴＳ－Ｇ５Ｂ（すなわち、５，８５５ＧＨｚ～５，８７５ＧＨｚの周波数範囲におけるＩＴＳ非安全用途専用欧州ＩＴＳ周波数帯における動作）、ＩＴＳ－Ｇ５Ｃ（すなわち、５，４７０ＧＨｚ～５，７２５ＧＨｚの周波数範囲におけるＩＴＳ用途の動作）））等の無線通信技術及び／若しくは規格のうちのいずれか１つ若しくは複数に適合する１つ若しくは複数の無線機を含むこと、並びに／又は、これらいずれか１つ若しくは複数に従って動作することが可能である。上掲の規格のほか、任意数の衛星アップリンク技術がＴＲｘ９１２に用いられるようになっていてもよく、例えば、数ある中でもとりわけ、ＩＴＵ（国際電気通信連合）又はＥＴＳＩ（欧州電気通信標準化機構）が発行する規格（いずれも存在するが未策定）に準拠した無線機が挙げられる。
[84]ネットワークインターフェース回路／コントローラ（ＮＩＣ）９１６は、標準的なネットワークインターフェースプロトコルを用いてネットワーク９５０又は他のデバイスへの有線通信を提供するものであってもよい。標準的なネットワークインターフェースプロトコルとしては、イーサネット、ＧＲＥ Ｔｕｎｎｅｌｓを介したイーサネット、Ｍｕｌｔｉｐｒｏｔｏｃｏｌ Ｌａｂｅｌ Ｓｗｉｔｃｈｉｎｇ（ＭＰＬＳ）を介したイーサネット、ＵＳＢを介したイーサネットが挙げられるほか、数ある中でもとりわけ、Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＣＡＮ）、Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ（ＬＩＮ）、ＤｅｖｉｃｅＮｅｔ、ＣｏｎｔｒｏｌＮｅｔ、Ｄａｔａ Ｈｉｇｈｗａｙ＋、ＰＲＯＦＩＢＵＳ、又はＰＲＯＦＩＮＥＴ等の他種のネットワークプロトコルに基づいていてもよい。物理的接続（電気的（例えば、「銅線相互接続」）であってもよいし、光学的であってもよい）を用いることにより、ＮＩＣ９１６を介して、システム９００へのネットワーク接続／システム９００からのネットワーク接続が提供されていてもよい。また、物理的接続には、好適な入力コネクタ（例えば、ポート、レセプタクル、ソケット等）及び出力コネクタ（例えば、プラグ、ピン等）を含む。ＮＩＣ９１６は、前述のネットワークインターフェースプロトコルのうちの１つ又は複数を用いて通信する１つ又は複数の専用プロセッサ及び／又はＦＰＧＡを具備していてもよい。いくつかの実施態様において、ＮＩＣ９１６は、同じプロトコル又は異なるプロトコルを用いて他のネットワークへの接続を提供する複数のコントローラを具備していてもよい。例えば、システム９００は、イーサネットを介してクラウドへの通信を提供する第１のＮＩＣ９１６と、別の種類のネットワークを介して他のデバイスへの通信を提供する第２のＮＩＣ９１６とを具備していてもよい。いくつかの実施態様において、ＮＩＣ９１６は、システム９００をルーティングデバイス又はスイッチングデバイスに接続する高速シリアルインターフェース（ＨＳＳＩ）ＮＩＣであってもよい。
[85]ネットワーク９５０は、コンピュータ、様々なコンピュータ間（例えば、システム９００とリモートシステム９５５との間）のネットワーク接続、及び各ネットワーク接続を介したコンピュータ間の通信を可能にするソフトウェアルーチンを含む。この点、ネットワーク９５０は、１つ又は複数のプロセッサ、通信システム（例えば、ネットワークインターフェースコントローラ、１つ又は複数のアンテナに接続された１つ又は複数の送信機／受信機等）、及びコンピュータ可読媒体を含む。このようなネットワーク要素の例としては、無線アクセスポイント（ＷＡＰ）、ホーム／ビジネスサーバ（無線周波数（ＲＦ）通信回路の有無によらず）、ルータ、スイッチ、ハブ、無線ビーコン、基地局、ピコセル若しくはスモールセル基地局、並びに／又はその他任意の類似ネットワークデバイスが挙げられる。ネットワーク９５０への接続は、以下に論じる様々な通信プロトコルを用いた有線又は無線接続経由であってもよい。本明細書において、有線又は無線通信プロトコルは、データをパケット化／脱パケット化する命令、信号を変調／復調する命令、プロトコルスタックを実装する命令等、他のデバイスと通信するために通信デバイス／システムが実装する一組の標準化規則又は命令を表し得る。図示のデバイス間の通信セッションには、２つ以上のネットワークが関わっていてもよい。ネットワーク９５０への接続では、例えば無線（又は、セルラー）電話ネットワークにおけるコンピュータネットワーキング又は同等物のＯＳＩモデルの７つのレイヤを可能にするソフトウェアルーチンをコンピュータが実行することが必要となり得る。
[86]ネットワーク９５０は、インターネット、１つ若しくは複数のセルラーネットワーク、専用及び／若しくは企業ネットワークを含むローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）、伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）ベースのネットワーク、又はこれらの組み合わせを表し得る。このような実施形態において、ネットワーク９５０は、１つ又は複数の基地局又はアクセスポイント、デジタルデータ又は電話をルーティングする１つ又は複数のサーバ（例えば、コアネットワーク又はバックボーンネットワーク）等、ネットワーク関連サービスの提供に必要な機器及び他の要素を所有又は制御するネットワーク事業者と関連付けられていてもよい。インターネットの代替又は追加として、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、企業ネットワーク、非ＴＣＰ／ＩＰベースのネットワーク、任意のＬＡＮ又はＷＡＮ等、他のネットワークも使用可能である。
[87]外部インターフェース９１８（「Ｉ／Ｏインターフェース回路」とも称する）は、システム９００を外部のデバイス又はサブシステムと接続又は結合するように構成されている。外部インターフェース９１８は、システム９００を外部のコンポーネント／デバイスと結合する任意好適なインターフェースコントローラ及びコネクタを含んでいてもよい。一例として、外部インターフェース９１８は、システム９００と外部（周辺）のコンポーネント／デバイスとの接続に用いられる外部拡張バス（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦｉｒｅＷｉｒｅ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ等）であってもよい。外部のデバイスには、とりわけ、センサ回路９２１、アクチュエータ９２２、及び測位回路９４５を含むが、図９に示さない他のデバイス又はサブシステムを含むことも可能である。
[88]センサ回路９２１は、その環境のイベント又は変化を検出するとともに、検出したイベントに関する情報（センサデータ）をその他何らかのデバイス、モジュール、サブシステム等に送ることを目的としたデバイス、モジュール、又はサブシステムを含んでいてもよい。このようなセンサ９２１の例としては、とりわけ、加速度計、ジャイロスコープ、及び／又は磁力計を含む慣性測定ユニット（ＩＭＵ）、３軸加速度計、３軸ジャイロスコープ、及び／又は磁力計を含むマイクロ電気機械システム（ＭＥＭＳ）又はナノ電気機械システム（ＮＥＭＳ）、レベルセンサ、流量センサ、温度センサ（例えば、サーミスタ）、圧力センサ、気圧センサ、重力計、高度計、画像取り込みデバイス（例えば、カメラ）、光検出及び測距（ＬｉＤＡＲ）センサ、近接センサ（例えば、赤外線放出検出器等）、深度センサ、環境光センサ、超音波送受信機、マイク等が挙げられる。
[89]外部インターフェース９１８は、システム９００のアクチュエータ９２２への接続、システム９００の状態、位置、及び／若しくは配向の変更、又は機構若しくはシステムの移動若しくは制御を行う。アクチュエータ９２２は、機構又はシステムの移動又は制御を行う電気的及び／又は機械的デバイスを備え、エネルギー（例えば、電流又は移動する空気及び／若しくは液体）を何らかの種類の運動に変換する。アクチュエータ９２２は、圧電バイモルフ、ソリッドステートアクチュエータ、ソリッドステートリレー（ＳＳＲ）、形状記憶合金ベースのアクチュエータ、電気活性高分子ベースのアクチュエータ、リレードライバ集積回路（ＩＣ）、及び／又はその他類似のもの等、１つ又は複数の電子（又は、電気化学）デバイスを含んでいてもよい。アクチュエータ９２２は、空気圧アクチュエータ、油圧アクチュエータ、電気機械式リレー（ＥＭＲ）を含む電気機械式スイッチ、モータ（例えば、ＤＣモータ、ステッピングモータ、サーボ機構等）、ホイール、スラスタ、プロペラ、爪、クランプ、フック、可聴音発生器、及び／又は類似の電気機械式コンポーネント等の１つ又は複数の電気機械式デバイスを含んでいてもよい。システム９００は、１つ若しくは複数の取り込みイベント及び／若しくは命令又はサービスプロバイダ及び／若しくは様々なクライアントシステムから受信した制御信号に基づいて、１つ又は複数のアクチュエータ９２２を動作させるように構成されていてもよい。実施形態において、システム９００は、命令を様々なアクチュエータ９２２（又は、１つ又は複数のアクチュエータ９２２を制御するコントローラ）に送信して、本明細書に記載の通り、電気ネットワークを再設定するようにしてもよい。
[90]測位回路９４５は、全地球的航法衛星システム（ＧＮＳＳ）の測位ネットワークにより送信／ブロードキャストされた信号を受信して復号化する回路を含む。航法衛星配置（又は、ＧＮＳＳ）の例としては、米国のＧｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）、ロシアのＧｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ（ＧＬＯＮＡＳＳ）、欧州連合のＧａｌｉｌｅｏ ｓｙｓｔｅｍ、中国のＢｅｉＤｏｕ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、局所航法システム若しくはＧＮＳＳ拡張システム（例えば、Ｎａｖｉｇａｔｉｏｎ ｗｉｔｈ Ｉｎｄｉａｎ Ｃｏｎｓｔｅｌｌａｔｉｏｎ（ＮＡＶＩＣ）、日本のＱｕａｓｉ－Ｚｅｎｉｔｈ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ＱＺＳＳ）、フランスのＤｏｐｐｌｅｒ Ｏｒｂｉｔｏｇｒａｐｈｙ ａｎｄ Ｒａｄｉｏ－ｐｏｓｉｔｉｏｎｉｎｇ Ｉｎｔｅｇｒａｔｅｄ ｂｙ Ｓａｔｅｌｌｉｔｅ（ＤＯＲＩＳ）等）、又はその他類似のものが挙げられる。測位回路９４５は、航法衛星配置ノード等の測位ネットワークの構成要素と通信する様々なハードウェア要素（例えば、ＯＴＡ通信を容易化するスイッチ、フィルタ、増幅器、アンテナ素子等のハードウェアデバイスを含む）を備える。いくつかの実施形態において、測位回路９４５は、マスタータイミングクロックを用いることでＧＮＳＳの支援なしに位置追跡／推定を実行するＭｉｃｒｏ－Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ，Ｎａｖｉｇａｔｉｏｎ，ａｎｄ Ｔｉｍｉｎｇ（Ｍｉｃｒｏ－ＰＮＴ）ＩＣを含んでいてもよい。また、測位回路９４５は、測位ネットワークのノード及び構成要素と通信する通信回路９０９の一部であってもよいし、通信回路９０９と相互作用するようになっていてもよい。また、測位回路９４５は、位置データ及び／又は時間データをアプリケーション回路に提供するようにしてもよく、アプリケーション回路は、このデータを用いて、様々なインフラ（例えば、無線基地局）と動作を同期させることにより、進路変更ごとのナビゲーション等を行うようにしてもよい。
[91]入出力（Ｉ／Ｏ）デバイス９５６は、システム９００内に存在していてもよいし、システム９００に接続されていてもよい。Ｉ／Ｏデバイス９５６は、ユーザのシステム９００との相互作用を可能にするように設計された１つ若しくは複数のユーザインターフェース並びに／又は周辺構成要素のシステム９００との相互作用を可能にするように設計された周辺構成要素インターフェースを含む入力装置回路及び出力装置回路を具備する。入力装置回路は、とりわけ１つ若しくは複数の物理的若しくは仮想的ボタン（例えば、リセットボタン）、物理的キーボード、キーパッド、マウス、タッチパッド、タッチスクリーン、マイク、スキャナ、ヘッドセット、並びに／又はその他類似のもの等、入力を受け付ける任意の物理的又は仮想的手段を含む。出力装置回路は、センサ測定値、（１つ又は複数の）アクチュエータ位置、又は他の類似情報等の情報の表示又は伝達に用いられる。出力装置回路の１つ又は複数のユーザインターフェース構成要素にデータ及び／又はグラフィックスが表示されるようになっていてもよい。出力装置回路は、システム９００の動作によって文字、グラフィックス、マルチメディアオブジェクト等の出力が生成された状態で、とりわけ１つ若しくは複数の単純な視覚的出力／インジケータ（例えば、二元ステータスインジケータ（例えば、発光ダイオード（ＬＥＤ））及び複数文字の視覚的出力、又は表示装置若しくはタッチスクリーン（例えば、液晶ディスプレイ（ＬＣＤ）、ＬＥＤディスプレイ、量子ドットディスプレイ、プロジェクタ）等のより複雑な出力等、任意数の音声若しくは視覚表示並びに／又はその組み合わせを含んでいてもよい。また、出力装置回路は、スピーカ等の発音デバイス、（１つ又は複数の）プリンタ、及び／又はその他類似のものを含んでいてもよい。いくつかの実施形態においては、センサ回路９２１が入力装置回路（例えば、画像取り込みデバイス、モーションキャプチャデバイス等）として用いられるようになっていてもよく、また、１つ又は複数のアクチュエータ９２２が出力装置回路（例えば、触覚フィードバックを与えるアクチュエータ等）として用いられるようになっていてもよい。別の例においては、アンテナ素子及び処理デバイスと結合された近距離無線通信（ＮＦＣ）コントローラを備えたＮＦＣ回路が備えられることにより、電子タグの読み取り及び／又は別のＮＦＣ対応デバイスとの接続を行うようになっていてもよい。周辺構成要素インターフェースとしては、不揮発性メモリポート、ユニバーサルシリアルバス（ＵＳＢ）ポート、オーディオジャック、電源インターフェース等が挙げられるが、これらに限定されない。
[92]システム９００への給電のため、システム９００にバッテリ９２４が結合されていてもよいが、これは、システム９００がモバイル又はラップトップ式のクライアントシステムである場合等、システム９００が固定位置にない実施形態において使用されるようになっていてもよい。バッテリ９２４は、リチウムイオンバッテリ、鉛酸バッテリ、若しくは空気亜鉛バッテリ、空気アルミニウムバッテリ、空気リチウムバッテリ等の空気金属バッテリ、リチウムポリマーバッテリ、並びに／又はその他類似のものであってもよい。システムがサーバコンピュータシステムとして実装されている場合等、システム９００が固定位置に設置されている実施形態において、システム９００は、配電網に結合された電源を有していてもよい。これらの実施形態において、システム９００は、ネットワークケーブルから引き込んだ電力により、単一のケーブルを用いてシステム９００への電力供給及びデータ接続の両者を提供する電力分岐回路を具備していてもよい。
[93]バッテリ９２４の充電状態（ＳｏＣｈ）を追跡するとともにシステム９００の充電を制御する電力管理集積回路（ＰＭＩＣ）９２６がシステム９００に備えられていてもよい。ＰＭＩＣ９２６は、バッテリ９２４の他のパラメータをモニタリングして、バッテリ９２４の劣化状態（ＳｏＨ）及び機能状態（ＳｏＦ）等、障害予測の提供に用いられるようになっていてもよい。ＰＭＩＣ９２６は、電圧レギュレータ、サージ保護装置、電力アラーム検出回路を具備していてもよい。電力アラーム検出回路は、電圧低下（低電圧）及びサージ（過電圧）状態のうちの１つ又は複数を検出するようにしてもよい。ＰＭＩＣ９２６は、バッテリ９２４に関する情報をＩＸ９０６経由でプロセッサ回路９０２に伝達するようにしてもよい。また、ＰＭＩＣ９２６は、バッテリ９２４の電圧又はバッテリ９２４からの電流をプロセッサ回路９０２が直接モニタリングできるようにするアナログ－デジタル変換器（ＡＤＣ）を具備していてもよい。バッテリパラメータは、伝送頻度、メッシュネットワーク動作、検知頻度等、システム９００が実行し得る動作の決定に用いられるようになっていてもよい。
[94]電力ブロック９２８又は配電網に結合された他の電源がＰＭＩＣ９２６と結合されて、バッテリ９２４を充電するようになっていてもよい。いくつかの例において、電力ブロック９２８は、無線受電機との置き換えにより、例えばシステム９００中のループアンテナを通じて、電力を無線で得るようにしてもよい。これらの実施態様においては、無線バッテリ充電回路がＰＭＩＣ９２６に備えられていてもよい。選定される特定の充電回路は、バッテリ９２４のサイズ及び必要な電流によって決まる。
[95]システム９００は、図９に示す構成要素の如何なる組み合わせを含んでいてもよいが、図示の構成要素の一部が省略されていてもよいし、付加的な構成要素が存在していてもよいし、他の実施態様においては、図示の構成要素の異なる配置も可能である。システム９００がサーバコンピュータシステム又はその一部である一例においては、バッテリ９２４、通信回路９０９、センサ９２１、アクチュエータ９２２、及び／若しくはＰＯＳ９４５、並びに場合によってはＩ／Ｏデバイス９５６の一部若しくは全部が省略されていてもよい。
[96]さらに、本開示の実施形態は、コンピュータ可用プログラムコード（又は、コンピュータプログラムを生成するデータ）が埋め込まれた任意の有形又は非一時的表現媒体に埋め込まれたコンピュータプログラム製品又はコンピュータプログラムを生成するデータの形態であってもよい。図１０は、装置（図１～図９に関して説明したデバイス／コンポーネント／システムのいずれか等）による命令の実行に応答して本開示の選択態様を当該装置に実現させる命令（又は、命令を生成するデータ）を格納する際の使用に適し得る例示的な非一時的コンピュータ可読記憶媒体（ＮＴＣＲＳＭ）を示している。図示のように、ＮＴＣＲＳＭ１００２は、ある数のプログラミング命令１００４（又は、プログラミング命令を生成するデータ）を含んでいてもよい。プログラミング命令１００４は、その実行に応答して、オペレーティングシステム機能、１つ若しくは複数のアプリケーション、並びに／又は本開示の態様と関連付けられた様々なプログラミング動作（図１～図８と関連付けられた様々なプログラミング動作を含む）をデバイス（例えば、図１～図９に関して説明したデバイス／コンポーネント／システムのいずれか）が実行できるように構成されていてもよい。種々実施形態において、プログラミング命令１００４は、図９に関して上述した演算論理９８０、命令９８２及び９８４のいずれかに対応していてもよい。
[97]代替実施形態において、プログラミング命令１００４（又は、プログラミング命令１００４を生成するデータ）は、複数のＮＴＣＲＳＭ１００２上に配設されていてもよい。代替実施形態において、プログラミング命令１００４（又は、プログラミング命令１００４を生成するデータ）は、信号等のコンピュータ可読一時的記憶媒体上に配設されていてもよい。機械可読媒体により具現化されたプログラミング命令１００４は、ある数の伝送プロトコル（例えば、ＨＴＴＰ等）のいずれか１つを利用するネットワークインターフェース機器（例えば、図９の通信回路９０９及び／又はＮＩＣ９１６）を介して、伝送媒体を用いた通信ネットワーク上で送信又は受信されるようになっていてもよい。
[98]１つ又は複数のコンピュータ可用又はコンピュータ可読媒体の任意の組み合わせがＮＴＣＲＳＭ１００２として利用されるようになっていてもよいし、ＮＴＣＲＳＭ１００２の代替として利用されるようになっていてもよい。コンピュータ可用又はコンピュータ可読媒体は、例えば１つ又は複数の電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、デバイス、又は伝搬媒体であってもよいが、これらに限定されない。例えば、ＮＴＣＲＳＭ１００２は、図９に関して上述した記憶回路９０８及び／又はメモリ回路９０４に対して記載のデバイスにより具現化されていてもよい。コンピュータ可読媒体のより具体的な例（非網羅的一覧）としては、１つ若しくは複数のワイヤを有する電気接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去プログラム可能リードオンリーメモリ（ＥＰＲＯＭ、フラッシュメモリ等）、光ファイバ、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置及び／若しくは光ディスク、インターネット若しくはイントラネットに対応するような伝送媒体、磁気記憶装置、又は任意数の他のハードウェアデバイスが挙げられる。本開示の背景において、コンピュータ可用又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによる使用又はこれらに関連する使用のためにプログラム（又は、プログラムを生成するデータ）を包含、格納、伝達、伝搬、又は移送可能な如何なる媒体であってもよい。コンピュータ可用媒体は、コンピュータ可用プログラムコード（例えば、プログラミング命令１００４を含む）又はプログラムコードを生成するデータが埋め込まれた伝搬データ信号をベースバンドに含んでいてもよいし、搬送波の一部として含んでいてもよい。コンピュータ可用プログラムコード又はプログラムを生成するデータは、任意適当な媒体を用いて伝送されるようになっていてもよく、無線、有線、光ファイバケーブル、ＲＦ等が挙げられるが、これらに限定されない。
[99]種々実施形態において、本明細書に記載のプログラムコード（又は、プログラムコードを生成するデータ）は、圧縮化フォーマット、暗号化フォーマット、断片化フォーマット、パッケージ化フォーマット等のうちの１つ又は複数にて格納されていてもよい。本明細書に記載のようなプログラムコード（例えば、プログラミング命令１００４）又はプログラムコードを生成するデータは、コンピュータデバイス及び／又は他のマシンによる直接的な読み込み及び／又は実行を可能にするため、インストール、修正、適応、更新、結合、補完、設定、復号、復元、解凍、配布、再割り当て等のうちの１つ又は複数を要し得る。例えば、プログラムコード又はプログラムコードを生成するデータは、別個のコンピュータデバイス上で個々に圧縮、暗号化、及び格納された複数の部分に格納されていてもよく、これらの部分は、復号、復元、及び結合に際して、本明細書に記載のようなプログラムコード又はプログラムコードを生成するデータを実現する一組の実行可能命令を構成する。別の例において、プログラムコード又はプログラムコードを生成するデータは、コンピュータによる読み込みの一方、特定のコンピュータデバイス又は他のデバイス上での命令の実行のために、ライブラリ（例えば、ダイナミックリンクライブラリ）、ソフトウェア開発キット（ＳＤＫ）、アプリケーションプログラミングインターフェース（ＡＰＩ）等の追加を要し得る状態で格納されていてもよい。別の例において、プログラムコード又はプログラムコードを生成するデータは、全体又は一部が実行／使用可能となる前に、設定（例えば、設定の格納、データの入力、ネットワークアドレスの記録等）を要する場合がある。本例において、プログラムコード（又は、プログラムコードを生成するデータ）は、第１の場所と異なる第２の場所に設定命令が配置された状態で、第１の場所において解凍、適正な実行のための設定、及び格納がなされるようになっていてもよい。設定命令は、格納又は実行の場所での同一の場所に配置されない動作、トリガ、又は命令によって開始でき、命令は開示された技術を可能にする。したがって、開示のプログラムコード又はプログラムコードを生成するデータは、格納或いは静止又は移動に際しての機械可読命令並びに／又は（１つ若しくは複数の）プログラムの特定のフォーマット又は状態に関わらず、このような機械可読命令並びに／又は（１つ若しくは複数の）プログラム若しくはデータを含むことにより、このような機械可読命令並びに／又はプログラムを生成することが意図される。
[100]本開示の動作を実行するコンピュータプログラムコード（例えば、プログラミング命令１００４、演算論理９８０、命令９８２、及び／又は命令９８４を含む）は、１つ又は複数のプログラミング言語の任意の組み合わせにより記述されていてもよく、Ｐｙｔｈｏｎ、ＰｙＴｏｒｃｈ、Ｒｕｂｙ、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｃ＃等のオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｇｏ（又は、「Ｇｏｌａｎｇ」）プログラミング言語等の手続型プログラミング言語、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｓｅｒｖｅｒ－Ｓｉｄｅ ＪａｖａＳｃｒｉｐｔ（ＳＳＪＳ）、ＰＨＰ、Ｐｅａｒｌ、Ｐｙｔｈｏｎ、ＰｙＴｏｒｃｈ、Ｒｕｂｙ若しくはＲｕｂｙ ｏｎ Ｒａｉｌｓ、Ｌｕａ、Ｔｏｒｃｈ／Ｌｕａ ｗｉｔｈ Ｊｕｓｔ－Ｉｎ Ｔｉｍｅ ｃｏｍｐｉｌｅｒ（ＬｕａＪＩＴ）、Ａｃｃｅｌｅｒａｔｅｄ Ｍｏｂｉｌｅ Ｐａｇｅｓ Ｓｃｒｉｐｔ（ＡＭＰｓｃｒｉｐｔ）、ＶＢＳｃｒｉｐｔ、及び／若しくはその他類似のもの等のスクリプト言語、ＨＴＭＬ、ＸＭＬ、ｗｉｋｉ ｍａｒｋｕｐ若しくはＷｉｋｉｔｅｘｔ、Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＷＭＬ）等のマークアップ言語、Ｊａｖａ Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔｉｏｎ（ＪＳＯＮ）、Ａｐａｃｈｅ（登録商標）ＭｅｓｓａｇｅＰａｃｋ（商標）等のデータ交換フォーマット／定義、Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅｓｈｅｅｔｓ（ＣＳＳ）、拡張スタイルシート言語（ＸＳＬ）等のスタイルシート言語、Ａｐａｃｈｅ（登録商標）Ｔｈｒｉｆｔ、Ａｂｓｔｒａｃｔ Ｓｙｎｔａｘ Ｎｏｔａｔｉｏｎ Ｏｎｅ（ＡＳＮ．１）、グーグル（登録商標）Ｐｒｏｔｏｃｏｌ Ｂｕｆｆｅｒｓ（ｐｒｏｔｏｂｕｆ）等のインターフェース定義言語（ＩＤＬ）、或いは本明細書に記載のような専用プログラミング言語及び／若しくは開発ツール、又はその他任意の言語若しくはツール等、その他何らかの好適なプログラミング言語が挙げられる。また、本開示の動作を実行するコンピュータプログラムコードは、本明細書に記載のプログラミング言語の任意の組み合わせにて記述されていてもよい。プログラムコードは、システム９００上で全部が実行されるようになっていてもよいし、独立型ソフトウェアパッケージとしてシステム９００上で一部が実行されるようになっていてもよいし、システム９００上で一部が実行され、リモートコンピュータ（例えば、リモートシステム９５５）上で一部が実行されるようになっていてもよいし、リモートコンピュータ（例えば、リモートシステム９５５）上で全部が実行されるようになっていてもよい。後者のシナリオにおいて、リモートコンピュータは、任意の種類のネットワーク（例えば、ネットワーク９５０）を通じてシステム９００に接続されていてもよい。
Ｖ．実施例
Ｖ．実施例
[101]実施例Ａ０１は、メモリ回路と結合されたプロセッサ回路を備えたコンピュータシステムであって、メモリ回路が、フレーム補間ニューラルネットワーク（ＦＩＮＮ）のプログラムコードを格納するように構成され、プロセッサ回路が、ＦＩＮＮを動作させることにより、映像フレーム補間用の特徴ピラミッドワーピングを実行するように構成された、コンピュータシステムを含む。
[102]実施例Ａ０２は、ＦＩＮＮが、オプティカルフロー推定器（ＯＦＥ）、特徴ピラミッド抽出器（ＦＰＥ）、前方ワーピングエンジン（ＦＷＥ）、及びフレーム合成ニューラルネットワーク（ＦＳＮ）を備えた、実施例Ａ０１及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[103]実施例Ａ０３は、ＯＦＥが、映像フレーム補間用のオプティカルフローによって動き推定を明示的に実行するように構成された、実施例Ａ０２及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[104]実施例Ａ０４は、動き推定を明示的に実行するため、ＯＦＥが、２つの入力フレーム間の対応を決定するように構成された、実施例Ａ０３及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[105]実施例Ａ０５は、ＯＦＥが、Ｏｐｔｉｃａｌ Ｆｌｏｗ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ２．０（ＦｌｏｗＮｅｔ２）及び／又はＰｙｒａｍｉｄ，Ｗａｒｐｉｎｇ，ａｎｄ Ｃｏｓｔ ｖｏｌｕｍｅ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＷＣ－Ｎｅｔ）である、実施例Ａ０２～Ａ０４及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[106]実施例Ａ０６は、ＦＰＥが、少なくとも２つの入力フレームの１つ又は複数の特徴ピラミッドを抽出するように構成された、実施例Ａ０２～Ａ０５及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[107]実施例Ａ０７は、ＦＰＥが、特徴空間に対する主成分分析の実行によって、１つ又は複数の特徴ピラミッドの視覚化を生成するように構成された、実施例Ａ０６及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[108]実施例Ａ０８は、ＦＰＥが、１つ又は複数の特徴ピラミッドそれぞれとして、少なくとも２つの入力フレームそれぞれに基づいて複数のピラミッドレベルを生成するように構成された、実施例Ａ０６、Ａ０７及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[109]実施例Ａ０９は、複数のピラミッドレベルを生成するため、ＦＰＥが、複数のストライド畳み込みを用いてダウンサンプリングを実行するように構成され、複数のストライド畳み込みの個々のストライド畳み込みが、複数のピラミッドレベルの個々のピラミッドレベルに対応する、実施例Ａ０８及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[110]実施例Ａ１０は、複数のピラミッドレベルを生成するため、ＦＰＥが、複数のストライド畳み込みそれぞれに対する活性化関数として、パラメトリック正規化線形ユニット（ＰＲｅＬＵ）を使用するように構成された、実施例Ａ０８、Ａ０９及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[111]実施例Ａ１１は、ＦＷＥが、ＯＦＥが出力した推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとプリワープさせるように構成された、実施例Ａ０６～Ａ１０及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[112]実施例Ａ１２は、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドをプリワープさせるため、ＦＷＥが、対象時間位置（ｔ）によりスケーリングされた前方フローに従って少なくとも２つの入力フレームの第１のフレームの特徴ピラミッドをプリワープさせるとともに、１－ｔによりスケーリングされた後方フローに従って少なくとも２つの入力フレームの第２のフレームの特徴ピラミッドをプリワープさせるように構成された、実施例Ａ１１及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[113]実施例Ａ１３は、ＦＷＥが、推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとワープさせるように構成された、実施例Ａ１１、Ａ１２及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[114]実施例Ａ１４は、ＦＷＥが、オプティカルフローの再サイズ規定及び再スケーリングによって、複数のピラミッドレベルの個々のピラミッドレベルをワープさせるように構成された、実施例Ａ１３及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[115]実施例Ａ１５は、ＦＳＮが、プリワープした入力フレーム及び特徴ピラミッドに基づいて補間結果を生成するように構成された、実施例Ａ１２～Ａ１４及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[116]実施例Ａ１６は、ＦＳＮが、ワープした特徴ピラミッドの各ピラミッドレベルをチャネルに関して連結するとともに、複数の列を含むグリッドネットワークに連結したピラミッドレベルを入力するように構成され、複数の列のうちの１つ又は複数の列が、ダウンサンプリングを実行し、複数の列のうちの１つ又は複数の他の列が、アップサンプリングを実行する、実施例Ａ１５及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[117]実施例Ａ１７は、プロセッサ回路が、ＯＦＥ、ＦＰＥ、ＦＷＥ、及びＦＳＮのうちの１つ又は複数のプログラムコードを動作させるように構成された少なくとも１つのニューラル処理ユニット（ＮＰＵ）を含む複数の処理コアを備えた、実施例Ａ０１～Ａ１６及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[118]実施例Ａ１８は、少なくとも１つのＮＰＵを含まない複数の処理コアのうちの１つ又は複数の他の処理コアが、少なくとも１つのＮＰＵにより動作していないＯＦＥ、ＦＰＥ、ＦＷＥ、及びＦＳＮのうちの１つ又は複数のプログラムコードを動作させるように構成された、実施例Ａ１７及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[119]実施例Ａ１９は、少なくとも１つのＮＰＵ及び複数の処理コアのうちの他の処理コアが、並列又は順次動作するように構成された、実施例Ａ１７、Ａ１８及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[120]実施例Ａ２０は、少なくとも１つのＮＰＵの動作を最適化するため、トレーニングデータ又はトレーニングデータセットが採用された、実施例Ａ１７～Ａ１９及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[121]実施例Ａ２１は、プロセッサ回路が、ＯＦＥ、ＦＰＥ、ＦＷＥ、及びＦＳＮのうちの対応する１つを動作させるように構成された１つ又は複数のハードウェアアクセラレータを含む複数のハードウェアアクセラレータを備えた、実施例Ａ０１～Ａ１６及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[122]実施例Ａ２２は、プロセッサ回路が、複数のハードウェアアクセラレータと通信可能に結合されたホストプラットフォームの複数の処理コアをさらに備え、これら複数の処理コアが、１つ若しくは複数のハードウェアアクセラレータによるＦＩＮＮの動作の初期化並びに／又は１つ若しくは複数のハードウェアアクセラレータに対する１つ若しくは複数のタスクのアンロードを行うように構成された、実施例Ａ２１及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[123]実施例Ａ２３は、複数の処理コア及び複数のハードウェアアクセラレータが、並列又は順次動作するように構成された、実施例Ａ２１、Ａ２２及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[124]実施例Ａ２４は、複数のハードウェアアクセラレータそれぞれの動作を最適化するため、トレーニングデータ又はトレーニングデータセットが採用された、実施例Ａ２１～Ａ２３及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[125]実施例Ａ２５は、複数のハードウェアアクセラレータが、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及び／又はプログラマブルシステムオンチップ（ＳｏＣ）を含む、実施例Ａ２１～Ａ２４及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[126]実施例Ｂ０１は、映像フレーム補間用の特徴ピラミッドワーピングを実行するフレーム補間ニューラルネットワーク（ＦＩＮＮ）であって、映像フレーム補間用のオプティカルフローにより少なくとも２つの入力フレームに対して動き推定を明示的に実行するオプティカルフロー推定（ＯＦＥ）手段と、少なくとも２つの入力フレームの１つ又は複数の特徴ピラミッドを抽出する特徴ピラミッド抽出（ＦＰＥ）手段と、ＯＦＥ手段が出力した推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとプリワープさせる前方ワーピング（ＦＷ）手段と、プリワープした入力フレーム及び特徴ピラミッドに基づいて補間結果を生成するフレーム合成ニューラルネットワーク（ＦＳＮ）手段とを備えた、ＦＩＮＮを含む。
[127]実施例Ｂ０２は、動き推定を明示的に実行するため、ＯＦＥ手段が、少なくとも２つの入力フレーム間の対応を決定するものである、実施例Ｂ０１及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[128]実施例Ｂ０３は、ＦＰＥ手段が、特徴空間に対する主成分分析の実行によって、１つ又は複数の特徴ピラミッドの視覚化を生成するものである、実施例Ｂ０１、Ｂ０２及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[129]実施例Ｂ０４は、ＦＰＥ手段が、１つ又は複数の特徴ピラミッドそれぞれとして、少なくとも２つの入力フレームそれぞれに基づいて複数のピラミッドレベルを生成するものである、実施例Ｂ０１～Ｂ０３及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[130]実施例Ｂ０５は、複数のピラミッドレベルを生成するため、ＦＰＥ手段が、複数のストライド畳み込みを用いてダウンサンプリングを実行するものであり、複数のストライド畳み込みの個々のストライド畳み込みが、複数のピラミッドレベルの個々のピラミッドレベルに対応する、実施例Ｂ０４及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[131]実施例Ｂ０６は、複数のピラミッドレベルを生成するため、ＦＰＥ手段が、複数のストライド畳み込みそれぞれに対する活性化関数として、パラメトリック正規化線形ユニット（ＰＲｅＬＵ）を使用するものである、実施例Ｂ０５及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[132]実施例Ｂ０７は、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドをプリワープさせるため、ＦＷ手段が、対象時間位置（ｔ）によりスケーリングされた前方フローに従って少なくとも２つの入力フレームの第１のフレームの特徴ピラミッドをプリワープさせるとともに、１－ｔによりスケーリングされた後方フローに従って少なくとも２つの入力フレームの第２のフレームの特徴ピラミッドをプリワープさせるものである、実施例Ｂ０１～Ｂ０６及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[133]実施例Ｂ０８は、ＦＷ手段が、推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとワープさせるものである、実施例Ｂ０７及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[134]実施例Ｂ０９は、ＦＷ手段が、オプティカルフローの再サイズ規定及び再スケーリングによって、複数の特徴ピラミッドの個々のピラミッドレベルをワープさせるものである、実施例Ｂ０８及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[135]実施例Ｂ１０は、ＦＳＮ手段が、ワープした特徴ピラミッドの各ピラミッドレベルをチャネルに関して連結するとともに、複数の列を含むグリッドネットワークに連結したピラミッドレベルを入力するものであり、複数の列のうちの１つ又は複数の列が、ダウンサンプリングを実行し、複数の列のうちの１つ又は複数の他の列が、アップサンプリングを実行する、実施例Ｂ０１～Ｂ０９及び／又は本明細書の他のいくつかの実施例、及び／又は本明細書の他のいくつかの実施例に記載のＦＩＮＮを含む。
[136]実施例Ｄ０１は、複数の処理コアを備えた集積回路（ＩＣ）であって、複数の処理コアのうちの少なくとも１つが、映像フレーム補間用の特徴ピラミッドワーピングを実行するフレーム補間ニューラルネットワーク（ＦＩＮＮ）を動作させるように構成されたニューラル処理ユニット（ＮＰＵ）を含む、集積回路（ＩＣ）を含む。
[137]実施例Ｄ０２は、ＦＩＮＮが、オプティカルフロー推定器（ＯＦＥ）、特徴ピラミッド抽出器（ＦＰＥ）、前方ワーピングエンジン（ＦＷＥ）、及びフレーム合成ニューラルネットワーク（ＦＳＮ）を備え、ＮＰＵが、ＯＦＥ、ＦＰＥ、ＦＷＥ、及びＦＳＮのうちの１つ又は複数のプログラムコードを動作させるように構成された、実施例Ｄ０１及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０３は、ＯＦＥが、映像フレーム補間用のオプティカルフローによって動き推定を明示的に実行するように構成された、実施例Ｄ０２及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０４は、動き推定を明示的に実行するため、ＯＦＥが、２つの入力フレーム間の対応を決定するように構成された、実施例Ｄ０３及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０５は、ＯＦＥが、Ｏｐｔｉｃａｌ Ｆｌｏｗ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ２．０（ＦｌｏｗＮｅｔ２）及び／又はＰｙｒａｍｉｄ，Ｗａｒｐｉｎｇ，ａｎｄ Ｃｏｓｔ ｖｏｌｕｍｅ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＷＣ－Ｎｅｔ）である、実施例Ｄ０２～Ｄ０４及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０６は、ＦＰＥが、少なくとも２つの入力フレームの１つ又は複数の特徴ピラミッドを抽出するように構成された、実施例Ｄ０２～Ｄ０５及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０７は、ＦＰＥが、特徴空間に対する主成分分析の実行によって、１つ又は複数の特徴ピラミッドの視覚化を生成するように構成された、実施例Ｄ０６及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０８は、ＦＰＥが、１つ又は複数の特徴ピラミッドそれぞれとして、少なくとも２つの入力フレームのそれぞれの入力フレームに基づいて複数のピラミッドレベルを生成するように構成された、実施例Ｄ０６、Ｄ０７及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ０９は、複数のピラミッドレベルを生成するため、ＦＰＥが、複数のストライド畳み込みを用いてダウンサンプリングを実行するように構成され、複数のストライド畳み込みの個々のストライド畳み込みが、複数のピラミッドレベルの個々のピラミッドレベルに対応する、実施例Ｄ０８及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ１０は、複数のピラミッドレベルを生成するため、ＦＰＥが、複数のストライド畳み込みそれぞれに対する活性化関数として、パラメトリック正規化線形ユニット（ＰＲｅＬＵ）を使用するように構成された、実施例Ｄ０８、Ｄ０９及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ１１は、ＦＷＥが、ＯＦＥが出力した推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとプリワープさせるように構成された、実施例Ｄ０６～Ｄ１０及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。
[138]実施例Ｄ１２は、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドをプリワープさせるため、ＦＷＥが、対象時間位置（ｔ）によりスケーリングされた前方フローに従って少なくとも２つの入力フレームの第１のフレームの特徴ピラミッドをプリワープさせるとともに、１－ｔによりスケーリングされた後方フローに従って少なくとも２つの入力フレームの第２のフレームの特徴ピラミッドをプリワープさせるように構成された、実施例Ｄ１１及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。
[139]実施例Ｄ１３は、ＦＷＥが、推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとワープさせるように構成された、実施例Ｄ１１、Ｄ１２及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ１４は、ＦＷＥが、オプティカルフローの再サイズ規定及び再スケーリングによって、複数の特徴ピラミッドの個々のピラミッドレベルをワープさせるように構成された、実施例Ｄ１３及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ１５は、ＦＳＮが、プリワープした入力フレーム及び特徴ピラミッドに基づいて補間結果を生成するように構成された、実施例Ｄ１２～Ｄ１４及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ１６は、ＦＳＮが、ワープした特徴ピラミッドの各ピラミッドレベルをチャネルに関して連結するとともに、複数の列を含むグリッドネットワークに連結したピラミッドレベルを入力するように構成され、複数の列のうちの１つ又は複数の列が、ダウンサンプリングを実行し、複数の列のうちの１つ又は複数の他の列が、アップサンプリングを実行する、実施例Ｄ１５及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。実施例Ｄ１７は、少なくとも１つのＮＰＵを含まない複数の処理コアのうちの１つ又は複数の他の処理コアが、少なくとも１つのＮＰＵにより動作していないＯＦＥ、ＦＰＥ、ＦＷＥ、及びＦＳＮのうちの１つ又は複数のプログラムコードを動作させるように構成された、実施例Ｄ０１～Ｄ１６及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。
[140]実施例Ｄ１８は、少なくとも１つのＮＰＵ及び複数の処理コアのうちの他の処理コアが、並列又は順次動作するように構成された、実施例Ｄ０１～Ｄ１７及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。
[141]実施例Ｄ１９は、少なくとも１つのＮＰＵの動作を最適化するため、トレーニングデータ又はトレーニングデータセットが採用された、実施例Ｄ０１～Ｄ１８及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。
[142]実施例Ｄ２０は、ＦＩＮＮのプログラムコードを格納するように構成されたメモリ回路をさらに備えたシステムオンチップ（ＳｏＣ）である、実施例Ｄ０１～Ｄ０１９及び／又は本明細書の他のいくつかの実施例に記載のＩＣを含む。
[143]実施例Ｅ０１は、フレーム補間ニューラルネットワーク（ＦＩＮＮ）を動作させることにより映像フレーム補間用の特徴ピラミッドワーピングを実行するように構成された半導体デバイスを含む。
[144]実施例Ｅ０２は、ＦＩＮＮが、オプティカルフロー推定器（ＯＦＥ）、特徴ピラミッド抽出器（ＦＰＥ）、前方ワーピングエンジン（ＦＷＥ）、及びフレーム合成ニューラルネットワーク（ＦＳＮ）を備えた、実施例Ｅ０１及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[145]実施例Ｅ０３は、ＯＦＥを動作させることにより、映像フレーム補間用のオプティカルフローによって動き推定を明示的に実行するように構成された、実施例Ｅ０２及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[146]実施例Ｅ０４は、動き推定を明示的に実行するため、ＯＦＥを動作させることにより、２つの入力フレーム間の対応を決定するように構成された、実施例Ｅ０３及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[147]実施例Ｅ０５は、ＯＦＥが、Ｏｐｔｉｃａｌ Ｆｌｏｗ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ２．０（ＦｌｏｗＮｅｔ２）及び／又はＰｙｒａｍｉｄ，Ｗａｒｐｉｎｇ，ａｎｄ Ｃｏｓｔ ｖｏｌｕｍｅ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＷＣ－Ｎｅｔ）である、実施例Ｅ０２～Ｅ０４及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[148]実施例Ｅ０６は、ＦＰＥを動作させることにより、少なくとも２つの入力フレームの１つ又は複数の特徴ピラミッドを抽出するように構成された、実施例Ｅ０２～Ｅ０５及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[149]実施例Ｅ０７は、ＦＰＥを動作させることにより、特徴空間に対する主成分分析の実行によって、１つ又は複数の特徴ピラミッドの視覚化を生成するように構成された、実施例Ｅ０６及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[150]実施例Ｅ０８は、ＦＰＥを動作させることにより、１つ又は複数の特徴ピラミッドそれぞれとして、少なくとも２つの入力フレームのそれぞれの入力フレームに基づいて複数のピラミッドレベルを生成するように構成された、実施例Ｅ０６、Ｅ０７及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[151]実施例Ｅ０９は、複数のピラミッドレベルを生成するため、ＦＰＥを動作させることにより、複数のストライド畳み込みを用いてダウンサンプリングを実行するように構成され、複数のストライド畳み込みの個々のストライド畳み込みが、複数のピラミッドレベルの個々のピラミッドレベルに対応する、実施例Ｅ０８及び／又は本明細書の他のいくつかの実施例、及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[152]実施例Ｅ１０は、複数のピラミッドレベルを生成するため、ＦＰＥを動作させることにより、複数のストライド畳み込みそれぞれに対する活性化関数として、パラメトリック正規化線形ユニット（ＰＲｅＬＵ）を使用するように構成された、実施例Ｅ０８、Ｅ０９及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[153]実施例Ｅ１１は、ＦＷＥを動作させることにより、ＯＦＥが出力した推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとプリワープさせるように構成された、実施例Ｅ０６～Ｅ１０及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[154]実施例Ｅ１２は、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドをプリワープさせるため、ＦＷＥを動作させることにより、対象時間位置（ｔ）によりスケーリングされた前方フローに従って少なくとも２つの入力フレームの第１のフレームの特徴ピラミッドをプリワープさせるとともに、１－ｔによりスケーリングされた後方フローに従って少なくとも２つの入力フレームの第２のフレームの特徴ピラミッドをプリワープさせるように構成された、実施例Ｅ１１及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[155]実施例Ｅ１３は、ＦＷＥを動作させることにより、推定オプティカルフローに従って、少なくとも２つの入力フレームとともに１つ又は複数の特徴ピラミッドを対象時間位置へとワープさせるように構成された、実施例Ｅ１１、Ｅ１２及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[156]実施例Ｅ１４は、ＦＷＥを動作させることにより、オプティカルフローの再サイズ規定及び再スケーリングによって、複数のピラミッドレベルの個々のピラミッドレベルをワープさせるように構成された、実施例Ｅ１３及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[157]実施例Ｅ１５は、ＦＳＮを動作させることにより、プリワープした入力フレーム及び特徴ピラミッドに基づいて補間結果を生成するように構成された、実施例Ｅ１２～Ｅ１４及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[158]実施例Ｅ１６は、ＦＳＮを動作させることにより、ワープした特徴ピラミッドの各ピラミッドレベルをチャネルに関して連結するとともに、複数の列を含むグリッドネットワークに連結したピラミッドレベルを入力するように構成され、複数の列のうちの１つ又は複数の列が、ダウンサンプリングを実行し、複数の列のうちの１つ又は複数の他の列が、アップサンプリングを実行する、実施例Ｅ１５及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[159]実施例Ｅ１７は、半導体デバイスの動作を最適化するため、トレーニングデータ又はトレーニングデータセットが採用された、実施例Ｅ０１～Ｅ１６及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[160]実施例Ｅ１８は、１つ又は複数のハードウェアアクセラレータを備えた、実施例Ｅ０１～Ｅ１７及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[161]実施例Ｅ１９は、１つ又は複数のハードウェアアクセラレータが、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及び／又はプログラマブルシステムオンチップ（ＳｏＣ）を含む、実施例Ｅ１８及び／又は本明細書の他のいくつかの実施例に記載のコンピュータシステムを含む。
[162]実施例Ｅ２０は、１つ又は複数のカスタム設計の人工知能シリコンプロセッサコアを備えた、実施例Ｅ０１～Ｅ１７及び／又は本明細書の他のいくつかの実施例に記載の半導体デバイスを含む。
[163]実施例Ｆ０１は、フレーム補間ニューラルネットワーク（ＦＩＮＮ）を動作させるように構成された集積回路（ＩＣ）パッケージであって、映像の第１の入力フレームから始まって第２の入力フレームで終わる期間において第２の入力フレームを生成するように第１の入力フレーム中のピクセルが変更される様子を示す前方オプティカルフローと、第１の入力フレームから始まって第２の入力フレームで終わる期間において第１の入力フレームを生成するように第２の入力フレーム中のピクセルが変更される様子を示す後方オプティカルフローと、を第１の入力フレーム及び第２の入力フレームから推定するように構成されたオプティカルフロー推定（ＯＦＥ）回路と、複数の解像度のそれぞれの解像度において第１の入力フレームから抽出された特徴の第１の組を含む第１の特徴ピラミッドを第１の入力フレームから抽出するとともに、複数の解像度のそれぞれの解像度において第２の入力フレームから抽出された特徴の第２の組を含む第２の特徴ピラミッドを第２の入力フレームから抽出するように構成された特徴ピラミッド抽出（ＦＰＥ）回路と、第１及び第２の特徴ピラミッドを第１及び第２の入力フレームにそれぞれ適用することにより、前方及び後方オプティカルフローに基づいて、第１及び第２の入力フレーム間の時間位置で出力フレームを生成するように構成されたフレーム合成ニューラルネットワーク（ＦＳＮ）回路と、を備えた、ＩＣパッケージを含む。
[164]実施例Ｆ０２は、ＦＰＥ回路が、同じ設定を第１及び第２の入力フレームに適用して、第１及び第２の特徴ピラミッドをそれぞれ抽出するようにさらに構成された、実施例Ｆ０１並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[165]実施例Ｆ０３は、特徴の第１の組における少なくとも一部の特徴及び特徴の第２の組における少なくとも一部の特徴が、第１及び第２の入力フレームの色空間に基づく、実施例Ｆ０１、Ｆ０２並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[166]実施例Ｆ０４は、出力フレームが、第１及び第２の入力フレームからそれぞれシフトされた第１及び第２の入力フレームのピクセルを含むことにより、第１の入力フレームから対象時間位置までと、対象時間位置から第２の入力フレームまでに起こる動きを複製する、実施例Ｆ０１～Ｆ０３並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[167]実施例Ｆ０５は、ＦＰＥ回路が、第１及び第２の入力フレームから抽出された特徴に基づいて、複数の解像度それぞれにおいて第１及び第２の入力フレームを生成するようにさらに構成された、実施例Ｆ０１～Ｆ０４並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[168]実施例Ｆ０６は、第１及び第２の特徴ピラミッドを抽出するため、ＦＰＥ回路が、各解像度において、第１及び第２の入力フレームからある数の入力特徴を読み出すことと、第１及び第２の入力フレームそれぞれについて、ある数の入力特徴からある数の出力特徴を生成することと、を行うようにさらに構成された、実施例Ｆ０１～Ｆ０５並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[169]実施例Ｆ０７は、ＦＰＥ回路が、活性化関数回路とインターリーブされ、各解像度での第１及び第２の入力フレームの一方又は両方の畳み込みによって、複数の解像度のそれぞれの解像度で第１及び第２の入力フレームから特徴の組を抽出するように構成された畳み込み回路を備えた、実施例Ｆ０６並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[170]実施例Ｆ０８は、前方オプティカルフローを用いて、第１の特徴ピラミッドを第２の特徴ピラミッドに向かってワープさせることと、後方オプティカルフローを用いて、第２の特徴ピラミッドを第１の特徴ピラミッドに向かってワープさせることと、を行うように構成された前方ワーピング（ＦＷ）回路をさらに備えた、実施例Ｆ０１～Ｆ０７並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[171]実施例Ｆ０９は、出力フレームを生成するため、ＦＳＮ回路が、ワープした特徴ピラミッド並びに第１及び第２の入力フレームのワープ形式から補間結果を予測するように構成された、実施例Ｆ０８並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[172]実施例Ｆ１０は、ＦＰＥ回路が、予測された補間結果を用いて、第１及び第２の特徴ピラミッドの特徴と異なる特徴の一組を含む新たな特徴ピラミッドを各入力フレームから抽出するようにさらに構成された、実施例Ｆ０９並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[173]実施例Ｆ１１は、ＦＳＮ回路が、処理ブロックのグリッドを備え、処理ブロックのグリッド中の各行が、解像度の組のうちの１つの解像度に対応する、実施例Ｆ０９、Ｆ１０並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[174]実施例Ｆ１２は、各行中の第１の処理ブロックが、第１及び第２の特徴ピラミッドにおける対応する解像度において、ワープした一組の特徴を受け取るように構成された、実施例Ｆ１１並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[175]実施例Ｆ１３は、抽出された第１及び第２の特徴ピラミッドが、第１及び第２の入力フレームの色空間に基づく、実施例Ｆ０１～Ｆ１２並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[176]実施例Ｆ１４は、ＦＰＥ回路が、２番目に低い解像度における第１及び第２の入力フレームから抽出された特徴に基づいて、又は２番目に高い解像度における第１及び第２の入力フレームから抽出された特徴に基づいて、複数の解像度それぞれにおいて第１及び第２の入力フレームを生成するようにさらに構成された、実施例Ｆ０１～Ｆ１３並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[177]実施例Ｆ１５は、第１及び第２の特徴ピラミッドを抽出するため、ＦＰＥ回路が、各解像度において、第１及び第２の入力フレームからある数の入力特徴を読み出すことと、ある数の入力特徴からある数の出力特徴を生成することと、を行うようにさらに構成された、実施例Ｆ０１～Ｆ１４並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[178]実施例Ｆ１６は、第１及び第２の特徴ピラミッドを抽出するため、ＦＰＥ回路が、入力フレームからある数の入力特徴（その色等）を読み出すことと、複数の解像度において、ある数の入力特徴からある数の出力特徴を生成することと、を行うようにさらに構成された、実施例Ｆ０１～Ｆ１５並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[179]実施例Ｆ１７は、ＯＦＥ回路、ＦＰＥ回路、ＦＳＮ回路、及びＦＷ回路が、相互接続技術によって相互に結合されるとともに、システムインパッケージ（ＳｉＰ）若しくはマルチチップパッケージ（ＭＣＰ）の各ダイ、汎用プロセッサの各実行ユニット若しくはプロセッサコア、又は各デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、システムオンチップ（ＳｏＣ）、グラフィックス処理ユニット（ＧＰＵ）、ＳｉＰ、ＭＣＰ、若しくはＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ、ＳｏＣ、ＧＰＵ、ＳｉＰ、及びＭＣＰの任意の組み合わせ、として実装された、実施例Ｆ０１～Ｆ１６並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＩＣパッケージを含む。
[180]実施例Ｇ０１は、フレーム補間ニューラルネットワーク（ＦＩＮＮ）の命令を含む１つ又は複数のコンピュータ可読媒体（ＣＲＭ）であって、１つ又は複数のプロセッサによる命令の実行が、映像の第１の入力フレーム及び第２の入力フレームを取得することと、第１の入力フレームから始まって第２の入力フレームで終わる期間において第２の入力フレームを生成するように第１の入力フレーム中のピクセルが変更される様子を示す前方オプティカルフローと、第１の入力フレームから始まって第２の入力フレームで終わる期間において第１の入力フレームを生成するように第２の入力フレーム中のピクセルが変更される様子を示す後方オプティカルフローと、を第１及び第２の入力フレームから推定することと、複数の解像度のそれぞれの解像度において第１の入力フレームから抽出された特徴の第１の組を含む第１の特徴ピラミッドを第１の入力フレームから抽出するとともに、複数の解像度のそれぞれの解像度において第２の入力フレームから抽出された特徴の第２の組を含む第２の特徴ピラミッドを第２の入力フレームから抽出することと、前方オプティカルフローを用いて、第１の特徴ピラミッドを第２の特徴ピラミッドに向かってワープさせることと、後方オプティカルフローを用いて、第２の特徴ピラミッドを第１の特徴ピラミッドに向かってワープさせることと、ワープした第１及び第２の特徴ピラミッドに基づいて、第１及び第２の入力フレーム間の時間位置で出力フレームを生成することと、を１つ又は複数のプロセッサに行わせる、ＣＲＭを含む。
[181]実施例Ｇ０２は、第１及び特徴の第２の組がそれぞれ、第１及び第２の入力フレームの色空間に基づく、実施例Ｇ０１並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＣＲＭを含む。
[182]実施例Ｇ０３は、命令の実行が、各解像度において、第１及び第２の入力フレームからある数の入力特徴を読み出すことと、各解像度において、ある数の入力特徴からある数の出力特徴を生成することであり、各解像度における出力特徴が、入力特徴の異なるオクターブを表すとともに、数が変化する、ことと、を１つ又は複数のプロセッサにさらに行わせる、実施例Ｇ０１、Ｇ０２並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＣＲＭを含む。
[183]実施例Ｇ０４は、ＦＩＮＮが、複数の活性化関数とインターリーブされた複数の畳み込み関数を含み、命令の実行が、畳み込み関数を演算して、各解像度において第１及び第２の入力フレームを畳み込むことと、活性化関数を演算して、畳み込まれた第１及び第２の入力フレームから個々の特徴を抽出することと、を１つ又は複数のプロセッサに行わせる、実施例Ｇ０３並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＣＲＭを含む。
[184]実施例Ｇ０５は、出力フレームを生成するため、命令の実行が、ワープした特徴ピラミッド並びに第１及び第２の入力フレームのワープ形式から補間結果を予測することを１つ又は複数のプロセッサに行わせる、実施例Ｇ０１～Ｇ０４並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＣＲＭを含む。
[185]実施例Ｇ０６は、ＦＩＮＮが、処理ブロックのグリッドを備えたフレーム合成ニューラルネットワークを含み、処理ブロックのグリッド中の各行が、複数の解像度のうちの１つの解像度に対応し、命令の実行が、ワープした第１及び第２の特徴ピラミッドを連結し、連結した特徴ピラミッドが各解像度において第１及び第２の入力フレームから抽出された特徴を含むことと、各解像度において第１及び第２の入力フレームから抽出された特徴を各行の各入力処理ブロックに入力することと、を１つ又は複数のプロセッサに行わせる、実施例Ｇ０１～Ｇ０５並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のＣＲＭを含む。
[186]実施例Ｈ０１は、オプティカルフロー推定器（ＯＦＥ）、特徴ピラミッド抽出器（ＦＰＥ）、前方ワーピングエンジン（ＦＷＥ）、及びフレーム合成ニューラルネットワーク（ＦＳＮ）を備えたフレーム補間ニューラルネットワーク（ＦＩＮＮ）のプログラムコードを格納するように構成されたメモリ回路と結合されたプロセッサ回路を備え、プロセッサ回路が、ＯＦＥを動作させることにより、補間対象の映像の第１の入力フレームから始まって第２の入力フレームで終わる期間において第２の入力フレームを生成するように第１の入力フレーム中のピクセルが変更される様子を示す前方オプティカルフローと、第１の入力フレームから始まって第２の入力フレームで終わる期間において第１の入力フレームを生成するように第２の入力フレーム中のピクセルが変更される様子を示す後方オプティカルフローと、を第１及び第２の入力フレームから推定するように構成され、プロセッサ回路が、ＦＰＥを動作させることにより、複数の解像度のそれぞれの解像度において第１の入力フレームから抽出された特徴の第１の組を含む第１の特徴ピラミッドを第１の入力フレームから抽出するとともに、複数の解像度のそれぞれの解像度において第２の入力フレームから抽出された特徴の第２の組を含む第２の特徴ピラミッドを第２の入力フレームから抽出するように構成され、プロセッサ回路が、ＦＷＥを動作させることにより、前方オプティカルフローを用いて、第１の特徴ピラミッドを第２の特徴ピラミッドに向かってワープさせるとともに、後方オプティカルフローを用いて、第２の特徴ピラミッドを第１の特徴ピラミッドに向かってワープさせるように構成され、プロセッサ回路が、ＦＳＮを動作させることにより、ワープした第１及び第２の特徴ピラミッドに基づいて、第１及び第２の入力フレーム間の所望の時間位置で出力フレームを生成するように構成されており、出力フレームが、第１及び第２の入力フレームからそれぞれシフトされた第１及び第２の入力フレームのピクセルを含むことにより、第１の入力フレームから対象時間位置までと、対象時間位置から第２の入力フレームまでに起こる動きを複製する、コンピュータシステムを含む。
[187]実施例Ｈ０２は、プロセッサ回路が、ＦＰＥを動作させることにより、各解像度において、第１及び第２の入力フレームの一方又は両方からある数の入力特徴を読み出すことと、各解像度において、ある数の入力特徴からある数の出力特徴を生成することであり、各解像度における出力特徴が、入力特徴の異なるオクターブを表すとともに、数が変化する、ことと、を行うようにさらに構成された、実施例Ｈ０１並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のコンピュータシステムを含む。
[188]実施例Ｈ０３は、ＦＰＥが、複数の活性化関数とインターリーブされた複数の畳み込み関数を含み、プロセッサ回路が、ＦＰＥを動作させることにより、畳み込み関数を演算して、各解像度において第１及び第２の入力フレームを畳み込むことと、活性化関数を演算して、畳み込まれた第１及び第２の入力フレームから個々の特徴を抽出することと、を行うようにさらに構成された、実施例Ｈ０１、Ｈ０２並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のコンピュータシステムを含む。
[189]実施例Ｈ０４は、出力フレームを生成するため、プロセッサ回路が、ＦＳＮを動作させることにより、ワープした特徴ピラミッド並びに第１及び第２の入力フレームのワープ形式から補間結果を予測するようにさらに構成された、実施例Ｈ０１～Ｈ０３並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のコンピュータシステムを含む。
[190]実施例Ｈ０５は、ＦＳＮが、処理ブロックのグリッドを備え、処理ブロックのグリッド中の各行が、解像度の組のうちの１つの解像度に対応する、実施例Ｈ０４並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のコンピュータシステムを含む。
[191]実施例Ｈ０６は、システムインパッケージ（ＳｉＰ）、マルチチップパッケージ（ＭＣＰ）、システムオンチップ（ＳｏＣ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、中央演算処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）であるか、又は、相互に接続されたＳｉＰ、ＭＣＰ、ＳｏＣ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ、ＣＰＵ、ＧＰＵのうちの２つ以上を含む、実施例Ｈ０１～Ｈ０５並びに／又は本明細書の１つ若しくは複数の他の実施例に記載のコンピュータシステムを含む。
[192]実施例Ｘ０１は、映像補間を実行する命令を含む１つ又は複数のＣＲＭであって、コンピュータシステムの１つ又は複数のプロセッサによる命令の実行が、第１の解像度における映像の第１の入力フレーム及び第２の入力フレームを取得することと、第１の入力フレームから始まって第２の入力フレームで終わる期間において第２の入力フレームを生成するように第１の入力フレーム中のピクセルが変化する様子を示す第１の入力フレームから第２の入力フレームへの前方オプティカルフローを推定することと、第１の入力フレームから始まって第２の入力フレームで終わる期間において第１の入力フレームを生成するように第２の入力フレーム中のピクセルが変化する様子を示す第２の入力フレームから第１の入力フレームへの後方オプティカルフローを推定することと、前方オプティカルフローを用いて、第１の入力フレームを第２の入力フレームに向かってワープさせることと、後方オプティカルフローを用いて、第２の入力フレームを第１の入力フレームに向かってワープさせることと、第１の解像度と異なる複数の解像度において、第１及び第２の入力フレームから特徴の組を抽出することと、をコンピュータシステムに行わせる、ＣＲＭを含む。実施例Ｘ０１は、先行実施例のうちの１つ若しくは複数並びに／又は本明細書の他の実施形態と組み合わされるようになっていてもよい。
[193]実施例Ｚ０１は、実施例Ａ０１～Ｘ０１のいずれかに記載若しくは関連する方法又は本明細書に記載のその他任意の方法若しくはプロセスの１つ又は複数の要素を実行する手段を備えた装置を含んでいてもよい。実施例Ｚ０２は、電子デバイスの１つ又は複数のプロセッサによる命令の実行に際して、実施例Ａ０１～Ｘ０１のいずれかに記載若しくは関連する方法又は本明細書に記載のその他任意の方法若しくはプロセスの１つ又は複数の要素を電子デバイスに実行させる命令を含む１つ又は複数の非一時的コンピュータ可読媒体を含んでいてもよい。実施例Ｚ０３は、実施例Ａ０１～Ｘ０１のいずれかに記載若しくは関連する方法又は本明細書に記載のその他任意の方法若しくはプロセスの１つ又は複数の要素を実行するロジック、モジュール、又は回路を備えた装置を含んでいてもよい。実施例Ｚ０４は、実施例Ａ０１～Ｘ０１のいずれか又はその一部若しくは部分に記載又は関連するような方法、技術、又はプロセスを含んでいてもよい。実施例Ｚ０５は、１つ又は複数のプロセッサと、１つ又は複数のプロセッサにより実行された場合に、実施例Ａ０１～Ｘ０１のいずれか又はその一部に記載又は関連するような方法、技術、又はプロセスを１つ又は複数のプロセッサに実行させる命令を含む１つ又は複数のコンピュータ可読媒体と、を備えた装置を含んでいてもよい。実施例Ｚ０６は、実施例Ａ０１～Ｘ０１のいずれか又はその一部若しくは部分に記載又は関連するような信号を含んでいてもよい。実施例Ｚ０７は、実施例Ａ０１～Ｘ０１のいずれか又はその一部若しくは部分に記載又は関連、或いは本開示に記載するようなデータグラム、パケット、フレーム、セグメント、プロトコルデータユニット（ＰＤＵ）、又はメッセージを含んでいてもよい。実施例Ｚ０８は、実施例Ａ０１～Ｘ０１のいずれか又はその一部若しくは部分に記載又は関連、或いは本開示に記載するようなデータが符号化された信号を含んでいてもよい。実施例Ｚ０９は、実施例Ａ０１～Ｘ０１のいずれか又はその一部若しくは部分に記載又は関連、或いは本開示に記載するようなデータグラム、パケット、フレーム、セグメント、プロトコルデータユニット（ＰＤＵ）、又はメッセージが符号化された信号を含んでいてもよい。実施例Ｚ１０は、コンピュータ可読命令を搬送する電磁信号であって、１つ又は複数のプロセッサによるコンピュータ可読命令の実行が、実施例Ａ０１～Ｘ０１のいずれか又はその一部に記載又は関連するような方法、技術、又はプロセスを１つ又は複数のプロセッサに実行させる、電磁信号を含んでいてもよい。実施例Ｚ１１は、命令を含むコンピュータプログラムであって、処理要素によるプログラムの実行が、実施例Ａ０１～Ｘ０１のいずれか又はその一部に記載又は関連するような方法、技術、又はプロセスを処理要素に実行させる、コンピュータプログラムを含んでいてもよい。実施例Ｚ１２は、本明細書に図示及び記載するような無線ネットワークにおける信号を含んでいてもよい。実施例Ｚ１３は、本明細書に図示及び記載するような無線ネットワークにおける通信の方法を含んでいてもよい。実施例Ｚ１４は、本明細書に図示及び記載するような無線通信を提供するシステムを含んでいてもよい。実施例Ｚ１５は、本明細書に図示及び記載するような無線通信を提供するデバイスを含んでいてもよい。
[194]以上の詳細な説明においては、本明細書の一部を構成する添付の図面を参照したが、図面全体を通して、同じ部分には同じ番号を付すとともに、実現可能な実施形態を一例として示している。本開示の範囲から逸脱することなく、他の実施形態の利用並びに構造若しくは論理の変更が可能であることが了解される。したがって、詳細な説明は、限定的な意味で捉えられるべきものではなく、実施形態の範囲は、添付の特許請求の範囲及びその同等物により規定される。
[195]特許請求の範囲に係る主題の理解に最も役立つように、様々な動作を複数の離散動作又は順次動作として記述可能である。ただし、記述の順序は、これらの動作が必然的に順序依存的であることを暗示するようには解釈されないものとする。特に、これらの動作は、提示の順序で実施されなくてもよい。記述の動作は、上記実施形態と異なる順序で実行されるようになっていてもよい。別の実施形態においては、様々な追加動作の実行及び／又は記述した動作の省略も可能である。
[196]本開示を目的として、表現「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」は、「Ａ」、「Ｂ」、又は「Ａ及びＢ」を意味する。本開示を目的として、表現「Ａ、Ｂ、及び／又はＣ（Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ）」は、「Ａ」、「Ｂ」、「Ｃ」、「Ａ及びＢ」、「Ａ及びＣ」、「Ｂ及びＣ」、又は「Ａ、Ｂ、及びＣ」を意味する。本開示では「ａ」若しくは「第１（ａ ｆｉｒｓｔ）」要素又はその同等物を列挙しているが、このような開示は、１つ又は複数のこのような要素を含み、２つ以上のこのような要素を必要も除外もするものではない。さらに、識別要素の序数（例えば、第１、第２、又は第３）は、要素の識別のために使用しており、別段の具体的な記述のない限り、このような要素の必要数又は限定数を示唆も暗示もしておらず、また、このような要素の特定の位置も順序も示唆していない。
[197]上記説明では、表現「一実施形態において（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」又は「実施形態において（ｉｎ ｅｍｂｏｄｉｍｅｎｔｓ）」を使用する場合もあるが、それぞれ、同じ実施形態又は異なる実施形態のうちの１つ又は複数を表し得る。さらに、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」等は、本開示の実施形態に関する使用においては同義である。本開示では「ａ」若しくは「第１（ａ ｆｉｒｓｔ）」要素又はその同等物を列挙しているが、このような開示は、１つ又は複数のこのような要素を含み、２つ以上のこのような要素を必要も除外もするものではない。さらに、識別要素の序数（例えば、第１、第２、又は第３）は、要素の識別のために使用しており、別段の具体的な記述のない限り、このような要素の必要数又は限定数を示唆も暗示もしておらず、また、このような要素の特定の位置も順序も示唆していない。
[198]本明細書においては、用語「結合（ｃｏｕｐｌｅｄ）」、「通信結合（ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ ｃｏｕｐｌｅｄ）」をそれぞれの派生語とともに使用している。用語「結合（ｃｏｕｐｌｅｄ）」は、２つ以上の要素が相互に直接、物理的若しくは電気的に接触すること、２つ以上の要素が互いに間接的に接触する一方、依然として互いに協働若しくは相互作用すること、並びに／又は互いに結合されている対象要素間に１つ若しくは複数の他の要素が結合若しくは接続されることを意味し得る。用語「直接結合（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」は、２つ以上の要素が相互に直接接触することを意味し得る。用語「通信結合（ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ ｃｏｕｐｌｅｄ）」は、有線等の相互接続、無線通信チャネル若しくはリンク、並びに／又はその他類似のものを含む通信手段によって、２つ以上の要素が相互に接触可能なことを意味し得る。
[199]本明細書において、用語「回路（ｃｉｒｃｕｉｔｒｙ）」は、電子デバイスにおいて特定の機能を実行するように構成された回路又は複数の回路から成るシステムを表す。回路又は回路から成るシステムは、上記機能を提供するように構成された論理回路、プロセッサ（共有、専用、又はグループ）、及び／又はメモリ（共有、専用、又はグループ）等、１つ又は複数のハードウェアコンポーネントの一部であってもよいし、１つ又は複数のハードウェアコンポーネントを含んでいてもよい。また、用語「回路（ｃｉｒｃｕｉｔｒｙ）」は、プログラムコードの機能の実行に用いられる１つ又は複数のハードウェア要素と当該プログラムコードとの組み合わせを表し得る。いくつかの種類の回路が１つ又は複数のソフトウェア又はファームウェアプログラムを実行して、上記機能の少なくとも一部を提供するようにしてもよい。このようなハードウェア要素とプログラムコードとの組み合わせは、特定種類の回路と称する場合もある。本明細書において、用語「モジュール（ｍｏｄｕｌｅ）」は、コンピュータシステムにおいて基本機能を提供するように構成された配線板、ＳｏＣ、システムインパッケージ（ＳｉＰ）等の上にパッケージングされた１つ又は複数の独立した電子回路を表し得る。用語「モジュール（ｍｏｄｕｌｅ）」は、１つ又は複数のソフトウェア又はファームウェアプログラムを実行するＦＰＤ、ＡＳＩＣ、プロセッサ（共有、専用、若しくはグループ）、及び／若しくはメモリ（共有、専用、若しくはグループ）、組み合わせ論理回路、並びに／又は上記機能を提供する他の好適なコンポーネントを表していてもよいし、これらの一部であってもよいし、これらを含んでいてもよい。
[200]本明細書において、用語「例示する（ｉｎｓｔａｎｔｉａｔｅ）」、「例示（ｉｎｓｔａｎｔｉａｔｉｏｎ）」等は、例の作成を表し、「例（ｉｎｓｔａｎｃｅ）」は、例えばプログラムコードの実行時に発生し得るオブジェクトの具体的生起を表し得る。本明細書において、「データベースオブジェクト（ｄａｔａｂａｓｅ ｏｂｊｅｃｔ）」、「データ構造（ｄａｔａ ｓｔｒｕｃｔｕｒｅ）」等は、オブジェクト、属性値ペア（ＡＶＰ）、キー値ペア（ＫＶＰ）、タプル等の形態の情報の任意の表現を表すとともに、変数、データ構造、関数、メソッド、クラス、データベースレコード、データベースフィールド、データベースエンティティ、データとデータベースエンティティとの関連性（「関係」とも称する）等を含み得る。本明細書において、用語「リソース（ｒｅｓｏｕｒｃｅ）」は、コンピュータデバイス、機械装置、メモリ空間、プロセッサ／ＣＰＵの時間、プロセッサ／ＣＰＵの使用、プロセッサ及びアクセラレータの負荷、ハードウェアの時間及び使用、電力、入出力動作、ポート若しくはネットワークソケット、チャネル／リンク割り当て、スループット、メモリの使用、ストレージ、ネットワーク、データベース及びアプリケーション、ワークロードユニット、ウェブページ、ウェブアプリケーション、並びに／又はその他類似のもの等、物理的若しくは仮想的なデバイス、コンピュータ環境内の物理的若しくは仮想的な構成要素、並びに／又は特定のデバイス内の物理的若しくは仮想的な構成要素を表す。用語「ネットワークリソース（ｎｅｔｗｏｒｋ ｒｅｓｏｕｒｃｅ）」は、リモートエンティティがホスティングし、ネットワークを介してアクセス可能なリソースを表し得る。用語「文書（ｄｏｃｕｍｅｎｔ）」は、データの記録に用いられるコンピュータファイル又はリソースを表すとともに、文書処理、表計算、スライドプレゼンテーション、マルチメディア項目等の様々なファイルタイプ又はフォーマットを含み得る。
[201]本明細書において、用語「デバイス（ｄｅｖｉｃｅ）」は、近傍の別の物理的エンティティへの埋め込み又は取り付けがなされ、当該物理的エンティティに対するデジタル情報の伝達が可能な物理的エンティティを表し得る。本明細書において、用語「要素（ｅｌｅｍｅｎｔ）」は、所与の抽象度では分割できず、明確に規定された境界を有するユニット表し得る。要素は、如何なる種類のエンティティであってもよい。本明細書において、用語「コントローラ（ｃｏｎｔｒｏｌｌｅｒ）」は、状態の変更又は移動によって物理的エンティティに影響を及ぼし得る要素又はエンティティを表し得る。本明細書において、用語「エンティティ（ｅｎｔｉｔｙ）」は、（１）アーキテクチャ若しくはデバイスの個別の構成要素又は（２）ペイロードとして伝達される情報を表し得る。
[202]本明細書において、用語「コンピュータシステム（ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ）」は、任意の種類の相互接続電子デバイス、コンピュータデバイス、又はこれらの構成要素を表す。また、用語「コンピュータシステム（ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ）」及び／又は「システム（ｓｙｓｔｅｍ）」は、相互の通信結合或いは１つ又は複数の機能を実現するための構造化がなされたコンピュータの様々な構成要素を表し得る。さらに、用語「コンピュータシステム（ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ）」及び／又は「システム（ｓｙｓｔｅｍ）」は、相互に通信結合され、演算及び／又はネットワークリソースを共有するように構成された複数のコンピュータデバイス及び／又は複数のコンピュータシステムを表し得る。また、用語「コンピュータシステム（ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ）」は、コンピュータデバイス、コンピュータ装置、コンピュータプラットフォーム、クライアントデバイス、クライアント、モバイル、モバイルデバイス、ユーザ機器（ＵＥ）、端末、受信機、サーバ等と同義と考えられ、以下ではこれらの名称で参照する場合もある。また、一連の算術演算若しくは論理演算の逐次的且つ自動的な実行が可能で、データを機械可読媒体に記録／格納するように備えられ、通信ネットワーク中の１つ又は複数の他のデバイスに対してデータを送受信する任意の物理的ハードウェアデバイスを表し得る。用語「コンピュータシステム（ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ）」は、携帯電話若しくはスマートフォン、タブレットパソコン、ウェアラブルコンピュータデバイス、自律センサ、ラップトップコンピュータ、デスクトップパソコン、ビデオゲームコンソール、デジタルメディアプレーヤ、手持ち式メッセージングデバイス、個人用データ補助装置、電子ブックリーダ、拡張現実デバイス、（１つ又は複数の）サーバコンピュータデバイス（例えば、独立型、ラック搭載、ブレード等）、並びに／又はその他任意の類似電子デバイス等、任意の種類の電子デバイスを含み得る。
[203]本明細書において、用語「サーバ（ｓｅｒｖｅｒ）」は、処理ハードウェア並びに／又は（１つ若しくは複数の）プロセス空間、メモリデバイス又はデータベース等の関連する記憶媒体、並びに場合により、当技術分野において知られている（１つ若しくは複数の）好適な用途を含むコンピュータデバイス又はシステムを表す。本明細書において、用語「サーバシステム（ｓｅｒｖｅｒ ｓｙｓｔｅｍ）」及び「サーバ（ｓｅｒｖｅｒ）」は、区別なく用いられるようになっていてもよく、物理的及び／又は仮想的なリソースプールへのアクセスを提供する。本明細書に記載の様々なサーバは、（１つ又は複数の）ラックコンピューティングアーキテクチャ構成要素、（１つ又は複数の）タワーコンピューティングアーキテクチャ構成要素、（１つ又は複数の）ブレードコンピューティングアーキテクチャ構成要素、及び／又はその他類似のものを備えたコンピュータデバイスを含む。サーバは、１つ又は複数のデータセンタに配置可能なサーバのクラスタ、サーバファーム、クラウドコンピューティングサービス、又は他のサーバ群若しくはプールを表し得る。また、サーバは、１つ又は複数のデータ記憶装置（図示せず）に接続されていてもよいし、或いは、それらと関連付けられていてもよい。さらに、サーバは、個々のサーバコンピュータデバイスの一般管理及び動作のための実行可能プログラム命令を提供するオペレーティングシステム（ＯＳ）を具備していてもよく、また、当該サーバのプロセッサにより実行された場合に、当該サーバがそれぞれの目的とする機能を実行できるようにする命令を格納したコンピュータ可読媒体を具備していてもよい。サーバのＯＳ及び一般機能に対する好適な実施態様が把握又は商用化されており、当業者であれば容易に実装可能である。
[204]本明細書においては、説明を目的として、特定の実施形態を図示及び記述したが、本開示の範囲から逸脱することなく、同じ目的を達成するように計算された多種多様な代替及び／又は同等の実施形態又は実施態様によって、図示及び記述した実施形態を置き換えることができる。本願は、本明細書に記載の実施形態の如何なる改良又は変形をも網羅することが意図される。したがって、本明細書に記載の実施形態は、特許請求の範囲によってのみ限定されることが明白に意図される。
ＶＩ．参考文献
[R01] C. Bailer, B. Taetz, and D. Stricker.Flow Fields: Dense correspondence fields for highly accurate large displacementoptical flow estimation. In IEEE International Conference on Computer Vision,pages 4015-4023, 2015. 1.
[R02] S. Baker, D. Scharstein, J. P. Lewis,S. Roth, M. J. Black, and R. Szeliski. A database and evaluation methodologyfor optical flow. International Journal of Computer Vision, 92(1):1-31, 2011.2, 3, 4, 5, 6.
[R03] P. Bojanowski, A. Joulin, D. Lopez-Paz,and A. Szlam. Optimizing the latent space of generative networks. arXiv/1707.05776,2017. 4.
[R04] T. Brox, C. Bregler, and J.Malik.Large displacement optical flow. In IEEE Conference on Computer Vision andPattern Recognition, pages 41-48, 2009. 1.
[R05] T. Brox and J. Malik. Largedisplacement optical flow: Descriptor matching in variational motionestimation. IEEE Transactions on Pattern Analysis and Machine Intelligence,33(3):500-513, 2011. 1.
[R06] D. J. Butler, J. Wulff, G. B.Stanley, and M. J. Black. A naturalistic open source movie for optical flowevaluation. In European Conference on Computer Vision, pages 611-625, 2012. 1,7.
[R07] A. Dosovitskiy, P. Fischer, E. Ilg,P. Hausser, C. Hazirbas, V. Golkov, P. van der Smagt, D. Cremers, and T. Brox.FlowNet: Learning optical flow with convolutional networks. In IEEEInternational Conference on Computer Vision, pages 2758-2766, 2015. 2, 5.
[R08] D. Erhan, Y. Bengio, A. Courville,and P. Vincent. Visualizing higher-layer features of a deep network. 2009. 5,6.
[R09] J. Flynn, I. Neulander, J. Philbin,and N. Snavely. Deep-Stereo: Learning to predict new views from the world'simagery. In IEEE Conference on Computer Vision and Pattern Recognition, pages5515-5524, 2016.
[R10] Fourure et al., Residual Conv-DeconvGrid Network for Semantic Segmentation, arXiv:1707.07958v2 (26 Jul 2017), BritishMachine Vision Conference (4 Sep 2017).
[R11] I. J. Goodfellow, J. Pouget-Abadie,M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. C. Courville, and Y. Bengio. Generativeadversarial nets. In Advances in Neural Information Processing Systems, pages2672-2680, 2014.
[R12] K. He, X. Zhang, S. Ren, and J. Sun.Delving deep into rectifiers: Surpassing human-level performance on ImageNetclassification. In IEEE International Conference on Computer Vision, pages 1026-1034,2015.
[R13] E. Herbst, S. Seitz, and S. Baker.Occlusion reasoning for temporal interpolation using optical flow. Technicalreport, August 2009.
[R14] B. K. P. Horn and B. G. Schunck.Determining optical flow. Artificial Intelligence, 17(1-3):185-203, 1981.
[R15] Y. Hu, R. Song, and Y. Li. Efficientcoarse-to-fine patch match for large displacement optical flow. In IEEEConference on Computer Vision and Pattern Recognition, pages 5704-5712, 2016.1.
[R16] T.-W. Hui, X. Tang, and C. ChangeLoy. LiteFlowNet: A lightweight convolutional neural network for optical flowestimation In IEEE Conference on Computer Vision and Pattern Recognition, June2018.
[R17] E. Ilg, N. Mayer, T. Saikia, M.Keuper, A. Dosovitskiy, and T. Brox. Flownet 2.0: Evolution of optical flowestimation with deep networks. In IEEE Conference on Computer Vision andPattern Recognition, pages 1647-1655, 2017.
[R18] M. Jaderberg, K. Simonyan, A.Zisserman, and K. Kavukcuoglu. Spatial transformer networks. In Advances inNeural Information Processing Systems, pages 2017-2025, 2015.
[R19] J. Janai, F. Guney, J.Wulff, M. J.Black, and A. Geiger. Slow flow: Exploiting high-speed cameras for accurate anddiverse optical flow reference data. In IEEE Conference on Computer Vision andPattern Recognition, July 2017.
[R20] H. Jiang, D. Sun, V. Jampani, M.-H.Yang, E. Learned-Miller, and J. Kautz. Super SloMo: High quality estimation ofmultiple intermediate frames for video interpolation. In IEEE Conference onComputer Vision and Pattern Recognition, June 2018.
[R21] J. Johnson, A. Alahi, and L. Fei-Fei.Perceptual losses for real-time style transfer and super-resolution. In EuropeanConference on Computer Vision, pages 694-711, 2016.
[R22] N. K. Kalantari, T. Wang, and R.Ramamoorthi. Learningbased view synthesis for light field cameras. ACM Trans.Graph., 35(6):193:1-193:10.
[R23] M. Kartasev, C. Rapisarda, and D.Fay. Implementing adaptive separable convolution for video frame interpolation.arXiv/1809.07759.
[R24] D. P. Kingma and J. Ba. Adam: Amethod for stochastic optimization. arXiv:1412.6980, 2014.
[R25] A. Krizhevsky, I. Sutskever, and G.E. Hinton. ImageNet classification with deep convolutional neural networks. In Advancesin Neural Information Processing Systems, pages 1106-1114, 2012.
[R26] Y. Kuroki, T. Nishi, S. Kobayashi, H.Oyaizu, and S. Yoshimura. A psychophysical study of improvements inmotion-image quality by using high frame rates. Journal of the Society forInformation Display, 15(1):61-68, 2007.
[R27] Y. Kuroki, H. Takahashi, M. Kusakabe,and K.-i. Yamakoshi. Effects of motion image stimuli with normal and high framerates on eeg power spectra: comparison with continuous motion image stimuli. Journalof the Society for Information Display, 22(4):191-198, 2014.
[R28] W. Lai, J. Huang, O. Wang, E.Shechtman, E. Yumer, and M. Yang. Learning blind video temporal consistency. InEuropean Conference on Computer Vision, pages 179-195, 2018.
[R29] Ledig et al., Photo-realistic singleimage super-resolution using a generative adversarial network, arXiv/1609.04802,version 1 (15 Sep 2016), version 5 (25 May 2017).
[R30] Liu et al., Video Frame SynthesisUsing Deep Voxel Flow, IEEE International Conference on Computer Vision (ICCV),pp. 4463-4471 (Oct 2017).
[R31] Meyer et al., Deep video colorpropagation, British Machine Vision Conference 2018, page 128 (4 Sep 2018).
[R32] Meyer et al., Phasenet for VideoFrame Interpolation, IEEE Conference on Computer Vision and Pattern Recognition,(June 2018).
[R33] Meyer et al., Phase-based FrameInterpolation for Video, IEEE Conference on Computer Vision and PatternRecognition, pages 1410-1418, 2015.
[R34] Niklaus et al., Context-AwareSynthesis for Video Frame Interpolation, IEEE Conference on Computer Vision andPattern Recognition (June 2018).
[R35] S. Niklaus, L. Mai, and F. Liu. Videoframe interpolation via adaptive convolution. In IEEE Conference on ComputerVision and Pattern Recognition, July 2017.
[R36] S. Niklaus, L. Mai, and F. Liu. Videoframe interpolation via adaptive separable convolution. In IEEE InternationalConference on Computer Vision, Oct 2017.
[R37] A. Odena, V. Dumoulin, and C. Olah.Deconvolution and checkerboard artifacts. Distill, 2016.http://distill.pub/2016/deconv-checkerboard.
[R38] L. L. Raket, L. Roholm, A. Bruhn, andJ. Weickert. Motion compensated frame interpolation with a symmetric opticalflow constraint. In Advances in Visual Computing, volume 7431, pages 447-457,2012.
[R39] A. Ranjan and M. J. Black. Opticalflow estimation using a spatial pyramid network. In IEEE Conference on ComputerVision and Pattern Recognition, pages 2720-2729, 2017.
[R40] M. S.M. Sajjadi, B. Scholkopf, and M.Hirsch. EnhanceNet: Single image super-resolution through automated texturesynthesis. arXiv/1612.07919, 2016.
[R41] K. Simonyan and A. Zisserman. Verydeep convolutional networks for large-scale image recognition. arXiv/1409.1556,2014.
[R42] K. Soomro, A. R. Zamir, and M. Shah.UCF101: A dataset of 101 human actions classes from videos in the wild. arXiv/1212.0402,2012.
[R43] D. Sun, S. Roth, and M. J. Black. Aquantitative analysis of current practices in optical flow estimation and theprinciples behind them. International Journal of Computer Vision, 106(2):115-137,2014.
[R44] D. Sun, X. Yang, M.-Y. Liu, and J.Kautz. PWC-Net: CNNs for optical flow using pyramid, warping, and cost volume.In IEEE Conference on Computer Vision and Pattern Recognition, June 2018.
[R45] Z. Wang, A. C. Bovik, H. R. Sheikh,and E. P. Simoncelli. Image quality assessment: from error visibility tostructural similarity. IEEE Transactions on Image Processing, 13(4):600-612,2004.
[R46] P. Weinzaepfel, J. Revaud, Z.Harchaoui, and C. Schmid. DeepFlow: Large displacement optical flow with deepmatching. In IEEE International Conference on Computer Vision, pages 1385-1392,2013.
[R47] C. Wu, N. Singhal, and P. Krahenbuhl.Video compression through image interpolation. In European Conference onComputer Vision, pages 425-440, 2018.
[R48] L. Xu, J. Jia, and Y. Matsushita.Motion detail preserving optical flow estimation. IEEE Transactions on PatternAnalysis and Machine Intelligence, 34(9):1744-1757, 2012.
[R49] T. Xue, B. Chen, J. Wu, D. Wei, andW. T. Freeman. Video enhancement with task-oriented flow. arXiv/1711.09078,2017.
[R50] R. Zhang, P. Isola, A. A. Efros, E.Shechtman, and O. Wang. The unreasonable effectiveness of deep features as aperceptual metric. In IEEE Conference on Computer Vision and PatternRecognition, June 2018.
[R51] T. Zhou, S. Tulsiani, W. Sun,J.Malik, and A. A. Efros. View synthesis by appearance flow. In EuropeanConference on Computer Vision, pages 286-301, 2016.
[R52] J. Zhu, T. Park, P. Isola, and A. A.Efros. Unpaired image-to-image translation using cycle-consistent adversarialnetworks. In IEEE International Conference on Computer Vision, pages 2242-2251,2017.
ＶＩ．参考文献
[R01] C. Bailer, B. Taetz, and D. Stricker.Flow Fields: Dense correspondence fields for highly accurate large displacementoptical flow estimation. In IEEE International Conference on Computer Vision,pages 4015-4023, 2015. 1.
[R02] S. Baker, D. Scharstein, J. P. Lewis,S. Roth, M. J. Black, and R. Szeliski. A database and evaluation methodologyfor optical flow. International Journal of Computer Vision, 92(1):1-31, 2011.2, 3, 4, 5, 6.
[R03] P. Bojanowski, A. Joulin, D. Lopez-Paz,and A. Szlam. Optimizing the latent space of generative networks. arXiv/1707.05776,2017. 4.
[R04] T. Brox, C. Bregler, and J.Malik.Large displacement optical flow. In IEEE Conference on Computer Vision andPattern Recognition, pages 41-48, 2009. 1.
[R05] T. Brox and J. Malik. Largedisplacement optical flow: Descriptor matching in variational motionestimation. IEEE Transactions on Pattern Analysis and Machine Intelligence,33(3):500-513, 2011. 1.
[R06] D. J. Butler, J. Wulff, G. B.Stanley, and M. J. Black. A naturalistic open source movie for optical flowevaluation. In European Conference on Computer Vision, pages 611-625, 2012. 1,7.
[R07] A. Dosovitskiy, P. Fischer, E. Ilg,P. Hausser, C. Hazirbas, V. Golkov, P. van der Smagt, D. Cremers, and T. Brox.FlowNet: Learning optical flow with convolutional networks. In IEEEInternational Conference on Computer Vision, pages 2758-2766, 2015. 2, 5.
[R08] D. Erhan, Y. Bengio, A. Courville,and P. Vincent. Visualizing higher-layer features of a deep network. 2009. 5,6.
[R09] J. Flynn, I. Neulander, J. Philbin,and N. Snavely. Deep-Stereo: Learning to predict new views from the world'simagery. In IEEE Conference on Computer Vision and Pattern Recognition, pages5515-5524, 2016.
[R10] Fourure et al., Residual Conv-DeconvGrid Network for Semantic Segmentation, arXiv:1707.07958v2 (26 Jul 2017), BritishMachine Vision Conference (4 Sep 2017).
[R11] I. J. Goodfellow, J. Pouget-Abadie,M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. C. Courville, and Y. Bengio. Generativeadversarial nets. In Advances in Neural Information Processing Systems, pages2672-2680, 2014.
[R12] K. He, X. Zhang, S. Ren, and J. Sun.Delving deep into rectifiers: Surpassing human-level performance on ImageNetclassification. In IEEE International Conference on Computer Vision, pages 1026-1034,2015.
[R13] E. Herbst, S. Seitz, and S. Baker.Occlusion reasoning for temporal interpolation using optical flow. Technicalreport, August 2009.
[R14] B. K. P. Horn and B. G. Schunck.Determining optical flow. Artificial Intelligence, 17(1-3):185-203, 1981.
[R15] Y. Hu, R. Song, and Y. Li. Efficientcoarse-to-fine patch match for large displacement optical flow. In IEEEConference on Computer Vision and Pattern Recognition, pages 5704-5712, 2016.1.
[R16] T.-W. Hui, X. Tang, and C. ChangeLoy. LiteFlowNet: A lightweight convolutional neural network for optical flowestimation In IEEE Conference on Computer Vision and Pattern Recognition, June2018.
[R17] E. Ilg, N. Mayer, T. Saikia, M.Keuper, A. Dosovitskiy, and T. Brox. Flownet 2.0: Evolution of optical flowestimation with deep networks. In IEEE Conference on Computer Vision andPattern Recognition, pages 1647-1655, 2017.
[R18] M. Jaderberg, K. Simonyan, A.Zisserman, and K. Kavukcuoglu. Spatial transformer networks. In Advances inNeural Information Processing Systems, pages 2017-2025, 2015.
[R19] J. Janai, F. Guney, J.Wulff, M. J.Black, and A. Geiger. Slow flow: Exploiting high-speed cameras for accurate anddiverse optical flow reference data. In IEEE Conference on Computer Vision andPattern Recognition, July 2017.
[R20] H. Jiang, D. Sun, V. Jampani, M.-H.Yang, E. Learned-Miller, and J. Kautz. Super SloMo: High quality estimation ofmultiple intermediate frames for video interpolation. In IEEE Conference onComputer Vision and Pattern Recognition, June 2018.
[R21] J. Johnson, A. Alahi, and L. Fei-Fei.Perceptual losses for real-time style transfer and super-resolution. In EuropeanConference on Computer Vision, pages 694-711, 2016.
[R22] N. K. Kalantari, T. Wang, and R.Ramamoorthi. Learningbased view synthesis for light field cameras. ACM Trans.Graph., 35(6):193:1-193:10.
[R23] M. Kartasev, C. Rapisarda, and D.Fay. Implementing adaptive separable convolution for video frame interpolation.arXiv/1809.07759.
[R24] D. P. Kingma and J. Ba. Adam: Amethod for stochastic optimization. arXiv:1412.6980, 2014.
[R25] A. Krizhevsky, I. Sutskever, and G.E. Hinton. ImageNet classification with deep convolutional neural networks. In Advancesin Neural Information Processing Systems, pages 1106-1114, 2012.
[R26] Y. Kuroki, T. Nishi, S. Kobayashi, H.Oyaizu, and S. Yoshimura. A psychophysical study of improvements inmotion-image quality by using high frame rates. Journal of the Society forInformation Display, 15(1):61-68, 2007.
[R27] Y. Kuroki, H. Takahashi, M. Kusakabe,and K.-i. Yamakoshi. Effects of motion image stimuli with normal and high framerates on eeg power spectra: comparison with continuous motion image stimuli. Journalof the Society for Information Display, 22(4):191-198, 2014.
[R28] W. Lai, J. Huang, O. Wang, E.Shechtman, E. Yumer, and M. Yang. Learning blind video temporal consistency. InEuropean Conference on Computer Vision, pages 179-195, 2018.
[R29] Ledig et al., Photo-realistic singleimage super-resolution using a generative adversarial network, arXiv/1609.04802,version 1 (15 Sep 2016), version 5 (25 May 2017).
[R30] Liu et al., Video Frame SynthesisUsing Deep Voxel Flow, IEEE International Conference on Computer Vision (ICCV),pp. 4463-4471 (Oct 2017).
[R31] Meyer et al., Deep video colorpropagation, British Machine Vision Conference 2018, page 128 (4 Sep 2018).
[R32] Meyer et al., Phasenet for VideoFrame Interpolation, IEEE Conference on Computer Vision and Pattern Recognition,(June 2018).
[R33] Meyer et al., Phase-based FrameInterpolation for Video, IEEE Conference on Computer Vision and PatternRecognition, pages 1410-1418, 2015.
[R34] Niklaus et al., Context-AwareSynthesis for Video Frame Interpolation, IEEE Conference on Computer Vision andPattern Recognition (June 2018).
[R35] S. Niklaus, L. Mai, and F. Liu. Videoframe interpolation via adaptive convolution. In IEEE Conference on ComputerVision and Pattern Recognition, July 2017.
[R36] S. Niklaus, L. Mai, and F. Liu. Videoframe interpolation via adaptive separable convolution. In IEEE InternationalConference on Computer Vision, Oct 2017.
[R37] A. Odena, V. Dumoulin, and C. Olah.Deconvolution and checkerboard artifacts. Distill, 2016.http://distill.pub/2016/deconv-checkerboard.
[R38] L. L. Raket, L. Roholm, A. Bruhn, andJ. Weickert. Motion compensated frame interpolation with a symmetric opticalflow constraint. In Advances in Visual Computing, volume 7431, pages 447-457,2012.
[R39] A. Ranjan and M. J. Black. Opticalflow estimation using a spatial pyramid network. In IEEE Conference on ComputerVision and Pattern Recognition, pages 2720-2729, 2017.
[R40] M. S.M. Sajjadi, B. Scholkopf, and M.Hirsch. EnhanceNet: Single image super-resolution through automated texturesynthesis. arXiv/1612.07919, 2016.
[R41] K. Simonyan and A. Zisserman. Verydeep convolutional networks for large-scale image recognition. arXiv/1409.1556,2014.
[R42] K. Soomro, A. R. Zamir, and M. Shah.UCF101: A dataset of 101 human actions classes from videos in the wild. arXiv/1212.0402,2012.
[R43] D. Sun, S. Roth, and M. J. Black. Aquantitative analysis of current practices in optical flow estimation and theprinciples behind them. International Journal of Computer Vision, 106(2):115-137,2014.
[R44] D. Sun, X. Yang, M.-Y. Liu, and J.Kautz. PWC-Net: CNNs for optical flow using pyramid, warping, and cost volume.In IEEE Conference on Computer Vision and Pattern Recognition, June 2018.
[R45] Z. Wang, A. C. Bovik, H. R. Sheikh,and E. P. Simoncelli. Image quality assessment: from error visibility tostructural similarity. IEEE Transactions on Image Processing, 13(4):600-612,2004.
[R46] P. Weinzaepfel, J. Revaud, Z.Harchaoui, and C. Schmid. DeepFlow: Large displacement optical flow with deepmatching. In IEEE International Conference on Computer Vision, pages 1385-1392,2013.
[R47] C. Wu, N. Singhal, and P. Krahenbuhl.Video compression through image interpolation. In European Conference onComputer Vision, pages 425-440, 2018.
[R48] L. Xu, J. Jia, and Y. Matsushita.Motion detail preserving optical flow estimation. IEEE Transactions on PatternAnalysis and Machine Intelligence, 34(9):1744-1757, 2012.
[R49] T. Xue, B. Chen, J. Wu, D. Wei, andW. T. Freeman. Video enhancement with task-oriented flow. arXiv/1711.09078,2017.
[R50] R. Zhang, P. Isola, A. A. Efros, E.Shechtman, and O. Wang. The unreasonable effectiveness of deep features as aperceptual metric. In IEEE Conference on Computer Vision and PatternRecognition, June 2018.
[R51] T. Zhou, S. Tulsiani, W. Sun,J.Malik, and A. A. Efros. View synthesis by appearance flow. In EuropeanConference on Computer Vision, pages 286-301, 2016.
[R52] J. Zhu, T. Park, P. Isola, and A. A.Efros. Unpaired image-to-image translation using cycle-consistent adversarialnetworks. In IEEE International Conference on Computer Vision, pages 2242-2251,2017.
Claims (25)
- フレーム補間ニューラルネットワーク（ＦＩＮＮ）を動作させるように構成された集積回路（ＩＣ）パッケージであって、
映像の第１の入力フレーム及び第２の入力フレームから前方オプティカルフロー及び後方オプティカルフローを推定するように構成されたオプティカルフロー推定（ＯＦＥ）回路であり、
前記前方オプティカルフローが、前記第１の入力フレームから始まって前記第２の入力フレームで終わる期間において前記第２の入力フレームを生成するように前記第１の入力フレーム中のピクセルが変更される様子を示し、
前記後方オプティカルフローが、前記第１の入力フレームから始まって前記第２の入力フレームで終わる期間において前記第１の入力フレームを生成するように前記第２の入力フレーム中のピクセルが変更される様子を示す、
オプティカルフロー推定（ＯＦＥ）回路と、
前記第１の入力フレームから第１の特徴ピラミッドを抽出するとともに、前記第２の入力フレームから第２の特徴ピラミッドを抽出するように構成された特徴ピラミッド抽出（ＦＰＥ）回路であり、
前記第１の特徴ピラミッドが、複数の解像度のそれぞれの解像度において前記第１の入力フレームから抽出された特徴の第１の組を含み、
前記第２の特徴ピラミッドが、前記複数の解像度のそれぞれの解像度において前記第２の入力フレームから抽出された特徴の第２の組を含む、特徴ピラミッド抽出（ＦＰＥ）回路と、
前記第１の特徴ピラミッド及び前記第２の特徴ピラミッドを前記第１の入力フレーム及び前記第２の入力フレームにそれぞれ適用することにより、前記前方オプティカルフロー及び前記後方オプティカルフローに基づいて、前記第１の入力フレームと前記第２の入力フレームとの間の時間位置で出力フレームを生成するように構成されたフレーム合成ニューラルネットワーク（ＦＳＮ）回路と、
を備えた、ＩＣパッケージ。 - 前記ＦＰＥ回路が、同じ設定を前記第１の入力フレーム及び前記第２の入力フレームに適用して、前記第１の特徴ピラミッド及び前記第２の特徴ピラミッドをそれぞれ抽出するようにさらに構成された、請求項１に記載のＩＣパッケージ。
- 前記特徴の第１の組における少なくとも一部の特徴及び前記特徴の第２の組における少なくとも一部の特徴が、前記第１の入力フレーム及び前記第２の入力フレームの色空間に基づく、請求項１に記載のＩＣパッケージ。
- 前記出力フレームが、前記第１の入力フレーム及び前記第２の入力フレームからそれぞれシフトされた前記第１の入力フレーム及び前記第２の入力フレームのピクセルを含むことにより、前記第１の入力フレームから前記対象時間位置までと、前記対象時間位置から前記第２の入力フレームまでに起こる動きを複製する、請求項１に記載のＩＣパッケージ。
- 前記ＦＰＥ回路が、前記第１の入力フレーム及び前記第２の入力フレームから抽出された特徴に基づいて、前記複数の解像度それぞれにおいて前記第１の入力フレーム及び前記第２の入力フレームを生成するようにさらに構成された、請求項１に記載のＩＣパッケージ。
- 前記第１の特徴ピラミッド及び前記第２の特徴ピラミッドを抽出するため、前記ＦＰＥ回路が、
各解像度において、前記第１の入力フレーム及び前記第２の入力フレームからある数の入力特徴を読み出すことと、
前記第１の入力フレーム及び前記第２の入力フレームそれぞれについて、前記ある数の入力特徴からある数の出力特徴を生成することと、
を行うようにさらに構成された、請求項１に記載のＩＣパッケージ。 - 前記ＦＰＥ回路が、活性化関数回路とインターリーブされ、各解像度での前記第１の入力フレーム及び前記第２の入力フレームの一方又は両方の畳み込みによって、前記複数の解像度のそれぞれの解像度で前記第１の入力フレーム及び前記第２の入力フレームから前記特徴の組を抽出するように構成された畳み込み回路を備えた、請求項６に記載のＩＣパッケージ。
- 前記前方オプティカルフローを用いて、前記第１の特徴ピラミッドを前記第２の特徴ピラミッドに向かってワープさせることと、
前記後方オプティカルフローを用いて、前記第２の特徴ピラミッドを前記第１の特徴ピラミッドに向かってワープさせることと、
を行うように構成された前方ワーピング（ＦＷ）回路をさらに備えた、請求項１に記載のＩＣパッケージ。 - 前記出力フレームを生成するため、前記ＦＳＮ回路が、前記ワープした特徴ピラミッド並びに前記第１の入力フレーム及び前記第２の入力フレームのワープ形式から補間結果を予測するように構成された、請求項８に記載のＩＣパッケージ。
- 前記ＦＰＥ回路が、前記予測された補間結果を用いて、前記第１の特徴ピラミッド及び前記第２の特徴ピラミッドの前記特徴と異なる特徴の一組を含む新たな特徴ピラミッドを各入力フレームから抽出するようにさらに構成された、請求項９に記載のＩＣパッケージ。
- 前記ＦＳＮ回路が、処理ブロックのグリッドを備え、前記処理ブロックのグリッド中の各行が、前記解像度の組のうちの１つの解像度に対応する、請求項９に記載のＩＣパッケージ。
- 各行中の第１の処理ブロックが、前記第１の特徴ピラミッド及び前記第２の特徴ピラミッドにおける対応する解像度において、ワープした一組の特徴を受け取るように構成された、請求項１１に記載のＩＣパッケージ。
- 前記ＯＦＥ回路、前記ＦＰＥ回路、前記ＦＳＮ回路、及び前記ＦＷ回路が、相互接続技術によって相互に結合されるとともに、
システムインパッケージ（ＳｉＰ）若しくはマルチチップパッケージ（ＭＣＰ）の各ダイ、
汎用プロセッサの各実行ユニット若しくはプロセッサコア、又は
各デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、システムオンチップ（ＳｏＣ）、グラフィックス処理ユニット（ＧＰＵ）、ＳｉＰ、ＭＣＰ、若しくはＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ、ＳｏＣ、ＧＰＵ、ＳｉＰ、及びＭＣＰの任意の組み合わせ、
として実装された、請求項１～１１のいずれか一項に記載のＩＣパッケージ。 - フレーム補間ニューラルネットワーク（ＦＩＮＮ）の命令を含む１つ又は複数の非一時的コンピュータ可読媒体（ＮＴＣＲＭ）であって、１つ又は複数のプロセッサによる前記命令の実行が、
映像の第１の入力フレーム及び第２の入力フレームを取得することと、
前記第１の入力フレーム及び前記第２の入力フレームから前方オプティカルフローと後方オプティカルフローとを推定することであり、
前記前方オプティカルフローは、前記第１の入力フレームから始まって前記第２の入力フレームで終わる期間において前記第２の入力フレームを生成するように前記第１の入力フレーム中のピクセルが変更される様子を示し、
前記後方オプティカルフローは、前記第１の入力フレームから始まって前記第２の入力フレームで終わる期間において前記第１の入力フレームを生成するように前記第２の入力フレーム中のピクセルが変更される様子を示す、推定することと、
前記第１の入力フレームから第１の特徴ピラミッドを抽出するとともに、前記第２の入力フレームから第２の特徴ピラミッドを抽出することであり、
前記第１の特徴ピラミッドは、複数の解像度のそれぞれの解像度において前記第１の入力フレームから抽出された特徴の第１の組を含み、
前記第２の特徴ピラミッドは、前記複数の解像度のそれぞれの解像度において前記第２の入力フレームから抽出された特徴の第２の組を含む、抽出することと、
前記前方オプティカルフローを用いて、前記第１の特徴ピラミッドを前記第２の特徴ピラミッドに向かってワープさせることと、
前記後方オプティカルフローを用いて、前記第２の特徴ピラミッドを前記第１の特徴ピラミッドに向かってワープさせることと、
前記ワープした第１の特徴ピラミッド及び第２の特徴ピラミッドに基づいて、前記第１の入力フレームと前記第２の入力フレームとの間の時間位置で出力フレームを生成することと、
を前記１つ又は複数のプロセッサに行わせる、１つ又は複数のＮＴＣＲＭ。 - 前記特徴の第１の組及び前記特徴の第２の組が、前記第１の入力フレーム及び前記第２の入力フレームそれぞれの色空間に基づく、請求項１４に記載の１つ又は複数のＮＴＣＲＭ。
- 前記命令の実行が、
各解像度において、前記第１の入力フレーム及び前記第２の入力フレームからある数の入力特徴を読み出すことと、
各解像度において、前記ある数の入力特徴からある数の出力特徴を生成することであり、各解像度における前記出力特徴は、前記入力特徴の異なるオクターブを表すとともに、数が変化する、ことと、
を前記１つ又は複数のプロセッサにさらに行わせる、請求項１４に記載の１つ又は複数のＮＴＣＲＭ。 - 前記ＦＩＮＮが、複数の活性化関数とインターリーブされた複数の畳み込み関数を含み、前記命令の実行が、
前記畳み込み関数を演算して、各解像度において前記第１の入力フレーム及び前記第２の入力フレームを畳み込むことと、
前記活性化関数を演算して、畳み込まれた前記第１の入力フレーム及び第２の入力フレームから個々の特徴を抽出することと、
を前記１つ又は複数のプロセッサに行わせる、請求項１６に記載の１つ又は複数のＮＴＣＲＭ。 - 前記出力フレームを生成するため、前記命令の実行が、前記ワープした特徴ピラミッド並びに前記第１の入力フレーム及び前記第２の入力フレームのワープ形式から補間結果を予測することを前記１つ又は複数のプロセッサに行わせる、請求項１４に記載の１つ又は複数のＮＴＣＲＭ。
- 前記ＦＩＮＮが、処理ブロックのグリッドを備えたフレーム合成ニューラルネットワークを含み、前記処理ブロックのグリッド中の各行が、前記複数の解像度のうちの１つの解像度に対応し、前記命令の実行が、
各解像度において前記第１の入力フレーム及び前記第２の入力フレームから抽出された特徴を含むように、前記ワープした第１の特徴ピラミッド及び第２の特徴ピラミッドを連結することと、
各解像度において前記第１の入力フレーム及び前記第２の入力フレームから抽出された前記特徴を各行の各入力処理ブロックに入力することと、
を前記１つ又は複数のプロセッサに行わせる、請求項１４～１８のいずれか一項に記載の１つ又は複数のＮＴＣＲＭ。 - オプティカルフロー推定器（ＯＦＥ）、特徴ピラミッド抽出器（ＦＰＥ）、前方ワーピングエンジン（ＦＷＥ）、及びフレーム合成ニューラルネットワーク（ＦＳＮ）を備えたフレーム補間ニューラルネットワーク（ＦＩＮＮ）のプログラムコードを格納するように構成されたメモリ回路と結合されたプロセッサ回路を備え、
前記プロセッサ回路が、前記ＯＦＥを動作させることにより、補間対象の映像の第１の入力フレーム及び第２の入力フレームから前方オプティカルフローと後方オプティカルフローとを推定するように構成され、
前記前方オプティカルフローは、前記第１の入力フレームから始まって前記第２の入力フレームで終わる期間において前記第２の入力フレームを生成するように前記第１の入力フレーム中のピクセルが変更される様子を示し、
前記後方オプティカルフローは、前記第１の入力フレームから始まって前記第２の入力フレームで終わる期間において前記第１の入力フレームを生成するように前記第２の入力フレーム中のピクセルが変更される様子を示し、
前記プロセッサ回路が、前記ＦＰＥを動作させることにより、前記第１の入力フレームから第１の特徴ピラミッドを抽出するとともに、前記第２の入力フレームから第２の特徴ピラミッドを抽出するように構成され、
前記第１の特徴ピラミッドは、複数の解像度のそれぞれの解像度において前記第１の入力フレームから抽出された特徴の第１の組を含み、
前記第２の特徴ピラミッドは、前記複数の解像度のそれぞれの解像度において前記第２の入力フレームから抽出された特徴の第２の組を含み、
前記プロセッサ回路が、前記ＦＷＥを動作させることにより、前記前方オプティカルフローを用いて、前記第１の特徴ピラミッドを前記第２の特徴ピラミッドに向かってワープさせるとともに、前記後方オプティカルフローを用いて、前記第２の特徴ピラミッドを前記第１の特徴ピラミッドに向かってワープさせるように構成され、
前記プロセッサ回路が、前記ＦＳＮを動作させることにより、前記ワープした第１の特徴ピラミッド及び第２の特徴ピラミッドに基づいて、前記第１の入力フレームと前記第２の入力フレームとの間の所望の時間位置で出力フレームを生成するように構成されており、
前記出力フレームが、前記第１の入力フレーム及び前記第２の入力フレームからそれぞれシフトされた前記第１の入力フレーム及び前記第２の入力フレームのピクセルを含むことにより、前記第１の入力フレームから前記対象時間位置までと、前記対象時間位置から前記第２の入力フレームまでに起こる動きを複製する、コンピュータシステム。 - 前記プロセッサ回路が、前記ＦＰＥを動作させることにより、
各解像度において、前記第１の入力フレーム及び前記第２の入力フレームの一方又は両方からある数の入力特徴を読み出すことと、
各解像度において、前記ある数の入力特徴からある数の出力特徴を生成することであり、各解像度における前記出力特徴が、前記入力特徴の異なるオクターブを表すとともに、数が変化する、ことと、
を行うようにさらに構成された、請求項２０に記載のコンピュータシステム。 - 前記ＦＰＥが、複数の活性化関数とインターリーブされた複数の畳み込み関数を含み、前記プロセッサ回路が、前記ＦＰＥを動作させることにより、
前記畳み込み関数を演算して、各解像度において前記第１の入力フレーム及び前記第２の入力フレームを畳み込むことと、
前記活性化関数を演算して、畳み込まれた前記第１の入力フレーム及び第２の入力フレームから個々の特徴を抽出することと、
を行うようにさらに構成された、請求項２１に記載のコンピュータシステム。 - 前記出力フレームを生成するため、前記プロセッサ回路が、前記ＦＳＮを動作させることにより、前記ワープした特徴ピラミッド並びに前記第１の入力フレーム及び前記第２の入力フレームのワープ形式から補間結果を予測するようにさらに構成された、請求項２０～２２のいずれか一項に記載のコンピュータシステム。
- 前記ＦＳＮが、処理ブロックのグリッドを備え、前記処理ブロックのグリッド中の各行が、前記解像度の組のうちの１つに対応する、請求項２３に記載のコンピュータシステム。
- 前記コンピュータシステムが、システムインパッケージ（ＳｉＰ）、マルチチップパッケージ（ＭＣＰ）、システムオンチップ（ＳｏＣ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、中央演算処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）であるか、又は、
前記コンピュータシステムが、相互に接続されたＳｉＰ、ＭＣＰ、ＳｏＣ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ、ＣＰＵ、ＧＰＵのうちの２つ以上を含む、請求項２４に記載のコンピュータシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962792693P | 2019-01-15 | 2019-01-15 | |
| US62/792,693 | 2019-01-15 | ||
| PCT/US2020/013545 WO2020150264A1 (en) | 2019-01-15 | 2020-01-14 | Feature pyramid warping for video frame interpolation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022517444A JP2022517444A (ja) | 2022-03-08 |
| JP7392227B2 true JP7392227B2 (ja) | 2023-12-06 |
Family
ID=71613575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021564227A Active JP7392227B2 (ja) | 2019-01-15 | 2020-01-14 | 映像フレーム補間のための特徴ピラミッドワーピング |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220092795A1 (ja) |
| JP (1) | JP7392227B2 (ja) |
| KR (1) | KR102646695B1 (ja) |
| WO (1) | WO2020150264A1 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816611B (zh) * | 2019-01-31 | 2021-02-12 | 北京市商汤科技开发有限公司 | 视频修复方法及装置、电子设备和存储介质 |
| US11176682B2 (en) * | 2019-11-27 | 2021-11-16 | Nvidia Corporation | Enhanced optical flow estimation using a varied scan order |
| US11698878B1 (en) * | 2020-04-12 | 2023-07-11 | Peraton Labs Inc. | Highspeed shared-memory optical network interfaces and topology |
| CN113727141B (zh) * | 2020-05-20 | 2023-05-12 | 富士通株式会社 | 视频帧的插值装置以及方法 |
| CN111709890B (zh) * | 2020-06-12 | 2023-11-24 | 北京小米松果电子有限公司 | 一种图像增强模型的训练方法、装置及存储介质 |
| CN112184779A (zh) * | 2020-09-17 | 2021-01-05 | 无锡安科迪智能技术有限公司 | 插帧图像处理方法及装置 |
| US11647212B2 (en) * | 2020-09-30 | 2023-05-09 | Qualcomm Incorporated | Activation function design in neural network-based filtering process for video coding |
| US11734837B2 (en) * | 2020-09-30 | 2023-08-22 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for motion estimation |
| WO2022096101A1 (en) * | 2020-11-05 | 2022-05-12 | Huawei Technologies Co., Ltd. | Device and method for video interpolation |
| CN112533026A (zh) * | 2020-11-27 | 2021-03-19 | 西安蓝极医疗电子科技有限公司 | 基于卷积神经网络的视频插帧方法 |
| CN112584077B (zh) * | 2020-12-11 | 2023-02-21 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| CN112584076B (zh) * | 2020-12-11 | 2022-12-06 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| CN112633123B (zh) * | 2020-12-18 | 2024-06-04 | 国网浙江省电力有限公司电力科学研究院 | 一种基于深度学习的异源遥感影像变化检测方法及装置 |
| KR20220094003A (ko) * | 2020-12-28 | 2022-07-05 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
| CN112929689B (zh) * | 2021-02-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113014936B (zh) * | 2021-02-24 | 2022-12-13 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113066103B (zh) * | 2021-03-18 | 2023-02-21 | 鹏城实验室 | 一种相机帧间运动确定方法 |
| US20220301127A1 (en) * | 2021-03-18 | 2022-09-22 | Applied Materials, Inc. | Image processing pipeline for optimizing images in machine learning and other applications |
| WO2022205685A1 (zh) * | 2021-03-29 | 2022-10-06 | 泉州装备制造研究所 | 一种基于轻量化网络的交通标志识别方法 |
| EP4318376A4 (en) * | 2021-05-24 | 2024-05-22 | Samsung Electronics Co., Ltd. | AI-BASED FRAME INTERPOLATION METHOD AND DEVICE |
| US12003885B2 (en) * | 2021-06-14 | 2024-06-04 | Microsoft Technology Licensing, Llc | Video frame interpolation via feature pyramid flows |
| CN113538527B (zh) * | 2021-07-08 | 2023-09-26 | 上海工程技术大学 | 一种高效轻量级光流估计方法、存储介质及装置 |
| WO2023092388A1 (zh) * | 2021-11-25 | 2023-06-01 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器、编码器和编解码系统 |
| CN114202463B (zh) * | 2021-12-15 | 2024-02-23 | 陕西师范大学 | 面向云端融合的视频超分辨率方法及系统 |
| US20230245328A1 (en) * | 2022-02-02 | 2023-08-03 | Samsung Electronics Co., Ltd. | Multi-frame optical flow network with lossless pyramid micro-architecture |
| CN114581493A (zh) * | 2022-03-04 | 2022-06-03 | 三星电子（中国）研发中心 | 双向光流估计方法和装置 |
| CN115032508B (zh) * | 2022-08-12 | 2022-11-01 | 国网山东省电力公司电力科学研究院 | 一种基于目标识别的分布式输电线路故障诊断方法及系统 |
| CN116033183A (zh) * | 2022-12-21 | 2023-04-28 | 上海哔哩哔哩科技有限公司 | 视频插帧方法及装置 |
| CN116778346B (zh) * | 2023-08-23 | 2023-12-08 | 蓝茵建筑数据科技(上海)有限公司 | 一种基于改进自注意力机制的管线识别方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375315B (zh) * | 2006-01-27 | 2015-03-18 | 图象公司 | 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统 |
| CN104160422A (zh) * | 2012-03-05 | 2014-11-19 | 汤姆逊许可公司 | 执行超分辨率的方法和装置 |
| KR101747220B1 (ko) * | 2012-08-30 | 2017-06-15 | 한화테크윈 주식회사 | 이미지 피라미드의 적응적 이미지 처리 장치 및 방법 |
| KR102018046B1 (ko) * | 2014-02-24 | 2019-09-04 | 한국전자통신연구원 | 이미지 특징 추출 장치 및 방법 |
| KR101932009B1 (ko) * | 2017-12-29 | 2018-12-24 | (주)제이엘케이인스펙션 | 다중 객체 검출을 위한 영상 처리 장치 및 방법 |
-
2020
- 2020-01-14 WO PCT/US2020/013545 patent/WO2020150264A1/en active Application Filing
- 2020-01-14 KR KR1020217025870A patent/KR102646695B1/ko active IP Right Grant
- 2020-01-14 JP JP2021564227A patent/JP7392227B2/ja active Active
- 2020-01-14 US US17/422,464 patent/US20220092795A1/en active Pending
Non-Patent Citations (1)
| Title |
|---|
| Simon Niklaus 他，Context-aware Synthesis for Video Frame Interpolation，2018 IEEE Conference on Computer Vision and Pattern Recognition ，IEEE，2018年06月，p1701-1710 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020150264A1 (en) | 2020-07-23 |
| KR102646695B1 (ko) | 2024-03-12 |
| US20220092795A1 (en) | 2022-03-24 |
| KR20210105442A (ko) | 2021-08-26 |
| JP2022517444A (ja) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7392227B2 (ja) | 映像フレーム補間のための特徴ピラミッドワーピング | |
| US11475536B2 (en) | Context-aware synthesis for video frame interpolation | |
| KR102474168B1 (ko) | 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션 | |
| AU2019451948B2 (en) | Real-time video ultra resolution | |
| US10937169B2 (en) | Motion-assisted image segmentation and object detection | |
| US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
| US9430817B2 (en) | Blind image deblurring with cascade architecture | |
| US10991150B2 (en) | View generation from a single image using fully convolutional neural networks | |
| US20200074642A1 (en) | Motion assisted image segmentation | |
| WO2018035805A1 (en) | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation | |
| US11871127B2 (en) | High-speed video from camera arrays | |
| CN113014936B (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| CN111768377B (zh) | 图像色彩评估方法、装置、电子设备及存储介质 | |
| US10650488B2 (en) | Apparatus, method, and computer program code for producing composite image | |
| CN107004292A (zh) | 使用高速缓存的纹理空间模糊的运动模糊 | |
| US11151698B2 (en) | Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter | |
| US11995532B2 (en) | Systems and devices for configuring neural network circuitry | |
| US20240177409A1 (en) | Image processing method and apparatus, electronic device, and readable storage medium | |
| JP6155349B2 (ja) | デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品 | |
| Sharma et al. | Space-time super-resolution using deep learning based framework | |
| Wu et al. | HALO: a reconfigurable image enhancement and multisensor fusion system | |
| Ikebe et al. | HDR tone mapping: System implementations and benchmarking | |
| Wang et al. | A component-driven distributed framework for real-time video dehazing | |
| Popovic et al. | Computational Imaging Applications | |
| Saponara et al. | Guest editorial: special issue on algorithms and architectures for real-time image and video enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231027 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7392227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |