JP2024073439A - 選択的な動きの描画を伴う画像表示 - Google Patents
選択的な動きの描画を伴う画像表示 Download PDFInfo
- Publication number
- JP2024073439A JP2024073439A JP2024021131A JP2024021131A JP2024073439A JP 2024073439 A JP2024073439 A JP 2024073439A JP 2024021131 A JP2024021131 A JP 2024021131A JP 2024021131 A JP2024021131 A JP 2024021131A JP 2024073439 A JP2024073439 A JP 2024073439A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- video
- image
- threshold
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 469
- 238000000034 method Methods 0.000 claims abstract description 135
- 238000010801 machine learning Methods 0.000 claims description 87
- 230000015654 memory Effects 0.000 claims description 49
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
ユーザは、写真など、静止画像を含む画像;モーションスチール、モーションフォト、またはライブフォトと称されることもある被写体の動きを含む画像;360度画像;動画などを撮影することができる。たとえば、カメラ、スマートフォン、ウェアラブルデバイス、コンピュータなど、画像を撮影または見るために用いられるデバイスは、画像を保存するための容量に限りがある場合がある。被写体の動きを含む画像は、複数のフレームを含み、これらは写真または静止画像よりも多くの記憶容量が必要である場合がある。このような状況では、ユーザは、ユーザデバイスのローカルストレージに画像を保存することに関して手入力を行う必要がある。
本明細書において説明する実施態様は、複数のフレームを含む動画像を表示するための方法、デバイス、およびコンピュータ読み取り可能な媒体に関する。いくつかの実施態様では、コンピュータにより実現される方法は、複数のフレームに基づいて動画像の動きスコアを決定するステップを含む。この方法は、動きスコアが表示しきい値を満たすかどうかを判断するステップをさらに含む。動きスコアが表示しきい値を満たす場合、方法は、動画像の複数のフレームを連続して表示することによって、動画像を被写体の動きを伴って表示させるステップをさらに含む。動きスコアが表示しきい値を満たさなかった場合、方法は、動画像の特定のフレームを表示することによって、動画像を被写体の動きなしで表示させるステップをさらに含む。
も高く設定するステップをさらに含む。数がしきい値数未満である場合、選択するステップは、表示しきい値を、動画像の動きスコアよりも低く設定するステップをさらに含む。いくつかの実施態様は、動画像を表示するソフトウェアアプリケーションの複数の実行スレッドに少なくとも部分的に基づいてしきい値数を決定するステップをさらに含む。
せる動作をさらに含み得る。動きスコアが表示しきい値を満たさなかった場合、動作は、動画像の複数のフレームのうち特定のフレームを表示することによって、動画像を被写体の動きなしで表示させる動作をさらに含み得る。
フレームのうち特定のフレームを表示することによって、動画像を被写体の動きなしで表示させる動作をさらに含み得る。
いくつかの実施態様は、複数のフレームを含む動画像を表示するための方法、デバイス、および命令を有するコンピュータ読み取り可能な媒体を含む。たとえば、動画像は、たとえば、3秒以下の短期間にわたってカメラで撮影された複数のフレームを含んでもよい。この動画像は、大幅なカメラの移動なしで、たとえば、パン、ズーム、チルト、またはカメラの移動を必要とするその他の動作なしで撮影されてもよい。
。訓練済みのMLモデルは、動きスコアを決定するための計算効率のよいメカニズムを提供してもよい。なぜならば、このモデルはこの用途のために最適化されており、FPGA、ASIC、GPU、または機械学習プロセッサなど、特定用途向けハードウェア上に実装することができるからである。
様では、「ユーザ」は、1つ以上のプログラムまたは1つ以上の仮想エンティティ、およびシステムまたはネットワークとやり取りする人を含み得る。
更する、動画像または動画の1つ以上のフレームの削除する)機能、(たとえば、クライアントデバイス122~126の)その他のユーザと画像を共有する機能、画像をアーカイブに保存する(たとえば、主要ユーザインターフェースに現れないように画像を格納する)機能、画像ベースの作品(たとえば、コラージュ、フォトブック、アニメーション、ストーリー、ビデオループなど、モーションベースのアーティファクト)を生成する機能など、画像管理機能を提供してもよい。
的な方法200を説明するフロー図である。いくつかの実施態様では、方法200は、たとえば、図1に示すサーバシステム102上で実装され得る。いくつかの実施態様では、方法200の一部またはすべては、図1に示す1つ以上のクライアントデバイス120、122、124、もしくは126、1つ以上のサーバ装置上、ならびに/または、サーバ装置(複数可)およびクライアントデバイス(複数可)の両方の上で実装され得る。記載した例では、実装システムは、1つ以上のデジタルプロセッサまたは処理回路(「プロセッサ」)、および1つ以上の記憶装置(たとえば、データベース106またはその他のストレージ)を備える。いくつかの実施態様では、1つ以上のサーバおよび/または1つ以上のクライアントの異なる構成要素は、方法200の異なるブロックまたはその他の部分を実行できる。いくつかの例では、第1デバイスが方法200のブロックを実行すると説明している。いくつかの実施態様は、結果またはデータを第1デバイスに送信できる1つ以上のその他のデバイス(たとえば、その他のクライアントデバイスまたはサーバ装置)によって実行される方法200の1つ以上のブロックを有し得る。
ザデータは、クライアントデバイスを用いてユーザが撮影した画像、たとえばクライアントデバイスを用いてユーザが格納またはアクセスした画像、画像メタデータ、メッセージングアプリケーションの利用に関するユーザデータ、ユーザの好み、ユーザの生体情報、ユーザ特性(たとえば、身元、名前、年齢、性別、職業など)、ユーザのソーシャルネットワークおよび連絡先についての情報、社会的またはその他の種類の行動および活動、ユーザが作成または書き込んだコンテンツ、評価、および意見、ユーザの現在地、過去のユーザデータ、ユーザが生成、受信、および/またはアクセスした画像、ユーザが見たまたは共有した画像などを含み得る。本明細書において説明する方法の1つ以上のブロックは、このようなユーザデータをいくつかの実施態様において使用してもよい。
画像モード、たとえば、ワンナップモードで表示されるまたはスライドショーの一部として表示される場合、表示しきい値を、順次表示されたときに動画像の複数のフレーム内の被写体の動きに対する関心に基づいて決定される値に設定してもよい。たとえば、被写体の動きに対する関心は、動画像の被写体の動きの、ワンナップモードまたはスライドショーモードで動きが表示された、ユーザ(またはその他のユーザ)が見たその他の動画像における被写体の動きに対する類似性に基づいてもよい。
後にブロック218が続く。
起動時に撮影された、たとえば、カメラの起動に一致するタイムスタンプに対応付けられた1つのフレームであってもよい。いくつかの実施態様では、特定のフレームは、動画像の複数のフレームのうち、その他のフレームであってもよい。
アは、安定性の程度と動きにおける被写体の移動の程度との重み付き組合せであってもよい。いくつかの実施態様では、安定性の程度が大きいほど高い動きスコアに対応し、安定性の程度が小さいほど低い動きスコアに対応してもよい。いくつかの実施態様では、被写体の移動の程度が大きいほど高い動きスコアに対応し、被写体の移動の程度が小さいほど低い動きスコアに対応してもよい。いくつかの実施態様では、被写体の種類に基づいて異なる重みが被写体の移動の程度に割り当てられてもよい。たとえば、被写体の種類が顔である場合、被写体の種類が体である場合よりも大きな重みが移動の程度に割り当てられてもよい。
て説明したように算出し、表示しきい値と比較してもよい。動きスコアが表示しきい値を満たさなかった場合、動きスコアを、表示しきい値を満たす値に設定してもよい。このように動きスコアを更新することにより、自動的に決定された動きスコアよりも、動画像に対する関心を示すユーザ入力のほうが必ず優先され、動画像の複数のフレームを連続して表示することによって、ユーザが興味を持つ動画像が、ユーザが動きを認識するように表示される。
のその他の条件が発生したなど、1つ以上の特定のイベントまたは条件に基づいて実行したりすることができる。いくつかの実施態様では、このような条件は、格納されたユーザのカスタム基本設定でユーザによって指定することができる。
ニューラルネットワークへの入力として提供してもよい。たとえば、訓練データセットは、複数の動画像および関連する動きスコアまたはラベル含んでもよい。たとえば、訓練データセットのうち、第1セットの動画像は、画像の各々にある被写体の動きがユーザが関心する動きであることを示す1つ以上のラベルに対応付けられてもよい。このようなラベルは、ユーザ入力に基づいて取得されてもよく、または、ユーザ許可によって得られたユーザデータ(たとえば、動画像の視聴者数、モーションアーティファクトの作成など)から取得されてもよい。
力が訓練済みのMLモデルに提供されてもよい。いくつかの実施態様では、訓練済みのMLモデルは、このような要因を中間層の出力として決定してもよい。
入/出力(I/O)インターフェース706と、カメラ716とを備える。プロセッサ702は、プログラムコードを実行し、デバイス600の基本動作を制御するための1つ以上のプロセッサおよび/または1つ以上の処理回路であり得る。「プロセッサ」は、データ、信号、またはその他の情報を処理する任意の適切なハードウェアシステム、機構、または構成要素を含む。プロセッサは、(たとえば、シングルコア構成、デュアルコア構成、またはマルチコア構成の)1つ以上のコアを有する汎用CPU(Central Processing Unit)を備えたシステム、(たとえば、マルチプロセッサ構成の)複数の処理部、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application-Specific Integrated Circuit)、CPLD(Complex Programmable Logic Device)、機能を実現するための専用回路、ニューラルネットワークモデルベースの処理を実施するための専門プロセッサ、ニューロン回路、行列計算(たとえば、行列乗算)に最適化されたプロセッサ、またはその他のシステムを含んでもよい。いくつかの実施態様では、プロセッサ702は、ニューラルネットワーク処理を実装する1つ以上のコプロセッサを含んでもよい。いくつかの実施態様では、プロセッサ702は、データを処理して確率に基づく出力を生成するプロセッサであってもよく、たとえば、プロセッサ702が生成する出力は、不正確であってもよく、予想出力から特定の範囲内で正確であってもよい。処理は、特定の地理的位置に限定される必要はなく、または、時間的制限がある必要はない。たとえば、プロセッサは、その機能を「リアルタイム」、「オフライン」、「バッチモード」などで実行してもよい。処理の一部は、異なる(または同じ)処理システムによって、異なるタイミングで異なる場所において実行されてもよい。コンピュータは、メモリと通信する任意のプロセッサであってもよい。
も呼ばれる。最後の層(たとえば、出力層)は、機械学習アプリケーションの出力を生成する。具体的な訓練済みのモデルによっては、この出力は、たとえば、動きスコア、画像についてのラベルのセット、画像のその他の画像(たとえば、画像の特徴ベクトル)との比較を可能にする画像の表示、入力文に応答する出力文、入力データの1つ以上のカテゴリなどであってもよい。また、いくつかの実施態様では、モデル形態またはモデル構造は、各層におけるノードの数および/または種類を指定する。
State Machine)のように動作することを可能にする「状態」を維持してもよい。このようなノードを有するモデルは、たとえば、1文または1段落に含まれる複数の単語、1本の動画に含まれる複数のフレーム、会話またはその他の音声など、順次データを処理する際に役立つであろう。
ーション730は、たとえば、機械学習アプリケーション730の開発者、サードパーティなどによる事前の訓練に基づいた訓練済みモデル734を含んでもよい。いくつかの実施態様では、訓練済みモデル734は、たとえば重みを提供するサーバからダウンロードされた、固定の重みセットを含んでもよい。
がある場合、訓練済みモデル734を更新する、たとえば、訓練済みモデル734用の埋め込みを更新するために用いられてもよい。
ータ読み取り可能な媒体上に格納することができる。これに加えて、メモリ704(および/もしくはその他の接続された記憶装置(複数可))は、本明細書において説明した特徴において用いられる1つ以上のメッセージ、1つ以上の分類法、電子百科事典、辞書、類語辞典、ナレッジベース、メッセージデータ、文法、ユーザの好み、ならびに/またはその他の命令およびデータを格納することができる。メモリ704およびその他の種類のストレージ(磁気ディスク、光ディスク、磁気テープ、もしくはその他の有形の媒体)は、「ストレージ」もしくは「記憶装置」とみなされ得る。
プロセッサもしくは処理回路、1つ以上のオペレーティングシステム、1つ以上のメモリ、1つ以上のI/Oインターフェース、1つ以上のアプリケーション、および/または1つ以上のソフトウェアモジュールを表してもよい。その他の実施態様では、デバイス700は、図示した構成要素のすべてを有さなくてもよく、および/または、本明細書において示した要素の代わりまたはそれらに加えて、その他の種類の要素を含むその他の要素を有してもよい。いくつかの構成要素について、本明細書のいくつかの実施態様に記載したブロックおよび動作を行うと説明したが、環境100、デバイス700、同様のシステムの任意の適切な構成要素もしくは構成要素の組合せ、またはこのようなシステムに対応付けられた任意の適切な1つのプロセッサまたは複数プロセッサが、記載のブロックおよび動作を実行してもよい。
ザには、そのユーザに関連性のある情報収集を規制できるオプション、情報を収集してもよいかどうか、および情報のどの部分を収集するかについての許可または承認が与えられるオプションなど、1つ以上のオプションが提示される。たとえば、ユーザには、1つ以上のこのような規制オプション通信ネットワーク上で与えることができる。これに加えて、個人を特定できる情報が取り除かれるよう、特定のデータを、格納または利用される前に1つ以上の方法で扱ってもよい。一例として、個人を特定できる情報が特定できないようにユーザの身元を扱ってもよい。別の例として、ユーザの特定の位置が特定できないよう、ユーザデバイスの地理的位置をより大きな地域に一般化してもよい。
Claims (20)
- 複数のフレームを含む動画像を表示するための、コンピュータにより実現される方法であって、
前記動画像の動きスコアを、前記動画像の前記複数のフレームに基づいて決定するステップと、
前記動きスコアが表示しきい値を満たすかどうかを判断するステップと、
前記動きスコアが前記表示しきい値を満たす場合、前記動画像の複数のフレームを連続して表示することによって、前記動画像を被写体の動きを伴って表示させるステップと、
前記動きスコアが前記表示しきい値を満たさなかった場合、前記動画像の複数のフレームのうち特定のフレームを表示することによって、前記動画像を被写体の動きなしで表示させるステップとを含む、方法。 - 前記動画像は、1つ以上のその他の画像を含むユーザインターフェースにおいて表示され、前記動きスコアが前記表示しきい値を満たす場合、前記ユーザインターフェースにおける前記動画像のサイズは、前記1つ以上のその他の画像のうち少なくとも1つよりも大きい、請求項1に記載の、コンピュータにより実現される方法。
- 前記動画像は、1つ以上のその他の画像を含むユーザインターフェースの一部として表示され、前記方法は、さらに、
前記1つ以上のその他の画像の各動きスコアを決定するステップと、
前記各動きスコアに基づいて前記表示しきい値を選択するステップとを含み、前記選択するステップは、
前記動画像の動きスコアよりも高い動きスコアにそれぞれ対応付けられた前記1つ以上のその他の画像の数を判断するステップと、
前記数がしきい値数以上である場合、前記表示しきい値を、前記動画像の動きスコアよりも高く設定するステップと、
前記数が前記しきい値数未満である場合、前記表示しきい値を、前記動画像の動きスコアよりも低く設定するステップとを含む、請求項1に記載の、コンピュータにより実現される方法。 - 前記動画像を表示するソフトウェアアプリケーションの複数の実行スレッドに少なくとも部分的に基づいて前記しきい値数を決定するステップをさらに含む、請求項3に記載の、コンピュータにより実現される方法。
- 前記動きスコアを決定するステップは、
前記複数のフレームのそれぞれの画素値に基づいて、前記動画像の背景部分の安定性の程度、前記動画像の被写体の種類、および前記動画像における前記被写体の移動の程度を判断するステップと、
前記安定性の程度、前記被写体の種類、および前記被写体の移動の程度に基づいて前記動きスコアを算出するステップとを含む、請求項1に記載の、コンピュータにより実現される方法。 - 前記被写体の種類は、風景または無生物であり、前記動きスコアを算出するステップは、前記動きスコアを前記表示しきい値未満の値に設定するステップを含む、請求項5に記載の、コンピュータにより実現される方法。
- 前記動きスコアを算出するステップは、
前記被写体の移動の程度が移動のしきい値レベルを満たすかどうかを判断するステップと、
前記被写体の移動の程度が前記移動のしきい値レベルを満たすと判断された場合、前記動きスコアを前記表示しきい値を満たす値に設定するステップと、
前記被写体の移動の程度が前記移動のしきい値レベルを満たさないと判断された場合、前記動きスコアを前記表示しきい値を満たさない値に設定するステップとを含む、請求項5に記載の、コンピュータにより実現される方法。 - 第1種類の被写体は顔であり、第2種類の被写体は体であり、前記顔に対応付けられた移動の第1しきい値レベルは、前記体に対応付けられた移動の第2しきい値レベルよりも低い、請求項7に記載の、コンピュータにより実現される方法。
- 前記動画像の動きスコアを決定するステップは、前記動画像のビュー数が視聴者数しきい値を満たす場合、または、少なくとも1つのモーションアーティファクトが前記動画像に基づいて作成されていた場合、前記動きスコアを前記表示しきい値を満たす値に設定するステップをさらに含む、請求項1に記載の、コンピュータにより実現される方法。
- 前記動画像の動きスコアを判断するステップは、複数の層に編成された複数のノードを含み、動きスコアを決定するように構成されたニューラルネットワークから構成された訓練済みの機械学習モデルを適用するステップを含み、前記動画像は、前記訓練済みの機械学習モデルへの入力として提供される、請求項1に記載の、コンピュータにより実現される方法。
- 前記動画像は、クライアントデバイスによって撮影されて、前記クライアントデバイスの揮発性メモリに保存され、前記方法は、さらに、
前記動きスコアが保存しきい値を満たすと判断するステップと、
前記動きスコアが前記保存しきい値を満たす場合、前記動画像を前記クライアントデバイスの不揮発性メモリに保存するステップと、
前記動きスコアが前記保存しきい値を満たさなかった場合、前記動画像を自動的に静止画像に変更するステップとを含み、
前記静止画像は、前記複数のフレームのうち、特定のフレームのみを含み、前記動画像よりも小さいファイルサイズを有し、
前記変更するステップは、
前記複数のフレームのうち、その他のフレームを削除するステップと、
前記静止画像を前記クライアントデバイスの前記不揮発性メモリに保存するステップとを含む、請求項1に記載の、コンピュータにより実現される方法。 - 複数のフレームから構成される動画像を表示するためのデバイスであって、前記デバイスは、
プロセッサと、
命令を格納した非一時的なコンピュータ読み取り可能な媒体とを備え、前記命令は、前記プロセッサによって実行されると、前記プロセッサに動作を実行させ、前記動作は、
前記動画像の動きスコアを、前記複数のフレームに基づいて決定する動作と、
前記動きスコアが表示しきい値を満たすかどうかを判断する動作と、
前記動きスコアが前記表示しきい値を満たす場合、前記動画像の複数のフレームを連続して表示することによって、前記動画像を被写体の動きを伴って表示させる動作と、
前記動きスコアが前記表示しきい値を満たさなかった場合、前記動画像の複数のフレームのうち特定のフレームを表示することによって、前記動画像を被写体の動きなしで表示させる動作とを含む、デバイス。 - 前記動画像の動きスコアを判断する動作は、複数の層に編成された複数のノードを含むニューラルネットワークから構成された訓練済みの機械学習モデルを適用する動作を含み
、前記訓練済みの機械学習モデルは、前記デバイスに格納され、動きスコアを決定するように構成され、前記動画像は、前記訓練済みの機械学習モデルへの入力として提供される、請求項12に記載のデバイス。 - 前記動作は、さらに、
前記動画像のビュー数が視聴者数しきい値を満たす、または、前記動画像からモーションアーティファクトが作成されたと判断する動作と、
前記判断に応答して、前記訓練済みの機械学習モデルを更新する動作とを含み、前記訓練済みの機械学習モデルを更新する動作は、
前記複数のノードのうち、少なくとも1つのノードの重みを調整する動作、および前記複数のノードのうち少なくとも1対のノード間の接続を更新する動作のうち、少なくとも1つの動作を含む、請求項13に記載のデバイス。 - 前記動作は、さらに、
前記動画像の背景部分の安定性の程度を判断する動作と、
前記動画像の被写体の種類、および前記動画像における前記被写体の移動の程度を判断する動作とを含み、
前記背景部分の安定性の程度、前記被写体の種類、および前記被写体の移動の程度は、さらなる入力として前記訓練済みの機械学習モデルに提供される、請求項13に記載のデバイス。 - 前記動作は、さらに、
前記複数のフレームのうち、特定のフレームのみを表示することによって前記動画像を静止画像として表示するためのユーザ入力を受け付ける動作と、
前記ユーザ入力に応答して、
前記訓練済みの機械学習モデルを更新する動作とを含み、前記機械学習モデルを更新する動作は、
前記複数のノードのうち、1つのノードの重みを調整する動作、および前記複数のノードのうち、1対のノード間の接続を更新する動作のうち、少なくとも1つの動作を含む、請求項13に記載のデバイス。 - カメラをさらに備え、前記動画像は、前記カメラで撮影されて前記デバイスの揮発性メモリに保存され、前記動作は、さらに、
前記動きスコアが保存しきい値を満たすかどうかを判断する動作と、
前記動きスコアが前記保存しきい値を満たす場合、前記動画像を前記デバイスの不揮発性メモリに保存する動作と、
前記動きスコアが前記保存しきい値を満たさなかった場合、前記動画像を自動的に静止画像に変更する動作とを含み、
前記静止画像は、前記複数のフレームのうち、特定のフレームのみを含み、前記動画像よりも小さいファイルサイズを有し、
前記変更する動作は、
前記複数のフレームのうち、その他のフレームを削除する動作と、
前記静止画像を前記デバイスの前記不揮発性メモリに保存する動作とを含む、請求項12に記載のデバイス。 - 命令を格納した非一時的なコンピュータ読み取り可能な媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに動作を実行させ、前記動作は、
動画像の動きスコアを、前記動画像の複数のフレームに基づいて決定する動作と、
前記動きスコアが表示しきい値を満たすかどうかを判断する動作と、
前記動きスコアが前記表示しきい値を満たす場合、前記動画像の複数のフレームを連続
して表示することによって、前記動画像を被写体の動きを伴って表示させる動作と、
前記動きスコアが前記表示しきい値を満たさなかった場合、前記動画像の複数のフレームのうち特定のフレームを表示することによって、前記動画像を被写体の動きなしで表示させる動作とを含む、非一時的なコンピュータ読み取り可能な媒体。 - さらなる命令を格納し、前記さらなる命令は、前記プロセッサによって実行されると、前記プロセッサに動作を実行させ、前記動作は、
前記動画像の背景部分の安定性の程度を判断する動作と、
前記動画像の被写体の種類、および前記動画像における前記被写体の移動の程度を判断する動作とを含み、前記動きスコアは、前記安定性の程度、前記被写体の種類、および前記被写体の移動の程度に基づく、請求項18に記載の非一時的なコンピュータ読み取り可能な媒体。 - さらなる命令を格納し、前記さらなる命令は、前記プロセッサによって実行されると、前記プロセッサに動作を実行させ、前記動作は、
1つ以上のその他の画像の各動きスコアを決定する動作と、
前記各動きスコアに基づいて前記表示しきい値を選択する動作とを含み、前記選択する動作は、
前記動画像の動きスコアよりも高い動きスコアにそれぞれ対応付けられた前記1つ以上のその他の画像の数を判断する動作と、
前記数がしきい値数以上である場合、前記表示しきい値を、前記動画像の動きスコアよりも高く設定する動作と、
前記数が前記しきい値数未満である場合、前記表示しきい値を、前記動画像の動きスコアよりも低く設定する動作とを含む、請求項18に記載の非一時的なコンピュータ読み取り可能な媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/258,406 | 2019-01-25 | ||
US16/258,406 US10775977B2 (en) | 2019-01-25 | 2019-01-25 | Image display with selective depiction of motion |
JP2021543225A JP7514848B2 (ja) | 2019-01-25 | 2019-09-27 | 選択的な動きの描画を伴う画像表示 |
PCT/US2019/053690 WO2020153999A1 (en) | 2019-01-25 | 2019-09-27 | Image display with selective depiction of motion |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543225A Division JP7514848B2 (ja) | 2019-01-25 | 2019-09-27 | 選択的な動きの描画を伴う画像表示 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024073439A true JP2024073439A (ja) | 2024-05-29 |
Family
ID=68296684
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543225A Active JP7514848B2 (ja) | 2019-01-25 | 2019-09-27 | 選択的な動きの描画を伴う画像表示 |
JP2024021131A Pending JP2024073439A (ja) | 2019-01-25 | 2024-02-15 | 選択的な動きの描画を伴う画像表示 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543225A Active JP7514848B2 (ja) | 2019-01-25 | 2019-09-27 | 選択的な動きの描画を伴う画像表示 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10775977B2 (ja) |
EP (1) | EP3815042B1 (ja) |
JP (2) | JP7514848B2 (ja) |
CN (1) | CN113348486A (ja) |
WO (1) | WO2020153999A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9756249B1 (en) * | 2016-04-27 | 2017-09-05 | Gopro, Inc. | Electronic image stabilization frequency estimator |
EP3767543A1 (en) * | 2019-07-17 | 2021-01-20 | Robert Bosch GmbH | Device and method for operating a neural network |
KR102618732B1 (ko) * | 2019-08-27 | 2023-12-27 | 엘지전자 주식회사 | 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법 |
US11645766B2 (en) * | 2020-05-04 | 2023-05-09 | International Business Machines Corporation | Dynamic sampling for object recognition |
US20230288786A1 (en) * | 2021-12-15 | 2023-09-14 | SMPL Inc. | Graphic user interface system for improving throughput and privacy in photo booth applications |
KR102540756B1 (ko) * | 2022-01-25 | 2023-06-08 | 주식회사 딥브레인에이아이 | 발화 합성 영상 생성 장치 및 방법 |
KR102540759B1 (ko) * | 2022-02-09 | 2023-06-08 | 주식회사 딥브레인에이아이 | 발화 합성 영상 생성 장치 및 방법 |
KR102584484B1 (ko) * | 2022-02-14 | 2023-10-04 | 주식회사 딥브레인에이아이 | 발화 합성 영상 생성 장치 및 방법 |
KR102584485B1 (ko) * | 2022-02-14 | 2023-10-04 | 주식회사 딥브레인에이아이 | 발화 합성 영상 생성 장치 및 방법 |
CN114677391B (zh) * | 2022-05-26 | 2022-08-26 | 青岛大学附属医院 | 一种脊椎图像分割方法 |
CN115187783B (zh) * | 2022-09-09 | 2022-12-27 | 之江实验室 | 基于联邦学习的多任务混合监督医疗图像分割方法及系统 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08317378A (ja) * | 1995-05-19 | 1996-11-29 | Fujitsu General Ltd | ビデオカメラ切換装置 |
JP2000115762A (ja) * | 1998-10-06 | 2000-04-21 | Hitachi Ltd | 監視装置 |
US6834128B1 (en) | 2000-06-16 | 2004-12-21 | Hewlett-Packard Development Company, L.P. | Image mosaicing system and method adapted to mass-market hand-held digital cameras |
JP2004357054A (ja) * | 2003-05-29 | 2004-12-16 | Toshiba Corp | 映像表示装置及び映像表示方法 |
JP2006222510A (ja) * | 2005-02-08 | 2006-08-24 | Seiko Epson Corp | 画像再生装置および画像再生プログラム |
JP4232113B2 (ja) * | 2006-02-17 | 2009-03-04 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラム |
JP2009048347A (ja) * | 2007-08-17 | 2009-03-05 | Seiko Epson Corp | 画像処理装置、画像処理方法、および、画像処理プログラム |
US8195038B2 (en) * | 2008-10-24 | 2012-06-05 | At&T Intellectual Property I, L.P. | Brief and high-interest video summary generation |
US8494283B2 (en) | 2010-12-21 | 2013-07-23 | Microsoft Corporation | Image quality assessment |
JP2013015916A (ja) * | 2011-06-30 | 2013-01-24 | Dainippon Printing Co Ltd | 画像管理装置、画像管理方法、画像管理プログラム及び記録媒体 |
JP2013046259A (ja) * | 2011-08-24 | 2013-03-04 | Olympus Imaging Corp | 映像機器、制御方法およびプログラム |
US8873887B2 (en) * | 2013-01-24 | 2014-10-28 | Google Inc. | Systems and methods for resizing an image |
JP2015061236A (ja) * | 2013-09-19 | 2015-03-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP3055836B1 (en) * | 2013-10-11 | 2019-03-20 | Mauna Kea Technologies | Method for characterizing images acquired through a video medical device |
US10250799B2 (en) * | 2014-05-21 | 2019-04-02 | Google Technology Holdings LLC | Enhanced image capture |
US9858295B2 (en) | 2014-06-24 | 2018-01-02 | Google Llc | Ranking and selecting images for display from a set of images |
US9646227B2 (en) | 2014-07-29 | 2017-05-09 | Microsoft Technology Licensing, Llc | Computerized machine learning of interesting video sections |
US20170109586A1 (en) * | 2015-10-16 | 2017-04-20 | Canary Connect, Inc. | Sensitivity adjustment for computer-vision triggered notifications |
US20170161651A1 (en) | 2015-12-04 | 2017-06-08 | Nextop Italia Srl | Electronic System and Method for Travel Planning, Based On Object-Oriented Technology |
JP6517681B2 (ja) * | 2015-12-17 | 2019-05-22 | 日本電信電話株式会社 | 映像パターン学習装置、方法、及びプログラム |
US10002435B2 (en) | 2016-01-29 | 2018-06-19 | Google Llc | Detecting motion in images |
US10909170B2 (en) * | 2016-04-06 | 2021-02-02 | Baidu Usa Llc | Method for processing and rendering feed-like based images for mobile devices |
US9532004B1 (en) | 2016-05-12 | 2016-12-27 | Google Inc. | Animated user identifiers |
WO2017208529A1 (ja) * | 2016-06-02 | 2017-12-07 | オムロン株式会社 | 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体 |
JP2018081404A (ja) * | 2016-11-15 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 識別方法、識別装置、識別器生成方法及び識別器生成装置 |
-
2019
- 2019-01-25 US US16/258,406 patent/US10775977B2/en active Active
- 2019-09-27 EP EP19790950.0A patent/EP3815042B1/en active Active
- 2019-09-27 CN CN201980090203.5A patent/CN113348486A/zh active Pending
- 2019-09-27 WO PCT/US2019/053690 patent/WO2020153999A1/en unknown
- 2019-09-27 JP JP2021543225A patent/JP7514848B2/ja active Active
-
2020
- 2020-08-28 US US17/005,529 patent/US11231838B2/en active Active
-
2024
- 2024-02-15 JP JP2024021131A patent/JP2024073439A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3815042A1 (en) | 2021-05-05 |
JP7514848B2 (ja) | 2024-07-11 |
EP3815042B1 (en) | 2023-06-21 |
US11231838B2 (en) | 2022-01-25 |
US10775977B2 (en) | 2020-09-15 |
US20200393943A1 (en) | 2020-12-17 |
WO2020153999A1 (en) | 2020-07-30 |
JP2022525272A (ja) | 2022-05-12 |
KR20210118437A (ko) | 2021-09-30 |
US20200241716A1 (en) | 2020-07-30 |
CN113348486A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7514848B2 (ja) | 選択的な動きの描画を伴う画像表示 | |
JP7228682B2 (ja) | 動画解析のためのゲーティングモデル | |
US10541000B1 (en) | User input-based video summarization | |
JP7247327B2 (ja) | ダイナミックデプス画像を撮影して編集するための手法 | |
US20220053195A1 (en) | Learning-based image compression setting | |
JP7257591B2 (ja) | パーソナライズされた自動ビデオクロッピング | |
KR102718174B1 (ko) | 모션을 선택적으로 묘사한 이미지 디스플레이 | |
JP2024514728A (ja) | 機械学習を用いた選択的な画像ぼやけ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240314 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240903 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241008 |