JP2023529380A - ユーザの好みを反映した機械学習ベースの画像圧縮設定 - Google Patents

Abstract

本明細書で説明する実施形態は、圧縮設定を決定するための方法、デバイス、およびコンピュータ読取可能媒体に関する。入力画像が、ユーザアカウントに関連付けられている場合に取得され得る。入力画像の１つ以上の特徴が、特徴検出機械学習モデルを使用して決定され得る。入力画像の圧縮設定が、ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、入力画像内の１つ以上の特徴に基づいて決定され得る。入力画像は、圧縮設定に基づいて圧縮され得る。

Description

背景
スマートフォンおよび他のポータブルカメラの人気が高まるにつれて、ユーザは、ますます多くの画像を取り込んでいる。しかしながら、クラウドまたはサーバストレージと同様に、オンデバイスも有限リソースである。画像圧縮は、画像を格納するために必要とされる記憶空間の量を低減する効果的な方法である。しかしながら、非可逆圧縮では、圧縮画像は知覚できるほど低い品質となり、最適なユーザ体験が得られない場合がある。

本明細書で提供される背景技術の説明は、本開示の文脈を概して提示するためのものである。現在名前を挙げている発明者の研究は、この背景技術のセクションに記載されている限りにおいて、出願時に従来技術とみなされないことがある説明の態様と同様に、本開示に対する従来技術として明示的にも暗示的にも認められない。

概要
本明細書で説明する実施形態は、圧縮設定を生成するための方法、デバイス、およびコンピュータ読取可能媒体に関する。方法は、ユーザアカウントに関連付けられた入力画像を取得することと、特徴検出機械学習モデルを使用して、入力画像の１つ以上の特徴を決定することと、ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、入力画像内の１つ以上の特徴に基づいて、入力画像の圧縮設定を決定することと、圧縮設定に基づいて、入力画像を圧縮することとを備えてもよい。

いくつかの実施形態では、特徴検出機械学習モデルは、デジタル画像の訓練セットと、対応する特徴とを取得することと、訓練セットと対応する特徴とに基づいて、特徴検出機械学習モデルを訓練することとによって生成され、訓練後、特徴検出機械学習モデルは、特徴検出機械学習モデルに提供される入力画像内の画像特徴を識別することが可能である。いくつかの実施形態では、特徴検出機械学習モデルは、複数のネットワーク層を有する畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）を含み、各ネットワーク層は、異なる抽象化レベルで１つ以上の画像特徴を抽出する。いくつかの実施形態では、ユーザ固有機械学習モデルは、１つ以上の先行画像を参照したユーザアクションを示す、ユーザに関連付けられたユーザ固有の特徴の訓練セットを取得することと、ユーザ固有の特徴と１つ以上の先行画像とに基づいて、ユーザ固有機械学習モデルを訓練することとによって生成され、訓練後、ユーザ固有機械学習モデルは、ユーザ固有機械学習モデルに提供される入力画像のレーティングを決定する。いくつかの実施形態では、１つ以上の先行画像のそれぞれの画像特徴は、特徴検出機械学習モデルを１つ以上の先行画像に適用することによって得られる。

いくつかの実施形態では、方法はさらに、各々が異なる圧縮設定で圧縮されたサンプル画像の２つ以上のバージョンを有するユーザアカウントに関連付けられたユーザに、第１のユーザインターフェースを提供することと、特定のバージョンのサンプル画像を識別するユーザ入力を、ユーザから取得することと、サンプル画像の特定のバージョンに関連付けられた圧縮設定を、ユーザアカウントのベースライン圧縮設定として選択することとを備え得る。いくつかの実施形態では、圧縮設定を決定することは、ユーザ固有機械学習モデルが、入力画像のレーティングを決定することと、レーティングを圧縮設定にマッピングすることとを含み、マッピングはベースライン圧縮設定に基づく。

いくつかの実施形態では、方法はさらに、入力画像のレーティングが重要度閾値を満たすと判断することと、レーティングが重要度閾値を満たすという判断に応答して、ユーザが入力画像を共有するという提案を提供すること、重要度閾値を満たさないユーザアカウントに関連付けられた他の画像のバックアップよりも、入力画像のバックアップを優先すること、または、後続画像内に描写されるシーンが入力画像の１つ以上の特徴のうちの少なくとも１つを有する場合、後続画像の取り込みのための命令を含む第２のユーザインターフェースを提供することのうちの１つ以上を行うこととを備え得る。

いくつかの実施形態は、コンピューティングデバイスを備えてもよく、コンピューティングデバイスは、プロセッサと、プロセッサによって実行されると、プロセッサに動作を実行させる命令を格納したメモリとを備え、動作は、ユーザアカウントに関連付けられた入力画像を取得することと、特徴検出機械学習モデルを使用して、入力画像の１つ以上の特徴を決定することと、ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、入力画像内の１つ以上の特徴に基づいて、入力画像の圧縮設定を決定することと、圧縮設定に基づいて、入力画像を圧縮することとを含む。

いくつかの実施形態では、特徴検出機械学習モデルは、デジタル画像の訓練セットと、対応する特徴とを取得することと、訓練セットと対応する特徴とに基づいて、特徴検出機械学習モデルを訓練することとによって生成され、訓練後、特徴検出機械学習モデルは、特徴検出機械学習モデルに提供される入力画像内の画像特徴を識別することが可能である。いくつかの実施形態では、ユーザ固有機械学習モデルは、１つ以上の先行画像を参照したユーザアクションを示す、ユーザに関連付けられたユーザ固有の特徴の訓練セットを取得することと、ユーザ固有の特徴と１つ以上の先行画像とに基づいて、ユーザ固有機械学習モデルを訓練することとによって生成され、訓練後、ユーザ固有機械学習モデルは、ユーザ固有機械学習モデルに提供される入力画像のレーティングを決定する。

いくつかの実施形態では、メモリはさらに、プロセッサによって実行されると、プロセッサにさらに別の動作を実行させる命令を格納し、さらに別の動作は、各々が異なる圧縮設定で圧縮されたサンプル画像の２つ以上のバージョンを有するユーザアカウントに関連付けられたユーザに、第１のユーザインターフェースを提供することと、特定のバージョンのサンプル画像を識別するユーザ入力を、ユーザから取得することと、サンプル画像の特定のバージョンに関連付けられた圧縮設定を、ユーザアカウントのベースライン圧縮設定として選択することとを含む。いくつかの実施形態では、圧縮設定を決定することは、ユーザ固有機械学習モデルが、入力画像のレーティングを決定することと、レーティングを圧縮設定にマッピングすることを含み、マッピングはベースライン圧縮設定に基づく。

いくつかの実施形態は、１つ以上のコンピュータによって実行されると、１つ以上のコンピュータに動作を実行させる命令を格納した非一時的なコンピュータ読取可能媒体を備えてもよく、動作は、ユーザアカウントに関連付けられた入力画像を取得することと、特徴検出機械学習モデルを使用して、入力画像の１つ以上の特徴を決定することと、ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、入力画像内の１つ以上の特徴に基づいて、入力画像の圧縮設定を決定することと、圧縮設定に基づいて入力画像を圧縮することとを含む。

いくつかの実施形態では、特徴検出機械学習モデルは、デジタル画像の訓練セットと、対応する特徴とを取得することと、訓練セットと対応する特徴とに基づいて、特徴検出機械学習モデルを訓練することとによって生成され、訓練後、特徴検出機械学習モデルは、特徴検出機械学習モデルに提供される入力画像内の画像特徴を識別することが可能である。いくつかの実施形態では、ユーザ固有機械学習モデルは、１つ以上の先行画像を参照したユーザアクションを示す、ユーザに関連付けられたユーザ固有の特徴の訓練セットを取得することと、ユーザ固有の特徴と１つ以上の先行画像とに基づいて、ユーザ固有機械学習モデルを訓練することとによって生成され、訓練後、ユーザ固有機械学習モデルは、ユーザ固有機械学習モデルに提供される入力画像のレーティングを決定する。いくつかの実施形態では、訓練セットはさらに、１つ以上の先行画像のそれぞれの画像特徴を含む。

いくつかの実施形態では、動作はさらに、各々が異なる圧縮設定で圧縮された２つ以上のバージョンのサンプル画像を有するユーザアカウントに関連付けられたユーザに、第１のユーザインターフェースを提供することと、特定のバージョンのサンプル画像を識別するユーザ入力を、ユーザから取得することと、サンプル画像の特定のバージョンに関連付けられた圧縮設定を、ユーザアカウントのベースライン圧縮設定として選択することとを含む。いくつかの実施形態では、圧縮設定を決定することは、ユーザ固有機械学習モデルが、入力画像のレーティングを決定することと、レーティングを圧縮設定にマッピングすることとを含み、マッピングはベースライン圧縮設定に基づく。

本明細書で説明する１つ以上の実施形態に使用され得るネットワーク環境の例を示すブロック図である。 本明細書で説明する１つ以上の実施形態に使用され得るデバイスの例を示すブロック図である。 いくつかの実施形態に係る、入力画像内の１つ以上の特徴を識別するために特徴検出機械学習モデルを使用し、画像の１つ以上の特徴から圧縮設定を決定するためにユーザ固有機械学習モデルを使用する方法の例を示すフロー図である。 いくつかの実施形態に係る、訓練モデルを作成するための方法の例を示すフロー図である。 いくつかの実施形態に係る、モデルを入力画像に適用するための方法の例を示すフロー図である。

詳細な説明
ユーザは、スマートフォンまたは他のデバイスを介してなど、カメラを使用して画像を取り込む。たとえば、画像は、静止画像、シネマグラフ／動画像、またはビデオからの画像フレームを含み得る。ユーザは、クライアントデバイスまたはサーバ、たとえば、画像ホスティングサービスを提供するサーバに画像を格納し得る。画像の閲覧および／または編集、スライドショー、コラージュなどの画像等の画像ベースの創作物の生成、画像の共有、画像をソーシャルネットワークまたはチャットアプリケーションに投稿し、他のユーザが画像に「いいね！」とする、または画像に載せることなどで画像に対する承認の指示を提供するなど、ユーザが画像を管理できるようにするアプリケーションを、ユーザのクライアントデバイスおよび／またはサーバを介して提供することができる。

クライアントデバイス上またはサーバにおける記憶空間は有限である。画像を削除せずに追加の記憶空間を得る１つの方法は、画像のファイルサイズを縮小するために画像圧縮を使用することである。しかしながら、非可逆圧縮は、画質を劣化させて、ユーザに関連付けられた全ての画像が画像圧縮を受けるときに、最適なユーザ経験が得られない可能性がある。

ユーザアカウントが多数の画像を有する場合、それらの画像のサブセットは、ユーザが特に好む画像である可能性が高い。たとえば、一部のユーザは、風景写真の印刷を楽しむため、それらの風景写真の品質についてこだわりが強い場合がある。他の人々は、これらの人物写真を家族と共有することを楽しむか、または写真撮影ビジネスを経営していることもあるので、人の高解像度人物写真についてこだわりが強い場合がある。領収書、スクリーンショット、または他の機能画像（たとえば、ミーム画像、名刺の写真、新聞記事など）の画質は、それほど重要ではない場合がある。このように、画像圧縮による損失に対するユーザの認識は、画像のタイプおよび画像に関連付けられたユーザアカウントに応じて決まる可能性がある。したがって、どの画像がユーザにとって重要である可能性が高いかを識別することが有利である。いくつかの実施形態では、画像管理アプリケーションは、第１の画像内の特徴を識別する特徴検出機械学習モデルを生成および利用する。画像管理アプリケーションはまた、ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを生成し得る。画像管理アプリケーションは、ユーザ固有機械学習モデルを使用して、第１の画像の圧縮設定を決定し得る。画像管理アプリケーションは、圧縮設定に基づいて第１の画像を圧縮して、結果として生じる圧縮画像が元の画像よりも小さいファイルサイズであるため、記憶空間を解放し得る。

図面は、同様の要素を識別するために同様の参照番号を使用する。「１０３ａ」などの参照番号の後の文字は、本文がその特定の参照番号を有する要素に具体的に言及していることを示す。「１０３」などの後に文字がない本文中の参照番号は、その参照番号を有する図中の要素のいずれかまたはすべてを指す（たとえば、本文中の「１０３」は、図中の参照番号「１０３ａ」および／または「１０３ｂ」を指す）。

ネットワーク環境１００の例
図１は、本明細書で説明するいくつかの実施形態において使用され得るネットワーク環境１００の例を示すブロック図である。いくつかの実施形態では、ネットワーク環境１００は、１つ以上のサーバシステム、たとえば、図１の例におけるサーバシステム１０１を含む。サーバシステム１０１は、たとえば、ネットワーク１０５と通信することができる。サーバシステム１０１は、サーバデバイス１０４およびデータベース１９９または他のストレージデバイスを含み得る。データベース１９９は、１つ以上の画像および／またはビデオと、１つ以上の画像および／またはビデオに関連付けられたメタデータとを格納し得る。いくつかの実施形態では、サーバデバイス１０４は、画像管理アプリケーション１０３ａを提供し得る。画像管理アプリケーション１０３ａは、データベース１９９に格納された画像にアクセスし得る。

ネットワーク環境１００はまた、ネットワーク１０５を介して互いにおよび／またはサーバシステム１０１と通信し得る１つ以上のクライアントデバイス、たとえばクライアントデバイス１１５ａ，１１５ｎを含み得る。ネットワーク１０５は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、スイッチまたはハブ接続等のうちの１つ以上を含む、任意のタイプの通信ネットワークであり得る。いくつかの実施形態では、ネットワーク１０５は、たとえば、ピア・ツー・ピア（peer-to-peer）ワイヤレスプロトコル（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ、Ｕｌｔｒａｗｉｄｅｂａｎｄ等）などを使用する、デバイス間のピア・ツー・ピア通信を含み得る。２つのクライアントデバイス１１５ａと１１５ｂとの間のピア・ツー・ピア通信の一例が、矢印１３２によって示されている。

説明を容易にするために、図１は、サーバシステム１０１、サーバデバイス１０４、およびデータベース１９９について１つのブロックを示し、クライアントデバイス１１５ａおよび１１５ｎについて２つのブロックを示す。サーバブロック１０１，１０４および１９９は、複数のシステム、サーバデバイス、およびネットワークデータベースを表してもよく、ブロックは、図示されるものとは異なる構成で提供され得る。たとえば、サーバシステム１０１は、ネットワーク１０５を介して他のサーバシステムと通信することができる複数のサーバシステムを表し得る。いくつかの実施形態では、サーバシステム１０１は、たとえば、クラウドホスティングサーバを含み得る。いくつかの例では、データベース１９９および／または他のストレージデバイスは、サーバデバイス１０４とは別個のサーバシステムブロック（複数可）内に設けることができ、ネットワーク１０５を介してサーバデバイス１０４および他のサーバシステムと通信することができる。

任意の数のクライアントデバイス１１５が存在し得る。各クライアントデバイスは、任意のタイプの電子デバイス、たとえば、デスクトップコンピュータ、ラップトップコンピュータ、ポータブルまたはモバイルデバイス、携帯電話、スマートフォン、タブレットコンピュータ、カメラ、スマートディスプレイ、テレビ、ＴＶセットトップボックスまたは娯楽デバイス、ウェアラブルデバイス（たとえば、ディスプレイ眼鏡またはゴーグル、腕時計、ヘッドセット、アームバンド、宝飾品など）、携帯情報端末（ＰＤＡ）、メディアプレーヤ、ゲームデバイスなどであり得る。いくつかのクライアントデバイスはまた、データベース１９９または他のストレージと同様のローカルデータベースを含み得る。いくつかの実施形態では、ネットワーク環境１００は、図示されるコンポーネントのすべてを有していなくてもよく、および／または本明細書で説明するものの代わりに、またはそれらに加えて、他のタイプの要素を含む他の要素を有してもよい。

さまざまな実施形態では、ユーザ１２５は、それぞれのクライアントデバイス１１５ａ，１１５ｎを使用して、サーバシステム１０１と、および／または互いに通信し得る。いくつかの例では、ユーザ１２５は、サーバシステム１０１上で実装されるネットワークサービス、たとえば、ソーシャルネットワークサービス、画像ホスティングサービス、または他のタイプのネットワークサービスを介して、それぞれのクライアントデバイスおよび／またはサーバシステム１０１上で実行されるアプリケーションを介して互いに対話してもよい。たとえば、それぞれのクライアントデバイス１１５ａ，１１５ｎは、１つ以上のサーバシステム、たとえばサーバシステム１０１との間でデータを通信し得る。

いくつかの実施形態では、サーバシステム１０１は、各クライアントデバイス１１５がサーバシステム１０１および／またはネットワークサービスにアップロードされた通信コンテンツまたは共有コンテンツを受信することができるように、適切なデータをクライアントデバイス１１５ａ，１１５ｎに提供してもよい。いくつかの例では、ユーザ１２５は、音声もしくはビデオ会議、音声、ビデオ、もしくはテキストチャット、または他の通信モードもしくはアプリケーションを介して対話することができる。サーバシステム１０１によって実装されるネットワークサービスは、ユーザ１２５が、さまざまな通信を実行すること、リンクおよび関連付けを形成すること、画像、テキスト、ビデオ、音声、および他のタイプのコンテンツなどの共有コンテンツをアップロードおよびポストすること、ならびに／または他の機能を実行することを可能にするシステムを含み得る。たとえば、クライアントデバイス１１５は、クライアントデバイス１１５に送信またはストリーミングされ、サーバおよび／もしくはネットワークサービスを介して異なるクライアントデバイス１１５から（または直接異なるクライアントデバイス１１５から）発信されるか、またはサーバシステム１０１および／もしくはネットワークサービスから発信されるコンテンツポストなどの受信データを表示することができる。いくつかの実施形態では、クライアントデバイス１１５ａ，１１５ｎは、たとえば、上述したようにクライアントデバイス１１５，１１５ｎ間のピア・ツー・ピア通信を使用して、互いに直接通信することができる。いくつかの実施形態では、「ユーザ」は、１つ以上のプログラムまたは仮想エンティティに加えて、システムまたはネットワーク１０５とインターフェースする人物を含み得る。

いくつかの実施形態では、クライアントデバイス１１５ａ，１１５ｎのいずれかは、１つ以上のアプリケーションを提供することができる。たとえば、図１に示すように、クライアントデバイス１１５ａは、カメラアプリケーション１５２および画像管理アプリケーション１０３ｂを提供し得る。クライアントデバイス１１５ｎはまた、同様のアプリケーションを提供し得る。カメラアプリケーション１５２は、それぞれのクライアントデバイス１１５ａのユーザ１２５ａに、それぞれのクライアントデバイス１１５ａのカメラを使用して画像を取り込む能力を提供し得る。たとえば、カメラアプリケーション１５２は、クライアントデバイス１１５ａ上で実行するソフトウェアアプリケーションでもよい。

いくつかの実施形態では、カメラアプリケーション１５２は、ユーザインターフェースを提供してもよい。たとえば、ユーザインターフェースは、クライアントデバイス１１５ａのユーザが、画像取り込みモード、たとえば、静止画像（または写真）モード、バーストモード（たとえば、短時間での連続枚数の画像の取り込み）、動画モード、ビデオモード、高ダイナミックレンジ（high dynamic range：ＨＤＲ）モード、解像度設定などを選択することを可能にし得る。たとえば、ビデオモードは、複数のフレームを含むビデオの取り込みに対応してもよく、任意の長さでもよい。さらに、ビデオモードは、異なるフレームレート、たとえば、２５フレーム／秒（ｆｐｓ）、３０ｆｐｓ、５０ｆｐｓ、６０ｆｐｓなどをサポートし得る。画像取り込みの１つ以上のパラメータは、画像またはビデオの取り込み中に変更され得る。たとえば、ユーザは、ビデオを取り込んでいる間に、シーンにズームインまたはズームアウトするためにクライアントデバイス１１５ａを使用し得る。

いくつかの実施形態では、カメラアプリケーション１５２は、図３および図４Ａ～図４Ｂを参照して本明細書で説明する方法を（たとえば、部分的にまたは全体的に）実装してもよい。いくつかの実施形態では、画像管理アプリケーション１０３ａおよび／または画像管理アプリケーション１０３ｂは、図３および図４Ａ～図４Ｂを参照して本明細書で説明する方法を（たとえば、部分的にまたは全体的に）実装してもよい。

カメラアプリケーション１５２および画像管理アプリケーション１０３ｂは、クライアントデバイス１１５ａのハードウェアおよび／またはソフトウェアを使用して実装され得る。異なる実施形態では、画像管理アプリケーション１０３ｂは、たとえば、クライアントデバイス１１５ａ，１１５ｎのいずれかで実行されるスタンドアロンアプリケーションでもよい、またはサーバシステム１０１上に設けられる画像管理アプリケーション１０３ａと連携して動作してもよい。

ユーザの許可を得て、画像管理アプリケーション１０３は、画像またはビデオを格納すること（たとえば、サーバシステム１０１のデータベース１９９にバックアップすること）、画像またはビデオを向上させること、画像またはビデオを安定させること、画像内の１つ以上の特徴、たとえば、顔、身体、オブジェクトのタイプ、動きのタイプを認識すること、画像を圧縮すること等の、１つ以上の自動機能を行い得る。いくつかの例では、画像またはビデオ安定化は、クライアントデバイス１１５ａの加速度計、ジャイロスコープ、もしくは他のセンサからの入力に基づいて、および／または動画もしくはビデオの複数のフレームの比較に基づいて実行され得る。

画像管理アプリケーション１０３はまた、ユーザインターフェースにおける（たとえば、単一の画像を含むワンアップビューにおける、複数の画像を含むグリッドビューにおける）画像および／またはビデオの表示、画像またはビデオの編集（たとえば、画像設定の調整、フィルタの適用、画像焦点の変更、動画もしくはビデオの１つ以上のフレームの除去）、（たとえば、クライアントデバイス１１５ａ，１１５ｎの）他のユーザとの画像の共有、画像のアーカイブ（たとえば、一次ユーザインターフェースに現れないような画像の保存）、画像ベースの創作物の生成（たとえば、コラージュ、フォトブック、アニメーション、ストーリー、ビデオループなどの動画のモーションベースのアーチファクトなど）等の画像管理機能を提供し得る。いくつかの実施形態では、画像ベースの創作物を生成するために、画像管理アプリケーション１０３は、画像またはビデオと関連付けられた１つ以上のラベルを利用してもよい。

いくつかの実施形態では、画像管理アプリケーション１０３は、画像の１つ以上の特徴を決定し、画像内の１つ以上の特徴に基づいて、画像の圧縮設定を決定してもよい。いくつかの実施形態では、画像管理アプリケーション１０３は、画像またはビデオに関連付けられた圧縮設定および圧縮画像またはビデオを、データベース１９９および／またはクライアントデバイス１１５上のローカルデータベース（図示せず）に格納してもよい。いくつかの実施形態では、画像管理アプリケーション１０３は、元の画像を直ちに削除するか、元の画像を保存してユーザに削除を確認させるか、または元の画像を一定日数保存した後、元の画像を削除する。

クライアントデバイス１１５上のユーザインターフェースは、画像、ビデオ、データ、および他のコンテンツ、ならびに通信、プライバシー設定、通知、および他のデータを含む、ユーザコンテンツおよび他のコンテンツの表示を可能にすることができる。そのようなユーザインターフェースは、クライアントデバイス１１５上のソフトウェア、サーバデバイス１０４上のソフトウェア、および／またはサーバデバイス１０４上で実行されるクライアントソフトウェアとサーバソフトウェアとの組み合わせ、たとえば、サーバシステム１０１と通信するアプリケーションソフトウェアまたはクライアントソフトウェアを使用して表示することができる。ユーザインターフェースは、クライアントデバイス１１５またはサーバデバイス１０４の表示デバイス、たとえば、タッチスクリーンまたは他のディスプレイ画面、プロジェクタなどによって表示することができる。いくつかの実施形態では、サーバシステム１０１上で実行されるアプリケーションプログラムは、クライアントデバイス１１５でユーザ入力を受信し、クライアントデバイス１１５で視覚データ、音声データなどのデータを出力するために、クライアントデバイス１１５と通信することができる。

いくつかの実施形態では、サーバシステム１０１および／または１つ以上のクライアントデバイス１１５ａ，１１５ｎのうちのいずれかは、通信アプリケーションプログラムを提供することができる。通信プログラムは、システム（たとえば、クライアントデバイス１１５またはサーバシステム１０１）が他のデバイスと通信するためのオプションを提供することを可能にし得る。通信プログラムは、サーバシステム１０１またはクライアントデバイス１１５に関連付けられた表示デバイス上に表示される１つ以上の関連付けられたユーザインターフェースを提供し得る。ユーザインターフェースは、通信モード、通信するユーザまたはデバイスなどを選択するためのさまざまなオプションを、ユーザに提供し得る。いくつかの例では、通信プログラムは、コンテンツ投稿を、たとえば放送エリアに送信またはブロードキャストするオプションを提供することができ、かつ／または、コンテンツ投稿がデバイスによって受信されており、たとえばデバイスが投稿のために定義されたブロードキャストエリア内にあることを示す通知を出力することができる。通信プログラムは、送信されたコンテンツ投稿および受信されたコンテンツ投稿を、たとえば、さまざまなフォーマットのいずれかで表示または他の態様では出力することができる。コンテンツ投稿は、たとえば、他のユーザと共有される画像を含み得る。

本明細書で説明する特徴の他の実施形態は、任意のタイプのシステムおよび／またはサービスを使用することができる。たとえば、ソーシャルネットワーキングサービスの代わりに、またはこれに加えて、（たとえば、インターネットに接続された）他のネットワークサービスを使用することができる。任意のタイプの電子デバイスが、本明細書で説明する特徴を利用することができる。いくつかの実施形態は、コンピュータネットワークから切断された、またはコンピュータネットワークに断続的に接続された１つ以上のクライアントまたはサーバデバイス上で、本明細書で説明する１つ以上の特徴を提供することができる。いくつかの例では、表示デバイスを含むかまたはそれに接続されたクライアントデバイス１１５は、クライアントデバイス１１５にローカルなストレージデバイスに格納された、たとえば、通信ネットワークを介して以前に受信されたデータ（たとえば、コンテンツ）を表示することができる。

デバイス２００の例
図２は、本明細書で説明する１つ以上の特徴を実装するために使用され得るデバイス２００の例を示すブロック図である。一例では、デバイス２００は、クライアントデバイス１１５、たとえば、図１に示すクライアントデバイス１１５ａ，１１５ｎのいずれかを実装するために使用され得る。または、デバイス２００は、サーバデバイス、たとえば、図１に示すサーバデバイス１０４を実装することができる。いくつかの実施形態では、デバイス２００は、クライアントデバイス、サーバデバイス、またはクライアントデバイスとサーバデバイスとの両方を実装するために使用されてもよい。デバイス２００は、任意の適切なコンピュータシステム、サーバ、または上述のような他の電子もしくはハードウェアデバイスであり得る。

本明細書で説明する１つ以上の方法は、任意のタイプのコンピューティングデバイス上で実行することができるスタンドアロンプログラム、ウェブブラウザ上で実行されるプログラム、モバイルコンピューティングデバイス（たとえば、携帯電話、スマートフォン、スマートディスプレイ、タブレットコンピュータ、ウェアラブルデバイス（腕時計、アームバンド、宝飾品、ヘッドウェア、仮想現実ゴーグルまたは眼鏡、拡張現実ゴーグルまたは眼鏡、ヘッドマウントディスプレイ等）、ラップトップコンピュータ等）上で実行されるモバイルアプリケーション（「アプリ」）で実行することができる。一例では、クライアント／サーバアーキテクチャを使用することができ、たとえば、（クライアントデバイスとしての）モバイルコンピューティングデバイスは、ユーザ入力データをサーバデバイスに送信し、出力用の（たとえば、表示用の）最終出力データをサーバから受信する。別の例では、すべての計算は、モバイルコンピューティングデバイス上のモバイルアプリケーション（および／または他のアプリケーション）内で実行され得る。別の例では、計算は、モバイルコンピューティングデバイスと１つ以上のサーバデバイスとの間で分割され得る。

いくつかの実施形態では、デバイス２００は、プロセッサ２０２と、メモリ２０４と、入出力（Ｉ／Ｏ）インターフェース２０６と、カメラ２０８と、表示デバイス２１０とを含む。プロセッサ２０２は、プログラムコードを実行し、デバイス２００の基本動作を制御するための１つ以上のプロセッサおよび／または処理回路であり得る。「プロセッサ」は、データ、信号もしくは他の情報を処理する任意の適切なハードウェアシステム、機構またはコンポーネントを含む。プロセッサは、１つ以上のコア（たとえば、シングルコア、デュアルコア、またはマルチコア構成）を有する汎用中央処理装置（ＣＰＵ）、複数の処理ユニット（たとえば、マルチプロセッサ構成）、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、機能実現専用回路、ニューラルネットワークモデルベース処理を実装する専用プロセッサ、神経回路、行列計算（たとえば、行列乗算）に最適化したプロセッサを有するシステムを含んでもよい、または他のシステムを含んでもよい。いくつかの実施形態では、プロセッサ２０２は、ニューラルネットワーク処理を実装する１つ以上のコプロセッサを含み得る。いくつかの実施形態では、プロセッサ２０２は、確率的出力を生成するためにデータを処理するプロセッサでもよく、たとえば、プロセッサ２０２によって生成される出力は、不正確な場合もあり、または予期される出力からの範囲内で正確な場合もある。処理は、特定の地理的位置に限定される必要はなく、時間的な制限もない。たとえば、プロセッサは、リアルタイム、オフライン、バッチモード等でその機能を実行してもよい。処理の一部は、異なる時間に、異なる位置で、異なる（または同じ）処理システムによって実行され得る。コンピュータは、メモリと通信する任意のプロセッサであり得る。

メモリ２０４は、典型的には、プロセッサ２０２によるアクセスのためにデバイス２００内に設けられ、プロセッサまたはプロセッサのセットによる実行のための命令の格納に好適な、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去可能読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ等の任意の好適なプロセッサ読取可能記憶媒体でもよく、プロセッサ２０２とは別に配置されてもよい、および／またはプロセッサ２０２と統合されてもよい。メモリ２０４は、オペレーティングシステム２１２、他のアプリケーション２１４、アプリケーションデータ２１６、および画像管理アプリケーション１０３を含む、プロセッサ２０２によってサーバデバイス２００上で動作するソフトウェアを記憶することができる。

他のアプリケーション２１４は、カメラアプリケーション、画像ギャラリまたは画像ライブラリアプリケーション、画像管理アプリケーション、データ表示エンジン、ウェブホスティングエンジンまたはアプリケーション、画像表示エンジンまたはアプリケーション、メディア表示アプリケーション、通信エンジン、通知エンジン、ソーシャルネットワーキングエンジン、メディア共有アプリケーション、マッピングアプリケーションなどのアプリケーションを含み得る。本明細書で開示される１つ以上の方法は、いくつかの環境およびプラットフォームにおいて、たとえば、任意のタイプのコンピューティングデバイス上で実行することができるスタンドアロンコンピュータプログラムとして、ウェブページを有するウェブアプリケーションとして、モバイルコンピューティングデバイス上で実行されるモバイルアプリケーション（「アプリ」）などとして動作可能である。いくつかの実施形態では、他のアプリケーション２１４は各々、プロセッサ２０２が、本明細書で説明する機能、たとえば、図３および図４Ａ～図４Ｂの方法のうちの一部または全てを行うことを可能にする命令を含み得る。

アプリケーションデータ２１６は、デバイス２００用の他のアプリケーション２１４またはハードウェアによって生成されるデータであり得る。たとえば、アプリケーションデータ２１６は、カメラ２０８によって取り込まれた画像、他のアプリケーション２１４（たとえば、ソーシャルネットワーキングアプリケーション）によって識別されたユーザアクションなどを含み得る。

入出力インターフェース２０６は、デバイス２００を他のシステムおよびデバイスとインターフェースすることを可能にする機能を提供することができる。インターフェースされたデバイスは、デバイス２００の一部として含まれ得るか、または別個であり得、デバイス２００と通信し得る。たとえば、ネットワーク通信デバイス、ストレージデバイス（たとえば、メモリおよび／またはデータベース１９９）、ならびに入出力デバイスは、入出力インターフェース２０６を介して通信することができる。いくつかの実施形態では、入出力インターフェースは、入力デバイス（キーボード、ポインティングデバイス、タッチスクリーン、マイクロフォン、カメラ、スキャナ、センサなど）および／または出力デバイス（表示デバイス、スピーカデバイス、プリンタ、モータなど）等のインターフェースデバイスに接続することができる。

入出力インターフェース２０６に接続することができるインターフェースされたデバイスのいくつかの例は、コンテンツ、たとえば、画像、ビデオ、および／または本明細書で説明するような出力アプリケーションのユーザインターフェースを表示するために使用することができる１つ以上の表示デバイス２１０を含み得る。表示デバイス２１０は、ローカル接続（たとえば、ディスプレイバス）を介して、および／またはネットワーク接続を介してデバイス２００に接続することができ、任意の適切な表示デバイスであり得る。表示デバイス２１０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、またはプラズマディスプレイ画面、陰極線管（ＣＲＴ）、テレビ、モニタ、タッチスクリーン、三次元ディスプレイ画面、または他の視覚表示デバイスなどの任意の好適な表示デバイスを含み得る。たとえば、表示デバイス２１０は、モバイルデバイス上に提供されるフラットディスプレイ画面、眼鏡フォームファクタもしくはヘッドセットデバイスに埋め込まれた複数のディスプレイ画面、またはコンピュータデバイス用のモニタスクリーンであり得る。

入出力インターフェース２０６は、他の入力および出力デバイスにインターフェースすることができる。いくつかの例は、画像を取り込むことができる、カメラ２０８などの１つ以上のカメラを含む。いくつかの実施形態は、音を（たとえば、取り込まれた画像の一部、音声コマンドなどとして）取り込むためのマイクロフォン、音を出力するための音声スピーカデバイス、または他の入力および出力デバイスを提供することができる。

カメラ２０８は、複数のフレームを含むビデオを取り込むことができる任意のタイプのカメラであり得る。本明細書で使用されるカメラは、任意の画像取り込みデバイスを含み得る。いくつかの実施形態では、カメラ２０８は、異なる能力、たとえば、前向き対後向き、異なるズームレベル、取り込まれた画像の画像解像度等を有する複数のレンズを含んでもよい。いくつかの実施形態では、デバイス２００は、深度センサ、加速度計、位置センサ（たとえば、全地球測位システム（ＧＰＳ））、ジャイロスコープなどの１つ以上のセンサを含んでもよい。いくつかの実施形態では、１つ以上のセンサは、カメラ２０８とともに動作して、カメラ２０８を使用して取り込まれたビデオの異なるフレームに対応するセンサ読取値を取得してもよい。

画像管理アプリケーション１０３の例
画像管理アプリケーション１０３は、特徴検出機械学習モジュール２１８と、ユーザ固有機械学習モジュール２２０と、圧縮モジュール２２２と、ユーザインターフェースモジュール２２４とを含み得る。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、画像から特徴を識別するために特徴検出機械学習モデルを生成する。たとえば、特徴は、多次元特徴空間（埋め込み）におけるベクトルでもよい。同様の特徴を有する画像は、同様の特徴ベクトルを有してもよく、たとえば、そのような画像の特徴ベクトル間のベクトル距離は、異なる画像間のベクトル距離より小さくてもよい。特徴空間は、画像のさまざまな要因、たとえば、描写された主題（画像内で検出されたオブジェクト）、画像の合成、色情報、画像配向、画像メタデータ、画像内で認識される特定のオブジェクト（たとえば、ユーザの許可を得た既知の顔）等の関数でもよい。

ユーザ固有機械学習モジュール２２０は、ユーザに関連付けられたユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを生成し得る。ユーザ固有機械学習モジュール２２０は、ユーザ固有機械学習モデルを使用して、画像内の特徴に基づいて画像の圧縮設定を決定し得る。これによって、有利なことに、ユーザが関心を有するものに基づいてできるだけ高品質の画像を保ちながら、記憶空間が保存される。たとえば、ユーザ固有機械学習モデルは、夕日の画像が高圧縮比で圧縮されるべきであるという指示を出力し得る。たとえば、そのような指示は、特徴検出機械学習モジュール２１８によって検出された特徴を含む、画像を分析するユーザ固有機械学習モデルに基づいて決定され得る。画像は夕日を含むので、画像がユーザにとって重要ではないと判断する特徴に画像が関連付けられていない場合、圧縮設定は、画像に対して最高レベルの圧縮でなければならない。

特徴検出機械学習モジュール２１８の例
特徴検出機械学習モジュール２１８は、入力画像の１つ以上の特徴を決定する特徴検出機械学習モデルを生成する。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、特徴検出機械学習モデルを生成するためにプロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、デバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセス可能かつ実行可能であり得る。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、訓練済みモデル、具体的には、特徴検出機械学習モデルを生成するために、訓練データを使用してもよい。たとえば、訓練データは、画像（たとえば、静止画像、シネマグラフ／動画像、またはビデオからの画像フレームなど）および任意に、対応する特徴（たとえば、画像内のオブジェクトを識別する、画像の各々と関連付けられたラベルまたはタグ）等の任意の種類のデータを含んでもよい。

たとえば、訓練データは、複数のデジタル画像を含む訓練セットと対応する特徴とを含み得る。いくつかの実施形態では、訓練データは、回転され得るか、または異常な特性（たとえば、画像を取り込むために使用されるカメラのアーチファクト）を有し得るユーザ写真が提供される場合に、モデルに不変性をもたらすために、回転、光シフト、および色シフト等の拡張を有する画像を含んでもよい。訓練データは、任意のソース、たとえば、訓練のために具体的にマークされたデータリポジトリ、機械学習用の訓練データとして使用するための許可が提供されるデータ等から取得されてもよい。１人以上のユーザが、機械学習モデルを訓練するために、それぞれのユーザデータの使用を許可する実施形態では、訓練データは、そのようなユーザデータを含んでもよい。ユーザがそれぞれのユーザデータの使用を許可する実施形態では、データは、画像／ビデオまたは画像／ビデオメタデータ（たとえば、画像、手動のタグまたはラベルを提供するユーザから生じ得る対応する特徴など）、通信（たとえば、ソーシャルネットワーク上のメッセージ；電子メール；テキストメッセージ、音声、ビデオなどのチャットデータ）、文書（たとえば、スプレッドシート、テキスト文書、プレゼンテーションなど）等の許可されたデータを含み得る。

いくつかの実施形態では、訓練データは、訓練されている文脈におけるユーザ入力またはアクティビティに基づかないデータ、たとえば、シミュレーションまたはコンピュータ生成画像／ビデオから生成されたデータ等の、訓練目的で生成された合成データを含んでもよい。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、別のアプリケーションから取り込まれ、編集されていない／転送された重みを使用する。たとえば、これらの実施形態では、訓練済みモデルは、たとえば、異なるデバイス上で生成され、画像管理アプリケーション１０３の一部として提供されてもよい。さまざまな実施形態では、訓練済みモデルは、（たとえば、ニューラルネットワークノードの数およびタイプ、ノード間の接続性、ならびにノードの複数の層への編成を定義する）モデル構造または形式と、関連付けられた重みとを含むデータファイルとして提供されてもよい。特徴検出機械学習モジュール２１８は、訓練済みモデル用のデータファイルを読み取り、訓練済みモデルにおいて指定されたモデル構造または形式に基づいて、ノード接続性、層、および重みを伴うニューラルネットワークを実装してもよい。

特徴検出機械学習モジュール２１８は、本明細書では特徴検出機械学習モデルと呼ばれる訓練済みモデルを生成する。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、アプリケーションデータ２１６（たとえば、入力画像）などのデータに特徴検出機械学習モデルを適用して、入力画像内の１つ以上の特徴を識別し、画像を表す特徴ベクトル（埋め込み）を生成するように構成されている。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、プロセッサ２０２によって実行されるソフトウェアコードを含んでもよい。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、プロセッサ２０２が特徴検出機械学習モデルを適用することを可能にする回路構成（たとえば、プログラマブルプロセッサの場合、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）の場合など）を指定し得る。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、ソフトウェア命令、ハードウェア命令、または組み合わせを含んでもよい。いくつかの実施形態では、特徴検出機械学習モジュール２１８は、特徴検出機械学習モジュール２１８を呼び出すために、たとえば、入力画像の１つ以上の特徴を決定するために特徴検出機械学習モデルをアプリケーションデータ２１６に適用するために、オペレーティングシステム２１２および／または他のアプリケーション２１４によって使用可能なアプリケーションプログラミングインターフェース（ＡＰＩ）を提供してもよい。

いくつかの実施形態では、特徴検出機械学習モデルは、１つ以上のモデル形式または構造を含んでもよい。いくつかの実施形態では、特徴検出機械学習モデルは、サポートベクターマシンを使用することができるが、いくつかの実施形態では、畳み込みニューラルネットワーク（ＣＮＮ）が好ましい。たとえば、モデル形式または構造は、線形ネットワーク、複数の層（たとえば、入力層と出力層との間の「隠れ層」であり、各層は線形ネットワークである）を実装する深層ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）（たとえば、入力データを複数の部分もしくはタイルに分割または区画し、１つ以上のニューラルネットワーク層を使用して各タイルを別々に処理し、各タイルの処理からの結果を集約するネットワーク）、シーケンス・ツー・シーケンス（sequence-to-sequence）ニューラルネットワーク（たとえば、文中の単語、ビデオ中のフレームなどのシーケンシャルデータを入力として受信し、結果シーケンスを出力として生成するネットワーク）等の任意のタイプのニューラルネットワークを含み得る。

モデル形式または構造は、さまざまなノード間の接続性およびノードの層への編成を指定し得る。たとえば、第１の層（たとえば、入力層）のノードは、入力データまたはアプリケーションデータ２１６として、データを受信し得る。そのようなデータは、たとえば、特徴検出機械学習モデルが、たとえば、ユーザアカウントと関連付けられた第１の画像等の入力画像の分析のために使用される場合、たとえば、ノードあたり１つ以上のピクセルを含み得る。後続の中間層は、モデル形式または構造において指定される接続性に従って、先行層のノードの出力を入力として受信し得る。これらの層は、隠れ層と呼ばれることもある。最終層（たとえば、出力層）は、機械学習アプリケーションの出力を生成する。たとえば、出力は、入力画像に関連付けられた画像特徴でもよい。いくつかの実施形態では、モデル形式または構造はまた、各層内のノードの数および／またはタイプも指定する。

特徴検出機械学習モジュール２１８によって出力される特徴は、対象（たとえば、夕日対特定の人）；画像に存在する色（緑色の丘対青色の湖）；色バランス；光源、角度、および強度；画像内のオブジェクトの位置（たとえば、三分割法に準拠）；物体の互いに対する位置（たとえば、被写界深度）、ショットの位置；焦点（前景対背景）；または影を含み得る。上述した特徴は人間が理解できるものであるが、出力される特徴は画像を代表する埋め込みまたは他の数学的な値でもよく、人間が解析できるものではない（たとえば、個々の特徴値が存在する色、オブジェクト位置などの特定の特徴に対応していない場合がある）ことが理解されるであろう。しかしながら、訓練済みモデルは、類似した画像について類似した特徴が出力されるように画像に対してロバストであり、有意な相違を有する画像は、相応して異なる特徴を有する。

いくつかの実施形態では、モデル形式は、ネットワーク層を有するＣＮＮであり、各ネットワーク層は、異なる抽象化レベルで画像特徴を抽出する。画像内の特徴を識別するために使用されるＣＮＮは、画像分類のために使用され得る。いくつかの実施形態では、ＣＮＮは、画像の特徴を識別するために使用されてもよく、次に、以下で説明されるように、分類層、またはより具体的には、完全接続フィードフォワードニューラルネットワーク出力層をユーザ固有機械学習モデルで置換することによって、転移学習が適用される。いくつかの実施形態では、ＣＮＮは、ＶＧＧｎｅｔ、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔ、Ｉｎｃｅｐｔｉｏｎネットワーク、または画像処理用途と見なされる任意の他の最先端のニューラルネットワークであり、ＩｍａｇｅＮｅｔ等のデジタル画像の訓練セットを使用して訓練される。モデルアーキテクチャは、多次元畳み込み、平均プーリング、最大プーリング、活性化関数、正規化、正則化、および適用される深層ニューラルネットワークのために実際に使用される他の層およびモジュールで構成される層の組合せならびに順序付けを含み得る。

異なる実施形態では、特徴検出機械学習モデルは、１つ以上のモデルを含み得る。モデルの１つまたは複数は、複数のノードを、またはＣＮＮの場合、モデル構造または形式ごとに層に配列されたフィルタバンクを含み得る。いくつかの実施形態では、ノードは、たとえば、１単位の入力を処理して１単位の出力を生成するように構成された、メモリのない計算ノードでもよい。ノードによって実行される計算は、たとえば、複数のノード入力の各々に重みを掛けることと、加重和を取得することと、加重和をバイアスまたは切片値で調整してノード出力を生成することとを含み得る。

いくつかの実施形態では、ノードによって実行される計算はまた、調整された加重和にステップ／活性化関数を適用することを含んでもよい。いくつかの実施形態では、ステップ／活性化関数は非線形関数でもよい。さまざまな実施形態では、そのような計算は、行列乗算などの演算を含み得る。いくつかの実施形態では、複数のノードによる計算は、たとえば、マルチコアプロセッサの複数のプロセッサコアを使用して、ＧＰＵの個々の処理ユニットを使用して、または専用ニューラル回路を使用して、並列に実行され得る。いくつかの実施形態では、ノードはメモリを含んでもよく、たとえば、後続の入力を処理する際に１つ以上の以前の入力を格納し、使用することができる。たとえば、メモリを有するノードは、長短記憶メモリ（long short-term memory：ＬＳＴＭ）ノードを含み得る。ＬＳＴＭノードは、ノードが有限状態機械（finite state machine：ＦＳＭ）のように作用することを可能にする状態を維持するために、メモリを使用し得る。そのようなノードを有するモデルは、連続データ、たとえば、文または段落内の単語、一連の画像、ビデオ内のフレーム、発話または他の音声等を処理する際に有用であり得る。たとえば、ゲーティングモデルにおいて使用されるヒューリスティックスベースのモデルは、先行画像に対応する１つ以上の以前に生成された特徴を格納し得る。

いくつかの実施形態では、特徴検出機械学習モデルは、個々のノードの埋め込みまたは重みを含んでもよい。たとえば、特徴検出機械学習モデルは、モデル形式または構造によって指定されるような層に編成された複数のノードとして開始されてもよい。初期化において、それぞれの重みが、モデル形式に従って接続される各対のノード、たとえば、ニューラルネットワークの連続層内のノード間の接続に適用され得る。たとえば、それぞれの重みは、ランダムに割り当てられてもよい、またはデフォルト値に初期化されてもよい。特徴検出機械学習モデルは、次に、たとえば、デジタル画像の訓練セットを使用して訓練されて、結果を生成してもよい。いくつかの実施形態では、全アーキテクチャのサブセットは、事前訓練された重みを活用するために、転移学習アプローチとして他の機械学習アプリケーションから再利用されてもよい。

たとえば、訓練は、教師あり学習技術の適用を含み得る。教師あり学習では、訓練データは、複数の入力（たとえば、デジタル画像のセット）と、入力ごとの対応する期待出力（たとえば、画像ごとの１つ以上の特徴）とを含み得る。特徴検出機械学習モデルの出力と期待出力との比較に基づいて、重みの値は、たとえば、特徴検出機械学習モデルが同様の入力を提供されたときに期待出力を生成する確率を高めるように、自動的に調整される。

いくつかの実施形態では、訓練は、教師なし学習技術の適用を含み得る。教師なし学習では、入力データ（たとえば、ラベル付けされた特徴を有する画像）のみが提供されてもよく、特徴検出機械学習モデルは、データを区別するように、たとえば、画像の特徴を複数のグループにクラスタリングするように訓練されてもよく、各グループは、何らかの態様で類似する特徴を有する画像を含む。

さまざまな実施形態では、訓練済みモデルは、モデル構造に対応する重みのセットを含む。デジタル画像の訓練セットが省略される実施形態では、特徴検出機械学習モジュール２１８は、たとえば、特徴検出機械学習モジュール２１８の開発者、第三者等によって、事前訓練に基づく特徴検出機械学習モデルを生成してもよい。いくつかの実施形態では、特徴検出機械学習モデルは、固定された、たとえば、重みを提供するサーバからダウンロードされた重みのセットを含んでもよい。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、オフライン方式で実装されてもよい。これらの実施形態では、特徴検出機械学習モデルは、第１の段階で生成され、特徴検出機械学習モジュール２１８の一部として提供され得る。いくつかの実施形態では、特徴検出機械学習モデルのわずかな更新は、オンライン方式で実装されてもよい。そのような実施形態では、特徴検出機械学習モジュール２１８（たとえば、オペレーティングシステム２１２、他のアプリケーション２１４の１つ以上など）を呼び出すアプリケーションは、特徴検出機械学習モジュール２１８によって生成された特徴検出を利用することができ、たとえば、特徴検出をユーザ固有機械学習モジュール２２０に提供することができ、システムログ（たとえば、ユーザによって許可される場合、特徴検出に基づいてユーザによって取られるアクションであり、さらに別の処理のための入力として利用される場合、さらに別の処理の結果である）を生成することができる。システムログは、定期的に、たとえば、時間ごと、月ごと、四半期ごとなどに生成されてもよく、ユーザの許可を得て、特徴検出機械学習モデルを更新するために、たとえば、特徴検出機械学習モデルの埋め込みを更新するために使用されてもよい。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、特徴検出機械学習モジュール２１８が実行されるデバイス２００の特定の構成に適合可能な方式で実装され得る。たとえば、特徴検出機械学習モジュール２１８は、利用可能な計算リソース、たとえばプロセッサ２０２を利用する計算グラフを決定し得る。たとえば、特徴検出機械学習モジュール２１８が複数のデバイス上の分散アプリケーションとして実装される場合、特徴検出機械学習モジュール２１８は、計算を最適化する態様で個々のデバイス上で実行される計算を決定し得る。別の例では、特徴検出機械学習モジュール２１８は、プロセッサ２０２が特定の数（たとえば、１０００個）のＧＰＵコアを有するＧＰＵを含むと判断し、それに応じて（たとえば、１０００個の個々のプロセスまたはスレッドとして）特徴検出機械学習モジュール２１８を実装することができる。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、訓練済みモデルのアンサンブルを実装してもよい。たとえば、特徴検出機械学習モデルは、同じ入力データに各々適用可能である複数の訓練済みモデルを含み得る。これらの実施形態では、特徴検出機械学習モジュール２１８は、たとえば、利用可能な計算リソース、以前の推論による成功率等に基づいて、特定の訓練済みモデルを選択してもよい。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、複数の訓練済みモデルを実行してもよい。これらの実施形態では、特徴検出機械学習モジュール２１８は、たとえば、各々の訓練済みモデルの適用からの個々の出力を得点付けする投票技法を使用して、または１つ以上の特定の出力を選択することによって、個々のモデルの適用からの出力を組み合わせてもよい。いくつかの実施形態では、そのようなセレクタは、モデル自体の一部であり、訓練済みモデル間の接続層として機能する。さらに、これらの実施形態では、特徴検出機械学習モジュール２１８は、個々の訓練済みモデルを適用するための時間閾値（たとえば、０．５ｍｓ）を適用し、この時間閾値内で利用可能な個々の出力のみを利用することができる。時間閾値内に受信されない出力は、利用されなくてもよい、たとえば破棄されてもよい。たとえば、そのようなアプローチは、たとえば、オペレーティングシステム２１２または１つ以上のアプリケーション６１２によって、特徴検出機械学習モジュール２１８を呼び出す間に指定される時間制限がある場合に好適なことがある。

ユーザ固有機械学習モジュール２００の例
ユーザ固有機械学習モジュール２２０は、特徴検出機械学習モジュール２１８によって分析された同じ入力画像の圧縮設定を決定するユーザ固有機械学習モデルを生成する。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、ユーザ固有機械学習モデルを生成するためにプロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、デバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセス可能かつ実行可能でもよい。

いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、訓練済みモデル、具体的には、ユーザ固有機械学習モデルを生成するために訓練データを使用してもよい。訓練データは、特徴検出機械学習モデルのための１つ以上の先行画像を参照したユーザアクションを示すユーザ固有の特徴等の、任意の種類のデータを含み得る。たとえば、ユーザ固有の特徴は、ユーザが画像に関心を有する程度を示してもよい。画像がお気に入りである（たとえば、明示的なユーザ入力を介してお気に入りとしてマークされている）と示すことは、圧縮されるべきでない重要な画像と見なされ得る。ユーザ固有の特徴の他の例は、画像内の他のユーザのタグ付け；画像の共有；フォトアルバムまたは他の画像ベースの創作物の作成；画像に対するコメント；ユーザにとって重要なメタデータ、たとえば、画像が重要な場所で取り込まれたことを示すジオロケーションデータ；画像のダウンロード、画像の編集、画像の印刷の注文；画像の編集；ユーザが画像を好むかどうかをユーザに明示的に尋ねるデータ等のいずれか等のユーザアクションを含み得る。いくつかの実施形態では、ユーザアクションは、画像内の関心のある信号として別のユーザの画像に対するコメントの感情を判断するために自然言語処理を使用すること、別のユーザの画像に対する承認（たとえば、いいね）を示すこと、別のユーザの画像を保存すること、別のユーザの画像をダウンロードすることなど、別のユーザの画像に対するアクションを含んでもよい。これらのユーザアクションは、画像の値の信号であり、モデルへの入力として使用することができる。

訓練データは、任意のソース、たとえば、訓練のために具体的にマークされたデータリポジトリ、機械学習用の訓練データとして使用するための許可が提供されるデータ等から取得され得る。１人以上のユーザが、機械学習モデルを訓練するためにそれぞれのユーザデータの使用を許可する実施形態では、訓練データは、そのようなユーザデータを含んでもよい。ユーザがそれぞれのユーザデータの使用を許可する実施形態では、データは、画像／ビデオまたは画像／ビデオメタデータ（たとえば、画像、画像の対応する特徴、ユーザに関連付けられたユーザ固有の特徴、ユーザ固有の特徴が１つ以上の先行画像を参照してどのようにユーザアクションを示すかの説明など）、通信（たとえば、ソーシャルネットワーク上のメッセージ；電子メール；テキストメッセージ、音声、ビデオなどのチャットデータ）、文書（たとえば、スプレッドシート、テキスト文書、プレゼンテーションなど）等の許可されたデータを含み得る。いくつかの実施形態では、１つ以上の特徴をどのように識別するかに関する特徴検出機械学習モデルを生成するために特徴検出機械学習モジュール２１８によって使用された先行画像は、ユーザ固有機械学習モジュール２２０によって、ユーザアクションを示すユーザ固有の特徴と先行画像のそれぞれの画像特徴とに基づいて圧縮設定を決定するためのユーザ固有機械学習モデルを生成するために使用される。

たとえば、訓練済みモデルは、たとえば、異なるデバイス上で生成されてもよく、画像管理アプリケーション１０３の一部として提供されてもよい。さまざまな実施形態では、訓練済みモデルは、（たとえば、ニューラルネットワークノードの数およびタイプ、ノード間の接続性、およびノードの複数の層への編成を定義する）モデル構造または形式と、関連付けられた重みとを含むデータファイルとして提供されてもよい。ユーザ固有機械学習モジュール２２０は、訓練済みモデル用のデータファイルを読み取り、訓練済みモデルにおいて指定されたモデル構造または形式に基づいて、ノード接続性、層、および重みを有するニューラルネットワークを実装し得る。

ユーザ固有機械学習モジュール２２０は、本明細書ではユーザ固有機械学習モデルと呼ばれる訓練済みモデルを生成する。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、圧縮モジュール２２２用のデータなどのデータにユーザ固有機械学習モデルを適用して、入力画像用の圧縮設定を識別するように構成されている。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、プロセッサ２０２によって実行されるソフトウェアコードを含んでもよい。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、プロセッサ２０２がユーザ固有機械学習モデルを適用することを可能にする（たとえば、プログラマブルプロセッサ用、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）用などの）回路構成を指定してもよい。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、ソフトウェア命令、ハードウェア命令、または組み合わせを含んでもよい。

いくつかの実施形態では、ユーザ固有機械学習モデルは、１つ以上のモデル形式または構造を含んでもよい。たとえば、モデル形式または構造は、線形ネットワーク、多層フィードフォワード完全接続ニューラルネットワーク、ＣＮＮ、または上記でより詳細に論じたようなシーケンス・ツー・シーケンスニューラルネットワークなどのディープニューラルネットワークといった、任意のタイプのニューラルネットワークを含み得る。

モデル形式または構造は、さまざまなノード間の接続性およびノードの層への編成を指定し得る。たとえば、第１の層（たとえば、入力層）のノードは、入力データまたはアプリケーションデータ２１６としてデータを受信し得る。そのようなデータは、たとえば、特徴検出機械学習モデルが、たとえば、画像と関連付けられたユーザアクションを示すユーザ固有特徴の分析のために使用される場合、たとえば、ノードあたり１つ以上のユーザ固有特徴を含み得る。後続の中間層は、モデル形式または構造において指定される接続性に従って、先行層のノードの出力を入力として受信し得る。これらの層は隠れ層と呼ばれることもある。最終層（たとえば、出力層）は、機械学習アプリケーションの出力を生成する。たとえば、出力は、ユーザ固有の特徴に基づく画像の圧縮設定でもよい。より具体的には、出力は、ユーザが画像に関心を有する程度の判定でもよく、これは、ユーザ固有機械学習モジュール２２０が圧縮設定にマッピングする画像に対するレーティングに対応する。いくつかの実施形態では、モデル形式または構造は、各層内のノードの数および／またはタイプも指定する。

ユーザ固有機械学習モデルは、ユーザ固有機械学習モデルに供給される入力画像から特徴を識別するために、特徴検出機械学習モジュール２１８から入力を受信する。入力によって、特徴検出機械学習モデルが入力画像から特徴を識別し、入力画像がユーザにとって興味深いかどうかを決定することが可能になる。ユーザ固有機械学習モデルは、写真の共有、写真の閲覧などの信号に基づいて、ユーザが画像内のどの特徴に関心があるかを識別するために、ユーザアクションを示すユーザ固有の特徴に対して訓練される。いくつかの実施形態では、信号は、ユーザに対する相対的重要度を明示的に推定するためのラベル（たとえば、ユーザランキング、写真上の星、少なくとも１つのシェア、ｘ回のビューなど）である。いくつかの実施形態では、これらは、クラスタを作成するためにスタックランクに配置されてもよい。クラスタ内で、ユーザ固有機械学習モデルは、特徴検出アルゴリズムを使用して類似性メトリックを生成し、次に類似性メトリックを使用してユーザに対する相対的重要度を推定する。

利用可能なユーザ固有の特徴が存在しないいくつかの実施形態では、ユーザ固有機械学習モデルは、ベースライン圧縮設定を生成してもよい。たとえば、ベースライン圧縮設定は、他のユーザからのユーザ入力から生成されてもよく、入力は、ぼけ具合または関心の低い画像の他のタイプの指標に基づく画像のランキングである。

ユーザ固有機械学習モデルの出力は、１～５、１～１０などのスケールまたは回帰出力（アナログ値）、たとえば７．８３７９０を使用するなど、ユーザの関心レベルを識別するレーティングであり得る。ユーザ固有機械学習モデルは、レーティングを圧縮率などの圧縮設定にマッピングし得る。以下は、レーティングが圧縮比にどのようにマッピングされ得るかの例である。この例では、レーティングが１の場合、圧縮画像は、元の画像の元の解像度の０．２を占めることになる。

上記の例は、圧縮比にマッピングされたレーティングを含む圧縮設定について説明しているが、圧縮設定の他の例も可能である。たとえば、ユーザ固有機械学習モデルは、圧縮技術、画像フォーマット（たとえば、ＪＰＥＧ、ＷｅｂＰ、ＨＥＩＦ等の使用）、最適化のために選択されたパラメータ（たとえば、ダイナミックレンジ、画像解像度、色、圧縮が漸進的であるか否か）などを決定し得る。別の例では、圧縮設定は、画像内の１つ以上の特徴を高解像度に保ち、画像内の１つ以上の関心領域を決定することなどによって画像の残りを圧縮するという決定でもよい。別の例では、ユーザ固有機械学習モデルが画像内の異なる特徴に対するレーティングを決定することに加えて、ユーザ固有機械学習モデルはまた、品質トレードオフが特定のタイプの画像に対して考慮されると決定してもよい。たとえば、ダイナミックレンジは夕日画像にとって極めて重要な場合があり、解像度はクローズアップにとってより重要な場合がある、などである。

さらに別の例では、ユーザ固有機械学習モデルはまた、異なる特徴が同じ画像に含まれる場合にレーティングを適用する態様を示し得る。たとえば、画像に夕日が含まれていれば通常５レーティングを有し、食物を含む場合は２レーティングを有する場合、ユーザ固有機械学習モデルは、最も関心が高いことを示すレーティング、すなわち５レーティングを適用し得る。別の実施形態では、ユーザ固有機械学習モデルは、画像に対する特定のユーザの反応が、複数の特徴に対するレーティングが平均化されるべきであること、特定の特徴がより高い重みと関連付けられるべきであることなどを示唆すると判断してもよい。

いくつかの実施形態では、ユーザ固有機械学習モデルは、入力画像のレーティングが重要度閾値を満たすと判断してもよく、レーティングが重要度閾値を満たすことに応答して、ユーザ固有機械学習モデルは、ユーザが入力画像を共有するという提案を提供する。別の実施形態では、レーティングが重要度閾値を満たすことに応答して、ユーザ固有機械学習モデルは、重要度閾値を満たさない、ユーザアカウントに関連付けられた他の画像よりも入力画像のバックアップを優先する。たとえば、クライアントデバイス１１５がインターネットアクセスが制限されたエリア内に位置する場合、ユーザ固有機械学習モデルは、クライアントデバイス１１５に、格納のためにサーバシステム１０１に転送されるべき最高のレーティングを有する（またはレーティングに基づいて降順でソートされた）画像を送信するように指示し得る。別の実施形態では、レーティングが重要度閾値を満たすことに応答して、ユーザ固有機械学習モデルは、後続画像内に描写されるシーンが入力画像の１つ以上の特徴のうちの少なくとも１つを有する場合、ユーザインターフェースモジュール２２０に、後続画像の取り込みのための命令を含むユーザインターフェースを提供するように指示する。たとえば、ユーザが植物の写真を撮ることに関心がある場合、ユーザインターフェースは、写真に水滴が付くと花弁をぼかすかもしれないとユーザに知らせることができる。別の例では、関心のある特徴が画像内で観察される場合、カメラは、関心のある特徴にオートフォーカスをロックする（および、ユーザがタップで焦点を変更することを可能にする）ことができる。

異なる実施形態では、ユーザ固有機械学習モデルは、１つ以上のモデルを含み得る。モデルのうちの１つ以上は、モデル構造または形式ごとに層内に配列される複数のノードを含み得る。いくつかの実施形態では、ノードは、たとえば、１単位の入力を処理して１単位の出力を生成するように構成された、メモリのない計算ノードでもよい。ノードによって実行される計算は、たとえば、複数のノード入力の各々に重みを掛けることと、加重和を取得することと、加重和をバイアスまたは切片値で調整してノード出力を生成することとを含み得る。いくつかの実施形態では、ノードによって実行される計算はまた、調整された加重和にステップ／活性化関数を適用することを含んでもよい。いくつかの実施形態では、ステップ／活性化関数は非線形関数でもよい。

さまざまな実施形態では、そのような計算は、行列乗算などの演算を含み得る。いくつかの実施形態では、複数のノードによる計算は、たとえば、マルチコアプロセッサの複数のプロセッサコアを使用して、ＧＰＵの個々の処理ユニットを使用して、または専用ニューラル回路を使用して、並列に実行されてもよい。いくつかの実施形態では、ノードはメモリを含んでもよく、たとえば、後続の入力を処理する際に１つ以上の以前の入力を格納し、使用してもよい。たとえば、メモリを有するノードは、ＬＳＴＭノードを含み得る。ＬＳＴＭノードは、ノードがＦＳＭのように作用することを可能にする状態を維持するために、メモリを使用し得る。

いくつかの実施形態では、ユーザ固有機械学習モデルは、個々のノードに対する埋め込みまたは重みを含み得る。たとえば、ユーザ固有機械学習モデルは、モデル形式または構造によって指定されるような層に編成された複数のノードとして開始されてもよい。初期化において、それぞれの重みが、モデル形式に従って接続される各対のノード、たとえば、ニューラルネットワークの連続層内のノードの間の接続に適用され得る。たとえば、それぞれの重みは、ランダムに割り当てられてもよい、またはデフォルト値に初期化されてもよい。次に、ユーザ固有機械学習モデルは、結果を生成するために、たとえば、ユーザ固有の訓練セットを使用して訓練され得る。

訓練は、教師あり学習技術を適用することを含み得る。教師あり学習では、訓練データは、複数の入力（たとえば、異なるタイプの画像に与えられるレーティング）と、入力ごとの対応する期待出力（たとえば、圧縮設定）とを含み得る。特徴検出機械学習モデルの出力（たとえば、予測レーティング）と期待出力（たとえば、ユーザによって提供されるレーティング）との比較に基づいて、重みの値は、たとえば、同様の入力が与えられた場合にユーザ固有機械学習モデルが期待出力を生成する確率を高めるように、自動的に調整される。ユーザに関連付けられた画像の異なるタイプのカテゴリについてユーザによって提供されるレーティングの一例は、以下に含まれる。この例では、最低のレーティングが最も低い重要度に関連付けられ、最高のレーティングが最も高い重要度に関連付けられている。

さまざまな実施形態では、訓練済みモデルは、モデル構造に対応する重みまたは埋め込みのセットを含む。デジタル画像の訓練セットが省略される実施形態では、ユーザ固有機械学習モジュール２２０は、たとえば、ユーザ固有機械学習モジュール２２０の開発者、第三者などによる事前の訓練に基づくユーザ固有機械学習モデルを生成し得る。いくつかの実施形態では、ユーザ固有機械学習モデルは、固定された、たとえば、重みを提供するサーバからダウンロードされた重みのセットを含んでもよい。

ユーザ固有機械学習モジュール２２０は、オフライン方式で、および／または訓練済みモデルのアンサンブルとして、異なるフォーマットで実装され得る。これは、特徴検出機械学習モジュール２１８を参照して上述されたので、同じ説明がユーザ固有機械学習モジュール２２０にも当てはまるであろうことが理解される。したがって、再度の説明は繰り返さない。

圧縮モジュール２２２の例
圧縮モジュール２２２は、ユーザ固有機械学習モジュール２２０により決定された圧縮設定に基づいて、入力画像を圧縮する。いくつかの実施形態では、圧縮モジュール２２２は、入力画像を圧縮するためにプロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、圧縮モジュール２２２は、デバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセス可能かつ実行可能でもよい。

圧縮モジュール２２２は、特徴検出機械学習モジュール２１８から入力画像を、ユーザ固有機械学習モジュール２２０から圧縮設定を受信し得る。圧縮モジュール２２２は、入力画像に圧縮設定を適用する。圧縮モジュール２２２は、ファイルサイズを縮小して、メモリ２０４および／または画像が格納されることになるストレージデバイスをより効率的に使用するために、元の入力画像を圧縮された入力画像に置き換え得る。いくつかの実施形態では、圧縮モジュール２２２は、圧縮された入力画像を格納のために別の場所に送信してもよい。たとえば、画像管理アプリケーション１０３ｂがクライアントデバイス１１５ａの一部である場合、圧縮モジュール２２２は、圧縮された入力画像を格納のためにサーバシステム１０１に送信し得る。

ユーザインターフェースモジュール２２４の例
ユーザインターフェースモジュール２２４は、ユーザからの入力を受信するユーザインターフェースを生成する。いくつかの実施形態では、ユーザインターフェースモジュール２２４は、入力画像を圧縮するためにプロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、ユーザインターフェースモジュール２２４は、デバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセス可能かつ実行可能でもよい。

いくつかの実施形態では、ユーザインターフェースモジュール２２４は、画像管理アプリケーション１０３に関連する異なる設定を変更するためのユーザインターフェースを生成する。いくつかの実施形態では、ユーザインターフェースモジュール２２４は、ベースライン圧縮設定を決定するために、ユーザインターフェースを生成し、ユーザ入力を受信する。たとえば、ユーザインターフェースモジュール２２４は、ユーザアカウントに関連付けられたユーザによって閲覧可能なユーザインターフェースを生成し得る。

ユーザインターフェースは、２つ以上のバージョンのサンプル画像を含んでもよく、画像の各々は、異なる圧縮設定で圧縮される。ユーザインターフェースは、ユーザに、ユーザアカウントのベースライン圧縮設定として特定のバージョンのサンプル画像を識別するように要求するプロンプトを含み得る。たとえば、ベースライン圧縮設定は、ユーザがユーザアカウントに関連付けられた画像に対して受け入れる最低の圧縮設定を表し得る。ユーザインターフェースモジュール２２４は、ベースライン圧縮設定の精度を確認するために、ベースライン圧縮設定に関するユーザ入力を複数回要求し得る。たとえば、ユーザインターフェースモジュール２２４は、異なる特徴を有する画像を提供し、ユーザインターフェースを周期的に（週に１回、月に１回、画像管理アプリケーション１０３のソフトウェア更新があるたびに）表示したりしてもよい。

いくつかの実施形態では、ユーザインターフェースモジュール２２４は、ユーザの選択に応答して警告を生成してもよい。たとえば、ユーザが高解像度圧縮設定を選択するか、または圧縮設定を全く選択しない場合、ユーザインターフェースモジュール２２４は、記憶空間が、ある日数で、またはある数の付加的な画像が取り込まれた後に使い果たされるであろうとユーザに警告してもよい。この推定は、ユーザが最後のｘ日間にアップロードした写真サイズの平均に基づいて行われてもよい。

ユーザインターフェースモジュール２２４は、入力画像の圧縮設定の決定に使用するために、ユーザの選択結果をユーザ固有機械学習モジュール２２０に送信し得る。次に、機械学習モジュール２２０は、ベースライン圧縮設定に基づいて、レーティングを圧縮設定にマッピングし得る。

メモリ２０４内のソフトウェアのいずれも、代替として、任意の他の好適な記憶場所またはコンピュータ読取可能媒体上に格納することができる。さらに、メモリ２０４（および／または他の接続されたストレージデバイス（複数可））は、１つ以上のメッセージ、１つ以上のタクソノミー、電子百科事典、辞書、シソーラス、知識ベース、メッセージデータ、文法、ならびに／または本明細書で説明する特徴で使用される他の命令およびデータを格納することができる。メモリ２０４および任意の他のタイプのストレージ（磁気ディスク、光ディスク、磁気テープ、または他の有形媒体）は、「ストレージ」または「ストレージデバイス」と見なすことができる。

説明を容易にするために、図２は、プロセッサ２０２、メモリ２０４、入出力インターフェース２０６、カメラ２０８、表示デバイス２１０、ならびにソフトウェアブロック１０３，２１８，２２０，２２０，２２２および２２４の各々について、１つのブロックを示す。これらのブロックは、１つ以上のプロセッサまたは処理回路、オペレーティングシステム、メモリ、入出力インターフェース、アプリケーション、および／またはソフトウェアモジュールを表し得る。他の実施形態では、デバイス２００は、示されるコンポーネントの全てを有さなくてもよい、および／または、本明細書に示されるものの代わりに、もしくはそれらに加えて、他の種類の要素を含む他の要素を有してもよい。いくつかのコンポーネントは、本明細書のいくつかの実施形態で説明されるようなブロックおよび動作を実行するものとして説明されるが、環境１００、デバイス２００、同様のシステム、またはそのようなシステムの任意の適切なコンポーネントもしくはコンポーネントの組み合わせ、またはそのようなシステムに関連する任意の適切な１つもしくは複数のプロセッサは、説明されるブロックおよび動作を実行してもよい。

本明細書で説明する方法は、コンピュータ上で実行可能なコンピュータプログラム命令またはコードによって実装可能である。たとえば、コードは、１つ以上のデジタルプロセッサ（たとえば、マイクロプロセッサまたは他の処理回路）によって実装することができ、非一時的コンピュータ読取可能媒体（たとえば、記憶媒体）、たとえば、半導体または固体メモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、磁気ハードディスク、光ディスク、固体メモリドライブなどの磁気、光学、電磁、または半導体記憶媒体などを含むコンピュータプログラム製品上に格納することができる。プログラム命令はまた、たとえば、サーバ（たとえば、分散システムおよび／またはクラウドコンピューティングシステム）から配信されるソフトウェア・アズ・ア・サービス（ＳａａＳ）の形式で、電子信号に含まれることも、電子信号として提供されることも可能である。または、１つ以上の方法は、ハードウェア（論理ゲートなど）において、またはハードウェアとソフトウェアとの組合せにおいて実装可能である。ハードウェアの例は、プログラマブルプロセッサ（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブル論理デバイス）、汎用プロセッサ、グラフィックプロセッサおよび特定用途向け集積回路（ＡＳＩＣ）などであり得る。１つ以上の方法は、システム上で実行されるアプリケーションの一部もしくはコンポーネントとして、または他のアプリケーションおよびオペレーティングシステムと連携して実行されるアプリケーションもしくはソフトウェアとして実行することができる。

方法例
図３は、いくつかの実施形態に係る、入力画像３０２内の１つ以上の特徴３０６を識別するために特徴検出機械学習モデル３０４を使用し、画像の１つ以上の特徴から圧縮設定３１０を決定するためにユーザ固有機械学習モデル３０８を使用する方法３００の例を示すフロー図である。

特徴検出機械学習モデル３０４は、画素からより抽象的なオブジェクトへと構築する層のセットを有する畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含み得る。いくつかの実装例では、ＣＮＮのより初期の層がエッジを検出し、層が深くなるにつれて、人間が定義した特徴の意味が増す。たとえば、中間段階の層は、オブジェクトのコンポーネントを検出することができ、後の段階の層は、オブジェクト（または顔）自体を検出することができる。

入力画像３０２は、特徴検出機械学習モデル３０４への入力として提供される。入力画像３０２は、ユーザアカウントに関連付けられたユーザからのものである。入力画像３０２は、層のセットのうちの入力層によって受信され得る。入力層は、層のセットのうちの第２の層に接続され得る。いくつかの実施形態では、１つ以上の追加の層は各々、入力として先行層の出力を受け取り、次の層に入力を与える。特徴検出機械学習モデル３０４は、入力画像３０２に基づいて１つ以上の特徴３０６を生成する。層のセットのうちの最後の層は出力層であり得る。この例を続けると、出力層は、１つ以上の特徴３０６を出力し得る。

いくつかの実施形態では、出力は、特徴の各々が画像内で正確に識別された対応する確率を含んでもよい。特徴検出機械学習モデル３０４の出力は、数のベクトル、確率値、または確率値のセット（たとえば、各々がビデオフレームの特定のスタックに対応する）であり得る。特徴検出機械学習モデル３０４の出力は、ユーザ固有機械学習モデル３０８への入力として提供される。

ユーザ固有機械学習モデル３０８はまた、ＣＮＮなどのディープニューラルネットワークを含み得る。いくつかの実施形態では、ユーザ固有機械学習モデル３０８は、特徴検出機械学習モデル３０４の分類層を、ユーザに関連付けられたユーザ固有の特徴で訓練されるコンポーネントで置き換えることによって、転移学習を使用して生成されてもよく、ユーザ固有の特徴は、先行画像を参照したユーザアクションを示す。いくつかの実施形態では、先行画像はまた、特徴検出機械学習モデル３０４を訓練するために使用される。

ユーザ固有機械学習モデル３０８は、入力層を介して１つ以上の特徴３０６を受信し得る。入力層は、複数の層のうちの第２の層に接続され得る。いくつかの実施形態では、各々が入力として前の層の出力を受信し、次の層に入力を提供する１つ以上の追加の層が、ユーザ固有機械学習モデル３０８に含まれてもよい。ユーザ固有機械学習モデル３０８の最後の層は、出力層であり得る。いくつかの実装例では、モデル３０８は、圧縮設定３１０を直接出力するただ１つの入力層を有してもよい。

ユーザ固有機械学習モデル３０８は、出力として圧縮設定３１０（予測３１０）、および任意に、圧縮設定３１０に関連する確率を生成し得る。いくつかの実施形態では、圧縮設定３１０は、入力画像３０２内の１つ以上の特徴に対する１つ以上のレーティングを含んでもよい。確率は、確率値、確率値のセット（たとえば、各々は、入力画像３０２における特定の特徴に対するレーティングに対応する）、またはユーザ固有機械学習モデル３０８の出力層によって生成されたベクトル表現を含み得る。

いくつかの実施形態では、方法３００は、たとえば、画像管理アプリケーション１０３ｂの一部として、クライアントデバイス１１５ａ，１１５ｎのうちの１つ以上で実装されてもよい。いくつかの実施形態では、方法３００は、たとえば、画像管理アプリケーション１０３ａの一部として、サーバデバイス１０４上で実装されてもよい。いくつかの実施形態では、方法３００は、サーバデバイス１０４上で、およびクライアントデバイス１１５ａ，１１５ｎのうちの１つまたは複数上で実装されてもよい。

いくつかの実施形態では、方法３００は、汎用プロセッサ、たとえば、デバイスの中央処理装置（ＣＰＵ）上で実行可能なソフトウェアとして実装されてもよい。いくつかの実施形態では、方法３００は、専用プロセッサ、たとえば、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、機械学習プロセッサなどで実行可能なソフトウェアとして実装されてもよい。いくつかの実施形態では、方法３００は、専用ハードウェアとして、たとえば特定用途向け集積回路（ＡＳＩＣ）として実装されてもよい。

図４は、いくつかの実施形態に係る、訓練モデルを作成するための方法４００の例を示すフロー図である。

方法４００は、ブロック４０２で開始することができる。ブロック４０２において、ユーザデータの使用に対するユーザ同意が取得されたかどうかが判断される。たとえば、ユーザインターフェースモジュール２２４は、ユーザに、特徴検出機械学習モデルおよび／またはユーザ固有機械学習モデルの生成においてユーザデータを使用する許可を要求するユーザインターフェースを生成し得る。ユーザ同意が得られなかった場合、ブロック４０４において、特徴検出機械学習モデルおよび／またはユーザ固有機械学習モデルの代わりに、ベースラインモデルが使用される。

ユーザの同意が得られた場合、方法４００はブロック４０６に進むことができ、デジタル画像の訓練セットと対応する特徴とが得られる。ブロック４０６の後にブロック４０８が続く場合がある。ブロック４０８では、特徴検出機械学習モデルが、訓練セットと対応する特徴とに基づいて訓練され、訓練後、特徴検出機械学習モデルは、特徴検出機械学習モデルに提供される入力画像内の画像特徴を識別することができる。ブロック４０８の後にブロック４１０が続く場合がある。

ブロック４１０において、ユーザに関連付けられたユーザ固有の特徴の訓練セットが取得され、ユーザ固有の特徴は、１つ以上の先行画像を参照したユーザアクションを示す。いくつかの実施形態では、先行画像はデジタル画像のセットと同じである。ブロック４１０の後にブロック４１２が続く場合がある。ブロック４１２において、ユーザ固有機械学習モデルは、ユーザ固有の特徴と１つ以上の先行画像とに基づいて訓練され、訓練後、ユーザ固有機械学習モデルは、ユーザ固有機械学習モデルに提供される入力画像のレーティングを決定する。

図５は、いくつかの実施形態に係る、モデルを入力画像に適用するための方法５００の例を示すフロー図である。

ブロック５０２において、ユーザアカウントに関連付けられた入力画像が取得される。ブロック５０２の後にブロック５０４が続く場合がある。ブロック５０４において、特徴検出機械学習モデルを使用して、入力画像の１つ以上の特徴が決定される。ブロック５０４の後にブロック５０６が続く場合がある。ブロック５０６において、入力画像内の圧縮設定は、ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、入力画像内の１つ以上の特徴に基づいて決定される。ブロック５０６の後にブロック５０８が続く場合がある。ブロック５０８において、入力画像は圧縮設定に基づいて圧縮される。

訓練の前に、ノードの各々に初期重みを割り当ててもよく、ニューラルネットワークの異なる層のノード間の接続を初期化してもよい。訓練は、１つ以上のノードの重みおよび／または１つ以上のノードのペア間の接続を調整することを含み得る。

いくつかの実施形態では、訓練セットのサブセットが、初期訓練段階において除外されてもよい。このサブセットは、初期訓練段階の後に提供されてもよく、予測の精度（ビデオを分析するかどうかの指示）が決定されてもよい。精度が閾値を下回る場合、モデルがそれらの出力を正確に予測するまでモデルパラメータを調整するように、訓練セットからのそれぞれの追加のデジタル画像またはユーザ固有の特徴を用いて、さらに別の訓練が行われてもよい。

さらに別の訓練（第２の段階）は、たとえば、モデルが満足のいくレベルの精度を達成するまで、任意の回数繰り返されてもよい。いくつかの実施形態では、訓練済みモデルは、さらに修正されてもよく、たとえば、（より少ないノードまたは層を使用するために）圧縮されてもよく、（たとえば、異なるタイプのハードウェア上で使用可能になるために）変換されてもよい。いくつかの実施形態では、モデルの異なるバージョンが提供されてもよく、たとえば、モデルのクライアントバージョンは、サイズについて最適化されてもよく、計算複雑性が低減されてもよく、一方、モデルのサーババージョンは、精度について最適化されてもよい。

図４Ａおよび図４Ｂのさまざまなブロックを参照して方法４００，４５０について説明してきたが、本開示で説明する技法は、図４Ａおよび図４Ｂのブロックのうちの一部を実行せずに実行可能であることが理解されるであろう。いくつかの実施形態では、図４Ａおよび図４Ｂに示すブロックのうちの１つまたは複数を組み合わせてもよい。

さらに、訓練セットを参照して訓練について説明したが、特徴検出機械学習モデルおよびユーザ固有機械学習モデルは、動作中に訓練されてもよい。たとえば、ユーザが特定の圧縮設定を使用して画像が圧縮されることを要求する場合、特徴検出機械学習モデルおよびユーザ固有機械学習モデルは、ユーザ情報を含むように更新され得る。いくつかの実施形態では、ユーザは、手動で注釈を提供してもよく、たとえば、特徴のリストと、それらの特徴の対応するレーティングとを提供する。ユーザの許可を得て、いくつかの実施形態は、そのような注釈を利用して、特徴検出機械学習モデルおよびユーザ固有機械学習モデルを訓練してもよい。

その特定の実施形態に関して説明されているが、これらの特定の実施形態は単なる例示であり、制限的なものではない。例において例示される概念は、他の例および実施形態に適用されてもよい。

本明細書で論じられる特定の実施形態がユーザに関する個人情報（たとえば、ユーザデータ、ユーザのソーシャルネットワークに関する情報、ユーザの場所およびその場所における時間、ユーザのバイオメトリック情報、ユーザの活動および人口統計情報）を収集または使用し得る状況では、ユーザには、情報が収集されるかどうか、個人情報が格納されているかどうか、個人情報が使用されるかどうか、および情報がユーザに関してどのように収集され、格納され、使用されるかを制御する１つ以上の機会が提供される。すなわち、本明細書で論じられるシステムおよび方法は、特に、そうするための明示的な承認を該当するユーザから受信すると、ユーザ個人情報を収集、格納、および／または使用する。ユーザは、これらのモデルを永久的に削除する能力を有する。

たとえば、ユーザには、プログラムまたは機能が、その特定のユーザまたはプログラムもしくは機能に関連する他のユーザに関連するユーザ情報を収集するかどうかに対する制御が提供される。個人情報が収集されるべき各ユーザには、そのユーザに関連する情報収集を制御し、情報が収集されるかどうか、および情報のどの部分が収集されるかについて許可または承認を与えることができる１つ以上のオプションが提示される。たとえば、ユーザには、通信ネットワークを介して１つ以上のそのような制御オプションが提供され得る。くわえて、特定のデータは、個人的に識別可能な情報が除去されるように、格納または使用される前に１つ以上の方法で処理されてもよい。一例として、ユーザのアイデンティティは、個人的に識別可能な情報が判断できないように扱われてもよい。別の例として、クライアントデバイスの地理的位置は、ユーザの特定の位置を判断することができないように、より大きい領域に一般化されてもよい。

なお、本開示で説明した機能ブロック、動作、特徴、方法、デバイス、およびシステムは、当業者に知られているように、システム、デバイス、および機能ブロックの異なる組合せに統合または分割され得る。任意の好適なプログラミング言語およびプログラミング技法が、特定の実施形態のルーチンを実装するために使用され得る。異なるプログラミング技法、たとえば、手続き型またはオブジェクト指向の技法が採用されてもよい。ルーチンは、単一の処理デバイスまたは複数のプロセッサ上で実行され得る。ステップ、動作、または計算は、特定の順序で提示され得るが、順序は、異なる特定の実施形態において変更され得る。いくつかの実施形態では、本明細書で連続的として示される複数のステップまたは動作は、同時に行われてもよい。

いくつかの実施形態では、特徴検出機械学習モジュール２１８は、複数の訓練済みモデルを実行してもよい。これらの実施形態では、特徴検出機械学習モジュール２１８は、たとえば、各々の訓練済みモデルの適用からの個々の出力を得点付けする投票技法を使用して、または１つ以上の特定の出力を選択することによって、個々のモデルの適用からの出力を組み合わせてもよい。いくつかの実施形態では、そのようなセレクタは、モデル自体の一部であり、訓練済みモデル間の接続層として機能する。さらに、これらの実施形態では、特徴検出機械学習モジュール２１８は、個々の訓練済みモデルを適用するための時間閾値（たとえば、０．５ｍｓ）を適用し、この時間閾値内で利用可能な個々の出力のみを利用することができる。時間閾値内に受信されない出力は、利用されなくてもよい、たとえば破棄されてもよい。たとえば、そのようなアプローチは、たとえば、オペレーティングシステム２１２または１つ以上のアプリケーション２１６によって、特徴検出機械学習モジュール２１８を呼び出す間に指定される時間制限がある場合に好適なことがある。

ユーザ固有機械学習モジュール２２０の例
ユーザ固有機械学習モジュール２２０は、特徴検出機械学習モジュール２１８によって分析された同じ入力画像の圧縮設定を決定するユーザ固有機械学習モデルを生成する。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、ユーザ固有機械学習モデルを生成するためにプロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、ユーザ固有機械学習モジュール２２０は、デバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセス可能かつ実行可能でもよい。

説明を容易にするために、図２は、プロセッサ２０２、メモリ２０４、入出力インターフェース２０６、カメラ２０８、表示デバイス２１０、ならびにソフトウェアブロック１０３，２１８，２２０，２２２および２２４の各々について、１つのブロックを示す。これらのブロックは、１つ以上のプロセッサまたは処理回路、オペレーティングシステム、メモリ、入出力インターフェース、アプリケーション、および／またはソフトウェアモジュールを表し得る。他の実施形態では、デバイス２００は、示されるコンポーネントの全てを有さなくてもよい、および／または、本明細書に示されるものの代わりに、もしくはそれらに加えて、他の種類の要素を含む他の要素を有してもよい。いくつかのコンポーネントは、本明細書のいくつかの実施形態で説明されるようなブロックおよび動作を実行するものとして説明されるが、環境１００、デバイス２００、同様のシステム、またはそのようなシステムの任意の適切なコンポーネントもしくはコンポーネントの組み合わせ、またはそのようなシステムに関連する任意の適切な１つもしくは複数のプロセッサは、説明されるブロックおよび動作を実行してもよい。

Claims (20)

1. コンピュータによって実現される方法であって、
   ユーザアカウントに関連付けられた入力画像を取得することと、
   特徴検出機械学習モデルを使用して、前記入力画像の１つ以上の特徴を決定することと、
   前記ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、前記入力画像内の前記１つ以上の特徴に基づいて、前記入力画像の圧縮設定を決定することと、
   前記圧縮設定に基づいて、前記入力画像を圧縮することとを備える、コンピュータによって実現される方法。
2. 前記特徴検出機械学習モデルは、
   デジタル画像の訓練セットと、対応する特徴とを取得することと、
   前記訓練セットと前記対応する特徴とに基づいて、前記特徴検出機械学習モデルを訓練することとによって生成され、訓練後、前記特徴検出機械学習モデルは、前記特徴検出機械学習モデルに提供される前記入力画像内の画像特徴を識別することが可能である、請求項１に記載のコンピュータによって実現される方法。
3. 前記特徴検出機械学習モデルは、複数のネットワーク層を有する畳み込みニューラルネットワーク（ＣＮＮ）を含み、各ネットワーク層は、異なる抽象化レベルで前記１つ以上の画像特徴を抽出する、請求項２に記載のコンピュータによって実現される方法。
4. 前記ユーザ固有機械学習モデルは、
   １つ以上の先行画像を参照したユーザアクションを示す、ユーザに関連付けられたユーザ固有の特徴の訓練セットを取得することと、
   前記ユーザ固有の特徴と前記１つ以上の先行画像とに基づいて、前記ユーザ固有機械学習モデルを訓練することとによって生成され、訓練後、前記ユーザ固有機械学習モデルは、前記ユーザ固有機械学習モデルに提供される前記入力画像のレーティングを決定する、請求項２に記載のコンピュータによって実現される方法。
5. 前記訓練セットはさらに、前記１つ以上の先行画像のそれぞれの画像特徴を含む、請求項４に記載のコンピュータによって実現される方法。
6. 前記１つ以上の先行画像の前記それぞれの画像特徴は、前記特徴検出機械学習モデルを前記１つ以上の先行画像に適用することによって得られる、請求項５に記載のコンピュータによって実現される方法。
7. 各々が異なる圧縮設定で圧縮されたサンプル画像の２つ以上のバージョンを有する前記ユーザアカウントに関連付けられたユーザに、第１のユーザインターフェースを提供することと、
   特定のバージョンの前記サンプル画像を識別するユーザ入力を、前記ユーザから取得することと、
   前記サンプル画像の前記特定のバージョンに関連付けられた圧縮設定を、前記ユーザアカウントのベースライン圧縮設定として選択することとをさらに備える、請求項１に記載のコンピュータによって実現される方法。
8. 前記圧縮設定を決定することは、
   前記ユーザ固有機械学習モデルが、前記入力画像のレーティングを決定することと、
   前記レーティングを前記圧縮設定にマッピングすることとを含み、前記マッピングは前記ベースライン圧縮設定に基づく、請求項７に記載のコンピュータによって実現される方法。
9. 前記入力画像の前記レーティングが重要度閾値を満たすと判断することと、
   前記レーティングが前記重要度閾値を満たすという判断に応答して、
   前記ユーザが前記入力画像を共有するという提案を提供すること、
   前記重要度閾値を満たさない前記ユーザアカウントに関連付けられた他の画像のバックアップよりも、前記入力画像のバックアップを優先すること、または
   後続画像内に描写されるシーンが前記入力画像の前記１つ以上の特徴のうちの少なくとも１つを有する場合、前記後続画像の取り込みのための命令を含む第２のユーザインターフェースを提供することのうちの１つ以上を行うこととをさらに備える、請求項８に記載のコンピュータによって実現される方法。
10. コンピューティングデバイスであって、
    プロセッサと、
    前記プロセッサによって実行されると、前記プロセッサに動作を実行させる命令を格納したメモリとを備え、前記動作は、
    ユーザアカウントに関連付けられた入力画像を取得することと、
    特徴検出機械学習モデルを使用して、前記入力画像の１つ以上の特徴を決定することと、
    前記ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、前記入力画像内の前記１つ以上の特徴に基づいて、前記入力画像の圧縮設定を決定することと、
    前記圧縮設定に基づいて、前記入力画像を圧縮することとを含む、コンピューティングデバイス。
11. 前記特徴検出機械学習モデルは、
    デジタル画像の訓練セットと、対応する特徴とを取得することと、
    前記訓練セットと前記対応する特徴とに基づいて、前記特徴検出機械学習モデルを訓練することとによって生成され、訓練後、前記特徴検出機械学習モデルは、前記特徴検出機械学習モデルに提供される前記入力画像内の画像特徴を識別することが可能である、請求項１０に記載のコンピューティングデバイス。
12. 前記ユーザ固有機械学習モデルは、
    １つ以上の先行画像を参照したユーザアクションを示す、ユーザに関連付けられたユーザ固有の特徴の訓練セットを取得することと、
    前記ユーザ固有の特徴と前記１つ以上の先行画像とに基づいて、前記ユーザ固有機械学習モデルを訓練することとによって生成され、訓練後、前記ユーザ固有機械学習モデルは、前記ユーザ固有機械学習モデルに提供される前記入力画像のレーティングを決定する、請求項１１に記載のコンピューティングデバイス。
13. 前記メモリは、前記プロセッサによって実行されると、前記プロセッサにさらに別の動作を実行させるさらに別の命令を格納し、前記さらに別の動作は、
    各々が異なる圧縮設定で圧縮されたサンプル画像の２つ以上のバージョンを有する前記ユーザアカウントに関連付けられたユーザに、第１のユーザインターフェースを提供することと、
    特定のバージョンの前記サンプル画像を識別するユーザ入力を、前記ユーザから取得することと、
    前記サンプル画像の前記特定のバージョンに関連付けられた圧縮設定を、前記ユーザアカウントのベースライン圧縮設定として選択することとを備える、請求項１０に記載のコンピューティングデバイス。
14. 前記圧縮設定を決定することは、
    前記ユーザ固有機械学習モデルが、前記入力画像のレーティングを決定することと、
    前記レーティングを前記圧縮設定にマッピングすることとを含み、前記マッピングは前記ベースライン圧縮設定に基づく、請求項１３に記載のコンピューティングデバイス。
15. １つ以上のコンピュータによって実行されると、前記１つ以上のコンピュータに動作を実行させる命令を格納した非一時的なコンピュータ読取可能媒体であって、前記動作は、
    ユーザアカウントに関連付けられた入力画像を取得することと、
    特徴検出機械学習モデルを使用して、前記入力画像の１つ以上の特徴を決定することと、
    前記ユーザアカウントに合わせてパーソナライズされたユーザ固有機械学習モデルを使用して、前記入力画像内の前記１つ以上の特徴に基づいて、前記入力画像の圧縮設定を決定することと、
    前記圧縮設定に基づいて、前記入力画像を圧縮することとを含む、非一時的なコンピュータ読取可能媒体。
16. 前記特徴検出機械学習モデルは、
    デジタル画像の訓練セットと、対応する特徴とを取得することと、
    前記訓練セットと前記対応する特徴とに基づいて、前記特徴検出機械学習モデルを訓練することとによって生成され、訓練後、前記特徴検出機械学習モデルは、前記特徴検出機械学習モデルに提供される前記入力画像内の画像特徴を識別することが可能である、請求項１５に記載のコンピュータ読取可能媒体。
17. 前記ユーザ固有機械学習モデルは、
    １つ以上の先行画像を参照したユーザアクションを示す、ユーザに関連付けられたユーザ固有の特徴の訓練セットを取得することと、
    前記ユーザ固有の特徴と前記１つ以上の先行画像とに基づいて、前記ユーザ固有機械学習モデルを訓練することとによって生成され、訓練後、前記ユーザ固有機械学習モデルは、前記ユーザ固有機械学習モデルに提供される前記入力画像のレーティングを決定する、請求項１６に記載のコンピュータ読取可能媒体。
18. 前記訓練セットはさらに、前記１つ以上の先行画像のそれぞれの画像特徴を含む、請求項１７に記載のコンピュータ読取可能媒体。
19. 前記動作はさらに、
    各々が異なる圧縮設定で圧縮されたサンプル画像の２つ以上のバージョンを有する前記ユーザアカウントに関連付けられたユーザに、第１のユーザインターフェースを提供することと、
    特定のバージョンの前記サンプル画像を識別するユーザ入力を、前記ユーザから取得することと、
    前記サンプル画像の前記特定のバージョンに関連付けられた圧縮設定を、前記ユーザアカウントのベースライン圧縮設定として選択することとをさらに含む、請求項１５に記載のコンピュータ読取可能媒体。
20. 前記圧縮設定を決定することは、
    前記ユーザ固有機械学習モデルが、前記入力画像のレーティングを決定することと、
    前記レーティングを前記圧縮設定にマッピングすることとを含み、前記マッピングは前記ベースライン圧縮設定に基づく、請求項１５に記載のコンピュータ読取可能媒体。

Images