JP2023541604A - デジタル写真の為の位置及びコンテントの推奨 - Google Patents

デジタル写真の為の位置及びコンテントの推奨 Download PDF

Info

Publication number
JP2023541604A
JP2023541604A JP2023515880A JP2023515880A JP2023541604A JP 2023541604 A JP2023541604 A JP 2023541604A JP 2023515880 A JP2023515880 A JP 2023515880A JP 2023515880 A JP2023515880 A JP 2023515880A JP 2023541604 A JP2023541604 A JP 2023541604A
Authority
JP
Japan
Prior art keywords
images
image
human interaction
classification model
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023515880A
Other languages
English (en)
Inventor
スブラマニアン，アパルナ
サーハー，シシラ
ダン，ジョナサン，ディー．
デイ，クンタル
ナーガル，シーマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2023541604A publication Critical patent/JP2023541604A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

デジタル写真のフィルタ及び関連付けられた設定が、画像分類モデルによって推奨される。複数の画像と該複数の画像の各々に関連付けられたメタデータとが受信される。複数の画像の各々についてのヒューマンインタラクションスコアが受信される。該関連付けられたメタデータ及び該ヒューマンインタラクションスコアを使用して該複数の画像を分類することによって訓練データが生成される。該訓練データが使用されて、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為の画像分類モデルを導出する。該画像分類モデルを使用する少なくとも１つの推奨された画像キャプチャ設定が、ユーザがデバイスで画像をキャプチャする為の準備をしているとの決定に応答して決定される。該推奨された画像キャプチャ設定が、デバイスのディスプレイ上に表示される。【選択図】図４

Description

本発明は、写真フィルタの設定を解析し、そして推奨することに関する。より具体的には、本発明は、指定された基準を満たす既知の位置及びオブジェクトを認識することに基づいて、モバイルデバイスのユーザインタフェース上で写真フィルタを推奨する為のシステム及び方法に向けられている。
本発明の実施態様は、カメラ設定を推奨する為の、コンピュータに実装された方法に向けられている。該方法は、複数の画像と該複数の画像の各々に関連付けられたメタデータとを受信すること、及び該複数の画像の各々について、ヒューマンインタラクションスコア（human interaction score）を受信することを含みうる。該方法は、該関連付けられたメタデータ及び該ヒューマンインタラクションスコアを使用して該複数の画像を分類することによって訓練データを生成することを含みうる。加えて、該方法は該訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為の画像分類モデルを導出することを含みうる。更に、該方法は、ユーザがデバイスで画像をキャプチャする為の準備をしているとの決定に応答して、該画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定することを含みうる。該推奨された画像キャプチャ設定が、該デバイスのディスプレイ上に表示されうる。
１つの実施態様において、該関連付けられたメタデータ及び該ヒューマンインタラクションスコアを使用して該複数の画像を分類することによって訓練データを生成することが、該複数の画像の各々について位置を決定することを含みうる。
１つの実施態様において、該関連付けられたメタデータ及び該ヒューマンインタラクションスコアを使用して該複数の画像を分類することによって訓練データを生成することが、該複数の画像の各々についてシーンの種類を決定すること；及び、シーンの該決定された種類を該複数の画像の各々に関連付けることを含みうる。
１つの実施態様において、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為の該画像分類モデルが、複数のベクトルと複数のターゲットとを有する回帰モデルでありうる。
１つの実施態様において、該訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為の該画像分類モデルを導出することが、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出することを含みうる。該改定された画像分類モデルは、追加の訓練データを生成すること、及び該追加の訓練データを使用して、該画像分類モデルを更新することによって導出されうる。
追加の訓練データは、(a）第１の画像を選択すること、ここで、該第１の画像はシーンの第１の種類である；（b）該選択された第１の画像から２以上のテスト画像を作成すること、ここで、各テスト画像は２以上の異なる画像キャプチャ設定のうちの１つを使用して生成されること、（c)ヒューマンユーザの１組から該各テスト画像についてのヒューマンインタラクションスコアを受信すること；及び、（d）該受信したヒューマンインタラクションスコアを該夫々のテスト画像に関連付けることによって生成されうる。
１つの実施態様において、該画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定することが、カメラの視野内の第１の画像をキャプチャすること；及び、該画像分類モデルを使用して、該第１の画像の為の画像キャプチャ設定を決定することを含みうる。
１つの実施態様において、該訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為の該画像分類モデルを導出することが、(a）ユーザからの入力を受信すること、ここで、該ユーザが該推奨された画像キャプチャ設定を受け入れること；（b）該推奨された画像キャプチャ設定を用いて画像をキャプチャすること；（c）追加の訓練データを生成することによって、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出すること；（d）該追加の訓練データを使用して、該画像分類モデルを更新することを含みうる。該追加の訓練データは、(a）該キャプチャされた画像についてのヒューマンインタラクションスコアを１以上のヒューマンユーザから得ること；（b）該ヒューマンインタラクションスコアを該キャプチャされた画像に関連付けること；及び、（c）該追加の訓練データを使用して、該画像分類モデルを更新することによって生成されうる。
他の実施態様に従うと、カメラ設定を推奨する為のコンピュータプログラム製品が提供される。該コンピュータプログラム製品は、コンピュータ可読記憶デバイスを備えており、該コンピュータ可読記憶デバイスはそれに埋め込まれたコンピュータ可読プログラムコードを格納し、該コンピュータ可読プログラムコードは、下記の方法を実行する為にコンピュータによって実行可能なプログラムコードを含む。該方法は、複数の画像と該複数の画像の各々に関連付けられたメタデータとを受信すること；及び、該複数の画像の各々について、ヒューマンインタラクションスコアを受信することを含みうる。該方法は、該関連付けられたメタデータ及び該ヒューマンインタラクションスコアを使用して該複数の画像を分類することによって訓練データを生成することを含みうる。加えて、該方法は、該訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為にヒューマンインタラクションスコアを予測する為の画像分類モデルを導出することを含みうる。更に、該方法は、ユーザがデバイスで画像をキャプチャする為の準備をしているとの決定に応答して、該画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定することを含みうる。該推奨された画像キャプチャ設定は、該デバイスのディスプレイ上に表示されうる。
更に他の実施態様に従うと、カメラ設定を推奨する為のコンピュータシステムが提供される。
本要約は、発明の詳細な説明において更に後述される概念の一部を簡略化して紹介する為に提供されている。本要約は、請求される主題の重要な特徴又は必須の特徴を特定することを意図しておらず、また請求される主題の範囲を決定する際の補助として使用されることを意図していない。
図1は、本発明の１つの実施態様に従うクラウドコンピューティング環境を図示する。 図2は、本発明の１つの実施態様に従う抽象化モデル層を図示する。 図3は、１つの実施態様に従って実装されうる永続記憶装置を備えている例示的なコンピュータシステムのブロック図である。 図4は、１以上の実施態様に従う、「フォトレゾナンス」（photo-resonance）モデルを用いて写真を撮る為の位置及びコンテントを認識したフィルタ設定を推奨する為の処理のフローチャート図である。
デジタル写真の為のフィルタをユーザに提示及び推奨する為の現在のアプローチは、写真を撮影しているデバイスのソフトウェアユーザインタフェースを介して、該ユーザが常に利用可能な静的プリセットを提示することを含む。追加的なアプローチは、ソフトウェアが被写体及びシーンを解析して、例えば、バイラテラルフィルタリング（Bilateral Filtering）又はヒストグラムエンハンスメント（Histogram Enhancement）のいずれかに基づいて調整を行う「オートモード」を含む。しかしながら、これらのアプローチは、利用可能な最新のアルゴリズムに基づく一方、提供される設定がしばしば、或る特定のリアルタイムな状況を意識したものでない固定された設定であり、それ故に、全てのユーザにアピールできるものとは限らない。画像をキャプチャするデバイス内の機能の別の例は、ハイダイナミックレンジ(HDR：high-dynamic-range)イメージングであり、それは、同じシーンの複数のショットを撮影し、そして、それらをマージして、トーンを平均化する単一の画像を作成する。これは役立つ場合があるが、機能する為に固定化された構成に依存する後処理手法である。
写真とのヒューマンインタラクションを考慮しない事前設定されたソフトウェアプリセットへの依存を排除する為に、ヒューマンインタラクションスコアを予測する為の画像分類モデル（「フォトレゾナンス」モデル）が開示されている。様々な実施態様に従うと、該「フォトレゾナンス」モデルは、既存のオンライン画像及びそれらのタグ付けされた人間の感情又は群集心理、例えば、ソーシャルメディアページからの、例えば、「いいね」（liked）又は「お気に入り」（favorites）、の解析から導出されうる。該モデルの一般化は更に、最も人気のあるフィルタを有するユーザ体験（UX：user experience）内にフィルタを最上位で再配置する為に、又はフィルタを再構成して、最も人気のある設定を表示する為の先制属性（preemptive attributes）を使用する為に使用されることができる。
実施態様に従う「フォトレゾナンス」モデルを使用することによって、動的なオートエンハンスメント（dynamic auto enhancement）は、UXにおいて人気のある設定のみを推奨する為に、カメラ上の写真フィルタ及び関連付けられた設定を再ランク付けする為に導出され且つ使用されうる。GPS位置のモデルへの組み込みと、該位置の周囲で最も人気のある写真の解析により、オートエンハンスプリセット（auto-enhance presets）のより速く且つより正確な動的な作成が提供されうる。群集心理分析を組み込むことで、地理的位置で、フィルタの最も人気のある種類又はカテゴリの傾向における変化がリアルタイムで判断されることができる。該モデルは、機械学習を使用して、自動調整を通じてそれ自体を改善し得、並びに該ユーザエクスペリエンスを継続的に変化させうる。
１つの実施態様において、画像をキャプチャするデバイスのGPS位置と写真の被写体とに基づいて、「フォトレゾナンス」モデルは、同じ位置と被写体の他の画像を解析して、リアルタイムで使用されるべき「最良」（best）のオートエンハンスプリセットを動的に作成しうる。例えば、ワシントンDCにおいて桜について最も人気のある画像が解析されて、ハイライトを減らして画像の露出オーバーを防ぐところの推奨されたオートエンハンスプリセットに達しうる。なぜならば、桜の被写体は通常、写真中の他の要素よりも色が薄い為である。別の例として、アリゾナ州アンテロープキャニオンにおいて、写真の典型的な主な被写体は赤い砂岩であろう。このことは、最も人気のある写真は「暖かみのある」感じを有し得、並びに「フォトレゾナンス」モデルは、青いピクセルの強度を下げることによって、被写体である砂岩の色を強調する設定を推奨しうる。それ故に、モデルによって解析された人気のある画像のほとんどは、青いピクセルの数が少なく、並びに「フォトレゾナンス」モデルは、暖かい色調を提供する設定を推奨するところの動的な「オートエンハンス」（auto-enhance）プリセットに達する可能性がある。
本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に列挙される教示の実装はクラウドコンピューティング環境に限定されないことが予め理解されるべきである。むしろ、本発明の実施態様は、現在知られている又は後に開発される任意の他のタイプのコンピューティング環境と組み合わされて実装されることができる。
クラウドコンピューティングは、最小限の管理労力又はサービスのプロバイダとの相互作用で迅速にプロビジョニングされ且つ解放されることができる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理（processing）、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にする為のサービス提供のモデルである。このクラウドモデルは、少なくとも５つの特徴、少なくとも３つのサービスモデル、及び少なくとも４つのデプロイメントモデル（deployment model）を含みうる。
特徴は下記の通りである。
オンデマンドセルフサービス（On-demand self-service）：クラウドコンシューマ（cloud consumer）は、サービスのプロバイダとのヒューマンインタラクション（human interaction）を必要とせずに、必要に応じて、コンピューティング機能、例えばサーバ時間及びネットワークストレージ、を一方的にプロビジョニングすることができる。
ブロードネットワークアクセス：機能は、ネットワークを介して利用可能であり、及び異種のシン（thin）クライアント・プラットフォーム又はシック（thick）クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、及びPDA）による使用を促進する標準的なメカニズムを介してアクセスされる。
リソースのプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数のコンシューマにサービスを提供する為にプールされ、及び様々な物理リソースと仮想リソースが需要に従って動的に割り当てられ及び再割り当てされる。コンシューマは一般的に、提供されたリソースの正確な場所についての制御又は知識を有していないが、より高いレベルの抽象化での場所（例えば、国、州又はデータセンター）を特定できうるという点で、場所に依存しないといえる。
迅速な順応性：機能は、迅速且つ弾力的にプロビジョニングされ、場合によっては自動的に、迅速にスケールアウトされ、迅速にリリースされて迅速にスケールインされうる。コンシューマにとって、プロビジョニングに利用可能な機能はしばしば、無制限であり及びいつでも任意の量で購入されることができる。
測定されたサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザアカウント）に適した何らかの抽象化レベルでの計量機能を用いることによって、リソースの使用を自動的に制御し及び最適化する。リソース使用は監視され、制御され、及び報告されることができ、利用されるサービスのプロバイダ及びコンシューマの両方についての透明性を提供することができる。
サービスモデルは下記の通りである。
サービスとしてのソフトウェア（SaaS：Software as a Service）：クラウドインフラストラクチャにおいて実行しているプロバイダのアプリケーションを使用する為に、コンシューマに提供される機能である。該アプリケーションは、シン・クライアント・インタフェース、例えばウェブブラウザ（例えば、ウェブベースの電子メール）、を通じて、様々なクライアント・装置からアクセス可能である。該コンシューマは、制限されたユーザ固有のアプリケーション構成設定のありうる例外として、基礎をなすクラウドインフラストラクチャ、例えば、ネットワーク、サーバ、オペレーティングシステム、ストレージ、又は個々のアプリケーション機能さえも包含する基礎をなすクラウドインフラストラクチャ、を管理又は制御しない。
サービスとしてのプラットフォーム（PaaS：Platform as a Service）：プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが生成した又は取得したアプリケーションを、クラウドインフラストラクチャ上にデプロイする為に、該コンシューマに提供される機能である。該コンシューマは、基礎をなすクラウドインフラストラクチャ、例えば、ネットワーク、サーバ、オペレーティングシステム、又はストレージを包含する基礎をなすクラウドインフラストラクチャ、を管理又は制御しないが、デプロイされたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対して制御を有する。
サービスとしてのインフラストラクチャ（IaaS：Infrastructure as a Service）：コンシューマが、オペレーティングシステム及びアプリケーションを含むことができる任意のソフトウェアをデプロイ及び実行することができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティングリソースをプロビジョニングする為に、該コンシューマに提供される機能である。該コンシューマは、基礎をなすクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、デプロイされたアプリケーションに対する制御、並びに、場合によっては、ネットワーク・コンポーネント（例えば、ホストのファイアウォール）を選択することの制限された制御を有する。
デプロイメントモデル（Deployment Models）は下記の通りである。
プライベートクラウド：クラウドインフラストラクチャは、ある組織の為のみに運営される。該クラウドインフラストラクチャは、該組織又は第三者によって管理され得、及びオンプレミス（on-premises）又はオフプレミス（off-premises）に存在しうる。
コミュニティクラウド：クラウドインフラストラクチャは、幾つかの組織によって共有され、及び共通の関心事項（例えば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンス考慮事項）を有する特定のコミュニティをサポートする。該クラウドインフラストラクチャは、該組織又は第三者によって管理され得、及びオンプレミス又はオフプレミスに存在しうる。
パブリッククラウド：クラウドインフラストラクチャは、一般公衆又は大規模な業界グループに対して利用可能であり、及びクラウドサービスを販売する組織によって所有される。
ハイブリッドクラウド：クラウドインフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションの移行性を可能にする標準化された又は専用の技術（例えば、クラウド間の負荷分散の為のクラウド・バースティング）によって一緒にされる２以上のクラウド（プライベート、コミュニティ、又はパブリック）の混成物である。
クラウドコンピューティング環境は、無国籍性（statelessness）、低結合性、モジュール性、及びセマンティック相互運用性（semantic interoperability）に焦点を有する指向されたサービスである。クラウドコンピューティングの中核（heart）は、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図1を参照すると、例示的なクラウドコンピューティング環境150が図示されている。図示されているように、クラウドコンピューティング環境150は、クラウドコンシューマ、例えば、パーソナルデジタルアシスタント（PDA：personal digital assistant）又は携帯電話154A、デスクトップコンピュータ154B、ラップトップコンピュータ154C若しくは自動車コンピュータシステム154N等又はそれらの組み合わせ、によって用いられるローカルコンピューティングデバイスが通信しうる１以上のクラウドコンピューティングノード110を備えている。ノード110は、互いに通信しうる。それらは、１以上のネットワーク、例えば、本明細書において記載されている、プライベートクラウド、コミュニティクラウド、パブリッククラウド、若しくはハイブリッドクラウド、又はそれらの組み合わせ、において物理的又は仮想的にグループ化されていてもよい（図示せず）。これにより、クラウドコンピューティング環境150は、クラウドコンシューマがローカルコンピューティングデバイス上のリソースを維持する必要がないサービスとして、インフラストラクチャ、プラットフォーム若しくはソフトウェア又はそれらの組み合わせを提供することができる。図示されているコンピューティングデバイス154A～154Nのタイプは、例示のみを意図されていること、並びにコンピューティングノード110及びクラウドコンピューティング環境150は、任意のタイプのネットワーク若しくはネットワークアドレス可能接続又はそれらの組み合わせを介して（例えば、ウェブブラウザを使用して）任意のタイプのコンピュータ化されたデバイスと通信することが理解される。
ここで図2を参照すると、クラウドコンピューティング環境150(図1)によって提供される機能的抽象化層の１組が示されている。図2に示されているコンポーネント、層及び機能は、単に例示であることが意図されていること、並びに本発明の実施態様はそれらに限定されないことが理解されるべきである。図示されている通り、下記の複数の層及び対応する複数の機能が提供される。
ハードウェア及びソフトウェア層210は、ハードウェアコンポーネント及びソフトウェアコンポーネントを包含する。ハードウェアコンポーネントの例は、メインフレーム211、RISC（Reduced Instruction Set Computer（縮小命令セット・コンピュータ））アーキテクチャ・ベースのサーバ212；サーバ213；ブレード・サーバ214；記憶デバイス215；並びに、ネットワーク及びネットワーキング・コンポーネント216を包含する。幾つかの実施態様において、ソフトウェアコンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア217及びデータベース・ソフトウェア218を包含する。
仮想化層230は、抽象化層を提供し、この抽象化層から、仮想エンティティの下記の例が提供されうる：すなわち、仮想サーバ231；仮想ストレージ232；仮想ネットワーク233；例えば仮想プライベートネットワークを包含する該仮想ネットワーク233；仮想アプリケーション及びオペレーティングシステム234；並びに、仮想クライアント235。
１つの例において、管理層250は、以下で説明される複数の機能を提供しうる。リソース・プロビジョニング251は、クラウドコンピューティング環境内でタスクを実行する為に利用されるコンピューティングリソース及び他のリソースの動的な調達を提供する。計量及び価格決定252は、リソースがクラウドコンピューティング環境内で利用される場合のコスト追跡と、これらのリソースの消費についての課金又は請求とを提供する。１つの例において、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを包含しうる。セキュリティは、クラウドコンシューマ及びタスクに対する識別検証と、データ及び他のリソースに対する保護とを提供する。ユーザ・ポータル253は、コンシューマ及びシステム管理者の為に、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理254は、要求されるサービスレベルが満たされるように、クラウド・コンピューティング・リソースの割り当て及び管理を提供する。サービス・レベル・アグリーメント（SLA：Service Level Agreement）の計画及び履行255は、将来の要件がSLAに従って予測されるクラウド・コンピューティング・リソースの為の事前配置及びその調達を提供する。
ワークロード層270は、該クラウドコンピューティング環境が利用されうる複数の機能の例を提供する。この層から提供されうる複数のワークロード及び複数の機能の例は、マッピング及びナビゲーション271；ソフトウェア開発及びライフサイクル管理272；仮想教室教育の提供273；データ分析処理274；トランザクション処理275；並びに、「フォトレゾナンス」モデル276を包含する。
ここで図3を参照すると、１つの実施態様において、クラウドコンピューティングノード110内に埋め込まれていてもよいコンピュータシステム300を示すブロック図が示されている。別の実施態様において、コンピュータシステム300は、「スマートフォン」内に埋め込まれていてもよく、該スマートフォンは、ネットワークに接続されることができ、並びにカメラと、位置を決定する為の機能、例えばGPSトランシーバ、とを備えている。更に別の実施態様において、コンピュータシステム300は、慣用的なデジタルカメラ内に組み込まれていてもよく、該デジタルカメラは、ネットワークに接続されることができ、並びに位置を決定する為の機能、例えばGPSトランシーバ、を備えている。図示されているように、コンピュータシステム300は、プロセッサユニット302、メモリユニット304、永続記憶装置306、通信ユニット312、入力／出力ユニット314、ディスプレイ316、及びシステムバス310を備えている。コンピュータプログラム、例えば「フォトレゾナンス」モデル276、は典型的には、それらが実行の為に必要になるまで永続記憶装置306内に格納され、そのとき、該プログラムは、プロセッサユニット302によって直接アクセスされることができるように、メモリユニット304内にもたらされる。プロセッサユニット302は、プロセッサ302が読み出し若しくは書き込み又はそれらの組み合わせをする為の要求とともにメモリ304に与えるところのアドレスを用いることによって、読み出し及び／又は書き込みを行うメモリユニット304の一部を選択する。通常、あるアドレスでエンコードされた命令の読み取り及び解釈は、プロセッサ302に、後続のアドレスで又は幾つかの他のアドレスでのいずれかで、後続の命令をフェッチするようにさせる。プロセッサユニット302、メモリユニット304、永続記憶装置306、通信ユニット312、入力／出力ユニット314、及びディスプレイ316は、システムバス310を通じて互いにインタフェースされる。
ここで図4を参照すると、１以上の実施態様に従う、「フォトレゾナンス」モデルを用いて写真を撮る為の位置及びコンテントを認識したフィルタ設定を推奨する為の機械学習プロセス400のフローチャート図が示されている。動作402では、該システムは、様々なデータソース、例えば、http://www.image-net.org/、又はクラウドソース化されたフィードバックデータを有するソーシャルメディアウェブサイト、から、写真を集約してもよい。該システムはまた、解析の為の画像及びソーシャルメディアフィードバックの初期データセットを作成する為に、画像からソーシャルメディアインタラクション（例えば、「いいね」（likes））を集約してもよい。これらの画像及び関連付けられたデータへのリンクは、データベース内のレコードとして格納されていてもよい。
動作404では、該システムは、各画像について、動作402からのソーシャルメディアインタラクションに基づいて、ヒューマンインタラクション又は共鳴のスコアを割り当てうる。該システムはまた、コンピュータビジョン又は既存の慣用的な畳み込みニューラルネットワーク(CNN：convolutional neural network)トレーナー及び分類器、例えばMIT Places 365、を使用して、動作404において各画像に表示されているシーン（及び可能であれば、地理的位置）を決定し、そして分類してもよい。該システムは、関連付けられた画像メタデータから直接的に又はオブジェクト認識を通じてのいずれかで、オンライン画像の地理的位置を決定しうる。画像位置データは、後に、推奨されたフィルタ設定の計算における関連性を決定する為に、リアルタイムの所望の画像の位置と比較されるであろう。動作404において、該システムはまた、一般的なツール、例えば、Pythonにおけるexifread及びRプログラミング言語におけるread_exif、を使用して、画像からメタデータを抽出しうる。標準的な写真ファイル形式、例えば、JPEG（デジタルカメラ及び電話プロセッサにおいて最も一般的に使用される）又はTIFF、は典型的には、このメタデータをデータファイル内で公に利用可能なEXIFデータとして格納される。
該開示された実施態様の様々な観点は、写真画像、又はカメラの視野内の画像をシーンによって分類されることを要求する。複数の異なるシーンが企図される。「シーン」は、画像内の被写体がどのようにフレーミングされるかによって定義されていてもよく、例えば、極広角（extreme wide angle）、広角（wide angle）、フル（full）（被写体の頭からつま先まで）、中角（medium angle）、中近接（medium close up）、近接（close up）、又は極近接（extreme close up）である。「シーン」は、被写体に対するカメラアングル、例えば、アイレベル（eye level）、ハイアングル（high angle）（カメラが被写体を見下ろす）、又はローアングル（low angle）（カメラが被写体を見上げる）等、に基づいて定義されてもよい。「シーン」は、フレーム内の視覚的要素、例えば、無生物の自然要素、例えば、木、山、川、湖、雪、雨、季節、岩、砂、草及び花、に基づいて定義されていてもよい。フレーム内の視覚的要素は、生物界の要素（animate natural elements）、例えば、犬、猫、馬又は鳥、を包含しうる。フレーム内の視覚的要素は、人を包含しうる。フレーム内の視覚的要素は、人工的なオブジェクト、例えば、家、建築物、車、自転車、壁、船等、を包含しうる。フレーム内の視覚的要素は、象徴的な又は広く認識できる人工的なオブジェクト、例えば、エッフェル塔、サウスダコタ州のラシュモア山の米国大統領の彫刻、ワシントンDCのワシントン記念塔、ディズニーランドテーマパークの眠れる森の美女城、を包含しうる。「シーン」は、その地理的位置によって定義されてもよい。従って、「シーン」は、これらのショットタイプ、視覚的要素、及び地理的位置のうちの１以上に基づいて定義されてもよい。ありうる視覚的要素は、この段落において挙げられたものに限定されないことが理解されるべきである。
画像ファイルから抽出されたメタデータは、地理的位置、カメラ設定、時刻、曜日、及び他の関連データを包含しうる。オンライン画像から収集されるメタデータの例は、該画像が撮影されたときのアパチャー設定（aperture setting）（Fナンバーとして表される）、該画像が撮影されたときのコントラスト設定、該画像を記録する為に使用されたデジタルズーム比（これは、10進値若しくは小数として表され、又はデジタルズームが使用されなかったことを特定する為のテキスト、例えば「オフ」、で表されることができる）、該画像が記録されたときのカメラの露出バイアス設定（通常はストップで指定されている）、該画像を記録する為に使用された露出プログラム（例えば、アパチャー優先、シャッター優先等）、該画像を記録する為に使用された露出時間（通常、整数若しくは分数(例えば、1/5)若しくは小数(例えば、1.8)として秒単位で指定されている）、該画像が撮影されたときにフラッシュが発光したかどうか、潜在的な特別なモード、例えば「赤目軽減」、が使用されたかどうか、及びレンズの実際の焦点距離(典型的には、ミリメートルで表される)を包含しうる。
画像メタデータの更なる例は、該写真が撮影された平均海抜に相対的なGPS高度（負の値は、該画像が平均海抜よりも低く撮影されたことを示すであろう）、該写真が撮影されたGPS緯度（典型的には、北半球若しくは南半球のいずれかで、度、分及び秒単位で特定される）、該写真が撮影されたGPS経度（典型的には、本初子午線の東若しくは西のいずれかで、度、分及び秒単位で特定される）、該画像が撮影されたときの（同等の）フィルム速度（典型的には、ISOスケールで表される）、該画像が撮影されたときに使用された露光計モード（exposure metering mode）(例えば、平均、スポット、マルチスポット)、該画像中に保存されている回転情報（通常は、該画像が記録されたときのカメラの向きを反映する為にカメラの向きセンサーによって設定されている）、該画像の彩度(典型的には、ノーマル、高若しくは低)、該カメラによって使用されるシーンキャプチャプログラムの種類(例えば、標準、夜間、ポートレート)、該画像のシャープネス(例えば、ノーマル、ハード若しくはソフト)、該画像が撮影されたときのシャッタースピード(通常は、整数若しくは分数(例えば、1/5)若しくは小数(例えば、1.8)として秒単位で指定されている)、焦点から被写体までの距離（通常は、整数若しくは分数(例えば、1/5)若しくは小数(例えば、1.8)として秒単位で指定されている）、並びに該画像が撮影されたときのカメラのホワイトバランス設定を包含する。
加えて、画像メタデータは、デジタル画像における複数の画像チャンネルの各々の為の統計値を含んでいてもよい。例えば、RGB画像の赤チャンネル、青チャンネル及び緑チャンネルの各チャンネルにおける画素の平均色値が提供されてもよい。平均値に加えて、他の記述的統計値、例えば、色チャンネル値の標準偏差、が提供されてもよい。メタデータは、画像のルマ（luma）又はルミノシティ（luminosity）に関する統計値、例えば、画像のルマ値の平均、標準偏差及び分散、を包含しうる。このリストは完全なものではなく、該システムは画像について利用可能な任意のメタデータを収集してもよい。
最後に、動作404では、該システムは、レゾナンススコア（resonance score）、GPS位置、シーン情報、及び上記で収集した適切な画像メタデータを特定の写真と関連付けてもよく、並びにこれをデータベース308内に一緒に格納して、「フォトレゾナンス」モデルの為の訓練データとして使用されるようにしてもよい。
動作406では、該システムは、該訓練データを使用して「フォトレゾナンス」モデルを導出してもよく、この「フォトレゾナンス」モデルは、動作404において抽出されたメタデータ、例えば、GPS位置、シーン、時刻、時期、色、色合い及び明るさを包含する上記のメタデータ、からの様々なデータ因子に感情を相関させる多ベクトル／多目標回帰モデル（multi-vector/multi-target regression model）であってもよい。様々な実施態様において、該モデルは、サポートベクターマシン（SVM：support vector machine）であってもよい。様々な実施態様において、該モデルは、教師あり学習モデルであってもよい。該モデルは、レゾナンススコアに従って、該訓練データ中に含まれていない写真を分類する為に使用されてもよい。言い換えれば、該モデルは、未知のレゾナンススコアを有する写真の為のレゾナンススコアを予測してもよい。該訓練データの写真は、それらのレゾナンススコアによってランク付けされてもよく、但し、それらの最高のランク付けがされたもののみが最終的に、新しい設定を受け入れるか否かの決定の為にリアルタイムで写真家に提示されるであろう実行可能な推奨となる。推奨された設定を使用して撮影された写真は、例えば、オンラインソーシャルメディアプラットフォームにおいて、他の人に提示されてもよい。引き続き、上記の受け入れられたプリセットを用いた写真が、他の閲覧者から肯定的な感情を引き出したり又は呼び起こしたりした場合、それらのカメラ設定は、そのシーン又は写真の種類の為に促進され、「フォトレゾナンス」モデルに対して変更を加える為に使用されるであろう。異なるカメラ設定で撮影された類似の写真よりも平均的に「いいね」（liked）とされたプリセットは、結果ランキングデータストアにおいて昇格されうる。異なるカメラ設定で撮影された類似の写真よりも平均的にパフォーマンスが低いプリセットは、ランキングで降格されうる。上位のプリセットは、より多くの「いいね」（likes）（肯定的な感情）を生成することを期待して、写真により頻繁に適用されてもよく、一方、下位のプリセットは、パフォーマンスが改善されるまで変更され及び再試行されてもよい。該ランク付けされた結果は、解析されたシーンの分類とGPS位置とに基づいてタグ付けされてもよい。
様々な実施態様において、未知のレゾナンススコアを有する写真に対するレゾナンススコアを予測するモデルの能力が検証されてもよい。該モデルが、画像一般の為に又は特定のシーンタイプの画像の為にレゾナンススコアを予測することに失敗した場合、該モデルは、ソーシャルメディア上のビュー又はインタラクションの閾値数を有する頻繁なオンラインユーザの対照又はテストグループを作成することによって、改良され、改訂され又は更新されてもよい。次に、該システムは、オートエンハンスプリセットのランダムな組を或る「テスト」画像に適用し、そして、これらをソーシャルメディア上の人間のテスターのグループにフィードバックして、異なるカメラ設定又は模擬カメラ設定下での感情における変化を学習しうる。第１の設定を使用した特定のテスト画像が、他の設定を使用した同じテスト画像よりも多くの人々によって「いいね」（liked）された場合、該第１のオートエンハンスプリセットが促進されうる。該促進は、オートエンハンスプリセットが人々によって受け入れられた各インスタンスの為に正の報酬値を追加することによって行われうる。より少ない「いいね」（likes）を持つそれらの画像は、負のペナルティ値で採点され、そして、削除されるか又は新しいオートエンハンスプリセットを作成する為に変更されてもよく、それは再びテストグループに示されてもよい。視聴者が、複数のありうるオートエンハンスプリセットから、特定のオートエンハンスプリセットを有する画像を選ぶと期待される可能性は、正の報酬値の合計から負のペナルティ値の合計を引いたものに比例するであろう。別の実施態様において、該システムは、新しい又は変更されたオートエンハンスプリセットをランダムに選んでもよく又は作成してもよく、そして、それらをテストグループ又はそのサブグループに示してもよい。該結果は、追加の訓練データで「フォトレゾナンス」モデルを改善する為に使用されてもよい。
動作408は、ユーザが写真を撮影する準備をしていることに応答して実行されてもよい。現在の画像プロパティ、例えば、GPS位置及びシーンタイプ、は、該画像がコンピュータビジョンを使用してクリックされる前に該システムによって抽出されてもよく、並びに現在のフィルタ又は他のデバイス設定がまた該システムによって決定されてもよい。「フォトレゾナンス」モデルは、動的なオートエンハンスプリセットを作成する為に適用されてもよく、それは、該モデルがより肯定的な感情を引き出す又は呼び起こすことを決定したところのそれらの画像に該画像を近づける為に、プロパティ、例えば、色、明るさ又はコントラスト、に対する或る変更をユーザに推奨してもよい。１つの実施態様において、推奨される設定は、最も人気のあるものを上にしてUX内でフィルタを再配置することによってデバイス上に表示されてもよい。別の実施態様において、該デバイス上のフィルタは、現在の設定を犠牲にして最も人気のある設定を先取りして表示するように再構成されることができる。次に、該ユーザは、「フォトレゾナンス」モデルからの推奨を受け入れるか又は拒否するかを選ぶことができる。
ユーザが所望のフィルタ及び他の設定を選択し、そして写真を撮ったことに応じて、「フォトレゾナンス」モデルは、推奨された設定を受け入れるか又は拒否するかのユーザの選択と、並びに写真の為に使用された実際の設定を記録しうる。動的なオートエンハンスプリセットを使用する画像の為の、ユーザの感情、例えば「いいね」（like）又は他の入力、に対応する信号又は表示は、「フォトレゾナンス」モデル内に追加の訓練データとしてフィードバックされうる。「フォトレゾナンス」モデルはまた、それらがモデルによって推奨されなかった場合、使用された設定の為にソーシャルメディア感情データを記録しうる。
様々な実施態様において、「フォトレゾナンス」モデルの導出（derivation）又は洗練（refinement）404は、クラウドにおいて実行される１以上のサーバコンピュータにおいて実行されてもよい。次に、フォトレゾナンスモデルのモジュールは、スマートフォン又はカメラにデプロイされてもよく、それにより、環境パラメータ及び位置パラメータが収集されて、カメラ設定を推奨する為にモデルが使用されうる。１つの実施態様において、フォトレゾナンスモデルは、サービスとしてのソフトウェア（SaaS）として提供されうる。
本発明は、統合のありうる任意の技術的詳細レベルでの、システム、方法若しくはコンピュータプログラム製品又はそれらの組み合わせでありうる。該コンピュータプログラム製品は、プロセッサに本発明の観点を実行させる為のコンピュータ可読プログラム命令を有する１以上のコンピュータ可読記憶媒体を包含しうる。
該コンピュータ可読記憶媒体は、命令実行デバイスによって使用する為の命令を保持且つ記憶することができる有形のデバイスであることができる。該コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又はこれらの任意の適切な組み合わせでありうるが、これらに限定されない。該コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、下記を包含する：ポータブルのコンピュータディスケット（登録商標）、ハードディスク、ランダムアクセスメモリ（RAM：random access memory）、読み取り専用メモリ（ROM：read only memory）、消去可能なプログラム可能な読み取り専用メモリ（EPROM（erasable programmable read-only memory）又はフラッシュメモリ）、スタティックランダムアクセスメモリ（SRAM：static random access memory）、ポータブル・コンパクトディスク読み取り専用メモリ（CD-ROM：compact disc read-only memory）、デジタル多用途ディスク（DVD：digital versatile disk）、メモリスティック、フロッピーディスク、機械的に符号化されたデバイス、例えば、パンチカード若しくは命令が記録されている溝内の隆起構造又はこれらの任意の適切な組み合わせ。本明細書において使用される場合、コンピュータ可読記憶媒体は、一時的な信号それ自体、例えば、電波又は他の自由に伝播する電磁波、導波管若しくは他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は電線を介して送信される電気信号、であると解釈されるべきでない。
本明細書において記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から個々のコンピューティングデバイス／処理デバイスに、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク若しくはワイヤレスネットワーク又はそれらの組み合わせ、を介して外部コンピュータ又は外部記憶デバイスにダウンロードされることができる。該ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ若しくはエッジサーバ又はこれらの組み合わせで構成されうる。各コンピューティングデバイス／処理デバイスにおけるネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そして、該コンピュータ可読プログラム命令を、個々のコンピューティングデバイス／処理デバイス内にコンピュータ可読記憶媒体中に記憶する為に転送する。
本発明の動作を実行する為のコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ISA：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の為の構成データ、又は、１以上のプログラミング言語、例えばオブジェクト指向プログラミング言語、例えば、Smalltalk、C++等、慣用的な手続き型プログラミング言語（例えば、「C」プログラミング言語又は同様のプログラミング言語）、の任意の組み合わせで書かれているソースコード又はオブジェクトコードのいずれか、でありうる。該コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に、ユーザのコンピュータ上で部分的に且つリモート・コンピュータ上で部分的に、又はリモート・コンピュータ若しくはサーバ上で全体的に、実行されうる。後者のシナリオにおいて、該リモート・コンピュータは、任意の種類のネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）若しくはワイドエリアネットワーク（WAN：wide area network）、を介してユーザのコンピュータに接続されうるか、又は該接続は（例えば、インターネットサービスプロバイダを使用したインターネットを通じて）外部コンピュータに対して行われうる。幾つかの実施態様において、電子回路、例えば、プログラム可能な論理回路、フィールドプログラム可能なゲートアレイ（FPGA：field-programmable gate arrays）又はプログラム可能なロジックアレイ（PLA：programmable logic arrays）、は、本発明の観点を実行する為に、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行しうる。
本発明の観点は、本発明の実施態様に従う、方法、装置（システム）及びコンピュータプログラム製品若しくはコンピュータプログラムのフローチャート図若しくはブロック図又はそれらの組み合わせを参照して本明細書において記載されている。該フローチャート図若しくは該ブロック図又はそれらの組み合わせの各ブロック、並びに該フローチャート図若しくは該ブロック図又はそれらの組み合わせにおける複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装されることができることが理解されるであろう。
これらのコンピュータ可読プログラム命令は、該コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が該フローチャート図若しくはブロック図又はそれらの組み合わせの１以上のブロックにおいて特定された機能／動作を実装する為の手段を作成するように、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置に提供されて、マシンを作り出しうる。記憶された命令を有するコンピュータ可読記憶媒体が該フローチャート図若しくはブロック図又はそれらの組み合わせの１以上のブロックにおいて特定される機能／動作の観点を実装する命令を含む製造品を含むように、これらのコンピュータ可読プログラム命令はまた、コンピュータプログラム可能なデータ処理装置若しくは他のデバイス又はこれらの組み合わせに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体中に記憶されうる。
該コンピュータ可読プログラム命令はまた、コンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上で実行される命令が、該フローチャート図若しくはブロック図若しくはそれらの組み合わせの１以上のブロックにおいて特定される機能／動作を実装するように、上記のコンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上にロードされて、コンピュータ、他のプログラム可能な装置又は他のデバイス上で一連の操作工程を実行させて、コンピュータに実装されたプロセスを生成しうる。
図面中のフローチャート図及びブロック図は、本発明の様々な実施態様に従う、システム、方法及びコンピュータプログラム製品若しくはコンピュータプログラムのありうる実装の、アーキテクチャ、機能及び動作を示す。これに関連して、該フローチャート図又はブロック図における各ブロックは、命令のモジュール、セグメント、又はその一部を表し得、それは、特定された１以上の論理機能を実装する為の１以上の実行可能命令を含む。幾つかの代替の実装において、該ブロックにおいて示されている機能は、図面中に示されている順序とは異なって生じうる。例えば、連続して示されている２つのブロックは、実際には、関与する機能に依存して、同時に、実質的に同時に、部分的又は全体的に時間的に重複する様式で実行される１つの工程として達成されうるか、又は該ブロックは、逆の順序で実行されうる。該ブロック図若しくはフローチャート図又はこれらの組み合わせの各ブロック、並びに該ブロック図若しくはフローチャート図又はこれらの組み合わせの複数のブロックの組み合わせは、特定された機能又は動作を実行する特別な目的のハードウェアベースのシステムによって実装することができ、又は特別な目的のハードウェアとコンピュータ命令との組み合わせを実行することができることに留意されたい。
本発明の様々な実施態様の記載は、例示の目的の為に提示されているものであり、網羅的であること又は開示された実施態様に限定されることが意図されたものでない。多くの修正及び変形が、記載された実施態様の範囲及び精神から逸脱することなしに当業者に明らかであろう。本明細書において使用される語は、実施態様の原理、実用的な用途、又は市場において見られる技術に対する技術的改善を最もよく説明する為に、又は当業者が本明細書において開示されている実施態様を理解することができるようにする為に選択された。

Claims (20)

  1. カメラ設定を推奨する為の、コンピュータに実装された方法であって、
    複数の画像と前記複数の画像の各々に関連付けられたメタデータとを受信すること；
    前記複数の画像の各々について、ヒューマンインタラクションスコアを受信すること；
    前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成すること；
    前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の画像分類モデルを導出すること；
    ユーザがデバイスで画像をキャプチャする為の準備をしているとの決定に応答して、前記画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定すること；及び、
    前記推奨された画像キャプチャ設定を前記デバイスのディスプレイ上に表示すること
    を含む、前記方法。
  2. 前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成することが、
    前記複数の画像の各々について位置を決定すること
    を更に含む、請求項１に記載の方法。
  3. 前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成することが、
    前記複数の画像の各々についてシーンの種類を決定すること；及び、
    シーンの前記決定された種類を前記複数の画像の各々に関連付けること
    を更に含む、請求項２に記載の方法。
  4. 未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルが、複数のベクトルと複数のターゲットとを有する回帰モデルである、請求項１に記載の方法。
  5. 前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルを導出することが、
    未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出することを更に含み、
    前記改定された画像分類モデルを導出することが、
    追加の訓練データを生成すること
    によって行われ、
    前記追加の訓練データを生成することが、
    第１の画像を選択すること、ここで、該第１の画像は、シーンの第１の種類のものである；
    前記選択された第１の画像から２以上のテスト画像を作成すること、ここで、各テスト画像は、２以上の異なる画像キャプチャ設定のうちの１つを使用して生成される；
    前記テスト画像各々についてのヒューマンインタラクションスコアを、ヒューマンユーザの１組から受信すること；
    前記受信したヒューマンインタラクションスコアを前記テスト画像の各々と関連付けること；及び、
    前記追加の訓練データを使用して、前記画像分類モデルを更新すること
    によって行われる、
    請求項１に記載の方法。
  6. 前記画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定することが、
    カメラの視野内の第１の画像をキャプチャすること；及び、
    前記画像分類モデルを使用して、前記第１の画像の為の画像キャプチャ設定を決定すること
    を更に含む、請求項１に記載の方法。
  7. 前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルを導出することが、
    未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出することを更に含み、
    前記改定された画像分類モデルを導出することが、
    ユーザから入力を受信すること、ここで、該ユーザは、前記推奨された画像キャプチャ設定を受け入れる；
    前記推奨された画像キャプチャ設定を使用して画像をキャプチャすること；
    によって行われ、
    前記追加の訓練データを生成することが、
    前記キャプチャされた画像についてのヒューマンインタラクションスコアを１以上のヒューマンユーザから得ること、
    前記ヒューマンインタラクションスコアを前記キャプチャされた画像に関連付けること；及び、
    前記追加の訓練データを使用して、前記画像分類モデルを更新すること
    によって行われる、
    請求項１に記載の方法。
  8. カメラ設定を推奨する為のコンピュータプログラム製品であって、該コンピュータプログラム製品はコンピュータ可読記憶デバイスを備えており、該コンピュータ可読記憶デバイスはそれに埋め込まれたコンピュータ可読プログラムコードを格納し、該コンピュータ可読プログラムコードは、以下を含む方法を実行する為にコンピュータによって実行可能なプログラムコードを含み、該方法は、
    複数の画像と前記複数の画像の各々に関連付けられたメタデータとを受信すること；
    前記複数の画像の各々について、ヒューマンインタラクションスコアを受信すること；
    前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成すること；
    前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の画像分類モデルを導出すること；
    ユーザがデバイスで画像をキャプチャする為の準備をしているとの決定に応答して、前記画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定すること；及び、
    前記推奨された画像キャプチャ設定を前記デバイスのディスプレイ上に表示すること
    を含む、前記コンピュータプログラム製品。
  9. 前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成することが、
    前記複数の画像の各々について場所を決定すること
    を更に含む、請求項８に記載のコンピュータプログラム製品。
  10. 前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成することが、
    前記複数の画像の各々についてシーンの種類を決定すること；及び、
    シーンの前記決定された種類を前記複数の画像の各々に関連付けること
    を更に含む、請求項９に記載のコンピュータプログラム製品。
  11. 未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルが、複数のベクトルと複数のターゲットとを有する回帰モデルである、請求項８に記載のコンピュータプログラム製品。
  12. 前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルを導出することが、
    未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出することを更に含み、
    前記改定された画像分類モデルを導出することが、
    追加の訓練データを生成すること
    によって行われ、
    前記追加の訓練データを生成することが、
    第１の画像を選択すること、ここで、該第１の画像は、シーンの第１の種類のものである；
    前記選択された第１の画像から２以上のテスト画像を作成すること、ここで、各テスト画像は、２以上の異なる画像キャプチャ設定のうちの１つを使用して生成される；
    前記テスト画像各々についてのヒューマンインタラクションスコアを、ヒューマンユーザの１組から受信すること；
    前記受信したヒューマンインタラクションスコアを前記テスト画像の各々と関連付けること；及び、
    前記追加の訓練データを使用して、前記画像分類モデルを更新すること
    によって行われる、
    請求項８に記載のコンピュータプログラム製品。
  13. 前記画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定することが、
    カメラの視野内の第１の画像をキャプチャすること；及び、
    前記画像分類モデルを使用して、前記第１の画像の為の画像キャプチャ設定を決定すること
    を更に含む、請求項８に記載のコンピュータプログラム製品。
  14. 前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルを導出することが、
    未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出することを更に含み、
    前記改定された画像分類モデルを導出することが、
    ユーザから入力を受信すること、ここで、該ユーザは、前記推奨された画像キャプチャ設定を受け入れる；
    前記推奨された画像キャプチャ設定を使用して画像をキャプチャすること；
    によって行われ、
    前記追加の訓練データを生成することが、
    前記キャプチャされた画像についてのヒューマンインタラクションスコアを１以上のヒューマンユーザから得ること、
    前記ヒューマンインタラクションスコアを前記キャプチャされた画像に関連付けること；及び、
    前記追加の訓練データを使用して、前記画像分類モデルを更新すること
    によって行われる、
    請求項８に記載のコンピュータプログラム製品。
  15. カメラ設定を推奨する為のコンピュータシステムであって、該コンピュータシステムは、
    １以上のプロセッサ、１以上のコンピュータ可読メモリ、１以上のコンピュータ可読有形記憶媒体、及び、前記１以上のメモリのうちの少なくとも１つを介して前記１以上のプロセッサのうちの少なくとも１つによって実行する為の、前記１以上の有形の記憶媒体のうちの少なくとも１つに格納された複数のプログラム命令を備えており、前記コンピュータシステムは下記の方法を含む方法を実行することができ、該方法は、
    複数の画像と前記複数の画像の各々に関連付けられたメタデータとを受信すること；
    前記複数の画像の各々について、ヒューマンインタラクションスコアを受信すること；
    前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成すること；
    前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の画像分類モデルを導出すること；
    ユーザがデバイスで画像をキャプチャする為の準備をしているとの決定に応答して、前記画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定すること；及び、
    前記推奨された画像キャプチャ設定を前記デバイスのディスプレイ上に表示すること
    を含む、
    前記コンピュータシステム。
  16. 前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成することが、
    前記複数の画像の各々について場所を決定すること
    を更に含む、請求項１５に記載のコンピュータシステム。
  17. 前記関連付けられたメタデータ及び前記ヒューマンインタラクションスコアを使用して前記複数の画像を分類することによって訓練データを生成することが、
    前記複数の画像の各々についてシーンの種類を決定すること；及び、
    シーンの前記決定された種類を前記複数の画像の各々に関連付けること
    を更に含む、請求項１６に記載のコンピュータシステム。
  18. 未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルが、複数のベクトルと複数のターゲットとを有する回帰モデルである、請求項１５に記載のコンピュータシステム。
  19. 前記訓練データを使用して、未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為の前記画像分類モデルを導出することが、
    未知のヒューマンインタラクションスコアを有する画像の為のヒューマンインタラクションスコアを予測する為に改定された画像分類モデルを導出することを更に含み、
    前記改定された画像分類モデルを導出することが、
    追加の訓練データを生成すること
    によって行われ、
    前記追加の訓練データを生成することが、
    第１の画像を選択すること、ここで、該第１の画像は、シーンの第１の種類のものである；
    前記選択された第１の画像から２以上のテスト画像を作成すること、ここで、各テスト画像は、２以上の異なる画像キャプチャ設定のうちの１つを使用して生成される；
    前記テスト画像各々についてのヒューマンインタラクションスコアを、ヒューマンユーザの１組から受信すること；
    前記受信したヒューマンインタラクションスコアを前記テスト画像の各々と関連付けること；及び、
    前記追加の訓練データを使用して、前記画像分類モデルを更新すること
    によって行われる、
    請求項１５に記載のコンピュータシステム。
  20. 前記画像分類モデルを使用して、少なくとも１つの推奨された画像キャプチャ設定を決定することが、
    カメラの視野内の第１の画像をキャプチャすること；及び、
    前記画像分類モデルを使用して、前記第１の画像の為の画像キャプチャ設定を決定すること
    を更に含む、請求項１５に記載のコンピュータシステム。
JP2023515880A 2020-09-11 2021-09-08 デジタル写真の為の位置及びコンテントの推奨 Pending JP2023541604A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/017,755 US11778309B2 (en) 2020-09-11 2020-09-11 Recommending location and content aware filters for digital photographs
US17/017,755 2020-09-11
PCT/CN2021/117145 WO2022052944A1 (en) 2020-09-11 2021-09-08 Recommending location and content aware filters for digital photographs

Publications (1)

Publication Number Publication Date
JP2023541604A true JP2023541604A (ja) 2023-10-03

Family

ID=80625885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023515880A Pending JP2023541604A (ja) 2020-09-11 2021-09-08 デジタル写真の為の位置及びコンテントの推奨

Country Status (6)

Country Link
US (1) US11778309B2 (ja)
JP (1) JP2023541604A (ja)
CN (1) CN116195263A (ja)
DE (1) DE112021003964T5 (ja)
GB (1) GB2614483A (ja)
WO (1) WO2022052944A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220106730A1 (en) * 2020-10-01 2022-04-07 Haier Us Appliance Solutions, Inc. Dryer appliance with thermal condition detection
TWI811605B (zh) * 2020-12-31 2023-08-11 宏碁股份有限公司 情緒指標預測方法與系統
CA3240951A1 (en) * 2021-12-03 2023-06-08 Awes.Me, Inc. Ai-powered raw file management
CN116112779A (zh) * 2023-02-23 2023-05-12 上海哔哩哔哩科技有限公司 拍摄效果的推荐、装置、存储介质及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009023984A1 (en) 2007-08-17 2009-02-26 Google Inc. Ranking social network objects
US7805066B2 (en) * 2007-12-24 2010-09-28 Microsoft Corporation System for guided photography based on image capturing device rendered user recommendations according to embodiments
US8334898B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for configuring an imaging device for the reception of digital pulse recognition information
US8659667B2 (en) * 2011-08-29 2014-02-25 Panasonic Corporation Recipe based real-time assistance for digital image capture and other consumer electronics devices
US9014500B2 (en) 2012-01-08 2015-04-21 Gary Shuster Digital media enhancement system, method, and apparatus
JP5933637B2 (ja) 2014-06-30 2016-06-15 ユニ・チャーム株式会社 体液吸収性物品用吸収体
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9706111B2 (en) 2015-07-08 2017-07-11 Santa Clara No-reference image and video quality evaluation
US9906704B2 (en) 2015-09-17 2018-02-27 Qualcomm Incorporated Managing crowd sourced photography in a wireless network
CN105407281A (zh) 2015-11-13 2016-03-16 努比亚技术有限公司 一种基于场景的拍照装置、方法
US9967457B1 (en) * 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
CN107835364A (zh) 2017-10-30 2018-03-23 维沃移动通信有限公司 一种拍照辅助方法及移动终端
CN108093174A (zh) 2017-12-15 2018-05-29 北京臻迪科技股份有限公司 拍照设备的构图方法、装置和拍照设备
CN111614897B (zh) 2020-05-13 2021-08-10 南京邮电大学 一种基于用户偏好多维度驱动的智能拍照方法

Also Published As

Publication number Publication date
US11778309B2 (en) 2023-10-03
CN116195263A (zh) 2023-05-30
GB202304706D0 (en) 2023-05-17
US20220086337A1 (en) 2022-03-17
DE112021003964T5 (de) 2023-06-15
GB2614483A (en) 2023-07-05
WO2022052944A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US11232641B2 (en) Mixing virtual image data and physical image data
US10585956B2 (en) Media selection and display based on conversation topics
US10321051B2 (en) Intelligent image enhancement
US11778309B2 (en) Recommending location and content aware filters for digital photographs
US11100357B2 (en) Real-time micro air-quality indexing
US10013622B2 (en) Removing unwanted objects from a photograph
US11244162B2 (en) Automatic identification of relationships between a center of attention and other individuals/objects present in an image or video
US11048745B2 (en) Cognitively identifying favorable photograph qualities
US20200092608A1 (en) Real time digital media capture and presentation
US11086928B2 (en) Composable templates for managing disturbing image and sounds
US11062007B2 (en) Automated authentication and access
US10972656B2 (en) Cognitively coaching a subject of a photograph
US10762125B2 (en) Sorting images based on learned actions
US11093743B2 (en) Intelligent personalization of operations of an image capturing device
US11733957B2 (en) Real time sharing of relevant information in virtual meetings
US10397171B2 (en) Managing content disclosure on social networking sites
JP7410281B2 (ja) グループ・メッセージのフィルタリング
JP2024524196A (ja) プライバシー保護マルチパスストリートビューフォトステッチ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

RD16 Notification of change of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7436

Effective date: 20230512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240215