JP5847070B2 - サーバ装置及び撮影装置 - Google Patents

サーバ装置及び撮影装置 Download PDF

Info

Publication number
JP5847070B2
JP5847070B2 JP2012285907A JP2012285907A JP5847070B2 JP 5847070 B2 JP5847070 B2 JP 5847070B2 JP 2012285907 A JP2012285907 A JP 2012285907A JP 2012285907 A JP2012285907 A JP 2012285907A JP 5847070 B2 JP5847070 B2 JP 5847070B2
Authority
JP
Japan
Prior art keywords
image data
unit
feature amount
information
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012285907A
Other languages
English (en)
Other versions
JP2014127997A (ja
Inventor
古橋 幸人
幸人 古橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012285907A priority Critical patent/JP5847070B2/ja
Priority to CN201380067785.8A priority patent/CN104885442B/zh
Priority to PCT/JP2013/074771 priority patent/WO2014103441A1/ja
Publication of JP2014127997A publication Critical patent/JP2014127997A/ja
Priority to US14/746,069 priority patent/US9800771B2/en
Application granted granted Critical
Publication of JP5847070B2 publication Critical patent/JP5847070B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Description

本発明は、サーバ装置及び該サーバ装置と通信可能な撮影装置に関する。
従来より、ユーザの嗜好(好み)を反映させた撮影パラメータを設定する撮影装置が提案されている。例えば特許文献1には、ユーザが撮影パラメータの調整操作をすることなく、好みの画像を容易に撮影することができる電子カメラが提案されている。
すなわち、特許文献1に開示されている電子カメラは、外部I/Fを介して取得したサンプル画像データ、又は画像撮影部による撮影で取得した画像データから特徴情報を抽出する特徴抽出部を具備する。この特徴抽出部は、例えば画像データにおけるExif(Exchangeable Image File Format)情報から抽出した撮影時の設定データ(撮影パラメータ)を示す特徴情報と、画像データを分析して抽出した輪郭特徴、色彩特徴、及び配置等の情報を示す特徴情報と、の2つの特徴情報を抽出する。そして、特徴抽出部によって抽出された特徴情報に基づいて設定した撮影パラメータを用いて撮影を行う。
また、特許文献2には、デジタルカメラと、撮影条件データ配信サーバとから成る撮影条件データ配信システムが開示されている。デジタルカメラと撮影条件データ配信サーバとは、例えば、移動体通信網やインターネットなどの通信ネットワークを介してデータ通信可能に接続される。ここで、撮影条件データとは、絞りやシャッタスピードなどの露光条件,光源の色温度に起因する白色のバラツキを補正するためのホワイトバランス補正量などを規定するデータであるとされている。
そして、前記撮影条件データ配信サーバは、デジタルカメラから送信された検索条件に基づいて、その検索条件に合う見本画像を検索し、その見本画像の撮影条件データを抽出して配信する。前記検索条件は、ユーザが好む写真家名等である。
特開2011−103548号公報 特開2003−333498号公報
ところで、特許文献1に開示されている技術では、当該電子カメラ自身が保持する画像(ユーザが過去に撮影して取得した画像)のみが検索対象である為、検索対象外の画像に対応する新規なシーンや被写体に対して、ユーザの嗜好に沿った撮影を行うことが非常に困難である。
つまり、特許文献1に開示されている技術では、必ずしもユーザの嗜好が反映された撮影パラメータによる撮影ができるとは限らない。また、特許文献2に開示されている技術では、ユーザが、自分の嗜好を、サービス提供者が用意した写真家名で表現しなければならず、このこと自体が困難且つ煩雑である。
本発明は、前記の事情に鑑みて為されたものであり、ユーザが過去に評価や撮影を行っていない被写体/シーンを撮影する場合であっても、ユーザの嗜好に合致する撮影パラメータを容易に取得して撮影することを可能とするサーバ装置及び撮影装置を提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様によるサーバ装置は、
撮影装置と通信可能なサーバ装置であって、
画像データを記録するデータベースと、
前記撮影装置のユーザの画像データに係る嗜好を示す情報である評価情報と、該評価情報に係る画像データである評価済み画像データとを取得する評価取得部と、
前記評価情報及び前記評価済み画像データのうち少なくとも一方から、第1の特徴量 を抽出する第1特徴量抽出部と、
前記撮影装置から仮撮影画像データを受信する受信部と、
前記仮撮影画像データから第2の特徴量 を抽出する第2特徴量抽出部と、
前記第1の特徴量及び前記第2の特徴量に基づいて、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを、前記データベースから検出する検索部と、
前記検索部によって検出された画像データから撮影パラメータを取得するパラメータ取得部と、
前記パラメータ取得部によって取得した前記撮影パラメータを、前記撮影装置へ送信する送信部と、
を具備することを特徴とする。
前記の目的を達成するために、本発明の第2の態様による撮影装置は、
サーバ装置と通信可能な撮影装置であって、
撮影パラメータを設定する制御部と、
前記制御部によって設定された撮影パラメータで仮撮影及び撮影を実行する撮影部と、
前記撮影部による仮撮影で取得した仮撮影画像、及び、当該撮影装置のユーザを識別する為の識別情報を、前記サーバ装置に送信する送信部と、
前記仮撮影画像及び前記識別情報に基づいて前記サーバ装置によって生成されて送信された推奨撮影パラメータを受信する受信部と、
を具備し、
前記制御部は、前記仮撮影に係る撮影パラメータと、前記推奨撮影パラメータと、に基づいて撮影パラメータを設定する
ことを特徴とする。
前記の目的を達成するために、本発明の第3の態様によるサーバ装置は、
撮影装置と通信可能なサーバ装置であって、
画像データを記録するデータベースと、
前記撮影装置のユーザの画像データに係る嗜好を示す情報である評価情報と共に評価済み画像データを取得する評価取得部と、
前記評価情報及び前記評価済み画像データのうち少なくとも一方から、第1の特徴量を抽出する第1特徴量抽出部と、
前記第1の特徴量に基づいて、前記評価情報に適合する画像データ群を、前記データベースから検出する検索部と、
前記検索部によって検出された画像データ群を、前記撮影装置へ送信する送信部と、
を具備することを特徴とする。
前記の目的を達成するために、本発明の第4の態様による撮影装置は、
サーバ装置と通信可能な撮影装置であって、
撮影パラメータを設定する制御部と、
前記制御部によって設定された撮影パラメータで仮撮影及び撮影を実行する撮影部と、
当該撮影装置のユーザの画像データに係る嗜好を示す情報である評価情報と共に評価済み画像データを、前記サーバ装置に送信する送信部と、
前記サーバ装置によって前記評価情報に基づいて選択された画像データを受信する受信部と、
前記受信した画像データを記録する候補データベースと、
前記仮撮影によって取得した仮撮影画像データから特徴量 を抽出する特徴量抽出部 と、
前記特徴量に基づいて、前記候補データベースから、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを検出する検索部と、
前記検出された画像データから撮影パラメータを取得するパラメータ取得部 と、
を具備し、
前記制御部は、前記仮撮影画像データに係る撮影パラメータと、前記パラメータ取得部によって取得した撮影パラメータとに基づいて、撮影パラメータを設定する
ことを特徴とする。
本発明によれば、ユーザが過去に評価や撮影を行っていない被写体/シーンを撮影する場合であっても、ユーザの嗜好に合致する撮影パラメータを容易に取得して撮影することを可能とするサーバ装置及び撮影装置を提供することができる。
図1は、本発明の第1実施形態に係るサーバ装置のシステム構成例を示すブロック図である。 図2は、本発明の第3実施形態に係る撮影装置のシステム構成例を示すブロック図である。 図3は、本発明の第3実施形態に係る撮影装置及びサーバ装置を含むシステムの構成例を示すブロック図である。 図4は、本発明の第4実施形態に係るサーバ装置を適用したシステムの一構成例を示すブロック図である。 図5は、本発明の第4実施形態に係るサーバ装置による画像データ閲覧処理のフローチャートを示す図である。 図6は、本発明の第4実施形態に係るサーバ装置による撮影パラメータ取得・送信処理のフローチャートを示す図である。 図7は、本発明の第5実施形態に係るサーバ装置による画像データ収集処理のフローチャートを示す図である。 図8は、本発明の第5実施形態に係るサーバ装置による画像データ閲覧処理のフローチャートを示す図である。 図9は、本発明の第5実施形態に係るサーバ装置による撮影パラメータ取得・送信処理のフローチャートを示す図である。 図10は、本発明の第6実施形態に係る撮影装置及びサーバ装置を含むシステムの構成例を示すブロック図である。 図11は、本発明の第6実施形態に係る撮影端末がネットワークに接続されているときのサーバ装置による処理のフローチャートを示す図である。 図12は、本発明の第6実施形態に係る撮影装置による画像データ撮影処理のフローチャートを示す図である。
以下、図面を参照して本発明の実施形態を説明する。
[第1実施形態]
図1は、本第1実施形態に係るサーバ装置のシステム構成例を示すブロック図である。同図に示すように、評価取得部2と、第1特徴量抽出部4と、受信部6と、第2特徴量抽出部8と、検索部10と、パラメータ取得部12と、送信部14と、を具備する。
前記評価取得部2は、ユーザの嗜好に適合している画像データであるか否か(または嗜好に適合している度合い)を示す評価情報、及び、当該評価に係る画像データ(以降、“評価済み画像データ”と称する)を、外部装置(例えば撮影装置や閲覧端末等)から受信して取得する。換言すれば、評価取得部2は、撮影装置または閲覧装置(不図示)から、当該撮影装置(不図示)のユーザの画像データに係る嗜好を示す情報である評価情報と、該評価情報に係る画像データである評価済み画像データとを取得する。
なお、本実施形態において“画像データ”とは、撮影データやそれに関連するメタデータ等を含む概念であり、広義の画像データを意味している。
なお、評価取得部2による評価情報の取得において、予め検索部10のDBに保存されている画像データを、評価情報の取得対象とする場合には、画像データ自体を取得せずとも例えばIDのような画像データ、を特定する為の文字情報を取得することで十分な場合もある。
なお、評価情報の送信元は撮影装置に限定されない。例えば撮影とは異なるタイミングで閲覧装置で評価する場合もある。具体的には、例えば評価は所謂スマートフォン等を用いてSNS(Social Networking Service)上で行い、撮影は本実施形態において想定されている撮影装置(例えばカメラ)で行うという場合を挙げることができる。
なお、評価取得部2は、評価情報が何れのユーザに係る評価情報であるのかを正確に特定する為に、例えばユーザIDを利用したユーザ認証を事前に実施することが好ましい。
前記第1特徴量抽出部4は、評価取得部によって取得された評価情報または評価済み画像データから、その特徴を示す指標(以降、“第1の特徴量”と称する)を抽出する。換言すれば、第1特徴量抽出部4は、前記評価情報及び前記評価済み画像データのうち少なくとも一方から、第1の特徴量を抽出する。
このようにして抽出された第1の特徴量は、撮影装置(不図示)のユーザの画像データに係る嗜好を示す情報である。
前記受信部6は、撮影装置(不図示)から、スルー画と称されている画像データやシャッタ半押状態で取得された画像データ(以降、“仮撮影画像データ”と称する)を受信する。換言すれば、受信部6は、撮影装置(不図示)から仮撮影画像データを受信する
なお、受信部6は、評価情報が何れのユーザに係る仮撮影画像データであるのかを正確に特定する為に、例えばユーザIDを利用したユーザ認証を事前に実施することが好ましい。もしくは、例えば事前にユーザIDと機器ID(例えばMAC ADDRESS等)とを紐付けしておくことによって、機器IDからユーザIDを特定できるように構成してもよい。
前記第2特徴量抽出部8は、仮撮影画像データから、その特徴を示す指標(以降、第2の特徴量と称する)を抽出する。換言すれば、第2特徴量抽出部8は、前記仮撮影画像データから第2の特徴量を抽出する。
このようにして抽出された第2の特徴量は、ユーザが現在撮影しようとしている被写体/シーン等を示す情報である。
なお、被写体情報を特定する第2の特徴量として、撮影パラメータ(仮撮影画像を取得したときのシャッタースピード、絞り、及び画角等)等のメタデータを利用しても勿論よい。従って、受信部6がする情報は純粋な画像データに限られない。
前記検索部10は、種々の画像データ(例えば、当該サーバ装置が独自に保有する画像データ、所定の画像データ公開システムから取得した画像データ、及び前記評価済み画像データ等)と、それらの第1、第2特徴量とが記録されたデータベース(不図示)を備え、前記撮影装置のユーザに係る第1の特徴量と、前記仮撮影画像データに係る第2の特徴量とに基づいて、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを、前記データベースから検出する。換言すれば、検索部10は、前記第1の特徴量及び前記第2の特徴量に基づいて、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを、前記データベースから検出(以降、検索処理と称する)する。
なお、前記データベースに記録されている各画像データは、第1の特徴量及び第2の特徴量が予め抽出されていることが好ましい。
ところで、上述の検索処理としては、具体的には例えば次の処理を挙げることができる。すなわち、上述したようにユーザの嗜好を示す情報である第1の特徴量と、ユーザが撮影しようとしている被写体/シーンを示す情報である第2の特徴量と、を組み合わせてクエリベクトルとし、検索部10が備えるデータベース(不図示)に記録されている画像データに係るクエリベクトルとの差分を算出することで、類似度を求める(前記差分が小さいほど類似度が大きい)。
ここで、類似度とは、前記仮撮影画像データに類似し且つ前記評価情報に適合する度合いを示す指標である。類似度が高い画像データである程、前記仮撮影画像データに類似し且つユーザの嗜好(前記評価情報)に適合する度合いが高い画像データである。
なお、類似度を算出する手法はこれに限定されるものではなく任意の手法を用いればよい。
上述した検索部10の処理によって、ユーザが未閲覧の画像データも含む前記データベース(不図示)に記録されている多数の画像データの中から、ユーザの嗜好に基づく評価結果に適合する画像データであるという要件と、ユーザが撮影しようとしている被写体/シーンに沿った画像データであるという要件との両要件を満たす画像データを検出することができる。
前記パラメータ取得部12は、検索部10によって検出された画像データから、当該画像データに係る撮影パラメータ(以降、“推奨撮影パラメータ”と称する)を取得する。ここで、撮影パラメータとは、露出、シャッタスピード、ホワイトバランス、画像加工の為のフィルターの種類やパラメータ、被写体位置情報等の撮影自体に係るパラメータ、並びに、撮影後の画像修正等に係る後処理パラメータ等を含むパラメータである。
具体的には、パラメータ取得部12は、例えば、検索部10によって検出された画像データ自身や当該画像データに紐付いている付帯情報(Exif情報)から、前記撮影パラメータを抽出する。
換言すれば、パラメータ取得部12は、検索部10によって検出された画像データに係る撮影パラメータを取得する。これにより、撮影装置ユーザは、各々の被写体/シーンにおけるユーザの嗜好に合った撮影を行うための撮影パラメータを取得することができる。
前記送信部14は、パラメータ取得部12によって取得した“推奨撮影パラメータ”を、前記撮影装置(不図示)へ送信する。
以上説明したように、本第1実施形態によれば、ユーザが過去に評価や撮影を行っていない被写体/シーンを撮影する場合であっても、ユーザの嗜好に合致する撮影パラメータを容易に取得して撮影することを可能とするサーバ装置及び撮影装置を提供することができる。具体的には、本第1実施形態に係るサーバ装置及び撮影装置は、例えば下記の効果を奏する。
・ユーザが閲覧していない画像データであっても、ユーザの嗜好に合致し且つ現在の撮影に係る被写体/シーンに類似な画像データとして検出し、当該画像データから推奨撮影パラメータを取得することができる。
・ユーザの既知の範囲に制限されることなく、より広い範囲(より多数の画像データ群)から、自身の嗜好に合った撮影パラメータを検出し、最適な撮影パラメータによる撮影を行うことができる。
・ユーザは、サーバ装置から送信された推奨撮影パラメータを利用して撮影することにより、自分の嗜好に合った画像データを容易に得ることができる。
[第2実施形態]
以下、本発明の第2実施形態に係るサーバ装置及び撮影装置について説明する。説明の重複を避ける為、第1実施形態との相違点を説明する。本第2実施形態では、前記第1特徴量及び前記第2特徴量として、具体的に下記のものを利用する。
《第1の特徴量について》
〈例1〉
前記第1の特徴量は、明度、彩度、色相、及びエッジ強度から算出する値とする。これらの値を第1の特徴量として用いることによって、“被写体の客観的な種別”が異なっている場合であっても、全体的な画像の雰囲気を数値によって表現することができる。
ここで、“被写体の客観的な種別”とは、撮影モード(例えば風景、マクロ等)や被写体/シーンの名称(例えば花、ペット、人、顔、花火、夜景、夕陽、運動会等)を指す。
〈例2〉
例えばSVM等の機械学習を用いて、予め設定した感性語に対する“評価値”または“該非の判定情報”を、第1の特徴量とする。これにより、“被写体の客観的な種別”に依存することなく、直接的なユーザの評価に基づく(ユーザの嗜好を鑑みた)画像全体に対する感性的な情報を、第1の特徴量とすることができる。
ここで、感性語とは、物事の様態を表現する語(例えば「あたたか」、「やわらか」、「ふんわり」、「きらきら」、「あざやか」、「モダン」等)である。
前記感性語に対する“評価値”とは、各感性語の傾向を数値で表したものである。例えば、感性語「あたたか」である傾向の画像は、その程度に応じて正の数値を有する。反対に、感性語「あたたか」でない傾向の画像は、その程度に応じて負の数値を有する。
前記感性語に対する“該非の判定情報”とは、各感性語が適するか否かを“フラグ”として表したものである。
《第2の特徴量について》
〈例3〉
仮撮影画像データに係る撮影モード、及び、被写体/シーンの名称を、第2の特徴量とする。これにより、画像全体の雰囲気に依存することなく、撮影しようとしている対象の客観的な種別を表現することができる。
具体的には、被写体/シーンの名称の抽出は、例えば顔検出処理を行うことで「顔」という被写体名称を抽出することや、例えばSVM等の機械学習を用いて予め被写体候補となる物体を学習させ、その判定スコアと閾値とから物体の有無を判定することで行えばよい。
〈例4〉
仮撮影画像データに係る撮影モード、及び、被写体/シーンの名称を連続値で評価した値を、第2の特徴量とする。これにより、画像全体の雰囲気に依存することなく、撮影しようとしている対象の客観的な種別を表現することができる。
具体的には、被写体/シーンの名称の抽出自体は上述の処理で同様に行い、抽出結果の確からしさを、連続値で評価する。
以上説明したように、本第2実施形態によれば、第1実施形態と同様の効果を奏する上に下記の効果を奏するサーバ装置及び撮影装置を得ることができる。
・互いに異なる性質の第1の特徴量と第2の特徴量とを用いることにより、第1の特徴量によって被写体種別に影響されることなく全体的な画像の雰囲気が嗜好に合う画像データを検出でき、第2特徴量によって全体的な雰囲気に影響されることなく撮影しようとしている被写体に適合する画像データを検出することができる。そして、この積集合から、両方の条件を満たす画像データ(前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データ)を検出することができる。
・ユーザが評価した画像データの中に、現在撮影しようとしている被写体の客観的な種別が合致するものが無い場合であっても、撮影しようとしている被写体が合致し、且つ、ユーザの嗜好にも合う画像データに係る撮影パラメータを容易に取得することができる。
[第3実施形態]
以下、本発明の第3実施形態に係るサーバ装置及び撮影装置について説明する。説明の重複を避ける為、第1実施形態との相違点を説明する。本第3実施形態は、第1実施形態に係るサーバ装置と通信する撮影装置の一実施形態である。
図2は、本発明の第3実施形態に係る撮影装置のシステム構成例を示すブロック図である。本第3実施形態に係る撮影装置は、撮影部52と、制御部54と、送信部56と、受信部58と、を具備する。
前記撮影部52は、撮像レンズと絞りとシャッタと撮像素子と撮像処理部とを備える。撮影部52は、制御部54によって設定された撮影パラメータで仮撮影及び撮影を実行する撮影部として機能する。
前記制御部54は、当該撮影装置を統括的に制御する(例えば、撮影パラメータの設定、及び、シャッタ速度絞り等の撮影条件、現像条件、等を制御する)。具体的には、制御部54は、撮影部52より信号を受信し、規定の撮影パラメータに従って撮像部の絞りやシャッタ速度等を制御する。また、制御部54は、規定の撮影パラメータと、推奨撮影パラメータと、に基づいて撮影パラメータを更新し、該更新した撮影パラメータで撮像部を制御する。換言すれば、制御部54は、仮撮影に係る撮影パラメータと、サーバ装置から送信された推奨撮影パラメータと、に基づいて撮影パラメータを設定する。
ところで、撮影パラメータの更新においては、例えば次のような処理で算出した値を、新たに設定する撮影パラメータの値とすればよい。
・推奨撮影パラメータと、仮撮影に係る規定の撮影パラメータとの平均値を算出する。
・推奨撮影パラメータの取得に係る画像データの類似度に応じた重み付けをして、推奨撮影パラメータと、仮撮影に係る規定の撮影パラメータとの加重平均値を算出する。
・複数の推奨撮影パラメータを受信した場合、それらについて推奨撮影パラメータの取得に係る画像データの類似度を重みとした加重平均値を算出する。
・ 複数の推奨撮影パラメータを受信した場合、予め設定した閾値以上の類似度に係る画像データの推奨撮影パラメータのみを用いて平均値や最頻値を算出する。
・ 複数の推奨パラメータを受信した場合、これらの推奨撮影パラメータを有する画像データ(類似度が高いと判断された画像データ)をユーザに提示し(例えば不図示の表示部に表示し)、ユーザが何れかの画像データを選択することによって、実際の撮影に使用する推奨撮影パラメータを決定する。
・複数の推奨撮影パラメータを受信した場合、これらの推奨撮影パラメータを、現在の仮撮影画像データに適用してユーザに提示し(例えば不図示の表示部に表示し)、ユーザが何れかの画像データを選択することによって、実際の撮影に使用する推奨撮影パラメータを決定する。
・受信した推奨撮影パラメータをそのまま使用する。
なお、上述した撮影パラメータの更新処理は一例であり、それらの処理に限定されるものではない。
前記送信部56は、外部装置にデータを送信する。具体的には、送信部56は、例えば仮撮影画像データ及び利用者ID等を、サーバ装置へ送信する。送信部56は、撮影部52による仮撮影で取得した仮撮影画像データ、及び、当該撮影装置のユーザを識別する為の識別情報(利用者ID)をサーバ装置に送信するデータ送信部として機能する。なお、前記利用者IDは、例えば初期設定において入力済みであるとする。また、MAC ADDRESS等の機器固有の情報で代用される形態であってもよい。
前記受信部58は、外部装置から送信されたデータを受信する。具体的には、受信部58は、サーバ装置から、画像データ及び推奨撮影パラメータ等を受信する。受信部58は、仮撮影画像データ及び識別情報(利用者ID)に基づいてサーバ装置によって生成されて送信された推奨撮影パラメータを受信する受信部として機能する。
以上説明したように、本第3実施形態によれば、第1実施形態と同様の効果を奏する上に下記の効果を奏するサーバ装置及び撮影装置を得ることができる。すなわち、本第3実施形態に係る撮影装置によれば、ユーザは、撮影シーンに対してカメラ内部で判定する撮影パラメータだけでなく、サーバ装置が保持する豊富な画像データを用いて当該ユーザに合う推奨撮影パラメータを容易に取得でき、自身の嗜好に合った撮影が容易に可能となる。
[第4実施形態]
以下、本発明の第4実施形態に係るサーバ装置及び撮影装置について説明する。説明の重複を避ける為、第1実施形態との相違点を説明する。本第4実施形態に係るサーバ装置では、画像データ公開システムが稼働しており、本サーバ装置の利用者たるユーザが撮影して取得した画像データを、他の利用者に対して配信可能に構成されている。
図3は、本第4実施形態に係るサーバ装置を適用したシステムの一構成例を示すブロック図である。
本システムは、所定のネットワークNW(例えばインターネット等)に接続された閲覧端末102(例えばPC、タブレット、及びスマートフォン等)で、サーバ装置106にアクセスして種々の画像データを閲覧可能に構成されている。また、本システムは、ユーザが撮影端末104によって取得した画像データを、サーバ装置106に投稿可能に構成されている。なお、撮影端末104からサーバ装置106への直接投稿の他にも、例えば他の機器(例えばPC等)へ一端画像データを移動させた後に当該PCからサーバ装置106へ投稿可能に構成しても勿論よい。
本システムのユーザは、撮影の際に撮影端末104を本システムへ接続することによって、自身の嗜好に合った撮影パラメータ及び後処理パラメータを、これから行う撮影に容易に反映させることができる。
なお、閲覧端末102と撮影端末104とを一体的に構成しても勿論よい。
《画像データ収集時の処理》
図4は、本第4実施形態に係るサーバ装置106による画像データ収集処理のフローチャートを示す図である。ここで、サーバ装置106は、図1を参照して説明した第1実施形態に係るサーバ装置と同様のシステム構成である。また、撮影端末104は、図2を参照して説明した第3実施形態に係る撮影装置と同様のシステム構成である。なお、画像データ収集処理に関しては、撮影端末104は画像データをサーバ装置へ送信する機能さえ有していれば、第3実施形態に係る撮影装置とは異なる構成であっても構わない。
まず、サーバ装置106の評価取得部2は、撮影端末104から画像データを受信する(ステップS1)。続いて、サーバ装置106の第2特徴量抽出部8は、第2の特徴量として、“被写体/シーン特徴情報”を当該画像データから抽出する(ステップS2)ここで、“被写体/シーン特徴情報”とは、画像データに含まれる被写体の名称(例えば花、犬、顔、全身、花火、山、及び空等)や、シーン全体に対する名称(例えばシーンモードの名称:風景、ポートレート、夜景等)を示す情報である。
そして、サーバ装置106の第1特徴量抽出部4は、第1の特徴量として、“感性特徴情報”を当該画像データから抽出する(ステップS3)。ここで、“感性特徴情報”とは、感性語に係る辞書を用い、画像全体に対する各感性語の適合度を示す情報である。
ここで、前記辞書は、各感性語(例えばsoft,sharp,cool,warm,rural,urban等)に合致すると捉えられる画像データから画像情報を抽出し、それらを集積して構築された辞書である。例えばSVM等の機械学習がこれに相当する。
そして、サーバ装置106の検索部10は、ステップS1において受信した画像データを、上述の処理によって抽出された“被写体/シーン特徴情報”及び“感性特徴情報”と関連付けて全体データベース108へ格納する(ステップS4)。
《画像閲覧時の処理》
図5は、本第4実施形態に係るサーバ装置106による画像データ閲覧処理のフローチャートを示す図である。
なお、本フローチャートの処理に先立って、ユーザが予め閲覧端末102を用いて種々の画像データを閲覧し、自分の嗜好に合う画像データに対して評価フラグ(例えば“いいね”とのフラグ)を設定する。この評価フラグの設定は、自身が所有する画像データに対しては勿論のこと、他のユーザが所有する画像データに対しても行うことができる。本システムでは、この評価フラグを利用して下記の処理を行う。
まず、サーバ装置106の評価取得部2は、閲覧端末102から評価対象となった画像データを受信する(ステップS11)と共に、評価フラグも受信する(ステップS12)。そして、サーバ装置106の検索部10は、それら画像データと評価フラグとを関連付けてユーザデータベース110へ格納する(ステップS13)。
なお、画像データを別途設定されているIDもしくはURL等の文字情報により全体DB108に登録された画像データを特定できる場合は、画像データそのものを受信するのではなく、文字情報を受信することによって、通信の負荷を軽減させることができる。
《撮影パラメータ取得・送信の処理》
図6は、本第4実施形態に係るサーバ装置106による撮影パラメータ取得・送信処理のフローチャートを示す図である。
本フローチャートの処理に先立って、ユーザは撮影端末104で仮撮影を行う。この仮撮影によって取得する仮撮影画像データは、例えばシャッタを半押しにした状態で取得した画像データであってもいいし、プレビュー表示を行っている中から自動的に取得する画像データであってもよい。そして、撮影端末104は、このようにして取得した仮撮影画像データをサーバ装置106へ送信する。
まず、サーバ装置106の受信部6は、仮撮影画像データを受信し(ステップS21)、第2特徴量抽出部8は、その仮撮影画像データから“被写体/シーン特徴情報”を抽出する(ステップS22)。続いて、サーバ装置106の検索部10は、仮撮影画像データの“被写体/シーン特徴情報”に類似する“被写体/シーン特徴情報”を有する画像データを、ユーザデータベース110から検出する(ステップS23)。
このステップS23における処理で、画像閲覧時に評価フラグが設定されたユーザの嗜好に合う画像データの中から、仮撮影画像データに類似する画像データが検出される。
なお、ステップS23における処理の際に、仮撮影画像データの“被写体/シーン特徴情報”に類似する“被写体/シーン特徴情報”を有する画像データが存在しない場合は、以降の処理を当該ユーザのユーザDB110に登録された画像データ全てを対象として処理を進める。
次に、サーバ装置106の第1特徴量抽出部4は、ユーザデータベースから検出した画像データから、“感性特徴情報”を抽出する(ステップS24)。そして、サーバ装置106の検索部10は、各画像データの“感性特徴情報”の平均値と分散値とから、仮撮影画像データに関してユーザの嗜好に合う“感性特徴情報”の“スコア”と“ウェイト”を算出する。
ここで、“スコア”は平均値である。“ウェイト”は分散値が0のとき1.0となり、分散値が大きくなるにつれて0.0に近づく値である。
そして、サーバ装置106の検索部10は、この“感性特徴情報”と、仮撮影画像データに係る“被写体/シーン特徴情報”とに基づいて、前記仮撮影画像データに類似し且つ前記感性特徴情報に適合する(ユーザの嗜好に適合する)画像データを、全体データベース108から検出する(ステップS25)。以下、このステップS25における検索処理について具体的に説明する。
〈処理例1〉
検索部10は、仮撮影画像データと全体データベース108に記録された各画像データとについて、“被写体/シーン特徴情報”に係る各名称を、それぞれ独立した1次元のベクトルとし、それらの合成ベクトルを生成する(ステップS25−1)。
次に、検索部10は、仮撮影画像データと全体データベース108に記録された各画像データとについて、“被写体/シーン特徴情報”に係る合成ベクトル同士の差分を算出し、さらに該差分値の逆数を算出して類似度とする(ステップS25−2)。
続いて、検索部10は、“感性特徴情報”に係る各感性語を、それぞれ独立した1次元のベクトルとし、それらの合成ベクトルを生成する(ステップS25−3)。
そして、検索部10は、仮撮影画像データと全体データベース108に記録された各画像データとについて、“感性特徴情報”に係る合成ベクトル同士の差分を算出し、さらに該差分値の逆数を算出して類似度とする(ステップS25−4)。
検索部10は、“被写体/シーン特徴情報”と“感性特徴情報”とのそれぞれの類似度に対して、予め設定した重み付けを行って、総合的な類似度を算出する(ステップS25−5)。
〈処理例2〉
検索部10は、仮撮影画像データ及び全体データベース108に記録された各画像データについて、“被写体/シーン特徴情報”に係る各名称の適合性(画像データに対する各名称の相応しさ)に閾値を設け、所定の閾値以上の適合性を有する名称のみを所謂タグとして画像データに関連付ける(ステップS25−1)。
次に、検索部10は、全体データベース108に記録された各画像データから、仮撮影画像データに関連付けられている名称と同一のタグをより多く含むものを、より高い類似度に設定する(ステップS25−2)。なお、このステップS25−2における処理には、一般的なタグによる検索処理と同様の処理を適用すればよい。
続いて、検索部10は、“感性特徴情報”に係る各感性語を、それぞれ独立した1次元のベクトルとし、それらの合成ベクトルを生成する(ステップS25−3)。
そして、検索部10は、仮撮影画像データと全体データベース108に記録された各画像データとについて、“感性特徴情報”に係る合成ベクトル同士の差分を算出し、さらに該差分値の逆数を算出して類似度とする(ステップS25−4)。
検索部10は、“被写体/シーン特徴情報”と“感性特徴情報”とのそれぞれの類似度に対して、予め設定した重み付けを行って、総合的な類似度を算出する(ステップS25−5)。
ところで、〈処理例1〉または〈処理例2〉等の処理によって、全体データベース108に記録された各画像データについて総合的な類似度を算出した後、サーバ装置106のパラメータ取得部12は、類似度が最上位の画像データから、撮影パラメータを取得する(ステップS26)。
そして、サーバ装置106の送信部14は、ステップS26において取得した撮影パラメータを、推奨撮影パラメータとして撮影端末104に送信する(ステップS27)。
撮影端末104の受信部58は、サーバ装置106によって送信された推奨撮影パラメータを受信し、制御部54が、推奨撮影パラメータを反映させた撮影パラメータを設定する。
以上説明したように、本第4実施形態によれば、第1実施形態と同様の効果を奏する上に下記の効果を奏するサーバ装置及び撮影装置を得ることができる。
・ユーザが閲覧していない画像データであっても、ユーザの嗜好と現在の撮影対象に類似な画像データであれば検索結果として出力される。
・ユーザの既知の範囲に制限されることなく、より広い範囲から嗜好に合った最適な撮影パラメータを得られ、ユーザは自分の嗜好に合った画像を容易に得ることができる。
[変形例1]
上述した図4に示すフローチャートのステップS1で受信する画像データの送信元および閲覧端末102による処理については任意のサービスに委ねてもよい。すなわち、例えばサーバ装置106が、ユーザの撮影端末104に限らず任意のサービスから画像データを受信するように構成され、また、評価フラグが設定された画像データと、ユーザIDや機器ID等の識別情報とを取得するように構成されていればよい。
[変形例2]
各画像データに対する各特徴量の抽出のタイミングは、上述のタイミングに限られない。例えば、本システムの全体データベース108やユーザデータベース110への画像データの登録の際に第1の特徴量や第2の特徴量を抽出し、当該画像データと関連付けて管理してもよい。この場合、サーバ装置106の検索部10による処理時には、既に抽出済の各特徴量を読み込むだけでよい。
[変形例3]
サーバ装置106の検索部10が、複数の画像データを類似画像データとして検出し、それら全てについてパラメータ取得部12が推奨撮影パラメータを取得してもよい。この場合、複数の推奨撮影パラメータを撮影端末104に送信し、撮影端末104のユーザが、当該端末上で、それら複数の推奨撮影パラメータのうちのひとつを選択すればよい。
[変形例4]
サーバ装置106の検索部10による検索処理において利用する特徴量として、上述した第1の特徴量(感性特徴情報)及び第2の特徴量(被写体/シーン特徴情報)に加え、画像データに付帯する情報(以降、付帯情報と称する)も利用してよい。ここで、前記付帯情報とは、撮影日時、閲覧日時等の時間情報、位置情報、または同時に収録された音声情報等を含む情報である。
具体的には、例えば、類似度の算出において付帯情報(時間情報)を利用し、撮影日時や閲覧日時が近い画像データほど類似度を大きく設定することで、最新の撮影傾向を検索処理に反映させることができる。
詳細には、例えば感性特徴情報のスコアの平均値や分散値を算出する際に、画像データの付帯情報(時間情報)を用いて、ユーザが最近評価した画像データほど大きく重み付けをすることで、ユーザの最近の評価傾向を検索処理に強く反映させることができる。
また、検索処理において付帯情報(位置情報)を利用することで、仮撮影画像データの撮影位置から一定の距離以内の位置での撮影で取得された画像データだけに絞り込むことによって、より地理的に近い撮影位置での撮影で取得された画像データから撮影パラメータを取得でき、現在の被写体により適した撮影パラメータを取得しやすくなる。
さらには、検索処理において付帯情報(音声情報)を利用することで、より近しい環境(例えば浜辺の画像データのうち波の強さが近いもの、屋外の画像のうち風の強さが近いもの等)から撮影パラメータを取得でき、現在の被写体や撮影環境により適した撮影パラメータを取得しやすくなる。
[変形例5]
上述した〈検索法2〉では、“被写体/シーン特徴情報”に係る各名称の適合性に閾値を設け、所定の閾値以上の適合性の名称のみを所謂タグとして画像データに関連付け、当該タグを利用して検索処理を行っているが、“感性特徴情報”についても同様にタグを作成して、当該タグを利用して検索処理を行っても勿論よい。
[第5実施形態]
以下、本発明の第5実施形態に係るサーバ装置及び撮影装置について説明する。説明の重複を避ける為、第4実施形態との相違点を説明する。本第5実施形態においては、各ユーザ毎に感性特徴情報の傾向を把握して、その傾向を利用した検索処理を行うことで、処理量の軽減を図る。すなわち、本第5実施形態が想定しているシステムは例えば画像配信システムであって、撮影装置のユーザの感性に近い感性を有する撮影者を検索し、その撮影者が撮影して取得した画像データ群の中から、ユーザが撮影しようとしている被写体と被写体種別が合致する画像データを検出するシステムである。
《画像データ収集時の処理》
図7は、本第5実施形態に係るサーバ装置による画像データ収集処理のフローチャートを示す図である。
まず、サーバ装置106の評価取得部2は、閲覧端末104から画像データを受信する(ステップS31)。続いて、サーバ装置106の第2特徴量抽出部8は、第2の特徴量として、“被写体/シーン特徴情報”を当該画像データから抽出する(ステップS32)。
撮影端末104は、図2を参照して説明した第3実施形態に係る撮影装置と同様のシステム構成である。なお、画像データ収集処理に関しては撮影端末104は画像データをサーバ装置106へ送信する機能さえ有していれば、第3実施形態に係る撮影装置と異なる構成であっても構わない。
そして、サーバ装置106の第1特徴量抽出部4は、第1の特徴量として、“感性特徴情報”を当該画像データから抽出する(ステップS33)。
そして、サーバ装置106の検索部10は、ステップS31において受信した画像データを、上述の処理によって抽出された“被写体/シーン特徴情報”及び“感性特徴情報”と関連付けて全体データベース108へ格納する(ステップS34)。
さらに、サーバ装置106は、各撮影者毎に(例えばユーザIDや機器ID毎に)感性特徴情報を蓄積して成る“撮影者感性特徴情報”を生成し(ステップS35)、ユーザデータベース110に格納する(ステップS36)。ここで、前記撮影者感性特徴情報とは、各撮影者に係る感性特徴情報の傾向を示す情報である。
《画像閲覧時の処理》
図8は、本第5実施形態に係るサーバ装置106による画像データ閲覧処理のフローチャートを示す図である。
本フローチャートの処理に先立って、ユーザが、閲覧端末102を用いて種々の画像データを閲覧し、自分の嗜好に合う画像データに対して評価フラグ(例えば“いいね”とのフラグ)を設定する。本例では、この評価フラグを利用して下記の処理を行う。
なお、上述した評価フラグの設定は、自身が所有する画像データに対しては勿論のこと、他のユーザが所有する画像データに対しても行うことができる。
まず、サーバ装置106の評価取得部2は、閲覧端末102から評価対象となった画像データを受信する(ステップS41)と共に、評価フラグも受信する(ステップS42)。さらに、サーバ装置106の第1特徴量抽出部4は、第1の特徴量として、“感性特徴情報”を当該画像データから抽出し、各閲覧者毎に(例えばユーザIDや機器ID毎に)感性特徴情報を蓄積して成る“閲覧者感性特徴情報”を生成し(ステップS43)、ユーザデータベース110に格納する(ステップS44)。ここで、前記閲覧者感性特徴情報とは、各閲覧者に係る感性特徴情報の傾向を示す情報である。
《撮影パラメータ取得・送信の処理》
図9は、本第5実施形態に係るサーバ装置106による撮影パラメータ取得・送信処理のフローチャートを示す図である。
まず、ユーザは撮影端末104で仮撮影を行う。この仮撮影によって取得する仮撮影画像データは、例えばシャッタを半押しにした状態で取得した画像データであってもいいし、プレビュー表示を行っている中から自動的に取得する画像データであってもよい。そして、撮影端末104は、このようにして取得した仮撮影画像データを撮影者ID(撮影者の識別情報)と共にサーバ装置106へ送信する。
サーバ装置106の受信部6は、仮撮影画像データと撮影者IDとを受信する(ステップS51)。続いて、サーバ装置106の検索部10は、ステップS51で受信した撮影者IDに対応する閲覧者感性特徴情報または撮影者感性特徴情報(以降、単に感性特徴情報と略称する)をユーザデータベース110から読み出し(ステップS52)、第2特徴量抽出部8は、ステップS51で受信した仮撮影画像データから被写体/シーン特徴情報を抽出する(ステップS53)。
続いて、サーバ装置106の検索部10は、ステップS52で読み出した感性特徴情報と、ステップS53で抽出した被写体/シーン特徴情報と、に基づいて、前記仮撮影画像データに類似し且つ撮影者の感性特徴情報に適合する画像データを、全体データベース108から検出する(ステップS54)。
すなわち、ステップS54においては、サーバ装置106の検索部10は、感性特徴情報を利用して、全体データベース108に記録されている画像データを、撮影者の嗜好に適合するもののみに絞り込んだ後に(検索対象の画像データの母数を絞り込んだ後に)、被写体/シーン特徴情報に基づいて検索処理を行う。
より詳細には、例えばステップS52において読み出した感性特徴情報と類似する感性特徴情報に対応する撮影者IDを抽出し(予め設定した閾値以上の類似性を有する感性特徴情報に対応する撮影者IDを抽出し)、当該撮影者IDの撮影者による撮影で取得された画像データを、全体データベース108に記録されている画像データから検出する。
そして、サーバ装置106のパラメータ取得部12は、ステップS54において検出した画像データから、撮影パラメータを取得する(ステップS55)。サーバ装置106の送信部14は、ステップS55において取得した撮影パラメータを、推奨撮影パラメータとして撮影端末104に送信する(ステップS56)。
撮影端末104の受信部58は、サーバ装置106によって送信された推奨撮影パラメータを受信し、制御部54が、推奨撮影パラメータを反映させた撮影パラメータを設定する。
以上説明したように、本第5実施形態によれば、第4実施形態と同様の効果を奏する上に下記の効果を奏するサーバ装置及び撮影装置を得ることができる。本第5実施形態では、画像投稿閲覧システムにおいては一般的に一人の撮影者が複数の画像を公開する(撮影者数は画像データ数よりも大幅に少ない)という点を利用する。すなわち、撮影者/閲覧者毎の“感性特徴情報”を用いることによって、検索処理における検索対象の画像データ数を大きく絞り込むことができ、処理速度の高速化及び処理量の軽減が為される。
[第6実施形態]
以下、本発明の第6実施形態に係るサーバ装置及び撮影装置について説明する。説明の重複を避ける為、第4実施形態との相違点を説明する。
図10は、本第6実施形態に係る撮影装置及びサーバ装置を含むシステムの構成例を示すブロック図である。
本システムは、所定のネットワークNW(例えばインターネット等)に接続された閲覧端末102(例えばPC、タブレット、及びスマートフォン等)で、サーバ装置106にアクセスして種々の画像データを閲覧可能に構成されている。また、本システムは、ユーザが撮影端末204によって取得した画像データをサーバ装置106に投稿可能に構成されている。
なお、撮影端末204からサーバ装置106への直接投稿の他にも、例えば他の機器(例えばPC等)へ一端画像データを移動させた後に、当該他の機器からサーバ装置106へ投稿可能に構成しても勿論よい。
本第6実施形態において、前記撮影端末204は、制御部254と、撮影部252と、通信部256と、解析部222と、検索部210と、表示部224と、候補データベース226と、を具備する。
前記制御部254は、撮影端末204全体を統括的に制御する。制御部254は、仮撮影画像データに係る撮影パラメータと、解析部222によって取得した撮影パラメータとに基づいて、撮影パラメータを設定する。
前記撮影部252は、制御部254によって設定された撮影パラメータで仮撮影及び撮影を実行する。
前記通信部256は、当該撮影端末204のユーザの画像データに係る嗜好を示す情報である評価情報と共に評価済み画像データを、サーバ装置106に送信する送信部として機能し、また、サーバ装置106によって評価情報に基づいて選択された画像データを受信する受信部として機能する。
前記候補データベース226は、サーバ装置106から送信された画像データを記録する。
なお、本実施形態で候補データベース226が保有する“画像データ”は、純粋な画像としてのデータである必要はない。すなわち、候補データベース226は、例えば第1特徴量、第2特徴量、及び撮影パラメータを保有していればよい。しかしながら、類似と判断した情報を画像としてユーザへ提示し、ユーザがこれに基づいて撮影パラメータを決定する構成の場合には、候補データベース226は純粋な画像データも保有しておく必要がある。
前記検索部210は、特徴量に基づいて、候補データベース226から、仮撮影画像データに類似し且つ評価情報に適合する画像データを検出する。
前記解析部222は、仮撮影によって取得した仮撮影画像データから特徴量を抽出する特徴量抽出部として機能し、また、検索部210によって検出された画像データに係る撮影パラメータを取得するパラメータ取得部として機能する。
ここで、《画像データ収集時の処理》及び《画像閲覧時の処理》については、上述した第4実施形態における処理と同様である。
《撮影端末204がネットワークNWに接続されているときの処理》
なお、本第6実施形態に係るサーバ装置106は、図1を参照して説明した第1実施形態に係るサーバ装置と同様の構成を採る。
以下、第6実施形態に係る撮影端末204がネットワークNWに接続されているときのサーバ装置106による処理を説明する。図11は、本第6実施形態に係る撮影端末204がネットワークNWに接続されているときのサーバ装置106による処理のフローチャートを示す図である。
本フローチャートの処理に先立って、ユーザは、閲覧端末102を用いて種々の画像データを閲覧し、自分の嗜好に合う画像データに対して評価フラグ(例えば“いいね”とのフラグ)を設定する。この評価フラグの設定は、自身が所有する画像データに対しては勿論のこと、他のユーザが所有する画像データに対しても行うことができる。
一方、サーバ装置106の評価取得部2は、閲覧端末102から画像データを受信すると共に、評価フラグも受信する。さらに、サーバ装置106の第1特徴量抽出部4は、第1の特徴量として、“感性特徴情報”を当該画像データから抽出し、各閲覧者毎に(例えばユーザIDや機器ID毎に)感性特徴情報を蓄積して成る“閲覧者感性特徴情報”を生成し、ユーザデータベース110に格納する。ここで、前記閲覧者感性特徴情報とは、各閲覧者に係る感性特徴情報の傾向を示す情報である。
まず、サーバ装置106の評価取得部2は、撮影端末204からユーザIDを受信する(ステップS61)。さらに、サーバ装置106の検索部10は、ユーザIDに対応する“閲覧者感性特徴情報”をユーザデータベース110から取得する(ステップS62)。
続いて、サーバ装置106の検索部10は、ステップS62で取得した閲覧者感性特徴情報に基づいて、前記評価情報に適合する画像データを全体データベース108から検出する(ステップS63)。以下、このステップS63における検索処理について具体的に説明する。
〈処理例1〉
まず、検索部10は、全体データベース108に記録された各画像データについて、“感性特徴情報”を取得する。続いて、それら感性特徴情報と、ステップS62において取得した閲覧者感性特徴との類似性をそれぞれ算出し、予め設定した閾値以上の類似性の画像データ群を全体データベース108から検出する。
〈処理例2〉
予め、サーバ装置106は、各撮影者毎に(例えばユーザIDや機器ID毎に)感性特徴情報を蓄積して成る“撮影者感性特徴情報”を生成し、ユーザデータベース110に格納する。ここで、前記撮影者感性特徴情報とは、各撮影者に係る感性特徴情報の傾向を示す情報である。
まず、検索部10は、ステップS62において取得した閲覧者感性特徴と、ユーザデータベース110に記録された撮影者感性特徴情報との類似性を算出し、予め設定した閾値以上の類似性の撮影者感性特徴情報を検出する。そして、検出した撮影者感性特徴情報に対応する撮影者による撮影で取得された画像データ群を、全体データベース108から検出する。この検出は、被写体/シーン特徴情報の分散が最大となるように画像データを選択して検出することが好ましい。
ところで、サーバ装置106の送信部14は、ステップS63において検出した画像データ群を撮影端末204に送信する(ステップS64)。そして、撮影端末204の通信部256は、このステップS64で送信された画像データ群を受信し、候補データベース226へ格納する。
この後、撮影端末204をネットワークNWから切り離してもよい。換言すれば、以降の処理は、撮影端末204をオフライン状態で実行することができる。
《画像撮影時の処理》
図12は、本第6実施形態に係る撮影端末204による画像データ撮影処理のフローチャートを示す図である。同フローチャートに示す処理は、オフライン状態の撮影端末204による処理である。
まず、撮影端末204の撮影部252は、仮撮影を行って仮撮影画像データを取得する(ステップS71)。続いて、撮影端末204の解析部222は、ステップS71で取得した仮撮影画像データから“被写体/シーン特徴情報”を抽出する(ステップS72)。
続いて、撮影端末204の検索部210は、候補データベース226に格納された画像データの被写体/シーン特徴情報と、仮撮影画像データの被写体/シーン特徴情報との類似性を求め、予め設定した閾値以上の類似性を有する被写体/シーン特徴情報を検出し、その被写体/シーン特徴情報に対応する画像データを検出する(ステップS73)。そして、このステップS73で検出した画像データから撮影パラメータを取得し、制御部254が当該撮影パラメータを設定する(ステップS74)。
以上説明したように、本第6実施形態によれば、第4実施形態と同様の効果を奏する上に下記の効果を奏するサーバ装置及び撮影装置を得ることができる。すなわち、本第6実施形態によれば、ユーザの撮影端末204はネットワークNWから切り離した状態であっても(オフライン状態であっても)、撮影者の嗜好に合った画像を容易に取得することが可能となる。
[第7実施形態]
以下、本発明の第7実施形態に係るサーバ装置及び撮影装置について説明する。説明の重複を避ける為、第1実施形態との相違点を説明する。本第7実施形態においては、第1特徴量を利用した検索処理を次のように行う。
すなわち、本第7実施形態においては、“嗜好に適合する”と評価した画像データから抽出した特徴量を用いて“正の類似度”を算出すると共に、“嗜好に適合しない”と評価した画像データから抽出した特徴量を用いて“負の類似度”を算出する。そして、正の類似度と負の類似度とを組み合わせることによって、第1の特徴量に係る総合的な類似度を算出する。
具体的には、例えば下記(式1)または(式2)で示すように、第1の特徴量に係る総合的な類似度を算出すればよい。
総合類似度=(正の類似度)/(負の類似度)・・・(式1)
総合類似度=k_p×(正の類似度)+k_n×(負の類似度)・・・(式2)
(k_p,k_nは実数)
以上説明したように、本第7実施形態によれば、第1実施形態と同様の効果を奏する上に下記の効果を奏するサーバ装置及び撮影装置を得ることができる。
第1の特徴量は、そもそも画像データの感性的な全体傾向を表現する指標である為、複数の特徴を含む場合が多い。ここで、検索処理において、ユーザの嗜好に合う特定の特徴だけに着目して画像データを検出する場合(ユーザの嗜好に合わない(嫌いな)特徴を含む画像データを検索対象から積極的に排除しない場合)、ユーザの嗜好に合う特定の特徴のみならず、ユーザの嗜好に合わない(嫌いな)特徴を含んでしまっている画像データも検出されてしまう可能性がある。
例えば、或る画像データが第1の特徴量として“あたたか”という特徴及び“モダン”という特徴を含むとする。ユーザが“あたたか”という特徴を含む画像データに対して嗜好に合致すると評価している場合、嗜好に合う特徴だけに注目すると、“あたたか”という特徴を含む画像データが検出される。
しかしながら、本第7実施形態によれば、ユーザが“モダン”という特徴を含む画像データに対して“嗜好に合わない(嫌い)”と評価しているならば、“あたたか”という嗜好に合致する特徴を含んでいても、“モダン”という特徴を含んでいれば当該画像データは検出されない。つまり、第1の特徴量についてはユーザの嗜好に合致する観点と合致しない観点とから検索処理を行うことで、その検索精度を高めることができる。
以上、第1実施形態乃至第7実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で変形/応用が可能なことは勿論である。
さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
NW…ネットワーク、 2…評価取得部、 4…特徴量抽出部、 6…受信部、 8…特徴量抽出部、 10…検索部、 11…デジタルカメラ、 12…パラメータ取得部、 14…送信部、 52…撮像部、 54…制御部、 56…送信部、 58…受信部、 102…閲覧端末、 104…撮影端末、 106…サーバ装置、 108…全体データベース、 110…ユーザデータベース、 204…撮影端末、 210…検索部、 222…解析部、 224…表示部、 226…候補データベース、 252…撮影部、 254…制御部、 256…通信部。

Claims (11)

  1. 撮影装置と通信可能なサーバ装置であって、
    画像データを記録するデータベースと、
    前記撮影装置のユーザの画像データに係る嗜好を示す情報である評価情報と、該評価情報に係る画像データである評価済み画像データとを取得する評価取得部と、
    前記評価情報及び前記評価済み画像データのうち少なくとも一方から、第1の特徴量を抽出する第1特徴量抽出部と、
    前記撮影装置から仮撮影画像データを受信する受信部と、
    前記仮撮影画像データから第2の特徴量を抽出する第2特徴量抽出部と、
    前記第1の特徴量及び前記第2の特徴量に基づいて、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを、前記データベースから検出する検索部と、
    前記検索部によって検出された画像データから撮影パラメータを取得するパラメータ取得部と、
    前記パラメータ取得部によって取得した前記撮影パラメータを、前記撮影装置へ送信する送信部と、
    を具備することを特徴とするサーバ装置。
  2. 前記第1特徴量抽出部は、前記第1の特徴量として、前記評価済み画像データから明度、彩度、色相、及びエッジ強度のうち少なくとも一つを抽出する
    ことを特徴とする請求項1に記載のサーバ装置。
  3. 前記第1特徴量抽出部は、前記第1の特徴量として、前記評価済み画像データについての感性的な評価を示す評価値を、前記評価情報から抽出する
    ことを特徴とする請求項1に記載のサーバ装置。
  4. 前記第2特徴量抽出部は、前記第2の特徴量として、前記仮撮影画像データに係る撮影モード、撮影シーン、及び被写体を、前記仮撮影画像データから抽出する
    ことを特徴とする請求項1に記載のサーバ装置。
  5. 前記第2特徴量抽出部は、前記第2の特徴量として、前記仮撮影画像データに係る撮影シーン及び被写体のうち少なくとも一方について連続値で評価した評価値を、前記仮撮影画像データから抽出する
    ことを特徴とする請求項1に記載のサーバ装置。
  6. 前記検索部は、前記第1の特徴量及び前記第2の特徴量に加えて、前記画像データの付帯情報にも基づいて、前記検出を行う
    ことを特徴とする請求項1に記載のサーバ装置。
  7. 前記付帯情報は、撮影日時情報、閲覧日時情報、位置情報、及び音声情報のうち少なくとも何れか一つの情報である
    ことを特徴とする請求項6に記載のサーバ装置。
  8. 前記データベースは、
    前記検索部が、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを検出する為の第1のデータベースと、
    前記ユーザによって嗜好に合致すると評価された画像データが記録された第2のデータベースと、
    を備え、
    前記第1の特徴量は、前記評価済み画像データについての感性的な評価を示す情報であり、
    前記第2の特徴量は、前記仮撮影画像データに係る被写体及び撮影シーンを示す情報であり、
    前記検索部は、前記第2の特徴量に基づいて、前記第2の特徴量と類似する特徴量を有する画像データを、前記第2のデータベースから検出し、
    前記第1特徴量抽出部は、前記第2のデータベースから検出された画像データから、前記第1の特徴量を抽出し、
    前記検索部は、前記第2の特徴量と前記第1の特徴量とに基づいて、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを、前記第1のデータベースから検出する
    ことを特徴とする請求項1に記載のサーバ装置。
  9. サーバ装置と通信可能な撮影装置であって、
    撮影パラメータを設定する制御部と、
    前記制御部によって設定された撮影パラメータで仮撮影及び撮影を実行する撮影部と、
    前記撮影部による仮撮影で取得した仮撮影画像、及び、当該撮影装置のユーザを識別する為の識別情報を、前記サーバ装置に送信する送信部と、
    前記仮撮影画像及び前記識別情報に基いて前記サーバ装置によって生成されて送信された推奨撮影パラメータを受信する受信部と、
    を具備し、
    前記制御部は、前記仮撮影に係る撮影パラメータと、前記推奨撮影パラメータと、に基づいて撮影パラメータを設定する
    ことを特徴とする撮影装置。
  10. 撮影装置と通信可能なサーバ装置であって、
    画像データを記録するデータベースと、
    前記撮影装置のユーザの画像データに係る嗜好を示す情報である評価情報と共に評価済み画像データを取得する評価取得部と、
    前記評価情報及び前記評価済み画像データのうち少なくとも一方から、第1の特徴量を抽出する第1特徴量抽出部と、
    前記第1の特徴量に基づいて、前記評価情報に適合する画像データ群を、前記データベースから検出する検索部と、
    前記検索部によって検出された画像データ群を、前記撮影装置へ送信する送信部と、
    を具備することを特徴とするサーバ装置。
  11. サーバ装置と通信可能な撮影装置であって、
    撮影パラメータを設定する制御部と、
    前記制御部によって設定された撮影パラメータで仮撮影及び撮影を実行する撮影部と、
    当該撮影装置のユーザの画像データに係る嗜好を示す情報である評価情報と共に評価済み画像データを、前記サーバ装置に送信する送信部と、
    前記サーバ装置によって前記評価情報に基づいて選択された画像データを受信する受信部と、
    前記受信した画像データを記録する候補データベースと、
    前記仮撮影によって取得した仮撮影画像データから特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいて、前記候補データベースから、前記仮撮影画像データに類似し且つ前記評価情報に適合する画像データを検出する検索部と、
    前記検出された画像データから撮影パラメータを取得するパラメータ取得部と、
    を具備し、
    前記制御部は、前記仮撮影画像データに係る撮影パラメータと、前記パラメータ取得部によって取得した撮影パラメータとに基づいて、撮影パラメータを設定する
    ことを特徴とする撮影装置。
JP2012285907A 2012-12-27 2012-12-27 サーバ装置及び撮影装置 Expired - Fee Related JP5847070B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012285907A JP5847070B2 (ja) 2012-12-27 2012-12-27 サーバ装置及び撮影装置
CN201380067785.8A CN104885442B (zh) 2012-12-27 2013-09-12 服务器装置和拍摄装置
PCT/JP2013/074771 WO2014103441A1 (ja) 2012-12-27 2013-09-12 サーバ装置及び撮影装置
US14/746,069 US9800771B2 (en) 2012-12-27 2015-06-22 Server apparatus and photographing apparatus for setting a photographing parameter for capturing an image based on extracted user preference data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012285907A JP5847070B2 (ja) 2012-12-27 2012-12-27 サーバ装置及び撮影装置

Publications (2)

Publication Number Publication Date
JP2014127997A JP2014127997A (ja) 2014-07-07
JP5847070B2 true JP5847070B2 (ja) 2016-01-20

Family

ID=51020545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012285907A Expired - Fee Related JP5847070B2 (ja) 2012-12-27 2012-12-27 サーバ装置及び撮影装置

Country Status (4)

Country Link
US (1) US9800771B2 (ja)
JP (1) JP5847070B2 (ja)
CN (1) CN104885442B (ja)
WO (1) WO2014103441A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
US9866709B2 (en) * 2013-12-13 2018-01-09 Sony Corporation Apparatus and method for determining trends in picture taking activity
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9774779B2 (en) * 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) * 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9571727B2 (en) 2014-05-21 2017-02-14 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) * 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
US10997233B2 (en) * 2016-04-12 2021-05-04 Microsoft Technology Licensing, Llc Multi-stage image querying
WO2018170727A1 (en) * 2017-03-21 2018-09-27 Sony Mobile Communications Inc. Method and apparatus for determining pickup parameters and electronic equipment
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
WO2019049499A1 (ja) * 2017-09-11 2019-03-14 富士フイルム株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP6766086B2 (ja) 2017-09-28 2020-10-07 キヤノン株式会社 撮像装置およびその制御方法
CN107770444B (zh) * 2017-10-27 2020-12-29 北京小米移动软件有限公司 拍照参数确定方法及装置
JP7154844B2 (ja) * 2018-06-29 2022-10-18 キヤノン株式会社 撮影装置、情報処理装置、情報処理方法及び情報処理システム
JP2020087224A (ja) * 2018-11-29 2020-06-04 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
JP6647668B1 (ja) * 2019-03-29 2020-02-14 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP7400641B2 (ja) * 2020-07-01 2023-12-19 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146179B2 (en) * 2002-03-26 2006-12-05 Parulski Kenneth A Portable imaging device employing geographic information to facilitate image access and viewing
JP2003333498A (ja) * 2002-05-14 2003-11-21 Fuji Photo Film Co Ltd 撮影条件データ配信装置及び撮影条件データ配信システム並びにデジタルカメラ
WO2008133237A1 (ja) * 2007-04-23 2008-11-06 Sharp Kabushiki Kaisha 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体、ならびに制御方法
JP2009055088A (ja) * 2007-08-23 2009-03-12 Nec Corp 撮影支援システム
EP2290560A4 (en) * 2008-07-29 2011-07-13 Panasonic Corp IMAGE SEARCH AND IMAGE SEARCH PROCEDURE
JP2011103548A (ja) 2009-11-10 2011-05-26 Panasonic Corp 電子カメラ
JP5995520B2 (ja) * 2011-06-14 2016-09-21 キヤノン株式会社 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法

Also Published As

Publication number Publication date
WO2014103441A1 (ja) 2014-07-03
US9800771B2 (en) 2017-10-24
CN104885442B (zh) 2018-04-24
US20150288869A1 (en) 2015-10-08
JP2014127997A (ja) 2014-07-07
CN104885442A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
JP5847070B2 (ja) サーバ装置及び撮影装置
US10769497B2 (en) Learning device, imaging device, and learning method
US8332429B2 (en) Photography assistant and method for assisting a user in photographing landmarks and scenes
KR20170034428A (ko) 추천을 위한 카메라 메타데이터의 사용 기법
KR20090087670A (ko) 촬영 정보 자동 추출 시스템 및 방법
JP2008165700A (ja) 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
JP2010509695A (ja) 顔認識のためのユーザーインターフェース
US20030193582A1 (en) Method for storing an image, method and system for retrieving a registered image and method for performing image processing on a registered image
Rawat et al. ClickSmart: A context-aware viewpoint recommendation system for mobile photography
JP2015002423A (ja) 画像処理装置、サーバ及び記憶媒体
CN104281650A (zh) 一种基于兴趣分析的好友搜索推荐方法及系统
JP2007259415A (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
JP4090926B2 (ja) 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム
JP2019159537A (ja) 画像検索装置、画像検索方法、電子機器及びその制御方法
CN110581950B (zh) 相机、选择相机设置的系统和方法
CN107094231A (zh) 智能拍摄方法和装置
JP4870503B2 (ja) カメラ、ブログ管理システム
JP5337420B2 (ja) 動画検索装置、動画検索方法及びコンピュータプログラム
JP2013175956A (ja) 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理システム
WO2022019171A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2021008208A1 (en) System and method for recommending a media capturing mode
JP5582924B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017184021A (ja) コンテンツ提供装置及びコンテンツ提供プログラム
JP2018005611A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151124

R151 Written notification of patent or utility model registration

Ref document number: 5847070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees