JP6319981B2 - 撮影装置、情報処理方法及びプログラム - Google Patents

撮影装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6319981B2
JP6319981B2 JP2013204345A JP2013204345A JP6319981B2 JP 6319981 B2 JP6319981 B2 JP 6319981B2 JP 2013204345 A JP2013204345 A JP 2013204345A JP 2013204345 A JP2013204345 A JP 2013204345A JP 6319981 B2 JP6319981 B2 JP 6319981B2
Authority
JP
Japan
Prior art keywords
subject
unit
cumulative
score
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013204345A
Other languages
English (en)
Other versions
JP2015070505A (ja
Inventor
幹雄 木浦
幹雄 木浦
穴吹 まほろ
まほろ 穴吹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013204345A priority Critical patent/JP6319981B2/ja
Publication of JP2015070505A publication Critical patent/JP2015070505A/ja
Application granted granted Critical
Publication of JP6319981B2 publication Critical patent/JP6319981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影装置、情報処理方法及びプログラムに関する。
自動撮影に対する需要が高まっている。しかし、ただ人物を見つけて撮影するだけの自動撮影機器では、撮影した写真に、自動撮影機器のユーザ、被写体等及び関係者の意図しない偏り等が発生する場合がある。例えば被写体間における被撮影枚数のバラつきやその場にいるにも関わらず撮影されていない撮影漏れ等が発生する場合がある。そこで、イベントへの参加者を予め登録しておき、撮影された写真を分析することによって、これまでに誰が撮影されたか、まだ撮影されていない人物は誰か、誰を撮影するべきかを判定する技術が提案されている。
例えば、特許文献1では、パ−ティー会場等で自動的に撮影を行う撮影装置において、予め人物リストを作成し、そのリスト内の人物に関して撮影有無を判定し、撮影漏れを防ぐ技術が開示されている。
また、特許文献2では、撮影者に撮影傾向を通知し、複数の人物をバランスよく撮影することができる技術(撮影アシスト方法)が開示されている。
また、特許文献3では、人間関係を分析して関係性が高い人同士を自動的に撮影する技術が開示されている。
特開2005−10244号公報 特開2011−211695号公報 特開2011−82913号公報
しかしながら、特許文献1で開示されている技術は、予め登録した顔画像と、撮影した写真に含まれる顔画像とを照合して撮影の抜け漏れを防ぐだけの技術である。また、特許文献2で開示されている技術は、人物毎の撮影枚数を集計して撮影傾向を通知することによって撮影を支援するだけの技術である。そのため、特許文献1及び特許文献2で開示されている技術では、被写体によって写り具合が大きく異なってしまう可能性がある。例えば、ある人物は写真の中心に大きく写っているが、ある人物は写真の端の方に小さく写っているだけという場合が考えられる。また、ある人物が写った写真全てにおいて、目をつぶっているという場合も考えられる。
また、特許文献3で開示されている技術では、人間関係を分析して関係性が高い人同士を自動的に撮影することによって仲のよい人が一緒に写っている画像を得ることができるが、シーンによっては、そのシーンの主役となる人物を撮影したい場合がある。
本発明は、被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供することを目的とする。
そこで、本発明の撮影装置は、撮影された被写体間の関心対象を示す関心情報を撮影データから生成する関心情報生成手段と、前記関心情報生成手段で生成された関心情報に基づいて、複数の被写体のうち主被写体とする被写体を決定する主被写体決定手段と、前記複数の被写体のうち前記主被写体決定手段で決定された被写体に重み付けをして撮影された被写体の写り具合に応じたスコアを算出するスコア算出手段と、前記スコア算出手段で算出されたスコアを撮影毎に累積させた累積値を算出し、前記算出した累積値を示す累積情報を取得する累積情報取得手段と、前記累積情報取得手段で取得された累積情報と、前記関心情報生成手段で生成された関心情報とに基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、前記決定手段で決定された被写体を撮影するように自装置を制御する撮影制御手段と、を有する。
本発明によれば、被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供することができる。
撮影装置のハードウェア構成の一例を示す図である。 実施形態1における撮影装置の機能構成等の一例を示す図である。 実施形態1における撮影装置の一例を示す図である。 実施形態1における処理の一例を示すフローチャートである。 実施形態1における撮影シーンの一例を示す図である。 撮影データの一例を示す図(その1)である。 撮影データの一例を示す図(その2)である。 撮影データの一例を示す図(その3)である。 被写体スコア結果の一例を示す図(その1)である。 人物の顔と、名前とを対応付けた一覧の一例を示す図である。 累積被写体結果の一例を示す図(その1)である。 ソーシャルインタレストデータの一例を示す図(その1)である。 撮影優先度の一例を示す図(その1)である。 撮影データの一例を示す図(その4)である。 実施形態2における撮影装置の機能構成等の一例を示す図である。 実施形態2における撮影装置の一例を示す図である。 実施形態2における処理の一例を示すフローチャートである。 実施形態2における撮影シーンの一例を示す図である。 撮影データの一例を示す図(その5)である。 撮影データの一例を示す図(その6)である。 ソーシャルインタレストデータの一例を示す図(その2)である。 撮影データの一例を示す図(その7)である。 被写体スコア結果の一例を示す図(その2)である。 累積被写体結果の一例を示す図(その2)である。 撮影優先度の一例を示す図(その2)である。 実施形態3における撮影装置の機能構成等の一例を示す図である。 実施形態3における撮影装置の一例を示す図である。 実施形態3における処理の一例を示すフローチャートである。 実施形態3における撮影シーンの一例を示す図である。 撮影データの一例を示す図(その8)である。 ソーシャルインタレストデータの一例を示す図(その3)である。 累積被写体結果の一例を示す図(その3)である。 ソーシャルインタレストデータの一例を示す図(その4)である。
以下、本発明を実施するための最良の形態について図面を用いて説明する。
<実施形態1>
図1は、撮影(撮像)装置1000のハードウェア構成の一例を示す図ある。
撮影装置1000は、CPU1001、RAM1002、ROM1003、HD1004、表示部1005、撮影部1006、入力部1007及びネットワークI/F1008を有する。なお、撮影装置1000がパンチルト駆動可能なカメラ、自律移動可能なカメラ等である場合は、自装置を駆動させる駆動装置等を有していてもよい。
CPU1001は、撮影装置1000全体を制御する。CPU1001がHD1004等に格納されているプログラムを実行することにより、後述する撮影装置1000の機能構成及びフローチャートに係る処理(情報処理)が実現される。
RAM1002は、CPU1001のワークエリア等として機能する。
ROM1003及びHD1004の記憶領域には、CPU1001が処理を実行する際に要する各種のプログラムや予め定められた値や数式に関するデータ等を含む各種のデータが記憶されている。
表示部1005は、撮影装置1000の情報を表示するディスプレイ等である。なお、表示部1005は、後述する入力部1007と一体となっているタッチパネルのようなものであってもよい。
撮影部1006は、撮影対象を撮影する。ここでいう撮影には、動画の撮影と、静止画の撮影との両方が含まれるものとする。
入力部1007は、操作者の入力操作を受け付けるキーやボタン等を有する。
ネットワークI/F1008は、ネットワークを介して通信可能な機器と通信を行う。例えば、ネットワークI/F1008は、入力部1007を介して指定されたサーバ装置等と通信することができる。
図2は、撮影装置1000の機能構成等の一例を示す図である。
撮影部1006は、撮影対象を撮影する。撮影部1006により撮影された撮影データは、後述する撮影優先度設定部A12006が撮影優先度(撮影順位)を設定する際等に用いられる。
計算部A12000は、撮影処理における各種の計算を実行する。計算部A12000が有する各機能は、CPU1001がHD1004等に格納されているプログラムを実行することにより実現される機能である。計算部A12000は、審美性評価部A12001、被写体検出部A12002、被写体スコア算出部A12003、累積被写体スコア算出部A12004、ソーシャルインタレストデータ取得部A12005及び撮影優先度設定部A12006を有する。また、計算部A12000は、記憶領域として、審美性評価結果保持部A12010、被写体スコア保持部A12030、累積被写体スコア保持部A12040、ソーシャルインタレストデータ保持部A12050及び撮影優先度保持部A12060を有する。
審美性評価部A12001は、撮影部1006で取得された撮影データの審美性を評価し、審美性評価結果に関するデータ(以下、単に審美性評価結果という)を出力する。審美性評価部A12001による処理の詳細については、図4等を用いて後述する。審美性評価結果保持部A12010は、審美性評価部A12001によって評価された審美性評価結果を保持し、要求に応じて出力する。
被写体検出部A12002は、撮影部1006で取得された撮影データから被写体を検出し、被写体リストを出力する。被写体検出部A12002による処理の詳細については、図4等を用いて後述する。
被写体スコア算出部A12003は、被写体検出部A12002で検出された各被写体の写り具合に関するデータ(以下、単に写り具合という)と、審美性評価結果保持部A12010に保持された審美性評価結果とから各被写体の被写体スコアを算出する。そして、被写体スコア算出部A12003は、算出した被写体スコアに関するデータ(以下、単に被写体スコアという)を出力する。被写体スコア算出部A12003による処理の詳細については、図4等を用いて後述する。被写体スコア保持部A12030は、被写体スコア算出部A12003によって算出された被写体スコアを保持し、要求に応じて出力する。
累積被写体スコア算出部A12004は、被写体スコア保持部A12030に保持される各被写体の撮影毎の被写体スコアと、累積被写体スコア保持部A12040に保持される累積被写体スコアに関するデータとに基づいて算出処理を行う。なお、以降の説明において、累積被写体スコアに関するデータを単に累積被写体スコアという。より具体的にいうと、累積被写体スコア算出部A12004は、前記被写体スコアと、前記累積被写体スコアとから、各被写体について過去に撮影された撮影データを横断的に評価した累積被写体スコア(累積値)を算出する。そして、累積被写体スコア算出部A12004は、算出した累積被写体スコアを累積被写体スコア保持部A12040に保持する。累積被写体スコア算出部A12004による処理の詳細については、図4等を用いて後述する。なお、累積被写体スコアは、累積情報の一例である。また、累積被写体スコア算出部A12004による処理は、累積情報取得処理の一例である。累積被写体スコア保持部A12040は、累積被写体スコア算出部A12004によって算出された累積被写体スコアを保持し、要求に応じて出力する。
ソーシャルインタレストデータ取得部A12005は、ソーシャルインタレストデータを、ソーシャルネットワーキングサービスを提供するサーバ装置等(以下、単にソーシャルネットワーキングサービスという)から取得(受信)する。なお、ソーシャルネットワーキングサービスは、要求に応じてソーシャルインタレストデータを送信する。そして、ソーシャルインタレストデータ取得部A12005は、取得したソーシャルインタレストデータをソーシャルインタレストデータ保持部A12050に保持する。ソーシャルインタレストデータ取得部A12005による処理の詳細については、図4等を用いて後述する。ここでいうソーシャルインタレストデータとは、被写体やその場にいる人物(ユーザ)の人間関係を表す関係情報や、各ユーザの興味関心の対象や度合等を表す関心情報等に関するデータである。また、ソーシャルネットワーキングサービスとは、社会的ネットワークをインターネット上で構築するサービスのことである。ソーシャルインタレストデータ保持部A12050は、ソーシャルインタレストデータ取得部A12005で取得されたソーシャルインタレストデータを保持し、要求に応じて出力する。
撮影優先度設定部A12006は、累積被写体スコア保持部A12040に保持される累積被写体スコアから、今後どの被写体を優先的に撮影するかに関する撮影優先度を算出する。そして、撮影優先度設定部A12006は、算出した撮影優先度に関するデータ(以下、単に撮影優先度という)を撮影優先度保持部A12060に保持する。撮影優先度設定部A12006による処理の詳細については、図4等を用いて後述する。撮影優先度保持部A12060は、各被写体に対する撮影優先度を保持し、要求に応じて出力する。
撮影優先度提示部A13000は、撮影優先度保持部A12060に保持される各被写体に対する撮影優先度を取得し、表示部1005を介してユーザに提示する。また、撮影優先度提示部A13000は、ソーシャルインタレストデータ保持部A12050に保持されるソーシャルインタレストデータに基づいて、被写体の選択に関するアドバイスを、表示部1005を介してユーザに提示する。撮影優先度提示部A13000が表示部1005を介してユーザに提示する情報は、被写体の撮影に係る指示情報の一例である。撮影優先度提示部A13000の機能は、CPU1001がHD1004等に格納されているプログラムを実行することにより実現される機能である。撮影優先度提示部A13000による処理の詳細については、図4等を用いて後述する。
図3は、本実施形態における撮影装置1000の一例を示す図である。本実施形態では、撮影装置1000の一例として図3に示すデジタルカメラ2000を用いて説明する。
本実施形態では、上述した撮影部1006、計算部A12000、撮影優先度提示部A13000を有するデジタルカメラ2000を用いる。デジタルカメラ2000は、撮影した写真について審美性を評価し、被写体を検出し、各被写体の被写体スコアを算出する。そして、デジタルカメラ2000は、各被写体の被写体スコアから各被写体の累積被写体スコアを計算し、ソーシャルインタレストデータを取得することによって撮影優先度を設定する。更に、デジタルカメラ2000は、表示部1005に相当するディスプレイ2001に撮影優先度を提示する。
また、上述したように、デジタルカメラ2000は、審美性評価結果保持部A12010、被写体スコア保持部A12030及び累積被写体スコア保持部A12040として利用することができるメモリを搭載している。更に、デジタルカメラ2000は、ソーシャルインタレストデータ保持部A12050及び撮影優先度保持部A12060として利用することができるメモリを搭載している。
以上が、本実施形態におけるデジタルカメラ2000の構成例である。
本実施形態の処理フローを、図4を用いて説明する。
図4は、本実施形態における処理の一例を示すフローチャートである。
S3100で、審美性評価部A12001は、撮影部1006で撮影された撮影データを取得し、審美性の評価を行い、審美性評価結果保持部A12010に保持する。
S3200で、被写体検出部A12002は、撮影部1006で撮影された撮影データから被写体を検出する。そして、被写体スコア算出部A12003は、撮影部1006で撮影された撮影データと、審美性評価結果保持部A12010に保持される審美性評価結果とを取得し、被写体検出部A12002で検出された各被写体の被写体スコアを算出する。更に、被写体スコア算出部A12003は、算出した被写体スコアを被写体別に被写体スコア保持部A12030に保持する。
S3300で、累積被写体スコア算出部A12004は、被写体スコア保持部A12030に保持される被写体スコアより、累積被写体スコア保持部A12040に保持される被写体別の累積被写体スコアを更新する。そして、累積被写体スコア算出部A12004は、更新した累積被写体スコアを累積被写体スコア保持部A12040に保持する。
S3400で、ソーシャルインタレストデータ取得部A12005は、ソーシャルネットワーキングサービスからソーシャルインタレストデータを取得し、ソーシャルインタレストデータ保持部A12050に保持する。
S3500で、撮影優先度設定部A12006は、累積被写体スコア保持部A12040に保持される累積被写体スコアから、撮影優先度を設定する。
S3600で、撮影優先度提示部A13000は、撮影優先度保持部A12060から撮影優先度を取得し、撮影者に撮影優先度を提示する。また、撮影優先度提示部A13000は、ソーシャルインタレストデータ保持部A12050に保持されるソーシャルインタレストデータから、被写体の選択に関するアドバイスを提示する。
以上の処理が終了すると、デジタルカメラ2000は、図4の処理で撮影優先度を決定するために用いた撮影データを記憶領域から削除する。これにより、ユーザは、デジタルカメラ2000の記憶領域を有効活用することができる。
以上が、本実施形態における撮影装置1000の処理フローである。
以下、図4の処理についてより具体的な例を用いて説明する。
図5は、パーティ会場で、撮影者4000が手持ちのデジタルカメラ2000で複数の被写体4001から被写体4004までを撮影する撮影シーンの一例を示す図である。
本実施形態では、撮影者4000が手持ちのデジタルカメラ2000で撮影を行う際、デジタルカメラ2000がディスプレイ2001を介して撮影者4000に撮影優先度を提示する。より具体的にいうと、デジタルカメラ2000は、被写体4001から被写体4004までのうち何れの被写体を優先して撮影するかに関する撮影優先度を、ディスプレイ2001を介して撮影者4000に提示する。これにより、撮影者4000は、撮影者4000及び被写体4001から被写体4004にとって有益な写真を効率よく撮影することができるようになる。そして、撮影者4000は、デジタルカメラ2000を利用して被写体を撮影する。
図6は、デジタルカメラ2000が取得した撮影データ5000の一例を示す図である。
デジタルカメラ2000は、図3に示すフローに従って撮影データ5000を処理する。
S3100で、審美性評価部A12001は、撮影データ5000を対象に審美性の評価を行う。本実施形態において、審美性評価部A12001は、被写体の写り具合に関する構図を用いて撮影データ5000の審美性を評価する。例えば、審美性評価部A12001は、構図の評価に三分割法等を利用する。三分割法とは、図7のように写真を縦横に三分割する線を引き、それらの線が交差するところに、主要な被写体(人物写真では、通常は顔)を配置する方法である。審美性評価部A12001は、三分割法で評価するために、撮影データ5000の中から顔領域を検出し、位置を特定する。
図8は、審美性評価部A12001が撮影データ5000に対して顔検出処理を行い、縦横に三分割する線を引いた撮影データの一例を示す図である。
四角形7002で囲まれる領域が被写体4002の顔領域であり、四角形7003で囲まれる領域が被写体4003の顔領域である。本実施形態において、審美性評価部A12001は、予め記憶領域に記憶されている既知の顔特有の画像特徴パターン領域を撮影データ5000から検出することで顔を検出する。審美性評価部A12001は、検出した顔が一つの場合、その顔と、三分割する線の交点との距離を求める。また、審美性評価部A12001は、検出した顔が二つの場合、それぞれの距離を求め平均を求める。また、審美性評価部A12001は、検出した顔が三つ以上の場合、何れかの交点に最も近い顔と、その次に近い二つの顔とのそれぞれにおいて最寄りの交点からの距離を求め、その平均距離をスコアとして利用する。
審美性評価部A12001は、以下の式(1)を用いてスコアCを算出する。
Figure 0006319981
ここで、Aは、顔と、写真を縦横に三分割する線の交点との距離である。Bは、撮影データの対角線の長さである。Cは、審美性スコアである。検出された顔が写真を縦横に三分割する線の交点と重なっていればスコアは100となり、検出された顔が撮影データの隅にあるとすればスコアは0となる。以降、本実施形態では、審美性評価部A12001が撮影データ5000に対して求めたスコアが60であったものとして説明を行う。
上記のようにして算出された審美性評価結果は、審美性評価結果保持部A12010に保持される。構図を評価する方法は、顔の位置に基づく評価方法に限る必要はなく、例えば被写体の目を検出して、目から三分割する線の交点までの距離に基づいて構図を評価する方法でもよい。また、本実施形態では三分割法を基準に構図を判定するものとしたが、審美性評価部A12001は、他の構図を利用して構図の善し悪しを評価してもよい。また、審美性評価部A12001は、必ずしも予め定められたスコアよりもよいとされるスコアの構図を基準に構図の善し悪しを判定する必要はない。例えば、審美性評価部A12001は、インターネット等を利用して、撮影データの構図に類似する構図の写真(画像データ)を検索し、その画像に対して付されている評価等を基準も構図の善し悪しを判定するようにしてもよい。また、本実施形態では、3つ以上の顔が検出された場合であっても写真を縦横に三分割する線の交点に近い2つの顔を用いて構図の評価を行うものとしたが、審美性評価部A12001は、3つ以上の顔を用いて構図の評価を行ってもよい。また、スコアの算出方法も上述した方法に限る必要はない。また、本実施形態では審美性を評価する方法として構図を利用したが、審美性評価部A12001は、色味を利用する方法や、インターネットを利用して類似画像を検索し、その画像に対する評価を基準にして審美性を評価する方法等により審美性を評価してもよい。
図4の説明に戻る。
S3200で、被写体検出部A12002は、撮影データ5000から被写体を検出する。そして、被写体スコア算出部A12003は、検出された各被写体について、写りの善し悪しを定量的に示す値である被写体スコアを算出する。まず、被写体検出部A12002は、撮影データから顔領域を検出することで被写体を検出する。そして、被写体検出部A12002は、画像中に占める対象人物のサイズ、画像中に存在する人物の数、笑顔の有無、顔の向き、目つむりの有無等に関する情報(以下、被写体情報という)を認識する。被写体スコア算出部A12003は、被写体検出部A12002が認識した被写体情報と、審美性評価結果保持部A12010に保持される審美性評価結果とから、各被写体のスコアを算出し被写体スコア保持部A12020に保持する。
本実施形態において、被写体スコア算出部A12003は、以下の式を用いて被写体スコアJを算出する。
Figure 0006319981
ここで、Dは、画像中に占める被写体の顔の面積の割合で0.0から1.0までの値を取り、大きく写っているほど被写体スコアは高くなる。Eは、画像中に存在する人物の数であり、少人数で写っている写真ほど被写体スコアは高くなる。撮影データ5000の場合、写真中の人物数は体の一部が写っている人物を含めれば4人であるが、顔の有無により人物検出する検出器の検出結果によれば、図8に示す通り2つの顔が検出されることになるので、人物数は2とカウントされる。Fは、笑顔であるか否かを示す値であり、笑顔の場合は2、笑顔が検出されなかった場合は1とする。本実施形態のデジタルカメラ2000は、笑顔の判定をするために、笑顔画像から笑顔検出用の辞書データ(以下、単に辞書という)を作成する。Gは、顔の向きであり、正面を向いている場合は2、それ以外の場合は1とする。本実施形態のデジタルカメラ2000は、顔の向きを検出するために、様々な方向の顔画像から顔の向き毎に辞書を作成し、それを用いる検出器を利用して検出する。前記検出器は、様々な方向の顔画像から作成された辞書を用いて検出処理を行うことによって、該当する顔の向きに対応した辞書で顔を検出することができるので、顔の向きを判定することができる。Hは、目つむりであるか否かを示す値であり、被写体が目をつむっている場合は1、目を開けている場合は2とする。本実施形態のデジタルカメラ2000は、目をつむっている場合と、開けている場合との辞書を作成し、他のパラメータと同様に検出処理を行う。Iは、審美性評価結果保持部A12010に保持される審美性評価結果である。
式(2)の算出処理に用いられるパラメータは、上記のパラメータに限る必要はない。例えば、被写体に対するピント合掌有無等のパラメータを用いてもよい。また、状況に応じて適したパラメータを利用することが望ましい。例えば、笑顔がふさわしくないシーンにおいて検出器が笑顔を検出した場合、被写体スコア算出部A12003は、笑顔でない場合よりも低い評価を付与するようにしてもよい。また、被写体スコア算出部A12003は、インターネットを利用して顔部分に関する類似画像を検索し、その画像に対する評価を基準として被写体の写り具合を評価してもよい。図9は、本実施形態において被写体スコア算出部A12003が算出した被写体スコアの結果の一例を示す図である。
本実施形態における被写体スコア算出部A12003は、被写体検出部A12002で検出した各被写体の顔領域をクエリとして人物名を検出し、被写体スコア算出部A12003で算出した被写体スコアと紐付けて被写体スコア保持部A12030に保持する。
デジタルカメラ2000は、入力部1007等を介して受け付けた撮影者の指示により、過去に撮影した写真の被写体に対して人物名をタグ付けして図10のように保持しておく。これにより、デジタルカメラ2000は、類似した顔を検索し、人物名を取得することができる。図10は、人物の顔と、名前とを対応付けた一覧の一例を示す図である。
同一人物であるか否かを判定する方法としては、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形等を特徴として利用し、一致する特徴のある画像を検索する方法等がある。主なアルゴリズムとしては、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル等があるが、どのような方法を利用してもよい。また、本装置内で人物認識処理を行う必要はなく、クラウド上にある顔認識サービスを利用してもよい。過去に撮影した写真は撮影者本人が撮影した写真である必要はなく、何らかのデータベースを利用してもよく、顔と、名前とを一致させることができればよい。また、一致させる情報は被写体の名前である必要はなく、ソーシャルネットワーキングサービス等のアカウントと紐づけてもよい。被写体検出部A12002が顔から被写体名や、ソーシャルネットワーキングサービスのアカウント等、人物に関する情報を特定することができない場合、人物を識別できる被写体固有のIDを付与して被写体を識別してもよい。更に、被写体検出部A12002は、顔情報を使用せずに、名札やRFIDタグ等、顔以外の情報を利用して人物を識別してもよい。
図4の説明に戻る。
S3300で、累積被写体スコア算出部A12004は、既に累積被写体スコア保持部A12040に保持されている被写体別の累積被写体スコアに、被写体スコア保持部A12030に保持される新しい撮影データに関する被写体スコアを加える。これにより、累積被写体スコア算出部A12004は、累積被写体スコアを更新する。そして、累積被写体スコア算出部A12004は、更新した新しい累積被写体スコアを累積被写体スコア保持部A12040に保持する。累積被写体スコア算出部A12004は、累積被写体スコア保持部A12040に保持される累積被写体スコアのリストを取得し、新たに得た撮影データ5000の被写体4002及び被写体4003が既にリストに含まれているか否かを判定する。
本実施形態における累積被写体スコアのリストは、図11に示すように各被写体の名前と、累積被写体スコアとを含む。図11は、累積被写体スコ結果の一例を示す図である。
累積被写体スコア算出部A12004は、被写体スコアが算出された被写体4002及び被写体4003が既にリストに存在すれば、その被写体の累積スコアに新しい被写体スコアを加算して累積被写体リストを更新する。一方、累積被写体スコア算出部A12004は、被写体4002及び被写体4003がリストに存在しない場合は、新しい被写体としてリストに追加する。本実施形態において、累積被写体スコア算出部A12004は、同じ被写体の名前をユニークなIDとしてリストを作成している。しかし、累積被写体スコア算出部A12004は、同じ被写体をまとめずに、過去に算出した被写体スコアを個別に保持して、必要な際に同じ被写体の被写体スコアを加算して使用してもよい。このように、スコアの保持方法を限定する必要はない。また、本実施形態において、累積被写体スコア算出部A12004は、取得された撮影データ内の被写体が、累積被写体スコア保持部A12040が保持するリストに存在するのであれば、単純に加算してリストを更新している。しかし、累積被写体スコア算出部A12004は、被写体が撮影されている写真の枚数等に応じて重み付けをして加算するようにしてもよい。
図4の説明に戻る。
S3400で、ソーシャルインタレストデータ取得部A12005は、ソーシャルインタレストデータを取得し、ソーシャルインタレストデータ保持部A12050に保持する。本実施形態では各被写体間の共通の友人の数の情報(以下、単に各被写体間の共通の友人の数という)を利用して、ソーシャルインタレストデータが構築されるものとする。本実施形態では、ソーシャルインタレストデータ取得部A12005は、各被写体の共通の友人の数を外部のソーシャルネットワークサービスから取得する。なお、各被写体間の共通の友人の数のような被写体同士の関係を表すソーシャルインタレスデータは、関係情報の一例である。また、S3400の処理は、関係情報取得処理の一例である。
図12は、各被写体間の共通の友人の数の一例を示す図である。
図12は、被写体4001と、被写体4002とには共通の友人が1人、被写体4001と、被写体4003とには共通の友人が32人いることを示しており、重みつきの無向グラフとして考えることができる。一般的に、共通の友人が少ないよりも、多いほうが、その被写体同士が親密であると考えられ、被写体4001は被写体4002よりも被写体4003と親密であると推測される。ソーシャルインタレストデータ取得部A12005は、上記のようにして取得し構築したソーシャルインタレストデータを、ソーシャルインタレストデータ保持部A12050に保持する。
本実施形態において、ソーシャルインタレストデータ取得部A12005は、被写体間の親密度を共通の友人の数から推定するようにした。しかし、ソーシャルインタレストデータ取得部A12005は、他のパラメータを利用して親密度を推定するようにしてもよい。例えば、ソーシャルインタレストデータ取得部A12005は、出身地域や大学が一緒であるか、勤務先が一緒であるか、といった情報を利用して親密度を推定するようにしてもよい。また、ソーシャルインタレストデータ取得部A12005は、ソーシャルインタレストデータを必ずしも外部のソーシャルネットワーキングサービスから取得する必要はない。例えばソーシャルインタレストデータ取得部A12005は、一緒に会話をしているとか、予め定められた距離よりも近くにいるといった情報から、被写体間の関係を推定してもよい。また、ソーシャルインタレストデータ取得部A12005は、必ずしも過去や現在の交友情報からソーシャルインタレストデータを推定する必要はない。例えば、ソーシャルインタレストデータ取得部A12005は、興味を持つ対象が類似しているために被写体同士が親密になりそうであるといった推定をし、ソーシャルインタレストデータを生成してもよい。また、本実施形態において、ソーシャルインタレストデータ取得部A12005は、被写体の名前をクエリとしてソーシャルネットワークサービスから交友関係を取得したが、顔写真をクエリにしてユーザ情報を返すソーシャルネットワークサービスを利用してもよい。また、ソーシャルインタレストデータ取得部A12005は、自動的にソーシャルインタレストデータを取得したり生成したりする必要はない。例えば、デジタルカメラ2000等は、入力部1007等を介して受け付けたユーザの操作(指示)等に基づいて、ソーシャルインタレストデータを生成するようにしてもよい。
図4の説明に戻る。
S3500で、撮影優先度設定部A12006は、被写体に対する撮影優先度を設定する。本実施形態において、撮影優先度設定部A12006は、累積被写体スコアが低い被写体ほどの撮影優先度を高く設定する。例えば、図11に示す累積被写体スコアの場合、被写体4002の累積被写体スコアが最も低くなっているため、撮影優先度設定部A12006は、被写体4002の撮影優先度を最も高く設定する。
図13は、撮影優先度設定部A12006が設定した被写体毎の撮影優先度の一例を示す図である。
図13の例の場合、撮影優先度設定部A12006は、累積被写体スコアが最も低い方から順に、撮影優先度が高くなるように番号を1から順に割り振っている。ここでは、撮影優先度が最も高い番号が1、次に撮影優先度が高い番号を2といったように、番号が小さいほど撮影優先度が高いものとする。本実施形態において、撮影優先度設定部A12006は、累積被写体スコアが存在しない被写体の撮影優先度が最も高くなるように設定するが、累積被写体スコアが存在しない被写体に対しては全ての撮影優先度の平均値を設定するようにしてもよい。また、撮影優先度設定部A12006は、累積被写体スコアが存在しない被写体の撮影優先度を設定しない等、状況に応じて設定するようにしてもよい。また、撮影優先度設定部A12006は、撮影優先度を累積被写体スコアの差に関わらず上述した順番で設定したが、累積被写体スコアの差の大きさに応じて撮影優先度を設定してもよい。また、撮影者は、入力部1007を介して、自身の好みに応じて撮影優先度を修正してもよい。
図4の説明に戻る。
S3600で、撮影優先度提示部A13000は、撮影者4000に対して撮影優先度が最も高い被写体を提示する。本実施形態において、撮影優先度提示部A13000は、デジタルカメラ2000のディスプレイ2001に表示する。より具体的にいうと、撮影優先度提示部A13000は、図14の枠13002のように被写体4002に四角い枠を重ねて表示することによって、どの被写体を優先的に撮影すべきであるかを撮影者に提示する。図14は、撮影優先度が提示された撮影データの一例を示す図である。また、被写体4002の隣に、被写体4001と、被写体4003とが存在するが、画角の問題から被写体4002に加えて、被写体4001又は被写体4003のどちらか一人しか一緒に撮影できないものとする。その場合、撮影優先度提示部A13000は、ソーシャルインタレストデータ保持部A12050に保持されるソーシャルインタレストデータが示す被写体間の交友関係に基づいて、どの被写体と一緒に被写体4002を撮影したほうが喜ばれるかを判定する。
図12に示すソーシャルインタレストデータによれば、被写体4002と、被写体40001との共通の友人は1人であり、被写体4002と、被写体4003との共通の友人は80人である。即ち、被写体4002は、被写体4001よりも被写体4003の方が共通の友人が多い。そのため、被写体4002と、被写体4003とを一緒に撮影したほうが喜ばれる可能性が高いと考えられる。そこで、撮影優先度提示部A13000は、枠13003のように撮影すべき被写体4003に丸い枠を重ねて表示することによって、どちらの被写体をファインダーに収めるべきかを撮影者に提示する。このように、撮影優先度提示部A13000は、優先して撮影する撮影被写体を決定して提示する。これにより、撮影者4000は、被写体にとって喜ばれる写真を撮影することができる。
撮影優先度提示部A13000が撮影者4000に対して被写体の撮影優先度を提示する方法は、必ずしも四角い枠を重ねて表示する方法である必要はなく、矢印や数字、文字、記号等で指示する方法でもよい。これは、一緒に撮影すべき被写体を指示する場合も同様である。また、撮影優先度提示部A13000は、ディスプレイ2001に撮影優先度が最も高い被写体の顔写真を表示することによって、撮影者4000に被写体を探させるようにしてもよい。また、撮影優先度提示部A13000は、被写体の撮影優先度だけでなく、構図等に関するアドバイスを併せて提示してもよい。
また、本実施形態において、撮影優先度提示部A13000は、ソーシャルインタレストデータ保持部A12050に保持されるソーシャルインタレストデータのみに基づいて一緒に撮影する被写体を選択しているが、他の判定基準を基に被写体を選択してもよい。例えば過去に被写体4001と、被写体4002とが同時に撮影された写真が予め定められた枚数よりも多くあるとする。この場合、撮影優先度提示部A13000が被写体4002と、被写体4003とを撮影するように選択することで、被写体4002と一緒に写る被写体に多様性をもたせることができる。
本実施形態における撮影装置1000は、手で持って撮影するデジタルカメラだけでなく、遠隔制御を行うデジタルカメラや、環境内に設置された自律でパンチルト駆動可能なカメラ、自律移動可能なカメラ等であってもよい。また、撮影装置1000の大きさ、形状、方式等は特に限定する必要はなく、また、被写体、シーン等に関しても限定する必要はない。
以上、本実施形態によれば、撮影装置1000は、撮影データに対して審美性と、各被写体の写り具合とを評価し、過去の撮影データから横断的に累積被写体スコアを算出して、累積被写体スコアの最も低い被写体を優先的に撮影するように撮影者に提示する。このようにすることで、撮影装置1000は、各被写体の写り具合を平均化することができるようになる。即ち、撮影者は、撮影装置1000を用いて、参加者、その他の関係者から喜ばれる写真を効率的に撮影することができるようになる。
<実施形態2>
本実施形態と、実施形態1との主な差異は、手持ちのデジタルカメラではなく自律的にパンチルト駆動可能な撮影装置を利用して撮影を行う点である。また、撮影装置がソーシャルネットワーキングサービスからソーシャルインタレストデータを取得するのではなく、撮影データから被写体のソーシャルインタレストデータを生成する点も異なる。更に、撮影装置が生成したソーシャルインタレストデータを使用して主被写体を設定し、審美性評価を行う点及び撮影優先度を設定する際に、ソーシャルインタレストデータを使用する点も異なる。
図15は、撮影装置1000の機能構成等の一例を示す図である。
上述したように、本実施形態における撮影装置1000は、自律的にパンチルト駆動可能な撮影装置である。
撮影部1006は、実施形態1で説明した通りである。
計算部A142000は、撮影処理における各種の計算を実行する。計算部A142000が有する各機能は、CPU1001がHD1004等に格納されているプログラムを実行することにより実現される機能である。計算部A142000は、ソーシャルインタレストデータ生成部A142001、主被写体設定部A142002、審美性評価部A142003及び被写体検出部A142004を有する。更に、計算部A142000は、被写体スコア算出部A142005、累積被写体スコア算出部A142006、撮影優先度設定部A142007及び撮影制御部A142008を有する。また、計算部A142000は、記憶領域としてソーシャルインタレストデータ保持部A142010、審美性評価結果保持部A142030、被写体スコア保持部A142050、累積被写体スコア保持部A12040及び撮影優先度保持部A142070を有する。
ソーシャルインタレストデータ生成部A142001は、撮影部1006で取得された撮影データからユーザ間のつながりや各ユーザの興味関心を推定し、ソーシャルインタレストデータを生成し、ソーシャルインタレストデータ保持部A142010に保持する。ソーシャルインタレストデータ生成部A142001による処理の詳細については、図17等を用いて後述する。ソーシャルインタレストデータ保持部A142010は、ソーシャルインタレストデータ生成部A142001で生成したソーシャルインタレストデータを保持し、要求に応じて出力する。
主被写体設定部A142002は、ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータを取得し、取得したソーシャルインタレストデータの構造から撮影画像における主被写体を設定し、出力する。主被写体設定部A142002による処理の詳細については、図17等を用いて後述する。
審美性評価部A142003は、主被写体設定部A142002で設定された主被写体を考慮して、撮影部1006で取得された撮影データの審美性を評価し、審美性評価結果を出力する。審美性評価部A142003による処理の詳細については、図17等を用いて後述する。審美性評価結果保持部A142030は、審美性評価部A142003によって評価された審美性評価結果を保持し、要求に応じて出力する。
被写体検出部A142004は、撮影部1006で取得された撮影データから被写体を検出し、被写体リストを出力する。
被写体スコア算出部A142005は、撮影部1006で取得された撮影データと、審美性評価結果保持部A142030に保持される審美性評価結果と、被写体検出部A142004で検出された各被写体の写り具合とから各被写体の被写体スコアを算出する。そして、被写体スコア算出部A142005は、算出した各被写体の被写体スコアを出力し、被写体スコア保持部A142050に保持する。被写体スコア算出部A142005による処理の詳細については、図17等を用いて後述する。被写体スコア保持部A142050は、被写体スコア算出部A142005によって算出された被写体スコアを保持し、要求に応じて出力する。
累積被写体スコア算出部A142006は、被写体スコア保持部A142050に保持される各被写体の撮影毎の被写体スコアと、累積被写体スコア保持部A142060に保持される累積被写体スコアとに基づいて算出処理を行う。より具体的にいうと、累積被写体スコア算出部A142006は、前記被写体スコアと、前記累積被写体スコアとから、各被写体について過去に撮影された撮影データを横断的に評価した累積被写体スコアを算出し、累積被写体スコア保持部A142060に保持する。なお、累積被写体スコア算出部A142006による処理は、累積情報取得処理の一例である。累積被写体スコア算出部A142006による処理の詳細については、図17等を用いて後述する。累積被写体スコア保持部A142060は、累積被写体スコア算出部A142006により算出された累積被写体スコアを保持し、要求に応じて出力する。
撮影優先度設定部A142007は、累積被写体スコア保持部A142060に保持される累積被写体スコアと、ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータとから、撮影優先度を算出する。そして、撮影優先度設定部A142007は、算出した撮影優先度を撮影優先度保持部A142070に保持する。撮影優先度設定部A142007による処理の詳細については、図17等を用いて後述する。撮影優先度保持部A142070は、各被写体に対する撮影優先度を保持し、要求に応じて出力する。
撮影制御部A142008は、撮影優先度保持部A142070に保持される各被写体に対する撮影優先度を取得し、取得した撮影優先度に基づいて撮影部1006を制御する。
図16は、本実施形態における撮影装置1000の一例を示す図である。本実施形態では、撮影装置1000の一例として図16に示す自律的にパンチルト駆動可能な撮影装置15000を用いて説明する。
撮影装置15000は、撮影部1006で撮影した写真からソーシャルインタレストデータを生成し、主被写体を設定し、審美性の評価を行い、被写体を検出し、各被写体の被写体スコアを計算する。更に、撮影装置15000は、各被写体の被写体スコアから累積被写体スコアを計算し、撮影優先度を設定し、撮影部1006を制御する。
また、撮影装置15000は、ソーシャルインタレストデータ保持部A142010、主被写体保持部A142020及び審美性評価結果保持部A142030として利用することができるメモリを搭載している。更に、撮影装置15000は、被写体スコア保持部A142050、累積被写体スコア保持部A142060及び撮影優先度保持部A142070として利用することができるメモリを搭載している。
以上が、本実施形態における撮影装置15000の構成例である。
本実施形態の処理フローを、図17を用いて説明する。
図17は、本実施形態における処理の一例を示すフローチャートである。
S16100で、ソーシャルインタレストデータ生成部A142001は、撮影データから被写体間の交友関係や興味関心を推定し、ソーシャルインタレストデータを生成し、ソーシャルインタレストデータ保持部A142010に保持する。
S16200で、主被写体設定部A142002は、ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータから被写体間の交友関係や興味関心に関する情報を取得する。そして、主被写体設定部A142002は、前記取得した情報に基づいて主被写体を設定し、主被写体の設定に関する情報(以下、単に主被写体という)を主被写体保持部A142020に保持する。なお、S16200の処理は、主被写体決定処理の一例である。
S16300で、審美性評価部A142003は、撮影部1006で撮影された撮影データと、主被写体保持部A142020に保持される主被写体とを取得し、審美性の評価を行い、審美性評価結果保持部A142030に保持する。
S16400で、被写体検出部A142004は、撮影部1006で撮影された撮影データから被写体を検出する。そして、被写体スコア算出部A142005は、撮影部1006で撮影された撮影データと、審美性評価結果保持部A142030に保持される審美性評価結果とを取得し、被写体検出部A142004で検出された被写体スコアを算出する。更に、被写体スコア算出部A142005は、算出した被写体スコアを被写体スコア保持部A142050に保持する。
S16500で、累積被写体スコア算出部A142006は、被写体スコア保持部A142050に保持される被写体スコアより、累積被写体スコア保持部A12040に保持される累積被写体スコアを更新し、累積被写体スコア保持部A12040に保持する。
S16600で、撮影優先度設定部A142007は、累積被写体スコア保持部A142060に保持される累積被写体スコアと、ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータとから、撮影優先度を設定する。そして、撮影優先度設定部A142007は、設定した撮影優先度を撮影優先度保持部A142070に保持する。
S16700で、撮影制御部A142008は、撮影優先度保持部A142070から撮影優先度を取得し、撮影部1006を制御する。
以上の処理が終了すると、撮影装置15000は、図17の処理で撮影優先度を決定するために用いた撮影データを記憶領域から削除する。これにより、ユーザは、撮影装置15000の記憶領域を有効活用することができる。
以上が、本実施形態における撮影装置15000の処理フローである。
以下、図17の処理についてより具体的な例を用いて説明する。
図18は、パーティ会場で、自律的にパンチルト駆動可能な撮影装置15000が複数の被写体17001から被写体17004までを撮影する撮影シーンの一例を示す図である。
本実施形態における撮影装置15000は、撮影を行う際、各被写体に対して撮影優先度を設定することによって被写体や撮影装置15000の操作者、その他関係者にとって有益な写真を効率よく撮影する。
図19は、撮影装置15000が撮影した撮影データ18000の一例を示す図である。
撮影装置15000は、図17に示すフローに従って撮影データ18000を処理する。
S16100で、ソーシャルインタレストデータ生成部A142001は、撮影データ18000からソーシャルインタレストデータを生成する。本実施形態において、ソーシャルインタレストデータ生成部A142001は、各被写体の顔の向きを用いてソーシャルインタレストデータを生成する。ソーシャルインタレストデータ生成部A142001は、予め記憶領域に記憶されている既知の顔特有の画像特徴パターン領域を検出することで顔を検出し、検出した顔について向きを判定する。ソーシャルインタレストデータ生成部A142001は、顔の向きを検出するために、様々な方向の顔画像から顔の向き毎に辞書を作成し、それを用いる検出器を利用して検出する。
図20は、被写体間の関心対象を示す撮影データの一例を示す図である。
図20に示されるように、撮影データ18000では、被写体17002と、被写体17004とが被写体17003の方向を向いている。そのため、被写体17002と、被写体17004とが被写体17003に対して興味関心をもっていると考えられる。
図21は、上述の被写体間の興味関心に関するソーシャルインタレストデータの一例を示す図である。
図21では、特別な興味関心をもってないニュートラルな状態を1、興味関心を持っている状態を2として表現している。図21によれば、被写体17002と、被写体17004とが被写体17003に対して興味関心をもっていることがわかる。ソーシャルインタレストデータ生成部A142001は、このように生成したソーシャルインタレストデータをソーシャルインタレストデータ保持部A142010に保持する。なお、被写体間の興味関心を表すソーシャルインタレスデータは、関心情報の一例である。また、S16100の処理は、関心情報生成処理の一例である。
ソーシャルインタレストデータの生成方法は、必ずしも上記の方法に限る必要はない。ソーシャルインタレストデータ生成部A142001は、ソーシャルインタレストデータを生成するために被写体の顔の向きではなく、視線の方向を利用してもよい。また、ソーシャルインタレストデータ生成部A142001は、単一の静止画から判定するのではなく動画や複数枚の静止画から顔が特定の方向を向いている時間を考慮して興味関心の有無や度合いを推定してもよい。また、ソーシャルインタレストデータ生成部A142001は、顔の方向や視線の他、表情や体の向き、被写体同士の距離を組み合わせて推定してもよい。また、ソーシャルインタレストデータ生成部A142001は、ソーシャルインタレストデータの表現方法として、各被写体の興味や関心度合い等を数値で重み付けする表現方法や、有向グラフ等による表現方法を利用してもよい。また、ソーシャルインタレストデータ生成部A142001は、単一の撮影データからソーシャルインタレストデータを生成しているが、これに限る必要はない。例えばソーシャルインタレストデータ生成部A142001は、以前に撮影した撮影データや以前に生成したソーシャルインタレストデータ、ソーシャルネットワーキングサービス等を利用して外部から取得したデータ等を組み合わせて生成してもよい。
図17の説明に戻る。
S16200で、主被写体設定部A142002は、ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータを基に撮影データ18000における主被写体を設定する。本実施形態において、主被写体設定部A142002は、被写体が多く興味関心を寄せている被写体を主被写体として設定する。ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータは、図21に示す通りである。図21によれば、被写体17002と、被写体17004とが被写体17003に対して関心を持っている。このため、主被写体設定部A142002は、撮影データ18000における被写体17003を主被写体として設定する。ただし、主被写体は2人以上存在してもよい。また、主被写体の設定方法としては、顔の方向だけでなく、シーンに応じた固有の知識(データ)を利用する設定方法を用いてもよい。例えば、主被写体設定部A142002は、演劇の舞台ではスポットライトがあたっている対象を認識して主被写体としてもよいし、パーティ会場ではマイクを持っている被写体を認識して主被写体としてもよい。また、主被写体設定部A142002は、結婚式ではウェディングドレスを着用している被写体を認識して主被写体としてもよい。また、主被写体設定部A142002は、撮影データだけでなくセンサやその他の方法を利用して主被写体を決定してもよく、被写体からのジェスチャ等のアピールを受けて主被写体として設定してもよい。また、主被写体設定部A142002は、こうした様々な主被写体設定方法と、各被写体の興味関心度合いとを組み合わせて主被写体を設定してもよい。
図17の説明に戻る。
S16300で、審美性評価部A142003は、撮影データ18000の審美性を評価する。審美性評価部A142003による審美性の評価方法は実施形態1と同様であるが、撮影データから検出された全ての顔ではなく、主被写体を用いる点が異なる。より具体的にいうと、審美性評価部A142003は、図22のように撮影データ18000を縦横に3分割する線を引き、それらの線が交差するところと、主被写体の顔領域との距離によって審美性を評価する。審美性評価部A142003は、このようにして算出した審美性評価結果を、審美性評価結果保持部A142030に保持する。なお、図22は、審美性評価に関する撮影データの一例を示す図である。
図17の説明に戻る。
S16400の処理は、実施形態1におけるS3200の処理と同様であるが、被写体スコアの算出に用いられる数式が異なる。本実施形態における被写体スコア算出部A142005は、以下の式(3)を用いて被写体スコアJを算出する。
Figure 0006319981
ここで、Kは対象の被写体が主被写体かどうかによって決定される値である。例えば、主被写体の場合は1、それ以外の場合は0.5とする。即ち、被写体スコア算出部A142005は、被写体が主被写体か否かに応じた重み付けをして被写体スコアを算出する。
図23は、被写体スコア算出部A142005が算出した被写体スコアの一例を示す図である。
なお、被写体スコアの算出方法には、本実施形態で述べた式やパラメータを必ずしも利用しなければならないわけではなく、他の数式やパラメータを用いてもよい。
図17の説明に戻る。
S16500の処理は、実施形態1におけるS3300の処理と同様である。累積被写体スコア算出部A142006は、既に累積被写体スコア保持部A12040に保持されている累積被写体スコアに、被写体スコア保持部A142050に保持される新しい撮影データに関する被写体スコアを加えて累積被写体スコアを更新する。そして、累積被写体スコア算出部A142006は、更新した新しい累積被写体スコアを累積被写体スコア保持部A142060に保持する。図24は、累積被写体スコア算出部A142006が求めた累積被写体スコアの一例を示す図である。
図17の説明に戻る。
S16600の処理は、実施形態1におけるS3500の処理と同様であるが、ソーシャルインタレストデータ保持部A142010に保持されるソーシャルインタレストデータの結果を考慮する点が異なる。より具体的にいうと、撮影優先度設定部A142007は、他の人から注目されている被写体に関しては、優先して撮影するように撮影優先度を設定する。本実施形態において、撮影優先度設定部A142007は、n人から注目される毎に(n+1)倍の累積被写体スコアであることを許容する。即ち、撮影優先度設定部A142007は、多くの人から注目されている人は累積被写体スコアが高くても、撮影を行うべき被写体であると判定する。
例えば、図24によれば、被写体17003は4人の被写体の中で累積被写体スコアが2番目に高い。ここで、図24は、累積被写体スコア結果の一例を示す図である。また、ソーシャルインタレストデータ生成部A142001で生成された上述の図21に示されるソーシャルインタレストデータによれば、被写体17003は2人の被写体から興味関心の対象となっていることがわかる。このため、被写体17003は3倍まで累積被写体スコアが高くなることが許容される。即ち、本実施形態において撮影優先度設定部A142007は、被写体17003の累積被写体スコアを(1/3)倍して撮影優先度を求める。したがって、撮影優先度設定部A142007は、注目度を考慮せずに算出した累積被写体スコアが図24に示される通りであるとするならば、注目度を考慮した場合、被写体17003の累積被写体スコアを260/3=86.6666、即ち、87とみなす。この場合、被写体17003の累積被写体スコアは、4人の被写体の中で3番目の大きさになる。
図25は、撮影優先度の一例を示す図である。
撮影優先度設定部A142007は、上述した通りに撮影優先度を設定するため、撮影優先度は図25に示す通りとなる。撮影優先度設定部A142007は、図25のように設定した撮影優先度を撮影優先度保持部A142070に保持する。このように、本実施形態では撮影優先度設定部A142007が、被写体が何人の被写体から興味関心を寄せられているかに基づいて、累積被写体スコアにバイアス(重み付け)をかけて撮影優先度を算出したが、撮影優先度の算出方法はこれに限る必要はない。例えば、撮影優先度設定部A142007は、最も興味関心を抱かれている被写体から順に重み付けするようにしてもよいし、最も多くの人から興味関心を抱かれている人が興味関心を抱いている人の累積被写体スコアに最も大きな重み付けをするようにしてもよい。
S16700で、撮影制御部A142008は、撮影優先度保持部A142070に保持された撮影優先度の最も高い被写体を探索し、撮影に関する制御を行う。撮影制御部A142008は、撮影装置15000のライブビュー映像に対して常時人物検出及び人物識別を行いながらランダムにパンチルト駆動を行い、撮影優先度の最も高い被写体を探索する。
撮影制御部A142008は、パンチルト駆動可能な全ての角度に撮影装置15000を駆動させても被写体を発見することができなかった場合は、次(2番目)に撮影優先度の高い被写体の探索を行う。この際、撮影制御部A142008は、撮影装置15000をランダムに動かすのではなく予め定められた方法で動かしてもよい。また、撮影制御部A142008は、予め定められた回数連続で最も撮影優先度が高い被写体を見つけることができなかった場合は、次の探索へスキップするようにしてもよい。また、撮影制御部A142008は、ランダムにパンチルト駆動を行い、予め定められた時間が経過しても探索対象の被写体を見つけることができなかった場合は、次に撮影優先度の高い被写体を探索するようにしてもよい。また、被写体を探索する方法として、被写体にアクティブRFIDタグを付与しておき、撮影制御部A142008が撮影する際にスキャンすることによって被写体の空間内での位置を把握し、被写体が撮影可能なようにパンチルト駆動を行う方法を用いてもよい。更に、被写体を探索する方法として、被写体探索用のカメラで撮影対象者を探索し、撮影用カメラに撮影対象者の位置を通知するような方法を用いてもよい。
撮影制御部A142008は、累積被写体スコアが存在しない被写体を検出した場合、最優先で撮影を行うように制御してもよい。本実施形態において、撮影制御部A142008は、撮影優先度保持部A142070に保持された撮影優先度が最も高い被写体を優先的に撮影するが、状況に応じて撮影優先度によらずに撮影を行うようにしてもよい。例えば、撮影制御部A142008は、被写体がジェスチャ等によって撮影を求めた際にはその被写体を撮影してもよい。また、撮影制御部A142008は、撮影優先度の最も高い被写体を発見したものの、オクルージョン等によりうまく撮影できないと予想される場合には、他の被写体を優先して撮影するようにしてもよい。
また、本実施形態における撮影装置15000は、パンチルト駆動だけを行うものではなく移動機能を併せもつものでもよい。また、撮影装置15000は、手に持って使用されるデジタルカメラが撮影者に対して移動指示を出すものであってもよい。また、撮影装置15000の大きさ、形状、方式等は特に限定する必要はなく、また、被写体、シーン等に関しても限定する必要はない。
以上、本実施形態によれば、撮影装置15000は、撮影データから被写体感の興味関心を推定することにより主被写体を設定し、その主被写体を考慮して審美性と、各被写体の写り具合とを評価し、過去の撮影データから横断的に累積被写体スコアを算出する。また、撮影装置15000は、ソーシャルインタレストデータと、累積被写体スコアとにより撮影優先度を算出し、算出した撮影優先度に基づいて撮影を行う。これにより、撮影装置15000は、被写体が興味関心を抱いている対象を中心に撮影することができるようになる。即ち、撮影者は、撮影装置15000を用いて、被写体、参加者、その他の関係者から喜ばれる写真を効率的に撮影することができるようになる。
<実施形態3>
本実施形態と、実施形態1及び実施形態2との主な差異は、自律移動式の撮影装置を使用して撮影を行う点である。また、撮影装置が画像データからソーシャルインタレストデータを生成し、生成したソーシャルインタレストデータに基づいて、累積被写体スコアが最も高い被写体が注目している被写体の撮影優先度を補正して設定する点も異なる。
図26は、撮影装置1000の機能構成等の一例を示す図である。
上述したように、本実施形態における撮影装置1000は、自律移動式撮影装置である。
撮影部1006は、実施形態1で説明した通りである。
計算部A252000は、撮影処理における各種の計算を実行する。計算部A252000が有する各機能は、CPU1001がHD1004等に格納されているプログラムを実行することにより実現される機能である。計算部A252000は、審美性評価部A252001、被写体検出部A252002及び被写体スコア算出部A252003を有する。更に、計算部A252000は、累積被写体スコア算出部A252004、ソーシャルインタレストデータ生成部A252005及び撮影優先度設定部A252006を有する。また、計算部A252000は、記憶領域として、審美性評価結果保持部A252010、被写体スコア保持部A252030を有する。更に、計算部A252000は、記憶領域として、累積被写体スコア保持部A252040、ソーシャルインタレストデータ保持部A252050及び撮影優先度保持部A252060を有する。
審美性評価部A252001は、撮影部1006で取得された撮影データの審美性を評価し、審美性評価結果を出力する。審美性評価部A252001による処理の詳細については、図28等を用いて後述する。審美性評価結果保持部A252010は、審美性評価部A252001によって評価された審美性評価結果を保持し、要求に応じて出力する。
被写体検出部A252002は、撮影部1006で取得された撮影データから被写体を検出し、被写体リストを出力する。被写体検出部A252002による処理の詳細については、図28等を用いて後述する。
被写体スコア算出部A252003は、被写体検出部A252002で検出された各被写体に対して、審美性評価結果保持部A252010に保持される審美性評価結果と、各被写体の写り具合とから被写体スコアを算出し、出力する。被写体スコア算出部A252003による処理の詳細については、図28等を用いて後述する。被写体スコア保持部A252030は、被写体スコア算出部A252003によって算出された被写体スコアを保持し、要求に応じて出力する。
累積被写体スコア算出部A252004は、被写体スコア保持部A252030に保持される撮影毎の各被写体の被写体スコアと、累積被写体スコア保持部A252040に保持される累積被写体スコアとに基づいて算出処理を行う。より具体的にいうと、累積被写体スコア算出部A252004は、前記被写体スコアと、前記累積被写体スコアとから、各被写体について過去に撮影された撮影データを横断的に評価した累積被写体スコアを算出し、累積被写体スコア保持部A252040に保持する。なお、累積被写体スコア算出部A252004による処理は、累積情報取得処理の一例である。累積被写体スコア算出部A252004による処理の詳細については、図28等を用いて後述する。累積被写体スコア保持部A252040は、累積被写体スコア算出部A252004によって算出された累積被写体スコアを保持し、要求に応じて出力する。
ソーシャルインタレストデータ生成部A252005は、撮影部1006で取得された撮影データと、累積被写体スコア保持部A252040に保持される各被写体の累積被写体スコアとから、ソーシャルインタレストデータを生成する。そして、ソーシャルインタレストデータ生成部A252005は、生成したソーシャルインタレストデータをソーシャルインタレストデータ保持部A252050に保持する。ソーシャルインタレストデータ生成部A252005による処理の詳細については、図28等を用いて後述する。ソーシャルインタレストデータ保持部A252050は、ソーシャルインタレストデータ生成部A252005で生成されたソーシャルインタレストデータを保持し、要求に応じて出力する。
撮影優先度設定部A252006は、ソーシャルインタレストデータ保持部A252050に保持されるソーシャルインタレストデータから、今後どの被写体を優先的に撮影するかに関する撮影優先度を算出し、撮影優先度保持部A252060に保持する。撮影優先度設定部A252006による処理の詳細については、図28等を用いて後述する。撮影優先度保持部A252060は、各被写体に対する撮影優先度を保持し、要求に応じて出力する。
撮影制御部A252007は、撮影優先度保持部A252060に保持される各被写体に対する撮影優先度を取得し、撮影部1006を制御する。撮影制御部A252007による処理の詳細については、図28等を用いて後述する。
図27は、本実施形態における撮影装置1000の一例を示す図である。なお、本実施形態では、撮影装置1000の一例として図27に示す自律移動式撮影装置26000を用いて説明する。
本実施形態では、上述した撮影部1006及び計算部A252000を有する自律移動式撮影装置26000を用いる。自律移動式撮影装置26000は、撮影部1006で撮影した写真について審美性の評価を行い、被写体を検出し、各被写体の被写体スコアを計算する。そして、自律移動式撮影装置26000は、各被写体の被写体スコアから累積被写体スコアを計算する。更に、自律移動式撮影装置26000は、撮影データと、累積被写体スコアとからソーシャルインタレストデータを生成し、撮影優先度を設定し、撮影部1006を制御する。
また、上述したように、撮影装置15000は、審美性評価結果保持部A252010、被写体スコア保持部A252030及び累積被写体スコア保持部A252040として利用することができるメモリを搭載している。更に、撮影装置15000は、ソーシャルインタレストデータ保持部A252050及び撮影優先度保持部A252060として利用することができるメモリを搭載している。
以上が、本実施形態における自律移動式撮影装置26000の構成例である。
図28は、本実施形態における処理の一例を示すフローチャートである。
S27100で、審美性評価部A252001は、撮影部1006で撮影された撮影データを取得し、審美性の評価を行い、審美性評価結果保持部A252010に保持する。
S27200で、被写体検出部A252002は、撮影部1006で撮影された撮影データから被写体を検出する。そして、被写体スコア算出部A252003は、撮影部1006で撮影された撮影データと、審美性評価結果保持部A252010に保持される審美性評価結果とを取得し、検出された各被写体の被写体スコアを算出する。被写体スコア算出部A252003は、算出した被写体スコアを被写体スコア保持部A252030に保持する。
S27300で、累積被写体スコア算出部A252004は、被写体スコア保持部A252030に保持される被写体スコアより、累積被写体スコア保持部A252040に保持される累積被写体スコアを更新し、累積被写体スコア保持部A12040に保持する。
S27400で、ソーシャルインタレストデータ生成部A252005は、撮影データから取得した被写体間の交友関係や興味関心に関する情報と、累積被写体スコアとから、ソーシャルインタレストデータを算出して取得する。そして、ソーシャルインタレストデータ生成部A252005は、取得したソーシャルインタレストデータをソーシャルインタレストデータ保持部A252050に保持する。
S27500で、撮影優先度設定部A252006は、ソーシャルインタレストデータ保持部A252050に保持されるソーシャルインタレストデータから、撮影優先度を設定する。
S27600で、撮影制御部A252007は、撮影優先度保持部A252060から撮影優先度を取得し撮影部1006を制御する。
以上の処理が終了すると、自律移動式撮影装置26000は、図28の処理で撮影優先度を決定するために用いた撮影データを記憶領域から削除する。これにより、ユーザは、自律移動式撮影装置26000の記憶領域を有効活用することができる。
以上が、本実施形態における自律移動式撮影装置26000の処理フローである。
以下、図28の処理についてより具体的な例を用いて説明する。
図29は、パーティ会場で、自律移動式撮影装置26000が複数の被写体28001から被写体28004までを撮影する撮影シーンの一例を示す図である。
本実施形態では、自律移動式撮影装置26000が撮影を行う際、各被写体に対して撮影優先度を設定して撮影を行う。これにより、自律移動式撮影装置26000は、操作者、被写体、その他関係者にとって有益な写真を効率よく撮影することができる。
図30は、自律移動式撮影装置26000が撮影した撮影データの一例を示す図である。
自律移動式撮影装置26000は、撮影データ29000を図28に示すフローに従って処理する。
図28の説明に戻る。
S27100の処理は、実施形態1におけるS3100の処理と同様である。
S27200の処理は、実施形態1におけるS3200の処理と同様である。
S27300の処理は、実施形態1におけるS3300の処理と同様である。
S27400で、ソーシャルインタレストデータ生成部A252005は、撮影データ29000からソーシャルインタレストデータを生成する。まず、ソーシャルインタレストデータ生成部A252005は、実施形態2におけるS16100の処理と同様に各被写体の顔の向きを用いてソーシャルインタレストデータを生成する。ここでは、ソーシャルインタレストデータ生成部A252005は、図31に示すソーシャルインタレストデータを得ることができたものとする。図31は、本実施形態におけるソーシャルインタレストデータの一例を示す図である。次に、ソーシャルインタレストデータ生成部A252005は、累積被写体スコア保持部A252040に保持される累積被写体スコアを取得する。ここでは、ソーシャルインタレストデータ生成部A252005は、図32に示す累積被写体スコアを得ることができたものとする。図32は、累積被写体スコアの結果の一例を示す図である。
ソーシャルインタレストデータ生成部A252005は、取得した累積被写体スコアを用いて、生成して取得したソーシャルインタレストデータに補正をかける。即ち、ソーシャルインタレストデータ生成部A252005は、各被写体の累積被写体スコアと、各被写体への関心度合いを示す値(関心値)とを掛け合わせる。この補正により、累積被写体スコアの最も高い被写体から関心を持たれている被写体は、補正前よりも関心値が高くなり、補正前よりも多くの関心を持たれているものとみなされる。
図33は、上述の方法により補正をかけたソーシャルインタレストデータの一例を示す図である。
ソーシャルインタレストデータ生成部A252005は、補正して取得した図33に示すソーシャルインタレストデータを、ソーシャルインタレストデータ保持部A252050に保持する。
なお、ソーシャルインタレストデータの補正方法は、必ずしも累積被写体スコアと、ソーシャルインタレストデータの関心値とを掛け合わせる方法に限る必要はなく、他の計算方法を用いてもよい。また、ソーシャルインタレストデータ生成部A252005は、過去のソーシャルインタレストデータを保持しておき、データを更新して利用するようにしてもよい。
図28の説明に戻る。
S27500の処理は、実施形態1におけるS3500の処理と同様である。ただし、撮影優先度設定部A252006が、ソーシャルインタレストデータ保持部A252050に保持されるソーシャルインタレストデータから撮影優先度を設定する点が異なる。図33によれば、被写体28003が他の被写体から最も多くの関心を集めていることがわかる。このため、撮影優先度設定部A252006は、被写体28003を優先的に撮影するように撮影優先度を設定する。なお、本実施形態における撮影優先度設定部A252006は、被写体が他の被写体からどれだけ興味関心を寄せられているかに基づいて、撮影優先度を算出した。しかし、撮影優先度の算出方法は、この方法に限る必要はない。例えば、撮影優先度設定部A252006は、ソーシャルインタレストデータにおいて興味関心を寄せられている合計のスコアではなく、興味関心を寄せている人数を考慮してもよいし、単純に合計するのではなく傾斜をつけてもよい。
S27600で、撮影制御部A252007は、撮影優先度保持部A252060に保持される被写体を探索し、撮影を行う。探索の方法については上述したため、説明を省略する。本実施形態において撮影制御部A252007は、撮影優先度保持部A252060に保持された撮影優先度が最も高い被写体を優先的に撮影するが、上述したように状況に応じて撮影優先度にとらわれずに撮影を行なってもよい。
なお、本実施形態における自律移動式撮影装置26000は、移動機能を有さずにパンチルト駆動だけを行うものでもよい。また、移動方式としては、手に持って使用されるデジタルカメラが撮影者に対して移動指示を出すような方式であってもよい。また、自律移動式撮影装置26000の大きさ、形状、方式等は特に限定する必要はなく、また、被写体、シーン等に関しても限定する必要はない。
以上、本実施形態によれば、自律移動式撮影装置26000は、撮影データに対して、審美性と、各被写体の写り具合とを評価し、過去の撮影データから横断的に累積被写体スコアを算出する。そして、自律移動式撮影装置26000は、累積被写体スコアと、撮影データとからソーシャルインタレストデータを生成する。更に、自律移動式撮影装置26000、生成したソーシャルインタレストデータを基に撮影優先度を算出し、撮影優先度の低い被写体を優先的に撮影する。これにより、自律移動式撮影装置26000は、被写体がそのシーンにおいて興味関心を抱いている対象を中心に撮影をすることができるようになり、被写体、参加者及びその他の関係者から喜ばれる写真を効率的に撮影することができるようになる。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
以上、上述した各実施形態によれば、被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供することができる。
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (8)

  1. 撮影された被写体間の関心対象を示す関心情報を撮影データから生成する関心情報生成手段と、
    前記関心情報生成手段で生成された関心情報に基づいて、複数の被写体のうち主被写体とする被写体を決定する主被写体決定手段と、
    前記複数の被写体のうち前記主被写体決定手段で決定された被写体に重み付けをして撮影された被写体の写り具合に応じたスコアを算出するスコア算出手段と、
    前記スコア算出手段で算出されたスコアを撮影毎に累積させた累積値を算出し、前記算出した累積値を示す累積情報を取得する累積情報取得手段と、
    前記累積情報取得手段で取得された累積情報と、前記関心情報生成手段で生成された関心情報とに基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、
    前記決定手段で決定された被写体を撮影するように自装置を制御する撮影制御手段と、
    を有する撮影装置。
  2. 撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得手段と、
    撮影された被写体間の関心対象を示す関心情報を撮影データから生成し、前記生成した関心情報を前記累積情報が示す累積値に基づいて補正する関心情報生成手段と、
    前記補正された前記関心情報に基づいて特定される前記累積値と、関心対象に係る度合いを示す関心値との積が最も高い被写体を撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、
    前記決定手段で決定された被写体を撮影するように自装置を制御する撮影制御手段と、
    を有する撮影装置。
  3. 前記決定手段は、前記複数の被写体のうち前記累積情報が示す累積値が最も低い被写体を撮影対象の複数の被写体のうち優先して撮影する被写体として決定する請求項記載の撮影装置。
  4. 前記撮影制御手段は、前記決定手段で決定された被写体を撮影するように自装置のパンチルト駆動に係る制御又は自装置の移動に係る制御を行う請求項乃至何れか1項記載の撮影装置。
  5. 前記撮影された被写体の写り具合に応じたスコアは、前記被写体が撮影された画像を垂直方向に複数の領域に分割する線と水平方向に複数の領域に分割する線との交点と、前記被写体と、の距離に基づいて算出される請求項1乃至4何れか1項記載の撮影装置。
  6. 撮影装置が実行する情報処理方法であって、
    撮影された被写体間の関心対象を示す関心情報を撮影データから生成する関心情報生成ステップと、
    前記関心情報生成ステップで生成された関心情報に基づいて、複数の被写体のうち主被写体とする被写体を決定する主被写体決定ステップと、
    前記複数の被写体のうち前記主被写体決定ステップで決定された被写体に重み付けをして撮影された被写体の写り具合に応じたスコアを算出するスコア算出ステップと、
    前記スコア算出ステップで算出されたスコアを撮影毎に累積させた累積値を算出し、前記算出した累積値を示す累積情報を取得する累積情報取得ステップと、
    前記累積情報取得ステップで取得された累積情報と、前記関心情報生成ステップで生成された関心情報とに基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
    前記決定ステップで決定された被写体を撮影するように自装置を制御する撮影制御ステップと、
    を含む情報処理方法。
  7. 撮影装置が実行する情報処理方法であって、
    撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得ステップと、
    撮影された被写体間の関心対象を示す関心情報を撮影データから生成し、前記生成した関心情報を前記累積情報が示す累積値に基づいて補正する関心情報生成ステップと、
    前記補正された前記関心情報に基づいて特定される前記累積値と、関心対象に係る度合いを示す関心値との積が最も高い被写体を撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
    前記決定ステップで決定された被写体を撮影するように自装置を制御する撮影制御ステップと、
    を含む情報処理方法。
  8. コンピュータを、請求項1乃至5何れか1項記載の撮影装置の各手段として機能させるためのプログラム。
JP2013204345A 2013-09-30 2013-09-30 撮影装置、情報処理方法及びプログラム Active JP6319981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013204345A JP6319981B2 (ja) 2013-09-30 2013-09-30 撮影装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013204345A JP6319981B2 (ja) 2013-09-30 2013-09-30 撮影装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015070505A JP2015070505A (ja) 2015-04-13
JP6319981B2 true JP6319981B2 (ja) 2018-05-09

Family

ID=52836779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013204345A Active JP6319981B2 (ja) 2013-09-30 2013-09-30 撮影装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6319981B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020035086A (ja) * 2018-08-28 2020-03-05 富士ゼロックス株式会社 情報処理システム、情報処理装置およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167253A (ja) * 1999-12-10 2001-06-22 Fuji Photo Film Co Ltd 撮像画像を評価する撮像装置、方法および記録媒体
JP4478510B2 (ja) * 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
JP2009004873A (ja) * 2007-06-19 2009-01-08 Canon Inc カメラ制御システム及び方法、並びにプログラム及び記憶媒体
JP5181841B2 (ja) * 2008-06-02 2013-04-10 カシオ計算機株式会社 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム
JP5402122B2 (ja) * 2009-03-18 2014-01-29 日本電気株式会社 オートフォーカス機能を有する情報処理装置、オートフォーカス機能を有する情報処理装置の制御方法等
JP5525757B2 (ja) * 2009-05-18 2014-06-18 オリンパス株式会社 画像処理装置、電子機器、及びプログラム
JP5413119B2 (ja) * 2009-10-09 2014-02-12 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP5430428B2 (ja) * 2010-02-01 2014-02-26 オリンパスイメージング株式会社 撮影機器
JP5823499B2 (ja) * 2011-04-01 2015-11-25 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America コンテンツ処理装置、コンテンツ処理方法、コンテンツ処理プログラム、及び集積回路

Also Published As

Publication number Publication date
JP2015070505A (ja) 2015-04-13

Similar Documents

Publication Publication Date Title
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
KR101665130B1 (ko) 복수의 인물에 대한 이미지 생성 장치 및 방법
JP6101397B2 (ja) 写真出力方法および装置
JP5159515B2 (ja) 画像処理装置およびその制御方法
JP6077655B2 (ja) 撮影システム
WO2016016984A1 (ja) 撮像装置およびその被写体追尾方法
US20120013783A1 (en) Photgraphing support system, photographing support method, server photographing apparatus, and program
JP5616819B2 (ja) 撮影アシスト方法、そのプログラム、その記録媒体、撮影装置および撮影システム
US20120155773A1 (en) Image processing apparatus, image processing method, and storage medium
KR20150026123A (ko) 디지털 영상 처리 방법 및 디지털 영상 처리 장치
CN111640165A (zh) Ar合影图像的获取方法、装置、计算机设备及存储介质
JP2009117975A (ja) 撮影装置および撮影方法
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
JP2019159647A (ja) プログラム、ネットワークシステム及び画像判定方法
JP5625844B2 (ja) 撮像方法、および撮像システム
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6319981B2 (ja) 撮影装置、情報処理方法及びプログラム
JP2018180894A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023065024A (ja) 検索処理装置、検索処理方法及びプログラム
CN110268370A (zh) 在远程会议中的眼睛凝视角反馈
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP2022048077A (ja) 画像処理装置およびその制御方法
JP7182893B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP2010146581A (ja) 人物画像検索装置
JP2011040860A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180403

R151 Written notification of patent or utility model registration

Ref document number: 6319981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151