JP6447992B2 - 画像管理装置及びその制御方法 - Google Patents

Description

本発明は、画像管理装置及びその制御方法に関する。

画像を管理したりソーシャルメディアへ投稿したりする際に、画像の内容や状況についてのコメントが画像に付加されていると便利である。画像にコメントを付加する方法としては、画像中の被写体の態様や位置関係を解析し、コメントを決定し、画像中に吹き出しとして表示する技術が、特許文献１で提案されている。

特開２０１３−０９７７７３号公報

特許文献１では被写体の属性が人物に限定されている。しかし人物以外の属性の被写体も含む被写体同士の位置関係の情報が画像の状況をより良く示す場合もある。例えば、人物と建物が被写体として存在する画像は、記念や記録として撮影された画像である可能性が高い。この場合は、人物同士の位置関係だけではなく、人物と建物との位置関係や、建物が存在する場所を特定できる情報を組み合わせた方が、画像の状況をより良く表現できる。

本発明はこの点に鑑みてなされたものであり、画像にコメントを自動で付加する画像管理装置において、より画像の状況に即したコメントを生成することを可能にする技術を提供することを目的とする。

本発明は、画像のデータと、前記画像に含まれる被写体の位置情報と、を取得する取得手段と、
前記画像に含まれる複数の被写体の位置情報から、前記複数の被写体間の少なくとも奥行き方向の相対的な位置関係を算出する算出手段と、
前記複数の被写体間の相対的な位置関係に基づき、前記画像の状況を示すコメントを生成する生成手段と、
を有する画像管理装置である。

本発明は、画像のデータと、前記画像に含まれる被写体の位置情報と、を取得する取得工程と、
前記画像に含まれる複数の被写体の位置情報から、前記複数の被写体間の少なくとも奥行き方向の相対的な位置関係を算出する算出工程と、
前記複数の被写体間の相対的な位置関係に基づき、前記画像の状況を示すコメントを生成する生成工程と、
を有する画像管理装置の制御方法である。

本発明によれば、画像にコメントを自動で付加する画像管理装置において、より画像の状況に即したコメントを生成することができる。

実施例１の画像管理システムの構成を示す概念図 実施例１の撮像装置の構成の例示すブロック図 実施例１のサーバ装置及び端末装置の構成を例示するブロック図 連携サイトにおける画像及びコメントが表示されたページを示す概念図 連携サイトへ画像を送信する際の設定画面の例 撮像装置から送信する画像を選択する画面の例 実施例１の撮像装置で生成される画像ファイルを示す概念図 実施例１の位置情報の構成を示す概念図 実施例１の被写体座標の空間的位置を示す図 実施例１の被写体情報を示す概念図 実施例１の被写体位置関係とコメント雛形との対応関係の一例 実施例１の画像に含まれる被写体間の相対位置関係情報の一例 実施例１の撮像装置がサーバ装置へ画像を送信する処理のフローチャート 実施例１のサーバ装置がコメントを生成する処理を示すフローチャート 実施例２のコメント雛形の選択肢を提示する画面の例 実施例２のサーバ装置がコメントを生成する処理を示すフローチャート

以下に、図面を参照して、本発明に係る画像管理装置及びその制御方法の好適な実施例を例示的に詳しく説明する。ただし、この実施例に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
＜実施例１＞

図１は、実施例１に係る画像管理システムの構成を示す概念図である。

図１において画像管理システムは、画像を撮影する撮像装置１０２、撮像装置１０２からネットワーク１０４経由で画像データを取得し保管するサーバ装置１０１、及び端末装置１０３から構成される。端末装置１０３は、サーバ装置１０１の設定を行い、サーバ装置１０１の状態の取得と内容の表示を行い、撮像装置１０２から画像データを受信する。サーバ装置１０１へ格納された画像データ及び付加情報は、ソーシャルメディア等の連携サイト１０５へ、転送することが可能である。

サーバ装置１０１の取得手段１０８は、画像のデータと、当該画像に含まれる被写体の位置情報と、を取得する。実施例１では、取得手段１０８は、撮像装置１０２から、ネットワーク１０４経由で、画像データと被写体の情報（位置情報や付加情報）を取得する。算出手段１０７は、取得手段１０８が取得した画像データの画像に含まれる複数の被写体の位置情報から、複数の被写体間の少なくとも奥行き方向の相対的な位置関係を算出する。生成手段１０６は、算出手段１０７が算出した複数の被写体間の相対的な位置関係に基づき、画像の状況を示すコメントを生成する。出力手段１０９は、画像データとコメントを関連付けて表示するための表示データを外部機器へ出力する。実施例１では、出力手段１０９は、外部機器へネットワーク経由（不図示）で表示データを出力する。実施例１では、外部機器は、表示データに基づき画像データとコメントとを表示するウェブサービスを提供する連携サイト１０５のウェブサーバである。入力手段１１１は、端末装置１０３から、ネットワーク１０４経由で、画像データとコメントとに関連付けて表示するための任意の情報（ユーザコメント等）をユーザから受け付ける。また、入力手段１１１は、端末装置１０３から、ネットワーク１０４経由で、連携サイト１０５のウェブサービスにおける画像データとコメントとの表示態様を制御する指示をユーザから受け付ける。

図２は、撮像装置１０２の構成を示すブロック図である。
図２において、カメラ２０１は、被写体の光学像を電気信号に変換する。Ａ／Ｄ変換器２０２は、アナログ信号を入力してデジタル信号に変換する。エンコーダ２０３は、デジタル画像データを圧縮符号化する（例えば、静止画データの場合はＪＰＥＧ形式等）。画像データ記録部２０４は、画像データのファイル（画像ファイル）を作成して記憶媒体２０５に格納（記録）する。記憶媒体２０５は、ランダムアクセス可能な記憶媒体である。ネットワーク接続部２０６は、ネットワーク１０４経由でサーバ装置１０１に画像データを送信する。システム制御部２０７は、この撮像装置１０２の全般的な動作を制御する制御部で、マイクロコンピュータを有する。ＲＯＭ２０８は、制御プログラムや撮像設定値ファイル、各種データを保存する。ＲＡＭ２０９は、制御プログラムのロード領域等を有する。操作部２１０は、操作パネルやリモコン等を含み、ユーザにより操作されて各種データやコマンドを撮像装置１０２へ入力する。位置情報取得部２１１は、例えばＧＰＳレシーバであり、ＧＰＳ衛星から受信した情報に基づいて撮像装置１０２の地球上での現在の位置（地理座標）を算出し、現在位置を表す位置情報を生成する。なお、位置情報取得部２１１は、撮像装置１０２の外部に接続されていてもよい。デコーダ２１２は、圧縮符号化されたデジタルデータを復号する。Ｄ／Ａ変換器２１３は、デジタル信号をアナログ信号に変換する。モニタ２１４は表示部である。電源電池２１５は撮像装置１０２の駆動に必要な電源を供給する。

実施例１に係る各種処理を実現するために必要な制御プログラムは、ＲＯＭ２０８に記憶されている。しかし、この制御プログラムがメモリカード等の記憶媒体２０５に記憶されている形態でも良い。また同様に、ネットワーク上にプログラムがある場合でも本発明は適用される。

撮像装置１０２はネットワーク接続部２０６を介してサーバ装置１０１にアクセスするためのアドレスを含むサーバ情報や、認証を行うためのユーザ情報をＲＯＭ２０８に保持している。そして、撮像装置１０２はサーバ情報に含まれるアドレスを用いてサーバ装置１０１にアクセスし、サーバ装置１０１は、ユーザ情報を基に認証を行う。

図３はサーバ装置１０１と端末装置１０３の構成をそれぞれ示すブロック図である。図３（Ａ）はサーバ装置１０１の構成を示し、図２（Ｂ）は端末装置１０３の構成を示す。
サーバ装置１０１は、ＣＰＵ３０６Ａ、ネットワークＩ／Ｆ３１１Ａ、記憶装置３０９Ａを含み、これらがバス３１２Ａで接続された構成である。不図示の構成要素も有するが、ここでは記載を省略する。記憶装置３０９Ａには、プログラム３２０Ａが記憶されており、ＣＰＵ３０６Ａがプログラム３２０Ａを実行することで、後述する種々の機能が実現される。なお記憶装置３０９Ａには、オペレーティングシステムや各種データ等も記憶されている。ネットワークＩ／Ｆ３１１Ａは、ネットワーク３１３を介して、撮像装置１０２、端末装置１０３、連携サイト１０５と情報の通信を行う。なおＣＰＵ３０６Ａへのプログラムの提供は、記憶装置３０９Ａに限らず、ネットワークＩ／Ｆ３１１Ａからネットワーク３１３を介して行われても良いし、不図示のＵＳＢメモリやＣＤやＤＶＤ等の可搬記憶媒体から提供されても良い。

端末装置１０３は、ＣＰＵ３０６Ｂ、ネットワークＩ／Ｆ３１１Ｂ、入力装置３０４Ｂ、表示装置３０１Ｂ、記憶装置３０９Ｂがバス３１２Ｂで接続された構成である。不図示の構成要素も有するが、ここでは記載を省略する。入力装置３０４Ｂは、ユーザがユーザ機器に指示や情報を入力する装置であり、キーボード、マウス、タッチパネル等を例示できる。表示装置３０１Ｂは、文字や画像を表示する液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネルディスプレイ等である。記憶装置３０９Ｂには、プログラム３２０Ｂが記憶されており、ＣＰＵ３０６Ｂがプログラム３２０Ｂを実行することで、後述する種々の機能が実現される。

なお、サーバ装置１０１に入力装置や表示装置が備わっていても良いが、実施例１では、サーバ装置１０１は、主として、ネットワークを介して端末装置１０３や撮像装置１０２から指示やデータの入力を受け付ける。また、プログラム３２０Ａの実行結果等は、主として、ネットワークを介してＨＴＴＰ等のプロトコルを用いてＸＭＬ等の形式で端末装置１０３や撮像装置１０２に送信され、ユーザへの提示は端末装置１０３の表示装置３０１Ｂ等で行われる。そのため、本明細書では記載を省略した。

端末装置１０３は、ＰＣ、携帯電話、又はスマートフォンのような汎用機器であり、標準的なプロトコルによりネットワーク３１３を介して情報を送受信可能である。プロトコルを用いた情報の送受信は、端末装置１０３においてＣＰＵ３０６Ｂがプログラム３２０Ｂを動作させることで実現される。

端末装置１０３は、ＣＰＵ３０６Ｂがプログラム３２０Ｂを動作させることにより、ＨＴＴＰ等のプロトコルを用いてサーバ装置１０１にアクセスし、ＸＭＬ等の記述言語で作成された情報を送信する。また、端末装置１０３は、同様に、ＨＴＭＬやＸＭＬ等の記述言語で作成された情報を受信する。端末装置１０３のＣＰＵ３０６Ｂは、プログラム３２０Ｂの指示にしたがい受信した情報を解析し、解析結果を表示装置３０１Ｂに表示する。これにより、ユーザが入力装置３０４Ｂに入力した指示や情報に対する応答や結果が表示装置３０１Ｂに提示される。

なお、実施例１では、端末装置１０３の各種の処理はＣＰＵ３０６Ｂがプログラム３２０Ｂを実行することにより実現される構成を説明したが、各種の処理専用のハードウェアにより実行しても良いし、専用のアプリケーションにより実行しても良い。また、端末装置１０３で動作するブラウザでＷｅｂサービスを利用することにより各種の処理が実行される構成であってもよい。

図４はサーバ装置１０１から連携サイト１０５へ画像データとコメントとを含む表示データが送信され、連携サイト１０５で表示データをもとに表示されたページを示す概念図である。
図４において、表示枠４０１は画像及びコメントを含む１送信単位（例えば１つの投稿記事）の表示範囲を示す。画像４０４と画像内容を示すコメント４０２、連携サイト１０５における会員を示すアイコン又は画像４０３で構成される。連携サイト１０５は、サーバ装置１０１から送信される画像データとコメントからなる表示データに基づき、図４に示すような表示を閲覧可能なウェブページを生成し、連携サイト１０５にアクセスした端末に送信する。連携サイト１０５がサーバ装置１０１から受信した画像データ及びコメントに基づきどのようにウェブページを描画するかの指示は、ユーザが端末装置１０３からサーバ装置１０１へ送信することもできる。サーバ装置１０１の入力手段１１１はユーザから受け付けた指示を画像データ及びコメントとともに連携サイト１０５へ送信し、連携サイト１０５は当該指示を解釈してユーザの指示に基づく描画を行うことができる。また、サーバ装置１０１が生成したコメント（生成コメント）の他に、ユーザが作成したコメント（ユーザコメント）を表示させたい場合に、サーバ装置１０１の入力手段１１１はユーザからコメントを受け付ける。サーバ装置１０１は、ユーザコメントを画像データ及び生成コメントとともに連携サイト１０５へ送信する。この場合、連携サイト１０５は、例えば図４のコメント４０２の次の行や、画像４０４の下のスペース等に、ユーザコメントを配置するよう描画を行うことができる。

図５は、ユーザコメントや表示設定を端末装置１０３から送信するために端末装置１０３に表示される設定画面の例である。
図５において、設定枠５０１内に、連携サイト１０５を示すアイコン５０２、コメント４０２を入れるか否かを指定する選択枠５０３、コメント４０２の他に表示するコメント
を指定するコメント入力欄５０４がある。さらに、設定又は変更を実行する設定ボタン５０６、設定を取り消す取り消しボタン５０５で構成される。端末装置１０３で表示及び設定された設定値はサーバ装置１０１に保存され、連携サイト１０５への画像データ及びコメントの送信時にともに送信される。

図６は撮像装置１０２のモニタ２１４上に表示される、サーバ装置１０１や連携サイト１０５へ送信する画像データを選択し、送信操作を実行するための操作画面の例である。
図６では、ユーザは、画像６０２〜６０９の中から送信する画像を選択し、送信ボタン６０１により送信を実行する。画像の選択や送信の実行の指示入力は、操作部２１０を操作することにより行うことができる。

図７は撮像装置１０２で生成される画像ファイルを示す概念図である。
図７において、画像ファイル７０１は、画像そのものを示す画像データ７０３と画像データ７０３に付帯するメタ情報７０２（付帯情報）で構成される。メタ情報７０２はさらに、撮影日時を含む撮影情報７０４と、画像ごとの固有ＩＤ７０５、画像に含まれる被写体の位置情報（空間座標）を示す位置情報７０６で構成される。

図８は位置情報７０６の構成を示す概念図である。
図８において、位置情報７０６は被写体ごとの座標情報８０１で構成され、画像に複数の被写体が含まれる場合は被写体の数だけの座標情報８０４、座標情報８０５が含まれる。画像８０６中の被写体８０７の座標情報８０１は被写体８０７を示す被写体ＩＤ８０２と被写体座標８０３で構成される。被写体８０８についても、対応する座標情報８０４に被写体ＩＤと被写体座標が含まれる。

図９は被写体の空間的位置を示す概念図である。
図９において、撮像装置１０２から見たときに、軸９０１は２次元軸（奥行き方向に対し垂直の平面内の２軸）であり、垂直方向と水平方向を示し、軸９０２は奥行き方向を示している。図８の画像８０６中の被写体８０８は被写体８０７よりも撮像装置１０２から遠い位置にあり、これらの被写体の奥行き方向の位置が座標情報８０１の被写体座標８０３及び座標情報８０４の被写体座標（符号は不図示）に記録されている。このように画像データの付加情報に含まれる複数の被写体の各々の座標情報には、少なくとも奥行き方向の位置情報が含まれる。奥行き方向に垂直の平面内の位置情報がさらに含まれていてもよい。

図１０は被写体ＩＤに対応する被写体の詳細内容を記述した被写体情報を示す概念図であり、サーバ装置１０１に格納され、撮像装置１０２で共有することも可能である。サーバ装置１０１の取得手段１０８は、被写体情報を、画像データの付加情報から取得する構成でも良いし、画像データと関連付けられた画像データとは別のファイルから取得しても良い。

図１０において、被写体情報は画像に含まれる被写体の数だけ複数存在することができる。１つの被写体情報１００１は、被写体に固有な被写体ＩＤ８０２、被写体の名称１００２、被写体が人物、建物、自然景観等かを示す被写体属性１００３、被写体に特有な形状特徴を示す被写体特徴量１００４で構成される。被写体特徴量１００４は例えば、個人認識のため顔特徴データや顔認識結果の情報、人工物や自然物の形状、色、大きさ、被写体の撮影情報等を示すものである。

図１１は、被写体の属性と、被写体間の相対的な位置関係と、生成すべきコメントの雛形と、の予め定められた対応関係を示すコメントルール情報であり、サーバ装置１０１の記憶装置１１０に記憶されている。サーバ装置１０１の生成手段１０６は、コメントルー
ル情報に基づきコメントを生成する。

図１１において、コメントルール情報は、コメント番号１１０１、被写体Ａの属性１１０２、被写体Ｂの属性１１０３、被写体Ａと被写体Ｂの奥行き方向の相対的な位置関係１１０４、属性と位置関係に応じて生成するコメントの雛形１１０５で構成される。図１１の例では、相対的な位置関係１１０４には、２つの被写体の奥行き方向の位置座標の差分と閾値との大小関係が規定されている。よって、生成手段１０６は、２つの被写体の位置座標の差分と閾値との大小関係に基づきコメントを生成できる。例えば、撮像装置１０２に対し、被写体Ａは被写体Ｂよりも遠い位置にあり、かつ被写体Ａと被写体Ｂの奥行き方向の距離が閾値より大きいとする。さらに、２つの被写体の属性がともに人物であるとする。このような条件に適合するコメント雛形は、コメントルール情報におけるコメント番号「２」のコメント雛形「ＡはＢの後ろにいます。」である。

図１１では被写体が２つの例をあげたが、３つ以上の場合も定義することができる。図１１に示すように、実施例１では、人物の被写体と非人物の被写体（図１１の例ではランドマーク）との相対的な位置関係とコメント雛形との対応関係が定められている。よって生成手段１０６は、人物の被写体と非人物の被写体との相対的な位置関係に基づきコメントを生成することができる。また、図１１に示すように、実施例１では、生成手段１０６は、複数の被写体が人物と人物である場合と、複数の被写体が人物と非人物（図１１の例ではランドマーク）である場合とで、相対的な位置関係が同じでも異なるコメントを生成する。図１１のコメントルール情報には、被写体の撮像情報や大きさや形状の情報に応じたコメント雛形を定義しておいても良い。そうすることにより、生成手段１０６は、それらの付加情報に基づきコメントを生成することができる。図１１の例では、２つの被写体間の奥行き方向の相対的な位置関係とコメントとの対応関係が予め定められている例を示したが、２つの被写体間の、奥行き方向と垂直の平面内の相対的な位置関係とコメントとの対応関係が定められていても良い。この場合、取得手段１０８は、各被写体の奥行き方向の位置座標と平面内の位置座標を取得し、算出手段１０７は、被写体間の奥行き方向の相対的な位置関係及び奥行き方向と垂直の平面内の相対的な位置関係を算出する。生成手段１０６は、被写体間の奥行き方向の相対的な位置関係及び奥行き方向と垂直の平面内の相対的な位置関係に基づきコメントを生成することができる。

図１２は画像に含まれる被写体間の相対位置関係情報の一例であり、この相対位置テーブルはサーバ装置１０１の記憶装置１１０に記憶される。相対位置テーブルには、１つの画像ファイル７０１に含まれる被写体間の相対位置関係の情報が格納される。

図１２において、１行が２つの被写体間の相対的な位置関係を示しており、被写体が２つの場合は１行である。この相対的な位置関係は算出手段１０７が算出してテーブルに格納する。画像に含まれる複数の被写体のうちから選択した２つの被写体の組み合わせとして複数通りの組み合わせがある場合、算出手段１０７は、当該複数通りの組み合わせの各々について相対的な位置関係を算出し、テーブルに格納する。例えば、画像に含まれる被写体がｎ個の場合は_ｎＣ_２通りの組み合わせについて相対的な位置関係が算出され、テーブルに格納される。被写体ＩＤ１２０１と被写体ＩＤ１２０２で示される被写体間の相対的な位置関係は、奥行き方向、平面内の水平方向及び垂直方向の３次元座標形式で相対位置１２０３へ格納される。

次に、撮像装置１０２から送信された画像データ及び被写体情報から、サーバ装置１０１がコメントを生成する処理を説明する。
図１３は撮像装置１０２がサーバ装置１０１へ画像データを送信する処理を示すフローチャートである。
図１４はサーバ装置１０１が撮像装置１０２から画像データを受信し、コメントを生成
する処理を示すフローチャートである。

ステップＳ１３０１において、撮像装置１０２がサーバ装置１０１へ画像送信要求を行う。
ステップＳ１４０１において、サーバ装置１０１が要求を受信し、画像受信準備を行う。
ステップＳ１３０２において、撮像装置１０２がサーバ装置１０１へ画像データを送信する。
ステップＳ１３０３において、撮像装置１０２が全ての画像データを送信したかを判定し、全ての画像データを送信したならば、ステップＳ１３０４において、撮像装置１０２がサーバ装置１０１へ、画像データの送信完了ステータスを送信する。
ステップＳ１４０２において、サーバ装置１０１は撮像装置１０２から画像データを受信する。
ステップＳ１４０３において、サーバ装置１０１は撮像装置１０２からの送信完了ステータスを受信する。

ステップＳ１４０４において、サーバ装置１０１は画像ファイル７０１に含まれる複数の被写体の相対位置を算出し、図１２で示されるテーブルに格納し、サーバ装置１０１の記憶装置３０９へ保存する。
ステップＳ１４０５において、サーバ装置１０１は図１２のテーブルの各相対位置情報について、被写体間の相対位置１２０３と、被写体の属性と、に基づき図１１のコメントルール情報を参照し、条件に合致するコメント雛形を検索する。
ステップＳ１４０６において、サーバ装置１０１は条件に合致するコメント雛形をコメントルール情報から選択する。

ステップＳ１４０７において、サーバ装置１０１はステップＳ１４０６で選択したコメント雛形の被写体の名称に相当する部分を被写体情報１００１の被写体名称１００２で置き換えて、相対位置情報に応じたコメントを生成する。サーバ装置１０１は、図１２のテーブルの複数通りの被写体の組み合わせに対応する相対位置情報ごとに、コメントルール情報を参照してコメントを生成する。なお、取得手段１０８が被写体情報として被写体の地球上での位置の情報（例えばＧＰＳにより取得した地理座標）を取得するようにしても良い。この場合、生成手段１０６は、地理座標情報に基づき、被写体の名称（建物名、地名、ランドマーク名など）を特定し、コメント雛形の被写体名称部分を置き換えるようにしても良い。このような地理座標情報に基づく被写体名称の情報は、撮像装置１０２で撮像時に撮影データとして画像データに付加される情報を取得して用いるようにしても良い。

なお、図１２では、画像に含まれる被写体の組み合わせとして可能な全ての組み合わせの各々について相対位置関係を算出する例を説明したが、全ての組み合わせについて相対位置関係を算出しなくても良い。例えば、画像に含まれる被写体のうち、画像内の大きさが一定以上の被写体同士の組み合わせに限って相対位置関係を算出するようにしても良い。また、図１４のステップＳ１４０４〜Ｓ１４０７では、図１２のように算出した相対位置関係の各々についてコメントルール情報に基づきコメントを生成する例を説明したが、算出した全ての相対位置関係についてコメントを生成しなくても良い。例えば、算出した相対位置関係の各々について重要度を表すスコアを算出し、最もスコアの大きい相対位置関係についてのみコメントを生成するようにしても良い。スコアの算出方法は、スコアに基づき画像の撮影目的を推定できる方法を用いればよい。例えば、２つの被写体それぞれの画像内での面積の和をスコアとすることで、画像内で存在感のある被写体同士の相対位置関係のスコアが大きくなる。スコアの算出方法は既知の技術を用いることができる。

実施例１によれば、撮像装置１０２で撮影した画像データをソーシャルメディア等の連携サイトに投稿する場合に、画像に含まれる被写体同士の奥行き方向の位置関係に応じたコメントを自動生成して画像に付加することができる。これにより、画像平面内の位置関係のみに応じたコメントに比べて、より画像の状況を的確に表現したコメントを生成することができ、連携サイトにおけるより臨場感のある表示が可能となる。コメントの画像への付加方法は、上述したように連携サイトの投稿タイトル文や画像の説明文などの形式でも良いし、画像上に吹き出し等のアノテーションとして付加する形式でも良いし、その他公知の種々の形式を利用できる。さらに、実施例１によれば、画像内の人物同士の位置関係のみならず、人物と建物、人物と場所の位置関係に基づきコメントを生成することができる。これにより、観光名所等で記念撮影した画像を連携サイトに投稿した場合に、観光名所の情報等に基づくより画像の状況を的確に表現したコメントを付加することができ、連携サイトにおけるより臨場感のある表示が可能となる。

＜実施例２＞
実施例１では、画像ファイル７０１の画像に含まれる被写体間の相対的な位置関係に応じてコメントを自動的に生成する例を説明したが、被写体間の相対的な位置関係が同じでも、コメントとしての表現は多種類存在しても良い。

実施例２では、コメント雛形１１０５を複数定義して、ユーザに選択させる場合の処理を例示する。実施例２では、図１１のコメントルール情報において、同じ位置関係に対して、複数のコメントが対応付けられている。サーバ装置１０１の入力手段１１１は、同じ位置関係に対応する複数のコメントのうちどれを選択するかの指示をユーザから受け付ける。生成手段１０６は、ユーザの指示に基づきコメントを生成する。

図１５は、実施例２において、コメント雛形の選択肢を端末装置１０３の表示装置３０１Ｂに表示した画面の例である。
図１５において、ユーザは、コメント１５０１、１５０３、１５０４のうちから、所望のコメントを中央に移動させ、決定ボタン１５０２を押下することにより、いずれかのコメントを選択できる。

図１６は、実施例２において、サーバ装置１０１が撮像装置１０２から画像データを受信し、コメントを生成する処理を示すフローチャート図である。図１６のフローチャートにおいて図１４と同内容の処理には図１４と同じ符号を付して説明を省略する。
ステップＳ１４０７において、コメントルール情報に基づき、被写体間の相対的な位置関係の条件に合致する複数のコメント雛形が定義されているとする。この場合、サーバ装置１０１は、複数のコメント雛形からなる選択肢をユーザに提示する図１５のような画面データを端末装置１０３へ送信する。ステップＳ１６０１で、ユーザは端末装置１０３で所望のコメントを選択する操作を行い、選択されたコメントの情報がサーバ装置１０１へ送信される。サーバ装置１０１の入力手段１１１は、ユーザにより選択されたコメント雛形の情報を受け付け、ステップＳ１６０２で選択されたコメント雛形を用いてコメントを生成する。

＜その他の実施形態＞
本発明は、記憶媒体に記録された、コンピュータにより実行可能な命令を、読み出し実行することで上述した本発明の実施形態に記載した１以上の機能を行うシステムや装置のコンピュータによっても、実施することができる。ここで、記憶媒体は、非一時的にデータを保持するコンピュータ読取可能な記憶媒体である。本発明はまた、システムや装置のコンピュータによって行われる方法であって、例えばコンピュータにより実行可能な命令を記憶媒体から読み出し実行することで上述した本発明の実施形態に記載した１以上の機能が行われる、方法によっても実施することができる。コンピュータは、１以上のＣＰＵ
（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、その他の回路により構成される。さらに別個の複数のコンピュータや別個のコンピュータプロセッサのネットワークを含んでも良い。コンピュータにより実行可能な命令は、例えば、ネットワークや記憶媒体からコンピュータに提供されても良い。記憶媒体は、例えば、１以上の、ハードディスク、ＲＡＭ（Random-Access Memory）、ＲＯＭ（Read Only Memory）、分散コンピューティングシステムの記憶装置を含んでも良い。記憶媒体はまた、光学ディスク（例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商
標）Disc））、フラッシュメモリ、メモリカードを含んでも良い。実施例を参照して本発明を説明したが、本発明は実施例の開示に限定されないものと解されるべきである。本発明は、実施例に対する本発明の範囲内のあらゆる変形や等価な構造や機能を包含するよう最も広く解釈されるべきものである。

１０１：画像管理装置、１０６：生成手段、１０７：算出手段、１０８：取得手段

Claims (20)

1. 画像のデータと、前記画像に含まれる被写体の位置情報と、を取得する取得手段と、
   前記画像に含まれる複数の被写体の位置情報から、前記複数の被写体間の少なくとも奥行き方向の相対的な位置関係を算出する算出手段と、
   前記複数の被写体間の相対的な位置関係に基づき、前記画像の状況を示すコメントを生成する生成手段と、
   を有する画像管理装置。
2. 前記生成手段は、人物の被写体と非人物の被写体との相対的な位置関係に基づき前記コメントを生成する請求項１に記載の画像管理装置。
3. 前記取得手段は、被写体の地球上での位置を表す地理座標の情報を取得し、
   前記生成手段は、被写体の地理座標の情報にもさらに基づき前記コメントを生成する請求項１又は２に記載の画像管理装置。
4. 前記生成手段は、複数の被写体が人物と人物である場合と、複数の被写体が人物と非人物である場合とで、相対的な位置関係が同じでも異なるコメントを生成する請求項１〜３のいずれか１項に記載の画像管理装置。
5. 前記取得手段は、前記被写体の属性の情報、前記被写体の名称の情報、前記被写体の顔認識結果の情報、前記被写体の撮像情報、及び前記被写体の大きさの情報の少なくともいずれかの付加情報をさらに取得し、
   前記生成手段は、前記付加情報にもさらに基づき前記コメントを生成する請求項１〜４のいずれか１項に記載の画像管理装置。
6. 前記生成手段は、前記複数の被写体の位置座標の差分と閾値との大小関係に基づき前記コメントを生成する請求項１〜５のいずれか１項に記載の画像管理装置。
7. 前記算出手段は、前記画像に含まれる複数の被写体のうちから選択した２つの被写体の組み合わせとして複数通りの組み合わせがある場合、当該複数通りの組み合わせの各々について相対的な位置関係を算出する請求項１〜５のいずれか１項に記載の画像管理装置。
8. 前記生成手段は、被写体間の相対的な位置関係とコメントとの予め定められた対応関係に基づき前記コメントを生成する請求項１〜６のいずれか１項に記載の画像管理装置。
9. 前記対応関係において、同じ位置関係に対して複数のコメントが対応付けられており、
   同じ位置関係に対応する前記複数のコメントのうちどれを選択するかの指示をユーザから受け付ける手段をさらに有し、
   前記生成手段は、前記ユーザの指示に基づき前記コメントを生成する請求項８に記載の画像管理装置。
10. 前記取得手段は、前記被写体の名称の情報を取得し、
    前記生成手段は、前記対応関係において定められているコメントにおける被写体の名称に相当する部分を前記取得した被写体の名称で置き換えて前記コメントを生成する請求項８又は９に記載の画像管理装置。
11. 前記取得手段は、前記画像のデータの付帯情報から前記被写体の情報を取得する請求項１〜１０のいずれか１項に記載の画像管理装置。
12. 前記算出手段は、前記複数の被写体間の奥行き方向の相対的な位置関係及び前記奥行き方向と垂直の平面内の相対的な位置関係を算出する請求項１〜１１のいずれか１項に記載の画像管理装置。
13. 前記取得手段は、撮像装置からネットワーク経由で前記画像のデータと前記被写体の情報とを取得する請求項１〜１２のいずれか１項に記載の画像管理装置。
14. 前記画像のデータと前記コメントとを関連付けて表示するための表示データを外部機器へ出力する出力手段をさらに有する請求項１〜１３のいずれか１項に記載の画像管理装置。
15. 前記画像のデータと前記コメントとに関連付けて表示するための任意の情報をユーザから受け付ける手段をさらに有する請求項１４に記載の画像管理装置。
16. 前記出力手段は、前記外部機器へネットワーク経由で前記表示データを出力する請求項１４又は１５に記載の画像管理装置。
17. 前記外部機器は、前記表示データに基づき前記画像のデータと前記コメントとを表示するウェブサービスを提供するウェブサーバである請求項１６に記載の画像管理装置。
18. 前記ウェブサービスにおける前記画像のデータと前記コメントとの表示態様を制御する指示をユーザから受け付ける手段をさらに有する請求項１７に記載の画像管理装置。
19. 画像のデータと、前記画像に含まれる被写体の位置情報と、を取得する取得工程と、
    前記画像に含まれる複数の被写体の位置情報から、前記複数の被写体間の少なくとも奥行き方向の相対的な位置関係を算出する算出工程と、
    前記複数の被写体間の相対的な位置関係に基づき、前記画像の状況を示すコメントを生成する生成工程と、
    を有する画像管理装置の制御方法。
20. 請求項１９に記載の画像管理装置の制御方法の各工程をコンピュータに実行させるプログラム。

Images