JP5932107B2

JP5932107B2 - 画像処理サーバ及び撮像装置

Info

Publication number: JP5932107B2
Application number: JP2015088669A
Authority: JP
Inventors: 尚之宮下
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-04-23
Filing date: 2015-04-23
Publication date: 2016-06-08
Anticipated expiration: 2031-06-06
Also published as: JP2015164343A

Description

本発明は、撮影者の撮影を支援する画像処理サーバ及び撮像装置に関する。

撮影支援システムとして、例えば、撮影場所や撮影日時などの撮影情報が撮像装置から画像処理サーバへ送信され、その画像処理サーバにおいて画像データベースから撮影情報の条件に近い画像が参考構図画像として複数抽出され、その抽出された複数の参考構図画像が画像処理サーバから撮像装置へ送信され撮像者に提示されるものがある（例えば、特許文献１参照）。撮影者は、それら参考構図画像を参考にして撮影を行うことができる。

特開２００７−２７９４５号公報

しかしながら、上述の撮影支援システムでは、画像データベースに記憶されている画像が多いと、互いに似たような画像も多くなるため、画像データベースから撮影情報に近い画像が参考構図画像として複数抽出される際、互いに似たような画像ばかりが抽出されて撮影の支援にあまり適していない参考構図画像が撮像者に提示されてしまうおそれがある。

そこで、本発明は、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することが可能な画像処理サーバ及び撮像装置を提供することを目的とする。

本発明の画像処理サーバは、記憶手段、演算部、通信部を有する。

前記記憶手段は、画像データおよび前記画像データの撮影位置情報を各々含む複数の画像情報を記憶する。前記演算部は、前記記憶手段から前記複数の画像情報を読出して処理し、参考構図画像を出力する。前記通信部は、質問撮影位置情報を受信し、前記参考構図画像を送信する。

前記演算部は、前記画像データの特徴量を各々算出し、前記特徴量に基づいて前記複数の画像情報を複数の類似画像群に分類し、前記複数の類似画像群から複数の代表画像情報を各々抽出し、前記質問撮影位置情報に近い前記撮影位置情報に対応する前記画像データを前記参考構図画像として前記複数の代表画像情報から抽出する。

また、本発明の撮像装置は、画像データおよび前記画像データの撮影位置情報を各々含む複数の画像情報を記憶する、記憶手段、前記記憶手段から前記複数の画像情報を読出して処理し、参考構図画像を出力する、演算部、質問撮影位置情報を受信し、前記参考構図画像を送信する、通信部を有し、前記演算部は、前記画像データの特徴量を各々算出し、前記特徴量に基づいて前記複数の画像情報を複数の類似画像群に分類し、前記複数の類似画像群から複数の代表画像情報を各々抽出し、前記質問撮影位置情報に近い前記撮影位置情報に対応する前記画像データを前記参考構図画像として前記複数の代表画像情報から抽出する画像処理サーバと通信する撮像装置であって、質問画像データを作成する、撮像部、前記質問画像データが撮影されたときに、前記質問撮影位置情報を作成する、撮影位置取得部、前記質問撮影位置情報を送信し、前記参考構図画像を受信する、通信部、前記参考構図画像を表示する表示部、を有する。

本発明によれば、撮影者の撮影を支援する画像処理サーバ及び撮像装置において、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することができる。

本発明の第１実施形態の撮影支援システムの一例を示す図である。画像データベースの一例を示す図である。撮像装置における演算部の動作を説明するためのフローチャートである。撮像装置と画像処理サーバとの間で送受信されるデータや表示部に表示される撮影支援画面の一例を示す図である。画像処理サーバにおける演算部の動作を説明するためのフローチャートである。特徴量算出部の動作を説明するための図である。類似画像分類部の動作を説明するための図である。代表画像抽出部及び参考構図画像抽出部の動作を説明するための図である。参考構図画像抽出処理のさらに詳細な動作の一例を示すフローチャートである。本発明の第１実施形態の撮影支援システムの変形例を示す図である。参考構図画像抽出処理のさらに詳細な動作の他の例を示すフローチャートである。本発明の第２実施形態の撮影支援システムの一例を示す図である。撮像装置における演算部の動作を説明するためのフローチャートである。撮影支援画面の一例を示す図である。撮影支援画面の他の例を示す図である。画像処理サーバにおける演算部の動作を説明するためのフローチャートである。本発明の第２実施形態の撮影支援システムの変形例を示す図である。優先度設定部の動作を説明するためのフローチャートである。本発明の実施形態の撮像装置の一例を示す図である。本発明の第３実施形態の撮影支援システムを示す図である。

図１は、本発明の第１実施形態の撮影支援システムの一例を示す図である。

図１に示す第１実施形態の撮影支援システムは、撮像装置１００と、その撮像装置１００とデータの送受信を行う画像処理サーバ２００とを備える。

撮像装置１００は、例えば、デジタルカメラ、カメラ付き携帯電話、又はスマートフォンなどの持ち運び可能な装置であって、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。本実施形態において、撮像装置１００は、デジタルカメラとする。

撮像部１０１は、デジタルカメラなどに通常備えられているものであって、例えば、鏡胴内のレンズによってＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像データとする。また、撮像部１０１は、例えば、シャープネス補正回路、コントラスト補正回路、輝度・色差信号生成回路、及びホワイトバランス補正回路などを備え、画像データに対して各種画像処理を行う。

表示部１０２は、例えば、液晶や有機ＥＬなどで構成されるディスプレイ（例えば、タッチパネルディスプレイなど）であって、撮像部１０１で取得される画像データ、撮像装置１００を操作するためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）、又は撮影者の撮影を支援するための撮影支援画面などを表示する。例えば、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされると、撮像装置１００において「撮影支援処理」が実行されるものとする。

撮影位置取得部１０３は、例えば、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）や無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などを使用して撮像装置１００の現在の位置情報を取得する。

通信部１０４は、後述する画像処理サーバ２００の通信部２０１とインターネットなどのネットワークを介してデータの送受信を行う。

記憶部１０５は、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などにより構成され、演算部１０６で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを記憶する。

演算部１０６は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やマイクロコンピュータなどにより構成され、記憶部１０５に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより撮像装置１００全体の動作制御を行う。また、演算部１０６は、撮影支援画面作成部１０７（撮影支援画像作成手段）を備える。例えば、記憶部１０５に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部１０６により実行されると、撮影支援画面作成部１０７が構成されるものとする。

撮影支援画面作成部１０７は、撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを用いて、表示部１０２に表示させる撮影支援画面を作成する。

画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（記憶手段）と、演算部２０３とを備える。なお、画像処理サーバ２００は、物理的に１台のサーバであるとは限らず、互いにネットワークに接続された複数のパーソナルコンピュータやクラウドサーバなどにより構成されてもよい。本実施形態において、画像処理サーバ２００は、ネットワークに接続された計算サーバとする。

記憶部２０２は、例えば、ＲＯＭ、ＲＡＭ、又はＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などにより構成され、演算部２０３で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや複数の画像情報（レコード）を有する画像データベース（画像ＤＢ）を記憶する。

図２は、画像データベースの一例を示す図である。

図２に示す画像データベースは、画像情報名が格納される画像情報名領域５０と、画像データが格納される画像データ領域５１と、位置情報が格納される位置情報領域５２と、画像情報が後述する代表画像情報であるか否かを示すフラグ情報が格納されるフラグ領域５３とからなる画像情報５４を複数有している。例えば、図２において、画像情報５４−１００の画像情報名領域５０には、画像情報名として「ｉｍｇ１００」が格納され、画像データ領域５１には画像データ（例えば、ＪＰＥＧファイルなど）として「ｄａｔａ０」が格納され、位置情報領域５２には「ｄａｔａ０」の撮影位置を示す撮影位置情報（例えば、緯度、経度）として「Ｘ０、Ｙ０」が格納され、フラグ領域５３には「ｉｍｇ１００」が代表画像情報であることを示す「Ｔ」が格納されている。なお、画像情報が代表画像情報でないことを示す場合、フラグ領域５３には、「Ｆ」が格納されているものとする。また、画像データベースに有する複数の画像情報は、例えば、インターネット上に存在する画像群などに基づいて作成されるものとする。

また、図１において、演算部２０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部２０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像処理サーバ２００全体の動作制御を行う。また、演算部２０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、代表画像抽出部２０６（代表画像抽出手段）、及び参考構図画像抽出部２０７（参考構図画像抽出手段）を備える。例えば、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、及び参考構図画像抽出部２０７が構成されるものとする。

特徴量算出部２０４は、記憶部２０２の画像データベースから複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。

類似画像分類部２０５は、特徴量算出部２０４で算出された各特徴量に基づいて、特徴量算出部２０４で読み出された複数の画像情報を複数の類似画像群１〜ｍに分類する。

代表画像抽出部２０６は、類似画像分類部２０５で分類された複数の類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。

参考構図画像抽出部２０７は、代表画像抽出部２０６で抽出された代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。

図３は、撮像装置１００における演算部１０６の動作を説明するためのフローチャートである。

まず、演算部１０６は、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされるなどして、撮影支援モードを開始する旨の指示があると（Ｓ１００がＹｅｓ）、「撮影支援処理」を実行するとともに、撮影位置取得部１０３により現在の撮像装置１００の位置情報を取得させ、その撮像装置１００の位置情報を画像処理サーバ２００へ送信する（Ｓ１０１）。例えば、図４に示すように、撮像装置１００が金閣寺周辺のある場所に位置している場合、撮像装置１００は、撮影位置取得部１０３により取得される位置情報として「金閣寺周辺のある場所の緯度・経度」を画像処理サーバ２００へ送信する。

次に、演算部１０６は、画像処理サーバ２００から送信される所定数ｎの参考構図画像を受信したか否かを判断する（Ｓ１０２）。なお、所定数ｎは、撮像装置１００と画像処理サーバ２００との間で予め設定されていてもよいし、撮像装置１００から画像処理サーバ２００へ撮像装置１００の位置情報とともに送信されてもよい。

次に、演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、その所定数ｎの参考構図画像などを用いて撮影支援画面を作成し（Ｓ１０３）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、図４に示すように、画像処理サーバ２００から撮像装置１００へ４枚の参考構図画像１〜４が送信されると、撮影支援画面作成部１０７は、それら参考構図画像１〜４と、そのときに撮像装置１００により撮像されている画像データ（スルー画）とを用いて撮影支援画面を作成し、表示部１０２に表示させる。

なお、図３に示すフローチャートのＳ１０１及びＳ１０２は、撮影支援モードの開始する旨の指示がなくても、バックグランドで行われていてもよい。

また、スルー画のみからなる画面と、参考構図画像のみからなる撮影支援画面とを切り替えて表示部１０２に表示させてもよい。

また、スルー画と複数の参考構図画像のうちの何れかの参考構図画像とが類似したとき、その旨を撮影者に知らせるように構成してもよい。

また、撮像装置１００に受信される複数の参考構図画像のうちの一部の参考構図画像を用いた撮影支援画像を表示部１０２に表示させているとき、撮影者から他の参考構図画像を見たい旨の要求（例えば、撮影者による右送りの操作）があると、その他の参考構図画像を用いた撮影支援画像を表示部１０２に表示させるように構成してもよい。

図５は、画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。

まず、演算部２０３は、記憶部２０２に記憶される画像データベースから複数の画像情報を抽出する（Ｓ２００）。例えば、演算部２０３は、図６Ａに示すように、撮影位置情報が「地域Ａ」に属する全ての画像情報（例えば、図２に示す画像データベースの「ｉｍｇ１００」〜「ｉｍｇ１２２」）を画像データベースから取り出す。

次に、演算部２０３の特徴量算出部２０４は、取り出した複数の画像情報の各画像データの特徴量をそれぞれ算出する（Ｓ２０１）。特徴量としては、例えば、色ヒストグラム等の色情報やＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）等により求められる形状情報、又、撮影位置情報が考えられる。

次に、演算部２０３の類似画像分類部２０５は、算出した各画像データの特徴量に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類する（Ｓ２０２）。例えば、類似画像分類部２０５は、図６Ｂに示すように、Ｓ２００で読み出した複数の画像情報（ｉｍｇ１００〜ｉｍｇ１２２）を５つの類似画像群１〜５に分類する。なお、このとき利用される分類法（パターン認識手法）は、特に限定されない。例えば、類似画像分類部２０５は、Ｓ２０１で算出した各画像データの特徴量（上記色情報、形状情報、及び撮影位置情報など）に基づいて、特徴空間における各特徴量間のユークリッド距離を求め、それらユークリッド距離のうち、閾値以下のユークリッド距離同士で構成される画像情報の複数の集まりを類似画像群１〜ｍとしてもよい。

次に、演算部２０３の代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、それぞれ、代表画像情報を抽出する（Ｓ２０３）。例えば、代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、類似画像群に含まれる複数の画像情報のそれぞれの画像データの特徴量の平均を求め、その平均に最も近い特徴量の画像データに対応する画像情報を代表画像情報とする。このとき、例えば、図２に示す画像データベースのフラグ領域５３に格納されるフラグ情報を「Ｆ」から「Ｔ」に変更する。

次に、演算部２０３の参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を撮像装置１００へ送信する（Ｓ２０６）。例えば、参考構図画像抽出部２０７は、図６Ｃに示すように、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜４（所定数ｎ：４）からそれぞれ抽出し、その抽出した参考構図画像１〜４を撮像装置１００へ送信する。

なお、図５に示すフローチャートにおいて、Ｓ２０１とＳ２０２とを次の様に行ってもよい。すなわち、撮影位置情報に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類し、それら類似画像群１〜ｍにおいて、複数の画像情報の各画像データのそれぞれの特徴量に基づいて、各画像データ間の類似度を算出し、類似度が低い画像データに対応する画像情報を類似画像群から除外するように構成してもよい。

また、図５に示すフローチャートでは、Ｓ２００〜Ｓ２０３を、位置情報を受信する前に行う構成であり、撮像装置１００における位置情報の送信から画像処理サーバ２００における参考構図画像の送信までにかかる時間の短縮化を図っているが、位置情報を受信した後にＳ２００〜Ｓ２０３及びＳ２０５〜Ｓ２０６を行うように構成してもよい。

また、図５に示すフローチャートでは、Ｓ２０６において、所定数ｎの参考構図画像がまとめて画像処理サーバ２００から撮像装置１００へ送信される構成であるが、Ｓ２０６において、代表画像情報１〜ｍから参考構図画像が抽出される毎に順次、参考構図画像が画像処理サーバ２００から撮像装置１００へ送信されるように構成してもよい。

図７は、参考構図画像の抽出処理（Ｓ２０５）のさらに詳細な動作の一例を示すフローチャートである。

まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ（所定数ｎでもよい）及び撮像装置１００の位置情報を受信する（Ｓ２０５１）。

次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と代表画像情報の撮影位置情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０５２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ）とすると、撮像装置１００の位置情報と代表画像情報ｉの撮影位置情報との間のユークリッド距離ｄｉｓ１は、下記式１により求めることができる。

次に、参考構図画像抽出部２０７は、Ｓ２０５２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０５３）。

そして、参考構図画像抽出部２０７は、Ｓ２０５３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０５４）。

このように、第１実施形態の撮影支援システムでは、撮像装置１００の位置情報に基づく参考構図画像が画像処理サーバ２００から撮像装置１００へ送信され、その参考構図画像が撮像装置１００の表示部１０２に表示される構成であるため、撮影者が表示部１０２に表示される参考構図画像を参考にしながら撮影を行うことができる

また、第１実施形態の撮影支援システムでは、画像データベースから参考構図画像を抽出する際、画像データベースの複数の画像データを互いに類似している画像データ同士でまとめて複数の類似画像群をつくり、それら複数の類似画像群のそれぞれの代表画像から参考構図画像を抽出する構成であるため、参考構図画像として互いに類似しているものばかりが抽出されることを低減することができる。これにより、撮影者の撮影を支援する際、撮影者へ提示される複数の参考構図画像をできるだけ互いに類似させないようにすることができる。そのため、互いに類似した参考構図画像が撮影者へ提示される場合に比べて、撮影者に新たな「気付き」を与える機会を減らしてしまうことを低減することができる。

また、第１実施形態の撮影支援システムでは、画像処理サーバ２００において参考構図画像の抽出処理が行なわれる構成であるため、画像データベースから参考構図画像を抽出するために撮像装置１００にかかる負担を軽減することができる。

図８は、第１実施形態の撮影支援システムの変形例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。

図８に示す撮影支援システムにおいて、図１に示す第１実施形態の撮影支援システムと異なる点は、撮像装置１００にさらに姿勢取得部１０８を備えている点である。

姿勢取得部１０８は、例えば、ジャイロセンサなどにより構成され、撮像装置１００の姿勢情報（例えば、横角（ｙａｗ）、縦角（ｐｉｔｃｈ）、回転（ｒｏｌｌ））を取得する。姿勢取得部１０８により取得された姿勢情報は、通信部１０４により画像処理サーバ２００へ送信される。

図９は、参考構図画像の抽出処理（図５のＳ２０５）のさらに詳細な動作の他の例を示すフローチャートである。

まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ、姿勢情報、及び撮像装置１００の位置情報を受信する（Ｓ２０６１）。

次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と、代表画像情報の撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報の撮影姿勢情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０６２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ，ｄｃａ＿ｚ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ，ｄｉｚ）とし、撮像装置１００の姿勢情報を（ｄｃａ＿ｙａｗ，ｄｃａ＿ｐｉｔｃｈ，ｄｃａ＿ｒｏｌｌ）とし、代表画像情報ｉの姿勢情報を（ｄｉｙａｗ，ｄｉｐｉｔｃｈ，ｄｉｒｏｌｌ）とすると、撮像装置１００の位置情報と、代表画像情報ｉの撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報ｉの撮影姿勢情報との間のユークリッド距離ｄｉｓ２は、下記式２により求めることができる。なお、代表画像情報ｉの撮影姿勢情報は、例えば、図２に示す画像データベースの各画像情報の姿勢領域に格納されているものとする。

次に、参考構図画像抽出部２０７は、Ｓ２０６２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０６３）。

そして、参考構図画像抽出部２０７は、Ｓ２０６３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０６４）。

このように、第１実施形態の撮影支援システムの変形例の撮影支援システムでは、代表画像情報１〜ｍから参考構図画像を抽出する際、撮像装置１００の位置情報の他にさらに撮像装置１００の姿勢情報も考慮することにより、撮像装置１００が現在取得している画像データの構図により近い構図の参考構図画像を代表画像情報１〜ｍから抽出することができる。

図１０は、第２実施形態の撮影支援システムの一例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。

図１０に示す撮影支援システムにおいて、図１に示す撮影支援システムと異なる点は、画像処理サーバ２００の演算部２０３がさらに優先度設定部２０８（優先度設定手段）を備えている点である。なお、優先度設定部２０８は、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されることにより構成されてもよい。

優先度設定部２０８は、代表画像抽出部２０６で抽出された各代表画像情報にそれぞれ優先度を設定する。

図１１は、第２実施形態の撮影支援システムにおける撮像装置１００の演算部１０６の動作を説明するためのフローチャートである。なお、図１１に示すＳ１００〜Ｓ１０２の処理は、図３に示すＳ１００〜Ｓ１０２の処理と同様であるため、説明を省略する。

演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、それら参考構図画像の優先度を考慮しつつ、それら参考構図画像を用いて撮影支援画面を作成し（Ｓ１０３１）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、撮影支援画面作成部１０７は、図１２に示すように、右から左へ優先度の高い順に参考構図画像１〜４を並べることにより撮影支援画面を作成してもよい。また、例えば、撮影支援画面作成部１０７は、図１３に示すように、参考構図画像１〜４にそれぞれ優先度を示す優先度メータ１３０を重ねて表示してもよい。なお、優先度メータ１３０の斜線部分が大きい程、優先度が高いことを示しているものとする。また、他にも、優先度に応じて各参考構図画像のそれぞれの表示サイズを変更したり、優先度メータ１３０以外の優先度を示すエフェクトを撮影支援画面に表示したりしてもよい。

図１４は、第２実施形態の撮影支援システムにおける画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。なお、図１４に示すＳ２００〜Ｓ２０３の処理は、図５に示すＳ２００〜Ｓ２０３の処理と同様であるため、説明を省略する。

優先度設定部２０８は、Ｓ２０３で抽出した代表画像情報１〜ｍにそれぞれ優先度を設定する（Ｓ２０３１）。例えば、優先度設定部２０８は、類似画像分類部２０５で分類される類似画像群に含まれる画像情報（画像データ）が多い程、その類似画像群から抽出された代表画像情報の優先度を高くする。すなわち、例えば、類似画像群ｉ（ｉ：１〜ｍ）に含まれる画像情報の数をｘとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式３により求めることができる。なお、Ｃ１は所定の係数とする。また、代表画像情報ｉの優先度ｐｉは、例えば、図２に示す画像データベースの各画像情報の優先度領域に格納されているものとする。

ｐｉ＝Ｃ１ｘ・・・式３

次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、その位置情報に基づいて参考構図画像を代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を優先度とともに撮像装置１００へ送信する（Ｓ２０６）。

このように、第２実施形態の撮影支援システムでは、類似画像群に含まれる画像情報が多い程、その類似画像群から抽出される代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図の画像データを参考構図画像として撮影者に提示することができる。

なお、優先度設定部２０８は、Ｓ２０５で抽出した参考構図画像の撮影位置情報が撮像装置１００の位置情報に近い程、その参考構図画像に対応する代表画像情報の優先度をさらに高くしてもよい。すなわち、例えば、撮像装置１００の位置ベクトルをｄｃａ、代表画像情報ｉの位置ベクトルをｄｉ、更新前の代表画像情報ｉの優先度をｐｉｏｌｄとすると、更新後の代表画像ｉの優先度ｐｉは、下記式４により求めることができる。なお、Ｃ２は（ｄｃａ−ｄｉ）が小さくなる程、値が大きくなるような所定の係数ベクトルとする。

ｐｉ＝Ｃ２（ｄｃａ−ｄｉ）Ｐｉｏｌｄ・・・式４

このように、撮像装置１００の位置情報に近い程、代表画像情報の優先度を高くすることで、より高精度に撮影者が所望とする参考構図画像を撮影者に提示することができる。

図１５は、第２実施形態の撮影支援システムの変形例を示す図である。なお、図１０に示す構成と同じ構成には同じ符号を付している。

図１５に示す撮影支援システムにおいて、図１０に示す撮影支援システムと異なる点は、撮像装置１００で現在撮像されている画像データ（スルー画）を画像処理サーバ２００へ送信し、その画像データを用いて優先度設定部２０８が優先度を設定する点である。

図１６は、図１０に示す撮影支援システムにおける優先度設定部２０８の動作を説明するためのフローチャートである。なお、図１６に示すフローチャートは、例えば、図１４のＳ２０３１において行われるものとする。

まず、優先度設定部２０８は、撮像装置１００から送信されるスルー画を受信し（Ｓ１６０１）、そのスルー画の特徴量を算出する（Ｓ１６０２）。

次に、優先度設定部２０８は、その算出した特徴量に基づいて、スルー画と代表画像情報の画像データとの類似度を、代表画像情報１〜ｍそれぞれにおいて算出し（Ｓ１６０３）、その算出した各類似度に基づいて、代表画像情報１〜ｍのそれぞれの優先度を設定する（Ｓ１６０４）。

例えば、撮像装置１００の位置ベクトルｄｃａと代表画像情報ｉの位置ベクトルｄｉとにより撮像装置１００と代表画像情報との距離を算出するための関数をＦ１、スルー画の特徴量ｆｃａと代表画像情報ｉの画像データの特徴量ｆｉとによりスルー画と代表画像情報ｉの画像データとの類似度を算出するための関数をＦ２、類似画像群ｉに含まれる画像情報の数をｘｉとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式５により求めることができる。なお、Ｃ１は所定の係数とし、Ｃ２及びＣ３は所定の係数ベクトルとする。

ｐｉ＝Ｃ１ｘｉ・Ｃ２Ｆ１（ｄｃａ，ｄｉ）・Ｃ３Ｆ２（ｆｃａ，ｆｉ）・・・式５

このように、図１０に示す第２実施形態の撮影支援システムでは、撮像装置１００の位置情報と代表画像情報の撮影位置情報とが近い程、かつ、スルー画と代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図で、かつ、撮影者が所望する構図に近い画像データを参考構図画像として撮影者に提示することができる。

図１７は、本発明の実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。

図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成（特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７）を撮像装置１００の演算部１０６に含めていることを特徴とする。なお、記憶部２０２は、撮像装置１００が外部のコンピュータに接続された場合、そのコンピュータに備えられる記憶部としてもよい。

このように構成することにより、撮像装置１００に通信機能を備える必要がなくなる。

なお、図１７に示す撮像装置１００は、演算部１０６に特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７を備える構成であるが、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６を画像処理サーバ２００の演算部２０３に備え、参考構図画像抽出部２０７のみを演算部１０６に備えるように構成してもよい。この場合、記憶部２０２には、代表画像抽出部２０６で抽出された代表画像情報が記憶されていてもよい。これにより、記憶部２０２の容量を抑えることができる。

また、図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成を図１に示す撮像装置１００の演算部１０６に含めているが、図８に示す画像処理サーバ２００の演算部２０３の構成を図８に示す撮像装置１００の演算部１０６に含めてもよいし、図１０に示す画像処理サーバ２００の演算部２０３の構成を図１０に示す撮像装置１００の演算部１０６に含めてもよいし、図１５に示す画像処理サーバ２００の演算部２０３の構成を図１５に示す撮像装置１００の演算部１０６に含めてもよい。

図１８は、本発明の第３実施形態の撮影支援システムを示す図である。図１に示す構成と同じ構成には同じ符号を付している。

図１８に示す撮影支援システムは、撮像装置１００や画像処理サーバ２００の他に、撮像装置１００や画像処理サーバ２００とデータの送受信を行う画像管理サーバ３００を備えていることを特徴とする。

撮像装置１００は、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。また、画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（第１の記憶手段）と、演算部２０３とを備える。また、画像管理サーバ３００は、通信部３０１（第３の通信手段）と、記憶部３０２（第２の記憶手段）と、演算部３０３とを備える。

画像管理サーバ３００の演算部３０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部３０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像管理サーバ３００全体の動作制御を行う。また、演算部３０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、及び代表画像抽出部２０６（代表画像抽出手段）を備える。例えば、記憶部３０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部３０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、及び代表画像抽出部２０６が構成されるものとする。すなわち、特徴量算出部２０４は、記憶部３０２に記憶されている画像データベース（例えば、図２に示す画像データベース）から複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。次に、類似画像分類部２０５は、それら各特徴量に基づいて、読み出した複数の画像情報を複数の類似画像群１〜ｍに分類する。そして、代表画像抽出部２０６は、それら類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。

通信部３０１は、代表画像抽出部２０６で抽出された代表画像１〜ｍを画像処理サーバ２００へ送信する。画像処理サーバ２００の通信部２０１は、画像管理サーバ３００から送信される代表画像１〜ｍを受信する。画像処理サーバ２００の演算部２０３は、通信部２０１で受信された代表画像１〜ｍを記憶部３０２に記憶する。また、画像処理サーバ２００の参考構図画像抽出部２０７は、記憶部２０２に記憶されている代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。

このように、記憶部３０２に記憶されている複数の画像情報から代表画像１〜ｍを抽出するまでの処理を画像管理サーバ３００で行い、その代表画像１〜ｍを画像処理サーバ２００の記憶部２０２に記憶しておき、画像処理サーバ２００において参考構図画像の抽出処理のみを行うようにしている。これにより、「撮影支援処理」を行う際に画像処理サーバ２００にかかる負担を軽減することができる。また、画像処理サーバ２００の記憶部２０２の記憶容量を低減することができる。

なお、参考構図画像抽出部２０７は、図８に示す撮像装置１００の姿勢取得部１０８で取得される姿勢情報も考慮して、代表画像１〜ｍから所定数ｎの参考構図画像を抽出してもよい。また、画像管理サーバ３００の演算部３０３は、図１０や図１５に示す優先度設定部２０８も備えるように構成してもよい。

１００撮像装置
１０１撮像部
１０２表示部
１０３撮影位置取得部
１０４通信部
１０５記憶部
１０６演算部
１０７撮影支援画面作成部
１０８姿勢取得部
２００画像処理サーバ
２０１通信部
２０２記憶部
２０３演算部
２０４特徴量算出部
２０５類似画像分類部
２０６代表画像抽出部
２０７参考構図画像抽出部
２０８優先度設定部

Claims

画像データおよび前記画像データの撮影位置情報を各々含む複数の画像情報を記憶する、記憶手段、
前記記憶手段から前記複数の画像情報を読出して処理し、参考構図画像を出力する、演算部、
質問撮影位置情報を受信し、前記参考構図画像を送信する、通信部
を有し、
前記演算部は、
前記画像データの特徴量を各々算出し、
前記特徴量に基づいて前記複数の画像情報を複数の類似画像群に分類し、
前記複数の類似画像群から複数の代表画像情報を各々抽出し、
前記質問撮影位置情報に近い前記撮影位置情報に対応する前記画像データを前記参考構図画像として前記複数の代表画像情報から抽出する
画像処理サーバ。
前記参考構図画像が複数存在する
請求項１に記載の前記画像処理サーバ。
複数の画像情報は各々、前記画像データが撮影された際の撮像装置の姿勢情報を更に含み、
前記通信部は、質問姿勢情報を受信し、
前記演算部は、前記質問撮影位置情報に近い前記撮影位置情報であり、前記質問姿勢情報に近い前記姿勢情報に対応する前記画像データを前記参考構図画像として前記複数の代表画像情報から抽出する
請求項１に記載の前記画像処理サーバ。
前記演算部は、前記類似画像群に含まれる画像情報が多い程、その類似画像群から抽出された前記代表画像情報の優先度を高く設定し、
前記通信部は、前記優先度に基づく情報を送信する
請求項２に記載の前記画像処理サーバ。
前記演算部は、前記代表画像情報の前記撮影位置情報が前記質問撮影位置情報に近い程、その前記代表画像情報の優先度を高く設定し、
前記通信部は、前記優先度に基づく情報を送信する
請求項２に記載の前記画像処理サーバ。
前記通信部は、質問画像データを受信し、
前記演算部は、前記質問画像データと前記代表画像情報の前記画像データとの類似度が高い程、その前記代表画像情報の優先度をさらに高く設定し、
前記通信部は、前記優先度に基づく情報を送信する
請求項２に記載の前記画像処理サーバ。
画像データおよび前記画像データの撮影位置情報を各々含む複数の画像情報を記憶する、記憶手段、前記記憶手段から前記複数の画像情報を読出して処理し、参考構図画像を出力する、演算部、質問撮影位置情報を受信し、前記参考構図画像を送信する、通信部を有し、前記演算部は、前記画像データの特徴量を各々算出し、前記特徴量に基づいて前記複数の画像情報を複数の類似画像群に分類し、前記複数の類似画像群から複数の代表画像情報を各々抽出し、前記質問撮影位置情報に近い前記撮影位置情報に対応する前記画像データを前記参考構図画像として前記複数の代表画像情報から抽出する画像処理サーバと通信する撮像装置であって、
質問画像データを作成する、撮像部、
前記質問画像データが撮影されたときに、前記質問撮影位置情報を作成する、撮影位置取得部、
前記質問撮影位置情報を送信し、前記参考構図画像を受信する、通信部、
前記参考構図画像を表示する表示部、
を有する前記撮像装置。
前記撮像部は、スルー画像データを更に生成し、
前記スルー画像データと前記参考構図画像の両方に基づく撮影支援画面を前記表示部に表示させる、演算部を更に有する
請求項７に記載の前記撮像装置。