JP5428821B2 - 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム - Google Patents

解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム Download PDF

Info

Publication number
JP5428821B2
JP5428821B2 JP2009282406A JP2009282406A JP5428821B2 JP 5428821 B2 JP5428821 B2 JP 5428821B2 JP 2009282406 A JP2009282406 A JP 2009282406A JP 2009282406 A JP2009282406 A JP 2009282406A JP 5428821 B2 JP5428821 B2 JP 5428821B2
Authority
JP
Japan
Prior art keywords
imaging
information
subject
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009282406A
Other languages
English (en)
Other versions
JP2011124896A (ja
Inventor
健治 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009282406A priority Critical patent/JP5428821B2/ja
Publication of JP2011124896A publication Critical patent/JP2011124896A/ja
Application granted granted Critical
Publication of JP5428821B2 publication Critical patent/JP5428821B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)

Description

本発明は、撮像画像が撮像された際の撮像位置情報と撮像関連情報とを用いて、被写体の存在位置の特定を行う解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システムに関する。
一般に、デジタルカメラ等の撮像装置で撮像される撮像画像の画像データは、EXIF(EXchangeable Image File Format)ファイル形式が用いられる。EXIFファイル形式の画像データには、撮像画像のみならず、例えば、フラッシュの有無や焦点距離などの多様な情報を付加することができる。そこで、当該撮像画像に付加される情報を利用して、撮像画像の付加価値を向上させるための解析処理やデジタルカメラのユーザに新たなサービスを提供するための解析処理を行う解析装置を、撮像装置又は撮像装置から画像データを入力可能なサーバ装置に組み込み、当該処理が実行されている。
このような処理を行う撮像装置として、例えば、撮像画像の撮像位置を特定可能なGPS(Global Positioning System)情報を画像データに付加して複数記録しておき、複数の撮像画像それぞれの撮像位置に基づいて撮像画像をグループ化する処理を行い、各グループの代表位置を地図上に識別表示させるものが知られている(特許文献1等参照)。
特開2005−181393号公報 上記特許文献1記載の撮像装置によると、グループの代表位置が地図上に表示されるので、ユーザは、撮像された回数が多い場所を視認して、人気のある撮像位置(撮像スポット)を知ることが出来る。
しかしながら、上記特許文献1記載の撮像装置が行う処理により、ユーザは人気のある撮像位置を知ることが可能となるが、当該撮像位置にて撮像対象となった被写体については知ることが出来ない。つまり、ユーザは、人気のある撮像位置だけを知っていても、当該撮像位置にて何が被写体として人気を博しているのかを把握することが出来ない。
そこで、本発明の課題は、複数の撮像画像に亘って頻繁に撮像対象となった被写体を推定できる解析装置、撮像装置、サーバ装置、解析方法、プログラム、解析システムを提供することにある。
以上の課題を解決するため、請求項1に記載の発明は、撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像に含まれる被写体の存在する領域を画像データごとに推定し、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御部を備え、前記撮像関連情報は、前記撮像画像が撮像された際の被写界深度情報を含み、前記制御部は、前記焦点距離情報と前記被写界深度情報とを用いて、前記被写体の存在する領域を推定することを特徴とする。
請求項2に記載の発明は、請求項1に記載の解析装置において、前記制御部は、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、領域同士の重ね合わさる数を前記重ね合わせ度合いとして用いることを特徴とする。
請求項3に記載の発明は、請求項1又は2に記載の解析装置において、前記撮像関連情報は、更に、前記撮像画像が撮像された際の撮像画角情報を含み、前記制御部は、前記焦点距離情報と前記被写界深度情報、または前記撮像方向情報と前記撮像画角情報とを用いて、前記被写体の存在する領域を推定することを特徴とする。
請求項4に記載の発明は、請求項1又は2に記載の解析装置において、前記制御部は、前記焦点距離情報と前記被写界深度情報とを用いて推定された領域と、前記焦点距離情報と前記被写界深度情報とを用いて推定された領域との重ね合わせにより、前記被写体の存在する領域を推定することを特徴とする。
請求項5に記載の発明は、解析装置において、撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像の各位置に対して被写体の存在する確率を推定した確率分布を前記画像データごとに生成し、前記生成した画像データごとの確立分布を同一平面上に重ね合わせ、当該重ね合わせた際の平面上の各位置における被写体の存在する確率を重ね合わせ度合いとして算出し、当該重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御部を備えることを特徴とする。
請求項6に記載の発明は、請求項1〜5の何れか1項に記載の解析装置において、前記撮像関連情報は、前記撮像画像が撮像された際の時間情報を含み、前記制御部は、前記時間情報に基づいて、前記被写体の存在位置を時間帯、月日、又は季節ごとに特定することを特徴とする。
請求項7に記載の発明は、請求項1〜5の何れか1項に記載の解析装置において、前記制御部は、前記重ね合わせ度合いが所定値以上となる箇所を複数抽出し、当該抽出した複数の箇所を前記重ね合わせ度合いの高い順から順位付けし、前記被写体の存在位置として複数特定することを特徴とする。
請求項8に記載の発明は、撮像装置において、請求項1〜7の何れか1項に記載の解析装置を組み込んだことを特徴とする。
請求項9に記載の発明は、請求項8に記載の撮像装置において、画像を表示する表示部と、地図画像を記憶する記憶部と、を備え、前記制御部は、前記記憶部に記憶された地図画像に前記特定した被写体の存在位置を対応付け、前記地図画像上の前記被写体の存在位置を前記表示部で案内表示する制御を行うことを特徴とする。
請求項10に記載の発明は、請求項8に記載の撮像装置において、前記撮像画像を撮像する撮像部と、前記撮像部により撮像された撮像画像をスルー画像として連続表示する表示部と、を備え、前記制御部は、前記特定した被写体の存在位置に基づいて前記スルー画像中に前記特定した被写体が含まれるか否かを判断し、前記スルー画像中に前記特定した被写体が含まれると判断される場合に前記スルー画像上の前記被写体の存在位置を前記表示部で案内表示する制御を行うことを特徴とする。
請求項11に記載の発明は、請求項1〜7の何れか1項に記載の解析装置を組み込んだサーバ装置において、前記画像データを生成する撮像装置とネットワークを介して接続されており、前記ネットワークを介して前記撮像装置とデータの送受信を行う送受信部を備え、前記制御部は、前記撮像装置にて生成された画像データを前記送受信部を介して入力し、当該入力した画像データに基づいて前記被写体の存在位置を特定して存在位置データを生成し、当該生成した存在位置データを前記撮像装置に前記送受信部を介して送信する制御を行うことを特徴とする。
請求項12に記載の発明は、請求項11に記載のサーバ装置と、前記画像データを生成する撮像装置と、がネットワークを介して接続された解析システムにおいて、前記撮像装置は、生成した画像データを前記サーバ装置に送信する送信部と、前記サーバ装置の前記送受信部を介して送信される存在位置データを受信する受信部と、前記受信部にて受信した存在位置データに基づいて前記被写体の存在位置をユーザに報知する報知部と、を備えることを特徴とする。
請求項13に記載の発明は、解析装置による解析方法であって、撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像に含まれる被写体の存在する領域を画像データごとに推定し、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御処理を含み、前記撮像関連情報は、前記撮像画像が撮像された際の被写界深度情報を含み、前記制御処理は、前記焦点距離情報と前記被写界深度情報とを用いて、前記被写体の存在する領域を推定することを特徴とする。
請求項14に記載の発明は、コンピュータを制御するプログラムであって、コンピュータを、撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像に含まれる被写体の存在する領域を画像データごとに推定し、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御手段として機能させ、前記撮像関連情報は、前記撮像画像が撮像された際の被写界深度情報を含み、前記制御手段は、前記焦点距離情報と前記被写界深度情報とを用いて、前記被写体の存在する領域を推定することを特徴とする。
請求項15に記載の発明は、解析装置による解析方法であって、撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像の各位置に対して被写体の存在する確率を推定した確率分布を前記画像データごとに生成し、前記生成した画像データごとの確立分布を同一平面上に重ね合わせ、当該重ね合わせた際の平面上の各位置における被写体の存在する確率を重ね合わせ度合いとして算出し、当該重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御処理を含むことを特徴とする。
請求項16に記載の発明は、コンピュータを制御するプログラムであって、コンピュータを、撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像の各位置に対して被写体の存在する確率を推定した確率分布を前記画像データごとに生成し、前記生成した画像データごとの確立分布を同一平面上に重ね合わせ、当該重ね合わせた際の平面上の各位置における被写体の存在する確率を重ね合わせ度合いとして算出し、当該重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御手段として機能させることを特徴とする。
したがって、本発明は、複数の撮像画像に亘って頻繁に撮像対象となった被写体を推定できる解析装置、撮像装置、サーバ装置、解析方法、プログラム、解析システムを提供できる。
本発明の実施形態1における撮像装置の要部構成を示すブロック図である。 本発明に係る撮像関連情報を用いて推定される被写体の存在する領域を説明するための図であり、(i)は、撮像関連情報に撮像方向情報、焦点距離情報、撮像画角情報、被写界深度情報が含まれる場合を、(ii)は、撮像関連情報に撮像方向情報、撮像画角情報が含まれる場合を、(iii)は、撮像関連情報に焦点距離情報、被写界深度情報が含まれる場合を、それぞれ示す。 本発明に係る画像データごとの被写体の存在する領域を同一平面上に重ね合わせた状態を例示する図であり、(i)は図2(ii)に示される領域を複数重ね合わせた場合を、(ii)は図2(iii)に示される領域を複数重ね合わせた場合を、それぞれ示す。 本発明に係る地図画像上の被写体の存在位置を表示部に表示した状態を模式的に示す図である。 本発明に係るスルー画像上の被写体の存在位置を表示部に表示した状態を模式的に示す図である。 本発明の実施形態1における存在位置特定処理を説明するためのフローチャートである。 本発明の実施形態2における解析システムの要部構成を示すブロック図である。 本発明に係る画像データごとの被写体の存在する領域を同一平面上に重ね合わせた状態を例示する図である。 本発明の実施形態2における存在位置特定処理を説明するためのフローチャートである。 本発明の変形例1における被写体の存在位置を特定する処理を説明するための図であり、(i)は撮像画像における被写体の存在位置の確率分布を例示し、(ii)は画像データごとの確率分布を同一平面上に重ね合わせた状態を例示する。
以下、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は図示例に限定されない。
(実施形態1)
本実施形態に係る撮像装置1は、被写体をデジタル形式の撮像画像として撮像するデジタルカメラ等である。そして、撮像装置1は、図1に示される、制御部10で構成される解析装置を組み込み、撮像部20と、画像処理部30と、位置検出部40と、方向検出部50と、表示部60と、計時部70と、操作部80と、記憶部90と、を含んで構成される。
撮像部20は、被写体を撮像して撮像画像を生成する。具体的には、撮像部20は、図示は省略するが、撮像レンズ部、絞り機構、電子撮像部、撮像処理部等から構成されている。
撮像レンズ部は、ズームレンズやフォーカスレンズ等を備え、被写体からの光を電子撮像部に結像させる。また、撮像レンズ部は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
絞り機構は、撮像レンズ部を介した光を制御部10で制御される絞り値で絞り、露出を調整する。
電子撮像部は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal−oxide Semiconductor)等から構成され、撮像レンズ部の各種レンズや絞り機構を通過した被写体像を二次元の画像信号に変換する。
撮像処理部は、図示は省略するが、例えば、タイミング発生器、垂直ドライバなどを備えている。そして、撮像処理部は、タイミング発生器、垂直ドライバにより電子撮像部を走査駆動させて、所定周期毎に被写体像を電子撮像部で二次元の画像信号に変換させ、当該電子撮像部の撮像領域から1画面分ずつ画像フレームを読み出して画像処理部30に出力する。
画像処理部30は、撮像部20(撮像処理部)から転送された画像フレームに基づいて、画質調整処理や解像度変換処理や画像圧縮処理等を行って表示用の撮像画像や記録用の撮像画像を生成する。具体的には、画像処理部30は、撮像処理部から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示省略)でサンプルホールドして、A/D変換器(図示省略)でデジタルデータに変換する。そして、画像処理部30は、当該デジタルデータに対してカラープロセス回路(図示省略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Crを生成する。当該カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、DMAコントローラ(図示省略)を介して、制御部10のメモリ部12にDMA転送される。
位置検出部40は、ユーザが撮像装置1により撮像画像を撮像する際の位置に係る撮像位置を検出する。具体的には、位置検出部40は、地球低軌道に打ち上げられた複数のGPS衛星から送信されるGPS信号(例えば、アルマナック(概略軌道情報)やエフェメリス(詳細軌道情報)など)をGPSアンテナ(図示省略)により受信する。そして、位置検出部40は、当該受信したGPS信号に基づいて、撮像画像を撮像する際の絶対的な2次元の現在位置(緯度、経度)を測位することで、撮像位置を検出する。
方向検出部50は、ユーザが撮像装置1により撮像画像を撮像する際の、撮像方向を検出する。具体的には、方向検出部50は、デジタルコンパス(図示省略)と、加速度センサや傾きセンサ等からなるジャイロセンサ(図示省略)と、含んで構成される。そして、方向検出部50は、デジタルコンパスにより地磁気を検知して撮像装置1の撮像時における方位を測位する。さらに、方向検出部50は、ジャイロセンサにより、当該デジタルコンパスより測位される方位の変化量を漸次検出して、測位される方位に検出された変化量を増減する補正を行い、当該補正された方位を撮像方向として検出する。
つまり、方向検出部50は、デジタルコンパスによる測位量をジャイロセンサで補正することで、撮像時における撮像方向のリアルタイムな変化に対する、デジタルコンパスによる検出時の応答の遅れを相殺し、正確な撮像方向を検出している。
表示部60は、メモリ部12に一時的に記憶される、又は記憶部90に記憶されるデータを読み出して、撮像部20により撮像された撮像画像や地図画像等を表示画面に表示する。具体的には、表示部60は、図示は省略するが、デジタルビデオエンコーダ等を備え、CPU11の制御下にて入力された画像データにエンコード処理を施してビデオ信号を発生させ、当該ビデオ信号に基づいて画像を表示画面に表示する。また、表示部60は、撮像モードにて、撮像部20により撮像された複数の画像フレームに基づく撮像画像をスルー画像として連続的に表示画面に表示する。
計時部70は、制御部10からの制御信号に基づいて、現在の年月日や時刻を取得し、時間情報として制御部10に出力する。
操作部80は、各種操作用のボタンやスイッチ等を含んでなる。そして、操作部80は、ユーザが当該ボタンやスイッチを押下した際に、押下操作による操作内容に応じた操作信号を制御部10に対して出力するように構成されている。そのため、当該操作信号を入力した制御部10により、操作内容に応じた各種制御処理が実行される。
記憶部90は、HDD(Hard Disk Drive)等で構成される。そして、記憶部90は、後述するCPU11の画像データ生成プログラムの実行時に生成される画像データをEXIFファイル形式にて複数記憶する。また、記憶部90は、緯度及び経度の情報を含む地図画像のデータを記憶する。
制御部10は、CPU(Central Processing Unit)11と、メモリ部12と、を含んで構成され、撮像装置1の各部を統括制御する。具体的には、制御部10は、ユーザによる操作部80を用いたズーム倍率の調整操作やフォーカス位置の調整操作に応じたズーム駆動部及び合焦駆動部の駆動制御、表示部60での地図画像の表示操作や撮像モードの起動操作に応じた表示制御、などを行う。
CPU11は、メモリ部12に記憶された撮像装置1用の各種処理プログラムに従って各種の制御動作を行う。
メモリ部12は、CPU11によって処理されるデータ等を一時的に記憶するためのバッファメモリや、CPU11の実行に係る各種プログラムやデータを記憶するためのプログラムメモリで構成される。そして、メモリ部12に記憶されるプログラムとしては、画像データ生成プログラム、推定プログラム、特定プログラム、地図画像表示制御プログラム、スルー画像表示制御プログラム、等がある。
次に、メモリ部12に記憶された各種プログラムについて説明する。
画像データ生成プログラムは、撮像部20にて撮像された撮像画像に、当該撮像画像に対応する撮像位置情報及び撮像関連情報を付加した画像データを生成する機能をCPU11に実行させるプログラムである。
具体的には、撮像部20にて撮像され、画像処理部30を介して生成される撮像画像が制御部10に対して入力されると、CPU11は画像データ生成プログラムを実行し、撮像部20にて撮像された際の撮像位置情報及び撮像関連情報を取得する。ここで、撮像関連情報は、CPU11が後述の推定プログラムを実行する際に、撮像位置情報とともに、撮像画像に含まれる被写体の存在する領域を推定するために使用する情報である。そして、撮像関連情報は、撮像方向情報、焦点距離情報、撮像画角情報、被写界深度情報、時間情報等を含む。なお、焦点距離情報は、撮像部20における、フォーカスレンズの主点と電子撮像部(CCDやCMOS)の受光面との間の距離(フォーカス距離F)に関する情報である。撮像画角情報は、撮像部20による撮像範囲を示し、上記フォーカス距離やズーム倍率等で定まる撮像画角の情報である。被写界深度情報は、被写体に対してフォーカスを合わせたときに、このフォーカスを合わせた点の前後のフォーカスが合うように見える範囲を示す被写界深度の情報である。
そして、CPU11は、撮像部20にて撮像画像が撮像された際の、位置検出部40により検出される撮像位置P、方向検出部50により検出される撮像方向D、計時部70より出力される時間情報を入力することにより、撮像位置情報、撮像方向情報、時間情報を取得する。また、CPU11は、撮像部20にて撮像画像が撮像された際に、合焦駆動部及びズーム駆動部へ出力した駆動制御信号に基づいてフォーカス距離F及び撮像画角Θを算出し、焦点距離情報及び撮像画角情報を取得する。さらに、CPU11は、撮像部20にて撮像画像が撮像された際の、絞り機構の絞り値を入力し、当該絞り値や上記取得したフォーカス距離F等に基づいて被写界深度Tを算出し、被写界深度情報を取得する。
CPU11は、上記取得した撮像位置情報及び撮像関連情報を撮像画像に対応付け、画像データとして記憶部90に記憶する。
推定プログラムは、記憶部90に記憶された画像データを複数入力し、撮像画像に含まれる被写体の存在する領域を、画像データごとに推定する機能をCPU11に実行させるプログラムである。
具体的には、CPU11が推定プログラムを実行すると、記憶部90に記憶された画像データを読み込み、撮像位置情報及び撮像関連情報を抽出する。そして、CPU11は、それぞれ、撮像位置情報、撮像方向情報、撮像画角情報、焦点距離情報、被写界深度情報に対応する、撮像位置P、撮像方向D、撮像画角Θ、フォーカス距離F、被写界深度T、に基づいて、図2(i)に示すような、当該画像データの撮像画像に含まれる被写体の存在する領域Kの推定を行う。具体的には、CPU11は、撮像方向Dを中心とする撮像画角Θ分の角度変化量に基づいて、撮像位置Pから見た被写体の存在する放射状の領域(直線L1と直線L2で囲まれる領域)を推定する。さらに、CPU11は、フォーカス距離F及びフォーカス距離Fに対する絞りT分の直線変化量に基づいて、撮像位置Pから被写体までのおおよその距離幅を推定し、上記推定した放射状の領域と組み合わせて領域Kの推定を行う。CPU11は、この領域Kの推定を記憶部90に記憶された画像データごとに行う。
ここで、領域Kの推定には、必ずしも撮像方向情報、撮像画角情報、焦点距離情報、被写界深度情報の全てが、画像データ生成プログラムの実行時に取得されている必要はない。
例えば、図2(ii)に示すように、撮像方向情報及び撮像画角情報(撮像方向D及び撮像画角Θ)に基づいて、CPU11が、撮像位置Pから見た放射状の領域を被写体の存在する領域Kとして推定しても良い。さらに、撮像画角情報が取得されない場合でも、CPU11が、撮像レンズ部(ズームレンズ)に一般的な標準サイズのレンズが搭載されているとの仮定の下で撮像画角Θ0を導出し、当該撮像画角Θ0と撮像方向Dとにより放射状の領域Kを推定することも可能である。
また、図2(iii)に示すように、焦点距離情報、被写界深度情報(フォーカス距離F及び被写界深度T)に基づいて、CPU11が、撮像位置Pから被写体までのおおよその距離幅を推定し、当該距離幅に対応する撮像位置Pを中心とした環状領域を領域Kとして推定してもよい。この場合も、被写界深度情報が取得されていなくとも、CPU11が、絞り値の標準値や初期設定値等を用いて被写界深度T0を導出し、当該被写界深度T0とフォーカス距離Fとにより領域Kを推定することも可能である。
以上により、CPU11は、撮像装置1が撮像関連情報の一部のみを取得出来る構成である場合や、ユーザの設定により取得出来る撮像関連情報が一部制限される場合でも、領域Kの推定が可能である。
特定プログラムは、推定プログラムの実行により推定された画像データごとの領域Kを同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を被写体の存在位置として特定する機能をCPU11に実行させるプログラムである。
具体的には、CPU11が特定プログラムを実行すると、図3(i)(ii)に示すように、推定プログラムの実行により推定された画像データごとの領域Kを同一平面上に重ね合わせる。ここで、図3(i)(ii)に示す領域K1,K2,K3は、複数の画像データのそれぞれの撮像位置P1、P2、P3に対応した領域である。そして、CPU11は、当該重ね合わせた際の重ね合わさる箇所ごとに重ね合わせ度合い(領域K1,K2,K3が重ね合わさる数であり、図3(i)(ii)に示すI〜III)を計数する。さらに、CPU11は、計数した重ね合わせ度合いが所定値以上の箇所(例えば、図3(i)(ii)において、重ね合わせ度合いが最も高いIIIの箇所)の緯度及び経度を撮像関連情報に基づいて算出し、当該算出した緯度及び経度により被写体の存在位置を特定する。上記のように重ね合わせ度合いが所定値以上となる箇所は、被写体が存在すると推定される領域が複数の画像データに亘って重複する箇所であるため、人気のある又は撮像装置1のユーザが頻繁に撮像する被写体の存在位置である可能性が高いと推測される。
なお、CPU11は、算出した重ね合わせ度合いが所定値以上となる箇所を複数抽出し(例えば、図3(i)(ii)における重ね合わせ度合いが2及び3であるII及びIIIの箇所)、重ね合わせ度合いの高い順から順位付けをして、被写体の存在位置として複数を特定してもよい。
また、CPU11は特定プログラムを実行する際に、画像データの時間情報を用いて、時間帯、月日、又は季節単位ごとの重ね合わせ度合いを算出することで、時間帯、月日、又は季節に応じた被写体の存在位置を特定することができる。これにより、CPU11は、例えば、夕焼けや夜景、特定の祭日に催される行事、夏空や冬景色などの様に、時間帯、月日、又は季節ごとに変遷する被写体の人気度合いを考慮した存在位置の特定が可能となる。
地図画像表示制御プログラムは、記憶部90に記憶された地図画像に、特定プログラムの実行時に特定された被写体の存在位置を対応付け、地図画像上の被写体の存在位置を表示部60で案内表示する機能をCPU11に実行させるプログラムである。
具体的には、CPU11が地図画像表示制御プログラムを実行すると、記憶部90より地図画像のデータを読み出し、特定プログラムの実行時に特定した被写体の存在位置の緯度及び経度から、読み出した地図画像上における被写体の存在位置を特定する。そして、CPU11は、図4の星形S1に示されるように、表示部60の表示画面上に地図画像を表示させる際に、当該特定した存在位置S(S1)を、位置検出部40より検出される現在位置Cと対応付けて案内表示する。また、CPU11は、特定プログラムの実行時に被写体の存在位置を複数特定した場合、図4の星形S1,三角形S2,円形S3で示されるように、各々の位置に割り振られた順位に基づいて、表示画面上での大きさや形状を相違させて各々の存在位置S(S1,S2,S3)を案内表示する。さらに、CPU11は、時間帯、月日、又は季節に応じた被写体の存在位置を特定した場合、計時部70より現在の時間情報を取得して、当該時間情報に対応する時間帯、月日、又は季節に応じた被写体の存在位置を抽出し、抽出された存在位置を現在の時間帯,月日,季節T1とともに地図画像上に案内表示する。
スルー画像表示制御プログラムは、表示部60に表示されるスルー画像に、特定プログラムの実行時に特定された被写体の存在位置を対応付け、スルー画像上の被写体の存在位置を表示部60で案内表示する機能をCPUに実行させるプログラムである。
具体的には、CPU11がスルー画像表示制御プログラムを実行すると、ユーザが撮像モードを選択し、撮像部20によりスルー画像としての撮像画像が撮像される都度、位置検出部40及び方向検出部50により現在の撮像位置及び撮像方向を検出するとともに撮像画角を算出する。CPU11は、上記検出/算出した現在の撮像位置、撮像方向、撮像画角に基づいて、特定プログラムの実行時に特定された被写体の存在位置が現在の撮像画角内に存在しているか否かを判断する(つまり、図2(ii)に示す様な、撮像位置、撮像方向、撮像画角で形成される放射状の領域内に被写体が位置するか否かを判断する)。そして、CPU11は、被写体の存在位置が現在の撮像画角内に存在していると判断する場合、図5に示すように、スルー画像上の被写体が存在すると判断された部分を円形Rで囲む、等によって表示部60で被写体を案内表示する。ここで、CPU11は、現在の撮像位置と被写体の存在位置との距離を算出し、算出された距離に応じて上記円形で囲む範囲を拡大/縮小させる。
なお、CPU11が地図画像表示制御プログラム及びスルー画像表示制御プログラムを実行する際、特定プログラムの実行時に特定した被写体の存在位置または存在エリアを、地図画像上またはスルー画像上に案内表示するように構成したが、被写体の存在する可能性の高い範囲(例えば、図3(i)(ii)のIIIで示される太線で囲まれる範囲そのもの、又は当該範囲を矩形や円形に近似した範囲)を、地図画像上またはスルー画像上に案内表示するように構成してもよい。
また、有名な建造物や名跡の存在する位置と名称とを予め地図画像のデータに記憶しておき、CPU11が地図画像表示制御プログラム及びスルー画像表示制御プログラムを実行する際に、特定した被写体の存在位置または存在エリアと、上記データに記憶されている建造物や名跡の存在する位置とを突合し、当該存在位置または存在エリアと最も近い位置にある建造物や名跡の名称を地図画像上またはスルー画像上に表示するように構成してもよい。
次に、本実施形態に係る撮像装置1による被写体の存在位置特定処理について図6のフローチャートを用いて説明する。
まず、ユーザが操作部80を操作して、撮像部20を介して撮像画像を撮像する(ステップS101)。
次いで、CPU11は、画像データ生成プログラムを実行し、ステップS101で撮像画像が撮像された際の撮像位置情報及び撮像関連情報を収集し、当該撮像画像に係る画像データを生成する(ステップS102)。
次いで、CPU11は、ステップS102で生成した画像データを記憶部90に記憶する(ステップS103)。
次いで、CPU11は、推定プログラムを実行し、ステップS103で記憶部90に記憶された画像データごとに被写体の存在する領域を推定する(ステップS104)。
次いで、CPU11は、特定プログラムを実行し、ステップS104で推定した画像データごとの領域を同一平面上に重ね合わせ(ステップS105)、重ね合わせ度合いが所定値以上となる箇所があるか否かを判断する(ステップS106)。そして、CPU11が重ね合わせ度合いが所定値以上となる箇所がないと判断した場合(ステップS106;No)、ステップS101以降の処理を繰り返す。
一方で、CPU11が重ね合わせ度合いが所定値以上となる箇所があると判断した場合(ステップS106;Yes)、当該箇所を被写体の存在位置として特定する(ステップS107)。
次いで、CPU11は、ユーザにより操作部80を介して地図画像の表示操作がなされたか否かを判断する(ステップS108)。そして、CPU11は、地図画像の表示操作がなされたと判断する場合(ステップS108;Yes)、地図画像表示制御プログラムを実行し、地図画像上の被写体の存在位置を表示部60で案内表示する(ステップS109)。一方で、CPU11は、地図画像の表示操作がなされていないと判断する場合(ステップS108;No)、ユーザにより操作部80を介して撮像モードの選択操作がなされたか否かを判断し(ステップS110)、撮像モードの選択操作がなされていないと判断する場合(ステップS110;No)、ステップS108以降の処理を繰り返す。
次いで、CPU11は、撮像モードの選択操作がなされたと判断する場合(ステップS110;Yes)、スルー画像表示制御プログラムを実行し、被写体の存在位置がスルー画像に含まれる場合に当該存在位置の案内表示をする(ステップS111)。
以上により、本実施形態に係る撮像装置1によると、CPU11が特定プログラムを実行することにより、推定プログラムの実行により推定された画像データごとの領域Kを同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を被写体の存在位置として特定することができる。つまり、重ね合わせ度合いが所定値以上となる箇所を特定することで、被写体が存在すると推定される領域が複数の画像データに亘って重複する箇所が特定される。そのため、ユーザは、人気のある又は頻繁に撮像される被写体の存在位置を知ることが可能となるので、容易に当該存在位置より被写体を把握することができる。
したがって、撮像装置1は、複数の撮像画像に亘って頻繁に撮像対象となった被写体を推定できる。
また、撮像装置1は、CPU11により特定プログラムが実行されると、推定プログラムの実行時に推定した画像データごとの領域を同一平面上に重ね合わせた際の、領域同士の重ね合わさる数を重ね合わせ度合いとして用いる。つまり、撮像装置1によると、当該重ね合わさる数を計数するだけで容易に被写体の存在位置を特定することが可能となる。
また、撮像装置1は、CPU11により推定プログラムを実行し、被写体の存在する領域Kを推定する際に、撮像関連情報に含まれる撮像方向情報(撮像方向D)と撮像画角情報(撮像画角Θ)とを使用する。これにより、撮像装置1は、撮像方向Dを中心とする撮像画角Θ分の角度変化量に基づいて、焦点距離情報や被写界深度情報を用いることなく、撮像位置Pから見た放射状の領域を被写体の存在する領域Kとして容易に推定できる。
また、撮像装置1は、CPU11により推定プログラムを実行し、被写体の存在する領域Kを推定する際に、撮像関連情報に含まれる焦点距離情報(フォーカス距離F)と被写界深度情報(被写界深度T)とを使用する。これにより、撮像装置1は、撮像位置Pから被写体までのおおよその距離幅を推定し、撮像方向情報や撮像画角情報を用いることなく、当該距離幅に対応する撮像位置Pを中心とした環状領域を領域Kとして容易に推定できる。
また、撮像装置1は、CPU11により特定プログラムを実行し、被写体の存在位置を特定する際に、撮像関連情報に含まれる時間情報を用いて、複数の画像データを時間帯、月日、又は季節単位に分類し、当該分類した単位ごとに存在位置を特定する。これにより、撮像装置1は、例えば、夕焼けや夜景、特定の祭日に催される行事、夏空や冬景色などの様に、時間帯、月日、又は季節ごとに変遷する被写体の人気度合いを考慮した存在位置の特定が可能となる。
また、撮像装置1は、CPU11により特定プログラムを実行し、被写体の存在位置を特定する際に、算出した重ね合わせ度合いが所定値以上となる箇所を複数抽出し、重ね合わせ度合いの高い順から順位付けをして、被写体の存在位置として複数を特定することができる。これにより、重ね合わせ度合いの最も高い箇所が現実には人気のある被写体の存在位置で無かったとしても、ユーザは、他の重ね合わせ度合いが所定値以上となる箇所を参照することで、人気のある被写体の存在位置を把握できる可能性が高くなる。
また、撮像装置1は、CPU11により地図画像表示制御プログラムを実行し、地図画像における上記特定された被写体の存在位置を表示部60で案内表示することができる。これにより、ユーザは、地図画像上での人気のある被写体の存在位置を把握することが出来るので、地図画像を参考にして容易に人気のある被写体の存在位置まで移動して、当該被写体を撮像することができる。
また、撮像装置1は、CPU11によりスルー画像表示制御プログラムを実行して、スルー画像中に上記特定した被写体が含まれると判断される場合に、スルー画像上の被写体の存在位置を表示部60で案内表示することができる。これにより、ユーザは、撮像モードの選択中、人気のある被写体がスルー画像に含まれているか否かを容易に認識することが出来るので、当該人気のある被写体を撮像する機会を逃さない。
(実施形態2)
次に、実施形態2に係る解析システム1000について、図7〜図9を用いて説明する。
解析システム1000は、複数の撮像装置1a〜1cと、当該撮像装置1a〜1cとネットワーク500を介して接続されたサーバ装置100と、を含んで構成される。
ここで、実施形態1に係る撮像装置1では、画像データに基づいて撮像画像に含まれる被写体の存在する領域の推定や、推定された領域に基づく被写体の存在位置の特定を撮像装置1自体が行っていたが、実施形態2では、撮像装置1a〜1cが画像データをネットワーク500を介してサーバ装置100に送信し、サーバ装置100が上記推定や特定を行う点で実施形態1と相違する。
なお、サーバ装置100に接続される撮像装置の数は3に限定されるものでは無く、いくつであってもよい。
ネットワーク500は、撮像装置1a〜1cやサーバ装置100を接続するための、無線LAN(Local Area Network)等で構成される通信網である。
撮像装置1a〜1cは、撮像画像を撮像するデジタルカメラである。当該撮像装置1a〜1cは、通信部95a〜95cを含んで構成される。また、撮像装置1a〜1cは、実施形態1に係る撮像装置1と同様に、制御部10a〜10cと、表示部60a〜60cと、記憶部90a〜90cと、図示しない撮像部と、画像処理部と、位置検出部と、方向検出部と、計時部と、操作部と、を備える。
制御部10a〜10cは、撮像部で撮像された撮像画像に、当該撮像画像に対応する撮像位置情報及び撮像関連情報を付加した画像データを生成し、記憶部90a〜90cに複数記憶する。また、制御部10a〜10cは、サーバ装置100より通信部95a〜95cを介して受信される存在位置データ(後述)を記憶部90a〜90cに記憶するように構成されている。そして、制御部10a〜10cは、当該存在位置データに基づいて、地図画像やスルー画像上で被写体の存在位置を表示部60a〜60cにて案内表示する表示制御を行うことで、ユーザに被写体の存在位置を報知する。
通信部95a〜95cは、ネットワーク500を介して、サーバ装置100と相互にデータの送受信を可能にする無線LAN用の通信インターフェースである。そして、通信部95a〜95cは、制御部10a〜10cからの制御信号に応じて記憶部90a〜90cに記憶された画像データをサーバ装置100に送信し、サーバ装置100から送信される存在位置データを受信して記憶部90a〜90cに転送するように構成されている。
サーバ装置100は、制御部110で構成される解析装置を組み込み、記憶部190と、通信部195と、を含んで構成される。
記憶部190は、HDD(Hard Disk Drive)等で構成される。そして、記憶部190は、通信部195を介して撮像装置1a〜1cから受信する複数の画像データを記憶する。この画像データは、制御部110が推定プログラムを実行する際に、制御信号に応じて制御部110へ入力される。ここで、撮像装置1a〜1cから受信する画像データに係る撮像関連情報は、撮像装置1a〜1cの備える機能/構成やユーザの設定等に応じて、撮像装置1a〜1cごとに含まれる情報の項目が相違するものであってもよい。具体的には、撮像装置1aから受信する撮像関連情報には、撮像方向情報が含まれるのに対して、撮像装置1bから受信する撮像関連情報には、撮像方向情報、撮像画角情報が含まれ、撮像装置1cから受信する撮像関連情報には、焦点距離情報、被写界深度情報が含まれるような場合である。
また、記憶部190は、制御部110により生成される存在位置データを記憶する。
通信部195a〜195cは、ネットワーク500を介して、撮像装置1a〜1cと相互にデータの送受信を可能にする無線LAN用の通信インターフェースである。そして、通信部195a〜195cは、撮像装置1a〜1cより送信される画像データを記憶部190に転送する。また、通信部195a〜195cは、制御部110からの制御信号に応じて記憶部190に記憶された存在位置データを撮像装置1a〜1cに送信するように構成されている。
制御部110は、CPU(Central Processing Unit)111と、メモリ部112と、を含んで構成され、サーバ装置100の各部を統括制御する。
CPU111は、メモリ部112に記憶されたサーバ装置100用の各種処理プログラムに従って各種の制御動作を行う。
メモリ部112は、CPU111によって処理されるデータ等を一時的に記憶するためのバッファメモリや、CPU111の実行に係る各種プログラムやデータを記憶するためのプログラムメモリで構成される。そして、メモリ部112に記憶されるプログラムとしては、推定プログラム、特定プログラム、等がある。ここで、推定プログラムについては、実施形態1に係る撮像装置1のメモリ部12に記憶された推定プログラムと同様であるので説明を省略する。
次に、メモリ部112に記憶された特定プログラムについて説明する。
特定プログラムは、推定プログラムの実行により推定された画像データごとの領域Kを同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を被写体の存在位置として特定する機能をCPU111に実行させるプログラムである。
具体的には、CPU111は、実施形態1のCPU11が実行する特定プログラムと同様の処理を実行する。例えば、記憶部190に記憶された複数の画像データについて、それぞれの撮像関連情報が同じ情報の項目を備える場合、CPU111は、図2(i)(ii)に示すような領域Kの重ね合わせを行い、被写体の存在位置を特定する。また、記憶部190に記憶された複数の画像データについて、それぞれの撮像関連情報が相違する情報の項目を備える場合であっても、CPU111は、図8に示すように、画像データごとの領域K(K1〜K3)を同一平面上に重ね合わせることで、被写体の存在位置を特定できる。
そして、CPU111は、被写体の存在位置を特定する際に算出される当該存在位置の位置情報(緯度及び経度の情報)等からなる存在位置データを生成し、記憶部190に記憶する。ここで、CPU111は、重ね合わせ度合いの高い順から順位付けをして、被写体の存在位置を複数特定した場合、各々の存在位置の位置情報と順位とを対応付けた存在位置データを生成する。また、CPU111は、時間帯、月日、又は季節単位ごとの被写体の存在位置を特定した場合、各々の存在位置の位置情報と時間帯、月日、又は季節とを対応付けた存在位置データを生成する。
次に、本実施形態に係る解析システム1000による被写体の存在位置特定処理について図9のフローチャートを用いて説明する。
まず、撮像装置1a〜1cのユーザが操作部を操作して、撮像部を介して撮像画像を撮像する(ステップS201)。
次いで、撮像装置1a〜1cの制御部10a〜10cは、ステップS201で撮像画像が撮像された際の撮像位置情報及び撮像関連情報を収集し、当該撮像画像に係る画像データを生成する(ステップS202)。
次いで、制御部10a〜10cは、ステップS202で生成した画像データを記憶部90a〜90cに記憶する(ステップS203)。
次いで、制御部10a〜10cは、記憶部90a〜90cに記憶した画像データを、通信部95a〜95cを介してサーバ装置100に送信する(ステップS204)。
次に、ステップS204にて撮像装置1a〜1cより画像データが送信されると、サーバ装置100のCPU111は、通信部195を介して当該画像データを受信し、記憶部190に記憶する(ステップS205)。
次いで、CPU111は、推定プログラムを実行し、ステップS205で記憶部190に記憶された画像データごとに被写体の存在する領域を推定する(ステップS206)。
次いで、CPU111は、特定プログラムを実行し、ステップS206で推定した画像データごとの領域を同一平面上に重ね合わせ(ステップS207)、重ね合わせ度合いが所定値以上となる箇所があるか否かを判断する(ステップS208)。そして、CPU111が重ね合わせ度合いが所定値以上となる箇所がないと判断した場合(ステップS208;No)、ステップS201以降の処理を繰り返す。
一方で、CPU111は重ね合わせ度合いが所定値以上となる箇所があると判断した場合(ステップS208;Yes)、当該箇所を被写体の存在位置として特定し、存在位置データを生成し、記憶部190に記憶する(ステップS209)。
次いで、CPU111は、ステップS209にて記憶部190に記憶された存在位置データを通信部195を介して撮像装置1a〜1cに送信する(ステップS210)。
次に、撮像装置1a〜1cの制御部10a〜10cは、ステップS210にてサーバ装置100より存在位置データが送信されると、当該存在位置データを通信部95a〜95cを介して受信して記憶部90a〜90cに記憶する(ステップS211)。
次いで、制御部10a〜10cは、ステップS211にて記憶した存在位置データに基づいて、地図画像やスルー画像上で被写体の存在位置を表示部60a〜60cにて案内表示する(ステップS212)。
以上により、本実施形態に係る解析システム1000によると、実施形態1に係る撮像装置1と同様の効果が得られることは勿論のこと、サーバ装置100が、撮像装置1a〜1cより入力した画像データに基づいて、撮像画像に含まれる被写体の存在する領域の推定や、推定された領域に基づく被写体の存在位置の特定を行うので、撮像装置1a〜1cの処理負担が軽減される。また、サーバ装置100では、通信部195を介して複数の撮像装置1a〜1cと接続されている場合、各々の撮像装置1a〜1cから画像データを入力できるので、複数のユーザに共通して人気のある被写体の存在位置を特定することが可能となる。
また、解析システム1000において、撮像装置1a〜1cは、制御部10a〜10cにより、サーバ装置100より送信される存在位置データに基づいて、地図画像やスルー画像上で被写体の存在位置を表示部60a〜60cにて案内表示する表示制御を行うことで、ユーザに被写体の存在位置を報知する。そのため、ユーザは、表示部60a〜60cを視認するだけで、容易に人気のある被写体の存在位置を把握することができる。
(変形例1)
上記実施形態において、撮像装置1のCPU11やサーバ装置100のCPU111は、画像データごとに推定される領域を同一平面上に重ね合わせた際の、領域同士の重ね合わさる数を重ね合わせ度合いとし、領域同士の重ね合わさる数が所定値以上となる箇所を被写体の存在位置として特定したが、以下で述べる推定プログラム及び特定プログラムのように、被写体の存在する位置が確率的に特定されるよう構成しても良い。
以下では、本変形例1における推定プログラム及び特定プログラムについて、図10を用いて説明する。
推定プログラムは、記憶部90(又は記憶部190)に記憶された画像データを複数入力し、撮像画像の各位置に対して被写体の存在する確率を推定する機能をCPU11(又はCPU111)に実行させるプログラムである。
具体的には、CPU11が推定プログラムを実行すると、記憶部90に記憶された画像データを読み込み、撮像位置情報及び撮像関連情報(ここでは、焦点距離情報とする)を抽出する。そして、CPU11は、抽出した撮像位置情報及び焦点距離情報に基づいて、図10(i)に示すような撮像位置Pを中心とする同心円を所定間隔で複数描く。ここで、当該複数の円の中で、フォーカス距離Fを径とする円上の位置が撮像画像Tの各位置において被写体の存在する確率が最も高いと推定されるので、CPU11は、当該円上の位置に最も高い確率(例えば、図10(i)の確率1)を割り振る。そして、当該フォーカス距離Fを径とする円よりも遠ざかるにつれて被写体の存在する確率は低くなると推定されるので、CPU11は、フォーカス距離Fを径とする円から遠ざかるにつれて、フォーカス距離Fを径とする円上の位置よりも小さな確率(例えば、図10(i)の確率0.8,0.6,0.4,・・・)を割り振る。以上により、CPU11は、図10(i)に示すような撮像位置Pを中心とするそれぞれの同心円上の位置(撮像画像Tの各位置)に確率が割り振られた確率分布Lを生成する。
なお、CPU11は、撮像位置情報と撮像方向情報とに基づいて、撮像画像の各位置に対する被写体の存在する確率を推定してもよい。この場合、例えば、撮像位置Pを交点とする平行でない複数の直線を描き、撮像方向Dに係る直線上の各位置に最も高い確率を割り振り、撮像方向Dに係る直線から遠ざかる直線上の各位置ほど、低い確率を割り振ることで、CPU11は確率分布を生成できる。
特定プログラムは、推定プログラムの実行により生成された画像データごとの確立分布を同一平面上に重ね合わせ、重ね合わせた際の平面上の各位置における確率を重ね合わせ度合いとし、当該重ね合わせ度合いが所定値以上となる箇所を被写体の存在位置として特定する機能をCPU11(又はCPU111)に実行させるプログラムである。
具体的には、CPU11が特定プログラムを実行すると、図10(ii)に示すように、推定プログラムの実行により生成された画像データごとの確立分布Lを同一平面上に重ね合わせる。ここで、図10(ii)に示す確率分布L1,L2,L3は、複数の画像データのそれぞれの撮像位置P1、P2、P3に対応した確率分布である。そして、CPU11は、複数の確率分布が重ね合わさった平面上の各位置において、それぞれの確率分布で割り振られた確率を掛け合わせることで各位置における被写体の存在する確率を算出する(例えば、ある位置における、確率分布L1での確率0.8,確率分布L2での確率0.6,確率分布L3での確率0.5の場合、当該位置の確率は0.24と算出する)。そして、CPU11は、上記各位置の確率を重ね合わせ度合いとして、重ね合わせ度合いが所定値(予め定められた設定値など)以上となる箇所を被写体の存在位置として特定する。
なお、CPU11は、上記算出された各位置の確率を、それぞれの位置の緯度及び経度と対応付けて記憶部90に記憶するように構成してもよい。この場合、例えば、CPU11が、地図画像表示制御プログラムを実行する際に、地図画像上の各位置と上記確率とを対応付けることが出来るので、地図画像上の確率分布をコンター等で表示部60に表示することが可能となる。
以上により、本変形例によると、実施形態1又は2と同様の効果が得られることは勿論のこと、被写体の存在位置は確率が所定値(予め定められた設定値など)を上回る箇所で特定されるので、当該設定値などの設定次第で容易に正確な存在位置の特定を行うことが可能となる。
なお、以上の実施形態における記述は、本発明に係る好適な画像形成装置の一例であり、これに限定されるものではない。
また、以上の実施形態における画像形成装置を構成する各部の細部構成及び細部動作に関して本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
例えば、方位検出部50は、デジタルコンパス及びジャイロセンサの双方により撮像方向を検出するように構成したが、デジタルコンパスのみを用いる構成であってもよい。
また、実施形態1において、CPU11が地図画像表示制御プログラムを実行する際に、記憶部90に記憶された複数の画像データの撮像位置情報より、撮像位置として人気のある箇所の緯度及び経度を特定し、当該撮像位置を被写体の存在位置とともに地図画像上に表示部60上に表示する制御を行ってもよい。これにより、ユーザは人気のある被写体をどの位置から撮像することが好ましいかを容易に推測出来るので、撮像装置1の利便性が一層向上する。
また、実施形態1において、撮像装置1に実施形態2で述べた通信部を備えるように構成し、記憶部90に他の撮像装置より送信される画像データが記憶されるように構成しても良い。これにより、CPU11は、推定プログラム及び特定プログラムを実行する際に、上記他の撮像装置より取得した画像データを領域の推定及び被写体の存在位置の特定に用いることが出来るので、複数のユーザに共通して人気のある被写体の存在位置を特定することが可能となる。
また、実施形態2において、記憶部190に地図画像を記憶しておき、CPU111は特定プログラムを実行する際に、特定した被写体の存在位置を地図画像に対応付ける処理を行い、存在位置データに被写体の存在位置が対応付けられた地図画像を追加するように構成しても良い。これにより、撮像装置1a〜1cは、サーバ装置100より送信される存在位置データより地図画像を抽出して表示部60a〜60cに表示するだけで、地図画像上で被写体の存在位置を案内表示することが可能となるので、一層制御部10a〜10cの処理負担が軽減される。
また、実施形態2では、サーバ装置100により生成された存在位置データを、画像データの送信元である撮像装置1a〜1cに対して送信するように構成したが、画像データの送信元以外の装置(例えば、PC等)に対して当該存在位置データを送信するように構成してもよい。さらに、サーバ装置100は、各被写体の存在位置の特定に利用された画像データの数に応じて各被写体の人気度をランキング付けし、ランキング情報として存在位置データに付加して送信するように構成してもよい。
(実施形態1)
1 撮像装置(解析装置)
10 制御部(解析装置)
11 CPU
12 メモリ
20 撮像部
30 画像処理部
40 位置検出部
50 方向検出部
60 表示部
70 計時部
80 操作部
90 記憶部
(実施形態2)
1000 解析システム
1a〜1c 撮像装置
10a〜10c 制御部(報知部)
60a〜60c 表示部(報知部)
90a〜90c 記憶部
95a〜95c 通信部(送信部、受信部)
100 サーバ装置(解析装置)
110 制御部(解析装置)
190 記憶部
195 通信部(送受信部)
500 ネットワーク

Claims (16)

  1. 撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像に含まれる被写体の存在する領域を画像データごとに推定し、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御部を備え、
    前記撮像関連情報は、前記撮像画像が撮像された際の被写界深度情報を含み、
    前記制御部は、前記焦点距離情報と前記被写界深度情報とを用いて、前記被写体の存在する領域を推定することを特徴とする解析装置。
  2. 請求項1に記載の解析装置において、
    前記制御部は、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、領域同士の重ね合わさる数を前記重ね合わせ度合いとして用いることを特徴とする解析装置。
  3. 請求項1又は2に記載の解析装置において、
    前記撮像関連情報は、更に、前記撮像画像が撮像された際の撮像画角情報を含み、
    前記制御部は、前記焦点距離情報と前記被写界深度情報、または前記撮像方向情報と前記撮像画角情報とを用いて、前記被写体の存在する領域を推定することを特徴とする解析装置。
  4. 請求項1又は2に記載の解析装置において、
    前記制御部は、前記焦点距離情報と前記被写界深度情報とを用いて推定された領域と、前記焦点距離情報と前記被写界深度情報とを用いて推定された領域との重ね合わせにより、前記被写体の存在する領域を推定することを特徴とする解析装置。
  5. 撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像の各位置に対して被写体の存在する確率を推定した確率分布を前記画像データごとに生成し、前記生成した画像データごとの確立分布を同一平面上に重ね合わせ、当該重ね合わせた際の平面上の各位置における被写体の存在する確率を重ね合わせ度合いとして算出し、当該重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御部を備えることを特徴とする解析装置。
  6. 請求項1〜5の何れか1項に記載の解析装置において、
    前記撮像関連情報は、前記撮像画像が撮像された際の時間情報を含み、
    前記制御部は、前記時間情報に基づいて、前記被写体の存在位置を時間帯、月日、又は季節ごとに特定することを特徴とする解析装置。
  7. 請求項1〜5の何れか1項に記載の解析装置において、
    前記制御部は、前記重ね合わせ度合いが所定値以上となる箇所を複数抽出し、当該抽出した複数の箇所を前記重ね合わせ度合いの高い順から順位付けし、前記被写体の存在位置として複数特定することを特徴とする解析装置。
  8. 請求項1〜7の何れか1項に記載の解析装置を組み込んだことを特徴とする撮像装置。
  9. 請求項8に記載の撮像装置において、
    画像を表示する表示部と、
    地図画像を記憶する記憶部と、
    を備え、
    前記制御部は、前記記憶部に記憶された地図画像に前記特定した被写体の存在位置を対応付け、前記地図画像上の前記被写体の存在位置を前記表示部で案内表示する制御を行うことを特徴とする撮像装置。
  10. 請求項8に記載の撮像装置において、
    前記撮像画像を撮像する撮像部と、
    前記撮像部により撮像された撮像画像をスルー画像として連続表示する表示部と、
    を備え、
    前記制御部は、前記特定した被写体の存在位置に基づいて前記スルー画像中に前記特定した被写体が含まれるか否かを判断し、前記スルー画像中に前記特定した被写体が含まれると判断される場合に前記スルー画像上の前記被写体の存在位置を前記表示部で案内表示する制御を行うことを特徴とする撮像装置。
  11. 請求項1〜7の何れか1項に記載の解析装置を組み込んだサーバ装置において、
    前記画像データを生成する撮像装置とネットワークを介して接続されており、
    前記ネットワークを介して前記撮像装置とデータの送受信を行う送受信部を備え、
    前記制御部は、前記撮像装置にて生成された画像データを前記送受信部を介して入力し、当該入力した画像データに基づいて前記被写体の存在位置を特定して存在位置データを生成し、当該生成した存在位置データを前記撮像装置に前記送受信部を介して送信する制御を行うことを特徴とするサーバ装置。
  12. 請求項11に記載のサーバ装置と、前記画像データを生成する撮像装置と、がネットワークを介して接続された解析システムにおいて、
    前記撮像装置は、
    生成した画像データを前記サーバ装置に送信する送信部と、
    前記サーバ装置の前記送受信部を介して送信される存在位置データを受信する受信部と、
    前記受信部にて受信した存在位置データに基づいて前記被写体の存在位置をユーザに報知する報知部と、
    を備えることを特徴とする解析システム。
  13. 解析装置による解析方法であって、
    撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像に含まれる被写体の存在する領域を画像データごとに推定し、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御処理を含み、
    前記撮像関連情報は、前記撮像画像が撮像された際の被写界深度情報を含み、
    前記制御処理は、前記焦点距離情報と前記被写界深度情報とを用いて、前記被写体の存在する領域を推定することを特徴とする解析方法。
  14. コンピュータを、
    撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像に含まれる被写体の存在する領域を画像データごとに推定し、前記推定した画像データごとの領域を同一平面上に重ね合わせた際の、重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御手段として機能させ、
    前記撮像関連情報は、前記撮像画像が撮像された際の被写界深度情報を含み、
    前記制御手段は、前記焦点距離情報と前記被写界深度情報とを用いて、前記被写体の存在する領域を推定することを特徴とするプログラム。
  15. 解析装置による解析方法であって、
    撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像の各位置に対して被写体の存在する確率を推定した確率分布を前記画像データごとに生成し、前記生成した画像データごとの確立分布を同一平面上に重ね合わせ、当該重ね合わせた際の平面上の各位置における被写体の存在する確率を重ね合わせ度合いとして算出し、当該重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御処理を含むことを特徴とする解析方法。
  16. コンピュータを、
    撮像画像が撮像された際の、撮像位置情報と、撮像方向情報及び/又は焦点距離情報を含む撮像関連情報と、を前記撮像画像に対応付けた画像データを複数入力し、前記撮像位置情報及び前記撮像関連情報に基づいて、前記撮像画像の各位置に対して被写体の存在する確率を推定した確率分布を前記画像データごとに生成し、前記生成した画像データごとの確立分布を同一平面上に重ね合わせ、当該重ね合わせた際の平面上の各位置における被写体の存在する確率を重ね合わせ度合いとして算出し、当該重ね合わせ度合いが所定値以上となる箇所を前記被写体の存在位置として特定する制御手段として機能させることを特徴とするプログラム。
JP2009282406A 2009-12-14 2009-12-14 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム Expired - Fee Related JP5428821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009282406A JP5428821B2 (ja) 2009-12-14 2009-12-14 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009282406A JP5428821B2 (ja) 2009-12-14 2009-12-14 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム

Publications (2)

Publication Number Publication Date
JP2011124896A JP2011124896A (ja) 2011-06-23
JP5428821B2 true JP5428821B2 (ja) 2014-02-26

Family

ID=44288327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009282406A Expired - Fee Related JP5428821B2 (ja) 2009-12-14 2009-12-14 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム

Country Status (1)

Country Link
JP (1) JP5428821B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5921830B2 (ja) * 2011-08-02 2016-05-24 オリンパス株式会社 情報提供システム、情報提供システムにおける情報提供方法および情報提供プログラム
JP6337431B2 (ja) * 2013-08-28 2018-06-06 株式会社ニコン システム、サーバ、電子機器およびプログラム
JP6572993B2 (ja) * 2018-05-10 2019-09-11 株式会社ニコン サーバおよびプログラム
JP2019193309A (ja) * 2019-08-08 2019-10-31 株式会社ニコン サーバおよびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045398A (ja) * 2003-07-24 2005-02-17 Canon Inc 撮影支援方法、撮影支援装置及び撮影装置
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
JP4775029B2 (ja) * 2006-02-22 2011-09-21 セイコーエプソン株式会社 撮影シーンの決定
JP2009100110A (ja) * 2007-10-15 2009-05-07 Canon Inc 撮像装置、撮像装置の制御方法及び撮像装置の制御プログラム

Also Published As

Publication number Publication date
JP2011124896A (ja) 2011-06-23

Similar Documents

Publication Publication Date Title
JP5251215B2 (ja) デジタルカメラ
US7860386B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
US9325862B2 (en) Server, client terminal, system, and storage medium for capturing landmarks
JP5532026B2 (ja) 表示装置、表示方法及びプログラム
KR20140140855A (ko) 촬영 장치의 자동 초점 조절 방법 및 장치
JP6251851B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP5750696B2 (ja) 表示装置および表示プログラム
JP5428821B2 (ja) 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム
JP5155266B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP5543870B2 (ja) カメラ、カメラの制御方法、及びプログラム
WO2012132626A1 (ja) 画像表示装置及び画像表示方法
JP2009111827A (ja) 撮影装置及び画像ファイル提供システム
JP5800600B2 (ja) 撮像装置、撮像方法およびプログラム
JP2016025620A (ja) 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体
JP5753514B2 (ja) 画像表示装置、およびコンピュータプログラム
JP2006270137A (ja) 撮像装置
JP2010130039A (ja) 情報分類システム及び情報分類方法
JP2011182341A (ja) 撮像装置及び撮像装置の制御方法
JP6236580B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP2012216885A (ja) 撮像装置及び画像共有システム
JP2013201756A (ja) カメラ
JP6057142B2 (ja) 撮像装置、その制御方法及びプログラム
JP2010130590A (ja) 撮像装置及び撮像方法
JP5868776B2 (ja) 画像表示装置、およびコンピュータプログラム
JP2008153998A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121016

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131118

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5428821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees