JP6098318B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。

撮影者に撮影に適した撮影場所に関する情報を提供する技術や、撮影場所を案内する技術などが従来知られている。例えば、撮影場所を案内する技術として、特許文献１が知られている。

特許文献１は、撮影された撮影画像に関連する所定の手本画像を選択し、選択された手本画像の撮影位置を、所定の撮影順に並べて表示することで、複数の観光場所のルートを効率よく辿っていけるように案内することを可能にした撮影システムを開示している。なお、撮影位置とともに手本画像を表示することも開示されている。

特開２００８−２８８８８２号公報（２００８年１１月２７日公開） 特開２０１０−２１８８５号公報（２０１０年１月２８日公開） 特開２００９−４９４７６号公報（２００９年３月５日公開） 特開２０１０−６２６１３号公報（２０１０年３月１８日公開）

上述のような従来技術は、手本画像と同じ被写体を注目物体として特定することができる。しかしながら、撮影時には手本画像に含まれる被写体と、それ以外の被写体を含めて撮影するのが一般的であるので、ユーザによっては手本画像に含まれる被写体以外のものを注目して撮影したい場合がある。この場合には、上述の従来技術では、手本画像に含まれる被写体以外のものを注目物体と認識することができない。このため、その物体を注目物体として特定する場合には、従来知られているように、スルー画像を表示する画面上で、注目物体とする被写体をユーザが指で指示するなどの指定する操作が必要となる。

本発明は、上記の課題を解決するために、注目すべき物体を理解することが可能な画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することである。

上記課題を解決するために、本発明の画像処理装置は、被写体を撮像するための撮像手段が出力する、被写体を含む画像データを受け付ける画像入力部と、現在の位置を示す位置情報を取得する位置情報取得部と、前記画像入力部から入力された画像データから被写体を認識する物体認識部と、撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第１注目物体データを含む第１注目物体リストを管理する注目物体リスト管理部と、前記位置情報取得部により取得された位置情報で示される位置に対応する前記注目物体データと前記物体認識部により認識された被写体とを比較する比較処理を行い、前記被写体と前記注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定部と、前記注目物体特定部により特定された注目物体を画像上において特定するための情報を出力する注目物体出力部とを備える。

上記の構成によれば、比較処理により、被写体と注目物体候補とが一致する場合、該注目物体候補と一致する被写体が注目物体として特定される。現在の位置が過去に撮影された位置と同じであり、現在ユーザが撮像しようとする被写体の中に、過去に撮影された被写体と同じものが含まれる場合、現在ユーザが注目して撮像しようとする被写体は、過去に撮影された被写体と同じである可能性がある。このため、その過去の位置で撮影された被写体と同じ被写体を注目物体として特定すれば、ユーザが注目して撮像しようとする被写体を特定できる可能性が高い。したがって、注目すべき物体を理解することが可能な画像処理装置を提供することができる。

また、本発明の画像処理装置において、前記注目物体リスト管理部は、過去に撮影された画像データから認識された被写体の中から複数の被写体を注目物体候補として選択する場合、各注目物体候補に対して優先度を付けて管理しており、前記優先度は、過去に撮影された画像データから認識された認識回数に基づいて設定される。

上記の構成によれば、現在ユーザが撮像しようとする被写体がその過去の位置で撮影された被写体と同じである可能性が高いので、その過去の位置で撮影された被写体と同じ被写体を注目物体として特定すれば、ユーザが注目して撮像しようとする被写体を特定できる可能性をさらに高めることができる。

また、本発明の画像処理装置において、前記注目物体リスト管理部は、前記画像データにおいて、被写体のうつり方およびうつる頻度の少なくとも一方によって定まる注目度に応じて、前記認識回数を調整し、調整後の認識回数に基づいて前記優先度を設定する。

上記の構成によれば、注目物体を特定する精度を向上させることができる。

また、本発明の画像処理装置において、前記注目物体特定部は、前記比較処理において前記第１注目物体データの注目物体候補と一致する被写体が複数存在する場合、前記優先度の上位所定数の注目物体候補と一致する複数の被写体を前記注目物体として特定する。

また、本発明の画像処理装置において、前記注目物体特定部は、前記位置情報取得部により取得された位置情報で示される位置に対応する第１注目物体データがないとき、前記位置情報で示される位置に近い位置に対応する第１注目物体データと前記物体認識部により認識された被写体とを比較する処理を前記比較処理として行い、該第１注目物体データに含まれる注目物体候補と前記被写体とが一致する場合、該注目物体候補と一致する被写体を前記注目物体として特定する。

上記の構成によれば、過去の位置に近い位置で撮影しようとする場合には、その過去の位置で撮影された被写体と同じ被写体を撮影しようとしている可能性が高いので、その過去の位置で撮影された被写体と同じ被写体を注目物体として特定すれば、ユーザが注目して撮像しようとする被写体を特定できる可能性が高い。

また、本発明の画像処理装置において、前記注目物体特定部は、前記比較処理において、前記注目物体候補と一致する被写体と一致しない被写体とが存在する場合、該注目物体候補と一致する被写体のうち最も優先度が高い注目物体候補に一致する被写体に加えて、前記一致しない被写体を前記注目物体として特定する。

上記の構成によれば、過去と同じ位置で、過去に撮影されていない被写体をさらに注目物体として特定することができる。

また、本発明の画像処理装置において、前記注目物体リスト管理部は、他の画像処理装置で作成された、位置ごとの第１注目物体データである他ユーザ注目物体データを含む他ユーザ注目物体リストを取得し、取得した他ユーザ注目物体リストと前記第１注目物体リストとを統合した統合注目物体リストをさらに管理しており、前記注目物体特定部は、ユーザの指示により前記統合注目物体リストが選択されると、該統合注目物体リストのうち前記位置情報取得部により取得された位置情報で示される位置に対応する統合注目物体データと前記物体認識部により認識された被写体とを比較する処理を前記比較処理として行う。

上記の構成によれば、他ユーザと自身が、過去の同一位置で多く撮影された共通の被写体を注目物体として特定することができる。

また、本発明の画像処理装置において、前記注目物体リスト管理部は、他ユーザ注目物体リストから所定の注目物体候補を除いた上で、前記他ユーザ注目物体リストと前記第１注目物体リストとを統合する。

上記の構成によれば、過去の同一位置で多く撮影された共通の被写体を注目物体として特定する精度を向上させることができる。

また、本発明の画像処理装置において、前記位置情報は、緯度と経度とで特定される位置を中心に所定範囲内を示すことが好ましい。

また、本発明の画像処理装置において、前記位置情報は、所定の行政区画単位で示されることが好ましい。

また、本発明の画像処理装置において、前記位置情報取得部は、前記位置情報とともに、該位置情報で示される位置に存在する施設を示す施設情報を取得し、前記注目物体リスト管理部は、前記位置情報取得部が施設情報を取得した場合、前記施設情報ごとに、当該施設の位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第２注目物体データを含む第２注目物体リストをさらに管理し、前記注目物体特定部は、前記位置情報取得部が施設情報を取得した場合、前記第２注目物体リストと前記物体認識部により認識された被写体とを比較する処理を前記比較処理として行う。

上記の構成によれば、過去に撮影されたことがある施設と同じ種類の施設で、現在撮像しようとする被写体の中に過去に撮影されたものが含まれる場合、現在ユーザが注目して撮像しようとする被写体は、過去に撮影された被写体と同じである可能性がある。このため、過去に撮影された被写体と同じ被写体を注目物体として特定すれば、現在ユーザが注目して撮像しようとする被写体を特定できる可能性が高い。したがって、注目すべき物体を理解することができる。

また、上記課題を解決するために、本発明の画像処理方法は、被写体を撮像するための撮像手段が出力する画像データを受け付ける画像入力ステップと、現在の位置を示す位置情報を取得する位置情報取得ステップと、前記画像入力ステップにおいて入力された画像データから被写体を認識する物体認識ステップと、撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第１注目物体データを含む第１注目物体リストを管理する注目物体リスト管理ステップと、前記位置情報取得ステップにおいて取得された位置情報で示される位置に対応する前記第１注目物体データと前記物体認識ステップにおいて認識された被写体とを比較する比較処理を行い、前記被写体と前記注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定ステップと、前記注目物体特定ステップにおいて特定された注目物体を画像上において特定するための情報を出力する注目物体出力ステップとを含む。

上記の構成によれば、注目すべき物体を理解することが可能な画像処理方法を提供することができる。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は、注目すべき物体を理解することができるといった効果を奏する。

本発明の実施の形態における撮像装置の構成の概略を示すブロック図である。 本実施の形態における撮像装置が備える制御部の機能の一例を記憶部が記憶するデータとともに示すブロック図である。 撮影履歴データのフォーマットの一例を示す図である。 注目物体データのフォーマットの一例を示す図である。 注目物体出力処理の流れの一例を示す図である。 注目物体出力処理の流れの一例を示すフローチャートである。 注目物体データ生成処理の流れの一例を示すフローチャートである。 第２の実施の形態における制御部が備える機能の一例を記憶部が記憶するデータとともに示す機能ブロック図である。 第３の実施の形態における制御部が備える機能の一例を記憶部が記憶するデータとともに示す機能ブロック図である。 撮影された被写体と注目物体として特定された被写体とを示す図である。 第２の実施の形態における撮影履歴データの一例を示す図である。 第２の実施の形態における注目物体データの一例を示す図である。 撮影履歴データ送受信システムの一例を示す図である。

＜第１の実施の形態＞
図１は、本発明の実施の形態における撮像装置の構成の概略を示すブロック図である。図１に示されるように、撮像装置１は、撮像装置１全体を制御する制御部１０１と、イメージセンサ１０と、コーデック２０と、信号処理部３０と、表示部４０と、制御部１０１が実行するためのプログラム等を記憶したり、制御部１０１の作業領域として用いられたり、データを記憶するための記憶部５０と、ＳＤＲＡＭと、フォーカスレンズおよびズームレンズなどを含むレンズ部７０と、レンズ部７０を駆動するレンズ駆動部６０と、操作部８０と、ＧＰＳセンサ９０とを含む。

レンズ部７０は、レンズ駆動部６０により制御され、撮像装置１が駆動していないときは、本体内部に収納されている。レンズ部７０は、フォーカスレンズを移動することにより焦点を合わせる。レンズ部７０は、ズームレンズを調整するズーム機構を有し、レンズ駆動部６０は、レンズ部７０のズーム量を変更する。

イメージセンサ１０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の光電変換素子である。イメージセンサ１０は、レンズ部７０を介して結像面に結像する被写体の光学画像を光電変換し、画像データを信号処理部３０に出力する。

なお、ＣＣＤイメージセンサは、アナログ信号を出力するので、イメージセンサ１０としてＣＣＤイメージセンサを用いる場合、図示しないアナログ／デジタル変換部によってＣＣＤイメージセンサが出力するアナログ信号をデジタルの画像データに変換すればよい。

信号処理部３０は、イメージセンサ１０が出力する画像データに対して、各種の信号処理を実行し、ＹＵＶ形式に変換する。また、信号処理部３０は、ＹＵＶ形式の画像データをＳＤＲＡＭに記憶する。

制御部１０１は、ＳＤＲＡＭに記憶されたＹＵＶ形式の画像データからＲＧＢ形式の画像データに変換し、表示部４０に表示する。これにより、表示部４０にスルー画像が表示される。

コーデック２０は、制御部１０１により制御され、ＳＤＲＡＭに記憶されたＹＵＶ形式の画像データを読出し、圧縮符合化し、画像データを圧縮符号化した符号化データを記憶部５０に記憶する。なお、コーデック２０は、動画像を記憶する場合、ＭＰＥＧ圧縮方式で、複数のフレームを圧縮符号化する。この場合、マイクロホンから入力される音声データを動画像のデータとＡＶ同期させて圧縮符号化する。

操作部８０は、シャッタボタンを含む複数のキーを含み、ユーザの操作を受け付ける。ユーザが操作部８０の備えるシャッタボタンを半押すると、フォーカス指示を制御部１０１に出力し、ユーザがシャッタボタンを全押すると、撮像が指示されたことを示す撮像信号を制御部１０１に出力する。

ＧＰＳセンサ９０は、ＧＰＳ衛星からの電波を受信し、現在の地図上の位置を示すＧＰＳ信号を制御部１０１に出力する。

図２は、本実施の形態における撮像装置が備える制御部の機能の一例を記憶部が記憶するデータとともに示すブロック図である。図２に示されるように、制御部１０１は、画像入力部１１１と、位置情報取得部１１３と、撮影履歴生成部１１５と、物体認識部１１７と、注目物体特定部１１９と、注目物体リスト管理部１２１と、注目物体出力部１２３とを含む。

画像入力部１１１は、イメージセンサ１０を制御して、イメージセンサ１０から入力される画像データを受け付ける。操作部８０から撮像信号が入力される前の段階では、スルー画像を物体認識部１１７に出力する。画像入力部１１１は、操作部８０から撮像信号が入力されると、コーデック２０を制御してＳＤＲＡＭに記憶された画像データを符号化させ、コーデック２０により圧縮符号化された静止画像の符号化データを記憶部５０に記憶する。

物体認識部１１７は、画像入力部１１１から所定時間間隔で入力されるスルー画像に含まれる被写体を認識する。被写体の認識は、一般物体認識の従来公知の方法を用いることができる。例えば、画像入力部１１１から入力されたスルー画像から特徴点を抽出し、その特徴点と、予め記憶された特徴点データと特徴点データが示す物体の種別情報とを関連付けたデータとを比較（パターンマッチング）することにより、被写体を認識するようにしてもよいし、スルー画像に含まれる色データと、予め記された色データと色データが示す物体の種別情報とを関連付けたデータとを比較することにより被写体を認識するようにしてもよいし、これらを組み合わせて被写体を認識するようにしてもよい。

物体認識部１１７は、画像入力部１１１から入力されるスルー画像において認識した被写体の被写体識別情報を注目物体特定部１１９に出力する。被写体識別情報は、例えば被写体の特徴点データおよび色データのうち少なくとも１つと、被写体の種別を示す種別情報とを含む。

なお、被写体が人である場合、個々を区別するようにしてもよい。この場合、予め個々の個別識別情報（例えば、氏名など）と顔の特徴点を示す特徴点データとを関連付けた登録データを用いて区別するようにすればよい。すなわち、物体認識部１１７は、被写体の特徴点データと登録データとを比較することにより、個人を区別することができる。個人を区別した場合、物体認識部１１７は、被写体に対応する個別識別情報を種別情報として、被写体識別情報を取得する。

物体認識部１１７は、画像入力部１１１から入力されたスルー画像において複数の被写体が認識された場合、認識した複数の被写体それぞれの被写体識別情報を注目物体特定部１１９に出力する。また、物体認識部１１７は、操作部８０から撮像信号が入力されると、その入力時に画像データにおいて認識された被写体の被写体識別情報を撮影履歴生成部１１５に出力する。

位置情報取得部１１３は、ＧＰＳセンサ９０を制御し、ＧＰＳセンサ９０が出力するＧＰＳ信号を取得する。位置情報取得部１１３は、ＧＰＳセンサ９０から入力されるＧＰＳ信号を位置情報として注目物体特定部１１９に出力する。また、位置情報取得部１１３は、操作部８０から撮像信号が入力されると、その時点で取得されている位置情報を撮影履歴生成部１１５に出力する。

なお、位置情報取得部１１３は、ＧＰＳ信号が示す位置から、例えば住所、緯度と経度を特定し、位置情報とするようにしてもよい。位置情報を緯度と経度とする場合、緯度と経度で特定される位置を中心に許容範囲を設定するようにする。また、位置情報を住所とする場合、ユーザの設定により「市」、「町」や「都道府県」などの行政区画単位で特定するようにしてもよい。

撮影履歴生成部１１５は、操作部８０から撮像信号が入力されると、物体認識部１１７から入力された被写体の被写体識別情報および位置情報取得部１１３から入力された位置情報とを少なくとも用いて、撮影履歴データを生成し、記憶部５０に記憶された撮影履歴リスト５１に追加する。撮影履歴データは、撮影の履歴を示し、図３に示されるように撮影の日時と、撮影時位置情報と、被写体識別情報とを関連付ける撮影履歴レコードを含む。

撮影履歴レコードは、撮像指示された日時が撮影の日時として設定される撮影日時の項目と、その撮影時の位置の撮影時位置情報が設定される撮影時位置情報の項目と、その撮影時において撮影された被写体の被写体識別情報が設定される被写体識別情報の項目とを含み、撮影履歴リスト５１に格納されている。なお、複数の被写体が認識された場合、撮影履歴レコードには、複数の被写体識別情報が設定可能である。

注目物体特定部１１９は、後述する注目物体リスト５３を参照して、位置情報取得部１１３により取得された位置情報で示される現在の撮影位置に対応する注目物体データと物体認識部１１７により認識された被写体とを比較する比較処理を行い、被写体と注目物体データに含まれる注目物体候補とが一致する場合、その注目物体候補と一致する被写体を注目物体として特定する。また、注目物体特定部１１９は、操作部８０から撮像信号が入力されると、撮影日時を含む注目物体リスト記入指示を注目物体リスト管理部１２１に出力する。

注目物体データは、スルー画像において優先的に注目する被写体を特定するためのデータであり、撮影履歴データに基づいて生成される。注目物体データは、図４に示されるように注目撮影位置情報と、注目物体候補識別情報と、優先度とを関連付ける注目物体レコードを含む。

注目物体レコードは、注目撮影位置情報の項目と、注目物体候補識別情報の項目と、優先度の項目とを含む。注目撮影位置情報の項目には、撮影履歴データに含まれる撮影時位置情報が重複することなく設定される。注目物体候補識別情報の項目には、撮影時位置情報に関連付けられた被写体識別情報が設定される。注目物体候補識別情報の項目に複数の被写体識別情報が設定される場合、それら複数の被写体識別情報それぞれについて決定された優先度が優先度の項目に設定される。注目物体データの詳細については、後述する。

注目物体特定部１１９は、位置情報比較部１３１と物体比較部１３３とを含み、位置情報比較部１３１と物体比較部１３３とで比較処理を行う。位置情報比較部１３１は、位置情報取得部１１３により取得された位置情報で示される現在の撮影位置と同じ注目撮影位置情報を含む注目物体データが記憶部５０に記憶された注目物体リスト５３にあるか否かを判断する。

位置情報比較部１３１は、現在の撮影位置と同じ注目撮影位置情報を含む注目物体データが注目物体リスト５３にあると判断した場合、その注目物体データを注目物体リスト５３から抽出し、注目物体データを物体比較部１３３に出力する。

物体比較部１３３は、位置情報比較部１３１から入力された注目物体データに基づいて、物体認識部１１７により認識された被写体が注目物体であるか否かを判断する。具体的には、位置情報比較部１３１から入力された注目物体データに含まれる注目物体候補識別情報と、物体認識部１１７から入力された被写体の被写体識別情報とを比較する。

物体比較部１３３は、注目物体データに含まれる注目物体候補識別情報と一致する被写体識別情報が示す被写体を注目物体として判断する。注目物体データに複数の注目物体候補識別情報が含まれる場合、それら注目物体候補識別情報と一致する被写体識別情報が複数存在する場合、一致する複数の被写体識別情報のうち最も高い優先度に関連付けられた被写体識別情報で特定される被写体を注目物体として判断する。物体比較部１３３は、注目物体として特定した被写体の被写体識別情報を注目物体出力部１２３に出力する。

注目物体出力部１２３は、物体比較部１３３により注目物体と判定された被写体を画像上において特定するための注目物体特定情報を出力する。注目物体特定情報は、例えば注目物体と判断した被写体の被写体識別情報、その被写体の画像上における位置を示す注目物体位置情報を含む。

注目物体リスト管理部１２１は、記憶部５０に記憶された注目物体リストを管理する。具体的には、注目物体リスト管理部１２１は、注目物体特定部１１９から注目物体リスト記入指示が入力されると、注目物体データを生成および更新する。注目物体リスト管理部１２１は、位置情報クラス分け部１４１と、撮影回数計算部１４３と、注目物体優先決定部１４５と、注目物体データ生成・更新部１４７とを含む。

位置情報クラス分け部１４１は、同じ撮影時位置情報ごとに撮影履歴データを分類する。具体的には、記入指示に含まれる日時の撮影履歴データを処理対象として記憶部５０に記憶された撮影履歴リスト５１から抽出し、注目物体リスト５３を参照して、抽出された撮影履歴データに含まれる撮影時位置情報と注目物体リスト５３とを比較する。処理対象の撮影履歴データに含まれる撮影時位置情報と同じ注目撮影位置情報を含む注目物体データが存在する場合、その注目物体データを更新対象として更新指示に含めて注目物体データ生成・更新部１４７に出力するとともに、処理対象の撮影履歴データに含まれる撮影時位置情報を更新時撮影回数計算指示に含めて撮影回数計算部１４３に出力する。

一方、処理対象の撮影履歴データに含まれる撮影時位置情報と同じ注目撮影位置情報を含む注目物体データが存在しない場合、処理対象の撮影履歴データを含む生成指示を注目物体データ生成・更新部１４７に出力するとともに、処理対象の撮影履歴データに含まれる撮影時位置情報を生成時撮影回数計算指示に含めて撮影回数計算部１４３に出力する。

撮影回数計算部１４３は、位置情報クラス分け部１４１からの指示に応じて被写体ごとの撮影回数を計算する。位置情報クラス分け部１４１から更新時撮影回数計算指示が入力されると、撮影時位置情報を含む撮影履歴データすべてを記憶部５０に記憶された撮影履歴リストから抽出し、処理対象に設定する。

撮影回数計算部１４３は、処理対象とした撮影履歴データに基づいて、同じ被写体が撮影された撮影回数を計算する。具体的には、互いに被写体識別情報が一致すれば、同じ被写体と判断し、被写体識別情報が一致するごとに「１」だけカウントした回数を撮影回数として計算する。撮影回数計算部１４３は、撮影回数を計算し、同じ被写体識別情報ごとに被写体識別情報と撮影回数とを含む撮影回数組を生成し、生成された撮影回数組を含む優先決定指示を注目物体優先決定部１４５に出力する。

また、撮影回数計算部１４３は、位置情報クラス分け部１４１から生成時撮影回数計算指示が入力されると、被写体識別情報と撮影回数「１」との撮影回数組を同じ被写体識別情報ごとに生成し、生成された撮影回数組を含む優先決定指示を注目物体優先決定部１４５に出力する。

なお、撮影回数計算部１４３が被写体式識別情報ごとに、累積の撮影回数を記憶するようにして、更新ごとに該当する被写体識別情報についての累積の撮影回数に撮影回数「１」を加算するようにしてもよい。

注目物体優先決定部１４５は、注目物体候補の優先度を決定する。具体的には、撮影回数計算部１４３により計算された撮影回数が多い順に、撮影回数組それぞれに対して高い優先度を付与する。注目物体優先決定部１４５は、撮影回数組に含まれる被写体識別情報と、その撮影回数組に対して付与された優先度とを含む優先度組を生成し、生成された優先度組を注目物体データ生成・更新部１４７に出力する。

ただし、注目物体優先決定部１４５は、すべての撮影回数組が撮影回数「１」を示す優先度決定指示が入力される場合、優先度がない旨を注目物体データ生成・更新部１４７に出力する。

注目物体データ生成・更新部１４７は、位置情報クラス分け部１４１から更新指示が入力され、注目物体優先決定部１４５から優先度組が入力されると、更新指示で特定される注目物体データを更新する。

また、注目物体データ生成・更新部１４７は、位置情報クラス分け部１４１から生成指示が入力されると、新たに注目物体データを生成し、記憶部５０に記憶された注目物体リスト５３に追加する。新たな注目物体データの注目撮影位置情報の項目および注目物体候補の項目それぞれに、生成指示に含まれる撮影時位置情報および被写体識別情報が設定される。

上述したように、撮像装置１は、注目物体特定情報により、画像上における注目物体の位置を特定することが可能となる。つまり、現在の位置が、過去に撮影された位置と同じであり、現在ユーザが撮像しようとする撮像範囲に、過去に撮影された被写体と同じ被写体が含まれ、その被写体に対する撮影回数が多い場合、現在ユーザが注目して撮像しようとする被写体は、その過去の位置で撮影された被写体と同じである可能性が高い。このため、過去の位置で撮影された撮影回数の多い被写体と同じ被写体を現在の撮影位置において注目物体として特定することにより、注目する物体を理解することができる。

また、注目する物体を理解する技術は、様々な技術に応用することが可能となる。例えば、スルー画像において、注目物体にフォーカスを合わせたり、注目物体をズームしたりすることが自動的に可能となる。また、フォーカスされていない部分をぼかすことも可能である。

図５は、注目物体出力処理の流れの一例を示す図である。（１）は、「滋賀県草津市西草津」において、撮影者が撮影対象としてとして「犬」および「木」を撮像範囲に含めて撮像した場合を例に説明する。（２）は、撮影履歴リストの一部を示し、ここでは撮影履歴データに含まれる項目の一部を示している。

（１）により撮影された履歴は、上から１番目に追加されている。具体的には、撮影時位置情報として「滋賀県草津市西草津」が設定され、被写体識別情報として「犬」および「木」が設定された撮影履歴データが撮影履歴リストに追加されている。なお、２番目以降は、さらに過去に撮影された履歴である。例えば、２，３番目の撮影履歴データと１番目の撮影履歴データとは、過去の撮影時の位置が同じであり、一部の被写体が共通していることを示す。

（３）は、注目物体リストの一部を示し、（２）に示す撮影履歴リストに基づいて生成される。具体的には、共通する「滋賀県草津市西草津」を撮影時位置情報として含む３つの撮影履歴データが撮影履歴リストに含まれているので、「滋賀県草津市西草津」が注目撮影位置情報として設定される。そして、被写体識別情報としては、１番目の撮影履歴データには「犬」および「木」が含まれ、２番目の撮影履歴データには「犬」および「Ａさん」が含まれ、３番目の撮影履歴データには「犬」、「車」および「Ａさん」が含まれているので、「犬」、「車」、「Ａさん」および「木」が注目物体候補識別情報として設定される。

また、３つの撮影履歴データにおいて、「犬」の撮影回数が最も多く、２番目に「Ａさん」の撮影回数が多く、３番目に「車」の撮影回数が多い。このため、優先度は、撮影回数が多い順に、「犬」が最も高く、「Ａさん」が２番目に高く、「車」および「木」が３番目に高く設定される。そして、生成された注目物体データが注目物体リストに追加される。ここでは、注目物体リストの１番上に追加されていることを示している。

（４）は、（１）が示す「滋賀県草津市西草津」において、撮影者が「犬」、「Ａさん」、「車」および「木」を撮影対象とし、「犬」、「Ａさん」、「車」および「木」を撮像範囲に含めて撮像する場合を例に説明する。（３）において、「滋賀県草津市西草津」が注目撮影位置情報として設定された注目物体データが生成されているので、この注目物体データがスルー画像の表示中に参照される。このため、スルー画像において、参照中の注目物体データにおける最も優先度の高い「犬」が注目物体として特定される。ここでは「犬」が注目物体として特定されていることが丸印で示されている。

図６は、注目物体出力処理の流れの一例を示すフローチャートである。注目物体出力処理は、制御部１０１が記憶部５０に記憶された注目物体出力プログラムを実行することにより、制御部１０１により実行される処理である。画像入力部１１１は、イメージセンサ１０が所定時間ごとに出力するスルー画像を受け付ける（ステップＳ０１）。

次のステップＳ０２において、位置情報取得部１１３は、ＧＰＳセンサ９０が出力するＧＰＳ信号を受け付けることにより、現在の位置を示す位置情報を取得する。

ステップＳ０３において、物体認識部１１７は、ステップＳ０１において受け付けられたスルー画像から被写体を認識する。複数の被写体が含まれる場合には、それら複数の被写体が認識される。

次のステップＳ０４において、位置情報比較部１３１は、現在位置に対応する注目物体データが記憶部５０に記憶されているか否かを判断する。具体的には、ステップＳ０２において取得された位置情報と同一の注目撮影位置情報を含む注目物体データが記憶部５０に記憶されているか否かを判断する。ステップＳ０２において取得された位置情報と同一の注目撮影位置情報を含む注目物体データが記憶されているならば処理をステップＳ０５に進めるが、そうでなければ処理をステップＳ０７に進める。

ステップＳ０５において、物体比較部１３３は、被写体に対応する注目物体候補があるか否かを判断する。具体的には、現在位置に対応するステップＳ０４において取得された注目物体データに含まれる注目物体候補と、ステップＳ０３において認識された被写体とが同一であるか否かを判断する。注目物体候補と被写体との比較において、注目物体候補識別情報と被写体識別情報とが同一であれば一致と判断し、異なれば不一致と判断する。

なお、ステップＳ０３において複数の被写体が認識され、ステップＳ０２において取得された位置情報と同一の注目撮影位置情報を含む注目物体データに複数の注目物体候補識別情報が含まれる場合、それら複数の被写体それぞれの被写体識別情報と複数の注目物体候補識別情報とが比較される。被写体識別情報と注目物体候補識別情報とが複数の組で一致する場合、一致する注目物体候補識別情報のうち最も高い優先度に関連付けられた注目物体候補識別情報と一致する被写体を注目物体として特定する。

ステップＳ０５において、被写体に対応する注目物体候補がある場合、その被写体を注目物体として特定し、処理をステップＳ０６に進めるが、そうでなければ処理をステップＳ０７に進める。

ステップＳ０６において、注目物体出力部１２３は、ステップＳ０５において注目物体候補と一致した被写体の被写体識別情報と画像上の被写体の位置を示す被写体位置情報とを注目物体特定情報として出力する。

ステップＳ０７において、制御部１０１は、撮像されたか否かを判断する。操作部８０から撮像信号が入力されたならば処理をステップＳ０８に進めるが、そうでなければ処理をステップＳ０１に戻す。

ステップＳ０８において、撮影履歴生成部１１５は、撮影履歴データを生成し、記憶部５０に記憶された撮影履歴リスト５１に追加する。具体的には、ステップＳ０７において撮像された日時が撮影日時の項目に設定され、撮影時にステップＳ０２において取得された位置情報が撮影時位置情報の項目に設定され、撮影時にステップＳ０３において認識された被写体の被写体識別情報が被写体識別情報の項目に設定された撮影履歴データを生成し、注目物体出力処理を終了する。

図７は、注目物体データ生成処理の流れの一例を示すフローチャートである。注目物体データ生成処理は、注目物体出力処理において撮影履歴データが生成されるごとに実行される処理である。注目物体リスト管理部１２１は、ステップＳ０８において記憶された撮影履歴データを記憶部５０から抽出する（ステップＳ１１）。

次のステップＳ１２において、位置情報クラス分け部１４１は、ステップＳ１１において抽出された撮影履歴データから撮影時位置情報を抽出し、抽出した撮影時位置情報を含む注目物体データがある場合に、その注目物体データを更新対象として抽出する。撮影履歴データから抽出した撮影時位置情報を含む注目物体データがない場合には、注目物体リスト管理部１２１により新たに注目物体データが生成される。ここでは、撮影履歴データから抽出した撮影時位置情報を含む注目物体データがある場合を例に説明する。

次のステップＳ１３において、撮影回数計算部１４３は、撮影回数を計算する。撮影回数計算部１４３は、同じ撮影時位置情報を含む撮影履歴データを記憶部５０に記憶された撮影履歴リスト５１からすべて抽出し、処理対象に設定する。そして、処理対象とした撮影履歴データに基づいて、同じ被写体が撮影された撮影回数を計算する。互いに被写体識別情報が一致すれば、同じ被写体と判断し、被写体識別情報が一致するごとにカウントした回数を撮影回数として計算する。撮影回数計算部１４３は、同じ被写体識別情報ごとに被写体識別情報と撮影回数とを関連付ける。

次のステップＳ１４において、注目物体優先決定部１４５は、ステップＳ１３において計算された撮影回数が多い順に、被写体識別情報それぞれに対して高い優先度を付与する。

次のステップＳ１５において、注目物体データ生成・更新部１４７は、ステップＳ１２における更新対象の注目物体データを更新し、注目物体データ生成処理を終了する。具体的には、ステップＳ１２において処理対象とされた撮影履歴データに含まれる被写体識別情報を注目物体候補識別情報の項目に設定し、ステップＳ１４において被写体識別情報それぞれに対して決定された優先度を優先度の項目に設定することにより更新対象の注目物体データを更新する。

以上説明したように、本発明の第１の実施の形態における撮像装置１は、被写体を撮像するためのイメージセンサ１０が出力する、被写体を含む画像データを受け付ける画像入力部１１１と、現在の位置を示す位置情報を取得する位置情報取得部１１３と、画像入力部１１１から入力された画像データから被写体を認識する物体認識部１１７と、撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す注目物体データを含む注目物体リスト５３を管理する注目物体リスト管理部１２１と、位置情報取得部１１３により取得された位置情報で示される位置に対応する注目物体データと物体認識部１１７により認識された被写体とを比較する比較処理を行い、被写体と注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定部１１９と、注目物体特定部１１９により特定された注目物体を画像上において特定するための情報を出力する注目物体出力部１２３とを備える。

このため、比較処理により、被写体と注目物体候補とが一致する場合、該注目物体候補と一致する被写体が注目物体として特定される。現在の位置が過去に撮影された位置と同じであれば、現在ユーザが撮像しようとする被写体は、その過去の位置で撮影された被写体と同じである可能性がある。このため、その過去の位置で撮影された被写体と同じ被写体を注目物体として特定すれば、ユーザが注目して撮像しようとする被写体を特定できる可能性が高い。したがって、注目すべき物体を理解することができる。

なお、第１の実施の形態において、撮影回数計算部１４３は、被写体のうつり方およびうつる頻度の少なくとも一方によって定まる注目度に応じて、撮影回数を調整するようにしてもよい。具体的には、撮影回数計算部１４３は、画像上において被写体識別情報で示される被写体の大きさ、画像上の位置、時間の長さ、連続性、向きなどにより注目度を決定する。そして、撮影回数計算部１４３は、注目度が高い被写体ほど重み付け係数を大きくし、「１×重み付け係数」回を撮影回数に加算するようにする。

なお、被写体の大きさ、画像上の位置、向きは、被写体のうつり方を示すものである。一方、動画像における被写体がうつっている時間の長さ、連続撮影された画像における被写体の連続性は、被写体のうつる頻度を示すものである。

例えば、被写体の大きさについて、画像に占める割合が大きいほど注目度を高くすればよい。また、画像上における被写体の位置について、注目物体位置情報に基づいて被写体が画像の中心付近に近いほど注目度を高くすればよい。また、時間の長さについて、動画像を撮影する場合における動画像中のフレーム数が多くなるほど注目度を高くすればよい。さらに、被写体の向きについて、被写体が「人」である場合に、「顔」および「体」が正面を向いているほど注目度を高くすればよい。連続撮影された画像における被写体の連続性について、連続して撮影された回数が多いほど注目度を高くすればよい。

例えば、撮影回数計算部１４３は、注目度が所定閾値以上の被写体について、「１×２（重み付け係数）」回だけ撮影回数をカウントアップし、注目度が所定閾値未満の被写体について、「１×１（重み付け係数）」回だけ撮影回数をカウントアップする。

また、第１の実施の形態においては、注目物体データの注目物体候補識別情報と一致する被写体のうち最も高い優先度に関連づけられた被写体を注目物体として特定するようにしたが、これに限定するものではない。優先度の高い順に上位２つの注目物体候補識別情報と同じ被写体識別情報を注目物体として特定してもよい。また、同じ優先度の注目物体候補識別情報と複数の被写体識別情報とがそれぞれ一致する場合、それら複数の被写体識別情報を注目物体として特定してもよい。

また、現在の撮影位置と同じ情報を含む注目物体データが存在しない場合には、地図情報を利用して、現在の撮影位置に近い位置（具体的には、現在の撮影位置から所定距離以内で最も近い位置）を示す注目撮影位置情報を含む注目物体データを利用して、注目物体を特定するようにしてもよい。

また、過去の撮影位置において認識されていない被写体が現在の撮影位置において認識された場合に、その被写体をさらに注目物体として特定してもよい。具体的には、現在の撮影位置と同じ注目撮影位置情報を含む注目物体データに含まれる被写体識別情報の被写体と、その注目物体データに含まれない被写体識別情報の被写体とが認識された場合、最も高い優先度に関連付けられた被写体識別情報の被写体と、注目物体データに含まれない被写体識別情報の被写体とを注目物体として特定する。

図１０は、撮影された被写体と注目物体として特定された被写体とを示す図である。ここでは、「滋賀県草津市西草津」が注目撮影位置情報として設定され、「Ａさん」、「Ｂさん」および「Ｃさん」が注目物体候補識別情報として設定され、「Ａさん」が最も優先度が高く、２番目に「Ｂさん」の優先度が高く、３番目に「Ｃさん」の優先度が高い注目物体データＡが記憶部５０に記憶されている場合を例に説明する。

項目（１）〜（７）それぞれについて、撮影時の位置は、注目物体と同じ「滋賀県草津市西草津」で共通しているので、撮影時に注目物体データＡが参照される。例えば項目（１）〜（６）では、注目物体候補と一致する被写体のうち最も優先度の高い被写体が注目物体として特定される。項目（７）では、Ａ〜Ｄさんが被写体となっており、Ｄさんは注目物体データには含まれない被写体である。換言すれば、「滋賀県草津市西草津」で過去に撮影されたことのない被写体である。項目（７）の条件で撮影する場合には、注目物体候補と一致する被写体のうち最も優先度の高いＡさんと、注目物体データには含まれないＤさんが注目物体として特定される。

＜第２の実施の形態＞
第２の実施の形態においては、ＧＰＳ信号で特定される位置に存在する施設の施設情報を撮影履歴リストに含めて記憶するものである。図８は、第２の実施の形態における制御部が備える機能の一例を記憶部が記憶するデータとともに示す機能ブロック図である。

図８に示す制御部１０１Ａが図２に示す制御部１０１と異なる点は、位置情報取得部１１３が位置情報取得部１１３Ａに変更された点、注目物体リスト管理部１２１が注目物体リスト管理部１２１Ａに変更された点、注目物体特定部１１９が注目物体特定部１１９Ａに変更された点である。ここでは、図８に示す制御部１０１Ａが図２に示す制御部１０１と異なる点について主に説明する。

位置情報取得部１１３Ａは、ＧＰＳセンサ９０が出力するＧＰＳ信号を取得するとともに、ＧＰＳ信号で特定される位置に存在する施設の施設情報を取得する。例えば、位置情報取得部１１３Ａは、地図情報と地図上の位置に関連付けた施設情報とを記憶しており、地図情報および施設情報に基づいて、ＧＰＳ信号で特定される位置に対応する施設情報を取得すればよい。施設情報は、施設の種別であり、例えば「駅」や「コンビニエンスストア」などを示す情報である。なお、位置情報取得部１１３Ａは、ＧＰＳ信号で特定される位置に対応する施設情報を記憶していない場合、施設情報を取得しない。

位置情報取得部１１３Ａにより取得された施設情報は、撮影履歴データに含められ、撮影履歴データが記憶部５０に記憶された撮影履歴リスト５１Ａに追加される。この場合、撮影履歴データは、さらに施設情報の項目が含まれ、その項目に施設情報が設定される。

図１１は、第２の実施の形態における撮影履歴データの一例を示す図である。図１１に示されるように、第１の実施の形態における撮影履歴データに、施設情報が設定される施設情報の項目が追加されている。施設情報の項目には、位置情報取得部１１３Ａが位置情報とともに施設情報を取得した場合に、設定される。

注目物体リスト管理部１２１Ａは、撮影履歴データに基づいて、第１，第２注目物体データを生成し、第１注目物体データを第１注目物体リスト５３Ａに追加し、第２注目物体データを第２注目物体リスト５５に追加する。第１注目物体データは、図４に示す注目物体データと同じであるので、ここでは説明を繰り返さない。第２注目物体データは、注目施設情報と、注目物体候補識別情報と、優先度とを関連付ける第２注目物体レコードを含む。

第２注目物体レコードは、注目施設情報の項目と、注目物体候補識別情報の項目と、優先度の項目とを含む。注目施設情報の項目には、撮影履歴データに含まれる撮影時施設情報が重複することなく設定され、注目物体候補識別情報の項目には、撮影時施設情報に関連付けられた被写体識別情報が設定される。注目物体候補識別情報の項目に複数の被写体識別情報が設定される場合、それら複数の被写体識別情報それぞれについて決定された優先度が優先度の項目に設定される。

図１２は、第２の実施の形態における注目物体データの一例を示す図である。図１２に示されるように、第１の実施の形態における注目物体データには、注目位置情報の項目に代えて、注目施設情報の項目が含まれる。注目施設情報の項目には、撮影履歴データの施設情報の項目に含まれる施設情報が重複することなく設定される。注目物体候補識別情報の項目には、施設情報に関連付けられた被写体識別情報が設定される。注目物体候補識別情報の項目に複数の被写体識別情報が設定される場合、それら複数の被写体識別情報それぞれについて決定された優先度が優先度の項目に設定される。

注目物体リスト管理部１２１Ａは、位置情報クラス分け部１４１と、施設情報分類部１４９と、撮影回数計算部１４３と、注目物体優先決定部１４５と、第１注目物体データ生成・更新部１４７Ａと、第２注目物体データ生成・更新部１５１とを含む。第１注目物体データ生成・更新部１４７Ａは、図２に示す注目物体データ生成・更新部１４７と同じであるので、ここでは説明を繰り返さない。

施設情報分類部１４９は、記入指示に含まれる日時の撮影履歴データを処理対象として記憶部５０に記憶された撮影履歴リスト５１Ａから抽出し、抽出された撮影履歴データに含まれる撮影時施設情報と第２注目物体リスト５５とを比較する。処理対象の撮影履歴データに含まれる撮影時施設情報と同じ注目施設情報を含む注目物体データが存在する場合、その注目物体データを更新対象として更新指示に含めて第２注目物体データ生成・更新部１５１に出力するとともに、処理対象の撮影履歴データを含む更新時撮影回数計算指示を撮影回数計算部１４３に出力する。

一方、処理対象の撮影履歴データに含まれる撮影時施設情報と同じ注目施設情報を含む注目物体データが存在しない場合、処理対象の撮影履歴データを含む生成指示を第２注目物体データ生成・更新部１５１に出力するとともに、処理対象の撮影履歴データを含む生成時撮影回数計算指示を撮影回数計算部１４３に出力する。

これにより、撮影回数計算部１４３は、撮影時位置情報を含む撮影履歴データを記憶部５０に記憶された撮影履歴リスト５１Ａからすべて抽出し、処理対象に設定し、処理対象とした撮影履歴データに含まれる同じ被写体識別情報ごとに、撮影回数計算部１４３により撮影回数を計算し、注目物体優先決定部１４５は、撮影回数が多い順に、被写体識別情報それぞれに対して優先度を付与する。

第２注目物体データ生成・更新部１５１は、施設情報分類部１４９から更新指示が入力され、注目物体優先決定部１４５から被写体識別情報と優先度とが入力されると、更新指示で特定される注目物体データを更新する。

また、第２注目物体データ生成・更新部１５１は、施設情報分類部１４９から生成指示が入力されると、新たに第２注目物体データを生成し、記憶部５０に記憶された第２注目物体リスト５５に追加する。新たな第２注目物体データの注目施設情報の項目および注目物体候補の項目それぞれに、生成指示に含まれる撮影時施設情報および被写体識別情報が設定される。

注目物体特定部１１９Ａは、第１注目物体リスト５３Ａおよび第２注目物体リスト５５の何れかを用いて注目物体を特定する。本実施形態では、ユーザの指示に従って、第１注目物体リスト５３Ａおよび第２注目物体リスト５５の何れかを選択し、選択したリストを用いて注目物体を特定する。なお、注目物体の特定方法は注目物体特定部１１９と同様の処理であるため、ここでは説明を省略する。

撮影した位置が異なっていても、施設が同じである場合、ユーザは、同一の物体を注目物体として撮影することがある。例えば、全国各地の駅において様々な電車を撮影するような場合である。本実施形態によれば、施設の種別が同一の撮影履歴リストを用いて第２注目物体リスト５５が生成される。そのため、施設に応じて注目物体の特定を行ってほしい場合、ユーザは、第２注目物体リスト５５を選択する指示を制御部１０１Ａに入力することで、施設に応じた注目物体の特定処理を実行させることができる。これにより、過去に同一施設で撮影された回数が多い被写体が注目物体として特定される。

＜第３の実施の形態＞
第３の実施の形態においては、注目物体リスト５３の生成に加えて、他のユーザの撮影履歴リストと自身の撮影履歴リストとを統合することにより統合注目物体リストを生成するものである。

図９は、第３の実施の形態における制御部が備える機能の一例を記憶部が記憶するデータとともに示す機能ブロック図である。図９に示す制御部１０１Ｂが図２に示す制御部１０１と異なる点は、注目物体リスト管理部１２１が注目物体リスト管理部１２１Ｂに変更された点、通信部１２５が追加された点、注目物体特定部１１９が注目物体特定部１１９Ｂに変更された点である。その他の機能は、図２に示す制御部１０１と同じであるので、異なる点について主に説明する。なお、注目物体リスト５３の生成については上述したので、ここでは説明を繰り返さない。

注目物体リスト管理部１２１Ｂは、通信部１２５が他の撮像装置１から取得した他のユーザの撮影履歴リストが通信部１２５から入力されると、記憶部５０に記憶された撮影履歴リスト５１と、通信部１２５から入力された他のユーザの撮影履歴リストとを統合する。

なお、通信部１２５は、図１３に示すようにサーバ装置２００が管理する他の撮影履歴リストを、サーバ装置２００と通信することにより取得するようにすればよい。サーバ装置２００は、ユーザそれぞれが所有する撮像装置１から逐次撮影履歴リストを取得し、管理する。

ここで、記憶部５０に記憶された撮影履歴リストを第１撮影履歴リストといい、第１撮影履歴リストに含まれる撮影履歴データを第１撮影履歴データといい、通信部１２５から入力された他のユーザの撮影履歴リストを第２履歴リストといい、第２履歴リストに含まれる撮影履歴データを第２撮影履歴データという。

注目物体リスト管理部１２１Ｂは、位置情報クラス分け部１４１Ｂと、撮影回数計算部１４３Ｂと、注目物体優先決定部１４５Ｂと、統合注目物体データ生成部１６１とを含む。

位置情報クラス分け部１４１Ｂは、同じ撮影時位置情報ごとに第１撮影履歴データおよび第２撮影履歴データを分類する。具体的には、同じ撮影時位置情報を含む撮影履歴データを第１撮影履歴リストおよび第２撮影履歴リストそれぞれから抽出し、同一位置グループとしてグループ化する。位置情報クラス分け部１４１Ｂは、第１撮影履歴リストおよび第２撮影履歴リストそれぞれに含まれる撮影履歴データすべてを対象として、グループ化し、グループ化された撮影履歴データを含む撮影回数計算指示を撮影回数計算部１４３に出力する。

撮影回数計算部１４３Ｂは、位置情報クラス分け部１４１Ｂからの指示に応じて、被写体ごとの撮影回数を計算する。位置情報クラス分け部１４１Ｂから撮影回数計算指示が入力されると、同じ被写体が撮影された撮影回数を計算する。撮影回数計算部１４３Ｂは、同じ被写体識別情報ごとに被写体識別情報と撮影回数とを含む撮影回数組を生成し、同一位置グループに対して生成されたすべての撮影回数組と同一位置グループに含まれる撮影時位置情報とを含む撮影回数グループを生成する。撮影回数計算部１４３Ｂは、位置情報クラス分け部１４１Ｂによりグループ化された同一位置グループそれぞれに対して、撮影回数グループを生成し、生成された撮影回数グループを含む優先決定指示を注目物体優先決定部１４５Ｂに出力する。

注目物体優先決定部１４５Ｂは、注目物体候補の優先度を決定する。具体的に、撮影回数が多い順に、撮影回数グループに含まれる撮影回数組それぞれに対して高い優先度を決定する。注目物体優先決定部１４５Ｂは、撮影回数組に含まれる被写体識別情報と、その撮影回数組に対して決定された優先度とを含む優先度組を撮影回数グループに含まれる撮影回数組それぞれに対して生成する。そして、注目物体優先決定部１４５Ｂは、生成された優先度組と、撮影回数グループに含まれる撮影時位置情報とを含む優先度グループを、撮影回数計算部１４３Ｂにより生成された撮影回数グループそれぞれに対して生成し、生成された優先度グループを含む統合物体データ生成指示を統合注目物体データ生成部１６１に出力する。

統合注目物体データ生成部１６１は、注目物体優先決定部１４５Ｂから統合物体データ生成指示が入力されると、優先度グループに基づいて統合注目物体データを生成する。具体的には、注目撮影位置情報の項目、注目物体候補識別情報の項目および優先度の項目それぞれに、優先度グループに含まれる撮影時位置情報、被写体識別情報および優先度が設定される。統合注目物体データ生成部１６１は、注目物体優先決定部１４５Ｂにより生成された優先度グループそれぞれに対して統合注目物体データを生成し、生成された統合注目物体データを含む統合注目物体リスト５７を記憶部５０に記憶する。

また、注目物体の特定に注目物体リスト５３を使用するか、統合注目物体リスト５７を使用するかは、注目物体特定部１１９Ｂがユーザの設定により切り換えるようにすればよい。例えば、初めて行った観光地で撮影する場合、同じ観光地で他の人が撮影している回数の多い物体を被写体として撮影することが多い。このような、統合注目物体リスト５７を選択すればよい。

なお、統合物体データを生成する際、特定の注目物体識別情報を除いて統合するようにしてもよい。特定の注目物体候補識別情報は、例えば「人」を示す注目物体候補識別情報である。

〔ソフトウェアによる実現例〕
撮像装置１の制御ブロック（特に制御部１０１，１０１Ａ，１０１Ｂ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、撮像装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 撮像装置
１０ イメージセンサ
５１，５１Ａ 撮影履歴リスト
５３ 注目物体リスト
５３Ａ 第１注目物体リスト
５５ 第２注目物体リスト
５７ 統合注目物体リスト
１０１，１０１Ａ，１０１Ｂ 制御部
１１１ 画像入力部
１１３，１１３Ａ 位置情報取得部
１１７ 物体認識部
１１９，１１９Ａ，１１９Ｂ 注目物体特定部
１２１，１２１Ａ，１２１Ｂ 注目物体リスト管理部
１２３ 注目物体出力部

Claims (13)

1. 被写体を撮像するための撮像手段が出力する画像データを受け付ける画像入力部と、
   現在の位置を示す位置情報を取得する位置情報取得部と、
   前記画像入力部から入力された画像データから被写体を認識する物体認識部と、
   撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第１注目物体データを含む第１注目物体リストを管理する注目物体リスト管理部と、
   前記位置情報取得部により取得された位置情報で示される位置に対応する前記第１注目物体データと前記物体認識部により認識された被写体とを比較する比較処理を行い、前記被写体と前記注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定部と、
   前記注目物体特定部により特定された注目物体を画像上において特定するための情報を出力する注目物体出力部と、を備え、
   前記注目物体特定部は、前記位置情報取得部により取得された位置情報で示される位置に対応する第１注目物体データがないとき、前記位置情報で示される位置に近い位置に対応する第１注目物体データと前記物体認識部により認識された被写体とを比較する処理を前記比較処理として行い、該第１注目物体データに含まれる注目物体候補と前記被写体とが一致する場合、該注目物体候補と一致する被写体を前記注目物体として特定することを特徴とする、画像処理装置。
2. 前記注目物体リスト管理部は、過去に撮影された画像データから認識された被写体の中から複数の被写体を注目物体候補として選択する場合、各注目物体候補に対して優先度を付けて管理しており、
   前記優先度は、過去に撮影された画像データから認識された認識回数に基づいて設定されることを特徴とする、請求項１に記載の画像処理装置。
3. 前記注目物体リスト管理部は、前記画像データにおいて、被写体のうつり方およびうつる頻度の少なくとも一方によって定まる注目度に応じて、前記認識回数を調整し、調整後の認識回数に基づいて前記優先度を設定することを特徴とする、請求項２に記載の画像処理装置。
4. 前記注目物体特定部は、前記比較処理において前記第１注目物体データの注目物体候補と一致する被写体が複数存在する場合、前記優先度の上位所定数の注目物体候補と一致する複数の被写体を前記注目物体として特定することを特徴とする、請求項２または３に記載の画像処理装置。
5. 前記注目物体特定部は、前記比較処理において、前記注目物体候補と一致する被写体と一致しない被写体とが存在する場合、該注目物体候補と一致する被写体のうち最も優先度が高い注目物体候補に一致する被写体に加えて、前記一致しない被写体を前記注目物体として特定することを特徴とする、請求項２または３に記載の画像処理装置。
6. 被写体を撮像するための撮像手段が出力する画像データを受け付ける画像入力部と、
   現在の位置を示す位置情報を取得する位置情報取得部と、
   前記画像入力部から入力された画像データから被写体を認識する物体認識部と、
   撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第１注目物体データを含む第１注目物体リストを管理する注目物体リスト管理部と、
   前記位置情報取得部により取得された位置情報で示される位置に対応する前記第１注目物体データと前記物体認識部により認識された被写体とを比較する比較処理を行い、前記被写体と前記注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定部と、
   前記注目物体特定部により特定された注目物体を画像上において特定するための情報を出力する注目物体出力部と、を備え、
   前記注目物体リスト管理部は、他の画像処理装置で作成された、位置ごとの他ユーザ注目物体データを含む他ユーザ注目物体リストを取得し、取得した他ユーザ注目物体リストと前記第１注目物体リストとを統合した統合注目物体リストをさらに管理しており、
   前記注目物体特定部は、ユーザの指示により前記統合注目物体リストが選択されると、該統合注目物体リストのうち前記位置情報取得部により取得された位置情報で示される位置に対応する統合注目物体データと前記物体認識部により認識された被写体とを比較する処理を前記比較処理として行うことを特徴とする、画像処理装置。
7. 前記注目物体リスト管理部は、他ユーザ注目物体リストから所定の注目物体候補を除いた上で、前記他ユーザ注目物体リストと前記第１注目物体リストとを統合することを特徴とする、請求項６に記載の画像処理装置。
8. 前記位置情報は、緯度と経度とで特定される位置を中心に所定範囲内を示すことを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記位置情報は、所定の行政区画単位で示されることを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
10. 被写体を撮像するための撮像手段が出力する画像データを受け付ける画像入力部と、
    現在の位置を示す位置情報を取得する位置情報取得部と、
    前記画像入力部から入力された画像データから被写体を認識する物体認識部と、
    撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第１注目物体データを含む第１注目物体リストを管理する注目物体リスト管理部と、
    前記位置情報取得部により取得された位置情報で示される位置に対応する前記第１注目物体データと前記物体認識部により認識された被写体とを比較する比較処理を行い、前記被写体と前記注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定部と、
    前記注目物体特定部により特定された注目物体を画像上において特定するための情報を出力する注目物体出力部と、を備え、
    前記位置情報取得部は、前記位置情報とともに、該位置情報で示される位置に存在する施設を示す施設情報を取得し、
    前記注目物体リスト管理部は、前記位置情報取得部が施設情報を取得した場合、前記施設情報ごとに、当該施設の位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第２注目物体データを含む第２注目物体リストをさらに管理し、
    前記注目物体特定部は、前記位置情報取得部が施設情報を取得した場合、該施設情報に対応する第２注目物体データと前記物体認識部により認識された被写体とを比較する処理を前記比較処理として行うことを特徴とする、画像処理装置。
11. 被写体を撮像するための撮像手段が出力する画像データを受け付ける画像入力ステップと、
    現在の位置を示す位置情報を取得する位置情報取得ステップと、
    前記画像入力ステップにおいて入力された画像データから被写体を認識する物体認識ステップと、
    撮影時の位置ごとに、当該位置において過去に撮影された画像データから認識された被写体の中から選択された注目物体候補を示す第１注目物体データを含む第１注目物体リストを管理する注目物体リスト管理ステップと、
    前記位置情報取得ステップにおいて取得された位置情報で示される位置に対応する前記第１注目物体データと前記物体認識ステップにおいて認識された被写体とを比較する比較処理を行い、前記被写体と前記注目物体候補とが一致する場合、該注目物体候補と一致する被写体を注目物体として特定する注目物体特定ステップと、
    前記注目物体特定ステップにおいて特定された注目物体を画像上において特定するための情報を出力する注目物体出力ステップと、を含み、
    前記注目物体特定ステップでは、前記位置情報取得ステップにおいて取得された位置情報で示される位置に対応する第１注目物体データがないとき、前記位置情報で示される位置に近い位置に対応する第１注目物体データと前記物体認識ステップにおいて認識された被写体とを比較する処理を前記比較処理として行い、該第１注目物体データに含まれる注目物体候補と前記被写体とが一致する場合、該注目物体候補と一致する被写体を前記注目物体として特定することを特徴とする、画像処理方法。
12. 請求項１から１０のいずれか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、コンピュータを上記各部として機能させるための画像処理プログラム。
13. 請求項１２に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images