JP5969062B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、少なくとも撮影地点と被写体とにそれぞれ関連するイラストレーションを含む画像データを作成する画像処理装置及び画像処理方法に関する。

既に撮影された撮影画像等の情報に対して、その撮影後に位置データなどを簡単に付加する技術がある。例えば特許文献１は、被写体を撮影する撮影部を有し、この撮影部の位置又は向きのいずれか一方又は両方を検出部により検出し、予め記録された撮影画像情報に、検出部により検出された位置又は向きのいずれか一方又は両方に基づく情報を付加する電子カメラについて開示しています。

特開２００９−６０３４０号公報

ユーザとしては、カメラ等の撮影によって取得された撮影画像を観賞したときに、当該撮影画像を撮影したときの状況、例えば撮影した場所や、この撮影した場所が旅行等によって行った場所であるなどといった状況が直感的に把握しやすいことの要望がある。例えば、人物等の主要被写体を撮影して取得された撮影画像であっても、主要被写体の背景に旅行先を把握できるような例えば建造物等が何ら存在していなければ、撮影画像を観賞しても、当該撮影画像を撮影したときの状況を直感的に把握できるものではない。又、撮影画像中に例えば主要被写体に何ら関連の無い不要な情報が存在していると、かえって撮影
画像を撮影したときの状況を直感的に把握するのに有益でないことがある。ユーザとしては、撮影画像を観賞したときに、当該撮影画像を撮影したときの状況を直感的に把握できることの要望がある。

本発明の目的は、撮影画像を撮影したときの状況を直感的に把握できる画像を取得できる画像処理装置及び画像処理方法を提供することにある。

本発明の主要な局面に係る画像処理装置は、被写体を撮像する撮像部の撮像により取得された画像データから前記被写体を判別する被写体判別部と、少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された前記撮影姿勢に関連するイラスト地図情報と、前記被写体判別部により判別された前記被写体に関連する人物イラストレーションを含むイラスト画像データとを合成してイラスト合成画像データを作成する関連画像データ作成部とを具備する。
本発明の主要な局面に係る画像処理方法は、撮像部の撮像により取得された画像データから被写体を被写体判別部により判別し、少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された前記撮影姿勢に関連するイラスト地図情報と、前記被写体判別部により判別された前記被写体に関連する人物イラストレーションを含むイラスト画像データとを関連画像データ作成部により合成してイラスト合成画像データを作成する。

本発明によれば、撮影画像を撮影したときの状況を直感的に把握できる画像を取得できる画像処理装置及び画像処理方法を提供できる。

本発明に係る撮像装置の第１の実施の形態を示す構成図。 同装置における各種イラストレーション情報を示す図。 同装置を持って写真撮影するときのユーザの存在する地図上の位置を示す図。 同装置の画角内にビルディングが存在するか否かの判定を説明するための図。 同装置により表示候補となった対象被写体のイラスト画像データ中での合成位置を説明するための図。 同装置によるビルディングの関連データの合成位置を説明するための図。 同装置によるビルディングの大きさの決定を説明するための図。 同装置によるビルディングの幅の決定方法を説明するための図。 同装置により作成した人物のイラストレーションであるアバター情報とタワー及びビルディングの各イラストレーション情報とを合成したイラスト画像データの一例を示す図。 同装置により道路に沿って存在する建造物に対する歪み処理を説明するための図。 同装置におけるイラストレーション画像作成を含む撮影モードフローチャート。 同装置によるイラスト合成画像データの作成の一例を示す図。 本発明に係る撮像装置の第２の実施の形態を説明するために用いる地表の諸物体を縮尺した地図情報の一例を示す図。 同装置による簡易地図情報を用いてのイラスト合成画像データの作成の一例を示す図。 同装置におけるイラストレーション画像作成を含む撮影モードフローチャート。 同装置による海岸沿いでの人物の撮影状況を示す図。 同装置の動作により取得される撮影画像データやイラスト合成画像データ等を示す図。

以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置の構成図を示す。この撮像装置１は、カメラ本体１０と、撮影レンズ部（交換レンズとも称する）２０とを有する。撮影レンズ部２０は、カメラ本体１０に対して取り付け、取り外し可能である。この撮影レンズ部２０は、被写体からの像をカメラ本体１０に送るもので、撮影レンズ系２１と、操作部２２と、駆動部２３と、レンズデータ記憶部２４と、レンズ側通信部２５とを有する。

撮影レンズ系２１は、ズームレンズ２１ａを備える。この撮影レンズ部２０は、複数用意され、それぞれズームレンズ２１ａによる倍率、焦点距離、明るさ等が異なる。撮影レンズ部２０は、ズームレンズ２１ａを備えていないものであってもよく、この場合には操作部２２を備えていない。操作部２２は、例えばユーザの操作を受けてズームレンズ２１ａのズーム位置を可変可能である。駆動部２３は、撮影レンズ部２０の絞り、ピント等を制御し、被写体に対する様々な構図を可能とする。レンズデータ記憶部２４には、撮影レンズ部２０の画角などのデータが予め記憶されている。レンズ側通信部２５は、カメラ本体１０との間でデータ通信を行う。

カメラ本体１０は、撮影レンズ部２０からの被写体の像を撮影してその撮影画像データを取得するもので、信号処理・制御部３０と、撮像部３１と、モーション判定部３２と、記録部３３と、衛星航法システム（ＧＰＳ）部３４と、本体側通信部３５と、時計部３６と、操作判定部３７と、方位判定部３８と、表示部３９と、外部通信部４０とを有する。

撮像部３１は、撮影レンズ部２０からの被写体の像を画像信号に変換する。
信号処理・制御部３０は、マイクロコンピュータを搭載し、このマイクロコンピュータの処理によって撮像部３１からの画像信号を画像処理し、被写体の動画をスルー画像として表示部３９に表示し、撮影時に静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、記録部３３に記録等のカメラ本体１０内の撮影全般の制御を行う。

モーション判定部３２は、被写体の動画から被写体の動きを判定する。
記録部３３は、撮影時に取得された撮影画像データ等を記録する。この記録部３３には、関連情報記憶部としての関連情報データベース３３ａが形成されている。
この関連情報データベース３３ａには、当該装置１での撮影地点と被写体とにそれぞれ関連するイラストレーションを含む複数のイラスト画像データが予め記憶されている。これらイラスト画像データは、例えば地図データ、主要被写体となる例えば人物のイラストレーションの画像データ等である。
地図データは、例えば一般の地図情報であって、地表の諸物体、地勢等を予め設定された縮尺度により縮尺してなる。

イラスト画像データとしては、例えば、図２（ａ）に示すような人物のイラストレーションであるアバター情報Ｈ１と、同図（ｂ）に示すようなタワーのイラストレーション情報Ｈ２と、同図（ｃ）に示すようなビルディングのイラストレーション情報Ｈ３等を有する。イラスト画像データとしては、人物やビルディングの他に、山、空、夜間等を表わすイラストレーションが記憶されている。

ＧＰＳ部３４は、本装置１が現在存在する三次元位置を示す位置データ（以下、ＧＰＳデータと称する）を取得する。
時計部３６は、時刻を計時し、その時刻情報を取得する時刻情報取得部として機能を有する。この時刻情報は、例えば撮影時に取得された撮影画像データを整理するために当該撮影画像データに添付される。
操作判定部３７は、ユーザの様々な操作を受けて、その操作内容を判定する。操作内容は、例えば電源オン・オフ、各種モードのスイッチ、レリーズボタンの押し操作等である。

方位判定部３８は、本装置１の撮影レンズ部２０による撮影範囲が向いている方位を検出し、その方位データを出力する。なお、この方位判定部３８と上記ＧＰＳ部３４とは、撮像部３１により撮像を行う撮影地点の情報を検出する撮影位置検出部として機能する。
表示部３９は、被写体の動画をスルー画像や、撮影画像データ、本装置１で作成されるイラスト合成画像データ等を表示するもので、例えば液晶ディスプレイから成る。なお、イラスト合成画像データは、後述するように例えば人物やビルディング等の建造物、タワー等のイラストレーションを含む各イラスト画像データを合成してなる。

本体側通信部３５は、撮影レンズ部２０のレンズ側通信部２５との間でデータ通信を行う。
外部通信部４０は、ネットワーク４１を介して外部機器４２に接続されている。この外部機器４２は、例えばサーバ等であり、例えば上記関連情報データベース３３ａに記憶されているイラスト画像データと同様のイラスト画像データ、例えば地図情報、図２（ａ）に示すような人物のイラストレーションであるアバター情報Ｈ１と、同図（ｂ）に示すようなタワーのイラストレーション情報Ｈ２と、同図（ｃ）に示すようなビルディングのイラストレーション情報Ｈ３等を有する。

上記信号処理・制御部３０は、被写体判別部としての物体認識部５０と、関連画像データ作成部５１とを有する。
物体認識部５０は、被写体を判別するもので、例えば被写体のスルー画像や撮影画像データ中の被写体中から人物の顔データを判別する。この人物の顔データは、例えば人物の顔の外観に基づいて取得する。
関連画像データ作成部５１は、撮影するときに、少なくとも被写体に関連するイラストレーションの画像データと、撮影する地点に関連するイラストレーションの画像データとを合成してイラスト合成画像データを作成する。
具体的に、関連画像データ作成部５１は、ＧＰＳ部３４により取得されたＧＰＳデータと、方位判定部３８により検出された方位データと、撮影レンズ系２１のレンズデータ記憶部２４に記憶されている画角データと、物体認識部５０により判別された人物の顔データとをそれぞれ受け取り、これらＧＰＳデータと方位データと画角データと人物の顔データとに関連する少なくとも１つのイラスト画像データを関連情報データベース３３ａから読み出してイラストレーションを含むイラスト合成画像データを作成する。

例えば物体認識部５０により人物の顔データを判別すると、関連画像データ作成部５１は、当該人物の顔データに関連するイラストレーションのイラスト画像データを関連情報データベース３３ａから読み出してイラスト合成画像データを作成する。
関連画像データ作成部５１は、ＧＰＳデータと、方位データと、画角データとに基づいて当該装置１の撮影範囲内に存在する例えばビルディング等の対象被写体を認識し、当該対象被写体のイラストレーションのイラスト画像データを関連情報データベース３３ａから読み出してイラスト合成画像データを作成する。

関連画像データ作成部５１は、ＧＰＳデータと、方位データと、画角データとに基づいて例えばビルディング等の対象被写体のイラスト画像データ中における合成位置を決定する。
関連画像データ作成部５１は、地図データを有し、ＧＰＳデータと、方位データと、画角データとに基づいて撮影範囲内に存在する例えば名所やビルディング等の対象被写体を関連情報データベース３３ａに記憶されている地図データ上で認識する。
関連画像データ作成部５１は、例えばビルディング等の対象被写体までの距離と、画角データとに基づいてイラスト合成画像データ中における対象被写体の幅を決定する。

関連画像データ作成部５１は、例えばビルディング等の対象被写体までの距離に応じてイラスト画像データに歪み処理を行う。
関連画像データ作成部５１は、時計部３６により取得される時刻情報に対応して当該時刻を表わすイラストレーションのイラスト画像データを関連情報データベース３３ａから読み出してイラスト合成画像データを作成する。
関連画像データ作成部５１は、イラスト画像データを撮影時に取得される撮影画像データに関連付けて記録部３３に記録する。

具体的に、関連画像データ作成部５１による関連情報データベース３３ａからのイラスト画像データの読み出しについて説明する。
図３はユーザが本装置１を持って写真撮影するときのユーザの存在する地図情報上の位置を示す。この地図情報は、記録部３３の関連情報データベース３３ａに記憶されている。本装置１の撮影方向には、例えば４棟のビルディングＡ〜Ｄが存在すると共に、タワーＥが存在する。又、Ｘ駅、Ｙ駅が存在する。本装置１は、画角θ（θ１又はθ２）を持つものとする。
図４は例えばビルディングＡ、Ｂが本装置１の画角θ内に存在するか否かの判定を説明するための図を示す。本装置１の存在する位置データを例えば緯度ｙ０、経度ｘ０（ｙ０，ｘ０）とする。この本装置１の位置データは、ＧＰＳ部３４により取得される。本装置１の存在する緯度、経度（ｙ０、ｘ０）は、ＸＹ座標系の基準となる。

本装置１の撮影方位Ｙ１は、
Ｙ１＝ｔａｎθ・Ｘ …（１）
により表わされる。本装置１の方位データは、方位判定部３８によって取得される。
本装置１の撮影レンズ部２０による撮影範囲の最外角は、次式（２）、（３）により表わされる。
Ｙ２＝ｔａｎ（θ＋θ／２）Ｘ …（２）
Ｙ３＝ｔａｎ（θ−θ／２）Ｘ …（３）
により表わされる。

ビルディングＡの位置データは、緯度ｙ１、経度ｘ１（ｙ１，ｘ１）となり、ＸＹ座標系の基準（ｙ０、ｘ０）との相対的な経度、緯度は、（ｙ１−ｙ０，ｘ１−ｘ０）となる。
ビルディングＢの位置データは、緯度ｙ２、経度ｘ２（ｙ２，ｘ２）となり、ＸＹ座標系の基準（ｙ０、ｘ０）との相対的な経度、緯度は、（ｙ２−ｙ０，ｘ２−ｘ０）となる。
しかるに、各ビルディングＡ、Ｂの緯度、経度（ｙ１，ｘ１）、（ｙ２，ｘ２）を本装置１の緯度、経度（ｙ０、ｘ０）を基準として上記各式（２）、（３）に代入して緯度を算出し、これら緯度が各ビルディングＡ、Ｂの各相対的な経度（ｙ１−ｙ０）、（ｙ２−ｙ０）よりも小さければ、各ビルディングＡ、Ｂは、本装置１の撮影範囲内に存在するものとなり、イラスト画像データとして表示候補となる。図４に示すようにビルディングＡは本装置１の撮影範囲外となり、イラスト画像データとして表示候補から外れる。ビルディングＢは本装置１の撮影範囲内にあり、イラスト画像データとして表示候補になる。

図５はイラスト画像データとして表示候補となったビルディングＢのイラスト合成画像データ中での合成位置を説明するための図を示す。ビルディングＢは、Ｙ軸の緯度ｙ０からの角度φｂ０に存在する。この角度φｂ０は、ビルディングＢの緯度、経度（ｙ２，ｘ２）から
φｂ０＝ａｒｃｔａｎ（ｘ２／ｙ２） …（４）
により算出される。

本装置１の撮影方位Ｙ１と、本装置１の緯度、経度（ｙ０、ｘ０）からビルディングＢの緯度、経度（ｙ２，ｘ２）を通る直線との相対角度φｂは、
φｂ＝φｂ０−θ …（５）
となる。
しかるに、ビルディングＢのイラスト画像データは、図６（ａ）に示すようにイラスト合成画像データＫ中において本装置１の撮影方位Ｙ１から相対角度φｂのところに合成される。図６（ｂ）はイラスト合成画像データＫ中にイラストレーションにより描かれたビルディングＢのイラスト画像データＳを合成した結果を示す。

イラストレーションにより描かれたビルディングＢのイラスト画像データＳの大きさは、次の通りに決定される。図７は例えばビルディングＢの大きさの決定を説明するための図を示す。本装置１が存在する緯度、経度（ｙ０、ｘ０）から各ビルディングＡ、Ｂ、Ｃまでの各距離Ｌａ、Ｌｂ、Ｌｃは、例えば関連情報データベース３３ａに記憶されている地図情報、又は本装置１におけるピント合わせの情報から取得できる。例えば本装置１が存在する緯度、経度（ｙ０、ｘ０）からビルディングＢまでの距離Ｌｂは、
Ｌｂ＝｛（ｘ２−ｘ０）２＋（ｙ２−ｙ０）２｝２・（１／２） …（６）
により算出される。

ビルディングＢの高さＨ、幅Ｗは、例えば関連情報データベース３３ａに記憶されている地図情報、又はネットワーク４１を介して外部機器４２に記憶されている地図情報から取得してもよい。
ここでは、例えば仮にビルディングＢの高さＨ、幅Ｗをそれぞれ１００ｍ、１００ｍとする。又、図８に示すように本装置１の撮影レンズ系２１とビルディングＢとの光学的な関係からビルディングＢの幅Ｗに対する角度をθｗｂとすると、この角度θｗｂは、次式により表わされる。
θｗｂ＝ａｒｃｔａｎ（Ｗ／Ｌｂ） …（７）
従って、本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づいてイラスト合成画像データＫ中に合成するビルディングＢの幅を決定できる。

図９は図２（ａ）に示す人物のイラストレーションであるアバター情報Ｈ１と、同図（ｂ）に示すタワーのイラスト画像データＨ２と、同図（ｃ）に示すビルディングのイラスト画像データＨ３とを合成したイラスト合成画像データＫの一例を示す。このイラスト合成画像データＫ中においてビルディングＢは、本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づく幅で、かつイラスト合成画像データＫ中において本装置１の撮影方位Ｙ１から相対角度φｂのところに合成される。

イラスト合成画像データＫ中におけるタワーのイラスト画像データＨ２やビルディングのイラスト画像データＨ３の上下方向の配置位置は、図９に示すようにイラスト合成画像データＫ中に対角線Ｔ１、Ｔ２を設け、これら対角線Ｔ１、Ｔ２に合わせてタワーのイラスト画像データＨ２やビルディングのイラスト画像データＨ３を配置する。

図９に示すように例えば人物のイラストレーションであるアバター情報Ｈ１と、タワーのイラスト画像データＨ２と、ビルディングのイラスト画像データＨ３との合成は、本装置１の存在する位置（ｙ０、ｘ０）の遠方から近傍に向かって存在する順序に合成し、最後に人物のアバター情報Ｈ１を合成し、イラスト合成画像データＫを作成する。ここでは、先ず、タワーのイラスト画像データＨ２を合成し、次にビルディングのイラスト画像データＨ３を合成し、最後に人物のアバター情報Ｈ１を合成する。

本装置１の画角θ内に山等の大きな対象被写体が人物等の背景に存在する場合、山等の大きな対象被写体の高さや当該対象被写体までの距離を考慮して山等の大きな対象被写体のイラスト画像データを最初に合成してもよい。
被写体の撮影では、図１０（ａ）に示すように本装置１の撮影方位Ｙ１が地図情報上の道路５０の方向に沿って向けられることがある。この道路５０沿いには、ビルディングＡが存在する。このような状況で撮影をしようとする場合には、ビルディングのイラスト画像データＨ３に対して図１０（ｂ）に示すように歪み処理を行う。この歪み処理は、遠方になるに従って縮小する処理である。これにより、ビルディングのイラスト画像データＨ３は、遠近法の技法により表現したイラストレーションとなる。

地図情報だけでなく、被写体のスルー画像を表示部３９に表示するときの画像データや、撮影時の撮影画像データから空や建造物を検出し、このうち建造物の輪郭を判定し、図１０（ｂ）に示すような建造物の歪み処理を行ってもよい。この歪み処理は、例えば図９に示す対角線Ｔ１、Ｔ２に沿ってイラスト合成画像データＫの中央部に近い縦方向の線を縮小し、横方向については例えば半分程度縮小する。

次に、本装置の動作について図１１に示すイラストレーション画像作成を含む撮影モードフローチャートに従って説明する。
信号処理・制御部３０は、ステップＳ１１において、撮影モードであるか否かを判断する。この判断の結果、撮影モードでなければ、再生モード等のその他のモードに移る。
撮影モードであれば、信号処理・制御部３０は、ステップＳ１２において、本体側通信部３５とレンズ側通信部２５とを介して撮影レンズ部２０のレンズデータ記憶部２４から当該撮影レンズ部２０の画角などのデータを取得する。信号処理・制御部３０は、取得した画角などのデータを一時的に記録部３３等に記憶する。

信号処理・制御部３０は、ステップＳ１３において、イラスト合成画像データを作成するためのアバターモードであるか否かを判断する。この判断の結果、アバターモードでなければ、信号処理・制御部３０は、通常の撮影であることを判断し、ステップＳ１４において、本体側通信部３５とレンズ側通信部２５とを介して操作部２２によりズームレンズ２１ａが操作されたか否かを判断する。この判断の結果、ズームレンズ２１ａが操作されていると、信号処理・制御部３０は、ステップＳ１５において、本体側通信部３５とレンズ側通信部２５とを介して操作部２２によるズームレンズ２１ａのズーム位置等を取得する。

この状態に、撮像部３１は、撮影レンズ部２０からの被写体の像を画像信号に変換する。信号処理・制御部３０は、ステップＳ１６において、撮像部３１からの画像信号を画像処理し、被写体の動画をスルー画像として表示部３９に表示する。
信号処理・制御部３０は、ステップＳ１７において、操作判定部３７の判定結果を受けてユーザによりレリーズボタンが押し操作されて撮影を行うか否かを判断する。レリーズボタンが押し操作されると、信号処理・制御部３０は、ステップＳ１８において、当該撮影時、静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、当該撮影画像データを記録部３３に記録する。
図１２（ａ）はユーザによりレリーズボタンを押し操作して撮影を行うときの様子を示す。この撮影地点は、例えば図３に示すように４棟のビルディングＡ〜Ｄ、タワーＥ、Ｘ駅、Ｙ駅が存在する周辺である。

信号処理・制御部３０は、ステップＳ１９において、アバターモードであるか否かを判断し、判断の結果、アバターモードでなければ、ステップＳ１１に戻る。
上記ステップＳ１３において、信号処理・制御部３０がアバターモードであると判断すると、この信号処理・制御部３０は、ステップＳ２１に移り、ＧＰＳ部３４からＧＰＳデータを受け取り、本装置１の存在する位置に変化があるか否かを判断する。
この判断の結果、本装置１の存在する位置に変化があると、信号処理・制御部３０は、ステップＳ２２に移り、ＧＰＳ部３４からＧＰＳデータを受け取って本装置１の存在の位置データとして取得し、方位判定部３８からの方位データを受け取って本装置１の撮影レンズ部２０による撮影範囲が向いている方位データを取得し、これら位置データと方位データとを画角データと共に記録部３３に記憶する。さらに、信号処理・制御部３０は、物体認識部５０によって例えば被写体のスルー画像中の被写体中から人物の顔データを判別する。

関連画像データ作成部５１は、ステップＳ２３〜Ｓ２９において、ＧＰＳ部３４により取得されたＧＰＳデータと、方位判定部３８により検出された方位データと、撮影レンズ系２１のレンズデータ記憶部２４に記憶されている画角データと、物体認識部５０により判別された人物の顔データとをそれぞれ受け取り、これらＧＰＳデータと方位データと画角データと人物の顔データとに関連する少なくとも１つのイラスト画像データを関連情報データベース３３ａから読み出してイラストレーションを含むイラスト合成画像データを作成する。

具体的に関連画像データ作成部５１による関連情報データベース３３ａからのイラスト画像データの読み出しについて説明すると、関連画像データ作成部５１は、関連情報データベース３３ａから地図情報を読み出し、例えば図３に示すように４棟のビルディングＡ〜Ｄ、タワーＥ、Ｘ駅、Ｙ駅が存在することを認識する。
関連画像データ作成部５１は、本装置１の存在する緯度、経度（ｙ０、ｘ０）をＸＹ座標系の基準として認識すると共に、本装置１の撮影方位Ｙ１を上記式（１）により認識する。関連画像データ作成部５１は、本装置１の撮影レンズ部２０による撮影範囲の最外角は、上記式（２）、（３）により認識する。

しかるに、関連画像データ作成部５１は、各ビルディングＡ、Ｂの緯度、経度（ｙ１，ｘ１）、（ｙ２，ｘ２）を本装置１の緯度、経度（ｙ０、ｘ０）を基準として上記各式（２）、（３）に代入して緯度を算出し、これら緯度が各ビルディングＡ、Ｂの各相対的な経度（ｙ１−ｙ０）、（ｙ２−ｙ０）よりも小さければ、各ビルディングＡ、Ｂは、本装置１の撮影範囲内に存在するものとなり、イラスト画像データとして表示候補となる。図４に示すようにビルディングＡは本装置１の撮影範囲外となり、イラスト画像データとして表示候補から外れる。ビルディングＢは本装置１の撮影範囲内にあり、イラスト画像データとして表示候補になる。なお、表示候補になるのは、ビルディングＢの他に、ビルディングＣ、タワーＥである。

関連画像データ作成部５１は、図５に示すようにイラスト画像データとして表示候補となったビルディングＢのイラスト合成画像データ中での合成位置を決定する。
ビルディングＢは、Ｙ軸の緯度ｙ０からの角度φｂ０に存在する。関連画像データ作成部５１は、当該角度φｂ０をビルディングＢの緯度、経度（ｙ２，ｘ２）から上記式（４）により算出する。
又、関連画像データ作成部５１は、本装置１の撮影方位Ｙ１と、本装置１の緯度、経度（ｙ０、ｘ０）からビルディングＢの緯度、経度（ｙ２，ｘ２）を通る直線との相対角度φｂを上記式（５）から算出する。

しかるに、関連画像データ作成部５１は、ビルディングＢのイラスト画像データが図６（ａ）に示すようにイラスト合成画像データＫ中において本装置１の撮影方位Ｙ１から相対角度φｂのところに合成する。同様に、関連画像データ作成部５１は、ビルディングＣ、タワーＥの各合成位置を決定する。
なお、イラスト合成画像データＫは、ビルディングＢ、ＣとタワーＥとの各イラスト画像データを合成しているが、本装置１の向いている方位データと画角データとにより決まる撮影範囲内に存在する全てのビルディング等の建造物や山等からどの建造物のイラスト画像データを選択して合成するのかは、例えば次の通りに設定する。
例えば、関連画像データ作成部５１は、地図データと方位データとに基づいて遠景に存在する建造物や山等の選択を行う。例えば、山であれば、都市部内から富士山等の山までの距離にあるくらいまでが見える事を参考に、３０００ｍ級の山であれば、１００ｋｍの距離にあれる場合に採用し、２０００ｍ級の山であれば７０ｋｍまでの場合に採用するというように遠景の山を選択する。
関連画像データ作成部５１は、地図データに基づいて遠近関係からイラスト化するビルディングを選択する。例えばタワーとして東京タワーやスカイツリーのような３００ｍを超える高いタワーは、見えなくとも、その土地のシンボルなので１０ｋｍ以内にあれば採用し、その他のビルは、遠くのものは重なるとして、近くで大きいものを優先して採用する。
例えば、画面が煩雑になるので、手前に高いビルディングがない場合、例えば所定階数５階建よりも高いビルディングであれば、手前の２、３棟のビルディングを採用し、同様に１０階建て以上のビルディングがそれより撮影点から見て奥側に有る場合、当該奥側にある２、３棟のビルディングを採用する。又、神社仏閣など高さの低い建造物は、手前に何も建造物がなければ、神社仏閣など高さの低い建造物のみ採用する。

イラストレーションにより描かれたビルディングＢのイラスト画像データＳの大きさは、次の通りに決定される。
関連画像データ作成部５１は、地図情報を関連情報データベース３３ａから読み取り、この地図情報に基づいて図７に示すように本装置１が存在する緯度、経度（ｙ０、ｘ０）から各ビルディングＡ、Ｂ、Ｃまでの各距離Ｌａ、Ｌｂ、Ｌｃを取得し、本装置１が存在する緯度、経度（ｙ０、ｘ０）からビルディングＢまでの距離Ｌｂを上記式（６）を演算して取得する。

これと共に、関連画像データ作成部５１は、地図情報に基づいてビルディングＢの高さＨ、幅Ｗを取得する。関連画像データ作成部５１は、例えば仮にビルディングＢの高さＨ、幅Ｗをそれぞれ１００ｍ、１００ｍとし、図８に示すように本装置１の撮影レンズ系２１とビルディングＢとの光学的な関係からビルディングＢの幅Ｗに対する角度θｗｂを上記式（７）を演算して取得する。しかるに、関連画像データ作成部５１は、本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づいてイラスト合成画像データＫ中に合成するビルディングＢの幅を決定する。関連画像データ作成部５１は、ビルディングＣ、タワーＥの各幅を決定する。

しかるに、関連画像データ作成部５１は、図９に示すようにビルディングＢを本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づく幅でかつ本装置１の撮影方位Ｙ１から相対角度φｂのところに合成し、タワーのイラスト画像データＨ２やビルディングのイラスト画像データＨ３を対角線Ｔ１、Ｔ２に合わせて配置し、人物のイラストレーションであるアバター情報Ｈ１を中央部に配置する。この場合、関連画像データ作成部５１は、例えば、先ず、タワーのイラスト画像データＨ２を合成し、次にビルディングのイラスト画像データＨ３を合成し、最後に人物のアバター情報Ｈ１を合成し、イラスト合成画像データＫを作成する。なお、本装置１の画角θ内に山等の大きな対象被写体が人物等の背景に存在すれば、関連画像データ作成部５１は、山等の大きな対象被写体の高さや当該対象被写体までの距離を考慮して山等の大きな対象被写体のイラスト画像データを最初に合成する。

関連画像データ作成部５１は、ステップＳ２４において、本体側通信部３５とレンズ側通信部２５とを介して操作部２２によりズームレンズ２１ａが操作されたか否かを判断する。この判断の結果、ズームレンズ２１ａが操作されていると、関連画像データ作成部５１は、ステップＳ２５に移り、例えば図１２（ｂ）に示すようなイラスト合成画像データＫを作成する場合、ズームレンズ２１ａのズーム位置によって決定される画角内に入るタワーのイラスト画像データＨ２と、ビルディングのイラスト画像データＨ３と、人物のアバター情報Ｈ１とを限定する。なお、タワーのイラスト画像データＨ２と、ビルディングのイラスト画像データＨ３とは、ズームレンズ２１ａのズーム位置によって決定される画角内に入るものとする。また、ズームレンズ２１ａのズーム位置は、信号処理・制御部３０によって本体側通信部３５とレンズ側通信部２５とを介して操作部２２に問い合わせにより取得する。

関連画像データ作成部５１は、ステップＳ２６において、例えば被写体のスルー画像の濃淡レベルが予め設定された夜間を判定するための濃淡レベルよりも低いことを判定するか、又は時計部３６の計時時刻から夜間であるか否かを判断する。
この判断の結果、夜間であれば、関連画像データ作成部５１は、ステップＳ２７において、関連情報データベース３３ａから例えば図１２（ｃ）に示すような夜間等を表わす例えば黒色のイラスト画像データＨ４を読み取り、このイラスト画像データＨ４をイラスト合成画像データＫ中の上部に配置する。

関連画像データ作成部５１は、ステップＳ２８において、例えば被写体のスルー画像中の道路の方向を認識し、この道路の方向から図１０（ａ）に示すように本装置１の撮影方位Ｙ１が地図情報上の道路５０の方向に沿って向けられているか否かを判断する。この判断の結果、本装置１の撮影方位Ｙ１が地図情報上の道路５０の方向に沿って向けられていれば、関連画像データ作成部５１は、ステップＳ２９において、ビルディングのイラスト画像データＨ３に対して図１０（ｂ）に示すように遠方になるに従って縮小する歪み処理を行う。
なお、各建物や遠景の山、人物などの配置位置は、撮影画像データに基づいて配置すればよい。又、地図データに基づいて遠近法的に遠くのものをイラスト合成画像データＫの中央部の水平線に近づくように配置してもよい。但し、イラスト画像データでも、そのあたりの遠近法は、あえて無視して、面白くわかり易く描く例もあるので、あえて、同じ水平面基準で配置してもよい。この後、関連画像データ作成部５１は、ステップＳ３０において、例えば図１２（ｃ）に示すような作成したイラスト合成画像データＫを表示部３９に表示する。

再び、信号処理・制御部３０は、ステップＳ１７に移り、操作判定部３７の判定結果を受けてユーザによりレリーズボタンが押し操作されて撮影を行うか否かを判断する。レリーズボタンが押し操作されると、信号処理・制御部３０は、ステップＳ１８において、当該撮影時、静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、当該撮影画像データを記録部３３に記録する。

信号処理・制御部３０は、ステップＳ１９において、アバターモードであるか否かを判断し、判断の結果、アバターモードであれば、ステップＳ２０に移り、作成したイラスト合成画像データＫを例えばステップＳ１８での撮影により取得した撮影画像データに関連付けて記録部３３に記憶する。

このように上記第１の実施の形態によれば、ＧＰＳデータと、方位判定部３８により検出された方位データと、撮影レンズ系２１の画角データと、物体認識部５０により判別された人物の顔データとをそれぞれ受け取り、これらＧＰＳデータと方位データと画角データと人物の顔データとに関連する少なくとも１つのイラスト画像データを関連情報データベース３３ａから読み出してイラストレーションを含むイラスト合成画像データＫを作成する。そして、イラスト合成画像データＫは、例えば撮影時により取得した撮影画像データに関連付けて記録部３３に記憶する。これにより、例えば本装置１において、イラスト合成画像データＫを表示部３９に表示し、このイラスト合成画像データＫを選択することで、当該イラスト合成画像データＫに関連付けられて関連付けられた撮影画像データを表示部３９に表示することができる。

イラスト合成画像データＫは、ユーザが撮影を行った地域における名所等の良く知られたタワーＥ等の建造物をイラストレーションの画像データを合成しているので、イラスト合成画像データＫに関連付けられた例えば複数の撮影画像データの撮影場所や、撮影したときの状況を直感的に把握することが出来る。又、撮影画像データでは、その撮影内容が例えば撮影を行った地域における名所等が写されたものでなく、ただ単に電線や通行人が多く写っていたり、名所等でない風景が写っているものであっても、イラスト合成画像データＫと関連付けることでユーザが撮影を行った地域等の状況を直感的に把握できる。

次に、本発明の第２の実施の形態について図面を参照して説明する。なお、本装置１の構成は、図１に示す構成と同一であり、当該図１を用いてその相違するところについて説明する。
関連情報データベース３３ａには、一般の地図情報と、予め簡易地図情報とが記憶されている。一般の地図情報は、例えば図１３に示すような地表の諸物体、地勢等を予め設定された縮尺度により縮尺してなる。簡易地図情報は、例えば図１３に示すような一般の地図情報を、例えば図１４（ａ）に示すようなイラストレーションの地図情報（以下、イラスト地図情報と称する）Ｊにより表わしている。

関連画像データ作成部５１は、ＧＰＳ部３４により取得されたＧＰＳデータを受け取り、このＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊを関連情報データベース３３ａから読み出す。この場合、関連画像データ作成部５１は、ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊが関連情報データベース３３ａに記憶されていなければ、当該地域のイラスト地図情報Ｊが記憶されていない旨を表示部３９に表示する。

又、関連画像データ作成部５１は、物体認識部５０により判別された人物の顔データを受け取り、当該人物の顔データに関連する例えばアバター情報Ｈ１０を関連情報データベース３３ａから読み出す。
関連画像データ作成部５１は、ＧＰＳ部３４により取得されたＧＰＳデータに対応する地域の周辺に存在する名所、例えばタワーに関連するイラスト画像データＨ１１を関連情報データベース３３ａから読み出す。

関連画像データ作成部５１は、例えばイラスト地図情報Ｊに対してアバター情報Ｈ１０とタワーに関連するイラスト画像データＨ１１とを合成し、図１４（ｂ）に示すようなイラスト合成画像データＪａを作成する。
関連画像データ作成部５１は、撮影時に取得される撮影画像データにイラスト合成画像データＪａを関連付けて記録部３３に記録する。これにより、関連画像データ作成部５１は、再生モード時に、図１４（ｃ）に示すように撮影画像データを表示部３９に表示すると共に、当該撮影画像データ上にイラスト合成画像データＪａをアイコン化して重ねて表示する。

次に、本装置の動作について図１５に示すイラストレーション画像作成を含む撮影モードフローチャートに従って説明する。なお、図１１と同一ステップの説明は省略して相違するステップの動作について説明する。
信号処理・制御部３０は、ステップＳ１３において、アバターモードであると判断すると、ステップＳ２１に移り、ＧＰＳ部３４からＧＰＳデータを受け取り、本装置１の存在する位置に変化があるか否かを判断する。
この判断の結果、本装置１の存在する位置に変化があると、関連画像データ作成部５１は、ステップＳ２２ｂに移り、ＧＰＳ部３４からＧＰＳデータを受け取って本装置１の存在の位置データとして取得し、これと共に方位判定部３８により検出された方位データと、撮影レンズ系２１の画角データとを取得する。

関連画像データ作成部５１は、ステップＳ２３ｂにおいて、ＧＰＳ部３４により取得されたＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊが関連情報データベース３３ａに記憶されているか否かを判断する。この判断の結果、イラスト地図情報Ｊがあれば、関連画像データ作成部５１は、ステップＳ２４ｂに移り、当該ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊを関連情報データベース３３ａから読み出す。
イラスト地図情報Ｊがなければ、関連画像データ作成部５１は、ステップＳ２５ｂに移り、当該ＧＰＳデータに対応する地域の一般の地図情報を関連情報データベース３３ａから読み出す。なお、ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊが関連情報データベース３３ａに記憶されていなければ、関連画像データ作成部５１は、当該地域のイラスト地図情報Ｊが記憶されていない旨を表示部３９に表示する。

関連画像データ作成部５１は、ステップＳ２６ｂにおいて、関連画像データ作成部５１は、物体認識部５０により判別された人物の顔データを受け取り、当該人物の顔データに関連する例えばアバター情報Ｈ１０が関連情報データベース３３ａに記憶されているか否かを判断する。この判断の結果、関連情報データベース３３ａに人物の顔データに関連する例えばアバター情報Ｈ１０が記憶されていれば、関連画像データ作成部５１は、ステップＳ２７ｂにおいて、当該アバター情報Ｈ１０を関連情報データベース３３ａから読み出す。

関連画像データ作成部５１は、ステップＳ２８ｂにおいて、例えばＧＰＳ部３４により取得されたＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊ又は一般の地図情報中に名所があるか否かを判断する。この名所があるか否かを判断する地域は、方位判定部３８により検出された方位データと、撮影レンズ系２１のレンズデータ記憶部２４に記憶されている画角データとから決まる本装置１の撮影範囲内である。
名所があると判断すると、関連画像データ作成部５１は、ステップＳ２９ｂにおいて、当該名所、例えばタワーに関連するイラスト画像データＨ１１を関連情報データベース３３ａから読み出す。

関連画像データ作成部５１は、ステップＳ３０ｂにおいて、例えばイラスト地図情報Ｊに対してアバター情報Ｈ１０とタワーに関連するイラスト画像データＨ１１とを合成し、図１４（ｂ）に示すようなイラスト合成画像データＪａを作成する。
この後、関連画像データ作成部５１は、ステップＳ３１ｂにおいて、当該イラスト合成画像データＪａを表示部３９に表示する。

再び、信号処理・制御部３０は、ステップＳ１７に移り、操作判定部３７の判定結果を受けてユーザによりレリーズボタンが押し操作されて撮影を行うか否かを判断し、レリーズボタンが押し操作されると、信号処理・制御部３０は、ステップＳ１８において、当該撮影時、静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、当該撮影画像データを記録部３３に記録する。
信号処理・制御部３０は、ステップＳ１９において、アバターモードであるか否かを判断し、判断の結果、アバターモードであれば、ステップＳ２０に移り、作成したイラスト合成画像データＪａを例えばステップＳ１８での撮影により取得した撮影画像データに関連付けて記録部３３に記憶する。

以上のような動作で、例えば図１６に示すような海岸沿いで人物Ｇを本装置１により撮影すると、本装置１は、例えば図１７（ａ）に示すような撮影画像データＨｇを取得する。
一方、本装置１は、上記ステップＳ２１〜Ｓ３０ｂの動作によって、例えば図１７（ｂ）に示すようなイラスト合成画像データＪｂを取得する。このイラスト合成画像データＪｂは、人物Ｇのアバター情報Ｈ２０と、撮影を行った海岸沿いの地域のイラストレーションのイラスト画像データＨ２１とが合成されている。イラスト画像データＨ２１は、撮影を行った海岸沿いの地域に関連する名所のイラストレーションでも良い。
なお、信号処理・制御部３０は、図１７（ｃ）に示すように関連画像データ作成部５１により作成したイラスト合成画像データＪｃを表示部３９に表示し、このイラスト合成画像データＪｃ内に撮影画像データＨｇ又はスルー画像を表示してもよい。

このように上記第２の実施の形態によれば、ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊを読み出し、人物の顔データに関連する例えばアバター情報Ｈ１０を読み出し、ＧＰＳデータに対応する地域の周辺に存在する名所、例えばタワーに関連するイラスト画像データＨ１１を読み出し、これらデータを合成してイラスト合成画像データＪａを作成する。これにより、上記第１の実施の形態と同様の効果を奏することができる。又、本装置１の画角に収められない状況や名所等も、例えば図１７（ｃ）に示すようにイラストレーションの画像データとして例えば撮影画像データと共に納める可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：撮像装置、１０：カメラ本体、２０：撮影レンズ部（交換レンズ）、２１：撮影レンズ系、２２：操作部、２３：駆動部、２４：レンズデータ記憶部、２５：レンズ側通信部、２１ａ：ズームレンズ、３０：信号処理・制御部、３１：撮像部、３２：モーション判定部、３３：記録部、３４：衛星航法システム（ＧＰＳ）部、３５：本体側通信部、３６：時計部、３７：操作判定部、３８：方位判定部、３９：表示部、４０：外部通信部、３３ａ：関連情報データベース、４１：ネットワーク、４２：外部機器、５０：物体認識部、５１：関連画像データ作成部。

Claims (16)

1. 被写体を撮像する撮像部の撮像により取得された画像データから前記被写体を判別する被写体判別部と、
   少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された前記撮影姿勢に関連するイラスト地図情報と、前記被写体判別部により判別された前記被写体に関連する人物イラストレーションを含むイラスト画像データとを合成してイラスト合成画像データを作成する関連画像データ作成部と、
   を具備することを特徴とする画像処理装置。
2. 前記撮影姿勢検出部は、前記撮影地点と、前記撮像部による撮影範囲が向いている方位を示す方位データとを検出することを特徴とする請求項１記載の画像処理装置。
3. 前記関連画像データ作成部は、前記撮影地点と、前記方位データと、前記撮像部の画角データと、前記被写体に関連する人物の顔データとに基づく前記人物イラストレーションを含むイラスト画像データと、前記イラスト地図情報とを合成して前記イラスト合成画像データを作成することを特徴とする請求項２記載の画像処理装置。
4. 被写体を撮像する撮像部の撮像により取得された画像データから前記被写体を判別する被写体判別部と、
   少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された撮影地点に関連するイラスト地図情報中から判断される名所に関連するイラストレーションを含むイラスト画像データと、前記被写体判別部により判別された前記被写体に関連する人物イラストレーションを含む前記イラスト画像データとを合成してイラスト合成画像データを作成する関連画像データ作成部と、
   を具備することを特徴とする画像処理装置。
5. 前記撮影姿勢検出部は、前記撮影地点と、前記撮像部による撮影範囲が向いている方位を示す方位データと、を検出することを特徴とする請求項４記載の画像処理装置。
6. 前記関連画像データ作成部は、前記イラスト地図情報中に前記名所があるか否かの判断を、前記方位データと前記撮像部の画角データとから決まる撮影範囲内で行うことを特徴とする請求項５記載の画像処理装置。
7. 前記関連画像データ作成部は、前記撮影地点に関連する前記イラスト地図情報からタワー、ビルディング、山、空、夜間、又は海岸沿いを含むイラストレーションの前記イラスト画像データを認識することを特徴とする請求項４記載の画像処理装置。
8. 前記イラスト地図情報から認識されるイラストレーションの前記イラスト画像データには、遠近法の技法により表現したイラストレーションのイラスト画像データが含まれることを特徴とする請求項４記載の画像処理装置。
9. 前記関連画像データ作成部は、地表の諸物体及び地勢を縮尺した一般の地図情報と、当該一般の地図情報をイラストレーションの地図情報により表わした簡易地図情報としての前記イラスト地図情報とを含むことを特徴とする請求項４記載の画像処理装置。
10. 被写体を撮像する撮像部の撮像により取得された画像データから前記被写体を判別する被写体判別部と、
    少なくとも前記撮像部による撮影地点と前記被写体とにそれぞれ関連するイラストレーションを含む複数のイラスト画像データを予め記憶するサーバから、少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された前記撮影地点と前記被写体判別部により判別された前記被写体とに関連する前記複数のイラスト画像データを取得し合成してイラスト合成画像データを作成する関連画像データ作成部と、
    を具備することを特徴とする画像処理装置。
11. 前記複数のイラスト画像データは、地図データ、対象被写体のイラストレーションの画像データを含むことを特徴とする請求項１０記載の画像処理装置。
12. 前記関連画像データ作成部は、前記撮影姿勢検出部により検出された前記撮影姿勢に基づいて前記サーバに記憶されている前記複数のイラスト画像データから該当する前記イラスト画像データを取得することを特徴とする請求項１０記載の画像処理装置。
13. 前記撮影姿勢検出部は、前記撮影地点を検出する位置センサと、前記撮像部により撮像を行う撮影方位を検出する方位センサとを含み、
    前記関連画像データ作成部は、前記位置センサにより検出された前記撮影地点と、前記方位センサにより検出された前記撮影方位と、前記撮像部の画角とに基づいて撮影範囲内に存在する対象被写体を認識し、当該対象被写体のイラストレーションの前記イラスト画像データを前記サーバから読み出して前記イラスト合成画像データを作成する、
    ことを特徴とする請求項１０記載の画像処理装置。
14. 撮像部の撮像により取得された画像データから被写体を被写体判別部により判別し、
    少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された前記撮影姿勢に関連するイラスト地図情報と、前記被写体判別部により判別された前記被写体に関連する人物イラストレーションを含むイラスト画像データとを関連画像データ作成部により合成してイラスト合成画像データを作成する、
    ことを特徴とする画像処理方法。
15. 撮像部の撮像により取得された画像データから被写体を被写体判別部により判別し、
    少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された撮影地点に関連するイラスト地図情報中から判断される名所に関連するイラストレーションを含むイラスト画像データと、前記被写体判別部により判別された前記被写体に関連する人物イラストレーションを含むイラスト画像データとを関連画像データ作成部により合成してイラスト合成画像データを作成する、
    ことを特徴とする画像処理方法。
16. 撮像部の撮像により取得された画像データから被写体を被写体判別部により判別し、
    少なくとも前記撮像部による撮影地点と前記被写体とにそれぞれ関連するイラストレーションを含む複数のイラスト画像データを予めサーバに記憶し、
    少なくとも前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部により検出された前記撮影地点と前記被写体判別部により判別された前記被写体とに関連する前記複数のイラスト画像データを関連画像データ作成部により前記サーバから取得し合成してイラスト合成画像データを作成する、
    ことを特徴とする画像処理方法。