JP6738209B2 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関し、特に画像データに関連した関連データに基づいて画像処理を行う画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

コンビニエンスストア等の公共の場所に画像形成装置（代表的にはコピー機）が設置され、有料でコピーサービスが提供されている。コピーサービス以外に、可搬性メモリ等に記録された画像データのプリントサービスも提供されている。

近年では、画像形成装置の１種である複合機（ＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ））が設置されている場合には、コピーサービス及びプリントサービス以外に、ＭＦＰをインターネットに接続することにより、ファクシミリサービス及び通信ネットワーク（以下、単にネットワークという）対応のプリントサービス等も提供されている。さらに、ＭＦＰは、インターネットを介してコンテンツプロバイダ（Ｃｏｎｔｅｎｔｓ Ｐｒｏｖｉｄｅｒ）から提供されるコンテンツサービスの提供窓口としても使用されるようになってきた。

例えば、コンテンツプリントサービスと呼ばれるサービスが知られている。このサービスに対応するために、ＭＦＰはその内部に、ＰＣ（パーソナルコンピュータ）等で使用されるＷｅｂブラウザの機能を実現するための独自のフレームワークを備えている。コンテンツプリントサービスを提供するために、コンテンツプロバイダのサーバコンピュータ（以下、単にサーバともいう）から中継サーバを経由してＭＦＰに、ＭＦＰ内のフレームワークにて操作可能な操作画面を生成するためのデータが送信される。ＭＦＰは、受信したデータに基づいて操作画面を生成して、操作パネルに表示する。これにより、ユーザは、ＭＦＰの操作パネルに表示された操作画面を操作（例えばタッチ操作）して、サーバから提供される種々のコンテンツの中から、所望のコンテンツを選択してプリントすることができる。

このような画像形成装置として特許文献１には、デジタルカメラやスマートフォンなどで撮影された画像データを印刷する際に、コンテンツ画像と画像データを合成する画像処理機能を備えたものが提案されている。

このような従来技術では、撮影された画像データに関連付けして記録されている撮影位置や撮影時間等の関連情報（例えばＥｘｉｆ：Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ情報）に基づいて、予め保存されているコンテンツ画像から適するものを選択し、画像データとコンテンツ画像とを並べて一つの画像を合成して印刷している。合成されるコンテンツ画像としては、撮影地点の周囲にある名所旧跡等の画像や、撮影地点の地名や施設名などがあり、これにより利用者は、印刷する店舗の所在地に関わらず撮影画像と撮影地周辺の情報を簡便に合成して印刷することができる。

特開２０１０−１４６１８２号公報

しかし特許文献１の従来技術では、撮影した画像の内容は変えず撮影した画像自体とコンテンツ画像を並べて印刷するため、撮影画像の印象を変えるほどの合成画像を得るのは難しかった。また、コンテンツ画像と撮影画像とを並べて印刷するため、印刷された写真中での撮影画像が占める面積が小さくなり構図が不自然になる場合もあった。

また、撮影画像に関連付けられたＥｘｉｆ情報に基づいてコンテンツ画像を選択するため、印刷する店舗の所在地に関わらず撮影地周辺のコンテンツ画像と撮影画像とを合成できるが、どの店舗でも同様の印刷結果が得られるため特定の店舗に出向くインセンティブが働きにくい。さらに、撮影画像のＥｘｉｆ情報等に含まれない情報ではコンテンツ画像の選択をしないので、撮影画像の内容とは関連性の低いコンテンツ画像が選択される可能性もあった。

そこで本発明は、以上の問題に鑑みてなされたものであり、撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することを目的とする。

上記の課題を解決するために、第２画像データ及び前記第２画像データ毎に関連付けされた関連データが記憶された第１記憶部と、複数の候補データが保存された第２記憶部と、前記第２画像データを分析して特徴点を抽出する特徴分析部と、前記関連データ及び前記特徴点に基づいて前記候補データから候補画像を表示し、選択された前記候補画像を第１画像データとして前記第１記憶部に記憶する画像選択部と、前記第２画像データから画像を部分的に抽出して抽出データを取得する画像抽出部と、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成部と、を備えることを特徴とする。

このような画像処理装置では、第２画像データから抽出データを抽出して第１画像データ上に重ね合わせて合成画像を作成するため、撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる。

また、本発明の一実施態様では、当該画像処理装置の設置位置が第１位置情報として前記第１記憶部または前記第２記憶部に記憶されており、前記画像選択部は、前記第１位置情報及び／又は時間情報に基づいて前記候補画像を選択する。

また、本発明の一実施態様では、前記第２記憶部は、ネットワークを介して接続された外部サーバである。

また、本発明の一実施態様では、前記関連データには前記第２画像データの撮影位置である第２位置情報が含まれている。

また、本発明の一実施態様では、前記画像抽出部は、前記第２画像データに含まれる主役部分を前記抽出データとして背景部分から抽出する。

また上記の課題を解決するために、本発明の画像処理システムは、第２画像データ及び前記第２画像データ毎に関連付けされた関連データが記憶された第１記憶装置と、複数の候補データが保存された第２記憶装置と、前記第２画像データを分析して特徴点を抽出する特徴分析装置と、前記関連データ及び前記特徴点に基づいて前記候補データから候補画像を表示し、選択された前記候補画像を第１画像データとして前記第１記憶装置に記憶する画像選択装置と、画像を部分的に抽出して取得する画像抽出装置と、合成画像を作成する画像合成装置と、を含み、前記第２画像データから抽出データを抽出し、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成することを特徴とする。

また上記の課題を解決するために、本発明の画像処理方法は、第１記憶部に、第２画像データ及び前記第２画像データ毎に関連付けされた関連データを記憶させる記憶ステップと、前記第２画像データを分析して特徴点を抽出するステップと、前記関連データ及び前記特徴点に基づいて、第２記憶部に保存された複数の候補データから候補画像を表示するステップと、選択された前記候補画像を第１画像データとして前記第１記憶部に記憶するステップと、前記第２画像データから画像を部分的に抽出して抽出データを取得する抽出ステップと、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成ステップと、を備えることを特徴とする。

また上記の課題を解決するために、本発明の画像処理プログラムは、第１記憶部に、第２画像データ及び前記第２画像データ毎に関連付けされた関連データを記憶させる記憶ステップと、前記第２画像データを分析して特徴点を抽出するステップと、前記関連データ及び前記特徴点に基づいて、第２記憶部に保存された複数の候補データから候補画像を表示するステップと、選択された前記候補画像を第１画像データとして前記第１記憶部に記憶するステップと、前記第２画像データから画像を部分的に抽出して抽出データを取得する抽出ステップと、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成ステップと、をコンピュータに実行させることを特徴とする。

撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる。

本発明の第１実施形態に係る画像形成装置がネットワークに接続された構成を示すブロック図である。 第１実施形態に係る画像形成装置１００を模式的に示す正面図である。 図２に示した画像形成装置１００を構成する本体装置１１０の内部構成を示すブロック図である。 図２に示した画像形成装置１００を構成する拡張装置２００の内部構成を示すブロック図である。 第１実施形態に係る画像処理方法を示す模式図である。 第１実施形態に係る画像処理装置５００の構成を示すブロック図である。 第１実施形態の画像処理装置５００での画像処理方法を説明するフローチャートである。

（第１実施形態）
本発明に係る画像処理装置、画像処理システム、画像処理方法及びプログラムの第一実施形態について、図面を用いて詳細に説明する。図１は、第１実施形態に係る画像形成装置がネットワークに接続された構成を示すブロック図である。画像形成装置１００は、ＬＡＮ等のネットワーク３１０に接続されて使用される。ネットワーク３１０は、ルータ３００を介してインターネット３１２に接続される。インターネット３１２には、第１サーバコンピュータ３２０及び第２サーバコンピュータ３２２が接続されている。このような構成により、画像形成装置１００は、ルータ３００及びインターネット３１２を介して第１サーバコンピュータ３２０及び第２サーバコンピュータ３２２にアクセスすることができる。

インターネット３１２には、サーバコンピュータに限らず種々の装置が接続されているが、ここでは、コンテンツサービスを提供するためのサーバとして、第１サーバコンピュータ３２０及び第２サーバコンピュータ３２２のみを示している。また、ネットワーク３１０には、画像形成装置１００以外の装置が接続されていてもよい。

図２は、第１実施形態に係る画像形成装置を示す正面図である。画像形成装置１００は、本体装置１１０及び拡張装置２００を含む。本体装置１１０及び拡張装置２００は相互に接続されており、データ（制御情報を含む）を交換可能である。接続方法は、シリアル接続（ＵＳＢ（登録商標）（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等）又は通信ネットワーク接続（有線又は無線）等、任意である。

本体装置１１０は、操作部１２０を介してユーザの指示を受け、その指示に応じた処理（画像形成等）を実行する。指示された処理が拡張装置２００によって実行されるべき場合には、本体装置１１０は、処理に必要なデータを拡張装置２００に送信する。拡張装置２００は、受信したデータを用いて、ユーザの指示を実行する。画像形成（以下、印刷ともいう）の指示は、印刷条件に応じて、本体装置１１０又は拡張装置２００によって実行される。本体装置１１０は、印刷結果を排紙トレイ１４０に排出する。

拡張装置２００は、記録媒体を接続可能なメディアＩＦ部２１２を含む。拡張装置２００は、印刷結果を写真排出部２４０に排出する。画像形成装置１００によるサービスは有料であり、拡張装置２００は、課金処理を実行する。即ち、拡張装置２００は、ユーザによって、硬貨投入部２４２及び紙幣投入部２４４から投入される金を受付け、印刷料金との差額を釣銭排出部２４６に排出する。

図３は、図２に示した画像形成装置を構成する本体装置の内部構成を示すブロック図である。本体装置１１０は、第１制御部１１２、第１記憶部１１４、原稿読取部１１６、第１画像形成部１１８、操作部１２０、第１通信部１２６及び第２通信部１２８を含む。さらに、本体装置１１０は、これらが接続される第１バス１３２を含む。各部間のデータ交換（制御情報を含む）は、第１バス１３２を介して行なわれる。

第１制御部１１２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。第１記憶部１１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置を含む。ＲＯＭは、不揮発性記憶装置であり、本体装置１１０の動作を制御するのに必要なプログラム及びデータを記憶している。ＨＤＤは、書換可能な不揮発性記憶装置であり、画像データ等を記憶する。ＲＡＭは、書換可能な揮発性記憶装置である。第１制御部１１２は、ＲＯＭ及びＨＤＤから、所定のプログラム及び所定のデータをＲＡＭに読出して、ＲＡＭの一部を作業エリアとして利用してプログラムを実行する。画像データに対する画像処理等もＲＡＭ上で実行される。第１制御部１１２は、ＲＯＭに記憶されたプログラムにしたがって、本体装置１１０全体を制御し、本体装置１１０のコピー機能を実現する。

原稿読取部１１６は、原稿を読取るためのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）と、原稿台又は自動原稿送り装置（ＡＤＦ）にセットされた原稿を検知する原稿検知センサとを含み、原稿を読取って画像データを入力する。画像データは、例えば第１記憶部１１４のＲＡＭに一時的に記憶される。

第１画像形成部１１８は、読取った画像データに対して種々の画像処理が実行されて生成された画像データを、本体装置１１０内部の給紙部（図示せず）から供給される記録紙に印刷する。本体装置１１０の給紙部には、例えばＢ５、Ｂ４、Ａ４及びＡ３の記録紙が収容されている。

第１通信部１２６は、本体装置１１０がネットワーク３１０又は電話回線（図示せず）を介して外部装置と通信するためのインターフェイスである。第１通信部１２６は、ネットワーク３１０に接続されたＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を含む。また、第１通信部１２６は、電話回線に接続されたモデムを含む。

第２通信部１２８は、第１制御部１１２の制御を受けて、拡張装置２００と通信を行なうためのインターフェイスである。

操作部１２０は、液晶パネル等で構成された表示パネル１２２と、表示パネル１２２の上に配置され、タッチされた位置を検出するタッチパネル１２４とを含む。操作部１２０には、ハードウェアキーが配置されていてもよい。操作部１２０の表示パネル１２２には、ホーム画面が表示されている。ホーム画面は、画像形成装置１００が起動された直後、又は、タイムアウトが発生したとき等に表示される。ホーム画面には、画像形成装置１００が提供可能なサービスを選択するためのキー（ソフトウェアキー）が表示される。

操作部１２０には、表示パネル１２２外の領域に、ハードウェアキーとして、ホームキー、電源をオン／オフするための電源キー、及び、電源オンの場合に点灯するＬＥＤランプ等が配置されている。表示パネル１２２に表示される画面は、画像形成装置１００の状態に応じて種々変化（画面遷移）する。

操作部１２０は、ユーザによる本体装置１１０に対する指示等の入力を受付ける。具体的には、表示パネル１２２に表示される画面（画像）は、第１制御部１１２の制御を受けて画面生成部（図示せず）によって生成される。ユーザは、表示パネル１２２にアイコン等の形式で表示されたキーを、表示パネル１２２に重ねられたタッチパネル１２４上で選択する（タッチパネル１２４上の該当部分にタッチする）ことによって、画像形成装置１００により提供されるサービスを選択し、機能設定及び動作指示等を行なうことができる。ユーザは、表示パネル１２２に表示される画面によって、画像形成装置１００の状態及びジョブの処理状況等の確認を行なうことができる。

第１制御部１１２は、操作部１２０に設けられたタッチパネル１２４及びハードウェアキーに対するユーザの操作を監視すると共に、表示パネル１２２に画像形成装置１００の状態に関する情報等の、ユーザに通知すべき情報等を表示する。また、第１制御部１１２は、ユーザの操作を受けて、ユーザの指示が、拡張装置２００によって実行される必要がある場合には、拡張装置２００が処理を実行するために必要なデータを、第２通信部１２８を介して送信する。必要なデータには、拡張装置２００に対する指示コマンド、画像データ、テキストデータ、及び数値データ等が含まれる。

図４は、図２に示した画像形成装置を構成する拡張装置の内部構成を示すブロック図である。拡張装置２００は、第２制御部２０２、第２記憶部２０４、第２画像形成部２０６、第３画像形成部２０８、第３通信部２１０、メディアＩＦ部２１２、及び貨幣処理部２１４を含む。さらに、拡張装置２００は、これらが接続される第２バス２１６を含む。各部間のデータ（制御情報を含む）交換は、第２バス２１６を介して行なわれる。

第２制御部２０２は、例えばＣＰＵである。第２記憶部２０４は、第１記憶部１１４と同様にＲＯＭ、ＲＡＭ、及びＨＤＤ等の記憶装置を含む。ＲＯＭは、拡張装置２００の動作を制御するのに必要なプログラム及びデータを記憶している。第２制御部２０２は、ＲＯＭ及びＨＤＤから、所定のプログラム及び所定のデータをＲＡＭに読出して、ＲＡＭの一部を作業エリアとして利用してプログラムを実行する。画像データに対する画像処理等もＲＡＭ上で実行される。第２制御部２０２は、ＲＯＭに記憶されたプログラムにしたがって、拡張装置２００全体を制御し、拡張装置２００の各機能を実現する。

第３通信部２１０は、第２制御部２０２の制御を受けて、本体装置１１０の第２通信部１２８と通信を行なう。第２通信部１２８と第３通信部２１０との接続方式は、例えばＵＳＢ等のシリアル接続である。

メディアＩＦ部２１２は、光ディスクを装着するためのドライブ、可搬性メモリを装着するためのソケット、有線接続手段および無線接続手段を含む。メディアＩＦ部２１２により、画像形成装置１００は、接続された可搬性メモリに対してデータの読出し及び書込みを行なうことができる。光ディスクには、ＣＤ−Ｒディスク及びＤＶＤ−ＲＡＭディスク等種々のものがある。可搬性メモリには、ＵＳＢメモリ及びフラッシュメモリカード（ＳＤメモリカード、メモリースティック（登録商標）、及びコンパクトフラッシュ（登録商標））等種々のものがある。有線接続手段には、有線ＬＡＮ接続、ＵＳＢ接続等種々のものがある。無線接続手段には、無線ＬＡＮ接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、ＮＦＣ（登録商標）（Ｎｅａｒ ｆｉｅｌｄ ｒａｄｉｏ ｃｏｍｍｕｎｉｃａｔｉｏｎ）接続等種々のものがある。

メディアＩＦ部２１２は、接続されたメディアから、印刷対象として指定された画像データを読出す。読出された画像データは、第１記憶部１１４又は第２記憶部２０４に記憶される。

第２画像形成部２０６は、第２制御部２０２の制御を受けて、メディアＩＦ部２１２から読取って記憶された画像データに後述する画像処理を施し、拡張装置２００内部の給紙部（図示せず）から供給される記録紙に印刷する。印刷された記録紙は、写真排出部２４０（図１参照）から排出される。第２画像形成部２０６は、例えば写真印刷に適した昇華型プリンタである。拡張装置２００の給紙部には、一般に写真プリントに使用されるサイズの記録紙として、例えばＬ判サイズ（８９×１２７ｍｍ）の記録紙が収容されている。

第３画像形成部２０８は、第２制御部２０２の制御を受けて、本体装置１１０から受信した課金に関するデータを、所定の記録紙に印刷して排出する。第３画像形成部２０８は、例えば感熱式プリンタである。第３画像形成部２０８は、例えば、ロール状に巻かれた感熱紙を内蔵しており、引出した感熱紙の上に、本体装置１１０から受信した情報（テキスト）を印刷する。これによって、拡張装置２００は領収書を発行することができる。

貨幣処理部２１４は、第２制御部２０２の制御を受けて、硬貨投入部２４２から投入された硬貨を、種類毎に分類して所定の格納部に搬送して収容し、投入された金額を算出する。算出結果（投入金額）は第２制御部２０２に伝送される。貨幣処理部２１４は、第２制御部２０２から指示された種類の硬貨を指示された数量、格納部から釣銭排出部２４６に搬送して排出する。

また、貨幣処理部２１４は、第２制御部２０２の制御を受けて、紙幣投入部２４４から投入された紙幣を、種類毎に分類して所定の格納部に搬送して収容し、投入された金額を算出する。算出結果（投入金額）は第２制御部２０２に伝送される。貨幣処理部２１４は、第２制御部２０２から指示された種類の紙幣を指示された枚数、格納部から釣銭排出部２４６に搬送して排出する。

以下、画像形成装置１００が提供するコピーサービス、プリントサービス、スキャンサービス、ファクシミリサービス、及びコンテンツサービスについて簡単に説明し、画像処理サービスについて詳細に説明する。

（コピーサービス）
コピーサービスでは、原稿読取部１１６によって読取られた原稿の画像データが、本体装置１１０の第１画像形成部１１８又は拡張装置２００の第２画像形成部２０６から複写物として出力される。

原稿読取部１１６に装備されたＣＣＤにより、読取位置にセットされた原稿の画像を電子的に読取ることができる。読取られた画像データは、第１記憶部１１４のＲＡＭ上に出力データ（印刷用データ）として完成される。

本体装置１１０の第１画像形成部１１８で印刷する場合には、ＲＡＭ上の画像データは、画像形成のタイミングに合わせて、第１画像形成部１１８へと送信される。記録紙は、第１給紙部からピックアップローラによって引出され、複数の搬送用ローラによって、第１画像形成部１１８まで搬送される。第１画像形成部１１８では、帯電された感光体ドラムを、入力された画像データに応じて露光することにより、感光体ドラムの表面に、画像データに応じた静電潜像を形成する。感光体ドラム上の静電潜像部分にトナーを付着させた後、トナーによる画像を、転写ベルトを介して、搬送された記録紙に転写させる。その後、記録紙は加熱及び加圧され（これにより記録紙に画像が定着する）、排紙トレイ１４０に排出される。

写真原稿等の高精細画像は、ユーザの指示を受けて拡張装置２００の第２画像形成部２０６（昇華型プリンタ）で印刷される。第２画像形成部２０６で印刷する場合には、本体装置１１０の第１記憶部１１４のＲＡＭ上の画像データは、第１通信部１２６を介して、拡張装置２００に送信される。第２制御部２０２は、受信した画像データを第２記憶部２０４のＲＡＭに記憶する。その後、第２制御部２０２は、ＲＡＭから画像データを読出し、第２画像形成部２０６を制御して、上記したように記録紙（例えばＬ判サイズ）に画像形成を実行し、写真排出部２４０から排出する。

（プリントサービス）
プリントサービスでは、第１通信部１２６を介して外部装置から受信した画像データが印刷される。第１通信部１２６は、インターネット３１２に接続されたＰＣ等の端末装置（図１において図示せず）から画像データを受信する。受信された画像データは、第１記憶部１１４に記憶される。その後、コピーサービスと同様に、ページ単位の画像データが生成され、第１画像形成部１１８又は第２画像形成部２０６で印刷される。

（スキャンサービス）
スキャンサービスでは、原稿読取部１１６により、セットされた原稿を読取り、画像データを生成し、生成された画像データを可搬性メディア等に記憶する。本体装置１１０では、原稿読取部１１６により原稿を読取って生成した画像データを、第２通信部１２８及び第３通信部２１０を介して、拡張装置２００に伝送する。拡張装置２００は、メディアＩＦ部２１２を制御して、第３通信部２１０を介して受信した画像データを、ユーザがメディアＩＦ部２１２に接続したメディアに記憶する。

（ファクシミリサービス）
ファクシミリサービスでは、原稿読取部１１６により読取った画像データを、外部のファクシミリ装置に送信する。原稿読取部１１６に装備されたＣＣＤにより、読取位置にセットされた原稿の画像が電子的に読取られる。読取られた画像データは、第１記憶部１１４のＲＡＭに記憶される。第１記憶部１１４に記憶された画像データは、ＦＡＸ通信用のデータ形式に変換され、ＦＡＸモデム及び電話回線網を介して外部のファクシミリ装置に送信される。

（コンテンツサービス）
コンテンツプロバイダからは、アニメ、キャラクタ及びイラスト等の画像データ、スポーツ選手の写真データ、楽譜情報、地図情報、並びに新聞情報等が提供される。コンテンツプロバイダにより、提供されるコンテンツは異なる。コンテンツは、インターネットに接続されサーバコンピュータから提供される。コンテンツサービスでは、コンテンツプロバイダによって提供されるコンテンツを印刷する。

画像形成装置１００は、ユーザによる操作部１２０の操作を受けて、第１通信部１２６を介して、所定のコンテンツプロバイダのサーバコンピュータ（例えば、第１サーバコンピュータ３２０）にアクセスし、ユーザが希望するコンテンツを取得する。取得したコンテンツ（画像データ）は、第１記憶部１１４に記憶される。その後、コピーサービスと同様に、第１画像形成部１１８又は第２画像形成部２０６により印刷される。

（画像処理サービス）
次に本実施形態に係る画像処理サービスについて図５〜図７を用いて説明する。図５は、本実施形態の画像形成装置１００が実行する画像処理方法について説明する模式図である。図５に示すように画像形成装置１００は、利用者が撮影した撮影画像４０１から人物等を主役部分４０２として抽出し、コンテンツ画像４０３上に主役部分４０２を重ね合わせて合成画像４０４を合成する。コンテンツ画像４０３は、撮影画像４０１に関係づけられた関連データや、撮影画像４０１の内容により選択される。ここでは主役部分４０２を人物とした例を示したが、動物や物体であってもよく人物に限定されない。

図６は、本実施形態に係る画像処理装置５００の構成を示すブロック図である。画像処理装置５００は、第１記憶部５０１、第２記憶部５０２、特徴分析部５０３、画像抽出部５０４、画像選択部５０５および画像合成部５０６を含んでいる。画像処理装置５００のこれらの各部は、上述した本体装置１１０、拡張装置２００、第１サーバコンピュータ３２０および第２サーバコンピュータ３２２を構成する各ハードウェアにおいて、所定の情報処理が実行されることで構成される。

第１記憶部５０１は、コンテンツ画像４０３である第１画像データと、利用者が撮影した撮影画像４０１である第２画像データと、撮影画像４０１に関連付けされた情報である関連データとが記憶される記録媒体である。本実施形態では、第１記憶部５０１として第１記憶部１１４を用いるが、第２記憶部２０４や第１サーバコンピュータ３２０上の記録媒体、第２サーバコンピュータ３２２上の記録媒体、これらを組み合わせたものを用いてもよい。関連データとしては、撮影画像４０１を撮影した際の位置情報や時間情報、露出や絞りなどの情報を含むＥｘｉｆ情報が挙げられる。

第２記憶部５０２は、コンテンツ画像４０３として選択される複数の候補画像が記憶された記録媒体である。本実施形態では、第２記憶部５０２として第１サーバコンピュータ３２０上の記録媒体や第２サーバコンピュータ３２２上の記録媒体を用いるが、第１記憶部１１４や第２記憶部２０４を用いてもよい。それぞれの候補画像についても位置情報や季節、時刻、ランドマーク、撮影方向などのタグ情報が関連付けられて記憶されている。第２記憶部５０２には、ランドマーク情報として名所旧跡や建造物に関する画像や形状の特徴等が、位置情報と共に複数記憶されている。

また、第１記憶部５０１または第２記憶部５０２には、画像形成装置１００を設置している店舗の情報を記憶しておく。記憶される店舗の情報としては、例えば店舗の位置情報や店舗名などが挙げられる。また、第１記憶部５０１または第２記憶部５０２には、利用者が画像形成装置１００に撮影画像４０１を読み込ませた日時等や、利用者の性別や年齢等の属性情報を記憶してもよい。

特徴分析部５０３は、撮影画像４０１の画像内容と関連データを分析して、候補画像から最適なコンテンツ画像４０３を選択するための検索条件を生成する。具体例としては、画像認識技術を用いて撮影画像４０１に含まれている名所旧跡の形状や建造物に記載された文字など認識し、撮影画像４０１に関連付けられた関連データに含まれる位置情報や日時と併せて、撮影位置、撮影方向、撮影時期などを検索条件として生成する。

画像抽出部５０４は、撮影画像４０１から背景部分と主役部分４０２を認識して、主役部分４０２のみを部分的な画像として抽出する。具体例としては、撮影画像４０１の画像内容から輪郭認識技術や顔認識技術等を用いて人物部分を特定して、人物部分のみを主役部分４０２の画像として抽出する。

画像選択部５０５は、特徴分析部５０３の分析結果である検索条件、店舗位置情報及び属性情報に基づいて、第２記憶部５０２に記憶された複数の候補画像から撮影画像４０１に最適なコンテンツ画像４０３を選択する。具体例としては、特徴分析部５０３が生成した検索条件である撮影位置、撮影方向、撮影時期などに最も近いタグ情報の候補画像を選び表示パネル１２２に表示し、利用者がタッチパネル１２４からの入力によって合成するためのコンテンツ画像４０３を選択する。

画像合成部５０６は、コンテンツ画像４０３上の一部領域に主役部分４０２を重ね合わせて一枚の合成画像４０４を生成する。このとき、主役部分４０２とコンテンツ画像４０３とが違和感なく構成されるように、主役部分４０２とコンテンツ画像４０３とに所定の画質調整やエフェクト処理を施してもよい。

上述したように図１〜３に示した画像形成装置１００の各ハードウェア要素を用いて、図５に示した画像処理装置５００が構成され、図４に示したような画像合成が行われる。図７は、本実施形態の画像処理装置５００での画像処理方法を説明するフローチャートである。

始めにステップＳ１では、利用者が画像形成装置１００のメディアＩＦ部２１２に撮影画像４０１が記録された記録媒体を接続し、操作部１２０を用いて所望の撮影画像４０１を選択する。画像処理装置５００は、メディアＩＦ部２１２を介して記録媒体から撮影画像４０１を読み込んで第１記憶部５０１に記憶する。

次にステップＳ２では、画像処理装置５００が撮影画像４０１のＥｘｉｆ情報を記録媒体から読み込んで、撮影画像４０１と関連付けされた関連データとして第１記憶部５０１に記憶する。このとき、撮影画像４０１のＥｘｉｆ情報だけではなく、利用者が画像形成装置を操作した日時や、利用者の性別、年齢等の属性情報を第１記憶部５０１に記憶してもよい。

次にステップＳ３では、画像形成装置１００が設置されている店舗の位置を位置データとして取得して第１記憶部５０１に記憶する。店舗の位置データは、予め第１記憶部１１４や第２記憶部２０４の所定領域に記憶させておいた情報を読み込むとしてもよく、第１サーバコンピュータ３２０や第２サーバコンピュータ３２２に予め記憶させておいた情報から、店舗に関する情報をダウンロードするとしてもよい。

本実施形態では、画像処理装置５００がステップＳ１〜Ｓ３を順に実行する例を示したが、ステップＳ１〜Ｓ３の順番を入れ替えてもよく、同時に複数のステップを実行するとしてもよい。

次にステップＳ４では、第１記憶部５０１に記憶された各データが後述する画像処理方法を実行するのに足りるか否かを判定し、実行可能なデータ量が記憶されている場合にはステップＳ５に遷移し、データ不足の場合にはステップＳ１２に遷移する。画像処理方法を実行可能なデータ量としては、撮影画像４０１のＥｘｉｆ情報に含まれる撮影された際の位置情報か、画像形成装置１００が設置された店舗の位置データのいずれか一方を確認できればよい。

ステップＳ５では、第１記憶部５０１に記憶されている関連データの位置情報又は店舗の位置データが示す緯度と経度から、所定の範囲内に含まれる周辺情報を第２記憶部５０２から取得して第１記憶部５０１に記憶する。具体的には、位置情報で示される撮影画像４０１の撮影地点から半径２ｋｍ以内や、位置データで示される店舗位置から半径５ｋｍ以内などのエリアに含まれるランドマーク情報を第２記憶部５０２から取得して周辺情報として記憶する。

次にステップＳ６では、特徴分析部５０３が撮影画像４０１の内容を分析して、撮影画像４０１に映っている寺院や景勝地、ビル等のランドマークを抽出して特徴点として第１記憶部に記憶する。また、特徴分析部５０３は、抽出された特徴点と第１記憶部５０１に記憶されている周辺情報に含まれる特徴点とを比較して、撮影画像４０１の撮影位置での方角を推定し、第１記憶部５０１に方角情報として記憶する。

次にステップＳ７では、画像選択部５０５が撮影位置に基づいて、第２記憶部５０２に記憶されている候補画像の中から最適なコンテンツ画像４０３の有無を検索し、適する候補画像が有る場合にはステップＳ８に遷移し、無い場合にはステップＳ１２に遷移する。最適なコンテンツ画像４０３の検索方法としては、候補画像の位置や方向が撮影画像４０１と類似しているものを選択する方法を用いる。

ステップＳ８では、画像選択部５０５は検索条件を満たす候補画像を表示パネル１２２に表示する。複数の候補画像が検索条件を満たす場合には、複数の候補画像を表示パネル１２２に表示するとともに、複数の候補画像から一つの画像を選択する指示も表示する。

次にステップＳ９では、利用者がタッチパネル１２４を操作して、表示パネル１２２に表示されている候補画像から背景画像として採用するものを一つ選択し、第１記憶部５０１にコンテンツ画像４０３として記憶する。利用者が候補画像からコンテンツ画像４０３を一つ選択した場合にはステップＳ１０に遷移し、コンテンツ画像４０３を一つも選択しなかった場合にはステップＳ１２に遷移する。

ステップＳ１０では、画像抽出部５０４が第１記憶部５０１に記憶されている撮影画像４０１から主役部分４０２と背景部分を認識し、主役部分４０２の画像領域のみを抽出して第１記憶部５０１に記憶する。主役部分４０２の認識方法としては、撮影画像４０１中でピントが合っている領域でのシャープな輪郭処理を認識して、ピントが合っている領域を主役部分４０２とする方法を用いる。

次にステップＳ１１では、画像合成部５０６が第１記憶部５０１に記憶されている主役部分４０２とコンテンツ画像４０３とを読み込み、コンテンツ画像４０３を背景として主役部分４０２を重ね合わせて合成画像４０４を合成し、第１記憶部５０１に記憶する。画像合成部５０６は必要に応じて主役部分４０２とコンテンツ画像４０３にエフェクト処理を施すなどしてもよい。

最後にステップＳ１２で、画像処理装置５００は、撮影画像４０１または合成画像４０４を第２画像形成部２０６から印刷する。

画像処理方法の具体例としては、ステップＳ４で撮影画像４０１のＥｘｉｆ情報に奈良県の東大寺付近の位置情報が含まれている場合に、ステップＳ５で東大寺を中心とした半径２ｋｍに含まれるランドマーク情報を第２記憶部５０２である第１サーバコンピュータ３２０からダウンロードする。ステップＳ６で、撮影画像４０１中に映っている建造物等のランドマークを抽出して撮影方向を推定し、ステップＳ７で撮影位置、撮影方向、撮影時期等が類似の候補画像を検索してステップＳ８で表示する。利用者はステップＳ９で候補画像中からコンテンツ画像４０３を選択し、ステップＳ１０で抽出された主役部分４０２がステップＳ１１で合成され、ステップＳ１２で印刷される。

天候や時期によっては、撮影画像４０１を撮影した際に最も好ましい撮影条件とは限らないため、コンテンツ画像４０３として予め景勝地等のベストショットを保存しておくことで、図５に示したように背景が類似した構図のコンテンツ画像４０３を容易に選択して、主役部分４０２をコンテンツ画像４０３上に自然な構図で合成して印刷することができる。

これにより本発明の画像処理装置では、撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる。
（第２実施形態）
ステップＳ７で、最適なコンテンツ画像４０３の有無を検索する際に、店舗の位置情報に基づいて店舗位置に近いランドマークや地域限定コンテンツ画像を最適なコンテンツ画像４０３として選択してもよい。これにより、本発明の画像処理サービスを撮影地付近の店舗で利用することへのインセンティブを作用させ、店舗への集客効果を見込むことができる。
（第３実施形態）
画像抽出部５０４に抽出範囲の手動指定機能を含ませて、ステップＳ１０での画像抽出時に表示パネル１２２に撮影画像４０１を表示し、利用者にタッチパネル１２４で主役部分４０２を支持させるとしてもよい。これにより利用者が望む主役部分４０２を確実に抽出して合成画像４０４を合成することができ、利用者の要望を正確に反映し最適な構図や印象の合成画像を得ることができる。
（第４実施形態）
ステップＳ１１において、画像合成部５０６は表示パネル１２２にコンテンツ画像４０３と主役部分４０２とを重ね合わせた状態で表示し、利用者がタッチパネル１２４を用いて入力しながら主役部分４０２の重ね合わせ位置を移動させて、合成画像４０４の構図を決定して合成した後に第１記憶部５０１に記憶するとしてもよい。これにより、背景となるコンテンツ画像４０３上における主役部分４０２の配置を適切なものとし、最適な構図や印象の合成画像を得ることができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１００…画像形成装置
４０１…撮影画像
４０２…主役部分
４０３…コンテンツ画像
４０４…合成画像
５００…画像処理装置
５０１…第１記憶部
５０２…第２記憶部
５０３…特徴分析部
５０４…画像抽出部
５０５…画像選択部
５０６…画像合成部

Claims (8)

1. 第２画像データ及び前記第２画像データ毎に関連付けされた関連データが記憶された第１記憶部と、
   複数の候補データが保存された第２記憶部と、
   前記第２画像データを分析して特徴点を抽出する特徴分析部と、
   前記関連データ及び前記特徴点に基づいて前記候補データから候補画像を表示し、選択された前記候補画像を第１画像データとして前記第１記憶部に記憶する画像選択部と、
   前記第２画像データから画像を部分的に抽出して抽出データを取得する画像抽出部と、
   前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成部と、を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   当該画像処理装置の設置位置が第１位置情報として前記第１記憶部または前記第２記憶部に記憶されており、
   前記画像選択部は、前記第１位置情報及び／又は時間情報に基づいて前記候補画像を選択することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記第２記憶部は、ネットワークを介して接続された外部サーバであることを特徴とする画像処理装置。
4. 請求項１から３の何れか一つに記載の画像処理装置であって、
   前記関連データには前記第２画像データの撮影位置である第２位置情報が含まれていることを特徴とする画像処理装置。
5. 請求項１から４の何れか一つに記載の画像処理装置であって、
   前記画像抽出部は、前記第２画像データに含まれる主役部分を前記抽出データとして背景部分から抽出することを特徴とする画像処理装置。
6. 第２画像データ及び前記第２画像データ毎に関連付けされた関連データが記憶された第１記憶装置と、
   複数の候補データが保存された第２記憶装置と、
   前記第２画像データを分析して特徴点を抽出する特徴分析装置と、
   前記関連データ及び前記特徴点に基づいて前記候補データから候補画像を表示し、選択された前記候補画像を第１画像データとして前記第１記憶装置に記憶する画像選択装置と、
   画像を部分的に抽出して取得する画像抽出装置と、
   合成画像を作成する画像合成装置と、を含み、
   前記第２画像データから抽出データを抽出し、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成することを特徴とする画像処理システム。
7. 第１記憶部に、第２画像データ及び前記第２画像データ毎に関連付けされた関連データを記憶させる記憶ステップと、
   前記第２画像データを分析して特徴点を抽出するステップと、
   前記関連データ及び前記特徴点に基づいて、第２記憶部に保存された複数の候補データから候補画像を表示するステップと、
   選択された前記候補画像を第１画像データとして前記第１記憶部に記憶するステップと、
   前記第２画像データから画像を部分的に抽出して抽出データを取得する抽出ステップと、
   前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成ステップと、を備えることを特徴とする画像処理方法。
8. 第１記憶部に、第２画像データ及び前記第２画像データ毎に関連付けされた関連データを記憶させる記憶ステップと、
   前記第２画像データを分析して特徴点を抽出するステップと、
   前記関連データ及び前記特徴点に基づいて、第２記憶部に保存された複数の候補データから候補画像を表示するステップと、
   選択された前記候補画像を第１画像データとして前記第１記憶部に記憶するステップと、
   前記第２画像データから画像を部分的に抽出して抽出データを取得する抽出ステップと、
   前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。

Images