JP7105209B2 - 画像処理方法、プログラム、及び画像処理システム - Google Patents

Description

本発明は画像処理方法、プログラム、及び画像処理システムに係り、特に漢字を楽しむコンテンツに関する。

日本を訪れる外国人であり、特に普段は漢字を使わない外国人にとって漢字は珍しい。漢字は、鑑賞の対象として衣類及びポストカード等の物品に付与され得る。また、漢字が合成された電子コンテンツも、外国人に愛好され、購買されている。

漢字を外国人に楽しんでもらう工夫として、印面に日本語の漢字とアルファベットとを使用した印鑑の作成、及び外国語人名の発音に対応付けて一以上の当て字を並べて、人名漢字を作成する等が挙げられる。しかし、いずれも元々テキストになっているものを翻訳するもの、又は外国人に提示する漢字自体は日本人が個別に考えるものに過ぎない。

特許文献１は、撮像画像の被写体に関する文字情報を、撮像画像に重ねて表示する情報表示システムが記載されている。同システムは、山の撮像画像に対して山の名称を重畳表示し、湖の撮像画像に対して湖の名称を重畳表示する。

特許文献２は、記録部に記録されている画像を検索が可能なカメラが記載されている。同文献に記載のカメラは、液晶表示部に表示された電子キーボードを用いて入力されたキーワードに基づき、記録部に記録されている画像の検索を実施する。

特許文献３は、映画作品等を再生するホームシアターシステムが記載されている。同文献は、ＰＧストリームの説明として、映画の字幕等ピクチャと緻密に同期すべきグラフィックスを示すグラフィックストリームであり、英語等の複数の言語についてのストリームが存在することが記載されている。なお、ＰＧはPresentation Graphicsの省略語である。

特開２０１８－１５１８２９号公報 特許第６０６３５３６号公報 特許第５３４１９４６号公報

しかしながら、現状では、日本を訪れる外国人観光客が簡便に漢字を楽しめるコンテンツが存在しない。また、特許文献１から３に記載の発明は、いずれも、外国人観光客が簡便に漢字を楽しむものではない。

本発明はこのような事情に鑑みてなされたもので、簡便に漢字を楽しむことを可能とする、画像処理方法、プログラム、及び画像処理システムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る画像処理方法は、取得した画像を解析し、画像からオブジェクトを抽出する画像解析工程と、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定工程と、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定工程と、漢字列及びアルファベット文字列を画像に合成するレイアウトを決定するレイアウト決定工程と、レイアウトに基づき、画像に漢字列及びアルファベット文字列を合成して合成画像を生成する合成工程と、を含む画像処理方法である。

第１態様によれば、取得した画像に含まれるオブジェクトに関連する漢字列、及び漢字列の意味に関連するアルファベット文字列を画像に合成する。これにより、アルファベット文字列の意味から漢字列の内容を把握でき、外国人等が漢字を簡便に楽しむことが可能となる。

画像に含まれるオブジェクトは、人物、自然構造物、及び建築物等の画像における被写体を適用し得る。オブジェクトは、空及び風景等の画像における背景を適用し得る。画像解析工程は、複数のオブジェクトの中から一つのオブジェクトを抽出してもよいし、二つ以上のオブジェクトを抽出してもよい。

漢字は日本語に使用される漢字を適用し得る。漢字は中国等の外国において使用される
漢字を適用してもよい。

オブジェクトに関連する漢字列の例として、オブジェクトの内容を表す漢字列、オブジェクトのイメージを表す漢字列、及びオブジェクトから想像され得る漢字列等が挙げられる。

アルファベット文字列は、漢字列の意味を表す英単語等の外国語単語を適用し得る。アルファベット文字列は、ハッシュタグ等のように特定の記号等が含まれていてもよい。

漢字列に関連するアルファベット文字列の例として、漢字列の意味を表すアルファベット文字列、漢字列のイメージを表すアルファベット文字列、及び漢字列から想像され得るアルファベット文字列等が挙げられる。

レイアウトはオブジェクトの位置の情報が含まれ得る。レイアウトは画像における漢字列の位置、漢字列の色、及び漢字列のフォント等の情報が含まれ得る。レイアウトは画像におけるアルファベット文字列の位置、アルファベット文字列の色、及びアルファベット文字列のフォント等の情報が含まれ得る。

オブジェクトの位置の情報、漢字列の位置の情報、及びアルファベット文字列の位置の情報は、画像における座標値を適用し得る。

第２態様は、第１態様の画像処理方法において、レイアウト決定工程は、漢字列が配置される領域にアルファベット文字列を配置するレイアウトを採用する構成としてもよい。

第２態様によれば、漢字列とアルファベット文字列とを一括して視認し得る。また、漢字列とアルファベット文字列との一体感を表現し得る。

第３態様は、第１態様又は第２態様の画像処理方法において、レイアウト決定工程は、漢字列の少なくとも一部をオブジェクトに重なる位置に配置するレイアウトを採用する構成としてもよい。

第３態様によれば、デザイン性に優れた画像、漢字列、及びアルファベット文字列が合成された合成画像が実現され得る。また、オブジェクトと漢字列との対応関係を把握し得る。

第４態様は、第１態様から第３態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、漢字列をオブジェクトの前景に配置するレイアウトを採用する構成としてもよい。

第４態様によれば、合成画像において、漢字列を目立たせることができる。

第４態様において、アルファベット文字列をオブジェクトの前景に配置するレイアウトを採用し得る。

第５態様は、第１態様から第４態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、オブジェクトを漢字列の前景に配置するレイアウトを採用する構成としてもよい。

第５態様によれば、合成画像におけるオブジェクトの存在感を損なうことがなく、オブジェクトに関連する漢字を楽しむことが可能となる。

第５態様において、オブジェクトをアルファベット文字列の前景に配置するレイアウトを採用し得る。

第６態様は、第１態様から第５態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、漢字列の少なくとも一部についてオブジェクトを透過させるレイアウトを採用する構成としてもよい。

第６態様によれば、合成画像におけるオブジェクトの存在感を損なうことがなく、合成画像の中で漢字列を目立たせることができ、オブジェクトに関連する漢字を楽しむことが可能となる。

第６態様において、アルファベット文字列の少なくとも一部についてオブジェクトを透過させるレイアウトを採用し得る。

第７態様は、第１態様から第６態様のいずれか一態様の画像処理方法において、画像解析工程は、オブジェクトに使用される色を抽出し、レイアウト決定工程は、漢字列の色として抽出された色を採用する構成としてもよい。

第７態様によれば、合成画像において、画像と漢字列との色の調和を実現し得る。

第７態様において、アルファベット文字列の色として、抽出された画像の色を採用してもよい。これにより、合成画像全体として色の調和を実現し得る。

第８態様は、第１態様から第７態様のいずれか一態様の画像処理方法において、画像解析工程は、画像から複数のオブジェクトを抽出し、レイアウト決定工程は、複数のオブジェクトのそれぞれに漢字列を配置するレイアウトを採用する構成としてもよい。

第８態様によれば、漢字列が強調され、かつ、デザイン性に優れた合成画像を生成し得る。

第８態様において、一つのオブジェクトに対して、一つの漢字列及び一つのアルファベット文字列をセットとして合成し得る。

第９態様は、第１態様から第８態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、漢字列をオブジェクトの向きに対応する向きに配置するレイアウトを採用する構成としてもよい。

第９態様によれば、オブジェクトと漢字列との一体感が表現された、デザイン性に優れた合成画像を生成し得る。

第９態様において、アルファベット文字列の向きをオブジェクトの向きに対応させてもよい。

第１０態様は、第１態様から第９態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、漢字列に含まれる一つ以上の漢字を画像の縁に配置するレイアウトを採用する構成としてもよい。

第１０態様によれば、漢字が強調された、デザイン性に優れた合成画像を生成し得る。

第１１態様は、第１態様から第１０態様のいずれか一態様の画像処理方法において、漢字列決定工程は、オブジェクトに関連する複数の漢字列の候補から、一つ以上の合成対象の漢字列を決定する構成としてもよい。

第１１態様によれば、抽出されたオブジェクトについて、漢字列の選択肢を広げることが可能である。

第１２態様は、第１態様から第１１態様のいずれか一態様の画像処理方法において、アルファベット文字列決定工程は、漢字列の意味に関連する複数のアルファベット文字列の候補から、合成対象のアルファベット文字列を決定する構成としてもよい。

第１２態様によれば、漢字列について、複数のアルファベット文字列の候補から一つ以上のアルファベット文字列を選択し得る。

第１３態様は、第１態様から第１２態様のいずれか一態様の画像処理方法において、漢字列決定工程において決定した漢字列を、オブジェクトに関連する他の漢字列へ修正する漢字列修正工程を含む構成としてもよい。

第１３態様によれば、漢字列の修正が可能である。

第１３態様において、ユーザインターフェースを用いて、ユーザが漢字列を手動修正し得る。

第１３態様において、修正された漢字列に応じて、アルファベット文字列を手動修正又は自動修正してもよい。

第１４態様は、第１態様から第１３態様のいずれか一態様の画像処理方法において、アルファベット文字列決定工程において決定したアルファベット文字列を、漢字列の意味に関連する他のアルファベット文字列へ修正するアルファベット文字列修正工程を含む構成としてもよい。

第１４態様によれば、アルファベット文字列の修正が可能である。

第１４態様において、ユーザインターフェースを用いて、ユーザがアルファベット文字列を手動修正し得る。

第１５態様は、第１態様から第１４態様のいずれか一態様の画像処理方法において、印刷装置を用いて合成画像を印刷する印刷工程を含む構成としてもよい。

第１５態様によれば、合成画像を印刷した印刷物を提供し得る。これにより、印刷物を用いて漢字を楽しむことが可能となる。

第１６態様に係るプログラムは、コンピュータに、取得した画像を解析し、画像からオブジェクトを抽出する画像解析機能、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定機能、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定機能、漢字列及びアルファベット文字列を画像に合成する際のレイアウトを決定するレイアウト決定機能、及びレイアウトに基づき、画像に漢字列及びアルファベット文字列を合成して合成画像を生成する合成機能を実現させるプログラムである。

第１６態様によれば、第１態様と同様の効果を得ることができる。

第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

第１７態様に係る画像処理システムは、取得した画像を解析し、画像からオブジェクトを抽出する画像解析部と、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定部と、漢字列及びアルファベット文字列を画像に合成する際のレイアウトを決定するレイアウト決定部と、レイアウトに基づき、画像に漢字列及びアルファベット文字列を合成して合成画像を生成する合成部と、を備えた画像処理システムである。

第１７態様によれば、第１態様と同様の効果を得ることができる。

第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理システムの構成要素として把握することができる。

第１８態様は、第１７態様の画像処理システムにおいて、合成画像を印刷する印刷部を備えた構成としてもよい。

第１８態様によれば、合成画像を印刷した印刷物を提供し得る。これにより、印刷物を用いて漢字を楽しむことが可能となる。

第１９態様に係る画像処理システムは、ネットワークを介して通信可能に接続される画像処理システムであって、取得した画像を解析し、画像からオブジェクトを抽出する画像解析部と、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定部と、漢字列及びアルファベット文字列を画像に合成する際のレイアウトを決定するレイアウト決定部と、レイアウトに基づき、画像に漢字列及びアルファベット文字列を合成して合成画像を生成する合成部と、を備えた画像処理システムである。

第１９態様によれば、第１態様と同様の効果を得ることができる。

第１９態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理システムの構成要素として把握することができる。

第２０態様は、第１９態様の画像処理システムにおいて、ネットワークを介して通信可能に接続される印刷装置であり、合成画像の印刷を実施する印刷装置を備えた構成としてもよい。

第２０態様によれば、合成画像を印刷した印刷物を提供し得る。これにより、印刷物を用いて漢字を楽しむことが可能となる。

第２１態様は、第２０態様の画像処理システムにおいて、印刷装置は、画像解析部、漢字列決定部、アルファベット文字列決定部、レイアウト決定部、及び合成部を備え、画像に基づく合成画像の印刷を実施する構成としてもよい。

第２１態様によれば、印刷装置は端末装置から処理対象の画像を取得し、取得した画像に基づく合成画像を生成し、合成画像を印刷した印刷物をユーザへ提供し得る。

第２２態様は、第１９態様又は第２０態様の画像処理システムにおいて、ネットワークを介して通信可能に接続されるサーバ装置であり、画像解析部、漢字列決定部、アルファベット文字列決定部、レイアウト決定部、及び合成部を具備するサーバ装置を備えた構成としてもよい。

第２２態様によれば、ネットワーク接続されたサーバ装置を用いて、合成画像の生成が可能である。

本発明によれば、取得した画像に含まれるオブジェクトに関連する漢字列、及び漢字列の意味に関連するアルファベット文字列を画像に合成する。これにより、アルファベット文字列の意味から漢字列の内容を把握でき、外国人等が漢字を簡便に楽しむことが可能となる。

図１は第一実施形態に係る画像処理システムの機能ブロック図である。 図２は図１に示す画像処理装置の具体例に係るスマートフォンの正面図である。 図３は第一実施形態に係る画像処理方法の手順を示すフローチャートである。 図４は合成画像の具体例を示す説明図である。 図５は図４に示す画像の他の被写体がオブジェクトとして抽出された場合の合成画像の具体例を示す説明図である。 図６は図４に示す画像の更に他の被写体がオブジェクトとして抽出された場合の合成画像の具体例を示す説明図である。 図７は漢字テンプレートデータベースの具体例の説明図である。 図８は第二実施形態に係る画像処理システムの構成図である。 図９は図８に示すセルフ印刷端末装置の機能ブロック図である。 図１０は第二実施形態に係る画像処理方法の手順を示すフローチャートである。 図１１は第三実施形態に係る画像処理システムにおけるレイアウト決定部の機能ブロック図である。 図１２は第三実施形態に係る画像処理システムにおけるレイアウト設定画面の一例を示す画面図である。 図１３は第三実施形態に係る画像処理方法におけるレイアウト決定工程の手順を示すフローチャートである。 図１４は第一具体例に係る合成画像の説明図である。 図１５は第二具体例に係る合成画像の説明図である。 図１６は第三具体例に係る合成画像の説明図である。 図１７は第四具体例に係る合成画像の説明図である。 図１８は第五具体例に係る合成画像の説明図である。 図１９は第六具体例に係る合成画像の説明図である。 図２０は第七具体例に係る合成画像の説明図である。 図２１は第八具体例に係る合成画像の説明図である。 図２２は第九具体例に係る合成画像の説明図である。 図２３は第十具体例に係る合成画像の説明図である。 図２４は第十一具体例に係る合成画像の説明図である。 図２５は第十二具体例に係る合成画像の説明図である。 図２６は第十三具体例に係る合成画像の説明図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

［画像処理システムの全体構成］
図１は第一実施形態に係る画像処理システムの機能ブロック図である。同図に示す画像処理システム１０は、画像から抽出されたオブジェクトに関連する漢字列、及び漢字列の意味に関連するアルファベット文字列を、画像に合成して合成画像を生成する。合成画像を表す信号が印刷端末装置へ送信された場合、印刷端末装置は合成画像を印刷した印刷物を生成する。

以下に、漢字列として漢字一文字を適用し、アルファベット文字列としてハッシュタグを適用する例について説明する。なお、本明細書において、画像という用語は、画像自身を表す場合だけでなく、画像を表す信号である画像データを表すことがあり得る。ハッシュタグは、アルファベット文字列の前にハッシュ記号を付与したラベルである。

アルファベットとは、任意の言語に適用される一定の配列順序を持った文字体系に属する任意の文字である。例えば、ラテン文字、ギリシャ文字、及びキリル文字等が挙げられる。

画像処理システム１０は、スマートフォン等のモバイル端末装置を適用し得る。画像処理システム１０は、パーソナルコンピュータ等のコンピュータを適用してもよい。コンピュータは、ディスクトップ型コンピュータ、ノート型コンピュータ、及びタブレット型コンピュータ等を適用し得る。

画像処理システム１０は、合成画像を生成するアプリケーションソフトウェアがインストールされる。画像処理システム１０は、合成画像を生成するアプリケーションソフトウェアを実行して、合成画像の生成における各機能を実現し得る。

画像処理システム１０は、画像取得部１２及び画像記憶部１３を備える。画像取得部１２は、スマートフォンに内蔵される撮像装置等を用いて撮像された画像を取得する。画像取得部１２は、画像記憶部１３へ取得した画像を記憶する。

画像処理システム１０は、外部の記憶装置から処理対象の画像を取得してもよい。例えば、画像取得部１２は、ＵＳＢポート及びメモリカードを挿入可能なスロット等の、図示しない通信インターフェースを介して処理対象の画像を取得してもよい。なお、ＵＳＢはUniversal Serial Busの省略語である。

画像処理システム１０はオブジェクト抽出部１４を備える。オブジェクト抽出部１４は、処理対象の画像を解析し、処理対象の画像から一つ以上のオブジェクトを抽出する。オブジェクト抽出は公知の画像処理技術を適用し得る。オブジェクト抽出部１４は、オブジェクトとして主要被写体を抽出してもよいし、背景の構成要素を抽出してもよい。

オブジェクト抽出部１４は、処理対象の画像から抽出したオブジェクトからオブジェクト属性情報を抽出する。オブジェクト属性情報は、オブジェクトの種類、オブジェクトの向き、オブジェクトのサイズ、オブジェクトの画像における位置、及びオブジェクトの色等が含まれ得る。オブジェクト抽出部１４は、オブジェクト属性情報を画像と関連付けして、オブジェクト属性情報記憶部１５へ記憶する。なお、実施形態に示すオブジェクト抽出部１４は、画像解析部の一例に相当する。

画像処理システム１０は、漢字照合部１６及び漢字テンプレートデータベース２２を備える。漢字照合部１６は、漢字テンプレートデータベース２２を参照して、オブジェクト属性情報をパラメータとして、オブジェクトの内容を表す漢字及び漢字の意味を表すハッシュタグを照合する。

なお、オブジェクトの内容を表す漢字は、オブジェクトに関連する漢字を一文字以上含む漢字列の一例に相当する。また、漢字の意味を表すハッシュタグは、漢字列の意味に関連するアルファベット文字列の一例に相当する。

漢字テンプレートデータベース２２は、スマートフォンの撮像装置等を用いて撮像し得る被写体等を表す漢字、及び漢字の意味を表すハッシュタグの組み合わせを被写体と関連付けして記憶する。漢字テンプレートデータベース２２は、漢字及びハッシュタグを組み合わせたテンプレートを被写体と関連付けして記憶し得る。

すなわち、漢字照合部１６は、漢字テンプレートデータベース２２からオブジェクト属性情報に対応する漢字及びハッシュタグを組み合わせたテンプレートを読み出す。なお、図１等に示すＤＢはData Baseの省略語である。

漢字テンプレートデータベース２２は、画像処理システム１０の外部に具備され得る。漢字テンプレートデータベース２２は、ネットワーク等を介して画像処理システム１０と通信可能に接続され得る。

画像処理システム１０は、レイアウト決定部１８を備える。レイアウト決定部１８は、漢字照合部１６を用いて漢字テンプレートデータベース２２から読み出した漢字テンプレートの画像における位置、漢字テンプレートの大きさ、及び漢字テンプレートの色等の合成画像におけるレイアウトを決定する。

なお、実施形態に示すレイアウト決定部１８は、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部の一例に相当する。また、レイアウト決定部１８は、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定部の一例に相当する。

画像処理システム１０は、合成部２０を備える。合成部２０は、処理対象の画像に対して、レイアウト決定部１８を用いて決められた漢字テンプレートを合成して合成画像を生成する。

画像処理システム１０は、表示部２４を備える。表示部２４はスマートフォンの液晶ディスプレイが適用される。表示部２４は、合成部２０を用いて生成された合成画像を表示する。

画像処理システム１０は、合成画像記憶部２６を備える。合成部２０は、合成画像を記憶することを表す指令信号を取得した場合に、合成画像を合成画像記憶部２６へ記憶する。

［画像処理システムのハードウェア構成］
図１に示す各種処理部のハードウェアは、各種のプロセッサを適用し得る。各種のプロセッサには、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を適用し得る。ＣＰＵはプログラムを実行して各種処理部として機能する汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。

各種のプロセッサとして、専用電気回路等が含まれるデバイスを適用し得る。専用電気回路等が含まれるデバイスの例として、ＰＬＤ（Programmable Logic Device）及びＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＰＬＤはデバイスの製造後に回路構成を変更可能なプロセッサである。ＡＳＩＣは特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

一つの処理部は、上記したプロセッサのうちの一つを用いて構成されていてもよいし、二つ以上を用いて構成されてもよい。二つ以上のプロセッサを用いて一つの処理部を構成する例として、同じ種類のプロセッサを用いて一つの処理部を構成する例及び異なる種類のプロセッサを用いて一つの処理部を構成する例が挙げられる。

同じ種類のプロセッサを用いて一つの処理部を構成する例として、二つ以上のＦＰＧＡを用いる例が挙げられる。異なる種類のプロセッサを用いて一つの処理部を構成する例として、一つ以上のＣＰＵと一つ以上のＦＰＧＡとを用いて一つの処理部を構成する例が挙げられる。

一つのプロセッサを用いて複数の処理部を構成してもよい。一つのプロセッサを用いて複数の処理部を構成する例として、一つ以上のＣＰＵとプログラムとの組み合わせを適用して一つのプロセッサを構成し、かかる構成のプロセッサが複数の処理部として機能する形態が挙げられる。かかる形態の具体例として、サーバ装置及びクライアント装置等のコンピュータが挙げられる。

一つのプロセッサを用いて複数の処理部を構成する他の例として、複数の処理部を含むシステム全体の機能を一つのＩＣチップを用いて実現するプロセッサを使用する形態が挙げられる。

かかる形態の具体例として、システムオンチップが挙げられる。なお、ＩＣは集積回路を表すIntegrated Circuitの省略語である。システムオンチップは英語表記を用いてＳｏＣ（System On Chip）と記載されることがある。

各種の処理部は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。各種のプロセッサのハードウェア的な構造は、半導体素子等の回路素子を組み合わせた電気回路である。電気回路は英語表記を用いてcircuitryと表される場合があり得る。

［画像処理装置の具体例］
図２は図１に示す画像処理装置の具体例に係るスマートフォンの正面図である。同図に示すスマートフォン１０Ａは、液晶ディスプレイ２４Ａを用いて合成画像５２を表示する。スマートフォン１０Ａは、予め、合成画像生成アプリケーションソフトウェアがインストールされている。以下、合成画像生成アプリケーションソフトウェアをアプリと記載する。

スマートフォン１０Ａの操作者はアプリを起動する。スマートフォン１０Ａの操作者はスマートフォン１０Ａに内蔵される撮像装置３０を起動し、撮像を開始する。液晶ディスプレイ２４Ａはスルー画を表示する。なお、実施形態に記載の撮像装置３０は画像取得部の一例に相当する。

規定の被写体がフォーカス領域に入った場合に、被写体であるオブジェクト４２に対応する一文字以上の漢字を含む漢字列４４、及び漢字列４４の意味を表すハッシュタグ４６を含む漢字テンプレート４８が読み出される。漢字テンプレート４８はオブジェクト４２を含む画像５０に合成される。画像５０に漢字テンプレート４８を合成した合成画像５２は、液晶ディスプレイ２４Ａに表示される。

液晶ディスプレイ２４Ａに合成画像５２が表示された状態において図示しない撮像ボタンが操作された場合に、撮像装置３０は画像５０を記憶する。アプリは、漢字テンプレート４８を画像５０に合成した合成画像５２を生成する。アプリは、合成画像５２を記憶する。

［画像処理方法のフローチャート］
図３は第一実施形態に係る画像処理方法の手順を示すフローチャートである。アプリ起動工程Ｓ１０では、図２に示すスマートフォン１０Ａの操作者がスマートフォン１０Ａの操作ボタンを操作してアプリを起動する。アプリ起動工程Ｓ１０の後に画像処理方法の手順は撮像開始工程Ｓ１２へ進む。

撮像開始工程Ｓ１２では、スマートフォン１０Ａの操作者がスマートフォン１０Ａの操作ボタンを操作して、スマートフォン１０Ａに内蔵される撮像装置３０を起動する。スマートフォン１０Ａの操作者は、撮像装置３０のレンズを撮像対象へ向ける。なお、撮像装置３０のレンズの図示は省略する。スマートフォン１０Ａの液晶ディスプレイ２４Ａは撮像対象のスルー画を表示する。撮像開始工程Ｓ１２の後に画像処理方法の手順はオブジェクト抽出工程Ｓ１４へ進む。

オブジェクト抽出工程Ｓ１４では、図１に示すオブジェクト抽出部１４は、規定の被写体が撮像装置３０のフォーカス領域に入ったか否かを判定する。オブジェクト抽出工程Ｓ１４において、オブジェクト抽出部１４が規定の被写体が撮像装置３０のフォーカス領域に入っていないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順は撮像終了判定工程Ｓ２８へ進む。

一方、オブジェクト抽出工程Ｓ１４において、オブジェクト抽出部１４が規定の被写体が撮像装置３０のフォーカス領域に入っていると判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、オブジェクト抽出部１４は規定の被写体をオブジェクト４２として抽出し、画像処理方法の手順はテンプレート読出工程Ｓ１６へ進む。なお、実施形態に示すオブジェクト抽出工程Ｓ１４は、画像解析工程の一例に相当する。

テンプレート読出工程Ｓ１６では、漢字照合部１６はオブジェクト４２に対応する漢字テンプレート４８を、漢字テンプレートデータベース２２から読み出す。テンプレート読出工程Ｓ１６の後に画像処理方法の手順はレイアウト決定工程Ｓ１８へ進む。

なお、実施形態に示すテンプレート読出工程Ｓ１６は、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定工程の一例に相当する。また、テンプレート読出工程Ｓ１６は、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定工程の一例に相当する。

レイアウト決定工程Ｓ１８では、レイアウト決定部１８は漢字テンプレート４８及び画像５０に基づき合成画像５２のレイアウトを決定する。レイアウト決定工程Ｓ１８の後に画像処理方法の手順は合成画像生成工程Ｓ２０へ進む。

レイアウト決定工程Ｓ１８は、決定された漢字列４４を修正する漢字列修正工程が含まれてもよい。また、レイアウト決定工程Ｓ１８は、決定されたハッシュタグ４６を修正するハッシュタグ修正工程が含まれてもよい。なお、実施形態に示すハッシュタグ修正工程は、アルファベット文字列修正工程の一例に相当する。

合成画像生成工程Ｓ２０では、合成部２０は漢字テンプレート４８及び画像５０を合成した合成画像５２を生成する。合成画像生成工程Ｓ２０の後に画像処理方法の手順は合成画像表示工程Ｓ２２へ進む。

合成画像表示工程Ｓ２２では、表示部２４は合成画像５２を表示する。合成画像表示工程Ｓ２２の後に画像処理方法の手順は合成画像記憶判定工程Ｓ２４へ進む。

合成画像記憶判定工程Ｓ２４では、画像処理システム１０は、表示部２４へ合成画像が表示されたタイミングからスマートフォン１０Ａの撮像ボタンが操作されたか否かを判定する。

合成画像記憶判定工程Ｓ２４において、画像処理システム１０が表示部２４へ合成画像が表示されたタイミングからスマートフォン１０Ａの撮像ボタンが操作されず、一定期間が経過したと判定された場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順はオブジェクト抽出工程Ｓ１４へ進む。以下、合成画像記憶判定工程Ｓ２４においてＹｅｓ判定となるまで、オブジェクト抽出工程Ｓ１４から合成画像記憶判定工程Ｓ２４までの各工程が繰り返し実施される。

一方、合成画像記憶判定工程Ｓ２４において、画像処理システム１０が表示部２４へ合成画像が表示されたタイミングから一定期間経過内にスマートフォン１０Ａの撮像ボタンが操作されたと判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、画像処理方法の手順は合成画像記憶工程Ｓ２６へ進む。

合成画像記憶工程Ｓ２６では、合成部２０は合成画像５２を合成画像記憶部２６へ記憶する。合成画像記憶工程Ｓ２６の後に画像処理方法の手順は撮像終了判定工程Ｓ２８へ進む。

撮像終了判定工程Ｓ２８では、画像処理システム１０は撮像を終了するか否かを判定する。撮像終了判定工程Ｓ２８において画像処理システム１０が撮像を終了しないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順はオブジェクト抽出工程Ｓ１４へ進み、撮像終了判定工程Ｓ２８においてＹｅｓ判定となるまで、オブジェクト抽出工程Ｓ１４から撮像終了判定工程Ｓ２８の各工程を繰り返し実施する。

一方、撮像終了判定工程Ｓ２８において画像処理システム１０が撮像を終了すると判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像処理システム１０は画像処理方法を終了する。

［合成画像の具体例］
次に、合成画像の具体例を説明する。図４は合成画像の具体例を示す説明図である。なお、図４に示す合成画像５２は、図２に示す合成画像５２と同一である。図５には、画像５０の被写体として空が認識され、空がオブジェクト４２として抽出された場合の漢字テンプレート４８を示す。漢字テンプレート４８における漢字列４４は空という漢字一文字が適用される。漢字テンプレート４８におけるハッシュタグ４６は、漢字列４４の意味を表す英単語であるｅｍｐｔｉｎｅｓｓが適用される。

合成画像５２は、オブジェクト４２と重なる位置に漢字列４４が配置される。漢字列４４が専有する領域の内部にはハッシュタグ４６が配置される。合成画像５２は、漢字列４４及びハッシュタグ４６が前景であり、画像５０が背景となっている。合成画像５２は、漢字列４４の一部及びハッシュタグ４６の一部に透過処理が施され、画像５０が透けて見えている。

図５は図４に示す画像の他の被写体がオブジェクトとして抽出された場合の合成画像の具体例を示す説明図である。図５には、画像５０の建物が被写体として認識され、オブジェクト４２Ａとして抽出された場合の合成画像５２Ａを示す。オブジェクト解析の結果、オブジェクト４２Ａは、オブジェクトの種類が寺院の建物であることを表すオブジェクト属性情報が抽出されている。

図５に示す漢字列４４Ａは、オブジェクト属性情報に対応する寺という漢字一文字が適用される。ハッシュタグ４６Ａは、漢字列４４Ａの意味を表す英単語であるｔｅｍｐｌｅが適用される。合成画像５２Ａは、オブジェクト４２Ａである寺院の建物の位置を避ける、寺院の建物と非重畳の位置に漢字列４４Ａが配置される。ハッシュタグ４６Ａは、漢字列４４Ａが専有する領域の内部に配置されている。

合成画像５２Ａは、漢字列４４Ａ及びハッシュタグ４６Ａが前景であり、画像５０が背景となっている。合成画像５２Ａは、漢字列４４Ａの一部及びハッシュタグ４６Ａの一部に透過処理が施され、画像５０の空が透けて見えている。

図６は図４に示す画像の更に他の被写体がオブジェクト４２Ｂとして抽出された場合の合成画像の具体例を示す説明図である。図６には、画像５０の高層タワーが被写体として認識され、オブジェクト４２Ｂとして抽出された場合の合成画像５２Ｂを示す。オブジェクト解析の結果、オブジェクト４２Ｂは、オブジェクトの種類が高層タワーであることを表すオブジェクト属性情報が抽出されている。

図６に示す漢字列４４Ｂは、オブジェクト属性情報に対応する塔という漢字一文字が適用される。ハッシュタグ４６Ｂは、漢字列４４Ｂの意味を表す英単語であるｔｏｗｅｒが適用される。

合成画像５２Ｂは、オブジェクト４２Ｂと重なる位置に漢字列４４Ｂが配置される。また、ハッシュタグ４６Ｂは、漢字列４４Ｂが専有する領域の外部であり、オブジェクト４２Ｂを避ける位置に配置されている。合成画像５２Ｂは、漢字列４４Ｂ及びハッシュタグ４６Ｂが前景であり、画像５０が背景となっている。合成画像５２Ｂは、漢字列４４Ｂの一部及びハッシュタグ４６Ｂの一部に透過処理が施され、画像５０の空、寺院の建物、及び高層タワーが透けて見えている。

［漢字テンプレートデータベースの具体例］
図７は漢字テンプレートデータベースの具体例の説明図である。同図に示す漢字テンプレートデータベース２２は、オブジェクト属性情報と漢字列４４及びハッシュタグ４６の組み合わせとの対応関係が記憶されている。図７に示す漢字列４４及びハッシュタグ４６の組み合わせは図２等に示す漢字テンプレート４８に相当する。

漢字テンプレートデータベース２２は、一つのオブジェクト属性情報に対して一つ以上の漢字が関連付けされる。また、漢字テンプレートデータベース２２は、一つの漢字列４４に対して一つ以上のハッシュタグ４６が関連付けされる。図１に示す漢字照合部１６は、一つのオブジェクト属性情報に基づき、漢字列４４及びハッシュタグ４６の組み合わせを選択的に決定することが可能である。

漢字テンプレートデータベース２２は、オブジェクト属性情報をパラメータとして、漢字列４４及びハッシュタグ４６の組み合わせを照合し得る。漢字テンプレートデータベース２２は、オブジェクト属性情報を追加し、追加されたオブジェクト属性情報に対応する漢字列４４及びハッシュタグ４６の組み合わせを追加してもよい。

なお、実施形態に示す漢字テンプレートデータベース２２は、オブジェクトを表す複数の漢字列の候補から、一つ以上の合成対象の漢字列を決定する漢字列決定工程に適用される。

また、実施形態に示す漢字テンプレートデータベース２２は、漢字列の意味を表す複数のアルファベット文字列の候補から、合成対象のアルファベット文字列を決定するアルファベット文字列決定工程に適用される。

［漢字照合部及びテンプレート読出工程の変形例］
図１に示す漢字照合部１６及び図３に示すテンプレート読出工程Ｓ１６は、オブジェクト属性情報と漢字テンプレート４８との対応関係を学習した学習器を適用してもよい。すなわち、漢字照合部１６は、オブジェクト属性情報と漢字列４４との対応関係を学習した学習器及び、漢字列４４とハッシュタグ４６との対応関係を学習した学習器を用いて、オブジェクト属性情報に対応する漢字テンプレート４８を決定し得る。

学習器は、畳み込みニューラルネットワーク等の深層学習を適用し得る。学習器が適用される漢字照合部１６は、漢字テンプレート４８の決定結果を用いて、再学習を実施してもよい。

［第一実施形態に係る画像処理システム及び画像処理方法の作用効果］
第一実施形態に係る画像処理システム１０及び画像処理方法によれば、以下の作用効果を得ることが可能である。

〔１〕
スマートフォン１０Ａの撮像装置３０を用いた撮像の際に、液晶ディスプレイ２４Ａを用いて、画像５０から抽出されたオブジェクト４２に関連する漢字列４４、及び漢字列４４の意味に関連するハッシュタグを画像５０に対して合成した合成画像５２を表示する。これにより、漢字の意味を把握し得ない外国人等は、ハッシュタグ４６から漢字列４４の意味を把握することができ、画像５０に合成された漢字を簡便に楽しむことが可能となる。

〔２〕
合成画像５２において、漢字列４４が専有する領域の内部にハッシュタグ４６を配置する。これにより、漢字列４４とハッシュタグ４６とを一括して視認し得る。また、漢字列４４とハッシュタグ４６との一体感を表現し得る。

〔３〕
合成画像５２において、オブジェクト４２と重なる位置に漢字列４４及びハッシュタグ４６を配置する。これにより、デザイン性に優れた合成画像５２の生成が可能となる。また、オブジェクト４２と漢字列４４との対応関係を把握し得る。

〔４〕
合成画像５２において、漢字列４４及びハッシュタグ４６を前景とし、オブジェクト４２を背景とする。これにより、合成画像５２において、漢字列４４及びハッシュタグ４６の強調が可能となる。

〔５〕
漢字列４４及びハッシュタグ４６の一部に透過処理を施し、オブジェクト４２等を透過させる。これにより、合成画像５２においてオブジェクト４２等の存在感を損なうことがなく、漢字列４４及びハッシュタグ４６の強調が可能となる。

〔６〕
オブジェクト属性情報に対応する複数の漢字列４４及びハッシュタグ４６の組み合わせから、一つ以上の漢字列４４及びハッシュタグ４６を選択する。これにより、一つのオブジェクトに対して、漢字列４４及びハッシュタグ４６の選択肢を広げることが可能である。

［第二実施形態に係る画像処理システムの説明］
図８は第二実施形態に係る画像処理システムの構成図である。同図に示す画像処理システム１００はサーバ装置１０２を備え、サーバ装置１０２はネットワーク１０４を介して端末装置と通信可能に接続される。

図８には端末装置として、第一スマートフォン１０６Ａ及び第二スマートフォン１０６Ｂを含む複数のスマートフォンを示す。また、図８には他の端末装置として、ノート型パーソナルコンピュータ１０８及びセルフ印刷端末装置１１０を示す。

図８に示すサーバ装置１０２は、図１に示す画像処理システム１０におけるハードウェア構成を適用し得る。ここでは、サーバ装置１０２の機能の説明は省略する。サーバ装置１０２は図示しない通信インターフェースを備える。サーバ装置１０２は通信インターフェースを介してネットワーク１０４と通信可能に接続される。

セルフ印刷端末装置１１０は、空港、駅、宿泊施設、及び店舗等の観光客の拠点に設置される。セルフ印刷端末装置１１０は、観光客が自身の所有する画像を印刷するプリントサービスを提供し得る。

［セルフ印刷端末装置の構成例］
図９は図８に示すセルフ印刷端末装置の機能ブロック図である。なお、セルフ印刷端末装置１１０のハードウェア構成は図１に示す画像処理システム１０と同様の構成を適用し得る。

図８に示すセルフ印刷端末装置１１０は、画像取得部１２０、画像記憶部１２２、オブジェクト抽出部１２４、オブジェクト属性情報記憶部１２６、漢字照合部１２８、レイアウト決定部１３０、合成部１３２、漢字テンプレートデータベース１３４、表示部１３６を備える。また、セルフ印刷端末装置１１０は、印刷部１３８を備える。

セルフ印刷端末装置１１０における画像取得部１２０、画像記憶部１２２、オブジェクト抽出部１２４、オブジェクト属性情報記憶部１２６、漢字照合部１２８、レイアウト決定部１３０、合成部１３２、漢字テンプレートデータベース１３４、及び表示部１３６は、図１に示す画像処理システム１０の各部と同様である。ここでは、これらの説明を省略する。

図９に示す印刷部１３８は、合成画像の印刷を実施する。印刷部１３８はインクジェット方式の印刷装置を適用し得る。印刷部１３８は電子写真方式の印刷装置を適用してもよい。

図８に示す第一スマートフォン１０６Ａ等の端末装置から、ネットワーク１０４を介してセルフ印刷端末装置１１０へ画像をアップロードする。セルフ印刷端末装置１１０は画像からオブジェクト及びオブジェクト属性情報を抽出し、漢字テンプレートを選択し、漢字テンプレートに基づき合成画像におけるレイアウトを決定する。

セルフ印刷端末装置１１０は、決定されたレイアウトに基づき合成画像を生成する。セルフ印刷端末装置１１０は、合成画像を印刷する。

図９に示す漢字テンプレートデータベース１３４は、セルフ印刷端末装置１１０の外部に配置され、ネットワーク１０４を介してセルフ印刷端末装置１１０と通信可能に接続されてもよい。

セルフ印刷端末装置１１０におけるオブジェクト抽出部１２４、オブジェクト属性情報記憶部１２６、漢字照合部１２８、レイアウト決定部１３０、合成部１３２は、図８に示すサーバ装置１０２が備えてもよい。

第一スマートフォン１０６Ａ等の端末装置から、ネットワーク１０４を介してサーバ装置１０２へ画像をアップロードする。サーバ装置１０２はアップロードした画像に基づき合成画像を生成する。セルフ印刷端末装置１１０は合成画像をダウンロードし、表示部１３６を用いて合成画像を表示し、印刷部１３８を用いて合成画像を印刷し得る。

［第二実施形態に係る画像処理方法のフローチャート］
図１０は第二実施形態に係る画像処理方法の手順を示すフローチャートである。以下、図３に示すフローチャートと重複する工程の説明を適宜省略する。画像取得工程Ｓ１００では、図９に示す画像取得部１２０は処理対象の画像を取得する。例えば、画像取得部１２０は画像を撮像した第一スマートフォン１０６Ａ等から取り出したメモリカードから画像を取得し得る。また、画像取得部１２０は画像を撮像した第一スマートフォン１０６Ａ等と通信可能に接続された通信ポートを介して、撮像装置のメモリから画像を取得し得る。

図８ではセルフ印刷端末装置１１０はネットワーク１０４を介して第一スマートフォン１０６Ａ等と無線通信が可能に接続されているが、セルフ印刷端末装置１１０と第一スマートフォン１０６Ａ等との通信は有線通信を適用し得る。

セルフ印刷端末装置１１０は、第一スマートフォン１０６Ａ等からサーバ装置１０２へアップロードされた画像を、第一スマートフォン１０６Ａ等から送信される指令信号に基づきサーバ装置１０２から取得してもよい。画像取得部１２０は、画像記憶部１２２へ取得した画像を記憶する。画像取得工程Ｓ１００の後に画像処理方法の手順はオブジェクト抽出工程Ｓ１０２へ進む。

オブジェクト抽出工程Ｓ１０２では、オブジェクト抽出部１２４は取得した画像から一つ以上のオブジェクトを抽出する。オブジェクト抽出工程Ｓ１０２において、オブジェクト抽出部１２４がオブジェクトを抽出しない場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順は終了判定工程Ｓ１１６へ進む。

一方、オブジェクト抽出工程Ｓ１０２において、オブジェクト抽出部１２４が画像から一つ以上のオブジェクトを抽出した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、画像処理方法の手順はテンプレート読出工程Ｓ１０４へ進む。テンプレート読出工程Ｓ１０４の後に画像処理方法の手順は、レイアウト決定工程Ｓ１０６、合成画像生成工程Ｓ１０８、及び合成画像表示工程Ｓ１１０の順に各工程を実施する。

図１０に示すテンプレート読出工程Ｓ１０４から合成画像表示工程Ｓ１１０までの各工程は、図３に示すテンプレート読出工程Ｓ１６から合成画像表示工程Ｓ２２までの各工程と同様の処理を実施する。合成画像表示工程Ｓ１１０の後に画像処理方法の手順は印刷判定工程Ｓ１１２へ進む。

印刷判定工程Ｓ１１２では、印刷部１３８は印刷指示信号を取得したか否かを判定する。印刷判定工程Ｓ１１２において印刷部１３８が印刷指示信号を取得しないと判定された場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順は終了判定工程Ｓ１１６へ進む。

印刷判定工程Ｓ１１２において印刷部１３８が印刷指示信号を取得しないと判定する例として、表示部１３６に印刷を実施するか否かを選択するボタンを表示し、印刷を実施しないことを選択するボタンが操作された場合が挙げられる。

一方、印刷判定工程Ｓ１１２において、印刷部１３８が印刷指示信号を取得したと判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、画像処理方法の手順は合成画像印刷工程Ｓ１１４へ進む。印刷判定工程Ｓ１１２において印刷部１３８が印刷指示信号を取得したと判定する例として、表示部１３６に表示した、印刷を実施することを選択するボタンが操作された場合が挙げられる。

合成画像印刷工程Ｓ１１４では、印刷部１３８は合成画像の印刷を実施する。合成画像印刷工程Ｓ１１４では、印刷用紙のサイズ、画質、及び解像度等の印刷条件を設定する印刷条件設定工程を実施してもよい。

また、印刷判定工程Ｓ１１２において、印刷に対する課金条件を設定する課金条件設定工程を実施してもよい。課金条件とは、現金支払、電子マネー支払、及びクレジットカード支払等の支払条件を含み得る。合成画像印刷工程Ｓ１１４の後に画像処理方法の手順は終了判定工程Ｓ１１６へ進む。

終了判定工程Ｓ１１６では、セルフ印刷端末装置１１０は規定の終了条件を満たすか否かを判定する。終了条件の例として、画像処理方法を終了するか否かを選択する終了選択画面において、画像処理方法を終了することが選択された場合が挙げられる。

終了判定工程Ｓ１１６において、セルフ印刷端末装置１１０が規定の終了条件を満たしていないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順はオブジェクト抽出工程Ｓ１０２へ進む。以下、終了判定工程Ｓ１１６においてＹｅｓ判定となるまで、オブジェクト抽出工程Ｓ１０２から終了判定工程Ｓ１１６の各工程を繰り返し実行する。

一方、終了判定工程Ｓ１１６において、セルフ印刷端末装置１１０が規定の終了条件を満たしていると判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、セルフ印刷端末装置１１０は規定の終了処理を実施して画像処理方法を終了する。

セルフ印刷端末装置１１０は、画像処理を終了する際に、表示部１３６を用いて画像からオブジェクトが抽出されないことを表す文字情報、及び画像処理を終了することを表す文字情報等の終了メッセージを表示してもよい。

［第二実施形態に係る画像処理システム及び画像処理方法の作用効果］
第二実施形態に係る画像処理システムによれば、以下の作用効果を得ることが可能である。

〔１〕
セルフ印刷端末装置１１０は第一スマートフォン１０６Ａ等からアップロードされた画像に基づき合成画像を生成する。セルフ印刷端末装置１１０は印刷部１３８を用いて合成画像を印刷し得る。これにより、印刷物を用いて合成画像における漢字を簡便に楽しむことが可能である。

〔２〕
セルフ印刷端末装置１１０は、第一スマートフォン１０６Ａ等からサーバ装置１０２へアップロードされた画像に基づき、サーバ装置１０２を用いて生成された合成画像をダウンロードし、ダウンロードした合成画像を印刷し得る。これにより、印刷物を用いて合成画像における漢字を簡便に楽しむことが可能である。

〔３〕
セルフ印刷端末装置１１０は、第一スマートフォン１０６Ａ等からセルフ印刷端末装置１１０へアップロードされた画像をサーバ装置１０２へ送信し、サーバ装置１０２を用いて生成された合成画像をダウンロードし、ダウンロードした合成画像を印刷し得る。これにより、印刷物を用いて合成画像における漢字を簡便に楽しむことが可能である。

［第三実施形態に係る画像処理システムの説明］
図１１は第三実施形態に係る画像処理システムにおけるレイアウト決定部の機能ブロック図である。レイアウト決定部１８Ａは、文字サイズ決定部１４０、文字フォント決定部１４１、文字色決定部１４２、文字位置決定部１４４、文字方向決定部１４６、文字修飾決定部１４８、前景決定部１５０、及び透過決定部１５２を備える。

文字サイズ決定部１４０は、漢字列４４及びハッシュタグ４６のサイズを決定する。文字サイズ決定部１４０は、オブジェクト属性情報に含まれるオブジェクトのサイズ等に応じて、漢字列４４のサイズを決定し得る。文字サイズ決定部１４０は、漢字列４４のサイズに応じてハッシュタグ４６のサイズを決定する。

文字フォント決定部１４１は、漢字列４４及びハッシュタグ４６のフォントを決定する。フォントは印刷分野において標準化されているフォントを適用してもよいし、オリジナルフォントを適用してもよい。文字フォント決定部１４１は、漢字列４４に適用されるフォントと、ハッシュタグ４６に適用されるフォントとを個別に設定し得る。

文字色決定部１４２は、漢字列４４及びハッシュタグ４６の色を決定する。文字色決定部１４２は、オブジェクト属性情報に含まれるオブジェクトの色に応じて漢字列４４の色を決定し得る。文字色決定部１４２は、漢字列４４の色に応じてハッシュタグ４６の色を決定する。

文字色決定部１４２は漢字列４４及びハッシュタグ４６に抜き文字を適用するか否かを決定する。文字色決定部１４２は漢字列４４及びハッシュタグ４６に抜き文字を適用する際に抜き文字の背景色を決定する。抜き文字は文字を透明とする態様を採用し得る。

文字位置決定部１４４は、漢字列４４及びハッシュタグ４６の位置を決定する。漢字列４４及びハッシュタグ４６の位置は、取得した画像５０に設定された座標を適用し得る。文字位置決定部１４４は、オブジェクトの座標に応じて漢字列４４の座標を決定し得る。文字位置決定部１４４は、漢字列４４の座標に応じてハッシュタグ４６の座標を決定し得る。漢字列４４の座標は漢字列４４の重心位置の座標を適用し得る。ハッシュタグ４６の座標はハッシュタグ４６の重心位置の座標を適用し得る。

文字方向決定部１４６は、漢字列４４及びハッシュタグ４６の方向を決定する。文字方向決定部１４６は、漢字列４４及びハッシュタグ４６の方向として、画像５０に設定された基準方向に対する角度を適用し得る。文字方向決定部１４６は、オブジェクトの方向に応じて漢字列４４の方向を決定し得る。文字方向決定部１４６は、漢字列４４の方向に応じてハッシュタグ４６の方向を決定し得る。

文字修飾決定部１４８は、漢字列４４及びハッシュタグ４６に対して修飾処理を実施するか否かを決定する。文字修飾決定部１４８は、漢字列４４の内容に応じて漢字列４４に対して修飾処理を実施し得る。文字修飾決定部１４８は、漢字列４４に対する修飾処理に応じてハッシュタグ４６に対して修飾処理を実施し得る。

前景決定部１５０は、漢字列４４及びハッシュタグ４６を前景とするか又は背景とするかを決定する。前景決定部１５０は、漢字列４４及びハッシュタグ４６を前景とする初期設定に対して、漢字列４４及びハッシュタグ４６を背景とする設定へ変更してもよい。

透過決定部１５２は、漢字列４４及びハッシュタグ４６が前景の場合に、漢字列４４及びハッシュタグ４６の透過の程度を設定する。透過決定部１５２は、透過の程度を表す指標値として透過度を適用し得る。透過決定部１５２は漢字列４４及びハッシュタグ４６が抜き文字の場合に、抜き文字の背景の透過度を決定する。

透過度は、前景が背景を透過させない状態を０パーセントとし、前景が透明の状態を１００パーセントとし得る。透過決定部１５２は、漢字列４４及びハッシュタグ４６の透過度を、０パーセントを超える値であり、１００パーセント未満の値に設定し得る。透過決定部１５２は、抜き文字の背景の透過度を、０パーセントを超える値であり、１００パーセント未満の値に設定し得る。

レイアウト決定部１８Ａは、レイアウト修正部１５４を備える。レイアウト修正部１５４は、画像処理システム１０がレイアウトの修正を表す指令信号を受信した場合に、レイアウトの修正を実施する。

レイアウト修正部１５４は、文字サイズ、文字色、文字位置、文字方向、及び文字修飾を修正し得る。レイアウト修正部１５４は、前景と背景との修正、及び前景の透過の程度等を修正し得る。

図１２は第三実施形態に係る画像処理システムにおけるレイアウト設定画面の一例を示す画面図である。同図に示すレイアウト設定画面２００は、レイアウトを手動設定する際に表示部２４Ｂに表示される。表示部２４Ｂはコンピュータに接続される液晶モニタ装置を適用し得る。

操作者は、レイアウト設定画面２００を視認し、図示しないキーボード及びマウス等の操作部材を操作して、合成画像のレイアウトの設定を実施し得る。なお、ここでいう設定という用語は修正の概念を含み得る。

レイアウト設定画面２００は、合成画像表示領域２０２が含まれる。合成画像表示領域２０２は、処理対象の画像５０、漢字列４４、及びハッシュタグ４６が表示される。

レイアウト設定画面２００は、位置設定領域２１０が含まれる。位置設定領域２１０は、ｘ座標値が表示されるｘ座標値ボックス２１２、及びｙ座標値が表示されるｙ座標値ボックス２１４が含まれる。

レイアウト設定画面２００はサイズ設定領域２２０が含まれる。サイズ設定領域２２０は、漢字列４４のポイント数が表示される漢字ポイントボックス２２２、及びハッシュタグ４６のポイント数が表示されるハッシュタグポイントボックス２２４が含まれる。

レイアウト設定画面２００は、色設定領域２３０が含まれる。色設定領域２３０は色を表示する色表示ボックス２３２及び抜き文字を適用するか否かを表す抜きボタン２３４が含まれる。色表示ボックス２３２は色を表示してもよいし、色を表す文字列を表示してもよい。抜きボタン２３４がチェックされた場合、色表示ボックス２３２は抜き文字の背景色を表示する。

レイアウト設定画面２００は、方向設定領域２４０が含まれる。方向設定領域２４０は基準方向に対する角度の値が表示される角度ボックス２４２が含まれる。基準方向に対する角度は基準角度を０度として、時計周り方向をプラス方向とし、反時計回りをマイナス方向としてもよい。

レイアウト設定画面２００は、修飾の有無を設定する修飾設定領域２５０が含まれる。修飾設定領域２５０は、修飾を実施する場合に選択する有ボタン２５２及び修飾を実施しない非実施の場合に選択する無ボタン２５４が含まれる。

レイアウト設定画面２００は、漢字列４４及びハッシュタグ４６を前景とするか又は背景とするかを設定する前景設定領域２６０が含まれる。前景設定領域２６０は漢字列４４及びハッシュタグ４６を前景とする場合に選択する前景選択ボタン２６２、及び漢字列４４及びハッシュタグ４６を背景とする場合に選択する背景選択ボタン２６４が含まれる。図１２に示すレイアウト設定画面２００は、漢字列４４及びハッシュタグ４６を前景とする場合が選択される状態を表す。

レイアウト設定画面２００は、漢字列４４及びハッシュタグ４６を前景とする場合の、漢字列４４及びハッシュタグ４６の透過度を設定する透過度設定領域２７０が含まれる。透過度設定領域２７０は透過度の値が表示される透過度ボックス２７２が含まれる。

ｘ座標値ボックス２１２等は、数値等を入力する態様を適用してもよいし、プルダウンメニューを表示させる態様を適用してもよい。レイアウト設定画面２００は合成パラメータの初期設定を表示してもよい。

図１２に示すレイアウト設定画面２００は、図２に示すスマートフォン１０Ａ等に具備されるディスプレイに対応して、機能の縮小化等の変更が可能である。また、設定項目ごとにページを作成し、複数のページをスクロールしながら各設定を実施可能に構成してもよい。

図１３は第三実施形態に係る画像処理方法におけるレイアウト決定工程の手順を示すフローチャートである。図１３に示す各工程は、図３に示すレイアウト決定工程Ｓ１８へ適用し得る。仮合成工程Ｓ２００では、図１１に示すレイアウト決定部１８Ａは画像５０と漢字テンプレート４８とを合成し仮合成画像を生成する。仮合成工程Ｓ２００の後にレイアウト決定工程の手順は仮表示工程Ｓ２０２へ進む。

仮表示工程Ｓ２０２では、レイアウト決定部１８Ａは図２に示す液晶ディスプレイ２４Ａを用いて仮合成画像を表示する。仮表示工程Ｓ２０２の後にレイアウト決定工程の手順は設定判定工程Ｓ２０４へ進む。設定判定工程Ｓ２０４では、レイアウト決定部１８Ａは仮合成画像に対してレイアウト設定を実施するか否かを判定する。

設定判定工程Ｓ２０４において、レイアウト決定部１８Ａが仮合成画像に対して設定を実施しないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合、レイアウト決定部１８Ａはレイアウト決定工程を終了し、図３の合成画像生成工程Ｓ２０へ進む。

一方、設定判定工程Ｓ２０４において、レイアウト決定部１８Ａが仮合成画像に対して設定を実施すると判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、レイアウト決定工程の手順はサイズ決定工程Ｓ２０６へ進む。

設定判定工程Ｓ２０４では、レイアウト決定部１８Ａは液晶ディスプレイ２４Ａを用いて、仮合成画像に対して設定を実施するか否かを選択可能に構成された選択画面を表示してもよい。ユーザは、選択画面を操作して仮合成画像に対する設定の実施を指示し得る。

サイズ決定工程Ｓ２０６では、文字サイズ決定部１４０は漢字テンプレート４８のサイズを決定する。サイズ決定工程Ｓ２０６の後に画像処理方法の手順は色決定工程Ｓ２０８へ進む。色決定工程Ｓ２０８では、文字色決定部１４２は漢字テンプレート４８の色を決定する。

色決定工程Ｓ２０８では、文字色決定部１４２は漢字テンプレート４８に抜き文字を適用するか否かを決定する。漢字テンプレート４８に抜き文字が適用される場合、文字色決定部１４２は抜き文字の背景色を決定する。

色決定工程Ｓ２０８において漢字テンプレート４８に抜き文字を適用する場合の例として、ユーザインターフェースを用いて、ユーザが漢字テンプレート４８に抜き文字を適用することを指定する場合が挙げられる。

すなわち、色決定工程Ｓ２０８は、漢字テンプレート４８に抜き文字を適用するか否かを判定する抜き文字適用判定工程、及び抜き文字の背景色を決定する背景色決定工程が含まれ得る。色決定工程Ｓ２０８の後にレイアウト決定工程の手順は位置決定工程Ｓ２１０へ進む。

位置決定工程Ｓ２１０では、文字位置決定部１４４は漢字テンプレート４８の位置を決定する。位置決定工程Ｓ２１０の後に画像処理方法の手順は方向決定工程Ｓ２１２へ進む。方向決定工程Ｓ２１２では、文字方向決定部１４６は漢字テンプレート４８の方向を決定する。方向決定工程Ｓ２１２の後にレイアウト決定工程の手順は修飾決定工程Ｓ２１４へ進む。

修飾決定工程Ｓ２１４では、文字修飾決定部１４８は漢字テンプレート４８の修飾の有無を決定する。文字修飾決定部１４８は漢字テンプレート４８の修飾を実施する場合に修飾の内容を決定する。修飾決定工程Ｓ２１４の後にレイアウト決定工程の手順は前景背景決定工程Ｓ２１６へ進む。

前景背景決定工程Ｓ２１６では、前景決定部１５０は漢字テンプレート４８を前景とするか又は背景とするかを決定する。前景背景決定工程Ｓ２１６の後にレイアウト決定工程の手順は透過度決定工程Ｓ２１８へ進む。

透過度決定工程Ｓ２１８では、透過決定部１５２は漢字テンプレート４８の透過度を決定する。透過度決定工程Ｓ２１８の後に画像処理方法の手順はレイアウト確認判定工程Ｓ２２０へ進む。レイアウト確認判定工程Ｓ２２０において、レイアウト決定部１８Ａがレイアウトの修正が必要と判定した場合はＮｏ判定となる。Ｎｏ判定の場合、レイアウト決定工程の手順はサイズ決定工程Ｓ２０６へ進む。以降、レイアウト確認判定工程Ｓ２２０においてＹｅｓ判定となるまで、サイズ決定工程Ｓ２０６からレイアウト確認判定工程Ｓ２２０までの各工程を繰り返し実施する。

一方、レイアウト確認判定工程Ｓ２２０において、レイアウト決定部１８Ａがレイアウトの修正が不要と判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、レイアウト決定部１８Ａはレイアウト設定工程を終了し、図３の合成画像生成工程Ｓ２０へ進む。

図１３に示すフローチャートにおいて、サイズ決定工程Ｓ２０６からレイアウト確認判定工程Ｓ２２０までの各工程は適宜省略してもよい。図１３に示すレイアウト設定工程のフローチャートは、レイアウトの修正を実施する際のフローチャートにも適用可能である。

本実施形態では、サイズ及び位置等の決定の単位を漢字テンプレート４８としたが、漢字列及びアルファベット文字列のそれぞれについて、サイズ及び位置等を個別に決定してもよい。

［第三実施形態に係る画像処理装置及び画像処理方法の作用効果］
第三実施形態に係る画像処理装置及び画像処理方法によれば以下の作用効果を得ることが可能である。

〔１〕
文字のサイズ、色、及び位置等を決定し得る。これにより、デザイン性に優れた合成画像を生成し得る。また、漢字列の強調及び合成画像における色の調和等を実現し得る。

〔２〕
合成画像のレイアウトを修正し得る。これにより、ユーザの好み及び嗜好等が反映された合成画像の生成が可能である。

［合成画像の具体例］
〔第一具体例〕
図１４から図２２を用いて合成画像の具体例を説明する。図１４は第一具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｃは、仏殿に配置された仏像を写した画像５０Ｃが適用される。

合成画像５２Ｃは、画像５０Ｃに対して、オブジェクト４２Ｃとして抽出された仏像に関連する、禅が漢字列４４Ｃとして合成される。また、合成画像５２Ｃは、画像５０Ｃに対して、禅という漢字列４４Ｃに関連する＃ｚｅｎがハッシュタグ４６Ｃとして合成される。

合成画像５２Ｃは、漢字列４４Ｃに対して、オブジェクト４２Ｃをイメージする第一模様５６が合成される。また、合成画像５２Ｃは、オブジェクト４２Ｃに対して、オブジェクト４２Ｃをイメージする第二模様５８が合成される。

第一模様５６及び第二模様５８は、漢字列４４Ｃと同一の色彩が適用される。なお、本明細書では、同一の色彩には明度及び濃度が相違する態様が含まれてもよいこととする。

漢字列４４Ｃは、斜辺が階段状とされる飾り文字が適用される。一方、ハッシュタグ４６Ｃは通常の文字が適用される。すなわち、漢字列４４Ｃとハッシュタグ４６Ｃとは異なるスタイルが適用される。

第一具体例に係る合成画像５２Ｃは、画像５０Ｃに対して、オブジェクト４２Ｃをイメージする第一模様５６及び第二模様５８が付与される。これにより、漢字列４４Ｃ、第一模様５６、及び第二模様５８から、オブジェクト４２Ｃのイメージを楽しむことが可能となる。

また、漢字列４４Ｃ、ハッシュタグ４６Ｃ、第一模様５６、及び第二模様５８を同一色とする。これにより、漢字列４４Ｃ、ハッシュタグ４６Ｃ、第一模様５６、及び第二模様５８の一体感が表現される。

〔第二具体例〕
図１５は第二具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｄは、都市の風景５９をバックに笑っている複数の人物を写した画像５０Ｄが適用される。画像５０Ｄは、都市の風景５９を背景し、複数の人物を前景として、両者を合成して生成されてもよい。合成画像５２Ｄは、画像５０Ｄに対して、オブジェクト４２Ｄとして抽出された、笑っている複数の人物に関連する、笑が漢字列４４Ｄとして合成されている。また、合成画像５２Ｄは、画像５０Ｄに対して、笑という漢字列４４Ｄに関連する＃ＳＭＩＬＥがハッシュタグ４６Ｄとして合成されている。

すなわち、合成画像５２Ｄは、オブジェクト４２Ｄのバックである都市の風景５９の輪郭に沿って漢字列４４Ｄが切り取られている。すなわち、合成画像５２Ｄは、オブジェクト４２Ｄ及び都市の風景５９が前景として設定され、漢字列４４Ｄ及びハッシュタグ４６Ｄが背景として設定される。

漢字列４４Ｄは白の縁取りが施された飾り文字が適用される。ハッシュタグ４６Ｄは漢字列４４Ｄと同一の色彩が適用される。また、ハッシュタグ４６Ｄの背景色は、漢字列４４Ｄの縁取りと同一の色彩が適用される。

第二具体例に係る合成画像５２Ｄは、画像５０Ｄの雰囲気を損なうことなく、オブジェクト４２Ｄに関連する漢字列４４Ｄを楽しむことが可能となる。

〔第三具体例〕
図１６は第三具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｅは、ラーメンを写した画像５０Ｅが適用される。合成画像５２Ｅは、画像５０Ｅに対して、オブジェクト４２Ｅとして抽出されたラーメンに関連する麺が漢字列４４Ｅとして合成される。

また、合成画像５２Ｅは、画像５０Ｅに対して、麺という漢字列４４Ｅに関連する＃ｒａｍｅｎがハッシュタグ４６Ｅとして合成される。更に、合成画像５２Ｅは、画像５０Ｅに対して、合成画像５２Ｅの下縁に、写真という漢字を模した第三模様６０が合成される。第三模様６０は、オブジェクト４２Ｅのラーメン丼の外周面に表された模様のスタイルを模したものである。

漢字列４４Ｅは抜き文字が適用される。ハッシュタグ４６Ｅ及び第三模様６０もまた、抜き文字が適用される。漢字列４４Ｅ等の背景は任意の色のベタでもよいし、任意の色の網でもよい。なお、本明細書では、透明という用語は半透明の概念が含まれて得る。

合成画像５２Ｅは、相対的に太い抜き文字が適用される漢字列４４Ｅの中から、画像５０Ｅの背景が見える。また、合成画像５２Ｅは、漢字列４４Ｅを介してオブジェクト４２Ｅを確実に覗かせる。

更に、合成画像５２Ｅは、オブジェクト４２Ｅの少なくとも一部の輪郭を切り取り、漢字列４４Ｅの輪郭の外に配置する。更にまた、漢字列４４Ｅの背景は半透明であり、画像５０Ｅの背景がうっすらと見える。

第三具体例に係る合成画像５２Ｅは、画像５０Ｅの雰囲気を損なうことなく、オブジェクト４２Ｅに関連する漢字列４４Ｅを楽しむことが可能となる。

〔第四具体例〕
図１７は第四具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｆは、東京駅の駅舎を写した画像５０Ｆが適用される。合成画像５２Ｆは、画像５０Ｆに対して、オブジェクト４２Ｆとして抽出された東京駅の駅舎に関連する東京という二文字の単語が、漢字列４４Ｆとして合成される。また、合成画像５２Ｆは、画像５０Ｆに対して、東京という漢字列４４Ｆに関連する＃ｔｏｋｙｏがハッシュタグ４６Ｆとして合成される。

合成画像５２Ｆは、オブジェクト４２Ｆを避けてオブジェクト４２Ｆの外側に接する位置に漢字列４４Ｆが配置される。オブジェクト４２Ｆの外側に接する位置はオブジェクト４２Ｆの一部と重畳する位置が含まれてもよい。

合成画像５２Ｆは、複数の漢字列４４Ｆが配置され、複数の漢字列４４Ｆはオブジェクト４２Ｆを左右両側から挟む位置に配置される。漢字列４４Ｆはオブジェクト４２Ｆから抽出された色を採用する。

第四具体例に係る合成画像５２Ｆは、漢字列４４Ｆが強調され、全体としての色の調和が実現される。

〔第五具体例〕
図１８は第五具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｇは、水槽の中で泳ぐ金魚を写した画像５０Ｇが適用される。合成画像５２Ｇは、画像５０Ｇに対して、オブジェクト４２Ｇとして抽出された金魚に関連する魚が漢字列４４Ｇとして合成される。また、合成画像５２Ｇは、画像５０Ｇに対して、魚という漢字列４４Ｇに関連する＃ｆｉｓｈがハッシュタグ４６Ｇとして合成される。

合成画像５２Ｆは、同一の種類の複数のオブジェクト４２Ｇのそれぞれについて、漢字列４４Ｇが合成される。合成画像５２Ｆは、一部のオブジェクト４２Ｇについて、ハッシュタグ４６Ｇが非合成とされる。

合成画像５２Ｆは、オブジェクト４２Ｇの向きに対応して漢字列４４Ｇを回転させている。すなわち、合成画像５２Ｆは、オブジェクト４２Ｇの向きと漢字列４４Ｇの向きとが揃えられている。また、合成画像５２Ｆは、オブジェクト４２Ｇの中心位置を避けて、オブジェクト４２Ｇの輪郭線上に漢字列４４Ｇを配置する。

第五具体例に係る合成画像５２Ｇは、漢字列４４Ｇが強調され、オブジェクト４２Ｇと漢字列４４Ｇとの一体感が表現される。

〔第六具体例〕
図１９は第六具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｈは、複数の猫の置物を背景として人物６２を写した画像５０Ｈが適用される。合成画像５２Ｈは、画像５０Ｈに対して、オブジェクト４２Ｈとして抽出された複数の猫の置物に関連する猫が漢字列４４Ｈとして合成される。また、合成画像５２Ｈは、画像５０Ｈに対して、猫という漢字列４４Ｈに関連する＃ｃａｔがハッシュタグ４６Ｈとして合成される。

合成画像５２Ｈは、漢字列４４Ｈと同じ漢字を連続して縁に沿って並べたフレーム６４が合成される。

第六具体例に係る合成画像５２Ｈは、漢字列４４Ｈが強調され、デザイン性に優れている。

〔第七具体例〕
図２０は第七具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｉは、富士山をバックにした複数の人物６６を写した画像５０Ｉが適用される。合成画像５２Ｉは、画像５０Ｉに対して、オブジェクト４２Ｉとして抽出された富士山に関連する、三文字の漢字から構成される富士山という単語が、漢字列４４Ｉとして合成される。また、合成画像５２Ｉは、画像５０Ｉに対して、富士山という漢字列４４Ｉに関連する＃ｆｕｊｉがハッシュタグ４６Ｉとして合成される。

合成画像５２Ｉは、画像５０Ｉの左右ついての中心位置に漢字列４４Ｉが配置される。すなわち、合成画像５２Ｉは、漢字列４４Ｉを構成する文字の並び方向について、画像５０Ｉの中心位置に漢字列４４Ｉが配置される。

第七具体例に係る合成画像５２Ｉは、画像５０Ｉにおけるオブジェクト４２Ｉの存在感が維持され、全体としてのデザイン性に優れている。

〔第八具体例〕
図２１は第八具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｊは、楽しそうなポーズをとる複数の人物を写した画像５０Ｊが適用される。画像５０Ｊは、複数の人物を前景とし高層タワーを背景として合成されていてもよい。

合成画像５２Ｊは、画像５０Ｊに対して、オブジェクト４２Ｊとして抽出された楽しそうなポーズをとる複数の人物に関連する楽という単語が、漢字列４４Ｊとして合成される。また、合成画像５２Ｊは、画像５０Ｊに対して、楽という漢字列４４Ｊに関連する＃ｆｕｎがハッシュタグ４６Ｊとして合成される。

合成画像５２Ｊは、漢字列４４Ｊが半透明とされ、画像５０Ｊの背景が透過して見えている。合成画像５２Ｊは、オブジェクト４２Ｊが前景として決定され、漢字列４４Ｊが背景として決定される。

第八具体例に係る合成画像５２Ｊは、画像５０Ｊにおけるオブジェクト４２Ｊの存在感が維持され、画像５０Ｊの背景を視認し得る。

〔第九具体例〕
図２２は第九具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｋは、鳥居を写した画像５０Ｋが適用される。合成画像５２Ｋは、画像５０Ｋに対して、オブジェクト４２Ｋとして抽出された鳥居に関連する神という単語が、漢字列４４Ｋとして合成される。また、合成画像５２Ｋは、画像５０Ｋに対して、神という漢字列４４Ｋに関連する＃ｇｏｄがハッシュタグ４６Ｋとして合成される。

合成画像５２Ｋは、左右対称のオブジェクト４２Ｋに対応して、画像５０Ｋの左右方向の中心位置と漢字列４４Ｋの中心位置とを合わせて配置される。また、漢字列４４Ｋは漢字列４４Ｋ自体の雰囲気を表す修飾７０が施されている。更に、合成画像５２Ｋは、画像５０Ｋの左右方向の中心位置とハッシュタグ４６Ｋの中心位置とを合わせて配置される。

第九具体例に係る合成画像５２Ｋは、オブジェクト４２Ｋと漢字列４４Ｋ及びハッシュタグ４６Ｋとの統一感が強調され、対象性が重視されたデザインが採用される。

〔第十具体例〕
図２３は第十具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｌは、皿に盛りつけた鮨を写した画像５０Ｌが適用される。合成画像５２Ｌは、画像５０Ｌに対して、オブジェクト４２Ｌとして抽出された鮨に関連する鮨という単語が、漢字列４４Ｌとして合成される。また、合成画像５２Ｌは、画像５０Ｌに対して、鮨という漢字列４４Ｌに関連する＃ＳＵＳＨＩがハッシュタグ４６Ｌとして合成される。

漢字列４４Ｌは抜き文字が適用される。抜き文字の背景７１はオブジェクト４２Ｌに使用される色が適用される。また、合成画像５２Ｌは、一つの漢字列４４Ｌに対して二つのハッシュタグ４６Ｌが適用される。合成画像５２Ｌは、合成画像５２Ｌの中心位置に漢字列４４Ｌの中心が配置され、漢字列４４Ｌに対して左右対象に二つのハッシュタグ４６Ｌが配置される。二つのハッシュタグ４６Ｌは互いに反対向きに設定されている。

第十具体例に係る合成画像５２Ｌは、全体として色の統一感があり、対象性が重視されたデザインが採用される。ハッシュタグ４６Ｌに適用されるアルファベットは大文字を適用し得る。ハッシュタグ４６Ｌに適用されるアルファベットは頭文字のみを大文字とし得る。一つの漢字列４４Ｌに対して複数のハッシュタグ４６Ｌを合成し得る。

〔第十一具体例〕
図２４は第十一具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｍは、ポストに座った人物を写した画像と日中の繁華街の風景を写した画像とを合成した画像５０Ｍが適用される。合成画像５２Ｍは、画像５０Ｍに対して、オブジェクト４２Ｍとして抽出された人物に関連する忍という単語が、漢字列４４Ｍとして合成される。また、合成画像５２Ｍは、画像５０Ｍに対して、忍という漢字列４４Ｍの意味に関連する＃ｎｉｎｊａがハッシュタグ４６Ｍとして合成される。

合成画像５２Ｍは、画像５０Ｅに対して、図１６に示す第三模様６０と同様の第四模様７２が合成画像５２Ｍの下縁に合成される。

合成画像５２Ｍは、画像５０Ｍを構成するポストに座った人物が漢字列４４Ｍの最前面とされ、画像５０Ｍを構成する日中の繁華街の風景が合成画像５２Ｍにおける最背面とされる。

第十一具体例に係る合成画像５２Ｍは、画像５０Ｍとして二つの画像を合成した画像が適用され、二つの画像の一方が最前面とされ、他方が最背面とされる。このようにして、様々な画像を合成して、漢字を楽しむことが可能である。

〔第十二具体例〕
図２５は第十二具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｎは、参道を歩く人物を写した画像５０Ｎが適用される。合成画像５２Ｎは、画像５０Ｎに対して、オブジェクト４２Ｎとして抽出された参道を歩く人物に関連する歩という単語が、漢字列４４Ｎとして合成される。また、合成画像５２Ｎは、画像５０Ｎに対して、歩という漢字列４４Ｎの意味に関連する＃ｗａｌｋｉｎｇがハッシュタグ４６Ｎとして合成される。

合成画像５２Ｎは、漢字列４４Ｎを空間に合わせて変形し、空間的に違和感のない漢字列４４Ｎの配置を実現している。漢字列４４Ｎは、画像５０Ｎの参道の形状に合わせて変形されている。

第十二具体例に係る合成画像５２Ｎは、空間的に違和感がない漢字列４４Ｎの変形及び配置が適用され、デザイン性に優れている。

〔第十三具体例〕
図２６は第十三具体例に係る合成画像の説明図である。同図に示す合成画像５２Ｐは、カップルを写した画像５０Ｐが適用される。合成画像５２Ｐは、画像５０Ｐに対して、オブジェクト４２Ｐとして抽出されたカップルに関連する愛という単語が、漢字列４４Ｐとして合成される。また、合成画像５２Ｐは、画像５０Ｐに対して、愛という漢字列４４Ｐの意味に関連する＃ｌｏｖｅがハッシュタグ４６Ｐとして合成される。

合成画像５２Ｐは、オブジェクト４２Ｐの顔を避け、二人の人物のそれぞれの肩の位置に漢字列４４Ｐが一つずつ配置される。二つの漢字列４４Ｐの一方の背景には第五模様７４が合成され、他方の背景には第六模様７６が合成される。ハッシュタグ４６Ｐは、二つの漢字列４４Ｐのうち、第五模様７４と重畳される位置のみに配置される。

第一三具体例に係る合成画像５２Ｐは、オブジェクト４２Ｐの顔を避けて、複数の漢字列４４Ｐが配置される。これにより、オブジェクト４２Ｐと漢字列４４Ｐとの一体感が表現される。また、漢字列４４Ｐに対して第五模様７４及び第六模様７６を重畳させる。これにより、デザイン性に優れた漢字列４４Ｐの適用が可能となる。

［コンピュータを画像処理システムとして機能させるプログラムへの適用例］
上述した画像処理方法及び画像処理システムは、コンピュータを用いて、画像処理方法における各工程、又は画像処理システムにおける各工程に対応する機能を実現させるプログラムとして構成可能である。

例えば、取得した画像５０を解析し、オブジェクト４２を抽出する画像解析機能、オブジェクトに関連する漢字列を決定する漢字列決定機能、漢字の意味に関連するアルファベット文字列を決定するアルファベット文字列決定機能、合成画像のレイアウトを決定するレイアウト決定機能、レイアウトに基づき合成画像を生成する合成機能を実現するプログラムを構成し得る。

上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１０ 画像処理システム
１０Ａ スマートフォン
１２ 画像取得部
１３ 画像記憶部
１４ オブジェクト抽出部
１５ オブジェクト属性情報記憶部
１６ 漢字照合部
１８ レイアウト決定部
１８Ａ レイアウト決定部
２０ 合成部
２２ 漢字テンプレートデータベース
２４ 表示部
２４Ａ 液晶ディスプレイ
２４Ｂ 表示部
２６ 合成画像記憶部
３０ 撮像装置
４２ オブジェクト
４２Ａ オブジェクト
４２Ｂ オブジェクト
４２Ｃ オブジェクト
４２Ｄ オブジェクト
４２Ｅ オブジェクト
４２Ｆ オブジェクト
４２Ｇ オブジェクト
４２Ｈ オブジェクト
４２Ｉ オブジェクト
４２Ｊ オブジェクト
４２Ｋ オブジェクト
４２Ｌ オブジェクト
４２Ｍ オブジェクト
４２Ｎ オブジェクト
４２Ｐ オブジェクト
４４ 漢字列
４４Ａ 漢字列
４４Ｂ 漢字列
４４Ｃ 漢字列
４４Ｄ 漢字列
４４Ｅ 漢字列
４４Ｆ 漢字列
４４Ｇ 漢字列
４４Ｈ 漢字列
４４Ｉ 漢字列
４４Ｊ 漢字列
４４Ｋ 漢字列
４４Ｌ 漢字列
４４Ｍ 漢字列
４４Ｎ 漢字列
４４Ｐ 漢字列
４６ ハッシュタグ
４６Ａ ハッシュタグ
４６Ｂ ハッシュタグ
４６Ｃ ハッシュタグ
４６Ｄ ハッシュタグ
４６Ｅ ハッシュタグ
４６Ｆ ハッシュタグ
４６Ｇ ハッシュタグ
４６Ｈ ハッシュタグ
４６Ｉ ハッシュタグ
４６Ｊ ハッシュタグ
４６Ｋ ハッシュタグ
４６Ｌ ハッシュタグ
４６Ｍ ハッシュタグ
４６Ｎ ハッシュタグ
４６Ｐ ハッシュタグ
４８ 漢字テンプレート
５０ 画像
５０Ｃ 画像
５０Ｄ 画像
５０Ｅ 画像
５０Ｆ 画像
５０Ｇ 画像
５０Ｈ 画像
５０Ｉ 画像
５０Ｊ 画像
５０Ｋ 画像
５０Ｌ 画像
５０Ｍ 画像
５０Ｎ 画像
５０Ｐ 画像
５２ 合成画像
５２Ａ 合成画像
５２Ｂ 合成画像
５２Ｃ 合成画像
５２Ｄ 合成画像
５２Ｅ 合成画像
５２Ｆ 合成画像
５２Ｇ 合成画像
５２Ｈ 合成画像
５２Ｉ 合成画像
５２Ｊ 合成画像
５２Ｋ 合成画像
５２Ｌ 合成画像
５２Ｍ 合成画像
５２Ｎ 合成画像
５２Ｐ 合成画像
５６ 第一模様
５８ 第二模様
５９ 風景
６０ 第三模様
６２ 人物
６４ フレーム
６６ 人物
７０ 修飾
７１ 抜き文字の背景
７２ 第四模様
７４ 第五模様
７６ 第六模様
１００ 画像処理システム
１０２ サーバ装置
１０４ ネットワーク
１０６Ａ 第一スマートフォン
１０６Ｂ 第二スマートフォン
１０８ ノート型パーソナルコンピュータ
１１０ セルフ印刷端末装置
１２０ 画像取得部
１２２ 画像記憶部
１２４ オブジェクト抽出部
１２６ オブジェクト属性情報記憶部
１２８ 漢字照合部
１３０ レイアウト決定部
１３２ 合成部
１３４ 漢字テンプレートデータベース
１３６ 表示部
１３８ 印刷部
１４０ 文字サイズ決定部
１４２ 文字色決定部
１４４ 文字位置決定部
１４６ 文字方向決定部
１４８ 文字修飾決定部
１５０ 前景決定部
１５２ 透過決定部
１５４ レイアウト修正部
２００ レイアウト設定画面
２０２ 合成画像表示領域
２１０ 位置設定領域
２１２ ｘ座標値ボックス
２１４ ｙ座標値ボックス
２２０ サイズ設定領域
２２２ 漢字ポイントボックス
２２４ ハッシュタグポイントボックス
２３０ 色設定領域
２３２ 色表示ボックス
２３４ 抜きボタン
２４０ 方向設定領域
２４２ 角度ボックス
２５０ 修飾設定領域
２５２ 有ボタン
２５４ 無ボタン
２６０ 前景設定領域
２６２ 前景選択ボタン
２６４ 背景選択ボタン
２７０ 透過度設定領域
２７２ 透過度ボックス
Ｓ１０からＳ２８、Ｓ１００からＳ１１６、Ｓ２００からＳ２２０ 画像処理方法の各工程

Claims (34)

1. 取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析工程と、
   前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定工程と、
   前記漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定工程と、
   前記漢字列及び前記アルファベット文字列を前記画像に合成するレイアウトを決定するレイアウト決定工程と、
   前記レイアウトに基づき、前記画像に前記漢字列及び前記アルファベット文字列を合成して合成画像を生成する合成工程と、
   を含み、
   前記合成工程は、前記漢字列ごとに装飾が施された画像として前記漢字列を前記画像解析工程において取得した画像に合成する画像処理方法。
2. 前記合成工程は、前記漢字列ごとの装飾として、前記オブジェクトをイメージする模様が前記漢字列に付加された画像を前記画像解析工程において前記オブジェクトが抽出された画像に合成する請求項１に記載の画像処理方法。
3. 前記合成工程は、前記漢字列ごとの装飾として、前記漢字列に飾り文字を適用した画像を前記画像解析工程において前記オブジェクトが抽出された画像に合成する請求項１又は２に記載の画像処理方法。
4. 前記合成工程は、前記漢字列ごとの装飾として、前記漢字列に縁取りを施した画像を前記画像解析工程において前記オブジェクトが抽出された画像に合成する請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記画像解析工程は、前記オブジェクトとして、動物、自然構造物、建築物及び空間の少なくともいずれかを抽出する請求項１から４のいずれか一項に記載の画像処理方法。
6. 前記レイアウト決定工程は、前記漢字列が配置される領域に前記アルファベット文字列を配置するレイアウトを採用する請求項１から５のいずれか一項に記載の画像処理方法。
7. 前記レイアウト決定工程は、前記漢字列の少なくとも一部を前記オブジェクトに重なる位置に配置するレイアウトを採用する請求項１から６のいずれか一項に記載の画像処理方法。
8. 前記レイアウト決定工程は、前記漢字列を前記オブジェクトの前景に配置するレイアウトを採用する請求項１から７のいずれか一項に記載の画像処理方法。
9. 前記レイアウト決定工程は、前記オブジェクトを前記漢字列の前景に配置するレイアウトを採用する請求項１から８のいずれか一項に記載の画像処理方法。
10. 前記レイアウト決定工程は、前記漢字列の少なくとも一部について前記オブジェクトを透過させるレイアウトを採用する請求項１から９のいずれか一項に記載の画像処理方法。
11. 前記画像解析工程は、前記オブジェクトに使用される色を抽出し、
    前記レイアウト決定工程は、前記漢字列の色として前記抽出された色を採用する請求項１から１０のいずれか一項に記載の画像処理方法。
12. 前記画像解析工程は、前記画像から複数の前記オブジェクトを抽出し、
    前記レイアウト決定工程は、前記複数のオブジェクトのそれぞれに前記漢字列を配置するレイアウトを採用する請求項１から１１のいずれか一項に記載の画像処理方法。
13. 前記レイアウト決定工程は、前記漢字列を前記オブジェクトの向きに対応する向きに配置するレイアウトを採用する請求項１から１２のいずれか一項に記載の画像処理方法。
14. 前記レイアウト決定工程は、前記漢字列に含まれる一つ以上の漢字を前記画像の縁に配置するレイアウトを採用する請求項１から１３のいずれか一項に記載の画像処理方法。
15. 前記漢字列決定工程は、前記オブジェクトに関連する複数の漢字列の候補から、一つ以上の合成対象の漢字列を決定する請求項１から１４のいずれか一項に記載の画像処理方法。
16. 前記アルファベット文字列決定工程は、前記漢字列の意味に関連する複数のアルファベット文字列の候補から、合成対象のアルファベット文字列を決定する請求項１から１５のいずれか一項に記載の画像処理方法。
17. 前記漢字列決定工程において決定した前記漢字列を、前記オブジェクトに関連する他の漢字列へ修正する漢字列修正工程を含む請求項１から１６のいずれか一項に記載の画像処理方法。
18. 前記アルファベット文字列決定工程において決定した前記アルファベット文字列を、前記漢字列の意味に関連する他のアルファベット文字列へ修正するアルファベット文字列修正工程を含む請求項１から１７のいずれか一項に記載の画像処理方法。
19. 印刷装置を用いて前記合成画像を印刷する印刷工程を含む請求項１から１８のいずれか一項に記載の画像処理方法。
20. コンピュータに、
    取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析機能、
    前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定機能、
    前記漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定機能、
    前記漢字列及び前記アルファベット文字列を前記画像に合成する際のレイアウトを決定するレイアウト決定機能、及び
    前記レイアウトに基づき、前記画像に前記漢字列及び前記アルファベット文字列を合成して合成画像を生成する合成機能であり、前記漢字列ごとに装飾が施された画像として前記漢字列を、前記画像解析機能を用いて前記オブジェクトが抽出された画像に合成する合成機能を実現させるプログラム。
21. 前記合成機能は、前記漢字列ごとの装飾として、前記オブジェクトをイメージする模様が前記漢字列に付加された画像を、前記画像解析機能を用いて前記オブジェクトが抽出された画像に合成する請求項２０に記載のプログラム。
22. 前記合成機能は、前記漢字列ごとの装飾として、前記漢字列に飾り文字を適用した画像を、前記画像解析機能を用いて前記オブジェクトが抽出された画像に合成する請求項２０又は２１に記載のプログラム。
23. 前記合成機能は、前記漢字列ごとの装飾として、前記漢字列に縁取りを施した画像を、前記画像解析機能を用いて前記オブジェクトが抽出された画像に合成する請求項２０から２２のいずれか一項に記載のプログラム。
24. 前記画像解析機能は、前記オブジェクトとして、動物、自然構造物、建築物及び空間の少なくともいずれかを抽出する請求項２０から２３のいずれか一項に記載のプログラム。
25. 取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析部と、
    前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、
    前記漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定部と、
    前記漢字列及び前記アルファベット文字列を前記画像に合成する際のレイアウトを決定するレイアウト決定部と、
    前記レイアウトに基づき、前記画像に前記漢字列及び前記アルファベット文字列を合成して合成画像を生成する合成部と、
    を備え、
    前記合成部は、前記漢字列ごとに装飾が施された画像として前記漢字列を、前記画像解析部を用いて前記オブジェクトが抽出された画像に合成する画像処理システム。
26. 前記合成画像を印刷する印刷部を備えた請求項２５に記載の画像処理システム。
27. ネットワークを介して通信可能に接続される画像処理システムであって、
    取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析部と、
    前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、
    前記漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定部と、
    前記漢字列及び前記アルファベット文字列を前記画像に合成する際のレイアウトを決定するレイアウト決定部と、
    前記レイアウトに基づき、前記画像に前記漢字列及び前記アルファベット文字列を合成して合成画像を生成する合成部と、
    を備え、
    前記合成部は、前記漢字列ごとに装飾が施された画像として前記漢字列を、前記画像解析部を用いて前記オブジェクトが抽出された画像に合成する画像処理システム。
28. 前記ネットワークを介して通信可能に接続される印刷装置であり、前記合成画像の印刷を実施する印刷装置を備えた請求項２７に記載の画像処理システム。
29. 前記印刷装置は、前記画像解析部、前記漢字列決定部、前記アルファベット文字列決定部、前記レイアウト決定部、及び前記合成部を備え、前記画像に基づく前記合成画像の印刷を実施する請求項２８に記載の画像処理システム。
30. 前記ネットワークを介して通信可能に接続されるサーバ装置であり、前記画像解析部、前記漢字列決定部、前記アルファベット文字列決定部、前記レイアウト決定部、及び前記合成部を具備するサーバ装置を備えた請求項２７又は２８に記載の画像処理システム。
31. 前記合成部は、前記漢字列ごとの装飾として、前記オブジェクトをイメージする模様が前記漢字列に付加された画像を、前記画像解析部を用いて前記オブジェクトが抽出された画像に合成する請求項２５から３０のいずれか一項に記載の画像処理システム。
32. 前記合成部は、前記漢字列ごとの装飾として、前記漢字列に飾り文字を適用した画像を、前記画像解析部を用いて前記オブジェクトが抽出された画像に合成する請求項２５から３１のいずれか一項に記載の画像処理システム。
33. 前記合成部は、前記漢字列ごとの装飾として、前記漢字列に縁取りを施した画像を、前記画像解析部を用いて前記オブジェクトが抽出された画像に合成する請求項２５から３２のいずれか一項に記載の画像処理システム。
34. 前記画像解析部は、前記オブジェクトとして、動物、自然構造物、建築物及び空間の少なくともいずれかを抽出する請求項２５から３３のいずれか一項に記載の画像処理システム。

Images