JP6579101B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。

ユーザが撮影した写真などの画像にエフェクトを加えることは、既に一般的に行われている。例えば、特許文献１には、入力画像のぼけの度合いを検出する検出手段と、入力画像に含まれる情報の量を削減することによって入力画像を加工する複数の画像処理のうちのいずれかを、ぼけの度合いに基づいて選択する選択手段と、選択された画像処理を入力画像に施す画像処理手段とを含む画像処理装置が記載されている。かかる技術によれば、入力画像に施される画像処理が自動的に選択されるため、簡単かつ効果的に画像を表示することができる。

特開２０１０−１４６２６４号公報

しかしながら、近年、撮像機能を有する機器のさらなる普及と性能の向上とによって、ユーザは、さまざまな状況で撮像された多種多様かつ高品質な画像を得られるようになった。そのため、上記の特許文献１に記載されたような、画像のスライドショーの単調さを解消したり、手振れなどによってぼけた画像の見苦しさを緩和したりするためのエフェクトにはとどまらず、それぞれの画像の特徴に応じた適切なエフェクトを選択することが求められている。

そこで、本開示では、画像の特徴に応じて適切にエフェクトの処理を選択することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。

本開示によれば、入力画像における画素のフローベクトルを検出するフローベクトル検出部と、上記フローベクトルのパターンに基づいて、上記入力画像に対するエフェクトの処理を選択するエフェクト選択部とを備える画像処理装置が提供される。

また、本開示によれば、画像処理装置の処理回路が、入力画像における画素のフローベクトルを検出することと、上記フローベクトルのパターンに基づいて、上記入力画像に対するエフェクトの処理を選択することとを含む画像処理方法が提供される。

また、本開示によれば、入力画像における画素のフローベクトルを検出する機能と、上記フローベクトルのパターンに基づいて、上記入力画像に対するエフェクトの処理を選択する機能とを画像処理装置の処理回路に実現させるためのプログラムが提供される。

以上説明したように本開示によれば、画像の特徴に応じて適切にエフェクトの処理を選択することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの概略的な構成例を示す図である。 本開示の一実施形態に係るシステムの第１の機能構成例を示すブロック図である。 本開示の一実施形態に係るシステムの第２の機能構成例を示すブロック図である。 本開示の一実施形態におけるエフェクト設定部の構成例を示すブロック図である。 本開示の一実施形態におけるズームエフェクト選択処理の例を示すフローチャートである。 本開示の一実施形態におけるアートエフェクト選択処理の例を示すフローチャートである。 本開示の一実施形態における油彩／水彩選択処理の例を示すフローチャートである。 本開示の一実施形態におけるイラスト／点描選択処理の例を示すフローチャートである。 本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システム構成例
２．機能構成例
３．エフェクト設定部の構成例
４．処理フローの例
４−１．ズームエフェクト選択処理
４−２．アートエフェクト選択処理
５．ハードウェア構成
６．補足

（１．システム構成例）
図１は、本開示の一実施形態に係るシステムの概略的な構成例を示す図である。図１を参照すると、システム１０は、撮像装置１００、端末装置２００、および／またはサーバ３００を含みうる。本実施形態では、入力画像に対する画像解析の結果に基づいて、当該入力画像に適用されるエフェクトの有無またはエフェクトの種類が選択される（以下、これらの処理は画像解析の処理として総称されうる）。

例えば、入力画像は、撮像装置１００によって撮像された画像でありうる。この場合、システム１０は、少なくとも撮像装置１００を含む。画像解析の処理は、撮像装置１００で実行されてもよい。この場合、システム１０は撮像装置１００だけを含んでもよい。あるいは、画像解析の処理は、撮像装置１００から有線／無線通信によって画像のデータを受信した端末装置２００で実行されてもよい。この場合、システム１０は、撮像装置１００と端末装置２００とを含む。また、画像解析の処理は、端末装置２００から有線／無線通信によって画像のデータを転送されたサーバ３００によって実行されてもよい。この場合、システム１０は、撮像装置１００と、端末装置２００と、サーバ３００とを含む。撮像装置１００が直接的にサーバ３００と通信可能である場合には、システム１０は撮像装置１００およびサーバ３００だけを含んでもよい。

なお、例えば画像解析の処理が撮像装置１００で実行される場合であっても、エフェクトの選択結果や、選択されたエフェクトが適用された入力画像が、撮像装置１００から端末装置２００またはサーバ３００に送信されてもよい。この場合、システム１０は端末装置２００および／またはサーバ３００をさらに含みうる。同様に、画像解析の処理が端末装置２００で実行される場合であっても、エフェクトの選択結果や、選択されたエフェクトが適用された入力画像が、端末装置２００からサーバ３００にアップロードされてもよい。この場合、システム１０はサーバ３００をさらに含みうる。また、サーバ３００における画像解析の結果は、端末装置２００および／または撮像装置１００にフィードバックされうる。同様に、端末装置２００における画像解析の結果は、撮像装置１００にフィードバックされうる。

また、例えば、入力画像は、装置内部またはネットワーク上のストレージに既にデータとして存在する画像であってもよい。この場合、システム１０は、必ずしも撮像装置１００を含まない。画像解析の処理は、端末装置２００で実行されてもよい。この場合、システム１０は端末装置２００だけを含んでもよい。あるいは、画像解析の処理は、サーバ３００で実行されてもよい。この場合、システム１０はサーバ３００だけを含んでもよいし、入力画像を取得してサーバ３００に転送する端末装置２００をさらに含んでもよい。上記の例と同様に、端末装置２００で画像解析の処理が実行される場合であっても、エフェクトの選択結果や、選択されたエフェクトが適用された入力画像が、端末装置２００からサーバ３００にアップロードされてもよい。この場合、システム１０はサーバ３００をさらに含みうる。また、サーバ３００における画像解析の結果は、端末装置２００にフィードバックされてもよい。この場合、システム１０は端末装置２００をさらに含みうる。

以下、撮像装置１００、端末装置２００、およびサーバ３００が、それぞれシステム１０に含まれる場合の構成について、さらに説明する。なお、それぞれの装置のハードウェア構成については、例えば後述する画像処理装置のハードウェア構成を適用することが可能である。

撮像装置１００は、撮像機能を有する装置である。図１では、撮像装置１００の例としてスマートフォン１００ａおよびデジタルカメラ１００ｂが示されているが、撮像装置１００は、他にもタブレットやゲーム機、ウェアラブル装置など、撮像機能を有するあらゆる装置を含みうる。撮像装置１００は、撮像素子と、撮像素子に関連する光学系および駆動系と、画像処理回路とを含む。画像処理回路は、画像データを生成するための基本的な画像処理だけを実行してもよいし、上述した画像解析の処理を実行可能であってもよい。また、撮像装置１００は、端末装置２００またはサーバ３００との間で画像データなどを送受信するための通信装置や、内部的に生成された情報、または端末装置２００もしくはサーバ３００から受信された情報を出力するためのディスプレイやスピーカなどの出力装置、ユーザの操作を受け付けるためのボタンやタッチパネルなどの入力装置などをさらに含んでもよい。

端末装置２００は、画像処理機能を有する装置である。図１では、端末装置２００の例としてパーソナルコンピュータ２００ａおよびテレビ２００ｂが示されているが、端末装置２００は、他にもタブレットやスマートフォン、レコーダ、ゲーム機など、画像処理機能を有するあらゆる装置を含みうる。タブレットやスマートフォンのような撮像機能を有する装置であっても、例えば他の装置が撮像した画像を受信することによって、端末装置２００として機能することが可能である。端末装置２００は、処理回路と、通信装置と、入出力装置とを含みうる。例えば、端末装置２００は、通信装置を用いて撮像装置１００から受信した入力画像、または装置内部もしくはネットワーク上のストレージから取得した入力画像について、処理回路によって画像解析の処理を実行し、処理結果を入出力装置に含まれるディスプレイなどを介して出力してもよい。また、端末装置２００は、処理結果を通信装置を用いて撮像装置１００またはサーバ３００に送信してもよい。

サーバ３００は、ネットワーク上の１または複数の画像処理装置によって構成される。サーバ３００を構成する画像処理装置は、処理回路と、通信装置とを含みうる。例えば、サーバ３００は、通信装置を用いて端末装置２００または撮像装置１００から受信した入力画像、または装置内部もしくはネットワーク上のストレージから取得した入力画像について、処理回路によって画像解析の処理を実行し、処理結果を通信装置を用いて端末装置２００または撮像装置１００に送信してもよい。

（２．機能構成例）
図２は、本開示の一実施形態に係るシステムの第１の機能構成例を示すブロック図である。図２を参照すると、機能構成５００ａは、撮像部／通信部５０１と、画像取得部５０３と、エフェクト設定部５０５と、エフェクト設定ＤＢ５０７と、エフェクト適用部５０９と、画像出力部５１１と、出力部／通信部５１３と、入力部／通信部５１５と、記録制御部５１７と、画像ストレージ５１９とを含む。機能構成５００ａは、上記のシステム１０に含まれる撮像装置１００、端末装置２００、またはサーバ３００のいずれかによって実現される。あるいは、システム１０に含まれる複数の装置が協働することによって機能構成５００ａを実現してもよい。

図示された第１の機能構成例では、入力画像に対する画像解析の結果に基づいてエフェクトが適用された入力画像、またはエフェクトが適用されなかった入力画像がユーザに提示される。ここで、画像は、記録のためのプレビューとして提示されてもよく、また単に閲覧に供するために提示されてもよい。画像をプレビューとして提示する場合、画像を参照したユーザの操作に従って、エフェクトが適用された入力画像、またはエフェクトが適用されなかった入力画像をストレージに格納することが可能でありうる。以下、それぞれの構成要素について説明する。

撮像部／通信部５０１は、画像取得部５０３に入力画像のデータを提供する。システム１０において、撮像部／通信部５０１は、例えば撮像装置１００で画像データを生成する撮像素子によって実現される（撮像部）。あるいは、撮像部／通信部５０１は、端末装置２００またはサーバ３００で撮像装置１００またはネットワーク上のストレージから画像データを受信する通信装置によって実現される（通信部）。

画像取得部５０３は、撮像部／通信部５０１から入力画像のデータを取得するソフトウェア的なインターフェースである。システム１０において、画像取得部５０３は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵ（Central Processing Unit）などの処理回路によって実現される。画像取得部５０３は、入力画像をエフェクト設定部５０５における画像解析のために提供する。また、画像取得部５０３は、エフェクト設定部５０５における画像解析の結果に応じてエフェクトを適用した上で、またはそのまま出力するために、入力画像をエフェクト適用部５０９（または画像出力部５１１）に提供する。

エフェクト設定部５０５は、画像取得部５０３によって取得された入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択するための画像解析を実行する。システム１０において、エフェクト設定部５０５は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。エフェクト設定部５０５は、例えば入力画像における画素のフローベクトルを検出し、当該フローベクトルのパターンに基づいて、入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択する。エフェクト設定部５０５は、エフェクト設定ＤＢ５０７を参照して、適用可能なエフェクトに関する情報を取得してもよい。なお、エフェクト設定部５０５の詳細な構成については後述する。

エフェクト適用部５０９は、エフェクト設定部５０５における画像解析の結果に応じて、画像取得部５０３から提供された入力画像にエフェクトを適用する。エフェクト設定部５０５によって入力画像にエフェクトを適用しないことが選択された場合、エフェクト適用部５０９による処理はスキップされ、画像出力部５１１が入力画像をそのまま出力しうる。エフェクト設定部５０５も、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。

画像出力部５１１は、エフェクト適用部５０９においてエフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータを出力部／通信部５１３に提供するソフトウェア的なインターフェースである。システム１０において、画像出力部５１１は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。また、画像出力部５１１は、入力部／通信部５１５を介して取得されるユーザ操作に従って、エフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータを記録制御部５１７に提供する。

出力部／通信部５１３は、画像出力部５１１から提供された入力画像のデータを出力する。システム１０において、出力部／通信部５１３は、例えば撮像装置１００または端末装置２００が有するディスプレイなどの出力装置によって実現される（出力部）。あるいは、出力部／通信部５１３は、端末装置２００が撮像装置１００に解析結果を送信するための通信装置、またはサーバ３００が端末装置２００または撮像装置１００に解析結果を送信するための通信装置によって実現される（通信部）。この場合、解析結果は、画像解析処理を実行する装置とは異なる装置によって出力される。

なお、以下の入力部／通信部５１５、記録制御部５１７、および画像ストレージ５１９は、出力部／通信部５１３によって出力される画像が、記録のためのプレビューとしてユーザに提示される場合に設けられる。画像が単に閲覧に供するために提示されるような場合には、機能構成５００ａは入力部／通信部５１５、記録制御部５１７、および画像ストレージ５１９を含まなくてもよい。

入力部／通信部５１５は、出力部／通信部５１３によってプレビューとして出力された入力画像を参照したユーザによる操作入力を取得する。システム１０において、入力部／通信部５１５は、例えば撮像装置１００または端末装置２００が有するボタンやタッチパネルなどの入力装置によって実現される（入力部）。あるいは、入力部／通信部５１５は、端末装置２００が撮像装置１００からデータを受信するための受信装置、またはサーバ３００が端末装置２００または撮像装置１００からデータを受信するための通信装置によって実現される（通信部）。この場合、ユーザ操作は、画像解析処理または画像の保存の処理を実行する装置とは異なる装置において受け付けられる。

記録制御部５１７は、入力部／通信部５１５によって取得されたユーザ操作に従って、エフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータを画像ストレージ５１９に格納する。入力画像のデータは、画像出力部５１１から取得される。システム１０において、記録制御部５１７は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。

なお、図示していないが、機能構成５００ａは、入力部／通信部５１５によって取得されたユーザ操作に従って、入力画像に適用するエフェクトの種類を変更したり、入力画像に新たにエフェクトを適用したり、入力画像へのエフェクトの適用を解除したりするための構成要素をさらに含んでもよい。このような構成要素については、公知の技術を適用することが可能であるため、詳細な説明は省略する。

図３は、本開示の一実施形態に係るシステムの第２の機能構成例を示すブロック図である。図３を参照すると、機能構成５００ｂは、撮像部／通信部５０１と、画像取得部５０３と、エフェクト設定部５０５と、エフェクト設定ＤＢ５０７と、エフェクト適用部５０９と、記録制御部５１７と、画像ストレージ５１９とを含む。機能構成５００ｂは、上記のシステム１０に含まれる撮像装置１００、端末装置２００、またはサーバ３００のいずれかによって実現される。あるいは、システム１０に含まれる複数の装置が協働することによって機能構成５００ｂを実現してもよい。

図示された第２の機能構成例では、入力画像に対する画像解析の結果に基づいてエフェクトが適用された入力画像、またはエフェクトが適用されなかった入力画像が、自動的にストレージに格納される。従って、図３に示された例では、エフェクト適用部５０９においてエフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータが、そのまま記録制御部５１７に提供される。また、記録制御部５１７は、提供された画像を自動的に画像ストレージ５１９に格納する。なお、それ以外の構成要素については、上記の第１の機能構成例と同様であるため重複した説明は省略する。

上述したような本実施形態の機能構成例では、入力画像に対する画像解析の結果に基づいて、当該入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択する処理が実行される。これらの例では、処理の結果に基づいてエフェクトが適用された入力画像がストレージに格納されてもよいし、エフェクトが適用された画像がプレビューまたは閲覧のために表示されるだけであってもよい。つまり、本実施形態では、入力画像に適用されるエフェクトの有無またはエフェクトの種類が選択する処理が実行されるが、処理結果の用途は特定されない。

（３．エフェクト設定部の構成例）
図４は、本開示の一実施形態におけるエフェクト設定部の構成例を示すブロック図である。図４を参照すると、エフェクト設定部５０５は、画像解析部５０５１と、エフェクト選択部５０５９とを含む。エフェクト選択部５０５９は、ズームエフェクト選択部５０６１と、アートエフェクト選択部５０６３とを含む。なお、上述の通り、システム１０において、エフェクト設定部５０５は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。以下、それぞれの構成要素について説明する。

画像解析部５０５１は、フローベクトル検出部５０５３と、フローコヒーレンシ検出部５０５５と、顔検出部５０５７とを含み、入力画像の解析を実行する。

フローベクトル検出部５０５３は、入力画像における画素のフローベクトルを検出する。フローベクトルは、各画素が有する方向成分を示すベクトルである。より具体的には、例えば、フローベクトル検出部５０５３は、Ｓｏｂｅｌフィルタを利用して入力画像内での輝度勾配を算出し、輝度勾配に基づいてフローベクトルを検出してもよい。このようなフローベクトルの検出方法は、例えば特開２０１２−２３０５４９号公報に記載されている。あるいは、フローベクトル検出部５０５３は、Jan Eric Kyprianidis, Henry Kang, "Image and Video Abstraction by Cocherence-Enhancing Filtering", EUROGRAPHICS 2011, Volume 30(2011), Number 2に記載された「Smoothed Structure Tensor」を用いてフローベクトルを検出してもよい。他にも、フローベクトル検出部５０５３は、公知のさまざまな技術を利用してフローベクトルを検出しうる。

フローコヒーレンシ検出部５０５５は、フローベクトル検出部５０５３によって検出されたフローベクトルのコヒーレンシを検出する。コヒーレンシは、フローベクトルの一様性を示す指標であり、フローベクトルの方向および／または大きさに基づいて算出される。例えば、近接する画素間でフローベクトルの方向が一致している割合が高い場合には、コヒーレンシが強いと判定される。逆に、近接する画素間でフローベクトルの方向が一致しない割合が高い場合には、コヒーレンシが弱いと判定される。なお、フローコヒーレンシの検出方法は、例えば特開２０１３−２４６４６０号公報に記載されている。他にも、フローコヒーレンシ検出部５０５５は、公知の様々な技術を利用してフローコヒーレンシを検出しうる。

顔検出部５０５７は、入力画像に含まれる顔を検出する。顔検出部５０５７は、例えばウェーブレット変換やＨａａｒ特徴検出など、公知の様々なアルゴリズムを用いて、入力画像に含まれる顔の領域を算出する。なお、後述するエフェクト選択部５０５９における顔の領域に基づく判定は付加的なものであるため、画像解析部５０５１は必ずしも顔検出部５０５７を含まなくてもよい。また、顔検出部５０５７がなくても、メタデータ等に基づいてエフェクト選択部５０５９が入力画像に含まれる顔の領域に基づく判定を実施することが可能であってもよい。あるいは、画像解析部５０５１は、エフェクト選択部５０５９における判定とは関係なく顔検出部５０５７を含んでもよい。

エフェクト選択部５０５９は、ズームエフェクト選択部５０６１と、アートエフェクト選択部５０６３とを含み、画像解析部５０５１における解析の結果、より具体的には入力画像における画素のフローベクトルのパターンに基づいて、入力画像に対するエフェクトの処理を選択する。より具体的には、エフェクト選択部５０５９は、エフェクトの処理として、入力画像に対するエフェクトの有無を選択してもよい。また、エフェクト選択部５０５９は、エフェクトの処理として、エフェクトの種類を選択してもよい。フローベクトルのパターンは、例えば、消失点の有無であってもよい。また、フローベクトルのパターンは、フローベクトルのコヒーレンシなどによって識別されてもよい。エフェクト選択部５０５９は、エフェクトの処理として、フローベクトルのコヒーレンシに基づいて、入力画像に対するエフェクトの種類を選択してもよい。また、エフェクト選択部５０５９は、エフェクトの処理として、フローベクトルのコヒーレンシに基づいて、入力画像に対するエフェクトの有無を選択してもよい。

ズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用するか否か、または入力画像に適用されるズームエフェクトの種類を選択する。つまり、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、エフェクトの処理として、消失点の有無に基づいて、入力画像にズームエフェクトを適用するか否かを選択してもよい。ここで、本明細書において、ズームエフェクトは、画像内のある点を基準にして画角を仮想的に変化させるエフェクトを意味する。ズームエフェクトは、例えば、単純に画像内のある点にズームインする第１のズームエフェクトと、画像内のある点を基準にして空間モデルを再構築し、基準点が最奥部になるように視点を仮想的に移動させた上でズームインする第２のズームエフェクトとを含みうる。第２のズームエフェクトでは、仮想的なウォークスルーのような没入感のある映像効果が得られることから、以下の説明では第２のズームエフェクトを単に「ウォークスルー」ともいう。ウォークスルーでは空間モデルの再構築によって特に画像の周縁部のエッジがぼやけてしまうのに対し、第１のズームエフェクトではエッジがぼやけることなく保存されることから、以下の説明では第１のズームエフェクトを「エッジ保存ズーム」ともいう。ズームエフェクト選択部５０６１は、例えば、入力画像にウォークスルーを適用するか、エッジ保存ズームを適用するか、またはどちらのズームエフェクトも適用しないかを選択する。

アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用するか否か、または入力画像に適用されるアートエフェクトの種類を選択する。ここで、本明細書において、アートエフェクトは、例えば水彩調、油彩調、イラスト調、または点描調のフィルタを含む。例えば、水彩調のフィルタでは、エッジを保存しつつ平滑化を施すことによって、水彩画のような風合いの画像が得られる。また、油彩調のフィルタでは、筆のストロークに似たパターンを描くことによって、油彩画のような風合いの画像が得られる。イラスト調のフィルタでは、エッジに従って滑らかな線を描くことによって、イラストのような風合いの画像が得られる。点描調のフィルタでは、短い楕円形のパターンを描くことによって、点描画のような風合いの画像が得られる。なお、アートエフェクトについては、例えば特開平８−４４８６７号公報や、特開２０１１−１６０３０６号公報、特開２０１１−１６６２１７号公報、A.Hertzmann,“Painterly Rendering with Curved Brush Strokes of Multiple Sizes,”Proc. Sgigraph 98,ACM Press,1998,pp.453-460などに記載された公知の技術を利用することができる。アートエフェクト選択部５０６３は、例えば、入力画像に上記のアートエフェクトのうちのいずれかを適用するか、またはアートエフェクトを適用しないかを選択する。

上述の通り、ズームエフェクト選択部５０６１、およびアートエフェクト選択部５０６３は、例えば入力画像における画素のフローベクトルのパターンに基づいて、入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択する。また、ズームエフェクト選択部５０６１、およびアートエフェクト選択部５０６３は、付加的に、入力画像における顔検出の有無もしくは顔の領域の大きさ、または入力画像におけるエッジや色の状態に基づいて、入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択してもよい。このような選択の処理の例について、以下でフローチャートを参照してさらに説明する。

（４．処理フローの例）
（４−１．ズームエフェクト選択処理）
図５は、本開示の一実施形態におけるズームエフェクト選択処理の例を示すフローチャートである。図５を参照すると、まず、ズームエフェクト選択部５０６１は、入力画像にフロー消失点が存在するか否かを判定する（Ｓ１０１）。フロー消失点は、フローベクトル検出部５０５３によって検出されるフローベクトルが形成する消失点である。フロー消失点が存在する場合、入力画像のフローベクトルでは、画像内のある点を中心とする放射状の方向のベクトルが支配的になる。なお、消失点の検出については、例えば米国特許公開第２０１３／００９４７６４号などに記載された公知の技術を利用することができる。

上記のＳ１０１の判定において、入力画像にフロー消失点が存在しないと判定された場合（ＮＯ）、ズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用しないことを選択し（Ｓ１０３）、処理を終了する。ズームエフェクトは、例えば奥行きのある風景などを含む画像において、消失点を基準にして適用した場合に効果的である。逆に言うと、奥行きがない画像であったり、奥行きがあっても消失点が画像に含まれないような場合には、ズームエフェクトを効果的に使用することは難しい。従って、図示された例において、ズームエフェクト選択部５０６１は、入力画像にフロー消失点が存在しないと判定された場合にはズームエフェクトを適用しないことを選択する。

一方、Ｓ１０１の判定において、入力画像にフロー消失点が存在すると判定された場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用することを選択し、ズームエフェクトの種類を選択するためのＳ１０５〜Ｓ１１３の処理を実行する。なお、図示された例では、エフェクト設定ＤＢ５０７において２種類のズームエフェクト（ウォークスルーおよびエッジ保存ズーム）が定義されているために上記の処理が実行される。他の例において、ズームエフェクトが１種類のみ（例えばエッジ保存ズームのみ）定義されているような場合には、Ｓ１０１の判定において入力画像にフロー消失点が存在すると判定された時点で、当該ズームエフェクトを適用することが決定されてもよい。このような場合、フローベクトルのコヒーレンシを用いた判定は実施されないため、フローコヒーレンシ検出部５０５５は必ずしも設けられなくてもよい。

図示された例では、Ｓ１０１の判定において入力画像にフロー消失点が存在すると判定された場合、ズームエフェクト選択部５０６１が、さらに、入力画像におけるフローベクトルのコヒーレンシが上下で異なるか否かを判定する（Ｓ１０５）。より具体的には、ズームエフェクト選択部５０６１は、フローベクトルのコヒーレンシが、入力画像の上部の領域では弱く、下部の領域では強いという傾向がみられるか否かを判定する。このような傾向は、コヒーレンシの入力画像の領域に応じた傾向の例である。このような傾向がみられる画像は、屋外で撮影された画像でありうる。例えば、屋外で撮像された画像に空と地上の風景とが映っている場合、空の領域ではフローベクトルが様々な方向を向くため、コヒーレンシが弱くなる。一方、地上の風景の領域では、建物や道路などの何らかの被写体が存在するため、空の領域に比べるとコヒーレンシが強くなる。Ｓ１０５の判定は、このような傾向を利用して、入力画像が屋外で撮像された画像であるか否かを判定するものである。

なお、他の例では、上記のＳ１０５の判定に代えて、例えば、入力画像のカラーヒストグラムを取得し、入力画像の上部の方が下部よりも明るいという傾向がみられる場合に入力画像が屋外で撮像された画像であると判定してもよい。

上記のＳ１０５の判定において、入力画像におけるフローベクトルのコヒーレンシが上下で異なると判定されなかった場合（ＮＯ）、ズームエフェクト選択部５０６１は、入力画像にエッジ保存ズームを適用することを選択する（Ｓ１０７）。上記の通り、Ｓ１０５の判定では、入力画像が屋外で撮像された画像であるか否かが判定されうる。従って、フローベクトルのコヒーレンシが上下で異なると判定されなかった場合、入力画像は屋外で撮像された画像ではないと推定される。このような画像には、屋内で撮像された画像が含まれる。屋内で撮像された画像の場合、一般に画像の周縁部まで被写体が存在していることが多い。それゆえ、例えば屋内で撮像された画像にウォークスルーのエフェクトを適用すると、周縁部の被写体のエッジがぼやけてしまうことによる違和感も与えてしまう可能性がある。そこで、図示された例では、入力画像が屋内で撮像された画像である可能性がある場合にはエッジ保存ズームを適用することによって、違和感を与えることを回避している。

一方、Ｓ１０５の判定において、入力画像におけるフローベクトルのコヒーレンシが上下で異なると判定された場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、さらに、入力画像が、強くかつ直線的なエッジを含むか否かを判定する（Ｓ１０９）。ここで、強くかつ直線的なエッジが含まれると判定された場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、入力画像にエッジ保存ズームを適用することを選択する（Ｓ１０７）。つまり、この場合、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用する場合であって、入力画像が直線的なエッジを含む場合には、ズームエフェクトとしてエッジ保存ズームを選択する。入力画像が、強くかつ直線的なエッジを含む場合、入力画像の被写体には建物や道路などの人工物が含まれる可能性が高い。このような被写体を含む画像にウォークスルーのエフェクトを適用すると、周縁部で人工物の被写体のエッジがぼやけてしまうことによる違和感を与えてしまう可能性がある。そこで、図示された例では、入力画像の被写体に人工物が含まれる可能性が高い場合にはエッジ保存ズームを適用することによって、違和感を与えることを回避している。

なお、エッジを検出する技術としては、sobel filterやLaplacian filter等があるが、その結果から得られるエッジ情報からエッジ連続性を算出することができる。その際に、例えば、エッジの連続性が確認されたエッジのみを残し、エッジ直線性の強度を算出する。直線性の強度の算出方法の一例として、連続性を保有する隣接するエッジの角度がある一定の幅以内で連続しているようであれば直線エッジ（Ａ）とみなし、それ以外は非直線エッジ（Ｂ）とみなしカウントする。そして、直線エッジと非直線エッジの比率（Ａ：Ｂ）を確認し、直線エッジ（Ａ）の比率が高い場合は“強い直線エッジ”と判定する。この処理は、具体的にいえば、Ａ／Ａ＋Ｂ＝５０％以上の場合に“強い直線エッジ”と判定するような処理である（比率の数値は一例であり、５０％には限らず任意に設定されうる）。この例における判定は、ウォークスルーの際に建物のような人工物の直線が歪むことを防ぐことを意図している。人工物が多いシーンは比較的直線エッジ（Ａ）が多くなるため、（Ａ）の比率が高い場合はエッジ保存ズームを選択する。

上記のＳ１０９の判定において、入力画像に強くかつ直線的なエッジが含まれないと判定された場合（ＮＯ）、ズームエフェクト選択部５０６１は、さらに、顔検出部５０５７が入力画像に含まれる顔を検出したか否かを判定する（Ｓ１１１）。ここで、入力画像に含まれる顔が検出されていた場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、入力画像にエッジ保存ズームを適用することを選択する（Ｓ１０７）。つまり、この場合、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用する場合であって、入力画像に顔が含まれる場合には、ズームエフェクトとして、エッジ保存ズームを選択する。被写体として顔を含む画像にウォークスルーのエフェクトを適用すると、周縁部で顔のエッジがぼやけてしまうことによる違和感を与えてしまう可能性がある。そこで、図示された例では、入力画像の被写体に顔が含まれる場合にはエッジ保存ズームを適用することによって、違和感を与えることを回避している。

一方、Ｓ１０９の判定において、入力画像に含まれる顔が検出されていなかった場合（ＮＯ）、ズームエフェクト選択部５０６１は、入力画像にウォークスルーのエフェクトを適用することを選択する（Ｓ１１３）。図示された例では、フロー消失点を有する入力画像において、屋外で撮像された画像であり（Ｓ１０５のＹＥＳ）、被写体として人工物を含まず（Ｓ１０９のＮＯ）、また顔を含まない（Ｓ１１１のＮＯ）場合に、ウォークスルーのエフェクトが適用される。結果として、図示された例では、入力画像が屋外の自然物を主体とする風景画像であるような場合にウォークスルーのエフェクトが適用され（Ｓ１１３）、それ以外の場合にはエッジ保存ズームのエフェクトが適用される（Ｓ１０７）。上記のような処理において、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用する場合に、フローベクトルのコヒーレンシに基づいて、ズームエフェクトの種類を選択しているといえる。より具体的には、ズームエフェクト選択部５０６１は、フローベクトルのコヒーレンシの入力画像の領域に応じた傾向に基づいて、ズームエフェクトとして、ウォークスルーとエッジ保存ズームの一方を選択している。

以上のようなズームエフェクトの選択処理によって、ズームエフェクトに適した入力画像（例えばフロー消失点を有することによって識別される）に選択的にズームエフェクトを適用することができる。また、周縁部にエッジが位置したり、エッジがぼやけることによる違和感を与えやすかったりする入力画像にはエッジ保存ズームを適用する一方で、そうではない画像についてはウォークスルーのエフェクトを適用することによって、違和感を回避しながら可能な限り没入感のある映像効果を得ることができる。

（４−２．アートエフェクト選択処理）
図６は、本開示の一実施形態におけるアートエフェクト選択処理の例を示すフローチャートである。図６を参照すると、まず、アートエフェクト選択部５０６３は、顔検出部５０５７が入力画像において細かい顔を検出したか否かを判定する（Ｓ２０１）。細かい顔は、例えば個々の顔の領域のサイズが所定の閾値よりも小さい顔である。ここで、細かい顔が検出されていた場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用しないことを選択し（Ｓ２０３）、処理を終了する。この場合、フローベクトルのコヒーレンシの強さには関わらず、入力画像にはアートエフェクトが適用されない。つまり、エフェクト選択部５０５９に含まれるエフェクト選択部５０６３は、入力画像に含まれる顔が所定のサイズ未満である場合にはコヒーレンシの強さに関わらず入力画像にアートエフェクトを適用しない。本実施形態におけるアートエフェクトは、入力画像に含まれるエッジの一部を不鮮明にするものでありうるため、細かい被写体は塗りつぶされてしまう可能性がある。その一方で、特に被写体が顔である場合には、エフェクトを適用した後の画像でも顔が視認可能であることが期待されている可能性が高い。従って、図示された例において、アートエフェクト選択部５０６３は、入力画像において細かい顔が検出された場合にはアートエフェクトを適用しないことを選択する。

一方、Ｓ２０１の判定において、入力画像で細かい顔が検出されていなかった場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用することを選択する。図示された例では、続いてさらにＳ２０５〜Ｓ２１１の処理が実行されるが、Ｓ２０１の処理だけが、アートエフェクトの適用の有無を選択するための処理として独立して実施されてもよい。

図示された例では、Ｓ２０１の判定において、入力画像で細かい顔が検出されていなかった場合、アートエフェクト選択部５０６３が、さらに、入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱いか否かを判定する（Ｓ２０５）。Ｓ２０５以降の処理において、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、エフェクトの処理として、コヒーレンシの強さに基づいて、エフェクトとしてのアートエフェクトの種類を選択する。より具体的には、ここで、コヒーレンシが無視できる程度に弱いと判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用しないことを選択する（Ｓ２０３）。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、コヒーレンシの強さが閾値より小さい場合には入力画像にエフェクトとしてのアートエフェクトを適用しない。例えば、アートエフェクトに含まれる油彩調または水彩調のフィルタは、フローベクトルの方向に沿って筆のストロークを描く。また、イラスト調のフィルタは、エッジの方向に沿って滑らかな線を描く。点描のフィルタは、フローベクトルの方向に応じて楕円形のパターンの角度を変化させる。従って、コヒーレンシが弱い、つまりフローベクトルの方向が全体的に一致していない場合には、上記のようなフィルタの効果が現れづらい。従って、図示された例において、アートエフェクト選択部５０６３は、入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱いと判定された場合にはアートエフェクトを適用しないことを選択する。

なお、コヒーレンシの強さは、例えば特開２０１３−４６４６０号公報に記載されたベクトルコヒーレンシ検出などの技術を利用して検出される。この場合、例えば特開２０１３−４６４６０号公報の図４に示されたようにベクトル（グラディエント：勾配）を算出し、その周辺ベクトルのコヒーレンシを算出することが可能である。その結果を正規化することによって、特開２０１３−４６４６０号公報の図３に示されるようなベクトルコヒーレンシを算出することができる。ここで、例えば、正規化した結果を、ベクトルコヒーレンシの強弱を０（弱）〜１００（強）として表現した場合、例えば空のようなコヒーレンシの低い領域が０〜２５の区間に固まっているようであれば、０〜２５の区間を“コヒーレンシが弱い区間”と定義してもよい（なお、数値範囲は正規化の度合いやコヒーレンシの強弱を算出するためのアルゴリズムによって変動しうるため、上記の例には限られず任意に設定されうる）。この場合、強さが“コヒーレンシが弱い区間”に含まれるコヒーレンシが支配的なシーンは、アートフィルタの効果があまり得られないためアートフィルタを適用しないことを選択してもよい。

一方、Ｓ２０５の判定において、入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱くはないと判定された場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用することを選択し、アートエフェクトの種類を選択するためのＳ２０７〜Ｓ２１１の処理を実行する。なお、図示された例では、エフェクト設定ＤＢ５０７において４種類のアートエフェクト（水彩調、油彩調、イラスト調、および点描調のフィルタ）が定義されているために上記の例が実行される。他の例において、アートエフェクトが１種類のみ定義されているような場合には、Ｓ２０５の判定において入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱くはないと判定された時点で、当該アートエフェクトを適用することが決定されてもよい。また、例えば上記の４種類のアートエフェクトのうちの一部だけが定義されているような場合には、以下で説明する種類を選択するための処理の一部が省略される。

図示された例では、Ｓ２０５の判定において入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱くはないと判定された場合、アートエフェクト選択部５０６３が、さらに、入力画像におけるフローベクトルのコヒーレンシがある程度を超えて強いか否かを判定する（Ｓ２０７）。ここで、コヒーレンシがある程度を超えて強いと判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像に油彩調、または水彩調のフィルタのエフェクトを適用することを決定し、後述する油彩／水彩選択処理を実行する（Ｓ２０９）。ここで、油彩調、または水彩調のフィルタのエフェクトは、入力画像に筆跡を表現するアートエフェクトである。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、コヒーレンシが所定の強さを超える場合にはアートエフェクトとして、入力画像に筆跡を表現するアートエフェクトを適用する。

一方、コヒーレンシがある程度を超えて強いと判定されなかった場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像にイラスト調／点描調のフィルタを適用することを決定し、後述するイラスト／点描選択処理を実行する（Ｓ２１１）。上記のＳ２０７での判定は、油彩調／水彩調のフィルタが画像におけるフローベクトルのコヒーレンシが比較的強い場合に適し（筆のストロークの表現が豊かになるため）、イラスト調／点描調のフィルタが画像におけるフローベクトルのコヒーレンシが比較的弱い場合に適することに基づく。

図７は、本開示の一実施形態における油彩／水彩選択処理の例を示すフローチャートである。油彩／水彩選択処理は、上記の図６においてＳ２０９として参照された。図７を参照すると、まず、アートエフェクト選択部５０６３は、顔検出部５０５７が入力画像において検出した顔の領域がある程度を超えて大きいか否かを判定する（Ｓ２２１）。ここで、顔領域がある程度を超えて大きいと判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像に水彩調のフィルタを適用することを選択する（Ｓ２２３）。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、入力画像に含まれる顔の領域が入力画像の所定の割合以上を占める場合には、筆跡を表現するアートエフェクトとして、水彩調のアートエフェクトを適用する。顔の肌や髪の表現には水彩調のフィルタの方が適するためである。

一方、Ｓ２２１の判定において、顔領域がある程度を超えて大きくはないと判定された場合（ＮＯ）アートエフェクト選択部５０６３は、さらに、入力画像において特定色が支配的であるか否かを判定する（Ｓ２２５）。より具体的には、アートエフェクト選択部５０６３は、入力画像のカラーヒストグラムを取得し、黄や赤のような鮮やかな色が支配的であるか否かを判定する。ここで、入力画像において特定色が支配的である場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像に油彩調のフィルタを適用することを選択する（Ｓ２２７）。一方、入力画像において特定色が支配的ではなかった場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像に水彩調のフィルタを適用することを選択する（Ｓ２２３）。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、前記入力画像において特定の色が支配的である場合には、筆跡を表現するアートエフェクトとして、油彩調のアートエフェクトを適用する。油彩調のフィルタは鮮やかな色の表現に効果的である一方で、そうでない色については水彩調のフィルタの方が適切な結果が得られる場合が多いためである。

図８は、本開示の一実施形態におけるイラスト／点描選択処理の例を示すフローチャートである。イラスト／点描選択処理は、上記の図６においてＳ２１１として参照された。図８を参照すると、まず、アートエフェクト選択部５０６３は、入力画像が、強くかつ直線的なエッジを含むか否かを判定する（Ｓ２４１）。ここで、強くかつ直線的なエッジが含まれると判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像にイラスト調のフィルタを適用することを選択する（Ｓ２４３）。一方、入力画像に強くかつ直線的なエッジが含まれないと判定された場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像に点描調のフィルタを適用することを選択する（Ｓ２４５）。つまり、この例において、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用する場合、入力画像に含まれる直線的なエッジの度合いに基づいて、アートエフェクトとして、イラスト調のアートエフェクトと点描調のアートエフェクトの一方を適用する。

上述の通り、イラスト調のフィルタでは、エッジに従って滑らかな線を描くことによって、イラストのような風合いの画像が得られる。従って、イラスト調のフィルタは、強くかつ直線的なエッジを含む画像において特に効果的である。このような画像は、例えば、被写体として建物や道路などの人工物を含む画像でありうる。一方、エッジが弱く、また直線的ではない場合、画像は例えば自然物を主体とする風景画像でありうる。このような場合には、点描調のフィルタが効果的である。

以上のようなアートエフェクトの選択処理によって、入力画像におけるフローベクトルのコヒーレンシや、顔検出、エッジの状態などに応じて、入力画像にアートエフェクトを適用するか否か、適用する場合にはどのような種類のアートエフェクトを適用するかを適切に選択することができる。これによって、さまざまな種類のアートエフェクトを選択的に入力画像に適用し、エフェクトの効果を最大化することができる。

（５．ハードウェア構成）
次に、図９を参照して、本開示の実施形態に係る画像処理装置のハードウェア構成について説明する。図９は、本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。図示された画像処理装置９００は、例えば、上記の実施形態における撮像装置、端末装置、またはサーバを実現しうる。

画像処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、画像処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、画像処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。画像処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、画像処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、画像処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、画像処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、画像処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、画像処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を画像処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば画像処理装置９００の筐体の姿勢など、画像処理装置９００自体の状態に関する情報や、画像処理装置９００の周辺の明るさや騒音など、画像処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、画像処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（６．補足）
本開示の実施形態は、例えば、上記で説明したような画像処理装置（撮像装置、端末装置、またはサーバ）、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と
を備える画像処理装置。
（２）前記エフェクト選択部は、前記エフェクトの処理として、前記入力画像に対するエフェクトの有無を選択する、前記（１）に記載の画像処理装置。
（３）前記エフェクト選択部は、前記エフェクトの処理として、前記エフェクトの種類を選択する、前記（１）または（２）に記載の画像処理装置。
（４）前記フローベクトルのパターンは、消失点の有無である、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）前記エフェクト選択部は、前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択する、前記（４）に記載の画像処理装置。
（６）前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとしてエッジ保存ズームを選択する、前記（５）に記載の画像処理装置。
（７）前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合であって、前記入力画像に顔が含まれる場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、前記（５）または（６）に記載の画像処理装置。
（８）前記フローベクトルのパターンは、前記フローベクトルのコヒーレンシによって識別される、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）前記エフェクト選択部は、前記エフェクトの処理として、前記フローベクトルのコヒーレンシに基づいて、前記入力画像に対するエフェクトの種類を選択する、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）前記エフェクト選択部は、前記エフェクトの処理として、前記フローベクトルのコヒーレンシに基づいて、前記入力画像に対するエフェクトの有無を選択する、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）前記エフェクト選択部は、前記エフェクトの処理として、前記コヒーレンシの強さに基づいて、前記エフェクトとしてのアートエフェクトの種類を選択する、前記（９）に記載の画像処理装置。
（１２）前記エフェクト選択部は、前記コヒーレンシの強さが閾値より小さい場合には前記入力画像に前記エフェクトとしてのアートエフェクトを適用しない、前記（１０）に記載の画像処理装置。
（１３）前記エフェクト選択部は、前記コヒーレンシが所定の強さを超える場合には前記アートエフェクトとして、前記入力画像に筆跡を表現するアートエフェクトを適用する、前記（１１）に記載の画像処理装置。
（１４）前記エフェクト選択部は、前記入力画像に含まれる顔の領域が前記入力画像の所定の割合以上を占める場合には、前記筆跡を表現するアートエフェクトとして、水彩調のアートエフェクトを適用する、前記（１３）に記載の画像処理装置。
（１５）前記エフェクト選択部は、前記入力画像において特定の色が支配的である場合には、前記筆跡を表現するアートエフェクトとして、油彩調のアートエフェクトを適用する、前記（１３）または（１４）に記載の画像処理装置。
（１６）前記エフェクト選択部は、前記入力画像に含まれる顔が所定のサイズ未満である場合には前記コヒーレンシの強さに関わらず前記入力画像に前記アートエフェクトを適用しない、前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）前記エフェクト選択部は、前記入力画像に前記アートエフェクトを適用する場合、前記入力画像に含まれる直線的なエッジの度合いに基づいて、前記アートエフェクトとして、イラスト調のアートエフェクトと点描調のアートエフェクトの一方を適用する、前記（１１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合に、前記コヒーレンシに基づいて、前記ズームエフェクトの種類を選択する、前記（８）に記載の画像処理装置。
（１９）前記エフェクト選択部は、前記コヒーレンシの前記入力画像の領域に応じた傾向に基づいて、前記ズームエフェクトとして、ウォークスルーとエッジ保存ズームの一方を選択する、前記（１８）に記載の画像処理装置。
（２０）画像処理装置の処理回路が、
入力画像における画素のフローベクトルを検出することと、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択することと
を含む画像処理方法。
（２１）入力画像における画素のフローベクトルを検出する機能と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択する機能と
を画像処理装置の処理回路に実現させるためのプログラム。

１０ システム
１００ 撮像装置
２００ 端末装置
３００ サーバ
５０３ 画像取得部
５０５ エフェクト設定部
５０９ エフェクト適用部
５１１ 画像出力部
５１７ 記録制御部
５０５１ 画像解析部
５０５３ フローベクトル検出部
５０５５ フローコヒーレンシ検出部
５０５７ 顔検出部
５０５９ エフェクト選択部
５０６１ ズームエフェクト選択部
５０６３ アートエフェクト選択部

Claims (11)

1. 入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
   前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と、
   を備え、
   前記フローベクトルのパターンは、消失点の有無であり、
   前記エフェクト選択部は、
   前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択し、
   前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、
   画像処理装置。
2. 前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合であって、前記入力画像に顔が含まれる場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、請求項１に記載の画像処理装置。
3. 入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
   前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と、
   を備え、
   前記フローベクトルのパターンは、前記フローベクトルのコヒーレンシによって識別され、
   前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合に、前記コヒーレンシに基づいて、前記ズームエフェクトの種類を選択する、
   画像処理装置。
4. 入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
   前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と、
   を備え、
   前記エフェクト選択部は、
   前記エフェクトの処理として、前記フローベクトルのコヒーレンシの強さに基づいて、前記入力画像に対するエフェクトとしてのアートエフェクトの種類を選択し、
   前記コヒーレンシが所定の強さを超える場合には、前記アートエフェクトの種類として、前記入力画像に筆跡を表現するアートエフェクトを適用することを選択する、
   画像処理装置。
5. 前記エフェクト選択部は、前記入力画像に含まれる顔の領域が前記入力画像の所定の割合以上を占める場合には、前記筆跡を表現するアートエフェクトとして、水彩調のアートエフェクトを適用することを選択する、請求項４に記載の画像処理装置。
6. 前記エフェクト選択部は、前記入力画像において特定の色が支配的である場合には、前記筆跡を表現するアートエフェクトとして、油彩調のアートエフェクトを適用することを選択する、請求項４又は５に記載の画像処理装置。
7. 前記エフェクト選択部は、前記入力画像に含まれる顔が所定のサイズ未満である場合には前記コヒーレンシの強さに関わらず前記入力画像に前記アートエフェクトを適用しないことを選択する、請求項４〜６のいずれか１項に記載の画像処理装置。
8. 前記エフェクト選択部は、前記入力画像に前記アートエフェクトを適用する場合、前記入力画像に含まれる直線的なエッジの度合いに基づいて、前記アートエフェクトとして、イラスト調のアートエフェクトと点描調のアートエフェクトの一方を適用することを選択する、請求項４〜７のいずれか１項に記載の画像処理装置。
9. 前記エフェクト選択部は、前記コヒーレンシの前記入力画像の領域に応じた傾向に基づいて、前記ズームエフェクトとして、ウォークスルーとエッジ保存ズームの一方を選択する、請求項３に記載の画像処理装置。
10. 画像処理装置の処理回路が、
    入力画像における画素のフローベクトルを検出することと、
    前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択することと
    を含み、
    前記フローベクトルのパターンは、消失点の有無であり、
    前記エフェクトの処理を選択することは、
    前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択し、
    前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、
    ことを含む、
    画像処理方法。
11. 入力画像における画素のフローベクトルを検出する機能と、
    前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択する機能と
    を画像処理装置の処理回路に実現させるためのプログラムであって、
    前記フローベクトルのパターンは、消失点の有無であり、
    前記エフェクトの処理を選択する機能は、
    前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択し、
    前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、
    プログラム。

Images