JP6294018B2 - イメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、イメージを自動編集するための装置に関し、より詳細には、編集しようとする対象イメージを自動編集することにより、サムネイル（ｔｈｕｍｂｎａｉｌ）イメージなどの様々な画面構成に適するイメージを生成するためのイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体に関する。

現在、インターネットの広範囲な普及は、有線を越えて無線の移動通信技術への急成長をもたらし、実生活においても、携帯電話、ＰＤＡ、ハンドヘルド（Ｈａｎｄ‐Ｈｅｌｄ）コンピュータなどの携帯用端末を介するインターネット上での情報検索が時間と場所を問わず可能となっている。

ウェブ（Ｗｅｂ）またはアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）のデジタル媒体においても、マガジン（ｍａｇａｚｉｎｅ）やイーブック（ｅ‐ｂｏｏｋ）のように様々なレイアウト（ｌａｙｏｕｔ）でコンテンツを消費しようとする要求が存在する。例えば、フリップボードのようなタブレット用アプリケーションでは、イメージをレイアウトとし、既存のウェブコンテンツを消費できるように支援する。

この際、ウェブコンテンツに含まれた写真イメージは、レイアウトにおいて重要な役割を行い、原本イメージをサムネイルイメージ形態で露出させるために原本写真イメージの一部をクロップ（ｃｒｏｐ）するか写真上にテキストまたは他の写真をオーバーレイ（ｏｖｅｒｌａｙ）することで様々なレイアウトを生成する。

一方、従来このようなサムネイルイメージを製作する際に、原本イメージの縦横比とサムネイルの縦横比とが一致していない場合、写真の主要領域をサムネイルイメージに含ませるために手作業でサムネイルイメージを生成したり、編集デザイナーが直接イメージを加工して編集することでレイアウトを生成した。このように手作業で製作することなく自動化する場合でも原本写真イメージに単純にリサイジング（ｒｅ‐ｓｉｚｉｎｇ）のみを施してコンテンツレイアウトに適用した。

サムネイルイメージを製作するにあたり、このように手動で行う編集作業は多くのリソースを必要とするだけでなく、様々なディスプレイ画面においてさらに他の形態、サイズおよび画面比（ｒａｔｉｏ）（すなわち、縦横比）のサムネイルイメージが必要な場合にすぐ適用することができず、イメージを再編集しなければならないという問題点がある。

一方、このような原本イメージからサムネイルなどを自動生成するための技術として、特許文献１には、ビデオから比較的短く低解像度のアニメーション化したビデオサムネイルを生成する方法が開示されている。

しかし、このようにイメージを自動リサイジングする場合にはイメージが位置する特定のコンテンツレイアウトの割合が合わないことや、イメージの主要領域がリサイジングされてスマートフォンのような小さい画面では可読性に劣る現象が生じることがある。

特に、スマートフォン、タブレット、スマートＴＶの登場に伴い様々なサイズのスクリーンが登場したため、様々な画面サイズに合う動的なレイアウトを自動生成できる技術の必要性が要求されている。

韓国公開特許第２００４−００４４３７３号

本発明の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、主要領域を中心にイメージを自動編集することにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明の他の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、主要領域をクロップしてイメージを自動編集することにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明のさらに他の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、余白領域にテキストをオーバーレイ（ｏｖｅｒｌａｙ；重ねる）させることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明のさらに他の目的は、複数の編集対象イメージを分析して主要領域と余白領域とに区分し、各編集対象イメージの主要領域をクロップした後、複数のクロップしたイメージをオーバーレイさせることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明のさらに他の目的は、編集対象イメージに別の余白領域を追加し、追加した余白領域にテキストをオーバーレイさせることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

上記の本発明の目的を果たし、後述する本発明の特有の効果を果たすための、本発明の特徴的な構成は下記のとおりである。

本発明の一側面によれば、イメージ分析によるイメージ自動編集装置は、少なくとも一つの編集対象イメージを格納するコンテンツ情報データベースと、コンテンツ情報データベースから少なくとも一つの編集対象イメージの提供を受け、提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出するイメージ分析モジュールと、検出した主要領域を含む編集イメージを自動生成するイメージ編集モジュールと、を含む。

好ましくは、編集装置は、編集イメージが配置されるレイアウトの構成情報を格納するイメージ構成情報データベースをさらに含み、イメージ編集モジュールは、イメージ構成情報データベースに格納された構成情報に基づいて編集イメージを自動生成する。

好ましくは、イメージ分析モジュールは、編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、検出したオブジェクトを含む領域を主要領域と判断するオブジェクト検出部を含む。

好ましくは、イメージ分析モジュールは、編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出し、算出した焦点値および対比値に基づいて顕著性値を算出し、算出した顕著性値の分布によって少なくとも一つの主要領域を検出するパターン分析部を含む。

好ましくは、イメージ分析モジュールは、編集対象イメージの全体領域のうち検出した主要領域以外の領域を余白領域と判断する余白検出部を含む。

好ましくは、余白検出部は、検出した主要領域以外の領域を第１余白領域と設定し、第１余白領域において類似したピクセル値を有する複数の領域に画面分割を行い、各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を第２余白領域と設定する。

好ましくは、イメージ編集モジュールは、イメージ分析モジュールで検出した主要領域を編集対象イメージからクロップするイメージクロップ部を含む。

好ましくは、イメージ編集モジュールは、余白領域にテキストをオーバーレイさせるテキストオーバーレイ部を含む。

好ましくは、イメージ編集モジュールは、主要領域が検出された複数の編集対象イメージに対して第１イメージの余白領域に第２イメージの主要領域をオーバーレイさせるイメージオーバーレイ部を含む。

好ましくは、イメージ編集モジュールは、全体領域のうち主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、編集対象イメージに余白領域をさらに追加させる余白追加部を含む。

好ましくは、イメージ編集モジュールは、主要領域を含む編集イメージの大きさまたは縦横比を構成情報に応じてリサイジングするイメージリサイジング部を含む。

本発明の他の側面によれば、イメージ分析によるイメージ自動編集方法は、イメージ分析モジュールから編集対象イメージの提供を受ける段階と、イメージ分析モジュールから提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出する段階と、イメージ編集モジュールで検出した主要領域を含む編集イメージを自動生成する段階と、を含む。

一方、イメージ分析によるイメージ自動編集手順を行うための情報は、サーバコンピュータによって読み取り可能な記録媒体に格納することができる。このような記録媒体は、コンピュータシステムによって実行されるようにプログラム及びデータが格納される全ての種類の記録媒体を含む。その例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などが挙げられ、また、搬送波（ｃａｒｒｉｒ ｗａｖｅ）（例えば、インターネットを介した伝送）の形態に具現されるものも含まれる。また、このような記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行することができる。

上述したように、本発明によれば、編集しようとする対象イメージを手作業でなく自動で特定のコンテンツレイアウトに合わせて編集することにより、手作業によるイメージ編集に伴う欠点を解消することができるという利点がある。

また、様々な形態、大きさ、縦横比を有するサムネイルイメージが必要な場合、本発明により該条件に適するサムネイルイメージを自動編集することにより、様々な画面サイズに合う動的なレイアウトを自動生成することができるという利点がある。

また、本発明によれば、写真イメージの主要領域を自動判断して編集することにより、主要部分が脱落しないとともに、リサイジング後にも可読性に優れたイメージを自動生成することができるという利点がある。

また、本発明によれば、写真において重要でない領域を自動分析し、写真や関連コンテンツのキャプション、タイトル（ｔｉｔｌｅ）、記事内容などを重要でない領域にオーバーレイさせることにより、効果的なサムネイルイメージを自動生成することができるという利点がある。

また、本発明によれば、複数の編集対象イメージの主要領域を自動判断し、複数の主要領域をクロップ（ｃｒｏｐ）して互いにオーバーレイさせることにより、動的なマガジンのような様々なレイアウトを自動生成することができるという利点がある。

本発明に係るイメージ分析によるイメージ自動編集の概略を示す図である。 本発明の実施形態に係るイメージ分析によるイメージ自動編集装置の詳細構成を示すブロック図である。 本発明の実施形態に係るイメージ分析によるイメージ自動編集手順を示すフローチャートである。 本発明の実施形態に係る主要領域検出の詳細手順を示すフローチャートである。 本発明の実施形態に係るイメージパターン分析による主要領域検出手順を示すフローチャートである。 本発明の実施形態に係る検出した主要領域が表示されたイメージを示す図である。 本発明の実施形態に係る検出した主要領域が表示されたイメージを示す図である。 本発明の実施形態に係る余白領域を検出する手順を示すフローチャートである。 本発明の実施形態に係る第１余白領域が表示されたイメージを示す図である。 本発明の実施形態に係る第２余白領域が表示されたイメージを示す図である。 本発明の第１実施形態に係る原本イメージをクロップする手順を示すフローチャートである。 本発明の第１実施形態に係る原本イメージからクロップしたイメージを示す図である。 本発明の第２実施形態に係る余白領域にテキストをオーバーレイする手順を示すフローチャートである。 本発明の第２実施形態に係る余白領域にテキストがオーバーレイされたイメージを示す図である。 本発明の第３実施形態に係る原本イメージに余白領域が追加されたイメージを示す図である。 本発明の第４実施形態に係る複数のイメージがオーバーレイされたイメージを示す図である。

後述する本発明についての詳細な説明は、本発明が実施できる特定実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を十分に実施することができるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的な必要はないことを理解すべきである。例えば、ここに記載されている特定形状、構造及び特徴は、一実施形態に関連して本発明の思想及び範囲を外れずに他の実施形態に具現されることができる。また、それぞれの開示された実施形態内の個別構成要素の位置または配置は、本発明の思想及び範囲を外れずに変更されることができることを理解すべきである。従って、後述する詳細な説明は限定的な意味で扱うものでなく、本発明の範囲は、適切に説明されるならば、その請求範囲が主張するものと均等な全ての範囲と一緒に、添付した請求範囲によってのみ限定される。図面において、類似した参照符号は、様々な側面にわたって同一または類似した機能を示す。

本発明は、写真などのイメージから主要部分の位置を自動検出し、検出した主要部分を中心に所望のレイアウトに合わせてイメージを自動編集できるイメージ分析によるイメージ自動編集装置および方法を開示する。

例えば、本発明の実施形態により写真の主要部分の位置を自動検出した後、検出した主要部分をクロップ（ｃｒｏｐ）し、製作しようとするレイアウトに合わせて縦横比を調節してサムネイルイメージを生成することにより、主要部分が脱落することなく所望のレイアウトのイメージを自動生成することができる。

また、本発明の実施形態により写真などのイメージにおいて重要でない領域（例えば、余白領域）を自動分析し、該イメージ関連コンテンツのキャプション（ｃａｐｔｉｏｎ）、タイトル（ｔｉｔｌｅ）、記事内容などを重要でない領域にオーバーレイさせてレイアウトするか、他のイメージとオーバーレイさせることにより、動的なマガジンなどの様々な形態のレイアウトを自動生成することができる。

一方、後述する本発明では、自動分析および編集によって所望のイメージ（例えば、サムネイルイメージ）などを生成するための編集対象イメージ（すなわち、編集前のイメージ）を「原本イメージ」とし、原本イメージは写真だけでなく、絵、マンガなどを含む最も広い概念である。

また、後述する本発明における「クロップ（ｃｒｏｐ）」とは、特定のイメージの全体領域から選択された一部領域（例えば、主要領域）を切り取ることを意味し、「オーバーレイ（ｏｖｅｒｌａｙ）」とは、複数のイメージをオーバーレイさせて編集することを意味する。

以下、本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。

まず、図１および図２を参照して本発明の実施形態に係る概略および装置の構造について説明し、次に、図３を参照して本発明の実施形態に係る手順について詳細に説明する。

イメージ自動編集の概略
図１は本発明に係るイメージ分析によるイメージ自動編集の概略を示す図である。図１を参照すると、ウェブページを構成するイメージの編集のための原本イメージ（すなわち、編集対象イメージ）は、コンテンツ情報（すなわち、アーティクル（ａｒｔｉｃｌｅ））データベースに格納される。一方、コンテンツ情報データベースには、原本イメージだけでなく、該原本イメージ関連コンテンツのキャプション、タイトル、記事内容などが共にリンクされて格納されてもよい。

コンテンツ情報データベースに格納された分析対象コンテンツのイメージの提供（ｆｅｅｄｉｎｇ）を受けると、様々な方法でイメージ分析が行われる。この際、本発明の実施形態により原本イメージを分析して、顔または物体などが含まれた主要領域と、主要領域でない余白領域とを検出する。

例えば、原本イメージに含まれたオブジェクトを様々な方法で検出し、検出したオブジェクトが含まれた領域を主要領域と設定する。この際、全体イメージのうち主要領域と設定した領域以外の残りの領域は余白領域と設定することができる。一方、このように全体イメージ領域が主要領域と余白領域とに区分されると、主要領域の位置、色、明るさ、最適の縦横比などの情報と、余白領域の位置、色、明るさ、最適の縦横比などの情報が生成されることができる。このように、生成された情報は、その後，イメージ編集をする時に参照することができる。

また、主要領域と余白領域とを区分するための他の実施形態としてパターン分析方法を適用することができる。例えば、イメージ内の各ピクセルの焦点値および対比値により顕著性（Ｓａｌｉｅｎｃｙ）値を算出し、算出した顕著性値の分布により主要領域を検出することができる。

一方、余白領域を検出する方法としてのように主要領域を検出した後、残りの領域を余白領域と設定することもでき、後述する方法のように、本発明の実施形態により余白領域を第１余白と第２余白とに区分して、それぞれ異なる編集方法を適用するように具現することもできる。

このように、主要領域と余白領域とが区分されると、様々な実施形態によりウェブページなどに適用されるレイアウトに合わせてイメージを編集することができる。したがって、イメージ編集のためにウェブページを構成するレイアウトの情報（例えば、挿入するイメージの大きさ、縦横比、解像度、形状、形態、方向など）を参照して分析されたイメージを編集する。

例えば、本発明の第１実施形態により主要領域をクロップしてウェブページに適用するイメージ（例えば、サムネイルイメージ）を製作することができる。この際、クロップしたイメージをさらにリサイジングすることで所望の大きさと割合のイメージを生成することもできる。

また、本発明の第２実施形態により分析されたイメージの余白領域にテキストをオーバーレイさせることができる。この際、テキストは、コンテンツ情報データベースに原本イメージとともにリンクされて格納された原本イメージ関連コンテンツのキャプション、タイトル、記事内容などであってもよく、本発明はこれに限定されない。

また、本発明の第３実施形態により分析されたイメージの余白領域がテキストをオーバーレイさせるほど十分でない場合、余白領域を自動生成して追加することもできる。したがって、追加した余白領域に第２実施形態と同じテキストまたは異なるテキストなどをオーバーレイさせることで編集イメージを生成することができる。

一方、第２および第３実施形態でも、第１実施形態と同様にテキストがオーバーレイされたイメージをリサイジングすることでレイアウトに合う所望の大きさと割合のイメージを生成することができる。

また、本発明の第４実施形態により複数の原本イメージを互いにオーバーレイさせることで編集イメージを生成することができる。例えば、二つの原本イメージを互いにオーバーレイさせようとする場合、本発明の実施形態により各原本イメージの主要領域を検出し、各原本イメージの検出した主要領域が重ならないようにして互いにオーバーレイさせることで所望の編集イメージを生成することができる。

このように、各実施形態により製作された編集イメージをウェブサーバに伝達し、ウェブサーバで編集イメージをレイアウトに合わせて配置してウェブページを構成する。すなわち、ユーザ端末（例えば、スマートフォン、タブレット、ノートパソコン、ＰＤＡなど）の画面サイズに合わせてこれに適するウェブページを構成し、ユーザ端末に提供する。

以下、図２を参照して本発明の実施形態に係る装置について説明し、図３を参照して本発明の実施形態に係る方法について説明する。

＜イメージ分析によるイメージ自動編集装置＞
図２は本発明の実施形態に係るイメージ分析によるイメージ自動編集装置の詳細構成を示すブロック図である。図２を参照すると、本発明の実施形態に係るイメージ自動編集装置は、イメージ分析モジュール２２０と、イメージ編集モジュール２３０と、を含んで構成されることができる。また、イメージ分析モジュール２２０は、オブジェクト検出部２２１と、パターン分析部２２２と、余白検出部２２３と、を含んで構成されることができ、イメージ編集モジュール２３０は、イメージクロップ部２３１と、テキストオーバーレイ部２３２と、イメージオーバーレイ部２３３と、余白追加部２３４と、イメージリサイジング部２３５と、を含んで構成されることができる。

また、イメージ自動編集装置は、コンテンツ情報データベース２１０、イメージ構成情報データベース２４０および編集イメージデータベース２５０などの少なくとも一つのデータベースを含むことができる。

コンテンツ情報データベース２１０には、編集のための少なくとも一つの原本イメージ（すなわち、編集対象イメージ）が格納され、本発明の実施形態により各原本イメージ関連コンテンツのキャプション、タイトル、記事内容などがともにマッピングされて格納されることもできる。

イメージ分析モジュール２２０では、コンテンツ情報データベース２１０から編集する原本イメージの提供（ｆｅｅｄｉｎｇ）を受け、イメージ分析により全体イメージ領域のうち少なくとも一つの主要領域を検出する機能を行う。この際、本発明の実施形態により選択的に、オブジェクト検出部２２１によって主要領域を検出してもよく、パターン分析部２２２によって主要領域を検出してもよい。また、本発明の実施形態により、余白検出部２２３によって全体イメージ領域のうち少なくとも一つの余白領域を検出してもよい。

例えば、イメージ分析モジュール２２０は、コンテンツ情報データベース２１０に格納された分析するコンテンツのイメージの提供（ｆｅｅｄｉｎｇ）を受けると、後述する様々な方法によってイメージ分析を行う。すなわち、本発明の実施形態により原本イメージを分析して、顔または物体などが含まれた主要領域と主要領域でない余白領域とを検出する。

より具体的に説明すると、オブジェクト検出部２２１では、原本イメージに含まれた少なくとも一つのオブジェクト（例えば、顔、テキスト、物体など）を様々な方法で検出し、検出したオブジェクトが含まれた領域を主要領域と設定する。この際、全体イメージのうち主要領域と設定した領域以外の残りの領域は余白領域と自動設定されるように具現することができる。

一方、このように全体イメージ領域が主要領域と余白領域とに区分されると、主要領域の位置、色、明るさ、最適の縦横比などの情報と、余白領域の位置、色、明るさ、最適の縦横比などの情報が生成されることができる。このように、生成された情報は、その後、イメージ編集をする時に参照されることができる。

また、主要領域を検出するための他の方法としてパターン分析部２２２による主要領域検出が行われることもできる。例えば、イメージ内の各ピクセルの焦点値および対比値によって顕著性（Ｓａｌｉｅｎｃｙ）値を算出し、算出した顕著性値の分布により主要領域を検出することができる。これについては図５に関する説明部分で後述する。

一方、のようにオブジェクト検出部２２１またはパターン分析部２２２によって主要領域を検出した後、残りの領域を余白領域と設定することができ、本発明の他の実施形態により余白検出部２２３によって余白をさらに細分化して検出することもできる。例えば、余白検出部２２３では、本発明の実施形態により余白領域を第１余白と第２余白とに区分し、第１余白と第２余白がそれぞれ異なる編集方法で編集されるように具現することができる。

このように、イメージ分析モジュール２２０で主要領域と余白領域とが区分されると、イメージ編集モジュール２３０では、領域が区分された原本イメージを様々な実施形態により（例えば、四つの実施形態により）、ウェブページなどに適用されるレイアウトに合わせてイメージを編集する。すなわち、イメージ編集モジュール２３０では、イメージ構成情報データベース２４０に格納されたウェブページを構成するレイアウトの情報（例えば、挿入するイメージの大きさ、縦横比、解像度、形状、形態、方向など）を参照してイメージ分析モジュール２２０によって分析されたイメージを編集する。

例えば、イメージクロップ部２３１では、本発明の第１実施形態によりイメージ分析モジュール２２０で区分された主要領域をクロップしてウェブページに適用されるイメージ（例えば、サムネイルイメージ）を製作する。この際、クロップされたイメージをイメージリサイジング部２３５を介してリサイジングすることで所望の大きさと割合のイメージを生成することもできる。

また、テキストオーバーレイ部２３２では、本発明の第２実施形態によりイメージ分析モジュール２２０で区分されたイメージの余白領域にテキストをオーバーレイさせることで原本イメージを編集する。この際、テキストは、上述したように、コンテンツ情報データベース２１０に原本イメージとともにマッピングされて格納された原本イメージ関連コンテンツのキャプション、タイトル、記事内容などであってもよく、本発明はこれに限定されない。

また、本発明の第３実施形態により分析されたイメージの余白領域がテキストをオーバーレイさせるほど十分でない場合、余白追加部２３４では余白領域を自動生成して追加することもできる。これにより、余白追加部２３４によって追加された余白領域に第２実施形態と同じテキストをオーバーレイさせることで編集イメージを生成することができる。

一方、テキストオーバーレイ部２３２および余白追加部２３４によって編集されたイメージは、第１実施形態と同様に、イメージリサイジング部２３５によってリサイジングすることでレイアウトに合う所望の大きさと割合のイメージを生成することができる。

また、イメージオーバーレイ部２３３では、本発明の第４実施形態により複数の原本イメージを互いにオーバーレイさせることで編集イメージを生成することができる。例えば、二つの原本イメージを互いにオーバーレイさせようとする場合、本発明の実施形態により、イメージ分析モジュール２２０が複数のイメージの提供を受けて各原本イメージの主要領域を検出し、イメージオーバーレイ部２３３では、各原本イメージの検出した主要領域が互いに重ならないようにしてオーバーレイさせることで所望の編集イメージを生成することができる。

このように、各実施形態により、イメージ編集モジュール２３０によって製作された編集イメージは、編集イメージデータベース２５０に格納され、格納された編集イメージは、ウェブサーバに適用されて様々な形態のウェブページを構成する。すなわち、上述したように、ユーザ端末（例えば、スマートフォン、タブレット、ノートパソコン、ＰＤＡなど）の画面サイズに合わせてこれに適するウェブページを構成し、ユーザ端末に提供することができる。

＜イメージ分析によるイメージ自動編集方法＞
図３は本発明の実施形態に係るイメージ分析によるイメージ自動編集手順を示すフローチャートである。図３を参照すると、上述したように、本発明の実施形態により提供を受けた原本イメージを分析して主要領域を検出（Ｓ３０１）する。この際、イメージ編集方法として、主要領域をクロップして編集しようとする場合（Ｓ３０２）、検出した主要領域をクロップしてウェブページを構成する該ページのレイアウトに合わせてイメージを生成（Ｓ３０３）する。この際、イメージ生成方法でクロップされた主要領域をリサイジングして生成することもでき、イメージを適用するレイアウトを考慮して主要領域をクロップすることもできる。このように、生成された編集イメージ（例えば、サムネイルイメージ）はウェブページの該レイアウトに適用される。

一方、原本イメージをクロップすることなく、上述したように他の実施形態により主要領域でない余白領域にテキストまたはイメージをオーバーレイしてもよい。したがって、後述する様々な方法で主要領域でない余白領域を検出（Ｓ３０４）した後、テキストまたは他のイメージをオーバーレイすることができる。

仮に、テキストを余白領域にオーバーレイしようとする場合（Ｓ３０５）、まず、検出した余白領域がテキストをオーバーレイするために十分であるかを判断（Ｓ３０６）する。その判断方法は、オーバーレイするテキストの最小のフォントサイズを考慮してテキスト全体の領域の大きさを算出し、検出した余白領域の大きさと比較してオーバーレイ可能であるかを判断する方法とすることができる。

判断の結果、テキストをオーバーレイするための余白領域の大きさが十分でない場合、新しい本発明の実施形態により余白領域を原本イメージまたは主要領域がクロップされたイメージに追加（Ｓ３０７）する。次に、追加された余白領域にテキストをオーバーレイ（Ｓ３０８）させる。

判断の結果、テキストをオーバーレイするための余白領域の大きさが十分である場合、検出した余白領域にテキストをオーバーレイ（Ｓ３０８）させる。

一方、本発明の他の実施形態により原本イメージに他の少なくとも一つの原本イメージをオーバーレイしようとする場合（Ｓ３０９）、複数のイメージを互いにオーバーレイ（Ｓ３１０）させる。この際、各原本イメージから主要領域を検出し、各原本イメージの主要領域が互いに重ならないようにオーバーレイさせることが好ましい。

例えば、第１イメージと第２イメージをレイアウトに合わせてオーバーレイさせようとする場合、第１イメージおよび第２イメージの主要領域および余白領域をそれぞれ検出し、第２イメージの主要領域をクロップして第１イメージの余白領域にオーバーレイさせることができる。このようにすることで、第１イメージの主要領域と第２イメージの主要領域が互いに重ならなくなり、各イメージ上の主要オブジェクトが脱落することなく表示されることができる。また、他の方法として、第１イメージの主要領域と第２イメージの主要領域をそれぞれクロップし、クロップされた各イメージをレイアウトに合わせて再配置することで編集イメージを生成することができる。

以下、図４から図８を参照して原本イメージから主要領域および余白領域を検出する方法について詳細に説明する。

＜主要領域検出方法＞
図４は本発明の実施形態に係る主要領域検出の詳細手順を示すフローチャートである。図４を参照すると、編集しようとする原本イメージに含まれたオブジェクトを識別することで識別されたオブジェクトが含まれた領域を主要領域と検出することができる。この際、オブジェクトは、顔、テキスト、その他の主要物体であってもよい。

例えば、まず、イメージ内に顔が存在するかを検出（Ｓ４０１）することができる。検出の結果、顔が存在する場合（Ｓ４０２）、検出した顔が含まれた領域を主要領域と判断（Ｓ４０３）することができる。この際、イメージから顔を検出する方法は公知の様々なイメージプロセッシング方法によって具現することができ、その詳細な説明は省略する。一方、顔検出結果、複数個の顔が検出された場合、各顔の重要度（例えば、大きさ、位置、鮮明度などを基準に決定された重要度）を判別して複数の顔のうち重要度の高い顔を含む領域を主要領域と判断するか、検出した複数個の顔全部を含む一つの領域を主要領域と判断することもできる。

また、イメージ内にテキストが含まれているかを分析（Ｓ４０４）することで主要領域を判断することができる。この際、イメージからテキストを検出する方法としてＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）技術を用いて検出してもよい。このように、イメージからテキストが検出（Ｓ４０５）されると、検出したテキスト領域を主要領域と判断（Ｓ４０６）することができる。

また、本発明の実施形態により少なくとも一つの予め指定した特定の物体が存在するかを検出（Ｓ４０７）することもできる。検出の結果、予め指定した特定の物体がイメージ内に存在する場合（Ｓ４０８）、検出した物体が含まれた領域を主要領域と判断（Ｓ４０９）することができる。

一方、上述したオブジェクト検出方法において、顔、テキスト、その他の主要物体などを検出する各方法は選択的に適用してもよく、本発明は図４に示された検出順序に限定されない。

図５は本発明の実施形態に係るイメージパターン分析による主要領域検出手順を示すフローチャートである。図５を参照すると、図４について詳述した方法とは異なり、特定のオブジェクトを検出することなく、イメージ全体のパターンを分析することで主要領域を検出することもできる。

すなわち、イメージ内で焦点が合っている部分と合っていない部分が共存する場合、鮮明度分析により鮮明度の平均値が相対的に高い領域を主要領域と判断することもできる。この際、鮮明度分析方法ではイメージ内の特定のピクセルを中心として周辺ピクセル値の変化周期が短いほど高い鮮明度を有するものと判断することができる。

また、他の方法として、イメージ内の各ピクセルに対し周辺ピクセルに対する色または明暗の差値を求め、その差値の平均値が相対的に高い領域を主要領域と判断することもできる。

さらに他の方法として、上述した焦点値および対比値を組み合わせて主要領域を判断することもできる。すなわち、各ピクセルの焦点値および対比値を算出（Ｓ５０１、Ｓ５０２）し、焦点値および対比値を演算して顕著性（Ｓａｌｉｅｎｃｙ）値を決定（Ｓ５０３）することができる。例えば、顕著性値は焦点値と対比値を掛け算して算出することができる。

このように、各ピクセルに対する顕著性値が算出されると、イメージ内の顕著性値の分布を二次元ガウス分布（ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）でモデリング（Ｓ５０４）し、予め設定した値以上の顕著性値が凝集した領域をイメージ内の主要領域と判断（Ｓ５０５）する。この際、イメージ内の顕著性値の分布に応じて、一つの主要領域または二つ以上の複数個の主要領域を検出することができる。

このように、本発明の実施形態により抽出した主要領域は、図６ｂに示されたように、基本的に主要領域の大きさ、形状、方向などを取り囲む閉曲線（例えば、楕円）の形態６２０をとることができ、必要に応じて、図６ａに示されたように閉曲線を含む四角形などの図形６１０に最終決定することができる。

＜余白領域検出方法＞
図７は本発明の実施形態に係る余白領域（Ｎｏｎ‐ｓａｌｉｅｎｔ Ａｒｅａ）を検出する手順を示すフローチャートである。一方、本発明における余白領域は、イメージ内での影響力が相対的に少ない領域を意味し、主要領域と反対の意味を有する。したがって、上述したように決定された主要領域以外の残りの領域を余白領域と決定してもよく、他の方法で余白領域を決定してもよい。一方、で検出した主要領域の形態に応じて主要領域と余白領域の一部が互いに重なっていてもよい。

余白領域を抽出するための一つの実施形態として図７を参照すると、まず、上述したようにイメージの主要領域を検出（Ｓ７０１）する。次に、図８ａに示されたように、主要領域８１０以外の残りの領域を余白領域の候補領域である第１余白領域８２０と指定（Ｓ７０２）する。

次に、指定された第１余白領域に対して画面分割（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を行う（Ｓ７０３）。この際、画面分割は、類似したピクセル値（例えば、焦点値、対比値、顕著性値など）を有する隣接ピクセルをグルーピングして最終的に一つの画面を類似したピクセル値を有する複数の領域に分ける作業である。例えば、第１余白領域の各ピクセルの色または明暗と隣接ピクセルの色または明暗とを比較して、その差が予め設定した基準以下の場合には類似したピクセルとみなし、一つの領域にグルーピングする。次に、各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を図８ｂに示されたように第２余白領域８３０と設定（Ｓ７０４）する。

一方、第１余白領域は、切り取られたり他のイメージと重なって覆われても良い領域を意味し、第２余白領域は、第１余白領域の中でも画面変化率が少なく、平坦なピクセル値を有する領域を意味する。このように決定された各余白領域は、その後のオーバーレイ編集の過程でそれぞれ適用（Ｓ７０５）することができる。例えば、後述する本発明の実施形態において、第１余白領域は、複数のイメージをオーバーレイする場合に使用することができ、第２余白領域は、イメージにテキストをオーバーレイする場合に使用することができる。

以上、図４から図８を参照して本発明の実施形態に係る主要領域および余白領域を検出する方法について詳細に説明した。次に、図９から図１４を参照して本発明の各実施形態に係る様々なイメージ編集方法について詳細に説明する。

＜第１実施形態‐主要領域クロップ＞
図９は本発明の第１実施形態に係る原本イメージをクロップする手順を示すフローチャートである。図９を参照すると、本発明の第１実施形態により原本イメージの主要領域をクロップすることでイメージを編集することができる。

すなわち、まず、上述したように原本イメージの主要領域が検出（Ｓ９０１）されると、イメージがウェブページ上でのレイアウトを考慮して、該編集したイメージ（例えば、サムネイルイメージ）が配置される領域の特性値（例えば、イメージ大きさ、縦横比など）の入力（Ｓ９０２）を受ける。次に、入力された特性値に応じて検出した主要領域をクロップし、リサイジング（Ｓ９０３）することでイメージを編集する。また、他の実施形態として、複数個のコンテンツに対するイメージの主要領域に対し最適のクロップの割合および大きさを算出し、該イメージの組み合わせに最も適するコンテンツレイアウトを提案することでウェブページを構成してもよい。

一方、本発明の実施形態により決定された主要領域をクロップした後、該大きさまたは縦横比に合わせてリサイジングすることもでき、主要領域をクロップする際に該大きさまたは縦横比を考慮してクロップするように具現することもできる。

図１０は本発明の第１実施形態に係る原本イメージからクロップしたイメージを示す図である。図１０を参照すると、原本イメージから上述したように主要領域１０００をクロップすることでクロップイメージをウェブページなどに配置することができる。例えば、スマートフォンなど相対的に小さい画面に使用するために主要領域を中心にクロップするか、特定のレイアウトのための割合に合わせてクロップすることでイメージを効果的に自動編集することができる。

＜第２実施形態‐イメージ＋テキストオーバーレイ＞
図１１は本発明の第２実施形態に係る余白領域にテキストをオーバーレイする手順を示すフローチャートである。図１１を参照すると、原本イメージから上述したように主要領域を検出（Ｓ１１０１）し、検出した主要領域以外の残りの領域を余白領域と設定（Ｓ１１０２）する。

次に、余白領域の大きさを算出してオーバーレイ可能なテキスト列の長さを判断（Ｓ１１０３）し、該領域に適するテキスト（例えば、アーティクルのタイトル、内容の一部など）を配置して、自動でオーバーレイ（Ｓ１１０６）させる。この際、本発明の実施形態によりテキストがオーバーレイされる余白領域の色を分析（Ｓ１１０４）し、分析された余白領域の色を考慮してテキストの色を決定（Ｓ１１０５）する。例えば、余白領域の色の補色の色をテキストの色と決定することで余白の色に応じてテキストがはっきりと見える色に決定することが好ましい。また、余白領域の色が淡い色の場合にはテキストの色を反対の色のフォントに設定するか、テキストの背景を別の色でボックス処理することができる。

すなわち、図１２を参照すると、左側に示された原本イメージから主要領域１２００と余白領域１２１０とを検出し、余白領域１２１０の大きさと色を分析する。すなわち、余白領域１２１０の大きさを分析して配置するテキスト列の長さを決定し、余白領域１２１０の色を分析して配置するテキストの色を決定することができる。

したがって、右側に示された編集イメージのように余白領域１２１０の上端に「新しい春を迎えるインテリアーノーハウ」というテキスト列のヘッドライン１２２０が余白領域１２１０の色と反対の色で配置されることができ、下端にはテキストボックス１２３０形態でテキスト列が配置されることができる。テキストボックス１２３０は、ボックス内のテキストの色とテキストボックス１２３０の背景色を互いに反対の色で設定することでテキストの可読性を高めることができる。

＜第３実施形態‐イメージに余白領域追加＞
図１３は本発明の第３実施形態に係る原本イメージに余白領域が追加されたイメージを示す図である。図１３を参照すると、原本イメージから余白領域が検出されない場合、原本イメージから検出した主要領域外の背景イメージの複雑度を判別して、イメージ複雑度が低い場合に、該背景の色を分析して基本色を抽出し、抽出した基本色に似合う色（例えば、類似した色、補色、同色、主要領域の色など）の余白領域１３１０を原本イメージ１３００に追加することができる。

このように、主要領域外の単純な背景領域でテキストをオーバーレイできる追加のタイトル／キャプション領域を余白領域として生成することができる。これにより、このように原本イメージ１３００に余白領域１３１０が追加された新しいイメージを生成することもでき、イメージ外にＨＴＭＬ／ＣＳＳなどを用いて新しいキャプション領域を生成することもできる。

＜第４実施形態‐イメージ＋イメージオーバーレイ＞
図１４は本発明の第４実施形態に係る複数のイメージがオーバーレイされたイメージを示す図である。ウェブページなどに配置するコンテンツに複数のイメージが存在する場合、本発明の第４実施形態により各イメージの主要領域と余白領域の大きさおよび位置を比較することで複数のイメージをオーバーレイして自動編集することができる。

例えば、図１４を参照すると、まず、上述した方法を用いて上に示した第１イメージ１４１０で主要領域１４１１を判別し、下に示した第２イメージ１４２０で主要領域１４２１を判別する。

次に、第１イメージ１４１０の余白領域に第２イメージ１４２０の主要領域１４２１をオーバーレイさせるか、図１４には示されていないが、第２イメージ１４２０の余白領域に第１イメージ１４１０の主要領域１４１１をオーバーレイさせることができる。このようにすることで複数個のイメージの各主要領域が互いに重ならなくてもイメージを自動でオーバーレイすることが可能となる。一方、図１４には二つのイメージをオーバーレイさせる方法を示しているが、同一の方法で３以上のイメージをオーバーレイさせることも可能である。

以上、本発明を具体的な構成要素などのような特定事項と限定された実施例及び図面を参照して説明したが、これは本発明のより全体的な理解を容易にするために提供されたものにすぎず、本発明は実施例によって限定されず、本発明が属する分野で通常的な知識を有した者であれば、このような記載から多様な修正及び変形が可能である。

従って、本発明の思想は実施例に限定されて決まってはならず、添付する特許請求の範囲だけでなく、特許請求の範囲と均等または等価的に変形された全ては、本発明の思想の範疇に属するとするべきであろう。

２１０ コンテンツ情報データベース
２２０ イメージ分析モジュール
２２１ オブジェクト検出部
２２２ パターン分析部
２２３ 余白検出部
２３０ イメージ編集モジュール
２３１ イメージクロップ部
２３２ テキストオーバーレイ部
２３３ イメージオーバーレイ部
２３４ 余白追加部
２３５ イメージリサイジング部
２４０ イメージ構成情報データベース
２５０ 編集イメージデータベース

Claims (19)

1. 少なくとも一つの編集対象イメージを格納するコンテンツ情報データベースと、
   前記コンテンツ情報データベースから前記少なくとも一つの編集対象イメージの提供を受け、前記提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出するイメージ分析モジュールと、
   前記検出した主要領域を含む編集イメージを自動生成するイメージ編集モジュールと、を含み、
   前記イメージ分析モジュールは、
   前記編集対象イメージの全体領域のうち前記検出した主要領域以外の領域を余白領域と判断する余白検出部を含み、
   前記余白検出部は、
   前記検出した主要領域以外の領域を第１余白領域と設定し、前記第１余白領域において類似したピクセル値を有する複数の領域に画面分割を行い、各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を第２余白領域と設定する、イメージ分析によるイメージ自動編集装置。
2. 前記編集イメージが配置されるレイアウトの構成情報を格納するイメージ構成情報データベースをさらに含み、
   前記イメージ編集モジュールは、前記イメージ構成情報データベースに格納された構成情報に基づいて前記編集イメージを自動生成する、請求項１に記載のイメージ分析によるイメージ自動編集装置。
3. 前記イメージ分析モジュールは、
   前記編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、前記検出したオブジェクトを含む領域を主要領域と判断するオブジェクト検出部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
4. 前記イメージ分析モジュールは、
   前記編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出し、前記算出した焦点値および対比値に基づいて顕著性値を算出し、前記算出した顕著性値の分布によって少なくとも一つの主要領域を検出するパターン分析部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
5. 前記イメージ編集モジュールは、
   前記イメージ分析モジュールで検出した主要領域を前記編集対象イメージからクロップするイメージクロップ部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
6. 前記イメージ編集モジュールは、
   前記余白領域にテキストをオーバーレイさせるテキストオーバーレイ部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
7. 前記イメージ編集モジュールは、
   主要領域が検出された複数の編集対象イメージに対して第１イメージの余白領域に第２イメージの主要領域をオーバーレイさせるイメージオーバーレイ部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
8. 前記イメージ編集モジュールは、
   前記全体領域のうち前記主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、前記編集対象イメージに余白領域をさらに追加させる余白追加部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
9. 前記イメージ編集モジュールは、
   前記主要領域を含む編集イメージの大きさまたは縦横比を前記構成情報に応じてリサイジングするイメージリサイジング部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。
10. イメージ分析モジュールから編集対象イメージの提供を受ける段階と、
    前記イメージ分析モジュールから前記提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出する段階と、
    イメージ編集モジュールで前記検出した主要領域を含む編集イメージを自動生成する段階と、を含み、
    前記主要領域を検出する段階の後に、
    前記編集対象イメージの全体領域のうち前記検出した主要領域以外の領域を余白領域と判断する段階をさらに含み、
    前記余白領域と判断する段階は、
    前記検出した主要領域以外の領域を第１余白領域と設定する段階と、
    前記第１余白領域において類似したピクセル値を有する複数の領域に画面分割を行う段階と、
    各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を第２余白領域と設定する段階と、を含む、イメージ分析によるイメージ自動編集方法。
11. 前記編集イメージを生成する段階は、
    前記編集イメージが配置されるレイアウトの構成情報に基づいて前記編集イメージを自動生成する、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
12. 前記主要領域を検出する段階は、
    前記編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、前記検出したオブジェクトを含む領域を主要領域と判断する、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
13. 前記主要領域を検出する段階は、
    前記編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出する段階と、
    前記算出した焦点値および対比値に基づいて顕著性値を算出する段階と、
    前記算出した顕著性値の分布によって少なくとも一つの主要領域を検出する段階と、を含む、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
14. 前記編集イメージを生成する段階は、
    前記検出した主要領域を前記編集対象イメージからクロップする段階を含む、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
15. 前記編集イメージを生成する段階は、
    前記余白領域にテキストをオーバーレイさせる段階を含む、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
16. 前記編集イメージを生成する段階は、
    主要領域が検出された複数の編集対象イメージに対して第１イメージの余白領域に第２イメージの主要領域をオーバーレイさせる段階を含む、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
17. 前記編集イメージを生成する段階は、
    前記全体領域のうち前記主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、前記編集対象イメージに余白領域をさらに追加させる段階を含む、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
18. 前記編集イメージを生成する段階は、
    前記主要領域を含む編集イメージの大きさまたは縦横比を前記構成情報に応じてリサイジングする段階を含む、請求項１０に記載のイメージ分析によるイメージ自動編集方法。
19. 請求項１０乃至１８のいずれか一項に記載の方法を実行するためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。