JP2024515373A - Ｕｘ－ｂｉｔを利用した自動デザイン生成の人工神経網装置及び方法 - Google Patents

Abstract

【課題】本発明は、ＵＸ－ｂｉｔを利用して顧客及びサービス提供者が利用するアプリケーションなどのプログラム開発プロジェクト協業方法に関する。詳しくは、プロジェクトを構成する構成要素を容易に検索及び適用するように、ＵＸ－ｂｉｔを利用して開発の期間及び費用を節減できる開発プロジェクト協業方法に関する。【解決手段】プロジェクト目標の入力を受けるステップと、前記プロジェクト目標を達成するための細部課業の入力を受けるステップと、前記プロジェクト目標及び前記細部課業で合意された内容を、統合された機能定義書にＵＸ－ｂｉｔとして整理するステップと、機能定義書に基づいてＵＸ－ｂｉｔを組合せて、ＩＡ（Information Architecture）要素を配置するステップと、前記ＩＡ要素に基づいてワイヤーフレーム（Wireframe）を構成するステップと、前記ワイヤーフレームに基づいて構成ページをデザインするステップと、前記ＵＸ－ｂｉｔの結合により構成された前記構成ページを検証する検証ページを提供するステップと、前記プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの少なくとも一つ以上に修正内容が発生すれば、プロジェクトの全体から、前記プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインのうちで前記修正内容が反映されることを同時に修正するステップと、を含む構成を開示する。【選択図】図１９

Description

本発明は、ＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置及び方法に関する。詳しくは、ウェブ（web）やアプリ（app）などのようなグラフィックデザインプロジェクトを構成する構成要素を入力すれば、自動にデザインを出力することで、開発の期間及び費用を低減できる開発プロジェクト協業方法に関する。

ＩＴ技術の発展により、情報通信技術を応用したプラットフォームの開発及び電子商取り引きの導入が活発になることで、ビジネス形態において、オフラインからオンラインへ転換したり、既存のオフラインビジネスに加えてオンラインチャンネルを追加したりする企業が増加しつつある。

最近は、オンラインビジネス市場の持続的な拡大と伴い、コロナ禍によって非対面と関連したサービスの需要が急増している。

テレワークや遠隔サービスに必要なソフトウェア及びＵＩ（user interface）／ＵＸ（user experience）の開発需要が増加しており、時代の流れが速くなることにより、ＵＩ／ＵＸデザインの生明周期も急速に変化している。

このような急速な変化に対応し得るＵＩ／ＵＸの開発道具が必要である。

図１は、既存のプロジェクト協業方法の進行を示す図である。図１に示すように、このようなＵＩ／ＵＸの開発システムは、技術の発展及び顧客のニーズを反映してプログラムを新しく開発又はアップグレードして適用できる。ここで、こうした開発プロジェクトの進行過程は、会議により意見を開陳し、討論によりプロジェクトの構成に対して合意すれば、合意した内容に基づいて機能定義書を作成し、ＩＡ（Information Architecture）、ワイヤーフレーム（Wireframe）、ストーリーボード（Story Board）及びデザイン作業を経てパブリッシング（publishing）し、プログラミング開発のステップにより当該内容をコーディングして、サービスオープンを行う過程を経る。

しかしながら、こうした開発プロジェクトの進行過程では、合意からプログラミング開発まで各ステップが終了しなければ次のステップに進行できない構造であり、各ステップのデータ等が独立的に観察されるため、必然的に業務リソース及び時間の所要が発生するという問題点がある。

したがって、このような業務リソース及び時間の所要を低減するために、プロセスの改善が必要な実情にある。

よって、本発明の目的は、前記問題点を解決するためのもので、機能定義書、ＩＡ、ワイヤーフレーム、ストーリーボード及びデザインなどを容易に選択して適用及び組合せが可能なＵＸ－ｂｉｔとすることで、複数のステップを同時に合意して一括で進行できる方法を提供することにある。

また、本発明の目的は、開発の期間及び費用を低減するために、構成要素を入力すれば、自動にデザインを出力する自動デザイン生成の人工神経網装置及び方法を提供することにある。

以下、本発明の目的を達成するための具体的な手段について説明する。

本発明の目的は、前記問題点を解決するための本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、プロジェクト目標の入力を受けるステップと、前記プロジェクト目標を達成するための細部課業の入力を受けるステップと、前記プロジェクト目標及び前記細部課業で合意された内容を、統合された機能定義書にＵＸ－ｂｉｔとして整理するステップと、機能定義書に基づいてＵＸ－ｂｉｔを組合せて、ＩＡ（Information Architecture）要素を配置するステップと、前記ＩＡ要素に基づいてワイヤーフレーム（Wireframe）を構成するステップと、前記ワイヤーフレームに基づいて構成ページをデザインするステップと、前記ＵＸ－ｂｉｔの結合により構成された前記構成ページを検証する検証ページを提供するステップと、前記プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの少なくとも一つ以上に修正内容が発生すれば、プロジェクトの全体から、前記プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインのうちで当該修正内容が反映されることを同時に修正するステップと、を含むことができる。

本発明の一実施例によれば、前記ＵＸ－ｂｉｔは、複数のレベルに分類される機能ＵＸ－ｂｉｔ及びデザインＵＸ－ｂｉｔを含むことができる。

本発明の一実施例によれば、前記機能ＵＸ－ｂｉｔは、単語単位を含む１レベル、単語組合せを含む２レベル、概念のグループを含む３レベル、位階情報を含む４レベル、領域情報を含む５レベル、画面情報を含む６レベル、コードを含む７レベル、及び完成されたサービスを含む８レベルに分類できる。

本発明の一実施例によれば、前記デザインＵＸ－ｂｉｔは、造形属性を含む１レベル、造形属性の値を含む２レベル、造形属性及び値の組合せを含む３レベル、属性組合せのグループを含む４レベル、デザインランゲージを含む５レベル、画面情報を含む６レベル、パブリッシング情報を含む７レベルに分類できる。

本発明の一実施例によれば、前記ＩＡ要素配置ステップは、前記機能定義書に基づいて少なくとも一つ以上のＩＡオプションを提示するステップと、前記ＩＡ要素の位置及び連結関係を編集する編集ページを提供するステップと、を含むことができる。

本発明の一実施例によれば、前記ＩＡ要素編集ページ提供ステップは、ドラッグアンドドロップされたＩＡ要素を配置するステップと、配置された前記ＩＡ要素をレベル又は位階によって線で連結するステップと、配置及び連結した前記ＩＡ要素を実務者の選択を反映して修正するステップと、を含むことができる。

本発明の一実施例によれば、前記ワイヤーフレーム構成ステップは、前記配置及び連結したＩＡ要素に基づいて、複数のワイヤーフレームのレイアウトを提示するステップと、実務者の選択に応じて、前記ワイヤーフレームのレイアウトを選択及びカスタムするステップと、を含むことができる。

本発明の一実施例によれば、前記ワイヤーフレーム構成ステップは、前記ワイヤーフレームのレイアウトの選択及びカスタムにより発生するＩＡ要素の配置変化を、前記配置及び連結したＩＡ要素に反映するステップをさらに含むことができる。

本発明の一実施例によれば、前記構成ページデザインステップは、デザインオプションをデザインＵＸ－ｂｉｔレベル順に提示するステップと、実務者の選択を反映して前記デザインオプションを修正するステップと、を含むことができる。

本発明の一実施例によれば、前記ＵＸ－ｂｉｔの結合により構成された検証ページを提供するステップは、画面に選択及びカスタムされた前記ワイヤーフレームのレイアウトにデザインを適用して出力するステップと、実際のユーザ環境と同様の環境でシミュレーションするステップを含むステップと、を含むことができる。

本発明の一実施例によれば、前記実際のユーザ環境と同様の環境でシミュレーションするステップは、画面の一部にコントローラを出力するステップと、前記コントローラを介して実務者の入力によってプロジェクトの駆動を具現するステップと、を含むことができる。

前記問題点を解決するための本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業プログラムは、所定の周期ごとにオペレーティングシステムにより定義された画面を制御するＵＸ－ｂｉｔを利用した開発プロジェクト協業方法を遂行する命令語から構成されるものの、前記ＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、プロジェクト目標の入力を受けるステップと、前記プロジェクト目標を達成するための細部課業の入力を受けるステップと、前記プロジェクト目標及び前記細部課業で合意された内容を、統合された機能定義書にＵＸ－ｂｉｔとして整理するステップと、機能定義書に基づいてＵＸ－ｂｉｔを組合せて、ＩＡ（Information Architecture）要素を配置するステップと、確定された前記ＩＡ要素に基づいてワイヤーフレーム（Wireframe）を構成するステップと、確定された前記ワイヤーフレームに基づいて構成ページをデザインするステップと、前記ＵＸ－ｂｉｔの結合により構成された前記構成ページを検証する検証ページを提供するステップと、前記プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの少なくとも一つ以上に修正内容が発生すれば、プロジェクトの全体から、前記プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインのうちで前記修正内容が反映されることを同時に修正するステップと、を含むことができる。

本発明の目的は、実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであるイメージテーマデータを入力データとし、イメージテーマエンコーディングベクトルを出力データとするエンコーディングモジュールであるイメージテーマエンコーディングモジュールと、前記実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するテキストであるテキストテーマデータを入力データとし、テキストテーマエンコーディングベクトルを出力データとするエンコーディングモジュールであるテキストテーマエンコーディングモジュールと、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを入力データとし、複数のＵＸ構成要素に対するＵＸ－ｂｉｔ属性を出力データとするモジュールであるＵＸ－ｂｉｔ生成モジュールと、前記イメージテーマエンコーディングベクトル、前記テキストテーマエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性を入力データとし、特定のウェブ／アプリグラフィックデザインを意味するデザインデータを出力データとして出力するアップサンプリング（Upsampling）の人工神経網モジュールであるデザイン生成モジュールと、を含み、前記デザイン生成モジュールの学習セッションでは、前記デザインデータ、並びに、これに対応する予め保存されたウェブ／アプリデザインのうちで前記イメージテーマエンコーディングベクトルとの類似度及び前記テキストテーマエンコーディングベクトルとの類似度が、特定の水準以上であるウェブ／アプリデザインレファレンスデータ（Ground Truth）の差からなる代表デザイン損失と、前記イメージテーマ判別ベクトル及び前記デザインデータの判別差を含むイメージテーマ判別損失と、前記テキストテーマ判別ベクトル及び前記デザインデータの判別差を含むテキストテーマ判別損失と、前記ＵＸ－ｂｉｔ属性に対する判別ベクトルであるＵＸ－ｂｉｔ属性判別ベクトル及び前記デザインデータの判別差を含むＵＸ－ｂｉｔ属性判別損失とが低減するように、前記デザイン生成モジューのパラメータをアップデートすることを特徴とする、ＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置を提供して達成できる。

また、前記デザイン生成モジュールと連結され、複数個のＦＣレイヤー（Fully Connected Layer）が連続的に連結された非線形構造のネットワークであり、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを組合せた（concatenate）結合ベクトルを入力データとし、テーマベクトル（theme vector）を出力データとして出力し、出力された前記テーマベクトルを前記デザイン生成モジュールのネットワーク内の複数のレイヤーに、スケール別に入力するモジュールである非線形ネットワークをさらに含み、前記デザイン生成モジュールは、入力データとして前記ＵＸ－ｂｉｔ属性が入力され、前記テーマベクトルが入力されるスケールのレイヤーにノイズベクトル（noise vector）が各々入力されることを特徴とする。

また、前記イメージテーマエンコーディングモジュールと連結され、前記イメージテーマデータを入力データとし、共通テーマセグメントデータを出力データとするモジュールである共通テーマセグメントモジュールをさらに含み、前記共通テーマセグメントモジュールの学習セッションでは、前記テキストテーマエンコーディングベクトル及び前記イメージテーマエンコーディングベクトルの類似度が増加するように、前記共通テーマセグメントモジュールのパラメータがアップデートされることを特徴とする。

また、前記ＵＸ－ｂｉｔ属性は、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を含み、前記ＵＸ－ｂｉｔ生成モジュールは、特定のＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数の前記ＵＸ構成要素を生成するモジュールであるＵＸ構成要素生成モジュールと、前記ＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を出力する人工神経網モジュールであるＲＮＮモジュールと、を含むことを特徴とする。

また、前記ＵＸ－ｂｉｔ属性は、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を含み、前記ＵＸ－ｂｉｔ生成モジュールは、特定のＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数の前記ＵＸ構成要素を生成するモジュールであるＵＸ構成要素生成モジュールと、前記ＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を出力する人工神経網モジュールであるＲＮＮモジュールと、を含み、前記ＲＮＮモジュールは、第１のＲＮＮセル及び第２のＲＮＮセルからなるＲＮＮブロックを基本単位とし、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを最初の入力データとし、前記第１のＲＮＮセルは、前記最初の入力データ又は以前のセルの出力データ及びＲＮＮ隠れ層情報の入力を受け、ｎ番目のＵＸ構成要素の前記ＵＸ－ｂｉｔ機能属性を出力し、前記第２のＲＮＮセルは、以前のセルの出力データである前記ＵＸ－ｂｉｔ機能属性及び前記ＲＮＮ隠れ層情報の入力を受け、前記第１のＲＮＮセルから出力されたｎ番目のＵＸ構成要素の前記ＵＸ－ｂｉｔ機能属性に対する前記ＵＸ－ｂｉｔデザイン属性を出力することを特徴とする。

また、前記ＵＸ－ｂｉｔ属性は、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を含み、前記ＵＸ－ｂｉｔ生成モジュールは、特定のＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数の前記ＵＸ構成要素を生成するモジュールであるＵＸ構成要素生成モジュールと、前記ＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を出力する人工神経網モジュールであるＲＮＮモジュールと、予め生成された全体のＵＸ構成要素の前記ＵＸ－ｂｉｔ属性、前記イメージテーマエンコーディングベクトル、前記テキストテーマエンコーディングベクトルをＥｎｖｉｒｏｎｍｅｎｔとし、前記ＲＮＮモジュールの前記ＲＮＮブロックをＡｇｅｎｔとし、１番目のＵＸ構成要素からｎ－１番目のＵＸ構成要素までの前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性に、仮想で前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を持つｎ番目のＵＸ構成要素を含んだ時の状況をＳｔａｔｅとし、このような前記Ｓｔａｔｅにおいて、前記Ａｇｅｎｔである前記ＲＮＮブロックが、ｎ番目のＵＸ構成要素に対して出力する前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をＡｃｔｉｏｎとし、出力データであるｎ番目のＵＸ構成要素の前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性と、比較情報との類似度が高いほど、高いＲｅｗａｒｄが生成されて、前記Ａｇｅｎｔである前記ＲＮＮブロックの隠れ層をアップデートするように構成される強化学習モジュールと、を含むことを特徴とする。

本発明の他の目的は、イメージテーマエンコーディングモジュールが、実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであるイメージテーマデータを入力データとして入力を受け、イメージテーマエンコーディングベクトルを出力データとして出力するイメージテーマエンコーディングステップと、テキストテーマエンコーディングモジュールが、前記実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するテキストであるテキストテーマデータを入力データとして入力を受け、テキストテーマエンコーディングベクトルを出力データとして出力するテキストテーマエンコーディングステップと、ＵＸ－ｂｉｔ生成モジュールが、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを入力データとして入力を受け、複数のＵＸ構成要素に対するＵＸ－ｂｉｔ属性を出力データとして出力するＵＸ－ｂｉｔ生成ステップと、デザイン生成モジュールが、前記イメージテーマエンコーディングベクトル、前記テキストテーマエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性を入力データとし、特定のウェブ／アプリグラフィックデザインを意味するデザインデータを出力データとして出力するデザイン生成ステップと、を含み、前記デザイン生成モジュールの学習セッションでは、前記デザインデータ、並びに、これに対応する予め保存されたウェブ／アプリデザインのうちで、前記イメージテーマエンコーディングベクトルとの類似度及び前記テキストテーマエンコーディングベクトルとの類似度が、特定の水準以上であるウェブ／アプリデザインレファレンスデータ（Ground Truth）の差からなる代表デザイン損失と、前記イメージテーマ判別ベクトル及び前記デザインデータの判別差を含むイメージテーマ判別損失と、前記テキストテーマ判別ベクトル及び前記デザインデータの判別差を含むテキストテーマ判別損失と、前記ＵＸ－ｂｉｔ属性に対する判別ベクトルであるＵＸ－ｂｉｔ属性判別ベクトル及び前記デザインデータの判別差を含むＵＸ－ｂｉｔ属性判別損失とが低減するように、前記デザイン生成モジュールのパラメータをアップデートすることを特徴とする、ＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網方法を提供して達成できる。

本発明の他の目的は、実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであるイメージテーマデータ、及び前記実務者が生成したい前記テーマを代表するテキストであるテキストテーマデータを、前記実務者から入力を受ける実務者クライアントと、前記実務者クライアントから前記イメージテーマデータ及び前記テキストテーマデータの入力を受け、前記イメージテーマデータ及び前記テキストテーマデータに対応するデザインデータを出力する請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置と、を含む、自動デザイン生成の人工神経網システムを提供して達成できる。

前述したように、本発明によれば、以下のような効果がある。

第一に、本発明の一実施例によれば、ＵＸ－ｂｉｔという新しい単位により、開発プロジェクトにおいてステップ別に進行しなければならない複数のステップを、一括で合意して結果物を導出することで、業務リソース及び時間の所要を著しく短縮することができる。

第二に、本発明の一実施例によれば、本発明は、プロジェクトのメンテナンス際に、ＵＸ－ｂｉｔを利用して、順次ではなく、一括でメンテナンスを行うことで、業務リソース及び時間の所要を短縮することができる。

本発明の添付図面は、本発明の好適な実施例を例示するものであり、発明の詳細な説明と共に、本発明の技術思想を一層理解させるためのものであるから、本発明は、そのような図面に記載された事項のみに限定して解析してはいけない。
既存のプロジェクト協業方法の進行を示す図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法を示すフローチャートである。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＵＸ－ｂｉｔの概念を説明するための図である。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＵＸ－ｂｉｔの概念を説明するための図である。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＵＸ－ｂｉｔの性質及びレベルの分類を示す図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。 ＩＡ（Information Architecture）の概念を説明する図である。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＩＡの配置及び連結ページを説明する図である。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のワイヤーフレームの構成ページを説明する図である。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法の検証ページを説明する図である。 本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法の検証ページを説明する図である。 本発明の一実施例に係る自動デザイン生成の人工神経網装置の作動関係を示す模式図である。 本発明の一実施例に係る自動デザイン生成の人工神経網装置の具体的な構成を示す模式図である。 本発明の一実施例に係るイメージテーマエンコーディングモジュール１０及びテキストテーマエンコーディングモジュール１１に含まれるＣｏｎｖＮｅｔ（ＣＮＮエンコーダ）の例を示す図である。 本発明の一実施例に係るイメージテーマエンコーディングモジュール１０及びテキストテーマエンコーディングモジュール１１に含まれるＣｏｎｖＮｅｔ（ＣＮＮエンコーダ）の例を示す図である。 本発明の一実施例に係るＵＸ－ｂｉｔ生成モジュール１２の具体的な構成を示す模式図である。 本発明の一実施例に係るＵＸ構成要素生成モジュール１２０を示す模式図である。 本発明の一実施例に係るＲＮＮモジュール１２１を示す模式図である。 本発明の一実施例に係る強化学習モジュール１２２を示す模式図である。 本発明の変形例に係る強化学習モジュール１２２を示す模式図である。 本発明の一実施例に係る強化学習モジュール１２２の動作例を示すフローチャートである。 本発明の一実施例に係るＵＸ－ｂｉｔ生成モジュール１２のＵＸ－ｂｉｔ属性の自動生成を示す模式図である。 本発明の一実施例に係るデザイン生成モジュール１５の構造を示す模式図である。 本発明の他の実施例に係るデザイン生成モジュール１５の作動関係を示す模式図である。 本発明の一実施例に係るデザイン生成モジュール１５のＳｋｉｐ ｃｏｎｎｅｃｔｉｏｎを示す模式図である。 本発明の他の実施例に係る共通テーマセグメントモジュール１０１を示す模式図である。

以下、添付図面に基づき、本発明が属する技術分野における通常の知識を有した者が、本発明を容易に実施できる実施例を詳細に説明する。ただし、本発明の好適な実施例に対する動作原理を詳細に説明する際に、本発明の要旨を不要に不明慮にする恐れがある場合、関連した公知の機能や構成に関する具体的な説明は省略する。

また、図面の全般に渡り、類似の機能及び作用を持つ部分に対しては、同じ図面符号を使用する。明細書の全般に渡り、特定の部分が他の部分と連結されるとすれば、これは、直接的に連結される場合だけでなく、他の素子を挟んで間接的に連結される場合も含む。また、特定の構成要素を含むとは、特に反対の記載がない限り、他の構成要素を排除するものでなく、他の構成要素をさらに含むこともできることを意味する。

本明細書で説明するコンピューティング装置は、ユーザとのインタラクションを通じて画像で表現される全ての媒体（単純な情報伝達でない）を含むことができる。例えば、デジタルＴＶ、デスクトップコンピュータ、携帯電話、スマートフォン（smart phone）、タブレットＰＣ、ラップトップコンピュータ（laptop computer）、デジタル放送用端末機、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、ＨＭＤ（Head Mounted Display）、ＡＲ ｃａｒｄ、ＨＵＤ（Heads Up Display）などを含むことができる。

オペレーティングシステム（Operating System;OS）は、コンピューティング装置のハードウェア及びソフトウェアを制御して、実務者のコンピューティング装置の利用を可能にするプログラムを意味する。オペレーティングシステムは、ハードウェア及び応用プログラム間のインタフェースの役割を果たすと同時に、プロセッサ、保存装置、入出力インタフェース装置などのようなコンピュータ資源を管理できる。例えば、オペレーティングシステムの種類としては、アンドロイド（Android）（登録商標）、ｉＯＳ、ウィンドウズ（Windows）（登録商標）、マック（Mac）、タイゼン（TIZEN）、ユニックス（Unix）（登録商標）及びリナックス（Linux）（登録商標）などを含むことができる。

応用プログラム（以下、「プログラム」という）は、実務者がデバイスを使用して特定の作業を遂行できるように開発されたソフトウェアを意味する。例えば、イメールプログラム、メッセンジャープログラム、スケジュール管理プログラム及び文書編集プログラムなどが挙げられる。また、プログラムは、特定の作業を遂行するのに必要な命令語等からなることができる。ここで、プログラムを構成する命令語等は、オペレーティングシステムの種類によって互いに異なることができる。

画面は、オペレーティングシステムによって定義できる。画面は、所定の範囲の座標を有する仮想の２次元領域であり得る。画面は、表示装置により表示され、実務者が表示装置を介して画面を視覚的に認識できる。画面の座標範囲は、表示装置の可用解像度別にオペレーティングシステムにより調節できる。画面の座標単位は、表示装置の画素の位置に対応できる。

いくつかのプログラムは、動作形態が画面上にオブジェクトとして表示されるように構成できる。一例として、いくつかのプログラムの動作形態は、画面上にオブジェクトとして「実行ウィンドウ」の形態で表示できる。例えば、実行ウィンドウとしては、文書編集プログラムの実行によって出力される文書編集ウィンドウ、及びウェブブラウザーアプリケーションの実行によって出力されるウェブブラウザーウィンドウなどを含むことができる。他の例として、いくつかのプログラムの動作形態は、画面上にオブジェクトとして「マウスカーソル（マウスやタッチパッドなどの動きに応じて視覚的に共に動くポインタであって、一般的に矢印の形状）」の形態で表示できる。例えば、マウスカーソル及びタッチポイントなどは、実務者の入力手段の感知に応じて、画面内で動くように表示できる。他のいくつかのプログラムは、画面に別に表示されず、バックグラウンド形態で動作するように構成することもできる。

複数のオブジェクトが画面に表示される場合、前記プログラム等の動作形態を示すオブジェクト等が既定のレベルによって表示され得る。例えば、オペレーティングシステムには、画面上に、第１のプログラムに対応する第１のオブジェクトを表示する領域が、第２のプログラムに対応する第２のオブジェクトを表示する領域と重畳する場合、重畳領域に第１のオブジェクトが第２のオブジェクトよりも優先的に表示されるように設定できる。

ＵＸ－ｂｉｔを利用した開発プロジェクト協業方法
本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、コンピューティング装置が遂行したり、コンピューティング装置がプログラムを実行して遂行したりできる。

以下、添付図面に基づいて本発明の実施例を詳細に説明する。図面上の同一の構成要素に対しては、同一又は類似の参照符号を使用する。

図３及び図４は、本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＵＸ－ｂｉｔの概念を説明するための図である。

図３及び図４に示すように、ＵＸ－ｂｉｔは、プロジェクトを開発する過程においてＵＸを構成する最小単位を定義するものであり得る。

ＵＸ－ｂｉｔは、関連した主題やカテゴリによって分類及びタグ付けを行うことができる。ＵＸ－ｂｉｔは、タグ付けを行った主題やカテゴリによって分類して、データベースに保存できる。ＵＸ－ｂｉｔは、他のＵＸ－ｂｉｔと結合して一つの産出物を構成できる。コンピューティング装置は、ＵＸ－ｂｉｔが結合した産出物を視角化して画面に出力できる。

ＵＸ－ｂｉｔは、機能定義書、ＩＡ（Information Architecture）、ワイヤーフレーム、デザイン及びプログラミングのステップに区分された情報を含むことができる。ＵＸ－ｂｉｔは、ＵＸを構成する要素の最小単位であって、カラー、位置、レイアウトなどを含むことができる。

本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、ＵＸ－ｂｉｔをステップ別の演算が並列的に行われることで、産出物を一度に確認できる。

機能定義書は、サービスを新規に作ったりリニューアルしたりする際に、プロジェクトで取り扱うべき機能が何か、目的は何か、どのようなデータを活用するか、要求される技術イッシュは何か等をリストアップした情報である。機能定義書は、プロジェクトに含まれる機能、機能の具現方法、機能の作動方法の情報を含むことができる。機能定義書は、機能別業務シナリオ、サービス構築時の予想機能、要求事項、細部機能及び適用領域を含むことができる。

ＩＡ（Information Architecture）は、サービスがどのような構造から構成されるか、どのような機能があるか、どのような役割を遂行するか、どのような画面で見られるかを全体的に示す構造情報である。ＩＡは、実務者とサービスの相互作用を円滑にすることで、実務者が所望の情報を迅速かつ容易に探すことができ、企画者、デザイナ及び実務者が考えるサービスの全体的なイメージを一致させるために必要な構造情報を含むことができる。

ＩＡ は、Ｄｅｐｔｈ、ｌａｂｅｌｉｎｇ及びｆｌｏｗを含むことができる。

ワイヤーフレームは、ビジュアル・デザインの前段階で、代表的な画面等に表示されるコンテンツ、機能、ＵＩ要素、レイアウトを概略的に要約して示す画面設計図を意味できる。

ワイヤーフレームは、ＵＩ／ＵＸデザインの方向性を定めるために、機能構造をインタフェースの機能としてどのように変換すべきかを示す情報を含むことができる。

ワイヤーフレームは、ロゴ、メニュー、イメージ、テキスト、ボタンなどの各領域別のサイズ及び配置を含むことができる。

デザインは、ワイヤーフレームに基づいてデザイン要素（カラー、タイポグラフィー、イメージ）に加えて、実際に具現する画面を視覚的に示すＰＳＤ、ＸＤ文書、又はスキーマやツェッペリンのようなＵＸデザイン結果物として産出できるフォーマットを含むことができる。

デザインは、開発前に企画したサービスを実際のビジュアル・デザインとして確認することで、視覚的な問題点を補完できる情報を含むことができる。

デザインは、アクションを含む各機能別の実際の画面のデータを含むことができる。

プログラミングは、視覚的に企画したデザインを実際のサービスとして実現させるコード作業情報を含むことができる。プログラミングにより企画したサービスを実現して技術を検討することができる。プログラミングは、サービス開発言語及びサービス開発言語で具現されたコードを含むことができる。

図５は、本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＵＸ－ｂｉｔの性質及びレベルの分類を示す図である。

図５に示すように、ＵＸ－ｂｉｔは、性質によって機能ＵＸ－ｂｉｔ及びデザインＵＸ－ｂｉｔに分類できる。ＵＸ－ｂｉｔは、各性質によって複数のレベルに分類できる。

機能ＵＸ－ｂｉｔは、単語単位を含む１レベル、単語組合せを含む２レベル、概念のグループを含む３レベル、位階情報を含む４レベル、領域情報を含む５レベル、画面情報を含む６レベル、コードを含む７レベル、及び完成されたサービスを含む８レベルに区分できる。

機能ＵＸ－ｂｉｔの１レベルの単語単位は、機能の概念に関する単語情報を含むことができる。２レベルの単語組合せは、複合概念（合成語、単語＋単語）で示す機能を含むことができる。３レベルの概念のグループは、一定基準によって概念をグループ化して分類した情報を含むことができる。４レベルは、概念又はグループ間の位階に関する情報を含むことができる。５レベルは、概念、グループ及び位階による領域情報を含むことができる。６レベルは、画面に表示される領域、ターゲット及び目的からなるワイヤーフレーム情報を含むことができる。７レベルは、当該機能を具現するためのコードを含むことができる。８レベルは、具現された機能等の組合せにより完成されたサービスを含むことができる。

デザインＵＸ－ｂｉｔは、造形属性を含む１レベル、造形属性の値を含む２レベル、造形属性及び値の組合せを含む３レベル、属性組合せのグループを含む４レベル、デザインランゲージを含む５レベル、画面情報を含む６レベル、パブリッシング情報を含む７レベルに分類できる。

デザインＵＸ－ｂｉｔの１レベルの造形属性は、テキスト、イメージ、カラー、様態及びサイズの情報を含むことができる。２レベルの造形属性の値は、テキスト＿フォント、カラー、サイズ及び太さを含むことができる。３レベルの造形属性及び値の組合せは、デザインの目的情報を含むことができる。４レベルの属性組合せのグループは、視覚的に見られるスタイルを含むことができる。５レベルのデザインランゲージは、コンセプト及び雰囲気情報を含むことができる。６レベルの画面情報は、ＰＳＤ、ＸＤ文書、又はスキーマやツェッペリンのようなＵＸデザイン結果物から産出されるフォーマットを含むことができる。７レベルのパブリッシング情報は、ＨＴＭＬ及びＣＳＳ情報を含むことができる。

本発明の一実施例によれば、機能ＵＸ－ｂｉｔで検索機能を生成する場合、１レベルにおいて検索関連ＵＸ－ｂｉｔを検討し、２レベルにおいて自動検索関連ＵＸ－ｂｉｔを検討し、３レベルにおいて検索機能の範囲を検討し、４レベルにおいて検索及び結果の位階を決定し、５レベルにおいて検索及び検索結果の位置を決定し、６レベルにおいて検索及び検索結果のワイヤーフレームを決定し、７レベルにおいて検索機能のためのプログラム言語を検討し、８レベルにおいて完成された検索機能を生成することができる。

本発明の一実施例によれば、デザインＵＸ－ｂｉｔでページの題目領域にテキストを入力する場合、１レベルにおいてテキスト内容を検討し、２レベルにおいてフォント、カラー、サイズ及び太さを検討し、３レベルにおいて題目を検討し、４レベルにおいて形態を検討し、５レベルにおいて細部デザインの雰囲気を検討し、６レベルにおいてデザイン要素が適用されたＰＳＤファイルを検討し、７レベルにおいてＰＳＤ形式を変換するパブリッシングコードを検討し、機能ＵＸ－ｂｉｔの７レベル結果と組合せて完成された検索機能を生成することができる。

図２は、本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法を示すフローチャート、図６乃至図１３は、本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のシステムがデータ処理を遂行する方式を説明する図である。

図２乃至図１０に示すように、本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、プロジェクト目標の入力を受けるステップ（Ｓ１１０）と、プロジェクト目標を達成するための細部課業の入力を受けるステップ（Ｓ１２０）と、プロジェクト目標及び細部課業で合意された内容を、統合された機能定義書にＵＸ－ｂｉｔとして整理するステップ（Ｓ１３０）と、を含むことができる。

Ｓ１１０ステップにおいて、コンピューティング装置は、実務者からプロジェクト目標の入力を受けることができる。

Ｓ１１０ステップにおいて、プロジェクト目標は、プロジェクトが目標とする価値、プロジェクト期間、投入人材、投入インフラ装備などのようなリソースを含むことができる。

Ｓ１２０ステップにおいて、コンピューティング装置は、実務者からプロジェクト目標を達成するための細部課業の入力を受けることができる。コンピューティング装置は、プロジェクト目標が複数である場合、目標別に細部課業の入力を受けることができる。

Ｓ１２０ステップにおいて、遂行計画書ＵＸ－ｂｉｔ ＤＢから、実務者が入力したプロジェクト目標を達成するための細部課業の入力を受けることができる。

Ｓ１３０ステップにおいて、コンピューティング装置は、プロジェクト目標及び細部課業で合意された内容を、統合された機能定義書にＵＸ－ｂｉｔとして整理できる。

Ｓ１３０ステップにおいて、コンピューティング装置は、遂行計画書ＵＸ－ｂｉｔ ＤＢ又は機能定義書ＵＸ－ｂｉｔ ＤＢの少なくとも一つ以上に保存されたデータを利用して、プロジェクト目標及び細部課業で合意された内容をＵＸ－ｂｉｔとして整理できる。

図１４は、ＩＡ（Information Architecture）の概念を説明する図である。

図１４に示すように、ＩＡの構造のＤｅｐｔｈを視覚的に区分でき、当該構造にラベリング（labeling）してどのような情報がどこに位置するかを確認でき、各情報の流れを矢印で表示してＩＡを確認できる。

本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、機能定義書に基づいてＵＸ－ｂｉｔを組合せて、ＩＡ（Information Architecture）要素を配置するステップ（Ｓ１４０）を含むことができる。

Ｓ１４０ステップにおいて、コンピューティング装置は、実務者等が定めた機能定義書から、開発するプログラムの機能、ＩＡ（Information Architecture）、ワイヤーフレーム、デザイン及びプログラミングの情報を抽出できる。コンピューティング装置は、機能定義書で定めた内容に基づいてＩＡ要素等を配置できる。

Ｓ１４０ステップにおいて、コンピューティング装置は、機能定義書ＵＸ－ｂｉｔ ＤＢ又はＩＡ ＵＸ－ｂｉｔ ＤＢの少なくとも一つ以上に保存されたデータを利用して、ＩＡ要素を機能定義書により決定された位置に配置できる。

コンピューティング装置は、機能定義書から抽出した単語をキーワードとしてＵＸ－ｂｉｔを検索して、ＩＡ要素を配置できる。

コンピューティング装置は、実務者がドラッグアンドドロップにより入力した結果を反映して、ＩＡ要素の配置を修正できる。

本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、コンピューティング装置が実務者又は機能定義書から単語の入力を受けることができる。コンピューティング装置は、実務者が入力したり、機能定義書から抽出したりした単語と関連したキーワードを探すことができる。コンピューティング装置は、当該単語と類似しているキーワードまたは関連性のあるキーワードを検索して提供できる。コンピューティング装置は、キーワードをラベリングして保存できる。キーワードは、類似単語又は関連性のある単語とラベリングされる。キーワードは、ラベリングされた単語が検索語として入力される場合、当該実務者が選択できるキーワードとして露出される。キーワードは、ラベリングされた単語が検索語として入力されて露出されて選択された比率により、連関性を確率情報として含むことができる。当該実務者は、コンピューティング装置の画面に表示されたキーワードを選択できる。

Ｓ１４０ステップは、機能定義書に基づいて少なくとも一つ以上のＩＡオプションを提示するステップと、ＩＡ要素の位置及び連結関係を編集する編集ページを提供するステップと、を含むことができる。

ＩＡ要素の編集ページ提供ステップは、ドラッグアンドドロップされたＩＡ要素を配置するステップと、配置されたＩＡ要素をレベル又は位階によって線で連結するステップと、配置及び連結されたＩＡ要素を実務者の選択によって修正するステップと、ワイヤーフレームのレイアウトの選択及びカスタムによって発生するＩＡ要素の配置変化を、当該配置及び連結されたＩＡ要素に反映するステップと、を含むことができる。

図１５は、本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のＩＡの配置及び連結ページを説明する図である。

図１５に示すように、実務者は、ＩＡの配置及び連結ページからＵＸ－ｂｉｔをドラッグアンドドロップして、ＩＡを作成できる。実務者がドラッグアンドドロップによりＩＡ要素を移動させてＩＡを作成すれば、ＩＡ要素の位階などの情報によってＩＡ要素を連結して流れを形成し、ＩＡを完成できる。実務者が完成されたＩＡからＩＡ要素を長押しすれば、修正、削除及びコピーが可能である。

本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、確定されたＩＡ要素に基づいて、ワイヤーフレーム（Wireframe）を構成するステップ（Ｓ１５０）を含むことができる。

Ｓ１５０ステップにおいて、コンピューティング装置は、Ｓ１４０ステップにおいて配置されたＩＡ要素に基づいてワイヤーフレームを構成できる。

Ｓ１５０ステップにおいて、ワイヤーフレーム構成ステップは、配置及び連結されたＩＡ要素に基づいて、複数のワイヤーフレームのレイアウトを提示するステップと、実務者の選択を反映して、ワイヤーフレームのレイアウトを選択及びカスタムするステップと、を含むことができる。

Ｓ１５０ステップにおいて、コンピューティング装置は、機能定義書ＵＸ－ｂｉｔ ＤＢ、ＩＡ ＵＸ－ｂｉｔ ＤＢ及びワイヤーフレームＵＸ－ｂｉｔ ＤＢの少なくとも一つ以上に保存されたデータを利用して、ワイヤーフレームをＩＡ要素の配置によって構成できる。

図１６は、本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法のワイヤーフレームの構成ページを説明する図である。

図１６に示すように、本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、以前のステップで確定されたＩＡに基づいて、ワイヤーフレームのレイアウトを提示できる。

提示されたワイヤーフレームのレイアウトから、実務者の選択及びカスタム内容を反映して、ワイヤーフレームのレイアウトを変更できる。実務者は、ドラッグやクリックなどの簡単な操作によりワイヤーフレームのレイアウトを変更できる。実務者の選択に応じて、ワイヤーフレームのレイアウトを選択及びカスタムするステップにおいて、複数の画面（ＵＮＩＴ）のワイヤーフレームのレイアウトを変更できる。本発明の一実施例によれば、ワイヤーフレームのレイアウトを画面（ＵＮＩＴ）別に修正及び変更し、一つの画面（ＵＮＩＴ）の修正及び変更が完了した場合、ＩＡ上に連結された次の画面（ＵＮＩＴ）の修正及び変更のためのページに移動できる。

本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、コンピューティング装置がプロジェクトと関連したキーワードを検出できる。コンピューティング装置は、抽出されたキーワードに基づいてＵＸ－ｂｉｔを検索して提示できる。検索されたＵＸ－ｂｉｔのうちで、実務者が選択したＵＸ－ｂｉｔを、ＩＡの配置及び連結ページに転送できる。

本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、確定されたワイヤーフレームに基づいて、構成ページをデザインするステップ（Ｓ１６０）を含むことができる。

Ｓ１６０ステップにおいて、実務者が選択したデザインＵＸ－ｂｉｔをＩＡの配置及び連結ページに基づいて組合せて、構成ページをデザインすることができる。

Ｓ１６０ステップにおいて、構成ページデザインステップは、デザインオプションをデザインＵＸ－ｂｉｔレベル順に提示するステップと、実務者の選択を反映してデザインオプションを修正するステップと、作成されたデザインＵＸ－ｂｉｔのオプションをパブリッシングＵＸ－ｂｉｔとして保存及び管理するステップと、を含むことができる。

Ｓ１６０ステップは、保存されたパブリッシングＵＸ－ｂｉｔと開発言語の関連性を検討するステップをさらに含むことができる。

Ｓ１６０ステップにおいて、コンピューティング装置は、機能定義書ＵＸ－ｂｉｔ ＤＢ、ＩＡ ＵＸ－ｂｉｔ ＤＢ、ワイヤーフレームＵＸ－ｂｉｔ ＤＢ及びデザインＵＸ－ｂｉｔ ＤＢの少なくとも一つ以上に保存されたデータを利用して構成されたワイヤーフレームのデザインを構成できる。

Ｓ１６０ステップは、デザインオプションをデザインＵＸ－ｂｉｔレベル順に提示するステップと、実務者の選択を反映してデザインのオプションを修正するステップと、作成されたデザインＵＸ－ｂｉｔのオプションをパブリッシングＵＸ－ｂｉｔとして保存及び管理するステップと、を含むことができる。

図８及び図９に示すように、デザインＵＸ－ｂｉｔのオプションをパブリッシングＵＸ－ｂｉｔとして保存及び管理するステップは、機能定義書ＵＸ－ｂｉｔ ＤＢ、ＩＡ ＵＸ－ｂｉｔ ＤＢ、ワイヤーフレームＵＸ－ｂｉｔ ＤＢ及びデザインＵＸ－ｂｉｔ ＤＢの少なくとも一つ以上に保存されたデータを利用して構成されたワイヤーフレームのデザインを構成して、パブリッシングＵＸ－ｂｉｔ ＤＢに保存できる。

本発明の実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、ＵＸ－ｂｉｔの結合により構成された構成ページを検証する検証ページを提供するステップ（Ｓ１７０）を含むことができる。

Ｓ１７０ステップにおいて、コンピューティング装置は、構成ページで組合せたＵＸ－ｂｉｔの結合により構成された画面を検証するページを提供できる。

Ｓ１７０ステップは、画面に選択及びカスタムされたワイヤーフレームのレイアウトにデザインを適用して出力するステップと、実際のユーザ環境と同様の環境でシミュレーションするステップを含むステップと、を含むことができる。

実際のユーザ環境と同様の環境でシミュレーションするステップは、画面の少なくとも一部にコントローラを出力するステップと、コントローラに入力される実務者の入力によってプロジェクトの駆動を具現するステップと、を含むことができる。

実務者が画面をタッチすれば、コントローラが画面の少なくとも一部に出力され得る。

コントローラが表示されることは、Ｔコマースの場合の一例であるだけで、状況に応じてマウスカーソル、モバイル画面構成などが出力されて、実際のユーザ環境と同様の環境でシミュレーションを遂行できる。

図１７及び図１８は、本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法の検証ページを説明する図である。

図１７及び図１８に示すように、実務者が以前の段階で確定したワイヤーフレームに基づいてデザインを適用したサービスページが画面に出力され得る。実務者は、サービスページでコントローラを操作して、実際にプログラムが正常作動するか否かを確認できる。

本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの少なくとも一つ以上に修正内容が発生すれば、プロジェクトの全体から、プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの当該修正内容が反映されることを同時に修正するステップ（Ｓ１８０）を含むことができる。

Ｓ１８０ステップにおいて、コンピューティング装置は、プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの少なくとも一つ以上に実務者の入力により修正内容が発生すれば、プロジェクトの全体から、プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの当該修正内容が反映されることを同時に修正できる。

Ｓ１８０ステップにおいて、コンピューティング装置は、機能定義書ＵＸ－ｂｉｔ ＤＢ、ＩＡ ＵＸ－ｂｉｔ ＤＢ、ワイヤーフレームＵＸ－ｂｉｔ ＤＢ、デザインＵＸ－ｂｉｔ ＤＢ及びパブリッシングＵＸ－ｂｉｔ ＤＢの少なくとも一つ以上に保存されたデータを利用してプロジェクトに修正内容が発生する場合、機能定義書、ＩＡ、ワイヤーフレーム、デザイン及びパブリッシングパートを一括で修正できる。

本発明の一実施例に係るＵＸ－ｂｉｔを利用した開発プロジェクト協業プログラムは、所定の周期ごとにオペレーティングシステムにより定義された画面を制御するＵＸ－ｂｉｔを利用した開発プロジェクト協業方法を遂行する命令語から構成される。ここで、ＵＸ－ｂｉｔを利用した開発プロジェクト協業方法は、プロジェクト目標の入力を受けるステップと、プロジェクト目標を達成するための細部課業の入力を受けるステップと、プロジェクト目標及び細部課業で合議された内容を、統合された機能定義書にＵＸ－ｂｉｔとして整理するステップと、機能定義書に基づいてＵＸ－ｂｉｔを組合せて、ＩＡ（Information Architecture）要素を配置するステップと、ＩＡ要素に基づいてワイヤーフレーム（Wireframe）を構成するステップと、ワイヤーフレームに基づいて構成ページをデザインするステップと、ＵＸ－ｂｉｔの結合により構成された構成ページを検証する検証ページを提供するステップと、プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの少なくとも一つ以上に修正内容が発生すれば、プロジェクトの全体から、プロジェクト目標、細部課業、ＵＸ－ｂｉｔ、ＩＡ要素、ワイヤーフレーム及びデザインの当該修正内容が反映されることを同時に修正するステップと、を含むことができる。

ＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置及び方法
図１９は、本発明の一実施例に係る自動デザイン生成の人工神経網装置の作動関係を示す模式図、図２０は、本発明の一実施例に係る自動デザイン生成の人工神経網装置の具体的な構成を示す模式図である。図１９及び図２０に示すように、本発明の一実施例に係る自動デザイン生成の人工神経網装置１は、イメージテーマデータ１００及びテキストテーマデータ２００を入力データとして入力を受け、デザインデータ３００を出力データとして実務者クライアントに出力するように構成される。

イメージテーマデータ１００は、実務者が自動デザイン生成の人工神経網装置１により生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであって、実務者の選択に応じて、実務者クライアントから自動デザイン生成の人工神経網装置１に入力されるように構成できる。

テキストテーマデータ２００は、実務者が自動デザイン生成の人工神経網装置１により生成したいウェブ／アプリグラフィックデザインのテーマを代表するテキストであって、実務者の入力に応じて、実務者クライアントから自動デザイン生成の人工神経網装置１に入力されるように構成できる。

デザインデータ３００は、自動デザイン生成の人工神経網装置１により生成された特定のページに対するウェブ／アプリグラフィックデザインを意味する。

イメージテーマエンコーディングモジュール１０は、イメージテーマデータ１００を入力データとし、イメージテーマエンコーディングベクトルを出力データとするエンコーディングモジュールである。本発明の一実施例に係るイメージテーマエンコーディングモジュール１０は、ＣｏｎｖＮｅｔ（ＣＮＮエンコーダ）で構成できる。

テキストテーマエンコーディングモジュール１１は、テキストテーマデータ２００を入力データとし、テキストテーマエンコーディングベクトルを出力データとするエンコーディングモジュールである。本発明の一実施例に係るテキストテーマエンコーディングモジュール１１は、例えば、テキストテーマデータ２００を音素単位に分節して入力データとし、Ｓｉｎｇｌｅ ｌａｙｅｒ Ｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ＲｅＬＵ－Ｍａｘ Ｐｏｏｌｉｎｇ ｗｉｔｈ Ｓｔｒｉｄｅ５＝Ｓｅｇｍｅｎｔ Ｅｍｂｅｄｄｉｎｇｓ－Ｆｏｕｒ ｌａｙｅｒ Ｈｉｇｈｗａｙ Ｎｅｔｗｏｒｋ－Ｓｉｎｇｌｅ ｌａｙｅｒ Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＧＲＵの構造を有する人工神経網で構成されたエンコーディングモジュールを意味できる。

図２１及び図２２は、本発明の一実施例に係るイメージテーマエンコーディングモジュール１０及びテキストテーマエンコーディングモジュール１１に含まれるＣｏｎｖＮｅｔ（ＣＮＮエンコーダ）の例を示す図である。図２１及び図２２に示すように、簡単なＣｏｎｖＮｅｔを例示すれば、［ＩＮＰＵＴ－ＣＯＮＶ－ＲＥＬＵ－ＰＯＯＬ－ＦＣ］で構築できる。入力ベクトルの場合、ＩＮＰＵＴ入力マトリックスが横３２、縦３２、そしてＲＧＢチャンネルを有するとき、入力の大きさは［３２×３２×３］で構成できる。ＣＯＮＶレイヤー（Conv. Filter）は、入力マトリックスの一部領域と連結され、この連結された領域と自分の加重値とのドット積（dot product）を計算することになる。結果ボリュームは［３２×３２×１２］のような大きさを有することになる。ＲＥＬＵレイヤーは、ｍａｘ（０、ｘ）のように各要素に適用される活性化関数（activation function）である。 ＲＥＬＵレイヤーは、ボリュームの大きさを変化させない（［３２×３２×１２］）。その結果、Ａｃｔｉｖａｔｉｏｎ Ｍａｐ１を生成する。ＰＯＯＬレイヤー（pooling）は、「横、縦」次元に対してダウンサンプリング（downsampling）を遂行し、［１６×１６×１２］ のように低減したボリューム（Ａｃｔｉｖａｔｉｏｎ Ｍａｐ２）を出力する。ＦＣ（fully-connected）レイヤーは、クラス点数を計算して、［１×１×ｎ］の大きさを有する圧力分布ベクトルボリューム（output layer）を出力する。ＦＣレイヤーは、以前のボリュームの全ての要素と連結される。

このように、イメージテーマエンコーディングモジュール１０及びテキストテーマエンコーディングモジュール１１に含まれるＣｏｎｖＮｅｔは、ピクセル値からなる原本マトリックスを、各レイヤーを経て分布に対するクラス点数に変換（transform）させる。あるレイヤーはパラメータ（parameter）を有するが、あるレイヤーはパラメータを有しない。特に、ＣＯＮＶ／ＦＣレイヤー等は、単純に入力ボリュームだけでなく、加重値（weight）及びバイアス（bias）も含む活性化関数である。反面、ＲＥＬＵ／ＰＯＯＬレイヤー等は固定された関数である。ＣＯＮＶ／ＦＣレイヤーのパラメータ（parameter）等は、各マトリックスに対するクラス点数が当該マトリックスのレベルと同一になるように、最急降下法（gradient descent）により学習される。

イメージテーマエンコーディングモジュール１０及びテキストテーマエンコーディングモジュール１１に含まれるＣｏｎｖＮｅｔのＣＯＮＶレイヤーのパラメータ（parameter）等は、一連の学習可能なフィルタ等からなる。各フィルタは、横／縦の次元では小さいが、深さ（depth）の次元では全体の深さを含む。フォワードパス（forward pass）時には、各フィルタを入力ボリュームの横／縦の次元にスライドさせ（正確には畳み込み（convolve））、２次元のＡｃｔｉｖａｔｉｏｎ Ｍａｐを生成する。フィルタを入力の上にスライドさせる時、フィルタ及び入力ボリューム間でドット積が行われる。このような過程により、ＣｏｎｖＮｅｔは、入力データの特定位置の特定パターンに対して反応する（activate）フィルタを学習することになる。このようなＡｃｔｉｖａｔｉｏｎ Ｍａｐを深さ（depth）の次元で累積させるものが出力ボリュームになる。したがって、出力ボリュームの各要素は入力の小領域のみを取扱い、同じＡｃｔｉｖａｔｉｏｎ Ｍａｐ内のニューロン等は同じフィルタを適用した結果であるから、同じパラメータ等を共有する。

イメージテーマエンコーディングモジュール１０及びテキストテーマエンコーディングモジュール１１に含まれるＣｏｎｖＮｅｔに用いられるネットワーク構造等の例示は、次の通りである。

ＬｅＮｅｔ．最初の成功したＣｏｎｖＮｅｔアプリケーションは、１９９０年代にＹａｎｎＬｅＣｕｎが作った。なかでも、ｚｉｐコードや数字を読み込むＬｅＮｅｔアーキテクチャが最も有名である。

ＡｌｅｘＮｅｔ．コンピュータビジョン分野でＣｏｎｖＮｅｔを有名にしたことは、Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ、Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ、Ｇｅｏｆｆ Ｈｉｎｔｏｎが作ったＡｌｅｘＮｅｔである。ＡｌｅｘＮｅｔは、２０１２年のＩｍａｇｅＮｅｔ ＩＬＳＶＲＣ ｃｈａｌｌｅｎｇｅのコンテストにおいて、大きい差で二位を抜いて優勝した（ｔｏｐ５エラー率１６％、二位は２６％）。アーキテクチャは、ＬｅＮｅｔと基本的に類似しているが、より深くて大きい。また、一つのＣＯＮＶレイヤーの後にすぐＰＯＯＬレイヤーを積層していた過去とは異なり、多数のＣＯＮＶレイヤーを積層する方式により構成した。

ＺＦＮｅｔ．２０１３年のＩＬＳＶＲＣの勝者は、Ｍａｔｔｈｅｗ Ｚｅｉｌｅｒ及びＲｏｂ Ｆｅｒｇｕｓが作った。著者等の名前を取ってＺＦＮｅｔとして呼ばれる。ＡｌｅｘＮｅｔにおいて中間ＣＯＮＶレイヤーの大きさを調整する等、ハイパーパラメータを修正して作った。

ＧｏｏｇＬｅＮｅｔ．２０１４年のＩＬＳＶＲＣの勝者は、Ｓｚｅｇｅｄｙ ｅｔ ａｌ．がグーグルで作った。このモデルの最大の寄与は、パラメータ数が大きく減るＩｎｃｅｐｔｉｏｎ ｍｏｄｕｌｅを提案したことである（４Ｍ、ＡｌｅｘＮｅｔの場合６０Ｍ）。また、ＣｏｎｖＮｅｔの最後にＦＣレイヤーの代わりに、Ａｖｅｒａｇｅプーリングを使用して、あまり重要でないパラメータが大きく減ることになる。

ＶＧＧＮｅｔ．２０１４年のＩＬＳＶＲＣで二位を獲得したネットワークは、Ｋａｒｅｎ Ｓｉｍｏｎｙａｎ及びＡｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎが作ったＶＧＧＮｅｔとして呼ばれるモデルである。このモデルの最大の寄与は、ネットワークの深さが性能の向上に非常に重要な要素であることを知らしめたことである。これらが提案した多数のモデルのうちで最も良いものは、１６個のＣＯＮＶ／ＦＣレイヤーからなり、全ての畳み込みが３×３、全てのプーリングが２×２のみから構成される。ＧｏｏｇＬｅＮｅｔよりもマトリックス分類性能は若干低いが、様々なＴｒａｎｓｆｅｒ Ｌｅａｒｉｎｇ課題でより高性能を有することが以後に知られた。よって、ＶＧＧＮｅｔは、最近にマトリックスｆｅａｔｕｒｅ抽出のために最も多く使用されている。ＶＧＧＮｅｔの短所は、多すぎるメモリを使用し（１４０Ｍ）、多い演算量を必要とするというものである。

ＲｅｓＮｅｔ．Ｋａｉｍｉｎｇ Ｈｅ ｅｔ ａｌ．が作ったＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋが２０１５年のＩＬＳＶＲＣで優勝した。Ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎという特異な構造を用いて、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎを多く使用するという特徴がある。このアーキテクチャは、最後のレイヤーでＦＣレイヤーを使用しない。

特に、イメージテーマエンコーディングモジュール１０は、以下のような構造の人工神経網を含むように構成できる。

［５５×５５×９６］ＣＯＮＶ１：９６＠ １１×１１、ｓｔｒｉｄｅ＝４、ｐａｒａｍｅｔｅｒ＝０
［２７×２７×９６］ＭＡＸ ＰＯＯＬ１：３×３、ｓｔｒｉｄｅ＝２
［２７×２７×２５６］ＣＯＮＶ２：２５６＠ ５×５、ｓｔｒｉｄｅ＝１、ｐａｒａｍｅｔｅｒ＝２
［１３×１３×２５６］ＭＡＸ ＰＯＯＬ２：３×３、ｓｔｒｉｄｅ＝２
［１３×１３×３８４］ＣＯＮＶ３：３８４＠ ３×３、ｓｔｒｉｄｅ＝１、ｐａｒａｍｅｔｅｒ＝１
［１３×１３×３８４］ＣＯＮＶ４：３８４＠ ３×３、ｓｔｒｉｄｅ＝１、ｐａｒａｍｅｔｅｒ＝１
［１３×１３×２５６］ＣＯＮＶ５：２５６＠ ３×３、ｓｔｒｉｄｅ＝１、ｐａｒａｍｅｔｅｒ＝１
［６×６×２５６］ ＭＡＸ ＰＯＯＬ３：３×３、ｓｔｒｉｄｅ＝２
［４０９６］ＦＣ６：４０９６ ｎｅｕｒｏｎｓ
［４０９６］ＦＣ７：４０９６ ｎｅｕｒｏｎｓ
ここで、ＣＯＮＶはＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ、ＭＡＸ ＰＯＯＬはＰｏｏｌｉｎｇ Ｌａｙｅｒ、ＦＣはＦｕｌｌｙ Ｃｏｎｎｅｃｔｉｅｄ Ｌａｙｅｒを意味する。

ＵＸ－ｂｉｔ生成モジュール１２は、イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルを入力データとし、自動デザイン生成の人工神経網装置１で生成するデザインに対するＵＸ－ｂｉｔのＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を出力データとするモジュールである。図２３は、本発明の一実施例に係るＵＸ－ｂｉｔ生成モジュール１２の具体的な構成を示す模式図である。図２３に示すように、ＵＸ－ｂｉｔ生成モジュール１２は、ＵＸ構成要素生成モジュール１２０、ＲＮＮモジュール１２１及び強化学習モジュール１２２を含むように構成できる。

ＵＸ構成要素生成モジュール１２０は、特定のＵＸ構成要素に対して、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数のＵＸ構成要素を生成するモジュールである。より具体的には、特定のＵＸ構成要素に対して、ＵＸ－ｂｉｔ機能属性の組合せ（以下、ＵＸ－ｂｉｔ機能属性という）及びＵＸ－ｂｉｔデザイン属性の組合せ（以下、ＵＸ－ｂｉｔデザイン属性という）をマッチングできるように、複数のＵＸ構成要素を生成するモジュールである。図２４は、本発明の一実施例に係るＵＸ構成要素生成モジュール１２０を示す模式図である。図２４に示すように、ＵＸ構成要素生成モジュール１２０は、特定のＵＸ構成要素に対して、ＵＸ－ｂｉｔ機能属性／ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数のＵＸ構成要素を生成するように構成でき、ＲＮＮモジュール１２１により、特定のＵＸ構成要素に対して、複数のＵＸ－ｂｉｔ属性の少なくとも一つのＵＸ－ｂｉｔ属性が選択されて、ＵＸ－ｂｉｔ属性がマッチングされた新規のＵＸ構成要素を連続的に生成するように構成できる。

ＲＮＮモジュール１２１は、予め生成されたＵＸ構成要素に対して、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の組合せ（以下、ＵＸ－ｂｉｔデザイン属性という）をマッチングする複数のＲＮＮブロック（複数のＲＮＮブロックは、第１のＲＮＮセル及び第２のＲＮＮセルを含む）を含む人工神経網モジュールであって、イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルを最初の入力データとし、第１のＲＮＮセルは、最初の入力データ又は以前のセルの出力データ及びＲＮＮ隠れ層情報の入力を受け、ｎ番目のＵＸ構成要素のＵＸ－ｂｉｔ機能属性（ＵＸ－ｂｉｔ機能属性の特定組合せ）を出力し、第２のＲＮＮセルは、以前のセルの出力データであるＵＸ－ｂｉｔ機能属性及びＲＮＮ隠れ層情報の入力を受け、第１のＲＮＮセルで出力されたｎ番目のＵＸ構成要素のＵＸ－ｂｉｔ機能属性に対するＵＸ－ｂｉｔデザイン属性（ＵＸ－ｂｉｔデザイン属性の特定組合せ）を出力するように構成できる。

図２５は、本発明の一実施例に係るＲＮＮモジュール１２１を示す模式図である。図２５に示すように、本発明の一実施例に係るＲＮＮモジュール１２１は、複数個のＲＮＮブロックからなり、一つのＲＮＮブロックは、第１のＲＮＮセル及び第２のＲＮＮセルを含むことができる。図７に示すように、第１のＲＮＮセルは、ｎ番目のＵＸ構成要素のＵＸ－ｂｉｔ機能属性を出力し、第２のＲＮＮは、ｎ番目のＵＸ構成要素のＵＸ－ｂｉｔ機能属性に対するＵＸ－ｂｉｔデザイン属性を出力するように構成できる。本発明の一実施例に係るＲＮＮモジュール１２１は、第１のＲＮＮセルで出力されたＵＸ－ｂｉｔ機能属性が「ｅｎｄ」である場合、ＵＸ構成要素の個数が既設定されて既設定のＵＸ構成要素数に到達すれば、強化学習モジュール１２２により計算される全てのＡｃｔｉｏｎに対するＲｅｗａｒｄが負数であるときに推論を終了できる。本発明の一実施例に係るＲＮＮモジュール１２１によれば、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を、ＵＸ構成要素によって順次出力するように構成され、以前のステップで生成されたＵＸ構成要素の属性が、次のステップで生成されるＵＸ構成要素の属性に影響を与えるようになるので、全体として機能が重畳しないと同時に、デザインも統一性を持つＵＸ構成要素を生成できるという効果がある。

ＲＮＮモジュールを学習する強化学習モジュール１２２は、予め生成された全体のＵＸ構成要素のＵＸ－ｂｉｔ属性、イメージテーマエンコーディングベクトル、テキストテーマエンコーディングベクトルをＥｎｖｉｒｏｎｍｅｎｔとし、ＲＮＮモジュール１２１の各ＲＮＮブロックをＡｇｅｎｔとし、１番目のＵＸ構成要素からｎ－１番目のＵＸ構成要素までのＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性に、仮想で特定のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を持つｎ番目のＵＸ構成要素を含んだ時の状況をＳｔａｔｅとし、このようなＳｔａｔｅにおいてＡｇｅｎｔであるＲＮＮブロックがｎ番目のＵＸ構成要素に対して出力するＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性をＡｃｔｉｏｎとし、現在のステップの出力データである現在のステップのＵＸ構成要素（ｎ番目のＵＸ構成要素）のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報との類似度（例えば、ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ）が高いか、或いは、差（例えば、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）が少ないほど、高いＲｅｗａｒｄが生成されることで、ＡｇｅｎｔであるＲＮＮブロックの隠れ層をアップデートするように構成できる。図２６は、本発明の一実施例に係る強化学習モジュール１２２を示す模式図である。図２６に示すように、予め生成された全体のＵＸ構成要素のＵＸ－ｂｉｔ属性、イメージテーマエンコーディングベクトル、テキストテーマエンコーディングベクトルをＥｎｖｉｒｏｎｍｅｎｔとし、ＡｇｅｎｔであるＲＮＮブロックが１番目のＵＸ構成要素からｎ－１番目のＵＸ構成要素までのＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性に、仮想で特定のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を持つｎ番目のＵＸ構成要素を含んだ時の状況であるＳｔａｔｅにおいて、ｎ番目のＵＸ構成要素に対して出力するＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を出力するＡｃｔｉｏｎを遂行し、現在のステップの出力データである現在のステップのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報（イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルの組合せ（concatenate））との類似度（例えば、ｃｏｓｉｎｅ ｓｍｉｌａｒｉｔｙ）が高いか、或いは、差（例えば、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）が少ないほど、高いＲｅｗａｒｄが生成されることで、ＡｇｅｎｔであるＲＮＮブロックの隠れ層をアップデートするように構成できる。本発明の一実施例に係る強化学習モジュール１２２により最適化が完了したＲＮＮブロックは、隠れ層が固定されるように構成できる。

これによれば、ＵＸ構成要素生成モジュール１２０及びＲＮＮモジュール１２１により、イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルに対応する最適のＵＸ－ｂｉｔ属性が、各ＵＸ構成要素に合うように生成されるという効果がある。また、強化学習モジュール１２２がＵＸ構成要素生成モジュール１２０で生成できる全てのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性に対する全ての場合の数を考慮する必要なしに、各ＵＸ構成要素に対して順次最適化するように構成されるので、強化学習モジュール１２２が計算する場合の数が低減することで、コンピューティングリソースの低減を図るという効果がある。

本発明の変形例に係る強化学習モジュール１２２は、次の構成によって効果的な強化学習を通してＲＮＮブロックがアップデートされるように構成できる。図２７は、本発明の変形例に係る強化学習モジュール１２２を示す模式図である。図２７に示すように、本発明の変形例に係る強化学習モジュール１２２は、特定の状態（State）における価値を出力する価値関数を学習する人工神経網である価値網２１１と、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の各確率を出力する政策関数を学習する政策網２１０とを含むことができ、本発明の変形例に係る政策網２１０及び価値網２１１は、ＲＮＮモジュール１２１の特定のＲＮＮブロックに連結されるように構成できる。政策網２１０及び価値網２１１は、ＲＮＮブロックと連結されて特定のＵＸ構成要素に対するＵＸ－ｂｉｔ属性を出力できる。

政策網２１０は、強化学習モジュール１２２の各状態（State）において選択されたＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の確率を決定する人工神経網であり、政策関数を学習して選定されたＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の確率を出力することになる。政策網のコスト関数（Cost Function）は、政策関数及び価値網のコスト関数（Cost Function）を乗算して、クロスエントロピー（Cross Entropy）を計算した後、方策勾配法（Policy gradient）を行なった関数であって、例えば、次の数１の式のように構成できる。政策網は、クロスエントロピー及び価値網のコスト関数（Cost Function）である時間差エラーの二乗に基づいて、パックプロパゲーション（back propagation）される。

上記数１において、πは政策関数、θは政策網パラメータ、π_θ（ａ_ｉ│ｓ_ｉ）は現在のエピソードにおける特定のアクション（ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性）を行う可能性、Ｖは価値関数、ｗは価値網パラメータ、ｓ_ｉは現在のエピソードであるｉの状態情報、ｓ_ｉ＋１は次のエピソードであるｉ＋１の状態情報、ｒ_ｉ＋１は次のエピソードにおける獲得予想補償、Ｖ_ｗ（ｓ_ｉ）は現在のエピソードにおける補償可能性、Ｖ_ｗ（ｓ_ｉ＋１）は次のエピソードにおける補償可能性、γは減価率を意味できる。このとき、ｒ_ｉ＋１は現在のステップのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報（イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルの組合せ（concatenate））との類似度を受信するように構成できる。

本発明の一実施例に係る政策網２１０は、強化学習の進行前に、以前のＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性、これに従う成果情報（現在のステップのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報（イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルの組合せ（concatenate））との類似度）に基づいて、教師あり学習（Supervised Learning）により政策網のｗｅｉｇｈｔがアップデートされることで、政策の基礎を学習できる。すなわち、政策網のｗｅｉｇｈｔは、以前のＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性、成果情報に基づいて、教師あり学習を行うように設定できる。これによれば、以前のＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性のヒストリにより、政策網を迅速に学習できるという効果がある。

また、本発明の一実施例によれば、政策網２１０の教師あり学習を行う際に、ランダムベクトルを含み、以前のレイヤーの演算部の種類情報及びパラメータ情報、これに従う成果情報に基づいて、教師あり学習を行うように構成できる。ランダムベクトルは、例えば、ガウス分布（Gaussian distribution）を利用できる。それによれば、政策網がランダムな確率で挑戦的なＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を出力できるという効果がある。政策網２１０の教師あり学習を行う際に、以前のＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性、これに従う成果情報に基づいて教師あり学習を行うように構成すれば、ＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の選定が、以前のＵＸ構成要素の政策内で最適化する結果を導出できる。しかし、本発明の一実施例により、政策網の教師あり学習を行う際に、ランダムベクトルを含む場合、強化学習が進行されるほど、政策網が以前のＵＸ構成要素の政策よりもＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を効率よく学習できるという効果がある。

価値網２１１は、強化学習モジュール１２２が有する各状態（State）における補償（Reward）の達成可能性を導出する人工神経網であり、価値関数を学習する。価値網２１１は、エージェント（agent）であるＲＮＮブロックが、どのようにアップデートされるかに対する方向性を提示する。このために、価値網２１１の入力変数は、強化学習モジュール１２２の状態に関する情報である状態情報として設定され、価値網２１１の出力変数は、ＲＮＮブロックが補償を達成する可能性である補償可能性情報（現在のステップのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報（イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルの 組合せ（concatenate））との類似度）として設定される。本発明の一実施例に係る補償可能性情報は、次の数２の式のようなＱ－ｆｕｎｃｔｉｏｎで計算できる。

上記数２において、Ｑ_πは特定の政策πにおいて、状態ｓ、アクションａである場合、未来に予想される全体の補償可能性情報を意味し、Ｒは特定の期間の補償、ｇａｍｍａは減価率を意味できる。Ｓ_ｔは時間ｔの状態、Ａ_ｔは時間ｔのアクション、Ｅは期待値を意味できる。本発明の一実施例に係る補償可能性情報（Ｑ ｖａｌｕｅ）は、政策網２１０のアップデートの方向及び大きさを規定することになる。

このとき、価値網のコスト関数（Cost function）は、価値関数に対するＭＳＥ（Mean Square error）関数であり、例えば、次の数３の式のように構成できる。価値網２１１は、価値網のコスト関数（Cost function）である時間差エラーに基づいて、バックプロパゲーション（back propagation）される。

上記数３において、Ｖは価値関数、ｗは価値網パラメータ、ｓ_ｉは現在のエピソードであるｉの状態情報、ｓ_ｉ＋１は次のエピソードであるｉ＋１の状態情報、ｒ_ｉ＋１は次のエピソードからの獲得予想補償、Ｖ_ｗ（ｓ_ｉ）は現在のエピソードにおける補償可能性、Ｖ_ｗ（ｓ_ｉ＋１）は次のエピソードにおける補償可能性、γは減価率を意味できる。このとき、ｒ_ｉ＋１は現在のステップのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報（イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルの組合せ（concatenate））との類似度を受信するように構成できる。

これにより、価値網は、強化学習モジュール１２２の状態が変更されるとき、数３のコスト関数（Cost Function）が最急降下（Gradient descent）するようにアップデートできる。

本発明の一実施例によれば、価値網を政策網と別に学習させながら、価値網のＱ ｖａｌｕｅがランダムから開始することなく指導（Supervised）されるので、速い学習が可能であるという効果がある。これによれば、非常に複雑度が高いＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の組合せを選択するアクション（action）において、探索（exploration）の負担を大幅に低減できるという効果がある。

本発明の一実施例に係る強化学習モジュール１２２によれば、教師あり学習を終了した政策網２１０が、現在のエピソードｉのＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を選定すれば、価値網２１１が、選定されたＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を進行する場合の補償（現在のステップのＵＸ構成要素のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性と、比較情報（イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルの 組合せ（concatenate））との類似度）を予測するように学習される。学習済みの強化学習モジュール１２２の政策網２１０及び価値網２１１は、ＲＮＮブロックを活用したシミュレーションと組合せて、最終的にＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を選定するのに活用される。

また、本発明の一実施例に係る価値網２１１によれば、選定されたＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の確率を出力する政策網のアップデートをエピソードごとに進行できるという効果がある。既存の強化学習では、強化学習モデルのアップデートが全てのエピソードの終了後に進行されるという問題があるため、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を順次生成するＲＮＮモジュールに適用するのに困難性があった。

ＲＮＮブロックは、政策網及び価値網で計算される複数のエージェント（agent）に基づいて、様々な状態及び様々なアクションに対する複数回のシミュレーションを進行して、最適のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を探索する構成である。本発明の一実施例に係るＲＮＮブロックは、例えば、モンテカルロ木探索（Monte Carlo tree search）を活用でき、木の各ノードは状態（state）を示し、各エッジ（edge）は当該状態に対する特定のアクションによって予想される価値（value）を示し、現在の状態をルートノードとし、新しいアクションにより新しい状態に転移されるごとにリーフ（leaf）ノードが拡張される構造である。本発明の一実施例に係るＲＮＮブロックにおいて、最適のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の探索は、モンテカルロ木探索が活用される場合、Ｓｅｌｅｃｔｉｏｎ、Ｅｘｐａｎｓｉｏｎ、Ｅｖａｌｕａｔｉｏｎ、Ｂａｃｋｕｐの４つのステップにより処理できる。

ＲＮＮブロックのＳｅｌｅｃｔｉｏｎステップは、現在の状態からリーフノードが生成されるまで、選択可能なアクションのうちで最高の価値を持つアクションを選択して進行するステップである。このとき、エッジ（edge）に保存している価値関数の値と、探索－活用のバランスを取るための訪問頻度値とを利用する。Ｓｅｌｅｃｔｉｏｎステップにおいて、アクションを選択するための数式は、次の通りである。

上記数４において ａ_ｔは時間ｔにおけるアクション（ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の選定遂行）であり、Ｑ（ｓ_ｔ、ａ）は木（tree）に保存された価値関数の値であり、ｕ（ｓ_ｔ、ａ）は当該状態－アクション対の訪問回数に反比例する値であって、探索（exploration）及び活用のバランスを取るために使用されたものである。

ＲＮＮブロックのＥｘｐａｎｓｉｏｎステップは、シミュレーションがリーフノードまで進行される場合、教師あり学習を通して学習された政策網の確率によってアクションして、新しいノードをリーフノードに追加するステップである。

ＲＮＮブロックのＥｖａｌｕａｔｉｏｎステップは、新しく追加されたリーフノードから価値網を用いて判断した価値（補償可能性）と、リーフノードから政策網を用いてＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の選定のエピソードが終了するまで進行して得た補償とにより、リーフノードの価値を評価するステップである。次の数５の式は、新しいリーフノードの価値を評価する例示である。

上記数５において、Ｖ（ｓ_Ｌ）はリーフノードの価値、λはｍｉｘｉｎｇパラメータ、ｖ_θ（ｓ_Ｌ）は価値網を介して得た価値、ｚ_Ｌはシミュレーションを継続して得た補償を意味できる。

ＲＮＮブロックのＢａｃｋｕｐステップは、新しく追加されたリーフノードの価値を反映して、シミュレーション中に訪問したノード等の価値を再評価し、訪問頻度をアップデートするステップである。次の数６の式は、ノード価値再評価及び訪問頻度アップデートの例示である。

上記数６において、Ｓ^ｉ _Ｌはｉ番目のシミュレーションにおけるリーフノードを示し、１（ｓ、ａ、ｉ）はｉ番目のシミュレーションで連結（ｓ、ａ）を訪問したか否かを示し、木探索が完了すれば、アルゴリズムはルートノードから最も多く訪問された連結（ｓ、ａ）を選択するように構成できる。本発明の一実施例に係るＲＮＮブロックによれば、政策網により選別される複数のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性に対して、価値網に基づいて複数回のシミュレーションを先行することで、最適のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を選択できるという効果がある。

本発明の一実施例によれば、複数のエージェント（Agent）が構成されるように強化学習モジュール１２２を構成できる。複数のエージェントが構成される場合、特定の状態、特定のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の各々に対して、強化学習モジュール１２２が選定するＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性が互いに競争することで、最適のＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を選定できるという効果がある。

図２８は、本発明の一実施例に係る強化学習モジュール１２２の動作例を示すフローチャートである。図２８に示すように、ＵＸ構成要素生成モジュール１２０により状態ｓ_ｔが入力される場合、価値網２１１を通して政策網２１０の複数個のエージェント（agent）により多様なＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性がＲＮＮブロックに入力され、ＲＮＮブロックにより出力されるアクション（action）である、選定されたＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性の確率ａ_ｔにより、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性が選定されるものとしてエピソードｔが終了され、エピソードｔ＋１が開始する。エピソードｔ＋１では、再度ａ_ｔによる状態変化であるｓ_ｔ＋１がＵＸ構成要素生成モジュール１２０により入力され、ａ_ｔによる補償であるｒ_ｔ＋１がすぐ入力されて、価値網２１１及び政策網２１０をアップデートすることになる。

ＵＸ－ｂｉｔ生成モジュール１２の作動例と関連して、図２９は、本発明の一実施例に係るＵＸ－ｂｉｔ生成モジュール１２のＵＸ－ｂｉｔ属性の自動生成を示す模式図である。図２９に示すように、例えば、１個のＵＸ構成要素に対して１個のＲＮＮブロックが構成され、１番目のＲＮＮブロックの第１のＲＮＮセルにイメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルが入力され、１番目のＵＸ構成要素に対してＵＸ－ｂｉｔ機能属性のうちでＵＸ－ｂｉｔ機能１が出力され、１番目のＲＮＮブロックの第２のＲＮＮセルに既出力されたＵＸ－ｂｉｔ機能１が入力され、１番目のＵＸ構成要素に対してＵＸ－ｂｉｔデザイン属性のうちでＵＸ－ｂｉｔデザイン１が出力され、１番目のＵＸ構成要素に対するＵＸ－ｂｉｔ属性が生成され、２番目のＲＮＮブロックの第１のＲＮＮセルに１番目のＵＸ構成要素に対して既出力されたＵＸ－ｂｉｔデザイン１が入力され、２番目のＵＸ構成要素に対するＵＸ－ｂｉｔ機能属性のうちでＵＸ－ｂｉｔ機能２が出力され、２度目のＲＮＮブロックの第２のＲＮＮセルに既出力されたＵＸ－ｂｉｔ機能２が入力され、ＵＸ－ｂｉｔデザイン属性のうちでＵＸ－ｂｉｔデザイン２が出力され、２番目のＵＸ構成要素に対するＵＸ－ｂｉｔ属性が生成されるように構成できる。

ＩＡ生成モジュール１３は、ＵＸ－ｂｉｔ生成モジュール１２で生成された複数のＵＸ構成要素のＵＸ－ｂｉｔ属性（ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性）に基づいて、ＩＡ（Information Architecture）を生成するモジュールである。ＩＡ生成モジュール１３により生成されるＩＡは、図１４及び図１５に示すように生成できる。

ワイヤーフレーム生成モジュール１４は、ＵＸ－ｂｉｔ生成モジュール１２で生成された複数のＵＸ構成要素のＵＸ－ｂｉｔ属性（ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性）に基づいて、ワイヤーフレーム（Wireframe）を生成するモジュールである。ワイヤーフレーム生成モジュール１４により生成されるワイヤーフレームは、図１６に示すように生成できる。

デザイン生成モジュール１５は、イメージテーマエンコーディングベクトル、テキストテーマエンコーディングベクトル及びＵＸ－ｂｉｔ生成モジュール１２で生成された複数のＵＸ構成要素のＵＸ－ｂｉｔ属性（ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性）を入力データとし、デザインデータを出力データとして出力するモジュールである。デザイン生成モジュール１５により生成されるデザインデータは、ワイヤーフレームにデザイン要素が構成されたウェブ／アプリページなどのグラフィックデザインを意味できる。

デザイン生成モジュール１５の具体的な構成と関連して、図３０は、本発明の一実施例に係るデザイン生成モジュール１５の構造を示す模式図である。図３０に示すように、イメージテーマエンコーディングモジュール１０、テキストテーマエンコーディングモジュール１１及びＵＸ－ｂｉｔ生成モジュール１２と連結され、イメージテーマエンコーディングベクトル、テキストテーマエンコーディングベクトル及びＵＸ－ｂｉｔ属性データを組合せた（concatenate）結合ベクトルをデザイン生成モジュール１５の入力データとし、デザインデータを出力データとして出力し、学習セッションではイメージテーマ判別器１５０、テキストテーマ判別器１５１、ＵＸ－ｂｉｔ属性判別器１５２により、パラメータがアップデートされるアップサンプリング（Upsampling）の人工神経網で構成できる。

イメージテーマエンコーディングモジュール１０、テキストテーマエンコーディングモジュール１１及びデザイン生成モジュール１５の全般的な実施例と関連して、例えば、本発明の一実施例に係るイメージテーマエンコーディングモジュール１０は、特定の次元で標準化したイメージテーマデータを入力データとして受信し、１×1×ｋの潜在変数であるイメージテーマエンコーディングベクトルを出力データとしてエンコードする複数個の連続した畳み込みレイヤー（Convolution Layer）、プーリングレイヤー（Pooling Layer）、ＦＣレイヤー（Fully Connected Layer）を含むＣｏｎｖＮｅｔで構成できる。また、イメージテーマエンコーディングモジュール１０は、デザイン生成モジュール１５に対してＳｋｉｐ ｃｏｎｎｅｃｔｉｏｎの構造で構成できる。テキストテーマエンコーディングモジュール１１は、テキストテーマデータを音素基準に分離して入力し、１×1×ｋの潜在変数であるテキストテーマエンコーディングベクトルを出力データとしてエンコードする複数個の連続した畳み込みレイヤー（Convolution Layer）、プーリングレイヤー（Pooling Layer）、ＦＣレイヤー（Fully Connected Layer）を含むＣｏｎｖＮｅｔで構成できる。また、テキストテーマエンコーディングモジュール１１は、デザイン生成モジュール１５に対してＳｋｉｐ ｃｏｎｎｅｃｔｉｏｎの構造で構成できる。

イメージテーマエンコーディングモジュール１０の学習セッションにおいて、本発明の一実施例に係るイメージテーマエンコーディングモジュール１０に入力されるイメージテーマデータは、イメージテーマエンコーディングモジュール１０及びデザイン生成モジュール１５の各畳み込みレイヤー（Convolution Layer）に対して、Ｃｈａｎｎｅｌ－ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｏｎの構造で入力されるように構成できる。このとき、イメージテーマデータをイメージテーマエンコーディングモジュール１０及びデザイン生成モジュール１５の各畳み込みレイヤー（Convolution Layer）に対して、Ｃｈａｎｎｅｌ－ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｏｎの構造で入力される構成により、イメージテーマエンコーディングモジュール１０及びデザイン生成モジュール１５の学習セッションにおいて勾配消失（Vanishing Gradient）が改善され、フィーチャープロパゲーション（Feature Propagation）が強化され、パラメータ（Parameter）数の低減により、コンピューティングリソースが低減するという効果がある。

デザイン生成モジュール１５の学習セッションでは、デザインデータ、並びに、これに対応するレファレンスデータ（Ground Truth）の差からなる代表デザイン損失が低減するように、デザイン生成モジュール１５のパラメータがアップデートされるように構成できる。デザイン生成モジュール１５の損失関数の一つである代表デザイン損失は、平均二乗損失（Mean square loss）、交差エントロピー損失（Cross entropy loss）などでも構成でき、例えば、次の数７の式のように構成できる。

上記数７において、Ｌ_ｃは代表デザイン損失、Ｎはデザインデータ及びレファレンスデータの対（pair）の数（配置サイズ）、ｉはＮ個のデザインデータ及びレファレンスデータの対（pair）のうちで特定のイメージ対、 Ｌ_ｇはデザインデータ、 Ｌ_ＧはＧｒｏｕｎｄ ｔｒｕｔｈとしてのレファレンスデータ、||・||_２はＬ_２－ｎｏｒｍを意味できる。このとき、代表デザイン損失でのレファレンスデータは、予め保存されたウェブ／アプリデザインのエンコーディングベクトルのうちで、イメージテーマエンコーディングベクトルとの類似度及びテキストテーマエンコーディングベクトルとの類似度が、特定の水準以上であるウェブ／アプリデザインレファレンスを意味できる。

イメージテーマ判別器１５０は、デザイン生成モジュール１５の学習セッションに利用されるモジュールであって、デザイン生成モジュール１５で出力されるデザインデータ及びレファレンス（ground truth）であるイメージテーマデータの入力を受け、イメージテーマデータ及びデザインデータを区分するイメージテーマ判別ベクトルを出力するように、事前学習された（pre-trained）人工神経網モジュールである。本発明の一実施例に係るイメージテーマ判別器１５０は、ＣＯＮＣＡＴ関数及び複数個の畳み込みレイヤー（Convolution Layer）を含むように構成できる。イメージテーマ判別器１５０は、デザイン生成モジュール１５と別に事前学習されるように構成され、イメージテーマ判別器１５０が事前学習された状態（パラメータが固定された状態）において、デザイン生成モジュール１５の学習セッションに利用され、デザイン生成モジュール１５の学習セッションでのデザイン生成モジュール１５の損失関数に含まれるイメージテーマ判別損失でのイメージテーマ判別ベクトルを出力するように構成できる。

イメージテーマ判別器１５０の学習セッションでは、イメージテーマデータ（ＲｅａｌでＬａｂｅｌｉｎｇ）及びデザイン生成モジュール１５で出力されたデザインデータ（ＦａｋｅでＬａｂｅｌｉｎｇ）をイメージテーマ判別器１５０に入力し、イメージテーマ判別器１５０では、デザインデータのＲｅａｌ及びＦａｋｅを区分するイメージテーマ判別ベクトル（Ｒｅａｌ Ｃｌａｓｓ及びＦａｋｅ Ｃｌａｓｓを含んだり、Ｒｅａｌ Ｃｌａｓｓのみを含んだりするように構成できる）を出力し、イメージテーマ判別ベクトル及びデザインデータの実際のＬａｂｅｌ（Ｒｅａｌ ｏｒ Ｆａｋｅ）間の差を含む損失が低減するように、イメージテーマ判別器１５０のＣｏｎｖＮｅｔのパラメータがアップデートされるように学習セッションを構成できる。

すなわち、イメージテーマ判別器１５０の学習セッションでは、イメージテーマデータをレファレンスとしたデザインデータの分布でのイメージテーマ判別ベクトルＤ_ｉ（ｘ、ｙ）が最小（０）になり、これに対応するＧｒｏｕｎｄ Ｔｒｕｔｈ分布であるイメージテーマデータ分布でのイメージテーマ判別ベクトルＤ_ｉ（ｙ、ｙ）が最大（１）になるように、イメージテーマ判別器１５０のパラメータがアップデートされるように構成できる。イメージテーマ判別器１５０の損失関数に含まれる損失（Loss）は、例えば、次のように構成できる。

上記数８において、Ｌ_ｉはイメージテーマ判別器の損失、ｘはデザインデータ、ｙはＧｒｏｕｎｄ Ｔｒｕｔｈとしてのレファレンスデータであるイメージテーマデータ、ｙ～Ｌ_Ｇはレファレンスデータの分布、ｘ～Ｌ_ｇはデザインデータの分布、Ｄ_ｉ（ｘ、ｙ）はイメージテーマデータをレファレンスとしてデザインデータを入力したとき、イメージテーマ判別器１５０で出力されたイメージテーマ判別ベクトル（０～１間の確率値）を意味する。Ｄ_ｉ（ｙ、ｙ）はイメージテーマデータをレファレンスとしてイメージテーマデータを入力したとき、イメージテーマ判別器１５０で出力されたイメージテーマ判別ベクトル（０～１間の確率値）を意味する。イメージテーマ判別器１５０の学習セッションにおいて、デザイン生成モジュール１５により出力されたデザインデータがイメージテーマデータと類似していないデザインであると判別される場合、イメージテーマ判別器１５０では、Ｄ_ｉ（ｘ、ｙ）＝０、 Ｌ_ｉ＝０（最小値）に近接すようにイメージテーマ判別器の損失が出力され、デザインデータがイメージテーマデータと類似しているデザインであると判別される場合、Ｄ_ｉ（ｘ、ｙ）＝１、 Ｌ_ｉ＝∞（最大値）に近接するようにイメージテーマ判別器の損失が出力され、イメージテーマ判別器１５０の学習（パラメータアップデート）に適用され得る。また、Ｄ_ｉ（ｙ、ｙ）＝１になるように、イメージテーマ判別器１５０のパラメータがアップデートされる。イメージテーマ判別器１５０の学習セッションと関連して、デザイン生成モジュール１５で合成されたものとしてラベリング（labeling）された学習データと、合成されないものとしてラベリングされた学習データとを、イメージテーマ判別器１５０の学習データとして構成し、学習データをイメージテーマ判別器１５０に入力して、イメージテーマ判別ベクトルを出力し、イメージテーマ判別ベクトルに基づいて学習データの損失を計算し、計算されたイメージテーマ判別器の損失を最小化するために、イメージテーマ判別器１５０のパラメータをアップデートするように、イメージテーマ判別器１５０の学習セッションを構成できる。

イメージテーマ判別器１５０のデザイン生成モジュール１５に対する学習セッションでの作動関係と関連して、デザイン生成モジュール１５の損失関数には、デザインデータがイメージテーマ判別器１５０に入力データとして入力されて出力されるイメージテーマ判別ベクトルが含まれるように構成できる。デザイン生成モジュール１５の損失関数には、イメージテーマ判別ベクトルを、例えば次のように損失（以下、イメージテーマ判別損失）として構成できる。

上記数９において、Ｌ_ｄｉはイメージテーマ判別損失、ｘはデザインデータ、 ｘ～Ｌ_ｇはデザインデータの分布、ｙはイメージテーマデータ、ｙ～Ｌ_Ｇはイメージテーマデータの分布、Ｄ_ｉ（ｘ、ｙ）はイメージテーマデータをレファレンスとしてデザインデータを入力したとき、イメージテーマ判別器１５０で出力されたイメージテーマ判別ベクトル（０～１間の確率値）を意味する。イメージテーマ判別器１５０により遂行されるデザイン生成モジュール１５の学習セッションでは、イメージテーマ判別ベクトルを含むイメージテーマ判別損失がデザイン生成モジュール１５の損失関数に含まれ、デザインデータの分布でのイメージテーマ判別ベクトルＤ_ｉ（ｘ、ｙ）が最大（１）になり、Ｌ_ｄｉ＝０（最小値）になるように（デザインデータがイメージテーマデータと類似しているデザインであると判別されるように）、デザイン生成モジュール１５のパラメータがアップデートされるように構成できる。

テキストテーマ判別器１５１と関連して、デザイン生成モジュール１５の学習セッションに利用されるモジュールであって、テキストテーマ判別器１５１は、デザイン生成モジュール１５で出力されるデザインデータ及びレファレンス（ground truth）であるテキストテーマデータの入力を受け、テキストテーマデータ及びデザインデータを区分するテキストテーマ判別ベクトルを出力するように事前学習（pre-trained）された人工神経網モジュールである。本発明の一実施例に係るテキストテーマ判別器１５１は、ＣＯＮＣＡＴ関数及び複数個の埋め込みレイヤー（Convolution Layer）を含むように構成できる。テキストテーマ判別器１５１は、デザイン生成モジュール１５と別に事前学習（pre-trained）されるように構成され、テキストテーマ判別器１５１が事前学習された状態（パラメータが固定された状態）においてデザイン生成モジュール１５の学習セッションに利用され、デザイン生成モジュール１５の学習セッションでのデザイン生成モジュール１５の損失関数に含まれるテキストテーマ判別損失でのテキストテーマ判別ベクトルを出力するように構成できる。

テキストテーマ判別器１５１の学習セッションでは、テキストテーマデータのエンコーディングベクトルであるテキストテーマエンコーディングベクトル（ＲｅａｌでＬａｂｅｌｉｎｇ）及びデザイン生成モジュール１５で出力されたデザインデータのエンコーディングベクトルであるデザインエンコーディングベクトル（ＦａｋｅでＬａｂｅｌｉｎｇ）をテキストテーマ判別器１５１に入力し、テキストテーマ判別器１５１では、デザインデータのＲｅａｌ及びＦａｋｅを区分（テキストテーマデータ及びデザインデータを区分）するテキストテーマ判別ベクトル（Ｒｅａｌ Ｃｌａｓｓ及びＦａｋｅ Ｃｌａｓｓを含んだり、Ｒｅａｌ Ｃｌａｓｓのみを含んだりするように構成できる）を出力し、テキストテーマ判別ベクトル及びデザインデータの実際のＬａｂｅｌ（Ｒｅａｌ ｏｒ Ｆａｋｅ）間の差を含む損失が低減するように、テキストテーマ判別器１５１のＣｏｎｖＮｅｔのパラメータがアップデートされるように学習セッションを構成できる。

すなわち、テキストテーマ判別器１５１の学習セッションでは、テキストテーマエンコーディングベクトルをレファレンスとしたデザインデータのエンコーディングベクトルの分布でのテキストテーマ判別ベクトルＤ_ｔ（ｘ、ｚ）が最小（０）になり、これに対応するＧｒｏｕｎｄ Ｔｒｕｔｈ分布であるテキストテーマデータのテキストテーマエンコーディングベクトルの分布でのテキストテーマ判別ベクトルＤ_ｔ（ｚ、ｚ）が最大（１）になるように、テキストテーマ判別器１５１のパラメータがアップデートされるように構成できる。テキストテーマ判別器１５１の損失関数に含まれる損失（Loss）は、例えば、次のように構成できる。

上記数１０において、Ｌ_ｔはテキストテーマ判別器の損失、ｘはデザインデータのエンコーディングベクトル、ｚはＧｒｏｕｎｄ Ｔｒｕｔｈとしてのレファレンスデータであるテキストテーマエンコーディングベクトル、ｚ～Ｌ_Ｇはレファレンスデータの分布、ｘ～Ｌ_ｇはデザインデータのエンコーディングベクトルの分布、Ｄ_ｔ（ｘ、ｚ）はテキストテーマエンコーディングベクトルをレファレンスとしてデザインデータのエンコーディングベクトルを入力したとき、テキストテーマ判別器１５１で出力されたテキストテーマ判別ベクトル（０～１間の確率値）を意味する。Ｄ_ｔ（ｚ、ｚ）はテキストテーマエンコーディングベクトルをレファレンスとしてテキストテーマエンコーディングベクトルを入力したとき、テキストテーマ判別器１５１で出力されたテキストテーマ判別ベクトル（０～１間の確率値）を意味する。テキストテーマ判別器１５１の学習セッションにおいて、デザイン生成モジュール１５が出力したデザインデータのエンコーディングベクトルがテキストテーマデータのエンコーディングベクトルであるテキストテーマエンコーディングベクトルと類似していないと判別される場合、テキストテーマ判別器１５１では、Ｄ_ｔ（ｘ、ｚ）＝０、Ｌ_ｔ＝０（最小値）に近接するようにテキストテーマ判別器の損失が出力され、デザインデータのエンコーディングベクトルがテキストテーマエンコーディングベクトルと類似していると判別される場合、Ｄ_ｔ（ｘ、ｚ）＝１、Ｌ_ｔ＝∞（最大値）に近接するようにテキストテーマ判別器の損失が出力され、テキストテーマ判別器１５１の学習（パラメータアップデート）に適用される。また、Ｄ_ｔ（ｚ、ｚ）＝１になるように、テキストテーマ判別器１５１のパラメータがアップデートされる。テキストテーマ判別器１５１の学習セッションと関連して、デザイン生成モジュール１５で合成されたものとしてラベリングされた学習データと、合成されないものとしてラベリングされた学習データとを、テキストテーマ判別器１５１の学習データとして構成し、学習データをテキストテーマ判別器１５１に入力して、テキストテーマ判別ベクトルを出力し、テキストテーマ判別ベクトルに基づいて学習データの損失を計算し、計算されたテキストテーマ判別器の損失を最小化するように、テキストテーマ判別器１５１のパラメータをアップデートするようにテキストテーマ判別器１５１の学習セッションを構成できる。

又は、テキストテーマ判別器１５１の損失の変形例と関連して、テキストテーマ判別器１５１の損失関数に含まれる損失は、平均二乗損失（Mean square loss）、交差エントロピー損失（Cross entropy loss）などでも構成でき、例えば、二値交差エントロピー損失（Binary cross entropy loss）が適用される場合、次のように構成できる。

上記数１１において、Ｌ_ｔはテキストテーマ判別器の損失、Ｎはテキストテーマエンコーディングベクトル及びデザインエンコーディングベクトルの対（pair）の数（配置サイズ）、ｉはＮ個のテキストテーマエンコーディングベクトル及びデザインエンコーディングベクトルの対（pair）のうちで、特定の対（pair）、ｖはデザインエンコーディングベクトル、ｓはテキストテーマエンコーディングベクトル、 ||・||₂はＬ_２－ｎｏｒｍを意味できる。

テキストテーマ判別器１５１のデザイン生成モジュール１５の学習セッションでの作動関係と関連して、デザイン生成モジュール１５の損失関数には、テキストテーマエンコーディングベクトルがテキストテーマ判別器１５１に入力データとして入力されて出力されるテキストテーマ判別ベクトルが含まれるように構成できる。デザイン生成モジュール１５の損失関数には、テキストテーマ判別ベクトルを、例えば次のように損失（以下、テキストテーマ判別損失）として構成できる。

上記数１２において、Ｌ_ｄｔはテキストテーマ判別損失、ｘはデザインデータのエンコーディングベクトル、ｘ～Ｌ_ｇはデザインデータのエンコーディングベクトルの分布、ｚはテキストテーマエンコーディングベクトル、ｚ～Ｌ_Ｇはテキストテーマエンコーディングベクトルの分布、Ｄ_ｔ（ｘ、ｚ）はテキストテーマエンコーディングベクトルをレファレンスとしてデザインデータのエンコーディングベクトルを入力データとするとき、テキストテーマ判別器１５１で出力されたテキストテーマ判別ベクトル（０～１間の確率値）を意味する。テキストテーマ判別器１５１により遂行されるデザイン生成モジュール１５の学習セッションでは、テキストテーマ判別ベクトルを含むテキストテーマ判別損失がデザイン生成モジュール１５の損失関数に含まれ、デザインデータのエンコーディングベクトルの分布でのテキストテーマ判別ベクトルＤ_ｔ（ｘ、ｚ）が最大（１）になり、 Ｌ_ｄｔ＝０（最小値）になるように（デザインデータのエンコーディングベクトルがテキストテーマエンコーディングベクトルと類似していると判別されるように）、デザイン生成モジュール１５のパラメータがアップデートされるように構成できる。

ＵＸ－ｂｉｔ属性判別器１５２と関連して、ＵＸ－ｂｉｔ属性判別器１５２は、デザイン生成モジュール１５の学習セッションに利用されるモジュールであって、ＵＸ－ｂｉｔ属性判別器１５２は、デザイン生成モジュール１５で出力されるデザインデータ及びＵＸ－ｂｉｔ生成モジュール１２で出力されるＵＸ－ｂｉｔ属性データ（reference、ground truth）の入力を受け、デザインデータ及びＵＸ－ｂｉｔ属性データを区分するＵＸ－ｂｉｔ属性判別ベクトルを出力するように事前学習（pre-trained）された人工神経網モジュールである。本発明の一実施例に係るＵＸ－ｂｉｔ属性判別器１５２は、ＣＯＮＣＡＴ関数及び複数個の埋め込みレイヤー（Convolution Layer）を含むように構成できる。ＵＸ－ｂｉｔ属性判別器１５２は、デザイン生成モジュール１５と別に事前学習（pre-trained）されるように構成され、ＵＸ－ｂｉｔ属性判別器１５２が事前学習された状態（パラメータが固定された状態）において、デザイン生成モジュール１５の学習セッションに利用され、デザイン生成モジュール１５の学習セッションでのデザイン生成モジュール１５の損失関数に含まれるＵＸ－ｂｉｔ判別損失でのＵＸ－ｂｉｔ属性判別ベクトルを出力するように構成できる。

ＵＸ－ｂｉｔ属性判別器１５２の学習セッションでは、ＵＸ－ｂｉｔ属性データのエンコーディングベクトル（ＲｅａｌでＬａｂｅｌｉｎｇ）及びデザイン生成モジュール１５で出力されたデザインデータのエンコーディングベクトルであるデザインエンコーディングベクトル（ＦａｋｅでＬａｂｅｌｉｎｇ）をＵＸ－ｂｉｔ属性判別器１５２に入力し、ＵＸ－ｂｉｔ属性判別器１５２では、デザインデータのＲｅａｌ及びＦａｋｅを区分（ＵＸ－ｂｉｔ属性データ及びデザインデータを区分）するＵＸ－ｂｉｔ属性判別ベクトル（Ｒｅａｌ Ｃｌａｓｓ及びＦａｋｅ Ｃｌａｓｓを含んだり、Ｒｅａｌ Ｃｌａｓｓのみを含んだりするように構成できる）を出力し、ＵＸ－ｂｉｔ属性判別ベクトル及びデザインデータの実際のＬａｂｅｌ（Ｒｅａｌ ｏｒ Ｆａｋｅ）間の差を含む損失が低減するように、ＵＸ－ｂｉｔ属性判別器１５２のＣｏｎｖＮｅｔのパラメータがアップデートされるように学習セッションを構成できる。

すなわち、ＵＸ－ｂｉｔ属性判別器１５２の学習セッションでは、ＵＸ－ｂｉｔ属性データのエンコーディングベクトルをレファレンスとしたデザインデータのエンコーディングベクトルの分布でのＵＸ－ｂｉｔ属性判別ベクトルＤ_ｕｘ（ｘ、ｕ）が最小（０）になり、これに対応するＧｒｏｕｎｄ Ｔｒｕｔｈ分布であるＵＸ－ｂｉｔ属性データのエンコーディングベクトルの分布でのＵＸ－ｂｉｔ属性判別ベクトルＤ_ｕｘ（ｕ、ｕ）が最大（１）になるように、ＵＸ－ｂｉｔ属性判別器１５２のパラメータがアップデートされるように構成できる。ＵＸ－ｂｉｔ属性判別器１５２の損失関数に含まれる損失（Loss）は、例えば、次のように構成できる。

上記数１３において、Ｌ_ｕｘはＵＸ－ｂｉｔ属性判別器の損失、ｘはデザインデータのエンコーディングベクトル、ｕはＧｒｏｕｎｄ ＴｒｕｔｈとしてのレファレンスデータであるＵＸ－ｂｉｔ属性データのエンコーディングベクトル、ｕ～Ｌ_Ｇはレファレンスデータの分布、ｘ～Ｌ_ｇはデザインデータのエンコーディングベクトルの分布、Ｄ_ｕｘ（ｘ、ｕ）はＵＸ－ｂｉｔ属性データのエンコーディングベクトルをレファレンスとしてデザインデータのエンコーディングベクトルを入力したとき、ＵＸ－ｂｉｔ属性判別器１５２で出力されたＵＸ－ｂｉｔ属性判別ベクトル（０～１間の確率値）を意味する。 Ｄ_ｕｘ（ｕ、ｕ）はＵＸ－ｂｉｔ属性データのエンコーディングベクトルをレファレンスとしてＵＸ－ｂｉｔ属性データのエンコーディングベクトルを入力したとき、ＵＸ－ｂｉｔ属性判別器１５２で出力されたＵＸ－ｂｉｔ属性判別ベクトル（０～１間の確率値）を意味する。ＵＸ－ｂｉｔ属性判別器１５２の学習セッションにおいて、デザイン生成モジュール１５が出力したデザインデータのエンコーディングベクトルがＵＸ－ｂｉｔ属性データのエンコーディングベクトルと類似していないと判別される場合、ＵＸ－ｂｉｔ属性判別器１５２では、Ｄ_ｕｘ（ｘ、ｕ）＝０、 Ｌ_ｕｘ＝０（最小値）に近接するようにＵＸ－ｂｉｔ属性判別器１５２の損失が出力され、デザインデータのエンコーディングベクトルがＵＸ－ｂｉｔ属性データのエンコーディングベクトルと類似していると判別される場合、Ｄ_ｕｘ（ｘ、ｕ）＝１、 Ｌ_ｕｘ＝∞（最大値）に近接するようにＵＸ－ｂｉｔ属性判別器１５２の損失が出力され、ＵＸ－ｂｉｔ属性判別器１５２の学習（パラメータアップデート）に適用され得る。また、Ｄ_ｕｘ（ｕ、ｕ）＝１になるように、ＵＸ－ｂｉｔ属性判別器１５２のパラメータがアップデートされる。ＵＸ－ｂｉｔ属性判別器１５２の学習セッションと関連して、デザイン生成モジュール１５で合成されたものとしてラベリングされた学習データと、合成されないものとしてラベリングされた学習データとを、ＵＸ－ｂｉｔ属性判別器１５２の学習データとして構成し、学習データをＵＸ－ｂｉｔ属性判別器１５２に入力してＵＸ－ｂｉｔ属性判別ベクトルを出力し、ＵＸ－ｂｉｔ属性判別ベクトルに基づいて学習データの損失を計算し、計算されたＵＸ－ｂｉｔ属性判別器１５２の損失を最小化するように、ＵＸ－ｂｉｔ属性判別器１５２のパラメータをアップデートするようにＵＸ－ｂｉｔ属性判別器１５２の学習セッションを構成できる。又は、ＵＸ－ｂｉｔ属性判別器１５２の損失の変形例と関連して、ＵＸ－ｂｉｔ属性判別器１５２の損失関数に含まれる損失は、平均二乗損失（Mean square loss）、交差エントロピー損失（Cross entropy loss）などでも構成できる。

ＵＸ－ｂｉｔ属性判別器１５２のデザイン生成モジュール１５の学習セッションでの作動関係と関連して、デザイン生成モジュール１５の損失関数には、ＵＸ－ｂｉｔ属性データのエンコーディングベクトルがＵＸ－ｂｉｔ属性判別器１５２に入力データとして入力されて出力されるＵＸ－ｂｉｔ属性判別ベクトルが含まれるように構成できる。デザイン生成モジュール１５の損失関数には、ＵＸ－ｂｉｔ属性判別ベクトルを、例えば、次のように損失（以下、ＵＸ－ｂｉｔ属性判別損失）として構成できる。

上記数１４において、Ｌ_ｄｕｘはＵＸ－ｂｉｔ属性判別損失、ｘはデザインデータのエンコーディングベクトル、ｘ～Ｌ_ｇはデザインデータのエンコーディングベクトルの分布、ｕはＵＸ－ｂｉｔ属性データのエンコーディングベクトル、ｕ～Ｌ_ＧはＵＸ－ｂｉｔ属性データのエンコーディングベクトルの分布、Ｄ_ｕｘ（ｘ、ｕ）はＵＸ－ｂｉｔ属性データのエンコーディングベクトルをレファレンスとしてデザインデータのエンコーディングベクトルを入力データとするとき、ＵＸ－ｂｉｔ属性判別器１５２で出力されたＵＸ－ｂｉｔ属性判別ベクトル（０～１間の確率値）を意味する。ＵＸ－ｂｉｔ属性判別器１５２により遂行されるデザイン生成モジュール１５の学習セッションでは、ＵＸ－ｂｉｔ属性判別ベクトルが含まれたＵＸ－ｂｉｔ属性判別損失がデザイン生成モジュール１５の損失関数に含まれ、デザインデータのエンコーディングベクトルの分布でのＵＸ－ｂｉｔ属性判別ベクトルＤ_ｕｘ（ｘ、ｕ）が最大（１）になり、Ｌ_ｄｕｘ＝０（最小値）になるように（デザインデータのエンコーディングベクトルがＵＸ－ｂｉｔ属性データのエンコーディングベクトルと類似していると判別されるように）、デザイン生成モジュール１５のパラメータがアップデートされるように構成できる。

デザイン生成モジュール１５の他の実施例と関連して、図３１は、本発明の他の実施例に係るデザイン生成モジュール１５の作動関係を示す模式図である。図３１に示すように、本発明の他の実施例に係るデザイン生成モジュール１５は、非線形ネットワークと連結され、非線形ネットワークは、複数個のＦＣレイヤー（Fully Connected Layer）が連続的に連結される非線形構造のネットワークであり、イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルを組合せた（concatenate）結合ベクトルを入力データとし、テーマベクトル（theme vector）を出力データとして出力し、出力されたテーマベクトルをデザイン生成モジュール１５のネットワーク内の複数のレイヤーに、スケール別に入力するモジュールである。このとき、デザイン生成モジュール１５の入力データとして、イメージテーマエンコーディングベクトル、テキストテーマエンコーディングベクトル及びＵＸ－ｂｉｔ属性データを組合せた（concatenate）結合ベクトルではなく、ＵＸ－ｂｉｔ属性データが適用され、テーマベクトルが入力されるスケールのレイヤーにノイズベクトル（noise vector）が各々入力される。これによれば、イメージテーマエンコーディングベクトル及びテキストテーマエンコーディングベクトルのデータ分布がデザイン生成モジュール１５のデータ分布を制限しないと同時に、ＵＸ－ｂｉｔ属性データのデータ分布がデザイン生成モジュール１５のデータ分布を制限するので、ＵＸ－ｂｉｔ属性データに厳格ながらも、実務者によって提供されたイメージテーマ及びテキストテーマから自由度が上昇して、固定的なワイヤーフレームで多様なデザインを生成できるという効果がある。

デザイン生成モジュール１５のＳｋｉｐ ｃｏｎｎｅｃｔｉｏｎと関連して、図３２は、本発明の一実施例に係るデザイン生成モジュール１５のＳｋｉｐ ｃｏｎｎｅｃｔｉｏｎを示す模式図である。図３２に示すように、デザイン生成モジュール１５のＳｋｉｐ ｃｏｎｎｅｃｔｉｏｎは、イメージテーマエンコーディングモジュール１０及びデザイン生成モジュール１５が、イメージテーマエンコーディングベクトルのみによって連結されるものではなく、イメージテーマエンコーディングモジュール１０の特定のレイヤー及びデザイン生成モジュール１５の特定のレイヤーを加算ロジックにより追加連結する構造を意味する。これによれば、勾配消失（gradient vanishing）及び爆発（exploding）の問題が低減するという効果があり、以前のレイヤーからどれくらい変化したか、余り（residual）のみを計算すればいいので、コンピューティングリソースが低減するという効果がある。

イメージテーマエンコーディングモジュール１０の他の実施例と関連して、図３３は、本発明の他の実施例に係る共通テーマセグメントモジュール１０１を示す模式図である。図３３に示すように、イメージテーマエンコーディングモジュール１０は、共通テーマセグメントモジュール１０１と連結されるように構成できる。共通テーマセグメントモジュール１０１は、イメージテーマデータ１００を入力データとし、共通テーマセグメントデータを出力データとするモジュールであり、テキストテーマエンコーディングベクトル及びイメージテーマエンコーディングベクトルの類似度が増加するように、共通テーマセグメントモジュール１０１のパラメータがアップデートされるように構成できる。本発明の一実施例に係る共通テーマセグメントモジュール１０１のネットワーク構造は、Ｊ．Ｌｏｎｇ ｅｔ ａｌ．（２０１５）のＦｕｌｌｙ Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ（ＦＣＮ）、Ｗ．Ｌｉｕ ｅｔ ａｌ．（２０１５）のＰａｒｓｅＮｅｔ、Ｈ．Ｎｏｈ ｅｔ ａｌ．（２０１５）のＣｏｎｖｏｌｕｔｉｏｎａｌ ａｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ ｅｔ ａｌ．（２０１５）のＵ－Ｎｅｔなどの構造を適用できる。これによれば、実務者が入力したイメージテーマデータの全体がデザインデータを生成するのに使用されるものではなく、イメージテーマデータのうちでテキストテーマデータと関連した部分のみがセグメントされてデザインデータを生成するのに使用されるので、デザイン生成モジュール１５において作業者の意図と関連性の高いデザインを生成できるという効果がある。

前記のような本発明の一実施例に係る自動デザイン生成の人工神経網装置１の構成及びＵＸ－ｂｉｔの構成の有機的な結合により、実務者は、生成したいデザインのコンセプトかつテーマに対応するイメージであるイメージテーマデータ、及び生成したいデザインのコンセプトかつテーマに対応するテキストであるテキストテーマデータを入力するだけでＵＸ－ｂｉｔ属性が規定され、ＩＡ、ワイヤーフレーム（Wireframe）、ウェブ／アプリデザインを生成できるという効果がある。

以上で説明した通り、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須特徴を変更することなく、他の具体的な形態で実施できることを理解すべきである。したがって、前述した実施例等は、全ての面において例示的なものであり、限定的なものではないことを理解しなければならない。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そして等価概念から導出される全ての変更又は変形された形態が、本発明の範囲に含まれると解析しなければならない。

本明細書内に記述された特徴及び利点は、全部を含まず、特に多くの追加的な特徴及び利点が図面、明細書及び請求項を考慮して当業者に明らかであろう。さらに、本明細書に使用される言語は、主に読みやすいように、そして教示の目的により選択され、本発明の主題を描写又は制限するために選択されないこともできることに留意すべきである。

本発明の実施例等の前述した説明は、例示の目的により提示された。これは、開示された正確な形態により本発明を制限するか、或いは、省略することなく行われることを意図するものではない。当業者は、前述した開示に基づいて多くの修正及び変更が可能であることを理解することができる。

したがって、本発明の範囲は、詳細な説明により限定されず、これに基づいた出願の任意の請求項等により限定される。よって、本発明の実施例等の開示は、例示的なものであり、添付の請求項に記載された本発明の範囲を制限するものではない。

Claims (8)

1. 実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであるイメージテーマデータを入力データとし、イメージテーマエンコーディングベクトルを出力データとするエンコーディングモジュールであるイメージテーマエンコーディングモジュールと、
   前記実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するテキストであるテキストテーマデータを入力データとし、テキストテーマエンコーディングベクトルを出力データとするエンコーディングモジュールであるテキストテーマエンコーディングモジュールと、
   前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを入力データとし、複数のＵＸ構成要素に対するＵＸ－ｂｉｔ属性を出力データとするモジュールであるＵＸ－ｂｉｔ生成モジュールと、
   前記イメージテーマエンコーディングベクトル、前記テキストテーマエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性を入力データとし、特定のウェブ／アプリグラフィックデザインを意味するデザインデータを出力データとして出力するアップサンプリングの人工神経網モジュールであるデザイン生成モジュールと、
   前記デザイン生成モジュールの学習セッションに利用されるモジュールであって、前記デザインデータ及び前記イメージテーマデータが入力データとして入力される場合、前記デザインデータ及び前記イメージテーマデータの類似度に対する確率を意味するイメージテーマ判別ベクトルを出力データとする事前学習された人工神経網モジュールであるイメージテーマ判別器と、
   前記デザイン生成モジュールの学習セッションに利用されるモジュールであって、前記デザインデータのエンコーディングベクトルであるデザインエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルが入力データとして入力される場合、前記デザインエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルの類似度に対する確率を意味するテキストテーマ判別ベクトルを出力データとする事前学習された人工神経網モジュールであるテキストテーマ判別器と、
   前記デザイン生成モジュールの学習セッションに利用されるモジュールであって、前記デザインエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性のエンコーディングベクトルが入力データとして入力される場合、前記デザインエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性のエンコーディングベクトルの類似度に対する確率を意味するＵＸ－ｂｉｔ属性判別ベクトルを出力データとする事前学習された人工神経網モジュールであるＵＸ－ｂｉｔ属性判別器と、を含み、
   前記デザイン生成モジュールの学習セッションでは、前記デザインデータ、並びに、これに対応する予め保存されたウェブ／アプリデザインのエンコーディングベクトルのうちで、前記イメージテーマエンコーディングベクトルとの類似度及び前記テキストテーマエンコーディングベクトルとの類似度が、特定の水準以上であるウェブ／アプリデザインのレファレンスデータ（Ground Truth）の差からなる代表デザイン損失と、前記イメージテーマ判別ベクトルを含むイメージテーマ判別損失と、前記テキストテーマ判別ベクトルを含むテキストテーマ判別損失と、前記ＵＸ－ｂｉｔ属性判別ベクトルを含むＵＸ－ｂｉｔ属性判別損失とが低減するように、前記デザイン生成モジュールのパラメータをアップデートすることを特徴とする、ＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置。
2. 前記デザイン生成モジュールと連結され、複数個のＦＣレイヤーが連続的に連結される非線形構造のネットワークであり、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを組合せた結合ベクトルを入力データとし、テーマベクトルを出力データとして出力し、出力された前記テーマベクトルを前記デザイン生成モジュールのネットワーク内の複数のレイヤーに、スケール別に入力するモジュールである非線形ネットワークをさらに含み、
   前記デザイン生成モジュールは、入力データとして前記ＵＸ－ｂｉｔ属性が入力され、前記テーマベクトルが入力されるスケールのレイヤーにノイズベクトルが各々入力されることを特徴とする、請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置。
3. 前記イメージテーマエンコーディングモジュールと連結され、前記イメージテーマデータを入力データとし、共通テーマセグメントデータを出力データとするモジュールである共通テーマセグメントモジュールをさらに含み、
   前記共通テーマセグメントモジュールの学習セッションでは、前記テキストテーマエンコーディングベクトル及び前記イメージテーマエンコーディングベクトルの類似度が増加するように、前記共通テーマセグメントモジュールのパラメータがアップデートされることを特徴とする、請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置。
4. 前記ＵＸ－ｂｉｔ属性は、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を含み、
   前記ＵＸ－ｂｉｔ生成モジュールは、
   特定のＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数の前記ＵＸ構成要素を生成するモジュールであるＵＸ構成要素生成モジュールと、
   前記ＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を出力する人工神経網モジュールであるＲＮＮモジュールと、を含むことを特徴とする、請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置。
5. 前記ＵＸ－ｂｉｔ属性は、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を含み、
   前記ＵＸ－ｂｉｔ生成モジュールは、
   特定のＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数の前記ＵＸ構成要素を生成するモジュールであるＵＸ構成要素生成モジュールと、
   前記ＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を出力する人工神経網モジュールであるＲＮＮモジュールと、を含み、
   前記ＲＮＮモジュールは、
   第１のＲＮＮセル及び第２のＲＮＮセルからなるＲＮＮブロックを基本単位とし、
   前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを最初の入力データとし、前記第１のＲＮＮセルは、前記最初の入力データ又は以前のセルの出力データ及びＲＮＮ隠れ層情報の入力を受け、ｎ番目のＵＸ構成要素の前記ＵＸ－ｂｉｔ機能属性を出力し、前記第２のＲＮＮセルは、以前のセルの出力データである前記ＵＸ－ｂｉｔ機能属性及び前記ＲＮＮ隠れ層情報の入力を受け、前記第１のＲＮＮセルで出力されたｎ番目のＵＸ構成要素の前記ＵＸ－ｂｉｔ機能属性に対する前記ＵＸ－ｂｉｔデザイン属性を出力することを特徴とする、請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置。
6. 前記ＵＸ－ｂｉｔ属性は、ＵＸ－ｂｉｔ機能属性及びＵＸ－ｂｉｔデザイン属性を含み、
   前記ＵＸ－ｂｉｔ生成モジュールは、
   特定のＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をマッチングできるように、複数の前記ＵＸ構成要素を生成するモジュールであるＵＸ構成要素生成モジュールと、
   前記ＵＸ構成要素に対して、前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を出力する人工神経網モジュールであるＲＮＮモジュールと、
   予め生成された全体のＵＸ構成要素の前記ＵＸ－ｂｉｔ属性、前記イメージテーマエンコーディングベクトル、前記テキストテーマエンコーディングベクトルをＥｎｖｉｒｏｍｅｎｔとし、前記ＲＮＮモジュールの一構成であるＲＮＮブロックをＡｇｅｎｔとし、１番目のＵＸ構成要素からｎ－１番目のＵＸ構成要素までの前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性に、仮想で前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性を持つｎ番目のＵＸ構成要素を含んだ時の状況をＳｔａｔｅとし、このような前記Ｓｔａｔｅにおいて前記Ａｇｅｎｔである前記ＲＮＮブロックがｎ番目のＵＸ構成要素に対して出力する前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性をＡｃｔｉｏｎとし、出力データであるｎ番目のＵＸ構成要素の前記ＵＸ－ｂｉｔ機能属性及び前記ＵＸ－ｂｉｔデザイン属性と、比較情報との類似度が高いほど、相対的に高いＲｅｗａｒｄが生成され、前記Ａｇｅｎｔである前記ＲＮＮブロックの隠れ層をアップデートするように構成される強化学習モジュールと、を含み、
   前記比較情報は、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルの組合せを意味することを特徴とする、請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置。
7. 請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置による自動デザイン生成方法において、
   前記自動デザイン生成の人工神経網装置の一構成であるイメージテーマエンコーディングモジュールが、実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであるイメージテーマデータを入力データとして入力を受け、イメージテーマエンコーディングベクトルを出力データとして出力するイメージテーマエンコーディングステップと、
   前記自動デザイン生成の人工神経網装置の一構成であるテキストテーマエンコーディングモジュールが、前記実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するテキストであるテキストテーマデータを入力データとして入力を受け、テキストテーマエンコーディングベクトルを出力データとして出力するテキストテーマエンコーディングステップと、
   前記自動デザイン生成の人工神経網装置の一構成であるＵＸ－ｂｉｔ生成モジュールが、前記イメージテーマエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルを入力データとして入力を受け、複数のＵＸ構成要素に対するＵＸ－ｂｉｔ属性を出力データとして出力するＵＸ－ｂｉｔ生成ステップと、
   前記自動デザイン生成の人工神経網装置の一構成であるデザイン生成モジュールが、前記イメージテーマエンコーディングベクトル、前記テキストテーマエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性を入力データとし、特定のウェブ／アプリグラフィックデザインを意味するデザインデータを出力データとして出力するデザイン生成ステップと、を含み、
   前記デザイン生成モジュールの学習セッションは、
   前記自動デザイン生成の人工神経網装置の一構成であるイメージテーマ判別器が、前記デザインデータ及び前記イメージテーマデータが入力データとして入力される場合、前記デザインデータ及び前記イメージテーマデータの類似度に対する確率を意味するイメージテーマ判別ベクトルを出力データとして出力するイメージテーマ判別ステップと、
   前記自動デザイン生成の人工神経網装置の一構成であるテキストテーマ判別器が、前記デザインデータのエンコーディングベクトルであるデザインエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルが入力データとして入力される場合、前記デザインエンコーディングベクトル及び前記テキストテーマエンコーディングベクトルの類似度に対する確率を意味するテキストテーマ判別ベクトルを出力データとして出力するテキストテーマ判別ステップと、
   前記自動デザイン生成の人工神経網装置の一構成であるＵＸ－ｂｉｔ属性判別器が、前記デザインエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性のエンコーディングベクトルが入力データとして入力される場合、前記デザインエンコーディングベクトル及び前記ＵＸ－ｂｉｔ属性のエンコーディングベクトルの類似度に対する確率を意味するＵＸ－ｂｉｔ属性判別ベクトルを出力データとして出力するＵＸ－ｂｉｔ属性判別ステップと、を含み、
   前記デザイン生成モジュールの学習セッションでは、前記デザインデータ、並びに、これに対応する予め保存されたウェブ／アプリデザインのうちで、前記イメージテーマエンコーディングベクトルとの類似度及び前記テキストテーマエンコーディングベクトルとの類似度が、特定の水準以上であるウェブ／アプリデザインレファレンスデータ（Ground Truth）の差からなる代表デザイン損失と、前記イメージテーマ判別ベクトルを含むイメージテーマ判別損失と、前記テキストテーマ判別ベクトルを含むテキストテーマ判別損失と、前記ＵＸ－ｂｉｔ属性判別ベクトルを含むＵＸ－ｂｉｔ属性判別損失とが低減するように、前記デザイン生成モジュールのパラメータをアップデートすることを特徴とする、ＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網方法。
8. 実務者が生成したいウェブ／アプリグラフィックデザインのテーマを代表するイメージであるイメージテーマデータ及び前記実務者が生成したい前記テーマを代表するテキストであるテキストテーマデータを前記実務者から入力を受ける実務者クライアントと、
   前記実務者クライアントから前記イメージテーマデータ及び前記テキストテーマデータの入力を受け、前記イメージテーマデータ及び前記テキストテーマデータに対応するデザインデータを出力する請求項１に記載のＵＸ－ｂｉｔを利用した自動デザイン生成の人工神経網装置と、を含む、自動デザイン生成の人工神経網システム。