JP7050605B2 - アプリケーション生成装置、アプリケーション生成方法、及びアプリケーション生成プログラム - Google Patents

Description

本発明は、ソースコードを含むアプリケーション用データを生成する技術に関する。

アプリケーション(アプリ)の開発において、アプリ開発の工数とコストとを削減するために、ノンプログラミングでコード、ユーザインターフェース（ＵＩ）、開発関連のドキュメントなどを自動生成したり、自動的にテストを実行させたりする超高速開発ツールが普及している。

例えば、Ｗｅｂサイト運営のために欠かせないアプリは、セキュリティ脆弱性が多く、サイバー攻撃に狙われやすい場所であるが、開発の難しいアプリも詳細設計の入力のみで自動生成でき、定期的な改修によってセキュリティ脆弱性を保護できるツールが知られている。

インプレス、"超高速開発ツールはＷｅｂアプリケーションに革新をもたらすか！？"、［ｏｎｌｉｎｅ］、平成２７年３月４日、株式発行インプレス、［平成３０年２月６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｉｔ．ｉｍｐｒｅｓｓｂｍ．ｃｏ．ｊｐ／ａｒｔｉｃｌｅｓ／－／１１０５０＞

しかし、超高速開発ツールには、その使用方法が理解しづらく、使用方法を理解するために学習の工数がかかるという課題が存在する。例えば、超高速開発ツールを使用したことがない開発者が、超高速開発ツールを使用してアプリを開発できるようになるために、超高速開発ツールの使用方法を、１～２ヵ月程度学習しなければならない。

本発明は、以上のような課題を解決するためになされたものであり、その目的は、容易且つ適切にアプリケーション用データを生成することのできる技術を提供することにある。

上記目的を達成するため、一観点に係るアプリケーション生成装置は、所定の画面を表示させて処理を行うアプリケーションのソースコードを含むアプリケーション用データを生成するアプリケーション生成装置であって、アプリケーションで表示される画面の画像データと、画面を表示させて処理を行うアプリケーションのソースコードと、の組を含むアプリケーション参考データを複数記憶する参考データ記憶手段と、作成対象のアプリケーションで表示させる対象画面に対応する画像データである対象画像データを受け付ける対象画面受付手段と、複数のアプリケーション参考データの中から対象画像データの対象画面の構成と類似する画面の画像データを含むアプリケーション参考データを抽出する類似データ抽出手段と、抽出されたアプリケーション参考データのソースコードに基づいて、対象画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するアプリケーション生成手段と、画像データからソースコードを生成する学習モデルを記憶する学習モデル記憶手段と、学習モデルを用いた推論処理により、対象画面の画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成する推論処理手段と、アプリケーション生成手段と、推論処理手段との少なくともいずれか一方により、前記アプリケーション用データを生成させる生成制御手段と、を備える。

本発明によれば、容易且つ適切にアプリケーション用データを生成することができる。

図１は、一実施形態に係るアプリケーション生成装置の全体構成図である。 図２は、一実施形態に係る参考データリポジトリを説明する図である。 図３は、一実施形態に係るアプリケーション生成処理のフローチャートである。 図４は、一実施形態に係る学習モデル学習処理のフローチャートである。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係るアプリケーション生成装置の全体構成図である。

アプリケーション生成装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）により構成され、外部Ｉ／Ｆ（インターフェース）１１と、プロセッサ１２と、入力装置１３と、表示装置１４と、参考データ記憶手段及び学習モデル記憶手段の一例としての記憶デバイス１５と、メモリ１６とを備えている。

入力装置１３は、例えば、マウス、キーボード等のユーザによる操作入力を受け付ける装置である。表示装置１４は、例えば、ディスプレイ等の各種情報を表示出力する装置である。

外部Ｉ／Ｆ１１は、外部装置との間でのデータの入出力を行う。本実施形態では、外部Ｉ／Ｆ１１は、スキャナ１００と接続され、スキャナ１００によって読み取られた画像のデータ（画像データ)を受け付け、記憶デバイス１５に格納する。

記憶デバイス１５は、例えば、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、プロセッサ１２で実行されるプログラムや、プロセッサ１２に利用されるデータを記憶する。本実施形態では、記憶デバイス１５は、参考データリポジトリ１５１と、アプリリポジトリ１５２と、学習モデル１５３とを含む。参考データリポジトリ１５１は、過去に作成したアプリケーションについての参考データ（アプリケーション参考データ３０(図２参照)）を格納する。アプリリポジトリ１５２は、アプリケーションを実行するためのアプリケーション用データ（アプリデータ）を格納する。学習モデル１５３は、画像データを入力として、画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを生成するための推論処理（いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理）を行うための学習モデルである。

プロセッサ１２は、メモリ１６に格納されているプログラムに従って各種処理を実行する。

メモリ１６は、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）であり、プロセッサ１２で実行されるプログラムや、必要な情報を記憶する。本実施形態では、メモリ１６は、アプリケーション(アプリケーション用データ)を生成するためのアプリケーション生成プログラム（アプリ生成プログラム）１７を格納する。アプリケーション生成プログラム１７は、プロセッサ１２に実行されることにより、対象画面受付手段の一例としての画像取得部１８と、文字認識処理手段の一例としての文字認識処理部１９と、類似データ抽出手段の一例としての画像認識処理部２０と、アプリケーション生成手段、修正処理手段、参考データ登録手段、及び生成制御手段の一例としてのアプリ生成処理部２１と、学習処理手段の一例としての学習処理部２２と、推論処理手段の一例としての推論処理部２３との機能部が構成されるプログラムを含んでいる。

画像取得部１８は、外部Ｉ／Ｆ１１を介してスキャナ１００から、作成対象のアプリケーションで表示させる画面(例えば、入力画面)の画像データ（対象画像データ）を取得する。

文字認識処理部１９は、対象画像データに対して光学文字認識処理を行うことにより、対象画像データに対応する画像における文字、文字列を認識する。

画像認識処理部２０は、画像データに対して画像認識処理を行う。本実施形態では、画像認識処理部２０は、対象画像データや、アプリケーション参考データ３０中の画像データを対象に画像認識処理を行う。また、画像認識処理においては、画像データ中における表示部品や、部品画像等を認識する。表示部品としては、例えば、作成するアプリがＨＴＭＬ形式のアプリである場合においては、ボタン、テキストボックス、ラジオボタン、チェックボックス、ドロップダウンメニュー、リストボックス、テキストエリア等がある。部品画像としては、タイトルや、画像の装飾等の表示部品とは異なる画像である。部品画像は、例えば、各画素の色の状況に応じて判断することができる。例えば、表示部品であれば画素の色が或る程度決まっているが、部品画像であれば、表示部品で使用されない色で構成されていたり、複数の異なる色によって構成されていたりする等により判断することができる。

アプリ生成処理部２１は、文字認識処理部１９による文字認識結果や、画像認識処理部２０の画像認識結果等に基づいて、アプリケーション用データを生成する処理を実行する。また、アプリ生成処理部２１は、所定の条件に基づいて、自身がアプリケーション用データを生成するか、推論処理部２３にアプリケーション用データを生成させるかを制御する。

学習処理部２２は、アプリケーション用データを教師データとして、学習モデルを学習させる処理を実行する。推論処理部２３は、画像データを入力として、学習モデルによる推論処理を実行し、画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを生成し、ソースコードを含むアプリケーション用データを生成する。

図２は、一実施形態に係る参考データリポジトリを説明する図である。

参考データリポジトリ１５１は、複数のアプリケーション参考データ３０を格納する。アプリケーション参考データ３０は、アプリケーションにおける表示画面(例えば、入力画面)の画像データ３１と、このアプリケーションにおけるソースコード３２とを含む。ここで、表示画面とは、表示装置の全面に対応する画面であってもよく、表示装置の一部（例えば、１つのウインドウ領域）に対応する画面であってもよい。部分ソースコード３２は、例えば、画像データ３１に対応する画面から入力されたデータを用いて処理を実行するためのソースコードであってもよい。ソースコードは、例えば、ＨＴＭＬ、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）形式であってもよい。

次に、アプリケーション生成装置１０の処理動作について説明する。

図３は、一実施形態に係るアプリケーション生成処理のフローチャートである。

まず、画像取得部１８が作成対象のアプリの対象画面の画像データ(対象画像データ)を、外部Ｉ／Ｆ１１を介してスキャナ１００から取得する（Ｓ３０１）。次いで、アプリ生成処理部２１は、所定の条件に基づいて、アプリデータの生成を画像認識処理により行うが、学習モデルを用いた推論処理により行うかを判定する（Ｓ３０２）。ここで所定の条件としては、学習モデルの学習に使用した教師データの数（すなわち、アプリケーション参考データの数）が所定数以下としてもよく、この条件を満たす場合には、学習モデルの学習精度が高くないことを意味しているので、画像認識処理によりアプリデータの生成を行うようにしてもよい。また、所定の条件としては、ユーザによる指定であってもよく、ユーザの指定に対応する方法によりアプリデータを生成するようにしてもよい。

この結果、アプリデータの生成を画像認識処理で行うと判定した場合（Ｓ３０２：画像認識処理）には、画像認識処理部２０は、参考データリポジトリ１５１の複数のアプリケーション参考データ３０の中から対象画像データの対象画面の構成と類似する画面の画像データ３１を含むアプリケーション参考データ３０を抽出する（Ｓ３０３）。

具体的には、画像認識処理部２０は、対象画像データに対して対象画面内に存在する表示部品を認識する画像認識処理を実行する。また、画像認識処理部２０は、参考データリポジトリ１５１の各アプリケーション参考データ３０の画像データ３１に対して画面内に存在する表示部品や部品画像を認識する画像認識処理を実行する。次いで、画像認識処理部２０は、対象画像データから認識された表示部品の種類と、同一又は類似している表示部品の種類が多く認識された画像データ３１を含むアプリケーション参考データ３０を抽出する。なお、対象画像データの対象画面の構成と類似する画面の画像データ３１を抽出する条件としては、別の条件としてもよく、他の条件を加えてもよい。また、アプリケーション参考データ３０に格納されているソースコードの言語が、アプリケーション参考データ３０によって異なっている場合には、作成する対象としている言語（例えば、ユーザによって指定された言語）のソースコードが含まれているアプリケーション参考データ３０の中から、同一又は類似している表示部品の種類が多く認識された画像データ３１を含むアプリケーション参考データ３０を抽出するようにすればよい。

次いで、文字認識処理部１９は、対象画像データの対象画面における文字、文字列を認識する（Ｓ３０４）。なお、本実施形態では、文字認識処理部１９は、認識された文字列について、画面中の位置や、画像認識処理部２０により検出された表示部品との対応関係の情報を把握し、メモリ１６に格納する。

次いで、アプリ生成処理部２１は、類似する画像データ３１を含むアプリケーション参考データ３０として抽出されたアプリケーション参考データ３０のソースコード３２を用いて、対象画像データに対応するソースコードを生成する。例えば、アプリ生成処理部２１は、ソースコード３２において、画像認識処理部２０により対象画像データで認識された表示部品に対応する記述を残し、ソースコード３２内の表示させる文字列の記述を、文字認識処理部１９により認識された対象画像データの文字列に置き換える。また、アプリ生成処理部２１は、生成したソースコードと、画像認識処理部２０により対象画像データにおいて認識された部品画像とを含めてアプリデータとする（Ｓ３０５）。

一方、アプリデータの生成を、学習モデルを用いた推論処理で行うと判定した場合（Ｓ３０２：推論処理）には、推論処理部２３は、学習モデル１５３に対象画像データを入力することにより、ソースコードを生成し、ソースコードを含むアプリデータを生成する（Ｓ３０６）。

ステップＳ３０５又はＳ３０６でアプリデータを生成した場合には、アプリ生成処理部２１は、生成した又は推論処理部２３により生成されたアプリデータのソースコードを表示させ、ユーザに修正指示を入力させる画面を表示させ、修正指示があったか否かを判定する（Ｓ３０７）。

この結果、修正指示があった場合（Ｓ３０７：Ｙｅｓ）には、アプリ生成処理部２１は、ユーザによるソースコードの修正指示を受け付けて、ユーザの修正指示に従ってソースコードを修正し（Ｓ３０８）処理をステップＳ３０９に進める。一方、修正指示がなかった場合（Ｓ３０７：Ｎｏ）には、アプリ生成処理部２１は、処理をステップＳ３０９に進める。

ステップＳ３０９では、アプリ生成処理部２１は、ステップＳ３０５又はＳ３０６で生成されたアプリデータ、又は、ステップＳ３０８で修正されたソースコードを含むアプリデータをアプリリポジトリ１５２に格納し、さらに、アプリデータを実行し、その実行により表示される画面の画像データと、アプリデータのソースコードとの組を参考データリポジトリ１５１に格納し、処理を終了する。

以上説明したように、本実施形態に係るアプリケーション生成装置１０によると、ユーザは、例えば、作成対象のアプリで表示させる画面の画像データを用意することにより、アプリデータを自動又は少しの手間で生成することができる。従って、エンジニアによるスクラッチ開発や、従来の超高速開発ツールと比較して、プログラミング知識がない人にとってアプリデータを容易かつ迅速に作成することができる。また、所定の条件に応じて、画像認識によってアプリデータを生成するか、学習モデルを用いてアプリデータを生成するかを切り替えることができ、状況に応じた適切なアプリデータを生成することができる。

図４は、一実施形態に係る学習モデル学習処理のフローチャートである。

学習モデル学習処理は、例えば、学習モデル１５３が学習されていない初期時において、又は、参考データリポジトリ１５１に１以上の新たなアプリ参考データが格納された後に実行される。

学習処理部２２は、参考データリポジトリ１５１からアプリ参考データを取得し（Ｓ４０１）、取得したアプリ参考データを教師データとして学習モデル１５３を学習させ（Ｓ４０２）、学習した学習モデルを記憶デバイス１５３に格納する（Ｓ４０３）。

この学習モデル学習処理によると、アプリケーション生成処理により生成されたアプリデータに対応するアプリ参考データを新たな教師データとして、学習モデル１５３の学習を行うことができ、学習モデル１５３の学習精度を向上することができる。また、学習モデルの学習させるためだけにアプリ参考データを生成等する必要がない。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、画像認識処理又は推論処理の一方によりアプリデータを生成するようにしていたが、本発明はこれに限られず、例えば、画像認識処理及び推論処理との両方によりアプリデータを生成するようにしてもよく、要は、画像認識処理及び推論処理との少なくとも一方によりアプリデータを生成するようにすればよい。なお、、画像認識処理及び推論処理との両方によりアプリデータを生成するようにした場合には、これらアプリデータを比較可能に表示するようにしてもよく、さらに、両方を用いて編集できるようにしてもよい。

また、上記実施形態において、アプリデータを表示する場合に、画像の内容と、ソースコードの処理の特徴を画面に表示するようにしてもよい。

また、上記実施形態において、推論処理を実行した場合に、ステップＳ３０４と同様に光学文字認識を行い、その認識結果を用いて、ソースコードの表示文字列を認識した文字列に置き換える処理を実行するようにしてもよい。

また、上記実施形態では、スキャナ１００から画像データを取り込むようにしていたが、本発明はこれに限られず、例えば、ＵＳＢメモリ、フラッシュメモリ等の外部記憶媒体から画像データを取り込むようにしてもよく、ネットワークを介して接続された外部装置から画像データを取り込むようにしてもよい。

また、上記実施形態では、ステップＳ３０５、Ｓ３０６でアプリデータを生成した後に、ステップＳ３０７，Ｓ３０８を実行して、ユーザのソースコードの修正指示を受け付けて、修正可能としていたが、本発明はこれに限られず、ステップＳ３０５、Ｓ３０６の直後に、ステップＳ３０９を実行するようにしてもよい。このようにすると、画像データを取得させた後は、ユーザが関与することなく、アプリ用データを生成させることができる。

また、上記実施形態では、アプリケーション生成装置を、単体の装置により構成していたが、本発明はこれに限られず、アプリケーション生成装置をネットワークに接続されたサーバ装置として構成し、ネットワークに接続されたクライアント装置からサーバ装置に作成対象のアプリケーションの画面の画像データを送信し、サーバ装置が、その画像データに基づいてアプリデータを生成して、クライアント装置に返信するようにしてもよい。

また、上記実施形態において、プロセッサ１２が行っていた処理の一部又は全部を、専用のハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。

１０…アプリケーション生成装置、１１…外部Ｉ／Ｆ、１２…プロセッサ、１３…入力装置、１４…表示装置、１５…記憶デバイス、１６…メモリ、１７…アプリ自動生成プログラム、１８…画像取得部、１９…文字認識処理部、２０…画像認識処理部、２１…アプリ生成処理部、２２…学習処理部、２３…推論処理部、３０…アプリケーション参考データ、３１…画像データ、３２…ソースコード、１５１…参考データリポジトリ、１５２…アプリリポジトリ、１５３…学習モデル

Claims (11)

1. 所定の画面を表示させて処理を行うアプリケーションのソースコードを含むアプリケーション用データを生成するアプリケーション生成装置であって、
   アプリケーションで表示される画面の画像データと、前記画面を表示させて処理を行うアプリケーションのソースコードと、の組を含むアプリケーション参考データを複数記憶する参考データ記憶手段と、
   作成対象のアプリケーションで表示させる対象画面に対応する画像データである対象画像データを受け付ける対象画面受付手段と、
   複数の前記アプリケーション参考データの中から前記対象画像データの前記対象画面の構成と類似する画面の画像データを含むアプリケーション参考データを抽出する類似データ抽出手段と、
   抽出された前記アプリケーション参考データの前記ソースコードに基づいて、前記対象画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するアプリケーション生成手段と、
   画像データからソースコードを生成する学習モデルを記憶する学習モデル記憶手段と、
   前記学習モデルを用いた推論処理により、前記対象画面の画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成する推論処理手段と、
   前記アプリケーション生成手段と、前記推論処理手段との少なくともいずれか一方により、前記アプリケーション用データを生成させる生成制御手段と、
   を備え、
   前記アプリケーション生成手段は、前記対象画像データから画面の表示に必要な部品画像データを抽出し、前記アプリケーション用データに、前記部品画像データを含める
   アプリケーション生成装置。
2. 前記類似データ抽出手段は、前記対象画像データの対象画面に含まれる表示部品の構成と類似する表示部品の構成を含む画像の画像データを含むアプリケーション参考データを抽出する
   請求項１に記載のアプリケーション生成装置。
3. 所定の画面を表示させて処理を行うアプリケーションのソースコードを含むアプリケーション用データを生成するアプリケーション生成装置であって、
   アプリケーションで表示される画面の画像データと、前記画面を表示させて処理を行うアプリケーションのソースコードと、の組を含むアプリケーション参考データを複数記憶する参考データ記憶手段と、
   作成対象のアプリケーションで表示させる対象画面に対応する画像データである対象画像データを受け付ける対象画面受付手段と、
   複数の前記アプリケーション参考データの中から前記対象画像データの前記対象画面の構成と類似する画面の画像データを含むアプリケーション参考データを抽出する類似データ抽出手段と、
   抽出された前記アプリケーション参考データの前記ソースコードに基づいて、前記対象画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するアプリケーション生成手段と、
   画像データからソースコードを生成する学習モデルを記憶する学習モデル記憶手段と、
   前記学習モデルを用いた推論処理により、前記対象画面の画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成する推論処理手段と、
   前記アプリケーション生成手段と、前記推論処理手段との少なくともいずれか一方により、前記アプリケーション用データを生成させる生成制御手段と、
   を備え、
   前記類似データ抽出手段は、前記対象画像データの対象画面に含まれる表示部品の構成と類似する表示部品の構成を含む画像の画像データを含むアプリケーション参考データを抽出する
   アプリケーション生成装置。
4. 前記対象画面に含まれる文字列を認識する文字認識処理手段をさらに有し、
   前記アプリケーション生成手段は、前記アプリケーション参考データの前記ソースコードにおける表示させる文字列を規定する記述部分を、認識した文字列に置き換える
   請求項１から請求項３のいずれか一項に記載のアプリケーション生成装置。
5. 前記アプリケーション生成手段又は、前記推論処理手段により生成された前記アプリケーション用データのソースコードに対する修正指示を受け付けて、前記ソースコードを修正する修正処理手段をさらに有する
   請求項１から請求項４のいずれか一項に記載のアプリケーション生成装置。
6. 前記アプリケーション生成手段又は、前記推論処理手段により生成されたアプリケーション用データ、又は前記修正処理手段により修正されたソースコードを含むアプリケーション用データに基づいて表示される表示画面の画像データと、前記アプリケーション用データのソースコードとの組を新たなアプリケーション参考データとして、前記参考データ記憶手段に登録する参考データ登録手段をさらに有する
   請求項５に記載のアプリケーション生成装置。
7. 前記アプリケーション生成手段又は、前記推論処理手段により生成されたアプリケーション用データに基づいて表示される表示画面の画像データと、前記アプリケーション用データのソースコードとの組を新たなアプリケーション参考データとして、前記参考データ記憶手段に登録する参考データ登録手段をさらに有する
   請求項１から請求項４のいずれか一項に記載のアプリケーション生成装置。
8. 所定の画面を表示させて処理を行うアプリケーションのソースコードを含むアプリケーション用データを生成するアプリケーション生成装置であって、
   アプリケーションで表示される画面の画像データと、前記画面を表示させて処理を行うアプリケーションのソースコードと、の組を含むアプリケーション参考データを複数記憶する参考データ記憶手段と、
   作成対象のアプリケーションで表示させる対象画面に対応する画像データである対象画像データを受け付ける対象画面受付手段と、
   複数の前記アプリケーション参考データの中から前記対象画像データの前記対象画面の構成と類似する画面の画像データを含むアプリケーション参考データを抽出する類似データ抽出手段と、
   抽出された前記アプリケーション参考データの前記ソースコードに基づいて、前記対象画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するアプリケーション生成手段と、
   画像データからソースコードを生成する学習モデルを記憶する学習モデル記憶手段と、
   前記学習モデルを用いた推論処理により、前記対象画面の画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成する推論処理手段と、
   前記アプリケーション生成手段と、前記推論処理手段との少なくともいずれか一方により、前記アプリケーション用データを生成させる生成制御手段と、
   を備え、
   前記アプリケーション生成手段又は、前記推論処理手段により生成されたアプリケーション用データに基づいて表示される表示画面の画像データと、前記アプリケーション用データのソースコードとの組を新たなアプリケーション参考データとして、前記参考データ記憶手段に登録する参考データ登録手段をさらに有する
   アプリケーション生成装置。
9. 前記参考データ登録手段により、前記参考データ記憶手段に登録された、前記アプリケーション参考データを用いて、前記学習モデルの学習を行う学習処理手段をさらに有する
   請求項６から請求項８のいずれか一項に記載のアプリケーション生成装置。
10. 所定の画面を表示させて処理を行うアプリケーションのソースコードを含むアプリケーション用データを生成するアプリケーション生成装置によるアプリケーション生成方法であって、
    アプリケーションで表示される画面の画像データと、前記画面を表示させて処理を行うアプリケーションのソースコードと、の組を含むアプリケーション参考データを複数記憶しておき、
    作成対象のアプリケーションで表示させる対象画面に対応する画像データである対象画像データを受け付け、複数の前記アプリケーション参考データの中から前記対象画像データの前記対象画面の構成と類似する画面の画像データを含むアプリケーション参考データを抽出し、抽出された前記アプリケーション参考データの前記ソースコードに基づいて、前記対象画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するか、又は、学習モデルを用いた推論処理により、対象画面の画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するかのいずれか一方により、前記アプリケーション用データを生成し、
    前記アプリケーション用データを生成する際に、前記対象画像データから画面の表示に必要な部品画像データを抽出し、前記アプリケーション用データに、前記部品画像データを含める
    アプリケーション生成方法。
11. 所定の画面を表示させて処理を行うアプリケーションのソースコードを含むアプリケーション用データを生成するアプリケーション生成装置を構成するコンピュータにより実行されるアプリケーション生成プログラムであって、
    前記コンピュータを、
    作成対象のアプリケーションで表示させる対象画面に対応する画像データである対象画像データを受け付ける対象画像受付手段と、
    アプリケーションで表示される画面の画像データと、前記画面を表示させて処理を行うアプリケーションのソースコードと、の組を含む、複数のアプリケーション参考データの中から前記対象画像データの前記対象画面の構成と類似する画面の画像データを含むアプリケーション参考データを抽出する類似データ抽出手段と、
    抽出された前記アプリケーション参考データの前記ソースコードに基づいて、前記対象画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成するアプリケーション生成手段と、
    画像データからソースコードを生成する学習モデルを記憶する学習モデル記憶手段と、
    前記学習モデルを用いた推論処理により、前記対象画面の画像データに対応する対象画面を表示させて処理を行うアプリケーション用のソースコードを含むアプリケーション用データを生成する推論処理手段と、
    前記アプリケーション生成手段と、前記推論処理手段との少なくともいずれか一方により、前記アプリケーション用データを生成させる生成制御手段と、して機能させ、
    前記アプリケーション生成手段を、前記対象画像データから画面の表示に必要な部品画像データを抽出させ、前記アプリケーション用データに、前記部品画像データを含めさせるように機能させるアプリケーション生成プログラム。

Images