JP7215793B2 - 画像表示システム及びプログラム - Google Patents

Description

本発明は、画像表示システム及びプログラムに関する。

近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ；人工知能）による画像の自動生成の技術が開発されている。例えば、下記非特許文献１には、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ；敵対的生成ネットワーク）と呼ばれるアルゴリズムを用いて人物のイラストを自動生成する技術が開示されている。

非特許文献２には、アニメキャラクタに特化した画像の自動生成技術、およびアニメキャラクタをユーザの好みに応じて生成するためのインタフェースについて開示されている。

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, "Generative Adversarial Nets" In NIPS 2014. Yanghua Jin, Jiakai Zhang, Minjun Li, Yingtao Tian, Huachun Zhu, Zhihao Fang, "Towards the Automatic Anime Characters Creation with Generative Adversarial Networks" eprint arXiv, https://arxiv.org/abs/1708.05509

しかしながら上記非特許文献２に開示された技術では、抽象的なパラメータが画像自動生成の入力値として用いられるため、ユーザが所望する画像を自動生成するにはユーザに対して多数の試行が必要となり、ユーザにとって負担が大きい。

本発明は、このような問題を鑑みてなされたものであり、ユーザの所望するような画像を直感的な操作によって得ることができる画像表示システム及びプログラムを提供することを目的とする。

本発明によれば、基準画像を表示面に表示させる第一表示制御部と、前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、を備え、前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、画像表示システムが提供される。

また、本発明によれば、コンピュータを、基準画像を表示面に表示させる第一表示制御手段と、前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御手段と、として機能させ、前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、プログラムが提供される。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、ユーザの所望するような画像を直感的な操作によって得ることができる。

本発明の一実施形態に係る画像表示システムの全体構成例を示す図である。 同実施形態に係る画像処理サーバのハードウェア構成例を示す図である。 同実施形態に係るユーザ端末のハードウェア構成例を示す図である。 同実施形態に係る制御部の機能構成例を示す図である。 同実施形態に係る第一表示制御部による表示制御の一例を示す図である。 同実施形態に係る所定空間および探索領域の一例を示す図である。 同実施形態に係る領域設定部による領域設定処理の一例を示す図である。 同実施形態に係る第二表示制御部による表示制御の一例を示す図である。 同実施形態に係る操作取得部による取得処理の一例を示す図である。 同実施形態に係る所定空間および探索領域の一例を示す図である。 同実施形態に係る第一表示制御部による表示制御処理の一例を示す図である。 同実施形態に係る所定空間および探索領域の一例を示す図である。 同実施形態に係る調整部による調整処理の一例を示す図である。 同実施形態に係る調整部による選択対象集団の調整に係る処理の一例を示す図である。 同実施形態に係る調整部による選択対象集団の調整に係る処理の一例を示す図である。 同実施形態の変形例に係る領域設定部による探索領域の設定処理の一例を示す図である。 同実施形態の変形例に係る領域設定部による探索領域の設定処理の一例を示す図である。 同実施形態の変形例に係る領域設定部による探索領域の設定処理の一例を示す図である。 同実施形態の画像表示システムにより実行される処理の流れを示すフローチャートである。

本発明の実施形態の内容を列記して説明する。本発明の一実施形態による画像処理装置及びプログラムは、以下のような構成を備える。

［項目１］
基準画像を表示面に表示させる第一表示制御部と、
前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、
を備え、
前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、画像表示システム。
［項目２］
前記第一表示制御部は、前記表示面に表示された前記複数の候補画像のうち一の画像に対する選択が入力された場合に、選択された前記一の画像を前記基準画像として表示させる、項目１に記載の画像表示システム。
［項目３］
前記第一表示制御部は、選択された前記一の画像を、前記基準画像が表示されていた領域に前記基準画像として表示させる、項目２に記載の画像表示システム。
［項目４］
前記複数の候補画像のうち一の画像に対する選択の入力は、前記一の画像の前記基準画像が表示されている領域に向かう前記表示面上での操作体の移動に基づく入力である、項目３に記載の画像表示システム。
［項目５］
前記探索領域は、前記基準画像の画像データと、先に前記基準画像として選択された画像の画像データとの距離に基づいて設定される、項目１～４のいずれか一項に記載の画像表示システム。
［項目６］
前記探索領域は、前記基準画像の画像データと、先に前記基準画像として選択された複数の画像の画像データとの距離に基づいて設定される、項目５に記載の画像表示システム。
［項目７］
前記探索領域は、先に前記基準画像として選択された複数の画像の画像データの、前記所定空間上における分布に基づいて設定される、項目１～６のいずれか一項に記載の画像表示システム。
［項目８］
前記探索領域は、先に前記基準画像として選択された複数の画像の画像データの、前記所定の空間上における推移に基づいて設定される、項目７に記載の画像表示システム。
［項目９］
前記探索領域は、前記表示面に表示される前記所定空間上における画像群の画像データのマッピング画面に対する操作に基づいて設定される、項目１～８のいずれか一項に記載の画像表示システム。
［項目１０］
前記所定空間は、前記画像の画像データの座標空間を次元削減処理または次元数の調整処理をして得られる空間である、項目１～９のいずれか一項に記載の画像表示システム。
［項目１１］
前記画像データは、前記画像をベクトル化処理して得られる、項目１～１０のいずれか一項に記載の画像表示システム。
［項目１２］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上における表示態様を制御する、項目１～１１のいずれか一項に記載の画像表示システム。
［項目１３］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上の表示位置を決定する、項目１２に記載の画像表示システム。
［項目１４］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々と前記基準画像との前記表示面における距離を決定する、項目１３に記載の画像表示システム。
［項目１５］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上の表示サイズを制御する、項目１２～１４のいずれか一項に記載の画像表示システム。
［項目１６］
前記第二表示制御部は、前記探索領域のうち、前記画像表示システムの処理状況に応じて設定されるサイズを有する選択対象集団から選択された前記候補画像を表示する、項目１～１５のいずれか一項に記載の画像表示システム。
［項目１７］
前記画像表示システムの処理が進行するにつれて、前記探索領域に対する前記選択対象集団のサイズを大きく、または小さくする、項目１６に記載の画像表示システム。
［項目１８］
前記第二表示制御部は、前記表示面に表示される、前記探索領域のサイズを変更する領域変更オブジェクトに対する入力に基づく新たな探索領域に含まれる画像データを有する前記複数の候補画像を表示する、項目１～１７のいずれか一項に記載の画像表示システム。
［項目１９］
コンピュータを、
基準画像を表示面に表示させる第一表示制御手段と、
前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御手段と、
として機能させ、
前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、プログラム。

以下、添付図面を参照しながら本発明の一実施形態について説明する。

図１は、本発明の一実施形態に係る画像表示システムの全体構成例を示す図である。本実施形態の画像表示システム１は、画像処理サーバ１０を含んで構成される。画像処理サーバ１０は、一又は複数のユーザ端末２０と通信ネットワークＮＷを介して通信可能に接続される。通信ネットワークＮＷは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

本実施形態の画像表示システム１は、一又は複数のユーザに対して、ユーザの操作に応じて選択される画像に基づいてユーザの所望する画像を自動的に生成するサービスを提供しようとするものである。本実施形態の画像表示システム１は、たとえば、画像処理サーバ１０が複数の画像をユーザ端末２０に送信し、ユーザがユーザ端末２０を操作して複数の画像から少なくとも一の画像を選択し、画像処理サーバ１０がかかる選択に基づき少なくとも一の画像を自動生成する。画像処理サーバ１０は自動生成した画像をユーザ端末２０に送信して、ユーザが再度ユーザ端末２０に対して操作を行い一の画像を選択する。このような処理を繰り返すことにより、ユーザは自己の所望するような画像を直感的に選択し続けるだけで、ユーザが最も自己の指向と合う画像を得ることが可能となる。なお、画像表示システム１は、予め準備または生成された画像を所定のストレージ等に格納しておき、ユーザの操作に応じてユーザのリクエストに近い画像をユーザに提示するサービスを提供するものであってもよい。このような場合であれば、例えば、画像処理サーバ１０にかかる計算コストを削減したり、レイテンシを削減することができる。

画像処理サーバ１０は、ユーザ端末２０に対するユーザの操作に応じて選択される画像に基づいてユーザの所望する画像を自動的に生成する処理を行うためのコンピュータである。画像処理サーバ１０は、たとえば、パーソナルコンピュータ、ワークステーション、またはクラウドコンピューティングによる仮想的なコンピュータであってもよい。画像処理サーバ１０は、いわゆるＷｅｂアプリケーションとしてこれらの機能を実行することを想定する。なお、図１において、画像処理サーバ１０は単一のサーバとして図示しているが、これに限らず、画像表示システム１は、画像処理サーバ１０を含む複数の画像処理サーバを有し、分散処理によって本システムにおける処理を実行することができる。また、ここで、分散処理を行う画像処理サーバの台数の増減を、各処理の負荷及び／または各処理を行う対象となる画像のサイズや数に応じて動的に変更することもできる。また、画像処理サーバ１０は、オンラインで画像データを処理しても良い。

ユーザ端末２０は、携帯電話、スマートフォン、ゲーム機、タブレットコンピュータ、パーソナルコンピュータなどの端末機器である。

ユーザ端末２０は、表示部２６に表示された画像のうちユーザが選択した画像に関する情報を画像処理サーバ１０に送信し、送信した情報を基に生成された画像を画像処理サーバ１０から受信する。ユーザ端末２０には、例えば、本実施形態に係る画像表示システム１に対応するアプリケーションソフトやＷｅｂブラウザ等がインストールされていてもよい。

図２は、本実施形態に係る画像処理サーバ１０のハードウェア構成例を示す図である。画像処理サーバ１０は、少なくとも、制御部１１、メモリ１２、ストレージ１３、送受信部１４、入出力部１５、画像制御部１６、画像用メモリ１７等を備え、これらはバス１８を通じて相互に電気的に接続される。

制御部１１は、画像処理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１３に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。また、制御部１１は、後述する候補画像の探索範囲を制御する機能を有する。

メモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、制御部１１のワークエリア等として使用され、また、画像処理サーバ１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１３に構築されていてもよい。

送受信部１４は、画像処理サーバ１０を通信ネットワークＮＷに接続する。なお、送受信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）などの近距離通信インタフェースを備えていてもよい。送受信部１４は、例えば、ユーザ端末２０から選択された画像に関する情報を受信したり、画像処理サーバ１０で自動生成した画像データをユーザ端末２０に送信したりする。入出力部１５は、キーボードやマウス類、コントローラ等の情報入力機器、及びディスプレイ等の出力機器である。

画像制御部１６は、画像を自動生成する処理を行う機能を有する。画像制御部１６は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ホストであるＣＰＵからの命令を多数のコアにより同時に並列処理を行うことができる。また、画像制御部１６は、アクセラレーターや、アクセラレータークラスタにより同時に並列処理を行ってもよい。アクセラレーターとしては、例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、独自定義のニューラルネットワーク専用演算コア、推論専用の光を用いた演算装置などが挙げられ、これらに限定されない。画像の自動生成処理は、例えば、ボルツマンマシン、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ、ＧＡＮ、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＳｔｙｌｅＴｒａｎｓｆｅｒ等の公知の機械学習のアルゴリズムが用いられる。

画像用メモリ１７は、自動生成された画像データを格納するために用いられる。画像用メモリ１７は、例えば、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。バス１８は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

図３は、本実施形態に係るユーザ端末２０のハードウェア構成例を示す図である。ユーザ端末２０は、少なくとも、制御部２１、メモリ２２、ストレージ２３、送受信部２４、入出力部２５、および表示部２６等を備え、これらはバス２７を通じて相互に電気的に接続される。制御部２１、メモリ２２、ストレージ２３、送受信部２４および入出力部２５の各構成要素は上述した画像処理サーバ１０の有する各構成要素のハードウェアとしての機能は同一であるため説明を省略する。

表示部２６は、各種情報を表示する機能を有する。表示部２６は、例えば、ディスプレイ等により実現されてもよい。また、表示部２６は、タッチパネルなど、入出力部２５と機能が一体となって実現されるものであってもよい。本実施形態では、表示部２６はタッチパネル（すなわちユーザの操作を受け付ける機能を有するもの）により実現されているものとして説明する。

図４は、本実施形態に係る制御部１１の機能構成例を示す図である。制御部１１は、画像取得部１０１、第一表示制御部１０２、領域設定部１０３、第二表示制御部１０４、操作取得部１０５、調整部１０６を備える。

なお、画像取得部１０１、第一表示制御部１０２、領域設定部１０３、第二表示制御部１０４、操作取得部１０５、調整部１０６は、画像処理サーバ１０が備える制御部１１又は画像制御部１６がストレージ１３に記憶されているプログラムをメモリ１２または画像メモリ１７に読み出して実行することにより実現される。また、各部で実行される処理について、その処理負荷やハードウェアリソースに応じて、画像処理サーバ１０内の複数の装置、及び／または、他のサーバで並列処理を行うこともできる。

画像取得部１０１は、画像データを取得する機能を有する。例えば、画像取得部１０１は、予めストレージ１３に格納されている画像データや、画像制御部１６により自動生成された画像データ（画像メモリ１７に記憶されていてもよい）を取得する。また、画像取得部１０１は、ユーザ端末２０等、外部ハードウェアから入出力部１５等を通して画像データを取得してもよい。なお、ここでいう画像データは、画像そのものを規定するデータに限らず、例えば、事前に画像データを圧縮したり特徴量を抽出したりして得られる、画像を規定するデータであってもよい。

第一表示制御部１０２は、基準画像を表示面に表示させる機能を有する。本実施形態に係る基準画像とは、画像制御部１６による画像の自動生成処理の入力パラメータとなる画像データを有する画像を意味する。かかる基準画像は、ユーザ端末２０の表示部２６の表示面に表示される。

図５は、本実施形態に係る第一表示制御部１０２による表示制御の一例を示す図である。図示するように、ユーザ端末２０の表示面２６ａには、Ｗｅｂアプリケーションの画面２００が表示されている。画面２００の中央部分には基準画像２０１が表示されている。基準画像２０１の周囲においては、一群の候補画像２０２ａ～２０２ｎが表示されている。ここで候補画像とは、基準画像２０１を基に自動生成された画像のうち、後述する所定空間上の探索領域内に存在する一部または全部の画像である。所定空間とは、例えば、画像データを規定する多次元のベクトル空間を意味する。

また、画面２００には、過去に基準画像として選択された画像のサムネイル２０３ａ～２０３ｃが時系列順となるように並べて表示されている。また、サムネイル２０３ｃに隣接して、現在の基準画像２０１のサムネイル２０４が表示されている。また、画面２００の上部には、後述する探索領域のサイズを調整するためのスライダーバー２０５が表示されている。なお、スライダーバー２０５は画面２００には必ずしも表示されなくてもよい。

領域設定部１０３は、探索領域を設定する機能を有する。探索領域とは、所定空間上における候補画像の取得対象領域を意味する。画像取得部１０１は、領域設定部１０３により設定された探索領域に含まれる候補画像の画像データを取得する。

図６は、本実施形態に係る所定空間および探索領域の一例を示す図である。図６に示すように、所定空間５００において、予め生成されているか、または画像制御部１６により生成された画像群の画像データが模式的にマッピングされている。この画面をマッピング画面と称する。かかる所定空間５００の次元数は特に限定されないが、説明のため、図６～図８においては二次元的に所定空間５００を表現する。以下の説明においても、所定空間５００を二次元的に表現する。

図７は、本実施形態に係る領域設定部１０３による領域設定処理の一例を示す図である。図７に示すように、領域設定部１０３は、基準画像の画像データ５０１の座標を中心として、距離がＲ１以内となる領域を探索領域５０２として設定する。ここで設定される探索領域５０２に含まれる画像は、互いの画像データの類似度が高く、基準画像と比較的類似している可能性の高い画像である。また、ここでいう距離とは、例えば、ユークリッド距離、マンハッタン距離、マハラノビス汎距離、Earth Mover Distance、カルバック・ライブラー情報量等、多次元空間において規定される距離であり、その種類は特に限定されない。

第二表示制御部１０４は、探索領域５０２に含まれる候補画像を表示する機能を有する。例えば、画像取得部１０１は、図７に示す探索領域５０２に含まれる画像のうち一以上の画像を候補画像として取得し、第二表示制御部１０４が、取得された候補画像をユーザ端末２０の表示面２６ａに表示する。このとき第二表示制御部１０４は、表示面において、基準画像の表示領域の周辺において、選択可能に表示させる。

図８は、本実施形態に係る第二表示制御部１０４による表示制御の一例を示す図である。図示するように、画面２００において、基準画像２０１の周囲に、候補画像２０２ａ～２０２ｎが表示されている。かかる候補画像２０２ａ～２０２ｎは、ユーザの操作に対して選択可能に表示され得る。

これらの候補画像２０２ａ～２０２ｎの表示態様は特に限定されない。例えば、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上での距離に基づいて、候補画像２０２の表示態様を制御してもよい。

ここでいう表示態様は、例えば表示位置であってもよい。具体的には、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上における距離の長短にあわせて、候補画像２０２と基準画像２０１との画面２００上での位置を決定してもよい。つまり、第二表示制御部１０４は、基準画像２０１と候補画像２０２との距離が遠ければ、画面２００上において候補画像２０２を基準画像２０１から離れた位置に表示させ、基準画像２０１と候補画像２０２との距離が近ければ、画面２００上において候補画像２０２を基準画像２０１に近い位置に表示させてもよい。これにより、基準画像２０１と候補画像２０２との類似度を画面２００を見るだけでユーザが直感的に把握することができる。

また表示態様は、例えば、画面２００上の大きさであってもよい。図８に示すように、例えば、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上における距離の長短にあわせて、候補画像２０２の表示サイズの大小を制御してもよい。具体的には、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上における距離が短ければ候補画像２０２の表示サイズを大きくし、該距離が長ければ候補画像２０２の表示サイズを小さくしてもよい。これにより、基準画像２０１と候補画像２０２との類似度を画面２００を見るだけでユーザが直感的に把握することができる。

また、図８に示すように、候補画像２０２の表示態様は、表示位置および表示サイズの組み合わせにより調整されてもよい。また、図８に示す例では、候補画像２０２が基準画像２０１を中心としてグリッド状に整列されているが、例えば基準画像２０１を中心とする円弧上に候補画像２０２が整列されてもよいし、基準画像２０１と候補画像２０２の群の表示位置が分別された態様で候補画像２０２が表示されてもよい。

操作取得部１０５は、ユーザ端末２０に対する操作に基づいて選択された候補画像２０２に係る情報を取得する機能を有する。例えば、ユーザ端末２０の表示面２６ａに対するユーザの操作により候補画像２０２が選択されると、ユーザ端末２０は選択された候補画像２０２に関する情報を画像処理サーバ１０に送信する。このとき、操作取得部１０５は、送受信部１４を介して該情報を取得する。

図９は、本実施形態に係る操作取得部１０５による取得処理の一例を示す図である。図示するように、ユーザの手等の操作体２０６により画面２００に対して候補画像２０２ｍが選択されたとする。この場合、ユーザ端末２０は、操作体２０６により選択された候補画像２０２ｍに係る情報を画像処理サーバ１０に送信し、操作取得部１０５が該情報を取得する。

なお、操作取得部１０５は、画面２００の候補画像２０２ｍが表示されている部分をタップまたはクリック等の操作によって特定された候補画像２０２ｍに係る情報を取得してもよいし、候補画像２０２ｍを基準画像２０１が表示されている領域に向かって操作体２０６を移動させる操作（例えば、スライドまたはフリック操作）によって、該情報を取得してもよい。これにより、候補画像２０２ｍを次の基準画像として選択する操作としてユーザにとって直感的となる。

図１０は、本実施形態に係る所定空間および探索領域の一例を示す図である。図示するように、所定空間５００において、操作取得部１０５が取得した情報に係る候補画像２０２ｍの画像データ５０３が特定される。このとき、かかる候補画像２０２ｍが次の基準画像２０１となる。画像取得部１０１は、候補画像２０２ｍを基準画像２０１として取得する。

図１１は、本実施形態に係る第一表示制御部１０２による表示制御処理の一例を示す図である。図示するように、第一表示制御部１０２は、図９において選択された候補画像２０２ｍを基準画像２０１として表示する。このとき、図１１に示すように、先に基準画像２０１として表示されていた位置に、候補画像２０２ｍが新たな基準画像として表示される。これにより、新たな基準画像をベースとする次の処理を行うことができる。なお、第一表示制御部１０２は、新たに基準画像２０１として選択された候補画像のサムネイル２０６を、先の基準画像のサムネイル２０４に隣接して表示してもよい。

図１２は、本実施形態に係る所定空間および探索領域の一例を示す図である。図示するように、先の候補画像２０２ｍが新たな基準画像２０１として選択されると、領域設定部１０３は、新たな基準画像２０１の画像データ５０３の座標を中心として、距離がＲ２以内となる領域を探索領域５０４として設定する。次の処理においては、この探索領域５０４に含まれる画像データを有する画像が候補画像の対象となる。

なお、探索範囲５０４の中心からの距離Ｒ２は、先の探索範囲５０２の中心からの距離Ｒ１と同じであってもよいし異なっていてもよい。例えば、距離Ｒ２は、距離Ｒ１よりも小さくてもよい。処理が進むに連れてユーザの所望する画像が生成されやすくなるので、該距離を小さくすることにより、より精度の高い候補画像が得られやすくなる。また、かかる距離の大きさは、処理の進行に応じて順次変更されてもよいし、図１１に示したようなスライダーバー２０５により自在に選択されてもよい。このような探索範囲の設定方法の変形例については後述する。

かかる機能部による処理を順次繰り返していくことで、ユーザが候補画像を選択し、かかる候補画像を新たな基準画像としてさらに候補画像が絞り込まれていく。このように、ユーザによる候補画像の選択を繰り返すだけで、ユーザの所望する画像を簡単に探索することが可能である。なお、図１１等には図示されていないが、画面２００には、ユーザによる選択が完了した場合（すなわち最後に基準画像として選択された画像がユーザの所望する画像である場合）に、画像の探索を終了するためのボタン等が表示されてもよい。

調整部１０６は、所定空間の次元や画像データの形式を調整する機能を有している。調整部１０６は、画像処理サーバ１０においては任意に設けられる。画像データを規定する所定空間の次元がある程度の大きさを有する場合、候補画像の探索のための計算量が増大する。この場合、候補画像を表示するまでのレイテンシが大きくなるため、ユーザエクスペリエンス（Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ；ＵＸ）が低下したり、かかる計算に必要なメモリやＣＰＵ等のスペックが増加してしまう。また、いわゆる「次元の呪い」により、画像データ間の距離と、これらの画像データに係る画像の実現値（画像の見た目、一般的に画像データ間の距離が短いと実現値が近くなる、すなわち似たような画像となる）との相関が保てない可能性がある。そのネガティブな可能性を回避するために、調整部１０６は所定空間の次元や画像データの形式を調整する機能を有する。

例えば、調整部１０６は、画像データを規定する所定空間の次元を調整してもよい。次元の調整とは、例えば、ベクトルの次元数の調整や次元削減を意味する。図１３は、本実施形態に係る調整部１０６による調整処理の一例を示す図である。図１３を参照すると、調整部１０６による調整処理の前においては、画像データ５１１および画像データ５１２は、ｍ次元の空間５１０において規定されており、画像データ５２１および画像データ５２２は、ｎ次元の空間５２０において規定されている。ここで、画像データ５１１と画像データ５２１とは対応する画像の実現値を有し、画像データ５１２と画像データ５２２とは対応する画像の実現値を有し、互いの実現値は近く画像の見た目は類似していると感得できるものとする。また、次元数はｍ＞ｎとする。

図１３に示すように、ｍ次元の空間５１０において画像データ５１１と画像データ５１２との距離は大きいため、実現値は近くても、解析上画像データ５１１と画像データ５１２とは類似していないと判定される可能性が高い。そこで、調整部１０６により適切な次元の空間（この場合ｎ次元の空間５２０）となるように次元削減や次元調整にかかる処理を行うことで、画像データ５１２と画像データ５２２とのｎ次元の空間５２０を適切な距離に近づけることができる。これにより、候補画像の取得において、より適切な画像を取得することができる。次元削減や次元数調整の手法としては、例えば主成分分析、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ；線形判別分析）、ｔ－ＳＮＥ（ｔ－ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇ）等の手段を用いることができ、このような調整処理後の空間において、上述した処理を行うことができる。なお、かかる処理は画像生成処理にも適用でき、例えば、画像生成処理に用いられる学習モデルの学習時において、上記の処理を配慮して学習を行うことができる。

また、調整部１０６は、画像取得部１０１が取得する画像データについて、様々な手法においてベクトル化してもよい。例えば、調整部１０６は高次元である画像データを低次元化してもよい。また、画像データがベクトルデータではない場合は、調整部１０６は、該画像データを適宜ベクトル化してもよい。画像データのベクトル化は特に限定されず、例えば、主成分分析、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ；線形判別分析）、ｔ－ＳＮＥ（ｔ－ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇ）等の統計解析的な手段が用いられてもよいし、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ、ＡｕｔｏＥｎｃｏｄｅｒ、ＳｔｙｌｅＴｒａｎｓｆｅｒ、ＶＧＧ等のＣｌａｓｓｉｆｉｅｒを特徴抽出に用い、モデルの学習時に画像生成と同時にベクトル化する箇所を学習することでベクトル化する手法が用いられてもよい。

また、調整部１０６は、領域設定部１０３により設定された探索領域のうち、画像表示システム１の処理状況に応じて、選択対象集団のサイズを調整してもよい。ここで、選択対象集団とは、探索領域に含まれる候補画像の群のうち、処理状況に応じて予め画面２００に表示すべき対象を限定した集団を意味する。第二表示制御部１０４は、この選択対象集団に含まれる候補画像を表示面２６ａに表示してもよい。

図１４および図１５は、本実施形態に係る調整部１０６による選択対象集団の調整に係る処理の一例を示す図である。図１４は先の処理、図１５は後の処理に係るものである。図１４に示すように、先の処理においては、所定空間５３０において基準画像に係る画像データ５３１を基準に探索領域５３２が設定されている。一方、図１５に示すように、後の処理においては、所定空間５３０において新たな基準画像に係る画像データ５３４を基準に探索領域５３５が設定されている。このとき、探索領域５３２は探索領域５３５よりも広い。

先の処理では、候補画像の多様性を図るために探索領域を広くする一方で、その精度は大きくなくてもよい。むしろ精度を維持しようとすると、探索領域が広いため処理の負荷が大きくなる。そこで、調整部１０６は、探索領域の内側において、候補画像の対象となる選択対象集団を調整する。その選択対象集団のサイズは比較的小さめに設定される。なお、図１４に示した例では、説明のため、所定の座標近傍付近の領域を選択対象集団として設定しているが、例えば、調整部１０６は、複数の位置を基準として複数の選択対象集団を設定してもよい。このように、候補画像の対象を選択対象集団のサイズを小さくして絞ることで、初期の処理においては高速に処理することができる。

一方で、図１５に示す後の処理においては、ユーザによる選択が順次進められている段階である。そのため、調整部１０６は、選択対象集団のサイズを比較的大きく設定してもよく、探索領域の全体を選択対象集団として調整してもよい。これにより、ユーザの志向に対して確度の高い画像を選択することが可能となる。また、逆に調整部１０６は、処理が進むに連れて選択対象集団のサイズを小さくしてもよい。

以上、制御部１１のソフトウェア構成の各機能について説明した。

次に、領域設定部１０３による領域設定処理の変形例について説明する。領域設定部１０３は、基準画像２０１の画像データに基づいて探索領域を設定する。その際、探索領域の位置やサイズは上述した設定の方法に限定されない。

図１６は、本実施形態の変形例に係る領域設定部１０３による探索領域の設定処理の一例を示す図である。図示するように、所定空間５４０において画像群が存在するが、そのうち画像表示システム１による過去の処理により、画像データ５４１、５４２、５４３に係る画像が基準画像として選択されたとする。この場合、領域設定部１０３は、画像データ５４１～５４３に基づいて探索領域を設定してもよい。例えば、領域設定部１０３は、画像データ５４１～５４３の重心や中心といった幾何的中心５４４の位置を基準として、探索領域５４５を設定してもよい。

図１７は、本実施形態の変形例に係る領域設定部１０３による探索領域の設定処理の一例を示す図である。図示するように、所定空間５５０において画像群が存在するが、そのうち画像表示システム１による過去の処理により、画像データ５５１～５５７係る画像が基準画像として選択されたとする。この場合、領域設定部１０３は、画像データ５５１～５５７の分布に基づいて探索領域を設定してもよい。例えば、領域設定部１０３は、画像データ５５１～５５７について統計処理を行い、その平均値や分散等の統計値に基づいて探索領域５５８を設定してもよい。

図１８は、本実施形態の変形例に係る領域設定部１０３による探索領域の設定処理の一例を示す図である。図示するように、所定空間５６０において画像群が存在するが、そのうち画像表示システム１による過去の処理により、画像データ５６１、５６２、５６３、５６４に係る画像が基準画像として選択されたとする。一連の繰り返し処理では、画像データ５６１、５６２、５６３、５６４の順に基準画像として選択されている。

この場合、領域設定部１０３は、画像データ５６１～５６４の基準画像としての選択の推移に基づいて探索領域を設定してもよい。図示するように、例えば、領域設定部１０３は、画像データ５６４に係る画像が基準画像として選択された場合に、画像データ５６１の推移の重み付き重心となる部分を中心とする領域を探索領域５６５として設定してもよい。これにより、ユーザの所望の画像が存在すると思われる領域を過去の推移から導くことができるので、探索効率を向上させることができる。重み付けの方法を変更する（例えば直前の処理で選択された基準画像に係る画像データに重みを大きくする）ことで、領域設定部１０３は、探索領域５６６を設定してもよい。

また、領域設定部１０３は、図８で示した画面２００に表示されているスライダーバー２０５を操作することによって、手動で探索領域を設定および調整してもよい。他にも、領域設定部１０３は、図６に示すような所定空間５００にマッピングされた画像群の画面を表示面２６ａに表示し、ユーザの操作の該画面に対する操作に基づいて探索領域を設定してもよい。

以上、領域設定部１０３による探索領域の設定処理の変形例について説明した。

図１９は、本実施形態の画像表示システム１により実行される処理の流れを示すフローチャートである。まず、画像取得部１０１は、基準画像の画像データを取得する（ＳＱ１０１）。次に、領域設定部１０３が、基準画像の画像データをもとに、所定空間上での探索領域を設定する（ＳＱ１０２）。次に、画像取得部１０１は、探索領域に含まれる候補画像の画像データを取得する（ＳＱ１０３）。

次に、第一表示制御部１０２は、基準画像を表示面に表示する処理を行う（ＳＱ１０４）。また、第二表示制御部１０４は、候補画像を表示面に表示する処理を行う（ＳＱ１０５）。次に、ユーザ端末２０の表示面２６ａへのユーザの操作に対して（ＳＱ１０６）、候補画像の一が選択された場合（ＳＱ１０６／ＹＥＳ）、操作取得部１０５は選択された候補画像に係る情報を取得する（ＳＱ１０７）。一方で、表示面２６ａへのユーザの操作に対して候補画像が選択されなかった（例えば処理を完了するボタンが選択された）場合（ＳＱ１０６／ＮＯ）、画像表示システム１による処理を終了する。

本発明の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態においては、画像表示システム１は、画像処理サーバ１０とユーザ端末２０とにより構成されていたが、本発明はかかる例に限定されない。例えば他の実施形態では、画像表示システム１は、ユーザ端末２０のみにより構成されてもよい。この場合、画像処理サーバ１０が有している機能がユーザ端末２０の備える各種ハードウェアにより実現されてもよい。

また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

１ 画像表示システム
１０ 画像処理サーバ
１１ 制御部
１５ 画像制御部
１６ 画像用メモリ
２０ ユーザ端末
２６ 表示部
２６ａ 表示面
１０１ 画像取得部
１０２ 第一表示制御部
１０３ 領域設定部
１０４ 第二表示制御部
１０５ 操作取得部
１０６ 調整部

Claims (5)

1. ユーザの所望するコンテンツを自動的に生成にするためのコンテンツ表示システムであって、
   基準コンテンツを表示面に表示させる第一表示制御部と、
   前記基準コンテンツとは異なるコンテンツ情報をそれぞれ有する候補コンテンツを、前記表示面の前記基準コンテンツの表示領域とは異なる領域において、選択可能に表示させる第二表示制御部と、
   を備え、
   前記候補コンテンツの各々のコンテンツデータは、
   前記基準コンテンツのコンテンツデータに基づいて生成され、かつ、前記基準コンテンツと所定の類似度を有するものであり、
   前記第一表示制御部は、前記表示面に表示された前記候補コンテンツのうち一のコンテンツに対する選択が入力された場合に、前記選択された新たな基準コンテンツのコンテンツデータに基づいて決定される、前記新たな基準コンテンツと所定の類似度を有するコンテンツデータに係る新たな候補コンテンツの各々を表示させる、
   コンテンツ表示システム。
2. 前記第一表示制御部は、前記表示面に表示された前記候補コンテンツのうち一のコンテンツに対する選択が入力された場合に、選択された前記一のコンテンツを前記基準コンテンツとして表示させる、請求項１に記載のコンテンツ表示システム。
3. 前記第一表示制御部は、選択された前記一のコンテンツを、前記基準コンテンツが表示されていた領域に前記基準コンテンツとして表示させる、請求項２に記載のコンテンツ表示システム。
4. 前記コンテンツデータは、前記コンテンツをベクトル化処理して得られる、請求項１に記載のコンテンツ表示システム。
5. ユーザの所望するコンテンツを自動的に生成にするためのコンテンツ生成システムであって、
   基準コンテンツと、前記基準コンテンツとは異なり、前記基準コンテンツと所定の類似度を有する、候補コンテンツとを表示させる表示制御部と、
   前記候補コンテンツのうち一のコンテンツに対する選択が入力された場合に、選択された前記一のコンテンツを前記基準コンテンツとして決定し、
   先の前記基準コンテンツのコンテンツデータと選択された新たな基準コンテンツのコンテンツデータとに基づいて決定される、前記新たな基準コンテンツと所定の類似度を有するコンテンツデータに係る新たな複数の候補コンテンツの各々を生成する画像制御部と、
   を有するコンテンツ生成システム。
   

Images