JPWO2020059263A1 - 画像提案装置、画像提案方法及び画像提案プログラム - Google Patents

Abstract

ユーザの部屋にマッチし、かつユーザの好みが反映された画像をユーザに提案することができる画像提案装置、方法及びプログラムを提供する。ユーザが好む「部屋と画像」の組合せに関するデータを、ユーザごとに収集してデータ保存部（２２２）に保存する。生成部（２１１）は、ユーザごとに収集したデータを使用してユーザの好みが反映された「部屋と画像」の関係性を示す情報を生成する。画像選択部（２１２）は、ユーザにより撮影された部屋の画像（第２画像）（２３０）を取得すると、取得した第２画像と「部屋と画像」の関係性を示す情報とに基づいて、コンテンツＤＢ（２１８）、ユーザ画像ＤＢに登録された画像群からユーザの好みが反映された画像（第３画像）（２４０）を選択し、ユーザに提案する。これにより、ユーザの部屋に飾る画像としてユーザの部屋にマッチし、かつユーザの好みが反映された画像を提案できる。

Description

本発明は画像提案装置、画像提案方法及び画像提案プログラムに係り、特に部屋に飾る好適な画像をユーザに提案する技術に関する。

ユーザが自分の部屋に飾る画像プリントに使用する画像を選択する場合、その部屋の雰囲気にマッチした画像を選択する必要があるが、大量な画像群から現実的な時間内でユーザの好みが反映された画像を選択するのは難しいという問題がある。

特許文献１には、コンテンツの映像又は音声をテレビジョン受像機で視聴している間に、ユーザの生体情報をコンテンツごとに取得し、生体情報から高い評価を受けたコンテンツをユーザに推薦する情報処理端末が記載されている。

また、特許文献２には、購入検討商品を実際の部屋に配置した時の雰囲気又は調和性を確かめたり、部屋のサイズに適合するか否かを確かめながら商品を購入できるようにする商品販売装置が記載されている。

特許文献２に記載の商品販売装置は、商品を撮影した商品画像とユーザの部屋を撮影した部屋画像とを合成し、合成した画像を顧客に対して案内出力し、特に商品画像と部屋画像とを合成する際に、商品を設置する部屋のサイズと商品のサイズとの比率に応じて画像サイズを調整し、かつ、部屋を撮影した撮影方向に応じて商品画像を回転処理することによって商品画像の向きを部屋画像の撮影方向に調整して商品画像を部屋画像内に合成配置するようにしている。

これにより、ユーザは、購入検討商品を実際の部屋に配置した時の雰囲気又は調和性を確かめたり、部屋のサイズに適合するか否かを確かめながら商品を購入することができる。

特開２００９−１３４６７１号公報 特開２００４−３１８３５９号公報

特許文献１に記載の発明は、ユーザの生体情報に基づいてユーザから高い評価を受けたコンテンツを認識し、そのコンテンツをユーザに推薦するものの、ユーザの部屋にマッチした画像を推薦するものではない。

一方、特許文献２に記載の発明は、ユーザの部屋の画像を取得し、その部屋の画像に商品の画像を合成することにより、部屋に合った（部屋のサイズに合った）商品を提案するものであり、ユーザの部屋にマッチしたユーザの好みが反映された画像を提案するものではない。

本発明はこのような事情に鑑みてなされ、ユーザの部屋にマッチし、かつユーザの好みが反映された画像をユーザに提案することができる画像提案装置、画像提案方法及び画像提案プログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像提案装置は、ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、ユーザが好む組合せに関するデータを収集して保存するデータ保存部と、データ保存部に保存されたユーザに対応するデータを使用し、ユーザの好みが反映された第１部屋と第１画像との関係性を示す情報を生成する生成部と、ユーザにより撮影された第２部屋の画像である第２画像を取得する画像取得部と、画像取得部により取得した第２画像と生成部により生成された関係性を示す情報とに基づいて、登録された画像群又はユーザが所有する画像群からユーザの好みが反映された画像である第３画像を選択する画像選択部と、ユーザの第２部屋に飾る画像プリントに対応する画像として、画像選択部により選択された第３画像をユーザに提案する提案部と、を備える。

本発明の一の態様によれば、ユーザが好む「部屋と画像」の組合せに関するデータを収集し、収集したデータを使用してユーザの好みが反映された「部屋と画像」の関係性を示す情報を生成する。そして、ユーザにより撮影された部屋の画像（第２画像）を取得すると、取得した第２画像と「部屋と画像」の関係性を示す情報とに基づいて、登録された画像群又はユーザが所有する画像群からユーザの好みが反映された画像（第３画像）を選択し、ユーザに提案する。これにより、ユーザの部屋に飾る画像としてユーザの部屋にマッチし、かつユーザの好みが反映された画像を提案できる。

本発明の他の態様に係る画像提案装置において、ユーザの生体情報を取得する生体情報取得部と、画像の閲覧が可能な画像閲覧部とを備え、データ保存部は、ユーザによる画像閲覧部を使用した画像の閲覧中に画像閲覧部に第１画像が飾られた第１部屋の画像である第４画像が出現したときに、生体情報取得部から取得したユーザの生体情報に基づいてユーザの好みが反映された第４画像を取得し、取得した第４画像からユーザが好む組合せに関するデータを収集することが好ましい。これにより、ユーザの好みの「部屋と画像」の組合せに関する情報を自動的に収集することができる。

本発明の更に他の態様に係る画像提案装置において、生体情報取得部は、ユーザに装着されるウェアラブル端末であり、画像閲覧部は、ネットワークを通じて閲覧する画像を取得し、取得した画像を表示部に表示し、かつウェアラブル端末と通信してユーザの生体情報を取得する携帯端末であり、データ保存部は、携帯端末からユーザの好みが反映された第４画像を取得することが好ましい。

本発明の更に他の態様に係る画像提案装置において、第２画像と生成部により生成された関係性を示す情報とに基づいて、第２部屋にマッチした第５画像を生成する画像生成部を備え、画像選択部は、登録された画像群又はユーザが所有する画像群から生成された第５画像と類似する１又は複数の画像を第３画像として選択することが好ましい。

本発明の更に他の態様に係る画像提案装置において、画像選択部は、第２画像と生成部により生成された関係性を示す情報とに基づいて、第２部屋にマッチした第５画像の特徴を示す特徴量を抽出し、登録された画像群又はユーザが所有する画像群から抽出した特徴量と類似する特徴量を有する１又は複数の画像を第３画像として選択することが好ましい。

本発明の更に他の態様に係る画像提案装置において、生成部は、データ保存部に保存されたユーザに対応するデータを学習データとして機械学習させた認識器であり、画像選択部は、画像取得部により取得した第２画像を認識器の入力画像として入力し、認識器から出力される認識結果に基づいて、登録された画像群又はユーザが所有する画像群から認識結果と類似する１又は複数の画像を第３画像として選択することが好ましい。

本発明の更に他の態様に係る画像提案装置において、画像選択部は、認識器から出力される認識結果の特徴を示す特徴量を抽出し、登録された画像群又はユーザが所有する画像群から抽出した特徴量と類似する特徴量を有する１又は複数の画像を第３画像として選択することが好ましい。

本発明の更に他の態様に係る画像提案装置において、生成部は、データ保存部に保存されたデータのうちの、第１ユーザと属性の類似する第２ユーザのデータをユーザに対応するデータとして使用し、ユーザの好みが反映された第１部屋と第１画像との関係性を示す情報を生成することが好ましい。

本発明の更に他の態様に係る画像提案装置において、提案部は、ユーザの好みが反映された上位の複数の第３画像を提案することが好ましい。

本発明の更に他の態様に係る画像提案装置において、提案部は、画像取得部により取得した第２画像の壁領域に選択された第３画像を合成し、合成した第５画像をユーザに提示することが好ましい。

更に他の態様に係る画像提案方法は、ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、ユーザが好む組合せに関するデータを収集してデータ保存部に保存するステップと、データ保存部に保存されたユーザに対応するデータを使用し、ユーザの好みが反映された第１部屋と第１画像との関係性を示す情報を生成するステップと、ユーザにより撮影された第２部屋の画像である第２画像を取得するステップと、取得した第２画像と生成された関係性を示す情報とに基づいて、登録された画像群又はユーザが所有する画像群からユーザの好みが反映された画像である第３画像を選択するステップと、ユーザの第２部屋に飾る画像プリントに対応する画像として、選択された第３画像をユーザに提案するステップと、を含む。

更に他の態様に係る画像提案プログラムは、ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、ユーザが好む組合せに関するデータを収集してデータ保存部に保存する機能と、データ保存部に保存されたユーザに対応するデータを使用し、ユーザの好みが反映された第１部屋と第１画像との関係性を示す情報を生成する機能と、ユーザにより撮影された第２部屋の画像である第２画像を取得する機能と、取得した第２画像と生成された関係性を示す情報とに基づいて、登録された画像群又はユーザが所有する画像群からユーザの好みが反映された画像である第３画像を選択する機能と、ユーザの第２部屋に飾る画像プリントに対応する画像として、選択された第３画像をユーザに提案する機能と、をコンピュータにより実現させる。

本発明によれば、ユーザの部屋に飾る画像として、ユーザの部屋にマッチし、かつユーザの好みが反映された画像をユーザに提案することができる。

図１は、本発明の一態様に係る画像提案装置を含むシステムを示すシステム構成図である。 図２は、本発明の一態様に係る画像提案装置２００の実施形態を示すブロック図である。 図３は、データ保存部２２２に保存された「部屋と画像の組合せ」データの一例である。 図４は、ユーザの部屋の画像２３０の一例を示す図である。 図５は、図１に示したユーザ端末１０の外観を示す図である。 図６は、図５に示したスマートフォン１００の構成を示すブロック図である。 図７は、図５に示したウェアラブル端末１の構成を示すブロック図である。 図８は、図１及び２に示した画像提案装置２００の第１実施形態を示すブロック図である。 図９は、図８に示した生成部２１１の実施形態を示す機能ブロック図である。 図１０は、画像提案装置２００により提案された画像を表示するスマートフォン１００の表示画面の一例を示す図である。 図１１は、図１及び２に示した画像提案装置２００の第２実施形態を示すブロック図である。 図１２は、画像提案装置２００により提案された画像を表示するスマートフォン１００の表示画面の他の例を示す図である。 図１３は、本発明の一態様に係る画像提案方法の実施形態を示すフローチャートである。

以下、添付図面に従って本発明の一態様に係る画像提案装置、画像提案方法及び画像提案プログラムの好ましい実施形態について説明する。

［画像提案装置の構成］

図１は、本発明の一態様に係る画像提案装置を含むシステムを示すシステム構成図である。

図１に示すシステムは、ユーザ毎のユーザ端末１０と、画像提案装置２００とから構成され、各ユーザ端末１０と画像提案装置２００とは、ネットワーク（インターネット）３を介して通信可能になっている。

ネットワーク３に接続されている各ウェブサイト４は、ウェブページにおいて画像等のコンテンツを公開しており、ユーザは、ユーザ端末１０のウェブブラウザによりコンテンツを閲覧したり、利用することができる。各ウェブサイト４は、既存のウェブサイトでもよいし、後述する画像提案装置２００が提供するサービスのために作成されたウェブサイトを含んでいてもよい。

ユーザ端末１０は、ネットワーク３を通じてウェブサイト４が公開しているコンテンツ（本例では、画像）を閲覧する画像閲覧部として機能し、かつ、ユーザに装着されるウェアラブル端末１及び２との通信（例えば、近距離無線通信）を通じてユーザ自身の生体情報を取得する機能を有し、特にユーザの好む「部屋と画像の組合せ」データを取得するデータ取得部として機能する。ここで、「部屋と画像の組合せ」データとは、部屋（リビング、ダイニング、寝室、書斎、玄関等を含む）と、その部屋（部屋の壁）に飾られる画像（写真）との組合せであって、ユーザが好む「部屋と画像の組合せ」に関するデータであり、例えば、写真が飾られた部屋の画像データを含む。ここで「部屋」とは、少なくとも床、天井、及び１面以上の壁により画される空間のことをいう。主には床、天井、及び４面を囲まれた空間を指すが、ガレージのように、４面のうちのいくつかの面が無く、開放されているような空間を含んでもよい。

ユーザ端末１０は、生体情報を計測する生体情報センサを内蔵したリストバンド型のウェアラブル端末１、あるいは指輪型のウェアラブル端末２と、ウェアラブル端末１及び２と通信するウェアラブル端末１及び２の所有者の携帯端末（本例では、スマートフォン１００）とから構成されている。

ウェアラブル端末１及び２は、生体情報センサとして機能する心拍センサ、体温計、加速度センサ等を内蔵し、これらのセンサにより心拍数、体温、加速度を計測し、かつ、これらの計測結果に基づいて運動状態、身体の姿勢、消費カロリー、歩数、睡眠時間、心的状態（リラックス、ストレス、興奮等）などを算出（解析）する。ウェアラブル端末１により計測された生体情報（解析結果を含む）は、ウェアラブル端末１の内部メモリに保存管理され、又はモニタに表示できるようになっている。

また、ウェアラブル端末１及び２は、ウェアラブル端末１及び２に対応したアプリケーションがインストールされたスマートフォン１００と連携し、スマートフォン１００との間で生体情報を含む種々の情報のやり取りを行うことができる。

スマートフォン１００は、ウェアラブル端末１及び２に対応したアプリケーションソフトウェアがインストールされ、このアプリケーションソフトウェアが実行されることによりウェアラブル端末１及び２との間で通信し、ウェアラブル端末１及び２からの生体情報の取得、取得した生体情報の保存管理、及び生体情報の確認用のモニタ出力等を行う。

尚、生体情報を取得するウェアラブル端末は、リストバンド型のウェアラブル端末１、指輪型のウェアラブル端末２に限らず、例えば、眼鏡型、着衣型、ペンダント型及びヘルメット型等の種々のウェアラブル端末が考えられる。

眼鏡型のウェアラブル端末の場合、撮像部、ディスプレイ、加速度センサ、脳波センサ、眼電位センサ等を備え、脳波の計測、まばたき、視線方向、視線移動、体の動きなどの生体情報を計測する機能を有し、計測データその他必要な情報を眼鏡に仕込んだディスプレイに表示することができる。

図２は、本発明の一態様に係る画像提案装置２００の実施形態を示すブロック図である。

図２に示す画像提案装置２００は、例えば、ユーザ端末１０であるスマートフォン１００に対するサーバとして機能し、主として通信部２１０、部屋と画像との関係性を示す情報（「部屋と画像」の関係性情報）を生成する生成部２１１、画像選択部２１２、画像処理部２１４、コンテンツＤＢ（ＤＢ：Database）２１８、ユーザ画像ＤＢ２２０、及びデータ保存部２２２から構成されている。

画像提案装置２００の各種制御を実行するハードウェア的な構造は、次に示すようなコンピュータの各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム（画像提案プログラムを含む））を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

通信部２１０は、ネットワーク３を通じてカメラ付きのユーザ端末（本例では、スマートフォン１００）との間で必要な情報の送受信を行う部分である。

通信部２１０は、スマートフォン１００が取得した「部屋と画像の組合せ」データを受信する。受信した「部屋と画像の組合せ」データは、データ保存部２２２にユーザ別に保存される。尚、スマートフォン１００による「部屋と画像の組合せ」データの取得方法の詳細については後述する。

データ保存部２２２は、スマートフォン１００によりユーザごとに収集された「部屋と画像の組合せ」データをユーザごとに保存する。

図３は、データ保存部２２２に保存された「部屋と画像の組合せ」データの一例である。本例の「部屋と画像の組合せ」データａ，ｂ，ｃ，…は、それぞれ写真（第１画像）が飾られた部屋（第１部屋）の画像（第４画像）であり、ユーザがウェブサイト４の閲覧中にスマートフォン１００によりウェブサイト４から取得した部屋の画像である。

また、通信部２１０は、スマートフォン１００により撮影されたユーザの部屋（第２部屋）の画像である第２画像を取得（受信）する画像取得部として機能する。

図４は、ユーザの部屋の画像２３０の一例を示す図である。尚、画像２３０は、静止画でもよいし、画像プリントを飾る部屋を撮影した動画でもよい。画像２３０が動画の場合、後の工程においては、公知の手段により互いに重なりのない（あるいは互いに重なりの少ない）複数の静止画へと分割し、複数の静止画の画像が入力された画像と取り扱えばよい。

更に、通信部２１０は、ユーザの部屋に飾る画像プリントに対応する画像（第３画像）をユーザに提案するためにスマートフォン１００に送信する。

図２に戻って、コンテンツＤＢ２１８には、部屋（部屋の壁）に飾られる画像プリント用の多数の画像（画像群）が予め登録されている。ここに登録されている画像群は、例えば、プロカメラマンにより撮影された画像群である。

ユーザ画像ＤＢ２２０には、各ユーザにより撮影されたユーザが所有する画像群が登録され、ユーザごとに管理されている。尚、ユーザ画像ＤＢ２２０には、スマートフォン１００から通信部２１０を介してユーザが所有する画像群を登録することができる。また、ユーザ所有のメモリカード（記録媒体）に記録されている画像群を、カードリーダ等により読み出して登録することができる。なお、ユーザが所有する画像群には、ユーザ以外が撮影した画像であってユーザに送付された画像、及び、インターネット上で保存されユーザがいつでもアクセスできる権限を有する画像なども含んでよい。

コンテンツＤＢ２１８及びユーザ画像ＤＢ２２０は、画像提案装置２００に内蔵されているものに限らず、ＬＡＮ（Local Area Network）等により接続され、適宜アクセスできるものでもよい。

生成部２１１は、データ保存部２２２に保存されたユーザに対応するデータを使用し、ユーザの好みが反映された「部屋と画像」の関係性情報を生成する部分である。

画像選択部２１２は、通信部２１０を介して取得したユーザの部屋の画像２３０（図４）と、生成部２１１により生成された「部屋と画像」の関係性情報とに基づいて、コンテンツＤＢ２１８に登録された画像群、又はユーザ画像ＤＢ２２０に登録されたユーザが所有する画像群からユーザの好みが反映された画像（第３画像）を選択する。第３画像は、１枚でもよいし、複数枚でもよい。

尚、生成部２１１及び画像選択部２１２の詳細については後述する。

画像処理部２１４及び通信部２１０は、ユーザの部屋に飾る画像プリントに対応する画像（第３画像）として、画像選択部２１２により選択された第３画像を提案する提案部として機能し、画像処理部２１４は、画像選択部２１２により選択された第３画像を処理する部分であり、選択された第３画像からスマートフォン１００の表示部に表示させる第３画像を含む画像（表示用画像）を生成し、通信部２１０は画像処理部２１４により生成された表示用画像をスマートフォン１００に送信する。

＜「部屋と画像の組合せ」データの収集＞

図５は、図１に示したユーザ端末１０の外観を示す図である。

図５に示すユーザ端末１０は、ウェアラブル端末１とスマートフォン１００とから構成されている。

スマートフォン１００は、ウェアラブル端末１に対応するアプリケーションソフトウェアを起動することにより、ウェアラブル端末１が計測及び解析した生体情報を無線通信によりウェアラブル端末１から生体情報を取得する。

また、スマートフォン１００は、ユーザによるウェブサイト４が提供するコンテンツの閲覧時に、スマートフォン１００内で常時動作するプログラム（「部屋と画像の組合せ」データを取得するためのプログラム）によって、「部屋と画像の組合せ」画像が出現すると、その「部屋と画像の組合せ」画像を検知する。その際、ウェアラブル端末１から取得した生体情報を解析して得られる喜怒哀楽などの感情（ユーザの生体情報と相関が高いユーザの感情）が、ポジティブな方向へ変化すると、そのときの閲覧画像（＋生体情報）を、ユーザが好む「部屋と画像の組合せ」データ（＋生体情報）として取得する。

［スマートフォン１００］

図５に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備えている。尚、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図６は、図５に示したスマートフォン１００の構成を示すブロック図である。図６に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、撮像部として機能するカメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル１２１は、３次元表示パネルであることが好ましい。

表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やタッチペンによって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指やタッチペンによって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図５に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図５に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、スマートフォン１００の筐体１０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱可能な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続される携帯情報端末、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送されるようにすることができる。本例では、外部入出力部１６０は、ウェアラブル端末１及び２との間でブルートゥース等の近距離無線通信を行い、生体情報を取得する生体情報取得部として機能する。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度、高度からなる位置情報（ＧＰＳ情報）を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力されるものである。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などの他に、ウェアラブル端末１の専用のアプリケーションソフトウェアによりウェアラブル端末１から生体情報を自動取得する機能、及び「部屋と画像の組合せ」データを取得するためのプログラムにより、「部屋と画像の組合せ」データを取得する機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。

また、カメラ部１４１は、主制御部１０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２に示すようにスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部１４１を同時に使用して撮像することもできる。

また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。

勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［ウェアラブル端末１］

図５に示すウェアラブル端末１は、ユーザの手首に装着されるリストバンド型のウェアラブル端末であり、ユーザの生体情報を検出することができる。

生体情報とは、生体から計測可能な情報であり、典型的には、心拍数、脈拍、血圧、体温、呼吸数、発汗量、脳波パターンなどのバイタルサインが含まれ、また、これらの計測結果を解析して得られる喜怒哀楽などの感情、姿勢（寝た姿勢、立った姿勢、座った姿勢、歩行姿勢、走行姿勢等）、運動量、歩数、カロリー消費量又は睡眠時間が含まれてもよい。

図７は、図５に示したウェアラブル端末１の構成を示すブロック図である。

図５及び図７に示すウェアラブル端末１は、ユーザの生体情報の計測結果等の各種情報を表示可能な画面の一例である表示画面２１（例えば、ＬＣＤ、ＯＥＬＤ等）を有する表示部２０と、表示部２０の表示画面２１上でのタッチ操作の位置であるタッチ位置を検出可能なタッチセンサ２２と、ユーザの指紋を検出可能な検出部の一例である指紋センサ２３と、ウェアラブル端末１本体の側面に設けられ、かつウェアラブル端末１に対して各種操作を入力可能な操作ボタン２４と、コントローラ２５と、記憶部２６と、生体情報センサ２７と、通信部２８とを有している。本実施形態では、表示部２０及びタッチセンサ２２は、所謂タッチパネルディスプレイとして機能する。

コントローラ２５は、ＣＰＵ（Central Processing Unit）等により構成され、記憶部２６に記憶されたプログラムを実行することにより、ウェアラブル端末１が備える各部を制御する。記憶部２６は、ＲＯＭ及びＲＡＭ等により構成され、コントローラ２５が実行するプログラム、コントローラ２５がプログラムを実行する際に使用するデータ等の各種情報を記憶可能である。

生体情報センサ２７は、心拍センサ、体温計、加速度センサ等を含み、ウェアラブル端末１を装着したユーザの生体情報（例えば、心拍数、体温、運動状態等）を計測する。通信部２８は、無線通信によってスマートフォン１００等の外部機器と通信可能である。

［画像提案装置の第１実施形態］

図８は、図１及び２に示した画像提案装置２００の第１実施形態を示すブロック図である。

ユーザは、スマートフォン１００により自分の部屋（第２部屋）を撮影し、撮影した部屋の画像（第２画像）２３０をネットワーク３を介して画像提案装置２００に送信する（図１）。

図８において、画像選択部２１２は、画像提案装置２００の通信部２１０（図２）により受信した部屋の画像２３０を入力する。

生成部２１１は、データ保存部２２２に保存された「部屋と画像の組合せ」データのうち、部屋の画像２３０を送信したユーザに対応する「部屋と画像の組合せ」データを使用し、そのユーザの好みが反映された「部屋と画像」の関係性情報を生成し、生成した「部屋と画像」の関係性情報を画像選択部２１２に出力する。尚、生成部２１１は、事前（部屋の画像２３０を受信するタイミングとは異なるタイミング）に、「部屋と画像の組合せ」データを使用し、機械学習手法により「部屋と画像」の関係性情報を生成しておくことが好ましい。

図９は、図８に示した生成部２１１の実施形態を示す機能ブロック図である。

図９に示す生成部２１１は、主として畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）２３２と、損失値算出部２３４と、パラメータ制御部２３６とから構成される。

ＣＮＮ２３２は、複数のレイヤ構造を有し、複数の重みパラメータを保持している。ＣＮＮ２３２は、重みパラメータが初期値から最適値に更新されることにより、未学習モデルから学習済みモデルに変化しうる。

このＣＮＮ２３２は、入力層２３２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層２３２Ｂと、出力層２３２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

入力層２３２Ａには、データ保存部２２２に保存された「部屋と画像の組合せ」データである、第１部屋の画像（第４画像）２５０（図３）が入力される。

中間層２３２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層２３２Ａから入力した画像２５０から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層２３２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。

学習前のＣＮＮ２３２の各畳み込み層に適用されるフィルタの係数やオフセット値における次の層との接続の重みは、任意の初期値がセットされるが、画像の分類等に使用されるＣＮＮのパラメータを初期値としてセットすることが好ましい。

損失値算出部２３４は、ＣＮＮ２３２の出力層２３２Ｃの出力（特徴マップ）と、訓練データ（教師データともいう）としての画像（第１画像）２５０Ａとを取得し、両者間の損失値を算出する。損失値の算出方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。ここで、訓練データとしての画像２５０Ａは、部屋の画像２５０に含まれる画像であって、部屋に飾られている画像であり、画像２５０から切り出された画像に対応する。

パラメータ制御部２３６は、損失値算出部２３４により算出された損失値を元に、誤差逆伝播法によりＣＮＮ２３２の重みパラメータを調整する。

このようにして学習した学習済みのＣＮＮ２３２のパラメータは、「部屋と画像」の関係性情報となる。

画像選択部２１２は、通信部２１０を介して取得したユーザの部屋の画像２３０（図４）と、生成部２１１により生成された「部屋と画像」の関係性情報とに基づいて、コンテンツＤＢ２１８に登録された画像群、又はユーザ画像ＤＢ２２０に登録されたユーザが所有する画像群からユーザの好みが反映された画像（第３画像）２４０を選択する。

これにより、ユーザの部屋に飾る画像として、ユーザの部屋にマッチし、かつユーザの好みが反映された画像２４０を選択することができる。尚、コンテンツＤＢ２１８に登録された画像群から画像２４０を選択するか、又はユーザ画像ＤＢ２２０に登録された画像群から画像２４０を選択するかは、ユーザが指定できるようにしてもよいし、両画像群からそれぞれ画像２４０を選択するようにしてもよい。

尚、図９に示す生成部２１１は、データ保存部２２２に保存された「部屋と画像の組合せ」データとして、スマートフォン１００でウェブサイト４の閲覧中にウェブサイト４から取得した部屋の画像２５０を使用し、画像２５０とその画像２５０に含まれる部屋に飾られている画像（第１画像）２５０Ａとを学習データとして使用し、「部屋と画像」の関係性情報に相当するＣＮＮ２３２のパラメータを取得するが、データ保存部２２２に「部屋と画像の組合せ」データとして、部屋の画像２５０と画像２５０Ａとの特徴量のペアを保存し、特徴量のペアを元に機械学習を行って「部屋と画像」の関係性情報を取得するようにしてもよい。

画像処理部２１４（図２）は、画像選択部２１２により選択された画像２４０を元に、画像２４０を含む表示用画像を生成する。画像提案装置２００は、通信部２１０及びネットワーク３を介して表示用画像をユーザのスマートフォン１００に送信する。

図１０は、画像提案装置２００により提案された画像を表示するスマートフォン１００の表示画面の一例を示す図である。

図１０に示すスマートフォン１００の表示画面には、画像提案装置２００から受信した表示用画像に基づいて、画像選択部２１２により選択された画像２４０を含む画像２４０−１が表示される。これにより、ユーザの部屋に飾る画像プリントに対応する画像２４０がユーザに提案される。

図１０に示す例では、画像選択部２１２によりユーザの部屋にマッチし、かつユーザの好みが反映された画像として、適合度の高い上位の３枚の画像（No.１、No.２及びNo.３）が選択され、３枚の画像のサムネイル画像と、No.１のサムネイル画像に対応する本画像である画像２４０とが、表示画面に表示されて場合に関して示している。

ユーザは、画像２４０以外の画像の詳細を確認したい場合には、例えば、No.２、又はNo.３のサムネイル画像を選択することにより、画像２４０に代えてサムネイル画像に対応する本画像を表示させることができる。

また、表示画面には、「注文画面へ」のアイコンボタンが表示されており、ユーザは、このアイコンボタンを操作することにより、表示画面に拡大表示されている画像に対応する写真プリントを注文する画面に遷移させることができる。

これにより、画像提案装置２００は、ユーザの部屋にマッチし、かつユーザの好みが反映された画像をユーザに提案することができる。

尚、図１０に示す例では、適合度の高い上位の３枚の画像プリントに対応する３枚の画像からユーザが所望の画像を選択できるようにしたが、提示される画像の枚数はこれに限定されない。また、適合度の最も高い画像のみを提案するようにしてもよい。この場合、提案された画像が気に入らない場合にも対応できるように、ユーザからの指示入力により別の画像（例えば、次に適合度の高い画像など）の提案を要求できることが好ましい。

また、複数の画像を提案する際、ユーザの生体情報を元にユーザの好みの順番を推測し、提案する順番を決定してもよい。

［画像提案装置の第２実施形態］

図１１は、図１及び２に示した画像提案装置２００の第２実施形態を示すブロック図である。尚、図１１において、図８に示した画像提案装置２００の第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す画像提案装置２００の第２実施形態は、主として生成部２１１−２及び画像生成部２１３を有する点で、第１実施形態と相違する。

生成部２１１−２は、図９に示した生成部２１１に相当し、特に学習済みのＣＮＮ２３２（認識器）に対応する。学習済みのＣＮＮ２３２は、部屋の画像の特徴量からその部屋に飾る画像の特徴量であって、その部屋にマッチし、かつユーザの好みが反映された画像の特徴量を示す認識結果（特徴マップ）を出力することができる。

したがって、生成部２１１−２の入力画像として、ユーザの部屋の画像２３０を入力すると、ユーザの部屋にマッチし、ユーザの好みが反映された画像の特徴量を示す特徴マップを出力する。

画像生成部２１３は、例えば、逆畳み込みニューラルネットワークで構成され、生成部２１１−２により生成された特徴量空間の特徴マップを画像空間へ変換し、画像２３０が示すユーザの部屋にマッチし、かつユーザの好みが反映された画像（第５画像）を生成（復元）する。

画像選択部２１２は、画像生成部２１３により生成された第５画像を元に、コンテンツＤＢ２１８に登録された画像群、又はユーザ画像ＤＢ２２０に登録されたユーザが所有する画像群から第５画像と類似する１又は複数の画像を選択する。このようにして画像選択部２１２により選択された画像２４０は、ユーザの部屋にマッチし、かつユーザの好みが反映された画像になる。

尚、図１１に示す第２実施形態では、生成部２１１−２から出力される特徴マップから画像生成部２１３により画像（第５画像）を復元し、第５画像を元にコンテンツＤＢ２１８に登録された画像群、又はユーザ画像ＤＢ２２０に登録された画像群から第５画像と類似する１又は複数の画像を選択するようにしたが、これに限らず、生成部２１１−２から出力される特徴マップ（特徴量）に基づいて、コンテンツＤＢ２１８に登録された画像群、又はユーザ画像ＤＢ２２０に登録された画像群から、類似する特徴量を有する１又は複数の画像を選択するようにしてもよい。

［提案する画像の他の実施形態］

図１２は、画像提案装置２００により提案された画像を表示するスマートフォン１００の表示画面の他の例を示す図である。

提案部の一部として機能する画像処理部２１４は、ユーザの部屋の画像２３０（図４）と画像選択部２１２により選択された画像２４０とに基づいて、部屋の画像２３０の壁領域に画像２４０を合成した合成画像（第５画像）２４０−２を表示用画像として生成する機能を有する。

図１２に示すスマートフォン１００の表示画面には、画像提案装置２００から受信した表示用画像に基づいて、画像選択部２１２により選択された画像２４０が、部屋の画像の壁領域に合成された合成画像２４０−２が表示される。

これにより、ユーザは、自分の部屋の壁に、提案された画像２４０を配置した時の雰囲気又は調和性をより正確に確認することができる。

［画像提案方法］

図１３は、本発明の一態様に係る画像提案方法の実施形態を示すフローチャートであり、図２に示した画像提案装置２００の各部の動作に関して示している。

図１３において、図２に示す画像提案装置２００の各部を統括制御する制御部（図示せず）は、通信部２１０を介してユーザにより撮影されたユーザの部屋の画像を取得したか否かを判別する（ステップＳ１０）。

ユーザの部屋の画像を取得していない場合（「No」の場合）、ウェブサイトでの閲覧時、ユーザのスマートフォン１００内で常時動作するプログラムにより取得された「部屋と画像の組合せ」データをスマートフォン１００から受信し、データ保存部２２２に収集・保存する（ステップＳ１２）。

ユーザの部屋の画像を取得した場合（「Yes」の場合）、生成部２１１は、データ保存部２２２に保存されたユーザに対応する「部屋と画像の組合せ」データを使用し、ユーザの好みが反映された「部屋と画像」の関係性情報を生成する（ステップＳ１４）。尚、「部屋と画像」の関係性情報は、ユーザごとに予め生成し、保存しておいてもよい。

続いて、画像選択部２１２は、通信部２１０を介して取得したユーザの部屋の画像（図４）と、生成された「部屋と画像」の関係性情報とに基づいて、コンテンツＤＢ２１８に登録された画像群、又はユーザ画像ＤＢ２２０に登録された画像群からユーザの好みが反映された画像（第３画像）を選択する（ステップＳ１６）。

画像処理部２１４及び通信部２１０は、ステップＳ１６で選択した第３画像を、スマートフォン１００の表示画面に表示させることにより、ユーザの部屋に飾る画像プリントに対応する画像（第３画像）として提案する（ステップＳ１８）。

これにより、ユーザは、自分の部屋の画像を画像提案装置２００に送信するだけで、自分の部屋にマッチし、かつ自分の好みが反映された画像の提案を受けることができる。

［その他］

本実施形態の画像提案装置２００は、画像プリントの注文を受け付ける店舗等に設置された店頭端末装置でもよく、この場合、店頭端末装置がユーザの部屋の画像を直接受け付け、ユーザに提案する画像を店頭端末装置のモニタに表示し、プリント注文等のユーザ操作を受け付けるようにしてもよい。

また、データ保存部２２２に「部屋と画像の組合せ」データが無いユーザ、又は「部屋と画像の組合せ」データが不足しているユーザ（第１ユーザ）の場合、第１ユーザと属性（性別、年齢、嗜好等）の類似する他のユーザ（第２ユーザ）の「部屋と画像の組合せ」データを使用し、第１ユーザの好みが反映された「部屋と画像」の関係性情報を生成するようにしてもよい。

更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る画像提案装置として機能させる画像提案プログラム、及びこの画像提案プログラムが記録された記録媒体を含む。

更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

上記記載から、以下の付記項１に記載の画像提案装置を把握することができる。

［付記項１］

ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、前記ユーザが好む前記組合せに関するデータを収集して保存するメモリと、

プロセッサと、を備え、

前記プロセッサは、

前記メモリに保存された前記ユーザに対応するデータを使用し、前記ユーザの好みが反映された前記第１部屋と前記第１画像との関係性を示す情報を生成し、

前記ユーザにより撮影された第２部屋の画像である第２画像を取得し、

取得した前記第２画像と生成された前記関係性を示す情報とに基づいて、登録された画像群又は前記ユーザが所有する画像群から前記ユーザの好みが反映された画像である第３画像を選択し、

前記ユーザの前記第２部屋に飾る画像プリントに対応する画像として、選択された前記第３画像を前記ユーザに提案する画像提案装置。

１、２ ウェアラブル端末

３ ネットワーク

４ ウェブサイト

１０ ユーザ端末

２０ 表示部

２１ 表示画面

２２ タッチセンサ

２３ 指紋センサ

２４ 操作ボタン

２５ コントローラ

２６ 記憶部

２７ 生体情報センサ

２８、２１０ 通信部

１００ スマートフォン

１０１ 主制御部

１０２ 筐体

１１０ 無線通信部

１２０ 表示入力部

１２１ 表示パネル

１２２ 操作パネル

１３０ 通話部

１３１ スピーカ

１３２ マイクロホン

１４０ 操作部

１４１ カメラ部

１５０ 記憶部

１５１ 内部記憶部

１５２ 外部記憶部

１６０ 外部入出力部

１７０ ＧＰＳ受信部

１８０ モーションセンサ部

１９０ 電源部

２００ 画像提案装置

２１０ 通信部

２１１、２１１−２ 生成部

２１２ 画像選択部

２１３ 画像生成部

２１４ 画像処理部

２１８ コンテンツＤＢ

２２０ ユーザ画像ＤＢ

２２２ データ保存部

２３０、２４０、２４０−１、２４０−２、２５０、２５０Ａ 画像

２３２ ＣＮＮ

２３４ 損失値算出部

２３６ パラメータ制御部

Ｓ１０〜Ｓ１８ ステップ

Claims (12)

1. 
   ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、前記ユーザが好む前記組合せに関するデータを収集して保存するデータ保存部と、
   
   前記データ保存部に保存された前記ユーザに対応するデータを使用し、前記ユーザの好みが反映された前記第１部屋と前記第１画像との関係性を示す情報を生成する生成部と、
   
   前記ユーザにより撮影された第２部屋の画像である第２画像を取得する画像取得部と、
   
   前記画像取得部により取得した前記第２画像と前記生成部により生成された前記関係性を示す情報とに基づいて、登録された画像群又は前記ユーザが所有する画像群から前記ユーザの好みが反映された画像である第３画像を選択する画像選択部と、
   
   前記ユーザの前記第２部屋に飾る画像プリントに対応する画像として、前記画像選択部により選択された前記第３画像を前記ユーザに提案する提案部と、
   
   を備えた画像提案装置。
   
2. 
   前記ユーザの生体情報を取得する生体情報取得部と、
   
   画像の閲覧が可能な画像閲覧部とを備え、
   
   前記データ保存部は、前記ユーザによる前記画像閲覧部を使用した画像の閲覧中に前記画像閲覧部に前記第１画像が飾られた前記第１部屋の画像である第４画像が出現したときに、前記生体情報取得部から取得した前記ユーザの生体情報に基づいて前記ユーザの好みが反映された前記第４画像を取得し、前記取得した第４画像から前記ユーザが好む前記組合せに関するデータを収集する請求項１に記載の画像提案装置。
   
3. 
   前記生体情報取得部は、前記ユーザに装着されるウェアラブル端末であり、
   
   前記画像閲覧部は、ネットワークを通じて閲覧する画像を取得し、前記取得した画像を表示部に表示し、かつ前記ウェアラブル端末と通信して前記ユーザの生体情報を取得する携帯端末であり、
   
   前記データ保存部は、前記携帯端末から前記ユーザの好みが反映された前記第４画像を取得する請求項２に記載の画像提案装置。
   
4. 
   前記第２画像と前記生成部により生成された前記関係性を示す情報とに基づいて、前記第２部屋にマッチした第５画像を生成する画像生成部を備え、
   
   前記画像選択部は、前記登録された画像群又は前記ユーザが所有する画像群から前記生成された前記第５画像と類似する１又は複数の画像を前記第３画像として選択する請求項１から３のいずれか１項に記載の画像提案装置。
   
5. 
   前記画像選択部は、前記第２画像と前記生成部により生成された前記関係性を示す情報とに基づいて、前記第２部屋にマッチした第５画像の特徴を示す特徴量を抽出し、前記登録された画像群又は前記ユーザが所有する画像群から前記抽出した特徴量と類似する特徴量を有する１又は複数の画像を前記第３画像として選択する請求項４に記載の画像提案装置。
   
6. 
   前記生成部は、前記データ保存部に保存された前記ユーザに対応するデータを学習データとして機械学習させた認識器であり、
   
   前記画像選択部は、前記画像取得部により取得した前記第２画像を前記認識器の入力画像として入力し、前記認識器から出力される認識結果に基づいて、前記登録された画像群又は前記ユーザが所有する画像群から前記認識結果と類似する１又は複数の画像を前記第３画像として選択する請求項１から５のいずれか１項に記載の画像提案装置。
   
7. 
   前記画像選択部は、前記認識器から出力される認識結果の特徴を示す特徴量を抽出し、前記登録された画像群又は前記ユーザが所有する画像群から前記抽出した特徴量と類似する特徴量を有する１又は複数の画像を前記第３画像として選択する請求項６に記載の画像提案装置。
   
8. 
   前記生成部は、前記データ保存部に保存されたデータのうちの、第１ユーザと属性の類似する第２ユーザのデータを前記ユーザに対応するデータとして使用し、前記ユーザの好みが反映された前記第１部屋と前記第１画像との関係性を示す情報を生成する請求項１から７のいずれか１項に記載の画像提案装置。
   
9. 
   前記提案部は、前記ユーザの好みが反映された上位の複数の前記第３画像を提案する請求項１から８のいずれか１項に記載の画像提案装置。
   
10. 
    前記提案部は、前記画像取得部により取得した前記第２画像の壁領域に前記選択された前記第３画像を合成し、前記合成した第５画像を前記ユーザに提示する請求項１から９のいずれか１項に記載の画像提案装置。
    
11. 
    ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、前記ユーザが好む前記組合せに関するデータを収集してデータ保存部に保存するステップと、
    
    前記データ保存部に保存された前記ユーザに対応するデータを使用し、前記ユーザの好みが反映された前記第１部屋と前記第１画像との関係性を示す情報を生成するステップと、
    
    前記ユーザにより撮影された第２部屋の画像である第２画像を取得するステップと、
    
    前記取得した前記第２画像と前記生成された前記関係性を示す情報とに基づいて、登録された画像群又は前記ユーザが所有する画像群から前記ユーザの好みが反映された画像である第３画像を選択するステップと、
    
    前記ユーザの前記第２部屋に飾る画像プリントに対応する画像として、前記選択された前記第３画像を前記ユーザに提案するステップと、
    
    を含む画像提案方法。
    
12. 
    ユーザごとに収集される第１部屋と第１画像との組合せに関するデータであって、前記ユーザが好む前記組合せに関するデータを収集してデータ保存部に保存する機能と、
    
    前記データ保存部に保存された前記ユーザに対応するデータを使用し、前記ユーザの好みが反映された前記第１部屋と前記第１画像との関係性を示す情報を生成する機能と、
    
    前記ユーザにより撮影された第２部屋の画像である第２画像を取得する機能と、
    
    前記取得した前記第２画像と前記生成された前記関係性を示す情報とに基づいて、登録された画像群又は前記ユーザが所有する画像群から前記ユーザの好みが反映された画像である第３画像を選択する機能と、
    
    前記ユーザの前記第２部屋に飾る画像プリントに対応する画像として、前記選択された前記第３画像を前記ユーザに提案する機能と、
    
    をコンピュータにより実現させる画像提案プログラム。

Images