JP6948252B2 - 画像プリント提案装置、方法及びプログラム - Google Patents

画像プリント提案装置、方法及びプログラム Download PDF

Info

Publication number
JP6948252B2
JP6948252B2 JP2017251806A JP2017251806A JP6948252B2 JP 6948252 B2 JP6948252 B2 JP 6948252B2 JP 2017251806 A JP2017251806 A JP 2017251806A JP 2017251806 A JP2017251806 A JP 2017251806A JP 6948252 B2 JP6948252 B2 JP 6948252B2
Authority
JP
Japan
Prior art keywords
image
room
print
group
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017251806A
Other languages
English (en)
Other versions
JP2019117326A (ja
Inventor
三四郎 中村
三四郎 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017251806A priority Critical patent/JP6948252B2/ja
Priority to US16/195,347 priority patent/US10701220B2/en
Publication of JP2019117326A publication Critical patent/JP2019117326A/ja
Application granted granted Critical
Publication of JP6948252B2 publication Critical patent/JP6948252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00161Viewing or previewing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00143Ordering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection-Type Copiers In General (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は画像プリント提案装置、方法及びプログラムに係り、特に部屋に飾る好適な画像プリントをユーザに提案する技術に関する。
従来、購入検討商品を実際の部屋に配置した時の雰囲気や調和性を確かめたり、部屋のサイズに適合するか否かを確かめながら商品を購入できるようにする商品販売装置が提案されている(特許文献1)。
この商品販売装置は、商品を撮影した商品画像とユーザの部屋を撮影した部屋画像とを合成し、合成した画像を顧客に対して案内出力するものであり、特に商品画像と部屋画像とを合成する際に、商品を設置する部屋のサイズと商品のサイズとの比率に応じて画像サイズを調整すると共に、部屋を撮影した撮影方向に応じて商品画像を回転処理することによって商品画像の向きを部屋画像の撮影方向に調整して商品画像を部屋画像内に合成配置するようにしている。
これにより、ユーザは、購入検討商品を実際の部屋に配置した時の雰囲気や調和性を確かめたり、部屋のサイズに適合するか否かを確かめながら商品を購入することができる。
同様に、特許文献2に記載の商品の購入支援システムは、ユーザが購入を希望する購入予定商品の画像を、ユーザが提供した部屋画像又は予め用意された多数種類の部屋モデルから選択された部屋画像における設置領域に合成して表示し、これにより設置場所に最適な商品選択を容易にしている。
また、特許文献3に記載のオーダーカーテン販売システムは、ユーザによりカーテンの型や生地が選択されると、カーテンを配置する部屋の画像から窓枠(カーテン)の採寸を行い、部屋の画像とカーテンの画像とを合成してユーザに端末に表示させ、ユーザがそのカーテンを気に入れば、ユーザから注文を受け付けるというものである。
特開2004−318359号公報 特開2007−193554号公報 特開2007−047946号公報
特許文献1に記載の商品販売装置は、商品画像群を一覧表示し、ユーザにより商品画像群の中から購入検討商品が選択指定されると、その購入検討商品を設置するユーザの部屋画像を取得し、購入検討商品の商品画像を部屋画像内に合成配置するものであり、商品販売装置自体が、ユーザの部屋に適した商品を提案するものではない。
同様に、特許文献2に記載の商品の購入支援システム及び特許文献3に記載のオーダーカーテン販売システムにおいて、カーテン、その他の購入予定商品の選択は、ユーザにより選択されており、システムが自動的に商品を選択してユーザに提案するものではない。
本発明はこのような事情に鑑みてなされたもので、部屋の壁に飾る好適な画像プリントをユーザに提案することができる画像プリント提案装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る画像プリント提案装置は、ユーザにより撮影された部屋の画像を取得する画像取得部と、取得された部屋の画像に基づいて部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又はユーザが所有する画像群から選択する選択部と、部屋に飾る画像プリントに対応する画像として、選択された画像をユーザに提案する提案部と、を備える。
本発明の一の態様によれば、ユーザにより撮影された部屋の画像に基づいてその部屋に飾る画像プリントとして適した画像プリントに対応する画像が自動的に選択され、選択された画像がユーザに提案(提示)される。選択された「画像」を提示することで、その画像に対応する「画像プリント」を間接的に提案する。これにより、ユーザは、部屋の壁に写真(画像プリント)を飾りたい場合、どのような画像プリントを飾れば、その部屋の雰囲気等に調和するかが分からなくても、その部屋に適した画像プリントを簡単に選ぶことができる。
本発明の他の態様に係る画像プリント提案装置において、選択部は、取得された部屋の画像を解析し、部屋の特徴を示す部屋パラメータを取得する部屋パラメータ取得部と、取得された部屋パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、画像群から抽出する画像抽出部と、を含むことが好ましい。
本発明の他の態様によれば、部屋画像からその部屋の特徴を示す部屋パラメータを取得する。部屋パラメータとしては、部屋の種類、部屋(壁)の広さ、部屋の方位、形、色味、及び部屋の明るさ等がある。画像抽出部は、取得された部屋パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を画像群から抽出するため、部屋の雰囲気等に調和した画像を抽出することができる。
本発明の更に他の態様に係る画像プリント提案装置において、部屋パラメータ取得部は、学習用の部屋の画像群と部屋の画像群の特徴を示す教師用の部屋パラメータ群とに基づいて部屋パラメータの取得を学習させた第1の機械学習部であり、取得された部屋の画像に基づいて第1の機械学習部から部屋の特徴を示す部屋パラメータを取得することが好ましい。部屋パラメータ取得部は、取得された部屋画像に基づいて第1の機械学習部から対応する部屋パラメータを取得するため、容易かつ的確に部屋の特徴を示す部屋パラメータを取得することができる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、部屋の特徴を示す部屋パラメータ群と部屋の壁に飾る画像プリントとして適した画像プリント群の特徴を示す画像パラメータ群との関係を記憶する記憶部を有し、画像抽出部は、部屋パラメータ取得部により取得された部屋パラメータに基づいて記憶部から部屋パラメータに対応する画像パラメータを取得し、取得した画像パラメータに基づいて画像群から部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出することが好ましい。画像抽出部は、取得された部屋パラメータに基づいて記憶部から部屋パラメータに対応する画像パラメータを取得することができ、取得した画像パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を画像群から抽出することができる。画像パラメータとしては、画像を解析して得られる各種の特徴量の他、画像サイズ、フレーム数、フレームデザイン、コンテンツ種別、ユーザ画像種別等が考えられる。
本発明の更に他の態様に係る画像プリント提案装置において、画像抽出部は、部屋の特徴を示す学習用の部屋パラメータ群と画像プリント群の特徴を示す教師用の画像パラメータ群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータの取得を学習させた第2の機械学習部を有し、部屋パラメータ取得部により取得された部屋パラメータに基づいて第2の機械学習部から部屋パラメータに対応する画像パラメータを取得し、取得した画像パラメータに基づいて画像群から部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出することが好ましい。画像抽出部は、第2の機械学習部から部屋パラメータに対応する画像パラメータを取得することができ、取得した画像パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を画像群から抽出することができる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、学習用の部屋の画像群と画像プリント群の特徴を示す教師用の画像パラメータ群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータの取得を学習させた第3の機械学習部を有し、取得された部屋の画像に基づいて第3の機械学習部から部屋に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータを取得し、取得した画像パラメータに基づいて画像群から部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を選択することが好ましい。選択部は、部屋に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータを第3の機械学習部から取得することができ、取得した画像パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を画像群から選択することができる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、教師用の画像群と教師用の画像群の特徴を示す学習用の画像パラメータ群とに基づいて画像パラメータに適した画像プリントに対応する画像の取得を学習させた第4の機械学習部を有し、取得された画像パラメータに基づいて第4の機械学習部により画像群から部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を選択することが好ましい。選択部は、取得された画像パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、第4の機械学習部により画像群から選択することができる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、学習用の部屋の画像群と教師用の画像群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像の取得を学習させた第5の機械学習部を有し、取得された部屋の画像に基づいて第5の機械学習部により画像群から部屋に飾る画像プリントとして適した画像プリントに対応する画像を選択することが好ましい。これによれば、第5の機械学習部は、取得された部屋画像に基づいて部屋に飾る画像プリントとして適した画像プリントに対応する画像を画像群から選択することができる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、部屋に飾る画像プリントとして適する画像プリントのうちの適合度の高い上位の複数の画像プリントに対応する複数の画像を画像群から選択し、提案部は、選択された複数の画像をユーザに提案することが好ましい。これにより、ユーザは、提案された複数の画像の中から所望の画像を選択することができる。
本発明の更に他の態様に係る画像プリント提案装置において、提案部は、取得された部屋の画像内の壁領域に選択された画像を合成し、合成した画像をユーザに提示することが好ましい。これにより、ユーザは、提案された画像プリントが実際の部屋の壁に飾られた場合の、部屋の雰囲気や調和性を確認することができる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、予め登録された額装群から選択された画像に適した額装を更に選択し、提案部は、選択された画像及び額装をユーザに提案することが好ましい。
本発明の更に他の態様に係る画像プリント提案装置において、選択部は、予め登録されたコンテンツ群から選択された画像に適したコンテンツを更に選択し、提案部は、選択された画像及びコンテンツをユーザに提案することが好ましい。例えば、海の画像が提案される場合、選択部は、海の画像プリントと一緒に置かれるコンテンツ(例えば、ハワイアン雑貨)を選択し、提案部は、海の画像とともにハワイアン雑貨に対応する画像を一緒に提示することが考えられる。
本発明の更に他の態様に係る画像プリント提案装置において、選択部が、ユーザが所有する画像群から部屋に飾る画像プリントとして適した画像プリントに対応する画像を選択すると、選択した画像の撮影位置情報に基づいて予め登録された画像群から撮影位置情報が近い画像を更に選択し、提案部は、選択されたユーザの所有する画像と選択された撮影位置情報が近い画像とを組み合わせてユーザに提案することが好ましい。これにより、ユーザの画像とそのユーザの画像と撮影位置が近い画像(例えば、プロカメラマンにより撮影された画像)とを組み合わせて提案することができる。
本発明の更に他の態様に係る画像プリント提案装置において、提案部により提案された画像プリントの注文をユーザから受け付ける注文受付部を備えることが好ましい。これにより、ユーザは、提案された画像に対応する画像プリント(ユーザの部屋に飾る画像プリント)を購入することができ、提案者側は画像プリントの販売を促進することができる。
本発明の更に他の態様に係る画像プリント提案方法は、ユーザにより撮影された部屋の画像を取得するステップと、取得された部屋の画像に基づいて部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又はユーザが所有する画像群から選択するステップと、部屋に飾る画像プリントに対応する画像として、選択された画像をユーザに提案するステップと、を含む。
本発明の更に他の態様に係る画像プリント提案方法において、選択するステップは、取得された部屋の画像を解析し、部屋の特徴を示す部屋パラメータを取得するステップと、取得された部屋パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、画像群から抽出するステップと、を含むことが好ましい。
本発明の更に他の態様に係る画像プリント提案方法において、提案するステップは、取得された部屋の画像内の壁領域に選択された画像を合成し、合成した画像をユーザに提示することが好ましい。
本発明の更に他の態様に係る画像プリント提案プログラムは、ユーザにより撮影された部屋の画像を取得する機能と、取得された部屋の画像に基づいて部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又はユーザが所有する画像群から選択する機能と、部屋に飾る画像プリントに対応する画像として、選択された画像をユーザに提案する機能と、をコンピュータに実行させる。
本発明の更に他の態様に係る画像プリント提案プログラムにおいて、選択する機能は、取得された部屋の画像を解析し、部屋の特徴を示す部屋パラメータを取得する機能と、取得された部屋パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、画像群から抽出する機能と、を含むことが好ましい。
本発明の更に他の態様に係る画像プリント提案プログラムにおいて、提案する機能は、取得された部屋の画像内の壁領域に選択された画像を合成し、合成した画像をユーザに提示することが好ましい。
本発明によれば、ユーザの部屋の壁に飾る好適な画像プリントをユーザに提案することができる。
図1は本発明に係る画像プリント提案装置の第1の実施形態を示すブロック図 図2は画像取得部により取得された部屋画像の一例を示す図 図3は表示器の表示画面の一例を示す図 図4は主として図1に示した選択部の第1の実施形態を示す選択部のブロック図 図5は部屋パラメータ取得部に適用されるCNNの代表的な構成例を示す模式図 図6は主として図1に示した選択部の第2の実施形態を示す選択部のブロック図 図7は主として図1に示した選択部の第3の実施形態を示す選択部のブロック図 図8は主として図1に示した選択部の第4の実施形態を示す選択部のブロック図 図9は主として図1に示した選択部の第5の実施形態を示す選択部のブロック図 図10は主として図1に示した選択部の第6の実施形態を示す選択部のブロック図 図11はユーザの部屋の部屋画像内の壁領域に画像プリントに対応する選択された画像を合成し、合成した画像をユーザ 図12はその他の提案例を説明するために用いた図 図13は本発明に係る画像プリント提案装置の第2の実施形態を含む画像プリント提案システムのシステム構成図 図14は主として図13に示した画像プリント提案装置の実施形態を示すブロック図 図15は本発明に係る画像プリント提案方法の実施形態を示すフローチャート 図16は図15に示したステップS20(画像の選択)の処理の一例を示すサブルーチン 図17は図15に示したステップS30(画像プリントの選択)の処理の一例を示すサブルーチンのフローチャート
以下、添付図面に従って本発明に係る画像プリント提案装置、方法及びプログラムの好ましい実施形態について説明する。
[画像プリント提案装置の第1の実施形態]
図1は、本発明に係る画像プリント提案装置の第1の実施形態を示すブロック図である。
図1に示す画像プリント提案装置1−1は、例えば、画像プリントの注文を受け付ける店舗等に設置され、ユーザにより適宜操作される装置であり、主として画像取得部10、選択部12、画像処理部14、表示器16、コンテンツDB(DB:Database)18、ユーザ画像DB20、注文受付部22、及び操作部24から構成されている。
プリント提案装置1−1の各種制御を実行するハードウェア的な構造は、次に示すようなコンピュータの各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム(画像プリント提案プログラムを含む))を実行して各種の制御部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の制御部を1つのプロセッサで構成してもよい。複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
画像取得部10は、カメラ付きのユーザ端末(例えば、スマートフォン)、又はUSB(Universal Serial Bus)メモリ、デジタルカメラで使用されるメモリカード(例えば、SDカード)等の記録媒体と通信インターフェースを介して接続され、ユーザ端末又は記録媒体からユーザにより撮影された部屋の画像(以下、「部屋画像」という)を取得する部分である。
図2は、画像取得部10により取得された部屋画像2の一例を示す図である。尚、部屋画像は、静止画でもよいし、画像プリントを飾る部屋を撮影した動画でもよい。部屋画像が動画の場合、後の工程においては、公知の手段により互いに重なりのない(あるいは互いに重なりの少ない)複数の静止画へと分割し、複数の静止画の部屋画像が入力されたものと取り扱えばよい。
画像プリント提案装置1−1を利用するユーザは、スマートフォン等で自分の部屋(画像プリントを飾る部屋)を撮影し、撮影した部屋画像を、画像取得部10を介して画像プリント提案装置1−1に入力する。
コンテンツDB(DB:database)18には、部屋の壁に飾られる画像プリント用の多数の画像(画像群)が予め登録されている。ここに登録されている画像群は、例えば、プロカメラマンにより撮影された画像群である。
ユーザ画像DB20には、各ユーザにより撮影されたユーザが所有する画像群が登録され、ユーザ毎に管理されている。尚、ユーザ画像DB20には、ユーザ端末又は記録媒体から画像取得部10を介してユーザが所有する画像群を登録することができる。
コンテンツDB18及びユーザ画像DB20は、画像プリント提案装置1−1に内蔵されているものに限らず、LAN(Local Area Network)等により接続され、適宜アクセスできるものでもよい。
選択部12は、画像取得部10により取得された部屋画像に基づいて部屋に飾る画像プリントとして適した画像プリントに対応する画像を、コンテンツDB18に登録された画像群又はユーザ画像DB20に登録された画像群から選択する画像選択部として機能する。
画像処理部14及び表示器16は、部屋に飾る画像プリントに対応する画像として、選択部12により選択された画像をユーザに提案する提案部として機能する。
画像処理部14は、選択部12により選択された画像を処理する部分であり、選択された画像から表示器16に表示させるための画像(表示用画像)を生成する表示制御部として機能する。また、画像処理部14は、画像取得部10により取得された部屋画像内の壁領域に選択された画像を合成し、合成した画像(合成画像)を表示用画像として生成する機能、及び選択された画像に対して画像プリント用の画像処理(明度や色調の調整処理)を行う機能を有する。
表示器16は、液晶ディスプレイ、又は有機エレクトロルミネッセンス・ディスプレイ等から構成され、表示用画像を入力することで、表示画面上に画像プリント用の画像、及びその他の情報を表示する。
注文受付部22は、操作部24でのユーザの操作に基づいて画像プリントの注文を受け付ける部分であり、ユーザは、表示器16に表示された画像プリント用の画像を見て気に入った場合には、自分の部屋の壁に飾る画像プリントとして提案された画像プリントを購入することができる。
操作部24は、マウス、表示器16がタッチパネルを有する場合にはそのタッチパネル等を含むポインティングデバイス、及びキーボードを含み、表示器16の画面を見ながらオンスクリーン対話方式でポインタやアイコンを操作したり、注文受付部22への注文情報、その他の情報を入力する入力部として機能する。
図3は、表示器16の表示画面16Aの一例を示す図である。
図3に示す表示器16の表示画面16Aには、コンテンツDB18及びユーザ画像DB20に登録された画像群の中から選択部12により選択された画像3であって、部屋画像に基づいて部屋に飾る画像プリントとして適した画像プリントに対応する画像3が表示され、これによりユーザの部屋に飾る画像プリントがユーザに間接的に提案される。
選択部12は、部屋に飾る画像プリントとして適する画像プリントのうちの適合度の高い上位の複数の画像プリントに対応する複数の画像を画像群から選択し、提案部として機能する表示器16は、複数の画像を表示することができる。
図3に示す例では、適合度の高い上位の3つの画像プリントに対応する3枚の画像(No.1、No.2、No.3)のサムネイル画像と、No.1のサムネイル画像に対応する本画像である画像3とが、表示器16の表示画面16Aに表示されている。ユーザは、画像3以外の画像の詳細を確認したい場合には、例えば、No.2、又はNo.3のサムネイル画像をポインティングで指定することで、画像3に代えてサムネイル画像に対応する本画像を表示させることができる。
また、表示器16の表示画面16Aには、「注文画面へ」のアイコンが表示されており、ユーザは、このアイコンをクリックすることで、表示画面16Aに拡大表示されている画像に対応する写真プリントを注文する画面に遷移させることができる。
これにより、画像プリント提案装置1−1は、ユーザの部屋の壁に飾る好適な画像プリントをユーザに提案することができ、ユーザは、画像プリントを飾る部屋に適した画像プリントを簡単に選ぶことができる。
尚、図3に示す例では、適合度の高い上位の3枚の画像プリントに対応する3枚の画像からユーザが所望の画像を選択できるようにしたが、提示される画像の枚数はこれに限定されない。また、適合度の最も高い画像のみを提案するようにしてもよい。この場合、提案された画像が気に入らない場合にも対応できるように、ユーザの操作部24での操作により別の画像(例えば、次に適合度の高い画像、あるいは提案した画像とはカテゴリが異なる画像)の提案を要求できることが好ましい。
<第1の実施形態の選択部>
図4は、主として図1に示した選択部12の第1の実施形態を示す選択部12−1のブロック図である。
図4に示す第1の実施形態の選択部12−1は、部屋パラメータ取得部30と、第1の実施形態の画像抽出部32−1とから構成されている。
部屋パラメータ取得部30は、画像取得部10により取得された部屋画像2を解析し、部屋画像2から把握できる部屋の特徴を示す部屋パラメータを取得する。部屋パラメータとしては、部屋の種類(リビング、ダイニング、寝室、書斎、玄関等)、部屋(壁)の広さ(cm)、部屋(壁)の方位、形(長方形、正方形など)、色味、及び部屋の明るさ(ルクス)等がある。
部屋の種類は、例えば、部屋画像内のオブジェクトを抽出することで推定することができる。部屋内にテレビやソファーがある場合にはリビングであると推定することができ、部屋内にダイニングテーブルや食器棚がある場合にはダイニングであると推定することができ、部屋内にベッドがある場合には寝室であると推定することができる。
部屋(壁)の広さは、部屋内のドアのサイズ、椅子のサイズ等を基準にして推定することができる。壁の方位(壁の面が向いている方位)は、部屋画像が記録された画像ファイルのヘッダ情報から取得することが可能である。
例えば、コンパス機能を備えたスマートフォンで部屋画像が撮像されると、撮像時の方位を示す方位情報が画像ファイルのヘッダに画像の付帯情報として記録される。したがって、画像ファイルのヘッダに記録される方位情報を読み取ることで、壁の方位(壁が向いている方位)を知ることができる。例えば、壁に正対して部屋画像が撮影され、かつ部屋画像の付帯情報として、北を示す方位情報が記録されている場合には、その壁の面は、南を向いていることになる。また、部屋画像内にオブジェクトの太陽による影が写っている場合、その影の方向及び撮影時刻から壁の面の方位を検知することができる。
部屋の明るさは、部屋画像の明るさ、及び撮影条件(ヘッダに付帯情報として記録されたシャッタ速度及び絞り値)から求めることができる。
画像抽出部32−1は、部屋パラメータ取得部30により取得された部屋パラメータに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像3を、コンテンツDB18又はユーザ画像DB20に登録された画像群から抽出する。
次に、上記部屋パラメータの取得を人工知能(AI:artificial intelligence)を使用して行う場合について説明する。
人工知能を実現する手法として機械学習装置が知られている。近年、機械学習装置として、学習によって画像から特徴量を算出し、画像の認識処理を行う畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)が注目されている。
図5は、部屋パラメータ取得部30に適用されるCNNの代表的な構成例を示す模式図である。
図5に示すように、部屋パラメータ取得部として構成された第1の機械学習部31は、入力層31Aと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層(「隠れ層」ともいう)30Bと、出力層30Cとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
入力層31Aには、認識処理の対象である部屋画像が入力される。
中間層31Bは、畳み込み層とプーリング層とを1セットとする複数セットと、全結合層とを有し、入力層から入力した画像から特徴を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し(フィルタを使用した畳み込み演算を行い)、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
中間層31Bには、畳み込み層とプーリング層とを1セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。また、各畳み込み層にて使用されるフィルタの「重み」と「バイアス」は、予め多数の学習データにより自動的に学習されている。
本例の部屋パラメータ取得部として構成された第1の機械学習部31は、学習用の部屋の画像群と、部屋の画像群の特徴を示す教師用の部屋パラメータ群とに基づいて部屋パラメータの取得を学習させたものであり、入力層31Aに部屋画像が入力されると、中間層31Bでの処理を経て出力層31Cから部屋画像が示す部屋の特徴を示す部屋パラメータが出力される。
尚、第1の機械学習部は、複数の部屋パラメータの全て取得する場合に限らず、複数の部屋パラメータの一部を取得するものも含む。
<第2の実施形態の選択部>
図6は、主として図1に示した選択部12の第2の実施形態を示す選択部12−2のブロック図である。尚、図6において、図4に示した第1の実施形態を示す選択部12−1と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図6に示す第2の実施形態の選択部12−2は、第1の機械学習部31と、第2の実施形態の画像抽出部32−2と、パラメータDB34とから構成されている。
第1の機械学習部31は、図5で説明したように部屋パラメータ取得部として構成されたものであり、部屋画像2を入力すると、入力した部屋画像2に対応する部屋パラメータを算出し、算出した部屋パラメータを画像抽出部32−2に出力する。
パラメータDB34は、部屋の特徴を示す部屋パラメータと,その部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータとの関係を定義(記憶)する記憶部として機能する。
ここで、画像パラメータとしては、画像(部屋画像)を解析して得られる各種の特徴量の他、画像サイズ、フレーム数、フレームデザイン、コンテンツ種別、ユーザ画像種別等が考えられる。部屋画像の特徴量は、部屋画像のテクスチャを構成する基本的な要素の配列規則を特徴として求めたもの、部屋画像の画素の濃度からその濃度の一様性、コントラスト変化等の画像の性質を表す統計量を特徴として求めたもの等が対応する。
また、部屋の特徴を示す部屋パラメータと画像プリントの特徴を示す画像パラメータとの関連付けは、例えば、部屋画像とその部屋画像が示す部屋の壁に飾る好適な画像プリント(デザイナ等が選んだ画像プリント)とを関連付けることにより行うことができる。
画像抽出部32−2は、まず、第1の機械学習部31から入力した部屋パラメータに基づいてパラメータDB34から部屋パラメータに対応する画像パラメータを取得する。取得された部屋パラメータと同じ部屋パラメータがパラメータDB34に記憶されていない場合には、パラメータDB34に登録された部屋パラメータの中から、取得された部屋パラメータに最も近似する部屋パラメータを抽出し、その部屋パラメータと関連付けて登録された画像パラメータをパラメータDB34から取得する。
続いて、画像抽出部32−2は、パラメータDB34から取得した画像パラメータに基づいて、部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像3を、コンテンツDB18又はユーザ画像DB20に登録された画像群から抽出する。この場合、画像抽出部32−2は、取得した画像パラメータと、コンテンツDB18又はユーザ画像DB20に登録された画像群の個々の画像パラメータとを比較し、一致する画像パラメータを有する画像が登録されている場合にはその画像を抽出し、一致する画像パラメータを有する画像が登録されていない場合には、画像パラメータが最も近似する画像を抽出する。尚、コンテンツDB18又はユーザ画像DB20は、登録された画像に関連付けてその画像の画像パラメータを登録しておくことが好ましい。
<第3の実施形態の選択部>
図7は、主として図1に示した選択部12の第3の実施形態を示す選択部12−3のブロック図である。尚、図7において、図6に示した第2の実施形態を示す選択部12−2と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図7に示す第3の実施形態の選択部12−3は、図6に示した第2の実施形態の選択部12−2と比較して、主としてパラメータDB34の代わりに第2の機械学習部36を備えている点で相違する。
第2の機械学習部36は、部屋の特徴を示す学習用の部屋パラメータ群と画像プリント群の特徴を示す教師用の画像パラメータ群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータの取得を学習させたものである。尚、第2の機械学習部36は、学習データ(学習用の部屋パラメータ群)及び教師データ(教師用の画像パラメータ群)が異なるものの、図5に示したCNNモデルと同様にして構成することができる。
学習済みの第2の機械学習部36は、第1の機械学習部31により取得された部屋パラメータを入力すると、入力した部屋パラメータに対応する画像パラメータを算出し、算出した画像パラメータを画像抽出部32−3に出力する。
画像抽出部32−3は、第2の機械学習部36から取得した画像パラメータに基づいて、部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像3を、コンテンツDB18又はユーザ画像DB20に登録された画像群から抽出する。尚、図6に示した画像抽出部32−2は、パラメータDB34から取得した画像パラメータに基づいて画像群から画像を抽出するのに対し、本例の画像抽出部32−3は、第2の機械学習部36から取得した画像パラメータに基づいて画像群から画像を抽出する点で相違する。
<第4の実施形態の選択部>
図8は、主として図1に示した選択部12の第4の実施形態を示す選択部12−4のブロック図である。尚、図8において、図7に示した第3の実施形態を示す選択部12−3と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図8に示す第4の実施形態の選択部12−4は、図7に示した第3の実施形態の選択部12−3と比較して、主として第1の機械学習部31及び第2の機械学習部36の代わりに、第3の機械学習部38を備えている点で相違する。
即ち、図8に示す第3の機械学習部38は、学習用の部屋の画像群と画像プリント群の特徴を示す教師用の画像パラメータ群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータの取得を学習させたものであり、図7に示した第1の機械学習部31及び第2の機械学習部36の2つの機械学習部を実質的に1つの機械学習部として統合されている。
第3の機械学習部38は、部屋画像2を入力すると、その部屋画像2が示す部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータを出力する。即ち、第3の機械学習部38は、部屋画像2に基づいて部屋パラメータを取得することなく、部屋画像2が示す部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータを出力することができる。また、第3の機械学習部38は、学習データ(学習用の部屋の画像群)及び教師データ(教師用の画像パラメータ群)が異なるものの、図5に示したCNNモデルと同様にして構成することができる。
<第5の実施形態の選択部>
図9は、主として図1に示した選択部12の第5の実施形態を示す選択部12−5のブロック図である。尚、図9において、図7に示した第3の実施形態を示す選択部12−3と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図9に示す第5の実施形態の選択部12−5は、図7に示した第3の実施形態の選択部12−3と比較して、主として画像抽出部32−3の代わりに、画像抽出部として機能する第4の機械学習部40を備えている点で相違する。
第4の機械学習部40は、教師用の画像群の特徴を示す学習用の画像パラメータ群と教師用の画像群とに基づいて画像パラメータに適した画像プリントに対応する画像の取得を学習させたものである。
したがって、第4の機械学習部40は、第2の機械学習部36(又は図8に示した第3の機械学習部38)から画像パラメータを入力すると、部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像3を、コンテンツDB18又はユーザ画像DB20に登録された画像群から抽出(検索)し、抽出した画像3を出力する。
尚、第4の機械学習部40は、学習データ(学習用の画像パラメータ群)及び教師データ(教師用の画像群)が異なるものの、図5に示したCNNモデルと同様にして構成することができる。
<第6の実施形態の選択部>
図10は、主として図1に示した選択部12の第6の実施形態を示す選択部12−6のブロック図である。
図10に示す第6の実施形態の選択部12−6と、図9に示した第5の実施形態の選択部12−5とを比較すると、第5の実施形態の選択部12−5が、第1の機械学習部31、第2の機械学習部36及び第4の機械学習部40(3つの機械学習部)により構成されているのに対し、第6の実施形態の選択部12−6は、1つの第5の機械学習部42により構成されている点で相違する。
この第5の機械学習部42は、学習用の部屋の画像群と教師用の画像群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像の取得を学習させたものであり、部屋画像2を入力すると、部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像3を、コンテンツDB18又はユーザ画像DB20に登録された画像群から選択し、選択した画像3を出力する。
尚、第5の機械学習部42は、学習データ(学習用の部屋の画像群)及び教師データ(教師用の画像群)が異なるものの、図5に示したCNNモデルと同様にして構成することができる。
尚、本実施形態の第1の機械学習部31、第2の機械学習部36、第3の機械学習部38、第4の機械学習部40、及び第5の機械学習部42は、CNNモデルで構成されるものとしたが、これに限らず、サポートベクターマシーン、木構造のモデル、単純ベイズ等で構成される種々の機械学習部を使用してもよいし、種類の異なる機械学習部を適宜組み合わせて使用してもよい。
また、図3に示す例では、複数枚(3枚)の画像プリントに対応する複数枚の画像からユーザが所望の画像を選択できるようにしたが、ユーザが選択した画像を正解として、そのときの部屋画像とユーザが選択した画像を学習情報として使用して、機械学習を更に行うようにしてもよい。
部屋に既に画像プリントが飾ってあるかを検出し、飾ってある場合にはその画像プリントを、提案する画像を抽出する際の判断材料にすることができる。
また、コンテンツDB18又はユーザ画像DB20に登録された画像群から画像を選択する際に、画像プリントに不適切な画像(焦点が合っていない画像や画像サイズの小さい画像)が選択されないように、図示しない画像解析部により画像プリントに適した画像群と不適切な画像群とを予め分類しておき、選択部12は、画像プリントに適した画像群の中から画像を選択することが好ましい。
<提案部>
選択部12により選択された画像3をユーザに提案する提案部として機能する画像処理部14及び表示器16は、図11に示すように選択された画像3と部屋画像2(図2)とを合成した画像(合成画像)3−1を、ユーザに提示することができる。
合成画像3−1をユーザに提示する場合、画像処理部14は、選択された画像3を部屋画像2内の壁領域に合成し、合成画像3−1を生成する。この場合、画像処理部14は、部屋パラメータのうちの壁の面積と選択された画像の画像プリントのサイズ(A3、六つ切り(8×10インチ)等)とにより、部屋の壁領域に合成する画像3のサイズを調整して合成する。また、壁が正対して撮影されていない場合、壁が台形状になるが、この場合には合成する画像3も台形状に変形させることが好ましい。また、このような壁の形状については、部屋画像2を画像処理することで求めることができる。
更に、部屋パラメータとして光源の位置、方向、光源の種類等が検出されている場合、提案する画像を部屋画像の壁領域に合成する際に、提案する画像に光源のエフェクトをかけることが好ましい。これにより、実際の部屋に写真プリントを配置した時の雰囲気や調和性をより正確に確認することができる。
また、選択部12は、コンテンツDB18に予め登録された額装群から額装を更に選択し、提案部として機能する画像処理部14及び表示器16は、選択された画像及び額装をユーザに提案するようにしてもよい。
額装とは、額縁、マット台紙、台座等により画像プリントを引き立てる加工をいうが、ここでは、額縁やマット台紙を使用する額装の場合、額縁等の種類が異なるものは異なる額装であり、額縁やマット台紙をしない加工法の額装の場合、額縁やマット台紙を使用する額装とは異なる額装である。
選択部12は、選択された画像に基づいてその画像(画像プリント)に適した額装を、額装群から選択することができる。
提案部として機能する画像処理部14及び表示器16は、選択された画像及び額装をユーザに提案する際に、画像処理部14は、選択された額装を示す画像と選択された画像とを合成し、表示器16は、合成された画像(額装された画像)を表示する。更に額装された画像を、部屋画像2内の壁領域に合成し、合成画像を表示するようにしてもよい。
<その他の提案>
選択部12は、コンテンツDB18に予め登録されたコンテンツ群であって、写真プリント及び額装以外のコンテンツ群からコンテンツを更に選択し、提案部として機能する画像処理部14及び表示器16は、選択された画像及びコンテンツをユーザに提案してもよい。選択部12は、選択された画像に基づいてその画像(画像プリント)に適したコンテンツを、コンテンツ群から選択することができる。
例えば、海の画像が提案される場合、選択部12は、海の画像プリントと一緒に置かれるコンテンツ(例えば、ハワイアン雑貨)を選択し、提案部として機能する画像処理部14及び表示器16は、海の画像とともにハワイアン雑貨に対応する画像を一緒に提示することが考えられる。
また、画像処理部14は、海の画像を部屋画像2内の壁領域に合成するとともに、ハワイアン雑貨に対応する画像を部屋画像2内の適所に合成し、表示器16は、合成された画像を表示するようにしてもよい。
更に、他サービスの利用状況からユーザの積極性を抽出し、部屋の壁に飾る画像プリントに対応する画像の抽出条件に反映することが考えられる。例えば、写真プリントでLサイズのみ注文するユーザや、イヤーアルバムの注文時にアルバムに使用する画像の選択及びレイアウトをアルバム作成装置に任せるユーザは保守的であると判断し、自分でレイアウトを選択するユーザは積極的であると判断する。そして、保守的と判断されたユーザには、シンプルで小さい画像プリントを提案し、積極的と判断されたユーザには、大きい画像プリントや多数の画像プリントの組合せを提案することが考えられる。
また、図12に示すように選択部12が、ユーザ画像DB20に登録されたユーザ所有の画像群の中から部屋に飾る画像プリントとして適した画像プリントに対応する画像(ユーザ画像)3−2(例えば、ユーザが山をハイキングしている画像)を選択し、そのユーザ画像3−2に撮影位置情報(GPS(Global Positioning System)情報)が付帯情報として含まれる場合、ユーザ画像3−2に撮影位置情報に基づいてコンテンツDB18に登録されたプロカメラマンによって撮影された画像群から撮影位置情報が近い画像3−3(図12では、ユーザがハイキングした山を撮影した画像)を選択し、これらの画像を組み合わせて提案するようにしてもよい。
また、画像処理部14は、プロカメラマンによって撮影された画像3−3を提案する際に、ユーザ画像3−2の明度や色調に近似する方向に画像3−3を調整し、ユーザ画像3−2と調整した画像3−3Aを組み合わせて提案し、統一感を出すようにしてもよい。尚、プロカメラマンによって撮影された画像3−3の明度や色調に近似する方向にユーザ画像3−2を調整するようにしてもよし、両者をそれぞれ調整してもよい。
[画像プリント提案装置の第2の実施形態]
図13は、本発明に係る画像プリント提案装置の第2の実施形態を含む画像プリント提案システムのシステム構成図である。
図13に示す画像プリント提案システムは、画像プリント提案装置1−2と、ユーザ端末(例えば、スマートフォン100、パーソナルコンピュータ102)と、店頭端末104とがインターネット等のネットワーク110により接続されて構成されている。
図14は主として図13に示した画像プリント提案装置1−2の実施形態を示すブロック図である。
図14に示すように画像プリント提案装置1−2は、主として選択部12、画像処理部14、コンテンツDB18、ユーザ画像DB20、注文受付部22、及び通信部26から構成されている。
第2の実施形態の画像プリント提案装置1−2は、図1に示した第1の実施形態の画像プリント提案装置1−1と比較して通信部26が追加され、一方、画像取得部10、表示器16、及び操作部24が設けられていない点で相違する。
スマートフォン100、パーソナルコンピュータ102及び店頭端末104には、例えば、画像プリント提案装置1−2を利用するためのアプリケーションソフトウェアがインストールされ、スマートフォン100等は、このアプリケーションソフトウェアを実行することで、画像プリント提案装置1−2が提供するサービス(部屋の壁に飾る好適な画像プリントの提案)を受けることができる。
以下、ユーザがスマートフォン100を使用する場合について説明する。
ユーザは、スマートフォン100にインストールした上記アプリケーションソフトウェアを実行させ、スマートフォン100で撮影した部屋画像を、ネットワーク110を介して画像プリント提案装置1−2にアップロードする。
スマートフォン100から送信された部屋画像は、画像プリント提案装置1−2の通信部26を介して受け付けられる。したがって、通信部26は、ユーザの部屋画像を取得する画像取得部として機能する。
画像プリント提案装置1−2の選択部12により選択された、部屋に飾る画像プリントに対応する画像は、通信部26及びネットワーク110を介してユーザのスマートフォン100の表示器に表示される。ここで、スマートフォン100の表示器に画像を表示させる画像プリント提案装置1−2の機能は、選択部12により選択された画像をユーザに提案する提案部に対応する。
ユーザは、スマートフォン100の表示器に表示された画像を気に入った場合、スマートフォン100に表示器に表示された「注文画面へ」等のアイコンをタッチ操作することで、画像プリントの注文を行うことができる。
尚、ユーザは、パーソナルコンピュータ102や店頭端末104を使用して、上記と同様なサービスの提供を受けることが可能である。この場合、デジタルカメラ等により撮影された部屋画像を、デジタルカメラの記録メディアを介してパーソナルコンピュータ102や店頭端末104に入力する必要がある。
[画像プリント提案方法]
図15は、本発明に係る画像プリント提案方法の実施形態を示すフローチャートである。
図15において、図1に示す画像プリント提案装置1−1の画像取得部10は、ユーザにより撮影された部屋画像を取得する(ステップS10)。
選択部12は、画像取得部10により取得された部屋画像に基づいて、部屋画像が示す部屋に飾る画像プリントとして適した画像プリントに対応する画像を、コンテンツDB18及びユーザ画像DB20に登録された画像群の中から選択する(ステップS20)。
提案部として機能する表示器16は、選択部12により選択された画像をその表示画面に表示し、ユーザの部屋に飾る画像プリントに対応する画像としてユーザに提案する(ステップS30)。
これにより、ユーザは画像プリントを飾る部屋に適した画像プリントを簡単に選ぶことができる。
図16は、図15に示したステップS20(画像の選択)の処理の一例を示すサブルーチンのフローチャートである。
図16において、図4に示す選択部12−1の部屋パラメータ取得部30は、部屋画像2を解析し、部屋画像が示す部屋の特徴を示す部屋パラメータを取得する(ステップS22)。
続いて、画像抽出部32−1は、取得された部屋パラメータに基づいてユーザの部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、コンテンツDB18及びユーザ画像DB20に登録された画像群の中から抽出する(ステップS24)。
図17は、図15に示したステップS30(画像プリントの選択)の処理の一例を示すサブルーチンのフローチャートである。
図17において、図4に示す選択部12−1の提案部として機能する画像処理部14及び表示器16は、例えば、図11に示した合成画像3−1の表示、又は図3に示した表示画面16Aの表示形態の表示のいずれを選択するかを示すユーザから指示入力を、操作部24を介して受け付ける(ステップS32)。
合成画像3−1の表示の指示入力を受け付けると(「Yes」の場合)、画像処理部14は、ステップS20で選択された画像3を部屋画像2内の壁領域に合成し、合成画像3−1を生成し(ステップS34)、生成した合成画像3−1を表示器16に表示させる(ステップS36)。
一方、図3に示した表示画面16Aの表示形態の表示の指示入力を受け付けると(「No」の場合)、画像処理部14は、ステップS20で選択された画像3を表示器16に表示させる(ステップS38)。
ステップS36にて表示される合成画像3−1は、画像プリントが部屋の壁領域に飾られた場合の部屋の雰囲気や調和性を確認する場合に好適な画像であり、ステップS38にて表示される画像3は、表示器16の表示画面に大きく表示させるため、部屋の壁領域に飾られる画像プリントの詳細を確認する場合に好適である。
[その他]
上記の実施形態では、画像プリント提案装置が、ユーザの部屋を写した部屋画像に基づいてユーザの部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又はユーザが所有する画像群から選択するが、プロカメラマンにより撮影された画像群から画像プリントに対応する画像を選択するか、又はユーザが所有する画像群から画像プリントに対応する画像を選択するかをユーザが指定できるようにしてもよい。また、選択する画像群のカテゴリ(例えば、風景、動物、植物、人物等)をユーザが指定できるようにしてもよい。
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1−1、1−2 画像プリント提案装置
2 部屋画像
3、3−3、3−3A 画像
3−1 合成画像
3−2 ユーザ画像
10 画像取得部
12 選択部
12−1、12−2、12−3、12−4、12−5、12−6 選択部
14 画像処理部
16 表示器
16A 表示画面
18 コンテンツDB
20 ユーザ画像DB
22 注文受付部
24 操作部
26 通信部
30 部屋パラメータ取得部
30C 出力層
31 第1の機械学習部
31A 入力層
31B 中間層
31C 出力層
32−1、32−2、32−3 画像抽出部
34 パラメータDB
36 第2の機械学習部
38 第3の機械学習部
40 第4の機械学習部
42 第5の機械学習部
100 スマートフォン
102 パーソナルコンピュータ
104 店頭端末
110 ネットワーク
S10、S20、S22、S24、S30、S32、S34、S36、S38 ステップ

Claims (16)

  1. ユーザにより撮影された部屋の画像を取得する画像取得部と、
    前記取得された部屋の画像に基づいて前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又は前記ユーザが所有する画像群から選択する選択部と、
    前記部屋に飾る画像プリントに対応する画像として、前記選択された画像を前記ユーザに提案する提案部と、を備え、
    前記選択部は、
    前記取得された部屋の画像を解析し、前記部屋の特徴を示す部屋パラメータを取得する部屋パラメータ取得部と、
    前記取得された部屋パラメータに基づいて前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、前記画像群から抽出する画像抽出部と、
    屋の特徴を示す部屋パラメータ群と前記部屋の壁に飾る画像プリントとして適した画像プリント群の特徴を示す画像パラメータ群との関係を記憶する記憶部と、を有し、
    前記画像抽出部は、前記部屋パラメータ取得部により取得された部屋パラメータに基づいて前記記憶部から前記部屋パラメータに対応する画像パラメータを取得し、前記取得した前記画像パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出する、
    像プリント提案装置。
  2. ユーザにより撮影された部屋の画像を取得する画像取得部と、
    前記取得された部屋の画像に基づいて前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又は前記ユーザが所有する画像群から選択する選択部と、
    前記部屋に飾る画像プリントに対応する画像として、前記選択された画像を前記ユーザに提案する提案部と、を備え、
    前記選択部は、
    前記取得された部屋の画像を解析し、前記部屋の特徴を示す部屋パラメータを取得する部屋パラメータ取得部と、
    前記取得された部屋パラメータに基づいて前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を、前記画像群から抽出する画像抽出部と、を含み、
    前記画像抽出部は、
    部屋の特徴を示す学習用の部屋パラメータ群と画像プリント群の特徴を示す教師用の画像パラメータ群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータの取得を学習させた第2の機械学習部を有し、
    前記部屋パラメータ取得部により取得された前記部屋パラメータに基づいて前記第2の機械学習部から前記部屋パラメータに対応する前記画像パラメータを取得し、前記取得した前記画像パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出する、
    像プリント提案装置。
  3. 前記部屋パラメータ取得部は、学習用の部屋の画像群と前記部屋の画像群の特徴を示す教師用の部屋パラメータ群とに基づいて前記部屋パラメータの取得を学習させた第1の機械学習部であり、前記取得された部屋の画像に基づいて前記第1の機械学習部から前記部屋の特徴を示す部屋パラメータを取得する請求項1又は2に記載の画像プリント提案装置。
  4. ユーザにより撮影された部屋の画像を取得する画像取得部と、
    前記取得された部屋の画像に基づいて前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又は前記ユーザが所有する画像群から選択する選択部と、
    前記部屋に飾る画像プリントに対応する画像として、前記選択された画像を前記ユーザに提案する提案部と、を備え、
    前記選択部は、
    学習用の部屋の画像群と画像プリント群の特徴を示す教師用の画像パラメータ群とに基づいて部屋の壁に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータの取得を学習させた第3の機械学習部を有し、
    前記取得された部屋の画像に基づいて前記第3の機械学習部から前記部屋に飾る画像プリントとして適した画像プリントの特徴を示す画像パラメータを取得し、前記取得した前記画像パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を選択する、
    像プリント提案装置。
  5. 前記選択部は、
    教師用の画像群と前記教師用の画像群の特徴を示す学習用の画像パラメータ群とに基づいて前記画像パラメータに適した画像プリントに対応する画像の取得を学習させた第4の機械学習部を有し、
    前記取得された前記画像パラメータに基づいて前記第4の機械学習部により前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を選択する請求項又はに記載の画像プリント提案装置。
  6. ユーザにより撮影された部屋の画像を取得する画像取得部と、
    前記取得された部屋の画像に基づいて前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又は前記ユーザが所有する画像群から選択する選択部と、
    前記部屋に飾る画像プリントに対応する画像として、前記選択された画像を前記ユーザに提案する提案部と、を備え、
    前記選択部は、
    学習用の部屋の画像群と教師用の画像群とに基づいて前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像の取得を学習させた第5の機械学習部を有し、
    前記取得された部屋の画像に基づいて前記第5の機械学習部により前記画像群から前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を選択する、
    像プリント提案装置。
  7. 前記選択部は、前記部屋に飾る画像プリントとして適する画像プリントのうちの適合度の高い上位の複数の画像プリントに対応する複数の画像を前記画像群から選択し、
    前記提案部は、前記選択された複数の画像を前記ユーザに提案する請求項1からのいずれか1項に記載の画像プリント提案装置。
  8. 前記提案部は、前記取得された部屋の画像内の壁領域に前記選択された画像を合成し、前記合成した画像を前記ユーザに提示する請求項1からのいずれか1項に記載の画像プリント提案装置。
  9. 前記選択部は、予め登録された額装群から前記選択された画像に適した額装を更に選択し、
    前記提案部は、前記選択された画像及び前記額装を前記ユーザに提案する請求項1からのいずれか1項に記載の画像プリント提案装置。
  10. 前記選択部は、予め登録されたコンテンツ群から前記選択された画像に適したコンテンツを更に選択し、
    前記提案部は、前記選択された画像及び前記コンテンツを前記ユーザに提案する請求項1からのいずれか1項に記載の画像プリント提案装置。
  11. 前記選択部が、前記ユーザが所有する画像群から前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を選択すると、前記選択した画像の撮影位置情報に基づいて前記予め登録された画像群から撮影位置情報が近い画像を更に選択し、
    前記提案部は、前記選択された前記ユーザの所有する画像と前記選択された前記撮影位置情報が近い画像とを組み合わせて前記ユーザに提案する請求項1から10のいずれか1項に記載の画像プリント提案装置。
  12. 前記提案部により提案された前記画像に対応する画像プリントの注文を前記ユーザから受け付ける注文受付部を備えた請求項1から11のいずれか1項に記載の画像プリント提案装置。
  13. ユーザにより撮影された部屋の画像を取得するステップと、
    前記取得された部屋の画像に基づいて前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又は前記ユーザが所有する画像群から選択するステップと、
    前記部屋に飾る画像プリントに対応する画像として、前記選択された画像を前記ユーザに提案するステップと、を含み、
    前記選択するステップは、
    前記取得された部屋の画像を解析し、前記部屋の特徴を示す部屋パラメータを取得するステップと、
    前記取得された部屋パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出するステップと、を含み、
    前記画像を抽出するステップは、前記取得された部屋パラメータに基づいて、部屋の特徴を示す部屋パラメータ群と前記部屋の壁に飾る画像プリントとして適した画像プリント群の特徴を示す画像パラメータ群との関係を記憶する記憶部から、前記部屋パラメータに対応する画像パラメータを取得し、前記取得した前記画像パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出する、
    像プリント提案方法。
  14. 前記提案するステップは、前記取得された部屋の画像内の壁領域に前記選択された画像を合成し、前記合成した画像を前記ユーザに提示する請求項13に記載の画像プリント提案方法。
  15. ユーザにより撮影された部屋の画像を取得する機能と、
    前記取得された部屋の画像に基づいて前記部屋に飾る画像プリントとして適した画像プリントに対応する画像を、予め登録された画像群又は前記ユーザが所有する画像群から選択する機能と、
    前記部屋に飾る画像プリントに対応する画像として、前記選択された画像を前記ユーザに提案する機能と、
    をコンピュータに実行させる画像プリント提案プログラムであって、
    前記選択する機能は、
    前記取得された部屋の画像を解析し、前記部屋の特徴を示す部屋パラメータを取得する機能と、
    前記取得された部屋パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出する機能と、を含み、
    前記画像を抽出する機能は、前記取得された部屋パラメータに基づいて、部屋の特徴を示す部屋パラメータ群と前記部屋の壁に飾る画像プリントとして適した画像プリント群の特徴を示す画像パラメータ群との関係を記憶する記憶部から、前記部屋パラメータに対応する画像パラメータを取得し、前記取得した前記画像パラメータに基づいて前記画像群から前記部屋の壁に飾る画像プリントとして適した画像プリントに対応する画像を抽出する、
    像プリント提案プログラム。
  16. 前記提案する機能は、前記取得された部屋の画像内の壁領域に前記選択された画像を合成し、前記合成した画像を前記ユーザに提示する請求項15に記載の画像プリント提案プログラム。
JP2017251806A 2017-12-27 2017-12-27 画像プリント提案装置、方法及びプログラム Active JP6948252B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017251806A JP6948252B2 (ja) 2017-12-27 2017-12-27 画像プリント提案装置、方法及びプログラム
US16/195,347 US10701220B2 (en) 2017-12-27 2018-11-19 Image print proposal device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017251806A JP6948252B2 (ja) 2017-12-27 2017-12-27 画像プリント提案装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019117326A JP2019117326A (ja) 2019-07-18
JP6948252B2 true JP6948252B2 (ja) 2021-10-13

Family

ID=66949687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251806A Active JP6948252B2 (ja) 2017-12-27 2017-12-27 画像プリント提案装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US10701220B2 (ja)
JP (1) JP6948252B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
US10831417B1 (en) * 2019-06-17 2020-11-10 Kyocera Document Solutions Inc. Convolutional neural network based copy or print wizard
DE112020004394T5 (de) * 2019-09-19 2022-06-15 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und anzeigevorrichtung mit künstlicherintelligenzfunktion
JP7412815B1 (ja) 2023-01-12 2024-01-15 株式会社エデュテックパートナーズ 絵画鑑賞装置および絵画鑑賞システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208903A (en) * 1990-09-10 1993-05-04 Eastman Kodak Company Video image display for predicting color hardcopy image quality
US6047130A (en) * 1995-04-24 2000-04-04 Environmental Protection Systems, Inc. Apparatus and method for portrait photography
US20010034668A1 (en) * 2000-01-29 2001-10-25 Whitworth Brian L. Virtual picture hanging via the internet
US7062722B1 (en) * 2000-08-22 2006-06-13 Bruce Carlin Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of promotion and procurement
US20020158884A1 (en) * 2001-04-30 2002-10-31 Manuel Gonzalez System and method for displaying and printing images according to selected sizes
JP4048907B2 (ja) * 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
JP2004318359A (ja) 2003-04-15 2004-11-11 Casio Comput Co Ltd 商品販売装置および商品販売システム並びにプログラム
JP2007047946A (ja) 2005-08-08 2007-02-22 Jipangu:Kk オーダーカーテン販売システム及び販売方法
US7457730B2 (en) * 2005-12-15 2008-11-25 Degnan Donald A Method and system for virtual decoration
JP2007193554A (ja) 2006-01-19 2007-08-02 Ateiina:Kk 商品の購入支援システム及びそれを用いた商品の購入支援方法
US20120194555A1 (en) * 2010-12-28 2012-08-02 Cynthia Byrnes System and process for virtually decorating a room or area
US9396493B2 (en) * 2013-03-20 2016-07-19 Ebay Inc. System and method for recommending home décor items based on an image of a room
US9465512B2 (en) * 2013-04-08 2016-10-11 Art.Com, Inc. Discovering and presenting décor harmonized with a décor style
US20150332622A1 (en) * 2014-05-13 2015-11-19 Google Inc. Automatic Theme and Color Matching of Images on an Ambient Screen to the Surrounding Environment
JP6027581B2 (ja) * 2014-08-29 2016-11-16 富士フイルム株式会社 画像合成装置,画像合成方法,画像合成装置の制御プログラムおよびそのプログラムを格納した記録媒体
US10706457B2 (en) * 2015-11-06 2020-07-07 Fujifilm North America Corporation Method, system, and medium for virtual wall art

Also Published As

Publication number Publication date
US20190199864A1 (en) 2019-06-27
JP2019117326A (ja) 2019-07-18
US10701220B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
JP6948252B2 (ja) 画像プリント提案装置、方法及びプログラム
US10475103B2 (en) Method, medium, and system for product recommendations based on augmented reality viewpoints
US8849043B2 (en) System for matching artistic attributes of secondary image and template to a primary image
US8274523B2 (en) Processing digital templates for image display
US20170083546A1 (en) Preferred image retrieval
US11538096B2 (en) Method, medium, and system for live preview via machine learning models
US8212834B2 (en) Artistic digital template for image display
US8854395B2 (en) Method for producing artistic image template designs
US20110029635A1 (en) Image capture device with artistic template design
US9336442B2 (en) Selecting images using relationship weights
JP6292884B2 (ja) 製品のカスタマイズに用いるデジタル画像を生成するために赤外線写真を用いる方法
US20070258656A1 (en) Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US20080267443A1 (en) Method, System and Computer Program Product for Automatic and Semi-Automatic Modification of Digital Images of Faces
US8345057B2 (en) Context coordination for an artistic digital template for image display
US20070067179A1 (en) Framed art visualization software
US20110025883A1 (en) Image capture method with artistic template design
US20160063600A1 (en) Computer-implemented method of simultaneously displaying a plurality of interchangeable items for purchase
US20130230253A1 (en) Systems and methods for evaluating robustness of saliency predictions of regions in a scene
US20110029540A1 (en) Method for matching artistic attributes of a template and secondary images to a primary image
CN110276818B (zh) 用于自动合成内容感知填充的交互式系统
CN113836334A (zh) 图像处理装置、图像处理方法及记录介质
JP4348956B2 (ja) 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム
WO2019043734A1 (en) SYSTEM AND METHOD FOR GENERATING A VIRTUAL 360 DEGREE VIEW OF A CLOTHING
Hingorani Into the technicalities of photography: An EXIF data exploration
KR20240051344A (ko) 전자 장치 및 이의 촬영 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210917

R150 Certificate of patent or registration of utility model

Ref document number: 6948252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150