JP6991352B2 - 表示装置、方法およびプログラム - Google Patents
表示装置、方法およびプログラム Download PDFInfo
- Publication number
- JP6991352B2 JP6991352B2 JP2020546723A JP2020546723A JP6991352B2 JP 6991352 B2 JP6991352 B2 JP 6991352B2 JP 2020546723 A JP2020546723 A JP 2020546723A JP 2020546723 A JP2020546723 A JP 2020546723A JP 6991352 B2 JP6991352 B2 JP 6991352B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- room
- real space
- article
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Description
本発明は表示装置、方法およびプログラムに関し、特に、部屋空間内に仮想的に物品を配置した状態をユーザに提示するための表示装置、方法およびプログラムに関する。
従来、部屋空間内に家具などの物品を仮想的に配置してユーザに提示する技術が存在する。
特許文献1には、部屋内を三次元測定して三次元モデル化した仮想空間を生成する点、仮想空間に家具などの他の物品を配置するレイアウトシミュレーションをしてもよいことが記載されている。
特許文献2には、家庭内に存在しない機器を購入予定機器として選択する点、バーチャルホーム画面に購入機器の候補の位置をユーザがマウスで好きな位置に動かすことができる点が記載されている。
特許文献3には、仮想部屋にある家具をイメージキャプチャのようなフォト・リアリスティックな描写とするか、あるいはそれに類似する描写とすること、その描写に装置のアクティブ/非アクティブ状態を含めることが記載されている。
家具、家電、インテリアなど、室内に置く物品の購入を検討する際に、これらの物品を示す仮想的なオブジェクトを、仮想的な室内空間に配置してユーザに提示することにより、物品を部屋に配置したときの雰囲気もしくは調和性の有無、または、部屋のサイズもしくはスペースへの適合の有無をユーザが予め確認することができる。
しかしながら、従来技術では、現実に室内に配置されているオブジェクトによって、購入検討物品の配置スペースの確保が阻害され、購入検討物品が持つ本来の魅力または価値を最大化させる配置を提案することができない。
本発明はこのような問題点に鑑みてなされ、現実に室内に配置されているオブジェクトによる配置検討物品のレイアウトの制限を仮想空間内において排除することにより、当該配置検討物品の魅力または価値をユーザに提案することのできる表示装置、方法およびプログラムを提供することを目的とする。
本発明の第1の態様に係る表示装置は、部屋の内部を撮影した画像を取得する画像取得部と、画像取得部の取得した画像から部屋の空間情報を計測する計測部と、部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させる配置検討物品選択部と、画像と空間情報とに基づき、部屋の内部を仮想的に表現した空間である仮想部屋空間と、部屋に配置されている1以上の物品を仮想的に表現した仮想実空間オブジェクトと、配置検討物品選択部によってユーザに選択させた配置検討物品を仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成する生成部と、仮想部屋空間における仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、仮想部屋空間における仮想実空間オブジェクトの配置を決定する配置部と、配置部によって仮想実空間オブジェクトと仮想配置検討物品オブジェクトとが配置された仮想部屋空間を表示部に表示する表示制御部と、を備え、配置部は、部屋に配置されている1以上の物品の部屋における位置に対応する仮想部屋空間の位置である仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置しても仮想配置検討物品オブジェクトの最適な配置を妨げない場合、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置し、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想実空間オブジェクト初期位置から移動させる。
本発明の第2の態様に係る表示装置において、配置部は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想部屋空間の外へ移動させてもよい。
本発明の第3の態様に係る表示装置において、表示制御部は、仮想実空間オブジェクトが仮想部屋空間の外へ移動した場合、移動した仮想実空間オブジェクトを表示部に表示させなくてもよい。
本発明の第4の態様に係る表示装置において、配置部は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想部屋空間内において移動させてもよい。
本発明の第5の態様に係る表示装置において、表示制御部は、表示部の表示した仮想部屋空間における仮想実空間オブジェクトを、仮想配置検討物品オブジェクトの表示位置を除くユーザが任意に指示した位置に表示させ、かつ、ユーザが任意に指示した位置が仮想部屋空間の外である場合、仮想実空間オブジェクトを表示部に表示させなくてもよい。
本発明の第6の態様に係る表示装置は、配置検討物品選択部がユーザに配置検討物品を選択させるため1以上の物品に関する情報を記憶した物品データベースを備え、配置検討物品選択部は、物品データベースに記憶された1以上の物品の情報の中から任意の1以上の物品の情報をユーザに選択させてもよい。
本発明の第7の態様に係る表示装置において、物品に関する情報は、仮想部屋空間における物品の最適なレイアウトに関する情報を含み、表示制御部は、ユーザに選択させた配置検討物品の最適なレイアウトに関する情報に基づき、仮想部屋空間における仮想配置検討物品オブジェクト初期位置を決定し、仮想配置検討物品オブジェクト初期位置に表示してもよい。
本発明の第8の態様に係る表示装置において、物品データベースは、1以上の配置検討物品に対応する仮想配置検討物品オブジェクトを記憶し、生成部は、ユーザに選択された配置検討物品に対応する仮想配置検討物品オブジェクトを物品データベースから抽出することにより、仮想配置検討物品オブジェクトを生成してもよい。
本発明の第9の態様に係る表示装置において、生成部は、画像に含まれる1以上の物品の被写体像に基づいて部屋に配置されている1以上の物品に対応する仮想実空間オブジェクトを生成してもよい。
本発明の第10の態様に係る表示装置は、1以上の物品に対応する仮想実空間オブジェクトを記憶するオブジェクトデータベースを備え、生成部は、部屋に配置されている1以上の物品に対応する仮想実空間オブジェクトをオブジェクトデータベースから抽出することにより、仮想実空間オブジェクトを生成してもよい。
本発明の第11の態様に係る表示装置において、仮想部屋空間は、壁、床および天井を含んでもよい。
本発明の第12の態様に係る表示装置において、部屋に配置されている1以上の物品は、窓、カーテンおよび家具のうち少なくとも1つを含んでもよい。
本発明の第13の態様に係る表示装置において、配置検討物品は電子商取引により購入可能な商品を含んでもよい。
本発明の第14の態様に係る表示方法は、コンピュータが、部屋の内部を撮影した画像を取得するステップと、取得した画像から部屋の空間情報を計測するステップと、部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させるステップと、画像と空間情報とに基づき、部屋の内部を仮想的に表現した空間である仮想部屋空間と、部屋に配置されている1以上の物品を仮想的に表現した仮想実空間オブジェクトと、ユーザに選択させた配置検討物品を仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成するステップと、仮想部屋空間における仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、仮想部屋空間における仮想実空間オブジェクトの配置を決定するステップと、仮想実空間オブジェクトと仮想配置検討物品オブジェクトとが配置された仮想部屋空間を表示するステップと、を実行する表示方法であって、部屋に配置されている1以上の物品の部屋における位置に対応する仮想部屋空間の位置である仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置しても仮想配置検討物品オブジェクトの最適な配置を妨げない場合、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置し、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトを配置すると仮想配置検討物品オブジェクトの最適な配置を妨げる場合、仮想実空間オブジェクトを仮想実空間オブジェクト初期位置から移動させる
本発明の第15の態様は、第14の態様に係る表示方法をコンピュータに実行させるための表示プログラムを含む。
この発明によると、ユーザが選んだ物品の最適な配置を決定する際、その物品の配置の妨げになるような実空間のオブジェクトは、仮想部屋空間から削除することができる。従って、ユーザが購入しようとする商品などを新たに部屋に配置することを検討する際に、商品が部屋に既存の物品よりも持つ魅力または価値をユーザに伝えることができ、商品の販売機会の損失を減らすことができる。また、これから購入しようとする商品を含めた部屋のトータルコーディネートも可能であり、関連商品のクロスセルも可能となる。
図1は本発明の好ましい実施形態に係る画像処理装置100のブロック構成図である。画像処理装置100は、画像取得部11、空間計測部(計測部)12、商品選択部(配置検討物品選択部)13、表示部14、表示制御部15、仮想オブジェクト生成部(生成部)16、レイアウト決定部(配置部)17、商品データベース(物品データベース)18、オブジェクトデータベース19を備える。画像取得部11、空間計測部12、商品選択部13、表示制御部15、仮想オブジェクト生成部16、レイアウト決定部17は、1または複数のプロセッサにより構成されうる。プロセッサは、CPU(Central Processing Unit),ASIC(Application Specific Integrated Circuit),GPU(Graphics Processing Unit)などを含む。表示部14は、液晶ディスプレイなどの表示装置で構成される。表示制御部15は、ディスプレイドライバIC(Integrated Circuit)などで構成される。商品データベース18およびオブジェクトデータベース19は、ハードディスク装置、フラッシュメモリなどの各種の記憶装置で構成される。
画像取得部11は、3Dカメラなど空間情報を取得する装置を用いて、ユーザが部屋の内部を撮影した画像を取得する。3Dカメラは、2眼のカメラまたは1眼のカメラに赤外線センサを付属した装置であって、対象物までの距離を測定できる。その他、3Dカメラは、1眼のカメラとモーションセンサの組合せにより、あるいは1眼のカメラで得た情報の解析により、空間情報を取得できる装置も含む。
空間計測部12は、画像取得部11の取得した画像から部屋の空間情報を計測する。例えば、空間計測部12は、部屋空間の寸法である左右の壁間の幅、天井高、および奥行きを計測する。また、空間計測部12は、部屋空間内に配置された1または複数の物品の形状および位置座標を計測する。
商品選択部13は、部屋に新たに配置を検討しようとする物品である配置検討物品を、ユーザに選択させる。例えば、商品選択部13は、商品データベース18に記憶された1以上の物品の情報の中から任意の1以上の物品の情報をユーザに選択させるための商品選択画面を表示部14に表示させるための信号を、表示制御部15に出力する。
仮想オブジェクト生成部16は、画像取得部11が取得した部屋画像および空間計測部12が計測した空間情報に基づき、仮想的に表現した部屋空間と、仮想的に表現したオブジェクトとを生成する。仮想オブジェクト生成部16は、画像取得部11が取得した部屋画像および空間計測部12が計測した空間情報に基づき、部屋の内部を仮想的に表現した空間である仮想部屋空間を生成する。なお、仮想部屋空間は、壁、床および天井を含む。また、仮想オブジェクト生成部16は、撮影された部屋に、現実に、配置されている1以上の物品を仮想的に表現した仮想実空間オブジェクトを生成する。仮想オブジェクト生成部16は、画像取得部11が取得した部屋画像に含まれる1以上の物品の被写体像に基づいて、部屋に配置されている1以上の物品に対応する仮想実空間オブジェクトを生成する。仮想オブジェクト生成部16は、部屋に配置されている1以上の物品に対応する仮想実空間オブジェクトを、オブジェクトデータベース19から抽出することにより、仮想実空間オブジェクトを生成する。さらに、仮想オブジェクト生成部16は、商品選択部13によってユーザに選択させた配置検討物品を、仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトを生成する。仮想オブジェクト生成部16は、ユーザが選択した配置検討物品に対応する仮想配置検討物品オブジェクトを、商品データベース18から抽出することにより、仮想配置検討物品オブジェクトを生成する。
レイアウト決定部17は、仮想部屋空間に、仮想実空間オブジェクトおよび配置仮想配置検討物品オブジェクトを配置する。例えば、レイアウト決定部17は、仮想部屋空間における仮想配置検討物品オブジェクトの最適な位置に、仮想配置検討物品オブジェクトを配置する。レイアウト決定部17は、画像取得部11が取得した部屋画像における物品の配置された位置に対応する、仮想部屋空間における位置(仮想実空間オブジェクト初期位置)に、仮想実空間オブジェクトを配置する。また、例えば、レイアウト決定部17は、ユーザが任意に指示した仮想部屋空間における位置に仮想配置検討物品オブジェクトを配置する。
表示部14は、レイアウト決定部17によって仮想実空間オブジェクトと仮想配置検討物品オブジェクトとが配置された仮想部屋空間を表示する。
表示制御部15は、表示部14の表示した、仮想部屋空間における仮想実空間オブジェクトおよび仮想配置検討物品オブジェクトを、レイアウト決定部17によって配置された位置からユーザが任意に指示した位置に移動させる。
商品データベース18は、商品選択部13がユーザに配置検討物品を選択させるため1以上の物品に関する情報を記憶する。物品に関する情報は、仮想部屋空間における物品の最適なレイアウトに関する情報を含む。また、商品データベース18は、1以上の配置検討物品に対応する仮想配置検討物品オブジェクトを記憶する。
オブジェクトデータベース19は、1以上の物品に対応する仮想実空間オブジェクトを記憶する。
画像処理装置100は、スマートフォン、タブレット端末、デジタルカメラなどの携帯情報端末またはパソコンなどで構成される。なおユーザが部屋の内部の撮影に使用するカメラ、商品データベース18、およびオブジェクトデータベース19は、画像処理装置100と一体でもよいし一体でなくてもよい。商品データベース18、およびオブジェクトデータベース19は、他のパソコンまたはサーバーなどに備えられており、画像処理装置100がネットワーク経由でアクセスできるようにしてもよい。
図2はオブジェクトデータベース19に記憶される情報の一例を示す。オブジェクトデータベース19は、現実に部屋空間内に配置されうる物品の物品名、オブジェクトID(identification)、物品を仮想的に示すオブジェクト(仮想実空間オブジェクト)の画像データなどを対応づけて記憶する装置である。また、オブジェクトデータベース19は、空間計測部12が計測した部屋空間内に実際に配置されている物品の位置座標、および、当該物品が部屋内において移動可能であるか否かを示す移動可否フラグをさらに対応づけて記憶することもできる。
図3は商品データベース18に記憶される情報の一例を示す。商品データベース18は、部屋に新たに配置を検討しようとする物品(配置検討物品)を示す商品ID、商品名、商品価格、商品の画像データなどを記憶する。商品データベース18は、電子商取引により商品の購入が可能なサイトなどに備えられており、画像処理装置100がネットワーク経由でアクセスできるようにしてもよい。
図4は画像処理装置100の実行するレイアウト提示処理を含む表示方法の実施形態を示すフローチャートである。この処理を各種のコンピュータ(プロセッサ)に実行させるための表示プログラムは、ROM(Read Only Memory),CD-ROM,ハードディスク装置など各種のコンピュータ(プロセッサ)読み取り可能な記録媒体に記録されている。
なお本明細書において「購入」とは有償譲受、「商品」とは有償譲渡される物品のことであるが、無償譲渡される物品を設置しようとする部屋空間についても、商品と同様の処理を行える。
ステップS1では、画像取得部11は、部屋の内部を撮影した画像(部屋画像)を取得する。この部屋画像は、3Dカメラなどで撮影した3次元画像などである。また部屋空間とは、これから新たに商品を購入して設置しようとする部屋空間である。
ステップS2では、空間計測部12は、画像取得部11が取得した部屋画像から、部屋空間の寸法、並びに、現実に部屋空間内に配置されている1または複数の物品である備え付け物品の形状および位置座標を計測する。図5は部屋画像Sから測定された備え付け物品のオブジェクト(実空間オブジェクト)OBJ1-1,OBJ1-2およびOBJ1-3の一例を示す。また図6は部屋画像から計測された部屋空間S1の寸法である左右の壁間の幅xl、天井高yl、奥行きzlの一例を示す。計測された実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の位置座標は、それぞれ、物品名、オブジェクトID、仮想実空間オブジェクトの画像データなどと対応づけられ、オブジェクトデータベース19に記憶される。
ステップS3では、生成部の一部である仮想オブジェクト生成部16は、空間計測部12の測定した部屋空間S1内に配置された1または複数の備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の形状に対応する、仮想部屋空間S2におけるオブジェクト(仮想実空間オブジェクト)OBJ2-1,OBJ2-2およびOBJ2-3を、オブジェクトデータベース19に基づいて生成する(図7参照)。
例えば、仮想オブジェクト生成部16は、機械学習などにより、測定された備え付け物品の形状等により当該物品に相当する物品(同一または類似する物品)の物品名を推定する。そして、仮想オブジェクト生成部16は、推定された物品名に対応する物品の画像データ等を含むオブジェクトデータを、オブジェクトデータベース19に記憶された物品のオブジェクトデータの一覧から特定して抽出する。抽出されたオブジェクトデータは、仮想実空間オブジェクトを含む。
あるいは、仮想オブジェクト生成部16は、画像から計測された備え付け物品の被写体像の色を減色したり、形状を多角形で近似するなど、物品部分を単純化することで、備え付け物品の仮想実空間オブジェクトを生成してもよい。
図7は部屋空間S1内に配置された備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3に対応して生成される仮想実空間オブジェクトOBJ2-1,OBJ2-2およびOBJ2-3を示す。
ステップS4では、商品選択部13は、ユーザの操作に基づいて任意の商品(配置検討物品)の商品名を商品データベース18から選択する。図8は、ユーザが購入を検討している商品の選択を行う商品選択画面の一例である。
ステップS5では、配置部として機能するレイアウト決定部17は、ステップS4で選択された商品に対応する仮想配置検討物品オブジェクトの仮想部屋空間S2内における配置と、部屋空間S1内において測定された備え付け物品に対応する仮想実空間オブジェクトの仮想部屋空間S2内における配置を決定する。この処理の詳細は後述する。
ステップS6では、表示制御部15は、レイアウト決定部17の決定した配置に従って、選択された商品名に対応する仮想配置検討物品オブジェクトと、部屋空間S1内において測定された備え付け物品に対応する仮想実空間オブジェクトとが配置された仮想部屋空間S2を、表示部14に表示する。
ステップS7では、表示制御部15は、ユーザ操作に従って、選択された商品名に対応する商品の仮想配置検討物品オブジェクトおよび/または1または複数の備え付け物品に対応する仮想実空間オブジェクトの表示位置を仮想部屋空間S2内の任意の位置に移動させる。
図9はステップS5の処理を詳細に説明したフローチャートである。
ステップS100では、レイアウト決定部17は、各備え付け物品の移動の可否を判定する。例えば、図5のように、部屋空間S1内において備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3が計測された場合、レイアウト決定部17は、備え付け物品の実空間オブジェクトOBJ1-1,OBJ1-2およびOBJ1-3の各々の物理的な移動の可否を判定する。この判定は備え付け物品の移動の可否を判定する機械学習アルゴリズム、または、物品の種類ごとの移動の可否を予め定義した参照テーブル等を用いて行うとよい。
図5のような部屋空間S1では、備え付け物品の実空間オブジェクトOBJ1-1(すなわち植木鉢)と、OBJ1-2(すなわちソファー(家具))は移動可と判定され、OBJ1-3(すなわち窓およびカーテンの組)は移動不可と判定される。各備え付け物品の移動可否の判定結果はオブジェクトデータベース19に記憶されてもよい。以下、移動可と判定された備え付け物品は可動物品、移動不可と判定された備え付け物品は不可動物品と呼ぶ。
ステップS101では、レイアウト決定部17は、部屋画像から可動物品を除去した仮想的な部屋空間である仮想部屋空間S2を作成する。仮想部屋空間S2は、測定された3次元実空間すなわち部屋空間を3次元CG(Computer Graphics:コンピュータグラフィックス)により表現される部屋空間の座標系に変換した仮想的空間である。
図10は仮想部屋空間S2の一例である。図10に示す仮想部屋空間S2は、不可動物品である実空間オブジェクトOBJ1-3の形状に対応する仮想実空間オブジェクトOBJ2-3のみが存在し、可動物品である実空間オブジェクトOBJ1-1およびOBJ1-2の形状に対応する仮想実空間オブジェクトOBJ2-1およびOBJ2-2は除去された部屋空間の3次元CGである。可動物品の仮想実空間オブジェクトOBJ2-1およびOBJ2-2が除去された部分は、空き空間V1としてレイアウト決定部17に認識される。
ステップS102では、レイアウト決定部17は、仮想部屋空間S2の空き空間V1において、ステップS4で選択された商品のオブジェクト(仮想配置検討物品オブジェクト)ITの最適な配置を決定する。すなわち、レイアウト決定部17は、仮想部屋空間において仮想配置検討物品オブジェクトを最初に表示させる位置である仮想配置検討物品オブジェクト初期位置を決定する。
図11はレイアウト決定部17の決定した、選択された商品の仮想配置検討物品オブジェクトITの最適な配置の一例を示す。図11では、商品の仮想配置検討物品オブジェクトITの最適な配置として、床からの高さhが目線程度(例えば、h=y0=150cm)であり、なおかつ不可動物品の仮想実空間オブジェクトOBJ2-3の左端部から仮想配置検討物品オブジェクトITの右端までの距離と左壁面WLから仮想配置検討物品オブジェクトITの左端までの距離とが等距離dとなる座標(x0,y0,z0)を仮想配置検討物品オブジェクトITの中心としている。これらの最適な配置に関する情報は商品データベース18内のアイテムとして商品IDごとに記憶されてもよい。
ステップS103では、レイアウト決定部17は、仮想配置検討物品オブジェクトITの最適な配置を妨げない範囲において、仮想部屋空間S2における可動物品に対応する仮想実空間オブジェクトの配置を決定する。
図12は可動物品に対応する仮想実空間オブジェクトOBJ2-2の配置の決定の一例を示す。この図12では、可動物品である実空間オブジェクOBJ1-2に対応する仮想実空間オブジェクトOBJ2-2については、部屋画像Sにおける実空間オブジェクOBJ1-2の位置と対応する仮想部屋空間S2の仮想実空間オブジェクト初期位置(仮想部屋空間初期位置)に配置しても、商品の仮想配置検討物品オブジェクトITの位置と干渉しない。したがって、部屋画像Sにおける可動物品の実空間オブジェクトOBJ1-2の位置と対応する座標(x2,y2,z2)が仮想実空間オブジェクトOBJ2-2の配置と決定される。仮に両者が干渉しても、可動物品の実空間オブジェクトOBJ1-2の位置と対応する座標を数ドット分微調整することで干渉が解消されるのであれば、微調整後の位置を仮想実空間オブジェクトOBJ2-2の配置と決定してもよい。すなわち、レイアウト決定部17は、部屋空間S1に配置されている1以上の実空間オブジェクトOBJ1-2の部屋空間S1における位置に対応する仮想部屋空間S2の位置である仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-2を配置しても仮想配置検討物品オブジェクトITの最適な配置を妨げない場合、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-2を配置する。
一方、可動物品の仮想実空間オブジェクトOBJ2-1については、部屋画像における可動物品の元々の位置と対応する仮想実空間オブジェクト初期位置に配置すると、商品の仮想配置検討物品オブジェクトITの位置と干渉する(すなわち、仮想実空間オブジェクトOBJ2-1と仮想配置検討物品オブジェクトITが重なる)。したがって、可動物品の仮想実空間オブジェクトOBJ2-1の座標は与えられず、除去された状態が、仮想実空間オブジェクトOBJ2-1の配置と決定される。ただし、仮に両者が干渉しても、仮想実空間オブジェクトOBJ2-1の元々の位置と対応する座標を微調整することにより干渉が解消されるのであれば、微調整後の位置を仮想実空間オブジェクトOBJ2-1の配置と決定してもよい。すなわち、レイアウト決定部17は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-1を配置すると仮想配置検討物品オブジェクトITの最適な配置を妨げる場合、仮想実空間オブジェクトOBJ2-1を仮想実空間オブジェクト初期位置から移動させる。特に、レイアウト決定部17は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-1を配置すると仮想配置検討物品オブジェクトITの最適な配置を妨げる場合、仮想実空間オブジェクトOBJ2-1を仮想部屋空間S2の外へ移動させる。または、レイアウト決定部17は、仮想実空間オブジェクト初期位置に仮想実空間オブジェクトOBJ2-1を配置すると仮想配置検討物品オブジェクトITの最適な配置を妨げる場合、仮想実空間オブジェクトOBJ2-1を仮想部屋空間S2内において移動させる。表示制御部15は、仮想実空間オブジェクトOBJ2-1が仮想部屋空間S2の外へ移動した場合、移動した仮想実空間オブジェクトOBJ2-1を表示部14に表示させない。
なお、図13に示すように、ステップS7にて可動物品の仮想実空間オブジェクトOBJ2-2の仮想実空間オブジェクト初期位置を含む移動元位置がユーザのスワイプ操作で移動先位置に変更された結果、商品の仮想配置検討物品オブジェクトITの位置と干渉しない空間V2が生じた場合、図14に示すように、除去された可動物品の仮想実空間オブジェクトOBJ2-1を空間V2に配置してもよい。この状態からさらに、ユーザ指示に従って、商品の仮想配置検討物品オブジェクトIT、可動物品の仮想実空間オブジェクトOBJ2-1およびOBJ2-2の配置座標を変更してもよい。また画面外に向かって仮想実空間オブジェクトOBJ2-1またはOBJ2-2をスワイプすることで、その存在を消去できたり、消去した仮想実空間オブジェクトOBJ2-1またはOBJ2-2を再び仮想部屋空間S2に復帰できるようにしてもよい。商品の仮想配置検討物品オブジェクトITについても、ユーザのスワイプ操作で、その位置を任意に変更することができる。
このように、ユーザが商品データベース18から任意に選んだ商品の部屋空間内での最適な配置を決定する際、その商品の最適な配置の妨げになる部屋空間内の既存の物品の実空間オブジェクトOBJ1-1に対応する仮想実空間オブジェクトOBJ2-1は、仮想部屋空間S2から除去することができる。従って、ユーザが購入しようとする商品を新たに部屋空間S1に配置することを検討する際に、部屋空間S1に存在する物品(可動物品)の影響を取り除いて、新たに購入しようとする商品の持つ魅力または価値をユーザに伝えることができ、商品の販売機会の損失を減らすことができる。また、これから購入しようとする商品または部屋空間内の既存の物品を含めた部屋のトータルコーディネートも可能であり、関連商品のクロスセルも可能となる。
上記記載から、以下の付記項1に記載の表示装置を把握することができる。
[付記項1]
プロセッサを備え、
前記プロセッサは、
部屋の内部を撮影した画像を取得し、
前記取得した画像から部屋の空間情報を計測し、
前記部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させ、
前記画像と前記空間情報とに基づき、前記部屋の内部を仮想的に表現した空間である仮想部屋空間と、前記部屋に配置されている1以上の物品を仮想的に表現した仮想実空間オブジェクトと、前記配置検討物品選択部によってユーザに選択させた配置検討物品を前記仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成し、
前記仮想部屋空間における前記仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、前記仮想部屋空間における前記仮想実空間オブジェクトの配置を決定し、
前記仮想実空間オブジェクトと前記仮想配置検討物品オブジェクトとが配置された前記仮想部屋空間を表示し、
前記部屋に配置されている前記1以上の物品の前記部屋における位置に対応する前記仮想部屋空間の位置である仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置しても前記仮想配置検討物品オブジェクトの最適な配置を妨げない場合、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置し、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想実空間オブジェクト初期位置から移動させる表示装置。
11 画像取得部
12 空間計測部
13 商品選択部
14 表示部
15 表示制御部
16 仮想オブジェクト生成部
17 レイアウト決定部
18 商品データベース
19 オブジェクトデータベース
100 画像処理装置
Claims (15)
-
部屋の内部を撮影した画像を取得する画像取得部と、
前記画像取得部の取得した画像から部屋の空間情報を計測する計測部と、
前記部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させる配置検討物品選択部と、
前記画像と前記空間情報とに基づき、前記部屋の内部を仮想的に表現した空間である仮想部屋空間と、前記部屋に配置されている1以上の物品を仮想的に表現した仮想実空間オブジェクトと、前記配置検討物品選択部によってユーザに選択させた配置検討物品を前記仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成する生成部と、
前記仮想部屋空間における前記仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、前記仮想部屋空間における前記仮想実空間オブジェクトの配置を決定する配置部と、
前記配置部によって前記仮想実空間オブジェクトと前記仮想配置検討物品オブジェクトとが配置された前記仮想部屋空間を表示部に表示する表示制御部と、
を備え、
前記配置部は、前記部屋に配置されている前記1以上の物品の前記部屋における位置に対応する前記仮想部屋空間の位置である仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置しても前記仮想配置検討物品オブジェクトの最適な配置を妨げない場合、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置し、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想実空間オブジェクト初期位置から移動させる表示装置。
-
前記配置部は、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想部屋空間の外へ移動させる請求項1に記載の表示装置。
-
前記表示制御部は、前記仮想実空間オブジェクトが前記仮想部屋空間の外へ移動した場合、移動した前記仮想実空間オブジェクトを前記表示部に表示させない請求項2に記載の表示装置。
-
前記配置部は、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想部屋空間内において移動させる請求項1に記載の表示装置。
-
前記表示制御部は、前記表示部の表示した前記仮想部屋空間における前記仮想実空間オブジェクトを、前記仮想配置検討物品オブジェクトの表示位置を除く前記ユーザが任意に指示した位置に表示させ、かつ、前記ユーザが任意に指示した位置が前記仮想部屋空間の外である場合、前記仮想実空間オブジェクトを前記表示部に表示させない請求項1~4のいずれか1項に記載の表示装置。
-
前記配置検討物品選択部がユーザに配置検討物品を選択させるため1以上の物品に関する情報を記憶した物品データベースを備え、
前記配置検討物品選択部は、前記物品データベースに記憶された1以上の物品の情報の中から任意の1以上の物品の情報をユーザに選択させる請求項1~5のいずれか1項に記載の表示装置。
-
前記物品に関する情報は、前記仮想部屋空間における物品の最適なレイアウトに関する情報を含み、
前記表示制御部は、ユーザに選択させた配置検討物品の最適なレイアウトに関する情報に基づき、前記仮想部屋空間における仮想配置検討物品オブジェクト初期位置を決定し、前記仮想配置検討物品オブジェクト初期位置に表示する請求項6に記載の表示装置。
-
前記物品データベースは、1以上の配置検討物品に対応する仮想配置検討物品オブジェクトを記憶し、
前記生成部は、前記ユーザに選択された配置検討物品に対応する仮想配置検討物品オブジェクトを前記物品データベースから抽出することにより、前記仮想配置検討物品オブジェクトを生成する請求項6または7に記載の表示装置。
-
前記生成部は、前記画像に含まれる1以上の物品の被写体像に基づいて前記部屋に配置されている1以上の物品に対応する仮想実空間オブジェクトを生成する請求項1~8のいずれか1項に記載の表示装置。
-
1以上の物品に対応する仮想実空間オブジェクトを記憶するオブジェクトデータベースを備え、
前記生成部は、前記部屋に配置されている1以上の物品に対応する仮想実空間オブジェクトを前記オブジェクトデータベースから抽出することにより、前記仮想実空間オブジェクトを生成する請求項1~9のいずれか1項に記載の表示装置。
-
前記仮想部屋空間は、壁、床および天井を含む請求項1~10のいずれか1項に記載の表示装置。
-
前記部屋に配置されている1以上の物品は、窓、カーテンおよび家具のうち少なくとも1つを含む請求項1~11のいずれか1項に記載の表示装置。
-
前記配置検討物品は電子商取引により購入可能な商品を含む請求項1~12のいずれか1項に記載の表示装置。
-
コンピュータが、
部屋の内部を撮影した画像を取得するステップと、
前記取得した画像から部屋の空間情報を計測するステップと、
前記部屋に新たに配置を検討しようとする物品である配置検討物品をユーザに選択させるステップと、
前記画像と前記空間情報とに基づき、前記部屋の内部を仮想的に表現した空間である仮想部屋空間と、前記部屋に配置されている1以上の物品を仮想的に表現した仮想実空間オブジェクトと、前記ユーザに選択させた配置検討物品を前記仮想部屋空間において仮想的に表現した仮想配置検討物品オブジェクトとを生成するステップと、
前記仮想部屋空間における前記仮想配置検討物品オブジェクトの最適な配置を決定し、かつ、前記仮想部屋空間における前記仮想実空間オブジェクトの配置を決定するステップと、
前記仮想実空間オブジェクトと前記仮想配置検討物品オブジェクトとが配置された前記仮想部屋空間を表示するステップと、を実行する表示方法であって、
前記部屋に配置されている前記1以上の物品の前記部屋における位置に対応する前記仮想部屋空間の位置である仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置しても前記仮想配置検討物品オブジェクトの最適な配置を妨げない場合、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置し、前記仮想実空間オブジェクト初期位置に前記仮想実空間オブジェクトを配置すると前記仮想配置検討物品オブジェクトの最適な配置を妨げる場合、前記仮想実空間オブジェクトを前記仮想実空間オブジェクト初期位置から移動させる
表示方法。
-
請求項14に記載の表示方法をコンピュータに実行させるための表示プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168944 | 2018-09-10 | ||
JP2018168944 | 2018-09-10 | ||
PCT/JP2019/027466 WO2020054203A1 (ja) | 2018-09-10 | 2019-07-11 | 表示装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054203A1 JPWO2020054203A1 (ja) | 2021-09-16 |
JP6991352B2 true JP6991352B2 (ja) | 2022-01-12 |
Family
ID=69778582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546723A Active JP6991352B2 (ja) | 2018-09-10 | 2019-07-11 | 表示装置、方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210165558A1 (ja) |
JP (1) | JP6991352B2 (ja) |
CN (1) | CN112655028A (ja) |
WO (1) | WO2020054203A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882648B (zh) * | 2020-06-23 | 2022-04-22 | 北京城市网邻信息技术有限公司 | 一种家具的展示方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197342A (ja) | 2015-04-03 | 2016-11-24 | 株式会社サイバーウォーカー | 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8253731B2 (en) * | 2006-11-27 | 2012-08-28 | Designin Corporation | Systems, methods, and computer program products for home and landscape design |
DE102007045834B4 (de) * | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
US9129404B1 (en) * | 2012-09-13 | 2015-09-08 | Amazon Technologies, Inc. | Measuring physical objects and presenting virtual articles |
US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
US9965800B1 (en) * | 2013-07-12 | 2018-05-08 | Amazon Technologies, Inc. | Display of an electronic representation of a physical object in a virtual environment |
JP6476658B2 (ja) * | 2013-09-11 | 2019-03-06 | ソニー株式会社 | 画像処理装置および方法 |
US9971853B2 (en) * | 2014-05-13 | 2018-05-15 | Atheer, Inc. | Method for replacing 3D objects in 2D environment |
US9734634B1 (en) * | 2014-09-26 | 2017-08-15 | A9.Com, Inc. | Augmented reality product preview |
KR102326700B1 (ko) * | 2015-06-01 | 2021-11-16 | 엘지전자 주식회사 | 이동 단말기 |
US10706457B2 (en) * | 2015-11-06 | 2020-07-07 | Fujifilm North America Corporation | Method, system, and medium for virtual wall art |
US10981060B1 (en) * | 2016-05-24 | 2021-04-20 | Out of Sight Vision Systems LLC | Collision avoidance system for room scale virtual reality system |
EP4202882A1 (en) * | 2018-06-15 | 2023-06-28 | Google LLC | Smart-home device placement and installation using augmented-reality visualizations |
-
2019
- 2019-07-11 JP JP2020546723A patent/JP6991352B2/ja active Active
- 2019-07-11 WO PCT/JP2019/027466 patent/WO2020054203A1/ja active Application Filing
- 2019-07-11 CN CN201980057585.1A patent/CN112655028A/zh active Pending
-
2021
- 2021-02-08 US US17/170,102 patent/US20210165558A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197342A (ja) | 2015-04-03 | 2016-11-24 | 株式会社サイバーウォーカー | 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020054203A1 (ja) | 2020-03-19 |
US20210165558A1 (en) | 2021-06-03 |
CN112655028A (zh) | 2021-04-13 |
JPWO2020054203A1 (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11010965B2 (en) | Virtual object placement for augmented reality | |
US20220319106A1 (en) | Virtual interaction with three-dimensional indoor room imagery | |
CN107209570B (zh) | 动态自适应虚拟列表 | |
US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
US10628666B2 (en) | Cloud server body scan data system | |
US10587864B2 (en) | Image processing device and method | |
EP2786353B1 (en) | Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects | |
US9420253B2 (en) | Presenting realistic designs of spaces and objects | |
US20120095589A1 (en) | System and method for 3d shape measurements and for virtual fitting room internet service | |
KR20140077820A (ko) | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 | |
JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
JP6570161B1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
EP3241211B1 (en) | Generating and displaying an actual sized image of an interactive object | |
JP6991352B2 (ja) | 表示装置、方法およびプログラム | |
JP2013008257A (ja) | 画像合成プログラム | |
WO2018182938A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
EP3594906B1 (en) | Method and device for providing augmented reality, and computer program | |
US10832493B2 (en) | Programmatic hairstyle opacity compositing for 3D rendering | |
Mehta et al. | Enhancement in shopping experience of clothes using augmented reality | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
JP6581348B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
BG67302B1 (bg) | Интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери | |
BG2910U1 (bg) | Интерактивна система за компютърно-асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери | |
ITCO20110035A1 (it) | Metodo per aggiungere una immagine di un oggetto su una immagine di uno sfondo e relativo apparecchio elettronico |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6991352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |