JP7222418B2 - アイテムの配置位置の決定方法、装置およびコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

本発明は画像処理技術分野に関するものであり、具体的にはアイテム配置位置の決定方法、装置およびコンピュータ読み取り可能な記憶媒体に関する。

パノラマ (Panorama）は3D実景とも言われ、新興のリッチメディア技術で、動画、音声、画像など従来のストリーミングメディアとの最大の違いは「操作可能で、インタラクティブ」なことである。パノラマバーチャルリアリティ（仮想実景ともいう）は、パノラマ画像に基づくリアルシーン仮想現実技術で、コンピュータ技術により、リアルシーンの復元表示のオールラウンドでインタラクティブな視聴を実現する。再生プラグインのサポートにより、周囲を見回す方向を調整して、ユーザーにライブ環境にいるような感じを与え、リアルシーンに近い体験を得ることができる。

パノラマバーチャルリアリティの応用シーンの一つとして、パノラマ画像の中にバーチャルグッズを配置することができる。例えば、パノラマカメラで空き部屋の室内画像を撮影し、それからこの空き部屋にバーチャル家具を配置して、この部屋をより魅力的に見えるようにすることができる。例えば、現在不動産業者が撮影した販売または賃貸待ち物件の多くは空き部屋で、これらの部屋に一部バーチャル家具を配置してからお客様に展示すると、お客様も入居した様子を想像することができ、これにより取引率を高め、取引サイクルを短縮することができる。

パノラマ画像の中にバーチャル家具を配置するビジネスは多くの不動産会社に歓迎されているが、現在のビジネスは主に手作業で行われているため、多くの労力と時間がかかり、ビジネス規模のさらなる拡大は非常に困難である。そのため、パノラマ画像の中にバーチャルグッズを自動的に配置できるソリューションを必要とし、上記ソリューションにおいて最初に解決すべき問題はアイテム配置に適した位置を決定することである。

本発明で解決しようとする技術問題は、アイテム配置位置の決定方法、装置及びコンピュータ読み取り可能な記憶媒体を提供し、空間にアイテムを配置するのに適した位置を決定することができ、バーチャルグッズの自動配置に予備知識を提供することである。

前記技術問題を解決するため、本発明の実施例は、室内空間の第一画像を取得するステップと、前記第一画像に対して垂直補正を行い、前記第一画像における隣接する壁面間の交線を垂直方向に調整して第二画像を取得するステップと、前記第二画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を取得するステップと、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップと、を含むアイテムの配置位置の決定方法を提供する。

好ましくは、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップは、前記室内空間における壁－壁境界線存在の可能性情報に基づいて、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得するステップと、前記室内空間における地面－壁境界線の位置情報及びアイテム配置の可能性情報に基づいて、地面－壁境界線がアイテム配置に適するか否かを示す信頼性を決定するステップと、前記室内空間における壁－壁境界線の位置情報、及び前記地面－壁境界線がアイテム配置に適するか否かを示す信頼性に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップと、を含む。

好ましくは、前記室内空間における壁－壁境界線の位置情報、及び前記地面－壁境界線がアイテム配置に適するか否かを示す信頼性に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップは、前記室内空間における壁－壁境界線の位置情報を用いて、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割するステップと、各壁面の地面－壁境界線から、長さが所定の長さ閾値より長く、且つ前記信頼性が所定の信頼性閾値より大きい連続部分を選択し、アイテム配置に適した地面－壁境界線の位置を取得するステップと、を含む。

好ましくは、前記第二画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を取得するステップは、前記第二画像を事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、前記ニューラルネットワークモデルにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を予測して取得するステップ、を含む。

好ましくは、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報は、いずれも幅が前記第二画像の幅に等しい一次元配列で表示され、前記一次元配列におけるｋ番目の要素は、前記第二画像のｋ列目の画像列に対応する値を示す。

好ましくは、室内空間の第一画像を取得するステップの前に、垂直補正されたサンプル画像及びそのタグを複数取得するステップであって、前記タグは、前記サンプル画像に対応する室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を含む、ステップと、前記サンプル画像及びそのタグを用いて、ニューラルネットワーク及び重みをトレーニングし、トレーニング済みのニューラルネットワークモデルを取得するステップと、をさらに含む。

好ましくは、前記タグにおいて、アイテム配置の可能性情報は、対応するｋ列目の画像列における壁が切断されているか否かに基づいてラベリングされる。

好ましくは、前記アイテムは家具である。

本発明の実施例は、室内空間の第一画像を取得する画像取得ユニットと、前記第一画像に対して垂直補正を行い、前記第一画像における隣接する壁面間の交線を垂直方向に調整して第二画像を取得する画像補正ユニットと、前記第二画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を取得する特徴分析ユニットと、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報に基づいて、アイテム配置に適した地面－壁境界線の位置を決定する位置決定ユニットと、を含むアイテムの配置位置の決定装置をさらに提供する。

好ましくは、前記位置決定ユニットは、前記室内空間における壁－壁境界線存在の可能性情報に基づいて、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得し、前記室内空間における地面－壁境界線の位置情報及びアイテム配置の可能性情報に基づいて、地面－壁境界線がアイテム配置に適するか否かを示す信頼性を決定し、前記室内空間における壁－壁境界線の位置情報、及び前記地面－壁境界線がアイテム配置に適するか否かを示す信頼性に基づいて、アイテム配置に適した地面－壁境界線の位置を決定する。

好ましくは、前記位置決定ユニットは、前記室内空間における壁－壁境界線の位置情報を用いて、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割し、各壁面の地面－壁境界線から、長さが所定の長さ閾値より長く、且つ前記信頼性が所定の信頼性閾値より大きい連続部分を選択し、アイテム配置に適した地面－壁境界線の位置を取得する。

好ましくは、前記特徴分析ユニットは、前記第二画像を事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、前記ニューラルネットワークモデルにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を予測して取得する。

本発明の実施例は、コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される場合、前記のアイテムの配置位置の決定方法のステップを実現するコンピュータ読み取り可能な記憶媒体をさらに提供する。

従来の技術に比べ、本発明の実施例に係るアイテム配置位置の決定方法、装置及びコンピュータ読み取り可能な記憶媒体は、ある室内空間にアイテムを配置するのに適した具体的な位置を決定することができ、バーチャルグッズの自動配置に予備知識を提供した。また、本発明の実施例はアイテム配置の位置を決定する時、アイテムの幅の制限も考慮し、特定アイテムの配置に適した具体的な位置を選出することができる。

本発明の実施例の技術案をより明瞭にするために、以下に本発明の実施例に対する記述に使用される図面を簡単に説明する。明らかに、以下に記載の図面は本発明の実施例に過ぎず、創造的な作業を行わない前提下で、これらの図面により得られるその他の図面も可能であることは、当業者にとって自明である。
本発明実施例のアイテム配置位置の決定方法のフローチャートである。 本発明の実施例による地面－壁の位置情報の応用例図である。 本発明の実施例による壁－壁境界線存在の可能性情報の応用例図である。 本発明の実施例によるアイテム配置の可能性情報の応用例図である。 本発明の実施例による決定済みの壁－壁境界線の応用例図である。 本発明の実施例による地面－壁境界線の位置情報とアイテム配置の可能性情報を融合した応用例図である。 本発明の実施例によるアイテム配置の位置決定の応用例図である。 本発明の実施例で採用したニューラルネットワークモデルの構造応用例図である。 本発明実施例のアイテム配置位置の決定装置の別の構造概略図である。 本発明実施例のアイテム配置位置の決定装置のまた別の構造概略図である。

本発明が解決しようとする課題と技術案と利点をさらに明瞭にするために、以下、図面及び具体的実施例を組み合わせて詳細に記載する。以下の図面において、具体的な配置とモジュールの特定の細部は本発明の実施例全体を理解するのを助けるためのものにすぎない。よって、ここの記載の実施例に対する各種改変と改修は本発明の範囲と精神を逸脱しないことを当業者は承知すべきである。また、明晰と簡潔のために、既知の機能と構造に対する記載は省略する。

明細書全体で言及した「一つの実施例」または「一実施例」は実施例と関係する特定の特徴や構造や特性が本発明の少なくとも一つの実施例中に含むことを意味している、と理解すべきである。よって、明細書全体の各所に出てくる「一つの実施例において」または「一実施例において」が必ず同じ実施例を指しているとは限らない。また、これらと特定の特徴、構造、特性は任意の適切な方法で、一つ又は複数の実施例に組み合わせることが可能である。

本発明の各種実施例において、以下の各プロセスの番号の大きさは実行順序の前後を意味するのではない。各プロセスの実行順序は、その機能と内在的論理に依存し、本発明実施例の実施過程に対していかなる限定も行われない。

本発明の実施例は空間にアイテムを配置するのに適した位置の決定方法を提供し、当該方法は特定室内空間にアイテムを配置するのに適した具体的な位置を決定することができ、これによりバーチャルグッズの自動配置に予備知識を提供することができる。本発明の実施例において、前記アイテムはある程度の体積があり、室内空間に配置する時、一定の空間を専用する必要がある。前記アイテムは具体的には家具（ソファ、テーブルや椅子、クローゼット等）であることができ、例えば、オフィスによく配置するコピー機やプリンターなどの設備、展覧会場に配置する各種製品など、特定室内空間に配置することができるその他の用品であることもでき、本発明の実施例ではこれについて詳しく制限しないものとする。

図1に示すように、本発明の実施例によるシーケンスラベリング方法は、次のステップを含む。

ステップ101において、室内空間の第一画像を取得する。

ここで、第一画像はパノラマカメラを使ってある室内空間を撮影して得られたパノラマ画像（例えば、正距円筒図）であることができ、一般画角カメラを使って撮影した透視図であることもできる。後続の処理をしやすくするため、前記室内空間に配置するアイテムをなるべく減らし、例えば、前記室内空間が空き部屋で、家具又はその他のアイテムを配置しない。

ステップ102において、前記第一画像に対し垂直補正を行い、前記第一画像における隣接する壁面間の交線を垂直方向に調整して第二画像を取得する。

建築構造において、隣接する壁面（水平方向に相互垂直する壁の表面）間の交線は通常、垂直方向（即ち、水平面に垂直する方向）に位置する。撮影した画像においては、撮影角度及び変形などの原因により、上記交線が垂直方向を逸脱した可能性がある。本発明の実施例はステップ102において、前記第一画像に対し垂直補正を行い、隣接する壁面間の交線を垂直方向に調整して補正後の画像を取得し、ここでは第二画像という。垂直補正を具体的に実現するには既存技術の垂直/歪み補正アルゴリズムを参照することができ、本発明の実施例ではこれについて詳しく制限しないものとする。垂直補正によって、第二画像における二つの隣接する壁面の壁－壁境界線を画像座標系において垂直な縦線とすることができる。

ステップ103において、前記第二画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を取得する。

本発明の実施例では、事前トレーニング済みのニューラルネットワークモデルを利用して上記ステップ103を実行させることができる。例えば、前記第二画像を前記ニューラルネットワークモデルに入力して特徴を抽出し、且つ前記ニューラルネットワークモデルによって、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を予測して取得することができる。その中で、前記地面－壁境界線は室内空間における地面と壁面の交線を指し、前記壁－壁境界線は室内空間における壁面と壁面の交線を指す。

ここで、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報は、いずれも幅が前記第二画像の幅に等しい一次元配列を使って表示することができ、その中で前記一次元配列におけるｋ番目の要素は前記第二画像のｋ列目の画像列に対応する値を示す。例えば、第二画像は高さ×幅が512×1024の画像で、その幅方向に1024ピクセル単位が含まれている。この場合、前記室内空間における地面－壁境界線の位置情報は一つの1×1024次元の配列で、当該配列におけるｋ番目の要素は第二画像におけるｋ列目画像列に対応する地面－壁境界線の位置情報を示し、ここで、ｋ列目画像列とは、第二画像におけるｋ列目の画素で構成された画像を指す。類似的に、前記室内空間における壁－壁境界線存在の可能性情報も一つの1×1024次元の配列で、当該配列におけるｋ番目の要素は第二画像におけるｋ列目画像列に対応する壁－壁境界線存在の可能性情報を示し、前記室内空間におけるアイテム配置の可能性情報も一つの1×1024次元の配列で、当該配列におけるｋ番目の要素は第二画像におけるｋ列目画像列に対応するアイテム配置の可能性情報を示す。

図2～図4は、前記第二画像をある事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、且つ前記ニューラルネットワークモデルによって、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を予測して取得する例をそれぞれ示した。その中で、図2～図4の横軸は画像列を示し、縦軸は例えば、地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報の値など、各予測結果の値を示す。ここで、地面－壁境界線の位置情報はすでに[-π/2, π/2]に正規化され、壁－壁境界線存在の可能性情報はすでに[0, 1]に正規化され、アイテム配置の可能性情報はすでに[0, 1]に正規化されている。

ステップ104において、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報により、アイテム配置に適した地面－壁境界線の位置を決定する。

ここでは、アイテムにある程度の幅があることを考慮し、あまり狭い壁面に対応する領域は、空間の制限により、アイテムの配置に適しない。そのため、前記ステップ104において、本発明の実施例はステップ103において取得した複数のパラメータに基づいてアイテムの配置に適した地面－壁境界線を決定することができ、具体的には、次のステップ（ａ）及び（ｂ）を含むことができる。

ステップ（a）において、前記室内空間における壁－壁境界線存在の可能性情報により、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得するステップと、前記室内空間における地面－壁境界線の位置情報とアイテム配置の可能性情報により、地面－壁境界線がアイテム配置に適するという信頼性を決定する。

ここでは、本発明の実施例において、ある画像列に対応する壁－壁境界線存在の可能性情報は値が大きいほど、当該画像列に壁－壁境界線が存在する可能性が大きいことを示し、そのため、前記室内空間における壁－壁境界線存在の可能性情報のピーク位置を見つけて壁－壁境界線の位置を決定することができる。図5はピーク位置に基づいて壁－壁境界線の位置を決定する例を示した。図5における壁－壁境界線51～57は、壁－壁境界線存在の可能性情報のピーク位置に基づいて決定した壁－壁境界線である。

この他、本発明の実施例は、前記室内空間における地面－壁境界線の位置情報とアイテム配置の可能性情報を融合して、地面－壁強化線がアイテムの配置に適するという信頼性を決定することができる。例えば、各画像列に対応するアイテム配置の可能性情報に対し、当該画像列に対応する地面－壁境界線を与え、当該画像列に対応する地面－壁境界線がアイテムの配置に適するという信頼性とする。図6は室内空間における地面－壁境界線の位置情報とアイテム配置の可能性情報を融合した例を示した。当該例示において、信頼性がプリセットした信頼性の閾値より小さい地面－壁境界線は表示せず、信頼性が前記プリセットした信頼性の閾値より大きい地面－壁境界線のみを示した。

ステップ(b）において、前記室内空間における壁－壁境界線の位置情報と、前記地面－壁境界線がアイテム配置に適するという信頼性により、アイテム配置に適した地面－壁境界線の位置を決定する。

ここでは、前記室内空間における壁－壁境界線の位置情報を利用し、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割することができる。すなわち、壁－壁境界線を利用して、地面－壁境界線を分割し、各壁面の地面－壁境界線に分割する。さらに、各壁面の地面－壁境界線から、長さがプリセットした長さの閾値より長く、且つ前記信頼性がプリセットした信頼性の閾値より大きい連続部分を選択し、アイテムの配置に適した地面－壁境界線の位置を取得する。

図7は上記ステップ（b）のある例を示した。前記室内空間における壁－壁境界線51～57の位置情報を利用し、前記室内空間における地面－壁境界線を複数の壁面に分割し、それぞれ壁面701～708とする。図7に示した地面－壁境界線はいずれも前記信頼性が前記プリセットした信頼性の閾値より大きい境界線であるため、表示した各壁面の地面－壁境界線711～716から、長さがプリセットした長さの閾値より大きい連続部分を見つけるだけで、アイテム配置に適した地面－壁境界線の位置を取得することができる。壁面705には、3段の連続且つ前記信頼性が前記プリセットした信頼性の閾値より大きい地面－壁境界線712～714が存在するが、その長さがいずれもプリセットした閾値より小さいため、切り捨てられていることが分かる。一方、壁面704における地面－壁境界線711及び壁面706における地面－壁境界線715はいずれも上記長さの要求を満たしているため、アイテムの配置に適した地面－壁境界線にみなされることになる。

上記のステップを通じて、本発明の実施例はある室内空間においてアイテム配置に適した具体的な位置を決定することができ、バーチャルグッズの自動配置に予備知識を提供した。この他、本発明の実施例は上記ステップにおいて、アイテムには通常一定の幅があることを考慮し、具体的なアイテムの幅にしたがって、当該アイテムの配置に適した具体的な位置を選択することができる。

本発明の実施例は上記ステップ103において事前トレーニング済みのニューラルネットワークモデルを利用して関連の情報を取得した。下には本発明実施例がトレーニングにより前記ニューラルネットワークモデルを取得する実現方式をさらに提供した。具体的には、上記ステップ101の前に、本発明の実施例は垂直補正されたサンプル画像およびそのタグを複数取得することができ、ここでいうタグは人工方式によりラベリングすることができる。前記タグは前記サンプル画像に対応する室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を含むことができる。それから前記サンプル画像およびそのタグを利用して、ニューラルネットワーク及び重みをトレーニングし、学習済みのニューラルネットワークモデルを取得する。

実現方式の一つとして、本発明の実施例において、地面－壁境界線の位置情報と壁－壁境界線存在の可能性情報は正規化処理済みの結果であることができる。例えば、地面－壁境界線の位置情報は画像の座標系を参考座標系とし、それからまとめて[-π/2, π/2]に正規化する。壁－壁境界線存在の可能性情報は[0, 1]に正規化することができる。本発明の実施例はさらに、壁－壁境界線存在の可能性情報を正規化する実現方式を提供した。具体的には、現在の画像列の壁－壁境界線存在の可能性情報が0.96^dで、その中でｄは当該画像列の列インデックスと当該画像列との距離一番近い壁－壁境界線が存在する画像列との距離である。

また、アイテム配置の可能性情報において、ｋ番目の要素の値は通常ｋ列目の画像列における壁が切断されているかどうかに依存し、この切断されているかどうかについては、プリセットした規則に基づいて判断することができる。例えば、ｋ列目の画像列に特定のプリセットターゲット（例えば、窓、クローゼット、ドアなど）が存在する場合、壁が切断されていると判断する。k列目の画像列に前記ターゲットが存在しない場合、壁が切断されていないと判断する。この場合、壁面には如何なるアイテムも存在しない可能性があり、またはアイテムの配置に影響しないその他のアイテム、例えばスイッチやエアコンなどが存在する可能性がある。壁が切断された場合、k番目の要素の値は0に設定することができ、逆の場合は、1に設定することができる。当然ながら、上記0と1の値を入れ替えることもでき、異なる値が代表する意味のみを予め定義すればいい。

図8は本発明の実施例で採用することができるニューラルネットワークモデルの構造の応用例図を示した。言うまでもなく、本発明の実施例はニューラルネットワークモデルの構造について詳しく制限せず、図8は畳み込みニューラルネットワーク（ResNet-101ネットワーク）を以って例示的な説明を行うのみである。

この例において、入力画像のサイズは512×1024（高さ×幅）である。ResNet-101ネットワークは、conv2_x、conv3_x、conv4_xとconv5_xの四つの出力特性をそれぞれアンサンプリング及び変形処理することを含み、アンサンプリング処理は連続4層の畳み込み操作とアンサンプリングを含み、畳み込み操作は特性の高さを1/16に圧縮し、畳み込みカーネルのサイズは3×3、ステップ幅は2×1（h×w）で、畳み込み操作後の各層には、ReLU活性化関数が一つ付属している。アンサンプリングは特性の幅を256の同じ幅にサンプリングする。変形処理は特性のサイズを同じ高さの1に統一する。それから、処理済みの四つの特性をチャンネルの次元に沿って接続し、且つ特性のサイズを新しく調整して、サイズが1×256×1024（c×h×w）の特性を取得し、これで特徴抽出のタスクは完了する。

この後、地面－壁境界線位置、壁－壁境界線存在の可能性及びアイテム配置の可能性の予測を完成するには、依然として全結合層を必要とする。当該特性は二回の線形操作を経て、サイズが3×1024（h×w）となり、3つの1×1024配列とみなすことができる。一つ目の1×1024配列については、L1損失関数層に送信すると、地面－壁境界線の位置情報を取得することができる。二つ目の1×1024配列は、バイナリー交差エントロピー損失関数層に送信すると、壁－壁境界線存在の可能性情報を取得することができる。三つ目の1×1024配列をバイナリー交差エントロピー損失関数層に送信すると、アイテム配置の可能性情報を取得することができる。

上記の方法に基づき、本発明の実施例は図9に示すように、上記方法を実施する装置を提供した。本発明実施例が提供したアイテム配置位置の決定装置900は、画像取得ユニット901、画像補正ユニット902、特徴分析ユニット903及び位置決定ユニット904を含む。

画像取得ユニット901は、室内空間の第一画像を取得する。

画像補正ユニット902は、前記第一画像に対し垂直補正を行い、前記第一画像における隣接する壁面間の交線を垂直方向に調整して第二画像を取得する。

特徴分析ユニット903は、前記第二画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を取得する。

位置決定ユニット904は、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報により、アイテム配置に適した地面－壁境界線の位置を決定する。

上記ユニットを通じて、本発明の実施例によるアイテム配置位置の決定装置900は、空間におけるアイテム配置に適した位置を決定することができ、バーチャルグッズの自動配置に予備知識を提供した。

好ましくは、前記位置決定ユニット904は、前記室内空間における壁－壁境界線存在の可能性情報により、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得し、前記室内空間における地面－壁境界線の位置情報とアイテム配置の可能性情報により、地面－壁境界線がアイテム配置に適するという信頼性を決定し、前記室内空間における壁－壁境界線の位置情報と、前記地面－壁境界線がアイテム配置に適するという信頼性により、アイテム配置に適した地面－壁境界線の位置を決定することができる。

好ましくは、前記位置決定ユニット904はまた、前記室内空間における壁－壁境界線の位置情報を利用して、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割し、各壁面の地面－壁境界線から、長さがプリセットした長さの閾値より長く、且つ前記信頼性がプリセットした信頼性の閾値より大きい連続部分を選択し、アイテムの配置に適した地面－壁境界線の位置を取得することができる。

好ましくは、前記特徴分析ユニット903はまた、前記第二画像をある事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、且つ前記ニューラルネットワークモデルによって、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を予測して取得することができる。

好ましくは、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報は、いずれも幅が前記第二画像の幅に等しい一次元配列を使って表示し、前記一次元配列におけるｋ番目の要素は前記第二画像のｋ列目の画像列に対応する値を示す。

好ましくは、前記アイテム配置位置の決定装置900はさらに、次のユニットを含む。

モデルトレーニングユニット（図9に図示せず）は、垂直補正されたサンプル画像およびそのタグを複数取得し、前記タグは前記サンプル画像に対応する室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を含み、前記サンプル画像およびそのタグを利用して、ニューラルネットワーク及び重みをトレーニングし、学習済みのニューラルネットワークモデルを取得する。

好ましくは、前記タグにおいて、アイテム配置の可能性情報は対応するｋ列目の画像列における壁が切断されているかどうかによってラベリングする。ここの壁が切断されているかどうかについては、プリセットした規則に基づいて判断することができる。例えば、ｋ列目の画像列に特定のプリセットターゲットが存在する場合、壁が切断されていると判断する。k列目の画像列に前記ターゲットが存在しない場合、壁が切断されていないと判断する。壁が切断された場合、k番目の要素の値は0に設定することができ、逆の場合は、1に設定することができる。当然ながら、上記0と1の値を入れ替えることもでき、異なる値が代表する意味のみを予め定義すればいい。

図10を参考すると分かるように、本発明の実施例はさらに、アイテム配置位置の決定装置のハードウェア構造ブロック図を提供した。図10に示すように、このアイテム配置位置の決定装置1000は、プロセッサ1002と、プログラムを格納するメモリ1004を含む。

ここで、前記プログラムが前記プロセッサにより実行される時、前記プロセッサ1002に、室内空間の第一画像を取得するステップと、前記第一画像に対し垂直補正を行い、前記第一画像における隣接する壁面間の交線を垂直方向に調整して第二画像を取得するステップと、前記第二画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を取得するステップと、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報により、アイテム配置に適した地面－壁境界線の位置を決定するステップと、を実行させる。

さらに、図10に示すように、当該アイテム配置位置の決定装置1000は、ネットワークインターフェイス1001、入力デバイス1003、ハードディスク1005とディスプレイデバイス1006を含む。

前記各インターフェースと装置との間は、バスアーキテクチャによって互いに接続する。バスアーキテクチャは、任意の数量の相互接続するバス及びブリッジを含むことが可能である。具体的には、プロセッサ１００２に代表される一つ又は複数のセントラルプロセッサ（ＣＰＵ）、及びメモリ１００４に代表される一つ又は複数のメモリの各種回路が、一つに接続される。バスアーキテクチャは、周辺機器や電圧レギュレータや電力管理回路のようなさまざまなその他の回路と一緒に接続することも可能である。バスアーキテクチャは、これらの構成要素の間の接続通信を実現するためのものであると理解可能である。バスアーキテクチャは、データバスの他、電力バス、制御バス、およびステータス信号バスも含むが、これらは全て本分野で公知のものであるので、本明細書ではこれらについて詳細に記載しない。

前記ネットワークインターフェイス1001は、ネットワーク（例えば、インターネット、イーサーネットなど）に接続することができ、ネットワークから前記第一画像を収集/或いはサンプルデータ（サンプル画像とそのタグを含む）を受信し、且つ収集したデータをハードディスク1005に格納することができる。

前記入力デバイス1003はオペレータが入力したさまざまなコマンドを受信し、且つプロセッサ1002に送信して実行させることができる。前記入力デバイス1003はキーボード或いはクリックデバイス（例えば、マウス、トラックボール（trackball））、タッチパッド或いはタッチパネルなどを含むことができる。

前記ディスプレイデバイス1006は、例えば、アイテム配置に適した地面－壁境界線の位置など、プロセッサ1002がコマンドを実行して取得した結果を表示することができる。

前記メモリ1004は、オペーレーションシステムの実行に必要なプログラムとデータ及びプロセッサ1002の計算プロセスの中間結果などのデータの格納に用いる。

本発明の実施例のメモリ１００４は、揮発性メモリまたは不揮発性メモリであっても良いし、揮発性メモリと不揮発性メモリの両方を含んでも良い、と理解できる。なお、不揮発性メモリは、読み出し専用メモリ（ROM）であっても、プログラマブル読み出し専用メモリ（PROM）であっても、消去可能なプログラマブル読み出し専用メモリ（EPROM）であっても、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）であっても、フラッシュメモリであってもよい。揮発性メモリは、ランダムアクセスメモリ（RAM）であってもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ１００４は、これらと任意のその他の適合類型のメモリを含むが、これらに限らない。

いくつかの実施形態において、メモリ１００４は、実行可能なモジュールまたはデータ構造、それらのサブ集合または拡張集合、オペレーティングシステム１００４１、アプリケーションプログラム１００４２、の要素を記憶している。

なお、オペレーティングシステム１００４１は各種の基礎業務およびハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、駆動層など各種のシステムプログラムを含む。アプリケーションプログラム１００４２は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム１００４２に含まれることが可能である。

本発明の上記実施例による方法はプロセッサ１００２に応用でき、あるいはプロセッサ１００２によって実現できる。プロセッサ１００２は信号の処理能力を有する集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサ１００２内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上記プロセッサ１００２は汎用プロセッサであっても、デジタル信号処理器（DSP）であっても、特定用途向け集積回路（ASIC）であっても、フィールド
プログラマブル ゲート アレイ（FPGA）又はその他のプログラマブルロジックデバイスであっても、個別ゲートまたはトランジスタロジックデバイスであっても、個別ハードウェアユニットであってもよく、本発明の実施例に公開された各方法、ステップおよびロジックブロック図を実現または実行できる。汎用プロセッサは、マイクロプロセッサ又はいかなる常用的なプロセッサであっても良い。本発明の実施例より公開された方法のステップと組み合わせて直接的にできることは、ハードウェアデコーダプロセッサにより実行して完成すること、或いは、デコーダプロセッサ内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成すること、である。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ１００４にあり、プロセッサ１００２はメモリ１００４内の情報を読み取って、そのハードウェアと組み合わせて上記方法のステップを完成する。

本明細書に記載されたこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる、と理解可能である。ハードウェアの実現について、プロセスユニットは一つ又は複数の特定用途向け集積回路（ASIC）、デジタル信号処理器（DSP）、デジタル信号処理デバイス（DSPD）、プログラマブルロジックデバイス（PLD）、フィールド プログラマブル ゲート
アレイ（FPGA）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願の前記機能を実現するためのほかの電子モジュール、または組み合わせで実現可能である。

ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに記憶され、かつプロセッサによって実行することが可能である。メモリはプロセッサ内またはプロセッサ外部において実現できる。

好ましくは、前記プログラムがプロセッサ1002により実行される場合、前記室内空間における壁－壁境界線存在の可能性情報により、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得するステップと、前記室内空間における地面－壁境界線の位置情報とアイテム配置の可能性情報により、地面－壁境界線がアイテム配置に適するという信頼性を決定するステップと、前記室内空間における壁－壁境界線の位置情報と、前記地面－壁境界線がアイテム配置に適するという信頼性により、アイテム配置に適した地面－壁境界線の位置を決定するステップと、を実行してもよい。

好ましくは、前記プログラムがプロセッサ1002により実行される場合、前記室内空間における壁－壁境界線の位置情報を利用し、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割するステップと、各壁面の地面－壁境界線から、長さがプリセットした長さの閾値より長く、且つ前記信頼性がプリセットした信頼性の閾値より大きい連続部分を選択し、アイテムの配置に適した地面－壁境界線の位置を取得するステップと、を実行してもよい。

好ましくは、前記プログラムがプロセッサ1002により実行される場合、前記第二画像をある事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、且つ前記ニューラルネットワークモデルによって、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を予測して取得するステップ、を実行してもよい。

好ましくは、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報は、いずれも幅が前記第二画像の幅に等しい一次元配列を使って表示し、前記一次元配列におけるｋ番目の要素は前記第二画像のｋ列目の画像列に対応する値を示す。

好ましくは、前記プログラムがプロセッサ1002により実行される場合、垂直補正されたサンプル画像およびそのタグを複数取得し、前記タグがサンプル画像に対応する室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報とアイテム配置の可能性情報を含むステップと、前記サンプル画像およびそのタグを利用して、ニューラルネットワーク及び重みをトレーニングし、学習済みのニューラルネットワークモデルを取得するステップと、を実行してもよい。

好ましくは、前記タグにおいて、アイテム配置の可能性情報は対応するｋ列目の画像列における壁が切断されているかどうかによってラベリングする。

当業者は、本明細書に開示された実施例に記載された様々な例のユニットおよびアルゴリズムステップを組み合わせて、電子ハードウェアまたはコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実現させることができる、と理解することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行させるかは、技術方案の特定用途や設計上の制約条件によって決められる。当業者は、特定の用途ごとに異なる方法を用いて前記の機能を実現できるが、このような実現は本発明の範囲を超えるものと見なすべきではない。

当業者は、説明の便宜及び簡潔さのために、上記のシステム、装置とユニットの具体的な作業プロセスについて、前記方法の実施例における対応プロセスを参照できることを明確に理解できるので、ここでは贅言しない。

本発明が提供する実施例において開示された方法及び装置は別の形態でも実現可能であると理解すべきである。例えば、上記記載された装置は模式的なものに過ぎない。例えば、前記ユニットの分割は論理的な機能分割に過ぎず、実際に実現する際に別の分割方式を採用しても良い。例えば、複数のユニットまたはモジュールを組み合わせるか、別のシステムに集約しても良いし、或いは一部の機能を省略しても良いし、若しくは実行しなくてもよい。さらに、上記表示または開示された相互的な接続または直接な接続若しくは通信可能な接続は、インターフェースを介した接続であっても良いし、装置やユニット同士の間接的な接続または通信可能な接続は、電気的または機械的もしくは他の形態の接続であっても良い。

前記分離部材として説明したユニットは物理的に分離してもしなくてもよい。ユニットとして表示した部材は物理的なユニットであってもでなくてもよい。即ち、同一の場所に位置しても良いし、複数のネットワークユニット上に分散しても良い。実際のニーズに応じてその中の一部または全部のユニットを選択して本発明の実施例の目的を実現することができる。

また、本発明の各実施例における各機能的なユニットをひとつのプロセスユニットに集成しても良いし、各ユニットが物理的に単独で存在させても良いし、二つあるいは二つ以上のユニットを一つのユニットに集成させても良い。

前記機能はソフトウェア機能ユニットの形式で実現し、且つ、独立製品として販売または使用される場合、コンピュータが読み取り可能な記憶媒体に記憶することができる。このような理解に基づき、本発明の技術方案の本質、あるいは従来技術に対して貢献する部分、または当該技術方案の一部は、ソフトウェア製品の形式で実現することができる。当該コンピュータソフトウェア製品は記録媒体に記憶されて、コンピュータ装置（パーソナルコンピュータ、サーバ或いはネットワーク設備などでも良い）に本願の各実施例に記載した前記方法の全部または一部のステップを実行させる若干のコマンドを含んでいる。前記の記録媒体は、ＵＳＢメモリ、リムーバブルディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。

以上の記載は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限らない。本発明に開示される技術範囲内で、本技術分野に属する当業者が容易に想到される変化または置換は、本発明の保護範囲内に含めるべきである。したがって、本発明の保護範囲は権利要求の保護範囲に準じるべきである。

Claims (13)

1. 室内空間の第一画像を取得するステップと、
   前記第一画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を取得するステップと、
   前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップと、を含むことを特徴とするアイテムの配置位置の決定方法。
2. 前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップは、
   前記室内空間における壁－壁境界線存在の可能性情報に基づいて、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得するステップと、
   前記室内空間における地面－壁境界線の位置情報及びアイテム配置の可能性情報に基づいて、地面－壁境界線がアイテム配置に適するか否かを示す信頼性を決定するステップと、
   前記室内空間における壁－壁境界線の位置情報、及び前記地面－壁境界線がアイテム配置に適するか否かを示す信頼性に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップと、を含むことを特徴とする請求項１に記載のアイテムの配置位置の決定方法。
3. 前記室内空間における壁－壁境界線の位置情報、及び前記地面－壁境界線がアイテム配置に適するか否かを示す信頼性に基づいて、アイテム配置に適した地面－壁境界線の位置を決定するステップは、
   前記室内空間における壁－壁境界線の位置情報を用いて、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割するステップと、
   各壁面の地面－壁境界線から、長さが所定の長さ閾値より長く、且つ前記信頼性が所定の信頼性閾値より大きい連続部分を選択し、アイテム配置に適した地面－壁境界線の位置を取得するステップと、を含むことを特徴とする請求項２に記載のアイテムの配置位置の決定方法。
4. 前記第一画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を取得するステップは、
   前記第一画像を事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、前記ニューラルネットワークモデルにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を予測して取得するステップ、を含むことを特徴とする請求項１乃至３のいずれか一つに記載のアイテムの配置位置の決定方法。
5. 前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報は、いずれも幅が前記第一画像の幅に等しい一次元配列で表示され、
   前記一次元配列におけるｋ番目の要素は、前記第一画像のｋ列目の画像列に対応する値を示すことを特徴とする請求項４に記載のアイテムの配置位置の決定方法。
6. 室内空間の第一画像を取得するステップの前に、
   垂直補正されたサンプル画像及びそのタグを複数取得するステップであって、前記タグは、前記サンプル画像に対応する室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を含む、ステップと、
   前記サンプル画像及びそのタグを用いて、ニューラルネットワーク及び重みをトレーニングし、トレーニング済みのニューラルネットワークモデルを取得するステップと、をさらに含むことを特徴とする請求項４又は５に記載のアイテムの配置位置の決定方法。
7. 前記タグにおいて、アイテム配置の可能性情報は、対応するｋ列目の画像列における壁が切断されているか否かに基づいてラベリングされることを特徴とする請求項６に記載のアイテムの配置位置の決定方法。
8. 前記アイテムは家具であることを特徴とする請求項１乃至７のいずれか一つに記載のアイテムの配置位置の決定方法。
9. 室内空間の第一画像を取得する画像取得ユニットと、
   前記第一画像の特徴を抽出し、特徴を分析することにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を取得する特徴分析ユニットと、
   前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報に基づいて、アイテム配置に適した地面－壁境界線の位置を決定する位置決定ユニットと、を含むことを特徴とするアイテムの配置位置の決定装置。
10. 前記位置決定ユニットは、
    前記室内空間における壁－壁境界線存在の可能性情報に基づいて、そのピークの位置を見つけ、前記室内空間における壁－壁境界線の位置情報を取得し、
    前記室内空間における地面－壁境界線の位置情報及びアイテム配置の可能性情報に基づいて、地面－壁境界線がアイテム配置に適するか否かを示す信頼性を決定し、
    前記室内空間における壁－壁境界線の位置情報、及び前記地面－壁境界線がアイテム配置に適するか否かを示す信頼性に基づいて、アイテム配置に適した地面－壁境界線の位置を決定することを特徴とする請求項９に記載のアイテムの配置位置の決定装置。
11. 前記位置決定ユニットは、
    前記室内空間における壁－壁境界線の位置情報を用いて、前記室内空間における地面－壁境界線を各壁面の地面－壁境界線に分割し、
    各壁面の地面－壁境界線から、長さが所定の長さ閾値より長く、且つ前記信頼性が所定の信頼性閾値より大きい連続部分を選択し、アイテム配置に適した地面－壁境界線の位置を取得することを特徴とする請求項１０に記載のアイテムの配置位置の決定装置。
12. 前記特徴分析ユニットは、前記第一画像を事前トレーニング済みのニューラルネットワークモデルに入力して特徴を抽出し、前記ニューラルネットワークモデルにより、前記室内空間における地面－壁境界線の位置情報、壁－壁境界線存在の可能性情報及びアイテム配置の可能性情報を予測して取得することを特徴とする請求項９乃至１１のいずれか一つに記載のアイテムの配置位置の決定装置。
13. コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、
    前記コンピュータプログラムがプロセッサにより実行される場合、請求項１乃至８のいずれか一つのアイテムの配置位置の決定方法のステップを実現することを特徴とするコンピュータ読み取り可能な記憶媒体。

Images