JP5999802B1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP5999802B1
JP5999802B1 JP2016514785A JP2016514785A JP5999802B1 JP 5999802 B1 JP5999802 B1 JP 5999802B1 JP 2016514785 A JP2016514785 A JP 2016514785A JP 2016514785 A JP2016514785 A JP 2016514785A JP 5999802 B1 JP5999802 B1 JP 5999802B1
Authority
JP
Japan
Prior art keywords
image
dimensional
color
shape
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016514785A
Other languages
English (en)
Other versions
JPWO2016080437A1 (ja
Inventor
剛 秋山
剛 秋山
和洋 池田
和洋 池田
一利 上津原
一利 上津原
哲史 上野
哲史 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEXT CO.,LTD.
Original Assignee
NEXT CO.,LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEXT CO.,LTD. filed Critical NEXT CO.,LTD.
Application granted granted Critical
Publication of JP5999802B1 publication Critical patent/JP5999802B1/ja
Publication of JPWO2016080437A1 publication Critical patent/JPWO2016080437A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ユーザが思いつくままにデザインし、デザインされたものの完成状態を3次元CG画像上で随時疑似体験できるようにすることを目的とし、画像処理装置1を、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段101と、色と形状により予め定義されたパーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段102と、オブジェクトのそれぞれをレイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する3次元画像生成手段104と、により構成した。

Description

本発明は、住宅の間取りやシュミレーションゲーム空間などの3次元空間のデザインを、2次元空間上の操作で簡易に制作することができる、画像処理装置および方法に関する。
コンピュータにより住宅、内装、家具などの建物に関する3次元形状データを作成し、この形状データを適宜配置して、間取りの形成や家具の配置を示す3次元CG(Computer Graphics)画像を生成する技術が知られている。また、表示された3次元CG画像中の視点を適宜変更して表示する、所謂、VR(Virtual Reality)によるプレゼンテーション技術も知られている(例えば、特許文献1,2,3参照)。
特開平07−296047号 特開2006−310486号 特開2004−13500号
特許文献1,2,3に開示された技術によれば、ユーザは、住宅メーカあるいは販売メーカ側が予め用意した素材の視聴を強いられ、思いつくままにデザインしたり、デザインされたものの完成状態を3次元空間で疑似体験することが困難であった。一般的に、建物に関するデザインは、専門家主体に進められ、手間と費用がかかり、素人や子供は携われないというイメージがある。新しい部屋や新しい家を考えることは楽しいことであり、専門知識を持たない者であっても、楽しみながら自分の嗜好に合ったデザインを行い、その完成状態を3次元空間で疑似体験できるツールの出現が望まれていた。これは住宅に関するデザインに限らず、シミュレーションゲームのシーンの自作などの3次元空間をデザインする場合に共通した課題であった。
本発明は上記した課題を解決するためになされたものであり、ユーザが思いつくままにデザインし、デザインされたものの完成状態を3次元CG画像上で随時疑似体験できる画像処理装置および方法を提供することを目的とする。
上記した課題を解決するために本発明の画像処理装置は、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段と、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、前記オブジェクトのそれぞれを前記レイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する3次元画像生成手段と、を備え、前記画像解析手段は、グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定し、前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする。
本発明の画像処理装置は、部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、前記オブジェクトのそれぞれを前記レイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する3次元画像生成手段と、を備え、前記3次元画像生成手段は、前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記3次元画像を生成して出力することを特徴とする。
本発明によれば、ユーザ自らが2次元空間上でデザインを行い、デザイン結果を3次元空間で疑似体験でき、その変更も容易な画像処理装置および方法を提供することができる。
本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図1のパーツリストの一例を示す図である。 本発明の実施の形態に係る画像処理装置の基本動作フロー図である。 図3のブロック情報のデータ化処理の詳細フロー図である。 図3のパーツ−オブジェクト変換処理の詳細フロー図である。 図3の床要素の生成処理の詳細フロー図である。 図3の出力データ生成処理の詳細フロー図である。 図3の3次元CG画像生成処理の詳細フロー図である。 天井要素の分割、および照明の自動配置処理の概要を示す模式図である。 キャプチャ画像の一例を示す図である。 3次元CG画像の一例を示す図である。
以下、添付図面を参照して、本発明を実施するための形態(以下、本実施形態と言う)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
(実施形態の構成)
図1は、本実施形態に係る画像処理装置1の構成を示すブロック図である。図1によれば、本実施形態に係る画像処理装置1は、処理部10と、記憶部20と、撮像部30と、座標入力部40と、操作部50と、表示部60とにより構成される。
処理部10は、記憶部20のプログラム領域に記憶されたプログラムを実行する。即ち、ユーザによる、例えば、ブロック組立て、手書き、またはPC(Personal Computer)へのデータ入力に従い、部屋空間にレイアウトされたパーツを検出する。次に、パーツの色と形状に基づきパーツのそれぞれをオブジェクトに変換し、オブジェクトとその配置位置を表すオブジェクト情報を基に3次元CG画像を生成する。処理部10は、これらの処理を実行するため、画像キャプチャ手段101と、画像解析手段102と、パーツリスト103と、3次元画像生成手段104と、を含み構成される。
画像キャプチャ手段101は、撮像部30により、グリッド面61(後述の図10)上の画像認識面62(図10)を撮像し、画像認識面62(図10)上に形成された部屋空間63(図10)のパーツからなる撮像データを生成する。画像解析手段102は、撮像データに基づき、パーツの色と形状を判別し、パーツリスト103を参照して予め定義されたオブジェクトに変換し、このオブジェクトをパーツの配置位置に対応する所定の位置に配置し、3次元画像情報を生成するためのオブジェクト情報を生成する。
パーツリスト103の一例が図2に示されている。ここでは、ブロック(玩具)を使用してパーツが表現されており、ブロックの色と形状により、パーツとしての具体物(オブジェクト)、壁、窓、バスタブ及びベットなどが定義されている。ユーザは、ブロックをレイアウトして、自分の嗜好にあったデザインを作り出す。画像解析手段102は、ブロックの色と形状を認識して、パーツの具体物を特定する。ブロックは、図10に例示されるようなグリッド面61上の画像認識面62上に配置することができる。画像認識面62には、部屋空間63が形成されている。グリッド面61は、46×36=1656個のグリッドから構成されている。部屋空間63は、32×32=1024個のグリッドから構成されている。仮想空間上、1グリッド当たりの実寸を設定することにより、規格化された仮想空間を生成することができる。これら面のサイズは、適宜変更することができ、また1グリッド当たりの実寸を変更することもできる。一つのグリッドは、正方形状からなり、ブロックをはめ込むための丸い突起を有しているが、その形状は、単なる正方形状、丸のみなど、一つの区画(一単位)を表すことができる形状であれば、どのような形状でも構わない。
図2に示すように、例えば、赤、青、緑、白、黄、橙、黒の7色のブロックを複数用意し、その形状によりパーツを定義する。例えば、赤ブロック1個は「壁」オブジェクトを表すパーツ、青ブロック2個は「窓」オブジェクトを表すパーツ、緑ブロック2個は「扉」オブジェクトを表すパーツ、白ブロック2個は「一人掛けソファ」オブジェクトを表すパーツ、黄ブロック2個は「トイレ」オブジェクトを表すパーツ、橙ブロック3個二段は「ローテーブル」オブジェクトを表すパーツ、黒ブロック1個は「観葉植物」オブジェクトを表すパーツ、黒ブロック2個は「ステレオコンポ」オブジェクトを表すパーツなどというような定義がなされている。なお、パーツの一つは、グリッド一つに対応する形状を有する。
なお、パーツリスト103は、処理部10ではなく記憶部20に設けることもできる。
画像解析手段102は、部屋空間63の撮像データから1024個のグリッドを抽出し、グリッド毎に色判定を行い、色毎に占有面積を求め、色の占有面積が所定の割合以上である区画領域について、同一色であると判定し、その形状を検出し、検出した形状とパーツリスト103とのブロックマッチング処理によりパーツを特定する。また、ブロックマッチング処理により壁のパーツや窓のパーツが連続すると判定された場合、連続する壁オブジェクトや窓オブジェクトを一体化する連結処理がなされる。なお、図示されていないが、壁オブジェクト、窓オブジェクト、扉オブジェクトで閉ざされた空間を天井オブジェクトとして閉空間を形成し、天井高の疑似体験を実現することもできる。また、階段オブジェクトを用意して第二の部屋空間に配置し、操作部50を用いてこの第二の部屋空間を天井オブジェクト上に重ねる指示を入力することにより、階層化されたデザインを実現することができる。また、1グリッド当たりの実寸(3次元CG画像中の寸法)は、建材や家具(家電製品や観葉植物などの物品も含む)のサイズ規格に合わせて、例えば窓や壁など建材については75cmもしくは90cm、家具であれば75cmもしくは45cmといったようにパーツ毎に寸法を設定することができる。90cm規格の建材、例えば壁のブロックが4グリッド分(実寸3.6m)が直線上に並べられた場合、3次元CG画像での寸法も3.6mとして表される。オブジェクトは、このように建材及び/又は家具を含んでおり、建材及び/又は家具の現物の寸法に比例して3次元空間上に配置されることとなる。
3次元画像生成手段104は、画像解析手段102から出力されるオブジェクト情報に基づき、オブジェクトを3次元空間上に配置して3次元CG画像を生成する。この3次元CG画像は表示部60に出力される。3次元CG画像は、3点座標を持つパーツを2次元の座標の仮想スクリーン上に透視投影することにより生成することができる。3次元画像生成手段104は、仮想3次元空間上に設けられた仮想スクリーン上に個々のパーツを仮想的に透視投影するために、パーツが持つそれぞれの面を三角形や四角形のようなポリゴンの集合でモデル化し、得られるモデルを仮想3次元空間上に配置する。そして、モデルの形状、位置、そして光の当たり方等を計算(レンダリング)することにより3次元CG画像を生成する。そしてレンダリングによって得られる画像をレタッチによりコントラストや色味を手直しして最終的な画像として表示部60へ出力する。
なお、3次元画像生成手段104は、画像解析手段102から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、分割した区画の交点に照明を配置し、所定の点灯条件にしたがい照明を点灯した状態で、3次元CG画像を生成することもできる。
記憶部20には、半導体メモリが実装されており、上記したプログラム領域の他に、キャプチャ画像、解析処理中の画像、および3次元CG画像等を記憶する作業領域が割り当てられる。撮像部30は、グリッド面にレイアウトされたブロック、方眼紙や白紙に描かれが色パターン(ブロックに相当する形状)を撮影するカメラである。座標入力部40はパーツを表現する情報を入力するペンタブレットやタッチパッド等の入力装置である。操作部50は、例えば、キーボード、マウス、あるいはジョイステック等の入力装置であり、ユーザによるレイアウト変更、ウォークスルー時の視点の移動等の指定を行う。パーツは、ブロックを利用することなく、方眼紙のマス目(グリッド)を所定の色で塗ることでも表現できる。また、白紙にフリーハンドで線画を描くことでも表現できる。この場合、入力手段として画像キャプチャ手段101ではなく、座標入力部40や操作部50を用いることになる。フリーハンドで描かれた線画をパーツとして認識する場合、画像解析手段102は、揺らぎをもって表現された線を直線として認識する揺らぎ処理を行うことになる。
表示部60は、例えば、LCD(Liquid Crystal Display)等の表示デバイスで構成され、例えば、図10に示すキャプチャ画像や、図11に示す3次元CG画像を表示する。また、表示部60は、HMD(Head Mounting Display)を含んでもよく、HMDにはウォークスルーモードでのVR(Virtual Reality)画像を表示する。
(実施形態の動作)
以下、図3以降のフローチャートを参照しながら、図1,図2に示す本実施形態に係る画像処理装置1の動作(画像処理方法)について詳細に説明する。
図3に本実施形態に係る画像処理装置1の基本動作がフロー図で示されている。本実施形態に係る画像処理装置1を起動すると(ステップS11“YES”)、処理部10は、記憶部20から設定ファイルを読み込んで、例えば、パーツリスト103に定義情報を設定し、また、画像解析および3次元画像生成に必要なタイマ値の設定等を行う初期設定を行なう(ステップS12)。ここでは、画像解析手段102が1s間隔で画像解析を行い、3次元画像生成手段104が3s間隔で3次元CG画像の更新処理を行うこととする。
次に、ユーザによりブロックの組み立て(配置)が行われると(ステップS13“YES”)、処理部10は、画像キャプチャ手段101が、例えば、図10に一例を示すキャプチャ画像(グリッド面61全体が撮影されているが、画像認識面62のみの撮影でもよい)を取り込んで画像解析手段102へ引き渡す(ステップS14。第1のステップともいう)。ここでキャプチャされた画像認識面62の画像は、例えば、表示部60の画面の右ウインドウに示す操作画面により色補正等が可能である。これを受けて画像解析手段102は、例えば、図4にその詳細手順を示すブロック情報のデータ化を行う(ステップS15)。
ブロック情報のデータ化にあたり、画像解析手段102は、色毎に処理を行う。この場合、赤と、青と、緑と、白に対応するため、4回処理を繰り返すことになる。まず、キャプチャ画像から得られる色設定情報(H,S,V値)を取得する(ステップS151)。ここでは、色相(Hue)と彩度(Saturation Chroma)と明度(Value Lightness)の3つの成分からなる色空間であるHSV色空間モデルを使用するものとする。続いて画像解析手段102は、取得した色設定情報に基づき、マスクイメージ化を行ない、色単位のブロック化を行う(ステップS152)。具体的に、画像解析手段102は、1個のブロック玩具で定義されるグリッド(格子)を単位に入力情報としてのキャプチャ画像から予め定義された色毎のブロック占有面積を求める(ステップS153,S154)。そして、その占有面積が所定の割合(例えば、40%)以上である色ブロックについて、パーツリスト103を参照して色に基づく定義ブロックの存在有無を判定する(ステップS155)。
ここで、定義ブロックがあれば(ステップS155“YES”)、壁要素の有無を判定し(ステップS156)、壁要素であれば(ステップS156“YES”)、そのプロックデータを配列とともに記憶部20の作業領域に記憶し(ステップS157)、壁要素以外の家具要素であれば(ステップS156“NO”)、そのブロックデータを配列とともにデータ化して記憶部の20の作業領域に記憶する(ステップS158)。
説明を図3の基本動作フロー図に戻す。ブロック情報のデータ化処理が終了すると、画像解析手段102は、図5にその詳細手順を示すように、そのブロック情報に基づき、定義パーツをそのパーツの形状を示すオブジェクトに変換する処理を実行する(ステップS16。第2のステップともいう)。図5によれば、画像解析手段102は、まず、データ化されたブロック情報からその形状情報を取得する(ステップS161)。そして、ブロックマッチング処理のため、開始グリッド位置からグリッド単位に縦横方向に走査を開始し(ステップS162)、パーツリストに定義された特定形状、すなわち図2に示された、ブロック一つで表現される壁、洗面台、スタンドライト、観葉植物以外のブロックの有無を判定する(ステップS163)。なお、壁を拡張形状と呼び、洗面台、スタンドライト、観葉植物を単一形状と呼ぶ。
ブロックマッチング処理により特定形状ブロックが有ると判定されると(ステップS163“YES”)、その特定形状ブロックを特定するオブジェクトのデータを生成し、記憶部20の作業領域にその配列とともに記憶する(ステップS164)。特定形状ブロックでなければ(ステップS163“NO”)、拡張形状ブロック、すなわち壁の判定を行う。
拡張形状ブロックの判定にあたり、画像解析手段102は、まず、角領域の有無を判定する(ステップS165)。ここで、角領域ありと判定されると(ステップS165“YES”)角領域のデータ化、すなわち角領域を表すオブジェクトの配置(ステップS166)を行う。ステップS165が“NO”の場合、グリッドの横方向の連結有無の判定を行う(ステップS167)。ここで、横方向のグリッドが連結していれば(ステップS168“YES”)、横サイズをデータ化、例えば横方向に伸びる壁を表すオブジェクトの配置を行い(ステップS168)、横方向のグリッドが連結されていなければ(ステップS167“NO”)、縦方向のグリッドの連結の有無無を判定する(ステップS169)。縦方向のグリッドが連結されていれば(ステップS169“YES”)、縦サイズをデータ化、例えば縦方向に伸びる壁を表すオブジェクトの配置を行い、記憶部20の作業領域に記憶する(ステップS170)。その後、拡張ブロックのデータ化を行う(ステップS171)。
説明を図3の基本動作フロー図に戻す。ブロック情報に基づくパーツ−オブジェクト変換の後、画像解析手段102は、図6にその詳細手順を示す床データの生成を行う(ステップS17)。図6によれば、画像解析手段102は、まず、記憶部の作業領域に記憶されてある壁要素のデータを判定対象から除外する(ステップS175)。そして、或るグリッドについて、3方向が壁要素に囲まれているか判定する(ステップS176)。この判定処理は、壁要素ではないグリッドの全てに対して繰り返される。繰り返しが完了した場合、判定結果が“YES”のグリッドに対しては、床データを、必要に応じて連結して作成する(ステップS177)。なお、パーツリスト103には定義されていないが、床についても、同様のデータを用意している。さらに、天井についても、同様にデータが用意され、床データにより表される形状に等価な天井データを生成することができる。天井と壁の連結処理においては、連結部分から仮想的な光が入らないように、床の形状よりも一回り大きな形状を生成する処理を行っている。
説明を図3の基本動作フロー図に戻す。床データの生成後、画像解析手段102は、図7にその詳細手順を示す、3次元画像生成手段104へ引き渡すための出力データを作成する(ステップS18)。図7によれば、画像解析手段102は、単一形状ブロックの有無の判定を行い単一形状が検出されたら単一形状ブロック(洗面台、スタンドライト、観葉植物)のオブジェクトを生成し、図4,5,6のフロー図に従い生成された、拡張形状ブロック(壁)、特定形状ブロック(窓、扉、キッチン等)、そして床ブロック、更に必要に応じて天井ブロックのオブジェクトを統合し(ステップS181)、その統合データをウェブ準拠のjsonデータ形式に変換する(ステップS182)。そして、そのjsonデータを3次元画像生成手段104へ出力する(ステップS183)。
すなわち、画像解析手段102は、グリッドを単位に入力情報としてのキャプチャ画像から予め定義された色毎の占有面積を求め、占有面積が所定の割合以上である色のブロックについて、定義された形状に基づくブロックマッチング処理を行いパーツの存在を判定する。また、ブロックマッチング処理により壁要素となるパーツを判定し、壁要素の配置によって決まる床要素または天井要素に対し、グリッドを縦横に連結した長方形状の区画領域を割り当てる処理を実行する。
説明を図3の基本動作フロー図に戻す。画像解析手段102は、出力データを作成後、ユーザが操作部50を操作して家具等の配置転換等の要求があれば(ステップS19“YES”)、画像解析手段102は、作成した出力データを更新して3次元画像生成手段104へ引き渡す(ステップS20)。これを受けて3次元画像生成手段104は、変換されたオブジェクトのそれぞれをレイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する(ステップS21。第3のステップともいう)。3次元画像の生成、表示のための詳細な手順が図8に示されている。オブジェクトは、前述のとおり、建材及び/又は家具を含んでおり、第3のステップにおいて、建材及び/又は家具の現物の寸法に比例して3次元空間上に配置されることとなる。
図8によれば、3次元画像生成手段104は、まず、記憶部20の作業領域から、画像解析手段102により作成されたjsonデータを読み出す(ステップS211)。続いて、そのjsonデータに、3s前に読み出したデータとの差分があれば(ステップS212“YES”)、その差分に基づくデータを更新し(ステップS213)、3Dモデルの配置を行う(ステップS214)。そして、モデルの形状、位置、そして光の当たり方等を計算(レンダリング)して3次元CG画像を生成し、表示部60に表示する。
ここで、ユーザが操作部50を操作することにより、内装の種類や家具の配置変更要求があれば(ステップS215“YES”)、3次元画像生成手段104は、該当パーツの3Dモデルを更新し(ステップS216)、更新後の3次元CG画像が表示部60に表示される(ステップS217)。この時点までは、天井要素を表示しない処理を基本とする。さらにユーザが操作部50を操作し、ウォークスルーモードでの表示要求があれば(ステップS218“YES”)、3次元画像生成手段104は、画像解析手段102から出力される長方形状の天井要素に対して、グリッドを縦横に所定数並べたブロックを単位に縦横に分割し、分割したブロックの交点に照明を配置する(ステップS219)。
図9(a)に、天井要素の分割の仕組みが示されている。図9(a)に示すように、天井は、長方形になるように分割され、左上を基準に、右方向に向かって連結されるところまでつなげ、次に縦方向につなげる。図9(b)に、照明の自動配置処理の概要を示す模式図が示されている。図9(b)によれば、天井のサイズ7.5[m]基準に閾値を超えたら1個照明が増える仕組みになっている。ここで、閾値は、7.5[m],15[m],22.5[m]等、7.5[m]の倍数とする。
本実施形態によれば、縦横方向共に同じ仕組みで照明が自動配置され、それぞれ7.5[m]を超える毎に2個配置が増える。配置に関しては、照明設置数+1で天井を縦分割、横分割し、その交点に照明が配置される仕組みになっている。なお、照明の照射範囲は、長辺を基準に端まで照射できるように範囲設計されるものとする。
説明を図8に戻す。天井要素の分割、および照明の自動配置処理後、3次元画像生成手段104は、例えば、視点位置と明るさの関係によって決まる所定の点灯条件に合致すれば(ステップS220“YES”)、その照明を点灯した3次元画像を生成する(ステップS221)。
なお、ウォークスルーモードでの3次元CG画像表示にあたり、3次元画像生成手段104は、壁や家具等、住宅に関するCG画像を予めCAD(Computer Aided Design)等の3次元画像作成支援ソフトウェアにより作成しておき、3次元形状データに対して仮想的な視点位置を設定することができる。例えば、図11に示すように、部屋空間63に対応する3次元CG画像表示63aの内部に存在することを疑似体験できる仮想的な視点位置をオペレータの入力操作(矢印カーソル)に応じて3次元形状データに対して停止または所望の方向に移動させる。そして、3次元画像データと視点位置とに基づく演算により間取り等を所定位置から見た状態を擬似的に表現する3次元CG画像データを生成し、視点位置が停止している場合は静止画像で、視点位置が移動している場合は視野変換(レンダリング)によりCG画像を動画表示(VR)する(ステップS222)。
すなわち、3次元画像生成手段104は、オブジェクトのそれぞれをレイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する。また、画像解析手段102から出力される長方形状の天井要素を、グリッドを縦横に所定数並べたブロックを単位に縦横に分割し、前記分割したブロックの交点に照明を配置し、所定の点灯条件にしたがい照明を点灯した3次元CG画像を生成して出力する。その際、ユーザは、マウス等の操作部50を使用して入力操作を行うことで視点位置の移動方向、速度を調整し、このことにより、住宅の内外を歩き回りながら観察しているのと同様の感覚で、例えば、壁面の凹凸、質感、壁紙等の模様等を子細に検討し、あるいは評価することができる。また、視点位置を目的位置に接近させることで壁面が拡大表示され、壁面と売り微妙なニュアンスも確認できる。なお、天井要素は、ウォークスルーモードに入る前に結合して3次元画像空間を生成することもできる。この場合、照明もウォークスルーモードに入る前に配置されることになる。
(実施形態の効果)
以上説明のように本実施形態に係る画像処理装置1によれば、処理部10(画像キャプチャ手段101)が、部屋空間にレイアウトされたパーツの集合を取り込み、画像解析手段102が、色と形状により予め定義されたパーツのそれぞれを画像認識して対応するオブジェクトに変換し、3次元画像生成手段104が、当該オブジェクトのそれぞれをレイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する。このため、ユーザは、例えば、2次元空間上でブロック玩具を組み立てるだけで、そのデザインに対応する3次元CG画像を制作することがで、さらにこの3次元CG画像空間を移動する疑似体験をすることができる。ユーザは、3次元空間上で、内装や家具の配置等を確認することができる。また、方眼紙や白紙を用いた表記や、操作部50を用いたパーツ表現でも同様の効果を得ることができ、ユーザがデザインする対象は、パーツリスト103の設定を変更して3次元空間上に配置したいオブジェクトとその扱いを適宜定義して、画像解析手段102及び3次元画像生成手段104にて処理することにより、シミュレーションゲームのシーンの自作などの3次元空間をデザインする場合に対応することができる。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
1…画像処理装置、10…処理部、20…記憶部、30…撮像部、40…座標入力部、50…操作部、60…表示部、61…グリッド面、62…画像認識面、63…部屋空間、63a…3次元CG画像表示、101…画像キャプチャ手段、102…画像解析手段、103…パーツリスト、104…3次元画像生成手段

Claims (2)

  1. 部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、
    色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、
    前記オブジェクトのそれぞれを前記レイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する3次元画像生成手段と、
    を備え、
    前記画像解析手段は、
    グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定し、
    前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする画像処理装置。
  2. 部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、
    色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、
    前記オブジェクトのそれぞれを前記レイアウトに基づき3次元空間上に配置し、得られる3次元CG画像を出力する3次元画像生成手段と、
    を備え、
    前記3次元画像生成手段は、
    前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記3次元画像を生成して出力することを特徴とする画像処理装置。
JP2016514785A 2014-11-21 2015-11-18 画像処理装置および方法 Expired - Fee Related JP5999802B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014236474 2014-11-21
JP2014236474 2014-11-21
PCT/JP2015/082389 WO2016080437A1 (ja) 2014-11-21 2015-11-18 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JP5999802B1 true JP5999802B1 (ja) 2016-09-28
JPWO2016080437A1 JPWO2016080437A1 (ja) 2017-04-27

Family

ID=56013972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016514785A Expired - Fee Related JP5999802B1 (ja) 2014-11-21 2015-11-18 画像処理装置および方法

Country Status (2)

Country Link
JP (1) JP5999802B1 (ja)
WO (1) WO2016080437A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523493A (ja) * 2019-05-28 2021-09-02 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッドKe.Com (Beijing) Technology Co., Ltd. 三次元空間の眺めを表示させる方法、装置、及び記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887049B (zh) * 2019-01-31 2023-05-12 浙江工商大学 基于层次依赖的家具场景生成方法
CN114660953B (zh) * 2022-04-01 2024-06-28 深圳市创诺新电子科技有限公司 一种单人沙发位置的控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01120686A (ja) * 1987-11-05 1989-05-12 Bridgestone Corp タイヤのカラーマーク自動検出装置
JPH0684002A (ja) * 1992-09-04 1994-03-25 Yokohama Rubber Co Ltd:The タイヤマーク抽出方法及びその装置
JP2004212213A (ja) * 2002-12-27 2004-07-29 Yasuki Hatao 動作データ作成用コンピュータプログラムパッケージ、動作データ作成方法及び基準マーカーユニット
JP2007034415A (ja) * 2005-07-22 2007-02-08 Gifu Prefecture 設計支援システム
JP2010267138A (ja) * 2009-05-15 2010-11-25 Panasonic Electric Works Co Ltd 設計支援方法、設計支援システムおよび設計支援装置
JP2014515961A (ja) * 2011-05-23 2014-07-07 レゴ エー/エス 拡張現実向けの玩具構築システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01120686A (ja) * 1987-11-05 1989-05-12 Bridgestone Corp タイヤのカラーマーク自動検出装置
JPH0684002A (ja) * 1992-09-04 1994-03-25 Yokohama Rubber Co Ltd:The タイヤマーク抽出方法及びその装置
JP2004212213A (ja) * 2002-12-27 2004-07-29 Yasuki Hatao 動作データ作成用コンピュータプログラムパッケージ、動作データ作成方法及び基準マーカーユニット
JP2007034415A (ja) * 2005-07-22 2007-02-08 Gifu Prefecture 設計支援システム
JP2010267138A (ja) * 2009-05-15 2010-11-25 Panasonic Electric Works Co Ltd 設計支援方法、設計支援システムおよび設計支援装置
JP2014515961A (ja) * 2011-05-23 2014-07-07 レゴ エー/エス 拡張現実向けの玩具構築システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523493A (ja) * 2019-05-28 2021-09-02 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッドKe.Com (Beijing) Technology Co., Ltd. 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
US11158134B2 (en) 2019-05-28 2021-10-26 Ke.Com (Beijing) Technology Co., Ltd. Method, apparatus and storage medium for displaying three-dimensional space view
JP7121811B2 (ja) 2019-05-28 2022-08-18 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッド 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
US11875460B2 (en) 2019-05-28 2024-01-16 Ke.Com (Beijing) Technology Co., Ltd. Method, apparatus and storage medium for displaying three-dimensional space view

Also Published As

Publication number Publication date
WO2016080437A1 (ja) 2016-05-26
JPWO2016080437A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US11287904B2 (en) Virtual/augmented reality modeling application for architecture
WO2014192316A1 (ja) モデリング装置、3次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
KR101723823B1 (ko) 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
CN104318042A (zh) 家居设计系统
CN103778538A (zh) 一种家具仿真布局方法和系统
CN109934933B (zh) 基于虚拟现实的仿真方法及基于虚拟现实的图像仿真系统
CN112001997B (zh) 一种家具的展示方法和装置
CN113761614B (zh) 一种平面家装设计辅助方法
JP2022105083A (ja) 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
WO2023155113A1 (en) Computer-implemented building modeling method and system
JP5085399B2 (ja) 3dモデル生成システム
JP5999802B1 (ja) 画像処理装置および方法
Kaleja et al. Virtual reality as innovative approach to the interior designing
US20210192857A1 (en) Generating Virtual Representations
KR20210086837A (ko) 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
KR20200000288A (ko) 가상현실 모델하우스 운영시스템 및 운영방법
EP2993613A1 (en) A capture system arranged to create a 3d model from a scanned scene, a method and a graphical user interface
JP6275764B2 (ja) 内観画像作成装置、内観画像作成方法及びコンピュータプログラム
Mohan et al. Refined interiors using augmented reality
Atthalariq et al. The implementation of augmented reality and first person method of promotional media in Kemang Pratama Housing Bekasi
GB2573571A (en) Generating virtual representations
Shen Research on the Application of Computer Big Data Technology in the Modeling of Architectural Interior Design Renderings
Alawadhi et al. Deep Learning from Parametrically Generated Virtual Buildings for Real-World Object Recognition
WO2024219333A1 (ja) 図面作成装置および図面作成方法
Santos et al. On the expeditious modelling of buildings

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160316

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160316

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20160412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160414

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160825

R150 Certificate of patent or registration of utility model

Ref document number: 5999802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees