WO2016080437A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2016080437A1
WO2016080437A1 PCT/JP2015/082389 JP2015082389W WO2016080437A1 WO 2016080437 A1 WO2016080437 A1 WO 2016080437A1 JP 2015082389 W JP2015082389 W JP 2015082389W WO 2016080437 A1 WO2016080437 A1 WO 2016080437A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
color
shape
parts
Prior art date
Application number
PCT/JP2015/082389
Other languages
English (en)
French (fr)
Inventor
剛 秋山
和洋 池田
一利 上津原
哲史 上野
Original Assignee
株式会社ネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ネクスト filed Critical 株式会社ネクスト
Priority to JP2016514785A priority Critical patent/JP5999802B1/ja
Publication of WO2016080437A1 publication Critical patent/WO2016080437A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image processing apparatus and method capable of easily producing a design of a three-dimensional space such as a floor plan of a house or a simulation game space by an operation on the two-dimensional space.
  • 3D CG Computer Graphics
  • VR Virtual Reality
  • Patent Documents 1, 2, and 3 the user is forced to view materials prepared in advance by the housing maker or the sales maker, and designs the design as he or she thinks. It was difficult to simulate in a dimensional space. In general, the design of buildings is driven by specialists, and it takes time and money, and there is an image that amateurs and children are not involved. It's fun to think about new rooms and new homes, and even for those who don't have specialized knowledge, you can enjoy design that suits your taste while having fun, and experience the completed state in 3D space. The appearance was desired. This is a problem common when designing a 3D space such as a scene of a simulation game, not limited to a house design.
  • the present invention has been made to solve the above-described problems, and provides an image processing apparatus and method that allows a user to design as he / she thinks and to simulate a completed state of the designed object on a 3D CG image at any time. For the purpose.
  • the image processing apparatus copes with image capture means for capturing a set of parts laid out in a room space, and image recognition of each of the parts previously defined by color and shape.
  • Image analysis means for converting the object into a three-dimensional image
  • three-dimensional image generation means for outputting the obtained three-dimensional CG image by arranging each of the objects in a three-dimensional space based on the layout. .
  • the image analysis unit obtains an occupation area for each color defined in advance from input information in units of grids, and the definition of a block of a color whose occupation area is a predetermined ratio or more.
  • the presence of the part is determined by performing a block matching process based on the formed shape.
  • the image analysis means determines a part to be a wall element by the block matching process, and connects the grid vertically and horizontally to a floor element or a ceiling element determined by the arrangement of the wall element.
  • a rectangular partition area is allocated.
  • the three-dimensional image generation means divides a rectangular ceiling element output from the image analysis means vertically and horizontally in units of sections in which a predetermined number of grids are arranged vertically and horizontally. Illumination is arranged at the intersection of the divided sections, and the three-dimensional image in which the illumination is lit is generated and output according to a predetermined lighting condition.
  • the image processing method includes a first step of capturing a set of parts laid out in a room space, and a second step of recognizing each of the parts defined in advance by color and shape and converting them into corresponding objects. And a third step of arranging each of the objects in a three-dimensional space based on the layout and outputting the obtained three-dimensional CG image, wherein the objects mean building materials and / or furniture In the third step, the object is arranged in a three-dimensional space in proportion to the actual size of the building material and / or the furniture.
  • an image processing apparatus and method in which a user himself / herself designs in a two-dimensional space, can experience the design result in a three-dimensional space, and can easily change the result.
  • FIG. 4 is a detailed flowchart of the data conversion process of the block information of FIG. 4 .
  • FIG. 4 is a detailed flowchart of the part-object conversion process of FIG. 3.
  • FIG. 4 is a detailed flowchart of the floor element generation process of FIG. 3.
  • FIG. 4 is a detailed flowchart of the output data generation process of FIG. 3.
  • FIG. 4 is a detailed flowchart of the three-dimensional CG image generation process of FIG. 3.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 according to the present embodiment includes a processing unit 10, a storage unit 20, an imaging unit 30, a coordinate input unit 40, an operation unit 50, and a display unit 60.
  • the processing unit 10 includes a storage unit 20, an imaging unit 30, a coordinate input unit 40, an operation unit 50, and a display unit 60.
  • the processing unit 10 executes the program stored in the program area of the storage unit 20. That is, the parts laid out in the room space are detected in accordance with, for example, block assembly, handwriting, or data input to a PC (Personal Computer) by the user. Next, each part is converted into an object based on the color and shape of the part, and a three-dimensional CG image is generated based on the object information representing the object and its arrangement position.
  • the processing unit 10 includes an image capture unit 101, an image analysis unit 102, a parts list 103, and a three-dimensional image generation unit 104 in order to execute these processes.
  • the image capture unit 101 captures an image recognition surface 62 (FIG. 10) on a grid surface 61 (FIG. 10 described later) by the imaging unit 30, and a room space 63 formed on the image recognition surface 62 (FIG. 10). Imaging data consisting of parts shown in FIG. 10 is generated.
  • the image analysis unit 102 determines the color and shape of the part based on the imaging data, converts the object into a predefined object with reference to the parts list 103, and places the object at a predetermined position corresponding to the part arrangement position. Arrange and generate object information for generating three-dimensional image information.
  • parts list 103 An example of the parts list 103 is shown in FIG.
  • parts are expressed using blocks (toys), and concrete objects (objects), walls, windows, bathtubs, beds, and the like as parts are defined by the colors and shapes of the blocks.
  • the user lays out the blocks and creates a design that suits his taste.
  • the image analysis means 102 recognizes the color and shape of the block and identifies the specific object of the part.
  • the blocks can be arranged on an image recognition surface 62 on the grid surface 61 as illustrated in FIG.
  • a room space 63 is formed on the image recognition surface 62.
  • a standardized virtual space By setting the actual size per grid on the virtual space, a standardized virtual space can be generated. The size of these surfaces can be changed as appropriate, and the actual size per grid can also be changed.
  • One grid has a square shape and has round protrusions for fitting the blocks.
  • the shape of the grid may be a simple square shape or only a circle shape that can represent one unit (one unit). Any shape can be used.
  • a plurality of blocks of seven colors of red, blue, green, white, yellow, orange and black are prepared, and a part is defined by its shape.
  • one red block represents a “wall” object
  • two blue blocks represent a “window” object
  • two green blocks represent a “door” object
  • two white blocks represent “one-seat sofas”
  • Parts representing objects two yellow blocks representing "toilet” objects
  • three orange blocks two parts representing "low table” objects
  • one black block representing "foliage plants” objects black
  • the two blocks are defined as parts representing a “stereo component” object.
  • One of the parts has a shape corresponding to one grid.
  • the parts list 103 can be provided not in the processing unit 10 but in the storage unit 20.
  • the image analysis unit 102 extracts 1024 grids from the imaging data of the room space 63, performs color determination for each grid, obtains an occupied area for each color, and is a partitioned region in which the occupied area of the color is equal to or greater than a predetermined ratio Are determined to have the same color, the shape is detected, and the part is identified by block matching processing between the detected shape and the parts list 103.
  • a connection process for integrating the continuous wall objects and window objects is performed.
  • a closed space can be formed by using a space closed by a wall object, a window object, and a door object as a ceiling object to realize a simulated experience of the ceiling height.
  • a staircase object is prepared, placed in the second room space, and an instruction to superimpose the second room space on the ceiling object is input using the operation unit 50, thereby realizing a hierarchical design. be able to.
  • the actual size per grid is 75 cm for building materials such as windows and walls according to the size standards of building materials and furniture (including articles such as home appliances and houseplants). The dimensions can be set for each part, such as 90 cm and 75 cm or 45 cm for furniture.
  • a 90 cm standard building material for example, a block of walls is arranged on a straight line for 4 grids (actual size 3.6 m)
  • the size in the three-dimensional CG image is also expressed as 3.6 m.
  • the object thus includes building materials and / or furniture, and is arranged in a three-dimensional space in proportion to the actual dimensions of the building materials and / or furniture.
  • the three-dimensional image generation unit 104 generates a three-dimensional CG image by arranging objects in a three-dimensional space based on the object information output from the image analysis unit 102.
  • the three-dimensional CG image is output to the display unit 60.
  • a three-dimensional CG image can be generated by perspectively projecting a part having three-point coordinates on a virtual screen having two-dimensional coordinates.
  • the three-dimensional image generation unit 104 is a set of polygons such as triangles and quadrangles for each surface of the parts. And model the obtained model in a virtual three-dimensional space.
  • a three-dimensional CG image is generated by calculating (rendering) the shape, position, and how the light hits the model. Then, the image obtained by the rendering is retouched to adjust the contrast and color and output to the display unit 60 as a final image.
  • the three-dimensional image generation unit 104 divides the rectangular ceiling element output from the image analysis unit 102 vertically and horizontally in units of sections in which a predetermined number of grids are arranged vertically and horizontally, and illuminates the intersections of the divided sections. It is also possible to generate a three-dimensional CG image in a state where the lighting is turned on in accordance with predetermined lighting conditions.
  • a semiconductor memory is mounted in the storage unit 20, and in addition to the program area described above, a work area for storing a captured image, an image being analyzed, a three-dimensional CG image, and the like is allocated.
  • the imaging unit 30 is a camera that captures a color pattern (a shape corresponding to a block) drawn on a block laid out on a grid surface, graph paper, or white paper.
  • the coordinate input unit 40 is an input device such as a pen tablet or a touch pad for inputting information representing parts.
  • the operation unit 50 is an input device such as a keyboard, a mouse, or a joystick, for example, and designates layout change by the user, movement of the viewpoint during walk-through, and the like.
  • Parts can also be expressed by painting grids (grids) of graph paper with a predetermined color without using blocks. It can also be expressed by drawing a freehand line drawing on white paper. In this case, not the image capture unit 101 but the coordinate input unit 40 or the operation unit 50 is used as the input unit.
  • the image analysis unit 102 performs a fluctuation process for recognizing a line expressed with fluctuation as a straight line.
  • the display unit 60 is configured by a display device such as an LCD (Liquid Crystal Display), for example, and displays, for example, a captured image shown in FIG. 10 or a three-dimensional CG image shown in FIG.
  • the display unit 60 may include an HMD (Head Mounting Display), and displays a VR (Virtual Reality) image in the walk-through mode on the HMD.
  • a display device such as an LCD (Liquid Crystal Display), for example, and displays, for example, a captured image shown in FIG. 10 or a three-dimensional CG image shown in FIG.
  • the display unit 60 may include an HMD (Head Mounting Display), and displays a VR (Virtual Reality) image in the walk-through mode on the HMD.
  • HMD Head Mounting Display
  • FIG. 3 is a flowchart showing the basic operation of the image processing apparatus 1 according to this embodiment.
  • the processing unit 10 reads the setting file from the storage unit 20, sets the definition information in the parts list 103, for example, and the image Initial setting is performed to set a timer value necessary for analysis and three-dimensional image generation (step S12).
  • the image analysis unit 102 performs image analysis at intervals of 1 s
  • the 3D image generation unit 104 performs update processing of the 3D CG image at intervals of 3 s.
  • the processing unit 10 causes the image capture unit 101 to execute, for example, a captured image (an entire grid surface 61 is illustrated in FIG. 10).
  • the image is taken, but only the image recognition surface 62 may be taken) and transferred to the image analysis means 102 (step S14, also referred to as the first step).
  • the captured image of the image recognition surface 62 can be color-corrected, for example, by an operation screen shown in the right window of the screen of the display unit 60.
  • the image analysis unit 102 converts the block information whose detailed procedure is shown in FIG. 4, for example, into data (step S15).
  • the image analysis means 102 When converting block information into data, the image analysis means 102 performs processing for each color. In this case, the processing is repeated four times to correspond to red, blue, green, and white.
  • color setting information H, S, V value
  • H, S, V value color setting information obtained from a captured image is acquired (step S151).
  • an HSV color space model which is a color space composed of three components of hue (Hue), saturation (Saturation Chroma), and lightness (Value Lightness) is used.
  • the image analysis unit 102 creates a mask image based on the acquired color setting information, and creates a block for each color (step S152).
  • the image analysis unit 102 obtains a block occupation area for each color defined in advance from a captured image as input information in units of a grid defined by one block toy (steps S153 and S154). ). Then, for color blocks whose occupation area is a predetermined ratio (for example, 40%) or more, the presence / absence of a definition block based on color is determined with reference to the parts list 103 (step S155).
  • a predetermined ratio for example, 40%
  • step S155 “YES” the presence / absence of a wall element is determined (step S156). If it is a wall element (step S156 “YES”), the block data is stored together with the array 20 (Step S157), and if it is a furniture element other than a wall element (step S156 “NO”), the block data is converted into data together with the array and stored in the 20 work areas of the storage unit (step S158). ).
  • the image analysis unit 102 executes a process of converting the definition part into an object indicating the shape of the part based on the block information, as shown in the detailed procedure in FIG. (Step S16, also referred to as second step).
  • the image analysis means 102 first acquires the shape information from the block information converted into data (step S161). Then, for block matching processing, scanning is started in the vertical and horizontal directions in units of grids from the start grid position (step S162), and is represented by a specific shape defined in the parts list, that is, one block shown in FIG.
  • the presence / absence of blocks other than the walls, washstands, standlights and foliage plants is determined (step S163).
  • the wall is called an expanded shape, and the washstand, standlight, and houseplant are called a single shape.
  • step S163 If it is determined by the block matching process that there is a specific shape block (“YES” in step S163), data of an object specifying the specific shape block is generated and stored together with the arrangement in the work area of the storage unit 20 (step S163). S164). If it is not a specific shape block (step S163 “NO”), an extended shape block, that is, a wall is determined.
  • the image analysis unit 102 first determines the presence or absence of a corner region (step S165). If it is determined that there is a corner area (“YES” in step S165), the corner area is converted into data, that is, an object representing the corner area is arranged (step S166). When step S165 is “NO”, it is determined whether or not the grid is connected in the horizontal direction (step S167). Here, if the horizontal grid is connected (“YES” in step S168), the horizontal size is converted into data, for example, an object representing a wall extending in the horizontal direction is arranged (step S168). If not connected (step S167 “NO”), it is determined whether or not the vertical grid is connected (step S169).
  • step S169 If the vertical grids are connected ("YES" in step S169), the vertical size is converted into data, for example, an object representing a wall extending in the vertical direction is arranged and stored in the work area of the storage unit 20 (step S170). ). Thereafter, the extension block is converted to data (step S171).
  • the image analysis means 102 After the part-object conversion based on the block information, the image analysis means 102 generates floor data whose detailed procedure is shown in FIG. 6 (step S17). According to FIG. 6, the image analysis unit 102 first excludes the wall element data stored in the work area of the storage unit from the determination target (step S ⁇ b> 175). Then, for a certain grid, it is determined whether the three directions are surrounded by wall elements (step S176). This determination process is repeated for all grids that are not wall elements. When the repetition is completed, floor data is connected and created as necessary for the grid whose determination result is “YES” (step S177). Although not defined in the parts list 103, similar data is prepared for the floor.
  • data is similarly prepared for the ceiling, and ceiling data equivalent to the shape represented by the floor data can be generated.
  • a process of generating a shape that is slightly larger than the floor shape is performed so that virtual light does not enter from the connection part.
  • the image analysis unit 102 creates output data to be delivered to the three-dimensional image generation unit 104 whose detailed procedure is shown in FIG. 7 (step S18).
  • the image analysis means 102 determines whether or not there is a single shape block, and generates a single shape block (basin, standlight, houseplant) object when a single shape is detected.
  • the objects of the expanded shape block (wall), specific shape block (window, door, kitchen, etc.), floor block, and ceiling block, if necessary, are generated according to the flow diagrams of 4, 5, 6 (step)
  • step S181 the integrated data is converted into a web-compliant json data format (step S182). Then, the json data is output to the three-dimensional image generation means 104 (step S183).
  • the image analysis unit 102 obtains a predefined occupied area for each color from the captured image as input information in units of grids, and has a defined shape for a block of colors whose occupied area is equal to or greater than a predetermined ratio. Based on the block matching process, the presence of the part is determined. In addition, a part to be a wall element is determined by block matching processing, and a process of assigning a rectangular partition region in which grids are connected vertically and horizontally to a floor element or a ceiling element determined by the arrangement of the wall element is executed.
  • the image analysis unit 102 operates the operation unit 50 and if there is a request for rearrangement of furniture or the like (step S19 “YES”), the image analysis unit 102 creates the output data. Is updated and delivered to the three-dimensional image generation means 104 (step S20). In response to this, the three-dimensional image generation unit 104 arranges each of the converted objects on the three-dimensional space based on the layout, and outputs the obtained three-dimensional CG image (step S21, also referred to as a third step). .
  • a detailed procedure for generating and displaying a three-dimensional image is shown in FIG. As described above, the object includes building materials and / or furniture, and in the third step, the objects are arranged on the three-dimensional space in proportion to the actual dimensions of the building materials and / or furniture.
  • the three-dimensional image generation means 104 first reads out the json data created by the image analysis means 102 from the work area of the storage unit 20 (step S211). Subsequently, if there is a difference between the json data and the data read 3s before (step S212 “YES”), the data based on the difference is updated (step S213), and the 3D model is arranged (step S214). ). Then, the model shape, position, how light strikes, etc. are calculated (rendered) to generate a three-dimensional CG image and display it on the display unit 60.
  • the 3D image generation unit 104 updates the 3D model of the corresponding part.
  • the updated three-dimensional CG image is displayed on the display unit 60 (Step S217). Up to this point, the process of not displaying the ceiling element is basically used.
  • the 3D image generation unit 104 applies the rectangular ceiling element output from the image analysis unit 102. On the other hand, a block in which a predetermined number of grids are arranged vertically and horizontally is divided vertically and horizontally, and illumination is arranged at the intersection of the divided blocks (step S219).
  • Fig. 9 (a) shows a mechanism for dividing the ceiling element.
  • the ceiling is divided so as to be rectangular, and is connected to a position where it is connected in the right direction with respect to the upper left, and then connected in the vertical direction.
  • FIG. 9B is a schematic diagram showing an outline of the automatic lighting arrangement process.
  • the threshold value is a multiple of 7.5 [m], such as 7.5 [m], 15 [m], 22.5 [m], and the like.
  • lighting is automatically arranged by the same mechanism in both the vertical and horizontal directions, and two arrangements increase each time it exceeds 7.5 [m].
  • the ceiling is vertically divided and horizontally divided by the number of lighting installations + 1, and the lighting is arranged at the intersection.
  • the illumination range is designed so that the long side can be irradiated to the end.
  • the three-dimensional image generating unit 104 for example, if the predetermined lighting condition determined by the relationship between the viewpoint position and the brightness is met (step S220 “YES”). A three-dimensional image in which is turned on is generated (step S221).
  • the 3D image generating means 104 When displaying the 3D CG image in the walk-through mode, the 3D image generating means 104 generates a CG image relating to a house such as a wall or furniture in advance using 3D image creation support software such as CAD (Computer Aided Design).
  • a virtual viewpoint position can be set for the three-dimensional shape data. For example, as shown in FIG. 11, a virtual viewpoint position that can be simulated to exist inside the 3D CG image display 63a corresponding to the room space 63 is displayed in 3D according to the operator's input operation (arrow cursor). Stop or move the shape data in a desired direction.
  • three-dimensional CG image data that artificially represents a state in which the floor plan is viewed from a predetermined position is generated by calculation based on the three-dimensional image data and the viewpoint position. If the viewpoint position is stopped, If the viewpoint position is moving, the CG image is displayed as a moving image (VR) by visual field conversion (rendering) (step S222).
  • VR moving image
  • the three-dimensional image generation means 104 arranges each of the objects on the three-dimensional space based on the layout, and outputs the obtained three-dimensional CG image. Further, the rectangular ceiling element output from the image analysis means 102 is divided vertically and horizontally into blocks each of which a predetermined number of grids are arranged vertically and horizontally, illumination is arranged at the intersection of the divided blocks, and predetermined lighting conditions are set. Accordingly, a three-dimensional CG image with lighting turned on is generated and output. At that time, the user adjusts the moving direction and speed of the viewpoint position by performing an input operation using the operation unit 50 such as a mouse, and this is the same as when observing while walking around the house.
  • the operation unit 50 such as a mouse
  • the unevenness of the wall surface, texture, wallpaper pattern, etc. can be examined or evaluated in detail.
  • the wall surface is enlarged and the subtle nuances of the wall surface and sales can be confirmed.
  • the ceiling elements can also be combined before entering the walkthrough mode to generate a three-dimensional image space.
  • the illumination is also arranged before entering the walk-through mode.
  • the processing unit 10 captures a set of parts laid out in a room space, and the image analysis unit 102 performs color and shape.
  • Each of the predefined parts is image-recognized and converted into a corresponding object, and the three-dimensional image generation means 104 arranges each of the objects in a three-dimensional space based on the layout, and the obtained three-dimensional CG image Is output.
  • the user can create a 3D CG image corresponding to the design just by assembling a block toy in the 2D space, and further experience a pseudo-experience to move in this 3D CG image space. be able to.
  • the user can confirm the arrangement of the interior and furniture on the three-dimensional space.
  • the same effect can be obtained by notation using graph paper or white paper or parts expression using the operation unit 50, and the object to be designed by the user can change the setting of the parts list 103 to change the setting in the three-dimensional space.
  • the object to be placed and its handling are appropriately defined and processed by the image analysis unit 102 and the three-dimensional image generation unit 104 to cope with the case of designing a three-dimensional space such as a scene of a simulation game. Can do.
  • DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 10 ... Processing part, 20 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　ユーザが思いつくままにデザインし、デザインされたものの完成状態を３次元ＣＧ画像上で随時疑似体験できるようにすることを目的とし、画像処理装置１を、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段１０１と、色と形状により予め定義されたパーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段１０２と、オブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段１０４と、により構成した。

Description

画像処理装置および方法
　本発明は、住宅の間取りやシュミレーションゲーム空間などの３次元空間のデザインを、２次元空間上の操作で簡易に制作することができる、画像処理装置および方法に関する。
　コンピュータにより住宅、内装、家具などの建物に関する３次元形状データを作成し、この形状データを適宜配置して、間取りの形成や家具の配置を示す３次元ＣＧ（Computer　Graphics）画像を生成する技術が知られている。また、表示された３次元ＣＧ画像中の視点を適宜変更して表示する、所謂、ＶＲ（Virtual　Reality）によるプレゼンテーション技術も知られている（例えば、特許文献１，２，３参照）。
特開平０７－２９６０４７号 特開２００６－３１０４８６号 特開２００４－１３５００号
　特許文献１，２，３に開示された技術によれば、ユーザは、住宅メーカあるいは販売メーカ側が予め用意した素材の視聴を強いられ、思いつくままにデザインしたり、デザインされたものの完成状態を３次元空間で疑似体験することが困難であった。一般的に、建物に関するデザインは、専門家主体に進められ、手間と費用がかかり、素人や子供は携われないというイメージがある。新しい部屋や新しい家を考えることは楽しいことであり、専門知識を持たない者であっても、楽しみながら自分の嗜好に合ったデザインを行い、その完成状態を３次元空間で疑似体験できるツールの出現が望まれていた。これは住宅に関するデザインに限らず、シミュレーションゲームのシーンの自作などの３次元空間をデザインする場合に共通した課題であった。
　本発明は上記した課題を解決するためになされたものであり、ユーザが思いつくままにデザインし、デザインされたものの完成状態を３次元ＣＧ画像上で随時疑似体験できる画像処理装置および方法を提供することを目的とする。
　上記した課題を解決するために本発明の画像処理装置は、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段と、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、を備えることを特徴とする。
　本発明の画像処理装置において、前記画像解析手段は、グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定することを特徴とする。
　本発明の画像処理装置において、前記画像解析手段は、前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする。
　本発明の画像処理装置において、前記３次元画像生成手段は、前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記３次元画像を生成して出力することを特徴とする。
　本発明の画像処理方法は、部屋空間にレイアウトされたパーツの集合を取り込む第１のステップと、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する第２のステップと、前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する第３のステップと、を有し、前記オブジェクトは建材及び／又は家具を意味し、前記第３のステップにおいて、前記オブジェクトは、前記建材及び／又は前記家具の現物の寸法に比例して３次元空間上に配置されることを特徴とする。
　本発明によれば、ユーザ自らが２次元空間上でデザインを行い、デザイン結果を３次元空間で疑似体験でき、その変更も容易な画像処理装置および方法を提供することができる。
本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図１のパーツリストの一例を示す図である。 本発明の実施の形態に係る画像処理装置の基本動作フロー図である。 図３のブロック情報のデータ化処理の詳細フロー図である。 図３のパーツ－オブジェクト変換処理の詳細フロー図である。 図３の床要素の生成処理の詳細フロー図である。 図３の出力データ生成処理の詳細フロー図である。 図３の３次元ＣＧ画像生成処理の詳細フロー図である。 天井要素の分割、および照明の自動配置処理の概要を示す模式図である。 キャプチャ画像の一例を示す図である。 ３次元ＣＧ画像の一例を示す図である。
　以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態と言う）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
（実施形態の構成）
　図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。図１によれば、本実施形態に係る画像処理装置１は、処理部１０と、記憶部２０と、撮像部３０と、座標入力部４０と、操作部５０と、表示部６０とにより構成される。
　処理部１０は、記憶部２０のプログラム領域に記憶されたプログラムを実行する。即ち、ユーザによる、例えば、ブロック組立て、手書き、またはＰＣ（Personal　Computer）へのデータ入力に従い、部屋空間にレイアウトされたパーツを検出する。次に、パーツの色と形状に基づきパーツのそれぞれをオブジェクトに変換し、オブジェクトとその配置位置を表すオブジェクト情報を基に３次元ＣＧ画像を生成する。処理部１０は、これらの処理を実行するため、画像キャプチャ手段１０１と、画像解析手段１０２と、パーツリスト１０３と、３次元画像生成手段１０４と、を含み構成される。
　画像キャプチャ手段１０１は、撮像部３０により、グリッド面６１（後述の図１０）上の画像認識面６２（図１０）を撮像し、画像認識面６２（図１０）上に形成された部屋空間６３（図１０）のパーツからなる撮像データを生成する。画像解析手段１０２は、撮像データに基づき、パーツの色と形状を判別し、パーツリスト１０３を参照して予め定義されたオブジェクトに変換し、このオブジェクトをパーツの配置位置に対応する所定の位置に配置し、３次元画像情報を生成するためのオブジェクト情報を生成する。
　パーツリスト１０３の一例が図２に示されている。ここでは、ブロック（玩具）を使用してパーツが表現されており、ブロックの色と形状により、パーツとしての具体物（オブジェクト）、壁、窓、バスタブ及びベットなどが定義されている。ユーザは、ブロックをレイアウトして、自分の嗜好にあったデザインを作り出す。画像解析手段１０２は、ブロックの色と形状を認識して、パーツの具体物を特定する。ブロックは、図１０に例示されるようなグリッド面６１上の画像認識面６２上に配置することができる。画像認識面６２には、部屋空間６３が形成されている。グリッド面６１は、４６×３６＝１６５６個のグリッドから構成されている。部屋空間６３は、３２×３２＝１０２４個のグリッドから構成されている。仮想空間上、１グリッド当たりの実寸を設定することにより、規格化された仮想空間を生成することができる。これら面のサイズは、適宜変更することができ、また１グリッド当たりの実寸を変更することもできる。一つのグリッドは、正方形状からなり、ブロックをはめ込むための丸い突起を有しているが、その形状は、単なる正方形状、丸のみなど、一つの区画（一単位）を表すことができる形状であれば、どのような形状でも構わない。
　図２に示すように、例えば、赤、青、緑、白、黄、橙、黒の７色のブロックを複数用意し、その形状によりパーツを定義する。例えば、赤ブロック１個は「壁」オブジェクトを表すパーツ、青ブロック２個は「窓」オブジェクトを表すパーツ、緑ブロック２個は「扉」オブジェクトを表すパーツ、白ブロック２個は「一人掛けソファ」オブジェクトを表すパーツ、黄ブロック２個は「トイレ」オブジェクトを表すパーツ、橙ブロック３個二段は「ローテーブル」オブジェクトを表すパーツ、黒ブロック１個は「観葉植物」オブジェクトを表すパーツ、黒ブロック２個は「ステレオコンポ」オブジェクトを表すパーツなどというような定義がなされている。なお、パーツの一つは、グリッド一つに対応する形状を有する。
　なお、パーツリスト１０３は、処理部１０ではなく記憶部２０に設けることもできる。
　画像解析手段１０２は、部屋空間６３の撮像データから１０２４個のグリッドを抽出し、グリッド毎に色判定を行い、色毎に占有面積を求め、色の占有面積が所定の割合以上である区画領域について、同一色であると判定し、その形状を検出し、検出した形状とパーツリスト１０３とのブロックマッチング処理によりパーツを特定する。また、ブロックマッチング処理により壁のパーツや窓のパーツが連続すると判定された場合、連続する壁オブジェクトや窓オブジェクトを一体化する連結処理がなされる。なお、図示されていないが、壁オブジェクト、窓オブジェクト、扉オブジェクトで閉ざされた空間を天井オブジェクトとして閉空間を形成し、天井高の疑似体験を実現することもできる。また、階段オブジェクトを用意して第二の部屋空間に配置し、操作部５０を用いてこの第二の部屋空間を天井オブジェクト上に重ねる指示を入力することにより、階層化されたデザインを実現することができる。また、１グリッド当たりの実寸（３次元ＣＧ画像中の寸法）は、建材や家具（家電製品や観葉植物などの物品も含む）のサイズ規格に合わせて、例えば窓や壁など建材については７５ｃｍもしくは９０ｃｍ、家具であれば７５ｃｍもしくは４５ｃｍといったようにパーツ毎に寸法を設定することができる。９０ｃｍ規格の建材、例えば壁のブロックが４グリッド分（実寸３．６ｍ）が直線上に並べられた場合、３次元ＣＧ画像での寸法も３．６ｍとして表される。オブジェクトは、このように建材及び／又は家具を含んでおり、建材及び／又は家具の現物の寸法に比例して３次元空間上に配置されることとなる。
　３次元画像生成手段１０４は、画像解析手段１０２から出力されるオブジェクト情報に基づき、オブジェクトを３次元空間上に配置して３次元ＣＧ画像を生成する。この３次元ＣＧ画像は表示部６０に出力される。３次元ＣＧ画像は、３点座標を持つパーツを２次元の座標の仮想スクリーン上に透視投影することにより生成することができる。３次元画像生成手段１０４は、仮想３次元空間上に設けられた仮想スクリーン上に個々のパーツを仮想的に透視投影するために、パーツが持つそれぞれの面を三角形や四角形のようなポリゴンの集合でモデル化し、得られるモデルを仮想３次元空間上に配置する。そして、モデルの形状、位置、そして光の当たり方等を計算（レンダリング）することにより３次元ＣＧ画像を生成する。そしてレンダリングによって得られる画像をレタッチによりコントラストや色味を手直しして最終的な画像として表示部６０へ出力する。
　なお、３次元画像生成手段１０４は、画像解析手段１０２から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、分割した区画の交点に照明を配置し、所定の点灯条件にしたがい照明を点灯した状態で、３次元ＣＧ画像を生成することもできる。
　記憶部２０には、半導体メモリが実装されており、上記したプログラム領域の他に、キャプチャ画像、解析処理中の画像、および３次元ＣＧ画像等を記憶する作業領域が割り当てられる。撮像部３０は、グリッド面にレイアウトされたブロック、方眼紙や白紙に描かれが色パターン（ブロックに相当する形状）を撮影するカメラである。座標入力部４０はパーツを表現する情報を入力するペンタブレットやタッチパッド等の入力装置である。操作部５０は、例えば、キーボード、マウス、あるいはジョイステック等の入力装置であり、ユーザによるレイアウト変更、ウォークスルー時の視点の移動等の指定を行う。パーツは、ブロックを利用することなく、方眼紙のマス目（グリッド）を所定の色で塗ることでも表現できる。また、白紙にフリーハンドで線画を描くことでも表現できる。この場合、入力手段として画像キャプチャ手段１０１ではなく、座標入力部４０や操作部５０を用いることになる。フリーハンドで描かれた線画をパーツとして認識する場合、画像解析手段１０２は、揺らぎをもって表現された線を直線として認識する揺らぎ処理を行うことになる。
　表示部６０は、例えば、ＬＣＤ（Liquid　Crystal　Display）等の表示デバイスで構成され、例えば、図１０に示すキャプチャ画像や、図１１に示す３次元ＣＧ画像を表示する。また、表示部６０は、ＨＭＤ（Head　Mounting　Display）を含んでもよく、ＨＭＤにはウォークスルーモードでのＶＲ（Virtual　Reality）画像を表示する。
（実施形態の動作）
　以下、図３以降のフローチャートを参照しながら、図１，図２に示す本実施形態に係る画像処理装置１の動作（画像処理方法）について詳細に説明する。
　図３に本実施形態に係る画像処理装置１の基本動作がフロー図で示されている。本実施形態に係る画像処理装置１を起動すると（ステップＳ１１“ＹＥＳ”）、処理部１０は、記憶部２０から設定ファイルを読み込んで、例えば、パーツリスト１０３に定義情報を設定し、また、画像解析および３次元画像生成に必要なタイマ値の設定等を行う初期設定を行なう（ステップＳ１２）。ここでは、画像解析手段１０２が１ｓ間隔で画像解析を行い、３次元画像生成手段１０４が３ｓ間隔で３次元ＣＧ画像の更新処理を行うこととする。
　次に、ユーザによりブロックの組み立て（配置）が行われると（ステップＳ１３“ＹＥＳ”）、処理部１０は、画像キャプチャ手段１０１が、例えば、図１０に一例を示すキャプチャ画像（グリッド面６１全体が撮影されているが、画像認識面６２のみの撮影でもよい）を取り込んで画像解析手段１０２へ引き渡す（ステップＳ１４。第１のステップともいう）。ここでキャプチャされた画像認識面６２の画像は、例えば、表示部６０の画面の右ウインドウに示す操作画面により色補正等が可能である。これを受けて画像解析手段１０２は、例えば、図４にその詳細手順を示すブロック情報のデータ化を行う（ステップＳ１５）。
　ブロック情報のデータ化にあたり、画像解析手段１０２は、色毎に処理を行う。この場合、赤と、青と、緑と、白に対応するため、４回処理を繰り返すことになる。まず、キャプチャ画像から得られる色設定情報（Ｈ，Ｓ，Ｖ値）を取得する（ステップＳ１５１）。ここでは、色相（Hue）と彩度（Saturation　Chroma）と明度（Value　Lightness）の３つの成分からなる色空間であるＨＳＶ色空間モデルを使用するものとする。続いて画像解析手段１０２は、取得した色設定情報に基づき、マスクイメージ化を行ない、色単位のブロック化を行う（ステップＳ１５２）。具体的に、画像解析手段１０２は、１個のブロック玩具で定義されるグリッド（格子）を単位に入力情報としてのキャプチャ画像から予め定義された色毎のブロック占有面積を求める（ステップＳ１５３，Ｓ１５４）。そして、その占有面積が所定の割合（例えば、４０％）以上である色ブロックについて、パーツリスト１０３を参照して色に基づく定義ブロックの存在有無を判定する（ステップＳ１５５）。
　ここで、定義ブロックがあれば（ステップＳ１５５“ＹＥＳ”）、壁要素の有無を判定し（ステップＳ１５６）、壁要素であれば（ステップＳ１５６“ＹＥＳ”）、そのプロックデータを配列とともに記憶部２０の作業領域に記憶し（ステップＳ１５７）、壁要素以外の家具要素であれば（ステップＳ１５６“ＮＯ”）、そのブロックデータを配列とともにデータ化して記憶部の２０の作業領域に記憶する（ステップＳ１５８）。
　説明を図３の基本動作フロー図に戻す。ブロック情報のデータ化処理が終了すると、画像解析手段１０２は、図５にその詳細手順を示すように、そのブロック情報に基づき、定義パーツをそのパーツの形状を示すオブジェクトに変換する処理を実行する（ステップＳ１６。第２のステップともいう）。図５によれば、画像解析手段１０２は、まず、データ化されたブロック情報からその形状情報を取得する（ステップＳ１６１）。そして、ブロックマッチング処理のため、開始グリッド位置からグリッド単位に縦横方向に走査を開始し（ステップＳ１６２）、パーツリストに定義された特定形状、すなわち図２に示された、ブロック一つで表現される壁、洗面台、スタンドライト、観葉植物以外のブロックの有無を判定する（ステップＳ１６３）。なお、壁を拡張形状と呼び、洗面台、スタンドライト、観葉植物を単一形状と呼ぶ。
　ブロックマッチング処理により特定形状ブロックが有ると判定されると（ステップＳ１６３“ＹＥＳ”）、その特定形状ブロックを特定するオブジェクトのデータを生成し、記憶部２０の作業領域にその配列とともに記憶する（ステップＳ１６４）。特定形状ブロックでなければ（ステップＳ１６３“ＮＯ”）、拡張形状ブロック、すなわち壁の判定を行う。
　拡張形状ブロックの判定にあたり、画像解析手段１０２は、まず、角領域の有無を判定する（ステップＳ１６５）。ここで、角領域ありと判定されると（ステップＳ１６５“ＹＥＳ”）角領域のデータ化、すなわち角領域を表すオブジェクトの配置（ステップS１６６）を行う。ステップＳ１６５が“ＮＯ”の場合、グリッドの横方向の連結有無の判定を行う（ステップＳ１６７）。ここで、横方向のグリッドが連結していれば（ステップＳ１６８“ＹＥＳ”）、横サイズをデータ化、例えば横方向に伸びる壁を表すオブジェクトの配置を行い（ステップＳ１６８）、横方向のグリッドが連結されていなければ（ステップＳ１６７“ＮＯ”）、縦方向のグリッドの連結の有無無を判定する（ステップＳ１６９）。縦方向のグリッドが連結されていれば（ステップＳ１６９“ＹＥＳ”）、縦サイズをデータ化、例えば縦方向に伸びる壁を表すオブジェクトの配置を行い、記憶部２０の作業領域に記憶する（ステップＳ１７０）。その後、拡張ブロックのデータ化を行う（ステップＳ１７１）。
　説明を図３の基本動作フロー図に戻す。ブロック情報に基づくパーツ－オブジェクト変換の後、画像解析手段１０２は、図６にその詳細手順を示す床データの生成を行う（ステップＳ１７）。図６によれば、画像解析手段１０２は、まず、記憶部の作業領域に記憶されてある壁要素のデータを判定対象から除外する（ステップＳ１７５）。そして、或るグリッドについて、３方向が壁要素に囲まれているか判定する（ステップＳ１７６）。この判定処理は、壁要素ではないグリッドの全てに対して繰り返される。繰り返しが完了した場合、判定結果が“ＹＥＳ”のグリッドに対しては、床データを、必要に応じて連結して作成する（ステップＳ１７７）。なお、パーツリスト１０３には定義されていないが、床についても、同様のデータを用意している。さらに、天井についても、同様にデータが用意され、床データにより表される形状に等価な天井データを生成することができる。天井と壁の連結処理においては、連結部分から仮想的な光が入らないように、床の形状よりも一回り大きな形状を生成する処理を行っている。
　説明を図３の基本動作フロー図に戻す。床データの生成後、画像解析手段１０２は、図７にその詳細手順を示す、３次元画像生成手段１０４へ引き渡すための出力データを作成する（ステップＳ１８）。図７によれば、画像解析手段１０２は、単一形状ブロックの有無の判定を行い単一形状が検出されたら単一形状ブロック（洗面台、スタンドライト、観葉植物）のオブジェクトを生成し、図４，５，６のフロー図に従い生成された、拡張形状ブロック（壁）、特定形状ブロック（窓、扉、キッチン等）、そして床ブロック、更に必要に応じて天井ブロックのオブジェクトを統合し（ステップＳ１８１）、その統合データをウェブ準拠のｊｓｏｎデータ形式に変換する（ステップＳ１８２）。そして、そのｊｓｏｎデータを３次元画像生成手段１０４へ出力する（ステップＳ１８３）。
　すなわち、画像解析手段１０２は、グリッドを単位に入力情報としてのキャプチャ画像から予め定義された色毎の占有面積を求め、占有面積が所定の割合以上である色のブロックについて、定義された形状に基づくブロックマッチング処理を行いパーツの存在を判定する。また、ブロックマッチング処理により壁要素となるパーツを判定し、壁要素の配置によって決まる床要素または天井要素に対し、グリッドを縦横に連結した長方形状の区画領域を割り当てる処理を実行する。
　説明を図３の基本動作フロー図に戻す。画像解析手段１０２は、出力データを作成後、ユーザが操作部５０を操作して家具等の配置転換等の要求があれば（ステップＳ１９“ＹＥＳ”）、画像解析手段１０２は、作成した出力データを更新して３次元画像生成手段１０４へ引き渡す（ステップＳ２０）。これを受けて３次元画像生成手段１０４は、変換されたオブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する（ステップＳ２１。第３のステップともいう）。３次元画像の生成、表示のための詳細な手順が図８に示されている。オブジェクトは、前述のとおり、建材及び／又は家具を含んでおり、第３のステップにおいて、建材及び／又は家具の現物の寸法に比例して３次元空間上に配置されることとなる。
　図８によれば、３次元画像生成手段１０４は、まず、記憶部２０の作業領域から、画像解析手段１０２により作成されたｊｓｏｎデータを読み出す（ステップＳ２１１）。続いて、そのｊｓｏｎデータに、３ｓ前に読み出したデータとの差分があれば（ステップＳ２１２“ＹＥＳ”）、その差分に基づくデータを更新し（ステップＳ２１３）、３Ｄモデルの配置を行う（ステップＳ２１４）。そして、モデルの形状、位置、そして光の当たり方等を計算（レンダリング）して３次元ＣＧ画像を生成し、表示部６０に表示する。
　ここで、ユーザが操作部５０を操作することにより、内装の種類や家具の配置変更要求があれば（ステップＳ２１５“ＹＥＳ”）、３次元画像生成手段１０４は、該当パーツの３Ｄモデルを更新し（ステップＳ２１６）、更新後の３次元ＣＧ画像が表示部６０に表示される（ステップＳ２１７）。この時点までは、天井要素を表示しない処理を基本とする。さらにユーザが操作部５０を操作し、ウォークスルーモードでの表示要求があれば（ステップＳ２１８“ＹＥＳ”）、３次元画像生成手段１０４は、画像解析手段１０２から出力される長方形状の天井要素に対して、グリッドを縦横に所定数並べたブロックを単位に縦横に分割し、分割したブロックの交点に照明を配置する（ステップＳ２１９）。
　図９（ａ）に、天井要素の分割の仕組みが示されている。図９（ａ）に示すように、天井は、長方形になるように分割され、左上を基準に、右方向に向かって連結されるところまでつなげ、次に縦方向につなげる。図９（ｂ）に、照明の自動配置処理の概要を示す模式図が示されている。図９（ｂ）によれば、天井のサイズ７．５［ｍ］基準に閾値を超えたら１個照明が増える仕組みになっている。ここで、閾値は、７．５［ｍ］，１５［ｍ］，２２．５［ｍ］等、７．５［ｍ］の倍数とする。
　本実施形態によれば、縦横方向共に同じ仕組みで照明が自動配置され、それぞれ７．５［ｍ］を超える毎に２個配置が増える。配置に関しては、照明設置数＋１で天井を縦分割、横分割し、その交点に照明が配置される仕組みになっている。なお、照明の照射範囲は、長辺を基準に端まで照射できるように範囲設計されるものとする。
　説明を図８に戻す。天井要素の分割、および照明の自動配置処理後、３次元画像生成手段１０４は、例えば、視点位置と明るさの関係によって決まる所定の点灯条件に合致すれば（ステップＳ２２０“ＹＥＳ”）、その照明を点灯した３次元画像を生成する（ステップＳ２２１）。
　なお、ウォークスルーモードでの３次元ＣＧ画像表示にあたり、３次元画像生成手段１０４は、壁や家具等、住宅に関するＣＧ画像を予めＣＡＤ（Computer　Aided　Design）等の３次元画像作成支援ソフトウェアにより作成しておき、３次元形状データに対して仮想的な視点位置を設定することができる。例えば、図１１に示すように、部屋空間６３に対応する３次元ＣＧ画像表示６３ａの内部に存在することを疑似体験できる仮想的な視点位置をオペレータの入力操作（矢印カーソル）に応じて３次元形状データに対して停止または所望の方向に移動させる。そして、３次元画像データと視点位置とに基づく演算により間取り等を所定位置から見た状態を擬似的に表現する３次元ＣＧ画像データを生成し、視点位置が停止している場合は静止画像で、視点位置が移動している場合は視野変換（レンダリング）によりＣＧ画像を動画表示（ＶＲ）する（ステップＳ２２２）。
　すなわち、３次元画像生成手段１０４は、オブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する。また、画像解析手段１０２から出力される長方形状の天井要素を、グリッドを縦横に所定数並べたブロックを単位に縦横に分割し、前記分割したブロックの交点に照明を配置し、所定の点灯条件にしたがい照明を点灯した３次元ＣＧ画像を生成して出力する。その際、ユーザは、マウス等の操作部５０を使用して入力操作を行うことで視点位置の移動方向、速度を調整し、このことにより、住宅の内外を歩き回りながら観察しているのと同様の感覚で、例えば、壁面の凹凸、質感、壁紙等の模様等を子細に検討し、あるいは評価することができる。また、視点位置を目的位置に接近させることで壁面が拡大表示され、壁面と売り微妙なニュアンスも確認できる。なお、天井要素は、ウォークスルーモードに入る前に結合して３次元画像空間を生成することもできる。この場合、照明もウォークスルーモードに入る前に配置されることになる。
（実施形態の効果）
　以上説明のように本実施形態に係る画像処理装置１によれば、処理部１０（画像キャプチャ手段１０１）が、部屋空間にレイアウトされたパーツの集合を取り込み、画像解析手段１０２が、色と形状により予め定義されたパーツのそれぞれを画像認識して対応するオブジェクトに変換し、３次元画像生成手段１０４が、当該オブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する。このため、ユーザは、例えば、２次元空間上でブロック玩具を組み立てるだけで、そのデザインに対応する３次元ＣＧ画像を制作することがで、さらにこの３次元ＣＧ画像空間を移動する疑似体験をすることができる。ユーザは、３次元空間上で、内装や家具の配置等を確認することができる。また、方眼紙や白紙を用いた表記や、操作部５０を用いたパーツ表現でも同様の効果を得ることができ、ユーザがデザインする対象は、パーツリスト１０３の設定を変更して３次元空間上に配置したいオブジェクトとその扱いを適宜定義して、画像解析手段１０２及び３次元画像生成手段１０４にて処理することにより、シミュレーションゲームのシーンの自作などの３次元空間をデザインする場合に対応することができる。
　以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　１…画像処理装置、１０…処理部、２０…記憶部、３０…撮像部、４０…座標入力部、５０…操作部、６０…表示部、６１…グリッド面、６２…画像認識面、６３…部屋空間、６３ａ…３次元ＣＧ画像表示、１０１…画像キャプチャ手段、１０２…画像解析手段、１０３…パーツリスト、１０４…３次元画像生成手段

Claims (5)

  1. 　部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、
    　色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、
    　前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記画像解析手段は、
    　グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定することを特徴とする請求項１記載の画像処理装置。
  3. 　前記画像解析手段は、
    　前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする請求項２記載の画像処理装置。
  4. 　前記３次元画像生成手段は、
    　前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記３次元画像を生成して出力することを特徴とする請求項１記載の画像処理装置。
  5. 　部屋空間にレイアウトされたパーツの集合を取り込む第１のステップと、
    　色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する第２のステップと、
    　前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する第３のステップと、を有し、
    　前記オブジェクトは建材及び／又は家具を含み、
    　前記第３のステップにおいて、前記オブジェクトは、前記建材及び／又は前記家具の現物の寸法に比例して３次元空間上に配置されることを特徴とする画像処理方法。
PCT/JP2015/082389 2014-11-21 2015-11-18 画像処理装置および方法 WO2016080437A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016514785A JP5999802B1 (ja) 2014-11-21 2015-11-18 画像処理装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014236474 2014-11-21
JP2014-236474 2014-11-21

Publications (1)

Publication Number Publication Date
WO2016080437A1 true WO2016080437A1 (ja) 2016-05-26

Family

ID=56013972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082389 WO2016080437A1 (ja) 2014-11-21 2015-11-18 画像処理装置および方法

Country Status (2)

Country Link
JP (1) JP5999802B1 (ja)
WO (1) WO2016080437A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887049A (zh) * 2019-01-31 2019-06-14 浙江工商大学 基于层次依赖的家具场景生成方法
CN114660953A (zh) * 2022-04-01 2022-06-24 深圳市创诺新电子科技有限公司 一种物联网的家居电源主控板远程控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238022A1 (zh) 2019-05-28 2020-12-03 贝壳找房(北京)科技有限公司 三维空间视图显示方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01120686A (ja) * 1987-11-05 1989-05-12 Bridgestone Corp タイヤのカラーマーク自動検出装置
JPH0684002A (ja) * 1992-09-04 1994-03-25 Yokohama Rubber Co Ltd:The タイヤマーク抽出方法及びその装置
JP2007034415A (ja) * 2005-07-22 2007-02-08 Gifu Prefecture 設計支援システム
JP2010267138A (ja) * 2009-05-15 2010-11-25 Panasonic Electric Works Co Ltd 設計支援方法、設計支援システムおよび設計支援装置
JP2014515961A (ja) * 2011-05-23 2014-07-07 レゴ エー／エス 拡張現実向けの玩具構築システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212213A (ja) * 2002-12-27 2004-07-29 Yasuki Hatao 動作データ作成用コンピュータプログラムパッケージ、動作データ作成方法及び基準マーカーユニット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01120686A (ja) * 1987-11-05 1989-05-12 Bridgestone Corp タイヤのカラーマーク自動検出装置
JPH0684002A (ja) * 1992-09-04 1994-03-25 Yokohama Rubber Co Ltd:The タイヤマーク抽出方法及びその装置
JP2007034415A (ja) * 2005-07-22 2007-02-08 Gifu Prefecture 設計支援システム
JP2010267138A (ja) * 2009-05-15 2010-11-25 Panasonic Electric Works Co Ltd 設計支援方法、設計支援システムおよび設計支援装置
JP2014515961A (ja) * 2011-05-23 2014-07-07 レゴ エー／エス 拡張現実向けの玩具構築システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887049A (zh) * 2019-01-31 2019-06-14 浙江工商大学 基于层次依赖的家具场景生成方法
CN114660953A (zh) * 2022-04-01 2022-06-24 深圳市创诺新电子科技有限公司 一种物联网的家居电源主控板远程控制方法

Also Published As

Publication number Publication date
JP5999802B1 (ja) 2016-09-28
JPWO2016080437A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US11287904B2 (en) Virtual/augmented reality modeling application for architecture
CN107993289B (zh) 基于ar增强现实技术的装修系统
CN104318042A (zh) 家居设计系统
WO2019058266A1 (en) SYSTEM AND METHOD FOR CONVERTING A 3D SCALE SOIL PLAN FOR THE CREATION AND RENDERING OF ARCHITECTURAL SCENES OF VIRTUAL REALITY, VIDEOS AND VISUAL IMAGES
CN103778538A (zh) 一种家具仿真布局方法和系统
CN112001997B (zh) 一种家具的展示方法和装置
CN113761614B (zh) 一种平面家装设计辅助方法
JP5085399B2 (ja) ３ｄモデル生成システム
JP2022105083A (ja) 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
Kaleja et al. Virtual reality as innovative approach to the interior designing
WO2010070517A1 (en) System for simulation of a lighting distribution
KR20210086837A (ko) 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
WO2023155113A1 (en) Computer-implemented building modeling method and system
JP5999802B1 (ja) 画像処理装置および方法
US20210192857A1 (en) Generating Virtual Representations
KR20200000288A (ko) 가상현실 모델하우스 운영시스템 및 운영방법
EP2993613A1 (en) A capture system arranged to create a 3d model from a scanned scene, a method and a graphical user interface
JP6275764B2 (ja) 内観画像作成装置、内観画像作成方法及びコンピュータプログラム
Mohan et al. Refined interiors using augmented reality
Rajab et al. The development of 3D visualization and its potential impact on interior design and its clients
CN109615687A (zh) 一种基于图像识别技术的3d房屋批量建模方法
Shen Research on the Application of Computer Big Data Technology in the Modeling of Architectural Interior Design Renderings
Atthalariq et al. The implementation of augmented reality and first person method of promotional media in Kemang Pratama Housing Bekasi
GB2573571A (en) Generating virtual representations
Marciniak et al. Using a game engine to visualize the Main Building of the Warsaw University of Technology in a mobile application

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016514785

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15860834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15860834

Country of ref document: EP

Kind code of ref document: A1