NL1038336C2

NL1038336C2 - METHOD FOR DISPLAYING A DIGITAL 2D REPRESENTATION OF AN OBJECT IN PERSPECTIVE AND SCALE TO A DISPLAYED DIGITAL 2D REPRESENTATION OF A 3D SPACE, FOR A COMPUTER READABLE MEDIA WITH PROGRAM COCODE, A COMPUTER SYSTEM FOR THE IMPROVEMENT SYSTEM OF THE IMPROVEMENT SYSTEM COMPUTER SYSTEM.

Info

Publication number: NL1038336C2
Application number: NL1038336A
Authority: NL
Inventors: Joost Gerardus Reimert
Original assignee: Giezer B V
Priority date: 2010-10-27
Filing date: 2010-10-27
Publication date: 2012-05-01

Description

Werkwijze voor het in perspectief en op schaal tonen van een digitale 2D representatie van een voorwerp ten opzichte van een getoonde digitale 2D representatie van een 3D-ruimte, voor een computer leesbaar medium met programmacode, een computersysteem voor het implementeren van de werkwijze en een server computersysteemMethod for showing in perspective and to scale a digital 2D representation of an object relative to a shown digital 2D representation of a 3D space, a computer-readable program code medium, a computer system for implementing the method and a server computer system

De onderhavige uitvinding heeft betrekking op een werkwijze voor het in perspectief en op schaal tonen van een digitale 2D representatie van een voorwerp ten opzichte van een getoonde digitale 2D representatie van een 3D-ruimte volgens de aanhef van conclusie 1. De 5 uitvinding heeft tevens betrekking op een voor een computer leesbaar medium met programmacode en op een computersysteem voor het implementeren van de werkwijze.The present invention relates to a method for showing a digital 2D representation of an object in perspective and to a scale relative to a shown digital 2D representation of a 3D space according to the preamble of claim 1. The invention also relates to on a computer-readable program code medium and on a computer system for implementing the method.

Een gangbare werkwijze omvat het met behulp van een computer plaatsen en tonen van 3D-meubelen in een virtuele driedimensionale 10 ruimte, zoals een woonkamer of een siertuin, om een indruk te verschaffen van een toekomstige inrichting van die ruimte. Daartoe wordt een virtuele driedimensionale (3D) ruimte opgebouwd, dat wil zeggen een nabootsing van een fysieke ruimte op een computer. Dit kan een zichtbare representatie (presentatie) op een beeldscherm zijn of met 15 een projector (zoals een beamer) getoond, alsmede een andersoortige representatie, bijvoorbeeld opgeslagen op een harde schijf of in een computergeheugen. In de virtuele 3D-ruimte worden vervolgens virtuele meubelen geplaatst. Een op de computer aangesloten beeldscherm of projector toont een afbeelding van de ruimte met meubelen of andere 20 voorwerpen in de afbeelding van de ruimte, met de meubelen of andere voorwerpen op een gewenste plaats in de ruimte en met een gewenste oriëntatie en op een gewenste schaal ten opzichte van de ruimte (de schaalverhouding is doorgaans één op één) als een 2D beeld.A common method comprises of placing and displaying 3D furniture in a virtual three-dimensional space, such as a living room or an ornamental garden, with the aid of a computer, in order to provide an impression of a future layout of that space. To this end, a virtual three-dimensional (3D) space is built up, that is, an imitation of a physical space on a computer. This can be a visible representation (presentation) on a screen or shown with a projector (such as a projector), as well as a different kind of representation, for example stored on a hard disk or in a computer memory. Virtual furniture is then placed in the virtual 3D space. A screen or projector connected to the computer shows an image of the room with furniture or other objects in the image of the room, with the furniture or other objects at a desired location in the room and with a desired orientation and on a desired scale relative to the space (the scale ratio is usually one to one) as a 2D image.

Doordat bij de hierboven beschreven werkwijze gebruik wordt ge-25 maakt van een driedimensionaal ontwerp van de ruimte waarvan de afmetingen bekend zijn, kan een driedimensionaal voorwerp waarvan de afmetingen eveneens bekend zijn in het correcte perspectief en met de juiste grootte op het beeldscherm worden getoond. Het manipuleren van representaties van 3D voorwerpen behoort tot de stand van de tech-30 niek.Because in the method described above use is made of a three-dimensional design of the space whose dimensions are known, a three-dimensional object whose dimensions are also known can be shown on the screen in the correct perspective and with the correct size. Manipulating representations of 3D objects is well-known in the art.

Bekende methoden voor de hierboven beschreven handelingen, in het bijzonder voor het manipuleren van representaties van 3D voorwer- 1 03 83 36 2 pen, staan onder andere beschreven in US6727925 die een methode beschrijft om meubels en dergelijke in een op een beeldscherm afgeheelde kamer, die als driedimensionaal ontwerp beschikbaar is, te plaatsen en te verplaatsen.Known methods for the operations described above, in particular for manipulating representations of 3D objects, are described, inter alia, in US6727925 which describes a method of placing furniture and the like in a room that is screened off on a screen, which if three-dimensional design is available, to place and move.

5 US5825365 noemt een methode om meubels binnen een kamer te ver plaatsen waarbij de mogelijkheid wordt verschaft om rekening te houden met verticale hoogteverschillen in de vloer. Met name is de methode gericht om een basisvlak van een voorwerp parallel te houden aan een basisvlak van de vloer van de kamer.US5825365 mentions a method of moving furniture within a room whereby the possibility is provided to take into account vertical differences in height in the floor. In particular, the method is directed to keep a base surface of an object parallel to a base surface of the floor of the room.

10 W02006076910 noemt een methode om in een driedimensionaal model een meubelstuk of dergelijke te plaatsen. De bepaling van coördinaten vindt volgens die methode op elektronische wijze plaats (conclusie 2, stap 1.4). Hierbij dient eerst een bepaling van absolute afstanden en vervolgens een ij king van de driedimensionale coördinaten plaats te 15 vinden (conclusie 8) .W02006076910 mentions a method for placing a piece of furniture or the like in a three-dimensional model. The determination of coordinates takes place electronically according to that method (claim 2, step 1.4). Hereby first a determination of absolute distances and then an calibration of the three-dimensional coordinates must take place (claim 8).

De in W02006076910 beschreven technieken voor het afbeelden van voorwerpen in een tweedimensionale afbeelding van een driedimensionale ruimte om ze virtueel in die ruimte te plaatsen, alsmede de daarbij toepasselijke publicaties zoals die zijn beschreven op blz. 7, 20 regel 11 tot en met blz. 15, regel 5 van W02006076910, zijn ook in de onderhavige uitvinding in het bijzonder toepasbaar.The techniques described in WO2006076910 for displaying objects in a two-dimensional representation of a three-dimensional space for virtual placement in that space, as well as the relevant publications as described on pages 7, 20, lines 11 to 15 , rule 5 of WO2006076910, are also particularly applicable in the present invention.

De bekende werkwijze van het in de aanhef genoemde type heeft echter als nadeel, dat het voor de gebruiker omslachtig en tijdrovend is om de digitale 2D representatie van de 3D-ruimte te creëren. De 25 uitvinding beoogt dit nadeel te omzeilen.However, the known method of the type mentioned in the preamble has the drawback that it is cumbersome and time-consuming for the user to create the digital 2D representation of the 3D space. The object of the invention is to circumvent this drawback.

Daartoe verschaft de uitvinding een werkwijze met het kenmerk van conclusie 1.To this end, the invention provides a method with the feature of claim 1.

Het verschaffen van een 2D representatie van een 3D ruimte kan volgens de werkwijze van de uitvinding sneller en gemakkelijker, 30 doordat de gebruiker niet langer in vele stappen, zoals lijn voor lijn, een representatie hoeft van de in te richten ruimte hoeft op te bouwen. In plaats daarvan kan de gebruiker bijvoorbeeld een digitale foto te maken en door het verrichten van enkele relatief simpele handelingen de computer de rest van het werk laten doet. De term 3D 35 ruimte betekent in de conclusies van de onderhavige aanvraag een deel van de reële wereld, niet een virtuele wereld. Er wordt opgemerkt dat eventuele verdere bewerkingen van de foto die in het werkgeheugen worden geplaatst in het algemeen vervorming van het beeld, in het 3 bijzonder van perspectief, zullen vermijden. Het is echter wel denkbaar dat vervorming toelaatbaar of zelfs wenselijk is bij dergelijke bewerkingen, bijvoorbeeld om te corrigeren voor lensfouten, of in geval van het corrigeren van een zogenaamd achterovervallend beeld. Ook 5 dergelijke qua perspectief en/of dimensionering gewijzigde foto's vallen onder de in onderhavige aanvraag gebruikte term "fotografische afbeelding", aangezien de wijziging tot een meer getrouwe weergave van de als fotografische afbeelding vastgelegde ruimte heeft geleid. De fotografische afbeelding kan ook een gedigitaliseerde foto zijn, 10 zoals verkregen met behulp van een scanner. De bij de werkwijze gebruikte computer kan al een camera bevatten, en is bijvoorbeeld een smartphone of tablet voorzien van een camera, zoals een iPhone. Voor het bepalen van de schaal wordt gebruik gemaakt van een lijn met een bekende lengte, welke lijn hierin wordt aangeduid met de term refe-15 rentielijnstuk, en zal in een door twee assen van het coördinaten stelsel van de 3D ruimte gedefinieerd vlak liggen, en is bij voorkeur een lijn die in de reële wereld parallel loopt met een lijn die samenvalt met een van de genoemde twee assen van het vlak. Indien voor meer dan 1 lijn een lengte wordt ingevoerd, liggen de betreffende re-20 ferentielijnstukken bij voorkeur in verschillende door twee assen van het coördinatenstelsel van de 3D ruimte gedefinieerde vlakken of zijn er twee referentielijnstukken die elk met een andere as van het genoemde vlak parallel lopen of daarmee samenvallen. Met de meeste voorkeur wordt voor elk van de assen ten minste een referentielijn-25 stuk gebruikt, hetgeen een grotere nauwkeurigheid verschaft, d.w.z. een meer realistische voorstelling van de plaatsing van het voorwerp. In de onderhavige aanvraag wordt onder een lijn of lijnstuk een door een mens of computerprogramma in de 3D-ruimte te herkennen lijn verstaan, zoals voor een kamer als 3D-ruimte de overgang tussen vloer en 30 wand, de overgang tussen twee wanden; of voor een tuin bijvoorbeeld de overgang van een gazon naar een schutting. Drie van deze, niet in eikaars verlengde gelegen lijnen worden gebruikt door het definiëren van de assen van het XYZ-coördinatenstelsel. De hoek tussen deze reële wereld overgangen is meestal bekend en vaak 90'. In de praktijk 35 zal de hoek van 90° als standaardwaarde worden aangehouden, en kan de gebruiker de gelegenheid krijgen een andere waarde in te voeren.According to the method of the invention, providing a 2D representation of a 3D space can be faster and easier, because the user no longer has to build up a representation of the space to be arranged in many steps, such as line by line. Instead, the user can, for example, take a digital photo and, by performing some relatively simple actions, let the computer do the rest of the work. In the claims of the present application, the term 3D space means a part of the real world, not a virtual world. It is noted that any further processing of the photo that is placed in the working memory will generally avoid distortion of the image, in particular from perspective. It is, however, conceivable that distortion is permissible or even desirable in such operations, for example to correct for lens errors, or in the case of correcting a so-called falling-back image. Such photos modified in perspective and / or dimensioning also fall under the term "photographic image" used in the present application, since the change has led to a more faithful representation of the space defined as a photographic image. The photographic image can also be a digitized photo as obtained with the aid of a scanner. The computer used in the method may already contain a camera, and is for example a smartphone or tablet provided with a camera, such as an iPhone. For determining the scale, use is made of a line of known length, which line is referred to herein as the reference line section, and will lie in a plane defined by two axes of the 3D space coordinate system, and is preferably a line that runs parallel in the real world with a line that coincides with one of said two axes of the plane. If a length is entered for more than 1 line, the relevant reference lines are preferably in different planes defined by two axes of the 3D space coordinate system, or there are two reference lines each parallel to a different axis of the said plane walk or coincide. Most preferably, at least one reference line piece is used for each of the shafts, which provides greater accuracy, i.e., a more realistic representation of the placement of the article. In the present application, a line or segment means a line to be recognized by a human or computer program in the 3D space, such as for a room as a 3D space the transition between floor and wall, the transition between two walls; or for a garden, for example, the transition from a lawn to a fence. Three of these lines, which are not in line with each other, are used by defining the axes of the XYZ coordinate system. The angle between these real world transitions is usually known and often 90 '. In practice, the 90 ° angle will be used as the default value, and the user may be given the opportunity to enter a different value.

Ten aanzien van het ten minste één referentielijnstuk geldt dat, naast de lengte, ook de oriëntatie en plaats ervan nodig zijn om 4 uit de lengte ervan de schaal van het 3D coördinatenstelsel af te leiden. De lengte wordt bijvoorbeeld handmatig ingevoerd door een persoon. In plaats daarvan kan deze in sommige gevallen ook door de computer worden afgeleid, bijvoorbeeld door middel van het herkennen 5 van een lijnstuk met bekende lengte in de foto, onder gebruikmaking van op zich bekende beeldherkenningstechnieken. Hierbij kan worden gedacht aan een deur met een standaardhoogte, een plafond op een standaardhoogte, en bij voorkeur (ter verificatie) een combinatie van twee of meer verschillende standaardhoogten.With regard to the at least one reference line part, it holds that, in addition to the length, also its orientation and location are necessary to derive the scale of the 3D coordinate system from its length. For example, the length is entered manually by a person. Instead, it can also be derived in some cases by the computer, for example by recognizing a line segment of known length in the photograph, using image recognition techniques known per se. A door with a standard height, a ceiling at a standard height, and preferably (for verification) a combination of two or more different standard heights can be considered here.

10 De oriëntatie en plaats van een referentielijnstuk kunnen ook in sommige gevallen bekend zijn, bijvoorbeeld door het referentielijnstuk samenvallend met het coördinatenstelsel te kiezen en te laten eindigen in de oorsprong. In andere gevallen evenwel kunnen de oriëntatie en/of plaats door de gebruiker ingevoerd worden.The orientation and location of a reference line may also be known in some cases, for example by choosing the reference line coincident with the coordinate system and having it end in the origin. In other cases, however, the orientation and / or location can be entered by the user.

15 In een uitvoeringsvorm van de uitvinding omvat de stap van het aanbrengen van een coördinatenstelsel de volgende opeenvolgende, interactieve stappen: - het door de computer plaatsen van het XYZ-coördinatenstelsel op een al dan niet willekeurige plaats op de digitale fotografische 20 afbeelding en met een al dan niet willekeurige oriëntatie ten opzichte van de ruimte en het vertonen van de digitale 2D representatie van de 3D-ruimte met het XYZ-coördinatenstelsel, en - het door een gebruiker via invoermiddelen van de computer transleren van het coördinatenstelsel en uitlijnen van de richtingen 25 van de drie coördinaat-assen van het XYZ-coördinatenstelsel op de in de foto getoonde drie lijnstukken.In an embodiment of the invention, the step of applying a coordinate system comprises the following consecutive, interactive steps: - placing the XYZ coordinate system at a random or random location on the digital photographic image and having a random or non-random orientation with respect to the space and displaying the digital 2D representation of the 3D space with the XYZ coordinate system, and - the user translating the coordinate system and aligning the directions via input means of the computer of the three coordinate axes of the XYZ coordinate system on the three line segments shown in the photo.

Op deze wijze kan het XYZ-coördinatenstelsel relatief gemakkelijk op de plaats en in de juiste oriëntatie worden gebracht. Deze interactieve stappen kunnen bijvoorbeeld worden toegepast in plaats 30 van of in aanvulling op een automatische plaatsing, bijvoorbeeld in die gevallen waarin een automatische plaatsingsmethode faalt of onbetrouwbaar is.In this way, the XYZ coordinate system can be relatively easily positioned and positioned. These interactive steps can be applied, for example, in place of or in addition to an automatic placement, for example in those cases where an automatic placement method fails or is unreliable.

Overigens is uit JP2000249545 een methode bekend om aan een tweedimensionale foto een coördinatenstelsel toe te kennen. Volgens 35 die publicatie kan dat automatisch bij het nemen van de (digitale) foto gebeuren, bijvoorbeeld ten behoeve van het bepalen van de coördinaten van een op de foto afgebeeld voorwerp. Die publicatie beschrijft niet de werkwijze volgens de onderhavige uitvinding.A method is known from JP2000249545 for assigning a coordinate system to a two-dimensional photograph. According to that publication, this can be done automatically when taking the (digital) photo, for example for the purpose of determining the coordinates of an object depicted on the photo. That publication does not describe the method of the present invention.

55

In een andere uitvoeringsvorm zijn de 2D representatie van de 3D-ruimte en het XYZ-coördinatenstelsel in afzonderlijke representaties van eenzelfde 2D vlak opgeslagen. Dit heeft als voordeel dat de representaties van de 3D-ruimte en het XYZ-coördinatenstelsel eenvou-5 diger afzonderlijk kunnen worden gebruikt. Zo kan bijvoorbeeld gemakkelijk een weergave in twee beeldlagen worden verwezenlijkt, die over elkaar heen liggen, en vervolgens een der lagen worden bewerkt zonder de andere te beïnvloeden.In another embodiment, the 2D representation of the 3D space and the XYZ coordinate system are stored in separate representations of the same 2D plane. This has the advantage that the representations of the 3D space and the XYZ coordinate system can be used more easily separately. For example, a reproduction in two image layers can easily be realized, which are superimposed, and then one of the layers can be processed without influencing the other.

In nog een andere uitvoeringsvorm, zijn de hoeken tussen de 10 drie lijnstukken uit stap (al) in de 3D-ruimte elk 90 graden en snijden deze drie lijnstukken elkaar in één punt. Aldus kan de gebruiker het XYZ-coördinatenstelsel gemakkelijk uitlijnen met de ruimte, bijvoorbeeld met drie ribben die uitkomen op een hoek van een kamer.In yet another embodiment, the angles between the three line segments from step (a1) in the 3D space are each 90 degrees and these three line segments intersect at one point. Thus, the user can easily align the XYZ coordinate system with the space, for example with three ribs that end at a corner of a room.

In een volgende uitvoeringsvorm ligt ten minste één referentie-15 lijnstuk op een der drie coördinaat-assen. Dit heeft als voordeel dat het aanzienlijk gemakkelijker is om de lengte van het referentielijnstuk aan te geven.In a further embodiment, at least one reference segment lies on one of the three coordinate axes. This has the advantage that it is considerably easier to indicate the length of the reference line section.

Tevens kan de plaatsing van het voorwerp op een begrenzingsvlak van de ruimte plaats vinden. Dit begrenzingsvlak kan bijvoorbeeld een 20 muur zijn of een vloer van een kamer. Met name op een vloer zal men vaak voorwerpen willen plaatsen. Aldus wordt het ontwerpen van de inrichting van de ruimte extra gemakkelijk. Dit is met name gunstig indien het begrenzingsvlak een vloer is binnen een woning of een bodem van een tuin; dit zijn de meest gebruikte begrenzingsvlakken en deze 25 leveren dus het meeste voordeel in termen van tijdwinst en/of gemak. Ook een muur kan een begrenzingsvlak zijn, waardoor de computer kan voorkomen dat een voorwerp in de muur terechtkomt.The placement of the object on a boundary surface of the space can also take place. This boundary surface can for instance be a wall or a floor of a room. People will often want to place objects on a floor in particular. Thus designing the layout of the room becomes extra easy. This is particularly favorable if the boundary surface is a floor within a home or a bottom of a garden; these are the most commonly used boundary surfaces and thus provide the most advantage in terms of time savings and / or convenience. A wall can also be a boundary surface, as a result of which the computer can prevent an object from falling into the wall.

Indien bovendien het basisvlak samenvalt met een begrenzingsvlak van de ruimte, dan weet men na het aangeven van het basisvlak 30 ook meteen het begrenzingsvlak, hetgeen het werken nog gemakkelijker maakt.Moreover, if the base surface coincides with a boundary surface of the space, then after the indication of the base surface 30 the boundary surface is also immediately known, which makes working even easier.

Bij voorkeur wordt de 2D representatie van de 3D ruimte onderworpen aan inpainting.The 2D representation of the 3D space is preferably subjected to painting.

Aldus kan bijvoorbeeld voor een 2D representatie van een be-35 staande kamer de 2D representatie van een of meer voorwerpen worden ontdaan. Zo kan bijvoorbeeld de aanwezige bank worden verwijderd en vervangen door een voorwerp uit een database van een webwinkel.Thus, for example, for a 2D representation of an existing room, the 2D representation of one or more objects can be stripped. For example, the bank present can be removed and replaced with an item from a web store database.

66

De uitvinding heeft eveneens betrekking op een digitaal opslagmedium met door een computer leesbare instructiecode, bij uitvoering van welke instructiecode door een computer het door een computer uit te voeren gedeelte van de handelingen uitvoert van de interactieve 5 werkwijze volgens een van de voorgaande conclusies. Voorbeelden van een digitaal opslagmedium zijn een memory stick, USB-stick, SD-card, CD-ROM, DVD-ROM; deze voorbeelden zijn er slechts enkele van de vele mogelijk en zijn niet beperkend.The invention also relates to a digital storage medium with computer-readable instruction code, in the execution of which instruction code by a computer executes the part of the operations to be performed by a computer of the interactive method according to one of the preceding claims. Examples of a digital storage medium are a memory stick, USB stick, SD card, CD-ROM, DVD-ROM; These examples are only a few of the many possible and are not restrictive.

Ook heeft de uitvinding betrekking op een computersysteem, om-10 vattende invoermiddelen, uitvoermiddelen, een centrale verwerkings-eenheid, alsmede werkgeheugen omvattende gegevensopslagmiddelen, en gegevenspresentatiemiddelen zoals een beeldscherm, alsmede in de gegevensopslagmiddelen opgeslagen instructiecode, welke instructiecode zodanig is dat bij uitvoering ervan door het computersysteem dit sys-15 teem het door een computer uit te voeren gedeelte van de handelingen uitvoert van de interactieve werkwijze volgens een van de voorgaande conclusies. De term computersysteem verwijst zowel naar stand-alone systemen, zoals een laptop of desktop computer, als naar gedistribueerde systemen, waarvan verschillende onderdelen bijvoorbeeld zijn 20 verbonden via het internet.The invention also relates to a computer system, comprising input means, output means, a central processing unit, as well as working memory comprising data storage means, and data presentation means such as a screen, and instruction code stored in the data storage means, which instruction code is such that when executed by the computer system performs this system on the part of the operations of the interactive method according to one of the preceding claims to be performed by a computer. The term computer system refers to both stand-alone systems, such as a laptop or desktop computer, and to distributed systems, various components of which are connected via the internet, for example.

Tenslotte heeft de uitvinding betrekking op een servercomputer van een computersysteem als hierboven, in het bijzonder interessant voor Internet-toepassingen waarbij een gebruiker een webbrowser gebruikt voor het uitvoeren van de interactieve handelingen. De gebrui-25 ker kan daarbij gebruik maken van een fotografische afbeelding van een website waar foto's kunnen worden ge-upload, waaronder ook een social media website.Finally, the invention relates to a server computer of a computer system as above, particularly interesting for Internet applications where a user uses a web browser to perform the interactive operations. The user can use a photographic image of a website where photos can be uploaded, including a social media website.

De uitvinding zal nu worden toegelicht aan de hand van een in de tekening geïllustreerd uitvoeringsvoorbeeld. In de tekening toont: 30 Fig. 1 een schematische weergegeven fotografische afbeelding van een ruimte met daarin een coördinatenstelsel weergegeven, volgens de werkwijze van de uitvinding,The invention will now be explained with reference to an exemplary embodiment illustrated in the drawing. In the drawing: FIG. 1 shows a schematic photographic image of a space with a coordinate system shown therein, according to the method of the invention,

Fig. 2 de fotografische afbeelding uit Figuur 1, nu zonder coördinatenstelsel en met een vast op de vloer geplaatst voorwerp 35 erin,FIG. 2 the photographic image from Figure 1, now without a coordinate system and with an object 35 fixed to it on the floor,

Fig. 3 de fotografische afbeelding uit Figuur 2, met daarin een volgens de werkwijze van de uitvinding op de vloer geplaatst tweede voorwerp, en 7FIG. 3 the photographic image from Figure 2, with a second object placed on the floor according to the method of the invention, and 7

Fig. 4 een schematische weergave van een computersysteem volgens de uitvinding.FIG. 4 is a schematic representation of a computer system according to the invention.

Identieke of equivalente onderdelen zijn in de figuren aangeduid door dezelfde verwijzingscijfers.Identical or equivalent parts are indicated in the figures by the same reference numerals.

5 Fig. 1 toont een schematische weergave van een digitale foto grafische afbeelding in de vorm van een rechthoekige beeldpixelmatrix van een kamer 1 als 3D ruimte met een vloer 2, een plafond 5 en de vloer 2 en het plafond 5 verbindende wanden 3, 4. Dezelfde kamer 1 is weergegeven in fig. 2 en fig. 3, waar tevens een tegenover de wand 3 10 gelegen en op de wand 4 aansluitende wand 13 is getoond.FIG. 1 shows a schematic representation of a digital photo graphic image in the form of a rectangular image pixel matrix of a room 1 as a 3D space with walls 3, 4 connecting a floor 2, a ceiling 5 and the floor 2 and the ceiling 5. The same room 1 2 is shown in Fig. 2 and Fig. 3, where a wall 13 opposite to wall 3 and connecting to wall 4 is also shown.

In dit voorbeeld heeft de foto een nabewerking ondergaan nadat de foto is genomen, om deze geschikt te maken voor verdere bewerking volgens de uitvinding. Er zijn namelijk ongewenste voorwerpen van de foto verwijderd. Dit is in dit voorbeeld uitgevoerd door middel van 15 een in de techniek bekende inpainting bewerking, dat wil zeggen een bewerking waarbij voorwerpen op een afbeelding worden herkend en uit de afbeelding worden verwijderd. In dit geval is bovendien de ontbrekende achtergrond (overgangen tussen vloer 2 en wanden 3,4) aangevuld .In this example, the photo has undergone post-processing after the photo has been taken to make it suitable for further processing according to the invention. This is because unwanted objects have been removed from the photo. This is carried out in this example by means of an in-painting operation known in the art, that is to say an operation in which objects on an image are recognized and removed from the image. In this case, the missing background (transitions between floor 2 and walls 3,4) is also supplemented.

20 De afbeelding van deze kamer 1 wordt volgens de werkwijze van de uitvinding weergegeven op een beeldscherm 101 (zie Fig. 4), waarna er met behulp van een computer 100 (zie eveneens Fig. 4) waarop het beeldscherm 101 is aangesloten een XYZ-coördinatenstelsel over de afbeelding heen is geplaatst. Het XYZ-coördinatenstelsel is aangeduid 25 door de dikke lijnen 6-7, 6-8, 6-9 en valt, na interactieve positionering door een gebruiker van de computer, samen met overgangen tussen van wanden en de vloer. In dit voorbeeld liggen de drie overgangen c.q. coördinaat-assen onder onderlinge hoeken van 90 graden en snijden elkaar in één oorsprong 6.The image of this chamber 1 is displayed according to the method of the invention on a screen 101 (see Fig. 4), whereafter with the aid of a computer 100 (see also Fig. 4) to which the screen 101 is connected an XYZ coordinate system is superimposed over the image. The XYZ coordinate system is indicated by the thick lines 6-7, 6-8, 6-9 and, after interactive positioning by a user of the computer, coincides with transitions between walls and the floor. In this example, the three transitions or coordinate axes lie at 90 degrees to each other and intersect in one origin 6.

30 De oorsprong 6 is in Fig. 1 op een hoekpunt van de vloer 2 en twee wanden 3, 4 geplaatst. Dit is op gebruikelijke wijze gedaan door met een muis de oorsprong 6 naar het hoekpunt te verslepen. Het gehele coördinatenstelsel van oorsprong 6 en de daaraan verbonden X-as, Y-as en Z-as is daarbij door de computer eveneens naar dat hoekpunt 35 van kamer 1 verplaatst.The origin 6 is shown in FIG. 1 placed at a corner of the floor 2 and two walls 3, 4. This is done in the usual way by dragging the origin 6 to the vertex with a mouse. The entire coordinate system of origin 6 and the X-axis, Y-axis and Z-axis connected thereto have also been moved by the computer to that vertex 35 of chamber 1.

Daarna is het stelpunt 7 van de Z-as naar een positie versleept die overeenkomt met een hoekpunt van de wanden 3, 4 en het plafond 5. De afstand van het hoekpunt van vloer 2 en wanden 3, 4 tot aan het 8 hoekpunt van het plafond 5 en wanden 3, 4 is vervolgens aangegeven.Then the Z-axis set point 7 is dragged to a position corresponding to a corner point of walls 3, 4 and ceiling 5. The distance from the corner point of floor 2 and walls 3, 4 to the 8 corner point of the ceiling 5 and walls 3, 4 is then indicated.

Tevens zijn de stelpunten 8 en 9 langs de op de afbeelding van de kamer 1 weergegeven overgangen van de vloer met de wanden 3 respectievelijk 4 geplaatst, door de gebruiker, zodat het coördinatenstelsel 5 is uitgelijnd op de overgangen tussen wanden 3, 4 en vloer 2. Ook in dit geval zijn de afstanden aangegeven van de positie van het hoekpunt tussen vloer 2 en wanden 3, 4 tot aan de posities die worden voorgesteld door de stelpunten 8, 9. Er zijn in dit voorbeeld dus drie referentielijnstukken gedefinieerd, te weten 6-7, 6-8 en 6-9, en 10 de lengtes ervan zijn door de gebruiker ingevoerd in de computer. Hoewel het op zich voldoende zal zijn om één referentielijnstuk te definiëren, kan met een eenvoudiger rekenalgoritme worden volstaan indien dit er drie zijn, die bovendien, zoals in dit voorbeeld, samenvallen met de coördinaten.The set points 8 and 9 are also placed by the user along the transitions of the floor with the walls 3 and 4 shown in the image of the chamber 1, so that the coordinate system 5 is aligned with the transitions between walls 3, 4 and floor 2 Also in this case the distances are indicated from the position of the corner point between floor 2 and walls 3, 4 to the positions represented by the set points 8, 9. Thus, in this example three reference line sections are defined, namely 6 -7, 6-8 and 6-9, and their lengths have been entered into the computer by the user. Although it will be sufficient in itself to define one reference line, a simpler calculation algorithm will suffice if there are three, which moreover, as in this example, coincide with the coordinates.

15 De onderlinge hoeken 20, 30 respectievelijk 40 tussen de Z-as en de X-as, de Z-as en de Y-as, respectievelijk de X-as en de Y-as zijn door de uitlijning bekend, ook indien deze, anders dan in dit voorbeeld, geen 90 graden zouden bedragen. Met de nu bekende gegevens, verkregen volgens de werkwijze van de uitvinding, is het moge-20 lijk om vervolgens op in het vakgebied bekende wijze een perspectief te berekenen van de in de afbeelding weergegeven kamer 1.The mutual angles 20, 30 and 40, respectively, between the Z-axis and the X-axis, the Z-axis and the Y-axis, respectively the X-axis and the Y-axis are known by the alignment, even if these, unlike in this example, would not be 90 degrees. With the data now known, obtained according to the method of the invention, it is possible to subsequently calculate a perspective of the chamber 1 shown in the figure in a manner known in the art.

Met behulp van dit eenmaal berekende perspectief is een 2D representatie van een driedimensionale voorwerp 10 (zie Figuur 2) op een op zichzelf (voor virtuele ruimtes) bekende wijze in de afbeel-25 ding geplaatst, waarbij de weergegeven afmetingen van het voorwerp 10 zijn afgestemd op de dimensies van de kamer 1. Daarbij wordt gebruik gemaakt van het voor het voorwerp bekende dimensies en/of oriëntatie. Anders gezegd, in wezen is ook aan het voorwerp een eigen assenstelsel toegekend. In geval van een database met voorwerpen zijn de as-30 senstelsel van de voorwerpen bij voorkeur op elkaar afgestemd (bijvoorbeeld met de lengterichting van een bank langs een Y-as) . Dit vergemakkelijkt het plaatsen van een voorwerp door een gebruiker.With the help of this once calculated perspective, a 2D representation of a three-dimensional object 10 (see Figure 2) is placed in the image in a manner known per se (for virtual spaces), the dimensions of the object 10 being shown being adjusted on the dimensions of the room 1. Use is made of the dimensions and / or orientation known for the object. In other words, the object is also assigned its own coordinate system. In the case of a database of objects, the axis system of the objects are preferably coordinated with each other (for example with the longitudinal direction of a bank along a Y-axis). This facilitates the placement of an object by a user.

Desgewenst wordt de gewenste oriëntatie door de gebruiker van de computer aangepast, in de praktijk meestal beperkt tot de rotatie-35 hoek om een draaiingsas parallel met de verticale coördinaat-as 6-7; het voorwerp 10 wordt in dit voorbeeld telkens door de computer op het bodemvlak geplaatst, dat wil zeggen het vlak gedefinieerd door de coördinaat-assen 6-8 en 6-9. De 2D representatie van het voorwerp is 9 een opaak deel in een transparante laag, welke vóór de 2D representatie van de kamer 1 wordt getoond.If desired, the desired orientation is adjusted by the user of the computer, in practice usually limited to the angle of rotation about an axis of rotation parallel to the vertical coordinate axis 6-7; in this example, the object 10 is each time placed on the bottom surface by the computer, i.e. the surface defined by the coordinate axes 6-8 and 6-9. The 2D representation of the object is an opaque part in a transparent layer, which is shown in front of the 2D representation of the chamber 1.

In de kamer 1 van Fig. 3 bevindt een gedeelte waar geen voorwerp 12 mag worden getoond, omdat zich op de afbeelding van de kamer 5 1 een vast voorwerp 11 bevindt, zoals een schouw of dergelijke. Over dit vaste voorwerp 11 is een deel van een voorwerp 12 op de afbeelding weergegeven.In the chamber 1 of FIG. 3 is a part where no object 12 may be shown, because on the image of the chamber 5 there is a fixed object 11, such as a fireplace or the like. Part of an object 12 is shown on this image over this fixed object 11.

Het computerprogramma dat de werkwijze volgens dit voorbeeld uitvoert, kan zodanig zijn ingericht dat in de ruimte te plaatsen 10 voorwerpen het voorwerp 11 niet kunnen snijden. Hiertoe wordt over het voorwerp 11 een masker 11' (onderbroken lijnen) geplaatst, dat na plaatsing transparant is zodat het zicht op het voorwerp 11 verder ongehinderd is. Het masker 11' kan ook (semi-)autonoom worden herkend, zoals gebruikt bij de bekende inpainting-techniek.The computer program that performs the method according to this example can be arranged such that objects to be placed in the space cannot cut the object 11. For this purpose a mask 11 '(broken lines) is placed over the object 11, which after placement is transparent so that the view of the object 11 is further unimpeded. The mask 11 'can also be recognized (semi-) autonomously, as used in the known painting technique.

15 Echter, wanneer een voorwerp 12 wordt aangebracht op de afbeel ding, zal een deel van het voorwerp 12 dat ter plaatse van het masker 11' wordt geplaatst, niet zichtbaar zijn, waardoor de illusie wordt gewekt dat het voorwerp 12 achter de schouw 11 is geplaatst. Dit is getoond in fig. 3.However, when an object 12 is applied to the image, a part of the object 12 that is placed at the location of the mask 11 'will not be visible, thereby creating the illusion that the object 12 is behind the chimney 11 placed. This is shown in fig. 3.

20 Figuur 4 toont tenslotte een computersysteem 100 waarop de werkwijze beschreven bij Figuren 1-3 is geïmplementeerd. Dit computersysteem 100 omvat onder andere een centrale verwerkingseenheid 102, een werkgeheugen 103, een invoer/uitvoer-interface 104, een bus-systeem 105 dat verschillende onderdelen verbindt en gegevensuitwis-25 seling tussen die onderdelen mogelijk maakt, en een beeldscherm 101 en een toetsenbord/muis-samenstel 106. Het werkgeheugen bevat programmacode die, wanneer deze op de computer 100 wordt uitgevoerd, door de centrale verwerkingseenheid 102, de in het voorbeeld bij Figuren 1-3 beschreven werkwijze mogelijk maakt.Figure 4 finally shows a computer system 100 on which the method described in Figures 1-3 is implemented. This computer system 100 comprises, among other things, a central processing unit 102, a working memory 103, an input / output interface 104, a bus system 105 that connects various components and enables data exchange between those components, and a display screen 101 and a keyboard / mouse assembly 106. The working memory contains program code which, when executed on the computer 100, by the central processing unit 102 enables the method described in the example in Figures 1-3.

30 De uitvinding is niet beperkt tot de beschreven en getoonde uitvoeringsvorm. Zo kunnen bijvoorbeeld voorwerpen worden geplaatst op een gekozen vlak evenwijdig aan het basisvlak, of zelfs onder een hoek daarmee. Ook kunnen er twee coördinatenstelsels worden aangebracht in de digitale perspectivische 2D representatie van de 3D 35 ruimte; dit is bijvoorbeeld zinvol indien die 3D ruimte een woonkamer is waarin drie wanden zichtbaar zijn, met twee overgangen van de ene wand naar de andere. Elk van de twee overgangen kan dan een coördinatenstelsel krijgen.The invention is not limited to the described and shown embodiment. For example, objects can be placed on a selected plane parallel to the base plane, or even at an angle therewith. Two coordinate systems can also be provided in the digital perspective 2D representation of the 3D space; this is useful, for example, if that 3D space is a living room in which three walls are visible, with two transitions from one wall to the other. Each of the two transitions can then have a coordinate system.

1 03 83 361 03 83 36

Claims

Method for showing a digital 2D representation of an object relative to a digital 2D representation of a 3D space shown, comprising the steps of: (a) putting in the working memory of a computer the digital 2D representation in perspective of the 3D space; (b) creating a digital 2D representation in perspective and to scale of the object based on an XYZ coordinate system of the 3D space, by placing and placing the object in its digital 2D representation 10 using the computer orient with respect to the XYZ coordinate system of the digital 2D representation of the 3D space and to scale based on dimensions of the 3D space; (c) displaying the created digital 2D representation of the object in the 3D space, using data presentation means such as a display, characterized in that step (a) comprises as sub-steps: (a1) it as the digital 2D representation of a 3D space in the working memory of a photographic image, whether or not processed, made with a camera, which digital 2D representation of the 3D space comprises at least: - two straight line segments with a known angle between them, straight line segments form part of a base plane, - a third line segment rising from the base plane, (a2) determining and bringing an XYZ coordinate system into working memory using the line segments, the origin of the XYZ coordinate system being located at the intersection of the two line sections in the base plane, (a3) selecting at least one reference line section in said digital photographic image and inputting at least the length of said at least one reference line piece.

Method according to claim 1, wherein applying a coordinate system comprises the following consecutive, interactive steps: - placing the XYZ coordinate system at a random or random location on the digital photographic image and with a random or non-random orientation with respect to the space and displaying the digital 2D representation of the 3D space with the XYZ coordinate system, and - translating the coordinate system and aligning the coordinate system through input means of the computer the directions of the three coordinate axes of the XYZ coordinate system on the three line segments shown in the photograph. 10

Method according to claim 2, characterized in that the 2D representation of the 3D space and the XYZ coordinate system are stored in separate representations of the same 2D plane.

Method according to one of the preceding claims, characterized in that the angles between the three line segments from step (a1) in the 3D space are each 90 degrees and these three line segments intersect at one point.

Method according to one of the preceding claims, characterized in that at least one reference line piece is located on one of the three coordinate axes.

6. Method according to one of the preceding claims, characterized in that the placement of the object takes place on a boundary surface of the space.

Method according to claim 5, characterized in that the boundary surface is a floor within a building or a bottom of a garden. 30

Method according to one of the preceding claims, characterized in that the base surface coincides with a boundary surface of the space.

Method according to one of the preceding claims, characterized in that the 2D representation of the 3D space is subjected to painting.

10. Digital storage medium with computer-readable instruction code, in execution of which instruction code by a computer performs the part of the operations to be performed by a computer of the interactive method according to one of the preceding claims.

11. Computer system comprising input means, output means, a central processing unit, as well as working memory comprising data storage means, and data presentation means, as well as instruction code stored in the data storage means, which instruction code is such that upon execution thereof the computer system exits it from a computer by a computer. performs part of the operations of the interactive method according to one of the preceding claims. 15

12. Server computer system comprising input means, output means, a central processing unit, as well as working memory comprising data storage means, and instruction code stored in the data storage means, which instruction code is such that upon execution thereof by the server computer system this server computer system comprises at least a part of the performs operations to be performed by a computer of the interactive method according to any of the preceding claims, as well as exchanging data with at least one client computer system, whether or not remote from the server computer system, which performs the relevant presentation operations. 1 03 83 36