WO2018110800A1 - 논리적 화면 표시장치 생성 시스템 및 방법 - Google Patents

논리적 화면 표시장치 생성 시스템 및 방법 Download PDF

Info

Publication number
WO2018110800A1
WO2018110800A1 PCT/KR2017/009907 KR2017009907W WO2018110800A1 WO 2018110800 A1 WO2018110800 A1 WO 2018110800A1 KR 2017009907 W KR2017009907 W KR 2017009907W WO 2018110800 A1 WO2018110800 A1 WO 2018110800A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen display
logical screen
display device
logical
area
Prior art date
Application number
PCT/KR2017/009907
Other languages
English (en)
French (fr)
Inventor
박종빈
정종진
임태범
김경원
금승우
문재원
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170086070A external-priority patent/KR101920323B1/ko
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2018110800A1 publication Critical patent/WO2018110800A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the present invention relates to a system and method for generating a logical display.
  • Conventional physical screen display technology uses a single screen display or a multi-vision system that combines these screen displays to expand the size and resolution of the screen to output content.
  • one or more projectors may be bundled to display desired content on any surface such as a wall, a ceiling, or a floor.
  • the number of physical screen displays is configured to be recognized as a plurality, but typically a single logical screen, to facilitate control and content playback.
  • the computer when a specific monitor is connected to a host computer using a connection cable such as HDMI, the computer receives the manufacturer, resolution information, etc. of the monitor, and searches for and writes a device driver through this, or installs a device driver if it is not found.
  • a logical screen display device By constructing a logical screen display device, it can be used as a screen display device.
  • a device such as a smart TV may use a technology such as UPNP, Bonjour, or DLNA to recognize a smart TV as a logical display device on a wired or wireless network, and to transmit and play content.
  • a technology such as UPNP, Bonjour, or DLNA to recognize a smart TV as a logical display device on a wired or wireless network, and to transmit and play content.
  • Such logical screen displays have typically corresponded directly to physical screen displays.
  • resolution of physical display devices has been enlarged to 4K, 8K, and 12K, even when walls or ceilings are used as screens, or when a large screen is formed by combining multiple projectors, a wide screen display can be used for various purposes.
  • problems began to emerge.
  • the display area of the screen display device is out of the viewing angle that the viewer can see at once.
  • the content is usually produced to be displayed within a critical viewing angle, but due to the wider display area, the existing content is displayed using only a part of the screen display device. There was a problem that the remaining areas were not available.
  • a projector displays content on a wall with a picture frame or calendar, or on an area where a complex or dark pattern is present locally, the content is intact due to irregular reflection, absorption, or scattering. It cannot be expressed.
  • a logical screen display device composed of logical screen display objects is generated through recognition of an object space or explicit manipulation of a user in consideration of characteristics and a display environment of a physical screen display device.
  • the present invention provides a logical screen display generating system and method for outputting content by using a logical screen display as an independent screen display.
  • a system for generating a logical screen display device is a communication module for receiving at least one content from at least one device, the content of the logical screen display device And a processor for executing a program stored in the memory.
  • the processor executes the program, an area of at least one logical screen display object is set for a two-dimensional or three-dimensional object space within the output range of the physical screen display device, and the Create one or more logical screen display devices for outputting the received content in an area, wherein the physical screen display device and the logical screen display object have a relationship of L to M (L, M ⁇ 1), and display the logical screen.
  • the object and the logical screen display have a mutual relationship of M to N (M, N ⁇ 1).
  • the physical screen display may include a direct display, a transparent and a reflective physical screen display.
  • the processor corresponds to each of the generated plurality of logical screen displays to a plurality of devices for use as an independent screen display device, and receives the contents from the plurality of devices through the communication module so as to correspond to the corresponding logical screen display devices.
  • Each can be output to
  • the processor groups the plurality of logical screen displays on the basis of a preset association, wherein the preset association is based on a performance relationship, a physical position relationship, and the like. It may be established based on one or more of the logical associations.
  • the processor corrects the received content so as to correspond to the generated logical screen display device, wherein the correction is to adjust the resolution of the image for the content, convert the geometric display form of the image, adjust the color, adjust the brightness, warp, and remove the noise. May include one or more of a de-aliasing operation and a three-dimensional transform.
  • the processor may automatically set an area of the logical screen display object based on information of the object space included in the background area content including at least one of an image and a video output to the physical screen display device.
  • a logical display can be created.
  • the processor detects a candidate area suitable as an area of the logical screen display object among the object spaces included in or not included in the background area content, and selects a candidate area of the candidate area that satisfies a predetermined condition from the logical screen display object.
  • the logical screen display device may be generated based on an area of the set logical screen display object, and the preset condition may include one or more of the shape, width, volume, and color of the object space.
  • An embodiment of the present invention further includes a sensing unit for photographing the object space, wherein the processor automatically generates the logical screen display by analyzing the information of the photographed object space, or the generated logical screen display device. Can be recommended to the user.
  • the processor may sense the change through the sensing unit and correct the area of the logical screen display object to correspond to the generated location and orientation.
  • the processor acquires coordinates regarding the position of the physical screen display device and the sensing unit, and respective internal and external parameters as the information for the correction, and based on the information for the correction, an area of the logical screen display object. You can correct it.
  • the processor may output the object space photographed by the sensing unit to the physical screen display device, and output the synthesized logical screen display device generated based on the information of the object space to the photographed object space. .
  • the method for generating a logical screen display device comprises the steps of setting an area of at least one logical screen display object for a two-dimensional or three-dimensional object space within the output range of the physical screen display device; Receiving one or more content from one or more devices; Generating at least one logical screen display device for outputting the received content in the set area of the logical screen display object; and outputting the received content to the logical screen display device.
  • the physical screen display device and the logical screen display object have a mutual relationship of L to M (L, M ⁇ 1), and the logical screen display object and the logical screen display device are M to N (M, N ⁇ 1). ) Has a mutual relationship.
  • any one of the above-described problem solving means of the present invention by extending the screen display area of the physical screen display to the object space, it is possible to generate any number of logical screen display having a variety of geometric shapes.
  • the generated logical screen displays may be recognized by other devices as independent screen displays on the network, and the devices may select logical screen displays such as a physical screen display to transmit and output contents.
  • the content can be corrected and synthesized according to the characteristics of the physical environment corresponding to the logical screen display device.
  • FIG. 1 is a block diagram illustrating a system for generating a logical screen display device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an area of an object space and a logical screen display object according to an embodiment of the present invention.
  • FIG. 3 is a diagram for describing contents of selecting an area of an appropriate logical screen display object among the object spaces included in the background area content.
  • FIG. 4 is a diagram for describing contents of selecting an area of an appropriate logical screen display object in an object space.
  • 5A to 5C are exemplary diagrams for describing a correlation between a logical screen display device, a physical screen display device, and a logical screen display object.
  • FIG. 6 is a view for explaining a sensing unit in an embodiment of the present invention.
  • FIG. 7 is a diagram for describing an example of generating a logical screen display apparatus using a sensing unit.
  • 8A to 8D are diagrams for describing a correction process in an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of generating a logical screen display device according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing an embodiment using a system and a method for generating a logical screen display device according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a system 100 for creating a logical screen display device according to an embodiment of the present invention.
  • the logical display device generating system 100 includes a communication module 110, a memory, and a processor 130.
  • the communication module 110 may transmit and receive data with one or more devices, and may receive one or more contents from the device.
  • the communication module 110 may include both a wired communication module and a wireless communication module.
  • the wired communication module may be implemented as a power line communication device, a telephone line communication device, a cable home (MoCA), an Ethernet, an IEEE1294, an integrated wired home network, and an RS-485 control device.
  • the wireless communication module may be implemented in the above-described UNB, WLAN (Wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, wireless USB technology and wireless HDMI technology.
  • the content may be received from a separate device, and in addition, the content may be directly provided through an internal local folder or a remote streaming.
  • the device according to the present invention is a laptop, desktop, laptop, etc. equipped with a web browser, or an intelligent terminal that adds computer support functions such as Internet communication and information retrieval to a portable terminal.
  • a web browser or an intelligent terminal that adds computer support functions such as Internet communication and information retrieval to a portable terminal.
  • the present invention may be implemented in the form of a TV linked with a broadcast service such as cable TV, IPTV, satellite broadcasting, over-the-air data broadcasting, DMB, and Internet broadcasting, and may also be a physical screen display device 200 to be described later.
  • a broadcast service such as cable TV, IPTV, satellite broadcasting, over-the-air data broadcasting, DMB, and Internet broadcasting
  • the memory 120 stores a program for outputting content to the logical screen display 300.
  • the memory 120 collectively refers to a nonvolatile storage device and a volatile storage device that maintain stored information even when power is not supplied.
  • the memory 120 may include a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a micro SD.
  • CF compact flash
  • SD secure digital
  • SSD solid-state drive
  • Micro SD Micro SD
  • Magnetic computer storage devices such as NAND flash memory such as cards, hard disk drives (HDDs), and optical disc drives such as CD-ROMs, DVD-ROMs, and the like. Can be.
  • the processor 130 executes a program stored in the memory 120.
  • the processor 130 sets an area of one or more logical screen display objects with respect to a two-dimensional or three-dimensional object space within the output range of the physical screen display device 200, and provides content to the area of the logical screen display object.
  • One or more logical screen display devices 300 are generated for output.
  • logical screen display device 300 by adding a function of the logical screen display device 300 to the physical screen display device 200, an arbitrary number of logical screen display devices 300 are created, and each of them is individually displayed. Can be discovered and made available to separate devices on the network.
  • the present invention is useful in a situation in which the content area to be displayed does not need to utilize the entire screen display area of the physical screen display device 200 or a physical screen display device supporting high resolution.
  • the screen display area may be an independent screen display device. There is a difference in that it can be used as a logical screen display 300 to perform a function as.
  • the physical screen display device 200 is a device for visually displaying data on a screen, and may include a direct display type, a transparent type, and a reflective type physical screen display device.
  • the physical screen display device 200 has an independent form, and means a physical device capable of displaying content by having a content delivery interface such as composite, component, DSub, DVI, HDMI, or display port.
  • screen display information is transmitted through the surface, such as PDP, LCD, and OLED, and the screen display area where the screen display information is physically expressed does not change.
  • screen display information is visually recognized in the screen display area.
  • the screen display area where the screen display information is physically expressed is not changed.
  • the texture of the background and the screen display information may be overlapped and visually recognized.
  • the screen display information may overlap and be visually recognized.
  • a physical screen display device in which a screen display information is reflected on the surface of an object to obtain information, such as a beam projection or a spectacle type physical display device through a translucent mirror.
  • the reflective physical screen display device also fixes a screen display area that is physically displayed if the screen display device and the object space do not move with each other. However, changes in the screen display device or the object space may lead to changes in the screen display area.
  • the screen display area may be visually recognized at the same time by overlapping with the screen display information according to the surface color, reflectance, and pattern of the object space.
  • the logical screen display object is a logical unit of a screen that receives, corrects, and displays contents, and may be displayed on the input contents and the physical screen display apparatuses 200, respectively.
  • the plurality of physical screen display devices 200 may correspond to one logical screen object, or one physical screen display device 200 may include a plurality of logical screen display objects.
  • Logical display objects include triangles, rectangles, convex polygons, concave polygons, 3D cylinders, 3D cubes, 3D cones, 3D spheres, It may include 3D information in the form of a point cloud, a 3D object composed of a mesh, and the like.
  • Two-dimensional or three-dimensional area information constituting the logical screen display object corresponds to the area of the logical screen display object.
  • an object space composed of local planes can be set as an area of a two-dimensional logical screen display object including triangles, squares, polygons, circles, and ellipses, and additionally, spatial distance information can be obtained. In this case, it may be set as a 3D region.
  • logical screen display objects may be classified into static and dynamic logical screen display objects.
  • the position of an object in the object space corresponding to the logical screen display object without changing various internal and external parameters including the position, direction, and focal length of the screen display device. It means a logical display object with no change in appearance.
  • the dynamic logical screen display object refers to a logical screen display object in which the position or shape of an object in the object space corresponding to the logical screen display object changes with time in the above-described state.
  • the logical screen display device 300 which is generated based on the area of the logical screen display object, serves as a physical screen display device in software, and the devices are generated by a separate software program through a predetermined process. It is possible to search and recognize the logical screen display device 300, to control functions, and to display content on the associated physical screen display device 200.
  • the logical screen display device 300 generated by the processor 130 may be recognized as an independent monitor in wired and wireless communication environments such as Ethernet, WiFi, and Bluetooth, and may transmit and receive screen information. It also has a built-in web server function to change settings or send and receive data.
  • the processor 130 may generate a grouped logical screen display device based on each preset relation.
  • the preset relation may include a performance relationship of the physical screen display device 200 or a physically adjacent or overlapping one another or the like. It may include the physical location relationship of.
  • the data structure may include a logical association such as a parent node and a child node like a tree structure.
  • Such preset information is preferably maintained as long as there is no separate change request, but is not necessarily limited thereto.
  • the area of the logical screen display object generated in one embodiment of the present invention may be automatically recognized by the processor 130 and generated and recommended by the logical display device 300, and may be logically set by a user's explicit setting.
  • An area of the screen display object may be formed and generated by the logical display device 300.
  • the logical screen display generation system 100 may be provided with a user interface (not shown) for selection input by explicit setting or recommendation of a user.
  • a user interface may set, for example, a screen area and a feature by accessing a network address for providing a function according to an embodiment of the present invention.
  • Such a user interface may be provided through a separate user device such as a mobile terminal, a PC, or the like, or may be implemented in various forms such as implemented as a separate program function when the present invention is mounted on a specific device or program.
  • FIG. 2 is a diagram illustrating an area of an object space and a logical screen display object according to an embodiment of the present invention.
  • the processor 130 may have arbitrary geometric shapes with respect to the object space A within the output range B of the physical screen display device 200 in consideration of the characteristics of the object space A.
  • the number of logical screen displays 300 may be generated and used as each independent screen display device.
  • the object space may be predetermined areas A1 and A2 in two dimensions or certain areas A3 in three dimensions.
  • the processor 130 may generate the logical screen display device 300 by selecting the objects A1 through A3 and setting the area of the logical screen display object.
  • the reflected light is absorbed and reflected according to the shape or characteristics of the surrounding objects, so that information different from the screen display information originally displayed is visually received by the viewer.
  • a screen display device including a transparent and reflective physical screen display device
  • the screen display information is provided to the viewer according to the position or shape of the object space.
  • a logical screen display device can be configured.
  • the conventional technology such as projection mapping uses a method of using an object surface area mapped to a reflective physical screen display device as a kind of screen display area.
  • a user manually configures a plurality of display areas. Had to set. As the number of these areas increases, the time required increases, and accordingly, the content production cost increases.
  • the system 100 for generating a logical screen display device is an area suitable for an area of a logical screen display object among object spaces included in content input as a thing space or a background area in order to solve the above-described problem. Can be screened, will be described with reference to FIGS. 3 and 4.
  • FIG. 3 is a diagram for describing contents of selecting an area of an appropriate logical screen display object among the object spaces included in the background area content.
  • FIG. 4 is a diagram for describing contents of selecting an area of an appropriate logical screen display object in an object space.
  • the processor 130 when the processor 130 receives the background area content P1 including one or more of an image and a video, the processor 130 may output the same to the physical screen display device 200. In this case, the processor 130 automatically generates an area (area 1, area 2) of the logical screen display object based on the information of the object space included in the background area content P1 ′ output to the physical screen display device 200.
  • the logical screen display device 300 may be generated based on the setting.
  • the processor 130 may detect a candidate area suitable as an area of the logical screen display object among the object spaces included in the background area content P1.
  • Conventional image processing techniques may be used to detect the candidate region, and for example, a method of detecting a contour region in the input image may be used. Through this, polygons, stereoscopic information, etc. existing in the image can be extracted, and the inclusion relation between the outlines can be calculated.
  • a feature value may be extracted for each outline region, and it is preferable that the feature value does not change as much as possible when the position, size, or rotation of the outline region in the image is changed. Typically, this is called an invariant, and the characteristic value may be described by calculating the moment, Hu Moment, and Zernike Moment. This will tell you the width, volume, shape, and degree of distortion.
  • the candidate region satisfying the predetermined condition among the candidate regions is extracted and set as the region of the logical screen display object. Can be created with).
  • the preset condition may include one or more of the shape, width, volume, and color of the object space included in the background area content, thereby limiting the shape of the logical screen display device 300.
  • the processor 130 detects a candidate area suitable as an area of a logical screen display object for not only an object space included in the background area but also an object space not included in the background area, and then displays a logical screen.
  • the display device 300 may be generated.
  • 'region 1 (R1)' is a bright color and is located behind the other areas, so it can be regarded as a background area with many hidden parts.
  • 'Area 2 (R2)' is a bright color and is not covered by other areas
  • 'Area 3 (R3)' is a bright color and is inclined at an angle
  • region 3 (R3)" may be a movable region.
  • R4' 'Range 4 (R4)' is bright and has no hidden parts, but has rounded corners.
  • R5' is a region that has its own color on the surface and has some reflection characteristics and is not obscured, and can be regarded as a polyhedron described by three-dimensional information rather than a planar form.
  • Area 6 can be thought of as a polyhedron described as three-dimensional information without any obscured parts, but due to its dark surface, it reflects the information expressed by absorbing light at a high rate in a reflective screen display such as a projector. It can be seen as an area that is estimated to be hard to confirm completely.
  • 'region 7 (R7)' is a bright cylindrical three-dimensional region.
  • the object space is classified into whether the surface of the object is moving, the brightness of the surface, the presence or absence of a surface pattern, the presence or absence of an obstruction by another object or pattern, whether it is a plane or a solid, and whether a simple parameter region can be described. can do.
  • region 6 (R6) is a region that is not suitable as a screen display device due to the light absorption properties.
  • 'Area 3 (R3)' is an area capable of being the logical screen display device 300, but is covered by 'area 7 (R7)' and thus needs to be corrected.
  • 'region 3 (R3)' corresponds to a dynamic region that can move with time, correction processing for this is also necessary.
  • the area below the threshold size may not be suitable as the logical screen display device 300 because the area of the screen display device is very narrow. For example, in the case of being formed long in the horizontal or vertical direction, it is not suitable for the logical screen display 300 because it is difficult to express normal content.
  • meshes such as triangular arbitrary rectangles, polygons in convex shape, polygons in concave shape, 3D cylinder, 3D cube, 3D cone, 3D sphere, etc.
  • various forms that may be represented as may be applied to the logical screen display device 300.
  • Such an object space generally corresponds to a general living space, but when used as a unique screen display area, it can provide a media environment with high immersion.
  • projection mapping, media facade technology, and the like exist.
  • there is a difference from the present invention in that there is a problem that a human must work manually in the process of creating content to determine such a screen display area.
  • the logical display device generating system 100 applies a preset condition to a general object space included in the background area or not the background area, and detects a suitable candidate area or a candidate that is not suitable. The area can be removed.
  • the logical screen display device 300 may have a physical relationship between the physical screen display device 200 and the logical screen display object L to M (L, M ⁇ 1).
  • the logical screen display object and the logical screen display device 300 may have a mutual relationship of M to N (M, N ⁇ 1).
  • M M, N ⁇ 1
  • the relationship between the logical screen display device 300, the physical screen display device 200, and the logical screen display object will be described in detail with reference to FIGS. 5A to 5C.
  • 5A through 5C are exemplary diagrams for describing a correlation between the logical screen display 300, the physical screen display 200, and a logical screen display object.
  • the system 100 for generating a logical screen display device analyzes a feature of the detected logical screen display object and automatically configures a single or multiple logical screen display devices 300 or via an external interface.
  • the logical screen display device 300 may be generated through a predetermined procedure.
  • N logical screen display devices 300-1 to 300 -N that receive and output content may need to be corrected for each of the N logical screen display objects a1 to aM. And have a mutual relationship of 1: 1. These logical screen display objects a1 to aM may be output through a single physical screen display device 200.
  • the N logical screen display devices 300-1 to 300 -N which receive and output content, have a one-to-many relationship with M logical screen display objects a1 to aM, respectively. Can be.
  • the 'logical screen display device 1' 300-1 may correspond to one logical screen display object a1
  • the 'logical screen display device 2' 300-2 may correspond to three logical screen display objects ( a2 to a4)
  • the logical screen display device N 300 -N may correspond to one logical screen display object aM.
  • the logical screen display objects a1 to aM may be output through the single physical screen display device 200.
  • the N logical screen display devices 300-1 to 300 -N and M logical screen display objects a1 to cM that receive and output content may have many-to-many relationships. Can be.
  • the 'logical screen display device 1' 300-1 may correspond to three logical screen display objects a1, a2, and b1, and the 'logical screen display device 2' 300-2 may have three logical screen displays.
  • the screen display objects aM, bM, and c1 may correspond to each other, and the logical screen display device N 300 -N may correspond to two logical screen display objects bM and cM.
  • the logical screen display objects a1 to cM may be output through the plurality of physical screen display devices 200-1 to 200 -K. That is, the logical screen display objects 'a1 to aM' may be output to the 'physical screen display device 1' 200-1, and the logical screen display objects 'b1 to bM' may be displayed as the 'physical screen display device 2' (200-). 2), the logical screen display objects 'c1 to cM' may be output to the 'physical screen display device K' (200-K).
  • an embodiment of the present invention has an advantage in that various configurations can be provided according to a mutual relationship between the logical screen display 300, the physical screen display 200, and the logical screen display object.
  • the same physical screen display apparatus may be used, and the direct display type, the transparent type, and the reflective type may be combined with each other.
  • the processor 130 may correct the content so that the received content corresponds to the logical screen display 300 as described above. have.
  • the processor 130 removes the resolution of the image for the content, the geometric shape of the image, color, brightness, warping, and noise. , One or more of an anti-aliasing operation and a three-dimensional transform.
  • a high resolution image can be resized to a low resolution image or a low resolution image to a high resolution image, and a process of converting a rectangular image into a parallelogram, a trapezoid, and an arbitrary quadrangle can also be performed.
  • the logical screen display device generation system 100 may further include a sensing unit 140 for obtaining information of the object space.
  • FIG. 6 is a view for explaining the sensing unit 140 in an embodiment of the present invention.
  • FIG. 7 is a diagram for describing an example of generating the logical screen display device 300 using the sensing unit 140.
  • the sensing unit 140 converts light of various spectra into an image, or an image collecting device such as a general camera, a stereo camera, a depth camera, or the like that collects depth values from an observation point to an object, It may be composed of a single or a plurality of various sensors, by using the sensing information including the image, depth map, brightness information collected through the input information, by detecting the characteristic area of the object space (A) of the object space ( Can be obtained with the information of A).
  • an image collecting device such as a general camera, a stereo camera, a depth camera, or the like that collects depth values from an observation point to an object
  • It may be composed of a single or a plurality of various sensors, by using the sensing information including the image, depth map, brightness information collected through the input information, by detecting the characteristic area of the object space (A) of the object space ( Can be obtained with the information of A).
  • the processor 130 analyzes the logical screen display object based on the information of the object space A, and automatically combines a single or multiple logical screen display device 300 accordingly. Or generate the recommended logical screen display device 300 to the user.
  • the processor 130 may display four logical screen display objects R2 based on the information of the object space A sensed by the sensing unit 140. It is assumed that R3, R5, and R7 may be recognized, and four logical screen displays 300-R2, 300-R3, 300-R5, and 300-R7 are configured based on this.
  • the display device 300 is synthesized to be output to the physical screen display device 200 by correcting it according to the characteristics of the display devices 300-R2, 300-R3, 300-R5, and 300-R7. If corrected and synthesized normally, the result of the synthesis is transmitted to the physical screen display device 200 such as a projector, and the content is output by being mapped with the position of the object space A.
  • one content C2 is output to the logical screen display devices 300-R2 corresponding to the area R2 of the rectangular logical screen display object, and the cube-shaped logical screen display object is displayed.
  • Three contents C1 to C3 may be output to the logical screen display devices 300 to R5 corresponding to the area R5.
  • 8A to 8D are diagrams for describing a correction process in an embodiment of the present invention.
  • the logical screen display generation system 100 generates a change in the physical location and orientation of the object space A, and thus is expressed in the physical screen display device 200.
  • the processor 130 may sense the change through the sensing unit 140 and correct the area of the logical screen display object to correspond to the generated position and direction.
  • the processor 130 may acquire the coordinates of the positions of the physical screen display device 200 and the sensing unit 140 or the respective internal and external parameters as information for correction.
  • the area of the logical screen display object can be corrected based on the above.
  • one embodiment of the present invention corrects both the physical location information between the sensing unit 140, such as a camera, and the physical screen display device 200, or the physical location information is not given as shown in FIG. 8B. Can be done.
  • a camera is illustrated as an example of the sensing unit 140
  • a projector is illustrated as the physical screen display 200
  • a geometric relationship between the camera and the physical screen display 200 is illustrated.
  • the camera and the physical screen display device 200 may be represented by independent coordinate systems Xc, Yc, Zc, Xp, Yp, and Zp, respectively, and may be converted into respective coordinate systems through a geometric transform process. It may be.
  • it may describe an image displayed by the projector from the perspective of the camera's coordinate system, or may describe an image acquired by the camera from the perspective of the projector's coordinate system, and may be described by a third coordinate system such as the world coordinate system (X, Y, Z). Each may be described.
  • a third coordinate system such as the world coordinate system (X, Y, Z).
  • the processor 130 converts the coordinates to match them. And correct the content according to the coordinate-converted screen display area.
  • the processor 130 may include internal parameters such as focal length and distortion of the sensing unit 140, such as a camera, and the physical screen display 200, and positions and directions.
  • the correction may match the region of the object space as shown in FIG. 8A with the display region displayed on the physical screen display 200.
  • a predefined structured pattern image may be displayed on the physical screen display 200 to improve information for correction.
  • an embodiment of the present invention repeatedly acquires an image by using a sensing unit 140 such as a camera without finding a geometric parameter directly,
  • the display area can be corrected in a direction in which the space and the display area are inconsistent with each other.
  • the candidate region is detected from the sensing information acquired through the sensing unit 140 (S11).
  • the detection of the candidate area A ' may use a method of detecting a contour area as illustrated in FIG. 8D. Through this, it is possible to extract polygons, stereoscopic information, etc. existing in the image, and to calculate the inclusion relation between the outlines.
  • a feature value may be extracted for each outline region, and the feature value is preferably not changed even when the position of the outline region is changed, changed in size, or rotated in the image. Typically, this is called an invariant, and the feature value may be described by calculating the moment, Hu Moment, and Zernike Moment. This will tell you the width, volume, shape, and degree of distortion.
  • the candidate region is described as a feature value such as a moment or histogram
  • the shape of the object such as a triangle or a rectangle
  • the characteristics such as the width, volume, and color that appear in the image information
  • the next detected candidate areas are displayed on the display area B of the physical screen display device 200 (S12). Accordingly, when the candidate areas are displayed on the screen, the sensing information is displayed in the object space (A). ) Is obtained by superimposing the presentation information on the candidate area.
  • a discrepancy value between the information in the object space and the presentation information on the candidate area may be calculated (S13), and the discrepancy value is selected as the primary candidate area when the threshold value is within the threshold value (S14) (S16). ).
  • the logical screen display device 300 may be generated and configured by calculating color, brightness, size, shape, and the like for the primary candidate area (S17) to remove the unsuitable candidate area (S18).
  • the removal of the unsuitable candidate region may limit the shape of the logical screen display 300 by selectively extracting objects that meet the conditions, such as the shape, width, volume, and color of a predefined object.
  • the candidate area is corrected (S15), and displayed again on the physical screen display device 200 to perform the process of calculating the inconsistency value and comparing it with the threshold value again.
  • This process may be performed by a predetermined number of repetitions, and if the number of repetitions is exceeded, the corresponding object may be excluded from the candidate object.
  • FIG. 1 may be implemented in software or hardware form such as a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and perform predetermined roles. can do.
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • 'components' are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • a component may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and subs. Routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • Components and the functionality provided within those components may be combined into a smaller number of components or further separated into additional components.
  • FIG. 9 is a flowchart illustrating a method of generating a logical screen display device according to an embodiment of the present invention.
  • an area of one or more logical screen display objects is set for a two-dimensional or three-dimensional object space (S110).
  • At least one content is received from at least one device (S120), and at least one logical screen display device 300 for outputting the received content to the area of the set logical screen display object is generated (S130).
  • the received content is output to the logical screen display device 300 (S140).
  • the physical screen display device 300 and the logical screen display object have a mutual relationship of L versus M (L, M ⁇ 1), and the logical screen display object and the logical screen display device 300 Has a correlation of M to N (M, N ⁇ 1).
  • steps S110 to S140 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention.
  • some steps may be omitted as necessary, and the order between the steps may be changed.
  • the contents already described with respect to the logical screen display generating system 100 of FIGS. 1 to 8 may be applied to the method for generating the logical screen display of FIG. 9.
  • FIG. 10 is a diagram for describing an embodiment using a system 100 and a method for generating a logical screen display device according to an embodiment of the present invention.
  • the presenter when the presenter presents a seminar in front of a large TV using the physical screen display device 200, the presenter outputs 'presentation material 1' (Ca) on the physical screen display device 200 as content and proceeds with the presentation. Doing.
  • 'Presentation 1' occupies the entire screen of the physical screen display device 200, and the audience 1 is sharing the 'related video' (Cb) as the content while listening to the presentation.
  • the size of the logical screen display device 300 on which the 'presentation material 1' (Ca) is outputted is reduced and the new logical screen display device 300 for the 'related video' Cb is displayed.
  • the seminar participants e.g., 'Presentation 1' (Ca) occupies the entire screen of the physical screen display device 200, and the audience 1 is sharing the 'related video' (Cb) as the content while listening to the presentation.
  • the size of the logical screen display device 300 on which the 'presentation material 1' (Ca) is outputted is reduced and the new logical screen display device 300 for the 'related video' Cb is displayed.
  • the audience 2 may output the "relevant web page" (Cc) as content through the new logical screen display (300).
  • the logical screen display device 300 on which 'related web page' (Cc) is output may partially cover 'presentation material 1' (Ca).
  • the logical screen display 300 may be generated to partially cover the screen.
  • the related web page (Cc) of the audience 2 is shown, and then the corresponding logical screen display 300 is deleted.
  • one embodiment of the present invention has the advantage that the logical screen display device 300 can be added, deleted, and combined dynamically.
  • the plurality of logical screen displays 300 generated for the processor 130 to use as independent screen displays may correspond to the plurality of devices, and the communication module 110 Through the content can be received from a plurality of devices through the logical screen display 300, respectively.
  • the screen display area is typically assumed to have a rectangular shape, and the user may set the screen display area with a limited shape and position.
  • any number of logical screen display devices 300 having various geometric shapes can be generated. have.
  • the remaining area of the physical screen display device 200 is changed to another independent screen display device. It has the advantage of being available.
  • the generated logical screen displays 200 may be recognized as independent screen displays by other devices on the network, and the devices may select the logical screen displays 300 such as the physical screen display 200 to display contents. Can be sent and output.
  • the content may be corrected and synthesized according to the characteristics of the physical environment corresponding to the logical screen display device 300.
  • the logical screen display device 300 can be generated according to the characteristics and shapes of the real object space, it is possible to construct a media playback environment having a high practical sense.
  • Such an embodiment of the present invention may be used for various purposes such as performances, advertisements, schedule displays, and the like by easily utilizing various kinds of screen display terminals (LCD, LED, projector, etc.) to which the audience comes in contact with information.
  • screen display terminals LCD, LED, projector, etc.
  • a comprehensively controlled screen can be configured, and contents can be corrected to provide various services.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 따른 논리적 화면 표시장치를 생성하는 시스템은 하나 이상의 콘텐츠를 하나 이상의 디바이스로부터 수신하는 통신모듈, 상기 콘텐츠를 상기 논리적 화면 표시장치에 출력시키기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하되, 상기 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는다.

Description

논리적 화면 표시장치 생성 시스템 및 방법
본 발명은 논리적 화면 표시장치 생성 시스템 및 방법에 관한 것이다.
종래의 물리적 화면 표시장치를 이용하는 기술은 단일의 화면 표시장치나, 이러한 화면 표시장치들을 묶어서 화면의 크기와 해상도를 확장시키는 멀티비전 시스템을 이용하여 콘텐츠를 출력시켰다. 또는 1개 이상의 프로젝터를 묶어서 벽, 천장, 바닥과 같은 임의의 표면에 원하는 콘텐츠를 표출시키는 등의 방법을 이용하였다.
이러한 종래 기술의 경우 물리적인 화면 표시장치의 수는 복수 개이나 통상적으로 단일한 논리적 화면 표시장치로 인식하도록 구성되어 제어 및 콘텐츠 재생이 용이하였다.
예를 들어, 특정 모니터를 HDMI와 같은 연결선을 이용하여 호스트 컴퓨터에 연결하면, 컴퓨터는 모니터의 제조사, 해상도 정보 등을 전달받고, 이를 통해 디바이스 드라이버를 검색하여 쓰거나 검색되지 않은 경우 디바이스 드라이버를 설치하여 논리적 화면 표시장치를 구성함으로써 화면 표시장치로 사용할 수 있도록 하였다.
또 다른 예로, 스마트 TV와 같은 장치는 UPNP, 봉주르, DLNA 등의 기술을 적용하여 유선 또는 무선의 네트워크 상에서 논리적 화면 표시장치로 스마트 TV를 인식할 수 있게 하고, 콘텐츠를 전송하여 재생할 수 있도록 하였다.
이러한 논리적 화면 표시장치는 통상적으로 물리적 화면 표시장치들과 직접 대응되었다. 그러나 물리적 화면 표시장치의 해상도가 4K, 8K, 12K로 대형화되었고, 심지어 벽이나 천장을 화면으로 구성하거나, 다수의 프로젝터를 조합하여 대형 스크린을 구성하는 경우, 넓은 화면 표시장치를 다양한 용도로 사용할 수 있게 됨과 동시에 문제점들이 대두되기 시작하였다.
즉, 화면 표시장치의 해상도가 높아지고, 크기가 상하좌우로 확장되면서 화면 표시장치의 표시영역이 시청자가 한 번에 볼 수 있는 시청 각도를 벗어나게 되는 문제가 있었다. 예를 들어, IMAX 영화나 파노라마 영화와 같은 고해상도 콘텐츠를 제외하면 통상적으로 콘텐츠는 임계 시청 각도 안에서 표출되도록 제작되나, 넓어진 표시영역으로 인해 기존의 콘텐츠들은 화면 표시장치의 일부만을 사용하여 표출하게 되고, 나머지 영역들은 이용하지 못하게 되는 문제가 있었다.
또한, 다양한 화면 표시환경의 등장과 함께, 프로젝터와 같은 물리적 화면 표시장치를 사용하는 시스템에서는 화면 표시공간과 표출되는 물리적 공간과의 부조화 문제가 발생할 수 있다.
예를 들어, 액자나 달력 등이 걸려있는 벽, 또는 복잡하거나 어두운 패턴이 국부적으로 존재하는 영역에 프로젝터로 콘텐츠를 표출하게 되면, 일정하지 않은 빛의 반사, 흡수, 산란 등의 문제로 콘텐츠는 온전히 표출될 수 없게 된다.
또한, 표출하는 영역에 TV나 모니터와 같은 다른 형태의 물리적 화면 표시장치가 존재하는 경우 콘텐츠가 서로 겹쳐서 표시되는 문제가 발생하게 된다.
이와 같이 고해상도를 가지며 다수의 물리적 화면 표시장치들이 결합된 화면 표시 환경에서 상술한 문제점들을 해소하기 위한 기술 개발이 필요한 실정이다.
본 발명의 실시예는 물리적 화면 표시장치의 특징 및 표시환경을 고려하여, 사물공간의 인지 또는 사용자의 명시적 조작을 통해 논리적 화면 표시객체로 구성되는 논리적 화면 표시장치를 생성하고, 이와 같이 생성된 논리적 화면 표시장치를 독립적인 화면 표시장치로 이용하여 콘텐츠를 출력시킬 수 있는 논리적 화면 표시장치 생성 시스템 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 논리적 화면 표시장치를 생성하는 시스템은 하나 이상의 콘텐츠를 하나 이상의 디바이스로부터 수신하는 통신모듈, 상기 콘텐츠를 상기 논리적 화면 표시장치에 출력시키기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하되, 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는다.
상기 물리적 화면 표시장치는 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함할 수 있다.
상기 프로세서는 독립적인 화면 표시장치로 이용하기 위하여 상기 생성된 복수의 논리적 화면 표시장치를 복수의 디바이스에 각각 대응시키고, 상기 통신모듈을 통해 복수의 디바이스로부터 콘텐츠를 수신하여 상기 대응되는 논리적 화면 표시장치에 각각 출력시킬 수 있다.
상기 프로세서는 상기 논리적 화면 표시장치가 복수 개인 경우, 기 설정된 연관관계에 기초하여 상기 복수 개의 논리적 화면 표시장치를 그룹화하되, 상기 기 설정된 연관관계는 상기 물리적 화면 표시장치의 성능관계, 물리적 위치관계 및 논리적 연관관계 중 하나 이상에 기초하여 설정될 수 있다.
상기 프로세서는 상기 수신한 콘텐츠를 상기 생성된 논리적 화면 표시장치에 대응되도록 보정하되, 상기 보정은 상기 콘텐츠에 대한 영상의 해상도 조절, 영상의 기하학적 표시 형태 변환, 색상 조절, 밝기 조절, 워핑, 노이즈 제거, 엘리어싱 제거 연산 및 3차원 변환 중 하나 이상을 포함할 수 있다.
상기 프로세서는 상기 물리적 화면 표시장치에 출력된 이미지 및 동영상 중 하나 이상을 포함하는 배경영역 콘텐츠에 포함된 사물공간의 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 자동으로 설정하고, 이에 기초하여 상기 논리적 화면 표시장치를 생성할 수 있다.
상기 프로세서는 상기 배경영역 콘텐츠에 포함되거나 포함되지 않은 사물공간 중 상기 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하고, 상기 후보영역 중 기 설정된 조건을 만족하는 후보영역을 상기 논리적 화면 표시객체의 영역으로 설정하며, 상기 설정된 논리적 화면 표시객체의 영역에 기초하여 상기 논리적 화면 표시장치를 생성하되, 상기 기 설정된 조건은 상기 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함할 수 있다.
본 발명의 일 실시예는 상기 사물공간을 촬영하는 센싱부를 더 포함하되, 상기 프로세서는 상기 촬영된 사물공간의 정보를 분석하여 자동으로 상기 논리적 화면 표시장치를 생성하거나, 상기 생성된 논리적 화면 표시장치를 사용자에게 추천할 수 있다.
상기 사물공간의 물리적 위치 및 방향에 변화가 발생한 경우, 상기 프로세서는 상기 센싱부를 통해 상기 변화를 감지하여 상기 발생된 위치 및 방향에 대응하도록 상기 논리적 화면 표시객체의 영역을 보정할 수 있다.
상기 프로세서는 상기 물리적 화면 표시장치 및 상기 센싱부의 위치에 관한 좌표나, 각각의 내부 및 외부 파라미터를 상기 보정을 위한 정보로 획득하고, 상기 보정을 위한 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 보정할 수 있다.
상기 프로세서는 상기 센싱부에 의해 촬영된 상기 사물공간을 상기 물리적 화면 표시장치에 출력시키되, 상기 사물공간의 정보에 기초하여 생성된 논리적 화면 표시장치를 상기 촬영된 사물공간에 합성하여 출력시킬 수 있다.
또한, 본 발명의 제 2 측면에 따른 논리적 화면 표시장치를 생성하는 방법은 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하는 단계; 하나 이상의 디바이스로부터 하나 이상의 콘텐츠를 수신하는 단계; 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하는 단계 및 상기 논리적 화면 표시장치에 상기 수신한 콘텐츠를 출력시키는 단계를 포함한다. 이때, 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 물리적 화면 표시장치의 화면 표시영역을 사물공간으로 확장시킴으로써, 다양한 기하학적 형태를 갖는 임의의 개수의 논리적 화면 표시장치를 생성할 수 있다.
또한, 생성된 논리적 화면 표시장치들을 네트워크 상에서 다른 디바이스들이 독립적인 화면 표시장치로 인식할 수 있으며, 디바이스들이 물리적 화면 표시장치와 같이 논리적 화면 표시장치들을 선택하여 콘텐츠 전송하여 출력되도록 할 수 있다.
또한, 논리적 화면 표시장치에 대응하는 물리적 환경의 특성에 따라 콘텐츠를 보정 및 합성도 가능하다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 논리적 화면 표시장치를 생성하는 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에서 사물공간 및 논리적 화면 표시객체의 영역을 설명하기 위한 도면이다.
도 3은 배경영역 콘텐츠에 포함된 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다.
도 4는 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 논리적 화면 표시장치, 물리적 화면 표시장치 및 논리적 화면 표시 객체의 상호 관계를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에서의 센싱부를 설명하기 위한 도면이다. 도 7은 센싱부를 이용하여 논리적 화면 표시장치를 생성하는 예시를 설명하기 위한 도면이다.
도 8a 내지 도 8d는 본 발명의 일 실시예에서의 보정 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 방법의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템 및 방법을 이용하는 실시예를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 논리적 화면 표시장치를 생성하는 시스템(100)을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 통신모듈(110), 메모리 및 프로세서(130)를 포함한다.
통신모듈(110)은 하나 이상의 디바이스와 데이터를 송수신할 수 있으며, 디바이스로부터 하나 이상의 콘텐츠를 수신할 수 있다.
여기에서, 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 상술한 UNB, WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
한편, 본 발명의 일 실시예에서 콘텐츠는 별도의 디바이스로부터 수신할 수도 있고, 이와 더불어 내부 로컬 폴더나 원격 스트리밍을 통해 직접 콘텐츠를 제공받을 수도 있음은 물론이다.
한편, 본 발명에서의 디바이스는, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등이나, 휴대용 단말기에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기로서, 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 휴대폰, 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, 기타 이동통신 단말 등일 수 있다.
뿐만 아니라, 케이블 TV, IPTV, 위성 방송, 공중파 데이터 방송, DMB, 인터넷 방송 등 방송 서비스와 연동되는 TV 형태로 구현될 수 있으며, 후술하는 물리적 화면 표시장치(200)일 수도 있다.
메모리(120)에는 콘텐츠를 논리적 화면 표시장치(300)에 출력시키기 위한 프로그램이 저장된다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다.
구체적으로 프로세서(130)는 물리적 화면 표시장치(200)의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 설정된 논리적 화면 표시객체의 영역에 콘텐츠를 출력시키기 위한 하나 이상의 논리적 화면 표시장치(300)를 생성한다.
즉, 본 발명의 일 실시예는 물리적 화면 표시장치(200)에 대하여 논리적 화면 표시장치(300)의 기능을 추가함으로써, 임의의 개수의 논리적 화면 표시장치(300)를 만들어 이를 각각 개별적인 화면 표시장치로 인식하게 하고, 네트워크 상에서 별개의 디바이스들이 검색 및 이용할 수 있게끔 할 수 있다.
이러한 본 발명은 표출해야 할 콘텐츠 영역이 물리적 화면 표시장치(200)의 화면 표시영역 전체를 활용할 필요가 없는 상황이나, 고해상도를 지원하는 물리적 화면 표시장치에서 유용하다.
즉, 종래의 PIP(Picture In Picture) 기능이나, 프로젝션 매핑과 같은 기술에서도 다수의 영역을 분할하여 서로 다른 콘텐츠를 표출할 수 있었으나, 본 발명의 일 실시예의 경우 화면 표시영역을 독립적인 화면 표시장치로서의 기능을 수행하는 논리적 화면 표시장치(300)로 이용 가능하다는 점에서 차이가 있다.
이때, 물리적 화면 표시장치(200)는 데이터를 시각적으로 화면에 표시하는 장치로써, 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함할 수 있다. 이러한 물리적 화면 표시장치(200)는 독립적인 형태를 가지며, composite, component, DSub, DVI, HDMI나 Display port와 같은 콘텐츠 전달 인터페이스를 구비하여 콘텐츠를 표시할 수 있는 물리적 장치를 의미한다.
예를 들어, 직접 표출형 물리적 화면 표시장치의 경우, PDP, LCD, OLED와 같이 화면 표시정보가 표면으로 투과되어 나오는 형태로서, 화면 표시정보가 물리적으로 표출되는 화면 표시영역은 변하지 않는다. 또한, 화면 표시영역에는 화면 표시정보만이 시각적으로 인지된다.
투명형 물리적 화면 표시장치의 경우, 평상시에는 유리처럼 배경이 보일 정도의 투과율을 지닌 매질이지만, 박막 트랜지스터 등을 매질에 삽입하여 제어를 통해 화면 표시정보가 해당 매질에 표시될 수 있게 하는 물리적 장치를 의미한다. 이러한 투명형 물리적 화면 표시장치는 화면 표시정보가 물리적으로 최종 표출되는 화면 표시영역은 변하지 않는다. 그러나 화면 표시영역에는 배경의 텍스처와 화면 표시정보가 중첩되어 동시에 시각적으로 인지될 수 있다. 또한, 관측자와의 상대적인 위치나 방향이 변하는 경우에도 화면 표시정보가 중첩되어 시각적으로 인지될 수 있다.
반사형 물리적 화면 표시장치의 경우, 빔 프로젝션이나 반투명 거울을 통한 안경 방식의 물리적 화면 표시장치와 같이 화면 표시정보가 물체의 표면에 반사되어 정보를 획득할 수 있게 하는 형태의 물리적 화면 표시장치를 말한다.
이러한 반사형 물리적 화면 표시장치는 화면 표시장치와 사물공간이 서로 움직이지 않는다면 물리적으로 표출되는 화면 표시영역도 고정된다. 하지만 화면 표시장치나 사물공간의 변화는 화면 표시영역의 변화로 이어지게 된다.
또한, 화면 표시영역에는 사물공간의 표면 색상, 반사율, 무늬 등에 따라 화면 표시정보와 상호 중첩되어 시각적으로 동시에 인지될 수 있다.
한편, 논리적 화면 표시객체는 콘텐츠를 입력받아 보정하고 표출하는 화면의 논리적인 단위로써, 입력 콘텐츠들 및 물리적 화면 표시장치(200)들에 각각 표출될 수 있다. 예를 들어, 다수 개의 물리적 화면 표시장치(200)들이 하나의 논리적 화면 객체에 대응하거나 한 개의 물리적 화면 표시장치(200)가 다수 개의 논리적 화면 표시 객체로 이루어질 수 있다. 논리적 화면 표시객체는 삼각형, 사각형, 컨벡스(Convex) 형태의 다각형, 컨케이브(Concave) 형태의 다각형, 3D 실린더(Cylinder), 3D 큐브(Cube), 3D 원뿔(Cone), 3D 구(Sphere), 포인트 클라우드(Point Cloud) 형태의 3차원 정보, 메쉬(Mesh)로 구성된 3D 객체 등을 포함할 수 있다.
이러한 논리적 화면 표시객체를 구성하는 2차원 또는 3차원 영역 정보가 논리적 화면 표시객체의 영역에 해당한다. 예를 들어, 국부적인 평면들로 구성된 사물공간은 삼각형, 사각형, 다각형, 원, 타원을 포함하는 2차원 논리적 화면 표시객체의 영역으로 설정할 수 있으며, 여기에 부가적으로 공간상의 거리 정보까지 획득 가능한 경우 3차원 영역으로 설정될 수 있다.
이때, 논리적 화면 표시객체의 경우 정적 및 동적 논리적 화면 표시객체로 구분될 수 있다.
정적 논리적 화면 표시객체의 경우 화면 표시장치의 위치, 방향, 초점거리를 포함하는 여러가지 내부 파라미터 및 외부 파라미터의 변경이 없는 상태에서, 시간에 따라 논리적 화면 표시객체에 대응하는 사물공간의 물체의 위치나 모양에 변화가 없는 논리적 화면 표시객체를 의미한다.
그리고 동적 논리적 화면 표시객체의 경우 상술한 상태에서 시간에 따라 논리적 화면 표시객체에 대응하는 사물공간의 물체의 위치나 모양에 변화가 발생하는 논리적 화면 표시객체를 의미한다.
이러한 논리적 화면 표시객체의 영역에 기초하여 생성되는 논리적 화면 표시장치(300)는 소프트웨어적으로 물리적 화면 표시장치의 역할을 하기 위한 것으로써, 소정의 과정을 통해 디바이스들이 별도의 소프트웨어 프로그램을 통해 상기 생성된 논리적 화면 표시장치(300)를 검색 및 인식할 수 있고, 기능 제어도 가능하며, 연관된 물리적 화면 표시장치(200)에 콘텐츠를 표출할 수 있도록 할 수 있다.
즉, 프로세서(130)에 의해 생성된 논리적 화면 표시장치(300)는 이더넷, WiFi, 블루투스와 같은 유무선통신 환경에서 각각 독립적인 모니터처럼 인식되게 하고, 화면 정보를 송수신할 수 있도록 할 수 있다. 또한, 자체 웹 서버 기능을 내장하여 설정을 변경하거나 데이터를 송수신할 수 있다.
또한, 프로세서(130)는 생성된 논리적 화면 표시장치(300)가 복수 개인 경우, 기 설정된 각각의 연관관계에 기초하여 그룹화된 논리적 화면 표시장치를 생성할 수 있다.
이때, 기 설정된 연관관계는 다수의 물리적 화면 표시장치(200)가 존재할 때, 물리적 화면 표시장치(200)의 성능관계나, 또는 물리적으로 인접하거나 또는 서로 겹치거나, 하나가 다른 하나를 포함하는 등의 물리적 위치 관계를 포함할 수 있다. 또는, 데이터 구조에서 트리구조와 같이 부모노드, 자식노드와 같은 논리적 연관 관계를 포함할 수도 있다.
이와 같은 기 설정된 정보는 별도의 변경 요청이 있지 않으면 그대로 유지되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
한편, 본 발명의 일 실시예에서 생성되는 논리적 화면 표시객체의 영역은 프로세서(130)에 의해 자동으로 인식되어 논리적 표시장치(300)로 생성 및 추천될 수도 있으며, 사용자의 명시적인 설정에 의해 논리적 화면 표시객체의 영역이 형성되어 논리적 표시장치(300)로 생성될 수도 있다.
이를 위해 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 사용자의 명시적인 설정 또는 추천에 의해 선택 입력을 위한 사용자 인터페이스(미도시)가 제공될 수 있다. 이러한 사용자 인터페이스는 예를 들어, 본 발명의 일 실시예에 따른 기능을 제공하기 위한 네트워크 주소에 접속하여 화면 영역 및 특징을 설정할 수 있다.
이러한 사용자 인터페이스는 휴대 단말, PC 등과 같은 별도의 사용자 디바이스를 통해 제공되거나 또는 본 발명이 특정 장치나 프로그램에 탑재되는 경우 별도의 프로그램 기능으로 구현되는 등 다양한 형태로 구현되어 실시될 수 있다.
도 2는 본 발명의 일 실시예에서 사물공간 및 논리적 화면 표시객체의 영역을 설명하기 위한 도면이다.
도 1에서 설명한 바와 같이 프로세서(130)는 물리적 화면 표시장치(200)의 출력 범위(B) 내에의 사물공간(A)에 대하여, 사물공간(A)의 특성을 고려하여 다양한 기하학적 형태를 갖는 임의의 개수의 논리적 화면 표시장치(300)를 생성하고, 이를 각각의 독립적인 화면 표시장치로 사용할 수 있다.
예를 들어, 도 2와 같이 물리적 화면 표시장치(200)로 하나 이상의 프로젝터를 포함하는 경우, 사물공간은 2차원 상의 일정 영역(A1, A2)이나 3차원 상의 일정 영역(A3)이 될 수 있다. 프로세서(130)는 이들 사물공간(A1~A3)에 대하여 선택하여 논리적 화면 표시객체의 영역으로 설정함으로써 논리적 화면 표시장치(300)를 생성할 수 있다.
한편, 프로젝터로 사물 공간에 정보를 프로젝션하면 반사광은 주변 사물의 형태나 특징에 따라 빛이 흡수되고 반사되어 원래 표출했던 화면 표시정보와는 다른 정보가 관측자에게 시각적으로 받아들여지게 된다.
본 발명의 일 실시예는 투명형 및 반사형 물리적 화면 표시장치를 포함하는 화면 표시장치의 경우, 화면 표시정보가 관측자에게 시각적으로 받아들여질 때 사물공간의 위치나 형태에 따라 화면 표시정보가 관측자에게 시각적인 영향을 미치게 되는 경우에도 논리적 화면 표시장치를 구성하도록 할 수 있다.
즉, 투명형 물리적 화면 표시장치의 경우, 배경에 임의의 무늬가 존재하면 원래의 화면 표시정보와 중첩되어 관측자에게 인지됨에 따라 원활한 정보전달이 어려운 문제점이 있었다.
또한, 반사형 물리적 화면 표시장치의 경우, 배경에 무늬나 3차원 굴곡, 반사율이 떨어지는 어두운 영역이 존재하면 원래의 화면 표시정보가 관측자에게 쉽게 인지되기 어려운 문제점이 있었다.
또한, 프로젝션 매핑과 같은 종래의 기술에서도 반사형 물리적 화면 표시장치에 매핑된 사물 표면 영역을 일종의 화면 표시영역처럼 사용하는 방식을 사용하였으나, 종래에는 복수의 표시 영역을 구성하기 위해서 사용자가 수동으로 영역을 설정해주어야만 했다. 이러한 영역이 많아질수록 소요 시간이 증가하고 이에 따라 콘텐츠 제작 비용이 증가하게 되는 문제가 있었다.
본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 상술한 문제점을 해소하기 위하여, 사물공간 또는 배경영역으로 입력된 콘텐츠에 포함된 사물공간 중 논리적 화면 표시객체의 영역으로 적합한 영역을 선별할 수 있는바, 도 3 및 도 4를 참조하여 설명하도록 한다.
도 3은 배경영역 콘텐츠에 포함된 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다. 도 4는 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다.
먼저 도 3을 참조하면, 프로세서(130)는 이미지 및 동영상 중 하나 이상을 포함하는 배경영역 콘텐츠(P1)을 입력받으면 이를 물리적 화면 표시장치(200)에 출력시킬 수 있다. 이때, 프로세서(130)는 물리적 화면 표시장치(200)에 출력된 배경영역 콘텐츠(P1’)에 포함된 사물공간의 정보에 기초하여 논리적 화면 표시객체의 영역(영역 1, 영역 2)을 자동으로 설정하고, 이에 기초하여 논리적 화면 표시장치(300)를 생성할 수 있다.
이때, 프로세서(130)는 배경영역 콘텐츠(P1)에 포함된 사물공간 중 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출할 수 있다.
후보영역의 검출은 기존의 영상처리 기법들이 활용될 수 있으며, 예를 들어 입력 영상에서 외곽선(contour) 영역을 검출하는 방법을 사용할 수 있다. 이를 통해 영상 내에 존재하는 다각형, 입체 정보 등을 추출할 수 있으며, 외곽선 상호간의 포함관계까지 계산이 가능하다.
또한, 외곽선 영역별로 특징값(Feature)을 추출할 수 있으며 이런 특징값은 영상에서 외곽선 영역의 위치가 바뀌거나, 크기가 변경되거나 회전했을 때에도 가급적 변하지 않는 것이 바람직하다. 통상적으로 이를 불변성(invariant)이라 칭하며, 모멘트(Moment), Hu Moment, Zernike Moment를 계산하여 특징값을 기술할 수 있다. 이를 통해 넓이, 부피, 모양, 찌그러진 정도 등을 알아낼 수 있다.
한편, 후보영역을 검출하는 기법들은 상술한 특정 알고리즘으로 한정되는 것은 아님은 물론이다.
이와 같이 후보영역을 검출하고 나면, 적합하지 않은 후보영역을 제거하기 위하여, 후보영역 중 기 설정된 조건을 만족하는 후보영역을 추출하여 논리적 화면 표시객체의 영역으로 설정하고 이를 통해 논리적 화면 표시장치(300)로 생성할 수 있다.
이때, 기 설정된 조건은 배경영역 콘텐츠에 포함된 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함할 수 있으며, 이를 통해 논리적 화면 표시장치(300)의 모양을 한정할 수 있다.
다음으로 도 4를 참조하면, 프로세서(130)는 상술한 배경영역에 포함된 사물공간뿐만 아니라 배경영역에 포함되지 않은 사물공간을 대상으로 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하여 논리적 화면 표시장치(300)를 생성할 수 있다.
도 4는 사물공간에 대해 7가지 특징적인 영역이 존재하는 것을 예시적으로 도시한 것이다.
먼저 ‘영역 1(R1)’은 밝은 색이면서 다른 영역들에 비해 뒤쪽에 위치하여 가려진 부분이 많은 배경영역으로 간주할 수 있다. ‘영역 2(R2)’는 밝은 색이면서 다른 영역들에 의한 가려짐이 없는 영역이며, ‘영역 3(R3)’은 밝은 색이면서 일정 각도로 기울어져 있고, ‘영역 7(R7)’에 의해 가려진 부분이 존재하는 영역이다. 또한, ‘영역 3(R3)’은 이동 가능한 영역일 수 있다.
‘영역 4(R4)’는 밝은 색이면서 가려진 부분이 없지만 모서리가 둥근 형태로써 일반적인 다각형이 아닌 영역이다.
‘영역 5(R5)’는 표면에 자체 색이 존재하여 반사 특성이 어느 정도 존재하면서 가려짐이 없는 영역이며 평면 형태가 아닌 3차원 정보로 기술되는 다면체로 간주할 수 있다.
‘영역 6(R6)’은 가려진 부분이 없는 3차원 정보로 기술되는 다면체로 간주할 수 있으나, 어두운 표면으로 인해 프로젝터와 같은 반사형 화면 표시장치에서 높은 비율로 빛을 흡수함으로 인해 표출된 정보를 온전히 확인하기 힘들 것으로 추정되는 영역으로 볼 수 있다.
마지막으로 ‘영역 7(R7)’은 밝은 색의 원통형의 입체 영역이다.
이러한 사물공간은 사물 표면이 움직이는지 여부, 표면의 밝기, 표면 무늬의 존재 유무, 다른 사물이나 패턴에 의한 가려짐의 존재 유무, 평면/입체 여부, 단순한 파라미터 영역을 기술할 수 있는지 여부 등으로 분류할 수 있다.
이러한 관점에서 상기 ‘영역 1(R1)’ 내지 ‘영역 7(R7)’을 살펴보면, ‘영역 6(R6)’은 빛을 흡수하는 성질로 인해 화면 표시장치로 적합하지 않은 영역에 해당한다. ‘영역 3(R3)’은 논리적 화면 표시장치(300)가 될 수 있는 영역이기는 하나, ‘영역 7(R7)’에 의해 가려져 있으므로 이를 고려하여 콘텐츠 보정이 필요한 영역이다. 또한, ‘영역 3(R3)’은 시간에 따라 움직일 수 있는 동적 영역에 해당하므로, 이에 대한 보정 처리도 필요하다.
한편, 도 4에는 도시되어 있지 않으나, 임계 크기 이하의 영역은 화면 표시장치의 영역이 매우 협소하기 때문에, 논리적 화면 표시장치(300)로 적합하지 않을 수 있다. 예를 들어, 가로 또는 세로의 어느 한 방향으로 치중되어 길게 형성된 경우, 정상적인 컨텐츠의 표현이 어렵기 때문에 논리적 화면 표시장치(300)로 적합하지 않게 된다.
또한, 삼각형 임의의 사각형, 컨벡스(convex) 형태의 다각형, 컨케이브(Concave) 형태의 다각형, 3D 실린더(Cylinder), 3D 큐브(Cube), 3D 원뿔(Cone), 3D 구(Sphere) 등의 메쉬로 표현될 수 있는 다양한 형태들도 논리적 화면 표시장치(300)에 적용될 수 있음은 상술한 바와 같다.
이러한 사물공간은 평상시에는 일반적인 생활 공간에 해당하나, 고유의 화면 표시영역으로 활용되는 경우 몰입감이 높은 미디어 환경을 제공할 수 있다. 이와 관련된 종래 기술의 경우 프로젝션 매핑, 미디어 파사드 기술 등이 존재한다. 그러나 기존의 프로젝션 매핑이나 미디어 파사드 구성 방법의 경우, 통상적으로 이런 화면 표시영역을 결정하기 위해 콘텐츠를 만드는 과정에서 사람이 직접 수동으로 작업해야 하는 문제가 있다는 점에서 본 발명과 차이가 있다.
이와 같이 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 배경영역에 포함되거나 배경영역이 아닌 일반적인 사물공간에 대해 기 설정된 조건을 적용하여 적합한 후보영역을 검출하거나 적합하지 않은 후보영역을 제거할 수 있다.
한편, 본 발명의 일 실시예에서 논리적 화면 표시장치(300)는 물리적 화면 표시장치(200)와 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 가질 수 있다. 그리고 논리적 화면 표시객체와 논리적 화면 표시장치(300)는 M 대 N(M, N≥1)의 상호 관계를 가질 수 있다. 이러한 논리적 화면 표시장치(300), 물리적 화면 표시장치(200) 및 논리적 화면 표시 객체의 상호 관계에 대하여 도 5a 내지 도 5c를 참조하여 구체적으로 설명하도록 한다.
도 5a 내지 도 5c는 논리적 화면 표시장치(300), 물리적 화면 표시장치(200) 및 논리적 화면 표시 객체의 상호 관계를 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 검출된 논리적 화면 표시객체의 특징을 분석하여 자동으로 단일 또는 다수 개의 논리적 화면 표시장치(300)를 구성하거나, 외부 인터페이스를 통한 소정의 절차를 통해 논리적 화면 표시장치(300)를 생성할 수 있다.
이에 따라, 도 5a와 같이 콘텐츠를 제공받아 출력되는 N개의 논리적 화면 표시장치(300-1~300-N)는 각각에 대해 보정 처리가 필요할 수도 있으며, M개의 논리적 화면 표시객체(a1~aM)와 각각 1:1의 상호 관계를 가질 수 있다. 이러한 논리적 화면 표시객체(a1~aM)는 단일한 물리적 화면 표시장치(200)를 통해 출력될 수 있다.
또 다른 예로, 도 5b와 같이 콘텐츠를 제공받아 출력되는 N개의 논리적 화면 표시장치(300-1~300-N)는 M개의 논리적 화면 표시객체(a1~aM)와 각각 1대다의 상호 관계를 가질 수 있다.
즉, ‘논리적 화면 표시장치 1’(300-1)은 1개의 논리적 화면 표시객체(a1)와 대응될 수 있고, ‘논리적 화면 표시장치 2’(300-2)는 3개의 논리적 화면 표시객체(a2~a4)와 대응될 수 있으며, ‘논리적 화면 표시장치 N’(300-N)은 1개의 논리적 화면 표시객체(aM)와 대응될 수 있다.
그리고 논리적 화면 표시객체(a1~aM)는 단일한 물리적 화면 표시장치(200)를 통해 출력될 수 있다.
또 다른 예로, 도 5c와 같이 콘텐츠를 제공받아 출력되는 N개의 논리적 화면 표시장치(300-1~300-N)와 M개의 논리적 화면 표시객체(a1~cM)는 각각 다대다의 상호 관계를 가질 수 있다.
즉, ‘논리적 화면 표시장치 1’(300-1)은 3개의 논리적 화면 표시객체(a1, a2, b1)와 대응될 수 있고, ‘논리적 화면 표시장치 2’(300-2)는 3개의 논리적 화면 표시객체(aM, bM, c1)와 대응될 수 있으며, ‘논리적 화면 표시장치 N’(300-N)은 2개의 논리적 화면 표시객체(bM, cM)와 대응될 수 있다.
또한, 논리적 화면 표시객체(a1~cM)는 복수의 물리적 화면 표시장치(200-1~200-K)를 통해 출력될 수 있다. 즉, 논리적 화면 표시객체 ‘a1~aM’은 ‘물리적 화면 표시장치 1’(200-1)에 출력될 수 있고, 논리적 화면 표시객체 ‘b1~bM’은 ‘물리적 화면 표시장치 2’(200-2)에 출력될 수 있으며, 논리적 화면 표시객체 ‘c1~cM’은 ‘물리적 화면 표시장치 K’(200-K)에 출력될 수 있다.
이와 같이 본 발명의 일 실시예는 논리적 화면 표시장치(300), 물리적 화면 표시장치(200) 및 논리적 화면 표시 객체 간의 상호 관계에 따라 다양한 구성을 제공할 수 있다는 장점이 있다. 또한, 복수 개의 물리적 화면 표시장치(200)가 대응되는 경우, 동종의 물리적 화면 표시장치가 이용될 수 있음은 물론이며, 직접 표출형과 투명형 및 반사형이 서로 조합되어 구성될 수도 있다.
한편, 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 상술한 바와 같이 수신한 콘텐츠를 논리적 화면 표시장치(300)에 대응되도록 하기 위하여 프로세서(130)가 콘텐츠를 보정할 수 있다.
즉, 물리적 화면 표시장치(200) 상에 표시된 논리적 화면 표시장치(300)에 대응되도록 하기 위하여, 프로세서(130)는 콘텐츠에 대한 영상의 해상도, 영상의 기하학적 형태, 색상, 밝기, 워핑, 노이즈 제거, 엘리어싱 제거 연산 및 3차원 변환 중 하나 이상을 수행할 수 있다.
즉, 고해상도 영상을 저해상도 영상으로, 또는 저해상도 영상을 고해상도 영상으로 리사이징할 수 있으며, 직사각형 형태의 영상을 평행사변형, 사다리꼴, 임의의 사각형 형태로 변환하는 처리도 가능하다. 그밖에 색상 조절, 밝기 조절, 영상 워핑, 노이즈 제거, 엘리어싱 절감 처리 등을 수행할 수도 있으며, 사각형 이외의 삼각형이나 원을 포함하는 임의의 다각형, 큐브, 원통, 원뿔, 구, 토러스를 포함하는 메쉬로 기술할 수 있는 3차원 객체와 관련된 보정 처리도 가능하다.
한편, 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 사물공간의 정보를 획득하기 위한 센싱부(140)를 더 포함할 수 있다.
도 6은 본 발명의 일 실시예에서의 센싱부(140)를 설명하기 위한 도면이다. 도 7은 센싱부(140)를 이용하여 논리적 화면 표시장치(300)를 생성하는 예시를 설명하기 위한 도면이다.
먼저 도 6을 참조하면, 센싱부(140)는 다양한 스펙트럼의 빛을 영상으로 변환시키거나, 관측점에서 사물까지의 깊이값을 수집하는 일반 카메라나, 스테레오 카메라, 깊이 카메라 등과 같은 영상 수집장치나, 단일 또는 다수개의 각종 센서로 구성될 수 있으며, 이를 통해 수집된 영상이나 깊이지도, 밝기 정보를 포함하는 센싱정보를 입력정보로 사용하여, 사물공간(A)의 특징적인 영역을 검출하여 사물공간(A)의 정보로 획득할 수 있다.
종래 기술의 경우 능동적으로 제어되는 엑츄에이터를 통해 카메라의 위치, 물리적 화면 표시장치의 위치, 화면 표시영역으로 사용되는 사물공간의 위치를 변경하고, 해당 파라미터를 직접 수집하였으나 이러한 방식은 많은 비용이 수반된다는 문제점이 있었다.
이에 반해 본 발명의 일 실시예는 이러한 사물공간(A)의 정보에 기초하여, 프로세서(130)는 논리적 화면 표시객체를 분석하고 이에 따라 자동으로 단일 또는 복수 개가 조합된 논리적 화면 표시장치(300)를 생성하거나, 생성된 논리적 화면 표시장치(300)를 사용자에게 추천할 수 있다는 장점이 있다.
도 7의 예시를 참조하면, 특정한 사물공간(A)이 존재할 때, 센싱부(140)를 통해 센싱된 사물공간(A)의 정보에 기초하여 프로세서(130)는 4개의 논리적 화면 표시객체(R2, R3, R5, R7)를 인식할 수 있고, 이에 기초하여 4개의 논리적 화면 표시장치(300-R2, 300-R3, 300-R5, 300-R7)를 구성하였다고 가정하자.
그리고 4개의 콘텐츠(C1~C4)들은 상기 4개의 논리적 화면 표시장치(300-R2, 300-R3, 300-R5, 300-R7)를 통해 출력될 수 있으며, 콘텐츠(C1~C4)들을 논리적 화면 표시장치(300-R2, 300-R3, 300-R5, 300-R7)의 특성에 맞게 보정하여 물리적 화면 표시장치(200)에 출력될 수 있도록 합성한다. 만약, 정상적으로 보정 및 합성된 경우, 합성 결과를 프로젝터와 같은 물리적 화면 표시장치(200)에 전송하게 되며 사물공간(A)의 위치와 매핑되어 콘텐츠가 출력되게 된다.
이에 따라, 도 7의 예시에서는 사각형의 논리적 화면 표시객체의 영역(R2)에 대응되는 논리적 화면 표시장치(300-R2)에는 하나의 콘텐츠(C2)가 출력되고, 큐브 형태의 논리적 화면 표시객체의 영역(R5)에 대응되는 논리적 화면 표시장치(300-R5)에는 세 개의 콘텐츠(C1~C3)가 출력될 수 있다.
한편, 도 7과 같이 콘텐츠를 논리적 화면 표시장치(300)에 출력시키기 위해서는 물리적 화면 표시장치(200)의 표출 영역과 콘텐츠 간의 보정이 필요할 수 있는바, 도 8a 내지 8d를 참조하여 설명하도록 한다.
도 8a 내지 도 8d는 본 발명의 일 실시예에서의 보정 과정을 설명하기 위한 도면이다.
종래 기술의 경우 투명형 또는 반사형 물리적 화면 표시장치를 이용한 미디어 시스템(100)의 경우 장치의 위치나 방향이 달라지게 되면, 표출되는 영상과 배경으로 보이는 정보가 변경되어 이를 보정하기 위해서는 통상적으로 변화 요소를 고려하여 다시 매핑을 수행해야 되는 문제가 있었다.
그러나 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 도 8a와 같이, 사물공간(A)의 물리적 위치 및 방향에 변화가 발생하여 물리적 화면 표시 장치(200)에서 표출되는 표출영역(B)이 불일치하게 되는 경우, 프로세서(130)는 센싱부(140)를 통해 상기 변화를 감지하여 발생된 위치 및 방향에 대응하도록 논리적 화면 표시객체의 영역을 보정할 수 있다.
이때, 프로세서(130)는 물리적 화면 표시장치(200) 및 센싱부(140)의 위치에 관한 좌표나, 또는 각각의 내부 및 외부 파라미터를 보정을 위한 정보로 획득할 수 있으며, 보정을 위한 정보에 기초하여 논리적 화면 표시객체의 영역을 보정할 수 있다.
구체적으로, 본 발명의 일 실시예는 도 8b와 같이 카메라와 같은 센싱부(140)와 물리적 화면 표시장치(200) 간의 물리적 위치 정보가 주어진 경우나, 물리적 위치 정보가 주어지지 않은 경우 모두 보정을 수행할 수 있다.
먼저 도 8b에는 센싱부(140)의 예시로 카메라가 도시되어 있고 물리적 화면 표시장치(200)로는 프로젝터가 도시되어 있으며, 카메라와 물리적 화면 표시장치(200) 상호간의 기하학적 관계가 도시되어 있다. 카메라와 물리적 화면 표시장치(200)는 각각 독립적인 좌표계(Xc, Yc, Zc, Xp, Yp, Zp)로 표현될 수 있으며, 기하학적 변환과정(Geometric transform)을 통해 각각의 좌표계로 변환하여 표현될 수도 있다.
예를 들어, 카메라의 좌표계 관점에서 프로젝터로 표출되는 영상을 기술하거나 프로젝터의 좌표계의 관점에서 카메라로 획득되는 영상을 기술할 수도 있으며, 월드 좌표계(X, Y, Z)와 같은 제3의 좌표계로 각각을 기술할 수도 있다.
이와 같이 본 발명의 일 실시예는 센싱부(140)와 물리적 화면 표시장치(200), 그리고 콘텐츠가 표출된 영역들에 대한 좌표 정보가 존재하는 경우, 프로세서(130)는 이를 일치시키기 위하여 좌표 변환을 수행하고, 좌표 변환된 화면 표시 영역에 맞춰 콘텐츠를 보정할 수 있다.
뿐만 아니라, 프로세서(130)는 카메라와 같은 센싱부(140)와 물리적 화면 표시장치(200)의 초점거리(Focal length) 및 왜곡률(Distortion)과 같은 내부 파라미터(Intrinsic parameters)와 위치 및 방향과 같은 외부 파라미터(Extrinsic parameters)들이 정확히 계산될 수 있는 경우 보정을 통해 도 8a와 같은 사물공간의 영역과 물리적 화면 표시장치(200)에서 표출되는 표출영역을 일치시킬 수 있다.
한편, 카메라, 프로젝터 및 사물의 위치와 같은 다양한 정보들이 높은 정확도로 확보되는 것은 어려울 수 있으며, 실제로는 이런 파라미터들에 존재하는 오차로 인해 어긋남이 발생할 수 있는바, 본 발명의 일 실시예에서는 이러한 문제점을 해소하기 위해 미리 정의된 구조화된 패턴 영상을 물리적 화면 표시장치(200)에 표출하여 보정을 위한 정보를 개선할 수도 있다.
다음으로 도 8c를 참조하면, 본 발명의 일 실시예는 물리적 위치 정보가 주어지지 않은 경우, 기하학적 파라미터를 직접 찾지 않고, 카메라와 같은 센싱부(140)를 이용하여 반복적으로 영상을 획득하고, 사물공간의 영역과 표출영역의 불일치를 확인하여 서로 일치시키는 방향으로 표출영역을 보정할 수 있다.
구체적으로, 센싱부(140)를 통해 획득한 센싱 정보로부터 후보영역을 검출한다(S11).
이때, 후보영역(A’)의 검출은 도 8d의 예시와 같이 외곽선(contour) 영역을 검출하는 방식을 이용할 수 있다. 이를 통해 영상 내에 존재하는 다각형, 입체 정보 등을 추출하는 것이 가능하며, 외곽선 상호간의 포함관계까지도 계산이 가능하다.
또한, 외곽선 영역별로 특징값(feature)을 추출할 수 있으며, 특징값은 영상에서 외곽선 영역의 위치가 바뀌거나, 크기가 바뀌거나, 회전하는 등의 경우에도 가급적 변하지 않는 것이 바람직하다. 통상적으로 이를 불변성(invariant)이라 하며, 모멘트(Moment), Hu Moment, Zernike Moment를 계산하여 특징값을 기술할 수 있다. 이를 통해 넓이, 부피, 모양, 찌그러진 정도 등을 알아낼 수 있다.
이때, 후보영역을 모멘트나 히스토그램과 같은 특징값으로 기술할 경우, 삼각형인지 사각형 등과 같은 객체의 형태, 객체가 영상 정보에서 나타나는 넓이, 부피, 색상 등의 특징들을 계산할 수 있기 때문에, 후보영역에 대한 선택적 필터링이 가능하게 된다.
한편, 후보영역을 검출하는 기법들은 상술한 특정 알고리즘으로 한정되는 것은 아님은 물론이다.
다시 도 8c를 참조하면, 다음으로 검출된 후보영역들을 물리적 화면 표시장치(200)의 표출영역(B)에 표출하며(S12), 이에 따라 후보영역이 화면에 표출되면 센싱정보는 사물 공간(A) 상에 후보영역에 대한 표출정보가 겹쳐져서 획득된다.
이 정보를 통해 사물공간의 정보와 후보영역에 대한 표출정보의 불일치값이 계산될 수 있으며(S13), 불일치값과 임계치를 비교하여(S14) 임계치 이내인 경우 1차 후보영역으로 선정한다(S16). 그리고 1차 후보영역에 대하여 색상, 밝기, 크기, 모양 등을 계산하여 적합하지 않은 후보영역을 제거함으로써(S17), 논리적 화면 표시장치(300)를 생성 및 구성할 수 있다(S18).
이때, 적합하지 않은 후보영역의 제거는 사전에 정의된 객체의 형태, 넓이, 부피, 색상 등의 조건에 맞는 객체들을 선별적으로 추출함으로써 논리적 화면 표시장치(300)의 모양을 한정할 수 있다.
반면, 불일치값이 임계치보다 큰 경우 후보영역을 보정하고(S15), 이를 다시 물리적 화면 표시장치(200)에 표출하여 다시 불일치값 산출 및 임계치와 비교하는 과정을 수행하게 된다. 이러한 과정은 사전에 정의된 반복 횟수만큼 수행될 수 있으며, 반복 횟수를 초과하는 경우 해당 객체는 후보 객체에서 제외시킬 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 논리적 화면 표시장치를 생성하는 시스템(100)에서 수행되는 방법을 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 방법의 순서도이다.
본 발명의 일 실시예에 따른 논리적 화면 표시장치(300)를 생성하는 방법은 먼저, 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정한다(S110).
다음으로, 하나 이상의 디바이스로부터 하나 이상의 콘텐츠를 수신하고(S120), 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치(300)를 생성한다(S130).
이와 같이 논리적 화면 표시장치(300)가 생성되고 나면, 상기 논리적 화면 표시장치(300)에 상기 수신한 콘텐츠를 출력시킨다(S140).
이때, 본 발명의 일 실시예에서 물리적 화면 표시장치(300)와 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 논리적 화면 표시객체와 논리적 화면 표시장치(300)는 M 대 N(M, N≥1)의 상호 관계를 갖는다.
한편 상술한 설명에서, 단계 S110 내지 S140는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8에서의 논리적 화면 표시장치 생성 시스템(100)에 관하여 이미 기술된 내용은 도 9의 논리적 화면 표시장치 생성 방법에도 적용된다.
도 10은 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100) 및 방법을 이용하는 실시예를 설명하기 위한 도면이다.
예를 들어, 발표자가 물리적 화면 표시장치(200)로 대형 TV 앞에서 세미나 발표를 하는 경우, 발표자는 콘텐츠로 ‘발표자료 1’(Ca)을 물리적 화면 표시장치(200)상에 출력시켜 발표를 진행하고 있다.
처음에는 ‘발표자료 1’(Ca)이 물리적 화면 표시장치(200)의 전체 화면을 차지하고 있는 상태에서, 청중 1이 발표 내용을 듣는 중 콘텐츠로 ‘관련 동영상’(Cb)을 함께 공유하여 물리적 화면 표시장치(200)에 출력시키면 좋겠다고 하여, ‘발표자료 1’(Ca)이 출력되고 있는 논리적 화면 표시장치(300)의 크기를 줄이고 ‘관련 동영상’(Cb)를 위한 새로운 논리적 화면 표시장치(300)를 생성하여 세미나 참석자들과 함께 공유할 수 있다.
마찬가지로, 청중 2도 새로운 논리적 화면 표시장치(300)를 통해 콘텐츠로 ‘관련 웹페이지’(Cc)를 출력시킬 수 있다. 이 경우 ‘관련 웹페이지’(Cc)가 출력되는 논리적 화면 표시장치(300)는 ‘발표자료 1’(Ca)을 일부 가리게 될 수도 있으나, 웹페이지의 글자의 크기를 고려하여 최소한의 영역만이 일부 가리도록 논리적 화면 표시장치(300)가 생성될 수 있다.
그러나 이는 발표자의 원래 발표 내용을 방해할 수 있으므로, 청중 2의 ‘관련 웹페이지’(Cc)를 보여주고 난 다음 해당 논리적 화면 표시장치(300)를 삭제하게 된다.
즉, 본 발명의 일 실시예는 동적으로 논리적 화면 표시장치(300)를 추가, 삭제 및 조합이 가능하다는 장점이 있다.
또한, 본 발명의 일 실시예는 프로세서(130)가 독립적인 화면 표시장치로 이용하기 위하여 생성된 복수의 논리적 화면 표시장치(300)를 복수의 디바이스에 각각 대응시킬 수 있으며, 통신모듈(110)을 통해 복수의 디바이스로부터 콘텐츠를 수신하여 논리적 화면 표시장치(300)에 각각 출력시킬 수 있다.
한편, 최근의 물리적 화면 표시장치들은 높은 해상도를 지원하면서 거울, 유리창, 벽, 천장과 같은 기존의 생활공간과 일체화되는 방향으로 발전하고 있다. 이러한 기술적 동향과 함께 PIP 기능처럼 고해상도 물리적 화면 표시장치를 다수의 화면 표시장치로 분할하여 서로 다른 콘텐츠를 출력시킬 수 있도록 하는 기술들이 많은 고해상도 화면 표시장치에 적용되고 있다.
그러나 종래 기술의 경우 통상적으로 화면 표시영역을 직사각형 형태로 가정하고 있으며, 사용자는 사전에 정의된 모양과 위치에 대해 제한적으로 화면 표시영역을 설정할 수 있었다.
반면 전술한 본 발명의 일 실시예에 의하면, 물리적 화면 표시장치(200)의 화면 표시영역을 사물공간으로 확장시킴으로써, 다양한 기하학적 형태를 갖는 임의의 개수의 논리적 화면 표시장치(300)를 생성할 수 있다.
특히 본 발명의 일 실시예는 표출해야할 콘텐츠의 영역이 물리적 화면 표시장치(200)의 표출영역 전체를 활용할 필요가 없는 경우, 남은 물리적 화면 표시장치(200)의 영역을 다른 독립적인 화면 표시장치로 활용 가능하다는 장점이 있다.
또한, 생성된 논리적 화면 표시장치(200)들을 네트워크 상에서 다른 디바이스들이 독립적인 화면 표시장치로 인식할 수 있으며, 디바이스들이 물리적 화면 표시장치(200)와 같이 논리적 화면 표시장치(300)들을 선택하여 콘텐츠 전송하여 출력되도록 할 수 있다.
또한, 논리적 화면 표시장치(300)에 대응하는 물리적 환경의 특성에 따라 콘텐츠를 보정 및 합성도 가능하다는 장점이 있다. 이와 더불어, 실제 사물공간의 특성과 형태에 맞도록 논리적 화면 표시장치(300)를 생성할 수 있어 실제 실감성이 높은 미디어 재생 환경 구축이 가능하다는 장점이 있다.
이러한 본 발명의 일 실시예는 공연, 광고, 스케줄 표시와 같은 다양한 목적에 활용될 수 있으며, 청중들이 정보를 접하게 되는 다양한 종류의 화면 표시 단말들(LCD, LED, 프로젝터 등)을 동시에 활용하여 쉽게 종합적으로 제어되는 화면을 구성할 수 있고, 이에 콘텐츠를 보정하여 다양한 서비스를 제공할 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 논리적 화면 표시장치를 생성하는 시스템에 있어서,
    하나 이상의 콘텐츠를 하나 이상의 디바이스로부터 수신하는 통신모듈,
    상기 콘텐츠를 상기 논리적 화면 표시장치에 출력시키기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하되,
    상기 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는 것인 논리적 화면 표시장치 생성 시스템.
  2. 제 1 항에 있어서,
    상기 물리적 화면 표시장치는 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함하는 것인 논리적 화면 표시장치 생성 시스템.
  3. 제 2 항에 있어서,
    상기 프로세서는 독립적인 화면 표시장치로 이용하기 위하여 상기 생성된 복수의 논리적 화면 표시장치를 복수의 디바이스에 각각 대응시키고, 상기 통신모듈을 통해 복수의 디바이스로부터 콘텐츠를 수신하여 상기 대응되는 논리적 화면 표시장치에 각각 출력시키는 것인 논리적 화면 표시장치 생성 시스템.
  4. 제 2 항에 있어서,
    상기 프로세서는 상기 논리적 화면 표시장치가 복수 개인 경우, 기 설정된 연관관계에 기초하여 상기 복수 개의 논리적 화면 표시장치를 그룹화하되,
    상기 기 설정된 연관관계는 상기 물리적 화면 표시장치의 성능관계, 물리적 위치관계 및 논리적 연관관계 중 하나 이상에 기초하여 설정되는 것인 논리적 화면 표시장치 생성 시스템.
  5. 제 2 항에 있어서,
    상기 프로세서는 상기 수신한 콘텐츠를 상기 생성된 논리적 화면 표시장치에 대응되도록 보정하되,
    상기 보정은 상기 콘텐츠에 대한 영상의 해상도 조절, 영상의 기하학적 표시 형태 변환, 색상 조절, 밝기 조절, 워핑, 노이즈 제거, 엘리어싱 제거 연산 및 3차원 변환 중 하나 이상을 포함하는 것인 논리적 화면 표시장치 생성 시스템.
  6. 제 2 항에 있어서,
    상기 프로세서는 상기 물리적 화면 표시장치에 출력된 이미지 및 동영상 중 하나 이상을 포함하는 배경영역 콘텐츠에 포함된 사물공간의 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 자동으로 설정하고, 이에 기초하여 상기 논리적 화면 표시장치를 생성하는 것인 논리적 화면 표시장치 생성 시스템.
  7. 제 6 항에 있어서,
    상기 프로세서는 상기 배경영역 콘텐츠에 포함되거나 포함되지 않은 사물공간 중 상기 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하고, 상기 후보영역 중 기 설정된 조건을 만족하는 후보영역을 상기 논리적 화면 표시객체의 영역으로 설정하며, 상기 설정된 논리적 화면 표시객체의 영역에 기초하여 상기 논리적 화면 표시장치를 생성하되,
    상기 기 설정된 조건은 상기 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함하는 것인 논리적 화면 표시장치 생성 시스템.
  8. 제 2 항에 있어서,
    상기 사물공간의 정보를 획득하는 센싱부를 더 포함하되,
    상기 프로세서는 상기 사물공간의 정보를 분석하여 자동으로 상기 논리적 화면 표시장치를 생성하거나, 상기 생성된 논리적 화면 표시장치를 사용자에게 추천하는 것인 논리적 화면 표시장치 생성 시스템.
  9. 제 8 항에 있어서,
    상기 사물공간의 물리적 위치 및 방향에 변화가 발생한 경우, 상기 프로세서는 상기 센싱부를 통해 상기 변화를 감지하여 상기 발생된 위치 및 방향에 대응하도록 상기 논리적 화면 표시객체의 영역을 보정하는 것인 논리적 화면 표시장치 생성 시스템.
  10. 제 9 항에 있어서,
    상기 프로세서는 상기 물리적 화면 표시장치 및 상기 센싱부의 위치에 관한 좌표나, 각각의 내부 및 외부 파라미터를 상기 보정을 위한 정보로 획득하고, 상기 보정을 위한 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 보정하는 것인 논리적 화면 표시장치 생성 시스템.
  11. 제 9 항에 있어서,
    상기 프로세서는 상기 센싱부에 의해 획득한 센싱정보로부터 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하고, 상기 검출된 후보영역을 상기 물리적 표시장치의 표시영역에 표출시켜 사물공간의 정보와 상기 표출된 정보와의 불일치 값을 산출하며,
    상기 산출된 불일치 값이 임계값 이하인 경우 1차 후보영역으로 선정하고, 상기 1차 후보영역 중 기 설정된 조건을 만족하는 후보영역을 상기 논리적 화면 표시객체의 영역으로 설정하며, 상기 설정된 논리적 화면 표시객체의 영역에 기초하여 상기 논리적 화면 표시장치를 생성하되,
    기 설정된 조건은 상기 배경영역 콘텐츠에 포함된 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함하는 것인 논리적 화면 표시장치 생성 시스템.
  12. 논리적 화면 표시장치를 생성하는 방법에 있어서,
    물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하는 단계;
    하나 이상의 디바이스로부터 하나 이상의 콘텐츠를 수신하는 단계;
    상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하는 단계 및
    상기 논리적 화면 표시장치에 상기 수신한 콘텐츠를 출력시키는 단계를 포함하되,
    상기 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는 것인 논리적 화면 표시장치 생성방법.
PCT/KR2017/009907 2016-12-15 2017-09-08 논리적 화면 표시장치 생성 시스템 및 방법 WO2018110800A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160171472 2016-12-15
KR10-2016-0171472 2016-12-15
KR10-2017-0086070 2017-07-06
KR1020170086070A KR101920323B1 (ko) 2016-12-15 2017-07-06 논리적 화면 표시장치 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2018110800A1 true WO2018110800A1 (ko) 2018-06-21

Family

ID=62559022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009907 WO2018110800A1 (ko) 2016-12-15 2017-09-08 논리적 화면 표시장치 생성 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2018110800A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889870A (zh) * 2019-03-08 2019-06-14 浙江辉驿网络科技有限公司 一种可信投屏方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2503222B2 (ja) * 1987-03-19 1996-06-05 株式会社日立製作所 画像処理装置
JP4720321B2 (ja) * 2005-07-04 2011-07-13 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR20150016264A (ko) * 2012-04-24 2015-02-11 스크린즈 엔터테인먼트 테크놀로지스 인코포레이티드 비디오 디스플레이 시스템
KR20150095868A (ko) * 2012-12-18 2015-08-21 퀄컴 인코포레이티드 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스
KR20160003400A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2503222B2 (ja) * 1987-03-19 1996-06-05 株式会社日立製作所 画像処理装置
JP4720321B2 (ja) * 2005-07-04 2011-07-13 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR20150016264A (ko) * 2012-04-24 2015-02-11 스크린즈 엔터테인먼트 테크놀로지스 인코포레이티드 비디오 디스플레이 시스템
KR20150095868A (ko) * 2012-12-18 2015-08-21 퀄컴 인코포레이티드 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스
KR20160003400A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889870A (zh) * 2019-03-08 2019-06-14 浙江辉驿网络科技有限公司 一种可信投屏方法及系统

Similar Documents

Publication Publication Date Title
US20220247984A1 (en) System and method for interactive projection
US7091926B2 (en) Computer display system using multiple screens
TWI524772B (zh) 投影系統及其投影方法
EP3192255B1 (en) Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium
WO2018074850A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US20210256941A1 (en) Image processing apparatus, image processing method, and storage medium
WO2019059562A1 (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
TWI504931B (zh) 投影系統及其投影方法
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
CN102004378A (zh) 一种投影画面调整方法及投影装置
WO2019035581A1 (ko) 서버, 디스플레이장치 및 그 제어방법
WO2017209409A1 (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
JPWO2017033574A1 (ja) プロジェクションシステム、および機器ユニット
WO2018097682A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US20210366324A1 (en) Content generation method, content projection method, program, and content generation system
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
CN111694528A (zh) 显示墙的排版辨识方法以及使用此方法的电子装置
WO2018110800A1 (ko) 논리적 화면 표시장치 생성 시스템 및 방법
WO2017052521A1 (en) Image projections
WO2022260273A1 (ko) 전자 장치 및 그 제어 방법
KR101920323B1 (ko) 논리적 화면 표시장치 생성 시스템 및 방법
WO2022010026A1 (ko) 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
JP2019047204A (ja) 画像処理装置、画像処理方法、及びプログラム
CN206021866U (zh) 360°环幕智能展示系统
WO2022255594A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17881499

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17881499

Country of ref document: EP

Kind code of ref document: A1