WO2017122363A1 - コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム - Google Patents

コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム Download PDF

Info

Publication number
WO2017122363A1
WO2017122363A1 PCT/JP2016/051191 JP2016051191W WO2017122363A1 WO 2017122363 A1 WO2017122363 A1 WO 2017122363A1 JP 2016051191 W JP2016051191 W JP 2016051191W WO 2017122363 A1 WO2017122363 A1 WO 2017122363A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
content
area
inappropriate
arrangement unit
Prior art date
Application number
PCT/JP2016/051191
Other languages
English (en)
French (fr)
Inventor
宗 益子
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to PCT/JP2016/051191 priority Critical patent/WO2017122363A1/ja
Priority to JP2017561497A priority patent/JP6479220B2/ja
Priority to US16/069,885 priority patent/US10432901B2/en
Publication of WO2017122363A1 publication Critical patent/WO2017122363A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the present invention relates to a content projection control device, a content projection control method, and a program, and more particularly to a technique for preventing a partial decrease in the visibility of content due to an inappropriate projection area.
  • the desired visibility is ensured by projecting the content onto a dedicated projection screen that is flat and has a light reflecting surface with a single color such as white. be able to.
  • the brightness of content projection apparatuses has been improved, and content is often projected onto a surface other than a dedicated projection screen such as a wall surface of a room. According to such a usage mode, the content can be easily viewed by a plurality of people.
  • a projection surface other than a dedicated projection screen such as a wall surface of a room, an object such as a clock or calendar, or a member that is inappropriate for projection such as a seam member of a wall panel is arranged on a part of the wall surface.
  • the entire content is divided into two parts vertically and horizontally, and the two divided contents are arranged vertically and horizontally with a projection inappropriate area in between.
  • the content divided into the upper and lower sides or the left and right sides are arranged separately so as to sandwich the inappropriate projection area.
  • areas other than the projection inappropriate areas (projectable areas) cannot be effectively used except for a special case where an inappropriate area exists.
  • the present invention has been made in view of the above problems, and a purpose of the present invention is to provide a content projection control apparatus and a content projection capable of preventing a partial decrease in visibility of content due to an inappropriate projection area while effectively utilizing a projectable area. It is to provide a control method and a program.
  • the content projection control apparatus acquires content data indicating content including a plurality of objects, and each object includes one or more images or a plurality of characters, and content data acquisition means, and projection indicating a projection area From the projection area data acquisition means for acquiring area data, the projection inappropriate area determination means for determining a projection inappropriate area that is not suitable for projection among the projection areas based on the projection area data, and the content indicated by the content data, respectively
  • Layout changing means for changing the layout of the arrangement unit.
  • the content projection control method acquires content data indicating content including a plurality of objects, each object including one or more images or a plurality of characters, and a projection region indicating a projection region
  • generating a plurality of arrangement units and changing the layout of the arrangement units by determining the projection position for each arrangement unit based on the position of the inappropriate projection area.
  • the program according to the present invention acquires content data indicating content including a plurality of objects, and each object includes one or more images or a plurality of characters, content data acquisition means, projection area data indicating a projection area
  • a projection area data acquisition means for acquiring a projection inappropriate area determination means for determining a projection inappropriate area that is not suitable for projection among the projection areas based on the projection area data
  • a layout unit layout unit for generating a plurality of layout units including a plurality of adjacent objects, and determining a projection position for each layout unit based on a position of the projection inappropriate area, thereby laying out the layout unit.
  • Function as a layout change means to change It is a program for.
  • This program may be stored in a computer-readable information storage medium such as a semiconductor memory, a magnetic disk, or an optical disk.
  • FIG. 1 is a system configuration diagram of a content projection control apparatus according to an embodiment of the present invention. It is a figure which shows an example of the content projected on a wall surface by the content projection control apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the wall surface on which a content is projected by the content projection control apparatus which concerns on embodiment of this invention. It is a figure which shows a mode that the content projection control apparatus which concerns on embodiment of this invention changed the layout of the content shown in FIG. 2, and was projected on the wall surface shown in FIG. It is a figure which shows the arrangement
  • FIG. 6 is a diagram showing an arrangement unit generated by further dividing the arrangement unit shown in FIG.
  • FIG. 1 It is a figure which shows the projection unsuitable area
  • FIG. 1 is a system configuration diagram of a content projection control apparatus according to the present embodiment.
  • the content projection control apparatus is mainly configured by a computer 12 such as a personal computer, a smartphone, or a tablet, and a camera 16 and a projector 14 that is a content projection apparatus are connected to the computer 12.
  • the computer 12 includes a CPU and a memory, and performs various types of information processing according to the present invention when the CPU executes a computer program.
  • the computer program may be read by the computer 12 from a computer readable information storage medium such as a magnetic disk, an optical disk, or a semiconductor memory. Alternatively, it may be downloaded from a communication network such as the Internet.
  • the projector 14 visualizes the content data supplied from the computer 12 and projects it on a projection surface such as a dedicated projection screen or wall surface.
  • a projection surface such as a dedicated projection screen or wall surface.
  • the camera 16 images the projection area 40 of the wall surface 18 and supplies the image data to the computer 12. This imaging data is used in the computer 12 to determine a projectable area and a projection inappropriate area in the projection area 40.
  • One or both of the projector 14 and the camera 16 may be built in the computer 12.
  • FIG. 2 is a diagram showing an example of content projected on the wall surface 18 by the content projection control device of the present invention.
  • the content 20 is, for example, a newspaper article or presentation material, and is described by vector format content data such as HTML format or PowerPoint (registered trademark) format.
  • the computer 12 can obtain raster format data (image data) by rendering vector format content data.
  • the content 20 includes a plurality of objects A to J, and the content data indicates the contents, attributes, and display control information (display position, display font, output size, etc.) of each object.
  • Each of the objects A to J includes at least one image or a plurality of characters.
  • the objects A to J are sentences, images, or a combination of sentences and images.
  • the attribute of the objects A to J may be an element type in the content such as “title” or “text”. Furthermore, for an object of a specific purpose such as a banner advertisement image, the purpose may be “advertisement” or the like.
  • the attribute of the object A is “title”
  • the attributes of the objects B and C are “text”.
  • the attribute of the objects D to F and G to J is “advertisement”.
  • the priority is set for the attribute of the object, “title” has the highest priority, “text” has the next highest priority, and “advertisement” has the lowest priority. .
  • FIG. 3 is a diagram illustrating an example of the wall surface 18 on which the content 20 is projected by the content projection control apparatus according to the present embodiment.
  • an installation object 42 such as a clock is arranged in the upper right corner of the projection area 40 of the wall surface 18. For this reason, the content 20 cannot be projected onto the installation object 42 satisfactorily.
  • the layout of the content 20 shown in FIG. 2 is changed, and the objects A to J of the content 20 are rearranged so as to avoid the installation object 42.
  • FIG. 4 is a diagram showing a state in which the layout of the content 20 shown in FIG. 2 is changed by the content projection control apparatus according to the present embodiment, and the content 20 after the layout change is projected onto the wall surface 18 shown in FIG. It is.
  • the objects A to J can be projected by effectively utilizing the area where the installation object 42 is not arranged in the projection area. it can.
  • the computer 12 In order to realize such a layout change of the content 20, the computer 12 generates the arrangement units 21 to 25 shown in FIGS. 5A to 5E from the content 20.
  • the arrangement unit 21 shown in FIG. 4A includes objects D to F, which are three advertisement images arranged adjacent to the left and right in the original content 20.
  • the arrangement unit 22 shown in FIG. 5B includes an object A that is a title image.
  • the arrangement unit 23 shown in FIG. 5C includes an object B that is a document object indicating a part of the text.
  • the arrangement unit 24 shown in FIG. 4D includes an object C which is a document object indicating another part of the text.
  • the arrangement unit 25 shown in FIG. 5E includes objects G to J that are four advertisement images arranged adjacent to each other in the original content 20. That is, the arrangement units 21 to 25 include one object or a plurality of objects adjacent in the vertical and horizontal directions.
  • the arrangement units 21 to 25 are generated by the computer 12 as raster format data, for example.
  • the computer 12 can obtain raster format content 20 data by rendering vector format content data.
  • the computer 12 can acquire raster format data of each arrangement unit based on the display control information of each object included in the content data.
  • raster format data for each arrangement unit may be acquired by cutting out a part of the raster format data of the entire content using the display control information of each object as a clue.
  • the raster format data of the object may be acquired by rendering only the portion corresponding to one arrangement unit in the vector format content data.
  • the arrangement units 21 to 25 may be generated as vector format data by editing vector format content data.
  • FIG. 6 is a diagram showing arrangement units 25a to 25d generated by further dividing the arrangement unit 25 shown in FIG. 5 (e).
  • the arrangement unit 25 in which the objects G to J are arranged in a vertical row cannot be projected below the installation object 42 as it is. Therefore, in this embodiment, the arrangement unit 25 shown in FIG. 5 (e) is divided into arrangement units 25a to 25d shown in FIG. 6, and these are arranged in two rows as shown in FIG. Yes.
  • FIG. 7 is a diagram showing a projection inappropriate region 44 and a projectable region 45 in the projection region 40 of the wall surface 18 shown in FIG.
  • the position of the installation object 42 is determined as the projection inappropriate area 44
  • the other area is determined as the projectable area 45.
  • the computer 12 captures an image of the projection area 40 with the camera 16 and determines a projection inappropriate area 44 and a projectable area 45 from the captured data.
  • a known pattern image is projected onto the projection area 40 and the image is captured.
  • the known pattern image is an image in which many known marks such as a cross are arranged.
  • An edge extraction process is performed on the photographic data to generate a processed photographic image.
  • the same edge extraction process is performed on the original pattern image itself to generate a processed original pattern image.
  • the projection area 40 is divided into a plurality of block areas, and the difference amount between the processed captured image and the processed original pattern image is calculated for each block area.
  • the block area whose difference amount is equal to or greater than the threshold is determined as the projection inappropriate area 44, and the block area whose difference amount is less than the threshold is determined as the projectable area 45.
  • the projection inappropriate area 44 and the projectable area 45 can also be determined by using the image of the content 20 instead of the pattern image. In this way, it is not necessary to project the pattern image onto the projection area 40.
  • an image of the projection area 40 in a state where nothing is projected or a patternless image is projected by the camera 16, and the projection inappropriate area 44 and the projection can be easily performed based on the captured image thus obtained.
  • the possible area 45 can also be determined. That is, edge extraction processing is performed on the photographed image, and the amount of pixels indicating the edge is counted for each block area. If the amount of pixels is equal to or greater than the threshold value, it is determined as the inappropriate projection area 44, and if it is less than the threshold value, it is determined as the projectable area 45.
  • the camera 16 includes distance measuring means and can acquire the distance from the camera 16 to the subject
  • the shape of the wall surface 18 as the subject is determined based on the distance
  • the projection inappropriate region 44 and the projection are determined from the determined shape.
  • the possible area 45 may be determined. That is, the place where the installation object 42 such as a clock is located is protruding forward, and such a region may be determined as the projection inappropriate region 44.
  • FIG. 8 is a diagram showing an example in which the arrangement units 21 to 24 and 25a to 25d are arranged in the projectable area 45 shown in FIG.
  • priorities are first set for the arrangement units 21 to 25.
  • the priority is calculated based on the attribute value of the object included in the arrangement unit and the average value of the projection sizes of the objects included in the arrangement unit. For example, the priority of the attribute assigned to each object included in the placement unit is averaged, and the priority of the placement unit is increased as the average value is higher. What is necessary is just to acquire the attribute provided to the object from content data. Further, the original projection size of each object included in the arrangement unit is averaged, and the higher the average value, the higher the priority of the arrangement unit.
  • an arrangement unit including an object having a relatively large original projection size The original projection size of the object may be acquired from the content data.
  • an output history in which each object is projected or displayed is recorded in the computer 12 or the like, an object having a larger number of times of being projected or displayed has a lower priority.
  • the priority of the arrangement unit including may be lowered.
  • Projectable area 45 is an L-shaped area, and arrangement units 21 to 24 and 25a to 25d are arranged in descending order of priority.
  • Priority is given in the order of placement units 23 and 24 having a large size, and objects D to F and G to J having an attribute of “advertising” having a low priority, and the placement units 21 and 25 having a small projection size of each object.
  • the degree is set. For this reason, the projection position is first determined for the arrangement unit 22.
  • the arrangement unit 22 is moved vertically and horizontally within the projectable area 45 and is appropriately reduced so that it can be projected to a plurality of locations.
  • the position having the highest arrangement evaluation value E is the projection position. . That is, the placement evaluation value E becomes smaller as 1) the distance between the position of the original placement unit and the new position becomes larger, 2) becomes smaller as the reduction ratio applied when placing at the projection position becomes smaller, and 3) projected. It is assumed that the function satisfies the condition that it increases as it approaches the upper left of the possible area 45.
  • the arrangement unit 22 is arranged on the upper left of the projectable area 45, and the arrangement units 23 and 24 are arranged in order on the lower side. Further, the arrangement unit 21 is further arranged on the lower side thereof.
  • the arrangement unit 25 since the arrangement unit 25 does not fit on the right side of the arrangement unit 21, that is, below the projection inappropriate area 44, the arrangement unit 25 is divided into arrangement units 25a to 25d. Then, they are arranged in two rows below the projection inappropriate area 44. As a result of the above processing, as shown in FIG. 4, the content 20 whose layout has been changed so as to avoid the arrangement object 42 is displayed on the wall surface 18.
  • FIG. 9 is a functional block diagram of the computer 12.
  • the computer 12 includes a content data acquisition unit 12a, a projection region data acquisition unit 12b, an arrangement unit generation unit 12c, a projection inappropriate region determination unit 12d, and a layout change unit 12e. These functions are realized by the computer 12 executing the computer program according to the embodiment of the present invention.
  • the content data acquisition unit 12a acquires content data indicating content.
  • the content includes a plurality of objects, and each object includes one or more images or a plurality of characters.
  • the projection area data acquisition unit 12b acquires projection area data indicating the projection area 40.
  • the projection area data is captured image data of the projection area 40 by the camera 16.
  • the projection inappropriate area determination unit 12d determines the projection inappropriate area 44 and the projectable area 45 in the projection area 40 based on the projection area data. As described above, the projection area determination unit 12d may determine the inappropriate projection area 44 based on the captured image of the projection area 40 onto which the content indicated by the content data is projected and the image of the content. Further, the arrangement unit generation unit 12c generates a plurality of arrangement units each including one object or a plurality of adjacent objects from the content indicated by the content data.
  • the layout changing unit 12e changes the layout of the arrangement unit by determining the projection position for each arrangement unit based on the position of the inappropriate projection area 44.
  • the layout changing unit 12e may set the priority of each arrangement unit. For example, the priority may be determined based on the original projection size of each object included in each arrangement unit. Further, the priority may be determined based on the attribute of the object included in each arrangement unit. Furthermore, the priority may be determined based on the output history of the objects included in each arrangement unit.
  • the layout changing unit 12e determines the projection position according to the priority of each arrangement unit. At this time, the layout changing unit 12e reduces the projection size by applying the reduction rate individually for each arrangement unit. For this reason, the reduction ratio applied to each arrangement unit does not necessarily have the same value.
  • FIG. 10 is an operation flowchart of the content projection control apparatus according to the present embodiment.
  • the content data acquisition unit 12a first acquires content data (S100).
  • the content data may be received from a communication network such as the Internet, or may be read from storage means such as a semiconductor memory.
  • the arrangement unit generation unit 12c generates an arrangement unit from the content data (S101).
  • the projection area data acquisition unit 12b acquires captured image data of the projection area 40 from the camera 16 (S102). Based on the photographed image data, the projection inappropriate area determination unit 12d determines the photography inappropriate area 44 and the projectable area 45 (S103).
  • the layout changing unit 12e determines a reference reduction rate (S104).
  • the reference reduction ratio may be determined based on, for example, a value obtained by dividing the size (area) of the projectable region 45 by the size (area) of the projection region 40.
  • the reference reduction ratio may be a value obtained by increasing the division value by a predetermined ratio.
  • the layout changing unit 12e determines the priority of each arrangement unit (S105). As described above, the priority is determined by the attribute of the object included in the arrangement unit, the projection size of the object, and the output history of the object.
  • the layout changing unit 12e determines the projection position and the reduction ratio for all the arrangement units in order from the arrangement unit with the highest priority (S106) (S106 to S113). That is, each arrangement unit is moved vertically and horizontally in the projectable area 45, and a plurality of reduction ratios are applied to determine a position that can be projected in the projectable area 45 and a reduction ratio at that position ( S107).
  • the reduction ratio applied to the arrangement unit is set to a value smaller than the reduction ratio determined in S104. That is, the arrangement unit is reduced so as to be the same as or smaller than the case where the reduction rate determined in S104 is applied.
  • a predetermined limit value is provided for the reduction ratio, and a value smaller than the limit value cannot be taken. In this way, the image does not shrink so as to be difficult to read.
  • the projection position and reduction ratio at which the arrangement evaluation value E already described is maximized are determined (S111). If there is no position and reduction ratio at which the arrangement unit can be projected within the projectable area 45 (S108), the arrangement unit is further divided as shown in FIG. 6 (S110), and the processes after S107 are executed. At this time, if the arrangement unit does not include a plurality of objects, such as the arrangement units 21 and 25 (S109), the projection of the arrangement unit is canceled, and the projection position and the reduction ratio are set for the arrangement unit of the next priority. Determine (S113). The above processing is repeated for all arrangement units (S112). FIG.
  • FIG. 11 shows an example of projection in a case where a projection inappropriate area spreads in the lower right corner and lower left corner of the projection area 40 by other installation objects 41 and 43 such as a calendar.
  • the layout changing unit 12e After that, the layout changing unit 12e generates a projection image of the content whose layout has been changed by reducing the image at the reduction rate determined in each S111 and arranging it at the projection position determined in S111 (S114).
  • the projected image is projected onto the wall surface 18 by the projector 14, so that the image shown in FIG. 4 appears on the wall surface.
  • a plurality of arrangement units 21 to 25 are generated from the content 20.
  • Each of the arrangement units 21 to 25 includes one object or a plurality of adjacent objects.
  • the layout changing unit 12e determines the projection position for each arrangement unit based on the positions of the inappropriate projection area 44 and the projectable area 45. For this reason, it is possible to prevent the partial visibility degradation of the content due to the inappropriate projection area while effectively utilizing the projectable area 45.
  • the layout changing unit 12e may arrange an arrangement unit with a low priority in the inappropriate projection area 44.
  • FIG. 12 shows a state in which arrangement units 25c (object I) and 25d (object J) are arranged in a projection inappropriate area (lower right corner of the projection area 40) generated by another installation object 41 such as a calendar. . In this way, it is possible to avoid a situation in which an arrangement unit having a low priority is not projected at all.
  • FIG. 13 is an operation flowchart of the content projection control apparatus for changing the layout in accordance with changes in the projection inappropriate area 44 and the projectable area 45.
  • a long cycle is monitored in S201 to S206, and a short cycle is monitored in S207 to S212.
  • the content projection control apparatus first waits for the timing when the time T1 elapses from the previous layout change (S201).
  • the time T1 elapses the content data currently being projected is acquired (S202), and the captured image data of the projection area 40 onto which the current content is projected is acquired (S203).
  • the projection inappropriate area 44 is determined (S204). For example, edge extraction processing is performed on the content image indicated by the content data, and edge extraction processing is performed on the captured image in the projection area 40.
  • the projection area 40 is divided into a plurality of block areas, and the difference amount between the processed captured image and the processed content image is calculated for each block area. Then, the block area whose difference amount is equal to or greater than the threshold is determined as the projection inappropriate area 44, and the block area whose difference amount is less than the threshold is determined as the projectable area 45.
  • the difference amount between the inappropriate projection area 44 generated in S204 and the inappropriate projection area 44 generated immediately before it is calculated (S205). . If the difference amount is equal to or less than the threshold value ⁇ , the process returns to S201.
  • the long cycle monitoring is terminated and the short cycle monitoring is started. That is, it is determined whether the time T2 has elapsed from the timing at which the projection inappropriate region 44 was generated last time (the latest timing among the execution timings of S204 or S210) (S207). This time T2 is sufficiently shorter than the above-described time T1, and specifically, it is desirable that the time T1 is several times longer than the time T2.
  • the content data currently being projected is acquired (S208), and the captured image data of the projection area 40 onto which the current content is projected is acquired. (S209). Then, based on the data acquired in S208 and S209, the projection inappropriate area 44 is determined (S210).
  • the time T3 is determined whether or not the time T3 has elapsed from the timing at which the projection inappropriate area 44 is finally generated in S204, that is, the timing at which the long-period monitoring is completed (S211).
  • This time T3 is several times longer than the time T2, and is preferably shorter than the time T1. If the time T3 has not elapsed, the process returns to S207.
  • the projection inappropriate area 44 is currently changing (S212). For example, two inappropriate projection areas 44 are extracted from all the inappropriate projection areas 44 generated at the immediately preceding time T3, and the difference between them is calculated. Then, the difference amount is calculated for all the combinations, and if any of them is less than the predetermined threshold value, it is determined that the projection inappropriate region 44 is not changing. If the inappropriate projection area 44 is currently changing, the process returns to S201, and if not changing, the layout changing process shown in FIG. 10 is executed again (S213).
  • the layout is not re-changed depending on the dynamic change of the projection inappropriate area 44, such as when a person crosses the projection area 40 or the light of the laser pointer passes. For this reason, the situation where layout re-change is repeated frequently can be prevented.
  • the generation processing (S204) of the projection inappropriate area 44 is minimized by the long cycle monitoring, and the short cycle monitoring is performed. Changes in the static (fixed) projection inappropriate area 44 can be detected quickly.
  • 12 computer 12a content data acquisition unit, 12b projection area data acquisition unit, 12c arrangement unit generation unit, 12d projection inappropriate area determination unit, 12e layout change unit, 14 projector, 16 camera, 18 wall surface, 20 content, 21-25 arrangement Unit: 40 Projection area, 41, 42 Installation object, 44 Projection inappropriate area, 45 Projectable area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

投影可能領域を有効活用しつつ、投影不適領域によるコンテンツの部分的な視認性低下を防止できるようにすること。 複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、ステップ(S100)と、投影領域を示す投影領域データを取得するステップ(S102)と、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定するステップ(S103)と、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成するステップ(S101)と、前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するステップ(S106~S112)と、を含むコンテンツ投影制御方法が提供される。

Description

コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
 本発明はコンテンツ投影制御装置、コンテンツ投影制御方法及びプログラムに関し、特に、投影不適領域によるコンテンツの部分的な視認性低下を防止する技術に関する。
 プロジェクタなどのコンテンツ投影装置を利用する場合、平坦であり、且つ白色等の単一色が付された光反射面からなる、専用の投影スクリーンにコンテンツを投影すれば、所期の視認性を確保することができる。これに対して、近年ではコンテンツ投影装置の輝度が向上していることもあって、部屋の壁面等、専用の投影スクリーン以外の面にコンテンツを投影することも多くなってきている。このような利用形態によれば、気軽にコンテンツを複数人で見ることができる。
 しかしながら、部屋の壁面等の専用の投影スクリーン以外の投影面では、時計やカレンダーなどの設置物、或は壁パネルの継ぎ目の部材など、投影に不適切な部材が壁面の一部に配置されていることがあり、コンテンツの投影に適していない領域(投影不適領域)が存在しうる。そして、このような投影不適領域にコンテンツの一部を投影してしまうと、その部分のコンテンツの視認性が低下するという問題がある。これに対し、下記特許文献1に記載された発明では、コンテンツ全体を上下又は左右に2分割し、投影不適領域を挟んで、それら2分割したコンテンツを上下又は左右に配置している。
特開2015-139004号公報
 しかしながら、上記先行技術文献に係る発明によると、投影不適領域を挟むようにして、上下又は左右に2分割したコンテンツを離間して配置するだけなので、投影領域を上下方向又は左右方向に貫くよう帯状に投影不適領域が存在するという特別の場合以外、投影領域のうち投影不適領域以外の領域(投影可能領域)を有効活用することができない、という問題があった。
 本発明は上記課題に鑑みてなされたものであって、その目的は、投影可能領域を有効活用しつつ、投影不適領域によるコンテンツの部分的な視認性低下を防止できるコンテンツ投影制御装置、コンテンツ投影制御方法及びプログラムを提供することにある。
 本発明に係るコンテンツ投影制御装置は、複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上の画像又は複数の文字を含む、コンテンツデータ取得手段と、投影領域を示す投影領域データを取得する投影領域データ取得手段と、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段と、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段と、前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段と、を含む。
 また、本発明に係るコンテンツ投影制御方法は、複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、ステップと、投影領域を示す投影領域データを取得するステップと、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定するステップと、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成するステップと、前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するステップと、を含む。
 また、本発明に係るプログラムは、複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、コンテンツデータ取得手段、投影領域を示す投影領域データを取得する投影領域データ取得手段、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段、及び前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段としてコンピュータを機能させるためのプログラムである。このプログラムは、半導体メモリ、磁気ディスク、光ディスクなどのコンピュータ可読情報記憶媒体に格納されてよい。
本発明の実施形態に係るコンテンツ投影制御装置のシステム構成図である。 本発明の実施形態に係るコンテンツ投影制御装置により壁面に投影されるコンテンツの一例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置によりコンテンツが投影される壁面の一例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置により、図2に示すコンテンツのレイアウトを変更し、図3に示される壁面に投影した様子を示す図である。 図2に示されるコンテンツから生成される配置単位を示す図である。 図5(e)に示される配置単位をさらに分割することにより生成される配置単位を示す図である。 図3に示される壁面における投影不適領域及び投影可能領域を示す図である。 図7に示される投影可能領域に各配置単位を配置した例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置の機能ブロック図である。 本発明の実施形態に係るコンテンツ投影制御装置の動作フロー図である。 本発明の実施形態に係るコンテンツ投影制御装置によるレイアウト変更の他の例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置によるレイアウト変更のさらに他の例を示す図である。 投影不適領域の変化に応じてコンテンツのレイアウト変更を随時行うためのコンテンツ投影制御装置の動作フロー図である。
 以下、本発明の実施形態に係るコンテンツ投影制御装置について図面に基づいて詳細に説明する。
 図1は、本実施形態に係るコンテンツ投影制御装置のシステム構成図である。コンテンツ投影制御装置はパーソナルコンピュータ、スマートフォン、タブレットなどのコンピュータ12を中心に構成されており、同コンピュータ12にはカメラ16とコンテンツ投影装置であるプロジェクタ14とが接続されている。コンピュータ12はCPUやメモリを含んで構成されており、CPUがコンピュータプログラムを実行することにより、本発明に係る各種情報処理を行う。このコンピュータプログラムは磁気ディスク、光ディスク、半導体メモリなどのコンピュータ可読情報記憶媒体からコンピュータ12に読み出されてよい。或は、インターネット等の通信ネットワークからダウンロードされてよい。
 プロジェクタ14はコンピュータ12から供給されるコンテンツのデータを映像化して、専用の投影スクリーンや壁面等の投影面に投影する。ここでは、部屋の壁面18の一部をコンテンツの投影領域40とし、そこにプロジェクタ14がコンテンツを投影するものとする。カメラ16は壁面18の投影領域40を撮影し、撮影データをコンピュータ12に供給する。この撮影データは、コンピュータ12において、投影領域40のうち投影可能領域及び投影不適領域を判定するのに用いられる。なお、プロジェクタ14及びカメラ16の一方又は双方はコンピュータ12に内蔵されてもよい。
 図2は、本発明のコンテンツ投影制御装置により壁面18に投影されるコンテンツの一例を示す図である。コンテンツ20は、例えば新聞記事やプレゼンテーション資料であり、HTML形式やパワーポイント(登録商標)形式といったベクタ形式のコンテンツデータにより記述されている。コンピュータ12は、ベクタ形式のコンテンツデータをレンダリングすることにより、ラスタ形式のデータ(画像データ)を得ることができる。
 コンテンツ20は複数のオブジェクトA~Jを含んでおり、コンテンツデータは、各オブジェクトの内容、属性、表示制御情報(表示位置、表示フォント、出力サイズなど)を示している。オブジェクトA~Jはそれぞれ、1の画像又は複数文字のいずれかを少なくとも含んでいる。典型的には、オブジェクトA~Jは文章、画像、又は文章と画像の組み合わせである。
 オブジェクトA~Jの属性は、「タイトル」や「本文」といったコンテンツにおける要素タイプであってよい。さらに、バナー広告画像等、特定目的のオブジェクトに対しては、「広告」等といった目的であってよい。
 ここでは、オブジェクトAの属性は「タイトル」であり、オブジェクトB及びCの属性は「本文」である。オブジェクトD乃至F,G乃至Jの属性は「広告」である。本実施形態においてオブジェクトの属性には優先度が設定されており、「タイトル」の優先度が最も高く、「本文」の優先度が次に高く、「広告」の優先度が最も低いものとする。
 図3は、本実施形態に係るコンテンツ投影制御装置によりコンテンツ20が投影される壁面18の一例を示す図である。同図に示されるように、壁面18の投影領域40の右上隅には時計等の設置物42が配置されている。このため、設置物42の上にはコンテンツ20を良好に投影することができない。本実施形態によれば、図2に示されるコンテンツ20のレイアウトを変更し、設置物42を避けるようコンテンツ20のオブジェクトA~Jを再配置している。
 図4は、本実施形態に係るコンテンツ投影制御装置により、図2に示されるコンテンツ20のレイアウトを変更し、レイアウト変更後のコンテンツ20を、図3に示される壁面18に投影した様子を示す図である。このように本実施形態によれば、コンテンツ20のレイアウトを大きく変更することにより、投影領域のうち設置物42が配置されていない領域を有効に活用して、オブジェクトA~Jを投影することができる。
 このようなコンテンツ20のレイアウト変更を実現するために、コンピュータ12は、コンテンツ20から図5(a)~(e)に示される配置単位21~25を生成している。ここで、同図(a)に示される配置単位21は、元のコンテンツ20において左右に隣接して配置されている3つの広告画像であるオブジェクトD~Fを含んでいる。同図(b)に示される配置単位22は、タイトル画像であるオブジェクトAを含んでいる。同図(c)に示される配置単位23は、本文の一部を示す文書オブジェクトであるオブジェクトBを含んでいる。同様に、同図(d)に示される配置単位24は、本文の他の一部を示す文書オブジェクトであるオブジェクトCを含んでいる。同図(e)に示される配置単位25は、元のコンテンツ20において上下に隣接して配置されている4つの広告画像であるオブジェクトG~Jを含んでいる。すなわち、配置単位21~25は、1のオブジェクト、又は上下又は左右方向に隣接する複数のオブジェクトを含んでいる。
 配置単位21~25は、例えば、いずれもラスタ形式のデータとしてコンピュータ12により生成される。上述のようにコンピュータ12は、ベクタ形式のコンテンツデータをレンダリングすることにより、ラスタ形式のコンテンツ20のデータを得ることができる。このとき、コンピュータ12は、コンテンツデータに含まれる各オブジェクトの表示制御情報に基づき、各配置単位のラスタ形式のデータを取得できる。例えば、各オブジェクトの表示制御情報を手掛かりに、コンテンツ全体のラスタ形式のデータの一部を切り取ることにより、各配置単位のラスタ形式のデータを取得してよい。或は、ベクタ形式のコンテンツデータのうち、1つの配置単位に対応する部分だけをレンダリングすることにより、そのオブジェクトのラスタ形式のデータを取得してよい。なお、配置単位21~25は、ベクタ形式のコンテンツデータを編集することにより、ベクタ形式のデータとして生成されてもよい。
 図6は、図5(e)に示される配置単位25をさらに分割することにより生成される配置単位25a~25dを示す図である。図4に示すように、オブジェクトG~Jを縦一列に配置した配置単位25は、そのままでは設置物42の下方に投影することができない。このため、本実施形態では、図5(e)に示される配置単位25を、図6に示される配置単位25a~25dに分割し、それらを図4に示されるように2列に配置している。
 ここで、投影領域40における投影不適領域及び投影可能領域の判定について説明する。図7は、図3に示される壁面18の投影領域40における投影不適領域44及び投影可能領域45を示す図である。同図に示すように、設置物42の位置は投影不適領域44と判定されており、それ以外の領域が投影可能領域45と判定されている。コンピュータ12は、投影領域40の画像をカメラ16により撮影し、撮影データから投影不適領域44及び投影可能領域45を判定する。例えば、投影領域40に既知のパターン画像を投影し、その画像を撮影する。既知のパターン画像は、例えば十字等の既知のマークを多数配列した画像である。撮影データにエッジ抽出処理を施し、処理済み撮影画像を生成する。一方、元のパターン画像自体にも同じエッジ抽出処理を施し、処理済み元パターン画像を生成する。そして、投影領域40を複数のブロック領域に区画し、ブロック領域ごとに、処理済み撮影画像と処理済み元パターン画像の差分量を演算する。そして、差分量が閾値以上であるブロック領域を投影不適領域44と判定し、差分量が閾値未満であるブロック領域を投影可能領域45と判定する。
 ここで、パターン画像の代わりに、コンテンツ20の画像を用いても、投影不適領域44及び投影可能領域45を判定できる。こうすれば、パターン画像を投影領域40に投影せずに済む。
 さらに、何も投影していない状態、又は無模様の画像を投影した状態の投影領域40の画像をカメラ16により撮影して、こうして得られる撮影画像に基づいて、簡易に投影不適領域44及び投影可能領域45を判定することもできる。すなわち、撮影画像にエッジ抽出処理を施すとともに、エッジを示す画素の量を上記のブロック領域ごとに計数する。そして、画素の量が閾値以上であれば投影不適領域44と判定し、閾値未満であれば投影可能領域45と判定する。
 さらに、カメラ16が測距手段を備え、カメラ16から被写体までの距離を取得できる場合には、該距離により被写体である壁面18の形状を判別し、判別される形状から投影不適領域44及び投影可能領域45を判定してよい。すなわち、時計等の設置物42がある場所は手前にせり出しており、こうした領域は投影不適領域44と判定してよい。
 図8は、図7に示される投影可能領域45に配置単位21~24及び25a~25dを配置した例を示す図である。本実施形態では、配置単位21~25に対して、まず優先度が設定される。優先度は、配置単位に含まれるオブジェクトの属性、配置単位に含まれるオブジェクトの投影サイズの平均値に基づいて算出される。例えば、配置単位に含まれている、各オブジェクトに付与された属性の優先度を平均し、その平均値が高いほど当該配置単位の優先度を高くする。オブジェクトに付与された属性はコンテンツデータから取得すればよい。また、配置単位に含まれている、各オブジェクトの元の投影サイズを平均し、その平均値が高いほど当該配置単位の優先度を高くする。これにより、元の投影サイズが相対的に大きいオブジェクトを含む配置単位ほど、高い優先度が付与されることになる。オブジェクトの元の投影サイズもコンテンツデータから取得すればよい。また、各オブジェクトが投影されたり表示されたりした出力履歴がコンピュータ12等に記録されている場合には、既に投影されたり表示されたりした回数が多いオブジェクトほど優先度を低くし、そのようなオブジェクトを含む配置単位の優先度も低くしてよい。
 投影可能領域45はL字状の領域であり、優先度が高いものから順に、配置単位21~24及び25a~25dが配置される。ここでは、優先度の高い「タイトル」の属性が付されたオブジェクトAを含む配置単位22、優先度が次に高い「本文」の属性が付されたオブジェクトB及びCをそれぞれ含み、それらの投影サイズの大きい配置単位23及び24、優先度が低い「広告」の属性が付されたオブジェクトD~F及びG~Jを含み、各オブジェクトの投影サイズが小さい配置単位21及び25、の順で優先度が設定されたとする。このため、配置単位22に対して、最初に投影位置が決定される。配置単位22は投影可能領域45内で上下左右に移動され、また適宜縮小されることにより、複数の場所に投影することができるが、そのうち、配置評価値Eの最も高い位置が投影位置となる。すなわち、配置評価値Eを、1)元の配置単位の位置と新しい位置との距離が大きいほど小さくなり、2)投影位置に配置する際に適用する縮小率が小さいほど小さくなり、3)投影可能領域45の左上に近いほど大きくなる、との条件を満たす関数とする。とすると、配置単位22は投影可能領域45の左上に配置され、配置単位23及び24はその下側に順に配置される。また、配置単位21はさらにその下側に配置される。次に、配置単位25は、配置単位21の右側、すなわち投影不適領域44の下側に収まらないので、配置単位25a~25dに分割される。そして、投影不適領域44の下側に2列に配置される。以上の処理の結果、図4に示されるように、配置物42を避けるようにレイアウト変更されたコンテンツ20が壁面18に表示される。
 ここで、コンピュータ12で実行される情報処理について、さらに具体的に説明する。図9は、コンピュータ12の機能ブロック図である。コンピュータ12は、機能的にはコンテンツデータ取得部12a、投影領域データ取得部12b、配置単位生成部12c、投影不適領域判定部12d及びレイアウト変更部12eを含んでいる。これらの機能は、コンピュータ12が本発明の実施形態に係るコンピュータプログラムを実行することにより、実現されるものである。
 コンテンツデータ取得部12aは、コンテンツを示すコンテンツデータを取得する。ここで、コンテンツは複数のオブジェクトを含み、各オブジェクトは1以上の画像又は複数の文字を含む。投影領域データ取得部12bは、投影領域40を示す投影領域データを取得する。ここでは、投影領域データは、カメラ16による投影領域40の撮影画像データである。
 投影不適領域判定部12dは、投影領域データに基づき、投影領域40のうち投影不適領域44及び投影可能領域45を判定する。上述のように、投影領域判定部12dは、コンテンツデータが示すコンテンツを投影した投影領域40の撮影画像と、同コンテンツの画像と、に基づいて、投影不適領域44を判定してよい。また、配置単位生成部12cは、コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する。
 さらに、レイアウト変更部12eは、投影不適領域44の位置に基づいて、配置単位ごとにその投影位置を決定することにより、配置単位のレイアウトを変更する。レイアウト変更部12eは、各配置単位の優先度を設定してよい。例えば優先度は、各配置単位に含まれる各オブジェクトの元の投影サイズに基づいて決定されてよい。また、優先度は、各配置単位に含まれるオブジェクトの属性に基づいて決定されてよい。さらに、優先度は、各配置単位に含まれるオブジェクトの出力履歴に基づいて決定されてよい。
 そして、レイアウト変更部12eは、各配置単位の優先度に従って、その投影位置を決定する。このとき、レイアウト変更部12eは、配置単位ごと個別に縮小率を適用して投影サイズを縮小する。このため、各配置単位に適用される縮小率は必ずしも同じ値とはならない。
 図10は、本実施形態に係るコンテンツ投影制御装置の動作フロー図である。同図に示すように、コンテンツ投影制御装置では、まずコンテンツデータ取得部12aがコンテンツデータを取得する(S100)。コンテンツデータは、例えばインターネット等の通信ネットワークから受信してよいし、半導体メモリ等の記憶手段から読み出されてもよい。次に、配置単位生成部12cがコンテンツデータから配置単位を生成する(S101)。さらに、投影領域データ取得部12bがカメラ16から投影領域40の撮影画像データを取得する(S102)。そして、撮影画像データに基づいて、投影不適領域判定部12dは撮影不適領域44及び投影可能領域45を判定する(S103)。
 その後、レイアウト変更部12eは基準縮小率を決定する(S104)。基準縮小率は、例えば投影可能領域45のサイズ(面積)を投影領域40のサイズ(面積)で除した値に基づいて決定されてよい。例えば、基準縮小率は、当該除算値を所定割合だけ大きくした値としてよい。すべての配置単位には、基準縮小率又はそれより小さな値の縮小率が適用され、縮小されることになる。こうすれば、より多くの配置単位を投影対象として投影画像に含めることができるようになる。
 次に、レイアウト変更部12eは各配置単位の優先度を決定する(S105)。優先度は、既に説明したとおり、配置単位に含まれるオブジェクトの属性、オブジェクトの投影サイズ、オブジェクトの出力履歴によって決定される。
 その後、レイアウト変更部12eは、優先度の最も高い配置単位から順に(S106)、すべての配置単位について投影位置及び縮小率を決定する(S106~S113)。すなわち、各配置単位を投影可能領域45内で上下左右に移動させ、かつ複数の縮小率を適用して、該投影可能領域45内で投影可能な位置及びその位置での縮小率を決定する(S107)。但し、配置単位に適用される縮小率はS104で決定した縮小率よりも小さな値とする。すなわち、S104で決定した縮小率を適用した場合と同じか、それよりも小さくなるよう、配置単位を縮小する。また、縮小率には、所定の制限値が設けられており、該制限値より小さな値は取りえないものとする。こうすれば、判読困難な程に縮小することがない。
 そして、投影可能領域45内に配置単位を投影可能な位置及び縮小率があれば(S108)、既に説明した配置評価値Eが最大となる投影位置及び縮小率を決定する(S111)。また、投影可能領域45内に配置単位を投影可能な位置及び縮小率がなければ(S108)、図6に示されるように配置単位をさらに分割し(S110)、S107以降の処理を実行する。このとき、配置単位21や25のように、配置単位が複数のオブジェクトを含んでいなければ(S109)、当該配置単位の投影は取りやめ、次の優先度の配置単位について投影位置及び縮小率を決定する(S113)。以上の処理を、すべての配置単位について繰り返す(S112)。図11は、カレンダー等の他の設置物41,43により投影領域40の右下隅及び左下隅に投影不適領域が広がった場合の投影例を示している。同図の例では、配置単位I及びJを配置可能な位置及び縮小率は存在せず、従ってこれらの配置単位は投影されない。
 その後、レイアウト変更部12eは、各S111で決定された縮小率で縮小するとともに、S111で決定された投影位置に配置することにより、レイアウト変更されたコンテンツの投影画像を生成する(S114)。この投影画像がプロジェクタ14により壁面18に投影されることにより、図4に示される映像が壁面に現れる。
 以上説明したコンテンツ投影制御装置によれば、コンテンツ20から複数の配置単位21~25が生成される。各配置単位21~25は、1のオブジェクト又は隣接する複数のオブジェクトを含む。そして、レイアウト変更部12eは、投影不適領域44及び投影可能領域45の位置に基づいて、配置単位ごとにその投影位置を決定する。このため、投影可能領域45を有効活用しつつ、投影不適領域によるコンテンツの部分的な視認性低下を防止することができる。
 なお、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、レイアウト変更部12eは、優先度の低い配置単位については、投影不適領域44に配置してもよい。図12は、カレンダー等の他の設置物41により生じた投影不適領域(投影領域40の右下隅)に、配置単位25c(オブジェクトI)及び25d(オブジェクトJ)が配置された様子を示している。このようにすれば、優先度の低い配置単位を全く投影されないという事態を避けることができる。
 また、以上の説明では、投影不適領域44及び投影可能領域45が変化しないことを前提としたが、投影不適領域44及び投影可能領域45が変化する場合にも、本発明は同様に適用することができる。図13は、投影不適領域44及び投影可能領域45の変化に応じてレイアウト変更するためのコンテンツ投影制御装置の動作フロー図である。S201乃至S206において長周期の監視を行い、S207乃至S212で短周期の監視を行う。
 同図に示すように、コンテンツ投影制御装置は、まず前回のレイアウト変更から時間T1が経過するタイミングを待機する(S201)。そして、時間T1が経過すれば、現在投影中のコンテンツデータを取得し(S202)、さらに現在コンテンツが投影された投影領域40の撮影画像データを取得する(S203)。そして、S202及びS203で取得されたデータに基づき、投影不適領域44を判断する(S204)。例えば、コンテンツデータが示すコンテンツ画像にエッジ抽出処理を施すとともに、投影領域40の撮影画像にエッジ抽出処理を施す。そして、投影領域40を複数のブロック領域に区画し、ブロック領域ごとに、処理済み撮影画像と処理済みコンテンツ画像の差分量を演算する。そして、差分量が閾値以上であるブロック領域を投影不適領域44と判定し、差分量が閾値未満であるブロック領域を投影可能領域45と判定する。
 次に、S204で生成された投影不適領域44と、その直前に生成された投影不適領域44(現在のコンテンツのレイアウト変更の前提となっているもの)と、の差分量を演算する(S205)。そして、その差分量が閾値α以下であればS201に戻る。
 一方、投影不適領域44の差分量が閾値αより大きければ、長周期の監視を終了し、短周期の監視を開始する。すなわち、前回、投影不適領域44を生成したタイミング(S204又はS210の実行タイミングのうち直近のタイミング)から時間T2が経過したかを判断する(S207)。この時間T2は既出の時間T1よりも十分に短く、具体的には時間T1は時間T2の数倍以上であることが望ましい。
 前回、投影不適領域44を生成したタイミングから時間T2が経過していれば、現在投影中のコンテンツデータを取得し(S208)、さらに現在コンテンツが投影された投影領域40の撮影画像データを取得する(S209)。そして、S208及びS209で取得されたデータに基づき、投影不適領域44を判断する(S210)。
 その後、最後にS204で投影不適領域44を生成したタイミング、すなわち長周期の監視を終了したタイミングから時間T3が経過したかを判断する(S211)。この時間T3は時間T2の数倍以上であり、時間T1より短いことが望ましい。時間T3が経過していなければ、S207に戻る。
 一方、時間T3が経過していれば、投影不適領域44が現在変化中であるか否かを判断する(S212)。例えば、直前の時間T3において生成されたすべての投影不適領域44から2つの投影不適領域44を抽出し、その差分量を演算する。そして、すべての組み合わせについて差分量を演算し、そのいずれもが所定閾値未満であれば、投影不適領域44は変化中でないと判断する。投影不適領域44が現在変化中であれば、S201に戻り、変化中でなければ、図10に示すレイアウト変更処理を再実行する(S213)。
 以上の処理によれば、投影領域40の前を人が横切ったり、レーザーポインタの光が通過したりするなど、動的な投影不適領域44の変化によっては、レイアウトの再変更は実施されない。このため、レイアウト再変更が頻繁に繰り返される事態を防止できる。また、上述のように長周期の監視と短周期の監視を組み合わせているため、長周期の監視により、投影不適領域44の生成処理(S204)を最小限に抑えつつ、短周期の監視により、静的(固定的)な投影不適領域44の変化を速やかに検出することができる。
 12 コンピュータ、12a コンテンツデータ取得部、12b 投影領域データ取得部、12c 配置単位生成部、12d 投影不適領域判定部、12e レイアウト変更部、14 プロジェクタ、16 カメラ、18 壁面、20 コンテンツ、21~25 配置単位、40 投影領域、41,42 設置物、44 投影不適領域、45 投影可能領域。

 

Claims (12)

  1.  複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上の画像又は複数の文字を含む、コンテンツデータ取得手段と、
     投影領域を示す投影領域データを取得する投影領域データ取得手段と、
     前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段と、
     前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段と、
     前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段と、
     を含むコンテンツ投影制御装置。
  2.  請求項1に記載のコンテンツ投影制御装置において、
     前記投影領域判定手段は、前記コンテンツデータが示すコンテンツを投影した前記投影領域の撮影画像と、前記コンテンツの画像と、に基づいて、前記投影不適領域を判定する、コンテンツ投影制御装置。
  3.  請求項1又は2に記載のコンテンツ投影制御装置において、
     前記各配置単位の優先度を設定する優先度設定手段をさらに含む、コンテンツ投影制御装置。
  4.  請求項3に記載のコンテンツ投影制御装置において、
     前記優先度設定手段は、前記各配置単位に含まれるオブジェクトの投影サイズに基づいて、前記各配置単位の優先度を決定する、コンテンツ投影制御装置。
  5.  請求項3に記載のコンテンツ投影制御装置において、
     前記優先度設定手段は、前記各配置単位に含まれるオブジェクトの属性に基づいて、前記各配置単位の優先度を決定する、コンテンツ投影制御装置。
  6.  請求項3に記載のコンテンツ投影制御装置において、
     前記優先度設定手段は、前記各配置単位に含まれるオブジェクトの出力履歴に基づいて、前記各配置単位の優先度を決定する、コンテンツ投影制御装置。
  7.  請求項3乃至6のいずれかに記載のコンテンツ投影制御装置において、
     前記レイアウト変更手段は、前記優先度に従って、前記各配置単位の投影位置を決定する、コンテンツ投影制御装置。
  8.  請求項7に記載のコンテンツ投影制御装置において、
     前記レイアウト変更手段は、前記優先度に基づいて選択される前記配置単位を、前記投影不適領域に配置する、コンテンツ投影制御装置。
  9.  請求項3乃至8のいずれかに記載のコンテンツ投影制御装置において、
     前記レイアウト変更手段は、前記配置単位ごと個別に縮小率を適用して投影サイズを縮小する、コンテンツ投影制御装置。
  10.  請求項1乃至9のいずれかに記載のコンテンツ投影制御装置において、
     前記レイアウト変更手段は、前記投影領域のうち前記投影不適領域が変化するのに応じて、前記配置単位のレイアウトを変更する、コンテンツ投影制御装置。
  11.  複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、コンテンツデータ取得手段、
     投影領域を示す投影領域データを取得する投影領域データ取得手段、
     前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段、
     前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段、及び
     前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段
     としてコンピュータを機能させるためのプログラム。
  12.  複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、ステップと、
     投影領域を示す投影領域データを取得するステップと、
     前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定するステップと、
     前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成するステップと、
     前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するステップと、
     を含むコンテンツ投影制御方法。

     
PCT/JP2016/051191 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム WO2017122363A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/051191 WO2017122363A1 (ja) 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
JP2017561497A JP6479220B2 (ja) 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
US16/069,885 US10432901B2 (en) 2016-01-15 2016-01-15 Content projection control apparatus, content projection control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/051191 WO2017122363A1 (ja) 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2017122363A1 true WO2017122363A1 (ja) 2017-07-20

Family

ID=59312091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051191 WO2017122363A1 (ja) 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム

Country Status (3)

Country Link
US (1) US10432901B2 (ja)
JP (1) JP6479220B2 (ja)
WO (1) WO2017122363A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039119A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019219662A (ja) * 2019-07-03 2019-12-26 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力方法及びデータ入力プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077516A (ja) * 2002-08-09 2004-03-11 Sharp Corp 表示装置
JP2011008111A (ja) * 2009-06-26 2011-01-13 Canon Inc 表示装置及びその制御方法
JP2013148868A (ja) * 2011-12-21 2013-08-01 Ricoh Co Ltd 画像投影装置、画像処理装置、画像処理方法およびプログラム
WO2015111158A1 (ja) * 2014-01-22 2015-07-30 堺ディスプレイプロダクト株式会社 表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026649B2 (ja) * 2005-02-16 2007-12-26 セイコーエプソン株式会社 プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
US8723787B2 (en) * 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
CN102959616B (zh) * 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
EP2439700B1 (en) * 2010-10-06 2013-05-01 Alcatel Lucent Method and Arrangement for Identifying Virtual Visual Information in Images
JP2013120203A (ja) * 2011-12-06 2013-06-17 Seiko Epson Corp 画像表示装置、画像表示システム、及び画像表示装置の制御方法
US20130155308A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image
US20130174035A1 (en) * 2011-12-30 2013-07-04 United Video Properties, Inc. Systems and methods for representing a content dependency list
JP2014035656A (ja) * 2012-08-09 2014-02-24 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9973722B2 (en) * 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
US20150130912A1 (en) * 2013-11-14 2015-05-14 Sony Network Entertainment International Llc Projector for use with television display
JP6508874B2 (ja) 2014-01-20 2019-05-08 キヤノン株式会社 映像投影装置、映像投影方法、およびコンピュータプログラム
JP2015161830A (ja) * 2014-02-27 2015-09-07 株式会社リコー 画像投影システムおよび画像投影装置
JP6519157B2 (ja) * 2014-06-23 2019-05-29 カシオ計算機株式会社 情報評価装置、情報評価方法、及びプログラム
JP6829375B2 (ja) * 2016-09-28 2021-02-10 ミツミ電機株式会社 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077516A (ja) * 2002-08-09 2004-03-11 Sharp Corp 表示装置
JP2011008111A (ja) * 2009-06-26 2011-01-13 Canon Inc 表示装置及びその制御方法
JP2013148868A (ja) * 2011-12-21 2013-08-01 Ricoh Co Ltd 画像投影装置、画像処理装置、画像処理方法およびプログラム
WO2015111158A1 (ja) * 2014-01-22 2015-07-30 堺ディスプレイプロダクト株式会社 表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039119A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN111052044A (zh) * 2017-08-23 2020-04-21 索尼公司 信息处理装置、信息处理方法和程序
JPWO2019039119A1 (ja) * 2017-08-23 2020-07-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11417135B2 (en) 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
JP7211367B2 (ja) 2017-08-23 2023-01-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019219662A (ja) * 2019-07-03 2019-12-26 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力方法及びデータ入力プログラム

Also Published As

Publication number Publication date
JP6479220B2 (ja) 2019-03-06
US10432901B2 (en) 2019-10-01
JPWO2017122363A1 (ja) 2018-11-01
US20190124306A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
US20170229099A1 (en) Display apparatus and method for controlling display apparatus
US8953048B2 (en) Information processing apparatus and control method thereof
KR102463304B1 (ko) 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
EP3043343A1 (en) Information processing device, information processing method, and program
US20160203628A1 (en) Information processing device editing map acquired from server
US20120176415A1 (en) Graphical display system with adaptive keystone mechanism and method of operation thereof
JP5870586B2 (ja) プロジェクタ制御装置、表示装置及びプログラム。
JP2007041866A (ja) 情報処理装置及び情報処理方法並びにプログラム
CN107832103A (zh) 基于Android系统的UI控件背景模糊处理和动态显示的方法
US20130271667A1 (en) Video processing apparatus and video processing method
JP2011082798A (ja) 投写型映像表示装置
JP6479220B2 (ja) コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
CN113504964B (zh) 页面组件高度确定方法、装置、计算机设备和存储介质
CN107547727B (zh) 一种图像预览方法和装置
US8441523B2 (en) Apparatus and method for drawing a stereoscopic image
US20160224224A1 (en) Information processing apparatus, display control method for information processing apparatus, and storage medium
CN114049865B (zh) 屏幕刷新方法、装置、计算机可读存储介质及计算机设备
CN109104627B (zh) 安卓电视的焦点背景生成方法、存储介质、设备及系统
JP2016042372A (ja) 端末用プログラム、端末装置及び端末制御方法
JP7347205B2 (ja) 投写システムの制御方法、投写システム及び制御プログラム
CN114820834A (zh) 一种效果处理方法、装置、设备及存储介质
US10893205B2 (en) Image display method and image display device using the same
CN112508774B (zh) 图像的处理方法及装置
JP2013178400A (ja) 画像投影装置、画像生成方法及びプログラム
JP6489733B2 (ja) 画像出力装置、画像出力方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884966

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017561497

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16884966

Country of ref document: EP

Kind code of ref document: A1