WO2016063392A1 - 投影装置及び画像処理プログラム - Google Patents

投影装置及び画像処理プログラム Download PDF

Info

Publication number
WO2016063392A1
WO2016063392A1 PCT/JP2014/078176 JP2014078176W WO2016063392A1 WO 2016063392 A1 WO2016063392 A1 WO 2016063392A1 JP 2014078176 W JP2014078176 W JP 2014078176W WO 2016063392 A1 WO2016063392 A1 WO 2016063392A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
color
projection
projection information
superimposed
Prior art date
Application number
PCT/JP2014/078176
Other languages
English (en)
French (fr)
Inventor
英敏 鈴木
裕幸 前川
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2016555016A priority Critical patent/JP6454925B2/ja
Priority to PCT/JP2014/078176 priority patent/WO2016063392A1/ja
Publication of WO2016063392A1 publication Critical patent/WO2016063392A1/ja
Priority to US15/490,706 priority patent/US20170223319A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed

Definitions

  • the present invention relates to a projection apparatus and an image processing program.
  • Patent Document 1 when the displayed projection image is superimposed on other information, depending on the color on which the other information is displayed, it is difficult to determine the color of the superimposed projected image.
  • the problem that the visual recognizability (hereinafter also referred to as “visibility”) is not solved.
  • an object of the present invention is to ensure the visibility of projection information when projection information is projected on an object.
  • the acquisition unit that acquires the color information of the object from the captured image of the object placed on the placement surface, and the information stored in association with the information included in the specified range of the object
  • a projection unit that projects projection information onto the mounting surface
  • a detection unit that detects whether the projection information is superimposed on the object, and a case where it is detected that the projection information is superimposed on the object
  • the color of the superimposed projection information is changed to a color different from the color of the object
  • a changing unit that changes the color information of the object from the captured image of the object placed on the placement surface, and the information stored in association with the information included in the specified range of the object
  • FIG. 1 is a diagram showing an example of the overall configuration of a projection apparatus according to an embodiment.
  • the figure which shows an example of the projection color information database concerning one Embodiment. 6 is a flowchart illustrating an example of a processing process for projected color according to the first embodiment.
  • the figure for demonstrating the other example of the process of the projection color concerning one Embodiment. 10 is a flowchart illustrating an example of a processing process for projected color according to the second embodiment.
  • the projection device 1 includes an input / output device 10 and a control device 30.
  • the input / output device 10 and the control device 30 are connected via a network 35.
  • the input / output device 10 includes a housing 10a, projectors 11, two position detection cameras 12, and an imaging camera 13.
  • the projector 11 and the two position detection cameras 12 and the imaging camera 13 are attached to the ceiling of the housing 10a.
  • the projector 11 is attached downward in the center of the inner wall side of the ceiling portion of the casing 10a.
  • the projector 11 projects desired projection information on the mounting table 20.
  • the two position detection cameras 12 detect the position in the xy direction and the height in the z direction of the object 50 placed on the placement table 20.
  • the two position detection cameras 12 are provided at a predetermined distance from the ceiling of the housing 10a.
  • the two position detection cameras 12 have an eye function for detecting the state of the mounting table 20, and mainly detect the position and height of the object 50 mounted on the mounting table 20, or the hand 40.
  • the position and height of (an example of an indicator) are detected.
  • Examples of the object 50 include travel advertising paper, other documents, and a manuscript.
  • the object 50 is not limited to a paper medium, and may be a box type or other three-dimensional object.
  • the imaging camera 13 takes a target 50 placed on the mounting table 20 and a hand 40 indicating a specific position or range of the mounting table 20 as a captured image.
  • the input / output device 10 functions as a hand gesture input / output device. For example, when the specific button 51 in the target object 50 shown in FIG. 2A is tapped by a hand gesture (instruction of a specific position by movement of the hand 40), the input / output device 10 taps the button.
  • the projection information 60 linked to 51 is displayed within the projectable range 70 of the mounting table 20.
  • the input / output device 10 displays the projection information 60 linked to the target frame 52 in the designated range in the projectable range 70. . Display and non-display of the projection information 60 may be controlled by pressing the button 51.
  • control device 30 may be, for example, a personal computer (PC) or other electronic device capable of information processing.
  • the control device 30 acquires the captured image input by the input / output device 10, performs image processing of the captured image, and performs feature data on the color of the object 50 from the captured image (hereinafter referred to as “color information of the object 50”). Say).
  • the space that can be projected by the projector 11 (projectable range 70) is limited. For this reason, the projection information 60 may be displayed so as to overlap the object 50. At that time, depending on the characteristics of the object 50 (the color of the original document, the arrangement of characters / drawings in the original document), it becomes difficult to distinguish the color of the projection information 60 of the superimposed portion, and the visibility of the projection information 60 is reduced. . For example, when the object 50 is moved from the state of FIG. 2A to the state of FIG. 2B, the projection information 60 overlaps the object 50, and it becomes difficult to see the projection information 60 of the superimposed portion. There is a case.
  • control device 30 determines that the superimposed object 50 and the projection information 60 are difficult to visually recognize based on the color information of the object 50 and the color information of the projection information 60.
  • the visibility of the projection information 60 is ensured by changing the color or the like of the projection information 60.
  • the input / output device 10 has an input / output interface (I / F) 14.
  • the input / output interface 14 inputs a captured image on the mounting table 20 taken by the imaging camera 13 and information on the position and height of the object 50 and the hand 40 detected by the two position detection cameras 12. Transfer to device 30. Further, the input / output interface 14 outputs the projection information 60 transmitted from the control device 30 to the projector 11 and projects it onto the mounting table 20.
  • the control device 30 includes an acquisition unit 31, an image processing unit 32, a projection unit 33, a detection unit 34, a change unit 35, and a storage unit 36.
  • the storage unit 36 stores an object feature DB (database) 37, a projection information DB 38, and a projection color information DB 39.
  • the acquisition unit 31 acquires a captured image of the mounting table 20 including the mounted object 50.
  • the image processing unit 32 divides the captured image including the object 50 into a lattice (mesh) shape, and determines “background color” and “content color” for each of the divided blocks. .
  • the acquisition unit 31 acquires background color information and content color information of each block and stores them in the storage unit 36.
  • the background color information and the content color information of each block in which the object 50 is imaged are examples of the color information of the object 50.
  • the color information of the target object 50 is not limited to this, and may be information on at least one of background color information and content color information of each block.
  • color information of each block such as background color information a1 and content color information b1 of block 1 and background color information a2 and content color information b2 of block 2 shown in FIG. It is stored in the object feature DB 37 shown.
  • the object feature DB 37 includes a block No. 371, each block range 372, background color information a (representative color), content (display) range 374, and content color information b375.
  • the background color information a373 (the background color information a1 of the block 1 in FIG. 4) in which the 371 is “1” and the block range 372 is (x21, y21) ⁇ (x22, y22) has an exclusive area in the block 1.
  • the largest representative color “light blue” is stored.
  • the color information b375 (content color information b1 of the block 1 in FIG. 4) of the content in which the 371 is “1” and the content range 374 is (xa21, ya21) ⁇ (xa22, ya22) is representative of the content of the block 1
  • the color “white” is stored.
  • the distinction between background and content can be judged from the extraction of features such as exclusive area and characters for each block.
  • the content may be distinguished from the background by optically reading the image of each block and extracting characters.
  • the projection unit 33 projects the projection information 60 stored in the projection information DB 38 in association with the instructed information of the target object 50 (for example, information in the target frame 52 and the button 51) onto the mounting table 20.
  • the projection information DB 38 includes instruction information 381, projection information No. 382 and projection information contents 383.
  • the instruction information 381 indicates link information of a range indicated by the hand 40 pointing at two points in the object 50 or a tapped position.
  • Projection information No. Reference numeral 382 denotes a number (identification information) assigned for each projection information.
  • the content 383 of projection information is the content of information that is actually projected. For example, when the target frame 52 of “Hokkaido Travel” shown in FIG.
  • the projection unit 33 preferably projects the projection information 60 onto a block group having a color different from the color of the projection information 60 based on the color information of each block and the color information of the projection information 60. For example, the projection unit 33 projects the projection information 60 onto a block group of a color that is determined to be a blank portion where the projection information 60 is not displayed. In addition, when a part of the projection information 60 is displayed superimposed on the object 50, the projection unit 33 preferably projects the projection information 60 onto a block group of colors determined to be a margin of the projection information 60.
  • the detection unit 34 detects whether the projection information 60 is superimposed on the object 50.
  • the change unit 35 detects that the projection information 60 is superimposed on the object 50, the color information of the projection information 60 and the color information of the object 50 stored in the projection color information DB 39 in association with the projection information 60. Based on the above, the color of the superimposed projection information 60 is processed. In that case, the changing unit 35 changes the color of the superimposed projection information 60 to a color different from the color of the object 50. For example, it is preferable that the changing unit 35 changes the color of the superimposed projection information 60 to a color other than the same color as the color of the object 50 and a similar color to improve the visibility.
  • the projection color information DB 39 stores color information for each projection information 60.
  • the projection color information DB 39 includes the projection information No. 391, projection information size 392, background color information A393, content type (character / image) 394, and content color information (representative color) B395.
  • the content type (character / image) 394 can be omitted.
  • Projection information No. Reference numeral 391 denotes a number (identification information) assigned for each projection information.
  • the projection information size 392 of “P1” 391 is determined by “(xOO, yOO) ⁇ (x ⁇ , y ⁇ )”, and the background color information A393 is “purple”.
  • the projection information No. The content information 391 is “P1”, the first content type 394 is “character”, and the content color information B395 is “white”.
  • the second content type 394 is “character”, and the content color information B395 is “red”.
  • the third content type 394 is “image”, and the content color information B395 is “green”.
  • the changing unit 35 based on the color information of the projection information stored in the projection color information DB 39, based on the color information of the background of the projection information and the color information of the background of the object, the background color of the superimposed projection information. May be processed.
  • the change unit 35 may change the background color of the superimposed projection information to an intermediate color with the background color of the object.
  • the changing unit 35 also includes the content of the projection information superimposed on the basis of the color information of the content of the projection information and the color information of the content of the target object among the color information of the projection information stored in the projection color information DB 39. You may process the color. In this case, the changing unit 35 may change the color of the superimposed content of the projection information to an opposite color or a complementary color of the intermediate color with the color of the target content.
  • a color has each element of hue, saturation, and lightness, and can be specified by a combination of hue or hue and other elements.
  • the color may be specified only by the hue, the color may be specified by the hue and the saturation, the color may be specified by the hue and the brightness, or the color may be specified by the hue, the saturation, and the brightness.
  • a color may be specified.
  • the color can be specified by a combination of hue and luminance and a combination of hue and tone. That is, the color can be specified by only the hue or a combination of the hue and at least one of saturation, lightness, luminance, and tone.
  • the multicolor relationship will be described using a hue circle.
  • the hue circle the three primary colors are in the same position, are shown in the order of the light spectrum, and the order of arrangement is unchanged.
  • the same color indicates a color at the same position in the hue circle.
  • Similar colors indicate colors that are adjacent to each other in the hue circle or colors that are close to each other. Therefore, “colors other than the same color and similar colors” indicate colors excluding colors at the same position, adjacent positions, or positions close to the positions in the hue circle.
  • the color in the opposite position in the hue circle is called the complementary color, and the color adjacent to or near the complementary color is called the opposite color.
  • the intermediate color indicates a color located in the middle of one color and another color in the hue circle or a color close to the color.
  • the intermediate color may be any color located between one color and another color in the hue circle.
  • FIG. 9 is a flowchart showing the projection color processing according to the first embodiment.
  • the acquisition unit 31 acquires a captured image from the input / output device 10 (step S10).
  • the detection unit 34 detects the position of the object 50 and the designated range of the object 50 (step S12).
  • the image processing unit 32 divides the acquired captured image into a plurality of blocks, and detects feature data of each divided block (step S14).
  • the feature data is content information (characters and drawings) described on the object 50 and color information of the object 50.
  • the color information of the object 50 includes “background color” and “content color”.
  • the projection unit 33 selects the projection information 60 stored in the projection information DB 38 in association with the information of the designated range of the target object 50 (step S16).
  • the projection unit 33 searches for a position on the mounting table 20 where the projection information is projected (step S18).
  • the projection unit 33 determines whether or not the position where the visibility is ensured even if the selected projection information 60 is projected based on the color information of the target object 50 and the color information of the projection information 60 for each block. to decide.
  • the projection unit 33 may include a position other than the display position of the target object 50 where the projection information 60 is not superimposed on the target object 50, or a position where the projection information 60 is superimposed on a blank portion of the target object 50 even when superimposed.
  • the projection information 60 is applied to a block group in which the color of the target object 50 and the color of the projection information 60 are different. It is preferable to project.
  • the projection unit 33 determines whether there is a portion where the projection information 60 overlaps the object 50 at the derived projection position (step S20). When it is determined that there is no portion where the projection information 60 overlaps the target object 50, the projection unit 33 projects the projection information 60 at a position derived as a result of the search (step S22). Next, the projection unit 33 determines whether there is unprocessed projection information 60 among the projection information 60 selected in Step S16 (Step S28). As a result of the determination, when it is determined that there is no unprocessed projection information 60, the present process ends. On the other hand, when it is determined that there is unprocessed projection information 60 as a result of the determination, the process returns to step S18, and the processes after step S18 are executed for the unprocessed projection information 60.
  • step S20 when the projection unit 33 determines that there is a portion where the projection information 60 overlaps the target object 50, it determines whether the color of the target object 50 and the color of the projection information 60 are the same color or similar colors (step S20). S24).
  • the projection unit 33 may perform the determination by including, in the same color, a color at a position adjacent to the hue ring and separated by one color from the same position.
  • FIG. 10A illustrates a determination example 1 of the background color of the projection information 60 in the frame and the background color of the object 50 and the processing information 1 of the color of the projection information 60 based on the determination result.
  • FIG. 10B shows a determination example 2 of the color of the content of the projection information 60 in the frame and the color of the content of the target object 50, and modification 2 of the color of the projection information 60 based on the determination result.
  • the color processing of the projection information 60 shown in FIG. 10 is not limited to these examples, and other processing examples are not excluded.
  • the projection unit 33 compares the background color information a373 stored in the object feature DB 37 and the background color information A393 stored in the projection color information DB39. Then, it is determined whether they are the same color or similar colors.
  • the background color information a373 of the block 1 stored in the object feature DB 37 in FIG. 5 is “light blue”, and the projection information No. stored in the projection color information DB 39 in FIG.
  • the background color information A393 with “P1” 391 is “purple”. Light blue and purple are similar colors that are adjacent to each other across a blue color in the hue circle. Therefore, the projection unit 33 determines that the background color a1 of the block 1 of the object 50 (see FIG. 4) and the background color of the projection information 60 of P1 are similar colors.
  • the background color information a373 of the block 2 stored in the object feature DB 37 in FIG. 5 is “white”, and the projection information No. stored in the projection color information DB 39 in FIG.
  • the background color information A393 with “P1” 391 is “purple”. White and purple are not similar colors. Therefore, the projection unit 33 determines that the background color a2 of the block 2 of the object 50 (see FIG. 4) and the background color of the projection information 60 of P1 are the same color and colors other than the same color (not the same color but the same color). It is determined that the color is not a color but a different color.
  • the projecting unit 33 performs content color information 375 stored in the object feature DB 37 in FIG. 5 and content stored in the projection color information DB 39 in FIG.
  • the color information B395 is compared to determine whether the color is the same or similar.
  • the color information a375 of the content of the block 1 stored in the object feature DB 37 in FIG. 5 is “white”, and the projection information No. stored in the projection color information DB 39 in FIG.
  • the color information B395 of the content 391 is “P1” is divided into three display parts, and the representative color of each part is “white”, “red”, or “green”. Therefore, the projection unit 33 determines that the content color b1 of the block 1 of the target object 50 (see FIG. 4) and the content color of the projection information 60 of P1 are the same color.
  • the projection unit 33 determines that the content color b2 of the block 2 of the object 50 (see FIG. 4) and the content color of the projection information 60 of P1 are colors other than the same color and similar colors.
  • step S24 of FIG. 9 when the projection unit 33 determines that the color of the object 50 and the color of the projection information 60 are not the same color or similar colors, the projection information 60 is projected as it is to the position derived as a result of the search. (Step S22). In this case, even if the projection information 60 overlaps the object 50, no problem occurs in visual recognition, and therefore the color of the projection information 60 is not processed.
  • the changing unit 35 processes the color of the projection information 60 (step S26).
  • the projection unit 33 projects the processed projection information 60 (step S22).
  • the projection unit 33 determines whether there is unprocessed projection information 60 among the projection information 60 to be displayed selected in step S16 (step S28). The process ends.
  • Example 1 of color processing of projection information 60 The color processing example 1 of the projection information 60 in step S26 will be described with reference to FIG. 10 again.
  • the changing unit 35 changes the background color A1 of the projection information 60 (see the hatched portion in FIG. 11), for example, by the method shown in (1) to (3). .
  • the hue of the background color A1 of the projection information 60 is changed.
  • the hue and tone of the background color A1 of the projection information 60 are changed. Yes.
  • the changing unit 35 changes the background color A1 of the projection information 60 to a color other than the same color or a similar color to “light blue”. change.
  • the changing unit 35 changes the background color A1 of the projection information 60 to green or yellow based on the hue circle.
  • the changing unit 35 can change the background color A1 of the projection information 60 to “red (light blue complementary color)”, “pink (opposite color)”, “orange (opposite color)”, or the like.
  • the eyes may flicker when the background color A1 of the projection information 60 is changed to a complementary color or the opposite color.
  • the changing unit 35 sets the background color A1 of the projection information 60 to “light blue” of the background color a1 of the block 1 of the object 50 and “purple” of the background color A1 of the projection information 60. It is preferable to change to an intermediate color.
  • the intermediate color between light blue and purple is “blue”. Therefore, while the background color of the object 50 is light blue, the projection information 60 is projected by changing the background color of the projection information 60 from “purple” to “blue” which is an intermediate color between light blue and purple. The visibility of the projection information 60 can be improved.
  • the changing unit 35 changes the background color A1 of the projection information 60 while paying attention to the hue shown in (1) or (2), and also changes the tone of the changed color A1 when displayed. Good.
  • the changing unit 35 may change the saturation, lightness, and luminance of the changed color A1.
  • the changing unit 35 uses the method shown in (1) to (3), for example, for the content of the projection information 60.
  • the color B1 (see the shaded area in FIG. 12) is changed.
  • the content color b1 of the block 1 of the object is “white” and is the same color as the content color B1 of the projection information 60.
  • the changing unit 35 changes the color B1 of the content of the projection information 60 to a color other than the same color as “white” or a similar color.
  • the changing unit 35 may change the color B1 of the content of the projection information 60 to “red” or “black”.
  • the changing unit 35 changes the content color B1 of the projection information 60 to an intermediate color between the color b1 “white” of the content of the target object and the color B1 “white” of the content of the projection information 60 (in this case, the same color of white ) Or a complementary color.
  • the changing unit 35 changes the color B1 of the content of the projection information 60 to “black” or dark gray.
  • the changing unit 35 may change the content color B1 of the projection information 60 to a color opposite to the background color A1 of the projection information 60 or a complementary color. Thereby, the visibility of the projection information 60 can be improved. For example, even if the color B1 of the content of the projection information 60 is changed to “yellow”, the visibility is not improved so much.
  • the changing unit 35 changes the color B1 of the content of the projection information 60 while paying attention to the hue shown in (1) or (2), and also changes the tone of the changed color B1 when displayed. Good.
  • the changing unit 35 may change the saturation, lightness, and luminance of the changed color B1.
  • the projection apparatus 1 As described above, according to the projection apparatus 1 according to the first embodiment, even when the projection information 60 is projected onto the target object 50, the color information in the range overlapping with the target object 50 is displayed. By processing the projection information 60 based on this, the visibility of the projected projection information 60 can be ensured.
  • the changing unit 35 processes the color of the projection information 60 when it is determined that the color of the object 50 and the color of the projection information 60 are the same color or similar colors. However, regardless of whether the color of the object 50 and the color of the projection information 60 are the same color or similar colors, if it is necessary to ensure the visibility of the projection information 60 in the superimposed portion, The color of the projection information 60 that is present may be changed to a color different from the color of the object 50.
  • Second Embodiment Processing at the time of displaying projection information according to the second embodiment will be described with reference to FIGS. 13 and 14. As shown in FIG. 14, when the hand 40 operating the object 50 overlaps the projection information 60, the projection information 60 is directly reflected in the hand 40. In this state, there is a case where the visibility of the projection information 60 cannot be ensured at a portion where the projection information 60 overlaps.
  • the projection information 60 is moved to a position that does not overlap the hand 40 according to the movement of the hand 40.
  • the projection information 60 overlaps the object 50
  • the projection information 60 that overlaps the object 50 is processed to ensure the visibility of the projection information 60.
  • the movement of the hand 40 which is an example of an indicator
  • control is performed to move the projection information 60 so as to avoid the hand 40.
  • the color of the projection information 60 is processed based on the color information of the object 50 and the color information of the projection information 60, as in the first embodiment. Is called.
  • the detection unit 34 causes the hand 40 to tap a predetermined position (information) in the object 50, It is detected whether a range has been specified (step S30).
  • the detection unit 34 detects that the hand 40 has tapped a predetermined position (information) or the like, the projection unit 33 applies the designated button 51 or target frame 52 (see FIG. 14) based on the projection information DB 38.
  • the linked projection information 60 is projected onto the mounting table 20 (step S32).
  • the detection unit 34 determines whether the hand 40 overlaps the projection information 60 (step S34). When it is determined that the hand 40 does not overlap the projection information 60, the detection unit 34 proceeds to step S46 and determines whether the hand 40 has moved. If the detection unit 34 determines that the hand 40 has not moved, the detection unit 34 ends the present process. If the detection unit 34 determines that the hand 40 has moved, the process returns to step S34.
  • the projection unit 33 moves the projection position of the projection information 60 (step S36).
  • the projection position of the projection information 60 may be determined by a method described later in the third embodiment.
  • the detection unit 34 determines whether there is a portion where the moved projection information 60 overlaps the target object 50 (step S38). If the detection unit 34 determines that there is no overlapping portion, the process proceeds to step S46. If the detection unit 34 determines that there is an overlapping portion, the process proceeds to step S40.
  • the projection unit 33 determines whether the color of the object 50 and the color of the projection information 60 are the same color or similar colors (step S40). When the projection unit 33 determines that the color of the object 50 and the color of the projection information 60 are the same color or similar colors, the changing unit 35 processes the color of the projection information 60 (step S42). The projection unit 33 projects the processed projection information 60 (step S44).
  • step S44 Since the processing of the color of the projection information 60 in step S44 is the same as in the first embodiment, description thereof is omitted here.
  • the detection unit 34 determines again whether or not the hand 40 has moved (step S46). If it is determined that the hand 40 has not moved, this processing ends. If the detection unit 34 determines that the hand 40 has moved, it repeats the processing of steps S34 to S44.
  • the projection apparatus 1 when the hand 40 that operates the object 50 overlaps the projection information 60, the projection information 60 is moved to a position that does not overlap the hand 40.
  • the object 50 and the projection information 60 overlap and a problem occurs in visual recognition, the visibility of the projection information 60 is ensured by processing the projection information 60 in a range overlapping with the object 50. Can do.
  • ⁇ Third Embodiment> [Movement and display processing of projection information] Next, processing at the time of displaying the projection information 60 according to the third embodiment will be described.
  • the displayable space for the projection information 60 is insufficient, in order to ensure the visibility of the projection information 60, a device is required when displaying the projection information 60.
  • the priority set for each projection information 60 is referred to, and the projection information 60 is stored in a displayable space by displaying the information with a low priority in a small size. Secure.
  • FIG. 16 shows an example of an effect obtained as a result of executing the process of FIG.
  • the detection unit 34 detects that the object 50 has moved (step S50). For example, when the position of the object 50 illustrated in FIG. 16A is moved to the position illustrated in FIG. 16B, the detection unit 34 detects the position after the movement of the object 50 based on the captured image. To do.
  • the image processing unit 32 calculates a displayable space from the positional relationship between the object 50 and the projectable range 70 (step S52). Specifically, the image processing unit 32 divides the projectable range 70 into several blocks, and checks the state of description of colors and characters / images in each block. That is, the image processing unit 32 includes an area outside the object 50 and within the projectable range 70 (area where information is not displayed) and an area within the object 50 (area where information is displayed). The blocks are divided without distinction. The image processing unit 32 sets a flag indicating that a block having a lot of dark color or text / image description is not suitable as a displayable space.
  • the image processing unit 32 sets a flag indicating that a light color or a block with less text / image description is suitable as a displayable space.
  • a set of flags for each block created by this method is hereinafter referred to as a “displayable space determination flag”.
  • the displayable space determination flag is stored in the storage unit 36 in association with the ID of each block.
  • the projection unit 33 determines whether the currently projected projection information fits in a displayable space based on the displayable space determination flag (step S54). When all the projection information is in a position suitable as a displayable space, the projection unit 33 determines that the currently projected projection information 60 fits in the displayable space.
  • the projection unit 33 determines whether adjustment of the display position of the projection information is necessary (step S56). When determining that the display position of the projection information needs to be adjusted, the projection unit 33 moves the display position of the projection information 60 within the displayable space (step S58), and displays the projection information at the display position and size. (Step S60), this process is terminated. On the other hand, when it is determined that the adjustment of the display position of the projection information is unnecessary, the projection unit 33 displays the projection information at the display position and size (step S60), and ends this process.
  • step S54 when the projection unit 33 determines that the currently projected projection information does not fit in the displayable space, the projection unit 33 acquires the priority of the projection information 60 (step S62), and the projection information 60 with a lower priority. Is adjusted (step S64). Next, the projection unit 33 rearranges and displays the projection information 60 with a new display size in the displayable space (step S60), and ends this process.
  • step S64 when the displayable space is insufficient, the projection unit 33 changes the display size of the projection information 60 according to the priority of the projection information 60.
  • the projection unit 33 reduces the display size of the projection information 60 having the lowest priority at a certain rate, and executes the rearrangement process of the projection information 60.
  • the size of the projection information 60 is changed and rearranged until the display size of the low-priority projection information 60 is reduced by a certain ratio and the placement process is executed again until all the projection information 60 is placed in the displayable space. Repeat the process. If rearrangement is not completed even if the display size of the highest priority projection information 60 is reduced at a certain rate, the display size is further reduced from the projection information 60 having the lowest priority.
  • the object 50 moves and all of the five projection information 60 do not fit in the displayable space.
  • the projection unit 33 reduces the display size of the projection information S, P, and R with low priority, and rearranges all the projection information 60.
  • all the five pieces of projection information 60 are projected onto the displayable space in a state where the display size of the projection information S, P, R is reduced.
  • the projection unit 33 calculates the order in which the rearrangement processing of the projection information 60 is performed from the current arrangement information of the projection information 60 (before rearrangement).
  • the rearrangement process is first performed in the order of the priority of each projection information 60, and within the same priority, the projection information 60 whose arrangement position is closer to the upper left coordinate of the projectable range 70 is first arranged.
  • the upper left coordinate of the projectable range 70 is (X, Y) and the displayable space is (W, H)
  • rearrangement is performed in ascending order of X + W * Y values.
  • This ordering is performed with the intention of maintaining the top / bottom / left / right relationship of the projection information before the rearrangement as much as possible after the rearrangement. Therefore, the projection information T and U having the same priority are processed before the projection information U, with the projection information T close to the upper left coordinates shown in the upper diagram of FIG.
  • the projection information 60 is arranged in the displayable space in the order determined by the above method.
  • the displayable space is searched by a general logic.
  • optimization of the display of the projection information 60 according to the third embodiment searches for the projection position of the projection information 60 in the first embodiment, and projects the projection information 60 within the projectable range 70 of the projection information 60. It is also applicable to cases.
  • the optimization of the display of the projection information 60 according to the third embodiment is performed in the projection information within the projectable range 70 of the projection information 60 when the projection information 60 is superimposed on the hand 40 in the second embodiment.
  • the present invention can also be applied to a case where projection is performed by moving 60.
  • the visibility of the projection information 60 can be further improved.
  • the size of the projection information 60 having a low priority is reduced in the processing of the projection information 60.
  • the processing of the projection information 60 is not limited to this, and one of methods such as transforming the outer shape of the projection information 60 from a rectangle to another shape, dividing it into a plurality of pieces, and reducing the amount of information in the projection information 60 itself. Or a combination thereof can be used.
  • the control device 30 includes an input device 101, a display device 102, an external I / F 103, a RAM (Random Access Memory) 104, a ROM (Read Only Memory) 105, a CPU (Central Processing Unit) 106, a communication I / F 107, and an HDD ( Hard Disk Drive) 108. Each part is connected to each other by a bus B.
  • the input device 101 includes a keyboard, a mouse, and the like, and is used to input each operation signal to the control device 30.
  • the display device 102 includes a display and displays various processing results.
  • the communication I / F 107 is an interface that connects the control device 30 to the network. Thereby, the control device 30 can communicate with the input / output device 10 via the communication I / F 107.
  • the HDD 108 is a non-volatile storage device that stores programs and data.
  • the stored programs and data include basic software and application software that control the entire apparatus.
  • the HDD 108 stores various DB information, programs, and the like.
  • External I / F 103 is an interface with an external device.
  • the external device includes a recording medium 103a. Accordingly, the control device 30 can read and / or write the recording medium 103a via the external I / F 103.
  • the recording medium 103a includes a CD (Compact Disk), a DVD (Digital Versatile Disk), an SD memory card (SD Memory Card), a USB memory (Universal Serial Bus memory), and the like.
  • the ROM 105 is a nonvolatile semiconductor memory (storage device) that can retain internal data even when the power is turned off.
  • the ROM 105 stores programs and data such as network settings.
  • the RAM 104 is a volatile semiconductor memory (storage device) that temporarily stores programs and data.
  • the CPU 106 is an arithmetic unit that realizes control of the entire apparatus and mounting functions by reading programs and data from the storage device (for example, “HDD 108”, “ROM 105”, etc.) onto the RAM 104 and executing processing.
  • the control device 30 can perform a color change process of the projection information 60 and a display process of the projection information 60.
  • the CPU 106 executes a color change process of the projection information 60 and a display process of the projection information 60 using an image processing program and various data stored in the ROM 105 and the HDD 108.
  • Information stored in the object feature DB 37, the projection information DB 38, and the projection color information DB 39 can be stored in the RAM 104, the HDD 108, or a server on the cloud connected to the control device 30 via the network.
  • the projection apparatus and the image processing program have been described in the above embodiment.
  • the projection apparatus and the image processing program according to the present invention are not limited to the above-described embodiments, and various modifications and improvements can be made within the scope of the present invention.
  • the matters described in the plurality of embodiments can be combined within a consistent range.
  • the functions of the acquisition unit 31, the image processing unit 32, the projection unit 33, the detection unit 34, and the change unit 35 of the control device 30 may be configured by hardware, software, or hardware. And software may be combined.
  • the configuration of the projection apparatus 1 according to the above-described embodiment is an example, and does not limit the scope of the present invention. It goes without saying that there are various system configuration examples depending on applications and purposes.
  • a system configuration in which the control device 30 is connected to the input / output device 10 via the network 35 is one aspect of the projection device 1 according to the present embodiment, and is not limited thereto.
  • the control device 30 of the projection device 1 according to the present embodiment may be separate from the input / output device 10 or may be integrated with the input / output device 10.
  • Projection device 10 Input / output device 11: Projector 12: Camera for position detection 13: Camera for image pickup 20: Mounting table 30: Control device 31: Acquisition unit 32: Image processing unit 33: Projection unit 34: Detection unit 35: Change unit 36: storage unit 37: object feature DB 38: Projection information DB 39: Projection color information DB 40: Hand 50: Object 51: Button 52: Object frame 60: Projection information 70: Projectable range 373: Color information of the background of the object 375: Color information of the content of the object 393: Color information of the background of the projection information 395: Projection information content color information

Abstract

　載置面に載置された対象物の撮像画像から該対象物の色情報を取得する取得部と、前記対象物の指定された範囲に含まれる情報に関連付けて記憶された投影情報を前記載置面に投影する投影部と、前記投影情報が前記対象物に重畳しているかを検出する検出部と、前記投影情報が前記対象物に重畳していることを検出した場合、前記投影情報に関連付けて記憶された前記投影情報の色情報と、取得した前記対象物の色情報とに基づき、重畳している前記投影情報の色を前記対象物の色と異なる色に変更する変更部と、を有する投影装置が提供される。

Description

投影装置及び画像処理プログラム
　本発明は、投影装置及び画像処理プログラムに関する。
　画像をスクリーンや載置面に投影する投影装置が知られている。画像を投影する際、投影画像に対して投影環境に柔軟に対応した補正を行い、最適な色で画像の投影を行うことができる電子機器が提案されている（例えば、特許文献１参照）。
特開２０１０－１８３４６５号公報
　しかしながら、特許文献１では、表示された投影画像が他の情報に重畳している場合、他の情報が表示される色によっては、重畳した部分の投影画像の色との判別が困難になり、目視認識性（以下、「視認性」ともいう。）が低下するという課題は解決されていない。
　そこで、一側面では、本発明は、投影情報が対象物に重畳して投影される際の投影情報の視認性を確保することを目的とする。
　一つの案では、載置面に載置された対象物の撮像画像から該対象物の色情報を取得する取得部と、前記対象物の指定された範囲に含まれる情報に関連付けて記憶された投影情報を前記載置面に投影する投影部と、前記投影情報が前記対象物に重畳しているかを検出する検出部と、前記投影情報が前記対象物に重畳していることを検出した場合、前記投影情報に関連付けて記憶された前記投影情報の色情報と、取得した前記対象物の色情報とに基づき、重畳している前記投影情報の色を前記対象物の色と異なる色に変更する変更部と、を有する投影装置が提供される。
　一側面によれば、投影情報が対象物に重畳して投影される際の投影情報の視認性を確保することができる。
一実施形態にかかる投影装置の全体構成の一例を示す図。 対象物と投影情報とが重畳する状態の一例を説明するための図。 一実施形態にかかる投影装置の機能構成の一例を示す図。 一実施形態にかかる対象物の特徴データ（色）を抽出する一例を示す図。 一実施形態にかかる対象物特徴データベースの一例を示す図。 一実施形態にかかる投影情報データベースの一例を示す図。 一実施形態にかかる投影情報の表示の一例を示す図。 一実施形態にかかる投影色情報データベースの一例を示す図。 第１実施形態にかかる投影色の加工処理の一例を示したフローチャート。 一実施形態にかかる投影色の加工例を示した図。 一実施形態にかかる投影色の加工の一例を説明するための図。 一実施形態にかかる投影色の加工の他の例を説明するための図。 第２実施形態にかかる投影色の加工処理の一例を示したフローチャート。 第２実施形態にかかる手と投影情報とが重畳する場合を説明するための図。 第３実施形態にかかる投影情報表示処理の一例を示したフローチャート。 第３実施形態にかかる投影情報表示の優先度を説明するための図。 一実施形態にかかる投影装置のハードウェア構成例を示す図。
　以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
　［投影装置の全体構成］
　まず、本発明の一実施形態にかかる投影装置の構成について、図１を参照しながら説明する。一実施形態にかかる投影装置１は、入出力装置１０及び制御装置３０を有する。入出力装置１０と制御装置３０とは、ネットワーク３５を介して接続されている。
　入出力装置１０は、筐体１０ａ、プロジェクタ１１、２台の位置検出用カメラ１２及び撮像用カメラ１３を有する。プロジェクタ１１、２台の位置検出用カメラ１２及び撮像用カメラ１３は、筐体１０ａの天井部に取り付けられている。
　プロジェクタ１１は、筐体１０ａの天井部の内壁側中央に下向きに取り付けられている。プロジェクタ１１は、載置台２０に所望の投影情報を投影する。２台の位置検出用カメラ１２は、載置台２０に載置されている対象物５０のｘｙ方向の位置及びｚ方向の高さを検出する。２台の位置検出用カメラ１２は、筐体１０ａの天井部に所定距離だけ離れて設けられている。２台の位置検出用カメラ１２は、載置台２０の状態を検出する眼の機能を有し、主に載置台２０に載置された対象物５０の位置や高さを検出したり、手４０（指示体の一例）の位置や高さを検出したりする。対象物５０の一例としては、旅行の広告紙やその他の書類、原稿が挙げられる。ただし、対象物５０は、紙媒体に限られず、箱型やその他の立体的な物であってもよい。
　撮像用カメラ１３は、載置台２０に載置された対象物５０及び載置台２０の特定の位置又は範囲を指示する手４０等を撮像画像として撮る。
　かかる構成により、入出力装置１０は、ハンドジェスチャー入出力装置として機能する。例えば、入出力装置１０は、ハンドジェスチャー（手４０の移動による特定位置の指示）により、図２の（ａ）に示す対象物５０内の特定のボタン５１がタップされると、タップされたボタン５１にリンクされた投影情報６０を載置台２０の投影可能範囲７０内に表示する。また、例えば、入出力装置１０は、ハンドジェスチャーにより対象物５０内の所定の範囲が指示されると、指示範囲内の対象枠５２にリンクされた投影情報６０を投影可能範囲７０内に表示する。投影情報６０は、ボタン５１の押下により、表示及び非表示を制御されてもよい。
　図１に戻り、制御装置３０は、例えばパーソナルコンピュータ（ＰＣ）やその他の情報処理が可能な電子機器であり得る。制御装置３０は、入出力装置１０が入力した撮像画像を取得し、撮像画像の画像処理を行って撮像画像から対象物５０の色に関する特徴データ（以下では、「対象物５０の色情報」ともいう。）を抽出する。
　プロジェクタ１１で投影できるスペース（投影可能範囲７０）には限りがある。このため、投影情報６０が対象物５０に重なって表示される場合がある。その際、対象物５０の特徴（原稿の色、原稿内の文字／図の配置）によっては重畳した部分の投影情報６０の色との判別が困難になり、投影情報６０の視認性が低下する。例えば、図２の（ａ）の状態から図２の（ｂ）の状態に対象物５０を移動させると、投影情報６０が対象物５０に重なり、重畳された部分の投影情報６０が見え難くなる場合がある。
　そこで、一実施形態にかかる制御装置３０は、対象物５０の色情報と投影情報６０の色情報とに基づき、重畳される対象物５０と投影情報６０とが目視で認識しにくいと判断した場合、投影情報６０の色等を変えることで、投影情報６０の視認性を確保する。以下、かかる機能を有する投影装置１の構成及び動作について順に説明する。
　［機能構成］
　一実施形態にかかる投影装置１の入出力装置１０及び制御装置３０の機能構成について、図３を参照しながら説明する。入出力装置１０は、入出力インターフェース（Ｉ／Ｆ）１４を有する。入出力インターフェース１４は、撮像カメラ１３が撮った載置台２０上の撮像画像や、２台の位置検出用カメラ１２が検出した対象物５０や手４０の位置及び高さの情報を入力し、制御装置３０に転送する。また、入出力インターフェース１４は、制御装置３０から送信された投影情報６０をプロジェクタ１１に出力し、載置台２０に投影させる。
　制御装置３０は、取得部３１、画像処理部３２、投影部３３、検出部３４、変更部３５及び記憶部３６を有する。記憶部３６は、対象物特徴ＤＢ（データベース）３７、投影情報ＤＢ３８及び投影色情報ＤＢ３９を格納する。
　取得部３１は、載置された対象物５０を含む載置台２０の撮像画像を取得する。画像処理部３２は、図４に示すように、対象物５０を含む撮像画像を格子（メッシュ）状に分け、分けられた各ブロックについて「背景の色」と「コンテンツの色」とを判断する。取得部３１は、各ブロックの背景の色情報とコンテンツの色情報を取得し、記憶部３６に記憶する。対象物５０が撮像された各ブロックの背景の色情報とコンテンツの色情報とは、対象物５０の色情報の一例である。しかし、対象物５０の色情報は、これに限らず、各ブロックの背景の色情報とコンテンツの色情報との少なくともいずれかの情報であってもよい。
　例えば、図４に示すブロック１の背景の色情報ａ１及びコンテンツの色情報ｂ１、及びブロック２の背景の色情報ａ２及びコンテンツの色情報ｂ２等の各ブロックの色情報は、図５に一例を示す対象物特徴ＤＢ３７に格納される。対象物特徴ＤＢ３７は、ブロックＮｏ．３７１、各ブロックの範囲３７２、背景の色情報ａ（代表色）、コンテンツの（表示）範囲３７４及びコンテンツの色情報ｂ３７５の各項目を有する。
　例えば、ブロックＮｏ．３７１が「１」、ブロックの範囲３７２が（ｘ２１、ｙ２１）－（ｘ２２、ｙ２２）の背景の色情報ａ３７３（図４のブロック１の背景の色情報ａ１）には、ブロック１で専有面積が最も大きい代表色である「水色」が記憶されている。
　また、ブロックＮｏ．３７１が「１」、コンテンツの範囲３７４が（ｘａ２１、ｙａ２１）－（ｘａ２２、ｙａ２２）のコンテンツの色情報ｂ３７５（図４のブロック１のコンテンツの色情報ｂ１）には、ブロック１のコンテンツの代表色である「白」が記憶されている。
　背景とコンテンツの区別は、ブロックごとの専有面積や文字等の特徴の抽出から判断することができる。例えば、各ブロックの画像を光学的に読み取り、文字を抽出することでコンテンツを背景と区別してもよい。
　投影部３３は、対象物５０の指示された情報（例えば、対象枠５２内の情報やボタン５１等）に関連付けて投影情報ＤＢ３８に記憶された投影情報６０を載置台２０に投影させる。例えば、図６に示すように、投影情報ＤＢ３８は、指示情報３８１、投影情報Ｎｏ．３８２及び投影情報の内容３８３の各項目を有する。指示情報３８１は、手４０が対象物５０内の２点をポイントすることによって指示される範囲やタップされる位置のリンク情報を示す。投影情報Ｎｏ．３８２は、投影情報毎に割り振られた番号（識別情報）である。投影情報の内容３８３は、実際に投影する情報の内容である。例えば、図７に示す「北海道旅行」の対象枠５２が指定されると、図６の指示情報３８１が「北海道旅行」に関連付けて記憶された投影情報の内容３８３が、図７に示す「北海道旅行」の対象枠５２とリンクした投影情報６０に表示される。また、例えば、図７の「ホテル」の対象枠５２が指定されると、図６の指示情報３８１が「ホテル」に関連付けて記憶された投影情報の内容３８３が、図７の「ホテル」の対象枠５２とリンクした投影情報６０に表示される。
　投影部３３は、ブロック毎の色情報と投影情報６０の色情報とに基づき、投影情報６０の色と異なる色のブロック群に投影情報６０を投影させることが好ましい。例えば、投影部３３は、投影情報６０が表示されていない余白部分と判断される色のブロック群に投影情報６０を投影させる。また、投影情報６０の一部が対象物５０に重畳して表示される場合、投影部３３は、投影情報６０の余白と判断される色のブロック群に投影情報６０を投影させることが好ましい。
　検出部３４は、投影情報６０が対象物５０に重畳しているかを検出する。
　変更部３５は、投影情報６０が対象物５０に重畳していることを検出した場合、投影色情報ＤＢ３９に投影情報６０に関連付けて記憶された投影情報６０の色情報と対象物５０の色情報とに基づき、重畳している投影情報６０の色を加工する。その場合、変更部３５は、重畳している投影情報６０の色を対象物５０の色と異なる色に変更する。例えば、変更部３５は、重畳している投影情報６０の色を対象物５０の色と同一色及び同系色以外の色に変更し、視認性を高めることが好ましい。
　図８に一例を示すように、投影色情報ＤＢ３９には、投影情報６０毎の色情報が格納されている。投影色情報ＤＢ３９は、投影情報Ｎｏ．３９１、投影情報の大きさ３９２、背景の色情報Ａ３９３、コンテンツの種別（文字／画像）３９４及びコンテンツの色情報（代表色）Ｂ３９５の各項目を有する。コンテンツの種別（文字／画像）３９４は省略することができる。
　投影情報Ｎｏ．３９１は、投影情報毎に割り振られた番号（識別情報）である。例えば、投影情報Ｎｏ．３９１が「Ｐ１」の投影情報の大きさ３９２は「（ｘ〇〇、ｙ〇〇）－（ｘ△△、ｙ△△）」で定まり、背景の色情報Ａ３９３は「紫」である。また、投影情報Ｎｏ．３９１が「Ｐ１」のコンテンツ情報は３つあり、一つ目のコンテンツの種別３９４は「文字」であってコンテンツの色情報Ｂ３９５は「白」である。二つ目のコンテンツの種別３９４は「文字」であってコンテンツの色情報Ｂ３９５は「赤」である。三つ目のコンテンツの種別３９４は「画像」であってコンテンツの色情報Ｂ３９５は「緑」である。
　変更部３５は、投影色情報ＤＢ３９に記憶された投影情報の色情報のうち、投影情報の背景の色情報と対象物の背景の色情報とに基づき、重畳している投影情報の背景の色を加工してもよい。この場合、変更部３５は、重畳している投影情報の背景の色を対象物の背景の色との中間色に変更してもよい。
　また、変更部３５は、投影色情報ＤＢ３９に記憶された投影情報の色情報のうち、投影情報のコンテンツの色情報と対象物のコンテンツの色情報とに基づき、重畳している投影情報のコンテンツの色を加工してもよい。この場合、変更部３５は、重畳している投影情報のコンテンツの色を対象物のコンテンツの色との中間色の反対色又は補色に変更してもよい。
　（色）
　色は、色相、彩度及び明度の各要素を有し、色相又は色相とその他の要素との組み合わせにより特定可能である。例えば、色相のみで色を特定してもよいし、色相と彩度とにより色を特定してもよいし、色相と明度とにより色を特定してもよいし、色相、彩度及び明度により色を特定してもよい。
　また、色は、色相と輝度の組み合わせ、色相とトーンとの組み合わせにより特定可能である。つまり、色は、色相のみ、又は色相と彩度、明度、輝度及びトーンの少なくともいずれかとの組み合わせにより特定することができる。
　多色の関係について色相環を用いて説明する。色相環は、三原色が均等位置にあり、光のスペクトル順に示されており、並び順は不変のものである。同一色は、色相環において同じ位置にある色を示す。同系色は、色相環で隣り合う色や近い位置にある色を示す。よって、「同一色及び同系色以外の色」は、色相環において同じ位置、隣接する位置又はその位置に近い位置にある色を除いた色を示す。
　色相環で正反対の位置にある色を補色といい、補色に隣接する位置又はその位置に近い位置の色を反対色という。中間色は、色相環で一の色と他の色との中間に位置する色やその色に近い位置の色を示す。中間色は、色相環で一の色と他の色との間に位置するいずれの色であってもよい。
　以上に説明した機能を有する投影装置１を用いて行われる投影情報の表示時の処理について、以下、第１実施形態～第３実施形態の順に説明する。
＜第１実施形態＞
　［投影色の加工処理］
　まず、第１実施形態にかかる投影情報の表示時の処理について、図９を参照して説明する。図９は、第１実施形態にかかる投影色の加工処理を示したフローチャートである。
　本処理が開始されると、取得部３１は、入出力装置１０から撮像画像を取得する（ステップＳ１０）。次に、検出部３４は、対象物５０の位置及び対象物５０の指示された範囲を検出する（ステップＳ１２）。
　次に、画像処理部３２は、取得した撮像画像を複数のブロックに分け、分けられた各ブロックの特徴データを検出する（ステップＳ１４）。特徴データは、対象物５０上に記載されているコンテンツの情報（文字や図）や対象物５０の色情報である。対象物５０の色情報には、「背景の色」及び「コンテンツの色」が含まれる。
　次に、投影部３３は、対象物５０の指示された範囲の情報に関連付けて投影情報ＤＢ３８に記憶された投影情報６０を選択する（ステップＳ１６）。次に、投影部３３は、投影情報を投影する載置台２０上の位置を探索する（ステップＳ１８）。探索する際、投影部３３は、ブロック毎の対象物５０の色情報と投影情報６０の色情報とに基づき、選択した投影情報６０を投影しても視認性が確保される位置を導き出せるかを判断する。例えば、投影部３３は、投影情報６０が対象物５０に重畳しない対象物５０の表示位置以外の位置や、重畳する場合であっても対象物５０の余白部分に投影情報６０が重畳される位置を導き出すことが好ましい。また、対象物５０の余白部分に投影情報６０が重畳される位置を導き出すことが困難な場合、重畳する部分の対象物５０の色と投影情報６０の色とが異なるブロック群に投影情報６０を投影させることが好ましい。
　投影部３３は、導き出した投影位置において投影情報６０が対象物５０と重なる部分があるかを判定する（ステップＳ２０）。投影部３３は、投影情報６０が対象物５０と重なる部分がないと判定した場合、探索の結果導き出した位置に投影情報６０を投影する（ステップＳ２２）。次に、投影部３３は、ステップＳ１６において選択された投影情報６０のうち、未処理の投影情報６０があるかを判定する（ステップＳ２８）。判定の結果、未処理の投影情報６０がないと判定された場合、本処理を終了する。一方、判定の結果、未処理の投影情報６０があると判定された場合、ステップＳ１８に戻り、未処理の投影情報６０について、ステップＳ１８以降の処理が実行される。
　ステップＳ２０において、投影部３３が、投影情報６０が対象物５０と重なる部分があると判定した場合、対象物５０の色と投影情報６０の色とが同一色又は同系色かを判定する（ステップＳ２４）。
　対象物５０の色と投影情報６０の色とが同一色又は同系色かの判定に際しては、色相環で同じ位置の色は同一色であり、色相環で隣り合う位置の色は同系色である。投影部３３は、色相環で同じ位置から一色隔てて隣り合う位置の色を同系色に含めて判定を行ってもよい。
　対象物５０の色と投影情報６０の色とが同一色又は同系色かの判定と、判定結果に基づく投影情報６０の色の加工例１，２を、図１０を参照しながら説明する。図１０の（ａ）には、枠内の投影情報６０の背景の色と対象物５０の背景の色における判定及び判定結果に基づく投影情報６０の色の加工例１が示される。図１０の（ｂ）には、枠内の投影情報６０のコンテンツの色と対象物５０のコンテンツの色における判定及び判定結果に基づく投影情報６０の色の加工例２が示される。ただし、図１０に示す投影情報６０の色の加工は、これらの例に限られず、他の加工例を排除するものではない。
　図１０の（ａ）の枠内の例では、投影部３３は、対象物特徴ＤＢ３７に記憶されている背景の色情報ａ３７３と投影色情報ＤＢ３９に記憶されている背景の色情報Ａ３９３とを比較し、同一色又は同系色かを判定する。例えば、図５の対象物特徴ＤＢ３７に記憶されているブロック１の背景の色情報ａ３７３は「水色」であり、図８の投影色情報ＤＢ３９に記憶されている投影情報Ｎｏ．３９１が「Ｐ１」の背景の色情報Ａ３９３は「紫」である。水色と紫は、色相環では青系の色を隔てて隣り合う同系色である。よって、投影部３３は、対象物５０のブロック１の背景の色ａ１（図４を参照）とＰ１の投影情報６０の背景の色とは同系色と判定する。
　また、図５の対象物特徴ＤＢ３７に記憶されているブロック２の背景の色情報ａ３７３は「白」であり、図８の投影色情報ＤＢ３９に記憶されている投影情報Ｎｏ．３９１が「Ｐ１」の背景の色情報Ａ３９３は「紫」である。白と紫は、同系色ではない。よって、投影部３３は、対象物５０のブロック２の背景の色ａ２（図４を参照）とＰ１の投影情報６０の背景の色とは同一色及び同系色以外の色（同一色でもなく同系色でもない、異なる色）であると判定する。
　図１０の（ｂ）の枠内の例では、投影部３３は、図５の対象物特徴ＤＢ３７に記憶されているコンテンツの色情報３７５と、図８の投影色情報ＤＢ３９に記憶されているコンテンツの色情報Ｂ３９５とを比較し、同一色又は同系色かを判定する。例えば、図５の対象物特徴ＤＢ３７に記憶されているブロック１のコンテンツの色情報ａ３７５は「白」であり、図８の投影色情報ＤＢ３９に記憶されている投影情報Ｎｏ．３９１が「Ｐ１」のコンテンツの色情報Ｂ３９５は、３つの表示部分に分かれ、各部分の代表色が「白」、「赤」又は「緑」である。よって、投影部３３は、対象物５０のブロック１のコンテンツの色ｂ１（図４を参照）とＰ１の投影情報６０のコンテンツの色とは同一色であると判定する。
　また、図５の対象物特徴ＤＢ３７に記憶されているブロック２のコンテンツの色情報ａ３７３は「黒」であり、投影情報Ｎｏ．３９１が「Ｐ１」のコンテンツの色情報Ｂ３９５は、「白」、「赤」又は「緑」である。よって、投影部３３は、対象物５０のブロック２のコンテンツの色ｂ２（図４を参照）とＰ１の投影情報６０のコンテンツの色とは同一色及び同系色以外の色であると判定する。
　図９のステップＳ２４に戻り、投影部３３は、対象物５０の色と投影情報６０の色とが同一色又は同系色でないと判定した場合、探索の結果導き出した位置に投影情報６０をそのまま投影する（ステップＳ２２）。この場合、投影情報６０が対象物５０に重なっても目視認識上問題が生じないため、投影情報６０の色の加工は行わない。
　一方、投影部３３は、対象物５０の色と投影情報６０の色とが同一色又は同系色であると判定した場合、変更部３５は、投影情報６０の色を加工し（ステップＳ２６）、投影部３３は、加工した投影情報６０を投影する（ステップＳ２２）。
　次に、投影部３３は、ステップＳ１６において選択された表示すべき投影情報６０のうち、未処理の投影情報６０があるかを判定し（ステップＳ２８）、未処理の投影情報６０がなければ本処理を終了する。
　（投影情報６０の色の加工例１）
　ステップＳ２６における投影情報６０の色の加工例１を、再び図１０を参照しながら説明する。図１０の（ａ）の枠内の例では、変更部３５は、例えば、（１）～（３）に示す方法で投影情報６０の背景の色Ａ１（図１１の斜線部を参照）を変える。
（１）と（２）では、投影情報６０の背景の色Ａ１の色相が変更され、（３）では、投影情報６０の背景の色Ａ１の色相とトーンとが変更される例が挙げられている。例えば、（１）では、対象物のブロック１の背景の色ａ１が「水色」なので、変更部３５は、投影情報６０の背景の色Ａ１を「水色」と同一色又は同系色以外の色に変更する。例えば、変更部３５は、色相環に基づき投影情報６０の背景の色Ａ１を緑や黄色に変える。また、例えば、変更部３５は、投影情報６０の背景の色Ａ１を、「赤（水色の補色）」、「ピンク（反対色）」、「オレンジ（反対色）」等に変えることもできる。ただし、投影情報６０の背景の色Ａ１を補色や反対色に変えると目がチカチカする場合もある。
　そこで、（２）では、変更部３５は、投影情報６０の背景の色Ａ１を、対象物５０のブロック１の背景の色ａ１の「水色」と投影情報６０の背景の色Ａ１の「紫」との中間色に変えることが好ましい。水色と紫との中間色は「青」である。よって、対象物５０の背景色が水色であるのに対して、投影情報６０の背景色を「紫」から水色と紫との中間色である「青」を変えて投影情報６０を投影することで、投影情報６０の視認性を高めることができる。
（３）変更部３５は、（１）又は（２）において示した色相に注目して投影情報６０の背景の色Ａ１を変えるとともに、表示する際の変えた色Ａ１のトーンを変更してもよい。また、変更部３５は、変更した色Ａ１の彩度や明度や輝度を変えてもよい。
　（投影情報６０の色の加工例２）
　ステップＳ２６における投影情報６０の色の加工例２において、図１０の（ｂ）の枠内の例では、変更部３５は、例えば（１）～（３）に示す方法で投影情報６０のコンテンツの色Ｂ１（図１２の斜線部を参照）を変える。
（１）対象物のブロック１のコンテンツの色ｂ１が「白」であり、投影情報６０のコンテンツの色Ｂ１と同一色である。このため、変更部３５は、投影情報６０のコンテンツの色Ｂ１を「白」と同一色又は同系色以外の色に変更する。例えば、変更部３５は、投影情報６０のコンテンツの色Ｂ１を「赤」や「黒」に変えることが挙げられる。
（２）変更部３５は、投影情報６０のコンテンツの色Ｂ１を、対象物のコンテンツの色ｂ１「白」と投影情報６０のコンテンツの色Ｂ１「白」の中間色（この場合は同一色の白）の反対色や補色に変えてもよい。例えば、変更部３５は、投影情報６０のコンテンツの色Ｂ１を「黒」や濃いグレイに変える。変更部３５は、投影情報６０のコンテンツの色Ｂ１を、投影情報６０の背景の色Ａ１の反対色や補色に変えてもよい。これにより、投影情報６０の視認性を高めることができる。例えば、投影情報６０のコンテンツの色Ｂ１を「黄色」に変えても視認性はさほど向上しないため、対象物のブロック１のコンテンツの色ｂ１の反対色や補色に変えることが好ましい。
（３）変更部３５は、（１）又は（２）において示した色相に注目して投影情報６０のコンテンツの色Ｂ１を変えるとともに、表示する際の変えた色Ｂ１のトーンを変更してもよい。また、変更部３５は、変更した色Ｂ１の彩度や明度や輝度を変えてもよい。
　以上に説明したように、第１実施形態にかかる投影装置１によれば、投影情報６０を投影する際に対象物５０と重なった場合であっても、対象物５０と重なる範囲の色情報に基づき投影情報６０を加工することで、投影される投影情報６０の視認性を確保することができる。
　なお、第１実施形態では、変更部３５は、対象物５０の色と投影情報６０の色とが同一色又は同系色であると判定された場合、投影情報６０の色を加工した。しかし、対象物５０の色と投影情報６０の色とが同一色又は同系色であるかにかかわらず、重畳している部分における投影情報６０の視認性を確保する必要がある場合、重畳している投影情報６０の色を対象物５０の色と異なる色に変更してもよい。
＜第２実施形態＞
　［投影情報の移動及び色の加工処理］
　次に、第２実施形態にかかる投影情報の表示時の処理について、図１３及び図１４を参照しながら説明する。図１４に示すように、対象物５０を操作する手４０が投影情報６０に重なると、投影情報６０がそのまま手４０に写ってしまう。この状態では、投影情報６０が重なった部分にて投影情報６０の視認性が確保できない場合が生じる。
　そこで、本実施形態にかかる投影装置１では、手４０の動きに応じて投影情報６０を手４０と重ならない位置に移動する。その結果、投影情報６０が対象物５０と重なることになった場合、対象物５０と重なる投影情報６０を加工し、投影情報６０の視認性を確保する。
　第２実施形態では、指示体の一例である手４０の動きを検出し、手４０と投影情報６０が重なる場合、手４０を避けるように投影情報６０を移動させる制御が行われる。その結果、対象物５０と投影情報６０が重なった部分については、第１実施形態と同様に、対象物５０の色情報と投影情報６０の色情報に基づき、投影情報６０の色の加工が行われる。
　具体的に説明すると、図１３に示す第２実施形態の加工処理が開始されると、検出部３４は、手４０が対象物５０の中の所定の位置（情報）をタップしたり、所定の範囲を指示したりしたかを検出する（ステップＳ３０）。検出部３４は、手４０が所定の位置（情報）をタップ等したことを検出した場合、投影部３３は、投影情報ＤＢ３８に基づき、指示したボタン５１や対象枠５２（図１４を参照）にリンクされた投影情報６０を載置台２０に投影する（ステップＳ３２）。
　次に、検出部３４は、手４０が投影情報６０と重なるかを判定する（ステップＳ３４）。検出部３４は、手４０が投影情報６０と重ならないと判定した場合、ステップＳ４６に進み、手４０が動いたかを判定する。検出部３４は、手４０が動いていないと判定した場合、本処理を終了し、手４０が動いたと判定した場合、ステップＳ３４に戻る。
　一方、ステップＳ３４において、検出部３４は、手４０が投影情報６０と重なると判定した場合、投影部３３は、投影情報６０の投影位置を移動させる（ステップＳ３６）。投影情報６０の投影位置は、第３実施形態にて後述される方法によって定められてもよい。
　次に、検出部３４は、移動した投影情報６０が対象物５０と重なる部分があるかを判定する（ステップＳ３８）。検出部３４は、重なる部分がないと判定した場合、ステップＳ４６に進む。検出部３４は、重なる部分があると判定した場合、ステップＳ４０に進む。投影部３３は、対象物５０の色と投影情報６０の色とが同一色又は同系色かを判定する（ステップＳ４０）。投影部３３が、対象物５０の色と投影情報６０の色とが同一色又は同系色であると判定した場合、変更部３５は、投影情報６０の色を加工する（ステップＳ４２）。投影部３３は、加工した投影情報６０を投影する（ステップＳ４４）。ステップＳ４４における投影情報６０の色の加工処理は第１実施形態と同様であるため、ここでは説明を省略する。投影後、検出部３４は、手４０が動いたかを再び判定し（ステップＳ４６）、手４０が動いていないと判定した場合、本処理を終了する。検出部３４は、手４０が動いていたと判定した場合、ステップＳ３４～Ｓ４４の処理を繰り返す。
　以上に説明したように、第２実施形態にかかる投影装置１によれば、対象物５０を操作する手４０が投影情報６０と重なる場合、投影情報６０を手４０と重ならない位置に移動させる。その結果、対象物５０と投影情報６０とが重なり、目視認識上問題が生じた場合は、対象物５０と重なる範囲の投影情報６０を加工することで、投影情報６０の視認性を確保することができる。
＜第３実施形態＞
　［投影情報の移動及び表示処理］
　次に、第３実施形態にかかる投影情報６０の表示時の処理について説明する。投影情報６０の表示可能スペースが足りない場合、投影情報６０の視認性を確保するためには、投影情報６０を表示する際に工夫を要する。
　そこで、本実施形態では、投影情報６０毎に設定された優先度を参照し、優先度の低い情報は小さく表示するなどして投影情報６０を表示可能スペースに収め、投影情報６０の視認性を確保する。
　以下では、第３実施形態にかかる投影情報６０の表示時の処理について、図１５を参照しながら説明する。図１６には、図１５の処理を実行した結果得られる効果の一例を示す。
　図１５の第３実施形態にかかる投影情報６０の表示時の処理が開始されると、検出部３４は、対象物５０が移動したことを検出する（ステップＳ５０）。例えば、図１６の（ａ）に示す対象物５０の位置が、図１６の（ｂ）に示す位置に移動した場合、検出部３４は、撮像画像に基づき対象物５０の移動後の位置を検出する。
　次に、画像処理部３２は、対象物５０と投影可能範囲７０との位置関係から表示可能なスペースを算出する（ステップＳ５２）。画像処理部３２は、具体的には、投影可能範囲７０をいくつかのブロックに分け、各ブロック内で、色及び文字／画像の記載の状態を確認する。つまり、画像処理部３２は、対象物５０外であって投影可能範囲７０内の領域（情報が表示されていない領域）と、対象物５０内の領域（情報が表示されている領域）とを特に区別することなくブロック分けする。画像処理部３２は、濃い色または文字／画像の記載が多いブロックは、表示可能スペースとして適さないというフラグを立てる。一方、画像処理部３２は、薄い色または文字／画像の記載が少ないブロックは、表示可能スペースとして適するというフラグを立てる。この方法で作成された各ブロックのフラグの集合を、以後「表示可能スペース判定フラグ」と呼ぶ。表示可能スペース判定フラグは、各ブロックのＩＤに関連付けて記憶部３６に記憶される。
　次に、投影部３３は、表示可能スペース判定フラグに基づき、現在投影されている投影情報が表示可能なスペースに収まるかを判定する（ステップＳ５４）。全ての投影情報が表示可能スペースとして適する位置にある場合、投影部３３は、現在投影されている投影情報６０が表示可能なスペースに収まると判定する。
　投影部３３は、現在投影されている投影情報６０が表示可能なスペースに収まると判定した場合、投影情報の表示位置の調整が必要かを判定する（ステップＳ５６）。投影部３３は、投影情報の表示位置の調整が必要と判定した場合、表示可能なスペース内において投影情報６０の表示位置を移動し（ステップＳ５８）、その表示位置及びサイズで投影情報を表示し（ステップＳ６０）、本処理を終了する。一方、投影部３３は、投影情報の表示位置の調整が不要と判定した場合、その表示位置及びサイズで投影情報を表示し（ステップＳ６０）、本処理を終了する。
　ステップＳ５４において、投影部３３は、現在投影されている投影情報が表示可能なスペースに収まらないと判定した場合、投影情報６０の優先度を取得し（ステップＳ６２）、優先度の低い投影情報６０の表示サイズを調整する（ステップＳ６４）。次に、投影部３３は、投影情報６０を表示可能スペースに新たな表示サイズで再配置して表示し（ステップＳ６０）、本処理を終了する。
　ステップＳ６４では、表示可能スペースが不足する場合、投影部３３は、投影情報６０の優先度に応じ、投影情報６０の表示サイズの変更を行う。投影部３３は、最も優先度の低い投影情報６０の表示サイズを一定の割合で小さくして、投影情報６０の再配置処理を実行する。
　優先度の低い投影情報６０の表示サイズを一定の割合で小さくして配置処理を再実行し、投影情報６０が表示可能スペースにすべて配置されるまで、投影情報６０のサイズの変更と再配置の処理を繰り返す。最優先の投影情報６０の表示サイズを一定の割合で小さくしても再配置が完了しない場合、最も優先度の低い投影情報６０から表示サイズをさらに小さくしていく。
　全ての投影情報６０を表示可能スペース内に再配置できれば、処理は終了である。
　たとえば、図１６の上図に示す対象物移動前の表示状態では、５つの投影情報６０のすべてが対象物５０外であって投影可能範囲７０内の表示可能スペース（情報が表示されていない領域）に投影されている。このとき、各投影情報６０の優先度の高低関係は、図１６に示されるように投影情報Ｔ、Ｕの優先度が投影情報Ｓ，Ｐ，Ｒの優先度よりも高いとする。
　図１６の下図では、対象物５０が移動し、５つの投影情報６０のすべてが表示可能スペースに収まらない。この場合、投影部３３は、優先度の低い投影情報Ｓ，Ｐ，Ｒの表示サイズを小さくし、すべての投影情報６０を再配置する。この結果、図１６の下図に示すように、投影情報Ｓ，Ｐ，Ｒの表示サイズを小さくした状態で、５つの投影情報６０のすべてが表示可能スペースに投影される。
　ここで、投影部３３は、再配置の際、現状の（再配置前の）各投影情報６０の配置情報より、投影情報６０の再配置処理を行う順番を計算する。再配置処理は、まず各投影情報６０の優先度が高い順で行われ、同じ優先度の中では配置位置が投影可能範囲７０の左上の座標に近い投影情報６０程、先に配置処理されるようにする。式で表すと、投影可能範囲７０の左上座標を(X,Y)、表示可能スペースを(W,H)とした場合、X+W*Yの値が小さい順に再配置が行われる。この順番付けは、再配置前の各投影情報の上下左右関係が、再配置後もなるべく維持されることを意図して行われる。よって、優先度が同じ投影情報Ｔ，Ｕは、図１６の上図に示す左上座標に近い投影情報Ｔが投影情報Ｕよりも先に配置処理される。
　上記の方法で決められた順番で、表示可能スペースに投影情報６０が配置されていく。なお、表示可能スペースの検索は、一般的なロジックで行われる。また、第３実施形態に係る投影情報６０の表示の適正化は、第１実施形態において投影情報６０の投影位置を探索し、投影情報６０の投影可能範囲７０内にて投影情報６０を投影する場合にも適用可能である。
　また、第３実施形態に係る投影情報６０の表示の適正化は、第２実施形態において投影情報６０が手４０に重畳している場合に、投影情報６０の投影可能範囲７０内にて投影情報６０を移動させて投影する場合にも適用可能である。
　以上に説明したように、第３実施形態にかかる投影情報６０の表示処理によれば、更に投影情報６０の視認性を高めることができる。なお、第３実施形態では、投影情報６０の加工において優先度の低い投影情報６０のサイズを小さくした。しかしながら、投影情報６０の加工は、これに限らず、投影情報６０の外形を矩形から他の形に変形する、複数に分割する、投影情報６０内の情報量自体を減らす等の方法の一つ又はその組み合わせを用いることができる。
　（ハードウェア構成例）
　最後に、本実施形態にかかる投影装置１（制御装置３０）のハードウェア構成例について、図１７を参照して説明する。制御装置３０は、入力装置１０１、表示装置１０２、外部Ｉ／Ｆ１０３、ＲＡＭ(Random Access Memory)１０４、ＲＯＭ(Read Only Memory)１０５、ＣＰＵ(Central Processing Unit)１０６、通信Ｉ／Ｆ１０７、及びＨＤＤ(Hard Disk Drive)１０８を備える。各部はバスＢで相互に接続されている。
　入力装置１０１は、キーボードやマウスなどを含み、制御装置３０に各操作信号を入力するのに用いられる。表示装置１０２は、ディスプレイを含み、各種の処理結果を表示する。
　通信Ｉ／Ｆ１０７は、制御装置３０をネットワークに接続するインターフェースである。これにより、制御装置３０は、通信Ｉ／Ｆ１０７を介して、入出力装置１０と通信できる。
　ＨＤＤ１０８は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、装置全体を制御する基本ソフトウェア及びアプリケーションソフトウェアがある。例えば、ＨＤＤ１０８には、各種のＤＢ情報やプログラム等が格納されている。
　外部Ｉ／Ｆ１０３は、外部装置とのインターフェースである。外部装置には、記録媒体１０３ａなどがある。これにより、制御装置３０は、外部Ｉ／Ｆ１０３を介して記録媒体１０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１０３ａには、ＣＤ(Compact Disk)、及びＤＶＤ(Digital Versatile Disk)、ならびに、ＳＤメモリカード(SD Memory card)やＵＳＢメモリ(Universal Serial Bus memory)などがある。
　ＲＯＭ１０５は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０５には、ネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＣＰＵ１０６は、上記記憶装置（例えば「ＨＤＤ１０８」や「ＲＯＭ１０５」など）から、プログラムやデータをＲＡＭ１０４上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。
　上記ハードウェア構成により、本実施形態にかかる制御装置３０は、投影情報６０の色の変更処理や投影情報６０の表示処理を行うことができる。例えば、ＣＰＵ１０６が、ＲＯＭ１０５やＨＤＤ１０８内に格納された画像処理プログラム及び各種データを用いて投影情報６０の色の変更処理や投影情報６０の表示処理を実行する。この結果、本実施形態にかかるプロジェクタ１１から投影情報６０を投影する際に投影情報６０の視認性を確保することができる。なお、対象物特徴ＤＢ３７、投影情報ＤＢ３８及び投影色情報ＤＢ３９に保存される情報は、ＲＡＭ１０４、ＨＤＤ１０８、又はネットワークを介して制御装置３０に接続されるクラウド上のサーバー等に格納され得る。
　以上、投影装置及び画像処理プログラムを上記実施形態により説明した。しかしながら、本発明にかかる投影装置及び画像処理プログラムは上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記複数の実施形態に記載された事項は、矛盾しない範囲で組み合わせることができる。また、制御装置３０の取得部３１、画像処理部３２、投影部３３、検出部３４及び変更部３５の各機能は、ハードウェアにより構成されてもよく、ソフトウェアにより構成されてもよく、ハードウェアとソフトウェアとを組み合わせて構成されてもよい。
　例えば、上記実施形態にかかる投影装置１の構成は一例であり、本発明の範囲を限定するものではなく、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
　例えば、制御装置３０が、ネットワーク３５を介して入出力装置１０に接続されるシステム形態は、本実施形態にかかる投影装置１の一態様であり、これに限定されない。例えば、本実施形態にかかる投影装置１の制御装置３０は、入出力装置１０と別体であってもよく、入出力装置１０と一体であってもよい。
　１：投影装置
　１０：入出力装置
　１１：プロジェクタ
　１２：位置検出用カメラ
　１３：撮像用カメラ
　２０：載置台
　３０：制御装置
　３１：取得部
　３２：画像処理部
　３３：投影部
　３４：検出部
　３５：変更部
　３６：記憶部
　３７：対象物特徴ＤＢ
　３８：投影情報ＤＢ
　３９：投影色情報ＤＢ
　４０：手
　５０：対象物
　５１：ボタン
　５２：対象枠
　６０：投影情報
　７０：投影可能範囲
　３７３：対象物の背景の色情報
　３７５：対象物のコンテンツの色情報
　３９３：投影情報の背景の色情報
　３９５：投影情報のコンテンツの色情報

Claims (14)

  1. 　載置面に載置された対象物の撮像画像から該対象物の色情報を取得する取得部と、
    　前記対象物の指定された範囲に含まれる情報に関連付けて記憶された投影情報を前記載置面に投影する投影部と、
    　前記投影情報が前記対象物に重畳しているかを検出する検出部と、
    　前記投影情報が前記対象物に重畳していることを検出した場合、前記投影情報に関連付けて記憶された前記投影情報の色情報と、取得した前記対象物の色情報とに基づき、重畳している前記投影情報の色を前記対象物の色と異なる色に変更する変更部と、
    　を有する投影装置。
  2. 　前記取得部は、
    　前記撮像画像を複数のブロックに分割し、ブロック毎の色情報を取得し、
    　前記変更部は、
    　前記投影情報が前記対象物に重畳していることを検出した場合、ブロック毎の色情報と前記投影情報の色情報とに基づき、重畳している前記投影情報の色を該投影情報が重なるブロック又はブロック群の位置の色と異なる色に変更する、
    　請求項１に記載の投影装置。
  3. 　前記変更部は、
    　前記記憶された投影情報の背景の色情報と、取得した前記対象物の背景の色情報とに基づき、重畳している前記投影情報の背景の色を、前記対象物の背景の色と該投影情報の背景の色との中間色に変更する、
    　請求項１に記載の投影装置。
  4. 　前記変更部は、
    　前記記憶された投影情報のコンテンツの色情報と、取得した前記対象物のコンテンツの色情報とに基づき、重畳している前記投影情報のコンテンツの色を、前記対象物のコンテンツの色と該投影情報のコンテンツの色との中間色の反対色又は該中間色の補色に変更する、
    　請求項１に記載の投影装置。
  5. 　前記投影部は、
    　前記ブロック毎の色情報に基づき、前記対象物の余白部分に前記投影情報が重畳されるように前記投影情報を投影する、
    　請求項２に記載の投影装置。
  6. 　前記検出部は、
    　前記対象物の特定の範囲を指定する指示体が前記投影情報に重なることを検知し、
    　前記投影部は、
    　前記指示体に重畳していることが検出された前記投影情報を投影可能範囲内にて移動させる、
    　請求項１に記載の投影装置。
  7. 　前記変更部は、
    　前記投影情報の一部が、前記対象物の色情報と異なる色情報を持つ領域に重なる場合、該重なる領域に投影された前記投影情報の色を変える、
    　請求項１に記載の投影装置。
  8. 　載置面に載置された対象物の撮像画像から該対象物の色情報を取得し、
    　前記対象物の指定された範囲に含まれる情報に関連付けて記憶された投影情報を前記載置面に投影し、
    　前記投影情報が前記対象物に重畳しているかを検出し、
    　前記投影情報が前記対象物に重畳していることを検出した場合、前記投影情報に関連付けて記憶された前記投影情報の色情報と、取得した前記対象物の色情報とに基づき、重畳している前記投影情報の色を前記対象物の色と異なる色に変更する、
    　処理をコンピュータに実行させるための画像処理プログラム。
  9. 　前記取得する処理は、
    　前記撮像画像を複数のブロックに分割し、ブロック毎の色情報を取得し、
    　前記変更する処理は、
    　前記投影情報が前記対象物に重畳していることを検出した場合、ブロック毎の色情報と前記投影情報の色情報とに基づき、重畳している前記投影情報の色を該投影情報が重なるブロック又はブロック群の位置の色と異なる色に変更する、
    　請求項８に記載の画像処理プログラム。
  10. 　前記変更する処理は、
    　前記記憶された投影情報の背景の色情報と、取得した前記対象物の背景の色情報とに基づき、重畳している前記投影情報の背景の色を、前記対象物の背景の色と該投影情報の背景の色との中間色に変更する、
    　請求項８に記載の画像処理プログラム。
  11. 　前記変更する処理は、
    　前記記憶された投影情報のコンテンツの色情報と、取得した前記対象物のコンテンツの色情報とに基づき、重畳している前記投影情報のコンテンツの色を、前記対象物のコンテンツの色と該投影情報のコンテンツの色との中間色の反対色又は該中間色の補色に変更する、
    　請求項８に記載の画像処理プログラム。
  12. 　前記投影する処理は、
    　前記ブロック毎の色情報に基づき、前記対象物の余白部分に前記投影情報が重畳されるように前記投影情報を投影する、
    　請求項９に記載の画像処理プログラム。
  13. 　前記検出する処理は、
    　前記対象物の特定の範囲を指定する指示体が前記投影情報に重なることを検知し、
    　前記投影する処理は、
    　前記指示体に重畳していることが検出された前記投影情報を投影可能範囲内にて移動させる、
    　請求項８に記載の画像処理プログラム。
  14. 　前記変更する処理は、
    　前記投影情報の一部が、前記対象物の色情報と異なる色情報を持つ領域に重なる場合、該重なる領域に投影された前記投影情報の色を変える、
    　請求項８に記載の画像処理プログラム。
PCT/JP2014/078176 2014-10-23 2014-10-23 投影装置及び画像処理プログラム WO2016063392A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016555016A JP6454925B2 (ja) 2014-10-23 2014-10-23 投影装置及び画像処理プログラム
PCT/JP2014/078176 WO2016063392A1 (ja) 2014-10-23 2014-10-23 投影装置及び画像処理プログラム
US15/490,706 US20170223319A1 (en) 2014-10-23 2017-04-18 Projector and projection apparatus and image processing program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/078176 WO2016063392A1 (ja) 2014-10-23 2014-10-23 投影装置及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/490,706 Continuation US20170223319A1 (en) 2014-10-23 2017-04-18 Projector and projection apparatus and image processing program product

Publications (1)

Publication Number Publication Date
WO2016063392A1 true WO2016063392A1 (ja) 2016-04-28

Family

ID=55760461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078176 WO2016063392A1 (ja) 2014-10-23 2014-10-23 投影装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20170223319A1 (ja)
JP (1) JP6454925B2 (ja)
WO (1) WO2016063392A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020155912A (ja) * 2019-03-20 2020-09-24 国立大学法人福井大学 照明装置、照明方法および照明システム
JP2020177476A (ja) * 2019-04-18 2020-10-29 日本電気株式会社 画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラム
JP7354276B2 (ja) 2019-11-15 2023-10-02 株式会社Ｎｔｔドコモ 情報処理装置、及び投射システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021377A (ja) * 1996-07-01 1998-01-23 Casio Comput Co Ltd 画像処理装置
JP2001211372A (ja) * 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 映像投影装置
JP2010079550A (ja) * 2008-09-25 2010-04-08 Fuji Xerox Co Ltd 指示システム、指示装置、指示プログラム
JP2012098705A (ja) * 2010-10-07 2012-05-24 Nikon Corp 画像表示装置
WO2013136602A1 (ja) * 2012-03-16 2013-09-19 富士フイルム株式会社 プロジェクタ付き撮影装置及びその撮影制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138801A (ja) * 2003-11-10 2005-06-02 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP2010081504A (ja) * 2008-09-29 2010-04-08 Fuji Xerox Co Ltd 画像処理装置、画像処理システム、情報処理システム及び画像処理装置の制御プログラム
US20140247263A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021377A (ja) * 1996-07-01 1998-01-23 Casio Comput Co Ltd 画像処理装置
JP2001211372A (ja) * 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 映像投影装置
JP2010079550A (ja) * 2008-09-25 2010-04-08 Fuji Xerox Co Ltd 指示システム、指示装置、指示プログラム
JP2012098705A (ja) * 2010-10-07 2012-05-24 Nikon Corp 画像表示装置
WO2013136602A1 (ja) * 2012-03-16 2013-09-19 富士フイルム株式会社 プロジェクタ付き撮影装置及びその撮影制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020155912A (ja) * 2019-03-20 2020-09-24 国立大学法人福井大学 照明装置、照明方法および照明システム
JP7219460B2 (ja) 2019-03-20 2023-02-08 国立大学法人福井大学 照明装置、照明方法および照明システム
JP2020177476A (ja) * 2019-04-18 2020-10-29 日本電気株式会社 画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラム
JP7354276B2 (ja) 2019-11-15 2023-10-02 株式会社Ｎｔｔドコモ 情報処理装置、及び投射システム

Also Published As

Publication number Publication date
US20170223319A1 (en) 2017-08-03
JP6454925B2 (ja) 2019-01-23
JPWO2016063392A1 (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
KR100658998B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
Kramer et al. Hacking the kinect
DE102014216235B4 (de) Mobile dokumentenerfassungshilfe für optimierte texterkennung
US8938685B2 (en) Automated graphical user interface design and development systems and methods
US10148895B2 (en) Generating a combined infrared/visible light image having an enhanced transition between different types of image information
JP6294018B2 (ja) イメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体
US20120243796A1 (en) Image processing apparatus, computer readable medium storing program, and image processing method
US10455163B2 (en) Image processing apparatus that generates a combined image, control method, and storage medium
JP2008015706A (ja) 画像処理装置
US20150161775A1 (en) Method of correcting image overlap area, recording medium, and execution apparatus
US9361669B2 (en) Image processing apparatus, image processing method, and program for performing a blurring process on an image
JP6454925B2 (ja) 投影装置及び画像処理プログラム
WO2022124380A1 (en) Method, system, and non-transitory computer-readable storage medium storing set of computer-readable instructions
CN104883519A (zh) 图像处理装置及图像处理装置的控制方法
US20170018108A1 (en) Display apparatus and control method thereof
US9361708B2 (en) Image processing device, image processing method
EP2790396A1 (en) Color extraction-based image processing method, computer-readable storage medium storing the same, and digital image apparatus
KR101764998B1 (ko) 이미지 필터링 방법 및 시스템
US20110150336A1 (en) Hardware Management Based on Image Recognition
JP2011109507A (ja) 画像処理装置および画像処理プログラム
US10943109B2 (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
KR20090091578A (ko) 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치
US11010900B2 (en) Information processing method, information processing apparatus, and storage medium
CN115035530A (zh) 图像处理方法、图像文本获得方法、装置及电子设备
US20090103811A1 (en) Document camera and its method to make an element distinguished from others on a projected image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14904499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016555016

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14904499

Country of ref document: EP

Kind code of ref document: A1