WO2020071057A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体

Info

Publication number
WO2020071057A1
WO2020071057A1 PCT/JP2019/035242 JP2019035242W WO2020071057A1 WO 2020071057 A1 WO2020071057 A1 WO 2020071057A1 JP 2019035242 W JP2019035242 W JP 2019035242W WO 2020071057 A1 WO2020071057 A1 WO 2020071057A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
content
visual information
control unit
information processing
Prior art date
Application number
PCT/JP2019/035242
Other languages
English (en)
French (fr)
Inventor
美希 時武
洋章 鳥海
克次 宮澤
祥次 渡邊
哲男 池田
文士 市山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/278,512 priority Critical patent/US20220036076A1/en
Priority to JP2020550231A priority patent/JPWO2020071057A1/ja
Publication of WO2020071057A1 publication Critical patent/WO2020071057A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a recording medium.
  • Patent Literature 1 described below describes a technique of controlling display of information related to an object or display of information in consideration of a context related to a user based on recognition results of various objects.
  • the situation of the object itself can be dynamically changed by an action on the object by the user.
  • the content specified based on the recognition result of the first object on which the content provided on the projection surface is arranged and the recognition result of the second object provided with the first object And a projection controller for projecting visual information corresponding to the projection information on the projection plane.
  • the processor is configured to perform processing based on a recognition result of the first object in which the content to be provided on the projection surface is arranged and a recognition result of the second object provided together with the first object. And projecting visual information corresponding to the specified content on the projection surface.
  • the computer identifies the content provided on the projection surface based on the recognition result of the first object on which the content is arranged and the recognition result of the second object provided together with the first object.
  • a computer-readable recording medium storing a program for realizing a projection control function of projecting visual information corresponding to the content onto the projection surface.
  • FIG. 1 is a diagram illustrating an outline of a projection device 10 according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for describing an example of a first object, a second object, content, and a relationship between the first object and visual information corresponding to the second object.
  • FIG. 3 is a diagram illustrating an example of a functional configuration of the projection device 10 according to the embodiment.
  • FIG. 4 is a diagram for describing an example of a method for recognizing the size of a first object according to the embodiment.
  • FIG. 3 is a diagram for describing projection control performed by a projection control unit 150 according to the embodiment.
  • FIG. 4 is a diagram for describing an example of visual information projection control based on a recognition result of a second object by a projection control unit 150 according to the embodiment.
  • FIG. 4 is a diagram for describing an example of visual information projection control based on a position of a first object by a projection control unit 150 according to the embodiment.
  • FIG. 5 is a diagram for describing an example of projection control by the projection control unit 150 according to the embodiment when another object is recognized.
  • FIG. 5 is a diagram for describing an example of projection control by the projection control unit 150 according to the embodiment when another object is recognized. It is a figure for explaining an example when a plurality of contents concerning the embodiment are provided.
  • FIG. 4 is a diagram for describing an example of projection control by the projection control unit 150 according to the embodiment when a plurality of contents are specified.
  • FIG. 14 is a diagram illustrating an example of projection control based on a time elapsed after the content according to the embodiment is provided.
  • FIG. 3 is a diagram for describing an example of a flow of projection control according to the embodiment.
  • FIG. 4 is a diagram for describing an example of projection control based on a change in the state of the content according to the embodiment.
  • FIG. 14 is a diagram illustrating an example of a flow of projection control in a state change of content according to the embodiment.
  • FIG. 4 is a diagram for explaining an example of projection control related to sheet entry according to the embodiment.
  • 1 is a block diagram illustrating a hardware configuration example of a projection device 10 according to an embodiment of the present disclosure.
  • a plurality of components having substantially the same function and configuration may be distinguished by adding different alphabets to the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are distinguished as necessary, such as a dish C0 and a dish C1.
  • only the same reference numeral is assigned.
  • the dishes are simply referred to as dishes C.
  • Embodiment 1-1 Overview 1-2. Functional configuration example 1-3. Control example 2. 2. Hardware configuration example Conclusion
  • Embodiment >> ⁇ 1-1. Overview> First, the outline of the present invention will be described.
  • the added object is an object added to the object for recognition of the object.
  • the added object is an object added to the object for recognition of the object.
  • a situation may occur in which the state of the object itself changes, for example, as the food is eaten by the user.
  • the outer shape of the object changes, it may be difficult to continue to recognize the object.
  • the technical idea according to an embodiment of the present disclosure is conceived by focusing on the above points, and by continuously combining recognition results of a plurality of objects, specifies an object to be recognized continuously, and Can be displayed. Further, even when the state of the object itself changes, the object is continuously recognized, and information corresponding to the change in the state is displayed.
  • the projection device recognizes the recognition result of the first object in which the content to be provided on the projection surface is arranged and the recognition of the second object provided with the first object.
  • One of the features is that visual information corresponding to the content specified based on the result is projected on a projection surface.
  • the content can be specified based on the recognition result of the second object. Further, according to this feature, even when the second object is removed from the content, the content can be specified based on the recognition result of the first object. Further, according to this feature, it is possible to continuously specify the content even in a situation where the state of the content changes, as compared with the case where the content itself is recognized.
  • the content is cooking (food)
  • the first object is tableware
  • the second object is decoration
  • the decoration means, for example, an edible film or the like.
  • FIG. 1 is a diagram illustrating an outline of a projection device 10 according to an embodiment of the present disclosure.
  • FIG. 1 shows the projection device 10, the table 20, the tableware T0, the dish C0, and the decoration M0.
  • the dish C0 is placed on the tableware T0
  • the decoration M0 is placed on the dish C0.
  • the tableware T, the dish C, and the decoration M will be described later.
  • the projection device 10 includes a camera, and captures an image of the top surface of the table 20, for example. Further, the projection device 10 includes a depth sensor and acquires depth information. Further, the projection device 10 may include an RGB sensor and acquire color information. Further, the projection device 10 may further include a voice input device such as a microphone, and may collect a voice uttered by the user or an environmental sound of a surrounding environment.
  • the projection device 10 can recognize the position of an object (for example, tableware T or decoration M) located on the top surface of the table 20 by analyzing the image captured by the camera.
  • an object for example, tableware T or decoration M
  • the projection device 10 can acquire depth information of the object by analyzing the depth information.
  • the projection device 10 can specify, for example, the position and size of the tableware T based on the depth information. Further, the projection device 10 may include a speaker that outputs sound.
  • the projection device 10 projects visual information on the table 20.
  • the visual information includes, for example, predetermined animations, still images, characters, and the like.
  • the projection device 10 may include a projector.
  • the projection device 10 can be arranged at a predetermined distance from the table 20 so as to face the top surface of the table 20. In this case, the projection device 10 can project visual information on the top surface of the table 20.
  • the projection device 10 may project the visual information corresponding to the recognized dish C on the projection surface of the table 20.
  • the projection plane refers to an area on the table 20 on which the visual information is projected.
  • the area is, for example, the top surface of the table 20.
  • FIG. 2 is a diagram for explaining an example of a relationship between a first object, a second object, content, and visual information corresponding to the first object and the second object.
  • the left side of FIG. 2 shows the first object, and the content and the second object arranged on the first object.
  • the projection device 10 projects on the projection surface based on the recognition result of the first object and the recognition result of the second object provided on the table 20.
  • the first object and the second object are associated with each content.
  • the tableware T1 and the decoration M1 are associated with the dish C1.
  • the projected visual information is associated with each of the contents.
  • the animation A1 is associated with the dish C1.
  • the projection device 10 recognizes the tableware T1 and the decoration M1, and specifies the dish C1 based on the association described above. Next, the projection device 10 projects the animation A1 corresponding to the dish C1 onto the dish C1 based on the above-described association.
  • the positional relationship among the first object, the second object, and the visual information is predetermined.
  • the dish as the content is specified. Then, visual information corresponding to the dish can be presented to the user.
  • FIG. 3 is a diagram for describing an example of a functional configuration of the projection device 10 according to the present embodiment.
  • the projection device 10 includes an input unit 110, a recognition unit 120, a specification unit 130, a storage unit 140, a projection control unit 150, and an output unit 160.
  • the input unit 110 has a function of receiving various information to the input unit 110.
  • the input unit 110 includes the camera that captures the top surface of the table 20 and the depth sensor that obtains depth information on the table 20 as described above.
  • the depth sensor may be, for example, a time @ of @ light type sensor, a structured @ light type sensor, or the like.
  • the input unit 110 may acquire the seismic intensity information using a stereo camera.
  • the range in which the visual information is projected by the output unit 160 and the range in which the input unit 110 receives input of information may be the same or different from each other.
  • the input unit 110 can acquire image data and depth information for a range wider than the projection range of the output unit 160.
  • the projection device 10 may include an RGB sensor and acquire color information.
  • the recognizing unit 120 has a function of recognizing the first object and the second object.
  • the recognition unit 120 performs recognition using information such as the image data acquired by the input unit 110. Specifically, the recognition unit 120 can recognize the position and size of the first object, and the type, position, and size of the second object. At this time, the position of the first object and the position of the second object recognized by the recognition unit 120 may be the center of each object.
  • FIG. 4 is a diagram for explaining an example of a method of recognizing the size of the first object.
  • FIG. 4 shows tableware T2, dish C2, decoration M2, and recognition rectangle E.
  • the recognition unit 120 may recognize the size of the recognition rectangle E as the minimum rectangle surrounding the tableware T2 as the size of the tableware T2.
  • the recognizing unit 120 provides the information indicating the recognized size to the specifying unit 130.
  • the size of the minimum rectangle may have a predetermined width (range).
  • the recognition unit 120 may recognize a change in the state of the content.
  • the state change refers to, for example, a change that occurs based on the user's interaction with the content. Further, the state change may be a change that does not include interaction with the content by the user, such as dissolution of food. For example, the state change includes a mass change of the content.
  • the recognizing unit 120 provides information indicating the state change to the specifying unit 130 described later.
  • the recognizing unit 120 may continuously recognize the first object, the second object, and the content.
  • the recognition unit 120 can recognize, for example, a change in the state of the content by performing continuous recognition.
  • the specifying unit 130 has a function of specifying content based on the recognition result of the first object and the recognition result of the second object. Specifically, the specifying unit 130 specifies the content based on the association data of the content of the combination of the first object and the second object stored in the storage unit 140 described later. For example, the identification unit 130 identifies the dish C associated with the decoration M recognized by the recognition unit 120 based on the association data stored in the storage unit 140.
  • Specifying section 130 provides information indicating the specified content to projection control section 150.
  • the specifying unit 130 may acquire the content associated with the second object, and may also acquire information indicating the size of the first object corresponding to the second object.
  • the size indicated by the information may have a predetermined range.
  • the identification unit 130 compares the size indicated by the acquired information with the size recognized by the recognition unit 120. When the size of the first object recognized by the recognition unit 120 is not included in the predetermined range as a result of the comparison, the specifying unit 130 determines that the size of the second object is not included in the predetermined range.
  • the indicated information may be provided to a projection control unit 150 described later.
  • the storage unit 140 stores data.
  • the storage unit 140 stores information related to the first object, the second object, the content, and the visual information.
  • the storage unit 140 can store information on a combination of each of the first object and the second object.
  • the association between the combination and the content, the association between the content and the visual information, and the like can be stored.
  • the above-described information may be realized in the form of, for example, a relational database.
  • the projection control unit 150 has a function of causing the output unit 160 to project visual information on a projection surface based on the recognition result of the first object and the recognition result of the second object. Specifically, the projection control unit 150 controls the output unit 160 to project the visual information associated with the content specified by the specifying unit 130 on a projection surface. At that time, the projection control unit 150 acquires the visual information specified by the specifying unit 130 based on the association data between the content stored in the storage unit 140 and the visual information. Details regarding the control of the projection control unit 150 will be described later.
  • the output unit 160 projects visual information on a projection surface under the control of the projection control unit 150.
  • the projection device 10 can be arranged at a predetermined distance from the table 20 so as to face the top surface of the table 20.
  • the projection device 10 does not need to be located directly above the table 20 as shown in FIG.
  • the projection device 10 may be arranged so as to be able to project the visual information onto the table 20 while being inclined.
  • the projection device 10 may be a pendant light or a desk stand light.
  • Such a method of displaying information on the top surface of the table 20 from above is also referred to as a “projection type”.
  • the example of the functional configuration of the projection device 10 according to the embodiment has been described above.
  • the configuration described above with reference to FIG. 3 is merely an example, and the functional configuration of the projection device 10 according to the present embodiment is not limited to the example.
  • the projection device 10 does not necessarily need to include all of the configurations illustrated in FIG.
  • the recognition unit 120, the specifying unit 130, the storage unit 140, and the projection control unit 150 can be provided in another device different from the projection device 10.
  • the functional configuration of the projection device 10 according to the present embodiment can be flexibly deformed according to specifications and operation.
  • the projection device 10 may be a smartphone.
  • FIG. 5 is a diagram for describing an example of projection control by the projection control unit 150.
  • FIG. 5 shows tableware T3, dish C3, decoration M3, and animation A2.
  • the projection control unit 150 controls the output unit 160 based on the recognition result of the first object and the recognition result of the second object so as to project the visual information corresponding to the content on the projection plane. Specifically, the projection control unit 150 determines a position at which the output unit 160 projects visual information based on the position of the first object and the position of the second object recognized by the recognition unit 120. The projection control unit 150 controls the output unit 160 to project the visual information on the determined position.
  • the projection control unit 150 determines the projection position P3 of the animation A2 based on the position P1 of the tableware T3 and the position P2 of the decoration M3.
  • the projection position P3 may be determined based on a two-dimensional coordinate system in which the position P1 of the tableware T3 is set as the origin and the direction of the position P2 of the decoration M3 is the Y-axis direction.
  • the projection control unit 150 may determine the projection position P3 based on, for example, a two-dimensional coordinate system in which the long axis direction of the decoration M3 is the Y axis direction.
  • the projection control unit 150 can control the position where the visual information is projected based on the position of the first object and the position of the second object recognized by the recognition unit 120. According to such a function, it is possible to project visual information to a more accurate position.
  • both the first object and the second object are correctly recognized.
  • both the first object and the second object are not always recognized correctly.
  • the recognizing unit 120 recognizes the first object, another first object, and the like as one first object. there is a possibility. Therefore, the size of the first object recognized by the recognition unit 120 is not included in the predetermined range set as the size of the first object corresponding to the second object recognized together.
  • the projection control unit 150 may control the projection of the visual information on the projection plane based on the position of the second object.
  • FIG. 6 is a diagram for explaining control of projection of visual information by the projection control unit 150 based on the recognition result of the second object.
  • FIG. 6 shows tableware T4, dish C4, and decoration M4.
  • the projection control unit 150 When the size of the first object recognized by the recognition unit 120 is not included in the predetermined range, the projection control unit 150 outputs visual information corresponding to the content based on the recognition result of the second object. To the projection plane. Specifically, the projection control unit 150 determines the position where the visual information is projected based on the position of the second object recognized by the recognition unit 120, and outputs the visual information to the determined position. 160 is controlled.
  • the recognition unit 120 recognizes the first object larger than the size of the tableware T4 which is a combination with the decoration M4.
  • the projection control unit 150 determines the projection position P5 of the animation A3 from the position P4 of the decoration M4 based on the recognition result of the recognition unit 120.
  • the projection position P5 may be determined based on a two-dimensional coordinate system in which the long axis direction of the decoration M4 in the image input to the input unit 110 is the Y-axis direction with the position P4 of the decoration M4 as the origin. Good.
  • the projection control unit 150 can project visual information based on the position of the second object even when the center coordinates of the first object cannot be recognized. According to this function, it is possible to continue the projection of the visual information even when the situation of the first object is not suitable for recognition.
  • the projection control unit 150 does not have to cause the output unit 160 to project visual information.
  • the projection control unit 150 does not have to project the animation A3 when the size of the first object recognized by the recognition unit 120 is smaller than a predetermined range. According to such a function, more accurate projection control can be performed.
  • the projection control unit 150 controls the projection of the visual information on the projection plane based on the position of the first object.
  • FIG. 7 is a diagram for explaining control of projection of visual information based on the position of the first object by the projection control unit 150.
  • FIG. 7 shows tableware T5, dish C5, decoration M5, and animation A4.
  • the projection control unit 150 projects visual information corresponding to the content on the projection surface based on the position of the first object.
  • the output unit 160 is controlled as described above.
  • the specifying unit 130 specifies the content corresponding to the second object recognized by the recognition unit 120.
  • the projection control unit 150 determines a position where the visual information is projected based on the center position of the first object, and controls the output unit 160 to project the visual information on the determined position.
  • the projection control unit 150 determines the projection position P8 of the animation A4 based on the position P7 of the tableware T5.
  • the projection position P8 may be determined in a two-dimensional coordinate system in which the position P7 of the tableware T5 is the origin and the upward direction in the image input to the input unit 110 is the Y-axis direction.
  • the projection control unit 150 does not have to perform the projection of the visual information. According to such a function, it is possible to more accurately specify the content and project the visual information.
  • the specifying unit 130 may specify the content based on the size of the first object.
  • the projection control unit 150 may project visual information onto a projection plane based on the recognition result of another object by the recognition unit 120.
  • 8 and 9 are diagrams for explaining an example of the projection control by the projection control unit 150 when another object is recognized. 8 and 9 show a tableware T6, a dish C6, and a decoration M6.
  • the other object here refers to an object that can contact or approach the first object or the like on the desk.
  • other objects include a user's hand, a waiter's hand, a fork, and the like.
  • the projection control unit 150 may control the projection of visual information based on the recognition result of another object. For example, when another object approaches or touches the content or the like, the projection control unit 150 may stop projection of visual information. When another object moves away from the content or the like, the projection control unit 150 may restart the projection of the visual information. Here, the projection control unit 150 may restart the projection of the visual information regardless of the number of times, or may limit the number of times. Further, when the visual information is animation A, the projection control unit 150 may restart the animation A from the beginning when the projection of the animation A is restarted, or from the state where the projection of the animation A is stopped. The projection may be restarted.
  • the projection control unit 150 projects the animation A5 on the output unit 160 based on the recognition result of the tableware T6 and the recognition result of the decoration M6.
  • the projection control unit 150 controls the output unit 160 to stop the projection of the animation A5.
  • the recognition unit 120 can recognize that the hand H of the user is approaching or in contact with the dish C6 based on the depth information acquired by the depth sensor included in the input unit 110.
  • the projection control unit 150 controls the output unit 160 to start projection of the animation A6.
  • the projection control unit 150 causes the output unit 160 to project the animation A5 based on the recognition result of the tableware T6 and the recognition result of the decoration M6.
  • the projection control unit 150 can control the projection of visual information based on the recognition result of another object. According to such a function, it is possible for the user to intuitively reproduce or stop the visual information, and not to disturb the user.
  • the projection control unit 150 may cause the output unit 160 to output visual information associated with each content when the specifying unit 130 specifies a plurality of contents.
  • FIG. 10 is a diagram for describing an example in which a plurality of contents are provided.
  • FIG. 10 shows tableware T8, dish C8, and decoration M8.
  • FIG. 10 also shows tableware T9, dish C9, and decoration M9.
  • the projection control unit 150 projects an animation A7 associated with the dish C8 and an animation A8 associated with the dish C9 on a projection plane.
  • the projection control unit 150 may cause the output unit 160 to output visual information corresponding to the plurality of contents. Specifically, the projection control unit 150 causes the output unit 160 to project visual information corresponding to the combination of the plurality of contents, which is different from the visual information to be projected when the specifying unit 130 specifies the plurality of contents. You may.
  • FIG. 11 is a diagram for describing an example of projection control by the projection control unit 150 when a plurality of contents are specified.
  • FIG. 11 shows tableware T10, dish C10, decoration M10, tableware T11, dish C11, and decoration M11.
  • the projection control unit 150 projects the animation A9 based on the recognition result of the tableware T10 and the decoration M10.
  • the projection control unit 150 projects the animation A10 based on the recognition result of the tableware T11 and the decoration M11.
  • the animation A10 is visual information associated with a combination of the dish C10 and the dish C11.
  • the projection control unit 150 may project, for example, visual information associated with a combination of a plurality of contents onto the plurality of contents.
  • the projection control unit 150 moves the animation A10 from the tableware T11, the decoration M11, and the dish C11 to the tableware T10 and the dish C10.
  • the projection control unit 150 can move visual information from one content to another content based on the recognition result of a plurality of contents. According to this function, the user can enjoy the visual information projection more.
  • FIG. 12 is a diagram for describing an example of projection control based on the time elapsed since the content was provided.
  • FIG. 12 shows, in chronological order, the number of times visual information has been projected since the content was provided to each of the user U1 and the user U2.
  • the projection control unit 150 may control the projection of visual information based on the passage of time. Specifically, the projection control unit 150 may determine whether or not to project the visual information based on, for example, the time elapsed since the content was provided. For example, the projection control unit 150 may determine whether or not to cause the output unit 160 to project the visual information on the projection plane based on the time elapsed since the start of the visual information projection first.
  • the projection control unit 150 may cause the output unit 160 to project the visual information until a predetermined time elapses after the content is provided, and may not cause the output unit 160 to project the visual information after the predetermined time elapses. .
  • the number of times the visual information is projected is less than or equal to the predetermined number of times, for example, from the time when the content is provided to the time when the predetermined time elapses, even if the predetermined time has elapsed, Visual information may be projected on the output unit 160.
  • the predetermined number of projections set by the projection control unit 150 is five.
  • the projection control unit 150 causes the output unit 160 to project the projection MU1 of visual information from the time TI1 at which the content was provided to a predetermined time TI2.
  • the number of visual information projection MU1 is six.
  • the projection control unit 150 does not cause the output unit 160 to project visual information after the predetermined time TI2.
  • the user U2 projects the visual information MU2a from the time TI1 at which the content was provided to the predetermined time TI2.
  • the number of projections MU2 of visual information is one, which is less than the predetermined number of projections of five. Accordingly, the projection control unit 150 causes the visual information to be projected MU2b even after the predetermined time TI2.
  • the projection control unit 150 does not have to project the visual information when the total number of times of the visual information projection MU2a and the visual information projection MU2b reaches a predetermined number of projections.
  • the projection of visual information can be controlled based on the passage of time. According to such a function, even if the same visual information is projected, it is possible to keep the user from getting bored.
  • FIG. 13 is a diagram for describing an example of the flow of the projection control according to the present embodiment.
  • the recognizing unit 120 starts recognizing the second object based on information such as an image captured and acquired by the input unit 110 (S1101).
  • the recognizing unit 120 determines whether the second object has been recognized (S1102). If the recognizing unit 120 determines that the second object has not been recognized (S1102: NO), the process returns to step S1102.
  • the recognition unit 120 determines that the second object has been recognized (S1102: YES)
  • the input unit 110 determines whether the first object has been recognized based on information such as an image captured and acquired. Is determined (S1103). If the recognizing unit 120 determines that the first object has not been recognized (S1103: NO), the process returns to step S1102.
  • the specifying unit 130 determines whether or not the size of the first object is within a specific range (S1104). When it is determined that the size of the first object is within the specific range (S1104: YES), the specifying unit 130 specifies the content based on the recognition result of the first object and the second object (S1105). ). Next, the projection control unit 150 determines a projection position based on the position of the first object and the position of the second object (S1106). Next, the output unit 160 is controlled to project the visual information corresponding to the content on the projection plane (S1107), and the operation of the projection device 10 ends.
  • the specifying unit 130 determines whether the size of the first object is larger than the predetermined range. A determination is made (S1108). If it is determined that the size of the first object is not larger than the predetermined range (S1108: NO), the process returns to step S1102. On the other hand, if it is determined that the size of the first object is larger than the predetermined range (S1108: YES), the specifying unit 130 specifies the content based on the recognition result of the second object (S1109). Next, the projection control unit 150 determines a projection position based on the position of the second object (S1110). Next, the projection control unit 150 controls the output unit 160 to project the visual information corresponding to the content on the projection plane (S1107), and the projection device 10 ends the operation.
  • the projection control unit 150 sets the positional relationship between the first object and the second object to a position other than the predetermined positional relationship based on the recognition result of the first object and the second object. Even so, it is possible to project visual information at an accurate position.
  • the state of the content itself changes, for example, such that the food is eaten by the user.
  • the projection control unit 150 may perform projection control based on a change in the state of the content. For example, the projection control unit 150 may determine the position where the animation A is to be projected based on the recognition unit 120 recognizing a change in the amount of the dish C served on the tableware T in a meal scene.
  • FIG. 14 is a diagram for describing an example of projection control based on a change in the state of content.
  • FIG. 14 shows tableware T12, dish C12, and decoration M12.
  • the lower right part of the tableware T12 is a blank area where the dish C12 does not exist.
  • the projection control unit 150 may project the visual information corresponding to the content specified by the specifying unit 130 onto the first object. Specifically, the projection control unit 150 can select an area in which visual information can be directly projected on the first object. The projection control unit 150 may cause the output unit 160 to project visual information onto the area. For example, when the recognition unit 120 recognizes a new first object region on the projection plane, the projection control unit 150 may cause the output unit 160 to project visual information onto the region.
  • the projection control unit 150 causes the output unit 160 to project the animation A11 to the projection position P10 of the blank region based on the recognition unit 120 recognizing the blank region in the lower right portion of the tableware T12. ing.
  • the recognition unit 120 may recognize a change in the state of the content from the image obtained by the input unit 110 capturing the image. Further, the recognition unit 120 may recognize the mass change of the content by estimating the volume of the content from the image.
  • the projection of visual information can be controlled based on the change in the state of the content. According to such a function, it is possible to flexibly project visual information according to a user's action on content.
  • the projection control unit 150 decreases the volume of the content in addition to the recognition result of the first object and the recognition result of the second object.
  • the position where the visual information is projected may be determined on the basis of the fact.
  • FIG. 15 is a diagram for describing an example of the flow of projection control in a state change of content according to the present embodiment.
  • the recognition unit 120 is performing recognition. Referring to FIG. 15, first, the recognizing unit 120 determines whether or not the state of the content has changed (S1201). If it is determined that the state of the content has not changed (S1201: NO), the process returns to step S1201. When it is determined that the state of the content has changed (S1201: YES), the recognizing unit 120 determines whether a new blank area has appeared in the first object on the projection plane (S1202).
  • the projection control unit 150 determines a projection position based on the position of the first object and the blank area (S1204).
  • the projection control unit 150 controls the output unit 160 to project the visual information corresponding to the content on the projection plane (S1205), and the projection device 10 ends the operation.
  • the recognizing unit 120 determines whether the mass of the content has changed (S1206). If it is determined that the mass of the content has not changed (S1206: NO), the process returns to step S1201. On the other hand, if it is determined that the mass of the content has changed (S1204: YES), the content is specified based on the recognition result of the first object, the recognition result of the second object, and the recognition result of the content whose mass has decreased. (S1207). Next, the projection control unit 150 determines a projection position based on the position of the first object and the currently existing blank area (S1204). Next, the projection control unit 150 controls the output unit 160 to project the visual information corresponding to the content on the projection plane (S1205), and the projection device 10 ends the operation.
  • the projection control by the projection control unit 150 is applicable.
  • FIG. 16 is a diagram for explaining an example of projection control related to paper entry.
  • FIG. 16 shows an application form T13 as a first object, a heading M13 as a second object, a form C13 as content, and guidance information A12, A13 and A14 as visual information corresponding to the form C13. ing.
  • the projection control unit 150 causes the output unit 160 to project the guidance information A12 and A13 on the application form T13 based on the change in the item status of the form C13 recognized by the recognition unit 120.
  • the change in the item status of the form C13 means, for example, that the user fills out the application form T13 so as to conform to the form of the form C13.
  • the projection control unit 150 causes the output unit 160 to project visual information corresponding to the entry based on the entry in the form C13 recognized by the recognition unit 120 so as to conform to the format.
  • the change in the item status of the form C13 may include entry so as not to conform to the form of the form C13, entry of incorrect contents, and the like.
  • the projection control unit 150 notifies the user that the entry does not conform to the format on the basis of the entry in the form C13 recognized by the recognition unit 120 so as not to conform to the format (guidance). May be projected. Further, the projection control unit 150 notifies the output unit 160 of the presence of the unfilled content to the user based on the recognition of the unfilled content or a part of the content by the recognition unit 120. Visual information may be projected.
  • the projection control unit 150 causes the output unit 160 to project, on the application form T13, guide information A12 for guiding that an entry different from the entry format has been entered.
  • the projection control unit 150 also provides guidance information A13 for guiding the contents of the selected “A course” based on the recognition of the entry for selecting “A course” in the item of the form C13 by the recognition unit 120. Is projected on the application form T13.
  • the projection control unit 150 causes the output unit 160 to project guidance information A14 prompting entry based on the recognition of the entry field that has not yet been entered since the application form was provided by the recognition unit 120. I have.
  • the recognizing unit 120 may recognize the paper as the first object by, for example, a size, a color, or a shape.
  • the recognizing unit 120 may recognize the heading as the second object by, for example, a predetermined pattern or a printed character.
  • the projection control unit 150 can recognize the information entered in the items on the sheet and appropriately determine the guide information to be projected. According to such a function, it is possible to improve the convenience of the user for filling in the form. Note that the projection control by the projection control unit 150 is not limited to the above example, and can be applied in various situations.
  • FIG. 17 is a block diagram illustrating a hardware configuration example of the projection device 10 according to an embodiment of the present disclosure.
  • the projection device 10 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879.
  • a storage 880, a drive 881, a connection port 882, and a communication device 883 Note that the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 871 functions as, for example, an arithmetic processing device or a control device, and controls the entire operation of each component or a part thereof based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901. .
  • the ROM 872 is a means for storing a program read by the processor 871, data used for calculation, and the like.
  • the RAM 873 temporarily or permanently stores, for example, a program read by the processor 871 and various parameters that appropriately change when the program is executed.
  • the processor 871, the ROM 872, and the RAM 873 are mutually connected, for example, via a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to, for example, an external bus 876 having a relatively low data transmission speed via a bridge 875.
  • the external bus 876 is connected to various components via an interface 877.
  • Input device 8708 As the input device 878, for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, and the like are used. Further, as the input device 878, a remote controller (hereinafter, remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone.
  • the output device 879 transmits acquired information to the user, such as a display device such as a CRT (Cathode Ray Tube), an LCD or an organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can visually or audibly notify the user.
  • the output device 879 according to the present disclosure includes various vibration devices capable of outputting a tactile stimulus.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information on the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, various semiconductor storage media, and the like.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact type IC chip is mounted, or an electronic device.
  • connection port 882 is, for example, a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the projection device 10 can more accurately project visual information by using the recognition result of the first object and the recognition result of the second object. Become.
  • the projection device 10 can project visual information according to the change in the state.
  • the second object is associated with each of the contents, The information processing device according to (1).
  • the first object and the second object are continuously recognized;
  • the projection control unit dynamically projects the visual information on the projection plane based on the recognition result of the first object and the recognition result of the second object.
  • the recognition result of the first object includes a size of the first object, The projection control unit projects the visual information corresponding to the content on the projection plane according to a size of the first object.
  • the information processing device according to any one of (1) to (3).
  • the projection control unit may display the visual information corresponding to the content specified based on the recognition result of the second object on the projection surface. Projected on The information processing device according to (4).
  • the recognition result includes a position of the first object and a position of the second object, The projection control unit projects the visual information corresponding to the content on the projection plane based on the position of the first object and the position of the second object.
  • the information processing device according to any one of (1) to (5).
  • the projection control unit may correspond to the content with reference to the position of the first object. Projecting the visual information on the projection surface; The information processing device according to (6).
  • a recognition unit that recognizes the first object and the second object; Further comprising The projection control unit projects the visual information corresponding to the specified content on the projection surface based on the recognition result of the first object and the recognition result of the second object by the recognition unit.
  • the information processing apparatus according to any one of (1) to (7).
  • the recognition unit recognizes a state change of the content, The projection control unit, according to the state change, to project the visual information on the projection surface, The information processing device according to (8).
  • the state change includes a mass change of the content
  • the projection control unit projects the visual information according to the mass change on the projection surface,
  • the visual information is associated with each of the contents,
  • (12) The projection control unit causes the visual information to be projected on the first object.
  • (13) The projection control unit projects the visual information onto the projection plane based on a recognition result of another object.
  • the projection control unit based on the interaction of the other object to the first object or the second object, to project the visual information on the projection surface, The interaction includes approaching or touching the first object or the second object by the other object;
  • the information processing device according to (13).
  • the projection control unit is configured to project the visual information on the projection plane based on a time elapsed after starting projection of the visual information corresponding to the specified content, The information processing device according to any one of (1) to (14).
  • the projection control unit when a plurality of the content is specified, to project the visual information corresponding to the plurality of content on the projection surface, The information processing apparatus according to any one of (1) to (15).
  • the content includes food, The second object is provided with the food;
  • the information processing device according to any one of (1) to (16).
  • the projection control unit starts the projection of the visual information on the projection surface at a timing when the food is served,
  • the processor Visual information corresponding to the content specified based on the recognition result of the first object on which the content to be provided on the projection surface is arranged and the recognition result of the second object provided with the first object Projecting on the projection surface, including, Information processing method.

Abstract

投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定されたコンテンツに対応する視覚情報を投影面に投影させる投影制御部（１５０）、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、及び記録媒体
　本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
　近年、認識された物体に応じた情報の表示に関する技術が各種開発されている。例えば、下記特許文献１には、種々のオブジェクトの認識結果に基づいて、当該オブジェクトに関連する情報の表示や、ユーザに関するコンテキストも考慮に入れた情報の表示を制御する技術が記載されている。
特開２０１６－１９４７６２号公報
　ところで、例えばユーザによる物体に対する行為によって、物体自体の状況が動的に変化し得る。しかし、特許文献１に記載の技術では、当該状況に応じた情報の表示制御が困難となる場合がある。
　本開示によれば、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、を備える、情報処理装置が提供される。
　また、本開示によれば、プロセッサが、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、を含む、情報処理方法が提供される。
　本開示によれば、コンピュータに、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体が提供される。
本開示の一実施形態に係る投影装置１０の概要を示す図である。 第１のオブジェクト、第２のオブジェクト、コンテンツ、および第１のオブジェクトと第２のオブジェクトに対応する視覚情報、の関係の一例について説明するための図である。 同実施形態に係る投影装置１０の機能構成の一例について説明するための図である。 同実施形態に係る第１のオブジェクトの大きさを認識する方法の一例について説明するための図である。 同実施形態に係る投影制御部１５０に係る投影制御について説明するための図である。 同実施形態に係る投影制御部１５０による、第２のオブジェクトの認識結果に基づく視覚情報の投影制御の一例について説明するための図である。 同実施形態に係る投影制御部１５０による、第１のオブジェクトの位置に基づく視覚情報の投影制御の一例について説明するための図である。 同実施形態に係る投影制御部１５０による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。 同実施形態に係る投影制御部１５０による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。 同実施形態に係る複数のコンテンツが供される場合の一例について説明するための図である。 同実施形態に係る投影制御部１５０による、複数のコンテンツが特定された場合の投影制御の一例について説明するための図である。 同実施形態に係るコンテンツが供されてから経過した時間に基づく投影制御の一例について説明するための図である。 同実施形態に係る投影制御の流れの一例について説明するための図である。 同実施形態に係るコンテンツの状態変化に基づく投影制御の一例について説明するための図である。 同実施形態に係るに係るコンテンツの状態変化における投影制御の流れの一例について説明するための図である。 同実施形態に係る用紙記入に関する投影制御の一例について説明するための図である。 本開示の一実施形態に係る投影装置１０のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて料理Ｃ０および料理Ｃ１のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、料理Ｃ０および料理Ｃ１を特に区別する必要が無い場合には、単に料理Ｃと称する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１－１．概要
　　１－２．機能構成例
　　１－３．制御例
　２．ハードウェア構成例
　３．まとめ
　＜＜１．実施形態＞＞
　＜１－１．概要＞
　まず、本発明の概要について説明する。
　近年、物体の認識結果に応じた情報の表示制御に関する技術が各種開発されている。ところで、物体自体の状況が変化するような場合、当該物体を認識することが困難となる場合がある。例えば、認識対象の物体が他の物体と隣接するような状況では、認識対象の物体の外形を認識することが困難となり、情報の表示制御を継続できなくなる可能性がある。
　また、物体の認識方法として、所定の付与物を用いる方法も挙げられる。ここでの付与物とは、物体の認識のために当該物体に付与される物である。付与物を認識することで、間接的に物体を特定し、当該物体に対応する情報を表示することが可能である。しかし、当該方法では、例えば付与物が物体から取り外された場合に、付与物に基づいて物体を特定することが困難となり、情報の表示を継続できなくなる可能性がある。
　また、例えば料理がユーザによって食されるように、物体自体の状態が変化する状況も発生し得る。このように、例えば物体の外形が変化する場合、物体を認識し続けることが困難となることも想定される。
　本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、複数のオブジェクトの認識結果を組み合わせることにより、継続的に認識対象の物体を特定し、当該物体に対応する情報を表示することを可能とする。また、物体自体の状態が変化するような場合でも、当該物体は認識し続けられ、当該状態の変化に応じた情報が表示される。
　このために、本開示の一実施形態に係る投影装置は、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定されたコンテンツに対応する視覚情報を投影面に投影させることを特徴の一つとする。
　係る特徴によれば、第１のオブジェクトが他の物体と隣接した場合などでも、第２のオブジェクトの認識結果に基づいて、コンテンツを特定することが可能となる。また、係る特徴によれば、第２のオブジェクトがコンテンツから取り外された場合などでも、第１のオブジェクトの認識結果に基づいて、コンテンツを特定することが可能となる。また、係る特徴によれば、コンテンツ自体を認識する場合と比べて、コンテンツの状態が変化する状況であっても、継続的にコンテンツを特定することが可能となる。
　なお、以下、コンテンツが料理（食品）、第１のオブジェクトが食器、第２のオブジェクトが装飾である場合を一例に挙げて説明していく。ここで、装飾とは、例えば可食性のフィルムなどをいう。
　まず、本実施形態に係る概要について、図１を参照して説明する。
　図１は、本開示の一実施形態に係る投影装置１０の概要を示す図である。図１には、投影装置１０、テーブル２０、食器Ｔ０、料理Ｃ０、および装飾Ｍ０が示されている。ここで、料理Ｃ０は食器Ｔ０上に載せられ、また、装飾Ｍ０は料理Ｃ０上に載せられている。食器Ｔ、料理Ｃ、および装飾Ｍについては後述する。
　投影装置１０は、カメラを備え、例えばテーブル２０の天面を撮像する。また、投影装置１０は、デプスセンサを備え、深度情報を取得する。また、投影装置１０は、ＲＧＢセンサを備え、色情報を取得してもよい。また、投影装置１０は、マイクロフォン等の音声入力装置をさらに備え、ユーザが発する音声や、周囲の環境の環境音を収音してもよい。
　投影装置１０は、カメラが撮像した画像を解析することにより、テーブル２０の天面に位置する物体（例えば、食器Ｔや装飾Ｍ）の位置を認識することができる。
　また、投影装置１０は、深度情報を解析することにより、当該物体の深度情報を取得することができる。投影装置１０は、当該深度情報に基づいて、例えば食器Ｔの位置や大きさを特定することが可能である。また、投影装置１０は、音声を出力するスピーカを備えてもよい。
　また、投影装置１０は、視覚情報をテーブル２０上に投影する。ここで、視覚情報とは、例えば所定のアニメーションや静止画、文字などを含む。投影装置１０は、プロジェクタを備えてもよい。例えば、図１に示すように、投影装置１０は、テーブル２０の天面に対向するように、テーブル２０と所定の距離離隔して配置され得る。この場合、投影装置１０は、テーブル２０の天面に視覚情報を投影することが可能である。
　例えば、投影装置１０は、認識した料理Ｃに対応する視覚情報をテーブル２０の投影面に投影してよい。ここで、投影面とは、視覚情報が投影されるテーブル２０上の領域をいう。当該領域は、例えばテーブル２０の天面である。
　図２は、第１のオブジェクト、第２のオブジェクト、コンテンツ、および第１のオブジェクトと第２のオブジェクトに対応する視覚情報、の関係の一例について説明するための図である。図２左側には、第１のオブジェクト並びに、第１のオブジェクト上に配置されたコンテンツおよび第２のオブジェクトが示されている。投影装置１０は、テーブル２０に供された第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、投影面に投影している。
　ここで、第１のオブジェクトおよび第２のオブジェクトは、コンテンツ毎に対応付けられる。図２の一例においては、食器Ｔ１および装飾Ｍ１は、料理Ｃ１に対応付けられる。また、投影される視覚情報は、コンテンツに各々対応付けられる。図２右側の一例においては、アニメーションＡ１は、料理Ｃ１に対応付けられる。
　図２の一例において、投影装置１０は、食器Ｔ１および装飾Ｍ１を認識し、上述した対応付けに基づいて、料理Ｃ１を特定する。次に、投影装置１０は、上述した対応付けに基づいて、料理Ｃ１に対応するアニメーションＡ１を料理Ｃ１上に投影する。ここで、第１のオブジェクト、第２のオブジェクト、および視覚情報は、互いの位置関係が予め決められている。
　以上説明したように本開示によれば、視覚情報をより正確に投影することが可能となる。
　例えば、食事の場面において、複数の食器が隣接する場合や、食事が始まる際に料理の上に載っている可食性フィルムが外されるような場合であっても、コンテンツである料理を特定し、当該料理に対応する視覚情報をユーザに提示することができる。
　以下、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づく視覚情報の投影制御について説明していく。
　＜１－２．機能構成例＞
　次に、本実施形態に係る投影装置１０の機能構成例について説明する。図３は、本実施形態に係る投影装置１０の機能構成の一例について説明するための図である。図３に示すように、投影装置１０は、入力部１１０、認識部１２０、特定部１３０、記憶部１４０、投影制御部１５０、および出力部１６０、を備える。
　本実施形態に係る入力部１１０は、入力部１１０への各種情報を受け付ける機能を有する。例えば、入力部１１０は、上述したようにテーブル２０の天面を撮像するカメラ、テーブル２０上の深度情報を取得するデプスセンサを有する。デプスセンサは、例えばｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ方式のセンサや、ｓｔｒｕｃｔｕｒｅｄ　ｌｉｇｈｔ方式のセンサなどであってもよい。また、入力部１１０は、ステレオカメラを用いて震度情報を取得してもよい。
　なお、出力部１６０により視覚情報が投影される範囲と入力部１１０が情報の入力を受け付ける範囲とは、同一であってもよいし互いに相違していてもよい。例えば、入力部１１０は、出力部１６０による投影範囲より広い範囲を対象とした画像データ、深度情報を取得し得る。また、投影装置１０は、ＲＧＢセンサを備え、色情報を取得してもよい。
　本実施形態に係る認識部１２０は、第１のオブジェクトおよび第２のオブジェクトを認識する機能を有する。認識部１２０は、入力部１１０が取得した画像データなどの情報を用いて、認識を実行する。具体的には、認識部１２０は、第１のオブジェクト位置や大きさ、第２のオブジェクトの種別や位置、大きさなどを認識し得る。その際、認識部１２０が認識する第１のオブジェクトの位置、第２のオブジェクトの位置、は、各々のオブジェクトの中心でもよい。
　図４は、第１のオブジェクトの大きさの認識方法の一例について説明するための図である。図４には、食器Ｔ２、料理Ｃ２、装飾Ｍ２、および認識矩形Ｅが示されている。図４の一例に示すように、認識部１２０は、食器Ｔ２を囲う最小矩形としての認識矩形Ｅの大きさを、食器Ｔ２の大きさとして認識してもよい。なお、認識部１２０は、当該認識した大きさを示す情報を特定部１３０へ提供する。その際、最小矩形の大きさは、所定の幅（範囲）を持たせてもよい。
　また、認識部１２０は、コンテンツの状態変化を認識してよい。ここでの状態変化とは、例えばユーザによるコンテンツとのインタラクションに基づいて発生した変化、などをいう。また状態変化は、食品の溶解などのユーザによるコンテンツとのインタラクション含まない変化でもよい。例えば、状態変化は、コンテンツの質量変化を含む。認識部１２０は、コンテンツの状態変化を認識した場合、当該状態変化を示す情報を後述する特定部１３０に提供する。
　また、認識部１２０は、第１のオブジェクト、第２のオブジェクト、およびコンテンツ、を継続的に認識してよい。認識部１２０は、継続的な認識を行うことで、例えば、コンテンツの状態変化の認識が可能となる。
　再び図３を参照しながら説明する。
　本実施形態に係る特定部１３０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、コンテンツを特定する機能を有する。具体的には、特定部１３０は、後述する記憶部１４０が記憶する第１のオブジェクトと第２のオブジェクトの組み合わせとコンテンツの対応付けデータに基づいて、コンテンツを特定する。例えば、特定部１３０は、記憶部１４０に記憶される当該対応付けデータに基づいて、認識部１２０が認識した装飾Ｍに対応付けられる料理Ｃを特定する。
　特定部１３０は、特定したコンテンツを示す情報を投影制御部１５０へ提供する。
　なお、特定部１３０は、第２のオブジェクトに対応付けられるコンテンツを取得し、当該第２のオブジェクトに対応する第１のオブジェクトの大きさを示す情報も取得してよい。ここで、当該情報が示す大きさは、所定の範囲を有してよい。特定部１３０は、取得した当該情報が示す大きさと、認識部１２０が認識した大きさとを比較する。特定部１３０は、当該比較の結果、認識部１２０が認識した第１のオブジェクトの大きさが所定の範囲に含まれない場合、第２のオブジェクトの大きさが所定の範囲に含まれないことを示す情報を、後述する投影制御部１５０へ提供してもよい。
　本実施形態に係る記憶部１４０は、データの記憶を行う。記憶部１４０は、第１のオブジェクト、第２のオブジェクト、コンテンツ、および視覚情報に係る情報を記憶する。また、記憶部１４０は、各々の第１のオブジェクトと第２のオブジェクトの組み合わせの情報を記憶し得る。また、当該組み合わせとコンテンツの対応付け、コンテンツと視覚情報の対応付け、などを記憶し得る。上述した情報は、例えばリレーショナルデータベース等の形式で実現されてもよい。
　本実施形態に係る投影制御部１５０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、出力部１６０に視覚情報を投影面へ投影させる機能を有する。具体的には、投影制御部１５０は、特定部１３０が特定したコンテンツに対応付けられる視覚情報を投影面に投影するように出力部１６０を制御する。その際、投影制御部１５０は、記憶部１４０が記憶するコンテンツと視覚情報との対応付けデータに基づいて、特定部１３０が特定した視覚情報を取得する。投影制御部１５０の制御に関する詳細については後述する。
　本実施形態に係る出力部１６０は、投影制御部１５０の制御に従って、視覚情報を投影面に投影する。
　なお、例えば、図１で示したように投影装置１０は、テーブル２０の天面に対向するように、テーブル２０と所定の距離離隔して配置され得る。しかしながら、投影装置１０は、図１に示されるようなテーブル２０の直上に必ずしも位置する必要は無い。例えば、投影装置１０は、傾斜して視覚情報をテーブル２０上に投影することが可能な配置されてもよい。また例えば、投影装置１０は、ペンダントライトやデスクスタンドライトであってもよい。このように上方からテーブル２０の天面に情報を表示する方式を「プロジェクション型」とも呼称する。
　以上、本実施形態に係る投影装置１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る投影装置１０の機能構成は係る例に限定されない。例えば、投影装置１０は、必ずしも図３に示す構成のすべてを備えなくてもよい。例えば、認識部１２０、特定部１３０、記憶部１４０、および投影制御部１５０は、投影装置１０とは異なる別の装置に備えることも可能である。本実施形態に係る投影装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。なお、投影装置１０は、スマートフォンであってもよい。
　＜１－３．制御例＞
　次に、本実施形態に係る投影装置１０による視覚情報の投影について説明する。図５は、投影制御部１５０による投影制御の一例について説明するための図である。図５には、食器Ｔ３、料理Ｃ３、装飾Ｍ３、アニメーションＡ２が示されている。
　投影制御部１５０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御する。具体的には、投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの位置および第２のオブジェクトの位置に基づいて、出力部１６０に視覚情報を投影させる位置を決定する。投影制御部１５０は、当該決定した位置に視覚情報を投影するように出力部１６０を制御する。
　図５の一例において、投影制御部１５０は、食器Ｔ３の位置Ｐ１および装飾Ｍ３の位置Ｐ２に基づいて、アニメーションＡ２の投影位置Ｐ３を決定している。ここで、例えば食器Ｔ３の位置Ｐ１を原点として、装飾Ｍ３の位置Ｐ２の方向をＹ軸方向とする二次元座標系に基づいて、投影位置Ｐ３を決定してもよい。また、投影制御部１５０は、例えば装飾Ｍ３の長軸方向をＹ軸方向とする二次元座標系に基づいて、投影位置Ｐ３を決定してもよい。
　このように、投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの位置および第２のオブジェクトの位置に基づいて、視覚情報を投影する位置を制御することができる。係る機能によれば、より正確な位置に視覚情報を投影することが可能となる。
　上記では、第１のオブジェクトおよび第２のオブジェクトが共に正しく認識される場合について説明した。しかし、認識時の状況によっては、第１のオブジェクトおよび第２のオブジェクトが共に正しく認識されるとは限らない。例えば、第１のオブジェクトが他の第１のオブジェクトと接触している場合、認識部１２０は、第１のオブジェクトと他の第１のオブジェクトなどを、まとめて１つの第１のオブジェクトとして認識する可能性がある。従って、認識部１２０が認識した第１のオブジェクトの大きさが、共に認識した第２のオブジェクトに対応する第１のオブジェクトの大きさとして設定された所定の範囲に含まれないことになる。上記の場合では、投影制御部１５０は、第２のオブジェクトの位置に基づいて、投影面への視覚情報の投影を制御してもよい。
　図６は、投影制御部１５０による、第２のオブジェクトの認識結果に基づく視覚情報の投影の制御を説明するための図である。図６には、食器Ｔ４、料理Ｃ４、装飾Ｍ４が示されている。
　投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの大きさが所定の範囲に含まれない場合、第２のオブジェクトの認識結果に基づいて、コンテンツに対応する視覚情報を出力部１６０に投影面へ投影させる。具体的には、投影制御部１５０は、認識部１２０が認識した第２のオブジェクトの位置に基づいて視覚情報を投影させる位置を決定し、当該決定した位置に視覚情報を投影するように出力部１６０を制御する。
　図６の一例において、認識部１２０は、食器Ｔ４が他の食器Ｔと隣接しているため、装飾Ｍ４との組み合わせである食器Ｔ４の大きさよりも大きい第１のオブジェクトを認識する。投影制御部１５０は、認識部１２０の認識結果に基づいて、装飾Ｍ４の位置Ｐ４から、アニメーションＡ３の投影位置Ｐ５を決定している。ここで、例えば装飾Ｍ４の位置Ｐ４を原点として、入力部１１０に入力された画像における装飾Ｍ４の長軸方向をＹ軸方向とする二次元座標系に基づいて、投影位置Ｐ５を決定してもよい。
　このように、投影制御部１５０は、第１のオブジェクトの中心座標の認識ができない場合でも、第２のオブジェクトの位置に基づいて、視覚情報を投影させることができる。係る機能によれば、第１のオブジェクトの状況が認識に適していない場合でも、視覚情報の投影を継続することが可能となる。
　一方、投影制御部１５０は、認識部１２０が第１のオブジェクトの中心座標を認識できない場合に、出力部１６０に視覚情報を投影させなくてもよい。図６の一例において、投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの大きさが、仮に所定の範囲よりも小さい場合、アニメーションＡ３を投影させなくてもよい。係る機能によれば、より正確な投影制御を行うことが可能となる。
　上記では、第１のオブジェクトが正しく認識されない場合について説明した。他にも、ユーザによる第２のオブジェクトへの行為により、例えば第２のオブジェクトの位置が変化する状況も発生し得る。当該状況の場合、投影制御部１５０は、第１のオブジェクトの位置に基づいて、投影面への視覚情報の投影を制御する。
　図７は、投影制御部１５０による、第１のオブジェクトの位置に基づく視覚情報の投影の制御を説明するための図である。図７には、食器Ｔ５、料理Ｃ５、装飾Ｍ５、アニメーションＡ４が示されている。
　投影制御部１５０は、認識部１２０が認識した第２のオブジェクトの位置が所定の範囲に含まれない場合、第１のオブジェクトの位置に基づいて、コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御する。ここで、特定部１３０は、認識部１２０が認識した第２のオブジェクトに対応するコンテンツを特定する。具体的には、投影制御部１５０は、第１のオブジェクトの中心位置に基づいて、視覚情報を投影させる位置を決定し、当該決定した位置に投影するように出力部１６０を制御する。
　図７の一例において、投影制御部１５０は、食器Ｔ５の位置Ｐ７に基づいて、アニメーションＡ４の投影位置Ｐ８を決定している。ここで、例えば、食器Ｔ５の位置Ｐ７を原点として、入力部１１０に入力された画像における上方向をＹ軸方向とする二次元座標系において投影位置Ｐ８を決定してもよい。
　このように、第２のオブジェクトが所定の範囲に含まれない位置で認識された場合でも、第１のオブジェクトの位置に基づいて、視覚情報を投影することができる。係る機能によれば、ユーザが第２のオブジェクトを移動させた状況でも、視覚情報の投影を行うことが可能となる。
　一方、投影制御部１５０は、認識部１２０が第２のオブジェクトを認識できなかった場合、視覚情報の投影を行わせなくてもよい。係る機能によれば、より正確にコンテンツを特定し、視覚情報を投影することが可能となる。また、一方で、特定部１３０は、認識部１２０が第２のオブジェクトを認識できなかった場合、第１のオブジェクトの大きさに基づいて、コンテンツを特定してもよい。
　上記では、投影制御部１５０による視覚情報の投影位置の決定について説明してきた。次に、認識部１２０が他のオブジェクトを認識した場合の、投影制御部１５０の投影制御について説明する。
　投影制御部１５０は、認識部１２０による他のオブジェクトの認識結果に基づいて、視覚情報を投影面に投影させてよい。図８および図９は、投影制御部１５０による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。図８および図９には、食器Ｔ６、料理Ｃ６、装飾Ｍ６が示されている。なお、ここでいう他のオブジェクトとは、卓上において第１のオブジェクトなどに接触または接近し得る物体をいう。例えば、他のオブジェクトは、ユーザの手、ウェイターの手、フォークなどが挙げられる。
　投影制御部１５０は、他のオブジェクトの認識結果に基づいて、視覚情報の投影を制御してもよい。例えば、他のオブジェクトがコンテンツなどに接近または接触した場合、投影制御部１５０は、視覚情報の投影を停止させてもよい。また、他のオブジェクトがコンテンツなどから離れていく場合は、投影制御部１５０は、視覚情報の投影を再開させてもよい。ここで、投影制御部１５０は、視覚情報の投影の再開を、回数を問わず行わせてもよいし、または回数に制限を設けてもよい。また、投影制御部１５０は、視覚情報がアニメーションＡである場合、アニメーションＡの投影が再開する際に、アニメーションＡを最初から再生させ直してもよいし、当該アニメーションＡの投影が停止した状態から投影を再開させてもよい。
　図８左側において、投影制御部１５０は、食器Ｔ６の認識結果および装飾Ｍ６の認識結果に基づいて、アニメーションＡ５を出力部１６０に投影させている。ここで、他のオブジェクトであるユーザの手Ｈが食器Ｔ６および料理Ｃ６に接近すると、投影制御部１５０は、アニメーションＡ５の投影を停止するように出力部１６０を制御する。なお、認識部１２０は、入力部１１０が備えるデプスセンサが取得した深度情報に基づいて、ユーザの手Ｈが料理Ｃ６に接近または接触していることを認識し得る。
　図９において、他のオブジェクトであるユーザの手Ｈが食器Ｔ６および料理Ｃ６から離れると、投影制御部１５０は、アニメーションＡ６の投影を開始するように出力部１６０を制御する。図９右側において、投影制御部１５０は、食器Ｔ６の認識結果および装飾Ｍ６の認識結果に基づいて、アニメーションＡ５を出力部１６０に投影させている。
　このように、投影制御部１５０は、他のオブジェクトの認識結果に基づいて、視覚情報の投影を制御することができる。係る機能によれば、ユーザが視覚情報の再生や停止を直観的に行うことや、ユーザの邪魔をしないことが可能となる。
　上記では、単一のコンテンツが供される場合の投影制御について説明してきた。次に、複数のコンテンツが供される場合の投影制御部１５０による投影制御について説明する。
　投影制御部１５０は、特定部１３０が複数のコンテンツを特定した場合に、各々のコンテンツに対応付けられる視覚情報を出力部１６０に出力させてもよい。図１０は、複数のコンテンツが供される場合の一例について説明するための図である。図１０には、食器Ｔ８、料理Ｃ８、装飾Ｍ８が示されている。また、図１０には、食器Ｔ９、料理Ｃ９、装飾Ｍ９も示されている。図１０の一例において、投影制御部１５０は、料理Ｃ８に対応付けられるアニメーションＡ７、料理Ｃ９に対応付けられるアニメーションＡ８を投影面に投影している。
　また、投影制御部１５０は、特定部１３０が複数のコンテンツを特定した場合に、複数のコンテンツに対応する視覚情報を出力部１６０に出力させてもよい。具体的には、投影制御部１５０は、特定部１３０が複数のコンテンツを特定した場合に各々投影させる視覚情報とは異なる、当該複数のコンテンツの組み合わせに対応する視覚情報を出力部１６０に投影させてもよい。
　図１１は、投影制御部１５０による、複数のコンテンツが特定された場合の投影制御の一例について説明するための図である。図１１には、食器Ｔ１０、料理Ｃ１０、装飾Ｍ１０、食器Ｔ１１、料理Ｃ１１、装飾Ｍ１１が示されている。
　図１１の上側の一例において、投影制御部１５０は、食器Ｔ１０および装飾Ｍ１０の認識結果に基づいて、アニメーションＡ９を投影させている。また、投影制御部１５０は、食器Ｔ１１および装飾Ｍ１１の認識結果に基づいて、アニメーションＡ１０を投影させている。ここで、アニメーションＡ１０は、料理Ｃ１０と料理Ｃ１１の組み合わせに対応付けられる視覚情報である。
　ここで、投影制御部１５０は、例えば複数のコンテンツの組み合わせに対応付けられる視覚情報を、当該複数のコンテンツに投影させてもよい。図１１の一例において、投影制御部１５０は、アニメーションＡ１０を、食器Ｔ１１、装飾Ｍ１１、および料理Ｃ１１上から、食器Ｔ１０、および料理Ｃ１０まで移動させている。
　このように、投影制御部１５０は、複数のコンテンツの認識結果に基づいて、視覚情報をあるコンテンツから他のコンテンツへ移動させることができる。係る機能によれば、ユーザが視覚情報の投影に関して、より楽しむことが可能となる。
　次に、投影制御部１５０による、時間経過に基づく投影制御について説明する。図１２は、コンテンツが供されてから経過した時間に基づく投影制御の一例について説明するための図である。図１２には、ユーザＵ１およびユーザＵ２のそれぞれにコンテンツが供されてから、視覚情報が投影された回数について時系列に示されている。
　投影制御部１５０は、時間経過に基づいて、視覚情報の投影を制御してもよい。具体的には、投影制御部１５０は、例えばコンテンツが供されてから経過した時間に基づいて、視覚情報の投影をさせるか否かを決定してもよい。例えば、投影制御部１５０は、最初に視覚情報の投影を開始させてから経過した時間に基づいて、出力部１６０に視覚情報を投影面へ投影させるか否かを決定してもよい。
　投影制御部１５０は、例えばコンテンツが供されてから所定時間が経過するまでは、出力部１６０に視覚情報を投影させ、所定時間の経過後は出力部１６０に視覚情報を投影させなくてもよい。一方で、投影制御部１５０は、例えばコンテンツが供されてから所定時間が経過するまでの間、視覚情報を投影した回数が所定の回数以下であった場合、所定時間の経過後であっても出力部１６０に視覚情報を投影させてもよい。
　以下、図１２の一例について説明する。ここで、投影制御部１５０が設定する所定の投影回数は、５回とする。投影制御部１５０は、コンテンツが供された時間ＴＩ１から所定の時間ＴＩ２までの間、出力部１６０に視覚情報の投影ＭＵ１を投影させている。ここで、視覚情報の投影ＭＵ１の回数は、６回である。一方で、投影制御部１５０は、所定の時間ＴＩ２以降では、出力部１６０に視覚情報を投影させていない。
　また、ユーザＵ２は、コンテンツが供された時間ＴＩ１から所定の時間ＴＩ２までの間、視覚情報の投影ＭＵ２ａをさせている。ここで、視覚情報の投影ＭＵ２の回数は、１回であり、所定の投影回数である５回より少ない。従って、投影制御部１５０は、所定の時間ＴＩ２以降であっても、視覚情報の投影ＭＵ２ｂをさせている。ここで、投影制御部１５０は、視覚情報の投影ＭＵ２ａと視覚情報の投影ＭＵ２ｂの回数の合計が所定の投影回数に達した時点で、視覚情報の投影をさせなくてもよい。
　このように、時間経過に基づいて視覚情報の投影を制御することができる。係る機能によれば、同じ視覚情報を投影していても、ユーザに飽きさせないことが可能となる。
　次に、本実施形態に係る投影制御の流れの一例について説明する。図１３は、本実施形態に係る投影制御の流れの一例について説明するための図である。図１３を参照すると、まず、認識部１２０が、入力部１１０が撮像し、取得した画像などの情報に基づいて、第２のオブジェクトの認識を開始する（Ｓ１１０１）。次に、認識部１２０は、第２のオブジェクトを認識したか否かを判定する（Ｓ１１０２）。認識部１２０が第２のオブジェクトを認識しなかったと判定した場合（Ｓ１１０２：ＮＯ）、ステップＳ１１０２へ復帰する。一方、認識部１２０が第２のオブジェクトを認識したと判定した場合（Ｓ１１０２：ＹＥＳ）、入力部１１０が撮像し、取得した画像などの情報に基づいて、第１のオブジェクトを認識したか否かを判定する（Ｓ１１０３）。認識部１２０が第１のオブジェクトを認識しなかったと判定した場合（Ｓ１１０３：ＮＯ）、ステップＳ１１０２へ復帰する。
　次に、特定部１３０は、第１のオブジェクトの大きさが特定の範囲内にあるか否かを判定する（Ｓ１１０４）。第１のオブジェクトの大きさが特定の範囲内にあると判定した場合（Ｓ１１０４：ＹＥＳ）、特定部１３０は第１のオブジェクトおよび第２のオブジェクトの認識結果に基づいて、コンテンツを特定する（Ｓ１１０５）。次に、投影制御部１５０は、第１のオブジェクトの位置および第２のオブジェクトの位置に基づいて、投影位置を決定する（Ｓ１１０６）。次に、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１１０７）、投影装置１０は動作を終了する。
　一方で、第１のオブジェクトの大きさが特定の範囲外であると判定した場合（Ｓ１１０４：ＮＯ）、特定部１３０は、第１のオブジェクトの大きさが所定の範囲よりも大きいか否かを判定する（Ｓ１１０８）。第１のオブジェクトの大きさが所定の範囲よりも大きくないと判定した場合（Ｓ１１０８：ＮＯ）、ステップＳ１１０２へ復帰する。一方、第１のオブジェクトの大きさが所定の範囲よりも大きいと判定した場合（Ｓ１１０８：ＹＥＳ）、特定部１３０は第２のオブジェクトの認識結果に基づいて、コンテンツを特定する（Ｓ１１０９）。次に、投影制御部１５０は、第２のオブジェクトの位置に基づいて、投影位置を決定する（Ｓ１１１０）。次に、投影制御部１５０は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１１０７）、投影装置１０は動作を終了する。
　説明してきたように、投影制御部１５０は、第１のオブジェクトおよび第２のオブジェクトの認識結果に基づいて、第１のオブジェクトまたは第２のオブジェクトの位置関係が予め決められた位置関係以外となったとしても、正確な位置に視覚情報を投影することが可能である。しかし、第１のオブジェクトおよび第２のオブジェクト以外にも、例えば、料理がユーザによって食されるように、コンテンツ自体の状態が変化する状況があり得る。
　そこで、本実施形態に係る投影制御部１５０は、コンテンツの状態変化に基づいて、投影制御を行ってもよい。例えば、投影制御部１５０は、認識部１２０が食事の場面において、食器Ｔに盛り付けられた料理Ｃの量の変化を認識したことに基づいて、アニメーションＡを投影させる位置を決定してもよい。
　図１４は、コンテンツの状態変化に基づく投影制御の一例について説明するための図である。図１４には、食器Ｔ１２、料理Ｃ１２、装飾Ｍ１２が示されている。ここで、食器Ｔ１２の右下部分は料理Ｃ１２が存在しない空白領域である。
　投影制御部１５０は、特定部１３０が特定したコンテンツに対応する視覚情報を、第１のオブジェクト上に投影させてもよい。具体的には、投影制御部１５０は、第１のオブジェクトに直接視覚情報を投影できるような領域を選択し得る。投影制御部１５０は、出力部１６０に当該領域へ視覚情報を投影させてもよい。例えば、投影制御部１５０は、認識部１２０が投影面における新たな第１のオブジェクトの領域を認識した場合、出力部１６０に視覚情報を当該領域に投影させてもよい。
　図１４の一例において、投影制御部１５０は、認識部１２０が食器Ｔ１２の右下部分における空白領域を認識したことに基づいて、出力部１６０にアニメーションＡ１１を当該空白領域の投影位置Ｐ１０へ投影させている。
　なお、認識部１２０は、コンテンツの状態変化を入力部１１０が撮像し、取得した画像から認識してもよい。また、認識部１２０は、当該画像からコンテンツの体積を推定することで、コンテンツの質量変化を認識してもよい。
　このように、コンテンツの状態変化に基づいて、視覚情報の投影を制御することができる。係る機能によれば、ユーザのコンテンツに対する行為に応じて、柔軟に視覚情報を投影することが可能となる。
　なお、認識部１２０がコンテンツの体積が減少していることを認識した場合、投影制御部１５０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果以外に、コンテンツの体積が減少していることに基づいて、視覚情報を投影する位置を決定してもよい。
　次に、本実施形態に係るコンテンツの状態変化における投影制御の流れの一例について説明する。図１５は、本実施形態に係るコンテンツの状態変化における投影制御の流れの一例について説明するための図である。図１５では、コンテンツが供され、認識部１２０による認識が行われている最中である状況が前提である。図１５を参照すると、まず、認識部１２０がコンテンツの状態が変化したか否かを判定する（Ｓ１２０１）。コンテンツの状態が変化していないと判定された場合（Ｓ１２０１：ＮＯ）、ステップＳ１２０１へ復帰する。コンテンツの状態が変化したと判定された場合（Ｓ１２０１：ＹＥＳ）、認識部１２０は投影面における第１のオブジェクトに新たな空白領域が出現したか否かを判定する（Ｓ１２０２）。第１のオブジェクトに空白領域が出現したと判定した場合（Ｓ１２０２：ＹＥＳ）、第１のオブジェクトおよび第２のオブジェクトの認識結果、に基づいて、コンテンツを特定する（Ｓ１２０３）。次に、投影制御部１５０は、第１のオブジェクトの位置および空白領域に基づいて、投影位置を決定する（Ｓ１２０４）。次に、投影制御部１５０は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１２０５）、投影装置１０は動作を終了する。
　一方、第１のオブジェクトに空白領域が出現していないと判定した場合（Ｓ１２０２：ＮＯ）、認識部１２０は、コンテンツの質量が変化したか否かを判定する（Ｓ１２０６）。コンテンツの質量が変化していないと判定した場合（Ｓ１２０６：ＮＯ）、ステップＳ１２０１へ復帰する。一方、コンテンツの質量が変化したと判定した場合（Ｓ１２０４：ＹＥＳ）、第１のオブジェクトの認識結果、第２のオブジェクトの認識結果、および質量が減少したコンテンツの認識結果に基づいて、コンテンツを特定する（Ｓ１２０７）。次に、投影制御部１５０は、第１のオブジェクトの位置および現在存在する空白領域に基づいて、投影位置を決定する（Ｓ１２０４）。次に、投影制御部１５０は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１２０５）、投影装置１０は動作を終了する。
　上記はあくまで一例であり、状態変化に関する条件の組み合わせ方はこれに限られない。
　上記では、コンテンツが料理である例について説明してきた。しかし、コンテンツが料理以外である場合でも、投影制御部１５０による投影制御は適用可能である。
　例えば、図１６は、用紙記入に関する投影制御の一例について説明するための図である。図１６には、第１のオブジェクトである申込用紙Ｔ１３、第２のオブジェクトである見出しＭ１３、コンテンツであるフォームＣ１３、およびフォームＣ１３に対応する視覚情報である案内情報Ａ１２、Ａ１３およびＡ１４が示されている。
　投影制御部１５０は、認識部１２０が認識するフォームＣ１３の項目状況の変化に基づいて、案内情報Ａ１２、Ａ１３を申込用紙Ｔ１３上に出力部１６０に投影させる。ここで、フォームＣ１３の項目状況の変化とは、例えばユーザが申込用紙Ｔ１３に対してフォームＣ１３の形式に沿うように記入を行うことをいう。投影制御部１５０は、認識部１２０が認識したフォームＣ１３において形式に沿うように記入されたことに基づいて、出力部１６０に記入されたことに対応する視覚情報を投影させる。
　また一方で、フォームＣ１３の項目状況の変化は、フォームＣ１３の形式に沿わないように記入を行うことや、誤った内容の記入を行うこと、などを含んでもよい。例えば、投影制御部１５０は、認識部１２０が認識したフォームＣ１３において形式に沿わないように記入されたことに基づいて、出力部１６０に当該記入が形式に合わないことをユーザに通知（案内）するような視覚情報を投影させてもよい。また、投影制御部１５０は、認識部１２０が未だ未記入のコンテンツまたはコンテンツの一部を認識したことに基づいて、出力部１６０に当該未記入のコンテンツが存在することをユーザに通知するような視覚情報を投影させてもよい。
　図１６の一例において、投影制御部１５０は、出力部１６０に、記入形式と異なる記入がされていることを案内する案内情報Ａ１２を申込用紙Ｔ１３上へ投影させている。また、投影制御部１５０は同時に、認識部１２０がフォームＣ１３の項目に「Ａコース」を選択する記入を認識したことに基づいて、および選択された「Ａコース」の内容を案内する案内情報Ａ１３を申込用紙Ｔ１３上に投影させている。また、投影制御部１５０は同時に、認識部１２０により申込用紙が供されてから未だ記入がされていない記入欄を認識したことに基づいて、出力部１６０に記入を促す案内情報Ａ１４を投影させている。
　なお、認識部１２０は、第１のオブジェクトである用紙を、例えば大きさや、色、形で認識してもよい。また、認識部１２０は、第２のオブジェクトである見出しを、例えば所定の模様や印字された文字で認識してもよい。
　このように、投影制御部１５０は、用紙上の項目に記入された情報を認識し、投影する案内情報を適切に決定できる。係る機能によれば、ユーザの用紙記入に関する利便性の向上が可能となる。なお、投影制御部１５０による投影制御は、上記の例に限らず、様々な状況において適用が可能である。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る投影装置１０のハードウェア構成例について説明する。図１７は、本開示の一実施形態に係る投影装置１０のハードウェア構成例を示すブロック図である。図１７を参照すると、投影装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
　リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示の実施形態に係る投影装置１０が、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果を用いることで、より正確に視覚情報を投影することが可能となる。また、投影装置１０が、コンテンツの状態変化を認識することで、当該状態変化に応じた視覚情報を投影することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、
　を備える、
　情報処理装置。
（２）
　前記第２のオブジェクトは、前記コンテンツ毎に対応付けられる、
　前記（１）に記載の情報処理装置。
（３）
　前記第１のオブジェクトおよび前記第２のオブジェクトは、継続的に認識され、
　前記投影制御部は、前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に動的に投影させる、
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記第１のオブジェクトの認識結果は、前記第１のオブジェクトの大きさを含み、
　前記投影制御部は、前記第１のオブジェクトの大きさに応じて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
　前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記投影制御部は、前記第１のオブジェクトの大きさが所定の範囲に含まれない場合、前記第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
　前記（４）に記載の情報処理装置。
（６）
　前記認識結果は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置を含み、
　前記投影制御部は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置に基づいて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記投影制御部は、前記第１のオブジェクトの位置を基準とした前記第２のオブジェクトの位置が、所定の範囲に含まれない場合、前記第１のオブジェクトの位置を基準として、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
　前記（６）に記載の情報処理装置。
（８）
　前記第１のオブジェクトおよび前記第２のオブジェクトを認識する認識部、
　をさらに備え、
　前記投影制御部は、前記認識部による前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
　前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記認識部は、前記コンテンツの状態変化を認識し、
　前記投影制御部は、前記状態変化に応じて、前記視覚情報を前記投影面に投影させる、
　前記（８）に記載の情報処理装置。
（１０）
　前記状態変化は、前記コンテンツの質量変化を含み、
　前記投影制御部は、前記質量変化に応じた前記視覚情報を前記投影面に投影させる、
　前記（９）に記載の情報処理装置。
（１１）
　前記視覚情報は、前記コンテンツ毎に対応付けられる、
　前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記投影制御部は、前記視覚情報を前記第１のオブジェクト上に投影させる、
　前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記投影制御部は、他のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に投影させる、
　前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記投影制御部は、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへのインタラクションに基づいて、前記視覚情報を前記投影面に投影させ、
　前記インタラクションは、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへの接近または接触を含む、
　前記（１３）に記載の情報処理装置。
（１５）
　前記投影制御部は、特定された前記コンテンツに対応する前記視覚情報の投影を開始させてから経過した時間に基づいて、前記視覚情報を前記投影面に投影させる、
　前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記投影制御部は、複数の前記コンテンツが特定された場合、前記複数のコンテンツに対応する前記視覚情報を前記投影面に投影させる、
　前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記コンテンツは、食品を含み、
　前記第２のオブジェクトは、前記食品と共に供される、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記投影制御部は、前記食品が供されたタイミングで、前記視覚情報の前記投影面への投影を開始させる、
　前記（１７）に記載の情報処理装置。
（１９）
　プロセッサが、
　投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、
　を含む、
　情報処理方法。
（２０）
　コンピュータに、
　投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、
　を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
　１０　　　投影装置
　２０　　　テーブル
　１１０　　入力部
　１２０　　認識部
　１３０　　特定部
　１４０　　記憶部
　１５０　　投影制御部
　１６０　　出力部

Claims (20)

  1. 　投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、
    　を備える、
    　情報処理装置。
  2. 　前記第２のオブジェクトは、前記コンテンツ毎に対応付けられる、
    　請求項１に記載の情報処理装置。
  3. 　前記第１のオブジェクトおよび前記第２のオブジェクトは、継続的に認識され、
    　前記投影制御部は、前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に動的に投影させる、
    　請求項１に記載の情報処理装置。
  4. 　前記第１のオブジェクトの認識結果は、前記第１のオブジェクトの大きさを含み、
    　前記投影制御部は、前記第１のオブジェクトの大きさに応じて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
    　請求項１に記載の情報処理装置。
  5. 　前記投影制御部は、前記第１のオブジェクトの大きさが所定の範囲に含まれない場合、前記第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
    　請求項４に記載の情報処理装置。
  6. 　前記認識結果は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置を含み、
    　前記投影制御部は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置に基づいて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
    　請求項１に記載の情報処理装置。
  7. 　前記投影制御部は、前記第１のオブジェクトの位置を基準とした前記第２のオブジェクトの位置が、所定の範囲に含まれない場合、前記第１のオブジェクトの位置を基準として、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
    　請求項６に記載の情報処理装置。
  8. 　前記第１のオブジェクトおよび前記第２のオブジェクトを認識する認識部、
    　をさらに備え、
    　前記投影制御部は、前記認識部による前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
    　請求項１に記載の情報処理装置。
  9. 　前記認識部は、前記コンテンツの状態変化を認識し、
    　前記投影制御部は、前記状態変化に応じて、前記視覚情報を前記投影面に投影させる、
    　請求項８に記載の情報処理装置。
  10. 　前記状態変化は、前記コンテンツの質量変化を含み、
    　前記投影制御部は、前記質量変化に応じた前記視覚情報を前記投影面に投影させる、
    　請求項９に記載の情報処理装置。
  11. 　前記視覚情報は、前記コンテンツ毎に対応付けられる、
    　請求項１に記載の情報処理装置。
  12. 　前記投影制御部は、前記視覚情報を前記第１のオブジェクト上に投影させる、
    　請求項１に記載の情報処理装置。
  13. 　前記投影制御部は、他のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に投影させる、
    　請求項１に記載の情報処理装置。
  14. 　前記投影制御部は、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへのインタラクションに基づいて、前記視覚情報を前記投影面に投影させ、
    　前記インタラクションは、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへの接近または接触を含む、
    　請求項１３に記載の情報処理装置。
  15. 　前記投影制御部は、特定された前記コンテンツに対応する前記視覚情報の投影を開始させてから経過した時間に基づいて、前記視覚情報を前記投影面に投影させる、
    　請求項１に記載の情報処理装置。
  16. 　前記投影制御部は、複数の前記コンテンツが特定された場合、前記複数のコンテンツに対応する前記視覚情報を前記投影面に投影させる、
    　請求項１に記載の情報処理装置。
  17. 　前記コンテンツは、食品を含み、
    　前記第２のオブジェクトは、前記食品と共に供される、
    　請求項１に記載の情報処理装置。
  18. 　前記投影制御部は、前記食品が供されたタイミングで、前記視覚情報の前記投影面への投影を開始させる、
    　請求項１７に記載の情報処理装置。
  19. 　プロセッサが、
    　投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、
    　を含む、
    　情報処理方法。
  20. 　コンピュータに、
    　投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、
    　を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
PCT/JP2019/035242 2018-10-01 2019-09-06 情報処理装置、情報処理方法、及び記録媒体 WO2020071057A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/278,512 US20220036076A1 (en) 2018-10-01 2019-09-06 Information processing apparatus, information processing method, and recording medium
JP2020550231A JPWO2020071057A1 (ja) 2018-10-01 2019-09-06 情報処理装置、情報処理方法、及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018186422 2018-10-01
JP2018-186422 2018-10-01

Publications (1)

Publication Number Publication Date
WO2020071057A1 true WO2020071057A1 (ja) 2020-04-09

Family

ID=70055796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035242 WO2020071057A1 (ja) 2018-10-01 2019-09-06 情報処理装置、情報処理方法、及び記録媒体

Country Status (3)

Country Link
US (1) US20220036076A1 (ja)
JP (1) JPWO2020071057A1 (ja)
WO (1) WO2020071057A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098187A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252497A (ja) * 2002-01-15 2004-09-09 Masanobu Kujirada 飲食店において料理又は飲料を提供するための方法及びシステム
EP2481019A1 (en) * 2009-08-19 2012-08-01 Compurants Limited A combined table and computer-controlled projector unit
JP6069826B2 (ja) * 2011-11-25 2017-02-01 ソニー株式会社 画像処理装置、プログラム、画像処理方法及び端末装置
SE1200428A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
CN104871236B (zh) * 2012-12-21 2018-02-02 索尼公司 显示控制设备和方法
JP2014141049A (ja) * 2013-01-25 2014-08-07 Bridgestone Corp 積層体及びタイヤ
JP6098326B2 (ja) * 2013-04-18 2017-03-22 ソニー株式会社 情報処理装置および記憶媒体
KR20140133337A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 음식의 조리 정보를 제공하는 시스템 및 방법
CN203812418U (zh) * 2014-05-12 2014-09-03 成都职业技术学院 中西餐宴会实训教学系统
JP5963325B2 (ja) * 2014-08-14 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ マーカに基づいて特定される情報を提示する装置、方法およびプログラム
JP2018101312A (ja) * 2016-12-21 2018-06-28 株式会社ｇｒａｍ ３ｄプロジェクションマッピング出力システムおよび３ｄプロジェクションマッピング出力方法
JP2018116471A (ja) * 2017-01-18 2018-07-26 富士通株式会社 表示制御方法、装置及びプログラム
CN107748655A (zh) * 2017-09-16 2018-03-02 深圳市赛亿科技开发有限公司 一种餐厅虚拟现实系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098187A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム

Also Published As

Publication number Publication date
US20220036076A1 (en) 2022-02-03
JPWO2020071057A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
US10140746B2 (en) Image processing device, image processing method, and computer program
US8644467B2 (en) Video conferencing system, method, and computer program storage device
EP3341851B1 (en) Gesture based annotations
KR101660576B1 (ko) 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
KR102071576B1 (ko) 콘텐트 재생 방법 및 이를 위한 단말
US20140362002A1 (en) Display control device, display control method, and computer program product
JP2022531055A (ja) インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体
US20210135892A1 (en) Automatic Detection Of Presentation Surface and Generation of Associated Data Stream
US11886643B2 (en) Information processing apparatus and information processing method
US10609305B2 (en) Electronic apparatus and operating method thereof
JP7155781B2 (ja) 情報処理装置及び情報処理プログラム
JP6627592B2 (ja) 情報処理装置及び情報処理プログラム
JP6011937B2 (ja) タッチパッドを介する入力装置
JPWO2010021240A1 (ja) 画像表示装置
WO2020071057A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2018109876A1 (ja) 表示装置、電子黒板システム及びユーザーインターフェース設定方法
JPWO2010018770A1 (ja) 画像表示装置
JP2010061343A (ja) 音声記録方法、音声再生方法、音声記録プログラム、音声再生プログラム
JP2019046310A (ja) 情報処理システム、端末装置、情報処理方法及び情報処理プログラム
WO2018214986A1 (zh) 显示对象操作方法和装置
US20170220317A1 (en) Electronic apparatus and control program of electronic apparatus
US11221684B2 (en) Information processing device, information processing method, and recording medium
US20220343557A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing system
JP2017527032A (ja) タッチメッセージの送信システムと方法
JP2024008632A (ja) 情報処理システム、表示方法、プログラム、記録情報作成システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868757

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550231

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868757

Country of ref document: EP

Kind code of ref document: A1