WO2015159547A1 - 情報処理システム、制御方法、及びプログラム記録媒体 - Google Patents

情報処理システム、制御方法、及びプログラム記録媒体 Download PDF

Info

Publication number
WO2015159547A1
WO2015159547A1 PCT/JP2015/002090 JP2015002090W WO2015159547A1 WO 2015159547 A1 WO2015159547 A1 WO 2015159547A1 JP 2015002090 W JP2015002090 W JP 2015002090W WO 2015159547 A1 WO2015159547 A1 WO 2015159547A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
orientation
user
processing system
Prior art date
Application number
PCT/JP2015/002090
Other languages
English (en)
French (fr)
Inventor
典良 広井
佐藤　慶明
高梨　伸彰
博之 渡部
尊文 黒河
竜太郎 谷村
賢治 秋吉
Original Assignee
日本電気株式会社
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃソリューションイノベータ株式会社 filed Critical 日本電気株式会社
Priority to JP2016513644A priority Critical patent/JPWO2015159547A1/ja
Publication of WO2015159547A1 publication Critical patent/WO2015159547A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Definitions

  • the present invention relates to an information processing system, a control method, and a program recording medium.
  • Digital signage which is an advertising medium that displays video and information on a display or projector.
  • Some digital signage is interactive in which display contents and the like change according to a user operation.
  • the guidance information providing system of Patent Document 1 displays content corresponding to a marker on the floor or the like when the user points to the marker of the brochure.
  • Patent Document 2 One technique for displaying an image or the like by a display or a projector is disclosed in Patent Document 2.
  • the home appliance control system of Patent Literature 2 projects a visible image as a virtual switch in the vicinity of the operator's position.
  • Patent Document 1 discloses a technique for selecting a projection plane according to the position of the user when there are a plurality of projection planes.
  • Patent Document 2 discloses a technique for selecting a projection position according to the position of an operator.
  • Patent Literature 1 and Patent Literature 2 do not disclose a method for determining the state of an image to be projected according to the situation of the projection plane and its surroundings.
  • the present invention has been made in view of the above problems.
  • One of the objects of the present invention is to provide a technique for projecting an image that is easy for a user to handle.
  • a first information processing system includes an actual object detection unit that detects an actual object, an image acquisition unit that acquires a first image, and a projection unit that projects the first image onto a projection plane. And state determining means for determining at least one of the orientation of the first image and the position in the projection plane based on at least one of the detected orientation and position of the real object.
  • the projection unit projects the first image at the position or orientation determined by the state determination unit.
  • a second information processing system detects an image acquisition unit that acquires a first image, a projection unit that projects the first image on a projection surface, and a user operation. Accordingly, there is provided position changing means for changing the position of the first image on the projection plane, and direction determining means for determining the direction of the first image to be projected based on the moving direction of the first image.
  • the projection unit changes the direction of the first image to the direction determined by the direction determination unit.
  • the first control method is executed by a computer that controls the information processing system.
  • the control method includes an actual object detection step for detecting an actual object, an image acquisition step for acquiring a first image, a projection step for projecting the first image on a projection plane, the orientation of the detected actual object and And a state determining step of determining at least one of the orientation of the first image and the position in the projection plane based on at least one of the positions.
  • the projecting step projects the first image at the position or orientation determined by the state determining step.
  • the second control method is executed by a computer that controls the information processing system.
  • the control method includes an image acquisition step for acquiring a first image, a projection step for projecting the first image on a projection surface, and a user operation detected on the projection surface of the first image in accordance with the detected user operation.
  • a position changing step for changing the position of the first image, and a direction determining step for determining the direction of the first image to be projected based on the moving direction of the first image.
  • the orientation of the first image is changed to the orientation determined by the direction determining step.
  • the storage medium stores the first program.
  • the first program causes the computer to have a function of controlling the information processing system.
  • the program includes, on the computer, an actual object detection function for detecting an actual object, an image acquisition function for acquiring a first image, a projection function for projecting the first image on a projection surface, and a detected actual object. And a state determining function for determining at least one of the orientation of the first image and the position in the projection plane based on at least one of the orientation and the position of the first image.
  • the projection function projects the first image at the position or orientation determined by the state determination function.
  • the present invention can also be realized by the first program stored in the above-described recording medium.
  • the storage medium stores the second program.
  • the second program causes the computer to have a function of controlling the information processing system.
  • the program detects, on the computer, an image acquisition function for acquiring a first image, a projection function for projecting the first image onto a projection plane, and a user operation.
  • the program detects the first image according to the detected user operation.
  • a position changing function for changing the position on the projection plane and a direction determining function for determining the direction of the first image to be projected based on the moving direction of the first image are provided.
  • the projection function changes the orientation of the first image to the orientation determined by the direction determination function.
  • the present invention can also be realized by the second program stored in the above recording medium.
  • a technique for projecting an image that is easy for the user to handle is provided.
  • FIG. 1 is a block diagram showing an information processing system 2000 according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a hardware configuration of the information processing system 2000.
  • FIG. 3 is a diagram illustrating an apparatus in which the projection apparatus 100 and the monitoring apparatus 200 are combined.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the information processing system 2000 according to the first embodiment of this invention.
  • FIG. 5 is a diagram illustrating a usage environment of the information processing system 2000 of the first application example.
  • FIG. 6A is a plan view illustrating the state of the table in the front direction of the user.
  • FIG. 6B is a plan view illustrating the state of the table in the front direction of the user.
  • FIG. 6A is a plan view illustrating the state of the table in the front direction of the user.
  • FIG. 7 is a block diagram illustrating an information processing system 2000A having an image acquisition unit.
  • FIG. 8A is a diagram for explaining the orientation of the content image.
  • FIG. 8B is a diagram for explaining the orientation of the content image.
  • FIG. 9 is a diagram conceptually illustrating a method for determining the orientation of the content image based on the major axis direction of the user's trunk.
  • FIG. 10 is a diagram conceptually illustrating a method of determining the orientation of the first image using the reference point.
  • FIG. 11 is a diagram illustrating a state in which the content image is projected in accordance with the extending direction of the user's finger.
  • FIG. 12 is a block diagram illustrating an information processing system 2000B according to the second and third embodiments of the present invention.
  • FIG. 12 is a block diagram illustrating an information processing system 2000B according to the second and third embodiments of the present invention.
  • FIG. 13 is a diagram illustrating a side detected by the side detection unit 2100.
  • FIG. 14 is a diagram illustrating each side in a tray having marks.
  • FIG. 15 is a diagram illustrating the relationship between the position of the tray on the table and each side.
  • FIG. 16 is a flowchart illustrating the flow of processing executed by the information processing system 2000B according to the second embodiment of this invention.
  • FIG. 17A is a diagram illustrating a state on the table in the second application example.
  • FIG. 17B is a diagram illustrating a state on the table in the second application example.
  • FIG. 18 is a diagram conceptually illustrating the process performed by the state determination unit 2080 according to the third embodiment of this invention.
  • FIG. 19 is a block diagram showing an information processing system 2000C according to the fourth embodiment of the present invention.
  • FIG. 20 is a diagram conceptually illustrating the process executed by the direction determination unit.
  • FIG. 21 is a diagram illustrating the relationship between the moving direction of the content image and the direction of the content image in the moving direction.
  • FIG. 22 is a diagram conceptually illustrating a method of determining the orientation of the content image using the average moving speed.
  • FIG. 23 is a flowchart illustrating the flow of processing executed by the information processing system according to the fourth embodiment of this invention.
  • FIG. 24 is a block diagram illustrating a hardware configuration of the information processing system 2000C.
  • FIG. 1 is a block diagram showing an information processing system 2000 according to the first embodiment of the present invention.
  • solid arrows represent the flow of information.
  • each block represents a functional unit configuration, not a hardware unit configuration.
  • the information processing system 2000 includes an actual object detection unit 2020, a projection unit 2060, and a state determination unit 2080. As will be described later, the information processing system 2000 may further include an image acquisition unit 2040 (not shown in FIG. 1) that acquires the first image.
  • the real object detection unit 2020 detects an actual object.
  • the real object may be the whole real object or a part of the real object.
  • the projection unit 2060 projects the first image on the projection surface.
  • the first image projected by the projection unit 2060 may be one or plural.
  • the state determination unit 2080 determines at least one of the orientation of the first image and the position in the projection plane based on at least one of the detected orientation and position of the real object. Then, the projection unit 2060 projects the first image at the position or orientation determined by the state determination unit 2080.
  • Each functional component of the information processing system 2000 may be realized by a hardware component (eg, a hard-wired electronic circuit) that realizes each functional component.
  • Each functional component of the information processing system 2000 may be realized by a combination of hardware components and software components (for example, a combination of an electronic circuit and a program that controls the electronic circuit).
  • FIG. 2 is a block diagram illustrating a hardware configuration of the information processing system 2000.
  • the information processing system 2000 is realized by a projection device 100, a monitoring device 200, a bus 300, and a computer 1000.
  • the projection device 100 is a device having a function of projecting an image, such as a projector.
  • the monitoring device 200 is a device having a function of monitoring the surroundings, and is, for example, a camera.
  • the computer 1000 is a variety of computers such as a server and a PC (Personal Computer).
  • the bus 300 is a data transmission path for transmitting / receiving data to / from the projection apparatus 100, the monitoring apparatus 200, and the computer 1000.
  • the method for connecting the projection device 100, the monitoring device 200, and the computer 1000 is not limited to bus connection.
  • an external input device may be further connected to the bus 300.
  • the external input device is, for example, a wireless mouse, a remote controller, a reader that reads an RF (Radio Frequency) tag, or a reader that reads an IC (Integrated Circuit) chip of an NFC (Near Field Communication).
  • RF Radio Frequency
  • IC Integrated Circuit
  • the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage 1080, and an input / output interface 1100.
  • the bus 1020 is a data transmission path through which the processor 1040, the memory 1060, the storage 1080, and the input / output interface 1100 transmit / receive data to / from each other.
  • the input / output interface 1100 is expressed as “input / output I / F 1100” (InterFace).
  • the method of connecting the processors 1040 and the like is not limited to bus connection.
  • the processor 1040 is an arithmetic processing unit such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 1060 is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage 1080 is a storage device such as a hard disk, an SSD (Solid State Drive), or a memory card.
  • the storage 1080 may be a memory such as a RAM or a ROM.
  • the input / output interface 1100 is an input / output interface for transmitting and receiving data to and from the projection apparatus 100 and the monitoring apparatus 200 via the bus 300.
  • the input / output interface 1100 may have a network interface for connecting to a network.
  • the network may be realized by a wired line, a wireless line, or a combination of a wired line and a wireless line.
  • the storage 1080 stores an actual object detection module 1220, a projection module 1260, and a state determination module 1280 as programs for realizing the functions of the information processing system 2000.
  • the storage 1080 may further store an image acquisition module (not shown) that realizes the function of the image acquisition unit 2040 by being executed by the processor 1040.
  • the real object detection unit 2020 is realized by a combination of the monitoring device 200 and the real object detection module 1220.
  • the real object detection module 1220 detects an actual object by acquiring and analyzing an image captured by the monitoring device 200.
  • the real object detection module 1220 is executed by the processor 1040.
  • the projection unit 2060 is realized by a combination of the projection apparatus 100 and the projection module 1260.
  • the projection module 1260 transmits information indicating a combination of “an image to be projected and a projection position to project the image” to the projection apparatus 100.
  • the projection apparatus 100 projects an image according to this information.
  • Projection module 1260 is executed by processor 1040.
  • the processor 1040 implements the function of the state determination unit 2080 by executing the state determination module 1280.
  • the processor 1040 may execute these modules after reading them onto the memory 1060, or may execute them without reading them onto the memory 1060.
  • each module may be stored in the memory 1060.
  • the computer 1000 may not include the storage 1080.
  • FIG. 3 is a diagram illustrating an apparatus 400 in which the projection apparatus 100 and the monitoring apparatus 200 are combined.
  • the apparatus 400 in FIG. 3 includes the projection apparatus 100, the monitoring apparatus 200, and a projection direction adjustment unit 410.
  • the projection direction adjustment unit 410 is implemented by a combination of the projection direction adjustment units 410-1, 2 and 3.
  • the projection direction of the projection apparatus 100 and the monitoring apparatus 200 may be the same or different.
  • the projection range of the projection device 100 and the monitoring range of the monitoring device 200 may be the same or different.
  • the projection device 100 is, for example, a visible light projection device or an infrared light projection device.
  • the projection apparatus 100 projects various images on the projection surface by irradiating light representing a predetermined pattern or character or light representing a free pattern or character from the projection unit.
  • the monitoring device 200 is implemented, for example, by one or a combination of a visible light camera, an infrared camera, a distance sensor, a distance recognition processing device, and a pattern recognition processing device.
  • the monitoring device 200 may be, for example, a combination of a camera that simply captures spatial information as a two-dimensional image and an image processing device that selectively extracts object information from these images.
  • the monitoring device 200 may be implemented by a combination of an infrared pattern projection device and an infrared camera.
  • the monitoring device 200 may acquire spatial information based on the principles of pattern disturbance and triangulation using an infrared pattern projection device and an infrared camera.
  • the monitoring apparatus 200 may acquire the information of the depth direction with plane information by imaging
  • the monitoring apparatus 200 may acquire the spatial information of the object by irradiating the object with a very short light pulse and measuring the time until the light is reflected and returned by the object.
  • the projection direction adjustment unit 410 is designed so that the image projection position by the projection apparatus 100 can be adjusted.
  • the projection direction adjustment unit 410 has a mechanism for rotating or moving the whole or a part of the apparatus included in the apparatus 400. Then, the projection direction adjustment unit 410 adjusts (i.e., moves) the position where the image is projected by changing the direction and position of the light projected from the projection apparatus 100 using the mechanism.
  • the projection direction adjustment unit 410 is not limited to the configuration shown in FIG.
  • the projection direction adjustment unit 410 may be designed to reflect the light emitted from the projection apparatus 100 by a movable mirror, or to change the direction of the light using a special optical system.
  • the movable mirror may be provided so as to be incorporated in the apparatus 400 or may be installed independently of the apparatus 400.
  • the projection direction adjustment unit 410 may be designed so that the projection apparatus 100 itself can be moved.
  • the projection apparatus 100 may have, for example, a function of changing the size of the projection image according to the projection plane by operating an internal lens and a function of adjusting the focal position according to the distance from the projection plane.
  • the direction of the straight line that is, the optical axis
  • the projection apparatus 100 may be designed to have an optical system with a deep focal working distance that is specially designed to handle changes in projection distance within the projection range.
  • the projection direction adjustment unit 410 may display an image at a desired position by masking a part of the light emitted from the projection apparatus 100. Further, when the projection angle of the projection device 100 is large, the image signal is processed so that light is projected only at a necessary portion, and the image data represented by the processed image signal is delivered to the projection device 100. Good.
  • the projection direction adjustment unit 410 may rotate or move the monitoring device 200 in addition to the projection device 100.
  • the projection direction adjustment unit 410 changes the projection direction of the projection apparatus 100, the monitoring direction of the monitoring apparatus 200 changes accordingly (the monitoring range changes).
  • the projection direction adjustment unit 410 includes a high-accuracy rotation information acquisition device (not shown) or a position information acquisition device (not shown) in order to prevent the monitoring range of the monitoring device 200 from deviating from a predetermined region. It is.
  • the projection range of the projection apparatus 100 and the monitoring range of the monitoring apparatus 200 may be changed separately.
  • the change in the orientation of the first image may be realized by the computer 1000 performing image processing on the first image.
  • the projection apparatus 100 does not need to rotate the first image by the projection direction adjustment unit 410.
  • the projection apparatus 100 may project the first image received from the computer 1000 as it is.
  • the apparatus 400 is installed in a state of being fixed to, for example, a ceiling or a wall surface.
  • the installed device 400 may be entirely exposed from the ceiling or the wall surface, or a part or the whole of the device 400 may be buried inside the ceiling or the wall surface.
  • the projection apparatus 100 adjusts the projection direction using a movable mirror
  • the movable mirror may be installed on a ceiling or a wall surface separately from the apparatus 400.
  • the projection apparatus 100 and the monitoring apparatus 200 are incorporated in the same apparatus 400, but the projection apparatus 100 and the monitoring apparatus 200 may be installed independently.
  • the monitoring device 200 used for detecting the actual object and the monitoring device 200 used for detecting the user operation may be the same monitoring device 200 or may be the monitoring devices 200 provided separately. Good.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the information processing system 2000 according to the first embodiment.
  • the real object detection unit 2020 detects the real object.
  • the information processing system 2000 acquires the first image.
  • the state determination unit 2080 determines at least one of the orientation of the first image and the position in the projection plane based on at least one of the detected orientation and position of the real object.
  • the projection unit 2060 projects the first image at the position or orientation determined by the state determination unit 2080.
  • the information processing system 2000 based on at least one of the detected orientation and position of the real object, at least one of the orientation of the image projected on the projection plane and the position in the projection plane is determined. Therefore, by configuring the information processing system 2000 to detect the projection surface, an object on the projection surface, or an object around the projection surface as an actual object, the information is projected based on the orientation or position of these objects.
  • the orientation of the image or the position in the projection plane is determined. For example, as will be described later, it is possible to project an image in an orientation according to the orientation of the user's face. As a result, the first image can be projected in a state that is easy for the user to handle. Therefore, the information processing system 2000 can be a system that is easy for the user to use.
  • FIG. 5 is a diagram illustrating a usage environment of the information processing system 2000 of this application example.
  • the information processing system 2000 of this application example is a system used in a coffee shop or a restaurant.
  • the information processing system 2000 realizes digital signage by projecting an image on the table 10 from the device 400 installed on the ceiling. The user can eat or wait for the meal to arrive while browsing the content projected on the table 10.
  • the table 10 is the projection plane.
  • the apparatus 400 may be installed in places (for example, wall surface) other than a ceiling.
  • FIG. 6A and 6B are plan views illustrating the state of the table 10 in the front direction of the user.
  • the content image 40 has shown the cover of the electronic book.
  • the content represented by the content image 40 may be not only digital content such as an electronic book but also an actual object (analog content).
  • the content may be a service.
  • the tray 20 and the mark 30 will be described later.
  • the real object in this application example is a user.
  • the information processing system 2000 projects the content image 40 in a user-friendly direction according to the user's direction.
  • FIG. 6A is a diagram illustrating a state in which the content image 40 is projected in an unfavorable direction. When viewed from the user, the content image 40 is tilted to the right, and it can be said that the direction of the content image 40 is difficult for the user to see.
  • FIG. 6B is a diagram illustrating a state in which the information processing system 2000 projects the content image 40 in an appropriate direction corresponding to the user's direction. Since the content image 40 faces the front direction, the orientation of the content image 40 is easy to see for the user.
  • a specific method for projecting the content image 40 in accordance with the orientation of the user as shown in FIG. 6B and other methods for the information processing system 2000 to determine the position and orientation of the content image 40 will be described in detail later.
  • the information processing system 2000 may further include an image acquisition unit 2040 that acquires the first image, for example, as in the information processing system 2000A illustrated in FIG.
  • FIG. 7 is a block diagram illustrating an information processing system 2000A having an image acquisition unit 2040.
  • the image acquisition unit 2040 acquires the first image.
  • the image acquisition unit 2040 may acquire a first image input from an external device.
  • the image acquisition unit 2040 may acquire a first image that is manually input, for example.
  • the image acquisition unit 2040 may acquire the first image by accessing an external device.
  • the first image for one electronic book is, for example, a cover image or an image representing each page.
  • the first image is, for example, an image obtained by photographing the real object from various angles. Note that, as described above, the content represented by the first image is not limited to the product, and may be a service.
  • the projection unit 2060 includes the projection device 100 that projects an image such as a projector.
  • the projection unit 2060 acquires the first image acquired by the image acquisition unit 2040 and projects the acquired first image onto the projection plane.
  • the projection surface is, for example, the table 10 in the application example described above.
  • the projection surface is, for example, a wall or a floor. Further, the projection surface may be at least a part of a human body (eg, palm).
  • the projection plane may be a part or the whole of the actual object.
  • the real object detection unit 2020 includes the monitoring device 200 described above. Here, it is assumed that the real object detection unit 2020 is designed so that “what to detect as an actual object” can be set. Then, the actual object detection unit 2020 determines whether or not an object that satisfies the set condition is included in the monitoring range of the monitoring device 200. And when the thing which satisfy
  • the actual object is a projection surface, an object on the projection surface, an object around the projection surface, or the like.
  • the projection surface is, for example, the table 10 in FIG.
  • the thing on a projection surface is the tray 20 etc. in FIG. 6A and FIG. 6B, for example.
  • the thing in the periphery of a projection surface is the user in FIG. 5, for example.
  • the actual object detection unit 2020 detects the actual object by performing object recognition on the captured image generated by the monitoring device 200.
  • object recognition is a known technique, detailed description thereof is omitted.
  • the monitoring device 200 is an imaging device that can take an image even in a wavelength range other than visible light (for example, infrared light, ultraviolet light, etc.), the actual object has invisible printing that can be taken by the imaging device. Also good.
  • the processing for the invisible captured image generated by the monitoring apparatus 200 is the same, the description thereof is omitted.
  • the real object detection unit 2020 is realized using a distance sensor.
  • the monitoring device 200 is realized using, for example, a laser type distance sensor.
  • the real object detection unit 2020 uses this laser distance sensor to measure the height change of the projection plane of the first image and its surroundings, thereby determining the shape of the real object and the shape change (ie, deformation) with respect to time. To detect. Since the technique for reading the shape and deformation is a known technique, detailed description thereof is omitted.
  • the orientation of the first image is expressed using, for example, the vertical direction or the horizontal direction of the first image as an index.
  • 8A and 8B are diagrams for explaining the orientation of the content image 40.
  • FIG. The direction of the content image 40 shown in FIG. 8A is the direction in the reference state.
  • FIG. 8B the orientation of the content image 40 is changed from the reference state.
  • the orientation of the content image 40 in FIG. 8B can be expressed as “the horizontal direction has been changed by + 30 ° from the reference state” or can be expressed by “the vertical direction has been changed by + 30 ° from the reference state”. Note that the orientation of the first image may be determined using directions other than the vertical direction and the horizontal direction.
  • the state determination unit 2080 determines the orientation of the user's face, and determines the orientation of the first image according to the determined orientation of the user's face.
  • the real object detection unit 2020 detects the user's face.
  • the state determination unit 2080 determines the orientation of the face from the detected face. Then, the state determination unit 2080 makes the vertical direction of the first image the same as the direction in which the user's face is facing.
  • the state determination unit 2080 may determine the user's line-of-sight direction and determine the orientation of the first image in accordance with the calculated user's line-of-sight direction.
  • the user's line-of-sight direction can be determined based on the positional relationship between the user's white eyes and black eyes.
  • the real object detection unit 2020 detects the positions of the user's white eyes and black eyes.
  • the state determination unit 2080 sets the vertical direction of the first image to the same direction as the user's line-of-sight direction, for example.
  • the state determination unit 2080 may determine the orientation of the user's torso and may determine the orientation of the first image in accordance with the determined orientation of the user's torso.
  • the real object detection unit 2020 detects the user's torso.
  • the state determination unit 2080 calculates the direction of the body from the detected body.
  • the state determination unit 2080 determines the horizontal direction of the first image based on the direction of the user's torso.
  • the state determination unit 2080 determines the major axis direction of the user's torso, and sets the horizontal direction of the first image to the same direction as the calculated major axis direction.
  • FIG. 9 is a diagram conceptually illustrating a method for determining the orientation of the content image 40 based on the major axis direction of the body of the user 50.
  • the state determination unit 2080 determines that (i) is appropriate from the positional relationship between the person and the projection plane, and projects the content image on the table 10 in the direction indicated by the content image 40-1.
  • the state determination unit 2080 may use a method of “matching the vertical direction of the first image with the minor axis direction of the user's trunk”. In this case as well, although there are two possible minor axis directions of the user's torso, the state determination unit 2080 can determine an appropriate minor axis direction based on the positional relationship between the user and the projection plane.
  • calculation of the major axis direction of the user's torso and the positional relationship between the user and the projection plane is effective in situations where it is difficult to calculate the user's line of sight and face orientation.
  • the real object detection unit 2020 is realized by a low-resolution camera is conceivable.
  • the state determination unit 2080 may determine the orientation of the user's arm and determine the orientation of the first image in accordance with the calculated orientation of the user's arm.
  • the real object detection unit 2020 detects the user's arm, and the state determination unit 2080 calculates the direction of the arm based on the detected arm. Then, the state determination unit 2080 determines the horizontal direction of the first image based on the direction of the user's arm.
  • the user's two arms have different orientations. Which of the two arms is appropriate can be determined by the positional relationship between the user and the table 10 (projection plane), for example.
  • the first selection criterion an arm having a large movement on the table 10 out of the two arms is selected as a reference. This is because the user uses either one (in many cases, the dominant hand) for the operation.
  • the second selection criterion is selected based on the arm on the side where the object (such as the tray 20) on the table 10 is few. This is because it is difficult to see if there are extra objects in the projection plane.
  • the right arm side is selected as the third determination criterion. This is because statistically the right arm is often the dominant hand.
  • the orientation of the first image can be determined so that the movement of the user's arm is minimized and the operation is simplified. . Therefore, the method for determining the orientation of the first image as described above is effective for content that has a lot of input such as a questionnaire form or a game. Also, when determining the orientation of the first image using the orientation of the user's arm as a reference, it is important at which timing the orientation of the first image is determined. When inputting, the position and orientation of the user's arm frequently changes. Therefore, the state determination unit 2080 may determine the orientation of the first image based on the average orientation of the arms within a certain time according to the content, or may use the orientation of the arms at a certain moment as a reference. The orientation of the first image may be determined.
  • FIG. 10 is a diagram conceptually illustrating a method for determining the orientation of the first image using the reference point 70.
  • a dotted line indicates a straight line connecting the center of the content image 40 and the reference point 70.
  • the state determination unit 2080 determines the orientation of the content image 40 in the vertical direction so as to match the extending direction of the straight line connecting the content image 40 and the reference point 70. As a result, in FIG. 10, each content image 40 is projected so that the vertical direction faces the reference point 70.
  • the reference point is a mark added in advance on the projection plane.
  • the state determination unit 2080 may use an object other than an object attached in advance on the projection plane as a reference point.
  • the state determination unit 2080 may use the tray 20 or the mark 30 in FIGS. 6A and 6B as a reference point.
  • the reference point may be an object around the projection plane.
  • the state determination unit 2080 may calculate a reference point according to a predetermined rule, and use the calculated reference point.
  • the state determination unit 2080 may calculate the center point of the projection plane and treat the center point as a reference point.
  • the state determination unit 2080 may treat predetermined coordinates on the projection plane and its periphery as a reference point.
  • information indicating information indicating “what to use as a reference point” is stored in a storage unit (not shown) included in the information processing system 2000.
  • the storage unit stores a feature amount of an object as a reference point.
  • this coordinate is stored in the storage unit.
  • Operation body orientation Furthermore, as another method for determining the orientation of the first image, there is a method of matching the orientation of the user's operation body.
  • the operation body of the user is a user's arm, hand, or finger, or a touch pen used by the user for operation.
  • the real object detection unit 2020 detects the user's operation tool.
  • the state determination unit 2080 determines the detected stretching direction of the operating tool, and determines the orientation of the first image based on the stretching direction.
  • FIG. 11 is a diagram illustrating a state in which the content image 40 is projected in accordance with the extending direction of the user's finger 80.
  • a dotted line indicates the extending direction of the finger 80.
  • the real object detection unit 2020 detects the finger 80 or the user's hand including the finger 80 as an actual object.
  • the state determination unit 2080 determines the extending direction of the finger 80 (that is, the dotted line direction in FIG. 11) from the finger 80 included in the actual object. Then, the state determination unit 2080 sets the direction of the content image 40 in the vertical direction as the direction of the extending direction of the finger 80.
  • the state determination unit 2080 sets a position in the projection plane and in the vicinity of the actual object as the projection position of the first image. For example, the state determination unit 2080 sets the vicinity of the tray 20 and the mark 30 in FIGS. 6A and 6B, the user 50 in FIG. 9 or the user's finger 80 and hand in FIG. 11 as the projection position of the first image.
  • “near the real object” is a position away from the real object by a predetermined distance.
  • the predetermined distance may be 0.
  • the first image is projected at a position in contact with the actual object or a position overlapping with the actual object.
  • “near the real object” may be determined based on the size of the real object. For example, when the size of the real object is n, the state determination unit 2080 projects the first image at a position that is n / x away from the real object (n and x are positive real numbers). In this case, the value of x is stored in advance in a storage unit included in the information processing system 2000.
  • the state determination unit 2080 may set the position on the real object as the projection position of the first image. For example, it is conceivable to project the first image on the tray 20 and the mark 30 in FIGS. 6A and 6B and on the user's finger 80 and hand in FIG.
  • the state determination unit 2080 may use different real objects for determination of the position and orientation of the first image.
  • the state determination unit 2080 may set the position of the first image in the vicinity of an object on the projection plane (eg, the tray 20 in FIG. 6), and adjust the orientation of the first image to the orientation of the user's face.
  • the state determination unit 2080 acquires information related to the projected first image in order to determine the orientation of the first image or the position in the projection plane.
  • the state determination unit 2080 acquires, for example, the first image itself and various attributes of the first image.
  • the state determination unit 2080 acquires information related to the first image to be projected from, for example, the image acquisition unit 2040 or the projection unit 2060. In addition, the state determination unit 2080 acquires information (for example, ID (Identification) of the first image) for specifying the first image to be projected from the image acquisition unit 2040 or the projection unit 2060 and relates to the specified first image. Other information may be acquired from outside the information processing system 2000.
  • FIG. 12 is a block diagram illustrating an information processing system 2000B according to the second embodiment.
  • arrows indicate the flow of information.
  • each block represents a functional unit configuration, not a hardware unit configuration.
  • the actual object is an object on the projection plane.
  • the information processing system 2000B determines the orientation of the first image and the in-projection plane based on at least one of the orientation and position of the side (eg, the edge of the table) included in the circumference of the real object. Determine at least one of the positions.
  • the information processing system 2000 ⁇ / b> B according to the second embodiment includes a side detection unit 2100.
  • the edge detection unit 2100 detects edges included in the circumference of the real object. Then, the state determination unit 2080 according to the second embodiment determines at least one of the direction of the first image and the position in the projection plane based on at least one of the detected direction and position of the side.
  • FIG. 13 is a diagram illustrating a side detected by the side detection unit 2100.
  • the actual object is the tray 20.
  • the side detection unit 2100 detects a side 60 that is a side included in the circumference of the tray 20.
  • the state determination unit 2080 determines the orientation of the content image 40 in accordance with the extending direction of the side 60. Further, the state determination unit 2080 sets the vicinity of the side 60 as the projection position of the content image 40.
  • “near side 60” is determined in the same manner as “near the real object” described in the first embodiment.
  • an actual object has a plurality of sides.
  • the state determination unit 2080 specifies an edge used for determining the orientation and position of the first image according to some criteria. For example, as one method, there is a method of attaching a reference mark or the like to an actual object in advance. In this case, the state determination unit 2080 uses a side near the mark among the sides included in the real object.
  • FIG. 14 is a diagram illustrating each side of the tray 20 having the mark 30. In FIG. 14, the tray 20 has four sides 60-1 to 60-4. Of these four sides, the state determination unit 2080 uses a side 60-2 that is a side near the mark 30.
  • FIG. 15 is a diagram illustrating the relationship between the position of the tray 20 on the table 10 and each side. In FIG. 15, for each of the trays 20-1 to 20-4, which side of each tray is up, down, left, and right is determined by the position of the tray. Also, it is possible to determine which side each side of the tray 20 is by the method of “the upper side is the side closest to the center of the table 10 among the sides of the tray 20”.
  • the “side” in the present embodiment means a part of the circumference of the real object (in other words, a part of the edge), and is not necessarily limited to a line segment with the vertex of the real object as an end.
  • an arc that is a part of the circumference is a side.
  • the state determination unit 2080 treats the tangential direction of the side as the direction of the side.
  • the edge detection unit 2100 sets the circumference of the real object to the edge by a predetermined method. Edges are detected by dividing.
  • the side detection unit 2100 divides the circumference into sides, for example, with a predetermined size. In this case, a method of dividing the circumference into sides is, for example, a method of “dividing the circumference into sides of every 20 cm (centimeter)”.
  • the edge detection unit 2100 may also make a part of the circumference a side.
  • the edge detection unit 2100 may divide the circumference into a predetermined number of edges, for example.
  • a method of dividing the circumference into sides is, for example, a method of “dividing the circumference into five equal parts”.
  • each side of the circumference having a corner that can be regarded as a vertex or vertex as shown in FIG. 14 may be further divided into sides.
  • four sides may be divided into four equal parts and divided into 16 sides.
  • FIG. 16 is a flowchart illustrating an example of the flow of processing executed by the information processing system 2000B of the second embodiment. Steps S102, S104, and S108 in FIG. 16 are the same processes as the steps with the same reference numerals in FIG. Therefore, description of these processes is omitted.
  • step S202 the side detection unit 2100 detects a side included in the circumference of the real object.
  • step S204 the state determination unit 2080 determines at least one of the direction of the first image and the position in the projection plane based on at least one of the detected direction and position of the side.
  • At least one of the orientation of the first image and the position in the projection plane is determined based on at least one of the orientation and position of the side included in the circumference of the real object on the projection plane.
  • the actual object on the projection plane is placed in a state that is easy to handle by the user.
  • a tray, a portable terminal, or a writing instrument that the user places on a table or the like is likely to be placed in an orientation or position that is easy for the user to handle.
  • an actual object eg, a menu in a restaurant
  • the actual object is generally placed in an orientation or position that is easy for the user to handle.
  • the side included in the circumference of the real object placed on the projection plane represents a direction and a position that are easy to see for the user. Therefore, according to the present embodiment, the probability that the first image is projected in a direction and position that is easy for the user to see is increased. Further, since the process of calculating the direction of the side is simpler than the process of detecting the direction of the user's face, the direction of the line of sight, etc., calculation time and computer resources required for determining the direction and position of the first image Can be reduced. As a result, the projection processing of the first image by the information processing system 2000B can be performed at high speed.
  • FIG. 17A and FIG. 17B are diagrams illustrating examples on the table in the second application example.
  • the mark 30 attached on the tray 20 is a mark representing a shopping basket.
  • the information processing system 2000B provides a function that allows the content represented by the content image 40 to be placed in the user's shopping basket by dragging the content image 40 to the mark 30.
  • the user can select whether to pay for the content in the shopping cart at the cash register of the store or online.
  • the information processing system 2000B uses the content image 41 (Pay HERE) for selecting “payment at a cash register” and the content image 42 (Pay) as an image for selecting “online payment” as methods for making this selection. ONLINE) is displayed.
  • Content image 41 and the content image 42 means a payment service provided by the information processing system 2000B.
  • the state determination unit 2080 determines the display positions of the content image 41 and the content image 42 so that the balloon appears to appear from the mark 30 for each of the content image 41 and the content image 42. For this purpose, the state determination unit 2080 uses the mark 30 as an actual object used to determine the projection positions of the content image 41 and the content image 42.
  • the state determination unit 2080 displays the content image 41 and the content image 42 along the side of the tray 20. Therefore, the side detection unit 2100 detects a side 60 that is a side of the tray 20 and a side in the vicinity of the mark 30. The state determination unit 2080 determines the orientation of the content image 41 and the content image 42 in the vertical direction according to the extending direction of the side 60.
  • the side detection unit 2100 determines the orientation of the content image 41 and the content image 42 by a method of “aligning the horizontal direction of the content image 41 and the content image 42 to the direction perpendicular to the side 60”. May be.
  • the information processing system 2000B may change the position and orientation of the content image 41 and the content image 42 following the change. It is assumed that the orientation and position of the tray 20 originally placed as shown in FIG. 17A are changed to the orientation and position shown in FIG. 17B. In this case, the information processing system 2000B also changes the positions and orientations of the content image 41 and the content image 42 in accordance with the changed position and orientation of the tray 20 as shown in FIG. 17B.
  • the real object detected by the real object detection unit 2020 is a user close to the projection plane.
  • the side detection unit 2100 of the third embodiment detects a side that is included in the periphery of the projection plane and is close to the user. Then, the state determination unit 2080 of the third embodiment determines at least one of the direction of the first image and the position in the projection plane based on at least one of the direction and position of the side.
  • the real object detection unit 2020 of the third embodiment detects a user who is close to the projection plane.
  • the side detection unit 2100 according to the third embodiment detects a side that is included in the circumference of the projection plane and is close to the user detected by the real object detection unit 2020.
  • the side detection unit 2100 detects a side that is close to the center of gravity of the positions of the plurality of users.
  • the side detection unit 2100 determines a reference user from among a plurality of users, for example, and detects a side close to the user.
  • the real object detection unit 2020 may detect not only the user but also surrounding objects such as a chair.
  • the edge detection unit 2100 may detect a user sitting on a chair and consider the user sitting on the chair as a reference user.
  • the edge detection unit 2100 may use the user closest to the object placed on the projection surface as the reference user. .
  • the state determination unit 2080 determines the orientation of the first image so that the horizontal orientation of the first image matches the detected extension direction of the side. .
  • the state determination unit 2080 calculates, for example, the tangent of the detected side, and the horizontal direction of the first image is the tangent of the calculated tangent. The orientation of the first image is determined so as to match the direction.
  • the state determination unit 2080 sets the vicinity of the side detected by the side detection unit 2100 as a position for projecting the first image.
  • the “near side” is determined by the same method as the “near real object” described in the first embodiment.
  • FIG. 18 is a diagram conceptually illustrating the process performed by the state determination unit 2080 according to the third embodiment.
  • the side detection unit 2100 detects a side close to the user 50-1 among the sides included in the circumference of the table 10 that is the projection plane, and calculates a tangent 61-1 of the detected side. Then, the state determination unit 2080 determines the orientation and position of the content image 40-1 to be shown to the user 50 based on the tangent 61-1. Specifically, state determination unit 2080 sets the vicinity of user 50-1 as the projection position of content image 40-1. Further, the state determination unit 2080 determines the orientation of the content image 40-1 so that the horizontal orientation of the content image 40-1 matches the extending direction of the tangent line 61-1. As a result, the orientation and position of the content image 40-1 are the orientation and position shown in FIG.
  • the information processing system 2000B performs the same processing and projects the content image 40-2 shown to the user 50-2.
  • At least one of the orientation of the first image and the position in the projection plane is determined based on at least one of the orientation and position of the side that is included in the circumference of the projection plane and is close to the user.
  • the image projected by the information processing system 2000B has a high probability of being viewed by a user who is close to the projection plane.
  • the user has a high probability of viewing the projection plane in an orientation corresponding to a side included in the circumference of the projection plane, such as an edge of a table. Therefore, according to this embodiment, an image can be projected in a state that is easy for the user to see.
  • the process of calculating the direction of the side is simpler than the process of detecting the direction of the user's face, the direction of the line of sight, etc., calculation time and computer resources required for determining the direction and position of the first image Can be reduced. As a result, the projection processing of the first image by the information processing system 2000B can be performed at high speed.
  • FIG. 19 is a block diagram showing an information processing system 2000C according to the fourth embodiment.
  • solid arrows indicate the flow of information.
  • each block represents a functional unit configuration, not a hardware unit configuration.
  • the information processing system 2000C includes a projecting unit 2060, a position changing unit 2120, and a direction determining unit 2140.
  • the position changing unit 2120 detects a user operation, and changes the position of the first image on the projection plane according to the detected user operation.
  • the direction determining unit 2140 determines the direction of the first image to be projected based on the moving direction of the first image.
  • Projection unit 2060 changes the orientation of the first image in accordance with the orientation determined by direction determination unit 2140.
  • the projecting unit 2060 projects the first image at the position changed by the position changing unit 2120.
  • the information processing system 2000C according to the fourth embodiment includes an image acquisition unit 2040 that acquires the first image, for example, similarly to the information processing system 2000 according to the first embodiment.
  • the functions of the image acquisition unit 2040 of the fourth embodiment are the same as the functions of the image acquisition unit 2040 of the first embodiment.
  • the user operation detected by the position changing unit 2120 is, for example, an operation in which the user drags the first image with the operating tool.
  • the user operation detected by the position changing unit 2120 may be an operation that indicates, by an operating tool, a location on the projection surface where the first image is not projected.
  • the operation indicated by the operating body may be an operation of pushing or hitting with the operating body.
  • the position changing unit 2120 changes the position of the first image so that the first image moves to the location indicated by the operating tool.
  • the distance that the position changing unit 2120 moves the first image by one user operation may be a predetermined distance or may be different depending on conditions.
  • the condition for determining the distance is, for example, the number of operating bodies (for example, fingers) used for the operation, the magnitude of movement of the operating body, and the like.
  • the user operation performed using the operation body as described above is detected using the monitoring device 200 similar to the monitoring device 200 of the first embodiment, which is connected to the information processing system 2000C so as to be communicable. Since a technique for detecting such a user operation using the monitoring apparatus 200 is a known technique, a detailed description of a method for detecting such a user operation is omitted. As an example, when the position changing unit 2120 detects a user operation using the imaging device, the user operation can be detected by analyzing the movement of the operation body shown in the captured image.
  • the user operation detected by the position changing unit 2120 may be an operation of moving the first image using an external input device such as a wireless mouse.
  • time lag there may be a time lag between the timing when the user operation is detected by the position changing unit 2120 and the timing when the projection unit 2060 changes the projection state (position or orientation) of the first image.
  • this time lag is small, the first image is projected so as to quickly follow the user operation.
  • the time lag is large, the first image is projected so as to follow the user operation slowly.
  • the direction determining unit 2140 determines the direction of the first image to be projected based on the moving direction of the first image.
  • FIG. 20 is a diagram conceptually illustrating the process executed by the direction determination unit 2140.
  • An arrow 90 indicates the direction in which the content image 40 is moved by the finger 80.
  • the direction determining unit 2140 determines the direction of the content image 40 so that the vertical or horizontal direction of the content image 40 matches the moving direction of the content image 40.
  • FIG. 21 is a diagram illustrating the relationship between the moving direction of the content image 40 and the direction of the content image 40 in the moving direction.
  • the content image 40-0 is an initial state of the content image 40 projected on the projection plane.
  • the direction determination unit 2140 classifies the moving direction of the content image 40 into one of a plurality of groups according to the relationship between the direction of the content image and the moving direction of the content image 40 in the initial state. In the example illustrated in FIG.
  • the direction determining unit 2140 classifies the moving direction of the content image 40 into one of four groups.
  • the moving direction of the content image 40 is represented by a counterclockwise angle formed by the horizontal direction (representing + 0 °) of the content image 40 in the initial state and the moving direction of the content image 40.
  • the first group (group (i)) is a group in which the moving direction of the content image 40 is included in a range from ⁇ 45 ° to + 45 °.
  • the second group (group (ii)) is a group in which the moving direction of the content image 40 is included in a range from + 45 ° to + 135 °.
  • the third group (group (iii)) is a group in which the moving direction of the content image 40 is included in the range from + 135 ° to + 225 °.
  • the fourth group (group (iv)) is a group in which the moving direction of the content image 40 is included in a range from + 225 ° to + 315 °.
  • the direction determining unit 2140 matches the horizontal direction of the content image 40 with the moving direction of the content image 40.
  • the direction determining unit 2140 matches the vertical direction of the content image 40 with the moving direction of the content image 40.
  • the orientation of the content image 40-0 in the initial state may be determined by any of the methods described in any of the first to third embodiments. By doing so, it is considered that the orientation of the content image 40-0 is easy to see for the user. Under this situation, it is considered that the direction of the moving content image 40 can be easily viewed by the user by determining the direction of the content image 40 based on the grouping using FIG.
  • the angle used for the grouping described with reference to FIG. 21 is not limited to the above example. Also, the number of groups need not be four.
  • the direction determination unit 2140 acquires information related to the first image in the same manner as the state determination unit 2080 of the first embodiment in order to determine the orientation of the first image.
  • the moving direction of the first image can be calculated based on a change in the projection position of the first image.
  • the moving direction of the first image calculated by the direction determining unit 2140 may be the direction in which the first image has moved, or may be the direction in which the first image will move from now on. For example, by using a combination of “the current projection position of the first image and the projection position immediately before the first image”, the direction in which the first image has moved can be calculated. Also, by using a combination of “the next projection position of the first image and the current projection position of the first image”, the direction in which the first image moves can be calculated from this.
  • the frequency with which the direction determining unit 2140 calculates the moving direction of the first image is determined by any of various methods.
  • the direction determination unit 2140 may calculate the moving direction of the first image every predetermined time (for example, 1 second). Further, the direction determining unit 2140 may intermittently calculate the moving direction of the first image.
  • the frequency with which the direction determining unit 2140 changes the orientation of the first image is determined by any of various methods.
  • the direction determination unit 2140 may change the orientation of the first image in accordance with the calculated orientation each time the orientation of the first image is calculated.
  • the direction determination unit 2140 may change the direction of the first image only when the moving direction of the first image satisfies a predetermined condition.
  • the direction determination unit 2140 stores the movement direction of the first image when the orientation of the first image was changed last time, and the current movement speed changes by a predetermined angle or more compared to the stored movement direction.
  • the orientation of the first image may be changed only if
  • the direction determining unit 2140 may calculate the time average of the moving speed of the first image, and may determine the direction of the first image to be projected based on the direction represented by the calculated average moving speed.
  • the processing of the direction determination unit 2140 in this case will be described with reference to FIG.
  • FIG. 22 is a diagram conceptually illustrating a method of determining the orientation of the content image 40 using the average moving speed.
  • Arrows 90-1 to 90-4 shown in FIG. 22 represent the speed of the first image in the periods p1, p2, p3, and p4, respectively.
  • the direction determining unit 2140 calculates the average moving speed of the four moving speeds.
  • An arrow 91 represents the calculated average moving speed.
  • the direction determining unit 2140 does not change the orientation of the first image during the period p1 to p4, and after the period p4 elapses, the orientation of the first image is adjusted according to the direction of the arrow 91 that is the average moving speed. To change. Note that the information processing system 2000C only needs to be designed so that the time interval at which the direction determining unit 2140 calculates the average speed can be arbitrarily set.
  • the method using the average moving speed is effective when the moving direction of the first image is frequently changed in a short time. For example, when the content image 40 is moved in the zigzag direction as shown in FIG. 22 in a short time, if the direction of the content image 40 is changed each time the movement direction is changed, the direction of the content image 40 becomes unstable. Therefore, the content image 40 may be difficult for the user to see. On the other hand, the orientation of the content image 40 is stabilized by changing the orientation of the content image 40 at a certain time interval using the average moving speed. Therefore, the content image 40 is easy to see for the user.
  • FIG. 24 is a block diagram illustrating a hardware configuration of the information processing system 2000C.
  • the hardware configuration of the information processing system 2000C of the fourth embodiment is the same as the hardware configuration of the information processing system 2000 of the first embodiment shown in FIG.
  • the program stored in the storage 1080 is different from that in the first embodiment.
  • the storage 1080 in the fourth embodiment includes a projection module 1260, a position change module 1320, and a direction determination module 1340.
  • FIG. 23 is a flowchart illustrating the flow of processing executed by the information processing system 2000C according to the fourth embodiment.
  • the image acquisition unit 2040 acquires the first image.
  • the projection unit 2060 projects the first image.
  • the position changing unit 2120 detects a user operation, and changes the position of the first image based on the detected user operation.
  • the direction determination unit 2140 determines the orientation of the first image based on the moving direction of the first image.
  • step S ⁇ b> 310 the projection unit 2060 changes the direction of the projected first image to the direction determined by the direction determination unit 2140.
  • the direction of the projected first image is changed based on the moving direction of the first image.
  • the direction of the projected first image is determined following the moving direction of the first image, so that the first image can be displayed in an easy-to-view direction for the user.
  • (Appendix 1) Real object detection means for detecting the real object; Projection means for projecting the first image onto the projection plane; State determining means for determining at least one of the orientation of the first image and the position in the projection plane based on at least one of the orientation and position of the detected real object, The information processing system for projecting the first image at the position or orientation determined by the state determining unit.
  • the real object detection means includes a side detection means for detecting a side included in the circumference of the real object, The information processing system according to supplementary note 1, wherein the state determination unit determines at least one of a direction of the first image and a position in a projection plane based on at least one of the detected direction and position of the side.
  • the real object is a user close to the projection plane; A side included in a circumference of the projection plane, and having a side detecting means for detecting a side close to the user;
  • the information processing system according to supplementary note 1, wherein the state determination unit determines the direction of the first image or the position in the projection plane based on at least one of the detected direction and position of the side.
  • the state determination means determines the direction in which the first image is projected based on the extending direction of a straight line connecting the position of the projected first image and the reference point on the projection plane.
  • the real object is a user's operation body
  • the information processing system according to supplementary note 1, wherein the state determination unit determines a direction of the first image to be projected based on an extending direction of the operation body.
  • Projection means for projecting the first image onto the projection plane; Position changing means for detecting a user operation and changing a position on the projection plane of the first image according to the detected user operation;
  • Direction determining means for determining the direction of the first image to be projected based on the moving direction of the first image; The information processing system in which the projection unit changes the direction of the first image to the direction determined by the direction determination unit.
  • the direction determining means calculates a time average of the moving speed of the first image, and determines the direction of the first image to be projected based on the direction represented by the calculated average moving speed.
  • Information processing system
  • Appendix 8 A control method executed by a computer that controls an information processing system, wherein an actual object detection step for detecting an actual object; A projecting step of projecting the first image onto the projection surface; A state determining step of determining at least one of the orientation of the first image and the position in the projection plane based on at least one of the orientation and position of the detected real object, The projecting step is a control method for projecting the first image at the position or orientation determined by the state determining step.
  • the real object detection step includes a side detection step of detecting a side included in the circumference of the real object, The control method according to appendix 8, wherein the state determination step determines at least one of the orientation of the first image and the position in the projection plane based on at least one of the detected orientation and position of the side.
  • the real object is a user close to the projection plane;
  • the real object detection step detects the orientation of the user,
  • a side detection step for detecting a side that is included in a circumference of the projection plane and is close to the user;
  • the control method according to appendix 8 wherein the state determination step determines the direction of the first image or the position in the projection plane based on at least one of the detected direction and position of the side.
  • the state determination step determines the direction in which the first image is projected based on the extending direction of a straight line connecting the position of the projected first image and the reference point on the projection plane.
  • the control method as described in any one.
  • the real object is a user's operation body
  • the control method according to supplementary note 8 wherein the state determination step determines a direction of the first image to be projected based on a stretching direction of the operating body.
  • a control method executed by a computer A projecting step of projecting the first image onto the projection surface; A position change step of detecting a user operation and changing a position on the projection plane of the first image according to the detected user operation; A direction determining step for determining a direction of the first image to be projected based on a moving direction of the first image;
  • the projecting step is a control method of changing the orientation of the first image to the orientation determined by the direction determining step.
  • the additional direction determining step calculates the time average of the moving speed of the first image and determines the direction of the first image to be projected based on the direction represented by the calculated average moving speed. Control method.
  • Appendix 15 A program for causing a computer to have a function of controlling an information processing system, An actual object detection function for detecting an actual object; A projection function for projecting the first image onto the projection surface; A state determination function for determining at least one of the orientation of the first image and the position in the projection plane based on at least one of the orientation and position of the detected real object,
  • the projection function is a program for projecting the first image at a position or orientation determined by the state determination function.
  • the real object detection function has a side detection function for detecting a side included in the circumference of the real object,
  • the real object is a user close to the projection plane;
  • the computer is provided with a side detection function for detecting a side that is included in the circumference of the projection surface and the user is close to,
  • the state determination function determines the direction in which the first image is projected based on the extending direction of a straight line connecting the position of the projected first image and the reference point on the projection plane.
  • the real object is a user's operation body
  • Appendix 20 A program for causing a computer to have a function of controlling an information processing system, A projection function for projecting the first image onto the projection surface; A position change function for detecting a user operation and changing a position on the projection plane of the first image according to the detected user operation; A direction determining function for determining a direction of the first image to be projected based on a moving direction of the first image; The projection function is a program for changing the orientation of the first image to the orientation determined by the direction determination function.
  • the appendix 20 calculates the time average of the moving speed of the first image and determines the direction of the first image to be projected based on the direction represented by the calculated average moving speed. Program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　ユーザにとって扱いやすい画像を投影する。　情報処理システム２０００は、実対象物検出部２０２０、投影部２０６０、及び状態決定部２０８０を有する。実対象物検出部２０２０は、実対象物を検出する。投影部２０６０は、投影面に第１画像を投影する。状態決定部２０８０は、検出した実対象物の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つを決定する。投影部２０６０は、状態決定部２０８０によって決定された位置又は向きで第１画像を投影する。

Description

情報処理システム、制御方法、及びプログラム記録媒体
　本発明は、情報処理システム、制御方法、及びプログラム記録媒体に関する。
　ディスプレイやプロジェクタなどによって映像や情報を表示する広告媒体であるデジタルサイネージが知られている。そして、デジタルサイネージの中には、ユーザ操作に応じて表示内容等が変化するインタラクティブなものがある。例えば特許文献１の案内情報提供システムは、パンフレットのマーカに対してユーザが指差しを行うと、そのマーカに応じたコンテンツを床面等に表示する。
　ディスプレイやプロジェクタなどによって画像等を表示する技術の一つが、特許文献２によって開示されている。特許文献２の家電制御システムは、操作者の位置の近傍に仮想的なスイッチとしての可視像を投影する。
特開２０１２－０１４６０６号公報 特開２００９－２２３４９０号公報
　画像を投影して情報を提示するデジタルサイネージにおいて、ユーザにとって扱いやすい状態で画像を投影することは重要である。ここで、ユーザにとって扱いやすい画像の状態は、画像を投影する投影面やその周辺の状況（例：ユーザの状況）に依存する。例えば、ユーザから遠い位置に表示される画像や、ユーザにとって見にくい角度で表示される画像は、ユーザにとって扱いにくい。特許文献１は、投影面が複数存在する場合に、ユーザの位置に応じて投影面を選択する技術を開示している。特許文献２は、操作者の位置に応じて投影位置を選択する技術を開示している。しかし、特許文献１及び特許文献２は、投影面やその周辺の状況に応じて投影する画像の状態を決定する方法は開示していない。
　本発明は、以上の課題に鑑みてなされたものである。本発明の目的の１つは、ユーザにとって扱いやすい画像を投影する技術を提供することである。
　本発明の一態様に係る第１の情報処理システムは、実対象物を検出する実対象物検出手段と、第１画像を取得する画像取得手段と、投影面に第１画像を投影する投影手段と、検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定手段と、を有する。また、前記投影手段は、前記状態決定手段によって決定された位置又は向きで前記第１画像を投影する。
　本発明の一態様に係る第２の情報処理システムは、第１画像を取得する画像取得手段と、投影面に第１画像を投影する投影手段と、ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更手段と、前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定手段と、を有する。また、前記投影手段は、前記第１画像の向きを、前記方向決定手段によって決定された向きに変更する。
　本発明の一態様に係る第１の制御方法は、情報処理システムを制御するコンピュータによって実行される。当該制御方法は、実対象物を検出する実対象物検出ステップと、第１画像を取得する画像取得ステップと、投影面に第１画像を投影する投影ステップと、検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定ステップと、を有する。また、前記投影ステップは、前記状態決定ステップによって決定された位置又は向きで前記第１画像を投影する。
　本発明の一態様に係る第２の制御方法は、情報処理システムを制御するコンピュータによって実行される。当該制御方法は、第１画像を取得する画像取得ステップと、投影面に第１画像を投影する投影ステップと、ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更ステップと、前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定ステップと、を有する。また、前記投影ステップは、前記第１画像の向きを、前記方向決定ステップによって決定された向きに変更する。
　本発明の一態様に係る記憶媒体は第１のプログラムを記憶する。第１のプログラムは、コンピュータに、情報処理システムを制御する機能を持たせる。当該プログラムは、前記コンピュータに、実対象物を検出する実対象物検出機能と、第１画像を取得する画像取得機能と、投影面に第１画像を投影する投影機能と、検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定機能と、を持たせる。また、前記投影機能は、前記状態決定機能によって決定された位置又は向きで前記第１画像を投影する。本発明は、上述の記録媒体に記憶されている第１のプログラムによっても実現できる。
　本発明の一態様に係る記憶媒体は、第２のプログラムを記憶する。第２のプログラムは、コンピュータに、情報処理システムを制御する機能を持たせる。当該プログラムは、前記コンピュータに、第１画像を取得する画像取得機能と、投影面に第１画像を投影する投影機能と、ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更機能と、前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定機能と、を持たせる。また、前記投影機能は、前記第１画像の向きを、前記方向決定機能によって決定された向きに変更する。本発明は、上述の記録媒体に記憶されている第２のプログラムによっても実現できる。
　本発明によれば、ユーザにとって扱いやすい画像を投影する技術が提供される。
図１は、本発明の第１の実施形態に係る情報処理システム２０００を示すブロック図である。 図２は、情報処理システム２０００のハードウエア構成を例示するブロック図である。 図３は、投影装置１００及び監視装置２００を組み合わせた装置を例示する図である。 図４は、本発明の第１の実施形態の情報処理システム２０００によって実行される処理の流れを例示するフローチャートである。 図５は、第１の適用例の情報処理システム２０００の使用環境を例示する図である。 図６Ａは、ユーザの正面方向にあるテーブルの様子を例示する平面図である。 図６Ｂは、ユーザの正面方向にあるテーブルの様子を例示する平面図である。 図７は、画像取得部を有する情報処理システム２０００Ａを例示するブロック図である。 図８Ａは、コンテンツ画像の向きを説明するための図である。 図８Ｂは、コンテンツ画像の向きを説明するための図である。 図９は、コンテンツ画像の向きをユーザの胴体の長径方向に基づいて決定する方法を概念的に例示する図である。 図１０は、基準点を用いて第１画像の向きを決定する方法を概念的に例示する図である。 図１１は、ユーザの指の延伸方向に合わせてコンテンツ画像を投影する様子を例示する図である。 図１２は、本発明の第２及び第３の実施形態に係る情報処理システム２０００Ｂを例示するブロック図である。 図１３は、辺検出部２１００によって検出される辺を例示する図である。 図１４は、マークを有するトレーにおける各辺を例示する図である。 図１５は、テーブル上におけるトレーの位置と各辺との関係を例示する図である。 図１６は、本発明の第２の実施形態の情報処理システム２０００Ｂによって実行される処理の流れを例示するフローチャートである。 図１７Ａは、第２の適用例におけるテーブル上の様子を例示する図である。 図１７Ｂは、第２の適用例におけるテーブル上の様子を例示する図である。 図１８は、本発明の第３の実施形態の状態決定部２０８０が行う処理を概念的に例示する図である。 図１９は、本発明の第４の実施形態に係る情報処理システム２０００Ｃを示すブロック図である。 図２０は、方向決定部が実行する処理を概念的に例示する図である。 図２１は、コンテンツ画像の移動方向とその移動方向におけるコンテンツ画像の向きとの関係を例示する図である。 図２２は、平均移動速度を用いてコンテンツ画像の向きを決定する方法を概念的に例示する図である。 図２３は、本発明の第４の実施形態の情報処理システムによって実行される処理の流れを例示するフローチャートである。 図２４は、情報処理システム２０００Ｃのハードウエア構成を例示するブロック図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　［第１の実施形態］
　図１は、本発明の第１の実施形態に係る情報処理システム２０００を示すブロック図である。図１において、実線の矢印は情報の流れを表す。さらに、図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　情報処理システム２０００は、実対象物検出部２０２０、投影部２０６０、及び状態決定部２０８０を有する。後述されるように、情報処理システム２０００は、さらに、第１画像を取得する画像取得部２０４０（図１において図示されない）を有していてもよい。実対象物検出部２０２０は、実対象物を検出する。実対象物は、実物体の全体であってもよいし、実物体の一部分であってもよい。投影部２０６０は、投影面に第１画像を投影する。投影部２０６０が投影する第１画像は、１つであってもよいし、複数であってもよい。状態決定部２０８０は、検出した実対象物の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つを決定する。そして、投影部２０６０は、状態決定部２０８０によって決定された位置又は向きで第１画像を投影する。
　＜ハードウエア構成＞
　情報処理システム２０００の各機能構成部は、各機能構成部を実現するハードウエア構成要素（例：ハードワイヤードされた電子回路など）で実現されてもよい。情報処理システム２０００の各機能構成部は、ハードウエア構成要素とソフトウエア構成要素との組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
　図２は、情報処理システム２０００のハードウエア構成を例示するブロック図である。図２において、情報処理システム２０００は、投影装置１００、監視装置２００、バス３００、及び計算機１０００によって実現されている。投影装置１００は、画像を投影する機能を有する装置であり、例えばプロジェクタなどである。監視装置２００は、周囲を監視する機能を有する装置であり、例えばカメラなどである。計算機１０００は、サーバや PC (Personal Computer）など、種々の計算機である。バス３００は、投影装置１００、監視装置２００、及び計算機１０００の間で互いにデータを送受信するためのデータ伝送路である。ただし、投影装置１００、監視装置２００、及び計算機１０００の間を接続する方法は、バス接続に限定されない。
　なお、バス３００にはさらに、外部入力機器が接続されていてもよい。外部入力機器は、例えば、無線マウス、リモコン、RF（Radio Frequency）タグを読み取るリーダ、又は NFC（Near Field Communication） の IC （Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップ等を読み取るリーダなどである。
　＜＜計算機１０００の詳細＞＞
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。図２において、入出力インタフェース１１００は、「入出力Ｉ／Ｆ１１００」（ＩｎｔｅｒＦａｃｅ）と表記される。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。入出力インタフェース１１００は、バス３００を介して投影装置１００や監視装置２００との間でデータを送受信するための入出力インタフェースである。なお、入出力インタフェース１１００は、ネットワークに接続するためのネットワークインタフェースを有してもよい。ネットワークは有線回線で実現されてもよいし、無線回線で実現されてもよいし、有線回線と無線回線の組み合わせで実現されてもよい。
　ストレージ１０８０は、情報処理システム２０００の機能を実現するためのプログラムとして、実対象物検出モジュール１２２０、投影モジュール１２６０、及び状態決定モジュール１２８０を記憶している。ストレージ１０８０は、さらに、プロセッサ１０４０が実行することによって画像取得部２０４０の機能を実現する画像取得モジュール（図示されない）を記憶していてもよい。
　実対象物検出部２０２０は、監視装置２００及び実対象物検出モジュール１２２０の組み合わせによって実現される。例えば、実対象物検出モジュール１２２０は、監視装置２００によって撮像された画像を取得して解析することで、実対象物を検出する。実対象物検出モジュール１２２０は、プロセッサ１０４０によって実行される。
　投影部２０６０は、投影装置１００及び投影モジュール１２６０の組み合わせによって実現される。例えば投影モジュール１２６０は、「投影する画像、その画像を投影する投影位置」の組み合わせを示す情報を投影装置１００へ送信する。投影装置１００は、この情報に従って画像を投影する。投影モジュール１２６０は、プロセッサ１０４０によって実行される。
　プロセッサ１０４０は、状態決定モジュール１２８０を実行することで、状態決定部２０８０の機能を実現する。
　例えばプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。
　計算機１０００のハードウエア構成は図２に示した構成に限定されない。例えば、各モジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。
　＜＜投影装置１００及び監視装置２００の詳細＞＞
　図３は、投影装置１００及び監視装置２００を組み合わせた装置４００を例示する図である。図３の装置４００は、投影装置１００、監視装置２００、及び投影方向調整部４１０を有する。なお、投影方向調整部４１０は、投影方向調整部４１０－１、２、及び３の組み合わせによって実装されている。ここで、投影装置１００の投影方向と監視装置２００は一致していてもよいし、異なっていてもよい。同様に、投影装置１００の投影範囲と監視装置２００の監視範囲は一致していてもよいし、異なっていてもよい。
　投影装置１００は、例えば、可視光プロジェクション装置や赤外光プロジェクション装置である。投影装置１００は、予め決まったパターンや文字、または自由なパターンや文字を表す光を投射部から照射することで、投影面上にさまざまな画像を投影する。
　監視装置２００は、例えば、可視光カメラ、赤外線カメラ、距離センサ、距離認識処理装置、及びパターン認識処理装置の中の１つ、又は複数個の組み合わせによって実装される。監視装置２００は、例えば、空間情報を単純に２次元画像で撮影するカメラと、これらの画像より対象物の情報を選択的に抽出する画像処理装置との組み合わせであってもよい。また、監視装置２００は、赤外線パターン投射装置と赤外線カメラとの組み合わせによって実装されていてもよい。監視装置２００は、赤外線パターン投射装置と赤外線カメラとを用いて、パターンの乱れや３角測量の原理に基づいて空間の情報を取得してもよい。また、監視装置２００は、複数の異なる方向から同時に撮影することにより、平面情報と共にその奥行き方向の情報を取得してもよい。監視装置２００は、さらに非常に短い光パルスを対象物に照射し、その光が対象物で反射され戻るまでの時間を計測することによって、対象物の空間情報を取得してもよい。
　投影方向調整部４１０は、投影装置１００による画像投影位置を調整できるように設計されている。例えば、投影方向調整部４１０は、装置４００が含む装置の全体または一部を回転させるまたは移動させる機構を持つ。そして、投影方向調整部４１０は、当該機構を用いて投影装置１００から投影される光の向きや位置を変えることによって、画像を投影する位置を調整する（すなわち移動させる）。
　ただし、投影方向調整部４１０は、図３に示される構成に限定されない。例えば投影方向調整部４１０は、投影装置１００から出た光を可動型ミラーによって反射させたり、特殊な光学系によって光の向きを変えたりするように設計されてもよい。ここで、上記可動型ミラーは、装置４００に組み込まれる形で設けられていてもよいし、装置４００とは独立して設置されていてもよい。また、投影方向調整部４１０は、投影装置１００そのものを移動できるように設計されていてもよい。
　投影装置１００は、例えば、内部レンズを稼動させることによる、投影面に応じて投影画像のサイズを変える機能、及び投影面との距離に応じて焦点位置を調整する機能を持っていても良い。投影面の投影位置中心と投影装置１００の中心を結ぶ直線（すなわち光軸）と、投影面の垂直方向に伸ばした直線の向きが異なる場合、投影範囲内において投影距離が異なる。投影装置１００は、投影範囲内における投影距離の変化に対処できるよう特別に設計された、深い焦点作動距離を持つ光学系を有するように設計されても良い。
　投影方向調整部４１０は、投影装置１００の本来の投射範囲が広い場合、投影装置１００から出る光の一部をマスクすることによって、所望の位置に画像を表示してもよい。また、投影装置１００の本来の投射角度が大きい場合、必要な箇所にのみ光が投射されるように画像信号を加工し、投影装置１００にその加工された画像信号が表す画像データを引き渡してもよい。
　投影方向調整部４１０は、投影装置１００に加えて、監視装置２００も回転または移動してもよい。例えば図３に例示する構造では、投影方向調整部４１０が投影装置１００の投影方向を変更すると、それに伴い監視装置２００の監視方向も変わる（監視範囲が変わる）。この場合、投影方向調整部４１０には、監視装置２００の監視範囲が所定領域からずれる事を防ぐため、高精度の回転情報取得装置（図示されない）または位置情報取得装置（図示されない）などが含まれる。ただし、投影装置１００の投影範囲と監視装置２００の監視範囲は、別々に変更可能であってもよい。
　なお、第１画像の向きの変更は、計算機１０００が第１画像に対して画像処理を施すことによって実現されてもよい。この場合、投影装置１００は、投影方向調整部４１０によって第１画像を回転させる必要はない。投影装置１００は、計算機１０００から受信した第１画像をそのまま投影すればよい。
　装置４００は、例えば天井や壁面などに固定された状態で設置される。ここで、設置された装置４００は天井や壁面から全て露出していてもよいし、一部または全体が天井や壁面の内部に埋没していてもよい。なお、投影装置１００が可動型ミラーを用いて投影方向を調整する場合、この可動型ミラーは、装置４００とは別に天井や壁面に設置されてもよい。
　なお、上述の例では投影装置１００と監視装置２００とが同じ装置４００に組み込まれているが、投影装置１００と監視装置２００とは独立に設置されていてもよい。
　また、実対象物の検出に用いられる監視装置２００とユーザ操作の検出に用いられる監視装置２００は、同じ監視装置２００であってもよいし、それぞれ別々に設けられた監視装置２００であってもよい。
　＜処理の流れ＞
　図４は、第１の実施形態の情報処理システム２０００によって実行される処理の流れを例示するフローチャートである。ステップＳ１０２において、実対象物検出部２０２０は、実対象物を検出する。ステップＳ１０４において、情報処理システム２０００は、第１画像を取得する。ステップＳ１０６において、状態決定部２０８０は、検出された実対象物の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つを決定する。ステップＳ１０８において、投影部２０６０は、状態決定部２０８０によって決定された位置又は向きで第１画像を投影する。
　＜作用・効果＞
　本実施形態によれば、検出した実対象物の向き及び位置の少なくとも一つに基づいて、投影面に投影する画像の向き及び投影面内における位置の少なくとも一つが決定される。そのため、投影面、投影面上の物、又は投影面の周辺の物を実対象物として検出するように情報処理システム２０００を構成することにより、これらの物の向き又は位置に基づいて、投影される画像の向き又は投影面内における位置が決定される。例えば後述するように、ユーザの顔の向き等に応じた向きで画像を投影することが可能となる。その結果、ユーザにとって扱いやすい状態で第１画像を投影することができる。そのため、情報処理システム２０００をユーザにとって使いやすいシステムにすることができる。
　＜第１の適用例＞
　本実施形態の情報処理システム２０００をより理解しやすくするため、本実施形態の情報処理システム２０００の適用例を示す。なお、以下に示す情報処理システム２０００の使用環境や使用方法はあくまで例示であり、情報処理システム２０００の使用環境や使用方法を限定するものではない。なお、本適用例の情報処理システム２０００のハードウエア構成は、図２において表される構成であるとする。
　図５は、本適用例の情報処理システム２０００の使用環境を例示する図である。本適用例の情報処理システム２０００は、喫茶店やレストラン等において利用されるシステムである。情報処理システム２０００は、天井に設置された装置４００からテーブル１０上に画像を投影することによってデジタルサイネージを実現する。ユーザは、テーブル１０上に投影されたコンテンツを閲覧したりしながら、食事をしたり、食事が届くのを待つことができる。図５から分かるように、本適用例ではテーブル１０が投影面となっている。なお、装置４００は天井以外の場所（例：壁面）に設置されていてもよい。
　図６Ａ及び図６Ｂは、ユーザの正面方向にあるテーブル１０の様子を例示する平面図である。図６Ａ及び図６Ｂにおいて、コンテンツ画像４０は、電子ブックの表紙を示している。ただし、コンテンツ画像４０が表すコンテンツは、電子ブックのようなデジタルコンテンツだけでなく、実物体（アナログコンテンツ）でもよい。またコンテンツはサービスであってもよい。トレー２０及びマーク３０については、後で説明する。
　本適用例における実対象物はユーザである。例えば情報処理システム２０００は、ユーザの向きに応じ、ユーザの見やすい向きでコンテンツ画像４０を投影する。図６Ａは、コンテンツ画像４０が好ましくない向きで投影されている様子を例示する図である。ユーザから見るとコンテンツ画像４０が右に傾いている状態であり、コンテンツ画像４０の向きはユーザにとって見にくい向きであると言える。
　一方、図６Ｂは、情報処理システム２０００が、ユーザの向きに応じた適切な向きでコンテンツ画像４０を投影している様子を例示する図である。コンテンツ画像４０が正面方向を向いているため、コンテンツ画像４０の向きがユーザにとって見やすい向きになっている。
　図６Ｂの様にユーザの向きに応じてコンテンツ画像４０を投影する具体的な方法や、情報処理システム２０００がコンテンツ画像４０の位置や向きを決定するその他の方法などについては、以降で詳しく述べる。
　以下、本実施形態の情報処理システム２０００について、さらに詳細に説明する。
　＜第１画像の取得方法＞
　情報処理システム２０００は、例えば図７に示す情報処理システム２０００Ａのように、第１画像を取得する画像取得部２０４０をさらに有していてもよい。図７は、画像取得部２０４０を有する情報処理システム２０００Ａを例示するブロック図である。画像取得部２０４０が第１画像を取得する方法は様々である。画像取得部２０４０は、例えば、外部の装置から入力される第１画像を取得してもよい。画像取得部２０４０は、例えば、手動で入力される第１画像を取得してもよい。さらに画像取得部２０４０は、外部の装置にアクセスすることによって、第１画像を取得してもよい。
　１つのコンテンツに対して、複数の第１画像があってもよい。前述したようにコンテンツが電子ブックである場合、１つの電子ブックに対する第１画像は、例えば、表紙の画像や、各ページを表す画像である。また、コンテンツが実物体である場合、第１画像は、例えば、その実物体を様々な角度から撮影した画像である。なお、前述した通り、第１画像が表すコンテンツは商品に限定されず、サービスであってもよい。
＜投影部２０６０の詳細＞
　投影部２０６０は、前述のように、例えばプロジェクタ等の画像を投影する投影装置１００を有する。投影部２０６０は、画像取得部２０４０によって取得された第１画像を取得し、取得した第１画像を投影面へ投影する。
　投影部２０６０が画像を投影する投影面は様々である。投影面は、例えば前述の適用例におけるテーブル１０である。投影面は、例えば壁や床などである。また、投影面は人の身体の少なくとも一部（例：手のひら）であってもよい。また投影面は実対象物の一部または全体であってもよい。
　＜実対象物検出部２０２０の詳細＞
　実対象物検出部２０２０は、上述した監視装置２００を有する。ここで、実対象物検出部２０２０には、「何を実対象物として検出するか」を設定できるように設計されているとする。そして、実対象物検出部２０２０は、監視装置２００の監視範囲の中に、設定された条件を満たす物が含まれているか否かを判定する。そして、設定された条件を満たす物が含まれている場合、その物を実対象物とする。実対象物は、投影面、投影面上にある物、又は投影面の周辺にある物などである。投影面は、例えば図５におけるテーブル１０である。また投影面上にある物とは、例えば図６Ａ及び図６Ｂにおけるトレー２０などである。また投影面の周辺にある物とは、例えば図５におけるユーザである。
　例えば監視装置２００が撮像装置である場合、実対象物検出部２０２０は、監視装置２００によって生成された撮像画像に対してオブジェクト認識を行うことによって、実対象物を検出する。ここで、オブジェクト認識は既知の技術であるため、詳細な説明は省略する。
　また例えば、監視装置２００が可視光以外の波長域（例えば赤外光や紫外光など）においても撮影できる撮像装置である場合、実対象物には撮影装置が撮影できる不可視の印刷がされていてもよい。ここで、監視装置２００によって生成された不可視の撮像画像に対する処理は同様のため、説明は省略する。
　また例えば、実対象物検出部２０２０は距離センサを用いて実現される。この場合、監視装置２００は、例えばレーザ式距離センサを用いて実現される。実対象物検出部２０２０は、このレーザ距離センサを用いて第１画像の投影面やその周辺の高さ変化を測定することによって、実対象物の形状と、時間に対する形状変化（すなわち変形）を検出する。形状と変形を読み取る技術は既知の技術であるため、詳細な説明は省略する。
　＜第１画像の向きの決定方法＞
　第１画像の向きは、例えば第１画像の垂直方向又は水平方向を指標として表される。図８Ａ及び図８Ｂは、コンテンツ画像４０の向きを説明するための図である。図８Ａが示すコンテンツ画像４０の向きを、基準状態における向きとする。これに対し、図８Ｂは、コンテンツ画像４０の向きが、基準状態から変更されている。図８Ｂにおけるコンテンツ画像４０の向きは、「水平方向の向きが基準状態から＋３０°変更された」とも表現できるし、「垂直方向の向きが基準状態から＋３０°変更された」とも表現できる。なお、第１画像の向きは、垂直方向や水平方向以外を用いて定められてもよい。
　＜＜ユーザの顔の向き＞＞
　例えば状態決定部２０８０は、ユーザの顔の向きを割り出し、割り出したユーザの顔の向きに合わせて第１画像の向きを決定する。この場合、実対象物検出部２０２０がユーザの顔を検出する。状態決定部２０８０は検出された顔から、顔の向きを決定する。そして状態決定部２０８０は、第１画像の垂直方向の向きを、ユーザの顔が向いている向きと同じ向きにする。
　＜＜ユーザの視線方向＞＞
　また例えば、状態決定部２０８０は、ユーザの視線方向を割り出し、割り出したユーザの視線方向に合わせて第１画像の向きを決定してもよい。例えばユーザの白目と黒目の位置関係などをもとに、ユーザの視線方向を割り出すことができる。この場合、実対象物検出部２０２０は、ユーザの白目及び黒目の位置を検出する。状態決定部２０８０は、第１画像の垂直方向の向きを、例えばユーザの視線方向と同じ向きにする。
　＜＜ユーザの胴体の向き＞＞
　また状態決定部２０８０は、例えば、ユーザの胴体の向きを割り出し、割り出したユーザの胴体の向きに合わせて第１画像の向きを決定してもよい。この場合、実対象物検出部２０２０がユーザの胴体を検出する。状態決定部２０８０は、検出された胴体から、胴体の向きを割り出す。そして、状態決定部２０８０は、第１画像の水平方向の向きを、ユーザの胴体の向きに基づいて決定する。ここで一般に、胴体を楕円形と見立てた場合、第１画像の水平方向の向きを胴体の長径方向にすることによって、正面を向いているユーザにとって第１画像が見やすくなる。そこで状態決定部２０８０は、例えば、ユーザの胴体の長径方向を割り出し、第１画像の水平方向の向きを、割り出した長径方向と同じ向きにする。
　ここで、ユーザの胴体の長径方向として２通りの向きが考えられる。この２通りの向きのどちらが適切な向きであるのかを、例えばユーザとテーブル１０（投影面）との位置関係によって決定できる。図９を用いて具体的に説明する。図９は、コンテンツ画像４０の向きをユーザ５０の胴体の長径方向に基づいて決定する方法を概念的に例示する図である。図９において、ユーザ５０の胴体の長径方向のみに基づいてコンテンツ画像４０の向きを考えると、コンテンツ画像４０の水平方向の向きとして (i) と (ii) の２通りの向きが考えられる。しかしこの場合、状態決定部２０８０は、人と投影面との位置関係から、(i) が適切であることを割り出し、テーブル１０上にコンテンツ画像４０－１に示す向きでコンテンツ画像を投影する。
　なお、状態決定部２０８０は、「第１画像の垂直方向の向きをユーザの胴体の短径方向に合わせる」という方法を用いてもよい。この場合も同様にユーザの胴体の短径方向は２通り考えられるものの、状態決定部２０８０は、ユーザと投影面との位置関係により、適切な短径方向を決定できる。
　例えばユーザの胴体の長径方向、及びユーザと投影面の位置関係の算出は、ユーザの視線や顔の向きの算出が難しい状況において有効である。例えば、実対象物検出部２０２０を低解像度のカメラで実現する場合などが考えられる。
　＜＜ユーザの腕の向き＞＞
　また例えば、状態決定部２０８０は、ユーザの腕の向きを割り出し、割り出したユーザの腕の向きに合わせて第１画像の向きを決定してもよい。この場合、実対象物検出部２０２０がユーザの腕を検出し、状態決定部２０８０は、検出された腕をもとに、腕の向きを割り出す。そして、状態決定部２０８０は、第１画像の水平方向の向きを、ユーザの腕の向きに基づいて決定する。
　ここで、ユーザの２本の腕の向きが異なる場合が考えられる。この２本の腕のどちらが適切であるのかを、例えばユーザとテーブル１０（投影面）との位置関係などによって決定できる。第１の選択基準では、２本の腕のうち、テーブル１０での動きが大きい腕が基準として選択される。ユーザはどちらか片方（多くの場合は利き手）を操作に利用するからである。両方の腕がほぼ同様に動く場合は、第２の選択基準として、テーブル１０に載っている物体（例えばトレー２０など）が少ない側の腕を基準として選択する。投影面とする箇所には余計な物が有ると見にくいためである。さらに第２の選択基準でも判定が難しい場合、第３の判定基準として右腕側を基準として選択する。統計的に右腕側が利き手である場合が多いからである。
　ユーザの腕の向きを基準として使用して第１画像の向きを決定する場合は、ユーザの腕の動きが最小になり、操作が簡単になるように第１画像の向きを決定することができる。そのため、そのように第１画像の向きを決定する方法は、アンケートフォームやゲームなど入力が多いコンテンツに有効である。また、ユーザの腕の向きを基準として使用して第１画像の向きを決定する場合、どのタイミングで第１画像の向きを決定するかが重要である。入力の際はユーザの腕の位置と向きとが頻繁に変わる。そのため、状態決定部２０８０は、コンテンツに応じて、一定時間内の腕の平均の向きに基づいて第１画像の向きを決定しても良いし、ある瞬間の腕の向きを基準として使用して第１画像の向きを決定しても良い。
　＜＜基準点の利用＞＞
　第１画像の向きを決定するその他の方法として、第１画像が基準点を向くようにする方法がある。図１０は、基準点７０を用いて第１画像の向きを決定する方法を概念的に例示する図である。点線は、コンテンツ画像４０の中心と基準点７０とを結ぶ直線を示している。図１０に示す例の場合、状態決定部２０８０は、コンテンツ画像４０と基準点７０とを結ぶ直線の延伸方向に合わせるように、コンテンツ画像４０の垂直方向の向きを決定する。その結果、図１０において、各コンテンツ画像４０は、垂直方向の向きが基準点７０を向くように投影されている。
　例えば基準点は、投影面上に予め付されているマークである。ただし、状態決定部２０８０は、投影面上に予め付されている物以外の物を基準点として用いてもよい。例えば状態決定部２０８０は、図６Ａ及び図６Ｂにおけるトレー２０やマーク３０などを基準点としてもよい。
また、基準点は、投影面の周辺にある物であってもよい。さらに、状態決定部２０８０は、定められた規則に従って基準点を算出し、算出した基準点を用いてもよい。例えば状態決定部２０８０は、投影面の中心点を算出し、その中心点を基準点として扱ってもよい。また、状態決定部２０８０は、投影面やその周辺における予め定められた座標を基準点として扱ってもよい。
　ここで、「何を基準点とするか」を示す情報を示す情報は、情報処理システム２０００が有する格納部（図示されない）に格納しておく。例えば状態決定部２０８０がオブジェクト認識を用いて基準点を特定する場合、この格納部には、基準点とする物の特徴量等を格納しておく。また、予め定めた座標を基準点とする場合、この座標を格納部に格納しておく。
　＜＜操作体の向き＞＞
　さらに、第１画像の向きを決定するその他の方法として、ユーザの操作体の向きに合わせる方法がある。ここで、ユーザの操作体とは、ユーザの腕、手、若しくは指、又はユーザが操作に用いるタッチペンなどである。例えばこの場合、実対象物検出部２０２０はユーザの操作体を検出する。状態決定部２０８０は、検出された操作体の延伸方向を割り出し、その延伸方向に基づいて第１画像の向きを決定する。
　図１１は、ユーザの指８０の延伸方向に合わせてコンテンツ画像４０を投影する様子を例示する図である。点線は、指８０の延伸方向を示している。図１１の場合、実対象物検出部２０２０は、指８０、又は指８０を含むユーザの手などを実対象物として検出する。状態決定部２０８０は、実対象物に含まれる指８０から、指８０の延伸方向（すなわち図１１における点線方向）を割り出す。そして、状態決定部２０８０は、コンテンツ画像４０の垂直方向の向きを、指８０の延伸方向の向きとする。
　第１画像の向きを決定する方法のその他の例については、後述の実施形態でさらに述べる。
　＜第１画像の位置の決定＞
　状態決定部２０８０は、例えば、投影面内であり、かつ実対象物の付近の位置を、第１画像の投影位置とする。状態決定部２０８０は、例えば、図６Ａ及び図６Ｂにおけるトレー２０やマーク３０、図９におけるユーザ５０、又は図１１におけるユーザの指８０や手などの付近を、第１画像の投影位置とする。
　ここで、「実対象物の付近」の定義は様々である。例えば「実対象物の付近」は、実対象物から所定距離離れた位置である。なお、この所定距離は０であってもよく、その場合、実対象物に接する位置や実対象物と重なる位置に第１画像が投影される。また「実対象物の付近」は、実対象物の大きさに基づいて決定されてもよい。例えば、状態決定部２０８０は、実対象物の大きさが n である場合に、この実対象物から n/x 離れた位置に第１画像を投影する（n、x は正の実数）。この場合、x の値は、情報処理システム２０００が有する格納部に予め格納しておく。
　また、実対象物が投影面上にある場合、状態決定部２０８０は、実対象物上の位置を第１画像の投影位置としてもよい。例えば図６Ａ及び図６Ｂにおけるトレー２０やマーク３０、図１１におけるユーザの指８０や手の上に、第１画像を投影することが考えられる。
　第１画像の位置を決定する方法のその他の例については、後述の実施形態でさらに述べる。
　なお、状態決定部２０８０は、第１画像の位置の決定と向きの決定に、異なる実対象物を用いてもよい。状態決定部２０８０は、例えば、第１画像の位置を投影面上の物（例：図６におけるトレー２０）の付近とし、第１画像の向きをユーザの顔の向きに合わせてもよい。
　状態決定部２０８０は、第１画像の向き又は投影面内の位置を決定するために、投影されている第１画像に関連する情報を取得する。状態決定部２０８０は、例えば、第１画像そのものや第１画像の各種属性などを取得する。
　状態決定部２０８０は、投影する第１画像に関連する情報を、例えば、画像取得部２０４０又は投影部２０６０から取得する。また、状態決定部２０８０は、投影する第１画像を特定する情報（例：第１画像のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））を画像取得部２０４０又は投影部２０６０から取得し、特定された第１画像に関連するその他の情報を情報処理システム２０００の外部から取得してもよい。
　[第２の実施形態]
　図１２は、第２の実施形態に係る情報処理システム２０００Ｂを例示するブロック図である。図１２において、矢印は情報の流れを表している。さらに、図１２において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　第２の実施形態において、実対象物は、投影面上の物体である。そして、第２の実施形態の情報処理システム２０００Ｂは、実対象物の周に含まれる辺（例：テーブルの縁）の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内の位置の少なくとも一方を決定する。そのために、第２の実施形態の情報処理システム２０００Ｂは、辺検出部２１００を有する。
　辺検出部２１００は、実対象物の周に含まれる辺を検出する。そして、第２の実施形態の状態決定部２０８０は、検出された辺の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内における位置の少なくとも一方を決定する。
　図１３を用いて具体的に説明する。図１３は、辺検出部２１００によって検出される辺を例示する図である。図１３において、実対象物はトレー２０である。この場合、辺検出部２１００は、トレー２０の周に含まれる辺である辺６０を検出する。そして、状態決定部２０８０は、辺６０の延伸方向に合わせてコンテンツ画像４０の向きを決定する。また、状態決定部２０８０は、辺６０の付近をコンテンツ画像４０の投影位置とする。ここで、「辺６０の付近」は、第１の実施形態で説明した「実対象物の付近」と同様に定められる。
　ここで一般に、実対象物は複数の辺を有する。この場合、状態決定部２０８０は、何らかの基準に従って、第１画像の向きや位置を決定するために用いる辺を特定する。例えば１つの方法として、実対象物に予め基準となるマーク等を付しておく方法がある。この場合、状態決定部２０８０は、実対象物に含まれる辺の内、マーク付近の辺を用いる。図１４は、マーク３０を有するトレー２０における各辺を例示する図である。図１４において、トレー２０は４つの辺６０－１から６０－４を有する。状態決定部２０８０は、この４つの辺の内、マーク３０付近の辺である辺６０－２を用いる。
　また、実対象物にマーク等を付さず、どの辺を用いるかを予め情報処理システム２０００Ｂにおいて定められていてもよい。例えば実対象物としてトレー２０を用いることが決まっている場合に、例えば情報処理システム２０００Ｂの管理者などが「トレー２０の右辺を用いる」などの辺を選択する条件を予め定めておく。なお、トレー２０のどの辺が右辺になるかは、トレー２０が置かれている投影面上の位置によって割り出すことができる。図１５は、テーブル１０上におけるトレー２０の位置と各辺との関係を例示する図である。図１５において、トレー２０－１から２０－４のそれぞれについて、トレーの位置によってそのトレーの各辺が上下左右のどの辺なのかが定まっている。また、「トレー２０の辺の内、テーブル１０の中心に最も近い辺を上辺とする」という方法でも、トレー２０の各辺がどの辺なのかを割り出せる。
　なお、本実施形態における「辺」は、実対象物の周の一部（言い換えると縁の一部）を意味しており、必ずしも実対象物が持つ頂点を端とする線分に限定されない。例えば実対象物が球体や円盤状の物である場合には、周の一部である円弧が辺となる。このように辺が曲線である場合、例えば状態決定部２０８０は、辺の接線方向を、辺の向きとして扱う。
　実対象物が、球体や円盤状の物などのように、頂点や頂点と見なせるような角を持たない場合、例えば辺検出部２１００は、実対象物の周を、定められた方法によって辺に分割することによって、辺を検出する。ここで、周を辺に分割する方法は様々である。辺検出部２１００は、例えば予め定められた大きさで、周を辺に分割する。その場合、周を辺に分割する方法は、例えば、「周を 20cm （ｃｅｎｔｉｍｅｔｅｒ）ごとの辺に分割する」といった方法である。その場合、辺検出部２１００は、あらかじめ定められた大きさに満たない周の一部が残った場合、その周の一部も辺にしてもよい。また、辺検出部２１００は、例えば周を予め決められた数の辺に分割してもよい。その場合、周を辺に分割する方法は、例えば、「周を５等分に分割する」といった方法である。
　なお、このように周を辺に分割する方法を用いて、図１４のように頂点や頂点と見なせる角を持つ周の各辺を、さらに細かく辺に分けてもよい。例えば図１４において、４つの辺をそれぞれ４等分し、１６個の辺に分割することなどが考えられる。
　＜処理の流れ＞
　図１６は、第２の実施形態の情報処理システム２０００Ｂによって実行される処理の流れを例示するフローチャートである。図１６のステップＳ１０２、Ｓ１０４、Ｓ１０８はそれぞれ、図４における同符号のステップと同様の処理である。そのため、これらの処理については説明を省略する。
　ステップＳ２０２において、辺検出部２１００は、実対象物の周に含まれる辺を検出する。ステップＳ２０４において、状態決定部２０８０は、検出された辺の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内の位置の少なくとも一つを決定する。
　＜作用・効果＞
　本実施形態によれば、投影面上の実対象物の周に含まれる辺の向き及び位置の少なくとも一つに基づいて、第１画像の向き及び投影面内における位置の少なくとも一つが決定される。ここで、投影面上にある実対象物は、ユーザによって扱いやすい状態で置かれている可能性が高い。例えばユーザがテーブルなどの上に置くトレー、携帯端末、又は筆記具などは、ユーザにとって扱いやすい向きや位置で置かれている可能性が高い。また、ユーザのために予めテーブルなどの上に実対象物（例：レストランにおけるメニューなど）を置いておく場合にも、その実対象物はユーザにとって扱いやすい向きや位置で置かれることが一般的である。そのため、投影面上に置かれている実対象物の周に含まれる辺は、ユーザにとって見やすい向きや位置を表すと見なすことができる。したがって、本実施形態によれば、ユーザにとって見やすい向きや位置に第１画像が投影される確率が高くなる。また、辺の向きを算出する処理は、ユーザの顔の向きや視線方向などを検出する処理と比較して、単純であるため、第１画像の向きや位置の決定に要する計算時間や計算機資源を削減できる。その結果、情報処理システム２０００Ｂによる第１画像の投影処理を高速にできる。
　＜第２の適用例＞
　本実施形態の情報処理システム２０００Ｂについてより理解をしやすくするため、第１の適用例と同様の環境を想定した第２の適用例について説明する。図１７Ａ及び図１７Ｂは、第２の適用例におけるテーブル上の様子を例示する図である。本適用例において、トレー２０上に付されているマーク３０は、買い物かごを表すマークである。そして、情報処理システム２０００Ｂは、コンテンツ画像４０をマーク３０へドラッグすることにより、そのコンテンツ画像４０によって表されるコンテンツをユーザの買い物かごに入れることができる機能を提供する。
　ユーザは、買い物かごに入れたコンテンツの決済を、店のレジで行うか、又はオンラインで行うかを選択できる。情報処理システム２０００Ｂは、この選択を行う方法として、「レジでの支払い」を選択するためのコンテンツ画像４１（Pay HERE）と、「オンライン決済」を選択するための画像であるコンテンツ画像４２（Pay ONLINE）を表示する。コンテンツ画像４１とコンテンツ画像４２における「コンテンツ」は、情報処理システム２０００Ｂによって提供される決済サービスを意味する。
　図１７Ａ及び図１７Ｂに示すように、この２つの画像は吹き出しの形をしている。状態決定部２０８０は、コンテンツ画像４１とコンテンツ画像４２のそれぞれについて、吹き出しがマーク３０から出ているように見えるように、コンテンツ画像４１とコンテンツ画像４２の表示位置を決定する。そのために、状態決定部２０８０は、コンテンツ画像４１とコンテンツ画像４２の投影位置を決定するのに使用する実対象物として、マーク３０を用いる。
　さらに状態決定部２０８０は、トレー２０の辺に沿うように、コンテンツ画像４１とコンテンツ画像４２を表示する。そのために、辺検出部２１００は、トレー２０の辺であり、かつマーク３０の付近の辺である辺６０を検出する。状態決定部２０８０は、辺６０の延伸方向に合わせてコンテンツ画像４１とコンテンツ画像４２の垂直方向の向きを決定する。
　なお、辺検出部２１００は、「コンテンツ画像４１とコンテンツ画像４２の水平方向の向きを、辺６０に対して垂直な方向に合わせる」という方法で、コンテンツ画像４１とコンテンツ画像４２の向きを決定してもよい。
　情報処理システム２０００Ｂは、例えばトレー２０の向きが変更された場合、その変更に追従してコンテンツ画像４１やコンテンツ画像４２の位置や向きを変更してもよい。当初図１７Ａに示すように置かれていたトレー２０の向き及び位置が、図１７Ｂに示す向き及び位置に変更されたとする。この場合、情報処理システム２０００Ｂは、図１７Ｂに示すように、変更後のトレー２０の位置及び向きに合わせて、コンテンツ画像４１とコンテンツ画像４２の位置及び向きも変更する。
　[第３の実施形態]
　第３の実施形態に係る情報処理システム２０００Ｂの構成は、第２の実施形態と同様に図１２で表される。
　第３の実施形態において、実対象物検出部２０２０が検出する実対象物は、投影面に近接しているユーザである。第３の実施形態の辺検出部２１００は、投影面の周に含まれかつユーザに近接している辺を検出する。そして、第３の実施形態の状態決定部２０８０は、その辺の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内における位置の少なくとも一方を決定する。
　第３の実施形態の実対象物検出部２０２０は、投影面に近接しているユーザを検出する。そして、第３の実施形態の辺検出部２１００は、投影面の周に含まれる辺であり、かつ実対象物検出部２０２０によって検出されたユーザに近接している辺を検出する。
　なお、投影面の周囲に複数のユーザが存在し、全てのユーザが第１画像を共有する場合もある。この場合、例えば辺検出部２１００は、複数のユーザの位置の重心位置に近接している辺を検出する。また、辺検出部２１００は、例えば複数のユーザの中から基準とするユーザを決定し、そのユーザに近接している辺を検出する。実対象物検出部２０２０が、例えば、ユーザだけでなく椅子等の周囲の物体も検出してもよい。この場合、辺検出部２１００は、椅子に座っているユーザを検出し、椅子に座っているユーザを基準のユーザとみなしてもよい。また、投影面上に物が置かれている場合（例：テーブル１０上におけるトレー２０）、辺検出部２１００は、投影面上に置かれている物に最も近いユーザを基準のユーザとしてもよい。
　＜第１画像の向きの決定＞
　辺検出部２１００によって検出された辺が直線である場合、状態決定部２０８０は、第１画像の水平方向の向きが検出された辺の延伸方向に合うように、第１画像の向きを決定する。また、辺検出部２１００によって検出された辺が曲線である場合、状態決定部２０８０は、例えば、検出された辺の接線を割り出し、第１画像の水平方向の向きがその割り出された接線の方向に合うように、第１画像の向きを決定する。
　＜第１画像の位置の決定＞
　状態決定部２０８０は、辺検出部２１００によって検出された辺の付近を、第１画像を投影する位置とする。「辺の付近」は、第１の実施形態で説明した「実対象物の付近」と同様の方法で定められる。
　図１８は、第３の実施形態の状態決定部２０８０が行う処理を概念的に例示する図である。辺検出部２１００は、投影面であるテーブル１０の周に含まれる辺のうち、ユーザ５０－１に近接している辺を検出し、検出した辺の接線６１－１を算出する。そして、状態決定部２０８０は、ユーザ５０に見せるコンテンツ画像４０－１の向き及び位置を、接線６１－１に基づいて決定する。具体的には、状態決定部２０８０は、ユーザ５０－１の付近をコンテンツ画像４０－１の投影位置とする。また、状態決定部２０８０は、コンテンツ画像４０－１の水平方向の向きが接線６１－１の延伸方向に合うように、コンテンツ画像４０－１の向きを決定する。その結果、コンテンツ画像４０－１の向き及び位置は、図１８に示す向き及び位置となる。情報処理システム２０００Ｂは、ユーザ５０－２に見せるコンテンツ画像４０－２についても同様の処理を行って投影する。
　＜作用・効果＞
　本実施形態によれば、投影面の周に含まれかつユーザに近接している辺の向き及び位置の少なくとも一方に基づいて、第１画像の向き及び投影面内の位置の少なくとも一方が決定される。情報処理システム２０００Ｂによって投影される画像は、投影面に近接しているユーザによって閲覧される確率が高い。また一般に、ユーザは、テーブルの縁など、投影面の周に含まれる辺に応じた向きで投影面を見る確率が高い。そのため、本実施形態によれば、ユーザにとって見やすい状態で画像を投影することができる。また、辺の向きを算出する処理は、ユーザの顔の向きや視線方向などを検出する処理と比較して、単純であるため、第１画像の向きや位置の決定に要する計算時間や計算機資源を削減できる。その結果、情報処理システム２０００Ｂによる第１画像の投影処理を高速にできる。
[第４の実施形態]
　図１９は、第４の実施形態に係る情報処理システム２０００Ｃを示すブロック図である。図１９において、実線の矢印は情報の流れを表している。さらに、図１９において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　第４の実施形態の情報処理システム２０００Ｃは、投影部２０６０、位置変更部２１２０、及び方向決定部２１４０を有する。
　位置変更部２１２０は、ユーザ操作を検出し、検出したユーザ操作に応じて第１画像の投影面上の位置を変更する。方向決定部２１４０は、第１画像の移動方向に基づいて、投影する第１画像の向きを決定する。投影部２０６０は、方向決定部２１４０によって決定された向きに従って第１画像の向きを変更する。また、投影部２０６０は、位置変更部２１２０によって変更された位置に第１画像を投影する。
　第４の実施形態の情報処理システム２０００Ｃは、例えば第１の実施形態の情報処理システム２０００と同様に、第１画像を取得する画像取得部２０４０を有する。第４の実施形態の画像取得部２０４０が有する機能は、第１の実施形態の画像取得部２０４０が有する機能と同様である。
　＜位置変更部２１２０の詳細＞
　位置変更部２１２０が検出するユーザ操作は様々である。位置変更部２１２０が検出するユーザ操作は、例えば、ユーザが操作体によって第１画像をドラッグする操作である。また、位置変更部２１２０が検出するユーザ操作は、投影面のうち、第１画像が投影されていない場所を、操作体によって示す操作でもよい。操作体によって示す操作は、操作体によって押す又は叩く操作であってもよい。例えばこの場合、位置変更部２１２０は、操作体によって示された場所へ第１画像が移動していくように、第１画像の位置を変更する。この場合、一度のユーザ操作によって位置変更部２１２０が第１画像を移動させる距離は、所定距離であってもよいし、条件によって異なってもよい。距離を決める条件は、例えば操作に使われる操作体（例：指）の数や、操作体の動きの大きさなどである。
　上述のように操作体を用いて行われるユーザ操作は、情報処理システム２０００Ｃと通信可能に接続された、第１の実施形態の監視装置２００と同様の監視装置２００を用いて検出される。監視装置２００を用いてこのようなユーザ操作を検出する技術は既知の技術であるため、このようなユーザ操作を検出する方法の詳細な説明は省略する。一例を挙げると、位置変更部２１２０が撮像装置を用いてユーザ操作を検出する場合、撮像画像内に写っている上記操作体の動きを解析することで、ユーザ操作を検出することができる。
　その他の例として、位置変更部２１２０が検出するユーザ操作は、例えば、無線マウスなどの外部入力装置を用いて第１画像を移動させる操作でもよい。
　なお、位置変更部２１２０によってユーザ操作が検出されるタイミングと、投影部２０６０が第１画像の投影状態（位置又は向き）を変更するタイミングとの間には、タイムラグがあってよい。このタイムラグが小さいと、ユーザ操作に素早く追従するように第１画像が投影される。一方、このタイムラグが大きいと、ユーザ操作にゆっくり追従するように第１画像が投影される。
　＜方向決定部２１４０の詳細＞
　方向決定部２１４０は、第１画像の移動方向に基づいて、投影する第１画像の向きを決定する。図２０は、方向決定部２１４０が実行する処理を概念的に例示する図である。矢印９０は、指８０によってコンテンツ画像４０が移動されている方向を示す。この場合、方向決定部２１４０は、コンテンツ画像４０の垂直方向又は水平方向の向きを、コンテンツ画像４０の移動方向に合わせるように、コンテンツ画像４０の向きを決定する。
　ここで、コンテンツ画像４０の水平方向の向きと垂直方向の向きのどちらをコンテンツ画像４０の移動方向に合わせるかは、予め決定されていてもよいし、状況によってどちらかが選択されてもよい。状況によって選択する方法について、図２１を用いて説明する。
図２１は、コンテンツ画像４０の移動方向とその移動方向におけるコンテンツ画像４０の向きとの関係を例示する図である。コンテンツ画像４０－０は、投影面に投影されたコンテンツ画像４０の初期状態である。方向決定部２１４０は、初期状態におけるコンテンツ画像の方向とコンテンツ画像４０の移動方向との関係によって、コンテンツ画像４０の移動方向を複数のグループのいずれかに分類する。図２１に示す例では、方向決定部２１４０は、コンテンツ画像４０の移動方向を４つのグループのいずれかに分類する。以下の説明において、コンテンツ画像４０の移動方向は、初期状態におけるコンテンツ画像４０の水平方向（ +0°を表す）と、コンテンツ画像４０の移動方向とがなす、反時計回りの角度によって表される。第１のグループ（グループ（i））は、コンテンツ画像４０の移動方向が-45°から +45°までの範囲に含まれるグループである。第２のグループ（グループ（ii））は、コンテンツ画像４０の移動方向が+45°から +135°までの範囲に含まれるグループである。第３のグループ（グループ（iii））は、コンテンツ画像４０の移動方向が+135°から+225°までの範囲に含まれるグループである。第４のグループ（グループ（iv））は、コンテンツ画像４０の移動方向が+225°から +315°までの範囲に含まれるグループである。そして、コンテンツ画像４０の移動方向が（i）と（iii）のグループに含まれる場合、方向決定部２１４０は、コンテンツ画像４０の水平方向の向きを、コンテンツ画像４０の移動方向に合わせる。一方、コンテンツ画像４０の移動方向が（ii）と（iv）のグループに含まれる場合、方向決定部２１４０は、コンテンツ画像４０の垂直方向の向きを、コンテンツ画像４０の移動方向に合わせる。
　なお、初期状態であるコンテンツ画像４０－０の向きは、第１の実施形態から第３の実施形態のいずれかで説明したいずれかの方法で決定されていてもよい。こうすることで、コンテンツ画像４０－０の向きは、ユーザにとって見やすい向きとなっていると考えられる。この状況下において、図２１を用いてグループ分けに基づいてコンテンツ画像４０の向きを決定することにより、移動するコンテンツ画像４０の向きを、ユーザにとって見やすい向きにできると考えられる。なお、図２１を用いて説明したグループ分けに用いる角度は、前述の例に限定されない。また、グループの数は４つでなくてもよい。
　方向決定部２１４０は、第１画像の向きを決定するために、第１の実施形態の状態決定部２０８０と同様の方法で、第１画像に関連する情報を取得する。
　＜＜移動方向の算出＞＞
　第１画像の移動方向は、第１画像の投影位置の変化に基づいて算出できる。なお、方向決定部２１４０が算出する第１画像の移動方向は、第１画像が移動してきた方向であってもよいし、これから第１画像が移動する方向であってもよい。例えば、「第１画像の現在の投影位置、第１画像の１つ前の投影位置」の組み合わせを用いることによって、第１画像が移動してきた方向を算出することができる。また、「第１画像の次の投影位置、第１画像の現在の投影位置」の組み合わせを用いることによって、これから第１画像が移動する方向を算出できる。
　方向決定部２１４０が第１画像の移動方向を算出する頻度は、様々な方法のいずれかによって決められる。例えば方向決定部２１４０は、第１画像の移動方向を所定時間（例えば１秒）毎に算出してもよい。また、方向決定部２１４０は、第１画像の移動方向を間欠的に算出してもよい。
　方向決定部２１４０が第１画像の向きを変更する頻度は、様々な方法のいずれかによって決められる。例えば方向決定部２１４０は、第１画像の向きを算出する度に、算出した向きに合わせて第１画像の向きを変更してもよい。また、方向決定部２１４０は、第１画像の移動方向が所定の条件を満たした場合のみ、第１画像の向きを変更してもよい。例えば、方向決定部２１４０は、前回第１画像の向きを変更した際の第１画像の移動方向を記憶しておき、今回の移動速度が記憶している移動方向と比較して所定角度以上変化している場合のみ、第１画像の向きを変更してもよい。
　また、方向決定部２１４０は、第１画像の移動速度の時間平均を算出し、算出された平均移動速度によって表される方向に基づいて、投影する第１画像の向きを決定してもよい。この場合の方向決定部２１４０の処理を、図２２を用いて説明する。図２２は、平均移動速度を用いてコンテンツ画像４０の向きを決定する方法を概念的に例示する図である。図２２に示す矢印９０－１から９０－４は、それぞれ、期間 p1、p2、p3、p4 における第１画像の速度を表す。この場合、方向決定部２１４０は、上記４つの移動速度の平均移動速度を算出する。矢印９１は、算出された平均移動速度を表す。この場合、方向決定部２１４０は、期間 p1 から p4 の間は第１画像の向きを変更せず、期間 p4 の経過後に、平均移動速度である矢印９１の向きに合わせて、第１画像の向きを変更する。なお、情報処理システム２０００Ｃは、方向決定部２１４０が平均速度を算出する時間間隔を、任意に設定可能であるように設計されていればよい。
　このように平均移動速度を用いる方法は、例えば第１画像の移動方向が短時間の間に頻繁に変更される場合に有効である。例えば、短い時間で図２２に示すようにジグザグ方向にコンテンツ画像４０を移動する場合に、移動方向が変わる度にコンテンツ画像４０の向きを変えると、コンテンツ画像４０の向きが不安定になる。そのため、ユーザにとってコンテンツ画像４０が見にくくなる恐れがある。これに対し、平均移動速度を用いてある程度の時間間隔でコンテンツ画像４０の向きを変えることによって、コンテンツ画像４０の向きが安定する。そのため、ユーザにとってコンテンツ画像４０は見やすくなる。
　＜ハードウエア構成＞
　図２４は、情報処理システム２０００Ｃのハードウエア構成を例示するブロック図である。
　第４の実施形態の情報処理システム２０００Ｃのハードウエア構成は、以下を除いて、図２に示す第１の実施形態の情報処理システム２０００のハードウエア構成と同様である。本実施形態では、ストレージ１０８０に格納されているプログラムが第１の実施形態の場合と異なる。具体的には、第４の実施形態におけるストレージ１０８０は、投影モジュール１２６０、位置変更モジュール１３２０、及び方向決定モジュール１３４０を有する。
　＜処理の流れ＞
　図２３は、第４の実施形態の情報処理システム２０００Ｃによって実行される処理の流れを例示するフローチャートである。ステップＳ３０２において、画像取得部２０４０は、第１画像を取得する。ステップＳ３０４において、投影部２０６０は、第１画像を投影する。ステップＳ３０６において、位置変更部２１２０は、ユーザ操作を検出し、検出したユーザ操作に基づいて第１画像の位置を変更する。ステップＳ３０８において、方向決定部２１４０は、第１画像の移動方向に基づいて、第１画像の向きを決定する。ステップＳ３１０において、投影部２０６０は、投影している第１画像の向きを、方向決定部２１４０によって決定された向きに変更する。
　＜作用・効果＞
　本実施形態によれば、第１画像の移動方向に基づいて、投影されている第１画像の向きが変更される。こうすることで、第１画像の移動方向に追従して、投影されている第１画像の向きが決定されるため、ユーザにとって見やすい向きで第１画像を表示することができる。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　実対象物を検出する実対象物検出手段と、
　投影面に第１画像を投影する投影手段と、
　検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定手段と、を有し、
　前記投影手段は、前記状態決定手段によって決定された位置又は向きで前記第１画像を投影する情報処理システム。
　（付記２）
　前記実対象物検出手段は、前記実対象物の周に含まれる辺を検出する辺検出手段を有し、
　前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する付記１に記載の情報処理システム。
　（付記３）
　前記実対象物は、前記投影面に近接するユーザであり、
　前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出手段を有し、
　前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する付記１に記載の情報処理システム。
　（付記４）
　前記状態決定手段は、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する付記１乃至３いずれか一つに記載の情報処理システム。
　（付記５）
　前記実対象物はユーザの操作体であり、
　前記状態決定手段は、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する付記１に記載の情報処理システム。
　（付記６）
　投影面に第１画像を投影する投影手段と、
　ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更手段と、
　前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定手段と、を有し、
　前記投影手段は、前記第１画像の向きを、前記方向決定手段によって決定された向きに変更する情報処理システム。
　（付記７）
　前記方向決定手段は、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する付記６に記載の情報処理システム。
　（付記８）
　情報処理システムを制御するコンピュータによって実行される制御方法であって、　実対象物を検出する実対象物検出ステップと、
　投影面に第１画像を投影する投影ステップと、
　検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定ステップと、を有し、
　前記投影ステップは、前記状態決定ステップによって決定された位置又は向きで前記第１画像を投影する制御方法。
　（付記９）
　前記実対象物検出ステップは、前記実対象物の周に含まれる辺を検出する辺検出ステップを有し、
　前記状態決定ステップは、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する付記８に記載の制御方法。
　（付記１０）
　前記実対象物は、前記投影面に近接するユーザであり、
　前記実対象物検出ステップは、前記ユーザの向きを検出し、
　前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出ステップを有し、
　前記状態決定ステップは、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する付記８に記載の制御方法。
　（付記１１）
　前記状態決定ステップは、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する付記８乃至１０いずれか一つに記載の制御方法。
　（付記１２）
　前記実対象物はユーザの操作体であり、
　前記状態決定ステップは、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する付記８に記載の制御方法。
　（付記１３）
　コンピュータによって実行される制御方法であって、
　投影面に第１画像を投影する投影ステップと、
　ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更ステップと、
　前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定ステップと、を有し、
　前記投影ステップは、前記第１画像の向きを、前記方向決定ステップによって決定された向きに変更する制御方法。
　（付記１４）
　前記方向決定ステップは、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する付記１３に記載の制御方法。
　（付記１５）
　コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
　実対象物を検出する実対象物検出機能と、
　投影面に第１画像を投影する投影機能と、
　検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定機能と、を持たせ、
　前記投影機能は、前記状態決定機能によって決定された位置又は向きで前記第１画像を投影するプログラム。
　（付記１６）
　前記実対象物検出機能は、前記実対象物の周に含まれる辺を検出する辺検出機能を有し、
　前記状態決定機能は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する付記１５に記載のプログラム。
　（付記１７）
　前記実対象物は、前記投影面に近接するユーザであり、
　前記コンピュータに、前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出機能を持たせ、
　前記状態決定機能は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する付記１５に記載のプログラム。
　（付記１８）
　前記状態決定機能は、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する付記１５乃至１７いずれか一つに記載のプログラム。
　（付記１９）
　前記実対象物はユーザの操作体であり、
　前記状態決定機能は、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する付記１５に記載のプログラム。
　（付記２０）
　コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
　投影面に第１画像を投影する投影機能と、
　ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更機能と、
　前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定機能と、を持たせ、
　前記投影機能は、前記第１画像の向きを、前記方向決定機能によって決定された向きに変更するプログラム。
　（付記２１）
　前記方向決定機能は、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する付記２０に記載のプログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１４年４月１８日に出願された日本出願特願２０１４－０８６５１０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　テーブル
　２０　　トレー
　２０－１　　トレー
　２０－２　　トレー
　２０－３　　トレー
　２０－４　　トレー
　３０　　マーク
　４０　　コンテンツ画像
　４０－０　　コンテンツ画像
　４０－１　　コンテンツ画像
　４０－２　　コンテンツ画像
　４０－３　　コンテンツ画像
　４０－４　　コンテンツ画像
　４１　　コンテンツ画像
　４２　　コンテンツ画像
　５０　　ユーザ
　５０－１　　ユーザ
　５０－２　　ユーザ
　６０　　辺
　６０－１　　辺
　６０－２　　辺
　６０－３　　辺
　６０－４　　辺
　６１－１　　接線
　６１－２　　接線
　７０　　基準点
　８０　　指
　９０　　矢印
　９０－１　　矢印
　９０－２　　矢印
　９０－３　　矢印
　９０－４　　矢印
　９１　　矢印
　１００　　投影装置
　２００　　監視装置
　３００　　バス
　４００　　装置
　４１０　　投影方向調整部
　４１０－１　　投影方向調整部
　４１０－２　　投影方向調整部
　４１０－３　　投影方向調整部
　１０００　　計算機
　１０２０　　バス
　１０４０　　プロセッサ
　１０６０　　メモリ
　１０８０　　ストレージ
　１１００　　入出力インタフェース
　１２２０　　実対象物検出モジュール
　１２６０　　投影モジュール
　１２８０　　状態決定モジュール
　２０００　　情報処理システム
　２０００Ａ　　情報処理システム
　２０００Ｂ　　情報処理システム
　２０００Ｃ　　情報処理システム
　２０２０　　実対象物検出部
　２０４０　　画像取得部
　２０６０　　投影部
　２０８０　　状態決定部
　２１００　　辺検出部
　２１２０　　位置変更部
　２１４０　　方向決定部

Claims (11)

  1. 　実対象物を検出する実対象物検出手段と、
    　投影面に第１画像を投影する投影手段と、
    　検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定手段と、を備え、
    　前記投影手段は、前記状態決定手段によって決定された位置又は向きで前記第１画像を投影する
    　情報処理システム。
  2. 　前記実対象物検出手段は、前記実対象物の周に含まれる辺を検出する辺検出手段を有し、
    　前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する
    　請求項１に記載の情報処理システム。
  3. 　前記実対象物は、前記投影面に近接するユーザであり、
    　前記投影面の周に含まれる辺であり、前記ユーザが近接している辺を検出する辺検出手段を有し、
    　前記状態決定手段は、検出された前記辺の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き又は投影面内における位置を決定する
    　請求項１に記載の情報処理システム。
  4. 　前記状態決定手段は、投影されている前記第１画像の位置と前記投影面上の基準点とを結ぶ直線の延伸方向に基づいて、前記第１画像を投影する向きを決定する
    　請求項１乃至３いずれか一項に記載の情報処理システム。
  5. 　前記実対象物はユーザの操作体であり、
    　前記状態決定手段は、前記操作体の延伸方向に基づいて、投影する前記第１画像の向きを決定する
    　請求項１に記載の情報処理システム。
  6. 　投影面に第１画像を投影する投影手段と、
    　ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更手段と、
    　前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定手段と、を有し、
    　前記投影手段は、前記第１画像の向きを、前記方向決定手段によって決定された向きに変更する
    　情報処理システム。
  7. 　前記方向決定手段は、前記第１画像の移動速度の時間平均を算出し、算出された平均移動速度で表される方向に基づいて、投影する前記第１画像の向きを決定する
    　請求項６に記載の情報処理システム。
  8. 　情報処理システムを制御するコンピュータによって実行される制御方法であって、
    　実対象物を検出し、
    　検出した実対象物の向き及び位置の少なくとも一方に基づいて、投影面に投影される第１画像の向き及び投影面内における位置の少なくとも一方を決定し、
    　決定された位置又は向きで前記投影面に前記第１画像を投影する
    　制御方法。
  9. 　情報処理システムを制御するコンピュータによって実行される制御方法であって、
    　投影面に第１画像を投影し、
    　ユーザ操作を検出し、検出したユーザ操作に応じて、投影面に投影される第１画像の前記投影面上の位置を変更し、
    　前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定し、
    　前記第１画像の向きを、前記方向決定ステップによって決定された向きに変更し、向きが変更された前記第１画像を前記投影面に投影する
    　制御方法。
  10. 　コンピュータに、情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
    　実対象物を検出する実対象物検出機能と、
    　投影面に第１画像を投影する投影機能と、
    　検出した実対象物の向き及び位置の少なくとも一方に基づいて、前記第１画像の向き及び投影面内における位置の少なくとも一方を決定する状態決定機能と、を持たせ、
    　前記投影機能は、前記状態決定機能によって決定された位置又は向きで前記第１画像を投影する
    　プログラムを記憶するコンピュータ読み取り可能な記録媒体。
  11. 　コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
    　投影面に第１画像を投影する投影機能と、
    　ユーザ操作を検出し、検出したユーザ操作に応じて前記第１画像の投影面上の位置を変更する位置変更機能と、
    　前記第１画像の移動方向に基づいて、投影する前記第１画像の向きを決定する方向決定機能と、を持たせ、
    　前記投影機能は、前記第１画像の向きを、前記方向決定機能によって決定された向きに変更する
    　プログラムを記憶するコンピュータ読み取り可能な記録媒体。
PCT/JP2015/002090 2014-04-18 2015-04-16 情報処理システム、制御方法、及びプログラム記録媒体 WO2015159547A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016513644A JPWO2015159547A1 (ja) 2014-04-18 2015-04-16 情報処理システム、制御方法、及びプログラム記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-086510 2014-04-18
JP2014086510 2014-04-18

Publications (1)

Publication Number Publication Date
WO2015159547A1 true WO2015159547A1 (ja) 2015-10-22

Family

ID=54322426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002090 WO2015159547A1 (ja) 2014-04-18 2015-04-16 情報処理システム、制御方法、及びプログラム記録媒体

Country Status (3)

Country Link
US (1) US20150302549A1 (ja)
JP (1) JPWO2015159547A1 (ja)
WO (1) WO2015159547A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180616A (ja) * 2017-04-04 2018-11-15 株式会社アマダホールディングス レーザ加工システム及びレーザ加工方法
CN108983962A (zh) * 2017-06-02 2018-12-11 精工爱普生株式会社 显示装置以及显示装置的控制方法
WO2020116290A1 (ja) * 2018-12-06 2020-06-11 株式会社アーティフィス テーブルプロジェクション装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112016010089B1 (pt) * 2013-11-13 2021-06-08 Nissan Motor Co. Ltd. dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento
CN109917913A (zh) * 2019-03-01 2019-06-21 南京云家物联网研究院有限公司 虚拟投影开关及工作方法
CN112040207B (zh) * 2020-08-27 2021-12-10 广景视睿科技（深圳）有限公司 一种调整投影画面的方法、装置以及投影设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160773A (ja) * 2009-01-09 2010-07-22 E-Lead Electronic Co Ltd タッチパッドのカーソル移動制御の補助方法
JP2012141739A (ja) * 2010-12-28 2012-07-26 Toshiba Corp 表示制御装置および表示制御方法
JP2013076924A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 表示装置、表示制御方法及びプログラム
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160773A (ja) * 2009-01-09 2010-07-22 E-Lead Electronic Co Ltd タッチパッドのカーソル移動制御の補助方法
JP2012141739A (ja) * 2010-12-28 2012-07-26 Toshiba Corp 表示制御装置および表示制御方法
JP2013076924A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 表示装置、表示制御方法及びプログラム
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180616A (ja) * 2017-04-04 2018-11-15 株式会社アマダホールディングス レーザ加工システム及びレーザ加工方法
CN108983962A (zh) * 2017-06-02 2018-12-11 精工爱普生株式会社 显示装置以及显示装置的控制方法
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
WO2020116290A1 (ja) * 2018-12-06 2020-06-11 株式会社アーティフィス テーブルプロジェクション装置
JPWO2020116290A1 (ja) * 2018-12-06 2021-02-15 株式会社アーティフィス テーブルプロジェクション装置
JP7193790B2 (ja) 2018-12-06 2022-12-21 株式会社アーティフィス テーブルプロジェクション装置

Also Published As

Publication number Publication date
JPWO2015159547A1 (ja) 2017-04-13
US20150302549A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
WO2015159547A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
US11714509B2 (en) Multi-plane reflective sensor
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US20170068326A1 (en) Imaging surround system for touch-free display control
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
CN116348836A (zh) 增强现实中用于交互式游戏控制的手势跟踪
CN118747041A (zh) 虚拟键盘
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
US8388146B2 (en) Anamorphic projection device
EP2903256B1 (en) Image processing device, image processing method and program
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
US10379680B2 (en) Displaying an object indicator
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
EP3283938A1 (en) Gesture interface
US10664090B2 (en) Touch region projection onto touch-sensitive surface
EP4083757A1 (en) Touchless input interface for an electronic display using multiple sensors
US20180157328A1 (en) Calibration systems and methods for depth-based interfaces with disparate fields of view
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
WO2015159550A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
EP3088991B1 (en) Wearable device and method for enabling user interaction
TWI636381B (zh) 互動顯示系統及互動顯示控制方法
JP6643825B2 (ja) 装置及び方法
US20230088402A1 (en) Touch sensitive curved and flexible displays
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15779317

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016513644

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15779317

Country of ref document: EP

Kind code of ref document: A1