WO2015159548A1 - 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体 - Google Patents

投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2015159548A1
WO2015159548A1 PCT/JP2015/002091 JP2015002091W WO2015159548A1 WO 2015159548 A1 WO2015159548 A1 WO 2015159548A1 JP 2015002091 W JP2015002091 W JP 2015002091W WO 2015159548 A1 WO2015159548 A1 WO 2015159548A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
user operation
user
image
detected
Prior art date
Application number
PCT/JP2015/002091
Other languages
English (en)
French (fr)
Inventor
典良 広井
信彰 高梨
佐藤 慶明
博之 渡部
尊文 黒河
賢治 秋吉
竜太郎 谷村
Original Assignee
日本電気株式会社
Necソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Necソリューションイノベータ株式会社 filed Critical 日本電気株式会社
Priority to JP2016513645A priority Critical patent/JPWO2015159548A1/ja
Publication of WO2015159548A1 publication Critical patent/WO2015159548A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/10Projectors with built-in or built-on screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Definitions

  • the present invention relates to a technique for controlling a projected image.
  • Patent Document 1 proposes a method of viewing different images for a person viewing with glasses and a person viewing with naked eyes in an information display technique using such a projector. Specifically, in the proposed method, a main image whose tone value is compressed is projected onto a screen through a first polarizing filter. In addition, the proposed method uses a second polarization filter having a polarization component different from that of the first polarization filter as a corrected image corresponding to a difference in gradation value between the sub-image having the changed gradation value and the main image. Through the screen.
  • each viewer can view the preferred image by taking a viewing method (whether glasses are used) according to the preferred image.
  • a viewing method whether glasses are used
  • each viewer needs to move to a position where the screen can be visually recognized and face the direction of the screen.
  • the present invention has been made in view of such circumstances, and realizes a projection control technique that provides a projection image with high convenience.
  • An object of the present invention is to provide a projection control apparatus, a projection control method, and a recording medium that realize a projection control technique that provides a projection image with high convenience.
  • a projection control device includes a projection processing unit that projects an image on a projection device capable of changing a projection parameter for setting an image projection method, and an operation detection unit that detects a user operation.
  • control is performed so that the projection apparatus changes the projection parameter and the projection is performed.
  • the projection processing unit sets the projection parameter to the projection parameter.
  • Control means for controlling to change the image without changing.
  • an image is projected on a projection device capable of changing a projection parameter for setting an image projection method, a user operation is detected, and a first user operation is performed.
  • the projection apparatus is caused to change the projection parameter for projection, and when a second user operation is detected, the projection apparatus is changed without changing the projection parameter.
  • the recording medium recording the projection control program according to the third aspect of the present invention detects a process for projecting an image on a projection apparatus capable of changing a projection parameter for setting an image projection method, and a user operation.
  • the projection apparatus changes and projects the projection parameter.
  • the image is changed without changing the projection parameter.
  • at least one computer At least one computer.
  • FIG. 1st embodiment It is a figure which shows notionally the hardware structural example of the projection control apparatus in 1st embodiment of this invention. It is a figure which shows simply the example of an external shape of IP (Interactive Projection) apparatus. It is a figure which shows notionally the projection screen projected by a projector. It is a figure which shows the example of a projection screen. It is a figure which shows notionally the process structural example of the projection control apparatus in 1st embodiment. It is a flowchart which shows the operation example of the projection control apparatus in 1st embodiment. It is a figure which shows the example of a movement of the projection screen itself in 1st embodiment. It is a figure which shows the example of a change of the projection image (projection content) in a projection screen.
  • IP Interactive Projection
  • FIG. 1 is a diagram conceptually illustrating a hardware configuration example of a projection control apparatus 10 in the first embodiment.
  • the projection control device 10 is a projection type digital signage device, and includes a CPU (Central Processing Unit) 2, a memory 3, a communication unit 4, and the like.
  • the memory 3 is a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk, or the like.
  • the communication unit 4 communicates with other computers via a communication network, and exchanges signals with other devices such as the three-dimensional sensor 6 and the projection device 7.
  • a portable recording medium or the like can be connected to the communication unit 4.
  • the communication mode between the three-dimensional sensor 6 and the projection device 7 and the projection control device 10 is not limited.
  • the projection control apparatus 10 may include hardware elements not shown in FIG. 1, and the hardware configuration of the projection control apparatus 10 is not limited.
  • the three-dimensional sensor 6 acquires sensor information including information on the two-dimensional image (image) and information on the distance from the three-dimensional sensor 6 (depth information).
  • the three-dimensional sensor 6 is realized by, for example, a visible light camera and a distance image sensor.
  • a distance image sensor also called a depth sensor, emits a near-infrared light pattern from a laser, and is detected from the distance image sensor based on information obtained by capturing the pattern with a camera that detects the near-infrared light.
  • the distance (depth) to the object is calculated.
  • the method for realizing the three-dimensional sensor 6 is not limited.
  • the three-dimensional sensor 6 may be realized by a three-dimensional scanner method using a plurality of cameras.
  • the projection device 7 projects an image on the projection surface by projecting light onto the projection surface based on the image information sent from the projection control device 10.
  • the projection device 7 includes means for adjusting the projection direction (direction adjustment means 8).
  • the direction adjusting means 8 is, for example, any one of a mechanism that changes the direction of a projection unit that projects light, a mechanism that changes the direction of light projected from the projection unit, and other mechanisms, any one of a plurality of mechanisms, Or all.
  • the three-dimensional sensor 6 and the projection device 7 are represented as separate devices, but may be realized as a single device as illustrated in FIG. 2.
  • FIG. 2 is an example, and the integrated structure of the three-dimensional sensor 6 and the projection device 7 is not limited to the structure of FIG.
  • FIG. 2 is a diagram simply showing an example of the outer shape of an IP (Interactive Projection) device 9.
  • the IP device 9 includes direction adjustment mechanisms 91, 92, and 93, a projection unit 95, a sensing unit 96, and the like.
  • the projection unit 95 is a part that projects light, and corresponds to a part of the projection device 7.
  • the sensing unit 96 is a sensor information detection surface and corresponds to a part of the three-dimensional sensor 6.
  • the projection unit 95 and the sensing unit 96 are installed so that the direction of the sensing axis and the direction of the projection axis are parallel.
  • the direction adjustment mechanisms 91, 92, and 93 are an example of a method for realizing the direction adjustment unit 8, and have a structure that allows adjustment of each direction of the projection axis and the sensing axis.
  • the direction adjustment mechanism 91 can change each direction to the left and right directions on the paper surface
  • the direction adjustment mechanism 92 can change each direction to the paper surface and the vertical direction
  • the direction adjustment mechanism 93 can change each direction on the paper surface. It can be rotated.
  • the IP device 9 can also include a movable mirror or an optical system mechanism as the direction adjusting means 8 without moving the casing in which the projection unit 95 and the sensing unit 96 are installed.
  • FIG. 3 is a diagram conceptually showing a projection screen projected by the projection device 7.
  • the projection device 7 projects a projection screen 72 onto the projection plane 70.
  • the projection screen 72 means the entire projection area on the projection plane 70.
  • the above projection axis is indicated by reference numeral 71 in FIG.
  • the projection screen 72 itself can be moved on the projection plane 70 by changing the projection direction (the direction of the projection axis 71) by the direction adjusting means of the projection device 7.
  • FIG. 4 is a diagram showing an example of a projection screen.
  • the projection device 7 displays a projection image in the projection screen 72 based on the image information sent from the projection control device 10.
  • the projection images 75, 76, and 77 are displayed in the projection screen 72, and the projection screen 72 includes an area 78 other than the display area of the projection images 75, 76, and 77. This area is referred to as a projected background area 78.
  • the projection background area 78 is also set based on the image information sent from the projection control device 10.
  • the projection screen means the entire area of the projection image that appears on the projection plane by the light projected from the projection device 7, and the image or the projection image means an image displayed on the projection screen.
  • the on-screen operation means a user operation on the projection screen.
  • FIG. 5 is a diagram conceptually illustrating a processing configuration example of the projection control apparatus 10 in the first embodiment.
  • the projection control apparatus 10 includes a projection processing unit 11, a content holding unit 12, a user position acquisition unit 13, a projection position acquisition unit 14, an operation detection unit 15, a control unit 16, and the like.
  • Each of these processing units is realized, for example, by executing a program stored in the memory 3 by the CPU 2.
  • the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 4 and stored in the memory 3.
  • a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 4 and stored in the memory 3.
  • CD Compact Disc
  • the projection processing unit 11 causes the projection device 7 to project an image. Specifically, the projection processing unit 11 sends the image information held in the content holding unit 12 to the projection device 7 to cause the projection device 7 to project a projection image corresponding to the image information.
  • the contents of the image and the image information are not limited.
  • the projection screen 72 is projected onto the projection surface, and the projection image is displayed (projected) in the projection screen 72.
  • the projection processing unit 11 changes the projection content (projection image) in the projection screen according to an instruction from the control unit 16 described later. Specifically, the projection processing unit 11 sends image information indicating the projection image changed in response to the instruction to the projection device 7.
  • the change of the projection image includes various modes such as movement, enlargement, reduction, rotation, and transition of display contents.
  • the content holding unit 12 holds a plurality of pieces of image information for forming an image projected on the projection device 7. Each image information indicates an image such as a character, a pattern, or a video displayed at a predetermined position in the projection screen.
  • the image information held in the content holding unit 12 is, for example, display data generated when the application program is executed by the CPU 2.
  • the mode of image information to be held is not limited.
  • the user position acquisition unit 13 recognizes the specific part of the user based on the sensor information obtained from the three-dimensional sensor 6, and acquires part position information indicating the position of the recognized specific part. Specifically, the user position acquisition unit 13 recognizes a specific part of the user by using at least one of image information and depth information included in the sensor information.
  • the specific part to be recognized is a part of the body (such as a fingertip) or an operation tool used when the user performs an operation.
  • a method for recognizing a specific part from an image a known object recognition method may be used.
  • the user position acquisition unit 13 recognizes a person's head from the image information using the feature amount, and uses the image information and the distance information to determine the positional relationship with the person's head.
  • the specific part is recognized from the feature amount.
  • the user position acquisition unit 13 acquires the position information of the specific part of the user recognized as described above based on the two-dimensional image information and the distance information included in the sensor information. For example, the user position acquisition unit 13 can acquire position information of the specific part in a three-dimensional coordinate space set based on the position and orientation of the three-dimensional sensor 6.
  • the projection position acquisition unit 14 acquires projection position information indicating a position where at least a part of the projection screen is projected based on the sensor information obtained from the three-dimensional sensor 6. For example, the projection position acquisition unit 14 can recognize the distance (projection distance) from the projection device 7 to the projection plane based on the position and projection direction of the projection device 7 and sensor information. And the projection position acquisition part 14 can pinpoint the position where the projection screen is projected in the above-mentioned three-dimensional coordinate space based on the distance and the projection specification of the projector 7. The position where the projection screen is projected can be represented by a plane position corresponding to the projection screen in the three-dimensional coordinate space.
  • the projection position acquisition unit 14 determines the position where the projection image as at least a part of the projection screen is projected as follows: Can also be specified. Based on the position of the projection screen identified as described above and the position of the projection image in the projection screen obtained from the image information processed by the projection processing unit 11, the projection position acquisition unit 14 Information on the position of the projection image in the original coordinate space can be acquired.
  • the operation detection unit 15 detects a user operation. Specifically, the operation detection unit 15 is based on at least part of the projection screen or outside the projection screen based on the part position information acquired by the user position acquisition unit 13 and the projection position information acquired by the projection position acquisition unit 14. A user operation using the specific part is detected. For example, the operation detection unit 15 detects an operation (hereinafter referred to as a tap operation) of touching an arbitrary part inside or outside the projection screen and immediately separating from the projection surface at a specific part.
  • a tap operation an operation of touching an arbitrary part inside or outside the projection screen and immediately separating from the projection surface at a specific part.
  • the operation detection unit 15 touches an arbitrary part inside or outside the projection screen at a specific part for a predetermined time or more, moves the specific part on the projection surface in that state, and then releases the projection part from the projection surface (hereinafter, Detected as a drag operation).
  • the operation detection unit 15 can detect a flick operation, a swipe operation, and the like.
  • the swipe operation means an operation of touching an arbitrary place and moving a specific part on the projection screen before the predetermined time used in the drag operation has elapsed, and is thus distinguished from the drag operation.
  • the user operation detected by the operation detection unit 15 is not limited.
  • the operation detection unit 15 specifies the position of the detected user operation. Depending on the detected user operation, one or more positions are specified. For example, in the above-described tap operation, the position at which the specific part touches the projection screen or outside is specified as the position of the user operation. In the above-described drag operation, a plurality of positions on the movement trajectory from the position at which the specific part is first touched inside or outside the projection screen to the position at which the specific part is away from the projection plane are specified as the position of the user operation. The position of the specified user operation is mapped to a common tertiary lower coordinate space.
  • the operation detection unit 15 distinguishes and detects at least two types of user operations based on the position of the specified user operation. These two types of user operations are denoted as a first user operation and a second user operation. For example, the operation detection unit 15 uses the image information processed by the projection processing unit 11 to determine the position where the detected user operation is started, the position where the user operation is ended, or both. to decide. And the operation detection part 15 detects the user operation as a 1st or 2nd user operation according to the result.
  • the first user operation is an operation assigned to move the projection screen itself
  • the second user operation is an operation assigned to change the projection image in the projection screen.
  • the operation detection unit 15 detects the operation as the first user operation when the position where the detected user operation is started is at a position not assigned to the in-screen operation in the projection screen. If it is at a location assigned to an in-screen operation in the projection screen, the operation is detected as a second user operation. For example, an area where information or an image is simply displayed on the projection screen can be determined as a portion not assigned to the on-screen operation. On the contrary, a place where some input operation such as a selection operation is expected in the projection screen can be determined as a place assigned to the operation in the screen.
  • the operation detection unit 15 detects the operation as the first user operation when the position where the detected user operation is started is within the projection screen and the end position of the user operation is outside the projection screen. Then, when both the start position and the end position are within the projection screen, the operation may be detected as the second user operation.
  • the operation detection unit 15 detects the operation as the first user operation when the position where the detected user operation is started is the projection background area in the projection screen, and the position is projected. When it is on the projected image in the screen, the operation can also be detected as the second user operation.
  • the projected background area is indicated by reference numeral 78 in FIG.
  • the operation detection unit 15 detects the operation as the first user operation, and the position is detected within the projection screen. In some cases, the operation can also be detected as a second user operation.
  • the operation detection unit 15 can detect a contact operation outside the projection screen based on whether or not the user's specific part exists on a plane obtained by enlarging the plane corresponding to the projection screen at the same position in the three-dimensional coordinate space. it can.
  • the operation detection unit 15 detects the operation as the first user operation when the position where the detected user operation is started is on a dedicated operation image (such as an icon) in the projection screen. When the position is outside the dedicated operation image, the operation can also be detected as a second user operation.
  • the image information processed by the projection processing unit 11 includes a dedicated operation image.
  • the control unit 16 changes the projection direction of the projection device 7 to move the projection screen itself projected on the projection surface, and the second user operation is detected. If it is, the projection content (projection image) in the projection screen is changed without changing the projection direction. For example, when the first user operation is detected, the control unit 16 changes the projection direction of the projection device 7 as follows.
  • the control unit 16 determines the movement parameters (direction, speed, distance, etc.) of the projection screen according to the detected user operation.
  • the movement parameter of the projection screen can be determined by the moving direction, moving speed, moving distance, etc. of the specific part indicated by the detected user operation.
  • the control unit 16 converts the calculated movement parameter into a change parameter for the projection direction of the projection device 7.
  • a known geometric method may be used. This conversion method can be realized by, for example, inverse calculation of calculation of the projection position by the projection position acquisition unit 14.
  • the change parameter includes, for example, a direction to be changed, a change speed, and the like.
  • the control unit 16 sends a projection direction change instruction including a projection direction change parameter to the projection device 7.
  • the projection device 7 projects the projection screen in the instructed projection direction by causing the direction adjustment unit 8 to change the projection direction according to the acquired change parameter, and as a result, the projection screen 7 projects the projection screen. Move the projection screen itself.
  • the control unit 16 can change the projection image in the projection screen as follows. For example, the control unit 16 determines what in-screen operation the detected user operation is. As the in-screen operation, there can be various operations using a user interface device such as a keyboard and a mouse for display on a display unit such as a display, which is possible with a general computer. For example, the contents of the in-screen operation are various, such as image movement, image enlargement, reduction and rotation, selection of hyperlinks and selection buttons and menus, display scrolling, display transition, and the like, and are not limited.
  • the control unit 16 instructs the projection processing unit 11 to obtain a projection image corresponding to the in-screen operation corresponding to the detected user operation. As a result, the image information whose display state has been changed according to the operation in the screen is sent from the projection processing unit 11 to the projection device 7, and as a result, the projection screen itself does not move and the projection image in the projection screen is changed.
  • the control unit 16 instructs the projection processing unit 11 to obtain a projection image
  • FIG. 6 is a flowchart showing an operation example of the projection control apparatus 10 in the first embodiment.
  • the projection control method in the first embodiment is executed by at least one computer such as the projection control apparatus 10.
  • each illustrated process is executed by each processing unit included in the projection control apparatus 10. Since each process is the same as the processing content of the above-mentioned each process part which the projection control apparatus 10 has, the detail of each process is abbreviate
  • Projection control device 10 causes projection device 7 to project an image (S71). Specifically, the projection control apparatus 10 causes the projection surface 70 to project a projection image corresponding to the image information by transmitting the image information to the projection apparatus 7. Thereby, the projection screen is projected on the projection surface, and the projection image is displayed in the projection screen.
  • Projection control apparatus 10 recognizes the specific part of the user based on the sensor information acquired from three-dimensional sensor 6, and acquires part position information indicating the position of the recognized specific part (S72). The position of the specific part is mapped to a three-dimensional coordinate space shared by the projection control apparatus 10.
  • the projection control apparatus 10 acquires projection position information indicating a position where at least a part of the projection screen is projected based on the sensor information acquired from the three-dimensional sensor 6 (S73).
  • the method for acquiring the position where the projection screen is projected is as described above, and the position of each projection image in the projection screen is specified based on image information for projecting the projection image in (S71).
  • the projection position is also mapped to the three-dimensional coordinate space shared by the projection control apparatus 10.
  • the projection control apparatus 10 is a user who uses at least a part of the projection screen or a specific part outside the projection screen based on the part position information acquired in (S72) and the projection position information acquired in (S73). An operation is detected (S74).
  • the projection control apparatus 10 specifies the position of the user operation detected in (S74) (S75).
  • the identified operation position is also mapped to the three-dimensional coordinate space shared by the projection control apparatus 10.
  • the projection control apparatus 10 determines whether the first or second user operation is detected based on the position of the user operation specified in (S75) (S76).
  • the detection method of the first and second user operations based on the position of the user operation is as described above.
  • the projection control device 10 determines that the first user operation has been detected (S76; first user operation)
  • the projection control device 10 changes the projection direction of the projection device 7 (S77).
  • the projection control apparatus 10 sends a projection direction change instruction to the projection apparatus 7.
  • the projection control apparatus 10 changes the projection image in the projection screen without changing the projection direction (S78).
  • the projection control apparatus 10 executes (S77) or (S78) again or when it is determined that the first or second user operation has not been detected (S76; NO), and again executes (S72) and subsequent steps. .
  • FIGS. 7 and 8 show an example of an implementation scene of the above-described projection control method.
  • the projection plane 70 is a table used by the user, and the projection device 7 is installed above the table and facing the direction of the table.
  • the three-dimensional sensor 6 is also installed in the same direction near the projection device 7.
  • FIG. 7 is a diagram showing an example of movement of the projection screen itself in the first embodiment.
  • the projection control apparatus 10 projects the projection images 81, 82, 83, and 84 on the center of the projection plane 70 (S71). As a result, the projected images 81, 82, 83, and 84 are displayed in the projection screen 72.
  • the projection control apparatus 10 acquires part position information indicating the position of the fingertip of the user who uses the table serving as the projection plane 70 (S72). Furthermore, the projection control apparatus 10 acquires projection position information indicating the position where the projection screen 72 is projected and the positions of the projection images 81, 82, 83, and 84 within the projection screen 72 (S73).
  • the projection control apparatus 10 detects an operation in which the user's fingertip contacts the position 85 in the projection screen 72 and the fingertip moves in the direction 87 on the projection plane 70 (S74).
  • the projection control apparatus 10 specifies a position 85 that is a starting point of the detected user operation, a position after movement (including the movement direction 87), and the like.
  • the projection control apparatus 10 determines that the user operation is the first user operation (S76). First user operation). Thereby, the projection control apparatus 10 moves the projection screen 72 to the position shown by the code
  • FIG. 8 is a diagram showing an example of changing the projection image (projection contents) in the projection screen.
  • FIG. 8 shows the projection screen 80 after the projection screen 72 shown in FIG. 7 has been moved as described above.
  • the projection screen 80 is projected onto an area close to the user of the table that is the projection plane 70.
  • the projection control apparatus 10 acquires part position information indicating the position of the fingertip of the user (S72).
  • the projection control apparatus 10 acquires projection position information indicating the position where the projection screen 80 is projected and the position of the projection image 81 and the like in the projection screen 80 (S73).
  • the projection control device 10 detects an operation in which the user's fingertip contacts the position 88 in the projection screen 80 and the fingertip moves in the direction 89 on the projection plane 70 (S74).
  • the projection control apparatus 10 specifies a position 88 that is a start point of the detected user operation, a position after movement (including the movement direction 89), and the like.
  • the projection control apparatus 10 determines that the user operation is the second user operation (S76). Second user operation). Thereby, the projection control apparatus 10 changes the projection image (projection content) of the projection screen 80 by moving the projection image 88 in the direction 89 within the projection screen 80 without changing the projection direction (S78). . In this case, the projection control apparatus 10 moves the projection image 88 within the projection screen 80 by sending image information indicating that the projection image 88 moves within the projection screen 80 to the projection apparatus 7.
  • the part position information indicating the position of the specific part of the user and the projection position information indicating the position where at least a part of the projection screen is projected are acquired. Then, based on each position information, a user operation using at least a part of the projection screen or the specific part outside the projection screen is detected. Then, based on the detected position of the user operation, it is determined whether the user operation is the first or second user operation, and depending on the determination result, the projection direction of the projection device 7 or The projection image in the projection screen is changed. Specifically, when the first user operation is detected, the projection direction of the projection device 7 is changed, and as a result, the projection screen itself projected on the projection plane moves. When the second user operation is detected, the projection image in the projection screen is changed without changing the projection direction.
  • the user can move the projection screen itself by performing the first user operation.
  • the projection screen can be shared by a plurality of users. This is because each user can move the projection screen to a position where the user can easily use the projection screen.
  • a display unit such as a display
  • the projection control apparatus and the projection control method in the second embodiment will be described with reference to the drawings.
  • the movement of the projection screen itself and the change of the projection image in the projection screen are switched based on the user operation time.
  • the second embodiment will be described focusing on the contents different from the first embodiment, and the same contents as those of the first embodiment will be omitted as appropriate.
  • the processing configuration of the projection control apparatus 10 in the second embodiment is the same as that in the first embodiment, but the processing content of the processing unit shown below is different from that in the first embodiment.
  • the operation detection unit 15 measures the time (operation time) of the user operation using the specific part detected at least part of the projection screen or outside the projection screen detected as described above, and based on the measured operation time. Thus, the first user operation and the second user operation are distinguished and detected.
  • the operation time includes a time during which the specific part remains at least at a part of the projection screen or at a certain position outside the projection screen. For example, in the above-described tap operation, the time when a specific part touches the inside or outside of the projection screen is measured. In the above-described drag operation, the time during which the specific part stays at the position where the specific part first touches the projection screen or outside is measured.
  • the operation detection unit 15 detects the user operation as a first user operation, and the detected user operation has an operation time longer than the predetermined time. If not included, the user operation is detected as a second user operation.
  • the operation detection unit 15 holds the predetermined time in advance. More specifically, the operation detection unit 15 detects the above-described drag operation as the first user operation, and detects other operations such as the above-described swipe operation, tap operation, and flick operation as the second user operation. .
  • the operation detection unit 15 makes the specific part contact a certain position in or outside the projection screen for a predetermined time longer, then leaves the projection surface, and then the projection surface within the predetermined time. It is also possible to detect an operation that makes contact with another position above as the first user operation.
  • FIG. 9 is a flowchart showing an operation example of the projection control apparatus 10 in the second embodiment.
  • the execution subject of the projection control method in the second embodiment is the same as in the first embodiment. Since each process is the same as the processing content of the above-mentioned each process part which the projection control apparatus 10 has, the detail of each process is abbreviate
  • steps having the same processing contents as those in the first embodiment shown in FIG. 6 are denoted by the same reference numerals as those in FIG. 6.
  • the projection control apparatus 10 measures the operation time of the user operation detected in (S74) (S91).
  • the projection control apparatus 10 determines whether or not the first or second user operation is detected based on the operation time measured in (S91) (S92).
  • the detection method of the first and second user operations based on the operation time is as described above.
  • the time of user operation using the specific part with respect to at least a part of the projection screen or the outside of the projection screen is measured, and the user operation is performed in consideration of the operation time. Alternatively, it is determined whether the operation is a second user operation. Then, the projection direction of the projection device 7 or the projection image in the projection screen is changed according to the determination result.
  • the movement of the projection screen itself and the change of the projection image in the projection screen are switched based on the time of the user operation using the specific part outside the projection screen or outside the projection screen.
  • Operations first user operation and second user operation
  • the drag operation can be an operation for moving the projection screen itself
  • the other operation can be an operation for changing the projection image in the projection screen.
  • the projection control device and the projection control method according to the third embodiment will be described with reference to the drawings.
  • the movement of the projection screen itself and the change of the projection image within the projection screen are switched based on the state of the projection image within the projection screen that is the target of the user operation.
  • the third embodiment will be described focusing on the content different from the first embodiment, and the same content as the first embodiment will be omitted as appropriate.
  • the processing configuration of the projection control apparatus 10 in the third embodiment is the same as that in the first embodiment, but the processing content of the processing unit shown below is different from that in the first embodiment.
  • the operation detection unit 15 identifies the state of the projection image in the projection screen that is the target of the detected user operation, and performs the first user operation and the second user operation based on the identified state of the projection image. Detect and distinguish. For example, the operation detection unit 15 may detect the projection screen based on the image information processed by the projection processing unit 11 when a user operation using the specific part to the at least part of the projection screen or outside the projection screen is detected.
  • the state of the projected image can be specified. This specification means determining whether or not the state of the projection image is a state in which the movement of the projection screen itself is permitted.
  • the operation detection unit 15 specifies whether or not the projection image is in a state of accepting an in-screen operation, whether or not the projection image is an initial image indicating an initial state, and the like.
  • the operation detection unit 15 detects the user operation as the first user operation when the projected image does not accept the in-screen operation, and when the projected image indicates the state that accepts the in-screen operation, The user operation is detected as a second user operation.
  • the operation detection unit 15 detects the user operation as the first user operation when the projection image is the initial image, and determines the user operation as the second user when the projection image is not the initial image. Detect as operation.
  • the relationship between the state of the specified projection image and the first and second user operations is not limited.
  • FIG. 10 is a flowchart showing an operation example of the projection control apparatus 10 in the third embodiment.
  • the execution subject of the projection control method in the third embodiment is the same as in the first embodiment. Since each process is the same as the processing content of the above-mentioned each process part which the projection control apparatus 10 has, the detail of each process is abbreviate
  • the projection control device 10 specifies the state of the projection image in the projection screen that is the target of the user operation detected in (S74) (S101).
  • the projection control apparatus 10 determines whether or not the first or second user operation is detected based on the state of the projection image specified in (S101) (S102).
  • the detection method of the first and second user operations based on the state of the projection image is as described above.
  • FIG. 11 is a diagram showing an example of movement of the projection screen itself in the third embodiment.
  • the projection control apparatus 10 projects the projection screen 60 including the projection image 61 indicating a state (initial state) that permits the movement of the projection screen itself onto the projection plane 70 (S71). At this time, the projection control apparatus 10 can also be moved so that the projection image 61 in the initial state is floating on the projection plane 70.
  • the projection control apparatus 10 acquires part position information indicating the position of the fingertip of the user who uses the table serving as the projection plane 70 (S72). Further, the projection control apparatus 10 acquires projection position information indicating the position where the projection screen 60 is projected (S73). The projection control apparatus 10 can further acquire the position of the projection image 61 in the projection screen 60 as the projection position information.
  • the projection control apparatus 10 detects an operation in which the user's fingertip comes into contact with the projection screen 60 and the fingertip moves on the projection plane 70 (S74). As a start point of the user operation, the projection control apparatus 10 may detect a position where the user's fingertip contacts at least a part of the projection screen 60 or the projection plane 70 outside the projection screen 60.
  • the projection control apparatus 10 recognizes that the state of the projection image 61 in the projection screen 60 that is the target of the user operation detected in (S74) indicates the initial state (S101, S102; first user operation). Thereby, the projection control apparatus 10 moves the projection screen 60 to the position shown by the code
  • the projection images 81, 82, 83, and 84 whose state has been changed from the initial state to a state in which an in-screen operation can be received are processed in the same manner as in the example of FIG.
  • the projection control apparatus 10 provides operation buttons and the like for returning to the initial state in the projection images 81, 82, 83, and 84.
  • the projection control apparatus 10 switches from the projection images 81, 82, 83, and 84 in response to detection of a user operation on the operation button, and returns to the projection image 61 in the initial state again.
  • a user operation using the specific part on at least a part of the projection screen or outside the projection screen is detected. Then, based on the detected state of the projection image in the projection screen that is the target of the user operation, it is determined whether the user operation is the first or second user operation. Then, the projection direction of the projection device 7 or the projection image in the projection screen is changed according to the determination result.
  • the movement of the projection screen itself or the operation within the projection screen is switched in the state of the projection image within the projection screen, the process for distinguishing between the first and second user operations is simplified. And it is easy for the user to operate.
  • a projection control device and a projection control method according to the fourth embodiment will be described with reference to the drawings.
  • the movement of the projection screen itself and the change of the projection image in the projection screen are switched based on the shape of the specific part of the user as the operating body.
  • the fourth embodiment will be described with a focus on content different from the first embodiment, and the same content as the first embodiment will be omitted as appropriate.
  • FIG. 12 is a diagram conceptually illustrating a processing configuration example of the projection control apparatus 10 in the fourth embodiment.
  • the projection control apparatus 10 in the fourth embodiment further includes a shape recognition unit 17.
  • the shape recognition unit 17 is also realized in the same manner as other processing units.
  • the shape recognition unit 17 recognizes the shape of the specific part of the user.
  • the shape recognition unit 17 recognizes the shape of the specific part of the user recognized by the user position acquisition unit 13.
  • the shape of the specific part can be recognized by a well-known image recognition process for the two-dimensional image included in the sensor information. For example, when the user's hand is used as the specific part, various states such as a state where only one finger is raised, a state where a plurality of fingers are raised, a state where the finger is held, and an opened state can be recognized.
  • the shape recognition part 17 can also recognize the shape of a user's specific site
  • the method for recognizing the shape of the specific part is not limited.
  • the operation detection unit 15 distinguishes the first user operation and the second user operation based on the shape of the specific part at the time of detecting a user operation using at least a part of the projection screen or a specific part outside the projection screen. Detect separately. For example, when the detected user operation is an operation using a plurality of fingers, the operation detection unit 15 determines that the user operation is the first user operation, and the detected user operation uses one finger. If it is an operation that has been performed, the user operation is determined as the second user operation. In addition, when the detected user operation is an operation performed with both arms, the operation detection unit 15 determines that the user operation is a first predetermined user operation, and the detected user operation is an operation performed with one arm The user operation is determined as a second predetermined user operation.
  • the operation detection unit 15 determines that the user operation is the first user operation, and the detected user operation is in a state where the user grips the hand. If it is an operation, the user operation is determined as a second user operation.
  • the operation detection unit 15 sets a user operation with a small or small operation point as a second user operation and a user operation with a large or large operation point as a first user operation.
  • user operations with few or small operation points are assigned to operations within the projection screen, and user operations with many or large operation points are assigned to operations on the projection screen itself. Because it becomes.
  • the relationship between the shape of the specific part and the first and second user operations is not limited.
  • FIG. 13 is a flowchart showing an operation example of the projection control apparatus 10 in the fourth embodiment.
  • the execution subject of the projection control method in the fourth embodiment is the same as in the first embodiment. Since each process is the same as the processing content of the above-mentioned each process part which the projection control apparatus 10 has, the detail of each process is abbreviate
  • steps having the same processing contents as those in the first embodiment shown in FIG. 6 are denoted by the same reference numerals as those in FIG.
  • the projection control device 10 recognizes the shape of the specific part of the user at that time (S131).
  • the method for recognizing the shape of the specific part is as described above.
  • the projection control apparatus 10 determines whether or not the first or second user operation is detected based on the shape of the specific part of the user recognized in (S131) (S132).
  • the detection method of the first and second user operations based on the shape of the specific part is as described above.
  • a user operation using a specific part on at least a part of the projection screen or outside the projection screen is detected. And the shape of the specific part at the time of the user operation is recognized. Then, based on the recognized shape of the specific part, it is determined whether the user operation is the first or second user operation. Then, the projection direction of the projection device 7 or the projection image in the projection screen is changed according to the determination result.
  • the movement of the projection screen itself or the operation in the projection screen can be switched depending on the shape of the specific part serving as the operation body, it is possible to realize an operation feeling that is easy for the user to conceive. Further, the user can perform a desired operation only by changing the shape of the specific part used for the operation.
  • the processing configuration of the projection control apparatus 10 may be the same as that of the first embodiment. However, the processing content of the processing unit shown below is different from the first embodiment.
  • the user position acquisition unit 13 recognizes a plurality of positions of the user's hand as the specific part, and acquires part position information indicating the positions of the recognized positions of the hand. For example, the user position acquisition unit 13 recognizes a plurality of fingers of the user as the specific part, and acquires part position information indicating the position of each finger. Moreover, the user position acquisition part 13 can also recognize a palm with a some finger as a specific site
  • the operation detection unit 15 specifies the number of contacts at a part recognized by the user position acquisition unit 13 with respect to at least a part of the projection screen or outside the projection screen, and based on the specified number of contacts, the first user operation and The second user operation is distinguished and detected.
  • the operation detection unit 15 specifies the number of user's fingers that have touched at least a part of the projection screen or outside the projection screen.
  • the operation detection unit 15 sets the user operation as the first user operation when the number of contacts is greater than a predetermined number (for example, one), and if the number of contacts is equal to or less than the predetermined number, It is desirable to operate.
  • a user operation with few operation points is assigned to an operation in the projection screen, and a user operation with many operation points is assigned to an operation on the projection screen itself.
  • the relationship between the number of contacts and the first and second user operations is not limited.
  • FIG. 14 is a flowchart showing an operation example of the projection control apparatus 10 according to the modification of the fourth embodiment.
  • the execution subject is the same as in the first embodiment. Since each process is the same as the processing content of the above-mentioned each process part which the projection control apparatus 10 has, the detail of each process is abbreviate
  • processes having the same processing contents as those in the first embodiment shown in FIG. 6 are denoted by the same reference numerals as those in FIG. 6.
  • the projection control apparatus 10 recognizes a plurality of locations of the user's hand, and acquires site location information indicating the location of each location of the hand.
  • the projection control apparatus 10 specifies the number of contacts at the recognized location of the hand regarding the user operation detected in (S74) (S141).
  • the projection control apparatus 10 determines whether or not the first or second user operation is detected based on the number of contacts specified in (S141) (S142).
  • the detection method of the first and second user operations based on the number of contacts is as described above.
  • the shape of the specific part at the time of user operation can also be determined using the number of contacts of the specific part.
  • the user similarly to the fourth embodiment, the user can perform a desired operation only by changing the shape of the specific part used for the operation.
  • a projection control apparatus and a projection control method according to the fifth embodiment will be described with reference to the drawings.
  • the movement of the projection screen itself and the change of the projection image within the projection screen are switched based on the detected moving speed of the specific part in the user operation.
  • the fifth embodiment will be described focusing on the contents different from the first embodiment, and the same contents as the first embodiment will be omitted as appropriate.
  • the processing configuration of the projection control apparatus 10 in the fifth embodiment is the same as that in the first embodiment, but the processing content of the processing unit shown below is different from that in the first embodiment.
  • the operation detection unit 15 measures the moving speed of the specific part in the detected user operation based on the part position information acquired by the user position acquisition part 13 and the projection position information acquired by the projection position acquisition part 14. And the operation detection part 15 distinguishes and detects 1st user operation and 2nd user operation based on the measured moving speed. For example, in the case where the part position information is acquired by the user position acquisition unit 13 at the sensor information acquisition interval from the three-dimensional sensor 6, the operation detection unit 15 has a plurality of part position information based on the sensor information acquisition interval. It is possible to calculate the time spent on the operation distance obtained from.
  • the operation detection unit 15 can measure the moving speed by dividing the operation distance by the time. Further, the operation detection unit 15 includes time information in the sensor information obtained from the three-dimensional sensor 6, and can also measure the moving speed using the time information. The operation distance is calculated from the distance from the position where the user operation is started to the position where the user operation is ended.
  • the operation detection unit 15 determines that the first user operation is detected when the moving speed is faster than the predetermined speed, and determines that the second user operation is detected when the moving speed is slower than the predetermined speed. To do. The reverse determination may be made.
  • FIG. 15 is a flowchart showing an operation example of the projection control apparatus 10 in the fifth embodiment.
  • the execution subject of the projection control method in the fifth embodiment is the same as in the first embodiment. Since each process is the same as the processing content of the above-mentioned each process part which the projection control apparatus 10 has, the detail of each process is abbreviate
  • the projection control apparatus 10 measures the moving speed of the specific part in the user operation detected in (S74) (S151).
  • the method for measuring the moving speed is as described above.
  • the projection control apparatus 10 determines whether the first or second user operation has been detected based on the moving speed of the specific part measured in (S151) (S152).
  • the detection method of the first and second user operations based on the moving speed is as described above.
  • a user operation using a specific part on at least a part of the projection screen or outside the projection screen is detected. Then, the moving speed of the specific part in the user operation is measured, and it is determined based on the measured moving speed whether the user operation is the first or second user operation. Then, the projection direction of the projection device 7 or the projection image in the projection screen is changed according to the determination result.
  • FIG. 16 is a diagram conceptually illustrating a processing configuration example of the projection control apparatus according to the sixth embodiment.
  • the projection control apparatus 100 includes a projection processing unit 101, an operation detection unit 102, and a control unit 103.
  • the projection control apparatus 100 has the same hardware configuration as the projection control apparatus 10 shown in FIG.
  • Each processing unit included in the projection control apparatus 100 is implemented by processing a program in the same manner as the projection control apparatus 10, thereby realizing each processing unit described above.
  • Projection processing unit 101 projects an image on a projection apparatus capable of changing projection parameters for setting an image projection method.
  • Specific processing contents of the projection processing unit 101 include processing contents of the projection processing unit 11.
  • the projection apparatus corresponds to the projection apparatus 7 shown in FIG.
  • the projection apparatus according to the sixth embodiment is a projection apparatus that can change projection parameters including a projection direction.
  • the projection parameter is a setting that affects the entire projection screen projected by the projection device and can be changed by the projection device or other equipment, and is different from the image information related to the projection image displayed on the projection screen.
  • the projection parameter may be only the projection direction, one of parameters other than the projection direction, or a combination thereof.
  • the change of the projection direction is realized by the direction adjusting unit 8 included in the projection device 7.
  • Projection parameters other than the projection direction include zoom magnification, image quality (such as brightness and contrast), and the like. For example, by changing the zoom magnification, the size of the projection screen itself projected on the projection plane can be enlarged or reduced. However, if the size of the projection screen itself is changed, the size of the projection image in the projection screen is similarly changed following the change.
  • the operation detection unit 102 detects a user operation. Specific processing contents of the operation detection unit 102 include the processing contents of the operation detection unit 15 described above.
  • control unit 103 controls the projection apparatus to change the projection parameter to cause projection
  • control unit 103 controls the projection processing unit 101 to Control is performed to change the image (projected image) without changing the projection parameters.
  • the specific processing content of the control unit 103 includes the processing content of the control unit 16 described above.
  • the control unit 103 may change the projection parameter by itself or may cause the projection apparatus to change it.
  • the control unit 103 controls the projection apparatus to change the projection parameters other than the projection direction to project, and when the second user operation is detected, the projection processing unit 101 It is also possible to control to change the projection image without changing the projection parameter.
  • the control unit 16 increases the zoom magnification, enlarges the size of the projection screen itself projected on the projection surface, and detects the second user operation.
  • the size of the target projection image in the projection screen is enlarged.
  • the size of the projection screen itself is increased, the size of the projection image in the projection screen is also increased.
  • a change in the size of the projection image in the projection screen does not directly lead to a change in the size of the projection screen itself.
  • the change of the size of the target projection screen in the projection screen can be realized by changing the image information sent from the projection processing unit 11 to the projection device 7.
  • As a first user operation for changing the size of the projection screen itself it is desirable to assign a user operation using both arms as specific parts.
  • Projection control apparatus 100 may have content holding unit 12, or another computer may have them.
  • FIG. 17 is a flowchart illustrating an operation example of the projection control apparatus 100 according to the sixth embodiment.
  • the projection control method in the sixth embodiment is executed by at least one computer such as the projection control apparatus 100.
  • each process shown in the drawing is executed by each processing unit included in the projection control apparatus 100.
  • the projection control method in the sixth embodiment includes (S171) to (S175) as shown in FIG.
  • the projection control apparatus 100 causes the projection apparatus capable of changing the projection parameters for setting the projection method of the image to project the image.
  • the projection control apparatus 100 detects a user operation.
  • the projection control apparatus 100 When the first user operation is detected (S173; first user operation), the projection control apparatus 100 causes the projection apparatus to change the projection parameters and cause the projection apparatus to project (S174). Further, when a second user operation is detected (S173; second user operation), the projection control apparatus 100 changes the projection image in the projection screen without changing the projection parameter (S175).
  • S173 corresponds to (S76), (S92), (S102), (S132), (S142), and (S152) described above.
  • (S174) and (S175) correspond to (S77) and (S78) in the above respective drawings.
  • (S174) includes the change of the projection parameters other than the projection direction as described above.
  • the sixth embodiment may be a program that causes at least one computer to execute such a projection control method, or is a recording medium that can be read by at least one computer that records such a program. May be.
  • the projection control device 10 and the projection control device 100 may be connected to a plurality of projection devices 7.
  • the projection control device 10 and the projection control device 100 can project and control a plurality of projection screens separately so as to be able to handle individual user operations of a plurality of users.
  • the projection control apparatus 10 and the projection control apparatus 100 may increase the number of operating projection apparatuses 7 according to the number of participating users. Specifically, after a certain user operates a projection screen projected by a certain projection device 7, the projection control device 10 and the projection control device 100 project the projection screen onto the other projection device 7. To start.
  • the projection control apparatus 10 and the projection control apparatus 100 recognize a specific part (for example, an arm) of a plurality of users, detect a joint operation by the plurality of users, and perform the first user operation and the first operation based on the joint operation. Two user operations can also be detected separately.
  • Projection processing means for projecting an image onto a projection apparatus capable of changing projection parameters for setting an image projection method; Operation detecting means for detecting a user operation; When the first user operation is detected, the projection apparatus is controlled to change the projection parameter to project, and when the second user operation is detected, the projection processing unit is allowed to change the projection parameter.
  • Control means for controlling to change the image A projection control apparatus comprising:
  • the user position acquisition means which recognizes a user's specific site
  • Projection position acquisition means for acquiring projection position information indicating a position on which at least a part of a projection screen by the projection device is projected based on sensor information obtained from a three-dimensional sensor; Further comprising The operation detection means detects a user operation using the specific part on at least a part of the projection screen or outside the projection screen based on the part position information and the projection position information.
  • the projection control apparatus according to appendix 1.
  • the said operation detection means pinpoints the position of the said detected user operation, and distinguishes and detects said 1st user operation and said 2nd user operation based on the specified operation position,
  • the projection control apparatus according to attachment 2.
  • the said operation detection means measures the operation time of the said detected user operation, and distinguishes and detects said 1st user operation and said 2nd user operation based on the measured operation time.
  • the projection control apparatus according to appendix 2 or 3.
  • the said operation detection means specifies the state of the projection image in the projection screen used as the object of the said detected user operation, Based on the state of the specified projection image, said 1st user operation and Distinguishing and detecting the second user operation, The projection control apparatus according to any one of appendices 2 to 4.
  • Shape recognition means for recognizing the shape of the specific part of the user, Further comprising Based on the shape of the specific part at the time of detection of the user operation, the first user operation and the second user operation are distinguished and detected.
  • the projection control device according to any one of appendices 2 to 5.
  • the said user position acquisition means recognizes the multiple location of a user's hand as the said specific site
  • the operation detection means specifies the number of contacts of the recognized part of the hand with respect to at least a part of the projection screen or outside the projection screen, and based on the specified number of contacts, the first user operation and Distinguishing and detecting the second user operation,
  • the projection control device according to any one of appendices 2 to 5.
  • the said operation detection means measures the moving speed of the said specific site
  • the projection control apparatus according to any one of appendices 2 to 7.
  • a projection control method executed by at least one computer, Project the image on a projection device that can change the projection parameters to set the image projection method, Detect user actions, When a first user operation is detected, the projection apparatus changes the projection parameter to project, and when a second user operation is detected, the image is changed without changing the projection parameter.
  • a projection control method executed by at least one computer, Project the image on a projection device that can change the projection parameters to set the image projection method, Detect user actions, When a first user operation is detected, the projection apparatus changes the projection parameter to project, and when a second user operation is detected, the image is changed without changing the projection parameter.
  • the position of the detected user operation is specified. Further including The detection of the user operation is performed by distinguishing the first user operation and the second user operation based on the specified operation position.
  • the operation time of the detected user operation is measured, Further including The detection of the user operation is performed by distinguishing between the first user operation and the second user operation based on the measured operation time.
  • the state of the projection image in the projection screen used as the object of the said detected user operation is specified, Further including The detection of the user operation is performed by distinguishing between the first user operation and the second user operation based on the state of the identified projection image.
  • the projection control method according to any one of appendices 10 to 12.
  • Appendix 14 Recognizing the shape of the specific part of the user, Further including The detection of the user operation is performed by distinguishing between the first user operation and the second user operation based on the shape of the specific part at the time of detection of the user operation.
  • the projection control method according to any one of appendices 10 to 13.
  • part is a several location of a user's hand
  • the projection control method includes: Identifying the number of contact points of the hand recognized to at least part of the projection screen or outside the projection screen; Further including The detection of the user operation is performed by distinguishing the first user operation and the second user operation based on the specified number of contacts.
  • the projection control method according to any one of appendices 10 to 13.
  • the moving speed of the specific part in the detected user operation is measured. Further including The detection of the user operation is performed by distinguishing the first user operation and the second user operation based on the measured moving speed.
  • the projection control method according to any one of appendices 10 to 15.

Abstract

 本発明は、高い利便性で投影画像を提供する投影制御技術を実現する投影制御装置を提供する。その投影制御装置は、画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に任意の画像を投影させる投影処理部(101)と、ユーザ操作を検出する操作検出部(102)と、第一のユーザ操作が検出された場合、上記撮影装置に上記投影パラメータを変更して投影させるよう制御し、第二のユーザ操作が検出された場合、投影処理部(101)に上記投影パラメータを変更せず上記画像を変更させるよう制御する制御部(103)とを備える。

Description

投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体
 本発明は、投影画像を制御する技術に関する。
 広告や案内情報等を提示するデジタルサイネージが新しい情報媒体として普及しつつある。デジタルサイネージには、表示パネルを用いず、映像を壁面等に投影することで、情報提供を行うものも存在する。下記特許文献1には、このようなプロジェクタを用いた情報表示手法において、メガネを用いて視聴する者と裸眼で視聴する者とで、異なる画像を視聴させる手法が提案されている。具体的には、その提案手法は、階調値が圧縮された主画像を第一の偏光フィルタを介してスクリーンに投影する。かつ、その提案手法は、階調値が変更された副画像と当該主画像との諧調値の差に対応する補正画像を、第一の偏光フィルタとは異なる偏光成分を有する第二の偏光フィルタを介して上記スクリーンに投影する。
国際公開第2012/035768号
 上述の提案手法によれば、各視聴者は、好ましいほうの画像に応じた視聴方法(メガネを用いるか否か)を取ることで、好ましいほうの画像を見ることができる。しかしながら、上述の提案手法のように、画像が投影されるスクリーンが固定されている場合、各視聴者は、そのスクリーンが視認できる位置に移動し、かつ、そのスクリーンの方向を向く必要がある。
 本発明は、このような事情に鑑みてなされたものであり、高い利便性で投影画像を提供する投影制御技術を実現する。
 本発明の目的は、高い利便性で投影画像を提供する投影制御技術を実現する投影制御装置、投影制御方法及び記録媒体を提供することにある。
 本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
 本発明の第一の側面に係る投影制御装置は、画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる投影処理手段と、ユーザ操作を検出する操作検出手段と、第一のユーザ操作が検出された場合、上記投影装置に上記投影パラメータを変更して投影させるよう制御し、第二のユーザ操作が検出された場合、上記投影処理手段に上記投影パラメータを変更せず上記画像を変更させるよう制御する制御手段と、を有する。
 本発明の第二の側面に係る投影制御方法は、画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させ、ユーザ操作を検出し、第一のユーザ操作が検出された場合、上記投影装置に上記投影パラメータを変更して投影させ、第二のユーザ操作が検出された場合、上記投影パラメータを変更せず上記画像を変更する、ことを含む。
 本発明の第三の側面に係る投影制御プログラムを記録した記録媒体は、画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる処理と、ユーザ操作を検出する処理と、第一のユーザ操作が検出された場合、前記投影装置に前記投影パラメータを変更して投影させ、第二のユーザ操作が検出された場合、前記投影パラメータを変更せず前記画像を変更する処理と、を少なくとも1つのコンピュータに実行させる。
 上記各側面によれば、高い利便性で投影画像を提供する投影制御技術を実現することができる。
本発明の第一実施形態における投影制御装置のハードウェア構成例を概念的に示す図である。 IP(Interactive Projection)装置の外形例を簡易的に示す図である。 投影装置により投影される投影画面を概念的に示す図である。 投影画面の例を示す図である。 第一実施形態における投影制御装置の処理構成例を概念的に示す図である。 第一実施形態における投影制御装置の動作例を示すフローチャートである。 第一実施形態における投影画面自体の移動の例を示す図である。 投影画面内の投影画像(投影内容)の変更の例を示す図である。 本発明の第二実施形態における投影制御装置の動作例を示すフローチャートである。 本発明の第三実施形態における投影制御装置の動作例を示すフローチャートである。 第三実施形態における投影画面自体の移動の例を示す図である。 本発明の第四実施形態における投影制御装置の処理構成例を概念的に示す図である。 第四実施形態における投影制御装置の動作例を示すフローチャートである。 第四実施形態の変形例における投影制御装置の動作例を示すフローチャートである。 本発明の第五実施形態における投影制御装置の動作例を示すフローチャートである。 本発明の第六実施形態における投影制御装置の処理構成例を概念的に示す図である。 第六実施形態における投影制御装置の動作例を示すフローチャートである。
 以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
[第一実施形態]
 以下、第一実施形態における投影制御装置及び投影制御方法について複数の図面を用いて説明する。
 〔ハードウェア構成〕
 図1は、第一実施形態における投影制御装置10のハードウェア構成例を概念的に示す図である。投影制御装置10は、投影型のデジタルサイネージ装置であり、CPU(Central Processing Unit)2、メモリ3、通信ユニット4等を有する。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク等である。通信ユニット4は、他のコンピュータとの通信網を介した通信や、三次元センサ6、投影装置7等の他の機器との信号のやりとり等を行う。通信ユニット4には、可搬型記録媒体等も接続され得る。但し、三次元センサ6及び投影装置7と、投影制御装置10との間の通信形態は制限されない。投影制御装置10は、図1に図示されないハードウェア要素を含んでもよく、投影制御装置10のハードウェア構成は制限されない。
 三次元センサ6は、二次元像(画像)の情報、及び、三次元センサ6からの距離の情報(深度情報)を含むセンサ情報を取得する。三次元センサ6は、例えば、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報に基づいて、距離画像センサから検知対象までの距離(深度)が算出される。但し、三次元センサ6の実現手法は制限されない。三次元センサ6は、複数のカメラを用いる三次元スキャナ方式で実現されてもよい。
 投影装置7は、投影制御装置10から送られる画像情報に基づいて光を投影面に投射することにより、投影面上に画像を投影する。投影装置7は、投影方向を調整する手段(方向調整手段8)を含む。方向調整手段8は、例えば、光を投射する投射部の向きを変える機構、投射部から投射された光の向きを変える機構、及び、その他の機構の中のいずれか1つ、いずれか複数、又は全部により実現される。図1の例では、三次元センサ6と投影装置7とが別々の機器として表されているが、それらは、図2に例示されるように、1つの機器として実現されてもよい。但し、図2は実施例であり、三次元センサ6及び投影装置7の一体化構造は、図2の構造に制限されない。
 図2は、IP(Interactive Projection)装置9の外形例を簡易的に示す図である。IP装置9は、図2に示されるように、方向調整機構91、92及び93、投射部95及びセンシング部96等を有する。投射部95は、光を投射する部位であり、投影装置7の一部に相当する。センシング部96は、センサ情報の検出面であり、三次元センサ6の一部に相当する。図2に示されるように、センシング軸の方向と投影軸の方向とが並行となるように、投射部95及びセンシング部96が設置されている。
 方向調整機構91、92及び93は、方向調整手段8の実現手法の一例であり、投影軸及びセンシング軸の各方向を調整可能とする構造である。方向調整機構91は、各方向を紙面上、左右方向に変更可能とし、方向調整機構92は、各方向を紙面上、上下方向に変更可能とし、方向調整機構93は、各方向を紙面上、回転可能とする。但し、IP装置9は、投射部95及びセンシング部96が設置される筐体を動かすことなく、可動型のミラーや光学系機構を方向調整手段8として備えることもできる。
 図3は、投影装置7により投影される投影画面を概念的に示す図である。図3に示されるように、投影装置7は、投影面70に投影画面72を投影する。投影画面72は、投影面70上の投影領域の全てを意味する。上述の投影軸は、図3の符号71で示される。投影装置7の方向調整手段により、投影方向(投影軸71の方向)を変えることで、投影画面72自体を投影面70上で移動させることができる。
 図4は、投影画面の例を示す図である。投影装置7は、投影制御装置10から送られる画像情報に基づいて、投影画面72内に投影画像を表示する。図4の例では、投影画面72内には、投影画像75、76及び77が表示され、投影画面72内には、投影画像75、76及び77の表示領域以外の領域78も含まれる。この領域は、投影背景領域78と表記される。投影背景領域78についても、投影制御装置10から送られる画像情報に基づいて設定される。
 本明細書では、投影画面とは、投影装置7から投射される光により投影面上に表れる投影像の全領域を意味し、画像又は投影画像とは、投影画面内に表示される画像を意味する。また、画面内操作とは、投影画面内のユーザ操作を意味する。
 〔処理構成〕
 図5は、第一実施形態における投影制御装置10の処理構成例を概念的に示す図である。投影制御装置10は、投影処理部11、コンテンツ保持部12、ユーザ位置取得部13、投影位置取得部14、操作検出部15、制御部16等を有する。これら各処理部は、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ3に格納されてもよい。
 投影処理部11は、投影装置7に画像を投影させる。具体的には、投影処理部11は、コンテンツ保持部12に保持される画像情報を投影装置7に送ることで、その画像情報に対応する投影画像を投影装置7に投影させる。画像及び画像情報の内容は制限されない。このとき、図4に例示されるように、投影面には、投影画面72が投影され、その投影画面72内にその投影画像が表示(投影)される。
 また、投影処理部11は、後述の制御部16の指示により、投影画面内の投影内容(投影画像)を変更する。具体的には、投影処理部11は、その指示に対応して変更された投影画像を示す画像情報を投影装置7に送る。投影画像の変更には、移動、拡大、縮小、回転、表示内容の遷移等、様々態様が含まれる。
 コンテンツ保持部12は、投影装置7に投影される画像を形成するための複数の画像情報を保持する。各画像情報には、上記投影画面内の所定位置にそれぞれ表示される文字、図柄、映像等の画像が示される。コンテンツ保持部12に保持される画像情報は、例えば、アプリケーションプログラムがCPU2により実行されることで生成する表示データである。保持される画像情報の態様は制限されない。
 ユーザ位置取得部13は、三次元センサ6から得られるセンサ情報に基づいてユーザの特定部位を認識し、認識された特定部位の位置を示す部位位置情報を取得する。具体的には、ユーザ位置取得部13は、センサ情報に含まれる画像情報及び深度情報の少なくとも一方を用いて、ユーザの特定部位を認識する。認識される特定部位は、ユーザが操作を行う上で用いる、体の一部(指先等)、又は、操作具である。画像から特定部位を認識する手法については、周知のオブジェクト認識手法が利用されればよい。認識手法の一例としては、ユーザ位置取得部13は、画像情報から特徴量を用いて人の頭部を認識し、画像情報と距離情報とを用いて、その人の頭部との位置関係及び特徴量から当該特定部位を認識する。
 ユーザ位置取得部13は、センサ情報に含まれる二次元像情報及び距離情報に基づいて、上述のように認識されたユーザの特定部位の位置情報を取得する。例えば、ユーザ位置取得部13は、三次元センサ6の位置及び向きを基準に設定された三次元座標空間における、当該特定部位の位置情報を取得することができる。
 投影位置取得部14は、三次元センサ6から得られるセンサ情報に基づいて投影画面の少なくとも一部が投影される位置を示す投影位置情報を取得する。例えば、投影位置取得部14は、投影装置7の位置及び投影方向並びにセンサ情報に基づいて、投影装置7から投影面までの距離(投影距離)を認識することができる。そして、投影位置取得部14は、その距離及び投影装置7の投影仕様に基づいて、上述の三次元座標空間における、投影画面が投影されている位置を特定することができる。投影画面が投影されている位置は、その三次元座標空間上の投影画面に相当する平面の位置で表すことができる。
 また、図4に示されるように、投影画面内には投影画像が表示されるため、投影位置取得部14は、投影画面の少なくとも一部としての投影画像が投影される位置を、次のようにして特定することもできる。投影位置取得部14は、上述のように特定された投影画面の位置と、投影処理部11で処理される画像情報から得られる投影画面内のその投影画像の位置とに基づいて、上述の三次元座標空間におけるその投影画像の位置の情報を取得することができる。
 操作検出部15は、ユーザ操作を検出する。具体的には、操作検出部15は、ユーザ位置取得部13により取得された部位位置情報及び投影位置取得部14により取得された投影位置情報に基づいて、投影画面の少なくとも一部又は投影画面外に対する当該特定部位を用いたユーザ操作を検出する。例えば、操作検出部15は、特定部位で、投影画面内又は外の任意の箇所を触り、直ぐに投影面から離す操作(以降、タップ操作と表記する)を検出する。また、操作検出部15は、特定部位で投影画面内又は外の任意の箇所を所定時間以上触り、その状態のまま投影面上で特定部位を移動させ、その後、投影面から離す操作(以降、ドラッグ操作と表記する)を検出する。その他、操作検出部15は、フリック操作やスワイプ操作等を検出することもできる。ここでは、スワイプ操作は、任意の箇所を触り、ドラッグ操作で用いられた上記所定時間経たないうちに、投影画面上で特定部位を移動させる操作を意味するため、ドラッグ操作と区別される。但し、操作検出部15により検出されるユーザ操作は制限されない。
 操作検出部15は、その検出されたユーザ操作の位置を特定する。検出されたユーザ操作に応じて、特定される位置は1つ又は複数となる。例えば、上述のタップ操作では、特定部位が投影画面内又は外に触れた位置がユーザ操作の位置として特定される。上述のドラッグ操作では、特定部位が投影画面内又は外に最初に触れた位置から、特定部位が投影面から離れる位置までの移動軌跡上の複数位置がユーザ操作の位置として特定される。特定されたユーザ操作の位置は、共通の三次下座標空間にマッピングされる。
 操作検出部15は、特定されたユーザ操作の位置に基づいて、少なくとも2つのタイプのユーザ操作を区別して検出する。この2つのタイプのユーザ操作は、第一のユーザ操作と第二のユーザ操作と表記される。例えば、操作検出部15は、その検出されたユーザ操作が開始された位置、又は、終了した位置、若しくは、それら両方がどのような場所かを投影処理部11により処理される画像情報を用いて判断する。そして、操作検出部15は、その結果に応じて、そのユーザ操作を第一又は第二のユーザ操作として検出する。第一のユーザ操作とは、投影画面自体を移動させるために割り当てられる操作であり、第二のユーザ操作とは、投影画面内の投影画像を変えるために割り当てられる操作である。
 〔ユーザ操作の検出例〕
 以下、第一実施形態における、第一及び第二のユーザ操作の検出例を挙げる。但し、操作検出部15の処理は、以下の具体例に制限されない。
 操作検出部15は、検出されたユーザ操作が開始された位置が投影画面内の画面内操作に割り当てられていない箇所にある場合に、その操作を第一のユーザ操作として検出し、その位置が投影画面内の画面内操作に割り当てられている箇所にある場合に、その操作を第二のユーザ操作として検出する。例えば、投影画面内で単に情報や画像を表示する領域は、画面内操作に割り当てられていない箇所と判断できる。逆に、投影画面内で選択操作等の何らかの入力操作を期待する箇所は、画面内操作に割り当てられている箇所と判断できる。
 操作検出部15は、検出されたユーザ操作が開始された位置が投影画面内であり、かつ、そのユーザ操作の終了位置が投影画面外である場合に、その操作を第一のユーザ操作として検出し、開始位置及び終了位置が共に投影画面内である場合に、その操作を第二のユーザ操作として検出してもよい。
 他の例として、操作検出部15は、検出されたユーザ操作が開始された位置が投影画面内の投影背景領域である場合に、その操作を第一のユーザ操作として検出し、その位置が投影画面内の投影画像上にある場合に、その操作を第二のユーザ操作として検出することもできる。投影背景領域は、図4において符号78で示されている。
 更に他の例として、操作検出部15は、検出されたユーザ操作が開始された位置が投影画面外である場合に、その操作を第一のユーザ操作として検出し、その位置が投影画面内である場合に、その操作を第二のユーザ操作として検出することもできる。操作検出部15は、三次元座標空間において投影画面に相当する平面をそのままの位置で拡大した平面上にユーザの特定部位が存在するか否かで、投影画面外の接触操作を検出することができる。
 また、操作検出部15は、検出されたユーザ操作が開始された位置が投影画面内の専用の操作画像(アイコンなど)上にある場合に、その操作を第一のユーザ操作として検出し、その位置がその専用の操作画像外である場合に、その操作を第二のユーザ操作として検出することもできる。この場合、投影処理部11により処理される画像情報には、専用の操作画像が含まれる。
 制御部16は、操作検出部15により第一のユーザ操作が検出された場合、投影装置7の投影方向を変えて投影面に写される投影画面自体を移動させ、第二のユーザ操作が検出された場合、その投影方向を変えず投影画面内の投影内容(投影画像)を変える。例えば、制御部16は、第一のユーザ操作が検出された場合、次のように投影装置7の投影方向を変える。
 制御部16は、検出されたユーザ操作に応じて、投影画面の移動パラメータ(方向、速度、距離等)を決定する。投影画面の移動パラメータは、検出されたユーザ操作により示される特定部位の移動方向、移動速度、移動距離等によって決めることができる。制御部16は、その算出された移動パラメータを、投影装置7の投影方向の変更パラメータに変換する。この変換手法については、周知の幾何学的手法が用いられればよい。この変換手法は、例えば、投影位置取得部14による投影位置の計算の逆計算により実現可能である。変更パラメータには、例えば、変更すべき向き、変更速度等が含まれる。制御部16は、投影方向の変更パラメータを含む投影方向の変更指示を投影装置7に送る。これにより、投影装置7は、取得された変更パラメータに応じて、方向調整手段8に投影方向を変更させることで、指示された投影方向に投影画面を投影し、結果として、投影面に投影される投影画面自体を移動させる。
 一方、制御部16は、第二のユーザ操作が検出された場合、次のようにして、投影画面内の投影画像を変えることができる。例えば、制御部16は、その検出されたユーザ操作がどのような画面内操作であるのかを判定する。画面内操作としては、一般的なコンピュータで可能とされている、ディスプレイ等の表示部における表示に対する、キーボードやマウス等のユーザインタフェース機器を用いた様々な操作が存在し得る。例えば、この画面内操作の内容は、画像の移動、画像の拡大、縮小及び回転、ハイパーリンクや選択ボタンやメニューの選択、表示スクロール、表示遷移等、様々であり、制限されない。制御部16は、検出されたユーザ操作に対応する画面内操作に応じた投影画像となるように、投影処理部11に指示する。これにより、その画面内操作に応じて表示状態が変更された画像情報が投影処理部11から投影装置7に送られ、結果、投影画面自体は移動せず、投影画面内の投影画像が変更される。
 〔動作例/投影制御方法〕
 以下、第一実施形態における投影制御方法について図6を用いて説明する。
 図6は、第一実施形態における投影制御装置10の動作例を示すフローチャートである。図6に示されるように、第一実施形態における投影制御方法は、投影制御装置10のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、投影制御装置10が有する各処理部により実行される。各工程は、投影制御装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
 投影制御装置10は、画像を投影装置7に投影させる(S71)。具体的には、投影制御装置10は、画像情報を投影装置7に送信することで、画像情報に対応する投影画像を投影面70に投影させる。これにより、投影面には投影画面が投影され、その投影画面内にその投影画像が表示される。
 投影制御装置10は、三次元センサ6から取得されるセンサ情報に基づいてユーザの特定部位を認識し、その認識された特定部位の位置を示す部位位置情報を取得する(S72)。特定部位の位置は、投影制御装置10で共有される三次元座標空間にマッピングされる。
 投影制御装置10は、三次元センサ6から取得されるセンサ情報に基づいて投影画面の少なくとも一部が投影される位置を示す投影位置情報を取得する(S73)。投影画面が投影されている位置の取得手法については上述のとおりであり、投影画面内の各投影画像の位置については、(S71)でそれら投影画像を投影させるための画像情報に基づいて特定される。投影位置についても投影制御装置10で共有される三次元座標空間にマッピングされる。
 投影制御装置10は、(S72)で取得された部位位置情報、及び、(S73)で取得された投影位置情報に基づいて、投影画面の少なくとも一部又は投影画面外に対する特定部位を用いたユーザ操作を検出する(S74)。
 続いて、投影制御装置10は、(S74)で検出されたユーザ操作の位置を特定する(S75)。特定された操作位置についても投影制御装置10で共有される三次元座標空間にマッピングされる。
 投影制御装置10は、(S75)で特定されたユーザ操作の位置に基づいて、第一又は第二のユーザ操作が検出されたか否かを判定する(S76)。ユーザ操作の位置に基づく第一及び第二のユーザ操作の検出手法については上述したとおりである。
 投影制御装置10は、第一のユーザ操作が検出されたと判断すると(S76;第一のユーザ操作)、投影装置7の投影方向を変更する(S77)。具体的には、投影制御装置10は、投影方向の変更指示を投影装置7に送る。投影制御装置10は、第二のユーザ操作が検出されたと判断すると(S76;第二のユーザ操作)、投影方向を変更せず、投影画面内の投影画像を変更する(S78)。
 投影制御装置10は、(S77)又は(S78)の実行後、若しくは、第一又は第二のユーザ操作が検出されていないと判断した場合(S76;NO)、(S72)以降を再度実行する。
 上述の投影制御方法の実施例について図7及び図8を用いて説明する。図7及び図8には、上述の投影制御方法の実施シーンの例が示される。図7及び図8の例では、投影面70がユーザの利用するテーブルであり、投影装置7は、そのテーブルの上方に、そのテーブルの方向を向いて設置されている。図7及び図8には図示されていないが、投影装置7の近くには三次元センサ6も同様の向きに設置されている。
 図7は、第一実施形態における投影画面自体の移動の例を示す図である。
 投影制御装置10は、投影画像81、82、83及び84を投影面70の中央に投影させる(S71)。これにより、投影画面72内に投影画像81、82、83及び84が表示される。
 投影制御装置10は、投影面70となるテーブルを利用するユーザの指先の位置を示す部位位置情報を取得する(S72)。更に、投影制御装置10は、投影画面72が投影されている位置、及び、投影画面72内の投影画像81、82、83及び84の位置を示す投影位置情報を取得する(S73)。
 投影制御装置10は、ユーザの指先が投影画面72内の位置85に接触し、かつ、その指先が投影面70上、方向87に移動する操作を検出する(S74)。
 投影制御装置10は、検出されたユーザ操作の開始点となる位置85、移動後の位置(移動方向87を含む)等を特定する。
 (S74)で検出されたユーザ操作が開始された位置85が、投影画面72内の投影背景領域78にあるため、投影制御装置10は、そのユーザ操作を第一のユーザ操作と判断する(S76;第一のユーザ操作)。これにより、投影制御装置10は、投影装置7の投影方向を変更することで、投影画面72を符号80で示される位置に移動させる(S77)。
 図8は、投影画面内の投影画像(投影内容)の変更の例を示す図である。図8には、図7に示されていた投影画面72が上述のように移動された後の投影画面80が示される。投影画面80は、投影面70であるテーブルのユーザの近接するエリアに投影されている。
 投影制御装置10は、当該ユーザの指先の位置を示す部位位置情報を取得する(S72)。投影制御装置10は、投影画面80が投影されている位置、及び、投影画面80内の投影画像81等の位置を示す投影位置情報を取得する(S73)。
 投影制御装置10は、ユーザの指先が投影画面80内の位置88に接触し、かつ、その指先が投影面70上、方向89に移動する操作を検出する(S74)。投影制御装置10は、検出されたユーザ操作の開始点となる位置88、移動後の位置(移動方向89を含む)等を特定する。
 (S74)で検出されたユーザ操作が開始された位置88が、投影画面80内の投影画像81上にあるため、投影制御装置10は、そのユーザ操作を第二のユーザ操作と判断する(S76;第二のユーザ操作)。これにより、投影制御装置10は、投影方向を変更することなく、投影画像88を投影画面80内で方向89に移動させることで、投影画面80の投影画像(投影内容)を変更する(S78)。この場合、投影制御装置10は、投影画像88が投影画面80内で移動する様子を示す画像情報を投影装置7に送ることで、投影画像88を投影画面80内で移動させる。
 〔第一実施形態の作用及び効果〕
 上述のように、第一実施形態では、ユーザの特定部位の位置を示す部位位置情報及び投影画面の少なくとも一部が投影されている位置を示す投影位置情報が取得される。そして、各位置情報に基づいて、投影画面の少なくとも一部又は投影画面外に対するその特定部位を用いたユーザ操作が検出される。そして、検出されたユーザ操作の位置に基づいて、そのユーザ操作が第一又は第二のユーザ操作であるか否かが判断され、この判断結果に応じて、投影装置7の投影方向、又は、投影画面内の投影画像が変更される。具体的には、第一のユーザ操作が検出された場合には、投影装置7の投影方向が変更され、結果として、投影面に写される投影画面自体が移動する。第二のユーザ操作が検出された場合には、投影方向を変えず投影画面内の投影画像が変更される。
 従って、第一実施形態によれば、ユーザは、第一のユーザ操作を行うことで、投影画面自体を移動させることができ、ひいては、図7及び図8に例示される実施シーンのように、複数のユーザによる投影画面の共有が可能となる。各ユーザは、各自利用し易い位置に投影画面を移動させることができるからである。このような投影画面の共有を、ディスプレイ等の表示部を用いる形態で実現するためには、その表示部自体を各ユーザが移動する必要があるため、使い勝手が悪い。第一実施形態によれば、ユーザ端末を用いることなく、簡単操作で投影画面を複数人で共有できる環境を提供することができる。つまり、高い利便性で投影画像を提供することができる。
 更に、投影画面の少なくとも一部又は投影画面外に対するユーザ操作の位置に応じて、投影画面自体の移動と投影画面内の投影画像の変更とが切り替えられるため、ユーザにとって使い易い状態で投影画像を提供することができる。
[第二実施形態]
 以下、第二実施形態における投影制御装置及び投影制御方法について図面を用いて説明する。第二実施形態では、ユーザ操作の時間に基づいて、投影画面自体の移動と投影画面内の投影画像の変更とが切り替えられる。以下、第二実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。
 〔処理構成〕
 第二実施形態における投影制御装置10の処理構成は、第一実施形態と同様であるが、以下に示す処理部の処理内容が第一実施形態と異なる。
 操作検出部15は、上述のように検出された、投影画面の少なくとも一部又は投影画面外に対する当該特定部位を用いたユーザ操作の時間(操作時間)を計測し、計測された操作時間に基づいて、第一のユーザ操作及び第二のユーザ操作を区別して検出する。操作時間は、投影画面の少なくとも一部又は投影画面外の或る位置に特定部位が留まった時間を含む。例えば、上述のタップ操作では、特定部位が投影画面内又は外に触れた時間が計測される。上述のドラッグ操作では、特定部位が投影画面内又は外に最初に触れた位置での特定部位の留まった時間が計測される。
 例えば、操作検出部15は、検出されたユーザ操作が所定時間より長い操作時間を含む場合、そのユーザ操作を第一のユーザ操作として検出し、検出されたユーザ操作が所定時間より長い操作時間を含まない場合、そのユーザ操作を第二のユーザ操作として検出する。所定時間は予め操作検出部15により保持される。更に具体的には、操作検出部15は、上述のドラッグ操作を第一のユーザ操作として検出し、上述のスワイプ操作、タップ操作、フリック操作等の他の操作を第二のユーザ操作として検出する。また、操作検出部15は、ドラッグ操作とは異なり、特定部位が、投影画面内又は外の或る位置に所定時間より長く接触し、その後、投影面から離れ、その後、所定時間内に投影面上の他の位置に接触する操作を第一のユーザ操作として検出することもできる。
 〔動作例/投影制御方法〕
 以下、第二実施形態における投影制御方法について図9を用いて説明する。
 図9は、第二実施形態における投影制御装置10の動作例を示すフローチャートである。第二実施形態における投影制御方法の実行主体については、第一実施形態と同様である。各工程は、投影制御装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。図9では、図6に示される第一実施形態と同じ処理内容の工程については、図6と同じ符号が付されている。
 投影制御装置10は、(S74)で検出されたユーザ操作の操作時間を計測する(S91)。
 投影制御装置10は、(S91)で計測された操作時間に基づいて、第一又は第二のユーザ操作が検出されたか否かを判定する(S92)。操作時間に基づく第一及び第二のユーザ操作の検出手法については上述したとおりである。
 〔第二実施形態における作用及び効果〕
 上述のように、第二実施形態では、投影画面の少なくとも一部又は投影画面外に対する当該特定部位を用いたユーザ操作の時間が計測され、この操作時間が考慮されて、そのユーザ操作が第一又は第二のユーザ操作であるか否かが判断される。そして、その判断結果に応じて、投影装置7の投影方向、又は、投影画面内の投影画像が変更される。
 第二実施形態によれば、投影画面の少なくとも一部又は投影画面外に対する当該特定部位を用いたユーザ操作の時間に基づいて、投影画面自体の移動と投影画面内の投影画像の変更とを切り替えるための操作(第一のユーザ操作及び第二のユーザ操作)を設定することができる。上述の具体例のように、ドラッグ操作を投影画面自体の移動のための操作とし、それ以外を投影画面内の投影画像の変更のための操作とすることができ、ユーザにとってイメージし易い操作を実現することができる。
[第三実施形態]
 以下、第三実施形態における投影制御装置及び投影制御方法について図面を用いて説明する。第三実施形態では、ユーザ操作の対象となった投影画面内の投影画像の状態に基づいて、投影画面自体の移動と投影画面内の投影画像の変更とが切り替えられる。以下、第三実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。
 〔処理構成〕
 第三実施形態における投影制御装置10の処理構成は、第一実施形態と同様であるが、以下に示す処理部の処理内容が第一実施形態と異なる。
 操作検出部15は、検出されたユーザ操作の対象となる投影画面内の投影画像の状態を特定し、特定された投影画像の状態に基づいて、第一のユーザ操作及び第二のユーザ操作を区別して検出する。例えば、操作検出部15は、投影画面の少なくとも一部又は投影画面外に対する当該特定部位を用いたユーザ操作が検出された際に、投影処理部11により処理される画像情報に基づいて、投影画面内の投影画像の状態を特定することができる。この特定は、投影画像の状態が投影画面自体の移動を許可する状態か否かを決定することを意味する。
 例えば、操作検出部15は、投影画像が画面内操作を受け付ける状態か否か、投影画像が初期状態を示す初期画像か否かなどを当該状態として特定する。操作検出部15は、投影画像が画面内操作を受け付けない状態を示す場合には、そのユーザ操作を第一のユーザ操作として検出し、投影画像が画面内操作を受け付ける状態を示す場合には、そのユーザ操作を第二のユーザ操作として検出する。また、操作検出部15は、投影画像が初期画像である場合には、そのユーザ操作を第一のユーザ操作として検出し、投影画像が初期画像でない場合には、そのユーザ操作を第二のユーザ操作として検出する。但し、特定される投影画像の状態と第一及び第二のユーザ操作との関係は制限されない。
 〔動作例/投影制御方法〕
 以下、第三実施形態における投影制御方法について図10を用いて説明する。
 図10は、第三実施形態における投影制御装置10の動作例を示すフローチャートである。第三実施形態における投影制御方法の実行主体については、第一実施形態と同様である。各工程は、投影制御装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。図10では、図6に示される第一実施形態と同じ処理内容の工程については、図6と同じ符号が付されている。
 投影制御装置10は、(S74)で検出されたユーザ操作の対象となる投影画面内の投影画像の状態を特定する(S101)。
 投影制御装置10は、(S101)で特定された投影画像の状態に基づいて、第一又は第二のユーザ操作が検出されたか否かを判定する(S102)。投影画像の状態に基づく第一及び第二のユーザ操作の検出手法については上述したとおりである。
 図11は、第三実施形態における投影画面自体の移動の例を示す図である。
 投影制御装置10は、投影画面自体の移動を許可する状態(初期状態と表記)を示す投影画像61を含む投影画面60を投影面70に中央に投影させる(S71)。このとき、投影制御装置10は、初期状態の投影画像61が投影面70上を浮遊しているように、移動させることもできる。
 投影制御装置10は、投影面70となるテーブルを利用するユーザの指先の位置を示す部位位置情報を取得する(S72)。更に、投影制御装置10は、投影画面60が投影されている位置を示す投影位置情報を取得する(S73)。投影制御装置10は、投影画面60内の投影画像61の位置をその投影位置情報として更に取得することもできる。
 投影制御装置10は、ユーザの指先が投影画面60内に接触し、かつ、その指先が投影面70上、移動する操作を検出する(S74)。そのユーザ操作の開始点として、投影制御装置10は、ユーザの指先が、投影画面60内の少なくとも一部、又は、投影画面60外の投影面70上に接触する位置を検出してもよい。
 投影制御装置10は、(S74)で検出されたユーザ操作の対象となる投影画面60内の投影画像61の状態が初期状態を示すことを認識する(S101、S102;第一のユーザ操作)。これにより、投影制御装置10は、投影装置7の投影方向を変更することで、投影画面60を符号62で示される位置に移動させる(S77)。投影制御装置10は、投影画面60の移動完了後、投影画像61の状態を初期状態から画面内操作を受け付け得る状態に自動で移行させることもできる。この表示状態の移行として、投影制御装置10は、図11に示されるように、投影画像61から切り替えて、投影画像81、82、83及び84を投影装置7に投影させる。
 状態が初期状態から画面内操作を受け付け得る状態に変更された投影画像81、82、83及び84は、以降、図8の例と同様に、処理される。この場合、投影制御装置10は、投影画像81、82、83及び84に、初期状態に戻るための操作ボタン等を設ける。投影制御装置10は、この操作ボタンに対するユーザ操作の検出に応じて、投影画像81、82、83及び84から切り替えて、初期状態の投影画像61に再度戻す。
 〔第三実施形態における作用及び効果〕
 上述のように、第三実施形態では、投影画面の少なくとも一部又は投影画面外に対する当該特定部位を用いたユーザ操作が検出される。そして、その検出されたユーザ操作の対象となる投影画面内の投影画像の状態に基づいて、そのユーザ操作が第一又は第二のユーザ操作であるか否かが判断される。そして、その判断結果に応じて、投影装置7の投影方向、又は、投影画面内の投影画像が変更される。
 第三実施形態によれば、投影画面内の投影画像の状態で、投影画面自体の移動か、投影画面内の操作かが切り替えられるため、第一及び第二のユーザ操作を区別する処理を簡易化することができ、ユーザにとっても操作し易くすることができる。
[第四実施形態]
 以下、第四実施形態における投影制御装置及び投影制御方法について図面を用いて説明する。第四実施形態では、操作体となるユーザの特定部位の形状に基づいて、投影画面自体の移動と投影画面内の投影画像の変更とが切り替えられる。以下、第四実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。
 〔処理構成〕
 図12は、第四実施形態における投影制御装置10の処理構成例を概念的に示す図である。第四実施形態における投影制御装置10は、形状認識部17を更に有する。形状認識部17についても他の処理部と同様に実現される。
 形状認識部17は、ユーザの特定部位の形状を認識する。形状認識部17は、ユーザ位置取得部13により認識されたユーザの特定部位に関し、その形状を認識する。特定部位の形状は、センサ情報に含まれる二次元画像に対する周知の画像認識処理により、認識され得る。例えば、特定部位としてユーザの手が用いられる場合、一本だけ指を立てた状態、複数本指を立てた状態、握った状態、開いた状態等、様々な状態が認識され得る。また、形状認識部17は、データグローブやデータスーツに搭載されるひずみセンサ等のような、図示されない他のセンサから得られる情報に基づいて、ユーザの特定部位の形状を認識することもできる。当該特定部位の形状の認識手法は制限されない。
 操作検出部15は、投影画面の少なくとも一部又は投影画面外に対する特定部位を用いたユーザ操作の検出時におけるその特定部位の形状に基づいて、第一のユーザ操作及び第二のユーザ操作を区別して検出する。例えば、操作検出部15は、検出されたユーザ操作が複数本の指を用いた操作である場合、そのユーザ操作を第一のユーザ操作と判断し、検出されたユーザ操作が一本指を用いた操作である場合、そのユーザ操作を第二のユーザ操作と判断する。また、操作検出部15は、検出されたユーザ操作が両腕で行う操作である場合、そのユーザ操作を第一の所定ユーザ操作と判断し、検出されたユーザ操作が片腕で行う操作である場合、そのユーザ操作を第二の所定ユーザ操作と判断する。 また、操作検出部15は、検出されたユーザ操作が手のひらを開いた状態の操作である場合、そのユーザ操作を第一のユーザ操作と判断し、検出されたユーザ操作が手を握った状態の操作である場合、そのユーザ操作を第二のユーザ操作と判断する。
 上記例のように、操作検出部15は、操作点が少ない又は小さいユーザ操作を第二のユーザ操作とし、操作点が多い又は大きいユーザ操作を第一のユーザ操作とすることが望ましい。このようにすれば、操作点が少ない又は小さいユーザ操作が投影画面内の操作に割り当てられ、操作点が多い又は大きいユーザ操作が投影画面自体の操作に割り当てられるため、ユーザによって把握し易い操作となるからである。但し、特定部位の形状と第一及び第二のユーザ操作との関係は制限されない。
 〔動作例/投影制御方法〕
 以下、第四実施形態における投影制御方法について図13を用いて説明する。
 図13は、第四実施形態における投影制御装置10の動作例を示すフローチャートである。第四実施形態における投影制御方法の実行主体については、第一実施形態と同様である。各工程は、投影制御装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。図13では、図6に示される第一実施形態と同じ処理内容の工程については、図6と同じ符号が付されている。
 投影制御装置10は、(S74)でユーザ操作が検出されると、そのときのユーザの特定部位の形状を認識する(S131)。特定部位の形状の認識手法については上述したとおりである。
 投影制御装置10は、(S131)で認識されたユーザの特定部位の形状に基づいて、第一又は第二のユーザ操作が検出されたか否かを判定する(S132)。特定部位の形状に基づく第一及び第二のユーザ操作の検出手法については上述したとおりである。
 〔第四実施形態における作用及び効果〕
 上述のように、第四実施形態では、投影画面の少なくとも一部又は投影画面外に対する特定部位を用いたユーザ操作が検出される。そして、そのユーザ操作時のその特定部位の形状が認識される。そして、その認識された特定部位の形状に基づいて、そのユーザ操作が第一又は第二のユーザ操作であるか否かが判断される。そして、その判断結果に応じて、投影装置7の投影方向、又は、投影画面内の投影画像が変更される。
 第四実施形態によれば、操作体となる特定部位の形状で、投影画面自体の移動か、投影画面内の操作かが切り替えられるため、ユーザにとって観念し易い操作感を実現することができる。また、ユーザは、操作に用いる特定部位の形状を変えるだけで、所望の操作を行うことができる。
[第四実施形態の変形例]
 第四実施形態において、ユーザの特定部位の形状を認識しなくとも、同様の効果を得ることもできる。この変形例では、投影制御装置10の処理構成は、第一実施形態と同様であればよい。但し、以下に示す処理部の処理内容が第一実施形態と異なる。
 ユーザ位置取得部13は、特定部位として、ユーザの手の複数箇所を認識し、認識された手の複数箇所の位置を示す部位位置情報を取得する。例えば、ユーザ位置取得部13は、特定部位として、ユーザの複数の指を認識し、各指の位置を示す部位位置情報を取得する。また、ユーザ位置取得部13は、特定部位として、複数の指と共に手のひらを認識し、各指の位置及び手のひらの位置を示す部位位置情報を取得することもできる。手のひらの位置は、手のひらの中央の一点の位置により示されてもよい。
 操作検出部15は、投影画面の少なくとも一部又は投影画面外に対する、ユーザ位置取得部13により認識された箇所の接触数を特定し、特定された接触数に基づいて、第一のユーザ操作及び第二のユーザ操作を区別して検出する。上記例では、操作検出部15は、投影画面の少なくとも一部又は投影画面外に接触したユーザの指の数を特定する。操作検出部15は、接触数が所定数(例えば1つ)よりも多い場合、そのユーザ操作を第一のユーザ操作とし、接触数が所定数以下である場合、そのユーザ操作を第二のユーザ操作とすることが望ましい。このようにすれば、操作点が少ないユーザ操作が投影画面内の操作に割り当てられ、操作点が多いユーザ操作が投影画面自体の操作に割り当てられるため、ユーザによって把握し易い操作となるからである。但し、接触数と第一及び第二のユーザ操作との関係は制限されない。
 〔動作例/投影制御方法〕
 以下、第四実施形態の変形例における投影制御方法について図14を用いて説明する。
 図14は、第四実施形態の変形例における投影制御装置10の動作例を示すフローチャートである。実行主体については、第一実施形態と同様である。各工程は、投影制御装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。図14では、図6に示される第一実施形態と同じ処理内容の工程については、図6と同じ符号が付されている。
 (S72)において、投影制御装置10は、ユーザの手の複数箇所を認識し、手の各箇所の位置を示す部位位置情報を取得する。
 投影制御装置10は、(S74)で検出されたユーザ操作に関し、手の認識された箇所の接触数を特定する(S141)。
 投影制御装置10は、(S141)で特定された接触数に基づいて、第一又は第二のユーザ操作が検出されたか否かを判定する(S142)。接触数に基づく第一及び第二のユーザ操作の検出手法については上述したとおりである。
 ユーザ操作時の特定部位の形状は、このように、特定部位の接触数を用いても判断することができる。本変形例においても、第四実施形態と同様に、ユーザは、操作に用いる特定部位の形状を変えるだけで、所望の操作を行うことができる。
[第五実施形態]
 以下、第五実施形態における投影制御装置及び投影制御方法について図面を用いて説明する。第五実施形態では、検出されたユーザ操作における特定部位の移動速度に基づいて、投影画面自体の移動と投影画面内の投影画像の変更とが切り替えられる。以下、第五実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。
 〔処理構成〕
 第五実施形態における投影制御装置10の処理構成は、第一実施形態と同様であるが、以下に示す処理部の処理内容が第一実施形態と異なる。
 操作検出部15は、ユーザ位置取得部13により取得された部位位置情報及び投影位置取得部14により取得された投影位置情報に基づいて、検出されたユーザ操作における特定部位の移動速度を計測する。そして、操作検出部15は、計測された移動速度に基づいて、第一のユーザ操作及び第二のユーザ操作を区別して検出する。例えば、操作検出部15は、三次元センサ6からのセンサ情報の取得間隔で、ユーザ位置取得部13により部位位置情報が取得される場合、センサ情報の取得間隔に基づいて、複数の部位位置情報から得られる操作距離に費やされた時間を算出すことができる。操作検出部15は、その操作距離をその時間で除算することで、移動速度を計測することができる。また、操作検出部15は、三次元センサ6から得られるセンサ情報に時間情報が含まれており、その時間情報を用いて、移動速度を計測することもできる。操作距離は、ユーザ操作が開始された位置からユーザ操作が終了された位置までの距離により算出される。
 操作検出部15は、移動速度が所定速度よりも速い場合に、第一のユーザ操作が検出されたと判断し、移動速度が所定速度よりも遅い場合に、第二のユーザ操作が検出されたと判断する。この逆の判断がなされてもよい。
 〔動作例/投影制御方法〕
 以下、第五実施形態における投影制御方法について図15を用いて説明する。
 図15は、第五実施形態における投影制御装置10の動作例を示すフローチャートである。第五実施形態における投影制御方法の実行主体については、第一実施形態と同様である。各工程は、投影制御装置10が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。図15では、図6に示される第一実施形態と同じ処理内容の工程については、図6と同じ符号が付されている。
 投影制御装置10は、(S74)で検出されたユーザ操作における特定部位の移動速度を計測する(S151)。移動速度の計測手法については上述したとおりである。
 投影制御装置10は、(S151)で計測された特定部位の移動速度に基づいて、第一又は第二のユーザ操作が検出されたか否かを判定する(S152)。移動速度に基づく第一及び第二のユーザ操作の検出手法については上述したとおりである。
 〔第五実施形態における作用及び効果〕
 上述のように、第五実施形態では、投影画面の少なくとも一部又は投影画面外に対する特定部位を用いたユーザ操作が検出される。そして、そのユーザ操作における特定部位の移動速度が計測され、その計測された移動速度に基づいて、そのユーザ操作が第一又は第二のユーザ操作であるか否かが判断される。そして、その判断結果に応じて、投影装置7の投影方向、又は、投影画面内の投影画像が変更される。
 第五実施形態によれば、移動体の移動速度という操作パラメータを用いて、投影画面自体の移動か、投影画面内の操作かを切り替えることができる。
[第六実施形態]
 以下、第六実施形態における投影制御装置及び投影制御方法について図16及び図17を用いて説明する。
 〔処理構成〕
 図16は、第六実施形態における投影制御装置の処理構成例を概念的に示す図である。図16に示されるように、投影制御装置100は、投影処理部101と操作検出部102と制御部103とを有する。投影制御装置100は、図1に示される投影制御装置10と同様のハードウェア構成を有する。投影制御装置100が有する各処理部は、投影制御装置10と同様にプログラムが処理されることで、上述の各処理部が実現される。
 投影処理部101は、画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる。投影処理部101の具体的処理内容は、投影処理部11の処理内容を含む。投影装置は、図1に示される投影装置7に相当する。第六実施形態における投影装置は、投影方向を含む投影パラメータの変更が可能な投影装置である。
 投影パラメータとは、投影装置により投影される投影画面全体に影響を及ぼす、投影装置又は他の機器により変更可能な設定であり、投影画面内に表示させる投影画像に関する画像情報とは異なる。投影パラメータは、投影方向のみであってもよいし、投影方向以外の他のパラメータの1つであってもよいし、それらの組み合わせであってもよい。例えば、投影方向の変更は、投影装置7が有する方向調整手段8により実現される。投影方向以外の他の投影パラメータには、ズーム倍率、画質(明るさやコントラスト等)等が含まれる。例えば、ズーム倍率が変更されることで、投影面に投影される投影画面自体の大きさを拡大又は縮小させることができる。但し、投影画面自体の大きさを変えれば、それに追従して、投影画面内の投影画像の大きさも同様に変更される。
 操作検出部102は、ユーザ操作を検出する。操作検出部102の具体的処理内容は、上述の操作検出部15の処理内容を含む。
 制御部103は、第一のユーザ操作が検出された場合、上記投影装置に上記投影パラメータを変更して投影させるよう制御し、第二のユーザ操作が検出された場合、投影処理部101に上記投影パラメータを変更せず上記画像(投影画像)を変更させるよう制御する。制御部103の具体的処理内容は、上述の制御部16の処理内容を含む。制御部103は、自身で、投影パラメータを変更してもよいし、投影装置にそれを変更させてもよい。
 制御部103は、第一のユーザ操作が検出された場合、投影装置に投影方向以外の投影パラメータを変更して投影させるよう制御し、第二のユーザ操作が検出された場合、投影処理部101にその投影パラメータを変更せず投影画像を変更させるよう制御することもできる。例えば、制御部16は、第一のユーザ操作が検出された場合、ズーム倍率を上げて、投影面に投影される投影画面自体の大きさを拡大し、第二のユーザ操作が検出された場合、投影画面内の対象の投影画像の大きさを拡大する。ここで、投影画面自体の大きさを拡大すれば、追従して、投影画面内の投影画像の大きさも拡大される。一方で、投影画面内の投影画像の大きさの変更は、投影画面自体の大きさの変更に直結しない。投影画面内の対象の投影画面の大きさの変更は、投影処理部11から投影装置7に送られる画像情報の変更により実現可能である。投影画面自体の大きさを変更するための第一のユーザ操作としては、両腕を特定部位として用いたユーザ操作が割り当てられることが望ましい。
 投影制御装置100は、コンテンツ保持部12を有してもよいし、他のコンピュータがそれらを有してもよい。
 〔動作例/投影制御方法〕
 図17は、第六実施形態における投影制御装置100の動作例を示すフローチャートである。第六実施形態における投影制御方法は、投影制御装置100のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、投影制御装置100が有する各処理部により実行される。
 第六実施形態における投影制御方法は、図17に示されるように、(S171)から(S175)を含む。
 (S171)では、投影制御装置100は、画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる。
 (S172)では、投影制御装置100は、ユーザ操作を検出する。
 (S171)及び(S172)は、上述の各図の(S71)及び(S74)に相当する。
 投影制御装置100は、第一のユーザ操作が検出された場合(S173;第一のユーザ操作)、投影装置に投影パラメータを変更して投影させる(S174)。また、投影制御装置100は、第二のユーザ操作が検出された場合(S173;第二のユーザ操作)、上記投影パラメータを変更せず当該投影画面内の投影画像を変更する(S175)。(S173)は、上述の(S76)、(S92)、(S102)、(S132)、(S142)及び(S152)に相当する。(S174)及び(S175)は、上述の各図の(S77)及び(S78)に相当する。但し、(S174)については、上述のとおり、投影方向以外の投影パラメータの変更も含む。
 また、第六実施形態は、このような投影制御方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
 第六実施形態によれば、上述の各実施形態及び各変形例と同様の作用効果に加えて、投影方向以外の投影パラメータの変更に伴い、投影画面自体の移動、拡大/縮小、画質変更等を行うことができる。
[補足]
 上述の内容では特に言及されなかったが、投影制御装置10及び投影制御装置100は、複数の投影装置7に接続されていてもよい。この場合、投影制御装置10及び投影制御装置100は、複数ユーザの個々のユーザ操作に対応可能なように、複数の投影画面を別々に投影、かつ、制御することができる。この場合、投影制御装置10及び投影制御装置100は、参加するユーザの数に応じて、動作する投影装置7の数を増やしていけばよい。具体的には、或る投影装置7により投影される投影画面に対して或るユーザが操作した後に、投影制御装置10及び投影制御装置100は、他の1つの投影装置7に投影画面の投影を開始させるようにする。
 また、投影制御装置10及び投影制御装置100は、複数ユーザの特定部位(例えば、腕)を認識し、複数ユーザによる共同操作を検出し、この共同操作に基づいて、第一のユーザ操作及び第二のユーザ操作を区別して検出することもできる。
 なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態及び各変形例で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態及び各変形例では、図示される工程の順番を内容的に支障のない範囲で変更することができる。例えば、図6において、(S72)及び(S73)は、逆の順に実行されてもよいし、並列に実行されてもよい。
 また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。第二から第五の各実施形態は、第一実施形態で用いられたユーザ操作の位置に代えて、操作時間、投影画面の表示状態、特定部位の形状、特定部位の接触数、特定部位の移動速度を用いたが、ユーザ操作の位置に加えて、それら各情報を用いてもよい。また、それら情報のいずれか複数の組み合わせが用いられてもよい。
 上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
 (付記1) 画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる投影処理手段と、
 ユーザ操作を検出する操作検出手段と、
 第一のユーザ操作が検出された場合、前記投影装置に前記投影パラメータを変更して投影させるよう制御し、第二のユーザ操作が検出された場合、前記投影処理手段に前記投影パラメータを変更せず前記画像を変更させるよう制御する制御手段と、
 を備える投影制御装置。
 (付記2) 三次元センサから得られるセンサ情報に基づいてユーザの特定部位を認識し、認識された特定部位の位置を示す部位位置情報を取得するユーザ位置取得手段と、
 三次元センサから得られるセンサ情報に基づいて前記投影装置による投影画面の少なくとも一部が投影される位置を示す投影位置情報を取得する投影位置取得手段と、
 を更に備え、
 前記操作検出手段は、前記部位位置情報及び前記投影位置情報に基づいて、前記投影画面の少なくとも一部又は前記投影画面外に対する前記特定部位を用いたユーザ操作を検出する、
 付記1に記載の投影制御装置。
 (付記3) 前記操作検出手段は、前記検出されたユーザ操作の位置を特定し、特定された操作位置に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記2に記載の投影制御装置。
 (付記4) 前記操作検出手段は、前記検出されたユーザ操作の操作時間を計測し、計測された操作時間に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記2又は3に記載の投影制御装置。
 (付記5) 前記操作検出手段は、前記検出されたユーザ操作の対象となる投影画面内の投影画像の状態を特定し、特定された投影画像の状態に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記2から4のいずれか1つに記載の投影制御装置。
 (付記6) 前記ユーザの前記特定部位の形状を認識する形状認識手段、
 を更に備え、
 前記ユーザ操作の検出時における前記特定部位の形状に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記2から5のいずれか1つに記載の投影制御装置。
 (付記7) 前記ユーザ位置取得手段は、前記特定部位として、ユーザの手の複数箇所を認識し、認識された手の複数箇所の位置を示す部位位置情報を取得し、
 前記操作検出手段は、前記投影画面の少なくとも一部又は前記投影画面外に対する、前記手の認識された箇所の接触数を特定し、特定された接触数に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記2から5のいずれか1つに記載の投影制御装置。
 (付記8) 前記操作検出手段は、前記部位位置情報及び前記投影位置情報に基づいて、前記検出されたユーザ操作における前記特定部位の移動速度を計測し、計測された移動速度に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記2から7のいずれか1つに記載の投影制御装置。
 (付記9) 少なくとも1つのコンピュータに実行される投影制御方法において、
 画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させ、
 ユーザ操作を検出し、
 第一のユーザ操作が検出された場合、前記投影装置に前記投影パラメータを変更して投影させ、第二のユーザ操作が検出された場合、前記投影パラメータを変更せず前記画像を変更する、
 ことを含む投影制御方法。
 (付記10) 三次元センサから得られるセンサ情報に基づいてユーザの特定部位を認識し、
 前記認識された特定部位の位置を示す部位位置情報を取得し、
 三次元センサから得られるセンサ情報に基づいて前記投影装置による投影画面の少なくとも一部が投影される位置を示す投影位置情報を取得する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記部位位置情報及び前記投影位置情報に基づいて、前記投影画面の少なくとも一部又は前記投影画面外に対する前記特定部位を用いたユーザ操作を検出する、
 付記9に記載の投影制御方法。
 (付記11) 前記検出されたユーザ操作の位置を特定する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記特定された操作位置に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記10に記載の投影制御方法。
 (付記12) 前記検出されたユーザ操作の操作時間を計測する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記計測された操作時間に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記10又は11に記載の投影制御方法。
 (付記13) 前記検出されたユーザ操作の対象となる投影画面内の投影画像の状態を特定する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記特定された投影画像の状態に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記10から12のいずれか1つに記載の投影制御方法。
 (付記14) 前記ユーザの前記特定部位の形状を認識する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記ユーザ操作の検出時における前記特定部位の形状に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記10から13のいずれか1つに記載の投影制御方法。
 (付記15) 前記特定部位は、ユーザの手の複数箇所であり、
 前記投影制御方法は、
 前記投影画面の少なくとも一部又は前記投影画面外に対する、前記手の認識された箇所の接触数を特定する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記特定された接触数に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記10から13のいずれか1つに記載の投影制御方法。
 (付記16) 前記部位位置情報及び前記投影位置情報に基づいて、前記検出されたユーザ操作における前記特定部位の移動速度を計測する、
 ことを更に含み、
 前記ユーザ操作の検出は、前記計測された移動速度に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
 付記10から15のいずれか1つに記載の投影制御方法。
 (付記17) 9から16のいずれか1つに記載の投影制御方法を少なくとも1つのコンピュータに実行させる投影制御プログラムを記録した記録媒体。
 以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2014年4月18日に出願された日本出願特願2014-086512を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 2 CPU
 3 メモリ
 6 三次元センサ
 7 投影装置
 8 方向調整手段
 9 IP装置
 91、92、93 方向調整機構
 95 投射部
 96 センシング部
 10、100 投影制御装置
 11、101 投影処理部
 12 コンテンツ保持部
 13 ユーザ位置取得部
 14 投影位置取得部
 15、102 操作検出部
 16、103 制御部
 17 形状認識部

Claims (10)

  1.  画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる投影処理手段と、
     ユーザ操作を検出する操作検出手段と、
     第一のユーザ操作が検出された場合、前記投影装置に前記投影パラメータを変更して投影させるよう制御し、第二のユーザ操作が検出された場合、前記投影処理手段に前記投影パラメータを変更せず前記画像を変更させるよう制御する制御手段と、
     を備える投影制御装置。
  2.  三次元センサから得られるセンサ情報に基づいてユーザの特定部位を認識し、認識された特定部位の位置を示す部位位置情報を取得するユーザ位置取得手段と、
     三次元センサから得られるセンサ情報に基づいて前記投影装置による投影画面の少なくとも一部が投影される位置を示す投影位置情報を取得する投影位置取得手段と、
     を更に備え、
     前記操作検出手段は、前記部位位置情報及び前記投影位置情報に基づいて、前記投影画面の少なくとも一部又は前記投影画面外に対する前記特定部位を用いたユーザ操作を検出する、
     請求項1に記載の投影制御装置。
  3.  前記操作検出手段は、前記検出されたユーザ操作の位置を特定し、特定された操作位置に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
     請求項2に記載の投影制御装置。
  4.  前記操作検出手段は、前記検出されたユーザ操作の操作時間を計測し、計測された操作時間に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
     請求項2又は3に記載の投影制御装置。
  5.  前記操作検出手段は、前記検出されたユーザ操作の対象となる投影画面内の投影画像の状態を特定し、特定された投影画像の状態に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
     請求項2から4のいずれか1項に記載の投影制御装置。
  6.  前記ユーザの前記特定部位の形状を認識する形状認識手段、
     を更に備え、
     前記ユーザ操作の検出時における前記特定部位の形状に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
     請求項2から5のいずれか1項に記載の投影制御装置。
  7.  前記ユーザ位置取得手段は、前記特定部位として、ユーザの手の複数箇所を認識し、認識された手の複数箇所の位置を示す部位位置情報を取得し、
     前記操作検出手段は、前記投影画面の少なくとも一部又は前記投影画面外に対する、前記手の認識された箇所の接触数を特定し、特定された接触数に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
     請求項2から5のいずれか1項に記載の投影制御装置。
  8.  前記操作検出手段は、前記部位位置情報及び前記投影位置情報に基づいて、前記検出されたユーザ操作における前記特定部位の移動速度を計測し、計測された移動速度に基づいて、前記第一のユーザ操作及び前記第二のユーザ操作を区別して検出する、
     請求項2から7のいずれか1項に記載の投影制御装置。
  9.  画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させ、
     ユーザ操作を検出し、
     第一のユーザ操作が検出された場合、前記投影装置に前記投影パラメータを変更して投影させ、第二のユーザ操作が検出された場合、前記投影パラメータを変更せず前記画像を変更する、
     投影制御方法。
  10.  画像の投影方法を設定するための投影パラメータの変更が可能な投影装置に画像を投影させる処理と、
     ユーザ操作を検出する処理と、
     第一のユーザ操作が検出された場合、前記投影装置に前記投影パラメータを変更して投影させ、第二のユーザ操作が検出された場合、前記投影パラメータを変更せず前記画像を変更する処理と、を少なくとも1つのコンピュータに実行させる投影制御プログラムを記録した記録媒体。
PCT/JP2015/002091 2014-04-18 2015-04-16 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体 WO2015159548A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016513645A JPWO2015159548A1 (ja) 2014-04-18 2015-04-16 投影制御装置、投影制御方法及び投影制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014086512 2014-04-18
JP2014-086512 2014-04-18

Publications (1)

Publication Number Publication Date
WO2015159548A1 true WO2015159548A1 (ja) 2015-10-22

Family

ID=54323081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002091 WO2015159548A1 (ja) 2014-04-18 2015-04-16 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US9544556B2 (ja)
JP (1) JPWO2015159548A1 (ja)
WO (1) WO2015159548A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3907590A3 (en) * 2014-06-24 2022-02-09 Sony Group Corporation Information processing device, information processing method, and computer program
US10506290B2 (en) * 2014-09-25 2019-12-10 Lg Electronics Inc. Image information projection device and projection device control method
WO2016125966A1 (ko) * 2015-02-04 2016-08-11 엘지전자 주식회사 영상 투사 장치 및 그의 동작 방법
CN106303325A (zh) * 2015-06-08 2017-01-04 中强光电股份有限公司 交互式投影系统及其投影方法
CN105072430B (zh) * 2015-08-19 2017-10-03 海信集团有限公司 一种调整投影图像的方法和设备
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
JP6980990B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
CN109407913B (zh) * 2017-08-16 2023-09-19 中兴通讯股份有限公司 投影仪及其控制方法
EP3547099B1 (en) * 2017-11-17 2023-12-06 NTT DoCoMo, Inc. Information processing device and information processing method
DE112018007292T5 (de) * 2018-03-16 2020-12-31 Sony Corporation Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und aufzeichnungsmedium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2005031799A (ja) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2005144151A (ja) * 2003-11-17 2005-06-09 Samsung Electronics Co Ltd 衣類乾燥機
JP2008084158A (ja) * 2006-09-28 2008-04-10 Toyota Motor Corp 入力装置
JP2010244240A (ja) * 2009-04-03 2010-10-28 Panasonic Corp 携帯端末装置
JP2011014044A (ja) * 2009-07-03 2011-01-20 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
JP2012160175A (ja) * 2011-01-13 2012-08-23 Panasonic Corp インタラクティブプレゼンシステム
JP2012185631A (ja) * 2011-03-04 2012-09-27 Nikon Corp 投影装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8044880B2 (en) * 2005-04-28 2011-10-25 Hitachi, Ltd. Projection type image display device
US7980704B2 (en) * 2005-09-14 2011-07-19 Sony Corporation Audiovisual system including wall-integrated audiovisual capabilities
US8549418B2 (en) * 2009-12-23 2013-10-01 Intel Corporation Projected display to enhance computer device use
WO2012035768A1 (ja) 2010-09-14 2012-03-22 学校法人幾徳学園 情報表示装置
JP6064319B2 (ja) * 2011-12-27 2017-01-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
US20130227472A1 (en) * 2012-02-29 2013-08-29 Joseph W. Sosinski Device, Method, and Graphical User Interface for Managing Windows

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2005031799A (ja) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2005144151A (ja) * 2003-11-17 2005-06-09 Samsung Electronics Co Ltd 衣類乾燥機
JP2008084158A (ja) * 2006-09-28 2008-04-10 Toyota Motor Corp 入力装置
JP2010244240A (ja) * 2009-04-03 2010-10-28 Panasonic Corp 携帯端末装置
JP2011014044A (ja) * 2009-07-03 2011-01-20 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
JP2012160175A (ja) * 2011-01-13 2012-08-23 Panasonic Corp インタラクティブプレゼンシステム
JP2012185631A (ja) * 2011-03-04 2012-09-27 Nikon Corp 投影装置

Also Published As

Publication number Publication date
JPWO2015159548A1 (ja) 2017-04-13
US9544556B2 (en) 2017-01-10
US20150304615A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
WO2015159548A1 (ja) 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US9360965B2 (en) Combined touch input and offset non-touch gesture
US9317131B2 (en) System and method for generating a representative computerized display of a user'S interactions with a touchscreen based hand held device on a gazed-at screen
US10564806B1 (en) Gesture actions for interface elements
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
JP2021007022A (ja) 拡張現実システムのためのタッチフリーインターフェース
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
KR20070037773A (ko) 표시기기에서 사용자 명령 입력 장치 및 방법
KR20160074658A (ko) 프리뷰 인터페이스 선택 영역의 줌인 방법 및 장치
WO2012147959A1 (ja) 入力装置、入力方法及び記録媒体
JP2012238293A (ja) 入力装置
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
JP6000553B2 (ja) 情報処理装置及びその制御方法
US9898183B1 (en) Motions for object rendering and selection
JP6808408B2 (ja) 表示制御装置およびその制御方法
US10212382B2 (en) Image processing device, method for controlling image processing device, and computer-readable storage medium storing program
JP7289208B2 (ja) プログラム、情報処理装置、および方法
US20220343557A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing system
US11010045B2 (en) Control apparatus, control method, and non-transitory computer readable medium
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2022137023A (ja) プログラム、情報処理装置、および方法
JP5976145B2 (ja) 撮像装置、その制御方法及びプログラム並びに記録媒体
JP2024021205A (ja) 画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15780406

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016513645

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15780406

Country of ref document: EP

Kind code of ref document: A1