WO2019058722A1 - 表示処理装置、表示処理方法及びプログラム - Google Patents

表示処理装置、表示処理方法及びプログラム Download PDF

Info

Publication number
WO2019058722A1
WO2019058722A1 PCT/JP2018/026600 JP2018026600W WO2019058722A1 WO 2019058722 A1 WO2019058722 A1 WO 2019058722A1 JP 2018026600 W JP2018026600 W JP 2018026600W WO 2019058722 A1 WO2019058722 A1 WO 2019058722A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
display
state
information
display processing
Prior art date
Application number
PCT/JP2018/026600
Other languages
English (en)
French (fr)
Inventor
正樹 半田
武史 大橋
哲男 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/647,557 priority Critical patent/US20200278754A1/en
Priority to CN201880060071.7A priority patent/CN111095394A/zh
Publication of WO2019058722A1 publication Critical patent/WO2019058722A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security

Definitions

  • the present disclosure relates to a display processing device, a display processing method, and a program.
  • Patent Document 1 described below describes a technique for obtaining good visibility even when an object is present between a projection unit and a projection target.
  • a state acquisition unit for acquiring a spatial state of an object, and a display control unit for controlling display of projected information according to the state of the object including the posture of the object A display processing apparatus is provided.
  • the method includes acquiring a spatial state of an object, and controlling display of projected information according to the state of the object including an orientation of the object.
  • a display processing method is provided.
  • a program for causing a computer to function as means for acquiring a spatial state of an object, and means for controlling display of projected information according to the state of the object including the posture of the object is provided.
  • FIG. 1 is a schematic view showing a schematic configuration of a video projection system according to an embodiment of the present disclosure. It is a block diagram showing composition of a projector device. It is a flowchart which shows the process performed with a video projection system. It is a schematic diagram which shows the example of the display on a table. It is a schematic diagram which shows a mode that a hand's attitude
  • the projection system 1000 is configured of a projector device 100 and a table 200 which is a projection target.
  • a table 200 having a flat projection surface is mounted on a floor, and above the table 200, an output unit 116 of the projector device 100 is installed downward.
  • this video projection system 100 the video is displayed on the projection surface of the table 200 below from the output unit 116 of the projector device 100 installed above the table 200, so that the video is displayed on the table 200. It is supposed to be
  • FIG. 2 is a block diagram showing the configuration of the projector device 100.
  • the projector device 100 includes an input unit 102, a hand detection unit 104, a hand tracking unit 106, a hand posture estimation unit 108, a gesture recognition unit 110, a display control unit 112, an information generation unit 114, and an output unit 116. ing.
  • the input unit 102 is a device for acquiring a user operation from the state (position, posture, movement, etc.) of an object with the user's hand on the screen 102 as an object to be detected.
  • the input unit 102 includes an RGB camera as an image sensor, a stereo camera or TOF (Time-of-Flight) camera as a distance measurement sensor, a structured light camera, and the like. Thereby, based on the information detected by the input unit 102, it is possible to acquire a distance image (depth map) regarding the object.
  • the hand detection unit 104 detects a hand region from the image based on the information acquired from the input unit 102.
  • the area of the hand can be detected by performing block matching between the template image of the hand held in advance in a memory or the like and the image acquired by the input unit 102.
  • the hand detection unit 104 can detect the position of the hand in the depth direction with respect to the projection plane of the table 200 and the position of the hand in the direction along the projection plane by using the distance image (depth map).
  • FIG. 20 is a schematic view showing a process of detecting a hand area by the hand detection unit 104. As shown in FIG. As shown in FIG.
  • an area closer to the camera than the table plane is detected from among the camera images, and among the detected areas, those which touch the edge of the image are extracted. Then, the point on the opposite side to the end of the image is taken as the position of the hand candidate. Furthermore, a hand can be detected by performing skin color detection on the hand candidate.
  • the hand tracking unit 106 receives the detection result from the hand detection unit 104, and tracks the position of the hand by taking the correspondence between the hand detected in the previous frame and the hand detected in the current frame.
  • a method of tracking there is known a method of associating close positions with each other and other tracking techniques, but the method is not particularly limited.
  • the hand posture estimation unit 108 receives the detection result from the hand detection unit 104, and estimates the posture of the hand using the image of the distance measurement sensor. At this time, the angle of the plane is estimated, with the palm and upper being regarded as a plane. The estimation method will be described later.
  • the gesture recognition unit 110 receives the detection results of the hand detection unit 104 and the hand posture estimation unit 108, and recognizes a gesture of a user operation.
  • a general method is to estimate a skeletal model of a hand to recognize a gesture, and the gesture recognition unit 110 can recognize a gesture from such a method.
  • the gesture recognition unit 110 matches the gesture stored in advance in a memory or the like with the position of the hand detected by the hand detection unit 104 and the posture of the hand estimated by the hand posture estimation unit 108. Recognize gestures.
  • FIGS. 21A to 21C are schematic diagrams showing an example of recognition of a gesture.
  • FIG. 21A is a schematic view showing a skeleton model of a hand.
  • FIG. 21B is a schematic diagram showing an example in which the skeletal model has detected transition from the back to the front based on the skeletal model of the hand, and a gesture of turning over the hand is recognized.
  • FIG. 21C is a schematic view showing an example in which the skeletal model has transitioned from an open state to a closed state, and a gesture of holding a hand is recognized.
  • gestures as shown in FIGS. 21B and 21C can be recognized based on the positions of the feature points indicated by ⁇ .
  • the above-described hand detection unit 104, hand tracking unit 106, hand posture estimation unit 108, and gesture recognition unit 110 function as a state acquisition unit 120 for acquiring the spatial state of the hand including the posture of the hand (object).
  • the state acquisition unit 120 can acquire the state of the hand within the projection area 202 or outside the projection area 202.
  • the information generation unit 114 receives the gesture recognition result by the gesture recognition unit 110 and generates information corresponding to the user operation. For example, the information generation unit 114 compares the display information corresponding to the gesture stored in advance with the gesture recognition result, and generates display information corresponding to the gesture recognition result.
  • the information generation unit 114 stores the context of the generated information in a memory or the like.
  • FIG. 22A and FIG. 22B are schematic views showing an example of generation of display information.
  • FIG. 22A is a schematic diagram showing an example of generating display information in which the playing card being displayed is turned over when the gesture for turning over the hand shown in FIG. 21B is recognized.
  • FIG. 22B is a schematic view showing an example in which display information for deleting the displayed playing card is generated when the gesture for holding the hand shown in FIG. 21C is recognized.
  • the display control unit 112 receives information from the hand tracking unit 106 and the information generation unit 114, and controls the display information generated by the information generation unit 114 to be displayed at a predetermined position on the table 200. Specifically, the display control unit 112 can perform control to display the display information generated by the information generation unit 114 at the position of the user's hand tracked by the hand tracking unit 106.
  • the output unit 116 includes, for example, a projection lens, a liquid crystal panel, a lamp, and the like, and outputs an image to the table 200 by outputting light under the control of the display control unit 112. Thus, the content is displayed on the table 200.
  • the display processing device 130 includes the hand detection unit 104, the hand tracking unit 106, the hand posture estimation unit 108, the gesture recognition unit 110, the display control unit 112, and the information generation unit 114. It is configured.
  • Each component shown in FIG. 2 can be configured from hardware or a central processing unit such as a CPU and a program for causing the central processing unit to function. Further, the program can be stored in a recording medium such as a memory included in the projector device 100 or a memory externally connected to the projector device 100.
  • FIG. 3 is a flowchart showing processing performed by the projection system 1000 according to the present embodiment.
  • step S10 a process of receiving information from the input unit 102 is performed.
  • step S12 the hand detection unit 104 performs a process of detecting the user's hand on the table 200.
  • step S14 it is determined whether or not a hand is detected by the hand detection unit 104. If a hand is detected, the process proceeds to step S16. In step S16, the hand tracking unit 106 performs a process of tracking the user's hand.
  • step S20 the hand posture estimation unit 108 performs a process of estimating the posture of the hand.
  • step S22 the process proceeds to step S22, and the gesture recognition unit 110 performs a process of recognizing a gesture.
  • step S24 it is determined whether or not the gesture recognized by the gesture recognition unit 110 is a specific gesture, and in the case of the specific gesture, the process proceeds to step S26.
  • step S26 the information generation unit 114 performs a process of generating display information corresponding to a specific gesture.
  • step S28 the display control unit 112 performs a process for display control based on the result of the hand tracking process in step S16 and the information generation process in step S26. Thereby, the display is performed on the table 200 based on the result of the hand tracking process and the result of the information generation process.
  • FIG. 4 is a schematic view showing an example of display on the table 200.
  • a projection area 202 indicates a projection area on the table 200 by the projector device 100.
  • the content (A) 300 and the content (B) 302 are projected and displayed.
  • a playing card is displayed as the content (A) 300
  • a mahjong roar is displayed as the content (B) 302
  • the displayed content is not particularly limited.
  • FIGS. 5 and 6 are schematic diagrams showing hand pose estimation by the hand pose estimation unit.
  • FIG. 5 is a schematic view showing how the posture of the hand 400 is estimated when the user puts the hand 400 on the table 200.
  • FIG. 6 is a schematic view showing the flow of processing for estimating the posture of the hand 400. As shown in FIG.
  • Posture estimation of the hand is sequentially performed according to steps (1) to (3) shown in FIG.
  • step (1) the three-dimensional position of each point 402 on the palm is determined from the distance image (depth map) obtained from the input unit 102.
  • step (2) planar fitting is performed on the obtained point group using a method such as the least squares method or RANSAC method.
  • a plane 404 composed of point clouds is obtained.
  • the center of gravity of the point group is the position of the palm, and the inclination of the plane 404 (Pitch, Yaw, Roll) is the posture of the hand. This completes the hand pose estimation.
  • FIG. 7 and FIG. 8 are schematic diagrams showing display control according to the posture of hand 400.
  • FIG. 7 shows a state in which the posture (plane 404) of the hand is estimated by the process of FIG.
  • FIG. 8 is a schematic view showing a flow of processing of display control according to the posture of the hand 400.
  • FIG. 8 shows an example of controlling the display of a playing card which is the content (A) 300 shown in FIG. 4 in accordance with the posture of the hand 400.
  • step (1) the position and posture of the hand estimated by the process of FIG. 6 are acquired.
  • the position and posture of the hand are acquired from the position of the center of gravity of the point group and the inclination of the plane 404.
  • step (2) the display image (content (A) 300) is perspective-projected and converted in accordance with the detected hand posture (inclination of the plane 404).
  • perspective projection conversion content (A) 310 is obtained.
  • step (3) processing of aligning the display position of the content (A) 310 with the position of the detected plane 404 is performed.
  • the process of adjusting the display position includes the process of adjusting the position in the depth direction with respect to the projection plane and the process of adjusting the position in the direction along the projection plane.
  • the process of aligning the position in the depth direction with respect to the projection plane for example, the process of adjusting the focal position may be performed such that the content (A) 310 is most vivid at the position of the plane 404.
  • the display image (content (A) 310) is displayed in the correct shape on the palm of the user's hand 400.
  • the processes of steps (2) to (4) are mainly performed by the display control unit 112.
  • the user can view the content (A) 310 without distortion or the like in the correct shape on the palm of the hand.
  • FIG. 9 is a schematic view showing an example in which content is moved to the palm by a specific gesture and operated.
  • a playing card content (A) 300
  • step (1) a playing card is projected on the screen.
  • step (2) When the user holds the hand 400 at the position of the playing card on the table 200 (step (2)), holds the playing card and moves it (step (3)), and opens the hand 400, only one playing card is displayed on the palm (Step (4)). Thereafter, when the playing card displayed on the palm is tapped with the other hand, the front side of the playing card is displayed (step (5)).
  • step (1) the playing cards are projected on the screen (step (1))
  • step S (6) the playing cards are projected on the back of the hand 400 (step S (6)), hold the cards and move them (step (7)), and return the palm.
  • step (8) the front side of the playing card is displayed (step (8)).
  • step (2) and step (3) shown in FIG. 9 holding the hand 400 over the position of the playing card and tapping may move the playing card onto the hand 400, and the hand 400 may be moved to the playing card position.
  • the playing card may move over the hand 400.
  • step (2) and step (3) holding the hand 400 at the position of the playing card and returning the palm may move the playing card onto the hand 400, and tap the playing card with one finger.
  • the hand 400 is opened, the playing cards may move to the hand 400.
  • FIG. 10 is a schematic view showing an example in which the content of the palm is moved to the arm.
  • a playing card is displayed on the palm (step (1)), and the playing card is dragged and moved to the arm (step (2)).
  • step (3) one more playing card is acquired
  • step (4) the front side of the playing card is displayed by tapping with the other finger (step (4)), and dragging the playing card with the other finger to move it to the arm (Step (5)).
  • one more playing card is acquired (step (6)), and the processing after step (4) is repeated.
  • the playing cards can be obtained on the palm by displaying the playing cards on the palm, and the playing cards can be moved to the arm by dragging.
  • FIG. 11 is a schematic view showing an operation of displaying the back side of the playing card whose front side is displayed.
  • a playing card is displayed on the palm (step (3)), and when the hand 400 is turned over, the back side of the playing card displayed on the palm is displayed on the back of the hand (step (4)).
  • FIG. 12 is a schematic view showing an operation of returning the playing cards to the table 200. As shown in FIG. FIG. 12 shows four examples (1) to (4) as an operation of returning the playing card (content (A) 300) displayed on the hand 400 to the projection area 202.
  • the example (1) shown in FIG. 12 shows an example in which the playing card is returned onto the table 200 when the table 200 is touched with the hand 400.
  • the example (2) shown in FIG. 12 shows an example in which the playing cards return onto the table 200 when the hand 400 is held open on the table 200.
  • the example (3) shown in FIG. 12 shows an example in which the playing cards return onto the table 200 when the hand is lowered.
  • the example (4) shown in FIG. 12 when the playing card displayed on one hand 400 is taken with the other hand 400 and the other hand is moved onto the table 200, the playing card is returned onto the table 200. An example is shown.
  • FIG. 13 is a schematic view showing another operation of returning the playing card onto the table 200. As shown in FIG. Also in FIG. 13, four examples (1) to (4) are shown as operations for returning the playing card (content (A) 300) displayed on the hand 400 to the projection area 202.
  • the hand 400 when the hand 400 is moved onto the table 200 with the playing cards displayed on the hand 400, and then the hand 400 is pulled out of the projection area 202, the hand 400 is displayed.
  • An example is shown in which all playing cards returned to the table 200. After moving the hand 400 onto the table 200, all cards may be returned onto the table 200 when the hand 400 is moved away from the projection area 202 to a predetermined position.
  • the example (3) shown in FIG. 13 shows an example in which the playing card remains on the table 200 when the hand 400 is quickly dismissed while the playing card is displayed on the hand 400. Further, in the example (4) shown in FIG. 13, when the playing card is displayed not on the palm but on the arm, the hand 400 is moved onto the table 200 and the playing card is moved onto the table 200 when the hand is quickly released. It shows an example to go back.
  • FIG. 14 is a schematic view showing a method of returning the playing card 300 onto the hand 400.
  • the playing cards on the back return to the projection area 202 at a predetermined position (step (1)).
  • the hand 400 is again held over the playing card returned to the projection area 202 (step (2))
  • the playing card returns to the hand (step (3)).
  • FIG. 15 is a schematic view showing an operation of delivering a playing card to a person.
  • FIG. 15 shows an operation via the table 200 and an operation not via the table 200.
  • the table 400 is touched with the hand 400 in a state where the playing card is displayed on the hand 400 (step (1))
  • the playing card is returned onto the table 200 (step (2)).
  • another person's hand 400 reflects the playing cards on the table 200 on the hand 400 (step (3)), and when another person holds the hand 400, another person gets the playing cards (step (4)). )).
  • playing cards are displayed on Mr. A's hand 400 and playing cards are not displayed on Mr. B's hand 400 (step (1)).
  • step (2) the B's hand 400 is aligned and the A's hand 400 and the B's hand 400 are released, the playing card is transferred to the B's hand 400.
  • FIG. 16 is a schematic view showing an example in which the angle change of the hand 400 is urged by the display on the table 200.
  • the content displayed on the hand 400 can not be viewed by other users, and the hand 400 can be used as a private screen. In this way, it is also possible to display on the hand 400 private information that you do not want others to know.
  • the hand 400 is set too high against the upper surface of the table 200, adverse effects such as distortion of content are assumed. Therefore, when the hand 400 is raised against the upper surface of the table 200, a message "Please hand down a little more" is displayed on the table 200. Thereby, distortion of the image of the playing card displayed on the hand 400 can be suppressed.
  • FIG. 17 is a schematic view showing an example of display on the table 200 as in FIG. In FIG. 17, unlike FIG. 4, the user's hand 400 holds the board 410.
  • the input unit 102 acquires the state of the board 410 as the state of the object.
  • the hand detection unit 104, the hand tracking unit 106, the hand posture estimation unit 108, and the gesture recognition unit 110 illustrated in FIG. 2 acquire the spatial state of the board 410 by performing the same processing as in the case of the hand 400. .
  • the board 410 is made white, for example, when content such as playing cards is displayed on the board 410, display can be performed with a clearer color.
  • a marker that can be detected by the input unit 102 is attached to the board 410, whereby private content that is displayed only to the user who has been given the board 410 is displayed on the board 410. It also becomes possible. This allows the board 410 to be used as a private screen intended for a specific user.
  • the marker on the board 410 is detected by the same method as the detection of the hand 400 by the hand detection unit 104, and when the marker is detected, the display control unit 112 displays private information on the board 410. Also in this case, the display can be controlled in accordance with the recognized gesture.
  • the projector device 100 includes all the components shown in FIG. 2, but the projector device 100 includes the input unit 102 and the output unit 116, and the other components are Other devices may be provided. That is, the components of the display processing device 130 surrounded by the one-dot chain line in FIG. 2 may not necessarily be provided in the projector device 100.
  • FIG. 18 is a schematic diagram showing a configuration example in which a plurality of projector devices 100 including the input unit 102 and the output unit 116 are provided, and each of the plurality of projector devices 100 is controlled on the server 500 side.
  • FIG. 19 is a schematic view showing an example in which the projection area 202 of the table 200 is displayed according to the configuration shown in FIG. In the example shown in FIG. 19, the projection area 202 is divided into a plurality of parts, and each of the four projector apparatuses 100 individually projects the projection areas 202a, 202b, 202c and 202d obtained by division.
  • the server 500 that controls each of the projector devices 100 includes components of the display processing device 130 surrounded by an alternate long and short dash line in FIG. 2.
  • each projector device 100 may display on the entire area of the projection area 200 and superimpose the display by each projector device 100.
  • the present embodiment it is possible to optimally control the display of the content to be projected in accordance with the spatial state of the object such as the hand 400 and the board 410.
  • objects such as the hand 400 and the board 410 can be used as private screens, it is possible to realize highly confidential applications that can not be realized with existing projection type systems without requiring special devices or tools. Is possible.
  • by associating the motion of the object with the change in the projection content it becomes possible to optimize the projection content with a simple and intuitive operation.
  • a state acquisition unit for acquiring the spatial state of an object A display control unit that controls display of projected information according to the state of the object including the posture of the object;
  • a display processing apparatus comprising: (2) The display processing device according to (1), wherein the state acquisition unit acquires the state of the object in a projection area onto which the information is projected. (3) The display processing device according to (1) or (2), wherein the state acquisition unit acquires the position of the object in the depth direction with respect to the projection plane as the state of the object. (4) The display processing device according to (1) or (2), wherein the state acquisition unit acquires the position of the object in a direction along a projection plane as the state of the object.
  • the display processing device includes a detection unit that detects a spatial position of the object.
  • the state acquisition unit includes a tracking unit that tracks the position of the object.
  • the state acquisition unit includes a posture estimation unit that estimates a posture of the object.
  • the state acquisition unit includes a recognition unit that recognizes a gesture of the object,
  • the display processing apparatus according to any one of (1) to (7), wherein the display control unit changes a display state of the information based on the gesture.
  • the object is the user's hand
  • the gesture includes an operation of holding a hand, an operation of opening a hand, an operation of returning a palm, an operation of tapping the displayed information, an operation of dragging the displayed information, an operation of touching a projection area, a hand
  • the display processing device according to (8), including at least one of an operation of lowering the projection area, an operation of moving a hand out of the projection area, and an operation of waving a hand.
  • the display processing device according to any one of (1) to (9), wherein the display control unit changes a display state so that the information can not be recognized according to the state of the object.
  • the information is displayed in a form in which the front and back can be reversed,
  • the display processing device according to any one of (1) to (10), wherein the display control unit changes the display state of the information by reversing the front and back of the information according to the state of the object. .
  • the display processing device according to any one of (1) to (11), wherein the display control unit controls display of the information projected onto the object.
  • the display processing device according to any one of (1) to (11), wherein the display control unit controls display of the information projected on a predetermined projection plane.
  • the display processing apparatus according to any one of (1) to (13), wherein the object is an object held by a user's hand.
  • obtaining the spatial state of an object Controlling display of projected information according to the state of the object, including the pose of the object; And a display processing method.
  • a means for acquiring the spatial state of an object Means for controlling display of projected information according to the state of the object, including the pose of the object; A program to make a computer function.
  • hand detection unit 106 hand tracking unit 108 hand posture estimation unit 110 gesture recognition unit 112 display control unit 120 state acquisition unit 130 display processing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保する。 【解決手段】本開示に係る表示処理装置は、オブジェクトの空間的な状態を取得する状態取得部と、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、を備える。この構成により、情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保することが可能となる。

Description

表示処理装置、表示処理方法及びプログラム
 本開示は、表示処理装置、表示処理方法及びプログラムに関する。
 従来、下記の特許文献1には、映像を投影する際に、投影部と被投影体との間に物体が存在する場合でも良好な視認性が得られるようにする技術が記載されている。
特開2012-208439号公報
 上記特許文献に記載された技術では、投影部と被投影体との間に存在する物体を検出し、検出された物体には主映像がそのまま投影されないように処理を行っている。しかしながら、上記特許文献に記載された技術では、検出した物体の位置は2次元情報により判断されるため、物体の空間的な状態に応じて最適な表示を行うことは困難である。また、上記特許文献に記載された技術では、投影された情報を複数人が視認できてしまう問題がある。
 一方、例えば秘匿性を有する情報などについては、特定の人物のみがその情報は視認でき、他の人物は視認できないようにすることが好ましい。
 そこで、情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保することが求められていた。
 本開示によれば、オブジェクトの空間的な状態を取得する状態取得部と、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、を備える、表示処理装置が提供される。
 また、本開示によれば、オブジェクトの空間的な状態を取得することと、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御することと、を備える、表示処理方法が提供される。
 また、オブジェクトの空間的な状態を取得する手段、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する手段、としてコンピュータを機能させるためのプログラムが提供される。
 以上説明したように本開示によれば、情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保することが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る映像投影システムの概略構成を示す模式図である。 プロジェクタ装置の構成を示すブロック図である。 映像投影システムで行われる処理を示すフローチャートである。 テーブル上への表示の例を示す模式図である。 ユーザーが手をテーブル上へ差し出した場合に、手の姿勢を推定する様子を示す模式図である。 手の姿勢を推定する処理の流れを示す模式図である。 図6の処理により手の姿勢が推定された状態を示す模式図である。 手の姿勢に応じた表示制御の処理の流れを示すフローチャートである。 特定のジェスチャで手のひらにコンテンツを移動させて操作する例を示す模式図である。 手のひらのコンテンツを腕に移動させる例を示す模式図である。 表側が表示されたトランプの裏側を表示させる動作を示す模式図である。 トランプをテーブル上に戻す動作を示す模式図である。 トランプをテーブル上に戻す他の動作を示す模式図である。 トランプの手の上への復帰方法を示す模式図である。 トランプを人に渡す動作を示す模式図である。 テーブル上への表示により手の角度変化を促す例を示す模式図である。 テーブル上への表示の例を示す模式図であって、ユーザーの手がカードを保持している様子を示す模式図である。 入力部と出力部を備えるプロジェクタ装置を複数設け、サーバ側で複数のプロジェクタ装置のそれぞれを制御する構成例を示す模式図である。 図18に示す構成により、テーブルの投影エリアに表示を行った例を示す 手検出部による、手の領域を検出する処理を示す模式図である。 手の骨格モデルを示す模式図である。 手の骨格モデルに基づいて骨格モデルが裏から表に遷移したことを検知し、手をひっくり返すジェスチャを認識した例を示す模式図である。 骨格モデルが開状態から閉状態に遷移したことを検知して、手を握るジェスチャを認識した例を示す模式図である。 手をひっくり返すジェスチャを認識した場合に、表示していたトランプを裏にする表示情報を生成する例を示す模式図である。 手を握るジェスチャを認識した場合に、表示していたトランプを消すための表示情報を生成した例を示す模式図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.システムの構成例
 2.映像投影システムで行われる処理
 3.スクリーン上での表示の例
 4.手姿勢推定部による手の姿勢推定
 5.手の姿勢に応じた表示制御
 6.具体的な操作の例
 7.手以外のオブジェクトを用いた操作の例
 8.サーバによる制御の例
 1.システムの構成例
 まず、図1を参照して、本開示の一実施形態に係る投影システム1000の概略構成について説明する。この投影システム1000は、プロジェクタ装置100と、被投影体であるテーブル200とで構成されている。
 この投影システム1000は、例えば床上に平らな投影面を有するテーブル200が載置され、このテーブル200の上方に、プロジェクタ装置100の出力部116が下向きに設置されている。
 そして、この映像投影システム100では、テーブル200の上方に設置されたプロジェクタ装置100の出力部116から、下方のテーブル200の投影面上に映像が投影されることで、このテーブル200に映像が表示されるようになっている。
 図2は、プロジェクタ装置100の構成を示すブロック図である。プロジェクタ装置100は、入力部102、手検出部104、手追跡部106、手姿勢推定部108、ジェスチャ認識部110、表示制御部112、情報生成部114、出力部116、を有して構成されている。
 入力部102は、スクリーン102上のユーザーの手を検出対象のオブジェクトとして、オブジェクトの状態(位置、姿勢、動きなど)からユーザー操作を取得するための装置である。例えば、入力部102は、画像センサーとしてのRGBカメラ、測距センサとしてのステレオカメラまたはTOF(Time-of-Flight)カメラ、ストラクチャードライトカメラ(Structured light camera)等から構成されている。これにより、入力部102で検出された情報に基づいて、オブジェクトに関する距離画像(デプスマップ)を取得することができる。
 手検出部104は、入力部102から取得した情報に基づいて、画像の中から手の領域を検出する。RGBカメラの画像、測距センサの画像を使う方法があるが、方法については特に限定されるものではない。例えば、予めメモリ等に保持しておいた手のテンプレート画像と、入力部102が取得した画像とのブロックマッチングを行うことにより、手の領域を検出することができる。手検出部104は、距離画像(デプスマップ)を用いることで、テーブル200の投影面に対する奥行き方向の手の位置、投影面に沿った方向の手の位置を検出することができる。具体的に、図20は、手検出部104による、手の領域を検出する処理を示す模式図である。図20に示すように、カメラ画像の中からテーブル平面よりカメラに近い領域を検出し、検出した領域の中で画像の端に接しているものを抽出する。そして、画像の端とは反対側の突端を手候補の位置とする。更に、手候補に対して肌色検出を行うことで、手を検出することができる。
 手追跡部106は、手検出部104からの検出結果を受け、前フレームで検出された手と現フレームで検出された手の対応をとることで手の位置を追跡する。追跡の方法としては、位置が近いもの同士を対応付ける方法や、その他のトラッキング技術が知られているが、方法については特に限定されるものではない。
 手姿勢推定部108は、手検出部104からの検出結果を受け、測距センサの画像を用いて手の姿勢を推定する。この際、手のひらや甲を平面に見立てて、平面の角度を推定する。推定の方法については後述する。
 ジェスチャ認識部110は、手検出部104と手姿勢推定部108の検出結果を受け、ユーザー操作のジェスチャを認識する。手の骨格モデルを推定してジェスチャを認識する方法が一般的であり、ジェスチャ認識部110は、このような手法からジェスチャを認識できる。例えば、ジェスチャ認識部110は、予めメモリ等に保持しておいたジェスチャと、手検出部104が検出した手の位置、手姿勢推定部108が推定した手の姿勢とのマッチングを行うことにより、ジェスチャを認識する。具体的に、図21A~図21Cは、ジェスチャの認識の例を示す模式図である。図21Aは、手の骨格モデルを示す模式図である。また、図21Bは、手の骨格モデルに基づいて骨格モデルが裏から表に遷移したことを検知し、手をひっくり返すジェスチャを認識した例を示す模式図である。また、図21Cは、骨格モデルが開状態から閉状態に遷移したことを検知して、手を握るジェスチャを認識した例を示す模式図である。図21Aに示す骨格モデルにおいて、○印で示す特徴点の位置に基づいて、図21B、図21Cに示すようなジェスチャを認識することができる。
 以上の手検出部104、手追跡部106、手姿勢推定部108、ジェスチャ認識部110は、手(オブジェクト)の姿勢を含む手の空間的な状態を取得する状態取得部120として機能する。状態取得部120は、投影エリア202内、または投影エリア202の外で手の状態を取得することができる。
 情報生成部114は、ジェスチャ認識部110によるジェスチャ認識結果を受け、ユーザー操作に対応した情報を生成する。例えば、情報生成部114は、予め保持されているジャスチャに対応する表示情報と、ジャスチャ認識結果を対比し、ジャスチャ認識結果に対応する表示情報を生成する。情報生成部114は、生成した情報のコンテキストをメモリなどに記憶させる。具体的に、図22A、図22Bは、表示情報の生成の例を示す模式図である。図22Aは、図21Bに示した手をひっくり返すジェスチャを認識した場合に、表示していたトランプを裏にする表示情報を生成する例を示す模式図である。また、図22Bは、図21Cに示した手を握るジェスチャを認識した場合に、表示していたトランプを消すための表示情報を生成した例を示す模式図である。
 表示制御部112は、手追跡部106と情報生成部114の情報を受け、情報生成部114により生成された表示情報をテーブル200上の所定の位置に表示するように制御する。具体的に、表示制御部112は、情報生成部114により生成された表示情報を、手追跡部106が追跡しているユーザーの手の位置に表示するように制御を行うことができる。出力部116は、例えば投影レンズ、液晶パネル及びランプ等を含み、表示制御部112の制御により光を出力することで映像をテーブル200に出力する。これにより、テーブル200上にコンテンツが表示される。
 図2に示す構成において、手検出部104、手追跡部106、手姿勢推定部108、ジェスチャ認識部110、表示制御部112、及び情報生成部114から、本実施形態に係る表示処理装置130が構成されている。なお、図2に示す各構成要素は、ハードウェア、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラムから構成されることができる。また、そのプログラムは、プロジェクタ装置100が備えるメモリ、またはプロジェクタ装置100に外部から接続されるメモリなどの記録媒体に格納されることができる。
 2.映像投影システムで行われる処理
 図3は、本実施形態に係る投影システム1000で行われる処理を示すフローチャートである。先ず、ステップS10では、入力部102から情報を受け取る処理が行われる。次のステップS12では、手検出部104によりテーブル200上のユーザーの手を検出する処理が行われる。
 次のステップS14では、手検出部104により手が検出されたか否かを判定し、手が検出された場合は、ステップS16へ進む。ステップS16では、手追跡部106によりユーザーの手を追跡する処理が行われる。
 また、ステップS16の処理と並行して、ステップS20~S26の処理が行われる。ステップS20では、手姿勢推定部108により手の姿勢を推定する処理が行われる。ステップS20の後はステップS22へ進み、ジェスチャ認識部110によりジェスチャを認識する処理が行われる。
 次のステップS24では、ジェスチャ認識部110により認識されたジェスチャが特定のジェスチャであるか否かを判定し、特定のジェスチャの場合はステップS26へ進む。ステップS26では、情報生成部114により、特定のジェスチャに対応する表示情報を生成する処理が行われる。
 ステップS16,S26の後はステップS28へ進む。ステップS28では、ステップS16での手の追跡処理の結果と、ステップS26の情報生成処理とに基づいて、表示制御部112が表示制御のための処理を行う。これにより、手追跡処理の結果と情報生成処理の結果とに基づいて、テーブル200上に表示が行われる。
 3.テーブル上での表示の例
 図4は、テーブル200上への表示の例を示す模式図である。図4において、投影エリア202は、プロジェクタ装置100によるテーブル200上への投影エリアを示している。投影エリア202には、コンテンツ(A)300とコンテンツ(B)302が投影されて表示されている。ここでは、コンテンツ(A)300としてトランプが表示された例を、コンテンツ(B)302として麻雀の牌が表示された例を示しているが、表示されるコンテンツは特に限定されるものではない。
 4.手姿勢推定部による手の姿勢推定
 図5及び図6は、手姿勢推定部108による手の姿勢推定を示す模式図である。図5は、ユーザーが手400をテーブル200上へ差し出した場合に、手400の姿勢を推定する様子を示す模式図である。また、図6は、手400の姿勢を推定する処理の流れを示す模式図である。
 手の姿勢推定は、図6に示すステップ(1)~(3)に従って順次に行われる。図6に示すように、先ず、ステップ(1)では、入力部102から得られる距離画像(デプスマップ)から、手のひらの上の各点402の3次元位置を求める。次のステップ(2)では、得られた点群に対して、例えば最小二乗法、RANSAC法などの方法を用い、平面フィッティングを行う。これにより、点群から構成される平面404が求まる。次のステップ(3)では、点群の重心を手のひらの位置とし、平面404の傾き(Pitch, Yaw, Roll)を手の姿勢とする。これにより、手の姿勢推定が完了する。
 5.手の姿勢に応じた表示制御
 図7及び図8は、手400の姿勢に応じた表示制御を示す模式図である。図7は、図6の処理により手の姿勢(平面404)が推定された状態を示している。また、図8は、手400の姿勢に応じた表示制御の処理の流れを示す模式図である。図8では、手400の姿勢に応じて図4に示したコンテンツ(A)300であるトランプの表示を制御する例を示している。
 図8に示すように、先ず、ステップ(1)では、図6の処理により推定された手の位置と姿勢を取得する。ここでは、点群の重心の位置と平面404の傾きとから手の位置と姿勢が取得される。次のステップ(2)では、検出された手の姿勢(平面404の傾き)に合わせて、表示画像(コンテンツ(A)300)を透視投影変換する。これにより、透視射影変換されたコンテンツ(A)310が得られる。次のステップ(3)では、検出された平面404の位置にコンテンツ(A)310の表示位置を合わせる処理を行う。この表示位置を合わせる処理は、投影面に対する奥行き方向の位置を合わせる処理と、投影面に沿った方向の位置を合わせる処理を含む。投影面に対する奥行き方向の位置を合わせる処理については、例えば、平面404の位置でコンテンツ(A)310が最も鮮明になるように、焦点位置を調節するなどの処理を行っても良い。次のステップS(4)では、ユーザーの手400の手のひら上に正しい形状で表示画像(コンテンツ(A)310)が表示される。なお、ステップ(2)~(4)の処理は、主に表示制御部112により行われる。
 以上のように、手400の姿勢に応じて透視投影変換を行うことで、手400の姿勢に応じて、正しい形状でコンテンツ(A)310を表示することが可能となる。従って、ユーザーは、手のひらの上で、歪みなどが生じていないコンテンツ(A)310を正しい形状で視認することができる。
 6.具体的な操作の例
 次に、ユーザーが投影システム1000を用いて行う具体的な操作について説明する。図9は、特定のジェスチャで手のひらにコンテンツを移動させて操作する例を示す模式図である。先ず、スクリーン上にトランプ(コンテンツ(A)300)が投影される(ステップ(1))。ユーザーがテーブル200上のトランプの位置に手400をかざし(ステップ(2))、トランプを握って移動させ(ステップ(3))、手400を開くと、一枚のトランプのみが手のひらに表示される(ステップ(4))。その後、手のひらに表示されたトランプを他方の手でタップすると、トランプの表側が表示される(ステップ(5))。
 また、スクリーン上にトランプが投影された後(ステップ(1))、トランプを手400の甲に映し(ステップS(6))、トランプを握って移動させ(ステップ(7))、手のひらを返して手400を開くと、トランプの表側が表示される(ステップ(8))。
 また、図9に示したステップ(2)、ステップ(3)では、手400をトランプの位置にかざしてタップすると手400の上にトランプが移動しても良く、また手400をトランプの位置にかざして手400を上に持ち上げるとトランプが手400の上に移動しても良い。また、ステップ(2)、ステップ(3)では、手400をトランプの位置にかざして手のひらを返すとトランプが手400の上に移動しても良く、また、一本指でトランプをタップしてから手400を開くとトランプが手400に移動しても良い。
 図10は、手のひらのコンテンツを腕に移動させる例を示す模式図である。先ず、手のひらにトランプを表示させ(ステップ(1))、トランプをドラッグして腕に移動させる(ステップ(2))。その後、トランプをもう一枚取得し(ステップ(3))、他方の指でタップすることでトランプの表側を表示させ(ステップ(4))、他方の指でトランプをドラッグして腕に移動させる(ステップ(5))。そして、更にトランプをもう一枚取得し(ステップ(6))、ステップ(4)以降の処理を繰り返す。
 このように、図10の操作では、手のひらにトランプを表示させることでトランプを手のひらの上に取得し、ドラッグすることでトランプを腕の方に移動することができる。
 図11は、表側が表示されたトランプの裏側を表示させる動作を示す模式図である。先ず、手のひらにトランプを表示させ(ステップ(1))、もう一方の手400でタップすると、手のひらに表示されていたトランプの裏側が表示される(ステップ(2))。
 また、別の例として、手のひらにトランプを表示させ(ステップ(3))、手400を裏返すと、手のひらに表示されていたトランプの裏側が手の甲に表示される(ステップ(4))。
 図12は、トランプをテーブル200上に戻す動作を示す模式図である。図12では、手400に表示されているトランプ(コンテンツ(A)300)を投影エリア202に戻す動作として、(1)~(4)の4つの例を示している。
 図12に示す例(1)は、手400でテーブル200をタッチするとトランプがテーブル200上に戻る例を示している。図12に示す例(2)は、テーブル200上で手400を握って開くとトランプがテーブル200上に戻る例を示している。図12に示す例(3)は、手を下に下げると、トランプがテーブル200上に戻る例を示している。また、図12に示す例(4)は、一方の手400に表示されているトランプを他方の手400で取りに行き、他方の手をテーブル200上に移動させるとトランプがテーブル200上に戻る例を示している。
 図13は、トランプをテーブル200上に戻す他の動作を示す模式図である。図13においても、手400に表示されているトランプ(コンテンツ(A)300)を投影エリア202に戻す動作として、(1)~(4)の4つの例を示している。
 図13に示す例(1)は、手400にトランプが表示されている状態で手400を矢印1方向に移動し、テーブル200を手400でタッチして矢印2方向にドラッグすると、手400に表示されていた全てのトランプがテーブル200上に戻る例を示している。
 図13に示す例(2)は、手400にトランプが表示されている状態で手400をテーブル200上に移動し、その後、手400を投影エリア202の外に出すと、手400に表示されていた全てのトランプがテーブル200上に戻る例を示している。手400をテーブル200上に移動した後、所定の位置まで手400を投影エリア202から遠ざけると全てのトランプがテーブル200上に戻るようにしても良い。
 図13に示す例(3)は、手400にトランプが表示されている状態で素早く手400を退けた場合にトランプがテーブル200上に残る例を示している。また、図13に示す例(4)は、手のひらではなく腕にトランプが表示されている状態で、手400をテーブル200上に移動し、素早く手を退けた場合に、トランプがテーブル200上に戻る例を示している。
 図14は、トランプ300の手400の上への復帰方法を示す模式図である。先ず、手400を投影エリア202の外に出すと、所定の位置で裏のトランプが投影エリア202に戻る(ステップ(1))。その後、投影エリア202に戻したトランプに再び手400をかざすと(ステップ(2))、トランプが手に戻る(ステップ(3))。
 図15は、トランプを人に渡す動作を示す模式図である。図15では、テーブル200を介した動作と、テーブル200を介さない動作を示している。テーブル200を介した動作では、手400にトランプが表示されている状態で、手400でテーブル200をタッチすると(ステップ(1))、トランプがテーブル200上に戻る(ステップ(2))。次に、別の人の手400がテーブル200上のトランプを手400に映し(ステップ(3))、別の人が手400を握ると、別の人にトランプが取得される(ステップ(4))。
 図15に示すテーブル200を介さない動作では、Aさんの手400にトランプが表示され、Bさんの手400にトランプが表示されていない状態で(ステップ(1))、Aさんの手400とBさんの手400を合わせ(ステップ(2))、Aさんの手400とBさんの手400を離すと、トランプがBさんの手400に渡る。
 図16は、テーブル200上への表示により手400の角度変化を促す例を示す模式図である。本実施形態によれば、ユーザーが手400を自身に向けて傾けることで、手400に表示されているコンテンツを他のユーザーが視認できなくなり、手400をプライベートスクリーンとして活用することができる。これにより、他人に知られたくないプライベートな情報を手400に表示することも可能である。一方、図16の左側の図に示すように、手400をテーブル200の上面に対して立て過ぎてしまうと、コンテンツが歪むなどの弊害が想定される。従って、手400をテーブル200の上面に対して立て過ぎた場合は、テーブル200上に「手をもう少し倒してください」と表示が行われる。これにより、手400に表示されるトランプの画像の歪みを抑制することができる。
 また、図16の右側の図に示すように、手を倒し過ぎてしまうと、テーブル200上に「手をもう少し立ててください」と表示が行われる。これにより、ユーザーが手400を立てるようにするため、トランプ(コンテンツ(A)300)の情報が他の人に見えなくなり、プライベートスクリーンとしての秘匿性を高めることができる。より好適には、図16の右側の図に示すように、手400を倒し過ぎている間は、トランプの表示を裏側にして他の人が見ることができないようにすることが好ましい。これにより、秘匿性をより確実に高めることができる。
 なお、上述した説明では、トランプ(コンテンツ(A)300)が手400に表示された場合に、ユーザーのジェスチャに応じて表示状態を変更する例を主に示したが、トランプがテーブル200に表示された場合に、ユーザーのジェスチャに応じて表示状態を変更することも可能である。
 以上説明した具体的な操作の例によれば、投射エリア202内に存在する手400を認識し、手400とテーブル200との相対位置を把握することで付加情報をユーザーへ提示することが可能となる。また、手400の姿勢と状態をリアルタイムに検出し、ユーザー操作、ジェスチャに応じて動的に投影内容を変更することで、ユーザビリティを向上させることが可能となる。また、手400の操作と投影内容の変化を直感的な動きで対応付けることが可能となり、学習コストの低い操作体系を実現することも可能となる。更に、プロジェクタ装置100で投影するというパブリックスクリーンの中において、コンテンツを手400に表示することで、プライベートスクリーンを作ることも可能となる。なお、上述の例ではトランプの札などのコンテンツを表示する場合を例に挙げて説明したが、麻雀や表裏のあるカードゲーム、軍人将棋などの他のコンテンツを表示しても良い。また、投影されるコンテンツとして、これらのゲームに関するもの以外にも様々なコンテンツに適用が可能である。上述のように手400をプライベートスクリーンとして利用できるため、暗証番号など秘匿性が必要なアプリケーションを表示する場合に特に有用である。
 7.手以外のオブジェクトを用いた操作の例
 上述した説明では、ユーザーの手400の動作に応じてコンテンツ300に係る情報の表示状態を変更する例を示したが、手400以外の動作に応じて情報の表示状態を変更しても良い。図17は、図4と同様にテーブル200上への表示の例を示す模式図である。図17では、図4と異なり、ユーザーの手400がボード410を保持している。入力部102は、ボード410の状態をオブジェクトの状態として取得する。図2に示した手検出部104、手追跡部106、手姿勢推定部108、ジェスチャ認識部110は、手400の場合と同様の処理を行うことにより、ボード410の空間的な状態を取得する。ボード410を白色にすることで、例えばボード410上にトランプなどのコンテンツを表示した場合に、より鮮明な色で表示を行うことができる。
 また、図17に示す例において、ボード410に入力部102が検出可能なマーカを付しておくことで、ボード410を配られたユーザーのみに表示されるプライベートなコンテンツをボード410上に表示することも可能となる。これにより、ボード410を特定のユーザーを対象とするプライベートスクリーンとして利用することができる。この場合、手検出部104による手400の検出と同様の手法でボード410上のマーカを検出し、マーカを検出した場合は、表示制御部112によりボード410上にプライベートな情報を表示する。この場合においても、認識したジェスチャに応じて表示を制御することができる。
 8.サーバによる制御の例
 図2に示す構成例では、プロジェクタ装置100が図2に示す構成要素を全て備えるものとしたが、プロジェクタ装置100は入力部102と出力部116を備え、他の構成要素は、他の装置が備えていても良い。すなわち、図2中に一点鎖線で囲んだ表示処理装置130の構成要素は、必ずしもプロジェクタ装置100に設けられていなくても良い。
 図18は、入力部102と出力部116を備えるプロジェクタ装置100を複数設け、サーバ500側で複数のプロジェクタ装置100のそれぞれを制御する構成例を示す模式図である。また、図19は、図18に示す構成により、テーブル200の投影エリア202に表示を行った例を示す模式図である。図19に示す例では、投影エリア202を複数に分割し、分割して得られる投影エリア202a,202b,202c,202dのそれぞれについて、4つのプロジェクタ装置100のそれぞれが個別に投影を行う。図18に示すように、各プロジェクタ装置100を制御するサーバ500は、図2中に一点鎖線で囲んだ表示処理装置130の構成要素を備えている。
 図18及び図19に示す構成例によれば、投影エリア202を4つのプロジェクタ装置100が分担して表示できるため、より広い領域の投影エリア202に表示を行うことが可能となる。なお、分割して得られる投影エリア202a,202b,202c,202dの境界部分では、隣接する投影エリアの表示を行うプロジェクタ装置100が重畳表示を行うことで、境界部分を確実に表示することが可能となる。また、図19に示す例において、各プロジェクタ装置100が投影エリア200の全領域に表示を行い、各プロジェクタ装置100による表示を重畳させても良い。
 以上説明したように本実施形態によれば、手400、ボード410などのオブジェクトの空間的な状態に応じて、投影するコンテンツの表示を最適に制御することが可能となる。また、手400、ボード410などのオブジェクトをプライベートスクリーンとすることができるため、特別なデバイスや道具を必要とせず、既存のプロジェクションタイプのシステムでは実現できなかった秘匿性の高いアプリケーションを実現することが可能となる。更に、オブジェクトの動作と投影内容の変化を対応付けることにより、簡単かつ直感的な操作で投影内容を最適化することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1) オブジェクトの空間的な状態を取得する状態取得部と、
 前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、
 を備える、表示処理装置。
(2) 前記状態取得部は、前記情報が投影される投影エリア内で前記オブジェクトの状態を取得する、前記(1)に記載の表示処理装置。
(3) 前記状態取得部は、前記オブジェクトの前記状態として、投影面に対する奥行き方向の前記オブジェクトの位置を取得する、前記(1)又は(2)に記載の表示処理装置。
(4) 前記状態取得部は、前記オブジェクトの前記状態として、投影面に沿った方向の前記オブジェクトの位置を取得する、前記(1)又は(2)に記載の表示処理装置。
(5) 前記状態取得部は、前記オブジェクトの空間的な位置を検出する検出部を含む、前記(1)~(4)のいずれかに記載の表示処理装置。
(6) 前記状態取得部は、前記オブジェクトの位置を追跡する追跡部を含む、前記(1)~(5)のいずれかに記載の表示処理装置。
(7) 前記状態取得部は、前記オブジェクトの姿勢を推定する姿勢推定部を含む、前記(1)~(6)のいずれかに記載の表示処理装置。
(8) 前記状態取得部は、前記オブジェクトのジェスチャを認識する認識部を含み、
 前記表示制御部は、前記ジェスチャに基づいて前記情報の表示状態を変更する、前記(1)~(7)のいずれかに記載の表示処理装置。
(9) 前記オブジェクトはユーザーの手であり、
 前記ジェスチャは、手を握る動作、手を開く動作、手のひらを返す動作、表示された前記情報をタップする動作、表示された前記情報をドラッグする動作、手を投影エリアにタッチする動作、手を投影エリアに向けて下げる動作、手を投影エリアから外に出す動作、及び手を振る動作の少なくとも1つを含む、前記(8)に記載の表示処理装置。
(10) 前記表示制御部は、前記オブジェクトの前記状態に応じて、前記情報が認識できなくなるように表示状態を変更する、前記(1)~(9)のいずれかに記載の表示処理装置。
(11) 前記情報は表裏を反転可能な形態で表示され、
 前記表示制御部は、前記オブジェクトの前記状態に応じて前記情報の表裏を反転させることで、前記情報の表示状態を変更する、前記(1)~(10)のいずれかに記載の表示処理装置。
(12) 前記表示制御部は、前記オブジェクトに投影される前記情報の表示を制御する、前記(1)~(11)のいずれかに記載の表示処理装置。
(13) 前記表示制御部は、所定の投影面に投影される前記情報の表示を制御する、前記(1)~(11)のいずれかに記載の表示処理装置。
(14) 前記オブジェクトは、ユーザーの手に保持された物体である、前記(1)~(13)のいずれかに記載の表示処理装置。
(15) オブジェクトの空間的な状態を取得することと、
 前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御することと、
 を備える、表示処理方法。
(16) オブジェクトの空間的な状態を取得する手段、
 前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する手段、
 としてコンピュータを機能させるためのプログラム。
 104  手検出部
 106  手追跡部
 108  手姿勢推定部
 110  ジェスチャ認識部
 112  表示制御部
 120  状態取得部
 130  表示処理装置

Claims (16)

  1.  オブジェクトの空間的な状態を取得する状態取得部と、
     前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、
     を備える、表示処理装置。
  2.  前記状態取得部は、前記情報が投影される投影エリア内で前記オブジェクトの状態を取得する、請求項1に記載の表示処理装置。
  3.  前記状態取得部は、前記オブジェクトの前記状態として、投影面に対する奥行き方向の前記オブジェクトの位置を取得する、請求項1に記載の表示処理装置。
  4.  前記状態取得部は、前記オブジェクトの前記状態として、投影面に沿った方向の前記オブジェクトの位置を取得する、請求項1に記載の表示処理装置。
  5.  前記状態取得部は、前記オブジェクトの空間的な位置を検出する検出部を含む、請求項1に記載の表示処理装置。
  6.  前記状態取得部は、前記オブジェクトの位置を追跡する追跡部を含む、請求項1に記載の表示処理装置。
  7.  前記状態取得部は、前記オブジェクトの姿勢を推定する姿勢推定部を含む、請求項1に記載の表示処理装置。
  8.  前記状態取得部は、前記オブジェクトのジェスチャを認識する認識部を含み、
     前記表示制御部は、前記ジェスチャに基づいて前記情報の表示状態を変更する、請求項1に記載の表示処理装置。
  9.  前記オブジェクトはユーザーの手であり、
     前記ジェスチャは、手を握る動作、手を開く動作、手のひらを返す動作、表示された前記情報をタップする動作、表示された前記情報をドラッグする動作、手を投影エリアにタッチする動作、手を投影エリアに向けて下げる動作、手を投影エリアから外に出す動作、及び手を振る動作の少なくとも1つを含む、請求項8に記載の表示処理装置。
  10.  前記表示制御部は、前記オブジェクトの前記状態に応じて、前記情報が認識できなくなるように表示状態を変更する、請求項1に記載の表示処理装置。
  11.  前記情報は表裏を反転可能な形態で表示され、
     前記表示制御部は、前記オブジェクトの前記状態に応じて前記情報の表裏を反転させることで、前記情報の表示状態を変更する、請求項1に記載の表示処理装置。
  12.  前記表示制御部は、前記オブジェクトに投影される前記情報の表示を制御する、請求項1に記載の表示処理装置。
  13.  前記表示制御部は、所定の投影面に投影される前記情報の表示を制御する、請求項1に記載の表示処理装置。
  14.  前記オブジェクトは、ユーザーの手に保持された物体である、請求項1に記載の表示処理装置。
  15.  オブジェクトの空間的な状態を取得することと、
     前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御することと、
     を備える、表示処理方法。
  16.  オブジェクトの空間的な状態を取得する手段、
     前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する手段、
     としてコンピュータを機能させるためのプログラム。
PCT/JP2018/026600 2017-09-25 2018-07-13 表示処理装置、表示処理方法及びプログラム WO2019058722A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/647,557 US20200278754A1 (en) 2017-09-25 2018-07-13 Display processing apparatus, display processing method, and program
CN201880060071.7A CN111095394A (zh) 2017-09-25 2018-07-13 显示处理设备、显示处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-183785 2017-09-25
JP2017183785A JP2019060963A (ja) 2017-09-25 2017-09-25 表示処理装置、表示処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019058722A1 true WO2019058722A1 (ja) 2019-03-28

Family

ID=65809603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026600 WO2019058722A1 (ja) 2017-09-25 2018-07-13 表示処理装置、表示処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20200278754A1 (ja)
JP (1) JP2019060963A (ja)
CN (1) CN111095394A (ja)
WO (1) WO2019058722A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3931676A4 (en) * 2019-04-11 2022-04-13 Samsung Electronics Co., Ltd. HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251257A (ja) * 2008-04-07 2009-10-29 Nikon Corp プロジェクタ
US20140177909A1 (en) * 2012-12-24 2014-06-26 Industrial Technology Research Institute Three-dimensional interactive device and operation method thereof
JP2015111772A (ja) * 2013-12-06 2015-06-18 シチズンホールディングス株式会社 投影装置
JP2017503198A (ja) * 2013-12-20 2017-01-26 クアルコム,インコーポレイテッド ターゲット上に投影するためのコンテンツのトリミング

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
KR102073827B1 (ko) * 2013-05-31 2020-02-05 엘지전자 주식회사 전자 기기 및 그 제어 방법
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9927923B2 (en) * 2013-11-19 2018-03-27 Hitachi Maxell, Ltd. Projection-type video display device
JP6270495B2 (ja) * 2014-01-16 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
CN106371714B (zh) * 2015-07-23 2020-06-23 北京小米移动软件有限公司 信息显示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251257A (ja) * 2008-04-07 2009-10-29 Nikon Corp プロジェクタ
US20140177909A1 (en) * 2012-12-24 2014-06-26 Industrial Technology Research Institute Three-dimensional interactive device and operation method thereof
JP2015111772A (ja) * 2013-12-06 2015-06-18 シチズンホールディングス株式会社 投影装置
JP2017503198A (ja) * 2013-12-20 2017-01-26 クアルコム,インコーポレイテッド ターゲット上に投影するためのコンテンツのトリミング

Also Published As

Publication number Publication date
CN111095394A (zh) 2020-05-01
US20200278754A1 (en) 2020-09-03
JP2019060963A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
Sodhi et al. LightGuide: projected visualizations for hand movement guidance
US9584766B2 (en) Integrated interactive space
US9292083B2 (en) Interacting with user interface via avatar
US9507411B2 (en) Hand tracker for device with display
Winkler et al. Pervasive information through constant personal projection: the ambient mobile pervasive display (AMP-D)
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
Chan et al. Enabling beyond-surface interactions for interactive surface with an invisible projection
US20120293555A1 (en) Information-processing device, method thereof and display device
JP6381361B2 (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
Winkler et al. SurfacePhone: a mobile projection device for single-and multiuser everywhere tabletop interaction
Du et al. Opportunistic interfaces for augmented reality: Transforming everyday objects into tangible 6dof interfaces using ad hoc ui
JP6686345B2 (ja) 操作イベントを検出する方法、システム及びプログラム
CN110673810A (zh) 显示设备及其显示方法、装置、存储介质和处理器
WO2019058722A1 (ja) 表示処理装置、表示処理方法及びプログラム
US9785253B2 (en) Pointing device using camera and outputting mark
JP2019153205A (ja) 投影システムとその制御方法及びプログラム
JP2013134549A (ja) データ入力装置およびデータ入力方法
Koutlemanis et al. A steerable multitouch display for surface computing and its evaluation
JP2019082649A (ja) 映像表示システム
Izadi et al. C-Slate: exploring remote collaboration on horizontal multi-touch surfaces
Möllers et al. Taps widgets: Tangible control over private spaces on interactive tabletops
JP2019082650A (ja) 投影システム及びスクリーン
JP5533311B2 (ja) 展示物用情報提示装置および提示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18858089

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18858089

Country of ref document: EP

Kind code of ref document: A1