WO2009147806A1 - 遠隔操作装置及び遠隔操作方法 - Google Patents

遠隔操作装置及び遠隔操作方法 Download PDF

Info

Publication number
WO2009147806A1
WO2009147806A1 PCT/JP2009/002380 JP2009002380W WO2009147806A1 WO 2009147806 A1 WO2009147806 A1 WO 2009147806A1 JP 2009002380 W JP2009002380 W JP 2009002380W WO 2009147806 A1 WO2009147806 A1 WO 2009147806A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
display screen
dimensional
unit
Prior art date
Application number
PCT/JP2009/002380
Other languages
English (en)
French (fr)
Inventor
石橋裕大
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2010515752A priority Critical patent/JP5340280B2/ja
Priority to US12/671,532 priority patent/US8432391B2/en
Priority to CN2009801000735A priority patent/CN101784980B/zh
Publication of WO2009147806A1 publication Critical patent/WO2009147806A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation

Definitions

  • the present invention generates a user's three-dimensional human body shape model (hereinafter simply referred to as “three-dimensional model”), and displays a user image when the generated three-dimensional model is three-dimensionally rendered from a viewpoint at an arbitrary position.
  • the present invention relates to a remote operation device and a remote operation method for remotely operating an apparatus.
  • FIG. 1 There is an electronic mirror device as shown in FIG. 1 that generates a user's three-dimensional model and displays an arbitrary viewpoint.
  • the electronic mirror device generates a three-dimensional model of the user 101 using measurement data measured by the three-dimensional human body shape measuring device 102 (a camera in FIG. 1). Then, the electronic mirror device generates a user projection image 104 by rendering the three-dimensional model, and displays the generated user projection image 104 on the display screen 103.
  • a method of remotely operating the electronic mirror device by selecting and determining a menu image displayed on the display screen 103 by the user 101 located away from the display screen 103 can be considered.
  • the electronic mirror device is remotely operated using a projection image of the user displayed on the display screen.
  • the electronic mirror device determines that the menu image 204 that overlaps the projection image 203 of the user 201 displayed on the display screen 202 is the menu image “selected” by the user 201 (step S1).
  • the electronic mirror device is “determined” by the user 201 as the menu image that includes the position where the movement amount of the user in the direction perpendicular to the display screen 202 is the largest among the menu images “selected” by the user 201.
  • the menu image is determined (step S2).
  • Patent Document 1 An example in which such a remote operation method is applied to a projector is disclosed in Patent Document 1.
  • the above conventional technique has a problem that a device for measuring information in the depth direction is required in addition to a device for displaying a projected image.
  • the present invention has been made in view of the above-described problems, and an object thereof is to provide a remote operation device that can realize remote operation of an electronic mirror device or the like with a relatively simple configuration.
  • one aspect of the remote control device of the present invention corresponds to a menu image displayed on a display screen and specified by a user at a position away from the display screen.
  • a remote operation device for outputting operation information which is a first and second three-dimensional model showing an appearance of the shape of the user at a first time and a second time after the first time.
  • a three-dimensional model generation unit that generates the three-dimensional model of the first and second three-dimensional models generated by the three-dimensional model generation unit, and three-dimensional rendering of the first and second user images
  • the menu image and the second user image Display of the second user image when the first operation determination unit for determining whether or not the second user image and the second user image generated by the three-dimensional rendering unit are displayed on the display screen
  • a second operation determination unit that calculates a movement amount in a direction perpendicular to the screen, and specifies coordinates on the display screen indicating a position designated by the user based on the calculated movement amount; When the operation determination unit determines that the menu image and the second user image overlap, the coordinates specified by the second operation determination unit are included in the area where the menu image is displayed.
  • An operation information output unit that outputs operation information corresponding to the menu image, and the second operation determination unit is generated when the first and second 3D models are three-dimensionally rendered.
  • Is Referring to a depth buffer in which depth information indicating the relationship between the coordinates on the projection plane and the depth value is stored, and obtaining a difference value between the depth value of the first user image and the depth value of the second user image. Calculated as the amount of movement.
  • the depth buffer it is possible to calculate the amount of movement of the user image in the direction perpendicular to the projection plane, so that the distance between the user and the display screen is detected using a device such as a distance sensor. Therefore, it becomes possible to output operation information. That is, remote control of the electronic mirror device or the like can be realized with a relatively simple configuration.
  • the three-dimensional rendering unit generates the first and second user images by three-dimensionally rendering the first and second three-dimensional models using a first projection matrix, and A third user image is generated by three-dimensionally rendering the second three-dimensional model using a second projection matrix different from the first projection matrix, and generated by the three-dimensional rendering unit It is preferable that a third user image is displayed on the display screen.
  • the menu image specified by the user can be determined using the user image for operation different from the user image for display, the user has a certain operation feeling regardless of the position or size of the user.
  • the menu image can be designated with.
  • the first projection matrix is an orthographic projection matrix and the second projection matrix is a perspective projection matrix.
  • the user image for display is generated using the orthogonal projection matrix, so that the user can instruct the menu image with a certain operation feeling regardless of the positional relationship between the user and the display screen.
  • the first projection matrix is preferably a projection matrix that changes the size of the user image in accordance with the size of the user and the size of the display screen.
  • the user can instruct the menu image with a certain operation feeling.
  • one aspect of the integrated circuit of the present invention is an integrated circuit for outputting operation information corresponding to a menu image displayed on a display screen and specified by a user at a position away from the display screen.
  • a three-dimensional circuit that generates first and second three-dimensional models that are three-dimensional models showing the appearance of the user's shape at a first time and a second time after the first time.
  • a model generation unit a three-dimensional rendering unit that generates first and second user images by three-dimensionally rendering the first and second three-dimensional models generated by the three-dimensional model generation unit;
  • a first determination is made as to whether or not the menu image and the second user image overlap when the second user image generated by the three-dimensional rendering unit is displayed on the display screen.
  • the amount of movement of the second user image in the direction perpendicular to the display screen is calculated. Then, based on the calculated movement amount, a second operation determination unit that specifies coordinates on the display screen indicating the position designated by the user, and the menu image and the second operation by the first operation determination unit. Operation information corresponding to the menu image when the coordinates specified by the second operation determination unit are included in the area where the menu image is displayed. And an operation information output unit that outputs the coordinates and depth values on the projection plane that are generated when the first and second three-dimensional models are three-dimensionally rendered. When Referring to depth buffer depth information indicating the relationship is stored, it calculates a difference value between the depth values of the depth value and the second user image of the first user image as the moving amount.
  • the present invention can be realized not only as such a remote operation device, but also as a remote operation method including steps of operations of characteristic components included in such a remote operation device. It can also be realized as a program for causing a computer to execute steps.
  • the amount of movement of the user image in the direction perpendicular to the projection plane can be calculated by referring to the depth buffer. Therefore, the distance between the user and the display screen can be calculated using a device such as a distance sensor. Operation information can be output without detection. That is, remote control of the electronic mirror device or the like can be realized with a relatively simple configuration.
  • FIG. 1 is a diagram showing an outline of a conventional electronic mirror device.
  • FIG. 2 is a diagram for explaining a preferred remote operation method in the conventional electronic mirror device.
  • FIG. 3 is a block diagram illustrating a functional configuration of the electronic mirror device including the remote control device according to the first embodiment of the present invention.
  • FIG. 4A is a flowchart showing a flow of processing by the remote control device according to Embodiment 1 of the present invention.
  • FIG. 4B is a flowchart showing a flow of processing by the remote control device according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram for explaining the flow of processing by the remote control device according to the first embodiment of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of an electronic mirror device provided with a remote control device according to Embodiment 2 of the present invention.
  • FIG. 7 is a flowchart showing a flow of processing by the remote control device according to the second embodiment of the present invention.
  • FIG. 8 is a diagram for explaining the flow of processing by the remote control device according to the second embodiment of the present invention.
  • FIG. 9 is a diagram illustrating the difference in the projected image depending on the positional relationship between the user and the display screen.
  • FIG. 10 is a diagram for explaining the perspective projection.
  • FIG. 11 is a diagram for explaining orthographic projection.
  • FIG. 12 is a diagram for explaining a modification of the second embodiment of the present invention.
  • FIG. 13 is a diagram for explaining a modification of the present invention.
  • FIG. 3 is a block diagram illustrating a functional configuration of the electronic mirror device including the remote control device according to the first embodiment of the present invention.
  • the electronic mirror device 10 includes a three-dimensional human body shape measurement unit 11, a display unit 12, an electronic mirror control unit 13, and a remote operation device 20.
  • the 3D human body shape measuring unit 11 measures the 3D human body shape of the user and outputs the measurement data to the 3D model generating unit 21 of the remote control device 20.
  • the three-dimensional human body shape measurement unit 11 may measure the user's three-dimensional human body shape using a method generally used when measuring a three-dimensional human body shape, such as a stereo measurement method or a light cutting method.
  • the display unit 12 has a display screen such as a liquid crystal display, and displays the display image output by the display image composition unit 26.
  • the electronic mirror control unit 13 controls the operation of each component constituting the electronic mirror device 10.
  • the electronic mirror control unit 13 controls the operation of each component according to the operation information output by the operation information output unit 25. For example, when the operation information indicates the luminance UP, the electronic mirror control unit 13 increases the luminance of the image to be displayed by a predetermined value.
  • the remote operation device 20 is a device that outputs operation information corresponding to the menu image displayed on the display screen according to the movement of the user at a position away from the display screen.
  • the remote operation device 20 includes a three-dimensional model generation unit 21, a data storage unit 22, a three-dimensional rendering unit 23, an operation determination unit 24, an operation information output unit 25, a display image synthesis unit 26, and a control unit 27.
  • the 3D model generation unit 21 sequentially generates a 3D model of the user from the measurement data measured by the 3D human body shape measurement unit 11. Specifically, the three-dimensional model generation unit 21 generates a three-dimensional model using a method that is generally used when generating a three-dimensional model, such as the Delaunay triangulation method or the marching cubes method. .
  • the data storage unit 22 is a storage medium such as a memory, and stores rendering parameters including a projection matrix.
  • the three-dimensional rendering unit 23 renders the three-dimensional model generated by the three-dimensional model generation unit 21 three-dimensionally using the rendering parameters stored in the data storage unit 22, thereby generating a two-dimensional projection image (hereinafter, Simply “user image”). Specifically, the three-dimensional rendering unit 23 generates a user image by executing a series of rendering processes such as modeling conversion, light source calculation, projection conversion, viewport conversion, and texture mapping. In this rendering process, the three-dimensional rendering unit 23 stores color information and depth information in a color buffer and a depth buffer, which are buffer memories (not shown).
  • the color information stored in the color buffer is information indicating the relationship between the position on the projection plane and the color when the three-dimensional model is projected onto the projection plane.
  • the depth information stored in the depth buffer is information indicating the relationship between the position and the depth value when the three-dimensional model is projected onto the projection plane.
  • the operation determination unit 24 is an example of the first and second operation determination units, and refers to the color information and depth information stored in the color buffer and the depth buffer by the three-dimensional rendering unit 23, thereby enabling the first operation The determination and the second operation determination are executed.
  • the operation determination unit 24 stores, in the color buffer, whether or not the menu image and the user image overlap when the user image generated by the three-dimensional rendering unit 23 is displayed on the display screen.
  • the color information is used for determination (first operation determination).
  • the operation determination unit 24 calculates the movement amount of the user image in the direction perpendicular to the display screen when the user image generated by the three-dimensional rendering unit 23 is displayed on the display screen. Then, the operation determination unit 24 specifies coordinates on the display screen instructed by the user based on the calculated movement amount (second operation determination). Specifically, the operation determination unit 24 specifies, for example, the coordinates on the display screen corresponding to the position on the projection plane that is the largest movement amount as the coordinates instructed by the user. The operation determination unit 24 refers to the depth buffer and calculates a difference value between depth values of the current user image and the past user image as a movement amount.
  • the operation information output unit 25 is a case where the operation determination unit 24 determines that the menu image and the second user image overlap, and the coordinates specified by the operation determination unit 24 are included in the area where the menu image is displayed.
  • the operation information corresponding to the menu image is output to the display image composition unit 26, the electronic mirror control unit 13, and the like.
  • the operation information corresponding to the menu image may be acquired from, for example, an operation information table in which the menu image and the operation information are stored in association with each other.
  • the display image composition unit 26 generates a display menu image based on the operation information output by the operation information output unit 25. Then, the display image synthesis unit 26 generates a display image by synthesizing the generated display menu image and the user image generated by the three-dimensional rendering unit 23. Then, the display image composition unit 26 outputs the generated display image to the display unit 12.
  • the control unit 27 controls the operation of each component of the remote operation device 20.
  • the 3D model generated by the 3D model generation unit 21 or the user image generated by the 3D rendering unit 23 may be stored in a storage unit (not shown). In that case, each component reads the three-dimensional model or user image stored in the storage unit, and executes processing using the read three-dimensional model or user image.
  • FIG. 4A and FIG. 4B are flowcharts showing the flow of processing by the remote control device according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram for explaining the flow of processing by the remote control device according to Embodiment 1 of the present invention.
  • the three-dimensional model generation unit 21 generates a three-dimensional model from the user's three-dimensional human body measurement data (S101).
  • the three-dimensional rendering unit 23 generates a user image to be displayed on the display screen by three-dimensionally rendering the three-dimensional model.
  • the three-dimensional rendering unit 23 when generating the user image, the three-dimensional rendering unit 23 generates color information and depth information, and stores the generated color information and depth information in the rendering buffer 401 (S102).
  • the rendering buffer 401 includes a color buffer 402 that stores color information that is a projected image on the user's display screen, and a depth buffer 403 that stores depth information representing a distance from the user's display screen. Consists of
  • the operation determination unit 24 selects a menu image that is an operation determination target and has not yet been selected (S103).
  • the operation determination unit 24 performs an operation determination process using the color information stored in the color buffer 402 and the depth information stored in the depth buffer 403 (S104). Details of the operation determination process will be described later with reference to FIG. 4B.
  • the operation determination unit 24 determines whether or not all menu images displayed on the display screen have been selected in step S103 (S105). Here, when all the menu images are not selected (No in S105), the operation determination unit 24 repeats the processes in steps S103 to S104. On the other hand, when all the menu images are selected (Yes in S105), the operation information output unit 25 outputs the operation information corresponding to the menu image “determined” by the user indicated by the determination information (S106). .
  • the display image composition unit 26 generates a display menu image 404 based on the output operation information. Specifically, the display image composition unit 26 generates a display menu image 404 in which the color of the menu image indicated by the operation information is changed, for example. Then, the display image synthesis unit 26 outputs the display image 405 obtained by synthesizing the generated display menu image 404 and the user image to the display unit 12 (S107). Finally, the display unit 12 displays the display image 405 on the display screen (S108).
  • the rendering buffer 401 is referred to.
  • the operation determination process can be divided into a first operation determination for specifying a menu image “selected” by the user and a second operation determination for specifying a menu image “decided” by the user.
  • the operation determination unit 24 acquires color information of the display area of the menu image selected in step S103 from the color buffer 402 (S111). Next, the operation determination unit 24 determines whether or not a user image is included in the display area of the menu image (S112). Specifically, for example, when the color information at a position corresponding to the display area of the menu image has a value different from the initial value, the operation determination unit 24 includes the user image in the display area of the menu image. It is determined that
  • the operation determination unit 24 determines that the menu image is selected by the user, and the second operation determination Execute.
  • the operation determination unit 24 determines that the menu image is not selected by the user, and performs the second operation determination. Do not execute.
  • the operation determination unit 24 acquires the depth information of the display area of the menu image selected in step S103 from the depth buffer 403 (S121).
  • the operation determination unit 24 acquires current and past depth information from the depth buffer 403.
  • the operation determination unit 24 for example, based on the depth information generated based on the three-dimensional model generated in step S101 and the three-dimensional model generated immediately before the three-dimensional model.
  • the depth information generated in this way is acquired from the depth buffer 403.
  • the operation determination unit 24 calculates the difference value of the depth value indicated by the acquired depth information for each position on the projection plane (S122). Subsequently, the operation determination unit 24 determines whether or not the calculated maximum value of the difference value is larger than the maximum value of the difference value already calculated in another menu image (S123).
  • the operation determination unit 24 selects the menu image “determined” by the user.
  • the determination information for display is updated to information indicating the menu image (S124).
  • the remote control device 20 specifies the menu image that has been “selected” and “decided” by the user using the color information and the depth information stored in the color buffer and the depth buffer. Can do. That is, the remote operation device 20 displays the information in the horizontal direction with respect to the display screen used in the first operation determination and the information in the vertical direction with respect to the display screen used in the second operation determination, respectively. Since three-dimensional rendering processing for generating an image can be obtained as color information and depth information stored in a color buffer and a depth buffer, no separate measurement processing or recognition processing is required. That is, the remote operation device 20 can realize remote operation of the electronic mirror device 10 with a relatively simple configuration.
  • the color information referred to by the operation determination unit 24 may include not only a visible color value (such as RGB or HSV) but also control information of a pixel at a corresponding position such as an ⁇ value (A) representing transparency.
  • the control information is a value different from the initial value among the color information at the position corresponding to the display area of the menu image
  • the operation determination unit 24 places the user in the display area of the menu image. It may be determined that an image is included.
  • the operation determination unit 24 may not update the determination information when the maximum value of the difference value of the depth value does not reach a predetermined threshold value or when the operation value does not move in the display screen direction. Thereby, the remote operation device can avoid an erroneous operation due to an operation not intended by the user.
  • the display image composition unit 26 may change the color of the menu image or the user image according to the difference value of the depth value calculated by the operation determination unit 24. Thereby, the user can confirm the menu image determined by the user.
  • the remote operation device 40 according to the present embodiment is different from the remote operation device 20 according to the first embodiment in that a user image for executing an operation determination process and a user image for display on a display screen are generated.
  • FIG. 6 is a block diagram illustrating a functional configuration of the electronic mirror device 30 including the remote control device according to the second embodiment of the present invention.
  • the remote operation device 40 according to the present embodiment and the remote operation device 20 according to the first embodiment include a part of the processing of the three-dimensional rendering unit and the display image composition unit and a part of the data stored in the data storage unit. Although different, the other parts are the same.
  • FIG. 6 the same components as those in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted.
  • the data storage unit 42 includes a first rendering parameter including an orthogonal projection matrix (hereinafter referred to as “operation rendering parameter”) and a second rendering parameter including a perspective projection matrix (hereinafter referred to as “display rendering parameter”). .)
  • the three-dimensional rendering unit 43 renders the three-dimensional model generated by the three-dimensional model generation unit 21 three-dimensionally using the operation rendering parameters stored in the data storage unit 42, thereby obtaining color information and depth information. Is generated. Then, the three-dimensional rendering unit 43 stores color information in the color buffer and stores depth information in the depth buffer.
  • the three-dimensional rendering unit 43 performs the three-dimensional rendering of the three-dimensional model generated by the three-dimensional model generation unit 21 using the display rendering parameters stored in the data storage unit 42, thereby displaying the display user. Generate an image.
  • the three-dimensional rendering unit 43 includes two three-dimensional rendering units including a first three-dimensional rendering unit that generates a user image for display and a second three-dimensional rendering unit that generates a user image for operation. May be. Further, the control unit 27 may perform time-sharing control by a process of generating a display user image and a process of generating an operation user image.
  • the display image composition unit 46 generates a display menu image based on the operation information output by the operation information output unit 25. Then, the display image synthesis unit 46 generates a display image by synthesizing the generated display menu image and the display user image generated by the three-dimensional rendering unit 43. Then, the display image synthesis unit 46 outputs the generated display image to the display unit 12.
  • FIG. 7 is a flowchart showing a flow of processing by the remote control device according to the second embodiment of the present invention.
  • FIG. 8 is a figure for demonstrating the flow of a process by the remote control apparatus in Embodiment 2 of this invention.
  • the same processes as those in FIG. 4A are denoted by the same reference numerals, and the description thereof is omitted.
  • the three-dimensional rendering unit 43 After the processing of step S101 is executed, the three-dimensional rendering unit 43 generates an operation user image (color information and depth information) by three-dimensionally rendering the three-dimensional model using the operation rendering parameters. (S201). Then, the three-dimensional rendering unit 43 stores the generated color information and depth information in the operation rendering buffer 601. Note that the three-dimensional rendering unit 43 generates an operation user image using a projection matrix different from that used when generating the display user image in step S202.
  • the operation determination unit 24 and the operation information output unit 25 execute the processes of steps S103 to S106 as in the first embodiment.
  • the operation determination unit 24 executes the operation determination process using the color information and the depth information stored in the operation rendering buffer 601. Specifically, the operation determination unit 24 performs the first operation determination using color information stored in the operation color buffer 602. In addition, the operation determination unit 24 performs the second operation determination using the depth information stored in the operation depth buffer 603.
  • the three-dimensional rendering unit 43 generates a user image for display by three-dimensionally rendering the same three-dimensional model as when the user image for operation is generated in step S201 using the display rendering parameter. (S202). Then, the three-dimensional rendering unit 43 stores the generated color information and depth information in the display rendering buffer 604. Note that the three-dimensional rendering unit 43 generates a display user image using a projection matrix different from that used when generating the operation user image in step S201.
  • the display image composition unit 46 generates a display menu image 605 based on the output operation information. Then, the display image synthesis unit 46 outputs the display image 606 obtained by synthesizing the generated display menu image 404 and the display user image to the display unit 12 (S203). Finally, the display unit 12 displays the display image 606 on the display screen (S106).
  • the remote operation device 40 As described above, the remote operation device 40 according to the present embodiment generates a user image for operation and a user image for display from the same three-dimensional model, and preferred examples thereof are shown in FIGS. It explains using.
  • the size of the user image changes depending on the distance between the user and the display screen because the user image displayed on the display screen is generally generated by a perspective projection considering perspective. is there.
  • a projection image 805 is generated at a position where a projection line 804 connecting the viewpoint 801 and the object 802 intersects the projection plane 803. Therefore, the size of the projection image 805 changes according to the distance between the object 802 and the projection plane 803.
  • the projection formula using the perspective projection matrix is expressed as shown in Formula (1).
  • x, y, and z are three-dimensional coordinates before projection
  • x ′, y ′, z ′, and w ′ are homogeneous coordinates after projection
  • l, r, b, t, n, and f are Each of the constants represents a boundary of a three-dimensional space.
  • the coordinate in the horizontal direction (XY direction) with respect to the screen changes depending on the vertical direction (Z direction).
  • the size of the user image does not change according to the distance between the user and the display screen.
  • a projection image 810 is generated at a position where projection lines 809 extending from the viewpoint 806 toward the object 807 and parallel to the projection plane 808 intersect with the projection plane 808. The Therefore, the size of the projected image 810 is constant regardless of the distance between the object 807 and the projection plane 808.
  • the projection formula based on the orthogonal projection matrix is expressed as shown in Formula (2).
  • Equation (2) the coordinate in the horizontal direction (XY direction) with respect to the screen does not depend on the vertical direction (Z direction). Therefore, the horizontal information and the vertical information are accurately separated and stored in the operation color buffer 602 and the operation depth buffer 603.
  • the three-dimensional rendering unit 43 generates the color information and the depth information stored in the operation rendering buffer using an orthogonal projection matrix, so that the user can maintain a constant level regardless of the positional relationship of the user in the direction perpendicular to the display screen.
  • a menu image can be instructed with an operational feeling.
  • the three-dimensional rendering unit 43 generates an operation user image using an orthogonal projection matrix, but may generate an operation user image using another projection matrix.
  • FIG. 12 is a diagram for explaining a modification of the second embodiment of the present invention. As shown in FIG. 12, depending on the size relationship between the user 901 and the display screen 902, even if the three-dimensional rendering unit 43 generates a user image for operation using the orthographic projection matrix, the user image is displayed in the menu. In some cases, it is difficult for the user to specify a menu image because the user does not reach it or touches it immediately.
  • the three-dimensional rendering unit 43 operates using a projection matrix that changes the size of the user image 903 according to the size of the user 901 and the display screen 902 (for example, the measured height or width).
  • a user image may be generated.
  • the three-dimensional rendering unit 43 may generate a user image for operation using a projection matrix that enlarges or reduces the user image 903, for example, around a point (Cx, Cy) by s times. good.
  • a projection expression based on a projection matrix for enlarging or reducing the user image by s times is expressed as Expression (3).
  • the remote operation device generates the user image for operation using the projection matrix that enlarges or reduces the user image by s times, so that the user 901 and the display screen 902 do not depend on the size. Therefore, it is possible to always generate the user image 904 in which the user 901 can easily indicate the menu image.
  • the projection matrix for generating the user image for operation shown in the present embodiment is an example, and the remote control device according to the present invention generates the user image for operation using another projection matrix. May be.
  • the remote control device when the remote control device generates a user image obtained by three-dimensionally rendering a user's three-dimensional model from a viewpoint at an arbitrary position, or when generating a user image that is reversed horizontally, a user image for display is generated.
  • the projection matrix to do changes.
  • the projection matrix used when generating the user image for operation may be constant. Thereby, the user can instruct the menu image with the same operation feeling.
  • the color information generated when generating the user image for operation does not have to be information indicating the actual color of the user, but is information indicating the presence or absence of the user image (for example, 1-bit data). good. This is because the user image for operation does not need to be displayed on the display unit 12. As a result, the remote control device can reduce the memory area used.
  • the display user image displayed on the display screen is different from the operation user image used for the operation determination process, so that the outline of the operation user image is displayed or the operation user image is displayed.
  • the color may be displayed in a translucent manner. Thereby, the user can easily understand the operation.
  • the remote operation device executes the second operation determination after executing the first operation determination, but executes the first operation determination after executing the second operation determination. May be.
  • the remote control device identifies coordinates where the amount of movement in the direction perpendicular to the display screen is equal to or greater than a predetermined threshold, and determines whether the coordinates are included in the display area of the menu image. Also good.
  • the predetermined threshold value may be a predetermined value, for example, or may be a maximum value of the calculated movement amount.
  • the remote control device in the above embodiment generates a user image similar to the case where the display screen is an actual mirror by the three-dimensional rendering process, but the user image is different from the mirror image reflected in the actual mirror. May be generated and output to the display unit.
  • the remote control device may generate, for example, a user image that reflects the user's side surface by performing three-dimensional rendering so that the direction parallel to the display screen is the line of sight.
  • each functional block included in the remote control device of the above embodiment is typically realized as an LSI (Large Scale Integration) which is an integrated circuit. That is, as shown in FIG. 3 or FIG. 6, the remote control device typically includes an LSI 51 or an LSI 52. These functional blocks may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Further, the data storage unit may be provided inside or outside the integrated circuit, and may be constituted by a single memory or a plurality of memories. Although referred to as LSI here, it may be referred to as IC (Integrated Circuit), system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • IC Integrated Circuit
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection or setting of the circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
  • the electronic mirror device includes a remote operation device
  • another device having a function of generating a user's three-dimensional model and displaying an arbitrary viewpoint may include the remote operation device.
  • various devices such as a television 1104, a recorder / player 1105, or a game machine 1106 may include a remote control device.
  • each device may include a module substrate 1102 on which a system LSI 1101 on which each functional block included in the remote remote control device is realized is mounted.
  • the present invention may be realized as a remote operation method in which operations of characteristic components included in the remote operation device are used as steps.
  • the steps included in such a remote operation method may be realized as a program that is executed by a computer including a CPU (Central Processing Unit), a memory, and the like.
  • a program may be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • the remote control device of the present invention generates various three-dimensional models of users and displays various user images at arbitrary viewpoints based on the generated three-dimensional models, such as an electronic mirror device, a television, a recorder / player, or a game machine. It can be used as a user interface for equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

　比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することができる遠隔操作装置を提供する。 　第１及び第２の３次元モデルから第１及び第２のユーザ像を生成する３次元レンダリング部（２３）と、メニュー画像と第２のユーザ像とが重なるか否かを判定する第１の操作判定部（２４）と、第２のユーザ像の表示画面と垂直な方向への移動量に基づいて、ユーザが指定した位置を示す表示画面上の座標を特定する第２の操作判定部（２４）と、メニュー画像と第２のユーザ像とが重なると判定された場合であって、特定された座標がメニュー画像の表示される領域に含まれる場合に、メニュー画像に対応する操作情報を出力する操作情報出力部（２５）とを備え、第２の操作判定部（２４）は、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、第１のユーザ像の奥行き値と第２のユーザ像の奥行き値との差分値を移動量として算出する。

Description

遠隔操作装置及び遠隔操作方法
　本発明は、ユーザの３次元人体形状モデル（以下、単に「３次元モデル」という。）を生成し、生成した３次元モデルを任意の位置の視点から３次元レンダリングしたときのユーザ像を表示する装置を遠隔操作するための遠隔操作装置及び遠隔操作方法に関する。
　ユーザの３次元モデルを生成して任意視点表示する図１に示すような電子ミラー装置がある。一般的に、電子ミラー装置は、３次元人体形状計測装置１０２（図１ではカメラ）によって計測された計測データを用いて、ユーザ１０１の３次元モデルを生成する。そして、電子ミラー装置は、３次元モデルをレンダリングすることによりユーザの投影像１０４を生成し、生成したユーザの投影像１０４を表示画面１０３に表示する。
　電子ミラー装置において、表示画面１０３から離れた位置にいるユーザ１０１が表示画面１０３に表示されたメニュー画像を選択及び決定することにより、電子ミラー装置を遠隔操作する方法が考えられる。このような電子ミラー装置の遠隔操作方法では、表示画面上に表示されるユーザの投影像を利用して、電子ミラー装置を遠隔操作する。
　具体的には、図２に示すように、電子ミラー装置は、表示画面２０２に映るユーザ２０１の投影像２０３と重なるメニュー画像２０４を、ユーザ２０１に「選択」されたメニュー画像と判定する（ステップＳ１）。次に、電子ミラー装置は、ユーザ２０１に「選択」されたメニュー画像のうち、表示画面２０２と垂直な方向におけるユーザの移動量が最も大きい位置を含むメニュー画像を、ユーザ２０１に「決定」されたメニュー画像と判定する（ステップＳ２）。
　このような遠隔操作方法を、プロジェクタに適用した例が特許文献１に開示されている。特許文献１の遠隔操作方法では、プロジェクタの投影像及びプロジェクタと投影面との距離（＝奥行き方向の情報）を用いてメニュー操作を行う遠隔操作方法が開示されている。
特開２００５－３２２０５５号公報
　しかしながら、上記従来の技術では、奥行き方向の情報を取得するために別途距離センサが必要となる。すなわち、上記従来の技術では、投影像を表示するための装置に加えて、奥行き方向の情報を計測するための装置が必要となるという問題がある。
　そこで、本発明は上記課題に鑑みてなされたものであり、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することができる遠隔操作装置を提供することを目的とする。
　上記の目的を達成するために、本発明の遠隔操作装置の一態様は、表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作装置であって、第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する。
　これにより、デプスバッファを参照することにより、投影面と垂直な方向におけるユーザ像の移動量を算出することができるので、距離センサなどの装置を用いてユーザと表示画面との距離を検知することなく、操作情報を出力することが可能となる。すなわち、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することが可能となる。
　また、前記３次元レンダリング部は、第１の射影行列を用いて前記第１及び第２の３次元モデルを３次元レンダリングすることにより、前記第１及び第２のユーザ像を生成し、さらに、第１の射影行列とは異なる第２の射影行列を用いて、前記第２の３次元モデルを３次元レンダリングすることにより、第３のユーザ像を生成し、前記３次元レンダリング部によって生成された第３のユーザ像が前記表示画面に表示されることが好ましい。
　これにより、表示用のユーザ像とは異なる操作用のユーザ像を用いてユーザが指定したメニュー画像を判定することができるので、ユーザは、ユーザの位置又は大きさなどに関わらず一定の操作感覚でメニュー画像を指示することが可能となる。
　また、前記第１の射影行列は、正射影行列であり、前記第２の射影行列は、透視射影行列であることが好ましい。
　これにより、表示用のユーザ像は正射影行列を用いて生成されるので、ユーザは、ユーザと表示画面との位置関係によらず、一定の操作感覚でメニュー画像を指示することが可能となる。
　また、前記第１の射影行列は、前記ユーザの大きさ及び前記表示画面の大きさに応じてユーザ像の大きさを変化させる射影行列であることが好ましい。
　これにより、ユーザの大きさに関わらず、ユーザは、一定の操作感覚でメニュー画像を指示することが可能となる。
　また、本発明の集積回路の一態様は、表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための集積回路であって、第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する。
　なお、本発明は、このような遠隔操作装置として実現することができるだけでなく、このような遠隔操作装置が備える特徴的な構成部の動作をステップとする遠隔操作方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。
　本発明によれば、デプスバッファを参照することにより、投影面と垂直な方向におけるユーザ像の移動量を算出することができるので、距離センサなどの装置を用いてユーザと表示画面との距離を検知することなく、操作情報を出力することが可能となる。すなわち、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することが可能となる。
　（本願の技術的背景に関する情報）
　２００８年６月２日に出願された出願番号２００８－１４４４５８の日本出願の明細書、図面及び特許請求の範囲における開示の全体は、参照用として本願に取り込まれる。
図１は、従来の電子ミラー装置の概要を表す図である。 図２は、従来の電子ミラー装置における好適な遠隔操作方法を説明するための図である。 図３は、本発明の実施の形態１における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。 図４Ａは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。 図４Ｂは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。 図５は、本発明の実施の形態１における遠隔操作装置による処理の流れを説明するための図である。 図６は、本発明の実施の形態２における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。 図７は、本発明の実施の形態２における遠隔操作装置による処理の流れを示すフローチャートである。 図８は、本発明の実施の形態２における遠隔操作装置による処理の流れを説明するための図である。 図９は、ユーザと表示画面との位置関係による投影像の違いを表す図である。 図１０は、透視射影を説明するための図である。 図１１は、正射影を説明するための図である。 図１２は、本発明の実施の形態２の変形例を説明するための図である。 図１３は、本発明の変形例を説明するための図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図３は、本発明の実施の形態１における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。図３に示すように、電子ミラー装置１０は、３次元人体形状計測部１１と、表示部１２と、電子ミラー制御部１３と、遠隔操作装置２０とを備える。
　３次元人体形状計測部１１は、ユーザの３次元人体形状を計測し、計測データを遠隔操作装置２０の３次元モデル生成部２１へ出力する。３次元人体形状計測部１１は、ステレオ計測法又は光切断法など、一般的に３次元人体形状を計測する際に利用される方法を用いて、ユーザの３次元人体形状を計測すれば良い。
　表示部１２は、液晶ディスプレイなどの表示画面を有し、表示画像合成部２６によって出力された表示用画像を表示する。
　電子ミラー制御部１３は、電子ミラー装置１０を構成する各構成要素の動作を制御する。また、電子ミラー制御部１３は、操作情報出力部２５によって出力された操作情報に応じて、各構成要素の動作を制御する。例えば、操作情報が輝度ＵＰを示す場合、電子ミラー制御部１３は、表示する画像の輝度を所定の値だけ大きくさせる。
　遠隔操作装置２０は、表示画面から離れた位置にいるユーザの動きに応じて、表示画面に表示されたメニュー画像に対応する操作情報を出力する装置である。遠隔操作装置２０は、３次元モデル生成部２１と、データ記憶部２２と、３次元レンダリング部２３と、操作判定部２４と、操作情報出力部２５と、表示画像合成部２６と、制御部２７とを備える。
　３次元モデル生成部２１は、３次元人体形状計測部１１によって計測された計測データから、ユーザの３次元モデルを順次生成する。具体的には、３次元モデル生成部２１は、例えば、ドロネー三角形分割法、あるいはマーチングキューブズ法など３次元モデルを生成する際に一般的に利用される方法を用いて、３次元モデルを生成する。
　データ記憶部２２は、メモリ等の記憶媒体であり、射影行列を含むレンダリングパラメータを記憶している。
　３次元レンダリング部２３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部２２に記憶されたレンダリングパラメータを用いて３次元レンダリングすることにより、２次元の投影像（以下、単に「ユーザ像」という。）を生成する。具体的には、３次元レンダリング部２３は、モデリング変換、光源計算、射影変換、ビューポート変換、テクスチャマッピング等の一連のレンダリング処理を実行することにより、ユーザ像を生成する。このレンダリング処理において、３次元レンダリング部２３は、図示しないバッファメモリであるカラーバッファ及びデプスバッファに色情報及び奥行き情報を格納する。
　ここで、カラーバッファに格納される色情報とは、３次元モデルが投影面に投影されたときの投影面上の位置と色との関係を示す情報である。また、デプスバッファに格納される奥行き情報とは、３次元モデルが投影面に投影されたときの位置と奥行き値との関係を示す情報である。
　操作判定部２４は、第１及び第２の操作判定部の一例であり、３次元レンダリング部２３によってカラーバッファ及びデプスバッファに格納された色情報及び奥行き情報を参照することにより、第１の操作判定及び第２の操作判定を実行する。
　具体的には、操作判定部２４は、３次元レンダリング部２３によって生成されたユーザ像が表示画面に表示された場合に、メニュー画像とユーザ像とが重なるか否かを、カラーバッファに格納された色情報を用いて判定する（第１の操作判定）。
　また、操作判定部２４は、３次元レンダリング部２３によって生成されたユーザ像が表示画面に表示された場合における、表示画面と垂直な方向へのユーザ像の移動量を算出する。そして、操作判定部２４は、算出した移動量に基づいて、ユーザによって指示された表示画面上の座標を特定する（第２の操作判定）。具体的には、操作判定部２４は、例えば、最も大きな移動量となる投影面上の位置に対応する表示画面上の座標を、ユーザによって指示された座標として特定する。なお、操作判定部２４は、デプスバッファを参照し、現在のユーザ像と過去のユーザ像との奥行き値の差分値を移動量として算出する。
　操作情報出力部２５は、操作判定部２４によってメニュー画像と第２のユーザ像と重なると判定された場合であって、操作判定部２４によって特定された座標がメニュー画像の表示される領域に含まれる場合に、メニュー画像に対応する操作情報を表示画像合成部２６及び電子ミラー制御部１３等へ出力する。メニュー画像に対応する操作情報は、例えば、メニュー画像と操作情報とが対応づけて格納された操作情報テーブルなどから取得されれば良い。
　表示画像合成部２６は、操作情報出力部２５によって出力された操作情報に基づいて表示用メニュー画像を生成する。そして、表示画像合成部２６は、生成した表示用メニュー画像と３次元レンダリング部２３によって生成されたユーザ像とを合成することにより表示用画像を生成する。そして、表示画像合成部２６は、生成した表示用画像を表示部１２へ出力する。
　制御部２７は、遠隔操作装置２０の各構成要素の動作を制御する。
　なお、３次元モデル生成部２１によって生成された３次元モデル、又は３次元レンダリング部２３によって生成されたユーザ像等は、図示しない記憶部に格納されても良い。その場合、各構成要素は、記憶部に格納された３次元モデル又はユーザ像を読み出し、読み出した３次元モデル又はユーザ像を用いて処理を実行する。
　次に、上記のように構成された遠隔操作装置２０の各種動作について説明する。
　図４Ａ及び図４Ｂは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。また、図５は、本発明の実施の形態１における遠隔操作装置による処理の流れを説明するための図である。
　はじめに、図４Ａを用いて、遠隔操作装置２０における全体の処理の流れについて説明する。
　まず、３次元モデル生成部２１は、ユーザの３次元人体計測データから３次元モデルを生成する（Ｓ１０１）。
　次に、３次元レンダリング部２３は、３次元モデルを３次元レンダリングすることにより、表示画面に表示するためのユーザ像を生成する。ここで、３次元レンダリング部２３は、ユーザ像を生成する際に、色情報及び奥行き情報を生成し、生成した色情報及び奥行き情報をレンダリングバッファ４０１に格納する（Ｓ１０２）。図５に示すように、レンダリングバッファ４０１は、ユーザの表示画面上の投影像である色情報を格納するカラーバッファ４０２と、ユーザの表示画面からの距離を表す奥行き情報を格納するデプスバッファ４０３とから構成される。
　続いて、操作判定部２４は、操作判定の対象となるメニュー画像であって、まだ選択されていないメニュー画像を選択する（Ｓ１０３）。
　次に、操作判定部２４は、カラーバッファ４０２に格納された色情報及びデプスバッファ４０３に格納された奥行き情報を用いて、操作判定処理を実行する（Ｓ１０４）。なお、操作判定処理についての詳細は、図４Ｂを用いて後述する。
　そして、操作判定部２４は、表示画面に表示されたすべてのメニュー画像がステップＳ１０３において選択されたか否かを判定する（Ｓ１０５）。ここで、すべてのメニュー画像が選択されていない場合（Ｓ１０５のＮｏ）、操作判定部２４は、ステップＳ１０３～Ｓ１０４の処理を繰り返す。一方、すべてのメニュー画像が選択されている場合（Ｓ１０５のＹｅｓ）、操作情報出力部２５は、決定情報が示す、ユーザに「決定」されたメニュー画像に対応する操作情報を出力する（Ｓ１０６）。
　次に、表示画像合成部２６は、出力された操作情報に基づいて表示用メニュー画像４０４を生成する。具体的には、表示画像合成部２６は、例えば、操作情報が示すメニュー画像の色を変更した表示用メニュー画像４０４を生成する。そして、表示画像合成部２６は、生成した表示用メニュー画像４０４とユーザ像とを合成した表示用画像４０５を表示部１２へ出力する（Ｓ１０７）。最後に、表示部１２は、表示用画像４０５を表示画面に表示する（Ｓ１０８）。
　次に、図４Ｂを用いて、遠隔操作装置２０における操作判定処理の流れについて説明する。ユーザが選択及び決定したメニュー画像を特定するための操作判定処理では、レンダリングバッファ４０１が参照される。また、操作判定処理は、ユーザが「選択」したメニュー画像を特定する第１の操作判定と、ユーザが「決定」したメニュー画像を特定する第２の操作判定とに分けることができる。
　まず、第１の操作判定（Ｓ１１１及びＳ１１２）について説明する。操作判定部２４は、ステップＳ１０３において選択されたメニュー画像の表示領域の色情報をカラーバッファ４０２から取得する（Ｓ１１１）。次に、操作判定部２４は、メニュー画像の表示領域内にユーザ像が含まれているか否かを判定する（Ｓ１１２）。具体的には、操作判定部２４は、例えば、メニュー画像の表示領域に対応する位置の色情報が初期値とは異なる値である場合に、当該メニュー画像の表示領域内にユーザ像が含まれていると判定する。
　ここで、メニュー画像の表示領域内にユーザ像が含まれている場合は（Ｓ１１２のＹｅｓ）、操作判定部２４は、当該メニュー画像がユーザに選択されていると判断し、第２の操作判定を実行する。一方、メニュー画像の表示領域内にユーザ像が含まれていない場合は（Ｓ１１２のＮｏ）、操作判定部２４は、当該メニュー画像がユーザに選択されていないと判断し、第２の操作判定を実行しない。
　次に、第２の操作判定（Ｓ１２１～Ｓ１２４）について説明する。操作判定部２４は、ステップＳ１０３において選択されたメニュー画像の表示領域の奥行き情報をデプスバッファ４０３から取得する（Ｓ１２１）。ここで、操作判定部２４は、現在及び過去の奥行き情報をデプスバッファ４０３から取得する。具体的には、操作判定部２４は、例えば、ステップＳ１０１において生成された３次元モデルに基づいて生成された奥行き情報と、当該３次元モデルよりも１つ前に生成された３次元モデルに基づいて生成された奥行き情報とを、デプスバッファ４０３から取得する。
　次に、操作判定部２４は、取得した奥行き情報が示す奥行き値の差分値を、投影面上の位置ごとに算出する（Ｓ１２２）。続いて、操作判定部２４は、算出した差分値の最大値が、他のメニュー画像においてすでに算出された差分値の最大値よりも大きいか否か判定する（Ｓ１２３）。
　ここで、算出した差分値の最大値が、他のメニュー画像においてすでに算出された差分値の最大値よりも大きい場合（Ｓ１２３）、操作判定部２４は、ユーザに「決定」されたメニュー画像を示すための決定情報を、当該メニュー画像を示す情報に更新する（Ｓ１２４）。
　以上のように、本実施の形態における遠隔操作装置２０は、カラーバッファ及びデプスバッファに格納された色情報及び奥行き情報を用いて、ユーザが「選択」及び「決定」したメニュー画像を特定することができる。つまり、遠隔操作装置２０は、第１の操作判定において使用する表示画面に対して水平方向の情報及び第２の操作判定において使用する表示画面に対して垂直方向の情報は、それぞれ、表示するユーザ像を生成するための３次元レンダリング処理により、カラーバッファ及びデプスバッファに格納される色情報及び奥行き情報として得ることができるため、別の計測処理あるいは認識処理を必要としない。すなわち、遠隔操作装置２０は、比較的簡易な構成により電子ミラー装置１０の遠隔操作を実現することができる。
　なお、操作判定部２４が参照する色情報には可視カラー値（ＲＧＢ又はＨＳＶなど）だけでなく、透明度を表すα値（Ａ）など該当する位置の画素の制御情報が含まれても良い。その場合、操作判定部２４は、例えば、メニュー画像の表示領域に対応する位置の色情報のうち上記の制御情報が初期値とは異なる値である場合に、当該メニュー画像の表示領域内にユーザ像が含まれていると判定しても良い。
　なお、操作判定部２４は、奥行き値の差分値の最大値が所定の閾値に達しなかった場合、又は表示画面方向の移動でなかった場合は、決定情報を更新しなくても良い。これにより、遠隔操作装置は、ユーザの意図しない動作による誤操作を避けることができる。
　また、操作判定部２４によって算出された奥行き値の差分値に応じて、表示画像合成部２６は、メニュー画像あるいはユーザ像の色を変更しても良い。これにより、ユーザは、自身が決定したメニュー画像を確認することができる。
　（実施の形態２）
　次に、本発明の実施の形態２における遠隔操作装置について説明する。
　本実施の形態における遠隔操作装置４０は、操作判定処理を実行するためのユーザ像と表示画面に表示するためのユーザ像とを生成する点が実施の形態１における遠隔操作装置２０と異なる。
　図６は、本発明の実施の形態２における遠隔操作装置を備える電子ミラー装置３０の機能構成を示すブロック図である。本実施の形態における遠隔操作装置４０と実施の形態１における遠隔操作装置２０とは、３次元レンダリング部及び表示画像合成部の処理の一部とデータ記憶部に格納されるデータの一部とが異なるが、その他の部分は同じである。なお、図６において、図３と同一の構成要素については同一の符号を付し、説明を省略する。
　データ記憶部４２は、正射影行列を含む第１のレンダリングパラメータ（以下、「操作用レンダリングパラメータ」という。）と、透視射影行列を含む第２のレンダリングパラメータ（以下、「表示用レンダリングパラメータ」という。）とを記憶している。
　３次元レンダリング部４３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部４２に記憶された操作用レンダリングパラメータを用いて３次元レンダリングすることにより、色情報と奥行き情報とを生成する。そして、３次元レンダリング部４３は、色情報をカラーバッファに格納し、奥行き情報をデプスバッファに格納する。
　さらに、３次元レンダリング部４３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部４２に記憶された表示用レンダリングパラメータを用いて３次元レンダリングすることにより、表示用のユーザ像を生成する。
　なお、３次元レンダリング部４３は、表示用のユーザ像を生成する第１の３次元レンダリング部と操作用のユーザ像を生成する第２の３次元レンダリング部との２つの３次元レンダリング部によって構成されても良い。また、制御部２７が、表示用のユーザ像を生成する処理と操作用のユーザ像を生成する処理とで時分割制御をしても良い。
　表示画像合成部４６は、操作情報出力部２５によって出力された操作情報に基づいて表示用メニュー画像を生成する。そして、表示画像合成部４６は、生成した表示用メニュー画像と３次元レンダリング部４３によって生成された表示用のユーザ像とを合成することにより表示用画像を生成する。そして、表示画像合成部４６は、生成した表示用画像を表示部１２へ出力する。
　次に、上記のように構成された遠隔操作装置４０の各種動作について説明する。
　図７は、本発明の実施の形態２における遠隔操作装置による処理の流れを示すフローチャートである。また、図８は、本発明の実施の形態２における遠隔操作装置による処理の流れを説明するための図である。なお、図７において、図４Ａと同一の処理については同一の符号を付し、説明を省略する。
　ステップＳ１０１の処理が実行された後、３次元レンダリング部４３は、３次元モデルを、操作用レンダリングパラメータを用いて３次元レンダリングすることにより、操作用のユーザ像（色情報及び奥行き情報）を生成する（Ｓ２０１）。そして、３次元レンダリング部４３は、生成した色情報及び奥行き情報を操作用レンダリングバッファ６０１に格納する。なお、３次元レンダリング部４３は、ステップＳ２０２において表示用のユーザ像を生成するときとは異なる射影行列を用いて、操作用のユーザ像を生成する。
　次に、操作判定部２４及び操作情報出力部２５は、実施の形態１と同様に、ステップＳ１０３～Ｓ１０６の処理を実行する。ここで、ステップＳ１０４の操作判定処理では、操作判定部２４は、操作用レンダリングバッファ６０１に格納された色情報及び奥行き情報を用いて操作判定処理を実行する。具体的には、操作判定部２４は、操作用カラーバッファ６０２に格納された色情報を用いて第１の操作判定を行う。また、操作判定部２４は、操作用デプスバッファ６０３に格納された奥行き情報を用いて、第２の操作判定を行う。
　次に、３次元レンダリング部４３は、ステップＳ２０１において操作用のユーザ像を生成したときと同じ３次元モデルを、表示用レンダリングパラメータを用いて３次元レンダリングすることにより、表示用のユーザ像を生成する（Ｓ２０２）。そして、３次元レンダリング部４３は、生成した色情報及び奥行き情報を表示用レンダリングバッファ６０４に格納する。なお、３次元レンダリング部４３は、ステップＳ２０１において操作用のユーザ像を生成するときとは異なる射影行列を用いて、表示用のユーザ像を生成する。
　そして、表示画像合成部４６は、出力された操作情報に基づいて表示用メニュー画像６０５を生成する。そして、表示画像合成部４６は、生成した表示用メニュー画像４０４と表示用のユーザ像とを合成した表示用画像６０６を、表示部１２へ出力する（Ｓ２０３）。最後に、表示部１２は、表示用画像６０６を表示画面へ表示する（Ｓ１０６）。
　以上のように、本実施の形態における遠隔操作装置４０は、同じ３次元モデルから操作用のユーザ像と表示用のユーザ像を生成しているが、その好適な例を図９及び図１０を用いて説明する。
　図９の上段に示すように、ユーザ７０１と表示画面７０２との距離が近い場合は、ユーザ像７０３は大きく表示される。したがって、ユーザ７０１は、ユーザ像７０３が各メニュー画像７０４に届くので、各メニュー画像７０４を指示することができる。
　一方、図９の下段に示すように、ユーザ７０５と表示画面７０６との距離が遠い場合は、ユーザ像７０７は小さく表示される。したがって、ユーザ７０５は、ユーザ像７０７がメニュー画像７０８に届かないことがある。この場合、ユーザ７０５は、メニュー画像７０８を指示するために移動が必要となる。
　このように、ユーザと表示画面との距離に応じてユーザ像の大きさが変わるのは、表示画面に表示するユーザ像が、一般的には遠近感を考慮した透視射影により生成されるためである。図１０に示すように、透視射影では、視点８０１とオブジェクト８０２とを結ぶ投射線８０４が投影面８０３と交差する位置に投影像８０５が生成される。したがって、オブジェクト８０２と投影面８０３との距離に応じて投影像８０５の大きさが変化する。透視射影行列による投影式は、式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｘ、ｙ、ｚは投影前の３次元座標、ｘ’、ｙ’、ｚ’、ｗ’は投影後の同次座標、ｌ、ｒ、ｂ、ｔ、ｎ、ｆはそれぞれ３次元空間の境界を表す定数を示す。式（１）から明らかなように、画面に対して水平方向（ＸＹ方向）の座標は、垂直方向（Ｚ方向）に依存して変化する。
　これに対して、操作用のユーザ像が正射影によって生成された場合、ユーザと表示画面との距離に応じてユーザ像の大きさが変わらない。図１１に示すように、正射影では、視点８０６側からオブジェクト８０７に向かって伸びる、投影面８０８に垂直な互いに平行な投射線８０９が、投影面８０８と交差する位置に投影像８１０が生成される。したがって、オブジェクト８０７と投影面８０８の距離によらず投影像８１０の大きさは一定である。正射影行列による投影式は、式（２）のように表される。
Figure JPOXMLDOC01-appb-M000002
　式（２）から明らかなように、画面に対して水平方向（ＸＹ方向）の座標は、垂直方向（Ｚ方向）に依存しない。そのため、水平方向の情報と垂直方向の情報とが正確に分離されて操作用カラーバッファ６０２及び操作用デプスバッファ６０３に格納される。
　３次元レンダリング部４３は、正射影行列により操作用レンダリングバッファに格納される色情報及び奥行き情報を生成することで、表示画面と垂直な方向におけるユーザの位置関係によらず、ユーザは、一定の操作感覚でメニュー画像を指示することができる。
　なお、実施の形態２において、３次元レンダリング部４３は、正射影行列を用いて操作用のユーザ像を生成したが、他の射影行列を用いて操作用のユーザ像を生成しても良い。図１２は、本発明の実施の形態２の変形例を説明するための図である。図１２に示すように、ユーザ９０１と表示画面９０２との大きさの関係によっては、３次元レンダリング部４３が上記の正射影行列により操作用のユーザ像を生成しても、ユーザ像がメニューに届かなかったり、すぐに触れたりするために、ユーザがメニュー画像を指示しにくい場合がある。そこで、３次元レンダリング部４３は、ユーザ９０１と表示画面９０２との大きさ（例えば計測済みの高さあるいは横幅など）に応じて、ユーザ像９０３の大きさを変化させる射影行列を用いて、操作用のユーザ像を生成しても良い。具体的には、３次元レンダリング部４３は、ユーザ像９０３を、例えば点（Ｃｘ、Ｃｙ）を中心にｓ倍に拡大又は縮小する射影行列を用いて、操作用のユーザ像を生成しても良い。ユーザ像をｓ倍に拡大又は縮小する射影行列による投影式は、式（３）のように表される。
Figure JPOXMLDOC01-appb-M000003
　このように、変形例における遠隔操作装置は、ユーザ像をｓ倍に拡大又は縮小する射影行列を用いて操作用のユーザ像を生成することにより、ユーザ９０１及び表示画面９０２の大きさによらず、常にユーザ９０１がメニュー画像を指示しやすいユーザ像９０４を生成することができる。
　なお、本実施の形態で示した操作用のユーザ像を生成するための射影行列は一例であり、本発明に係る遠隔操作装置は、他の射影行列を用いて操作用のユーザ像を生成しても良い。例えば、遠隔操作装置が、ユーザの３次元モデルを任意の位置の視点から３次元レンダリングしたユーザ像を生成する、又は左右反転したユーザ像を生成する場合などには、表示用のユーザ像を生成するための射影行列は変化する。しかし、このような場合であっても、操作用のユーザ像を生成するときに用いる射影行列は一定にしても良い。これにより、ユーザは、同じ操作感覚でメニュー画像を指示することができる。
　また、操作用のユーザ像を生成する場合に生成する色情報は、実際のユーザの色を示す情報である必要はなく、ユーザ像の有無を示す情報（例えば、１ビットのデータ）であれば良い。これは、操作用のユーザ像は、表示部１２に表示される必要がないからである。これにより、遠隔操作装置は、使用メモリ領域を削減することができる。
　さらに、本実施の形態では表示画面に表示する表示用のユーザ像と操作判定処理に用いる操作用のユーザ像とが異なるので、操作用のユーザ像の輪郭を表示したり、操作用のユーザ像の色を半透明で表示したりしても良い。これにより、ユーザは、操作が分かりやすくなる。
　以上、本発明に係る遠隔操作装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、上記実施の形態における遠隔操作装置は、第１の操作判定を実行した後に第２の操作判定を実行していたが、第２の操作判定を実行した後に第１の操作判定を実行しても良い。具体的には、遠隔操作装置は、表示画面と垂直な方向への移動量が所定の閾値以上となる座標を特定し、当該座標がメニュー画像の表示領域に含まれるか否かを判定しても良い。所定の閾値は、例えば、あらかじめ定められた値であっても良いし、算出される移動量の最大値であっても良い。
　また、上記実施の形態における遠隔操作装置は、表示画面が実際の鏡である場合と同様のユーザの像を３次元レンダリング処理により生成していたが、実際の鏡に映る鏡像とは異なるユーザ像を生成し、表示部に出力しても良い。具体的には、遠隔操作装置は、表示画面と平行な方向が視線となるように３次元レンダリングすることにより、例えば、ユーザの側面を映すユーザ像を生成しても良い。
　また、上記実施の形態の遠隔操作装置が備える各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）としても実現される。つまり、図３又は図６に示すように、遠隔操作装置は、典型的には、ＬＳＩ５１又はＬＳＩ５２から構成される。なお、これらの機能ブロックは、個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、データ記憶部は、集積回路の内部又は外部に備えられても良く、単体又は複数のメモリによって構成されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現されても良い。また、ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続あるいは設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
　また、上記実施の形態では、電子ミラー装置が遠隔操作装置を備える例を示したが、ユーザの３次元モデルを生成して任意視点表示する機能を有する他の装置が遠隔操作装置を備えても良い。具体的には、図１３に示すように、電子ミラー装置１１０３に加えて、例えば、テレビ１１０４、レコーダー／プレーヤー１１０５、又はゲーム機１１０６等の様々な機器が遠隔操作装置を備えても良い。この場合、各機器は、遠遠隔操作装置が備える各機能ブロックが実現されたシステムＬＳＩ１１０１を搭載したモジュール基板１１０２を備えれば良い。
　また、本発明は、遠隔操作装置が備える特徴的な構成要素の動作をステップとする遠隔操作方法として実現してもよい。また、そのような遠隔操作方法に含まれるステップを、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、メモリ等を備えるコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信されてもよい。
　本発明の遠隔操作装置は、ユーザの３次元モデルを生成し、生成した３次元モデルに基づいて任意視点のユーザ像を表示する電子ミラー装置、テレビ、レコーダー／プレーヤー、又はゲーム機等の様々な機器のユーザインターフェースとして用いることができる。
　　１０、３０、１１０３　　電子ミラー装置
　　１１　　３次元人体形状計測部
　　１２　　表示部
　　１３　　電子ミラー制御部
　　２０、４０　　遠隔操作装置
　　２１　　３次元モデル生成部
　　２２、４２　　データ記憶部
　　２３、４３　　３次元レンダリング部
　　２４　　操作判定部
　　２５　　操作情報出力部
　　２６、４６　　表示画像合成部
　　２７　　制御部
　　５１、５２　　ＬＳＩ
　１０１、２０１、７０１、７０５、９０１　　ユーザ
　１０２　　３次元人体形状計測装置
　１０３、２０２、７０２、７０６、９０２　　表示画面
　１０４、２０３　　ユーザの投影像
　２０４、７０４、７０８　　メニュー画像
　４０１　　レンダリングバッファ
　４０２　　カラーバッファ
　４０３　　デプスバッファ
　４０４、６０５　　表示用メニュー画像
　４０５、６０６　　表示用画像
　６０１　　操作用レンダリングバッファ
　６０２　　操作用カラーバッファ
　６０３　　操作用デプスバッファ
　６０４　　表示用レンダリングバッファ
　７０３、７０７、９０３、９０４　ユーザ像
　８０１、８０６　　視点
　８０２、８０７　　オブジェクト
　８０３、８０８　　投影面
　８０４、８０９　　投射線
　８０５、８１０　　投影像
　１１０１　　システムＬＳＩ
　１１０２　　モジュール基板
　１１０４　　テレビ
　１１０５　　レコーダー／プレーヤー
　１１０６　　ゲーム機

Claims (7)

  1. 　表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作装置であって、
    　第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、
    　前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、
    　前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、
    　前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、
    　前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、
    　前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
    　遠隔操作装置。
  2. 　前記３次元レンダリング部は、第１の射影行列を用いて前記第１及び第２の３次元モデルを３次元レンダリングすることにより、前記第１及び第２のユーザ像を生成し、さらに、第１の射影行列とは異なる第２の射影行列を用いて、前記第２の３次元モデルを３次元レンダリングすることにより、第３のユーザ像を生成し、
    　前記３次元レンダリング部によって生成された第３のユーザ像が前記表示画面に表示される
    　請求項１に記載の遠隔操作装置。
  3. 　前記第１の射影行列は、正射影行列であり、
    　前記第２の射影行列は、透視射影行列である
    　請求項２に記載の遠隔操作装置。
  4. 　前記第１の射影行列は、前記ユーザの大きさ及び前記表示画面の大きさに応じてユーザ像の大きさを変化させる射影行列である
    　請求項２に記載の遠隔操作装置。
  5. 　表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作方法であって、
    　第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成ステップと、
    　前記３次元モデル生成ステップにおいて生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリングステップと、
    　前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定ステップと、
    　前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定ステップと、
    　前記第１の操作判定ステップにおいて前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定ステップにおいて特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力ステップとを含み、
    　前記第２の操作判定ステップでは、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
    　遠隔操作方法。
  6. 　表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための集積回路であって、
    　第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、
    　前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、
    　前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、
    　前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、
    　前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、
    　前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
    　集積回路。
  7. 　表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するためのプログラムであって、
    　第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成ステップと、
    　前記３次元モデル生成ステップにおいて生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリングステップと、
    　前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定ステップと、
    　前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定ステップと、
    　前記第１の操作判定ステップにおいて前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定ステップにおいて特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力ステップとをコンピュータに実行させ、
    　前記第２の操作判定ステップでは、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
    　プログラム。
PCT/JP2009/002380 2008-06-02 2009-05-29 遠隔操作装置及び遠隔操作方法 WO2009147806A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010515752A JP5340280B2 (ja) 2008-06-02 2009-05-29 遠隔操作装置及び遠隔操作方法
US12/671,532 US8432391B2 (en) 2008-06-02 2009-05-29 Remote control device and remote control method
CN2009801000735A CN101784980B (zh) 2008-06-02 2009-05-29 遥控操作装置及遥控操作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008144458 2008-06-02
JP2008-144458 2008-06-02

Publications (1)

Publication Number Publication Date
WO2009147806A1 true WO2009147806A1 (ja) 2009-12-10

Family

ID=41397890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002380 WO2009147806A1 (ja) 2008-06-02 2009-05-29 遠隔操作装置及び遠隔操作方法

Country Status (4)

Country Link
US (1) US8432391B2 (ja)
JP (1) JP5340280B2 (ja)
CN (1) CN101784980B (ja)
WO (1) WO2009147806A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5659510B2 (ja) * 2010-03-10 2015-01-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
US9438890B2 (en) * 2011-08-25 2016-09-06 Panasonic Intellectual Property Corporation Of America Image processor, 3D image capture device, image processing method, and image processing program
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9842425B2 (en) * 2012-09-21 2017-12-12 Euclideon Pty Ltd. System and method for rendering three-dimensional scenes by a computer graphics processor using orthogonal projection
KR102307530B1 (ko) * 2012-11-23 2021-09-30 카덴스 메디컬 이미징 아이엔씨 제 1 랜더링된 투영 및 제 2 랜더링된 투영간의 전이를 사용자에게 디스플레이하는 방법 및 시스템
FR3034078B1 (fr) * 2015-03-27 2017-03-24 Airbus Helicopters Procede et dispositif pour signaler au sol un aeronef en vol, et aeronef muni de ce dispositif
KR20180035434A (ko) 2016-09-29 2018-04-06 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
US11733781B2 (en) * 2019-04-02 2023-08-22 Project Dasein Llc Leveraging machine learning and fractal analysis for classifying motion
CN113855287B (zh) * 2021-07-06 2023-09-26 上海优医基医疗影像设备有限公司 一种带评估种植精度的口腔种植手术机器人及控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841290A (zh) * 2003-03-28 2006-10-04 精工爱普生株式会社 信息显示系统及其信息处理装置、指示装置和标记显示法
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JP2005322055A (ja) 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
JP4711223B2 (ja) * 2005-08-02 2011-06-29 株式会社セガ 画像生成プログラム、記憶媒体、画像処理方法及び画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONEMOTO S.: "Affordance-based Perceptual User Interfaces", ITE TECHNICAL REPORT 2003 NEN 2 GATSU KAISAIBUN, vol. 27, no. 9, 4 February 2003 (2003-02-04), pages 171 - 176 *

Also Published As

Publication number Publication date
JP5340280B2 (ja) 2013-11-13
CN101784980B (zh) 2013-09-18
US20110018864A1 (en) 2011-01-27
CN101784980A (zh) 2010-07-21
JPWO2009147806A1 (ja) 2011-10-20
US8432391B2 (en) 2013-04-30

Similar Documents

Publication Publication Date Title
JP5340280B2 (ja) 遠隔操作装置及び遠隔操作方法
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US8970586B2 (en) Building controllable clairvoyance device in virtual world
US20220157011A1 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
US9857470B2 (en) Using photometric stereo for 3D environment modeling
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
US8854358B2 (en) Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing method, and image processing system
US20170109920A1 (en) Method and apparatus rendering caustics
US9639972B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control method, and display control system for performing display control of a display apparatus capable of stereoscopic display
JP7403967B2 (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
KR20210086837A (ko) 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
US20230062973A1 (en) Image processing apparatus, image processing method, and storage medium
WO2018179254A1 (ja) 画像生成装置、画像生成方法及びプログラム
JP7006810B2 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
US9225968B2 (en) Image producing apparatus, system and method for producing planar and stereoscopic images
JP2017059041A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5950701B2 (ja) 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
JP2004030408A (ja) 三次元画像表示装置及び表示方法
JP2010182094A (ja) 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
JP7107015B2 (ja) 点群処理装置、点群処理方法およびプログラム
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
JP6564259B2 (ja) 画像処理装置、画像処理方法
JP2013257664A (ja) 画像処理装置及びその制御方法、プログラム
JP5287613B2 (ja) 画像表示方法、情報処理装置および画像表示プログラム
US20240233259A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980100073.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010515752

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12671532

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09758073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09758073

Country of ref document: EP

Kind code of ref document: A1