WO2009119025A1 - プレゼンテーションシステム - Google Patents

プレゼンテーションシステム Download PDF

Info

Publication number
WO2009119025A1
WO2009119025A1 PCT/JP2009/001101 JP2009001101W WO2009119025A1 WO 2009119025 A1 WO2009119025 A1 WO 2009119025A1 JP 2009001101 W JP2009001101 W JP 2009001101W WO 2009119025 A1 WO2009119025 A1 WO 2009119025A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
indicator
value
storage unit
dimensional coordinate
Prior art date
Application number
PCT/JP2009/001101
Other languages
English (en)
French (fr)
Inventor
高井雄一郎
Original Assignee
日本写真印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本写真印刷株式会社 filed Critical 日本写真印刷株式会社
Publication of WO2009119025A1 publication Critical patent/WO2009119025A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to a presentation system in which an image is displayed on a display body such as a screen or a display, and a presenter can move a pointer and add a line or the like to the image when giving a presentation.
  • a conventional hand pointing device displays an image showing a three-dimensional space on a display, images a person to be recognized from a plurality of different directions, and determines the coordinates of a specific point indicated by the person to be recognized (for example, , See Patent Document 1).
  • the hand pointing device obtains three-dimensional coordinates of a feature point whose position changes when the recognition target person flexes and extends the arm and a reference point whose position does not change even when the recognition target person flexes and extends the arm, The specific 3D coordinates in the 3D space intended by the person to be recognized are determined.
  • the above-mentioned conventional hand pointing device always obtains the position of the feature point and the reference point during the operation of the device, and the arithmetic processing of the device is congested. In addition, it is necessary to take measures such as changing the reference point depending on whether the person to be recognized faces the front or the back.
  • the presenter performs various actions such as explanation, selection of display image, designation of specific image position, tracking of reaction of audience, etc.
  • various actions such as explanation, selection of display image, designation of specific image position, tracking of reaction of audience, etc.
  • there is also mental tension it is preferable that the apparatus used in such a situation performs an operation in accordance with the presenter's universal behavior as much as possible.
  • An object of the present invention is to obtain a presentation system that simplifies three-dimensional coordinate calculation processing. Moreover, this invention makes it a subject to obtain the presentation system provided with the operation method according to the presenter's custom.
  • a presentation system includes: Display surface extending in the X-axis and Y-axis directions, An already-created image storage unit for storing an already-created image to be displayed on the display surface; Pre-created image selection means for selecting a pre-created image stored in the pre-created image storage unit; Display control means for displaying the already created image selected by the already created image selecting means on the display surface; Two cameras for photographing a three-dimensional coordinate space including the display surface; An indicator that may move in the three-dimensional coordinate space; A photographed image storage unit for storing photographed images taken by the two cameras at the same time; Coordinate value calculation means for calculating a three-dimensional coordinate value of the indicator with a single fixed point in the three-dimensional coordinate space as a reference point from the simultaneous captured image stored in the captured image storage unit, An indicator coordinate value storage unit for storing the three-dimensional coordinate value; With reference to a three-dimensional coordinate value of the indicator stored in the indicator coordinate value storage unit, and a drawing means for generating a drawing
  • the means calculates x2, y2, z2 which are three-dimensional coordinate values of the indicator at time t2 after a predetermined time has elapsed from time t1, and stores the coordinate values in the indicator coordinate value storage unit.
  • the drawn image generated by the drawing means is corrected according to the value of z1 that is the Z-axis coordinate value at time t1, and corresponds to the values of x1 and y1 that are the X-axis and Y-axis coordinate values at time t1.
  • the drawing start point is determined, and the drawing end point is determined in accordance with the values of x2 and y2 which are the X-axis and Y-axis coordinate values at time t2.
  • the three-dimensional coordinate value of the indicator is calculated and calculated using a fixed value as a reference point.
  • the drawing image generated by the drawing means is determined in accordance with the value of z1, which is the Z-axis coordinate value at time t1, that is, the depth direction position of the indicator.
  • the rendered image in the presentation system is a line
  • image correction is performed to make a relatively thick line
  • image correction with a relatively thin line may be performed.
  • a relatively thick line is drawn when the indicator is close to the display surface, and a thin line is drawn when the indicator is far from the display surface.
  • a presenter has a habit of bringing an indicator close to a display surface when indicating a portion to be emphasized. For this reason, a thick underline or a thick overmark is drawn in a portion to be emphasized. Therefore, this preferred embodiment is a presentation system that further conforms to the inventor's habits.
  • the image correction is not limited to this preferred embodiment, and may be corrected to a relatively thin line when the indicator is close to the display surface, for example.
  • the presentation system comprises: Furthermore, it has a depth value storage unit and a depth determination means for storing a predetermined depth value, The depth determination means compares the value of z1 with the depth value, and when the value of z1 satisfies the depth value, The drawing unit may generate the drawing image.
  • drawing is performed when the indicator is located within a certain range of depth. For example, when the presenter approaches the display surface and moves the indicator, drawing is performed. On the other hand, when the presenter leaves the display surface and moves the indicator near the podium, for example, drawing is not performed.
  • the operation of the indicator near the podium is defined as an operation for inputting a command, and the presentation system can be configured in this way.
  • this preferred embodiment is a presentation system that further conforms to the inventor's habits.
  • the presentation system comprises: Furthermore, it has a movement distance value storage unit for storing a predetermined movement distance value and a first operation determination means,
  • the first operation determination means calculates a distance between the position of the indicator at time t1 and the position of the indicator at time t2 and compares the distance with the movement distance value, and the calculated distance satisfies the movement distance value.
  • the first predetermined operation may be performed.
  • the indicator when the indicator moves at a specific speed, it is determined as a predetermined operation input (for example, command input), and a predetermined operation such as changing a display image can be performed. it can.
  • a predetermined operation input for example, command input
  • a predetermined operation such as changing a display image
  • the presentation system is more in line with the inventor's habits by incorporating an input of a predetermined operation by changing the moving speed of the indicator.
  • predetermined operations include page turning of an already created image and page return, so-called animation start / stop in which a display image changes, and sound generation stop.
  • the three-dimensional coordinate value of the indicator is calculated and calculated using one fixed point as a reference point.
  • the fixed point is constant while the present presentation system continues steady operation. Therefore, the three-dimensional coordinate value calculation process is performed only for the indicator. For this reason, calculation efficiency improves. As a result, it becomes a presentation system that realizes an improvement in processing speed and prevention of malfunction.
  • the presenter since the image correction is performed according to the value of z1 which is the Z-axis coordinate value at time t1, that is, the depth direction position of the indicator, the presenter is able to draw more prominently on the portion that the presenter wants to emphasize. It will be a presentation system that can be operated according to the habits of. As a result, ease of use and operability are improved.
  • FIG. 1 is a configuration diagram of a presentation system 1.
  • FIG. It is a content explanatory drawing of object color LUT12. It is a flowchart of a recognition target color teaching process. It is a flowchart of the environment setting concerning image-space conversion. It is a flowchart of steady operation. It is a three-dimensional coordinate determination process flowchart -1/2 of the indicator 3. It is a three-dimensional coordinate determination process flowchart-2 / 2 of the indicator 3. It is a flowchart of the depth position determination addition part of the indicator. It is a flowchart of the moving speed judgment addition part of the indicator 3.
  • FIG. 1 is a configuration diagram of the presentation system 1.
  • the presentation system 1 includes a display surface 2, which is a screen, an indicator 3, a first camera 4, a second camera 5, and a system controller 8.
  • the image display is performed by the projector 6 and the screen.
  • the display surface 2 is not limited to the screen, and may be a display surface such as a liquid crystal display, for example.
  • the display surface 2 is a plane extending in the X-axis direction and the Y-axis direction.
  • the plane includes a plane defined by geometry and a curved surface according to the characteristics of the projector and the display.
  • the X axis and the Y axis represent a relative relationship with the Z axis that expresses the distance from the display surface.
  • the first camera 4 and the second camera 5 are cameras that photograph a three-dimensional space including the display surface 2, and may be a moving image camera or a still image camera. However, in order to perform smooth drawing or the like, it is preferable to obtain an image at a speed of, for example, about 60 frames / second or more. Therefore, the first camera 4 and the second camera 5 are preferably moving image cameras. For example, a CCD camera can be used as the first camera 4 and the second camera 5.
  • the first camera 4 and the second camera 5 preferably have the entire surface of the display surface 2 as a field of view, and preferably include the contour region of the display surface 2 as shown in the field of view 7 in FIG.
  • the number of cameras included in a single presentation system is not limited to two, and there may be three or more.
  • the indicator 3 is, for example, a red or green object.
  • the shape of the object is, for example, a spherical body or a cube.
  • the indicator 3 is preferably attached to the tip of the bar. Also, the presenter may wear, for example, a red or green glove on one hand and use the glove as the indicator 3.
  • the indicator 3 is a means for operating the presentation system 1.
  • the indicator 3 moves within the field of view of the first camera 4 and the second camera 5 or stops. Also. Move out of the field of view or move still. An indicator in the field of view is detected and the presentation system 1 is operated.
  • the system controller 8 is, for example, a computer.
  • the system controller 8 includes an already created image storage unit 11, a target color LUT 12 that is a target color lookup table, a three-dimensional coordinate storage unit 13, a lens correction coefficient storage unit 14, an image-space conversion coefficient storage unit 15, and a movement distance value storage. 16, a drawing image type storage unit 17, a drawing correction storage unit 18, a depth value storage unit 19, a captured image storage unit 31, a lens corrected image storage unit 32, and a pointer coordinate value storage unit 33.
  • Each of the above means can be realized by a program incorporated in a computer and a CPU, RAM, ROM and the like.
  • storage part is realizable by allocating the fixed part in the hard memory of a computer, for example.
  • the already created image selection means 21 can use a commercially available presentation system program, for example.
  • the main control unit 28 performs overall operation control of the system controller 8.
  • the peripheral device control unit 29 performs operations of the first camera 4 and the second camera 5, image processing, control of the projector 6, and the like.
  • the system controller 8 includes a system display device 41 and an input device 42.
  • the system display device 41 is a liquid crystal display attached to the computer, and the input device 42 is a keyboard and a pointer, for example, a mouse.
  • the already created image is a character, a figure, a photograph, an illustration, a mixture of these, or the like.
  • the already created image may be a blank image.
  • a specific example of the created image is a slide document for presentation.
  • the drawing image type is stored in the drawing image type storage unit 17.
  • the drawing image types are, for example, a solid line, a broken line, an alternate long and short dash line, a circle mark, a triangle mark, a square mark, and an arrow.
  • a single drawing image type may be stored.
  • the drawing correction storage unit 18 stores drawing image correction items.
  • the correction items include, for example, line thickness, color shading, and hue.
  • a relational expression with the value of z1 is described. For example, when correcting the line thickness, when 0 ⁇ z1 ⁇ 50, the line thickness is 100 pixels, when 50 ⁇ z1 ⁇ 100, the line thickness is 70 pixels, and when 100 ⁇ z1 ⁇ 150 The line thickness is described as 40 pixels. For example, if the hue is to be corrected, it is described as red when 0 ⁇ z1 ⁇ 100, orange when 100 ⁇ z1 ⁇ 200, and yellow when 200 ⁇ z1 ⁇ 300.
  • the environment setting is a setting in which the presentation system 1 is installed in an actual use place and necessary data is input to the presentation system 1 according to the lighting state, the indicator movement range, and the like.
  • Presentation system 1 is installed at the presentation location, and display surface 2 and projector 6 are arranged.
  • the 1st camera 4 and the 2nd camera 5 are arrange
  • the camera field of view is fixed during environment setting and during subsequent steady operation.
  • FIG. 3 is a flowchart of the recognition target color teaching process
  • FIG. 2 is an explanatory diagram of the contents of the target color LUT 12.
  • step S11 the indicator 3 is positioned in the camera visual field 7, and the first camera 4 and the second camera 5 capture an image including the indicator 3.
  • step S 12 the captured image of the first camera 4 and the captured image of the second camera 5 are stored in the captured image storage unit 31.
  • the captured image of the first camera 4 is called from the captured image storage unit 31 and displayed on the system display device 41.
  • the indicator 3 area on the system display device is designated by the input device 42.
  • the first recognition target color C1 is taught.
  • the first recognition target color C1 is stored in the target color LUT12.
  • a non-indicator area is designated for the same image displayed on the system display device 41.
  • the first non-recognition target color NC1-1 is taught.
  • the first unrecognized target color NC1-1 is stored in the target color LUT12. Repeat S16 and S17 to teach other unrecognized colors.
  • the first recognition target color C1 and the first non-recognition target colors NC1-1 and NC1-2 --- NC1-n are taught and stored in the target color LUT 12 for the first camera photographed image.
  • the second recognition target color C2 specified in S14 and the first recognition target color C1 described above are substantially the same, but are color data reflecting the color characteristics of the second camera and the first camera, respectively.
  • the recognition target color C1 and the non-recognition target colors NC1-1 and NC1-2. -N is stored, and the recognition target color C2 and the non-recognition target colors NC2-1 and NC2-2 --- NC2-n are stored for the second camera image.
  • the recognition target color and the non-recognition target color are taught for the third camera image and the like.
  • the image on which the reference point for correction is drawn is displayed on the display surface 2.
  • a similar printed material may be attached to the display surface instead of the image display.
  • the image on which the correction reference point is drawn is, for example, a grid image or a checkered pattern image. Then, the display is photographed by the first camera 4 and the second camera 5.
  • the captured image of the first camera 4 and the captured image of the second camera 5 are stored in the captured image storage unit 31.
  • the captured image of the first camera 4 is called from the captured image storage unit 31 and displayed on the system display device 41. An image coordinate value of a reference point for correction on the display image is detected.
  • the reference point for correction in the three-dimensional coordinates (world coordinates) is associated with the image coordinate value detected in S23.
  • the three-dimensional coordinate value and the image coordinate value are stored in a temporary memory.
  • the three-dimensional coordinate value group and the image coordinate value group corresponding to each one-to-one are called from the temporary memory, and the lens correction coefficient of the first camera photographed image and the image-space conversion coefficient of the first camera photographed image are obtained from both groups. calculate.
  • the lens correction coefficient is a coefficient value
  • the image-space conversion coefficient is a matrix value.
  • the lens correction coefficient of the first camera image is stored in the lens correction coefficient storage unit 14.
  • the image-space conversion coefficient of the first camera image is stored in the image-space conversion coefficient storage unit 15.
  • the already-created image selection unit 21 selects one image from the already-created image storage unit 11.
  • the display control unit 21 displays the image on the display surface 2.
  • the first camera 4 and the second camera 5 simultaneously photograph each field of view, and calculate the three-dimensional coordinate value of the indicator 3 from the position of the indicator 3 in the photographed image. Detailed processing of S430 will be separately described below.
  • the three-dimensional coordinate values x1, y1, and z1 of the indicator 3 at time t1 and the coordinate values x2, y2, and z2 at time t2 are stored in the indicator coordinate value storage unit 33.
  • the drawing unit 24 selects one drawing image type from the drawing image type storage unit 17.
  • the drawing image type may be programmed in advance so that the same drawing image type is always selected during one steady operation, and the drawing image type is determined according to the values of x1, y1, and z1. May be programmed to be selected.
  • the drawing means 24 refers to the indicator coordinate value storage unit 33 and corrects the drawn image according to the value of z1.
  • the drawing image type is a line
  • image correction is performed so that the line is relatively thick
  • the value of z1 is relative to the display surface.
  • the image is corrected so that the line is relatively thin.
  • the drawing unit 24 refers to the values of x1 and y1 in the indicator coordinate value storage unit 33 to determine the starting point of the drawn image. In S54, the drawing unit 24 refers to the x2 and y2 values in the indicator coordinate value storage unit 33 to determine the end point of the drawn image.
  • the drawing unit calls the already created image that is selected in S41 and that is currently displayed on the display surface 2, from the already created image storage unit 11.
  • a process of superimposing the drawing image created and corrected in S51 to S54 on the already created image is performed.
  • the drawing process may be such that the drawn image is displayed in the foreground and the previously created image that is overlapped is not visible, or the drawn image may be drawn with a transparency of 50%, for example. Then, the image is sent to the display control means 22.
  • the display control means 22 displays the superimposed image on the display surface 2.
  • Step-2 3D coordinate determination processing
  • the three-dimensional coordinate determination process of the indicator 3 in S430 will be described with reference to FIGS.
  • the first camera 4 and the second camera 5 photograph the fixed visual field simultaneously.
  • the captured image of the first camera 4 and the captured image of the second camera 5 are stored in the captured image storage unit 31.
  • step S63 the captured image of the first camera 4 is called from the captured image storage unit 31.
  • step S64 lens correction is performed on the first camera photographed image using the lens correction coefficient of the first camera photographed image stored in the lens correction coefficient storage unit.
  • step S65 the first camera lens corrected image is stored in the lens corrected image storage unit 32.
  • the same processing as in S61 to S65 is performed on the image captured by the second camera.
  • the lens correction coefficient used for this processing is the lens correction coefficient of the second camera photographed image. Accordingly, the second camera lens corrected image is also stored in the lens corrected image storage unit 32.
  • the three-dimensional coordinate space is a space that includes the display surface 2 (expanding in the X-axis and Y-axis directions) and extends forward (in the direction in which the presenter and audience are located (Z-axis)) and backward from the display surface.
  • the three-dimensional coordinate space is a space photographed with the camera visual field 7.
  • the three-dimensional coordinate storage unit 13 stores coordinate points on a space obtained by dividing the three-dimensional coordinate space into a minute cube or a minute rectangular parallelepiped.
  • the Z-axis positive / negative of the three-dimensional coordinate value is defined in the right-handed coordinate system, the positive / negative of the Z-axis may be corrected as necessary.
  • the coordinate value calculation unit 23 uses the image-space conversion coefficient of the first camera photographed image stored in the image-space conversion coefficient storage unit 15 to extract the extracted three-dimensional coordinate value to the image of the first camera photographed image. Convert to coordinate values.
  • the converted image coordinate value is referred to as “extracted image coordinate value”.
  • the target color determination means calls the first camera lens corrected image, recognizes the target color C1 for the first camera photographed image in the target color LUT12, the non-recognized target color NC1-1, NC1-2 --- NC1. With reference to -n, it is determined whether or not the pixel of the extracted image coordinate value corresponds to the recognition target color. If it falls under the recognition target color, the process proceeds to S70. If the color does not correspond to the recognition target color, the process returns to S67, the second point in the three-dimensional coordinate space stored in the three-dimensional coordinate storage unit 13 is extracted, and the same processes of S68 and S69 are performed.
  • the same processing as S68 and S69 is performed on the second camera lens corrected image.
  • the image-space conversion coefficient used for conversion of the extracted image coordinate value is the image-space conversion coefficient of the image captured by the second camera.
  • the color data in the target color LUT 12 referred to by the target color determination unit is the recognition target color C2 for the second camera photographed image, the non-recognition target color NC2-1, NC2-2, and NC2-n.
  • the target color determination unit 27 determines whether or not a recognition target color is detected in the first camera photographed image and the second camera photographed image. That is, when the pixel of the extracted image coordinate point in the second camera photographed image is determined as the recognition target color, the extracted three-dimensional coordinate value is regarded as the detected coordinate point of the indicator 3 and the detection instruction is given to the coordinate value storage unit 32. The extracted three-dimensional coordinate value is stored as a body coordinate point.
  • the process returns to S67, the second point in the three-dimensional coordinate space stored in the three-dimensional coordinate storage unit 13 is extracted, and the same processing as in S68 and S69 is performed. I do.
  • the detected indicator coordinate value group stored in the indicator coordinate value storage unit 33 is determined as one point by the coordinate value calculation means. For example, the center of the detection indicator coordinate value group may be obtained, or the point closest to the display surface may be selected from the detection indicator coordinate value group. Good.
  • the determined detection indicator coordinate points are stored as x1, y1, and z1 at time t1.
  • the environment setting for image-space conversion is performed by the above-described operation, and the three-dimensional coordinates to be extracted are calculated in the indicator three-dimensional coordinate value during steady operation.
  • the value range may be limited to the range in which the indicator moves. In this way, it is possible to obtain an effect such as an increase in calculation speed.
  • a presentation system 1 (second embodiment) to which the depth position determination of the indicator as a preferred embodiment is added will be described.
  • the added depth position determination is a process for determining whether or not to perform drawing processing based on the depth position of the indicator in the three-dimensional space.
  • FIG. 7 is a flowchart for explaining the second embodiment.
  • the processes from S81 to S84 are inserted between S430 (determining the three-dimensional coordinates of the indicator) and S51 (drawing start).
  • the Z-axis threshold value of the indicator is stored in advance. Alternatively, both end values of the Z axis are stored. In the case of the threshold value, it is described that the process proceeds to the drawing process when z1 is larger (or smaller) than the threshold value. In the case of both-end values, it is described that the process proceeds to the drawing process when z1 is between the end-values (or when it is outside).
  • the values and conditions stored in the depth value storage unit 19 are collectively referred to as “threshold conditions”.
  • the depth determination means 30 After detecting the indicator coordinate value in S430, the depth determination means 30 compares the value stored in the depth value storage unit 19 in S81 with the value of z1 stored in the indicator coordinate value storage unit 33.
  • command recognition processing is started.
  • Command recognition is recognized as a specific command by a combination of indicator coordinate values (x1, y1, z1) (x2, y2, z2)-(xn, yn, zn) at multiple times t1, t2, --tn It is processing to do.
  • the above command processing is an example of predetermined processing. If the threshold condition is not satisfied, the process may simply return to S430 without performing a predetermined process.
  • the presentation system 1 (third embodiment) to which the determination of the moving speed of the indicator as another preferred embodiment is added will be described.
  • the added moving speed determination is a process of determining whether to perform a drawing process or a predetermined operation based on the moving speed of the indicator in the three-dimensional space.
  • FIG. 8 is a flowchart for explaining the third embodiment.
  • the processes from S91 to S96 are inserted between S430 (determination of the three-dimensional coordinates of the indicator) and S51 (start of drawing) in the steady operation described above.
  • the movement distance value of the indicator is stored in advance in the movement distance value storage unit 16.
  • the movement distance value is a single value (threshold value).
  • the first operation determination means 25 in S91 determines the distance between the position of the indicator at time t1 stored in the indicator coordinate value storage unit 33 and the position of the indicator at time t2 ( Calculate travel distance). In S92, the first operation determination unit 25 compares the calculated movement distance with the movement distance value stored in the movement distance value storage unit 16.
  • the process moves to S93. If the calculated movement distance is smaller than the movement distance value (threshold value), the process moves to S96.
  • the first operation determination means sends a command signal to the command control means 26.
  • the command control means 26 Upon receiving the command signal in S94, the command control means 26 performs a predetermined process on the already created image currently displayed or the already created image selection means.
  • the display control means 22 displays the processed already created image on the display surface 2.
  • the value stored in the movement distance storage unit 16 and the determination performed by the first operation determination unit 25 are, for example, (1) A single threshold value is stored and compared with the calculated travel distance. (2) Memorize both end values of a single range, and compare and judge whether the calculated moving distance falls within the range, (3) The two end values of the two ranges may be stored, and the comparison determination of which range the calculated movement distance falls into may be performed.
  • the command control means 26 that has received the command signal may perform page-turning page return, animation start / stop, and sound generation stop for the already created image.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　三次元座標演算処理を単純化し、また、発表者の習性に沿った操作方法を備えたプレゼンテーションシステムを得るものである。Ｘ軸、Ｙ軸方向にひろがる表示面２、既作成画像を表示する表示制御手段２２、指示体３、三次元座標空間を撮影するカメラ４、５、カメラが同時に撮影した撮影画像から指示体の三次元座標値を演算する座標値演算手段２３と描画手段２４を備えたプレゼンテーションシステム１である。時刻ｔ１における指示体の三次元座標値であるｘ１、ｙ１、ｚ１と時刻ｔ２における指示体の三次元座標値であるｘ２、ｙ２、ｚ２を演算し、ｚ１の値に応じて画像修正が行われ、ｘ１、ｙ１の値に応じて描画の始点が定められ、ｘ２、ｙ２の値に応じて描画の終点が定められる。

Description

プレゼンテーションシステム
　本発明は、スクリーン、ディスプレイなどの表示体に画像を表示し発表者がプレゼンテーションを行うにあたり、指示体を移動させ、画像に線などを書き加えることができるプレゼンテーションシステムにかかるものである。
　従来のハンドポインティング装置は、三次元空間を示す画像をディスプレイに表示し、互いに異なる複数の方向から認識対象者を撮影し、認識対象者が指し示している特定箇所の座標を判断している（例えば、特許文献１参照。）。
　上記ハンドポインティング装置は、認識対象者が腕を屈曲伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲伸長させても位置が変化しない基準点の三次元座標を各々求めて、認識対象者が意図する三次元空間内の特定三次元座標を判断している。
特開平１１－１３４０８９号公報
　上記従来のハンドポインティング装置は、装置動作中、常時特徴点と基準点の位置を求めるものであり、装置の演算処理が輻輳する。また、認識対象者が正面を向くか、背面を向くかなどにより、基準点を変更するなどの措置も必要となる。
　さらに、プレゼンテーションにあたり、発表者は説明、表示画像の選択、画像特定位置を指示、聴衆の反応追跡など種々の行為を同時に行うものであり、加えて、精神緊張もある。このような状況下に使用する装置は、可能なかぎり、発表者の普遍的な習性に沿った操作を行うものが好ましい。
　本発明は、三次元座標演算処理を単純化したプレゼンテーションシステムを得ることを課題とする。また、本発明は、発表者の習性に沿った操作方法を備えたプレゼンテーションシステムを得ることを課題とする。
　本発明のその他の課題は、本発明の説明により明らかになる。
　本発明の一の態様にかかるプレゼンテーションシステムは、
　Ｘ軸、Ｙ軸方向にひろがる表示面、
　前記表示面に表示するための既作成画像を記憶する既作成画像記憶部、
　前記既作成画像記憶部に記憶された既作成画像を選択する既作成画像選択手段、
　既作成画像選択手段が選択した既作成画像を前記表示面に表示する表示制御手段、
　前記表示面を含む三次元座標空間を撮影する２つのカメラ、
　前記三次元座標空間内を移動することがある指示体、
　前記２つのカメラが同時に撮影した撮影画像を各々記憶する撮影画像記憶部、
　撮影画像記憶部に記憶された前記同時撮影画像から、前記三次元座標空間内の一の固定点を基準点とした前記指示体の三次元座標値を演算する座標値演算手段、
　前記三次元座標値を記憶する指示体座標値記憶部、
　前記指示体座標値記憶部に記憶された前記指示体の三次元座標値を参照し、前記指示体の三次元座標値に応じて描画画像を生成する描画手段を有し、
　前記表示制御手段は、前記表示面に、選択・表示された前記既作成画像と同時に前記描画画像を表示するものであり、
　前記座標値演算手段により、時刻ｔ１における前記指示体の三次元座標値であるｘ１、ｙ１、ｚ１が演算され、前記座標値が前記指示体座標値記憶部に記憶されるとともに、前記座標値演算手段により、時刻ｔ１から所定時間経過後の時刻ｔ２における前記指示体の三次元座標値であるｘ２、ｙ２、ｚ２が演算され、前記座標値が前記指示体座標値記憶部に記憶され、
　前記描画手段が生成する描画画像は、時刻ｔ１におけるＺ軸座標値であるｚ１の値に応じて画像修正が行われ、時刻ｔ１におけるＸ軸とＹ軸座標値であるｘ１、ｙ１の値に対応して描画の始点が定められ、時刻ｔ２におけるＸ軸とＹ軸座標値であるｘ２、ｙ２の値に対応して描画の終点が定められることを特徴とする。
　本発明において、指示体の三次元座標値は、一の固定を基準点として演算算出される。また、前記描画手段が生成する描画画像は、時刻ｔ１におけるＺ軸座標値であるｚ１の値、すなわち、指示体の奥行方向位置に応じて画像種別が定められる。
　本発明の好ましい実施態様において、前記プレゼンテーションシステムにおける前記描画画像は線であり、ｚ１の値が前記表示面に相対的に近いものである場合に相対的に太い線とする画像修正が行われ、ｚ１の値が前記表示面に相対的に遠いものである場合に相対的に細い線とする画像修正が行われるものであってもよい。
　本好ましい実施態様によれば、指示体が表示面に近いと相対的に太い線が描画され、指示体が表示面に遠いと細い線が描画される。一般に、発表者は強調したい部分を指示する場合には表示面に指示体を近づける習性がある。このため、強調したい部分に、太い下線や、太いオーバーマークが描画されることになる。よって、本好ましい実施態様は、より一層、発明者の習性に沿ったプレゼンテーションシステムとなる。
　もっとも本発明において、画像修正は本好ましい実施態様に限定されるものではなく、例えば、指示体が表示面に近い場合に相対的に細い線に修正されるものであってもよい。
　本発明の他の好ましい実施態様において、前記プレゼンテーションシステムは、
　さらに、予め定められた奥行値を記憶する奥行値記憶部と奥行判定手段を有し、
　奥行判定手段は前記ｚ１の値と前記奥行値を比較し、前記ｚ１の値が前記奥行値を満足する場合に、
　前記描画手段が前記描画画像を生成するものであってもよい。
　本好ましい実施態様によれば、指示体が一定範囲の奥行に位置する場合に、描画が行われる。例えば、発表者が表示面に接近し指示体を移動する場合には、描画がおこなわれる。一方、発表者が表示面を離れ、例えば演壇付近で指示体を移動する場合には、描画は行われない。当該演壇付近での指示体の操作は、コマンド入力のための操作と定義し、このようにプレゼンテーションシステムを構成することもできる。
　一般に、発表者はスライドなど既作成画像の説明時には、表示面に近づいて指示体で表示面をなぞるなど一定奥行方向に移動する習性がある。よって、本好ましい実施態様は、より一層、発明者の習性に沿ったプレゼンテーションシステムとなる。
　本発明のその他の好ましい実施態様において、前記プレゼンテーションシステムは、
　さらに、予め定められた移動距離値を記憶する移動距離値記憶部と第一操作判定手段を有し、
　第一操作判定手段は、時刻ｔ１における前記指示体の位置と時刻ｔ２における前記指示体の位置間の距離を算出して前記移動距離値と比較し、前記算出した距離が前記移動距離値を満足する場合に、第一の所定の操作を行うものであってもよい。
　本好ましい実施態様によれば、指示体が特定速度で移動をした場合には、所定の操作入力（例えば、コマンド入力）と判定され、表示画像が変更される等の所定の操作を行う事ができる。一般に、発表者はスライド送りなどを要求する場合に指示体をす早く移動させ、スライドの説明時には指示体をゆっくり動かす習性がある。よって、本好ましい実施態様では、指示体の移動速度を変化させることによる所定操作の入力を盛り込む事でより一層、発明者の習性に沿ったプレゼンテーションシステムとなる。
　所定の操作を例示すれば、既作成画像の頁送り頁戻し、表示画像が変化するいわゆるアニメーションの開始停止、音響の発生停止などである。
　以上説明した本発明、本発明の好ましい実施態様、これらに含まれる構成要素は可能な限り組み合わせて実施することができる。
　本発明によれば、指示体の三次元座標値は一の固定点を基準点として演算算出される。当該固定点は、本プレゼンテーションシステムが定常動作を続ける間一定である。従って三次元座標値演算処理は指示体についてのみ行われる。このため、演算効率が向上する。ひいては、処理速度向上、誤動作防止などが実現されるプレゼンテーションシステムとなる。
　また、時刻ｔ１におけるＺ軸座標値であるｚ１の値、すなわち、指示体の奥行方向位置に応じて画像修正が行われるので、発表者が強調したい部分により顕著な描画がなされるなど、発表者の習性に沿った操作が可能なプレゼンテーションシステムとなる。ひいては、使いやすさ、操作性が向上する。
プレゼンテーションシステム１の構成図である。 対象色ＬＵＴ１２の内容説明図である。 認識対象色教示処理のフローチャートである。 画像―空間変換にかかる環境設定のフローチャートである。 定常運転のフローチャートである。 指示体３の三次元座標決定処理フローチャート－１／２である。 指示体３の三次元座標決定処理フローチャート－２／２である。 指示体３の奥行位置判断付加部分のフローチャートである。 指示体３の移動速度判断付加部分のフローチャートである
　以下、図面を参照して本発明の実施例にかかるプレゼンテーションシステム１をさらに説明する。本発明の実施例に記載した部材や部分の寸法、材質、形状、その相対位置などは、とくに特定的な記載のない限りは、この発明の範囲をそれらのみに限定する趣旨のものではなく、単なる説明例にすぎない。
　図１は、プレゼンテーションシステム１の構成図である。プレゼンテーションシステム１は、スクリーンである表示面２、指示体３、第１カメラ４、第２カメラ５、システム制御器８から構成される。
　本実施例における画像表示はプロジェクター６とスクリーンによりなされる。しかし、本発明において表示面２はスクリーンに限られるものではなく、例えば、液晶ディスプレイなどの表示面であってもよい。
　表示面２は、Ｘ軸方向とＹ軸方向に広がる平面である。本発明において、平面は幾何学に定義される平面と、プロジェクターやディスプレイの特性に応じた曲面を含む。また、本発明においてＸ軸、Ｙ軸は、表示面との距離を表現するＺ軸との相対的な関係を表すものである。
　第一カメラ４と第二カメラ５は、表示面２を含む三次元空間を撮影するカメラであり、動画カメラでもよく、静止画カメラであってもよい。もっとも、スムーズな描画を行うなどのためには、例えば、６０フレーム／秒程度以上の速度で画像を得ることが好ましいので、第一カメラ４と第二カメラ５は動画カメラが好ましい。第一カメラ４と第二カメラ５は例えば、ＣＣＤカメラを使用することができる。
　第一カメラ４と第二カメラ５は表示面２の全面を視野にすることが好ましく、図１中に視野７に示すように表示面２の輪郭領域を視野に含むことが好ましい。
　単一のプレゼンテーションシステムに含まれるカメラは２個に限られず、３個以上あってもよい。
　指示体３は、例えば赤色や緑色の物体である。物体の形状は例えば、球状体や立方体である。指示体３の移動によるプレゼンテーションシステム１の操作を容易にするために、棒の先端に当該指示体３を付着することが好ましい。また、発表者が例えば赤色や緑色の手袋を片手に装着し、当該手袋を指示体３としてもよい。
　指示体３はプレゼンテーションシステム１を操作する手段である。指示体３は第１カメラ４と第２カメラ５の視野内で移動したり、静止したりする。また。当該視野外に出て移動したり、静止したりする。視野内での指示体を検出し、プレゼンテーションシステム１を操作する。
　システム制御器８は、例えば、コンピュータである。システム制御器８は既作成画像記憶部１１、対象色ルックアップテーブルである対象色ＬＵＴ１２、三次元座標記憶部１３、レンズ補正係数記憶部１４、画像－空間変換係数記憶部１５、移動距離値記憶部１６、描画画種記憶部１７、描画修正記憶部１８、奥行値記憶部１９、撮影画像記憶部３１、レンズ補正済画像記憶部３２、指示体座標値記憶部３３の各記憶部、既作成画像選択手段２１、表示制御手段２２、座標値演算手段２３、描画手段２４、第一操作判定手段２５、コマンド制御手段２６、対象色判定手段２７、奥行判定手段３０の各手段、さらに主制御部２８、周辺機器制御部２９を有している。
　上記の各手段は、コンピュータに組み込まれたプログラムとＣＰＵ、ＲＡＭ、ＲＯＭなどにより実現できる。上記の各記憶部は、例えば、コンピュータのハードメモリー内の一定部分を割り当てることで実現できる。さらに、既作成画像選択手段２１は、例えば、市販のプレゼンテーションシステム用プログラムを使用することができる。
　主制御部２８はシステム制御器８の全体の動作制御などを行う。周辺機器制御部２９は、第１カメラ４、第２カメラ５の動作、画像処理、プロジェクター６の制御などを行う。また、システム制御器８は、システム表示装置４１、入力デバイス４２を有する。システム表示装置４１はコンピュータに付属する液晶ディスプレイであり、入力デバイス４２はキーボードとポインター、例えばマウスである。
（初期設定）
　プレゼンテーションシステム１の初期設定その操作などを説明する。
　表示面２に表示する既作成画像を作成し、既作成画像記憶部１１に記憶する。既作成画像は、文字、図形、写真、イラスト、動画これらの混合物などである。また、既作成画像は白紙の画像であってもよい。既作成画像の具体例はプレゼンテーション用のスライド原稿である。
　描画画種記憶部１７に描画画種を記憶する。描画画種は、例えば、実線、破線、一点鎖線、丸印、三角印、四角印、矢印などである。記憶する描画画種は、単一であってもよい。
　描画修正記憶部１８に、描画画像の修正事項を記憶する。修正事項は、例えば、線の太さ、色の濃淡、色相である。そして、ｚ１の値との関係式を記述する。例えば、線の太さを修正するのであれば、０≦ｚ１＜５０の場合に線の太さ１００画素、５０≦ｚ１＜１００の場合に線の太さ７０画素、１００≦ｚ１＜１５０の場合に線の太さ４０画素のように記述する。また、例えば、色相を修正するのであれば、０≦ｚ１＜１００の場合に赤、１００≦ｚ１＜２００の場合に橙、２００≦ｚ１＜３００の場合に黄のように記述する。
（環境設定）
　次に、環境設定を行う。環境設定は、プレゼンテーションシステム１を実際の使用場所に設置して、照明状態、指示体移動範囲などに応じて、プレゼンテーションシステム１に必要なデータを入力する設定である。
　プレゼンテーションシステム１を発表場所に設置し、表示面２、プロジェクター６を配置する。第１カメラ４と第２カメラ５を配置し、カメラ視野７を調節する。カメラ視野は、環境設定中と引き続く定常運転中固定される。
　次に、プレゼンテーションシステム１に認識対象色の教示を行う。図３は認識対象色教示処理のフローチャートであり、図２は対象色ＬＵＴ１２の内容説明図である。
　Ｓ１１で指示体３をカメラ視野７内に位置付け、第１カメラ４、第２カメラ５で指示体３を含む画像を撮影する。Ｓ１２で第１カメラ４の撮影画像と第２カメラ５の撮影画像を撮影画像記憶部３１に記憶する。
　Ｓ１３で第１カメラ４の撮影画像を撮影画像記憶部３１から呼び出し、システム表示装置４１に表示する。Ｓ１４で、入力デバイス４２にてシステム表示装置上の指示体３領域を指定する。この操作により第１の認識対象色Ｃ１が教示される。Ｓ１５で第１の認識対象色Ｃ１を対象色ＬＵＴ１２に記憶する。
　Ｓ１６で、システム表示装置４１に表示されている同一画像に対して、非指示体領域を指定する。この操作により第１の非認識対象色ＮＣ１－１が教示される。Ｓ１７で第１の非認識対象色ＮＣ１－１を対象色ＬＵＴ１２に記憶する。Ｓ１６とＳ１７を繰り返して他の非認識対象色を教示する。
　ここで、Ｓ１６においてシステム表示装置４１に表示されている同一画像に教示すべき非認識対象色がない場合には、以下の撮影操作から繰り返す。すなわち、当該特定の非認識対象色を含む画像を表示面２に表示し、あるいは、当該特定の非認識対象色の物をカメラ視野７内に位置づけて、第１カメラで撮影し、Ｓ１２、Ｓ１３、Ｓ１６、Ｓ１７を行う。
　以上により、第１カメラ撮影画像について第１の認識対象色Ｃ１と第１の非認識対象色ＮＣ１－１、ＮＣ１－２　－－－　ＮＣ１－ｎが教示され、対象色ＬＵＴ１２に記憶される。
　次にＳ１９に移行し、第２カメラ撮影画像について、Ｓ１３～Ｓ１８の操作を繰り返す。Ｓ１４で指定される第２の認識対象色Ｃ２と、上述した第１の認識対象色Ｃ１は略同一であるが、それぞれ第２カメラと第１カメラの色特性が反映された色データである。
　以上の認識対象色教示が終了すると、図２に示すように、対象色ＬＵＴ１２内には、第１カメラ撮影画像について認識対象色Ｃ１と非認識対象色ＮＣ１－１、ＮＣ１－２　－－－　ＮＣ１－ｎが記憶され、第２カメラ撮影画像について認識対象色Ｃ２と非認識対象色ＮＣ２－１、ＮＣ２－２　－－－　ＮＣ２－ｎが記憶される。
　カメラを３台以上含むプレゼンテーションシステムにあっては、第３カメラ撮影画像などについて、認識対象色と非認識対象色を教示する。
　次に図４を参照して、画像―空間変換にかかる環境設定を説明する。
　Ｓ２１で補正用基準点が描かれた画像を表示面２に表示する。画像表示に替えて同様の印刷物を表示面に貼り付けてもよい。補正用基準点が描かれた画像は、例えば、方眼画像、市松模様画像である。そして、当該表示を第１カメラ４、第２カメラ５で撮影する。
　Ｓ２２で第１カメラ４の撮影画像と第２カメラ５の撮影画像を撮影画像記憶部３１に記憶する。Ｓ２３で第１カメラ４の撮影画像を撮影画像記憶部３１から呼び出し、システム表示装置４１に表示する。表示画像上の補正用基準点の画像座標値を検出する。
　Ｓ２４で三次元座標（ワールド座標）における補正用基準点と、Ｓ２３で検出した画像座標値を関連つける。Ｓ２５で三次元座標値と画像座標値を一時メモリーに記憶する。
　他の補正用基準点について、Ｓ２３～Ｓ２５の操作を繰り返す。
　Ｓ２６で一時メモリーから三次元座標値群と各々１対１に対応する画像座標値群を呼び出し、両群から第１カメラ撮影画像のレンズ補正係数と第１カメラ撮影画像の画像－空間変換係数を算出する。レンズ補正係数は係数値であり、画像－空間変換係数は行列値である。
　Ｓ２７で、第１カメラ撮影画像のレンズ補正係数をレンズ補正係数記憶部１４に記憶する。Ｓ２８で、第１カメラ撮影画像の画像－空間変換係数を画像－空間変換係数記憶部１５に記憶する。
　Ｓ２９で第２カメラ撮影画像に対して、Ｓ２３～Ｓ２８と同様の操作を行う。当該操作により、第２カメラ撮影画像のレンズ補正係数がレンズ補正係数記憶部１４に記憶され、第２カメラ撮影画像の画像－空間変換係数が画像－空間変換係数記憶部１５に記憶される。
（定常運転－１）
　次に図５に示す定常運転のフローチャート、図６に示す指示体３の三次元座標決定処理フローチャートを参照しつつ、定常運転処理を説明する。
　Ｓ４０で定常運転を開始する。定常運転中、指示体３は発表者の操作に従って、移動したり静止したりする。
　Ｓ４１で既作成画像選択手段２１は、既作成画像記憶部１１から一の画像を選択する。Ｓ４２で、表示制御手段２１は当該画像を表示面２に表示する。
　Ｓ４３０で、第１カメラ４と第２カメラ５は各々の視野内を同時に撮影し、撮影画像中の指示体３の位置から指示体３の三次元座標値を算出する。Ｓ４３０の詳細な処理は、以下で別途説明する。
　当該算出により、時刻ｔ１における指示体３の三次元座標値ｘ１、ｙ１、ｚ１と、時刻ｔ２における座標値ｘ２、ｙ２、ｚ２が、指示体座標値記憶部３３に記憶される。
Ｓ５１で描画手段２４が描画画種記憶部１７から、一の描画画種を選択する。描画画種は、例えば、一の定常運転中は、常時、同一描画画種が選択されるように予めプログラムしておいてもよく、また、ｘ１、ｙ１、ｚ１の値に応じて描画画種が選択されるようにプログラムしておいてもよい。
　Ｓ５２で描画手段２４が指示体座標値記憶部３３を参照し、ｚ１の値に応じて描画画像を修正する。描画画種が線の場合に、例えば、ｚ１の値が前記表示面に相対的に近いものである場合に相対的に太い線とする画像修正を行い、ｚ１の値が前記表示面に相対的に遠いものである場合に相対的に細い線とする画像修正を行う。
　Ｓ５３で、描画手段２４が指示体座標値記憶部３３のｘ１、ｙ１の値を参照して、描画画像の始点を決定する。Ｓ５４で、描画手段２４が指示体座標値記憶部３３のｘ２、ｙ２の値を参照して、描画画像の終点を決定する。
　Ｓ５５で、描画手段は、Ｓ４１で選択され、現在表示面２に表示されていると同一の既作成画像を既作成画像記憶手段１１から呼び出す。当該既作成画像にＳ５１～Ｓ５４で作成修正された描画画像を重ねる処理を行う。当該描画処理は、描画画像が最前面に表示され、重なった既作成画像は見えない態様であってもよく、描画画像が、たとえば、５０％の透過度で描かれるものであってもよい。そして当該画像を表示制御手段２２に送付する。
　Ｓ５６で、表示制御手段２２は、重ね合わされた画像を表示面２に表示する。
　Ｓ５６が終了すれば、座標値記憶部３２中のｘ２、ｙ２、ｚ２のデータは、新たなｘ１、ｙ１、ｚ１と定義される。
（定常運転－２、三次元座標決定処理）
　Ｓ４３０における指示体３の三次元座標決定処理を、図６と図７を参照しつつ、説明する。
　Ｓ６１において、第１カメラ４、第２カメラ５で固定視野を同時に撮影する。Ｓ６２で第１カメラ４の撮影画像と第２カメラ５の撮影画像を撮影画像記憶部３１に記憶する。
　Ｓ６３で第１カメラ４の撮影画像を撮影画像記憶部３１から呼び出す。Ｓ６４でレンズ補正係数記憶部に記憶された第１カメラ撮影画像のレンズ補正係数を用いて、第１カメラ撮影画像にレンズ補正を行う。Ｓ６５で第１カメラレンズ補正済画像をレンズ補正済画像記憶部３２に記憶する。
　Ｓ６６で第２カメラ撮影画像に対して、Ｓ６１～Ｓ６５と同様の処理を行う。当該処理に用いるレンズ補正係数は、第２カメラ撮影画像のレンズ補正係数である。これにより第２カメラレンズ補正済画像もレンズ補正済画像記憶部３２に記憶される。
　Ｓ６７で三次元座標記憶部１３に記憶された三次元座標空間の第１の点を抽出する。抽出された点の座標値を「抽出三次元座標値」と呼ぶ。三次元座標空間は、表示面２（Ｘ軸とＹ軸方向に広がる）を含み、表示面から前方（発表者、聴衆が位置する方向（Ｚ軸））と後方に広がる空間である。同時に、三次元座標空間はカメラ視野７で撮影される空間である。三次元座標記憶部１３には、三次元座標空間を微小立方体、または微小直方体に区画した空間上の各座標点が記憶されている。三次元座標値のＺ軸正負は右手座標系で定義するが、必要に応じてＺ軸の正負を補正すればよい。
　Ｓ６８で、座標値演算手段２３は、画像－空間変換係数記憶部１５に記憶された第１カメラ撮影画像の画像－空間変換係数を用いて、抽出三次元座標値を第１カメラ撮影画像の画像座標値に変換する。変換された画像座標値を「抽出画像座標値」と呼ぶ。
　Ｓ６９で、対象色判定手段は第１カメラレンズ補正済画像を呼び出し、対象色ＬＵＴ１２内の第１カメラ撮影画像用の認識対象色Ｃ１、非認識対象色ＮＣ１－１、ＮＣ１－２　－－－　ＮＣ１－ｎを参照しながら、抽出画像座標値の画素が認識対象色に該当するか否かを判定する。認識対象色に該当する場合には、Ｓ７０に移行する。認識対象色に該当しない場合には、Ｓ６７に戻り、三次元座標記憶部１３に記憶された三次元座標空間の第２の点を抽出し、Ｓ６８、Ｓ６９の同様の処理を行う。
　Ｓ７０では、第２カメラレンズ補正済画像に対してＳ６８、Ｓ６９と同様の処理を行う。このとき、抽出画像座標値の変換に使用される画像－空間変換係数は、第２カメラ撮影画像の画像－空間変換係数である。また、対象色判定手段が参照する対象色ＬＵＴ１２中の色データは、第２カメラ撮影画像用の認識対象色Ｃ２、非認識対象色ＮＣ２－１、ＮＣ２－２　－－－　ＮＣ２－ｎである。
　Ｓ７１で、対象色判定手段２７は、第１カメラ撮影画像と第２カメラ撮影画像で認識対象色が検出されたか否かを判定する。すなわち、第２カメラ撮影画像における抽出画像座標点の画素が認識対象色と判定した場合には、抽出三次元座標値を指示体３の検出座標点とみなして、座標値記憶部３２に検出指示体座標点として抽出三次元座標値を記憶する。第２カメラ撮影画像で認識対象色が検出されない場合には、Ｓ６７に戻り、三次元座標記憶部１３に記憶された三次元座標空間の第２の点を抽出し、Ｓ６８、Ｓ６９と同様の処理を行う。
　Ｓ７２では、Ｓ６７～Ｓ７１までの処理を繰り返して、三次元座標空間の全ての点で、対象色検出処理を行う。
　Ｓ７３では、上記の処理で対象色の検出があれば、Ｓ７４に進む。上記の処理で対象色の検出がなければ、Ｓ７６に進む。
　Ｓ７４では、指示体座標値記憶部３３に記憶された検出指示体座標値群を座標値演算手段により一点に確定する。当該一点への確定は、例えば、検出指示体座標値群の重心を求めてもよく、また、検出指示体座標値群の中で、表示面に最近接している点の座標を選択してもよい。
　Ｓ７５で、確定した検出指示体座標点を時刻ｔ１におけるｘ１、ｙ１、ｚ１として記憶する。
　Ｓ７６では、Ｓ６１に戻り、次フレーム（時刻ｔ２）での撮影画像について、指示体座標検出を行う。これにより、時刻ｔ２における指示体の座標点ｘ２、ｙ２、ｚ２が指示体座標値記憶部３３に記憶される。
　なお、カメラが３台以上のプレゼンテーションシステムにあっては、Ｓ７０の第２カメラレンズ補正済画像に対するＳ６８、Ｓ６９と同様の処理に引き続き、第３カメラレンズ補正済画像に対するＳ６８、Ｓ６９と同様の処理等等を行う。
　巨大な表示面２を使用するプレゼンテーションシステムにあっては、画像－空間変換にかかる環境設定は上述の操作を行い、定常運転時の指示体三次元座標値算出にあって、抽出する三次元座標値の範囲を指示体が移動する範囲に限ればよい。このようにすれば、演算速度が向上するなどの効果を得ることができる。
（第二の実施例）
　好ましい実施態様である指示体の奥行位置判断を付加したプレゼンテーションシステム１（第二の実施例）について説明する。付加される奥行位置判断は、三次元空間における指示体の奥行き位置により、描画処理を行うか否かを判断する処理である。
　図７は、第二の実施例を説明するフローチャートである。第二の実施例にあっては、上記で説明した定常運転において、Ｓ４３０（指示体の三次元座標決定）とＳ５１（描画開始）の間に、Ｓ８１～Ｓ８４までの処理が挿入される。
　奥行値記憶部１９に、予め、指示体のＺ軸の閾値を記憶しておく。あるいはＺ軸の両端値を記憶しておく。閾値の場合には、閾値よりもｚ１が大きい（あるいは小さい場合）に描画処理に進む旨を記述する。両端値の場合には、ｚ１が両端値の間にある場合（あるいは外れる場合）に描画処理に進む旨を記述する。以上奥行値記憶部１９に記憶された値と条件を総称して「閾値条件」と呼ぶ。
　Ｓ４３０による指示体座標値の検出の後に、Ｓ８１で奥行判定手段３０が奥行値記憶部１９に記憶された値と、指示体座標値記憶部３３に記憶されたｚ１の値を比較する。
　Ｓ８２でｚ１が閾値条件を満足する場合には、Ｓ８３に進む。また、ｚ１値が閾値条件を外れる場合にはＳ８４に進む。Ｓ８３では、Ｓ５１に進み描画処理が行われる。
　Ｓ８４では、例えば、コマンド認識処理を開始する。コマンド認識は、複数の時刻ｔ１、ｔ２、－－　ｔｎにおける指示体座標値（ｘ１、ｙ１、ｚ１）（ｘ２、ｙ２、ｚ２）－－（ｘｎ、ｙｎ、ｚｎ）の組み合わせにより特定のコマンドと認識する処理である。
　コマンド認識処理に入って、コマンドが認識されない場合には、Ｓ４３０に戻る。
　上記のコマンド処理は、所定の処理の一例である。閾値条件を外れる場合に、所定の処理を行うことなく、単にＳ４３０に戻ってもよい。
（第三の実施例）
　他の好ましい実施態様である指示体の移動速度判断を付加したプレゼンテーションシステム１（第三の実施例）について説明する。付加される移動速度判断は、三次元空間における指示体の移動速度により、描画処理を行うか所定の操作を行うか判断する処理である。
　図８は、第三の実施例を説明するフローチャートである。第三の実施例にあっては、上記で説明した定常運転において、Ｓ４３０（指示体の三次元座標決定）とＳ５１（描画開始）の間に、Ｓ９１～Ｓ９６までの処理が挿入される。
　移動距離値記憶部１６に予め指示体の移動距離値を記憶しておく。本実施例では移動距離値は単一の値（閾値）である。
　Ｓ４３０による指示体座標値の検出の後に、Ｓ９１で第一操作判定手段２５が、指示体座標値記憶部３３に記憶された時刻ｔ１における指示体の位置と時刻ｔ２における指示体の位置の距離（算出移動距離）を算出する。Ｓ９２で第一操作判定手段２５は、移動距離値記憶部１６に記憶された移動距離値と算出された算出移動距離を比較する。
　算出移動距離が移動距離値（閾値）よりも大きい場合には、Ｓ９３に移動する。算出移動距離が移動距離値（閾値）よりも小さい場合にはＳ９６に移動する。
　Ｓ９３では、第一操作判定手段がコマンド制御手段２６にコマンド信号を送付する。Ｓ９４でコマンド信号を受けたコマンド制御手段２６は現在表示中の既作成画像、または、既作成画像選択手段に所定の処理を施す。
　Ｓ９５で表示制御手段２２は当該処理済既作成画像を表示面２に表示する。
　Ｓ９６ではＳ５１に進み描画処理が行われる。
　移動距離記憶部１６に記憶する値と第一操作判定手段２５が行う判定は、例えば、
(1) 単一閾値を記憶して算出移動距離との大小比較判定、
(2) 単一範囲の両端値を記憶して、算出移動距離が範囲に入るか外れるかの比較判定、
(3) ２範囲の２の両端値を記憶して、算出移動距離がいずれの範囲に入るかの比較判定、などであってもよい。
　コマンド信号を受けたコマンド制御手段２６は、既作成画像に関して、頁送り頁戻し、アニメーションの開始停止を行ってもよく、また音響の発生停止を行ってもよい。
符号の説明
　１　　プレゼンテーションシステム
　２　　表示面
　３　　指示体
　４　　第１カメラ
　５　　第２カメラ
　７　　カメラ視野
　８　　システム制御器
 

Claims (4)

  1. 　Ｘ軸、Ｙ軸方向にひろがる表示面、
    　前記表示面に表示するための既作成画像を記憶する既作成画像記憶部、
    　前記既作成画像記憶部に記憶された既作成画像を選択する既作成画像選択手段、
    　既作成画像選択手段が選択した既作成画像を前記表示面に表示する表示制御手段、
    　前記表示面を含む三次元座標空間を撮影する２つのカメラ、
    　前記三次元座標空間内を移動することがある指示体、
    　前記２つのカメラが同時に撮影した撮影画像を各々記憶する撮影画像記憶部、
    　撮影画像記憶部に記憶された前記同時撮影画像から、前記三次元座標空間内の一の固定点を基準点とした前記指示体の三次元座標値を演算する座標値演算手段、
    　前記三次元座標値を記憶する指示体座標値記憶部、
    　前記指示体座標値記憶部に記憶された前記指示体の三次元座標値を参照し、前記指示体の三次元座標値に応じて描画画像を生成する描画手段を有し、
    　前記表示制御手段は、前記表示面に、選択・表示された前記既作成画像と同時に前記描画画像を表示するものであり、
    　前記座標値演算手段により、時刻ｔ１における前記指示体の三次元座標値であるｘ１、ｙ１、ｚ１が演算され、前記座標値が前記指示体座標値記憶部に記憶されるとともに、前記座標値演算手段により、時刻ｔ１から所定時間経過後の時刻ｔ２における前記指示体の三次元座標値であるｘ２、ｙ２、ｚ２が演算され、前記座標値が前記指示体座標値記憶部に記憶され、
    　前記描画手段が生成する描画画像は、時刻ｔ１におけるＺ軸座標値であるｚ１の値に応じて画像修正が行われ、時刻ｔ１におけるＸ軸とＹ軸座標値であるｘ１、ｙ１の値に対応して描画の始点が定められ、時刻ｔ２におけるＸ軸とＹ軸座標値であるｘ２、ｙ２の値に対応して描画の終点が定められることを特徴とするプレゼンテーションシステム。
  2. 　前記描画画像は線であり、ｚ１の値が前記表示面に相対的に近いものである場合に相対的に太い線とする画像修正が行われ、ｚ１の値が前記表示面に相対的に遠いものである場合に相対的に細い線とする画像修正が行われることを特徴とする請求項１に記載したプレゼンテーションシステム。
  3. 　さらに、予め定められた奥行値を記憶する奥行値記憶部と奥行判定手段を有し、
    　奥行判定手段は前記ｚ１の値と前記奥行値を比較し、前記ｚ１の値が前記奥行値を満足する場合に、
    　前記描画手段が前記描画画像を生成することを特徴とする請求項１に記載したプレゼンテーションシステム。
  4. 　さらに、予め定められた移動距離値を記憶する移動距離値記憶部と第一操作判定手段を有し、
    　第一操作判定手段は、時刻ｔ１における前記指示体の位置と時刻ｔ２における前記指示体の位置間の距離を算出して前記移動距離値と比較し、前記算出した距離が前記移動距離値を満足する場合に、
    　第一の所定の操作を行うことを特徴とする請求項１に記載したプレゼンテーションシステム。
PCT/JP2009/001101 2008-03-27 2009-03-12 プレゼンテーションシステム WO2009119025A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-083910 2008-03-27
JP2008083910A JP2009237950A (ja) 2008-03-27 2008-03-27 プレゼンテーションシステム

Publications (1)

Publication Number Publication Date
WO2009119025A1 true WO2009119025A1 (ja) 2009-10-01

Family

ID=41113239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001101 WO2009119025A1 (ja) 2008-03-27 2009-03-12 プレゼンテーションシステム

Country Status (3)

Country Link
JP (1) JP2009237950A (ja)
TW (1) TW200947261A (ja)
WO (1) WO2009119025A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI410825B (zh) * 2010-06-15 2013-10-01 Acer Inc 簡報控制方法
JP6547476B2 (ja) * 2015-07-14 2019-07-24 株式会社リコー 情報処理システム、情報処理装置、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306254A (ja) * 2000-02-17 2001-11-02 Seiko Epson Corp 打音検出による入力機能
JP2007172585A (ja) * 2005-11-25 2007-07-05 Sega Corp 座標入力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306254A (ja) * 2000-02-17 2001-11-02 Seiko Epson Corp 打音検出による入力機能
JP2007172585A (ja) * 2005-11-25 2007-07-05 Sega Corp 座標入力装置

Also Published As

Publication number Publication date
TW200947261A (en) 2009-11-16
JP2009237950A (ja) 2009-10-15

Similar Documents

Publication Publication Date Title
US20200162629A1 (en) Method and apparatus for scanning and printing a 3d object
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
US8094204B2 (en) Image movement based device control method, program, and apparatus
JP6264972B2 (ja) 表示装置、表示制御プログラム、および表示制御方法
US9516214B2 (en) Information processing device and information processing method
JP5134409B2 (ja) プレゼンテーションシステム
JP4838694B2 (ja) 電子的手書入力装置
WO2015182134A1 (en) Improved setting of virtual illumination environment
US10497179B2 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
US10168769B2 (en) Input apparatus, input method, and program
JP2009223331A (ja) 光投影装置、照明装置
JP2559910B2 (ja) ２次元グラフィック・ディスプレイにおける３次元点の指定方法及び装置
CN108629799B (zh) 一种实现增强现实的方法及设备
CN105912101B (zh) 一种投影控制方法和电子设备
JP4649559B2 (ja) ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
JP5023937B2 (ja) 画像処理装置、画像処理システム及びプログラム
WO2009119025A1 (ja) プレゼンテーションシステム
JPH07160412A (ja) 指示位置検出方法
US20220284667A1 (en) Image processing method and image processing device for generating 3d content by means of 2d images
US10606242B2 (en) Print data division apparatus and program
US11354896B2 (en) Display device, display method, and computer program
JP2020071803A (ja) 情報処理装置、情報処理方法及びプログラム
JP6670918B2 (ja) 生成装置、生成方法及び生成プログラム
WO2023058092A1 (ja) 構造物表示システム、構造物表示方法、プログラム
JP2023053546A (ja) 表示制御装置、制御方法、コンピュータプログラム、コンピュータ可読媒体、および製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09725819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09725819

Country of ref document: EP

Kind code of ref document: A1