WO2011007746A1 - 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体 - Google Patents

指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体 Download PDF

Info

Publication number
WO2011007746A1
WO2011007746A1 PCT/JP2010/061747 JP2010061747W WO2011007746A1 WO 2011007746 A1 WO2011007746 A1 WO 2011007746A1 JP 2010061747 W JP2010061747 W JP 2010061747W WO 2011007746 A1 WO2011007746 A1 WO 2011007746A1
Authority
WO
WIPO (PCT)
Prior art keywords
fingertip
content
image
captured image
projection screen
Prior art date
Application number
PCT/JP2010/061747
Other languages
English (en)
French (fr)
Inventor
和真 小泉
由愛 田中
Original Assignee
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大日本印刷株式会社 filed Critical 大日本印刷株式会社
Publication of WO2011007746A1 publication Critical patent/WO2011007746A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a system, a program, and a recording medium in which a viewer operates information projected with a fingertip.
  • the present invention is particularly useful in the case where content based on an instruction is projected onto a projection table by a viewer giving an instruction with a fingertip to the content projected on the projection table.
  • projectors that have been widely used are capable of projecting large contents on a wall surface or a display board (hereinafter referred to as “projection table”), and thus are increasingly used as advertising media and communication tools.
  • projection table a display board
  • a content viewer can interact with the projected content interactively at a museum, for example, to obtain more art information and enjoy a full art appreciation.
  • Cursor operation This is a method of interactively operating content viewed by a viewer by operating a cursor using a pointing device typified by a mouse or a trackball. Alternatively, it is a method of interactively manipulating content using a racer pointer, depending on how the viewer moves when irradiating a laser spot light.
  • Patent Document 1 discloses a technique for seamlessly dragging and dropping a digital object between a computer display screen and a virtual extended display screen of a desk or wall using a pointing device. .
  • Patent Document 2 discloses a technique for operating a presentation screen such as screen switching, line drawing, and screen partial enlargement by instructing the screen on the projection screen with the light of a laser pointer.
  • Touch panel instructions >> In this method, when a viewer touches a touch panel displaying content, the content is interactively operated according to the touched position.
  • Patent Document 3 discloses a technique for selecting an area by changing the area size according to the length of time for which a point on the display is kept pressed with a fingertip.
  • JP 2001-175374 A (paragraph number “0125” to paragraph number “0135”, FIGS. 4 to 7) Japanese Unexamined Patent Publication No. 2001-125738 (paragraph “0065”, paragraph “0067” to paragraph “0069”, FIG. 6) Japanese Patent Laid-Open No. 2006-1113715 (paragraph “0015” to paragraph “0016”, FIG. 4)
  • ⁇ A In the “cursor operation” method, a viewer cannot perform an interactive operation unless using a pointing device such as a mouse.
  • ⁇ B In the method of “touch panel instruction”, a device for detecting that a viewer has touched a hand must be provided in a device for displaying content.
  • the present invention has been made in order to solve the above-described points, and the object of the present invention is that the viewer can project and display without using a tool and without setting a device on the projection table. It is to provide a fingertip operation type information providing system, an interactive operation device, a computer program, and a recording medium for content.
  • a first invention of the present application includes a projector that projects an image based on content projection screen data onto a projection table, an infrared camera that captures the projection table and generates a captured image,
  • storage means comprising a content storage area for storing content configuration data, a display screen holding area for holding the content projection screen data, and interpreting the content configuration data
  • Display browsing means for creating content projection screen data
  • captured image acquisition means for acquiring the captured image from the infrared camera
  • fingertip detection means for detecting the fingertip of the viewer from each frame of the captured image
  • the fingertip position calculating means for calculating the coordinates of the fingertips, and the movement distance of the fingertips by using the coordinates of the fingertips of the successive frames.
  • fingertip stillness detection means for creating fingertip stillness detection information including the coordinates of the fingertips, and input event information is generated based on the fingertip stillness detection information.
  • an input emulation means for delivering to the display browsing means, wherein the display browsing means receives the input event information delivered from the input emulation means, and appropriately updates the content projection screen data. . In this way, it is possible to detect the movement and position of the viewer's fingertip, generate input event information, and process and display the content being projected and viewed.
  • the fingertip detection unit is configured to provide one side of the plurality of sides constituting the outline of the content projection screen in contact with the captured image of the hand. And when the determined side is the first axis, the second axis is orthogonal to the first axis and the positive direction is the internal direction of the content projection screen from the first axis. A part including a point having the maximum coordinate is determined as a fingertip.
  • the fingertip detection unit includes a captured image perspective conversion function for perspectively converting the captured image into a perspective converted captured image, and a background from the perspective converted captured image.
  • a background removal function that removes an image
  • a captured image binarization function that generates a binarized image from a perspective transformation captured image from which the background image has been removed
  • a distance image creation that creates a distance image from the binarized image
  • a pixel having the maximum brightness of the distance image by using the function a contour pixel detection function for detecting a contour pixel from the perspective transformation captured image from which the background image is removed, and the distance image and the contour pixel.
  • a maximum contour portion extraction function for extracting an image surrounded by contour portion pixels as a handprint image, and a fingertip determination function for determining the fingertip using information on a side of a content projection screen in contact with the handprint image; Characterized in that it comprises.
  • the fingertip position calculation means calculates a movement direction vector of the fingertip using the coordinates of the fingertip of each successive frame, and the movement If the variation value of the direction vector is within a predetermined range, the coordinates of the fingertip of the first frame are determined as the coordinates of the fingertip used by the fingertip stillness detecting means.
  • a computer to which a projector that projects an image based on content projection screen data onto a projection base and an infrared camera that captures the projection base and generates a captured image are connected.
  • Storage means comprising a content storage area for storing content configuration data and a display screen holding area for holding the content projection screen data; display browsing for interpreting the content configuration data and creating the content projection screen data
  • a captured image acquisition unit that acquires the captured image from the infrared camera; a fingertip detection unit that detects a fingertip of a viewer from each frame of the captured image; a fingertip position calculation unit that calculates the coordinates of the fingertip; The movement distance of the fingertip is calculated using the coordinates of the fingertip of each frame, and the movement distance during a predetermined time is determined to be zero.
  • fingertip stillness detection means for creating fingertip stillness detection information including the coordinates of the fingertips
  • input emulation means for generating input event information based on the fingertip stillness detection information and delivering it to the display browsing means
  • the display browsing means functions to accept the input event information delivered from the input emulation means and appropriately update the content projection screen data.
  • a computer to which a projector that projects an image based on content projection screen data onto a projection base and an infrared camera that captures the projection base and generates a captured image are connected.
  • Storage means comprising a content storage area for storing content configuration data and a display screen holding area for holding the content projection screen data; display browsing for interpreting the content configuration data and creating the content projection screen data
  • a captured image acquisition unit that acquires the captured image from the infrared camera; a fingertip detection unit that detects a fingertip of a viewer from each frame of the captured image; a fingertip position calculation unit that calculates the coordinates of the fingertip; The movement distance of the fingertip is calculated using the coordinates of the fingertip of each frame, and the movement distance during a predetermined time is determined to be zero.
  • fingertip stillness detection means for creating fingertip stillness detection information including the coordinates of the fingertips
  • input emulation means for generating input event information based on the fingertip stillness detection information and delivering it to the display browsing means
  • a computer-readable recording of a computer program wherein the display browsing means functions to accept the input event information delivered from the input emulation means and appropriately update the content projection screen data. It is a possible recording medium.
  • the seventh invention of the present application is a projection table, a projector that projects an image based on content projection screen data onto the projection table, an infrared camera that captures the projection table and generates a captured image
  • a fingertip operation type content providing system comprising a projector and an interactive operation device to which the infrared camera is connected
  • the interactive operation device holds a content storage area for storing content configuration data and the content projection screen data
  • a display screen holding area a display browsing unit that interprets the content configuration data and creates the content projection screen data
  • a captured image acquisition unit that acquires the captured image from the infrared camera.
  • a fingertip detecting means for detecting the fingertip of the viewer from each frame of the photographed image, and a fingertip position calculating hand for calculating the coordinates of the fingertip
  • the fingertip stationary including the fingertip coordinates
  • the fingertip stationary detection unit that creates detection information
  • an input emulation unit that generates input event information based on the fingertip stationary detection information and delivers the input event information to the display browsing unit, wherein the display browsing unit includes the input It is characterized in that the input event information delivered from the emulation means is received and the content projection screen data is appropriately updated.
  • An information operation can be performed on the projected content without providing an information operation instruction detection device on the projection table.
  • the viewer can give an instruction to operate the information with a fingertip without using a tool. Therefore, according to the present invention, there is an effect that the viewer can easily operate the information simply by pointing the projected content with the fingertip.
  • FIG. 1 is a diagram illustrating an overview of a fingertip operation type information providing system 1 according to an embodiment of the present invention.
  • Example 1 FIG. 2 is an example of a content projection screen based on a dialogue instruction.
  • FIG. 3 is a diagram for explaining a rough operation procedure of the operation and processing of the fingertip operation type information providing system 1.
  • FIG. 4 is an example of fingertip detection.
  • FIG. 5 is a diagram for explaining the detailed flow of (1) initial setting processing.
  • FIG. 6 is a diagram for explaining an example of setting the projection range.
  • FIG. 7 is a diagram for explaining the detailed flow of (3) fingertip detection processing.
  • FIG. 8 is a diagram for explaining an example of the binarized image creation process.
  • FIG. 9 illustrates the method of Otsu.
  • FIG. 1 is a diagram illustrating an overview of a fingertip operation type information providing system 1 according to an embodiment of the present invention.
  • Example 1 FIG. 2 is an example of a content projection screen based on a dialogue instruction.
  • FIG. 10 is a flowchart of (3-6) fingertip determination processing.
  • FIG. 11 is a detailed configuration diagram of the information processing apparatus 100.
  • FIG. 12 is a diagram for explaining the reflection of a shadow.
  • FIG. 13 is a diagram for explaining processing for ignoring the fine movement of the fingertip.
  • Example 3 is a diagram for explaining fingertip detection.
  • Example 4
  • FIG. 1 is a diagram illustrating an overview of a fingertip operation type content providing system 1 according to an embodiment of the present invention.
  • the fingertip operation type content providing system 1 includes a projection table 400, an infrared light source 500, a projector 300 (an example of a projector), and an interactive operation device 100.
  • the interactive operation device 100 is, for example, an existing personal computer and is equipped with a dedicated program described later.
  • An infrared camera 106 and a projector 300 are connected to the interactive operation device 100.
  • the infrared light source 500 is an LED light source device that irradiates the projection table 400 with infrared light.
  • the infrared camera 106 is an electronic camera that captures a reflected image of infrared light, and captures the projection table 40 to generate a captured image.
  • the projector 300 is a projector that projects an image based on the content projection screen data created by the interactive operation device 100 onto the projection table 400.
  • the reason for using the infrared light source 500 and the infrared camera 106 is that the image of the fingertip of the viewer 900 irradiated with infrared light is captured, but the projector 300 projects onto the projection table 400 with visible light. This is because an image (in other words, a content projection screen) is not captured.
  • FIG. 2 is an example of the content projection screen 403.
  • FIG. 2A shows an example of a content projection screen 403 displaying content and commentary.
  • the meaning of the exemplified content projection screen is that the explanation text of the content designated by the fingertip is displayed superimposed on the content.
  • FIG. 2B is an example of a content projection screen 403 including a partially enlarged image of content.
  • the meaning of the exemplified content projection screen is that an image obtained by enlarging the content portion on which the fingertip is placed is displayed superimposed on the content.
  • ⁇ Initial Setting Process The system administrator uses the captured image of the projection table generated by the infrared camera 106 of the interactive operation apparatus 100 by capturing the projection table 400 to perform a perspective transformation process on the captured image. An initial setting process for setting a perspective transformation matrix relational expression, a background image of a captured image, and the like is performed. (Details will be described later)
  • (2) ⁇ Content Projection Process The interactive operation device 100 projects the content projection screen 103 to be viewed by the viewer on the projection table 400 using the projector 300.
  • ⁇ Interactive Operation The viewer performs an interactive operation on the content projection screen 403 projected on the projection table 400 using a fingertip.
  • the dialog operation device 100 captures the fingertip of the viewer who performs the dialog operation with the infrared camera 106 and detects the position and operation of the viewer's fingertip from the captured image.
  • the fingertip position of each frame of the captured image acquired from the infrared camera 106 may be compared. That is, it is only necessary to measure the amount of change in the fingertip position of each frame to determine whether the frame is stationary or moving.
  • the interactive operation device 100 uses the detected fingertip motion as a fingertip motion determination condition (for example, fingertip still motion if the fingertip rest motion time is 0.5 seconds or longer).
  • the result of the operation desired by the viewer is displayed on the projector. 300 is used to project onto the projection table 400.
  • the dialogue operation apparatus 100 may superimpose a cursor on a position corresponding to the fingertip of the content projection screen 403. (6) ⁇ Content browsing >> The viewer browses the content projection screen 403 projected on the projection table 400.
  • FIG. 4A is an example for explaining the fingertip of the hand extending from the bottom side 1031 of the captured image display screen 103 of the hand.
  • the meaning of the photographed image shown as an example indicates that the uppermost portion 1035 of the hand is detected as a fingertip.
  • FIG. 4B is an example for explaining the fingertip of the hand extending from the left side 1032 of the content projection screen.
  • the meaning of the illustrated fingertip indicates that the rightmost portion 1036 of the hand is detected as the fingertip.
  • FIG. 5 is a diagram for explaining the detailed flow of (1) ⁇ initial setting process >>.
  • (1-1) ⁇ Projection Range Instruction The system administrator uses a captured image of the projection table generated by the infrared camera 106 of the interactive operation device 100 capturing the projection table 400, and uses a quadrangular 4 as the projection range. Enter the vertex coordinates. For example, the system administrator displays a photographed image of the projection table on the display unit of the interactive operation device 100 and inputs the four vertex coordinates of the projection range by operating, for example, a cross cursor with a keyboard.
  • the interactive operation apparatus 100 accepts a projection range instruction input by the system administrator, and has already mathematically converted a coordinate transformation matrix relational expression (for example, a coordinate transformation matrix relational expression).
  • a coordinate transformation matrix relational expression for example, a coordinate transformation matrix relational expression.
  • Photographed image perspective transformation matrix equation is a matrix equation which coordinates of the photographed image [X p, Y p] with coordinates [X m, Y m] Content projection screen and perspective transformation.
  • xp is the X coordinate value of the captured image.
  • y p is the Y-coordinate value of the captured image.
  • h is a value having the distance between the camera origin and the image plane as a variable.
  • Xm is the X coordinate value of the content projection screen.
  • Y m is the Y coordinate value of the content projection screen.
  • C ij is a matrix element of the two-dimensional image perspective transformation relational expression.
  • i, j 1, 2, and 3.
  • C a , C b ,..., Ch are matrix elements of the calculated captured image perspective transformation relational expression.
  • photographed image perspective transformation relational expression can be calculated using the opencv perspective transformation matrix calculation function cvGetPerspectiveTransform.
  • opencv is an open source computer vision library developed and released by Intel (registered trademark).
  • FIG. 6A illustrates a projection range instruction screen 1031.
  • a photographed image of the projection table 400 photographed by the infrared camera 106 of the interactive operation device 100 is displayed.
  • the projection range instruction screen 1031 shows a state where four vertices p, q, r, and s of the projection range are input. At this time, the vertex angles of the four vertices p, q, r, and s in the projection range are not necessarily a right angle.
  • FIG. 6B illustrates an image display screen 1032 obtained by perspective-transforming the projection range of the captured image.
  • the illustrated perspective transformation image display screen 1032 is obtained by perspective transformation of the projection range of the photographic image using the photographic image perspective transformation relational expression.
  • the dialogue operation apparatus 100 extracts an image in the projection range from the photographed image of the projection table 400 and uses it as a background image. When this background image is extracted, the image in the projection range is perspective-transformed to the coordinates of the content projection screen using the derived captured image perspective transformation matrix relational expression (Formula 2).
  • FIG. 7 is a diagram for explaining the detailed flow of (4) ⁇ fingertip detection process >>.
  • the fingertip detection process is performed for each frame of the captured image.
  • (4-1) ⁇ Shooting Image Perspective Conversion Process >>
  • the interactive operation device 100 uses the derived photographed image perspective transformation matrix relational expression (Formula 2) to convert the hand photographed image into the coordinate system image of the content projection screen. Transform to perspective.
  • (4-2) ⁇ Background Removal >>
  • the dialogue operating apparatus 100 subtracts the value of the pixel of the perspective image converted from the pixel value of the perspective image of the hand, and converts the background image of the perspective image of the captured image. Remove it.
  • the interactive operation apparatus 100 applies a method of Otsu to a perspective-transformed photographed image that has been subjected to background image removal processing, calculates a threshold value, and performs binary processing.
  • the binarized image is generated by performing the binarization process.
  • This is a method using t as a threshold value.
  • a binarization threshold value can be calculated based on the Otsu method and a binarized image can be obtained using the OpenCV binarization function cvThreshold.
  • Otsu's method in binarization processing is one example.
  • other values may be used as threshold values, and a plurality of binarized images may be generated using a plurality of threshold values.
  • the binarization process may not be performed.
  • the interactive operation device 100 obtains the shortest distance from the white pixel of the binarized image to the black pixel, and is a distance configured by pixels having pixel values associated with the distance. Create an image and hold the maximum pixel value of the distance image.
  • (4-5) ⁇ Outline Pixel Detection Process The interactive operation apparatus 100 scans the black pixel area of the binarized image from the end and extracts the black pixel using the outline extraction algorithm using four connected pixels. Thus, the extracted black pixel is set as a contour pixel.
  • the contour extraction algorithm using four connected pixels is a scan of a binarized image from the end, with the detected untracked black pixel as the starting contour pixel, and the four connected pixels centered on this pixel as an inverse.
  • the black pixel is detected by tracking clockwise and is used as a contour pixel, and the black pixel is detected by 4-connected pixel tracking with this pixel as the next center, and is repeated until the start point is returned.
  • the contour extraction algorithm may use 8-connected pixels. (4-6) ⁇ Hand-Shape Image Extraction Processing >>
  • the dialogue operation apparatus 100 compares the luminance of the pixel of the distance image (the region surrounded by the contour pixel) with the retained maximum luminance value, The area is extracted as a handprint image of the viewer.
  • FIG. 8A illustrates a binarized image 1961.
  • the illustrated binarized image 1961 is an image including a large white pixel region 19611 and a small white pixel region 19612.
  • FIG. 8B illustrates a distance image 1962.
  • the illustrated distance image 1962 is an image including a distance image 19621 corresponding to the large white pixel region 19611 and a distance image 19622 corresponding to the small white pixel region 19612.
  • the distance image 19621 corresponding to the large white pixel region 19611 is an image having the pixel 1038 having the maximum pixel value.
  • FIG. 8C illustrates an outline pixel.
  • the illustrated contour pixel is a pixel that forms a large white pixel region contour 19631 and a small white pixel region contour 19632.
  • the outline 19631 of the white pixel region has a pixel 10381 corresponding to the pixel 1038 having the maximum pixel value.
  • FIG. 8D illustrates the maximum contour portion.
  • the exemplified maximum contour portion is a white pixel region contour portion 19631 corresponding to the distance image 19621 having the maximum pixel value.
  • the interactive operation device 100 performs a fingertip determination process using the viewer's handprint image, and determines the viewer's fingertip from each frame of the captured image. For example, the interactive operation device 100 determines one side that is touched by the hand-captured image from among a plurality of sides (for example, four sides on the top, bottom, left, and right) constituting the outline of the content projection screen, and determines the determined side as the first side.
  • a fingertip that includes a point that is orthogonal to the first axis and that has the maximum coordinate of the second axis with the internal direction of the content projection screen being positive from the first axis.
  • the interactive operation device 100 calculates (determines) the fingertip coordinates of each successive frame (hereinafter referred to as “fingertip coordinates”). (4-9) ⁇ Fingertip Stillness Detection Process >> The interactive operation apparatus 100 calculates the fingertip movement distance (hereinafter referred to as “fingertip movement distance”) by comparing the fingertip coordinates of each successive frame, and determines the fingertip stillness determination. It is checked whether or not the fingertip movement distance during the fingertip stillness determination time is zero by comparing with the operation determination condition that defines the time.
  • fingertip stillness detection information including fingertip coordinates is created. If the fingertip movement distance is zero, a certain amount of error is expected, and if it is within a range of 0 ⁇ predetermined value, the fingertip stillness detection information including the fingertip coordinates may be created.
  • FIG. 10 is a flowchart of the fingertip determination process.
  • the interactive operation device 100 determines whether or not the side (captured image frame) of the content projection screen with which the captured image of the hand is in contact is the base 1031. If the side with which the hand image is in contact is the lower side 1031, the process proceeds to the next step. If the side with which the hand image is in contact is not the base 1031, the process proceeds to step S 120.
  • Step S115 (3) The interactive operation device 100 determines whether or not the side of the content projection screen that is in contact with the captured image of the hand is the left side 1032.
  • step S140 If the side with which the hand image is in contact is the left side 1032, the process proceeds to the next step. If the side with which the hand image is in contact is not the left side 1032, the process proceeds to step S 130.
  • Step S125 The interactive operation device 100 determines whether or not the side of the content projection screen that is in contact with the captured image of the hand is the right side. If the side on which the hand image is in contact is the right side, the process proceeds to the next step. If the side on which the captured image of the hand is in contact is not the right side, the process proceeds to step S140.
  • Step S135) The interactive operation device 100 determines whether or not the side of the content projection screen that is in contact with the captured image of the hand is the upper side. If the side with which the hand image is in contact is the upper side, the process proceeds to the next step. If the side on which the hand image is in contact is not the upper side, the process proceeds to step S160.
  • the lowest part of the hand (the point on the contour of the hand where the y coordinate is the maximum) is determined as the fingertip. That is, when the side in contact with the hand is the first axis, it is orthogonal to the first axis, and the internal direction of the content projection screen from the first axis (in the case of FIG. Yes, in the case of FIG. 4B, the direction of the right arrow) is determined as the fingertip including the point where the coordinate of the second axis having the positive direction is the maximum.
  • the coordinate origin is assumed to be the upper left.
  • FIG. 11 is a detailed configuration diagram of the interactive operation device 100.
  • the CPU 101, the display unit 102, the keyboard unit 103, the camera unit 106, the projector connection unit 107, the network communication unit 108, and the storage unit 109 are connected by BUS199.
  • the CPU 101 is a central processing unit.
  • the display unit 102 is a liquid crystal display device or an organic EL display device.
  • the projector connection means 107 is a projector adapter.
  • the network communication unit 108 is a LAN adapter.
  • the infrared camera unit 106 is an infrared electronic camera.
  • the infrared camera unit 106 images the hand of the viewer 900 irradiated with the infrared light from the infrared light source 500 and generates a captured image of the hand.
  • the storage unit 109 is a semiconductor memory or a magnetic memory.
  • the storage unit 109 includes a display screen holding area 1091, an initial setting information storage area 1092, and a content storage area 1093, and stores the operating system 185 and a dedicated program.
  • the display screen holding area 1091 holds the content projection screen data 198.
  • the initial setting information storage area 1092 stores a captured image perspective transformation relational expression 193 and background image data 195.
  • the content storage area 1093 stores content configuration data 197 and content material data 192 for creating content projection screen data.
  • the content configuration data 197 is data representing the configuration of the entire content (for example, how many pages are formed) and how to use the content material data (for example, which material is disposed at which position on which page). It is.
  • the content material data 192 is photo or text data.
  • the operating system 185 manages and controls the hardware (for example, the display unit 102, the keyboard 103, the projector connection unit 107, the network communication unit 108, the storage unit 109, etc.) of the interactive operation device 100, It is basic software that provides services (such as dedicated programs) that allow these hardware to be used.
  • the operating system 185 has a mouse function library 191 including a mouse left click emulation function and a cursor display emulation function.
  • the operating system 185 receives a mouse left click mouse event (an example of input event information) issued by the mouse left click emulation function, and stores it in the temporary storage area. At this time, the active process reads the held mouse event with reference to the temporary storage area, and processes the process according to the event.
  • initial setting means 110 fingertip detection means 130, fingertip position calculation means 140, fingertip stillness detection means 150, input emulation module (an example of input emulation means) 155, display screen creation means 160, And a projection display unit 170 (including a captured image acquisition unit not shown).
  • input emulation module an example of input emulation means
  • display screen creation means 160 display screen creation means 160
  • projection display unit 170 including a captured image acquisition unit not shown.
  • the initial setting means 110 includes a projection range instruction function that receives an input of a projection range of a photographed image of a projection table generated by an infrared camera photographing the projection table 400, and a perspective of the coordinates of the photographed image and the coordinates of the content projection screen Consists of a coordinate transformation matrix calculation function that calculates a captured image perspective transformation matrix relational expression representing a conversion relationship, and a background image extraction function that extracts an image of the projection range from the captured image of the projection table and uses it as a background image Is done. Details of the initial setting means are described in the section describing the detailed flow of (1) ⁇ Initial setting process >> in FIG.
  • the fingertip detection means 130 is a captured image perspective conversion function that perspectively converts a captured image of the viewer's hand created by the imaging means 106 into a perspective conversion captured image, a background removal function that removes a background image from the perspective conversion captured image, A captured image binarization function for generating a binarized image from a perspective transformation captured image with the background image removed, a distance image creation function for creating a distance image from the binarized image, and a perspective transformation captured image with the background image removed.
  • the contour pixel detection function that detects the contour pixel from the image, the maximum contour extraction function that extracts the handprint image using the distance image and the contour pixel, and the information on the side of the content projection screen that the handprint image touches And a fingertip determination function for determining a fingertip.
  • the fingertip position calculating means 140 calculates the fingertip coordinates.
  • the fingertip stillness detecting means 150 calculates the fingertip movement distance using the fingertip coordinates of each successive frame, and if the fingertip movement distance during a predetermined time is determined to be zero, the fingertip stillness detection including the fingertip coordinates is detected. Create information.
  • the input emulation module 155 generates input event information based on the fingertip stillness detection information and delivers it to the display browsing means. Specifically, the input emulation module 155 has a function of accepting fingertip stillness detection information, calling a mouse left click emulation function, and issuing a mouse event.
  • the display browsing means 160 interprets the content configuration data 196 and creates content projection screen data 198 using the content material data 192. In addition, the display browsing unit 160 receives a mouse event delivered through the operating system 185, and updates the content projection screen data as appropriate. Specifically, the display browsing unit 160 reads out the mouse event held in the temporary storage area by the operating system 185, and appropriately updates the content projection screen data.
  • the input emulation means in claim 1 is realized by the cooperative operation of the input emulation module 155 and the operating system 185).
  • the interactive operation device 100 uses a pixel value histogram of a grayscale image and a pixel value histogram as a temporary threshold value t for a perspective-transformed captured image subjected to background image removal processing.
  • FIG. 12 is a diagram for explaining the dispersion of the pixel value histogram of the grayscale image.
  • FIG. 12A is an example of a captured image in a state where nothing is shown. It shows that the total variance of the pixel value histogram of the captured image in a state where nothing is reflected is small.
  • FIG. 12B is an example of a captured image in which a hand is shown. This shows that the total variance of the pixel value histogram of the photographed image in which the hand is reflected is large.
  • the interactive operation device 100 calculates the fingertip movement direction vector using the fingertip coordinates calculated from successive frames (still images of captured images), and changes the movement direction vector. If the value satisfies a predetermined condition (for example, using the direction vector variation angle ⁇ , the direction vector variation value is defined as cos ⁇ , and the predetermined condition is in a range of ⁇ > 25 °), the coordinates of the fingertip are minute. If it fluctuates, the coordinates of the fingertip of the first frame are held (that is, determined as the coordinates of the fingertip used by the fingertip stillness detecting means 150).
  • a predetermined condition for example, using the direction vector variation angle ⁇ , the direction vector variation value is defined as cos ⁇ , and the predetermined condition is in a range of ⁇ > 25 °
  • FIG. 13 is a diagram for explaining minute fluctuations of the fingertip.
  • the variation value of the direction vector can be expressed as Equation 3.
  • FIG. 13A shows an example of cos ⁇ when the fingertip is moving.
  • the value of Equation 3 when the fingertip is moving is large. In other words, the value of ⁇ is small. For example, when ⁇ is less than 25 °, the fingertip is moving.
  • FIG. 13B is an example of cos ⁇ when the fingertip is stationary.
  • the value of Equation 3 is small when the fingertip is stationary. In other words, the value of ⁇ is large. For example, when ⁇ is 25 ° or more, the fingertip is stationary.
  • a fingertip determination process when the handprint image does not touch the side of the content projection screen will be described.
  • the fingertip determination process is performed as follows.
  • ⁇ Fingertip Determination Process In the fingertip determination process, in the fingertip determination process, when the handprint image does not touch the side of the content projection screen, the side of the side where the held handprint touches with respect to the highest luminance point of the distance image The fingertip is determined without searching for the outline of.
  • the determination method of the fingertip is a point on the contour that is farthest from the highest luminance point 1038 of the distance image.
  • the illustrated hand image shows a state in which the viewer's cuffs are on the left side of the screen and the captured image of the hand is away from the left side. Since the viewer's hand has moved from the left side, the fingertip is determined without searching for the left contour on the basis of the highest luminance point 1038 of the distance image.
  • Fingertip Operation Type Content Providing System 100 Interactive Operation Device 103 Captured Image Display Screen 106 Infrared Camera 107 Projector Connection Unit 110 Initial Setting Unit 130 Fingertip Detection Unit 140 Fingertip Position Calculation Unit 150 Fingertip Stillness Detection Unit 155 Input Emulation Module 160 Display Browsing Means 170 Projection display means 191 Mouse function library 300 Projector, projector 400 Projection table 403 Content projection screen 500 Infrared light source 900 Viewer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　対話操作装置は、コンテンツ構成データを解釈してコンテンツ投影画面データを作成する表示閲覧手段と、赤外カメラから撮影画像を取得する撮影画像取得手段と、前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、前記指先の座標を算出する指先位置算出手段と、連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、を備え、前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する。

Description

指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体
　本発明は、閲覧者が指先で投影された情報を操作するシステム、プログラム、記録媒体に関するものである。本発明は、特に、投影台に投影したコンテンツに対して、閲覧者が指先で指示を与えることによって、指示に基づいたコンテンツを投影台に投影させる場合に有用である。
　近時、普及の著しいプロジェクターは、壁面や表示板（以下、「投影台」という）にコンテンツを大きく投影することができるので、広告媒体やコミュニケーション・ツールとして活用される機会が増えている。コンテンツの閲覧者は、たとえば、美術館で、投影されたコンテンツを対話的に操作することで、より多くの美術情報を得て、充実した美術鑑賞をすることが可能となる。
　ここで、表示されたコンテンツと対話的に操作する方法を説明する。
《 Ａ．カーソル操作 》
マウスやトラックボールに代表されるポインティングデバイスを用いてカーソルを操作して、閲覧者が閲覧するコンテンツを対話的に操作する方法である。あるいは、閲覧者がレーサーポインターを用いて、レーザースポット光を照射するときの動き方によって、コンテンツを対話的に操作する方法である。たとえば、特許文献１では、ポインティングデバイスを用いて、コンピュータディスプレー画面と、机や壁の仮想拡張ディスプレー画面と、の間を、デジタル・オブジェクトをシームレスにドラッグ・アンド・ドロップする技術が開示されている。また、特許文献２では、投影スクリーン上の画面に対して、レーザーポインターの光で指示することによって、画面の切り替えや、線の描画や、画面の部分拡大などのプレゼンテーション画面を操作する技術が開示されている。
《 Ｂ．タッチパネル指示》
閲覧者が、コンテンツを表示したタッチパネルに手を触れると、触れた位置に応じて、コンテンツを対話的に操作する方法である。たとえば、特許文献３では、ディスプレー上の点を指先で押し続ける時間の長さに応じて、領域の広さを変えて、領域選択する技術が開示されている。
特開２００１－１７５３７４号公報（段落番号「０１２５」～段落番号「０１３５」、図４～図７） 特開２００１－１２５７３８号公報（段落「００６５」、段落「００６７」～段落「００６９」、図６） 特開特開２００６－１１３７１５号公報（段落「００１５」～段落「００１６」、図４）
　しかしながら、《 Ａ．カーソル操作》の方法では、閲覧者はマウスなどのポインティングデバイスを使用しなければ、対話操作が行えない。また、《 Ｂ．タッチパネル指示》の方法では、コンテンツを表示する装置に、閲覧者が手を触れたことを検知する装置を備えなければならない。
　本発明は以上のような点を解決するためになされたものであって、本発明の課題は、閲覧者が道具を用いずに、また、投影台に仕掛けを施さずに、投影表示されたコンテンツに対して、指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体を提供することである。
　上記課題を解決するために、本願の第１の発明は、コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続される対話操作装置において、コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段と、前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、前記指先の座標を算出する指先位置算出手段と、連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、を備え、前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、ことを特徴とする。このように、閲覧者の指先の動きと位置を検知して入力イベント情報を生成して、投影閲覧中のコンテンツを加工して表示することが可能である。
　また、本願の第２の発明は、本願の第１の発明において、前記指先検出手段は、前記コンテンツ投影画面の輪郭を構成する複数の辺のうち、手の前記撮影画像が接する一つの前記辺を判定し、前記判定した辺を第一の軸としたときに、当該第一の軸と直交し、かつ第一の軸からコンテンツ投影画面の内部方向を正の向きとする第二の軸の座標が最大となる点を含む部位を指先として判定する、ことを特徴とする。また、本願の第３の発明は、本願の第１の発明において、前記指先検出手段は、前記撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、前記透視変換撮影画像から背景画像を除去する背景除去機能と、前記背景画像を除去した透視変換撮影画像から、二値化画像を生成する撮影画像二値化機能と、前記二値化画像から距離画像を作成する距離画像作成機能と、前記背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、前記距離画像と輪郭部画素とを用いて、前記距離画像の最大輝度を有する画素を内包する輪郭部画素で囲まれた画像を手形画像として抽出する最大輪郭部抽出機能と、前記手形画像が接するコンテンツ投影画面の辺の情報を用いて、前記指先を判定する指先判定機能と、を備えることを特徴とする。

　また、本願の第４の発明は、本願の第１等の発明において、前記指先位置算出手段は、連続する各前記フレームの指先の座標を用いて当該指先の移動方向ベクトルを算出し、当該移動方向ベクトルの変動値が、所定の範囲であれば、最初のフレームの指先の座標を前記指先静止検知手段で用いられる前記指先の座標として決定することを特徴とする。　
　また、本願の第５の発明は、コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続されるコンピューターを、コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段、前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段、前記赤外カメラから前記撮影画像を取得する撮影画像取得手段、前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段、前記指先の座標を算出する指先位置算出手段、連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段、及び、前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段として機能させ、前記前記表示閲覧手段を、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新するように機能させることを特徴とするコンピュータープログラムである。
　また、本願の第６の発明は、コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続されるコンピューターを、コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段、前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段、前記赤外カメラから前記撮影画像を取得する撮影画像取得手段、前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段、前記指先の座標を算出する指先位置算出手段、連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段、及び、前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段として機能させ、前記前記表示閲覧手段を、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新するように機能させることを特徴とするコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体である。
　また、本願の第７の発明は、投影台と、コンテンツ投影画面データに基づく像を前記投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、前記投影機及び前記赤外カメラが接続される対話操作装置と、を備える指先操作型コンテンツ提供システムにおいて、前記対話操作装置は、コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段と、前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、前記指先の座標を算出する指先位置算出手段と、連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、を備え、前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、ことを特徴とする。
本願発明によれば、
（１）投影台に情報操作指示の検知装置を設けずに、投影されたコンテンツに対して、情報操作をすることが可能である。
（２）閲覧者は道具を用いずに、指先で情報操作の指示を与えることが可能である。
従って、本発明によれば、閲覧者は投影されたコンテンツに対して、指先で指示するだけで、手軽に情報操作することができるという効果がある。
図１は、本発明の実施の形態による指先操作型情報提供システム１の概要を説明する図である。（実施例１） 図２は、対話指示に基づくコンテンツ投影画面の例である。 図３は、指先操作型情報提供システム１の操作と処理の大まかな操作手順を説明する図である。 図４は、指先検出の例である。 図５は、（１）初期設定処理の詳細な流れを説明する図である。 図６は、投影範囲を設定する例を説明する図である。 図７は、（３）指先検出処理の詳細な流れを説明する図である。 図８は、二値化画像作成処理の例を説明する図である。 図９は、大津の手法を説明するである。 図１０は、（３－６）指先の決定処理のフローチャートである。 図１１は、情報処理装置１００の詳細な構成図である。 図１２は、影の映り込みを説明する図である。（実施例２） 図１３は、指先の微動を無視する処理を説明する図である。（実施例３） 図１４は、指先の検出を説明する図である。（実施例４）
　以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
　図１は、本発明の実施の形態による指先操作型コンテンツ提供システム１の概要を説明する図である。図１に示すように、指先操作型コンテンツ提供システム１は、投影台４００と、赤外光源５００と、プロジェクター３００（投影機の一例）と、対話操作装置１００と、を備えて構成される。対話操作装置１００は、たとえば、既存のパーソナルコンピューターであり、後述する専用プログラムを搭載したものである。対話操作装置１００には、赤外カメラ１０６と投影機３００が接続される。赤外光源５００は、赤外光を投影台４００に照射するＬＥＤ光源装置である。赤外カメラ１０６は、赤外光による反射像を撮像する電子カメラであり、投影台４０を撮影して撮影画像を生成する。投影機３００は、対話操作装置１００が作成するコンテンツ投影画面データに基づく像を投影台４００に投影するプロジェクターである。
　ここで、赤外光源５００と赤外カメラ１０６とを用いる理由は、赤外光で照射された閲覧者９００の指先は撮像するが、プロジェクター３００が、可視光にて投影台４００に投影した投影画像（言い換えれば、コンテンツ投影画面）は撮像しないようにするためである。
　図２は、コンテンツ投影画面４０３の例である。図２の（ａ）は、コンテンツと解説文を表示したコンテンツ投影画面４０３の例である。例示されたコンテンツ投影画面の意味は、指先で指示したコンテンツの解説文をコンテンツに重畳させて表示しているということである。図２の（ｂ）は、コンテンツの部分拡大画像を含むコンテンツ投影画面４０３の例である。例示されたコンテンツ投影画面の意味は、指先が乗ったコンテンツ部分を拡大した画像を、コンテンツに重畳させて表示しているということである。
　次に、図３を用いて、指先操作型情報提供システム１の大まかな操作と情報処理の手順を説明する。
（１）《初期設定処理》システム管理者は、対話操作装置１００の赤外カメラ１０６が投影台４００を撮影して生成した投影台の撮影画像を用いて、撮影画像を透視変換処理する撮影画像透視変換行列関係式や、撮影画像の背景画像などを設定する初期設定処理を行う。（詳細は後述する）
（２）《コンテンツ投影処理》対話操作装置１００は、閲覧者に閲覧させるコンテンツ投影画面１０３を、投影機３００を用いて投影台４００に、投影する。
（３）《対話操作》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３に対して、指先を用いて、対話操作を行う。
（４）《指先検出処理》対話操作装置１００は、対話操作する閲覧者の指先を赤外カメラ１０６で撮影して、撮影画像から閲覧者の指先の位置や動作を検知する。ここで、閲覧者の指先動作を検知するためには、赤外カメラ１０６から取得される撮影画像の各フレームの指先位置を比較すればよい。すなわち、各フレームの指先位置の変化量を計測して、静止しているのか、移動しているのかを判定すればよい。
（５）《対話操作したコンテンツの投影処理》対話操作装置１００は、検知した指先の動作を指先動作判定条件（たとえば、指先の静止動作時間が０．５秒以上であれば指先静止動作など）で判定して、指先動作判定条件に応じた対話操作を行い、たとえば、選択したコンテンツの解説文表示や、選択したコンテンツの部分拡大画像表示などの閲覧者が所望する操作の結果を、投影機３００を用いて、投影台４００に投影する。ここで、対話操作装置１００は、コンテンツの投影画面４０３の指先に相当する位置にカーソルを重畳してもよい。
（６）《コンテンツ閲覧》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３を閲覧する。
　次に、図４を用いて、閲覧者の指先について説明する。図４の（ａ）は、手の撮影画像表示画面１０３の底辺１０３１から延びた手の指先を説明する例である。表示画面の底辺から延びた手の撮影画像を画面１０３に表示した例が示されている。例示されている撮影画像の意味は、底辺１０３１から延びた手の場合には、手の最上部１０３５を指先として検知していることを示している。
　図４の（ｂ）は、コンテンツの投影画面の左辺１０３２から延びた手の指先を説明する例である。表示画面の左辺から延びた手の撮影画像を画面１０３に表示した例が示されている。例示されている指先の意味は、左辺１０３２から延びた手の場合には、手の最右部１０３６を指先として検知していることを示している。
　次に、図５と図６を用いて、（１）《初期設定処理》の詳細な流れを説明する。図５は、（１）《初期設定処理》の詳細な流れを説明する図である。
（１－１）《投影範囲指示》システム管理者は、対話操作装置１００の赤外カメラ１０６が投影台４００を撮影して生成した投影台の撮影画像を用いて、投影範囲としての四角形の４頂点座標を入力する。たとえば、システム管理者は、投影台の撮影画像を対話操作装置１００の表示部に表示させて、投影範囲の４頂点座標を、たとえば、十字カーソルをキーボードで操作して入力する。
（１－２）《座標変換行列の算出》対話操作装置１００は、システム管理者が入力した投影範囲指示を受け付けて、座標変換行列関係式（たとえば、座標変換行列関係式として、すでに数学的に分かっている下記の数式１）に対して、受け付けた投影範囲指示の４つの頂点座標値［Ｘｐｋ　、Ｙｐｋ　］（ｋ＝１、２，３、４）と、コンテンツ投影画面の４つの標準頂点座標値［Ｘｍｋ、Ｙｍｋ　］（ｋ＝１、２，３、４）（たとえば、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］）とを代入して、１２個の式を作成してこれらを解いて、座標変換行列の８つの行列要素Ｃｉｊ　（ｉ，ｊ＝１、２，３）を算出して、撮影画像透視変換行列関係式（下記の数式２）を導出する。撮影画像透視変換行列関係式は、撮影画像の座標［Ｘｐ　、Ｙｐ　］とコンテンツ投影画面の座標［Ｘｍ、Ｙｍ　］とを透視変換する行列関係式である。
Figure JPOXMLDOC01-appb-M000001
 ここで、ｘｐ　は、撮影画像のＸ座標値である。ｙｐ　は、撮影画像のＹ座標値である。ｈは、カメラ原点と画像平面の距離を変数とする値である。Ｘｍは、コンテンツ投影画面のＸ座標値である。Ｙｍ　は、コンテンツ投影画面のＹ座標値である。Ｃｉｊは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
Figure JPOXMLDOC01-appb-M000002
 ここで、Ｃａ　、Ｃｂ　、・・、Ｃｈ　は、算出した撮影画像透視変換関係式の行列要素である。
　なお、撮影画像透視変換関係式の算出には、opencvの透視変換行列算出関数cvGetPerspectiveTransformを用いて、算出することができる。ここで、opencvとは、インテル（登録商標）が開発・公開したオープンソースのコンピュータビジョン向けライブラリーである。
　ここで、図６を用いて、《投影範囲指示》の作業で用いる表示画面を説明する。図６の（ａ）には、投影範囲の指示画面１０３１が、例示されている。例示された投影範囲の指示画面１０３１には、対話操作装置１００の赤外カメラ１０６で撮影した投影台４００の撮影画像が表示されている。また、この投影範囲の指示画面１０３１には、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが入力された様子が示されている。このとき、投影範囲の４頂点ｐ、ｑ、ｒ、ｓの頂点角度は、必ずしも直角ではない。図６の（ｂ）には、撮影画像の投影範囲を透視変換した画像の表示画面１０３２が、例示されている。例示された透視変換画像の表示画面１０３２は、撮影画像透視変換関係式を用いて、撮影画像の投影範囲を透視変換したものである。ここで、透視変換画像の表示画面１０３３の４頂点Ｐ、Ｑ、Ｒ、Ｓ（＝それぞれの座標が、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］に相当する）は、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが、それぞれ、透視変換された点である。このとき、四角形領域の４頂点Ｐ、Ｑ、Ｒ、Ｓの頂点角度は、直角である。
　図５に戻って、（１）《初期設定処理》の詳細な流れの説明を続ける。
（１－３）《背景画像抽出》対話操作装置１００は、投影台４００の撮影画像から、投影範囲の画像を抽出して、背景画像とする。この背景画像を抽出するとき、投影範囲の画像に対して、導出した撮影画像透視変換行列関係式（数式２）を用いて、コンテンツ投影画面の座標に透視変換する。
　次に、図７から図９までを用いて、（４）《指先検出処理》の詳細な流れを説明する。図７は、（４）《指先検出処理》の詳細な流れを説明する図である。指先検出処理は、撮影画像の各フレームに対して行う。
（４－１）《撮影画像の透視変換処理》対話操作装置１００は、この導出した撮影画像透視変換行列関係式（数式２）を用いて、手の撮影画像をコンテンツ投影画面の座標系の画像に透視変換する。
（４－２）《背景除去》対話操作装置１００は、透視変換した手の撮影画像の画素の値から、透視変換した背景画像の画素の値を減算して、透視変換した撮影画像の背景画像除去処理をする。
（４－３）《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、大津の手法を適用して、閾値を算出して二値化処理して、二値化画像を生成する。
　ここで、図９を用いて、大津の手法を説明する。大津の手法とは、濃淡画像の画素値ヒストグラムに対して、各画素値を仮のしきい値ｔによって、２つの領域に分けて、各領域内の分散 σ２ ａ と、２つの領域間の分散 σ２ ｂ と、を計算し、領域内での分散と領域間の分散比を算出する関数（仮のしきい値ｔの関数）Ｗ（ｔ）＝ σ２ ａ ／ σ２ ｂ が最小となるｔをしきい値とする手法である。大津の手法を用いた画像二値化処理では、大津の手法に基づいて二値化閾値を算出し、OpenCVの二値化関数cvThresholdを用いて二値化画像を得ることができる。
　なお、二値化処理において、大津の手法を用いることは、１つの例である。たとえば、他の値を閾値として用いてもよいし、複数の閾値を用いて、複数の二値化画像を生成するようにしてもよい。また、背景画像除去処理の段階で既に十分に手形が抽出できている場合は、二値化処理をしなくても良い。
　図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４－４）《距離画像作成処理》対話操作装置１００は、二値化画像の白画素から、黒画素への最短距離を求めて、距離に対応付けた画素値を有する画素で構成した距離画像を作成して、距離画像の最大画素値を保持する。
（４－５）《輪郭部画素検出処理》対話操作装置１００は、二値化画像の黒画素領域を端から走査して、４連結画素を用いる輪郭抽出アルゴリズムを用いて、黒画素を抽出して、抽出した黒画素を輪郭部画素とする。ここで、４連結画素を用いる輪郭抽出アルゴリズムとは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を中心にした４連結画素を反時計回りに追跡して黒画素を検出して輪郭部画素として、この画素を次の中心にして、４連結画素追跡により黒画素を検出して、始点に戻るまで繰り返えすものである。輪郭抽出アルゴリズムは、８連結画素を用いてもよい。
（４－６）《手形画像抽出処理》対話操作装置１００は、距離画像（輪郭部画素で囲まれた領域）の画素の輝度を、保持した最大輝度の値と比較して、一致すれば、その領域を閲覧者の手形画像として抽出する。
　ここで、図８を用いて、《指先検出処理》の例を説明する。図８の（ａ）には、二値化画像１９６１が例示されている。例示された二値化画像１９６１は、大きな白画素領域１９６１１と、小さな白画素領域１９６１２を含む画像である。図８の（ｂ）には、距離画像１９６２が例示されている。例示された距離画像１９６２は、大きな白画素領域１９６１１に対応した距離画像１９６２１と、小さな白画素領域１９６１２に対応した距離画像１９６２２とを含む画像である。ここで、大きな白画素領域１９６１１に対応した距離画像１９６２１は、最大画素値を持つ画素１０３８を有する画像である。図８の（ｃ）には、輪郭部画素が例示されている。例示された輪郭部画素は、大きな白画素領域の輪郭部１９６３１と小さな白画素領域の輪郭部１９６３２とを形成する画素である。ここで、白画素領域の輪郭部１９６３１は、最大画素値を持つ画素１０３８に対応した画素１０３８１を有する。図８の（ｄ）には、最大輪郭部が例示されている。例示された最大輪郭部は、最大画素値を持つ距離画像１９６２１に対応した白画素領域の輪郭部１９６３１である。
　図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４－７）《指先判定処理》対話操作装置１００は、閲覧者の手形画像を用いて、指先判定処理をして、撮影画像の各フレームから閲覧者の指先を判定する。たとえば、対話操作装置１００は、コンテンツ投影画面の輪郭を構成する複数の辺（例えば、上下左右の４辺）のうち、手の撮影画像が接する一つの辺を判定し、判定した辺を第一の軸としたときに、当該第一の軸と直交し、かつ第一の軸からコンテンツ投影画面の内部方向を正の向きとする第二の軸の座標が最大となる点を含む部位を指先として判定する。（詳細は後述する）
（４－８）《指先位置算出》対話操作装置１００は、連続する各フレームの指先の座標（以下、「指先座標」という）を算出（決定）する。
（４－９）《指先静止検知処理》対話操作装置１００は、連続する各フレームの指先座標を比較して指先の移動距離（以下、「指先移動距離」という）を算出して、指先静止判定時間を定めた動作判定条件と照合して、指先静止判定時間中の指先移動距離がゼロであるか否かを判定する。指先静止判定時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。なお、指先移動距離がゼロは、ある程度の誤差を見込んで、０±所定値の範囲内であれば、指先座標を含む指先静止検知情報が作成されるように構成しても良い。
　図１０は、指先判定処理のフローチャートである。
（１）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺（撮影画像枠）が、底辺１０３１であるか否かを判定する。手の撮影画像が接する辺が、下辺１０３１であれば、次のステップに進む。手の撮影画像が接する辺が、底辺１０３１でなければ、ステップＳ１２０に進む。（ステップＳ１１０）
（２）対話操作装置１００は、手の最上部１０３５を指先と判定して「手が接する辺＝底辺」を保持して、終了する。（ステップＳ１１５）
（３）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、左辺１０３２であるか否かを判定する。手の撮影画像が接する辺が、左辺１０３２であれば、次のステップに進む。
手の撮影画像が接する辺が、左辺１０３２でなければ、ステップＳ１３０に進む。（ステップＳ１２０）
（４）対話操作装置１００は、手の最右部１０３６を指先と判定して「手が接する辺＝左辺」を保持して、終了する。（ステップＳ１２５）
（５）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、右辺であるか否かを判定する。手の撮影画像が接する辺が、右辺であれば、次のステップに進む。
手の撮影画像が接する辺が、右辺でなければ、ステップＳ１４０に進む。（ステップＳ１３０）
（６）対話操作装置１００は、手の最左部を指先と判定して「手が接する辺＝右辺」を保持して、終了する。（ステップＳ１３５）
（７）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、上辺であるか否かを判定する。手の撮影画像が接する辺が、上辺であれば、次のステップに進む。
手の撮影画像が接する辺が、上辺でなければ、ステップＳ１６０に進む。（ステップＳ１４０）
（６）対話操作装置１００は、手の最下部を指先と判定して「手が接する辺＝上辺」を保持して、終了する。（ステップＳ１４５）
（７）保持した手形が接する辺の値に応じて、指先の位置を以下のとおりに判定する。
・「手が接する辺＝底辺」であれば、手の最上部(手の輪郭上の点でy座標が最小の点)を指先と判定する。
・「手が接する辺＝左辺」であれば、手の最右部(手の輪郭上の点でx座標が最大の点)を指先と判定する、
・「手が接する辺＝右辺」であれば、手の最左部(手の輪郭上の点でx座標が最小の点)を指先と判定する、
・「手が接する辺＝上辺」であれば、手の最下部(手の輪郭上の点でy座標が最大の点)を指先と判定する。つまり、手が接する辺を第一の軸としたときに、当該第一の軸と直交し、かつ第一の軸からコンテンツ投影画面の内部方向（図４（ａ）の場合、上矢印方向であり、図４（ｂ）の場合、右矢印方向である）を正の向きとする第二の軸の座標が最大となる点を含む部位が指先として判定される。
なお、上記説明は座標原点を左上と仮定した場合の例である。
　図１１は、対話操作装置１００の詳細な構成図である。対話操作装置１００は、ＣＰＵ１０１と、表示部１０２と、キーボード１０３と、赤外カメラ部１０６と、投影機接続部１０７（＝投影機接続手段）と、ネットワーク通信部１０８と、記憶部１０９と専用プログラムとを備える。ＣＰＵ１０１と、表示部１０２と、キーボード部１０３と、カメラ部１０６と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９とは、ＢＵＳ１９９で接続される。
　ＣＰＵ１０１は、中央演算装置である。表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。投影機接続手段１０７は、プロジェクターアダプターである。ネットワーク通信部１０８は、ＬＡＮアダプターである。
　赤外カメラ部１０６は、赤外電子カメラである。赤外カメラ部１０６は、赤外光源５００の赤外光が照射された閲覧者９００の手を撮像して、手の撮影画像を生成する。
　記憶部１０９は、半導体メモリーや磁気メモリーである。記憶部１０９は、表示画面保持領域１０９１と、初期設定情報格納領域１０９２と、コンテンツ格納領域１０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。表示画面保持領域１０９１は、コンテンツ投影画面データ１９８を保持する。初期設定情報格納領域１０９２は、撮影画像透視変換関係式１９３と背景画像データ１９５とを格納する。コンテンツ格納領域１０９３は、コンテンツ投影画面データを作成するためのコンテンツ構成データ１９７およびコンテンツ素材データ１９２を格納する。コンテンツ構成データ１９７は、コンテンツ全体の構成（たとえば、何ページから成っているかなど）と、コンテンツ素材データの使い方（たとえば、何ページのどの位置に、どの素材を配置するかなど）を現したデータである。コンテンツ素材データ１９２は、写真やテキストのデータである。
　オペレーティングシステム１８５は、対話操作装置１００のハードウェア（たとえば、表示部１０２と、キーボード１０３と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。オペレーティングシステム１８５は、マウス左クリックエミュレート関数やカーソル表示エミュレート関数を含むマウス関数ライブラリー１９１を有する。オペレーティングシステム１８５は、マウス左クリックエミュレート関数が発行するマウス左クリックのマウスイベント（入力イベント情報の一例）を受け取って、一時記憶領域に保持する。このときにアクティブなプロセスは、一時記憶領域を参照して保持されたマウスイベントを読み出して、そのイベントに応じたプロセスの処理を行う。
　このほかに、初期設定手段１１０と、指先検出手段１３０と、指先位置算出手段１４０と、指先静止検知手段１５０と、入力エミュレーションモジュール（入力エミュレーション手段の一例）１５５と、表示画面作成手段１６０と、投影表示手段１７０と、備える（図示しない撮影画像取得手段も備える）。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
　初期設定手段１１０は、赤外カメラが投影台４００を撮影して生成した投影台の撮影画像の投影範囲の入力を受け付ける投影範囲指示機能と、撮影画像の座標とコンテンツ投影画面の座標との透視変換の関係を表す撮影画像透視変換行列関係式を算出する座標変換行列算出機能と、投影台の撮影画像から、投影範囲の画像を抽出して、背景画像とする背景画像抽出機能と、から構成される。初期設定手段の詳細は、図５における（１）《初期設定処理》の詳細な流れを説明する項で述べた。
　指先検出手段１３０は、撮像手段１０６が作成した閲覧者の手の撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、透視変換撮影画像から背景画像を除去する背景除去機能と、背景画像を除去した透視変換撮影画像から二値化画像を生成する撮影画像二値化機能と、二値化画像から距離画像を作成する距離画像作成機能と、背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、距離画像と輪郭部画素とを用いて、手形画像を抽出する最大輪郭部抽出機能と、手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、を備える。
　指先検出手段１３０の詳細は、図７における（４）《指先検出処理》の詳細な流れを説明する項で述べた。
　指先位置算出手段１４０は、指先の座標を算出する。指先静止検知手段１５０は、連続する各フレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
　入力エミュレーションモジュール１５５は、指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す。詳細には、入力エミュレーションモジュール１５５は、指先静止検知情報を受け付けて、マウス左クリックエミュレート関数を呼び出して、マウスイベントを発行させる機能を備える。
　表示閲覧手段１６０は、コンテンツ構成データ１９６を解釈して、コンテンツ素材データ１９２を用いてコンテンツ投影画面データ１９８を作成する。また、表示閲覧手段１６０は、オペレーティングシステム１８５を通じて引き渡されたマウスイベントを受け付けて、適宜コンテンツ投影画面データを更新する。詳細には、表示閲覧手段１６０は、オペレーティングシステム１８５が一時記憶領域に保持したマウスイベントを読み出して、適宜コンテンツ投影画面データを更新する。（請求項１における入力エミュレーション手段は、入力エミュレーションモジュール１５５とオペレーティングシステム１８５との協調動作により実現される）
　次に、影の誤抽出防止について、説明する。投影台に閲覧者の手が無い状態（つまり、何も映っていない状態）にも関わらず、影の撮影画像を手の撮影画像と誤抽出することがあることが経験的に分かっているので、以下の処理を行う。
《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、濃淡画像の画素値ヒストグラムを、各画素値を仮のしきい値ｔとして、２つの領域に分けて、各領域内の分散（＝クラス内分散）σ２ ａ と、２つの領域間の分散（＝クラス間分散）σ２ ｂ と、を計算し、領域内での分散と領域間の分散の和（＝全分散） を算出する関数（仮のしきい値ｔの関数）ｗ ＝ σ２ ａ + σ２ ｂ が所定の値以上であれば、大津の手法を適用して、二値化画像を生成する。
　図１２は、濃淡画像の画素値ヒストグラムの分散を説明する図である。図１２の（ａ）は、何も映っていない状態の撮影画像の例である。何も映っていない状態の撮影画像の画素値ヒストグラムの全分散は、小さいことを示している。図１２の（ｂ）は、手が映っている状態の撮影画像の例である。手が映っている状態の撮影画像の画素値ヒストグラムの全分散は、大きいことを示している。
　次に、静止した指先の座標が微動変動することに対する対策を説明する。閲覧者が指先を静止させたときに、手の撮影画像から算出する指先の座標は、指先があたかも微動しているかのように、微小に変動することが経験的に分かっているので、以下の処理を行う。
《指先微小変動判定処理》対話操作装置１００は、連続する各フレーム（撮影画像の静止画）から算出する指先の座標を用いて、指先の移動方向ベクトルを算出して、当該移動方向ベクトルの変動値が所定の条件（たとえば、方向ベクトルの変動角度θを用いて、方向ベクトルの変動値をｃｏｓθで定義して、所定の条件がθ＞２５°の範囲）を満たせば、指先の座標が微小変動したとして、最初のフレームの指先の座標を保持する（つまり、指先静止検知手段１５０で用いられる前記指先の座標として決定する）。
　図１３は、指先の微小変動を説明する図である。移動する指先を撮影した画像の連続４フレームの各フレーム間の方向ベクトルν１、ν２、ν３、である場合には、方向ベクトルの変動値は、数式３のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
 図１３の（ａ）は、指先が移動しているときのｃｏｓθの例である。指先が移動しているときの数式３の値は大きい。言い換えるとθの値は小さい。例えば、θが２５°未満である場合には、指先が移動しているときである。図１３の（ｂ）は、指先が静止しているときのｃｏｓθの例である。指先が静止しているときの数式３の値は小さい。言い換えるとθの値は大きい。例えば、θが２５°以上である場合には、指先が静止しているときである。
　次に、手形画像がコンテンツ投影画面の辺に接しない場合の指先判定処理を説明する。閲覧者の袖口が撮影できない場合には、手形画像がコンテンツ投影画面の辺に接しないので、指先判定処理は、以下のとおりに行う。
《指先判定処理》対話操作装置１００は、指先判定処理において、手形画像がコンテンツ投影画面の辺に接しない場合には、距離画像の最高輝度点を基準にして、保持した手形が接する辺の側の輪郭は探索しないで、指先を判定する。指先の判定方法は、距離画像の最高輝度点１０３８から最も離れている輪郭上の点とする。
図１４は、閲覧者の袖口が撮影できない手の撮影画像の例である。例示された手の画像は、画面の左辺に閲覧者の袖口がかかり、手の撮影画像が左辺から離れている状態を示している。閲覧者の手は、左辺から移動してきたので、距離画像の最高輝度点１０３８を基準にして、その左側の輪郭は探索しないで、指先を判定する。
１　指先操作型コンテンツ提供システム
１００　対話操作装置
１０３　撮影画像表示画面
１０６　赤外カメラ
１０７　投影機接続手段
１１０　初期設定手段
１３０　指先検出手段
１４０　指先位置算出手段
１５０　指先静止検知手段
１５５　入力エミュレーションモジュール
１６０　表示閲覧手段
１７０　投影表示手段
１９１　マウス関数ライブラリー
３００　プロジェクター、投影機
４００　投影台
４０３　コンテンツ投影画面
５００　赤外光源
９００　閲覧者

Claims (7)

  1. 　コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続される対話操作装置において、
    　コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段と、
    　前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、
    　前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、
    　前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、
    　前記指先の座標を算出する指先位置算出手段と、
    　連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、
    　前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、
    　を備え、
    　前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、
    　ことを特徴とする対話操作装置。
  2. 　請求項１に記載の対話操作装置において、
    　前記指先検出手段は、前記コンテンツ投影画面の輪郭を構成する複数の辺のうち、手の前記撮影画像が接する一つの前記辺を判定し、前記判定した辺を第一の軸としたときに、当該第一の軸と直交し、かつ第一の軸からコンテンツ投影画面の内部方向を正の向きとする第二の軸の座標が最大となる点を含む部位を指先として判定する、
    　ことを特徴とする対話操作装置。
  3. 　請求項１に記載の対話操作装置において、
    　前記指先検出手段は、
    　前記撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
    　前記透視変換撮影画像から背景画像を除去する背景除去機能と、
    　前記背景画像を除去した透視変換撮影画像から、二値化画像を生成する撮影画像二値化機能と、
    　前記二値化画像から距離画像を作成する距離画像作成機能と、
    　前記背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
    　前記距離画像と輪郭部画素とを用いて、前記距離画像の最大輝度を有する画素を内包する輪郭部画素で囲まれた画像を手形画像として抽出する最大輪郭部抽出機能と、
    　前記手形画像が接するコンテンツ投影画面の辺の情報を用いて、前記指先を判定する指先判定機能と、
    　を備えることを特徴とする対話操作装置。
  4. 　請求項１乃至３の何れか一項に記載の指先操作型対話操作装置において、
    　前記指先位置算出手段は、連続する前記各フレームの指先の座標を用いて当該指先の移動方向ベクトルを算出し、当該移動方向ベクトルの変動値が、所定の範囲であれば、最初のフレームの指先の座標を前記指先静止検知手段で用いられる前記指先の座標として決定することを特徴とする対話操作装置。
  5. 　コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続されるコンピューターを、
    　コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段、
    　前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段、
    　前記赤外カメラから前記撮影画像を取得する撮影画像取得手段、
    　前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段、
    　前記指先の座標を算出する指先位置算出手段、
    　連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段、及び、
    　前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段として機能させ、
    　前記前記表示閲覧手段を、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新するように機能させることを特徴とするコンピュータープログラム。
  6. 　コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続されるコンピューターを、
    　コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段、
    　前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段、
    　前記赤外カメラから前記撮影画像を取得する撮影画像取得手段、
    　前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段、
    　前記指先の座標を算出する指先位置算出手段、
    　連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段、及び、
    　前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段として機能させ、
    　前記前記表示閲覧手段を、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新するように機能させることを特徴とするコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体。
  7. 　投影台と、コンテンツ投影画面データに基づく像を前記投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、前記投影機及び前記赤外カメラが接続される対話操作装置と、を備える指先操作型コンテンツ提供システムにおいて、
    　前記対話操作装置は、
    　コンテンツ構成データを格納するコンテンツ格納領域と、前記コンテンツ投影画面データを保持する表示画面保持領域と、を備える記憶手段と、
    　前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、
    　前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、
    　前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、
    　前記指先の座標を算出する指先位置算出手段と、
    　連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、
    　前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、
    　を備え、
    　前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新する、
    　ことを特徴とする指先操作型コンテンツ提供システム。
PCT/JP2010/061747 2009-07-17 2010-07-12 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体 WO2011007746A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-169589 2009-07-17
JP2009169589A JP5201096B2 (ja) 2009-07-17 2009-07-17 対話操作装置

Publications (1)

Publication Number Publication Date
WO2011007746A1 true WO2011007746A1 (ja) 2011-01-20

Family

ID=43449353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061747 WO2011007746A1 (ja) 2009-07-17 2010-07-12 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体

Country Status (2)

Country Link
JP (1) JP5201096B2 (ja)
WO (1) WO2011007746A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221887A (zh) * 2011-06-23 2011-10-19 康佳集团股份有限公司 互动投影系统及方法
JP2014160413A (ja) * 2013-02-20 2014-09-04 Fuji Xerox Co Ltd データ処理装置、データ処理システム及びプログラム
CN107133615A (zh) * 2016-02-26 2017-09-05 佳能株式会社 信息处理设备和信息处理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
JP2013037420A (ja) * 2011-08-04 2013-02-21 Dainippon Printing Co Ltd コンテンツ表示システム、コンテンツ表示制御方法、コンテンツ表示制御装置、プログラム
JP2013206350A (ja) * 2012-03-29 2013-10-07 Ntt Docomo Inc 情報処理装置及び当該情報処理装置における入力箇所の補正方法
JP2013222317A (ja) * 2012-04-17 2013-10-28 Toshiba Mach Co Ltd 数値制御装置
JP5148004B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
JP6049334B2 (ja) * 2012-07-12 2016-12-21 キヤノン株式会社 検出装置、検出方法及びプログラム
JP6127564B2 (ja) * 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
JP2014186715A (ja) 2013-02-21 2014-10-02 Canon Inc 情報処理装置、情報処理方法
TW201510771A (zh) 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
JP6303514B2 (ja) * 2014-01-14 2018-04-04 新日鐵住金株式会社 作業情報入力システム、情報処理装置、その制御方法およびプログラム
JP6340860B2 (ja) * 2014-01-21 2018-06-13 セイコーエプソン株式会社 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2016091457A (ja) 2014-11-10 2016-05-23 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP2016126160A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP6786792B2 (ja) * 2015-12-03 2020-11-18 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2005063092A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2007133909A (ja) * 2007-02-09 2007-05-31 Hitachi Ltd テーブル型情報端末
JP2007323660A (ja) * 2007-06-25 2007-12-13 Sony Corp 描画装置、及び描画方法
JP2008098968A (ja) * 2006-10-12 2008-04-24 Yokogawa Electric Corp 欠陥検査装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834766B2 (ja) * 2000-04-03 2006-10-18 独立行政法人科学技術振興機構 マンマシーン・インターフェース・システム
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
JP4933389B2 (ja) * 2007-09-14 2012-05-16 株式会社リコー 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2005063092A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2008098968A (ja) * 2006-10-12 2008-04-24 Yokogawa Electric Corp 欠陥検査装置
JP2007133909A (ja) * 2007-02-09 2007-05-31 Hitachi Ltd テーブル型情報端末
JP2007323660A (ja) * 2007-06-25 2007-12-13 Sony Corp 描画装置、及び描画方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221887A (zh) * 2011-06-23 2011-10-19 康佳集团股份有限公司 互动投影系统及方法
JP2014160413A (ja) * 2013-02-20 2014-09-04 Fuji Xerox Co Ltd データ処理装置、データ処理システム及びプログラム
US9619101B2 (en) 2013-02-20 2017-04-11 Fuji Xerox Co., Ltd. Data processing system related to browsing
CN107133615A (zh) * 2016-02-26 2017-09-05 佳能株式会社 信息处理设备和信息处理方法
CN107133615B (zh) * 2016-02-26 2021-08-13 佳能株式会社 信息处理设备和信息处理方法

Also Published As

Publication number Publication date
JP5201096B2 (ja) 2013-06-05
JP2011022945A (ja) 2011-02-03

Similar Documents

Publication Publication Date Title
JP5201096B2 (ja) 対話操作装置
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6007497B2 (ja) 画像投影装置ならびに画像投影制御装置およびプログラム
Steimle et al. Flexpad: highly flexible bending interactions for projected handheld displays
JP6323040B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9807263B2 (en) Mobile document capture assistance using augmented reality
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
JP6248533B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20150058782A1 (en) System and method for creating and interacting with a surface display
US9911230B2 (en) Method and apparatus for controlling virtual monitor
US20130044054A1 (en) Method and apparatus for providing bare-hand interaction
Chu et al. Hand gesture for taking self portrait
JP7378354B2 (ja) ライブ動画ストリームからの指の押下の検出
JP2014029656A (ja) 画像処理装置および画像処理方法
JP2016103137A (ja) ユーザインタフェース装置、画像処理装置及び制御用プログラム
JP6229554B2 (ja) 検出装置および検出方法
Riemann et al. Flowput: Environment-aware interactivity for tangible 3d objects
KR20090116544A (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
JP2005267257A (ja) 手書き情報入力システム
Zhang et al. Transforming a regular screen into a touch screen using a single webcam
JP2012027528A (ja) 表示装置、表示方法及び表示装置を制御するプログラム
Alex et al. LampTop: Touch detection for a projector-camera system based on shape classification
EP3191918B1 (en) Developing contextual information from an image
Niikura et al. Touch detection system for various surfaces using shadow of finger
Ejbali et al. A computer control system using a virtual keyboard

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10799804

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10799804

Country of ref document: EP

Kind code of ref document: A1