WO2023063263A1 - 信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム - Google Patents

信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム Download PDF

Info

Publication number
WO2023063263A1
WO2023063263A1 PCT/JP2022/037667 JP2022037667W WO2023063263A1 WO 2023063263 A1 WO2023063263 A1 WO 2023063263A1 JP 2022037667 W JP2022037667 W JP 2022037667W WO 2023063263 A1 WO2023063263 A1 WO 2023063263A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
coordinates
time
signal processing
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/037667
Other languages
English (en)
French (fr)
Inventor
祐治 桑原
大樹 長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2023554502A priority Critical patent/JPWO2023063263A1/ja
Publication of WO2023063263A1 publication Critical patent/WO2023063263A1/ja
Priority to US18/629,153 priority patent/US20240256053A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to a signal processing method, a signal processing device, a gesture recognition system, and a signal processing program.
  • a gesture recognition system that recognizes gestures using radio signals is known.
  • the user can operate the device to be operated from a remote position without touching the device to be operated.
  • One aspect is to improve the recognition accuracy of gestures.
  • a signal processing method of one aspect has the following configuration. i.e. A signal processing method in a signal processing device that is connected to a radio wave device that transmits a radio wave of a predetermined cycle and receives a reflected wave and that processes a signal of the reflected wave, obtaining position information of a moving object at each time based on the reflected wave signal; a step of specifying, from among the acquired position information at each time, the coordinates of the axis in the transmission direction of the radio waves that satisfy a gesture termination condition; and extracting a continuous group of coordinates ending at the identified coordinates.
  • FIG. 1 is a first diagram showing a usage example of a gesture recognition system.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a mobile terminal;
  • FIG. 3 is a diagram showing a specific example of position information calculated by performing signal processing on received reflected waves.
  • FIG. 4 is a first diagram illustrating an example of a functional configuration of a mobile terminal;
  • FIG. 5 is a flow chart showing the flow of processing by the position information calculation unit.
  • FIG. 6 is a diagram illustrating an example of information used in a position information calculation unit;
  • FIG. 7 is a flow chart showing the flow of processing by the identifying unit.
  • FIG. 8 is a diagram showing an example of information used in an identification unit.
  • FIG. 9 is a flow chart showing the flow of processing by the distance range extraction unit.
  • FIG. 1 is a first diagram showing a usage example of a gesture recognition system.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a mobile terminal;
  • FIG. 10 is a diagram illustrating an example of information used in a distance range extraction unit
  • FIG. 11 is a flow chart showing the flow of processing by the time range extraction unit.
  • FIG. 12 is a diagram illustrating an example of information used in the time range extraction unit;
  • FIG. 13 is a diagram illustrating an example of a recognized gesture based on a group of position information for recognition.
  • FIG. 14 is a second diagram showing a usage example of the gesture recognition system.
  • FIG. 15 is a second diagram illustrating an example of the functional configuration of the mobile terminal;
  • FIG. 16 is a diagram showing an example of two types of radio wave signals.
  • FIG. 1 is a first diagram showing a usage example of a gesture recognition system.
  • the gesture recognition system is implemented by a mobile terminal 100.
  • the gesture recognition system may be implemented by one or more devices other than the mobile terminal 100.
  • the gesture recognition system may be realized by an AI (Artificial Intelligence) speaker with a display.
  • the gesture recognition system may be realized by smart glasses, vehicle-mounted equipment (for example, equipment installed in the center console of the vehicle), or the like.
  • the gesture recognition system may be realized by operating these devices as recognition devices, separately preparing a signal processing device (and radar device), and combining the recognition device and the signal processing device (and radar device). good.
  • the mobile terminal 100 when the gesture recognition system is implemented by the mobile terminal 100, the mobile terminal 100 is placed, for example, on a table, and the user 110 moves in the direction in which the mobile terminal 100 transmits radio signals. Gesture with your hand. That is, in the present embodiment, the moving object for the gesture is the hand.
  • the user 110 makes gestures in the following order. a) Put your hand out into the space in front of the mobile terminal 100 and in the direction in which the mobile terminal 100 transmits radio signals. b) Move the hand along a plane substantially perpendicular to the direction in which the mobile terminal 100 transmits radio signals. c) Withdraw your hand from the space in front of the mobile terminal 100 and positioned in the direction in which the mobile terminal 100 transmits radio signals.
  • the portable terminal 100 recognizes the motion b) as a gesture.
  • the axis in the transmission direction of the radio signal from the mobile terminal 100 is the z-axis
  • the vertical axis of the two axes forming a plane substantially perpendicular to the z-axis direction is the y-axis.
  • the horizontal axis (the axis in the depth direction of the paper surface) of the two axes forming a plane substantially orthogonal to the z-axis direction is the x-axis.
  • the radio signal transmitted by the mobile terminal 100 is assumed to be a signal modulated by the FMCW (Frequency Modulated Continuous Wave Radar) modulation method.
  • FMCW Frequency Modulated Continuous Wave Radar
  • the mobile terminal 100 defines a detection range within a predetermined distance range from the own terminal, and the position of the hand closest to the mobile terminal 100 (for example, the position of the fingertip of the user 110) among the hands of the user 110 is detected. ) and performs signal processing. Thereby, the mobile terminal 100 calculates the position information (x-coordinate, y-coordinate, z-coordinate) of the position of the hand of the user 110 (that is, the position of the moving object).
  • the mobile terminal 100 A reflected wave received before the user 110 makes a gesture, or a reflected wave received after the user 110 makes a gesture (for example, the reflected waves in a) and c) above), -Reflected waves from objects (for example, the body of the user 110, objects around the user 110, etc.) other than objects with movement for gestures (in this embodiment, the hand of the user 110); is deleted by signal processing (that is, after deleting unnecessary reflected signals for recognizing gestures by signal processing), gesture recognition processing is performed.
  • signal processing that is, after deleting unnecessary reflected signals for recognizing gestures by signal processing
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a mobile terminal
  • the mobile terminal 100 has a processor 201, a memory 202, an auxiliary storage device 203, a connection device 204, a user interface device 205, a communication device 206, and a radar device 210.
  • hardware from the processor 201 to the communication device 206 are interconnected via a bus 207, and these hardware operate as a signal processing device and a recognition device.
  • the signal processing device and the recognition device may share hardware as shown in FIG. 2, or may be configured by separate hardware.
  • the signal processing device may be configured as a separate device from the mobile terminal 100 together with the radar device 210 .
  • the processor 201 has various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, a signal processing program, a gesture recognition program, etc., which will be described later) onto the memory 202 and executes them.
  • programs for example, a signal processing program, a gesture recognition program, etc., which will be described later
  • the memory 202 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read onto the memory 202, thereby realizing various functions of the computer.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201 .
  • the connection device 204 is a connection device that connects with the radar device 210 .
  • the user interface device 205 receives various operations on the mobile terminal 100 by the user 110 .
  • the user interface device 205 also outputs the results of various processes performed by the mobile terminal 100 to the user 110 .
  • a communication device 206 is a communication device for communicating with an external device (not shown) via a network.
  • Various programs installed in the auxiliary storage device 203 are installed by being downloaded from a network via the communication device 206, for example.
  • the radar device 210 is an example of a radio wave device, which transmits a radio wave signal modulated by the FMCW modulation method at a predetermined cycle and receives a reflected wave from the position closest to the transmission position.
  • the example of FIG. 2 shows having one transmitter for transmitting radio signals and four receivers for receiving reflected waves.
  • FIG. 3 is a diagram showing a specific example of position information calculated by performing signal processing on received reflected waves.
  • the white circle with reference numeral 310 indicates the positional information of the hand of the user 110 during the gesture in the three-dimensional space at each time.
  • white circles with reference numeral 320 indicate the positional information of the hand of the user 110 within the three-dimensional space at each time including before, during and after the gesture.
  • white circles positioned outside the rectangular area are position information that is unnecessary for recognizing gestures, and is position information that should be deleted by signal processing.
  • FIG. 4 is a first diagram illustrating an example of a functional configuration of a mobile terminal;
  • the mobile terminal 100 is installed with a signal processing program and a gesture recognition program.
  • the mobile terminal 100 functions as a radar control unit 410, a reflected signal acquisition unit 420, a position information calculation unit 430, and a data extraction unit 440 by executing a signal processing program. Note that each of these units is a function realized by the signal processing device.
  • the mobile terminal 100 also functions as a gesture processing unit 450 and a UI control unit 460 by executing a gesture recognition program. Note that each of these units is a function realized by the recognition device.
  • the radar control unit 410 controls the operation of the radar device 210 so that the radar device 210 transmits radio signals at predetermined intervals and receives reflected waves from moving objects for gestures.
  • the reflected signal acquisition unit 420 acquires, at predetermined intervals, a reflected signal generated by the radar device 210 receiving a reflected wave from a moving object for a gesture.
  • the position information calculation unit 430 is an example of an acquisition unit, and based on the reflection signal acquired by the reflection signal acquisition unit 420, position information indicating the position of the moving object for the gesture in the three-dimensional space at each time. Calculate Further, the position information calculation unit 430 acquires the position information of the moving object at each time from the calculated position information at each time.
  • the position information calculation unit 430 acquires position information whose difference from adjacent position information is equal to or greater than a threshold value as position information of a moving object at each time, and notifies the data extraction unit 440 of the position information.
  • the data extraction unit 440 further has an identification unit 441 , a distance range extraction unit 442 and a time range extraction unit 443 .
  • the identifying unit 441 is an example of a specifying unit and an extracting unit. From the position information at each time notified by the position information calculation unit 430, the z-coordinate that satisfies the gesture end condition (the user 110 is located in front of the mobile terminal). Specify the z coordinate) when the hand is pulled out of space. The identification unit 441 also extracts a group of continuous z-coordinates with the identified coordinates as the end point.
  • a group of continuous z-coordinates refers to a collection of continuous z-coordinates in the time range after the user 110 holds out his hand and makes a gesture until he withdraws his hand.
  • the identification unit 441 may extract a plurality of consecutive groups of z-coordinates from the position information of each time notified from the position information calculation unit 430, or may extract only one group.
  • the distance range extraction unit 442 extracts the minimum z-coordinate from the group of continuous z-coordinates extracted by the identification unit 441 . Further, the distance range extraction unit 442 deletes z coordinates whose difference from the minimum z coordinate exceeds a predetermined distance range from the group of continuous z coordinates extracted by the identification unit 441, and The group of z-coordinates to be determined is notified to the time range extraction unit 443 .
  • the time range extraction unit 443 extracts coordinates included in a predetermined time range from the group of continuous z-coordinates after deletion notified by the distance range extraction unit 442 . Specifically, the time range extracting unit 443 extracts the z-coordinates corresponding to p% of the early time in the first half and the z-coordinates corresponding to q% of the late time in the latter half of the group of consecutive z-coordinates after deletion. Extract the z-coordinates excluding and (arbitrary values are set to p and q).
  • the user 110 holds out his hand and then makes a gesture. For this reason, in a group of consecutive z-coordinates after deletion, an action of holding out a hand appears early in the first half. Also, the user 110 withdraws the hand after performing the gesture. For this reason, in a group of consecutive z-coordinates after deletion, an action of pulling out the hand appears at a late time in the latter half.
  • the time range extracting unit 443 pays attention to such an event, and treats the z-coordinates of the early time in the first half and the late time in the latter half included in the group of continuous z-coordinates after deletion as noise.
  • the time range extraction unit 443 outputs the position information (x coordinate, y coordinate, z coordinate) corresponding to the z coordinate extracted from the group of continuous z coordinates after deletion as a group of position information for recognition. .
  • the gesture processing unit 450 further has a recognition unit 451 and a processing unit 452 .
  • the recognition unit 451 recognizes gestures based on a group of position information for recognition output from the time range extraction unit 443 . Also, the recognition unit 451 notifies the processing unit 452 of the recognition result.
  • the processing unit 452 executes processing according to the recognition result notified by the recognition unit 451 . For example, when a predetermined character is notified as a recognition result, the processing unit 452 notifies the UI control unit 460 of the character so that the notified character is displayed on the user interface device 205 . Alternatively, when a predetermined operation instruction is notified as a recognition result, the processing unit 452 performs UI control so that the user interface device 205 performs an operation (for example, audio output) according to the notified operation instruction. The operation instruction is notified to the unit 460 .
  • the UI control unit 460 controls the user interface device 205 according to the notification from the processing unit 452.
  • FIG. 5 is a flow chart showing the flow of processing by the position information calculation unit.
  • FIG. 6 is a diagram illustrating an example of information used in a position information calculation unit;
  • step S501 the position information calculation unit 430 calculates position information indicating the position of the hand of the user 110 in the three-dimensional space at each time based on the reflected signal.
  • the position information 600 includes "time” and "coordinate data” as information items.
  • Time stores the time from when the radar device 210 started transmitting radio signals at a predetermined cycle.
  • the "coordinate data" includes the x-coordinate, y-coordinate, and z-coordinate indicating the position of the hand of the user 110 in the three-dimensional space at each time, calculated based on the signal of the reflected wave received by the radar device 210. Stored.
  • step S502 the position information calculation unit 430 calculates the difference between adjacent position information, and generates determination information for determining the presence or absence of hand movement of the user 110 at each time.
  • the determination information 610 includes "time”, "adjacent difference data", and "movement" as information items.
  • the “adjacent difference data” stores the calculation result of calculating the difference between adjacent position information.
  • the calculation result stored in the "adjacent difference data” is equal to or greater than the threshold value, it is determined that there is movement in “movement”, and for example, "o” is stored.
  • the calculation result stored in the "adjacent difference data" is less than the threshold, it is determined that there is no motion, and for example, "-" is stored.
  • step S503 the position information calculation unit 430 acquires position information at the time when it is determined that there is movement.
  • positional information 620 at each time of the hand of user 110 determined to be moving includes "time” and "coordinate data” as information items.
  • Time stores the time at which the position information calculation unit 430 determined that there was movement, out of the time from when the radar device 210 started transmitting radio signals.
  • the “coordinate data” stores position information at the time when the position information calculation unit 430 determines that there is movement.
  • FIG. 7 is a flow chart showing the flow of processing by the identification unit, and is a flow chart showing the flow of processing for extracting a group of continuous coordinates.
  • FIG. 8 is a diagram showing an example of information used in an identification unit.
  • step S701 the identification unit 441 acquires the position information 620 of the hand of the user 110 determined to be moving by the position information calculation unit 430 at each time, and extracts the z coordinate (depth data). As shown in FIG. 8, the depth data 710 includes "time" and "z coordinate" as information items.
  • Time stores the time at which the position information calculation unit 430 determined that there was movement, out of the time from when the radar device 210 started transmitting radio signals.
  • z-coordinate stores the z-coordinate of the position information at the time when the position information calculation unit 430 determines that there is movement.
  • step S702 the identification unit 441 inputs "2" to the counter i and "0" to the counter j.
  • step S ⁇ b>703 the identification unit 441 determines the i-th z-coordinate among the z-coordinates included in the depth data 710 as an end point candidate.
  • reference numeral 810 indicates that the second z-coordinate (“z 4 ”) among the z-coordinates included in the depth data 710 is used as an end point candidate.
  • step S704 the identifying unit 441 calculates a first depth difference, which is the difference between the end point candidate and the z-coordinate j-th before the end point candidate.
  • reference numeral 810 denotes the difference between the second z-coordinate (“z 4 ”), which is the end point candidate, and the z-coordinate 0 before the second z-coordinate (“z 4 ”), which is the end point candidate. is calculated as the first depth difference .
  • step S705 the identifying unit 441 determines whether or not the number of times the first depth difference is equal to or greater than the threshold exceeds a certain number of times. If it is determined in step S705 that the predetermined number of times has not been exceeded (NO in step S705), the process proceeds to step S706. In step S706, the identification unit 441 increments the counter j.
  • step S705 since the first depth difference 0th before is less than the threshold, the process proceeds from step S705 to step S706, and the counter j becomes "1".
  • step S707 the identifying unit 441 determines whether or not there is a z-coordinate j ahead of the end point candidate. If it is determined in step S707 that there is a z-coordinate j ahead of the end point candidate (if YES in step S707), the process returns to step S704.
  • step S704 the second z-coordinate (“z 4 ”) that is the end point candidate and the second z-coordinate (“z 4 ”) that is the end point candidate “z 4 ⁇ z 3 ”, which is the difference from the z coordinate of , is calculated as the first depth difference.
  • the first depth difference is also less than the threshold when the counter j is "1" (NO in step S705), and the counter j becomes "2" (step S706).
  • step S707 if it is determined in step S707 that there is no z-coordinate j ahead of the end point candidate (NO in step S707), the process proceeds to step S708.
  • step S708 the identification unit 441 increments the counter i.
  • the identification unit 441 resets the counter j to "0".
  • step S707 the counter i is "2", and it is determined that there is no z-coordinate two positions before the second z-coordinate ("z 4 "), which is the end point candidate. , in step S708, the counter i becomes "3" and the counter j is reset to "0".
  • step S709 the identification unit 441 determines whether or not there is an i-th z-coordinate (continuous z-coordinate). If it is determined in step S709 that there is the i-th z-coordinate (if YES in step S709), the process returns to step S703.
  • the identification unit 441 repeats the processing from step S703 to step S709 as described above while sequentially incrementing the value of the counter i. While repeating this process, if it is determined in step S705 that the number of times the first depth difference is greater than or equal to the threshold exceeds a certain number of times (if YES in step S705), the gesture of the user 110 ends. It determines that it has done so, and proceeds to step S710.
  • step S709 determines whether there is no i-th z-coordinate (NO in step S709). If it is determined in step S709 that there is no i-th z-coordinate (NO in step S709), the process proceeds to step S712.
  • reference numeral 820 indicates a case where the counter i is "13" (that is, a case where the 13th z-coordinate ("z 15 ”) is an end point candidate) and the first depth difference is equal to or greater than the threshold. This shows a case where it is determined that the number of times exceeds a certain number of times.
  • step S ⁇ b>710 the identifying unit 441 identifies the end point candidate when it is determined that the number of times the first depth difference is equal to or greater than the threshold exceeds a certain number of times as the end point.
  • reference numeral 820 indicates that the 13th z-coordinate (“z 15 ”) is identified as the end point.
  • step S711 the identification unit 441 extracts a group of continuous z-coordinates. Specifically, the identifying unit 441 extracts a group of continuous z-coordinates with the z-coordinate specified in step S710 as the end point.
  • a group of consecutive extracted z-coordinates 830 includes “time”, “data number n”, “depth data”, and “first depth difference” as information items.
  • the "time” is the time at which the position information calculation unit 430 determines that there is movement, and the end point specified by the identification unit 441, out of the time from when the radar device 210 starts transmitting the radio wave signal. Each time up to is stored.
  • Data number n stores the numbers assigned to the z-coordinates extracted in step S711 in chronological order.
  • Depth data stores the specific numerical value of the z-coordinate extracted in step S711.
  • First depth difference stores a specific numerical value of the difference between the z-coordinate of the end point specified in step S710 and the z-coordinate extracted in step S711.
  • step S709 if it is determined in step S709 that there is no i-th z-coordinate, it is determined that there is no next z-coordinate even though the end point has not been specified. It is determined that the gesture of 110 has not ended. In this case, the identification unit 441 proceeds to step S712 without extracting a group of continuous z-coordinates.
  • step S712 the identification unit 441 extracts a group of continuous coordinates for all position information of the hand of the user 110 determined to be moving, notified by the position information calculation unit 430, at each time. Determine whether the process has been completed.
  • step S712 If it is determined in step S712 that there is position information for which the processing for extracting a group of continuous coordinates has not been completed (NO in step S712), the process returns to step S701. On the other hand, if it is determined in step S712 that the processing for extracting a group of continuous coordinates has been completed for all the position information at each time of the hand of the user 110 determined to be moving (step S712 ), the process ends.
  • step S712 it is determined that there is position information for which the process for extracting a group of continuous coordinates has not been completed, and the identification unit 441 returns to step S701.
  • FIG. 9 is a flowchart showing the flow of processing by the distance range extraction unit, and is a flowchart showing the flow of processing for deleting z-coordinates exceeding the distance range.
  • FIG. 10 is a diagram illustrating an example of information used in a distance range extraction unit;
  • step S901 the distance range extraction unit 442 acquires a group of continuous z-coordinates 830 from the identification unit 441.
  • a continuous group of z-coordinates 830 indicates a continuous group of z-coordinates acquired from the identifying unit 441 .
  • step S902 the distance range extraction unit 442 extracts the minimum z-coordinate (depth data) from the group of continuous z-coordinates 830 obtained.
  • the bold-boxed z-coordinate indicates the minimum z-coordinate.
  • step S903 the distance range extraction unit 442 substitutes "1" for the counter k.
  • step S904 the distance range extraction unit 442 calculates a difference (referred to as a second depth difference) between the extracted minimum z-coordinate and the k-th z-coordinate included in the continuous group of z-coordinates 830. .
  • a group of continuous z-coordinates 1010 shows how the second depth difference is calculated.
  • a continuous group of z-coordinates 1010 includes "data number n”, "depth data”, and "second depth difference" as information items.
  • the "data number n” and “depth data” are the same as the “data number n” and “depth data” of the continuous group of z-coordinates 830, so their description is omitted here.
  • step S905 the distance range extraction unit 442 determines whether the second depth difference exceeds a predetermined threshold. If it is determined in step S905 that the second depth difference has exceeded the predetermined threshold (YES in step S905), the process proceeds to step S906.
  • step S906 the distance range extraction unit 442 deletes the k-th z-coordinate (depth data), and proceeds to step S907.
  • step S905 determines whether the second depth difference exceed the predetermined threshold (NO in step S905). If it is determined in step S905 that the second depth difference does not exceed the predetermined threshold (NO in step S905), the process proceeds directly to step S907.
  • step S907 the distance range extraction unit 442 determines whether or not the processing from steps S904 to S906 has been completed for all depth data included in the group of continuous z-coordinates 1010.
  • step S907 If it is determined in step S907 that the process has not been completed (NO in step S907), the process proceeds to step S908.
  • step S908 the distance range extraction unit 442 increments the counter k and returns to step S904.
  • step S904 repeats the processing from step S904 to step S908 until the processing for all depth data included in the group of continuous z coordinates 1010 is completed. While repeating this process, if it is determined in step S907 that the process has been completed (if YES in step S907), the process proceeds to step S909.
  • the threshold value is "15". Depth data is deleted.
  • step S909 the distance range extraction unit 442 outputs a group of consecutive z-coordinates 1020 after deletion.
  • a group of continuous z coordinates 1020 after deletion shows how z coordinates (depth data) whose second depth difference exceeds the threshold “15” are deleted from a group of continuous z coordinates 1010 .
  • a continuous group of z-coordinates 1020 includes "data number n", "depth data”, and "second depth difference" as information items.
  • step S910 the distance range extraction unit 442 determines whether there is another continuous group of z-coordinates. If it is determined in step S910 that there is another group of continuous z-coordinates (YES in step S910), the process returns to step S901. After that, the distance range extraction unit 442 executes the processing from step S901 to step S909 for another group of continuous z-coordinates.
  • step S909 if it is determined in step S909 that there is no other continuous group of z-coordinates (NO in step S910), the process of deleting z-coordinates exceeding the distance range is terminated.
  • FIG. 11 is a flow chart showing the flow of processing by the time range extraction unit, and is a flow chart showing the flow of processing for extracting z-coordinates included in the time range.
  • FIG. 12 is a diagram illustrating an example of information used in the time range extraction unit;
  • step S ⁇ b>1101 the time range extraction unit 443 acquires a group of continuous z-coordinates 1020 after deletion from the distance range extraction unit 442 .
  • a group of continuous z-coordinates after deletion 1020 indicates a group of continuous z-coordinates after deletion acquired from the distance range extraction unit 442 .
  • step S ⁇ b>1102 the time range extraction unit 443 extracts the z-coordinates of each time (each data number) included in the group of continuous z-coordinates 1020 after deletion acquired from the distance range extraction unit 442 . Delete p % of z-coordinates.
  • step S ⁇ b>1103 the time range extraction unit 443 extracts the latter half of the z coordinates of each time (each data number) included in the group of continuous z coordinates 1020 after deletion acquired from the distance range extraction unit 442 . Delete q% of z-coordinates.
  • step S1104 the time range extraction unit 443 outputs the position information corresponding to the z-coordinates included in the time range (20% to 80% range) as a group of position information 1230 for recognition.
  • a group of position information 1230 for recognition includes "time” and "coordinate data” as information items.
  • Time stores the time corresponding to "data number n" of the z-coordinate 1220 included in the time range.
  • Coordinat data stores coordinate data corresponding to "time”.
  • step S1105 the time range extraction unit 443 determines whether there is another group of continuous z-coordinates after deletion. If it is determined in step S1105 that there is another group of consecutive z-coordinates after deletion (YES in step S1105), the process returns to step S1101. After that, the time range extraction unit 443 executes the processing from step S1101 to step S1104 for another group of continuous z-coordinates after deletion.
  • step S1105 determines that there is no other group of continuous z-coordinates after deletion (NO in step S1105). If it is determined in step S1105 that there is no other group of continuous z-coordinates after deletion (NO in step S1105), the process of extracting z-coordinates included in the time range ends. .
  • FIG. 13 is a diagram illustrating an example of a recognized gesture based on a group of position information for recognition.
  • the time range extraction unit 443 has deleted the z coordinates of the time range of 20% of the first and second half. On the other hand, if the time range extraction unit 443 did not delete the time range of 20% of the first and second halves, regions 1311 and 1312 would be included as indicated by reference numeral 1310 . On the other hand, the time range extraction unit 443 deletes the time range of 20% of the first and second halves.
  • the recognition unit 451 can recognize the gesture based on the code 1320, and can recognize the alphabet "z" more correctly.
  • the signal processing device included in the mobile terminal 100 is - It is connected to a radar device 210 that transmits a radio wave signal of a predetermined cycle and receives a reflected wave, and processes the signal of the reflected wave.
  • a position information calculation unit 430 that acquires position information for each time of the hand of the user 110 determined to be moving based on the signal of the reflected wave.
  • the mobile terminal 100 can improve the accuracy of gesture recognition by adopting a configuration in which the signal processing device deletes reflected signals that are unnecessary for recognizing gestures by signal processing.
  • the detection range is within a predetermined distance from the mobile terminal 100 .
  • the position of the torso of the user 110 is detected, and the detection range is calculated based on the detected position of the torso. This makes it possible to avoid erroneous inclusion of the position information of the torso portion in the group of position information for recognition, thereby further improving the gesture recognition accuracy.
  • the second embodiment will be described below, focusing on differences from the first embodiment.
  • FIG. 14 is a second diagram showing a usage example of the gesture recognition system.
  • the portable terminal 100 detects not only the hand (first object) of the user 110 but also the body portion (second object) of the user 110.
  • the portable terminal 100 detects not only the hand (first object) of the user 110 but also the body portion (second object) of the user 110.
  • the user 110 makes a gesture with their hands, they generally extend their arms to a position a certain distance away from their body.
  • the distance from the detected body position of the user 110 to the mobile terminal 100 (radar device 210) by a predetermined distance in the direction of the mobile terminal 100 (radar device 210) is detected. This is the point of the range.
  • the radar device 210 of the mobile terminal 100 transmits a radio signal for detecting the position of the torso of the user 110 in addition to the radio signal for calculating the position information of the hands of the user 110. do.
  • the torso portion of the user 110 can be detected in addition to the hands of the user 110 .
  • FIG. 15 is a second diagram illustrating an example of the functional configuration of the mobile terminal; The difference from the functional configuration of the mobile terminal 100 in the first embodiment described with reference to FIG. It is a point to have.
  • the radar control unit 1510 controls the operation of the radar device 210 so that the radar device 210 transmits radio signals at predetermined intervals and receives reflected waves from the body of the user 110 .
  • the radio signal (second radio wave) is transmitted at a longer period (for example, twice the transmission period) than the period when the radar control unit 410 controls the radar device 210 to transmit the radio signal (first radio wave).
  • the radar device 210 is controlled so as to do so.
  • the radar control unit 410 controls the radar device 210 to transmit radio signals in an occupied bandwidth narrower than the occupied bandwidth of the radio signals transmitted.
  • the reflected signal acquisition unit 1520 acquires, at a predetermined cycle, a reflected signal generated by the radar device 210 receiving a reflected wave from the body of the user 110 .
  • the reflected signal acquisition unit 1520 • Acquire the reflected signal from a receiver different from the receiver from which the reflected signal acquisition unit 420 acquires the reflected signal. Acquire the reflected signal at a cycle longer than the cycle at which the reflected signal acquisition unit 420 acquires the reflected signal (for example, twice the transmission cycle).
  • the position information calculation unit 1530 calculates position information indicating the position of the torso of the user 110 in the three-dimensional space at each time based on the reflected signal acquired by the reflected signal acquisition unit 1520 . In addition, position information calculation section 1530 notifies data extraction section 440 of the calculated position information at predetermined intervals.
  • the data extraction unit 440 distinguishes between the position information of the hand of the user 110 at each time and the position information of the torso of the user 110 at each time. can be obtained.
  • the data extraction unit 440 can set a detection range by setting a range to be excluded from detection with reference to the position of the body of the user 110 based on the position information of the body of the user 110 at each time. can. Thereby, the position information calculation unit 430 can specify the position information to be deleted as non-detection targets when acquiring the position information of the hand of the user 110 at each time.
  • FIG. 16 is a diagram showing an example of two types of radio wave signals.
  • Chirp1 represents a radio signal transmitted from the radar device 210 as the radar control unit 410 controls the radar device 210 .
  • Chirp2 represents a radio signal transmitted from the radar device 210 as the radar control unit 1510 controls the radar device 210 .
  • Chirp1 is controlled to widen the occupied bandwidth of the transmitted radio signal in order to detect the movement of the hand of the user 110 with higher distance resolution.
  • Chirp2 is controlled so that the occupied bandwidth of the transmitted radio signal is narrowed in order to detect the torso of user 110 at a position farther than the position of the hands of user 110 .
  • Chirp1 is controlled so that the transmission cycle of the radio signal is shortened in order to detect the movement of the hand of the user 110, which moves faster than the torso of the user 110, with higher time resolution.
  • Chirp2 is controlled so that the transmission cycle of the radio signal becomes longer in order to detect the movement of the torso of the user 110, which moves slower than the hands of the user 110, with low time resolution.
  • the signal processing device included in the mobile terminal 100 is A radio signal for detecting a moving object (first object) for a gesture, and an object other than the moving object for the gesture, which is at a greater distance than the moving object for the gesture. and a radio signal for detecting a distant object (second object).
  • the radio signal for detecting the moving object for the gesture (first object) is an object other than the moving object for the gesture, and the distance is greater than the moving object for the gesture. It is transmitted at a period shorter than that of the radio signal for detecting an object (second object) at a distant position.
  • the radio signal for detecting the moving object for the gesture is an object other than the moving object for the gesture, and the distance is greater than the moving object for the gesture. It is transmitted with a wider occupied bandwidth than the radio signal for detecting a distant object (second object).
  • a receiver that receives a reflected wave from a moving object (first object) for the gesture, and an object other than the moving object for the gesture, which is more than the moving object for the gesture It is connected to a receiver that receives a reflected wave from an object (second object) at a distant position.
  • an object other than the moving object (the first object) for the gesture which is located farther from the moving object for the gesture (the first object). 2 objects), and the detection range of the first object is from a position a predetermined distance away from the second object in the direction of the radar device to the radar device.
  • the distance range extraction unit 442 determines whether the second depth difference exceeds the threshold value, and deletes the depth data when it determines that the second depth difference value has exceeded the threshold value. At that time, it was assumed that the threshold used for determination was fixed. However, the threshold used by the distance range extraction unit 442 when determining whether the second depth difference has exceeded may be dynamically changed according to the minimum z-coordinate, for example.
  • the z-coordinate of the moving object for the gesture changes the detection accuracy of the moving object for the gesture, and if the threshold is small, there is a possibility that necessary depth data will be deleted.
  • the distance range extraction unit 442 may, for example, increase the threshold when the minimum z-coordinate value is large, and decrease the threshold when the minimum z-coordinate value is small.
  • the time range extracting unit 443 is described as having a fixed deletion ratio (p%, q%). may be changed according to the complexity of the trajectory of an object.
  • the complexity of the trajectory of a moving object for a gesture is, for example, based on the position information (x coordinate, y coordinate) at each time, the motion at each time in a plane substantially orthogonal to the z-axis direction It can be obtained by summing the absolute values of the vectors (the amount of motion of the moving object for the gesture).
  • the time range extracting unit 443 determines the deletion ratio (p%, q%) as Decrease (i.e. widen the time range to extract). Further, when the trajectory of the moving object for the gesture is simple (when the sum of the amount of motion of the object is small), the time range extracting unit 443 sets the deletion ratio (p%, q%) to Increase (that is, narrow the time range to extract).
  • two types of radio signals are transmitted in order to detect the positions of the hands of the user 110 and the position of the trunk of the user 110, respectively.
  • the configuration for detecting the positions of the hands of the user 110 and the position of the torso of the user 110 is not limited to this.
  • a configuration is provided in which the difference is calculated as a result of weighted summation of coordinate data for the past m times using a parameter,
  • the hand position of the user 110 i.e., the position of fast-moving objects
  • the position of the torso portion of the user 110 i.e., the position of an object that moves slowly
  • the near past weighting parameter is decreased and the far past weighting parameter is increased
  • the positions of the hands of the user 110 and the positions of the torso of the user 110 may be detected.
  • the moving object for gestures is the user's 110 hand, but the moving object for gestures is not limited to the user's 110 hand. It may be a part of the user 110 other than the hand, or an object held by the user 110 (for example, a baton or the like).

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ジェスチャの認識精度を向上させる。信号処理方法は、所定周期の電波を送信し、反射波を受信する電波装置と接続され、前記反射波の信号を処理する信号処理装置における信号処理方法であって、前記反射波の信号に基づいて、動きのある物体の各時間の位置情報を取得する工程と、取得された各時間の位置情報の中から、前記電波の送信方向の軸の座標であって、ジェスチャの終了条件を満たす座標を特定する工程と、特定された座標を終点とした、連続する一群の座標を抽出する工程とを実行する。

Description

信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム
　本開示は、信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラムに関する。
　電波信号を利用してジェスチャを認識するジェスチャ認識システムが知られている。当該ジェスチャ認識システムによれば、例えば、ユーザは、操作対象の装置に触れることなく、離れた位置から操作対象の装置を操作することができる。
国際公開第２０１９／２０２６７０号
　しかしながら、上記ジェスチャ認識システムの場合、ジェスチャの認識に関わる動作以外の動作が反射波として検出されると（つまり、ジェスチャを認識するうえで不要となる反射信号が含まれていると）、ジェスチャの認識精度が低下する。
　一つの側面では、ジェスチャの認識精度を向上させることを目的としている。
　一態様の信号処理方法は、以下のような構成を有する。すなわち、
　所定周期の電波を送信し、反射波を受信する電波装置と接続され、前記反射波の信号を処理する信号処理装置における信号処理方法であって、
　前記反射波の信号に基づいて、動きのある物体の各時間の位置情報を取得する工程と、
　取得された各時間の位置情報の中から、前記電波の送信方向の軸の座標であって、ジェスチャの終了条件を満たす座標を特定する工程と、
　特定された座標を終点とした、連続する一群の座標を抽出する工程とを有する。
　ジェスチャの認識精度を向上させることができる。
図１は、ジェスチャ認識システムの利用例を示す第１の図である。 図２は、携帯端末のハードウェア構成の一例を示す図である。 図３は、受信した反射波を信号処理することで算出される位置情報の具体例を示す図である。 図４は、携帯端末の機能構成の一例を示す第１の図である。 図５は、位置情報算出部による処理の流れを示すフローチャートである。 図６は、位置情報算出部において用いられる情報の一例を示す図である。 図７は、識別部による処理の流れを示すフローチャートである。 図８は、識別部において用いられる情報の一例を示す図である。 図９は、距離範囲抽出部による処理の流れを示すフローチャートである。 図１０は、距離範囲抽出部において用いられる情報の一例を示す図である。 図１１は、時間範囲抽出部による処理の流れを示すフローチャートである。 図１２は、時間範囲抽出部において用いられる情報の一例を示す図である。 図１３は、認識用の一群の位置情報に基づいて認識されたジェスチャの一例を示す図である。 図１４は、ジェスチャ認識システムの利用例を示す第２の図である。 図１５は、携帯端末の機能構成の一例を示す第２の図である。 図１６は、２種類の電波信号の一例を示す図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜ジェスチャ認識システムの利用例＞
　はじめに、ジェスチャ認識システムの利用例について説明する。図１は、ジェスチャ認識システムの利用例を示す第１の図である。図１に示すように、本実施形態では、ジェスチャ認識システムが、携帯端末１００により実現される場合について説明するが、ジェスチャ認識システムは、携帯端末１００以外の１または複数の装置により実現されてもよい。例えば、ジェスチャ認識システムは、ディスプレイ付きのＡＩ（Artificial Intelligence）スピーカにより実現されてもよい。あるいは、ジェスチャ認識システムは、スマートグラス、車載器（例えば、車両のセンタコンソールに設置された機器）等により実現されてもよい。あるいは、ジェスチャ認識システムは、これらの機器を認識装置として動作させるとともに、別途信号処理装置（及びレーダ装置）を用意し、認識装置と信号処理装置（及びレーダ装置）との組み合わせにより実現されてもよい。
　図１に示すように、携帯端末１００によりジェスチャ認識システムが実現される場合、携帯端末１００は、例えば、テーブル上に載置され、ユーザ１１０は、携帯端末１００が電波信号を送信する方向において、手でジェスチャを行う。つまり、本実施形態においては、ジェスチャのための動きのある物体＝手となる。
　具体的には、ユーザ１１０は、以下の順序でジェスチャを行う。
ａ）携帯端末１００の前方の空間であって、携帯端末１００が電波信号を送信する方向に位置する空間に手を差し出す。
ｂ）携帯端末１００が電波信号を送信する方向と略直交する面に沿って手を動かす。
ｃ）携帯端末１００の前方の空間であって、携帯端末１００が電波信号を送信する方向に位置する空間から手を引き抜く。
　上記ａ）～ｃ）の動きをユーザ１１０が行うことで、携帯端末１００では、ｂ）の動きをジェスチャとして認識する。
　なお、図１に示すように、本実施形態では、携帯端末１００による電波信号の送信方向の軸をｚ軸、ｚ軸方向に略直交する面を形成する２軸のうち垂直方向の軸をｙ軸とする。また、図１においては図示していないが、ｚ軸方向に略直交する面を形成する２軸のうち水平方向の軸（紙面の奥行方向の軸）をｘ軸とする。
　また、本実施形態において、携帯端末１００が送信する電波信号は、ＦＭＣＷ（Frequency Modulated Continuous Wave Rader）変調方式により変調された信号であるとする。
　また、本実施形態において、携帯端末１００では、自端末から所定の距離範囲内を検出範囲とし、ユーザ１１０の手のうち、携帯端末１００に最も近い手の位置（例えば、ユーザ１１０の指先の位置）からの反射波を受信し、信号処理を行う。これにより、携帯端末１００は、ユーザ１１０の手の位置（つまり、動きのある物体の位置）の位置情報（ｘ座標、ｙ座標、ｚ座標）を算出する。
　なお、本実施形態において、携帯端末１００では、
・ユーザ１１０がジェスチャを行う前に受信した反射波、あるいは、ジェスチャを行った後に受信した反射波（例えば、上記ａ）、ｃ）のときの反射波）、
・ジェスチャのための動きのある物体（本実施形態では、ユーザ１１０の手）以外の物体（例えば、ユーザ１１０の胴体部分、ユーザ１１０周辺の物体等）からの反射波、
を信号処理により削除した上で（つまり、ジェスチャを認識するうえで不要な反射信号を信号処理により削除した上で）、ジェスチャの認識処理を行う。これにより、携帯端末１００によれば、ジェスチャの認識精度を向上させることができる。
　＜携帯端末のハードウェア構成＞
　次に、携帯端末１００のハードウェア構成について説明する。図２は、携帯端末のハードウェア構成の一例を示す図である。
　図２に示すように、携帯端末１００は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、接続装置２０４、ユーザインタフェース装置２０５、通信装置２０６、レーダ装置２１０を有する。なお、携帯端末１００において、プロセッサ２０１から通信装置２０６の各ハードウェアは、バス２０７を介して相互に接続されており、これらのハードウェアは、信号処理装置及び認識装置として動作する。ただし、信号処理装置と認識装置とは、図２に示すように、ハードウェアを共有してもよいし、別個のハードウェアによりそれぞれ構成されてもよい。あるいは、上述したように、信号処理装置は、レーダ装置２１０とともに、携帯端末１００とは別体の装置として構成されてもよい。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する信号処理プログラム、ジェスチャ認識プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　接続装置２０４は、レーダ装置２１０と接続する接続デバイスである。ユーザインタフェース装置２０５は、ユーザ１１０による携帯端末１００に対する各種操作を受け付ける。また、ユーザインタフェース装置２０５は、携帯端末１００による各種処理の結果を、ユーザ１１０に出力する。通信装置２０６は、ネットワークを介して外部装置（不図示）と通信するための通信デバイスである。なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、通信装置２０６を介してネットワークからダウンロードされることで、インストールされる。
　レーダ装置２１０は電波装置の一例であり、ＦＭＣＷ変調方式で変調された電波信号を所定周期で送信し、送信位置に最も近い位置からの反射波を受信する。図２の例は、電波信号を送信する１つの送信器と、反射波を受信する４つの受信器とを有することを示している。
　＜位置情報の具体例＞
　次に、受信した反射波を信号処理することで算出されるユーザ１１０の手の位置情報について説明する。図３は、受信した反射波を信号処理することで算出される位置情報の具体例を示す図である。このうち、符号３１０の白丸は、ジェスチャ中のユーザ１１０の手の、各時間における３次元空間内の位置情報を示している。
　また、符号３２０の白丸は、ジェスチャ前、ジェスチャ中、ジェスチャ後を含むユーザ１１０の手の、各時間における３次元空間内の位置情報を示している。符号３２０において、矩形領域以外に位置する白丸は、ジェスチャを認識するうえで不要となる位置情報であり、信号処理により削除されるべき位置情報である。
　＜携帯端末の機能構成＞
　次に、携帯端末１００の機能構成について説明する。図４は、携帯端末の機能構成の一例を示す第１の図である。上述したように、携帯端末１００には、信号処理プログラム及びジェスチャ認識プログラムがインストールされている。携帯端末１００は、信号処理プログラムが実行されることで、レーダ制御部４１０、反射信号取得部４２０、位置情報算出部４３０、データ抽出部４４０として機能する。なお、これらの各部は、信号処理装置によって実現される機能である。また、携帯端末１００は、ジェスチャ認識プログラムが実行されることで、ジェスチャ処理部４５０、ＵＩ制御部４６０として機能する。なお、これらの各部は、認識装置によって実現される機能である。
　レーダ制御部４１０は、レーダ装置２１０が所定周期で電波信号を送信し、ジェスチャのための動きのある物体からの反射波を受信するよう、レーダ装置２１０の動作を制御する。
　反射信号取得部４２０は、レーダ装置２１０が、ジェスチャのための動きのある物体からの反射波を受信することで生成された反射信号を、所定周期で取得する。
　位置情報算出部４３０は取得部の一例であり、反射信号取得部４２０が取得した反射信号に基づいて、ジェスチャのための動きのある物体の、各時間における３次元空間内の位置を示す位置情報を算出する。また、位置情報算出部４３０は、算出した各時間における位置情報から、動きのある物体の各時間の位置情報を取得する。
　具体的には、位置情報算出部４３０は、隣接する位置情報との差分が閾値以上となる位置情報を、動きのある物体の各時間の位置情報として取得し、データ抽出部４４０に通知する。
　データ抽出部４４０は、更に、識別部４４１、距離範囲抽出部４４２、時間範囲抽出部４４３を有する。識別部４４１は特定部及び抽出部の一例であり、位置情報算出部４３０より通知された、各時間の位置情報の中から、ジェスチャの終了条件を満たすｚ座標（ユーザ１１０が携帯端末の前方の空間から手を引き抜く動作が行われた際のｚ座標）を特定する。また、識別部４４１は、特定した座標を終点とした、連続する一群のｚ座標を抽出する。
　なお、連続する一群のｚ座標とは、ユーザ１１０が手を差し出し、ジェスチャを行った後に、手を引き抜くまでの間の時間範囲における、連続するｚ座標の集まりを指す。識別部４４１は、位置情報算出部４３０より通知された、各時間の位置情報の中から、連続する一群のｚ座標を複数抽出してもよいし、１つのみ抽出してもよい。
　距離範囲抽出部４４２は、識別部４４１により抽出された連続する一群のｚ座標の中から、最小のｚ座標を抽出する。また、距離範囲抽出部４４２は、識別部４４１により抽出された連続する一群のｚ座標の中から、最小のｚ座標との差分が所定の距離範囲を超えるｚ座標を削除し、削除後の連続する一群のｚ座標を、時間範囲抽出部４４３に通知する。
　時間範囲抽出部４４３は、距離範囲抽出部４４２より通知された、削除後の連続する一群のｚ座標の中から、所定の時間範囲に含まれる座標を抽出する。具体的には、時間範囲抽出部４４３は、削除後の連続する一群のｚ座標のうち、前半の早い時間ｐ％分に対応するｚ座標と、後半の遅い時間ｑ％分に対応するｚ座標とを除いたｚ座標を抽出する（ｐ、ｑには任意の値が設定される）。
　上述したように、ユーザ１１０は、手を差し出してからジェスチャを行う。このため、削除後の連続する一群のｚ座標には、前半の早い時間に、手を差し出す動作が現れる。また、ユーザ１１０は、ジェスチャを行った後に手を引き抜く。このため、削除後の連続する一群のｚ座標には、後半の遅い時間に、手を引き抜く動作が現れる。時間範囲抽出部４４３では、このような事象に着目し、削除後の連続する一群のｚ座標に含まれる前半の早い時間及び後半の遅い時間のｚ座標をノイズとして扱う。
　また、時間範囲抽出部４４３は、削除後の連続する一群のｚ座標から抽出したｚ座標に対応する位置情報（ｘ座標、ｙ座標、ｚ座標）を、認識用の一群の位置情報として出力する。
　ジェスチャ処理部４５０は、更に、認識部４５１、処理部４５２を有する。認識部４５１は、時間範囲抽出部４４３より出力された認識用の一群の位置情報に基づいて、ジェスチャを認識する。また、認識部４５１は、認識結果を処理部４５２に通知する。
　処理部４５２は、認識部４５１により通知された認識結果に応じた処理を実行する。例えば、処理部４５２は、認識結果として所定の文字が通知された場合には、通知された文字を、ユーザインタフェース装置２０５に表示するよう、ＵＩ制御部４６０に文字を通知する。あるいは、処理部４５２は、認識結果として所定の操作指示が通知された場合には、ユーザインタフェース装置２０５が、通知された操作指示に応じた動作（例えば、音声出力等）を行うよう、ＵＩ制御部４６０に操作指示を通知する。
　ＵＩ制御部４６０は、処理部４５２からの通知に応じて、ユーザインタフェース装置２０５を制御する。
　＜位置情報算出部による処理の流れ＞
　次に、位置情報算出部４３０による、処理の流れについて図５及び図６を用いて説明する。図５は、位置情報算出部による処理の流れを示すフローチャートである。図６は、位置情報算出部において用いられる情報の一例を示す図である。
　ステップＳ５０１において、位置情報算出部４３０は、反射信号に基づいて、ユーザ１１０の手の、各時間における３次元空間内の位置を示す位置情報を算出する。図６に示すように、位置情報６００は、情報の項目として、"時間"と"座標データ"とを含む。
　"時間"には、レーダ装置２１０による電波信号の送信が開始されてからの時間が、所定周期で格納される。
　"座標データ"には、レーダ装置２１０が受信した反射波の信号に基づいて算出された、ユーザ１１０の手の、各時間における３次元空間内の位置を示すｘ座標、ｙ座標、ｚ座標が格納される。
　ステップＳ５０２において、位置情報算出部４３０は、隣接する位置情報間の差分を算出し、各時間におけるユーザ１１０の手の動きの有無を判定するための判定情報を生成する。図６に示すように、判定情報６１０は、情報の項目として、"時間"と"隣接差分データ"と"動き"とを含む。
　"時間"には、レーダ装置２１０による電波信号の送信が開始されてからの時間が、所定周期で格納される。"隣接差分データ"には、隣接する位置情報間の差分を算出した算出結果が格納される。"動き"には、"隣接差分データ"に格納された算出結果が閾値以上の場合に、動きがあると判定され、例えば"〇"が格納される。一方、"隣接差分データ"に格納された算出結果が閾値未満の場合に、動きなしと判定され、例えば"－"が格納される。
　ステップＳ５０３において、位置情報算出部４３０は、動きがあると判定された時間の位置情報を取得する。図６に示すように、動きがあると判定されたユーザ１１０の手の、各時間の位置情報６２０は、情報の項目として、"時間"と"座標データ"とを含む。
　"時間"には、レーダ装置２１０による電波信号の送信が開始されてからの時間のうち、位置情報算出部４３０により動きがあると判定された時間が格納される。"座標データ"には、位置情報算出部４３０により動きがあると判定された時間の位置情報が格納される。
　＜識別部による処理の流れ＞
　次に、識別部４４１による処理の流れについて、図７、図８を用いて説明する。図７は、識別部による処理の流れを示すフローチャートであり、連続する一群の座標を抽出する処理の流れを示すフローチャートである。図８は、識別部において用いられる情報の一例を示す図である。
　ステップＳ７０１において、識別部４４１は、位置情報算出部４３０より動きがあると判定されたユーザ１１０の手の、各時間の位置情報６２０を取得し、ｚ座標（奥行データ）を抽出する。図８に示すように、奥行データ７１０は、情報の項目として、"時間"と"ｚ座標"とを含む。
　"時間"には、レーダ装置２１０による電波信号の送信が開始されてからの時間のうち、位置情報算出部４３０により動きがあると判定された時間が格納される。
　"ｚ座標"には、位置情報算出部４３０により動きがあると判定された時間の位置情報のうち、ｚ座標が格納される。
　ステップＳ７０２において、識別部４４１は、カウンタｉに"２"を入力し、カウンタｊに"０"を入力する。
　ステップＳ７０３において、識別部４４１は、奥行データ７１０に含まれるｚ座標のうち、ｉ番目のｚ座標を終点候補とする。図８において、符号８１０は、奥行データ７１０に含まれるｚ座標のうち、２番目のｚ座標（"ｚ４"）を終点候補とした様子を示している。
　ステップＳ７０４において、識別部４４１は、終点候補と終点候補よりｊ個前のｚ座標との間の差分である、第１奥行差分を算出する。図８において、符号８１０は、終点候補である２番目のｚ座標（"ｚ４"）と、終点候補である２番目のｚ座標（"ｚ４"）より０個前のｚ座標との差分である"ｚ４－ｚ４"が、第１奥行差分として算出された様子を示している。
　ステップＳ７０５において、識別部４４１は、第１奥行差分が閾値以上となる回数が、一定回数を超えたか否かを判定する。ステップＳ７０５において、一定回数を超えていないと判定した場合には（ステップＳ７０５においてＮＯの場合には）、ステップＳ７０６に進む。ステップＳ７０６において、識別部４４１は、カウンタｊをインクリメントする。
　図８において、符号８１０の場合、０個前の第１奥行差分が閾値未満であるため、ステップＳ７０５からステップＳ７０６に進み、カウンタｊが"１"となる。
　ステップＳ７０７において、識別部４４１は、終点候補よりｊ個前のｚ座標があるか否かを判定する。ステップＳ７０７において、終点候補よりｊ個前のｚ座標があると判定した場合には（ステップＳ７０７においてＹＥＳの場合には）、ステップＳ７０４に戻る。
　図８の符号８１０の場合、終点候補である２番目のｚ座標（"ｚ４"）より１個前のｚ座標（"ｚ３"）があるため、ステップＳ７０４に戻る。この場合、図８に示すように、ステップＳ７０４では、終点候補である２番目のｚ座標（"ｚ４"）と、終点候補である２番目のｚ座標（"ｚ４"）より１個前のｚ座標との差分である"ｚ４－ｚ３"が、第１奥行差分として算出される。なお、図８の符号８１０の場合、カウンタｊが"１"の場合の第１奥行差分も閾値未満であるとし（ステップＳ７０５においてＮＯ）、カウンタｊは"２"となる（ステップＳ７０６）。
　一方、ステップＳ７０７において、終点候補よりｊ個前のｚ座標がないと判定した場合には（ステップＳ７０７においてＮＯの場合には）、ステップＳ７０８に進む。ステップＳ７０８において、識別部４４１は、カウンタｉをインクリメントする。加えて、識別部４４１は、カウンタｊを"０"にリセットする。
　図８の符号８１０の場合、ステップＳ７０７では、カウンタｉが"２"であり、終点候補である２番目のｚ座標（"ｚ４"）より２個前のｚ座標はないと判定されるため、ステップＳ７０８で、カウンタｉは"３"となり、カウンタｊは"０"にリセットされる。
　ステップＳ７０９において、識別部４４１は、ｉ番目のｚ座標（連続するｚ座標）があるか否かを判定する。ステップＳ７０９においてｉ番目のｚ座標があると判定した場合には（ステップＳ７０９においてＹＥＳの場合には）、ステップＳ７０３に戻る。
　図８の符号８１０の場合、連続するｚ座標として、３番目のｚ座標（"ｚ５"）があるため、ステップＳ７０３に戻る。
　このように識別部４４１は、カウンタｉの値を順番にインクリメントしながら、上述したように、ステップＳ７０３からステップＳ７０９までの処理を繰り返す。この処理を繰り返す中で、ステップＳ７０５において、第１奥行差分が閾値以上となる回数が、一定回数を超えたと判定した場合には（ステップＳ７０５においてＹＥＳの場合には）、ユーザ１１０のジェスチャが終了したと判定し、ステップＳ７１０に進む。
　一方、ステップＳ７０９においてｉ番目のｚ座標がないと判定した場合には（ステップＳ７０９においてＮＯの場合には）、ステップＳ７１２に進む。
　図８において符号８２０は、カウンタｉが"１３"の場合（つまり、１３番目のｚ座標（"ｚ１５"）が終点候補となった場合）であって、第１奥行差分が閾値以上となる回数が一定回数を超えたと判定された場合を示している。
　ステップＳ７１０において、識別部４４１は、第１奥行差分が閾値以上となる回数が一定回数を超えたと判定された際の終点候補を、終点として特定する。図８において、符号８２０は、１３番目のｚ座標（"ｚ１５"）を終点として特定した様子を示している。
　ステップＳ７１１において、識別部４４１は、連続する一群のｚ座標を抽出する。具体的には、識別部４４１は、ステップＳ７１０において特定したｚ座標を終点とした、連続する一群のｚ座標を抽出する。
　図８の符号８２０の場合、時間＝"ｔ３"のｚ座標＝"ｚ３"から時間＝"ｔ１５"のｚ座標＝"ｚ１５"までが、連続する一群のｚ座標８３０として抽出される。図８に示すように、抽出された連続する一群のｚ座標８３０には、情報の項目として、"時間"、"データ番号ｎ"、"奥行データ"、"第１奥行差分"が含まれる。
　"時間"には、レーダ装置２１０による電波信号の送信が開始されてからの時間のうち、位置情報算出部４３０により動きがあると判定された時間であって、識別部４４１により特定された終点までの各時間が格納される。
　"データ番号ｎ"には、ステップＳ７１１において抽出されたｚ座標に対して、時間順に付された番号が格納される。
　"奥行データ"には、ステップＳ７１１において抽出されたｚ座標の具体的な数値が格納される。
　"第１奥行差分"には、ステップＳ７１０において特定された終点のｚ座標と、ステップＳ７１１において抽出されたｚ座標との差分の具体的な数値が格納される。
　なお、ステップＳ７０９においてｉ番目のｚ座標がないと判定された場合は、終点が特定されなかったにも関わらず、次のｚ座標がないと判定された場合であり、識別部４４１では、ユーザ１１０のジェスチャが終了しなかったと判定する。この場合、識別部４４１では、連続する一群のｚ座標を抽出することなく、ステップＳ７１２に進む。
　ステップＳ７１２において、識別部４４１は、位置情報算出部４３０より通知された、動きがあると判定されたユーザ１１０の手の、各時間の位置情報全てについて、連続する一群の座標を抽出するための処理を完了したか否かを判定する。
　ステップＳ７１２において、連続する一群の座標を抽出するための処理を完了していない位置情報があると判定した場合には（ステップＳ７１２においてＮＯの場合には）、ステップＳ７０１に戻る。一方、ステップＳ７１２において、動きがあると判定されたユーザ１１０の手の、各時間の位置情報全てについて、連続する一群の座標を抽出するための処理を完了したと判定した場合には（ステップＳ７１２においてＹＥＳの場合には）、処理を終了する。
　なお、上記説明では、判定情報６１０において、時間＝"ｔ１"から"ｔ１７"の隣接差分データに基づいて、動きがあると判定されたユーザ１１０の手の、各時間の位置情報６２０を取得した場合について説明した。
　一方で、時間＝"ｔ１７"より後の各時間の隣接差分データに基づいて、動きがあると判定されたユーザ１１０の手の、各時間の位置情報が取得されることも想定される。この場合、ステップＳ７１２では、連続する一群の座標を抽出するための処理を完了していない位置情報があると判定し、識別部４４１は、ステップＳ７０１に戻る。
　これに対して、時間＝"ｔ１７"より後の各時間の隣接差分データに基づいて、動きがあると判定されたユーザ１１０の手の、各時間の位置情報が取得されていなかった場合には、上記のとおり、処理を終了する。
　＜距離範囲抽出部による処理の流れ＞
　次に、距離範囲抽出部４４２による処理の流れについて、図９、図１０を用いて説明する。図９は、距離範囲抽出部による処理の流れを示すフローチャートであり、距離範囲を超えるｚ座標を削除する処理の流れを示すフローチャートである。図１０は、距離範囲抽出部において用いられる情報の一例を示す図である。
　ステップＳ９０１において、距離範囲抽出部４４２は、識別部４４１より連続する一群のｚ座標８３０を取得する。図１０において、連続する一群のｚ座標８３０は、識別部４４１より取得した連続する一群のｚ座標を示している。
　ステップＳ９０２において、距離範囲抽出部４４２は、取得した連続する一群のｚ座標８３０の中から、最小のｚ座標（奥行データ）を抽出する。図１０の連続する一群のｚ座標８３０において、太枠で囲まれたｚ座標は、最小のｚ座標を示している。
　ステップＳ９０３において、距離範囲抽出部４４２は、カウンタｋに"１"を代入する。
　ステップＳ９０４において、距離範囲抽出部４４２は、抽出した最小のｚ座標と、連続する一群のｚ座標８３０に含まれるｋ番目のｚ座標との間の差分（第２奥行差分と称す）を算出する。
　図１０において、連続する一群のｚ座標１０１０は、第２奥行差分が算出された様子を示している。図１０に示すように、連続する一群のｚ座標１０１０には、情報の項目として、"データ番号ｎ"と、"奥行データ"と、"第２奥行差分"とを含む。
　このうち、"データ番号ｎ"及び"奥行データ"は、連続する一群のｚ座標８３０の"データ番号ｎ"、"奥行データ"と同じであるため、ここでは説明を省略する。一方、"第２奥行差分"には、最小のｚ座標である、データ番号ｎ＝"５"の奥行データ（ｚ座標＝"１２"）と、データ番号ｎ＝"０"～"１２"の奥行データ（ｚ座標＝"６０"、"５０"、・・・"１５０"）との差分が格納される。
　ステップＳ９０５において、距離範囲抽出部４４２は、第２奥行差分が所定の閾値を超えたか否かを判定する。ステップＳ９０５において、第２奥行差分が所定の閾値を超えたと判定した場合には（ステップＳ９０５においてＹＥＳの場合には）、ステップＳ９０６に進む。
　ステップＳ９０６において、距離範囲抽出部４４２は、ｋ番目のｚ座標（奥行データ）を削除し、ステップＳ９０７に進む。
　一方、ステップＳ９０５において、第２奥行差分が所定の閾値を超えていないと判定した場合には（ステップＳ９０５においてＮＯの場合には）、直接、ステップＳ９０７に進む。
　ステップＳ９０７において、距離範囲抽出部４４２は、連続する一群のｚ座標１０１０に含まれる全ての奥行データについて、ステップＳ９０４からステップＳ９０６までの処理が完了したか否かを判定する。
　ステップＳ９０７において、処理が完了していないと判定した場合には（ステップＳ９０７においてＮＯの場合には）、ステップＳ９０８に進む。
　ステップＳ９０８において、距離範囲抽出部４４２は、カウンタｋをインクリメントし、ステップＳ９０４に戻る。
　以降、距離範囲抽出部４４２は、連続する一群のｚ座標１０１０に含まれる全ての奥行データについて処理が完了するまで、ステップＳ９０４からステップＳ９０８までの処理を繰り返す。この処理を繰り返す中で、ステップＳ９０７において、処理が完了したと判定した場合には（ステップＳ９０７においてＹＥＳの場合には）、ステップＳ９０９に進む。
　なお、図１０の連続する一群のｚ座標１０１０の場合、閾値が"１５"であるため、この段階までの処理により、データ番号＝"０"、"１"、"９"～"１２"の奥行データが削除される。
　ステップＳ９０９において、距離範囲抽出部４４２は、削除後の連続する一群のｚ座標１０２０を出力する。図１０において、削除後の連続する一群のｚ座標１０２０は、連続する一群のｚ座標１０１０から、第２奥行差分が閾値"１５"を超えたｚ座標（奥行データ）が削除された様子を示している。図１０に示すように、連続する一群のｚ座標１０２０には、情報の項目として、"データ番号ｎ"と、"奥行データ"と、"第２奥行差分"とを含む。
　ステップＳ９１０において、距離範囲抽出部４４２は、他の連続する一群のｚ座標があるか否かを判定する。ステップＳ９１０において、他の連続する一群のｚ座標があると判定した場合には（ステップＳ９１０においてＹＥＳの場合には）、ステップＳ９０１に戻る。以降、距離範囲抽出部４４２は、他の連続する一群のｚ座標について、ステップＳ９０１からステップＳ９０９までの処理を実行する。
　一方、ステップＳ９０９において、他の連続する一群のｚ座標がないと判定した場合には（ステップＳ９１０においてＮＯの場合には）、距離範囲を超えるｚ座標を削除する処理を終了する。
　＜時間範囲抽出処理の流れ＞
　次に、時間範囲抽出部４４３による処理の流れについて、図１１、図１２を用いて説明する。図１１は、時間範囲抽出部による処理の流れを示すフローチャートであり、時間範囲に含まれるｚ座標を抽出する処理の流れを示すフローチャートである。図１２は、時間範囲抽出部において用いられる情報の一例を示す図である。
　ステップＳ１１０１において、時間範囲抽出部４４３は、距離範囲抽出部４４２より削除後の連続する一群のｚ座標１０２０を取得する。図１２において、削除後の連続する一群のｚ座標１０２０は、距離範囲抽出部４４２より取得した、削除後の連続する一群のｚ座標を示している。
　ステップＳ１１０２において、時間範囲抽出部４４３は、距離範囲抽出部４４２より取得した、削除後の連続する一群のｚ座標１０２０に含まれる各時間（各データ番号）のｚ座標のうち、前半の早い時間ｐ％分のｚ座標を削除する。
　ステップＳ１１０３において、時間範囲抽出部４４３は、距離範囲抽出部４４２より取得した、削除後の連続する一群のｚ座標１０２０に含まれる各時間（各データ番号）のｚ座標のうち、後半の遅い時間ｑ％分のｚ座標を削除する。
　図１２において、削除後の連続する一群のｚ座標１２１０は、ステップＳ１１０２において、前半の早い時間２０％分（ｐ＝２０）のｚ座標として、データ番号ｎ＝"２"のｚ座標が特定された様子を示している。また、図１２において、削除後の連続する一群のｚ座標１２１０は、ステップＳ１１０３において、後半の遅い時間２０％分（ｑ＝２０）のｚ座標として、データ番号ｎ＝"８"のｚ座標が特定された様子を示している。
　また、図１２において、時間範囲に含まれるｚ座標１２２０は、削除後の連続する一群のｚ座標１２１０から、データ番号ｎ＝"２"のｚ座標、データ番号＝"８"のｚ座標が削除され、時間範囲に含まれるｚ座標のみが抽出された様子を示している。
　ステップＳ１１０４において、時間範囲抽出部４４３は、時間範囲（２０％～８０％の範囲）に含まれるｚ座標に対応する位置情報を、認識用の一群の位置情報１２３０として出力する。
　図１２に示すように、認識用の一群の位置情報１２３０は、情報の項目として、"時間"と、"座標データ"とを含む。
　"時間"には、時間範囲に含まれるｚ座標１２２０の"データ番号ｎ"に対応する時間が格納される。"座標データ"には、"時間"に対応する座標データが格納される。
　ステップＳ１１０５において、時間範囲抽出部４４３は、他の削除後の連続する一群のｚ座標があるか否かを判定する。ステップＳ１１０５において、他の削除後の連続する一群のｚ座標があると判定した場合には（ステップＳ１１０５においてＹＥＳの場合には）、ステップＳ１１０１に戻る。以降、時間範囲抽出部４４３は、他の削除後の連続する一群のｚ座標について、ステップＳ１１０１からステップＳ１１０４までの処理を実行する。
　一方、ステップＳ１１０５において、他の削除後の連続する一群のｚ座標がないと判定した場合には（ステップＳ１１０５においてＮＯの場合には）、時間範囲に含まれるｚ座標を抽出する処理を終了する。
　＜認識されたジェスチャの一例＞
　次に、認識用の一群の位置情報１２３０に基づいて認識部４５１により認識されたジェスチャの具体例について説明する。図１３は、認識用の一群の位置情報に基づいて認識されたジェスチャの一例を示す図である。
　上述したように、認識用の一群の位置情報１２３０は、時間範囲抽出部４４３により、前後半の２０％分の時間範囲のｚ座標が削除されている。一方で、仮に時間範囲抽出部４４３により、前後半の２０％分の時間範囲が削除されていなければ、符号１３１０に示すように、領域１３１１、１３１２が含まれることになる。これに対して、時間範囲抽出部４４３により、前後半の２０％分の時間範囲が削除されたことで、符号１３２０に示すように、領域１３１１、１３１２が含まれることがなくなる。
　これにより、認識部４５１では、符号１３２０に基づいてジェスチャを認識することが可能となり、アルファベットの"ｚ"をより正しく認識することができる。
　＜まとめ＞
　以上の説明から明らかなように、第１の実施形態における携帯端末１００に含まれる信号処理装置は、
・所定周期の電波信号を送信し、反射波を受信するレーダ装置２１０と接続され、反射波の信号を処理する。
・反射波の信号に基づいて、動きがあると判定されたユーザ１１０の手の、各時間の位置情報を取得する位置情報算出部４３０を有する。
・取得された各時間の位置情報の中から、電波信号の送信方向を示すｚ軸の座標（ｚ座標）であって、ジェスチャの終了条件を満たすｚ座標を特定し、特定したｚ座標を終点とした、連続する一群のｚ座標を抽出する識別部４４１を有する。
　このように、ジェスチャを認識するうえで不要となる反射信号を信号処理装置が信号処理により削除する構成とすることで、携帯端末１００では、ジェスチャの認識精度を向上させることができる。
　［第２の実施形態］
　上記第１の実施形態では、携帯端末１００から所定の距離内を検出範囲とした。これに対して、第２の実施形態では、ユーザ１１０の胴体部分の位置を検出し、検出した胴体部分の位置に基づいて検出範囲を算出する。これにより、胴体部分の位置情報が誤って認識用の一群の位置情報に含まれることを回避することが可能となり、ジェスチャの認識精度をより向上させることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜ジェスチャ認識システムの利用例＞
　はじめに、第２の実施形態におけるジェスチャ認識システムの利用例について説明する。図１４は、ジェスチャ認識システムの利用例を示す第２の図である。図１との相違点は、図１４の場合、携帯端末１００が、ユーザ１１０の手（第１物体）だけでなくユーザ１１０の胴体部分（第２物体）の位置を検出している点である。また、図１との相違点は、図１４の場合、ユーザ１１０は手を使ってジェスチャをする場合、胴体から一定の距離だけ離れた位置まで腕を伸ばした状態でジェスチャを行うことが一般的であることに鑑みて、検出したユーザ１１０の胴体部分の位置から携帯端末１００（レーダ装置２１０）の方向に所定距離だけ離れた位置から、携帯端末１００（レーダ装置２１０）までの間を、検出範囲としている点である。
　このように、ユーザ１１０の胴体部分の位置を検出する構成とすることで、胴体部分の位置情報が認識用の一群の位置情報に含まれることを回避することが可能となる。この結果、第２の実施形態によれば、ジェスチャの認識精度をより向上させることができる。
　なお、本実施形態において、携帯端末１００のレーダ装置２１０は、ユーザ１１０の手の位置情報を算出するための電波信号に加えて、ユーザ１１０の胴体部分の位置を検出するための電波信号を送信する。これにより、第２の実施形態における携帯端末１００によれば、ユーザ１１０の手に加えて、ユーザ１１０の胴体部分を検出することができる。
　＜携帯端末の機能構成＞
　次に、第２の実施形態における携帯端末１００の機能構成について説明する。図１５は、携帯端末の機能構成の一例を示す第２の図である。図４を用いて説明した第１の実施形態における携帯端末１００の機能構成との相違点は、第２の実施形態の場合、レーダ制御部１５１０、反射信号取得部１５２０、位置情報算出部１５３０を有する点である。
　レーダ制御部１５１０は、レーダ装置２１０が所定周期で電波信号を送信し、ユーザ１１０の胴体部分からの反射波を受信するよう、レーダ装置２１０の動作を制御する。具体的には、レーダ制御部１５１０は、
・レーダ制御部４１０がレーダ装置２１０を制御して電波信号（第１電波）を送信する際の周期よりも長い周期（例えば、２倍の送信周期）で、電波信号（第２電波）を送信するよう、レーダ装置２１０を制御する。
・レーダ制御部４１０がレーダ装置２１０を制御して送信する電波信号の占有帯域幅よりも狭い占有帯域幅で、電波信号を送信するよう、レーダ装置２１０を制御する。
　反射信号取得部１５２０は、レーダ装置２１０が、ユーザ１１０の胴体部分からの反射波を受信することで生成した反射信号を、所定周期で取得する。具体的には、反射信号取得部１５２０は、
・反射信号取得部４２０が反射信号を取得する受信器とは異なる受信器より、反射信号を取得する。
・反射信号取得部４２０が反射信号を取得する周期よりも長い周期（例えば、２倍の送信周期）で、反射信号を取得する。
　位置情報算出部１５３０は、反射信号取得部１５２０が取得した反射信号に基づいて、ユーザ１１０の胴体部分の、各時間における３次元空間内の位置を示す位置情報を算出する。また、位置情報算出部１５３０は、算出した位置情報を、所定周期で、データ抽出部４４０に通知する。
　これにより、データ抽出部４４０では、位置情報算出部１５３０より通知された位置情報に基づいて、ユーザ１１０の手の各時間の位置情報とユーザ１１０の胴体部分の各時間の位置情報とを区別して取得することができる。
　また、データ抽出部４４０では、ユーザ１１０の胴体部分の各時間の位置情報に基づいて、ユーザ１１０の胴体部分の位置を基準として検出対象外とする範囲を設定して検出範囲を設定することができる。これにより、位置情報算出部４３０では、ユーザ１１０の手の各時間の位置情報を取得する際に、検出対象外として削除する位置情報を特定することができる。
　＜レーダ装置により送信される電波信号の具体例＞
　次に、レーダ制御部４１０及びレーダ制御部１５１０がそれぞれレーダ装置２１０を制御することで、レーダ装置２１０より送信される電波信号の具体例について説明する。図１６は、２種類の電波信号の一例を示す図である。
　図１６において、横軸は時間を、縦軸は周波数を表している。また、図１６において、Ｃｈｉｒｐ１は、レーダ制御部４１０がレーダ装置２１０を制御することで、レーダ装置２１０より送信される電波信号を表している。また、図１６において、Ｃｈｉｒｐ２は、レーダ制御部１５１０がレーダ装置２１０を制御することで、レーダ装置２１０より送信される電波信号を表している。
　図１６に示すように、Ｃｈｉｒｐ１は、ユーザ１１０の手の動きをより高い距離分解能で検出するために、送信される電波信号の占有帯域幅が広くなるように制御される。一方、Ｃｈｉｒｐ２は、ユーザ１１０の手の位置よりも距離が遠い位置にあるユーザ１１０の胴体部分を検出するために、送信される電波信号の占有帯域幅が狭くなるように制御される。
　また、Ｃｈｉｒｐ１は、ユーザ１１０の胴体部分よりも動きの速度が速い、ユーザ１１０の手の動きをより高い時間分解能で検出するために、電波信号の送信周期が短くなるように制御される。一方、Ｃｈｉｒｐ２は、ユーザ１１０の手よりも動きの速度が遅い、ユーザ１１０の胴体部分の動きを低い時間分解能で検出するために、電波信号の送信周期が長くなるように制御される。
　＜まとめ＞
　以上の説明から明らかなように、第２の実施形態における携帯端末１００に含まれる信号処理装置は、
・ジェスチャのための動きのある物体（第１物体）を検出するための電波信号と、ジェスチャのための動きのある物体以外の物体であって、ジェスチャのための動きのある物体よりも距離が遠い位置にある物体（第２物体）を検出するための電波信号とを送信する。
・ジェスチャのための動きのある物体（第１物体）を検出するための電波信号を、ジェスチャのための動きのある物体以外の物体であって、ジェスチャのための動きのある物体よりも距離が遠い位置にある物体（第２物体）を検出するための電波信号よりも短い周期で送信する。
・ジェスチャのための動きのある物体（第１物体）を検出するための電波信号を、ジェスチャのための動きのある物体以外の物体であって、ジェスチャのための動きのある物体よりも距離が遠い位置にある物体（第２物体）を検出するための電波信号よりも広い占有帯域幅で送信する。
・ジェスチャのための動きのある物体（第１物体）からの反射波を受信する受信器と、ジェスチャのための動きのある物体以外の物体であって、ジェスチャのための動きのある物体よりも距離が遠い位置にある物体（第２物体）からの反射波を受信する受信器とに接続される。
　このように、第２の実施形態では、ジェスチャのための動きのある物体（第１物体）以外の物体であって、ジェスチャのための動きのある物体よりも距離が遠い位置にある物体（第２物体）を検出可能な構成とし、第２物体からレーダ装置の方向に所定距離だけ離れた位置からレーダ装置までの間を、第１物体の検出範囲としている。これにより、第２の実施形態によれば、ジェスチャのための動きのある物体以外の物体の位置情報が認識用の一群の位置情報に含まれることを回避することが可能となり、ジェスチャの認識精度をより向上させることができる。
　［第３の実施形態］
　上記各実施形態においては、一定時間、反射信号を受信しなかった場合の処理について言及しなかったが、一定時間、反射信号を受信しなかった場合、例えば、識別部４４１は、ジェスチャが終了したと判定してもよい。
　また、上記各実施形態において距離範囲抽出部４４２は、第２奥行差分が閾値を超えたか否かを判定し、超えたと判定した場合に、奥行データを削除するものとして説明した。その際、判定に用いる閾値は固定であるとした。しかしながら、第２奥行差分が超えたか否かを判定する際に距離範囲抽出部４４２が用いる閾値は、例えば、最小のｚ座標に応じて動的に変更してもよい。
　一般に、電波信号は、レーダ装置２１０とジェスチャのための動きのある物体との間の距離が長くなるほど、電波強度が減衰し、反射信号の強度が下がる。このため、ジェスチャのための動きのある物体のｚ座標によって、ジェスチャのための動きのある物体の検出精度が変わり、閾値が小さい場合、必要な奥行データを削除してしまう可能性がある。
　このようなことに鑑みて、距離範囲抽出部４４２は、例えば、最小のｚ座標の値が大きい場合、閾値を大きくし、最小のｚ座標の値が小さい場合、閾値を小さくしてもよい。
　また、上記各実施形態において時間範囲抽出部４４３は、削除する割合（ｐ％、ｑ％）が固定であるとして説明したが、削除する割合（ｐ％、ｑ％）は、ジェスチャのための動きのある物体の軌跡の複雑さに応じて変更してもよい。ここで、ジェスチャのための動きのある物体の軌跡の複雑さは、例えば、各時間の位置情報（ｘ座標、ｙ座標）に基づいて、ｚ軸方向に略直交する面での各時間の動きベクトルの絶対値（ジェスチャのための動きのある物体の動き量）を和算することで求めることができる。
　そして、時間範囲抽出部４４３は、ジェスチャのための動きのある物体の軌跡が複雑であった場合（物体の動き量の和が大きい場合）には、削除する割合（ｐ％、ｑ％）を減らす（つまり、抽出する時間範囲を広くする）。また、時間範囲抽出部４４３は、ジェスチャのための動きのある物体の軌跡がシンプルであった場合（物体の動き量の和が小さい場合）には、削除する割合（ｐ％、ｑ％）を増やす（つまり、抽出する時間範囲を狭くする）。
　また、上記第２の実施形態では、ユーザ１１０の手の位置と、ユーザ１１０の胴体部分の位置とをそれぞれ検出するために、２種類の電波信号を送信する構成とした。しかしながら、ユーザ１１０の手の位置と、ユーザ１１０の胴体部分の位置とをそれぞれ検出するための構成はこれに限定されない。例えば、物体の動きを検出するにあたり、隣接する座標データ間の差分を算出する代わりに、過去ｍ回分の座標データをパラメータによって重み付け加算した結果の差分を算出するように構成したうえで、
・ユーザ１１０の手の位置（つまり、動きの速度が速い物体の位置）を検出する際には、近い過去の重み付けパラメータを大きくし、遠い過去の重み付けパラメータを小さくする、
・ユーザ１１０の胴体部分の位置（つまり、動きの速度が遅い物体の位置）を検出する際には、近い過去の重み付けパラメータを小さくし、遠い過去の重み付けパラメータを大きくする、
といった調整を行うことで、ユーザ１１０の手の位置と、ユーザ１１０の胴体部分の位置とをそれぞれ検出するように構成してもよい。
　ただし、かかる調整方法は一例であり、２つの動く物体として、近い距離に位置する速度の速い物体と、遠い距離に位置する速度の遅い物体とを区別して検出するための手法であれば、他の手法を用いてもよい。
　また、上記各実施形態では、ジェスチャのための動きのある物体が、ユーザ１１０の手であるとして説明したが、ジェスチャのための動きのある物体は、ユーザ１１０の手に限定されない。ユーザ１１０の手以外の部位であってもよいし、ユーザ１１０が保持する物体（例えば、指揮棒等）であってもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　本出願は、２０２１年１０月１４日に仮出願されたＵＳ６３／２５５，４７９に基づきその優先権を主張するものであり、同米国仮出願の全内容を参照することにより本願に援用する。
　１００　　　　　：携帯端末
　２１０　　　　　：レーダ装置
　４１０　　　　　：レーダ制御部
　４２０　　　　　：反射信号取得部
　４３０　　　　　：位置情報算出部
　４４０　　　　　：データ抽出部
　４４１　　　　　：識別部
　４４２　　　　　：距離範囲抽出部
　４４３　　　　　：時間範囲抽出部
　４５０　　　　　：ジェスチャ処理部
　４５１　　　　　：認識部
　４５２　　　　　：処理部
　４６０　　　　　：ＵＩ制御部
　６００　　　　　：位置情報
　６１０　　　　　：判定情報
　６２０　　　　　：各時間の位置情報
　７１０　　　　　：奥行データ
　８３０　　　　　：一群のｚ座標
　１０２０　　　　：削除後の連続する一群のｚ座標
　１２２０　　　　：時間範囲に含まれるｚ座標
　１２３０　　　　：認識用の一群の位置情報
　１５１０　　　　：レーダ制御部
　１５２０　　　　：反射信号取得部
　１５３０　　　　：位置情報算出部

Claims (22)

  1. 　所定周期の電波を送信し、反射波を受信する電波装置と接続され、前記反射波の信号を処理する信号処理装置における信号処理方法であって、
    　前記反射波の信号に基づいて、動きのある物体の各時間の位置情報を取得する工程と、
    　取得された各時間の位置情報の中から、前記電波の送信方向の軸の座標であって、ジェスチャの終了条件を満たす座標を特定する工程と、
    　特定された座標を終点とした、連続する一群の座標を抽出する工程と
    　を有する信号処理方法。
  2. 　前記動きのある物体の各時間の位置情報を取得する工程は、
    　前記反射波の信号に基づいて算出された、各時間の位置情報のうち、隣接する位置情報との差分が閾値以上となる位置情報を、前記動きのある物体の各時間の位置情報として取得する、請求項１に記載の信号処理方法。
  3. 　前記ジェスチャの終了条件を満たす座標を特定する工程は、
    　取得された各時間の位置情報に含まれる、前記電波の送信方向の軸の座標それぞれを終点候補とした場合の、前記終点候補の座標と、前記終点候補の座標より前の各時間の座標との差分を算出し、
    　算出した差分が閾値以上となる回数が一定回数を超えた場合に、前記終点候補の座標を、前記ジェスチャの終了条件を満たす座標として特定する、請求項１に記載の信号処理方法。
  4. 　前記抽出された一群の座標のうち、最小の座標との差分が所定の距離範囲を超える座標を、前記抽出された一群の座標から削除する工程を更に有する、請求項１に記載の信号処理方法。
  5. 　削除後の前記一群の座標から、所定の時間範囲に含まれる座標を抽出し、対応する位置情報を、認識用の一群の位置情報として出力する工程を更に有する、請求項２に記載の信号処理方法。
  6. 　前記認識用の一群の位置情報として出力する工程は、
    　削除後の前記一群の座標に対応する位置情報の中から、前記電波の送信方向の軸に略直交する面を形成する、水平方向の軸及び垂直方向の軸それぞれの座標を取得し、
    　取得した水平方向の軸及び垂直方向の軸それぞれの座標に基づいて、各時間における前記物体の水平方向及び垂直方向の動き量を和算し、
    　和算した動き量に基づいて、前記所定の時間範囲を変更する、請求項５に記載の信号処理方法。
  7. 　前記和算した動き量が大きいほど、前記所定の時間範囲を広くし、前記和算した動き量が小さいほど、前記所定の時間範囲を狭くする、請求項６に記載の信号処理方法。
  8. 　前記動きのある物体の各時間の位置情報を取得する工程は、
    　第１物体及び前記第１物体よりも前記電波装置からの距離が遠く、かつ、動きの速度が遅い第２物体それぞれの各時間の位置情報を区別して取得する、請求項１に記載の信号処理方法。
  9. 　前記電波装置は、占有帯域幅と送信周期とが異なる第１電波及び第２電波を送信し、
    　前記動きのある物体の各時間の位置情報を取得する工程は、
    　前記第２電波よりも占有帯域幅が狭く、送信周期が短い前記第１電波に対応する反射波の信号に基づいて、前記第１物体の各時間の位置情報を取得し、
    　前記第１電波よりも占有帯域幅が広く、送信周期が長い前記第２電波に対応する反射波の信号に基づいて、前記第２物体の各時間の位置情報を取得する、請求項８に記載の信号処理方法。
  10. 　前記動きのある物体の各時間の位置情報を取得する工程は、
    　前記反射波の信号を異なる重み付けパラメータにより処理することで、前記第１物体の各時間の位置情報と、前記第２物体の各時間の位置情報とを区別して取得する、請求項８に記載の信号処理方法。
  11. 　前記動きのある物体の各時間の位置情報を取得する工程は、
    　前記第２物体の各時間の位置情報に基づいて、前記第１物体の各時間の位置情報を取得する際の、前記第１物体の前記電波の送信方向の検出範囲を算出する、請求項８に記載の信号処理方法。
  12. 　前記動きのある物体の各時間の位置情報を取得する工程は、
    　前記第２物体の各時間の位置情報に基づいて検出対象外とする範囲が設定されることで、前記第１物体の各時間の位置情報を取得する際に、検出対象外として削除する位置情報を特定する、請求項８に記載の信号処理方法。
  13. 　所定周期の電波を送信し、反射波を受信する電波装置と接続され、前記反射波の信号を処理する信号処理装置であって、
    　前記反射波の信号に基づいて、動きのある物体の各時間の位置情報を取得する取得部と、
    　取得された各時間の位置情報の中から、前記電波の送信方向の軸の座標であって、ジェスチャの終了条件を満たす座標を特定する特定部と、
    　特定された座標を終点とした、連続する一群の座標を抽出する抽出部と
    　を有する信号処理装置。
  14. 　所定周期の電波を送信し、反射波を受信する電波装置と、
    　請求項１３に記載の信号処理装置と、
    　前記信号処理装置により処理された信号に基づいてジェスチャを認識する認識装置と
    　を有するジェスチャ認識システム。
  15. 　前記認識装置は、認識したジェスチャに応じた表示、または、認識したジェスチャに応じた動作を行う制御部を有する、請求項１４に記載のジェスチャ認識システム。
  16. 　前記動きのある物体の各時間の位置情報を取得する取得部は、
    　前記反射波の信号に基づいて算出された、各時間の位置情報のうち、隣接する位置情報との差分が閾値以上となる位置情報を、前記動きのある物体の各時間の位置情報として取得する、請求項１４に記載のジェスチャ認識システム。
  17. 　前記ジェスチャの終了条件を満たす座標を特定する特定部は、
    　取得された各時間の位置情報に含まれる、前記電波の送信方向の軸の座標それぞれを終点候補とした場合の、前記終点候補の座標と、前記終点候補の座標より前の各時間の座標との差分を算出し、
    　算出した差分が閾値以上となる回数が一定回数を超えた場合に、前記終点候補の座標を、前記ジェスチャの終了条件を満たす座標として特定する、請求項１４に記載のジェスチャ認識システム。
  18. 　前記抽出された一群の座標のうち、最小の座標との差分が所定の距離範囲を超える座標を、前記抽出された一群の座標から削除する、請求項１４に記載のジェスチャ認識システム。
  19. 　削除後の前記一群の座標から、所定の時間範囲に含まれる座標を抽出し、対応する位置情報を、認識用の一群の位置情報として出力する、請求項１６に記載のジェスチャ認識システム。
  20. 　前記動きのある物体の各時間の位置情報を取得する取得部は、
    　第１物体及び前記第１物体よりも前記電波装置からの距離が遠く、かつ、動きの速度が遅い第２物体それぞれの各時間の位置情報を区別して取得する、請求項１４に記載のジェスチャ認識システム。
  21. 　前記動きのある物体の各時間の位置情報を取得する取得部は、
    　前記第２物体の各時間の位置情報に基づいて検出対象外とする範囲が設定されることで、前記第１物体の各時間の位置情報を取得する際に、検出対象外として削除する位置情報を特定する、請求項２０に記載のジェスチャ認識システム。
  22. 　所定周期の電波を送信し、反射波を受信する電波装置と接続され、前記反射波の信号を処理する信号処理装置のコンピュータに、
    　前記反射波の信号に基づいて、動きのある物体の各時間の位置情報を取得する工程と、
    　取得された各時間の位置情報の中から、前記電波の送信方向の軸の座標であって、ジェスチャの終了条件を満たす座標を特定する工程と、
    　特定された座標を終点とした、連続する一群の座標を抽出する工程と
    　を実行させるための信号処理プログラム。
PCT/JP2022/037667 2021-10-14 2022-10-07 信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム Ceased WO2023063263A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023554502A JPWO2023063263A1 (ja) 2021-10-14 2022-10-07
US18/629,153 US20240256053A1 (en) 2021-10-14 2024-04-08 Signal processing method, signal processing device, gesture recognition system, and signal processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163255479P 2021-10-14 2021-10-14
US63/255,479 2021-10-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/629,153 Continuation US20240256053A1 (en) 2021-10-14 2024-04-08 Signal processing method, signal processing device, gesture recognition system, and signal processing program

Publications (1)

Publication Number Publication Date
WO2023063263A1 true WO2023063263A1 (ja) 2023-04-20

Family

ID=85987718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037667 Ceased WO2023063263A1 (ja) 2021-10-14 2022-10-07 信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム

Country Status (3)

Country Link
US (1) US20240256053A1 (ja)
JP (1) JPWO2023063263A1 (ja)
WO (1) WO2023063263A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003961A (ja) * 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
JP2016038621A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
WO2019202670A1 (ja) * 2018-04-17 2019-10-24 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6155786B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
EP3309708A4 (en) * 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
EP4004695A4 (en) * 2019-09-18 2022-09-28 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003961A (ja) * 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
JP2016038621A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
WO2019202670A1 (ja) * 2018-04-17 2019-10-24 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置

Also Published As

Publication number Publication date
JPWO2023063263A1 (ja) 2023-04-20
US20240256053A1 (en) 2024-08-01

Similar Documents

Publication Publication Date Title
US20230067322A1 (en) Gesture recognition method and related apparatus
US12153743B2 (en) Rendering device and rendering method
US11797098B2 (en) Methods for recognizing human hand and hand gesture from human, and display apparatus
CN109313810A (zh) 用于对环境进行测绘的系统和方法
JP2017166966A (ja) 周辺環境推定装置及び周辺環境推定方法
CN110470308B (zh) 一种避障系统及方法
CN114786569B (zh) 体征检测方法、装置及设备
CN116414223B (zh) 三维空间中的交互方法、装置、存储介质及电子装置
WO2017043056A1 (ja) 運転支援方法およびそれを利用した運転支援装置とプログラム
CN114820697A (zh) 使用静止状态模型的交互多模型跟踪算法
US20210342970A1 (en) Method and device for processing image, and storage medium
WO2023063263A1 (ja) 信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム
CN112654883A (zh) 一种雷达目标聚类方法及装置
CN113747401A (zh) 一种车辆到车辆的非平稳信道建模方法及装置
JP4221330B2 (ja) インタフェース方法、装置、およびプログラム
CN117713963A (zh) 一种利用无线射频信号识别连续手势行为的方法及系统
CN116593978A (zh) 一种基于点云的手势检测方法、系统、存储介质
CN112905011B (zh) 手势追踪方法、装置、电子设备和介质
TWI756122B (zh) 距離都卜勒雷達角度感測方法及裝置
CN112180377A (zh) 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质
CN106371570B (zh) 交互方法、交互装置及柔性设备
CN113574496A (zh) 识别操作终端设备的手势的方法和终端设备
CN115308733B (zh) 距离多普勒雷达角度感测方法及装置
CN119625160B (zh) 臂架的防碰撞检测方法、装置、设备及存储介质
CN106371735B (zh) 交互方法、交互装置及柔性设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22880958

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023554502

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22880958

Country of ref document: EP

Kind code of ref document: A1