WO2016170872A1 - 情報表示装置及び情報表示方法 - Google Patents

情報表示装置及び情報表示方法 Download PDF

Info

Publication number
WO2016170872A1
WO2016170872A1 PCT/JP2016/057900 JP2016057900W WO2016170872A1 WO 2016170872 A1 WO2016170872 A1 WO 2016170872A1 JP 2016057900 W JP2016057900 W JP 2016057900W WO 2016170872 A1 WO2016170872 A1 WO 2016170872A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
gesture
distance
information
operator
Prior art date
Application number
PCT/JP2016/057900
Other languages
English (en)
French (fr)
Inventor
亜紀 高柳
雅志 神谷
雄大 中村
内藤 正博
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US15/550,313 priority Critical patent/US20180046254A1/en
Priority to DE112016001815.0T priority patent/DE112016001815T5/de
Priority to JP2016547119A priority patent/JP6062123B1/ja
Priority to CN201680022591.XA priority patent/CN107533366B/zh
Publication of WO2016170872A1 publication Critical patent/WO2016170872A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Definitions

  • the present invention relates to an information display device and an information display method in which an operator's instruction is input by a gesture performed by an operator (user).
  • a gesture UI User Interface
  • the gesture UI indicates that the operator operates the device by gestures such as the body movement and body shape of the operator (for example, hand movement, hand shape, finger movement, finger shape, etc.). enable.
  • a gesture UI that uses hand pointing to move the pointer on the screen of the display unit (display) in accordance with the movement of the hand performs a gesture in which the operator points the pointer position with the hand. Move the pointer on the screen.
  • the gesture UI detects (captures) an operator's gesture by using an imaging device such as an RGB (red, green, blue) camera or a gesture detection unit (sensor unit) such as a ToF (Time of Flight) sensor. .
  • the gesture UI analyzes image data obtained by imaging the operator, identifies (specifies) the gesture, and outputs a signal indicating the instruction content meaning the gesture.
  • an imaging device such as an RGB (red, green, blue) camera or a gesture detection unit (sensor unit)
  • ToF Time of Flight
  • the gesture UI analyzes image data obtained by imaging the operator, identifies (specifies) the gesture, and outputs a signal indicating the instruction content meaning the gesture.
  • the size of the operator in each frame image generated by imaging decreases, and the amount of movement of the body part due to the operator's gesture also decreases.
  • the gesture UI identifies (specifies) the gesture based on a small movement of the body part, and sends a signal indicating the instruction content indicated by the gesture. Must be output. For this reason, in the gesture UI, when the operator leaves the gesture detection unit, there is a problem that the gesture is erroneously identified (specified) or the gesture cannot be identified.
  • Patent Document 1 proposes setting an operation target region based on the position and size of a detection target in an image generated by an imaging device as a gesture detection unit in the image processing device.
  • this image processing apparatus by setting the operator's hand or face as the detection target, the ratio between the set operation target area and the size of the operator's hand or face included in the operation target area is kept constant. Be drunk. Thereby, the operativity by an operator improves.
  • the present invention has been made to solve the above-described problems of the prior art, and even when the operator is located away from the information display device, erroneous identification of the operator's gesture occurs. It is an object to provide a difficult information display device and information display method.
  • An information display device includes a display control unit that displays information on a display unit, a gesture detection unit that generates gesture information based on a gesture executed by an operator, and the gesture generated by the gesture detection unit
  • a gesture identification unit that identifies the gesture based on information and outputs a signal based on the identification result; a distance estimation unit that estimates a distance between the operator and the display unit; When the first set distance is stored, and the number of gestures that can be identified by the gesture identifying unit when the distance exceeds the first set distance is less than or equal to the first set distance The number of gesture identification units is less than the number of gestures that can be identified by the gesture identification unit.
  • An identification function setting unit for setting an identifiable gestures Te and having a.
  • An information display method is an information display method executed by an information display device that displays information on a display unit, and includes a gesture detection step of generating gesture information based on a gesture executed by an operator, and the gesture Gesture identification step for identifying the gesture based on the gesture information generated in the detection step and generating a signal based on the identification result, and a distance for estimating a distance between the operator and the display unit And when the number of gestures that can be identified in the gesture identifying step when the distance exceeds a predetermined first set distance is less than the first set distance, From the number of gestures that can be identified in the gesture identification step As eliminated, and having a an identification function setting step of setting an identifiable gestures in the gesture identification step.
  • identifiable gestures are set so that the number of identifiable gestures is reduced when the operator is at a position away from the display unit of the information display device.
  • an error in the gesture of the operator can be achieved. Identification can be made difficult to occur.
  • FIG. 1 is a block diagram schematically showing a configuration of an information display device according to Embodiment 1.
  • FIG. It is a figure which shows an example of the image which the information display apparatus which concerns on Embodiment 1 acquired by imaging an operator.
  • 2 is a schematic diagram illustrating an operation state of the information display device according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an image displayed on a display unit of the information display device according to Embodiment 1.
  • FIG. 6 is a diagram showing another example of an image displayed on the display unit of the information display device according to Embodiment 1.
  • FIG. 6 is a diagram showing another example of an image displayed on the display unit of the information display device according to Embodiment 1.
  • FIG. 6 is a diagram showing another example of an image displayed on the display unit of the information display device according to Embodiment 1.
  • FIG. 6 is a diagram showing another example of an image displayed on the display unit of the information display device according to Embodiment 1.
  • FIG. (A) And (b) is a figure which shows the transition (when an operator is in the position close
  • FIG. (A) And (b) is a figure which shows the transition (when an operator is in a position far from a display part) of the image displayed on the display part of the information display apparatus which concerns on Embodiment 1.
  • FIG. (A) to (c) is a schematic diagram illustrating a usage state of the information display device according to the first embodiment.
  • 3 is a flowchart showing initial setting in the information display apparatus according to Embodiment 1; 3 is a flowchart illustrating an operation of the information display device according to the first embodiment. It is a flowchart which shows operation
  • FIG. 6 is a block diagram schematically showing a configuration of an information display device according to Embodiment 3.
  • FIG. It is the schematic which shows the use condition of the information display apparatus which concerns on Embodiment 4 of this invention.
  • FIG. 10 is a block diagram schematically showing a configuration of an information display device according to a fourth embodiment. It is a block diagram which shows roughly the structure of the information display apparatus which concerns on Embodiment 5 of this invention.
  • FIG. 10 is a block diagram schematically showing a configuration of an information display device according to a modification example of Embodiment 5.
  • 10 is a flowchart illustrating an operation of the information display apparatus according to the fifth embodiment. It is a block diagram which shows roughly the structure of the information display apparatus which concerns on Embodiment 6 of this invention.
  • FIG. 10 is a block diagram schematically showing a configuration of an information display device according to a seventh embodiment. 18 is a flowchart showing an operation of the information display apparatus according to the seventh embodiment.
  • FIG. 10 is a hardware configuration diagram showing a configuration of a modification of the information display device according to the first to seventh embodiments.
  • FIG. 1 is a schematic diagram showing a usage state of an information display apparatus 1 according to Embodiment 1 of the present invention.
  • the information display device 1 includes a display unit 30 as a display and a gesture detection unit (sensor unit) 10 as an imaging unit (camera) or an imaging unit such as ToF.
  • the information display device 1 includes a gesture UI for operating the information display device 1 by a gesture performed by an operator (user) 2.
  • the gesture detection unit 10 is attached to the upper part of the main body of the information display device 1.
  • the gesture detection unit 10 may be housed inside the main body of the information display device 1 or may be provided near the main body of the information display device 1.
  • the gesture detection unit 10 is provided at a position away from the main body of the information display device 1. May be.
  • the operator 2 instructs the information display device 1 by a gesture that is the body movement and shape of the operator 2 (for example, a predetermined motion and pose by the hand 2A and the finger 2B, or an expression of the face 2C). Enter information.
  • the gesture for example, the operator 2 moves the hand 2A in the right lateral direction, moves the hand 2A in the left lateral direction, moves the hand 2A upward, moves the hand 2A downward, Examples thereof include an operation indicated by 2B and an operation of forming a peace sign with the hand 2A and the finger 2B.
  • FIG. 2 is a block diagram schematically showing the configuration of the information display device 1 according to the first embodiment.
  • the information display device 1 is a device that can perform the information display method according to the first embodiment.
  • the information display device 1 includes a gesture detection unit 10 that is an imaging unit, and a control unit 20.
  • the information display device 1 may include a display unit 30 as a display and a storage unit 40 such as a memory.
  • the control unit 20 includes a distance estimation unit 21, an identification function setting unit 22, a gesture identification unit (gesture determination unit) 23, and a display control unit 25.
  • the information display device 1 may have a function execution unit 24.
  • the gesture detection unit 10 generates gesture information G1 based on the gesture GE performed by the operator 2. For example, the gesture detection unit 10 captures the gesture GE of the operator 2 and generates gesture information G1 including image data corresponding to the gesture GE.
  • the image data is, for example, still image data of a plurality of frames arranged in time order or moving image data.
  • the gesture detection unit 10 may be any device that can generate gesture information according to the gesture of the operator 2. Other devices such as an operation device (described in Embodiment 4) provided on a part of the body of the operator 2 may be used.
  • the gesture identification unit 23 identifies (specifies) a gesture based on the gesture information G1 generated by the gesture detection unit 10, and outputs a signal G2 based on the identification result.
  • the identification of the gesture is a process of specifying what instruction content the gesture performed by the operator 2 indicates.
  • the gesture identification unit 23 detects a gesture motion pattern from the image data generated by the gesture detection unit 10. At this time, the gesture identification unit 23 detects the movement pattern of the gesture by analyzing the displacement of the detection region including the body part of the operator 2 from the still image data or the moving image data of a plurality of frames arranged in time order. .
  • the gesture identification unit 23 estimates the three-dimensional position of the detection region including the body part of the operator 2. Thus, the movement pattern of the gesture is detected.
  • the gesture identification unit 23 moves the gesture based on the distance D0 estimated by the distance estimation unit 21 and the image data of the detection area. Detect patterns.
  • the storage unit 40 stores a gesture database (DB) 40a in which a plurality of reference gestures and instruction contents corresponding to each of the plurality of reference gestures are associated with each other.
  • the gesture identifying unit 23 compares the detected motion pattern with each of the plurality of reference gestures stored as the gesture DB 40a, and identifies the one corresponding to the detected motion pattern from the plurality of stored reference gestures.
  • the gesture identification unit 23 determines that the instruction content associated with the identified reference gesture is the instruction content of the operator 2.
  • the gestures and instruction contents stored in the storage unit 40 as the gesture DB 40a are stored in advance. Further, the operator 2 can determine a gesture and instruction content corresponding to the gesture and store the gesture in the storage unit 40 as the gesture DB 40a.
  • the distance estimation unit 21 estimates the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) based on the gesture information G1 output from the gesture detection unit 10, and indicates the distance D0.
  • the distance information G3 is given to the identification function setting unit 22 and the display control unit 25.
  • the distance between the operator 2 and the display unit 30 is equal to the distance between the operator 2 and the gesture detection unit 10, or the operator There is a certain relationship with the distance between 2 and the gesture detection unit 10, and calculation is possible.
  • the distance estimation unit 21 detects a specific part of the body of the operator 2 included in the image data as a detection region, and the operator 2 and the gesture detection unit 10 based on the size of the detection region in each frame image. Estimate (calculate) the distance D0 to (or display unit 30).
  • the distance estimation unit 21 may calculate the distance D0 by another method.
  • FIG. 3 is a diagram illustrating an example of an image 200 acquired by the gesture detection unit 10 of the information display device 1 according to Embodiment 1 capturing an image of the operator 2.
  • the distance estimation unit 21 detects the hand 2 ⁇ / b> A of the operator 2 included in the image 200 as the detection area 201.
  • the distance estimation unit 21 detects the color of the operator's skin from the color information included in the image, and uses a specific part of the operator's body as a detection region.
  • the detection area is a face, it is also possible to determine the entire face area after determining the face part (eyes, nose, mouth, etc.).
  • the distance estimation unit 21 may employ another method such as determining a face by providing a search window in the image and determining whether the region is a face region by a classifier. For example, both the face of the operator 2 and the hand 2A may be used as the detection area.
  • the distance estimation unit 21 estimates (calculates) a distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) based on the size of the detection region 201 in the image 200.
  • the operator 2 determines a reference distance determined in advance. In some cases, it is determined whether the position is closer to the display unit 30 or farther than the display unit 30.
  • the distance estimation unit 21 correlates between the size of the detection region 201 in the image 200 and the distance D0. Data is stored in advance.
  • the distance estimation unit 21 estimates (calculates) the distance D0 from the size of the detection area 201 in the generated image 200 based on the correlation data.
  • the size of the detection region 201 can be derived from at least one of the area of the detection region 201 or the vertical length Lv and the horizontal length Lh of the detection region 201.
  • the distance estimation unit 21 uses the position where the operator 2 is scheduled to perform a gesture as a reference. As the position, the reference position and the size of the detection area 201 in the image 200 at the reference position are stored in advance as correlation data. Based on the correlation data, the distance estimation unit 21 determines whether the operator 2 is at a position closer or farther than the reference position from the size of the detection area 201 in the generated image 200. In this case, the calculation amount in the control unit 20 is reduced.
  • the identification function setting unit 22 stores a predetermined first set distance D1, and when the distance D0 exceeds the first set distance, the number of gestures that can be identified by the gesture identification unit 23 is the distance D0. Gestures that can be identified by the gesture identification unit 23 are set so that the number of gestures can be smaller than the number of gestures that can be identified by the gesture identification unit 23.
  • the first set distance D1 is set in advance when the use of the information display device 1 is started.
  • the identification function setting unit 22 does not limit the gestures that can be identified by the gesture identification unit 23 when the distance D0 is equal to or less than the first set distance D1. At this time, the operation state of the information display device 1 is referred to as a full function mode.
  • the identification function setting unit 22 notifies an identifiable gesture to the gesture identification unit 23 and notifies the display control unit 25 of the operation state of the information display device 1.
  • the identification function setting unit 22 restricts gestures that can be identified by the gesture identification unit 23 when the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2.
  • the limited identifiable gesture is a gesture for a function frequently used by the operator 2.
  • the operation state of the information display device 1 is referred to as a restricted function mode.
  • the identification function setting unit 22 further restricts the gestures that can be identified by the gesture identification unit 23 when the distance D0 is greater than the second set distance D2.
  • the further restricted identifiable gesture is a gesture for a function that is more frequently used by the operator 2.
  • the operation state of the information display device 1 is referred to as a specific function mode.
  • the distance D2 used as a reference in the identification function setting unit 22 is a distance at which it is difficult to recognize a gesture in the gesture identification unit 23.
  • This distance D2 is sensor performance such as the resolution of the camera used in the gesture detection unit 10, spectral filter information, lens performance such as MTF (Modulation Transfer Function), illumination environment information such as illumination light color and illuminance, and detection. It is set based on any or all of the size and color information of the object.
  • the function execution unit 24 executes a function based on the signal G2 output from the gesture identification unit 23. Further, the function execution unit 24 notifies the display control unit 25 of the result of executing the function.
  • the display control unit 25 controls the display operation of the display unit 30.
  • the display control unit 25 generates an operation menu and causes the display unit 30 to display the operation menu.
  • the display control unit 25 displays the display layout and display contents of the display unit 30 according to whether the operation state set by the identification function setting unit 22 is the full function mode, the restricted function mode, or the specific function mode. Set.
  • the display control unit 25 may adjust the sizes of characters, icons, and pointers displayed on the display unit 30 based on the distance D0 estimated (calculated) by the distance estimation unit 21. For example, when the distance D0 is small, the display control unit 25 reduces the size of the displayed characters, icons, and pointers, and increases the size of the displayed characters, icons, and pointers as the distance D0 increases. To do. By doing so, the visibility of icons, characters, pointers, and the like is maintained.
  • the display control unit 25 causes the display unit 30 to display the result notified from the function execution unit 24.
  • FIG. 4 is a schematic diagram showing an operation state of the information display apparatus 1 according to the first embodiment.
  • FIG. 4 shows the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30), and can be identified by the information display device 1 when the operator 2 performs a gesture operation on the information display device 1 (use The relationship between the types of possible gestures and the state of the information display device 1 is shown.
  • identifiable (usable) gestures are classified into three types of gestures GE1, GE2, and GE3.
  • the three types of gestures differ in the ease of identification by the information display device 1.
  • the first type of gesture GE1 is a swipe in which the operator 2 shakes his / her hand
  • the second type of gesture GE2 is a pointing in which the operator 2 shows a direction or position with a finger.
  • a third type of gesture GE3 is a pose in which the operator 2 changes the shape of the hand to a specific shape.
  • the first type of gesture GE1 is a gesture that can be determined only by the moving direction of a specific part of the body such as the hand 2A.
  • the third type of gesture GE3 cannot be determined only by the moving direction of the specific part of the body such as the hand 2A, and cannot be determined unless the displacement amount of the specific part of the body is analyzed.
  • the second type of gesture GE2 is a gesture that is hardly recognized
  • the third type of gesture GE3 is the gesture that is hardly recognized.
  • the operator 2 When the distance D0 is equal to or less than the first set distance D1 (that is, when the information display device 1 is in the all-function mode), when the gesture operation is performed on the information display device 1, the operator 2 performs all kinds of gestures GE1. , GE2, and GE3 can be used.
  • the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2 (that is, when the information display device 1 is in the restricted function mode)
  • the operator 2 When the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2 (that is, when the information display device 1 is in the restricted function mode), the operator 2 performs the first type of gesture
  • GE1 and the second type of gesture GE2 can be used, the third type of gesture GE3 cannot be used.
  • the operator 2 can use the first type of gesture GE1.
  • the second type of gesture GE2 and the third type of gesture GE3 cannot be used.
  • FIG. 5 is a diagram illustrating an example of an image displayed on the screen 31 of the display unit 30 of the information display device 1 according to the first embodiment.
  • FIG. 5 shows an example of the display content when the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) is equal to or less than the first set distance D1.
  • the viewing program image 301 based on the video content is displayed on the entire screen 31 of the display unit 30.
  • a “MENU” icon 302 is displayed at the lower left of the screen 31.
  • the information display device 1 identifies a predetermined gesture of the operator 2 (a gesture whose instruction content is transition to the display content including the operation menu), or the operator 2 displays the “MENU” icon.
  • the display shown in FIG. 5 transitions to display contents (FIG. 6) including an operation menu.
  • FIG. 6 is a diagram illustrating another example of an image displayed on the screen 31 of the display unit 30 of the information display device 1 according to the first embodiment.
  • FIG. 6 shows an example of display contents when the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) is equal to or less than the first set distance D1.
  • FIG. 6 shows the display content after transition from the display content of FIG.
  • the screen 31 is divided into four areas. In the upper left area of the screen 31, a viewing program image 301 based on the video content is displayed. In the upper right area of the screen 31, content information 303 indicating information about the currently viewed program image 301 is displayed. In addition, content setting information 304 as an operation menu is displayed at the lower left of the screen 31.
  • the content setting information 304 includes operation information for the viewing program image 301, that is, information such as channel switching, volume adjustment, recording and playback, image quality and sound quality change, and communication method.
  • the application menu information 305 indicates information including an icon for selecting an application that the information display device 1 has.
  • the “return to program” icon 306 is an icon for transitioning from the display content of FIG. 6 to the display content of FIG. 5.
  • the information display device 1 When the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) is equal to or less than the first set distance D1, the information display device 1 is in the all function mode.
  • the content setting information 304 and the application menu information 305 which are operation menus shown in FIG. 6, are information related to functions that can be operated by the operator 2 in the all function mode.
  • the icons, characters, and pointers displayed on the screen 31 of the display unit 30 can be configured such that the size decreases when the distance D0 is small, and the size increases as the distance D0 increases. Thereby, the operator 2 can recognize that the information display device 1 grasps the distance between the operator 2 and the information display device 1. In other words, the fact that the information display device 1 recognizes the distance D0 can be fed back to the operator 2 through the sizes of icons, characters, pointers, and the like.
  • the optimum sizes of icons, characters, and pointers on the screen 31 are set in advance in the information display device 1. Therefore, in the information display device 1, even when these sizes are changed, the layout of each information on the screen 31 is collapsed, or the information display device 1 protrudes from the area of the screen 31 on which icons, characters, and pointers are displayed. For example, it is set so as not to cause a change that impairs visibility.
  • FIG. 7 is a diagram illustrating another example of an image displayed on the screen 31 of the display unit 30 of the information display device 1 according to the first embodiment.
  • FIG. 7 shows an example of display when the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2. In this case, the area of the screen 31 is not divided.
  • the viewing program image 301 based on the video content is shown on the entire screen 31 as a background image.
  • the application menu information 305 is shown on the entire screen 31 with the viewing program image 301 as a background.
  • the information display device 1 When the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2, the information display device 1 is in the function restriction mode.
  • functions that the operator 2 can perform gesture operations are limited to functions that are frequently used.
  • the operation information for the viewing program image 301 relates to a function that is less frequently used by the operator 2. Therefore, as shown in FIG. 7, the content setting information 304 shown in FIG. 6 is not displayed in the function restriction mode. Also, the content information 303 shown in FIG. 6 is not necessarily information that is frequently used by the operator 2, and is not displayed in the function restriction mode as shown in FIG.
  • a “movie” icon 305 ⁇ / b> A is an icon for displaying the video content of the movie on the information display device 1.
  • FIG. 7 shows that the “movie” icon 305A is selected by an arrow as a pointer.
  • the content displayed on the display unit 30 in the function restriction mode is not limited to the application menu information 305.
  • the operator 2 may select items frequently used in advance and perform ranking, and the information display device 1 may determine the content displayed on the display unit 30 based on the ranking information.
  • the information display device 1 counts the operation items used by the gesture of the operator 2 and stores the result of the count, whereby the information display device 1 determines the content displayed in the function restriction mode. It is also possible.
  • FIG. 8 is a diagram illustrating another example of an image displayed on the screen 31 of the display unit 30 of the information display device 1 according to the first embodiment.
  • the “movie” icon 305B in FIG. 8 has a thick frame around the “movie” icon 305B instead of being selected by a pointer (arrow).
  • the display of the selected icon can be changed according to the distance D0.
  • the size of the “movie” icon 305A (305B) or other icons and characters included in the application menu information 305 may be changed according to the distance D0.
  • FIG. 9 is a diagram illustrating another example of an image displayed on the screen 31 of the display unit 30 of the information display device 1 according to the first embodiment.
  • FIG. 9 shows an example of an image displayed on the screen 31 of the display unit 30 when the distance D0 exceeds the second set distance D2.
  • a viewing program image 301 based on video content is displayed on the entire screen 31 of the display unit 30.
  • the information display device 1 When the distance D0 exceeds the second set distance D2, the information display device 1 is in the specific function mode.
  • functions that the operator 2 can perform gesture operations are limited to functions that are used more frequently, for example, channel switching and volume change related to video content that the operator 2 is viewing.
  • the “MENU” icon 302 (FIG. 5) for transitioning to the display content including the operation menu is not displayed on the screen 31 of the display unit 30.
  • the functions of the information display device 1 are limited to functions that are frequently used by the operator 2, and information that is not frequently used by the operator 2 is not displayed on the display unit 30.
  • unnecessary information is not displayed, so that it is possible to avoid a situation in which the display content of the display unit 30 is difficult to be visually recognized by the operator.
  • FIGS. 10A and 10B are diagrams showing transition of display contents by the information display device 1 according to the first embodiment.
  • 10A and 10B show the display of the information display device 1 when the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) is equal to or less than the first set distance D1.
  • a mode that the display content of the part 30 changes is shown.
  • the display content of the display unit 30 in FIG. 10A is the same as the display content of the display unit 30 shown in FIG.
  • the display content of the display part 30 shown by FIG.10 (b) is the same as the display content of the display part 30 shown by FIG.
  • the operator 2 performs a gesture and selects the “MENU” icon 302 of the display unit 30 in FIG.
  • the display content of the display unit 30 is changed from the display content of FIG. 10A to FIG. Transition to the display content of.
  • the display shown in FIG. 10A is displayed from the display content of the display unit 30 shown in FIG. Transition to the display content of the unit 30.
  • FIGS. 11A and 11B are diagrams showing transition of display contents by the information display apparatus 1 according to the first embodiment.
  • 11A and 11B show a case where the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) is greater than the first set distance D1 and not more than the second set distance D2.
  • Fig. 5 shows how the display content of the display unit 30 of the information display device 1 changes.
  • the display content of the display unit 30 in FIG. 11A is the same as the display content of the display unit 30 shown in FIG.
  • the display content of the display part 30 shown by FIG.11 (b) is the same as the display content of the display part 30 shown by FIG.
  • the display content of the display unit 30 shown in FIG. 11B is changed from the display content of the display unit 30 shown in FIG. Transition to display contents.
  • the operator 2 performs a gesture and selects the “return to program” icon 306 shown in FIG. 7, the display contents of the display unit 30 shown in FIG. The display contents on the display unit 30 are transitioned to.
  • FIG. 12A shows the display unit 30 of the information display device 1 when the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) exceeds the second set distance D2. Indicates the display contents.
  • FIGS. 12B and 12C show examples of gestures performed by the operator 2.
  • the display content of the display unit 30 in FIG. 12A is the same as the display content of the display unit 30 in FIG.
  • the operator 2 performs a left / right swipe (moves the hand 2 ⁇ / b> A left or right in the direction of the arrow) when switching channels.
  • swipe up and down moves the hand 2A up or down in the direction of the arrow).
  • the operator 2 can operate the frequently used channel switching and volume adjustment functions with only gestures, without using the operation menu shown on the display unit 30.
  • a swipe that is a gesture used at this time is a gesture that is easily identified by the information display device 1. Therefore, even when the distance between the operator 2 and the information display device 1 is large, the possibility of being erroneously identified by the information display device 1 can be reduced.
  • the functions that can be operated by the operator 2 when the distance D0 exceeds the second set distance D2 are not limited to channel switching and volume adjustment. However, it is desirable that the gesture that can be used by the operator 2 is not identified by a displacement amount of a specific part such as the hand 2A of the operator 2, but is identified by the moving direction.
  • FIG. 13 is a flowchart showing an initial setting in the information display device 1 according to the first embodiment.
  • the information display device 1 sets the first set distance D1 (step S1).
  • the information display device 1 uses the gesture detection unit 10 to detect the hand 2A, the finger 2B, the face 2C, and the like of the operator 2 that are located at the first set distance D1 from the gesture detection unit 10 (or the display unit 30).
  • An image is taken, and the sizes of the hand 2A, finger 2B, face 2C, and the like included in the taken image are stored.
  • the information display device 1 stores, as shown in the detection area 201 in FIG. 3, the area and the vertical length of the detection area when the hands 2A, the fingers 2B, and the face 2C are set as the detection areas.
  • the information display device 1 sets a second set distance D2 (step S2). As in step S1, the information display device 1 images the operator 2 located at a position away from the gesture detection unit 10 (or display unit 30) by the second set distance D2, and stores the area of the detection region and the like. .
  • FIG. 14 is a flowchart showing the operation of the information display device 1 according to the first embodiment.
  • the gesture detection unit 10 starts capturing (detecting) a gesture using a predetermined gesture of the operator 2 as a trigger (step S10).
  • the predetermined gesture may be a pose with the hand 2A or a movement with the hand 2A.
  • the gesture detection unit 10 captures the gesture of the operator 2 and generates image data.
  • image data includes a plurality of people.
  • the image data includes a plurality of persons, for example, a method of performing gesture recognition for a person who first detects a predetermined part of the body or a method of performing gesture recognition for all persons is applied. .
  • the information display apparatus 1 determines whether the initial setting shown in FIG. 13, that is, the setting of the first setting distance D1 and the second setting distance D2 (steps S1 and S2) is completed (step S1). S11). If the initial setting has not been made, the information display device 1 performs the initial setting shown in FIG. 13 (step S12).
  • the distance estimation unit 21 estimates the distance D0 between the operator 2 and the gesture detection unit 10 (or display unit 30) (step S13).
  • the information display device 1 proceeds to step S15.
  • the distance D0 is greater than the first set distance D1 and equal to or less than the second set distance D2
  • the process proceeds to step S17 (step S14).
  • the identification function setting unit 22 sets the operation state of the information display device 1 to the all function mode (step S15).
  • the identification function setting unit 22 sets the operation state of the information display device 1 to the function restriction mode (step S16).
  • the identification function setting unit 22 sets the operation state of the information display device 1 to the specific function mode (step S17).
  • the display control unit 25 changes the layout in which the video content and the operation menu are displayed based on the operation state of the information display unit 1a, and causes the display unit 30 to display it. Further, the display control unit 25 adjusts the sizes of characters, icons, and pointers displayed on the display unit 30 based on the distance D0 (step S18).
  • the gesture identification unit 23 identifies a gesture based on the motion pattern indicated by the gesture of the operator 2 and the identifiable gesture restricted by the identification function setting unit 22 (step S19).
  • the gesture identification unit 23 determines the instruction content of the operator 2 with reference to the gesture DB 40a. At this time, when the time required for identifying the gesture exceeds the time limit, or when the operator 2 operates the information display device 1 with a remote controller or the like, the gesture identifying unit 23 stops the gesture identifying process (step S22).
  • the function execution unit 24 executes a function based on the instruction content (step S20).
  • the information display device 1 determines whether or not the operation by the gesture of the operator 2 is finished (step S21). If there is an operation by the operator 2 (NO in step S21), the gesture identifying unit 23 identifies the gesture of the operator 2.
  • ⁇ 1-3 Effect
  • the operator 2 is away from the display unit 30 of the information display device 1 (for example, the first set distance).
  • the identifiable gesture is set so that the number of identifiable gestures is reduced.
  • a gesture with a small amount of body movement is excluded from the identifiable gestures. By doing so, it is possible to make it difficult to erroneously identify the gesture of the operator 2.
  • the information display device 1 when the operator 2 is at a position away from the display unit 30 of the information display device 1 (for example, a position away from the first set distance D1). Limit identifiable gestures to gestures for frequently used functions. Thus, according to the information display device 1 according to the first embodiment, the number of identifiable gestures is reduced when the operator 2 is at a position away from the display unit 30 (for example, use of the operator). Therefore, it is possible to prevent erroneous recognition of the gesture of the operator 2.
  • the operation menu is enlarged and displayed even when the operator 2 is located away from the display unit 30. It is possible to suppress a decrease in visibility (visibility) of display contents on the display unit 30 and ease of operation (operability).
  • the information display device 1 may adopt a method using only one of the first set distance D1 and the second set distance D2, or a method using three or more set distances. May be.
  • Embodiment 2 In the first embodiment, when the gesture of the operator 2 is not identified (determined) by the information display device 1, the gesture identification determination process of the information display device 1 is stopped (step S22 in FIG. 14), and the gesture is again performed. The operation is performed. On the other hand, in Embodiment 2, it is displayed on the display part 30 that a gesture is not identified.
  • the configuration of the information display device in the second embodiment is the same as the configuration of the information display device 1 according to the first embodiment. Therefore, FIG. 1 is also referred to when describing the second embodiment.
  • FIG. 15 is a flowchart showing the operation of the information display apparatus according to Embodiment 2 of the present invention.
  • the same processing steps as those shown in FIG. 14 are denoted by the same reference numerals as those shown in FIG.
  • the gesture identification unit 23 identifies a gesture based on the motion pattern indicated by the gesture of the operator 2 and the identifiable gesture restricted by the identification function setting unit 22 (step S19).
  • the gesture identification unit 23 receives the operator via the function execution unit 24.
  • the display control unit 25 is notified that the second gesture cannot be identified.
  • the display control unit 25 displays on the display unit 30 that the gesture cannot be identified (step S23).
  • the display unit 30 displays that the gesture cannot be identified.
  • the display by the display unit 30 allows the operator 2 to grasp that the gesture has not been identified. For this reason, the operator 2 can select to perform gesture again or to operate with a device such as a remote controller.
  • a device such as a remote controller.
  • Embodiment 2 the information display apparatus and information display method according to Embodiment 2 are the same as the apparatus and method of Embodiment 1 except for the points described above.
  • the gesture detection unit 10 is installed in the main body of the information display device 1 (upper part of the display unit 30).
  • the gesture detection unit is provided at a position away from the information display unit including the display unit (display) 30 will be described.
  • FIG. 16 is a schematic diagram showing a usage state of the information display apparatus 100 according to Embodiment 3 of the present invention.
  • the information display device 100 includes an information display unit 1 a having a display unit 30 and a gesture detection unit 10 a.
  • the operator 2 performs a gesture and operates the information display unit 1a.
  • the gesture detection unit 10a is provided at a position away from the information display unit 1a, for example, on the wall surface of the room.
  • FIG. 17 is a block diagram schematically showing the configuration of the information display apparatus 100 according to the third embodiment. 17, components that are the same as or correspond to the components shown in FIG. 2 (Embodiment 1) are assigned the same reference numerals as those in FIG. As shown in FIG. 17, the information display apparatus 100 includes a gesture detection unit 10a and an information display unit 1a.
  • the gesture detection unit 10 a includes an imaging unit 13 and a transmission unit 11.
  • the imaging unit 13 captures the gesture GE of the operator 2 and generates image data.
  • the transmission unit 11 transmits the image data generated by the imaging unit 13 to the reception unit 12 of the information display unit 1a.
  • the reception unit 12 of the information display unit 1a receives the image data transmitted from the transmission unit 11 of the gesture detection unit 10a, and sends the received image data to the control unit 20.
  • the communication method between the transmission unit 11 and the reception unit 12 may be any of wireless communication such as Bluetooth (registered trademark), infrared communication, and Wi-Fi communication, and wired communication.
  • the gesture detection unit 10a is fixed at a position where the gesture of the operator 2 can be detected.
  • the information display unit 1a also includes position information (for example, indicated by XYZ coordinates) indicating the position where the gesture detection unit 10a is fixed, and position information (for example, XYZ) indicating the position of the display unit 30 of the information display unit 1a. (Indicated by coordinates).
  • the distance estimation unit 21 can estimate (calculate) the distance between the operator 2 and the display unit 30 based on the above-described position information and the image data received from the reception unit 12.
  • the gesture identification unit 23 can detect a movement pattern by analyzing the displacement of the body part (detection region) of the operator 2 included in the image data received from the reception unit 12.
  • the gesture detection unit 10a is provided at a position away from the information display unit 1a, the distance between the operator 2 and the display unit 30 can be estimated. Since the display content on the display unit 30 is changed according to the estimated distance, the information display device 100 can maintain good operability when the operator 2 operates the information display unit 1a.
  • the gesture detection unit 10 and the information display unit 1a are combined by updating the software of the information display unit 1a.
  • Such an information display device can be configured.
  • the information display apparatus according to Embodiment 3 can be applied to a conventional information display apparatus.
  • Embodiment 3 the information display apparatus and information display method according to Embodiment 3 are the same as the apparatus and method of Embodiment 1 or 2 except for the points described above.
  • ⁇ 4 Embodiment 4
  • the case where the gesture detection unit 10a is fixed at a predetermined position and the detection target (imaging target) by the gesture detection unit 10a is the operator 2 has been described.
  • an operation device as a gesture detection unit is attached to the body of the operator 2 who performs a gesture (for example, the operator holds the operation device in his hand), and the operation device as a gesture detection unit is used.
  • the detection target (imaging target) is, for example, a display unit of an information display device will be described.
  • FIG. 18 is a schematic diagram showing a usage state of the information display device 100a according to the fourth embodiment of the present invention.
  • the information display device 100 a includes an information display unit 1 b having a display unit 30 and an operation device 10 b as a gesture detection unit.
  • the operator 2 performs an operation signal to the reception unit 12 (shown in FIG. 19 described later) of the information display unit 1b by performing a gesture while the operation device 10b is attached to the body (for example, held in a hand). Enter.
  • the operator 2 moves (shakes) the operating device 10b to the left side, to the right side, to the upper side, or to the lower side, or to the character in the space with the operating device 10b. Then, an operation signal is input to the information display unit 1b by a gesture such as drawing a mark.
  • a gesture such as drawing a mark.
  • the shape and size of the operating device 10b are not limited to those shown in FIG. 18, and may be other shapes.
  • FIG. 19 is a block diagram schematically showing the configuration of the information display device 100a according to the fourth embodiment.
  • the same or corresponding components as those shown in FIG. 17 (Embodiment 3) are given the same reference numerals as those shown in FIG.
  • the operating device 10b includes an imaging unit 15 as a recognition sensor, a feature extraction unit 14, and a transmission unit 11.
  • the imaging unit 15 captures an area including the information display unit 1b as a subject while the operator 2 performs a gesture, and generates image data.
  • the imaging unit 15 is, for example, an RGB camera and a ToF sensor.
  • the RGB camera may be a camera mounted on a portable information terminal such as a smartphone in which software for realizing a communication function with the information display unit 1b is installed.
  • the feature extraction unit 14 extracts the feature of the gesture performed by the operator 2 from the image data generated by the imaging unit 15.
  • the feature of the gesture is that for a certain captured object (target object) included in the image data, by analyzing the amount of change of the target object in a plurality of still image data or moving image data arranged in time order, It is extracted as a motion vector (trajectory of movement of the operating device 10b).
  • the feature extraction unit 14 can use the display unit 30 of the information display unit 1b as an object included in the image data generated by the imaging unit 15.
  • the feature extraction unit 14 sends the generated image data, gesture features, and information about the area of the display unit 30 to the transmission unit 11.
  • the transmission unit 11 transmits the generated image data, the feature of the gesture, and information about the area of the display unit 30 of the information display unit 1b to the reception unit 12 of the information display unit 1b.
  • the information display device 100a estimates the distance between the operator 2 and the display unit 30 by performing the gesture while the operator 2 holds the operation device 10b. Can do. Since the display content of the information display device 100a is changed according to the estimated distance, the operability when the operator operates the information display device can be maintained.
  • the imaging unit 15 and the information display unit 1b are combined by updating the software of the information display unit 1b.
  • the information display device according to Embodiment 4 can be configured.
  • the information display apparatus according to Embodiment 4 can be applied to a conventional information display apparatus.
  • Embodiment 5 Embodiment 5
  • the environment for example, lighting conditions and natural light conditions
  • the information display device 1 or the information display units 1a and 1b
  • the image data generated by the information display device 1 is affected by disturbances such as shaking, illumination, and natural light (external light) depending on the environment of the place (for example, lighting conditions, natural light conditions, etc.)
  • the possibility that the display device 1 erroneously recognizes the content of the gesture operation by the operator 2 increases.
  • the information display device 1c according to the fifth embodiment includes the disturbance detection unit 26, thereby suppressing erroneous recognition due to the influence of the disturbance and improving the operability of the information display device 1c by gesture operation.
  • the information display device 1c according to the fifth embodiment and the information display device 1d according to the modification will be described with reference to FIGS.
  • FIG. 20 is a block diagram schematically showing the configuration of the information display device 1c according to the fifth embodiment of the present invention.
  • 20 components that are the same as or correspond to the components shown in FIG. 2 (Embodiment 1) are assigned the same reference numerals as those in FIG.
  • the information display device 1c according to the fifth embodiment is different from the first embodiment in that the control unit 20c has a disturbance detection unit 26 and the processing content of the distance estimation unit 21c of the control unit 20c. 1 is different from the information display device 1 according to FIG.
  • the disturbance detection unit 26 detects a movement in a plurality of frames of images (a plurality of pieces of image data) G1 generated by imaging in the gesture detection unit 10, and a predetermined fixed period is included in the detected movement.
  • a predetermined fixed period is included in the detected movement.
  • disturbances for example, vibrations, changes in lighting conditions, changes in natural light conditions, etc.
  • filter information G5 based on this determination ( Information used for processing to remove the influence of disturbance).
  • the filter information G5 generated by the disturbance detection unit 26 is sent to the distance estimation unit 21c.
  • the distance estimation unit 21c corrects the motion in the multiple frame images (multiple image data) G1. More specifically, the distance estimation unit 21c eliminates the influence of the disturbance by removing the regular motion component that is the influence of the disturbance from the image (multiple image data) G1 of the plurality of frames. Alternatively, an image (a plurality of pieces of image data) G3 having a plurality of frames (in which the influence of disturbance is reduced) is generated.
  • FIG. 21 is a block diagram schematically showing a configuration of an information display device 1d according to a modification of the fifth embodiment.
  • the same or corresponding components as those shown in FIG. 20 are denoted by the same reference numerals as those in FIG.
  • the information display device 1d is different from the information display device 1c according to the fifth embodiment in that it includes a disturbance detection unit 26d as a configuration outside the control unit 20d.
  • the control unit 20d of the information display device 1d performs the same control as the control unit 20c of the information display device 1c.
  • the disturbance detection unit 26d detects a movement in a plurality of frames of images (a plurality of pieces of image data) G1 generated by imaging in the gesture detection unit 10, and a predetermined fixed period is included in the detected movement. If the regular movement is included, the regular movement is judged as disturbance (for example, acceleration, vibration, tilt, change in lighting situation, change in natural light situation, etc.) and based on this judgment Filter information G5 (information used for processing to remove the influence of disturbance) is generated. In this way, the disturbance detection unit 26d is newly installed outside the control unit 20d, and can detect disturbances such as acceleration, vibration, inclination, lighting conditions, and natural light conditions, for example. An acceleration sensor, a vibration sensor, a tilt sensor, an optical sensor, or the like may be used.
  • the filter information G5 generated by the disturbance detection unit 26d is sent to the distance estimation unit 21d.
  • the distance estimation unit 21d corrects the motion in the multiple frame image (multiple image data) G1. More specifically, the distance estimation unit 21d removes a regular motion component that is an influence of a disturbance from a plurality of frames of image (a plurality of pieces of image data) G1, thereby eliminating the influence of the disturbance ( Alternatively, an image (a plurality of pieces of image data) G3 having a plurality of frames (in which the influence of disturbance is reduced) is generated.
  • FIG. 22 is a flowchart showing operations of the information display devices 1c and 1d according to the fifth embodiment. 22, the same reference numerals as those shown in FIG. 14 are given to the same processing steps as those shown in FIG. 14 (Embodiment 1). The process shown in FIG. 22 differs from the process shown in FIG. 14 in that steps S24 and S25 are included. Below, with reference to FIG. 22, the main part of operation
  • the gesture detection unit 10 starts imaging (detection) of a gesture using a predetermined gesture of the operator 2 as a trigger (step S10).
  • step S24 the disturbance detection unit 26 performs a disturbance detection process.
  • the distance estimation unit 21c corrects the influence of the disturbance by removing a regular motion component caused by the disturbance from the image data G1.
  • Step S25 the distance estimation unit 21c advances the process to step S11 without performing the process of correcting the influence of the disturbance.
  • the processing after step S11 is the same as the processing shown in FIG. 14 (Embodiment 1).
  • disturbance detection is performed after gesture detection is started (step S10), but gesture detection is started after disturbance detection (step S24) is performed (step S24). S10).
  • the information display device 1c and the information display method according to the fifth embodiment are the same as the devices and methods of the first to fourth embodiments.
  • the information display device 1d and the information display method according to the modification of the fifth embodiment are the same as the devices and methods of the first to fourth embodiments.
  • the influence of disturbance can be reduced, so that the accuracy of gesture recognition can be improved.
  • Embodiment 6 In Embodiments 1 to 5, the configuration in which the gesture is detected by the gesture detection unit 10 and the distance is measured without specifying the operator 2 has been described.
  • the operator recognition unit 27 specifies (recognizes) the operator 2 who performs the gesture operation from the image (image data) G1 generated by the gesture detection unit 10, and is registered in advance. A case where the distance is measured using the size information of the body part of the operator 2 will be described.
  • FIG. 23 is a block diagram schematically showing the configuration of the information display device 1e according to Embodiment 6 of the present invention.
  • constituent elements that are the same as or correspond to those shown in FIG. 2 (Embodiment 1) are assigned the same reference numerals as those in FIG.
  • the information display device 1e is configured to display the information according to the first embodiment in that the control unit 20e has an operator recognition unit 27 and the processing content of the distance estimation unit 21e of the control unit 20e. Different from device 1.
  • the operator recognizing unit 27 stores the initial setting information (predetermined first set distance D1 and second set distance D2) in the identification function setting unit 22, and the face image (face image) of the operator 2 Data) and the attribute information of the operator 2 are associated with each other (linked) and stored in advance.
  • the attribute information stored in the operator recognizing unit 27 includes information for determining the attribute of the operator 2 such as an adult or a child, a man or a woman, an age (age), and a nationality.
  • the attribute information is estimated from a part of the body that appears in an image generated by photographing by the gesture detection unit 10 such as a face, a physique, a hand size, and a skin color that are registered at the initial setting. It may be a thing, or may be selected by the operator 2 at the time of setting.
  • FIG. 24 is a flowchart showing the operation of the information display device 1e according to the sixth embodiment. 24, the same processing steps as those shown in FIG. 14 are denoted by the same reference numerals as those shown in FIG. The process shown in FIG. 24 is different from the process shown in FIG. 14 in that steps S26, S27, and S28 are included. Below, with reference to FIG. 24, the main part of operation
  • the gesture detection unit 10 starts imaging (detecting) a gesture using a predetermined gesture of the operator 2 as a trigger (step S10).
  • the information display device 1e determines whether the initial setting shown in FIG. 13, that is, the setting of the first setting distance D1 and the second setting distance D2 (steps S1 and S2) has been completed (step S1). S11). If the initial setting has not been made, the information display device 1e performs the initial setting shown in FIG. 13 (step S12).
  • step S26 when the operator recognition unit 27 starts detecting gestures and confirms whether initial settings including operator registration are performed (steps S10, S11, and S12), the operator recognition unit 27 performs an operator recognition process (step S26). ).
  • the operator recognizing unit 27 sets the operator 2, and displays the display setting information G4 and the image data G1 based on the setting of the operator 2 on the distance estimating unit 21e. (Step S27). If the operator 2 cannot be recognized (NO in step S26), the operator recognition unit 27 sets guest setting information and sends the guest setting information and the image data G1 to the distance estimation unit 21e (step S28).
  • the distance estimation unit 21e estimates the distance D0 between the operator 2 and the gesture detection unit 10 (or display unit 30) (step S13).
  • the process after step S13 in FIG. 24 is the same as the process after step S13 shown in FIG. 14 (Embodiment 1).
  • the operator recognizing unit 27 identifies (identifies) the operator 2, and the distance estimating unit 21e performs processing based on the attribute information of the operator 2 and the image data G1, thereby displaying the display unit.
  • 30 can also display the identification information of the operator 2. In this case, even if there are a plurality of people at the same distance from the information display device 1e, who the information display device 1e recognizes as the operator 2 among the plurality of people? , Can be communicated to the operator 2 itself. For this reason, the operator 2 can obtain favorable operability when performing a gesture operation on the information display device 1e.
  • the information display device 1e and the information display method according to the sixth embodiment since there is a plurality of persons and the operator 2 can be identified and the gesture can be recognized, the accuracy of the gesture recognition is improved. be able to.
  • the information display device 1e and the information display method according to the sixth embodiment are the same as the devices and methods according to the first to fourth embodiments.
  • the distance estimation unit 21 calculates the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) based on the gesture information G1 output from the gesture detection unit 10. It is assumed that the operator 2 is not on the left side or the right side of the gesture detection unit 10 (or the display unit 30).
  • the information display device 1f according to Embodiment 7 includes not only the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) but also the operator. 2 is on the left or right side of the front center position of the gesture detection unit 10 (or display unit 30). That is, when there are two persons (the operator 2 and the other person 3), the information display device 1f determines whether the operator 2 is on the left side or the right side of the front center position of the gesture detection unit 10. It has a function that can be distinguished.
  • FIG. 26 is a block diagram schematically showing the configuration of the information display device 1f according to Embodiment 7 of the present invention.
  • constituent elements that are the same as or correspond to those shown in FIG. 2 (Embodiment 1) are assigned the same reference numerals as those in FIG.
  • the information display device 1e is different from the first embodiment in that the distance estimation unit 21f of the control unit 20f has a left / right discrimination unit 21fa and the processing contents of the distance estimation unit 21f of the control unit 20f. This is different from the information display device 1 according to the above.
  • the left / right determination unit 21fa determines whether the divided area is on the right side or the left side. As a result, the left / right determination unit 21fa can determine whether the operator 2 is on the right side or the left side of the area divided into the left side and the right side of the frame image.
  • the left / right determination unit 21fa measures the distance from the gesture detection unit 10 to the operator 2 and the operator 2 divides the frame image into left and right parts It is possible to determine whether it is on the right side or the left side.
  • the left / right discriminating unit 21fa sits in a driver's seat where the operator 2 is sitting in the driver's seat (left side as viewed from the gesture detector 10 in the case of a right-hand drive vehicle) or in the passenger's seat in the interior space. Whether the person is on the right side as viewed from the gesture detection unit 10 in the case of a right-hand drive vehicle or the person sitting on the rear seat (right side or left side as viewed from the gesture detection unit 10 of the rear seat) Can be determined.
  • FIG. 27 is a flowchart showing the operation of the information display apparatus according to Embodiment 7 of the present invention.
  • the same reference numerals as those shown in FIG. 14 are given to the same processing steps as those shown in FIG.
  • the process shown in FIG. 27 is based on the point having steps S29 and S30 and the determination result in step S30, and the process in steps S14, S15, S16, and S17 or the processes in steps S14a, S15a, S16a, and S17a. This is different from the process shown in FIG. Below, with reference to FIG. 27, the main part of operation
  • the gesture detection unit 10 starts imaging (detection) of a gesture using a predetermined gesture of the operator 2 as a trigger (step S10).
  • the information display device 1f determines whether the initial setting shown in FIG. 13, that is, the setting of the first setting distance D1 and the second setting distance D2 (steps S1 and S2) is completed (step S1). S11). If the initial setting has not been made, the information display device 1 performs the initial setting shown in FIG. 13 (step S12).
  • the distance estimation unit 21f estimates the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) (step S13).
  • the left / right determination unit 21fa determines whether the operator 2 is left or right when viewed from the display unit 30 from the frame image captured and generated by the gesture detection unit 10a. Is determined (step S29).
  • the information display device 1f shifts to any mode based on the left or right distance D0 (step S30). ). If the operator 2 cannot determine whether the operator 2 is on the left side or the right side as viewed from the display unit 30, predetermined processing (for example, steps S14 to S17 or steps S14a to S17a) is performed. May be selected and notified to the display control unit 25 that it could not be determined, and displayed on the display unit 30. Further, it may be displayed on the display unit 30 that the operator 2 is on the left side or the right side as viewed from the display unit 30 or that the operator 2 cannot be discriminated.
  • predetermined processing for example, steps S14 to S17 or steps S14a to S17a
  • the distance estimation unit 21f includes a left / right determination unit 21fa.
  • the operator 2 is the operator 2 sitting in the driver's seat or the operator sitting in the passenger seat. By determining whether it is 2, the display content controlled by the display control unit 25 can be switched.
  • the information display device 1f displays all operations for which gesture operation is possible on the display unit 30, and the operator 2 is a person sitting in the passenger seat. In this case, the information display device 1f can cause the display unit 30 to display only functions that are not related to safety among the operations that allow gesture operations (restricted functions).
  • the distance estimation unit 21f estimates the distance D0 between the operator 2 and the gesture detection unit 10 (or the display unit 30) (step S13).
  • the information display device 1f determines that the process is performed if the distance D0 is equal to or less than the first set distance D1. If the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2, the process proceeds to step S16, and if the distance D0 exceeds the second set distance D2, the process is performed. The process proceeds to step S17 (step S14).
  • the information display device 1f performs the process if the distance D0 is equal to or less than the first set distance D1. Proceeding to step S15a, if the distance D0 is greater than the first set distance D1 and less than or equal to the second set distance D2, the process proceeds to step S16a, and if the distance D0 exceeds the second set distance D2, the process proceeds to step S15a. The process proceeds to S17a (step S14a). Steps S15a, S16a, and S17a are the same processes as steps S15, S16, and S17, except that the operator 2 is on the right side.
  • the information display device 1f and the information display method according to the seventh embodiment it is possible to determine in which direction the operator 2 is seen from the information display device 1f, and the determined direction (for example, left side or The operation content (display content on the display unit 30) can be switched according to the right side).
  • the information display device 1f and the information display method according to the seventh embodiment are the same as the devices and methods of the first to fourth embodiments.
  • FIG. 28 is a hardware configuration diagram showing a configuration of a modified example of the information display device according to the first to seventh embodiments.
  • the information display device according to the first to seventh embodiments uses a memory 91 as a storage device that stores a program as software, and a processor 92 as an information processing unit that executes the program stored in the memory 91 ( For example, by a computer).
  • the storage unit 40 shown in FIGS. 2, 17, and 19 corresponds to the memory 91 in FIG. 28, and the control unit 20 shown in FIGS. This corresponds to the processor 92 that executes the program in FIG.
  • a part of the control unit 20 shown in FIGS. 2, 17, and 19 may be realized by the memory 91 and the processor 92 in FIG.
  • the present invention can be modified without departing from the spirit of the present invention.
  • the disturbance suppressing function of the fifth embodiment the function of obtaining the distance using the operator recognition result of the sixth embodiment, and the direction of the operator of the seventh embodiment (left side or right side when viewed from the apparatus) It is possible to arbitrarily combine the function of switching display contents in accordance with.
  • the present invention is applicable to various information display devices such as a digital signage system installed in a television, a PC, a car navigation system, a rear seat entertainment system (RSE), a station, an airport, and the like.
  • a digital signage system installed in a television, a PC, a car navigation system, a rear seat entertainment system (RSE), a station, an airport, and the like.
  • RSE rear seat entertainment system
  • 1, 1c, 1d, 1e, 1f Information display device 1a, 1b information display unit, 2 operators, 10, 10a gesture detection unit, 10b operation device, 11 transmission unit, 12 reception unit, 14 feature extraction unit, 20, 20c, 20d, 20e, 20f control unit, 21, 21c, 21d, 21e, 21f distance estimation unit, 21fa left / right discrimination unit, 22 identification function setting unit, 23 gesture identification unit, 24 function execution unit, 25 display control unit, 26 Disturbance detection unit, 27 operator recognition unit, 30 display unit, 31 screen.

Abstract

情報表示装置は、表示制御部(25)と、ジェスチャー検出部(10)と、ジェスチャー情報に基づいて操作者のジェスチャーの識別を行い、識別の結果に基づく信号を出力するジェスチャー識別部(23)と、操作者(2)と表示部(30)との間の距離を推測する距離推測部(21)と、推測された距離が第1の設定距離を超えているときにジェスチャー識別部(23)によって識別可能なジェスチャーの個数が、推測された距離が第1の設定距離以下であるときにジェスチャー識別部(23)によって識別可能なジェスチャーの個数より少なくなるように、ジェスチャー識別部(23)によって識別可能なジェスチャーを設定する識別機能設定部(22)とを有する。

Description

情報表示装置及び情報表示方法
 本発明は、操作者(ユーザー)が行うジェスチャーによって操作者の指示が入力される情報表示装置及び情報表示方法に関するものである。
 近年、テレビ(放送受信機)、PC(Personal Computer)、カーナビゲーションシステム、及びデジタルサイネージシステム等のユーザーインタフェースとして、ジェスチャーUI(User Interface)が採用され始めている。ジェスチャーUIは、操作者の身体の動き及び身体の形状(例えば、手の動き、手の形状、指の動き、及び指の形状等)のようなジェスチャーにより、操作者が機器を操作することを可能にする。例えば、手の動きに応じて表示部(ディスプレイ)の画面上のポインタを移動させるハンドポインティングを利用するジェスチャーUIは、操作者が手でポインタ位置を指し示すというジェスチャーを行うと、このジェスチャーに応じて画面上のポインタを移動させる。
 ジェスチャーUIは、RGB(赤、緑、青)カメラなどの撮像装置又はToF(Time of Flight)センサ等のようなジェスチャー検出部(センサ部)を用いることによって操作者のジェスチャーを検出(撮像)する。ジェスチャーUIは、操作者を撮像することによって得られた画像データを解析してジェスチャーを識別(特定)し、ジェスチャーが意味する指示内容を示す信号を出力する。しかし、操作者がジェスチャー検出部(センサ部)から離れるほど、撮像によって生成された各フレームの画像における操作者のサイズは小さくなり、操作者のジェスチャーによる身体の部位の移動量も小さくなる。このように、操作者がジェスチャー検出部から離れた位置にいる場合には、ジェスチャーUIは、身体の部位の小さな移動に基づいてジェスチャーを識別(特定)し、ジェスチャーが示す指示内容を示す信号を出力しなければならない。このため、ジェスチャーUIでは、操作者がジェスチャー検出部から離れたときに、ジェスチャーを誤って識別(特定)する又はジェスチャーを識別することができないという問題が発生する。
 また、特許文献1は、画像処理装置において、ジェスチャー検出部としての撮像装置によって生成された画像における検出対象の位置及び大きさに基づいて、操作対象領域を設定することを提案している。この画像処理装置では、操作者の手又は顔を検出対象とすることによって、設定される操作対象領域とこの操作対象領域に含まれる操作者の手又は顔の大きさとの比率は、一定に保たれる。これにより、操作者による操作性が向上する。
特開2013-257762号公報
 しかしながら、上記いずれの従来技術においても、操作者がジェスチャー検出部から離れるほど、撮像によって生成された各フレームの画像における操作者のサイズは小さくなるので、ジェスチャーUIによるジェスチャーの誤識別が発生しやすくなるという問題がある。
 そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、操作者が情報表示装置から離れた位置にいる場合であっても、操作者のジェスチャーの誤識別が発生し難い情報表示装置及び情報表示方法を提供することを目的とする。
 本発明に係る情報表示装置は、表示部に情報を表示させる表示制御部と、操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出部と、前記ジェスチャー検出部で生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を出力するジェスチャー識別部と、前記操作者と前記表示部との間の距離を推測する距離推測部と、予め決められた第1の設定距離を記憶し、前記距離が前記第1の設定距離を超えているときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別部によって識別可能なジェスチャーを設定する識別機能設定部と、を有することを特徴とする。
 本発明に係る情報表示方法は、表示部に情報を表示させる情報表示装置が実行する情報表示方法であって、操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出ステップと、前記ジェスチャー検出ステップにおいて生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を生成するジェスチャー識別ステップと、前記操作者と前記表示部との間の距離を推測する距離推測ステップと、前記距離が予め決められた第1の設定距離を超えているときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別ステップにおいて識別可能なジェスチャーを設定する識別機能設定ステップと、を有することを特徴とする。
 本発明においては、操作者が情報表示装置の表示部から離れた位置にいる場合に、識別可能なジェスチャーの個数が少なくなるように、識別可能なジェスチャーを設定する。このように、本発明によれば、操作者が表示部から離れた位置にいる場合に、例えば、身体の移動量の小さいジェスチャーを識別可能なジェスチャーから除外することによって、操作者のジェスチャーの誤識別を発生し難くすることができる。
本発明の実施の形態1に係る情報表示装置の使用状態を示す概略図である。 実施の形態1に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態1に係る情報表示装置が、操作者を撮像することによって取得した画像の一例を示す図である。 実施の形態1に係る情報表示装置の動作状態を示す概略図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の一例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 実施の形態1に係る情報表示装置の表示部に表示された画像の他の例を示す図である。 (a)及び(b)は、実施の形態1に係る情報表示装置の表示部に表示された画像の遷移(操作者が表示部に近い位置にいる場合)を示す図である。 (a)及び(b)は、実施の形態1に係る情報表示装置の表示部に表示された画像の遷移(操作者が表示部から遠い位置にいる場合)を示す図である。 (a)から(c)は、実施の形態1に係る情報表示装置の使用状態を示す概略図である。 実施の形態1に係る情報表示装置における初期設定を示すフローチャートである。 実施の形態1に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態2に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態3に係る情報表示装置の使用状態を示す概略図である。 実施の形態3に係る情報表示装置の構成を概略的に示すブロック図である。 本発明の実施の形態4に係る情報表示装置の使用状態を示す概略図である。 実施の形態4に係る情報表示装置の構成を概略的に示すブロック図である。 本発明の実施の形態5に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態5の変形例に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態5に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態6に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態6に係る情報表示装置の動作を示すフローチャートである。 本発明の実施の形態7に係る情報表示装置の使用状態を示す概略図である。 実施の形態7に係る情報表示装置の構成を概略的に示すブロック図である。 実施の形態7に係る情報表示装置の動作を示すフローチャートである。 実施の形態1から7に係る情報表示装置の変形例の構成を示すハードウェア構成図である。
《1》実施の形態1
《1-1》構成
 図1は、本発明の実施の形態1に係る情報表示装置1の使用状態を示す概略図である。図1に示されるように、情報表示装置1は、ディスプレイとしての表示部30と、撮像装置(カメラ)又はToFなどの撮像部としてのジェスチャー検出部(センサ部)10とを備えている。情報表示装置1は、操作者(ユーザー)2が行うジェスチャーによって、情報表示装置1を操作するジェスチャーUIを備えている。実施の形態1においては、ジェスチャー検出部10は、情報表示装置1の本体上部に取り付けられている。ただし、ジェスチャー検出部10は、情報表示装置1の本体内部に収納されてもよいし、情報表示装置1の本体の近傍に備えられてもよい。また、ジェスチャー検出部10と情報表示装置1の本体との位置関係を示す情報を情報表示装置1が保持する場合には、ジェスチャー検出部10は、情報表示装置1の本体から離れた位置に備えられてもよい。操作者2は、操作者2の身体の動き及び形状(例えば、手2A及び指2Bによる予め決められた動作及びポーズ、又は、顔2Cの表情など)であるジェスチャーによって、情報表示装置1に指示情報を入力する。ジェスチャーとしては、例えば、操作者2が、手2Aを右横方向に動かす動作、手2Aを左横方向に動かす動作、手2Aを上方向に動かす動作、手2Aを下方向に動かす動作、指2Bで指し示す動作、手2Aと指2Bでピースサインを形成する動作等を挙げることができる。
 図2は、実施の形態1に係る情報表示装置1の構成を概略的に示すブロック図である。情報表示装置1は、実施の形態1に係る情報表示方法を実施することができる装置である。図2に示されるように、情報表示装置1は、撮像部であるジェスチャー検出部10と、制御部20とを備えている。また、情報表示装置1は、ディスプレイとしての表示部30と、メモリなどの記憶部40とを備えてもよい。制御部20は、距離推測部21と、識別機能設定部22と、ジェスチャー識別部(ジェスチャー判定部)23と、表示制御部25とを有している。また、情報表示装置1は、機能実行部24を有してもよい。
 ジェスチャー検出部10は、操作者2によって行われるジェスチャーGEに基づくジェスチャー情報G1を生成する。例えば、ジェスチャー検出部10は、操作者2のジェスチャーGEを撮像し、ジェスチャーGEに応じた画像データを含むジェスチャー情報G1を生成する。画像データは、例えば、時間順に並ぶ複数フレームの静止画像データ、又は、動画像データである。なお、実施の形態1においては、ジェスチャー検出部10が撮像部である場合を説明するが、ジェスチャー検出部10は、操作者2のジェスチャーに応じたジェスチャー情報を生成することができる装置であれば、操作者2の身体の一部に装備される操作装置(実施の形態4で説明される)などのような他の装置であってもよい。
 ジェスチャー識別部23は、ジェスチャー検出部10で生成されたジェスチャー情報G1に基づいてジェスチャーの識別(特定)を行い、この識別の結果に基づく信号G2を出力する。ここで、ジェスチャーの識別とは、操作者2が行うジェスチャーがどのような指示内容を示すジェスチャーであるかを特定する処理のことである。
 ジェスチャー識別部23は、ジェスチャー検出部10によって生成された画像データからジェスチャーの動きパターンを検出する。このとき、ジェスチャー識別部23は、時間順に並ぶ複数フレームの静止画像データ又は動画像データから、操作者2の身体の部位を含む検出領域の変位を解析することによって、ジェスチャーの動きパターンを検出する。
 また、ジェスチャー検出部10が被写体の奥行きの情報を取得することができるステレオカメラである場合には、ジェスチャー識別部23は、操作者2の身体の部位を含む検出領域の3次元位置を推測することによって、ジェスチャーの動きパターンを検出する。
 また、ジェスチャー検出部10が1つのレンズを有する単眼カメラである場合には、ジェスチャー識別部23は、距離推測部21で推測した距離D0と、検出領域の画像データとに基づいて、ジェスチャーの動きパターンを検出する。
 記憶部40は、複数の基準ジェスチャーと複数の基準ジェスチャーの各々に対応する指示内容とを関連付けたジェスチャーデータベース(DB)40aを記憶している。ジェスチャー識別部23は、検出した動きパターンとジェスチャーDB40aとして記憶されている複数の基準ジェスチャーの各々とを比較し、記憶された複数の基準ジェスチャーから、検出した動きパターンに対応するものを特定する。ジェスチャー識別部23は、特定された基準ジェスチャーに関連付けられた指示内容が、操作者2の指示内容であると判定する。なお、ジェスチャーDB40aとして記憶部40に記憶されるジェスチャー及び指示内容は、予め記憶されている。また、操作者2が、ジェスチャーとこれに対応する指示内容を決定し、ジェスチャーDB40aとして記憶部40に記憶させることも可能である。
 距離推測部21は、ジェスチャー検出部10から出力されたジェスチャー情報G1に基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測して、距離D0を示す距離情報G3を識別機能設定部22及び表示制御部25に与える。図1に示されるように、実施の形態1においては、操作者2と表示部30との間の距離は、操作者2とジェスチャー検出部10との間の距離に等しいか、又は、操作者2とジェスチャー検出部10との間の距離と一定の関係があり、算出可能である。例えば、距離推測部21は、画像データに含まれる操作者2の身体の特定部位を検出領域として検出し、各フレームの画像における検出領域の大きさに基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測(算出)する。ただし、距離推測部21は、他の方法で距離D0を算出してもよい。
 図3は、実施の形態1に係る情報表示装置1のジェスチャー検出部10が、操作者2を撮像することによって取得した画像200の一例を示す図である。距離推測部21は、画像200に含まれる操作者2の手2Aを、検出領域201として検出する。ここで、距離推測部21は、画像に含まれる色の情報から操作者の肌の色を検出し、操作者の身体の特定部位を検出領域としている。また、検出領域が顔である場合には、顔の部位(目、鼻、口等)を判定した後に、顔全体の領域を判定することも可能である。また、距離推測部21は、画像中に探索窓を設けて、分類器により顔の領域か否かを判定する方法により、顔を判定するなどの、他の方法を採用してもよい。例えば、操作者2の顔と手2Aの両方を検出領域としても良い。距離推測部21は、画像200における検出領域201の大きさに基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測(算出)する。
 距離推測部21による、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0の推測としては、距離D0を推測する場合と、操作者2が、予め決められた基準距離よりも表示部30に近い位置にいるか又は遠い位置にいるかを判定する場合とがある。
 操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測(算出)する場合、距離推測部21は、画像200における検出領域201の大きさと距離D0との間の相関データを、予め記憶しておく。距離推測部21は、この相関データに基づいて、生成された画像200における検出領域201の大きさから、距離D0を推測(算出)する。検出領域201の大きさは、検出領域201の面積、又は、検出領域201の縦の長さLv及び横の長さLhの少なくとも一方により導出可能である。
 操作者2が、予め決められた基準位置よりも表示部30に近い位置にいるか又は遠い位置にいるかを判定する場合、距離推測部21は、操作者2がジェスチャーを行う予定である位置を基準位置として、その基準位置及び基準位置における画像200における検出領域201の大きさを相関データとして予め記憶しておく。距離推測部21は、相関データに基づいて、生成された画像200における検出領域201の大きさから、操作者2が基準位置よりも近い位置にいるか又は遠い位置にいるかを判定する。この場合には、制御部20における計算量が低減される。
 識別機能設定部22は、予め決められた第1の設定距離D1を記憶し、距離D0が第1の設定距離を超えているときにジェスチャー識別部23によって識別可能なジェスチャーの個数が、距離D0が第1の設定距離D1以下であるときに、ジェスチャー識別部23によって識別可能なジェスチャーの個数より少なくなるように、ジェスチャー識別部23によって識別可能なジェスチャーを設定する。第1の設定距離D1は、情報表示装置1の使用を開始する際に予め設定される。
 識別機能設定部22は、距離D0が第1の設定距離D1以下である場合、ジェスチャー識別部23によって識別可能なジェスチャーを制限しない。このとき、情報表示装置1の動作状態を、全機能モードという。識別機能設定部22は、識別可能なジェスチャーをジェスチャー識別部23に通知し、情報表示装置1の動作状態を表示制御部25に通知する。
 識別機能設定部22は、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、ジェスチャー識別部23によって識別可能なジェスチャーを制限する。ここで、制限された識別可能なジェスチャーは、操作者2の利用頻度の高い機能のためのジェスチャーである。このとき、情報表示装置1の動作状態を、制限機能モードという。
 識別機能設定部22は、距離D0が第2の設定距離D2より大きい場合、ジェスチャー識別部23によって識別可能なジェスチャーをさらに制限する。ここで、さらに制限された識別可能なジェスチャーは、操作者2の利用頻度のさらに高い機能のためのジェスチャーである。このとき、情報表示装置1の動作状態を、特定機能モードという。
 識別機能設定部22で基準となる距離D2は、ジェスチャー識別部23でのジェスチャーの認識が困難である距離とする。この距離D2は、ジェスチャー検出部10で使用されるカメラの解像度といったセンサ性能、分光フィルタ情報、MTF(Modulation Transfer Function)等のレンズ性能、照明光の色及び照度といった照明環境の情報、並びに、検出対象物の大きさ及び色情報、のいずれか又は全てをもとに設定される。
 機能実行部24は、ジェスチャー識別部23から出力された信号G2に基づく機能を実行する。また、機能実行部24は、機能を実行した結果を、表示制御部25に通知する。
 表示制御部25は、表示部30の表示動作を制御する。例えば、表示制御部25は、操作メニューを生成し、操作メニューを表示部30に表示させる。表示制御部25は、識別機能設定部22によって設定された動作状態が、全機能モード、制限機能モード、特定機能モードのいずれであるかに応じて、表示部30の表示レイアウト、及び、表示内容を設定する。また、表示制御部25は、距離推測部21によって推測(算出)された距離D0に基づいて、表示部30に表示される文字、アイコン、及びポインタのサイズを調整してもよい。例えば、表示制御部25は、距離D0が小さい場合は、表示される文字、アイコン、及びポインタのサイズを小さくし、距離D0が大きくなるにつれて、表示される文字、アイコン、及びポインタのサイズを大きくする。このようにすることで、アイコン、文字、及びポインタ等の視認性が保たれる。また、表示制御部25は、機能実行部24から通知された結果を表示部30に表示させる。
《1-2》動作
 図4は、実施の形態1に係る情報表示装置1の動作状態を示す概略図である。図4は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0と、操作者2が情報表示装置1をジェスチャー操作するときに、情報表示装置1によって識別可能(使用可能)なジェスチャーの種類と、情報表示装置1の状態との関係を示す。図4の例では、情報表示装置1をジェスチャー操作するときに、識別可能(使用可能)なジェスチャーが、3種類のジェスチャーGE1、GE2、GE3に分類されている。3種類のジェスチャーは、情報表示装置1による識別の容易さが異なる。例えば、第1の種類のジェスチャーGE1は、操作者2が手を振る動作であるスワイプであり、第2の種類のジェスチャーGE2は、操作者2が指で方向又は位置を示す動作であるポインティングであり、第3の種類のジェスチャーGE3は、操作者2が手の形状を特定の形状にするポーズである。第1の種類のジェスチャーGE1は、手2A等の身体の特定部位の移動方向のみで判別され得るジェスチャーである。これに対し、第3の種類のジェスチャーGE3は、手2A等の身体の特定部位の移動方向のみでは判別不可能であり、身体の特定部位の変位量まで解析しなければ判別することができない。このように、第2の種類のジェスチャーGE2は、少し認識され難いジェスチャーであり、第3の種類のジェスチャーGE3は、最も認識され難いジェスチャーである。
 距離D0が第1の設定距離D1以下である場合(すなわち、情報表示装置1が全機能モードである場合)、情報表示装置1をジェスチャー操作するときに、操作者2はすべての種類のジェスチャーGE1、GE2、GE3を用いることができる。距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合(すなわち、情報表示装置1の状態が制限機能モードである場合)、操作者2は、第1の種類のジェスチャーGE1及び第2の種類のジェスチャーGE2を用いることができるが、第3の種類のジェスチャーGE3を用いることができない。距離D0が第2の設定距離D2を超えている場合(すなわち、情報表示装置1の状態が特定機能モードである場合)、操作者2は、第1の種類のジェスチャーGE1を用いることができるが、第2の種類のジェスチャーGE2及び第3の種類のジェスチャーGE3を用いることができない。
 図5は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の一例を示す図である。図5は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合の、表示内容の一例を示す。この場合、表示部30の画面31全体に、映像コンテンツに基づく視聴番組画像301が表示されている。また、画面31の左下には、「MENU」アイコン302が表示されている。ここで、情報表示装置1が操作者2の予め決められたジェスチャー(操作メニューを含む表示内容に遷移することを指示内容とするジェスチャー)を識別した場合、又は、操作者2が「MENU」アイコン302を選択する操作を行った場合、図5に示される表示は、操作メニューを含む表示内容(図6)に遷移する。
 図6は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の他の例を示す図である。図6は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合の、表示内容の例を示す。図6は、図5の表示内容から遷移した後の表示内容を示す。図6においては、画面31は4つの領域に分割されている。画面31の左上の領域には、映像コンテンツに基づく視聴番組画像301が表示される。また、画面31の右上の領域には、現在視聴中の視聴番組画像301についての情報を示すコンテンツ情報303が表示される。また、画面31の左下には、操作メニューとしてのコンテンツ設定情報304が表示される。画面31の中央の右下側には、操作メニューとしてのアプリケーションメニュー情報305が表示される。コンテンツ設定情報304は、視聴番組画像301に対する操作情報、すなわち、チャネル切り替え、音量調整、録画及び再生、画質及び音質変更、通信方式等の情報を含む。アプリケーションメニュー情報305は、情報表示装置1が持つアプリケーションを選択するためのアイコンを含む情報を示す。また、「番組に戻る」アイコン306は、図6の表示内容から図5の表示内容に遷移するためのアイコンである。
 操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合、情報表示装置1は、全機能モードである。図6に示される操作メニューである、コンテンツ設定情報304及びアプリケーションメニュー情報305は、全機能モードにおいて操作者2が操作可能な機能に関する情報である。
 表示部30の画面31に示されるアイコン、文字、及びポインタは、距離D0が小さい場合はサイズが小さくなり、距離D0が大きくなるにつれてサイズが大きくなる構成とすることができる。これにより、操作者2は、情報表示装置1が、操作者2と情報表示装置1との間の距離を把握していることを認識することができる。言い換えれば、情報表示装置1が距離D0を認識していることを、アイコン、文字、及びポインタ等のサイズを通して、操作者2にフィードバックすることができる。
 なお、画面31におけるアイコン、文字、及びポインタの最適なサイズは、情報表示装置1において、予め設定されている。そのため、情報表示装置1においては、これらのサイズが変更される場合であっても、画面31における各情報のレイアウトが崩れたり、アイコン、文字、及びポインタが表示された画面31の領域からはみ出したりする等、視認性が損なわれるほどの変化が生じないように設定されている。
 図7は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の他の例を示す図である。図7は、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合の、表示の一例を示す。この場合、画面31の領域は、分割されていない。映像コンテンツに基づく視聴番組画像301は、背景画像として画面31の全体に示されている。また、アプリケーションメニュー情報305は、視聴番組画像301を背景として、画面31の全体に示されている。
 距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、情報表示装置1は、機能制限モードである。機能制限モードにおいて、操作者2がジェスチャー操作することができる機能は、利用頻度が高い機能に制限される。視聴番組画像301に対する操作情報は、操作者2の利用頻度が低い機能に関するものである。そのため、図7に示されるように、図6において示されていたコンテンツ設定情報304は、機能制限モードでは表示されていない。また、図6において示されていたコンテンツ情報303も、必ずしも操作者2にとって利用頻度が高い情報ではないため、図7に示されるように、機能制限モードでは表示されていない。なお、図7において、「映画」アイコン305Aは、情報表示装置1に映画の映像コンテンツを表示させるためのアイコンである。図7においては、「映画」アイコン305Aが、ポインタとしての矢印によって選択されている様子が示されている。
 このように、機能制限モードでは、表示部30には、操作者2の利用頻度の低い情報は表示されず、操作者2の利用頻度の高いアプリケーションメニュー情報305が表示部30の画面31全体に大きく表示されることになる。このため、表示部30から離れたとしても、操作者2は、表示部30の表示内容を視認することができる。また、利用頻度の高い情報が表示されるため、操作者2が情報表示装置1を操作する場合、情報表示装置1の操作性を保つことができる。
 なお、機能制限モードにおいて表示部30に表示される内容は、アプリケーションメニュー情報305に限定されない。例えば、操作者2が予め頻繁に使用する項目を選択して順位付けを行い、情報表示装置1が、順位情報に基づいて表示部30に表示される内容を決定してもよい。
 また、情報表示装置1が操作者2のジェスチャーによって使用された操作項目をカウントし、カウントの結果を記憶しておくことによって、情報表示装置1は、機能制限モードで表示される内容を決定することも可能である。
 図8は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示される画像の他の例を示す図である。図8における「映画」アイコン305Bは、ポインタ(矢印)によって選択される代わりに、「映画」アイコン305Bの枠が太枠になっている。このように、距離D0に応じて、選択されたアイコンの表示を変更することができる。なお、距離D0に応じて、「映画」アイコン305A(305B)又はアプリケーションメニュー情報305に含まれる他のアイコン及び文字等のサイズが変更される構成とすることもできる。
 図9は、実施の形態1に係る情報表示装置1の表示部30の画面31に表示された画像の他の例を示す図である。図9は、距離D0が第2の設定距離D2を超えているときに、表示部30の画面31に表示される画像の例を示す。図9に示される例においては、表示部30の画面31全体に、映像コンテンツに基づく視聴番組画像301が表示されている。
 距離D0が第2の設定距離D2を超えている場合には、情報表示装置1は、特定機能モードである。特定機能モードにおいて、操作者2がジェスチャー操作することができる機能は、利用頻度がより高い機能、例えば、操作者2が視聴中の映像コンテンツに関する、チャネル切り替え及び音量の変更等に制限される。このため、特定機能モードにおいて、表示部30の画面31には、操作メニューを含む表示内容に遷移するための「MENU」アイコン302(図5)は、表示されない。このように、情報表示装置1の機能は操作者2の利用頻度の高い機能に制限され、表示部30には操作者2の利用頻度が低い情報は表示されない。このように、操作者2が表示部30からさらに離れたとしても、不必要な情報が表示されないため、表示部30の表示内容が操作者に視認しづらくなる状況を回避することができる。
 図10(a)及び(b)は、実施の形態1に係る情報表示装置1による表示内容の遷移を示す図である。図10(a)及び(b)は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1以下である場合に、情報表示装置1の表示部30の表示内容が遷移する様子を示す。図10(a)における表示部30の表示内容は、図5に示される表示部30の表示内容と同じである。また、図10(b)に示される表示部30の表示内容は、図6に示される表示部30の表示内容と同じである。操作者2が、ジュスチャーを行って図10(a)の表示部30の「MENU」アイコン302を選択すると、表示部30の表示内容は、図10(a)の表示内容から図10(b)の表示内容に遷移する。また、操作者2がジェスチャーを行い、「番組に戻る」アイコン306(図6)を選択すると、図10(b)に示される表示部30の表示内容から、図10(a)に示される表示部30の表示内容に遷移する。
 図11(a)及び(b)は、実施の形態1に係る情報表示装置1による表示内容の遷移を示す図である。図11(a)及び(b)は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合に、情報表示装置1の表示部30の表示内容が遷移する様子を示す。図11(a)における表示部30の表示内容は、図5に示される表示部30の表示内容と同じである。また、図11(b)に示される表示部30の表示内容は、図7に示される表示部30の表示内容と同じである。操作者2がジュスチャーを行い、図5に示される「MENU」アイコン302を選択すると、図11(a)に示される表示部30の表示内容から、図11(b)に示される表示部30の表示内容に遷移する。また、操作者2がジェスチャーを行い、図7に示される「番組に戻る」アイコン306を選択すると、図13(b)に示される表示部30の表示内容から、図11(a)に示される表示部30の表示内容に遷移する。
 図12(a)から(c)は、実施の形態1に係る情報表示装置1の使用状態を示す概略図である。図12(a)は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0が第2の設定距離D2を超えている場合に、情報表示装置1の表示部30の表示内容を示す。また、図12(b)及び(c)は、操作者2が行うジェスチャーの一例を示す。図12(a)における表示部30の表示内容は、図9における表示部30の表示内容と同じである。操作者2は、図11(b)に示されるように、チャネルを切り替えるときは、左右スワイプ(手2Aを矢印方向である左又は右に移動させる)を行う。また、音量を調節するときは、上下スワイプ(手2Aを矢印方向である上又は下に移動させる)を行う。
 このように、操作者2は、表示部30に示される操作メニューによらずに、利用頻度が高いチャネル切替及び音量調整の機能を、ジェスチャーのみで操作することが可能となる。また、このときに使用されるジェスチャーであるスワイプは、情報表示装置1によって容易に識別されるジェスチャーである。そのため、操作者2と情報表示装置1との間の距離が大きい場合でも、情報表示装置1によって誤識別される可能性を低くすることができる。
 なお、距離D0が第2の設定距離D2を超える場合に、操作者2が操作可能な機能は、チャネル切替及び音量調整に限られない。だだし、操作者2が用いることができるジェスチャーは、操作者2の手2A等の特定部位の変移量によって識別されるものではなく、移動方向によって識別されるものであることが望ましい。
 図13は、実施の形態1に係る情報表示装置1における初期設定を示すフローチャートである。情報表示装置1は、第1の設定距離D1を設定する(ステップS1)。情報表示装置1は、ジェスチャー検出部10(又は表示部30)から第1の設定距離D1だけ離れた位置にいる操作者2の手2A、指2B、及び顔2C等を、ジェスチャー検出部10によって撮像し、撮像した画像に含まれる手2A、指2B、及び顔2C等の大きさを記憶する。ここで、情報表示装置1が記憶するものは、図3の検出領域201に示されるように、手2A、指2B、及び顔2Cを検出領域とした場合の検出領域の面積、縦の長さLv、及び横の長さLh等である。次に、情報表示装置1は、第2の設定距離D2を設定する(ステップS2)。情報表示装置1は、ステップS1と同様に、ジェスチャー検出部10(又は表示部30)から第2の設定距離D2だけ離れた位置にいる操作者2を撮像し、検出領域の面積等を記憶する。
 図14は、実施の形態1に係る情報表示装置1の動作を示すフローチャートである。ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。予め決められたジェスチャーは手2Aによるポーズでもよいし、手2Aによる動きでもよい。ジェスチャー検出部10は、操作者2のジェスチャーを撮像し画像データを生成する。なお、以下の説明においては、生成された画像データには操作者1人のみが撮像されているものとするが、本発明はこれに限定されない。本発明は、画像データに複数人が含まれている場合にも適用可能である。画像データに複数人が含まれている場合には、例えば、最初に身体の予め決められた部位を検出した人物についてジェスチャー認識を行う方法、又はすべての人物についてジェスチャー認識を行う方法が適用される。
 次に、情報表示装置1は、図13に示される初期設定、すなわち、第1の設定距離D1及び第2の設定距離D2の設定(ステップS1及びS2)が完了しているかを判断する(ステップS11)。初期設定がされていない場合、情報表示装置1は、図13に示される初期設定を行う(ステップS12)。
 次に、距離推測部21は、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。情報表示装置1は、距離D0が第1の設定距離D1以下の場合、処理をステップS15に進め、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、処理をステップS16に進め、距離D0が第2の設定距離D2を超える場合、処理をステップS17に進める(ステップS14)。
 距離D0が第1の設定距離D1以下の場合、識別機能設定部22は、情報表示装置1の動作状態を全機能モードにする(ステップS15)。距離D0が第1の設定距離D1より大きく第2の設定距離D2以下である場合、識別機能設定部22は、情報表示装置1の動作状態を機能制限モードにする(ステップS16)。距離D0が第2の設定距離D2を超える場合、識別機能設定部22は、情報表示装置1の動作状態を特定機能モードにする(ステップS17)。
 次に、表示制御部25は、情報表示部1aの動作状態に基づいて、映像コンテンツ及び操作メニューが表示されるレイアウトを変更し、表示部30に表示させる。また、表示制御部25は、距離D0に基づいて、表示部30に表示される文字、アイコン、及びポインタのサイズを調整する(ステップS18)。
 ジェスチャー識別部23は、操作者2のジェスチャーが示す動きパターンと識別機能設定部22によって制限された識別可能なジェスチャーとに基づいて、ジェスチャーの識別を行う(ステップS19)。ジェスチャー識別部23は、ジェスチャーDB40aを参照して、操作者2の指示内容を判定する。このとき、ジェスチャーの識別に要する時間が制限時間を超える場合、又は操作者2がリモコン等によって情報表示装置1を操作する場合、ジェスチャー識別部23は、ジェスチャー識別処理を停止する(ステップS22)。
 操作者2のジェスチャーの指示内容が判定されると、機能実行部24は、指示内容に基づく機能を実行する(ステップS20)。
 情報表示装置1は、操作者2のジェスチャーによる操作が終了するかどうか判断する(ステップS21)。操作者2の操作がある場合(ステップS21でNO)、ジェスチャー識別部23は、操作者2のジェスチャーの識別を行う。
《1-3》効果
 以上に説明したように、実施の形態1に係る情報表示装置1においては、操作者2が情報表示装置1の表示部30から離れた位置(例えば、第1の設定距離D1よりも離れた位置)にいる場合に、識別可能なジェスチャーの個数が少なくなるように、識別可能なジェスチャーを設定する。このように、実施の形態1に係る情報表示装置1によれば、操作者2が表示部30から離れた位置にいる場合に、例えば、身体の移動量の小さいジェスチャーを識別可能なジェスチャーから除外することによって、操作者2のジェスチャーの誤識別を発生し難くすることができる。
 また、実施の形態1に係る情報表示装置1においては、操作者2が情報表示装置1の表示部30から離れた位置(例えば、第1の設定距離D1よりも離れた位置)にいる場合に、識別可能なジェスチャーを利用頻度の高い機能のためのジェスチャーに制限する。このように、実施の形態1に係る情報表示装置1によれば、操作者2が表示部30から離れた位置にいる場合に、識別可能なジェスチャーを少なくしている(例えば、操作者の利用頻度の高い機能についてのジェスチャーに制限している)ので、操作者2のジェスチャーの誤識別を発生し難くすることができる。
 また、実施の形態1に係る情報表示装置1においては、操作者2が情報表示装置1の表示部30から離れた位置(例えば、第1の設定距離D1よりも離れた位置)にいる場合に、表示部30に表示される画像のレイアウトを変更し、アイコン、文字、及びポインタ等の操作メニューを拡大して表示している。このように、実施の形態1に係る情報表示装置1によれば、操作者2が表示部30から離れた位置にいる場合であっても、操作メニューが拡大表示されるので、操作者2による表示部30の表示内容の見やすさ(視認性)及び操作のし易さ(操作性)の低下を抑制することができる。
 なお、上記説明においては、第1の設定距離D1及び第2の設定距離D2を用いて、動作状態を切り替える例を示した。しかし、情報表示装置1は、第1の設定距離D1又は第2の設定距離D2のいずれか一方のみを用いる方法を採用してもよいし、又は、3つ以上の設定距離を用いる方法を採用してもよい。
《2》実施の形態2
 実施の形態1においては、操作者2のジェスチャーが情報表示装置1によって識別(判定)されなかった場合、情報表示装置1のジェスチャー識別判定処理は停止し(図14のステップS22)、再度、ジェスチャーによる操作が行われる。これに対し、実施の形態2においては、ジェスチャーが識別されないことを表示部30に表示する。なお、実施の形態2における情報表示装置の構成は、実施の形態1に係る情報表示装置1の構成と同じである。したがって、実施の形態2の説明に際しては、図1をも参照する。
 図15は、本発明の実施の形態2に係る情報表示装置の動作を示すフローチャートである。図15においては、図14に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。
 ジェスチャー識別部23は、操作者2のジェスチャーが示す動きパターンと識別機能設定部22によって制限された識別可能なジェスチャーとに基づいて、ジェスチャーの識別を行う(ステップS19)。ここで、実施の形態2においては、操作者2のジェスチャーから指示内容を判定できない場合、その原因に応じた処理を行う。操作者2によって行われたジェスチャーが、ジェスチャーDB40aに記憶された複数の基準ジェスチャーのうち対応する基準ジェスチャーがないと判定された場合、ジェスチャー識別部23は、機能実行部24を介して、操作者2のジェスチャーが識別不能であることを表示制御部25に通知する。表示制御部25は、表示部30に、ジェスチャーが識別不能であることを表示させる(ステップS23)。ジェスチャーの識別に要する時間が制限時間を超える場合、又は操作者2がリモコン等によって情報表示装置1を操作する場合、ジェスチャー識別部23は、ジェスチャー識別処理を停止する(ステップS22)。
 以上に説明したように、実施の形態2においては、ジェスチャーが識別されない場合に、表示部30にジェスチャーが識別不能であることを表示する。表示部30による表示により、操作者2は、ジェスチャーが識別されなかったことを把握することができる。このため、操作者2は、再度ジェスチャーを行う、又はリモコン等のデバイスにより操作する、を選択することができる。この結果、操作者2のジェスチャーが情報表示装置1によって識別されない場合でも、情報表示装置1の操作性が著しく低下したと操作者2によって認識されることを回避することができる。
 なお、実施の形態2に係る情報表示装置及び情報表示方法は、上記以外の点を除き、実施の形態1の装置及び方法と同じである。
《3》実施の形態3
 実施の形態1においては、ジェスチャー検出部10が情報表示装置1の本体(表示部30の上部)に設置されていた。実施の形態3においては、ジェスチャー検出部が表示部(ディスプレイ)30を備えた情報表示部から離れた位置に設けられている場合を説明する。
 図16は、本発明の実施の形態3に係る情報表示装置100の使用状態を示す概略図である。図16において、図1(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図1における符号と同じ符号が付されている。図16に示されるように、情報表示装置100は、表示部30を有する情報表示部1aと、ジェスチャー検出部10aとを備えている。操作者2は、ジェスチャーを行い、情報表示部1aを操作する。実施の形態3においては、ジェスチャー検出部10aが情報表示部1aから離れた位置、例えば、部屋の壁面等に設けられている。
 図17は、実施の形態3に係る情報表示装置100の構成を概略的に示すブロック図である。図17において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付されている。図17に示されるように、情報表示装置100は、ジェスチャー検出部10aと、情報表示部1aとを有する。
 ジェスチャー検出部10aは、撮像部13と送信部11とを備えている。撮像部13は、操作者2のジェスチャーGEを撮像して、画像データを生成する。送信部11は、撮像部13によって生成された画像データを、情報表示部1aの受信部12に送信する。
 情報表示部1aの受信部12は、ジェスチャー検出部10aの送信部11から送信された画像データを受信し、受信された画像データを制御部20へ送る。送信部11と受信部12との間の通信方式は、例えば、Bluetooth(登録商標)、赤外線通信、及びWi-Fi通信等の無線通信、及び、有線通信のいずれであってもよい。
 実施の形態3においては、ジェスチャー検出部10aは、操作者2のジェスチャーを検出することができる位置に固定される。また、情報表示部1aは、ジェスチャー検出部10aが固定されている位置を示す位置情報(例えば、XYZ座標で示される)及び情報表示部1aの表示部30の位置を示す位置情報(例えば、XYZ座標で示される)を保持している。このため、距離推測部21は、上述の位置情報と受信部12から受け取った画像データとに基づいて、操作者2と表示部30との間の距離を推測(算出)することができる。また、ジェスチャー識別部23は、受信部12から受け取った画像データに含まれる操作者2の身体の部位(検出領域)の変位を解析することにより、動きパターンを検出することができる。
 このように、ジェスチャー検出部10aが情報表示部1aから離れた位置に設けられている場合でも、操作者2と表示部30との間の距離を推測することができる。推測した距離に応じて表示部30における表示内容が変更されるため、情報表示装置100は、操作者2が情報表示部1aを操作する際の良好な操作性を保つことができる。
 また、情報表示部1aがジェスチャー検出部10を搭載していない場合でも、情報表示部1aのソフトウェアを更新することにより、ジェスチャー検出部10と情報表示部1aとを組み合わせて、実施の形態3に係る情報表示装置を構成することが可能である。このように、実施の形態3に係る情報表示装置は、従来の情報表示装置にも適用することができる。
 なお、実施の形態3に係る情報表示装置及び情報表示方法は、上記以外の点を除き、実施の形態1又は2の装置及び方法と同じである。
《4》実施の形態4
 実施の形態3においては、ジェスチャー検出部10aが予め決められた位置に固定され、且つ、ジェスチャー検出部10aによる検出対象(撮像対象)が操作者2である場合を説明した。実施の形態4においては、ジェスチャーを行う操作者2の身体にジェスチャー検出部としての操作装置を装着し(例えば、操作者が操作装置を手に持ち)、且つ、ジェスチャー検出部としての操作装置による検出対象(撮像対象)が、例えば、情報表示装置の表示部である場合を説明する。
 図18は、本発明の実施の形態4に係る情報表示装置100aの使用状態を示す概略図である。図18において、図16(実施の形態3)に示される構成要素と同一又は対応する構成要素には、図16における符号と同じ符号が付されている。図18に示されるように、情報表示装置100aは、表示部30を有する情報表示部1bと、ジェスチャー検出部としての操作装置10bとを備えている。操作者2は、操作装置10bを身体に取り付けた状態(例えば、手に持った状態)でジェスチャーを行うことによって、情報表示部1bの受信部12(後述の図19に示される)に操作信号を入力する。操作者2は、例えば、操作装置10bを、左横に向けて、右横に向けて、上に向けて、又は、下に向けて移動させる(振る)、或いは、操作装置10bで空間に文字及びマークを描くなどのようなジェスチャーにより、情報表示部1bに操作信号を入力する。操作装置10bの形状及びサイズは、図18に示されるものに限定されず、他の形状であってもよい。
 図19は、実施の形態4に係る情報表示装置100aの構成を概略的に示すブロック図である。図19においては、図17(実施の形態3)に示される構成要素と同一又は対応する構成要素には、図17に示される符号と同じ符号が付されている。
 操作装置10bは、認識センサとしての撮像部15と、特徴抽出部14と、送信部11とを備えている。撮像部15は、操作者2がジェスチャーを行う間、情報表示部1bを含む領域を被写体として撮像して、画像データを生成する。撮像部15は、例えば、RGBカメラ及びToFセンサである。また、RGBカメラは、情報表示部1bとの通信機能を実現するためのソフトウェアがインストールされたスマートフォン等の携帯情報端末に搭載されたカメラであってもよい。
 特徴抽出部14は、撮像部15によって生成された画像データから、操作者2が行ったジェスチャーの特徴を抽出する。ジェスチャーの特徴は、画像データに含まれる撮像されたある物体(対象物)について、時間順に並ぶ複数枚の静止画像データ又は動画像データにおける対象物の変移量を解析することにより、操作装置10bの動きベクトル(操作装置10bの動きの軌跡)として抽出される。特徴抽出部14は、撮像部15によって生成された画像データに含まれる対象物として、情報表示部1bの表示部30を用いることができる。特徴抽出部14は、生成された画像データ、ジェスチャーの特徴、及び表示部30の領域についての情報を、送信部11へ送る。
 送信部11は、生成された画像データ、ジェスチャーの特徴、及び情報表示部1bの表示部30の領域についての情報を、情報表示部1bの受信部12に向けて送信する。
 このように、実施の形態4に係る情報表示装置100aは、操作者2が操作装置10bを手に持ちながらジェスチャーを行うことによって、操作者2と表示部30との間の距離を推測することができる。情報表示装置100aは、推測された距離に応じて表示内容が変更されるため、操作者が情報表示装置を操作する際の操作性を保つことができる。
 また、実施の形態3と同様に、情報表示部1bが撮像部15を搭載していない場合でも、情報表示部1bのソフトウェアを更新することにより、撮像部15と情報表示部1bとを組み合わせて、実施の形態4に係る情報表示装置を構成することが可能である。このように、実施の形態4に係る情報表示装置は、従来の情報表示装置に適用することができる。
 なお、実施の形態4に係る情報表示装置及び情報表示方法は、上記以外の点を除き、実施の形態3の装置及び方法と同じである。
《5》実施の形態5
 実施の形態1から4においては、操作者2がジェスチャー操作を行う場所の環境(例えば、照明の状況及び自然光の状況など)及び情報表示装置1(又は情報表示部1a、1b)が設置される場所の環境(例えば、照明の状況、自然光の状況など)により、情報表示装置1によって生成された画像データが、揺れ、照明、及び自然光(外光)等の外乱による影響を受けた場合、情報表示装置1が操作者2によるジェスチャー操作の内容を誤認識するおそれが増加する。これに対し、実施の形態5に係る情報表示装置1cは、外乱検出部26を備えることにより、外乱の影響による誤認識を抑制し、ジェスチャー操作による情報表示装置1cの操作性を向上させている。以下、実施の形態5に係る情報表示装置1c及びその変形例に係る情報表示装置1dについて、図20及び図21を参照して説明する。
 図20は、本発明の実施の形態5に係る情報表示装置1cの構成を概略的に示すブロック図である。図20において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付されている。図20に示されるように、実施の形態5に係る情報表示装置1cは、制御部20cが外乱検出部26を有する点及び制御部20cの距離推測部21cの処理内容の点において、実施の形態1に係る情報表示装置1と異なる。
 外乱検出部26は、ジェスチャー検出部10における撮像によって生成された複数フレームの画像(複数枚の画像データ)G1における動きを検出し、この検出された動きの中に、定められたある一定の期間における規則的な動きが含まれている場合、この規則的な動きを外乱(例えば、振動、照明の状況の変化、及び自然光の状況の変化など)と判断し、この判断に基づくフィルタ情報G5(外乱による影響を除去する処理に使われる情報)を生成する。
 外乱検出部26により生成されたフィルタ情報G5は、距離推測部21cへ送られる。距離推測部21cは、ジェスチャー検出部10から受け取ったフィルタ情報G5に基づいて、複数フレームの画像(複数枚の画像データ)G1における動きを補正する。より具体的に言えば、距離推測部21cは、複数フレームの画像(複数枚の画像データ)G1から、外乱による影響である規則的な動きの成分を除去することによって、外乱による影響の無い(又は外乱による影響が軽減された)複数フレームの画像(複数枚の画像データ)G3を生成する。
 図21は、実施の形態5の変形例に係る情報表示装置1dの構成を概略的に示すブロック図である。図21において、図20に示される構成要素と同一又は対応する構成要素には、図20における符号と同じ符号が付されている。図21に示されるように、情報表示装置1dは、制御部20dの外部の構成として外乱検出部26dを有する点において、実施の形態5に係る情報表示装置1cと異なる。情報表示装置1dの制御部20dは、情報表示装置1cの制御部20cと同じ制御を行う。
 外乱検出部26dは、ジェスチャー検出部10における撮像によって生成された複数フレームの画像(複数枚の画像データ)G1における動きを検出し、この検出された動きの中に、定められたある一定の期間における規則的な動きが含まれている場合、この規則的な動きを外乱(例えば、加速度、振動、傾斜、照明の状況の変化、及び自然光の状況の変化など)と判断し、この判断に基づくフィルタ情報G5(外乱による影響を除去する処理に使われる情報)を生成する。このように、外乱検出部26dは、制御部20dの外部に新たに設置されるものであり、例えば、加速度、振動、傾斜、照明の状況、及び自然光の状況等の外乱を検知することができる加速度センサ、振動センサ、傾斜センサ、光学センサ等であっても良い。
 外乱検出部26dにより生成されたフィルタ情報G5は、距離推測部21dへ送られる。距離推測部21dは、ジェスチャー検出部10から受け取ったフィルタ情報G5に基づいて、複数フレームの画像(複数枚の画像データ)G1における動きを補正する。より具体的に言えば、距離推測部21dは、複数フレームの画像(複数枚の画像データ)G1から、外乱による影響である規則的な動きの成分を除去することによって、外乱による影響の無い(又は外乱による影響が軽減された)複数フレームの画像(複数枚の画像データ)G3を生成する。
 図22は、実施の形態5における情報表示装置1c及び1dの動作を示すフローチャートである。図22において、図14(実施の形態1)に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。図22に示される処理は、ステップS24及びS25を有する点において、図14に示される処理と異なる。以下に図22を参照して、情報表示装置1cの動作の主要箇所を説明する。
 図22に示されるように、ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。
 次に、外乱検出部26は、外乱の検出処理を行う(ステップS24)。外乱検出部26が外乱を検出した場合(ステップS24においてYES)には、距離推測部21cは、画像データG1から外乱に起因する規則的な動きの成分を除去することによって外乱の影響を補正する(ステップS25)。外乱検出部26が外乱を検出しなかった場合(ステップS24においてNO)には、距離推測部21cは、外乱の影響を補正する処理を行わずに、処理をステップS11に進める。ステップS11以降の処理は、図14(実施の形態1)に示される処理と同じである。
 なお、図22に示されるフローチャートでは、ジェスチャー検出が開始(ステップS10)された後に、外乱検出(ステップS24)を行っているが、外乱検出(ステップS24)を行った後にジェスチャー検出を開始(ステップS10)してもよい。
 また、上記以外の点を除き、実施の形態5に係る情報表示装置1c及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。また、上記以外の点を除き、実施の形態5の変形例に係る情報表示装置1d及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。
 実施の形態5に係る情報表示装置1c,1d及び情報表示方法によれば、外乱の影響を軽減できるので、ジェスチャー認識の精度を向上させることができる。
《6》実施の形態6
 実施の形態1から5においては、操作者2を特定することなく、ジェスチャー検出部10によりジェスチャーを検出し距離を測定する構成について説明した。これに対し、実施の形態6では、操作者認識部27がジェスチャー検出部10で生成された画像(画像データ)G1から、ジェスチャー操作を行う操作者2を特定(認識)し、事前に登録された操作者2の身体部位の大きさ情報を用いて距離を測定する場合について説明する。
 図23は、本発明の実施の形態6に係る情報表示装置1eの構成を概略的に示すブロック図である。図23において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付されている。図23に示されるように、情報表示装置1eは、制御部20eが操作者認識部27を有する点及び制御部20eの距離推測部21eの処理内容の点において、実施の形態1に係る情報表示装置1と異なる。
 操作者認識部27は、識別機能設定部22に初期設定情報(予め決められた第1の設定距離D1及び第2の設定距離D2)を記憶させる際に、操作者2の顔画像(顔画像データ)と操作者2の属性情報とを互いに関連付けて(紐付けして)、予め記憶する。操作者認識部27で記憶される属性情報は、大人又は子供、男性又は女性、年代(年齢)、国籍など、操作者2の属性を判別するための情報を含む。属性情報は、初期設定時に登録される顔、体格、手の大きさ、及び肌の色等のように、ジェスチャー検出部10の撮影によって生成される画像中に写る身体の一部から推定されるものであっても良く、又は、設定時に操作者2により選択されるものであっても良い。
 操作者認識部27で記憶される操作者2の属性情報と、距離推測部21eで推測される距離情報とに応じて、表示制御部25により制御される文字、アイコン、ポインタのサイズ、表示内容を変化させることができる。
 図24は、実施の形態6に係る情報表示装置1eの動作を示すフローチャートである。図24において、図14に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。図24に示される処理は、ステップS26、S27、及びS28を有する点において、図14に示される処理と異なる。以下に図24を参照して、情報表示装置1eの動作の主要箇所を説明する。
 図24に示されるように、ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。次に、情報表示装置1eは、図13に示される初期設定、すなわち、第1の設定距離D1及び第2の設定距離D2の設定(ステップS1及びS2)が完了しているかを判断する(ステップS11)。初期設定がされていない場合、情報表示装置1eは、図13に示される初期設定を行う(ステップS12)。
 次に、操作者認識部27は、ジェスチャーの検出が開始され、操作者登録を含む初期設定がされているか確認されると(ステップS10、S11、S12)、操作者認識処理を行う(ステップS26)。操作者2が認識されると(ステップS26においてYES)、操作者認識部27は、操作者2を設定し、操作者2の設定に基づく表示設定情報G4と画像データG1とを距離推測部21eに送る(ステップS27)。操作者2の認識ができない場合(ステップS26においてNO)、操作者認識部27は、ゲスト設定情報を設定し、ゲスト設定情報と画像データG1とを距離推測部21eに送る(ステップS28)。
 次に、距離推測部21eは、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。図24におけるステップS13以降の処理は、図14(実施の形態1)に示されるステップS13以降の処理と同じである。
 このように、操作者認識部27により操作者2を識別(特定)する処理を行い、操作者2の属性情報と画像データG1とに基づいて距離推測部21eにおける処理を行うことにより、表示部30に操作者2の識別情報をも表示させることができる。この場合には、情報表示装置1eから同じ距離だけ離れた位置に複数の人がいる場合であっても、情報表示装置1eが複数の人の中の誰を操作者2として認識しているかを、操作者2自身に伝えることができる。このため、操作者2は、情報表示装置1eをジェスチャー操作する際に、良好な操作性を得ることができる。
 実施の形態6に係る情報表示装置1e及び情報表示方法によれば、複数の者がいる場合であって、操作者2を特定してジェスチャー認識することができるので、ジェスチャー認識の精度を向上させることができる。
 なお、上記以外の点を除き、実施の形態6に係る情報表示装置1e及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。
《7》実施の形態7
 実施の形態1から4において、距離推測部21は、ジェスチャー検出部10から出力されたジェスチャー情報G1に基づいて、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測するが、操作者2がジェスチャー検出部10(又は表示部30)の左側又は右側のいずれの側にいるかを判別していない。これに対し、実施の形態7に係る情報表示装置1fは、図25に示されるように、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0だけでなく、操作者2がジェスチャー検出部10(又は表示部30)の正面中央位置の左側又は右側のいずれの側にいるかを判別する。すなわち、情報表示装置1fは、2人の者(操作者2と他の者3)がいる場合に、操作者2がジェスチャー検出部10の正面中央位置の左側又は右側のいずれの側にいるかを判別することができる機能を備えている。
 図26は、本発明の実施の形態7に係る情報表示装置1fの構成を概略的に示すブロック図である。図26において、図2(実施の形態1)に示される構成要素と同一又は対応する構成要素には、図2における符号と同じ符号が付される。図23に示されるように、情報表示装置1eは、制御部20fの距離推測部21fが左右判別部21faを有する点及び制御部20fの距離推測部21fの処理内容の点において、実施の形態1に係る情報表示装置1と異なる。
 左右判別部21faは、ジェスチャー検出部10で撮像され生成される各フレーム画像中に写る検出領域(操作者2が検出された領域)が画像を左右に2分割した場合に、操作者2が2分割された領域の内の右側にあるか左側にあるかを判別する。これにより、左右判別部21faは、操作者2がフレーム画像を左側と右側に2分割された領域の内の、右側にいるか左側にいるかを判別することができる。
 左右判別部21faは、ジェスチャー検出部10又は表示部30の位置を基準としたとき、ジェスチャー検出部10から操作者2までの距離の測定と、操作者2がフレーム画像を左右に2分割した場合における、右側にいるか左側にいるかの判別をすることができる。例えば、左右判別部21faは、車内空間において、操作者2が運転席に座っている運転手(右ハンドル車の場合には、ジェスチャー検出部10から見て左側)、又は、助手席に座っている者(右ハンドル車の場合には、ジェスチャー検出部10から見て右側)、又は、後部座席に座っている者(後部座席のジェスチャー検出部10から見て右側又は左側)のいずれであるかを判別することができる。
 図27は、本発明の実施の形態7に係る情報表示装置の動作を示すフローチャートである。図27において、図14に示される処理ステップと同じ処理ステップには、図14に示される符号と同じ符号が付されている。図27に示される処理は、ステップS29及びS30を有する点及びステップS30の判断結果に基づいて、ステップS14、S15、S16、S17の処理又はステップS14a、S15a、S16a、S17aの処理のいずれかを行う点において、図14に示される処理と異なる。以下に図27を参照して、情報表示装置1fの動作の主要箇所を説明する。
 図27に示されるように、ジェスチャー検出部10は、操作者2の予め決められたジェスチャーをトリガーとしてジェスチャーの撮像(検出)を開始する(ステップS10)。次に、情報表示装置1fは、図13に示される初期設定、すなわち、第1の設定距離D1及び第2の設定距離D2の設定(ステップS1及びS2)が完了しているかを判断する(ステップS11)。初期設定がされていない場合、情報表示装置1は、図13に示される初期設定を行う(ステップS12)。
 次に、距離推測部21fは、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。次に、左右判別部21faは、距離D0が推測(ステップS13)された後、ジェスチャー検出部10aで撮像し生成されたフレーム画像から、操作者2が表示部30から見て左側又は右側のいずれの側にいるかを判定する(ステップS29)。
 操作者2が表示部30から見て左側又は右側のいずれの側にいるかを判別することができれば、情報表示装置1fは、左側又は右側の距離D0に基づくいずれかのモードに移行する(ステップS30)。なお、操作者2が表示部30から見て左側又は右側のいずれの側にいるかを判別することができなかった場合は、予め決められた処理(例えば、ステップS14~S17又はステップS14a~S17a)を選択し、判別ができなかったことを表示制御部25に通知し、表示部30に表示してもよい。また、操作者2が、表示部30から見て左側又は右側のいずれの側にいること、或いは、判別できなかったことを、表示部30に表示しても良い。
 実施の形態7に係る情報表示装置1fにおいては、距離推測部21fは、左右判別部21faを有し、例えば、操作者2が運転席に座る操作者2であるか、助手席に座る操作者2であるかを判別することにより、表示制御部25により制御される表示内容を切り替えることができる。例えば、操作者2が運転席に座る者である場合には、情報表示装置1fは、ジェスチャー操作が可能な全ての操作を表示部30に表示し、操作者2が助手席に座る者である場合には、情報表示装置1fは、ジェスチャー操作が可能な操作のうちの安全に関係しない機能のみ(制限された機能)を表示部30に表示させることができる。
 次に、距離推測部21fは、操作者2とジェスチャー検出部10(又は表示部30)との間の距離D0を推測する(ステップS13)。次に、距離推測部21fは、ステップS29及びS30において、操作者2が左側にいると判別した場合には、情報表示装置1fは、距離D0が第1の設定距離D1以下であれば、処理をステップS15に進め、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下であれば、処理をステップS16に進め、距離D0が第2の設定距離D2を超える場合、処理をステップS17に進める(ステップS14)。また、距離推測部21fは、ステップS29及びS30において、操作者2が右側にいると判別した場合には、情報表示装置1fは、距離D0が第1の設定距離D1以下であれば、処理をステップS15aに進め、距離D0が第1の設定距離D1より大きく第2の設定距離D2以下であれば、処理をステップS16aに進め、距離D0が第2の設定距離D2を超える場合、処理をステップS17aに進める(ステップS14a)。なお、ステップS15a、S16a、S17aは、操作者2が右側にいる点を除いて、ステップS15、S16、S17と同等の処理である。
 実施の形態7に係る情報表示装置1f及び情報表示方法によれば、操作者2が情報表示装置1fから見てどの方向にいるのかを判別することができ、判別された方向(例えば、左側又は右側)に応じて操作内容(表示部30における表示内容)を切り替えることができる。
 上記以外の点を除き、実施の形態7に係る情報表示装置1f及び情報表示方法は、実施の形態1から4の装置及び方法と同じである。
《8》変形例
 図28は、上記実施の形態1から7に係る情報表示装置の変形例の構成を示すハードウェア構成図である。実施の形態1から7に係る情報表示装置は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて(例えば、コンピュータにより)実現することができる。この場合には、図2、図17、及び図19に示される記憶部40は、図28におけるメモリ91に相当し、図2、図17、及び図19に示される制御部20は、図28におけるプログラムを実行するプロセッサ92に相当する。なお、図2、図17、及び図19に示される制御部20の一部を、図28におけるメモリ91とプロセッサ92とによって実現してもよい。なお、本発明は、本発明の趣旨を逸脱しない範囲で、変更することが可能である。
 上記実施の形態1から7に係る情報表示装置の構成を、組み合わせることが可能である。例えば、実施の形態5の外乱の抑制機能、実施の形態6の操作者認識結果を利用して距離を求める機能、及び実施の形態7の操作者のいる方向(装置から見て左側又は右側)に応じて表示内容を切り替える機能、を任意に組み合わせることが可能である。
(産業上の利用可能性)
 本発明は、例えば、テレビ、PC、カーナビゲーションシステム、リアシートエンターテインメントシステム(RSE)、駅及び空港等に設置されるデジタルサイネージシステム等のような各種の情報表示装置に適用可能である。
 1,1c,1d,1e,1f 情報表示装置、 1a,1b 情報表示部、 2 操作者、 10,10a ジェスチャー検出部、 10b 操作装置、 11 送信部、 12 受信部、 14 特徴抽出部、 20,20c,20d,20e,20f 制御部、 21,21c,21d,21e,21f 距離推測部、 21fa 左右判別部、 22 識別機能設定部、 23 ジェスチャー識別部、 24 機能実行部、 25 表示制御部、 26 外乱検出部、 27 操作者認識部、 30 表示部、 31 画面。

Claims (20)

  1.  表示部に情報を表示させる表示制御部と、
     操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出部と、
     前記ジェスチャー検出部で生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を出力するジェスチャー識別部と、
     前記操作者と前記表示部との間の距離を推測する距離推測部と、
     予め決められた第1の設定距離を記憶し、前記距離が前記第1の設定距離を超えているときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別部によって識別可能なジェスチャーを設定する識別機能設定部と、
     を有することを特徴とする情報表示装置。
  2.  前記表示制御部は、前記距離に応じて、前記表示部に表示される情報を変更させることを特徴とする請求項1に記載の情報表示装置。
  3.  前記表示制御部は、前記距離に応じて、前記表示部に表示される画像のレイアウトを変更させることを特徴とする請求項2に記載の情報表示装置。
  4.  前記表示制御部は、前記距離に応じて、前記表示部に表示される文字、アイコン、及びポインタの内の少なくとも1つのサイズを変更させることを特徴とする請求項2に記載の情報表示装置。
  5.  前記表示制御部は、前記距離が前記第1の設定距離を超えているときに、前記距離が前記第1の設定距離以下であるときに前記表示部に表示されていた情報の一部を、拡大表示させることを特徴とする請求項1に記載の情報表示装置。
  6.  前記表示制御部は、前記距離が前記第1の設定距離を超えているときに、前記距離が前記第1の設定距離以下であるときに前記表示部に表示されていた文字、アイコン、及びポインタの内の少なくとも1つを、拡大表示させることを特徴とする請求項5に記載の情報表示装置。
  7.  前記表示制御部は、前記識別機能設定部によって設定された前記識別可能なジェスチャーに応じて、前記表示部に表示される情報を変更させることを特徴とする請求項1から6のいずれか1項に記載の情報表示装置。
  8.  前記識別機能設定部は、
     前記第1の設定距離よりも大きい第2の設定距離を予め記憶し、
     前記距離が予め決められた前記第2の設定距離を超えているときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数が、前記距離が前記第2の設定距離以下であるときに前記ジェスチャー識別部によって識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別部によって識別可能なジェスチャーを設定する
     ことを特徴とする請求項1から7のいずれか1項に記載の情報表示装置。
  9.  前記表示制御部は、前記距離が前記第2の設定距離を超えているときに、前記距離が前記第1の設定距離を超えており且つ前記第2の設定距離以下であるときに前記表示部に表示されていた情報と異なる情報を前記表示部に表示させることを特徴とする請求項8に記載の情報表示装置。
  10.  前記ジェスチャー検出部は、前記操作者のジェスチャーの撮像を行い、
     前記ジェスチャー情報は、前記撮像によって生成された画像データである
     ことを特徴とする請求項1から9のいずれか1項に記載の情報表示装置。
  11.  前記ジェスチャー検出部は、前記操作者の身体に保持され、前記表示部の撮像を行い、前記撮像によって生成された画像データを送信する操作装置を有することを特徴とする請求項1から10のいずれか1項に記載の情報表示装置。
  12.  前記距離推測部は、前記ジェスチャー検出部から出力された画像データに基づいて前記操作者と前記表示部との間の距離を推測することを特徴とする請求項10又は11に記載の情報表示装置。
  13.  前記距離推測部は、前記操作者が、前記表示部を中心にして左側又は右側のいずれの側にいるかを判別する左右判別部を有し、
     前記表示制御部は、前記左右判別部による判別結果に基づいて、前記表示部の表示内容を切り替える
     ことを特徴とする請求項10から12のいずれか1項に記載の情報表示装置。
  14.  前記ジェスチャー検出部における撮像によって生成された複数フレームの画像における動きを検出し、検出された前記動きの中に、定められたある一定の期間における規則的な動きが含まれている場合、前記規則的な動きを外乱と判断し、前記判断に基づくフィルタ情報を生成する外乱検出部をさらに有し、
     前記距離推測部は、前記フィルタ情報に基づいて、複数フレームの画像における動きを補正する
     ことを特徴とする請求項10から13のいずれか1項に記載の情報表示装置。
  15.  前記操作者の顔画像と前記操作者の属性情報とを互いに関連付けて記憶し、前記操作者を特定する操作者認識部をさらに備え、
     前記距離推測部は、前記操作者認識部によって特定された前記操作者の属性情報と前記画像データとに基づいて前記操作者と前記表示部との間の距離を推測する
     ことを特徴とする請求項10から14のいずれか1項に記載の情報表示装置。
  16.  複数の基準ジェスチャーを示す基準ジェスチャー情報と前記複数の基準ジェスチャーに対応する指示内容とをジェスチャーデータベースとして記憶する記憶部をさらに有し、
     前記ジェスチャー識別部は、前記ジェスチャー検出部から出力された前記ジェスチャー情報と前記記憶部に記憶されている前記基準ジェスチャー情報との比較を行い、前記比較の結果に基づいて、前記ジェスチャーの識別を行う
     ことを特徴とする請求項1から15のいずれか1項に記載の情報表示装置。
  17.  前記ジェスチャー識別部による前記識別の結果に基づく機能を実行する機能実行部をさらに有することを特徴とする請求項1から16のいずれか1項に記載の情報表示装置。
  18.  前記機能実行部は、前記ジェスチャー識別部による前記識別の結果に基づく信号を前記表示制御部に出力することを特徴とする請求項17に記載の情報表示装置。
  19.  前記表示部をさらに有することを特徴とする請求項1から18のいずれか1項に記載の情報表示装置。
  20.  表示部に情報を表示させる情報表示装置が実行する情報表示方法であって、
     操作者によって実行されるジェスチャーに基づくジェスチャー情報を生成するジェスチャー検出ステップと、
     前記ジェスチャー検出ステップにおいて生成された前記ジェスチャー情報に基づいて前記ジェスチャーの識別を行い、前記識別の結果に基づく信号を生成するジェスチャー識別ステップと、
     前記操作者と前記表示部との間の距離を推測する距離推測ステップと、
     前記距離が予め決められた第1の設定距離を超えているときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数が、前記距離が前記第1の設定距離以下であるときに前記ジェスチャー識別ステップにおいて識別可能なジェスチャーの個数より少なくなるように、前記ジェスチャー識別ステップにおいて識別可能なジェスチャーを設定する識別機能設定ステップと、
     を有することを特徴とする情報表示方法。
PCT/JP2016/057900 2015-04-20 2016-03-14 情報表示装置及び情報表示方法 WO2016170872A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/550,313 US20180046254A1 (en) 2015-04-20 2016-03-14 Information display device and information display method
DE112016001815.0T DE112016001815T5 (de) 2015-04-20 2016-03-14 Informationsanzeigevorrichtung und Informationsanzeigeverfahren
JP2016547119A JP6062123B1 (ja) 2015-04-20 2016-03-14 情報表示装置及び情報表示方法
CN201680022591.XA CN107533366B (zh) 2015-04-20 2016-03-14 信息显示装置和信息显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015085523 2015-04-20
JP2015-085523 2015-04-20

Publications (1)

Publication Number Publication Date
WO2016170872A1 true WO2016170872A1 (ja) 2016-10-27

Family

ID=57144095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057900 WO2016170872A1 (ja) 2015-04-20 2016-03-14 情報表示装置及び情報表示方法

Country Status (5)

Country Link
US (1) US20180046254A1 (ja)
JP (1) JP6062123B1 (ja)
CN (1) CN107533366B (ja)
DE (1) DE112016001815T5 (ja)
WO (1) WO2016170872A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159936A (ja) * 2018-03-14 2019-09-19 沖電気工業株式会社 第1の情報処理システム、第2の情報処理システムおよび第3の情報処理システム
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
CN111603072A (zh) * 2019-02-22 2020-09-01 合盈光电(深圳)有限公司 以手势驱动的调理机
JP2020149152A (ja) * 2019-03-11 2020-09-17 株式会社デンソーテン 制御装置および制御方法
JP2020160875A (ja) * 2019-03-27 2020-10-01 株式会社Subaru 車両の非接触操作装置、および車両

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
CN109920309B (zh) * 2019-01-16 2023-02-03 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端
CN111736693B (zh) * 2020-06-09 2024-03-22 海尔优家智能科技(北京)有限公司 智能设备的手势控制方法及装置
KR102462140B1 (ko) * 2021-10-12 2022-11-03 (주)알피바이오 분배 장치 및 이를 구비하는 소형캡슐이 충진된 경질캡슐 제조 시스템
CN114898409B (zh) * 2022-07-14 2022-09-30 深圳市海清视讯科技有限公司 数据处理方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124525A1 (en) * 2010-11-12 2012-05-17 Kang Mingoo Method for providing display image in multimedia device and thereof
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2013047918A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 電子装置、生体画像認証装置、生体画像認証プログラムおよび生体画像認証方法
JP2014016912A (ja) * 2012-07-11 2014-01-30 Institute Of Computing Technology Of The Chinese Acadamy Of Sciences 画像処理装置、画像処理方法、および、画像処理プログラム
JP2014206866A (ja) * 2013-04-12 2014-10-30 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563996A (en) * 1992-04-13 1996-10-08 Apple Computer, Inc. Computer note pad including gesture based note division tools and method
WO2011155192A1 (ja) * 2010-06-08 2011-12-15 パナソニック株式会社 映像生成装置、方法及び集積回路
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
CN202133990U (zh) * 2011-06-25 2012-02-01 北京播思软件技术有限公司 一种可准确定位光标的移动终端
CN104641410A (zh) * 2012-11-30 2015-05-20 日立麦克赛尔株式会社 影像显示装置,及其设定变更方法,设定变更程序
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
US9830073B2 (en) * 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120124525A1 (en) * 2010-11-12 2012-05-17 Kang Mingoo Method for providing display image in multimedia device and thereof
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2013047918A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 電子装置、生体画像認証装置、生体画像認証プログラムおよび生体画像認証方法
JP2014016912A (ja) * 2012-07-11 2014-01-30 Institute Of Computing Technology Of The Chinese Acadamy Of Sciences 画像処理装置、画像処理方法、および、画像処理プログラム
JP2014206866A (ja) * 2013-04-12 2014-10-30 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159936A (ja) * 2018-03-14 2019-09-19 沖電気工業株式会社 第1の情報処理システム、第2の情報処理システムおよび第3の情報処理システム
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
CN111603072A (zh) * 2019-02-22 2020-09-01 合盈光电(深圳)有限公司 以手势驱动的调理机
JP2020149152A (ja) * 2019-03-11 2020-09-17 株式会社デンソーテン 制御装置および制御方法
JP2020160875A (ja) * 2019-03-27 2020-10-01 株式会社Subaru 車両の非接触操作装置、および車両
JP7304184B2 (ja) 2019-03-27 2023-07-06 株式会社Subaru 車両の非接触操作装置、および車両

Also Published As

Publication number Publication date
US20180046254A1 (en) 2018-02-15
JPWO2016170872A1 (ja) 2017-04-27
DE112016001815T5 (de) 2017-12-28
CN107533366A (zh) 2018-01-02
CN107533366B (zh) 2020-07-03
JP6062123B1 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
JP6062123B1 (ja) 情報表示装置及び情報表示方法
US9746931B2 (en) Image processing device and image display device
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101811909B1 (ko) 제스처 인식을 위한 장치 및 방법
US9405373B2 (en) Recognition apparatus
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR20150076627A (ko) 차량 운전 학습 시스템 및 방법
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
US20170021770A1 (en) Image processing device, method for controlling image processing device, non-transitory computer readable medium recording program, and display device
EP2904470A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
EP2985993B1 (en) Device and control method for the device
KR20150054825A (ko) 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US20180316911A1 (en) Information processing apparatus
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US20170010797A1 (en) Gesture device, operation method for same, and vehicle comprising same
JP2016038621A (ja) 空間入力システム
US10928919B2 (en) Information processing device and information processing method for virtual objects operability
US10296101B2 (en) Information processing system, information processing apparatus, control method, and program
WO2018061413A1 (ja) ジェスチャ検出装置
WO2014103217A1 (ja) 操作装置、及び操作検出方法
KR20120048190A (ko) 동작인식을 이용한 차량 기능 제어 시스템
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US20230169939A1 (en) Head mounted display and setting method
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
JP2014048775A (ja) 注視位置特定装置、および注視位置特定プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016547119

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16782894

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15550313

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016001815

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16782894

Country of ref document: EP

Kind code of ref document: A1