WO2009125481A1 - 画面表示システム及び画面表示プログラム - Google Patents

画面表示システム及び画面表示プログラム Download PDF

Info

Publication number
WO2009125481A1
WO2009125481A1 PCT/JP2008/057071 JP2008057071W WO2009125481A1 WO 2009125481 A1 WO2009125481 A1 WO 2009125481A1 JP 2008057071 W JP2008057071 W JP 2008057071W WO 2009125481 A1 WO2009125481 A1 WO 2009125481A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
user
small screen
line
sight
Prior art date
Application number
PCT/JP2008/057071
Other languages
English (en)
French (fr)
Inventor
明 宮田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2008/057071 priority Critical patent/WO2009125481A1/ja
Priority to US12/937,437 priority patent/US20110032274A1/en
Priority to JP2010507089A priority patent/JP5058335B2/ja
Publication of WO2009125481A1 publication Critical patent/WO2009125481A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to a technique for displaying a screen, and is particularly applicable to a screen display system and a screen display program for displaying a small screen on a large display.
  • the large display is a convenient tool that can display information to a large number of audiences at the same time, but it is even more convenient if each individual audience can interact and operate to display information according to individual operations on the large display. It is.
  • the present invention has been made in view of the above circumstances, and as an example of the problem, when displaying a small screen on a large display, the user does not feel troublesome in operation, and system maintenance is performed.
  • An object is to provide an easy screen display system and a screen display program.
  • the invention according to claim 1 is directed to display means having an image display surface of a first size, and a user's line-of-sight position existing in a predetermined area in front of the image display surface.
  • a processing means is directed to display means having an image display surface of a first size, and a user's line-of-sight position existing in a predetermined area in front of the image display surface.
  • the invention according to claim 14 is a computer-readable screen display program for displaying information on a display means having an image display surface of a first size, and a predetermined area in front of the image display surface.
  • a position detecting step for detecting the user's line-of-sight position existing in the second position, and a second size smaller than the first size on the image display surface in accordance with the user's line-of-sight position detected in the position detecting step.
  • a screen display program for causing the computer to execute a screen processing step for displaying a small-sized screen.
  • FIG. 1 is a diagram showing an overview configuration of a small screen display system (hereinafter abbreviated as a small screen display system) 100 using a large display according to an embodiment of the present invention.
  • the small screen display system 100 includes, for example, a display device 1 having a large screen 11 exceeding 100 inches, a sensor device 2 that detects a user H in a detection range S in front of the large screen 11, and use of the sensor device 2. And a display control device 3 that generates and displays a small screen 7 for each user H on the large screen 11 of the display device 1 in accordance with the mode of person detection. Accordingly, the optimum small screen 7 is displayed at the optimum position.
  • the display control device 3 is connected to the sensor device 2, a position detection device 4 that detects the position of the user H, a storage device 5 that stores various information for displaying the small screen 7, and the display device 1. And a screen processing device 6 for displaying the small screen 7 on the large screen 11 or erasing the small screen 7 displayed on the large screen 11 according to the position detection status by the position detecting device 4. It is equipped with.
  • the form of the display control device 3 may be either a physically configured device or a system configuration in which a plurality of devices are connected to a network.
  • FIG. 2 is a functional configuration diagram of the small screen display system 100 shown in FIG.
  • the small screen display system 100 includes a position detection unit 10, a storage unit 20, and a screen processing unit 30, which are roughly divided in terms of functions.
  • the position detection unit 10 includes a sensor device 2 and a position detection device 4.
  • the sensor device 2 may be any non-contact type sensor device that can detect the presence of the user H in the detection range S and the three-dimensional position of the existing user H.
  • an infrared sensor 8 and an ultrasonic sensor 9 are arranged on the ceiling above the detection range S, and the use existing in the detection range S is used.
  • the person H can be monitored. That is, the infrared sensor 8 and the ultrasonic sensor 9 are arranged at equal intervals in a grid pattern immediately above the detection range S, and irradiate infrared rays and ultrasonic waves downward to detect objects existing in the detection range S.
  • the infrared sensor 8 detects the two-dimensional position (xy coordinates) of the detected object (user H), and the ultrasonic sensor 9 detects the three-dimensional position (the user H) of the detected object (user H). xyz coordinates).
  • the arrangement density may be lower than that of the ultrasonic sensor 9.
  • the position detection device 4 performs position detection processing using information detected by the sensor device 2.
  • the position detection process in the present embodiment is roughly divided into a range detection process P10 and a detailed position detection process P20.
  • the range detection process P10 is a process of operating the infrared sensor 8 and detecting a rough range in which an object exists based on information acquired by the infrared sensor 8.
  • the detailed position detection process P20 receives the result of the range detection process P10, operates the ultrasonic sensor 9, and based on the information acquired by the ultrasonic sensor 9, the object detected in the range detection process P10 is detected. This is a process for determining whether or not the user is a person and, if the person is a person, calculating the line-of-sight position of the user H.
  • the storage unit 20 is composed of the storage device 5 and stores various information for displaying the small screen 7. Specifically, the storage unit 20 uses the structure array A that manages the line-of-sight position of each user H in the detection range S, the display position of each small screen 7 that is displayed, and the use that is viewing the small screen 7. Information such as a structure array B that manages the person H, a new person ID that manages a person who has started watching, and an erasure person ID that manages a person who has finished watching are stored.
  • the structure array A manages information related to the user H.
  • the person ID that can uniquely identify the user H (denoted as HID), the line-of-sight position of the user H (represented by three-dimensional coordinates, EL (Denoted as (x, y, z)), and a structure array having a person ID use flag (denoted as HIDF) indicating whether or not the data of the sequence number is used as a constituent element.
  • the array element number of the structure array A is used as the HID, and HIDF is set to 1 when the data of the array element number is used, and 0 when not used. It has become so.
  • the structure array B manages information related to the small screen 7 to be displayed, the small screen ID that can uniquely identify the small screen 7 (denoted as DID), and the display position of the small screen 7 (in two-dimensional coordinates).
  • DL (dx, dz)) the person ID of the person watching the small screen 7 (denoted as WID)
  • WID the person ID of the person watching the small screen 7
  • WID the display position of the small screen 7
  • the array element number of the structure array B is used as DID
  • DIDF is set to 1 when the data of the array element number is used, and 0 when not used.
  • the new person ID is information recorded when the user H who has newly started viewing is detected in the processing of the position detection unit 10, and the person ID (HID) of the user H is the new person ID (NewHID). It is set as).
  • the erasure person ID is information recorded when the user H who has finished viewing is detected in the processing of the position detection unit 10, and the person ID (HID) of the user H is expressed as an erasure person ID (DelHID). To be set).
  • the screen processing unit 30 includes a screen processing device 6 and a display device 1.
  • the screen processing device 6 is displayed on the screen display processing P30 for displaying the small screen 7 on the large screen 11 of the display device 1 and the large screen 11 of the display device 1 according to the position detection situation in the position detection unit 10.
  • a screen erasure process P40 for erasing the small screen 7 is executed.
  • the screen display process P30 is a process of displaying the small screen 7 at the detected line-of-sight position of the user H when the user H who has newly started viewing is detected in the process of the position detection unit 10. However, when the small screen 7 is already displayed in the vicinity, or when a plurality of users H appear at almost the same time, the new small screen 7 is not displayed or a plurality of already displayed small screens 7 are displayed. It is displayed again at a position suitable for the human user H. Such display control of the screen display process P30 will be described in detail later.
  • the screen erasure process P40 is a process of erasing the small screen 7 viewed by the user H when the user H who has finished viewing is detected in the process of the position detection unit 10. However, in the case where the other user H is also viewing the small screen 7 that the user H was viewing, the small screen 7 is placed at a position suitable for the other user H without deleting the small screen 7. It is supposed to redisplay. Such display control of the screen erasing process P40 will be described later in detail.
  • the small screen display system 100 includes a central processing unit (CPU) having at least a calculation / control function, a main storage device (ROM, RAM, etc. having a storage function for storing programs and data). Memory) and an auxiliary storage device such as a hard disk.
  • CPU central processing unit
  • main storage device ROM, RAM, etc. having a storage function for storing programs and data
  • Memory auxiliary storage device
  • the position detection unit 10 and the screen processing unit 30 are nothing but a calculation / control function in the small screen display system 100
  • the storage unit 20 is nothing but a specific example of the storage function in the small screen display system 100.
  • a program for executing various processes according to the present embodiment is the main storage device or the hard disk described above.
  • FIGS. 4 is a flowchart showing a flow of the range detection process P10 in the position detection unit 10 of the small screen display system 100
  • FIG. 5 is a detailed position detection process P20 in the position detection unit 10 of the small screen display system 100. It is a flowchart which shows the flow.
  • 6 is a flowchart showing the flow of the screen display processing P30 in the screen processing unit 30 of the small screen display system 100
  • FIG. 7 shows the flow of the screen erasing processing P40 in the screen processing unit 30 of the small screen display system 100. It is a flowchart which shows.
  • the range detection process P ⁇ b> 10 is a process for detecting a rough position where an object is present, and is always operating in the position detection unit 10.
  • the position detection device 4 acquires the value of the entire detection range S from the infrared sensor 8 every period dt1 (step S10).
  • the position detection device 4 determines whether or not there is an object looking at the large screen 11 from the acquired value (step S20). Specifically, from the acquired value of the infrared sensor 8, the temperature T1 ( An object having an area of S1 (a value close to the area occupied by a human being) having a heat greater than or equal to the human body temperature is detected, and this object is almost moved. (Specifically, it is determined from a change in the position of the object detected every period dt1). That is, in the present embodiment, when an object having an area of S1 or more is detected with heat equal to or higher than the temperature T1, and the object hardly moves, it is determined that the object is looking at the large screen 11. .
  • step S20 If it is determined that there is an object looking at the large screen 11 (step S20: YES), the position detection device 4 calculates the area s1 of the range a1 occupied by the object (step S30), and then the detailed position detection The process P20 is generated, the range a1 and the area s1 are passed as arguments (step S40), and the process returns to step S10. On the other hand, if it is determined that there is no object looking at the large screen 11 (step S20: NO), the process returns to step S10.
  • step S20 when an object looking at a plurality of large screens 11 at the same time is detected, a plurality of detailed position detection processes P20 are generated according to each object and operated in parallel.
  • step S20 in the subsequent range detection process P10 when the object looking at the large screen 11 is detected, the infrared sensor 8 is not operated in the range a1 in order to prevent the object from being detected again. Like that.
  • the detailed position detection process P20 is a process of determining whether or not the object detected in the range detection process P10 is a person and, if it is a person, calculating the line-of-sight position of the person, It is activated by an instruction from the range detection process P10.
  • the position detection device 4 upon receiving the range a1 and the area s1 (see step S40) from the range detection process P10, the position detection device 4 operates the ultrasonic sensor 9 in the range a1 (step S110), and the range a1 from the ultrasonic sensor 9 is detected. The value at is acquired, and the three-dimensional shape of the object is detected (step S120).
  • the position detection device 4 performs matching between the detected three-dimensional shape of the object and a pre-registered human shape pattern, and determines whether or not the detected three-dimensional shape of the object is a human shape.
  • This determination process is a process for eliminating malfunctions of objects other than humans (for example, animals).
  • the human shape pattern means, for example, a plurality of patterns related to the assumed posture of the person such as standing, leaning forward, sitting on the ground, and the like. Are previously registered in the position detection device 4. As described above, by holding patterns related to a plurality of human postures, it is possible to detect a person in various body shapes and postures such as an elderly person with a bent hip as well as a person in an upright posture.
  • exclusion patterns for example, posture patterns of animals such as dogs and cats
  • a function for determining whether or not to match the exclusion pattern is added. It may be determined that the three-dimensional shape is not a human shape. In this case, malfunctions with respect to objects other than humans can be further reduced.
  • the position detection device 4 uses the center position (x1, y1) on the xy plane of the user H and the usage.
  • the height z1 of the person H is detected (step S140), and then the eye height z2 is calculated from the height z1 of the user H (step S150).
  • the height z1 of the user H is the height of the top of the head, it is necessary to correct z1 in order to calculate the eye gaze position.
  • the position of the eye is approximately in the center of the head length
  • the head length is calculated from the difference between the height of the head of the head and the height of the shoulder detected from the three-dimensional shape.
  • the eye height z2 is calculated by subtracting a value Z1 obtained by dividing it by 2 (for example, if the length of the head is approximately 20 cm, Z1 is approximately 10 cm).
  • a correction value table corresponding to the height of the top of the head is created, and the eye height is calculated using the correction value table. Also good.
  • the calculated line-of-sight coordinates (x1, y1, z2) of the user H is set in the line-of-sight position EL (x, y, z) of the data, and HIDF is set to 1 and updated (step S170).
  • the line of sight of the N1th data of the structure array A (X1, y1, z2) is set in the position EL, 1 is set in the HIDF, and the data is updated.
  • the position detection device 4 sets the HID (array number) of the user H to the new ID (NewHID) of the storage device 5 (step S170), and generates the screen display processing P30 for the screen processing device 6. (Step S180). For example, when the line-of-sight position EL is updated with respect to the N1th data in the structure array A, N1 is set in NewHID and recorded in the storage device 5. As a result, the screen processing device 6 can grasp to whom the small screen 7 should be newly displayed in the screen display processing P30 described later. In addition, since an initialization process is performed when recording a new person ID in the storage device 5, the element corresponding to the new person ID recorded so far is cleared.
  • the position detection device 4 calculates the volume v1 occupied by the user H at every time interval dt2 based on the three-dimensional shape of the user H (step S190). This is a process for monitoring whether or not the user H has left the large screen 11 (small screen 7) after the position of the user H is detected.
  • the position detection device 4 determines whether or not a person has moved from the change in the calculated volume v1 (step S200). Specifically, if the change in volume v1 is large, for example, if the rate of decrease in volume v1 is greater than a predetermined threshold, it is determined that the person has left the viewing position, otherwise the person remains in the viewing position. It is determined that the user is looking at the small screen 7.
  • the position detection device 4 determines that the user H has stopped viewing the small screen 7, and erases the storage device 5.
  • the HID of the user H is set in the person ID (DelHID)
  • the screen processing device 6 is instructed to generate the screen erasing process P40 (step S210), and the process ends.
  • the HID sequence number
  • N1 is set in DelHID and recorded in the storage device 5.
  • the screen processing device 6 can grasp which small screen 7 should be erased in the screen erase process P40 described later.
  • step S190 is repeated.
  • step S130 when it is determined from the three-dimensional shape of the detected object that the object is not a person (step S130: NO), the position detection device 4 stops the ultrasonic sensor 9 that has been operating in the range a1 (Ste S220). Furthermore, regarding the range a1, the ultrasonic sensor 9 is locked so that the ultrasonic sensor 9 is not operated from another detailed position detection process P30. This is to prevent a non-human object from being detected many times.
  • the position detection device 4 determines whether or not the detected object has moved (step S230). Specifically, in the range a1, the area s2 of the portion having the temperature T1 or higher has changed significantly compared to the initial area s1, for example, when the area s2 is significantly smaller than the area s1, the detected object moves. Judge that it was done.
  • step S230 When the detected object moves (step S230: YES), the position detection device 4 releases the locked ultrasonic sensor 9 and enables the ultrasonic sensor 9 to operate in the range a1 (step S240). The process ends. This is because another object may come to the point, so that the other object can be detected. On the other hand, when the detected object has not moved (step S230: NO), the process of step S230 is repeated.
  • the screen display process P30 is a process for displaying the small screen 7 at the line-of-sight position of the user H newly detected by the position detection unit 10, and is activated by an instruction from the detailed position detection process P20.
  • the screen processing device 6 reads the new person ID (NewHID) recorded in the storage device 5, and acquires the line-of-sight position EL of the corresponding data from the structure array A according to the read new person ID (step S310).
  • NewHID is N1
  • the line-of-sight position EL of the N1th data in the structure array A is (x3, y3, z3).
  • the screen processing device 6 determines whether there is another small screen 7 in the vicinity of the position (x3, z3) where the small screen 7 is to be displayed (step S320). This is because, if the small screen 7 is displayed in the vicinity of (x3, z3), if a new small screen 7 is displayed in the vicinity of the small screen 7, it will be inconvenient and inappropriate. This determination is performed so that 7 is not displayed. Specifically, it is determined by referring to the display position DL of the structure array B whether another small screen 7 exists within a predetermined radius R1 from the position (x3, z3).
  • the screen processing device 6 When there is no other small screen 7 in the vicinity of the position (x3, z3) where the small screen 7 is to be displayed (step S320: NO), the screen processing device 6 is the position (x3) where the small screen 7 is to be displayed. , Z3), the small screen 7 is displayed (step S350).
  • the screen processing device 6 displays a small screen 7 of about 12 inches with x3 as the center in the x-axis direction and z3 as the upper limit in the z-axis direction. That is, the user H can see the small screen 7 in a slightly downward attitude.
  • the position (x3, z3) at which the small screen 7 is displayed is set in the display position DL, NewHID is set in WID, the current time is set in DT, 1 is set in DIDF, and the data is updated ( Step S370), the process is terminated.
  • the display of the N2nd data of the structure array B (X3, z3) is set in the position DL, NewHID is set in the WID, the current time is set in the DT, and 1 is set in the DIDF to update the data.
  • step S320 when there is another small screen 7 in the vicinity of the position (x3, z3) at which the small screen 7 is to be displayed (step S320: YES), the structure array B is referred to and the small screen 7 at the closest position is referred to.
  • the display position DL (dx, dz) of the screen 7 (hereinafter referred to as the closest small screen 7) is acquired (step S330), the z coordinates dz and z3 of the closest small screen 7 are compared, and the difference is equal to or greater than Z2. Whether or not (step S340).
  • the DID of the closest small screen 7 is N3 and the display position DL is (dxN3, dzN3), it is determined whether or not the difference between z3 and dzN3 is greater than or equal to Z2. This is different depending on the height when the xy position is substantially the same or close, but the z position is too far away (for example, when a child tries to see a small screen 7 viewed by an adult). Since it is better to display the small screen 7, it is determined whether or not this is the case.
  • step S340 YES
  • the screen processing device 6 displays a new small screen 7.
  • Steps S350 to S370 described above are executed. As a result, the newly appearing user H can see the newly displayed small screen 7.
  • step S380 it is determined whether or not a certain time TT1 has elapsed since the closest small screen 7 was displayed (step S380). ). This is because the small screen 7 is displayed in accordance with the line of sight of the user H first detected among the plurality of users in the small screen display when the plurality of users H appear in the detection range S substantially simultaneously. This determination is performed in order to prevent this.
  • TT1 is set to a value of about several seconds. The time since the closest small screen 7 was displayed is calculated from DT and the current time.
  • step S380 When a certain time TT1 or more has elapsed since the closest small screen 7 was displayed (step S380: YES), the screen processing device 6 does not correct the position of the closest small screen 7 and starts from the structure array B. Then, the data having the DID of the closest small screen 7 is acquired, the NewHID is added to the WID of the data, and the data is updated (step S410). For example, when the DID of the closest small screen 7 is N3, NewHID is added to the WID of the N3rd data in the structure array B to update the data.
  • the screen processing device 6 When another user H comes near the closest small screen 7 after a long time has passed since the closest small screen 7 is displayed, the screen processing device 6 The display is continued as it is without changing the position of the closest small screen 7 displayed for the user H.
  • the screen processing device 6 reads the closest small screen 7 from the structure array B.
  • Obtain data having DID refer to the person IDs of all the people who are viewing the closest screen 7 from the WID of the data, refer to the structure array A based on the referred person ID
  • the average value of the x-coordinate and z-coordinate of the line-of-sight position EL of all the people watching the close-up screen 7 is calculated (step S390).
  • the average of the x-coordinates of the line-of-sight positions EL of all the people watching the closest screen 7 is xav1, and the average of the z-coordinates is zav1.
  • the screen processing device 6 displays the small screen 7 at (xav1, zav1), acquires data having the DID of the closest small screen 7 from the structure array B, and displays the data at the display position DL of the data ( xav1, zav1) are set (step S400), and NewHID is added to the WID to update the data (step S410).
  • the DID of the closest small screen 7 is N3
  • (xav1, zav1) is set to the display position DL of the N3rd data in the structure array B
  • NewHID is added to the WID to update the data To do.
  • the screen processing device 6 calculates the average position of the line of sight of a plurality of users H, and moves the closest small screen 7 to the calculated average position. indicate.
  • the screen erasure process P40 is a process of erasing the small screen 7 that the user H was viewing when the user H stopped viewing the small screen 7, and the detailed position detection process P20 It starts by the instruction of.
  • the screen processing device 6 reads the erasure ID (DelHID) recorded in the storage device 5 and refers to the WID of the structure array B based on the read erasure ID to obtain corresponding data. (Step S510). For example, it is assumed that DelHID is N1 and the DID of data in which N1 is included in WID in the structure array B is N4.
  • the screen processing device 6 counts the number of elements included in the WID of the N4th data in the structure array B, that is, the number of person IDs included in the WID (step S520). Here, it is assumed that there are N5 person IDs included in the WID.
  • the screen processing device 6 uses the value of N5 described above to determine whether or not there is one user H who is viewing the small screen 7 whose DID is N4 (hereinafter referred to as the erasure target small screen 7). (Step S530).
  • the screen processing device 6 erases the erasure target small screen 7 and at the same time the N4th of the structure array B.
  • Data is initialized (step S540).
  • the initialization of the data in the structure array B specifically means that the display position, WID, DIDF, and DT of the corresponding data are initialized. Note that 0 is set in DIDF.
  • the screen processing device 6 acquires data of the structure array A having the erasure ID as HID, initializes the acquired data (step S590), and ends the processing.
  • the initialization of the data of the structure array A specifically means that the line-of-sight position EL and HIDF of the corresponding data are initialized. Note that 0 is set in HIDF. For example, when DelHID is N1, the N1th data in the structure array A is initialized.
  • step S530 When there is not one user H who is viewing the erasure target small screen 7 (step S530: NO), the screen processing device 6 determines whether there are three or more users H who are viewing the erasure target small screen 7 It is determined whether or not (step S550).
  • step S550 When there are not three or more users H looking at the erasure target small screen 7, that is, when there are two users H (step S550: NO), the user H who continues to watch the erasure target small screen 7 thereafter (remaining) 1), the display position of the erasure target small screen 7 is moved in accordance with the remaining line of sight of the user H and moved to the display position DL of the N4th data in the structure array B. The line-of-sight position of the remaining user H is set and updated (step S560).
  • the line-of-sight position EL of the data in which the HID of the structure array A is N5 is acquired and acquired
  • the small screen 7 to be erased is displayed at the x-coordinate and z-coordinate of the line-of-sight position EL, and the acquired x-coordinate and z-coordinate of the line-of-sight position EL are set as the display position DL of the N4th data in the structure array B.
  • step S590 the screen processing device 6 stores the data of the structure array A with DelHID as HID. Acquire, initialize the acquired data, and end the process.
  • step S570 the average of the line-of-sight positions of the user H is calculated (step S570). For example, from the WID of the N4th data in the structure array B, when the remaining user IDs are N5 and N6, the line-of-sight position EL of the data in which the HID of the structure array A is N5 and N6 is acquired. Then, the average of the acquired line-of-sight positions EL is calculated.
  • xav2 be the average of the x coordinates of the line-of-sight position EL of the remaining user H
  • yav2 be the average of the y coordinates
  • zav2 be the average of the z coordinates.
  • the screen processing device 6 displays the erasure target small screen 7 at (xav2, zav2), sets (xav2, zav2) as the display position DL of the N4th data in the structure array B, and updates the data. (Step S580). Note that after the display position DL of the erasure target small screen 7 is changed and the structure array B is updated, the process proceeds to step S590 described above, and the screen processing device 6 stores the data of the structure array A with DelHID as HID. Acquire, initialize the acquired data, and end the process.
  • the small screen display system 100 deletes the small screen 7B viewed by the user HB (steps S200 and S210 of the detailed position detection process, and step S530 of the screen deletion process). (NO), see S540).
  • the small screen display system 100 does not display the new small screen 7 and does not change the display position of the small screen 7A (screen).
  • Step S320 YES
  • step S340 NO
  • step S380 YES
  • step S410 of the display process Therefore, the user HB sees the small screen 7A whose display position does not change.
  • the small screen display system 100 displays a new small screen 7B that matches the line of sight of the user HB. (Refer to steps S320 (NO) and S350 of the screen display process). As a result, the user HB sees a new small screen 7B.
  • the small screen display system 100 does not display the new small screen 7 and does not change the display position of the small screen 7A (screen).
  • Step S320 YES
  • step S340 NO
  • step S380 YES
  • step S410 of the display process
  • the small screen display displays a new small screen 7B according to the line of sight of the user HB (see step S320 (YES), step S340 (YES), and step S350 of the screen display process)).
  • the small screen display system 100 displays a new small screen 7B that matches the line of sight of the user HB (screen display processing). Steps S320 (NO) and S350). As a result, the user HB sees the small screen 7B.
  • the small screen display system 100 displays the small screen 7A at the average line-of-sight position of two people (the average of the x-coordinate and the z-coordinate of the line-of-sight position) (screen display). Steps S320 (YES), S340 (NO), S380 (NO), S390, and S400 of the process). Therefore, the user HA and the user HB see the small screen 7A displayed at the intermediate position between the two.
  • the small screen display system 100 displays new small screens 7A and 7B that match the line of sight of the users HA and HB, respectively (screen display processing process). (See Steps S320 (NO) and S350). As a result, the user HA sees the small screen 7A and the user HB sees the small screen 7B.
  • the small screen display system 100 adjusts the line-of-sight average position (the average of the x coordinate and the y coordinate) of the users HA and HB.
  • the small screen 7A is moved and displayed (see steps S530 (NO), S550 (YES), S570, and S580 of the screen erasure process)).
  • steps S530 (NO), S550 (YES), S570, and S580 of the screen erasure process) As a result, the user HA and the user HB see the small screen 7A displayed at the intermediate position between the two.
  • the position detection that detects the line-of-sight position of the display device 1 having the large screen 11 and the user H existing in the detection range S in front of the large screen 11.
  • Unit 10 and screen processing device 6 that displays small screen 7 on large screen 11 in accordance with the line-of-sight position of user H detected by position detection unit 10, small screen 7 is displayed on a large display.
  • the user H does not feel troublesome in operation. That is, since the small screen display system 100 according to the present embodiment uses the sensor device 2 of the position detection unit 10 as a non-contact sensor, the position detection device 4 automatically performs the display operation without the user H performing a display operation.
  • the position detection device 4 automatically detects the movement of the user H without the user H performing an erasing operation, and the screen processing device 6 displays the display. Since the small screen 7 that has been deleted is deleted, the user H does not feel bothered by the deletion operation and does not require system maintenance personnel to delete the small screen 7, thereby facilitating system maintenance. be able to.
  • the small screen display system 100 since the display control algorithm for displaying the small screen 7 at the optimum position according to the gathering situation of the plurality of users H is provided, a plurality of uses Even when the person H is present in front of the large screen 11 at the same time, the small screen 7 can be displayed at the optimum position for each of the plurality of users H. For example, when there are a plurality of users H apart from each other, the small screen 7 is displayed at a suitable position in accordance with the line-of-sight position of each user H.
  • the common small screen 7 is displayed at the average position of the line-of-sight positions of the respective users H, or the small screen of the user H that was first viewed is displayed. 7, the small screen 7 can be displayed without disturbing each user H even if they are close to each other. Even if a plurality of users H are close to each other, if the height position of the line of sight is greatly separated, the small screen 7 is displayed for each user H, so that the small screen in consideration of the height of the back is displayed. You can display. Furthermore, even when one of the users leaves when a plurality of users H are looking at one small screen 7, the optimal line-of-sight position is obtained according to the number of remaining users H.
  • the small screen 7 can be moved and displayed. For example, when the number of the remaining users H is one, the small screen 7 is displayed according to the line-of-sight position of the remaining users H, and when the number of the remaining users H is two or more. Since the small screen 7 is displayed at the average position of the line-of-sight positions of the remaining users H, the small screen 7 is displayed at a more suitable position for the remaining users H.
  • the small screen display system 100 since the line-of-sight position of the user H is detected when it is determined that the person is a person, malfunctions with respect to unnecessary objects can be eliminated.
  • the size of the small screen 7 is about 12 inches, but the size of the small screen 7 is not limited to this.
  • the size of the small screen 7 is fixed and displayed.
  • the size of the small screen 7 may be changed and displayed.
  • the size of the small screen 7 may be changed according to the distance (y coordinate) from the large screen 11 of the display device 1.
  • the size of the small screen 7 may be controlled to increase as the distance from the large screen 11 increases. Also, such control that changes the size of the small screen 7 may be applied only when one user H is looking at one small screen 7. Further, even when a plurality of users H are viewing one small screen 7, the size of the small screen 7 may be determined based on the average of the y coordinates of the plurality of users H.
  • the sensor device 2 (infrared sensor 8, ultrasonic sensor 9) is used as a device for detecting the position of the user H, but the position of the user H is determined.
  • the detection device is not limited to this.
  • an image in the detection range S may be captured using a camera capable of capturing a moving image, and the captured image may be processed to detect the user H existing in the detection range S.
  • the user H is asked to wear an electronic tag in which information such as his height (height information) is stored, and the user H communicates with the electronic tag worn by the user H to obtain position information (xy) of the electronic tag. (Coordinate) may be detected, and height information (z coordinate) may be acquired.
  • the sensor device 2 cannot be disposed on the ceiling by installing the display device 1 outdoors, the method using the above-described camera or electronic tag is effective.
  • the small screen display system 100 can be applied to various facilities, but is particularly suitable when the display device 1 is used as an advertising display.
  • the display device 1 For example, when approaching a super large display installed on the street, the presence position of the user H may be detected and an advertisement image may be displayed at the line of sight of the user H. In this case, even if the user H has a baggage or the like and both hands are not free, an advertisement directed to himself / herself is displayed just by approaching the super large display, which is convenient.
  • the size of the image displayed on the super large display may be changed according to the distance. For example, when the distance from the super-large display is far, the advertisement image is displayed on the entire display screen of the super-large display, and when the distance from the super-large display is close, the same advertisement video is displayed on the small screen 7. You may make it do. In the case of an ultra-large display, if you get too close, you don't know what is reflected, so you can grasp the display image even if you get close.
  • control is performed so that the small screen 7 is erased when the user H moves.
  • the small screen 7 may be moved and displayed.
  • the display device 1 described above is used as an advertising display, the user H can see the advertising image beside the user H while walking.
  • the small screen display system 100 in which the small screen 7 is moved and displayed following the line of sight of the user H, it is suitable for an amusement facility.
  • information necessary for the game can be displayed at the line-of-sight position following the line-of-sight position of the user H.
  • the guide information may be displayed at the line-of-sight position following the movement of the user H.

Abstract

　小画面表示システム１００は、大画面１１を有する表示装置１と、大画面１１の前方の検知範囲Ｓに存在する利用者Ｈの視線位置を検出する位置検出手段（センサ装置２及び位置検出装置４）と、位置検出手段が検出した利用者Ｈの視線位置に合わせて、大画面１１上に小画面７を表示する画面処理装置６と、を有する。

Description

画面表示システム及び画面表示プログラム
　本発明は、画面を表示する技術に関し、特に、大型ディスプレイに小画面を表示する画面表示システム及び画面表示プログラムに好適に適用できる。
　昨今、大型ディスプレイを街頭やイベント会場に設けて、大型ディスプレイに広告画像やプレゼンテーション画像を表示することがある。大型ディスプレイは同時に多数の聴衆に対して情報を表示することできる便利なツールであるが、個々の聴衆それぞれがインタラクティブに操作して、個々の操作に応じた情報を大型ディスプレイに表示できるとさらに便利である。
　このようなインタラクティブ性を備える大型ディスプレイシステムとしては、例えば、タッチパネルを設置した大型ディスプレイにおいて、複数の利用者がタッチパネルを操作すると、複数の利用者ごとに大型ディスプレイ上に子ウィンドウを表示する技術が提案されている（例えば、特許文献１参照）。
特開２００６－１８３４８号公報
　しかしながら、タッチパネルを設置した大型ディスプレイにおいては、利用者は画面に触れて操作しなければならないので、その操作が煩わしいと感じる利用者も存在する。特に、子ウィンドウを表示させる際の操作はまだしも、表示させた子ウィンドウを消去する際の操作は煩わしく感じる。また、手が塞がっているような状況においては、操作ができないという問題もある。
　一方、このような大型ディスプレイシステムを管理する側においても、子ウィンドウを表示させたままユーザが立ち去ってしまうことが想定されるので、子ウィンドウを消去するシステム保守要員を必要とするという問題もある。
　本発明は、上記の事情を鑑みてなされたものであり、その課題の一例としては、大型ディスプレイ上に小画面を表示するに際して、ユーザが操作に煩わしさを感じることがないとともに、システム保守が容易な画面表示システム及び画面表示プログラムを提供することにある。
　上記の課題を達成するため、請求項１に記載の発明は、第１の大きさの画像表示面を有する表示手段と、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第１の大きさよりも小さな第２の大きさの小画面を表示する画面処理手段と、を有する画面表示システムである。
　また、請求項１４に記載の発明は、第１の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第１の大きさよりも小さな第２の大きさの小画面を表示する画面処理ステップと、を前記コンピュータに実行させる画面表示プログラムである。
本発明の実施の形態に係る小画面表示システムの概観構成を示す図である。 本発明の実施の形態に係る小画面表示システムの機能構成図である。 本発明の実施の形態に係る小画面表示システムのセンサ装置の概観構成を示す図である。 本発明の実施の形態に係る小画面表示システムの範囲検出処理の流れを示すフローチャートである。 本発明の実施の形態に係る小画面表示システムの範囲検出処理の流れを示すフローチャートである。 本発明の実施の形態に係る小画面表示システムの画面表示処理の流れを示すフローチャートである。 本発明の実施の形態に係る小画面表示システムの画面消去処理の流れを示すフローチャートである。 本発明の実施の形態に係る小画面表示システムにおいて別々の小画面を見ている２人の利用者が近づいた場合の小画面表示制御を説明する図である。 本発明の実施の形態に係る小画面表示システムにおいて小画面を見ている利用者に別の利用者が近づいた場合の画面表示制御を説明する図である。 本発明の実施の形態に係る小画面表示システムにおいて複数の利用者が同時に大画面に近づいた場合の画面表示制御を説明する図である。 本発明の実施の形態に係る小画面表示システムにおいて複数の利用者が１つの小画面を見ている状態からいずれかの利用者が立ち去る場合の画面表示制御を説明する図である。
符号の説明
　　１　表示装置
　　２　センサ装置
　　３　表示制御装置
　　４　位置検出装置
　　５　記憶装置
　　６　画面処理装置
　　７　小画面
　　１０　位置検出部
　　２０　記憶部
　　３０　画面処理部
　　１００　小画面表示システム
　　Ｈ　利用者
　　Ｓ　検知範囲
　　Ｐ１０　範囲検出処理
　　Ｐ２０　詳細位置検出処理
　　Ｐ３０　画面表示処理
　　Ｐ４０　画面消去処理
　以下、本発明の実施の形態を図面を用いて説明する。
＜構成＞
　図１は、本発明の実施の形態に係る大型ディスプレイを用いた小画面表示システム（以下、小画面表示システムと略す）１００の概観構成を示す図である。小画面表示システム１００は、例えば、１００インチを超えるような大画面１１を有する表示装置１と、大画面１１前方の検知範囲Ｓにおける利用者Ｈを検出するセンサ装置２と、センサ装置２の利用者検出の態様に応じて、表示装置１の大画面１１上に利用者Ｈごとの小画面７を生成して表示する表示制御装置３と、を備えて構成され、個々の利用者Ｈの目線に応じて最適な位置に最適な小画面７を表示するようになっている。なお、本実施の形態においては、図１に示すような座標軸、すなわち、矩形の大画面１１の横方向をｘ軸、縦方向をｚ軸（大画面１１はｘｚ平面上にある）、大画面１１に垂直な方向をｙ軸とした座標軸を用いて、以下、説明を行う。
　また、表示制御装置３は、センサ装置２と接続され、利用者Ｈの位置を検出する位置検出装置４と、小画面７を表示するための各種情報を記憶する記憶装置５と、表示装置１と接続され、位置検出装置４による位置検出状況に応じて、大画面１１上に小画面７を表示したり、大画面１１上に表示された小画面７を消去したりする画面処理装置６と、を備えている。なお、表示制御装置３の形態は、物理的に一つからなる装置、または複数の装置がネットワーク接続されたシステム構成のいずれであってもよい。
　図２は、図１に示した小画面表示システム１００の機能構成図である。小画面表示システム１００は、機能的には大別して、位置検出部１０と、記憶部２０と、画面処理部３０と、を備える。
　位置検出部１０は、センサ装置２と、位置検出装置４と、から構成されている。センサ装置２は、検知範囲Ｓに利用者Ｈが存在すること、並びに存在する利用者Ｈの三次元位置を検出できる非接触型のセンサ装置であれば何であってもよい。本実施の形態では、図１及び図３に示すように、センサ装置２として、赤外線センサ８と、超音波センサ９を検知範囲Ｓの上方の天井に配設し、検知範囲Ｓに存在する利用者Ｈを監視可能としている。すなわち、赤外線センサ８及び超音波センサ９は、検知範囲Ｓの真上に碁盤目状に等間隔に配置され、赤外線及び超音波を下方に向かって照射することにより、検知範囲Ｓに存在する物体を検出するようになっている。本実施の形態では、赤外線センサ８は、検出した物体（利用者Ｈ）の二次元位置（ｘｙ座標）を検出し、超音波センサ９は、検出した物体（利用者Ｈ）の三次元位置（ｘｙｚ座標）を検出するようになっている。なお、本実施の形態では、赤外線センサ８は、物体の大まかな位置を検出するのに用いているため、配置密度は超音波センサ９と比べて低くてもよい。
　位置検出装置４は、センサ装置２が検出した情報を用いて、位置検出処理を行うようになっている。本実施の形態における位置検出処理は、範囲検出処理Ｐ１０と、詳細位置検出処理Ｐ２０に大別される。範囲検出処理Ｐ１０は、赤外線センサ８を稼働させて、赤外線センサ８が取得した情報に基づいて、物体が存在する大まかな範囲を検出する処理である。一方、詳細位置検出処理Ｐ２０は、範囲検出処理Ｐ１０の結果を受けて、超音波センサ９を稼働させて、超音波センサ９が取得した情報に基づいて、範囲検出処理Ｐ１０で検出された物体が人であるか否かを判断し、人である場合には、利用者Ｈの視線位置を算出する処理である。
　記憶部２０は、記憶装置５から構成され、小画面７を表示するための各種情報を記憶している。詳しくは、記憶部２０は、検知範囲Ｓにおける各利用者Ｈの視線位置を管理している構造体配列Ａ、表示されている各小画面７の表示位置及び当該小画面７を見ている利用者Ｈを管理している構造体配列Ｂ、新たに視聴を開始した人を管理する新規人ＩＤ、視聴を終了した人を管理する消去人ＩＤなどの情報を記憶している。
　構造体配列Ａは、利用者Ｈに関する情報を管理しており、利用者Ｈを一意に識別可能な人ＩＤ（ＨＩＤと表記する）、当該利用者Ｈの視線位置（３次元座標で表し、ＥＬ（ｘ，ｙ，ｚ）と表記する）、及び当該配列番号のデータが使われているか否かを示す人ＩＤ使用フラグ（ＨＩＤＦと表記する）を構成要素とする構造体配列である。本実施の形態では、構造体配列Ａの配列番号をＨＩＤとして用いており、また、ＨＩＤＦには、当該配列番号のデータが使用されているときは１、使用されていないときは０が設定されるようになっている。
　構造体配列Ｂは、表示する小画面７に関する情報を管理しており、小画面７を一意に識別可能な小画面ＩＤ（ＤＩＤと表記する）、当該小画面７の表示位置（２次元座標で表し、ＤＬ（ｄｘ，ｄｚ）と表記する）、当該小画面７を見ている人の人ＩＤ（ＷＩＤと表記する）、当該配列番号のデータが使われているか否かを示す小画面ＩＤ使用フラグ（ＤＩＤＦと表記する）、及び当該小画面７を表示開始した時刻（ＤＴと表記する）を構成要素とする構造体配列である。本実施の形態では、構造体配列Ｂの配列番号をＤＩＤとして用いており、また、ＤＩＤＦには、当該配列番号のデータが使用されているときは１、使用されていないときは０が設定される。
　新規人ＩＤは、位置検出部１０の処理において、新たに視聴を開始した利用者Ｈを検出したときに記録される情報であり、当該利用者Ｈの人ＩＤ（ＨＩＤ）が新規人ＩＤ（ＮｅｗＨＩＤと表記する）として設定される。
　消去人ＩＤは、位置検出部１０の処理において、視聴を終了した利用者Ｈを検出したときに記録される情報であり、当該利用者Ｈの人ＩＤ（ＨＩＤ）が消去人ＩＤ（ＤｅｌＨＩＤと表記する）として設定される。
　画面処理部３０は、画面処理装置６と、表示装置１から構成されている。画面処理装置６は、位置検出部１０における位置検出状況に応じて、表示装置１の大画面１１に小画面７を表示する画面表示処理Ｐ３０、及び表示装置１の大画面１１に表示されていた小画面７を消去する画面消去処理Ｐ４０を実行するようになっている。
　画面表示処理Ｐ３０は、位置検出部１０の処理において、新たに視聴を開始した利用者Ｈを検出したときに、検出された利用者Ｈの視線位置に小画面７を表示する処理である。ただし、既に近傍に小画面７が表示されている場合や、ほぼ同時に複数人の利用者Ｈが現れた場合には、新しく小画面７を表示しない、または既に表示されている小画面７を複数人の利用者Ｈにとって好適な位置に再表示するようになっている。画面表示処理Ｐ３０のこのような表示制御に関しては、詳しくは後述する。
　画面消去処理Ｐ４０は、位置検出部１０の処理において、視聴を終了した利用者Ｈを検出したときに、当該利用者Ｈが見ていた小画面７を消去する処理である。ただし、当該利用者Ｈが見ていた小画面７を他の利用者Ｈも見ていた場合には、小画面７を消去せずに、他の利用者Ｈにとって好適な位置に小画面７を再表示するようになっている。画面消去処理Ｐ４０のこのような表示制御に関しては、詳しくは後述する。
　なお、小画面表示システム１００は、具体的には、少なくとも演算・制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する記憶機能を備えたＲＯＭ、ＲＡＭ等からなる主記憶装置（メモリ）及びハードディスクなどの補助記憶装置から構成されている。このうち、位置検出部１０及び画面処理部３０は、小画面表示システム１００における演算・制御機能、記憶部２０は、小画面表示システム１００における記憶機能を具体的に示したものに他ならない。
　また、本実施の形態に係る各種処理（具体的には、範囲検出処理Ｐ１０、詳細位置検出処理Ｐ２０、画面表示処理Ｐ３０、画面消去処理Ｐ４０）を実行するプログラムは、上述した主記憶装置またはハードディスクに格納されているものであるが、当該プログラムを携行可能なフラッシュメモリ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ－ＲＯＭなどのＡＶ機器やコンピュータが読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。
＜動作＞
　次に、図４～図７を用いて、本発明の実施の形態に係る小画面表示システム１００の動作について説明する。ここで、図４は、小画面表示システム１００の位置検出部１０における範囲検出処理Ｐ１０の流れを示すフローチャートであり、図５は、小画面表示システム１００の位置検出部１０における詳細位置検出処理Ｐ２０の流れを示すフローチャートである。また、図６は、小画面表示システム１００の画面処理部３０における画面表示処理Ｐ３０の流れを示すフローチャートであり、図７は、小画面表示システム１００の画面処理部３０における画面消去処理Ｐ４０の流れを示すフローチャートである。
（範囲検出処理）
　範囲検出処理Ｐ１０は、上述したように、物体が存在する大まかな位置を検出する処理であり、位置検出部１０において常時、稼働している。
　まず、位置検出装置４は、赤外線センサ８から周期ｄｔ１ごとに、検知範囲Ｓ全体の値を取得する（ステップＳ１０）。
　次いで、位置検出装置４は、取得した値から、大画面１１を見ている物体がいるか否かを判定する（ステップＳ２０）、具体的には、取得した赤外線センサ８の値から、温度Ｔ１（人間の体温に近い値が設定されている）以上の熱を有して、面積Ｓ１（人間が占める面積に近い値が設定されている）以上の物体が検出され、かつ、この物体がほとんど動かないか否か（具体的には、周期ｄｔ１ごとに検出される物体の位置の変化から判断する）を判定する。すなわち、本実施の形態では、温度Ｔ１以上の熱を有して、面積Ｓ１以上の物体が検出され、かつ、この物体がほとんど動かない場合は、物体は大画面１１を見ていると判断する。
　大画面１１を見ている物体がいると判断した場合には（ステップＳ２０：ＹＥＳ）、位置検出装置４は、物体が占める範囲ａ１の面積ｓ１を計算し（ステップＳ３０）、次いで、詳細位置検出処理Ｐ２０を生成して、範囲ａ１及び面積ｓ１を引数として渡し（ステップＳ４０）、ステップＳ１０に戻る。一方、大画面１１を見ている物体がいないと判断した場合には（ステップＳ２０：ＮＯ）、ステップＳ１０に戻る。
　なお、ステップＳ２０において、同時に複数の大画面１１を見ている物体を検出した場合には、それぞれの物体に合わせて、詳細位置検出処理Ｐ２０を複数生成し、並列に動作させる。また、ステップＳ２０において、大画面１１を見ている物体を検出した場合の以降の範囲検出処理Ｐ１０においては、当該物体の再度の検出を防止するため、赤外線センサ８を当該範囲ａ１においては稼働させないようにする。
（詳細検出処理）
　詳細位置検出処理Ｐ２０は、上述したように、範囲検出処理Ｐ１０で検出された物体が人であるか否かを判断し、人である場合には、人の視線位置を算出する処理であり、範囲検出処理Ｐ１０からの指示により起動する。
　まず、位置検出装置４は、範囲検出処理Ｐ１０から範囲ａ１及び面積ｓ１（ステップＳ４０参照）を受け取ると、範囲ａ１において超音波センサ９を稼働させ（ステップＳ１１０）、超音波センサ９からの範囲ａ１における値を取得し、物体の三次元形状を検出する（ステップＳ１２０）。
　次いで、位置検出装置４は、検出した物体の三次元形状と、予め登録されている人の形状パターンとのマッチングを行い、検出した物体の三次元形状が人の形状であるか否かを判定する（ステップＳ１３０）。この判定処理は、人間以外の物体（例えば、動物等）に対する誤作動をなくすための処理である。ここで、人の形状パターンとは、例えば、立っている状態、前かがみの状態、地面に座っている状態など想定される人の姿勢に関する複数のパターンを意味し、この人の姿勢に関する複数のパターンは、予め位置検出装置４に登録されている。このように、複数の人間の姿勢に関するパターンを保持しておくことにより、直立姿勢の人を検出するほか、腰の曲がった老人など様々な体型及び姿勢の人を検出することが可能となる。なお、除外パターン（例えば、犬や猫などの動物の姿勢パターン）を予め登録しておき、除外パターンに合致するか否かの判定機能も加え、除外パターンに合致する場合には、検出した物体の三次元形状が人の形状ではないと判断するようにしてもよい。この場合には、人間以外の物体に対する誤作動をさらに減少させることができる。
　検出した物体の三次元形状から、物体が人であると判定したときは（ステップＳ１３０：ＹＥＳ）、位置検出装置４は、利用者Ｈのｘｙ平面上における中心位置（ｘ１，ｙ１）と、利用者Ｈの高さｚ１を検出し（ステップＳ１４０）、次いで、利用者Ｈの高さｚ１から目の高さｚ２を算出する（ステップＳ１５０）。ここで、利用者Ｈの高さｚ１は、頭頂部の高さであるので、目の視線位置を算出するためは、ｚ１を補正する必要がある。本実施の形態では、目の位置は頭の長さの略中央に位置すると考え、三次元形状から検出される人の頭頂部の高さと肩の高さの差から頭部の長さを算出し、それを２で割った値Ｚ１を引くことにより、目の高さｚ２を算出するようにしている（例えば、頭部の長さを略２０ｃｍとすると、Ｚ１は略１０ｃｍとなる）。なお、より精密に目の高さを算出する場合には、頭頂部の高さに合わせた補正値テーブルを作成しておき、当該補正値テーブルを用いて目の高さを算出するようにしてもよい。
　次いで、位置検出装置４は、記憶装置５の構造体配列Ａを参照して、使用していない配列番号（ＨＩＤＦ＝０）のデータ、かつ最も小さい配列番号のデータを取得し（ステップＳ１６０）、当該データの視線位置ＥＬ（ｘ，ｙ，ｚ）に算出した利用者Ｈの視線座標（ｘ１，ｙ１，ｚ２）を設定し、ＨＩＤＦに１を設定して更新する（ステップＳ１７０）。例えば、構造体配列Ａの中で、配列番号Ｎ１のデータが使用されてなく、かつ使用されていないデータのうち配列番号Ｎ１が最も小さい場合には、構造体配列ＡのＮ１番目のデータの視線位置ＥＬに（ｘ１，ｙ１，ｚ２）を設定し、ＨＩＤＦに１を設定して、データを更新する。
　また、位置検出装置４は、記憶装置５の新規ＩＤ（ＮｅｗＨＩＤ）に当該利用者ＨのＨＩＤ（配列番号）を設定し（ステップＳ１７０）、画面処理装置６に対して画面表示処理Ｐ３０を生成するように命令する（ステップＳ１８０）。例えば、構造体配列ＡのＮ１番目のデータに対して視線位置ＥＬを更新した場合には、ＮｅｗＨＩＤにはＮ１を設定して、記憶装置５に記録する。この結果、画面処理装置６は、後述する画面表示処理Ｐ３０において、どの人に対して新たに小画面７を表示すればよいのかを把握することができる。なお、記憶装置５に新規人ＩＤを記録する際には、初期化処理が行われるため、それまでに記録されていた新規人ＩＤに対応する要素はクリアされることとなる。
　次いで、位置検出装置４は、利用者Ｈの三次元形状に基づいて、利用者Ｈの占める体積ｖ１をｄｔ２の時間間隔ごとに計算する（ステップＳ１９０）。これは、利用者Ｈの位置を検出した後、当該利用者Ｈが大画面１１（小画面７）前を離れるか否か（留まっているか）を監視するための処理である。
　位置検出装置４は、計算した体積ｖ１の変化から人が移動したか否かを判定する（ステップＳ２００）。詳しくは、体積ｖ１の変化が大きい、例えば、体積ｖ１の減少率が予め定めた閾値より大きい場合には、人が視聴位置から離れたと判定し、そうでない場合には、人が視聴位置に留まって、小画面７を見ているものと判定する。
　体積ｖ１の変化から利用者Ｈが移動したと判定したときには（ステップＳ２００：ＹＥＳ）、位置検出装置４は、利用者Ｈは小画面７を見ることを止めたと判断して、記憶装置５の消去人ＩＤ（ＤｅｌＨＩＤ）に当該利用者ＨのＨＩＤを設定して、画面処理装置６に対して画面消去処理Ｐ４０を生成するように命令して（ステップＳ２１０）、処理を終了する。例えば、この利用者ＨのＨＩＤ（配列番号）がＮ１である場合には、ＤｅｌＨＩＤにはＮ１を設定して、記憶装置５に記録する。この結果、画面処理装置６は、後述する画面消去処理Ｐ４０においては、どの小画面７を消去すればよいのかを把握することができる。なお、記憶装置５の消去人ＩＤを記録する際には、初期化処理が行われるため、それまでに記録されていた消去人ＩＤに対応する要素はクリアされることとなる。また、体積ｖ１の変化から利用者Ｈが移動していないと判定したときには（ステップＳ２００：ＮＯ）、ステップＳ１９０の処理を繰り返す。
　これに対して、検出した物体の三次元形状から、物体が人でないと判定したとき（ステップＳ１３０：ＮＯ）、位置検出装置４は、範囲ａ１において稼働していた超音波センサ９を停止させる（ステップＳ２２０）。さらに、範囲ａ１に関しては、別の詳細位置検出処理Ｐ３０からも超音波センサ９を稼働させないように、超音波センサ９をロックした状態とする。これは、人でない物体を何度も検出することを防止するためである。
　次いで、位置検出装置４は、検出した物体が移動したか否かを判定する（ステップＳ２３０）。詳しくは、範囲ａ１のうち、温度Ｔ１以上の部分の面積ｓ２が最初の面積ｓ１と比べて大きな変化があった、例えば、面積ｓ２が面積ｓ１より著しく小さくなったときは、検出した物体が移動したものと判断する。
　検出した物体が移動したときは（ステップＳ２３０：ＹＥＳ）、位置検出装置４は、ロックした状態の超音波センサ９を解除し、範囲ａ１における超音波センサ９の稼働を可能として（ステップＳ２４０）、処理を終了する。これは、当該地点に他の物体が来るかもしれないので、他の物体の検出を可能とするためである。一方、検出した物体が移動しなかったときは（ステップＳ２３０：ＮＯ）、ステップＳ２３０の処理を繰り返す。
（画面表示処理）
　画面表示処理Ｐ３０は、上述したように、位置検出部１０で新たに検出された利用者Ｈの視線位置に小画面７を表示する処理であり、詳細位置検出処理Ｐ２０からの指示により起動する。
　まず、画面処理装置６は、記憶装置５に記録された新規人ＩＤ（ＮｅｗＨＩＤ）を読み出し、読み出した新規人ＩＤに従って、構造体配列Ａから該当するデータの視線位置ＥＬを取得する（ステップＳ３１０）。例えば、ＮｅｗＨＩＤがＮ１であり、構造体配列ＡのＮ１番目のデータの視線位置ＥＬが（ｘ３，ｙ３，ｚ３）であるとする。
　次いで、画面処理装置６は、小画面７が表示されるべき位置（ｘ３，ｚ３）の近傍に別の小画面７があるか否かを判定する（ステップＳ３２０）。これは、（ｘ３，ｚ３）の近傍に小画面７が表示されている場合には、当該小画面７の近傍にさらに新たな小画面７を表示すると、却って邪魔になり適切でないので、小画面７を表示させないようにするため、当該判定を行うものである。詳しくは、位置（ｘ３，ｚ３）から予め定めた半径Ｒ１以内に別の小画面７が存在するか否かを、構造体配列Ｂの表示位置ＤＬを参照して、判定する。
　小画面７が表示されるべき位置（ｘ３，ｚ３）の近傍に別の小画面７がないときは（ステップＳ３２０：ＮＯ）、画面処理装置６は、小画面７が表示されるべき位置（ｘ３，ｚ３）に小画面７を表示する（ステップＳ３５０）。本実施の形態においては、画面処理装置６は、ｘ軸方向に関してはｘ３を中心に、また、ｚ軸方向に関してはｚ３を上限にして、約１２インチ程度の小画面７を表示する。すなわち、利用者Ｈはやや見下げる姿勢で小画面７を見ることができる。
　次いで、画面処理装置６は、記憶装置５の構造体配列Ｂを参照して、使用していない配列番号（ＤＩＤＦ＝０）、かつ最も小さい配列番号のデータを取得し（ステップＳ３６０）、当該データの表示位置ＤＬに小画面７が表示された位置（ｘ３，ｚ３）を設定し、ＷＩＤにＮｅｗＨＩＤを設定し、ＤＴに現在時刻を設定し、ＤＩＤＦに１を設定して、データを更新し（ステップＳ３７０）、処理を終了する。例えば、構造体配列Ｂの中で、配列番号Ｎ２のデータが使用されてなく、かつ使用されていないデータのうち配列番号Ｎ２が最も小さい場合には、構造体配列ＢのＮ２番目のデータの表示位置ＤＬに（ｘ３，ｚ３）を設定し、ＷＩＤにＮｅｗＨＩＤを設定し、ＤＴに現在時刻を設定し、ＤＩＤＦに１を設定して、データを更新する。
　一方、小画面７が表示されるべき位置（ｘ３，ｚ３）の近傍に別の小画面７があるときは（ステップＳ３２０：ＹＥＳ）、構造体配列Ｂを参照して、最も近い位置にある小画面７（以下、最近接小画面７という）の表示位置ＤＬ（ｄｘ，ｄｚ）を取得し（ステップＳ３３０）、最近接小画面７のｚ座標ｄｚとｚ３を比較し、その差がＺ２以上あるか否かを判定する（ステップＳ３４０）。例えば、最近接小画面７のＤＩＤをＮ３とし、その表示位置ＤＬを（ｄｘＮ３，ｄｚＮ３）とした場合には、ｚ３とｄｚＮ３の差がＺ２以上あるか否かを判定する。これは、ｘｙ位置が略同一または近くても、ｚ位置があまりに離れている場合には（例えば、大人が見ている小画面７を子供が見ようとする場合など）、高さに応じて異なる小画面７を表示したほうがよいので、このような場合に該当するか否かを判定するものである。
　ｚ３とｄｚＮ３の差がＺ２以上あるとき（ステップＳ３４０：ＹＥＳ）、すなわち、高さの差が予め定めた閾値Ｚ２以上あるときは、画面処理装置６は、新たな小画面７を表示すべく、上述したステップＳ３５０～Ｓ３７０の処理を実行する。この結果、新たに現れた利用者Ｈは、新たに表示された小画面７を見ることができる。
　これに対して、ｚ３とｄｚＮ３の差がＺ２未満であるときは（ステップＳ３４０：ＮＯ）、最近接小画面７を表示してから一定時間ＴＴ１以上経過しているか否かを判定する（ステップＳ３８０）。これは、複数人の利用者Ｈが略同時に検知範囲Ｓに現れたときの小画面表示において、複数人のうち最初に検出された利用者Ｈの視線に合わせて小画面７が表示されることを防止するために当該判定を行うものである。本実施の形態では、ＴＴ１は数秒程度の値が設定されている。なお、最近接小画面７を表示してからの時間は、ＤＴと現在時刻から算出される。
　最近接小画面７を表示してから一定時間ＴＴ１以上経過しているときは（ステップＳ３８０：ＹＥＳ）、画面処理装置６は、最近接小画面７の位置補正を行わず、構造体配列Ｂから、最近接小画面７のＤＩＤを有するデータを取得して、当該データのＷＩＤにＮｅｗＨＩＤを追加して、データを更新する（ステップＳ４１０）。例えば、最近接小画面７のＤＩＤがＮ３の場合には、構造体配列ＢのＮ３番目のデータのＷＩＤにＮｅｗＨＩＤを追加して、データを更新する。
　このように、最近接小画面７が表示されてから長い時間が経過した後、別の利用者Ｈが当該最近接小画面７の近傍に来た場合には、画面処理装置６は、先の利用者Ｈに対して表示していた最近接小画面７の位置を変更せずにそのままの位置で表示を継続する。
　これに対して、最近接小画面７を表示してから一定時間ＴＴ１以上経過していないときは（ステップＳ３８０：ＮＯ）、画面処理装置６は、構造体配列Ｂから、最近接小画面７のＤＩＤを有するデータを取得して、当該データのＷＩＤから最近接小画面７を見ている人全員の人ＩＤを参照し、参照した人ＩＤに基づいて、構造体配列Ａを参照して、最近接小画面７を見ている人全員の視線位置ＥＬのｘ座標及びｚ座標の平均値を計算する（ステップＳ３９０）。ここで、最近接小画面７を見ている人全員の視線位置ＥＬのｘ座標の平均をｘａｖ１、ｚ座標の平均をｚａｖ１とする。
　次いで、画面処理装置６は、（ｘａｖ１，ｚａｖ１）に小画面７を表示し、構造体配列Ｂから、最近接小画面７のＤＩＤを有するデータを取得して、当該データの表示位置ＤＬに（ｘａｖ１，ｚａｖ１）を設定し（ステップＳ４００）、さらに、ＷＩＤにＮｅｗＨＩＤを追加して、データを更新する（ステップＳ４１０）。例えば、最近接小画面７のＤＩＤがＮ３の場合には、構造体配列ＢのＮ３番目のデータの表示位置ＤＬに（ｘａｖ１，ｚａｖ１）を設定し、ＷＩＤにＮｅｗＨＩＤを追加して、データを更新する。
　このように、最近接小画面７が表示されてからあまり時間が経過していないときに、別の利用者Ｈが当該最近接小画面７の近傍に来た場合には（ほぼ同時に複数人の利用者Ｈが大画面１１に近づいて来た場合）、画面処理装置６は、複数人の利用者Ｈの視線の平均位置を計算し、計算した平均位置に最近接小画面７を移動して表示する。
（画面消去処理）
　画面消去処理Ｐ４０は、上述したように、利用者Ｈが小画面７を見ることを止めたときに当該利用者Ｈが見ていた小画面７を消去する処理であり、詳細位置検出処理Ｐ２０からの指示により起動する。
　まず、画面処理装置６は、記憶装置５に記録された消去人ＩＤ（ＤｅｌＨＩＤ）を読み出し、読み出した消去人ＩＤに基づいて、構造体配列ＢのＷＩＤを参照して、該当するデータを取得する（ステップＳ５１０）。例えば、ＤｅｌＨＩＤがＮ１であり、構造体配列Ｂの中で、ＷＩＤにＮ１が含まれているデータのＤＩＤがＮ４であるとする。
　次いで、画面処理装置６は、構造体配列ＢのＮ４番目のデータのＷＩＤに含まれる要素、すなわち、ＷＩＤに含まれる人ＩＤの数を数える（ステップＳ５２０）。ここでは、ＷＩＤに含まれる人ＩＤがＮ５個あるものとする。
　次いで、画面処理装置６は、上述したＮ５の値を用いて、ＤＩＤがＮ４の小画面７（以下、消去対象小画面７という）を見ている利用者Ｈが１人か否かを判定する（ステップＳ５３０）。
　消去対象小画面７を見ている利用者Ｈが１人であるときは（ステップＳ５３０：ＹＥＳ）、画面処理装置６は、消去対象小画面７を消去するとともに、構造体配列ＢのＮ４番目のデータを初期化する（ステップＳ５４０）。ここで、構造体配列Ｂのデータの初期化とは、具体的には、該当データの表示位置、ＷＩＤ、ＤＩＤＦ、及びＤＴを初期化すること意味する。なお、ＤＩＤＦには０が設定される。
　次いで、画面処理装置６は、消去人ＩＤをＨＩＤとする構造体配列Ａのデータを取得し、取得したデータを初期化して（ステップＳ５９０）、処理を終了する。ここで、構造体配列Ａのデータの初期化とは、具体的には、該当データの視線位置ＥＬ、及びＨＩＤＦを初期化することを意味する。なお、ＨＩＤＦには０が設定される。例えば、ＤｅｌＨＩＤがＮ１である場合には、構造体配列ＡのＮ１番目のデータを初期化する。
　消去対象小画面７を見ている利用者Ｈが１人でないときは（ステップＳ５３０：ＮＯ）、　画面処理装置６は、消去対象小画面７を見ている利用者Ｈが３人以上であるか否かを判定する（ステップＳ５５０）。
　消去対象小画面７を見ている利用者Ｈが３人以上でない、すなわち、利用者Ｈが２人のときは（ステップＳ５５０：ＮＯ）、その後消去対象小画面７を見続ける利用者Ｈ（残された利用者Ｈという）は１人なので、消去対象小画面７の表示位置を残された利用者Ｈの視線位置に合わせて移動し、構造体配列ＢのＮ４番目のデータの表示位置ＤＬに残された利用者Ｈの視線位置を設定して、更新する（ステップＳ５６０）。例えば、構造体配列ＢのＮ４番目のデータのＷＩＤから、残された利用者の人ＩＤがＮ５の場合には、構造体配列ＡのＨＩＤがＮ５のデータの視線位置ＥＬを取得し、取得した視線位置ＥＬのｘ座標及びｚ座標に消去対象小画面７を表示し、取得した視線位置ＥＬのｘ座標及びｚ座標を構造体配列ＢのＮ４番目のデータの表示位置ＤＬに設定する。なお、消去対象小画面７の表示位置ＤＬを変更し、構造体配列Ｂを更新した後は、上述したステップＳ５９０に進み、画面処理装置６は、ＤｅｌＨＩＤをＨＩＤとする構造体配列Ａのデータを取得し、取得したデータを初期化して、処理を終了する。
　一方、消去対象小画面７を見ている利用者Ｈが３人以上のときは（ステップＳ５５０：ＹＥＳ）、その後消去対象小画面７を見続ける利用者Ｈは２人以上いるので、残された利用者Ｈの視線位置の平均を算出する（ステップＳ５７０）。例えば、構造体配列ＢのＮ４番目のデータのＷＩＤから、残された利用者の人ＩＤがＮ５及びＮ６の場合には、構造体配列ＡのＨＩＤがＮ５及びＮ６のデータの視線位置ＥＬを取得し、取得した視線位置ＥＬの平均を算出する。ここで、残された利用者Ｈの視線位置ＥＬのｘ座標の平均をｘａｖ２、ｙ座標の平均をｙａｖ２、ｚ座標の平均をｚａｖ２とする。
　次いで、画面処理装置６は、（ｘａｖ２，ｚａｖ２）に消去対象小画面７を表示し、構造体配列ＢのＮ４番目のデータの表示位置ＤＬに（ｘａｖ２，ｚａｖ２）を設定し、データを更新する（ステップＳ５８０）。なお、消去対象小画面７の表示位置ＤＬを変更し、構造体配列Ｂを更新した後は、上述したステップＳ５９０に進み、画面処理装置６は、ＤｅｌＨＩＤをＨＩＤとする構造体配列Ａのデータを取得し、取得したデータを初期化して、処理を終了する。
＜小画面表示制御の具体例＞
　次に、上述した小画面表示システム１００の小画面表示制御を利用者Ｈの行動と対比して具体的に説明する。
（別々の小画面７を見ていた２人の利用者Ｈが近づく場合）
　図８を参照して、利用者ＨＡが小画面７Ａ、利用者ＨＢが小画面７Ｂをそれぞれ見ている状態から、利用者ＨＢが利用者ＨＡに近づく場合について説明する。
　まず、利用者ＨＢが小画面７Ｂから離れると、小画面表示システム１００は、利用者ＨＢが見ていた小画面７Ｂを消去する（詳細位置検出処理のステップＳ２００、Ｓ２１０、画面消去処理のステップＳ５３０（ＮＯ）、Ｓ５４０参照）。
　次いで、利用者ＨＢが利用者ＨＡに近づいて、小画面７Ａに近い場合には、小画面表示システム１００は、新たな小画面７を表示しないとともに、小画面７Ａの表示位置も変更しない（画面表示処理のステップＳ３２０（ＹＥＳ）、ステップＳ３４０（ＮＯ）、ステップＳ３８０（ＹＥＳ）、ステップＳ４１０参照）。従って、利用者ＨＢは、表示位置の変わらない小画面７Ａを見ることとなる。
　一方、利用者ＨＢが利用者ＨＡに近づいたが、利用者ＨＢと小画面７Ａと遠い場合には、小画面表示システム１００は、利用者ＨＢの視線に合わせた新たな小画面７Ｂを表示する（画面表示処理のステップＳ３２０（ＮＯ）、Ｓ３５０参照）。この結果、利用者ＨＢは新たな小画面７Ｂを見ることとなる。
（小画面７を見ていた利用者Ｈに別の利用者Ｈが近づく場合）
　図９を参照して、利用者ＨＡが小画面７Ａを見ているときに、別の利用者ＨＢが近づいて来る場合について説明する。
　まず、利用者ＨＢが利用者ＨＡに近づいて、小画面７Ａに近い場合には、小画面表示システム１００は、新たな小画面７を表示しないとともに、小画面７Ａの表示位置も変更しない（画面表示処理のステップＳ３２０（ＹＥＳ）、ステップＳ３４０（ＮＯ）、ステップＳ３８０（ＹＥＳ）、ステップＳ４１０参照）。従って、利用者ＨＢは、表示位置の変わらない小画面７Ａを見ることとなる。
　一方、利用者ＨＢが利用者ＨＡに近づいて、小画面７Ａに近いが、利用者ＨＢの視線位置の高さが利用者ＨＡの視線位置の高さと大きく離れている場合には、小画面表示システム１００は、利用者ＨＢの視線に合わせて新たな小画面７Ｂを表示する（画面表示処理のステップＳ３２０（ＹＥＳ）、ステップＳ３４０（ＹＥＳ）、ステップＳ３５０参照）。
　また、利用者ＨＢが利用者ＨＡに近づいたが、小画面７Ａと遠い場合には、小画面表示システム１００は、利用者ＨＢの視線に合わせた新たな小画面７Ｂを表示する（画面表示処理のステップＳ３２０（ＮＯ）、Ｓ３５０参照）。この結果、利用者ＨＢは小画面７Ｂを見ることとなる。
（複数人の利用者Ｈが同時に小画面７を見に来た場合）
　図１０を参照して、利用者ＨＡと利用者ＨＢがほぼ同時に検知範囲Ｓに進入してきて、小画面７を見る場合について説明する。
　利用者ＨＡと利用者ＨＢの距離が近い場合には、小画面表示システム１００は、二人の視線平均位置（視線位置のｘ座標及びｚ座標の平均）に小画面７Ａを表示する（画面表示処理のステップＳ３２０（ＹＥＳ）、Ｓ３４０（ＮＯ）、Ｓ３８０（ＮＯ）、Ｓ３９０、Ｓ４００参照）。したがって、利用者ＨＡ及び利用者ＨＢは、二人の間の中間位置に表示された小画面７Ａを見ることとなる。
　一方、利用者ＨＡと利用者ＨＢの距離が遠い場合には、小画面表示システム１００は、利用者ＨＡ及びＨＢの視線に合わせた新たな小画面７Ａ及び７Ｂをそれぞれ表示する（画面表示処理のステップＳ３２０（ＮＯ）、Ｓ３５０参照）。この結果、利用者ＨＡは小画面７Ａ、利用者ＨＢは小画面７Ｂをそれぞれ見ることとなる。
（複数人の利用者Ｈが１つの小画面７を見ている状態からいずれかの利用者Ｈが立ち去る場合）
　図１１を参照して、まず、利用者ＨＡ及び利用者ＨＢが小画面７Ａを見ている状態から、利用者ＨＢが立ち去る場合について説明する。この場合には、利用者ＨＡだけが小画面７Ａを見ることになるので、小画面表示システム１００は、利用者ＨＡの視線位置に合わせて、小画面７Ａを移動して表示する（画面消去処理のステップＳ５３０（ＮＯ）、Ｓ５５０（ＮＯ）、Ｓ５６０参照）。この結果、利用者ＨＡは自分の視線位置に表示された小画面７Ａを見ることとなる。
　次に、利用者ＨＡ、利用者ＨＢ及び利用者ＨＣが小画面７Ａを見ている状態から、利用者ＨＣが立ち去る場合について説明する。この場合には、利用者ＨＡ及びＨＢが小画面７Ａを見ることになるので、小画面表示システム１００は、利用者ＨＡ及びＨＢの視線平均位置（ｘ座標及びｙ座標の平均）に合わせて、小画面７Ａを移動して表示する（画面消去処理のステップＳ５３０（ＮＯ）、Ｓ５５０（ＹＥＳ）、Ｓ５７０、Ｓ５８０参照）。この結果、利用者ＨＡ及び利用者ＨＢは、二人の間の中間位置に表示された小画面７Ａを見ることとなる。
　以上、本実施の形態に係る小画面表示システム１００によれば、大画面１１を有する表示装置１と、大画面１１の前方の検知範囲Ｓに存在する利用者Ｈの視線位置を検出する位置検出部１０と、位置検出部１０が検出した利用者Ｈの視線位置に合わせて、大画面１１上に小画面７を表示する画面処理装置６と、を有するので、大型ディスプレイ上に小画面７を表示するに際して、利用者Ｈが操作に煩わしさを感じることがない。すなわち、本実施の形態に係る小画面表示システム１００は、位置検出部１０のセンサ装置２を非接触センサとするので、利用者Ｈが表示操作をすることなく、位置検出装置４が自動的に利用者Ｈの視線位置を検出して、画面処理装置６が利用者Ｈの視線位置に合わせて小画面を表示するので、利用者Ｈは表示操作に煩わしさを感じることがない。また、本実施の形態に係る小画面表示システム１００は、利用者Ｈが消去操作をすることなく、位置検出装置４が自動的に利用者Ｈの移動を検出して、画面処理装置６が表示されていた小画面７を消去するので、利用者Ｈは消去操作に煩わしさを感じることがないとともに、小画面７を消去するためのシステム保守要員を必要としないので、システム保守を容易とすることができる。
　また、本実施の形態に係る小画面表示システム１００によれば、複数の利用者Ｈの集まり状況に応じて最適な位置に小画面７を表示する表示制御アルゴリズムを備えているので、複数の利用者Ｈが同時に大画面１１の前に存在する場合でも、複数の利用者Ｈそれぞれにとって最適な位置に小画面７を表示することができる。例えば、複数の利用者Ｈが離れて存在する場合には、それぞれの利用者Ｈの視線位置に合わせて、好適な位置に小画面７をそれぞれ表示する。また、複数の利用者Ｈが近接して存在する場合には、それぞれの利用者Ｈの視線位置の平均位置に共通の小画面７を表示したり、最初に見ていた利用者Ｈの小画面７の表示位置に固定して表示したりするので、近接していてもそれぞれの利用者Ｈに邪魔にならずに小画面７を表示することができる。また、複数の利用者Ｈが近接していても、視線の高さ位置が大きく離れている場合には、利用者Ｈごとに小画面７を表示するので、背の高さを考慮した小画面表示をすることができる。さらには、複数の利用者Ｈが１つの小画面７を見ていたときに利用者のいずれかが立ち去るような場合においても、残された利用者Ｈの数に応じて、最適な視線位置に小画面７を移動して表示することができる。例えば、残された利用者Ｈが１人の場合には、残された利用者Ｈの視線位置に合わせて小画面７を表示し、また、残された利用者Ｈが２人以上の場合には、残された利用者Ｈそれぞれの視線位置の平均位置に小画面７を表示するので、残された利用者Ｈにとってより好適な位置に小画面７が表示されることとなる。
　また、本実施の形態に係る小画面表示システム１００によれば、人と判断した場合に利用者Ｈの視線位置を検出するので、不要な物体に対する誤作動を排除することができる。
　なお、本実施の形態に係る小画面表示システム１００においては、小画面７の大きさを１２インチ程度としたが、小画面７の大きさはこれに限定されるものではない。また、本実施の形態に係る小画面表示システム１００においては、小画面７の大きさを固定して表示したが、小画面７の大きさを可変させて表示するようにしてもよい。例えば、表示装置１の大画面１１からの距離（ｙ座標）に応じて、小画面７の大きさを変化させるようにしてもよい。この場合には、大画面１１からの距離が離れるに従って、小画面７の大きさを大きくするように制御してもよい。また、１人の利用者Ｈが１つの小画面７を見ている場合だけに、このような小画面７の大きさを変化させる制御を適用してもよい。また、複数の利用者Ｈが１つの小画面７を見ている場合においても、複数の利用者Ｈのｙ座標の平均に基づいて、小画面７の大きさを決定するようにしてもよい。
　また、本実施の形態に係る小画面表示システム１００においては、利用者Ｈの位置を検出する装置としてセンサ装置２（赤外線センサ８、超音波センサ９）を用いたが、利用者Ｈの位置を検出する装置はこれに限定されるものではない。例えば、動画を撮影できるカメラを用いて、検知範囲Ｓの画像を撮影し、撮影した画像を処理して、検知範囲Ｓに存在する利用者Ｈを検出するようにしてもよい。また、利用者Ｈに自分の身長などの情報（高さ情報）が記憶された電子タグを装着してもらい、利用者Ｈが装着した電子タグと通信を行って、電子タグの位置情報（ｘｙ座標）を検出するとともに、高さ情報（ｚ座標）を取得するようにしてもよい。特に屋外に表示装置１を設置するなどして天井にセンサ装置２を配設することができない場合には、上述したカメラや電子タグを用いた方法が有効である。
　また、本実施の形態に係る小画面表示システム１００は、種々の施設に適用が可能であるが、特に表示装置１を広告用ディスプレイとして使用する場合に好適である。例えば、街頭に設置された超大型ディスプレイに近づくと、利用者Ｈの存在位置を検出して、利用者Ｈの視線位置に広告画像を表示するようにしてもよい。この場合には、利用者Ｈが荷物等を持っていて両手が空いていなくても、超大型ディスプレイに近づくだけで自分に向けた広告が表示されるので、便利である。
　また、超大型ディスプレイに表示される画像の大きさを距離に応じて変化させるようにしてもよい。例えば、超大型ディスプレイとの距離が遠い場合には、超大型ディスプレイの表示画面全体に広告画像を表示し、超大型ディスプレイとの距離が近い場合には、小画面７に同一の広告映像を表示するようにしてもよい。超大型ディスプレイの場合には、近づき過ぎると、何が映っているかよくわからないので、近づいても表示画像を把握できるようにするためである。
　なお、本実施の形態に係る小画面表示システム１００においては、利用者Ｈが移動すると小画面７を消去するように制御していたが、これに代えて、利用者Ｈの視線位置に追随して、小画面７を移動させて表示するようにしてもよい。この場合には、例えば、上述した表示装置１を広告用ディスプレイとして使用すると、利用者Ｈは歩きながらその横に広告画像を見ることが可能となる。
　また、利用者Ｈの視線位置に追随して、小画面７を移動させて表示するような小画面表示システム１００の場合には、アミューズメント施設に好適である。例えば、大画面１１の前において複数人で遊ぶようなシューティングゲームの場合には、利用者Ｈの視線位置に追随して、ゲームに必要な情報を視線位置に表示することができる。また、水族館などにおいて水槽に透過型のディスプレイが貼られている場合には、利用者Ｈの移動に追随して、視線位置にガイド情報を表示するようにしてもよい。
　以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。

Claims (15)

  1. 　第１の大きさの画像表示面を有する表示手段と、
    　前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、
    　前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第１の大きさよりも小さな第２の大きさの小画面を表示する画面処理手段と、
    を有することを特徴とする画面表示システム。
  2. 　前記画面処理手段は、
    　前記位置検出手段が検出した前記利用者が移動したと判断した場合には、前記利用者の視線に合わせて表示した小画面を消去することを特徴とする請求項１記載の画面表示システム。
  3. 　前記位置検出手段は、
    　前記画像表示面の前方の所定領域に存在する複数の利用者それぞれの視線位置を検出し、
    　前記画面処理手段は、
    　前記位置検出手段が検出した前記複数の利用者それぞれの視線位置に合わせて、前記第２の大きさの小画面をそれぞれ表示することを特徴とする請求項１記載の画面表示システム。
  4. 　前記画面処理手段は、
    　前記位置検出手段が検出した複数の利用者それぞれの視線位置が予め定めた範囲内にある場合には、前記複数の利用者の視線位置に基づいて、前記第２の大きさの共通小画面を１つ表示することを特徴とする請求項３記載の画面表示システム。
  5. 　前記画面処理手段は、
    　前記共通小画面を前記複数の利用者それぞれの視線位置を平均した位置に表示することを特徴とする請求項４記載の画面表示システム。
  6. 　前記画面処理手段は、
    　前記複数の利用者のうち、前記位置検出手段が検出した最初の利用者の視線位置に合わせて、前記共通小画面を表示することを特徴とする請求項４記載の画面表示システム。
  7. 　前記画面処理手段は、
    　前記位置検出手段が前記複数の利用者のうち、いずれかの利用者の移動を判断した場合には、残された利用者の視線位置に基づいて、前記共通小画面を移動して表示することを特徴とする請求項４乃至６のいずれか１項に記載の画面表示システム。
  8. 　前記画面処理手段は、
    　前記残された利用者が２人以上の場合には、前記共通小画面を前記残された利用者の視線位置を平均した位置に表示することを特徴とする請求項７記載の画面表示システム。
  9. 　前記画面処理手段は、
    　前記残された利用者が１人の場合には、前記共通小画面を前記残された利用者の視線位置に合わせて表示することを特徴とする請求項７記載の画面表示システム。
  10. 　前記画面処理手段は、
    　前記位置検出手段が検出した複数の利用者それぞれの視線位置が予め定めた範囲内にあって、複数の利用者それぞれの視線位置の高さの差異が予め定めた閾値以上の場合には、前記複数の利用者それぞれの視線位置に合わせて、前記第２の大きさの小画面をそれぞれ表示することを特徴とする請求項４記載の画面表示システム。
  11. 　前記位置検出手段は、
    　複数の人の体型及び姿勢に関する三次元形状パターンを備えており、
    　検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第１の検出手段と、
    　検出した物体が人である場合には、検出した利用者の頭頂の３次元位置を検出する第２の検出手段と、
    　前記検出した利用者の頭頂の３次元位置から予め定められた方法により視線位置を算出する補正手段と、
    を備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画面表示システム。
  12. 　前記画面処理手段は、
    　前記位置検出手段が検出した前記利用者の視線位置の前記画像表示面からの距離に基づいて、前記第２の大きさを変化させることを特徴とする請求項１乃至１１のいずれか１項に記載の画面表示システム。
  13. 　前記画面処理手段は、
    　前記位置検出手段が検出した前記利用者の視線位置の移動に追随して、前記第２の大きさの小画面を表示することを特徴とする請求項１記載の画面表示システム。
  14. 　第１の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、
    　前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、
    　前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第１の大きさよりも小さな第２の大きさの小画面を表示する画面処理ステップと、
    を前記コンピュータに実行させることを特徴とする画面表示プログラム。
  15. 　前記画面処理ステップは、
    　前記位置検出ステップで検出した前記利用者が移動したと判断した場合には、前記第２の大きさの小画面を消去することを特徴とする請求項１３記載の画面表示プログラム。
PCT/JP2008/057071 2008-04-10 2008-04-10 画面表示システム及び画面表示プログラム WO2009125481A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2008/057071 WO2009125481A1 (ja) 2008-04-10 2008-04-10 画面表示システム及び画面表示プログラム
US12/937,437 US20110032274A1 (en) 2008-04-10 2008-04-10 Screen display system and screen display program
JP2010507089A JP5058335B2 (ja) 2008-04-10 2008-04-10 画面表示システム及び画面表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/057071 WO2009125481A1 (ja) 2008-04-10 2008-04-10 画面表示システム及び画面表示プログラム

Publications (1)

Publication Number Publication Date
WO2009125481A1 true WO2009125481A1 (ja) 2009-10-15

Family

ID=41161624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/057071 WO2009125481A1 (ja) 2008-04-10 2008-04-10 画面表示システム及び画面表示プログラム

Country Status (3)

Country Link
US (1) US20110032274A1 (ja)
JP (1) JP5058335B2 (ja)
WO (1) WO2009125481A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242699A (ja) * 2010-05-20 2011-12-01 Canon Inc 情報提示システム及びその制御方法、プログラム
CN102467345A (zh) * 2010-11-08 2012-05-23 夏普株式会社 显示装置和显示方法
EP2514196A2 (en) * 2009-12-17 2012-10-24 LG Electronics Inc. Image display apparatus and method for operating the image display apparatus
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置
JP2014153666A (ja) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp 広告提示装置
WO2015029554A1 (ja) 2013-09-02 2015-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2015049931A1 (ja) * 2013-10-04 2015-04-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
JP2017068697A (ja) * 2015-09-30 2017-04-06 ブラザー工業株式会社 投影制御装置、及びプログラム
JP2020530631A (ja) * 2017-08-14 2020-10-22 シェンジェン ピーアールテック カンパニー リミテッド インタラクション位置決定方法、システム、記憶媒体、およびスマートデバイス
JP2020533695A (ja) * 2017-09-08 2020-11-19 株式会社ソニー・インタラクティブエンタテインメント 空間的な、ユーザを認識している、コンパニオンロボットまたはデバイスからの第２のスクリーンの投影
US11960647B2 (en) 2020-04-24 2024-04-16 Sharp Nec Display Solutions, Ltd. Content display device, content display method, and storage medium using gazing point identification based on line-of-sight direction detection

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010137009A (ja) * 2008-12-15 2010-06-24 Nintendo Co Ltd キャリブレーションプログラム及び座標検出装置
JP5310456B2 (ja) * 2009-10-05 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
US9875719B2 (en) 2009-12-23 2018-01-23 Gearbox, Llc Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110211738A1 (en) * 2009-12-23 2011-09-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
JP2015056141A (ja) 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
CN106970697B (zh) * 2016-01-13 2020-09-08 华为技术有限公司 界面交互装置及方法
EP3473388A4 (en) * 2016-06-16 2020-01-29 Shenzhen Royole Technologies Co., Ltd. METHOD AND DEVICE FOR MULTIPLE-USER INTERACTION AND CHAPERON ROBOTS
JP6726889B2 (ja) * 2016-06-20 2020-07-22 パナソニックＩｐマネジメント株式会社 映像表示システム
US10623815B2 (en) * 2017-10-02 2020-04-14 International Business Machines Corporation Masking screen responsive to viewpoint
JP2022037377A (ja) * 2020-08-25 2022-03-09 株式会社ワコム 入力システム及び入力方法
GB2607569A (en) * 2021-05-21 2022-12-14 Everseen Ltd A user interface system and method
TWI823469B (zh) * 2022-07-11 2023-11-21 矽統科技股份有限公司 電子系統振動回饋方法以及振動回饋電子系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278758A (ja) * 1995-04-10 1996-10-22 Fujitsu General Ltd 画像表示装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
JP2001319217A (ja) * 2000-05-09 2001-11-16 Fuji Photo Film Co Ltd 画像表示方法
JP2003330697A (ja) * 2002-05-14 2003-11-21 Takenaka Komuten Co Ltd 情報表示装置
JP2007272365A (ja) * 2006-03-30 2007-10-18 Advanced Telecommunication Research Institute International コンテンツ提示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0919906B1 (en) * 1997-11-27 2005-05-25 Matsushita Electric Industrial Co., Ltd. Control method
US20020046100A1 (en) * 2000-04-18 2002-04-18 Naoto Kinjo Image display method
US20040093620A1 (en) * 2002-02-04 2004-05-13 Daisuke Iino Advertisement program providing system
US20030161505A1 (en) * 2002-02-12 2003-08-28 Lawrence Schrank System and method for biometric data capture and comparison
US8115877B2 (en) * 2008-01-04 2012-02-14 International Business Machines Corporation System and method of adjusting viewing angle for display based on viewer positions and lighting conditions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278758A (ja) * 1995-04-10 1996-10-22 Fujitsu General Ltd 画像表示装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
JP2001319217A (ja) * 2000-05-09 2001-11-16 Fuji Photo Film Co Ltd 画像表示方法
JP2003330697A (ja) * 2002-05-14 2003-11-21 Takenaka Komuten Co Ltd 情報表示装置
JP2007272365A (ja) * 2006-03-30 2007-10-18 Advanced Telecommunication Research Institute International コンテンツ提示装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2514196A2 (en) * 2009-12-17 2012-10-24 LG Electronics Inc. Image display apparatus and method for operating the image display apparatus
EP2514196A4 (en) * 2009-12-17 2014-02-19 Lg Electronics Inc IMAGE DISPLAY DEVICE AND OPERATING METHOD FOR THE IMAGE DISPLAY DEVICE
JP2011242699A (ja) * 2010-05-20 2011-12-01 Canon Inc 情報提示システム及びその制御方法、プログラム
CN102467345A (zh) * 2010-11-08 2012-05-23 夏普株式会社 显示装置和显示方法
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置
JP2014153666A (ja) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp 広告提示装置
US10379610B2 (en) 2013-09-02 2019-08-13 Sony Corporation Information processing device and information processing method
WO2015029554A1 (ja) 2013-09-02 2015-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2015049931A1 (ja) * 2013-10-04 2015-04-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2015049931A1 (ja) * 2013-10-04 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10545623B2 (en) 2013-10-04 2020-01-28 Sony Corporation Information processing device and information processing method to coordinate with a plurality of information processing devices
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
JPWO2015190093A1 (ja) * 2014-06-10 2017-06-01 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
US10855946B2 (en) 2014-06-10 2020-12-01 Socionext Inc. Semiconductor integrated circuit, display device provided with same, and control method
JP2017068697A (ja) * 2015-09-30 2017-04-06 ブラザー工業株式会社 投影制御装置、及びプログラム
JP2020530631A (ja) * 2017-08-14 2020-10-22 シェンジェン ピーアールテック カンパニー リミテッド インタラクション位置決定方法、システム、記憶媒体、およびスマートデバイス
JP2020533695A (ja) * 2017-09-08 2020-11-19 株式会社ソニー・インタラクティブエンタテインメント 空間的な、ユーザを認識している、コンパニオンロボットまたはデバイスからの第２のスクリーンの投影
US11960647B2 (en) 2020-04-24 2024-04-16 Sharp Nec Display Solutions, Ltd. Content display device, content display method, and storage medium using gazing point identification based on line-of-sight direction detection

Also Published As

Publication number Publication date
JPWO2009125481A1 (ja) 2011-07-28
JP5058335B2 (ja) 2012-10-24
US20110032274A1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
JP5058335B2 (ja) 画面表示システム及び画面表示プログラム
KR102553190B1 (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
CN106170083B (zh) 用于头戴式显示器设备的图像处理
CN107015638B (zh) 用于向头戴式显示器用户报警的方法和装置
JPWO2018016464A1 (ja) 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US20120169583A1 (en) Scene profiles for non-tactile user interfaces
JP7423683B2 (ja) 画像表示システム
JP6630607B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
KR101993836B1 (ko) 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템
KR20230048554A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US11695908B2 (en) Information processing apparatus and information processing method
JP6340464B1 (ja) プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
CN103513768A (zh) 一种基于移动终端姿态变化的控制方法及装置、移动终端
JP6915829B2 (ja) 親近アンビエントエージェントシステムおよびプログラム
JP6947661B2 (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
JP2010273276A (ja) テレビ制御装置
JP6710845B1 (ja) リハビリテーション支援装置、その方法およびプログラム
JP6625467B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
TWI470565B (zh) 非接觸式醫療導覽系統及其控制方法
JP2023123787A (ja) 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
CN111279410B (zh) 显示设备和显示设备控制方法
TWI628466B (zh) 佩戴顯示裝置
EP4170594A1 (en) System and method of simultaneous localisation and mapping
CN112365605A (zh) 场地进入对象的提示方法和系统及其vr眼镜
TWI463474B (zh) 影像調整系統及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08740172

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2010507089

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12937437

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 08740172

Country of ref document: EP

Kind code of ref document: A1