WO2013183110A1 - 情報処理装置、方法およびプログラム - Google Patents

情報処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2013183110A1
WO2013183110A1 PCT/JP2012/064404 JP2012064404W WO2013183110A1 WO 2013183110 A1 WO2013183110 A1 WO 2013183110A1 JP 2012064404 W JP2012064404 W JP 2012064404W WO 2013183110 A1 WO2013183110 A1 WO 2013183110A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
information
content
display direction
Prior art date
Application number
PCT/JP2012/064404
Other languages
English (en)
French (fr)
Inventor
伊藤 泰成
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to PCT/JP2012/064404 priority Critical patent/WO2013183110A1/ja
Priority to JP2014519719A priority patent/JP5889408B2/ja
Publication of WO2013183110A1 publication Critical patent/WO2013183110A1/ja
Priority to US14/537,125 priority patent/US9442561B2/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • B66B3/002Indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Definitions

  • the present invention relates to a display device that can change the content to be displayed according to the display direction.
  • an interactive multi-view display system that includes a multi-view display and includes a detection device that detects which one of a plurality of users is about to interact with one of the displayed images is proposed.
  • a display system has been proposed that has a multi-view display panel, takes in information of a viewer, and controls display of a plurality of images at appropriate respective viewing angles using this information (see Patent Document 2). ).
  • a pattern of at least three image areas arranged to repeat is defined, and the observer's eyes move from the current image area toward the adjacent image area and try to enter the adjacent image area. If it is detected, the image displayed in the adjacent image area is updated to the image displayed in the current image area, and the image displayed in the current image area is not updated.
  • An observer-following autostereoscopic display device has been proposed (see Patent Document 3).
  • JP 2011-070680 A JP 2009-540381 A Japanese Patent No. 3705543
  • a display device (hereinafter referred to as a “directional display device”) that can display different contents depending on the display direction, if the viewer is sufficiently away from the display area, By only displaying the content in one display direction, the viewer can view the desired content.
  • the direction (angle) to the viewer cannot be ignored for each point on the display area. Come different. For this reason, in such a directional display device, when the viewer approaches the display area, it is difficult for the viewer to visually recognize the consistent content.
  • an object of the present invention is to perform display in an appropriate display direction according to the position of the viewpoint with respect to the display device in the directional display device.
  • the entire display area of the directional display device is divided into a plurality of partial areas, and each partial area is displayed in a display direction according to the position of the user or the like viewed from the partial area. It was decided to display.
  • the present invention relates to an information processing apparatus connected to a display device capable of changing display contents according to a display direction, and a position of an object in a range where the display device can be visually recognized.
  • Position information acquisition means for acquiring information, a first display direction that is visible when the first partial region of the display device is viewed from the position of the object based on the position information, and the display device
  • Display direction determining means for determining a second display direction that is visible when the second partial region is viewed from the position of the object, and display control means for displaying content on the display device, Display control means for displaying the content in the first display direction in the first partial region and displaying the content in the second display direction in the second partial region; It is an information processing apparatus.
  • the information processing device has a relationship between a position within a range in which the display device can be visually recognized and a display direction for each partial region that is visible when the partial region is viewed from the position.
  • the display direction determining means is configured to extract the first partial area or the second partial area from the object based on a search result of the relation information using the position information. You may determine the display direction which can be visually recognized when it sees.
  • the position information acquisition means acquires position information of the first object and position information of a second object different from the first object, and the display direction determination means The first display direction and the second display direction are determined for each of the objects based on the position information, and the display control means is configured to determine the first target in the first partial region.
  • the content for the first object is displayed in the first display direction related to the object, and the content for the second object is displayed in the first display direction related to the second object.
  • the content for the first object is displayed in the second display direction related to the first object, and the content related to the second object is displayed.
  • Content for the second object in the second display direction It may be shown.
  • the object may be a user's head or a user's eye, the first object is a user's left eye, and the second object is a user's right eye. Also good.
  • the present invention can also be grasped as a method executed by a computer or a program executed by the computer. Further, the present invention may be a program in which such a program is recorded on a recording medium readable by a computer, other devices, machines, or the like.
  • a computer-readable recording medium is a recording medium that stores information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read from a computer or the like.
  • the directional display device in the directional display device, it is possible to perform display in an appropriate display direction according to the position of the viewpoint with respect to the display device.
  • FIG. 1 It is a figure which shows the outline of the hardware constitutions of the information processing apparatus which concerns on embodiment. It is a figure which shows a mode that the content visually recognized changes with the position of the user who visually recognizes a directional display apparatus in embodiment.
  • FIG. 6 is a flowchart illustrating a flow of processing for creating a calibration table in consideration of display area parallax in the embodiment. In an embodiment, it is a flow chart which shows a flow of processing for performing directivity display control processing in consideration of display field parallax.
  • the information processing apparatus can be implemented as a human interface device provided for operation targets such as an elevator, a car navigation device, an audio device, an information KIOSK terminal, a self-checkout terminal, and a home appliance.
  • the application target of the present invention is not limited to the above-described example.
  • FIG. 1 is a diagram illustrating an outline of a hardware configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, an auxiliary storage device 19, a directional display device 14, a speaker 15, This is an information processing apparatus in which the network interface 16 and the sensor unit 20 are electrically connected. Further, the information processing apparatus 1 is connected to a control device for an operation target (elevator or the like) via the network interface 16.
  • a control device for an operation target elevator or the like
  • the apparatus according to the present invention need not have all the above-described configurations.
  • components can be omitted, replaced, or added as appropriate according to the embodiment.
  • the CPU 11 is a central processing unit, and processes the instructions and data expanded in the RAM 12 and the ROM 13, etc., so that the components included in the information processing apparatus 1 such as the RAM 12, the auxiliary storage device 19, and the input / output device are configured. Control.
  • the RAM 12 is a main storage device, and is controlled by the CPU 11 to write and read various commands and data. That is, the CPU 11, the RAM 12, and the ROM 13 constitute a control unit of the information processing apparatus 1.
  • the auxiliary storage device 19 is a non-volatile storage device, and mainly information to be retained even when the information processing device 1 is turned off, for example, an OS (Operating System) of the information processing device 1 loaded into the RAM 12, and the like will be described later. In addition to various programs for executing the processing shown in the flowchart, various data used by the information processing apparatus 1 are written and read.
  • an EEPROM Electrically Erasable Programmable ROM
  • HDD Hard Disk Drive
  • the directional display device 14 uses a lens (such as a lenticular lens or a fly-eye lens) that can obtain multiple viewpoints or a parallax barrier or the like to change the pixels to be visually recognized depending on the direction in which the display area is visually recognized.
  • Directional display device hereinafter referred to as “uniaxial directional display device” or “biaxial directional display device” capable of directivity display in a direction (eg, horizontal direction) or biaxial direction (eg, horizontal direction and vertical direction) ").
  • the display device used as the directional display device 14 may be any display device that can change the content to be visually recognized by the user according to the viewing direction, and has directivity by employing other techniques. May be used.
  • the content projection technique in the directional display device 14 is not limited as long as it can be shared with the configuration for directional display. For example, a flat panel display, a projector, or the like can be used for projecting content.
  • FIG. 2 is a diagram illustrating a state in which the content to be viewed is different depending on the position of the user viewing the directional display device 14 in the present embodiment.
  • the directional display device 14, the speaker 15, the sensor unit 20, and the like are mainly used as the input / output devices, are controlled by the CPU 11, output data, and accept user operations.
  • information is provided through the user's five senses, and input from the user is accepted through a gesture operation by the user.
  • the content input from the input / output device is recorded in the RAM 12 and processed by the CPU 11.
  • acoustic input / output using a microphone (not shown) and the speaker 15 can be used.
  • the speaker 15 included in the information processing apparatus 1 may be a directional speaker.
  • the information processing device 1 matches the output direction of the sound from the directional speaker with the display direction by the directional display device 14, thereby outputting different content for each user in response to an operation input from a plurality of users. It can be done both visually and auditorily.
  • the sound output direction by the directional speaker may be determined by referring to the user position information as in the case of determining the display direction by the directional display device 14.
  • the gesture may include movement of the line of sight in addition to gestures and hand gestures.
  • the operation by the user may be not only a gesture but also utterance by the user.
  • the operation by the user may be an operation consciously performed by the user or an operation unconsciously performed by the user. However, the operation does not have to be performed by the user.
  • the operation by the user may be performed using a device operated by the user, such as a controller or a mobile terminal device.
  • the sensor unit 20 recognizes the user or the user's eyes, and acquires information for detecting a gesture by the user.
  • the sensor unit 20 includes one or a plurality of sensors, and uses a configuration capable of simultaneously recognizing the presence and position of a plurality of users or their respective eyes and simultaneously detecting gestures by a plurality of users.
  • the left and right eyes may be recognized as different objects.
  • the example of the concrete structure of the sensor unit 20 is shown.
  • FIG. 3 illustrates a sensor unit 20 including a monocular camera that captures at least one of visible light (RGB) and infrared. It is a figure which shows the example of arrangement
  • the information processing apparatus 1 acquires user position information using an image analysis technique including a face recognition technique or a gaze recognition technique based on image information acquired from a monocular camera, gesture detection using a moving image analysis technique, etc. Can be done.
  • FIG. 4 shows a sensor unit 20 when a sensor unit 20 including a stereo camera that captures at least one of visible light and infrared is used in the present embodiment. It is a figure which shows the example of arrangement
  • a sensor unit 20 has the same function as a monocular camera, and also compares the images captured by the stereo camera and calculates the distance to the target based on the parallax (passive stereo method), so-called depth. It can be used as a sensor. When a depth sensor is used, depth information can be obtained.
  • the depth information is information including the distance (depth) to the imaged object, and can be acquired by using a passive stereo method, a structured light projection method, a round-trip propagation time method, or the like.
  • FIG. 5 shows a sensor unit 20 including a combination of an infrared structured light irradiation device (infrared emitter) and an infrared camera in this embodiment. It is a figure which shows the example of arrangement
  • a sensor unit 20 has the same function as that of a monocular camera, and a method (structured light projection method) in which reflected light of infrared structured light emitted from an infrared structured light irradiation device is imaged by an infrared camera.
  • a method for measuring reflected light of an infrared pulse emitted from an infrared emitter with an infrared camera and measuring TOF (Time Of Flight) of the irradiated infrared pulse (so-called propagation time method). It can be used as a sensor. Also, the reflected infrared rays of the irradiated infrared rays from the user's eyeball are imaged by the camera, and it is determined whether or not the user's line of sight is facing the imaging viewpoint of the camera based on the imaging result. It is also possible to do this.
  • the sensor unit 20 may further include a visible light camera, and as a camera for imaging reflected light of infrared pulses, visible light in addition to infrared light may also be used.
  • a camera capable of imaging may be employed. This is because position information acquisition and gesture detection can be performed based on an image captured by an infrared camera, but by further providing a visible light camera, more accurate face recognition is possible. .
  • the viewpoint position is recognized using the sensor unit 20 in order to make the user visually recognize desired content according to the position (viewpoint position) of the user's head, eyes, and the like.
  • the “display direction” refers to the content when viewed from the display area of the display device when performing display such that the content to be viewed is different depending on the position to be viewed in the display device according to the present invention. This is the direction in which there is an object that can be visually recognized.
  • Such a display direction may be acquired using a calculation formula or table prepared in advance based on the position information of the viewpoint position, the position information of the viewpoint position, and the position of the directional display device 14. Further, it may be calculated by geometric calculation from the relative positional relationship of the sensor positions.
  • the calibration (calibration) of the viewpoint position recognized by the sensor unit 20 and the display direction by the directional display device 14 is performed using the calibration device.
  • the calibration is performed, for example, at the time of manufacturing, inspecting, or installing the directional display device 14.
  • the information processing apparatus 1 is connected to the detector 9 and functions as a calibration apparatus by executing a calibration program.
  • the calibration device may be realized as an information processing device separate from the information processing device 1.
  • the calibration device is a computer that includes a CPU, a RAM, a ROM, and an auxiliary storage device, and is connected to the information processing device 1 and the detector 9.
  • the detector 9 is a device that can detect display by the directional display device 14. Any device may be used as the detector 9 as long as it can detect the output from the directional display device 14. The detector 9 may be capable of detecting to the extent that the output content can be discriminated, or may be capable of simply detecting that output has been performed in the directional display device 14. In the present embodiment, a camera is used as the detector 9. The detector 9 detects the output from the directional display device 14 and notifies the detected content to the calibration device (the information processing device 1 in this embodiment).
  • the detector 9 used in the present embodiment includes a lamp that blinks when the detector 9 detects a display by the directional display device 14. This lamp is provided at a position that can be recognized from the sensor unit 20 in a state where the detector 9 is installed, and thus serves to notify the calibration device that the detection by the detector 9 has been performed. . However, when the calibration device can acquire the position information of the detector 9 related to detection by other communication means, the detector 9 may not have such a lamp.
  • FIG. 6 and 7 are views showing a state in which the detector 9 is installed for calibration according to the present embodiment.
  • the detector 9 is installed at a position where the display by the directional display device 14 is visible.
  • FIG. 6 shows an example of an arrangement in which a plurality of detectors 9 are arranged at substantially equal distances when viewed from the directional display device 14, and is suitable for calibration for a uniaxial directional display device.
  • FIG. 7 shows an example in which the detectors 9 are arranged at different distances when viewed from the directional display device 14, and is suitable for calibration for a biaxial directional display device.
  • the arrangement of the detectors 9 shown in these drawings is an example, and the detectors 9 are installed at a plurality of positions where the user's viewpoint can exist with the directional display device 14 installed for operation. It is preferred that The broken line arrows ( ⁇ ) to ( ⁇ ) shown in the figure indicate the respective positions (viewpoint positions) of the detector 9 recognized by the sensor unit 20, and the solid line arrows (A) in the figure ( E) shows the direction (display direction) of the detector 9 as viewed from the directional display device 14.
  • FIG. 8 is a diagram showing an outline of a functional configuration of the calibration apparatus according to the present embodiment.
  • the CPU 11 interprets and executes various programs developed in the RAM 12, so that the detector information acquisition unit 40, the display control unit 39, the display direction acquisition unit 41, It functions as a calibration device including the associating unit 42.
  • the general-purpose CPU 11 an example in which all of these functions are executed by the general-purpose CPU 11 is described. However, some or all of these functions are realized by one or a plurality of dedicated processors. May be.
  • the detector information acquisition part 40 acquires the detector information of the detector 9 installed in the range which can visually recognize the display by the directional display device 14.
  • the detector information includes information related to the position of the detector 9 acquired using the sensor unit 20.
  • the information which shows the direction from the sensor unit 20 of the detector 9 is contained in the information which concerns on the position of the detector 9, for example.
  • the display control unit 39 controls display content, display direction, and the like by the directional display device 14. In the calibration process, the display control unit 39 causes the directional display device 14 to perform display with different display contents or timing for each display direction.
  • the display direction acquisition unit 41 acquires a display direction in which the display can be recognized from the position where the detector 9 is installed, based on the display content or timing of the directional display device 14 detected by the detector 9.
  • the associating unit 42 associates the acquired detector information with the display direction.
  • FIG. 9 is a diagram showing the configuration of the calibration table in the present embodiment.
  • the calibration table for each installation position of the detector 9, the position information of the installation position (viewpoint position) and the display direction detected by the detector 9 are stored in association with each other.
  • the calibration table is generated by a calibration process, and is then referred to determine the display direction for each viewpoint position.
  • the position information of the viewpoint position may be indicated by a direction (an angle or the like) viewed from the sensor unit 20 or the directional display device 14, or may be indicated by a combination of a direction (an angle or the like) and a distance.
  • FIG. 10 is a flowchart showing the flow of calibration processing in the present embodiment.
  • the flow of the calibration process according to the present embodiment will be described using a flowchart. It should be noted that the specific contents and order of the processing described using the flowcharts in the present embodiment are examples for implementing the present invention. It is preferable that specific processing contents and order are appropriately selected according to the embodiment.
  • step S001 the display by the directional display device 14 and the display by the detector 9 are detected.
  • the display control unit 39 causes the directional display device 14 to display the one display direction that has not been inspected among the display directions that can be displayed by the directional display device 14.
  • the calibration process shown in this flowchart is performed while switching the display direction as described later in step S005.
  • the display by the display control part 39 becomes a display from which a timing differs for every display direction.
  • the detector 9 detects a display. Thereafter, the process proceeds to step S002.
  • step S002 the position information of the detector 9 that has detected the display is acquired.
  • the detector information acquisition unit 40 acquires a notification indicating that the display has been detected from the detector 9 that has detected the display in step S001.
  • the detector 9 that has detected the display by the directional display device 14 performs display that indicates that the display has been detected (for example, blinking of a lamp provided in the detector 9, etc.). Is notified to the calibration device.
  • the calibration apparatus analyzes the image acquired by the sensor unit 20 and recognizes the detector 9 that performs display that means that display has been detected. By this image analysis, the detector information acquisition unit 40 receives a notification from the detector 9 that has detected display by the directional display device 14. Furthermore, the detector information acquisition unit 40 acquires detector information that is information relating to the position of the detector 9.
  • the detector information includes position information of the detector 9 acquired by analyzing the image acquired by the sensor unit 20. Thereafter, the process proceeds to step S003.
  • step S003 the display direction related to detection is acquired.
  • the display direction acquisition unit 41 acquires the display direction in which the display is performed in step S001 as the display direction in which the display can be recognized from the position where the detector 9 is installed. To do.
  • the display by the display control unit 39 in the present embodiment is a display with different timing for each display direction. For this reason, the display direction acquisition part 41 can acquire the display direction in which the display was performed based on the timing when the display was detected by the detector 9. Thereafter, the process proceeds to step S004.
  • step S004 the position information of the detector 9 and the display direction are associated with each other.
  • the associating unit 42 associates the position information of the detector 9 acquired in step S002 with the display direction displayed in step S001, and records it in the calibration table. Thereafter, the process proceeds to step S005.
  • step S005 it is determined whether there is an uninspected display direction.
  • the calibration apparatus determines whether or not there is a display direction that is an inspection target but is not inspected. If it is determined that there is an uninspected display direction, the process proceeds to step S001. That is, in the processing shown in this flowchart, the processing from step S001 to step S003 is repeated until the inspection is performed for all the display directions to be inspected. On the other hand, if it is determined that there is no uninspected display direction, the processing shown in this flowchart ends.
  • the directional display device 14 is recognized when the user or the user's eyes recognized by the sensor unit 20 wants to visually recognize desired content.
  • the corresponding accurate display direction can be obtained only by searching the calibration table based on the position information of the user or the user's eye position (viewpoint position).
  • the display control unit 39 performs display control based on display control information indicating a relationship between a display direction and display content or timing prepared in advance, and the display direction acquisition unit 41 refers to the display control information.
  • the display direction acquisition unit 41 refers to the display control information.
  • a display direction in which the display can be recognized may be acquired from the position where the detector 9 is installed.
  • the display control unit 39 may cause the directional display device 14 to simultaneously display in a plurality of display directions by changing display contents (colors and images) for each display direction.
  • the calibration device holds display control information indicating the relationship between the display direction and the display content, so that the display control information is searched based on the display content detected by the detector 9. It is possible to specify in which display direction 9 has detected display.
  • a value obtained by taking a weighted average of the position information of the plurality of detectors 9 may be stored in the calibration table as the position information.
  • the gap between the detectors 9 may be supplemented by using a linear or appropriate approximate curve. It is also possible to complement the gap between table elements and take a weighted average in the display direction.
  • the lamp of the detector 9 blinks upon detection, and the position information of the detector 9 that has blinked such as the lamp is acquired, thereby detecting the display. Is to know the position of the point of view.
  • the viewpoint position at which the display is detected may be known according to the detector identifier notified from the detector 9 that has detected the display.
  • the detector 9 that has detected the display notifies the calibration device of the detector identifier, thereby notifying that the display has been detected.
  • the calibration device detects the detector identifier and the detector installation position ( The position information of the detector 9 is acquired by searching the table associated with the position information of (viewpoint position) using the detector identifier.
  • a different label for each detector 9 (detector identifier or the like) is attached to the front surface of the detector 9, and the sensor unit
  • a method of acquiring the detector identifier by analyzing the image obtained from the image 20 and associating the detector identifier with the position information of the detector 9 may be adopted. Further, every time the detector 9 is installed, the sensor 9 newly added by the sensor unit 20 is detected, and the position information of the detected position (viewpoint position) is associated with the detector identifier of the added detector 9. A method may be employed. When such a method is adopted, in the calibration process, the detector 9 notifies the calibration device of its own detector identifier together with the notification that it has been detected.
  • FIG. 11 is a diagram illustrating an outline of a functional configuration of the information processing apparatus 1 according to the present embodiment.
  • the CPU 11 interprets and executes various programs developed in the RAM 12, so that the image information acquisition unit 31, the position information acquisition unit 32, the user information holding unit 33,
  • the information processing apparatus 1 includes a user information registration unit 34, a user information update unit 35, a user information deletion unit 36, a user operation detection unit 37, a display direction determination unit 38, and a display control unit 39.
  • a user information registration unit 34 a user information update unit 35
  • a user information deletion unit 36 e.g., a user operation detection unit 37
  • a display direction determination unit 38 e.g., a display direction determination unit 39.
  • FIG. 11 is a diagram illustrating an outline of a functional configuration of the information processing apparatus 1 according to the present embodiment.
  • the CPU 11 interprets and executes various programs developed in the RAM 12, so that the image information acquisition unit 31, the position information acquisition unit 32, the user information holding unit 33,
  • the image information acquisition unit 31 uses the sensor unit 20 to acquire image information including a captured image in a range where the directional display device 14 can be visually recognized. Further, the image information may include depth information acquired using the sensor unit 20 capable of measuring the depth.
  • the position information acquisition unit 32 acquires position information of a plurality of objects (for example, the user's head or the user's eyes) within a range in which the directional display device 14 is visible by analyzing the image information.
  • the user position information may be acquired by referring to depth information included in the image information. By using the depth information to acquire the user position information, it is possible to easily grasp the front-rear relationship in the depth direction between users.
  • the user position information is acquired by analyzing the image information, but other methods may be employed for acquiring the user position information.
  • the user position information may be acquired using, for example, a sensor mat installed in a range where the directional display device 14 can be visually recognized, position detection using sound waves, and the like.
  • the user information holding unit 33 holds the user information including the user position information acquired by the position information acquiring unit 32 in the user information table on the RAM 12 or the auxiliary storage device 19.
  • FIG. 12 is a diagram showing a configuration of a user information table used in the present embodiment.
  • the user information is information for managing users who are recognized by the information processing apparatus 1 and are present in a range where the directional display device 14 can be visually recognized, and are stored in the user information table.
  • the user information includes user identification information, user location information, a user area map, and a non-discovery counter.
  • the user information registration unit 34 registers user information including the user position information, The user information holding unit 33 holds the information.
  • the user information update unit 35 updates the user information using the user position information when the user position information acquired by the position information acquisition unit 32 is held in the user information holding unit 33. According to the information processing apparatus 1 according to the present embodiment, it is possible to track the user by updating the user position information and follow the display direction to the latest user position.
  • the user information deleting unit 36 deletes the user information related to the user position information when the user position information held by the user information holding unit 33 is not updated.
  • the user operation detection unit 37 detects an operation by the user by detecting a predetermined gesture (motion) corresponding to the operation by the user for each user from the image information.
  • a predetermined gesture motion
  • the operation by the user may be performed using a device operated by the user, such as a controller or a mobile terminal device.
  • the display direction determination unit 38 determines a display direction that is visible when the directional display device 14 is viewed from the position of the target object, based on the calibration table search result using the position information.
  • the display control unit 39 controls the display content, the display direction, and the like by the directional display device 14 in the present embodiment.
  • the display control unit 39 outputs the content for the object based on the position information of the object acquired by the position information acquisition unit 32 so that the object can be viewed from the position indicated by the position information.
  • the information processing apparatus 1 includes the directional display device 14 and the position information acquisition unit 32 that acquires position information of an object in a range where the directional display device 14 is visible. Therefore, it functions as a directional input / output device.
  • FIG. 13 is a flowchart showing the flow of user information management processing according to the present embodiment. The processing shown in this flowchart is executed continuously or periodically while the information processing apparatus 1 is activated.
  • step S101 image information is acquired.
  • the image information acquisition unit 31 acquires image information captured using the sensor unit 20.
  • the image information acquired here may be a moving image cut out for a predetermined time from the captured moving image, or may be a still image cut out for one frame from the captured moving image. .
  • Whether the acquired image information is a moving image or a still image is preferably determined according to the method of the image recognition technique employed in the processing from step S102 to step S104. For example, when a method of detecting what is moving in an image as a user is adopted, image information including a moving image is acquired. Further, the image information acquired here may include depth information indicating a distance (depth) from the imaging viewpoint of the sensor unit 20 for each pixel in the captured image. Thereafter, the process proceeds to step S102.
  • step S102 the user's head is detected.
  • the position information acquisition unit 32 detects the user's head from the images included in the image information based on the image information acquired in step S101.
  • the detection target only needs to be a reference for the viewpoint position.
  • the detection target is the user.
  • the positional information acquisition unit 32 can detect the user's head by previously storing the positional relationship between the eyes and the mouth, and extracting features having this positional relationship from the image.
  • the depth information may be used for detecting the user's head.
  • the distance from the imaging viewpoint of the sensor unit 20 for each pixel in the captured image can be grasped.
  • the position information acquisition part 32 can detect a user's head by extracting a user's silhouette part easily, and specifying the part corresponded to a head from a user's silhouette part.
  • the process proceeds to step S103.
  • the user's head is detected and used as a reference for user position management.
  • the detection target from the image information may be a body part that serves as a reference for indicating the user's position. It is not limited to the user's head.
  • a line-of-sight recognition technique may be used for detecting the user's head (or the user's eyes).
  • step S103 user position information is acquired.
  • the position information acquisition unit 32 acquires the position of the user's head (or the user's eyes) for all user areas detected in step S102, and uses this as user position information. However, when different contents (such as stereoscopic content) are to be visually recognized by the left and right eyes of the user, different user position information is acquired for the left eye and the right eye of the user. Thereafter, the process proceeds to step S104.
  • step S104 the user area is acquired.
  • the position information acquisition unit 32 acquires a region in which the user is imaged (in other words, the silhouette portion of the user in the captured image) in the captured image.
  • the position information acquisition unit 32 can acquire a user area by holding a human-shaped silhouette in advance and extracting an edge that approximates the silhouette from the image.
  • the position information acquisition unit 32 generates a user area map by mapping the acquired user area to information corresponding to the captured image.
  • the user area map is information obtained by mapping a pixel captured by the user with 1 and a pixel not captured by the user with 0 in a binary image having the same size as the captured image.
  • the depth information when the depth information is included in the image information, the depth information may be used for acquiring the user area.
  • the depth information By referring to the depth information, the distance from the imaging viewpoint of the sensor unit 20 for each pixel in the captured image can be grasped. For this reason, according to the depth information, it is possible to easily extract the silhouette portion of the user and make it a user area.
  • the process proceeds to step S105.
  • step S105 it is determined whether or not the acquired user position information and user information related to the user area map have been registered.
  • the information processing apparatus 1 determines whether the user position information acquired in step S103 and the user information including the user area map acquired in step S104 have already been registered in the user information table. Whether or not the acquired user information has been registered can be determined by comparing the acquired user information with the registered user information. More specifically, the difference between the acquired user information and the registered user information is calculated, and when the difference is equal to or smaller than a predetermined threshold, it is determined that the registration has been completed, and the difference exceeds the predetermined threshold Can be determined as unregistered. If it is determined that the acquired user information has been registered, the process proceeds to step S106. On the other hand, if it is determined that the acquired user information is not registered, the process proceeds to step S107.
  • step S106 the user information is updated.
  • the user information update unit 35 uses the user information acquired in step S103 and step S104 to update user information related to the user.
  • the processing shown in this flowchart is executed continuously or periodically while the information processing apparatus 1 is activated. Therefore, in this step, the user position information and the user area map included in the user information are updated to the latest information, and the user operation detection unit 37 refers to the user position information and the user area map included in the user information.
  • a gesture or the like can be detected from the latest user area, and the display control unit 39 can perform display by the directional display device 14 so as to be visible from the latest user position. Thereafter, the process proceeds to step S108.
  • step S107 user information is registered.
  • the user information registration unit 34 newly generates user information and registers the user information in the user information table including the user position information acquired in step S103 and the user area map acquired in step S104. .
  • the processing shown in this flowchart is executed continuously or periodically while the information processing apparatus 1 is activated. For this reason, the user information registered here is updated in step S106 by repeating the process shown by this flowchart. Thereafter, the process proceeds to step S108.
  • step S108 it is determined whether or not the processing has been completed for all acquired user information.
  • the information processing apparatus 1 determines whether update or registration has been completed for all user information acquired in steps S103 and S104. If updating or registration has been completed for all the acquired user information, the process proceeds to step S109. If there is user information that has not been updated or registered, the process proceeds to step S105. That is, according to the process shown in this flowchart, the process shown in steps S105 to S108 is repeated until the update or registration of all user information acquired in steps S103 and S104 is completed.
  • step S109 the non-discovery counter is incremented in the registered user information that has not been updated.
  • the information processing apparatus 1 detects the user information that has not been updated in step S106 among the user information registered in the user information table, in other words, the image information that has been registered in the user information table. The user information concerning the user who has not been specified is specified. Then, the information processing apparatus 1 adds 1 to the non-discovery counter included in the specified user information.
  • the non-discovery counter is reset to 0 (zero) when user information is newly registered and when the user information is updated. Further, as described above, the processing shown in this flowchart is executed continuously or periodically while the information processing apparatus 1 is activated.
  • the non-discovery counter is information indicating the number of times that the user related to the user information is not continuously detected from the image information in the user information management process shown in this flowchart.
  • step S110 user information whose non-discovery counter exceeds a predetermined threshold is deleted.
  • the user information deletion unit 36 deletes user information whose non-discovery counter exceeds a predetermined threshold (for example, 5 times) among user information registered in the user information table. By doing in this way, it can be considered that the user information concerning a user who has not been detected more than a predetermined number of times has left the imaging range of the sensor unit 20, and can be deleted from the user information table. Thereafter, the processing shown in this flowchart ends. However, as described above, the processing shown in this flowchart is executed continuously or periodically while the information processing apparatus 1 is activated. For this reason, acquisition of image information, acquisition of a user position, update of user information, registration, and deletion are executed continuously or periodically while the information processing apparatus 1 is activated.
  • FIG. 14 is a flowchart showing a flow of directivity display control processing according to the present embodiment. The processing shown in this flowchart is executed continuously or periodically while the information processing apparatus 1 is activated.
  • step S201 the current position information of the user is acquired.
  • the display direction determination unit 38 acquires user position information of a plurality of users in a range where the directional display device 14 can be visually recognized from the user information.
  • step S202 the display direction corresponding to the current position of the user is determined.
  • the display direction determination unit 38 searches the calibration table for the display direction associated with the position information of the viewpoint position that matches or is closest to the position indicated by the user position information acquired in step S201.
  • the display direction is determined as the display direction of the display content for the user.
  • the display direction is a plurality of position information and display directions accumulated in the calibration table. It may be determined by a complementary process based on. When the display direction is determined, the process proceeds to step S203.
  • step S203 and step S204 content prepared for each user is acquired, and the content is output in a display direction corresponding to each user.
  • the display control unit 39 acquires the content prepared for each user from the RAM 12 or the auxiliary storage device 19 in order to make the content different for each user visible (step S203). Further, the display control unit 39 outputs content for the user in the display direction determined in step S202 for each user (step S204). Thereafter, the processing shown in this flowchart ends.
  • the user information is updated to the latest information, and the information processing apparatus 1 is displayed on the display device so that it can be viewed from the latest user position. Display can be performed. That is, according to the present embodiment, the user position information can be updated to track the user, and the display direction can follow the latest user position.
  • FIG. 15 is a diagram showing a concept of a multi-viewpoint content synthesizer for synthesizing multi-viewpoint content to be input to a lenticular directional display device.
  • the display control unit 39 prepares a plurality of contents (in the example shown in FIG. 15, contents (A) to (C)) and inputs them to the multi-viewpoint content synthesizer.
  • the multi-viewpoint content synthesizer synthesizes a plurality of input contents and displays them on the directional display device. In this way, the directional display device displays different contents in each display direction.
  • FIG. 16 is a diagram showing the concept of multi-viewpoint content composition when a lenticular directional display device is used.
  • the display control unit 39 displays input content prepared for each display direction (in the example shown in FIG. Multi-viewpoint content is synthesized by slicing A, B and C) vertically and arranging them sequentially.
  • the arrangement order of the contents A, B, and C is referred to as “offset”.
  • an offset of 0, 1 or 2 is added to the contents A, B and C.
  • Each offset corresponds to a specific display direction based on the characteristics of the lenticular lens and the display device.
  • the display direction in the calibration table may be expressed by an offset, or a conversion table between the display direction and the offset may be further prepared. Further, as the display direction, a temporal offset or an angle expression of the direction may be used according to the method of the directional display device.
  • the example described above with reference to FIGS. 15 and 16 is an example in the case of performing directional display in the horizontal direction (uniaxial) direction by the lenticular method.
  • a method for synthesizing multi-viewpoint contents there are various synthesizing methods such as a horizontal and vertical biaxial synthesizing method when a fly-eye lens is used and a time-division synthesizing method when a flex barrier method is used.
  • a vector, a time offset of a display frame, or the like can be used in addition to an offset, depending on the synthesis method.
  • ⁇ Directional display with priority control> In the directional display device 14 as disclosed in the present embodiment, when different contents are displayed for a plurality of users, a user can move and view contents for other users. There is a possibility of entering the range of the viewpoint position (in other words, entering the range of the same display direction as other users).
  • directivity display with priority control may be performed.
  • display of the content is not permitted for a user who does not have the authority to view the content.
  • the user can log in to the system using a user account prepared in advance.
  • the viewer authority is linked to the user account.
  • the content for which he / she has the authority to browse can be displayed on the directional display device 14 in a display direction in which he / she can browse.
  • the display in the display direction which a user can browse it is as having mentioned above using the flowchart of FIG.
  • each content has a level of browsing permission, and content set with browsing permission equal to or lower than the user's viewer authority is viewed by a user having the viewer authority. Displayed as possible. A user who is not logged in may be treated as a user having the lowest level of viewer authority (so-called guest user).
  • a method of inputting an interface for inputting a user name and a password is adopted as a login method. Also good.
  • FIG. 17 is a diagram illustrating an outline of a functional configuration when the information processing apparatus 1 according to the present embodiment performs directivity display with priority control.
  • the CPU 11 interprets and executes various programs developed in the RAM 12, so that the image information acquisition unit 31, the position information acquisition unit 32 described with reference to FIG.
  • the information processing device 1 includes a positional relationship detection unit 43 and a browsing authority determination unit 44.
  • a positional relationship detection unit 43 an example in which all of these functions are executed by the general-purpose CPU 11 is described. However, some or all of these functions are realized by one or a plurality of dedicated processors. May be.
  • the display control unit 39 causes the directional display device 14 to display the content for each user so as to be visible from the position indicated by the position information of each user.
  • the display control unit 39 outputs the content for the object based on the position information of the object acquired by the position information acquisition unit 32 so that the object can be viewed from the position indicated by the position information.
  • the display control unit 39 displays the same display of the contents on the directivity display device 14 when the predetermined positional relationship is detected by the positional relationship detection unit 43. The display of the content that at least one of the plurality of users in the direction does not have the viewing authority is stopped.
  • the positional relationship detection unit 43 detects that the position indicated by the positional information of a plurality of users has a predetermined positional relationship that allows viewing of content displayed in the same display direction by the directional display device 14.
  • the viewing authority determining unit 44 determines whether or not each user has the viewing authority for the content that the user can visually recognize.
  • FIG. 18 is a diagram showing a configuration of a viewer authority management table in the present embodiment.
  • a login ID for the user to log in to a system that controls display of content by the directional display device 14 and information indicating the viewer authority of the user are stored in association with each other. Is done.
  • FIG. 19 is a diagram showing a configuration of a content level management table in the present embodiment.
  • the content level management table for each content, a content ID and a viewable authority necessary for browsing the content related to the content ID are stored in association with each other.
  • the information processing apparatus 1 can configure the content displayed to the user by a plurality of sub-contents and perform display control (non-display / alternative display) for each sub-content.
  • FIG. 20 is a flowchart showing the flow of directivity display control processing with priority control according to the present embodiment. The process shown in this flowchart is executed in place of the normal directivity display control process described with reference to FIG. 14 when the directivity display control process with priority control is performed.
  • steps S301 to S303 the current position information of the user is acquired, the display direction corresponding to the current position of the user is acquired, and the content prepared for each user is acquired.
  • the processes shown in steps S301 to S303 are substantially the same as the processes in steps S201 to S203 of the directivity display control process described with reference to FIG. Thereafter, the process proceeds to step S304.
  • step S304 it is determined whether or not there are users whose display directions overlap.
  • the positional relationship detection unit 43 compares the display directions for each user acquired in step S302, and determines whether there are different users but the same display direction (or proximity). It is detected that the user has a predetermined positional relationship. If there is no user whose display direction overlaps, the process proceeds to step S306. On the other hand, when there is a user whose display direction overlaps, if content is displayed for each user as usual, the content is displayed to a user who has a viewer authority that does not satisfy the authority to view the content. Can occur. For this reason, when there are users whose display directions overlap, the process proceeds to step S305.
  • step S305 the content is output in the display direction corresponding to each user.
  • the viewing authority determination unit 44 identifies the lowest authority among the users whose display directions are detected to be duplicated in step S304, and compares them with the authority to view the content displayed in the display direction related to the user. The presence / absence of the viewing authority for each user with respect to the content that can be visually recognized is determined.
  • the display control part 39 outputs the content for the said user for every user, several users who exist in the same display direction by not outputting the content which cannot be browsed even with the lowest authority among the contents.
  • the display of the content for which at least one of the user does not have the browsing authority is stopped. By doing in this way, it can prevent that a content will be browsed by the user who does not have browsing authority. Thereafter, the processing shown in this flowchart ends.
  • step S306 the content is output in the display direction corresponding to each user.
  • the display control unit 39 outputs content for the user for each user. Thereafter, the processing shown in this flowchart ends.
  • FIG. 21 is a diagram illustrating changes in content in the present embodiment.
  • the level 1 content is displayed in the level 3 content display direction. It shows how the content is changed.
  • the display control unit 39 may replace the display content with alternative content that can be browsed even with the lowest authority. Further, when a predetermined positional relationship is detected, the display control unit 39 may stop displaying all the contents in the direction.
  • FIG. 22 is a diagram illustrating an example of a display direction in the directional display device 14.
  • the directional display device 14 shown in FIG. 22 can output different contents in five display directions 1 to 5.
  • the partial areas (a) to (( The directions (angles) from e) to the user are greatly different from each other.
  • a situation in which consistent display cannot be performed for the user may occur.
  • display area parallax the fact that the display direction viewed by the user is different because the directions from the partial areas on the display area to the user (the angles with respect to the surface of the partial area) are different from each other is referred to as “display area parallax”.
  • FIG. 23 is a diagram illustrating an example of a state where display area parallax occurs.
  • the user 1 visually recognizes the content output with the front direction of the directional display device 14 as the display direction for the partial areas (a) and (b).
  • the contents output with the different directions as the display directions are visually recognized.
  • the content in order to obtain a consistent display in the entire display area of the directional display device 14, the content must be displayed by changing the display direction of the content for the user 1 for each partial region.
  • FIG. 23 is a diagram illustrating an example of a state where display area parallax occurs.
  • the calibration of each partial area of the directional display device 14 is performed to deal with the above-described display area parallax problem.
  • FIG. 24 is a diagram illustrating a state in which the detector 9 is installed for calibration in consideration of the display area parallax according to the present embodiment.
  • the detector 9 is installed at a position where the display by the directional display device 14 can be visually recognized.
  • the detector 9 further has a distance from the display area even in substantially the same direction as viewed from the display area. It is installed in the position where changed. This is because even if the viewpoint position is in the same direction as viewed from the display area, the angle (display direction) viewed from the partial area may change when the distance to the viewpoint position changes depending on the partial area.
  • the calibration apparatus for calibration in consideration of the display area parallax allows the CPU 11 to interpret and execute various programs developed in the RAM 12, thereby detecting the detector information.
  • the acquisition part 40, the display control part 39, the display direction acquisition part 41, and the correlation part 42 are provided.
  • FIG. 25 is a diagram illustrating a configuration of a calibration table in consideration of display area parallax in the present embodiment.
  • the position information and the display direction described with reference to FIG. 9 are associated with each installation position of the detector 9, but the display area parallax is considered.
  • an identifier of the partial area is further associated.
  • the position information may employ a parameter that represents only the direction from a predetermined reference (for example, the sensor unit 20 or the directional display device 14).
  • the position information is not sufficient for the parameter indicating only the direction. For this reason, in the calibration table considering the display area parallax, a parameter that can also determine the distance from a predetermined reference is adopted as the position information.
  • FIG. 26 is a flowchart showing a flow of processing for creating a calibration table in consideration of display area parallax in the present embodiment. Note that the specific contents and order of the processing are examples. It is preferable that specific processing contents and order are appropriately selected.
  • step S401 display by the directional display device 14 and display by the detector 9 are detected.
  • the display control unit 39 causes the directional display device 14 to display one combination that has not been inspected among the “combination of partial areas and display directions” of the directional display device 14.
  • the display by the display control unit 39 is a display having a different timing for each “combination of partial area and display direction”.
  • the detector 9 detects a display. Thereafter, the process proceeds to step S402.
  • step S402 the position information of the detector 9 that has detected the display is acquired.
  • the process shown in step S402 is substantially the same as the process in step S002 of the calibration process described with reference to FIG. Thereafter, the process proceeds to step S403.
  • step S403 the “combination of partial area and display direction” related to detection is acquired.
  • the display direction acquisition unit 41 displays the “combination of partial area and display direction” displayed in step S401 from the position where the detector 9 is installed. Is acquired as a recognizable combination. Since the display by the display control unit 39 is a display having a different timing for each combination, the display direction acquisition unit 41 can acquire the combination that has been displayed based on the timing at which the display is detected. Thereafter, the process proceeds to step S404.
  • step S404 the position information of the detector 9, the partial area, and the display direction are associated with each other.
  • the associating unit 42 associates the positional information of the detector 9 acquired in step S402 with the “combination of partial area and display direction” displayed in step S401, and records it in the calibration table. Thereafter, the process proceeds to step S405.
  • step S405 it is determined whether or not there is an unexamined “combination of partial area and display direction”.
  • the calibration apparatus determines whether there is a “combination of partial area and display direction” that is an inspection target but is not inspected. If it is determined that there is an unexamined combination, the process proceeds to step S401. In other words, in the processing shown in this flowchart, the processing from step S401 to step S403 is repeated until all the “combinations of partial areas and display directions” that are the targets of inspection are inspected. On the other hand, if it is determined that there is no unexamined combination, the processing shown in this flowchart ends.
  • the information processing apparatus 1 for directional display in consideration of the display area parallax allows the CPU 11 to interpret and execute various programs developed in the RAM 12, thereby Information acquisition unit 31, position information acquisition unit 32, user information holding unit 33, user information registration unit 34, user information update unit 35, user information deletion unit 36, user operation detection unit 37, display direction A determination unit 38 and a display control unit 39 are provided.
  • the display direction determination unit 38 determines a display direction that is visible when the directional display device 14 is viewed from the position of the target object, based on the calibration table search result using the position information. However, in the directional display control process considering the display area parallax, the display direction determining unit 38 displays the display direction for each partial area in the directional display device 14 based on the search result of the calibration table using the position information. To decide.
  • the display control unit 39 controls the display content, the display direction, and the like by the directional display device 14 in the present embodiment.
  • the display control unit 39 displays the content in the display direction determined by the display direction determination unit 38 for each partial area for each partial area.
  • FIG. 27 is a flowchart showing a flow of processing for performing directional display control processing in consideration of display area parallax in the present embodiment. Note that the specific contents and order of the processing are examples. It is preferable that specific processing contents and order are appropriately selected.
  • step S501 and step S502 the current position information of the user is acquired, and the “combination of partial area and display direction” corresponding to the current position of the user is determined.
  • the display direction determination unit 38 acquires user position information of a plurality of users in a range where the directional display device 14 can be visually recognized from the user information (step S501). Then, the display direction determination unit 38 determines from the calibration table that “the partial area and the display direction are related to the position information of the viewpoint position that matches or is closest to the position indicated by the user position information acquired in step S501. The “combination” is retrieved, and the retrieved combination is determined as “combination of partial area and display direction” of the display content for the user (step S502).
  • FIG. 28 is a diagram showing a configuration of a partial area table used in the present embodiment.
  • the “combination of partial areas and display directions” determined for each user may be managed by a partial area table prepared for each user.
  • the partial area table for each user created in this way stores the display direction for each user for each partial area, and the user information table is updated by tracking the movement of the user by the user information management process. It will be updated as you go.
  • step S503 the directivity display described with reference to FIG. 14 is used for the processing in the case where there is no location information in the calibration table that matches or sufficiently approximates the user location information (the difference is less than the threshold value) and the complement processing. Since this is substantially the same as step S202 of the control process, description thereof is omitted.
  • step S503 the process proceeds to step S503.
  • step S503 and step S504 the content prepared for each user is acquired, and the content is output to the “combination of partial area and display direction” corresponding to each user.
  • the display control unit 39 acquires the content prepared for each user from the RAM 12 or the auxiliary storage device 19 in order to make the content different for each user visible (step S503). Further, the display control unit 39 outputs the content for the user to the “combination of partial area and display direction” determined in step S502 for each user (step S504). Thereafter, the processing shown in this flowchart ends.
  • FIG. 29 is a diagram showing a concept of multi-viewpoint content synthesis in consideration of display area parallax when a lenticular directional display device is used.
  • the display control unit 39 acquires content prepared for each user from the RAM 12 or the auxiliary storage device 19, divides each user screen into partial areas, and sets each user partial area.
  • Each display direction screen to be input to the multi-viewpoint content synthesizer is created by distributing to the partial areas of each display direction screen according to the direction of the table.
  • the multi-viewpoint content synthesizer that receives the input of each display direction screen generates a composite screen (multi-viewpoint content) to be input to the lenticular directional display device.
  • the composite screen generated in this manner is input to the lenticular directivity display device, so that the content for each user is displayed for each “combination of partial area and display direction” determined in step S502. Is output.
  • the directional display control process in consideration of the display area parallax described above may be used in combination with the priority control described with reference to FIG. For example, when the user moves in the viewing direction of at least one partial area of another user, priority order control such as hiding the partial area or the entire display for other users may be performed.
  • an arithmetic processing method is used instead of the method of creating the calibration table by the above-described calibration process and obtaining and generating the display direction for each partial area. May be used.
  • FIG. 30 is a diagram illustrating an example of an arithmetic processing method for creating each user partial area table from the user information table.
  • FIG. 31 is a diagram showing a configuration of each user partial area table created by an arithmetic processing method.
  • the displacement from the display area center of the partial area a, b, c, d or e is ⁇ d
  • the distance from the display area center to the user is z
  • the displacement from the user's display area center line is x
  • the angle ⁇ of the user viewed from each partial area is obtained by the following mathematical formula.
  • arctan ((x ⁇ d) / z)
  • Elevator By using the control device to which the information processing device 1 according to the present embodiment is connected as an elevator control device, the information processing device 1 can be used to specify a destination floor in an elevator, open / close a door, or the like.
  • the human interface device can be used.
  • control device to which the information processing device 1 according to the present embodiment is connected is a home appliance control device, so that the information processing device 1 is a human interface device for processing operations on home appliances. I can do it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

指向性表示装置において、表示装置に対する視点の位置に応じた適切な表示方向への表示を行うことを課題とする。表示方向に応じて表示内容を異ならせることが可能な表示装置に接続される情報処理装置に、表示装置を視認可能な範囲にある対象物の位置情報を取得する位置情報取得部(32)と、位置情報に基づいて、表示装置における第一の部分領域を対象物の位置から見た場合に視認可能な第一の表示方向、および表示装置における第二の部分領域を対象物の位置から見た場合に視認可能な第二の表示方向を決定する表示方向決定部(38)と、表示装置にコンテンツを表示させる表示制御部(39)であって、第一の部分領域においては第一の表示方向にコンテンツを表示させ、第二の部分領域においては第二の表示方向にコンテンツを表示させる表示制御部(39)と、を備えた。

Description

情報処理装置、方法およびプログラム
 本発明は、表示方向に応じて表示する内容を異ならせることが可能な表示装置に関する。
 従来、マルチビューディスプレイを備えるシステムであって、検知装置を備え、複数のユーザのうちのどのユーザが表示された画像の1つと相互作用しようとしているのかを検知する、インタラクティブマルチビューディスプレイシステムが提案されている(特許文献1を参照)。更に、マルチビュー表示パネルを有し、閲覧者の情報を取り込み、この情報を用いて適切な夫々の視野角で複数の画像の表示を制御する表示システムが提案されている(特許文献2を参照)。
 また、繰り返すように配置される少なくとも3つのイメージ領域のパターンが定義され、観察者の眼が、現在位置しているイメージ領域から隣接するイメージ領域に向かって移動し隣接するイメージ領域に進入しようとしていることが検出されると、隣接するイメージ領域に表示されるイメージを現在のイメージ領域に表示されているイメージに更新するとともに、現在のイメージ領域内に表示されているイメージは更新しないように制御する、観察者追従自動立体表示装置が提案されている(特許文献3を参照)。
特開2011-070680号公報 特開2009-540381号公報 特許第3705643号公報
 表示方向に応じて表示する内容を異ならせることが可能な表示装置(以下、「指向性表示装置」と称する)では、閲覧者が表示領域から十分に離れている場合、ある閲覧者のためのコンテンツを一の表示方向に表示するのみで、当該閲覧者に対して所望のコンテンツを視認させることが出来る。しかし、コンテンツが表示される表示領域全体のサイズと、表示領域から閲覧者までの距離との関係によっては、表示領域上のポイント毎に、閲覧者への方向(角度)が無視出来ない程度に異なってくる。このため、このような指向性表示装置では、閲覧者が表示領域に近付いた場合、閲覧者に対して一貫したコンテンツを視認させることが困難となる。
 本発明は、上記した問題に鑑み、指向性表示装置において、表示装置に対する視点の位置に応じた適切な表示方向への表示を行うことを課題とする。
 本発明では、上記課題を解決するために、指向性表示装置の表示領域全体を複数の部分領域に分割し、部分領域毎に、当該部分領域から見たユーザ等の位置に応じた表示方向に表示を行うこととした。
 より詳細には、本発明は、表示方向に応じて表示内容を異ならせることが可能な表示装置に接続される情報処理装置であって、前記表示装置を視認可能な範囲にある対象物の位置情報を取得する位置情報取得手段と、前記位置情報に基づいて、前記表示装置における第一の部分領域を前記対象物の位置から見た場合に視認可能な第一の表示方向、および前記表示装置における第二の部分領域を前記対象物の位置から見た場合に視認可能な第二の表示方向を決定する表示方向決定手段と、前記表示装置にコンテンツを表示させる表示制御手段であって、前記第一の部分領域においては前記第一の表示方向に前記コンテンツを表示させ、前記第二の部分領域においては前記第二の表示方向に前記コンテンツを表示させる表示制御手段と、を備える情報処理装置である。
 また、前記情報処理装置は、前記表示装置を視認可能な範囲内の位置と、前記部分領域毎の、該部分領域を該位置から見た場合に視認可能な表示方向との関係を有する関係情報を保持する記憶装置に接続され、前記表示方向決定手段は、前記位置情報を用いた前記関係情報の検索結果に基づいて、前記第一の部分領域または前記第二の部分領域を前記対象物から見た場合に視認可能な表示方向を決定してもよい。
 また、前記位置情報取得手段は、第一の対象物の位置情報および前記第一の対象物とは異なる第二の対象物の位置情報を取得し、前記表示方向決定手段は、前記対象物毎の位置情報に基づいて、前記対象物毎に、前記第一の表示方向および前記第二の表示方向を決定し、前記表示制御手段は、前記第一の部分領域においては、前記第一の対象物に係る前記第一の表示方向に前記第一の対象物のためのコンテンツを表示させ、前記第二の対象物に係る前記第一の表示方向に前記第二の対象物のためのコンテンツを表示させ、前記第二の部分領域においては、前記第一の対象物に係る前記第二の表示方向に前記第一の対象物のためのコンテンツを表示させ、前記第二の対象物に係る前記第二の表示方向に前記第二の対象物のためのコンテンツを表示させてもよい。
 また、前記対象物は、ユーザの頭部またはユーザの眼であってもよいし、前記第一の対象物はユーザの左眼であり、前記第二の対象物はユーザの右眼であってもよい。
 また、本発明は、コンピュータによって実行される方法、またはコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
 本発明によれば、指向性表示装置において、表示装置に対する視点の位置に応じた適切な表示方向への表示を行うことが可能となる。
実施形態に係る情報処理装置のハードウェア構成の概略を示す図である。 実施形態において指向性表示装置を視認するユーザの位置によって、視認される内容が異なる様子を示す図である。 実施形態において、単眼カメラを含むセンサユニットが用いられる場合の、センサユニットの配置の例を示す図である。 実施形態において、ステレオカメラを含むセンサユニットが用いられる場合の、センサユニットの配置の例を示す図である。 実施形態において、赤外構造化光照射装置とカメラとの組み合わせを含むセンサユニットが用いられる場合の、センサユニットの配置の例を示す図である。 実施形態に係るキャリブレーションのために検知器が設置された様子を示す図である。 実施形態に係るキャリブレーションのために検知器が設置された様子を示す図である。 本実施形態に係るキャリブレーション装置の機能構成の概略を示す図である。 実施形態におけるキャリブレーションテーブルの構成を示す図である。 実施形態におけるキャリブレーション処理の流れを示すフローチャートである。 実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態において用いられるユーザ情報テーブルの構成を示す図である。 実施形態に係るユーザ情報管理処理の流れを示すフローチャートである。 実施形態に係る指向性表示制御処理の流れを示すフローチャートである。 レンチキュラー方式の指向性表示装置に入力されるための多視点コンテンツを合成するための多視点コンテンツ合成器の概念を示す図である。 レンチキュラー方式の指向性表示装置が用いられる場合の多視点コンテンツ合成の概念を示す図である。 実施形態に係る情報処理装置が優先制御を伴う指向性表示を行う場合の機能構成の概略を示す図である。 実施形態における閲覧者権限管理テーブルの構成を示す図である。 実施形態におけるコンテンツレベル管理テーブルの構成を示す図である。 実施形態に係る、優先制御を伴う指向性表示制御処理の流れを示すフローチャートである。 実施形態におけるコンテンツの変化を例示する図である。 指向性表示装置における表示方向の例を示す図である。 表示領域視差が発生している状態の例を示す図である。 実施形態に係る表示領域視差を考慮したキャリブレーションのために検知器を設置した様子を示す図である。 実施形態における表示領域視差を考慮したキャリブレーションテーブルの構成を示す図である。 実施形態において、表示領域視差を考慮したキャリブレーションテーブルを作成するための処理の流れを示すフローチャートである。 実施形態において、表示領域視差を考慮した指向性表示制御処理を行うための処理の流れを示すフローチャートである。 実施形態において用いられる部分領域テーブルの構成を示す図である。 レンチキュラー方式の指向性表示装置が用いられる場合の、表示領域視差を考慮した多視点コンテンツ合成の概念を示す図である。 ユーザ情報テーブルから各ユーザ用部分領域テーブルを作成する算術的な処理方法の一例を示す図である。 算術的な処理方法によって作成される、各ユーザ用部分領域テーブルの構成を示す図である。
 以下、本発明に係る情報処理装置の実施の形態について、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明を実施するにあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。本実施形態において、本発明に係る情報処理装置は、エレベータ、カーナビゲーション装置、オーディオ装置、情報KIOSK端末、セルフレジ端末、家電、等の操作対象について設けられるヒューマンインターフェース装置として実施され得る。但し、本発明の適用対象は、上記した例に限定されない。
 <装置の構成>
 図1は、本実施形態に係る情報処理装置1のハードウェア構成の概略を示す図である。情報処理装置1は、CPU(Central Processing Unit)11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、補助記憶装置19と、指向性表示装置14と、スピーカ15と、ネットワークインターフェース16と、センサユニット20と、が電気的に接続された情報処理装置である。また、情報処理装置1は、ネットワークインターフェース16を介して、操作対象(エレベータ等)の制御装置に接続される。
 但し、本発明の実施にあたって、本発明に係る装置は、上記した構成を全て備える必要はない。装置の具体的なハードウェア構成に関しては、実施の形態に応じて適宜構成要素の省略や置換、追加が可能である。
 CPU11は、中央処理装置であり、RAM12およびROM13等に展開された命令およびデータを処理することで、RAM12、補助記憶装置19、入出力装置等の、情報処理装置1に備えられた各構成を制御する。また、RAM12は、主記憶装置であり、CPU11によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、CPU11、RAM12、およびROM13は、情報処理装置1の制御部を構成する。
 補助記憶装置19は、不揮発性の記憶装置であり、主に情報処理装置1の電源を落としても保持したい情報、例えば、RAM12にロードされる情報処理装置1のOS(Operating System)や、後述するフローチャートに示された処理を実行するための各種プログラムの他、情報処理装置1によって使用される各種データが書き込まれ、読み出される。補助記憶装置19としては、例えば、EEPROM(Electrically Erasable Programmable ROM)やHDD(Hard Disk Drive)等を用いることが出来る。
 指向性表示装置14は、多視点を得られるレンズ(レンチキュラーレンズ、フライアイレンズ等)や、視差バリア等の技術を用いて、表示領域を視認する方向によって視認させる画素を異ならせることで、一軸方向(例えば、水平方向)または二軸方向(例えば、水平方向および鉛直方向)における指向性表示を可能とした指向性表示装置(以下、「一軸指向性表示装置」または「二軸指向性表示装置」と称する)である。但し、指向性表示装置14として用いられる表示装置は、視認する方向に応じてユーザに視認させる内容を異ならせることが可能なものであればよく、その他の技術を採用することによって指向性を持たせたものであってもよい。また、指向性表示装置14におけるコンテンツの映写技術についても、指向性表示のための構成と共用することが可能なものであれば限定されない。例えば、コンテンツの映写には、フラットパネルディスプレイ、プロジェクタ等を用いることが出来る。
 図2は、本実施形態において指向性表示装置14を視認するユーザの位置によって、視認される内容が異なる様子を示す図である。
 本実施形態に係る情報処理装置1では、入出力装置として、主に指向性表示装置14やスピーカ15、センサユニット20等が用いられ、CPU11によって制御され、データを出力し、ユーザによる操作を受け付けることで、ユーザの五感を通じて情報を提供し、ユーザによるジェスチャ操作を介してユーザによる入力を受け付ける。入出力装置から入力された内容はRAM12に記録され、CPU11によって処理される。インターフェースとしては、センサユニット20を介した入力、および指向性表示装置14を介した出力の他、マイク(図示は省略する)およびスピーカ15を用いた音響による入出力を用いることが出来る。
 また、情報処理装置1が備えるスピーカ15は、指向性スピーカであってもよい。情報処理装置1は、指向性スピーカによる音響の出力方向を、指向性表示装置14による表示方向と合わせることで、複数のユーザから入力される操作に対して、ユーザ毎に異なるコンテンツの出力を、視覚および聴覚の両方において行うことが出来る。指向性スピーカによる音響の出力方向は、指向性表示装置14による表示方向を決定する場合と同様、ユーザ位置情報を参照することによって決定されてよい。
 なお、ジェスチャには、身振り、手振りの他、視線の移動等も含まれてよい。また、ユーザによる操作は、ジェスチャのみならず、ユーザによる発声等であってもよい。ユーザによる操作は、ユーザによって意識的に行われる動作であってもよいし、ユーザによって無意識的に行われる動作であってもよい。但し、操作はユーザによる動作でなくてもよい。ユーザによる操作は、例えば、コントローラや携帯端末装置等の、ユーザが操作する装置を用いて行われてもよい。
 センサユニット20は、ユーザまたはユーザの眼を認識し、また、ユーザによるジェスチャを検出するための情報を取得する。センサユニット20は、1または複数のセンサを含み、複数のユーザまたはユーザの夫々の眼の存在および位置を同時に認識し、また、複数のユーザによるジェスチャを同時に検出可能な構成が用いられる。ユーザの眼を認識する場合、左右の眼を夫々別の対象物として認識してもよい。以下に、センサユニット20の具体的な構成の例を示す。
 (1)可視光(RGB)および赤外線の少なくとも一方を撮像する単眼カメラ
 図3は、本実施形態において、可視光(RGB)および赤外線の少なくとも一方を撮像する単眼カメラを含むセンサユニット20が用いられる場合の、センサユニット20の配置の例を示す図である。情報処理装置1は、単眼カメラから取得された画像情報に基づいて、顔認識技術を含む画像解析技術や視線認識技術を用いたユーザ位置情報の取得、動画像解析技術を用いたジェスチャ検出、等を行うことが出来る。
 (2)可視光および赤外線の少なくとも一方を撮像するステレオカメラ
 図4は、本実施形態において、可視光および赤外線の少なくとも一方を撮像するステレオカメラを含むセンサユニット20が用いられる場合の、センサユニット20の配置の例を示す図である。このようなセンサユニット20は、単眼カメラと同様の機能を備える他、ステレオカメラで撮像された画像を比較し、視差に基づいて対象までの距離を算出する方法(受動ステレオ法)によって、所謂深度センサとして用いることが可能である。深度センサを用いた場合、深度情報を得ることが出来る。なお、深度情報は、撮像された対象までの距離(深度)を含む情報であり、受動ステレオ法、構造化光投影法、往復伝搬時間法、等を用いることによって、取得することが出来る。
 (3)赤外構造化光照射装置と赤外線カメラとの組み合わせ
 図5は、本実施形態において、赤外構造化光照射装置(赤外線エミッター)と、赤外線カメラとの組み合わせを含むセンサユニット20が用いられる場合の、センサユニット20の配置の例を示す図である。このようなセンサユニット20は、単眼カメラと同様の機能を備える他、赤外構造化光照射装置から照射された赤外構造化光の反射光を赤外線カメラによって撮像する方法(構造化光投影法)や、赤外線エミッターから照射された赤外線パルスの反射光を赤外線カメラによって撮像し、照射された赤外線パルスのTOF(Time Of Flight:飛行時間)を計測する方法(往復伝搬時間法)によって、所謂深度センサとして用いることが可能である。また、照射された赤外線の、ユーザの眼球からの反射光をカメラによって撮像し、この撮像結果に基づいてユーザの視線がカメラの撮像視点を向いているか否かを判定することで、視線認識を行うことも可能である。
 但し、赤外構造化光照射装置を用いる場合であっても、センサユニット20は、可視光カメラを更に含んでもよいし、赤外線パルスの反射光撮像用のカメラとして、赤外線に加えて可視光も撮像可能なカメラが採用されてもよい。これは、位置情報の取得やジェスチャ検出は、赤外線カメラによって撮像された画像に基づいても可能であるが、可視光カメラを更に備えることで、より精度の高い顔認識が可能となるからである。
 <キャリブレーション>
 上記説明したような指向性表示装置14では、ユーザの頭や眼等の位置(視点位置)に合わせてユーザに所望のコンテンツを視認させるために、センサユニット20を用いて視点位置が認識され、視点位置に対応した表示方向毎に、当該視点位置から視認させたいコンテンツが出力されることが好ましい。なお、ここで「表示方向」とは、本発明に係る表示装置において、視認する位置に応じて視認させる内容を異ならせるような表示を行う場合に、表示装置の表示領域から見て、当該内容を視認できる対象物が存在する方向である。このような表示方向は、視点位置の位置情報に基づいて、予め用意された計算式やテーブルを用いて表示方向を取得されてもよいし、視点位置の位置情報、指向性表示装置14の位置およびセンサの位置の相対的な位置関係から幾何学計算によって算出されてもよい。
 ここで、センサユニット20によって認識された視点位置と、指向性表示装置14による表示方向との一致度を高めるためには、多くの場合調整が必要である。そして、このような調整を、人手によって行うことも可能ではあるが、これには多くの経験と手間が必要となる。このため、本実施形態では、キャリブレーション装置を用いて、センサユニット20によって認識された視点位置と、指向性表示装置14による表示方向とのキャリブレーション(較正)を行うこととした。
 以下、指向性表示装置14に対する視点位置と指向性表示装置14による表示方向とのキャリブレーションを行うための装置および方法について説明する。キャリブレーションは、例えば、指向性表示装置14の製造時、検査時、または設置時等に実施される。
 本実施形態では、情報処理装置1は、検知器9に接続され、キャリブレーション用のプログラムを実行することによって、キャリブレーション装置として機能する。但し、キャリブレーション装置は、情報処理装置1とは別個の情報処理装置として実現されてもよい。この場合、キャリブレーション装置は、CPU、RAM、ROMおよび補助記憶装置を備え、情報処理装置1および検知器9へ接続されるコンピュータである。
 検知器9は、指向性表示装置14による表示を検知可能な装置である。検知器9としては、指向性表示装置14からの出力を検知可能な装置であればどのような装置が用いられてもよい。検知器9は、出力内容を判別可能な程度の検知が可能なものであってもよいし、単に指向性表示装置14において出力が行われたことを検知可能なものであってもよい。本実施形態では、検知器9としてカメラが用いられる。検知器9は、指向性表示装置14からの出力を検知し、検知された内容をキャリブレーション装置(本実施形態では、情報処理装置1)に通知する。
 本実施形態において用いられる検知器9は、指向性表示装置14による表示を検知器9が検知した際に明滅するランプを備える。このランプは、検知器9が設置された状態でセンサユニット20から認識可能な位置に設けられることで、キャリブレーション装置に対して、検知器9による検知が行われたことを通知する役割を果たす。但し、キャリブレーション装置がその他の通信手段によって検知に係る検知器9の位置情報を取得することが可能な場合には、検知器9はこのようなランプを有さなくてもよい。
 図6および図7は、本実施形態に係るキャリブレーションのために検知器9が設置された様子を示す図である。検知器9は、指向性表示装置14による表示を視認可能な位置に設置される。図6は、複数の検知器9を指向性表示装置14から見て略等距離に並べる配置の例を示しており、一軸指向性表示装置のためのキャリブレーションに適している。図7は、検知器9を指向性表示装置14から見て異なる距離に配置する例を示しており、二軸指向性表示装置のためのキャリブレーションに適している。但し、これらの図に示した検知器9の配置は例示であり、検知器9は、指向性表示装置14が運用のために設置された状態でユーザの視点が存在し得る複数の位置に設置されることが好ましい。なお、図中に示された破線矢印(α)から(ε)は、センサユニット20によって認識される検知器9の夫々の位置(視点位置)を示し、図中の実線矢印(A)から(E)は、指向性表示装置14から見た検知器9の方向(表示方向)を示す。
 図8は、本実施形態に係るキャリブレーション装置の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、検知器情報取得部40と、表示制御部39と、表示方向取得部41と、関連付け部42と、を備えるキャリブレーション装置として機能する。また、本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
 検知器情報取得部40は、指向性表示装置14による表示を視認可能な範囲に設置された検知器9の検知器情報を取得する。ここで、検知器情報は、センサユニット20を用いて取得された検知器9の位置に係る情報を含む。また、検知器9の位置に係る情報には、例えば、検知器9のセンサユニット20からの方向を示す情報が含まれる。
 表示制御部39は、本実施形態において、指向性表示装置14による表示コンテンツおよび表示方向等を制御する。キャリブレーション処理において、表示制御部39は、指向性表示装置14に、表示方向毎に表示コンテンツまたはタイミングが異なる表示を行わせる。
 表示方向取得部41は、検知器9によって検知された、指向性表示装置14による表示コンテンツまたはタイミングに基づいて、検知器9が設置された位置から表示を認識可能な表示方向を取得する。
 関連付け部42は、取得された検知器情報と表示方向とを関連付ける。
 図9は、本実施形態におけるキャリブレーションテーブルの構成を示す図である。キャリブレーションテーブルには、検知器9の設置位置毎に、設置位置(視点位置)の位置情報と、当該検知器9によって検知された表示方向と、が関連付けて蓄積される。キャリブレーションテーブルは、キャリブレーション処理によって生成され、その後、視点位置毎の表示方向を決定するために参照される。なお、視点位置の位置情報は、センサユニット20や指向性表示装置14から見た方向(角度等)で示されてもよいし、方向(角度等)と距離の組み合わせで示されてもよいし、ベクトルで示されてもよいし、座標で示されてもよい。
 図10は、本実施形態におけるキャリブレーション処理の流れを示すフローチャートである。以下、フローチャートを用いて、本実施形態に係るキャリブレーション処理の流れを説明する。なお、本実施形態においてフローチャートを用いて説明される処理の具体的な内容および順序等は、本発明を実施する上での一例である。具体的な処理内容および順序等は、実施の形態に応じて適宜選択されることが好ましい。
 ステップS001では、指向性表示装置14による表示および検知器9による表示の検知が行われる。表示制御部39は、指向性表示装置14に、指向性表示装置14によって表示可能な表示方向のうち未検査である一の表示方向に対して表示を行わせる。ここで、本フローチャートに示されたキャリブレーション処理は、ステップS005において後述するとおり、表示方向を切り替えながら行われる。このため、表示制御部39による表示は、表示方向ごとにタイミングが異なる表示となる。そして、この表示が行われている間に、検知器9は、表示の検知を行う。その後、処理はステップS002へ進む。
 ステップS002では、表示を検知した検知器9の位置情報が取得される。検知器情報取得部40は、ステップS001における表示を検知した検知器9から、表示を検知したことを示す通知を取得する。本実施形態では、指向性表示装置14による表示を検知した検知器9は、表示を検知したことを意味する表示(例えば、検知器9に備えられたランプの明滅等)を行うことによって、表示を検知したことをキャリブレーション装置に通知する。キャリブレーション装置は、センサユニット20によって取得された画像を解析し、表示を検知したことを意味する表示を行っている検知器9を認識する。この画像解析によって、検知器情報取得部40は、指向性表示装置14による表示を検知した検知器9からの通知を受信する。更に、検知器情報取得部40は、検知器9の位置に係る情報である検知器情報を取得する。ここで、検知器情報は、センサユニット20によって取得された画像を解析することで取得された、検知器9の位置情報を含む。その後、処理はステップS003へ進む。
 ステップS003では、検知に係る表示方向が取得される。ステップS001における表示を検知した検知器9がある場合、表示方向取得部41は、ステップS001において表示を行った表示方向を、検知器9が設置された位置から表示を認識可能な表示方向として取得する。ステップS001において説明した通り、本実施形態における表示制御部39による表示は、表示方向ごとにタイミングが異なる表示となる。このため、表示方向取得部41は、検知器9によって表示が検知されたタイミングに基づいて、表示が行われた表示方向を取得することが出来る。その後、処理はステップS004へ進む。
 ステップS004では、検知器9の位置情報と表示方向とが関連付けられる。関連付け部42は、ステップS002において取得された検知器9の位置情報と、ステップS001において表示が行われた表示方向とを関連付けて、キャリブレーションテーブルに記録する。その後、処理はステップS005へ進む。
 ステップS005では、未検査の表示方向があるか否かが判定される。キャリブレーション装置は、検査対象だが未検査の表示方向があるか否かを判定する。未検査の表示方向があると判定された場合、処理はステップS001へ進む。即ち、本フローチャートに示した処理では、検査の対象となっている表示方向の全てについて検査が行われるまで、ステップS001からステップS003の処理が繰り返される。一方、未検査の表示方向がないと判定された場合、本フローチャートに示された処理は終了する。
 上記説明したキャリブレーション処理によってキャリブレーションテーブルが生成されることで、指向性表示装置14は、センサユニット20によって認識されたユーザまたはユーザの眼に所望のコンテンツを視認させたい場合に、認識されたユーザまたはユーザの眼の位置(視点位置)の位置情報に基づいてキャリブレーションテーブルを検索するのみで、対応する正確な表示方向を得ることが出来る。
 なお、表示制御部39は、予め用意された表示方向と表示の内容またはタイミングとの関係を示す表示制御情報に基づいて表示制御を行い、表示方向取得部41は、表示制御情報を参照することで、表示の内容またはタイミングに基づいて、該検知器9が設置された位置から表示を認識可能な表示方向を取得してもよい。
 例えば、表示制御部39は、指向性表示装置14に、表示方向毎に表示コンテンツ(色や画像)を変えて複数の表示方向に対して同時に表示を行わせてもよい。この場合、表示方向と表示コンテンツとの関係を示す表示制御情報をキャリブレーション装置が保持しておくことで、検知器9によって検知された表示コンテンツに基づいて表示制御情報を検索し、各検知器9が夫々どの表示方向への表示を検知したのかを特定することが出来る。
 また、指向性表示装置14による表示が複数の検知器9によって感知された場合、複数の検知器9の位置情報の加重平均をとった値が、位置情報としてキャリブレーションテーブルに格納されてもよい。検知器9間の間隙は線形ないし適当な近似曲線を用いて補完する構成としてもよい。テーブル要素間の間隙に関しても補完を行い、表示方向の加重平均を取る方法としてもよい。
 なお、上記フローチャートを用いて説明したキャリブレーション処理では、検知に伴って検知器9のランプ等を明滅させ、ランプ等の明滅のあった検知器9の位置情報を取得することで、表示の検知が行われた視点位置を知ることとしている。しかし、このような方法に代えて、表示を検知した検知器9から通知された検知器識別子に従って、表示が検知された視点位置を知ることとしてもよい。この場合、表示を検知した検知器9は、キャリブレーション装置に検知器識別子を通知することで、表示を検知したことを示す通知を行い、キャリブレーション装置は、検知器識別子と検知器設置位置(視点位置)の位置情報とが関連付けられたテーブルを、検知器識別子を用いて検索することで、検知器9の位置情報を取得する。
 検知器識別子と検知器設置位置(視点位置)の位置情報とを関連付ける方法としては、例えば、検知器9毎に異なる標識(検知器識別子等)を検知器9の前面に付けておき、センサユニット20から得られた画像を解析することで検知器識別子を取得し、検知器識別子と検知器9の位置情報とを関連付ける方法が採用されてよい。また、検知器9を設置する毎にセンサユニット20によって新たに追加された検知器9を検出し、検出された位置(視点位置)の位置情報を追加された検知器9の検知器識別子と関連付ける方法が採用されてもよい。このような方法が採用される場合、キャリブレーション処理において、検知器9は検知したことの通知と共に自身の検知器識別子をキャリブレーション装置に通知する。
 <指向性表示>
 図11は、本実施形態に係る情報処理装置1の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、画像情報取得部31と、位置情報取得部32と、ユーザ情報保持部33と、ユーザ情報登録部34と、ユーザ情報更新部35と、ユーザ情報削除部36と、ユーザ操作検出部37と、表示方向決定部38と、表示制御部39と、を備える情報処理装置1として機能する。また、本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
 画像情報取得部31は、センサユニット20を用いて、指向性表示装置14を視認可能な範囲の撮像画像を含む画像情報を取得する。また、画像情報には、深度を測定可能なセンサユニット20を用いて取得された深度情報が含まれてもよい。
 位置情報取得部32は、画像情報を解析することによって、指向性表示装置14を視認可能な範囲にある複数の対象物(例えば、ユーザの頭部またはユーザの眼)の位置情報を取得する。例えば、ユーザ位置情報は、画像情報に含まれる深度情報を参照することによって取得されてもよい。ユーザ位置情報の取得に深度情報を用いることで、ユーザ同士の奥行方向の前後関係を容易に把握することが出来る。なお、本実施形態では、ユーザ位置情報は画像情報の解析によって取得することとしているが、ユーザ位置情報の取得にはその他の方法が採用されてもよい。ユーザ位置情報は、例えば、指向性表示装置14を視認可能な範囲に設置されたセンサーマットや、音波を用いた位置検出、等を用いて取得されてもよい。
 ユーザ情報保持部33は、位置情報取得部32によって取得されたユーザ位置情報を含むユーザ情報を、RAM12または補助記憶装置19上のユーザ情報テーブルに保持する。
 図12は、本実施形態において用いられるユーザ情報テーブルの構成を示す図である。ユーザ情報は、情報処理装置1によって認識されている、指向性表示装置14を視認可能な範囲に存在するユーザを管理するための情報であり、ユーザ情報テーブルに記憶される。ユーザ情報は、ユーザ識別情報、ユーザ位置情報、ユーザ領域マップ、および非発見カウンタを含む。
 ユーザ情報登録部34は、位置情報取得部32によって取得されたユーザ位置情報に係るユーザ情報が、ユーザ情報保持部33に保持されていない場合に、当該ユーザ位置情報を含むユーザ情報を登録し、ユーザ情報保持部33に保持させる。
 ユーザ情報更新部35は、位置情報取得部32によって取得されたユーザ位置情報が、ユーザ情報保持部33に保持されている場合に、当該ユーザ位置情報を用いて当該ユーザ情報を更新する。本実施形態に係る情報処理装置1によれば、ユーザ位置情報を更新することでユーザを追尾し、最新のユーザ位置に表示方向を追従させることが出来る。
 ユーザ情報削除部36は、ユーザ情報保持部33によって保持されているユーザ位置情報が更新されない場合に、当該ユーザ位置情報に係るユーザ情報を削除する。
 ユーザ操作検出部37は、画像情報から、ユーザ毎に、ユーザによる操作に対応する所定のジェスチャ(動作)を検出することで、ユーザによる操作を検出する。但し、本実施形態では、ユーザによる操作をジェスチャによって行う場合について説明しているが、ユーザによる操作はジェスチャでなくてもよい。ユーザによる操作は、例えば、コントローラや携帯端末装置等の、ユーザが操作する装置を用いて行われてもよい。
 表示方向決定部38は、位置情報を用いたキャリブレーションテーブルの検索結果に基づいて、指向性表示装置14を対象物の位置から見た場合に視認可能な表示方向を決定する。
 表示制御部39は、先述の通り、本実施形態において、指向性表示装置14による表示コンテンツおよび表示方向等を制御する。ここで、表示制御部39は、位置情報取得部32によって取得された対象物の位置情報に基づいて、当該位置情報が示す位置から視認可能なように、当該対象物のためのコンテンツを出力する。即ち、本実施形態に係る情報処理装置1は、指向性表示装置14と、指向性表示装置14を視認可能な範囲にある対象物の位置情報を取得する位置情報取得部32と、を有することで、指向性入出力装置として機能する。
 以下、フローチャートを用いて、本実施形態に係る処理の流れを説明する。なお、本実施形態においてフローチャートを用いて説明される処理の具体的な内容および順序等は、本発明を実施する上での一例である。具体的な処理内容および順序等は、実施の形態に応じて適宜選択されることが好ましい。
 図13は、本実施形態に係るユーザ情報管理処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。
 ステップS101では、画像情報が取得される。画像情報取得部31は、センサユニット20を用いて撮像された画像情報を取得する。ここで取得される画像情報は、撮像された動画像から所定の時間分切り出された動画像であってもよいし、撮像された動画像から1コマ分切り出された静止画像であってもよい。取得する画像情報を動画像とするか静止画像とするかは、ステップS102からステップS104での処理において採用される、画像認識技術の方式に従って決定されることが好ましい。例えば、画像内で動いているものをユーザとして検出する方式が採用される場合には、動画像を含む画像情報が取得される。また、ここで取得される画像情報には、撮像画像における画素毎のセンサユニット20の撮像視点からの距離(深度)を示す深度情報が含まれてもよい。その後、処理はステップS102へ進む。
 ステップS102では、ユーザ頭部が検出される。位置情報取得部32は、ステップS101において取得された画像情報に基づいて、画像情報に含まれる画像の中から、ユーザの頭部を検出する。但し、検出の対象物は視点位置の基準となるものであればよく、例えばユーザの左右の眼に対して異なるコンテンツ(立体視用のコンテンツ等)を視認させたい場合、検出の対象物はユーザ毎の左目および右目である。ユーザ頭部の検出には、一般的に用いられている、顔認識技術を含む画像解析技術を用いることが可能であり、またどのような方式の画像解析技術が用いられてもよい。このため、ユーザ頭部の検出の詳細については説明を省略する。例えば、位置情報取得部32は、目と口の位置関係等を予め保持しておき、画像内からこの位置関係にある特徴を抽出することで、ユーザ頭部を検出することが出来る。
 また、画像情報に深度情報が含まれている場合には、ユーザ頭部の検出に深度情報が用いられてもよい。深度情報を参照することで、撮像画像における画素毎のセンサユニット20の撮像視点からの距離が把握可能である。このため、位置情報取得部32は、ユーザのシルエット部分を容易に抽出し、ユーザのシルエット部分から、頭部に相当する部分を特定することで、ユーザの頭部を検出することが出来る。
 ユーザ頭部が検出されると、処理はステップS103へ進む。なお、本実施形態では、ユーザ頭部を検出し、これをユーザ位置管理の基準としているが、画像情報からの検出対象は、ユーザの位置を示す際の規準となる体の部位であればよく、ユーザの頭部に限定されない。また、ユーザ頭部(またはユーザの眼)の検出には、視線認識技術が用いられてもよい。
 ステップS103では、ユーザ位置情報が取得される。位置情報取得部32は、ステップS102において検出された全てのユーザ領域についてユーザの頭部(または、ユーザの眼)の位置を取得し、これをユーザ位置情報とする。但し、ユーザの左右の眼に対して異なるコンテンツ(立体視用のコンテンツ等)を視認させたい場合、ユーザの左目および右目について異なるユーザ位置情報が取得される。その後、処理はステップS104へ進む。
 ステップS104では、ユーザ領域が取得される。位置情報取得部32は、ステップS101において取得された画像情報に基づいて、撮像画像における、ユーザが撮像されている領域(換言すれば、撮像画像中のユーザのシルエット部分)を取得する。ユーザ領域の取得には、一般的に用いられている画像解析技術を用いることが可能であり、またどのような方式の画像解析技術が用いられてもよい。このため、ユーザ領域の取得の詳細については説明を省略する。例えば、位置情報取得部32は、人型のシルエットを予め保持しておき、画像内からこのシルエットに近似するエッジを抽出することで、ユーザ領域を取得することができる。位置情報取得部32は、取得されたユーザ領域を、撮像画像に対応する情報にマッピングすることで、ユーザ領域マップを生成する。例えば、ユーザ領域マップは、撮像画像と同サイズの2値画像において、ユーザが撮像されている画素を1、ユーザが撮像されていない画素を0でマッピングした情報である。
 また、画像情報に深度情報が含まれている場合には、ユーザ領域の取得に深度情報が用いられてもよい。深度情報を参照することで、撮像画像における画素毎のセンサユニット20の撮像視点からの距離が把握可能である。このため、深度情報によれば、ユーザのシルエット部分を容易に抽出し、ユーザ領域とすることが可能である。ユーザ領域が取得されると、処理はステップS105へ進む。
 ステップS105では、取得されたユーザ位置情報およびユーザ領域マップに係るユーザ情報が登録済みであるか否かが判定される。情報処理装置1は、ステップS103において取得されたユーザ位置情報、およびステップS104において取得されたユーザ領域マップを含むユーザ情報が、既にユーザ情報テーブルに登録済みであるか否かを判定する。取得されたユーザ情報が登録済みであるか否は、取得されたユーザ情報と登録済みのユーザ情報とを比較することで、判定することが出来る。より具体的には、取得されたユーザ情報と登録済みのユーザ情報との差分を算出し、差分が所定の閾値以下である場合に登録済みと判定し、差分が所定の閾値を超えている場合に未登録と判定することが出来る。取得されたユーザ情報が登録済みであると判定された場合、処理はステップS106へ進む。一方、取得されたユーザ情報が登録済みでないと判定された場合、処理はステップS107へ進む。
 ステップS106では、ユーザ情報が更新される。ユーザ情報更新部35は、ステップS103およびステップS104において取得されたユーザ情報を用いて、当該ユーザに係るユーザ情報を更新する。先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。このため、本ステップにおいてユーザ情報に含まれるユーザ位置情報およびユーザ領域マップは最新の情報に更新され、ユーザ操作検出部37は、ユーザ情報に含まれるユーザ位置情報およびユーザ領域マップを参照することで、最新のユーザ領域からジェスチャ等を検出することが出来、また、表示制御部39は、最新のユーザ位置から視認可能なように、指向性表示装置14による表示を行うことが出来る。その後、処理はステップS108へ進む。
 ステップS107では、ユーザ情報が登録される。ユーザ情報登録部34は、ユーザ情報を新たに生成し、このユーザ情報に、ステップS103において取得されたユーザ位置情報、およびステップS104において取得されたユーザ領域マップを含めて、ユーザ情報テーブルに登録する。先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。このため、ここで登録されたユーザ情報は、本フローチャートに示された処理が繰り返されることで、ステップS106において更新される。その後、処理はステップS108へ進む。
 ステップS108では、取得された全てのユーザ情報について処理が終了したか否かが判定される。情報処理装置1は、ステップS103およびステップS104において取得された全てのユーザ情報について、更新または登録が完了したか否かを判定する。取得された全てのユーザ情報について更新または登録が完了している場合、処理はステップS109へ進む。更新または登録が完了していないユーザ情報がある場合、処理はステップS105へ進む。即ち、本フローチャートに示された処理によれば、ステップS103およびステップS104において取得された全てのユーザ情報について更新または登録が終了するまで、ステップS105からステップS108に示された処理が繰り返される。
 ステップS109では、更新されなかった登録済みユーザ情報において、非発見カウンタがインクリメントされる。情報処理装置1は、ユーザ情報テーブルに登録済みのユーザ情報のうち、ステップS106における更新がされなかったユーザ情報、換言すれば、ユーザ情報テーブルに登録済みであるにも拘らず、画像情報から検出されなかったユーザに係るユーザ情報を特定する。そして、情報処理装置1は、特定されたユーザ情報に含まれる非発見カウンタに1加算する。非発見カウンタは、ユーザ情報が新たに登録された際、およびユーザ情報が更新された際に0(ゼロ)にリセットされる。また、先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。即ち、非発見カウンタは、本フローチャートに示すユーザ情報管理処理において画像情報からユーザ情報に係るユーザが連続して検出されなかった回数を示す情報である。更新されなかった全てのユーザ情報について非発見カウンタの更新が完了すると、処理はステップS110へ進む。
 ステップS110では、非発見カウンタが所定の閾値を超えているユーザ情報が削除される。ユーザ情報削除部36は、ユーザ情報テーブルに登録済みのユーザ情報のうち、非発見カウンタが所定の閾値(例えば、5回)を超えているユーザ情報を削除する。このようにすることで、所定回数以上検出されなかったユーザに係るユーザ情報を、当該ユーザがセンサユニット20による撮像範囲から去ったものとみなして、ユーザ情報テーブルから削除することが出来る。その後、本フローチャートに示された処理は終了する。但し、先述の通り、本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。このため、情報処理装置1の起動中、画像情報の取得、ユーザ位置の取得、ユーザ情報の更新、登録および削除は、継続的または定期的に実行される。
 図14は、本実施形態に係る指向性表示制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置1の起動中に、継続的または定期的に実行される。
 ステップS201では、ユーザの現在の位置情報が取得される。表示方向決定部38は、ユーザ情報から、指向性表示装置14を視認可能な範囲に居る複数のユーザのユーザ位置情報を取得する。
 ステップS202では、ユーザの現在の位置に対応する表示方向が決定される。表示方向決定部38は、キャリブレーションテーブルから、ステップS201で取得されたユーザ位置情報が示す位置に一致するかまたは最も近い視点位置の位置情報に関連付けられた表示方向を索出し、索出された表示方向を、当該ユーザのための表示コンテンツの表示方向として決定する。但し、ユーザ位置情報に一致するかまたは十分に近似する(差異が閾値未満の)位置情報がキャリブレーションテーブル内に無い場合、表示方向は、キャリブレーションテーブルに蓄積された複数の位置情報および表示方向に基づく補完処理によって決定されてもよい。表示方向が決定されると、処理はステップS203へ進む。
 ステップS203およびステップS204では、ユーザ毎に用意されたコンテンツが取得され、ユーザ毎に対応する表示方向にコンテンツが出力される。表示制御部39は、ユーザ毎に異なるコンテンツを視認させるために、ユーザ毎に用意されたコンテンツを、RAM12または補助記憶装置19から取得する(ステップS203)。更に、表示制御部39は、ユーザ毎に、ステップS202で決定された表示方向に、当該ユーザのためのコンテンツを出力する(ステップS204)。その後、本フローチャートに示された処理は終了する。
 上記説明したユーザ情報管理処理および指向性表示制御処理が実行されることによって、ユーザ情報が最新の情報に更新され、情報処理装置1は、最新のユーザ位置から視認可能なように、表示装置による表示を行うことが出来る。即ち、本実施形態によれば、ユーザ位置情報を更新することでユーザを追尾し、最新のユーザ位置に表示方向を追従させることが出来る。
 ここで、レンチキュラー方式の指向性表示装置が用いられる場合の、ユーザ毎に対応する表示方向にコンテンツが出力される具体例について説明する。
 図15は、レンチキュラー方式の指向性表示装置に入力されるための多視点コンテンツを合成するための多視点コンテンツ合成器の概念を示す図である。表示制御部39は、複数のコンテンツ(図15に示す例では、コンテンツ(A)から(C))を用意し、それを多視点コンテンツ合成器に入力する。多視点コンテンツ合成器は、入力された複数のコンテンツを合成し、指向性表示装置に表示させる。このようにすることで、指向性表示装置は、夫々異なるコンテンツを各表示方向に表示する。
 図16は、レンチキュラー方式の指向性表示装置が用いられる場合の多視点コンテンツ合成の概念を示す図である。水平方向に多視点を得られる一軸指向性表示装置に入力するための多視点コンテンツを合成する場合、表示制御部39は、表示方向毎に用意された入力コンテンツ(図16に示す例では、コンテンツA、BおよびC)を夫々垂直にスライスし、それらを順次並べることによって多視点コンテンツを合成する。以下、コンテンツA、BおよびCの並び順を「オフセット」と称する。図16に示す例では、コンテンツA、BおよびCに対して0、1または2のオフセットが付加される。各オフセットは、レンチキュラーレンズおよび表示装置の特性に基づいて、夫々特定の表示方向に対応する。
 レンチキュラー方式の場合、各表示方向に表示される複数のコンテンツは、オフセットが付された一のコンテンツに合成されるため、表示方向はオフセットで決定される。このため、キャリブレーションテーブル内の表示方向は、オフセットによって表現されてもよいし、表示方向とオフセットとの変換テーブルが更に用意されてもよい。また、表示方向としては、指向性表示装置の方式に応じて、時間的なオフセットや方向の角度表現が用いられてもよい。
 図15および図16を用いて上記に説明した例は、レンチキュラー方式による水平方向(一軸)方向の指向性表示を行う場合の例である。多視点コンテンツの合成方法としては、フライアイレンズを用いる場合の水平垂直の二軸の合成方法、またフレックスバリア方式を用いる場合の時分割方式の合成方法等、様々な合成方法がある。このため、表示方向に対応するパラメータとしては、合成方法に応じて、オフセットの他、ベクトルや表示フレームの時間オフセット等が用いられ得る。
 <優先制御を伴う指向性表示>
 本実施形態に開示されているような指向性表示装置14において、複数のユーザに対して互いに異なるコンテンツが表示されている場合、あるユーザが移動して他のユーザのためのコンテンツを閲覧可能な視点位置の範囲に入る(換言すれば、他のユーザと同一の表示方向の範囲に入る)可能性がある。
 本実施形態では、このような状況において、表示内容を閲覧者毎に適切に制御するため、優先制御を伴う指向性表示を行うこととしてもよい。本実施形態に係る優先制御を伴う指向性表示では、コンテンツの閲覧権限を持たないユーザに対する当該コンテンツの表示が許可されない。
 本実施形態において、ユーザは予め用意されたユーザアカウントを用いてシステムにログインすることが出来る。閲覧者権限は、ユーザアカウントに紐付けられている。ユーザは、ログインすると、自身が閲覧の権限を有するコンテンツを、指向性表示装置14の、自身が閲覧可能な表示方向に表示させることが出来る。なお、ユーザが閲覧可能な表示方向への表示については、図14のフローチャートを用いて上述した通りである。
 本実施形態において、コンテンツには夫々閲覧可権限のレベルが設定されており、ユーザの閲覧者権限と同等ないし低い閲覧可権限が設定されたコンテンツが、当該閲覧者権限を有するユーザに対して閲覧可能に表示される。なお、ログインしていないユーザは、最低レベルの閲覧者権限を有するもの(所謂ゲストユーザ)として扱われてもよい。また、ログインの方法は、ユーザ操作検出部37によってユーザ毎に予め定められたジェスチャ(パスジェスチャ)が検出される方法の他、ユーザ名およびパスワードを入力するインターフェースが入力される方法が採用されてもよい。
 図17は、本実施形態に係る情報処理装置1が優先制御を伴う指向性表示を行う場合の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、図11を用いて説明した画像情報取得部31と、位置情報取得部32と、ユーザ情報保持部33と、ユーザ情報登録部34と、ユーザ情報更新部35と、ユーザ情報削除部36と、ユーザ操作検出部37と、表示方向決定部38と、表示制御部39と、に加え、位置関係検出部43と、閲覧権限判定部44と、を備える情報処理装置1として機能する。また、本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
 表示制御部39は、指向性表示装置14に、ユーザ毎のコンテンツを、夫々のユーザの位置情報が示す位置から視認可能に表示させる。ここで、表示制御部39は、位置情報取得部32によって取得された対象物の位置情報に基づいて、当該位置情報が示す位置から視認可能なように、当該対象物のためのコンテンツを出力する。但し、優先制御を伴う指向性表示制御処理において、表示制御部39は、位置関係検出部43によって所定の位置関係が検出された場合に、指向性表示装置14に、コンテンツのうち、同一の表示方向に居る複数のユーザの少なくとも何れかが閲覧権限を有さないコンテンツの表示を停止させる。
 位置関係検出部43は、複数のユーザの位置情報が示す位置が指向性表示装置14によって同一の表示方向に表示されたコンテンツを閲覧可能な所定の位置関係となったことを検出する。
 閲覧権限判定部44は、ユーザが視認可能なコンテンツに対する、ユーザ毎の閲覧権限の有無を判定する。
 図18は、本実施形態における閲覧者権限管理テーブルの構成を示す図である。閲覧者権限管理テーブルには、ユーザ毎に、指向性表示装置14によるコンテンツの表示を制御するシステムにユーザがログインするためのログインIDと、当該ユーザの閲覧者権限を示す情報とが関連付けて蓄積される。
 図19は、本実施形態におけるコンテンツレベル管理テーブルの構成を示す図である。コンテンツレベル管理テーブルには、コンテンツ毎に、コンテンツIDと、当該コンテンツIDに係るコンテンツを閲覧するのに必要となる閲覧可権限と、が関連付けて蓄積される。
 なお、コンテンツの閲覧可権限はファイル毎に定めるように構成する他、XML等の構造化文書とすることでコンテンツの構成要素(サブコンテンツ)毎に閲覧可権限を設定するよう構成することもできる。このようにすることで、情報処理装置1は、ユーザに表示されるコンテンツを複数のサブコンテンツによって構成し、サブコンテンツ毎に表示制御(非表示・代替表示)を行うことが可能となる。
 図20は、本実施形態に係る、優先制御を伴う指向性表示制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、優先制御を伴う指向性表示制御処理が行われる場合に、図14を用いて説明した通常の指向性表示制御処理に代えて実行される。
 ステップS301からステップS303では、ユーザの現在の位置情報が取得され、ユーザの現在の位置に対応する表示方向が取得され、ユーザ毎に用意されたコンテンツが取得される。ステップS301からステップS303に示す処理は、図14を用いて説明した指向性表示制御処理のステップS201からステップS203の処理と概略同様であるため、説明を省略する。その後、処理はステップS304へ進む。
 ステップS304では、表示方向が重複するユーザの有無が判定される。位置関係検出部43は、ステップS302において取得されたユーザ毎の表示方向を比較し、異なるユーザだが表示方向が同一(または近接)であるユーザが存在するか否かを判定することで、複数のユーザが所定の位置関係となったことを検出する。表示方向が重複するユーザが存在しない場合、処理はステップS306へ進む。一方、表示方向が重複するユーザが存在する場合、仮に通常通りユーザ毎のコンテンツ表示を行うと、コンテンツの閲覧可権限に満たない閲覧者権限を有するユーザに対して当該コンテンツが表示されてしまう事態が発生し得る。このため、表示方向が重複するユーザが存在する場合、処理はステップS305へ進む。
 ステップS305では、ユーザ毎に対応する表示方向にコンテンツが出力される。但し、表示方向が重複するユーザに対しては、当該ユーザが閲覧権限を有さないコンテンツの表示が停止される。閲覧権限判定部44は、ステップS304において表示方向の重複が検出されたユーザのうち最も低い権限を特定し、当該ユーザに係る表示方向に表示されるコンテンツの閲覧可権限と比較することで、ユーザが視認可能なコンテンツに対する、ユーザ毎の閲覧権限の有無を判定する。そして、表示制御部39は、ユーザ毎に当該ユーザのためのコンテンツを出力するが、コンテンツのうち、最も低い権限でも閲覧不可能なコンテンツを出力しないことで、同一の表示方向に居る複数のユーザの少なくとも何れかが閲覧権限を有さないコンテンツの表示を停止させる。このようにすることで、コンテンツが、閲覧権限を有していないユーザに閲覧されてしまうことを防止できる。その後、本フローチャートに示された処理は終了する。
 ステップS306では、ユーザ毎に対応する表示方向にコンテンツが出力される。表示制御部39は、ユーザ毎に当該ユーザのためのコンテンツを出力する。その後、本フローチャートに示された処理は終了する。
 図21は、本実施形態におけるコンテンツの変化を例示する図である。図21には、権限レベル1のユーザが、権限レベル3のコンテンツが表示されている表示方向に入った場合に、レベル3のコンテンツ表示方向にレベル1のコンテンツが表示されるように、表示されるコンテンツが変更される様子が示されている。
 なお、上記説明したフローチャートでは、所定の位置関係が検出された場合に、最も低い権限でも閲覧不可能なコンテンツの表示を止めることとしたが、このような制御に代えて、他の表示制御が採用されてもよい。例えば、表示制御部39は、所定の位置関係が検出された場合に、表示内容を、最も低い権限でも閲覧可能な代替コンテンツに差し替えてもよい。また、表示制御部39は、所定の位置関係が検出された場合に、当該方向への全てのコンテンツの表示を停止してもよい。
 <表示領域視差を考慮したキャリブレーション>
 図22は、指向性表示装置14における表示方向の例を示す図である。図22に示す指向性表示装置14は、表示方向1から5の5方向に互いに異なるコンテンツを出力可能である。このような指向性表示装置14において、コンテンツが表示される表示領域全体のサイズが、表示領域からユーザまでの距離に対して無視できないほど大きい場合、表示領域上の各部分領域(a)~(e)からユーザへの方向(角度)が互いに大きく異なってしまう。このため、このような指向性表示装置14では、ユーザが表示領域に近付いた場合、ユーザに対して一貫した表示を行うことができない事態が生じ得る。以降、表示領域上の各部分領域からユーザへの方向(部分領域の面に対する角度)が互いに異なってしまうためにユーザの視認する表示方向が異なってしまうことを、「表示領域視差」と称する。
 図23は、表示領域視差が発生している状態の例を示す図である。図23に示された状況では、ユーザ1は部分領域(a)および(b)に関しては指向性表示装置14の正面を表示方向として出力されたコンテンツを視認するが、(c)、(d)および(e)に関しては夫々異なる方向を表示方向として出力されたコンテンツを視認する。ここで、指向性表示装置14の表示領域の全体において一貫した表示を得るためには、部分領域毎にユーザ1のためのコンテンツの表示方向を変えてコンテンツを表示しなければならない。図23に示した例において、例えばユーザ2に一貫したコンテンツを表示するためには、部分領域(a)-表示方向(E)、部分領域(b)-表示方向(D)、部分領域(c)-表示方向(C)、部分領域(d)-表示方向(B)、部分領域(e)-表示方向(A)のように制御する必要がある。
 このため、本実施形態では、指向性表示装置14の部分領域毎にキャリブレーションを行うことで、上記説明した表示領域視差の問題に対応することとした。
 図24は、本実施形態に係る表示領域視差を考慮したキャリブレーションのために検知器9を設置した様子を示す図である。検知器9は、指向性表示装置14による表示を視認可能な位置に設置されるが、本実施形態では、検知器9は更に、表示領域からみて略同一方向であっても表示領域からの距離を変えた位置に設置される。これは、表示領域からみて同一方向にある視点位置であっても、部分領域によっては視点位置までの距離が変わると部分領域からみた角度(表示方向)が変わることがあるためである。
 表示領域視差を考慮したキャリブレーションのためのキャリブレーション装置は、図8を用いて説明したキャリブレーション装置と同様、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、検知器情報取得部40と、表示制御部39と、表示方向取得部41と、関連付け部42と、を備える。
 図25は、本実施形態における表示領域視差を考慮したキャリブレーションテーブルの構成を示す図である。表示領域視差を考慮したキャリブレーションによって作成されるキャリブレーションテーブルには、検知器9の設置位置毎に、図9を用いて説明した位置情報および表示方向が関連付けられるが、表示領域視差を考慮したキャリブレーションテーブルでは、位置情報および表示方向に加え、更に部分領域の識別子が関連付けられる。なお、表示領域視差を考慮しないキャリブレーションテーブルでは、位置情報は、所定の基準(例えば、センサユニット20または指向性表示装置14)からの方向のみを表すパラメータが採用されてよいが、表示領域視差を考慮したキャリブレーションテーブルでは、位置情報は、方向のみを表すパラメータでは足りない。このため、表示領域視差を考慮したキャリブレーションテーブルでは、位置情報として、所定の基準からの距離も判別可能なパラメータが採用される。
 図26は、本実施形態において、表示領域視差を考慮したキャリブレーションテーブルを作成するための処理の流れを示すフローチャートである。なお、処理の具体的な内容および順序等は一例である。具体的な処理内容および順序等は適宜選択されることが好ましい。
 ステップS401では、指向性表示装置14による表示および検知器9による表示の検知が行われる。表示制御部39は、指向性表示装置14に、指向性表示装置14の「部分領域と表示方向との組合せ」のうち未検査である一の組合せに対して表示を行わせる。ここで、表示制御部39による表示は、「部分領域と表示方向との組合せ」ごとにタイミングが異なる表示となる。そして、この表示が行われている間に、検知器9は、表示の検知を行う。その後、処理はステップS402へ進む。
 ステップS402では、表示を検知した検知器9の位置情報が取得される。ステップS402に示す処理は、図10を用いて説明したキャリブレーション処理のステップS002の処理と概略同様であるため、説明を省略する。その後、処理はステップS403へ進む。
 ステップS403では、検知に係る「部分領域と表示方向との組合せ」が取得される。ステップS401における表示を検知した検知器9がある場合、表示方向取得部41は、ステップS401において表示を行った「部分領域と表示方向との組合せ」を、検知器9が設置された位置から表示を認識可能な組合せとして取得する。表示制御部39による表示は、組合せごとにタイミングが異なる表示となるため、表示方向取得部41は、表示が検知されたタイミングに基づいて、表示が行われた組合せを取得することが出来る。その後、処理はステップS404へ進む。
 ステップS404では、検知器9の位置情報と部分領域と表示方向とが関連付けられる。関連付け部42は、ステップS402において取得された検知器9の位置情報と、ステップS401において表示が行われた「部分領域と表示方向との組合せ」とを関連付けて、キャリブレーションテーブルに記録する。その後、処理はステップS405へ進む。
 ステップS405では、未検査の「部分領域と表示方向との組合せ」があるか否かが判定される。キャリブレーション装置は、検査対象だが未検査の「部分領域と表示方向との組合せ」があるか否かを判定する。未検査の組合せがあると判定された場合、処理はステップS401へ進む。即ち、本フローチャートに示した処理では、検査の対象となっている「部分領域と表示方向との組合せ」の全てについて検査が行われるまで、ステップS401からステップS403の処理が繰り返される。一方、未検査の組合せがないと判定された場合、本フローチャートに示された処理は終了する。
 <表示領域視差を考慮した指向性表示>
 次に、表示領域視差を考慮した指向性表示について説明する。
 表示領域視差を考慮した指向性表示のための情報処理装置1は、図11を用いて説明した情報処理装置と同様、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、画像情報取得部31と、位置情報取得部32と、ユーザ情報保持部33と、ユーザ情報登録部34と、ユーザ情報更新部35と、ユーザ情報削除部36と、ユーザ操作検出部37と、表示方向決定部38と、表示制御部39と、を備える。
 表示方向決定部38は、先述の通り、位置情報を用いたキャリブレーションテーブルの検索結果に基づいて、指向性表示装置14を対象物の位置から見た場合に視認可能な表示方向を決定する。但し、表示領域視差を考慮した指向性表示制御処理において、表示方向決定部38は、位置情報を用いたキャリブレーションテーブルの検索結果に基づいて、指向性表示装置14における部分領域毎に、表示方向を決定する。
 表示制御部39は、先述の通り、本実施形態において、指向性表示装置14による表示コンテンツおよび表示方向等を制御する。表示領域視差を考慮した指向性表示制御処理において、表示制御部39は、部分領域毎に、夫々の部分領域について表示方向決定部38によって決定された表示方向にコンテンツを表示させる。
 次に、フローチャートを用いて、表示領域視差を考慮した指向性表示制御処理の流れを説明する。但し、ユーザ情報管理処理については、図13を用いて説明した処理の流れと概略同様であるため、説明を省略する。
 図27は、本実施形態において、表示領域視差を考慮した指向性表示制御処理を行うための処理の流れを示すフローチャートである。なお、処理の具体的な内容および順序等は一例である。具体的な処理内容および順序等は適宜選択されることが好ましい。
 ステップS501およびステップS502では、ユーザの現在の位置情報が取得され、ユーザの現在の位置に対応する「部分領域と表示方向との組合せ」が決定される。表示方向決定部38は、ユーザ情報から、指向性表示装置14を視認可能な範囲に居る複数のユーザのユーザ位置情報を取得する(ステップS501)。そして、表示方向決定部38は、キャリブレーションテーブルから、ステップS501で取得されたユーザ位置情報が示す位置に一致するかまたは最も近い視点位置の位置情報に関連付けられた「部分領域と表示方向との組合せ」を索出し、索出された組合せを、当該ユーザのための表示コンテンツの「部分領域と表示方向との組合せ」として決定する(ステップS502)。
 図28は、本実施形態において用いられる部分領域テーブルの構成を示す図である。ユーザ毎に決定された「部分領域と表示方向との組合せ」は、ユーザ毎に用意された部分領域テーブルによって管理されてもよい。このようにして作成されるユーザ毎の部分領域テーブルは、各ユーザ向けの表示方向を部分領域ごとに格納したものであり、ユーザ情報管理処理によってユーザの移動が追尾されてユーザ情報テーブルが更新されるのに従って更新される。
 なお、ユーザ位置情報に一致するかまたは十分に近似する(差異が閾値未満の)位置情報がキャリブレーションテーブル内に無い場合の処理、および補完処理については、図14を用いて説明した指向性表示制御処理のステップS202と概略同様であるため、説明を省略する。「部分領域と表示方向との組合せ」が決定されると、処理はステップS503へ進む。
 ステップS503およびステップS504では、ユーザ毎に用意されたコンテンツが取得され、ユーザ毎に対応する「部分領域と表示方向との組合せ」にコンテンツが出力される。表示制御部39は、ユーザ毎に異なるコンテンツを視認させるために、ユーザ毎に用意されたコンテンツを、RAM12または補助記憶装置19から取得する(ステップS503)。更に、表示制御部39は、ユーザ毎に、ステップS502で決定された「部分領域と表示方向との組合せ」に、当該ユーザのためのコンテンツを出力する(ステップS504)。その後、本フローチャートに示された処理は終了する。
 ここで、レンチキュラー方式の指向性表示装置が用いられる場合の、ユーザ毎に対応する「部分領域と表示方向との組合せ」にコンテンツが出力される具体例について説明する。但し、多視点コンテンツ合成器の概念および一般的な多視点コンテンツ合成の概念については、図15および図16を用いて説明した通りであるため、説明を省略する。
 図29は、レンチキュラー方式の指向性表示装置が用いられる場合の、表示領域視差を考慮した多視点コンテンツ合成の概念を示す図である。図29に示された例において、表示制御部39は、ユーザ毎に用意されたコンテンツをRAM12または補助記憶装置19から取得し、各ユーザ用画面を部分領域毎に分割し、各ユーザ用部分領域テーブルの方向に従って各表示方向用画面の部分領域に分配することで、多視点コンテンツ合成器へ入力される各表示方向用画面を作成する。各表示方向用画面の入力を受けた多視点コンテンツ合成器は、レンチキュラー方式の指向性表示装置へ入力される合成画面(多視点コンテンツ)を生成する。このようにして生成された合成画面がレンチキュラー方式の指向性表示装置に入力されることで、ステップS502で決定された「部分領域と表示方向との組合せ」毎に、各ユーザのためのコンテンツが出力される。
 なお、上記説明した表示領域視差を考慮した指向性表示制御処理は、図20を用いて説明した優先制御と組み合わせて用いられてもよい。例えば、ユーザが他のユーザの少なくともひとつの部分領域の閲覧方向に移動してきた場合には、その部分領域ないし他ユーザ向け表示全体を非表示にする等の優先順位制御を行ってもよい。
 また、ユーザ情報管理処理において各ユーザの左右の眼それぞれの位置を追跡し、表示領域視差を考慮した指向性表示制御処理において左右の眼それぞれに対して適切な表示を行うことで、表示領域からの距離が近い場合にも一貫した立体表示を行うことが可能になる。この立体表示は、ユーザが複数いる場合であっても有効である。
 また、各ユーザ用部分領域テーブルを作成する方法としては、先述したキャリブレーション処理によってキャリブレーションテーブルを作成し、部分領域毎の表示方向を求めて生成する方法に代えて、算術的な処理の方法が用いられてもよい。
 図30は、ユーザ情報テーブルから各ユーザ用部分領域テーブルを作成する算術的な処理方法の一例を示す図である。また、図31は、算術的な処理方法によって作成される、各ユーザ用部分領域テーブルの構成を示す図である。部分領域a、b、c、dまたはeの表示領域中央からの変位をΔd、表示領域中央からユーザまでの距離をz、ユーザの表示領域中央線からの変位をxとし、センサユニット20からの入力情報等に基づいてxおよびzが判明している場合、各部分領域からみたユーザの角度θは、以下の数式によって求められる。
θ = arctan((x-Δd)/z)
 <情報処理装置の応用例>
 以下、本実施形態に係る情報処理装置1を、様々な用途に適用する際の具体例について説明する。以下に示される応用例は例示であって、本発明の適用対象は、以下に説明する例に限定されない。
 (1)エレベータ
 本実施形態に係る情報処理装置1が接続される制御装置をエレベータの制御装置とすることで、情報処理装置1を、エレベータでの行先階の指定操作や、扉の開閉操作等を処理するためのヒューマンインターフェース装置とすることが出来る。
 (2)カーナビゲーション装置/オーディオ装置
 本実施形態に係る情報処理装置1が接続される制御装置をカーナビゲーション装置/オーディオ装置の制御装置とすることで、情報処理装置1を、カーナビゲーション装置/オーディオ装置での選曲操作や音量操作、ミュート操作、等を処理するためのヒューマンインターフェース装置とすることが出来る。
 (3)情報KIOSK端末、セルフレジ端末
 本実施形態に係る情報処理装置1が接続される制御装置を情報KIOSK端末やセルフレジ端末の制御装置とすることで、情報処理装置1を、情報KIOSK端末やセルフレジ端末での操作を処理するためのヒューマンインターフェース装置とすることが出来る。
 (4)家電
 また、本実施形態に係る情報処理装置1が接続される制御装置を家電の制御装置とすることで、情報処理装置1を、家電での操作を処理するためのヒューマンインターフェース装置とすることが出来る。
   1 情報処理装置
  14 指向性表示装置
  20 センサユニット

Claims (7)

  1.  表示方向に応じて表示内容を異ならせることが可能な表示装置に接続される情報処理装置であって、
     前記表示装置を視認可能な範囲にある対象物の位置情報を取得する位置情報取得手段と、
     前記位置情報に基づいて、前記表示装置における第一の部分領域を前記対象物の位置から見た場合に視認可能な第一の表示方向、および前記表示装置における第二の部分領域を前記対象物の位置から見た場合に視認可能な第二の表示方向を決定する表示方向決定手段と、
     前記表示装置にコンテンツを表示させる表示制御手段であって、前記第一の部分領域においては前記第一の表示方向に前記コンテンツを表示させ、前記第二の部分領域においては前記第二の表示方向に前記コンテンツを表示させる表示制御手段と、
     を備える情報処理装置。
  2.  前記表示装置を視認可能な範囲内の位置と、前記部分領域毎の、該部分領域を該位置から見た場合に視認可能な表示方向との関係を有する関係情報を保持する記憶装置に接続され、
     前記表示方向決定手段は、前記位置情報を用いた前記関係情報の検索結果に基づいて、前記第一の部分領域または前記第二の部分領域を前記対象物から見た場合に視認可能な表示方向を決定する、
     請求項1に記載の情報処理装置。
  3.  前記位置情報取得手段は、第一の対象物の位置情報および前記第一の対象物とは異なる第二の対象物の位置情報を取得し、
     前記表示方向決定手段は、前記対象物毎の位置情報に基づいて、前記対象物毎に、前記第一の表示方向および前記第二の表示方向を決定し、
     前記表示制御手段は、
      前記第一の部分領域においては、前記第一の対象物に係る前記第一の表示方向に前記第一の対象物のためのコンテンツを表示させ、前記第二の対象物に係る前記第一の表示方向に前記第二の対象物のためのコンテンツを表示させ、
      前記第二の部分領域においては、前記第一の対象物に係る前記第二の表示方向に前記第一の対象物のためのコンテンツを表示させ、前記第二の対象物に係る前記第二の表示方向に前記第二の対象物のためのコンテンツを表示させる、
     請求項1または2に記載の情報処理装置。
  4.  前記対象物は、ユーザの頭部またはユーザの眼である、
     請求項1から3の何れか一項に記載の情報処理装置。
  5.  前記第一の対象物はユーザの左眼であり、前記第二の対象物はユーザの右眼である、
     請求項3に記載の情報処理装置。
  6.  表示方向に応じて表示内容を異ならせることが可能な表示装置に接続されるコンピュータが、
     前記表示装置を視認可能な範囲にある対象物の位置情報を取得する位置情報取得ステップと、
     前記位置情報に基づいて、前記表示装置における第一の部分領域を前記対象物の位置から見た場合に視認可能な第一の表示方向、および前記表示装置における第二の部分領域を前記対象物の位置から見た場合に視認可能な第二の表示方向を決定する表示方向決定ステップと、
     前記表示装置にコンテンツを表示させる表示制御ステップであって、前記第一の部分領域においては前記第一の表示方向に前記コンテンツを表示させ、前記第二の部分領域においては前記第二の表示方向に前記コンテンツを表示させる表示制御ステップと、
     を実行する情報処理方法。
  7.  表示方向に応じて表示内容を異ならせることが可能な表示装置に接続されるコンピュータを、
     前記表示装置を視認可能な範囲にある対象物の位置情報を取得する位置情報取得手段と、
     前記位置情報に基づいて、前記表示装置における第一の部分領域を前記対象物の位置から見た場合に視認可能な第一の表示方向、および前記表示装置における第二の部分領域を前記対象物の位置から見た場合に視認可能な第二の表示方向を決定する表示方向決定手段と、
     前記表示装置にコンテンツを表示させる表示制御手段であって、前記第一の部分領域においては前記第一の表示方向に前記コンテンツを表示させ、前記第二の部分領域においては前記第二の表示方向に前記コンテンツを表示させる表示制御手段と、
     として機能させるためのプログラム。
PCT/JP2012/064404 2012-06-04 2012-06-04 情報処理装置、方法およびプログラム WO2013183110A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2012/064404 WO2013183110A1 (ja) 2012-06-04 2012-06-04 情報処理装置、方法およびプログラム
JP2014519719A JP5889408B2 (ja) 2012-06-04 2012-06-04 情報処理装置、方法およびプログラム
US14/537,125 US9442561B2 (en) 2012-06-04 2014-11-10 Display direction control for directional display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/064404 WO2013183110A1 (ja) 2012-06-04 2012-06-04 情報処理装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/537,125 Continuation US9442561B2 (en) 2012-06-04 2014-11-10 Display direction control for directional display device

Publications (1)

Publication Number Publication Date
WO2013183110A1 true WO2013183110A1 (ja) 2013-12-12

Family

ID=49711531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/064404 WO2013183110A1 (ja) 2012-06-04 2012-06-04 情報処理装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US9442561B2 (ja)
JP (1) JP5889408B2 (ja)
WO (1) WO2013183110A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015163930A (ja) * 2014-01-30 2015-09-10 株式会社リコー 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム
CN110377158A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于变化视场范围的眼球追踪的校准方法及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013183108A1 (ja) * 2012-06-04 2013-12-12 株式会社Pfu 情報処理装置、方法およびプログラム
KR102003383B1 (ko) * 2013-03-14 2019-07-24 삼성전자주식회사 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
JP2015111371A (ja) * 2013-12-06 2015-06-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11023034B2 (en) * 2016-06-16 2021-06-01 Shenzhen Royole Technologies Co., Ltd. Method and apparatus for multiuser interaction and accompanying robot
WO2018147143A1 (ja) * 2017-02-09 2018-08-16 ソニー株式会社 情報処理装置および情報処理方法
WO2019086635A1 (en) * 2017-11-03 2019-05-09 United Screens Gmbh Display system, mobile device and method for providing three-dimensional views
EP3553629B1 (en) * 2018-04-12 2024-04-10 Nokia Technologies Oy Rendering a message within a volumetric data
TWI704473B (zh) 2018-11-16 2020-09-11 財團法人工業技術研究院 視線向量偵測方向與裝置
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
US11205008B2 (en) * 2019-05-07 2021-12-21 Intel Corporation Methods and apparatus for invoking a security feature of a computing device display in response to detecting an onlooker based on depth data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310002A (ja) * 2006-05-16 2007-11-29 Sony Corp 表示装置、表示方法及び表示プログラム
JP2009169352A (ja) * 2008-01-21 2009-07-30 Sharp Corp 情報処理装置
JP2009192552A (ja) * 2008-02-12 2009-08-27 Sharp Corp 映像表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2297876A (en) 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
GB2428153A (en) 2005-07-08 2007-01-17 Sharp Kk Interactive multiple view display
CN101473262A (zh) 2006-06-16 2009-07-01 皇家飞利浦电子股份有限公司 多视图显示设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310002A (ja) * 2006-05-16 2007-11-29 Sony Corp 表示装置、表示方法及び表示プログラム
JP2009169352A (ja) * 2008-01-21 2009-07-30 Sharp Corp 情報処理装置
JP2009192552A (ja) * 2008-02-12 2009-08-27 Sharp Corp 映像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015163930A (ja) * 2014-01-30 2015-09-10 株式会社リコー 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム
CN110377158A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于变化视场范围的眼球追踪的校准方法及电子设备
CN110377158B (zh) * 2019-07-22 2023-03-31 北京七鑫易维信息技术有限公司 基于变化视场范围的眼球追踪的校准方法及电子设备

Also Published As

Publication number Publication date
US20150054739A1 (en) 2015-02-26
US9442561B2 (en) 2016-09-13
JPWO2013183110A1 (ja) 2016-01-21
JP5889408B2 (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
JP5807115B2 (ja) 情報処理装置、方法およびプログラム
JP5889408B2 (ja) 情報処理装置、方法およびプログラム
JP5860144B2 (ja) 情報処理装置、方法およびプログラム
JP5779641B2 (ja) 情報処理装置、方法およびプログラム
US9030465B2 (en) Vehicle user interface unit for a vehicle electronic device
US9465443B2 (en) Gesture operation input processing apparatus and gesture operation input processing method
US12033286B2 (en) Augmented reality display device and augmented reality display method
US11244145B2 (en) Information processing apparatus, information processing method, and recording medium
KR20160113666A (ko) 오디오 탐색 지원
US11050997B2 (en) Dynamic display system capable of generating images corresponding to positions of users
JP6131312B2 (ja) 情報処理装置、方法およびプログラム
US20200211275A1 (en) Information processing device, information processing method, and recording medium
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
CN113170081B (zh) 图像处理装置、图像处理方法和图像处理系统
KR101247316B1 (ko) 감시시스템
JP2019032713A (ja) 情報処理装置、情報処理方法及びプログラム
WO2016185634A1 (ja) 情報処理装置
JP2011180690A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
US20230130815A1 (en) Image processing apparatus, image processing method, and program
GB2627426A (en) An imaging method and an imaging device
KR20140118063A (ko) 멀티미디어 콘텐츠 시각화 조정을 위한 사용자 인터페이스 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12878394

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014519719

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12878394

Country of ref document: EP

Kind code of ref document: A1