WO2013136484A1 - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
WO2013136484A1
WO2013136484A1 PCT/JP2012/056686 JP2012056686W WO2013136484A1 WO 2013136484 A1 WO2013136484 A1 WO 2013136484A1 JP 2012056686 W JP2012056686 W JP 2012056686W WO 2013136484 A1 WO2013136484 A1 WO 2013136484A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
image display
display device
unit
Prior art date
Application number
PCT/JP2012/056686
Other languages
English (en)
French (fr)
Inventor
展久 東川
Original Assignee
Necディスプレイソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necディスプレイソリューションズ株式会社 filed Critical Necディスプレイソリューションズ株式会社
Priority to PCT/JP2012/056686 priority Critical patent/WO2013136484A1/ja
Priority to US14/384,140 priority patent/US20150054984A1/en
Publication of WO2013136484A1 publication Critical patent/WO2013136484A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present invention relates to an image display device and an image display method.
  • the power consumption by the backlight light source on the back of the screen occupies most of the power consumption of the entire device. Therefore, as an effective means for reducing the power consumption of the apparatus, there is a method in which the backlight is dimmed or extinguished as much as possible when there is no need for a display such as a user's absence.
  • a method for automating this means a method of detecting presence or absence of a user by attaching a sensor using infrared rays to the apparatus is generally used (see, for example, Patent Document 1).
  • Patent Document 1 it is possible to detect an object, but it is impossible to determine whether the detected object is a human and to determine a specific person from a plurality of users. There were drawbacks. In addition, there are cases where it is difficult to use infrared-based devices, such as hospital operating rooms, precision equipment, and semiconductor factories, depending on the environment.
  • the settings of the image display device often differ depending on the user, especially in an environment where there are multiple users for one device, such as public facilities and offices, each time the user changes, the device is manually set. It was necessary to change the setting appropriately.
  • an administrator centrally manages a plurality of image display devices, information such as the usage time of the device itself and currently applied settings can be easily obtained remotely even with a conventional device. In an environment where there are a plurality of users, it is difficult to obtain data for each user for the device.
  • the problem to be solved is that the user is automatically specified, and the display setting cannot be changed according to the specified user.
  • the present invention has been made in view of the above points, and an object of the present invention is to automatically identify a user of the device and control the display according to the identified user. To provide a display method.
  • the present invention includes an image display unit that displays an image, a storage unit that stores setting information regarding the image display unit for each user, an image shooting processing unit that generates image data based on a signal captured by the imaging unit, An image analysis processing unit that extracts a discrimination image in which personal information for identifying a user is recorded from the image data generated by the image photographing processing unit, and reads the personal information from the extracted discrimination image; and the image analysis processing A control unit that reads setting information corresponding to a user of the personal information read by the unit from the storage unit and controls display of the image display unit based on the read setting information.
  • An image display device that displays an image
  • a storage unit that stores setting information regarding the image display unit for each user
  • an image shooting processing unit that generates image data based on a signal captured by the imaging unit
  • An image analysis processing unit that extracts a discrimination image in which personal information for identifying a user is recorded from the image data generated by the image photographing processing unit, and reads the personal information from the extracted discrimination image
  • the present invention provides a step in which an image capturing processing unit of an image display device including an image display unit that displays an image generates image data based on a signal captured by the imaging unit, and an image analysis process of the image display device A step of extracting a discrimination image in which personal information identifying a user is recorded from the generated image data, and reading out the personal information from the extracted discrimination image; and a control unit of the image display device reads
  • the setting information corresponding to the user of the personal information that has been issued is read from the storage unit that stores the setting information related to the image display unit for each user, and the display of the image display unit is controlled based on the read setting information.
  • a step of displaying an image is performed by the image display device.
  • the image display device of the present invention can automatically specify the user of the device itself and control the display according to the setting information corresponding to the specified user.
  • FIG. 1 is a block diagram of an embodiment of the apparatus of the present invention, and is a block diagram showing a configuration of an image display apparatus 1.
  • the image display device 1 is connected to a camera 2, an image capturing processing unit 3, a control unit 4, an image analysis processing unit 5, an image display unit 6, a RAM 7, a ROM (storage unit) 8, and a network.
  • timer real-time clock
  • the camera 2 is an imaging unit that images a user of the image display device 1.
  • the camera 2 is installed so that the user of the image display device 1 is located within the imaging range (imaging range) of the camera 2. Further, the camera 2 always captures images continuously at predetermined intervals.
  • the image display apparatus 1 shown in FIG. 1 includes the camera 2 in the apparatus, the camera 2 may be externally connected.
  • the image capturing processing unit 3 generates image data (hereinafter referred to as captured image data) based on a signal captured by the camera 2.
  • the image capturing processing unit 3 converts a signal that is captured by the circuit that operates the camera 2 or the camera 2 into digital data, performs various processes on the converted digital data, and generates captured image data captured by the camera. It is comprised including the various processing circuits for doing.
  • the image analysis processing unit 5 detects whether the user is present or away based on the captured image data generated by the image capturing processing unit 3, and when the presence of the user is detected, the captured image A discrimination image is extracted from the data, and personal information is read from the extracted discrimination image.
  • the discrimination image is an image in which personal information of the user is recorded, and is, for example, a one-dimensional or two-dimensional barcode, a specific figure, or the like.
  • the personal information of the user is information for specifying the user, such as ID (IDentification).
  • the image analysis processing unit 5 first compares the current captured image data with the previous captured image data, and uses a difference detection method. A user is detected, and feature points of the detected user are extracted.
  • the image analysis processing unit 5 assumes that the user is present while the feature point of the user exists in the captured image data (when the feature point is extracted), and the feature point of the user is determined from the captured image data. Assume that the user leaves the seat when there is no more (when no feature points are extracted).
  • the image display unit 6 is a display device that displays an image, such as a liquid crystal display.
  • the ROM 8 is a nonvolatile memory capable of reading stored data and recording data.
  • the ROM 8 stores setting information of the image display device 1 (image display unit 6) corresponding to each user, a setting data table representing the usage status of the image display device 1, and the like.
  • the ROM 8 stores personal information for specifying each user.
  • the ROM 8 stores a registered pattern model that is image information for extracting a discrimination image from the captured image data by pattern matching.
  • the control unit 4 is a central processing unit that performs overall control of the image display device 1. For example, the control unit 4 outputs the image data generated by the image capturing processing unit 3 to the image analysis processing unit 5. In addition, the control unit 4 reads setting information of the image display device 1 corresponding to the personal information read from the captured image data by the image analysis processing unit 5 from the setting data table, and based on the read setting information, the control unit 4 Change the setting. In addition, when the user leaves the seat, the control unit 4 shifts the image display device 1 to the power saving state, and cancels the power saving state of the image display device 1 when the user is present. The control unit 4 puts the image display device 1 into a power saving state by stopping output to the image display unit 6.
  • the image display unit 6 does not display an image. Moreover, the control part 4 cancels
  • the control unit 4 determines the most recent date and time when the user started using the image display device 1 and the date and time when the user last used the image display device 1. Based on this, the total device usage time of the user stored in the setting data table is updated.
  • the RAM 7 is a temporary storage area for performing work of the control unit 4.
  • FIG. 2 is a schematic diagram illustrating a data structure and a data example of a setting data table stored in the ROM 8.
  • the setting data table is a two-dimensional tabular data composed of rows and columns, and includes ID, name, device brightness setting, device contrast setting, device total usage time, and the like.
  • Each column includes items of the date and time when the device was last used and the date and time when the latest device was used.
  • Each row of this table exists for each ID.
  • the ID is identification information for identifying each user, and is, for example, an alphanumeric character string or an employee number.
  • the name is the name or nickname of the user.
  • the brightness setting of the device is a brightness setting value of the image display device 1 corresponding to the user, and a value from 0 to 100 is set.
  • the contrast setting of the device is a contrast setting value of the image display device 1 corresponding to the user, and a value from 0 to 100 is set.
  • the brightness setting of the device and the contrast setting of the device are setting information regarding the image display device 1 (image display unit 6).
  • the total device usage time is the total time that the user has used the image display device 1, and the unit is hour.
  • the total device usage time is updated based on the difference between the date and time when the device was last used and the date and time when the most recent device was used. Specifically, when the user leaves, the control unit 4 adds the difference between the date and time when the device was last used and the date and time when the most recent device was used to the total device usage time.
  • the date and time when the device was last used is the date and time when the user last used the image display device 1 and is expressed in year / month / day / hour / minute / second (yyyy / MM / dd, hh: mm: ss).
  • the date and time when the device was last used is recorded when the user finishes using the image display device 1. Specifically, when the user leaves, the control unit 4 writes the current date and time at the date and time when the device was last used.
  • the date and time when the most recent device has started to be used is the date and time when the user has started using the image display device 1 and is expressed in year / month / day / hour / minute / second (yyyy / MM / dd, hh: mm: ss). .
  • the date and time when the most recent device has been used is recorded when the user starts using the image display device 1. Specifically, when the user is present, the control unit 4 writes the current date and time at the date and time when the user started using the latest device.
  • the name of the ID “001” is “OO”, the brightness setting of the device is “50”, the contrast setting of the device is “80”, the total use time of the device is “4000”, and the last The date and time when the device is used is “2012/01/11, 18:40:20”, and the date and time when the latest device is used is “2012/01/11, 19:00:50”.
  • the name of the ID “002” is “XX”, the brightness setting of the device is “40”, the contrast setting of the device is “100”, the total usage time of the device is “2000”, and the last The date and time when the device is used is “2011/12/29, 16:30:50”, and the date and time when the latest device is used is “2011/12/29, 16:00:30”.
  • FIG. 3 is a schematic diagram showing a data structure of personal information stored in the ROM 8.
  • the personal information is information regarding each user, and includes items such as ID, name and nickname (name), password, and title.
  • FIG. 4 is a block diagram illustrating a configuration of the image analysis processing unit 5.
  • the image analysis processing unit 5 includes an image input unit 501, an object detection unit 502, a conversion processing unit 503, a feature extraction unit 504, a pattern matching unit 505, and a personal information extraction unit 506.
  • the image input unit 501 receives the captured image data generated by the image capturing processing unit 3 and outputs the input captured image data to the object detection unit 502.
  • the object detection unit 502 compares the current captured image data with the previous captured image data, and detects the user by the difference detection method.
  • the object detection unit 502 outputs the current captured image data and a range in which the user is detected in the captured image data (hereinafter referred to as a detection range) to the conversion processing unit 503 only when a user is detected. To do. Note that the object detection unit 502 outputs the input captured image data as it is to the conversion processing unit 503 when the user is present.
  • the conversion processing unit 503 performs various conversion processes on the detection range of the input captured image data, and outputs the processed captured image data and the detection range in the captured image data to the feature extraction unit 504. For example, the conversion processing unit 503 performs processing such as image division, noise reduction, level conversion, averaging, and edge detection on the detection range of the captured image data as the conversion processing.
  • the feature extraction unit 504 extracts feature points such as density (brightness, contrast, color tone) and area from the detection range of the input captured image data.
  • the feature extraction unit 504 uses the extracted feature points as user feature points, and the user is present while the user feature points are extracted in subsequent captured image data. To do.
  • the feature extraction unit 504 assumes that the user has left when the feature point of the user is no longer extracted from the captured image data.
  • the feature extraction unit 504 outputs the input captured image data to the pattern matching unit 505 only when the user's feature is extracted.
  • the pattern matching unit 505 extracts a discrimination image from the input captured image data, and outputs image data of the extracted discrimination image (hereinafter referred to as discrimination image data) to the personal information extraction unit 506.
  • the pattern matching unit 505 reads a registered pattern model from the ROM 8 and extracts a discrimination image by pattern matching the read registered pattern model with captured image data.
  • the personal information extraction unit 506 reads personal information from the input discrimination image data and outputs it to the control unit 4.
  • FIG. 5 is a flowchart showing the procedure of registration processing by the image display apparatus 1.
  • the user of the image display apparatus 1 wears a card-like medium (for example, an employee ID card) including the discrimination image so that the discrimination image for specifying the personal information is located within the imaging range of the camera 2. ing.
  • a discrimination image for specifying personal information is generated in advance.
  • the control unit 4 sets the image display device 1 to a registration mode for registering a discrimination image for specifying personal information (step S701). After setting the registration mode, the control unit 4 determines whether or not there is a free area in the ROM 8 where personal information can be recorded (step S702). When there is no free space for recording personal information in the ROM 8, the control unit 4 displays a message indicating that the personal information cannot be registered on the image display unit 6 and ends the registration mode.
  • the control unit 4 determines setting information (brightness setting, contrast setting) of the image display apparatus 1 associated with the personal information (step S703). Specifically, input of setting information of the image display device 1 is accepted, and the input setting information is written in the RAM 7 as setting information associated with personal information. Subsequently, the control unit 4 registers a discrimination image (step S704). Registration of the discrimination image is performed while viewing the captured image of the camera 2 in real time, and retry is performed until the image display device 1 can identify the discrimination image. Specifically, first, the control unit 4 activates the camera 2 to start imaging of the user. Next, the image capturing processing unit 3 generates captured image data captured by the camera 2.
  • the image analysis processing unit 5 extracts discrimination image data from the generated captured image data, and reads personal information from the extracted discrimination image data.
  • the image analysis processing unit 5 extracts the discriminating image data from the captured image data at the next stage (retry).
  • the control unit 4 writes the extracted personal information in the ROM 8 and records a record in which the extracted personal information ID, name, and determined setting information (brightness setting, contrast setting) are associated with each other. It adds to the setting data table of ROM8.
  • control unit 4 causes the image display device 1 to transition to the power saving state when the user leaves the seat.
  • operation movement which detects the user by the image display apparatus 1 is demonstrated.
  • FIG. 6 is an explanatory diagram showing an outline of an operation of detecting a user by the image display device 1.
  • the camera 2 always takes images of the surrounding environment of the image display device 1 at regular intervals.
  • FIG. 6A is a captured image (hereinafter referred to as image A) captured by the camera 2 in a state where there is no user of the image display device 1.
  • FIG. 6B is a captured image (hereinafter referred to as image B) captured by the camera 2 at the next stage of the image A shown in FIG.
  • FIG. 6C shows the feature points extracted from the image B shown in FIG.
  • FIG. 6D is a captured image (hereinafter referred to as an image C) captured by the camera 2 at the next stage of the image B shown in FIG.
  • the image analysis processing unit 5 compares the captured image data captured by the camera 2 with the captured image data captured by the camera 2 at the previous stage. Specifically, first, the image analysis processing unit 5 sets an object detection line in a rectangular range in the captured image. The image analysis processing unit 5 detects the user when the difference pixel information is detected between the two images and a certain amount of the set object detection line is hidden. For example, when the image A and the image B are compared, a user T that does not exist in the image A exists in the image B. Thereby, what was on the object detection line in the image A is hidden by the user T in the image B by a certain amount or more. For this reason, the image analysis processing unit 5 determines that the user is detected in the image B.
  • the image analysis processing unit 5 performs various conversion processes on the range in which the user is reflected in the image B, extracts several points from the obtained outline, To do. It is assumed that the image analysis processing unit 5 continues to capture feature points in the captured image, and the user is present while the user's feature points are within the imaging range of the camera 2. On the other hand, when the feature point moves outside the imaging range of the camera 2, the image analysis processing unit 5 considers that the user has left the seat.
  • FIG. 7 is a flowchart showing a procedure of processing for detecting a user by the image display apparatus 1.
  • the processing shown in this figure is performed when the image display apparatus 1 is in the power saving state and the user is away.
  • the image analysis processing unit 5 sets an object detection line in a certain rectangular range in the captured image.
  • the image analysis processing unit 5 compares the captured image data with the captured image data captured in the previous stage. As a result, the difference pixel information is detected between the two images, and the object detection line is detected. It is assumed that the user is detected when a certain amount of the top is hidden (step S801).
  • the image analysis processing unit 5 performs various conversion processes on the range in which the user is reflected in the captured image data, extracts several points from the obtained contour line, and extracts the feature points of the user. (Step S802).
  • the image analysis processing unit 5 assumes that the user is present while the feature points are present in the captured image data. While the user is present, the image analysis processing unit 5 continues to extract feature points (step S803) and searches for a discrimination image in the captured image (step S804).
  • the image analysis processing unit 5 reads a registered pattern model from the ROM 8, performs pattern matching between the captured image and the registered pattern model, and reads an image that matches the registered pattern model as a discrimination image. Then, when the discrimination image is found in the captured image, the image analysis processing unit 5 decodes the digital data (personal information) embedded in the discrimination image (step S805).
  • the subsequent processing continues to step S403 in the following flowchart.
  • FIG. 8 is a flowchart illustrating a procedure of processing for canceling the power saving state by the image display apparatus 1.
  • the image analysis processing unit 5 detects the user (step S401).
  • the image analysis processing unit 5 tries to read the discrimination image from the captured image data, and determines whether or not the discrimination image has been read (step S402). If the discrimination image cannot be read, the image analysis processing unit 5 retries reading of the discrimination image (step S407). That is, the image analysis processing unit 5 tries to read the discrimination image from the captured image data at the next stage. If the discrimination image is read as a result of the retry, the process proceeds to step S403. If the discrimination image cannot be read, the process proceeds to the process when the discrimination image cannot be read (step S408). Details of the processing when the discrimination image cannot be read will be described later.
  • the image analysis processing unit 5 extracts personal information from the discrimination image and outputs it to the control unit 4.
  • the control unit 4 determines whether or not the extracted personal information is that of a registered user (step S403). Specifically, the control unit 4 determines that the user is a registered user when the same personal information as the extracted personal information is recorded in the ROM 8, and the same individual as the extracted personal information. If the information is not recorded in the ROM 8, it is determined that the user is an unregistered user.
  • the control unit 4 When the user has been registered, the control unit 4 returns the image display device 1 from the power saving state (power saving state) to the normal state, and displays an image (step S404). Then, the control unit 4 reads the setting information (brightness setting, contrast setting) corresponding to the extracted personal information ID from the setting data table, and applies the read setting information to the image display device 1 (step S405). At this time, the control unit 4 writes the current date and time at the date and time when the most recent device corresponding to the extracted personal information ID is used. On the other hand, when the user is unregistered, the control unit 4 proceeds to processing when the user is not registered (step S406). Details of processing when the user is not registered will be described later.
  • FIG. 9 is a flowchart illustrating a processing procedure when the image display apparatus 1 cannot read the discrimination image.
  • the process shown in the figure corresponds to step S408 described above.
  • the display permission setting for determining whether or not to permit display when the discrimination image cannot be read is stored in the ROM 8 in advance.
  • control unit 4 determines that the discrimination image has not been read (step S501).
  • the control unit 4 reads the display permission setting when the discrimination image cannot be read from the ROM 8, and determines whether or not the display permission setting is permitted even if the discrimination image cannot be read (step S502). If the setting is to permit display even if the discrimination image cannot be read, the control unit 4 returns the image display device 1 from the power saving state to the normal state and displays the image (step S503). Then, the control unit 4 applies general-purpose display settings that are set in advance to the image display device 1 (step S504). On the other hand, the control unit 4 does not return the image display device 1 from the power saving state when the display is not permitted unless the discrimination image can be read (step S505).
  • FIG. 10 is a flowchart illustrating a processing procedure performed by the image display apparatus 1 when the user is not registered. The process shown in the figure corresponds to step S406 described above.
  • the display permission setting as to whether or not to permit the display is stored in the ROM 8 in advance.
  • control unit 4 determines that the user is unregistered (step S601).
  • the control unit 4 reads the display permission setting when the user is unregistered from the ROM 8 and determines whether or not the display is permitted even when the user is not registered (step S602). If the setting is to permit display even if the user is not registered, the control unit 4 returns the image display device 1 from the power saving state to the normal state, and displays an image (step S603). Then, the control unit 4 applies general-purpose display settings that are set in advance to the image display device 1 (step S604). On the other hand, the control unit 4 does not return the image display apparatus 1 from the power saving state in the case where the display is not permitted unless the user has been registered (step S605).
  • the image display apparatus 1 uses the discrimination image to identify the user, and therefore does not require complicated processing for reading compared to biometric authentication such as face authentication. For this reason, a user can be specified quickly and in a short time without having a high-performance system in the image display apparatus 1. Further, since the image display device 1 can automatically identify the user, the settings registered for each user in advance are automatically reflected in the image display device 1 and the device usage state for each individual is also reflected. Can be recorded as data.
  • the data recorded as the personal use status in the device includes, for example, the total device usage time in the setting data table, the date and time when the device was last used, the date and time when the latest device was used, and the like.
  • FIG. 11 is a schematic diagram illustrating an example in which data for each image display device 1 is collectively managed by the management device using the image display device 1.
  • the usage status of each image display device 1 by each user is collected and stored in the management database 100. .
  • the management database 100 and the image display apparatus 1 are connected by, for example, the Internet, USB (Universal Serial Bus), WiFi (Wireless Fidelity), or the like, and can transmit and receive data to and from each other. Thereby, the administrator can collectively manage the usage status of each image display device 1 by each user.
  • USB Universal Serial Bus
  • WiFi Wireless Fidelity
  • the image display device 1 can detect the presence and absence of the user, the image display device 1 automatically detects the absence from the user's presence and automatically enters a power saving state that reduces the power consumption of the device. Transition is possible. In addition, it is possible to automatically return from the power saving state to the normal state by detecting the presence of the user from the absence. Further, when the image display device 1 is in the power saving state and the user is detected, the image display device 1 cannot determine whether the detected person is a specific user as to whether the display return of the device is permitted. Determine by referring to the device settings according to the situation. For this reason, depending on the setting, it is possible to lock the device so that it cannot be restored by anyone other than the specific user.
  • a program for realizing the functions of the image display device 1 (the image photographing processing unit 3, the control unit 4, and the image analysis processing unit 5) in FIG.
  • the recorded program may be read into the computer system and executed to perform a user registration process, a process of transitioning from the power saving state to the normal display state, or a process of transitioning to the power saving state.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” includes a medium that holds a program for a certain period of time, such as a volatile memory inside a computer system serving as a server or a client.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the program may be stored in a predetermined server, and the program may be distributed (downloaded or the like) via a communication line in response to a request from another device.
  • the setting information associated with the user is the luminance setting or the contrast setting.
  • the setting information may be other device-specific changeable settings.
  • the image display part which displays an image
  • storage part which memorize
  • the image imaging process part which produces
  • An image analysis processing unit that extracts a discrimination image in which personal information for identifying a user is recorded from the image data generated by the image photographing processing unit, and reads the personal information from the extracted discrimination image; and the image analysis processing
  • a control unit that reads setting information corresponding to a user of the personal information read by the unit from the storage unit and controls display of the image display unit based on the read setting information.
  • Image display device
  • the said imaging part is installed so that the user of the said image display apparatus may be imaged, and the said image analysis process part is based on the said image data, whether the user is present or away.
  • the imaging unit captures images at predetermined intervals, and the image analysis processing unit detects the user by comparing the current image data with the previous image data, and the detected user's The feature point is extracted, and the user is present while the user feature point exists in the image data captured by the imaging unit, and the user feature point is extracted from the image data captured by the imaging unit.
  • the image display device according to appendix 2, wherein the user leaves the seat when there is no more.
  • the control unit sets the image display device to a power saving state, and cancels the power saving state of the image display device when the user is present.
  • storage part memorize
  • the total usage time of the user stored in the storage unit is updated based on the most recent date and time when the user started using the image display device and the date and time when the user last used the image display device.
  • An image capturing processing unit of an image display device including an image display unit that displays an image generates image data based on a signal captured by the imaging unit, and an image analysis processing unit of the image display device includes Extracting a discrimination image in which personal information for identifying a user is recorded from the generated image data, and reading out the personal information from the extracted discrimination image; and a control unit of the image display device is read out. Reading the setting information corresponding to the user of the personal information from the storage unit storing the setting information regarding the image display unit for each user, and controlling the display of the image display unit based on the read setting information; And an image display method characterized by comprising:

Abstract

 この画像表示装置(1)は、画像を表示する画像表示部(6)と、画像表示部(6)に関する設定情報を使用者毎に記憶するROM(8)と、カメラ(2)の撮像した信号に基づいて画像データを生成する画像撮影処理部(3)と、画像撮影処理部(3)により生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から個人情報を読み出す画像解析処理部(5)と、画像解析処理部(5)により読み出された個人情報の使用者に対応する設定情報をROM(8)から読み出し、読み出した設定情報に基づいて画像表示部(6)の表示を制御する制御部(4)とを備える。

Description

画像表示装置及び画像表示方法
 本発明は、画像表示装置及び画像表示方法に関する。
 画像表示装置の中でも特に透過型の表示デバイスでは、画面背面のバックライト光源による消費電力が装置全体の消費電力の大部分を占める。そのため、装置の消費電力を抑える有効な手段として、使用者の離席など、表示の必要のないときにできるだけバックライトを減光あるいは消灯する方法がある。この手段を自動化する方法として、装置に赤外線を利用したセンサを取り付けて、使用者の在席および離席を検出する手法が一般的によく用いられている(例えば、特許文献1参照)。
特開2012-39643号公報
 しかしながら、特許文献1に記載された技術では、物体の検知は可能であるが、検知した物体が人間であるかの判定、および、複数の使用者から特定の人物を判定することができない、という欠点があった。
 また、病院の手術室や精密機器、半導体の工場など、環境によっては赤外線を利用した装置の使用が困難なケースが存在する。
 また、画像表示装置の設定は使用者により異なる場合が多く、特に、公共施設やオフィスなど、一台の装置について複数の使用者が存在する環境では、使用者が変わる度に、手動で装置の設定を適切に変更する必要があった。また、複数の画像表示装置を管理者が集中して管理する場合、装置自体の使用時間や現在適用されている設定といった情報は従来装置でもリモートで容易に取得できるが、一台の装置に対して使用者が複数存在する環境では、装置に対する使用者ごとのデータを得ることは難しかった。
 解決しようとする問題点は、自動的に使用者を特定し、特定した使用者に応じて表示に関する設定を変更することができない点である。
 本発明は上記の点に鑑みてなされたものであり、その目的は、自動的に自装置の使用者を特定し、特定した使用者に応じて表示を制御することができる画像表示装置及び画像表示方法を提供することにある。
 本発明は、画像を表示する画像表示部と、前記画像表示部に関する設定情報を使用者毎に記憶する記憶部と、撮像部の撮像した信号に基づいて画像データを生成する画像撮影処理部と、画像撮影処理部により生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から前記個人情報を読み出す画像解析処理部と、前記画像解析処理部により読み出された個人情報の使用者に対応する設定情報を前記記憶部から読み出し、読み出した設定情報に基づいて前記画像表示部の表示を制御する制御部と、を備えることを特徴とする画像表示装置である。
 また、本発明は、画像を表示する画像表示部を備える画像表示装置の画像撮影処理部が、撮像部の撮像した信号に基づいて画像データを生成するステップと、前記画像表示装置の画像解析処理部が、生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から前記個人情報を読み出すステップと、前記画像表示装置の制御部が、読み出された個人情報の使用者に対応する設定情報を、前記画像表示部に関する設定情報を使用者毎に記憶する記憶部から読み出し、読み出した設定情報に基づいて前記画像表示部の表示を制御するステップと、を有することを特徴とする画像表示方法である。
 本発明の画像表示装置は、自動的に自装置の使用者を特定し、特定した使用者に応じた設定情報に従って表示を制御することができる。
本発明の一実施形態における画像表示装置の構成を示すブロック図である。 本実施形態におけるROMが記憶する設定データテーブルのデータ構造及びデータ例を示す概略図である。 本実施形態におけるROMが記憶する個人情報のデータ構造を示す概略図である。 本実施形態における画像解析処理部の構成を示すブロック図である。 本実施形態における画像表示装置による登録処理の手順を示すフローチャートである。 本実施形態における画像表示装置による使用者を検知する動作の概要を示す説明図である。 本実施形態における画像表示装置による使用者を検知する処理の手順を示すフローチャートである。 本実施形態における画像表示装置による、省電力状態を解除する処理の手順を示すフローチャートである。 本実施形態における画像表示装置による、判別画像が読み取れなかった場合の処理の手順を示すフローチャートである。 本実施形態における画像表示装置による、使用者が未登録の場合の処理の手順を示すフローチャートである。 本実施形態における画像表示装置を利用して、画像表示装置毎のデータを管理装置で一括管理する場合の例を示す概略図である。
 以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
 図1は、本発明装置の1実施例のブロック図であって、画像表示装置1の構成を示すブロック図である。
 画像表示装置1は、カメラ2と、画像撮影処理部3と、制御部4と、画像解析処理部5と、画像表示部6と、RAM7と、ROM(記憶部)8と、ネットワークに接続するためのネットワーク接続モジュール9と、時刻を計時するリアルタイムクロック(計時部)10とを含んで構成される。これらは、バスを介して相互に通信可能である。
 カメラ2は、画像表示装置1の使用者を撮像する撮像部である。カメラ2は、画像表示装置1の使用者がカメラ2の撮像範囲(撮影範囲)内に位置するよう設置される。また、カメラ2は、常に所定間隔毎に連続して撮像している。なお、図1に示す画像表示装置1は、装置内にカメラ2を内包しているが、カメラ2は外部接続であってもよい。
 画像撮影処理部3は、カメラ2の撮像した信号に基づいて画像データ(以下、撮像画像データとする。)を生成する。画像撮影処理部3は、カメラ2を動作させる回路やカメラ2で撮像した信号をデジタルデータに変換して、変換後のデジタルデータに種々の処理を施し、カメラによって撮像された撮像画像データを生成するための種々の処理回路を含んで構成される。
 画像解析処理部5は、画像撮影処理部3により生成された撮像画像データに基づいて使用者が在席しているか離席しているかを検知し、使用者の在席を検知すると、撮像画像データから判別画像を抽出し、抽出した判別画像から個人情報を読み出す。判別画像は、使用者の個人情報が記録されている画像であり、例えば、1次元または2次元のバーコード、あるいは特定の図形等である。使用者の個人情報は、例えば、ID(IDentification)等の使用者を特定する情報である。画像解析処理部5は、使用者が在席しているか離席しているかを検知するために、まず、現在の撮像画像データとその前段階の撮像画像データとを比較し、差分検出法により使用者を検知し、検知した使用者の特徴点を抽出する。そして、画像解析処理部5は、撮像画像データに使用者の特徴点が存在する間(特徴点が抽出された場合)は使用者が在席であるとし、撮像画像データから使用者の特徴点がなくなる(特徴点が抽出されなかった場合)と使用者が離席したとする。
 画像表示部6は、例えば、液晶ディスプレイ等、画像を表示する表示装置である。
 ROM8は、記憶データの読み出しやデータの記録が可能な不揮発性のメモリである。ROM8は、各使用者に対応する画像表示装置1(画像表示部6)の設定情報や、画像表示装置1の使用状況等を表す設定データテーブルを記憶する。また、ROM8は、各使用者を特定するための個人情報を記憶する。また、ROM8は、撮像画像データから判別画像をパターンマッチングにより抽出するための画像情報である登録済パターンモデルを記憶する。
 制御部4は、画像表示装置1全体を統括して制御する中央演算装置である。例えば、制御部4は、画像撮影処理部3により生成された画像データを画像解析処理部5へ出力する。また、制御部4は、画像解析処理部5が撮像画像データから読み出した個人情報に対応する画像表示装置1の設定情報を設定データテーブルから読み出し、読み出した設定情報に基づいて画像表示装置1の設定を変更する。また、制御部4は、使用者が離席すると、画像表示装置1を省電力状態に遷移させ、使用者が在席しているときに、画像表示装置1の省電力状態を解除する。制御部4は、画像表示部6への出力を停止することにより、画像表示装置1を省電力状態にする。すなわち、省電力状態のときは、画像表示部6は画像を表示しない。また、制御部4は、画像表示部6への出力を再開することにより、省電力状態を解除する。すなわち、省電力状態が解除されると、画像表示部6は画像を表示する。また、制御部4は、使用者の在席が検知されると、当該使用者が画像表示装置1を使い始めた直近の日時として現在の日時を設定データテーブルに書き込み、使用者の離席が検知されると、当該使用者が最後に画像表示装置1を使用した日時として現在の日時を設定データテーブルに書き込む。また、制御部4は、使用者の離席が検知されると、当該使用者が画像表示装置1を使い始めた直近の日時と当該使用者が最後に画像表示装置1を使用した日時とに基づいて、設定データテーブルに記憶されている当該使用者の装置総使用時間を更新する。
 RAM7は、制御部4の作業を行うための一時的な記憶領域である。
 図2は、ROM8が記憶する設定データテーブルのデータ構造及びデータ例を示す概略図である。
 本図に示すように、設定データテーブルは、行と列からなる2次元の表形式のデータであり、IDと、名前と、装置の輝度設定と、装置のコントラスト設定と、装置総使用時間と、最後に装置を使用した日時と、直近の装置を使い始めた日時との各項目の列を有している。このテーブルの各行はID毎に存在する。
 IDは、各使用者を識別するための識別情報であり、例えば英数文字列や社員番号等である。名前は、当該使用者の氏名やニックネーム等である。装置の輝度設定は、当該使用者に対応する画像表示装置1の輝度の設定値であり、0から100までの値が設定される。装置のコントラスト設定は、当該使用者に対応する画像表示装置1のコントラストの設定値であり、0から100までの値が設定される。装置の輝度設定及び装置のコントラスト設定が、画像表示装置1(画像表示部6)に関する設定情報である。
 装置総使用時間は、当該使用者が画像表示装置1を使用した時間の合計であり、単位は時間(hour)である。装置総使用時間は、使用者が画像表示装置1の使用を終了すると、最後に装置を使用した日時と直近の装置を使い始めた日時との差に基づいて更新される。具体的には、制御部4は、使用者が離席すると、最後に装置を使用した日時と直近の装置を使い始めた日時との差を装置総使用時間に加算する。最後に装置を使用した日時は、当該使用者が画像表示装置1を最後に使用した日時であり、年月日時分秒(yyyy/MM/dd,hh:mm:ss)で表される。最後に装置を使用した日時は、使用者が画像表示装置1の使用を終了すると記録される。具体的には、制御部4は、使用者が離席すると、最後に装置を使用した日時に現在の日時を書き込む。直近の装置を使い始めた日時は、当該使用者が画像表示装置1を使い始めた直近の日時であり、年月日時分秒(yyyy/MM/dd,hh:mm:ss)で表される。直近の装置を使い始めた日時は、使用者が画像表示装置1の使用を開始すると記録される。具体的には、制御部4は、使用者が在席したときに、直近の装置を使い始めた日時に現在の日時を書き込む。
 例えば、ID「001」の名前は「○○」であり、装置の輝度設定は「50」であり、装置のコントラスト設定は「80」であり、装置総使用時間は「4000」であり、最後に装置を使用した日時は「2012/01/11,18:40:20」であり、直近の装置を使い始めた日時は「2012/01/11,19:00:50」である。また、ID「002」の名前は「××」であり、装置の輝度設定は「40」であり、装置のコントラスト設定は「100」であり、装置総使用時間は「2000」であり、最後に装置を使用した日時は「2011/12/29,16:30:50」であり、直近の装置を使い始めた日時は「2011/12/29,16:00:30」である。
 図3は、ROM8が記憶する個人情報のデータ構造を示す概略図である。
 個人情報は、各使用者に関する情報であり、IDと、氏名やニックネーム(名前)と、パスワードと、役職等との各項目を有する。
 図4は、画像解析処理部5の構成を示すブロック図である。
 画像解析処理部5は、画像入力部501と、物体検知部502と、変換処理部503と、特徴抽出部504と、パターンマッチング部505と、個人情報抽出部506とを含んで構成される。
 画像入力部501は、画像撮影処理部3により生成された撮像画像データを入力とし、入力された撮像画像データを物体検知部502に出力する。物体検知部502は、使用者が離席しているときに、現在の撮像画像データと前段階の撮像画像データとを比較して、差分検出法により使用者を検知する。そして、物体検知部502は、使用者を検知した場合にのみ、現在の撮像画像データと当該撮像画像データにおいて使用者を検知した範囲(以下、検知範囲とする)とを変換処理部503に出力する。なお、物体検知部502は、使用者が在席しているときは、入力された撮像画像データをそのまま変換処理部503へ出力する。
 変換処理部503は、入力された撮像画像データの検知範囲に種々の変換処理をし、処理した撮像画像データと当該撮像画像データにおける検知範囲を特徴抽出部504に出力する。例えば、変換処理部503は、変換処理として、画像の分割、ノイズリダクション、レベル変換、平均化、エッジ検出等の処理を撮像画像データの検知範囲に行う。特徴抽出部504は、濃度(明るさ、コントラスト、色調)や面積等の特徴点を入力された撮像画像データの検知範囲から抽出する。そして、特徴抽出部504は、抽出した特徴点を使用者の特徴点とし、以降の撮像画像データにおいて当該使用者の特徴点が抽出されている間は、使用者が在席しているものとする。また、特徴抽出部504は、撮像画像データから当該使用者の特徴点が抽出されなくなると、使用者が離席したものとする。特徴抽出部504は、使用者の特徴が抽出された場合にのみ、入力された撮像画像データをパターンマッチング部505に出力する。パターンマッチング部505は、入力された撮像画像データから判別画像を抽出し、抽出した判別画像の画像データ(以下、判別画像データとする)を個人情報抽出部506に出力する。具体的には、パターンマッチング部505は、ROM8から登録済パターンモデルを読み出し、読み出した登録済パターンモデルと撮像画像データとをパターンマッチングすることにより、判別画像を抽出する。個人情報抽出部506は、入力された判別画像データから個人情報を読み出して制御部4に出力する。
 次に、図5から図10を参照して、画像表示装置1による処理について説明する。
 まず、使用者の個人情報を画像表示装置1に登録するための登録処理について説明する。図5は、画像表示装置1による登録処理の手順を示すフローチャートである。
 ここで、画像表示装置1の使用者は、個人情報を特定する判別画像がカメラ2の撮像範囲内に位置するように、判別画像を含むカード状媒体(例えば、社員証等)を身に付けている。個人情報を特定する判別画像は、予め生成されている。
 まず、使用者の操作により、制御部4は、個人情報を特定する判別画像を登録するための登録モードに画像表示装置1を設定する(ステップS701)。登録モード設定後、制御部4は、ROM8に個人情報を記録できる空き領域が存在するか否かを判定する(ステップS702)。制御部4は、ROM8に個人情報を記録する空き領域がない場合、画像表示部6に個人情報を登録できない旨のメッセージを表示して登録モードを終了する。
 一方、制御部4は、ROM8に空き領域が存在する場合、個人情報に関連付ける画像表示装置1の設定情報(輝度の設定、コントラストの設定)を決定する(ステップS703)。具体的には、画像表示装置1の設定情報の入力を受け付け、入力された設定情報を個人情報に関連付ける設定情報としてRAM7に書き込む。続いて、制御部4は、判別画像を登録する(ステップS704)。判別画像の登録は、リアルタイムにカメラ2の撮像画像を見ながら行われ、画像表示装置1が判別画像を識別できるまでリトライする。具体的には、まず、制御部4が、カメラ2を起動して使用者の撮像を開始する。次に、画像撮影処理部3が、カメラ2の撮像した撮像画像データを生成する。次に、画像解析処理部5が、生成された撮像画像データから判別画像データを抽出し、抽出した判別画像データから個人情報を読み出す。ここで、画像解析処理部5は、判別画像データを抽出できなかった場合、その次段階の撮像画像データから判別画像データを抽出する(リトライする)。そして、制御部4が、抽出された個人情報をROM8に書き込むとともに、抽出された個人情報のIDと、名前と、決定した設定情報(輝度の設定、コントラストの設定)とを対応付けたレコードをROM8の設定データテーブルに追加する。
 次に、省電力状態に遷移している画像表示装置1において、使用者を検知し、省電力状態から通常の表示状態に遷移する(省電力状態を解除する)ときの動作モードについて説明する。なお、制御部4は、使用者が離席すると、画像表示装置1を省電力状態に遷移させる。まず、図6及び図7を参照して、画像表示装置1による使用者を検知する動作について説明する。
 図6は、画像表示装置1による使用者を検知する動作の概要を示す説明図である。
 カメラ2は、常に一定の間隔で画像表示装置1の周囲環境について撮像を行っている。図6(a)は、画像表示装置1の使用者がいない状態でカメラ2が撮像した撮像画像(以下、画像Aとする)である。図6(b)は、図6(a)に示す画像Aの次段階にカメラ2が撮像した撮像画像(以下、画像Bとする)である。図6(c)は、図6(b)に示す画像Bにおいて抽出した特徴点を示す。図6(d)は、図6(b)に示す画像Bの次段階にカメラ2が撮像した撮像画像(以下、画像Cとする)である。
 画像解析処理部5は、カメラ2が撮像した撮像画像データとその前段階にカメラ2が撮像した撮像画像データとの比較をする。具体的には、まず、画像解析処理部5は、撮像画像内にある矩形範囲に物体検出ラインを設定する。そして、画像解析処理部5は、二つの画像間に差分の画素情報が検出され、設定した物体検出ライン上が一定量隠されたとき、使用者を検知したものとする。例えば、画像Aと画像Bとを比較すると、画像Aには存在しない使用者Tが画像Bに存在する。これにより、画像Aにおいて物体検出ライン上にあったものが、画像Bでは使用者Tによって一定量以上隠される。このため、画像解析処理部5は、画像Bにおいて使用者を検知したと判定する。次に、画像解析処理部5は、画像Bにおいて使用者が映っている範囲について、種々の変換処理を施し、得られた輪郭線から数点のポイントを抽出して、使用者の特徴点とする。画像解析処理部5は、撮像画像において特徴点を捕捉し続け、使用者の特徴点がカメラ2の撮像範囲内に存在する間は、使用者が在席しているものとする。一方、画像解析処理部5は、特徴点がカメラ2の撮像範囲外に移動すると、使用者が離席したとみなす。
 図7は、画像表示装置1による使用者を検知する処理の手順を示すフローチャートである。本図に示す処理は、画像表示装置1が省電力状態であって、使用者が離席しているときに行われる。
 まず、画像解析処理部5は、撮像画像内のある矩形範囲に物体検出ラインを設定する。そして、画像解析処理部5は、撮像された撮像画像データとその前段階で撮像された撮像画像データとを比較した結果、二つの画像間に差分の画素情報が検出され、かつ、物体検出ライン上が一定量隠されたとき、使用者を検知したものとする(ステップS801)。次に、画像解析処理部5は、撮像画像データにおいて使用者が映っている範囲に種々の変換処理を施し、得られた輪郭線から数点のポイントを抽出して、使用者の特徴点とする(ステップS802)。画像解析処理部5は、撮像画像データ内に特徴点が存在する間は、使用者が在席しているものとする。画像解析処理部5は、使用者が在席している間は、特徴点の抽出を続ける(ステップS803)とともに、撮像画像において判別画像を探索する(ステップS804)。具体的には、画像解析処理部5は、ROM8から登録済パターンモデルを読み出し、撮像画像と登録済パターンモデルとのパターンマッチングを行い、登録済パターンモデルとマッチする画像を判別画像として読み取る。そして、画像解析処理部5は、撮像画像内に判別画像が発見できたとき、判別画像に埋め込まれたデジタルデータ(個人情報)を復号する(ステップS805)。この後の処理は、次に示すフローチャートのステップS403に続く。
 図8は、画像表示装置1による、省電力状態を解除する処理の手順を示すフローチャートである。
 まず、使用者が画像表示装置1のカメラ2の撮像範囲内に位置すると、画像解析処理部5が、使用者を検知する(ステップS401)。次に、画像解析処理部5は、撮像画像データから判別画像の読み取りを試行し、判別画像の読み取りができたか否かを判定する(ステップS402)。画像解析処理部5は、判別画像が読み取れなかった場合、判別画像の読み取りのリトライを行う(ステップS407)。すなわち、画像解析処理部5は、次段階の撮像画像データから判別画像の読み取りを試行する。リトライの結果、判別画像が読み取れた場合は、ステップS403へ移行し、判別画像が読み取れなかった場合は、判別画像が読み取れなかった場合の処理(ステップS408)へ移行する。判別画像が読み取れなかった場合の処理の詳細は後述する。
 画像解析処理部5は、判別画像が読み取れた場合には、判別画像から個人情報を抽出して制御部4に出力する。制御部4は、抽出された個人情報が既に登録済みの使用者のものであるか否かを判定する(ステップS403)。具体的には、制御部4は、抽出された個人情報と同一の個人情報がROM8に記録されている場合に、登録済の使用者であると判定し、抽出された個人情報と同一の個人情報がROM8に記録されていない場合に、未登録の使用者であると判定する。
 制御部4は、使用者が登録済である場合、画像表示装置1を省電力状態(パワーセーブ状態)から通常状態へ復帰させ、画像を表示する(ステップS404)。そして、制御部4は、抽出された個人情報のIDに対応する設定情報(輝度の設定、コントラストの設定)を設定データテーブルから読み出し、読み出した設定情報を画像表示装置1に適用する(ステップS405)。また、このとき、制御部4は、抽出された個人情報のIDに対応する直近の装置を使い始めた日時に現在の日時を書き込む。一方、制御部4は、使用者が未登録である場合、使用者が未登録の場合の処理へ移行する(ステップS406)。使用者が未登録の場合の処理の詳細は後述する。
 図9は、画像表示装置1による、判別画像が読み取れなかった場合の処理の手順を示すフローチャートである。本図に示す処理は、上述したステップS408に対応する。
 ここで、判別画像が読み取れなかった場合に、表示を許可するか否かの表示許可設定は、予めROM8に記憶されている。
 まず、制御部4は、判別画像が読み取れなかったと判定する(ステップS501)。次に、制御部4は、判別画像が読み取れなかった場合の表示許可設定をROM8から読み出し、判別画像が読み取れなくとも表示を許可する設定か否かを判定する(ステップS502)。制御部4は、判別画像が読み取れなくとも表示を許可する設定の場合、画像表示装置1を省電力状態から通常状態へ復帰させ、画像を表示する(ステップS503)。そして、制御部4は、予め設定されている汎用的な表示設定を画像表示装置1に適用する(ステップS504)。一方、制御部4は、判別画像が読み取れなければ表示を許可しない設定の場合、画像表示装置1を省電力状態から復帰しない(ステップS505)。
 図10は、画像表示装置1による、使用者が未登録の場合の処理の手順を示すフローチャートである。本図に示す処理は、上述したステップS406に対応する。
 ここで、使用者が未登録の場合に、表示を許可するか否かの表示許可設定は、予めROM8に記憶されている。
 まず、制御部4は、使用者が未登録であると判定する(ステップS601)。次に、制御部4は、使用者が未登録である場合の表示許可設定をROM8から読み出し、使用者が未登録であっても表示を許可する設定か否かを判定する(ステップS602)。制御部4は、使用者が未登録であっても表示を許可する設定の場合、画像表示装置1を省電力状態から通常状態へ復帰させ、画像を表示する(ステップS603)。そして、制御部4は、予め設定されている汎用的な表示設定を画像表示装置1に適用する(ステップS604)。一方、制御部4は、使用者が登録済でなければ表示を許可しない設定の場合、画像表示装置1を省電力状態から復帰しない(ステップS605)。
 このように、本実施形態によれば、画像表示装置1は、判別画像を用いて使用者を特定するため、顔認証等の生態認証に比べ、読み取りに複雑な処理を必要としない。このため、画像表示装置1に高性能なシステムを持たせずとも素早く短時間で使用者を特定することができる。また、画像表示装置1は、自動的に使用者を特定することができるため、予め使用者毎に登録された設定を自動的に画像表示装置1に反映するとともに、個人ごとの装置使用状態をデータとして記録できる。
 装置に個人の使用状態として記録するデータは、例えば、設定データテーブルの装置総使用時間や、最後に装置を使用した日時、直近の装置を使い始めた日時等である。この例では、記録されたデータから、使用者毎の装置使用時間を知ることができるほか、使用者が離席してから復帰するまでの時間を求めることもできる。
 これらの情報は、画像表示装置1をネットワークと接続することにより、システム管理者が装置の使用状況を任意に収集し、図11に示すようにデータベースとして管理することもできる。図11は、画像表示装置1を利用して、画像表示装置1毎のデータを管理装置で一括管理する場合の例を示す概略図である。図11に示す例では、各使用者による各画像表示装置1の使用状況(使用時間、最後に使用した日時、直近の装置を使い始めた日時)が管理データベース100に収集され、記憶されている。管理データベース100と画像表示装置1とは、例えば、インターネット、USB(Universal Serial Bus)、またはWifi(Wireless Fidelity)等により接続されており、相互にデータの送受信が可能である。これにより、管理者が、各使用者による各画像表示装置1の使用状況を一括管理することができる。
 また、画像表示装置1は、使用者の在席と離席の検知が可能であるため、使用者の在席から離席を自動で検知し、装置の消費電力を抑える省電力状態へ自動で遷移できる。また、使用者の離席から在席を検知して、省電力状態から通常状態へ自動で復帰できる。
 また、画像表示装置1は、画像表示装置1が省電力状態で、かつ、使用者を検知したとき、装置の表示復帰を許可するかについては、検知した人物が特定の使用者だと判別できない場合など状況に応じた装置設定を参照して決定する。このため、設定によっては特定使用者以外では装置が復帰しないようロックをかけることもできる。
 また、図1における画像表示装置1(画像撮影処理部3、制御部4、画像解析処理部5)の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより使用者の登録処理、省電力状態から通常の表示状態に遷移する処理、または、省電力状態に遷移する処理等を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
 また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記のプログラムを所定のサーバに記憶させておき、他の装置からの要求に応じて、当該プログラムを通信回線を介して配信(ダウンロード等)させるようにしてもよい。
 以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 例えば、上述した実施形態では、使用者と関連付けされた設定情報を輝度の設定やコントラストの設定としたが、その他装置固有の変更可能な設定等であってもよい。
(付記1)画像を表示する画像表示部と、前記画像表示部に関する設定情報を使用者毎に記憶する記憶部と、撮像部の撮像した信号に基づいて画像データを生成する画像撮影処理部と、画像撮影処理部により生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から前記個人情報を読み出す画像解析処理部と、前記画像解析処理部により読み出された個人情報の使用者に対応する設定情報を前記記憶部から読み出し、読み出した設定情報に基づいて前記画像表示部の表示を制御する制御部と、を備えることを特徴とする画像表示装置。
(付記2)前記撮像部は、当該画像表示装置の使用者を撮像するよう設置され、前記画像解析処理部は、前記画像データに基づいて使用者が在席しているか離席しているかを検知し、使用者の在席を検知すると、前記画像データから判別画像を抽出することを特徴とする付記1に記載の画像表示装置
(付記3)前記撮像部は、所定間隔毎に撮像し、前記画像解析処理部は、現在の画像データとその前の画像データとを比較することにより使用者を検知し、検知した使用者の特徴点を抽出し、前記撮像部の撮像する画像データに前記使用者の特徴点が存在する間は使用者が在席であるとし、前記撮像部の撮像する画像データから前記使用者の特徴点がなくなると使用者が離席したとすることを特徴とする付記2に記載の画像表示装置。
(付記4)前記制御部は、使用者が離席すると、当該画像表示装置を省電力状態にし、使用者が在席しているときに、当該画像表示装置の省電力状態を解除することを特徴とする付記2または3に記載の画像表示装置。
(付記5)時刻を計時する計時部を備え、前記制御部は、使用者の在席が検知されると、当該使用者が当該画像表示装置を使い始めた直近の日時として現在の日時を前記記憶部に書き込み、使用者の離席が検知されると、当該使用者が最後に当該画像表示装置を使用した日時として現在の日時を前記記憶部に書き込むことを特徴とする付記2から4いずれか1項に記載の画像表示装置。
(付記6)前記記憶部は、当該画像表示装置を使用した時間の合計である総使用時間を使用者毎に記憶し、前記制御部は、使用者の離席が検知されると、当該使用者が当該画像表示装置を使い始めた直近の日時と当該使用者が最後に当該画像表示装置を使用した日時とに基づいて、前記記憶部に記憶されている当該使用者の総使用時間を更新することを特徴とする付記5に記載の画像表示装置。
(付記7)画像を表示する画像表示部を備える画像表示装置の画像撮影処理部が、撮像部の撮像した信号に基づいて画像データを生成するステップと、前記画像表示装置の画像解析処理部が、生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から前記個人情報を読み出すステップと、前記画像表示装置の制御部が、読み出された個人情報の使用者に対応する設定情報を、前記画像表示部に関する設定情報を使用者毎に記憶する記憶部から読み出し、読み出した設定情報に基づいて前記画像表示部の表示を制御するステップと、を有することを特徴とする画像表示方法。
 1  画像表示装置
 2  カメラ
 3  画像撮影処理部
 4  制御部
 5  画像解析処理部
 6  画像表示部
 7  RAM
 8  ROM
 9  ネットワーク接続モジュール
 10  リアルタイムクロック
 501  画像入力部
 502  物体検知部
 503  変換処理部
 504  特徴抽出部
 505  パターンマッチング部
 506  個人情報抽出部

Claims (7)

  1.  画像を表示する画像表示部と、
     前記画像表示部に関する設定情報を使用者毎に記憶する記憶部と、
     撮像部の撮像した信号に基づいて画像データを生成する画像撮影処理部と、
     画像撮影処理部により生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から前記個人情報を読み出す画像解析処理部と、
     前記画像解析処理部により読み出された個人情報の使用者に対応する設定情報を前記記憶部から読み出し、読み出した設定情報に基づいて前記画像表示部の表示を制御する制御部と、
     を備えることを特徴とする画像表示装置。
  2.  前記撮像部は、当該画像表示装置の使用者を撮像するよう設置され、
     前記画像解析処理部は、前記画像データに基づいて使用者が在席しているか離席しているかを検知し、使用者の在席を検知すると、前記画像データから判別画像を抽出する
     ことを特徴とする請求項1に記載の画像表示装置。
  3.  前記撮像部は、所定間隔毎に撮像し、
     前記画像解析処理部は、現在の画像データとその前の画像データとを比較することにより使用者を検知し、検知した使用者の特徴点を抽出し、前記撮像部の撮像する画像データに前記使用者の特徴点が存在する間は使用者が在席であるとし、前記撮像部の撮像する画像データから前記使用者の特徴点がなくなると使用者が離席したとする
     ことを特徴とする請求項2に記載の画像表示装置。
  4.  前記制御部は、使用者が離席すると、当該画像表示装置を省電力状態にし、使用者が在席しているときに、当該画像表示装置の省電力状態を解除する
     ことを特徴とする請求項2または3に記載の画像表示装置。
  5.  時刻を計時する計時部を備え、
     前記制御部は、使用者の在席が検知されると、当該使用者が当該画像表示装置を使い始めた直近の日時として現在の日時を前記記憶部に書き込み、使用者の離席が検知されると、当該使用者が最後に当該画像表示装置を使用した日時として現在の日時を前記記憶部に書き込む
     ことを特徴とする請求項2から4のいずれか1項に記載の画像表示装置。
  6.  前記記憶部は、当該画像表示装置を使用した時間の合計である総使用時間を使用者毎に記憶し、
     前記制御部は、使用者の離席が検知されると、当該使用者が当該画像表示装置を使い始めた直近の日時と当該使用者が最後に当該画像表示装置を使用した日時とに基づいて、前記記憶部に記憶されている当該使用者の総使用時間を更新する
     ことを特徴とする請求項5に記載の画像表示装置。
  7.  画像を表示する画像表示部を備える画像表示装置の画像撮影処理部が、撮像部の撮像した信号に基づいて画像データを生成するステップと、
     前記画像表示装置の画像解析処理部が、生成された画像データから、使用者を特定する個人情報の記録された判別画像を抽出し、抽出した判別画像から前記個人情報を読み出すステップと、
     前記画像表示装置の制御部が、読み出された個人情報の使用者に対応する設定情報を、前記画像表示部に関する設定情報を使用者毎に記憶する記憶部から読み出し、読み出した設定情報に基づいて前記画像表示部の表示を制御するステップと、
     を有することを特徴とする画像表示方法。
PCT/JP2012/056686 2012-03-15 2012-03-15 画像表示装置及び画像表示方法 WO2013136484A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/056686 WO2013136484A1 (ja) 2012-03-15 2012-03-15 画像表示装置及び画像表示方法
US14/384,140 US20150054984A1 (en) 2012-03-15 2012-03-15 Image display apparatus and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/056686 WO2013136484A1 (ja) 2012-03-15 2012-03-15 画像表示装置及び画像表示方法

Publications (1)

Publication Number Publication Date
WO2013136484A1 true WO2013136484A1 (ja) 2013-09-19

Family

ID=49160451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/056686 WO2013136484A1 (ja) 2012-03-15 2012-03-15 画像表示装置及び画像表示方法

Country Status (2)

Country Link
US (1) US20150054984A1 (ja)
WO (1) WO2013136484A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929590A (zh) * 2014-04-17 2014-07-16 三星电子(中国)研发中心 提供拍摄设置信息的方法及设备
JP2016192746A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 情報処理システム、情報処理システムの制御方法、スマートデバイスの制御方法およびスマートデバイスの制御プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127527A (ko) * 2013-04-25 2014-11-04 삼성전자주식회사 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
US10171862B2 (en) * 2017-02-16 2019-01-01 International Business Machines Corporation Interactive video search and presentation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0478873U (ja) * 1990-11-20 1992-07-09
JP2006100881A (ja) * 2004-09-28 2006-04-13 Sony Corp 記録再生装置、記録再生方法および記録再生システム
JP2006261785A (ja) * 2005-03-15 2006-09-28 Pioneer Electronic Corp 消費電力量制御装置、電子機器
WO2007094152A1 (ja) * 2006-02-15 2007-08-23 Nikon Corporation ウェアラブルディスプレイ
JP2011223573A (ja) * 2010-03-26 2011-11-04 Sharp Corp 表示装置、テレビジョン受像機、表示装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382405B2 (en) * 2001-12-03 2008-06-03 Nikon Corporation Electronic apparatus having a user identification function and user identification method
JP4315212B2 (ja) * 2007-05-02 2009-08-19 カシオ計算機株式会社 撮像装置、撮像制御プログラム及び撮像制御方法
JP4462334B2 (ja) * 2007-11-16 2010-05-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報共有システム
CN101925916B (zh) * 2007-11-21 2013-06-19 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
JP4927808B2 (ja) * 2008-11-26 2012-05-09 京セラ株式会社 カメラ付き機器
JP5208785B2 (ja) * 2009-01-28 2013-06-12 株式会社東芝 映像表示装置、映像表示装置の制御方法及び制御用プログラム
AU2010221722A1 (en) * 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US8627454B2 (en) * 2009-04-01 2014-01-07 Verizon Patent And Licensing Inc. Dynamic quota-based entertainment manager
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置
EP2442565B1 (en) * 2009-06-12 2018-08-08 Panasonic Intellectual Property Corporation of America Content playback apparatus, content playback method, program, and integrated circuit
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
US9014546B2 (en) * 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
KR20110060295A (ko) * 2009-11-30 2011-06-08 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8347325B2 (en) * 2009-12-22 2013-01-01 Vizio, Inc. System, method and apparatus for viewer detection and action
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9348492B1 (en) * 2011-04-22 2016-05-24 Angel A. Penilla Methods and systems for providing access to specific vehicle controls, functions, environment and applications to guests/passengers via personal mobile devices
US20120287031A1 (en) * 2011-05-12 2012-11-15 Apple Inc. Presence sensing
RU2543950C2 (ru) * 2011-12-28 2015-03-10 Кэнон Кабусики Кайся Устройство формирования изображения и способ управления указанным устройством
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0478873U (ja) * 1990-11-20 1992-07-09
JP2006100881A (ja) * 2004-09-28 2006-04-13 Sony Corp 記録再生装置、記録再生方法および記録再生システム
JP2006261785A (ja) * 2005-03-15 2006-09-28 Pioneer Electronic Corp 消費電力量制御装置、電子機器
WO2007094152A1 (ja) * 2006-02-15 2007-08-23 Nikon Corporation ウェアラブルディスプレイ
JP2011223573A (ja) * 2010-03-26 2011-11-04 Sharp Corp 表示装置、テレビジョン受像機、表示装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929590A (zh) * 2014-04-17 2014-07-16 三星电子(中国)研发中心 提供拍摄设置信息的方法及设备
CN103929590B (zh) * 2014-04-17 2017-09-29 三星电子(中国)研发中心 提供拍摄设置信息的方法及设备
JP2016192746A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 情報処理システム、情報処理システムの制御方法、スマートデバイスの制御方法およびスマートデバイスの制御プログラム

Also Published As

Publication number Publication date
US20150054984A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
CN104615926B (zh) 信息处理设备和信息处理方法
US20090315869A1 (en) Digital photo frame, information processing system, and control method
JP5500303B1 (ja) 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
TW201401186A (zh) 人臉判斷系統以及方法
JP5868164B2 (ja) 撮像装置、情報処理システム、制御方法、及びプログラム
US20090110243A1 (en) Camera and image recording program product
WO2013136484A1 (ja) 画像表示装置及び画像表示方法
US20110074540A1 (en) Control system and method for interface of electronic device
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
JP2006059185A (ja) データ管理システム及び方法
US20150100577A1 (en) Image processing apparatus and method, and non-transitory computer readable medium
JP2012124658A (ja) 特定人物検知システムおよび検知方法
US9076031B2 (en) Image capture apparatus, control method of image capture apparatus, and recording medium
US11048456B2 (en) Image forming apparatus and event detection system
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム
JP6734487B2 (ja) 地域別笑顔度表示システム、地域別笑顔度表示方法及びプログラム
US20190180042A1 (en) Image display device, image display control device, and image display control method
JP6632632B2 (ja) 監視システム
JP6235417B2 (ja) 撮影システム、撮影装置、情報処理方法、及びプログラム
JP6398407B2 (ja) 認証装置、認証システム及びプログラム
JP2020191590A (ja) 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム
JP2020112902A (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、及びその制御方法
JP2020150433A (ja) 処理装置、およびプログラム
JP6094626B2 (ja) 表示制御装置及びプログラム
JP7346708B2 (ja) 情報管理システム、情報管理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12871193

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14384140

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12871193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP