WO2019111421A1 - 表示装置および受信端末 - Google Patents

表示装置および受信端末 Download PDF

Info

Publication number
WO2019111421A1
WO2019111421A1 PCT/JP2018/006329 JP2018006329W WO2019111421A1 WO 2019111421 A1 WO2019111421 A1 WO 2019111421A1 JP 2018006329 W JP2018006329 W JP 2018006329W WO 2019111421 A1 WO2019111421 A1 WO 2019111421A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
display device
modulation signal
image
light emitting
Prior art date
Application number
PCT/JP2018/006329
Other languages
English (en)
French (fr)
Inventor
周太 岡村
山本 雅彦
俊裕 江崎
哲史 大山
畠山 武士
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to US16/769,490 priority Critical patent/US11700059B2/en
Publication of WO2019111421A1 publication Critical patent/WO2019111421A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0121Operation of devices; Circuit arrangements, not otherwise provided for in this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1143Bidirectional transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/04Partial updating of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/18Use of optical transmission of display information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/22Illumination; Arrangements for improving the visibility of characters on dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • H04M1/737Characterised by transmission of electromagnetic waves other than radio waves, e.g. infrared waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Definitions

  • the present disclosure relates to a display device that includes a light emitting unit, controls light emission of the light emitting unit, and transmits information, and a receiving terminal that receives information.
  • the user selects one display device with which he / she pairs from a list of a plurality of display devices displayed on the screen of the personal terminal, and predetermined information such as a four-digit number, etc. It was necessary to do the complicated work of inputting.
  • a method for transmitting predetermined information to the user of the personal terminal a method of displaying a 4-digit number on the display of the display device is used.
  • the conventional information communication method transmits a pulse train including a predetermined data train as a light modulation signal from an LED (Light Emitting Diode) illumination or an LED used as a backlight of an LCD (Liquid Crystal Display). It is disclosed that the light modulation signal is received using an imaging device mounted on a receiving terminal such as a mobile phone (see, for example, Patent Document 1).
  • the present disclosure provides, for a receiving terminal intended to receive an optical modulation signal, a display device that transmits information, and a receiving terminal that receives information transmitted from the display device.
  • a display device includes: an imaging unit that generates a captured image; an image recognition unit that recognizes whether a captured image includes a reception terminal; and a light emitting unit that emits light based on a modulation signal. And a control unit configured to control driving of the light emitting unit based on the recognition result of the image recognition unit.
  • the light modulation unit can emit the light modulation signal only when there is a receiving terminal intended to receive the light modulation signal, and information transmission in the absence of such a receiving terminal can be avoided. .
  • the present disclosure can provide a display device that transmits information to a reception terminal that is intended to receive a light modulation signal, and a reception terminal that receives information transmitted from the display device.
  • FIG. 1 is a block diagram showing the configuration of the display device 100 according to the first embodiment.
  • FIG. 2 is a diagram showing the relationship between the user and the display device in the first embodiment.
  • FIG. 3 is a diagram showing the relationship between the user and the display device in the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a captured image generated by the imaging unit 101 according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a captured image generated by the imaging unit 101 according to the first embodiment.
  • FIG. 6 is a block diagram showing the configuration of the display device 600 in the first embodiment.
  • FIG. 7 is a diagram illustrating an example of a captured image generated by the imaging unit 101 according to the first embodiment.
  • FIG. 1 is a block diagram showing the configuration of the display device 100 according to the first embodiment.
  • FIG. 2 is a diagram showing the relationship between the user and the display device in the first embodiment.
  • FIG. 3 is a diagram showing the relationship between the user and the display device in the first embodiment
  • FIG. 8 is a diagram illustrating an example of a captured image generated by the imaging unit 101 according to the first embodiment.
  • FIG. 9 is a block diagram showing a configuration of display apparatus 900 in the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a captured image generated by the imaging unit 101 according to the first embodiment.
  • FIG. 11 is a block diagram showing the configuration of the display device 1100 according to the second embodiment.
  • FIG. 12 is a diagram showing the relationship between the user and the display device in the second embodiment.
  • FIG. 13 is a block diagram showing the configuration of the display device 1300 according to the second embodiment.
  • FIG. 14 is a block diagram showing a configuration of a display device 1400 in the third embodiment.
  • FIG. 15 is a diagram showing an example of an output image in the third embodiment.
  • FIG. 15 is a diagram showing an example of an output image in the third embodiment.
  • FIG. 16 is a block diagram showing a configuration of a display device 1600 according to the third embodiment.
  • FIG. 17 is a diagram showing an example of an output image in the third embodiment.
  • FIG. 18 is a diagram showing an example of an output image in the third embodiment.
  • FIG. 19 is a block diagram showing a configuration of a display device 1900 in the fourth embodiment.
  • FIG. 20 is a diagram showing an example of an output image in the fourth embodiment.
  • FIG. 21 is a block diagram showing a configuration of a display device 2100 in the fifth embodiment.
  • FIG. 22A is a block diagram showing a configuration of a display device 2200 according to the sixth embodiment.
  • FIG. 22B is a block diagram showing a configuration of a receiving terminal in Embodiment 6.
  • Embodiment 1 The first embodiment will be described below with reference to FIGS.
  • FIG. 1 is a block diagram showing the configuration of the display device 100 according to the first embodiment.
  • the display device 100 includes an imaging unit 101, an image recognition unit 102, a transmission control unit 103, a modulation unit 104, a light emission control unit 105, and a light emitting unit 106.
  • the display device 100 is a seat back monitor installed at the back of each seat in the aircraft and operable by a passenger seated in the seat.
  • the transmission control unit 103 and the light emission control unit 105 are illustrated as separate components in FIG. 1, the transmission control unit 103 and the light emission control unit 105 may be combined to simply be a control unit.
  • the imaging unit 101 is a camera, and images a subject to generate a captured image. For example, the imaging unit 101 captures an image of a person seated at a seat in an aircraft and an object around the seat. The imaging unit 101 outputs a captured image to the image recognition unit 102. Further, in the display device 100, the imaging unit 101 is disposed on the same surface side (for example, the display surface side) as a light emitting unit 106 described later.
  • the image recognition unit 102 recognizes whether or not a person or an object appears in the captured image generated by the imaging unit 101, and also recognizes their states. For example, the image recognition unit 102 analyzes a captured image, and recognizes the presence or absence and the position of an object such as a mobile phone, a smartphone, or a tablet equipped with an imaging device. Then, the image recognition unit 102 outputs the recognition result to the transmission control unit 103.
  • the transmission control unit 103 controls the operation of the modulation unit 104 based on the recognition result of the image recognition unit 102.
  • the modulator 104 modulates transmission data composed of a predetermined bit string into a pulse string.
  • the light emission control unit 105 controls the light emission of the light emitting unit 106 based on the pulse train forming the modulation signal generated by the modulation unit 104.
  • the light emitting unit 106 is, for example, an LED, a liquid crystal monitor, an organic EL monitor, or the like.
  • the light emitting unit 106 outputs a light modulation signal based on the control of the light emission control unit 105.
  • FIG. 2 is a diagram showing the relationship between the display device 100 and the user 200 who uses the display device 100.
  • the light modulation signal transmitted by the display device 100 can be received by a terminal provided with an imaging device (imaging unit) such as a mobile phone, for example.
  • imaging device imaging unit
  • Such a terminal is hereinafter referred to as a receiving terminal.
  • FIG. 3 is a diagram showing a state in which the user 200 holds the receiving terminal 300 to receive the light modulation signal transmitted by the display device 100.
  • the receiving terminal 300 includes an imaging unit 301.
  • the imaging unit 301 is held by the user 200 in a state in which the imaging unit 301 faces the light emitting unit 106 of the display device 100.
  • the display apparatus 100 transmits the light modulation signal only when there is a receiving terminal intended to receive the light modulation signal.
  • the operation of the display device 100 will be described in detail.
  • the display apparatus 100 confirms whether the receiving terminal 300 exists in front of the display apparatus 100 before starting transmission of the light modulation signal.
  • the imaging unit 101 of the display device 100 captures an image of a subject and generates a captured image.
  • the imaging unit 101 sends a captured image to the image recognition unit 102.
  • the image recognition unit 102 performs processing for recognizing the object appearing in the captured image and the position of the object in the image.
  • FIG. 4 is an example of a captured image generated by the imaging unit 101.
  • the user 200 holds the receiving terminal 300.
  • the receiving terminal 300 is located at the center of the captured image 400, and the receiving terminal 300 faces the display device 100.
  • the image recognition unit 102 recognizes that the reception terminal 300 is located at the center of the captured image 400 by executing the image recognition process of the captured image 400. That is, the image recognition unit 102 determines that the receiving terminal 300 intended to receive the light modulation signal is present in front of the display device 100.
  • the image recognition unit 102 determines that the receiving terminal does not exist.
  • FIG. 5 is a figure which shows the state which the receiving terminal 300 is located not at the center part of the captured image 500 but at the edge part (right end or left end).
  • the image recognition unit 102 determines that the receiving terminal 300 does not intend to receive the light modulation signal from the display device 100.
  • the image recognition unit 102 determines that there is no receiving terminal intended to receive the light modulation signal in the captured image 500.
  • the user 200 appearing in the captured image 500 is a user of the display device of the adjacent seat and is attempting to receive the light modulation signal from the display device of the adjacent seat.
  • the image recognition unit 102 transmits, to the transmission control unit 103, determination results regarding the presence (presence or absence) of the receiving terminal and the position of the receiving terminal in the captured image.
  • the transmission control unit 103 sends, to the modulation unit 104, a request signal for starting generation of a modulation signal including predetermined data.
  • the modulation unit 104 generates a modulation signal obtained by modulating predetermined data into a pulse train in response to a request signal from the transmission control unit 103.
  • the predetermined data means an information sequence unique to each display device, a control signal for notifying the reception terminal 300 of transmission start or end of light modulation signal, amount of data to be transmitted, etc., error detection or It includes redundant signals for correction, control signals for synchronizing pulse trains, seat numbers, flight numbers, flight related information such as airlines, and the like.
  • the modulation unit 104 sends the generated modulation signal to the light emission control unit 105.
  • the light emission control unit 105 controls the drive of the light emitting unit 106 based on the modulation signal input from the modulation unit 104.
  • the light emission control unit 105 controls the light emission unit 106 to emit light when the pulse forming the modulation signal is High, and turns off the light emission unit 106 when the pulse forming the modulation signal is Low. By doing this, the light emitted from the light emitting unit 106 has light intensity proportional to the pulse train forming the modulation signal. As a result, the light modulation signal is transmitted from the light emitting unit 106.
  • the imaging unit 301 of the receiving terminal 300 receives the light modulation signal transmitted from the light emitting unit 106 of the display device 100, and performs a predetermined process determined by the application.
  • the transmission control unit 103 first generates the modulation signal. Request signal to the modulation unit 104 to stop. Next, in response to the request signal from the transmission control unit 103, the modulation unit 104 stops generation of a modulation signal including predetermined data and output of the modulation signal to the light emission control unit 105. As a result, transmission of the light modulation signal from the light emitting unit 106 is also stopped.
  • the modulation unit 104 generates a pulse train of a format not including predetermined data, for example, a pulse width modulation signal pulse of a predetermined duty ratio even when generation of the modulation signal is stopped, and the light emission control unit 105 It may be sent. By doing so, the light emitting unit 106 can emit light even when the light modulation signal is not transmitted. Note that another drive circuit can be used for light emission of the light emitting unit 106 when the light modulation signal is not transmitted.
  • the transmission control unit 103 requests the modulation unit 104 for the above-mentioned request. Do not send a signal. Thereby, the light emitting unit 106 maintains the state in which the light modulation signal is not transmitted. Further, as an example of implementation of control, the transmission control unit 103 may be implemented to send a request signal for stopping generation of a modulation signal to the modulation unit 104. Also in this case, the light emitting unit 106 can maintain the state in which the light modulation signal is not transmitted.
  • the display device 100 can control the transmission of the light modulation signal according to the presence of the receiving terminal intended to receive the light modulation signal from the display device 100.
  • the display device 100 can prevent the transmission of an unintended light modulation signal, and can avoid communication with a receiving terminal other than the user of the display device 100.
  • a display device 600 provided with an image recognition unit 601 further having a state recognition function may be used.
  • the image recognition unit 601 recognizes the state in addition to the presence and the position of a person or an object in the captured image generated by the imaging unit 101. For example, when the image recognition unit 601 obtains the captured image 700 shown in FIG. 7, the image recognition unit 601 recognizes that the user 200 and the receiving terminal 300 are positioned in front of the display device 600. Furthermore, the image recognition unit 601 recognizes the state of the reception terminal 300 based on the direction of the line of sight of the user 200 and the orientation of the body, and the angle of the reception terminal 300.
  • the image recognition unit 601 recognizes from the line of sight of the user 200 and the angle of the receiving terminal 300 that the user 200 performs an action different from the reception of the light modulation signal. That is, the image recognition unit 601 determines that the receiving terminal 300 does not intend to receive the light modulation signal. Then, the image recognition unit 601 sends, to the transmission control unit 103, a result indicating that the receiving terminal is “not present”.
  • the image recognition unit 601 when the image recognition unit 601 receives the captured image 800 shown in FIG. 8, the image recognition unit 601 detects the line of sight of the user 200, and the user 200 modulates the light from the display device 600. It is determined that an action different from the reception of the signal is performed, and a result indicating that the receiving terminal “does not exist” is sent to the transmission control unit 103.
  • the display device 600 not only determines whether the user and the receiving terminal exist in front of the display device 600, but also the status of the user and the receiving terminal (for example, the direction of the line of sight or face of the person or reception)
  • the transmission of the light modulation signal can be controlled in consideration of whether the terminal is in the reception state of the modulation signal.
  • the display device 600 can prevent transmission of an unintended light modulation signal.
  • a display device 900 provided with an image recognition unit 901 further having an emotion recognition function may be used.
  • the image recognition unit 901 recognizes, in addition to the presence or absence and the position of a person or an object in the captured image generated by the imaging unit 101, the emotion of the person when the person appears. For example, when the image recognition unit 901 obtains the captured image 1000 shown in FIG. 10, the image recognition unit 901 recognizes that the user 200 and the receiving terminal 300 are located in front of the display device 600. Furthermore, the image recognition unit 901 recognizes the emotion of the user 200 from the information such as the user's 200 expression, minute change in facial color, the eye opening ratio and the number of blinks.
  • the captured image 1000 illustrated in FIG. 10 is an example of a state in which the user 200 feels dissatisfaction.
  • the display device 900 may not transmit the light modulation signal regardless of the presence of the receiving terminal intended to receive the light modulation signal.
  • the image recognition unit 901 determines that the user 200 is dissatisfied with the reception of the light modulation signal based on the expression of the user 200 and the minute change of the complexion, and the reception terminal The result indicating “Yes” is sent to the transmission control unit 103. By doing this, the display apparatus 900 can recover from the erroneous state in which there is an erroneous state in which the light modulation signal is not transmitted although the receiving terminal exists. .
  • the user 200 in such an erroneous state, for example, after the user 200 temporarily turns in a direction other than the display device 900 and the display device 900 determines that the receiving terminal does not exist, the user 200 immediately displays the display device. If it turns to 900, it may happen.
  • the display device 900 can control transmission of the light modulation signal in consideration of the user's emotion as well as whether the user and the receiving terminal exist in front of the display device 900. As a result, the display device 900 can not only prevent transmission of an unintended light modulation signal, but also can recover from that state if there is an erroneous state.
  • FIG. 11 is a block diagram showing the configuration of the display apparatus 1100 according to the second embodiment.
  • the display device 1100 includes a transmission control unit 1101, a viewing angle control filter 1102, a modulation unit 104, a light emission control unit 105, and a light emitting unit 106.
  • the display unit (display) in the display device 1100 is assumed to include the light emitting unit 106.
  • the transmission control unit 1101 controls the start and stop of transmission of the light modulation signal.
  • the transmission control unit 1101 further controls the operation of the viewing angle control filter 1102 in accordance with the presence or absence of transmission of the light modulation signal.
  • the view angle control filter 1102 is a filter for changing the view angle of the display unit mounted on the display device 1100.
  • the view angle control filter 1102 restricts the view angle, the image displayed on the display unit by the display device 1100 is visible to the user present in front of the display device 1100 but is not present in front, for example, adjacent seat It will not be visible to the user sitting in the room.
  • the viewing angle control filter 1102 changes the viewing angle according to the request from the transmission control unit 1101.
  • the transmission control unit 1101 does not limit the viewing angle of the display unit through the viewing angle control filter 1102 when the display device 1100 does not transmit the light modulation signal.
  • the transmission control unit 1101 executes the view angle limitation of the display unit via the view angle control filter 1102 as follows.
  • the transmission control unit 1101 requests the modulation unit 104 to generate a modulation signal including predetermined data.
  • the modulation unit 104 modulates an information sequence including predetermined data into a pulse sequence, and sends the pulse sequence to the light emission control unit 105.
  • the light emission control unit 105 controls the driving of the light emitting unit 106 based on the modulation signal input from the modulation unit 104.
  • the light emission control unit 105 controls the light emission unit 106 to emit light when the pulse forming the modulation signal is High, and turns off the light emission unit 106 when the pulse forming the modulation signal is Low. By doing this, the light emitted from the light emitting unit 106 has light intensity proportional to the pulse train forming the modulation signal. As a result, the light modulation signal is transmitted from the light emitting unit 106.
  • the transmission control unit 1101 also sends a request signal for limiting the viewing angle to the viewing angle control filter 1102.
  • the view angle control filter 1102 reduces the view angle of the display unit according to the request signal from the transmission control unit 1101.
  • the light emitted by the light emitting unit 106 is emitted to the outside of the display device 1100 through the viewing angle control filter 1102. Therefore, the range in which the light modulation signal emitted from the display device 1100 reaches is limited to the viewing angle limited by the viewing angle control filter 1102.
  • FIG. 12 shows an example of the relationship between the user and the display device.
  • the user 200 intends to receive the light modulation signal from the display device 1100.
  • the user 200 holds the receiving terminal 300 and exists in front of the display device 1100.
  • the users 1201 and 1202 do not intend to receive the light modulation signal from the display device 1100.
  • Users 1201 and 1202 exist on the left side and the right side of the user 200, respectively.
  • the display device 1100 controls the viewing angle 1200 of the display unit by the viewing angle control filter 1102, and limits the range in which the light modulation signal reaches only to the vicinity of the user 200.
  • the display device 1100 includes the transmission control unit 1101 and the view angle control filter 1102 so that the range in which the light modulation signal reaches can be limited.
  • the display apparatus 1100 can prevent transmission of the light modulation signal to a receiving terminal not intended to receive the light modulation signal.
  • a display device 1300 further including an imaging unit 101, an image recognition unit 102, and a transmission control unit 1301 may be used.
  • the imaging unit 101 and the image recognition unit 102 have the same configuration and function as those described in the first embodiment.
  • the image recognition unit 102 determines whether there is a receiving terminal intended to receive the light modulation signal in the captured image, and sends the determination result to the transmission control unit 1301.
  • the transmission control unit 1301 controls transmission start and stop of the light modulation signal based on the determination result sent from the image recognition unit 102.
  • the subsequent operation is the same as the operation of the display device 1100, and thus the description thereof is omitted.
  • transmission of the light modulation signal can be started when there is a receiving terminal intended to receive the light modulation signal from the display device 1300, and the reception thereof
  • the light modulation signal can be transmitted only near the place where the terminal is present.
  • the display device 1300 can prevent transmission of the light modulation signal to a receiving terminal not intended to receive the light modulation signal.
  • FIG. 14 is a block diagram showing the configuration of the display apparatus 1400 according to the third embodiment.
  • the display device 1400 includes a transmission control unit 1401, an image output unit 1402, a modulation unit 104, a light emission control unit 105, and a light emitting unit 106.
  • a display unit (display) in the display device 1400 includes the light emitting unit 106 and displays an image selected by the image output unit 1402.
  • the transmission control unit 1401 controls the start and stop of transmission of the light modulation signal. Further, the transmission control unit 1401 controls the operation of the image output unit 1402 in accordance with the presence or absence of transmission of the light modulation signal.
  • the image output unit 1402 selects and outputs an image to be displayed on a display mounted on the display device 1400.
  • the image output unit 1402 changes the image to be output in response to a request from the transmission control unit 1401.
  • the transmission control unit 1401 requests the modulation unit 104 to generate a modulation signal including predetermined data.
  • the modulation unit 104 modulates an information sequence including predetermined data into a pulse sequence in accordance with a request from the transmission control unit 1401, and sends the pulse sequence to the light emission control unit 105.
  • the light emission control unit 105 controls the drive of the light emitting unit 106 based on the modulation signal input from the modulation unit 104.
  • the light emission control unit 105 controls the light emission unit 106 to emit light when the pulse forming the modulation signal is High, and turns off the light emission unit 106 when the pulse forming the modulation signal is Low. By doing this, the light emitted from the light emitting unit 106 has light intensity proportional to the pulse train forming the modulation signal. As a result, the light modulation signal is transmitted from the light emitting unit 106.
  • the transmission control unit 1401 sends a request signal for selecting an output image to the image output unit 1402 when starting transmission of the light modulation signal.
  • the image output unit 1402 selects and outputs an output image (specific image) to be displayed on the display unit while the light modulation signal is being transmitted.
  • An output image 1500 shown in FIG. 15 can be used as an example.
  • the output image 1500 is an image having a region 1501 with high brightness and a region 1502 with low brightness, where the brightness of the central region is higher than a predetermined value and the brightness of the peripheral region is lower than the predetermined value.
  • the intensity of light output from the region 1501 with high brightness is high
  • the intensity of light output from the region 1502 with low brightness is low.
  • the reach range or distance of the light modulation signal transmitted from the display device 1400 is proportional to the intensity of the light output from the light emitting unit 106. Therefore, the display apparatus 1400 can transmit the light modulation signal only to the receiving terminal capable of imaging the central region of the output image 1500. On the other hand, it is possible to limit the arrival of the light modulation signal at a position where the peripheral area is imaged more than the central area of the output image 1500, such as the seat next to the seat where the display device 1400 is installed.
  • the output image 1500 not only uniform colors of white and black, but an image composed mainly of high-brightness colors such as white, yellow and red is displayed in the central area, and the peripheral area is displayed. It is possible to display an image composed mainly of low lightness colors such as black, brown and dark gray.
  • the display device 1400 can limit the range in which the light modulation signal reaches by including the transmission control unit 1401 and the image output unit 1402.
  • the display apparatus 1400 can prevent transmission of the light modulation signal to a receiving terminal not intended to receive the light modulation signal.
  • a display device 1600 further including a transmission control unit 1601, a timer (measurement unit) 1602, and a Bluetooth (registered trademark) communication unit 1603 may be used.
  • the receiving terminal starts Bluetooth communication with the display device 1600 when the light modulation signal from the display device 1600 is correctly received.
  • the transmission control unit 1601 has a function of requesting the image output unit 1402 to change the image based on the information from the timer 1602 in addition to the function of the transmission control unit 1401 of the display device 1400.
  • the timer 1602 measures an elapsed time from the time when the transmission control unit 1601 requests the start of transmission of the light modulation signal (when the driving of the light emitting unit 106 based on the light modulation signal is started).
  • the Bluetooth communication unit 1603 is a communication module that performs Bluetooth communication.
  • the Bluetooth communication unit 1603 and the receiving terminal are not paired.
  • the timer 1602 measures an elapsed time from when the display device 1600 starts transmission of the light modulation signal (when driving of the light emitting unit 106 based on the light modulation signal is started).
  • the Bluetooth communication unit 1603 performs pairing. Is sent to the timer 1602 indicating that it has completed.
  • the timer 1602 notifies the transmission control unit 1601 that pairing has been completed (that is, communication has been established).
  • the transmission control unit 1601 requests the modulation unit 104 to stop the generation of the modulation signal, and requests the image output unit 1402 to stop the output of the output image 1500.
  • the display device 1600 can know that the reception terminal has correctly received the light modulation signal, and can stop transmission of the light modulation signal. As a result, the display device 1600 can prevent the transmission of the light modulation signal to an unintended receiving terminal.
  • the timer 1602 determines that transmission and reception of the light modulation signal are not properly performed.
  • the timer 1602 additionally sends a request signal to the transmission control unit 1601 to change the transmission method of the light modulation signal.
  • the transmission control unit 1601 requests the image output unit 1402 to change the output image when receiving a request signal from the timer 1602 to change the transmission method of the light modulation signal.
  • the output image 1700 shown in FIG. 17 can be used as an example of the output image to be changed.
  • the output image 1700 has an area 1701 with high lightness and an area 1702 with low lightness, and the area with high lightness 1701 at the center is wider than the area 1501 with high lightness of the output image 1500.
  • the display device 1600 can transmit a light modulation signal with higher intensity to the receiving terminal, so that the probability that the receiving terminal correctly receives the light modulation signal can be improved.
  • an output image 1800 shown in FIG. 18 may be used as an image output by the image output unit 1402.
  • the output image 1800 is an image having a region 1801 with high lightness and a region 1802 with low lightness, and the region 1801 with high lightness is positioned not to the center of the output image but to the right.
  • the display device 1600 captures an image of the receiving terminal 300 by using the output image 1800, even when the imaging unit 301 of the receiving terminal 300 captures an image other than the central area of the display of the display device 1600, for example, the right side.
  • the light modulation signal can be transmitted to the unit 301.
  • the state in which the imaging unit 301 of the receiving terminal 300 is imaging an area other than the central region of the display of the display device 1600 occurs, for example, when the direction of the imaging unit 301 of the receiving terminal 300 shakes due to camera shake of the user 200. sell.
  • output image 1700 and the output image 1800 have been described as an example of an image output by the image output unit 1402, the present invention is not limited to this.
  • high brightness areas exist on the left side or upper part and lower part of the output image.
  • An image may be used.
  • Embodiment 4 The fourth embodiment will be described below with reference to FIGS. The same reference numerals are used for components already described, and the description is omitted.
  • FIG. 19 is a block diagram showing a configuration of a display device 1900 according to the fourth embodiment.
  • the display device 1900 includes a transmission control unit 1901, a partial drive light emission control unit 1902, a modulation unit 104, and a light emitting unit 106.
  • the transmission control unit 1901 controls the start and stop of transmission of the light modulation signal.
  • the transmission control unit 1901 also controls the operation of the partial drive light emission control unit 1902 in accordance with the presence or absence of transmission of the light modulation signal.
  • the partial drive type light emission control unit 1902 is a light emission control unit capable of partially driving the backlight of the display panel mounted on the display device 1900. That is, the partial drive light emission control unit 1902 can control different light emission for each part of the display panel. As a result, the control from the part of the display panel to output the light including the light modulation signal and the other part from the display panel to the light not including the light modulation signal is enabled by the external request. .
  • the partial drive light emission control unit 1902 emits light not including the light modulation signal from the front surface of the display panel.
  • the transmission control unit 1901 controls the light emitting unit 106 as follows through the partially driven light emission control unit 1902.
  • the transmission control unit 1901 requests the modulation unit 104 to generate a modulation signal including predetermined data.
  • the modulation unit 104 modulates an information sequence including predetermined data into a pulse sequence according to a request from the transmission control unit 1901, and sends the modulated signal sequence to the partially driven emission control unit 1902.
  • the transmission control unit 1901 transmits, to the partial drive light emission control unit 1902, a signal specifying a portion of the display panel to which the light modulation signal is to be output.
  • the partial drive light emission control unit 1902 controls only the portion of the light emission unit 106 designated by the transmission control unit 1901 based on the modulation signal input from the modulation unit 104.
  • the portion designated by the transmission control unit 1901 has the light intensity proportional to the pulse train constituting the modulation signal, and the other portion is the modulation signal. It has a light intensity that does not contain a component. As a result, the light modulation signal is transmitted from only a part of the light emitting unit 106.
  • FIG. 20 shows an example of the result of light emission control by the partial drive type light emission control unit 1902.
  • the output image 2000 includes a central area 2001 and a peripheral area 2002.
  • a central region 2001 is a region where light including a light modulation signal is emitted.
  • the peripheral area 2002 is an area from which light containing no light modulation signal is emitted. Thereby, the light modulation signal can be transmitted only to the receiving terminal of the user who can pick up the central portion of the output image 2000.
  • the display device 1900 includes the transmission control unit 1901 and the partial drive light emission control unit 1902 so that the range in which the light modulation signal reaches can be limited.
  • the display device 1900 can prevent the transmission of the light modulation signal to the receiving terminal not intended to receive the light modulation signal.
  • FIG. 21 is a block diagram showing the configuration of the display device 2100 according to the fifth embodiment.
  • the display device 2100 is a display using an organic EL.
  • the display device 2100 includes a transmission control unit 2101, a modulation unit 104, a panel control circuit 2102, and an organic EL panel 2103.
  • the organic EL panel 2103 includes the organic EL elements 2104 as many as the number of pixels. Each of the organic EL elements 2104 emits light to create a display image.
  • the light emission control method of the organic EL element 2104 depends on the configuration of the panel control circuit 2102, but there is also a case where each organic EL element 2104 is controlled independently, and a plurality of organic EL elements 2104 are grouped. There are also cases where control is performed in group units. In any case, the panel control circuit 2102 can control light emission for each portion of the organic EL panel 2103.
  • the transmission control unit 2101 controls the start and stop of transmission of the light modulation signal.
  • the transmission control unit 2101 controls the operation of the panel control circuit 2102 in accordance with the presence or absence of transmission of the light modulation signal.
  • the combination of the organic EL elements 2104 for outputting the light modulation signal on the organic EL panel 2103 is designated.
  • the panel control circuit 2102 controls the organic EL panel 2103 to emit light not including the light modulation signal from all the organic EL elements 2104. .
  • the transmission control unit 2101 controls the organic EL element 2104 via the panel control circuit 2102 as follows.
  • the transmission control unit 2101 requests the modulation unit 104 to generate a modulation signal including predetermined data.
  • the modulation unit 104 modulates an information sequence including predetermined data into a pulse sequence according to a request from the transmission control unit 2101, and sends the pulse sequence to the panel control circuit 2102.
  • the transmission control unit 2101 transmits, to the panel control circuit 2102, a signal specifying the combination of the organic EL elements 2104 that output the light modulation signal. That is, the transmission control unit 2101 designates a partial area of the organic EL panel 2103.
  • the panel control circuit 2102 controls light emission based on the modulation signal input from the modulation unit 104 only for the organic EL element 2104 in the area designated by the transmission control unit 2101.
  • the region designated by the transmission control unit 2101 has a light intensity proportional to the pulse train constituting the modulation signal, and the other regions are modulated. It has a light intensity that does not contain a signal component.
  • the light modulation signal is transmitted only from a partial region of the organic EL panel 2103.
  • a light modulation signal is transmitted only from the central part of the organic EL panel 2103 as in the modulation area 2105 of FIG.
  • the light modulation signal can be transmitted only to the receiving terminal of the user who can image the modulation area 2105 of the organic EL panel 2103.
  • the display device 2100 includes the transmission control unit 2101, the panel control circuit 2102, and the organic EL panel 2103, whereby the range in which the light modulation signal reaches can be limited.
  • the display device 2100 can prevent transmission of the light modulation signal to a receiving terminal not intended to receive the light modulation signal.
  • the display device 2200 includes a transmission control unit 103, a modulation unit 104, a light emission control unit 105, a light emission unit 106, and a Bluetooth communication unit 1603.
  • the receiving terminal 2210 includes an imaging unit 2211, a receiving unit 2212, a control unit 2213, a display unit 2214, a user interface 2215, and a Bluetooth communication unit 2216.
  • the imaging unit 2211 is a camera, and images a subject to generate a captured image.
  • the receiver 2212 extracts the light modulation signal included in the captured image and demodulates the light modulation signal. Thereby, transmission data including predetermined data described later is received.
  • the control unit 2213 transmits a part of transmission data to the display unit 2214 and transmits another part to the Bluetooth communication unit 2216.
  • the display unit 2214 is a device that displays information such as a display to the outside.
  • the user interface 2215 is a device that receives an operation input from a user.
  • the Bluetooth communication unit 2216 is a module that performs Bluetooth communication.
  • the transmission control unit 103 of the display device 2200 sends, to the modulation unit 104, a request signal for starting generation of a modulation signal including predetermined data.
  • the modulation unit 104 generates a modulation signal obtained by modulating predetermined data into a pulse train in response to a request signal from the transmission control unit 103.
  • the predetermined data means an information sequence unique to each display device, a control signal for notifying the reception terminal 300 of transmission start or end of light modulation signal, amount of data to be transmitted, etc., error detection or It includes redundant signals for correction, control signals for synchronizing pulse trains, seat numbers, flight numbers, flight information such as airlines, and the like.
  • the predetermined data further includes information (communication information) necessary to perform pairing with the Bluetooth communication unit 1603 of the display device 2200.
  • the modulation unit 104 sends the generated modulation signal to the light emission control unit 105.
  • the light emission control unit 105 controls the drive of the light emitting unit 106 based on the modulation signal input from the modulation unit 104.
  • the light emission control unit 105 controls the light emission unit 106 to emit light when the pulse forming the modulation signal is High, and turns off the light emission unit 106 when the pulse forming the modulation signal is Low. By doing this, the light emitted from the light emitting unit 106 has light intensity proportional to the pulse train forming the modulation signal. As a result, the light modulation signal is transmitted from the light emitting unit 106.
  • the imaging unit 2211 of the receiving terminal 2210 generates a captured image including the light emitting unit 106 of the display device 2200 and sends the image to the receiving unit 2212.
  • the receiving unit 2212 extracts the light modulation signal included in the captured image, and demodulates the light modulation signal.
  • the receiver 2212 sends the transmission data obtained by this demodulation process to the controller 2213.
  • the control unit 2213 displays only information (control information) related to the user among the transmission data on the display unit 2214. As the information related to the user, for example, the seat number of the seat where the display device 2200 is installed can be used.
  • the user confirms the seat number displayed on the display unit 2214 of the receiving terminal 2210, and if it matches the seat number of the user, operates the user interface 2215 and inputs that the seat number has been confirmed. In response to this, the user interface 2215 sends a notification indicating confirmation of the seat number by the user to the control unit 2213.
  • the control unit 2213 receives the notification indicating that the user has confirmed the seat number, the control unit 2213 causes the Bluetooth communication unit 2216 to perform pairing with the Bluetooth communication unit 1603 of the display device 2200 included in the transmission data. Send necessary information (communication information).
  • control unit 2213 determines the correctness of the information (control information) related to the user, and only when it is determined that the information (communication information) required for pairing with the Bluetooth communication unit 1603 is the Bluetooth communication unit. Notify 2216 Then, the Bluetooth communication unit 2216 starts the procedure of pairing using the Bluetooth communication unit 1603 of the display device 2200 and the communication information.
  • the receiving terminal 2210 presents the seat number where the display device 2200 is installed to the user, and when it is confirmed that the seat number by the user is correct, the display terminal 2200 You can start pairing. That is, the control unit 2213 can thereby prevent unintended pairing between the display device 2200 and the receiving terminal 2210. Therefore, it is possible to avoid pairing with the reception terminal of the user who uses a seat other than the seat in which the display device 2200 is mounted.
  • Embodiments 1 to 6 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like have been made. Further, each component described in the first to sixth embodiments may be combined to form a new embodiment.
  • the present disclosure is applicable to a display device having a function of transmitting a light modulation signal to a reception terminal of a user. Specifically, the present disclosure is applicable to a seat monitor, a retractable monitor, a wall mount monitor, and the like installed in an aircraft cabin.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Nonlinear Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Optical Communication System (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

撮像画像を生成する撮像部(101)と、撮像画像に受信端末が含まれるか否かを認識する画像認識部(102)と、変調信号に基づいて発光する発光部(106)と、画像認識部(102)の認識結果に基づいて、発光部(106)の駆動を制御する送信制御部(103)および発光制御部(105)を備える。

Description

表示装置および受信端末
 本開示は、発光部を搭載し、発光部の発光を制御して情報を送信する表示装置、および情報を受信する受信端末に関する。
 近年、スマートフォンやタブレットなどの携帯型の個人端末が急速に普及し、個人端末の使用者はいつでもどこでもウェブサイト閲覧や音楽視聴などを楽しめるようになっている。また、現在、スマートフォンやタブレットなどの個人端末は、外部機器と接続する機能を標準的に備えている。これにより、例えば、使用者は、自動車や航空機などの移動体に個人端末を持ち込み、自動車や航空機などの移動体に搭載されている表示装置と個人端末とをBluetooth(登録商標、以下同様)などの接続手段で接続して、連携動作を実行することができる。
 また、表示装置と個人端末とをBluetoothでペアリングするためには、表示装置と個人端末間で認証情報の交換が必要である。一般的な方法として、使用者は、個人端末の画面上に表示された複数の表示装置のリストから、自身がペアリングする表示装置を一つ選択し、所定の情報、例えば4桁の数字など、を入力する、という煩雑な作業を行う必要があった。所定の情報を個人端末の使用者に伝える手段として、表示装置のディスプレイ上に4桁の数字を表示する、という方法が用いられる。
 従来の情報通信方法は、所定のデータ列を含んだパルス列を、LED(Light Emitting Diode)照明や、LCD(Liquid Crystal Display)のバックライトとして使用されているLEDから、光変調信号として送信したり、その光変調信号を携帯電話などの受信端末に搭載された撮像装置を用いて受信することが開示されている(例えば、特許文献1参照)。
米国特許第9166810号明細書
 特許文献1記載の情報通信方法を用いて、表示装置と個人端末とのペアリングに必要な情報を交換することを想定した場合、以下の課題がある。
 例えば、移動体のうち、特に航空機内にはLCDを搭載した数百台の表示装置が設置されていることが多い。そのため、乗客が受信端末の撮像装置を自席の表示装置に向けた場合、隣席の表示装置が発した光変調信号を受信してしまうおそれがある。また、第三者が故意に隣席の表示装置の光変調信号を受信しようとするおそれもある。そのため、表示装置は、意図した受信端末にのみ光変調信号を送信することが求められる。
 本開示は、光変調信号の受信を意図している受信端末を対象に、情報の送信を行う表示装置、および表示装置から送信された情報を受信する受信端末を提供する。
 本開示の一態様における表示装置は、撮像画像を生成する撮像部と、撮像画像に受信端末が含まれているか否かを認識する画像認識部と、変調信号に基づいて発光する発光部と、画像認識部の認識結果に基づいて、発光部の駆動を制御する制御部と、を備える。
 これにより、光変調信号の受信を意図している受信端末が存在するときのみ、発光部から光変調信号を発することができ、そのような受信端末が存在しない場合の情報伝送を避けることができる。
 本開示は、光変調信号の受信を意図している受信端末を対象に、情報を送信する表示装置、および表示装置から送信された情報を受信する受信端末を提供することができる。
図1は、実施の形態1における表示装置100の構成を示すブロック図である。 図2は、実施の形態1における利用者と表示装置の関係を示す図である。 図3は、実施の形態1における利用者と表示装置の関係を示す図である。 図4は、実施の形態1における撮像部101が生成した撮像画像の一例を示す図である。 図5は、実施の形態1における撮像部101が生成した撮像画像の一例を示す図である。 図6は、実施の形態1における表示装置600の構成を示すブロック図である。 図7は、実施の形態1における撮像部101が生成した撮像画像の一例を示す図である。 図8は、実施の形態1における撮像部101が生成した撮像画像の一例を示す図である。 図9は、実施の形態1における表示装置900の構成を示すブロック図である。 図10は、実施の形態1における撮像部101が生成した撮像画像の一例を示す図である。 図11は、実施の形態2における表示装置1100の構成を示すブロック図である。 図12は、実施の形態2における利用者と表示装置の関係を示す図である。 図13は、実施の形態2における表示装置1300の構成を示すブロック図である。 図14は、実施の形態3における表示装置1400の構成を示すブロック図である。 図15は、実施の形態3における出力画像の一例を示す図である。 図16は、実施の形態3における表示装置1600の構成を示すブロック図である。 図17は、実施の形態3における出力画像の一例を示す図である。 図18は、実施の形態3における出力画像の一例を示す図である。 図19は、実施の形態4における表示装置1900の構成を示すブロック図である。 図20は、実施の形態4における出力画像の一例を示す図である。 図21は、実施の形態5における表示装置2100の構成を示すブロック図である。 図22Aは、実施の形態6における表示装置2200の構成を示すブロック図である。 図22Bは、実施の形態6における受信端末の構成を示すブロック図である。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
 (実施の形態1)
 以下、図1~10を用いて、実施の形態1を説明する。
 [1-1.構成]
 図1は、実施の形態1にかかる表示装置100の構成を示すブロック図である。
 表示装置100は、撮像部101、画像認識部102、送信制御部103、変調部104、発光制御部105、および発光部106を備える。例えば、表示装置100は、航空機内の各座席の背面に設置され、座席に着席した乗客が操作可能なシートバックモニタである。また、図1では、送信制御部103と発光制御部105とを別々の構成要素として図示しているが、送信制御部103と発光制御部105とを合わせて単に制御部としてもよい。
 撮像部101は、カメラであり、被写体を撮像して撮像画像を生成する。例えば、撮像部101は、航空機内の座席に着席している人物や、座席周辺の物体を撮像する。撮像部101は、撮像画像を画像認識部102に出力する。また、撮像部101は、表示装置100において、後述する発光部106と同一面側(例えば、表示面側)に配置されているものとする。
 画像認識部102は、撮像部101が生成した撮像画像に人物や物体が映っているかどうか、また、それらの状態を認識する。例えば、画像認識部102は、撮像画像を解析し、撮像装置を備えた携帯電話、スマートフォン、タブレットなどの物体の有無および位置などを認識する。そして、画像認識部102は、認識結果を送信制御部103へ出力する。
 送信制御部103は、画像認識部102の認識結果に基づいて、変調部104の動作を制御する。
 変調部104は、所定のビット列から構成される送信データをパルス列に変調する。
 発光制御部105は、変調部104が生成した変調信号を構成するパルス列に基づいて、発光部106の発光を制御する。
 発光部106は、例えば、LEDや液晶モニタ、有機ELモニタなどである。発光部106は、発光制御部105の制御に基づいて、光変調信号を出力する。
 [1-2.動作]
 以上のように構成された表示装置100について、その動作を以下説明する。
 図2は、表示装置100と、表示装置100を使用する利用者200との関係を示した図である。表示装置100が送信する光変調信号は、例えば携帯電話などの撮像装置(撮像部)を備えた端末で受信できる。このような端末を以下、受信端末と記述する。
 図3は、利用者200が、表示装置100が送信する光変調信号を受信するために受信端末300を構えた状態を示す図である。受信端末300は、撮像部301を備えている。撮像部301は、表示装置100の発光部106に正対した状態で、利用者200に保持されている。
 表示装置100は、光変調信号の受信を意図している受信端末が存在する場合のみ、光変調信号の送信を行う。以下、表示装置100の動作について詳細に説明する。
 表示装置100は、光変調信号の送信を開始する前に、受信端末300が表示装置100の前に存在するかどうかの確認を行う。
 具体的には、まず、表示装置100の撮像部101は、被写体の撮像を行い、撮像画像を生成する。撮像部101は、撮像画像を画像認識部102に送る。
 次に、画像認識部102は、撮像画像に写っている物体、およびその物体の画像中の位置を認識するための処理を行う。図4は、撮像部101が生成した撮像画像の一例である。
 例えば、図4に示す撮像画像400では、利用者200が受信端末300を保持している。受信端末300は、撮像画像400の中心部に位置しており、かつ、受信端末300が表示装置100に正対している。画像認識部102は、撮像画像400の画像認識処理を実行することで、受信端末300が撮像画像400の中心部に位置することを認識する。つまり、画像認識部102は、光変調信号の受信を意図している受信端末300が表示装置100の前に存在すると判断する。
 一方、撮像画像から受信端末を認識できなかった場合、画像認識部102は、受信端末が存在しないと判断する。
 また、図5は、受信端末300が撮像画像500の中心部ではなく、端部(右端または左端)に位置する状態を示す図である。図5に示す位置関係の場合、画像認識部102は、受信端末300が表示装置100からの光変調信号を受信する意図がないと判断する。その結果、画像認識部102は、撮像画像500には光変調信号を受信する意図がある受信端末が存在しないと判断する。このような場合の例として、撮像画像500に写っている利用者200は、隣席の表示装置の利用者であり、隣席の表示装置からの光変調信号の受信を試みている場合が考えられる。
 画像認識部102は、受信端末の存在(有無)や、撮像画像内の受信端末の位置に関する判断結果を送信制御部103に送信する。
 次に、送信制御部103が、画像認識部102から受信端末が「存在する」ことを示す結果を受信した場合の動作を説明する。この場合、送信制御部103は、所定のデータを含んだ変調信号の生成を開始する要求信号を変調部104に送る。
 変調部104は、送信制御部103からの要求信号に応じて、所定のデータをパルス列に変調した変調信号を生成する。ここで、所定のデータとは、表示装置ごとに固有の情報系列、受信端末300に光変調信号の送信開始や終了、および送信されるデータの量などを通知するための制御信号、誤り検出または訂正のための冗長信号、パルス列の同期をとるための制御信号、座席番号、フライト番号、航空会社などのフライト関連情報、などを含む。変調部104は、生成した変調信号を発光制御部105に送る。
 発光制御部105は、変調部104から入力される変調信号に基づいて、発光部106の駆動を制御する。発光制御部105は、変調信号を構成するパルスがHighの時は、発光部106を発光させ、変調信号を構成するパルスがLowの時は、発光部106を消灯する、という制御を行う。このようにすることで、発光部106から発光される光は、変調信号を構成するパルス列に比例した光強度を持つこととなる。この結果として、発光部106から光変調信号が送信される。
 受信端末300の撮像部301は、表示装置100の発光部106から送信された光変調信号を受信し、アプリケーションで定められた所定の処理を行う。
 一方、送信制御部103が、画像認識部102から受信端末が「存在しない」ことを示す結果を受信した場合の動作を場合分けして説明する。
 (1)表示装置100が、光変調信号を出力している最中に、受信端末が「存在しない」ことを示す結果を受信した場合
 この場合、まず、送信制御部103は、変調信号の生成を停止する要求信号を変調部104に送る。次に、変調部104は、送信制御部103からの要求信号に応じて、所定のデータを含んだ変調信号の生成および発光制御部105への変調信号の出力を停止する。その結果、発光部106からの光変調信号の送信も停止される。なお、変調部104は、変調信号の生成を停止した場合であっても、所定のデータを含まない形式のパルス列、例えば所定のデューティー比のパルス幅変調信号パルスを生成し、発光制御部105に送信してもよい。このようにすることで、光変調信号の送信を行わない場合でも、発光部106を発光できる。なお、光変調信号の非送信時の発光部106の発光については、別の駆動回路を用いる構成もとることができる。
 (2)表示装置100が、光変調信号を送信していない状態で、受信端末が「存在しない」ことを示す結果を受信した場合
 この場合、送信制御部103は、変調部104に上述の要求信号を送らない。これにより、発光部106は、光変調信号を送信していない状態を維持する。また、制御の実装の一例として、送信制御部103は変調部104に変調信号の生成を停止する要求信号を送る実装にしてもよい。このようにすることでも、発光部106は光変調信号を送信していない状態を維持することができる。
 [1-3.効果等]
 以上のように、本実施の形態において、表示装置100は、表示装置100からの光変調信号の受信を意図している受信端末の存在に応じて、光変調信号の送信を制御できる。
 これにより、表示装置100は、意図しない光変調信号の送信を防止でき、表示装置100の利用者以外の受信端末との通信を回避できる。
 [1-4.応用例]
 また、本実施の形態の別の構成例として、図6に示すとおり、状態認識機能をさらに有する画像認識部601を備えた表示装置600を用いてもよい。画像認識部601は、撮像部101が生成した撮像画像における人物や物体の有無および位置に加え、その状態を認識する。例えば、画像認識部601が、図7に示す撮像画像700を得た場合、画像認識部601は、利用者200および受信端末300が表示装置600の正面に位置することを認識する。さらに、画像認識部601は、利用者200の視線の方向や身体の向き、受信端末300の角度により受信端末300の状態を認識する。撮像画像700の例では、画像認識部601は、利用者200の視線や受信端末300の角度から、利用者200は光変調信号の受信とは別の行動をしていると認識する。すなわち、画像認識部601は、受信端末300が、光変調信号の受信を意図している状態ではない、と判断する。そして、画像認識部601は、受信端末が「存在しない」ことを示す結果を送信制御部103に送る。
 また、別の例として、画像認識部601が図8に示す撮像画像800を受信した場合、画像認識部601は、利用者200の視線の検出により、利用者200は表示装置600からの光変調信号の受信とは別の行動をしていると判断し、受信端末が「存在しない」ことを示す結果を送信制御部103に送る。
 これにより、表示装置600は、利用者および受信端末が、表示装置600の前に存在するかどうかだけでなく、利用者および受信端末の状況(例えば、人物の視線または顔の向き、あるいは、受信端末が変調信号の受信状態になっているかどうか)を考慮して、光変調信号の送信を制御できる。その結果、表示装置600は、意図しない光変調信号の送信を防止できる。
 また、本実施の形態の別の構成例として、図9に示すとおり、感情認識機能をさらに有する画像認識部901を備えた表示装置900を用いてもよい。画像認識部901は、撮像部101が生成した撮像画像における人物や物体の有無および位置に加え、人物が映っている場合はその人物の感情を認識する。例えば、画像認識部901が、図10に示す撮像画像1000を得た場合、画像認識部901は、利用者200および受信端末300が表示装置600の正面に位置していることを認識する。さらに、画像認識部901は、利用者200の表情、顔色の微細な変化、目の開口率や瞬きの回数、などの情報から、利用者200の感情を認識する。
 図10に示す撮像画像1000は、利用者200が不満を感じている状態の例である。利用者200が不満を感じる場合の一例として、表示装置900が、光変調信号の受信を意図する受信端末が存在しているのにかかわらず、光変調信号を送信していない場合がある。画像認識部901は、利用者200の表情、および顔色の微細な変化に基づいて、利用者200が光変調信号の受信に不満を感じている状態である、と判断し、受信端末が「存在する」ことを示す結果を送信制御部103に送る。このようにすることで、表示装置900は、受信端末が存在しているのに光変調信号を送信していないという、誤った状態があった場合に、その状態からの回復を図ることができる。このような誤った状態は、例えば、利用者200が一時的に、表示装置900以外の方向を向き、表示装置900が、受信端末が存在しないと判断した後、すぐに利用者200が表示装置900に向き直した場合、などに起こり得る。
 これにより、表示装置900は、利用者および受信端末が、表示装置900の前に存在するかどうかだけでなく、利用者の感情も考慮して、光変調信号の送信を制御できる。その結果、表示装置900は、意図しない光変調信号の送信を防止できるだけでなく、誤った状態があった場合に、その状態からの回復を図ることができる。
 (実施の形態2)
 以下、図11~13を用いて、実施の形態2を説明する。また、すでに説明済みの構成要素については、同じ番号を用いて説明を省略する。
 [2-1.構成]
 図11は、実施の形態2にかかる表示装置1100の構成を示すブロック図である。表示装置1100は、送信制御部1101、視野角制御フィルタ1102、変調部104、発光制御部105、および発光部106を備える。なお、図示しないが、表示装置1100における表示部(ディスプレイ)は、発光部106を備えているものとする。
 送信制御部1101は、光変調信号の送信の開始および停止を制御する。送信制御部1101は、さらに、光変調信号の送信の有無に合わせて視野角制御フィルタ1102の動作を制御する。
 視野角制御フィルタ1102は、表示装置1100に搭載している表示部の視野角を変更するためのフィルタである。視野角制御フィルタ1102が、視野角を制限した場合、表示装置1100により表示部上に表示された画像は、表示装置1100の正面に存在する利用者には見えるが、正面に存在しない、例えば隣席に座っている利用者からは見えなくなる。視野角制御フィルタ1102は、送信制御部1101からの要求に応じて、視野角を変更する。
 [2-2.動作]
 はじめに、送信制御部1101は、表示装置1100が光変調信号を送信していない状態では、視野角制御フィルタ1102を介した表示部の視野角制限を行なわない。
 一方、送信制御部1101は、表示装置1100が光変調信号を送信している状態のとき、視野角制御フィルタ1102を介した表示部の視野角制限を以下のとおり実行する。
 まず、表示装置1100が光変調信号の送信を開始する際、送信制御部1101は、所定のデータを含んだ変調信号の生成を変調部104に要求する。次に、変調部104は、送信制御部1101からの要求に従って、所定のデータを含んだ情報系列を、パルス列に変調し、発光制御部105に送る。次に、発光制御部105は、変調部104から入力される変調信号に基づいて、発光部106の駆動を制御する。発光制御部105は、変調信号を構成するパルスがHighの時は、発光部106を発光させ、変調信号を構成するパルスがLowの時は、発光部106を消灯する、という制御を行う。このようにすることで、発光部106から発光される光は、変調信号を構成するパルス列に比例した光強度を持つこととなる。この結果として、発光部106から光変調信号が送信される。
 また、送信制御部1101は、視野角制御フィルタ1102に、視野角を制限する要求信号を送る。視野角制御フィルタ1102は、送信制御部1101からの要求信号に応じて、表示部の視野角を小さくする。発光部106で発光された光は、視野角制御フィルタ1102を通じて表示装置1100の外部に出射される。そのため、表示装置1100から出射される光変調信号が到達する範囲は、視野角制御フィルタ1102が制限した視野角内に制限される。
 図12に利用者と表示装置の関係の一例を示す。利用者200は、表示装置1100からの光変調信号の受信を意図している。利用者200は、受信端末300を保持し、表示装置1100の前に存在している。また、利用者1201および1202は、表示装置1100からの光変調信号の受信を意図しない。利用者1201および1202は、利用者200の左側および右側にそれぞれ存在する。表示装置1100は、視野角制御フィルタ1102により表示部の視野角1200を制御し、光変調信号が到達する範囲を利用者200の近辺のみに制限する。
 [2-3.効果等]
 以上のように、本実施の形態において、表示装置1100は、送信制御部1101と視野角制御フィルタ1102とを備えることで、光変調信号が到達する範囲を制限できる。
 これにより、表示装置1100は、光変調信号の受信を意図していない受信端末への光変調信号の送信を防止できる。
 [2-4.応用例]
 また、本実施の形態の別の構成例として、図13に示すとおり、撮像部101、画像認識部102、送信制御部1301をさらに備えた表示装置1300を用いてもよい。撮像部101および画像認識部102は、実施の形態1で説明したものと同様の構成および機能を有する。
 画像認識部102は、撮像画像に、光変調信号の受信を意図している受信端末が存在するかどうかの判断を行い、その判断結果を送信制御部1301に送る。
 送信制御部1301は、画像認識部102から送られてきた判断結果に基づき、光変調信号の送信開始および停止の制御を行う。以降の動作は表示装置1100の動作と同様のため説明を省略する。
 以上のように、表示装置1300を用いることで、表示装置1300からの光変調信号の受信を意図している受信端末が存在しているときに光変調信号の送信を開始でき、かつ、その受信端末が存在している場所付近にのみ光変調信号を送信できるようになる。
 これにより、表示装置1300は、光変調信号の受信を意図していない受信端末への光変調信号の送信を防止できる。
 (実施の形態3)
 以下、図14~18を用いて、実施の形態3を説明する。また、すでに説明済みの構成要素については、同じ番号を用いて説明を省略する。
 [3-1.構成]
 図14は、実施の形態3にかかる表示装置1400の構成を示すブロック図である。表示装置1400は、送信制御部1401、画像出力部1402、変調部104、発光制御部105、および発光部106を備える。なお、図示しないが、表示装置1400おける表示部(ディスプレイ)は、発光部106を備えているとともに、画像出力部1402が選択した画像を表示する。
 送信制御部1401は、光変調信号の送信の開始および停止を制御する。また、送信制御部1401は、光変調信号の送信の有無に合わせて画像出力部1402の動作を制御する。
 画像出力部1402は、表示装置1400に搭載しているディスプレイで表示する画像を選択し出力する。画像出力部1402は、送信制御部1401からの要求に応じて、出力する画像を変更する。
 [3-2.動作]
 表示装置1400が光変調信号の送信を開始する際、送信制御部1401は、所定のデータを含んだ変調信号の生成を変調部104に要求する。変調部104は、送信制御部1401からの要求に従って、所定のデータを含んだ情報系列を、パルス列に変調し、発光制御部105に送る。発光制御部105は、変調部104から入力される変調信号に基づいて、発光部106の駆動を制御する。発光制御部105は、変調信号を構成するパルスがHighの時は、発光部106を発光させ、変調信号を構成するパルスがLowの時は、発光部106を消灯する、という制御を行う。このようにすることで、発光部106から発光される光は、変調信号を構成するパルス列に比例した光強度を持つこととなる。この結果として、発光部106から光変調信号が送信される。
 また、送信制御部1401は、光変調信号の送信を開始する際、画像出力部1402に、出力画像を選択する要求信号を送る。画像出力部1402は、送信制御部1401からの要求信号に応じて、光変調信号を送信している間に表示部で表示する出力画像(特定画像)を選択し、出力する。一例として図15に示す出力画像1500を使うことができる。出力画像1500は、明度が高い領域1501と明度が低い領域1502とを有し、中心領域の明度が所定値より高く、周縁領域の明度がその所定値より低い画像である。一般に、明度が高い領域1501から出力される光の強度は高く、明度が低い領域1502から出力される光の強度は低くなる。また、表示装置1400から送信される光変調信号の到達範囲や距離は、発光部106から出力される光の強度に比例する。そのため、表示装置1400は出力画像1500の中心領域を撮像できる受信端末にのみ光変調信号を送信できる。一方、表示装置1400が設置されている座席の隣席のように、出力画像1500の中心領域より周縁領域の方が多く撮像されるような位置には、光変調信号の到達を制限できる。
 なお、出力画像1500に示すように白および黒の一様色に限らず、中心領域には白、黄色、赤などの明度の高い色を中心に構成される画像を表示し、周縁領域には、黒、茶、濃い灰色などの明度の低い色を中心に構成される画像を表示ができる。
 [3-3.効果等]
 以上のように、本実施の形態において、表示装置1400は、送信制御部1401と画像出力部1402を備えることで、光変調信号が到達する範囲を制限できる。
 これにより、表示装置1400は、光変調信号の受信を意図していない受信端末への光変調信号の送信を防止できる。
 [3-4.応用例]
 本実施の形態の別の構成例として、図16に示すとおり、送信制御部1601、タイマ(計測部)1602、Bluetooth(登録商標)通信部1603をさらに備えた表示装置1600を用いてもよい。受信端末は、表示装置1600からの光変調信号を正しく受信したら、表示装置1600とBluetooth通信を開始するものとする。
 送信制御部1601は、表示装置1400の送信制御部1401が持つ機能に加え、タイマ1602からの情報に基づいて、画像出力部1402に画像の変更を要求する機能を持つ。タイマ1602は、送信制御部1601が光変調信号の送信開始を要求した時点(光変調信号に基づく発光部106の駆動を開始した時点)からの経過時間を計測する。
 Bluetooth通信部1603は、Bluetooth通信を行う通信モジュールである。
 表示装置1600が、図15に示した出力画像1500を表示しながら光変調信号を送信している状態である場合を想定して説明する。
 表示装置1600が光変調信号を送信開始した時点では、Bluetooth通信部1603と受信端末はペアリングされていない。タイマ1602は、表示装置1600が光変調信号の送信を開始した時点(光変調信号に基づく発光部106の駆動を開始した時点)からの経過時間を計測する。ここで、受信端末が光変調信号の受信を正しく完了し、受信端末に搭載のBluetooth通信部と、表示装置1600のBluetooth通信部1603とのペアリングが完了したら、Bluetooth通信部1603は、ペアリングが完了したことを示す通知をタイマ1602に送る。タイマ1602はペアリングが完了したこと(すなわち、通信が確立されたこと)を送信制御部1601に通知する。送信制御部1601は、これを受けて、変調部104に対して変調信号の生成の停止を要求し、また画像出力部1402に対して出力画像1500の出力の停止を要求する。
 これにより、表示装置1600は、受信端末が光変調信号の受信を正しく完了したことを把握し、光変調信号の送信を停止できる。結果的に、表示装置1600は、意図しない受信端末への光変調信号の送信を防止できる。
 一方、タイマ1602の経過時間が所定時間を超えても、Bluetooth通信部1603からのペアリング完了通知を受信しない場合、タイマ1602は、光変調信号の送受信が正しく行われていないと判断する。タイマ1602は、加えて、送信制御部1601に光変調信号の送信方法を変更する旨の要求信号を送る。送信制御部1601は、タイマ1602から光変調信号の送信方法を変更する旨の要求信号を受けたら、画像出力部1402に、出力画像の変更を要求する。変更する出力画像の例として、図17に示す出力画像1700を使用できる。出力画像1700は、明度が高い領域1701と明度が低い領域1702とを有し、中央の明度の高い領域1701が、出力画像1500の明度の高い領域1501より広い画像である。
 これにより、表示装置1600は、より高強度の光変調信号を受信端末に送信できるので、受信端末が光変調信号を正しく受信する確率を向上できる。
 また、画像出力部1402が出力する画像として、図18に示す出力画像1800を使用してもよい。出力画像1800は、明度が高い領域1801と明度が低い領域1802とを有し、明度の高い領域1801が出力画像の中心ではなく、右寄りに位置している画像である。表示装置1600は、出力画像1800を用いることで、受信端末300の撮像部301が表示装置1600のディスプレイの中心領域以外、例えば右側、を撮像している場合であっても、受信端末300の撮像部301に光変調信号を送信できる。受信端末300の撮像部301が表示装置1600のディスプレイの中心領域以外を撮像している状態は、例えば、利用者200の手振れにより、受信端末300の撮像部301の向きが揺らいでいるときに起こりうる。
 なお、画像出力部1402が出力する画像として出力画像1700および出力画像1800を例として説明したが、これに限るものではなく、例えば、出力画像の左側または上部、下部に明度の高い領域が存在する画像を用いてもよい。
 (実施の形態4)
 以下、図19、20を用いて、実施の形態4を説明する。また、すでに説明済みの構成要素については、同じ番号を用いて説明を省略する。
 [4-1.構成]
 図19は、実施の形態4にかかる表示装置1900の構成を示すブロック図である。表示装置1900は、送信制御部1901、部分駆動型発光制御部1902、変調部104、および発光部106、を備える。
 送信制御部1901は、光変調信号の送信の開始および停止を制御する。また、送信制御部1901は、光変調信号の送信の有無に合わせて部分駆動型発光制御部1902の動作を制御する。
 部分駆動型発光制御部1902は、表示装置1900に搭載しているディスプレイパネルのバックライトを部分的に駆動できる発光制御部である。すなわち、部分駆動型発光制御部1902は、ディスプレイパネルの部分ごとに異なる発光を制御することができる。これにより、ディスプレイパネルの一部から光変調信号を含んだ光を出力し、ディスプレイパネルの残りの部分からは光変調信号を含まない光を出力する、という制御が外部からの要求により可能となる。
 [4-2.動作]
 はじめに、表示装置1900が光変調信号を送信していない状態では、部分駆動型発光制御部1902は、ディスプレイパネルの前面から光変調信号を含まない光を発している。
 一方、送信制御部1901は、表示装置1900が光変調信号を送信するとき、部分駆動型発光制御部1902を介して発光部106を以下のとおり制御する。
 まず、表示装置1900が光変調信号の送信を開始する際、送信制御部1901は、所定のデータを含んだ変調信号の生成を変調部104に要求する。変調部104は、送信制御部1901からの要求に従って、所定のデータを含んだ情報系列を、パルス列に変調し、部分駆動型発光制御部1902に送る。送信制御部1901は、部分駆動型発光制御部1902に、ディスプレイパネルにおける光変調信号を出力する部分を指定する信号を送信する。部分駆動型発光制御部1902は、発光部106のうちの送信制御部1901から指定された部分のみを、変調部104から入力される変調信号に基づいて制御する。このようにすることで、発光部106から発光される光のうち、送信制御部1901で指定された部分は、変調信号を構成するパルス列に比例した光強度を持ち、それ以外の部分は変調信号成分を含まない光強度を持つ。この結果として、発光部106の一部の部分のみから光変調信号が送信される。
 図20は、部分駆動型発光制御部1902による発光制御の結果の一例を示す。出力画像2000は、中心部の領域2001と周縁部の領域2002とを含む。中心部の領域2001は光変調信号を含む光が発せられている領域である。周縁部の領域2002は光変調信号を含まない光が発せられている領域である。これにより、出力画像2000の中心部を撮像できる利用者の受信端末にのみ光変調信号を送信できる。一方、表示装置1900が設置されている座席の隣席のように、出力画像2000の中心部より周縁部の方が多く撮像されるような位置には、光変調信号の到達を制限できる。
 [4-3.効果等]
 以上のように、本実施の形態において、表示装置1900は、送信制御部1901と部分駆動型発光制御部1902を備えることで、光変調信号が到達する範囲を制限できる。
 これにより、表示装置1900は、光変調信号の受信を意図していない受信端末への光変調信号の送信を防止できる。
 (実施の形態5)
 以下、図21を用いて、実施の形態5を説明する。また、すでに説明済みの構成要素については、同じ番号を用いて説明を省略する。
 [5-1.構成]
 図21は、実施の形態5にかかる表示装置2100の構成を示すブロック図である。表示装置2100は、有機ELを用いたディスプレイである。表示装置2100は、送信制御部2101、変調部104、パネル制御回路2102、有機ELパネル2103を備える。
 有機ELパネル2103は、画素の数だけ有機EL素子2104を有する。有機EL素子2104それぞれが発光することで、表示画像が作り出される。有機EL素子2104の発光制御方法は、パネル制御回路2102の構成に依存するが、有機EL素子2104一つ一つを独立して制御する場合もあるし、複数の有機EL素子2104をグループ化して、グループ単位で制御する場合もある。いずれの場合でも、パネル制御回路2102は、有機ELパネル2103の部分ごとに発光を制御できる。
 送信制御部2101は、光変調信号の送信の開始および停止を制御する。また、送信制御部2101は、光変調信号の送信の有無に合わせてパネル制御回路2102の動作を制御する。具体的には、有機ELパネル2103上で光変調信号を出力する有機EL素子2104の組み合わせを指定する。
 [5-2.動作]
 はじめに、表示装置2100が光変調信号を送信していない状態では、パネル制御回路2102は、すべての有機EL素子2104から光変調信号を含まない光を発するよう、有機ELパネル2103を制御している。
 一方、送信制御部2101は、表示装置2100が光変調信号を送信するとき、パネル制御回路2102を介して有機EL素子2104を以下のとおり制御する。
 まず、表示装置2100が光変調信号の送信を開始する際、送信制御部2101は、所定のデータを含んだ変調信号の生成を変調部104に要求する。変調部104は、送信制御部2101からの要求に従って、所定のデータを含んだ情報系列を、パルス列に変調し、パネル制御回路2102に送る。送信制御部2101は、パネル制御回路2102に、光変調信号を出力する有機EL素子2104の組み合わせを指定する信号を送信する。すなわち、送信制御部2101は、有機ELパネル2103の一部の領域を指定する。パネル制御回路2102は、送信制御部2101から指定された領域内の有機EL素子2104に対してのみ、変調部104から入力される変調信号に基づいて発光を制御する。このようにすることで、有機ELパネル2103から発光される光のうち、送信制御部2101で指定された領域は、変調信号を構成するパルス列に比例した光強度を持ち、それ以外の領域は変調信号成分を含まない光強度を持つ。この結果として、有機ELパネル2103の一部の領域のみから光変調信号が送信される。
 一例として、図21の変調領域2105のような、有機ELパネルの2103の中心部のみから光変調信号を送信する。これにより、有機ELパネル2103の変調領域2105を撮像できる利用者の受信端末にのみ光変調信号を送信できる。一方、表示装置2100が設置されている座席の隣席のように、有機ELパネル2103の変調領域2105以外の領域の方が多く撮像されるような位置には、光変調信号の到達を制限できる。
 [5-3.効果等]
 以上のように、本実施の形態において、表示装置2100は、送信制御部2101、パネル制御回路2102、および、有機ELパネル2103を備えることで、光変調信号が到達する範囲を制限できる。
 これにより、表示装置2100は、光変調信号の受信を意図していない受信端末への光変調信号の送信を防止できる。
 (実施の形態6)
 以下、図22Aおよび図22Bを用いて、実施の形態6を説明する。
 [6-1.構成]
 図22Aおよび図22Bは、実施の形態6にかかる表示装置2200と受信端末2210の構成をそれぞれ示すブロック図である。表示装置2200は、送信制御部103、変調部104、発光制御部105、発光部106、Bluetooth通信部1603を備える。受信端末2210は、撮像部2211、受信部2212、制御部2213、表示部2214、ユーザインタフェース2215、およびBluetooth通信部2216を備える。
 撮像部2211は、カメラであり、被写体を撮像して撮像画像を生成する。
 受信部2212は、撮像画像に含まれる光変調信号を抽出して、その光変調信号を復調する。これにより、後述の所定のデータを含む送信データを受信する。
 制御部2213は、送信データの一部を表示部2214に送信し、別の一部をBluetooth通信部2216に送信する。
 表示部2214は、ディスプレイなどの情報を外部に表示する装置である。
 ユーザインタフェース2215は、利用者からの操作入力を受け付ける装置である。
 Bluetooth通信部2216は、Bluetooth通信を行うモジュールである。
 [6-2.動作]
 以上のように構成された表示装置2200および受信端末2210について、その動作を説明する。まず、表示装置2200の動作から説明する。
 表示装置2200の送信制御部103は、所定のデータを含んだ変調信号の生成を開始する要求信号を変調部104に送る。変調部104は、送信制御部103からの要求信号に応じて、所定のデータをパルス列に変調した変調信号を生成する。ここで、所定のデータとは、表示装置ごとに固有の情報系列、受信端末300に光変調信号の送信開始や終了、および送信されるデータの量などを通知するための制御信号、誤り検出または訂正のための冗長信号、パルス列の同期をとるための制御信号、座席番号、フライト番号、航空会社などのフライト情報、などを含む。所定のデータは、さらに、表示装置2200のBluetooth通信部1603とペアリングを行うために必要な情報(通信情報)を含む。変調部104は、生成した変調信号を発光制御部105に送る。
 発光制御部105は、変調部104から入力される変調信号に基づいて、発光部106の駆動を制御する。発光制御部105は、変調信号を構成するパルスがHighの時は、発光部106を発光させ、変調信号を構成するパルスがLowの時は、発光部106を消灯する、という制御を行う。このようにすることで、発光部106から発光される光は、変調信号を構成するパルス列に比例した光強度を持つこととなる。この結果として、発光部106から光変調信号が送信される。
 次に、受信端末2210の動作を説明する。受信端末2210の撮像部2211は、表示装置2200の発光部106を含んだ撮像画像を生成し、受信部2212に送る。受信部2212は、撮像画像に含まれる光変調信号を抽出し、光変調信号を復調する。受信部2212は、この復調処理により得られた送信データを制御部2213に送る。制御部2213は、送信データのうち、利用者に関連する情報(制御情報)のみを表示部2214に表示する。利用者に関連する情報としては、例えば、表示装置2200が設置されている座席の座席番号を使用することができる。
 利用者は、受信端末2210の表示部2214に表示された座席番号を確認し、利用者の座席番号と一致する場合は、ユーザインタフェース2215を操作して、座席番号を確認したことを入力する。これを受けて、ユーザインタフェース2215は、利用者による座席番号の確認を示す通知を制御部2213に送る。制御部2213は、利用者が座席番号を確認したことを示す通知を受けたら、Bluetooth通信部2216に、送信データに含まれている、表示装置2200のBluetooth通信部1603とペアリングを行うために必要な情報(通信情報)を送る。つまり、制御部2213は、利用者に関連する情報(制御情報)の正否を判定し、正しいと判定された場合のみ、Bluetooth通信部1603とのペアリングに要する情報(通信情報)をBluetooth通信部2216に通知する。そして、Bluetooth通信部2216は、表示装置2200のBluetooth通信部1603と上記通信情報を使用してペアリングの手続きを開始する。
 [6-3.効果等]
 以上のように、本実施の形態において受信端末2210は、表示装置2200が設置されている座席番号を利用者に提示し、利用者による座席番号に間違いがないという確認を受ければ表示装置2200とのペアリングを開始できる。つまり、制御部2213は、これにより、表示装置2200と受信端末2210は、意図しないペアリングを防止できる。そのため、表示装置2200が搭載されている座席以外を利用する利用者の受信端末とのペアリングを回避できる。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1~6を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1~6で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示は、利用者の受信端末に光変調信号を送信する機能を持つ表示装置に適用可能である。具体的には、航空機キャビン内に設置されるシートモニタ、リトラクタブルモニタ、ウォールマウントモニタなどに、本開示は適用可能である。
 100,600,900,1100,1300,1400,1600,1900,2100,2200 表示装置
 101,301,2211 撮像部
 102,601,901 画像認識部
 103,1101,1301,1401,1601,1901,2101 送信制御部
 104 変調部
 105 発光制御部
 106 発光部
 200 利用者
 300,2210 受信端末
 400,500,700,800,1000 撮像画像
 1102 視野角制御フィルタ
 1200 視野角
 1201,1202 他の利用者
 1402 画像出力部
 1500,1700,1800,2000 出力画像
 1501,1701,1801 明度の高い領域
 1502,1702,1802 明度の低い領域
 1602 タイマ
 1603,2216 Bluetooth通信部
 1902 部分駆動型発光制御部
 2001 光変調信号を含んだ光を発している領域
 2002 光変調信号を含まない光を発している領域
 2102 パネル制御回路
 2103 有機ELパネル
 2104 有機EL素子
 2105 変調領域

Claims (19)

  1.  撮像画像を生成する撮像部と、
     前記撮像画像に受信端末が含まれているか否かを認識する画像認識部と、
     変調信号に基づいて発光する発光部と、
     前記画像認識部の認識結果に基づいて、前記発光部の駆動を制御する制御部と、
     を備えた表示装置。
  2.  前記画像認識部は、前記撮像画像内における前記受信端末の位置をさらに認識することを特徴とする、
     請求項1記載の表示装置。
  3.  前記制御部は、前記撮像画像の中心部に前記受信端末が位置している場合に、前記変調信号に基づく前記発光部の駆動を開始させる、
     ことを特徴とする、請求項2記載の表示装置。
  4.  前記画像認識部は、前記受信端末が前記変調信号の受信状態になっているかどうかをさらに判断し、
     前記制御部は、前記受信端末が前記変調信号の受信状態になっているときに、前記変調信号に基づく前記発光部の駆動を開始させる、
     ことを特徴とする、請求項1に記載の表示装置。
  5.  前記画像認識部は、前記撮像画像に含まれる人物の視線、または顔の向きをさらに認識し、
     前記制御部は、前記人物の視線、または顔の向きが前記撮像部を向いていると判断した場合に、前記変調信号に基づく前記発光部の駆動を開始させる、
     ことを特徴とする、請求項1に記載の表示装置。
  6.  前記画像認識部は、前記撮像画像に含まれる人物の感情をさらに認識し、
     前記制御部は、前記人物の感情によって、前記変調信号に基づく前記発光部の駆動を開始させる、
     ことを特徴とする、請求項1に記載の表示装置。
  7.  前記撮像部および前記発光部は、前記表示装置の表示面側に設けられた、
     ことを特徴とする、請求項1から請求項6のいずれか一項に記載の表示装置。
  8.  変調信号に基づいて発光する発光部を備えた表示部と、
     前記表示部の視野角を制御する視野角制御フィルタと、
     前記発光部が前記変調信号に基づいて駆動しているとき、前記視野角制御フィルタを駆動して前記表示部の視野角を制御する制御部と、
     を備えた表示装置。
  9.  前記制御部は、前記発光部が前記変調信号に基づいて駆動している期間は、前記表示部の視野角を小さくするよう前記視野角制御フィルタを制御する、
     ことを特徴とする、請求項8に記載の表示装置。
  10.  撮像画像を生成する撮像部と、
     前記撮像画像に含まれる受信端末の位置を認識する画像認識部とをさらに備え、前記制御部は、前記視野角が前記受信端末の存在位置を含む視野角に設定されるよう前記視野角制御フィルタを制御する、
     ことを特徴とする、請求項8に記載の表示装置。
  11.  変調信号に基づいて発光する発光部を備えた表示部と、
     前記表示部に画像を出力する画像出力部と、
     前記発光部が前記変調信号に基づいて駆動しているとき、前記画像出力部が特定画像を出力するよう前記画像出力部を制御する制御部と、
     を備えた表示装置。
  12.  前記特定画像は、中心領域の明度が周縁領域の明度より高い画像である、
     ことを特徴とする、請求項11に記載の表示装置。
  13.  前記変調信号に基づく前記発光部の駆動開始からの経過時間を計測する計測部をさらに備え、
     前記制御部は、前記計測部の経過時間が所定時間を超えた場合に、前記特定画像を変更する、
     ことを特徴とする、請求項11に記載の表示装置。
  14.  受信端末と所定の通信方式で通信する通信部と、
     前記変調信号に基づく前記発光部の駆動開始からの経過時間を計測する計測部と、をさらに備え、
     前記制御部は、前記通信部による前記受信端末との通信が確立されておらず、前記計測部の経過時間が所定時間を超えた場合に、前記特定画像を変更する、
     ことを特徴とする、請求項11に記載の表示装置。
  15.  前記制御部は、前記計測部の経過時間が所定時間を超えた場合、中心領域の明度が周縁領域の明度より高く、前記中心領域が前記特定画像の前記中心領域より大きい画像に変更する、
     ことを特徴とする、請求項13または請求項14に記載の表示装置。
  16.  変調信号に基づいて発光する発光部と、
     前記発光部の駆動部分を指定して前記発光部を制御可能な発光制御部と、
     前記変調信号の送信状態に応じて、前記発光部の駆動部分を前記発光制御部に指定する制御部と、
     を備えた表示装置。
  17.  変調信号を生成する変調部と、
     複数の有機EL素子から構成される有機ELパネルと、
     前記変調信号に基づいて駆動する有機EL素子を指定する制御部と、
     を備えた表示装置。
  18.  制御情報および通信情報から変調信号を生成する変調部と、前記変調信号を含む光を発光する発光部と、を備えた表示装置と所定の通信方式で通信する受信端末であって、
     撮像画像を生成する撮像部と、
     前記撮像画像に含まれる前記変調信号を復調する復調部と、
     前記復調部で復調された前記変調信号に含まれる制御情報を表示する表示部と、
     前記復調部で復調された前記変調信号に含まれる通信情報をもとに、前記表示装置と前記所定の通信方式で通信する通信部と、
     前記制御情報の正否を判定し、正しいと判定された場合のみ、前記通信情報を前記通信部に通知する、
     受信端末。
  19.  前記制御情報は、前記表示装置に対応付けられた座席を識別する座席番号である、
     ことを特徴とする、請求項18に記載の受信端末。
PCT/JP2018/006329 2017-12-04 2018-02-22 表示装置および受信端末 WO2019111421A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/769,490 US11700059B2 (en) 2017-12-04 2018-02-22 Display device and reception terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017232229 2017-12-04
JP2017-232229 2017-12-04

Publications (1)

Publication Number Publication Date
WO2019111421A1 true WO2019111421A1 (ja) 2019-06-13

Family

ID=66749911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006329 WO2019111421A1 (ja) 2017-12-04 2018-02-22 表示装置および受信端末

Country Status (2)

Country Link
US (1) US11700059B2 (ja)
WO (1) WO2019111421A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327007A (ja) * 1996-06-06 1997-12-16 Sharp Corp 携帯型テレビ電話
JP2011009805A (ja) * 2009-06-23 2011-01-13 Nalux Co Ltd 光無線通信端末装置、光無線通信システム、光無線通信方法、およびプログラム
JP2012175456A (ja) * 2011-02-22 2012-09-10 Brother Ind Ltd 画像処理装置、画像処理方法、および画像処理プログラム
JP2015015569A (ja) * 2013-07-04 2015-01-22 ローム株式会社 可視光通信システム
JP2016167385A (ja) * 2015-03-09 2016-09-15 パナソニックIpマネジメント株式会社 携帯端末及び機器制御システム
JP2017084302A (ja) * 2015-10-30 2017-05-18 広島県 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174130B2 (en) 2001-09-12 2007-02-06 Agere Systems Inc. Security apparatus and method during BLUETOOTH pairing
US8179498B2 (en) * 2007-07-27 2012-05-15 Sharp Kabushiki Kaisha Liquid crystal display device, television receiver, and lighting device
US20100245310A1 (en) * 2007-11-01 2010-09-30 Masahiro Hashimoto Luminance control method and display
KR101337076B1 (ko) * 2008-10-07 2013-12-05 엘지디스플레이 주식회사 액정표시장치 및 그 구동 방법
US8879994B2 (en) 2009-10-02 2014-11-04 Blackberry Limited Methods and devices for facilitating Bluetooth pairing using a camera as a barcode scanner
US9030422B2 (en) * 2011-02-15 2015-05-12 Lg Electronics Inc. Method of transmitting and receiving data and display device using the same
US9055162B2 (en) * 2011-02-15 2015-06-09 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
EP2858268B1 (en) 2012-05-24 2018-09-26 Panasonic Intellectual Property Corporation of America Information communication method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327007A (ja) * 1996-06-06 1997-12-16 Sharp Corp 携帯型テレビ電話
JP2011009805A (ja) * 2009-06-23 2011-01-13 Nalux Co Ltd 光無線通信端末装置、光無線通信システム、光無線通信方法、およびプログラム
JP2012175456A (ja) * 2011-02-22 2012-09-10 Brother Ind Ltd 画像処理装置、画像処理方法、および画像処理プログラム
JP2015015569A (ja) * 2013-07-04 2015-01-22 ローム株式会社 可視光通信システム
JP2016167385A (ja) * 2015-03-09 2016-09-15 パナソニックIpマネジメント株式会社 携帯端末及び機器制御システム
JP2017084302A (ja) * 2015-10-30 2017-05-18 広島県 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法

Also Published As

Publication number Publication date
US11700059B2 (en) 2023-07-11
US20200388212A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
CN105850148B (zh) 视频显示系统及连接方法
JP4739914B2 (ja) 通信装置、通信システム及び通信方法
US9857863B2 (en) Display apparatus, control method for display apparatus, and program that can switch an operation mode of a display apparatus from a normal operation mode to a battery replacement mode
US11197064B2 (en) Display device, display control method, and program
CN107615755A (zh) 头戴式显示器、平视显示器和影像显示方法
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
JP2015159524A (ja) プロジェクター、表示装置、及び、プロジェクターの制御方法
JP6571767B2 (ja) 映像表示装置および制御方法
KR20120069156A (ko) 가시광 통신 시스템에서 가시광 통신 장치 간 정렬을 위한 장치 및 방법
US20130128074A1 (en) Display unit, image sensing unit and display system
US20120236131A1 (en) Display device, display system, and method for controlling display device
WO2016161769A1 (zh) 液晶显示装置及其控制方法
JP2013003327A (ja) 表示システム、携帯端末、プログラム、表示装置、及び、表示装置の制御方法
US20150312514A1 (en) Display device, display control method, and program
US10902763B2 (en) Display device, display control method, and program
US20170006172A1 (en) Information processing apparatus, setting condition specification method for image forming apparatus
US20160140690A1 (en) Information processing apparatus, information processing system, information processing method, and computer readable recording medium
JP2019045549A (ja) 画像投写システム、端末装置及び画像投写システムの制御方法
US20170269363A1 (en) Projection-type display device, electronic device, driver viewing image sharing method, and driver viewing image sharing program
WO2019111421A1 (ja) 表示装置および受信端末
US20230308600A1 (en) Display method, display system, and non-transitory computer-readable storage medium storing program
US10102600B2 (en) Head mounted display device, control method for head mounted display device, and computer program
CN115396642B (zh) 激光投影显示方法、三色激光投影设备及可读性存储介质
WO2015170720A1 (ja) 画像認識装置および画像認識方法
JP2018156205A (ja) 情報処理システム、情報処理方法、電子機器及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18885708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP