WO2020141672A1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
WO2020141672A1
WO2020141672A1 PCT/KR2019/007943 KR2019007943W WO2020141672A1 WO 2020141672 A1 WO2020141672 A1 WO 2020141672A1 KR 2019007943 W KR2019007943 W KR 2019007943W WO 2020141672 A1 WO2020141672 A1 WO 2020141672A1
Authority
WO
WIPO (PCT)
Prior art keywords
image sensor
display
image
electronic device
external device
Prior art date
Application number
PCT/KR2019/007943
Other languages
English (en)
French (fr)
Inventor
이준영
김민호
김남현
박선호
정진주
황두찬
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2020141672A1 publication Critical patent/WO2020141672A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/66—Non-coherent receivers, e.g. using direct detection
    • H04B10/67—Optical arrangements in the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/66—Non-coherent receivers, e.g. using direct detection
    • H04B10/67—Optical arrangements in the receiver
    • H04B10/671—Optical arrangements in the receiver for controlling the input optical signal

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device and control method for performing communication based on visible light.
  • Visible light communication is a next-generation short-range communication using a light emitting diode (LED) or laser diode (LD) in the visible light band.
  • LED light emitting diode
  • LD laser diode
  • OCC Optical Camera Communication
  • the OCC communication system adjusts the exposure setting of the image sensor to receive OCC data. However, in that case, streaks are generated in the image displayed on the screen of the electronic device, or distortion is generated in the image, such as image quality is changed. Due to this, the visibility of the image provided to the user is deteriorated.
  • an object of the present invention is to provide an electronic device capable of performing OCC communication without distortion of image information or deterioration of visibility.
  • An electronic device for achieving the above object, a display; Image sensor; And controlling the display to display an image based on data obtained from visible light received by the image sensor, adjusting the reception characteristic of the image sensor, and while the reception characteristic of the image sensor is adjusted, the displayed
  • the display is controlled so that a user visibility enhancement function is performed on an image, and information transmitted by an external device outputting the visible light is identified from data of visible light received with the adjusted reception characteristics, and based on the identified information
  • a processor that performs the operation.
  • the user visibility improvement function may allow the image displayed on the display to be continuously displayed while the reception characteristic of the image sensor is adjusted while the reception characteristic of the image sensor is adjusted.
  • Adjusting the reception characteristics of the image sensor may include changing the exposure time or camera sensitivity of the image sensor.
  • the operation based on the identified information may receive and display additional information regarding the image from an address corresponding to the identified information.
  • the processor adjusts the reception characteristic of the image sensor to a first setting, attempts to identify information transmitted by an external device outputting the visible light with the adjusted reception characteristic, and responds to the identification failure, the image sensor
  • the reception characteristic of can be adjusted to the second setting.
  • the processor may control the display to display a notification message including a UI related to an application capable of identifying the information in response to the external device outputting the visible light transmitting the information.
  • the processor may control the display to identify the external device from the displayed image and display a UI that induces the image sensor to approach the external device.
  • the processor may identify the external device from the displayed image, and adjust the reception characteristics of the image sensor and improve the user visibility based on the identification.
  • the processor may identify information transmitted by an external device outputting the visible light from data in an area corresponding to the external device among the images.
  • the user visibility improvement function may allow the image displayed on the display to be continuously displayed while the reception characteristic of the image sensor is adjusted while the reception characteristic of the image sensor is adjusted.
  • Adjusting the reception characteristics of the image sensor may include changing the exposure time or camera sensitivity of the image sensor.
  • the operation based on the identified information may receive and display additional information regarding the image from an address corresponding to the identified information.
  • the step of adjusting the reception characteristic of the image sensor adjusts the reception characteristic of the image sensor to a first setting, attempts to identify information transmitted by an external device that outputs the visible light with the adjusted reception characteristic, and In response to the identification failure, the reception characteristic of the image sensor may be adjusted to the second setting.
  • the control method may include controlling the display to display a notification message including a UI regarding an application capable of identifying the information in response to the external device outputting the visible light transmitting the information. .
  • the processor may control the display to identify the external device from the displayed image and display a UI that induces the image sensor to approach the external device.
  • the control method may include the step of identifying the external device from the displayed image, and adjusting the reception characteristics of the image sensor and improving the user visibility based on the identification.
  • the step of identifying the information transmitted by the external device may identify information transmitted by the external device outputting the visible light from data in a region corresponding to the external device among the images.
  • a computer program according to an embodiment of the present invention for achieving the above object is a computer program stored in a medium in combination with an electronic device to execute the above control method.
  • the computer program may be stored in a medium in a server and downloaded to the electronic device through a network.
  • OCC communication can be performed without distortion of image information or deterioration of visibility.
  • FIG. 1 is a view showing an electronic device according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating the operation of an electronic device according to an embodiment of the present invention.
  • FIG. 5 is a view showing an outline of a communication method of an electronic device according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of an operation performed by an electronic device according to information transmitted by an external device according to an embodiment of the present invention
  • FIG. 7 is a view showing another example of an operation performed by an electronic device according to information transmitted by an external device according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 9 is a view showing an operation of an electronic device according to an embodiment of the present invention compared to an electronic device according to the prior art
  • FIG. 10 is a view showing an example of a function for improving visibility of an electronic device according to an embodiment of the present invention.
  • FIG. 11 is a view showing another example of the visibility improvement function of the electronic device according to an embodiment of the present invention.
  • FIG. 13 is a view showing the operation of an electronic device according to another embodiment of the present invention.
  • 15 is a view showing the operation of an electronic device according to another embodiment of the present invention.
  • the terms including ordinal numbers such as first and second are used only for the purpose of distinguishing one component from other components, and the expression of the singular is plural unless the context clearly indicates otherwise. Includes expressions.
  • terms such as'consist of','include', and'have' include one or more other features or numbers, steps, operations, components, parts, or combinations thereof. Or it should be understood that it does not preclude additional possibilities in advance.
  • the'module' or'unit' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software, and integrated into at least one module. It can be implemented with at least one processor.
  • At least one of the plurality of elements refers to not only all of the plurality of elements, but each one or a combination of all of the plurality of elements excluding the rest.
  • Configured to (or set) may not necessarily mean “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” with other devices or parts.
  • processors configured (or set) to perform A, B, and C means by executing a dedicated processor (eg, an embedded processor) to perform the operation, or one or more software programs stored in the memory device.
  • a dedicated processor eg, an embedded processor
  • It may mean a general-purpose processor (eg, a CPU or application processor) capable of performing the corresponding operations.
  • FIG 1 shows an electronic device 100 according to an embodiment of the present invention.
  • the electronic device 100 may be implemented as, for example, a smart phone.
  • the electronic device 100 according to an embodiment of the present invention may be embodied as, for example, a tablet, a mobile phone, a laptop, or a digital camera.
  • the electronic device 100 according to an embodiment of the present invention may perform visible light communication between the external device 200.
  • the external device 200 according to an embodiment of the present invention includes, for example, a TV, an electronic frame, a digital billboard, a large format display (LFD), a digital signage, a smartphone, a tablet, a mobile phone, a smart watch, and a head mounted display. (Head-Mounted Display), such as wearable devices, computers, multimedia players, smart refrigerators, etc.
  • the electronic device 100 and the external device 200 can be implemented.
  • the electronic device 100 and the external device 200 according to an embodiment of the present invention are not limited thereto, and the external device 200 can be any device capable of outputting visible light, and the electronic device 100 Any device that can communicate with visible light by a method such as receiving the visible light output from the external device 200 is possible.
  • the electronic device 100 is a smartphone
  • the external device 200 is a TV
  • the electronic device 100 and the external device 200 are optical camera communication (hereinafter'OCC'). Communication).
  • FIG. 2 is a block diagram showing the configuration of an electronic device 100 according to an embodiment of the present invention.
  • the electronic device 100 according to an embodiment of the present invention includes a display 101, an image sensor 102, and a processor 103.
  • the configuration of the electronic device 100 illustrated in FIG. 2 is only an example, and the electronic device according to an embodiment of the present invention may be implemented in another configuration. That is, the electronic device according to an embodiment of the present invention may be implemented by adding a configuration other than the configuration illustrated in FIG. 2 or a part of the configuration illustrated in FIG. 2 is excluded.
  • each component may be implemented with at least one hardware and/or software, and may be implemented with a circuit or a chip.
  • the display 101 can display an image.
  • the implementation method of the display 101 is not limited, for example, liquid crystal, plasma, light-emitting diode, organic light-emitting diode, surface-electron gun Conduction Electron-Emitter, Carbon Nano-Tube, and Nano-Crystral can be implemented in various display methods.
  • the display 101 includes a liquid crystal display panel, a backlight unit that supplies light to the liquid crystal display panel, a panel driving unit for driving the liquid crystal display panel, and the like.
  • the display 101 may be implemented as an OLED panel that is a self-luminous element without a backlight unit.
  • the image sensor 102 may detect or receive visible light output from the external device 200.
  • the image sensor 102 serves as a receiver in visible light communication (VLC) or optical camera communication (OCC).
  • the image sensor 102 is a device that captures or detects a light source and extracts data corresponding to on/off of the light source, for example, the on/off of the light source according to a predetermined frame rate.
  • An off-image may be taken in a continuous frame, and data or information may be extracted from the captured on/off image.
  • the frame rate of the image sensor 102 may be the same as or different from the pulse rate of the light source.
  • the image sensor 102 may start shooting at any time while the light source is on or off.
  • the image sensor 102 may continuously take images at a number of frames to several hundred frames per second.
  • the image sensor 102 may include, for example, a camera mounted on a digital camera, a mobile phone, or a smart device.
  • the image sensor 102 is turned on/off from the on/off image captured in each frame.
  • a data extraction unit for extracting corresponding data may be further included.
  • the data extraction unit may be included in the processor 103.
  • the processor 103 can process the visible light signal received by the image sensor 102. For example, the processor 103 may demodulate or decode the visible light signal received by the image sensor 102.
  • the processor 103 may be implemented as one or more hardware and/or software modules or combinations thereof that perform the above-mentioned processing.
  • the processor 103 may process an image received from the external device 200.
  • the type of the image processing process performed by the processor 103 is not limited.
  • the image processing performed by the processor 103 includes, for example, de-multiplexing for dividing an input stream into sub-streams of video, audio, and additional data, and decoding corresponding to the video format of the video stream ( decoding, de-interlacing that converts an interlaced video stream to a progressive method, scaling to adjust the video stream to a preset resolution, and noise reduction to improve video quality reduction), detail enhancement, frame refresh rate conversion, and the like.
  • the processor 103 may perform control for the various components of the electronic device 100 to operate.
  • the processor 103 may execute a control program (or instruction) that allows such a control operation to be performed.
  • the electronic device 100 may further include a nonvolatile memory in which the control program is installed, and a volatile memory in which at least a part of the installed control program is loaded.
  • such a control program may be stored in electronic devices other than the electronic device 100.
  • the control program may include program(s) implemented in at least one of a BIOS, a device driver, an operating system, a firmware, a platform, and an application program (application).
  • the application program is pre-installed or stored in the electronic device 100 at the time of manufacture of the electronic device 100, or receives data of the application program from the outside when it is used later, and based on the received data. It may be installed in the electronic device 100.
  • the data of the application program may be downloaded from the external server, such as the application market, to the electronic device 100, but is not limited thereto.
  • the processor 103 may be implemented in the form of a device, S/W module, circuit, chip, or a combination thereof.
  • an operation performed by the processor 103 by executing a control program according to an embodiment of the present invention may be described as an operation of the processor 103 without referring to a control program for convenience of description.
  • the processor 103 can control the display 101 to display an image based on data obtained from visible light received by the image sensor 102, and the image sensor 102 to change the reception characteristics You can also control.
  • the electronic device 100 shown in FIG. 2 is implemented as a configuration that performs processing and control together in one processor 103, this is only an example, and the electronic device according to another embodiment of the present invention The 100 may be implemented in a configuration additionally equipped with a control unit separately from the processor 103.
  • the external device 200 includes a display 201 and a processor 202.
  • the configuration of the external device 200 illustrated in FIG. 2 is only an example, and the external device 200 according to an embodiment of the present invention may be implemented in another configuration. That is, the external device 200 according to an embodiment of the present invention may be implemented in addition to the configuration illustrated in FIG. 2, or other components may be excluded from the configuration illustrated in FIG. 2.
  • each component may be implemented with at least one hardware and/or software, and may be implemented with a circuit or a chip.
  • the display 201 of the external device 200 may serve as a transmitter in visible light communication (VLC) or optical camera communication (OCC), in which case the display 201 includes a light source.
  • VLC visible light communication
  • OCC optical camera communication
  • the display 201 includes a light source.
  • the light source may be a backlight unit (BLU).
  • BLU backlight unit
  • One or more light sources may be provided and are turned on or off according to a preset pulse rate. The pulse speed is adjustable.
  • a plurality of light sources When a plurality of light sources are provided, they may be arranged in 1 ⁇ N, may be arranged in M ⁇ 1, or may be arranged in M ⁇ N. Alternatively, it may be arranged in various shapes such as a circular shape, a radial shape, and an oval shape, not a matrix shape.
  • On/off of the light source is determined according to information to be transmitted. For example, it is possible to make on and off correspond to binary data 1 and 0, respectively.
  • FIG. 3 is a flowchart illustrating the operation of the electronic device 100 according to an embodiment of the present invention.
  • the processor 103 of the electronic device 100 controls the display 101 to display an image based on data obtained from visible light received by the image sensor 102 (S301) ). That is, the processor 103 controls the display 101 so that an image based on visible light sensed by the image sensor 102 is displayed on the display 101. For example, when the image sensor 102 of the electronic device 100 faces the display 201 of the external device 200, the image sensor 102 is visible light output from the display 201 of the external device 200 That is, the image output from the external device 200 is sensed, and the processor 103 can control the display 101 to display the image detected from the external device 200.
  • the processor 103 adjusts the reception characteristics of the image sensor 102 (S302).
  • the reason why the processor 103 adjusts the reception characteristics of the image sensor 102 is to receive a signal transmitted from the external device 200 to the electronic device 100 as a method of visible light communication, that is, the image sensor 102
  • the purpose is to enable A to act as a receiver of a visible light communication system. Therefore, here, adjusting the reception characteristics of the image sensor 102 includes changing the exposure time of the image sensor 102 or changing the camera sensitivity of the image sensor 102.
  • the content of the reception characteristic adjustment is not limited to this, and any adjustment or setting change necessary to receive a transmission signal according to visible light communication through the image sensor 102 may be included. Meanwhile, the reception characteristic adjustment of the image sensor 102 may be performed by the processor 103 or may be performed according to a user input.
  • the processor 103 controls the display 101 to perform a user visibility enhancement function for an image displayed on the display 101 (S303).
  • the user visibility enhancement function may be controlled.
  • an image is displayed on the display 101 based on visible light received by the image sensor 102, for example, an image output from the display 201 of the external device 200 is displayed on the image sensor 102.
  • the image sensor of the adjusted reception characteristic ( 102) for example, as shown in FIG.
  • the processor 103 may solve the problem of deterioration in visibility by controlling the display 101 to perform a user visibility enhancement function.
  • the user visibility improvement function includes improving or reducing image distortion caused by adjustment of the reception characteristics of the image sensor 102, and improving the reduced visibility of the image displayed on the display 101 of the electronic device 100. You can include anything you can do. A specific example of the user visibility improvement function will be described later.
  • the processor 103 identifies information transmitted by the external device 200 that outputs the visible light from the data of the visible light received with the adjusted reception characteristics (S304). That is, the processor 103 receives the visible light communication signal transmitted by the external device 200 through the image sensor 102 whose reception characteristics are adjusted, and identifies information contained in the signal. Thereafter, the processor 103 performs an operation based on the identified information (S305).
  • OCC communication can be performed without distortion of image information.
  • FIG 5 shows an overview of a communication method of the electronic device 100 according to an embodiment of the present invention, that is, OCC communication.
  • the role of the light source of the transmitter in OCC communication may be performed by the backlight unit (BLU) 500.
  • the backlight unit 500 converts the digital signal to blinking of the backlight unit 500 while blinking at a preset pulse rate, for example, 200 pulses per second.
  • the backlight unit 500 is received by turning off the backlight unit 500 for 0 and turning on the backlight unit 500 for 1 for a digital signal consisting of 0s and 1s.
  • the digital signal may be converted into a visible light signal and output (S501).
  • the visible light signal output as described above from the external device 200 may be received by the electronic device 100.
  • the image sensor 102 of the electronic device 100 photographs the visible light signal output by the backlight unit 500 of the external device 200 at a preset frame rate, for example, 30 frames per second.
  • Each frame data may be generated (S502).
  • the electronic device 100 may further include a frame buffer to store frame data.
  • the processor 103 may convert the visible light signal output from the external device 200 into a digital signal by sampling the frame data at a predetermined sample rate (S503).
  • 6 to 7 illustrate examples of operations performed by the electronic device 100 according to information transmitted by the external device 200 according to an embodiment of the present invention.
  • the image sensor 102 of the electronic device 100 displays the display 201 of the external device 200. Headed. That is, the image sensor 102 of the electronic device 100 detects an image output by the display 201 of the external device 200 so that it can be displayed on the display 101 of the electronic device 100 at the same time ,
  • the OCC communication signal transmitted by the external device 200 is also received. That is, when the electronic device 100 performs OCC communication with the external device 200, the electronic device 100 receives the OCC communication signal simultaneously with the video information from the external device 200.
  • the processor 103 of the electronic device 100 along with the image information output from the external device 200, the information transmitted through the OCC communication signal from the external device 200 (hereinafter also referred to as'OCC transmission information') It may need to be marked.
  • the processor 103 of the electronic device 100 when the information transmitted from the external device 200 to the electronic device 100 through OCC communication is the advertisement information 601, the processor 103 of the electronic device 100, as shown in FIG.
  • the advertisement information 601 may be received and displayed together with the screen 600 of the external device.
  • AR Augmented Reality
  • the processor 103 of the electronic device 100 is illustrated in FIG. 7.
  • the corresponding AR information 701 may be received and displayed together with the screen 700 of the external device.
  • the OCC transmission information transmitted from the external device 200 to the electronic device 100 through OCC communication is the advertisement information 601 or AR information ( 701).
  • the OCC transmission information may include a work commentary, news articles, and addresses of related sites.
  • the OCC transmission information is not limited to information related to image information of the external device 200. Even if it is not related to the image information of the external device 200, any information that can be transmitted through OCC communication can be transmitted from the external device 200 to the electronic device 100, and the processor 103 of the electronic device 100 ) May identify the transmitted information and perform an operation based on the identified information.
  • FIG. 8 is a flowchart illustrating the operation of the electronic device 100 according to an embodiment of the present invention.
  • the image sensor 102 detects an image (S801). For example, when the image sensor 102 is provided with a lens, the image sensor 102 may detect an image received through the lens. When the image sensor 102 is toward the display 201 of the external device 200, the image sensor 102 may sense an image output from the display 201 of the external device 200.
  • the image sensor 102 is directed to the display 201 of the external device 200 will be described as an example.
  • the processor 103 receives the image sensed by the image sensor 102 and controls the display 101 to display the detected image (S802).
  • the image sensed by the image sensor 102 is not necessarily transmitted to the processor 103.
  • the image sensor 102 notifies the processor 103 of the image detection fact by generating an image detection event after detecting the image, and the processor 103 receiving the notification is the image detected by the image sensor 102
  • the image sensor 102 may be controlled to be transmitted from the image sensor 102 to the display 101 instead of the processor 103.
  • the processor 103 directly monitors the occurrence of an event in which the image sensor 102 senses an image
  • the image sensed by the image sensor 102 is transmitted from the image sensor 102 to the display 101.
  • the sensor 102 can also be controlled.
  • an image output from the display 201 of the external device 200 is displayed on the display 101 of the electronic device 100 in real time.
  • the processor 103 adjusts the reception characteristic of the image sensor 102 in order to receive the OCC communication signal transmitted from the external device 200 (S804).
  • the processor 103 controls the display 101 to perform a user visibility enhancement function for an image displayed on the display 101 (S803).
  • the processor 103 may stop the image displayed on the display 101 while the OCC communication signal is received. That is, the processor 103 displays before the reception characteristic of the image sensor 102 is adjusted while the reception characteristic of the image sensor 102 is adjusted or while the image sensor 102 is operated according to the adjusted reception characteristic.
  • the image displayed in (101) may be displayed continuously (S803).
  • the image sensor 102 detects the OCC transmission information transmitted through the OCC communication method according to the adjusted reception characteristics (S805), and the processor 103 identifies the detected OCC transmission information Then, the information is grasped (S806).
  • the identification of the OCC transmission information may be performed by the image sensor 102.
  • the processor 103 may control the image sensor 102 so that the reception characteristics of the image sensor 102 are restored (S807). Subsequently, when an image is detected by the image sensor 102 (S808), the processor 103 controls the display 101 to display the detected image, and at the same time, an operation based on the identified OCC information, for example The operation of controlling the display 101 may be performed such that the identified OCC transmission information is displayed together with the image detected by the image sensor 102 (S809).
  • the real-time image 810 of the external device 200 is displayed on the display 101 of the electronic device 100. Is displayed. Thereafter, the reception characteristics of the image sensor 102 are adjusted so that the image sensor 102 receives the OCC transmission information and while the OCC transmission information received by the processor 103 or the image sensor 102 is identified, the external device 200 ), the image displayed on the display 101 of the electronic device 100 is displayed on the display 101 before the reception characteristic of the image 820, that is, the image sensor 102 is adjusted.
  • the image detected by the image sensor 102 whose reception characteristics are adjusted for reception of the OCC transmission information, that is, an image distorted by streaks, etc. is displayed 101 Since it is not displayed in the image, even if the reception characteristic of the image sensor 102 is adjusted to receive the OCC transmission information, distortion does not occur in the image displayed on the display 101, thereby improving user visibility.
  • FIG. 9 is a view showing comparison of the operation of an electronic device according to an embodiment of the present invention with an electronic device according to the prior art.
  • the electronic device 100 when the reception characteristic of the image sensor 102 is changed to receive the OCC transmission information, the image displayed on the display 101 is transmitted to the image sensor 102 where the reception characteristic is changed. Since it is an image sensed by the user, the image output on the display 101 has streaks and the user's visibility is degraded (910). Accordingly, even when receiving and identifying the OCC transmission information and displaying the UI 901 regarding the OCC transmission information on the display 101, the problem that the user's visibility is reduced due to streaks in the image output on the display 101 It was still (920).
  • the electronic device 100 when the reception characteristic of the image sensor 102 is changed to receive the OCC transmission information, the image displayed on the display 101, the reception characteristic Since the image is not the image sensed by the changed image sensor 102, but the image detected and displayed by the image sensor 102 before the reception characteristic is changed, streaks appear in the image output to the display 101, thereby deteriorating the user's visibility. Is improved (930).
  • the OCC transmission information when receiving and identifying the OCC transmission information is completed and displaying the UI 901 related to the OCC transmission information on the display 101, since there is no distortion of the image output on the display 101, the OCC transmission information
  • the UI 901 may be displayed together with an undistorted image.
  • any method for displaying the undistorted image on the display 101 while the OCC transmission information is received may correspond to a user visibility improvement function.
  • the processor 103 of the electronic device 100 adjusts the reception characteristics of the image sensor 102 to receive and/or identify OCC transmission information while OCC transmission information is received.
  • the display 101 can be controlled to show the user about the progress.
  • the processor 103 of the electronic device 100 as shown in FIG.
  • the display 101 may be controlled to display an image generated by using artificial intelligence technology as an image that can be connected to the last image displayed on the display 101.
  • FIG. 12 illustrates an operation of the electronic device 100 according to another embodiment of the present invention. According to this embodiment, the adjustment of the reception characteristics of the image sensor 102 may be automatically performed by the electronic device 100. An example thereof will be described in more detail with reference to FIG. 12.
  • the processor 103 controls the display 101 to display an image based on data obtained from visible light received by the image sensor 102 (S1201). That is, the processor 103 controls the display 101 so that the image sensed by the image sensor 102 is displayed.
  • the processor 103 adjusts the reception characteristic of the image sensor 102 to the first setting (S1202).
  • the first setting may be anything as long as the reception characteristics of the image sensor 102, for example, the exposure time of the image sensor 102 or the camera sensitivity of the image sensor 102 are set to a predetermined value.
  • the processor 103 controls the display 101 to perform a user visibility enhancement function for the displayed image while the reception characteristics of the image sensor are adjusted (S1203).
  • the user visibility enhancement function may be, for example, a function of stopping an image displayed on the display 101 while the OCC transmission information is received, as described above, and progress regarding reception and/or identification of the OCC transmission information It may be a function to display, or a function to display a user-customized advertisement.
  • the processor 103 After adjusting the reception characteristic of the image sensor 102 to the first setting, the processor 103 identifies information transmitted by the external device 200 that outputs visible light from the data of visible light received with the adjusted reception characteristic. (S1204). That is, the processor 103 identifies OCC transmission information transmitted by the external device 200.
  • the processor 103 When the identification of the information from the visible light data is successful, that is, the identification of the OCC transmission information is successful, the processor 103 performs an operation based on the identified information (S1206). As the operation based on the identified OCC transmission information, the processor 103 may display the advertisement information 601 or the AR information 701 together with the screen of the external device 200, for example, as described above.
  • the processor 103 adjusts the reception characteristic of the image sensor to a setting different from the first setting (S1207), and attempts the steps below the identification of the OCC transmission information.
  • the processor 103 automatically adjusts the reception characteristics of the image sensor 102 capable of identifying the OCC transmission information, the user convenience is increased by comparing the adjustment of the reception characteristics with that performed by the user individually. .
  • FIG 13 illustrates the operation of the electronic device 100 according to another embodiment of the present invention.
  • the image sensor 102 faces the external device 200. It must be manipulated. To this end, the user needs to know that the external device 200 is transmitting information according to the current OCC communication before that, or the OCC transmission by the external device 200 will start later. According to the present embodiment, the user may be provided with a notification that the external device 200 is transmitting or planning to transmit information according to OCC communication. An example will be described with reference to FIG. 13.
  • the processor 103 may control the display 101 to display a notification message including a UI regarding an application capable of identifying the information, in response to the external device 200 outputting visible light transmitting information. . That is, the processor 103 may display a notification message regarding the external device 200 in response to the transmission or transmission of the OCC transmission information.
  • the processor 103 may recognize this by receiving a notification signal sent from the external device 200.
  • the processor 103 may recognize this by directly monitoring the state change of the external device 200.
  • the external device 200 serving as an OCC transmitter can notify the electronic device 100 serving as an OCC receiver. have.
  • the processor 103 may control the display 101 to display a notification message including a UI regarding an application capable of identifying OCC transmission information.
  • the processor 103 controls the UI 1301 indicating that OCC data is being transmitted from the external device 200, for example, a TV, to be displayed on the display 101, and at the same time, an image sensor By operating (102), it is possible to control the display 101 so that the UIs 1302 and 1303 related to an application (hereinafter also referred to as an'OCC app') capable of receiving and identifying OCC transmission information are displayed together.
  • the processor 103 may control the selection button 1302 that can directly launch the OCC app to be displayed on the display 101.
  • the user can be notified of the fact that the OCC transmission information is being transmitted from the external device 200, and furthermore, the user convenience can be improved because the user can directly select a menu to immediately launch the OCC app.
  • FIG 14 shows the operation of the electronic device 100 according to another embodiment of the present invention.
  • the user may send an image sensor 102 of the electronic device 100 to any external device 200 among the plurality of external devices 200 You may not know if you should be facing. According to this embodiment, the user can be provided with a notification about what the external device 200 is transmitting the OCC transmission information. An example will be described with reference to FIG. 14.
  • the processor 103 displays the In the image, the display 101 may be controlled to identify the external device 200 in which OCC transmission information is being transmitted, and to display a UI inducing the image sensor 102 to approach the external device 200. .
  • the processor 103 identifies the external device 1400 in which the OCC transmission information is being transmitted from the displayed image.
  • the display 101 can be controlled to display a UI that leads the image sensor 102 to the external device 1400, for example, a graphical UI 1401 as shown in FIG. 14.
  • the processor 103 is an external device transmitting OCC transmission information based on the current image.
  • the user can receive the guidance regarding the location of the external device 200 transmitting the OCC transmission information, thereby bringing the image sensor 102 closer to the corresponding location, thereby improving user convenience.
  • the electronic device 100 directly recognizes the existence of the external device 200 that provides OCC transmission information in the image sensed by the image sensor 102, so that the external device 200 is detected In this case, it is possible to perform a user visibility improvement function or the like. This will be described in detail with reference to FIG. 15.
  • the processor 103 controls the display 101 to display an image based on data obtained from visible light received by the image sensor 102 (S1501). That is, the processor 103 controls the display 101 so that the image sensed by the image sensor 102 is displayed.
  • the processor 103 recognizes whether there is an external device 200, for example, a TV, in the image displayed on the display 101 (S1502).
  • an external device 200 such as a TV in an image
  • a method of recognizing the external device 200 in the image itself by using machine learning or deep learning technology an indicator LED transmitted from the external device 200 B How to recognize the external device 200 through the shape/color/blink of LOGO, how to recognize a specific pattern in the video content of the TV, and transmit the signal through a wireless signal transmitted by Bluetooth or Wi-Fi, etc.
  • a method of recognizing the external device 200 to be used may be used, but the method of recognizing the external device 200 in an image is not limited thereto.
  • the processor 103 continues to perform the operation of controlling the display 101 to display the image sensed by the image sensor 102 as it is (S1501).
  • the processor 103 When the processor 103 recognizes the TV, the processor 103 then adjusts the reception characteristics of the image sensor 102, for example, the operation of the present invention related to the reception of the OCC transmission information (S1503) and During the adjustment, an operation (S1504) for performing a user visibility improvement function is performed. After the reception characteristics of the image sensor 102 are adjusted, the processor 103 identifies information transmitted by the external device 200 that outputs visible light from the data of visible light received with the adjusted reception characteristics (S1505), An operation is performed based on the identified information (S1506). For the identification of the OCC transmission information and the operation based on the identified information, the above-described contents are applicable as well.
  • the external device for transmitting the OCC information since the external device for transmitting the OCC information is automatically recognized and the user visibility improvement function is performed, the appropriateness of providing the visibility improvement function is improved.
  • the processor 103 may identify information transmitted by an external device that outputs visible light from data in an area corresponding to the external device 200 among the images displayed on the display 101. Can be. That is, in identifying the OCC transmission information transmitted by the external device 200, rather than receiving and identifying the OCC transmission information for the entire area of the display 100, the area recognized as the existence of the external device 200 Alternatively, an operation for receiving and identifying OCC transmission information may be performed on an area corresponding to the external device 200.
  • the speed, accuracy and/or efficiency of identification of the OCC transmission information is improved.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 전자장치에 관한 것으로서, 전자장치는 디스플레이; 이미지센서; 및 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이를 제어하고, 이미지센서의 수신특성을 조정하고, 이미지센서의 수신특성이 조정되는 동안, 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이를 제어하고, 조정된 수신특성으로 수신되는 가시광의 데이터로부터 가시광을 출력한 외부장치가 전송한 정보를 식별하고, 식별된 정보에 기초하여 동작을 수행하는 프로세서를 포함한다.

Description

전자장치 및 그 제어방법
본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 가시광에 기초한 통신을 수행하는 전자장치 및 그 제어방법에 관한 것이다.
가시광 통신(VLC; Visible Light Communication)은 가시광(Visible Light) 대역의 LED(Light Emitting Diode) 또는 LD(Laser Diode)를 이용한 차세대 근거리 통신이다.
광 카메라 통신(OCC; Optical Camera Communication)은 VLC 기술의 실용적인 버전으로서, 스마트폰, 태블릿 등 전자장치의 카메라 또는 이미지 센서를 사용하여 구현할 수 있다. 이는 포토다이오드(PD; Photo Diode)를 사용하는 Li-Fi보다 더 저렴한 비용으로 다양한 서비스를 쉽게 구현할 수 있게 해준다.
OCC 통신 시스템에서는 OCC 데이터를 수신하기 위해 이미지 센서의 노출설정을 조절한다. 그러나 그 경우 전자장치의 화면에 표시되는 영상에 줄무늬가 발생하거나 화질이 변화하는 등 영상에 왜곡이 발생한다. 이로 인해 사용자에게 제공되는 영상의 시인성이 저하된다.
이에 본 발명은, 영상정보의 왜곡 또는 시인성 저하 없이 OCC 통신을 수행할 수 있는 전자장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자장치는, 디스플레이; 이미지센서; 및 상기 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 이미지센서의 수신특성을 조정하고, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하고, 상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하고, 상기 식별된 정보에 기초하여 동작을 수행하는 프로세서를 포함한다.
상기 사용자 시인성 향상 기능은, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 이미지센서의 수신특성이 조정되기 전에 상기 디스플레이에 표시된 영상이 계속 표시되도록 할 수 있다.
상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함할 수 있다.
상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시할 수 있다.
상기 프로세서는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정할 수 있다.
상기 프로세서는 상기 가시광을 출력한 외부장치가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 이미지센서를 상기 외부장치에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 식별에 기초하여 상기 이미지센서의 수신특성 조정 및 상기 사용자 시인성 향상 기능이 수행되도록 할 수 있다.
상기 프로세서는 상기 영상 중 상기 외부장치에 대응하는 영역의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자장치의 제어방법은, 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이를 제어하는 단계; 상기 이미지센서의 수신특성을 조정하는 단계; 상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하는 단계; 상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하는 단계; 및 상기 식별된 정보에 기초하여 동작을 수행하는 단계를 포함한다.
상기 사용자 시인성 향상 기능은, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 이미지센서의 수신특성이 조정되기 전에 상기 디스플레이에 표시된 영상이 계속 표시되도록 할 수 있다.
상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함할 수 있다.
상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시할 수 있다.
상기 이미지센서의 수신특성을 조정하는 단계는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정할 수 있다.
상기 제어방법은, 상기 가시광을 출력한 외부장치가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 상기 디스플레이를 제어하는 단계를 포함할 수 있다.
상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 이미지센서를 상기 외부장치에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어방법은, 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 식별에 기초하여 상기 이미지센서의 수신특성 조정 및 상기 사용자 시인성 향상 기능이 수행되도록 하는 단계를 포함할 수 있다.
상기 외부장치가 전송한 정보를 식별하는 단계는, 상기 영상 중 상기 외부장치에 대응하는 영역의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 전자장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 전자장치에 다운로드 될 수 있다.
상기한 바와 같이, 본 발명에 의하면, 영상정보의 왜곡 또는 시인성 저하 없이 OCC 통신을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자장치를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 나타내는 블록도,
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작을 나타내는 흐름도,
도 4는 종래 기술에 따른 전자장치의 문제점을 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 전자장치의 통신 방법 개요를 나타내는 도면,
도 6은 본 발명의 일 실시예에 따른 전자장치가 외부장치가 전송한 정보에 따라 수행하는 동작의 일 예를 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 전자장치가 외부장치가 전송한 정보에 따라 수행하는 동작의 다른 예를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작을 나타내는 흐름도,
도 9는 본 발명의 일 실시예에 따른 전자장치와 종래 기술에 따른 전자장치의 동작을 비교하여 나타내는 도면,
도 10은 본 발명의 일 실시예에 따른 전자장치의 시인성 향상 기능의 일 예를 나타내는 도면,
도 11은 본 발명의 일 실시예에 따른 전자장치의 시인성 향상 기능의 다른 예를 나타내는 도면,
도 12는 본 발명의 다른 실시예에 따른 전자장치의 동작을 나타내는 도면,
도 13은 본 발명의 또 다른 실시예에 따른 전자장치의 동작을 나타내는 도면,
도 14는 본 발명의 또 다른 실시예에 따른 전자장치의 동작을 나타내는 도면,
도 15는 본 발명의 또 다른 실시예에 따른 전자장치의 동작을 나타내는 도면.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며 복수의 실시예가 선택적으로 조합되어 구현될 수 있다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다. 또한, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자장치(100)를 도시한다.
본 발명의 일 실시예에 따른 전자장치(100)는, 예컨대, 스마트폰으로 구현될 수 있다. 또는, 본 발명의 일 실시예에 따른 전자장치(100)는, 예컨대, 태블릿, 모바일폰, 랩탑, 디지털카메라 등으로 구현될 수도 있다. 본 발명의 일 실시예에 따른 전자장치(100)는 외부장치(200)와의 사이에서 가시광 통신을 수행할 수 있다. 본 발명의 일 실시예에 따른 외부장치(200)는, 예컨대 TV, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 스마트냉장고 등의 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 전자장치(100)와 외부장치(200)는 이에 한정되지 않고, 외부장치(200)는 가시광을 출력할 수 있는 장치라면 무엇이든 가능하고, 전자장치(100)는 외부장치(200)가 출력한 가시광을 수신하는 등의 방법으로 가시광 통신을 할 수 있는 장치라면 무엇이든 가능하다. 다만 이하에서는 설명의 편의를 위하여 전자장치(100)는 스마트폰, 외부장치(200)는 TV인 경우를 전제로 하고, 전자장치(100)와 외부장치(200)는 광 카메라 통신(이하 'OCC 통신'이라고도 함)을 수행하는 예를 설명한다.
도 2는 본 발명의 일 실시예에 따른 전자장치(100)의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 전자장치(100)는 디스플레이(101), 이미지센서(102), 프로세서(103)를 포함한다. 다만, 도 2에 도시된 본 전자장치(100)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 전자장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 전자장치는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다. 본 발명의 실시예에서, 각 구성은, 적어도 하나의 하드웨어 및/또는 소프트웨어로 구현될 수 있으며, 회로나 칩으로 구현될 수 있다.
디스플레이(101)는 영상을 표시할 수 있다. 디스플레이(101)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이(101)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이(101)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
이미지센서(102)는 외부장치(200)가 출력한 가시광을 감지 또는 수신할 수 있다. 이미지센서(102)는 가시광통신(VLC) 또는 광 카메라 통신(OCC)에 있어서 수신기(receiver)의 역할을 한다. 이미지센서(102)는 광원을 촬영 또는 감지하고 광원의 온/오프(on/off)에 대응하는 데이터를 추출하도록 하는 장치로서, 예를 들어 기설정된 프레임속도(frame rate)에 따라 광원의 온/오프 이미지를 연속 프레임으로 촬영하고 그 촬영된 온/오프 이미지로부터 데이터 또는 정보를 추출할 수 있다. 이미지센서(102)의 프레임속도는 광원의 펄스속도와 같을 수도 있고 다를 수도 있다. 이미지센서(102)는 광원이 온 또는 오프되는 중에 임의의 시점에 촬영을 시작할 수 있다. 이미지센서(102)는 초당 수 내지 수백 프레임으로 이미지를 연속으로 촬영할 수 있다. 이미지센서(102)는 예컨대, 디지털 카메라, 휴대폰, 또는 스마트기기 등에 탑재된 카메라를 포함할 수 있다.
이미지센서(102)는 기설정된 펄스속도로 온/오프되는 광원을 연속프레임으로 촬영하여 광원의 온/오프 이미지를 획득하기 위한 구성 외에, 각 프레임에서 촬영된 온/오프 이미지로부터 해당 온/오프에 대응하는 데이터를 추출하기 위한 데이터추출부를 더 포함할 수 있다. 또는, 데이터추출부는 프로세서(103)에 포함될 수도 있다. 광원의 온/오프 펄스에 대응하는 데이터를 추출함으로써 전자장치(100)는 광원으로부터 전송되는 데이터를 수신할 수 있게 되어 광학 카메라 통신이 가능하게 된다.
프로세서(103)는 이미지센서(102)에 의해 수신된 가시광 신호를 처리할 수 있다. 예를 들어, 프로세서(103)는 이미지센서(102)에 의해 수신된 가시광신호를 디모듈레이트(demodulate)하거나 디코딩(decoding)할 수 있다. 프로세서(103)는 이상 언급된 처리를 수행하는 하나 이상의 하드웨어 및/또는 소프트웨어 모듈 혹은 그 조합으로서 구현될 수 있다.
프로세서(103)는 외부장치(200)로부터 수신한 영상을 처리할 수 있다. 프로세서(103)가 수행하는 영상처리 프로세스의 종류는 한정되지 않는다. 프로세서(103)에서 수행하는 영상처리는, 예를 들어, 입력되는 스트림을 영상, 음성, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(de-multiplexing), 영상스트림의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상스트림을 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상스트림을 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
프로세서(103)는, 전자장치(100)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 프로세서(103)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행할 수 있다. 이 경우, 전자장치(100)는, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 더 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 전자장치(100) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(100)의 제조 시에 전자장치(100)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(100)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(100)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 프로세서(103)는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다. 이하, 본 발명의 일 실시예에 의한 프로세서(103)가 제어프로그램을 실행하여 수행하는 동작을, 설명의 편의상, 제어프로그램을 언급하지 않고, 프로세서(103)의 동작으로 설명할 수 있다.
프로세서(103)는, 예컨대, 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어할 수 있고, 수신특성이 변경되도록 이미지센서(102)를 제어할 수도 있다. 도 2에 도시된 전자장치(100)는 하나의 프로세서(103)에서 처리와 제어를 함께 수행하는 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 전자장치(100)는 프로세서(103)와 별도로 제어부를 추가 구비한 구성으로 구현될 수도 있다.
외부장치(200)는 디스플레이(201)와 프로세서(202)를 포함한다. 다만, 도 2에 도시된 외부장치(200)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 외부장치(200)는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 외부장치(200)는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다. 본 발명의 실시예에서, 각 구성은, 적어도 하나의 하드웨어 및/또는 소프트웨어로 구현될 수 있으며, 회로나 칩으로 구현될 수 있다.
외부장치(200)의 디스플레이(201)와 프로세서(202)는 각각, 전자장치(100)의 디스플레이(101) 및 프로세서(103)에 관한 설명이 동일하게 적용 가능하므로, 구체적인 설명은 생략한다. 다만, 외부장치(200)의 디스플레이(201)의 경우, 가시광통신(VLC) 또는 광 카메라 통신(OCC)에 있어서 송신기(transmitter) 역할을 수행할 수 있고, 그 경우 디스플레이(201)는 광원을 포함할 수 있다. 예를 들어 디스플레이(201)가 TFT-LCD 디스플레이로 구현된 경우, 광원은 백라이트유닛(BLU)일 수 있다. 광원은 하나 또는 둘 이상 구비될 수 있으며 기설정된 펄스속도(pulse rate)에 따라 온(on) 또는 오프(off)된다. 펄스속도는 조정 가능하다. 다수의 광원을 구비하는 경우 1×N으로 배열될 수 있고, M×1으로 배열될 수도 있으며, M×N으로 배열될 수도 있다. 또는, 매트릭스 형태가 아니라 원형, 방사형, 타원형 등 다양한 형태로 배열될 수도 있다. 광원은 전송하고자 하는 정보에 따라 온/오프가 결정된다. 예컨대, 이진 데이터 1과 0에 각각 온(on)과 오프(off)가 대응되도록 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치(100)의 동작을 나타내는 흐름도이다.
본 발명의 일 실시예에 따른 전자장치(100)의 프로세서(103)는, 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어한다(S301). 즉, 프로세서(103)는 이미지센서(102)에 의해 감지된 가시광에 기초한 영상이 디스플레이(101)에 표시되도록 디스플레이(101)를 제어한다. 예를 들어, 전자장치(100)의 이미지센서(102)가 외부장치(200)의 디스플레이(201)를 향하는 경우, 이미지센서(102)는 외부장치(200)의 디스플레이(201)에서 출력되는 가시광, 즉 외부장치(200)에서 출력되는 영상을 감지하게 되고, 프로세서(103)는 외부장치(200)에서 출력되는 영상을 감지한 영상이 표시되도록 디스플레이(101)를 제어할 수 있다.
프로세서(103)는 이미지센서(102)의 수신특성을 조정한다(S302). 프로세서(103)가 이미지센서(102)의 수신특성을 조정하는 이유는, 가시광 통신의 방법으로 외부장치(200)에서 전자장치(100)로 전송되는 신호를 수신하기 위하여, 즉 이미지센서(102)가 가시광 통신 시스템의 수신기의 역할을 수행할 수 있도록 하기 위함이다. 따라서 여기서 이미지센서(102)의 수신특성을 조정하는 것은, 이미지센서(102)의 노출시간을 변경하거나, 이미지센서(102)의 카메라감도를 변경하는 것을 포함한다. 다만, 수신특성 조정의 내용이 이에 한정되는 것은 아니고, 가시광 통신에 따른 전송신호를 이미지센서(102)를 통해 수신하기 위해 필요한 조정 또는 설정변경이라면 무엇이든 포함할 수 있다. 한편, 이미지센서(102)의 수신특성 조정은 프로세서(103)에 의해 수행될 수도 있고, 사용자의 입력에 따라 수행될 수도 있다.
프로세서(103)는 이미지센서(102)의 수신특성이 조정되는 동안, 디스플레이(101)에 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이(101)를 제어한다(S303). 이미지센서(102)의 수신특성이 조정되기 전에 사용자 시인성 향상 기능이 수행되도록 제어할 수도 있다. 이미지센서(102)에 의해 수신되는 가시광에 기초하여 영상이 디스플레이(101)에 표시되고 있는 상황에서, 예를 들어 외부장치(200)의 디스플레이(201)에서 출력되는 영상이 이미지센서(102)에 의해 감지되어 전자장치(100)의 디스플레이(101)에 표시되고 있는 상황에서, 가시광 통신에 따른 전송신호를 수신하기 위해 이미지센서(102)의 수신특성을 조정할 경우, 조정된 수신특성의 이미지센서(102)에 의해 감지되어 표시되는 영상에는, 예를 들어 도 4와 같이, 줄무늬가 발생하거나(400) 화질이 떨어지는 등 영상에 대한 왜곡이 발생하게 되고, 그로 인해 전자장치(100)의 디스플레이(101)를 통해 감상하는 영상에 대한 사용자의 시인성이 저하된다. 이에 본 발명의 일 실시예에 따른 프로세서(103)는, 사용자 시인성 향상 기능을 수행하도록 디스플레이(101)를 제어함으로써, 시인성 저하 문제를 해결할 수 있다. 여기서 사용자 시인성 향상 기능이란, 이미지센서(102)의 수신특성 조정 등에 따라 발생한 영상 왜곡을 보완하거나 완화하는 것을 포함하여, 전자장치(100)의 디스플레이(101)에 표시되는 영상의 저하된 시인성을 향상시킬 수 있는 방법이라면 무엇이든 포함할 수 있다. 사용자 시인성 향상 기능의 구체적인 예는 후술한다.
프로세서(103)는 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치(200)가 전송한 정보를 식별한다(S304). 즉, 프로세서(103)는 수신특성이 조정된 이미지센서(102)를 통하여, 외부장치(200)가 전송하는 가시광 통신 신호를 수신하고 해당 신호에 담긴 정보를 식별한다. 이후 프로세서(103)는 식별된 정보에 기초하여 동작을 수행한다(S305).
이에 의하면, 영상정보의 왜곡 없이 OCC 통신을 수행할 수 있다.
이하 도 5 내지 도 7을 참조하여 가시광 통신 신호를 수신하여 식별하는 방법 및 그 식별에 기초한 동작 수행에 관해 설명한다.
도 5는 본 발명의 일 실시예에 따른 전자장치(100)의 통신 방법, 즉 OCC 통신의 개요를 도시한다.
외부장치(200)가 TV이고 외부장치(200)의 디스플레이(201)가 TFT-LCD 디스플레이인 경우, OCC 통신에 있어서 발신기의 광원 역할은 백라이트유닛(BLU)(500)에 의해 수행될 수 있다. 그 경우 백라이트유닛(500)은 기설정된 펄스속도, 예를 들어 초당 200번의 펄스속도로 깜빡거리면서 디지털신호를 백라이트유닛(500)의 깜빡거림으로 전환한다. 예를 들어 백라이트유닛(500)은 0과 1로 이루어진 디지털 신호에 대하여, 0에 대해서는 백라이트유닛(500)을 오프(OFF)하고, 1에 대해서는 백라이트유닛(500)을 온(ON) 함으로써 수신된 디지털 신호를 가시광 신호로 전환하여 출력할 수 있다(S501).
외부장치(200)에서 위와 같이 출력된 가시광 신호는 전자장치(100)에 의해 수신될 수 있다. 예를 들어, 전자장치(100)의 이미지센서(102)는 외부장치(200)의 백라이트유닛(500)에 의해 출력되는 가시광 신호를 기설정된 프레임 속도, 예를 들어 초당 30프레임의 속도로 촬영하여 각 프레임 데이터를 생성할 수 있다(S502). 전자장치(100)는 프레임 데이터를 저장하기 위해 프레임 버퍼를 더 포함할 수도 있다. 이후 프로세서(103)는 프레임 데이터를 소정 샘플레이트(sample rate)로 샘플링함으로써 외부장치(200)에서 출력한 가시광 신호를 디지털 신호로 전환할 수 있다(S503).
도 6 내지 도 7은 본 발명의 일 실시예에 따른 전자장치(100)가 외부장치(200)가 전송한 정보에 따라 수행하는 동작의 예를 도시한다.
전자장치(100)가 외부장치(200), 예를 들어 TV가 전송한 OCC 통신 신호를 수신하는 경우, 전자장치(100)의 이미지센서(102)는 외부장치(200)의 디스플레이(201)를 향하게 된다. 즉, 전자장치(100)의 이미지센서(102)는 외부장치(200)의 디스플레이(201)가 출력하는 영상을 감지하여 이를 전자장치(100)의 디스플레이(101)에 표시될 수 있도록 함과 동시에, 외부장치(200)가 전송하는 OCC 통신 신호를 함께 수신한다. 즉, 전자장치(100)가 외부장치(200)와 OCC 통신을 수행하는 경우, 전자장치(100)는 외부장치(200)로부터 영상정보와 동시에 OCC 통신 신호를 수신한다. 따라서 외부장치(200)에서 출력되는 영상정보와 관련성이 있는 각종 부가 정보가 OCC 통신 신호를 통해 전송되면 전자장치(100)의 사용자에게 유용할 수 있다. 이 경우 전자장치(100)의 프로세서(103)는 외부장치(200)로부터 OCC 통신 신호를 통해 전송되는 정보(이하 'OCC 전송정보'라고도 함)를 외부장치(200)에서 출력되는 영상정보와 함께 표시할 필요가 있을 수 있다.
예를 들어, 외부장치(200)가 OCC 통신을 통해 전자장치(100)에 전송한 정보가 광고정보(601)인 경우, 전자장치(100)의 프로세서(103)는, 도 6과 같이, 해당 광고정보(601)를 수신하여 이를 외부장치의 화면(600)과 함께 표시되도록 할 수 있다.
다른 예로, 외부장치(200)가 OCC 통신을 통해 전자장치(100)에 전송한 정보가 AR(Augmented Reality) 정보(701)인 경우, 전자장치(100)의 프로세서(103)는, 도 7과 같이, 해당 AR정보(701)를 수신하여 이를 외부장치의 화면(700)과 함께 표시되도록 할 수 있다.
다만, 도 6과 도 7은 하나의 실시예일뿐, 본 발명에서 외부장치(200)가 OCC 통신을 통해 전자장치(100)에 전송하는 OCC 전송정보가 위와 같이 광고정보(601)나 AR정보(701)로 한정되는 것은 아니다. 예를 들어, OCC 전송정보는 작품 해설, 뉴스 기사, 관련 사이트의 주소 등을 포함할 수 있다. 또한, 본 발명에서 OCC 전송정보가 외부장치(200)의 영상정보와 관련성이 있는 정보에 한정되는 것도 아니다. 외부장치(200)의 영상정보와 관련성이 없더라도 OCC 통신을 통해 전송될 수 있는 정보라면 무엇이든 외부장치(200)에서 전자장치(100)로 전송될 수 있고, 전자장치(100)의 프로세서(103)는 그 전송된 정보를 식별하여 그 식별된 정보에 기초한 동작을 수행할 수 있다.
이하 전자장치(100)에 표시되는 영상에 대한 사용자 시인성 향상 기능의 다양한 예를 도 8 내지 도 11을 참조하여 설명한다.
도 8은 본 발명의 일 실시예에 따른 전자장치(100)의 동작을 나타내는 흐름도이다.
이미지센서(102)는 영상을 감지한다(S801). 예를 들어, 이미지센서(102)가 렌즈를 구비한 경우, 이미지센서(102)는 렌즈를 통과해 수신된 영상을 감지할 수 있다. 이미지센서(102)가 외부장치(200)의 디스플레이(201)를 향해 있는 경우, 이미지센서(102)는 외부장치(200)의 디스플레이(201)에서 출력되는 영상을 감지할 수 있다. 이하에서는 이미지센서(102)가 외부장치(200)의 디스플레이(201)를 향해 있는 경우를 예를 들어 설명한다.
프로세서(103)는 이미지센서(102)가 감지한 영상을 수신하여, 그 감지된 영상을 표시하도록 디스플레이(101)를 제어한다(S802). 다만, 이미지센서(102)가 감지한 영상이 반드시 프로세서(103)로 전송되어야 하는 것은 아니다. 예를 들어 이미지센서(102)는 영상을 감지한 후 영상 감지 이벤트를 발생시킴으로써 영상 감지 사실을 프로세서(103)에 통지하고, 그 통지를 받은 프로세서(103)는 이미지센서(102)가 감지한 영상이, 프로세서(103)가 아닌, 이미지센서(102)에서 디스플레이(101)로 전송되도록 이미지센서(102)를 제어할 수도 있다. 또는, 이미지센서(102)가 영상을 감지한 이벤트의 발생을 프로세서(103)가 직접 모니터링 한 후, 이미지센서(102)가 감지한 영상이 이미지센서(102)에서 디스플레이(101)로 전송되도록 이미지센서(102)를 제어할 수도 있다.
이상의 제어에 따라 전자장치(100)의 디스플레이(101)에는 외부장치(200)의 디스플레이(201)에서 출력되는 영상이 실시간으로 표시된다.
이후 프로세서(103)는, 외부장치(200)에서 전송되는 OCC 통신 신호를 수신하기 위하여, 이미지센서(102)의 수신특성을 조정한다(S804). 이 때, 그와 동시에, 또는 그에 앞서서, 프로세서(103)는 디스플레이(101)에 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이(101)를 제어한다(S803). 사용자 시인성 향상 기능의 일 예로, 프로세서(103)는 OCC 통신 신호가 수신되는 동안에는 디스플레이(101)에 표시되는 영상을 정지시킬 수 있다. 즉, 프로세서(103)는 이미지센서(102)의 수신특성이 조정되는 동안 또는 그 조정된 수신특성에 따라 이미지센서(102)가 동작하는 동안, 이미지센서(102)의 수신특성이 조정되기 전에 디스플레이(101)에 표시된 영상이 계속 표시되도록 할 수 있다(S803).
사용자 시인성 향상 기능이 수행되는 동안, 이미지센서(102)는 조정된 수신특성에 따라 OCC 통신 방식을 통해 전송되는 OCC 전송정보를 감지하고(S805), 프로세서(103)는 감지된 OCC 전송정보를 식별하여 그 정보를 파악한다(S806). OCC 전송정보의 식별은 이미지센서(102)에 의해 수행될 수도 있다.
OCC 전송정보의 수신 및 그 식별이 완료되면, 프로세서(103)는 이미지센서(102)의 수신특성이 복원되도록 이미지센서(102)를 제어할 수 있다(S807). 이후로 이미지센서(102)에 의해 영상이 감지되면(S808), 프로세서(103)는 그 감지된 영상이 표시되도록 디스플레이(101)를 제어함과 동시에, 식별된 OCC 정보에 기초한 동작, 예를 들어 식별된 OCC 전송정보가 이미지센서(102)에 의해 감지된 영상과 함께 표시되도록 디스플레이(101)를 제어하는 동작을 수행할 수 있다(S809).
위 실시예에 의하면, OCC 전송정보의 수신을 위해 이미지센서(102)의 수신특성이 조정되기 전까지는, 외부장치(200)의 실시간 영상(810)이 전자장치(100)의 디스플레이(101)에 표시된다. 이후 이미지센서(102)의 수신특성이 조정되어 이미지센서(102)가 OCC 전송정보를 수신하고 프로세서(103) 또는 이미지센서(102)에 의해 수신된 OCC 전송정보가 식별되는 동안에는, 외부장치(200)의 이전 영상(820), 즉 이미지센서(102)의 수신특성이 조정되기 전에 전자장치(100)의 디스플레이(101)에 표시된 영상이 디스플레이(101)에 표시된다. 이후 OCC 전송정보의 수신이 완료되어 이미지센서(102)의 수신특성이 복원된 후로는, 이미지센서(102)에 의해 감지되는 외부장치(200)의 실시간 영상과, 식별된 OCC 전송정보에 기초한 정보가 결합된 영상(830)이 디스플레이(101)에 함께 표시된다.
이에 의하면, OCC 전송정보가 수신되는 동안에도, OCC 전송정보의 수신을 위하여 수신특성이 조정된 이미지센서(102)에 의해 감지된 영상, 즉 줄무늬가 표시되는 등으로 왜곡된 영상이 디스플레이(101)에 표시되지 않으므로, OCC 전송정보의 수신을 위하여 이미지센서(102)의 수신특성이 조정된 경우에도 디스플레이(101)에 표시되는 영상에는 왜곡이 발생하지 않게 되어 사용자 시인성이 향상된다.
도 9는 본 발명의 일 실시예에 따른 전자장치와 종래 기술에 따른 전자장치의 동작을 비교하여 나타내는 도면이다.
종래 기술에 따른 전자장치(100)에 의하면, OCC 전송정보의 수신을 위해 이미지센서(102)의 수신특성이 변경된 경우, 디스플레이(101)에 표시되는 영상은 수신특성이 변경된 이미지센서(102)에 의해 감지된 영상이므로, 디스플레이(101)에 출력되는 영상에는 줄무늬가 생겨 사용자 시인성이 저하된다(910). 그에 따라 OCC 전송정보의 수신 및 식별이 완료되어 OCC 전송정보에 관한 UI(901)를 디스플레이(101)에 표시함에 있어서도, 디스플레이(101)에 출력되는 영상에 줄무늬가 생겨 사용자 시인성이 저하되는 문제는 여전했다(920).
그에 비해 본 발명의 일 실시예에 따른 전자장치(100)에 따르면, OCC 전송정보의 수신을 위해 이미지센서(102)의 수신특성이 변경된 경우, 디스플레이(101)에 표시되는 영상은, 수신특성이 변경된 이미지센서(102)에 의해 감지된 영상이 아니라, 수신특성이 변경되기 이전의 이미지센서(102)에 의해 감지되어 표시된 영상이므로, 디스플레이(101)에 출력되는 영상에 줄무늬가 생겨 사용자 시인성이 저하되는 문제가 개선된다(930). 또한, OCC 전송정보의 수신 및 식별이 완료되어 OCC 전송정보에 관한 UI(901)를 디스플레이(101)에 표시함에 있어서도, 디스플레이(101)에 출력되는 영상에 대한 왜곡이 없으므로, OCC 전송정보에 관한 UI(901)를 왜곡되지 않은 영상과 함께 표시할 수 있다.
한편, 위 도 8 내지 도 9에서는, 사용자 시인성 향상 기능의 일 예로서, OCC 전송정보가 수신되는 동안에 디스플레이(101)에 표시되는 영상을 정지시키는 방법을 설명했으나, 본 발명이 이에 한정되는 것은 아니고, OCC 전송정보가 수신되는 동안에 디스플레이(101)에 왜곡되지 않은 영상이 표시되도록 하는 방법이라면 무엇이든 사용자 시인성 향상 기능에 해당할 수 있다. 예를 들어, 전자장치(100)의 프로세서(103)는, 도 10과 같이, 이미지센서(102)의 수신특성이 조정되어 OCC 전송정보가 수신되는 동안에, OCC 전송정보의 수신 및/또는 식별에 관한 진행상황을 사용자에게 보여주도록 디스플레이(101)를 제어할 수 있다. 다른 예로, 전자장치(100)의 프로세서(103)는, 도 11과 같이, 이미지센서(102)의 수신특성이 조정되어 OCC 전송정보가 수신되는 동안에, 새롭게 생성한 영상, 예를 들어 사용자 맞춤형 광고 또는 디스플레이(101)에 표시된 마지막 영상과 연결될 수 있는 영상으로서 인공지능 기술을 활용하여 생성된 영상 등이 표시되도록 디스플레이(101)를 제어할 수 있다.
이에 의하면, 다양한 방법을 통해 영상정보의 왜곡 없이 OCC 통신을 수행할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 전자장치(100)의 동작을 도시한다. 본 실시예에 따르면 이미지센서(102)의 수신특성 조정은 전자장치(100)에 의해 자동으로 수행될 수 있다. 도 12를 참조하여 그 일 예를 보다 구체적으로 설명한다.
프로세서(103)는 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어한다(S1201). 즉, 프로세서(103)는 이미지센서(102)가 감지한 영상이 표시되도록 디스플레이(101)를 제어한다.
프로세서(103)는 이미지센서(102)의 수신특성을 제1설정으로 조정한다(S1202). 제1설정은 이미지센서(102)의 수신특성, 예를 들어 이미지센서(102)의 노출시간 또는 이미지센서(102)의 카메라감도를 소정 값으로 설정하는 것이라면 무엇이든 가능하다.
한편, 프로세서(103)는, 이미지센서의 수신특성이 조정되는 동안, 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이(101)를 제어한다(S1203). 사용자 시인성 향상 기능은, 예를 들어 앞서 설명한 바와 같이, OCC 전송정보가 수신되는 동안 디스플레이(101)에 표시되는 영상을 정지시키는 기능일 수도 있고, OCC 전송정보의 수신 및/또는 식별에 관한 진행상황을 표시하는 기능일 수도 있으며, 사용자 맞춤형 광고 등을 표시하는 기능일 수도 있다.
이미지센서(102)의 수신특성을 제1설정으로 조정한 후, 프로세서(103)는 조정된 수신특성으로 수신되는 가시광의 데이터로부터, 가시광을 출력한 외부장치(200)가 전송한 정보를 식별한다(S1204). 즉, 프로세서(103)는 외부장치(200)가 전송한 OCC 전송정보를 식별한다.
가시광의 데이터로부터 정보의 식별이 성공한 경우, 즉, OCC 전송정보 식별에 성공한 경우, 프로세서(103)는 식별된 정보에 기초하여 동작을 수행한다(S1206). 식별된 OCC 전송정보에 기초한 동작으로서 프로세서(103)는, 예를 들어 앞서 설명한 바와 같이, 광고정보(601) 또는 AR정보(701)를 외부장치(200)의 화면과 함께 표시되도록 할 수 있다.
반면, OCC 전송정보 식별에 실패한 경우, 프로세서(103)는 이미지센서의 수신특성을 제1설정과는 다른 설정으로 조정하고(S1207), OCC 전송정보의 식별 이하의 단계를 다시 시도한다.
이에 의하면, OCC 전송정보를 식별할 수 있는 이미지센서(102)의 수신특성 조정을 프로세서(103)가 자동으로 수행하므로, 수신특성의 조정을 사용자가 일일이 수행하는 것과 비교하여, 사용자 편의성이 증대된다.
도 13은 본 발명의 또 다른 실시예에 따른 전자장치(100)의 동작을 도시한다.
전자장치(100)가 외부장치(200)와의 사이에 OCC 통신을 수행하기 위해서는 사용자가 전자장치(100)의 이미지센서(102)를 작동시킨 후 이미지센서(102)가 외부장치(200)를 향하도록 조작해야 한다. 이를 위해서 사용자는 그보다 전에 외부장치(200)가 현재 OCC 통신에 따른 정보를 전송하고 있거나 추후 외부장치(200)에 의한 OCC 전송이 시작될 것임을 알 필요가 있다. 본 실시예에 따르면 사용자는 외부장치(200)가 OCC 통신에 따른 정보를 전송하고 있거나 전송할 예정이라는 점에 관한 알림을 제공받을 수 있다. 도 13을 참조하여 일 예를 설명한다.
프로세서(103)는 가시광을 출력한 외부장치(200)가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 디스플레이(101)를 제어할 수 있다. 즉, 프로세서(103)는 외부장치(200)가 OCC 전송정보를 전송하거나 전송 예정인 것에 대응하여, 이를 관한 알림메시지를 표시할 수 있다. 프로세서(103)가 외부장치(200)가 OCC 전송정보를 전송하거나 전송 예정이라는 점을 인식하는 방법으로서, 프로세서(103)는 외부장치(200)에서 발송된 통지 신호를 수신함으로써 이를 인식할 수도 있고, 프로세서(103)가 외부장치(200)의 상태 변화를 직접 모니터링 함으로써 이를 인식할 수도 있다. 전자의 일 예로서 전자장치(100)와 외부장치(200)가 이미 페어링된 경우에는, OCC 송신기 역할을 수행하는 외부장치(200)에서 OCC 수신기 역할을 하는 전자장치(100)로 통지를 할 수 있다.
알림메시지를 표시하는 방법의 일 예로서 프로세서(103)는, OCC 전송정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 디스플레이(101)를 제어할 수 있다. 예를 들어 도 13과 같이, 프로세서(103)는 외부장치(200), 예를 들어 TV로부터 OCC 데이터가 전송중임을 알리는 UI(1301)를 디스플레이(101)에 표시되도록 제어함과 동시에, 이미지센서(102)를 작동시켜 OCC 전송정보를 수신 및 식별할 수 있는 어플리케이션(이하 'OCC 앱'이라고도 함)에 관한 UI(1302, 1303)가 함께 표시되도록 디스플레이(101)를 제어할 수 있다. OCC 앱에 관한 UI로서 프로세서(103)는 OCC 앱을 바로 실행시킬 수 있는 선택 버튼(1302)이 디스플레이(101)에 표시되도록 제어할 수 있다.
이에 의하면, 사용자는 외부장치(200)로부터 OCC 전송정보가 전송되고 있다는 점에 대한 알림을 받을 수 있고, 나아가 OCC 앱을 바로 실행시킬 수 있는 메뉴를 바로 선택할 수도 있으므로, 사용자 편의성이 향상된다.
도 14는 본 발명의 또 다른 실시예에 따른 전자장치(100)의 동작을 도시한다.
사용자가 외부장치(200)로부터 OCC 전송정보가 전송되고 있다는 점에 대한 알림을 전자장치(100)를 통해 수신함에 따라 OCC 전송정보가 전송되고 있음을 인지한 경우에도, 예를 들어 사용자의 주변에 OCC 전송정보를 전송할 수 있는 외부장치(200)가 복수 개 존재하는 경우 등으로 인해, 사용자는 복수의 외부장치(200) 중 어느 외부장치(200)에 전자장치(100)의 이미지센서(102)를 향하도록 해야 하는지 알 수 없을 수 있다. 본 실시예에 따르면 사용자는 OCC 전송정보를 전송 중인 외부장치(200)가 무엇인지에 관한 알림을 제공받을 수 있다. 도 14를 참조하여 그 일 예를 설명한다.
사용자가 OCC 앱 등을 작동시킴으로써 전자장치(100)의 이미지센서(102)가 동작하도록 하여 이미지센서(102)가 감지한 영상이 디스플레이(101)에 표시되고 있는 경우, 프로세서(103)는 상기 표시된 영상에서 OCC 전송정보가 전송 중인 외부장치(200)를 식별하고, 상기 이미지센서(102)를 상기 외부장치(200)에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이(101)를 제어할 수 있다. 예를 들어 도 14와 같이 프로세서(103)는, 이미지센서(102)가 감지한 영상이 디스플레이(101)에 표시되고 있는 경우에, 표시된 영상에서 OCC 전송정보가 전송 중인 외부장치(1400)를 식별하고, 이미지센서(102)를 그 외부장치(1400)에 근접시키도록 유도하는 UI, 예를 들어 도 14와 같은 그래픽 UI(1401)를 표시하도록 디스플레이(101)를 제어할 수 있다. 또는, 프로세서(103)는 디스플레이(101)에 표시되고 있는 영상 내에는 OCC 전송정보를 전송 중인 외부장치(200)가 표시되지 않는 경우에도, 현재 영상을 기준으로 하여 OCC 전송정보를 전송 중인 외부장치(200)가 존재하는 위치를 안내하는 UI를 표시함으로써, 사용자가 이미지센서(102)를 외부장치(200) 쪽으로 근접시키도록 하는 안내를 사용자에게 제공할 수도 있다.
이에 의하면, 사용자는 OCC 전송정보를 전송 중인 외부장치(200)의 위치에 관한 안내를 받아 해당 위치로 이미지센서(102)를 근접시킬 수 있으므로, 사용자 편의성이 향상된다.
도 15는 본 발명의 또 다른 실시예에 따른 전자장치(100)의 동작을 도시한다.
본 실시예에 따르면, 전자장치(100)는 이미지센서(102)가 감지한 영상 내에서 OCC 전송정보를 제공하는 외부장치(200)의 존재를 직접 인식하여, 해당 외부장치(200)가 감지된 경우에 비로소 사용자 시인성 향상 기능 등을 수행할 수 있다. 도 15를 참조하여 이를 구체적으로 설명한다.
프로세서(103)는 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어한다(S1501). 즉, 프로세서(103)는 이미지센서(102)가 감지한 영상이 표시되도록 디스플레이(101)를 제어한다.
이후 프로세서(103)는 디스플레이(101)에 표시되는 영상 내에서 외부장치(200), 예를 들어 TV가 있는지 여부를 인식한다(S1502). 영상 내에서 TV 등의 외부장치(200) 인식하는 방법으로는, 머신러닝이나 딥러닝 기술 등을 이용하여 영상 자체에서 외부장치(200)를 인식하는 방법, 외부장치(200)에서 송출하는 indicator LED나 LOGO의 모양/색깔/깜빡임 등을 통해 해당 외부장치(200)를 인식하는 방법, TV의 영상 컨텐츠 내의 특정 패턴을 인식하는 방법, 블루투스나 Wi-Fi 등에서 전송하는 무선 신호를 통해 해당 신호를 전송하는 외부장치(200)를 인식하는 방법 등이 사용 가능하나, 영상 내의 외부장치(200) 인식 방법이 이에 한정되는 것은 아니다.
TV가 인식되지 않는 경우, 프로세서(103)는 이미지센서(102)가 감지한 영상을 그대로 표시하도록 디스플레이(101)를 제어하는 동작을 계속 수행한다(S1501).
프로세서(103)가 TV를 인식한 경우, 프로세서(103)는 그 때 비로소 OCC 전송정보의 수신과 관련된 본 발명의 동작, 예를 들어 이미지센서(102)의 수신특성을 조정하는 동작(S1503) 및 그 조정 동안 사용자 시인성 향상 기능을 수행하는 동작(S1504)를 행한다. 이미지센서(102)의 수신특성이 조정된 후, 프로세서(103)는 조정된 수신특성으로 수신되는 가시광의 데이터로부터, 가시광을 출력한 외부장치(200)가 전송한 정보를 식별하고(S1505), 식별된 정보에 기초하여 동작을 수행한다(S1506). OCC 전송정보의 식별 및 식별된 정보에 기초한 동작에 관해서는 앞서 설명한 내용이 마찬가지로 적용 가능하다.
이에 의하면, OCC 정보를 전송하는 외부장치를 자동으로 인식하여 사용자 시인성 향상 기능을 수행하므로, 시인성 향상 기능 제공의 적절성이 향상된다.
한편, 위 실시예에 관련된 실시예로서, 프로세서(103)는 디스플레이(101)에 표시된 영상 중 외부장치(200)에 대응하는 영역의 데이터로부터, 가시광을 출력한 외부장치가 전송한 정보를 식별할 수 있다. 즉, 외부장치(200)가 전송하는 OCC 전송정보를 식별함에 있어서, 디스플레이(100)의 전체 영역에 대하여 OCC 전송정보를 수신하고 식별하는 것이 아니라, 외부장치(200)가 존재하는 것으로 인식된 영역 또는 외부장치(200)에 대응하는 영역에 대하여 OCC 전송정보를 수신하고 식별하는 동작을 수행할 수 있다.
이에 의하면, OCC 전송정보 식별의 속도, 정확도 및/또는 효율이 향상된다.

Claims (15)

  1. 전자장치에 있어서,
    디스플레이;
    이미지센서; 및
    상기 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 이미지센서의 수신특성을 조정하고,
    상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하고,
    상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하고,
    상기 식별된 정보에 기초하여 동작을 수행하는
    프로세서를 포함한 전자장치.
  2. 제1항에 있어서,
    상기 사용자 시인성 향상 기능은, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 이미지센서의 수신특성이 조정되기 전에 상기 디스플레이에 표시된 영상이 계속 표시되도록 하는 전자장치.
  3. 제1항에 있어서,
    상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함하는 전자장치.
  4. 제1항에 있어서,
    상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시하는 전자장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정하는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는 상기 가시광을 출력한 외부장치가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 상기 디스플레이를 제어하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 이미지센서를 상기 외부장치에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이를 제어하는 전자장치.
  8. 제1항에 있어서,
    상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 식별에 기초하여 상기 이미지센서의 수신특성 조정 및 상기 사용자 시인성 향상 기능이 수행되도록 하는 전자장치.
  9. 제8항에 있어서,
    상기 프로세서는 상기 영상 중 상기 외부장치에 대응하는 영역의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하는 전자장치.
  10. 전자장치의 제어방법에 있어서,
    이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이를 제어하는 단계;
    상기 이미지센서의 수신특성을 조정하는 단계;
    상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하는 단계;
    상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하는 단계; 및
    상기 식별된 정보에 기초하여 동작을 수행하는 단계를 포함하는 전자장치의 제어방법.
  11. 제10항에 있어서,
    상기 사용자 시인성 향상 기능은, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 이미지센서의 수신특성이 조정되기 전에 상기 디스플레이에 표시된 영상이 계속 표시되도록 하는 전자장치의 제어방법.
  12. 제10항에 있어서,
    상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함하는 전자장치의 제어방법.
  13. 제10항에 있어서,
    상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시하는 전자장치의 제어방법.
  14. 제10항에 있어서,
    상기 이미지센서의 수신특성을 조정하는 단계는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정하는 전자장치의 제어방법.
  15. 전자장치와 결합되어 제10항 내지 제14항 중 어느 한 항의 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
PCT/KR2019/007943 2019-01-03 2019-07-01 전자장치 및 그 제어방법 WO2020141672A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190000517A KR102639260B1 (ko) 2019-01-03 2019-01-03 전자장치 및 그 제어방법
KR10-2019-0000517 2019-01-03

Publications (1)

Publication Number Publication Date
WO2020141672A1 true WO2020141672A1 (ko) 2020-07-09

Family

ID=71406863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007943 WO2020141672A1 (ko) 2019-01-03 2019-07-01 전자장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR102639260B1 (ko)
WO (1) WO2020141672A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112066523A (zh) * 2020-09-18 2020-12-11 珠海格力电器股份有限公司 一种手操器的自动调整方法及手操器、主机、空调
CN114389700A (zh) * 2021-12-31 2022-04-22 联想(北京)有限公司 一种电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150188629A1 (en) * 2013-12-27 2015-07-02 Panasonic Corporation Visible light communication method, identification signal, and receiver
US20160036484A1 (en) * 2014-08-02 2016-02-04 Obx Computing Corporation Networkable light emitting device and methods and systems for using same
KR20160096192A (ko) * 2013-12-16 2016-08-12 퀄컴 인코포레이티드 고주파수 가시광 통신 신호들을 디코딩하기 위한 이미지 센서를 구성하는 방법들 및 장치
US20180098215A1 (en) * 2016-09-30 2018-04-05 Richard D. Roberts Data processing and authentication of light communication sources
JP6392525B2 (ja) * 2012-12-27 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ プログラム、制御方法、情報通信装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392525B2 (ja) * 2012-12-27 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ プログラム、制御方法、情報通信装置
KR20160096192A (ko) * 2013-12-16 2016-08-12 퀄컴 인코포레이티드 고주파수 가시광 통신 신호들을 디코딩하기 위한 이미지 센서를 구성하는 방법들 및 장치
US20150188629A1 (en) * 2013-12-27 2015-07-02 Panasonic Corporation Visible light communication method, identification signal, and receiver
US20160036484A1 (en) * 2014-08-02 2016-02-04 Obx Computing Corporation Networkable light emitting device and methods and systems for using same
US20180098215A1 (en) * 2016-09-30 2018-04-05 Richard D. Roberts Data processing and authentication of light communication sources

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112066523A (zh) * 2020-09-18 2020-12-11 珠海格力电器股份有限公司 一种手操器的自动调整方法及手操器、主机、空调
CN114389700A (zh) * 2021-12-31 2022-04-22 联想(北京)有限公司 一种电子设备

Also Published As

Publication number Publication date
KR102639260B1 (ko) 2024-02-22
KR20200084515A (ko) 2020-07-13

Similar Documents

Publication Publication Date Title
WO2018128472A1 (en) Virtual reality experience sharing
WO2011068363A2 (en) Power control method of gesture recognition device by detecting presence of user
WO2015126007A1 (en) Head mounted display and method for controlling the same
WO2011037401A2 (en) Method for controlling display apparatus and mobile phone
WO2014014155A1 (en) A head mounted dipslay and method of outputting a content using the same
WO2018080052A1 (en) Electronic device and method for controlling the same
WO2015005537A1 (en) Mobile device, head mounted display and method of controlling therefor
WO2015167158A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
WO2020141672A1 (ko) 전자장치 및 그 제어방법
WO2014163394A1 (en) Power save for audio/video transmissions over wired interface
WO2014175520A1 (en) Display apparatus for providing recommendation information and method thereof
WO2020197012A1 (en) Display apparatus and control method thereof
WO2015152532A1 (en) Display apparatus, method of controlling the same, server, method of controlling the same, system for detecting information on location of channel information, and method of controlling the same
WO2016047912A1 (en) Display apparatus, method of controlling the same, and data transmitting method of display apparatus
WO2018034431A1 (en) Display device and system and method for controlling power of the same
WO2020071691A1 (en) Electronic apparatus and method of controlling the same
WO2018097542A1 (en) Electronic apparatus and power controlling method thereof
EP3039476A1 (en) Head mounted display device and method for controlling the same
WO2018164527A1 (en) Display apparatus and control method thereof
WO2010050669A1 (en) Method for providing user interface using dmd and dlp display apparatus using the method
WO2015102248A1 (en) Display apparatus and channel map managing method thereof
WO2020101324A1 (en) Display apparatus and method of controlling the same
WO2022092535A1 (ko) 전자 장치 및 그 제어 방법
WO2021182750A1 (en) Display apparatus and method thereof
WO2020159102A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907827

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19907827

Country of ref document: EP

Kind code of ref document: A1