WO2016043472A2 - 콘텐트를 디스플레이하기 위한 장치 및 방법 - Google Patents

콘텐트를 디스플레이하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2016043472A2
WO2016043472A2 PCT/KR2015/009520 KR2015009520W WO2016043472A2 WO 2016043472 A2 WO2016043472 A2 WO 2016043472A2 KR 2015009520 W KR2015009520 W KR 2015009520W WO 2016043472 A2 WO2016043472 A2 WO 2016043472A2
Authority
WO
WIPO (PCT)
Prior art keywords
content
pixels
display
electronic device
pixel
Prior art date
Application number
PCT/KR2015/009520
Other languages
English (en)
French (fr)
Other versions
WO2016043472A3 (ko
Inventor
찌아오샤오휘
후하이닝
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201410479637.3A external-priority patent/CN105489191A/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/512,280 priority Critical patent/US20170309216A1/en
Priority to EP15841148.8A priority patent/EP3196867A4/en
Publication of WO2016043472A2 publication Critical patent/WO2016043472A2/ko
Publication of WO2016043472A3 publication Critical patent/WO2016043472A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Definitions

  • the disclosed embodiments relate to a method and an apparatus for displaying content, and more particularly, to a method and an apparatus for displaying content by saving power.
  • Display devices are called CRT (Cathode Ray Tube), the first generation of display technology, Liquid Crystal Display (LCD), the second generation of display technology, and OLED (Organic Light-Emitting), the third generation of display technology. It is developing through diode.
  • CRT Cathode Ray Tube
  • LCD Liquid Crystal Display
  • OLED Organic Light-Emitting
  • an electronic device including a display device such as a smartphone, a mobile phone, a tablet computer, an e-book reader, and the like use most of the power to drive the display device. Therefore, in order to increase the portability of the electronic device, it is necessary to reduce the power consumption of the display apparatus. That is, the power consumed by the display device and the battery life of the electronic device are inversely proportional to each other.
  • the user can use the electronic device for a longer time when carrying the electronic device.
  • a method of reducing the overall brightness of the display apparatus may be used.
  • reducing the overall brightness of the display device also reduces the visibility of the content displayed via the display device, causing inconvenience to the user.
  • the disclosed embodiments attempt to reduce the power consumption of the display device.
  • the disclosed embodiments attempt to reduce power consumption of the display device while suppressing the deterioration of visibility of the content displayed through the display device.
  • the disclosed embodiments seek to reduce the power consumption of the display device while improving the visibility of the content displayed via the display device.
  • the display brightness of the pixels of the pixels is reduced based on pixel information of the pixels constituting the content, and the content is displayed based on the reduced display brightness.
  • the disclosed embodiments can reduce power consumption of the display device.
  • the disclosed embodiments can reduce power consumption of the display device while suppressing the deterioration of visibility of the content displayed through the display device.
  • the disclosed embodiments can reduce power consumption of the display device while improving visibility of the content displayed through the display device.
  • 1A illustrates an example of reducing display brightness of an electronic device, in accordance with conventional methods.
  • 1B illustrates an example of reducing display brightness of an electronic device, in accordance with one embodiment.
  • FIGS 2 and 3 are block diagrams of electronic devices, according to one embodiment.
  • FIG. 4 is a diagram for describing a method of reducing display brightness of content by using salience information of pixels, according to an exemplary embodiment.
  • 5A illustrates content with reduced display brightness, in accordance with conventional methods.
  • 5B illustrates content with reduced display brightness, according to one embodiment.
  • 6A illustrates content with reduced display brightness, in accordance with conventional methods.
  • 6B illustrates content with reduced display brightness, according to one embodiment.
  • FIG. 7A is a flowchart of a method of reducing display brightness of content in an electronic device, in accordance with an embodiment.
  • FIG. 7B is a flowchart of a method of reducing display brightness of content in accordance with the content type and other parameters of the content, according to one embodiment.
  • FIG. 8 is a diagram for describing a method of determining priority among contents according to a content type of content according to an embodiment.
  • FIG. 9 is a diagram for describing a method of determining priority among contents according to an overlapping relationship of contents, according to an exemplary embodiment.
  • FIG. 10 is a diagram for describing a method of determining priority among contents according to a focus position of a user, according to an exemplary embodiment.
  • FIG. 11 illustrates an example of reducing display brightness according to a content type of content according to an embodiment.
  • 12A is a flowchart of a method of reducing display brightness of content in accordance with priorities among contents, according to an embodiment.
  • 12B is a flowchart of a method of reducing display brightness based on priority between contents and pixel information of pixels constituting the content, according to an exemplary embodiment.
  • FIG. 13A, 13B, and 13C illustrate examples of reducing display luminance based on priority between contents and pixel information of pixels constituting the content, according to an exemplary embodiment.
  • a control unit for reducing the display brightness of some of the pixels based on the pixel information on the pixels constituting the content and the reduction And a display unit for displaying the content based on the displayed display brightness.
  • the some pixels may include a plurality of pixels belonging to a first pixel group and a plurality of pixels belonging to a second pixel group, and the first pixels may be based on pixel information about the first pixel group and the second pixel group.
  • the display luminance of the pixel group may be further reduced than the display luminance of the second pixel group.
  • the pixel information may include saliency information of the pixels, and the saliency of the first pixel group is lower than that of the second pixel group. have.
  • the content type of the content may be an image or a video
  • the relevance information of the pixels may be obtained by performing bidirectional filtering on the pixels.
  • B (I) p is a gray value in which pixel p of the pixels is bidirectional filtered
  • N (p) is a set of peripheral pixels of the pixel p
  • pixel q is of the peripheral pixels of the pixel p Is one
  • Wp is a normalization weight of the peripheral pixels of the pixel p
  • G ⁇ s and G ⁇ r are Gaussian functions with standard deviations ⁇ s and ⁇ r , with an average value of 0, ⁇ pq ⁇ is the Euclidean distance between the pixel p and the pixel q
  • I p and I q is the gray value of pixel p and pixel q
  • is the difference in gray value between pixel p and pixel q.
  • the pixel information includes a correction gray value of the pixels, wherein the correction gray value of the pixels includes: saliency information of the pixels, a detail display level, and a residual power of the electronic device. And acquired based on at least one of ambient light of the electronic device.
  • the correction gray value of the pixels is obtained based on the following equation,
  • I * (p) is the correction gray value of the pixel p of the pixels
  • Y ( ⁇ , ⁇ , p) is a parameter for the pixel p
  • Y ( ⁇ , ⁇ , p) ⁇ [ 1 [0,1) ( ⁇ ) S (p) + 1 [0,1) ( ⁇ -1)]
  • ⁇ is a parameter for the luminance level determined by the residual power and the ambient light
  • the content type of the content may be text, the content may include text and a background of the text, and the some pixels may correspond to the background.
  • the pixel information may include saliency information of the pixels, and the saliency of the some pixels corresponding to the background may be equal to or less than a predetermined value.
  • the pixel information may include saliency information of pixels corresponding to the text, and there is no saliency information for the some pixels corresponding to the background. can do.
  • control unit may provide an electronic device, characterized in that to reduce the display brightness of the content according to the content type of the content.
  • the content type may provide an electronic device, characterized in that identified based on the image analysis, or the transmission flow of the content.
  • the content type of the content may be text, and the display luminance of the content may be further reduced than when the content type of the content is an image.
  • the content is first content
  • the display unit displays second content overlapping at least a portion of the first content on the first content
  • the controller is configured to display a display luminance of the first content in the second content. It is possible to provide an electronic device, characterized by further reducing the display brightness of.
  • the content is first content
  • the display unit displays the second content
  • the control unit according to the position of the user focus obtained based on the eye-gaze of the user, the first content and the first It is possible to provide an electronic device characterized in that the display brightness of one of the two contents is further reduced than the display brightness of the other.
  • the display unit when the content is first content, the display unit displays second content, and the display unit is a touch screen that receives a touch input of a user, the display unit may be configured according to the position of the received touch input.
  • An electronic device can be provided, wherein the display brightness of one of the first content and the second content is further reduced than the other display brightness.
  • a second aspect of the present disclosure provides a method for reducing display brightness of some of the pixels and reducing the display based on pixel information of pixels corresponding to content displayed through a display unit of an electronic device.
  • the method may include displaying the content on the display unit based on luminance.
  • the pixels may include a plurality of pixels belonging to a first pixel group and a plurality of pixels belonging to a second pixel group, and the first pixels may be based on pixel information of the first pixel group and the second pixel group.
  • the display luminance of the pixel group may be further reduced than the display luminance of the second pixel group.
  • the pixel information may include saliency information of the pixels, and the saliency of the first pixel group is lower than that of the second pixel group. have.
  • the pixel information includes a correction gray value of the pixels, wherein the correction gray value of the pixels includes: severity information of the pixels, a detail display level, a residual power of the electronic device, and the electronics.
  • a display method may be provided based on at least one of ambient light of the device.
  • the content type of the content may be text, the content may include text and a background of the text, and the some pixels may correspond to the background.
  • the third aspect of the present disclosure may also provide a computer readable medium having recorded thereon a program for executing the method of the first aspect on a computer.
  • ... part and “module” described in the specification mean a unit that processes at least one function or operation.
  • Configurations such as “... part”, “module” may be implemented in hardware or software or in a combination of hardware and software to be executed by hardware components such as processors or circuits, and / or hardware configurations such as processors. It may be a software component.
  • first, second, etc. are used to describe various components throughout the specification, these components are of course not limited by these terms. These terms are only used to distinguish one component from another. Therefore, of course, the “first component” mentioned below may be a “second component” within the technical spirit of the embodiment.
  • an electronic device may be a smartphone, a tablet, a mobile phone, a personal digital assistant (PDA), a media player, a portable multimedia player (PMP), an e-book device, a digital broadcasting terminal, an electronic blackboard, a personal computer (PC), a laptop (laptop).
  • PDA personal digital assistant
  • PMP portable multimedia player
  • e-book device a digital broadcasting terminal
  • PC personal computer
  • laptop laptop
  • Micro server Micro server, GPS (global positioning system) device, navigation, kiosk, MP3 player, analog TV, digital TV, 3D-TV, smart TV, LED TV, OLED TV, plasma TV, monitor, fixed curvature Change the curvature of the current screen by a curved TV with a screen, a flexible TV with a screen with a fixed curvature, a bent TV with a screen with a fixed curvature, and / or received user input Possible curvature-variable TVs, digital cameras, wearable devices and other mobile devices wearable on the user's body, or electronic devices such as non-mobile computing devices, but It is not limited.
  • a wearable device may be a watch, a bracelet, a ring, glasses, a hair band, or the like having a communication function and a data processing function, but is not limited thereto.
  • content refers to data itself that is created in an electronic form by an information processing system and transmitted, received, or stored, or an object in which the data is visualized through a display device.
  • Content can include text, images, video, and backgrounds.
  • the content may be distributed or shared through a network or the like in an electronic form.
  • the content may be produced in a web-based manner and displayed through an internet browser, or may be produced in an application-based manner and displayed through an application, but is not limited thereto. Can be.
  • the electronic device is a smartphone.
  • 1A illustrates an example of reducing display brightness of an electronic device, in accordance with conventional methods.
  • the electronic device 1000 can display various content. For example, as shown in FIG. 1A, a map image 10 may be displayed at the electronic device 1000.
  • the display brightness of the electronic device 1000 itself, or the display brightness of the content displayed on the electronic device 1000 may be set low.
  • the display brightness of the electronic device 1000 itself, or the display brightness of the content displayed on the electronic device 1000 may be adaptively reduced according to a user setting, the remaining power amount of the electronic device 1000, the external light amount, or the like.
  • the user may use the electronic device 1000 in the 'sleep mode', and the display brightness of the contents displayed in the 'sleep mode' is set to the 'normal mode'. Reduced compared to
  • a dimmed map image 14a may be displayed through the display unit of the electronic device 1000.
  • 1B illustrates an example of reducing display brightness of an electronic device, in accordance with one embodiment.
  • the dimmed map image 14b may be displayed through the electronic device 1000.
  • the display luminance of the dimmed map image 14b decreased differently according to the objects represented in the dimmed map image 14b, as shown in FIG. 1B, the map dimmed according to the conventional method of FIG. 1A. Visibility can be further improved than image 14a.
  • the visibility of the content may be improved.
  • FIGS 2 and 3 are block diagrams of electronic devices, according to one embodiment.
  • the electronic device 1000 may reduce the display brightness of the content and display the content based on the reduced display brightness.
  • the electronic device 1000 may reduce the display luminance of some of the pixels constituting the content and display the content based on the reduced display luminance.
  • the electronic device 1000 includes a controller 1100 and a display 1900.
  • the controller 1100 controls the overall operation of the electronic device 1000.
  • the controller 1100 may reduce display luminance of some pixels among the pixels constituting the content based on pixel information of the pixels constituting the content.
  • the pixel information may include RGB values, gray values, saliency, modified gray values, etc. of pixels constituting the content.
  • the controller 1100 may reduce the display luminance of some of the pixels constituting the content based on gray values for the pixels constituting the content.
  • the controller 1100 may reduce the display luminance of a pixel having a gray value less than or equal to a predetermined value, or reduce the display luminance of a pixel having a gray value in a predetermined range.
  • the pixel information of the pixels may mean pixel information of a pixel group including a plurality of pixels. For example, by dividing the content into a plurality of blocks, a plurality of pixels in one block may be grouped into one pixel group.
  • the controller 1100 may further reduce the display luminance of the plurality of pixels belonging to the first pixel group than the display luminance of the plurality of pixels belonging to the second pixel group.
  • the pixel information for the pixel group may be determined based on pixel information of pixels belonging to the pixel group.
  • the gray value for the pixel group may be determined as an average value of the gray values of the plurality of pixels belonging to the pixel group or as the gray value of one pixel belonging to the pixel group.
  • the controller 1100 performs bidirectional filtering on the pixels constituting the content to obtain luminance information of the pixels, and based on the obtained luminance information, the controller 1100 adjusts display luminance of some of the pixels. Can be reduced.
  • the controller 1100 may reduce the display luminance of pixels having a severity less than or equal to a predetermined value, or reduce the display luminance of pixels for which severity information does not exist.
  • the controller 1100 may perform bidirectional filtering on the pixel group to obtain salience information about the pixel group, and may reduce display luminance of a plurality of pixels belonging to the pixel group.
  • the controller 1100 is based on at least one of the severity information of the pixels, the detail display level, the remaining power of the electronic device 1000, and the ambient light of the electronic device 1000, It is possible to obtain a modified gray value of the The controller 1100 may reduce the display luminance of some of the pixels constituting the content based on the obtained modified gray value.
  • the controller 1100 may further reduce the display brightness of the pixel having a lower correction gray value, or less of the pixel having a higher correction gray value.
  • the controller 1100 may reduce the display brightness of pixels having a correction gray value of less than or equal to a predetermined value, or reduce the display brightness of pixels having a correction gray value of a predetermined range.
  • controller 1100 may further reduce the display luminance of the plurality of pixels belonging to the first pixel group than the display luminance of the plurality of pixels belonging to the second pixel group.
  • the controller 1100 may determine the display brightness of the content according to the content type of the content. For example, the controller 1100 may be implemented to further reduce the display luminance of the corresponding content when the content type of the content is text than when the content type is an image.
  • the controller 1100 may determine the display luminance of the plurality of contents by determining the priority among the plurality of contents according to the content type. For example, the controller 1100 may be implemented to reduce the display brightness of the content having the content type as the background and to reduce the display brightness of the content having the content type as the video among the plurality of contents.
  • the controller 1100 may identify a content type based on an image analysis of the content or a flow of transmission of the content.
  • the controller 1100 may determine display brightness of the contents according to the overlapping relationship between the contents. For example, when the first content and the second content overlapping at least a portion of the first content are displayed on the first content, the controller 1100 sets the display luminance of the first content to be higher than the display luminance of the second content. It can be implemented to further reduce.
  • the camera 1500 captures the user's face
  • the control unit 1100 analyzes a position of the user's eye-gaze on the display unit 1900 based on the captured image to determine the user's focus. Location can be obtained.
  • the controller 1100 may determine display brightness of the contents according to the acquired position of the user focus. For example, when a plurality of pieces of content are displayed on the display unit 1900, the control unit 1100 may be implemented to further reduce display luminance of the corresponding content as the content is farther from the acquired position of the user focus.
  • the controller 1100 may determine display brightness of the contents according to the position of the received touch input. For example, when a plurality of pieces of content are displayed on the display unit 1900, the control unit 1100 may be implemented to further reduce display luminance of the corresponding content as the content is farther from the position of the received touch input.
  • the display unit 1900 displays information processed by the controller 1100.
  • the display unit 1900 may display content.
  • the display unit 1900 may display the content based on the display luminance reduced by the controller 1100.
  • the electronic device 1000 may be implemented by fewer components than the components shown in FIG. 2, and the electronic device 1000 may be implemented by more components than the components shown in FIG. 2.
  • the electronic device 1000 may include a communication unit 1300, a multimedia unit 1400, a camera, in addition to the control unit 1100 and the display unit 1900 described above. 1500, an input / output unit 1600, a sensing unit 1700, and a storage unit 1750 may be further included.
  • the controller 1100 may typically perform a function of the electronic device 1000 by controlling the overall operation of the electronic device 1000.
  • the controller 1100 executes programs stored in the storage unit 1750, such that the communication unit 1300, the multimedia unit 1400, the camera 1500, the input / output unit 1600, and the sensing unit 1700 are executed. ),
  • the storage 1750, and the display 1900 may be controlled overall.
  • the controller 1100 includes a processor 1110.
  • the controller 1100 may include a ROM 1120 in which a control program for controlling the electronic device 1000 is stored.
  • the controller 1100 may store a signal or data input from the outside of the electronic device 1000, for example, the server 3000, or may include a RAM used as a storage area for various operations performed by the electronic device 1000. RAM, 1130).
  • the processor 1110 may include a GPU (Graphic Processing Unit, not shown) for graphics processing.
  • the processor 1110 may be implemented in the form of a system on chip (SoC) including a core (not shown) and a GPU (not shown).
  • SoC system on chip
  • the processor 1110 may include a single core, dual core, triple core, quad core, or multiples of cores.
  • the processor 1110, the ROM 1120, and the RAM 1130 may be interconnected by a bus.
  • the electronic device 1000 and the external device may communicate with each other.
  • the communication unit 1300 may include at least one of the wireless LAN 1310, the short range communication unit 1320, and the mobile communication unit 1340. For example, it may include only one of the wireless LAN 1310, the short range communication unit 1320, and the mobile communication unit 1340, or may include a combination of the wireless LAN 1310, short range communication unit 1320, and the mobile communication unit 1340. .
  • the electronic device 1000 may be wirelessly connected to the AP at a location where an access point (AP) is installed.
  • the WLAN 1310 may include, for example, Wi-Fi.
  • the WLAN 1310 supports the WLAN standard (IEEE802.11x) of the Institute of Electrical and Electronics Engineers (IEEE).
  • the short range communication unit 1320 may perform short range communication with an external device wirelessly without an AP under the control of the controller.
  • the short-range wireless communication unit 1320 is a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared ray (IrDA) Including, but not limited to, an infrared data association (WFD) communication unit, a WFD (Wi-Fi Direct) communication unit, an ultra wideband (UWB) communication unit, an Ant + communication unit, and the like.
  • BLE Bluetooth low energy
  • Wi-Fi Wireless Fidelity
  • a wireless signal is transmitted and received from at least one of a base station, an external terminal, and a server 3000 on a mobile communication network.
  • the mobile communication unit 1340 may be connected to an external device such as a mobile phone (not shown), a smart phone (not shown), a tablet PC (not shown) having a connectable phone number, a video call, a text message (SMS), a multimedia message. It can transmit / receive radio signals for (MMS) and data communication.
  • the wireless signal may include various types of data according to transmission and reception of a voice signal, a video call signal, or a text / multimedia message.
  • the multimedia unit 1400 may include a broadcast receiving unit 1410, an audio reproducing unit 1420, a video reproducing unit 1430, and the like.
  • the broadcast receiving unit 1410 may include a broadcast signal (for example, a TV broadcast signal, a radio broadcast signal, or a data broadcast signal) transmitted from an external broadcast station through an antenna (not shown) and broadcast additional information (for example, EPS (Electronic). Program Guide (ESG) or Electronic Service Guide (ESG).
  • the controller 1100 may reproduce the received broadcast signal and the broadcast additional information by using a video codec and an audio codec.
  • audio data for example, an audio file having a file extension of mp3, wma, ogg, or wav
  • audio codec a file extension of mp3, wma, ogg, or wav
  • the audio reproducing unit 1420 may reproduce an auditory feedback (eg, output of audio data stored in the storage unit) corresponding to an input received from the input / output unit 1600.
  • an auditory feedback eg, output of audio data stored in the storage unit
  • Video data pre-stored in the storage 1750 of the electronic device 1000 or received from the outside by the video reproducing unit 1430 can be played using the video codec.
  • An application executed in the electronic device 1000 may play audio data and / or video data using an audio codec and / or a video codec.
  • a multimedia application executed on the electronic device 1000 may reproduce audio data and / or video data using a hardware codec (not shown) and / or a software codec (not shown).
  • the camera 1500 may obtain an image frame such as a still image or a video through an image sensor (not shown).
  • the image frame captured by the image sensor (not shown) may be processed by the controller 1100 or a separate image processor (not shown).
  • the processed image frame may be stored in the storage 1750 or transmitted to the outside through the communication unit 1300.
  • the camera 1500 captures the user's face
  • the control unit 1100 analyzes a position of the user's eye-gaze on the display unit 1900 based on the captured image to determine the user's focus. Location can be obtained.
  • the controller 1100 may determine display brightness of the contents according to the acquired position of the user focus. When a plurality of pieces of content are displayed on the display unit 1900, the control unit 1100 may further reduce display luminance of the corresponding content as the content is farther from the acquired user focus position.
  • the camera 1500 may include a first camera 1510 and a second camera 1520 that are located at different portions of the electronic device 1000.
  • the first camera 1510 may be located in front of the electronic device 1000
  • the second camera 1520 may be located in the back of the electronic device 1000.
  • the first camera 1510 and the second camera 1520 may be located adjacent on one surface of the electronic device 1000. If the first camera 1510 and the second camera 1520 are positioned adjacent to one surface of the electronic device 1000, the three-dimensional still image or the first camera 1510 and the second camera 1520 may be used. Three-dimensional video may be captured.
  • the camera 1500 may include more cameras in addition to the first camera 1510 and the second camera 1520.
  • the camera 1500 may include a flash 1530 that provides an amount of light necessary for photographing.
  • the camera 1500 may further include an additional lens (not shown) detachable to a separate adapter (not shown) for wide angle, telephoto, and / or macro photography.
  • Data is input to the electronic device 1000 through the input / output unit 1600 and the input / output unit 1600, and the processed data is output.
  • the input / output 1600 may include at least one of one or more buttons 1610, a microphone 1620, a speaker 1630, and a vibration motor 1640, but is not limited thereto. It may include.
  • the button 1610 may be located at the front, back, or side of the electronic device 1000.
  • the button 1610 may be a home button, a menu button, a return button, or the like located under the front of the electronic device 1000.
  • the button 1610 may be a power lock button, a volume button, or the like positioned on the side of the electronic device 1000.
  • the button 1610 may be implemented as a touch button on a bezel outside of a touch screen (not shown) as well as a physical button.
  • the button 1610 may be the crown of the smart watch.
  • an electrical signal is generated based on an acoustic signal input from the outside.
  • the electrical signal generated by the microphone 1620 may be converted by the audio codec and stored in the storage 1750 or output through the speaker 1630.
  • the microphone 1620 may be located anywhere on the front, side, or back side of the electronic device 1000, and the electronic device 1000 may include a plurality of microphones.
  • various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be used.
  • Various signals received by the communication unit 1300, the multimedia unit 1400, the camera 1500, the input / output unit 1600, or the sensing unit 1700 via the speaker 1630.
  • Broadcast signals, audio data, video data, or picture taking) and sound corresponding to audio data or video data stored in the storage 1750 may be output to the outside of the electronic device 1000.
  • the speaker 1630 may output a sound corresponding to a function performed in the electronic device 1000 (for example, a touch operation sound corresponding to a phone number input, or a photo shooting button operation sound).
  • the speaker 1630 may be located anywhere on the front, side, or back of the electronic device 1000, and the electronic device 1000 may include a plurality of speakers.
  • the vibration motor 1640 may include a linear vibration motor, a bar type vibration motor, a coin type vibration motor, or a piezoelectric element vibration motor. Through the vibration motor 1640, vibration corresponding to the output of the audio data or the video data may occur. Through the vibration motor 1640, vibration corresponding to various signals received by the communication unit 1300, the multimedia unit 1400, the camera 1500, the input / output unit 1600, or the sensing unit 1700 may occur. It may be.
  • the vibration motor 1640 may be implemented to vibrate the entire electronic device 1000 or to vibrate only a portion of the electronic device 1000.
  • the electronic device 1000 may include a plurality of vibration motors.
  • the input / output unit 1600 may further include a touch pad (not shown), a connector (not shown), a keypad (not shown), a jog wheel (not shown), a jog switch (not shown), an input pen (not shown), and the like. It may include.
  • the touch pad may include a contact capacitive method, a pressure method, a resistive method, an infrared sensing method, a surface ultrasonic wave conduction method, an integral tension measuring method, a piezo effect method, It may be implemented by electromagnetic resonance (EMR). Since the touch pad (not shown) forms a layer structure with the display unit 1900 or is directly located in the display unit 1900, the touch screen may be implemented.
  • EMR electromagnetic resonance
  • the controller 1100 may determine display brightness of the contents according to the position of the received touch input. For example, when a plurality of pieces of content are displayed on the display unit 1900, the control unit 1100 may further reduce the display luminance of the corresponding content as the content is farther from the position of the received touch input.
  • the touch pad (not shown) may be configured to detect not only a real touch but also a proximity touch, and for convenience of description, the real touch and the proximity touch may be detected. touch) may all be referred to as “touch”.
  • real-touch refers to an input generated when a pointer is physically touched to a touch pad (not shown)
  • proximity-touch refers to a pointer (although the pointer) is not physically touched by the touch pad (not shown), it means an input generated in a state of approaching a predetermined distance from the screen.
  • pointer refers to a tool for directly touching or proximity touching a touch pad (not shown).
  • the pointer may be a stylus pen, a finger, or the like.
  • the electronic device 1000 may include a tactile sensor (not shown) and a pressure touch sensor (not shown) located inside or around the touch pad (not shown). C) may be further included.
  • a tactile sensor not shown
  • a pressure touch sensor not shown located inside or around the touch pad (not shown). C) may be further included.
  • various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like may be sensed.
  • the magnitude of the pressure touching the touch pad may be sensed.
  • different functions may be implemented in the electronic device 1000, whereby gesture input may be further diversified.
  • the gesture input may be implemented in various ways. For example, a “tap” is applied by dropping the pointer from a touch pad (not shown) after the pointer has been touched once on the touch pad (not shown), and a “double tap” is applied. Twice within a predetermined time, a “multiple tap” is applied by touching the touch pad (not shown) three or more times. A “long tap” is applied by keeping the touch pad (not shown) touched until a predetermined time or a specific event occurs.
  • a “drag” is applied by moving the pointer to another position on the touch pad (not shown) while keeping the touch pad (not shown) and the pointer in touch.
  • “Swipe” means input whose pointer travels faster than "drag”.
  • Pinch-out is applied by pushing two fingers inwardly outward on a touch pad (not shown), and pinch-in is applied by pinching two fingers inwardly from the inside out as opposed to pinching. do.
  • the connector may be used as an interface for connecting the electronic device 1000 and a power source. Under the control of the controller 1100, the electronic device 1000 may transmit data stored in the storage 1750 to the outside or receive data from the outside through a wired cable connected to a connector (not shown). Power may be input to the electronic device 1000 through a wired cable connected to a connector (not shown), and a battery (not shown) of the electronic device 1000 may be charged. In addition, the electronic device 1000 may be connected to an external accessory (eg, a speaker (not shown), a keyboard dock (not shown)) through a connector (not shown).
  • an external accessory eg, a speaker (not shown), a keyboard dock (not shown)
  • the keypad includes a virtual keypad (not shown) displayed in a touch screen (not shown), a physical keypad (not shown) that can be wirelessly or wiredly connected, a physical keypad formed in front of the electronic device 1000 ( Not shown).
  • the sensing unit 1700 includes at least one sensor that detects a state of the electronic device 1000.
  • the sensing unit 1700 may include a proximity sensor 1710 that detects whether an object is approaching, an illumination sensor 1720 that detects an amount of ambient light, X, Y, and Z. It may include a gyro sensor (Gyro sensor, 1730) for measuring the angle of change by measuring the angular velocity with respect to the axis, but is not limited thereto.
  • the sensing unit 1700 may further include a global positioning system (GPS) to detect a position of the electronic device 1000. Outdoors, the location of the electronic device 1000 can be calculated via GPS (not shown).
  • GPS global positioning system
  • the location of the electronic device 1000 may be calculated using a wireless AP (not shown).
  • the location of the electronic device 1000 indoors may include a cell ID method using an ID of a wireless AP, an enhanced cell ID ID using an ID and a received signal strength (RSS) of the wireless AP. It may be calculated through an Angle of Arrival (AoA) scheme using an angle received by the electronic device 1000 of the signal transmitted from the AP. Or, the location of the electronic device 1000 may be calculated using a wireless beacon (not shown).
  • the sensing unit 1700 is a geomagnetic sensor (not shown) that detects azimuth using the earth's magnetic field, and an acceleration sensor that measures acceleration (gravity acceleration and motion acceleration) for each of the X, Y, and Z axes.
  • Gravity Sensor (not shown) to detect the direction of action of gravity
  • RGB Sensor (not shown) to measure the intensity of RGB (Red, Green, Blue, and White) colors of light
  • magnetic field Hall sensor not shown
  • magnetometer not shown
  • IR infrared
  • IR sensor infrared to recognize the user's hand movements using the infrared (IR) (Not shown), Altimeter, Fingerprint sensor (not shown), Heart rate sensor (not shown), Pressure sensor that detects altitude and detects altitude by measuring atmospheric pressure (Pressure Sensor, not shown), UV sensor ( May comprise shown), the temperature and humidity sensor (Temperature Humidity Sensor) or a motion recognition sensor (Motion Sensor Recognition, not shown) to recognize the movement or position of the object.
  • Gravity Sensor
  • the storage unit 1750 may store various data and control programs for driving and controlling the electronic device 1000 under the control of the controller 1100.
  • the storage unit 1750 may store input / output signals or data corresponding to driving of the communication unit 1300, the input / output unit 1600, and the display unit 1900.
  • the storage 1750 may include a control program for controlling the electronic device 1000 and a graphical user interface (GUI) related to an application provided by a manufacturer or downloaded from the outside, images for providing a GUI, user information, a document. It can store databases, or related data.
  • GUI graphical user interface
  • the storage 1750 may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD) solid state drive (SSD), and the like.
  • the storage may be referred to as a memory.
  • the display unit 1900 includes a plurality of pixels, and information processed by the electronic device 1000 is displayed through the pixels. For example, an execution screen of an operating system driven by the electronic device 1000 and an execution screen of an application driven by the operating system may be displayed through the display unit 1900.
  • the controller 1100 controls the display unit 1900 to display a graphical user interface (GUI) corresponding to various functions such as voice call, video call, data transmission, broadcast reception, photo shooting, video viewing, or application execution. Can be.
  • GUI graphical user interface
  • the display unit 1900 may include, for example, a liquid crystal display (LCD), a thin film transistor-liquid crystal display (LCD), organic light emitting diodes (OLEDs), a plasma display panel (PDP), and a flexible display (flexible display). display, a 3D display, an electrophoretic display, and a vacuum fluorescent display (VFD).
  • LCD liquid crystal display
  • LCD thin film transistor-liquid crystal display
  • OLEDs organic light emitting diodes
  • PDP plasma display panel
  • VFD vacuum fluorescent display
  • the electronic device 1000 may include a plurality of display units 1900.
  • the plurality of display units 1900 may be disposed to face each other using a hinge.
  • FIG. 4 is a diagram for describing a method of reducing display brightness of content by using salience information of pixels, according to an exemplary embodiment.
  • the electronic device 1000 may reduce display luminance of some of the pixels based on pixel information about pixels constituting the content.
  • the pixel information may include saliency information of the pixels.
  • the salience information of the pixels constituting the content is used to identify the area where the human eye is concentrated in the content.
  • Severity information of pixels may be obtained by modeling an area where a difference in brightness, color, or gray value is greater than a surrounding, or where a line of sight is concentrated due to a sharp outline.
  • the electronic device 1000 may use the gray values obtained by performing bilateral filtering on the pixels constituting the content as the severity information of the pixels.
  • bidirectional filtering may be performed based on Equation 1.
  • B (I) p is a gray value in which pixel p of the pixels is bidirectionally filtered
  • N (p) is a set of peripheral pixels of pixel p
  • pixel q is one of the peripheral pixels of pixel p
  • Wp is As the normalization weight of the surrounding pixels of pixel p, when bi-directional filtering conserves the image energy of the content
  • G ⁇ s and G ⁇ r are Gaussian functions with standard deviations ⁇ s and ⁇ r , with an average value of 0, ⁇ pq ⁇ is the Euclidean distance between pixels p and pixelq, and I p and I q are Is the gray value of pixel p and pixel q, and
  • the result value of the bidirectional filtering may be used as the severity information as it is, or an inversion of the result value may be used as the severity information.
  • the salient information of the pixel may be obtained by a smoothing filtering algorithm (eg, Guided filter proposed by Kaiming He, and Domain transform filter proposed by Eduardo S.L.Gastal) that ensures edge characteristics.
  • the luminance information of the pixels constituting the content 40 may be mapped to the luminance map 42.
  • the severity map 42 can be expressed in grayscale, in which the pixels of a color close to white in the saturation map 42 have a high remarkability, and the pixels of a color close to black have a low remarkability.
  • the mapping method of the salience information is not limited thereto, and may be implemented in various ways.
  • the electronic device 1000 may determine the display brightness of the pixel according to the severity of the pixel. For example, referring to the graph 46 shown in FIG. 4, the electronic device 1000 may be implemented to reduce the display luminance of a low-respective pixel to more than the display luminance of a high-precision pixel.
  • the display luminance of the pixel with low remarkability is further reduced than the display luminance of the pixel with high remarkability, thereby saving power of the electronic device 1000 and dimming the content.
  • the visibility of (44) can be improved.
  • FIG. 5A illustrates content with reduced display brightness, according to a conventional method
  • FIG. 5B illustrates content with reduced display brightness, according to one embodiment.
  • the input content 50 can be displayed as shown in FIG. 5A. If the display brightness of the content 50 is reduced according to the conventional method, there is a problem that the visibility of the dimmed content 54a also decreases together. Specifically, the shadow of the tree in the enlarged portion 56a of the dimmed content 54a in FIG. 5A is not clearly seen.
  • the display brightness of the input content 50 is reduced according to the content display method according to one embodiment, the visibility of the dimmed content 54b does not fall as much as the conventional method. Specifically, the shadow of the tree in the enlarged portion 56b of the dimmed content 54b in FIG. 5B can be clearly seen.
  • power consumption of the electronic device 1000 may be saved.
  • FIG. 6A illustrates content with reduced display brightness, according to a conventional method
  • FIG. 6B illustrates content with reduced display brightness, according to one embodiment.
  • the input content 60 may be displayed as shown in FIG. 6A. If the display brightness of the content 60 is reduced according to the conventional method, the wave of the lake in the enlarged portion 66a of the dimmed content 64a is not clearly seen.
  • the wave of the lake in the enlarged portion 66b of the dimmed content 64b can be clearly seen.
  • Bidirectional filtering may also be used as a prefiltering scheme.
  • the processing time of bidirectional filtering may be about 3ms.
  • power consumption in the image processing process is about 8% to 9% of the total power consumption.
  • the power consumption of the display screen is about 38% to 50% of the smartphone's total power consumption.
  • FIGS. 5A and 6A show content 54a and 64a dimmed by a conventional dimming method
  • FIGS. 5B and 6B show content according to an embodiment. The dimmed content 54b, 64b by the display method is shown.
  • the content 54b, 64b dimmed by the content display method according to an embodiment may be displayed brighter and clearer than the content 54a, 64a dimmed by the conventional dimming method even with the naked eye. That is, a better display effect can be achieved when consuming the same power.
  • FIG. 7A is a flowchart of a method of reducing display brightness of content in an electronic device 1000, according to an embodiment.
  • the electronic device 1000 decreases display luminance of some pixels based on pixel information of pixels constituting the content.
  • the pixel information may include an RGB value, a gray value, a saliency, a modified gray value, and the like of the pixel.
  • the electronic device 1000 may reduce the display brightness of pixels in which severity is equal to or less than a predetermined value or for which severity information does not exist.
  • the content type of the content is text
  • the content includes the background of the text of the text.
  • the user is generally more interested in the text than in the background of the text. Therefore, the salience of the pixels corresponding to the text may be implemented to have a higher value than that of the pixels corresponding to the background of the text.
  • the salience of the pixels corresponding to the background of the text may be implemented to have a value of 0, or may be implemented so that there is no salience information.
  • the electronic device 1000 may reduce the display luminance of the pixels corresponding to the background of the text. have. Alternatively, the electronic device 1000 may further reduce the display luminance of the pixels corresponding to the background of the text than the display luminance of the pixels corresponding to the text.
  • the display brightness is determined by distinguishing the text from the text background, thereby reducing the visibility of the text or improving the visibility while saving the power consumption of the electronic device 1000.
  • the text may be extracted according to the input information during the transmission of the text content, or may be extracted by recognizing an area where the text content is displayed.
  • step S710 the electronic device 1000 displays content based on the reduced display brightness in step S700.
  • the reduction rate of the display luminance of the corresponding content may be different according to the content type and other parameters of the content.
  • An embodiment in which the display luminance reduction rate of the corresponding content varies according to the content type and other parameters of the content will be described with reference to FIG. 7B.
  • FIG. 7B is a flowchart of a method of reducing display brightness of content in accordance with the content type and other parameters of the content, according to one embodiment.
  • the electronic device 1000 decreases display luminance of some pixels based on pixel information of pixels constituting the content.
  • the electronic device 1000 identifies content.
  • the content type may be identified based on a transmission flow of the corresponding content or an image analysis of the corresponding content.
  • the content type may be directly identified from the input transmission flow.
  • the multi-flow split content transmission technology may be an MPEG Media Transport (MMT) standard.
  • the content type may be identified through image analysis of the corresponding content.
  • the content may include a plurality of sub content.
  • the image content and the text content are included.
  • the sub content may also be treated as content, and the electronic device 1000 may reduce the display luminance of some of the pixels based on pixel information about pixels constituting the sub content.
  • the composite content may include various sub contents such as text, video, and image.
  • Composite content may be transmitted according to the MPEG media transport standard, and the MPEG media transport standard includes a region division transmission scheme according to a content type. According to the MPEG media transport standard, transmission and coding of content may be performed according to the content type of the content to be transmitted.
  • step S700 when the content type is an image, according to step S702, the electronic device 1000 performs bidirectional filtering on the corresponding content to obtain the saliency of pixels, and when the content type is text. In operation S703, the electronic device 1000 obtains the relevance from the text except the background in the content.
  • the electronic device 1000 may identify a content type of each sub content included in the composite content. For example, if the content is a composite content of an image and text, the electronic device 1000 performs bidirectional filtering on the image content to obtain the relevance of the pixels constituting the image content, and the text does not include the background text.
  • the salience can be obtained from
  • the electronic device 1000 may use the gray values obtained by performing bilateral filtering on the pixels constituting the content as the severity information of the pixels.
  • the result value of the bidirectional filtering may be used as the severity information as it is, or an inversion of the result value may be used as the severity information.
  • the electronic device 1000 may obtain the salience information only for pixels corresponding to the text.
  • the salience information of the pixels corresponding to the background of the text may not exist.
  • the saliency of the pixels corresponding to the text may be greater than or equal to a predetermined value, and the saliency of the pixels corresponding to the background of the text may be equal to or less than or equal to the predetermined value.
  • the electronic device 1000 adjusts the correction gray value of the pixels based on the acquired intensity information, the detail display level, the remaining power of the electronic device 1000, and the ambient light of the electronic device 1000. Acquire.
  • the modified gray value of the pixels can be obtained based on equation (2).
  • I * (p) is the correction gray value of the pixel p among the pixels
  • Y ( ⁇ , ⁇ , p) is a parameter for the pixel p
  • Y ( ⁇ , ⁇ , p) ⁇ [1 [0, 1) ( ⁇ ) S (p) + 1 [0,1) ( ⁇ -1)]
  • ⁇ is a parameter for the luminance level determined by the residual power and ambient light, 0 ⁇ ⁇ ⁇ 1, and 1 [0,1) ( ⁇ )
  • S (p) is the severity of the pixel p
  • 1 [0,1) ( ⁇ -1) is an indication function, 1 if ( ⁇ -1) is within the range of (0,
  • step S705 the electronic device 1000 reduces the display brightness of the pixels based on the modified gray value obtained in step S704.
  • step S710 the electronic device 1000 displays content based on the reduced display brightness in step S705.
  • FIG. 8 is a diagram for describing a method of determining priority among contents according to a content type of content according to an embodiment.
  • the electronic device 1000 may reduce the display brightness of the content according to the content type of the content.
  • the electronic device 1000 may be implemented to further reduce the display luminance of the content when the content type of the content is text than when the content type is an image.
  • a plurality of contents such as background content 80, video content 81, image content 82, and text content 83, 84, may be displayed through a display screen of the electronic device 1000. Can be.
  • the electronic device 1000 may determine the priority according to the content type, so that the lower priority content may further reduce the display brightness. For example, as shown in FIG. 8, the background content 80 has the lowest priority, and the text content 83, 84, the image content 82, and the video content 81 in order of high priority. It can have The electronic device 1000, according to the priority, reduces the display brightness of the background content 80 most frequently, then reduces the display brightness of the text content 83, 84, and then the image content 82. It is possible to reduce the display luminance of, and to reduce the display luminance of the video content 81 least.
  • the priority between the contents according to the content type may be represented by a type index (T factor).
  • T factor type index
  • the type index of the video content 81 is T1
  • the type index of the image content 82 is T2
  • the type index of the text content 83, 84 is T3
  • the type index of the background content 80 is Tn.
  • the type indexes may have a relationship of T1> T2> T3> Tn, but is not limited thereto.
  • the type index T3 of the text content 83, 84 may be lower than the type index Tn of the background content 80, and the type index of the video content 81 is equal to that of the T1 and the image content 82.
  • the type index may be equal to T2.
  • Identification of the content type may be performed based on image analysis for the content, or the flow of transmission of the content, as described above.
  • the display luminance reduction rate may be adjusted according to the content type of the content. According to the characteristics of the content, while effectively saving the power of the electronic device 1000, it is possible to improve the visibility of the content compared to the conventional dimming (dimming) method.
  • FIG. 9 is a diagram for describing a method of determining priority among contents according to an overlapping relationship of contents, according to an exemplary embodiment.
  • the user is more interested in the content displayed in the top layer (layer factor) of the plurality of content.
  • the second content generally masks at least a portion of the first content on the first content. That is, the later activated content is displayed on the upper layer, thereby covering the content displayed on the lower layer, and the content displayed on the lower layer receives less attention from the user.
  • the electronic device 1000 may determine display brightness of the contents according to the overlapping relationship between the contents. For example, the content displayed in the lower layer may be implemented to further reduce the display luminance.
  • the electronic device 1000 may be implemented to determine the priority according to the layer in which the content is displayed, so that the lower the content, the lower the display luminance. For example, as shown in FIG. 9, the contents located at the top layers 91 and 94 may have the highest priority, and the background content displayed in the background layer 90 may have the lowest priority. .
  • the priority between the contents according to the layer on which the content is displayed may be represented by a layer index (L).
  • L the layer index of the contents located at the top layers 91 and 94
  • L2 the layer index of the content located at the layer 92 immediately below the top layers 91 and 94
  • Ln the layer index of the background layer
  • FIG. 10 is a diagram for describing a method of determining priority among contents according to a focus position of a user, according to an exemplary embodiment.
  • the electronic device 1000 On the display screen of the electronic device 1000, the eye-gaze of the user or the location where the touch input is received may be regarded as receiving more attention of the user than other locations. Accordingly, the electronic device 1000 may be implemented to adjust the display luminance reduction rate of the contents according to the gaze of the user or the position of the acquired user focus obtained based on the touch input.
  • the background content 100 may be displayed through the display screen of the electronic device 1000, and various contents 91, 92, 93, and 94 may be displayed on the background content 90.
  • the electronic device 1000 may be implemented to further reduce display luminance as content having a lower priority according to the position of the user focus obtained based on the gaze of the user. For example, as shown in FIG. 10, the content 101 closest to the user focus position obtained based on the user's eye has the highest priority, and as the distance D from the user focus position increases Priorities can be lowered.
  • Priority among the contents according to the user focus position may be expressed by a focus factor (F factor).
  • F factor focus factor
  • the focus index of the content 101 closest to the user focus position is F1
  • the focus index of the next closest content 102 is F2
  • the focus index of the next closest contents 103, 104 is F3.
  • the focus index of the background content 100 may be Fn such that the background content 100 has the lowest priority.
  • the display luminance reduction rate may be adjusted according to a position to which the user's eyes are directed or a position at which a touch input is received.
  • the display luminance of the content is reduced by at least one of the type index (T factor), layer index (L factor), and focus index (F factor) described in FIGS. 8, 9, and 10, and the reduced display luminance.
  • the corresponding content may be displayed based on.
  • the display brightness reduction index of n content may be expressed as.
  • the reduced display luminance (Lumn_result) of n content can be represented by.
  • Lumn_initial indicates the display brightness before decrementing.
  • a plurality of contents 110a, 111a, 113a may be displayed, such as background content 110a, image content 111a, and text content 113a, via the electronic device 1000.
  • the electronic device 1000 may reduce the display brightness of each content 110a, 111a, 113a according to the content type of the content 110a, 111a, 113a. For example, as shown in FIG. 11, the electronic device 1000 reduces the display brightness of the background content 110a by 35%, reduces the display brightness of the image content 111a by 40%, and displays the text content 113a. Display brightness can be reduced by 80%.
  • Dimmed content 110b, 111b, 113b which has been reduced in display brightness by a content display method according to an embodiment, has a reduced display brightness compared to contents 110a, 111a, 113a before brightness reduction.
  • the power consumption of the electronic device 1000 can be saved, and visibility can also be improved.
  • Pixels corresponding to the text of the dimmed text content 113b may be displayed in white, and pixels corresponding to the background of the text may be displayed in black.
  • 12A is a flowchart of a method of reducing display brightness of contents according to priorities among the contents, according to one embodiment.
  • the electronic device 1000 determines the priority among the contents.
  • step S1210 the electronic device 1000 reduces the display brightness of the contents based on the priority determined in step S1200.
  • the electronic device 1000 may further reduce display brightness as content having lower priority.
  • step S1220 the electronic device 1000 displays the contents based on the reduced display brightness in step S1210.
  • 12B is a flowchart of a method of reducing display brightness based on priority between contents and pixel information of pixels constituting the content, according to an exemplary embodiment.
  • the electronic device 1000 determines the priority among the contents. Specifically, the electronic device 1000 determines the first priority between the contents according to the content type in step S1201, and determines the second priority between the contents according to the overlapping relationship between the contents in step S1202, and step S1203. Determines a third priority of the contents according to the user focus position.
  • the first priority among the contents determined according to the content type corresponds to the type factor (T factor) described in FIG. 8, and the second priority among the contents determined according to the overlapping relationship between the contents is described in FIG. 9.
  • the third priority between contents determined according to the position of the user's focus and determined according to the position of the user focus corresponds to the focus factor F factor described with reference to FIG. 10.
  • step S1210 the electronic device 1000 reduces the display brightness of the contents based on the priority determined in step S1200.
  • the electronic device 1000 determines an average display luminance of each content according to the first, second, and third priorities in step S1211.
  • the average display brightness of the content is relatively high compared to other content. Can be determined. That is, the display luminance of the corresponding content may be relatively less than that of the other content.
  • the electronic device 1000 adjusts display brightness based on pixel information of pixels constituting each content.
  • a method of adjusting display brightness of each content based on pixel information of pixels constituting each content is as described with reference to FIGS. 4 to 7B.
  • step S1220 the electronic device 1000 displays the contents based on the reduced display brightness.
  • the average display brightness is first determined according to the characteristics of the content displayed on the electronic device 1000, and the display brightness of the content is adjusted based on the pixel information of the pixels constituting the content.
  • the display brightness can be reduced step by step.
  • a customized power saving mode can be provided to the user.
  • FIG. 13A, 13B, and 13C illustrate examples of reducing display luminance based on priority between contents and pixel information of pixels constituting the content, according to an exemplary embodiment.
  • image content 130 and background content 131 may be displayed in an electronic device 1000, and the content 130, 131 may be described in the embodiment described above. It can be displayed by the content display method according to.
  • the electronic device 1000 may determine an average display brightness of the content according to the content type of the content. For example, as shown in FIG. 13A, the average display brightness of the background content 131 may be further reduced than the average display brightness of the image content 130.
  • the electronic device 1000 may adjust the display brightness of the content based on the pixel information of the pixels constituting the content. For example, as shown in FIG. 13A, the electronic device 1000 obtains a luminance map 132 for the image content 130, and displays the display luminance of the image content 130 based on the luminance map 132. Can be adjusted.
  • the electronic device 1000 may include not only information of relevance of the pixels constituting the content, a detail display level, a residual power of the electronic device 1000, and the electronic device 1000.
  • the display brightness of the contents 130, 131 can be reduced based on the ambient light.
  • FIG. 13B shows the dimmed contents 134b, 135b when the parameter ⁇ for the detail display level is 0.55 and the parameter ⁇ for the luminance level determined by the residual power and ambient light is 0.75.
  • FIG. 13C shows the dimmed contents 134b, 135b when the parameter ⁇ for the detail display level is 0.85 and the parameter ⁇ for the luminance level determined by the residual power and ambient light is 0.75.
  • content is displayed in a user's preferred style while reducing power consumption of the electronic device 1000 by adjusting the level of detail display. Can be.
  • Embodiments may also be implemented in the form of a recording medium containing instructions executable by a computer, such as a program module executed by the computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.
  • Embodiments may be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, an integrated circuit configuration such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices in accordance with an embodiment. Can be employed. Embodiments may be implemented in a programming or scripting language such as various algorithms, C, C ++, Java, assembler, etc., implemented in a combination of data structures, processes, routines, or other programming constructs. The functional aspects may be implemented with an algorithm running on one or more processors. In addition, the embodiments may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.
  • 'essential', 'important' and the like may not be a necessary component for the application of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여 상기 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시키고, 감소된 디스플레이 휘도에 기초하여 상기 콘텐트를 디스플레이하는 방법 및 전자 디바이스가 개시된다.

Description

콘텐트를 디스플레이하기 위한 장치 및 방법
개시되는 실시예들은 콘텐트를 디스플레이하기 위한 방법 및 장치에 관한 것으로, 더 상세하게는, 전력을 절약하여 콘텐트를 디스플레이하기 위한 방법 및 장치에 관한 것이다.
디스플레이 장치는 디스플레이 기술의 제1세대로 일컬어지는 CRT (Cathode Ray Tube), 디스플레이 기술의 제2세대로 일컬어지는 LCD (Liquid Crystal Display) 및 디스플레이 기술의 제3세대로 일컬어지는 OLED (Organic Light-Emitting Diode) 를 거쳐 발전을 거듭하고 있다.
스마트폰, 휴대폰, 태블릿 컴퓨터, 전자책 리더기 등과 같이 기본적으로 디스플레이 장치를 구비한 전자 디바이스는, 대부분의 전력을 디스플레이 장치를 구동하기 위해 사용한다. 따라서, 전자 디바이스의 휴대성을 증가시키기 위해서는, 디스플레이 장치의 소비 전력을 감소시킬 필요가 있다. 즉, 디스플레이 장치가 소비하는 전력과 전자 디바이스의 배터리 가용 시간은 서로 반비례한다.
특히 베터리 기술의 발전 속도가 느리고, 스크린의 크기는 갈수록 커지고 있는 상황에서, 디스플레이 장치가 소비하는 전력을 감소시키는 것은 전자 디바이스 제조업자들의 중요한 과제가 되었다.
전자 디바이스의 소비 전력이 감소되어, 전자 디바이스의 배터리 가용 시간이 증가하면, 사용자가 전자 디바이스를 휴대 시, 더 오랜 시간 동안 전자 디바이스를 이용할 수 있다.
전자 디바이스의 소비 전력에 대한 연구 결과, 전자 디바이스에 탑재된 디스플레이 장치의 소비 전력은 전자 디바이스의 소비 전력의 38%-50% 에 달하는 것으로 밝혀졌다 (F.Shearer, Power management in mobile devices, Newnes, 2007). 따라서, 전자 디바이스에 탑재된 디스플레이 장치의 소비 전력을 감소시킴으로써, 효과적으로 전자 디바이스의 소비 전력을 감소시킬 수 있다.
전자 디바이스에 탑재된 디스플레이 장치의 소비 전력을 감소시키기 위한 방법 중 하나로서, 디스플레이 장치의 전체 휘도를 감소시키는 방법이 이용될 수 있다. 그러나, 디스플레이 장치의 휘도를 전체적으로 감소시키면, 디스플레이 장치를 통해 디스플레이되는 콘텐트들의 시인성 (visibility) 또한 감소하게 되어, 사용자의 불편을 야기한다.
따라서, 디스플레이 장치를 통해 디스플레이되는 콘텐트의 시인성 저하를 억제하면서, 디스플레이 장치의 소비 전력을 감소시킬 수 있는 기술의 개발이 요구되고 있다.
개시되는 실시예들은 디스플레이 장치의 소비 전력을 감소시키고자 한다.
나아가, 개시되는 실시예들은 디스플레이 장치를 통해 디스플레이되는 콘텐트의 시인성 (visibility) 저하를 억제하면서, 디스플레이 장치의 소비 전력을 감소시키고자 한다.
더 나아가, 개시되는 실시예들은 디스플레이 장치를 통해 디스플레이되는 콘텐트의 시인성을 향상시키면서, 디스플레이 장치의 소비 전력을 감소시키고자 한다.
콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여 상기 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소키기고, 감소된 디스플레이 휘도에 기초하여 상기 콘텐트를 디스플레이한다.
개시되는 실시예들은 디스플레이 장치의 소비 전력을 감소시킬 수 있다.
나아가, 개시되는 실시예들은 디스플레이 장치를 통해 디스플레이되는 콘텐트의 시인성 (visibility) 저하를 억제하면서, 디스플레이 장치의 소비 전력을 감소시킬 수 있다.
더 나아가, 개시되는 실시예들은 디스플레이 장치를 통해 디스플레이되는 콘텐트의 시인성을 향상시키면서, 디스플레이 장치의 소비 전력을 감소시킬 수 있다.
도 1a는 종래 방법에 따라, 전자 디바이스의 디스플레이 휘도를 감소시키는 일 예를 도시한다.
도 1b는 일 실시예에 따라, 전자 디바이스의 디스플레이 휘도를 감소시키는 일 예를 도시한다.
도 2 및 도 3은 일 실시예에 따른, 전자 디바이스의 블록도이다.
도 4는 일 실시예에 따라, 픽셀들의 현저도 정보를 이용하여 콘텐트의 디스플레이 휘도를 감소시키는 방법을 설명하기 위한 도면이다.
도 5a는 종래 방법에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시한다.
도 5b는 일 실시예에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시한다.
도 6a는 종래 방법에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시한다.
도 6b는 일 실시예에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시한다.
도 7a는 일 실시예에 따라, 전자 디바이스에서 콘텐트의 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
도 7b는 일 실시예에 따라, 콘텐트의 콘텐트 타입 및 기타 파라미터에 따라 콘텐트의 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
도 8은 일 실시예에 따라, 콘텐트의 콘텐트 타입에 따라 콘텐트 간 우선순위를 결정하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라, 콘텐트의 겹침 관계에 따라 콘텐트 간 우선순위를 결정하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따라, 사용자의 포커스 위치에 따라 콘텐트 간 우선순위를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라, 콘텐트의 콘텐트 타입에 따라 디스플레이 휘도를 감소시키는 일 예를 도시한다.
도 12a는 일 실시예에 따라, 콘텐트들 간의 우선순위에 따라 콘텐트의 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
도 12b는 일 실시예에 따라, 콘텐트들 간의 우선순위 및 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
도 13a, 도 13b, 및 도 13c는 일 실시예에 따라, 콘텐트들 간의 우선순위 및 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 디스플레이 휘도를 감소시키는 예들을 도시한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여, 상기 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시키는 제어부 및 상기 감소된 디스플레이 휘도에 기초하여 상기 콘텐트를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 일부 픽셀들은 제1 픽셀그룹에 속하는 복수의 픽셀 및 제2 픽셀그룹에 속하는 복수의 픽셀을 포함하고, 상기 제1 픽셀그룹 및 상기 제2 픽셀그룹에 대한 픽셀정보에 기초하여 상기 제1 픽셀그룹의 디스플레이 휘도는 상기 제2 픽셀그룹의 디스플레이 휘도보다 더 감소되는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 픽셀정보는 상기 픽셀들의 현저도 (saliency) 정보를 포함하고, 상기 제1 픽셀그룹의 현저도는 상기 제2 픽셀그룹의 현저도보다 더 낮은 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트의 콘텐트 타입은 이미지 또는 비디오이고, 상기 픽셀들의 상기 현저도 정보는 상기 픽셀들에 대해 양방향 필터링을 수행하여 획득되는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 양방향 필터링은 아래의 수학식에 기초하여 수행되며,
Figure PCTKR2015009520-appb-I000001
, 여기서, B(I)p 는 상기 픽셀들 중 픽셀p가 양방향 필터링된 그래이값이고, N(p) 는 상기 픽셀p의 주변 픽셀들의 집합이고, 픽셀q는 상기 픽셀p의 상기 주변 픽셀들 중 하나이고, Wp는 상기 픽셀p의 상기 주변 픽셀들의 표준화 가중치 (normalization weight) 로서,
Figure PCTKR2015009520-appb-I000002
이고, Gσs 및 Gσr 는 표준 편차가 σs 및 σr 이고, 평균 값이 0인 가우시안 함수이고, ∥p-q∥는 상기 픽셀p 및 상기 픽셀q 사이의 유클리드 거리이고, Ip 및 Iq는 픽셀p 및 픽셀q의 그래이값이고, ｜Ip-Iq｜ 는 픽셀p 및 픽셀q 간의 그래이값 차이인 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 픽셀정보는 상기 픽셀들의 수정 그래이값을 포함하고, 상기 픽셀들의 상기 수정 그래이값은, 상기 픽셀들의 현저도 (saliency) 정보, 디테일 디스플레이 수준 (detail display level), 상기 전자 디바이스의 잔여 전력 및 상기 전자 디바이스의 주변광 중 적어도 하나에 기초하여 획득된 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 픽셀들의 상기 수정 그래이값은 아래의 수학식에 기초하여 획득되며,
Figure PCTKR2015009520-appb-I000003
, 여기서, I*(p)는 상기 픽셀들 중 상기 픽셀p의 수정 그래이값이고, Y(α, β, p)는 상기 픽셀p에 대한 파라미터로서, Y(α, β, p) = β[1[0,1)(α)S(p) + 1[0,1)(α-1)] 이고, α는 상기 디테일 디스플레이 수준에 대한 파라미터로서, 0≤α≤1이고, α=1 인 경우 상기 디테일 디스플레이 수준이 가장 높고, α=0 인 경우 상기 디테일 디스플레이 수준이 가장 낮고, β는 상기 잔여 전력 및 상기 주변광에 의해 결정된 휘도 수준에 대한 파라미터로서, 0≤β≤1이고, 1[0,1)(α)는 표시 함수 (indication function) 로서, α가 [0,1) 범위 내인 경우 1[0,1)(α)=1 이고, α가 [0,1) 범위 외인 경우 1[0,1)(α)=0 이고, 상기 S(p) 는 상기 픽셀p의 현저도이고, 1[0,1)(α-1)은 표시 함수 (indication function) 로서, (α-1)이 [0,1) 범위 내인 경우 1[0,1)(α-1)=1이고, (α-1)이 [0,1) 범위 외인 경우 1[0,1)(α-1)=0이고, I(p) 는 상기 픽셀p의 그래이값이고, I~(p)는 상기 픽셀p가 필터링된 그래이값인 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트의 콘텐트 타입은 텍스트이고, 상기 콘텐트는 텍스트와 상기 텍스트의 배경 (background) 을 포함하고, 상기 일부 픽셀들은 상기 배경에 대응되는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 픽셀정보는 상기 픽셀들의 현저도 (saliency) 정보를 포함하고, 상기 배경에 대응되는 상기 일부 픽셀들의 현저도는 미리 결정된 값 이하인 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 픽셀정보는 상기 텍스트에 대응되는 픽셀들의 현저도 (saliency) 정보를 포함하고, 상기 배경에 대응되는 상기 일부 픽셀들에 대한 현저도 정보는 존재하지 않는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 제어부는 상기 콘텐트의 콘텐트 타입에 따라 상기 콘텐트의 디스플레이 휘도를 감소시키는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트 타입은 상기 콘텐트 대한 이미지 분석, 또는 상기 콘텐트의 전송 플로우에 기초하여 식별되는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트의 상기 콘텐트 타입은 텍스트이고, 상기 콘텐트의 디스플레이 휘도는 상기 콘텐트의 상기 콘텐트 타입이 이미지인 경우보다 더 감소되는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트는 제1 콘텐트이고, 상기 디스플레이부는 상기 제1 콘텐트의 적어도 일부와 겹치는 제2 콘텐트를 상기 제1 콘텐트 상에 디스플레이하고, 상기 제어부는 상기 제1 콘텐트의 디스플레이 휘도를 상기 제2 콘텐트의 디스플레이 휘도보다 더 감소시키는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트는 제1 콘텐트이고, 상기 디스플레이부는 제2 콘텐트를 디스플레이하고, 상기 제어부는 사용자의 시선 (eye-gaze) 에 기초하여 획득된 사용자 포커스의 위치에 따라, 상기 제1 콘텐트 및 상기 제2 콘텐트 중 하나의 디스플레이 휘도를 다른 하나의 디스플레이 휘도보다 더 감소시키는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 상기 콘텐트는 제1 콘텐트이고, 상기 디스플레이부는 제2 콘텐트를 디스플레이하고, 상기 제어부는, 상기 디스플레이부가 사용자의 터치 입력을 수신하는 터치 스크린인 경우, 상기 수신된 터치 입력의 위치에 따라 상기 제1 콘텐트 및 상기 제2 콘텐트 중 하나의 디스플레이 휘도를 다른 하나의 디스플레이 휘도보다 더 감소시키는 것을 특징으로 하는, 전자 디바이스를 제공할 수 있다.
또한, 본 개시의 제 2 측면은, 전자 디바이스의 디스플레이부를 통해 디스플레이되는 콘텐트에 대응되는 픽셀들에 대한 픽셀정보에 기초하여, 상기 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시키는 단계 및 상기 감소된 디스플레이 휘도에 기초하여 상기 콘텐트를 상기 디스플레이부를 통해 디스플레이하는 단계를 포함하는 것을 특징으로 하는, 디스플레이 방법을 제공할 수 있다.
또한，상기 일부 픽셀들은 제1 픽셀그룹에 속하는 복수의 픽셀 및 제2 픽셀그룹에 속하는 복수의 픽셀을 포함하고, 상기 제1 픽셀그룹 및 상기 제2 픽셀그룹에 대한 픽셀정보에 기초하여 상기 제1 픽셀그룹의 디스플레이 휘도는 상기 제2 픽셀그룹의 디스플레이 휘도보다 더 감소되는 것을 특징으로 하는, 디스플레이 방법을 제공할 수 있다.
또한, 상기 픽셀정보는 상기 픽셀들의 현저도 (saliency) 정보를 포함하고, 상기 제1 픽셀그룹의 현저도는 상기 제2 픽셀그룹의 현저도보다 더 낮은 것을 특징으로 하는, 디스플레이 방법을 제공할 수 있다.
또한, 상기 픽셀정보는 상기 픽셀들의 수정 그래이값을 포함하고, 상기 픽셀들의 상기 수정 그래이값은, 상기 픽셀들의 현저도 정보, 디테일 디스플레이 수준 (detail display level), 상기 전자 디바이스의 잔여 전력 및 상기 전자 디바이스의 주변광 중 적어도 하나에 기초하여 획득된 것을 특징으로 하는, 디스플레이 방법을 제공할 수 있다.
또한, 상기 콘텐트의 콘텐트 타입은 텍스트이고, 상기 콘텐트는 텍스트와 상기 텍스트의 배경 (background) 을 포함하고, 상기 일부 픽셀들은 상기 배경에 대응되는 것을 특징으로 하는, 디스플레이 방법을 제공할 수 있다.
또한, 본 개시의 제3 측면은 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능 매체를 제공할 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어는 다양한 실시예에 따른 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 특히, 명세서상에 기재된 숫자들은 이해를 돕기 위한 예로서, 본 발명은 명세서상에 기재된 숫자들에 의해 한정되어서는 안 된다.
또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미한다. "…부", "모듈" 등의 구성은 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현되어, 프로세서 또는 회로와 같은 하드웨어 구성 (hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성 (software component) 일 수 있다.
명세서 전체에서 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 "제1 구성요소"는 실시예의 기술적 사상 내에서 "제2 구성요소"일 수도 있음은 물론이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
명세서 전체에서 전자 디바이스는 스마트폰, 태블릿, 휴대폰, PDA (personal digital assistant), 미디어 플레이어, PMP (Portable Multimedia Player), 전자책 단말기, 디지털방송용 단말기, 전자 칠판, PC (Personal Computer), 노트북 (laptop), 마이크로 서버, GPS (global positioning system) 장치, 네비게이션, 키오스크, MP3 플레이어, 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터, 고정 곡률 (curvature) 인 화면을 가지는 커브드 (curved) TV, 고정 곡률인 화면을 가지는 플렉시블 (flexible) TV, 고정 곡률인 화면을 가지는 벤디드 (bended) TV, 및/또는 수신되는 사용자 입력에 의해 현재 화면의 곡률을 변경가능한 곡률 가변형 TV, 디지털 카메라, 사용자의 신체에 착용 가능한 웨어러블 디바이스 및 기타 모바일, 또는, 비모바일 컴퓨팅 장치와 같은 전자 장치일 수 있으나, 이에 제한되지 않는다.
명세서 전체에서 웨어러블 디바이스라 함은, 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 팔찌, 반지, 안경, 또는, 헤어 밴드 등일 수 있으나, 이에 제한되지 않는다.
명세서 전체에서 콘텐트는 정보처리 시스템에 의하여 전자적 형태로 작성되어 송신, 수신, 또는 저장되는 데이터 자체, 또는 해당 데이터가 디스플레이 장치를 통해 시각화된 (visualized) 객체를 의미한다. 콘텐트는 텍스트, 이미지, 비디오, 및, 배경을 포함할 수 있다. 콘텐트는 전자적인 형태로 네트워크 등을 통해 유통 (distribute) 되거나, 공유 (share) 될 수 있다. 콘텐트는 웹기반 (web-based) 으로 제작되어, 인터넷 브라우저 등을 통해 디스플레이되거나, 애플리케이션 기반 (application-based) 으로 제작되어, 애플리케이션을 통해 디스플레이될 수 있으나, 이에 제한되지 않고 다양한 형식으로 제작되어 디스플레이될 수 있다.
설명의 편의상 본 명세서에서 전자 디바이스는 스마트폰인 것으로 가정한다.
도 1a는 종래 방법에 따라, 전자 디바이스의 디스플레이 휘도 (display brightness) 를 감소시키는 일 예를 도시한다.
전자 디바이스 (1000) 는 다양한 콘텐트를 디스플레이할 수 있다. 예를 들어, 도 1a에 도시된 바와 같이, 전자 디바이스 (1000) 에서 지도 이미지 (10) 가 디스플레이될 수 있다.
전자 디바이스 (1000) 의 전력을 절약하기 위해, 전자 디바이스 (1000) 자체 디스플레이 휘도, 또는 전자 디바이스 (1000) 에서 디스플레이되는 콘텐트의 디스플레이 휘도가 낮게 설정될 수 있다. 또는, 사용자 설정, 전자 디바이스 (1000) 의 잔여 전력량, 외부의 광량 등에 따라 전자 디바이스 (1000) 자체 디스플레이 휘도, 또는 전자 디바이스 (1000) 에서 디스플레이되는 콘텐트의 디스플레이 휘도가 적응적으로 감소될 수도 있다.
예를 들어, 전자 디바이스 (1000) 의 전력을 절약하기 위해, 사용자는 전자 디바이스 (1000) 를 '절전 모드'에서 이용할 수 있고, '절전 모드'에서 디스플레이되는 콘텐트들의 디스플레이 휘도는 '정상 모드'에 비해 감소된다.
도 1a에 도시된 바와 같이, 전자 디바이스 (1000) 에서 종래 방법에 따라 디스플레이 휘도가 감소되면, 전자 디바이스 (1000) 의 디스플레이부를 통해 디밍된 (dimmed) 지도 이미지 (14a) 가 디스플레이될 수 있다.
디밍된 지도 이미지 (14a) 의 디스플레이 휘도는 이미지 (14a) 전체적으로 감소했기 때문에, 도 1a에 도시된 바와 같이, 시인성 (visibility) 또한 함께 감소하는 문제가 있다.
도 1b는 일 실시예에 따라, 전자 디바이스의 디스플레이 휘도를 감소시키는 일 예를 도시한다.
도 1b에 도시된 바와 같이, 전자 디바이스 (1000) 에서 일 실시예에 따라 디스플레이 휘도가 감소되면, 전자 디바이스 (1000) 를 통해 디밍된 지도 이미지 (14b) 가 디스플레이될 수 있다.
디밍된 지도 이미지 (14b) 의 디스플레이 휘도는, 디밍된 지도 이미지 (14b) 내에서 표현된 객체들에 따라 다르게 감소했기 때문에, 도 1b에 도시된 바와 같이, 도 1a의 종래 방법에 따라 디밍된 지도 이미지 (14a) 보다 시인성 (visibility) 이 더 향상될 수 있다.
일 실시예에 따르면 전자 디바이스 (1000) 의 소비 전력을 절약하면서, 디스플레이 휘도가 감소되더라도, 콘텐트의 시인성이 향상될 수 있다.
도 2 및 도 3은 일 실시예에 따른, 전자 디바이스의 블록도이다.
전자 디바이스 (1000) 는 콘텐트의 디스플레이 휘도를 감소시키고, 감소된 디스플레이 휘도에 기초하여 콘텐트를 디스플레이할 수 있다.
전자 디바이스 (1000) 는 콘텐트를 구성하는 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시키고, 감소된 디스플레이 휘도에 기초하여 콘텐트를 디스플레이할 수 있다.
도 2을 참조하면, 전자 디바이스 (1000) 는 제어부 (1100), 및 디스플레이부 (1900) 를 포함한다.
제어부 (1100) 는 전자 디바이스 (1000) 의 전반적인 동작을 제어한다.
제어부 (1100) 는, 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여, 콘텐트를 구성하는 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다. 픽셀정보는 콘텐트를 구성하는 픽셀들의 RGB값, 그래이값 (gray value), 현저도 (saliency), 수정 그래이값 등을 포함할 수 있다.
예를 들어, 제어부 (1100) 는, 콘텐트를 구성하는 픽셀들에 대한 그래이값 (gray value) 에 기초하여, 콘텐트를 구성하는 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다. 구체적으로, 제어부 (1100) 는, 미리 결정된 값 이하의 그래이값을 갖는 픽셀의 디스플레이 휘도를 감소시키거나, 미리 결정된 범위의 그래이값을 갖는 픽셀의 디스플레이 휘도를 감소시킬 수 있다.
일 실시예에서 픽셀들에 대한 픽셀정보는, 복수의 픽셀을 포함하는 픽셀그룹에 대한 픽셀정보를 의미할 수 있다. 예컨대, 콘텐트를 복수의 블록으로 구획하여, 일 블록 내의 복수의 픽셀을 일 픽셀그룹으로 그룹핑 (grouping) 할 수 있다. 제어부 (1100) 는 제1 픽셀그룹에 속한 복수의 픽셀의 디스플레이 휘도를, 제2 픽셀그룹에 속한 복수의 픽셀의 디스플레이 휘도보다 더 감소시킬 수도 있다.
일 실시예에서 픽셀그룹에 대한 픽셀정보는, 픽셀그룹에 속한 픽셀들의 픽셀정보에 기초하여 결정될 수 있다. 예를 들어, 픽셀그룹에 대한 그래이값은 픽셀그룹에 속한 복수의 픽셀들의 그래이값의 평균값이거나, 픽셀그룹에 속한 일 픽셀의 그래이값으로 결정될 수 있다.
일 실시예에서 제어부 (1100) 는 콘텐트를 구성하는 픽셀들에 대해 양방향 필터링을 수행하여, 픽셀들의 현저도 정보를 획득하고, 획득된 현저도 정보에 기초하여, 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다.
예를 들어, 제어부 (1100) 는 현저도가 미리 결정된 값 이하인 픽셀들의 디스플레이 휘도를 감소시키거나, 현저도 정보가 존재하지 않는 픽셀들의 디스플레이 휘도를 감소시킬 수 있다.
일 실시예에서 제어부 (1100) 는 픽셀그룹에 대해 양방향 필터링을 수행하여, 픽셀그룹에 대한 현저도 정보를 획득하고, 픽셀그룹에 속한 복수의 픽셀의 디스플레이 휘도를 감소시킬 수도 있다.
일 실시예에서 제어부 (1100) 는 픽셀들의 현저도 정보, 디테일 디스플레이 수준 (detail display level), 전자 디바이스 (1000) 의 잔여 전력, 및 전자 디바이스 (1000) 의 주변광 중 적어도 하나에 기초하여, 픽셀들의 수정 그래이값을 획득할 수 있다. 제어부 (1100) 는 획득된 수정 그래이값에 기초하여, 콘텐트를 구성하는 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다.
예를 들어, 제어부 (1100) 는 수정 그래이값이 낮은 픽셀일수록 디스플레이 휘도를 더 감소시키거나, 수정 그래이값이 높은 픽셀일수록 디스플레이 휘도를 덜 감소시킬 수 있다. 제어부 (1100) 는 미리 결정된 값 이하의 수정 그래이값을 갖는 픽셀의 디스플레이 휘도를 감소시키거나, 미리 결정된 범위의 수정 그래이값을 갖는 픽셀의 디스플레이 휘도를 감소시킬 수도 있다.
나아가, 제어부 (1100) 는 제1 픽셀그룹에 속한 복수의 픽셀의 디스플레이 휘도를, 제2 픽셀그룹에 속한 복수의 픽셀의 디스플레이 휘도보다 더 감소시킬 수도 있다.
일 실시예에서 제어부 (1100) 는 콘텐트의 콘텐트 타입에 따라 콘텐트의 디스플레이 휘도를 결정할 수 있다. 예를 들어, 제어부 (1100) 는 콘텐트 타입이 이미지인 경우보다 콘텐트의 콘텐트 타입이 텍스트인 경우에 해당 콘텐트의 디스플레이 휘도를 더 감소시키도록 구현될 수 있다.
일 실시예에서 디스플레이부 (1900) 를 통해 복수의 콘텐트가 디스플레이되는 경우, 제어부 (1100) 는 콘텐트 타입에 따라 복수의 콘텐트 간 우선순위를 결정하여, 복수의 콘텐트의 디스플레이 휘도를 결정할 수도 있다. 예를 들어, 제어부 (1100) 는, 복수의 콘텐트 중에서 콘텐트 타입이 배경인 콘텐트의 디스플레이 휘도를 가장 많이 감소시키고, 콘텐트 타입이 비디오인 콘텐트의 디스플레이 휘도를 가장 덜 감소시키도록 구현될 수 있다.
일 실시예에서 제어부 (1100) 는 콘텐트에 대한 이미지 분석, 또는 콘텐트의 전송 플로우에 기초하여, 콘텐트 타입을 식별할 수 있다.
일 실시예에서 제어부 (1100) 는 콘텐트들 간의 겹침 관계에 따라 콘텐트들의 디스플레이 휘도를 결정할 수 있다. 예를 들어, 제어부 (1100) 는, 제1 콘텐트와, 제1 콘텐트의 적어도 일부와 겹치는 제2 콘텐트가 제1 콘텐트 상에 디스플레이되는 경우, 제1 콘텐트의 디스플레이 휘도를 제2 콘텐트의 디스플레이 휘도보다 더 감소시키도록 구현될 수 있다.
일 실시예에서 카메라 (1500) 가 사용자의 안면을 촬영하고, 제어부 (1100) 가 촬영된 이미지를 통해 디스플레이부 (1900) 에서 사용자의 시선 (eye-gaze) 이 향하는 위치를 분석하여, 사용자 포커스의 위치가 획득될 수 있다. 제어부 (1100) 는 획득된 사용자 포커스의 위치에 따라 콘텐트들의 디스플레이 휘도를 결정할 수 있다. 예를 들어, 제어부 (1100) 는, 복수의 콘텐트가 디스플레이부 (1900) 상에서 디스플레이되는 경우, 획득된 사용자 포커스의 위치로부터 먼 콘텐트일수록, 해당 콘텐트의 디스플레이 휘도를 더 감소시키도록 구현될 수 있다.
일 실시예에서 디스플레이부 (1900) 가 사용자의 터치 입력을 수신하는 터치 스크린인 경우, 제어부 (1100) 는, 수신된 터치 입력의 위치에 따라 콘텐트들의 디스플레이 휘도를 결정할 수 있다. 예를 들어, 제어부 (1100) 는, 복수의 콘텐트가 디스플레이부 (1900) 상에서 디스플레이되는 경우, 수신된 터치 입력의 위치로부터 먼 콘텐트일수록, 해당 콘텐트의 디스플레이 휘도를 더 감소시키도록 구현될 수 있다.
디스플레이부 (1900) 는 제어부 (1100) 에 의해 처리되는 정보가 디스플레이된다.
디스플레이부 (1900) 는 콘텐트를 디스플레이할 수 있다.
디스플레이부 (1900) 는, 제어부 (1100) 에 의해 감소된 디스플레이 휘도에 기초하여 콘텐트를 디스플레이할 수 있다.
도 2에 도시된 구성 요소 모두가 전자 디바이스 (1000) 의 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 더 적은 구성 요소에 의해 전자 디바이스 (1000) 가 구현될 수 있고, 도 2에 도시된 구성 요소보다 더 많은 구성 요소에 의해 전자 디바이스 (1000) 가 구현될 수도 있다. 예를 들어, 도 3에 도시된 바와 같이, 일 실시예에 따른 전자 디바이스 (1000) 는 전술된 제어부 (1100), 및 디스플레이부 (1900) 이외에, 통신부 (1300), 멀티미디어부 (1400), 카메라 (1500), 입/출력부 (1600), 센싱부 (1700), 저장부 (1750) 를 더 포함할 수 있다.
이하에서는 일 실시예에 따른 전자 디바이스 (1000) 의 각 구성 요소들을 상세히 설명한다.
제어부 (1100) 는 통상적으로 전자 디바이스 (1000) 의 전반적인 동작을 제어함으로써, 전자 디바이스 (1000) 의 기능을 수행할 수 있다. 예를 들어, 제어부 (1100) 는, 저장부 (1750) 에 저장된 프로그램들을 실행함으로써, 통신부 (1300), 멀티미디어부 (1400), 카메라 (1500), 입/출력부 (1600), 센싱부 (1700), 저장부 (1750), 및 디스플레이부 (1900) 를 전반적으로 제어할 수 있다.
제어부 (1100) 는 프로세서 (Processor, 1110) 를 포함한다. 제어부 (1100) 는 전자 디바이스 (1000) 의 제어를 위한 제어 프로그램이 저장된 롬 (ROM, 1120) 을 포함할 수 있다. 또한, 제어부 (1100) 는 전자 디바이스 (1000) 의 외부, 예컨대, 서버 (3000) 로부터 입력되는 신호 또는 데이터를 저장하거나, 전자 디바이스 (1000) 에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램 (RAM, 1130) 을 포함할 수 있다.
프로세서 (1110) 는 그래픽 처리를 위한 GPU (Graphic Processing Unit, 미도시) 를 포함할 수 있다. 프로세서 (1110) 는 코어 (core, 미도시) 와 GPU (미도시) 를 포함하는 SoC (System On Chip) 형태로 구현될 수도 있다. 프로세서 (1110) 는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어, 또는 그 배수의 코어를 포함할 수 있다. 또한, 프로세서 (1110), 롬 (1120) 및 램 (1130) 은 버스 (bus) 로 상호 연결될 수 있다.
통신부 (1300) 를 통해, 전자 디바이스 (1000) 와 외부 장치, 예컨대, 서버 (3000) 가 서로 통신할 수 있다.
통신부 (1300) 는 무선랜 (1310), 근거리 통신부 (1320) 및 이동 통신부 (1340) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 (1310), 근거리 통신부 (1320) 및 이동 통신부 (1340) 중 하나만 포함하거나 또는 무선랜 (1310), 근거리 통신부 (1320) 및 이동 통신부 (1340) 의 조합을 포함할 수 있다.
무선랜 (1310) 을 통해, AP (access point) 가 설치된 장소에서 전자 디바이스 (1000) 가 무선으로 AP와 연결될 수 있다. 무선랜 (1310) 은 예를 들어, 와이파이 (Wi-Fi) 를 포함할 수 있다. 무선랜 (1310) 은 미국전기전자학회 (IEEE) 의 무선랜 규격 (IEEE802.11x) 을 지원한다. 근거리 통신부 (1320) 는 제어부의 제어에 의해 AP없이 무선으로 외부 디바이스와 근거리 통신을 할 수 있다.
근거리 통신부 (short-range wireless communication unit) (1320) 는 블루투스 통신부, BLE (Bluetooth Low Energy) 통신부, 근거리 무선 통신부 (Near Field Communication unit), WLAN (와이파이) 통신부, 지그비 (Zigbee) 통신부, 적외선 (IrDA, infrared Data Association) 통신부, WFD (Wi-Fi Direct) 통신부, UWB (ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부 (1340) 를 통해, 이동 통신망 상에서 기지국, 외부의 단말, 서버 (3000) 중 적어도 하나로부터 무선 신호가 송수신된다. 이동 통신부 (1340) 는 연결가능한 전화 번호를 가지는 휴대폰 (미도시), 스마트폰 (미도시), 태블릿PC (미도시) 와 같은 외부 디바이스와 음성 통화, 화상 통화, 문자메시지 (SMS), 멀티미디어 메시지 (MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다. 여기에서, 무선 신호는, 음성 신호, 화상 통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
멀티미디어부 (1400) 는 방송 수신부 (1410), 오디오 재생부 (1420), 비디오 재생부 (1430) 등을 포함할 수 있다.
방송 수신부 (1410) 는 안테나 (미도시) 를 통해 외부의 방송국로부터 송출되는 방송 신호 (예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보 (예를 들어, EPS (Electronic Program Guide) 또는 ESG (Electronic Service Guide) ) 를 수신할 수 있다. 제어부 (1100) 는 비디오 코덱 (video code, 미도시) 및 오디오 코덱 (audio codec, 미도시) 을 이용하여, 수신된 방송 신호 및 방송 부가 정보를 재생할 수 있다.
오디오 재생부 (1420) 에 의해, 저장부 (1750) 에 기 저장되거나 또는 외부로부터 수신되는 오디오 데이터 (예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav인 오디오 파일) 가 오디오 코덱을 이용하여 재생될 수 있다.
오디오 재생부 (1420) 에 의해, 입/출력부 (1600) 에서 수신되는 입력에 대응되는 청각 피드백 (예를 들어, 저장부에 저장된 오디오 데이터의 출력 등) 이 재생될 수 있다.
비디오 재생부 (1430) 에 의해, 전자 디바이스 (1000) 의 저장부 (1750) 에 기 저장되거나 또는 외부로부터 수신되는 비디오 데이터 (예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 비디오 파일) 가 비디오 코덱을 이용하여 재생될 수 있다. 전자 디바이스 (1000) 에서 실행되는 어플리케이션은 오디오 코덱 및/또는 비디오 코덱을 이용하여 오디오 데이터 및/또는 비디오 데이터를 재생할 수 있다. 또한, 전자 디바이스 (1000) 에 실행되는 멀티미디어 어플리케이션은 하드웨어 코덱 (미도시) 및/또는 소프트웨어 코덱 (미도시) 을 이용하여 오디오 데이터 및/또는 비디오 데이터를 재생할 수 있다.
오디오/비디오 파일의 종류에 따라 다양한 종류의 비디오 코덱 및 오디오 코덱이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
카메라 (1500) 를 통해, 정지 이미지 또는 비디오가 촬영될 수 있다. 카메라 (1500) 는 이미지 센서 (미도시) 를 통해 정지 이미지 또는 비디오 등의 화상 프레임을 얻을 수 있다. 이미지 센서 (미도시) 를 통해 촬상된 화상 프레임은 제어부 (1100) 또는 별도의 이미지 프로세서 (미도시) 를 통해 처리될 수 있다. 처리된 화상 프레임은 저장부 (1750) 에 저장되거나, 통신부 (1300) 를 통해 외부로 전송될 수 있다.
일 실시예에서 카메라 (1500) 가 사용자의 안면을 촬영하고, 제어부 (1100) 가 촬영된 이미지를 통해 디스플레이부 (1900) 에서 사용자의 시선 (eye-gaze) 이 향하는 위치를 분석하여, 사용자 포커스의 위치가 획득될 수 있다. 제어부 (1100) 는 획득된 사용자 포커스의 위치에 따라 콘텐트들의 디스플레이 휘도를 결정할 수 있다. 복수의 콘텐트가 디스플레이부 (1900) 상에서 디스플레이되는 경우, 제어부 (1100) 는 획득된 사용자 포커스의 위치로부터 먼 콘텐트일수록, 해당 콘텐트의 디스플레이 휘도를 더 감소시킬 수 있다.
카메라 (1500) 는 전자 디바이스 (1000) 에서 서로 상이한 부분에 위치되는 제1 카메라 (1510) 및 제2 카메라 (1520) 를 포함할 수 있다. 예컨대, 제1 카메라 (1510) 는 전자 디바이스 (1000) 의 전면에 위치되고, 제2 카메라 (1520) 는 전자 디바이스 (1000) 의 후면에 위치될 수 있다. 예컨대, 제1 카메라 (1510) 및 제2 카메라 (1520) 가 전자 디바이스 (1000) 의 일면 상에서 인접하게 위치될 수도 있다. 만약 제1 카메라 (1510) 및 제2 카메라 (1520) 가 전자 디바이스 (1000) 의 일면 상에서 인접하게 위치되는 경우, 제1 카메라 (1510) 및 제2 카메라 (1520) 를 이용하여 3차원 정지 이미지 또는 3차원 비디오가 촬영될 수도 있다. 카메라 (1500) 는 제1 카메라 (1510) 및 제2 카메라 (1520) 외에 더 많은 카메라를 포함할 수도 있다.
카메라 (1500) 는 촬영에 필요한 광량을 제공하는 플래시 (1530) 를 포함할 수 있다. 또한, 카메라 (1500) 는 광각, 망원, 및/또는 접사 촬영을 위한, 별도의 어댑터 (미도시) 에 착탈가능한 추가 렌즈 (미도시) 를 더 포함할 수도 있다.
입/출력부 (1600) 를 통해, 입/출력부 (1600) 를 통해, 전자 디바이스 (1000) 로 데이터가 입력되고, 처리된 데이터가 출력된다.
입/출력부 (1600) 는 하나 이상의 버튼 (1610), 마이크 (1620), 스피커 (1630), 및 진동 모터 (1640) 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않고 다양한 입/출력 수단을 포함할 수 있다.
버튼 (1610) 은 전자 디바이스 (1000) 의 전면, 후면, 또는 측면에 위치될 수 있다. 예컨대, 버튼 (1610) 은 전자 디바이스 (1000) 의 전면 하부에 위치되는 홈 버튼, 메뉴 버튼, 돌아가기 버튼 등일 수 있다. 버튼 (1610) 은 전자 디바이스 (1000) 의 측면에 위치되는 전원잠금 버튼, 볼륨버튼 등일 수 있다.
버튼 (1610) 은 물리적 버튼뿐만 아니라 터치 스크린 (미도시) 외부의 베젤 상에서 터치 버튼으로도 구현될 수 있다.
전자 디바이스 (1000) 가 스마트 워치인 경우, 버튼 (1610) 은 스마트 워치의 용두일 수 있다.
마이크 (1620) 를 통해, 외부로부터 입력되는 음향 신호에 기초하여, 전기적인 신호가 생성된다. 마이크 (1620) 에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부 (1750) 에 저장되거나 또는 스피커 (1630) 를 통해 출력될 수 있다. 마이크 (1620) 는 전자 디바이스 (1000) 의 전면, 측면, 또는 후면 어디에도 위치될 수 있고, 전자 디바이스 (1000) 는 복수의 마이크를 포함할 수도 있다. 한편, 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음 (noise) 를 제거하기 위한 다양한 잡음 제거 알고리즘이 이용될 수 있다.
스피커 (1630) 를 통해, 통신부 (1300), 멀티미디어부 (1400), 카메라 (1500), 입/출력부 (1600), 또는 센싱부 (1700) 에 의해 수신된 다양한 신호 (예를 들어, 무선 신호, 방송 신호, 오디오 데이터, 비디오 데이터, 또는 사진 촬영 등) 및 저장부 (1750) 에 저장된 오디오 데이터나 비디오 데이터에 대응되는 사운드가 전자 디바이스 (1000) 의 외부로 출력될 수 있다.
스피커 (1630) 는 전자 디바이스 (1000) 에서 수행되는 기능에 대응되는 사운드 (예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 또는 사진 촬영버튼 조작음) 를 출력할 수 있다. 스피커 (1630) 는 전자 디바이스 (1000) 의 전면, 측면, 또는 후면 어디에도 위치될 수 있고, 전자 디바이스 (1000) 는 복수의 스피커를 포함할 수도 있다.
진동 모터 (1640) 를 통해, 전기적 신호가 기계적 진동으로 변환될 수 있다. 진동 모터 (1640) 는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 진동 모터 (1640) 를 통해, 오디오 데이터 또는 비디오 데이터의 출력에 대응되는 진동이 발생할 수 있다. 진동 모터 (1640) 를 통해, 통신부 (1300), 멀티미디어부 (1400), 카메라 (1500), 입/출력부 (1600), 또는 센싱부 (1700) 에 의해 수신된 다양한 신호에 대응되는 진동이 발생할 수도 있다.
진동 모터 (1640) 는 전자 디바이스 (1000) 전체를 진동시키거나, 전자 디바이스 (1000) 의 일 부분만을 진동시키도록 구현될 수도 있다. 전자 디바이스 (1000) 는 복수의 진동모터를 포함할 수도 있다.
입/출력부 (1600) 는 터치 패드 (미도시), 커넥터 (미도시), 키패드 (미도시), 조그 휠 (미도시), 조그 스위치 (미도시), 입력 펜 (미도시) 등을 더 포함할 수 있다.
터치 패드 (미도시) 는, 접촉식 정전 용량 (capacitive) 방식, 압력식, 저항막 (resistive) 방식, 적외선 감지 방식, 표면 초음파 (acoustic wave) 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식, 전자기 공명 (EMR; electromagnetic resonance) 등으로 구현될 수 있다. 터치 패드 (미도시) 가 디스플레이부 (1900) 와 레이어 구조를 구성하거나, 디스플레이부 (1900) 자체에 직접 위치됨으로써, 터치 스크린이 구현될 수 있다.
일 실시예에서 디스플레이부 (1900) 가 사용자의 터치 입력을 수신하는 터치 스크린인 경우, 제어부 (1100) 는, 수신된 터치 입력의 위치에 따라 콘텐트들의 디스플레이 휘도를 결정할 수 있다. 예를 들어 복수의 콘텐트가 디스플레이부 (1900) 상에서 디스플레이되는 경우, 제어부 (1100) 는 수신된 터치 입력의 위치로부터 먼 콘텐트일수록, 해당 콘텐트의 디스플레이 휘도를 더 감소시킬 수 있다.
터치 패드 (미도시) 는 직접 터치 (real-touch) 뿐만 아니라 근접 터치 (proximity touch) 도 검출될 수 있도록 구성될 수 있으며, 본 명세서에서 설명의 편의상 직접 터치 (real-touch) 및 근접 터치 (proximity touch) 는 모두 "터치"로 지칭될 수 있다.
본 명세서에서 "직접 터치 (real-touch)"는 터치 패드 (미도시) 에 포인터 (pointer) 가 물리적으로 터치된 상태에서 발생되는 입력을 의미하고, "근접 터치 (proximity-touch)"는 포인터 (pointer) 가 터치 패드 (미도시) 에 물리적으로 터치되지 않더라도, 해당 화면으로부터 소정 거리만큼 접근된 상태에서 발생되는 입력을 의미한다.
본 명세서에서 "포인터 (pointer)"는 터치 패드 (미도시) 를 직접 터치하거나 근접 터치하기 위한 도구를 말한다. 예를 들어, 포인터는 스타일러스 펜, 손가락 등일 수 있다.
사용자의 터치를 더 정교하게 감지하기 위해, 전자 디바이스 (1000) 는 터치 패드 (미도시) 의 내부 또는 그 주변에 위치되는 촉각 센서 (Tactile Sensor, 미도시), 압력 감지 센서 (Force Touch Sensor, 미도시) 를 더 포함할 수 있다. 촉각 센서 (미도시)) 를 통해, 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보가 감지될 수 있다.
압력 감지 센서 (미도시) 를 통해, 터치 패드 (미도시) 를 터치하는 압력의 크기가 감지될 수 있다. 터치 압력의 크기에 따라, 전자 디바이스 (1000) 에서 서로 다른 기능이 수행되도록 구현됨으로써, 제스처 (gesture) 입력이 더욱 다양화될 수 있다.
제스처 입력은 다양한 방식으로 구현될 수 있다. 예를 들어, "탭 (tap)"은, 터치 패드 (미도시) 상에서 포인터가 한 번 터치된 후 터치 패드 (미도시) 로부터 포인터가 떨어짐으로써, 인가되고, "더블 탭 (double tap)"은 소정 시간 내에 두 번, "멀티플 탭 (multiple tap)"은 세 번 이상 터치 패드 (미도시) 가 터치됨으로써, 인가된다. "롱 탭 (long tap)"은, 소정 시간 이상 또는 특정 이벤트가 발생할 때까지 터치 패드 (미도시) 에 터치된 상태를 유지함으로써, 인가된다.
"드래그 (drag)"는, 터치 패드 (미도시) 와 포인터가 터치된 상태를 유지하면서 포인터가 터치 패드 (미도시) 상에서 다른 위치로 이동함으로써, 인가된다. "스와이프 (swipe)"는 포인터의 이동 속도가 비교적 "드래그"보다 빠른 입력을 의미한다.
핀치 아웃 (pinch-out) 은, 터치 패드 (미도시) 상에서 두 손가락을 안쪽에서 바깥쪽으로 밀어 냄으로써, 인가되고, 핀치 인 (pinch-in) 은 반대로 두 손가락을 꼬집듯이 바깥쪽에서 안쪽으로 모음으로써 인가된다.
커넥터 (미도시) 는 전자 디바이스 (1000) 와 전원 소스가 연결되기 위한 인터페이스로 이용될 수 있다. 제어부 (1100) 의 제어에 의해 전자 디바이스 (1000) 는 커넥터 (미도시) 에 연결된 유선 케이블을 통해, 저장부 (1750) 에 저장된 데이터를 외부로 전송하거나 또는 외부로부터 데이터를 수신할 수 있다. 커넥터 (미도시) 에 연결된 유선 케이블을 통해 전원이 전자 디바이스 (1000) 에 입력되고, 전자 디바이스 (1000) 의 배터리 (미도시) 가 충전될 수 있다. 또한, 전자 디바이스 (1000) 는 커넥터 (미도시) 를 통해 외부의 액세서리 (예를 들어, 스피커 (미도시), 키보드 도크 (keyboard dock, 미도시) ) 와 연결될 수도 있다.
키패드 (미도시) 를 통해, 사용자로부터 키 입력이 수신될 수 있다. 키패드 (미도시) 는 터치 스크린 (미도시) 내에 디스플레이되는 가상 키패드 (미도시), 무선 또는 유선으로 연결가능한 물리적인 키패드 (미도시), 전자 디바이스 (1000) 에 전면에 형성되는 물리적인 키패드 (미도시) 등일 수 있다.
센싱부 (1700) 는 전자 디바이스 (1000) 의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센싱부 (1700) 는 사물체의 접근 여부를 검출하는 근접 센서 (Proximity Sensor, 1710), 주변의 빛의 양을 검출하는 조도 센서 (Illuminance Sensor, 1720), X, Y, 및 Z축에 대한 각 속도를 측정하여 변화한 각도를 측정하는 자이로 센서 (Gyro Sensor, 1730) 를 포함할 수 있으나, 이에 한정되는 것은 아니다.
센싱부 (1700) 은 전자 디바이스 (1000) 의 위치를 검출하기 위해, GPS (Global Positioning System, 미도시) 를 더 포함할 수 있다. 실외에서, GPS (미도시) 를 통해 전자 디바이스 (1000) 의 위치가 계산될 수 있다.
실내에서, 무선 AP (미도시) 를 이용하여 전자 디바이스 (1000) 의 위치가 계산될 수도 있다. 실내에서 전자 디바이스 (1000) 의 위치는, 무선 AP의 ID를 이용한 셀 아이디 (cell-ID) 방식, 무선 AP의 ID와 RSS (Received signal strength) 를 이용한 강화 셀 아이디 (enhanced cell-ID) 방식 또는 AP로부터 전송된 신호의 전자 디바이스 (1000) 에 수신되는 각도를 이용한 AoA (Angle of Arrival) 방식 등을 통해 계산될 수 있다. 또는, 무선 비컨 (beacon, 미도시) 을 이용하여 전자 디바이스 (1000) 의 위치가 계산될 수도 있다.
센싱부 (1700) 는 지구 자기장을 이용해 방위각을 탐지하는 지자기 센서 (Magnetic sensor, 미도시), X, Y, 및 Z 축 각각에 대한 가속도 (중력 가속도 및 운동 가속도) 를 측정하는 가속도 센서 (Acceleration sensor, 미도시), 중력의 작용 방향을 검출하는 중력 센서 (Gravity Sensor, 미도시), 빛의 RGB (Red, Green, Blue, 및 White) 색상의 농도를 측정하는 RGB 센서 (미도시), 자기장을 감지하는 홀 센서 (Hall Sensor, 미도시), 자계 (Magnetic Field) 의 세기를 측정하는 마그네토미터 (Magnetometer, 미도시), IR (적외선) 을 사용하여 사용자의 손 동작을 인식하는 적외선 센서 (IR Sensor, 미도시), 경사도를 인식하고 대기의 압력을 측정하여 고도를 검출하는 고도계 (Altimeter), 지문 인식 센서 (Finger scan Sensor, 미도시), 심박수 측정 센서 (Heart rate Sensor, 미도시), 압력 센서 (Pressure Sensor, 미도시), UV 센서 (미도시), 온도 습도 센서 (Temperature Humidity Sensor) 또는 물체의 움직임이나 위치를 인식하는 동작 인식 센서 (Motion Recognition Sensor, 미도시) 를 포함할 수도 있다.
저장부 (1750) 는 제어부 (1100) 의 제어에 의해 전자 디바이스 (1000) 를 구동하고 제어하기 위한 다양한 데이터, 제어 프로그램을 저장할 수 있다. 저장부 (1750) 는 통신부 (1300), 입/출력부 (1600), 및 디스플레이부 (1900) 의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. 예컨대, 저장부 (1750) 는 전자 디바이스 (1000) 의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI (graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
저장부 (1750) 는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브 (HDD) 솔리드 스테이트 드라이브 (SSD) 등을 포함할 수 있다. 저장부는 메모리로 지칭될 수도 있다.
디스플레이부 (1900) 는 다수의 픽셀들 (pixels) 을 구비하고, 픽셀들을 통해 전자 디바이스 (1000) 에서 처리되는 정보가 디스플레이된다. 예를 들어, 디스플레이부 (1900) 를 통해, 전자 디바이스 (1000) 에서 구동되는 운영 체제의 실행 화면과 운영 체제에서 구동되는 애플리케이션의 실행 화면 등이 디스플레이될 수 있다. 제어부 (1100) 는 디스플레이부 (1900) 가 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 비디오 보기, 또는 어플리케이션 실행과 같은 다양한 기능에 대응되는 GUI (Graphical User Interface) 를 디스플레이하도록 제어할 수 있다.
디스플레이부 (1900) 는 예를 들어, LCD (liquid crystal display), 박막 트랜지스터 액정 디스플레이 (Thin Film Transistor-Liquid Crystal Display), OLED (Organic Light Emitting Diodes), PDP (Plasma Display Panel), 플렉시블 디스플레이 (flexible display), 3차원 디스플레이 (3D display), 전기영동 디스플레이 (electrophoretic display), 및 VFD (Vacuum fluorescent display) 중 적어도 하나를 포함할 수 있다.
전자 디바이스 (1000) 의 구현 형태에 따라 전자 디바이스 (1000) 는 복수의 디스플레이부 (1900) 를 포함할 수도 있다. 복수의 디스플레이부 (1900) 는 힌지 (hinge) 를 이용하여 마주보게 배치될 수 있다.
도 4는 일 실시예에 따라, 픽셀들의 현저도 정보를 이용하여 콘텐트의 디스플레이 휘도를 감소시키는 방법을 설명하기 위한 도면이다.
전자 디바이스 (1000) 는 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여, 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다. 여기서, 픽셀정보는 픽셀들의 현저도 (saliency) 정보를 포함할 수 있다.
콘텐트를 구성하는 픽셀들의 현저도 정보는, 해당 콘텐트에서 인간의 시각이 집중되는 영역을 식별하기 위해 이용된다. 주변에 비해 밝기, 색상, 또는 그래이값 (gray value) 의 차이가 심한 영역이나, 윤곽선이 뚜렷하여 시선이 집중되는 점을 모델링함으로써 픽셀들의 현저도 정보가 획득될 수 있다.
콘텐트가 이미지인 경우, 전자 디바이스 (1000) 는 해당 콘텐트를 구성하는 픽셀들에 대해 양방향 필터링 (bilateral filtering) 을 수행하여 획득된 그래이값들을 픽셀들의 현저도 정보로서 이용할 수 있다. 여기서, 양방향 필터링은 수학식 1에 기초하여 수행될 수 있다.
수학식 1
Figure PCTKR2015009520-appb-M000001
여기서, B(I)p 는 픽셀들 중 픽셀p가 양방향 필터링된 그래이값이고, N(p) 는 픽셀p의 주변 픽셀들의 집합이고, 픽셀q는 픽셀p의 주변 픽셀들 중 하나이고, Wp는 픽셀p의 주변 픽셀들의 표준화 가중치 (normalization weight) 로서, 양방향 필터링이 콘텐트의 이미지 에너지를 보존하는 경우,
Figure PCTKR2015009520-appb-I000004
이고, Gσs 및 Gσr 는 표준 편차가 σs 및 σr 이고, 평균 값이 0인 가우시안 함수이고, ∥p-q∥는 픽셀p 및 픽셀q 사이의 유클리드 거리이고, Ip 및 Iq는 픽셀p 및 픽셀q의 그래이값이고, ｜Ip-Iq｜ 는 픽셀p 및 픽셀q 간의 그래이값 차이이다.
양방향 필터링의 결과값은 그대로 현저도 정보로 이용되거나, 결과값의 반전 (inversion) 이 현저도 정보로 이용될 수 있다. 픽셀의 현저도 정보는 에지 특성을 보장하는 스무딩 필터링 알고리즘 (예를 들어, Guided filter proposed by Kaiming He, and Domain transform filter proposed by Eduardo S.L.Gastal) 에 의해 획득될 수도 있다.
도 4에 도시된 바와 같이, 콘텐트 (40) 를 구성하는 픽셀들의 현저도 정보는 현저도 맵 (42) 에 맵핑될 수 있다. 현저도 맵 (42) 은 그래이스케일 (grayscale) 로 표현될 수 있고, 현저도 맵 (42) 에서 백색에 가까운 색상의 픽셀일수록 현저도가 높고, 흑색에 가까운 색상의 픽셀일수록 현저도가 낮다. 현저도 정보의 맵핑 방식은 이에 제한되지 않고, 다양한 방식으로 구현될 수 있다.
전자 디바이스 (1000) 는 픽셀의 현저도에 따라, 해당 픽셀의 디스플레이 휘도를 결정할 수 있다. 예를 들어, 도 4에 도시된 그래프 (46) 를 참조하면, 전자 디바이스 (1000) 는 현저도가 낮은 픽셀의 디스플레이 휘도를 현저도가 높은 픽셀의 디스플레이 휘도보다 더 감소시키도록 구현될 수 있다.
일 실시예에 따른 콘텐트 (40) 디스플레이 방법에 따르면, 현저도가 낮은 픽셀의 디스플레이 휘도가 현저도가 높은 픽셀의 디스플레이 휘도보다 더 감소됨으로써, 전자 디바이스 (1000) 의 전력을 절약하고, 디밍된 콘텐트 (44) 의 시인성 (visibility) 을 향상시킬 수 있다.
도 5a는 종래 방법에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시하고, 도 5b는 일 실시예에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시한다.
입력된 콘텐트 (50) 는 도 5a에 도시된 바와 같이 디스플레이될 수 있다. 콘텐트 (50) 의 디스플레이 휘도가 종래 방법에 따라 감소되면, 디밍된 (dimmed) 콘텐트 (54a) 의 시인성 (visibility) 또한 함께 감소하는 문제가 있다. 구체적으로, 도 5a에서 디밍된 콘텐트 (54a) 의 확대된 부분 (56a) 에서 나무의 그림자가 명확히 시인되지 않는다.
반면, 입력된 콘텐트 (50) 의 디스플레이 휘도가 일 실시예에 따른 콘텐트 디스플레이 방법에 따라 감소되면, 디밍된 콘텐트 (54b) 의 시인성은 종래 방법만큼 하락하지 않는다. 구체적으로, 도 5b에서 디밍된 콘텐트 (54b) 의 확대된 부분 (56b) 에서 나무의 그림자는 명확히 시인될 수 있다.
나아가, 일 실시예에 따라 콘텐트 디스플레이 방법에 따르면, 전자 디바이스 (1000) 의 소비 전력이 절약될 수 있다.
디밍된 지도 이미지 (14a) 의 디스플레이 휘도는 이미지 (14a) 전체적으로 감소했기 때문에, 도 1a에 도시된 바와 같이, 시인성 또한 함께 감소하는 문제가 있다.
도 6a는 종래 방법에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시하고, 도 6b는 일 실시예에 따라, 디스플레이 휘도가 감소된 콘텐트를 도시한다.
입력된 콘텐트 (60) 는 도 6a에 도시된 바와 같이 디스플레이될 수 있다. 콘텐트 (60) 의 디스플레이 휘도가 종래 방법에 따라 감소되면, 디밍된 (dimmed) 콘텐트 (64a) 의 확대된 부분 (66a) 에서 호수의 물결이 명확하게 시인되지 않는다.
반면, 입력된 콘텐트 (60) 의 디스플레이 휘도가 일 실시예에 따른 콘텐트 디스플레이 방법에 따라 감소되면, 디밍된 콘텐트 (64b) 의 확대된 부분 (66b) 에서 호수의 물결이 명확히 시인될 수 있다.
양방향 필터링은 사전 필터링 방식으로도 이용될 수 있다. 양방향 필터링의 처리 시간은 약 3ms 일 수 있다. 개시되는 실시예들에 따른 콘텐트 디스플레이 과정에서, 이미지 처리 과정에서의 소비 전력은 총 소비 전력의 약 8% ~ 9%이다. 일반적인 스마트폰에 있어, 디스플레이 스크린의 전력 소모는 스마트폰의 총 소비 전력의 약 38% ~ 50% 이다.
개시되는 실시예들에 따른 콘텐트 디스플레이 방법에 의하면, 디스플레이 스크린의 소비 전력은 현재 디스플레이 스크린의 소비 전력보다 60% 감소하므로, 스마트폰의 총 소비 전력은 13%~22% 범위로 감소될 수 있다 ([38%~50%]x60%-[8%~9%]=[13.8%~22%]). 스마트폰의 총 소비 전력이 50%로 감소되는 경우, 도 5a 및 도 6a는 종래의 디밍 방법에 의해 디밍된 콘텐트 (54a, 64a) 를 도시하고, 도 5b 및 도 6b는 일 실시예에 따른 콘텐트 디스플레이 방법에 의해 디밍된 콘텐트 (54b, 64b) 를 도시한다.
일 실시예에 따른 콘텐트 디스플레이 방법에 의해 디밍된 콘텐트 (54b, 64b) 는, 육안으로도 종래 디밍 방법에 의해 디밍된 콘텐트 (54a, 64a) 보다 전체적으로 더 밝고, 선명하게 디스플레이될 수 있다. 즉, 동일한 전력을 소비할 때 더 나은 디스플레이 효과가 달성될 수 있다.
도 7a는 일 실시예에 따라, 전자 디바이스 (1000) 에서 콘텐트의 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
단계 S700에서, 전자 디바이스 (1000) 는 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여 일부 픽셀들의 디스플레이 휘도를 감소시킨다.
여기서, 픽셀정보는 픽셀의 RGB값, 그래이값 (gray value), 현저도 (saliency), 수정 그래이값 등을 포함할 수 있다.
일 실시예에서 전자 디바이스 (1000) 는 픽셀들의 현저도 정보에 기초하여 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다. 전자 디바이스 (1000) 는 일부 픽셀들 중에서 제1 픽셀들의 디스플레이 휘도는 제2 픽셀들의 디스플레이 휘도보다 더 감소시킬 수도 있다.
일 실시예에서 전자 디바이스 (1000) 는 현저도가 미리 결정된 값 이하이거나, 현저도 정보가 존재하지 않는 픽셀들의 디스플레이 휘도를 감소시킬 수 있다.
콘텐트의 콘텐트 타입이 텍스트인 경우, 해당 콘텐트는 텍스트의 텍스트의 배경을 포함한다. 해당 콘텐트에서 일반적으로 사용자는 텍스트의 배경보다 텍스트에 더 많은 관심을 갖는다. 따라서, 텍스트에 대응되는 픽셀들의 현저도는 텍스트의 배경에 대응되는 픽셀들의 현저도보다 높은 값을 갖도록 구현될 수 있다. 또는, 텍스트의 배경에 대응되는 픽셀들의 현저도는 0의 값을 갖도록 구현되거나, 현저도 정보가 존재하지 않도록 구현될 수도 있다.
텍스트의 배경에 대응되는 픽셀들의 현저도는 0의 값을 갖도록 구현되거나, 현저도 정보가 존재하지 않도록 구현된 경우, 전자 디바이스 (1000) 는 텍스트의 배경에 대응되는 픽셀들의 디스플레이 휘도를 감소시킬 수 있다. 또는, 전자 디바이스 (1000) 는 텍스트의 배경에 대응되는 픽셀들의 디스플레이 휘도를 텍스트에 대응되는 픽셀들의 디스플레이 휘도보다 더 감소시킬 수도 있다. 텍스트와 텍스트 배경을 구별하여 디스플레이 휘도가 결정됨으로써, 전자 디바이스 (1000) 의 소비 전력을 절약하면서 텍스트의 시인성 (visibility) 저하를 억제하거나, 오히려 시인성을 향상시킬 수 있다.
텍스트 콘텐트에서 텍스트는 텍스트 콘텐트의 전송 과정 동안 입력 정보에 따라 추출되거나, 텍스트 콘텐트가 디스플레이된 영역을 인식하여 추출될 수 있다.
단계 S710에서, 전자 디바이스 (1000) 는 단계 S700에서 감소된 디스플레이 휘도에 기초하여 콘텐트를 디스플레이한다.
일 실시예에 따르면, 콘텐트의 콘텐트 타입 및 기타 파라미터에 따라 해당 콘텐트의 디스플레이 휘도의 감소율이 상이해지도록 구현될 수 있다. 콘텐트의 콘텐트 타입 및 기타 파라미터에 따라 해당 콘텐트의 디스플레이 휘도의 감소율이 상이한 실시예는 도 7b를 참조하여 설명한다.
도 7b는 일 실시예에 따라, 콘텐트의 콘텐트 타입 및 기타 파라미터에 따라 콘텐트의 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
단계 S700에서, 전자 디바이스 (1000) 는 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여 일부 픽셀들의 디스플레이 휘도를 감소시킨다.
구체적으로, 단계 S701에서 전자 디바이스 (1000) 는 콘텐트를 식별한다.
콘텐트 타입은 해당 콘텐트의 전송 플로우, 또는 해당 콘텐트에 대한 이미지 분석에 기초하여 식별될 수 있다.
콘텐트가 멀티-플로우 분할 콘텐트 전송 방식을 통해 디스플레이부로 전송될 때, 입력된 전송 플로우로부터 콘텐트 타입이 직접 식별될 수 있다. 예를 들어, 멀티-플로우 분할 콘텐트 전송 기술은 MMT (MPEG Media Transport) 표준일 수 있다.
콘텐트가 디스플레이부로 단일-플로우 전송 방식을 통해 디스플레이부로 전송될 때, 해당 콘텐트에 대한 이미지 분석을 통해 콘텐트 타입이 식별될 수도 있다.
한편, 콘텐트는 복수의 서브 콘텐트를 포함할 수 있다. 예를 들어, 이미지와 텍스트의 복합 콘텐트의 경우, 이미지 콘텐트와 텍스트 콘텐트를 포함한다. 서브 콘텐트 또한 콘텐트로 취급될 수 있고, 전자 디바이스 (1000) 는 서브 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시킬 수 있다.
복합 콘텐트는 텍스트, 비디오, 이미지 등 다양한 서브 콘텐트를 포함할 수 있다. 복합 콘텐트는 MPEG 미디어 전송 표준에 따라 전송될 수 있고, MPEG 미디어 전송 표준은 콘텐트 타입에 따른 영역 분할 전송 방식을 포함한다. MPEG 미디어 전송 표준에 의하면, 전송되는 콘텐트의 콘텐트 타입에 따라 콘텐트의 전송 및 코딩이 수행될 수 있다.
단계 S700에서의 콘텐트 식별 결과에 따라, 콘텐트 타입이 이미지인 경우, 단계 S702에 따라 전자 디바이스 (1000) 는 해당 콘텐트에 대해 양방향 필터링을 수행하여 픽셀들의 현저도를 획득하고, 콘텐트 타입이 텍스트인 경우, 단계 S703에 따라 전자 디바이스 (1000) 는 콘텐트에서 배경을 제외한 텍스트로부터 현저도를 획득한다.
일 실시예에서 콘텐트가 복수의 콘텐트를 포함하는 복합 콘텐트인 경우, 전자 디바이스 (1000) 는 복합 콘텐트에 포함된 각각의 서브 콘텐트의 콘텐트 타입을 식별할 수도 있다. 예를 들어, 콘텐트가 이미지와 텍스트의 복합 콘텐트인 경우, 전자 디바이스 (1000) 는 이미지 콘텐트에 대해 양방향 필터링을 수행하여 이미지 콘텐트를 구성하는 픽셀들의 현저도를 획득하고, 텍스트 콘텐트에서 배경을 제외한 텍스트로부터 현저도를 획득할 수 있다.
콘텐트가 이미지인 경우, 전자 디바이스 (1000) 는 해당 콘텐트를 구성하는 픽셀들에 대해 양방향 필터링 (bilateral filtering) 을 수행하여 획득된 그래이값들을 픽셀들의 현저도 정보로서 이용할 수 있다. 양방향 필터링의 결과값은 그대로 현저도 정보로 이용되거나, 결과값의 반전 (inversion) 이 현저도 정보로 이용될 수 있다.
콘텐트가 텍스트인 경우, 전자 디바이스 (1000) 는 텍스트에 대응되는 픽셀들에 대해서만 현저도 정보를 획득할 수 있다. 여기서, 텍스트의 배경에 대응되는 픽셀들에 대한 현저도 정보는 존재하지 않을 수 있다. 또는, 텍스트에 대응되는 픽셀들의 현저도는 미리 결정된 값 이상을 갖고, 텍스트의 배경에 대응되는 픽셀들의 현저도는 미리 결정된 값 이하를 갖거나 0을 갖도록 구현될 수도 있다.
단계 S704에서 전자 디바이스 (1000) 는 획득된 현저도 정보, 디테일 디스플레이 수준 (detail display level), 전자 디바이스 (1000) 의 잔여 전력, 및 전자 디바이스 (1000) 의 주변광에 기초하여 픽셀들의 수정 그래이값을 획득한다.
픽셀들의 수정 그래이값은 수학식 2에 기초하여 획득될 수 있다.
수학식 2
Figure PCTKR2015009520-appb-M000002
여기서, I*(p)는 픽셀들 중 픽셀p의 수정 그래이값이고, Y(α, β, p)는 픽셀p에 대한 파라미터로서, Y(α, β, p) = β[1[0,1)(α)S(p) + 1[0,1)(α-1)] 이고, α는 디테일 디스플레이 수준에 대한 파라미터로서, 0≤α≤1이고, α=1 인 경우 디테일 디스플레이 수준이 가장 높고, α=0 인 경우 디테일 디스플레이 수준이 가장 낮고, β는 잔여 전력 및 주변광에 의해 결정된 휘도 수준에 대한 파라미터로서, 0≤β≤1이고, 1[0,1)(α)는 표시 함수 (indication function) 로서, α가 [0,1) 범위 내인 경우 1[0,1)(α)=1 이고, α가 [0,1) 범위 외인 경우 1[0,1)(α)=0 이고, S(p) 는 픽셀p의 현저도이고, 1[0,1)(α-1)은 표시 함수 (indication function) 로서, (α-1)이 [0,1) 범위 내인 경우 1[0,1)(α-1)=1이고, (α-1)이 [0,1) 범위 외인 경우 1[0,1)(α-1)=0이고, I(p) 는 픽셀p의 그래이값이고, I~(p)는 픽셀p가 필터링된 그래이값, 또는, 픽셀p가 양방향 필터링된 결과값일 수 있다.
디테일 디스플레이 수준 (α) 이 1인 경우, 즉, 콘텐트의 디테일이 모두 보존되는 경우, Y(α, β, p) 및 I*(p)는 픽셀들의 현저도와 관련이 없고, 오직 픽셀들의 그래이값 I(p), 및 픽셀들의 필터링된 그래이값 I~(p)에 의해 결정된다.
디테일 디스플레이 수준 (α) 이 1이 아닌 경우, 즉, 콘텐트의 디테일의 일부가 보존만 보존되는 경우, Y(α, β, p) 및 I*(p)는 픽셀들의 현저도 S(p), 픽셀들의 그래이값 I(p), 및 픽셀들의 필터링된 그래이값 I~(p)에 의해 결정된다.
단계 S705에서 전자 디바이스 (1000) 는, 단계 S704에서 획득된 수정 그래이값에 기초하여 픽셀들의 디스플레이 휘도를 감소시킨다.
단계 S710에서, 전자 디바이스 (1000) 는 단계 S705에서 감소된 디스플레이 휘도에 기초하여 콘텐트를 디스플레이한다.
도 8은 일 실시예에 따라, 콘텐트의 콘텐트 타입에 따라 콘텐트 간 우선순위를 결정하는 방법을 설명하기 위한 도면이다.
일반적으로 사용자는 복수의 콘텐트 중에서, 텍스트 콘텐트에 비해 비디오나 이미지 콘텐트에 대해 더 많은 관심을 가진다. 또한, 디스플레이 휘도가 동일하게 감소하더라도, 텍스트 콘텐트에 비해, 비디오나 이미지 콘텐트의 시인성 (visibility) 은 더 저하될 수 있다. 따라서, 전자 디바이스 (1000) 는 콘텐트의 콘텐트 타입에 따라 콘텐트의 디스플레이 휘도를 감소시킬 수 있다. 예를 들어, 전자 디바이스 (1000) 는 콘텐트 타입이 이미지인 경우보다 콘텐트의 콘텐트 타입이 텍스트인 경우에 콘텐트의 디스플레이 휘도를 더 감소시키도록 구현될 수 있다.
도 8을 참조하면, 전자 디바이스 (1000) 의 디스플레이 스크린을 통해 배경 콘텐트 (80), 비디오 콘텐트 (81), 이미지 콘텐트 (82), 및 텍스트 콘텐트 (83, 84) 와 같이 복수의 콘텐트가 디스플레이될 수 있다.
전자 디바이스 (1000) 는 콘텐트 타입에 따라 우선순위를 결정하여, 우선순위가 낮은 콘텐트일수록 디스플레이 휘도를 더 감소시키도록 구현될 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 배경 콘텐트 (80) 가 가장 낮은 우선순위를 갖고, 텍스트 콘텐트 (83, 84), 이미지 콘텐트 (82), 비디오 콘텐트 (81) 가 순서대로 높은 우선순위를 가질 수 있다. 전자 디바이스 (1000) 는 우선순위에 따라, 배경 콘텐트 (80) 의 디스플레이 휘도를 가장 많이 감소시키고, 그 다음으로 텍스트 콘텐트 (83, 84) 의 디스플레이 휘도를 감소시키고, 그 다음으로 이미지 콘텐트 (82) 의 디스플레이 휘도를 감소시키고, 비디오 콘텐트 (81) 의 디스플레이 휘도를 가장 적게 감소시킬 수 있다.
콘텐트 타입에 따른 콘텐트들 간 우선순위는 타입 지수 (T factor) 로 표현될 수 있다. 예를 들어, 비디오 콘텐트 (81) 의 타입 지수는 T1, 이미지 콘텐트 (82) 의 타입 지수는 T2, 텍스트 콘텐트 (83, 84) 의 타입 지수는 T3, 배경 콘텐트 (80) 의 타입 지수는 Tn으로 표현될 수 있고, 타입 지수들은 T1 > T2 > T3 > Tn 의 관계를 가질 수 있으나, 이에 제한되지 않는다. 예컨대, 배경 콘텐트 (80) 의 타입 지수 (Tn) 보다 텍스트 콘텐트 (83, 84) 의 타입 지수 (T3) 가 더 낮을 수 있고, 비디오 콘텐트 (81) 의 타입 지수는 T1와 이미지 콘텐트 (82) 의 타입 지수는 T2가 동일할 수도 있다.
콘텐트 타입의 식별은 전술된 바와 같이 콘텐트에 대한 이미지 분석, 또는 콘텐트의 전송 플로우에 기초하여 수행될 수 있다.
일 실시예에 따른 콘텐트 디스플레이 방법에 의하면, 콘텐트의 콘텐트 타입에 따라 디스플레이 휘도 감소율이 조절될 수 있다. 콘텐트의 특성에 맞추어 효과적으로 전자 디바이스 (1000) 의 전력을 절약하면서, 종래의 디밍 (dimming) 방법에 비해 콘텐트의 시인성을 향상시킬 수 있다.
도 9는 일 실시예에 따라, 콘텐트의 겹침 관계에 따라 콘텐트 간 우선순위를 결정하는 방법을 설명하기 위한 도면이다.
일반적으로 사용자는 복수의 콘텐트 중에서, 최상단 레이어 (layer factor) 에서 디스플레이되는 콘텐트에 대해 더 많은 관심을 가진다. 예를 들어, 제1 콘텐트가 디스플레이된 후, 제2 콘텐트가 디스플레이되면, 일반적으로 제2 콘텐트는 제1 콘텐트 상에서 제1 콘텐트의 적어도 일부를 가린다. 즉, 나중에 활성화된 콘텐트일수록, 더 위의 레이어에 디스플레이 됨으로써, 그 아래의 레이어에서 디스플레이되는 콘텐트를 커버 (cover) 하고, 더 아래의 레이어에서 디스플레이되는 콘텐트일수록 사용자의 관심을 덜 받는다. 따라서, 전자 디바이스 (1000) 는 콘텐트들 간의 겹침 관계에 따라 콘텐트들의 디스플레이 휘도를 결정할 수 있다. 예를 들어, 더 아래의 레이어에서 디스플레이되는 콘텐트일수록 디스플레이 휘도가 더 감소되도록 구현될 수 있다.
도 9를 참조하면, 전자 디바이스 (1000) 의 디스플레이 스크린을 통해, 배경 레이어 (90) 에서 배경 콘텐트가 디스플레이되고, 배경 레이어 (90) 상에 복수의 레이어 (91, 92, 93, 94) 가 위치할 수 있다.
전자 디바이스 (1000) 는 콘텐트가 디스플레이되는 레이어에 따라 우선순위를 결정하여, 우선순위가 낮은 콘텐트일수록 디스플레이 휘도를 더 감소시키도록 구현될 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 최상단 레이어 (91, 94) 에 위치된 콘텐트들이 가장 높은 우선 순위를 갖고, 배경 레이어 (90) 에서 디스플레이되는 배경 콘텐트가 가장 낮은 우선순위를 가질 수 있다.
콘텐트가 디스플레이되는 레이어에 따른 콘텐트들 간 우선순위는 레이어 지수 (L) 로 표현될 수 있다. 예를 들어, 최상단 레이어 (91, 94) 에 위치된 콘텐트들의 레이어 지수는 L1, 최상단 레이어 (91, 94) 바로 아래의 레이어 (92) 에 위치된 콘텐트의 레이어 지수는 L2, 레이어 (92) 의 바로 아래의 레이어 (93) 에 위치된 콘텐트의 레이어 지수는 L3이고, 배경 레이어의 레이어 지수는 가장 하위 레이어인 Ln으로 표현될 수 있고, 레이어 지수들은 L1 > L2 > L3 > Ln 의 관계를 갖는다.
일 실시예에 따른 콘텐트 디스플레이 방법에 의하면, 콘텐트의 겹침 관계에 따라 디스플레이 휘도 감소율이 조절될 수 있다. 따라서, 다른 콘텐트에 의해 가려지는 콘텐트의 디스플레이 휘도를, 다른 콘텐트를 커버 (cover) 하는 콘텐트에 비해 더 감소시킴으로써, 효과적으로 전자 디바이스 (1000) 의 전력을 절약하고, 종래의 디밍 (dimming) 방법에 비해 콘텐트의 시인성 (visibility) 을 향상시킬 수 있다.
도 10은 일 실시예에 따라, 사용자의 포커스 위치에 따라 콘텐트 간 우선순위를 결정하는 방법을 설명하기 위한 도면이다.
전자 디바이스 (1000) 의 디스플레이 화면 상에서, 사용자의 시선 (eye-gaze) 이 향하거나, 사용자가 터치 입력이 수신되는 위치는 다른 위치에 비해 사용자의 관심을 더 받는 것으로 볼 수 있다. 따라서, 전자 디바이스 (1000) 는 사용자의 시선에 또는, 터치 입력에 기초하여 획득된 획득된 사용자 포커스의 위치에 따라, 콘텐트들의 디스플레이 휘도 감소율을 조절하도록 구현될 수 있다.
도 10을 참조하면, 전자 디바이스 (1000) 의 디스플레이 스크린을 통해, 배경 콘텐트 (100) 가 디스플레이되고, 배경 콘텐트 (90) 상에서 다양한 콘텐트 (91, 92, 93, 94) 가 디스플레이될 수 있다.
전자 디바이스 (1000) 는 사용자의 시선에 기초하여 획득된 사용자 포커스의 위치에 따라, 우선순위가 낮은 콘텐트일수록 디스플레이 휘도를 더 감소시키도록 구현될 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 사용자의 시선에 기초하여 획득된 사용자 포커스 위치와 가장 가까운 콘텐트 (101) 는 가장 높은 우선순위를 갖고, 사용자 포커스 위치로부터 거리 (D) 가 멀어질수록 우선순위가 낮아질 수 있다.
사용자 포커스 위치에 따른 콘텐트들 간 우선순위는 포커스 지수 (F factor) 로 표현될 수 있다. 예를 들어, 사용자 포커스 위치와 가장 가까운 콘텐트 (101) 의 포커스 지수는 F1, 그 다음으로 가까운 콘텐트 (102) 의 포커스 지수는 F2, 그 다음으로 가까운 콘텐트들 (103, 104) 의 포커스 지수는 F3일 수 있다. 배경 콘텐트 (100) 의 포커스 지수는, 배경 콘텐트 (100) 가 최하 우선순위를 갖도록 Fn일 수 있다.
일 실시예에 따른 콘텐트 디스플레이 방법에 의하면, 사용자의 시선이 향하는 위치나 터치 입력이 수신된 위치에 따라 디스플레이 휘도 감소율이 조절될 수 있다. 따라서, 사용자가 실제 관심을 더 갖는 콘텐트에 비해 사용자가 실제 관심을 덜 갖는 콘텐트의 디스플레이 휘도를 더 감소시킴으로써, 효과적으로 전자 디바이스 (1000) 의 전력을 절약하고, 종래의 디밍 (dimming) 방법에 비해 콘텐트의 시인성 (visibility) 을 향상시킬 수 있다.
도 8, 도 9, 및 도 10에서 설명된 타입 지수 (T factor), 레이어 지수 (L factor), 및 포커스 지수 (F factor) 중 적어도 하나에 의해 콘텐트의 디스플레이 휘도가 감소되고, 감소된 디스플레이 휘도에 기초하여 해당 콘텐트가 디스플레이될 수 있다.
타입 지수 (T factor), 레이어 지수 (L factor), 및 포커스 지수 (F factor) 에 기초하여 콘텐트의 디스플레이 휘도가 감소되는 경우, n콘텐트의 디스플레이 휘도 감소 지수는 로 표현될 수 있다. 따라서, n콘텐트의 감소된 디스플레이 휘도 (Lumn_result) 는 로 표현될 수 있다. 여기서 Lumn_initial은 감소되기 이전의 디스플레이 휘도를 가리킨다.
도 11은 일 실시예에 따라, 콘텐트의 콘텐트 타입에 따라 디스플레이 휘도를 감소시키는 일 예를 도시한다.
전자 디바이스 (1000) 를 통해 배경 콘텐트 (110a), 이미지 콘텐트 (111a), 및 텍스트 콘텐트 (113a) 와 같이 복수의 콘텐트 (110a, 111a, 113a) 가 디스플레이될 수 있다.
전자 디바이스 (1000) 는 콘텐트 (110a, 111a, 113a) 의 콘텐트 타입에 따라, 각 콘텐트 (110a, 111a, 113a) 의 디스플레이 휘도를 감소시킬 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 전자 디바이스 (1000) 는 배경 콘텐트 (110a) 의 디스플레이 휘도를 35% 감소시키고, 이미지 콘텐트 (111a) 의 디스플레이 휘도는 40% 감소시키고, 텍스트 콘텐트 (113a) 의 디스플레이 휘도는 80% 감소시킬 수 있다.
일 실시예에 따른 콘텐트 디스플레이 방법에 의해 디스플레이 휘도가 감소된, 디밍된 (dimmed) 콘텐트들 (110b, 111b, 113b) 은 휘도 감소 전의 콘텐트들 (110a, 111a, 113a) 에 비해 디스플레이 휘도가 감소되어, 전자 디바이스 (1000) 의 소비 전력을 절약할 수 있고, 시인성 (visibility) 또한 향상될 수 있다.
디밍된 텍스트 콘텐트 (113b) 의 텍스트에 대응되는 픽셀은 백색으로 디스플레이되고, 텍스트의 배경에 대응되는 픽셀은 흑색으로 디스플레이되도록 구현될 수도 있다.
또한, 디밍된 텍스트 콘텐트 (113b) 의 텍스트에 대응되는 픽셀 및 텍스트의 배경에 대응되는 픽셀은 서로 보색으로 디스플레이되도록 구현될 수도 있다.
도 12a는 일 실시예에 따라, 콘텐트들 간의 우선순위에 따라 콘텐트들의 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
단계 S1200에서 전자 디바이스 (1000) 는 콘텐트들 간의 우선순위를 결정한다.
콘텐트들 간의 우선순위는, 도 8, 도 9, 및 도 10에서 설명된 방법들 중 적어도 하나에 따라 결정될 수 있다.
단계 S1210에서 전자 디바이스 (1000) 는, 단계 S1200에서 결정된 우선순위에 기초하여 콘텐트들의 디스플레이 휘도를 감소시킨다.
예를 들어, 전자 디바이스 (1000) 는 우선순위가 낮은 콘텐트일수록 디스플레이 휘도를 더 감소시킬 수 있다.
단계 S1220에서 전자 디바이스 (1000) 는, 단계 S1210에서 감소된 디스플레이 휘도에 기초하여 콘텐트들을 디스플레이한다.
도 12b는 일 실시예에 따라, 콘텐트들 간의 우선순위와 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 디스플레이 휘도를 감소시키는 방법의 흐름도이다.
단계 S1200에서 전자 디바이스 (1000) 는 콘텐트들 간의 우선순위를 결정한다. 구체적으로, 전자 디바이스 (1000) 는 단계 S1201에서 콘텐트 타입에 따라 콘텐트들 간의 제1 우선순위를 결정하고, 단계 S1202에서 콘텐트들 간의 겹침 관계에 따라 콘텐트들 간의 제2 우선순위를 결정하고, 단계 S1203에서 사용자 포커스 위치에 따라 콘텐트들의 제3 우선순위를 결정한다. 콘텐트 타입에 따라 결정되는 콘텐트들 간의 제1 우선순위는 도 8에서 설명된 타입 지수 (T factor) 와 대응되고, 콘텐트들 간의 겹침 관계에 따라 결정되는 콘텐트들 간의 제2 우선순위는 도 9에서 설명된 레이어 지수 (L factor) 와 대응되고, 사용자 포커스의 위치에 따라 결정되는 콘텐트들 간의 제3 우선순위는 도 10에서 설명된 포커스 지수 (F factor) 와 대응된다.
단계 S1210에서 전자 디바이스 (1000) 는, 단계 S1200에서 결정된 우선순위에 기초하여 콘텐트들의 디스플레이 휘도를 감소시킨다. 구체적으로, 전자 디바이스 (1000) 는 단계 S1211에서 제1, 제2, 및 제3 우선순위에 따른 각 콘텐트의 평균 디스플레이 휘도를 결정한다.
예를 들어, 콘텐트의 콘텐트 타입이 비디오이고, 해당 콘텐트가 콘텐트들 중 사용자의 포커스 위치에 가장 가까우면서 최상위의 레이어에서 디스플레이되는 경우, 해당 콘텐트의 평균 디스플레이 휘도는 다른 콘텐트에 비해 상대적으로 높은 값으로 결정될 수 있다. 즉, 다른 콘텐트의 콘텐트에 비해 해당 콘텐트의 디스플레이 휘도는 상대적으로 덜 감소될 수 있다.
단계 S1212에서 전자 디바이스 (1000) 는 각 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 디스플레이 휘도를 조정한다.
각 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 각 콘텐트의 디스플레이 휘도를 조정하는 방법은 도 4 내지 도 7b에서 설명된 바와 같다.
단계 S1220에서 전자 디바이스 (1000) 는 감소된 디스플레이 휘도에 기초하여 콘텐트들을 디스플레이한다.
일 실시예에 따른 콘텐트 디스플레이 방법에 의하면, 전자 디바이스 (1000) 상에서 디스플레이되는 콘텐트들의 특성에 따라 평균 디스플레이 휘도가 먼저 결정되고, 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 콘텐트의 디스플레이 휘도가 조정됨으로써, 디스플레이 휘도가 단계적으로 감소될 수 있다. 따라서, 사용자에게 사용자화된 절전 모드가 제공될 수 있다.
도 13a, 도 13b, 및 도 13c는 일 실시예에 따라, 콘텐트들 간의 우선순위 및 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 디스플레이 휘도를 감소시키는 예들을 도시한다.
도 13a, 도 13b, 및 도 13c에 도시된 바와 같이, 전자 디바이스 (1000) 에서 이미지 콘텐트 (130) 및 배경 콘텐트 (131) 가 디스플레이될 수 있고, 콘텐트들 (130, 131) 은 전술된 실시예에 따른 콘텐트 디스플레이 방법에 의해 디스플레이될 수 있다.
전자 디바이스 (1000) 는 콘텐트의 콘텐트 타입에 따라 콘텐트의 평균 디스플레이 휘도를 결정할 수 있다. 예컨대, 도 13a에 도시된 바와 같이, 배경 콘텐트 (131) 의 평균 디스플레이 휘도는 이미지 콘텐트 (130) 의 평균 디스플레이 휘도보다 더 감소될 수 있다.
나아가, 전자 디바이스 (1000) 는 콘텐트를 구성하는 픽셀들의 픽셀정보에 기초하여 콘텐트의 디스플레이 휘도를 조정할 수 있다. 예컨대, 도 13a에 도시된 바와 같이, 전자 디바이스 (1000) 는 이미지 콘텐트 (130) 에 대한 현저도 맵 (132) 을 획득하여, 현저도 맵 (132) 에 기초하여 이미지 콘텐트 (130) 의 디스플레이 휘도를 조정할 수 있다.
더 나아가, 전자 디바이스 (1000) 는 콘텐트를 구성하는 픽셀들의 현저도 정보, 디테일 디스플레이 수준 (detail display level), 전자 디바이스 (1000) (1000) 의 잔여 전력, 및 전자 디바이스 (1000) (1000) 의 주변광에 기초하여 콘텐트들 (130, 131) 의 디스플레이 휘도를 감소시킬 수 있다.
도 13b는 디테일 디스플레이 수준에 대한 파라미터 (α) 가 0.55이고, 잔여 전력 및 주변광에 의해 결정된 휘도 수준에 대한 파라미터 (β) 가 0.75인 경우, 디밍된 콘텐트들 (134b, 135b) 를 도시한다.
도 13c는 디테일 디스플레이 수준에 대한 파라미터 (α) 가 0.85이고, 잔여 전력 및 주변광에 의해 결정된 휘도 수준에 대한 파라미터 (β) 가 0.75인 경우, 디밍된 콘텐트들 (134b, 135b) 를 도시한다.
도 13b 및 도 13c에 도시된 바와 같이, 일 실시예에 따른 콘텐트 디스플레이 방법에 의하면, 디테일 디스플레이 수준이 조절됨으로써, 전자 디바이스 (1000) 의 소비 전력을 절약하면서, 사용자가 선호하는 스타일로 콘텐트가 디스플레이될 수 있다.
본 명세서에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 명세서에에 병합될 수 있다.
실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예에 따라 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직 (logic), 룩업 테이블 (look-up table) 등과 같은 직접 회로 구성들이 채용될 수 있다. 실시예들은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘, C, C++, 자바 (Java), 어셈블러 (assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. '메커니즘', '요소', '수단', '구성'과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들 (routines) 의 의미를 포함할 수 있다.
본 명세서에서 개시되는 실시예들은, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, '필수적인', '중요하게' 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 명세서 (특히 특허청구범위에서) 에서 '상기'의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 명세서에서 범위 (range) 를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서 (이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시예들에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 명세서에서 모든 예들 또는 예시적인 용어 (예들 들어, 등등) 의 사용은 단순히 실시예들을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (20)

  1. 콘텐트를 구성하는 픽셀들에 대한 픽셀정보에 기초하여, 상기 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시키는 제어부; 및
    상기 감소된 디스플레이 휘도에 기초하여 상기 콘텐트를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는, 전자 디바이스.
  2. 제1 항에 있어서,
    상기 일부 픽셀들은 제1 픽셀그룹에 속하는 복수의 픽셀 및 제2 픽셀그룹에 속하는 복수의 픽셀을 포함하고,
    상기 제1 픽셀그룹 및 상기 제2 픽셀그룹에 대한 픽셀정보에 기초하여 상기 제1 픽셀그룹의 디스플레이 휘도는 상기 제2 픽셀그룹의 디스플레이 휘도보다 더 감소되는 것을 특징으로 하는, 전자 디바이스.
  3. 제2 항에 있어서,
    상기 픽셀정보는 상기 픽셀들의 현저도 (saliency) 정보를 포함하고,
    상기 제1 픽셀그룹의 현저도는 상기 제2 픽셀그룹의 현저도보다 더 낮은 것을 특징으로 하는, 전자 디바이스.
  4. 제3 항에 있어서,
    상기 콘텐트의 콘텐트 타입은 이미지 또는 비디오이고,
    상기 픽셀들의 상기 현저도 정보는 상기 픽셀들에 대해 양방향 필터링을 수행하여 획득되는 것을 특징으로 하는, 전자 디바이스.
  5. 제1 항에 있어서,
    상기 픽셀정보는 상기 픽셀들의 수정 그래이값을 포함하고,
    상기 픽셀들의 상기 수정 그래이값은, 상기 픽셀들의 현저도 (saliency) 정보, 디테일 디스플레이 수준 (detail display level), 상기 전자 디바이스의 잔여 전력 및 상기 전자 디바이스의 주변광 중 적어도 하나에 기초하여 획득된 것을 특징으로 하는, 전자 디바이스.
  6. 제1 항에 있어서,
    상기 콘텐트의 콘텐트 타입은 텍스트이고,
    상기 콘텐트는 텍스트와 상기 텍스트의 배경 (background) 을 포함하고,
    상기 일부 픽셀들은 상기 배경에 대응되는 것을 특징으로 하는, 전자 디바이스.
  7. 제6 항에 있어서,
    상기 픽셀정보는 상기 픽셀들의 현저도 (saliency) 정보를 포함하고,
    상기 배경에 대응되는 상기 일부 픽셀들의 현저도는 미리 결정된 값 이하인 것을 특징으로 하는, 전자 디바이스.
  8. 제6 항에 있어서,
    상기 픽셀정보는 상기 텍스트에 대응되는 픽셀들의 현저도 (saliency) 정보를 포함하고,
    상기 배경에 대응되는 상기 일부 픽셀들에 대한 현저도 정보는 존재하지 않는 것을 특징으로 하는, 전자 디바이스.
  9. 제1 항에 있어서,
    상기 제어부는 상기 콘텐트의 콘텐트 타입에 따라 상기 콘텐트의 디스플레이 휘도를 감소시키는 것을 특징으로 하는, 전자 디바이스.
  10. 제9 항에 있어서,
    상기 콘텐트 타입은 상기 콘텐트 대한 이미지 분석, 또는 상기 콘텐트의 전송 플로우에 기초하여 식별되는 것을 특징으로 하는, 전자 디바이스.
  11. 제9 항에 있어서,
    상기 콘텐트의 상기 콘텐트 타입은 텍스트이고,
    상기 콘텐트의 디스플레이 휘도는 상기 콘텐트의 상기 콘텐트 타입이 이미지인 경우보다 더 감소되는 것을 특징으로 하는, 전자 디바이스.
  12. 제1 항에 있어서,
    상기 콘텐트는 제1 콘텐트이고,
    상기 디스플레이부는 상기 제1 콘텐트의 적어도 일부와 겹치는 제2 콘텐트를 상기 제1 콘텐트 상에 디스플레이하고,
    상기 제어부는 상기 제1 콘텐트의 디스플레이 휘도를 상기 제2 콘텐트의 디스플레이 휘도보다 더 감소시키는 것을 특징으로 하는, 전자 디바이스.
  13. 제1 항에 있어서,
    상기 콘텐트는 제1 콘텐트이고,
    상기 디스플레이부는 제2 콘텐트를 디스플레이하고,
    상기 제어부는 사용자의 시선 (eye-gaze) 에 기초하여 획득된 사용자 포커스의 위치에 따라, 상기 제1 콘텐트 및 상기 제2 콘텐트 중 하나의 디스플레이 휘도를 다른 하나의 디스플레이 휘도보다 더 감소시키는 것을 특징으로 하는, 전자 디바이스.
  14. 제1 항에 있어서,
    상기 콘텐트는 제1 콘텐트이고,
    상기 디스플레이부는 제2 콘텐트를 디스플레이하고,
    상기 제어부는, 상기 디스플레이부가 사용자의 터치 입력을 수신하는 터치 스크린인 경우, 상기 수신된 터치 입력의 위치에 따라 상기 제1 콘텐트 및 상기 제2 콘텐트 중 하나의 디스플레이 휘도를 다른 하나의 디스플레이 휘도보다 더 감소시키는 것을 특징으로 하는, 전자 디바이스.
  15. 전자 디바이스의 디스플레이부를 통해 디스플레이되는 콘텐트에 대응되는 픽셀들에 대한 픽셀정보에 기초하여, 상기 픽셀들 중 일부 픽셀들의 디스플레이 휘도를 감소시키는 단계; 및
    상기 감소된 디스플레이 휘도에 기초하여 상기 콘텐트를 상기 디스플레이부를 통해 디스플레이하는 단계를 포함하는 것을 특징으로 하는, 디스플레이 방법.
  16. 제15 항에 있어서,
    상기 일부 픽셀들은 제1 픽셀그룹에 속하는 복수의 픽셀 및 제2 픽셀그룹에 속하는 복수의 픽셀을 포함하고,
    상기 제1 픽셀그룹 및 상기 제2 픽셀그룹에 대한 픽셀정보에 기초하여 상기 제1 픽셀그룹의 디스플레이 휘도는 상기 제2 픽셀그룹의 디스플레이 휘도보다 더 감소되는 것을 특징으로 하는, 디스플레이 방법.
  17. 제16 항에 있어서,
    상기 픽셀정보는 상기 픽셀들의 현저도 (saliency) 정보를 포함하고,
    상기 제1 픽셀그룹의 현저도는 상기 제2 픽셀그룹의 현저도보다 더 낮은 것을 특징으로 하는,디스플레이 방법.
  18. 제15 항에 있어서,
    상기 픽셀정보는 상기 픽셀들의 수정 그래이값을 포함하고,
    상기 픽셀들의 상기 수정 그래이값은, 상기 픽셀들의 현저도 정보, 디테일 디스플레이 수준 (detail display level), 상기 전자 디바이스의 잔여 전력 및 상기 전자 디바이스의 주변광 중 적어도 하나에 기초하여 획득된 것을 특징으로 하는, 디스플레이 방법.
  19. 제15 항에 있어서,
    상기 콘텐트의 콘텐트 타입은 텍스트이고,
    상기 콘텐트는 텍스트와 상기 텍스트의 배경 (background) 을 포함하고,
    상기 일부 픽셀들은 상기 배경에 대응되는 것을 특징으로 하는, 디스플레이 방법.
  20. 제15항 내지 제19 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
PCT/KR2015/009520 2014-09-18 2015-09-10 콘텐트를 디스플레이하기 위한 장치 및 방법 WO2016043472A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/512,280 US20170309216A1 (en) 2014-09-18 2015-09-10 Device and method for displaying content
EP15841148.8A EP3196867A4 (en) 2014-09-18 2015-09-10 Device and method for displaying content

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201410479637.3A CN105489191A (zh) 2014-09-18 2014-09-18 一种显示设备及其显示方法
CN201410479637.3 2014-09-18
KR10-2015-0126452 2015-09-07
KR1020150126452A KR20160033605A (ko) 2014-09-18 2015-09-07 콘텐트를 디스플레이하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2016043472A2 true WO2016043472A2 (ko) 2016-03-24
WO2016043472A3 WO2016043472A3 (ko) 2016-05-06

Family

ID=55533980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009520 WO2016043472A2 (ko) 2014-09-18 2015-09-10 콘텐트를 디스플레이하기 위한 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2016043472A2 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038669B1 (ko) * 2009-06-15 2011-06-02 (주) 알티솔루션 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
US8957886B2 (en) * 2010-01-27 2015-02-17 Industrial Technology Research Institute Power-saving and context-showing display information converting system and corresponding apparatus
KR101221096B1 (ko) * 2010-09-17 2013-01-11 주식회사 다음커뮤니케이션 스팸 관리 장치 및 스팸 관리 방법
KR102070365B1 (ko) * 2012-07-10 2020-01-29 엘지디스플레이 주식회사 액정 디스플레이 장치와 이의 구동방법
KR20140090873A (ko) * 2013-01-10 2014-07-18 (주)팜비젼 차량의 영상 처리 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of EP3196867A4 *

Also Published As

Publication number Publication date
WO2016043472A3 (ko) 2016-05-06

Similar Documents

Publication Publication Date Title
WO2017074078A1 (en) Method for operating electronic device and electronic device for supporting the same
WO2017039321A1 (en) Foldable electronic device including hidden display and information display method thereof
WO2017026815A1 (en) Portable apparatus and method for displaying a screen
WO2016129784A1 (en) Image display apparatus and method
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2016003144A1 (en) Operating method for microphones and electronic device supporting the same
WO2016036137A1 (en) Electronic device with bent display and method for controlling thereof
WO2018101744A1 (en) Electronic device having combined button
WO2017164567A1 (en) Intelligent electronic device and method of operating the same
WO2015137580A1 (en) Mobile terminal
WO2017034116A1 (en) Mobile terminal and method for controlling the same
WO2019168238A1 (ko) 이동단말기 및 그 제어 방법
WO2018155893A1 (en) Interface providing method for multitasking and electronic device implementing the same
WO2015130053A2 (en) Mobile terminal and method for controlling the same
WO2017086559A1 (en) Image display device and operating method of the same
WO2018174581A1 (ko) 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2016167610A1 (ko) 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법
WO2017116095A1 (en) Flexible electronic device and displaying method thereof
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2016111588A1 (en) Electronic device and method for representing web content for the electronic device
WO2020141945A1 (en) Electronic device for changing characteristics of display according to external light and method therefor
WO2017010602A1 (ko) 단말기 및 그것을 포함한 시스템
WO2016068403A1 (en) Terminal and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15841148

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 15512280

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015841148

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015841148

Country of ref document: EP