JP6602914B2 - 照明源として構成されるディスプレイデバイス - Google Patents

照明源として構成されるディスプレイデバイス Download PDF

Info

Publication number
JP6602914B2
JP6602914B2 JP2018093005A JP2018093005A JP6602914B2 JP 6602914 B2 JP6602914 B2 JP 6602914B2 JP 2018093005 A JP2018093005 A JP 2018093005A JP 2018093005 A JP2018093005 A JP 2018093005A JP 6602914 B2 JP6602914 B2 JP 6602914B2
Authority
JP
Japan
Prior art keywords
user
image
illumination
face
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018093005A
Other languages
English (en)
Other versions
JP2018170278A (ja
Inventor
ステパン・モスコフチェンコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018170278A publication Critical patent/JP2018170278A/ja
Application granted granted Critical
Publication of JP6602914B2 publication Critical patent/JP6602914B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Input (AREA)
  • Stroboscope Apparatuses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Image Processing (AREA)
  • Illuminated Signs And Luminous Advertising (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

（技術分野）
［0001］開示されている技術は、フロントフェーシング（front-facing）画像センサに対して照明源を提供するためにデバイス自身のディスプレイを使用するように構成された電子デバイスに関する。態様は、当該電子デバイスを使用する方法も対象としている。
（関連技術の説明）
［0002］多くのデジタルデバイスには、ユーザの自己画像を取り込むためにフロントフェーシング画像センサが搭載されている。しかしながら、フロントフェーシング画像センサが搭載されているデバイスの大半は、低光環境においてフロントフェーシング画像センサを使用して自己画像を取り込むために、追加の照明を提供するためには、専用の照明源が不足している。多くの場合において、そのような照明源を追加することの利益は、フロントフェーシング画像センサを有するデジタルデバイスのための、追加される科学技術の複雑さ、及び、専用の照明源を有することの関連コストに勝らない。
［0003］１つの態様において、フロントフェーシング画像センサおよびデジタルディスプレイを有する電子デバイスを使用してデジタル画像を取り込む方法は、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととを含む。
［0004］別の態様において、デジタル画像取込システムは、デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整するように構成された照明調整モジュールと、所定の照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールを含む。
［0005］別の態様において、コンピュータ読取可能な媒体であって、前記コンピュータ読取可能な媒体は、実行された場合にプロセッサに、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととのステップを実行させる命令を備える。
［0006］さらに別の態様において、デジタル画像取込システムは、デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、コマンドに応答してデジタルディスプレイを画像化照明条件に調整するように構成された照明調整モジュールと、所定の照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールとを含む。
［0007］図１Ａは、１つの実施形態に従った、フロントフェーシング画像センサを有する典型的なデジタルデバイスと、自己画像または自己ビデオを取り込むためにデジタルデバイスとを使用するユーザを図示する斜視図である。 ［0008］図１Ｂは、別の実施形態に従った、フロントフェーシング画像センサを有する典型的なデジタルデバイスと、ネットワークを通じて画像またはビデオを交換するために、デジタルデバイスを使用する複数のユーザとを図示する斜視図である。 ［0009］図２は、１つの実施形態に従った、フロントフェーシング画像センサと、照明源として構成されたディスプレイデバイスとを備えるデジタルデバイスを図示する機能的なブロック図である。 ［0010］図３Ａは、１つの実施形態に従った、フロントフェーシング画像センサを有するデジタルデバイスと、照明源として構成されたディスプレイデバイスとを使用する方法を図示するフローチャートである。 ［0011］図３Ｂは、図３Ａの実施形態に従った、先行する照明条件を決定する方法を図示するフローチャートである。 ［0012］図３Ｃは、図３Ａの実施形態に従った、ディスプレイデバイスを最適化された画像化照明に調整する方法を図示するフローチャートである。 ［0013］図３Ｄは、図３Ａの実施形態に従った、ディスプレイデバイスをデフォルト画像化照明に調整する方法を図示するフローチャートである。 ［0014]図４Ａは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｂは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｃは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｄは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｅは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｆは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｇは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｈは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｉは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｊは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｋは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。 ［0014]図４Ｌは、１つの実施形態に従った、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスのディスプレイデバイス上に表示された照明画像の様々な実施形態を図示するブロック図である。
［0015］多くのデジタルデバイスは、ユーザの自己画像を取り込むためにフロントフェーシング画像センサを装備している。取り込まれた自己画像は、写真のような静的画像（static image）であってもよく、または、ビデオのような動的画像であってもよい。しかしながら、フロントフェーシングカメラを有する、全てではないにしてもほとんどのデバイスでは、専用の照明源（例えば、静止画像（still image）またはビデオを取り込むためのフラッシュまたはＬＥＤライト）が不足している。その結果、フロントフェーシング画像センサを低光環境で使用する場合に、周囲の光からの照明は、画像センサに十分な照明を提供するのに不十分かもしれない。フラッシュまたはＬＥＤ源が、解決策を提供することができるが、そのような照明源を追加する利益は、デジタルデバイス上のフロントフェーシングカメラのための、追加された科学技術の複雑さ、および、専用の照明源を有することの関連コストに勝らない。依って、デジタルデバイスのフロントフェーシング画像センサを使用して画像を取り込むためのコスト効率のよい照明源に対するニーズがある。
[0016]本開示は、フロントフェーシング画像センサおよびデジタルディスプレイを有する電子デバイスを対象とし、電子デバイスは、フロントフェーシング画像センサのための照明源としてデジタルディスプレイを使用するように構成されている。態様は、当該電子デバイスを使用する方法も対象としている。ここに記載された本システムの１つの利点は、追加の照明源の追加コストまたは複雑さをこうむること無く、電子デバイスのフロントフェーシング画像センサの低光性能を改善することである。
[0017]依って、１つの実施形態は、画像がフロントフェーシングカメラにより取り込まれるとき、デジタルディスプレイを照明するように構成された電子デバイスである。ユーザは、画像を取り込むために、フロントフェーシングカメラを起動するかもしれない。このことにより、画像が取り込まれている間に、デジタルディスプレイに明るい白色を発光させるであろう。別の態様において、画像が取り込まれるとき、デジタルディスプレイは、予め定義された明るさ、または、予め定義された色に明るくなる。この特徴により、ユーザは、フロントカメラからの画像の低光取込を改善するためにデジタルディスプレイがどのように使用されるかを、選択することができる。
[0018]以下の開示は、あるタイプのデバイス（例えば、スマートフォン）との関連で、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスの様々な実施形態の特徴を記載してもよい。しかしながら、フロントフェーシング画像センサと照明源としてディスプレイデバイスとを有するように構成されることができる任意の適切な電子デバイスを含む、他の実施形態が可能であることが理解されるべきである。このようなデバイスは、例えば、とりわけ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオカメラ、携帯音楽プレーヤを含む。さらに、この機能を提供し得るディスプレイデバイスは、ＬＥＤ、ＬＣＤ、ＯＬＥＤ、ＡＭＯＬＥＤ、または、デジタルデバイスのフロントフェーシング画像センサのための照明源として構成されることができる他の類似タイプのディスプレイを含んでいる。
［0019］図１Ａは、１つの実施形態に従って、フロントフェーシング画像センサ１１０を有するデジタルデバイス１０２、および、自己画像または自己ビデオを取り込むためにデジタルデバイスを使用するユーザ１２０を図示している。上述したように、図示されたデジタルデバイス１０２は、タブレットまたはスマートフォンであってもよいが、態様はそれに限定されない。デジタルデバイス１０２は、フロントフェーシング画像センサ１１０を通して取り込まれるものの画像を表示するディスプレイデバイス１０４を含む。図示された実施形態において、ディスプレイデバイス１０４は、この例ではユーザ１２０の自己画像を含む照明画像１０６を表示するように構成されている。フロントフェーシング画像センサ１１０により取り込まれた照明画像１０６としてのユーザの自己画像は、ユーザ１２０によるコマンドに応答して取り込まれてもよい。
[0020]ここに記載されているように、「画像」は、静止デジタル画像に言及しているだけでなく、同様に、多くの画像の瞬間のフレームを含むビデオに言及し得る。さらに、画像は、ディスプレイデバイス１０４上に表示された画像、または、ディスプレイデバイス１０４上に表示されていないがデジタルデバイス１０２のメモリデバイスまたは蓄積デバイスに存在する画像に言及することができる。
[0021]示されているように、ユーザ１２０は、デジタルデバイス１０２で画像取込モードを開始し、そこには、照明画像１０６が表示されるだろう。ユーザ１２０は、特定のポイントで画像を取り込むために、シャッターボタンを起動することができる。シャッターボタンが起動されると、デジタルデバイス１０２は、ディスプレイデバイス１０４に、ユーザ１２０をよりよく照明するだろう明るい白色を発光するように命令する。このことは、ユーザ１２０に追加の光を加えることにより取り込まれている画像を改善するだろう。
［0022］図１Ｂは、別の実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイスと、ネットワークを通じて画像またはビデオを交換するためにデジタルデバイスを使用する複数のユーザとを図示している。第１のユーザ１２０Ａにより使用中のデジタルデバイス１０２Ａは、第１のフロントフェーシング画像センサ１１０Ａと、第１の照明画像を表示するように構成された第１のディスプレイデバイス１０４Ａとを含む。この例では、照明画像は、第１のユーザ１２０Ａによるコマンドに応答して、第１のフロントフェーシング画像センサ１１０Ａにより取り込まれた第１のユーザ１０２Ａの自己画像１０６Ａを含む。類似して、第２のユーザ１２０Ｂにより使用中のデジタルデバイス１０２Ｂは、第２のフロントフェーシング画像センサ１１０Ｂと、第２の照明画像を表示するように構成された第２のディスプレイデバイス１０４Ｂとを含む。この例では、第２の照明画像は、第２のユーザ１２０Ｂによるコマンドに応答して、第２のフロントフェーシング画像センサ１１０Ｂにより取り込まれた第２のユーザ１０２Ｂの第２の自己画像１０６Ｂを含む。
[0023]例えばビデオ通話などの使用中、第１のディスプレイデバイス１０４Ａは、ユーザ１２０ａが通話しているとき、明るくなるように構成されてもよい。このように明るくなることにより、システムは、より高品質な画像を第２のユーザ１２０ｂに送信することが可能になる。同様に、第２のディスプレイデバイス１０４ｂは、第２のユーザ１２０ｂがビデオ通話をしていた間、明るくなるように構成されることができる。
[0024]図１Ｂの第１のデジタルデバイス１０２Ａおよび第２のデジタルデバイス１０２Ｂのようなフロントフェーシング画像センサを有するデジタルデバイスはまた、検出された光子に応答して画像センサによって生成された電気信号を電磁気信号に変換し、電磁気信号を送信するように構成されることもできる。デジタルデバイスは、デジタルデバイスに通信可能に結合された別のデバイスによって生成された類似の電磁気信号を受信するようにさらに構成されることができる。例えば、図１Ｂの図示された実施形態において、第１のデジタルデバイス１０２Ａは、第１の画像センサ１１０Ａによって検出された光子に応答して生成された第１の自己画像１０６Ａに対応する電気信号を変換し、電気信号を第１のアップロード電磁気信号１２２Ａに変換するように構成されてもよい。第１のアップロード電磁気信号１２２Ａに含まれる情報は、次に、ネットワーク１３０を通じて第１のダウンロード電磁気信号１２２Ｂを受信するように構成された第２のデジタルデバイス１０２Ｂによって受信され、第１のダウンロード電磁気信号１２２Ｂを、第１の通信された画像１０８Ｂとして表示される電気信号に変換することができる。この例における第１の通信された画像１０８Ｂは、第１の画像センサ１１０Ａによって取り込まれた第１の自己画像１０６Ａに対応する。類似して、第２のデジタルデバイス１０２Ｂは、第２の画像センサ１１０Ｂにより検出された光子に応答して生成された第２の自己画像１０６Ｂに対応する電気信号を変換し、電気信号を第２のアップロード電磁気信号１２４Ｂに変換するように構成されることができる。第２のアップロード電磁気信号１２４Ｂに含まれる情報は、次に、ネットワーク１３０を通じて第２のダウンロード電磁気信号１２４Ａを受信するように構成された第１のデジタルデバイス１０２Ａによって受信され、第２のダウンロード電磁気信号１２４Ａを、第２の画像センサ１１０Ｂにより取り込まれた第２の自己画像１０６Ｂに対応する第２の通信された画像１０８Ａとして表示される電気信号に変換することができる。
［0025］図２は、１つの実施形態に従って、スマートフォンのような、フロントフェーシング画像センサ、および、照明源として構成されたディスプレイデバイスを有するデジタルデバイス２００を図示する機能的なブロック図である。デジタルデバイス２００は、コマンド入力モジュール２１０、照明感知モジュール２２０、照明調整モジュール２３０、フロントフェーシング画像センサモジュール２４０を含む。コマンド入力モジュール２１０、照明感知モジュール２２０、照明調整モジュール２３０、フロントフェーシング画像センサモジュール２４０の各々は、中央処理モジュール２５０に通信可能に接続されている。デジタルデバイス２００は、中央処理モジュール２５０に通信可能に接続されたメモリモジュール２６０と、蓄積モジュール２７０とをさらに含む。デジタルデバイス２００は、ネットワーク２９０にデジタルデバイス２００を通信可能に接続するように構成された通信サブシステム２８０をさらに含む。
[0026]例示されたデジタルデバイス２００は、デジタルデバイス２００の全体の動作を制御するように構成された中央処理モジュール２５０を含み、デジタルデバイス２００の処理機能を実行するように構成された適切なマイクロプロセッサを含んでもよい。いくつかの実施形態において、中央処理モジュール２５０は、グラフィック処理モジュールなどの特殊サブ処理モジュールを含む。
[0027]デジタルデバイス２００は、ユーザから入力された様々なモードのコマンドを受信するように構成されたコマンド入力モジュール２１０をさらに含む。いくつかの実施形態において、コマンド入力モジュール２１０は、とりわけ、音声認識デバイス、ジェスチャ認識デバイス、動き感知デバイス、タッチスクリーンデバイス、キーボードデバイス、補助入力／出力（Ｉ／Ｏ）デバイスのようないくつかの適切な入力デバイスを含むことができる。コマンド入力モジュールは、音声波または動きのような物理的な入力信号をデジタル信号に変えるために補助回路を含むこともできる。
[0028]デジタルデバイス２００は、照明条件を決定するように構成された照明感知モジュール２２０をさらに含む。照明感知モジュール２２０は、フロントフェーシング画像センサと、画像センサコントローラを含む。画像センサは、入射光子を、処理されるために中央処理モジュールに転送される電気信号に変換するように構成された複数の画素を含む。典型的な画像センサにおいて、各画素は、光の入射光子を吸収するように構成された感光性エリアを含む。いくつかの実施形態において、入射光子は、光子収集の量子効率を向上させるために各画素を覆うマイクロレンズによって方向付けられてもよい。吸収された光子は、電子に変換される。電子の数は、入射光子のエネルギー次第かもしれない。電子は、次に、電圧信号に変換される。
[0029]いくつかの実施形態において、画像センサは、電荷結合素子（ＣＣＤ）画像センサを含む。ＣＣＤ画像センサは、色フィルタアレイ、および、画素アレイを備える。ＣＣＤ画像センサの各ピクセルは、赤、緑、青フィルタのパターンを備える色フィルタを含む。１つの例では、色フィルタは、２×２の市松模様の色フィルタパターンを有するベイヤーフィルタパターンに配置されてもよい。ベイヤーフィルタの２×２の市松模様は、互いに対角線状に配列された１つの赤フィルタおよび青フィルタ、並びに、互いに対角線状に配列された２つの緑フィルタを含む。異なる色フィルタを通過してフィルタされた光子は、その後、画素アレイ内のフォトダイオードによって吸収される。フォトダイオードは、吸収された光子を電荷に変換する。電荷は、電荷結合と呼ばれる過程で、異なる電圧を画素に印加することによって、単一の場所に移動させられる。画素の電荷は、異なる電圧を印加することによって移動させられるので、ＣＣＤ画像センサは、外部の電圧生成器によってサポートされる。
[0030]いくつかの実施形態において、画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含む。ＣＣＤ画像センサのように、ＣＭＯＳ画像センサは、感光性ダイオードのアレイ―各画素内に１つのダイオード―を含む。しかしながら、ＣＣＤとは違い、ＣＭＯＳ画像装置の各画素は、自身の個別に集積された増幅器を有している。さらに、ＣＭＯＳ画像装置の各画素は、電荷の動きを通してというより、ｘ−ｙ座標システムで直接読み取られることができる。依って、ＣＭＯＳ画像センサ画素は、光子を直接検出し、光子を、出力される電圧に変換する。
[0031]照明感知モジュール２２０は、入射光子に由来する出力された電圧を、デジタル情報に変換するための追加の回路を含む。これは、中央処理モジュール２５０により処理されてもよい。照明感知モジュール２２０は、中央処理モジュール２５０からの様々なコマンドに応答して、画像センサを制御するように構成された画像センサコントローラをさらに含む。
[0032]照明調整モジュール２３０は、ユーザから受信したコマンドに応答して、ディスプレイデバイスの照明条件を、画像化照明条件から通常のビューイング照明条件へと、および、通常のビューイング照明条件から画像化照明条件へと調整するように構成されてもよい。照明調整モジュールは、ディスプレイデバイスおよびディスプレイコントローラを含む。１つの実施形態において、ディスプレイデバイスは、電気的活性化すると光を生成する有機発光ダイオード（ＯＬＥＤ）のアクティブマトリクスを備える、アクティブマトリクス式有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイを含むことができる。ＯＬＥＤ画素は、電流の流れを各個別の画素に制御するための一連のスイッチとして機能する、薄膜トランジスタ（ＴＦＴ）アレイ上に集積されることができる。ＬＥＤ、ＬＣＤ、ＯＬＥＤ、ＡＭＯＬＥＤ、または、デジタルデバイス２００のフロントフェーシング画像センサに関する照明源として構成されることができる任意の他の類似タイプのディスプレイを含む、ディスプレイデバイスの他の実施形態が可能である。
[0033]発光強度、したがって、ディスプレイ内の各画素の輝度は、発光ダイオード（ＬＥＤ）のような放射素子（emitting element）に供給される電流により調整されることができる。１つの実施形態において、ディスプレイは、画素が２つのトランジスタおよびコンデンサを備えるＡＭＯＬＥＤのようなアクティブマトリクスディスプレイである。ドレインが発光ダイオード（例えば、ＯＬＥＤ）に接続されている第１のトランジスタは、第１のトランジスタのゲート・ソース電圧を制御することにより、ダイオードを通して流れる電流の量を、したがって、発光強度を制御するように構成されている。ゲート・ソース電圧は、次に、第１のトランジスタのゲートとソースとの間で接続されたコンデンサによって維持されている。ゲート・ソース電圧は、ゲートが行選択ラインに接続され、ソースがデータラインに接続される第２のトランジスタを制御することを通してコンデンサに蓄積された電荷の量を制御することにより修正されることができる。依って、次に第１のトランジスタを通して発光ダイオードに送られた電流を制御する、第２のトランジスタを制御するために、行選択ライン電圧、および、データライン電圧のような様々な電圧を制御することによって、ディスプレイデバイスの各画素の輝度値は、フロントフェーシング画像センサに対する様々な程度の照明を提供するように調整されることができる。
[0034]フロントフェーシング画像センサモジュール２４０は、画像照明条件の下でフロントフェーシング画像センサを通じてデジタル画像を取り込むように構成される。フロントフェーシング画像センサモジュールは、照明感知モジュールとして類似のハードウェアデバイスを含み、共有することができる。例えば、フロントフェーシング画像センサモジュール２４０は、フロントフェーシング画像センサおよび画像センサコントローラを備える。その機能および動作は、照明感知モジュール２２０と実質的に同じである。さらに、照明調整モジュールは、照明調整モジュール２３０のディスプレイデバイスに関する様々な照明条件を決定するのに必要である算出を実行する。
[0035]デジタルデバイス２００は、デジタルデバイス２００が電源が入っている間、情報を蓄積するように構成されたメモリモジュール２６０をさらに含む。メモリモジュール２６０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＲＡＭ）のようなメモリデバイスを含むことができる。メモリデバイスは、メモリデバイスからマイクロプロセッサへ、および、マイクロプロセッサからメモリデバイスへのデータの流れに対しデータパスを提供するメモリバスを通じて中央処理モジュール２５０に通信可能に結合された異なるレベルのキャッシュメモリとして構成されることができる。特に、メモリモジュールは、ディスプレイデバイスを使用して、フロントフェーシング画像センサのための照明を提供するために、デジタルデバイスの動作の様々な段階における画像情報を保持してもよい。
[0036]デジタルデバイス２００は、ソフトウェアコードと同じく、写真およびビデオフィルムのような媒体を蓄積するように構成された蓄積モジュール２７０をさらに含む。いくつかの実施形態において、蓄積モジュール２７０は、デジタルデバイス２００が電源が落ちている間でさえ、永久に媒体を蓄積するように構成されている。いくつかの実施形態において、とりわけ、蓄積モジュール２７０は、ハードディスクや、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）などの不揮発性メモリのような記憶メディアを含む。
[0037]デジタルデバイス２００は、ネットワーク２９０にデジタルデバイス２００を通信可能に接続するように構成された通信サブシステム２８０をさらに含む。通信サブシステム２８０は、無線通信のために構成された回路を含む。例えば、通信サブシステム２８０は、８０２．１１スタンダードのうちの１つを使用して、デジタルデバイス２００とネットワーク２９０との間のＷｉ−Ｆｉ（登録商標）通信を可能にしてもよい。通信システム２８０は、加えて、とりわけ、ＢＬＵＥＴＯＯＴＨ（登録商標）、符合分割多重接続（ＣＤＭＡ）（登録商標）、移動通信のためのグローバルシステム（ＧＳＭ）（登録商標）のようなスタンダードを可能にしてもよい。
[0038]図３Ａ−３Ｄは、１つの実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイス、および、照明源として構成されたディスプレイデバイスを使用する方法３００を図示するフローチャートである。方法は、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してディスプレイデバイスを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととを含む。
[0039]図３Ａ−３Ｄにおいて図示されている実施形態のデジタルデバイスは、１つの実施形態に従って、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスを有する図２のデジタルデバイス２００のようなデジタルデバイスであってもよい。
[0040]フロントフェーシング画像センサおよび照明源として構成されたディスプレイデバイスを有するデジタルデバイスを使用する方法３００は、開始状態３１０で始まり、フロントフェーシング画像センサを使用してデジタル画像を取り込むためのコマンドを受信するために状態３２０に移動する。１つの態様において、コマンドは、コマンド入力モジュール２１０によって処理されることができる任意の適切な形態で受信されてもよく、ユーザコマンドの他の適切な形態の中でも、とりわけ、音声認識デバイスにより処理される音声コマンド、ジェスチャ認識デバイスにより処理されるジェスチャコマンド、タッチスクリーンデバイスにより処理されるタッチコマンド、キーボードデバイスにより処理されるキーボードコマンド、動き感知デバイスにより処理される動きコマンドを含んでいる。
[0041]状態３２０においてデジタル画像を取り込むためのコマンドを受信した後で、方法３００は、状態３３０に移動し、フロントフェーシング画像センサを起動する。１つの態様において、状態３３０においてフロントフェーシング画像センサを起動することは、例えば、画像センサのアクセスラインにアクセス電圧を提供することと、画像センサモジュール２２０の画像センサコントローラにＶｃｃを提供することとを含むことができる。
[0042]ディスプレイデバイスによって提供された照明条件は、ディスプレイデバイスの画素の輝度およびクロミナンス値を含む、多くのパラメータによって定義されることができる。例えば、当業者は理解するであろうように、輝度およびクロミナンスの実際の値は、それらを描写するのに使用される色空間に依存している。例えば、ＲＧＢまたはｓＲＧＢ色空間において、各画素は、式Ｙ＝ｒＲ＋ｇＧ＋ｂＢによって表される相対輝度Ｙを有することができ、ここで、Ｒ、Ｇ、Ｂは、色成分、赤（red）、緑（green）、青（blue）を表し、ｒ、ｇ、ｂは、定数である。例えば、ｓＲＧＢ空間について、定数ｒ、ｂ、および、ｂは、それぞれ、値０．２１２、０．７１５２、０．０７２２を有する。例えば、Ｙ’ＵＶ色空間において、Ｙ’はluma値を表し、ＵとＶは２つの色成分を表す。ＲＧＢ空間およびＹ’ＵＶ空間は、周知の変換関係により関連している。
Figure 0006602914
Figure 0006602914
[0043]さらに、当業者はまた、ＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒなどのうちの１つのような、任意の適切な色空間表現が、ディスプレイデバイスの画素の照明条件を表すのに使用されることができることを理解するでしょう。ここでの記載において、用語「輝度（luminance）」は、一般的に、光の全体の強度について言及するために使用され、用語「クロミナンス」は、一般的に、色成分について言及するために使用される。
[0044]１つの実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイスを使用する方法３００は、ユーザが選択することができる、動的照明モードを提供することを含む。ユーザによって起動される場合、動的照明モードは、照明感知モードによって決定される先行する照明条件に基づいて、ディスプレイデバイスによって提供された照明条件の最適化を可能にする。動的照明モードが、ユーザによって起動されない場合、先行する照明条件に関係なく、所定のデフォルト照明条件が、ディスプレイデバイスによって提供される。照明モードの詳細は、続く議論でさらに明確になる。状態３３０において、フロントフェーシング画像センサを起動した後、方法３００は、動的照明モードが起動されたか否かを決定するために、判定状態３４０に移動する。
[0045]動的照明モードが起動されていない決定が、判定状態３４０でなされる場合、方法３００は、処理状態３５０で、ディスプレイデバイスを、デフォルト画像化照明条件に調整する。状態３５０でディスプレイデバイスを調整するように実行されたステップにおける追加の詳細は、図３Ｄに関連して以下に議論する。方法３００は、それから、状態３９０で画像取込シャッターを起動する。
[0046]しかしながら、動的照明モードが起動されている決定が、判定状態３４０でなされる場合、方法３００は、先行する照明条件を決定する処理状態３６０に移動する。どのように先行する照明条件を決定するかについての追加の情報は、３Ｂに関連して以下で記述されている。
[0047]先行する照明条件が、処理状態３６０で決定されると、方法３００は、追加の照明が必要であるか否かを決定するために、判定状態３７０に移動する。この決定は、被写体の平均的な輝度値と、その被写体に対応する蓄積された輝度基準との間の計算された差異に基づいてもよい。計算された差異が、ある閾値パーセンテージ値を超える場合、方法３００は、ディスプレイデバイスを、最適化された画像化照明条件に調整するために、処理状態３８０に進んでもよい。しかしながら、計算された差異が、ある閾値パーセンテージ値を超えない場合、方法３００は、上述のように、ディスプレイデバイスを、デフォルト画像化照明条件に調整するために、処理状態３５０に進む。
[0048]単に一例として、人間の顔に対する蓄積されたターゲット輝度基準は、輝度曲線のグレースケールの１８パーセントを含んでもよい。８ビット輝度曲線において、グレースケールの１８パーセントが、４６番目のグレーレベルに対応するように、２８＝２５６レベルの輝度値であってもよい。テストフレームに取り込まれた人間の顔の平均輝度値が、例えば、８ビット輝度曲線において２６番目のグレーレベルに対応するグレースケールの１０パーセントに対応する平均輝度値を有する場合、計算された差異は、８パーセントである。方法３００が、ディスプレイデバイスを最適化された画像化照明条件に調整すること、または、ディスプレイデバイスをデフォルト画像化照明条件に調整することに進むかどうかは、１つの実施形態において、８パーセントの計算された差異が閾値を超えるか否かに依存している。
[0049]処理状態３８０において、ディスプレイデバイスを最適化された画像化照明条件に調整した後、方法３００は、シャッターを起動するために、状態３９０に移動する。方法３００は、その後、状態３９２に移動し、照明画像がディスプレイデバイスに表示される間に画像またはビデオフレームが取り込まれる。方法３００は、状態３９４に移動し、シャッターは停止される。最後に、方法３００は、状態３９６に移動し、ディスプレイデバイスは、通常の照明条件に戻る。
[0050]図３Ｂは、図３Ａに関連して上述された１つの実施に従って、先行する照明条件を決定するために処理３６０において追加の詳細を提供するフローチャートである。処理３６０は、状態３６２においてフロントフェーシング画像センサを使用してテストフレームを取り込むことと、状態３６６において、テストフレームの平均輝度値と蓄積された輝度基準との間の差異を計算することとを含む。さらに、別の実施形態において、先行する照明条件を決定するための処理３６０は、状態３６４においてテストフレームにおける被写体を決定することをさらに含むことができる。この実施において、状態３６６における差異を計算することは、テストフレームの被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の差異を計算することを含む。例えば、被写体は、とりわけ、１つの顔、複数の顔、１つの体、複数の体、風景を含むことができる。状態３６２、３６４、３６６の追加の詳細は、以下に議論する。
[0051]１つの実施に従って、先行する照明条件を決定するための処理３６０は、状態３６２においてテストフレームを取り込むことを含む。テストフレームは、ｆナンバーと露出時間とを含む、固定されたテストフレーム画像化条件のセットを使用して取り込まれたフレームであってもよい。いくつかの実施において、テストフレーム画像化条件は、スピードを最大化するために、実際の画像化条件と比べて、比較的低いｆナンバーと比較的短い露出時間を含む。他の実施において、テストフレーム画像化条件は、実際の画像化条件に類似したｆナンバーと露出時間とを含む。
[0052]図３Ｂにさらに言及すると、１つの実施に従って先行する照明条件を決定するための処理３６０は、状態３６４においてテストフレームで被写体を決定することをさらに含む。１つの態様において、被写体を決定することは、測光領域を決定することと、測光領域から集められた情報に基づいて画像化されるべき被写体を決定することとを含むことができる。
[0053]測光領域を決定することは、測光領域であるべきテストフレームの全ディスプレイエリアの固定されたパーセンテージを備える矩形のエリアを決定することを含んでもよい。単に例として、例えば、測光領域は、テストフレーム幅の約７５パーセントに等しい幅と、テストフレーム長さの約７５パーセントに等しい長さを有する矩形測光領域を有してもよい。他の実施形態が可能であり、測光領域は、テストフレームの長さおよび／または幅の異なるパーセンテージを占める非矩形エリアおよび／または矩形エリアを含んでもよい。
[0054]別の態様において、画像化されるべき被写体を決定することは、被写体決定基準の任意の適切な数に基づいてもよい。いくつかの実施において、被写体決定基準は、潜在的な被写体が占める全テストフレームの断片を決定することを含んでもよい。他の実施において、被写体決定基準は、全テストフレームの輝度の総合平均と比較された潜在的な被写体の平均輝度値を含んでもよい。他の実施において、被写体決定基準は、全テストフレームの色成分の平均値と比較された潜在的な被写体の色成分の平均値のような他の基準を含んでもよい。被写体決定基準の１または複数を使用し、蓄積モジュールに蓄積された参照リストと比較して、テストフレームの被写体は決定されることができる。
[0055]他の態様において、画像化されるべき被写体を決定することは、被写体が人間の顔を含むことを決定することを含んでもよい。被写体が人間であることを決定することは、任意の１または複数の周知の顔検出アルゴリズムに頼ってもよい。例えば、人間の顔の決定は、被写体の卵型性質、並びに、被写体の中央点と外側の境界線との間の最小および最大距離などの、適切な因子の幾つにでも基づいてなされてもよい。
[0056]図３Ｂをさらに参照すると、１つの実施に従った、先行する照明条件を決定するための処理３６０は、状態３６６において、テストフレームの被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の差異を計算することを含む。
[0057]図３Ｃは、図３Ａに関連して上述された最適化された画像化照明条件に、ディスプレイデバイスを調整するための処理３８０について追加の詳細を提供するフローチャートを図示する。処理３８０は、状態３８２において、被写体の平均輝度値と被写体に対応する格納された輝度基準との間の計算された差異に基づいて追加の照明を算出することにより開始する。状態３８２の後、状態３８４において、照明画像を選択する。状態３８４の後、状態３８６において、平均輝度値を調整する。状態３８６の後、状態３８８において、照明画像を表示する。状態３８２、３８４、３８６、３８８のそれぞれについて、以下でさらに詳細に議論する。
[0058]いくつかの実施形態において、状態３８２において算出された追加の照明は、図３Ｂの状態３６６における、被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の計算された差異に、直線的にまたは非直線的に比例してもよい。ディスプレイデバイスによって提供されるべきである算出された追加の照明は、例えば、他の因子によって、被写体の平均輝度値と該被写体に対応する蓄積された輝度基準との間の計算された差異を乗算することにより取得された値であってもよい。１つのこのような因子は、例えば、相当な量の光強度が、ディスプレイデバイスと画像化される被写体との間の距離に応じて減少させられ得ることを説明する距離因子であってもよい。
[0059]他の実施形態において、状態382において、追加の照明は、被写体の平均クロミナンス値と該被写体に対応する蓄積されたクロミナンス基準との間の差異に基づいて算出されてもよい。この実施形態において、テストフレームの被写体において比較的低い平均値を有する色成分は、ディスプレイデバイスによって過分に補償されるように算出されてもよく、他方、テストフレームの被写体において比較的高い平均値を有する他の色成分は、美的により満足な画像を生産するために、色成分を優先的に補償するように、少なく補償されるように算出されてもよい。
[0060]図３Ｃをさらに参照すると、ディスプレイデバイスを調整するための処理３８０は、状態３８４において、照明画像を選択することを加えて含んでもよい。選択された照明画像は、フロントフェーシング画像センサのための所望の照明を提供するための任意の適切な画像であってもよい。
[0061]１つの実施において、照明画像は、最適化された輝度をともなうデバイスのデフォルトスクリーンのような、図３Ａにおける状態３２０で、デジタル画像を取り込むためのコマンドを受信する前に表示されていた画像であってもよい。別の実施において、照明画像は、最適化された輝度を有するフロントフェーシング画像センサによって取り込まれるユーザの画像のプレビューフレームのような、ディスプレイデバイスを調整する直前に表示された画像であってもよい。さらに別の実施において、照明画像は、照明領域に含まれる画素が最適化された輝度および／またはクロミナンスを有するように構成された照明領域を有する画像であってもよい。状態３８４において照明画像を選択することに含まれることができる、照明画像の様々な構成は、図４に関連して以下でより詳細に説明する。
[0062]照明画像は、状態３８２で算出された追加の照明に基づいて、状態３８４で選択されてもよい。例えば、適切な照明画像は、状態３８２において算出された追加の照明を提供することが可能な画像であってもよい。しかしながら、全ての有効な照明画像が、状態３８２において算出された追加の照明を提供することが可能であり得るわけではない。実例的な例として、第１の照明画像は、１−５パーセントの追加の輝度を提供するように配置された画素を有してもよいが、第２の照明画像は、５−１０パーセントの追加の輝度を提供するように配置された画素を有してもよい。この実例的な例において、状態３８２において算出された追加の画像に基づく必須の追加輝度が、５パーセントを超える場合、第２の照明画像が、状態３８４において、第１の照明画像より優先して選択されるだろう。
[0063]さらに図３Ｃを参照すると、ディスプレイデバイスを最適化された画像化照明条件に調整するための処理３８０は、状態３８６において、選択された照明画像の平均輝度値をターゲット画像化輝度値に調整することをさらに含む。状態３８６において平均輝度値を調整することは、選択された照明画像の平均輝度値とターゲット画像化輝度値との間の差異をまず決定することを含む。差異を決定すると、状態３８６において平均輝度値を調整することは、ターゲットデフォルト画像化輝度値の下で選択された照明画像を表示するために、照明画像に含まれる画素に必須である電圧と電流を決定することをさらに含む。
[0064]さらに図３Ｃを参照すると、ディスプレイデバイスを最適化された画像化照明条件に調整する処理３８０は、状態３８８において、画像化輝度値を有する選択された照明画像を表示することをさらに含む。状態３８８において選択された照明画像を表示することは、選択された照明画像に対応するディスプレイデバイスの画素を選択することと、選択された照明画像の平均輝度値とターゲット画像化輝度値との間の差異に基づいて決定された電圧と電流とを供給することを含む。
[0065]今度は図３Ｄを参照して、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０をさらに詳細に説明する。処理３５０は、照明画像を選択する処理３５２で開始する。処理３５２の後に、処理３５４で、照明画像の平均輝度値が、デフォルト画像化輝度値に調整される。状態３５４の後に、状態３５６で、デフォルト画像化輝度値を有する照明画像を表示する。状態３５２、３５４、３５６のそれぞれについて、以下にさらに詳細に記載する。
[0066]図３Ｄを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０は、状態３５２において、照明画像を選択することを含む。状態３５２において照明画像を選択することは、デフォルト照明画像を選択することを含むことができる。デフォルト照明画像は、フロントフェーシング画像センサのための照明を提供するための任意の適切な画像であってもよい。１つの実施において、デフォルト照明画像は、図３Ａにおける状態３２０において、デジタル画像を取り込むためのコマンドを受信する前に表示されていた画像であってもよい。例えば、デフォルト照明画像は、例えばアプリケーションアイコンを含み得る、ディスプレイデバイスのデフォルトスクリーンのうちの任意の１つであってもよい。別の実施において、デフォルト照明画像は、ディスプレイデバイスを調整する直前に表示されていた画像であってもよい。例えば、デフォルト画像は、永続的画像を取り込む前にフロントフェーシング画像センサによって取り込まれたユーザの画像のプレビューフレームであってもよい。別の実施において、デフォルト照明画像は、照明エリアに含まれる画素が所定の輝度値を有するように構成された照明エリアを有する画像であってもよい。いくつかの実施形態において、デフォルト照明画像は、デジタルデバイスの蓄積モジュールで、デバイス製造者によって蓄積された所定の画像のうちの１つであり得る。他の実施形態において、デフォルト照明画像は、ユーザによって提供され、および、蓄積モジュールに蓄積されることができる。例えば、画像は、とりわけ、個人的な肖像、ウェブページのような、ユーザによって蓄積モジュールに蓄積された任意の画像であり得る。状態３５２において照明画像を選択することに含まれることができる照明画像の様々な構成は、図４に関連して以下にさらに詳細に説明する。
[0067]さらに図３Ｄを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０は、状態３５４において、デフォルト照明画像の平均輝度値をデフォルト画像化輝度値に調整することをさらに含む。状態３５４において平均輝度値を調整することは、選択されたデフォルト照明画像の平均輝度値とターゲットデフォルト画像化輝度値との間の差異をまず決定することを含む。差異を決定すると、状態３５４において平均輝度値を調整することは、ターゲットデフォルト画像化輝度値の下でデフォルト照明画像を表示するために、照明画像に含まれる画素に必須である電圧と電流とを決定することをさらに含む。
[0068]さらに図３Ｄを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理３５０は、状態３５６において、デフォルト画像化輝度値を有するデフォルト照明画像を表示することをさらに含む。状態３５６において、デフォルト照明画像を表示することは、デフォルト照明画像に対応するディスプレイデバイスの画素を選択することと、選択されたデフォルト照明画像の平均輝度値とターゲットデフォルト画像化輝度値との間の差異に基づいて決定された電圧と電流を供給することを含む。
[0069]図４Ａから４Ｌは、ディスプレイデバイスを最適化された画像化照明条件に調整すること３８０、および、ディスプレイデバイスをデフォルト画像化照明条件に調整すること３５０で選択された照明画像の例示的な実施を図示している。図４Ａから４Ｌの各々は、フロントフェーシング画像センサ４０２を備えるデジタルデバイス４００の例示的実施を描いている。図４Ａから４Ｌに描かれたデジタルデバイス４００は、スマートフォンであるが、デジタルデバイス４００は、フロントフェーシング画像センサを含むように構成されることができる他のデジタルデバイスの中でも、とりわけ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオカメラ、携帯音楽プレーヤのうちのいずれか１つであり得る。さらに、図４Ａから４Ｌに図示された実施形態の各々において、デジタルデバイス４００は、照明画像４０４を表示するように構成されている。図４Ａから４Ｌに図示された実施の各々、または、実施において含まれる任意の特徴は、図４Ａから４Ｌに描かれていない実施形態を形成するために組み合わせられることができることが理解されるべきである。さらに、異なる特徴の数、形、物理的サイズが、単に例として提供されている。異なる数、異なる形、異なる物理的サイズを有する他の実施形態が可能である。
[0070]照明画像４０４は、フロントフェーシング画像センサ４０２に十分な照明を提供するためにデジタルデバイス４００のディスプレイデバイス上に表示される任意の適切な画像であってもよい。いくつかの実施において、照明画像４０４は、デジタル画像を取り込むユーザからのコマンドを受信する前に表示されていた画像であってもよい。そのような照明画像の１つの実施は、図４Ａに描かれている。図４Ａの照明画像４０４は、デフォルト画像４０６の照明画像である。デフォルト画像４０６は、他の特徴の中でも、とりわけ、時計、検索ウィンドウ、アプリケーションアイコンのような、ヴィジュアルおよびインタラクティブフィーチャ（feature）を含んでもよい。この実施において、デジタル画像を取り込むコマンドを受信すると、デフォルト画像４０６の平均輝度値は、ディスプレイデバイスを最適化された画像化照明に調整すること３８０に従って、または、ディスプレイデバイスを図３Ａに関連して上述されたデフォルト画像化照明条件に調整すること３５０に従って調整されてもよい。
[0071]いくつかの実施において、照明画像は、照明領域に含まれる画素が白色光を照明するように構成されるように構成された１または複数の照明領域を含んでもよい。人間の目が、結果として生じる光を、色嗜好を有さないニュートラルであるように知覚するように、個別の色成分（例えば、ＲＧＢ色空間のＲ、Ｇ、Ｂ）の強度が、おおむね同じ値を有するように釣り合わせられている場合に、画素は、白色光を照明するように構成され得る。
[0072]１つの実施に従った図４Ｂにおけるデジタルデバイス４００の照明画像４０４は、白色光を照明し、照明画像４０４全体をおおむね覆うように構成された単一の照明領域４０８を含む。この実施において、図４Ａにおけるように、照明領域４０８の平均照明値が、ディスプレイデバイスを最適化された画像化照明に調整すること３８０に従って、または、ディスプレイデバイスを上述されたデフォルト画像化照明条件に調整３５０することに従って調整されてもよい。
[0073]別の実施に従った図４Ｃにおけるデジタルデバイス４００の照明画像４０４は、白色光を照明し、照明画像４０４の一部を覆うように構成された単一の照明領域４１０を含む。照明領域４１０の平均輝度値は、図４Ａ−４Ｂにおけるように調整されてもよい。さらに、照明領域４１０のサイズは、ディスプレイデバイスの全体照明を増加させるために、照明領域４１０に含まれる画素の数を増加させるように調整されてもよい。不活性領域（passive region）４１２に含まれる画素は、ごくわずかな輝度値を有するように構成されている。
[0074]別の実施に従った図４Ｄにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域４１６ａ−４１６ｃを含み、その各々は、白色光を照明し、照明画像４０４の一部を覆うように構成されている。照明領域４１６ａ−４１６ｃの平均輝度値は、図４Ａ−４Ｃにおけるように調整されてもよい。この実施において、照明領域４１６ａ−４１６ｃの平均輝度値は、個別にまたは集合的に調整されてもよい。さらに、照明領域４１６ａ−４１６ｃのサイズは、ディスプレイデバイスの全体の照明を最適化するために、個別にまたは集合的に調整されてもよい。照明領域４１６ａ−４１６ｃの外側の不活性領域４１４ａ−４１４ｃに含まれる画素は、ごくわずかな輝度値を有するように構成されている。
[0075]いくつかの実施において、照明画像４０４は、照明領域に含まれる画素が色成分（例えば、ＲＧＢ空間のＲ、Ｇ、Ｂ）の有色光を優先的に照明するように構成されるように構成された１または複数の照明領域を含んでもよい。人間の目が結果として生じる光をある色を有するものとして知覚するように、色成分のうちの１つの強度が向上させられる一方、他の色成分の強度が抑えられる場合、画素は、優先的に有色光を照明するように構成されてもよい。例えば、優先的に赤い光を照明するために、色成分Ｒが、色成分ＧおよびＢと比べて比較的高い値を有するように、緑と青の光に対応するフォトダイオードは、抑制されてもよい。
[0076]１つの実施に従った図４Ｅにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含み、照明領域の各々は、優先的に有色光を照明し、照明画像４０４の一部を覆うように構成されている。図示された実施において、照明画像４０４は、３つの照明領域４２０、４２２、４２４を含み、その各々は、優先的に、それぞれ赤、緑、または青の光を照明するように構成されている。個別の照明領域４２０、４２２、４２４の各々の平均輝度値は、図４Ａ−Ｄのように調整されてもよい。その値が、優先的に照明されている色成分によって優先的に重み付けされ導き出される、３つの照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
[0077]１つの実施に従った図４Ｆにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含んでいる。そこでは、異なる有色光を優先的に照明するように構成された照明領域がインターレースされ、照明画像４０４全体をおおむね覆う。例示された実施において、照明画像４０４は、優先的に赤い光をそれぞれ照明するように構成された４つの照明領域４３０、４３２、４４６、４４８、優先的に緑の光をそれぞれ照明するように構成された４つの照明領域４３２、４４０、４４２、４５０、優先的に青い光をそれぞれ照明するように構成された４つの照明領域４３４、４３６、４４４、４５２を含む。個別の照明領域４３０、４３２、４３４、４３６、４３８、４４０、４４２、４４４、４４６、４４８、４５０、４５２の各々の平均輝度値は、図４Ａから４Ｅのように調整されてもよい。図４Ｅのように、その値が優先的に照明されている色成分により優先的に重み付けされ導き出される、照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。さらに、インターレースパターンは、例えば、特定の色成分で被写体の異なる部分（例えば、顔）が優先的に照明されることを避けるために、有色光のさらに均等な分配を提供してもよい。
[0078]１つの実施に従った図４Ｇにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含んでいる。そこでは、異なる有色光を優先的に照明するように構成された照明領域は、照明画像４０４内で分配され、照明画像４０４の少なくとも一部を覆う。例示された実施において、照明画像４０４は、優先的に赤い光をそれぞれ照明するように構成された３つの照明領域４６０、４６６、優先的に緑の光をそれぞれ照明するように構成された２つの照明領域４６２、４６９、優先的に青い光をそれぞれ照明するように構成された２つの照明領域４６４、４７０を含む。個別の照明領域４６０、４６２、４６４、４６６、４６８、４７０の各々の平均輝度値は、図４Ａから４Ｆにあるように調整されてもよい。図４Ｅにあるように、それぞれの値が優先的に照明されている色成分により優先的に重み付けされ導き出された、照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。さらに、インターレースパターンは、例えば、被写体の異なる部分（例えば、顔）に異なる量の有色光を提供するために、有色光の不均一な分配を提供してもよい。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
[0079]１つの実施に従った図４Ｈにおけるデジタルデバイス４００の照明画像４０４は、複数の照明領域を含んでいる。そこでは、照明領域のいくつかは、優先的に有色光を照明し、他方、他の照明領域は、白色光を照明するように構成されている。図示された実施において、照明画像４０４は、それぞれ赤、緑、または青の光を優先的に照明するように構成されている、３つの照明領域４７２、４７４を含む。照明画像４０４は、白色光を照明するように構成された照明領域４７８を加えて含む。個別の照明領域４７２、４７４、４７６、４７８の各々の平均輝度値は、図４Ａから４Ｇにおけるように調整されてもよい。その値が優先的に照明されている色成分により優先的に重み付けされて導き出された、照明領域４７２、４７４、４７６の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ４０２に提供されることができる。さらに、照明領域４７８の平均輝度値を調整することによって、追加の白色光は、取り込まれた画像の一般的な明るさを増加させるために提供されてもよい。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
[0080]いくつかの実施において、照明画像は、フロントフェーシング画像センサによって取り込まれた画像を含んでもよい。いくつかの実施において、フロントフェーシング画像センサによって取り込まれた画像は、静止画像のためのプレビュー画像であってもよい。他の実施において、フロントフェーシングカメラによって取り込まれた画像は、ビデオに取り込まれているリアルタイムフレームであってもよい。
[0081]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する１つの実施が、図４Ｉに描かれている。図４Ｉの照明画像４０４は、照明画像４０４全体をおおむね覆っている照明領域４８２を含み、背景に対しユーザ４８０の画像を含む。照明領域４０４全体の平均輝度値は、図４Ａ−４Ｈにおけるように調整されてもよい。
[0082]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する別の実施が、図４Ｊに描かれている。ユーザの画像を含む照明画像４０４の一部を覆う照明領域４８２に加え、図４Ｊの照明画像４０４は、照明画像４０４の一部を覆い、白色光を照明するように構成された照明領域４８４を加えて含んでいる。照明領域４８４、４８２の各々の平均輝度値は、図４Ａから４Ｈにおけるように調整されてもよい。不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
[0083]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する別の実施が、図４Ｋおよび４Ｌに描かれている。両方の実施において、ユーザの画像を含む照明画像４０４の一部を覆う照明領域４８２に加えて、図４Ｋおよび４Ｌの照明画像４０４は、ネットワークを通じて、（例えば、第２のユーザ４８６の）別のデバイスから送信された画像を備える照明領域４８８、４９０を加えて含んでいる。照明領域４８２、４８８、４９０の各々の平均輝度値は、図４Ａから４Ｊにあるように調整されてもよい。図４Ｌの不活性領域４１２に含まれる画素は、ごくわずかな輝度値を有するように構成される。
[0084]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実施に適応することができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。
（用語に関する明確化）
［0085］ここに開示されている実施は、フロントフェーシング画像センサに照明源を提供するためにデバイス自身のディスプレイを使用するためのシステム、方法、装置を提供する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実施され得ることを理解するだろう。
[0086]記載において、具体的な詳細が、例の完全な理解を提供するために与えられる。しかしながら、その例はこれらの具体的な詳細がなくても実行され得ることは、当業者は理解するだろう。例えば、不必要な詳細で例を曖昧にしないために、電気構成要素／デバイスが、ブロック図で示され得る。他の事例において、このような構成要素、他の構造、および技術が、例をさらに説明するために詳細に示され得る。
[0087]見出しは、参考のために、およびさまざまなセクションの位置を探すのを助けるために、ここに含まれる。これらの見出しは、それについて記載されている概念の範囲を限定するように意図されてはいない。そのような概念は、明細書全体を通して適用性を有し得る。
[0088]例が、フローチャート、フロー図、有限状態図、構造図、またはブロック図として描かれた処理として記載され得ることにも留意されたい。フローチャートは、シーケンシャルなプロセスとして動作を記述し得るけれども、動作の多くは並行、または、同時に実行されることができ、処理は繰り返されることができる。さらに、動作の順序は再配置され得る。処理は、その動作が完了されるときに終了される。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。処理が、ソフトウェア機能に対応する場合、その終了は呼び出し機能、または、主要機能に機能が戻ることに対応する。
[0089]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応されることができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
フロントフェーシング画像センサとデジタルディスプレイとを有する電子デバイスを使用して、デジタル画像を取り込むための方法であって、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
を備える方法。
［Ｃ２］
前記デジタルディスプレイは、照明画像を選択することと、表示することとを含む、Ｃ１に記載の方法。
［Ｃ３］
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ２に記載の方法。
［Ｃ４］
前記照明画像は、前記デバイスを調整する前に前記デジタルディスプレイに表示されている先行画像を含む、Ｃ３に記載の方法。
［Ｃ５］
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれたユーザ画像を含む、Ｃ３に記載の方法。
［Ｃ６］
前記照明画像は、第１の照明エリアと第２の照明エリアとを含み、前記第１の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第１のセットを有し、前記第２の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第２のセットを有する、Ｃ３に記載の方法。
［Ｃ７］
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定することをさらに含む、Ｃ１に記載の方法。
［Ｃ８］
前記先行する照明条件は、前記フロントフェーシング画像センサを使用してテストフレームを取り込むことを含む、Ｃ７に記載の方法。
［Ｃ９］
前記先行する照明条件を決定することは、前記テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度基準との間の差異を計算することをさらに含む、Ｃ８に記載の方法。
［Ｃ１０］
前記先行する照明条件を決定することは、前記テストフレームの前記被写体が顔を含むか否かを決定することを含む、Ｃ９に記載の方法。
［Ｃ１１］
前記デジタルディスプレイを調整することは、前記差異に基づいて追加の照明を算出することを含む、Ｃ９に記載の方法。
［Ｃ１２］
前記デジタルディスプレイを調整することは、照明画像を選択することと、表示することとを含む、Ｃ１１に記載の方法。
［Ｃ１３］
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、画像化輝度値に調整することを含み、前記画像化輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ１２に記載の方法。
［Ｃ１４］
前記デジタルディスプレイを調整することは、前記算出された追加の照明に基づいて照明画像を選択することを含む、Ｃ１３に記載の方法。
［Ｃ１５］
前記照明画像は、第１の照明エリアと第２の照明エリアとを含み、前記第１の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第１のセットを有し、前記第２の照明エリア内の前記画素は、Ｒ、Ｇ、Ｂ成分値の第２のセットを有する、Ｃ１２に記載の方法。
［Ｃ１６］
デジタル画像取込システムであって、
前記デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整するように構成された照明調整モジュールと、
前記所定の照明条件の下でフロントフェーシング画像センサを使用して前記デジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールと
を備える、デジタル画像取込システム。
［Ｃ１７］
前記照明調整モジュールは、照明画像を選択して、表示するように構成された、Ｃ１６に記載のデジタル画像取込システム。
［Ｃ１８］
前記照明調整モジュールは、前記照明画像の平均輝度値を所定の輝度値に調整するように構成され、前記所定の輝度値は、前記デジタルディスプレイを調整する前の、前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ１６に記載のデジタル画像取込システム。
［Ｃ１９］
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定するように構成された照明感知モジュールをさらに備える、Ｃ１６に記載のデジタル画像取込システム。
［Ｃ２０］
前記照明感知モジュールは、前記フロントフェーシング画像センサを使用し、及び、テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度値との間の差異を計算して、前記テストフレームを取り込むように構成された、Ｃ１９に記載のデジタル画像取込システム。
［Ｃ２１］
実行された場合、プロセッサに、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
のステップを実行させる命令を備えるコンピュータ読取可能な媒体。
［Ｃ２２］
前記デジタルディスプレイを調整することは、照明画像を選択し、表示することを含む、Ｃ２１に記載のコンピュータ読取可能な媒体。
［Ｃ２３］
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ２２に記載のコンピュータ読取可能な媒体。
［Ｃ２４］
電子デバイスにおけるデジタル画像取込システムであって、前記システムは、
前記デジタル画像を取り込むためのコマンドを受信する手段と、
前記コマンドに応答して、前記デジタルディスプレイを画像化照明条件に調整する手段と、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込む手段と
を備えるデジタル画像取込システム。
［Ｃ２５］
前記調整する手段は、照明画像を選択し、表示する手段を含む、Ｃ２４に記載のデジタル画像取込システム。
［Ｃ２６］
前記調整する手段は、前記照明画像の平均輝度値を所定の輝度値に調整する手段を含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、Ｃ２５に記載のデジタル画像取込システム。
［Ｃ２７］
前記デジタルディスプレイを調整する前に前記フロントフェーシング画像センサを使用して先行する照明条件を調整する手段をさらに含む、Ｃ２４に記載のデジタル画像取込システム。

Claims (45)

  1. フロントフェーシング画像センサとタッチスクリーンとを含むモバイルデバイスを使用して、ユーザの１または複数のデジタル画像を取り込むための方法であって、前記方法は、
    前記ユーザの前記１または複数のデジタル画像を取り込むためのコマンドを受信することと、
    前記１または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
    前記タッチスクリーン上に照明画像を表示することによって前記ユーザの少なくとも顔を照明することと、
    前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含むテスト画像を取り込むことと、
    調整された照明画像を生成するために、前記ユーザの前記テスト画像のクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
    前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザの少なくとも顔が照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含む前記１または複数のデジタル画像を取り込むことと
    を備える、方法。
  2. 顔検出アルゴリズムは、前記１または複数のデジタル画像が前記ユーザの少なくとも前記顔を含むことを決定するために使用される、請求項１に記載の方法。
  3. 前記照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１に記載の方法。
  4. 前記照明画像は、白色を備える、請求項３に記載の方法。
  5. 前記コマンドは、前記ユーザのジェスチャまたは動きを備える、請求項１に記載の方法。
  6. 前記調整された照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１に記載の方法。
  7. 前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項１に記載の方法。
  8. 前記テスト画像は、固定されたｆナンバーと露出時間とを使用して取り込まれる、請求項１に記載の方法。
  9. 前記ユーザの顔の少なくとも一部の輝度値を決定することと、
    前記ユーザの顔の前記少なくとも前記一部の前記輝度値とターゲット輝度値とを比較することと、
    前記比較に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整することと
    をさらに備える、請求項１に記載の方法。
  10. 前記ユーザと前記モバイルデバイスとの間の距離に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整すること
    をさらに備える、請求項１に記載の方法。
  11. 前記ユーザの顔の少なくとも一部のクロミナンス値を決定することと、
    前記ユーザの顔の前記少なくとも前記一部の前記クロミナンス値と前記ターゲットクロミナンス値とを比較することと、
    前記比較に基づいて前記照明画像の前記色を調整することと
    をさらに備える、請求項１に記載の方法。
  12. 前記照明画像は、前記ユーザによって提供される、請求項１に記載の方法。
  13. 前記照明画像は、前記ユーザの蓄積された画像を備える、請求項１に記載の方法。
  14. 前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整することをさらに備える、請求項１に記載の方法。
  15. 前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明される、請求項１に記載の方法。
  16. 命令を記憶するように構成された非一時的コンピュータ読取可能な媒体であって、前記命令は、フロントフェーシング画像センサとタッチスクリーンとを含むモバイルデバイスのプロセッサによって実行されるとき、前記モバイルデバイスに、
    ユーザの１または複数のデジタル画像を取り込むためのコマンドを受信することと、
    前記１または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
    前記タッチスクリーン上に照明画像を表示することによって前記ユーザの少なくとも顔を照明することと、
    前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含むテスト画像を取り込むことと、
    調整された照明画像を生成するために、前記ユーザの前記テスト画像のクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
    前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザの少なくとも顔が照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含む前記１または複数のデジタル画像を取り込むことと
    を備える動作を行わせる、非一時的コンピュータ読取可能な媒体。
  17. 前記命令の実行は、前記モバイルデバイスに、
    前記１または複数のデジタル画像が前記ユーザの少なくとも前記顔を含むことを決定するために顔検出アルゴリズムを呼び出すこと
    をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  18. 前記照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  19. 前記照明画像は、白色を備える、請求項１８に記載の非一時的コンピュータ読取可能な媒体。
  20. 前記コマンドは、前記ユーザのジェスチャまたは動きを備える、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  21. 前記調整された照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  22. 前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  23. 前記テスト画像は、固定されたｆナンバーと露出時間とを使用して取り込まれる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  24. 前記命令の実行は、前記モバイルデバイスに、
    前記ユーザの顔の少なくとも一部の輝度値を決定することと、
    前記ユーザの顔の前記少なくとも前記一部の前記輝度値とターゲット輝度値とを比較することと、
    前記比較に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整することと
    をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  25. 前記命令の実行は、前記モバイルデバイスに、
    前記ユーザと前記モバイルデバイスとの間の距離に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整すること
    をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  26. 前記命令の実行は、前記モバイルデバイスに、
    前記ユーザの顔の少なくとも一部のクロミナンス値を決定することと、
    前記ユーザの顔の前記少なくとも前記一部の前記クロミナンス値と前記ターゲットクロミナンス値とを比較することと、
    前記比較に基づいて前記照明画像の前記色を調整することと
    をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  27. 前記照明画像は、前記ユーザによって提供される、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  28. 前記照明画像は、前記ユーザの蓄積された画像を備える、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  29. 前記命令の実行は、前記モバイルデバイスに、
    前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整すること
    をさらに備える動作を行わせる、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  30. 前記命令の実行は、前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明されるようにする、請求項１６に記載の非一時的コンピュータ読取可能な媒体。
  31. ユーザの１または複数のデジタル画像を取り込むためのモバイルデバイスであって、前記モバイルデバイスは、
    フロントフェーシング画像センサと、
    タッチスクリーンと、
    プロセッサと、
    前記プロセッサによって実行されるとき、前記モバイルデバイスに、
    前記ユーザの前記１または複数のデジタル画像を取り込むためのコマンドを受信することと、
    前記１または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
    前記タッチスクリーン上に照明画像を表示することによって前記ユーザの少なくとも顔を照明することと、
    前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含むテスト画像を取り込むことと、
    調整された照明画像を生成するために、前記ユーザの前記テスト画像のクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
    前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザの少なくとも顔が照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含む前記１または複数のデジタル画像を取り込むことと
    を行わせる命令を記憶するように構成されたメモリと
    を備える、モバイルデバイス。
  32. 前記命令の実行は、前記モバイルデバイスに、
    前記１または複数のデジタル画像が前記ユーザの少なくとも前記顔を含むことを決定するために顔検出アルゴリズムを呼び出すこと
    を行わせる、請求項３１に記載のモバイルデバイス。
  33. 前記照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項３１に記載のモバイルデバイス。
  34. 前記照明画像は、白色を備える、請求項３３に記載のモバイルデバイス。
  35. 前記コマンドは、前記ユーザのジェスチャまたは動きを備える、請求項３１に記載のモバイルデバイス。
  36. 前記調整された照明画像は、前記ユーザにおける有色光の均等な分配に基づく、請求項３１に記載のモバイルデバイス。
  37. 前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項３１に記載のモバイルデバイス。
  38. 前記テスト画像は、固定されたｆナンバーと露出時間とを使用して取り込まれる、請求項３１に記載のモバイルデバイス。
  39. 前記命令の実行は、前記モバイルデバイスに、
    前記ユーザの顔の少なくとも一部の輝度値を決定することと、
    前記ユーザの顔の前記少なくとも前記一部の前記輝度値とターゲット輝度値とを比較することと、
    前記比較に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整することと
    をさらに行わせる、請求項３１に記載のモバイルデバイス。
  40. 前記命令の実行は、前記モバイルデバイスに、
    前記ユーザと前記モバイルデバイスとの間の距離に基づいて、前記タッチスクリーン上に表示された前記照明画像の強度を調整すること
    をさらに行わせる、請求項３１に記載のモバイルデバイス。
  41. 前記命令の実行は、前記モバイルデバイスに、
    前記ユーザの顔の少なくとも一部のクロミナンス値を決定することと、
    ユーザの顔の前記少なくとも前記一部の前記クロミナンス値と前記ターゲットクロミナンス値とを比較することと、
    前記比較に基づいて前記照明画像の前記色を調整することと
    を行わせる、請求項３１に記載のモバイルデバイス。
  42. 前記照明画像は、前記ユーザによって提供される、請求項３１に記載のモバイルデバイス。
  43. 前記照明画像は、前記ユーザの蓄積された画像を備える、請求項３１に記載のモバイルデバイス。
  44. 前記命令の実行は、前記モバイルデバイスに、
    前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整すること
    を行わせる、請求項３１に記載のモバイルデバイス。
  45. 前記命令の実行は、前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明されることを行わせる、請求項３１に記載のモバイルデバイス。
JP2018093005A 2013-07-01 2018-05-14 照明源として構成されるディスプレイデバイス Active JP6602914B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/932,844 2013-07-01
US13/932,844 US9525811B2 (en) 2013-07-01 2013-07-01 Display device configured as an illumination source

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016523743A Division JP6513648B2 (ja) 2013-07-01 2014-05-21 照明源として構成されるディスプレイデバイス

Publications (2)

Publication Number Publication Date
JP2018170278A JP2018170278A (ja) 2018-11-01
JP6602914B2 true JP6602914B2 (ja) 2019-11-06

Family

ID=50977123

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016523743A Active JP6513648B2 (ja) 2013-07-01 2014-05-21 照明源として構成されるディスプレイデバイス
JP2018093005A Active JP6602914B2 (ja) 2013-07-01 2018-05-14 照明源として構成されるディスプレイデバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016523743A Active JP6513648B2 (ja) 2013-07-01 2014-05-21 照明源として構成されるディスプレイデバイス

Country Status (10)

Country Link
US (5) US9525811B2 (ja)
EP (3) EP3691245A1 (ja)
JP (2) JP6513648B2 (ja)
KR (1) KR102242302B1 (ja)
CN (3) CN108111717B (ja)
BR (1) BR112015032794B1 (ja)
CA (1) CA2912850C (ja)
ES (1) ES2716613T3 (ja)
HU (1) HUE043157T2 (ja)
WO (1) WO2015002699A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513724B2 (en) * 2011-08-30 2016-12-06 Blackberry Limited Device and method for adjusting object illumination
JP5751270B2 (ja) * 2013-03-21 2015-07-22 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US9525811B2 (en) 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source
US9942483B2 (en) * 2013-08-30 2018-04-10 Hitachi Maxell, Ltd. Information processing device and method using display for auxiliary light
TWI676119B (zh) * 2013-11-28 2019-11-01 日商半導體能源研究所股份有限公司 電子裝置以及其驅動方法
JP2015133693A (ja) * 2013-12-10 2015-07-23 株式会社半導体エネルギー研究所 表示装置、及び、電子機器
KR102153436B1 (ko) * 2014-01-15 2020-09-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102358935B1 (ko) * 2014-02-12 2022-02-04 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기
TW201541258A (zh) * 2014-04-16 2015-11-01 Generalplus Technology Inc 光發電互動裝置以及光發電互動系統
US9420248B2 (en) 2014-09-19 2016-08-16 Qualcomm Incorporated Multi-LED camera flash for color temperature matching
US10475361B2 (en) * 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
KR102477522B1 (ko) * 2015-09-09 2022-12-15 삼성전자 주식회사 전자 장치 및 그의 카메라 노출 조정 방법
CN105204743A (zh) 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
CN105872321A (zh) * 2015-12-10 2016-08-17 乐视移动智能信息技术（北京）有限公司 前置摄像头亮度补偿方法和装置及移动终端
KR102449593B1 (ko) * 2016-01-15 2022-09-30 삼성전자주식회사 카메라 장치를 제어하기 위한 방법 및 그 전자 장치
KR20170097860A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
US9762807B1 (en) * 2016-03-10 2017-09-12 Intel Corporation Using display light to improve front facing camera performance
DE102016104383A1 (de) * 2016-03-10 2017-09-14 Osram Opto Semiconductors Gmbh Verfahren und optoelektronische Leuchtvorrichtung zum Beleuchten eines Gesichts einer Person sowie Kamera und mobiles Endgerät
CN105872402A (zh) * 2016-06-15 2016-08-17 深圳Tcl新技术有限公司 智能电视的拍照方法及系统
CN105979125B (zh) * 2016-06-15 2019-09-24 惠州Tcl移动通信有限公司 一种基于屏幕补光的拍照方法及系统
CN107547887A (zh) * 2016-06-28 2018-01-05 深圳富泰宏精密工业有限公司 电子装置及其色温调节方法
US10277829B1 (en) 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
KR102507252B1 (ko) 2016-09-23 2023-03-07 애플 인크. 워치 극장 모드
CN106254690B (zh) * 2016-10-13 2019-09-20 努比亚技术有限公司 一种显示屏的调整装置及方法
US20180114493A1 (en) * 2016-10-21 2018-04-26 Motorola Mobility Llc Electronic Device with Display-Based Image Compensation and Corresponding Systems and Methods
CN106550191A (zh) * 2016-10-31 2017-03-29 维沃移动通信有限公司 一种拍照补光方法及移动终端
CN106331382B (zh) 2016-11-17 2019-06-25 捷开通讯(深圳)有限公司 一种基于移动终端的闪光灯组件及其控制系统、控制方法
EP3537423A4 (en) * 2016-12-09 2019-10-09 Huawei Technologies Co., Ltd. MOBILE DEVICE, ASSOCIATED BACKLIGHT CONTROL METHOD, AND FLASH CALIBRATION METHOD AND APPARATUS
CN106604010A (zh) 2016-12-15 2017-04-26 北京小米移动软件有限公司 控制屏幕发光的方法及装置
DE102016226206A1 (de) * 2016-12-23 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Erfassen von Messbildern eines Messobjekts
US10587209B2 (en) 2017-03-08 2020-03-10 Natural Gas Solutions North America, Llc Generating power for electronics on a gas meter
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
WO2019026191A1 (ja) * 2017-08-01 2019-02-07 オリンパス株式会社 撮像装置および制御方法
CN107483729B (zh) * 2017-08-08 2021-01-26 陕西银河景天电子有限责任公司 一种多画面显示选择截取画面的方法及系统
EP3462374A4 (en) * 2017-08-18 2019-04-03 Shenzhen Goodix Technology Co., Ltd. METHOD AND DEVICE FOR DETECTING A FINGERPRINT IMAGE AND DEVICE DEVICE
JP7069627B2 (ja) * 2017-10-12 2022-05-18 凸版印刷株式会社 情報記録媒体の読み取り方法および真贋判定方法
CN109960964A (zh) * 2017-12-14 2019-07-02 红石生物特征科技有限公司 非接触式掌纹获取装置及其方法
CN108259754B (zh) * 2018-03-06 2021-02-02 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109005360B (zh) * 2018-06-11 2021-02-09 北京小米移动软件有限公司 拍摄环境的补光方法、装置及计算机可读存储介质
CN110225365A (zh) * 2019-04-23 2019-09-10 北京奇艺世纪科技有限公司 一种蒙版弹幕交互的方法、服务器及客户端
DK180684B1 (en) 2019-09-09 2021-11-25 Apple Inc Techniques for managing display usage
US11159737B2 (en) * 2019-10-14 2021-10-26 Google Llc Exposure change control in low light environments
CN110809120B (zh) * 2019-11-01 2021-04-27 深圳创维－Rgb电子有限公司 拍摄画面的补光方法、智能电视及计算机可读存储介质
CN112864186B (zh) * 2019-11-26 2024-08-23 北京小米移动软件有限公司 电子设备及其控制方法和装置
US11190705B2 (en) * 2020-03-16 2021-11-30 Lenovo (Singapore) Pte. Ltd. Intelligent array of lights for illumination
US20230334631A1 (en) * 2020-09-15 2023-10-19 Hewlett-Packard Development Company, L.P. Glare Reduction in Images
US20230410721A1 (en) * 2020-10-23 2023-12-21 Hewlett-Packard Development Company, L.P. Illumination portions on displays
USD961572S1 (en) * 2020-11-11 2022-08-23 Case-Mate, Inc. Case for mobile device
CN113645743B (zh) * 2021-08-10 2023-07-25 深圳创维－Rgb电子有限公司 基于电视的智能照明方法、装置、设备及存储介质
CN117095450B (zh) * 2023-10-20 2024-01-09 武汉大学人民医院（湖北省人民医院） 一种基于图像的眼干程度评估系统

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104531A (ja) * 1996-06-14 1998-01-06 Nikon Corp 情報処理装置
GB9709737D0 (en) * 1997-05-14 1997-07-02 Chase Advanced Technologies Portable presentation device
EP1026999B1 (en) * 1997-10-08 2006-06-07 The General Hospital Corporation Phototherapy systems
US6970580B2 (en) 2001-10-17 2005-11-29 Qualcomm Incorporated System and method for maintaining a video image in a wireless communication device
US7738032B2 (en) * 2001-11-08 2010-06-15 Johnson & Johnson Consumer Companies, Inc. Apparatus for and method of taking and viewing images of the skin
US20040146290A1 (en) * 2001-11-08 2004-07-29 Nikiforos Kollias Method of taking images of the skin using blue light and the use thereof
US6907193B2 (en) * 2001-11-08 2005-06-14 Johnson & Johnson Consumer Companies, Inc. Method of taking polarized images of the skin and the use thereof
US20030098922A1 (en) * 2001-11-27 2003-05-29 Creo Il. Ltd. Precision exposure setting in a digital imaging device
JP3986349B2 (ja) * 2002-04-04 2007-10-03 富士フイルム株式会社 画像取得方法
GB2396001B (en) * 2002-10-09 2005-10-26 Canon Kk Gaze tracking system
CN1726696A (zh) * 2002-12-12 2006-01-25 松下电器产业株式会社 电子设备和使用该电子设备的摄像方法
US7805021B2 (en) * 2002-12-17 2010-09-28 Xerox Corporation Electronic image registration based on chrominance channel
US20040125996A1 (en) * 2002-12-27 2004-07-01 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Skin diagnostic imaging method and apparatus
JP2004350208A (ja) * 2003-05-26 2004-12-09 Tohoku Pioneer Corp カメラ付き電子機器
US7920908B2 (en) * 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
US7004599B2 (en) * 2004-01-02 2006-02-28 3Gen, Llc. Illuminated mirror employing cross and parallel polarization
JP4379129B2 (ja) * 2004-01-23 2009-12-09 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
US20060097978A1 (en) * 2004-10-22 2006-05-11 Ng Kee Y Field-sequential color display with feedback control
KR100631603B1 (ko) * 2004-10-25 2006-10-09 엘지전자 주식회사 이동 통신 단말기의 영상 화질 개선 방법
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US7711257B2 (en) * 2006-04-24 2010-05-04 Nokia Corporation Image quality in cameras using flash
JP5007523B2 (ja) * 2006-05-02 2012-08-22 カシオ計算機株式会社 撮像装置及びそのプログラム
US7965859B2 (en) * 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
US20080260242A1 (en) * 2006-06-22 2008-10-23 Tidal Photonics Inc. Apparatus and methods for measuring and controlling illumination for imaging objects, performances and the like
KR100773584B1 (ko) * 2006-07-06 2007-11-08 호서대학교 산학협력단 영상을 이용한 조명 제어 방법
JP4761066B2 (ja) * 2006-09-22 2011-08-31 富士フイルム株式会社 ホワイトバランス補正方法及び撮像装置
KR20080058820A (ko) * 2006-12-22 2008-06-26 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR100839093B1 (ko) * 2007-01-31 2008-06-19 한국과학기술원 입력 영상의 휘도 및 색상 측정 방법 및 장치
JP2008233381A (ja) * 2007-03-19 2008-10-02 Fujifilm Corp 撮像装置
CN101022564B (zh) 2007-03-26 2010-05-26 北京中星微电子有限公司 一种调整图像色彩的方法、装置及计算机
CN101290414B (zh) * 2007-04-20 2011-07-27 鸿富锦精密工业（深圳）有限公司 电子设备及其背景光控制方法
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
US20080303918A1 (en) * 2007-06-11 2008-12-11 Micron Technology, Inc. Color correcting for ambient light
US8139122B2 (en) * 2007-08-20 2012-03-20 Matthew Rolston Photographer, Inc. Camera with operation for modifying visual perception
US8692930B2 (en) * 2007-08-20 2014-04-08 Matthew Rolston Photographer, Inc. Mobile device with operation for modifying visual perception
US8238968B1 (en) 2007-08-24 2012-08-07 Marvell Israel (M.I.S.L) Ltd. Camera sensor usage as luminance meter for power saving in mobile portable devices
TWI383370B (zh) * 2007-09-20 2013-01-21 Chunghwa Picture Tubes Ltd 顯示裝置之色度補償方法與照明方法
US8922672B2 (en) * 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
US8446450B2 (en) * 2008-04-30 2013-05-21 Cisco Technology, Inc. Method of lighting
US20090322889A1 (en) * 2008-06-27 2009-12-31 Motorola, Inc. Method and apparatus for illuminating users of video communication devices
FR2933581B1 (fr) * 2008-07-10 2011-12-02 Oreal Procede de maquillage et dispositif pour la mise en oeuvre d'un tel procede
US7990421B2 (en) * 2008-07-18 2011-08-02 Sony Ericsson Mobile Communications Ab Arrangement and method relating to an image recording device
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
US8223241B2 (en) * 2008-12-15 2012-07-17 Robbyn Gayer Self shot camera
US20100164920A1 (en) 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Information processing apparatus
US8797441B2 (en) * 2009-01-30 2014-08-05 Apple Inc. Continuous illumination of backlit display and of subject for image capture
JP5293367B2 (ja) 2009-04-17 2013-09-18 セイコーエプソン株式会社 自発光表示装置および電子機器
CN101888486B (zh) 2009-05-14 2014-04-30 鸿富锦精密工业（深圳）有限公司 亮度补偿系统及亮度补偿方法
US8289400B2 (en) * 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
US8553103B1 (en) * 2009-09-30 2013-10-08 Hewlett-Packard Development Company, L.P. Compensation of ambient illumination
JP5434513B2 (ja) * 2009-11-18 2014-03-05 富士通株式会社 携帯端末および輝度調整プログラム
KR101604846B1 (ko) * 2009-11-27 2016-03-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8611660B2 (en) * 2009-12-17 2013-12-17 Apple Inc. Detecting illumination in images
JP2010161783A (ja) * 2010-02-10 2010-07-22 Toshiba Corp 情報処理装置
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
US8730384B2 (en) 2010-06-03 2014-05-20 Apple Inc. Systems, methods, and devices for flash exposure control using preflash statistics
KR101051509B1 (ko) * 2010-06-28 2011-07-22 삼성전기주식회사 카메라의 광량 제어 장치 및 방법
CN102053360B (zh) * 2010-10-18 2013-01-02 北京高普乐光电科技有限公司 一种主动照明的夜视装置及其方法
KR101739378B1 (ko) * 2010-12-23 2017-05-24 삼성전자주식회사 디지털 영상 촬영 장치 및 이의 제어 방법
GB201101083D0 (en) 2011-01-21 2011-03-09 Rawlin Internat Inc Mobile device camera lighting
US9442346B2 (en) * 2011-01-28 2016-09-13 Windy Place, Inc. Lighting and power devices and modules
US8500293B2 (en) * 2011-03-21 2013-08-06 Joan E. Sutton Personal video lighting system
JP2012242676A (ja) * 2011-05-20 2012-12-10 Canon Inc 撮像装置及び制御方法
CN102232290A (zh) * 2011-06-24 2011-11-02 华为终端有限公司 电子设备屏幕亮度调节方法和装置
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US9513724B2 (en) 2011-08-30 2016-12-06 Blackberry Limited Device and method for adjusting object illumination
EP2565602B1 (en) * 2011-08-30 2018-11-14 BlackBerry Limited Device and method for adjusting object illumination
US9001255B2 (en) * 2011-09-30 2015-04-07 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
JP5214797B2 (ja) * 2011-11-30 2013-06-19 株式会社東芝 個人画像データ取得装置及び個人画像データ取得方法
KR101817656B1 (ko) * 2011-12-13 2018-01-12 삼성전자주식회사 다기능 디스플레이를 구비하는 카메라
US8922673B2 (en) * 2011-12-21 2014-12-30 Xerox Corporation Color correction of digital color image
CN102573239A (zh) * 2012-01-16 2012-07-11 迅驰（北京）视讯科技有限公司 用于摄像机的补光灯亮度智能控制方法及装置
US9086610B2 (en) * 2012-02-03 2015-07-21 Glow Enterprises, Llc Illumination device
US9075975B2 (en) 2012-02-21 2015-07-07 Andrew Bud Online pseudonym verification and identity validation
US9137246B2 (en) * 2012-04-09 2015-09-15 Brivas Llc Systems, methods and apparatus for multivariate authentication
JP2013242504A (ja) * 2012-05-23 2013-12-05 Sony Corp 電子鏡装置、電子鏡表示方法および電子鏡プログラム
CN103024146A (zh) * 2012-11-20 2013-04-03 广东欧珀移动通信有限公司 一种控制显示屏的方法及移动智能终端
US9100579B2 (en) * 2012-12-10 2015-08-04 Cisco Technology, Inc. Modification of a video signal of an object exposed to ambient light and light emitted from a display screen
CN103152523A (zh) 2013-02-27 2013-06-12 华为终端有限公司 电子设备拍摄方法及装置和电子设备
JP5751270B2 (ja) * 2013-03-21 2015-07-22 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US9036086B2 (en) * 2013-03-29 2015-05-19 Konica Minolta Laboratory U.S.A., Inc. Display device illumination
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
US9003196B2 (en) * 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
CN105230123B (zh) * 2013-05-21 2020-05-05 株式会社半导体能源研究所 发光装置及照相机
KR101316805B1 (ko) * 2013-05-22 2013-10-11 주식회사 파이브지티 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
US9635255B1 (en) * 2013-05-30 2017-04-25 Amazon Technologies, Inc. Display as adjustable light source
US9525811B2 (en) 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source
US9210331B2 (en) 2013-07-10 2015-12-08 Htc Corporation Camera device and flash light control method
CN104754203B (zh) 2013-12-31 2018-07-31 华为技术有限公司 拍摄方法、装置及终端
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法

Also Published As

Publication number Publication date
CN105409206B (zh) 2021-08-31
ES2716613T3 (es) 2019-06-13
EP3439292B1 (en) 2020-04-22
EP3017592B1 (en) 2018-12-26
EP3017592A1 (en) 2016-05-11
US11070710B2 (en) 2021-07-20
EP3691245A1 (en) 2020-08-05
WO2015002699A1 (en) 2015-01-08
US20240187678A1 (en) 2024-06-06
KR102242302B1 (ko) 2021-04-19
JP2016535394A (ja) 2016-11-10
BR112015032794B1 (pt) 2023-04-11
US20170366715A1 (en) 2017-12-21
CA2912850A1 (en) 2015-01-08
JP2018170278A (ja) 2018-11-01
CN108111717A (zh) 2018-06-01
US9781321B2 (en) 2017-10-03
CN108111717B (zh) 2021-08-24
US11917234B2 (en) 2024-02-27
US20150002735A1 (en) 2015-01-01
US9525811B2 (en) 2016-12-20
JP6513648B2 (ja) 2019-05-15
CN113596304A (zh) 2021-11-02
BR112015032794A2 (pt) 2017-09-26
US20210329152A1 (en) 2021-10-21
CN113596304B (zh) 2023-09-15
CN105409206B9 (zh) 2021-09-28
KR20160027100A (ko) 2016-03-09
CA2912850C (en) 2021-07-20
HUE043157T2 (hu) 2019-08-28
EP3439292A1 (en) 2019-02-06
US20170078542A1 (en) 2017-03-16
CN105409206A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
JP6602914B2 (ja) 照明源として構成されるディスプレイデバイス
US9936141B2 (en) Image processing apparatus for performing correction processing for effecting virtual light source and method executed by image processing apparatus
JP2020504565A (ja) カメラアセンブリおよびモバイル電子装置
CN111885304B (zh) 拍摄方法、移动终端和计算机存储介质
EP3162048B1 (en) Exposure metering based on background pixels
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
JP6045896B2 (ja) 評価値算出装置および評価値算出方法
JP6921972B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
WO2024174625A1 (zh) 图像处理方法和电子设备
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
US10778880B2 (en) Imaging device, imaging method, and imaging program
CN116709042A (zh) 一种图像处理方法和电子设备
CN116055855B (zh) 图像处理方法及其相关设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191009

R150 Certificate of patent or registration of utility model

Ref document number: 6602914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250