JP6461372B2 - 撮影方法、撮影装置、及び端末 - Google Patents

Description

本発明の実施形態は、撮影技術の分野に関連し、特に、低照度環境用の撮影方法、撮影装置、及び端末に関する。

携帯電話を使用しての撮影に対する要求がますます高まっている。しかし、撮影環境が低照度のシナリオである場合、例えば、映画館、パブ、又はＫＴＶにおいて、周囲の輝度は、例えば３０ルクス（ｌｕｘ）未満であり、他の補助装置がないならば、周囲の光量が極めて少なく、カメラへの入射光量が少ないため、撮影された画像は暗く、鮮明で識別可能な画像を撮影することはできない。

この問題を解決するために、いくつかの製造業者は携帯電話の背面カメラにカメラのフラッシュを付加し、低照度環境における撮影効果を改善させている。しかし、撮影中、前記カメラフラッシュは、通常人間の目を一時的に見えなくさせ、ユーザの目に一時的に被写体がはっきりと見えない場合がある。加えて、一部の携帯電話の前面カメラにはソフトライト機能が付加され、撮影時には、前面のソフトライトが点灯して周囲の輝度が増す。しかし、点灯後は光が比較的まぶしく、ユーザエクスペリエンスが理想的でない場合も現れる。さらに、製造業者は、ＬＥＤフィルインライトソリューションを使用して、撮影の際、瞬時に画面の輝度を増加させる。この様式の問題は、プレビューには何らの効果がなく、ユーザと携帯電話との距離が変化すると、撮影時に、顔の非対称性、非効率的な明るさ、露出過多などの問題が生じる。

本発明の実施形態は、撮影される画像の輝度を高めることができ、低照度での撮影ができないという問題を解決することができる撮影方法、影装置、及び端末を提供する。

第１の態様によると、撮影方法が提供され、前記方法は、カメラ起動指示を受信するステップと、前記受信したカメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするステップであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、ステップと、前記プレビュー画像内の少なくとも１つのピクセルの輝度が、プリセット条件より小さいことを検出する場合に、前記プレビュー画像を撮影するステップであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、ステップ、を含む。前記平均ピクセルコンビネーションモードを使用して、前記カメラによってキャプチャされた前記プレビュー画像をプレビューすることにより、画像ノイズを低減することができる。

第１の態様に関連し、第１の態様の第１の可能な実施様式において、前記プレビュー画像を撮影する前記ステップは、具体的には、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得するステップである。撮影される画像は、ハイブリッドビデオ、すなわち、ピクチャ及びビデオの両方を含む画像であってもよい。

第１の態様の第１の可能な実施様式に関連し、第１の態様の第２の可能な実施様式において、前記プレビュー画像を撮影する前記ステップの後に、前記方法は、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するステップをさらに含む。前記撮影される画像にノイズ除去処理や美容処理を施すことにより、ユーザの期待に応える画像を得ることができる。

第１の態様、又は第１の態様の第１から第２の可能な実施様式のいずれか１つに関連し、第１の態様の第３の可能な実施様式において、前記プレビュー画像を撮影する前記ステップの後に、前記方法は、前記カメラのイメージセンサの動作モードを前記平均ピクセル結合モードに切り替えるステップをさらに含む。次回にユーザが撮影する時には、前記平均ピクセル結合モードのイメージセンサを用いることで、ノイズのより少ないプレビュー画像を都合よく得ることができる。

第２の態様によると、撮影装置が提供され、前記装置は、カメラ起動指示を受信するように構成された受信ユニットと、前記受信ユニットにより受信された前記カメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするように構成されたプレビューユニットであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、プレビューユニットと、前記プレビュー画像内の少なくとも１つのピクセルの輝度が、プリセット条件より小さいことを検出する場合に、前記プレビュー画像を撮影するように構成された撮影ユニットであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、撮影ユニットとを含む。前記平均ピクセルコンビネーションモードを使用して、前記カメラによってキャプチャされた前記プレビュー画像をプレビューすることにより、画像ノイズを低減することができる。

第２の態様に関連し、第２の態様の第１の可能な実施様式において、前記撮影ユニットは、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得するように特に構成されている。

第２の態様の第１の可能な実施様式に関連し、第２の態様の第２の可能な実施様式において、前記装置は、処理ユニットをさらに含み、前記処理ユニットは、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するように構成されている。前記撮影される画像にノイズ除去処理や美肌処理を施すことにより、ユーザの期待に応える画像を得ることができる。

第２の態様、又は第２の態様の第１から第２の可能な実施様式のいずれか１つに関連し、第２の態様の第３の可能な実施様式において、前記装置は、切り替えユニットをさらに具備し、前記切り替えユニットは、前記カメラのイメージセンサの動作モードを前記平均ピクセル結合モードに切り替えるように構成されている。次回にユーザが撮影する時には、前記平均ピクセル結合モードのイメージセンサを用いることで、ノイズのより少ないプレビュー画像を都合よく得ることができる。

第３の態様によると、端末が提供され、前記端末は、プロセッサ、ディスプレイ、及びカメラを含み、前記カメラのイメージセンサ動作モードは、平均ピクセル結合モードと、合計ピクセル結合モードを含む。受信したカメラ起動指示に基づいて、前記ディスプレイは、前記カメラにより収集されたプレビュー画像をプレビューするように構成され、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、前記平均ピクセル結合モードである。前記プロセッサは、前記プレビューステートにおける前記プレビュー画像内の少なくとも１つのピクセルの輝度を分析するように構成されている。前記カメラは、前記プロセッサが、前記プレビュー画像内の少なくとも１つのピクセルの輝度がプリセット条件よりも小さいことを判定する場合に、前記プレビュー画像を撮影するように構成されており、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、前記合計ピクセル結合モードである。前記平均ピクセルコンビネーションモードを使用して、前記カメラによってキャプチャされた前記プレビュー画像をプレビューすることにより、画像ノイズを低減することができる。

第３の態様に関連し、第３の態様の第１の可能な実施様式において、前記カメラが前記プレビュー画像を撮影するように構成されていることは、具体的には、前記カメラが、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得するように構成されていることである。撮影される画像は、ハイブリッドビデオ、すなわち、ピクチャ及びビデオの両方を含む画像であってもよい。

第３の態様の第１の可能な実施様式に関連し、第３の態様の第２の可能な実施様式において、前記プロセッサは、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するようにさらに構成されている。前記撮影される画像にノイズ除去処理や美容処理を施すことにより、ユーザの期待に応える画像を得ることができる。

第４の態様によると、撮影方法が提供され、前記方法は、カメラ起動指示を受信するステップと、前記受信したカメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするステップであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、ステップと、前記イメージセンサのＩＳＯ感光度がプリセット値よりも大きいことを検出した場合に、前記プレビュー画像を撮影するステップであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、ステップと、を含む。

第５の態様によると、端末が提供され、前記端末は、プロセッサ、ディスプレイ、及びカメラを含み、前記カメラのイメージセンサ動作モードは、平均ピクセル結合モードと、合計ピクセル結合モードを含む。受信したカメラ起動指示に基づいて、前記ディスプレイは、前記カメラにより収集されたプレビュー画像をプレビューするように構成され、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、前記平均ピクセル結合モードである。前記プロセッサは、前記プレビューステートの前記イメージセンサのＩＳＯ感光度を検出するように構成されている。前記カメラは、前記プロセッサが、前記イメージセンサのＩＳＯ感光度がプリセット値よりも大きいと判定した場合に、前記プレビュー画像を撮影するように構成され、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、前記合計ピクセル結合モードである。

第６の態様によると、１つまたは複数のプログラムを格納するコンピュータ可読記憶媒体を提供し、前記１つ又は複数のプログラムは、命令を含んでおり、ディスプレイ及び複数のアプリケーションを備えたポータブル電子デバイスにより実行される場合に、前記命令は、前記ポータブル電子デバイスが、第１の態様、第１の態様の第１から第３の可能な実施様式、又は第４の態様のいずれか一つによる方法を実行することを可能にする。

可能な実施様式において、プレビュー画像内の少なくとも１つのピクセルの輝度の分析により、撮影環境が低照度のシナリオであることを検出することは、具体的には以下の様式において実施される：前記プレビュー画像内の少なくとも１つのピクセルの平均輝度がプリセットしきい値未満であるならば、撮影環境が低照度のシナリオであるとみなされる。

別の可能な実施様式において、前記端末のＵＩインターフェースが、ユーザに、ピクセル結合モードを切り替えるようにリマインドする。

さらに他の可能な実施様式において、前記端末のＵＩインターフェースは、ユーザに、低照度撮影モードをオンにするようにリマインドする。

本発明の実施形態におけるまたは従来技術における技術的解決策をより明確に説明するために、以下で実施形態を説明するために必要な添付の図面について簡単に説明する。以下の説明における添付の図面は本発明のいくつかの実施形態を示すものにすぎず、それでもなお、当業者が創造的な努力なしにこれらの添付の図面から他の図面を得ることができることは明らかである。

図１は、カメラの概略構成を示す概略図である。 図２は、Bayer形式の画像ピクセルの配置モードの概略図である。 図３は、binning規則の概略図である。 図４は、水平方向の１／２binning操作の概略図である。 図５は、垂直方向の１／２binning操作の概略図である。 図６は、本発明の一実施形態による端末の概略構成図である。

本発明の実施形態の目的、技術的解決策、および利点をより明瞭にするために、以下では、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決策を明瞭に説明する。明らかに、説明される実施形態は、本発明の実施形態のすべてではなく一部である。創作的労力なしで本発明の実施形態に基づいて当業者が取得する他のすべての実施形態は、本発明の保護範囲に含まれなければならない。

本発明の実施形態において、「第１」及び「第２」などの序数が言及される場合、序数が文脈に従って順序を明示しない限り、区別するためにのみ使用されることを理解すべきである。

本発明の実施形態において言及される端末は、カメラを備えた電子デバイス、例えば、携帯電話、タブレットコンピュータ、ノートブック、ウェアラブルデバイス、又は車載デバイスなどを含む。

[0032] 図１は、カメラの概略構成を示す概略図である。前記カメラは、一般に、レンズコーン１０１、レンズ１０２（ｌｅｎｓ）、カラーフィルタ１０３（カラーフィルタ）、イメージセンサ１０４、及び回路カード１０５を含む。イメージセンサは、前記カメラのコアデバイスであり、イメージセンサは、感光素子とも呼ばれ、前記イメージセンサは、レンズを通過した光を受信し、これらの光信号を電気信号に変換するように構成された装置である。前記カメラの一般的なイメージセンサの２つの主なタイプは、ＣＣＤ（Charge-Coupled Device, 電荷結合素子）とＣＭＯＳ（Complementary Metal Oxide Semiconductor, 相補型ＭＯＳ）センサである。

現在のところ、「カラー分離フィルタ」とも呼ばれるカラーフィルタが主に２つの方法で色を分離する：ＲＧＢ原色の色分離方法と、ＣＭＹＫ補色の色分離方法。カラーフィルタ１０３は、赤外線フィルタであってもよい。回路カード１０５は、プリント基盤（Printed Circuit Board, 略してＰＣＢ）であってもよく、ＰＣＢは、一般に、リジット基盤、フレキシブル基盤、又はリジットフレキシブル基盤に分類され得る。異なるイメージセンサは、異なるタイプのＰＣＢを使用する。例えば、ＣＭＯＳセンサは、ＰＣＢの３つのタイプのいずれか一つを使用でき、ＣＣＤセンサは通常リジットフレキシブル基盤を使用する。

前記カメラの一般的な動作原理は、以下の様である：レンズを用いてシーンを撮影し、生成された光学像がイメージセンサ上に投影され、その後光学像が電気信号に変換され、その後電気信号は、アナログ−デジタル変換後、デジタル信号に変換され、デジタルシグナルプロセッサ(Digital Signal Processor, 略してＤＳＰ)で処理されたのち、デジタル信号は、処理のために携帯電話プロセッサにさらに送信され、最終的に携帯電話スクリーン上に可視画像へと変換される。ＤＳＰは、デジタル信号処理チップと呼ばれることもあり、ＤＳＰの機能は、数学的アルゴリズムに基づく一連の複雑な演算によってデジタル画像信号に対して最適化処理を行うことであり、処理された信号を最終的にディスプレイに送信することである。一般に、ＣＭＯＳセンサ付きカメラにおいて、ＣＭＯＳセンサのＤＳＰチップは、ＣＭＯＳセンサに統合されており、ＤＳＰチップとＣＭＯＳセンサは、外見上１つの実体である。しかし、ＣＣＤセンサを使用するカメラは、２つの独立した部分に分割される：ＣＣＤとＤＳＰ。

現在のところ、ＣＣＤイメージセンサとＣＭＯＳイメージセンサ（又は感光素子と呼ばれる）の大部分は、Bayerと呼ばれるフィルタ配置フォーマットを使用して、画像の三原色(red green blue, RGB)に関する情報を記録する。このパターンは、赤−緑フィルタの間隔列と青−緑フィルタの間隔列が周期的に交互に出現するように配置されることで得られる。したがって、Bayerフォーマットは、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサの最も一般的なデータ出力フォーマットである。

画像ピクセルをBayerフォーマットで配置するための一般に４つのモードがある。図２に示されているように、図２の左上図が、一例として使用される：奇数走査行は、ＲＧＲＧ…を出力し、偶数走査行は、ＧＢＧＢ…を出力する。大面積着色特性によると人間の目による色への応答の帯域幅は広くないことを示しており、各ピクセルは同時に３色を出力する必要がない。したがって、データサンプリング中は以下の方式が使用され得る：奇数走査行の第１、第２、第３、第４、…ピクセルがそれぞれサンプリングされ、Ｒ、Ｇ、Ｒ、Ｇ、…データが出力され、偶数走査行の第１、第２、第３、第４、…ピクセルがそれぞれサンプリングされ、Ｇ、Ｂ、Ｇ、Ｂ、…データが出力される。実際の処理の間、各ピクセルのＲＧＢ信号は、ピクセルにより出力される色の信号と、隣接ピクセルにより出力される別の色の信号とを含んでいる。

Bayerフォーマットでは、フルカラーフォーマットよりも多くの画像伝送帯域と格納スペースを節約できるが、場合によっては、Bayerフォーマットの画像は、画像サイズをさらに削減するためにさらに処理する必要がある。現在のところ、binning（ピクセル結合）処理は、Bayerフォーマットの画像を直接対象とするピクセル結合の処理方法である。

binningは画像読み取り方法である。この方法では、隣接ピクセルが加算され、又は隣接ピクセルを加算した後に平均値が計算され、合計や平均が出力のための新たなピクセルとして使用される。隣接ピクセルが加算され、合計が出力の新たなピクセルとして使用される方式は、sum binning、又はadd binning、又は合計ピクセル結合と呼ばれ、隣接ピクセルが加算されたのちに平均が計算され、平均が出力の新たなピクセルとして使用される方式は、average binning又は平均ピクセル結合と呼ばれる。binningは、水平方向に行ってもよいし、又は垂直方向に行ってもよいし、又は両方向に同時に行ってもよい。これにより、画像サイズを小さくすることができ、画像データ量を少なくすることができる。さらに、複数のピクセルの平均が新たなピクセルの値を表すために使用されるため、画像ノイズを抑制する効果が得られる。複数のピクセルの合計が新たなピクセルの値を表すために使用されるならば、画像サイズを小さくすることができるだけでなく、画像の輝度を上げることもできる。

一般的なbinning方法が図３に示されている。１／２binningを用いたbinning規則が例として示されている。Ｒ、Ｇ、及びＢは、それぞれBayerフォーマットの画像の赤ピクセル、緑ピクセル、及び青ピクセルを表している。図中の上の数字と左の数字は、ピクセルを便利に参照するために、それぞれ水平座標と垂直座標を表している。図３の左側は、イメージセンサで出力されたオリジナルのBayer画像であり、図３の右側は、水平方向と垂直方向に１／２binningされたBayer画像である。binning後に得られる、座標が(0, 0)である赤ピクセルの値は、座標がオリジナル画像の(0, 0), (0, 2), (2, 0), 及び(2, 2)の４つのピクセルの平均と等しく、すなわち、[R(0, 0) + R(0, 2) + R(2, 0) + R(2, 2)] / 4である。これらのピクセル間の対応関係は、円と矢印によりマークされている。同様に、四角でラベルされている緑ピクセル、三角でラベルされている緑ピクセル、又は左側で何もラベルされていない青ピクセルに対するピクセルの平均は、binning後に得られる、右側の画像内で同じラベルであるピクセルの値である。これにより、オリジナル画像内の 4×4 領域でbinning操作した後に 2×2 領域が得られる。

同様に、binning後に得られる、座標が(0, 0)である赤ピクセルの値は、座標がオリジナル画像の(0, 0), (0, 2), (2, 0), 及び(2, 2)の４つのピクセルの合計と等しく、すなわち、[R(0, 0) + R(0, 2) + R(2, 0) + R(2, 2)]である。binning後に得られる緑ピクセル及び青ピクセルも同様の様式により処理され得る。

以下では、水平方向及び垂直方向のbinning規則を説明するための例として、合計ピクセル結合モードを使用する。平均ピクセル結合モードの規則は、合計ピクセル結合モードの規則に類似する。

図４は、水平方向のみの１／２binning操作の概略図を示している。右側の各ピクセルの値は、左側のオリジナル画像における水平方向に隣接する２つのピクセルの合計であり、すなわち、binning後に得られる第１赤ピクセルの値は、[R(0, 0) + R(2, 0)]である。binning後に得られる画像の水平サイズは、オリジナル画像の１／２であり、垂直サイズは、変わらない。

図５は、垂直方向のみの１／２binning操作の概略図を示している。右側の各ピクセルの値は、左側のオリジナル画像における垂直方向に隣接する２つのピクセルの合計であり、すなわち、binning後に得られる第１赤ピクセルの値は、[R(0, 0) + R(0, 2)]である。binning後に得られる画像の垂直サイズは、オリジナル画像の１／２であり、水平サイズは、変わらない。

別の比率でのbinningの規則は、１／２binningのそれと同じであり、唯一の違いは、より多くのピクセルの合計又は平均が計算されることである。具体的には、ある方向の１／ｎbinningに対して、ｎピクセルの合計又は平均が計算され、binning後に得られる画像のその方向におけるサイズは、オリジナルサイズの１／ｎである。

当然、カメラは、ピクチャ又はビデオを撮影するためにピクセル結合モードを使用しなくてもよく、binningが行われないこの撮影モードを標準撮影モードと呼ぶことができる。

［実施例１］
本発明のこの実施形態は、撮影方法を提供し、以下では、カメラ付きのスマートフォンを例として撮影方法を説明する。この方法は、以下のステップを含む：

Ｓ２０１：カメラ起動指示を受信する。前記カメラは、スマートフォンの前面カメラでも背面カメラでもよく、本発明においてこれに限定されない。カメラのターンオン様式のために、前記カメラは、タッチスクリーン上のカメラアイコンをタップすることによりユーザによりオンされても、又は携帯電話のhomeボタンをダブルタップすることによりオンされても、又は携帯電話の音量ボタンをダブルタップすることによりオンされてもよい。

Ｓ２０２：前記受信したカメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューする。プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである。

前記カメラのイメージセンサは、平均ピクセル結合モードと合計ピクセル結合モードなどの少なくとも２つの動作モードをサポートする。本発明は、イメージセンサのbinning(ピクセル結合)様式を限定するものではなく、binning様式は、１／ｎであってもよく、ｎは、２以上の正の整数であり得る。ピクセル結合が行われる場合の各ピクセルの重みは、本発明において限定されない。

前記カメラでキャプチャされたプレビュー画像を平均ピクセル結合モードでプレビューする場合、前記プレビュー画像の画像データの量が減少する。これにより、画像のプレビュー速度を向上させることができるだけでなく、画像ノイズも低減することができる。

Ｓ３０２：前記プレビュー画像内の少なくとも１つのピクセルの輝度が、プリセット条件より小さいことが検出された場合に前記プレビュー画像を撮影する。前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである。

前記プレビュー画像の各ピクセルは、対応する輝度を有し、その輝度は、色相とは関連しない。同じ輝度に対し、色相は赤であっても、又は緑であってもよい。ピクセルの輝度値は、０から２５５であり、輝度値が２５５に近いピクセルの輝度は、相対的に高く、値が０に近い輝度は相対的に低い。

前記プレビュー画像内の少なくとも１つのピクセルの輝度の分析により、撮影環境が低照度のシナリオであることが検出され、前記カメラのイメージセンサが合計ピクセル結合モードの前記プレビュー画像を撮影する。撮影環境の輝度が３０ルクス（ｌｕｘ）未満であるシナリオは、低照度シナリオであるとみなされ得る。例えば、映画館、パブ、又はＫＴＶなどの撮影シナリオは、低照度シナリオであるとみなされ得る。他の補助装置がないならば、これらのシナリオにおいて撮影が行われる場合には、光量が極めて少なく、カメラへの入射光量が少ないため、鮮明な人物写真は撮影できない。しかし、合計ピクセル結合モードで撮影が行われる場合には、複数のピクセルの合計が新たなピクセルの値を表すために使用されるため、撮影される画像の輝度が増加し、低照度シナリオにおける撮影効果を向上させることができる。１／２binningモードが例として使用される。新たなピクセルの値は、４つのオリジナルのピクセルの合計であり、信号値は、およそ４倍に増加する。したがって、低照度での撮影ができないという問題を解消することができる。

必要に応じて、前記プレビュー画像内の少なくとも１つのピクセルの輝度の分析により、撮影環境が低照度のシナリオであることを検出することは、以下の様式により実施され得る：前記プレビュー画像内のピクセルの平均輝度が所与のしきい値未満であるならば、撮影環境は、低照度シナリオとみなされる。プリセット条件は、しきい値であっても、範囲であってもよい。

必要に応じて、前記プレビュー画像を撮影することは、具体的には、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得することである。前記カメラは、静止画像を撮影してもよいし、又は動画を撮影してもよいし、又は静止画像と動画を混在して撮影してもよい。

必要に応じて、端末は、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行し、これにより、撮影される画像がユーザの期待に合致する。

例えば、ユーザは、前面カメラを使用して自画像を撮影し、光が比較的少ない場合には、合計ピクセル結合モードで撮影することにより、比較的明るい顔画像を取得することができる。画像に美容処理を施すこと、すなわち、ホワイトニング、アイ・ブライトニング、または顔のスリミングなどの操作を行うことで、ユーザが期待する自画像を得ることができる。

必要に応じて、低照度では、合計ピクセル結合モードでの撮影を、夜景モードと呼んでもよい。イメージセンサの動作モードが平均ピクセル結合モードから合計ピクセル結合モードに切り替えられた場合には、前記撮影モードが切り替えられたことをユーザに知らせることができる。また、撮影環境が低照度環境であることが検出された場合には、ユーザに、前記撮影モードを平均ピクセル結合モードから合計ピクセル結合モードに手動で切り替えるように促すことができる。

本発明のこの実施形態で提供される撮影方法において、撮影環境が低照度環境であることが検出される場合には、撮影される画像の輝度は、合計ピクセル結合モードで撮影することにより高めることができ、低照度での撮影ができないという問題を解消することができる。

本発明のこの実施形態は、別の撮影方法を提供する。撮影環境が低照度のシナリオであるかどうかを決定することは、イメージセンサのＩＳＯを検出することにより実施され、他の撮影ステップは、実施形態で説明した前述の撮影方法と同様である。前記カメラによりキャプチャされるプレビュー画像は、イメージセンサのがプリセット値より大きいことが検出される場合に撮影され、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、前記合計ピクセル結合モードである。

前記ＩＳＯ感光度については、露出値が同じ場合には、絞り値が変化しないならば、より高いＩＳＯ感光度が選択された場合、同じ露出がより高いシャッタースピードで得られ得る。逆に、シャッタースピードが変化しないならば、正しい露出がより小さい絞りを用いて常に得られ得る。したがって、低照度で撮影が行われる場合には、比較的高いＩＳＯ感光度を通常選択し得る。一般に携帯電話のＩＳＯ値は、２００から１６００である。ＩＳＯのプリセット値は、８００に設定されても、又は１０００に設定されてもよい。

［実施例２］
図６は、本発明の一実施形態による端末３０１の概略構成図である。端末３０１は、プロセッサ３０４、ディスプレイ３０３、及びカメラ３０２を含む。端末３０１は、実施例１の方法を実行し得る。以下では、例として端末３０１がスマートフォンであるとして本発明のこの実施形態を説明する。

前記カメラ３０２のイメージセンサは、平均ピクセル結合モードと合計ピクセル結合モードなどの少なくとも２つの動作モードをサポートする。本発明は、イメージセンサのbinning(ピクセル結合)様式を限定するものではなく、binning様式は、１／ｎであってもよく、ｎは、２以上の正の整数であり得る。ピクセル結合が行われる場合の各ピクセルの重みは、本発明において限定されない。

ユーザは、タッチスクリーン上のカメラアイコンをタップすることによりオンしても、又は携帯電話のhomeボタンをダブルタップすることによりオンしても、又は携帯電話の音量ボタンをダブルタップすることによりカメラをオンしてもよい。

前記カメラがターンオンされた後、前記ディスプレイは、前記カメラにより収集されたプレビュー画像をプレビューするように構成され、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである。

携帯電話のディスプレイは、スクリーンとも呼ばれる。スクリーンタイプは、主にＯｎ−Ｃｅｌｌタイプ、ｉｎ−Ｃｅｌｌタイプ、及びＯＧＳ(One Glass Solution)タイプ／ＴＯＬ(Touch on Lens)タイプである。ｉｎ−Ｃｅｌｌは、タッチ機能が液晶スクリーンの液晶ピクセルに埋め込まれています。Ｏｎ−Ｃｅｌｌは、タッチスクリーンを、カラーフィルタ基盤とスクリーンの偏光板との間に埋め込む方法であり、すなわち、タッチセンサは、液晶パネル上に構成される。ＯＧＳ技術／ＴＯＬ技術は、タッチスクリーンをカバーガラスと統合し、カバーガラスの内側にＩＴＯ(Indium Tin Oxide, インジウムスズ酸化物)フィルムの導電層をメッキし、直接にカバーガラス上でフィルムコーティングとフォトエッチングを行うものである。

プロセッサは、前記プレビューステートにおける前記プレビュー画像内の少なくとも１つのピクセルの輝度を分析するように構成される。プロセッサは、シングルコアプロセッサであっても、マルチコアプロセッサであってもよい。

前記カメラは、前記プレビュー画像内の少なくとも１つのピクセルの輝度がプリセット条件よりも小さいことをプロセッサが判定した場合に、前記プレビュー画像を撮影するように構成されており、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、前記合計ピクセル結合モードである。

プレビューステートにおける前記プレビュー画像内の少なくとも１つのピクセルの輝度を分析するための方法と、プリセット条件を判定するための方法は実施例１のソリューションのそれらと同様である。

必要に応じて、前記カメラが前記プレビュー画像を撮影するように構成されていることは、具体的には、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得するように構成されていることである。前記カメラは、静止画像を撮影するように構成してもよいし、又は動画を撮影するように構成してもよいし、又は静止画像と動画を混在して撮影するように構成してもよい。

必要に応じて、プロセッサは、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するようにさらに構成される。前記端末は、撮影される画像がユーザの期待に合致するように、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行する。ホワイトニング、ノイズ除去、アイ・ブライトニング、及び顔のスリミングは、従来技術で一般に使用されている美容アルゴリズムであってよく、詳細はここでは説明しない。

必要に応じて、低照度では、合計ピクセル結合モードでの撮影を、夜景モードと呼んでもよい。イメージセンサの動作モードが平均ピクセル結合モードから合計ピクセル結合モードに切り替えられた場合には、前記撮影モードが切り替えられたことをユーザに知らせることができる。ユーザに知らせるための様式は、ユーザにリマインドするために、ディスプレイ上のユーザインターフェース(User Interface, 略してUI)を使用する様式であってよい。また、撮影環境が低照度環境であることが検出された場合には、ユーザに、前記撮影モードを平均ピクセル結合モードから合計ピクセル結合モードに手動で切り替えるように促すことができる。場合によっては、前記ユーザインターフェースは、直接、ＵＩ又はＵＩインターフェースとも呼ばれる。

本発明のこの実施形態において提供される端末によれば、プロセッサが、前記プレビュー画像内の少なくとも１つのピクセルの輝度がプリセット条件よりも小さいことを判定した場合に、イメージセンサの動作モードは、合計ピクセル結合モードに切り替えられる。このモードでの画像撮影では、撮影される画像の輝度を高めることができ、低照度での撮影ができないという問題を解消することができる。

本発明のこの実施形態で提供される別の端末において、前記端末のプロセッサは、前記プレビューステートで、イメージセンサのＩＳＯ感光度を検出するように構成されている。前記端末のカメラは、前記プロセッサが、前記イメージセンサのＩＳＯ感光度がプリセット値よりも大きいと判定した場合に、前記プレビュー画像を撮影するように構成されており、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである。前記端末は、実施例１における撮影方法を実行し、ＩＳＯ感光度を使用して撮影を行い撮影環境を判定する。

前記ＩＳＯ感光度のプリセット値の選択は、実施例１の説明と同様である。

［実施例３］
本発明のこの実施形態は、撮影装置を提供し、撮影装置は、実施例１で説明された撮影方法を実行できる。

装置は、以下を含む：カメラ起動指示を受信するように構成された受信ユニットと、前記受信ユニットにより受信された前記カメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするように構成されたプレビューユニットであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、プレビューユニットと、前記プレビュー画像内の少なくとも１つのピクセルの輝度が、プリセット条件より小さいことを検出した場合に、前記プレビュー画像を撮影するように構成されている撮影ユニットであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、撮影ユニット。

本発明のこの実施形態は、1つまたは複数のプログラムを格納するコンピュータ可読記憶媒体をさらに提供し、１つまたは複数のプログラムは、命令を含み、ディスプレイと複数のアプリケーションを備えたポータブル電子デバイスにより実行される場合には、命令は、ポータブル電子デバイスが、実施例１で説明された撮影方法を実行することを可能にする。

最後に、前述の実施形態が、単に、本発明の技術的解決策の例を説明するためのものであって、本発明を限定するためのものではないことに留意されたい。本発明と本発明の利点が、前述の実施形態を参照して詳細に説明されたが、当業者は、本発明の実施形態の技術的解決策の範囲から逸脱せずに、彼らが前述の実施形態において説明された技術的解決策に対する変更を行い、あるいは、技術的解決策のいくつかのまたはすべての技術的特徴に対する同等の置換を行うことができることを理解するに違いない。

３０２ カメラ
３０３ ディスプレイ
３０４ プロセッサ

Claims (14)

1. 撮影方法であって、前記方法は、
   カメラ起動指示を受信するステップと、
   前記受信したカメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするステップであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、ステップと、
   前記プレビュー画像内の少なくとも１つのピクセルの輝度が、プリセット条件より小さいことを検出する場合に、前記プレビュー画像を撮影するステップであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、ステップと、
   を具備することを特徴とする撮影方法。
2. 前記プレビュー画像を撮影する前記ステップは、具体的には、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得するステップであることを特徴とする請求項１に記載の方法。
3. 前記プレビュー画像を撮影する前記ステップの後に、前記方法は、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するステップをさらに具備することを特徴とする請求項２に記載の方法。
4. 前記プレビュー画像を撮影する前記ステップの後に、前記方法は、前記カメラのイメージセンサの動作モードを前記平均ピクセル結合モードに切り替えるステップをさらに具備することを特徴とする請求項１から３のいずれか一項に記載の方法。
5. 端末であって、前記端末は、プロセッサ、ディスプレイ、及びカメラを具備し、前記カメラのイメージセンサ動作モードは、平均ピクセル結合モードと、合計ピクセル結合モードを具備し、
   受信したカメラ起動指示に基づいて、前記ディスプレイは、前記カメラにより収集されたプレビュー画像をプレビューするように構成され、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、前記平均ピクセル結合モードであり、
   前記プロセッサは、前記プレビューステートにおける前記プレビュー画像内の少なくとも１つのピクセルの輝度を分析するように構成され、
   前記カメラは、前記プロセッサが、前記プレビュー画像内の少なくとも１つのピクセルの輝度がプリセット条件よりも小さいことを判定する場合に、前記プレビュー画像を撮影するように構成されており、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、前記合計ピクセル結合モードである
   ことを特徴とする端末。
6. 前記カメラが前記プレビュー画像を撮影するように構成されていることは、具体的には、前記カメラが、前記プレビュー画像を撮影してピクチャ又はビデオの少なくとも１つを取得するように構成されていることである、
   ことを特徴とする請求項５に記載の端末。
7. 前記プロセッサは、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するようにさらに構成されていることを特徴とする請求項６に記載の端末。
8. 撮影装置であって、前記装置は、
   カメラ起動指示を受信するように構成された受信ユニットと、
   前記受信ユニットにより受信された前記カメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするように構成されたプレビューユニットであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、プレビューユニットと、
   前記プレビュー画像内の少なくとも１つのピクセルの輝度が、プリセット条件より小さいことを検出する場合に、前記プレビュー画像を撮影するように構成された撮影ユニットであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、撮影ユニットと、
   を具備することを特徴とする撮影装置。
9. 撮影ユニットは、前記プレビュー画像を撮影して、ピクチャ又はビデオの少なくとも１つを取得するように特に構成されていることを特徴とする請求項８に記載の装置。
10. 前記装置は、処理ユニットをさらに具備し、前記処理ユニットは、撮影される画像上でホワイトニング、ノイズ除去、アイ・ブライトニング、または顔のスリミングのうちの少なくとも１つを実行するように構成されている
    ことを特徴とする請求項９に記載の装置。
11. 前記装置は、切り替えユニットをさらに具備し、前記切り替えユニットは、前記カメラのイメージセンサの動作モードを前記平均ピクセル結合モードに切り替えるように構成されていることを特徴とする請求項８から１０のいずれか一項に記載の装置。
12. 撮影方法であって、前記方法は、
    カメラ起動指示を受信するステップと、
    前記受信したカメラ起動指示に基づいて、前記カメラにより収集されたプレビュー画像をプレビューするステップであって、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、平均ピクセル結合モードである、ステップと、
    前記イメージセンサのＩＳＯ感光度がプリセット値よりも大きいことを検出した場合に、前記プレビュー画像を撮影するステップであって、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、合計ピクセル結合モードである、ステップと、
    を具備することを特徴とする撮影方法。
13. 端末であって、前記端末は、プロセッサ、ディスプレイ、及びカメラを具備し、前記カメラのイメージセンサ動作モードは、平均ピクセル結合モードと、合計ピクセル結合モードを具備し、
    受信したカメラ起動指示に基づいて、前記ディスプレイは、前記カメラにより収集されたプレビュー画像をプレビューするように構成され、プレビューステートにおいて、前記カメラのイメージセンサの動作モードは、前記平均ピクセル結合モードであり、
    前記プロセッサは、前記プレビューステートの前記イメージセンサのＩＳＯ感光度を検出するように構成され、
    前記カメラは、前記プロセッサが、前記イメージセンサのＩＳＯ感光度がプリセット値よりも大きいと判定した場合に、前記プレビュー画像を撮影するように構成され、前記プレビュー画像が撮影されているときには、前記カメラのイメージセンサの動作モードは、前記合計ピクセル結合モードである
    ことを特徴とする端末。
14. １つ又は複数のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ又は複数のプログラムは、命令を具備し、ディスプレイ及び複数のアプリケーションを備えたポータブル電子デバイスにより実行される場合に、前記命令は、前記ポータブル電子デバイスが、請求項１から４、又は請求項１２のいずれか一項に記載の方法を実行することを可能にすることを特徴とするコンピュータ可読記憶媒体。

Images