JP5739001B2 - 対象領域抽出 - Google Patents

対象領域抽出 Download PDF

Info

Publication number
JP5739001B2
JP5739001B2 JP2013536749A JP2013536749A JP5739001B2 JP 5739001 B2 JP5739001 B2 JP 5739001B2 JP 2013536749 A JP2013536749 A JP 2013536749A JP 2013536749 A JP2013536749 A JP 2013536749A JP 5739001 B2 JP5739001 B2 JP 5739001B2
Authority
JP
Japan
Prior art keywords
image
region
capture
capturing
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013536749A
Other languages
English (en)
Other versions
JP2013541307A (ja
Inventor
ベラード、ルベン・エム.
オズボーン、トーマス・ダブリュ.
フング、スゼポ・ロバート
ワン、ハイイン
リャン、リャン
ノイェス、イング・エックス.
アトゥレロ、エドワード・ジー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013541307A publication Critical patent/JP2013541307A/ja
Application granted granted Critical
Publication of JP5739001B2 publication Critical patent/JP5739001B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

この開示は、イメージキャプチャ機器に、及び、特にイメージキャプチャ機器のキャリブレーションのための技術に関連する。
デジタルビデオカメラ又はデジタルスチールカメラのような、イメージキャプチャ機器は、異なる応用及び環境において使用される。イメージキャプチャ機器は、様々な照明状況の下で高いクオリティのイメージを生成することが可能であるべきである。たとえば、イメージキャプチャ機器は、高いレベルのコントラストを含む環境においてはもちろん、多くの反射され又は飽和される光を含むにおいて効果的に動作することが可能であるべきである。典型的なイメージキャプチャ機器は、シーンのためある目標明度を達成する露出値(EV)を選択するため自動露出を実行する。たとえば、イメージキャプチャ機器は、おおよそ18%グレイと同等な平均明度値を持つシーンのフレームを生成するEVを選択し得る。
自動露出は、選択されるEVに相当するためにイメージキャプチャ機器の口径サイズ、シャッタースピード及びセンサゲインを調整し得る。この方法において、自動露出は、目標明度でシーンのイメージフレームを生成するためイメージキャプチャ機器内でセンサアレイを達成する光の量を制御する。しかしながら、いくつかのセンサは、より高い平均明度値を要求し得、他方他のセンサは、より低い平均明度値を要求し得る。たとえば、雪のシーンは、イメージフレームが不自然に暗く見える原因となる多くの反射される光を含み、なぜなら、自動露出は、過補償し得るからである。他方、ブラックラップトップの隣の白いドキュメントを含むシーンは、白いドキュメントがイメージフレームにおいて高い飽和状態とみえる原因となる高いコントラストレベルを含み、なぜなら、自動露出はまた、過補償し得るからである。
露出補償は、デジタルスチールカメラにおいて共通であるが、またデジタルビデオカメラ及び他のタイプのイメージキャプチャ機器において利用され得る。いくつかのカメラは、適切な露出を決定するため仮に選択されるエリア又はシーンセクションに関して自動露出を実行するように構成され得る。しかしながら、そのようなアプローチは、適切な対象領域を特定し得ないこともある。したがって、いくつかの事例において、たとえば、従来の自動露出は、間違った対象領域が特定され又はシーンが逆光となるエラーに遭遇し得る。逆光被写体は、自動露出処理が被写体のための露光を不適当にセットする原因となる。
一般に、この開示は、デジタルイメージングのため対象領域を抽出するための技術を記述する。1つの例において、カメラは、フラッシュを用いずに第1イメージを、フラッシュを使用する間に第2イメージをキャプチャし、そのとき対象領域を決定するため第1イメージと第2イメージとを比較する。あるいはまた、第1及び第2イメージは、フラッシュをしかし異なるパワーレベルで使用している間に、キャプチャされてもよい。フラッシュは、カメラから遠い被写体を照らすことなく、カメラから比較的近い被写体を照らす。一般的に、対象領域は、カメラに比較的近い被写体を含む。したがって、比較は、対象領域内に所属するような第1イメージ内よりも第2イメージ内においてより照らされる被写体を特定し得る。
1つの例において、方法は、制御される光源が第1パワーレベルである間にシーンの第1イメージをイメージキャプチャでキャプチャすることと、制御される第2パワーレベルが第1パワーレベルよりも高い第2パワーレベルである間にシーンの第2イメージをイメージキャプチャでキャプチャすることと、第1イメージにおける複数の領域と第2イメージにおける結び付けられる複数の領域との間の輝度差を計算することと、対象領域が、輝度差が閾値を超えるそれらの領域を含むことを決定することと、を含む。
他の例において、装置は、制御される光源と、イメージをキャプチャするように構成されるイメージセンサと、制御される光源が第1パワーレベルである間にシーンの第1イメージをキャプチャするように、制御される光源が第1パワーレベルよりも高い第2パワーレベルである間にシーンの第2イメージをキャプチャするように、第1イメージにおける複数の領域と第2イメージにおける結び付けられる複数の領域との輝度差を計算するように、及び、対象領域が、輝度差が閾値を超えるそれらの領域を含むことを決定するように構成される処理部とを含む。
他の例において、装置は、制御可能な照明を供給する手段と、制御可能な照明を供給する手段が第1パワーレベルである間にシーンの第1イメージをキャプチャする手段と、制御可能な照明を供給する手段が第1パワーレベルよりも高い第2パワーレベルである間にシーンの第2イメージをキャプチャする手段と、第1イメージにおける複数の領域と第2イメージにおける結び付けられる複数の領域との間の輝度差を計算する手段と、対象領域が、輝度差が閾値を超えるそれらの領域を含むことを決定する手段と、を含む。
他の例において、コンピュータ可読記録媒体のようなコンピュータ可読媒体は、プログラマブルプロセッサに、イメージセンサに、制御される光源が第1パワーレベルである間にソーンの第1イメージをキャプチャさせ、イメージセンサに、制御される光源が第1パワーレベルよりも高い第2パワーレベルである間にシーンの第2イメージをキャプチャさせ、第1イメージにおける複数の領域と第2イメージにおける結び付けられる複数の領域との間の輝度差を計算させ、及び、対象領域が、輝度差が閾値を超えるそれらの領域を含むことを決定させる命令を含み、たとえば、でエンコードされる。
1つ又はそれ以上の例の詳細は、添付する図及び以下の記述において列挙される。他の特徴、物及び利点は、記述並びに図から、及び請求項から明らかになるだろう。
図1は、シーンにおいて対象領域を自動的に探知するように構成される例示のイメージキャプチャ機器を示すブロック図である。 図2は、領域のいずれが対象領域において含まれるべきであるか決定するため相当する領域内へ分割されている2つのイメージを示す概念図である。 図3は、決定される対象領域に基づいて自動的に構成されるセッティングを使用してシーンのイメージをキャプチャする例示の手段を示すフローチャートである。 図4は、シーンの対象領域を自動的に決定する例示の手段を示すフローチャートである。 図5は、シーンの2つのイメージのセットの複数の対象領域のそれぞれに関する輝度値を計算し、及び、2つのイメージの領域に関する輝度値間の最大差を決定する例示の手段を示すフローチャートである。 図6は、複数の領域のいずれが対象領域の一部として含まれるべきであるか決定するため複数の領域のそれぞれに関する輝度差値を使用する例示の手段を示すフローチャートである。 図7は、対象領域を自動的に決定するように構成される例示の無線通信機器を示すブロック図である。
詳細な説明
この開示は、カメラによってキャプチャされるイメージにおいてシーンの対象領域を自動的に決定するための技術を一般に記述する。カメラは、様々な法帆において決定される対象領域を使用するように構成され得る。たとえば、カメラは、決定される対象領域に基づいて自動露出、オートホワイトバランス、オートフォーカス又は他の自動的な構成を実行するように構成され得る。
この開示の技術は、カメラフラッシュがイメージの背景を照らすことなく、イメージの前景被写体を一般的に照らすことを認識する。これらの技術はまた、最も近い被写体が普通はシーンにおいてメイン対象領域の良い推定であることを認識する。したがって、この開示の技術は、制御される光源が第1パワーレベルである、たとえば動作されない(ゼロパワーである)間にシーンの第1イメージをキャプチャすることと、制御される光源が第1パワーレベルよりも高い第2パワーレベルである(最大パワーで動作される)間にシーンの第2イメージをキャプチャすることと、を含み得る。2つのイメージをキャプチャした後に、技術は、第1イメージにおける複数の領域と第2イメージにおける結び付けられる複数の領域との間の輝度差を計算することと、対象領域が、輝度差が閾値を超えるそれらの領域であると決定することと、をさらに含み得る。この方法において、これらの技術は、カメラセッティングを自動的に構成するためにパワー制御される光源、たとえば、カメラフラッシュ、及び、空間の反射率差情報を使用することによって最もありそうな対象領域を検知する。
制御される光源は、背景よりも前景で被写体を一般に照らし得る。同様に、前景被写体は、対象領域において含まれることが一般的に望まれる。したがって、上に記述される処理は、第1イメージにおいてよりも第2イメージにおいてより照らされる領域の特定を結果として生じ、ここで、それは、イメージの前景被写体を含む領域に一般に相当し得る。特定される領域は、デジタルカメラ、携帯電話のようなモバイル通信機器において含まれるカメラ、ビデオカメラのためのスチールカメラモード、又は他のイメージキャプチャ機器のような、イメージキャプチャ機器のセッティングを自動的に構成するために使用され得る。一般に、自動露出、オートホワイトバランス、及びオートフォーカスのような、自動的な構成セッティングは、上に記述される処理を使用して決定される態様領域のような、対象領域に基づいて実行され得る。
図1は、対象領域を自動的に検知するように構成される例示のイメージキャプチャ機器10を示すブロック図である。図1の例において、イメージキャプチャ機器10は、センサアレイ12、イメージキャプチャコントローラ14、イメージプロセッサ16、自動セッティングユニット18、イメージストレージ20、及び光源22を含む。自動セッティングユニット18は、対象領域検知部24及び閾値ストレージ26をさらに含む。図1において示されるイメージキャプチャ機器10において含まれるコンポーネントは、ハードウェア及び/又はソフトウェアの任意の適切な組み合わせによって実現され得る。示される例において、コンポーネントは、分離したユニットとして描かれる。しかしながら、他の例において、任意のコンポーネントは、共通のハードウェア及び/又はソフトウェア内で組み合わされるユニットに包含され得る。
イメージキャプチャ機器10は、デジタルビデオカメラ、デジタルスチールカメラ又は両者の組み合わせのような、デジタルカメラであり得る。加えて、イメージキャプチャ機器10は、スタンドアローンカメラのような、スタンドアローン機器であり、又は、無線通信機器のような、他の機器に包含され得る。例として、イメージキャプチャ機器10は、いわゆるカメラフォン又はビデオフォンを形成するためモバイル電話において包含され得る。イメージキャプチャ機器10は、カラーイメージ、白黒イメージ、又は両者をキャプチャするためにできれば備えられる。この開示において、「イメージ(image)」、「イメージ(imagery)」、「イメージ情報(image information)」という用語又は同様の用語は、ビデオ又はスチールピクチャの何れかを交換可能に示し得る。同様に、フレームという用語は、イメージキャプチャ機器10によって得られるビデオフレーム又はスチールピクチャの何れかを示し得る。
センサアレイ12は、シーンのイメージフレームをキャプチャする前にシーンから光情報を得る。センサアレイ12は、たとえば、行及び列において取り決められる、個々のイメージセンサの2次元アレイを含む。たとえば、センサアレイ12は、相補型金属酸化膜半導体(CMOS)センサのような固定状態センサのアレイから構成され得る。センサアレイ12内のイメージセンサは、シーンから光情報を得るためにシーンへ露光され、及び、シーンのイメージフレームをキャプチャする。
光源22は、イメージをキャプチャする場合にシーンの前景を照らすことができる任意の光源に相当し得る。たとえば、光源22は、発光ダイオード(LED)のストロボフラッシュ又はアレイのような内部光源を含み得る。一般に、光源22は、前景被写体から反射される光における変化を生じさせるのに十分な強度の制御可能な任意の光源から構成される。いくつかの例において、イメージキャプチャ機器10は、シーンを照らすため、アンブレラライトのような外部光源をインターフェースで連動し得る。一般に、シーンが光源22によって照らされるべき場合に、イメージキャプチャコントローラ14が、光源に、センサアレイ12がイメージのキャプチャを開始する同一の時間に照らさせるように、イメージキャプチャコントローラ14は、センサアレイ12と協力して光源22を制御する。一般に、イメージキャプチャ機器10に比較的近い被写体は、比較的遠い被写体よりも、フラッシュイメージとノンフラッシュイメージとの間で、反射される光におけるより大きな差異を持つだろう。
鏡又は他の光沢のある被写体のような、背景における非常に光を反射する表面は、前景における被写体よりも輝度値におけるより大きな差異を生成し得る。これに関して補償するため、いくつかの例において、3つ又はそれ以上のイメージは、光源22への様々なパワーレベルによってキャプチャされ得る。たとえば、第1イメージは、光源22への0%パワーでキャプチャされ得、第2イメージは、光源への50%パワーでキャプチャされ得、及び、第3イメージは、光源への100%パワーでキャプチャされ得る。たとえば、第1及び第2イメージ間の差異は、候補領域の予備的なセットを結果として生じ得、及び、第2及び第3イメージの差異は、鏡又は他の光沢のある表面によって生じさせられる鏡面反射におそらく相当する領域を推定するために計算され得る。他の例として、第1イメージは、比較的低いパワーレベルで光源22を用いてキャプチャされ得、及び、第2イメージは、比較的高いパワーレベルで光源22を用いてキャプチャされ得る。この方法において、カメラに比較的近い被写体を含む領域は、輝度における大きな差異を生じ得るが、各イメージにおいて暗い又は各イメージにおいて明るい背景における領域は、かなり低い差異を結果として生じ得るので、そのような領域は、ROIから排除され得る。
イメージキャプチャコントローラ14は、自動セッティングユニット18によって構成されているセッティングのような、設定セッティングに基づいて、口径サイズ、シャッタスピード、センサゲイン及びイメージをキャプチャする時のような、セッティングを制御する。イメージキャプチャコントローラ14は、利用者からの命令を受信するため、任意の又はすべてのボタン、ダイアル、スイッチ又はタッチスクリーンのような、ユーザインターフェースをさらに備え得る。たとえば、イメージキャプチャコントローラ14は、イメージキャプチャ機器10にイメージをキャプチャさせるボタンを含み得る。他の例として、イメージキャプチャコントローラ14は、イメージをズームするためのユーザインターフェースを含み得る。イメージキャプチャコントローラ14はまた、口径、カメラシャッタスピード、及びセンサゲインに関する手動のセッティングを受けるためのユーザインターフェースを備え得る。この方法においてカメラセッティングは、自動的に又は手動で制御され得る。図1の例において、自動セッティングユニット18は、セッティングの自動設定を実行するために構成される。自動セッティングユニット18は、この開示の技術を実行するために設定される処理部の例である。
自動セッティングユニット18は、オートフォーカス(AF)、自動露出(AE)及びオートホワイトバランス(AWB)のような、予備的ビジュアルフロントエンド(VFE)処理のためセンサアレイ12によってキャプチャされる光情報を利用する。たとえば、自動セッティングユニット18は、シーンの対象領域のためデフォルトの目標明度を達成する露出値(EV)を選択するためセンサアレイ12からの光情報に基づいて自動露出を実行する。選択されるEVは、センサアレイ12へ到達するシーンからの光の量を制御するため口径サイズ、シャッタスピード並びに/若しくはセンサゲインを、センサアレイ12がシーンからの光へ露出される時間の量を制御するためにシャッタスピードを、及び、センサアレイ12へ到達する光の増幅を供給するためセンサゲインを定義する。たとえば、典型的なデフォルトの目標明度は、おおよそ18%グレイである。たとえば、白っぽいシーン又は暗い被写体のイメージがキャプチャされる場合、ある環境は、18%グレイと異なる目標明度を要求し得る。様々な試行錯誤法及び/又はアルゴリズムは、イメージに関する目標明度又は輝度目標を決定するために使用され得る。
この開示において記述される対象領域を決定するための技術は、様々な利用に適用され得る。たとえば、対象領域は、対象領域へ露出を適用させることによって近い被写体の露出過度を減少させるため光源露出を推定するために使用され得る。光源22が最終イメージのためパワーオンされる場合、イメージキャプチャ機器10はまた、対象領域に関するホワイトバランスゲイン調整をするために構成され得る。イメージキャプチャ機器10はまた、対象領域に自動的にフォーカスするように構成され得、したがって、最も近い被写体へフォーカスする。対象領域はまた、逆光状態において自動露出を調整するために使用され得る。他の例として、イメージキャプチャ機器10は、自動露出及び光源22の制御を使用して不十分に照らされる被写体をぴったりと詰めるように構成され得る。
この方法において、イメージキャプチャ機器10は、背景が暗くイメージキャプチャ機器から遠い暗いシチュエーションにおいて近い被写体の露出過度を妨げることはもちろん、対象領域が飽和され又はがっかりした(即ち、露出過度となる)ことになることを妨げるために光源22を制御し得る。また他の例として、イメージキャプチャ機器10は、対象領域のみに関連する自動露出を実行するために構成され得る。最も近い被写体を決定することによって、対象領域が背景よりも低い周波数コンテンツを含む場合でさえ、オートフォーカスプロシーシャは、対象領域へフォーカスするように構成され得る。同様に、オートフォーカスは、イメージの中心よりもむしろ、対象領域へ向けられ得る。
特に、イメージキャプチャコントローラ14がイメージがキャプチャされるべきである指示を受信した場合、自動セッティングユニット18は、イメージキャプチャ機器10に、イメージキャプチャコントローラ14のためセッティングを設定させる。たとえば、ユーザがイメージキャプチャボタンを押す場合、イメージキャプチャコントローラ14は、光源22を動作させることなく第1イメージをキャプチャするためにセンサアレイ12を動作させる。そのとき、第1イメージがキャプチャされる後に、イメージキャプチャコントローラ14は、光源22を活動させる間に第2イメージをキャプチャするためにセンサアレイ12を動作させる。一般に、第1イメージと第2イメージとの間の時間は、イメージをキャプチャするために使用されるセンサのタイプ、光源22、及び、イメージキャプチャ機器10のフレームレート並びに/若しくはシャッタスピードに依存する。イメージプロセッサ16は、センサアレイ12からイメージを受信し、及び、イメージ蓄積20にそれらを格納する。対象領域探知部24は、2つのイメージを使用して対象領域を決定し、自動セッティングユニット18は、対象領域に基づいてカメラセッティングを設定する。そのとき、イメージキャプチャコントローラ14は、最初の2つのイメージから決定される対処領域に基づいて設定されたセッティングを使用して第3イメージをキャプチャする。イメージキャプチャコントローラ14は、自動又は手動設定セッティングのいずれかに基づいて、第3イメージを取る間に光源22を活動させ得、又は、光源22を動作させないと決定し得る。
対象領域を決定するため、対象領域探知部24は、複数の領域へ2つのイメージのそれぞれを分割し、ここで、第1イメージの各領域は、第2イメージの結び付けられる領域に相当する。対象領域探知部24は、第1イメージおける領域に関する輝度値と第2領域における結び付けられる領域に関する輝度値との差異を計算することによって各領域に関する輝度差を計算する。
領域に関する輝度値は、領域におけるすべての輝度ピクセルに関する合計輝度値から構成され得る。一般に、デジタルイメージは、各ピクセルに関連する3つの値:色を表現する色彩値(Cb及びCr)及び彩度を表現する輝度値(Y又は輝度)によって表現され得る。他の例は、レッド−グリーン−ブルー(red-green-blue)(RGB)、色相飽和値(hue-saturation-value)(HSV)、又は彩度の情報を供給することができる任意の他の色空間のような、他の色空間を使用し得る。対象領域探知部24は、領域に関する輝度値を生成するため領域における全ての輝度ピクセルの値を加算し得る。他の例において、対象領域探知部24は、領域における輝度ピクセルに関する平均値を計算することによって領域に関する輝度値を計算する。任意の事例において、対象領域探知部24は、第1イメージの各領域と第2イメージの各結び付けられる領域とに関する輝度値を計算し、そのとき輝度差値のセットを生成するため結び付けられる領域の各ペア間の差異を計算する。
領域が対象領域内に含まれるべきであるか決定するため、対象領域探知部24は、領域に関する輝度差値を閾値ストレージ26において格納される閾値と比較する。いくつかの例において、閾値は、仮に設定される。他の例において、対象領域探知部24は、バイアス値によってオフセットされる、最大輝度差値としてイメージに関する閾値を計算する。バイアス値は、最大輝度値のパーセンテージ、たとえば、50パーセント、から構成され得、又は、固定値から構成され得る。バイアス値がパーセンテージの値、つまり、0と1との間の有理数、から構成される場合、対象領域探知部24は、バイアス値によって最大輝度値を増幅することによって閾値を計算し得る。一方、バイアス値が固定値から構成される場合、対象領域探知部24は、最大輝度値からバイアス値を引くことで閾値を計算し得る。いくつかの例において、バイアス値はまた、閾値ストレージ26において格納され得、及び、仮に設定される値から構成され得、又は、利用者は、バイアス値を修正し得る。閾値ストレージ26は、そのような値を格納するための任意の適切なコンピュータ可読記録媒体、たとえば、フラッシュメモリ、から構成され得る。
対象領域探知部24は、そのとき、どの領域が対象領域において含まれるべきであるかを決定し得る。1つの例において、対象領域探知部24は、対象域における閾値よりも大きな輝度差値を持つ各領域を含む。対象領域は、イメージの領域の任意のサブセットから構成され得、及び、対象領域における領域は、隣接する必要はない。対象領域を決定した後、自動セッティングユニット18は、対象領域に基づいて自動セッティング設定を実行し得る。
自動セッティングユニット18は、独立ハードウェアコンポーネントとして、又は、マイクロプロセッサ、DSPなどのような、論理機器のプログラマブル機能として実施され得る。いくつかの例において、自動セッティングユニット18は、イメージプロセッサ16を実施する論理機器のプログラマブル又は統合機能であり得る。特に、自動セッティングユニット18は、そのような論理機器によって実行される1つ又はそれ以上のソフトウェア処理として実施され得る。
自動セッティングユニット18は、そのとき目標明度のためEVを選択するため決定される対象領域の目標明度に基づいて自動露出を実行し得る。イメージキャプチャコントローラ14は、自動セッティングユニット18によって決定されるセッティングに志賀って口径サイズ、シャッタスピード及び/又はセンサゲインを調整し得る。センサアレイ12は、そのときEVを使用してセンサのイメージフレームをキャプチャし得る。EVを使用して、センサアレイ12は、選択されるEVによって定義される口径サイズを用いてシーンから光を受信し、及び、選択されるEVによって定義されるシャッタスピードを用いてリセットする。センサアレイ12は、処理及びイメージ記録機器20における記録のためイメージプロセッサ16へキャプチャされるイメージフレームを供給する。
イメージプロセッサ16は、センサアレイ12からキャプチャされるイメージフレームを受信し、及び、イメージフレーム上で任意の必要な処理を実行する。たとえば、イメージプロセッサ16は、フィルタ処理、クロッピング、デモザイク処理、圧縮、イメージ促進、又は、センサアレイ12によってキャプチャされるイメージフレームの他の処理を実行し得る。イメージプロセッサ16は、マイクロプロセッサ、デジタルシングルプロセッサ、特定用途向き集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は、任意の同等なディスクリート若しくは集積論理回路によって具体化され得る。いくつかの例において、イメージプロセッサ16は、MPEG−2、MPGE−4、ITU H.263、ITU H.264、JPEGなどのような、特定のエンコーディング技術又はフォーマットに従ってイメージフレームをエンコードするエンコーダ−デコーダ(CODEC)の一部を形成し得る。
イメージプロセッサ16は、イメージ記録機器20においてイメージフレームを格納する。イメージプロセッサ16は、イメージ記録機器20において、元のイメージフレーム、処理されるイメージフレーム、又は、エンコードされるイメージフレームを格納し得る。イメージがオーディオ情報を伴う場合、オーディオはまた、独立的に又はイメージフレームに関連してのいずれかで、イメージ記録機器20において格納され得る。イメージ記録機器20は、リードオンリーメモリ(ROM)、電気的に消去可能なプログラマブルリードオンリーメモリ(EEPROM)、又はフラッシュメモリのような、又は、磁気的データ記録機器若しくは光学的データ記録機器のような、任意の揮発性若しくは不揮発性メモリ、又は記録機器から構成され得る。いくつかの例において、イメージキャプチャ機器10は、センサアレイ12によってキャプチャされる現在のイメージ又はイメージ蓄積20において格納される過去にキャプチャされるイメージの何れか又は両者を表示するためのディスプレイからさらに構成され得る。
図2は、どの領域が対象領域において含まれるべきかを決定するために相当する領域内へ分割されている2つのピクチャ30、32を示す概念ブロック図である。ピクチャ30は、光源22が第1パワーレベルである、たとえば、オフ又は比較的低いパワーレベルで動作される間にイメージキャプチャ機器10(図1)によってキャプチャされる第1ピクチャを表し、及び、ピクチャ32は、光源22が第1パワーレベルよりも高い第2パワーレベルである、たておば、フルパワーで動作される間にイメージキャプチャ機器10によってキャプチャされる第2ピクチャを表す。他の例において、第1イメージは、光源22が動作される間にキャプチャされ得、及び、第2イメージは、光源22が動作されない間にキャプチャされ得る。一般に、イメージが動作される光源22によりキャプチャされ、及び、他のイメージが動作されない又は比較的より低いパワーレベルで動作される光源22によりキャプチャされる限り、どのイメージが動作される光源22によりキャプチャされるかの順序は、重要ではない。同様に、他の例において、少なくとも1つのイメージは、光源22が他のイメージのための光源22のパワーレベルよりも大きなパワーレベルで動作される間にキャプチャされるように、2つのイメージは、光源22が異なるパワーレベルで動作される間にキャプチャされ得る。ピクチャ30、32は、同一のシーンの各ピクチャであり、動きのせいであるピクチャ30、32のシーンの間の任意の差異が最小であることを確実にするために早く連続してキャプチャされ得る。
上で議論されるように、対象領域探知部24は、複数の領域へ、ピクチャ30、32のような、ピクチャへ分割する。図2は、ラベル「A1」から「A48」までを使用して特定される、48個の個々の領域を持つようなピクチャ30を表す。図2はまた、ラベル「B1」から「B48」までを使用して特定される、48個の個々の領域を持つようなピクチャ32を示す。図2において示される領域の数は、説明の目的のための単に例である。一般に、対象領域見地部24は、任意の数の領域内へピクチャを分割し得る。
2つの領域のラベルが同一の数字を持つ場合、ピクチャ30の領域は、ピクチャ32の領域に結び付けられる。たとえば、ピクチャ30の領域A1は、ピクチャ32の領域B1に結び付けられる。同様に、ピクチャ30の領域A24は、ピクチャ32の領域B24に結び付けられる。この方法において、ピクチャ30の各領域は、ピクチャ32の結び付けられる領域を持つ。
各領域は、複数のピクセル、たとえば、ピクセルに関する色彩値及び輝度値を含む。上に議論されるように、対象領域探知部24は、ピクチャ30、32の各領域に関する輝度値を計算する。1つの例において、対象領域探知部24は、領域における全ての輝度ピクセルの合計を計算することによって領域に関する輝度値を計算する。他の例において、対象領域探知部24は、領域における全ての輝度ピクセルの平均を計算することによって領域に関する輝度値を計算する。
対象領域探知部24はまた、ピクチャ30及びピクチャ32の各結び付けられる領域間の差異を計算する。たとえば、対象領域探知部24は、ピクチャ30の領域A1の輝度値とピクチャ32の領域B1の輝度値との差異を計算する。いくつかの例において、対象領域探知部24はまた、どの計算される輝度差が最大差であるかを決定し、及び、閾値を計算するために最大差を使用する。対象領域探知部24は、閾値を生成するためバイアス値によって最大差を増幅し得る。他の例において、対象領域探知部24は、仮に設定される閾値を使用する。
どの領域が対象領域において含まれるべきであるかを決定するため、対象領域探知部24は、生産される差のそれぞれと閾値を比較する。2つの結び付けられる領域の間の差が閾値を等しい又は超える場合、対象領域探知部24は、対象領域における領域を含む。この方法において、対象領域は、閾値より大きい又は等しい輝度差を持つ領域を含む。自動セッティングユニット18は、そのとき、たとえば、自動露出、オートホワイトバランス及び/又はオートフォーカスのような、自動設定を実行するために対象領域における領域を使用し得る。
イメージキャプチャ機器10は、そのときピクチャ30、32において示されるシーンの第3イメージをキャプチャするため設定されるセッティングを使用し得る。イメージキャプチャ機器10は、処理及び自動設定が完了するとすぐに第3イメージをキャプチャするため設定され得る。この方法において、ユーザは、1度だけイメージキャプチャボタンを押し得、及び、ボタンは、イメージキャプチャ機器10に最初の2つのイメージをキャプチャさせ、自動的にイメージキャプチャ機器10を設定し、及び、その時、自動設定から生じるセッティングにより第3イメージをキャプチャし得る。したがって、この例において、全ての3つのイメージは、ボタン又は他の制御媒体の単一の沈下に応答して得られる。いくつかの例において、追加的なイメージは、たとえば、光源22へパワーの様々な量を供給することによって、対象領域を決定するためにキャプチャされ得る。
図3は、決定される対象領域に基づいて自動的に設定されるセッティングを使用してイメージをキャプチャするための例示の方法を示すフローチャートである。最初に、イメージキャプチャ機器10のような、イメージキャプチャ機器は、イメージをキャプチャするための指示を受信する(80)。たとえば、ユーザは、イメージキャプチャ機器10にイメージをキャプチャさせるためにボタンを押し得る。他の例として、イメージキャプチャ機器10は、タイマの満了の後にイメージをキャプチャするように構成され得る。また他の例として、イメージキャプチャ機器10は、イメージをキャプチャするためイメージキャプチャ機器10へ信号を送信するイメージキャプチャ機器10に接続される遠隔コンピューティング機器によって制御され得る。
イメージをキャプチャするための指示を受信した後、イメージキャプチャ機器10は、光源22を活動させることなく、即ち、オフの光源22で、又は、いくつかの例において比較的低いパワーレベルでの光源で、第1予備的イメージをキャプチャする(82)。イメージキャプチャ機器10はまた、光源22を活動させる間に、即ち、オンの光源で、又はそうでなければ第1イメージのパワーレベルよりも比較的大きなパワーレベルで、第2予備的イメージをキャプチャする(84)。イメージキャプチャ機器10は、第1予備的イメージのキャプチャに続いて、早く連続で、たとえば、光源22及びイメージキャプチャ機器10のフレームレートに依存するが、4ミリ秒から1秒内で、第2予備的イメージをキャプチャし得る。
たとえば、光源22がキセノンタイプフラッシュのようなストロボフラッシュから構成され及びセンサアレイ12がローリングシャッタに相当するイメージキャプチャ機器10は、2つの隣接するフレームにおいて第1及び第2イメージを一般にキャプチャし得る。それゆえ、2つのイメージの間の時間は、2つのフレームをキャプチャする間の時間であり得る。たとえば、フレームレートが1秒あたり60フレームであるとき、2つのイメージの間の時間は、約67ミリ秒であり得る。他の例として、フレームレートが1秒あたり5フレームであるとき、2つのイメージの間の時間は、200ミリ秒であり得る。フレームレートが1秒あたり1フレームである場合、2つのイメージの間の時間は、約1秒であり得る。一般に、より高いフレームレートは、比較的よい結果を生成し得る。
他の例として、光源がLEDランプから構成され及びセンサアレイ12がローリングシャッタに相当するとき、光源22に関するLEDランプは、イメージが完全に露出されることを確実にするため、2つの完全なフレームに関してオンであり得る。それゆえ、第1イメージと第2イメージとの間の時間は、第3フレームに関する時間であり得る。たとえば、イメージキャプチャ機器10が1秒あたり60フレームのフレームレートを持つとき、2つのイメージをキャプチャするための時間は、約133ミリ秒であり得る。他の例として、イメージキャプチャ機器10が1秒あたり1つのフレームレートを持つとき、2つのイメージをキャプチャする時間は、2秒であり得る。他の例として、イメージキャプチャ機器10が1秒あたり5フレームのフレームレートを持つとき、2つのイメージをキャプチャする間の時間は、400ミリ秒であり得る。他の例において、センサアレイ12が荷電結合素子(CCD)センサに相当するとき、光源22がストロボ又はLEDであるかに関わらず、第1及び第2イメージをキャプチャする間の時間の量は、シャッタスピードに依存し得る。
イメージキャプチャコントローラ14又はイメージプロセッサ16は、センサアレイ12から2つの予備的イメージを受信し、及び、自動セッティングユニット18へイメージを回し得る。他の例において、第1イメージは、光源22が動作される間にキャプチャされ得、及び、第2イメージは、光源22が動作されない間にキャプチャされ得る。また他の例において、イメージキャプチャ機器10は、光源22への様々なパワーレベルにより複数のイメージをキャプチャし得る。たとえば、イメージキャプチャ機器10は、動作されない光源22により第1イメージを、50%での光源22により第2イメージを、及び、100%での光源22により第3イメージをキャプチャし得る。この方法において、イメージキャプチャ機器10は、たとえば第2及び第3イメージの間の比較的低い輝度差を持つ対象領域から領域を取り除くことによって、対象領域から背景被写体のよく反射する表面から生じる鏡面反射を取り除き得る。
対象領域探知部24は、そのとき対象領域を決定するため2つのイメージを処理し得る(86)。一般に、第1予備的イメージの結び付けられる部分より比較的明るく結び付けられる部分と比較するとより大きな輝度差を生成する第2予備的イメージの部分。この基準で、より明るい部分は、対象領域において含まれる。自動セッティングユニット18は、そのとき対象領域に基づいてイメージキャプチャ機器10を自動的に設定し得る(88)。イメージキャプチャ機器10が設定された後、イメージキャプチャ機器10は、設定を使用して第3イメージをキャプチャし(90)、及び、イメージストレージ20において第3イメージを格納し得る(92)。イメージキャプチャ機器10は、第3イメージをキャプチャする間に光源22を動作させるように設定され得、又は、イメージキャプチャ機器10は、光源22の使用が、たとえばシーンが低光状況にある、第3イメージをキャプチャするために要求されるかを自動的に決定するように設定され得る。第1並びに第2予備的イメージ及び第3格納イメージは、同一のシーンへ全て一般に向けられる。2つの予備的イメージがイメージキャプチャ機器10を自動的に設定するために使用された後、2つの予備的イメージは、捨てられ得る。
図4は、イメージの対象領域を自動的に決定するための例示の方法を示すフローチャートである。図4の方法は、より詳細に図3のステップ82−86を実行するための1つの例示の方法を示す。最初に、この例において、イメージキャプチャ機器10は、動作されない又はいくつかの例において比較的低いパワーレベルでの光源22を用いてシーンの第1イメージをキャプチャする(100)。対象領域探知部24は、第1イメージを受信し、及びN個の領域へ第1イメージを分割し、ここで、Nは、0より大きい整数である(102)。たとえば、図2において示されるように、対象領域探知部24は、複数の同一サイズの長方形の領域へ第1イメージを分割し得る。
対象領域探知部24は、そのとき複数の領域のそれぞれに関する輝度値を計算する(104)。1つの例において、対象領域探知部24は、領域における各輝度ピクセルの値を合計し、及び、対象領域に関する輝度値として輝度ピクセル値の合計を扱う。他の例において、対象領域探知部24は、領域に関する輝度値として輝度ピクセル値の平均を計算する。
イメージキャプチャ機器10はまた、光源22が動作され、又はいくつかの例において第1イメージをキャプチャするために使用されるパワーレベルよりも高いパワーレベルである間に、第2イメージをキャプチャする(106)。対象領域探知部24は、第1イメージの領域に結び付けられる複数の領域へ第2イメージを分割する(108)。この方法において、たとえば、図2において示されるように、第2イメージの領域は、第1イメージの結び付けられる領域として数、形及びサイズにおいて同一である。対象領域探知部24はまた、第1イメージの領域に関する輝度値を計算するために使用される同一の方法を使用して第2イメージの領域に関する輝度値を計算する(110)。
対象領域探知部24は、そのとき第2イメージにおける各領域の輝度値と第1イメージにおける結び付けられる各領域の輝度値との間の差異を計算し得る(112)。つまり、対象領域探知部24は、第1及び第2イメージの間の結び付けられる各領域を通じて繰り返され、及び、第1イメージにおける領域及び第2イメージにおける領域に関する輝度値の間の差異を計算し得る。この方法において、対象領域探知部24は、複数の輝度差値を生成し、ここで、各輝度差値は、領域の1つに相当する。図4の例において、対象領域探知部24はまた、どの輝度差が最大輝度差であるか決定する。いくつかの例において、2つの分離した領域は、単一で切れ目のない領域を形成するために互いに統合され得、しかし、他の例において、個々の各領域は、対象領域を形成するために個別に使用され得る。
対象領域探知部24は、そのとき対象領域においてどの領域が含まれるかを決定する。この例において、輝度差値が閾値と同じ又は上回り、ここで、それは、この例において、最大輝度差とバイアス値と、たとえば、仮に設定されるパーセンテージ値、の積である場合、対象領域探知部24は、対象領域において領域を含む。したがって、各領域に関して、領域に関する輝度差が閾値と同じ又は上回る場合、対象領域探知部24は、対象領域(ROI)において領域を含む(116)。他の例において、輝度差が閾値を厳格に上回る場合にのみ、対象領域探知部24は、対象領域において領域を含み得る。
図4の例示の方法は、次のように要約されることができる。光源22が動作されない間に(又は、光源22が比較的低いパワーレベルである間に)、イメージキャプチャ機器10は、第1イメージをキャプチャし、及びイメージを領域の仮に決められた数へ分割し、各ピクセル輝度の合計又は平均を各領域に関して計算する。そのとき、光源22が動作される間に(又は、光源22が、第1イメージをキャプチャする間に使用されるパワーレベルよりもより高いパワーレベルである間に)、イメージをキャプチャ機器10は、第2イメージをキャプチャし、及びイメージを領域の同一の数へ分割し、再度各ピクセル輝度の合計又は平均を各領域に関して計算する。イメージキャプチャ機器10は、そのとき第1イメージと第2イメージとの間の各領域に関して輝度差を計算する。そのとき、比較的大きな輝度差を持つ領域は、対象領域の一部と考えられる。
図5は、2つのイメージのセットの複数の領域のそれぞれに関して輝度値を計算するため、及び、2つのイメージの領域に関する輝度値の間の最大差を決定するための例示の方法を示すフローチャートである。図5の方法は、図4のステップ104及び110−114を実行するための例である。最初に、対象領域探知部24は、第1イメージと第2イメージとの間で結び付けられる第1領域で開始する(130)。図2の例に関して、対象領域探知部24は、ピクチャ30の領域A1で開始し得る。対象領域探知部24はまた、ゼロと同じ値の最大差値をセットすることによって最大差値を初期化する(132)。
対象領域探知部24は、そのとき第1イメージにおける現在の領域に関する総輝度値を計算する(134)。1つの例において、対象領域探知部24は、総輝度値として領域において全ての輝度ピクセル値の合計を計算する。他の例において、対象領域探知部24は、総輝度値として領域における全ての輝度ピクセル値の平均を計算する。対象領域探知部24はまた、第1イメージの領域のために使用されるような同一の統合方法を使用して、第2イメージにおいて結び付けられる領域に関する総輝度値を計算する(136)。
対象領域探知部24は、そのとき第2イメージにおける領域の総輝度値と第1イメージにおける結び付けられる領域の総輝度値との間の差を計算する(138)。図2の例に関して、対象領域探知部24は、輝度値(BN)−輝度値(AN)を計算し、ここで、Nは、現在の領域を代表する数であって、Aは、第1イメージを示し、及び、Bは、第2イメージを示す。対象領域探知部24はまた、アレイ若しくは行列、又は、他の適切なデータ構造、たとえば、リンクリストのような、たとえば、データ構造において、計算される輝度値を格納する。例として、対象領域探知部24は、差演算[N]=輝度値(BN)―輝度値(AN)を実行し得、ここで、Nは、現在の領域を代表する値である。
他の例において、対象領域探知部24は、上に記述される差の絶対値、つまり差[N]=|輝度値(BN)−輝度値(AN)|、を計算し得、ここで、Nは、現在の領域を代表する値である。また他の例において、対象領域探知部24は、たとえば、輝度値(BN)/輝度値(AN)>閾値であるか、又は輝度値(AN)/輝度値(BN)>閾値であるかを決定するため、差よりもむしろ、領域の輝度値の間の比を計算し得る。他の例において、対象領域探知部24は、値を基礎とする対数を計算することによって輝度値をデシベル(dB)へ変換し得、及び、差を決定するためにそのとき対数によって生成される2つの値を加え、又は、対数によって生成された2つの値の比を計算する。一般に、2つのイメージの明度を比較する任意の方法は、2つのイメージの明度における差を計算するために使用される。
対象領域探知部24は、そのとき、たとえば、最大差値の値をリセットするかを決定するため、現在の差値が現在の最大差値よりも大きいかを決定し得る(140)。現在の領域に関する現在の差値が最大差値よりも大きい場合(140の「はい」の枝)、対象領域探知部24は、現在の領域差値と等しい最大差値をセットする(142)。
対象領域探知部24は、そのとき現在の領域が比較のための最後の領域であるかを決定する(144)。現在の領域が最後の領域でない場合、対象領域探知部24は、次の領域へ進み(146)、及び、次の領域を処理する。たとえば、現在の領域がNであると仮定すると、対象領域探知部は、領域N+1に関連してステップ134−142を実行するために進む。一方、現在の領域が進まれるための最後の領域である場合(144の「はい」の枝)、対象領域探知部24は、対象領域においてどの複数の領域を含むかを決定する(148)。
図6は、対象領域の一部としてどの複数の領域を含むかを決定するため複数の領域(たとえば、図5の方法に従って計算されるような)のそれぞれに関する輝度差値を使用するための例示の方法を示すフローチャートである。図6の例示の方法は、図5のステップ148に相当し得る。対象領域探知部24は、第1領域を用いて開始し(150)、及び、領域に関する輝度差値が閾値より大きい又は等しいかを決定する(152)。図6の例において、閾値は、最大差値とバイアス値との積である。
領域に関する輝度差が閾値(最大差値*バイアス)よりも大きい又は等しい場合(152の「はい」の枝)、対象領域探知部24は、対象領域の一部として領域を含む(154)。対象領域探知部24は、そのとき現在の領域が最後の領域であるか決定する(156)。現在の領域が最後の領域でない場合(156の「いいえ」の枝)、対象領域探知部24は、次の領域を処理するために進む(158)。
一方、現在の領域が最後の領域である場合(156の「はい」の枝)、対象領域探知部24は、自動セッティングユニット18のため対象領域を作り出す。たとえば、対象領域探知部24は、対象領域において含まれる領域の索引を包含するデータ構造を作り出し得る。自動セッティングユニット18は、そのとき、たとえば、対象領域に関連する自動露出を実行することによって、イメージキャプチャ機器10を自動的に設定するために対象領域を使用し得る(160)。
図7は、たとえば、無線通信機器180のカメラセンサ188のため自動露出セッティングを設定するため、対象領域を自動的に決定するためのこの開示の技術を利用するように構成される例示の無線通信機器180を示すブロック図である。カメラセンサは、いわゆるカメラフォン又はビデオフォンを構成するためのモバイル無線テレフォンのような無線通信機器内に供給され得る。図6の例において、無線通信機器180は、無線通信及びユーザインターフェース特徴をサポートする様々なコンポーネントはもちろん、イメージキャプチャ機器10(図1)の様々なコンポーネントを含み得る。たとえば、無線通信機器180は、プロセッサ194、オーディオ/ビデオ エンコーダ/デコーダ(コーデック)190、メモリ200、モデム192、送信受信(TX/RX)ユニット198、無線周波数(RF)アンテナ202、ユーザ入力機器186、ディスプレイドライバ/出力機器184、オーディオドライバ/出力機器162、カメラセンサ188、光源204、及び処理ユニット196を含み得る。プロセッサ194は、この開示において記述される自動設定及び対象領域検知技術を実行するために使用され得る。
カメラセンサ188は、情報をキャプチャし、及び処理ユニット196へキャプチャされる情報を送信する。処理ユニット196は、口径、シャッタスピード、及びカメラセンサ188に関するセンサゲインのような、カメラセンサ188を設定するため、たとえば、自動露出、自動ホワイトバランス、及び自動フォーカスを実行するため、検知される対象領域に基づいてカメラセンサを自動的に調整し得る。この方法において、処理194は、図1のイメージキャプチャ機器10の自動セッティングユニット18によって実行される技術を実行し得る。この開示において詳細に記述されるように、処理ユニットが様々なパワーレベルで動作される間に、処理ユニット196は、イメージをキャプチャするため光源204のパワーレベルを制御し得る。たとえば、光源204は、LED、又はキセノンフラッシュのような、ストロボフラッシュから構成され得る。
加えて、プロセッサ194はまた、無線通信機器180に関連するディスプレイ及びスピーカを通じてユーザにイメージ、ビデオ、及び/又は関連するサウンドを表すためにディスプレイドライバ並びに関連するディスプレイ出力184及びオーディオドライバ並びに関連するオーディオ出力182を制御し得る。メモリ200は、様々な動作をサポートするためプロセッサ194による実行のための命令を格納し得る。図6において示されないが、メモリ200(又は他のメモリ)は、そのようなコンポーネントによって処理され又は生成されるデータを格納するため処理ユニット196又は他のコンポーネントへ接続され得る。ユーザ入力機器186は、無線通信機器180の動作を制御するため利用者のためのキー、ボタン、タッチスクリーンメディアなどのような任意の様々な入力媒体を含み得る。
イメージ並びにオーディオ及びイメージ又はビデオは、記録及び送信のためオーディオ/ビデオコーデック190によってエンコードされ得る。図6の例において、オーディオ/ビデオコーデックは、カメラセンサ188によってキャプチャされ得るビデオに追加して、様々なオーディオ及びビデオアプリケーションを取り扱うためより大きな無線通信機器180にあり得る。オーディオビデオコーデックは、MPEG−2、MPEG−4、ITU H.263、ITU H.264、JPEGなどのような、任意の様々な技術又はフォーマットに従ってイメージ又はビデオをエンコードし得る。
加えて、いくつかの態様において、無線通信機器180は、他の機器からオーディオ、イメージ又はビデオを受信し及びそれをエンコードすることはもちろん、無線通信によって他の機器へそのようなオーディオ、イメージ又はビデオをエンコードし及び送信し得る。たとえば、モデム192及びTX−RXユニット198は、アンテナ202を通じて他の無線通信機器へエンコードされるオーディオ及びイメージ又はビデオ情報を送信するために使用され得る。モデム192は、TX−RXユニット198及びアンテナ202によって供給されるエアインターフェース上での送信のためエンコードされる情報を変調し得る。加えて、TX−RXユニット198及びモデム192は、エンコードされるオーディオ、イメージ又はビデオを含む、アンテナ202を通じて受信される信号を処理し得る。TX−RXユニット198は、アンテナ202を通じて無線送信及び受信をサポートするため適切なミキサ、フィルタ、及び増幅電気回路をさらに含み得る。
1つ又はそれ以上の例において、記述される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実施され得る。ソフトウェアにおいて実施される場合、機能は、コンピュータ可読媒体上での1つ又はそれ以上の命令又はコード上で格納され又は送信され得る。コンピュータ可読媒体は、ある場所から他へのコンピュータプログラムの転送を容易にする任意の媒体を含むコンピュータデータ記録媒体又は通信媒体を含み得る。データ記録媒体は、この開示において記述される技術の実施のため命令、コード及び/又はデータ構造を取り戻すため1つ若しくはそれ以上のコンピュータ又は1つ若しくはそれ以上のプロセッサによってアクセスされることができる任意の利用可能な媒体であり得る。限定でなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROM若しくは他の光学ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記録機器、フラッシュメモリ、又は、命令若しくはデータ構造の形式において記述されるプログラムコードを運び若しくは格納するために利用することができ及びコンピュータによってアクセスされることができる任意の他の媒体から構成されることができる。また、任意の接続は、適切にコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアがウェブサイト、サーバ、又は、同軸ケーブル、ファイバ光学ケーブル、ツイストペア、デジタル加入者ライン(DSL)、若しくは、赤外線、無線及びマイクロ波のような無線技術を使用する他のリモートソースである場合、そのとき同軸ケーブル、ファイバ光学ケーブル、ツイストペア、DSL、又は、赤外線、無線及びマイクロ波のような無線技術は、媒体の定義において含まれる。ここで使用されるように、一般的に磁気的にデータを再生するディスク(Disk)及びレーザを用いて光学的にデータを再生するディスク(Disc)は、コンパクトディスク(CD)、レーザディスク、光学ディスク、デジタルバーサタイルディスク(DVD)、フロッピー(登録商標)ディスク及びブルーレイディスクを含む。上のものの組み合わせはまた、コンピュータ可読媒体の範囲に含まれるべきである。
コードは、1つ若しくはそれ以上のデジタル信号プロセッサ(DSP)、汎用プロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、又は他の同等の集積若しくは離散論理回路のような、1つ又はそれ以上のプロセッサによって実行され得る。したがって、本文中に使用されるような「プロセッサ」という用語は、本文中に記述される技術の実施のために適切な任意の前述の構造又は任意の他の構造を示し得る。加えて、いくつかの態様において、本文中に記述される機能は、エンコーディング及びデコーディングのために設定される専用のソフトウェア又はハードウェアモジュール内で供給され、又は組み合わされるビデオコーデックにおいて統合され得る。また、技術は、1つ又はそれ以上の回路又は論理要素において完全に実施されることができる。
この開示の技術は、無線ハンドセット、集積回路(IC)又はICのセット(たとえば、チップセット)を含む、広く様々な機器又は装置において実施され得る。様々なコンポーネント、モジュール又はユニットは、開示される技術を実行するために設定される機器の機能的な態様を強調するためにこの開示において記述されるが、異なるハードウェアユニットによる現実化を要求する必要はない。むしろ、上に記述されるように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされ、又は、適切なソフトウェア及び/又はファームウェアと共に、上に記述されるような1つ又はそれ以上のプロセッサを含む、相互作用するハードウェアの集まりによって供給され得る。
様々な例は、記述されている。これら及び他の例は、次の請求項の範囲内である。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1]
制御される光源が第1パワーレベルである間にシーンの第イメージを、イメージキャプチャ機器を用いて、キャプチャすることと、
制御される前記光源が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージを、前記イメージキャプチャ機器を用いて、キャプチャすることと、
前記第1イメージにおける複数の領域と前記第2イメージにおける結び付けられる複数の領域との間の輝度差を計算することと、
対象領域が、輝度差が閾値を超えるそれらの領域を含むことを決定することと、
を備える方法。
[2]
さらに、
輝度差の最大値を決定することと、
輝度差の前記最大値とバイアス値との積と等しい閾値をセットすることであって、ここで、前記バイアス値は、ゼロと1との間の有理数から構成される、セットすることと、
によって閾値を計算することから構成される、
前記[1]に記載の方法。
[3]
さらに、
前記対象領域に基づいて前記イメージキャプチャ機器のセッティングを自動的に設定することと、
自動的に設定される前記セッティングを使用して前記シーンの第3イメージを、前記イメージキャプチャ機器を用いて、キャプチャすることと、
を備える、
前記[1]に記載の方法。
[4]
セッティングを自動的に設定することは、前記対象領域に基づいて露出セッティングをセットするため自動露出を実行することを備える、
前記[3]に記載の方法。
[5]
セッティングを自動的に設定することは、前記対象領域に基づいてホワイトバランスセッティングをセットするため自動ホワイトバランスを実行することを備える、
前記[3]に記載の方法。
[6]
セッティングを自動的に設定することは、前記対象領域に基づいてオートフォーカスセッティングをセットするためオートフォーカスを実行することを備える、
前記[3]に記載の方法。
[7]
さらに、
イメージをキャプチャするための命令を受信することを備え、
前記第1イメージをキャプチャすることは、前記命令に反応し、
前記第2イメージをキャプチャすることは、前記命令に反応し、
前記第3イメージをキャプチャすることは、前記命令に反応する、
前記[3]に記載の方法。
[8]
前記複数の領域のそれぞれに関して、
前記第1イメージの前記領域に関するピクセル輝度値の合計を計算することと、
前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算することと、
前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記合計との間の差を計算することと、
を備える、
前記[1]に記載の方法。
[9]
輝度差を計算することは、
前記複数の領域のそれぞれに関して、
前記第1イメージの前記領域に関するピクセル輝度値の平均を計算することと、
前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算することと、
前記第1イメージの前記領域の前記ピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記平均との間の差を計算することと、
を備える、
前記[1]に記載の方法。
[10]
前記第2イメージをキャプチャすることは、前記第1イメージをキャプチャすることの400ミリ秒内で生じる、
前記[1]に記載の方法。
[11]
前記第2イメージは、前記第1イメージの前にキャプチャされる、
前記[1]に記載の方法。
[12]
前記第1パワーレベルは、ゼロから構成され、及び、前記第2パワーレベルは、フルパワーから構成される、
前記[1]に記載の方法。
[13]
制御される光源と、
イメージをキャプチャするために構成されるイメージセンサと、
前記イメージセンサに、制御される前記光源が第1パワーレベルである間にシーンの第1イメージをキャプチャさせるように、前記イメージセンサに、制御される光源が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージをキャプチャさせるように、前記第1イメージにおける複数の領域と前記第2イメージにおける複数の結び付けられる領域との間の輝度差を計算するように、及び、対象領域が、前記輝度差が閾値を超えるそれら領域を含むことを決定するように、構成される処理ユニットと、
を備える装置。
[14]
前記処理ユニットは、前記輝度差の最大値を決定することによって前記閾値を決定するように、及び、前記輝度差の前記最大値とバイアス値との積と等しい前記閾値をセットするようであって、ここで、前記バイアス値は、0と1との間の有理数から構成される、セットするように、構成される、
前記[13]に記載の装置。
[15]
前記処理ユニットは、
さらに、
前記対象領域に基づいて前記イメージセンサのセッティングを自動的に設定するように、及び、前記イメージセンサに、自動的に設定される前記セッティングを使用して前記シーンの第3イメージをキャプチャさせるように、構成される、
前記[13]に記載の装置。
[16]
前記セッティングを自動的に設定するために、前記処理ユニットは、前記対象領域に基づいて少なくとも自動露出、オートホワイトバランス、及びオートフォーカスを実行するように構成される、
前記[15]に記載の装置。
[17]
さらに、
前記第3イメージをキャプチャするための命令を受信するためのインターフェースを備え、
前記処理ユニットは、前記コマンドに応答として、前記イメージセンサに、前記第1イメージ、前記第2イメージ及び前記第3イメージのそれぞれをキャプチャさせる、
前記[15]に記載の装置。
[18]
前記複数の領域のそれぞれに関して前記輝度差を計算するため、前記処理ユニットは、前記第1イメージの前記領域に関するピクセル輝度値の合計を計算するように、前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算するように、及び、前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記輝度値の前記合計との差を計算するように、構成される、
前記[13]に記載の装置。
[19]
前記複数の領域のそれぞれに関して前記輝度差を計算するため、前記処理ユニットは、前記第1イメージの前記領域に関するピクセル輝度値の平均を計算するように、前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算するように、及び、前記第1イメージの前記領域の前記ピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記輝度値の前記平均との間の差を計算するように、構成される、
前記[13]に記載の装置。
[20]
前記処理ユニットは、前記イメージセンサに、前記第1イメージをキャプチャすることの400ミリ秒内に前記第2イメージをキャプチャさせるように、構成される、
前記[13]に記載の装置。
[21]
前記処理ユニットは、前記イメージセンサに、前記第1イメージの前に前記第2イメージをキャプチャさせるように構成される、
前記[13]に記載の装置。
[22]
前記第1パワーレベルは、ゼロパワーであって、前記第2パワーレベルは、フルパワーである、
前記[13]に記載の装置。
[23]
前記装置は、少なくとも、
集積回路と、
マイクロプロセッサと、
前記処理ユニットを含む無線通信機器と、
を備える、
前記[13]に記載の装置。
[24]
制御可能な照明を供給するための手段と、
制御可能な照明を供給するための前記手段が第1パワーレベルである間にシーンの第1イメージをキャプチャするための手段と、
制御可能な照明を供給するための前記手段が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージをキャプチャするための手段と、
前記第1イメージにおける複数の領域と前記第2イメージにおける複数の結び付けられる領域との間の輝度差を計算するための手段と、
対象領域が、前記輝度差が閾値を超えるそれら領域を含むことを決定するための手段と、
を備える装置。
[25]
前記輝度差の最大値を決定するための手段と、
前記輝度差の前記最大値とバイアス値との積と等しい前記閾値をセットするための手段であって、ここで、前記バイアス値は、ゼロと1との間の有理数である、手段と、
を備える、
前記閾値を計算するための手段をさらに備える、
前記[24]に記載の装置。
[26]
さらに、
前記対象領域に基づいて、前記イメージキャプチャ機器のセッティングを自動的に設定するための手段と、
自動的に設定される前記セッティングの第3イメージをキャプチャするための手段と、
を備える、
前記[24]に記載の装置。
[27]
自動的にセッティングを設定するための前記手段は、少なくとも前記対象領域に基づいて自動露出、オートホワイトバランス、及びオートフォーカスを実行するための手段を備える、
前記[26]に記載の装置。
[28]
さらに、
イメージをキャプチャするための命令を受信するための手段を備え、
前記第1イメージをキャプチャするための前記手段は、前記命令の応答として前記第1イメージをキャプチャするように構成され、
前記第2イメージをキャプチャするための前記手段は、前記命令の応答として前記第2イメージをキャプチャするように構成され、
前記第3イメージをキャプチャするための前記手段は、前記命令の応答として前記第3イメージをキャプチャするように構成される、
前記[26]に記載の装置。
[29]
前記複数の領域のそれぞれに関して輝度差を計算するための前記手段は、
前記第1イメージの前記領域に関するピクセル輝度値の合計を計算するための手段と、
前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算するための手段と、
前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記輝度値の前記合計との間の差を計算するための手段と、
を備える、
前記[24]に記載の装置。
[30]
前記複数の領域のそれぞれに関して輝度差を計算するための前記手段は、
前記第1イメージの前記領域に関するピクセル輝度値の平均を計算するための手段と、
前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算するための手段と、
前記第1イメージの前記領域のピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記輝度値の前記平均との間の差を計算するための手段と、
を備える、
前記[24]に記載の装置。
[31]
前記第2イメージをキャプチャするための前記手段は、前記第1イメージの前記キャプチャの400ミリ秒内に前記第2イメージをキャプチャするように構成される、
前記[24]に記載の装置。
[32]
前記第2イメージをキャプチャするための前記手段は、前記第1イメージをキャプチャするための前記手段が前記第1イメージをキャプチャする前に前記第2イメージをキャプチャするように構成される、
前記[24]に記載の装置。
[33]
前記第1パワーレベルは、ゼロパワーから構成され、前記第2パワーレベルは、フルパワーから構成される、
前記[24]に記載の装置。
[34]
イメージキャプチャのプログラマブルプロセッサに、
前記イメージキャプチャ機器のイメージセンサに、制御される光源が第1パワーレベルである間にシーンの第1イメージをキャプチャさせ、
前記イメージキャプチャ機器の前記イメージセンサに、制御される前記光源が前記第1パワーレベルよりも高いパワーレベルである間に前記シーンの第2イメージをキャプチャさせ、
前記第1イメージにおける複数の領域と前記第2イメージにおける複数の結び付けられる領域との間の輝度差を計算させ、
対象領域が、前記輝度差が閾値を超えるそれらの領域を含むことを決定させる、
ための命令と共にエンコードされるコンピュータ可読記録媒体。
[35]
さらに、
前記閾値を計算するための命令であって、ここで、命令は、
前記輝度差の最大値を決定するため、
前記輝度差の前記最大値とバイアス値との前記積と等しい閾値をセットするためのであって、ここでは、前記バイアス値は、0と1との間の有理数である、セットするため、
の命令を備える、
前記[34]に記載のコンピュータ可読記録媒体。
[36]
さらに、
前記対象領域に基づいて、前記イメージキャプチャ機器の前記セッティングを自動的に設定するため、
自動的に設定されるセッティングを使用して前記イメージキャプチャ機器の前記イメージセンサに前記シーンの第3イメージをキャプチャさせるため、
の命令を備える、
前記[34]に記載のコンピュータ可読記録媒体。
[37]
前記セッティングを自動的に設定するための前記命令は、前記対象領域に基づいて少なくとも自動露出、オートホワイトバランス、及び自動露出を実行するための命令を備える、
前記[36]に記載のコンピュータ可読記録媒体。
[38]
さらに、
イメージをキャプチャするための命令を受信するための命令を備え、
前記イメージセンサに前記第1イメージをキャプチャさせるための前記命令は、前記イメージセンサに前記命令の応答として前記第1イメージをキャプチャさせる命令を備え、
前記イメージセンサに前記第2イメージをキャプチャさせるための前記命令は、前記イメージセンサに前記命令の応答として前記第2イメージをキャプチャさせるための命令を備え、
前記イメージセンサに前記第3イメージをキャプチャさせるための前記命令は、前記イメージセンサに前記命令の応答として前記第3イメージをキャプチャさせるための命令を備える、
前記[36]に記載のコンピュータ可読記録媒体。
[39]
前記複数の領域のそれぞれに関する輝度差を計算するための前記命令は、
前記第1イメージの前記領域に関するピクセル輝度値の合計を計算するため、
前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算するため、
前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記輝度値の前記合計との間の差を計算するため、
の命令を備える、
前記[34]に記載のコンピュータ可読記録媒体。
[40]
前記複数の領域のそれぞれに関する輝度差を計算するための前記命令は、
前記第1イメージの前記領域に関するピクセル輝度値の平均を計算するため、
前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算するため、
前記第1イメージの前記領域の前記ピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記平均との差を計算するため、
の命令を備える、
前記[34]に記載のコンピュータ可読記録媒体。
[41]
前記イメージセンサに前記第2イメージをキャプチャさせる前記命令は、前記イメージセンサに前記第1イメージをキャプチャすることの400ミリ秒内に前記第2イメージをキャプチャさせるための命令を備える、
前記[34]に記載のコンピュータ可読記録媒体。
[42]
前記イメージセンサに前記第2イメージをキャプチャさせるための前記命令は、前記イメージセンサに前記第1イメージの前に前記第2イメージをキャプチャさせるための命令を備える、
前記[34]に記載のコンピュータ可読記録媒体。
[43]
前記第1パワーレベルは、ゼロパワーを備え、前記第2パワーレベルは、フルパワーを備える、
前記[34]に記載のコンピュータ可読記録媒体。

Claims (37)

  1. 制御される光源が第1パワーレベルである間にシーンの第1イメージを、イメージキャプチャ機器を用いて、キャプチャすることと、
    制御される前記光源が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージを、前記イメージキャプチャ機器を用いて、キャプチャすることと、
    前記第1イメージにおける複数の領域と前記第2イメージにおける結び付けられる複数の領域との間の輝度差を計算することと、
    対象領域が、前記輝度差が閾値を超えるそれらの領域を含むことを決定することと、
    前記対象領域に基づいてホワイトバランスセッティングを構成することと、
    前記シーンの第3イメージを、前記イメージキャプチャ機器を用いて、キャプチャすることと、
    前記ホワイトバランスセッティングに少なくとも一部基づいて前記第3イメージをホワイトバランスすることと、
    前記輝度差の最大値を決定することと、
    前記輝度差の前記最大値とバイアス値との積と等しい前記閾値をセットすることであって、ここで、前記バイアス値は、0と1との間の有理数である、セットすることと、
    によって前記閾値を計算することと、
    を備える電子機器における方法。
  2. さらに、前記対象領域に基づいて露出セッティングをセットするため自動露出を実行することを、
    備える、
    前記請求項1に記載の方法。
  3. さらに、前記対象領域に基づいてオートフォーカスを実行することを、
    備える、
    前記請求項1に記載の方法。
  4. さらに、
    イメージをキャプチャするための命令を受信することを備え、
    前記第1イメージをキャプチャすることは、前記命令に反応し、
    前記第2イメージをキャプチャすることは、前記命令に反応し、
    前記第3イメージをキャプチャすることは、前記命令に反応する、
    前記請求項1に記載の方法。
  5. 前記輝度差を計算することは、
    前記複数の領域のそれぞれに関して、
    前記第1イメージの前記領域に関するピクセル輝度値の合計を計算することと、
    前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算することと、
    前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記合計との間の差を計算することと、を備える、
    前記請求項1に記載の方法。
  6. 前記輝度差を計算することは、
    前記複数の領域のそれぞれに関して、
    前記第1イメージの前記領域に関するピクセル輝度値の平均を計算することと、
    前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算することと、
    前記第1イメージの前記領域の前記ピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記平均との間の差を計算することと、を備える、
    前記請求項1に記載の方法。
  7. 前記第2イメージをキャプチャすることは、前記第1イメージをキャプチャすることの400ミリ秒内で生じる、
    前記請求項1に記載の方法。
  8. 前記第2イメージは、前記第1イメージの前にキャプチャされる、
    前記請求項1に記載の方法。
  9. 前記第1パワーレベルは、ゼロパワーであって、前記第2パワーレベルは、フルパワーから構成される、
    前記請求項1に記載の方法。
  10. 制御される光源と、
    イメージをキャプチャするために構成されるイメージセンサと、
    前記イメージセンサに、制御される前記光源が第1パワーレベルである間にシーンの第1イメージをキャプチャさせるように、前記イメージセンサに、制御される前記光源が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージをキャプチャさせるように、前記第1イメージにおける複数の領域と前記第2イメージにおける複数の結び付けられる領域との間の輝度差を計算するように、対象領域が、前記輝度差が閾値を超えるそれら領域を含むことを決定するように、前記対象領域に基づいてホワイトバランスセッティングを構成するように、前記シーンの第3イメージをキャプチャするように、及び、前記ホワイトバランスセッティングに少なくとも一部基づいて前記第3イメージをホワイトバランスするように、構成される処理ユニットと、
    を備え、
    ここで、前記処理ユニットは、前記輝度差の最大値を決定することによって前記閾値を計算し、及び、前記輝度差の前記最大値とバイアス値との積と等しい前記閾値をセットするように構成され、ここで、前記バイアス値は、0と1との間の有理数である、装置。
  11. 前記処理ユニットは、
    さらに、
    前記対象領域に基づいて前記イメージセンサのセッティングを自動的に設定するように、及び、自動的に設定される前記セッティングを使用して前記シーンの前記第3イメージをキャプチャするように、構成される、
    前記請求項10に記載の装置。
  12. 前記セッティングを自動的に設定するために、前記処理ユニットは、前記対象領域に基づいて少なくとも自動露出、及びオートフォーカスのうちの少なくとも1つを実行するように構成される、
    前記請求項11に記載の装置。
  13. さらに、
    前記第3イメージをキャプチャするための命令を受信するためのインターフェースを備え、
    前記処理ユニットは、コマンドに応答として、前記イメージセンサに、前記第1イメージ、前記第2イメージ及び前記第3イメージのそれぞれをキャプチャさせる、前記請求項11に記載の装置。
  14. 前記複数の領域のそれぞれに関して前記輝度差を計算するため、前記処理ユニットは、前記第1イメージの前記領域に関するピクセル輝度値の合計を計算するように、前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算するように、及び、前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記合計との差を計算するように、構成される、
    前記請求項10に記載の装置。
  15. 前記複数の領域のそれぞれに関して前記輝度差を計算するため、前記処理ユニットは、前記第1イメージの前記領域に関するピクセル輝度値の平均を計算するように、前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算するように、及び、前記第1イメージの前記領域の前記ピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記平均との間の差を計算するように、構成される、
    前記請求項10に記載の装置。
  16. 前記処理ユニットは、前記イメージセンサに、前記第1イメージをキャプチャすることの400ミリ秒内に前記第2イメージをキャプチャさせるように、構成される、前記請求項10に記載の装置。
  17. 前記処理ユニットは、前記イメージセンサに、前記第1イメージの前に前記第2イメージをキャプチャさせるように構成される、
    前記請求項10に記載の装置。
  18. 前記第1パワーレベルは、ゼロパワーであって、前記第2パワーレベルは、フルパワーである、
    前記請求項10に記載の装置。
  19. 前記装置は、少なくとも、
    集積回路と、
    マイクロプロセッサと、
    前記処理ユニットを含む無線通信機器のうちの少なくとも1つ
    を備える、
    前記請求項10に記載の装置。
  20. 制御可能な照明を供給するための手段と、
    制御可能な照明を供給するための前記手段が第1パワーレベルである間にシーンの第1イメージをキャプチャするための手段と、
    制御可能な照明を供給するための前記手段が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージをキャプチャするための手段と、
    前記第1イメージにおける複数の領域と前記第2イメージにおける複数の結び付けられる領域との間の輝度差を計算するための手段と、
    対象領域が、前記輝度差が閾値を超えるそれら領域を含むことを決定するための手段と、
    前記対象領域に基づいてホワイトバランスセッティングを構成するための手段と、
    前記シーンの第3イメージをキャプチャするための手段と、
    前記ホワイトバランスセッティングの少なくとも一部基づいて前記第3イメージをホワイトバランスするための手段と、
    前記輝度差の最大値を決定するための手段と、
    前記輝度差の前記最大値とバイアス値との積と等しい前記閾値をセットするための手段とを備え、ここで、前記バイアス値は、0と1との間の有理数である、
    装置。
  21. さらに、
    前記対象領域に基づいて、イメージキャプチャ機器のイメージキャプチャセッティングを自動的に設定するための手段と、
    自動的に設定される前記イメージキャプチャセッティングを使用して前記シーンの前記第3イメージをキャプチャするための手段と、
    を備える、
    前記請求項20に記載の装置。
  22. 自動的にセッティングを設定するための前記手段は、少なくとも前記対象領域に基づいて自動露出、オートホワイトバランス、及びオートフォーカスのうちの少なくとも1つを実行するための手段を備える、
    前記請求項21に記載の装置。
  23. さらに、
    イメージをキャプチャするための命令を受信するための手段を備え、
    前記第1イメージをキャプチャするための前記手段は、前記命令の応答として前記第1イメージをキャプチャするように構成され、
    前記第2イメージをキャプチャするための前記手段は、前記命令の応答として前記第2イメージをキャプチャするように構成され、
    前記第3イメージをキャプチャするための前記手段は、前記命令の応答として前記第3イメージをキャプチャするように構成される、
    前記請求項21に記載の装置。
  24. 前記複数の領域のそれぞれに関して輝度差を計算するための前記手段は、
    前記第1イメージの前記領域に関するピクセル輝度値の合計を計算するための手段と、
    前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算するための手段と、
    前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記合計との間の差を計算するための手段と、を備える、
    前記請求項20に記載の装置。
  25. 前記複数の領域のそれぞれに関して輝度差を計算するための前記手段は、
    前記第1イメージの前記領域に関するピクセル輝度値の平均を計算するための手段と、
    前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算するための手段と、
    前記第1イメージの前記領域のピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記平均との間の差を計算するための手段と、を備える、
    前記請求項20に記載の装置。
  26. 前記第2イメージをキャプチャするための前記手段は、前記第1イメージの前記キャプチャの400ミリ秒内に前記第2イメージをキャプチャするように構成される、前記請求項20に記載の装置。
  27. 前記第2イメージをキャプチャするための前記手段は、前記第1イメージをキャプチャするための前記手段が前記第1イメージをキャプチャする前に前記第2イメージをキャプチャするように構成される、
    前記請求項20に記載の装置。
  28. 前記第1パワーレベルは、ゼロパワーから構成され、前記第2パワーレベルは、フルパワーから構成される、
    前記請求項20に記載の装置。
  29. イメージキャプチャ機器のプログラマブルプロセッサに、
    前記イメージキャプチャ機器のイメージセンサに、制御される光源が第1パワーレベルである間にシーンの第1イメージをキャプチャさせ、
    前記イメージキャプチャ機器の前記イメージセンサに、制御される前記光源が前記第1パワーレベルよりも高い第2パワーレベルである間に前記シーンの第2イメージをキャプチャさせ、
    前記第1イメージにおける複数の領域と前記第2イメージにおける複数の結び付けられる領域との間の輝度差を計算させ、
    対象領域が、前記輝度差が閾値を超えるそれらの領域を含むことを決定させ、
    前記対象領域に基づいてホワイトバランスセッティングを構成させ、
    前記イメージキャプチャ機器の前記イメージセンサに、前記シーンの第3イメージをキャプチャさせ、
    前記ホワイトバランスセッティングに少なくとも一部基づいて前記第3イメージをホワイトバランスさせ、
    前記輝度差の最大値を決定させ、及び、
    前記輝度差の前記最大値とバイアス値との積と等しい前記閾値をセットさせるためのプログラムを、ここで、前記バイアス値は、0と1との間の有理数である、
    記録するコンピュータ可読記録媒体。
  30. さらに、
    前記対象領域に基づいて、前記イメージキャプチャ機器のイメージキャプチャセッティングを自動的に設定するため、
    前記自動的に設定されるイメージキャプチャセッティングを使用して前記イメージキャプチャ機器の前記イメージセンサに前記シーンの前記第3イメージをキャプチャさせるため、のプログラムを記録する
    前記請求項29に記載のコンピュータ可読記録媒体。
  31. 前記イメージキャプチャセッティングを自動的に設定するための前記プログラムは、前記対象領域に基づいて少なくとも自動露出、及びオートフォーカスのうちの少なくとも1つを実行するためのプログラムを備える、
    前記請求項30に記載のコンピュータ可読記録媒体。
  32. さらに、
    イメージをキャプチャするための命令を受信するためのプログラムを記録し
    前記イメージセンサに前記第1イメージをキャプチャさせるための前記プログラムは、前記イメージセンサに前記命令の応答として前記第1イメージをキャプチャさせるプログラムを備え、
    前記イメージセンサに前記第2イメージをキャプチャさせるための前記プログラムは、前記イメージセンサに前記命令の応答として前記第2イメージをキャプチャさせるためのプログラムを備え、
    前記イメージセンサに前記第3イメージをキャプチャさせるための前記プログラムは、前記イメージセンサに前記命令の応答として前記第3イメージをキャプチャさせるためのプログラムを備える、
    前記請求項30に記載のコンピュータ可読記録媒体。
  33. 前記複数の領域のそれぞれに関する輝度差を計算するための前記プログラムは、
    前記第1イメージの前記領域に関するピクセル輝度値の合計を計算するため、
    前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の合計を計算するため、
    前記第1イメージの前記領域の前記ピクセル輝度値の前記合計と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記合計との間の差を計算するため、のプログラムを備える、
    前記請求項29に記載のコンピュータ可読記録媒体。
  34. 前記複数の領域のそれぞれに関する輝度差を計算するための前記プログラムは、
    前記第1イメージの前記領域に関するピクセル輝度値の平均を計算するため、
    前記第2イメージの結び付けられる前記領域に関するピクセル輝度値の平均を計算するため、
    前記第1イメージの前記領域の前記ピクセル輝度値の前記平均と前記第2イメージの結び付けられる前記領域の前記ピクセル輝度値の前記平均との差を計算するため、のプログラムを備える、
    前記請求項29に記載のコンピュータ可読記録媒体。
  35. 前記イメージセンサに前記第2イメージをキャプチャさせる前記プログラムは、前記イメージセンサに前記第1イメージをキャプチャすることの400ミリ秒内に前記第2イメージをキャプチャさせるためのプログラムを備える、
    前記請求項29に記載のコンピュータ可読記録媒体。
  36. 前記イメージセンサに前記第2イメージをキャプチャさせるための前記プログラムは、前記イメージセンサに前記第1イメージの前に前記第2イメージをキャプチャさせるためのプログラムを備える、
    前記請求項29に記載のコンピュータ可読記録媒体。
  37. 前記第1パワーレベルは、ゼロパワーを備え、前記第2パワーレベルは、フルパワーを備える、
    前記請求項29に記載のコンピュータ可読記録媒体。
JP2013536749A 2010-10-27 2011-10-25 対象領域抽出 Active JP5739001B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/912,863 US8773577B2 (en) 2010-10-27 2010-10-27 Region of interest extraction
US12/912,863 2010-10-27
PCT/US2011/057746 WO2012058239A1 (en) 2010-10-27 2011-10-25 Region of interest extraction

Publications (2)

Publication Number Publication Date
JP2013541307A JP2013541307A (ja) 2013-11-07
JP5739001B2 true JP5739001B2 (ja) 2015-06-24

Family

ID=44947209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013536749A Active JP5739001B2 (ja) 2010-10-27 2011-10-25 対象領域抽出

Country Status (7)

Country Link
US (1) US8773577B2 (ja)
EP (1) EP2633679B1 (ja)
JP (1) JP5739001B2 (ja)
KR (1) KR101488630B1 (ja)
CN (1) CN103190144B (ja)
IN (1) IN2013MN00785A (ja)
WO (1) WO2012058239A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8749647B2 (en) * 2009-04-20 2014-06-10 Kyocera Corporation Image capturing device and image capturing method
US20120113295A1 (en) * 2010-11-04 2012-05-10 Casio Computer Co., Ltd. Image capturing apparatus capable of adjusting white balance
KR101971535B1 (ko) * 2011-07-20 2019-08-14 삼성전자주식회사 이미지 촬영 장치에서 자동 초점 조절 장치 및 방법
JP5825946B2 (ja) * 2011-09-09 2015-12-02 キヤノン株式会社 撮像装置及びその制御方法
WO2013121073A1 (en) * 2012-02-13 2013-08-22 Nokia Corporation Method and apparatus for enhanced automatic adjustment of focus, exposure and white balance in digital photography
US10469851B2 (en) 2012-04-16 2019-11-05 New Cinema, LLC Advanced video coding method, system, apparatus, and storage medium
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9665796B2 (en) * 2013-01-22 2017-05-30 University Of Central Florida Research Foundation, Inc. System and method for visual correlation of digital images
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
JP6167236B2 (ja) 2013-07-31 2017-07-19 深▲セン▼光啓智能光子技術有限公司Kuang−Chi Intelligent Photonic Technology Ltd. 可視光信号の受信方法及びその装置
CN103617791B (zh) * 2013-10-23 2016-04-13 四川长虹电器股份有限公司 复合静态和动态控制的液晶显示屏背光控制方法
US9386220B2 (en) 2013-12-06 2016-07-05 Raytheon Company Electro-optical (EO)/infrared (IR) staring focal planes with high rate region of interest processing and event driven forensic look-back capability
JP6047686B2 (ja) * 2014-03-24 2016-12-21 富士フイルム株式会社 撮影装置
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
EP3393132B1 (en) * 2015-12-17 2022-11-02 Panasonic Intellectual Property Corporation of America Display method and display device
US10496893B2 (en) 2016-08-11 2019-12-03 DiamondFox Enterprises, LLC Handheld arthropod detection device
US11715556B2 (en) 2016-08-11 2023-08-01 DiamondFox Enterprises, LLC Handheld arthropod detection device
EP3516862A4 (en) 2016-10-26 2020-01-22 Zhejiang Dahua Technology Co., Ltd EXPOSURE CONTROL SYSTEMS AND METHODS
EP3545671A4 (en) * 2016-12-27 2020-03-25 Zhejiang Dahua Technology Co., Ltd EXPOSURE CONTROL SYSTEMS AND METHODS
TWI608735B (zh) 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) * 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
JP7279533B2 (ja) * 2019-06-14 2023-05-23 ソニーグループ株式会社 センサ装置、信号処理方法
CN111145138B (zh) * 2019-07-30 2023-06-23 Tcl王牌电器(惠州)有限公司 Led灯板的检测方法、装置、设备及存储介质
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20220001761A1 (en) * 2020-07-02 2022-01-06 Abb Schweiz Ag Systems and Methods for Electric Vehicle Charging Using Image Capturing Devices
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US20220355692A1 (en) * 2021-05-05 2022-11-10 Abb Schweiz Ag Systems and Methods for Electric Vehicle Charging Using Machine Learning
US11823430B2 (en) * 2021-07-16 2023-11-21 Arm Limited Video data processing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442408A (en) 1989-11-17 1995-08-15 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
JP2000308068A (ja) 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2002044516A (ja) 2000-07-24 2002-02-08 Olympus Optical Co Ltd 電子カメラ
US6859565B2 (en) 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US6970199B2 (en) 2001-10-05 2005-11-29 Eastman Kodak Company Digital camera using exposure information acquired from a scene
US7385641B2 (en) 2003-05-27 2008-06-10 Spyder Navigations, L.L.C. Camera arrangement with multiple illuminators for close in photography
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7652717B2 (en) * 2005-01-11 2010-01-26 Eastman Kodak Company White balance correction in digital camera images
JP4516500B2 (ja) 2005-08-23 2010-08-04 富士フイルム株式会社 撮像装置
US7711257B2 (en) 2006-04-24 2010-05-04 Nokia Corporation Image quality in cameras using flash
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
KR100866201B1 (ko) * 2007-02-22 2008-10-30 삼성전자주식회사 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법
JP5021338B2 (ja) * 2007-03-02 2012-09-05 富士フイルム株式会社 ホワイトバランス補正装置および方法
EP2137696A2 (en) 2007-03-16 2009-12-30 STI Medical Systems, LLC A method to provide automated quality feedback to imaging devices to achieve standardized imaging data
JP5169318B2 (ja) 2007-09-18 2013-03-27 株式会社リコー 撮像装置、撮像方法
US8018525B2 (en) * 2007-12-21 2011-09-13 Nokia Corporation Camera flash module and method for controlling same
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP2009206651A (ja) 2008-02-26 2009-09-10 Ricoh Co Ltd 撮像装置
TWI374400B (en) * 2008-06-11 2012-10-11 Vatics Inc Method for auto-exposure control
CN101794371A (zh) * 2009-02-01 2010-08-04 微星科技股份有限公司 脸部辨识的光源阈值的调整方法
JP5225137B2 (ja) 2009-02-16 2013-07-03 キヤノン株式会社 撮像装置、画像処理方法及びプログラム
JP4757927B2 (ja) 2009-03-13 2011-08-24 アキュートロジック株式会社 ホワイトバランス調整装置及びホワイトバランス調整方法
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash

Also Published As

Publication number Publication date
KR20130102089A (ko) 2013-09-16
US8773577B2 (en) 2014-07-08
CN103190144A (zh) 2013-07-03
EP2633679B1 (en) 2017-03-01
KR101488630B1 (ko) 2015-01-30
CN103190144B (zh) 2016-01-27
EP2633679A1 (en) 2013-09-04
JP2013541307A (ja) 2013-11-07
US20120105668A1 (en) 2012-05-03
IN2013MN00785A (ja) 2015-06-12
WO2012058239A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
JP5739001B2 (ja) 対象領域抽出
CN107079083B (zh) 一种拍照方法、拍照装置和终端
US8749653B2 (en) Apparatus and method of blurring background of image in digital image processing device
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
US8026974B2 (en) Imaging apparatus, method and program
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
US8786728B2 (en) Image processing apparatus, image processing method, and storage medium storing image processing program
US8665355B2 (en) Image capture with region-based adjustment of contrast
EP3889883A1 (en) Image processing method and device, mobile terminal, and storage medium
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
JP2012156838A (ja) 撮像装置、撮像制御方法、およびプログラム
US8760527B2 (en) Extending a digital camera focus range
JP7498756B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
CN114143443B (zh) 双传感器摄像系统及其摄像方法
JP2008005248A (ja) 撮像装置
JP2003309854A (ja) デジタルカメラ
US8754953B2 (en) Digital camera providing an extended focus range
WO2012177495A1 (en) Digital camera providing an extended focus range
CN115706853A (zh) 视频处理方法、装置、电子设备和存储介质
JP2016181798A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150422

R150 Certificate of patent or registration of utility model

Ref document number: 5739001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250