JP5539474B2 - デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法 - Google Patents

デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法 Download PDF

Info

Publication number
JP5539474B2
JP5539474B2 JP2012219364A JP2012219364A JP5539474B2 JP 5539474 B2 JP5539474 B2 JP 5539474B2 JP 2012219364 A JP2012219364 A JP 2012219364A JP 2012219364 A JP2012219364 A JP 2012219364A JP 5539474 B2 JP5539474 B2 JP 5539474B2
Authority
JP
Japan
Prior art keywords
image
image sensor
sensor
vertical
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012219364A
Other languages
English (en)
Other versions
JP2013048450A5 (ja
JP2013048450A (ja
Inventor
シアン−ツン・リ
ベニー・ケイティビアン
ハオホン・ワン
シャラス・マンジュナス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013048450A publication Critical patent/JP2013048450A/ja
Publication of JP2013048450A5 publication Critical patent/JP2013048450A5/ja
Application granted granted Critical
Publication of JP5539474B2 publication Critical patent/JP5539474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

関連出願
本願は、２００６年７月２５日に出願され、"MOBILE DEVICE WITH DUAL DIGITAL CAMERA SENSORS AND METHODS OF USING THE SAME"と題され、その全体が参照によって本明細書に組み込まれ、本願ともに譲渡された米国特許出願（代理人整理番号０６１１７０）に関連する。
本願は、電子デバイスに関し、さらに詳しくは、デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法に関する。
例えばセルラ電話のようないくつかのモバイル・デバイスは、画像をキャプチャするためのセンサを持つことができる。
１つの局面は、第１の画像センサと、第１の画像センサと離れて配置された第２の画像センサと、第１の画像センサおよび第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、ダイバーシティ合成モジュールから得られた合成画像データを処理するように構成された画像処理モジュールとを備えた装置に関する。
他の局面は、第１の画像センサを用いて第１の画像を検知することと、第１の画像センサから離れて配置された第２の画像センサを用いて第２の画像を検知することと、第１の画像センサおよび第２の画像センサからの画像データをダイバーシティ合成することと、立体画像を生成するために、合成された画像データを処理することとを備えた方法に関する。
１または複数の実施形態の詳細は、添付図面および以下の記述で述べられる。
図１は、２またはそれ以上のカメラ・センサを備えたモバイル・デバイスを例示している。 図２Ａは、単一の視点Ｖがカメラ・センサの位置である場合における画像平面Ｐ１’およびＰ２’に投影された２つの対象ポイントＰ１およびＰ２を例示している。 図２Ｂは、左側Ｖと右側Ｖとが、２つのカメラ・センサの位置である場合における右側画像平面Ｐ１ｒ’、Ｐ２ｒ’および左側画像平面Ｐ１ｌ’、Ｐ２ｌ’の２つの対象ポイントＰ１およびＰ２の投射投影を例示している。 図３は、図１のデバイスにおけるカメラ処理パイプラインの一例を例示している。 図４は、図１のデバイスによって実行されうる立体映像処理フローチャートを例示している。 図５は、図１のデバイスの２つのセンサによって見られる画像の一例を例示する。 図６は、図１のデバイスの２つのセンサ・コントローラのフローチャートを例示する。 図７Ａは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。 図７Ｂは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。 図７Ｃは、図７Ａおよび図７Ｂの左目視点および右目視点から構成された３−Ｄ画像を示す。 図８Ａは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。 図８Ｂは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。 図８Ｃは、図８Ａおよび図８Ｂの左目視点および右目視点から構築された３−Ｄ画像を示す。 図９は、２またはそれ以上のセンサを備えたモバイル・デバイスの別の構成を例示する。 図１０は、図９のデバイスを用いた映像モード処理の方法を例示する。
（投射図法）
図２Ａに示されるように、カメラは投射投影を行なうことにより画像をキャプチャする。図２Ａは、単一の視点Ｖがカメラ・センサの位置である場合における画像平面Ｐ１’およびＰ２’に投影された２つの対象ポイントＰ１およびＰ２を例示している。
深さ方向を知覚することができる人間の視覚体系を模擬するために、２つのカメラ・センサを備えたデバイスが、図２Ｂに示すように、右目および左目のビューをキャプチャすることができる。図２Ｂは、左側Ｖと右側Ｖとが、２つのカメラ・センサの位置である場合における右側画像平面Ｐ１ｒ’、Ｐ２ｒ’および左側画像平面Ｐ１ｌ’、Ｐ２ｌ’の２つの対象ポイントＰ１およびＰ２の投射投影を例示している。画像平面上における対象の投射の差分は、立体画像としての深さ方向の感知に相当する。
図７Ａ−７Ｂおよび図８Ａ−８Ｂは、約６ｃｍの水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。図７Ｃおよび図８Ｃは、下記に述べられるように、図７Ａ−７Ｂおよび図８Ａ−８Ｂからの左目視点および右目視点から構築された３−Ｄ画像を示す。
（３−Ｄ立体画像および映像）
知覚的なリアリズムを高めることは、次世代のマルチメディア開発を駆り立てる要因となった。急速に成長しているマルチメディア通信市場およびエンタテイメント市場は、立体画像キャプチャ、処理、圧縮、配信、および表示をカバーする３次元（３−Ｄ）（立体または立体的とも称される）画像技術および映像技術を用いることができる。
立体（stereo）画像と単一（mono）画像との間の主な相違は、前者が、シーン内における対象の距離と、３次元の感覚とを与えることである。人間の視覚は、本質的には、異なる投射視点にある左目と右目によって見られる両目を用いた視点によって、立体的である。我々の脳は、立体的な深さのある画像を合成することができる。
マルチメディア・デバイスは、モノスコピックなインフラストラクチャで実現されうる。モノスコピックなカメラは、立体画像をキャプチャして生成することができる。モノスコピックなカメラは、立体画像を生成するために、深さ情報を検出および推定する自動焦点処理からの統計情報を用いることができる。
（デュアル・センサを備えたデバイス）
デュアル・センサを備えたデバイスに関し、例えば、増加したデータ処理の計算上の複雑さ、電力消費、これらセンサの位置および解像度の設定のような多くの問題がある。カメラ電話のようなデバイスは、固定位置に２つの画像センサを有しうる。すなわち、２つのセンサは、移動することができない。２つのセンサは、例えば異なる解像度を持つ１次センサおよび２次センサのように、別々に設定され、取り扱われうる。低解像度センサが、映像をキャプチャするために使用される一方、高解像度センサが、静止画像をキャプチャするために使用されうる。下記に述べられるように、２つのセンサから得られた画像は、ともに合成あるいは処理されうる。
デュアル・センサ・カメラ電話は、立体画像または立体映像をキャプチャおよび生成するために、正確なビューを得ることができる。デュアル・カメラ・センサ・モバイル・デバイスのコストは、１つのセンサを持つデバイスとほぼ同じほどに低減されうる。以下の記述は、高品質立体画像／映像キャプチャおよび立体画像合成を可能にするデュアル・カメラ・センサ・モバイル・デバイスあるいは立体画像システムを説明する。
図１は、３−Ｄ立体画像および映像をキャプチャして処理するように構成された、デュアル・デジタル・カメラ・センサ１３２、１３４を備えたモバイル・デバイス１３０を例示する。一般に、モバイル・デバイス１３０は、デジタル画像および／または映像シーケンスをキャプチャし、生成し、処理し、修正し、スケールし、符号化し、復号し、送信し、格納し、表示するように構成されうる。このデバイス１３０は、高品質立体画像キャプチャ、様々なセンサ位置、視点角度ミスマッチ補償、および、立体画像の処理および合成のための効率的なソリューションを提供することができる。
モバイル・デバイス１３０は、無線通信デバイス、携帯情報端末（ＰＤＡ）、ハンドヘルド・デバイス、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ネットワーク対応デジタル・テレビ、モバイル電話、セルラ電話、衛星電話、カメラ電話、地上ベースの無線電話、ダイレクト双方向通信デバイス（しばしば、「ウォーキー・トーキー」と称される）、カムコーダ等で実現されうる。
モバイル・デバイス１３０は、第１のセンサ１３２、第２のセンサ１３４、第１のカメラ・インタフェース１３６、第２のカメラ・インタフェース１４８、第１のバッファ１３８、第２のバッファ１５０、メモリ１４６、ダイバーシティ合成モジュール１４０（あるいはエンジン）、カメラ処理パイプライン１４２、第２のメモリ１５４、３−Ｄ画像用ダイバーシティ合成コントローラ１５２、モバイル・ディスプレイ・プロセッサ（ＭＤＰ）１４４、ビデオ・エンコーダ１５６、静止画像エンコーダ１５８、ユーザ・インタフェース１２０、およびトランシーバ１２９を含みうる。図１に示される構成要素に加えて、あるいはそれらの構成要素の代わりに、モバイル・デバイス１３０は、その他の構成要素を含むことができる。図１のアーキテクチャは、単に一例である。本明細書に記述された機能および技術は、その他様々なアーキテクチャで実現されうる。
センサ１３２、１３４は、デジタル・カメラ・センサでありうる。センサ１３２、１３４は、同様または異なる物理構造を有しうる。センサ１３２、１３４は、同様にまたは異なって設定されたセッティングを有しうる。センサ１３２、１３４は、静止画像スナップショットおよび／または映像シーケンスをキャプチャすることができる。各センサは、個々のセンサまたはセンサ要素の表面に配置されたカラー・フィルタ・アレイ（ＣＦＡ）を含むことができる。
メモリ１４６、１５４は、個別かもしれないしあるいは統合されうる。メモリ１４６、１５４は、処理前および処理後の画像シーケンスまたは映像シーケンスを格納することができる。メモリ１４６、１５４は、揮発性記憶装置および／または不揮発性記憶装置を含みうる。メモリ１４６、１５４は、例えばダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、フラッシュ・メモリまたはＮＡＮＤゲート・メモリ、あるいはその他任意のデータ記憶技術のような任意のタイプのデータ記憶手段を備えることができる。
カメラ処理パイプライン１４２（エンジン、モジュール、処理ユニット、ビデオ・フロント・エンド（ＶＦＥ）等とも称される）は、ハードウェア、ソフトウェア、ファームウェア、および／または１または複数のマイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいはこれらの様々な組み合わせを含むモバイル電話用チップ・セットを備えうる。このパイプライン１４２は、画像シーケンスおよび／または映像シーケンスの品質を改善するために、１または複数の画像処理技術を実行することができる。下記に述べられるように、図３は、図１のカメラ処理パイプライン１４２の一例を例示している。
ビデオ・エンコーダ１５６は、デジタル・ビデオ・データの符号化（すなわち圧縮）および復号（すなわち解凍）のためのエンコーダ／デコーダ（コーデック）を備えることができる。ビデオ・エンコーダ１５６は、ＭＰＥＧまたはＨ．２６４のような、１または複数の符号化／復号規格またはフォーマットを使用することができる。
静止画像エンコーダ１５８は、画像データの符号化（すなわち圧縮）および復号（すなわち解凍）のためのエンコーダ／デコーダ（コーデック）を備えることができる。静止画像エンコーダ１５８は、例えばＪＰＥＧのような１または複数の符号化／復号規格またはフォーマットを使用することができる。
トランシーバ１２９は、符号化された画像シーケンスまたは映像シーケンスを受信して、別のデバイスまたはネットワークに送信することができる。トランシーバ１２９は、符号分割多元接続（ＣＤＭＡ）のような無線通信規格を使用することができる。ＣＤＭＡ規格の例は、ＣＤＭＡ １ｘ エボリューション・データ・オプティマイズド（ＥＶ−ＤＯ）（３ＧＰＰ２）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）（３ＧＰＰ）等を含む。
デバイス１３０は、２センサ・カメラ・アーキテクチャのための高度に最適化されたハードウェア・ソリューションを含みうる。そのコストは、単一センサ・カメラで使用されるエンジンとほぼ等しい。デュアル・カメラ・センサ・デバイス１３０内には、キャプチャされた画像および映像の高い視覚品質、および、低電力制約を提供するモジュールのセットが実装されうる。
デバイス１３０は、３−Ｄ立体画像および映像が効率的に生成されるように、２つのセンサ１３８、１５０間の固定された水平距離を保つことができる。図１に示すように、２つのセンサ１３２、１３４は、水平距離で約６ｃｍ離れているが、６ｃｍよりも遠いあるいは近いその他の距離もまた使用されうる。第１のセンサ１３２は、１次センサであり、第２のセンサ１３４は、２次センサでありうる。第２のセンサ１３４は、電力消費を低減するために、非立体モードに対しては停止されうる。
２つのバッファ１３８、１５０は、例えば、２つのセンサ１３２、１３４からのピクセル・データの１行または１ラインのようなリアル・タイム・センサ入力データを格納することができる。センサ・ピクセル・データは、小さなバッファ１３８、１５０にオン・ラインで（つまりリアル・タイムで）入る。そして、センサ１３２とセンサ１３４（またはバッファ１３８とバッファ１５０）を切り換えることによって、ダイバーシティ合成モジュール１４０および／またはカメラ・エンジン・パイプライン・エンジン１４２によって、オフラインで処理される。ダイバーシティ合成モジュール１４０および／またはカメラ・エンジン・パイプライン・エンジン１４２は、１つのセンサのデータ・レートの約２倍の速度で動作することができる。出力データ帯域幅およびメモリ要求を低減するために、立体画像および映像が、カメラ・エンジン１４２内で整えられる。
ダイバーシティ合成モジュール１４０は、まず、第１のバッファ１３８からのデータを選択する。バッファ１３８の１行の終わりに、ダイバーシティ合成モジュール１４０は、第２のセンサ１３４からデータを得るために、第２のバッファ１５０に切り換えることができる。ダイバーシティ合成モジュール１４０は、第２のバッファ１５０からのデータの１行の終わりに、第１のバッファ１３８に切り換えることができる。
処理電力およびデータ・トラフィック帯域幅を低減するために、映像モードにあるセンサ画像データは、（第１のメモリ１４６をバイパスすることによって）バッファ１３８、１５０を経由して直接的にダイバーシティ合成モジュール１４０へ送られうる。一方、スナップショット（画像）処理モードの場合、センサ・データが、オフライン処理のために、メモリ１４６に保存されうる。さらに、低電力消費プロファイルのために、第２のセンサ１３４の電源がオフされ、カメラ・パイプライン駆動クロックを縮小することができる。
（立体画像合成）
図７Ａ−７Ｂおよび図８Ａ−８Ｂは、水平距離で約６ｃｍ離された第１のセンサ１３２と第２のセンサ１３４（左目視点および右目視点）によってキャプチャされた画像の例を例示している。図７Ａ−７Ｂおよび図８Ａ−８Ｂは、（図１のデバイス１３０内、または、デバイス１３０からのデータを受信するその他幾つかのデバイス内の）自動立体画像（autostereoscopic）表示システムに直接的に渡される画像を示す。立体画像（stereoscopic）表示を見るためには、ユーザによって３−Ｄ眼鏡が使用されるべきである。これは、立体的なアプリケーションの効果を実演する。自動立体画像（autostereoscopic）と単なる立体画像（stereoscopic）との違いは、立体画像表示は、３−Ｄ眼鏡を必要とすることである。３−Ｄ眼鏡は、各目に対する正しい視点を選択的に可能にする。これら３−Ｄ眼鏡上のカラー・フィルタ（Anaglyph）の場合、左目視点のみが赤チャネル・データを含み、右目視点のみが緑チャネルおよび青チャネルを含む。図３のカメラ・プロセス処理パイプライン内のカラー・チャネル・マスク３２８は、未使用のチャネル・データを削除することができる。
図７Ｃおよび図８Ｃは、図７Ａ−７Ｂおよび図８Ａ−８Ｂにおける２視点から構築された３−Ｄ立体画像（anaglyph）を例示する。
（カメラ・パイプライン）
図３は、図１のカメラ処理パイプライン１４２の一例を例示する。例えば、このパイプライン１４２は、黒サブトラクト（subtract）モジュール３００と、レンズ・ロール・オフ補正モジュール３０２と、チャネル利得モジュール３０４と、不良ピクセル補正またはノイズ低減モジュール３０６と、デモザイク・モジュール３０８と、統計データ収集モジュール３１０と、１−Ｄ Ｙマッピング・モジュール３１２と、視野（ＦＯＶ：field of view）クロッピング・モジュール３１４と、スケール・モジュール３１６と、ホワイト・バランス・モジュール３１８と、色補正モジュール３２０と、皮膚色プロセッサ３２２、ｌｕｍａ適応モジュール３２４と、赤／緑／青（ＲＧＢ）ルック・アップ・テーブル（ＬＵＴ）と、ＲＧＢ−ＹＣｒＣｂ色変換またはチャネル・マスク・モジュール３２８と、Ｙ適応空間フィルタ（ＡＳＦ：adaptive spatial filtering）モジュール３３０と、彩度サブ・モジュール３３２とを含むことができる。図３中で示されるモジュール／機能に加えて、あるいはそのモジュールの代わりに、パイプライン１４２は、他のモジュールおよび／または機能を含むことができる。パイプライン１４２の出力は、図１の第２のメモリ１５４に供給されうる。
（垂直ミスマッチ・オフセット）
デバイス１３０は、２つの独立したセンサ１３２、１３４からキャプチャされた２つの画像の垂直ミスマッチを高信頼度で計算し、補償することができる。
図５は、図１の２つのセンサ１３２、１３４によって見られた、すなわちキャプチャされた画像の一例を例示する。センサ１３２、１３４のおのおのの有効な行インデクスは、２つのセンサ１３２、１３４間に存在する“Ｙオフセット”と呼ばれる垂直ミスマッチ・オフセットに由来する。３−Ｄ画像用ダイバーシティ合成コントローラ１５２は、図６を用いて下記に示すようにして、Ｙオフセットを導出する。例えば、Ｙオフセット＝５の場合、第１のセンサ１３２の有効な行インデクスは、５から（画像高さ−１）となり、第２のセンサ１３４については、０から（画像高さ−６）となる。あるいは、Ｙオフセット＝−５の場合、第１のセンサ１３２の有効な行インデクスは、０から（画像高さ−６）となり、第２のセンサ１３４については、５から（画像高さ−１）となる。２つのセンサの出力データを使うために、単一のカメラＶＦＥパイプライン１４２が、高クロック周波数で駆動されうる。
Ｙオフセットを推定するために、Ｙ １−Ｄマッピング・モジュール３１２が、例えば、付録Ａの擬似コードにおけるＹ ＳｕｍＳｅｎｓｏｒ１[]およびＹ ＳｕｍＳｅｎｓｏｒ２[]のような垂直方向１−Ｄマッピング・データを提供する。入力される行データは、第１のセンサ１３２および第２のセンサ１３４から交互に来るので、おのおのの行のＹ ＳｕｍＳｅｎｓｏｒ１[]およびＹ ＳｕｍＳｅｎｓｏｒ２[]は、フレームの最後において利用可能となるだろう。このＹ推定タスクがディセーブルされると、Ｙ １−Ｄマッピング・モジュール３１２は、電力消費を低減するためにディセーブルされる。
チャンネル・マスク・モジュール３２８は、決まった画像および映像処理のために色変換を実行し、３−Ｄ画像の構築時において色チャネル・マスク・タスクを実行しうる。左目視点のみが赤チャネル・データを含み、右目視点が緑チャネルおよび青チャネルを含んでいるので、カメラ・エンジン１４２は、第１のセンサ行データに関する赤チャネル・データのみを送り出し、第２のセンサ行データに関する緑チャネル・データおよび青チャネル・データを送出する。したがって、立体画像の構築のための出力データ・トラフィック帯域幅、メモリ要求、および後処理タスクが低減されうる。
（映像モード処理）
図４は、図１のデバイス１３０によって実行されうる立体映像処理フローチャートを例示する。立体画像処理は、図４の立体映像モード処理と同様の方法で実行されうる。ブロック４００では、水平ピクセル・インデクスが、バッファ選択が第１のバッファ１３８（第１のセンサ・データ）であるか、第２のバッファ１５０（第２のセンサ・データ）であるかを決定する。ブロック４０２、４０６では、第１のバッファ１３８および第２のバッファ１５０からそれぞれピクセルが読み取られる。ブロック４０４、４０８では、有効なデータ基準について、垂直ピクセル・インデクス（ｙピクセル）が、Ｙオフセット（ｙ＿ｏｆｆｓｅｔ）と比較される。この有効なデータ基準は、第１のセンサ・データとも第２のセンサ・データとも異なる有効な行データは、ブロック４１０において、ダイバーシティ合成モジュール１４０へ送られ、その後、ブロック４１２において、カメラ・パイプライン・エンジン１４２に送られるだろう。ブロック４１４は、そのピクセルが最後のピクセルであるかを判定し、もし最後のピクセルでなければ、ブロック４００に戻る。もし最後のピクセルであれば、処理された、第１のセンサ・データの赤チャネル・データと、第２のセンサ・データの緑チャネル・データおよび青チャネル・データとが、たとえばブロック４１８における表示や映像符号化のような更なる処理のために、メモリ１５４内に保存されるだろう（ブロック４１６）。
（センサ・コントローラ）
位置の不正確さおよび視点角度のミスマッチによって、２つのセンサによってキャプチャされた画像間で、ある垂直方向のミスマッチ・オフセットが存在しうる。図５は、２つのセンサによってキャプチャされた画像間の垂直方向のオフセット（“Ｙオフセット”）を例示する。２つのセンサのコントローラ１５２は、共通のオーバラップ・エリアに位置する構築された画像を、垂直方向において調節することができる。（図４におけるブロック４０４および４０８によって、あるいは、図３におけるＦＯＶクロッピング・モジュール３１４によって）画像の上端または下端をクロップ・アウトした後、「構築された画像の高さ」は、図５に示すように、「センサ画像高さ」からＹオフセットを引いたものに等しい。
図６は、図１中の２つのセンサ・コントローラ１５２のフローチャートを例示する。図６は、デバイス１３０に電源が投入された場合、あるいは、センサ位置が変わった場合にアクティブになる推定タスクを例示する。オフセットは垂直方向にしかないので、この提案された推定ソリューションは、（図３における１−Ｄ Ｙマッピング・モジュール３１２による）１−Ｄ Ｙマッピングによって行われ、その後、１−Ｄ相互相関がなされる。付録Ａは、対応する擬似コードをリストしている。
水平距離と、僅かな垂直距離とを持つ２つの画像が同時にキャプチャされるので、２つのシーンは、水平方向において非常に類似し、高く相関付けられる。したがって、この処理は、ロバストで効率的なターゲットを達成するために、１−Ｄ垂直マッピングおよび相互相関探索のみを用いる。
ブロック６０２、６０６では、第１のセンサ１３２および第２のセンサ１３４が、データをキャプチャする。各行について蓄積されたｌｕｍａデータは、フレームの最後において利用可能である。ブロック６０４、６０８では、カメラ・パイプライン１４２が、図３の１−Ｄ Ｙマッピング・モジュール３１２による１−Ｄ Ｙマッピングを用いてセンサ・データを処理する。
ブロック６１０では、図１におけるコントローラ１５２が、２つのセンサのＹマッピング間の最大相関に対応するＹオフセットを見つける。２つのセンサのＹマッピング・データの相互相関は、図１のコントローラ１５２による後処理中に行われる。最大相互相関に対応するオフセットは、導出されたＹオフセットである。垂直オフセットは、視点角度に依存して制限された値でありうる。その探索範囲もまた制限されうる。
ブロック６１２では、立体画像処理の失敗を回避するために、最大相互相関が、図１におけるコントローラ１５２によって、しきい値と比較される。最大相互相関が、しきい値未満ではない場合、立体画像が正しく構築され、ブロック６１４において、ダイバーシティ合成のためのＹオフセットが設定される。例えば、このしきい値は、第１のセンサＹマッピング・データの自動相関の９０％として設定されうる。言い換えれば、構築ステータスは、第１のセンサと第２のセンサとでオーバラップしている画像エネルギーが、第１のセンサ・データのエネルギーの９０％に等しいか、それより大きい場合においてのみ正しい。最大相互相関がしきい値以下である場合、ブロック６１６に示すように、立体画像は、正しく構築されない。
要約すると、デュアル・カメラ・センサ１３２、１３４を備えたデバイス１３０は、高品質な立体画像および映像のキャプチャを可能とする。例えばセンサ位置、視点角度ミスマッチ補償、および２つの視点の合成のような多くの問題に対処することができる。デバイス１３０は、デバイス１３０のコストが、単一のセンサを備えたカメラ電話で使用される処理エンジンとほぼ同じになるように、特定のアプリケーションの低電力制約を満足するように高度に最適化されている。一方、柔軟性がありかつ信頼性のある解決策は、高い視覚品質を保証するために、２つの独立したセンサ１３２、１３４からキャプチャされた２つの視点画像の垂直方向のミスマッチを計算し、補償することができる。
（少なくとも１つのセンサが可動式である２つのセンサを備えたデバイス）
図９は、２またはそれ以上のセンサ１０２、１０４を備えたモバイル・デバイス１００の別の構成を例示している。デバイス１００は、上述した機能のうちの１または複数を実現するように構成されうる。モバイル・デバイス１００は、デジタル画像および／または映像シーケンスをキャプチャ、生成、処理、修正、スケール、符号化、復号、送信、格納、および表示するように構成されうる。モバイル・デバイス１００は、例えば、無線通信デバイス、携帯情報端末（ＰＤＡ）、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ネットワーク対応のデジタル・テレビ、モバイル電話、セルラ電話、衛星電話、カメラ電話、地上ベースの無線電話、ダイレクト双方向通信デバイス（しばしば、「ウォーキー・トーキー」と称される）等のようなデバイス内に存在するか、あるいはこれらデバイスに実装されうる。
モバイル・デバイス１００は、第１のセンサ１０２、第２のセンサ１０４、センサ位置コントローラ１０６、カメラ処理パイプライン１０８、ディスプレイ１１０、ビデオ・エンコーダ１１２、静止画像エンコーダ１１４、メモリ１１６、カメラ・コントローラ１１８、ユーザ・インタフェース１２０、プロセッサ１２８、およびトランシーバ１２９を含みうる。図９に示す構成要素に加えて、あるいはその構成要素の代わりに、モバイル・デバイス１００は他の構成要素を含むことができる。図９で示されたアーキテクチャは、単に一例である。本明細書に記述された特徴および技術は、その他様々なアーキテクチャを用いて実現されうる。
センサ１０２、１０４は、デジタル・カメラ・センサでありうる。センサ１０２、１０４は、静止画像スナップショットおよび／または映像シーケンスをキャプチャすることができる。これらセンサはそれぞれ、個々のセンサまたはセンサ要素の表面に配置されたカラー・フィルタ・アレイ（ＣＦＡ）を含みうる。
メモリ１１６は、処理前および処理後の画像または映像シーケンスを格納することできる。メモリ１１６は、揮発性記憶装置および不揮発性記憶装置を含むことができる。メモリ１１６は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、フラッシュ・メモリ、ＮＯＲまたはＮＡＮＤゲート・メモリ、またはその他任意のデータ記憶技術のような任意のタイプのデータ記憶手段を備えうる。
（エンジン、モジュール、処理ユニット等とも呼ばれる）カメラ処理パイプライン１０８は、ハードウェア、ソフトウェア、ファームウェア、および／または、１または複数のマイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいはこれらの様々な組み合わせを含む、モバイル電話のためのチップ・セットを備えうる。カメラ処理パイプライン１０８は、画像および／または映像シーケンスの品質を改善する１または複数の画像処理技術を実行することができる。例えば、パイプライン１０８は、デモザイク、レンズ・ロール・オフ補正、スケーリング、色補正、色変換、および空間フィルタリングのような技術を実行することができる。パイプライン１０８はまた、その他の技術を実行することが可能である。
ビデオ・エンコーダ１１２は、デジタル・ビデオ・データを符号化（すなわち圧縮）、および復号（すなわち解凍）をするためのエンコーダ／デコーダ（コーデック）を備えることができる。
静止画像エンコーダ１１４は、画像データを符号化（すなわち圧縮）、および復号（すなわち解凍）をするためのエンコーダ／デコーダ（コーデック）を備えることができる。
トランシーバ１２９は、符号化された画像または映像シーケンスを受信し、および／または、それらを、別のデバイスまたはネットワークへ送信することができる。トランシーバ１２９は、符号分割多元接続（ＣＤＭＡ）のような無線通信規格を使用することができる。ＣＤＭＡ規格の例は、ＣＤＭＡ １ｘ エボリューション・データ・オプティマイズド（ＥＶ−ＤＯ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）等を含む。
（センサに関する更なる詳細）
２つの個別のセンサ１０２、１０４を備えたモバイル・デバイス１００の設計および機能が、以下に述べられる。センサ１０２、１０４は、２つの局面を持つことができる。第１に、センサ位置コントローラ１０６が、例えば、センサ１０２、１０４を、１または複数の方向に回転、シフト、またはスライドさせることによって、２つのセンサ１０２、１０４の場所および／または位置を調節することができる。動作のいくつかの例が、図９に示される。しかし、他の２次元（２−Ｄ）または３次元（３−Ｄ）の動作もまた実施されうる。その動作は、ユーザおよび／またはカメラ・コントローラ１１８によって設定されうる。調整可能なセンサ１０２、１０４によって、例えば画像品質改善、３−Ｄ画像および映像視覚化、および３６０°パノラマ映像生成のような多くの高機能を可能としうる。
これら動作は、ある期間中、あるいはある周波数の間、固定されうる。１つの構成では、センサは、２を超えるセンサを備えている。これらセンサは、ライン状に、三角形状に、円状またはその他幾つかのパターンで配置される。この構成では、デバイス１００は、あるセンサを起動し、何れのセンサをも動かすことなく他のセンサを停止させることができる。この構成は、センサを動かすことから生じる問題を回避することができる。
第２に、例えば分解能のような、センサ１０２、１０４の様々な設定を調節することができ、さらに進化した機能および／または画像処理アプリケーションが可能となる。デュアル・センサ１０２、１０４は、モバイル・デバイス１００の画像処理の柔軟性を改善することができる。
図１０は、図９のデバイス１００を用いたビデオ・モード処理の方法を例示する。図１０は、図１乃至図８Ｃを参照して説明された機能のうちの何れかを含むように組み合わせまたは修正される。ブロック２０２および２０４では、センサ１０２、１０４が、画像をキャプチャして、ビデオ・フロント・エンド（ＶＦＥ）内に実装されているかあるいはビデオ・フロント・エンド（ＶＦＥ）と結合されたカメラ処理パイプライン１０８へピクセル・データを送る。ブロック２０６および２０８では、カメラ処理パイプライン１０８が、このピクセル・データを処理する。例えば、カメラ処理パイプライン１０８は、色を調節し、サイズをスケールし、画像コントラストを高めることにより、画像品質を改善することができる。
ブロック２１０では、カメラ処理パイプライン１０８が、２つのセンサ１０２、１０４からの、処理され、キャプチャされた画像を合成する（または縫い合わせる）。合成された画像は、ディスプレイ１１０による表示のため、および／または、エンコーダ１１２、１１４による静止画像および／または映像の符号化のために、メモリ１１６に保存されうる。判定ブロック２１２は、キャプチャおよび処理するための更なるピクセル・データが存在するかを判定する。
２つのセンサ１０２、１０４は、１または複数の利点を備えることができる。第１に、センサ位置を調節することによって、観察者の視角を制御することができる。第２に、２つのセンサ１０２、１０４から入力された画像が、一緒に処理され合成されうる。第３に、２つのセンサ１０２、１０４の間の水平距離が調整可能でありうる。これらの利点のうちの１または複数は、柔軟性および機能を高め、広範囲の拡張機能をサポートすることができる。
本明細書に記述された技術は、特定用途のためのセンサ位置設定および制御構成に依存しうる。低電力消費プロファイルのために、第２のセンサ１０４の電源がオフされ、カメラ・パイプライン駆動クロックを縮小することができる。
（調整可能なセンサ位置）
センサ１０２、１０４には３つの位置あるいは場所が存在しうる。これは、柔軟性を与え、拡張機能を可能にする。
２つのセンサ１０２、１０４は、互いに非常に接近して配置されうる。２つのセンサ１０２、１０４が、実質的に同じビュー・ポートをターゲットとしている場合、つまり、理論上、２つのセンサ１０２、１０４の間の距離が、０に近い場合、キャプチャされた画像および／または映像の品質は、非常に高められうる。キャプチャされた画像を１つに合成するために、それらを移動させる調節アルゴリズムを用いることができる。
特に、光が弱い環境においては、ランダムな画像ノイズが問題となりうる。２つのセンサ１０２、１０４を用いた受信ダイバーシティは、時間ダイバーシティによる重なり合った画像のボケや、露光時間といった制約なしで、センサ・ノイズを低減するための良い解決策でありうる。２つのセンサ１０２、１０４は、２つのセンサ１０２、１０４によってキャプチャされたシーン間の相違点を少なくするために、互いに近接して配置されうる。センサ・ノイズ分布は、独立しており、同じ分散を持つかもしれない。２つのセンサ１０２、１０４からの２つの処理された画像の合成後、信号対ノイズ比（ＳＮＲ）は、以下のようにして計算されうる。
Figure 0005539474
ここで、Ｓ１およびＳ２は、センサ１０２およびセンサ１０４からのキャプチャされた画像の信号であり、ｖａｒ（Ｎ１）およびｖａｒ（Ｎ２）は、センサ１０２およびセンサ１０４からのセンサ・ノイズ画像分散である。２つのセンサの画像および映像を合成した後、ＳＮＲは、３デシベル（ｄＢ）も改善されうる。
デュアル・カメラ・センサを備えたモバイル・デバイスが本明細書で説明された。このデバイスでは、センサの設定および位置の両方が調節可能でありうる。高度な機能適応性のある画像合成エンジンが、例えば画像品質改善、３−Ｄ画像および映像視覚化、および３６０°パノラマ映像生成のような高度な機能またはアプリケーションを提供することができる。
本明細書で開示された局面に関連して記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズム・ステップが、電子工学ハードウェア、コンピュータ・ソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互置換性を明確に説明するために、様々な例示的な部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとしてまたはソフトウェアとして実現されるかは、特定のアプリケーションおよびシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変化する方法で上述した機能を実現することができる。しかしながら、この適用判断は、限定と解釈されるべきではない。
本明細書で開示された局面に関連して記述された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡあるいはその他のプログラマブル論理デバイス、ディスクリート・ゲートあるいはトランジスタ・ロジック、ディスクリート・ハードウェア部品、または本明細書に記述した機能を実現するために設計された上記何れかの組み合わせを用いて実現または実施されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはその他任意のこのような構成である計算デバイスの組み合わせとして実現することも可能である。
本明細書で開示された実施形態に関連して記述された方法やアルゴリズムの動作は、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェア・モジュールによって、または、これらの組み合わせによって具体化される。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、あるいはその他任意の型式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されることができる。このプロセッサと記憶媒体とは、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体とは、ユーザ端末内のディスクリート部品として存在することができる。
これら記述された局面に対する様々な変形例は、当業者に明らかであって、本明細書で定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく他の実施形態にも適用されうる。このように、本開示は、本明細書で示された実施形態に限定されるものではなく、本明細書に記載された原理および新規な特徴に一致した最も広い範囲に相当することが意図されている。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
第１の画像センサと、
前記第１の画像センサと離れて配置された第２の画像センサと、
前記第１および第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、
前記ダイバーシティ合成モジュールからの合成画像データを処理するように構成された画像処理モジュールと
を備えた装置。
［Ｃ２］
前記画像処理モジュールは、立体画像表示のための立体画像を生成するように構成されたＣ１に記載の装置。
［Ｃ３］
前記画像処理モジュールは、立体画像表示で直接的に視覚化される立体画像を生成するように構成されたＣ１に記載の装置。
［Ｃ４］
前記画像処理モジュールは、立体画像表示のための立体映像を生成するように構成されたＣ１に記載の装置。
［Ｃ５］
前記画像処理モジュールは、立体画像表示で直接的に視覚化される立体映像を生成するように構成されたＣ１に記載の装置。
［Ｃ６］
前記第１の画像センサからの画像データを格納する第１のバッファと、
前記第２の画像センサからの画像データを格納する第２のバッファとをさらに備え、
前記ダイバーシティ合成モジュールは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取るように構成されたＣ１に記載の装置。
［Ｃ７］
前記画像処理モジュールは、前記第１の画像センサおよび前記第２の画像センサからの画像データのための垂直方向１次元マッピングを提供するように構成されたマッピング・モジュールを備えるＣ１に記載の装置。
［Ｃ８］
前記マッピング・モジュールからの垂直方向１次元マッピング・データを相関付け、前記第１および第２の画像センサからの画像データの垂直マッピングの最大相関に対応する垂直ミスマッチ・オフセットを見つけるように構成されたコントローラをさらに備え、
前記ダイバーシティ合成モジュールは、前記第１および第２の画像センサからの画像データを合成するために前記垂直ミスマッチ・オフセットを使用するＣ７に記載の装置。
［Ｃ９］
前記ダイバーシティ合成モジュールは、
前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較し、前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを前記画像処理モジュールに送り、
前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較し、前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを前記画像処理モジュールに送る
ように構成されたＣ８に記載の装置。
［Ｃ１０］
前記コントローラは、立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、しきい値と比較するように構成されたＣ８に記載の装置。
［Ｃ１１］
前記画像処理モジュールは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行するように構成されたＣ１に記載の装置。
［Ｃ１２］
前記画像処理モジュールは、３次元画像を構築するためカラー・チャネル・マスク・タスクを実行するように構成された色変換モジュールを備えるＣ１に記載の装置。
［Ｃ１３］
前記画像処理モジュールは、前記第１の画像センサの行データに関する赤チャネル・データを出力し、前記第２の画像センサの行データに関する緑チャネル・データおよび青チャネル・データを出力するＣ１２に記載の装置。
［Ｃ１４］
前記第１の画像センサと前記第２の画像センサとは、約６ｃｍ離れて配置されたＣ１に記載の装置。
［Ｃ１５］
前記第２の画像センサは、前記装置が低電力モードに入った場合に停止するように構成されたＣ１に記載の装置。
［Ｃ１６］
前記装置はモバイル電話であるＣ１に記載の装置。
［Ｃ１７］
無線通信を送信および受信するように構成されたトランシーバをさらに備えるＣ１に記載の装置。
［Ｃ１８］
第１の画像センサを用いて第１の画像を検知することと、
前記第１の画像センサと離れて配置された第２の画像センサを用いて第２の画像を検知することと、
前記第１および第２の画像センサからの画像データをダイバーシティ合成することと、
立体画像を生成するために、前記ダイバーシティ合成された画像データを処理することと
を備える方法。
［Ｃ１９］
立体画像表示のための立体画像を準備することをさらに備えるＣ１８に記載の方法。
［Ｃ２０］
立体画像表示で直接的に視覚化される立体画像を準備することをさらに備えるＣ１８に記載の方法。
［Ｃ２１］
立体画像表示のための立体映像を生成することをさらに備えるＣ１８に記載の方法。
［Ｃ２２］
立体画像表示で直接的に視覚化される立体映像を生成することをさらに備えるＣ１８に記載の方法。
［Ｃ２３］
前記第１の画像センサからの画像データを格納することと、
前記第２の画像センサからの画像データを格納することとをさらに備え、
前記ダイバーシティ合成することは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取ることを備えるＣ１８に記載の方法。
［Ｃ２４］
前記ダイバーシティ合成された画像データを処理することは、前記第１の画像センサおよび前記第２の画像センサからの画像データのための垂直方向１次元マッピングを提供することを備えるＣ１８に記載の方法。
［Ｃ２５］
垂直方向１次元マッピング・データを相関付けることと、
前記第１および第２の画像センサからの画像データの垂直マッピングの最大相関に対応する垂直ミスマッチ・オフセットを見つけることとをさらに備え、
前記ダイバーシティ合成することは、前記第１および第２の画像センサからの画像データを合成するために前記垂直ミスマッチ・オフセットを使用するＣ２４に記載の方法。
［Ｃ２６］
前記ダイバーシティ合成することは、
前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較することと、
前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを処理することと、
前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較することと、
前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを処理することと
を備えるＣ２４に記載の方法。
［Ｃ２７］
立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、しきい値と比較することをさらに備えるＣ２４に記載の方法。
［Ｃ２８］
前記処理することは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行することを備えるＣ１８に記載の方法。
［Ｃ２９］
前記処理することは、３次元画像を構築するためカラー・チャネル・マスク・タスクを実行することを備えるＣ１８に記載の方法。
［Ｃ３０］
前記処理することは、前記第１の画像センサの行データに関する赤チャネル・データを出力し、前記第２の画像センサの行データに関する緑チャネル・データおよび青チャネル・データを出力するＣ２９に記載の方法。
［Ｃ３１］
低電力モードにある前記第２の画像センサを停止することをさらに備えるＣ１８に記載の方法。
［Ｃ３２］
無線通信を送信すること、および受信することをさらに備えるＣ１８に記載の方法。
Figure 0005539474

Claims (23)

  1. 立体画像を構築するための装置であって、
    複数の行および列に配置された複数のピクセルを備える第１の画像をキャプチャするように構成された第１の画像センサと、
    複数の行および列に配置された複数のピクセルを備える第２の画像をキャプチャするように構成され、前記第１の画像センサと離れて配置された第２の画像センサと、
    少なくとも１つのコントローラと
    を備え、前記少なくとも１つのコントローラは、
    前記第１の画像の各行または列における各ピクセルの値を合計することによって、前記第１の画像センサのための１次元マッピングを生成し、
    前記第２の画像の各行または列における各ピクセルの値を合計することによって、前記第２の画像センサのための１次元マッピングを生成し、
    相互相関を判定するために、前記第１の画像センサのために生成された１次元マッピングを、前記第２の画像センサのために生成された１次元マッピングと比較し、
    前記相互相関がしきい値を上回る場合、前記立体画像を構築する、
    ように構成され、
    前記第２の画像センサは、前記装置が低電力モードに入った場合に停止するように構成された、
    装置。
  2. 前記しきい値は９０パーセントであり、これによって、構築される前記立体画像について、前記第１の画像センサのための１次元マッピングと、前記第２の画像センサのための１次元マッピングとの間の相互相関が、９０パーセントを上回るようにされる、
    請求項１に記載の装置。
  3. 前記構築された立体画像を表示するための自動立体画像ディスプレイ（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）をさらに備える請求項１に記載の装置。
  4. 前記立体画像は、立体映像の一部である請求項１に記載の装置。
  5. 前記第１の画像センサからの画像データを格納する第１のバッファと、
    前記第２の画像センサからの画像データを格納する第２のバッファとをさらに備え、
    前記少なくとも１つのコントローラは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取るように構成された請求項１に記載の装置。
  6. 前記少なくとも１つのコントローラは、前記第１の画像センサおよび前記第２の画像センサからの画像データの列のための垂直方向１次元マッピングを提供するように構成された請求項１に記載の装置。
  7. 前記少なくとも１つのコントローラはさらに、
    垂直方向１次元マッピング・データを相関付け、
    前記第１および第２の画像センサからの画像データの垂直マッピングの最大１次元相互相関に対応する垂直ミスマッチ・オフセットを見つけるように構成された請求項６に記載の装置。
  8. 前記少なくとも１つのコントローラは、立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、前記しきい値と比較するように構成された請求項７に記載の装置。
  9. 前記少なくとも１つのコントローラは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行するように構成された請求項１に記載の装置。
  10. 前記第１の画像センサと前記第２の画像センサとは、約６ｃｍ離れて配置された請求項１に記載の装置。
  11. 前記装置はモバイル電話である請求項１に記載の装置。
  12. 無線信号を送信および受信するように構成されたトランシーバをさらに備える請求項１に記載の装置。
  13. 第１の画像センサ、第２の画像センサ、およびプロセッサを備えている装置を用いて立体画像を構築する方法であって、
    前記第１の画像センサを用いて複数の行および列に配置された複数のピクセルを備える第１の画像をキャプチャすることと、
    前記第１の画像センサと離れて配置された前記第２の画像センサを用いて、複数の行および列に配置された複数のピクセルを備える第２の画像をキャプチャすることと、
    前記プロセッサを用いて前記第１の画像の各行または列における各ピクセルの値を合計することによって、前記第１の画像センサのための１次元マッピングを生成することと、
    前記プロセッサを用いて前記第２の画像の各行または列における各ピクセルの値を合計することによって、前記第２の画像センサのための１次元マッピングを生成することと、
    相互相関を判定するために、前記プロセッサを用いて前記第１の画像センサのために生成された１次元マッピングを、前記第２の画像センサのために生成された１次元マッピングと比較することと、
    前記相互相関がしきい値を上回る場合、前記プロセッサを用いて前記立体画像を構築することと
    を備え、
    前記第２の画像センサは、前記装置が低電力モードに入った場合、前記第２の画像をキャプチャすることを停止する、方法。
  14. 前記構築された立体画像を立体画像ディスプレイ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）で表示することをさらに備える請求項１３に記載の方法。
  15. 自動立体画像ディスプレイで直接的に視覚化される前記立体画像を準備することをさらに備える請求項１３に記載の方法。
  16. 複数の構築された立体画像から立体映像を生成することをさらに備える請求項１３に記載の方法。
  17. 前記第１の画像センサから第１のバッファへ画像データを格納することと、
    前記第２の画像センサから第２のバッファへ画像データを格納することと、
    前記第１のバッファおよび前記第２のバッファから交互に画像データを読み取るためにダイバーシティ合成を実行することと
    をさらに備える請求項１３に記載の方法。
  18. 前記第１の画像センサのための１次元マッピングを生成することは、前記第１の画像の列における各ピクセルの値を合計することを備え、前記第２の画像センサのための１次元マッピングを生成することは、前記第２の画像の列における各ピクセルの値を合計することを備える請求項１３に記載の方法。
  19. 垂直方向１次元マッピング・データを相関付けることと、
    前記第１および第２の画像センサからの画像データの垂直マッピングの最大１次元相関に対応する垂直ミスマッチ・オフセットを見つけることとをさらに備える請求項１８に記載の方法。
  20. 前記第１および第２の画像センサからの画像データを合成するためにダイバーシティ合成を使用することをさらに備える請求項１８に記載の方法。
  21. 前記ダイバーシティ合成を使用することは、
    前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較することと、
    前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを処理することと、
    前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較することと、
    前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを処理することと
    を備える請求項２０に記載の方法。
  22. 立体画像構築失敗があるかを判定するために、垂直ミスマッチ・オフセットを、しきい値と比較することをさらに備える請求項１８に記載の方法。
  23. 前記立体画像を構築することは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行することを備える請求項１３に記載の方法。
JP2012219364A 2006-07-25 2012-10-01 デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法 Active JP5539474B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/493,434 US8456515B2 (en) 2006-07-25 2006-07-25 Stereo image and video directional mapping of offset
US11/493,434 2006-07-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009521992A Division JP5185267B2 (ja) 2006-07-25 2007-07-25 デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法

Publications (3)

Publication Number Publication Date
JP2013048450A JP2013048450A (ja) 2013-03-07
JP2013048450A5 JP2013048450A5 (ja) 2013-09-26
JP5539474B2 true JP5539474B2 (ja) 2014-07-02

Family

ID=38670618

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009521992A Expired - Fee Related JP5185267B2 (ja) 2006-07-25 2007-07-25 デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法
JP2012219364A Active JP5539474B2 (ja) 2006-07-25 2012-10-01 デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009521992A Expired - Fee Related JP5185267B2 (ja) 2006-07-25 2007-07-25 デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法

Country Status (6)

Country Link
US (1) US8456515B2 (ja)
EP (1) EP2055111B1 (ja)
JP (2) JP5185267B2 (ja)
KR (1) KR101066052B1 (ja)
CN (1) CN101496415B (ja)
WO (1) WO2008014350A1 (ja)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
KR100810265B1 (ko) * 2006-08-07 2008-03-06 삼성전자주식회사 휴대단말기의 영상 촬영 장치 및 방법
CA2679864A1 (en) * 2007-03-07 2008-09-12 Telefonaktiebolaget L M Ericsson (Publ) Display controller, electronic apparatus and method for creating a translucency effect using color model transform
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US10831093B1 (en) * 2008-05-19 2020-11-10 Spatial Cam Llc Focus control for a plurality of cameras in a smartphone
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US20110098083A1 (en) * 2008-05-19 2011-04-28 Peter Lablans Large, Ultra-Thin And Ultra-Light Connectable Display For A Computing Device
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US9736368B2 (en) 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US8326022B2 (en) * 2008-05-22 2012-12-04 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
US8345953B2 (en) 2008-05-22 2013-01-01 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
US9449378B2 (en) 2008-05-22 2016-09-20 Matrix Electronic Measuring Properties, Llc System and method for processing stereoscopic vehicle information
ES2622485T3 (es) * 2008-05-22 2017-07-06 Matrix Electronic Measuring Properties, Llc Sistema y método de medición estereoscópicos
CA2757313C (en) * 2008-05-22 2014-06-17 George B. Stevens Stereoscopic measurement system and method
US8249332B2 (en) * 2008-05-22 2012-08-21 Matrix Electronic Measuring Properties Llc Stereoscopic measurement system and method
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
KR100910175B1 (ko) * 2009-04-06 2009-07-30 (주)에이직뱅크 입체영상 생성용 이미지센서
JP2010252046A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮像装置
TW201040581A (en) * 2009-05-06 2010-11-16 J Touch Corp Digital image capturing device with stereo image display and touch functions
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP5167222B2 (ja) * 2009-09-17 2013-03-21 富士フイルム株式会社 固体電子撮像装置の白バランス調整システムおよびその動作制御方法
TWI394097B (zh) * 2009-10-12 2013-04-21 Nat Univ Tsing Hua 移動物體的偵測方法以及偵測系統
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
JP5413184B2 (ja) * 2009-12-24 2014-02-12 ソニー株式会社 カメラシステム及びカメラ制御方法
KR101643607B1 (ko) * 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
US20110242342A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
CN102170571A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种支持双通道cmos传感器的数码相机架构
US20110316971A1 (en) * 2010-06-28 2011-12-29 Jianping Zhou Single pipeline stereo image capture
US8588600B2 (en) * 2010-07-27 2013-11-19 Texas Instruments Incorporated Stereoscopic auto-focus based on coordinated lens positions
ES2374348B1 (es) * 2010-08-04 2012-10-22 Engineea Remote Technologies, S.L Dispositivo de grabación en tres dimensiones para teléfonos móviles.
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
GB2483433A (en) * 2010-08-31 2012-03-14 Sony Corp 3D image adjustment based on differences in colour properties between stereo pair
WO2012033005A1 (ja) 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
KR101723235B1 (ko) * 2010-10-04 2017-04-04 삼성전자주식회사 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법
US20120106840A1 (en) * 2010-10-28 2012-05-03 Amit Singhal Combining images captured with different color patterns
US20120105584A1 (en) * 2010-10-28 2012-05-03 Gallagher Andrew C Camera with sensors having different color patterns
DE102010062496B4 (de) 2010-12-07 2022-01-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
US8633989B2 (en) * 2010-12-16 2014-01-21 Sony Corporation 3D camera phone
JP4991930B2 (ja) * 2010-12-20 2012-08-08 株式会社東芝 立体映像信号処理装置及び方法
TWI474720B (zh) * 2011-01-10 2015-02-21 Etron Technology Inc 應用於網路攝影機的通用序列匯流排裝置與其控制的方法
US20120188409A1 (en) * 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
US20110298916A1 (en) * 2011-04-18 2011-12-08 Lmi Technologies Ltd. Sensor system processing architecture
CN102289225A (zh) * 2011-04-22 2011-12-21 钰创科技股份有限公司 应用于网络摄影机的通用序列总线装置与其控制的方法
JP5629642B2 (ja) * 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
US9560334B2 (en) 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
US20130070051A1 (en) * 2011-09-20 2013-03-21 Cheng-Tsai Ho Video encoding method and apparatus for encoding video data inputs including at least one three-dimensional anaglyph video, and related video decoding method and apparatus
US8374421B1 (en) * 2011-10-18 2013-02-12 Google Inc. Methods and systems for extracting still frames from a compressed video
WO2013113373A1 (en) * 2012-01-31 2013-08-08 Sony Ericsson Mobile Communications Ab Method and electronic device for creating a combined image
TWI446089B (zh) * 2012-04-24 2014-07-21 Wistron Corp 鏡頭擴充座
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP6151935B2 (ja) 2013-03-11 2017-06-21 日東電工株式会社 経皮吸収促進用組成物および貼付製剤
DE112013007165A5 (de) * 2013-06-13 2016-03-10 Leica Camera Ag Kamera mit opto-elektronischem Entfernungsmesser
US10497140B2 (en) * 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
KR102126487B1 (ko) 2013-10-24 2020-06-24 삼성전자주식회사 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
CN103986874A (zh) 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
CN105446631B (zh) * 2014-08-19 2019-02-12 昆山纬绩资通有限公司 具有照相功能的电子装置及照相方法
CN104661003B (zh) * 2015-02-04 2016-09-07 苏州佳世达电通有限公司 电子装置及其色彩校正方法
US9800798B2 (en) * 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US10264238B2 (en) * 2015-11-12 2019-04-16 Bitanimate, Inc. Stereoscopic mapping
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP6590718B2 (ja) * 2016-02-03 2019-10-16 キヤノン株式会社 情報処理装置及びその制御方法
US20170366799A1 (en) * 2016-06-20 2017-12-21 Bitanimate, Inc. Stereoscopic aerial-view images
KR102524498B1 (ko) * 2016-07-06 2023-04-24 삼성전자주식회사 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
WO2018164930A1 (en) * 2017-03-08 2018-09-13 Vid Scale, Inc. Improving motion vector accuracy by sharing cross-information between normal and zoom views
CN110463197B (zh) 2017-03-26 2021-05-28 苹果公司 增强立体相机成像系统中的空间分辨率
CN109391764A (zh) * 2017-08-10 2019-02-26 聚晶半导体股份有限公司 双摄像头图像获取装置及其摄像方法
JP2019035703A (ja) * 2017-08-21 2019-03-07 株式会社東芝 放射線検出器、および放射線検出装置
US11218632B2 (en) * 2019-11-01 2022-01-04 Qualcomm Incorporated Retractable panoramic camera module
KR20210140945A (ko) * 2020-05-14 2021-11-23 삼성전자주식회사 멀티 카메라를 이용하여 화질 개선하는 전자 장치 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4734756A (en) 1981-12-31 1988-03-29 3-D Video Corporation Stereoscopic television system
JPS6411490A (en) 1987-07-03 1989-01-17 Sharp Kk Vertical position adjusting device for stereoscopic video signal
JPH0787600B2 (ja) * 1991-06-06 1995-09-20 株式会社エイ・ティ・アール視聴覚機構研究所 視差補正装置
JPH0888868A (ja) * 1994-09-20 1996-04-02 Canon Inc 複眼撮像装置
US5742330A (en) * 1994-11-03 1998-04-21 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JPH10224823A (ja) 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
JP3667105B2 (ja) 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
JPH11146425A (ja) * 1997-11-11 1999-05-28 Canon Inc 複眼カメラ及び複眼カメラシステム並びに複眼カメラ制御方法
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP2000036968A (ja) * 1998-07-21 2000-02-02 Canon Inc 複眼撮像装置及び複眼撮像方法
GB9922099D0 (en) 1999-09-18 1999-11-17 Ebanks Andrew An optical viewing device
US6671399B1 (en) 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
JP2003004442A (ja) 2001-06-20 2003-01-08 Fujitsu Ten Ltd 測距装置
GB2394850A (en) 2002-10-29 2004-05-05 Nec Technologies A cell phone that can take stereo images
JP4090896B2 (ja) * 2003-01-16 2008-05-28 シャープ株式会社 情報端末装置
CN100458559C (zh) * 2003-06-23 2009-02-04 宋柏君 立体数码相机及成像显示方法
WO2005079078A1 (ja) * 2004-02-17 2005-08-25 Seijiro Tomita 立体映像記録・再生方法並びにこれを表示する立体映像表示装置
FR2873214B1 (fr) 2004-07-13 2008-10-10 Canon Res Ct France S A S Soc Procede et dispositif d'obtention d'un signal stereoscopique
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법
US7760109B2 (en) * 2005-03-30 2010-07-20 Memsic, Inc. Interactive surveillance network and method

Also Published As

Publication number Publication date
KR20090033487A (ko) 2009-04-03
US20080024596A1 (en) 2008-01-31
CN101496415A (zh) 2009-07-29
EP2055111A1 (en) 2009-05-06
WO2008014350A1 (en) 2008-01-31
CN101496415B (zh) 2011-03-02
JP5185267B2 (ja) 2013-04-17
JP2009545081A (ja) 2009-12-17
KR101066052B1 (ko) 2011-09-20
EP2055111B1 (en) 2016-05-04
JP2013048450A (ja) 2013-03-07
US8456515B2 (en) 2013-06-04

Similar Documents

Publication Publication Date Title
JP5539474B2 (ja) デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法
US8189100B2 (en) Mobile device with dual digital camera sensors and methods of using the same
EP3067746B1 (en) Photographing method for dual-camera device and dual-camera device
EP2058760B1 (en) Block based image stabilization
KR101027353B1 (ko) 전자 비디오 이미지 안정화
US8179446B2 (en) Video stabilization and reduction of rolling shutter distortion
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JP2013538474A (ja) ３次元画像に対する視差の算出
US20120050478A1 (en) Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
EP2491722A2 (en) Depth map generation techniques for conversion of 2d video data to 3d video data
JP6198021B2 (ja) 動き補償に基づくビデオ符号化を支援するために奥行き情報を使用すること
US20120050479A1 (en) Method and System for Utilizing Depth Information for Generating 3D Maps
EP2485494A1 (en) Method and system for utilizing depth information as an enhancement layer
CN116208851A (zh) 图像处理方法及相关装置
EP2485493A2 (en) Method and system for error protection of 3D video
Caviedes et al. Combining computer vision and video processing to achieve immersive mobile videoconferencing
KR20120089604A (ko) 3ｄ 비디오의 오류 보호를 위한 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131127

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5539474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140430

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250