JP5236775B2 - シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法 - Google Patents

シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法 Download PDF

Info

Publication number
JP5236775B2
JP5236775B2 JP2011097081A JP2011097081A JP5236775B2 JP 5236775 B2 JP5236775 B2 JP 5236775B2 JP 2011097081 A JP2011097081 A JP 2011097081A JP 2011097081 A JP2011097081 A JP 2011097081A JP 5236775 B2 JP5236775 B2 JP 5236775B2
Authority
JP
Japan
Prior art keywords
image
output
preview
frame
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011097081A
Other languages
English (en)
Other versions
JP2011234360A5 (ja
JP2011234360A (ja
Inventor
明輝 彭
漢銘 鄭
Original Assignee
曜鵬科技股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 曜鵬科技股▲ふん▼有限公司 filed Critical 曜鵬科技股▲ふん▼有限公司
Publication of JP2011234360A publication Critical patent/JP2011234360A/ja
Publication of JP2011234360A5 publication Critical patent/JP2011234360A5/ja
Application granted granted Critical
Publication of JP5236775B2 publication Critical patent/JP5236775B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、画像キャプチャモジュール及びこれを用いた画像キャプチャ方法に関し、具体的に、シャッターラグを回避する画像キャプチャモジュール及びこれを用いた画像キャプチャ方法に関する。
近年、デジタル画像は、応用される範囲や分野が顕著に成長しつつあり、技術も進歩しつつある。使用者がデジタル画像に対する要求を満足するために、デジタルカメラはもちろん、各種携帯電子製品に、各場面や状況でも撮像ができるように、デジタル画像をキャプチャする機能が搭載された。
図1Aは従来の画像キャプチャモジュールを示す図である。従来のデジタル画像キャプチャモジュールは、撮像素子20と、画像処理手段10と、プレビューインタフェース30と、プレビュー表示装置60とを含む。画像をキャプチャする前のプレビューモードにおいて、撮像素子20が受信した光線を信号21に転換して、画像処理手段10に転送する。画像処理手段10が、信号21を処理して画像信号11を生成し、この画像信号11をプレビューインタフェース30及びその後に接続されるプレビュー表示装置60に転送してプレビュー画像を生成する。プレビューモードにおいて、使用者がプレビュー表示装置60でキャプチャしようとする画像を見てシャッターキーをきるときに、プレビューモードが画像キャプチャモードに切り替えて、画像処理手段10に画像がキャプチャされる。
図1Bに示すように画像信号11は、撮像素子20が連続する時間中に順番にキャプチャした複数のタイミングの第1フレーム61、第2フレーム63、第3フレーム65を有する。第1フレーム61が完全にプレビューインタフェース30からプレビュー表示装置60に転送されてからプレビュー画像としてプレビュー表示装置60に表示される。しかし、このとき、画像処理手段10から外部に出力する画像信号11が第2フレーム63である。つまり、使用者が第1フレーム61を見てシャッターキーをきるときに、画像処理手段10にキャプチャされる画像は完全に出力された第1フレーム61ではない。プレビュー画像とキャプチャされる画像が異なり、つまり、シャッターラグ現象が発生してしまう。
また、プレビューモードにおけるフレームの更新周期を高めるために、通常、プレビューモードにおいて、解像度が低いが更新周期が高い画像信号が撮像素子20に出力されて、画像処理手段10にて処理されることにより、第1フレーム61及び第2フレーム63が生成される。使用者がシャッターキーをきったとき、撮像素子20に出力される画像信号は解像度が高いが更新周期が低い画像信号、例えば、第3フレーム65に切り替える。しかし、撮像素子20の出力規格の切り替える過程にも時間がかかり、更に第2フレーム63と第3フレーム65の間に信号の遅延が発生してしまう。この信号の遅延によって、使用者がプレビューした画像と実際にキャプチャした画像が更に時間的にずれが発生してしまい、前記シャッターラグが更に深刻になってしまう。
韓国登録特許第10−0831661号公報 米国特許出願公開第2008/0136942号明細書
そこで、本発明は、シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法を提供することを主な目的とする。
また、本発明は、使用者がプレビューした画像と実際にキャプチャした画像が同じものである画像キャプチャモジュール及び画像キャプチャ方法を提供することを他の主な目的とする。
また、本発明は、簡単に後付できるシステムや他の応用装置に連結できる画像キャプチャモジュール及び画像キャプチャ方法を提供することを他の主な目的とする。
前記目的を達成するために、本発明は、撮像素子によって提供される画像データストリームから画像をキャプチャする画像キャプチャモジュールであって、少なくとも、前記画像データストリームを受信して、前記画像データストリームに基づき、第1プレビューフレームを有するプレビュー画像ストリーム及び前記第1プレビューフレームに対応付けられる第1出力フレームを有する出力画像ストリームを生成する画像信号処理手段と、前記画像信号処理手段からのプレビュー画像ストリームを受信して出力するプレビューインタフェースと、少なくともバッファを有し、前記画像信号処理手段からの出力画像ストリームを受信して前記バッファに一時的に保持する画像レジスタと、を含み、前記プレビューインタフェースが前記第1プレビューフレームを受信して出力するタイミングと、前記画像レジスタが前記第1出力フレームを受信して一時的に保持するタイミングとが互いに同じであり、前記プレビューインタフェースが前記第1プレビューフレームを受信して出力した後に画像キャプチャ指令が生成される場合、前記画像レジスタが前記バッファから前記第1出力フレームを出力する画像キャプチャモジュールを提供する。
プレビュー画像ストリームは第1プレビューフレームを有し、出力画像ストリームは第1プレビューフレームに対応付けられる第1出力フレームを有する。プレビューモードにおいて、第1プレビューフレームがプレビューインタフェースに受信されて出力されるとき、第1出力フレームが同時に画像レジスタに受信されて一時的に保持される。第1プレビューフレームは、完全にプレビューインタフェースに出力されてから、プレビュー画像として使用者に見せる。同時に、第1出力フレームは完全に画像レジスタに受信されて保持されている。
使用者がシャッターキーや他のトリガ装置をきることによって画像キャプチャ指令が生成されるとき、システムは、画像キャプチャ指令により、一時的に保持されている第1出力フレームをキャプチャする画像として出力させる。第1プレビューフレームが第1出力フレームに対応付けられているので、当然、両者が示す画像は同じものである。このように、シャッターや画像処理によるタイムラグ、及び使用者がシャッターキーをきるときに見た画像と実際に撮影した画像が異なることが回避される。
従来の画像キャプチャモジュールを示す図。 従来の画像キャプチャモジュールにおける画像信号に関するタイムチャート。 本発明に係る画像キャプチャモジュールの実施形態を示す図。 画像キャプチャモジュールにおける画像信号に関するタイムチャート。 本発明に係る画像キャプチャモジュールの他の実施形態を示す図。 ラグタイムTを含む実施形態を示す図。 識別番号を含む実施形態を示す図。 バッファの実施形態を示す図。 画像キャプチャ用意モードを含む実施形態を示す図。 画像キャプチャ用意モードを含む他の実施形態を示す図。 本発明に係る画像キャプチャ方法の実施形態を示すフローチャート。 本発明に係る画像キャプチャ方法の他の実施形態を示すフローチャート。
本発明は、画像キャプチャモジュール及びこれを用いた画像キャプチャ方法を提供する。好ましい実施形態では、本発明に係る画像キャプチャモジュール及びこれを用いた画像キャプチャ方法をデジタルカメラに用いることができるが、画像処理が行われる他の電子装置、例えば携帯電話、PDA、GPS、携帯ゲーム機などに用いることもできる。
図2に示すように、画像キャプチャモジュール100は少なくとも画像信号処理手段300と、プレビューインタフェース500と、画像レジスタ700とを含む。画像キャプチャモジュール100は、撮像素子200に接続されており、撮像素子200に提供される画像データストリーム210を受信する。撮像素子200は各種のイメージセンサ、例えばCCDやCMOSであってもよい。撮像素子200は、外部の光線を受けて電子信号に変換することにより、画像データストリーム210を生成する。画像信号処理手段300は、撮像素子200からの画像データストリーム210を受信する。撮像素子200によって生成された画像データストリーム210は、所定のタイミング及び解像度で伝送されるのが好ましいが、所定の機能を達成するために、適当にタイミングやフレーム周期、解像度を変更してもよい。
また、図2に示すように、画像信号処理手段300は、プレビュー画像ストリーム310及び出力画像ストリーム330を生成するように、受信した画像データストリーム210を処理する。プレビュー画像ストリーム310は、画像信号処理手段300により画像データストリーム210に対して解像度を下げる調節やフォーマットの調節などの処理を経て生成されるのが好ましい。プレビュー画像ストリーム310は、その後のプレビューや出力に合わせるように、フォーマットがRGBやYUVであるのが好ましい。また、画像信号処理手段300は、画像データストリーム210に対して、ノイズ除去や他の処理を行って、プレビュー画像ストリーム310を生成してもよい。
次に、プレビュー画像ストリーム310がプレビューインタフェース500に転送される。プレビューインタフェース500は、特定の製品において、需要に応じてシステム中のベースバンド処理手段を介して、表示装置などの表示手段に接続されるが、プレビュー画像を提供するように、直接表示装置などの表示手段に接続されてもよい。図2に示すように、プレビュー画像ストリーム310がプレビューインタフェース500に受信されて、直ちにシステムのベースバンド処理手段/表示手段600などの応用装置に出力される。ベースバンド処理手段/表示手段600は、プレビュー画像ストリーム310における一つのフレームを完全に受信してから、当該フレームの画像をプレビュー画像として使用者に表示する。
また、図2に示すように、出力画像ストリーム330は、画像信号処理手段300により画像データストリーム210に対してフォーマットの調節やノイズ除去などの処理を経て生成されるのが好ましい。出力画像ストリーム330は、その後の圧縮や出力に合わせるように、フーマットがRGBやYUV、RAWであるのが好ましい。出力画像ストリーム330は、画像信号処理手段300により画像データストリーム210に対して解像度を下げる調節を行うことなく生成されるのが好ましいが、システムに合わせるように、解像度を下げる調節が行われて生成されてもよい。
次に、生成された出力画像ストリーム330が画像レジスタ700に転送される。つまり、プレビュー画像ストリーム310及び出力画像ストリーム330は二つの独立した信号であり、それぞれ異なる箇所に転送された後に処理される。画像レジスタ700には、出力画像ストリーム330を一時的に保持する少なくとも一つのバッファ710を有する。図2に示すように、画像レジスタ700は、バッファ710の前に設けられており、出力画像ストリーム330を処理してから一時的にバッファ710に保持する画像圧縮手段730を含むのが好ましい。画像圧縮手段730は、出力画像ストリーム330中のフレームをJPEG画像フーマットに圧縮するJPEG画像圧縮エンジンであってよく、他のフーマットの画像圧縮エンジンであってもよい。
図3に示すように、プレビュー画像ストリーム310は第1プレビューフレーム311、第2プレビューフレーム312、及び第3プレビューフレーム313を有し、出力画像ストリーム330は、それぞれ前記第1プレビューフレーム311、第2プレビューフレーム312、及び第3プレビューフレーム313に対応する第1出力フレーム331、第2出力フレーム332、及び第3出力フレーム333を有する。つまり、第1プレビューフレーム311及び第1出力フレーム331は、撮像素子200により提供される画像データストリーム210中における同じフレームによって生成され、この後のプレビューフレーム及び対応する出力フレームは前記と同じようである。プレビューフレームは通常表示装置に合わせるように解像度が調節されるので、第1プレビューフレーム311の画像解像度は第1出力フレーム331の画像解像度より小さいことが好ましい。
図3に示すように、プレビューモードにおいて、第1プレビューフレーム311がプレビューインタフェース500に受信されて出力される場合、第1出力フレーム331が同時に画像レジスタ700に受信されて一時的に保持される。第1プレビューフレーム311は、完全にプレビューインタフェース500からベースバンド処理手段/表示手段600に出力されてから、プレビュー画像として使用者に表示される。即ち、使用者が第1プレビューフレーム311を見てシャッターキーや他のトリガ装置の操作によって画像キャプチャモードに入るときに、第1プレビューフレーム311は既にプレビューインタフェース500から完全に出力され、第1出力フレーム331は既に画像レジスタ700に受信されて完全に保持されている。
使用者がシャッターキーや他のトリガ装置を操作することによって画像キャプチャ指令800が生成されて画像キャプチャモードに入り、このとき、システムは、画像キャプチャ指令800により、一時的に保持されている第1出力フレーム331をキャプチャする画像として出力させ、また、使用者が出力する画像を確認や検視できるように、第1出力フレーム331をプレビューインタフェース500に転送されて外部に出力されてもよい。第1プレビューフレーム311が第1出力フレーム331に対応付けられており、つまり、両者の画像内容が画像データストリーム210からの同一のフレームであるので、当然、両者が示す画像は同じものである。このように、シャッターや画像処理によるタイムラグ、及び使用者がシャッターキーをきるときに見た画像と実際に撮影した画像が異なることが回避される。
また、画像キャプチャ指令800が生成されて画像キャプチャモード入った後に、消費電力を減らすように、プレビューインタフェース500及び画像レジスタ700がそれぞれプレビュー画像ストリーム310及び出力画像ストリーム330を受信することを停止するのが好ましく、画像キャプチャモードから再びプレビューモードに入るときに、プレビューインタフェース500及び画像レジスタ700がそれぞれプレビュー画像ストリーム310及び出力画像ストリーム330を受信し始めるのが好ましい。
図4に示すように、画像キャプチャモジュール100は、更に、CPU910と、シャッターキー930とを含む。シャッターキー930は、使用者の操作により画像キャプチャ指令800を生成して、CPU910に転送させる。また、シャッターキー930は、タッチパネルや他のトリガ手段からなってもよい。CPU910に画像キャプチャ指令800が受信されるときに、画像キャプチャ指令800が生成された時点に対応するバッファ710に保持されている第1出力フレーム331にアクセスして出力させる。
図5に示すように、システムに画像キャプチャ指令800が受信される時点は第2プレビューフレーム312がプレビューインタフェース500に受信されて出力される過程中の場合、表示手段600に示すプレビュー画像は第1プレビューフレーム311である。しかし、ベースバンド処理手段/表示手段600や他の処理によるラグにより、第2プレビューフレーム312は第1プレビューフレーム311の直後にある次のフレームではなく、両者の間に一または複数のプレビューフレーム315を有する。正確に使用者がプレビューした第1プレビューフレーム311に対応する画像を出力するために、CPU910は、所定のプレビューラグタイムTによって正確な出力画像にアクセスするように判断が行われる。例えば、画像キャプチャ指令800が生成される時点は第2プレビューフレーム312がプレビューインタフェース500に受信されて出力される過程中の場合、CPU910は、バッファ710に前記ラグタイムTの前に保持された第1出力フレーム331にアクセスして出力画像とする。このラグタイムTは、測定によって事前に分かっており、CPU910に設定することができる。
また、第1プレビューフレーム311と第2プレビューフレーム312との間に他のプレビューフレームがなく、即ち、ベースバンド処理手段/表示手段600や他の処理によるラグが発生していない場合も考えられる。このとき、画像キャプチャ指令800が生成される時点は第2プレビューフレーム312がプレビューインタフェース500に受信されて出力される過程中の場合、つまり、第1プレビューフレーム311がプレビューインタフェース500に出力される最後のフレームのとき、CPU910は直接バッファ710に保持された第2出力フレーム332の直前の第1出力フレーム331にアクセスして出力画像としてもよい。第2出力フレーム332は第2プレビューフレーム312に対応付けられており、第2プレビューフレーム312がプレビューインタフェース500に受信されて出力されるときに、第2出力フレーム332は画像圧縮手段730によって圧縮されてバッファ710に一時的に保持する過程中にあるのが好ましい。
図6に示すように、各プレビューフレームはそれぞれ識別番号を有し、例えば、第1プレビューフレーム311は第1識別番号411を有する。識別番号は各プレビューフレームを形成するデータパケットに含まれるのが好ましく、ベースバンド処理手段/表示手段600によって解釈されてもよい。第1プレビューフレーム311がプレビュー画面としてベースバンド処理手段/表示手段600に表示されるとき、ベースバンド処理手段/表示手段600は第1プレビューフレーム311の第1識別番号411をCPU910に転送する。CPU910は、受信する第1識別番号411によって、バッファ710から対応する第1出力フレーム331にアクセスして出力画像とすることができる。
前記のように、プレビュー画像として表示されているプレビューフレームとプレビューインタフェース500が受信しているプレビューフレームが、必ずしも密接しているとは限らなく、両者の間に他のプレビューフレームが挟まれる可能性もある。このため、図7に示すように、バッファ710は、プレビューフレームに対応する複数の出力フレームを一時的に保持する複数のバッファゾーン711、712を有してもよい。図7に示すように、出力画像ストリーム330に含まれる第1出力フレーム331と、第2出力フレーム332が順番にバッファゾーン711、712に保持される。最後のバッファゾーン719に出力フレームが保持された後に、次からの出力フレームは最初のバッファゾーン711から上書きして保持されるようになる。
図8Aに示すように、プレビューモードと画像キャプチャモードの間に、更に画像キャプチャ用意指令810によって起動される画像キャプチャ用意モードを含んでもよい。この場合、シャッターキー930は、第1段のトリガ931と、第2段のトリガ932とを有するのが好ましい。例えばシャッターキーを軽く触れることやタッチパネル上の合焦位置をタッチすることによって第1段のトリガ931が作動され、これによって合焦や測光を行わせるのが好ましい。また、例えばシャッターキーを実際に押すことやタッチパネル上に示すシャッターキーアイコンをタッチすることによって第2段のトリガ932が作動され、これによって画像がキャプチャされるのが好ましい。
図8Aに示すように、プレビューモードにおいて、第1段のトリガ931が作動されていない。このとき、プレビュー画像ストリーム310のみが画像信号処理手段300によって生成されてプレビューインタフェース500に転送され、出力画像ストリーム330がまだ生成されておらず画像レジスタ700に転送されていない。画像キャプチャ用意指令810が生成され、つまり、第1段のトリガ931が作動されるとき、出力画像ストリーム330がはじめて画像信号処理手段300によって生成されて、画像レジスタ700に転送される。その後、前記と同じ画像キャプチャモードに入り、これについての詳細を省略する。これによって、プレビューモードにおいてシステムが消費する電力が節約され、システム資源の消耗を減少することによって効能が高められる。
また、図8Bに示すように、画像キャプチャ用意指令810を受信する前のプレビューモードにおいて、システムによって、解像度の低い画像データストリーム210を提供してプレビュー画像ストリーム310の画像更新周期を高めるように撮像素子200を切り替える、画像キャプチャ用意指令810を受信してその後の画像キャプチャ用意モード入るとき、システムによって、解像度の高い画像データストリーム210を提供するように、撮像素子200を切り替えて、この解像度の高い画像データストリーム210によって、同時にプレビュー画像ストリーム310と、出力画像ストリーム330とを生成する。
図9は本発明に係る画像キャプチャ方法の実施形態を示すフローチャートである。図9に示すように、ステップ1010において、前記画像データストリームに基づき第1プレビューフレームを有するプレビュー画像ストリームを生成する。プレビュー画像ストリームは、画像データストリームに対して解像度を下げる調節やフォーマットの調節、ノイズ除去処理などの処理を経て生成されるのが好ましく、その後のプレビューや出力に合わせるように、フォーマットがRGBやYUVであるのが好ましい。
ステップ1030において、プレビュー画像ストリームをプレビューインタフェースに転送して出力する。プレビュー画像ストリームがプレビューインタフェースに受信された後、直ちにシステムのベースバンド処理手段/表示手段などの応用装置に出力される。プレビュー画像ストリーム中のいずれか一つのフレームが完全にベースバンド処理手段/表示手段に受信された後、当該フレームの画像をプレビュー画像として使用者に見せる。
ステップ1050において、前記画像データストリームに基づき前記第1プレビューフレームに対応付けられる第1出力フレームを有する出力画像ストリームを生成する。つまり、第1プレビューフレームと第1出力フレームは、画像データストリームにおける同一のフレームから生成されたものである。出力画像ストリームは、画像データストリームに対してフォーマットの調節やノイズ除去などの処理を経て生成されるのが好ましく、その後の圧縮や出力に合わせるように、フーマットがRGBやYUV、RAWであるのが好ましい。好ましい実施形態では、画像データストリームに対して解像度を下げる調節を経て出力画像ストリームを生成することはしないが、システムの需要によって、画像データストリームに対して解像度を下げる調節を経て出力画像ストリームを生成してもよい。
ステップ1070において、出力画像ストリームを画像レジスタに転送して画像レジスタのバッファに一時的に保持する。つまり、プレビュー画像ストリームと出力画像ストリームが二つの独立とした信号になり、異なる箇所に転送されて後処理される。第1プレビューフレームがプレビューインタフェースに受信されて出力されるとき、第1出力フレームも同時に画像レジスタに受信されて保持される。また、バッファの負担を減らしたり、出力画像のフーマットに合わせたりするように、出力画像ストリームが画像圧縮手段によって圧縮されてからバッファに一時的に保持されるのが好ましい。前記圧縮処理に用いられるフーマットはJPEGであってよいが、これに限定されない。
ステップ1090において、プレビューインタフェースが第1プレビューフレームを受信して出力した後に生成される画像キャプチャ指令を受信して、画像キャプチャ指令によって、バッファから第1出力フレームを出力する。前記のように、第1プレビューフレームが完全にプレビューインタフェースに出力されてから、プレビュー画像として使用者に見せる。つまり、使用者は第1プレビューフレームを見て、シャッターキーをきる、または他のトリガ装置を作動することによって、画像キャプチャ指令を生成させるときに、第1出力フレームは既に画像レジスタに受信されて保持されている。このとき、システムは、画像キャプチャ指令によって、キャプチャしようとする出力画像として保持されている第1出力フレームを出力させる。第1プレビューフレームは第1出力フレームに対応付けられており、両者が示す画像は画像データストリームにおける同一のフレームから生成されたものであるので、当然、両者が示す画像は同じものである。このように、シャッターや画像処理によるタイムラグ、及び使用者がシャッターキーをきるときに見た画像と実際に撮影した画像が異なることが回避される。
図10に示すように、出力画像ストリームを生成するステップ1050は、画像キャプチャ用意指令によって、出力画像ストリームを生成して画像レジスタに転送することを開始するステップ1051を含む。画像キャプチャ用意指令は、2段式シャッターキーにおいて、合焦や測光を行わせるための第1段のトリガや他のトリガ装置が作動されるときに生成される。システムは、画像キャプチャ用意指令を受信する前に、出力画像ストリームを生成しなくて、プレビュー画像ストリームのみを生成するのでプレビューモードにおいてシステムが消費する電力が節約され、システム資源の消耗を減少することによって効能が高められる。
本発明では好適な実施形態を前述及び図面の通り開示したが、各種の追加、若干の改良、変更が施されたものでも、本発明の好適な実施形態として用いられてもよく、特許請求の範囲に限定する本発明の精神と領域を離脱することはない。当該分野の技術を熟知しているものであれば、本発明における形式、構造、配置、比例、材料、要素及び組合に対して、多様の変動や修正を加えることができる。このため、本明細書に開示された実施形態は本発明を説明に用いられるものであって、決して本発明を限定するものではない。従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とし、法に合致する均等物を含み、前述に限定されない。
100 画像キャプチャモジュール
200 撮像素子
210 画像データストリーム
300 画像信号処理手段
310 プレビュー画像ストリーム
311 第1プレビューフレーム
312 第2プレビューフレーム
313 第3プレビューフレーム
330 出力画像ストリーム
331 第1出力フレーム
332 第2出力フレーム
333 第3出力フレーム
411 第1識別番号
500 プレビューインタフェース
600 ベースバンド処理手段/表示手段
700 画像レジスタ
710 バッファ
711、712、719 バッファゾーン
730 画像圧縮手段
800 画像キャプチャ指令
810 画像キャプチャ用意指令
910 CPU
930 シャッターキー
931 第1段のトリガ
932 第2段のトリガ

Claims (18)

  1. 撮像素子によって提供される画像データストリームから画像をキャプチャする画像キャプチャモジュールであって、
    前記画像データストリームを受信して、前記画像データストリームに基づき、第1プレビューフレームを有するプレビュー画像ストリーム及び前記第1プレビューフレームに対応付けられる第1出力フレームを有する出力画像ストリームを生成する画像信号処理手段と、
    前記画像信号処理手段からのプレビュー画像ストリームを受信して出力するプレビューインタフェースと、
    少なくともバッファを有し、前記画像信号処理手段からの出力画像ストリームを受信して前記バッファに一時的に保持する画像レジスタと、を含み、
    前記プレビューインタフェースが前記第1プレビューフレームを受信して出力するタイミングと、前記画像レジスタが前記第1出力フレームを受信して一時的に保持するタイミングとが互いに同じであり、
    前記プレビューインタフェースが前記第1プレビューフレームを受信して出力した後に画像キャプチャ指令が生成される場合、前記画像レジスタが前記バッファから前記第1出力フレームを出力する画像キャプチャモジュール。
  2. 更に前記画像レジスタに接続され、前記画像キャプチャ指令を受信して、前記画像キャプチャ指令によって、前記バッファから出力する前記第1出力フレームにアクセスするCPUを含む請求項1に記載の画像キャプチャモジュール。
  3. 前記CPUは、前記プレビュー画像ストリームが有する前記第1プレビューフレームの後に来る第2プレビューフレームが前記プレビューインタフェースに受信されて出力される過程中にある前記画像キャプチャ指令を受信する時点及び所定のプレビューラグタイムによって、前記第1出力フレームにアクセスする請求項2に記載の画像キャプチャモジュール。
  4. 前記CPUは、前記第1プレビューフレームが有する識別番号によって、前記バッファから出力する前記第1出力フレームにアクセスする請求項2に記載の画像キャプチャモジュール
  5. 前記第1プレビューフレームの解像度が前記第1出力フレームの解像度より小さい請求項1に記載の画像キャプチャモジュール。
  6. 前記画像レジスタは、前記バッファの前に設けられており、前記出力画像ストリームを処理してから一時的に前記バッファに保持する画像圧縮手段を含む請求項1に記載の画像キャプチャモジュール。
  7. 前記バッファは複数のバッファゾーンを有し、前記出力画像ストリームに含まれる複数の出力フレームが順番に前記複数のバッファゾーンに保持され、最後のバッファゾーンに出力フレームが保持された場合、次からの出力フレームが最初のバッファゾーンから上書きして保持される請求項1に記載の画像キャプチャモジュール。
  8. 前記バッファから出力される前記第1出力フレームは、外部に出力するように前記プレビューインタフェースに転送される請求項1に記載の画像キャプチャモジュール。
  9. 前記画像信号処理手段は画像キャプチャ用意指令によって、前記出力画像ストリームを画像レジスタに転送することを開始する請求項1に記載の画像キャプチャモジュール。
  10. 更に、前記画像キャプチャ用意指令を生成する第1段のトリガと、前記画像キャプチャ指令を生成する第2段のトリガとを有するシャッターキーと、
    前記画像信号処理手段及び画像レジスタに接続されるCPUとを含む請求項に記載の画像キャプチャモジュール。
  11. 前記第1プレビューフレームは前記プレビューインタフェースから出力される最後のフレームである請求項1に記載の画像キャプチャモジュール。
  12. 撮像素子によって提供される画像データストリームから画像をキャプチャする画像キャプチャ方法であって、
    前記画像データストリームに基づき第1プレビューフレームを有するプレビュー画像ストリームを生成するステップと、
    前記プレビュー画像ストリームをプレビューインタフェースに転送して出力するステップと、
    前記画像データストリームに基づき前記第1プレビューフレームに対応つけられる第1出力フレームを有する出力画像ストリームを生成するステップと、
    前記出力画像ストリームを画像レジスタに転送して前記画像レジスタのバッファに一時的に保持するステップと、
    前記プレビューインタフェースが前記第1プレビューフレームを受信して出力した後に生成される画像キャプチャ指令を受信して、前記画像キャプチャ指令によって、前記バッファから前記第1出力フレームを出力するステップとを含み、
    前記プレビューインタフェースが前記第1プレビューフレームを受信して出力するタイミングと、前記画像レジスタが前記第1出力フレームを受信して一時的に保持するタイミングとが互いに同じである、画像キャプチャ方法。
  13. 前記第1出力フレームを出力するステップにおいて、前記プレビュー画像ストリームが有する前記第1プレビューフレームの後に来る第2プレビューフレームが前記プレビューインタフェースに受信されて出力される過程中にある前記画像キャプチャ指令を受信する時点及び所定のプレビューラグタイムによって、前記第1出力フレームを出力する請求項1に記載の画像キャプチャ方法。
  14. 前記第1出力フレームを出力するステップにおいて、前記第1プレビューフレームが有する識別番号によって、前記バッファから前記第1出力フレームを出力する請求項1に記載の画像キャプチャ方法
  15. 前記プレビュー画像ストリームを生成するステップにおいて、前記画像データストリームの画像解像度を下げて、前記プレビュー画像ストリームを生成する請求項1に記載の画像キャプチャ方法。
  16. 前記出力画像ストリームを転送するステップは、
    前記出力画像ストリームを前記画像レジスタ中の画像圧縮手段に転送して処理するステップと、
    処理された前記出力画像ストリームを一時的に前記バッファに保持するステップとを含む請求項1に記載の画像キャプチャ方法。
  17. 前記出力画像ストリームを転送するステップは、
    前記出力画像ストリームに含まれる複数の出力フレームを順番に複数のバッファゾーンに保持するステップと、
    最後のバッファゾーンに出力フレームが保持された場合、次からの出力フレームを最初のバッファゾーンから上書きして保持するステップとを含む請求項1に記載の画像キャプチャ方法。
  18. 前記出力画像ストリームを生成するステップにおいて、画像キャプチャ用意指令によって、前記出力画像ストリームを画像レジスタに転送することを開始する請求項1に記載の画像キャプチャ方法。
JP2011097081A 2010-04-23 2011-04-25 シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法 Active JP5236775B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW099112842A TWI418210B (zh) 2010-04-23 2010-04-23 避免快門延遲之影像擷取模組及影像擷取方法
TW099112842 2010-04-23

Publications (3)

Publication Number Publication Date
JP2011234360A JP2011234360A (ja) 2011-11-17
JP2011234360A5 JP2011234360A5 (ja) 2012-02-16
JP5236775B2 true JP5236775B2 (ja) 2013-07-17

Family

ID=44815506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011097081A Active JP5236775B2 (ja) 2010-04-23 2011-04-25 シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法

Country Status (4)

Country Link
US (1) US20110261228A1 (ja)
JP (1) JP5236775B2 (ja)
KR (1) KR101180474B1 (ja)
TW (1) TWI418210B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119611B (zh) 2010-06-25 2016-05-11 天宝导航有限公司 基于图像的定位的方法和设备
KR101756470B1 (ko) 2010-08-30 2017-07-11 삼성전자주식회사 휴대단말기에서 영상을 촬영하는 방법 및 장치
US9109889B2 (en) * 2011-06-24 2015-08-18 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
KR101796481B1 (ko) * 2011-11-28 2017-12-04 삼성전자주식회사 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
KR20130080932A (ko) * 2012-01-06 2013-07-16 삼성전자주식회사 카메라에서 촬영된 이미지 저장 방법 및 장치
KR20130094113A (ko) * 2012-02-15 2013-08-23 삼성전자주식회사 카메라 데이터 처리 장치 및 방법
KR101905621B1 (ko) * 2012-02-16 2018-10-11 삼성전자 주식회사 카메라의 프레임 이미지 전송 장치 및 방법
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
KR101893406B1 (ko) * 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
US9313378B2 (en) * 2012-04-16 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
US20140078343A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
KR101953614B1 (ko) * 2012-10-12 2019-05-22 삼성전자주식회사 카메라장치의 이미지처리장치 및 방법
GB2520319A (en) 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
CN112188106B (zh) 2014-05-08 2022-12-27 索尼公司 信息处理装置和信息处理方法
CN105376550B (zh) * 2014-08-20 2017-08-08 聚晶半导体股份有限公司 影像同步方法及其系统
KR102399764B1 (ko) 2015-09-22 2022-05-19 삼성전자 주식회사 전자 장치 및 촬영 방법
JP2017158084A (ja) * 2016-03-03 2017-09-07 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
EP3477938B1 (en) * 2016-06-28 2023-09-13 Sony Group Corporation Imaging device, imaging method, and program
US10657053B2 (en) * 2017-03-31 2020-05-19 Kyocera Document Solutions Inc. Memory allocation techniques for filtering software
CN107613192A (zh) * 2017-08-09 2018-01-19 深圳市巨龙创视科技有限公司 一种基于摄像机模组的数字图像处理算法
US10917582B2 (en) * 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
US11223762B2 (en) 2019-12-06 2022-01-11 Samsung Electronics Co., Ltd. Device and method for processing high-resolution image

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713973B2 (ja) * 1998-08-31 2005-11-09 カシオ計算機株式会社 電子スチルカメラおよび撮影方法
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6952479B2 (en) * 2001-11-27 2005-10-04 Macrovision Europe Limited Dynamic copy protection of optical media
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US20040070679A1 (en) * 2002-10-15 2004-04-15 Pope David R. Compensating for delays inherent in digital still camera imaging
JP4799849B2 (ja) * 2004-11-11 2011-10-26 富士フイルム株式会社 撮影装置及び撮影処理方法
US20060197849A1 (en) * 2005-03-02 2006-09-07 Mats Wernersson Methods, electronic devices, and computer program products for processing images using multiple image buffers
JP4600203B2 (ja) * 2005-08-08 2010-12-15 株式会社日立製作所 映像再生示装置
JP2007104529A (ja) * 2005-10-07 2007-04-19 Eastman Kodak Co デジタルカメラおよびタイムラグ設定方法
KR100831661B1 (ko) * 2006-12-06 2008-05-22 삼성전자주식회사 이미지 센서를 구비하는 촬영 장치와 그 사진 촬영 방법
JP2008219317A (ja) * 2007-03-02 2008-09-18 Sharp Corp 撮像装置
KR100902421B1 (ko) 2007-06-25 2009-06-11 주식회사 코아로직 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
TW200951832A (en) * 2008-04-15 2009-12-16 Novafora Inc Universal lookup of video-related data
US8446484B2 (en) * 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler

Also Published As

Publication number Publication date
TW201138431A (en) 2011-11-01
TWI418210B (zh) 2013-12-01
US20110261228A1 (en) 2011-10-27
JP2011234360A (ja) 2011-11-17
KR101180474B1 (ko) 2012-09-07
KR20110118540A (ko) 2011-10-31

Similar Documents

Publication Publication Date Title
JP5236775B2 (ja) シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法
JP2011234360A5 (ja)
KR101356269B1 (ko) 듀얼 카메라를 지원하는 이동 단말 및 그 이동 단말의 이미지 처리 방법
US20130135499A1 (en) Method of eliminating a shutter-lag, camera module, and mobile device having the same
US20080136942A1 (en) Image sensor equipped photographing apparatus and picture photographing method
US20160127672A1 (en) Electronic apparatus
EP3528490B1 (en) Image data frame synchronization method and terminal
US20220232153A1 (en) Auto exposure for spherical images
TW201007491A (en) System and method for efficiently performing image processing operations
WO2023077939A1 (zh) 摄像头的切换方法、装置、电子设备及存储介质
JP6669959B2 (ja) 画像処理装置、撮影装置、画像処理方法、画像処理プログラム
US10009545B2 (en) Image processing apparatus and method of operating the same
US20240080410A1 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
CN102244722B (zh) 避免快门延迟的影像撷取模块及影像撷取方法
US9691362B2 (en) Display control apparatus, display control method, and recording medium displaying frames indicating portions of an image
TW201215105A (en) Single pipeline stereo image capture
WO2023125669A1 (zh) 图像处理电路、图像处理方法、电子设备和可读存储介质
CN114298889A (zh) 图像处理电路和图像处理方法
WO2018116824A1 (ja) 制御装置、制御方法、並びにプログラム
US20210191683A1 (en) Method and system for simultaneously driving dual displays with same camera video data and different graphics
JP7414431B2 (ja) 撮像装置及びその制御方法及びプログラム
TWI475883B (zh) 攝像裝置及其分隔式攝像方法
JP2007123961A (ja) 画像表示装置及びビデオ信号生成方法
JP2008066910A (ja) 画像処理装置、画像処理方法及びプログラム
JP2023160138A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130327

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5236775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250