JP6433154B2 - 画像処理装置および撮像装置 - Google Patents

画像処理装置および撮像装置 Download PDF

Info

Publication number
JP6433154B2
JP6433154B2 JP2014106289A JP2014106289A JP6433154B2 JP 6433154 B2 JP6433154 B2 JP 6433154B2 JP 2014106289 A JP2014106289 A JP 2014106289A JP 2014106289 A JP2014106289 A JP 2014106289A JP 6433154 B2 JP6433154 B2 JP 6433154B2
Authority
JP
Japan
Prior art keywords
angle
view
image
captured images
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014106289A
Other languages
English (en)
Other versions
JP2015222864A (ja
JP2015222864A5 (ja
Inventor
彰太 山口
彰太 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014106289A priority Critical patent/JP6433154B2/ja
Publication of JP2015222864A publication Critical patent/JP2015222864A/ja
Publication of JP2015222864A5 publication Critical patent/JP2015222864A5/ja
Application granted granted Critical
Publication of JP6433154B2 publication Critical patent/JP6433154B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、特に、手振れ補正された画像を得るために用いて好適な画像処理装置、撮像装置、画像処理装置の制御方法及びプログラムに関する。
従来、カメラを手で持ちながら撮影する時に、手振れの影響を抑制するため、手振れの影響が小さいシャッター速度で複数枚の画像を連続して撮影し、各画像間の手振れによる位置ずれを補償して合成する電子的手振れ補正技術が提案されている。
特許文献1及び2には、予め手振れの程度を予測しておき、手振れの予測量から、所望の撮影画角よりもやや広角になるよう制御して連続撮影を行う技術が提案されている。
特開2005−79841号公報 特開2007−142556号公報
しかしながら、従来技術においては、手振れの程度によって、撮影後に生成される合成画像の画角が不明なため、撮影中あるいは撮影直後に所望の画角で最終画像である合成画像が生成されるかどうかがわからない。
本発明は前述の問題点に鑑み、所望の画角で手振れ補正による画質的劣化を防止することを確認できるようにすることを目的としている。
本発明に係る画像処理装置は、複数の撮像画像の間の位置ずれを算出する位置ずれ算出手段と、前記位置ずれ算出手段によって算出された位置ずれに基づいて、合成画像の画角を算出する画角算出手段と、前記複数の撮像画像を合成して、前記画角算出手段によって算出された画角に対応する前記合成画像を生成する合成手段と、前記合成手段によって合成された合成画像を記録媒体に記録する記録手段と、複数の撮像画像の間の位置ずれを、前記位置ずれ算出手段よりも簡易的に算出する簡易位置ずれ算出手段と、前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御手段と、前記複数の撮像画像の中の1つを、前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角に切り取る切り取り手段と、を有し、前記表示制御手段は、前記切り取り手段によって切り取られた撮像画像を前記表示部に表示することを特徴とする。
本発明によれば、所望の画角で手振れ補正による画質的劣化を防止することを確認することができる。
第1の実施形態における撮像装置の構成例を示すブロック図である。 第2の実施形態における撮像システムの構成例を示すブロック図である。 撮像装置における処理を簡易的に説明するための図である。 撮像装置における簡易位置ずれ検出部の動作を説明するための図である。 撮像装置における合成後画角算出部の動作を説明するための図である。 合成前及び合成後の画像の座標を示す図である。 位置合わせ部による位置合わせ処理手順の一例を示すフローチャートである。 局所的に合成画像のノイズレベル等が変化する様子を説明するための図である。
(第1の実施形態)
以下、本発明の第1の実施形態について、図面を参照しながら説明する。
図1Aは、本実施形態における撮像装置100の構成例を示すブロック図である。本実施形態では、比較的手振れの影響を受けないシャッター速度で撮影した複数枚の画像を合成することにより、電子的に手振れが補正された画像を得ることを目的とする。以下、図1Aを参照しながら各構成について詳細に説明する。
撮像条件決定部102は、被写体を撮像する前に、複数枚撮影時の撮像条件を決定する。ここで、撮像条件とは、焦点位置および露出条件を指す。以下、特に、シャッター速度および感度の設定について説明する。
本実施形態における撮影枚数をN枚とし、通常の1枚撮影する場合のシャッター速度をTとし、撮影感度(ISO値)をSとすると、連写撮影時の各画像のシャッター速度T'及び撮影感度S'は以下の式(1)及び式(2)により算出される。
T'=T/N ・・・(1)
S'=S×N ・・・(2)
式(1)より、シャッター速度T'は通常の1枚撮影のシャッター速度Tに比べて短くなるため、撮影される各画像は、1枚撮影に比べて手振れの影響が相対的に小さくなる。一方、1枚撮影に比べて露光量が小さくなり、撮影画像全体が暗くなるため、式(2)に示すように、撮影感度を上げることによって信号レベルを適正露出相当に制御する。
撮像部103は、撮像条件決定部102で設定された撮像条件に従い、所定枚数の画像を連続的に連写撮影する。連写撮影された各撮影画像は、簡易現像部104及び簡易位置ずれ検出部105の処理用として、一時的に撮像装置100内の不図示のメモリに記録される。
次に、簡易現像部104、簡易位置ずれ検出部105、合成後画角算出部106、画角調整部107及び画像表示部108の構成について説明する。前提として、撮像装置100には、撮影した画像を簡易的に確認するための画像表示部108が設けられている。前述のように、撮影動作とは別に、複数枚の画像の合成処理を行うため、撮影を行った直後のタイミングでは、基本的に合成画像は存在しないが、撮影者が撮影した画像をすぐに確認できるよう画像表示部108には、撮影画像がプレビュー表示される。本実施形態の撮像装置100は、表示用の画像を簡易的に生成して画像表示部108に表示する。以下、簡易的に生成された表示用の画像のことを、単に表示用画像と呼ぶ。
<簡易現像部104>
簡易現像部104は、複数枚の画像の中の所定画像を簡易的に現像する。ここで、所定画像とは、複数枚画像のうち、時間的に最も早く撮影された1枚目の画像とする。その理由としては、シャッターレリーズから撮像までのタイミングが最も早いため、撮影者が意図した画角に最も近い画像であると考えられるからである。また、現像処理とは、主にベイヤー信号から輝度信号及び色差信号を算出することであり、さらにノイズリダクション処理をはじめとした所定の信号処理や、画像の縮小処理を行うことである。
一方、表示用画像は、撮影者に違和感を与えないよう、記録用の合成画像の画質になるべく近いほうが好ましい。このため、ノイズリダクション処理のパラメータは、画像合成による効果を見込んで設定する。本実施形態における合成処理では加算平均を用いる。加算平均により画像の暗電流ノイズ成分はNの平方根の逆数となることが一般的に知られている。従って、撮影感度に対し、合成によるノイズの減少を見込んだパラメータでノイズリダクション処理を行う。例えば、N=4の場合には、ランダムノイズ成分が1/2となるため、撮影感度よりも1段分強い効果のパラメータを設定する。また、画像の縮小処理に関しては、縮小後の画像サイズが、おおよそ2Mピクセル程度となるように縮小する。
次に、簡易位置ずれ検出部105、合成後画角算出部106及び画角調整部107の処理について説明する。図2に示すように、本実施形態における撮像装置100では、複数枚の画像から合成画像を生成するとともに、1枚目の画像からプレビュー用の表示用画像を生成する。合成画像を生成する際には、図7に示すように、位置合わせ時の画像変形により、特に画像周辺部に画質的課題が生じるため、周辺部をトリミングして合成画像を生成する。
一方、表示用画像では、1枚目の画角がそのまま維持されるため、簡易的な表示用画像の画角の方が広くなってしまい、後から合成画像を確認した撮影者に違和感を与えてしまう。そこで、予め合成画像における画角の削減分を見込み、表示用画像をトリミングする。なお、画角の削減分とは手振れの大きさであるため、表示用画像を生成する際にも、簡易的に手振れの大きさを求める必要がある。
<簡易位置ずれ検出部105>
図3は、簡易位置ずれ検出部105の動作を説明するための図である。以下、図3を参照しながら、簡易位置ずれ検出部105の動作について説明する。
まず、位置ずれ検出の基準となる画像を決定する。本実施形態では、図3に示すように、表示用画像として使用される1枚目の撮影画像を基準画像として設定し、基準画像に対するその他の画像の位置ずれを算出する。
次に、位置ずれを算出する方法について説明する。本実施形態では、基準画像以外の、特にm枚目の撮影画像(m≧2)に対する位置ずれを検出する例について説明する。まず、図3に示すように、画角内の所定の小領域毎に、基準画像に対する動きベクトルを算出する。動きベクトルの算出方法は、例えばパターンマッチング処理などが挙げられる。また、小領域の個数や配置についても特に限定はしないが、本処理は簡易処理であるため、後に説明する位置合わせ部151による位置合わせ処理よりも少ない数の動きベクトルを用いる。本実施形態では、図3に示すように、画面内で計20個の動きベクトルを算出する。
次に、算出した動きベクトルの中から、アウトライヤーベクトルを除去する。ここで、アウトライヤーベクトルとは、手振れを表さない動きベクトルのことである。具体的には、局所的な移動体の影響を受けていたり、パターンマッチングが失敗していたりするベクトルのことである。アウトライヤーベクトルを除去する手法は多々知られているが、例えば、ランダムに所定個数の動きベクトルを選択し、動きベクトルの表す動きとは異なる動きベクトルを除外するRANSAC法が挙げられる。また、ジャイロセンサーや加速度センサーなど、カメラの動きを検出するセンサー情報を同時に取得している場合は、センサーの示す動きと大きく異なる動きベクトルをアウトライヤーベクトルと定義してもよい。
次に、アウトライヤーベクトルを除去し、残存している動きベクトルからアフィン変換係数を算出する。このアフィン係数が、手振れを表す動き情報となる。アフィン係数の算出方法としては、例えば最小二乗法を用い、残存ベクトルに対する誤差の二乗和が最小となるようなアフィン係数を算出する方法が挙げられる。また、他に手振れを表す動き情報として、射影変換係数が挙げられるが、最小二乗法での演算が複雑であり処理時間を要することと、未知数が多いため、ある程度以上の個数の動きベクトルを入力しないと不安定な結果が算出される可能性がある。このことから、簡易処理として、本実施形態ではアフィン係数を使用する。
以上が、簡易位置ずれ検出部105の動作であり、簡易位置ずれ検出部105から出力する情報として、基準画像以外の各撮影画像に対する手振れを表すアフィン係数を得る。
<合成後画角算出部106>
図4は、合成後画角算出部106の動作を説明するための図であり、図5は、画像の四隅座標を示す図である。以下、図4および図5を参照しながら、合成後画角算出部106の動作について説明する。
まず、図4に示すように、m枚目の撮影画像に対応するアフィン係数Amを用いて、m枚目の画像の四隅座標のみを座標変換する。ここで、本処理の目的が合成画像の画角(以下、合成後画角)、つまり四隅座標を求めることであり、座標変換後の四隅座標があれば合成後画角の算出が可能であるため、本実施形態では四隅座標のみを座標変換する。
次に、m枚目の撮影画像との合成による合成後画角の始点及び終点の座標をそれぞれPsm,Pemとする。そして、座標Psm,Pemを、1枚目の画像(基準画像)の始点の座標Ps1及び終点の座標Pe1と、m枚目の撮影画像の座標変形後の四隅の座標Pm1,Pm2,Pm3,Pm4とから算出する。
座標Pm1,Pm2,Pm3,Pm4が図4に示すような位置関係の場合、例えば座標Psmのx座標は、座標Pm1,Pm2および座標Ps1のx座標のうち、最も画角の内側にある座標、つまり、最大となる座標値を選択する。このように、四隅の夫々において、画角の最も内側にある座標を選択するので、各座標値は、図5に示す表のとおりとなる。
上記の処理により、m枚目の撮影画像と合成した際の合成後画角の始点Psm及び終点Pemの座標を算出することができ、座標変換された複数の撮像画像に共通する部分に内接する矩形領域を求めることができる。以上の処理を2枚目〜N枚目の画像に対して繰り返すことにより、始点及び終点が夫々(N−1)個ずつ算出される。その後、算出された始点及び終点の座標の中から、同様に最も内側の座標を選択することにより、最終的な合成後画角の始点の座標Ps及び終点の座標Peを算出する。
次に、画角調整部107は、算出した合成後画角の座標に従い、1枚目の簡易現像された撮影画像をトリミングする。そして、トリミングされた撮影画像が表示用画像となり、画像表示部108に表示用画像をプレビュー表示する表示制御を行う。
次に、現像部150、位置合わせ部151及び合成部152の処理について説明する。
まず、現像部150は、連写撮影された複数枚の撮影画像をそれぞれ現像する。現像部150は、簡易現像部104とは異なり、画像の縮小処理は行わず、また、ノイズリダクション処理のパラメータも撮影感度に準じるものとする。
<位置合わせ部151>
次に、現像部150において現像処理を行った複数枚の撮影画像に対し、位置合わせ部151は、位置合わせ処理を行う。図6は、位置合わせ部151による位置合わせ処理手順の一例を示すフローチャートである。以下、図6を参照しながら、位置合わせ部151の動作について説明する。
現像部150は、簡易位置ずれ検出部105と同様に、1枚目の画像を基準画像とし、基準画像に対してm枚目の撮影画像の位置合わせ処理を行う。まず、ステップS601において、mの初期値としてm=2をセットする。
次に、ステップS602において、基準画像及びm枚目画像の動きベクトルを検出する。この処理は、前述の簡易位置ずれ検出部105と同様に、撮影画像内の所定の複数の小領域における動きベクトルを算出する。但し、処理速度を優先していた簡易位置ずれ検出部105の処理と比較して、本処理では位置合わせの性能を優先するため、より多くの動きベクトルを検出することが望ましい。
次に、ステップS603において、手振れを表す動きベクトルを抽出する。この処理に関しても、前述の簡易位置ずれ検出部105と同様に、検出した複数の動きベクトルからアウトライヤーベクトルを除去するが、本処理では位置合わせの性能を重視して、新たな処理を追加してもよい。例えば、テンプレートマッチング時に算出した評価値マップを使用し、動きベクトルの信頼度を判定するといった処理などが挙げられる。
次に、ステップS604において、抽出した動きベクトルから、射影変換係数を算出する。算出方法としては、最小二乗法を用いる。さらに、ステップS605において、算出した射影変換係数を用いて、m枚目の撮影画像を変形処理する。
続いてステップS606において、m=N(N:撮影枚数)に達したか否かを判定する。この判定の結果、m=Nに達した場合は、位置合わせ処理を終了する。一方、m=Nに達していない場合は、ステップS607において、mの値をインクリメントさせ、ステップS602に戻って処理を繰り返す。以上のような位置合わせ部151の動作により、基準画像に位置が合うように変形された撮影画像が得られる。
次に、合成部152は、位置合わせ処理が施された複数枚の撮影画像を合成する。この合成処理においては、加算平均処理を行う。また、前述の変形処理により、画像の周辺部では合成枚数がばらつくため、周辺部をトリミング処理する。トリミング処理を行う座標の算出方法は前述の合成後画角算出部106の処理と同様である。
最後に、画像記録部153は、合成画像を不図示の記録媒体に記録する。記録媒体は、撮像装置100の内部メモリやメディアカードなどが想定される。
以上のように本実施形態によれば、撮像装置100にプレビュー表示する簡易現像された撮影画像に対しても、合成画像のトリミング分を見込んで画角の調整を行う。このため、所望の画角で最終画像である合成画像が生成されるかどうかを確認することができ、プレビュー画像と合成画像とで画角が異なることにより、撮影者に与える違和感の低減も期待できる。
なお、本実施形態では、連写撮影が行われた後に位置ずれ量を算出した例について説明したが、連写撮影が行われている間に、位置ずれ量を順次算出するようにしてもよい。例えば、3枚目の撮像画像を撮影している間に、1枚目の撮像画像と2枚目の撮像画像とを用いて動きベクトルを算出し、位置ずれ量を算出してもよい。これにより、連写撮影が行われている間に、画像表示部108に表示用画像をプレビュー表示するようにしてもよい。具体的には、合成後画角算出部106は、順次算出された位置ずれ量から合成後の画角を順次算出し、画角調整部107は、1枚目の撮像画像を算出された画角にトリミングし、画像表示部108に表示する。このように、位置ずれ量が算出されるたびに合成後の画角が変化するため、合成後の画角が変化するたびに画像表示部108に表示する表示用画像を差し替えるようにしてもよい。
(第2の実施形態)
第1の実施形態では、被写体の撮像から現像、合成、記録処理まで撮像装置内で行っていたが、高速に連写する場合など、撮像装置内では、後段の現像処理、合成処理が間に合わない場合も考えられる。そこで第2の実施形態では、撮像装置は表示用の簡易現像回路と記録処理を行う記録処理部を有し、記録用画像の現像処理や合成処理は撮像装置と接続される画像処理装置である本現像装置に行わせることを特徴とする。
図1Bは、第2の実施形態における撮像システムの構成例を示すブロック図である。以下、図1Bを参照しながら各構成について詳細に説明する。
撮像装置101は、主に被写体を撮像したり、撮影者に対して撮像画像を表示したり、合成後の画像を記録したりする。また、本現像装置109は、撮像装置101で撮影された複数枚の画像の相対的な位置ずれを補正し、合成処理を行う。ここで、本現像装置109は、撮像装置101とは物理的に異なる装置でもよく、同じ装置でもよい。前者の場合は、撮像装置101で撮影した複数枚の画像を本現像装置109に送信して、本現像装置109で合成処理を行う。一方、後者の場合は、撮像装置101で撮影した複数枚の画像を一旦記録しておき、撮影が行われていないタイミングで合成処理を行う。もしくは、合成処理に特化したCPUを別途備えるようにして、撮影動作と並行して合成処理を行う。
このようなシステム構成において、多くの処理時間を要する合成処理を撮影動作とは分けて行うことにより、合成処理によって撮影動作を一定時間停止しないようにすることができる。したがって、撮影者が次回のシャッターチャンスを逃す可能性を低減させることができる。本実施形態では、本現像装置109は撮像装置101とは異なる装置であるものとして説明する。
まず、撮像装置101の各構成について、図1Aに示す撮像装置100と重複する構成については説明を省略し、第1の実施形態と異なる点について説明する。
撮像部103は、撮像条件決定部102で設定された撮像条件に従い、所定枚数の画像を連続的に連写撮影する。連写撮影された各撮影画像は、順次、通信部115により本現像装置109に送信される。送信手段としては、例えばインターネット等のネットワークを使用した方法などが挙げられる。また、各画像は、簡易現像部104及び簡易位置ずれ検出部105の処理用として、一時的に撮像装置101内の不図示のメモリに記録される。
次に、本現像装置109における現像部110、位置合わせ部111及び合成部112の処理について説明する。
まず、撮像装置101から連写撮影された各撮影画像が通信部116を介して入力されると、現像部110は、入力された複数枚の撮影画像をそれぞれ現像する。現像部110、位置合わせ部111及び合成部112は、それぞれ図1Aに示した現像部150、位置合わせ部151及び合成部152と同様の処理を行う。
最後に、通信部116により合成画像を撮像装置101に送信し、撮像装置101側の画像記録部114は、通信部115を介して受信した合成画像を不図示の記録媒体に記録する。記録媒体は、撮像装置101の内部メモリやメディアカードなどが想定される。また、本現像装置109内の画像記録部113も合成画像を不図示の記録媒体に記録しておいてもよい。
以上説明したように、本実施形態に示す撮像システムによれば、複数枚の撮影画像の合成処理を撮影処理とは別の装置、もしくは別のタイミングで行うことにより、合成処理中にシャッターチャンスを逃すという問題を解決できる。さらに、位置合わせのための画像変形に起因して、周辺部で合成枚数がばらつくことによって局所的に画質劣化が発生する問題に対しては、周辺部のトリミングを行う。このとき、撮像装置101にプレビュー表示する簡易現像された撮影画像に対しても、合成画像のトリミング分を見込んで画角の調整を行うため、プレビュー画像と合成画像とで画角が異なることにより、撮影者に与える違和感の低減も期待できる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 撮像装置
105 簡易位置ずれ検出部
106 合成後画角算出部
107 画角調整部
108 画像表示部
151 位置合わせ部
152 合成部

Claims (11)

  1. 複数の撮像画像の間の位置ずれを算出する位置ずれ算出手段と、
    前記位置ずれ算出手段によって算出された位置ずれに基づいて、合成画像の画角を算出する画角算出手段と、
    前記複数の撮像画像を合成して、前記画角算出手段によって算出された画角に対応する前記合成画像を生成する合成手段と、
    前記合成手段によって合成された合成画像を記録媒体に記録する記録手段と、
    複数の撮像画像の間の位置ずれを、前記位置ずれ算出手段よりも簡易的に算出する簡易位置ずれ算出手段と、
    前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御手段と
    前記複数の撮像画像の中の1つを、前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角に切り取る切り取り手段と、を有し、
    前記表示制御手段は、前記切り取り手段によって切り取られた撮像画像を前記表示部に表示することを特徴とする画像処理装置。
  2. 前記位置ずれ算出手段は、前記複数の撮像画像の間の動きベクトルを算出することによって位置ずれを算出し、
    前記簡易位置ずれ算出手段は、前記位置ずれ算出手段によって算出される動きベクトルよりも少ない数の動きベクトルを算出することによって位置ずれを算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記画角算出手段は、前記位置ずれ算出手段によって算出された位置ずれを基に前記撮像画像の四隅の座標をそれぞれ座標変換し、前記座標変換された複数の撮像画像に共通する部分に内接する矩形領域として画角を算出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 複数の撮像画像の間の位置ずれを算出する位置ずれ算出手段と、
    前記位置ずれ算出手段によって算出された位置ずれに基づいて、前記複数の撮像画像に共通する部分に内接する矩形領域として合成画像の画角を算出する画角算出手段と、
    前記複数の撮像画像を合成して、前記画角算出手段によって算出された画角に対応する前記合成画像を生成する合成手段と、
    前記複数の撮像画像の中の1つを、前記位置ずれ算出手段によって算出された位置ずれに基づいた画角に切り取る切り取り手段と、
    前記切り取り手段によって切り取られた撮像画像を表示部に表示する表示制御手段と、
    前記複数の撮像画像を外部に出力する出力手段とを有することを特徴とする画像処理装置。
  5. 請求項1〜の何れか1項に記載の画像処理装置と、
    前記複数の撮像画像を生成する撮像手段とを有することを特徴とする撮像装置。
  6. 前記簡易位置ずれ算出手段は、前記撮像手段により撮像画像が生成されるたびに、複数の撮像画像の間の位置ずれを算出し、
    前記表示制御手段は、前記撮像手段により撮像画像が生成されるたびに算出された位置ずれに基づいた画角の撮像画像を順次前記表示部に表示することを特徴とする請求項に記載の撮像装置。
  7. 請求項に記載の画像処理装置と、
    前記複数の撮像画像を生成する撮像手段とを有することを特徴とする撮像装置。
  8. 複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
    前記位置ずれ算出工程において算出された位置ずれに基づいて、合成画像の画角を算出する画角算出工程と、
    前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
    前記合成工程において合成された合成画像を記録媒体に記録する記録工程と、
    複数の撮像画像の間の位置ずれを、前記位置ずれ算出工程よりも簡易的に算出する簡易位置ずれ算出工程と、
    前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御工程と
    前記複数の撮像画像の中の1つを、前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、を有し、
    前記表示制御工程においては、前記切り取り工程において切り取られた撮像画像を前記表示部に表示することを特徴とする画像処理装置の制御方法。
  9. 複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
    前記位置ずれ算出工程において算出された位置ずれに基づいて、前記複数の撮像画像に共通する部分に内接する矩形領域として合成画像の画角を算出する画角算出工程と、
    前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
    前記複数の撮像画像の中の1つを、前記位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、
    前記切り取り工程において切り取られた撮像画像を表示部に表示する表示制御工程と、
    前記複数の撮像画像を外部に出力する出力工程とを有することを特徴とする画像処理装置の制御方法。
  10. 複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
    前記位置ずれ算出工程において算出された位置ずれに基づいて、合成画像の画角を算出する画角算出工程と、
    前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
    前記合成工程において合成された合成画像を記録媒体に記録する記録工程と、
    複数の撮像画像の間の位置ずれを、前記位置ずれ算出工程よりも簡易的に算出する簡易位置ずれ算出工程と、
    前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御工程と
    前記複数の撮像画像の中の1つを、前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、をコンピュータに実行させ
    前記表示制御工程においては、前記切り取り工程において切り取られた撮像画像を前記表示部に表示することを特徴とするプログラム。
  11. 複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
    前記位置ずれ算出工程において算出された位置ずれに基づいて、前記複数の撮像画像に共通する部分に内接する矩形領域として合成画像の画角を算出する画角算出工程と、
    前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
    前記複数の撮像画像の中の1つを、前記位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、
    前記切り取り工程において切り取られた撮像画像を表示部に表示する表示制御工程と、
    前記複数の撮像画像を外部に出力する出力工程とをコンピュータに実行させることを特徴とするプログラム。
JP2014106289A 2014-05-22 2014-05-22 画像処理装置および撮像装置 Expired - Fee Related JP6433154B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014106289A JP6433154B2 (ja) 2014-05-22 2014-05-22 画像処理装置および撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014106289A JP6433154B2 (ja) 2014-05-22 2014-05-22 画像処理装置および撮像装置

Publications (3)

Publication Number Publication Date
JP2015222864A JP2015222864A (ja) 2015-12-10
JP2015222864A5 JP2015222864A5 (ja) 2017-06-29
JP6433154B2 true JP6433154B2 (ja) 2018-12-05

Family

ID=54785696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014106289A Expired - Fee Related JP6433154B2 (ja) 2014-05-22 2014-05-22 画像処理装置および撮像装置

Country Status (1)

Country Link
JP (1) JP6433154B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200081527A (ko) 2018-12-19 2020-07-08 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4164424B2 (ja) * 2003-08-29 2008-10-15 キヤノン株式会社 撮像装置及び方法
JP5395512B2 (ja) * 2009-05-26 2014-01-22 オリンパスイメージング株式会社 撮影装置

Also Published As

Publication number Publication date
JP2015222864A (ja) 2015-12-10

Similar Documents

Publication Publication Date Title
JP4164703B2 (ja) 広視野画像入力方法及び装置
JP5744614B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US8274572B2 (en) Electronic camera capturing a group of a plurality of specific objects
JP2010187347A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
KR20140138947A (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JPWO2004062270A1 (ja) 画像処理装置
JP2014150443A (ja) 撮像装置、その制御方法及びプログラム
JP2010183560A (ja) 撮像装置、画像処理方法及びプログラム
WO2016184131A1 (zh) 基于双摄像头拍摄图像的方法、装置及计算机存储介质
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2010187348A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP6433154B2 (ja) 画像処理装置および撮像装置
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6730423B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5453552B2 (ja) 撮影装置、方法及びプログラム
JP7053434B2 (ja) 画像処理装置および画像処理方法
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
JP2010109876A (ja) 画像防振装置、撮像装置及び画像防振方法
JP2018074502A (ja) 撮像装置、情報処理装置、撮像システム、撮像方法、情報処理方法、およびプログラム
JP2011151556A (ja) 画像処理装置およびその制御方法
JP2009159404A (ja) 画像処理方法、画像処理装置及び画像形成装置
JP6873815B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181106

R151 Written notification of patent or utility model registration

Ref document number: 6433154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees