JP7005338B2 - 情報処理装置及びその制御方法及びプログラム - Google Patents
情報処理装置及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP7005338B2 JP7005338B2 JP2017250109A JP2017250109A JP7005338B2 JP 7005338 B2 JP7005338 B2 JP 7005338B2 JP 2017250109 A JP2017250109 A JP 2017250109A JP 2017250109 A JP2017250109 A JP 2017250109A JP 7005338 B2 JP7005338 B2 JP 7005338B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- subject
- composite
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
複数の画像から合成画像を生成する画像処理装置であって、
連続して撮像された複数の画像データを取得する取得手段と、
前記画像データにおける被写体を特定する特定手段と、
第1の被写体の動きに応じて前記複数の画像データのうち少なくとも2つの画像データを合成した第1の合成画像と、前記第1の被写体とは動きが異なる第2の被写体の動きに応じて前記複数の画像データのうち少なくとも2つの画像データを合成した第2の合成画像とを生成する生成手段と、
前記第1の合成画像と前記第2の合成画像とを並べて表示する表示手段とを有する。
静止した被写体が異なる、モーションブラーを付与した複数枚の画像を、UI画面に表示する場合について説明する。
次に、代表動きベクトル決定部204における動きベクトルの決定処理を説明する。代表動きベクトル決定部204は、シーン中に含まれる二つ以上の主要被写体に対し、主要被写体の個数と、夫々の平均的な動きを表す代表的な動きベクトルを算出する。ここではヒストグラムを用いて代表動きベクトルを算出する例と、領域分割に基づき主要被写体を特定する例について説明するが、それ以外の手法を用いても構わない。
図5は既存の領域分割手法を用いて画像を領域分割した例である。図示の参照符号502、503は移動被写体(車)、504は静止被写体(家)である。点線505は分割された領域と領域の境界線を表している。領域分割は、画素値に基づきクラスタリングする手法など既存手法を用いるものとする。もしくは、ユーザが予め入力した、概略の領域分割線の情報をもとに、適当なアルゴリズムを用いて補正してもよい。以上のように、領域分割を行うことができれば、全て自動で処理してもよいし、ユーザの入力情報をもとに補正・高精度化してもよい。
次にブラー付与部205における処理を説明する。ここでは複数枚の画像を基準画像に位置合わせする場合と、基準画像に対してブラーフィルタを作用させる場合について説明する。
画像表示部206が表示装置109に表示するUI(ユーザインターフェース)について図10を用いて説明する。図10において、画像1001~1003はそれぞれ被写体502~504が静止するようにモーションブラーを付与した画像である。なお、実施形態では、代表動きベクトルの数が3の例を説明しているので、図示のように生成されるモーションブラーが付与された画像は3つとなる。
上記第1の実施形態では、静止させる被写体を変えた複数枚の画像をユーザに選択可能に表示した。本第2の実施形態では、その際に付加的な情報もユーザに表示する場合について説明する。図11は、本第2の実施形態の画像処理装置1100の構成を示す図である。図示において、参照符号201乃至205、207は、第1の実施形態(図2)と同じであるものとして説明は省略し、図2との差異のみを説明する。
第1の実施形態では、静止させる被写体毎の画像候補をユーザに表示したが、本実施形態では、動きベクトルに基づく位置合わせに誤差があった際にユーザが微修正可能とする例を説明する。
(vx,vy)←(vx,vy)+(ux,uy) …(2)
以上により、位置合わせに誤差があった場合においても、ユーザが微調整を行うことで、ユーザの好みに合わせた、高画質なモーションブラー画像を得ることができる。
第1や第2の実施形態では、表示装置109にUI画面を表示し、ユーザが選択・もしくは修正した画像を記憶部104に保存した。
第1から第4の実施形態では、静止画を複数表示するUIについて説明を行ったが、本実施例では、連続して撮影された画像をもとに複数の動画像を生成してUIに表示、保存する場合について説明する。本実施形態では、高速なシャッタースピードで連続撮影した場合について説明を行うが、60fpsなどで動画撮影された場合も同様である。図示において、第1から第4の実施形態との差異のみを説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (18)
- 複数の画像から合成画像を生成する画像処理装置であって、
連続して撮像された複数の画像データを取得する取得手段と、
前記画像データにおける被写体を特定する特定手段と、
第1の被写体の動きに応じて前記複数の画像データのうち少なくとも2つの画像データを合成した第1の合成画像と、前記第1の被写体とは動きが異なる第2の被写体の動きに応じて前記複数の画像データのうち少なくとも2つの画像データを合成した第2の合成画像とを生成する生成手段と、
前記第1の合成画像と前記第2の合成画像とを並べて表示する表示手段と
を有することを特徴とする画像処理装置。 - 前記複数の画像データのうちの1つを基準画像データとし、当該基準画像データと他の画像データ間の、前記基準画像データに含まれる複数の被写体の動きベクトルを抽出する抽出手段を更に有し、
前記生成手段は、前記動きベクトルのうちの着目動きベクトルに基づいて、対象の被写体が同じ位置となるように前記基準画像データ及び他の画像データとを合成して合成画像データを生成する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生成手段は、前記抽出手段で抽出された動きベクトルのうちの着目動きベクトルに基づいて、対象の被写体が同じ位置となるように前記基準画像データ及び他の画像データとを合成して合成画像データを生成することを、抽出した動きベクトルの個数ぶん行うことで複数の合成画像データを生成する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記抽出手段は、動きベクトルの出現頻度を求め、出現頻度の上位の予め設定された数の動きベクトルを、抽出の対象として決定することを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、前記他の画像データを前記着目動きベクトルとは逆に方向にずらして、前記基準画像データと合成することで前記合成画像データを生成することを特徴とする請求項2又は3に記載の画像処理装置。
- 前記生成手段は、画像データどうしを合成する際に、動きベクトルに基づくブラーフィルタを用いて合成することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記取得手段は、前記複数の画像データの撮像する際の撮像装置の動きを表す情報を更に取得し、
前記表示手段は、前記撮像装置の動き情報と前記動きベクトルから、各合成画像データにおける主要被写体が静止被写体か移動体かのいずれであるかを区別可能に、複数の合成画像を表示することを特徴とする請求項2に記載の画像処理装置。 - 前記表示手段は、複数の合成画像を、ユーザによる選択可能に表示することを特徴とする請求項4に記載の画像処理装置。
- ユーザが選択した合成画像を生成する際に用いた動きベクトルを、ユーザの指示に応じて修正する修正手段を更に有することを特徴とする請求項8に記載の画像処理装置。
- 前記生成手段で得られた複数の合成画像を表示する前に、前記複数の合成画像のうち、少なくとも1つ以上を自動で保存する保存手段を有する請求項1乃至3の何れか一項に記載の画像処理装置。
- 前記表示手段は、前記生成手段で得られた前記第1の合成画像と前記第2の合成画像を動画像として並べて表示することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記抽出手段は、前記基準画像データにおける各画素の動きベクトルのヒストグラムを作成し、頻度の高い動きベクトル順にN個の動きベクトルを抽出することで、前記基準画像データに含まれる複数の被写体の動きベクトル抽出することを特徴とする請求項2または3に記載の画像処理装置。
- 前記抽出手段は、前記基準画像データを複数の領域に分割し、各領域内の動きベクトルの平均値を算出することで、前記基準画像データに含まれる複数の被写体の動きベクトルを抽出することを特徴とする請求項2または3に記載の画像処理装置。
- 前記表示手段は、前記第1の合成画像と前記第2の合成画像に、前記複数の画像における被写体の動きに応じた合成をしたことを示すアイコンを重畳して表示することを特徴とする請求項1に記載の画像処理装置。
- 前記表示手段は、前記第1の合成画像と前記第2の合成画像それぞれに、被写体が静止被写体か移動体かが区別可能な情報をUIに重畳して表示する請求項1または14に記載の画像処理装置。
- 前記表示手段は、ユーザによる、前記合成画像のうち少なくとも1つに対する修正の指示を受けつけると、前記動きベクトルを修正するためのスライドバーを表示し、
前記修正手段は、前記スライドバーに対するユーザの入力に応じて、前記動きベクトルを修正することを特徴とする請求項9に記載の画像処理装置。 - 複数の画像から合成画像を生成する画像処理装置の制御方法であって、
連続して撮像された複数の画像データを取得する取得工程と、
前記画像データにおける被写体を特定する特定工程と、
第1の被写体の動きに応じて前記複数の画像データのうち少なくとも2つの画像データを合成した第1の合成画像と、前記第1の被写体とは動きが異なる第2の被写体の動きに応じて前記複数の画像データのうち少なくとも2つの画像データを合成した第2の合成画像とを生成する生成工程と、
前記第1の合成画像と前記第2の合成画像とを並べて表示する表示工程と
を有することを特徴とする画像処理装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータに、請求項1乃至16のいずれか一項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/924,499 US10764498B2 (en) | 2017-03-22 | 2018-03-19 | Image processing apparatus, method of controlling the same, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017056457 | 2017-03-22 | ||
JP2017056457 | 2017-03-22 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018160235A JP2018160235A (ja) | 2018-10-11 |
JP2018160235A5 JP2018160235A5 (ja) | 2021-01-21 |
JP7005338B2 true JP7005338B2 (ja) | 2022-01-21 |
Family
ID=63795654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017250109A Active JP7005338B2 (ja) | 2017-03-22 | 2017-12-26 | 情報処理装置及びその制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7005338B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230184538A1 (en) * | 2020-05-15 | 2023-06-15 | Sony Group Corporation | Information processing apparatus, information processing method, and information processing program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006339903A (ja) | 2005-05-31 | 2006-12-14 | Casio Comput Co Ltd | 撮像装置、画像処理方法及びプログラム |
WO2008149925A1 (ja) | 2007-06-08 | 2008-12-11 | Nikon Corporation | 撮像装置、画像表示装置、プログラム |
JP2012003503A (ja) | 2010-06-16 | 2012-01-05 | Canon Inc | 画像処理装置およびその制御方法、並びにプログラム |
JP2016143915A (ja) | 2015-01-29 | 2016-08-08 | オリンパス株式会社 | 撮像装置、撮像システム撮像方法およびプログラム |
-
2017
- 2017-12-26 JP JP2017250109A patent/JP7005338B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006339903A (ja) | 2005-05-31 | 2006-12-14 | Casio Comput Co Ltd | 撮像装置、画像処理方法及びプログラム |
WO2008149925A1 (ja) | 2007-06-08 | 2008-12-11 | Nikon Corporation | 撮像装置、画像表示装置、プログラム |
JP2012003503A (ja) | 2010-06-16 | 2012-01-05 | Canon Inc | 画像処理装置およびその制御方法、並びにプログラム |
JP2016143915A (ja) | 2015-01-29 | 2016-08-08 | オリンパス株式会社 | 撮像装置、撮像システム撮像方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018160235A (ja) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10764498B2 (en) | Image processing apparatus, method of controlling the same, and storage medium | |
CN109565551B (zh) | 对齐于参考帧合成图像 | |
KR101803712B1 (ko) | 화상처리장치, 제어 방법, 프로그램 및 기록 매체 | |
EP2750372B1 (en) | Photographing device for producing composite image and method using the same | |
JP5818514B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
US9479709B2 (en) | Method and apparatus for long term image exposure with image stabilization on a mobile device | |
JP5589548B2 (ja) | 撮像装置、画像処理方法、及びプログラム記憶媒体 | |
US11839721B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US20170150054A1 (en) | Image pickup apparatus for detecting moving amount of main subject or background, method for controlling image pickup apparatus, and storage medium | |
JP7032913B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
US11496661B2 (en) | Image processing apparatus and image processing method | |
WO2015156149A1 (ja) | 画像処理装置および画像処理方法 | |
JP6904842B2 (ja) | 画像処理装置、画像処理方法 | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP7005338B2 (ja) | 情報処理装置及びその制御方法及びプログラム | |
JP6082304B2 (ja) | 画像処理装置及びその処理方法 | |
US10861135B2 (en) | Image processing apparatus, non-transitory computer-readable recording medium storing computer program, and image processing method | |
US20160057446A1 (en) | Method of generating a framed video system | |
Lee | Novel video stabilization for real-time optical character recognition applications | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
WO2018043437A1 (ja) | 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体 | |
CN111583125B (zh) | 图像处理装置、图像处理方法及计算机可读存储介质 | |
US8588475B2 (en) | Image processing apparatus and image processing method for indicating movement information | |
JP2018174461A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6089549B2 (ja) | 情報処理装置、情報処理システム、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201203 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201203 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |