JP7045342B2 - 画像処理装置、方法及びプログラム並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置、方法及びプログラムに係り、特にユーザからの操作入力に基づいて画像を加工編集する画像処理装置、方法及びプログラムに関する。

画面内に動く被写体（動体）が存在している場合のように、動きのあるシーンをユーザ（撮影者）の意図した通りに撮像することは難しい。

特許文献１－３には、動きのあるシーンを撮像する場合において、被写体を連続して撮像し、得られた画像群を事後的に加工編集することで、意図した画像に近い画像を得る方法が提案されている。

たとえば、特許文献１では、被写体を連続して撮像し、得られた画像群の中の一つをタッチパネルに表示し、そのタッチパネルの画面上で選択された領域の画像を他のフレームの画像に置き換えることで、ユーザの意図した画像に近い画像を得ている。

同様に、特許文献２では、被写体を連続して撮像し、得られた画像群の中の一つをタッチパネルに表示し、そのタッチパネルの画面上で擦られた領域の画像を他のフレームの画像に置き換えることで、ユーザの意図した画像に近い画像を得ている。

また、特許文献３では、移動する被写体を連続して撮像し、得られた画像群の中から一つをベース画像として選択してタッチパネルに表示し、ドラッグ操作で被写体を動かすことにより、ベース画像上で被写体を所望の位置に再配置して、ユーザの意図した画像に近い画像を得ている。

特開2001-45355号公報 特開2010-10883号公報 特開2017-515345号公報

しかしながら、特許文献１、２は、単に選択された領域の画像を他のフレームの画像に置き換えるものであるため、レイアウトの調整等ができず、ユーザが満足できる画像が得難いという欠点がある。

一方、特許文献３は、被写体のレイアウトを調整できるが、調整できる範囲が被写体の移動軌跡に沿った範囲に限定されるため、利用できるシーンが限定されるという欠点がある。また、特許文献３は、単に被写体の位置を変えるだけであるため、被写体がポーズを変えながら移動しているような場合に、希望するポーズの画像を希望する位置に配置できないという欠点もある（特許文献３は、再配置先として選択された位置に被写体が写っている画像を抽出し、当該画像をベース画像に合成しているため、ポーズの選択はできない。）。

画像編集用のソフトウェアがインストールされたパーソナルコンピュータを用いることで、所望の画像に加工編集することもできるが、その場合、システムが大掛かりになるという欠点がある。また、この種のソフトウェアは、操作に習熟を要するという欠点もある。

本発明は、このような事情に鑑みてなされたもので、簡単な操作で意図した画像が得られる画像処理装置、方法及びプログラム並びに撮像装置を提供することを目的とする。

上記課題を解決するための手段は、次のとおりである。

（１）連続して撮像された画像群を取得する画像取得部と、画像群を構成する画像の一つを基準画像として表示する表示部と、表示部に表示された画像の中で編集対象とする動体を選択する編集対象選択部と、少なくとも第１操作及び第２操作が可能な操作部と、操作部の操作に基づいて、基準画像に画像処理を行う画像処理部であって、第１操作に応じて、編集対象とされた動体の画像を順番に他のフレームの画像に置き換える画像処理を行い、かつ、第２操作に応じて、編集対象とされた動体の画像を移動させる画像処理を行う画像処理部と、を備えた画像処理装置。

（２）操作部が、タッチパッドで構成され、第１操作が第１方向へのスワイプ操作、第２操作が第２方向へのスワイプ操作である、上記（１）の画像処理装置。

（３）タッチパッドが、表示部に備えられる、上記（２）の画像処理装置。

（４）操作部が、十字ボタン又はジョイスティックで構成され、第１操作が第１方向への操作、第２操作が第２方向への操作である、上記（１）の画像処理装置。

（５）第１方向及び第２方向の両方の成分を含む方向に操作部が操作された場合、画像処理部は、第１操作に応じた画像処理及び第２操作に応じた画像処理を同時に行う、上記（２）から（４）のいずれか一の画像処理装置。

（６）画像群を構成する各画像から動体を抽出する動体抽出部と、第２方向に動体の画像の位置を揃えた画像を生成する画像生成部と、を更に備え、表示部は、画像生成部で生成した画像を基準画像として表示する、上記（２）から（５）のいずれか一の画像処理装置。

（７）編集対象とされた動体の画像が移動できる範囲を制限する移動範囲制限部を更に備える、上記（１）から（６）のいずれか一の画像処理装置。

（８）移動範囲制限部は、画像群を構成する画像で背景の画像を補完可能な範囲で、編集対象とされた動体の画像の移動範囲を制限する、上記（７）の画像処理装置。

（９）画像処理部は、背景の画像が不足する場合に、画像群を構成する画像で不足部分を補完する画像処理を行う、上記（１）から（８）のいずれか一の画像処理装置。

（１０）画像処理部は、背景の画像が不足する場合に、基準画像の背景の画像を他のフレームの背景の画像に置き換える画像処理を行う、上記（１）から（８）のいずれか一の画像処理装置。

（１１）撮像部と、上記（１）から（１０）のいずれか一の画像処理装置と、備え、画像取得部は、撮像部で連続して撮像された画像群を取得する、撮像装置。

（１２）連続して撮像された画像群を取得するステップと、画像群を構成する画像の一つを基準画像として表示部に表示するステップと、表示部に表示された画像の中で編集対象とする動体を選択するステップと、少なくとも第１操作及び第２操作が可能な操作部の操作に基づいて、基準画像に画像処理を行うステップであって、第１操作に応じて、編集対象とされた動体の画像を順番に他のフレームの画像に置き換える画像処理を行い、かつ、第２操作に応じて、編集対象とされた動体の画像を移動させる画像処理を行うステップと、を含む画像処理方法。

（１３）連続して撮像された画像群を取得する機能と、画像群を構成する画像の一つを基準画像として表示部に表示する機能と、表示部に表示された画像の中で編集対象とする動体を選択する機能と、少なくとも第１操作及び第２操作が可能な操作部の操作に基づいて、基準画像に画像処理を行う機能であって、第１操作に応じて、編集対象とされた動体の画像を順番に他のフレームの画像に置き換える画像処理を行い、かつ、第２操作に応じて、編集対象とされた動体の画像を移動させる画像処理を行う機能と、をコンピュータに実現させる画像処理プログラム。

本発明によれば、簡単な操作で意図した画像が得られる。

デジタルカメラの外観構成の一例を示す正面斜視図 図１に示すデジタルカメラの背面斜視図 デジタルカメラの電気的構成を示すブロック図 画像処理装置として機能する場合のデジタルカメラの機能ブロック図 撮像編集モードでの処理の手順を示すフローチャート 連写により得られた画像群の一例を示す図 基準画像の表示の一例を示す図 編集対象の画像を他のフレームの画像に変更する場合の操作及び処理の概念図 横方向のスワイプ操作による基準画像の変化を示す図 編集対象の画像の位置を調整する場合の操作及び処理の概念図 画像編集の処理の手順を示すフローチャート 画像編集後の背面モニタの表示の一例を示す図 再生編集モードでの処理の手順を示すフローチャート 十字ボタンを用いた編集対象の選択の一例を示す図 斜め方向にスワイプ操作された場合の処理の概念図 図１５に示す画像の画像処理の結果を示す図 移動範囲を制限する機能を備えた画像処理装置の一例を示す機能ブロック図 編集の初期状態の基準画像を自動生成する機能を備えた画像処理装置の一例を示す機能ブロック図

以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。

ここでは、本発明をデジタルカメラに適用した場合を例に説明する。デジタルカメラは、撮像装置の一例である。また、デジタルカメラは、画像処理機能を有し、単体で画像処理装置として機能する。

［デジタルカメラの外観構成］
図１は、デジタルカメラの外観構成の一例を示す正面斜視図である。また、図２は、図１に示すデジタルカメラの背面斜視図である。

図１に示すデジタルカメラ１は、いわゆるレンズ交換式のデジタルカメラである。デジタルカメラ１は、カメラボディ（装置本体）１００及び交換レンズ１０を有する。なお、図１では、交換レンズ１０として、単焦点レンズを装着した場合の例を示している。

カメラボディ１００は、正面部にレンズマウント１０１を有する。交換レンズ１０は、レンズマウント１０１を介して、カメラボディ１００に着脱自在に装着される。レンズマウント１０１には、接点（不図示）が備えられる。カメラボディ１００に装着された交換レンズ１０は、接点を介して、カメラボディ１００と電気的に接続される。

カメラボディ１００は、操作部材として、その正面部にフォーカスモード切換レバー１０２、フロントコマンドダイヤル１０３等を有する。また、カメラボディ１００は、操作部材として、その上面部に電源レバー１０４、シャッターボタン１０５、露出補正ダイヤル１０６、シャッタースピードダイヤル１０７、感度ダイヤル１０８等を有する。更に、カメラボディ１００は、操作部材として、その背面部にリアコマンドダイヤル１０９、消去ボタン１１０、再生ボタン１１１、ＡＥ（auto exposure）ロックボタン１１２、ＡＦ（auto focus）ロックボタン１１３、メニューボタン１１４、ジョイスティック１１５、十字ボタン１１６、決定ボタン１１７、キャンセルボタン１１８等を有する。

フロントコマンドダイヤル１０３及びリアコマンドダイヤル１０９は、クリックストップ機構を備えた回転式の操作部材である。ジョイスティック１１５は、レバー操作によって方向入力を行う操作部材である。本実施の形態では、ジョイスティック１１５によって、上方向、下方向、左方向、右方向、右斜め上方向、左斜め上方向、右斜め下方向及び左斜め下方向の操作入力が行われる。十字ボタン１１６（十字キーともいう）は、ボタン操作によって方向入力を行う操作部材である。本実施の形態では、十字ボタン１１６が、上方向の操作入力を行う上ボタン、下方向の操作入力を行う下ボタン、左方向の操作入力を行う左ボタン及び右方向の操作入力を行う右ボタンの４つのボタンで構成される。フロントコマンドダイヤル１０３、リアコマンドダイヤル１０９、ジョイスティック１１５及び十字ボタン１１６は、カメラボディ１００を把持する手で操作可能な位置に配置される。具体的には、フロントコマンドダイヤル１０３は、カメラボディ１００を把持する手の人指し指で操作可能な位置に配置され、リアコマンドダイヤル１０９は、カメラボディ１００を把持する手の親指で操作可能な位置に配置される。また、ジョイスティック１１５及び十字ボタン１１６は、カメラボディ１００を把持する手の親指で操作可能な位置に配置される。

フロントコマンドダイヤル１０３、リアコマンドダイヤル１０９、ジョイスティック１１５及び十字ボタン１１６には、デジタルカメラ１のモードに応じた機能が割り当てられる。

カメラボディ１００は、背面部にファインダの接眼部１１９Ａを有する。ファインダは、電子ビューファインダー（electric viewfinder ,EVF）で構成される。

また、カメラボディ１００は、背面部に背面モニタ１２０を有する。背面モニタ１２０は、いわゆるタッチパネル（タッチスクリーンともいう）で構成される。したがって、背面モニタ１２０は、操作部材としても機能する。背面モニタ１２０は、たとえば、液晶ディスプレイ（liquid crystal display ,LCD）、有機ＥＬディスプレイ（organic electroluminescence display）等のパネルディスプレイと、タッチパッドとを組み合わせて構成される。

交換レンズ１０は、操作部材として、その外周部にフォーカスリング１１及び絞りリング１２等を有する。なお、交換レンズ１０が、ズームレンズの場合には、操作部材として、更にズームリングが備えられる。

［デジタルカメラの電気的構成］
図３は、デジタルカメラの電気的構成を示すブロック図である。

［交換レンズ］
交換レンズ１０は、複数枚のレンズを組み合わせて構成され、そのレンズの一部又は全体を光軸に沿って前後移動させることにより、焦点調節される。焦点調節用のレンズ（フォーカスレンズ）は、レンズ駆動部２０に駆動されて、移動する。

交換レンズ１０は、絞り１３を有する。絞り１３は、たとえば虹彩絞りで構成される。絞り１３は、絞り駆動部２１に駆動されて、開口径が変化する。

交換レンズ１０は、レンズマイコン２２を有する。レンズマイコン２２は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、交換レンズ１０の制御部として機能する。レンズマイコン２２は、カメラボディ１００からの指令及びレンズ操作部２３の操作に基づいて、レンズ駆動部２０及び絞り駆動部２１を制御する。また、レンズマイコン２２は、カメラボディ１００に備えられたカメラマイコン１５０との間でデータを送受信する。

レンズ操作部２３は、フォーカスリング１１及び絞りリング１２等の操作部材及びその信号処理回路を含み、各操作部材の操作に基づく信号をレンズマイコン２２に出力する。

［カメラボディ］
カメラボディ１００は、イメージセンサ１３０、シャッタ１３２、アナログ信号処理部１３４、デジタル信号処理部１３６、ＡＦ（auto focus）処理部１３８、ＡＥ（auto exposure）処理部１４０、メモリカードインタフェース１４２、メモリカード１４４、電子ビューファインダー（ＥＶＦ）１１９、背面モニタ１２０、カメラ操作部１４８及びカメラマイコン１５０等を備える。

イメージセンサ１３０は、交換レンズ１０を通る光を受光して、画像を撮像する。イメージセンサ１３０は、撮像部の一例である。イメージセンサ１３０は、たとえば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charged Coupled Device）等の固体撮像素子で構成される。

イメージセンサ１３０は、位相差の検出機能を有し、複数のフォーカスエリアで位相差の検出が可能な構成を有する。たとえば、フォーカスエリアとして設定されたエリアに複数の位相差検出用の画素を有し、その位相差検出用の画素の出力に基づいて、各フォーカスエリアの位相差を検出できる構成を有する。フォーカスエリアは、たとえば、画角内をグリッド状に分割して設定される。イメージセンサ１３０は、イメージセンサ駆動部１３０Ａに駆動されて動作する。

シャッタ１３２は、フォーカルプレーンシャッタで構成される。シャッタ１３２は、シャッタ駆動部１３２Ａに駆動されて、そのシャッタ幕が開閉される。

アナログ信号処理部１３４は、イメージセンサ１３０から出力される画素ごとの画像信号に所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施し、デジタル信号に変換して出力する。

デジタル信号処理部１３６は、デジタル化された画像信号を取り込み、所定の信号処理（たとえば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、ＹＣ変換処理等）を施して、画像データを生成する。

ＡＦ処理部１３８は、イメージセンサ１３０の出力に基づいて、ＡＦ（auto focus）制御に必要な制御量を算出する。具体的には、各フォーカスエリアに備えられた位相差検出用の画素の出力に基づいて、各フォーカスエリアの位相差量を算出し、算出した位相差量に基づいて、各フォーカスエリアのデフォーカス量を算出する。カメラマイコン１５０は、このＡＦ処理部１３８の算出結果に基づいて、ＡＦ制御を実施する。具体的には、ＡＦ（auto focus）の対象とされたフォーカスエリアのデフォーカス量に基づいて、フォーカスエリアの移動目標位置を決定し、レンズマイコン２２に駆動指令を出力する。

ＡＥ処理部１４０は、イメージセンサ１３０の出力に基づいて、ＡＥ（auto exposure）制御に必要な制御量を算出する。具体的には、所定の測光パターンに従って、被写体の明るさを測定する。カメラマイコン１５０は、このＡＥ処理部１４０で測定された被写体の明るさ（測光値）に基づいて、撮像の際の露出を決定する。すなわち、適正露出で撮像するための感度、シャッタースピード及び絞り値を決定する。

メモリカードインタフェース１４２は、カードスロットに装着されたメモリカード１４４に対して、データの読み書きを行う。

電子ビューファインダー（ＥＶＦ）１１９は、表示デバイスを有し、その表示デバイスの表示を接眼部１１９Ａ（図２参照）から観察する。表示デバイスは、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ（EL：ElectroLuminescent）等で構成される。

背面モニタ１２０は、上記のように、タッチパネルで構成され、ディスプレイ１２０Ａとタッチパッド１２０Ｂとを組み合わせて構成される。ディスプレイ１２０Ａは、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。

カメラ操作部１４８は、カメラボディ１００に備えられた各操作部材（タッチパネルとしての背面モニタ１２０を含む）及びその信号処理回路を含み、各操作部材の操作に基づく信号をカメラマイコン１５０に出力する。

カメラマイコン１５０は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、デジタルカメラ１の制御部として機能する。たとえば、ライブビューの表示制御、ＡＥ（auto exposure）制御、ＡＦ（auto focus）制御、記録用の撮像制御、記録制御、再生制御、各種設定処理等を実施する。これらの機能は、一般的なデジタルカメラの機能であるので、その詳細についての説明は省略する。

なお、本実施の形態のデジタルカメラ１は、連写機能を有する。連写機能は、デジタルカメラ１のモードを連写モードに設定することで有効化される。連写モードに設定されると、記録用の撮像制御として、画像を連続的に撮像する処理が行われる。また、記録制御として、連写により得られた一連の画像群を関連付けて記録する処理が行われる。撮像は、シャッターボタン１０５を全押ししている間、継続して実施される。

［画像処理装置としての機能］
上記のように、本実施の形態のデジタルカメラ１は、撮像された画像を加工編集する機能（画像処理機能）を有し、単体で画像処理装置として機能する。特に、本実施の形態のデジタルカメラ１は、連続して撮像された画像群を用いて、所定の合成画像を生成する機能を有する。カメラマイコン１５０は、所定のプログラム（画像処理プログラム）を実行することにより、画像処理装置としての機能を実現する。

図４は、画像処理装置として機能する場合のデジタルカメラの機能ブロック図である。

画像処理装置として機能するデジタルカメラ１は、処理対象の画像を取得する画像取得部２１０、処理対象の画像を表示する表示部２１２、表示部２１２の表示を制御する表示制御部２１４、表示部２１２に表示中の画像から編集対象を選択する編集対象選択部２１６、画像の編集操作を行う操作部２１８、処理対象の画像から動体を抽出する動体抽出部２２０、操作部２１８の操作に基づいて画像処理を行う画像処理部２２２、及び、生成された合成画像の記録処理を行う記録処理部２２４を備える。

画像取得部２１０は、処理対象の画像として、連続して撮像された一連の画像（画像群）を取得する。画像取得部２１０は、メモリカード１４４から処理対象の画像群を読み出して取得する。あるいは、連写モードで画像を撮像し、得られた一連の画像を処理対象の画像群として取得する。画像取得部２１０の機能は、カメラマイコン１５０によって実現される。

表示部２１２は、背面モニタ１２０で構成される。より具体的には、タッチパネルである背面モニタ１２０のディスプレイ１２０Ａの部分で構成される。

表示制御部２１４は、画像取得部２１０で取得した画像群の中の一つを基準画像として表示部２１２に表示させる。また、その基準画像に対して画像処理が行われた場合は、処理後の画像を表示部２１２に表示させる。基準画像の初期設定は、たとえば、先頭フレームの画像である。その後、ユーザのコマ送り操作によって、基準画像とする画像が選択される。表示制御部２１４の機能は、カメラマイコン１５０によって実現される。

編集対象選択部２１６は、タッチパネルである背面モニタ１２０で構成される。より具体的には、タッチパネルである背面モニタ１２０のタッチパッド１２０Ｂの部分で構成される。背面モニタ１２０は、画面上に基準画像が表示された状態でタッチ操作に入力を受け付けて、編集対象の選択を受け付ける。ユーザは、基準画像が表示された背面モニタ１２０の画面上で編集対象とする被写体をタッチして、編集対象を選択する。なお、編集対象として選択可能な被写体は動体である。すなわち、連続して撮像された画像群の中で動きのある被写体である。

操作部２１８は、タッチパネルである背面モニタ１２０で構成される。より具体的には、タッチパネルである背面モニタ１２０のタッチパッド１２０Ｂの部分で構成される。背面モニタ１２０は、画面上に基準画像が表示された状態で、画面へのスワイプ操作を受け付けて、第１操作及び第２操作を受け付ける。第１操作は、第１方向へのスワイプ操作である。第２操作は、第２方向へのスワイプ操作である。第１方向及び第２方向は、互いに直交する方向である。スワイプ操作とは、画面上で指をスライドさせる操作である。本実施の形態では、第１方向が、画面の横方向（図２のｘ方向）であり、第２方向が、画面の上下方向（図２のｙ方向）である。なお、画面の横方向は、デジタルカメラ１を水平に構えた場合（いわゆる通常の保持姿勢）の水平方向であり、画面の上下方向は、デジタルカメラ１を水平に構えた場合の鉛直方向である。したがって、画面上で指を上下方向にスライドさせた場合は第１操作、横方向にスライドさせた場合は第２操作となる。

動体抽出部２２０は、画像取得部２１０で取得した画像群を解析し、各フレームの画像から動体を抽出する。より具体的には、各フレームにおいて動体を特定し、特定した動体を背景から分離して、動体を抽出する（動体である被写体の輪郭を抽出し、背景と分離して、動体を抽出する。）。連続撮像された画像から動体を抽出する技術自体は公知であるので、その詳細についての説明は省略する。動体抽出部２２０の機能は、カメラマイコン１５０によって実現される。

画像処理部２２２は、操作部２１８である背面モニタ１２０へのタッチ操作に基づいて、基準画像に対して画像処理を実施し、所定の合成画像を生成する。具体的には、第１操作（横方向へのスワイプ操作）に応じて、編集対象とされた動体の画像を順番に他のフレームの画像に置き換える画像処理を行う。また、第２操作（上下方向へのスワイプ操作）に応じて、編集対象とされた動体の画像を移動させる画像処理を行う。画像処理部２２２の機能は、カメラマイコン１５０によって実現される。

なお、他のフレームの画像に置き換える画像処理では、画像処理部２２２は、第１操作の操作量に応じて、置き換える画像を切り換える。すなわち、指が一定量スライドするたびに、置き換える画像を順番に切り換える。また、操作方向に応じて、置き換える画像を切り換える。本実施の形態では、右方向（横方向の一方）にスワイプ操作された場合は、時系列の進む方向に画像を切り換え、左方向（横方向の他方）にスワイプ操作された場合は、時系列の戻る方向に画像を切り換える。

また、画像を移動させる画像処理では、画像処理部２２２は、操作した方向に操作した分だけ画像を移動させる。すなわち、指をスライドさせた方向にスライドさせた分だけ画像を移動させる。したがって、ユーザが、上方向にスワイプ操作した場合は、操作した分だけ上方向に移動させる。また、ユーザが下方向にスワイプ操作した場合は、操作した分だけ下方向に移動させる。

記録処理部２２４は、画像処理部２２２による画像処理後、ユーザからの記録指示に応じて、生成された合成画像をメモリカード１４４に記録する処理を行う。記録処理部２２４の機能は、カメラマイコン１５０によって実現される。

［画像処理装置としての動作］
画像処理装置として機能するデジタルカメラ１は、画像処理のモードとして、撮像と組み合わせて画像処理するモードと、撮像済みの画像（メモリカード１４４に記録されている画像）を画像処理するモードと、を有する。

（１）撮像と組み合わせて画像処理するモード
撮像と組み合わせて画像処理するモードでは、処理対象の画像群を、その場で撮像して取得する。すなわち、連写モードで画像を撮像し、得られた画像群を画像処理して、合成画像を生成する。本モードは、デジタルカメラ１のモードを「撮像編集モード」に設定して実施される。モードの設定は、メニュー画面で行われる。

ここでは、複数の人物が横一列に並んで一斉にジャンプしている画像を生成する場合（図１２参照）を例に説明する。この種の画像を撮像により取得するのは難しい。すなわち、各人のポーズが揃わなかったり、高さが揃わなかったりするので、連写した場合であっても、意図した通りの画像を得るのは難しい。本実施の形態のデジタルカメラ１では、同じポーズで一斉にジャンプした画像を連写し、得られた画像群を画像処理して、意図した画像を取得する。

図５は、撮像編集モードでの処理の手順（画像処理方法）を示すフローチャートである。

まず、被写体を連続撮像し、処理対象の画像群を取得する（ステップＳ１１）。ここでは、複数の人物が横一列に並んで一斉にジャンプした画像を連写し、処理対象の画像群を取得する。撮像自体は、通常の連写モードでの撮像と同じである。すなわち、シャッターボタン１０５を押している間、連続的に画像を撮像する。得られた画像は、カメラマイコン１５０のＲＡＭに格納される。

図６は、連写により得られた画像群の一例を示す図である。

図６は、連写により９枚の画像Ｉｍ１～Ｉｍ９を撮像した場合の例を示している。９枚の画像Ｉｍ１～Ｉｍ９は、第１画像Ｉｍ１、第２画像Ｉｍ２、第３画像Ｉｍ３、第４画像Ｉｍ４、第５画像Ｉｍ５、第６画像Ｉｍ６、第７画像Ｉｍ７、第８画像Ｉｍ８、第９画像Ｉｍ９の順で撮像されている。

画像が撮像されると、得られた各画像から動体が抽出される（ステップＳ１２）。ここでは、ジャンプしている各人の画像が抽出される。

次に、得られた画像群の中から一つが基準画像として選択され、背面モニタ１２０に表示される（ステップＳ１３）。デフォルトの基準画像として、先頭フレームの画像（第１画像Ｉｍ１）が自動的に選択される。先頭フレームの画像の表示後、ユーザによって画像の選択操作が行われた場合は、ユーザによって選択された画像が基準画像とされる。画像の選択操作は、通常の再生モードでのコマ送り及びコマ戻しと同じである。本実施の形態のデジタルカメラ１では、十字ボタン１１６のボタン操作によって、コマ送り及びコマ戻しが行われ、基準画像とする画像の選択が行われる。また、基準画像とする画像の表示中に決定ボタン１１７を押すことで、画像の選択が確定する。

図７は、基準画像の表示の一例を示す図である。

図７は、先頭フレームの画像（第１画像Ｉｍ１）を基準画像Ｉｍ０として、背面モニタ１２０に表示した場合を示している。

次に、背面モニタ１２０へのタッチ操作に基づいて、画像編集が行われる（ステップＳ１４）。画像編集は、他のフレームの画像への変更及び上下への位置調整が行われる。

画像編集は、編集対象を選択して行われる。編集対象として選択可能な被写体は、動きのある被写体（動体）である。ユーザは、基準画像Ｉｍ０が表示された背面モニタ１２０の画面上で編集対象とする被写体（動体）をタッチして選択する。図７に示す例では、動きのある被写体（動体）として、３人の人物（第１の人物Ｏｂ１、第２の人物Ｏｂ２、第３の人物Ｏｂ３）が写されている。たとえば、第２の人物Ｏｂ２を編集対象とする場合は、背面モニタ１２０の画面上で第２の人物Ｏｂ２をタッチする。これにより、編集対象が選択される。

他のフレームの画像に変更する場合は、横方向（第１方向）にスワイプ操作する。すなわち、画面をタッチした指を横方向（第１方向）にスライドさせる。この場合において、時系列順で次のフレームの画像に変更する場合は、右方向にスライドさせる。一方、時系列順で前のフレームの画像に変更する場合は、左方向にスライドさせる。

画面が右方向にスワイプ操作された場合は、時系列順で次のフレームの画像から編集対象の画像が抽出される。そして、抽出された画像が基準画像に合成されて、基準画像が更新される。すなわち、基準画像において、編集対象の画像が時系列順で次のフレームの画像に置き換えられて、基準画像が更新される。

画面が左方向にスワイプ操作された場合は、時系列順で一つ前のフレームの画像から編集対象の画像が抽出される。そして、抽出された画像が基準画像に合成されて、基準画像が更新される。すなわち、基準画像において、編集対象の画像が時系列順で一つ前のフレームの画像に置き換えられて、基準画像が更新される。

画像は、重心又は中心を一致させて置き換えられる。すなわち、置き換え前の画像の重心又は中心と、置き換え後の画像の重心又は中心を一致させて置き換えられる。また、置き換えによって、背景の画像が不足（欠落）する場合は、他のフレームの画像を利用して、当該不足部分の画像を補完する処理が行われる。この場合において、画像処理部２２２は、たとえば、他のフレームの画像で不足部分を補完する画像処理を行う。あるいは、背景の画像を他のフレームにおける背景の画像に置き換える画像処理を行って、不足部分を補完する画像処理を行う。

画像処理は、画面が一定量スワイプ操作されるたびに実施される。したがって、横方向にスワイプ操作されている間、編集対象の画像が、順番に置き換えられてゆく。

また、画像処理によって、基準画像が更新された場合は、その更新された画像が背面モニタ１２０に表示される。したがって、ユーザは、横方向のスワイプ操作によって置き換えられた編集対象の画像を順番に確認できる。ユーザは、置き換えたい画像が表示されたところでスワイプ操作を止めることで、置き換えたい画像を選択できる。

図８は、編集対象の画像を他のフレームの画像に変更する場合の操作及び処理の概念図である。

図８は、第２の人物Ｏｂ２を編集対象として選択した場合の例を示している。なお、図８において、符号Ｏｂ２－１は、第２の人物Ｏｂ２の第１フレームの画像、符号Ｏｂ２－２は、第２の人物Ｏｂ２の第２フレームの画像、符号Ｏｂ２－３は、第２の人物Ｏｂ２の第３フレームの画像、符号Ｏｂ２－４は、第２の人物Ｏｂ２の第４フレームの画像、符号Ｏｂ２－５は、第２の人物Ｏｂ２の第５フレームの画像、符号Ｏｂ２－６は、第２の人物Ｏｂ２の第６フレームの画像、符号Ｏｂ２－７は、第２の人物Ｏｂ２の第７フレームの画像、符号Ｏｂ２－８は、第２の人物Ｏｂ２の第８フレームの画像及び符号Ｏｂ２－９は、第２の人物Ｏｂ２の第９フレームの画像を示している。第２の人物Ｏｂ２をタッチし、横方向（図８のｘ方向）にスワイプ操作すると、第２の人物Ｏｂ２の画像が、順次、他のフレームの画像に置き換えられる。

図９は、横方向のスワイプ操作による基準画像の変化を示す図である。

図９は、先頭フレームの画像を基準画像とし、第２の人物Ｏｂ２を編集対象として選択して、右方向にスワイプ操作した場合の基準画像の変化の様子を示している。図９において、符号Ｉｍ０－１は、初期状態の基準画像、符号Ｉｍ０－２は、編集対象の画像を第２フレームの画像に置き換えた画像、符号Ｉｍ０－３は、編集対象の画像を第３フレームの画像に置き換えた画像、符号Ｉｍ０－４は、編集対象の画像を第４フレームの画像に置き換えた画像、符号Ｉｍ０－５は、編集対象の画像を第５フレームの画像に置き換えた画像、符号Ｉｍ０－６は、編集対象の画像を第６フレームの画像に置き換えた画像、符号Ｉｍ０－７は、編集対象の画像を第７フレームの画像に置き換えた画像、符号Ｉｍ０－８は、編集対象の画像を第８フレームの画像に置き換えた画像、符号Ｉｍ０－９は、編集対象の画像を第９フレームの画像に置き換えた画像である。図９に示すように、選択した編集対象の画像だけが、順番に他のフレームの画像に置き換えられてゆく。

画像の位置を調整する場合は、上下方向（第２方向）にスワイプ操作する。すなわち、画面をタッチした指を上下向（第２方向）にスライドさせる。

画面が上方向にスワイプ操作された場合は、基準画像を画像処理し、編集対象の画像をスワイプの操作量分だけ上方向にスライド移動させた画像を生成する。また、画面が下方向にスワイプ操作された場合は、基準画像を画像処理し、編集対象の画像をスワイプの操作量分だけ下方向にスライド移動させた画像を生成する。上下方向のスワイプ操作によって、基準画像が画像処理されると、処理後の画像が、背面モニタ１２０に表示される。

なお、画像の移動によって、基準画像の一部に欠落が生じる場合は、他のフレームの画像を利用して、当該欠落部分を補完する処理が行われる。

図１０は、編集対象の画像の位置を調整する場合の操作及び処理の概念図である。

図１０は、第３の人物Ｏｂ３を編集対象として選択した場合の例を示している。処理対象である第３の人物Ｏｂ３をタッチし、その指を上方向又は下方向にスライド（スワイプ）させると、スライドさせた分だけ、第３の人物Ｏｂ３の画像が、基準画像Ｉｍ０の画像内で移動する。

図１１は、画像編集の処理の手順を示すフローチャートである。

まず、編集対象の選択操作の有無が判定される（ステップＳ１４Ａ）。上記のように、編集対象の選択は、基準画像が表示された背面モニタ１２０の画面上で編集謡対象とする被写体（動体）をタッチすることで行われる。したがって、選択操作の有無は、背面モニタ１２０へのタッチ操作の有無を判定して行われる。なお、上記のように、選択可能な被写体は動体である。したがって、動体以外の被写体にタッチしても、有効な選択とはみなされない。

編集対象への選択操作（タッチ操作）が検出されると、次に、第１操作の有無が判定される（ステップＳ１４Ｂ）。すなわち、横方向（第１方向）へのスワイプ操作の有無が判定される。横方向へのスワイプ操作が検出された場合は、その操作に応じて、編集対象の画像の置き換えが行われる（ステップＳ１４Ｃ）。すなわち、編集対象の画像が他のフレームの画像に置き換えられる。その後、横方向へのスワイプ操作の終了の有無が判定される（ステップＳ１４Ｄ）。操作が終了した場合は、置き換えの画像処理を終了する。

一方、ステップＳ１４Ｂにおいて、第１操作なしと判定されると、第２操作の有無が判定される（ステップＳ１４Ｅ）。すなわち、上下方向（第２方向）へのスワイプ操作の有無が判定される。上下方向へのスワイプ操作が検出された場合は、その操作に応じて、編集対象の画像の移動が行われる（ステップＳ１４Ｆ）．すなわち、スワイプ操作された方向に操作された分だけ編集対象の画像を移動させられる。その後、上下方向へのスワイプ操作の終了の有無が判定される（ステップＳ１４Ｇ）。操作が終了した場合は、移動の処理を終了する。

画面の横方向（第１方向）又は上下方向（第２方向）へのスワイプ操作が終了すると、画像編集の終了の指示の有無が判定される（ステップＳ１４Ｈ）。本実施の形態のデジタルカメラ１では、決定ボタン１１７によって、画像編集の終了が指示される。したがって、決定ボタン１１７が押下された場合は、画像編集の処理を終了する。画像編集の終了が指示されていない場合は、ステップＳ１４Ａに戻り、上記処理を繰り返し実施する。

図１２は、画像編集後の背面モニタの表示の一例を示す図である。

画像編集の終了が指示されると、編集処理された画像ＣＩ（合成画像）が、背面モニタ１２０に表示される。なお、図１２には、編集後の画像ＣＩとして、各被写体（動体）のポーズ及び高さ（上下方向の位置、特に図１２に示す例では各人物の膝の位置）を揃えた画像を示している。この種の画像を撮像により得るのは難しいが、本実施の形態のデジタルカメラ１によれば、簡単な操作で生成できる。

また、画像編集の終了が指示されると、編集処理された画像ＣＩに重ねて、画像の記録の要否を問い合わせるメッセージが表示される。ユーザは、このメッセージに応じて、画像の記録の要否を判断する。そして、画像を記録する場合は、決定ボタン１１７を押下し、記録しない場合は、キャンセルボタン１１８を押下する。あるいは、画像ＣＩに重ねて表示された「決定」又は「キャンセル」のボタンをタッチする。

図５のフローに戻り、画像編集が終了すると、ユーザからの操作入力に基づいて、編集後の画像の記録の要否が判定される（ステップＳ１５）。記録が指示された場合は、編集後の画像ＣＩの記録処理が行われる（ステップＳ１６）。すなわち、編集処理された画像ＣＩが、メモリカード１４４に記録される。

この後、編集用に取得した連写画像の記録の要否が判定される（ステップＳ１７）。ステップＳ１５において、編集後の画像ＣＩの記録がキャンセルされた場合も同様に、連写画像の記録の要否が判定される。なお、編集後の画像の記録又はキャンセルが指示されると、背面モニタ１２０には、連写画像の記録の要否を問い合わせるメッセージが表示される。ユーザは、画像を記録する場合は、決定ボタン１１７を押下し、記録しない場合は、キャンセルボタン１１８を押下する。記録が指示された場合は、画像の記録処理が行われる（ステップＳ１８）。すなわち、編集用に取得した連写画像が、メモリカード１４４に記録される。一方、キャンセルが指示された場合は、連写画像をメモリカード１４４に記録せずに、処理を終了する。

（２）撮像済みの画像を画像処理するモード
撮像済みの画像を画像処理するモードでは、メモリカード１４４に記録されている画像群を読み出して処理する。なお、処理対象の画像群の取得方法が異なるだけで、基本的な処理の流れは、撮像編集モードと同じである。本モードは、デジタルカメラ１のモードを「再生編集モード」に設定して実施される。モードの設定は、メニュー画面で行われる。

図１３は、再生編集モードでの処理の手順（画像処理方法）を示すフローチャートである。

まず、処理対象の画像群が取得される（ステップＳ２１）。具体的には、メモリカード１４４に記録されている画像を読み出して取得する。上記のように、連写画像については、一回の撮像で得られた画像群が、互いに関連付けられて、メモリカード１４４に記録される。この連写による画像群を読み出して、処理対象の画像を取得する。処理対象の画像群が取得されると、各画像から動体が抽出される（ステップＳ２２）。次に、得られた画像群の中から一つが基準画像として選択され、背面モニタ１２０に表示される（ステップＳ２３）。なお、デフォルトの基準画像は、先頭フレームの画像であり、必要に応じて、基準画像の変更処理が行われる。次に、背面モニタ１２０へのタッチ操作に基づいて、画像編集が行われる（ステップＳ２４）。操作方法等は、撮像編集モードの場合と同じである。編集終了後、ユーザからの操作入力に基づいて、編集後の画像の記録の要否が判定される（ステップＳ２５）。記録が指示された場合は、編集後の画像が、メモリカード１４４に記録される（ステップＳ２６）。記録後、処理を終了する。記録がキャンセルされた場合は、記録せずに処理を終了する。

以上説明したように、本実施の形態のデジタルカメラ１によれば、単体で画像処理機能を有し、連続撮像された画像から簡単な操作でユーザの意図した画像を取得できる。

［変形例］
［連続して撮像された画像群］
上記実施の形態では、連写した画像（静止画）を処理する構成としているが、動画像を処理する構成とすることもできる。動画像においては、各フレームの画像が、連続して撮像された画像群を構成する。

［編集対象選択部の変形例］
上記実施の形態では、編集対象選択部をタッチパネルである背面モニタ１２０で構成しているが、編集対象選択部の構成は、これに限定されるものではない。たとえば、ジョイスティック１１５及び十字ボタン１１６等を編集対象選択部として使用することができる。

図１４は、十字ボタンを用いた編集対象の選択の一例を示す図である。

同図に示すように、基準画像Ｉｍ０が表示された背面モニタ１２０の画面上に選択枠Ｆが表示される。選択枠Ｆは、選択可能な被写体を囲う形で表示される。この選択枠Ｆを十字ボタン１１６の左右のボタン操作で動かして、編集対象とする被写体を選択する。選択枠Ｆは、選択可能な被写体の間で順番に移動する。図１４では、第１の人物Ｏｂ１が選択された状態が示されている。この場合、第１の人物Ｏｂ１を囲うように選択枠Ｆが表示される。この後、十字ボタン１１６の右ボタンが操作されると、第２の人物Ｏｂ２を囲う位置に選択枠Ｆが移動する。更に、十字ボタン１１６の右ボタンが操作されると、第３の人物Ｏｂ３を囲う位置に選択枠Ｆが移動する。また、十字ボタン１１６の左ボタンが操作されると、第１の人物Ｏｂ１を囲う位置に選択枠Ｆが移動する。このように、十字ボタン１１６の左右のボタン操作で選択枠Ｆを移動させて、編集対象を選択する。そして、決定ボタン１１７の押下で選択を確定する。ジョイスティック１１５を用いて選択する場合も同様である。

［操作部の変形例］
上記実施の形態では、タッチパネルである背面モニタ１２０を画像編集の操作部として使用する場合を例に説明したが、画像編集の操作部として使用可能な操作部材は、これに限定されるものではない。少なくとも２つの異なる操作が可能な操作部材であれば、画像編集の操作部として使用可能である。たとえば、ジョイスティック１１５又は十字ボタン１１６を画像編集の操作部として使用することができる。

ジョイスティック１１５を画像編集の操作部として使用する場合は、レバーの左右方向（第１方向）の操作が第１操作を構成、上下方向（第２方向）の操作が第２操作を構成するように設定する。これにより、たとえば、レバーを左右方向に操作すると、編集対象の画像が他のフレームの画像に変更される。また、レバーを上下方向に操作すると、編集対象の画像が上下方向に移動する。

十字ボタン１１６を画像編集の操作部として使用する場合は、左右のボタン操作が第１操作を構成、上下のボタン操作が第２操作を構成するように設定する。これにより、たとえば、左右のボタンが操作（押下）されると、編集対象の画像が他のフレームの画像に変更される。より具体的には、押下されるたびに、次又は前のフレームの画像に変更される。また、上下のボタンが操作（押下）されると、編集対象の画像が上下方向に移動する。より具体的には、押下されるたびに、押下した方向に一定量ずつ編集対象の画像が移動する。

この他、フロントコマンドダイヤル１０３及びリアコマンドダイヤル１０９を画像編集の操作部として使用することもできる。たとえば、フロントコマンドダイヤル１０３の回転操作が第１操作を構成、リアコマンドダイヤル１０９の回転操作が第２操作を構成するように設定する。これにより、たとえば、フロントコマンドダイヤル１０３が回転操作されると、編集対象の画像が他のフレームの画像に変更される。より具体的には、１クリック分回転されるたびに、次又は前のフレームの画像に変更される。また、リアコマンドダイヤル１０９が回転操作されると、編集対象の画像が上下方向に移動する。より具体的には、１クリック分回転されるたびに、上方向又は下方向に一定量ずつ編集対象の画像が移動する。たとえば、時計回りに回転させた場合は、下方向に移動し、反時計回りに回転させた場合は、上方向に移動する。

更に、フロントコマンドダイヤル１０３又はリアコマンドダイヤル１０９が、回転操作に加えて、プッシュ操作（回転軸と直交する方向に押し込む操作）が可能な場合は、フロントコマンドダイヤル１０３又はリアコマンドダイヤル１０９を画像編集の操作部として使用することもできる。たとえば、フロントコマンドダイヤル１０３が、回転操作及びプッシュ操作が可能な場合、プッシュ操作が第１操作を構成、回転操作が第２操作を構成するように設定する。これにより、たとえば、フロントコマンドダイヤル１０３をプッシュ操作すると、編集対象の画像が他のフレームの画像に変更される。より具体的には、１プッシュされるたびに、次のフレームの画像に変更される（ループして変更する）。また、回転操作すると、編集対象の画像が上下方向に移動する。

なお、操作部については、片手で操作できる操作部材を用いることが好ましい。より好ましくは、一つの指で操作できる操作部材（たとえば、タッチパッド（タッチパネルを含む）、十字ボタン及びジョイスティック等）である。

また、上記実施の形態では、タッチパネルとして、タッチパッドをディスプレイと組み合わせて使用しているが、タッチパッドは単体で使用する構成としてもよい。

［操作入力の変形例］
（１）第１方向及び第２方向の両方の成分を含む方向への操作
上記実施の形態では、横方向（第１方向）へのスワイプ操作（第１操作）及び上下方向（第２方向）へのスワイプ操作（第２操作）を分けて検出し、各々対応する画像処理を独立して実施する構成としている。両方向の成分を含む操作が行われた場合に、両方の画像処理を同時に実施する構成とすることもできる。たとえば、斜め方向へのスワイプ操作が行われた場合に、画像を置き換える処理と移動させる処理を同時に実施する。

なお、ここでの「同時」は、同時に実施されたとみなせる範囲を含む概念である。すなわち、厳密な意味での同時性を要求するものではなく、ほぼ同時に実施されたものを含むものである。したがって、２つの処理が前後して行われた場合であっても、実質的に同時に行われたとみなし得る場合は、同時に実施されたものとして取り扱われる。

図１５は、斜め方向にスワイプ操作された場合の処理の概念図である。

図１５は、第２の人物Ｏｂ２を編集対象として、他のフレームの画像への切り換え及び位置の調整を同時に行う場合を示している。特に、図１５は、時系列順で後のフレームに切り換えながら、位置を上方向に移動させる場合を示している。この場合、画面上で第２の人物Ｏｂ２をタッチし、タッチした指を右斜め上方向（図中の矢印Ｍ方向）にスライドさせる（右斜め上方向へのスワイプ操作）。この操作は、上方向（図中ｙ方向）の操作と、右方向（図中ｘ方向）の操作とに分解され、各方向への操作量に応じた画像処理が実施される。すなわち、上方向の操作に対しては、その操作量（Ｍｙ）に応じて、編集対象の画像を移動させる処理が行われる。また、右方向への操作に対しては、その操作量（Ｍｘ）に応じて、編集対象の画像を他のフレームの画像に置き換える処理が行われる。なお、図１５において、ｘ方向に沿って一定の間隔Ｐで表示された線（破線）Ｌは、横方向にスワイプ操作された場合の画像の切り換えのタイミングを示す線である。すなわち、この線Ｌの間隔Ｐが、フレームの選択の閾値となり、線Ｌを超えるたびに、編集対象の画像が次のフレーム（又は前のフレーム）の画像に切り換えられる。なお、この線Ｌは、必要に応じて、画面上に表示させてもよい。これにより、画像が切り換わるタイミングを明確にできる。線Ｌを画面上に表示させる場合は、タッチした位置を基準として、横方向（ｘ方向）に一定の間隔Ｐで表示させる。

図１６は、図１５に示す画像の画像処理の結果を示す図である。

図１５に示す例では、第２の人物Ｏｂ２をタッチし、右斜め上方向（図中の矢印Ｍ方向）に指をスライドさせている。上方向への操作量はＭｙであり、この操作量に応じて、編集対象の画像が上方向に移動される。また、横方向への操作量はＭｘであり、この操作量に応じて、編集対象の画像が切り換えられる。図１５に示す例では、４フレーム分操作されているので、４フレーム分の画像が切り換えられる。したがって、生成される画像は、４フレーム分進んだ画像が、Ｍｙだけ情報に移動した画像となる。

なお、本例では、操作部がタッチパネルで構成される場合について説明したが、操作部が十字ボタン及びジョイスティック等で構成される場合についても同様の処理が行われる。

（２）操作の割り当ての変形例
上記実施の形態では、横方向へのスワイプ操作を第１操作とし、上下方向へのスワイプ操作を第２操作としているが、操作の割り当ては、これに限定されるものではない。たとえば、上下方向へのスワイプ操作を第１操作とし、横方向へのスワイプ操作を第２操作としてもよい。この場合、上下方向へのスワイプ操作に応じて、編集対象の画像を順番に他のフレームの画像に置き換える画像処理を行う。また、横方向へのスワイプ操作に応じて、編集対象の画像を操作方向（横方向）に沿って移動させる画像処理を行う。

また、操作の割り当てを切り換えられるようにしてもよい。たとえば、横方向へのスワイプ操作を第１操作、上下方向へのスワイプ操作を第２操作とするモードを第１操作モード、横方向へのスワイプ操作を第１操作、上下方向へのスワイプ操作を第２操作とするモードを第２操作モードとし、ユーザが、任意にモードを切り換えられるように構成する。ユーザは、編集対象に応じて、操作モードを選択する。たとえば、被写体が上下方向に移動する画像を編集する場合は、第１操作モードを選択する。たとえば、上記実施の形態で説明したように、複数の被写体がジャンプしている画像を編集する場合は、第１操作モードを選択する。一方、被写体が横方向に移動する画像を編集する場合は、第２操作モードを選択する。たとえば、ゴール前の競馬の画像を編集する場合、徒競走中の画像を編集する場合等は、第２操作モードを選択する。これにより、操作性をより向上できる。

また、タッチパネルのように、操作部が複数方向に操作可能な場合、ユーザが任意に第１操作の操作方向（第１方向）及び第２操作の操作方向（第２方向）を設定できるようにしてもよい。この場合、たとえば、メニュー画面等で第１操作及び第２操作の操作方向の設定画面を用意し、第１操作の操作方向（第１方向）及び第２操作の操作方向（第２方向）とする方向の入力を受け付けて、操作方向の設定を行うようにしてもよい。これにより、好みの方向（操作しやすい方向等）に操作して、画像の切り換えができ、かつ、好みの方向に画像を移動させることができる。

なお、第１操作の操作方向と第２操作の操作方向とは、必ずしも直交させる必要はない。ただし、直交させることにより、操作の切り分けを明確にできる。

また、上記実施の形態では、編集対象の画像を移動させる場合において、第２操作の操作方向と同じ方向に画像を移動させているが、第２操作の操作方向と異なる方向に画像を移動させてもよい。この場合、第２操作によって画像を移動させる方向をユーザが設定できるようにすることが、より好ましい。なお、第２操作の操作方向と同じ方向に画像を移動させることにより、操作と画像処理との関係を明確にでき、操作性を向上できる。

［移動操作の制限］
上記実施の形態では、第２操作に応じて編集対象の画像を移動させる構成としているが、移動できる範囲を一定の条件下に制限することが好ましい。すなわち、画像を移動させると、背景の画像が欠落する場合が生じるので、背景の画像が欠落しない範囲で画像を移動させることが好ましい。

ここで、背景の画像が欠落しない範囲とは、画像を移動させたことによって生じた画像の不足部分を他のフレームの画像（画像群を構成する画像）で補完可能な範囲である。すなわち、取得した画像群を利用して、補完できる範囲内で画像の移動を許可する。

図１７は、移動範囲を制限する機能を備えた画像処理装置の一例を示す機能ブロック図である。

同図に示すように、移動範囲制限部２２６が更に備えられる。移動範囲制限部２２６は、画像処理部２２２の処理結果に基づいて、操作部２１８からの第２操作の操作入力を制限する。すなわち、画像処理部２２２で不足部分を補完できない事態が生じた場合に、以後の同方向への第２操作の操作入力を禁止する。これにより、画像が不足しない範囲でのみ画像の移動が可能になり、画像の欠落が生じて、不自然な画像が生成されるのを防止できる。

［基準画像の変形例］
初期状態の基準画像については、自動編集した画像を用いてもよい。たとえば、各動体について、第２操作の操作方向（第２方向）の位置を揃えた画像を自動で生成し、これを編集の初期状態の基準画像としてもよい。

図１８は、編集の初期状態の基準画像を自動生成する機能を備えた画像処理装置の一例を示す機能ブロック図である。

同図に示すように、画像生成部２２８が更に備えられる。画像生成部２２８は、画像取得部２１０で取得した画像群に基づいて、編集の初期状態の基準画像を生成する。画像は、あらかじめ設定された規則に従って生成する。たとえば、各動体について、第２操作の操作方向（第２方向）の位置を揃えた画像を生成する。たとえば、第２方向が上下方向の場合において、各動体の高さを揃えた画像を生成する。この場合、各動体について、最も高い位置に写されているフレームを選択し、当該フレームから画像を抽出する。そして、抽出した各動体の画像を所定のフレームの画像（合成基準画像）に合成して、初期状態の基準画像を生成する。合成基準画像には、たとえば、先頭フレームの画像が用いられる。また、各画像は、高さを揃えて合成する。たとえば、基準画像における高さ方向の中間位置に一列に並べて合成する（たとえば、各画像の重心位置を横一列に揃えて合成する）。あるいは、最も高い位置で抽出された画像又は最も低い位置で抽出された画像に高さに合わせて画像を合成する（たとえば、各画像の下端位置を横一列に揃えて合成する。）。

このように、編集の初期状態の基準画像を自動生成することにより、ユーザが行う編集作業の手間を軽減できる。

［画像処理の変形例］
操作部において、第１操作及び第２操作に加えて、第３操作が可能な場合、第３操作に応じた画像処理を行うようにしてもよい。たとえば、操作部がタッチパネルで構成される場合において、横方向へのスワイプ操作を第１操作、上下方向へのスワイプ操作を第２操作、右斜め方向へのスワイプ操作を第３操作とし、第３操作に応じた画像処理を行うようにしてもよい。第３操作に応じた画像処理としては、たとえば、画像の明るさを変更する画像処理、色調を変更する画像処理、シャープネスを変更する画像処理等を適用できる。更に、第４操作が可能な場合（たとえば、操作部がタッチパネルの場合において、左斜め方向へのスワイプ操作）には、第４操作に応じた画像処理を行うようにしてもよい。また、各操作に応じて実施する画像処理の内容をユーザが任意に設定できるようにしてもよい。

［装置の変形例］
上記実施の形態では、デジタルカメラが、画像処理装置として機能する場合を例に説明したが、画像処理装置の構成は、これに限定されるものではない。この他、ビデオカメラ等の撮像装置の他、スマートフォン、タブレット型コンピュータ等の機器でも実現できる。特に、携帯可能な装置本体に表示部及び操作部が一体的に備えられた携帯型の電子機器において、本発明は有効に作用する。すなわち、この種の機器は、表示部の表示サイズが限定されるため、パーソナルコンピュータ等で行われるような複雑なＧＵＩ（Graphical User Interface）を用いた処理はできない。従って、操作が制限される。このように操作が制限された機器において、本発明は、少ない操作入力で画像編集ができるので、有効に作用する。

また、画像処理装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

１ デジタルカメラ
１０ 交換レンズ
１１ フォーカスリング
１２ 絞りリング
１３ 絞り
２０ レンズ駆動部
２１ 絞り駆動部
２２ レンズマイコン
２３ レンズ操作部
１００ カメラボディ
１０１ レンズマウント
１０２ フォーカスモード切換レバー
１０３ フロントコマンドダイヤル
１０４ 電源レバー
１０５ シャッターボタン
１０６ 露出補正ダイヤル
１０７ シャッタースピードダイヤル
１０８ 感度ダイヤル
１０９ リアコマンドダイヤル
１１０ 消去ボタン
１１１ 再生ボタン
１１２ ＡＥロックボタン
１１３ ＡＦロックボタン
１１４ メニューボタン
１１５ ジョイスティック
１１６ 十字ボタン
１１７ 決定ボタン
１１８ キャンセルボタン
１１９Ａ ファインダの接眼部
１２０ 背面モニタ
１２０Ａ ディスプレイ
１２０Ｂ タッチパッド
１３０ イメージセンサ
１３０Ａ イメージセンサ駆動部
１３２ シャッタ
１３２Ａ シャッタ駆動部
１３４ アナログ信号処理部
１３６ デジタル信号処理部
１３８ ＡＦ処理部
１４０ ＡＥ処理部
１４２ メモリカードインタフェース
１４４ メモリカード
１４８ カメラ操作部
１５０ カメラマイコン
２１０ 画像取得部
２１２ 表示部
２１４ 表示制御部
２１６ 編集対象選択部
２１８ 操作部
２２０ 動体抽出部
２２２ 画像処理部
２２４ 記録処理部
２２６ 移動範囲制限部
２２８ 画像生成部
ＣＩ 編集処理された画像
Ｆ 選択枠
Ｉｍ０ 基準画像
Ｉｍ１ 第１画像
Ｉｍ２ 第２画像
Ｉｍ３ 第３画像
Ｉｍ４ 第４画像
Ｉｍ５ 第５画像
Ｉｍ６ 第６画像
Ｉｍ７ 第７画像
Ｉｍ８ 第８画像
Ｉｍ９ 第９画像
Ｉｍ０－１ 初期状態の基準画像
Ｉｍ０－２ 編集対象の画像を第２フレームの画像に置き換えた画像
Ｉｍ０－３ 編集対象の画像を第３フレームの画像に置き換えた画像
Ｉｍ０－４ 編集対象の画像を第４フレームの画像に置き換えた画像
Ｉｍ０－５ 編集対象の画像を第５フレームの画像に置き換えた画像
Ｉｍ０－６ 編集対象の画像を第６フレームの画像に置き換えた画像
Ｉｍ０－７ 編集対象の画像を第７フレームの画像に置き換えた画像
Ｉｍ０－８ 編集対象の画像を第８フレームの画像に置き換えた画像
Ｉｍ０－９ 編集対象の画像を第９フレームの画像に置き換えた画像
Ｌ 横方向のスワイプ操作に基づく画像の切り換えのタイミングを示す線
Ｍ 操作方向
Ｏｂ１ 第１の人物
Ｏｂ２ 第２の人物
Ｏｂ３ 第３の人物
Ｏｂ２－１ 第２の人物の第１フレームの画像
Ｏｂ２－２ 第２の人物の第２フレームの画像
Ｏｂ２－３ 第２の人物の第３フレームの画像
Ｏｂ２－４ 第２の人物の第４フレームの画像
Ｏｂ２－５ 第２の人物の第５フレームの画像
Ｏｂ２－６ 第２の人物の第６フレームの画像
Ｏｂ２－７ 第２の人物の第７フレームの画像
Ｏｂ２－８ 第２の人物の第８フレームの画像
Ｏｂ２－９ 第２の人物の第９フレームの画像
Ｐ フレームの選択の閾値
Ｓ１１～Ｓ１８ 撮像編集モードでの処理の手順
Ｓ１４Ａ～Ｓ１４Ｈ 画像編集の処理の手順
Ｓ２１～Ｓ２６ 再生編集モードでの処理の手順

Claims (14)

1. 連続して撮像された画像群を取得する画像取得部と、
   前記画像群を構成する画像の一つを基準画像として表示する表示部と、
   前記表示部に表示された画像の中で編集対象とする動体を選択する編集対象選択部と、
   タッチパッドで構成される操作部と、
   前記操作部の操作に基づいて、前記基準画像に画像処理を行う画像処理部であって、第１方向へのスワイプ操作である第１操作に応じて、前記編集対象とされた前記動体の画像を他のフレームの画像に置き換える画像処理を行い、かつ、第２方向へのスワイプ操作である第２操作に応じて、前記編集対象とされた前記動体の画像を移動させる画像処理を行う画像処理部と、
   を備えた画像処理装置。
2. 前記タッチパッドが、前記表示部に備えられる、
   請求項１に記載の画像処理装置。
3. 連続して撮像された画像群を取得する画像取得部と、
   前記画像群を構成する画像の一つを基準画像として表示する表示部と、
   前記表示部に表示された画像の中で編集対象とする動体を選択する編集対象選択部と、
   十字ボタン又はジョイスティックで構成される操作部と、
   前記操作部の操作に基づいて、前記基準画像に画像処理を行う画像処理部であって、第１方向への操作である第１操作に応じて、前記編集対象とされた前記動体の画像を他のフレームの画像に置き換える画像処理を行い、かつ、第２方向への操作である第２操作に応じて、前記編集対象とされた前記動体の画像を移動させる画像処理を行う画像処理部と、
   を備えた画像処理装置。
4. 前記第１方向及び前記第２方向の両方の成分を含む方向に前記操作部が操作された場合、前記画像処理部は、前記第１操作に応じた画像処理及び前記第２操作に応じた画像処理を同時に行う、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像群を構成する各画像から動体を抽出する動体抽出部と、
   前記第２方向に前記動体の画像の位置を揃えた画像を生成する画像生成部と、
   を更に備え、
   前記表示部は、前記画像生成部で生成した画像を前記基準画像として表示する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記編集対象とされた前記動体の画像が移動できる範囲を制限する移動範囲制限部を更に備える、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記移動範囲制限部は、前記画像群を構成する画像で背景の画像を補完可能な範囲で、前記編集対象とされた前記動体の画像の移動範囲を制限する、
   請求項６に記載の画像処理装置。
8. 前記画像処理部は、背景の画像が不足する場合に、前記画像群を構成する画像で不足部分を補完する画像処理を行う、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記画像処理部は、背景の画像が不足する場合に、前記基準画像の背景の画像を他のフレームの背景の画像に置き換える画像処理を行う、
   請求項１から７のいずれか１項に記載の画像処理装置。
10. 撮像部と、
    請求項１から９のいずれか１項に記載の画像処理装置と、
    を備え、前記画像取得部は、前記撮像部で連続して撮像された画像群を取得する、
    撮像装置。
11. 連続して撮像された画像群を取得するステップと、
    前記画像群を構成する画像の一つを基準画像として表示部に表示するステップと、
    前記表示部に表示された画像の中で編集対象とする動体を選択するステップと、
    タッチパッドで構成される操作部の操作に基づいて、前記基準画像に画像処理を行うステップであって、第１方向へのスワイプ操作である第１操作に応じて、前記編集対象とされた前記動体の画像を他のフレームの画像に置き換える画像処理を行い、かつ、第２方向へのスワイプ操作である第２操作に応じて、前記編集対象とされた前記動体の画像を移動させる画像処理を行うステップと、
    を含む画像処理方法。
12. 連続して撮像された画像群を取得するステップと、
    前記画像群を構成する画像の一つを基準画像として表示部に表示するステップと、
    前記表示部に表示された画像の中で編集対象とする動体を選択するステップと、
    十字ボタン又はジョイスティックで構成される操作部の操作に基づいて、前記基準画像に画像処理を行うステップであって、第１方向への操作である第１操作に応じて、前記編集対象とされた前記動体の画像を他のフレームの画像に置き換える画像処理を行い、かつ、第２方向への操作である第２操作に応じて、前記編集対象とされた前記動体の画像を移動させる画像処理を行うステップと、
    を含む画像処理方法。
13. 連続して撮像された画像群を取得する機能と、
    前記画像群を構成する画像の一つを基準画像として表示部に表示する機能と、
    前記表示部に表示された画像の中で編集対象とする動体を選択する機能と、
    タッチパッドで構成される操作部の操作に基づいて、前記基準画像に画像処理を行う機能であって、第１方向へのスワイプ操作である第１操作に応じて、前記編集対象とされた前記動体の画像を他のフレームの画像に置き換える画像処理を行い、かつ、第２方向へのスワイプ操作である第２操作に応じて、前記編集対象とされた前記動体の画像を移動させる画像処理を行う機能と、
    をコンピュータに実現させる画像処理プログラム。
14. 連続して撮像された画像群を取得する機能と、
    前記画像群を構成する画像の一つを基準画像として表示部に表示する機能と、
    前記表示部に表示された画像の中で編集対象とする動体を選択する機能と、
    十字ボタン又はジョイスティックで構成される操作部の操作に基づいて、前記基準画像に画像処理を行う機能であって、第１方向への操作である第１操作に応じて、前記編集対象とされた前記動体の画像を他のフレームの画像に置き換える画像処理を行い、かつ、第２方向への操作である第２操作に応じて、前記編集対象とされた前記動体の画像を移動させる画像処理を行う機能と、
    をコンピュータに実現させる画像処理プログラム。
    

Images