JP6543147B2 - 画像処理装置、撮影ガイド装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮影ガイド装置、撮像装置、画像処理方法および画像処理プログラム、特に、アニメーション動画を制作するに適した画像処理装置、撮影ガイド装置、撮像装置、画像処理方法および画像処理プログラムに関する。

デジタルカメラ、デジタルビデオカメラだけでなく、携帯電話(スマートフォン（多機能携帯電話）を含む)、タブレット端末（タブレットＰＣを含む）などに代表される携帯情報端末機器も撮影機能(カメラ機能)を持ち、これらは撮像装置と総称される。

デジタルカメラ、デジタルビデオカメラ、携帯情報端末機器などの撮像装置において、被写体からの像（被写体像）は撮影レンズを介して撮像素子に結像され、光電変換されてデジタル化される。デジタル化された画像は、中央制御回路に出力され、中央制御回路で色や階調の補正や圧縮処理などの必要な画像処理が施される。たとえば静止画ではＪＰＥＧ形式、動画ではＨ．２６４形式等の画像ファイルに変換されてフラッシュメモリなどの記録部に記録される。
なお、撮影レンズ、撮像素子などから撮像装置の撮像部が構成される。

撮影に先立って撮影の構図やタイミングを確認するために、撮像部からの画像信号は、表示部にライブビュー画像（スルー動画像）として表示される。表示部には、撮影前のライブビュー画像だけでなく、記録部に記録された画像信号も中央制御回路で伸長されて表示(再生)される。表示部は液晶ディスプレイ（ＬＣＤ）などから形成される。中央制御回路は、画像を処理するだけでなく、撮像装置の構成部材、たとえば、記録部、表示部、一連のスイッチ（たとえば、レリーズスイッチ、パワースイッチ、メニューキーなど）などの動作を制御する。
被写体像はライブビュー画像で確認され、レリーズスイッチの操作のもとで撮影され、デジタル画像を連続して撮影してコマ間圧縮を行えば動画が得られ、連続撮影しなければ静止画が得られる。

キャラクター（移動物）を被写体として背景の中を少しずつ動かして撮影（コマ撮り）すれば、キャラクターが移動するアニメーション動画(アニメ動画)が制作される。アニメ動画は、通常、複数のシーンの動画を組合せて作成される。キャラクターは、たとえば粘土から成形される粘土成型物とされる。しかし、粘土成型物に限定されず、粘土以外のものから成形してもよい。

特開２００８−０６０６６１号公報には、アニメ動画のためのファイル(動画ファイル)を作成し、動画ファイルの作成時にコマ撮りごとのキャラクター（被写体）の移動距離を示唆する電子カメラ（撮像装置）が記載されている。

特開２００８−０６０６６１号公報

特開２００８−０６０６６１号公報では、前撮影コマの画像(前撮影画像)、ライブビュー画像が液晶ディスプレイ（表示部）に重ね合わせて表示される。そのため、前撮影画像、ライブビュー画像のそれぞれの位置が液晶ディスプレイで確認され、前撮影画像からライブビュー画像までの移動距離（コマ撮りごとの移動量）がわかる。被写体がキャラクターであれば、アニメ動画が撮影される。

この構成では、前撮影画像から次の画像までの移動距離がわかるとはいえ、コマ撮りにおける画像効果を事前に手軽に確認できない。

本発明は、コマ撮りにおける画像効果を事前に手軽に確認できる画像処理装置、撮影ガイド装置、撮像装置、画像処理方法および画像処理プログラムの提供を目的としている。

本発明では、コマ送りにおける撮影（撮像）を補助する画像を作成している。
すなわち、請求項１記載の本発明によれば、画像処理装置は、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する位置差判定部と、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する時間差設定部と、前記位置差判定部で判定された前記位置差と前記時間差設定部で設定された前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が半透明状に表示されて画面内に配置された少なくとも１つの補助画像を作成する補助画像作成部と、を備え、前記補助画像における前記半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、前記半透明状の移動物の画像が半透明とは異なる判別可能な表示に変えられる。
請求項３記載の本発明によれば、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する位置差判定部と、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する時間差設定部と、前記位置差判定部で判定された前記位置差と前記時間差設定部で設定された前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成する補助画像作成部と、を備え、背景音楽となる音楽のリズムを検出し、前記時間差設定部がそのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定している。
請求項８記載の本発明によれば、画像処理方法は、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定するステップと、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定するステップと、前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が半透明状に表示されて画面内に配置された少なくとも１つの補助画像を作成するステップと、前記補助画像における前記半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、前記半透明状の移動物の画像が半透明とは異なる判別可能な表示に変えるステップと、を備えている。
請求項９記載の本発明によれば、画像処理プログラムは、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する機能と、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する機能と、前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が半透明状に表示されて画面内に配置された少なくとも１つの補助画像を作成する機能と、前記補助画像における前記半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、前記半透明状の移動物の画像が半透明とは異なる判別可能な表示に変える機能と、をコンピュータに実現させるため構成されている。
請求項１０記載の本発明によれば、画像処理方法は、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定するステップと、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定するステップと、前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成するステップと、背景音楽となる音楽のリズムを検出し、そのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定するステップと、を備えている。
請求項１１記載の本発明によれば、画像処理プログラムは、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する機能と、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する機能と、 前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成する機能と、背景音楽となる音楽のリズムを検出し、そのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定する機能と、をコンピュータに実現させるため構成されている。

本発明では、コマ送りにおける撮影（撮像）を補助(ガイド)する補助画像を作成しているため、コマ送りにおける画像効果を手軽に確認できる。

本発明の一実施例に係る画像処理部(画像処理装置)の概念ブロック図を示す。 レンズ型デジタルカメラとスマートフォンとを無線接続した組み合わせからなる本発明の一実施例に係る撮像装置の模式図を示す。 （Ａ）〜（Ｄ）は本発明による補助画像作成の模式図を示す。 （Ａ）〜（Ｃ）はスマートフォンの画面をそれぞれ示す。 図４(Ｃ)の画面で「なめらかさ」を選択したときのスマートフォンの画面を示す。 （Ａ）〜（Ｄ）は図４(Ｃ)の画面で「時間差」を選択したときのスマートフォンの画面を示す。 （Ａ）〜（Ｃ）は図６(Ａ)の画面で「楽曲指定」を選択したときのスマートフォンの画面を示す。 （Ａ）（Ｂ）は図４(Ｃ)の画面で「位置差」を選択したときのスマートフォンの画面を示す。 （Ａ）〜（Ｄ）は図４(Ｃ)の画面で「ガイド」を選択したときのスマートフォンの画面を示す。 図９(Ａ)の画面で「予測」を選択したときのスマートフォンの画面を示す。 本発明の一実施例におけるアニメーション動画のための動画作成のフローチャートを示す。 補助画像作成のサブルーチンを示す。 （Ａ）〜（Ｃ）は補間画像の作成における始点、終点でのキャラクターの画像、キャラクターの存在しないライブビュー画像（背景のライブビュー画像）をそれぞれ示す。

画像処理装置は、位置差判定部と、時間差設定部と、補助画像作成部とを有している。位置差判定部は共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定し、時間差設定部は画像のコマ送りにおける時間差および位置差に対応する画像の再生の時間差を設定している。補助画像作成部は、位置差判定部で判定された位置差と時間差設定部で設定されたコマ送りにおける時間差および再生の時間差とにしたがって、移動物が半透明状に表示されて画面内に配置されたコマ画像となる少なくとも１つの補助画像を作成し、補助画像における半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、半透明状の移動物の画像が半透明とは異なる判別可能な表示に変えられる。

以下、図面を参照しながら本発明の一実施例を詳細に説明する。
図１は本発明の一実施例に係る画像処理部(画像処理装置)の概念ブロック図を示す。図２はレンズ型デジタルカメラとスマートフォンとを無線接続した組み合わせからなる本発明の一実施例に係る撮像装置の模式図を示す。
なお、画像処理装置１０は、コマ送りにおける撮影（撮像）を補助する画像を作成して撮影のガイドをしており、撮影ガイド装置といい換えることもできる。

本発明は、アニメ動画撮影の素材となる補助画像を作成する画像処理部(画像処理装置)を要部としている。そのため、画像処理部以外の撮像装置の構成部材、たとえば、撮像部などを別体にして発明の説明を簡略化している。画像処理部(画像処理装置)の組み込まれたこの発明の一実施例に係る撮像装置は、たとえば、レンズ型デジタルカメラをスマートフォンに組み合わせて構成できる。

図２では、撮像装置１０は、レンズ型デジタルカメラ１０ａとスマートフォン１０ｂとを無線接続して構成され、スマートフォンが撮像装置の本体部、デジタルカメラが撮像部としてそれぞれ機能している。ここで、レンズ型デジタルカメラ１０ａはレンズマウントを搭載しているため、レンズマウントを利用してレンズ型デジタルカメラをスマートフォン１０ｂに組み込んで一体化してもよい。

スマートフォンは、様々な通信回線を利用してのコンテンツの送受信が可能であり、作成動画の外部サイトなどへのアップロード、また、外部サイトなどからの鑑賞用画像、素材用画像のダウンロードなどが容易に行える。もちろん、タブレットパソコンやパソコンなども同様の理由で代用できる。また、後述のように、音楽データのダウンロードなどのサービスも利用できる。

図１に示すように、撮像装置１０は、撮像部１２、中央制御回路１４、操作部１６、表示部１８、記録部２０、通信部２２、計時部２４を備えている。
撮像部１２は複数の画像を撮像し、図２に示す実施例では、スマートフォン１０ｂと別体のレンズ型デジタルカメラ１０ａが撮像部１２として機能し、中央制御回路１４〜計時部２４は、スマートフォン（撮像装置の本体部）１０ｂに設けられている。中央制御回路１４は、コマ送りにおける撮影（撮像）の補助(ガイド)となる補助画像を作成する画像処理部(画像処理装置)１１４を包含している。

以下においては、操作部１６、表示部１８、記録部２０、通信部２２、計時部２４は、スマートフォン１０ｂが当然に装備しているものであるため、簡単に説明し、画像処理部(画像処理装置)１１４について詳細に説明する。また、撮像部１２は、レンズ型デジタルカメラに設けられているが、その構成は公知のものと同じであるため、ここでは簡単に説明する。

撮像部１２は、撮影レンズやＣＣＤ、ＣＭＯＳセンサなどの撮像素子などを内部に持ち、被写体からの像は撮影レンズを介して撮像素子に結像され、光電変換されデジタル化されて中央制御回路１４に出力される。そして、中央制御回路１４で色や階調の補正や圧縮処理などの必要な画像処理が施され、たとえば、静止画ではＪＰＥＧ形式、動画ではＨ．２６４形式等の画像ファイルに変換されてフラッシュメモリなどの記録部（メモリ）２０に記録される。
計時部（クロック）２４は撮影日時を計時し、その日時情報が撮影画像（撮像画像)とともにメモリ２０に記録されることにより、撮像画像は順序よく記録され、検索も容易に行える。

表示部１８は画像を表示し、撮影(撮像)に先立って撮影の構図やタイミングを確認するために、撮像部１２からの画像信号がライブビュー画像（スルー動画像）として表示される。表示部１８には、撮影前のライブビュー画像だけでなく、メモリ２０に記録された画像信号も中央制御回路１４で再生用に伸長されて表示される。表示部１８は液晶ディスプレイ（ＬＣＤ）などから形成され、スマートフォン１０ｂの上面に設けられる。

撮像部１２からの撮像画像を画像処理する中央制御回路１４は、画像処理部(画像処理装置)１１４を包含し、たとえばＣＰＵ、ＭＰＵなどからなる。アニメモードで撮影されたキャラクターの画像は、メモリ２０に記録され、中央制御回路１４で再生処理されて液晶ディスプレイ(表示部)１８に表示されて、撮影された結果が直ちに確認される。

通信部２２はＵＳＢ接続や無線などによってデータの送受信を行う送受信部などからなり、メモリ２０に記録された撮影画像のデータは、通信部を介してＴＶなどの外部の表示部、別の撮像装置などにスマートフォン１０ｂから出力できる。また、別の撮像装置に記録された撮影画像のデータが通信部２２を介してスマートフォン１０ｂに入力できる。

画像データ２４ａ、楽曲データ２４ｂなどは、たとえば、外部のデータベース（ＤＢ）２４に保存されており、通信部２２は、インターネット、通信ケーブルなどを介して外部のデータベースに通じている。そのため、外部のデータベース２４から画像データ２４ａ、楽曲データ２４ｂなどの情報が通信部２２を介してスマートフォン１０ｂにダウンロード（保存）できる。また、楽曲データを組み込んだ撮影画像のデータが、通信部２２を介して外部のデータベースにアップロード（保存）される。
もちろん、画像データ２４ａ、楽曲データ２４ｂなどのデータベース２４は、撮像装置１０に内蔵されていてもよく、この場合にはメモリ２０に画像データなどが保存される。

スマートフォン１０ｂでは、撮影者の指によるタッチ(タップ)操作を認識する層（導電層）が液晶ディスプレイ１８の全面に配置され、パワースイッチ、レリーズスイッチ、モードキーなどのスイッチは、たとえば、液晶ディスプレイ上に表示される。もちろん、物理的な専用スイッチを設けてもよい。たとえば、よく使うレリーズスイッチはスマートフォン１０ｂの周面側にも設けるとよい。
操作部１６は、液晶ディスプレイ上のアイコンのタッチによるパワースイッチ、レリーズスイッチ、モードキーなどにおける撮影者のスイッチ操作を検出し、その検出結果が中央制御回路１４に出力され、中央制御回路で撮影操作が制御される。

画像処理部(画像処理装置)１１４は、中央制御回路１４に包含されて撮像装置１０に組み込まれている。
画像処理部１１４は、位置差判定部１１４ａ、時間差設定部１１４ｂ、補助画像作成部１１４ｃを有している。
位置差判定部１１４ａは、共通の移動物、背景を有する複数の画像から、移動物の位置差を比較して判定し、時間差設定部１１４ｂは、その複数の画像の時間差（コマ送りの時間差および再生の時間差）を設定している。また後述するように、位置差判定部１１４ａは、対象とする画像から移動物、背景を判別し、判定（決定）することもできる。補助画像作成部１１４ｃは、位置差判定部１１４ａで判定された位置差と時間差設定部１１４ｂで設定されたコマ送りにおける時間差および再生の時間差とにしたがって、移動物、背景を有する少なくとも１つの補助画像を作成している。ここで、移動物は、被写体としてのキャラクターをいう。
たとえば、補助画像作成部１１４ｃは、対象画像から移動物と背景を必要に応じてそれぞれ画像処理してから補助画像を作成している。

画像処理部１１４は、操作制御部１１４ｄ、通信制御部１１４ｅ、画像取り込み部１１４ｆをさらに有している。
操作制御部１１４ｄは、操作部１６で検出されて中央制御回路１４に出力された操作結果を制御して、位置差判定部１１４ａ、時間差設定部１１４ｂに出力する。
通信制御部１１４ｅは、通信部２２を介して入出力される画像データ、楽曲データなどの通信相手の設定やプロトコルを制御する。

たとえば、インターネットを介して外部のデータベース２４から通信部２２を介して入力された楽曲データ２４ｂが通信制御部１１４ｅで特定のサービスを行うサーバーなどにアクセス制御して取得され、楽曲データ、時間、音量などを解析した結果が取得される。なお、このような機能を、たとえば、時間差設定部１１４ｂが持つことができる。
画像取り込み部１１４ｆには、外部のデータベース２４から画像データが通信制御部１１４ｅで制御されて、取り込まれる。そのため、撮像部１２で撮影された画像だけでなく、外部の画像を利用してアニメ動画のもとなる動画のコマが作成できる。

図３（Ａ）〜（Ｄ）は本発明による補助画像作成の模式図を示す。
図３においては、撮像装置１０は、レンズ型デジタルカメラ１０ａをスマートフォン１０ｂに組み込んで一体化され、スマートフォンは三脚１０ｃで支持されている。

図３（Ａ）（Ｂ）はキャラクターが始点、終点に置かれた状態をそれぞれ示す。
まず、図３（Ａ）に示すように、被写体であるキャラクターＣａが動画の始点(始点位置)に置かれ、たとえば、スマートフォンの周面側のレリーズスイッチを押して始点の画像が撮影（撮像）される。それから、キャラクターＣａが始点から終点まで移動される。そして、図３（Ｂ）に示すように、キャラクターＣａが動画の終点（終点位置）に置かれ、スマートフォンの周面側のレリーズスイッチを押して終点の画像が撮影される。

図３（Ｃ）（Ｄ）は補助画像作成における画像をそれぞれ示す。
たとえば、撮影された始点の画像Ｉｍ−ｓ、終点の画像Ｉｍ−ｆの画像を撮影して、その位置差（始点、終点間での被写体の位置変化つまり始点、終点間の距離）をＤｍとする。そして、コマ送りの時間差２秒（＝Ｆ）および再生の時間差（始点から終点までの時間）６秒（＝Ｔｍ）で、キャラクターがその位置差Ｄｍを移動すると考える。すると、Ｔｍ／Ｆ＝６／２＝３で三分割の細かさでキャラクターが始点、終点間を移動すればよい。

たとえば、図３（Ｃ）において、キャラクターがその動く方向で画面の２／３（＝Ｄｍ）の距離を移動するとすれば、（２／３）／３＝２／９から、コマ送りでの間隔ΔＤｍは画面上で２／９となる。そのため、始点、終点の間でこの分割位置にガイドとなる２つの画像（補助画像）を配置すれば、コマ送りでの間隔がΔＤｍで、位置差がＤｍのシーン（シーン１）が得られる。

始点、終点でキャラクターを撮影する代わりに、図３（Ｄ）に示すように、始点を含む２つの位置でキャラクターを撮影すれば、キャラクターの動く方向でその動きをガイドする画像を予測してシーンが作成できる。背景設定を容易にするために、２画像が重複しないように撮影するとよい。ガイドする画像(補助画像)は無限に作成可能であるため、終点の画像の位置が、時間差（コマ送りの時間差および再生の時間差）から決められる。

たとえば、図３（Ｄ）において、図３（Ｃ）と同様に、撮影された始点と次の位置の画像の間隔（コマ送りでの間隔）をΔＤｍ、始点の画像と終点の画像との位置差（始点、終点の画像の位置変化）をＤｍ、コマ送りの時間差（１コマに要する時間）が２秒で再生の時間（動画（シーン）の再生時間）６秒をかけて移動すると仮定する。すると、始点の次の位置から終点位置までの間に２つの画像(終点位置の画像を含む)が予測され、始点と次の位置の画像の間隔ΔＤｍがキャラクターの動く方向で画面の２／９であれば、位置差Ｄｍは画面の２／３となる。

このように、アニメ動画作成のためのガイドとして、始点、終点でのキャラクターを撮影してその画像の間を補間する図３（Ｃ）に示す補間ガイドと、最初の２つ位置でのキャラクターを撮影して終点までの画像を予測する図３（Ｄ）に示す予測ガイドとが考えられる。そして、複数の画像の位置差を判定し、コマ送りの時間差および再生の時間差を設定すれば、補助画像として、補間ガイドでは補間画像、予測ガイドでは予測画像がそれぞれ作成される。たとえば、図３（Ｃ）（Ｄ）の実施例では、位置差はＤｍ（画面の２／３）、コマ送りの時間差はＦ（２秒）、再生の時間差はＴｍ（６秒）で、１シーン（１動画）が判定、設定される。

図示しないが、シーン１に続くシーン２・・・・が同様の方法で順次作成される。そして、たとえば、補助画像（補間画像、予測画像）の位置にキャラクターを置いて撮影したり、補助画像に撮影済みの画像を拡大・縮小して重ねたりして、シーン１、２・・・・の画像（動画）が順次作成される。
補助画像（補間画像、予測画像）が作成されて動画撮影の素材となるため、コマ撮りにおける画像を事前に手軽に知ることができ、アニメ動画のもととなる動画（シーン１、２・・・・の画像）が手軽に作成できる。

なお、以下においては補間ガイドにおける操作を主として説明する。
図４（Ａ）〜（Ｃ）はスマートフォンの画面をそれぞれ示す。
撮像部（レンズ型デジタルカメラ）１０ａと無線接続（図２）されたスマートフォン１０ｂのアプリケーションの初期画面は、たとえば、図４（Ａ）の画面とされる。
まず、図４（Ａ）の画面で「外部カメラ」をタッチすると、図４（Ｂ）の画面がスマートフォン１０ｂに表示され、「カメラ」が選択される。そして、たとえば、補間ガイドでは始点、終点の画像、予測ガイドでは始点と次の画像が、事前にそれぞれ撮影される。

もちろん、実施例において、レンズ型デジタルカメラ１０ａでなくスマートフォン内蔵のカメラを使ってもよい。しかし、カメラと被写体との関係を一定に保って固定するには、スマートフォン内蔵のカメラとは別のカメラ（外部カメラ、レンズ型デジタルカメラ）の方が、スマートフォンで操作がしやすい。また、外部カメラであれば、マクロ撮影用、望遠撮影用などの専用の光学系を選ぶことが可能で、応用範囲が広がるメリットがある。

それから、図４（Ｂ）の画面に戻って、「アニメモード」をタッチすると、図４（Ｃ）に示すアニメモードのメニューが表示される。図４（Ｃ）には、「位置差」「時間差」「なめらかさ」「ガイド」という４つのメニューが表示されている。

図５は図４(Ｃ)の画面で「なめらかさ」を選択したときのスマートフォンの画面を示す。
実施例では、動画表現であるキャラクターの動きの「なめらかさ」として「なめらか」「ふつう」「ぱらぱら」が設定されている。「なめらかさ」はコマ数に対応し、コマ数が少なければキャラクターの動きは「ぱらぱら」、つまり、なめらかでない（ぱらぱら感のある）コマ撮りの動きとなり、コマ数が多ければ「なめらか」となり、「ふつう」はそれらの中間の動きをする。たとえば、「ぱらぱら感」を表現したければ、「なめらかさ」として「ぱらぱら」が設定される。

「なめらかさ」の設定のために、画像処理装置（画像処理部）１１４は「なめらかさ設定部」を有してもよい。しかし、位置差判定部１１４ａ、時間設定部１１４ｂのいずれかで「なめらか」「ふつう」「ぱらぱら」といった「なめらかさ」を設定可能として「なめらかさ設定部」を兼ねる構成としてもよい。
また、楽曲データのリズム、テンポ、音量などを解析し、その解析結果から「なめらかさ」を自動的に設定する構成としてもよい。

「なめらかさ」を設定すれば、一層なめらかな動きの動画（シーン１、２・・・・の画像）が得られるとはいえ、「なめらかさ」の設定は必須でなく、その設定を省略してもよい。
ユーザ（撮影者）の好みが一定のなめらかさである場合や、動画のなめらかさを音楽に自動的に合わせる場合は、ユーザによる「なめらかさ」の設定が省略できる。そして、「なめらかさ」の設定を省略すれば、設定の手順が少なくなり、ユーザの負担が軽減される。

図５の画面で「なめらか」「ふつう」「ぱらぱら」のいずれかをタッチし、「なめらかさ」を設定してから「戻る」をタッチすると、設定した「なめらかさ」を保存して図４（Ｃ）の画面に切り換えられる。

図６（Ａ）〜（Ｄ）は図４(Ｃ)の画面で「時間差」を選択したときのスマートフォンの画面を示す。図６（Ｃ）（Ｄ）において、横軸はコマ送りの時間差、縦軸は始点から終点に向かう距離を示す。

「なめらかさ」を保存して切り換えられた図４（Ｃ）の画面で「時間差」をタッチして選択すると、図６（Ａ）に示す「時間差」の初期画面が表示され、この初期画面では「時間差」「楽曲指定」の２つのメニューが表示されている。そして、「時間差」をタッチして選択すると、図６（Ｂ）に示す画面が表示される。ここではコマ送りの時間差（１コマに要する時間）として２秒が初期設定されている。しかし、上向きの三角マーク（△）、下向きの三角マーク（▽）をタッチすれば、たとえば０．５秒刻みに時間差が増減して、時間差を変更できる。図６（Ｂ）の画面で「パターン入力」をタッチすると、図６（Ｃ）に示すキャラクターの動きのパターンの画面が表示される。

図６（Ｃ）の画面ではキャラクターの動きのパターンは、たとえば、始点から終点に向かってキャラクターが一定に変化する直線に初期設定され、キャラクターは同じ動きで(強弱のアクセントのない動きで)移動している。
しかし、たとえば、図６（Ｃ）でパターンの直線の一部を指でタッチしたまま、画面上で指をスライドさせれば、その箇所でパターンを変えることができる。たとえば、パターンの直線の一部を指でタッチしたまま、図６（Ｄ）の矢印のように、指を下向きにスライドさせると、タッチされたパターンの直線の箇所が指のスライドに合わせて下方に湾曲される。そして、その箇所でキャラクターの動きが部分的に遅くなり、図６（Ｄ）に示すような強弱のアクセントのある動きのパターンが設定される。
なお、このような操作を応用すれば、動きの速さ、スピードのみならず、キャラクターの位置を左右にずらせたりすることも可能となる。

また、楽曲データのリズム、テンポからキャラクターの動きのパターンを自動的に変更する構成としてもよい。たとえば、楽曲データのリズム、テンポの遅速、強弱に対応してキャラクターを早く動かしたり、遅く動かすことができる。
これは、楽曲を判定し、音の強弱の変化や周波数の時間変化をモニタして、繰り返しの特徴やパターンの形状などを検出する機能を、時間差設定部１１４ｂが有していれば簡単に実現できる。このような繰り返しは、強弱の変化の時間が何度も現れてほぼ同じ時間であれば容易に判定できる。リズムはだんだん速くなったり、だんだん遅くなったりする場合もあるため、リズムの変化の規則を判定し、リズムを正確に判定すればなおよい。以下、代表例で説明する。

たとえば、図６（Ｂ）で「戻る」をタッチすると図６（Ａ)の画面に戻る。また、図６（Ｃ）（Ｄ）で「戻る」をタッチするとその動きのパターンが保存されて図６（Ａ）の画面にそれぞれ戻る。

図７（Ａ）〜（Ｃ）は図６(Ａ)の画面で「楽曲指定」を選択したときのスマートフォンの画面を示す。「楽曲」は複数のフレーズ（旋律の一区切り、楽句）に自動点に分断され、楽曲の初めから順にフレーズ１、２・・・・・とされる。「楽曲指定」では、それぞれのシーンの位置差（コマ送りでの位置変化、始点、終点の画像の位置変化、１シーンにおける移動距離）において流される楽曲、いいかえれば、キャラクターが始点から終点に至る区間に流れる楽曲(区間楽曲)が、シーンごとに楽曲のフレーズを選択して設定される。

図６（Ａ）で「楽曲指定」をタッチして選択すると、図７（Ａ）に示す「楽曲指定」の初期画面がスマートフォンに表示される。
図７（Ａ）の初期画面では、メモリ２０や外部のデータベース２４に保存された「楽曲１」「楽曲２」の２つの楽曲データが表示されている。下向きの三角マーク（▽）をタッチすれば「楽曲３」以降が繰り上がって表示され、上向きの三角マーク（△）をタッチすれば楽曲番号の若い「楽曲」が表示される。
たとえば、「楽曲１」をタッチすると、図７（Ｂ）に示すように、横軸を楽曲の時間、縦軸を楽曲の音量とした楽曲１のフレーズ１の波形（音量）が表示される。

図７（Ｂ）において、フレーズ１の波形上で画面をタッチして始点、終点を決めると、フレーズ１のどの部分を始点から終点に至る区間で流す楽曲(区間楽曲)が選択され、指定される。ここで、フレーズ１の波形上で画面をタッチして始点、終点を決めると、始点から終点までに要する時間差（再生の時間差つまり１シーンに要する時間）が対応して確定し、設定される。このように、「楽曲指定」で再生の時間差が設定される。

区間楽曲を設定してから、「試聴」をタッチすると、フレーズ１の選択、設定された部分の区間楽曲が流れる。設定された区間楽曲が気に入らなければ、始点、終点の位置を変えて選択される区間楽曲が変更される。たとえば、フレーズ１の波形上で始点、終点をタッチして画面上で左右にスライドさせれば、フレーズ１から採用される区間楽曲が変更される。
なお、始点、終点の位置を変えれば、それに伴って再生の時間差（１シーンに要する時間）も変更される。

図７（Ｂ）のフレーズ１に気に入った楽曲（区間楽曲）がなければ、図７（Ｂ）で右向きの三角マークをタッチして次のフレーズ（フレーズ２）の画面に切り換える（図７（Ｃ））。図７（Ｂ）におけるフレーズ１の区間楽曲の指定と同じ動作を図７（Ｃ）においても繰り返してフレーズ２から区間楽曲を指定する。

フレーズ２に気に入った区間楽曲がなければ、図７（Ｂ）で右向きの三角マークをタッチするとフレーズ２からフレーズ３の画面に切り換えられ、フレーズ３の波形上で画面をタッチして始点、終点を決めて、フレーズ３から区間楽曲が選択、指定される。図７（Ｃ）で左向きの三角マークをタッチするとフレーズ２からフレーズ１に戻され、フレーズ１からの区間楽曲の選択、指定が再度検討される。このようにして、始点から終点に至る区間で流す区間楽曲がフレーズから選択される。
なお、図７（Ｂ）（Ｃ）で「ＯＫ」をタッチすると画面の設定が保存され、「戻る」をタッチする図７（Ａ）の初期画面に戻る。

ある楽曲のフレーズから区間楽曲をとりあえず設定してから、別のフレーズ、別の楽曲のフレーズからの区間楽曲の設定を繰り返して、より好みの区間楽曲を設定して置き換える(上書きする)構成としてもよい。つまり、最終的に「ＯＫ」のタッチされた画面の区間楽曲が、区間楽曲として確定し、設定される構成としてもよい。

図８（Ａ）（Ｂ）は図４(Ｃ)の画面で「位置差」を選択したときのスマートフォンの画面を示す。
図４（Ｃ）で「位置差」をタッチして選択すると、たとえば、補間ガイドにおける始点、終点の画像が図８（Ａ）に示すようにスマートフォン１０ｂに表示される。たとえば、補間ガイドでのシーン１の始点でのキャラクターの撮影画像（撮像画像）が画面の上半部に表示されるとともに、終点での画像がライブビュー画像として画面に下半部に表示される。

ユーザ（撮影者）は、キャラクターを動かして始点位置との関係から好ましい位置にキャラクターを置いて終点位置を決める。また、始点のキャラクターの位置は仮に定めた位置であり、好ましくないと思えばキャラクターを動かして始点位置を変え、好ましいと思われる始点位置にキャラクターを置いて検討する。

始点、終点の位置を種々検討し、始点、終点が最終的に決まれば、始点、終点でキャラクターを撮影して始点、終点における画像を確定する。それから、たとえば、背景を基準にして２つの画像を重ねることによって、位置差（１シーンにおける移動距離、図３（Ｃ）のＤｍ）が位置差判定部１１４ａで読み取られ（計算され）、たとえば、画面上で２／３が判定(指定)される。

楽曲１からフレーズ１が選択されていれば、補間ガイドにおけるシーン１の画面は図８（Ｂ）となり、図７で指定した区間楽曲が流れて、確認される。
図８（Ａ）（Ｂ）で「戻る」をタッチすれば、位置差を保存して図４（Ｃ）の画面に切り換わる。

予測ガイドにおいても、補間ガイドと同様の方法で、始点の画像、次の位置の画像が撮影され、位置差が判定される。
すなわち、予測ガイドでは、シーン１の始点でのキャラクターの撮影画像が図８（Ａ）の画面の上半部に表示されるとともに、始点の次の画像がライブビュー画像として画面の下半部に表示される。撮影者はキャラクターを動かして始点との関係から好ましい位置にキャラクターを置いて次の位置を決める。また、始点のキャラクターの位置は仮に定めた位置であり、好ましくないと感じればキャラクターを動かして始点の位置を変える。
始点、次の位置を種々検討し、始点、次の位置が最終的に決まれば、始点、次の位置でキャラクターを撮影して、始点、次の位置における画像を確定する。

予測ガイドでは、キャラクターの終点の位置は未定であり、位置差（１シーンにおける移動距離、図３（Ｄ）のＤｍ)は確定していない。
しかし、図６の「時間差」の設定で時間差が２秒に、図７の「楽曲指定」での区間楽曲の指定によって、区間楽曲の時間つまり再生時間が設定されている。たとえば、再生時間が６秒であれば、次の位置の画像から終点の画像まで２つの画像(終点位置の画像を含む)が予測される。そのため、位置差は、始点、次の画像の位置変化（図３(Ｄ）のΔＤｍ)の３倍となり、位置差（Ｄｍ＝ΔＤｍＸ３）が確定し、判定(指定)される。また、位置差の判定に伴って、終点の画像の位置が指定される。

そして、図８（Ａ）で「シーン１」をタッチすれば、楽曲データ１のフレーズ１が組み込まれたシーン１の画面が図８（Ｂ）に表示されて、図７で指定した区間楽曲が流れて、確認される。

図９（Ａ）〜（Ｄ）は図４(Ｃ)の画面で「ガイド」を選択したときのスマートフォンの画面を示す。
図４（Ｃ）で「ガイド」をタッチして選択すると、図９（Ａ）に示す画面が表示される。図９（Ａ）で「補間」をタッチすると、図９（Ｂ）に示す補間ガイドの画面が表示される。

図９（Ｂ）には、図７で設定した画面、「シーン１」と「シーン１」で設定されたフレーズが表示される。たとえば、「シーン１」の区間楽曲として「フレーズ１」が設定されていれば、つまり、図７（Ｂ）の画面が設定されていれば、「シーン１」「フレーズ１」が表示される。また、図７（Ｂ）の画面でなく、「シーン１」の区間楽曲として「フレーズ２」が設定されていれば、つまり、図７（Ｃ）の画面のように設定されていれば、「シーン１」、「フレーズ２」が表示される。

図９（Ｂ）の「シーン１」、「フレーズ１」の表示画面で「ＯＫ」をタッチすれば、図９（Ｃ）に切り換わり、図７（Ｂ）で設定した区間楽曲、再生の時間差、図８で判定した位置差の画像が、図９（Ｃ）に表示される。また、図５で「なめらかさ」を選択して、たとえば、「なめらかさ」として「ぱらぱら」が選択されていれば、「ぱらぱら」も図９（Ｃ）に表示される。図９（Ｃ）で、位置差、時間差、区間楽曲、なめらかさなどが確認される。

図９（Ｃ）で「ＯＫ」をタッチすれば、図９（Ｄ）に切り換わる。
図９（Ｄ）では、図８で判定された位置差のもとで、始点、終点間を三分割した２つのガイドの画像（補間画像）を経て、始点から終点に至る補間ガイドにおけるキャラクターの画像が、楽曲１のフレーズ１の区間楽曲で「ぱらぱら」のなめらかさのもとでシーン１として模擬表示（シミュレーション）される。
図９（Ｄ）において、フレーズの波形上の４つの丸は、始点、終点の画像およびそれらの間の２つの補間画像を示す。

シミュレーションされたキャラクターの画像でよければ、図９（Ｄ）で「採用」がタッチされて、シーン１を保存してから図９（Ｂ）に戻る。よくなければ、「戻る」をタッチして、図９（Ｃ）に戻る。それから、たとえば、図４（Ｃ）に戻って、「位置差」などの設定をやり直す。

なお、シミュレーションされたキャラクターの画像でよければ、図９（Ｄ）の「採用」をタッチする前に、シミュレーションにおける始点、終点の間の補助画像（補間画像）の位置にキャラクターを配置し、たとえば、スマートフォンの周面側のレリーズスイッチを押してキャラクターを撮影する。また、始点、終点の画像（撮影画像）を拡大・縮小し、補間画像に重ねて補間画像をコマ化してもよい。

図９（Ｄ）で「採用」をタッチしてシーン１を決定し、保存してから「戻る」をタッチすれば、図９（Ｄ）から図９（Ｂ）に戻る。
図９（Ｂ）で「シーン１」をタッチすると「シーン２」が図９（Ｂ）に表示されるとともに、「シーン２」で指定されたフレーズ、たとえば、フレーズ２が表示される。

「シーン２」「フレーズ２」が表示された図９（Ｂ）の画面で「ＯＫ」をタッチし、切り換わった図９（Ｃ）の画面でも「ＯＫ」をタッチすると、図９（Ｄ）に画面に切り換わる。そして、シーン１と同様に、シーン２が図９（Ｄ）の画面でシミュレーションされて、その採否が判断される。シミュレーションの画像でよければ、補間画像を撮影してから、または、補間画像をコマ化してから、「採用」をタッチしてシーン２を決定、保存する。シミュレーションの画像でよくなければ、「戻る」をタッチして「位置差」などの設定をやり直す。
同様に、シーン３以降も判断されて、シーン１・・・・の画像（動画）が順次作成される。

コマ送りにおける撮影を補助する補助画像を作成しているため、コマ送りにおける画像効果を手軽に確認できる。また、アニメ動画のもととなる画像が手軽に作成でき、さらに、楽曲のフレーズ付のシーンが容易に作成できる。

なお、スマートフォン１０ｂに内蔵されている楽曲データを利用してもよいとはいえ、ネットワークを利用して外部から楽曲データを取り込めば、多種、多様な楽曲データが利用でき、バラエティに富んだ区間楽曲が選択、設定できる。

図１０は図９(Ａ)の画面で「予測」を選択したときのスマートフォンの画面を示す。
図９（Ａ）の画面で「予測」をタッチして選択すると、図１０（Ａ）に示す「予測」の画面が表示される。

「シーン１」と図７において「シーン１」で設定されたフレーズとが図１０（Ａ）に表示され、「シーン１」で「フレーズ１」から区間楽曲が設定されていれば、図１０（Ａ）には「シーン１」、「フレーズ１」が表示される。「シーン１」、「フレーズ１」でよければ、「ＯＫ」をタッチする。すると、図１０（Ｂ）に切り換わる。予測ガイドにおいては、補間ガイドにおける始点、終点の画像に代わって、始点と次の画像を画面上部の左右にそれぞれ表示した画面が、シーン１、フレーズ１の画面として図１０（Ｂ）に表示される。

また、図７（Ｂ）で設定した区間楽曲、再生の時間差、図８で判定した位置差の画像が、図１０（Ｂ）に表示される。また、図５で選択された「なめらかさ」、たとえば、「ぱらぱら」も図１０（Ｂ）に表示される。図１０（Ｂ）で、位置差、時間差、区間楽曲、なめらかさなどが確認される。

図１０（Ｂ）で「ＯＫ」をタッチすれば、図１０（Ｃ）に切り換わる。
図１０（Ｃ）では、図８で判定された位置差のもとで、始点と、（始点の）次の画像と、（始点の）次の画像から終点の画像までの２つの画像（２つ目の予測画像は終点の画像）という４つのキャラクターの画像が、楽曲データ１のフレーズ１の区間楽曲で「ぱらぱら」のなめらかさのもとでシーン１として模擬表示（シミュレーション）される。

図１０（Ｃ）において、フレーズの波形上の４つの丸は、始点、次の画像および２つの予測画像を示す。終点位置の予測画像に対応する右端の丸をタッチして画面上で左右にスライドすると、区間楽曲が延長または短縮される。ここで、左にスライドすれば、区間楽曲が短縮されて予測画像の数が減り、右にスライドすれば、区間楽曲が延長されて予測画像の数が増える。
終点位置の予測画像に対応する右端の丸をタッチして画面上で右にスライドした図１０（Ｄ）では、区間楽曲が延長されて予測画像の数が２から４に増えて６つの画像が表示され、区間楽曲の波形上の丸の数も４から６になっている。

シミュレーションの画像でよければ、予測画像を撮影してから、「採用」をタッチしてシーン１を決定し、保存する。シミュレーションの画像でよくなければ、「戻る」をタッチして「位置差」などの設定をやり直す。
同様に、シーン２以降も判断されて、シーン１・・・・の画像（動画）が順次作成される。

図１１は本発明の一実施例におけるアニメーション動画のための動画作成のフローチャートを示す。
まず、図４（Ａ）のスマートフォンの初期画面で「外部カメラ」が選択され、図４（Ｂ）で「カメラ」を選択して、補間ガイドでは始点、終点の画像、予測ガイドでは始点と次の画像が、事前にそれぞれ撮影される。

それから、図４（Ｂ）で「アニメモード」が選択されて、Ｓ１でアニメモードのメニュー（図４（Ｃ））が表示される。そして、Ｓ２でアニメモードのすべてのメニューが選択（設定）されているかが判断される。すべてのメニューが選択されていない場合は、Ｓ２からＳ２１に分岐する。なお、Ｓ２のメニュー選択で選択されるメニューの数は「位置差」「時間差」「なめらかさ」の３つとされ、この順序で判断される。
上記のように、位置差は始点、終点間での被写体の位置変化（１シーンにおける移動距離）、時間差はコマ送りの時間差（１コマに要する時間）および再生の時間差（１シーンに要する時間）をいう。

まず、Ｓ２１で「位置差」の判定が判断される。「位置差」が位置差判定部１１４ａで読み取られて判定（図８）されている場合は、Ｓ２３に進んで「時間差」の設定が判断される。撮影者が図８での位置差判定部１１４ａによる読み取り、判定を忘れている場合は、Ｓ２２に分岐して「位置差」が判定されて（図８）、Ｓ１に戻る。

なお、「位置差」「時間差」「なめらかさ」が判定、設定されると、スマートフォンの初期画面（図４（Ａ））に戻り、図４（Ｂ）を経て図４（Ｃ）のメニュー画面に至ってＳ１に戻されるが、複雑化を避けるために、スマートフォンの初期画面に戻るフローは省略されている。

Ｓ２３で「時間差」を設定する場合は、Ｓ２４に分岐して「時間差」が設定されて（図６）、Ｓ１に戻る。
Ｓ２４からＳ１に戻ると、Ｓ２でメニューが選択されているかが再び判断されて、選択されていないメニューがあって選択する場合は、Ｓ２１に分岐してＳ２１で「位置差」を判定するかが判断される。「位置差」が判定されている場合は、Ｓ２１からＳ２３に進んで「時間差」の設定が判断される。「時間差」が設定されている場合は、Ｓ２５で「なめらかさ」の設定が判断される。

Ｓ２５で「なめらかさ」の設定が判断され、「なめらかさ」を設定する場合はＳ２６で「なめらかさ」が設定されて（図５）、Ｓ１に戻り、設定しない場合はＳ２５からＳ１に戻る。

Ｓ２５、または、Ｓ２６からＳ１に戻され、Ｓ２でメニューが選択(判定、設定)されているかが判断されるが、「位置差」「時間差」「なめらかさ」が選択されている場合はＳ３に進んでＳ３で「条件ＯＫ」が判断される。つまり、Ｓ３で「位置差」「時間差」「なめらかさ」の３つのメニュー（条件）が判定、設定されているか否かが判断される。判定、設定されていないものがある場合は、Ｓ４に分岐して未入力(未判定、未設定)が警告されてＳ１に戻る。そして、「位置差」「時間差」「なめらかさ」がすべて入力（判定、設定）されるまで、Ｓ１〜Ｓ４、Ｓ２１〜Ｓ２６が繰り返される。

「位置差」「時間差」「なめらかさ」の３つのメニューがすべて判定、設定されて、Ｓ３で「条件ＯＫ」と判断されると、Ｓ１１に進んで補助画像が作成される。
図１２は補助画像作成のサブルーチンを示す。また、図１３（Ａ）〜（Ｃ）は補助画像の作成における始点、終点でのキャラクターの画像、キャラクターの存在しないライブビュー画像（背景のライブビュー画像）をそれぞれ示す。

補助画像作成のサブルーチンでは、Ｓ１０１で２画像の差異が判定される。つまり、撮影された２画像のうち、どちらが始点のキャラクターの画像で、他がそれ以外の画像（補間ガイドでは終点のキャラクターの画像、予測ガイドでは、始点の次のキャラクターの画像）かが判別され、判定される。たとえば、キャラクターが撮影者の方向に向かって移動するシーンであれば、２画像のうち、相対的に小さなキャラクターの画像が始点の画像、相対的に大きなキャラクターの画像が終点の画像または始点の次の画像と判定される。
図１３は補間ガイドの画像であるため、図１３（Ａ）の画像が始点の画像、図１３（Ｂ）の画像は終点の画像と判定される。

Ｓ１０１で２画像の差異が判定されると、Ｓ１０２に進んで変化部が判定される。図１３（Ａ）（Ｂ）でキャラクターを破線で囲んだ部分が部位とされ、２つの部位の変化が変化部として判定、認識される。

それからＳ１０３に進んで移動物が判定される。２つの部位の変化（変化部）において、或る部位にあったものがなくなり、或る部位になかったものがその部位にあれば、そのものは移動物と判定される。図１３（Ａ）の部位において存在したキャラクターは、図１３（Ｂ）の部位ではもとの部位に存在せず、図１３（Ｂ）の部位に存在するキャラクターは図１３（Ａ）の部位ではもとの部位に存在しない。したがって、図１３（Ａ）（Ｂ）の部位におけるキャラクターが移動物として判定される。
具体的には、たとえば、複数の画像を重ねて位置ごとに一致度が高いところを背景と判定する。また、重ねて一致度が低い画像部分の位置、大きさを変えたり、位置をずらしたりして一致度が高いところ移動物（キャラクター）と判定する。

そして、Ｓ１０４で背景画像が作成される。背景画像は移動物（キャラクター）が存在しない部位を利用して作成される。図１３（Ａ）（Ｂ）では、破線で囲む部位にはキャラクターが存在するために利用されず、たとえば、図１３（Ａ）の破線で囲む部位を利用して図１３（Ｃ）のような背景画像が作成される。

Ｓ１０４で背景画像が作成されると、Ｓ１０５で補助画像として補間画像、予測画像のいずれを作成するかが判断される。たとえば、２つの画像のうち、始点でない画像が終点の画像であれば補間画像が作成され、始点の次の画像であれば予測画像が作成される。

Ｓ１０５で補間画像の作成が選択されると、Ｓ１０６で２画像（始点、終点の画像）の差異を内分（分割）し、移動物（キャラクター）の２画像のうちいずれか１つを選択して拡大・縮小することで補間画像が作成されて背景画像に合成される。
Ｓ１０５で予測画像の作成が選択されると、Ｓ１０７で２画像（始点の画像、次の画像）の差異を強調して、移動物（キャラクター）の予測画像がその予測位置で背景画像に合成される。
Ｓ１０６、Ｓ１０７で補助画像が背景画像に合成されると、図１１のメインルーチンに戻ってＳ１２に進む。

図１１のメインルーチンに戻ってＳ１２に進むと、背景画像に合成された補助画像の採用がＳ１２で判断される。補助画像を採用しないなら、Ｓ１４で撮影して撮影画像を採用する。撮影は、被写体（キャラクター）が補助画像の位置に入ったとき(置かれたとき)行なわれる。必要なコマでの撮影が終了したかがＳ１５で判断され、必要なコマでの撮影がすべて終了するまで、Ｓ１４に戻って撮影が繰り返される。必要なコマでの撮影がすべて終了すると、Ｓ１５からＳ１６に進む。

また、Ｓ１２で補助画像を採用すると判断すると、Ｓ１３で補助画像がコマ化されてＳ１６に進む。
予め撮影された２画像（始点、終点の画像、または、始点の画像、次の画像）に、コマ化された補助画像がＳ１６で組み込まれて、動画のシーン（連写画像）が作成、記録され、それらを組合せてアニメ画像が制作される。

本発明の画像処理装置（画像処理部）１１４は、アニメ動画撮影の素材となる補助画像を作成すれば足りる。つまり、動画のシーンを作成したり、それらを組合せてアニメ画像を制作してもよいとはいえ、必ずしも必要でない。
動画のシーンを作成したり、アニメ動画を制作するステップを画像処理装置以外で処理すれば、機能が特化されて構成が簡単化されるため、画像処理装置が安価に得られる。

たとえば、画像処理装置１１４で作成した動画撮影の素材である補助画像を組み込んで動画のシーンを作成したり、アニメ動画を制作するステップは、画像処理装置以外の中央制御回路１４で通常の動画の処理と同様になされてもよい。また、画像処理装置１１４で作成した補助画像を通信制御部１１４ｅから外部に出力し、外部で動画のシーンを作成し、それらを組合せてアニメ動画を制作して、それらを画像処理装置１１４または撮像装置１０に戻してもよい。つまり、アニメ動画の制作を外注に出してもよい。

しかし、補助画像処理部１１４ｃが補助画像を作成するだけでなく、動画のシーンを作成し、それらを組合せてアニメ画像を制作する動画作成部を兼ねてもよい。また、画像処理装置１１４が独立した部材としての動画作成部を備えていても。

制作されたアニメ画像は、動画のファイルとして記録してもよいし、撮影画像、補助画像からなる静止画のグループとして記録してもよい。ここで、撮影画像、補助画像からなる静止画のグループは、全体で一連の連写画像となるため、ばらばらにならないように一つのコンテナファイルとして記録してもよい。また、各静止画ファイルが関連づけられる情報を画像ファイルに埋め込んで記録してもよい。
そして、実際の撮影に伴って移動物が背景上を移動するコマ画像となる補助画像を補助画像作成部１１４ｃが作成すると、補助画像を関連づけて記録する記録制御部を備えることが好ましく、補助画像作成部が記録制御部を兼ねてもよいし、画像処理装置１１４が独立した部材としての動画作成部を備えていてもよい。

実施例において、補間ガイドでは始点、終点の２つの位置、予測ガイドでは始点、始点の次の２つの位置においてキャラクターが撮影され、２つの画像から補助画像（補間画像、予測画像）が作成されている。しかし、補助画像を作成するため用意される複数の画像は、補間ガイドでは始点の画像および終点の画像を含む少なくとも２画像以上、予測ガイドでは始点の画像および始点の次以降の画像を含む２画像以上であれば足りる。
たとえば、予測ガイドでは、始点と、始点に続く２つの位置でキャラクターを撮影し、３つの画像からキャラクター移動の近似曲線を求め、近似曲線に沿って予測画像を形成してもよい。

さらに、補間ガイド、予測ガイドのいずれにおいても、図３（Ｃ）（Ｄ）に示すように、２つの補助画像が作成されている。しかし、作成される補助画像の数は２つに限定されず、少なくとも１つの補助画像を作成すれば足りる。

Ｓ１４でキャラクターを撮影しているときに、故意または偶然にキャラクターの位置が補助画像からずれたとき、「警告」を表示する構成とすればよい。また、終点の位置がずれて変われば、終点を新たに設定して表示するとよい。

図９（Ｃ）（Ｄ）において、「なめらかさ」を楽曲から決定するとき、選択された楽曲のフレーズの中から、リズムやビートの時間間隔を判定して「なめらかさ」決定してもよい。たとえば、「じゃじゃじゃじゃーん」といったフレーズにおいて、前半の「じゃじゃじゃ」はビート、リズムは音量に対応しているが、後半の「じゃーん」は同じ音程を保持している部分が長いため、明解な前半の「じゃじゃじゃ」でリズムやビートを判定し、これを分割用の時間間隔としてもよい。

後半の「じゃーん」の音程保持部分は、前半のリズムで分割できるものとして画像の変化を処理してもよい。つまり、後半の「じゃーん」は、前半のリズムで画像変化させ、「じゃーん」の持続時間が終わるまで補間画像を出さないようにしてもよい。もちろん、後半の「じゃーん」を、前半の「じゃじゃじゃ」と同じ滑らかさとしてもよい。

つまり、背景音楽となる音楽のリズムを検出し、時間差設定部がそのリズムに応じてコマ送りにおける時間差および再生の時間差を設定することができ、音楽のリズムとして、音楽のフレーズのリズムが利用できる。
そして、音楽のリズムに応じてコマ送りにおける時間差および再生の時間差を設定すれば、コマ送りにおける時間差および再生の時間差がリズムに対応して変化し、リズム感に即した自然な動画表現が得られる。

また、音楽のリズムとして、音楽のフレーズのリズム、たとえば、そこに含まれるベースやドラムなど特定周波数の比較的大きなパルス音の周期などで、コマ送りにおける時間差および再生の時間差を設定するとよい。音楽のフレーズのリズムに含まれるベースやドラムなど特定周波数の比較的大きなパルス音の周期などは、人の耳にも明解で分かりやすい。そのため、時間差として判定するときにパルス音の間を利用すれば、フレーズに対応した自然な動画表現が得られ、より最適なコマ送りにおける時間差および再生の時間差が得られる。
また、フレーズデータ、またはファイルが、時間差としてのリズム情報を持っていてもよい。

Ｓ１０３における移動物の判定について詳細に述べると、複数の画像(実施例では２画像)は移動物、背景を有して形成され、移動物、背景は判別されて判定（決定）される。そのため、画像処理装置１１４は、補助画像の移動物、背景の画像を判別し、判定する判定部を備えることができる。

粘土などで成形されたキャラクターにおいては、表情などを変えることがあるため、顔検出の技術でその表情の変化は無視して移動物を判定してもよい。また、画像の一致度に加え、距離変化などを参考に、距離が近づいて大きくなったものを移動物と判定するとよい。

画像処理装置１１４が判定部を備えていれば、判定部によって、移動物、背景が自動的に判別、判定されて明確に区別され、移動物を簡単に判定できる。そのため、移動物が背景から明確に区別されて背景上を動くことができ、自然な合成画像が作成できる。
判定部を位置差判定部１１４ａが兼ねて、移動物、背景の判定を自動で行うことにより、ユーザはキャラクターを簡単に判定できる。位置差判定部１１４ａが判定部を兼ねることなく、画像処理装置１１４が独立した部材としての判定部を備えていてもよい。しかし、位置差判定部１１４ａが判定部を兼ねる構成では、部材点数の増加が避けられる。

さらに、図１３（Ａ）（Ｂ）に示すように、移動物の移動距離を大きくとれば、移動物の重なりが排除され、移動物、背景の区別が容易になる。そのため、移動物の大きさや位置の判定が誤りなく行われ、補助画像を正確に作成できる。
ユーザ(撮影者)はなるべく手間を省きたいと考えており、正確な補助画像が作成できれば、ユーザは補助画像をそのまま使うこととなり、再撮影の手間が省略される（Ｓ１３）。また、従来においては、アニメ動画のためのコマ撮りにかなりの数の撮影が必要だったため煩雑さを感じていたユーザも、実施例の構成では最低２回の撮影だけでよいため、煩雑さを感じることなくコマ撮りを行える。

また、共通の背景に移動物が配置された複数の画像によって、移動物の画像部分が背景の画像部分から画像判定で自動的、簡単に区別されて判定されるため、各画像が適切に加工されて新しい画像表現となる利点もある。

移動物、背景の区別、判定を確実にするために、画像判定時に、背景が画面内の比較的周辺部であることを補助的に判定するようにしてもよい。さらに、移動物の輪郭形状や色の配置が、移動時に拡大・縮小することで略一致することが好ましく、略一致しなければ警告がでる構成としてもよい。

撮影画像、補助画像を合成した画像(合成画像)の液晶ディスプレイ(表示部)１８での再生は、必ずしも動画表現で行う必要はなく、合成画像を並べて静止画的、組み写真的に表現しても十分な趣向があって楽しめる。
また、補助画像のみを再生しても、補助画像は実際に撮影されていないものであるため、新しい価値のある画像表現が生み出される。

さらに、補助画像が撮影ガイドとして半透明で液晶ディスプレイ１８に表示する場合には、半透明の補助画像の移動物は、補助画像の移動物の位置で同じ背景上に並べて背景と合成画像して表示される。合成画像は撮影ガイドとして利用されるだけでなく、合成画像を最終画像として利用してもよい。また、この合成画像の取捨選択を液晶ディスプレイ１８（スマートフォン画面）のタッチ（タップ）操作などで行うようにしてもよい。

補助画像は、動画ファイル化したり、静止画のグループとして一つの画像ファイル、コンテナに記録したりできる。静止画のグループとして一つの画像ファイル、コンテナに記録すれば、インターネット上などの異なる環境下での補助画像の加工、鑑賞が容易に行える。

つまり、共通の移動物、背景を有する少なくとも２つの撮影画像から、移動物の位置差を判定する位置差判定部と、画像のコマ送りにおける時間差および前記位置差に対応する画像再生の時間差を設定する時間差設定部と、位置差判定部で判定された位置差と時間差設定部で設定されたコマ送りにおける時間差および再生の時間差とにしたがって、移動物が半透明状に表示されて画面内を配置された少なくとも１つの補助画像を作成する補助画像作成部とを備えた撮影ガイド装置（画像処理装置）が提供できる。

補助画像が半透明に表示された位置に移動物を配置して再撮影するとき、撮影された画像を半透明とは異なる識別可能な表示、たとえば、透明や黒塗りの表示に変えることができる。このように表示を変えておけば、ユーザは好きな表示で撮影できる。また、必要に応じて、撮影しなくてよい表示は抜いて撮影してもよく、撮影の自由度が高まる。さらに、再撮影時には露出を一定に揃えてもよいし、少しずつ変えて撮影してもよい。

半透明状の移動物の表示として、移動物の輪郭のみを表示してもよい。ここで、移動物を配置する位置を示す矢印を輪郭内に表示するなどして、半透明状の移動物の位置を明示するとよい。

ガイド表示は、画像が順次更新して表示されるライブビュー画像(スルー動画)に撮影結果を重ねて表示すれば明解になる。そして、半透明状の移動物の画像をライブビュー画像上に表示し、その表示の近傍に移動物を配置して撮影したとき、半透明状の画像を半透明以外の別の表示、たとえば、透明や黒塗りの表示で画像表現してもよい。

少なくとも２つの補助画像を作成したとき、露出値やピント位置が変化すると移動物、背景の正しい区別、判定ができなくなる可能性がある。この場合、たとえば、いずれかの画像に露出値を合わせれば、移動物、背景の区別、判定が正しく行える。
また、ピントに関しては、通常、主体である移動物にピントが合わせられる。しかし、移動物が前後に動く場合には背景のぼけぐあいが変わり、移動物がユーザの近くに来ると、背景のぼけが目立つ。そのため、移動物でなく背景にピントを合わせてもよい。しかし、背景のぼけが許容範囲であれば、移動物にピントを合わせることが好ましい。
背景にピントを合わせたとき、移動物のぼけが許容範囲を超える場合には、（判定用の撮影とは別の）移動物にピントを合わせた撮影を促す構成、たとえば警告を出す構成にするとよい。また、絞りを絞って移動物のぼけを目立たなくしてもよい。

また、露出が変化する補助画像を作成してもよい。たとえば、判定用の２回の撮影のほかに、露出を変化させた撮影を別に行い、露出の変化を補助画像の作成時に反映させれば、露出を変化させた補助画像が得られる。そして、露出が変化する補助画像を使って撮影ガイドを行えば、ぼけの問題を考慮する必要をなくすこともできる。

また、本発明は、共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する機能と、前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する機能と、前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成する機能と、をコンピュータに実現させるための画像処理プログラムに関するものということができる。
補助画像における移動物を半透明状に表示して画面内に配置してもよい。

画像処理プログラムは、ＲＯＭカードなどのメモリカード、ＣＤ−ＲＯＭ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクドディスクなどに記憶される。そして、画像処理プログラムによってコンピュータにそれぞれの機能を実現させて、補助画像が作成される。そのため、コマ送りにおける画像効果を事前に手軽に確認できる。
画像処理プログラムは、撮像装置の中央制御回路１４に記憶してもよいし、ＲＯＭカードなどの外部のメモリから読み込んで利用してもよい。

上記のように、本発明では、補間画像が作成されて動画撮影の素材となるため、コマ撮りにおける画像を事前に手軽に知ることができる。そのため、なめらかな動きのアニメ画像を正確かつ容易に制作できる。

上述した実施例は、本発明を説明するためのものであり、本発明を何等限定するものでなく、本発明の技術範囲内で変形、改造等の施されたものも全て本発明に包含されることはいうまでもない。
たとえば、基礎となる画像は、実際に撮影した画像である必要はなく、手書きやパソコン操作で移動物(キャラクター)、背景を描いた画像からも、本発明の補助画像を作成できる。また、手書きやパソコン操作で移動物、背景を描いた画像をラフスケッチにして撮影の補助画像にしてもよい。

本発明の画像処理装置、画像処理方法は、撮影された画像を画像処理するデジタルカメラ、ビデオカメラ、携帯情報端末機器などの撮像装置に広範囲に応用できる。
また、移動の予測などにも使えるので、様々な産業分野でのシミュレーション機器に応用が可能である。速い動きのものが、どのような動きで変化したかを分析するような検査用機器の用途にも応用できる。さらに、補助画像を表示して、それを見ながら撮影するという考え方にしたがえば、動画表示にかかわらず、レポートやドキュメント作成用の撮影案内などにも応用できる。

１０ 撮像装置
１０ａ レンズ型デジタルカメラ
１０ｂ スマートフォン
１２ 撮像部
１４ 中央制御回路
１６ 操作部
１８ 表示部
２０ 記録部
２２ 通信部
１１４ 画像処理部(画像処理装置)
１１４ａ 位置差判定部
１１４ｂ 時間差設定部
１１４ｃ 補助画像作成部
１１４ｄ 操作制御部
１１４ｅ 通信制御部
１１４ｆ 画像取り込み部

Claims (11)

1. 共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する位置差判定部と、
   前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する時間差設定部と、
   前記位置差判定部で判定された前記位置差と前記時間差設定部で設定された前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が半透明状に表示されて画面内に配置された少なくとも１つの補助画像を作成する補助画像作成部と、
   を備え、
   前記補助画像における前記半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、前記半透明状の移動物の画像が半透明とは異なる判別可能な表示に変えられる画像処理装置。
2. 背景音楽となる音楽のリズムを検出し、前記時間差設定部がそのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定する請求項１記載の画像処理装置。
3. 共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する位置差判定部と、
   前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する時間差設定部と、
   前記位置差判定部で判定された前記位置差と前記時間差設定部で設定された前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成する補助画像作成部と、
   を備え、
   背景音楽となる音楽のリズムを検出し、前記時間差設定部がそのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定する画像処理装置。
4. 前記音楽のリズムが、音楽のフレーズのリズムである請求項３記載の画像処理装置。
5. 前記複数の画像が始点の画像および終点の画像を含み、始点、終点の画像の間を補間して補助画像が作成された請求項１〜４のいずれか記載の画像処理装置。
6. 前記複数の画像が始点の画像および始点の次以降の画像を含み、始点の画像、始点の次以降の画像から予測して補助画像が作成された請求項１〜５のいずれか記載の画像処理装置。
7. 前記複数の画像に、コマ送りした補助画像を組み合わせて動画を作成する動画作成部をさらに有する請求項１〜６のいずれか記載の画像処理装置。
8. 共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定するステップと、
   前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定するステップと、
   前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が半透明状に表示されて画面内に配置された少なくとも１つの補助画像を作成するステップと、
   前記補助画像における前記半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、前記半透明状の移動物の画像が半透明とは異なる判別可能な表示に変えるステップと、
   を備える画像処理方法。
9. 共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する機能と、
   前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する機能と、
   前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が半透明状に表示されて画面内に配置された少なくとも１つの補助画像を作成する機能と、
   前記補助画像における前記半透明状の移動物の画像をライブビュー画像上に表示し、半透明の表示部に移動物が配置されて撮影されるときに、前記半透明状の移動物の画像が半透明とは異なる判別可能な表示に変える機能と、
   をコンピュータに実現させるための画像処理プログラム。
10. 共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定するステップと、
    前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定するステップと、
    前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成するステップと、
    背景音楽となる音楽のリズムを検出し、そのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定するステップと、
    を備える画像処理方法。
11. 共通の移動物、背景を有する少なくとも２つの画像から、移動物の位置差を判定する機能と、
    前記画像のコマ送りにおける時間差および前記位置差に対応する前記画像の再生の時間差を設定する機能と、
    前記判定された位置差と前記コマ送りにおける時間差および再生の時間差とにしたがって、前記移動物が前記背景上を移動するコマ画像となる少なくとも１つの補助画像を作成する機能と、
    背景音楽となる音楽のリズムを検出し、そのリズムに応じて前記コマ送りにおける時間差および再生の時間差を設定する機能と、
    をコンピュータに実現させるための画像処理プログラム。
    

Images