JP5941867B2 - 画像再生システム - Google Patents

Description

本発明は撮影した動画や静止画である画像に対してこれら画像に音楽を付与しかつ効果的な画像表示を行うシステムに係り、特にこれら画像表示分野において、経験、感性、知識を有する専門家が実行したものと同等な効果を有する映像表現手法を自動的に実行できるシステムに関する。

画像表示分野において、経験、感性、知識を有する前記専門家（以下「アーティスト」と称する）は今までの経験、感性、知識により自身の独自のパターンを用いて画像（動画及び静止画の連続的な差替えを含む）とこの画像に対応した音楽を編集する。
つまり、特殊な才能・経験を持つアーティストではない一般人は自己の撮影した画像を効果的に演出することは困難であり、素人としての演出に甘んじるか、時間と経費をかけてアーティストに演出を依頼するしかない。
この点に鑑み下記特許文献記載のように前記演出の一部を自動的に実行するシステムが提案されている。

特開２０１０−２４５７３５号公報 特開２００８−２８８８０４号公報

上記特許文献１の発明は画像表示の効果の一つであるＢＧＭ（バックグラウンドミュージック）において、映像の再生時間とＢＧＭの再生時間を自動的に一致させようとするシステムである。また特許文献２の発明は再生対象の画像の特徴をその特徴量で表されるｎ次元の特徴量空間を仮定して、当該画像再生の演出を行うシステムである。

特許文献１の発明は画像再生時の演出の一つであって、画像再生時のＢＧＭの自動的割付についてのみの技術であって、このシステムのみでは画像再生の効果的な演出はできない。引用文献２の発明は画像再生時に前記アーティストの演出に近い演出が可能であると考えられる。しかしこのシステムは画像に対して極めて高度な解析を前提とするものであって、複雑なソフトウエアを必要とし、かつシステムを実行する装置に対して高度なデータ処理機能及び大容量のメモリー機能を要求することになり、例えばモバイル端末等、処理機能や記憶能力が限定さている装置ではシステムの実行はできない。

本発明は上記した課題を解決するために構成したものであり、再生において演出を要望する動画を解析する手段と、この解析手段から出力された解析結果に基づいて一連の動画に対してＢＧＭの割付、各画像単位（ショット）のトランジシションの決定等の画像再生時の演出の全体構成（スキーム）を作成する手段と、構成されたスキームに基づいて画像の再生を実行する手段から構成される。

例えば画像を解析する手段は、対象の動画及び静止画の連続からなる画像の再生時の変化を明暗の変化として捉えて画像全体のショット数を解析する。一方、スキーム作成手段は前記解析したショットに対応してアーティストが画像再生時に演出として行うＢＧＭの割り当て、トランジション等の割り当てを予めデータ化したエキスパートシステムとして構成され、前記解析したショットに自動割り当てすることにより動画全体の再生時の演出手順を構成し、これをスキームデータとし、このスキームデータに基づいて画像再生手段は動画に対してＢＧＭ、トランジションを付与した演出に対応して動画再生を行うよう構成される。

図１及び図２は、本発明の基本構成を示す図であり、この図を用いて本発明に係るシステムを説明する。
動画の演出を所望する者（以下「ユーザー」とする）１が、例えば自己が撮影した画像から演出を望む画像を選択し、演出対象画像２とする。なお演出対象画像２は、画像が時系列的に連続変化する所謂「動画」のみではなく、所定時間内に複数の静止画が差し替わるものも含めたものとする。以下「画像」の語は特別な断りが無い場合は、前述のとおり所謂「動画」及び所定時間内に複数の静止画が差し替わるものも含めたものを示すものとする。

本発明の最も基本的なシステムは、ユーザー１が所定の動画を演出対象画像２として選択し、この演出対象画像２を本システムを用いて再生時の演出を行う。以下本システムにより、アーティストが作成する手順に習ったエキスパートシステム（図２の符号９）により自動的に演出のスキームが構成されかつ、演出された映像の再生が行われる。従ってユーザー１は画像を選択し、かつ本システムによって演出が自動設定された当該画像の再生を行うだけである。

本システムにおいて、演出対象画像２は画像解析手段（アナライザ）により画像を解析する。この画像解析３は基本的には動画全体を通してショットの変化、ショットの数を認識するものであり、画像解析としては極めてシンプルなものであって、画像全体を通しての明暗の変化の数を個々の画像の数として認識するもので十分であり、簡単なアルゴリズムで実行可能である。

演出対象画像２の解析により、スキーム設定手段において、この演出対象画像２全体に対して後述するトランジション、ＢＧＭ等の具体的演出の割り当て等を前記エキスパートシステムにより割り当て、画像再生時のスキームデータを作成する（符号４）。画像再生時には再生手段によって画像再生の進行に合わせてスキームが時系列で実行され（符号５）ることにより、演出効果と共に画像が再生される（符号６）。

上記フローが本発明実施における基本的な流れであるが、更にユーザーの意思、希望等を本発明システムに反映することもできる。

ユーザー１は、演出対象画像２の再生時間を例えば２分以内等と設定（符号７）し、かつＢＧＭの分野を、例えば明るい曲、落ちついた曲、クラシック風な曲、アップテンポな曲等のジャンルから選択して設定する（符号８）。
上記符号７、８で示す各ステップの演出を設定する外、ショットが代わる際の効果、例えば前の画像が薄れて次の画像が現れるフェードアウトや前の画像に重なって次の画像が表示されるオーバーラップ等の（以下「トランジション」とする）を設定することができる（符号１３）。前記スキームの自動設定では割り振られた各画像の間に予め定められたトランジションが設定されてスキームが構成される。この場合は、ユーザー１自身が自分の好みに合った効果を得ることが期待できる。逆にユーザー１の自作した効果が満足のゆかないものであった場合は、元に戻り最初から全自動設定にすることはもとより可能である。また自作の効果のものを保存しておき、全自動設定したものと比較することも当然可能である。
以上のように全自動により或いは一部マニュアル設定によりスキームが設定され、前記画像２の再生の際には設定されたスキームが実行（符号５）されることにより効果的な画像再生が行われる（符号６）

本発明によれば、ユーザーが、アーティストのような特別の才能や技能が無くともアーティストの才能・技能に近似した洗練された演出により自己の動画を再生することができる。またユーザーがマニュアル設定したものと全自動設定したものとを比較検討することにより、ユーザーの技能を向上させることも期待できる。

また画像の明暗の変化等により、画像を比較的簡易な手段により解析し、かつスキームの構成はこの解析結果に基づいて、スキーム作成手段によりほぼ定形化した処理を行うので、対象画像の再生時間にもよるが、処理時間を例えば数秒の短時間に抑えることが可能となり、ユーザーが撮影した画像（動画）を洗練された演出でその場で再生することができる。

本発明システムの全体構成を示すブロック図である。 本発明システムの動作の流れの概略を示すフロー図である。 エキスパートシステムの構成を示すブロック図である。 ディレクタームシステムの動作の流れを示すフロー図である。 コンポジタームシステムの動作の流れを示すフロー図である。

以下、本発明の実施の形態を図に基づいて説明する。

図３は本発明の第１の実施例を示し、本発明システムの各部の機能を示すブロック図である。再生時の演出の対象となる画像２はスキーム構成用のための画像分析の素材としてアナライザー（図２の符号３）において画像の数等が分析され、その分析結果（符号１０）が以後のエキスパートシステム９（図２の符号９）における演出効果の付与の前提となる。

先ず前記分析結果１０に基づきエキスパートシステム９は画像２の再生時の演出の手順（以下「スキーム」とする）を構成する。このスキームを構成する手段は以下「ディレクターシステム（符号１１）と称する。次に画像２の再生時において、前記ディレクターシステム１１により設定されたスキームを実行し当該再生の演出を実施する。以下この実施手段を「コンポジターシステム（符号１２）」とする。このディレクターシステム１１及びコンポジターシステム１２の何れもが全体としてのエキスパートシステム９を構成する個々のシステムである。

先ず図３のディレクターシステム１１の構成から説明する。
主として図４において、基本データ２０に基づいてディレクターシステム１１は所定の画像２に演出効果を付与することになる。ここで、基本データ２０とは、アナライザー３（図２参照）から直接出力された分析結果（図３の符号１０）、或いはユーザー１がマニュアルで設定した演出内容（図１の符号７、８、１３）を設定したデータを示す。

図３において、ディレクターシステム１１は上記基本データ２０に対応して次の手順で各ステップを実行する。
先ずアナライザにより解析された画像２全体のショット数及び画像全体の再生時間に対応して各ショットの割り当て時間を決定する。例えば画像全体の再生時間が３分である場合に解析したショット数が２５であるとすると、各ショットの再生時間は平均７秒強であり、各ショットの変り目において全てに何らかの効果を付与するのは却って画像再生自体を猥雑化するので、複数のショットを連続させて一つのショットの束として後述するＢＧＭ等の効果を挿入する単位時間を決定（符号１４）し、ショットの各束の間に効果を挿入するように設定する。前記の場合には、例えば２５のショットを時系列的に５個のショットの束として、各ショットの束の再生時間は約３６秒として、各ショットの変化時にそれぞれＢＧＭ、エフェクト等の演出効果を付与する等である。

次に割り当て時間が決定された画像に対し、１種類或いは複数種類のＢＧＭが付与される（符号１５）。例えば再生時間全体に対してショット数が多い画像であればＢＧＭはアップテンポのものに設定するとか、逆にショット数が少ない画像であれば、メロディアスなものに設定する等である。ＢＧＭの付与は自動設定システムでは、再生時間に対してショット数の多寡で自動設定することが可能である。また、一つの画像の再生において、複数のＢＧＭをマニュアル設定することも可能である。

次に、エフェクトの設定（符号１６）を実行する。ここで、「エフェクト」の語は画像を表示（再生）する際の表示効果を意味する語として使用する。例えば画像再生時にカラー画像をモノクロ画像とする、ぼかす、モザイクをかける、長期間使用した際のフィルムの傷のようなノイズを入れる、光を加える等である。エフェクトはユーザー１が各ショット（ショットの束）に対して予め設定した場合の外、本システムにより自動設定することも可能である。

続いてトランジションの設定（符号１７）を実行する。トランジションはショットの束や各ショットが切り替わる場合、更には予め複数の素材画像を一連の画像として連続的に再生する場合に各素材画像が切り替わる際の演出効果を意味する。例えば前の画像が徐々に消えて次の画像が徐々に現れるフェードイン・フェードアウト、前の画像が徐々にズームアウトして、次の画像がズームインするズームイン・ズームアウト、上下方向に前の画像と次の画像が切り替わる（シャッター）、水平方向に前の画像と次の画像が切り替わる（カーテン）等が一般的に実行される。

上記した各効果を付与し、効果を付与した画像の再生時間を調整するため、各効果及び画像の割り当て時間を調整し（符号１８）、効果を付与した画像再生のスキームを決定・生成して（符号１９）、後述のコンポジターシステム１２に於いて実行可能なスキームファイル２１を出力する。

図５において、前記選定されたスキームファイル２１に基づいて再生画像に対して各種の効果が付与される。具体的にはスキームファイル２１に設定されたＢＧＭの多チャンネルの音源をもとに音声トラックの音色、バランスを作り出す音声ミキシング２２を実行する。なおこの音声ミキシングは装置としてのミキシングコンソールにより、通常は実行されるが、本発明の場合にはアーティストが実行するミキンシングをデータ化し、前記エキスパートシステム９のデータべース９Ａ（図３参照）に格納したミキシングソフトを用いてミキシングが実行される。

次に選定された画像がデコードされ（符号２３）、また必要であればバンドパスフィルター２４を介して不要な周波数帯域を除去して、音声・画像の鮮明化を図ることもできる。続いてディレクターシステム１１において設定されたエフェクトを適用する（符号２５）、更にこれも前記ディレクターシステム１１において設定されたトランジションを適用する（符号２６）。

上述のＢＧＭ、エフェクト、トランジションが適用された画像がエンコードされ（符号２７）、最終的に画像のトラックに音声トラックを重畳させる等の従来手法により画像・音声の多重化（符号２８）され、予め設定されたユーザーの所望の効果に基づいて画像・音声が再生される（符号２９）。

本発明の内容を主として個人的なユーザーが撮影した画像再生時の演出について説明したが、画像再生の演出処理速度が極めて速いので例えば、スポーツの実況中継等においても、撮影した画像を極めて短時間で演出処理して、撮影した画像をほぼリアルタイムで演出効果を高めた画像として再生・放映することも可能である。

１ ユーザー
２ 選択画像（処理対象画像）
３ 画像分析手段（アナライザー）
４ スキーム設定
９ エキスパートシステム
９Ａ （エキスパートシステム）のデータベース
１０ （画像の）分析結果
１１ ディレクターシステム
１２ コンポジターシステム
２０ 基本データ
２１ スキームファイル
２９ （演出された画像の）表示

Claims (1)

1. 撮影した画像または静止画の連続からなる画像に対して画像再生時の効果を付与するシステムであり、かつ全自動により或いは一部マニュアルによりスキームファイルを構成しこのスキームファイルを実行することにより前記効果を画像に対して自動的に付与するシステムであって、
   全自動システムは、ユーザーにより選択された画像をショット毎、或いは複数のショットの束に区分けする分析手段と、
   この分析手段の分析結果に基づいて画像再生時に所定の効果を発揮するために、当該効果を設定するディレクターシステムとを有し、
   ディレクターシステムでは、アーティストが画像再生時に演出として行う各種効果の設定が予めデータ化されたエキスパートシステムを介して画像と同時再生するＢＧＭの設定、各ショット或いはショットの束に対するトランジションの設定を行うようスキームファイルが構成され、
   マニュアルシステムではユーザーが画像の表示時間、ＢＧＭの種類、トランジションの設定のうち少なくとも一つを選択し、前記ディレクターシステムはマニュアル選択されたこれら表示時間、ＢＧＭの種類、トランジションによりスキームファイルを構成し、
   前記全自動システム又はマニュアルシステムで生成されたスキームファイルをコンポジターシステムで実行することにより、設定された効果を付与しながら画像の再生を行うことを特徴とする画像再生システム。
   

Images