JP4754364B2

JP4754364B2 - 画像重ね合わせ装置

Info

Publication number: JP4754364B2
Application number: JP2006012938A
Authority: JP
Inventors: 徹石井; 田中　　敦; 泰範椿
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-01-20
Filing date: 2006-01-20
Publication date: 2011-08-24
Anticipated expiration: 2026-01-20
Also published as: US20070171286A1; JP2007193691A; US7852410B2

Description

この発明は背景画像に重ね合わせ画像（説明用の文字列や図形等の画像・映像情報）を重ね合わせる画像重ね合わせ装置に関するものである。

従来の画像重ね合わせ装置として、例えば特許文献１に示すテロップ装置は、被写体を撮影する被写体撮影用カメラと、被写体の位置を検出する被写体位置検出手段と、該被写体位置検出手段により検出された被写体の位置の動きに合わせて、撮影映像内にテロップを表示するテロップ表示手段と、テロップ表示手段の出力情報と前記被写体の映像とを合成する合成手段とを備えている。

特開２００３−７８８１８号公報（段落０００６）

従来の画像重ね合わせ装置は以上のように構成されているので、表示されている重ね合わせ画像の流れは画面上で縦、横に平行移動する表現しかできず、背景画像の奥行き方向の重ね合わせ画像の流れを表示できないという課題があった。

この発明は上記のような課題を解決するためになされたもので、背景画像の奥行き方向の重ね合わせ画像の流れを表示することができる画像重ね合わせ装置を得ることを目的とする。

この発明に係る画像重ね合わせ装置は、説明用の文字列や図形等の重ね合わせ画像を入力する重ね合わせ画像入力手段と、重ね合わせ画像の背景となる背景画像を入力する背景画像入力手段と、重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を入力するパラメータ入力手段と、上記背景画像入力手段により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの色分布を確認し、所定の色のブロック数が１フレームの中で予め設定された所定数以上の場合に、所定の色のブロックの中心のブロック又は中央上部のブロックを、背景画像の奥行き方向の最深部の候補とする最深部探索手段と、該最深部探索手段で候補とされた背景画像の最深部と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータにより重み付けされた割合で選択して背景画像の最深部を決定する最深部決定手段と、上記重ね合わせ画像入力手段により入力された重ね合わせ画像、上記背景画像入力手段により入力された背景画像、上記パラメータ入力手段により入力された重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び上記最深部決定手段により決定された背景画像の最深部の情報を取得し、その最深部を重ね合わせ画像の表示開始位置と決定し、重ね合わせ画像が背景画像の奥の方から前の方に向かって順次移動して流れてくるように、表示開始位置から表示終了位置まで重ね合わせ画像を表示するよう決定する重ね合わせ決定手段と、上記重ね合わせ画像入力手段により入力された重ね合わせ画像及び上記背景画像入力手段により入力された背景画像を取得し、上記重ね合わせ決定手段により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる重ね合わせ処理手段とを備えたものである。
また、この発明に係る画像重ね合わせ装置は、説明用の文字列や図形等の重ね合わせ画像を入力する重ね合わせ画像入力手段と、重ね合わせ画像の背景となる背景画像を入力する背景画像入力手段と、重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を入力するパラメータ入力手段と、上記背景画像入力手段により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの明度を確認し、画面上下で明部と暗部に分かれる場合に、中央上部のブロックを、背景画像の最深部の候補とする最深部探索手段と、該最深部探索手段で候補とされた背景画像の最深部と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータにより重み付けされた割合で選択して背景画像の最深部を決定する最深部決定手段と、上記重ね合わせ画像入力手段により入力された重ね合わせ画像、上記背景画像入力手段により入力された背景画像、上記パラメータ入力手段により入力された重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び上記最深部決定手段により決定された背景画像の最深部の情報を取得し、重ね合わせ画像が、背景画像の奥行き方向から前面に向かって順次移動して流れてくるように、画像の表示開始位置である決定された最深部から表示終了位置まで重ね合わせ画像を表示するよう決定する重ね合わせ決定手段と、上記重ね合わせ画像入力手段により入力された重ね合わせ画像及び上記背景画像入力手段により入力された背景画像を取得し、上記重ね合わせ決定手段により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる重ね合わせ処理手段とを備えたものである。
また、この発明に係る画像重ね合わせ装置は、説明用の文字列や図形等の重ね合わせ画像を入力する重ね合わせ画像入力手段と、重ね合わせ画像の背景となる背景画像を入力する背景画像入力手段と、重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を入力するパラメータ入力手段と、上記背景画像入力手段により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの明度を確認し、全体が暗い中で明度の高いブロックが存在する場合に、明度の高いブロックを、背景画像の最深部の候補とする最深部探索手段と、該最深部探索手段で候補とされた背景画像の最深部と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータにより重み付けされた割合で選択して背景画像の最深部を決定する最深部決定手段と、上記重ね合わせ画像入力手段により入力された重ね合わせ画像、上記背景画像入力手段により入力された背景画像、上記パラメータ入力手段により入力された重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び上記最深部決定手段により決定された背景画像の最深部の情報を取得し、重ね合わせ画像が、背景画像の奥行き方向から前面に向かって順次移動して流れてくるように、画像の表示開始位置である決定された最深部から表示終了位置まで重ね合わせ画像を表示するよう決定する重ね合わせ決定手段と、上記重ね合わせ画像入力手段により入力された重ね合わせ画像及び上記背景画像入力手段により入力された背景画像を取得し、上記重ね合わせ決定手段により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる重ね合わせ処理手段とを備えたものである。

この発明により、背景画像の奥行き方向の重ね合わせ画像の流れを表現することができるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１による画像重ね合わせ装置の構成を示すブロック図である。この画像重ね合わせ装置は、背景画像入力手段１１、重ね合わせ画像入力手段１２、パラメータ入力手段（表示形態入力手段）１３、最深部探索手段（開始位置設定手段）１４、最深部決定手段（開始位置設定手段）１５、重ね合わせ決定手段１６、重ね合わせ処理手段１７及び画像出力手段１８を備えており、背景画像に重ね合わせ画像を重ね合わせて表示させる際に、背景画像の最深部から重ね合わせ画像の表示を開始し、表示している重ね合わせ画像が背景画像の奥行き方向、すなわち、背景画像の奥の方から背景画像の前の方に向かって順次移動して流れてくるようにするものである。

図１において、背景画像入力手段１１は重ね合わせ画像の背景となる動画、静止画等の背景画像を入力し、重ね合わせ画像入力手段１２は説明用の文字列や図形等の画像・映像情報である重ね合わせ画像を入力する。

パラメータ入力手段１３は、背景画像入力手段１１により入力された背景画像の各フレーム上に表示する重ね合わせ画像について、表示位置を座標値で指定する位置情報、サイズを指定するサイズ情報、表示の傾きを指定する傾き情報、表示の色を指定する色情報、表示のボケ具合を指定するピント情報、表示の透明度を指定する透明度情報等の重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報をユーザからの指定により入力する。また、パラメータ入力手段１３は、重ね合わせ画像を視聴する視聴者の表示画面に対する位置を検知するセンサ（図示せず）からの視聴者位置情報を入力する。

最深部探索手段１４は、背景画像入力手段１１により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの色分布や明度に基づき背景画像の奥行き方向の最深部の候補を探索する。最深部決定手段１５は、最深部探索手段１４により探索された背景画像の最深部の候補と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータ、例えば季節により重み付けされた割合で選択して背景画像の最深部を決定する。

重ね合わせ決定手段１６は、背景画像入力手段１１により入力された背景画像、重ね合わせ画像入力手段１２により入力された重ね合わせ画像、パラメータ入力手段１３により入力された位置情報、サイズ情報、傾き情報、色情報、ピント情報、透明度情報等の重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び最深部決定手段１５により決定された背景画像の最深部の情報を取得し、背景画像のどの位置に、どのサイズで、どの傾きで、どの色で、どのボケ具合で、どの透明度で重ね合わせ画像を重ね合わせるかについての一連の表示回数毎の重ね合わせ方法を決定する。

重ね合わせ処理手段１７は、背景画像入力手段１１により入力された背景画像及び重ね合わせ画像入力手段１２により入力された重ね合わせ画像を取得し、重ね合わせ決定手段１６により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる。画像出力手段１８は、重ね合わせ処理手段１７により背景画像に重ね合わせ画像を重ね合わせた画像をフレーム毎に出力する。

各手段の処理について詳細に説明する。
図２は最深部探索手段１４により背景画像のフレームを９個のブロックに分割した例を示す図である。
図３は最深部探索手段１４による処理の流れを示すフローチャートである。
図３のステップＳＴ１１において、最深部探索手段１４は背景画像の１フレームを取得し、ステップＳＴ１２において、最深部探索手段１４は、背景画像のフォーマットを取得し、フォーマットに含まれる横解像度及び縦解像度からフレームを複数のブロック、例えば図２に示すように９個のブロックに分割する。

ステップＳＴ１３において、最深部探索手段１４は分割した各ブロックのヒストグラム及び色分布を取得する。ここで、ヒストグラムは、横軸に明るさ、縦軸に明るさ毎の画素数をプロットしたもので、各ブロックの明度の傾向を示したものである。ステップＳＴ１４において、最深部探索手段１４は、上記ステップＳＴ１３で取得した各ブロックの色分布を確認し、青色のブロック数が１フレームの中で予め設定された所定数以上か否かを判定する。例えば図２の場合に、青色のブロック数が所定数５以上か否かを判定する。

上記ステップＳＴ１４で、青色のブロック数が予め設定された所定数以上の場合には、ステップＳＴ１５において、最深部探索手段１４は、背景画像に空の画像が存在すると判定し、青色のブロックの中心のブロック又は中央上部のブロックを背景画像の最深部の候補として出力して処理を終了する。

上記ステップＳＴ１４で、青色のブロック数が予め設定された所定数に満たない場合には、ステップＳＴ１６において、最深部探索手段１４は、上記ステップＳＴ１３で取得した各ブロックのヒストグラムにより明度を確認し、画面上下で明部と暗部に分かれるか否かを判定する。上記ステップＳＴ１６で、画面上下で明部と暗部に分かれる場合には、ステップＳＴ１７において、最深部探索手段１４は中央上部のブロックを背景画像の最深部の候補として出力して処理を終了する。

上記ステップＳＴ１７で、画面上下で明部と暗部に分かれない場合には、ステップＳＴ１８において、最深部探索手段１４は、上記ステップＳＴ１３で取得した各ブロックのヒストグラムにより明度を確認し、全体が暗い中で明度の高いブロックが存在するか否かを判定し、全体が暗い中で明度の高いブロックが存在する場合には、ステップＳＴ１９において、最深部探索手段１４は明度の高いブロックを背景画像の最深部の候補として出力して処理を終了する。上記ステップＳＴ１８で、全体が暗い中で明度の高いブロックが存在しない場合には、取得した背景画像から最深部の候補を特定できないものとして処理を終了する。

図４は最深部決定手段１５が背景画像のコンテンツ毎に所定のパラメータとしての季節により重み付けされた割合で選択して最深部を決定する例を説明する図である。この図４では、背景画像の最深部を決定する際に、季節毎に、最深部探索手段１４からの最深部の候補を選択するか、最深部決定手段１５に予め設定されている最深部の候補を選択するかについて、背景画像のコンテンツが変化した場合、どれ位の割合で選択するかを示している。

例えば、夏の季節には、背景画像として空を撮影した風景写真のコンテンツが使用される場合が多くなり、最深部探索手段１４により探索された最深部が実際の最深部である確率が高くなるため、背景画像のコンテンツが変化した場合、最深部探索手段１４により探索された最深部の候補を、例えば９０％の割合で選択して最終的な最深部として決定し、最深部決定手段１５に予め設定されている最深部の候補を、残りの１０％の割合で選択して最終的な最深部として決定する。

一方、冬の季節には、背景画像として空を撮影した風景写真のコンテンツが使用される場合が少なくなり、最深部探索手段１４により探索された最深部の候補が実際の最深部である確率が低くなるため、背景画像のコンテンツが変化した場合、最深部探索手段１４により探索された最深部の候補を、例えば３０％の割合で選択して最終的な最深部として決定し、最深部決定手段１５に予め設定されている最深部の候補を、残りの７０％の割合で選択して最終的な最深部として決定する。

また、春や秋の季節には、背景画像として空を撮影した風景写真のコンテンツが使用される場合が夏と冬の中間になると予想され、最深部探索手段１４により探索された最深部の候補を最終的な最深部として選択する割合と、最深部決定手段１５に予め設定されている最深部の候補を最終的な最深部として選択する割合を、例えばそれぞれ５０％としている。

また、最深部決定手段１５に予め設定されている最深部の候補として、例えばフレームを図２に示すように９分割した場合には、フレーム中の中央のブロック、中央上部のブロック、中央下部のブロック、左上部のブロック、右上部のブロック等が最終的な最深部の候補として設定されており、それぞれの季節で、最深部決定手段１５に予め設定されている最深部の候補を最終的な最深部として選択する際に、背景画像のコンテンツが変化した場合に、どれ位の割合で各ブロックを採用するかを示している。図４の例では、中央のブロックを５０％、中央上部のブロックを２０％、中央下部のブロックを１５％、左上部のブロックを１０％、右上部のブロックを５％と設定している。

このように、最深部決定手段１５が季節により重み付けされた割合で最深部を選択することにより、コンテンツによって異なる背景画像の最深部を的確に決定することができる。なお、季節は図４に示す例では「月」単位で決められており、最深部決定手段１５は内部に保持しているタイマー（図示せず）により季節を判断する。

図４の例では、最深部決定手段１５は季節により重み付けされた割合で最深部を選択して決定しているが、背景画像のコンテンツの流行の種類毎に、最深部探索手段１４からの最深部の候補を選択するか、最深部決定手段１５に予め設定されている最深部の候補を選択するかを決定するようにしても良い。この場合、最深部決定手段１５がどの流行の種類を用いるかについては、ユーザからの指示をパラメータ入力手段１３を介して入力する。

重ね合わせ決定手段１６は、パラメータ入力手段１３から位置情報、サイズ情報、傾き情報、色情報、ピント情報、透明度情報等の重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を取得する。そして、重ね合わせ決定手段１６は、１フレーム目の背景画像を背景画像入力手段１１から取得し、１フレーム目に表示する重ね合わせ画像を重ね合わせ画像入力手段１２から取得し、最深部決定手段１５により決定された１フレーム目の背景画像の最深部の情報を取得する。

重ね合わせ決定手段１６は、最深部決定手段１５から取得した１フレーム目の背景画像の最深部を１フレーム目に表示する重ね合わせ画像の表示開始位置として決定し、１フレーム目の背景画像の最深部の色分布と１フレーム目に表示する重ね合わせ画像のサイズを確認し、パラメータ入力手段１３からの１回目に表示するサイズ情報、傾き情報、色情報、ピント情報、透明度情報と、確認した最深部の色分布と重ね合わせ画像のサイズとを考慮して、１フレーム目に表示する重ね合わせ画像のサイズ、表示の傾き、色、ボケ具合、透明度を決定する。

このとき、重ね合わせ決定手段１６は、背景画像の最深部の色分布とパラメータ入力手段１３からの色情報が同色系統である場合には、重ね合わせ画像を背景画像に重ね合わせた際に見やすいように、１フレーム目に表示する重ね合わせ画像の色を、パラメータ入力手段１３から指定された色と決定せずに、背景画像の最深部の色分布とは同色系統にならない色、例えば補色関係にある色に決定する。また、重ね合わせ決定手段１６は、１フレーム目に表示する重ね合わせ画像のサイズ、表示の傾きを決定する際に、パラメータ入力手段１３から指定されたサイズや表示の傾きをそのまま１フレーム目に表示する重ね合わせ画像のサイズ、表示の傾きとして決定するのではなく、表示画面の表示領域を考慮して１フレーム目に表示する重ね合わせ画像のサイズ、表示の傾きを決定する。
重ね合わせ決定手段１６は、以上のようにして決定した１フレーム目の重ね合わせ方法を、重ね合わせ処理手段１７に指示する。

重ね合わせ処理手段１７は、背景画像入力手段１１から１フレーム目の背景画像を取得し、重ね合わせ画像入力手段１２から１フレーム目の重ね合わせ画像を取得し、重ね合わせ決定手段１６により指示された１フレーム目の重ね合わせ方法に基づき、１フレーム目の重ね合わせ画像を指定されたサイズ、表示の傾き、色、ボケ具合、透明度に変換し、変換した重ね合わせ画像を１フレーム目の背景画像の最深部のブロックに重ね合わせる。

画像出力手段１８は重ね合わせ処理手段１７により背景画像に重ね合わせ画像を重ね合わせた１フレーム目の画像を出力する。
図５は画像出力手段１８により出力された１フレーム目の画像の例を示す図であり、空と海が撮影された風景写真である背景画像の最深部と判定された中央上部のブロックに、「今年も来ますよお」という重ね合わせ画像が、決定されたサイズ、表示の傾き、色、ボケ具合、透明度で表示されている。

次に、重ね合わせ決定手段１６は、２フレーム目の背景画像を背景画像入力手段１１から取得し、２フレーム目に新たに追加して表示する重ね合わせ画像を重ね合わせ画像入力手段１２から取得し、最深部決定手段１５により決定された２フレーム目の背景画像の最深部の情報を取得する。

重ね合わせ決定手段１６は、最深部決定手段１５から取得した２フレーム目の背景画像の最深部を２フレーム目に新たに追加して表示する重ね合わせ画像の表示開始位置として決定し、２フレーム目の背景画像の最深部の色分布と２フレーム目に新たに追加して表示する重ね合わせ画像のサイズを確認し、パラメータ入力手段１３からの表示１回目のサイズ情報、傾き情報、色情報、ピント情報、透明度情報と、確認した背景画像の最深部の色分布と重ね合わせ画像のサイズとを考慮して、２フレーム目に新たに追加して表示する重ね合わせ画像のサイズ、表示の傾き、色、ボケ具合、透明度を、１フレーム目と同様にして決定する。

また、重ね合わせ決定手段１６は、表示２回目の１フレーム目で表示した重ね合わせ画像に対して、パラメータ入力手段１３からの表示２回目の位置情報により、表示２回目の重ね合わせ画像の背景画像における表示位置を決定し、２フレーム目の背景画像における表示２回目の重ね合わせ画像の表示位置の色分布と２フレーム目に２回目に表示する重ね合わせ画像のサイズを確認し、パラメータ入力手段１３からの表示２回目のサイズ情報、傾き情報、色情報、ピント情報、透明度情報と、確認した背景画像の表示２回目の重ね合わせ画像の表示位置の色分布と表示１回目の重ね合わせ画像のサイズとを考慮して、２フレーム目に２回目に表示する重ね合わせ画像のサイズ、表示の傾き、色、ボケ具合、透明度を、１フレーム目と同様にして決定する。このとき、重ね合わせ決定手段１６は、２フレーム目に２回目に表示する重ね合わせ画像のサイズを、１フレーム目に１回目に表示した重ね合わせ画像のサイズより大きくなるよう決定する。
重ね合わせ決定手段１６は、以上のようにして決定した２フレーム目の重ね合わせ方法を、重ね合わせ処理手段１７に指示する。

重ね合わせ処理手段１７は、背景画像入力手段１１から２フレーム目の背景画像を取得し、重ね合わせ画像入力手段１２から２フレーム目に新たに追加する重ね合わせ画像を取得し、重ね合わせ決定手段１６により指示された２フレーム目の重ね合わせ方法に基づき、表示１回目の重ね合わせ画像と表示２回目の重ね合わせ画像を、それぞれ指定されたサイズ、表示の傾き、色、ボケ具合、透明度に変換し、変換した表示１回目の重ね合わせ画像を２フレーム目の背景画像の最深部のブロックに重ね合わせると共に、変換した表示２回目の重ね合わせ画像を２フレーム目の背景画像の指定された表示位置に重ね合わせる。

画像出力手段１８は、重ね合わせ処理手段１７により背景画像に重ね合わせ画像を重ね合わせた２フレーム目の画像を出力する。
図６は画像出力手段１８により出力された２フレーム目の画像の例を示す図であり、空と海が撮影された風景写真である背景画像において、最深部と判定された中央上部のブロックに「解禁秒読み」という表示１回目の新たな重ね合わせ画像と表示２回目の表示位置に「今年も来ますよお」という表示２回目の重ね合わせ画像が、指定されたサイズ、表示の傾き、色、ボケ具合、透明度で表示されている。

このように、重ね合わせ決定手段１６が、背景画像入力手段１１により入力された背景画像、重ね合わせ画像入力手段１２により順次入力された各重ね合わせ画像を取得し、フレーム毎に、背景画像のどの位置に、どのサイズで、どの傾きで、どの色で、どのボケ具合で、どの透明度で、順次取得した各重ね合わせ画像を重ね合わせるかの重ね合わせ方法を決定し、重ね合わせ処理手段１７が、背景画像入力手段１１により入力された背景画像及び重ね合わせ画像入力手段１２により順次入力された各重ね合わせ画像を取得し、重ね合わせ決定手段１６により決定された重ね合わせ方法により、フレーム毎に背景画像に各重ね合わせ画像を重ね合わせる。画像出力手段１８は、重ね合わせ処理手段１７により背景画像に各重ね合わせ画像を重ね合わせた画像をフレーム毎に出力する。

図７は画像出力手段１８により出力された６フレーム目の画像の例を示す図であり、空と海が撮影された風景写真である背景画像において、６フレーム目の最深部と判定された中央上部のブロックに「原酒、生絞り」という表示１回目の重ね合わせ画像、表示２回目の表示位置に「もちろん酸化防止剤無添加」という表示２回目の重ね合わせ画像、表示３回目の表示位置に「ボージョレー」という表示３回目の重ね合わせ画像、表示４回目の表示位置に「ＡｉｒＦｒａｎｃｅ航空便でフレッシュな」という表示４回目の重ね合わせ画像、表示５回目の表示位置に「解禁秒読み」という表示５回目の重ね合わせ画像及び表示６回目の表示位置に「今年も来ますよお」という表示６回目の重ね合わせ画像が、各表示回数毎に指定されたサイズ、表示の傾き、色、ボケ具合、透明度で表示されている。このとき、各重ね合わせ画像は表示回数を重ねる毎にサイズが大きくなるよう表示されている。

このように、順次入力される各重ね合わせ画像を、背景画像の最深部の表示開始位置から表示終了位置まで順次表示していくことにより、「今年も来ますよお」、「解禁秒読み」、「ＡｉｒＦｒａｎｃｅ航空便でフレッシュな」、「ボージョレー」、「もちろん酸化防止剤無添加」、「原酒、生絞り」という短文にきった重ね合わせ画像が背景画像の表示開始位置から表示終了位置に向かって左右に回転しながら近づいてくるように表示することができる。

図８は画像出力手段１８により出力された画像の例を示す図であり、空と桜の木が撮影された風景写真である背景画像に、図７に示す重ね合わせ画像と同じ重ね合わせ画像が背景画像の表示開始位置から表示終了位置に向かって帯状に蛇行しながら近づいてくるように表示することができる。

重ね合わせ決定手段１６は、背景画像のウェーブレット変換や色温度等により、背景画像に含まれるオブジェクトの輪郭や境界を検知し、背景画像に含まれるオブジェクトの階層構造を検知することができる。その結果、重ね合わせ決定手段１６は、重ね合わせ画像の表示開始位置を、背景画像の最深部ではなく、階層構造の最奥のオブジェクトの裏側に相当する位置にすることにより、最奥のオブジェクトの影から重ね合わせ画像が飛び出してくるように表示することもできる。

背景画像が動画像の場合には、重ね合わせ決定手段１６が、背景画像に含まれる移動しているオブジェクトの移動に伴い一連の表示位置を決定することにより、例えば森の中で人が移動している場合に、最奥の木の裏から他の木に見え隠れしながら手前に流れてくるような重ね合わせ画像を表示することができる。

重ね合わせ決定手段１６が、重ね合わせ画像を視聴する視聴者の表示画面に対する位置を検知したセンサからの視聴者位置情報をパラメータ入力手段１３を介して取得した場合には、重ね合わせ画像の一連の表示位置を、背景画像の最深部から奥行き方向に沿って視聴者に向かうよう決定することにより、視聴者の顔の前まで流れてくる重ね合わせ画像を表示することができる。

以上のように、この実施の形態１によれば、最深部決定手段１５が背景画像の最深部を決定し、重ね合わせ決定手段１６が、背景画像のどの位置に、どのサイズで、どの傾きで、どの色で、どのボケ具合で、どの透明度で重ね合わせ画像を重ね合わせるかについての一連の表示回数毎の重ね合わせ方法を決定し、重ね合わせ処理手段１７が、決定された一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせることにより、背景画像の奥行き方向の重ね合わせ画像の流れを表示することができるという効果が得られる。

また、この実施の形態１によれば、１フレーム毎に背景画像の最深部を決定することにより、例えば山道を走る車のフロントガラスから見る風景の背景画像において、常にカーブの向こう側から重ね合わせ画像が流れてくる表示をすることができるという効果が得られる。

さらに、この実施の形態１によれば、最深部決定手段１５が季節により重み付けされた割合で最深部を選択することにより、コンテンツによって異なる背景画像の最深部を的確に決定し、重ね合わせ決定手段１６が決定された背景画像の最深部を重ね合わせ画像の表示開始位置として決定することにより、視聴者に重ね合わせ画像を効果的に見せることができるという効果が得られる。

さらに、この実施の形態１によれば、重ね合わせ決定手段１６が、視聴者位置情報をパラメータ入力手段１３を介して取得し、重ね合わせ画像の一連の表示位置を、背景画像の最深部から奥行き方向に沿って視聴者に向かうよう決定することにより、視聴者の顔の前まで流れてくる重ね合わせ画像を表示することができ、大画面表示機器の前で視聴者が移動することで、重ね合わせ画像の流れ方を変えるインタラクティブな映像表示システムを実現することができるという効果が得られる。

この発明の「画像重ね合わせ装置」を使用した情報表示システムを、例えば宣伝広告用に、駅、金融機関、商用施設に設置することにより訴求効果が向上する。従来は横方向や縦方向の２次元的な重ね合わせ画像の流れだけであったが、奥行き方向のある３次元的な重ね合わせ画像の流れを実現することにより、視聴者にインパクトを与えることができ訴求効果が向上する。

この発明の実施の形態１による画像重ね合わせ装置の構成を示すブロック図である。この発明の実施の形態１による画像重ね合わせ装置の最深部探索手段により背景画像のフレームを９個のブロックに分割した例を示す図である。この発明の実施の形態１による画像重ね合わせ装置の最深部探索手段による処理の流れを示すフローチャートである。この発明の実施の形態１による画像重ね合わせ装置の最深部決定手段が背景画像のコンテンツ毎に季節により重み付けされた割合で選択して最深部を決定する例を説明する図である。この発明の実施の形態１による画像重ね合わせ装置の画像出力手段により出力された１フレーム目の画像の例を示す図である。この発明の実施の形態１による画像重ね合わせ装置の画像出力手段により出力された２フレーム目の画像の例を示す図である。この発明の実施の形態１による画像重ね合わせ装置の画像出力手段により出力された６フレーム目の画像の例を示す図である。この発明の実施の形態１による画像重ね合わせ装置の画像出力手段により出力された画像の例を示す図である。

符号の説明

１１背景画像入力手段、１２重ね合わせ画像入力手段、１３パラメータ入力手段、１４最深部探索手段、１５最深部決定手段、１６重ね合わせ決定手段、１７重ね合わせ処理手段、１８画像出力手段。

Claims

説明用の文字列や図形等の重ね合わせ画像を入力する重ね合わせ画像入力手段と、
重ね合わせ画像の背景となる背景画像を入力する背景画像入力手段と、
重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を入力するパラメータ入力手段と、
上記背景画像入力手段により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの色分布を確認し、所定の色のブロック数が１フレームの中で予め設定された所定数以上の場合に、所定の色のブロックの中心のブロック又は中央上部のブロックを、背景画像の奥行き方向の最深部の候補とする最深部探索手段と、
該最深部探索手段で候補とされた背景画像の最深部と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータにより重み付けされた割合で選択して背景画像の最深部を決定する最深部決定手段と、
上記重ね合わせ画像入力手段により入力された重ね合わせ画像、上記背景画像入力手段により入力された背景画像、上記パラメータ入力手段により入力された重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び上記最深部決定手段により決定された背景画像の最深部の情報を取得し、その最深部を重ね合わせ画像の表示開始位置と決定し、重ね合わせ画像が背景画像の奥の方から前の方に向かって順次移動して流れてくるように、表示開始位置から表示終了位置まで重ね合わせ画像を表示するよう決定する重ね合わせ決定手段と、
上記重ね合わせ画像入力手段により入力された重ね合わせ画像及び上記背景画像入力手段により入力された背景画像を取得し、上記重ね合わせ決定手段により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる重ね合わせ処理手段とを備えた画像重ね合わせ装置。
説明用の文字列や図形等の重ね合わせ画像を入力する重ね合わせ画像入力手段と、
重ね合わせ画像の背景となる背景画像を入力する背景画像入力手段と、
重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を入力するパラメータ入力手段と、
上記背景画像入力手段により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの明度を確認し、画面上下で明部と暗部に分かれる場合に、中央上部のブロックを、背景画像の最深部の候補とする最深部探索手段と、
該最深部探索手段で候補とされた背景画像の最深部と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータにより重み付けされた割合で選択して背景画像の最深部を決定する最深部決定手段と、
上記重ね合わせ画像入力手段により入力された重ね合わせ画像、上記背景画像入力手段により入力された背景画像、上記パラメータ入力手段により入力された重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び上記最深部決定手段により決定された背景画像の最深部の情報を取得し、その最深部を重ね合わせ画像の表示開始位置と決定し、重ね合わせ画像が背景画像の奥の方から前の方に向かって順次移動して流れてくるように、表示開始位置から表示終了位置まで重ね合わせ画像を表示するよう決定する重ね合わせ決定手段と、
上記重ね合わせ画像入力手段により入力された重ね合わせ画像及び上記背景画像入力手段により入力された背景画像を取得し、上記重ね合わせ決定手段により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる重ね合わせ処理手段とを備えた画像重ね合わせ装置。
説明用の文字列や図形等の重ね合わせ画像を入力する重ね合わせ画像入力手段と、
重ね合わせ画像の背景となる背景画像を入力する背景画像入力手段と、
重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を入力するパラメータ入力手段と、
上記背景画像入力手段により入力された背景画像のフレームを複数のブロックに分割し、分割したブロックの明度を確認し、全体が暗い中で明度の高いブロックが存在する場合に、明度の高いブロックを、背景画像の最深部の候補とする最深部探索手段と、
該最深部探索手段で候補とされた背景画像の最深部と予め設定されている背景画像の最深部の候補から、背景画像のコンテンツ毎に所定のパラメータにより重み付けされた割合で選択して背景画像の最深部を決定する最深部決定手段と、
上記重ね合わせ画像入力手段により入力された重ね合わせ画像、上記背景画像入力手段により入力された背景画像、上記パラメータ入力手段により入力された重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報及び上記最深部決定手段により決定された背景画像の最深部の情報を取得し、その最深部を重ね合わせ画像の表示開始位置と決定し、重ね合わせ画像が背景画像の奥の方から前の方に向かって順次移動して流れてくるように、表示開始位置から表示終了位置まで重ね合わせ画像を表示するよう決定する重ね合わせ決定手段と、
上記重ね合わせ画像入力手段により入力された重ね合わせ画像及び上記背景画像入力手段により入力された背景画像を取得し、上記重ね合わせ決定手段により決定された重ね合わせ画像の一連の表示回数毎の重ね合わせ方法に基づき、フレーム毎に背景画像に重ね合わせ画像を重ね合わせる重ね合わせ処理手段とを備えた画像重ね合わせ装置。
上記最深部決定手段は所定のパラメータとして季節を使用することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は、上記パラメータ入力手段により入力された位置情報、サイズ情報、傾き情報、色情報、ピント情報、透明度情報等の重ね合わせ画像の表示に必要な一連の表示回数毎の表示情報を取得し、背景画像のどの位置に、どのサイズで、どの傾きで、どの色で、どのボケ具合で、どの透明度で重ね合わせ画像を重ね合わせるかについての一連の表示回数毎の重ね合わせ方法を決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は表示する重ね合わせ画像のサイズが表示開始位置から表示終了位置に向かって徐々に大きくなるよう決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は表示する重ね合わせ画像の色が重ね合わせる背景画像の色と同色系統にならないよう決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は、上記パラメータ入力手段から重ね合わせ画像を視聴する視聴者の位置を検知した情報を取得し、重ね合わせ画像の一連の表示位置を背景画像の最深部から奥行き方向に沿って視聴者に向かうよう決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は背景画像に含まれるオブジェクトの移動に伴い重ね合わせ画像の一連の表示位置を決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は一連の重ね合わせ画像を短文に切って表示するよう決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。
上記重ね合わせ決定手段は一連の重ね合わせ画像が表示開始位置から表示終了位置に向かって帯状に蛇行しながら近づいてくるように表示するよう決定することを特徴とする請求項１乃至３のいずれかに記載の画像重ね合わせ装置。