JP7272356B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP7272356B2 JP7272356B2 JP2020521777A JP2020521777A JP7272356B2 JP 7272356 B2 JP7272356 B2 JP 7272356B2 JP 2020521777 A JP2020521777 A JP 2020521777A JP 2020521777 A JP2020521777 A JP 2020521777A JP 7272356 B2 JP7272356 B2 JP 7272356B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- information
- depth
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
Description
特許文献1には、複数の画像を配置して合成する際に位置関係を考慮してレイアウトを決める処理を行うことが記載されている。
またスポーツ映像などにも画像エフェクトは有効である。そして画像エフェクトをリアルタイムに実現する上ではモーションキャプチャを応用することが主流だが、マーカーを使用するなど高度な処理が必要であり容易ではない。
そこで本開示では、奥行情報を活用することで簡易且つ有効な動画編集を実現することを目的とする。
この場合、動画としての複数フレームの画像データとして、画素について被写体までの距離(奥行き)の値となる深度情報を有する画像データを処理対象とする。なお、深度情報は、画像データを構成する1画素毎に付加されていても良いし、カラー画素としての画素ブロック毎(例えばR画素、G画素、B画素の3画素の単位)などでもよいに付加されていても良い。或いは4画素、9画素など、画素ブロック毎に深度情報が付加されていても良い。
画像処理装置は、このような画素(画素ブロック)毎に、深度情報を用いて付加画像を動画に付加する画像編集を行う。
即ち付加画像について設定された深度情報と被写体(動画データの各フレームの画素)の深度情報により、付加画像と被写体の前後関係が規定される。
即ち付加画像生成部もしくは画像編集処理部は、付加画像を深度情報に基づいてサイズ調整する。これにより付加画像自体が挿入位置の遠近に応じたサイズ(遠近法に沿った状態)で表現されるようにする。
例えば動画内で動きのある被写体の動きの追尾や動きの軌跡などを表現するエフェクト画像を付加画像として生成し、動画に合成する。
エフェクト画像について、動体の動きに応じた深度情報を設定し、エフェクト画像が動体の深度に対応した画像となるようにする。
即ち付加画像生成部もしくは画像編集処理部は、エフェクト画像を深度情報に基づいてサイズ調整する。これによりエフェクト画像自体が挿入位置(つまり各フレームにおける動体の位置)の遠近に応じたサイズ(遠近法に沿った状態)で表現されるようにする。
例えば動画内で動きのある被写体の動き軌跡を表現するエフェクト画像を付加画像として生成し、動画に合成する。
動画内で動体の動作として各種の態様や種別があるが、それらを表現するエフェクト画像を付加画像として生成し、動画に合成する。
動画内の人物の発話などを検出し、そのテロップ画像を付加画像として生成し、動画に合成する。
動画内で発話される音声を認識しテキストデータを取得する。そしてそのテキストデータをテロップ表示する。
例えばテロップ画像は、認識した音声の音量、声量に応じてサイズ、フォントなどが異なるなど、異なる表示態様とする。
例えば認識した音声から発話者の感情を推定する。そして感情(怒り、喜び、驚き)などにより、サイズ、フォントなどが異なるなど、異なる表示態様とする。
動画に関して情報ソースから情報を取得し、その情報を提示する画像を付加画像として生成する。そして深度情報を用いて動画に合成する。
付加画像の合成状態を編集したい場合に、ユーザが編集に用いる編集操作画像を生成し、表示されるようにする。この場合に編集画像は、動画の時間軸と深度軸が表現されるものとする。
例えば1つの領域として、例えば横方向が時間軸、縦方向が深度軸となるような領域を設けて編集用の画面が形成されるようにする。
例えば時間軸方向の情報がタイムラインとして表示されつつ、その一部の時点の画像が同時に表示されるようにする。
例えば時間軸方向の情報がタイムラインとして表示されつつ、或る時点を指定することで、タイムラインの情報が提示されたまま、当該時点の画像が表示されるようにする。
例えば時間軸方向の情報がタイムラインとして表示されつつ、タイムライン上で指定した或る時点の画像が立体画像として表示されるようにする。
本技術に係るプログラムは、これらの各手順に相当する処理ステップを情報処理装置に実行させるプログラムである。
これらの方法又はプログラムにより、多様な画像編集を容易に実現できる画像処理装置を実現できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.画像処理装置の構成>
<2.第1の実施の形態:動体に対する画像エフェクト>
<3.第2の実施の形態:音声認識に基づくテロップ>
<4.第3の実施の形態:情報提示画像の付加>
<5.第4の実施の形態の:編集インタフェース>
<6.第5の実施の形態の:編集インタフェース>
<7.第6の実施の形態の:編集インタフェース>
<8.第7の実施の形態の:編集インタフェース>
<9.まとめ及び変形例>
図1は本開示の画像処理装置1の機能構成と画像処理装置1の周辺構成を示している。画像処理装置1は、画像取得部2、深度取得部3、画像解析部4A、音声認識部4B、情報取得部4C、付加画像生成部5、画像編集処理部6、画像出力部7、編集操作画像生成部8を有している。
また画像処理装置1の周辺構成の一例として、操作部10、表示部11、通信部12、記憶部13、画像ソース14、情報ソース15を示している。
操作部10、表示部11、通信部12、記憶部13、画像ソース14、情報ソース15のそれぞれは画像処理装置1と一体の機器内に設けられてもよいし、別体の機器とされて画像処理装置1と有線又は無線通信により接続されるものであっても良い。
操作部10は画像編集のためのユーザの各種操作を検知する。この操作部10は、実際のキー、スイッチ等の操作子の操作を検知する構成でもよいし、コンピュータ装置におけるマウスやキーボードであったり、音声入力、ジェスチャ入力、非接触入力等の操作を検知する構成でもよい。また操作部10は、例えばタブレット、スマートフォン等の情報処理装置において画面上或いはパッド上でのタッチ操作、タップ操作等を検知する構成などでもよい。
この表示部11ではユーザインタフェースのための各種表示を行う。例えば画像処理装置1が編集処理により生成した画像の表示、編集前の動画の表示、上記の操作部10として機能する操作アイコン等の操作子画像の表示、その他必要な表示を行う。
この通信部12は、例えば画像処理装置1が編集処理により生成した画像を外部機器に送信する。また通信部12が、編集処理に用いる画像データを外部から受信するようにしてもよい。
この記憶部13は画像処理装置1が生成した編集画像データを記憶する。また画像処理装置1が編集処理に用いる画像データを記憶部13から読み出すようにしてもよい。
なお、記憶部13には、画像処理装置1としての処理をコンピュータ装置に実行させるためのプログラムが記憶されてもよい。
例えば画像ソース14は動画撮像を行う撮像装置であったり、記憶媒体から動画を読み出して出力する再生装置であったりする。或いは通信部12や記憶部13が画像ソース14に相当する場合もある。
画像ソース14によって供給される画像データは、例えばスポーツ等のリアルタイム放送としての撮像動作であってもよいし、過去に撮像又は生成された動画であってもよい。例えば映画、ドラマ等として制作された動画、一般ユーザが制作・投稿した動画、アニメーション動画、コンピュータグラフィックス等で生成された動画など、あらゆる動画が想定される。即ちあらゆる動画が画像処理装置1の編集処理対象として考えられる。
この情報ソース15は例えば情報サーバとしてネットワークを介して情報を提供する情報処理装置であってもよいし、各種のセンサ装置であってもよい。
画像処理装置1における画像取得部2は編集処理の対象とする画像データを画像ソース14から取得する。例えばリアルタイム放送する動画であったり、動画コンテンツとして画像ソース14が提供可能な動画の中でユーザが選択した動画などが処理対象となる。
例えば1フレームの画像データが図2のように、0行~n行、0列~m列の画素(ピクセル)配置で構成され、{(m+1)×(n+1)}個の画素PX0-0、PX0-1・・・PXn-mで形成されているとする。
各画素PX0-0、PX0-1・・・PXn-mには、深度情報DP0-0、DP0-1・・・DPn-mが付加されている。それぞれ、その画素の被写体の撮像時の奥行き情報である。深度取得部3は、処理対象とした画像から深度情報DP0-0、DP0-1・・・DPn-mを検出する。
なお、この図2に示す各画素PX0-0~PXn-mは、それぞれがR画素、G画素、B画素のような色別の1つの画素と考えても良いし、R画素、G画素、B画素をまとめた1つのカラー画素と考えてもよい。つまり深度情報DP(DP0-0~DPn-m)は、個々の画素単位で付されても良いし、カラー画素ユニット単位で付加されていても良い。さらに、図示しないが、複数の画素(又は複数のカラー画素)をまとめた画素ブロック毎に深度情報DPが付加されていても良い。
撮像画像に被写体の深度情報が付加されるようにする技術は既知であるため詳細は省略する。
なお、深度取得部3は、処理対象の画像データについて他の機器やセンサで検出された深度情報や、あらかじめ登録された深度情報などを受信取得してもよい。また深度取得部3はユーザが任意に設定した深度情報を検出するものでもよい。
深度取得部3が検出した画素の深度情報は画像編集処理部6や付加画像生成部5の処理で用いられる。
後述の第2の実施の形態の処理で説明するが、例えば音声認識部4は例えば動画とともに収録された音声内で、被写体人物が発話した音声を判別、解析して、発話内容をテキストデータとすることなどを行う。もちろん、人の発話でない周囲の音に応じた擬音データを生成することも考えられる。例えば風の音を認識して「ヒュー」などと擬音のテキストデータを生成するなどである。
例えば情報取得部4Cは、スポーツ中継の動画に対しては、上述した選手やチームの情報、タイム情報、試合のスコア情報などを取得し、付加画像生成部5や画像編集処理部6に供給する。
例えば第1の実施の形態の場合、付加画像生成部5は、画像解析部4Aによる動体認識に応じたエフェクト画像を生成する。
第2の実施の形態の場合、付加画像生成部5は、音声認識部4Bによる音声認識結果に応じたテロップ画像を生成する。
第3の実施の形態の場合、付加画像生成部5は、情報取得部4Cによって取得した情報を示す情報提示画像を生成する。
また画像出力部7は、編集後の画像データを通信部12に出力して外部機器に送信させることもできる。
また画像出力部7は、編集後の画像データを記憶部13に出力して記憶媒体に記憶させることもできる。
本実施の形態では、画像編集処理部6は、画像取得部2が取得した動画について、ユーザの付加画像の選択などに応じて、リアルタイムで自動的に編集と行い、編集結果の動画が画像出力部7から出力される。
但し、付加画像の合成は必ずしもリアルタイムに限らないし、付加画像の合成編集内容もユーザが調整したり変更してもよい。
そこで編集操作用の画像が用意される。編集操作画像生成部8は、このユーザの操作のための画像を生成して、例えば画像出力部7を介して表示部11で表示されるようにしている。
編集操作画像上でのユーザの操作は、操作部10の機能(例えば画面上のタッチ操作)として画像編集処理部6に認識されて、編集処理に反映される。また編集操作画像生成部8はユーザ操作に応じて編集操作画像の切替等を行う。
このような画像処理装置1は、例えば図3のようなハードウエア構成の情報処理装置100で実現される。
CPU151は、ROM152に記憶されているプログラム、または記憶部159からRAM153にロードされたプログラムに従って各種の処理を実行する。RAM153にはまた、CPU151が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU151、ROM152、およびRAM153は、バス154を介して相互に接続されている。このバス154にはまた、入出力インタフェース155も接続されている。
通信部160は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行うもので、例えば図1の通信部12としての機能も含む。
ドライブ161及びメモリカード162は図1の記憶部13としての機能も持つ。
即ちこれらの処理はCPU151で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図3の情報処理装置100にインストールされる。或いはそのプログラムが記憶部159としてのHDD等に予め記憶されていてもよい。
そしてCPU151において当該プログラムが起動されることで、詳しくは後述するように各種の画像編集処理を行うことができるようにされる。
またこの図3の情報処理装置100は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置100としての機能を有するテレビジョン装置、モニタ装置、画像編集機器、撮像装置等の電子機器でも、本実施の形態の画像処理装置1を搭載することができる。
画像処理装置1による動画に対して付加画像を付加する編集処理の第1の実施の形態として、動体についてのエフェクト画像を付加する処理について説明する。
動体についてのエフェクト画像とは、例えば、
・動画に表れる動体についての動きを強調する画像
・動画に表れる動体の動きの軌跡を示す画像
・動画に表れる動体の動きの種別を表現する画像
・動画に表れる動体の動きの態様を表現する画像
・動画に表れる動体の動きの予測を表示する画像
・動画に表れる複数の動体の別を表現する画像
・これらの複合的な画像
などが考えられる。もちろん以上は例示で、エフェクト画像がこれらに限られるものではない。
また動体とは、動画上で動きの或る被写体オブジェクトであり、人、動物、物、これらの一部(例えば人の手など)などが想定される。
図4Aから図4Fはフィギュアスケートの動画のシーンを示している。
図4Aは演技開始前の画像である。動体80としてスケート選手を対象とする。
図4Bは演技開始前に、選手の動き出しを予測させるエフェクト画像EFを付加した画像である。
図4Cは演技中において、選手の身体の移動の軌跡を示すとともに動作を強調するようなエフェクト画像EFを付加した画像である。
図4Dは演技中において、スピンを表現するエフェクト画像EFを付加した画像である。スピンを表す画像として渦巻き状のラインを表示しているが、この場合、選手の後ろ側の部分(選手より奥側となる部分)は、選手の体に遮られて見えない状態となっている。
図4Eは、例えば演技終了のポーズに至る動きを示すエフェクト画像EFを付加した画像である。エフェクト画像EFは直前からの身体の位置に応じた画像となっており、それは奥行き方向の位置(深度)に応じた大きさとなっている。
図4Fはエフェクト画像EFを付加していない画像である。
この場合、攻撃側選手が蹴ったボールを動体80とし、そのボールの軌跡を表現するエフェクト画像EFが付加されている。
このエフェクト画像EFは、各時点での他の選手等との前後関係が反映されている、例えばボールの軌跡において、守備側選手よりも後方となっている部分は、選手の頭部に隠れて見えていない状態となっている。各時点(各フレーム)での各被写体(ボールや選手)の深度情報を用いることで、このようにボールの軌跡を示すエフェクト画像EFを、実際の被写体との間での正しい前後関係で表示されるようにしている。
またボールの位置に従って、軌跡を表示するエフェクト画像EFの幅が小さくなっている。これは、深度情報に基づいて、撮像位置からの各時点でのボールの距離(遠近)を表現するものとなる。
またボールの軌跡のエフェクト画像EFは、色或いは濃さなどが徐々に変化するようにされる。これは例えばボールの回転数の解析結果に応じた色や濃さとすることで、ボールの動作態様を示すものとしている。
この場合、両選手の竹刀を動体80とし、竹刀の動きを表現し、かつ強調するエフェクト画像EFを付加している。
各エフェクト画像EFは、右側の選手の竹刀と左側の選手の竹刀とで、色や表示態様を変化させる。これにより、両者の竹刀の動きを、視聴者が、より明確にわかるようにしている。
各竹刀の軌跡を示すエフェクト画像EFは、各時点(各フレーム)の竹刀や選手の深度情報により前後関係を反映した状態となるようにする。これにより撮像装置の存在する位置からみた前後関係がエフェクト画像EFにも反映される。
なお、以下説明する各実施の形態の処理例は、図1に示した各機能により画像処理装置1において実行される。
なお、各被写体が写っている画素範囲は、輝度情報、色情報、エッジ検出等の解析から判定できるが、各画素の深度情報を用いることで、各被写体が写されている画素範囲をより精度良く判定できる。1つの被写体が写っている画素範囲では、深度の値が、大きくは異ならないためである。
以上のエフェクトの選定は、画像処理装置1が自動設定してもよいし、ユーザ入力に応じて設定してもよい。或いはある程度は自動設定されて、一部をユーザが設定項目を修正できるようなものとしてもよい。
ステップS105で画像処理装置1は、エフェクト対象のフレームの特定を行う。例えば動画内で画像効果を開始するフレームを特定する。或いはフレーム範囲(開始フレームと終了フレーム)を特定しても良い。
これは、ユーザが動画のシーンのうちでフレームを指定入力し、それを画像処理装置1が開始フレーム、終了フレームとすることが考えられる。
或いは、画像処理装置1が画像データ内から、エフェクト画像EFを付加する動体80を検出し、その動体80が表れているシーンを自動選択し、そのシーンの開始フレーム、終了フレームを特定するものとしてもよい。
さらには、画像処理装置1が、動体80が表れており、かつ動体80が動いているフレーム区間を自動的に特定するものとしてもよい。
以降、画像処理装置1は、動画を構成する各フレーム毎に、ステップS106~S116の処理を行っていく。
ステップS107で画像処理装置1は付加画像生成部5の機能により、取得したフレーム画像データに対する付加画像となるエフェクト画像EFを設定する。
まずステップS201で画像処理装置1はエフェクトとして付加する画像の選択又は生成を行う。これはステップS103で選定したエフェクトの選定に応じた画像を、当該フレームに付加するエフェクト画像EFとして用意する処理である。用意する画像は、エフェクトの種別毎等について予め用意された画像のうちから当該フレームに用いる画像を選択することとしても良いし、当該フレームの画像内容に応じて生成してもよい。
これらの画像態様が設定された状態で、当該フレームに付加されるエフェクト画像EFが決定されることになる。
なお、1フレームの画像に付加されるエフェクト画像EFは、画素が連続した1つの画像に限らず、複数の画像の場合も当然ある。
ステップS204で画像処理装置1は、エフェクト画像EFについての当該フレーム内での挿入領域を設定する。つまり画面上のどこにエフェクト画像EFを付加するかを決定する処理である。これは例えば当該フレームでの動体80の位置や、前のフレームでのエフェクト画像EFの位置などに基づいて設定する。
なお、エフェクト画像EFが複数の場合は、それぞれのエフェクト画像EFに対して挿入領域が設定される。
画像処理装置1はステップS108以降で、当該フレームの画像データ上で、設定した挿入領域に含まれる各画素PXを、順次エフェクト画像EFの各画素について設定した深度情報DPeと比較していく。
なお、ここでは、設定された挿入領域が1つであれば、当然、その挿入領域内の画素の1つを処理対象として特定する。
設定された挿入領域が複数であれば、例えば最初の挿入領域内の画素の1つを処理対象として特定する。
DP<DPeであれば、フレーム画像データにおける当該画素PXは、エフェクト画像EFよりも手前側の被写体の画素である。そこで画像処理装置1はステップS112に進んで、当該画素PXを編集後の画像データ上でそのまま表示する画素に設定する。
DP<DPeでなければ、フレーム画像データにおける当該画素PXは、エフェクト画像EFの深度以降の奥側の被写体の画素である。そこでこの場合、画像処理装置1はステップS111に進んで、画像データ上で、当該画像PXの画素データ値をエフェクト画像EF(付加画像)における、その画素位置に対応する画素データ値に置換する。つまりエフェクト画像EFの画素データを表示する画素とする。
ステップS113で、1つの挿入領域の全画素についてステップS109~S112の処理を終了したと判断したら、画像処理装置1はステップS114で、他に設定された挿入領域があるか否かを確認する。
図7のステップS204で設定された挿入領域が1つである場合は、以上で当該フレームについての処理を終える。
複数の挿入領域が設定されている場合であって、未処理の挿入領域がある場合は、ステップS115で次の挿入領域を選択し、その挿入領域についてステップS108~S113の処理を行う。
エフェクトを行う区間としての全フレームについての処理を完了していなければ、画像処理装置1はステップS106に戻り、処理対象として次のフレームのフレーム画像データを取得し、そのフレームについて同様にステップS107~S115の処理を行う。
エフェクト画像EFを付加する全てのフレームについて以上の処理を終えることで、図6の画像処理を終える。
このように生成された編集画像データは、画像出力部7が出力することで、表示部11に表示されたり、通信部12により外部機器に転送されたり、記憶部13で記憶媒体に記憶される。
例えば放送スタッフとしてのオペレータが、ある時点からエフェクト開始を指示する操作を行うことで、画像処理装置1が、その時点以降にリアルタイムでエフェクト画像EFを付加していく処理である。
なお、図8の場合、図6のステップS103、S104で説明したエフェクトの選定や表示位置の決定は予め行われており、そのエフェクトの開始/終了タイミングがオペレータによって指示(或いは何らかの自動制御による指示)されるものとする。例えば図5Aや図5Bのような動体80の軌跡を表現するエフェクト画像EFを、動体の移動軌跡上の位置に表示することなどが決定されているとする。
その後は、ステップS155でエフェクト終了の指示を検知するまで、画像処理装置1は、撮像されて供給されてくる各フレームについて、ステップS152~S154及びS107~S115の処理を行う。
なおこのことから、1フレーム期間内に、ステップS152~S154及びS107~S115の処理が行われるようにすることが想定される。
ステップS154で画像処理装置1は、動体の状態を把握する。即ちフレーム画像データに含まれる被写体について、動体、静体の認識を行い、例えば背景と人物などのように各オブジェクトの内容を把握する。
動体の軌跡を表現するエフェクト画像EFの設定の例を図9Aに示す。
ステップS211で画像処理装置1は、現フレームでの動体80の位置を取得する。ここでいう動体80の位置とは現フレームの画面内の位置、つまり動体80が写されている画素範囲のことである。
なお、前フレームまでの軌跡部分は、前フレームまでのエフェクト画像をそのまま利用することで、既に画素位置や深度は設定されているものとすることができる。ここでは、今回軌跡として延長した部分の画素について、現フレームの動体80の画素に付与された深度情報DPを用いて、エフェクト画像EFの深度情報DPeを設定すればよい。フレームによっては動体が他の被写体に隠れている場合もあるが、その場合は、前フレームまでの動体80の軌跡から、現フレームでの動体の位置や深度を推定すればよい。
これにより、動画の進行に従って動体の移動軌跡を描くようなエフェクト画像EFが動画に付加される。
図9BのステップS210,S211は図9Aと同様であり、前フレームのエフェクト画像EFを取得し、また現フレームの動体80の位置を取得する。
動作態様とは、動体80の速度、挙動、移動方向、移動姿勢、移動時の状態などである。
例えば図5Aのボールの場合、ボールの移動速度、回転速度、移動方向なども動作態様の一つとなる。野球のピッチャーの投げる球種も動作態様の情報として想定される。
動作の種別は、動体の移動に関しての種別であったり、動体自体の種別や動体を動かす人などの種別が想定される。例えばサッカーのAチームとBチームの試合でボールを蹴った人がいずれのチームであるかとか、剣道の選手の別というのは動体を動かす人の種別の一つである。また例えば人や動物を動体80としたときに、動体80としての男女の別、年齢層の別、動物の別(例えば犬や猫の別、飛んでいる鳥の種別など)などもここでいう動体80の種別の例となる。
そしてステップS212で、画像態様の設定を反映して軌跡画像、即ち現フレームに付加するエフェクト画像EFを生成する。
ステップS203A、S204は図9Aと同様である。
例えば図5Aのボールの軌跡においてグラデーション的に色や濃度が変化することで、ボールの回転数を表現する画像とすることができる。
また図5Bの場合、剣道の選手毎に竹刀の動きの軌跡を違う色で表示することで、各選手の竹刀の動きを把握しやすい動画が実現できる。
図示しないが、サッカーの試合でボールの軌跡をつねに最後にタッチした選手のチームに応じた色などとすることで、チーム毎のボールの支配率を表現するような動画も実現できる。
動体80の情報としては、動体80が人間の場合、さらに個人識別の情報、表情の情報、表情や音声等から推定される感情の情報などを用いて、エフェクト画像EFの態様を変化させることも考えられる。
また動体80についてのエフェクト画像EFは、軌跡画像に限らず、動体追尾を示す画像、動体の移動予測を示す画像、動体の種別や動作態様のみを示す画像なども想定される。
第2の実施の形態として、動画に対する付加画像として音声認識に基づくテロップを表示する例を説明する。
例えば音声認識技術を用いることで、動画に対してリアルタイムもしくは非リアルタイムの編集でテロップを入れることができる。発話した人物とテロップの前後関係も厳密に再現することで、画一的でなく、発話者がわかりやすいテロップ表示、シーンに違和感を与えにくいテロップ表示、より表現力の高いテロップ表示等が実現できる。
なお、これは説明上の極端な例であり、動画では実際に多数の人が一斉に同時に発話するシーンは多くなく、時間的にずれて発話されることが多いため、図示の状態のように多数のテロップが1フレームに付加されることは少ない。
各テロップ画像TPは、その発話者81の深度に応じて表示されることで、他の被写体との前後関係が反映された状態で画像に合成されることになる。
また、テロップ画像TPとは、その表示態様、表示タイミングなどにかかわらず、動画内で発生した音を文字で表す画像のことを言う。
ステップS171で画像処理装置1は動画内での音声データから発話検出を行う。
ステップS172で画像処理装置1は音声認識及び発話者の特定を行う。
ステップS173で画像処理装置1は、発話内容をテキストデータ化する。
ステップS174で画像処理装置1は、検出した発話内容をテロップ画像TPとして表示するフレーム区間を設定する。
即ち画像処理装置1は、音声認識部4Bが動画における発話を検出し、その解析を行って、発話者81や発話内容を特定し、また発話内容をテキストデータ化する。テロップ画像TPを表示するフレーム区間は、例えば発話開始のタイミングのフレームから、発話が終了したタイミングのフレームよりも1~2秒程度後のフレームなどとして設定する。これらの情報を付加画像生成部5と画像編集処理部6が受け取ることになる。
なお発話者81の特定には、画像解析部4Aの画像解析により、口が動いている被写体を検出し、その口が動いている区間と発話音声の区間と比較して、略一致した場合に、その被写体を発話者81とすることなどが考えられる。また、発話音声の周波数解析などにより、男性/女性の推定や年齢層の推定などを行い、画像解析結果と照合して発話者を推定することも考えられる。
動画に登場する人物の声紋情報などがあれば、音声解析により、動画内での発話者を正確に特定できる。
テロップ画像TPの生成処理を図12Aに示す。
ステップS250で画像処理装置1は音声解析により生成したテキスト情報を処理対象として取得する。
ステップS251で画像処理装置1は、テキスト情報をテロップ画像化する。例えば所定の吹き出し、フォント、色等の設定に基づいてテロップ画像TPを生成する。
ステップS176で画像処理装置1は、テロップ表示を行うフレーム区間における1フレームの画像データを処理対象として取得する。
ステップS177で画像処理装置1は、取得したフレームが、それまでのフレームからシーンチェンジしているか否かを判定する。例えば前フレームとの各画素データの差分などからシーンチェンジ判定を行い、もしシーンチェンジと判定した場合は図11の処理を終える。シーンチェンジと判定されなければ画像処理装置1はステップS178に進む。
例えばテロップ画像TPの各画素の深度情報DPeは、発話者81としての被写体の頭部が写った画素の深度情報DP、また頭部の深度情報DPから所定のオフセット量を与えた深度などとすることが考えられる。
テロップ画像TP内の各画素の深度情報DPeは同じ値でよいが、特に徐々に深度の値を変化させるなどしてもよい。テロップの最初と最後で奥行き位置が変化するようなものとする場合である。
また、テロップ画像TPのサイズは、その深度情報DPeに応じたサイズとすることが考えられる。例えば深度情報DPeの値が小さい(浅い)場合はサイズを大きく、深度情報DPeの値が大きい(深い)場合はサイズを小さくすることで、遠近法に従って、近くの発話者81の場合は大きなテロップ、遠くの発話者81の場合は小さなテロップとすることができる。
挿入領域については、例えば発話者81の頭部近辺などにおいて、設定したテロップ画像TPのサイズに応じた領域を設定する。
これにより、動画内の発話者81に対してテロップ画像TPが表示される図10Aのような動画が実現される。
特にテロップ画像TPは、深度情報DPeと周囲の被写体の深度情報DPの比較により画素単位で表示有無が設定されることで、手前側の画像を隠してしまうことがなく、画像内の前後関係を反映した状態で表示される。これにより発話者81の状況(位置)を適切に表現したテロップ画像TPとなっている。
また発話者81に近い位置にテロップ画像TPが表示されることで、画像(発話者81等)と文字を同時に見やすくなり、映画等の字幕として応用しても、より動画の内容をわかりやすくできるものとなる。
リアルタイムでテロップ画像TPを付加していくには、動画を数秒程度遅延させて出力するようにすることが考えられる。例えば動画データについて数秒のバッファリングを行い、各フレームが数秒の遅延をもって読み出されるようにする。そのバッファリングの間に、当該バッファリングしている数秒間のフレームの音声認識を行う。
そして音声認識に応じた1又は複数のテロップ画像TPを用意したうえで、バッファリングから読み出した各フレームについて、ステップS176以降の処理を行っていくようにすればよい。
但し、ステップS177でシーンチェンジと判定された場合は、テロップ画像TPの合成を行わないことになるため、そのフレームでは、前フレームまでのテロップは表示されない。これはシーンチェンジがあってもテロップが続くことで不自然な画像となることを防止するものとなる。
つまり、シーンチェンジとならない限り、発話から発話終了から若干後のタイミングまでの期間、テロップ画像TPの表示が行われるが、シーンチェンジがあったら、その期間内でもテロップ画像TPの表示は終了されることになる。これによってテロップの読みやすさと、不自然なテロップ表示の防止とを両立する。
例えば図10Bは発話者81が笑っている場合、図10Cは発話者81が怒っている場合、図10Dは発話者81が驚いている場合を示している。ここで、笑っている状況、怒っている状況、驚いている状況に応じて、テロップ画像TPの表示態様を変えている。例えば吹き出しの形状や色、テキストのフォントなどを変えることで、発話者の感情等に応じた画像とする。
このようにすることでテロップ画像TPは、より表現力が高いものとなる。
ステップS250で画像処理装置1は音声解析により生成したテキスト情報を処理対象として取得する。
ステップS261で画像処理装置1は、発話者の感情推定を行う。例えば発話音声の音量や周波数特性等の解析を行い、平静状態、興奮状態などを推定する。また画像解析により発話者81の表情や動作等から感情を推定する。
ステップS262で画像処理装置1は、推定した発話者81の感情に応じて、テロップ画像TPとしての吹き出しの形状、テキストサイズ、フォント、色等を設定する。
ステップS263で画像処理装置1は、ステップS262での設定に基づいてテキスト情報をテロップ画像化する。
ステップS271で画像処理装置1は、発話音声の音量情報を取得する。
ステップS272で画像処理装置1は、取得した音量情報に応じて、テロップ画像TPとしての吹き出しの形状、テキストサイズ、フォント、色等を設定する。
ステップS273で画像処理装置1は、ステップS272での設定に基づいてテキスト情報をテロップ画像化する。
このようにすることで、発話音声の音量が表現されたテロップ画像TPを動画に付加することが可能となる。
第3の実施の形態として、動画に対する付加画像として情報提示画像ISを表示する例を説明する。
例えば情報ソース15から取得した情報を用いて、動画に対してリアルタイムもしくは非リアルタイムの編集で情報提示画像ISを入れることができる。このときに、画像内の挿入領域に応じて、他の被写体との前後関係を再現したり、情報提示画像自体に奥行きを与えたりすることで、視聴者がみやすい情報提示、シーンに違和感を与えにくい情報提示等が実現できる。
例えばゴールラインに沿ってタイム表示を行うことで、視聴者に対し、わかりやすく、かつ臨場感があり高揚するような動画を提供できる。この場合に、情報提示画像IS自体に深度情報DPeを与え、遠近法に沿って、遠くなる程小さくなる表示とすることで、画面上の違和感もないようにすることができる。
エフェクト開始後において、画像処理装置1は、フレームタイミング毎に、ステップS152~S160及びS107A~S115の処理を行う。
情報提示画像ISの設定(生成)については、概略図7と同様に行えば良い(図7の「エフェクト画像EF」を「情報提示画像IS」に読み替える)。
まずステップS201で情報提示画像ISとしての画像を生成する。これは、例えば取得したタイムの情報を示す画像を生成すればよい。
ステップS203で画像処理装置1は、情報提示画像ISの各画素の深度情報DPeを設定する。例えばこのときに、合成する被写体の遠近法に従って徐々に変化させるようにする。即ち情報提示画像ISにおける各画素の深度情報DPeより1つ手前となる値を、挿入領域の各画素の深度情報DPとする。
即ち画像処理装置1は、当該フレームの画像データ上で、設定した挿入領域に含まれる各画素PXを、順次情報提示画像ISの各画素について設定した深度情報DPeと比較していき、前後関係を反映して、当該フレームの元の画像データと情報提示画像ISのいずれを表示画素とするかを決定していく。
これにより、動画とともに例えばタイム等の情報を示す情報提示画像ISが表示される。しかも情報提示画像ISは、表示される位置に応じた遠近法に沿ったサイズや形状とされて、違和感がない。
また情報提示画像ISを構成する画素は、元の画素の深度情報DPに沿った深度情報DPeとされる。例えば図13Aのような動画である場合、その後、ランナーがタイム表示の部分を駆け抜けていくことになるが、その際もランナーの位置と情報提示画像ISの各部の前後関係が反映された状態となる。これは、あたかもタイムを示す数値の物体が実際にゴールラインに沿って置かれているような画像表現となり、視覚効果の高い情報提示を実現できる。
また提示する情報は、多様に考えられる。例えばスポーツの動画であれば、競技のスコア、解説のためのテキスト、選手情報などが想定される。
撮像しているカメラに設けたセンサ、競技場に設けたセンサなどの検出データに基づく情報を提示することもできる。
以上の実施の形態では、動画に対する付加画像(エフェクト画像EF、テロップ画像TP、情報提示画像IS)を自動的に付加する例を述べたが、以下では、ユーザが付加画像の編集(例えば付加画像の表示の修正や付加画像自体の追加など)を手動で行うためのインタフェースについて説明する。
この表示画面上には、編集操作のための画像モニタ領域60、操作領域61が設けられる。
ここで、エフェクト画像EFは半透明の壁状とされた仮想的な物体としている。そして被写体82はエフェクト画像EFより手前側に、被写体83はエフェクト画像EFより奥側に居る状態の画像となっている。
そして、そのデプスマップ画像61c内に、操作アイコン画像61aが表示される。
そしてユーザは、タッチパネル操作により操作アイコン画像61aのドラッグ等を行うことで、デプスマップ画像61c内での操作アイコン画像61aの位置を移動させることができる。
例えば図15Bは、操作アイコン画像61aを手前側に移動させた状態である。
このような操作により、実際の動画内でのエフェクト画像EFの位置(深度方向及び水平方向の位置)を変化させることができる。図15Bにおける画像モニタ領域60では、エフェクト画像EFが、右手前側に移動され、被写体82もエフェクト画像EFよりも奥側になった状態が示されている。
なお、エフェクト画像EFに限らず、テロップ画像TPや情報提示画像ISについても同様の操作で表示位置(深度方向及び水平方向の位置)を調整することができる。
その場合、当該操作により、壁を前後させて、隠す領域を調整することもできる。
第5の実施の形態の編集インタフェース例を図16に示す。これは三面図によるプレビューを行うようにした例である。
即ちフロントビュー領域62、トップビュー領域63、サイドビュー領域64、設定領域65、タイムライン領域66である。
例えば「human1」「human2」は被写体82,83を、「moll」はエフェクト画像EFを表し、○で登場タイミング、●で終了(画面からいなくなる)タイミングを示している。またバー66bにより、フロントビュー領域62、トップビュー領域63、サイドビュー領域64に示される動画内のプレビューされている時点(フレーム)が示される。
エフェクト画像EFの深度の設定に関しては、トップビュー領域63やサイドビュー領域64におけるエフェクト画像EFのタッチ操作、ドラッグ操作で変更可能としてもよい。
これらにより、ユーザは、実際の動画の中で、エフェクト画像EFのサイズ、色、深度や、エフェクト画像EFの登場区間を容易に調整できる。
第6の実施の形態としての編集インタフェースの例を図17で説明する。これは深度軸と時間軸を表したタイムラインを表示する例である。
図17に示す編集インタフェース画面では、画像モニタ領域60、レイヤー表示領域67、二軸マップ領域68が設けられている。
また、各エフェクト画像EF1,EF2,EF3の深度変化と被写体人物OB1,OB2,OB3,OB4,OB5の深度位置関係が明確であり、画像効果もわかりやすいものとなる。
第7の実施の形態としての編集インタフェースの例を図18から図32を用いて説明する。これも時間軸と深度軸を有する二軸マップを表示する例であるが、さらに二軸マップを活用しながら多様なプレビューを実現する例である。
本例では、編集操作画像70として図18の二軸マップ領域71を表示させながら、多様な画像態様の切替が行われる。
二軸マップ領域71は、左右方向が時間軸とされてタイムラインとしての機能を持つ。さらに上下方向が深度軸とされることで、時間と深度の二軸のマップとなる。
ツールアイコン72としてはタイムライン操作、エフェクト画像EFの配置などに用いる操作子が用意されている。
画面切替アイコン73としては、後述する俯瞰、正面、斜視などのプレビュー画面の切替のための操作子が用意されている。
現在時間表示74として、タイムラインでの現在時間(プレビューされている画像(フレーム)についての動画内での時刻(タイムコード)が表示される。
動画操作アイコン75として、タイムラインによる再生/停止/コマ送り/早送りなどの操作のための操作子が用意される。
拡大縮小操作子76により、画像の拡大や縮小の操作が可能とされる。
例えば再生タイミング(再生時間位置)がプレビュー操作子77により示され、プレビュー操作子77を操作すると図19のように、その時点でのプレビュー画像78の表示が行われる。
また、プレビュー操作子77の時間方向の位置を任意に指定して、その時点でのプレビューを要求する操作ができるようにしてもよい。
図19のようにプレビュー画像78が表示された状態では、閉じ操作子79が表示され、この操作によりプレビュー画像78の表示を終了させる操作ができるようにされる。
図18に示すように、二軸マップ領域71には、エフェクト画像EFや被写体82,83の深度の時間軸方向の遷移が、深度表示ラインHL1,HL2,HL3として示される。
例えば深度表示ラインHL1は、エフェクト画像EFの深度の時間軸での変化を示すものとされる。深度表示ラインHL2、HL3は、被写体82,83についての深度の時間軸での変化を示すものとされる。
このように深度表示ラインHL1,HL2,HL3が示されることで、ユーザは動画内での時間進行に伴う被写体82,83とエフェクト画像EFの前後位置関係の変化が明確に把握できることとなる。
この場合、プレビュー画像78の表示は画像内容である被写体82,83とエフェクト画像EFを上方からみた状態とされる。そして二軸マップ領域68の指定されたタイミングを左右に広げて割り込むように行われる。
つまり二軸マップ領域68における縦方向の深度軸はプレビュー画像78についても適用され、被写体82,83とエフェクト画像EFの深度関係が表現される。
時間軸については、破線部分(プレビュー画像78の部分)は時間の進行が停止された状態となる。換言すれば時間軸が寸断されてプレビュー画像78が挿入される。
時間軸が寸断されるため、プレビュー画像78の左右では、被写体82,83とエフェクト画像EFの深度変化はない。このためプレビュー画像78における被写体82,83とエフェクト画像EFは、それぞれ左右の深度表示ラインHL1,HL2,HL3をつなぐ破線上に位置することになる。
このようなプレビュー画像78により、ユーザは任意のタイミングでの被写体82,83とエフェクト画像EFの深度関係が明確に把握できる。
また エフェクト画像EFの設定(サイズ、位置、種別等)を変化させることができるようにしてもよい。
特に図19のようにプレビュー画像78を表示されると、タイムラインとして深度表示ラインHL1,HL2,HL3が表示される時間範囲が短くなる。その場合、図20のように縮小表示させることで、長い時間範囲でプレビュー画像78の前後の時点の深度関係の変化を確認できるようになる。
なお、ユーザはタイムバー71aを移動させることにより、タイムライン上の各タイミングを指定できる。
これにより時間軸上での被写体82,83とエフェクト画像EFの前後関係を確認したり、エフェクト画像EFの深度を複数の時間位置で調整していくことが容易となる。
この場合、時間軸方向と深度方向が斜視的に表現可能となるため、立体プレビュー画像78Rとともに、タイムライン表示(深度表示ラインHL1,HL2,HL3の表示)も行われている。
これにより画像の前後関係のイメージや、被写体82,83とエフェクト画像EFの深度の時間方向の遷移がわかりやすいものとなる。
図25Aはタイムライン表示(図18参照)である。
タイムライン表示からは図25Bのプレビュー表示(図19参照)に遷移できる。
図25Bのプレビュー表示からは、図25Aのタイムライン表示、図25Cの縮小表示(図20参照)、図25Dの複数プレビュー表示(図21参照)、図25Eの正面画表示(図22参照)、図25Fの立体画表示(図23参照)に遷移できる。これらのそれぞれからプレビュー表示に戻ることもできる。
縮小表示と、複数プレビュー表示は相互に遷移可能である。
立体画表示と、複数プレビュー表示は相互に遷移可能である。
立体画表示と、正面画表示は相互に遷移可能である。
もちろん以上は一例であり、遷移経路は多様に考えられる。
深度表示ラインHL3はテキストEF3の深度の遷移を表している。テキストEF3は光源EF1の後について被写体82の周囲を回る移動を行っているため、これも時間軸方向には、深度表示ラインHL1より少し遅れた正弦波的な遷移となる。
プレビュー画像78では被写体82の周囲に光源EF1、テキストEF3、光源の軌跡EF2が示される。この画面上で、光源EF1やテキストEF3の深度を調整することができる。また光源EF1、軌跡EF2、テキストEF3の設定(サイズ、色、形状その他)を変更可能としても良い。
さらに図31の立体プレビュー画像78Rを表示することで、さらに動画内容と奥行きを同時に確認できる。これによりユーザは各種調整操作を行いながら、立体空間でのエフェクト画像EFの動きを確認でき、編集作業が容易となる。
この各種編集操作画像70は、図1の編集操作画像生成部8の機能により画像処理装置1が生成し、表示部11等に表示させる。
画像処理装置1は、ユーザの操作に応じた画面遷移を行うために、図32の処理を行うことになる。
その状態で画像処理装置1は、ユーザによる操作として、終了操作(S303)、プレビュー操作(S304)、拡大縮小操作(S305)、プレビュー閉じ操作(S306)、正面画操作(S307)、立体画操作(S308)を監視する。
即ち画像処理装置1は、該当時点のフレーム画像における各画素の深度を確認し、各被写体やエフェクト画像EFの深度をトップビューとして表現した画像を生成し、それを二軸マップ領域71の当該タイミングの部分に挿入して表示画像データを生成する。そしてその表示画像データを表示部11に供給して表示させる。
なお、プレビュー不能な場合、例えば有効な画像が存在しない時点に対するプレビュー操作などの場合は、画像処理装置1は、検知したプレビュー操作は無効操作としてステップS303~S308の監視ループに戻る。
即ち画像処理装置1は、二軸マップ領域71の縮尺を変更して、その拡大又は縮小した二軸マップ領域71内でプレビュー画像78が配置されるような表示画像データを生成する。そしてその表示画像データを表示部11に供給して表示させる。
なお、拡大又は縮小が不能な場合、例えば最大拡大率又は最小縮小率の状態にあるときなどは、画像処理装置1は、検知した拡大縮小操作は無効操作としてステップS303~S308の監視ループに戻る。
以上の第1~第7の実施の形態によれば次のような効果が得られる。
各実施の形態では、画像処理装置1は、動画データに付加する付加画像を生成する付加画像生成部5と、付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行う画像編集処理部6を備える。
これにより被写体の深度に応じた各種の画像編集処理、例えば被写体へのエフェクト画像EF等の付加画像の重ね合わせ、付加画像としてのグラフィックスや文字等の合成、光学的効果の付与等の処理を行うことができる。特にはこれらの動画編集において、奥行きのある被写体画像の空間に自然になじむような画像表現が可能になる。
特に自動的に深度に応じた付加画像の合成が行われることで、例えば動画放送のための効果的な動画編集が容易に実行でき、例えばリアルタイム中継で視覚効果の高い放送コンテンツを提供できる。もちろん録画放送において容易に画像エフェクトを施した動画を提供できることにもなる。
そして本技術による多彩な画像表現、処理の容易性は、より広いユーザ層に受け入れられ易いと考えられる。映画やドラマは勿論、パーソナルコンテンツやソーシャルメディアのさらなる発展に貢献できる。特にスポーツなどは新たな楽しみ方が増えることでよりファン層の拡大が期待できる。
また自動的に深度に応じた合成が行われることで、一般ユーザにとっても多様かつ高度な画像処理を容易かつ気軽に実行できるものとなる。特にユーザに高度なスキルを要求せずに、より自然な編集動画を生成できる。これによりユーザにとっては画像表現の拡大がもたらされる。
通常、画像表現はユーザのスキルやツールの機能や性能に制約を大きく受けていたが、本実施の形態の技術により表現の幅が大幅に広がることが期待される。ユーザはより容易に自らのイメージに近い表現をすることができるし、一般的なエフェクトと異なり組み合わせで使うことによる効果が期待できるため表現のバリエーションも大きく広がる。
また本実施の形態は、ソーシャルメディアの発展にも寄与できる。
実施の形態の技術は、表現の多彩さ、容易さにより広いユーザ層に受け入れられることが想定される。これによりソーシャルメディアでの表現が多彩となり、おもしろみのある動画によるコミュニケーション環境を提供できる。
なお付加画像としてエフェクト画像EF、情報提示画像IS、テロップ画像TPを例に挙げたが、付加画像はこれらに限定されるものではない。これらに含まれない態様であっても、動画に画像効果や情報提示のために付加される画像が本開示で言う付加画像に相当する。
例えば動画内の被写体をコピーした画像を追加したり、他の動画の被写体を追加するなどの態様の付加画像も想定される。
またエフェクト画像EF、情報提示画像IS、テロップ画像TPなどを複合して動画に合成することも当然考えられる。
即ち付加画像について設定された深度情報と被写体(動画データの各フレームの画素)の深度情報により、付加画像と被写体の前後関係が規定されるようにする。
この前後関係を反映して、付加画像(エフェクト画像EF、情報提示画像IS、テロップ画像TP等)を動画の元々の被写体に合成することで、立体空間上での正しい位置関係で付加画像を挿入できる。つまり動画編集として付加画像を付加する際に、被写体の空間に対して違和感のない付加画像の合成が実現できる。
例えば付加画像生成部5もしくは画像編集処理部6は、付加画像を深度情報に基づいてサイズ調整する。これにより付加画像自体が挿入位置の遠近に応じたサイズ(遠近法に沿った状態)で表現されるようにする。
付加画像自体が、その遠近によってサイズ調整されることで、元々の被写体と違和感の無い状態で合成される。これにより高品位な付加画像を合成することができる。例えば図5Aのエフェクト画像EF、図10Aのテロップ画像TPや図13Aの情報提示画像ISは、遠近を反映した画像となっていることで、自然に動画にマッチしている。
即ち動画内で動きのある被写体の動きの追尾や動きの軌跡などを表現するエフェクト画像EFを付加画像として生成し、動画に合成する(図6、図7、図8、図9参照)。
これにより動画における動体の動きに応じた多様な画像表現を実現できる。例えば図4C、図4D、図4E、図5A、図5Bに例示したように迫力のある動画、動きのわかりやすい動画などを提供できる。
なおエフェクト画像EFとしては動体に応じたものに限られない。例えば図15A、図15Bに例示したように、動体とは特に無関係のエフェクト画像EFも考えられる。動画内の被写体の一部を隠す効果、被写体の一部を強調する効果、特に画像内容とは無関係のグラフィックの挿入、複数の動画の重ね合わせなど、多様な例のエフェクト画像EFが想定される。
例えばエフェクト画像EFについて、動体の動きに応じた深度情報を設定し、エフェクト画像が動体の深度に対応した画像となるようにする(図6、図7、図8、図9参照)。
これにより動体に対応するエフェクト画像EFは、周囲の被写体との前後関係が規定される。この前後関係を反映して、エフェクト画像EFを動画の元々の被写体に合成することで、立体空間内での正しい位置関係で動体に応じた効果画像を表現するような画像が実現される。従って動画内の被写体の空間に対して違和感のないエフェクト画像EFとして動体軌跡や動体の動きに応じた画像が表現できる。
つまり付加画像生成部5もしくは画像編集処理部6は、エフェクト画像EFを深度情報に基づいてサイズ調整する。これによりエフェクト画像EF自体が挿入位置(つまり各フレームにおける動体の位置)の遠近に応じたサイズ(遠近法に沿った状態)で表現されるようにする(図6、図7、図8、図9参照)。
エフェクト画像EFが、その遠近によってサイズ調整されることで、元々の動画の中で動体が視認される大きさに応じたサイズ感で軌跡等が表現される。例えば図5Aのエフェクト画像EFとして表現される動体80の軌跡は、各時点(フレーム)の動体位置に応じてサイズ(この場合は軌跡の横幅)が変化する。このように遠近を反映した画像とすることで、自然に動画にマッチしつつ、時間経過に伴う動体80の変位をわかりやすく表現できることになる。
即ち動画内で動きのある被写体の動き軌跡を表現するエフェクト画像を付加画像として生成し、動画に合成する(図9A、図9B参照)。
これにより動画における動体の動きの軌跡をわかりやすく提示する画像表現を実現できる(図4C、図4D、図4E、図5A、図5B参照)。
即ち動画内で動体の動作として各種の態様や種別があるが、それらを表現するエフェクト画像を付加画像として生成し、動画に合成する(図9B参照)。
これにより動画における動体の動きの態様や種別をわかりやすく提示する画像表現を実現できる。例えば図4C、図4Eは略水平方向の移動を表し、図4Dはスピンを表している。図5Aの例では、動体80としてのボールの回転数によって色や濃度が変化する画像とした。図5Bの場合、一方の人物の竹刀の軌跡と他方の人物の竹刀の軌跡を異なる色で表現する画像とした。
これらにより、迫力のある画像であるだけでなく、動きの態様や種別がわかりやすい画像を提供できることになる。
つまり動画内で人物の発話などを検出し、そのテロップ画像を付加画像として生成し、動画に合成する(図11、図12A、図12B、図12C参照)。
これにより動画において音声テロップを含む画像表現を実現できる。例えば図10A、図10B、図10C、図10Dに例示したように音声を表現する動画を提供できる。そしてこのテロップ画像TPが、深度情報を用いて合成されることで、音源(発話者)の深度を反映した画像表現となる。
即ち動画内で発話される音声を認識しテキストデータを取得する。そしてそのテキストデータをテロップ表示する(図11、図12A、図12B、図12C参照)。
これにより動画における被写体人物の発話を明示するとともに、そのテロップは例えば発話した被写体人物の深度に対応した状態で表示されるように合成される。従って発話した被写体人物に応じたテロップとして合成され、発話者がわかりやすい画像表現が実現できる。
テロップ画像TPは、例えば認識した音声の音量、声量に応じてサイズ、フォントなどが異なるなど、異なる表示態様とする(図12C参照)。
これにより動画における被写体人物の発話などの音量によって、表示態様が異なるテロップ画像TPを、その発話した被写体人物の深度に対応した状態で表示されるようにすることができ、面白みのある、或いは表現力の高いテロップ表示が実現できる。
例えば認識した音声や画像から発話者の感情を推定する。そして感情(怒り、喜び、驚き)などにより、サイズ、フォントなどが異なるなど、異なる表示態様とする(図12B参照)。
例えば図10B、図10C、図10Dに例示したように吹き出しの態様や文字サイズ、フォント等を変えることで感情を表現するテロップ画像TPとなる。
これにより動画における被写体人物の感情等を反映し、面白みのある、或いは表現力の高いテロップ表示が実現できる。
即ち動画に関して情報ソースから情報を取得し、その情報を提示する画像を付加画像として生成する。そして深度情報を用いて動画に合成する(図14参照)。
これにより動画に関連した情報を、適切な前後関係や遠近状態であって違和感ない状態で画面上に提示することができる。例えば図13Aのようにタイム表示を行う場合でも、ゴールライン近辺に合成する場合に、その遠近が表現されることで、違和感のない動画を視聴者に提供できることになる。
即ち付加画像の合成状態を編集したい場合に、ユーザが編集に用いる編集画像を生成し、表示されるようにする。この場合に編集画像は、動画の時間軸と深度軸が表現されるものとする。
図16の例、図17の例、図18~図31で説明した例では、タイムラインとしての動画の時間軸が存在し、また被写体や付加情報の深度を示す軸が存在する。これによりユーザは、動画の進行とともに深度の状態を把握し易い。これによって付加画像の編集作業が容易化される。
なお、第4の実施の形態(図15)では、編集インタフェース画面上で深度軸を備えるようにして、付加画像の深度を直感的に調整できるようにしている。これによってもユーザの簡易な編集が実現できる。
例えば1つの領域として、例えば横方向が時間軸、縦方向が深度軸となるような領域を設けて編集用の画面が形成されるようにする。
図17の例や、図18~図31で説明した例では、二軸マップ領域68,71がこのような領域である。時間軸と深度軸から成る領域を設けることで、動画の進行と被写体や付加画像の深度の関係や変動が極めて認識し易くなり、編集作業の効率化、容易化が実現できる。
例えば時間軸方向の情報がタイムラインとして表示されつつ、その一部の時点のプレビュー画像78や立体プレビュー画像78Rが同時に表示されるようにする。
例えば図19や図23のように表示が行われることで、タイムライン上での或る時点の画像を容易に確認でき、しかも被写体等の前後関係の変化がわかりやすいものとなる。これによって編集作業の効率化、容易化が促進される。
例えば時間軸方向の情報がタイムラインとして表示されつつ、或る時点を指定することで、タイムラインの情報が提示されたまま、当該時点のプレビュー画像78が図19のように表示されるようにした。
これにより、タイムライン上でユーザが指定した或る時点の画像を容易に確認できる。しかも、その前後での被写体等の前後関係の変化がわかりやすい。これによって編集作業の効率化、容易化が促進される。
例えば時間軸方向の情報がタイムラインとして表示されつつ、タイムライン上で指定した或る時点の画像が立体プレビュー画像78Rとして図22のように表示される。
これにより被写体や付加画像の深度の関係がわかりやすくなり、これによっても編集作業の効率化、容易化が促進される。
即ち図6、図7、図8、図9、図11、図12、図14の処理を情報処理装置に実行させるプログラムである。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
動画データに付加する付加画像を生成する付加画像生成部と、
付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行う画像編集処理部と、を備えた
画像処理装置。
(2)
前記画像編集処理部は、動画データの被写体の深度情報と前記付加画像に設定された深度情報とを用いて被写体と付加画像の前後関係を反映した画像編集を行う
上記(1)に記載の画像処理装置。
(3)
前記付加画像は、動画データにおける当該付加画像の挿入位置における深度情報に応じてサイズ調整されて動画データに合成される
上記(1)又は(2)に記載の画像処理装置。
(4)
前記付加画像は、動画データにおける動体検出結果を用いて生成されるエフェクト画像である
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
前記エフェクト画像には動体に応じた深度情報が設定され、
前記画像編集処理部は、動画データの被写体の深度情報と前記エフェクト画像に設定された深度情報とを用いて被写体と付加画像の前後関係を反映した画像編集を行う
上記(4)に記載の画像処理装置。
(6)
前記エフェクト画像は、動体に応じた深度情報が設定され、深度情報に応じてサイズ調整されて動画データに合成される
上記(4)又は(5)に記載の画像処理装置。
(7)
前記付加画像は、動画データにおける動体の軌跡を表すエフェクト画像である
上記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記付加画像は、動画データにおける動体の動作態様又は動作種別を表すエフェクト画像である
上記(1)乃至(7)のいずれかに記載の画像処理装置。
(9)
前記付加画像は、動画データにおける音声検出結果を用いて生成されるテロップ画像である
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(10)
前記テロップ画像は、動画データからの音声認識に基づいてテキストデータを表示する画像である
上記(9)に記載の画像処理装置。
(11)
前記テロップ画像は、動画データから認識される音声の音量に応じて異なる態様の画像とされる
上記(9)又は(10)に記載の画像処理装置。
(12)
前記テロップ画像は、動画データにおける発話者の感情情報に応じて異なる態様の画像とされる
上記(9)乃至(11)のいずれかに記載の画像処理装置。
(13)
前記付加画像は、取得情報を用いて生成される情報提示画像である
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(14)
動画データに付加した前記付加画像を編集するためのユーザインタフェース画像として、動画の時間軸と深度軸が表現される編集操作画像を生成する編集操作画像生成部を備えた
上記(1)乃至(13)のいずれかに記載の画像処理装置。
(15)
前記編集操作画像は、一方の軸が時間軸で他方の軸が深度軸とされる表示領域を有する
上記(14)に記載の画像処理装置。
(16)
前記編集操作画像は、時間軸方向の情報と、ある時点の画像が同時に表示される画像である
上記(14)又は(15)に記載の画像処理装置。
(17)
前記編集操作画像は、時間軸方向の情報を示す画像上で、ある時点を指定することで、当該時点の画像が時間軸方向の情報と同時に表示される画像である
上記(14)乃至(16)のいずれかに記載の画像処理装置。
(18)
前記編集操作画像は、時間軸方向のある時点の画像を立体画像として表示する画像である
上記(14)乃至(17)のいずれかに記載の画像処理装置。
(19)
動画データに付加する付加画像を生成する手順と、
付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行う手順と、
を情報処理装置が実行する画像処理方法。
(20)
動画データに付加する付加画像を生成するステップと、
付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行うステップと、
を情報処理装置に実行させるプログラム。
Claims (18)
- 動画データに付加する付加画像を生成する付加画像生成部と、
付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行う画像編集処理部と、
動画データに付加した前記付加画像を編集するためのユーザインタフェース画像として、動画の時間軸と深度軸が表現され、かつ時間軸方向の情報と、ある時点の画像が同時に表示される画像である編集操作画像を生成する編集操作画像生成部と、を備えた
画像処理装置。 - 前記画像編集処理部は、動画データの被写体の深度情報と前記付加画像に設定された深度情報とを用いて被写体と付加画像の前後関係を反映した画像編集を行う
請求項1に記載の画像処理装置。 - 前記付加画像は、動画データにおける当該付加画像の挿入位置における深度情報に応じてサイズ調整されて動画データに合成される
請求項1に記載の画像処理装置。 - 前記付加画像は、動画データにおける動体検出結果を用いて生成されるエフェクト画像である
請求項1に記載の画像処理装置。 - 前記エフェクト画像には動体に応じた深度情報が設定され、
前記画像編集処理部は、動画データの被写体の深度情報と前記エフェクト画像に設定された深度情報とを用いて被写体と付加画像の前後関係を反映した画像編集を行う
請求項4に記載の画像処理装置。 - 前記エフェクト画像は、動体に応じた深度情報が設定され、深度情報に応じてサイズ調整されて動画データに合成される
請求項4に記載の画像処理装置。 - 前記付加画像は、動画データにおける動体の軌跡を表すエフェクト画像である
請求項1に記載の画像処理装置。 - 前記付加画像は、動画データにおける動体の動作態様又は動作種別を表すエフェクト画像である
請求項1に記載の画像処理装置。 - 前記付加画像は、動画データにおける音声検出結果を用いて生成されるテロップ画像である
請求項1に記載の画像処理装置。 - 前記テロップ画像は、動画データからの音声認識に基づいてテキストデータを表示する画像である
請求項9に記載の画像処理装置。 - 前記テロップ画像は、動画データから認識される音声の音量に応じて異なる態様の画像とされる
請求項9に記載の画像処理装置。 - 前記テロップ画像は、動画データにおける発話者の感情情報に応じて異なる態様の画像とされる
請求項9に記載の画像処理装置。 - 前記付加画像は、取得情報を用いて生成される情報提示画像である
請求項1に記載の画像処理装置。 - 前記編集操作画像は、一方の軸が時間軸で他方の軸が深度軸とされる表示領域を有する
請求項1に記載の画像処理装置。 - 前記編集操作画像は、時間軸方向の情報を示す画像上で、ある時点を指定することで、当該時点の画像が時間軸方向の情報と同時に表示される画像である
請求項1に記載の画像処理装置。 - 前記編集操作画像は、時間軸方向のある時点の画像を立体画像として表示する画像である
請求項1に記載の画像処理装置。 - 動画データに付加する付加画像を生成する手順と、
付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行う手順と、
動画データに付加した前記付加画像を編集するためのユーザインタフェース画像として、動画の時間軸と深度軸が表現され、かつ時間軸方向の情報と、ある時点の画像が同時に表示される画像である編集操作画像を生成する手順と、
を情報処理装置が実行する画像処理方法。 - 動画データに付加する付加画像を生成するステップと、
付加画像を付加する対象とした動画データにおける画素の深度情報を用いて、動画データに付加画像を付加する画像編集処理を行うステップと、
動画データに付加した前記付加画像を編集するためのユーザインタフェース画像として、動画の時間軸と深度軸が表現され、かつ時間軸方向の情報と、ある時点の画像が同時に表示される画像である編集操作画像を生成するステップと、
を情報処理装置に実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018102028 | 2018-05-29 | ||
JP2018102028 | 2018-05-29 | ||
PCT/JP2019/016198 WO2019230225A1 (ja) | 2018-05-29 | 2019-04-15 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019230225A1 JPWO2019230225A1 (ja) | 2021-07-15 |
JP7272356B2 true JP7272356B2 (ja) | 2023-05-12 |
Family
ID=68697453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521777A Active JP7272356B2 (ja) | 2018-05-29 | 2019-04-15 | 画像処理装置、画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11450352B2 (ja) |
EP (1) | EP3787285B1 (ja) |
JP (1) | JP7272356B2 (ja) |
CN (1) | CN112154658A (ja) |
WO (1) | WO2019230225A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9854156B1 (en) | 2016-06-12 | 2017-12-26 | Apple Inc. | User interface for camera effects |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
JP6773349B1 (ja) * | 2019-12-10 | 2020-10-21 | カクテルメイク株式会社 | 情報処理装置及びプログラム |
JPWO2021220804A1 (ja) * | 2020-04-27 | 2021-11-04 | ||
CN111246118B (zh) * | 2020-04-27 | 2020-08-21 | 成都派沃特科技股份有限公司 | Ar元素的显示方法、装置、设备及存储介质 |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
CN111757013B (zh) | 2020-07-23 | 2022-04-29 | 北京字节跳动网络技术有限公司 | 一种视频处理方法、装置、设备及存储介质 |
JP7148172B2 (ja) * | 2021-03-03 | 2022-10-05 | VoiceApp株式会社 | 字幕表示処理プログラム、字幕表示処理装置、サーバ。 |
CN115529415A (zh) * | 2021-04-30 | 2022-12-27 | 苹果公司 | 用于更改视觉媒体的用户界面 |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
KR20230151027A (ko) * | 2021-04-30 | 2023-10-31 | 애플 인크. | 시각적 미디어를 변경하기 위한 사용자 인터페이스들 |
JP7385289B2 (ja) | 2021-08-03 | 2023-11-22 | 株式会社フロンティアチャンネル | プログラム及び情報処理装置 |
US11857877B2 (en) * | 2021-12-23 | 2024-01-02 | Ati Technologies Ulc | Automatic in-game subtitles and closed captions |
DE102022108033A1 (de) | 2022-04-04 | 2023-10-05 | Frederik Merkel | Verfahren zur visuellen Darstellung von Sprache und eine Anordnung zur Ausführung des Verfahrens |
CN115175005A (zh) * | 2022-06-08 | 2022-10-11 | 中央广播电视总台 | 视频处理方法、装置、电子设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002374494A (ja) | 2001-06-14 | 2002-12-26 | Fuji Electric Co Ltd | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
JP2004145448A (ja) | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP2005123824A (ja) | 2003-10-15 | 2005-05-12 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
WO2006022071A1 (ja) | 2004-08-25 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | 映像表示装置及び映像表示方法 |
JP2007027990A (ja) | 2005-07-13 | 2007-02-01 | Canon Inc | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 |
JP2011010128A (ja) | 2009-06-26 | 2011-01-13 | Canon Inc | 再生装置、撮像装置、及びその制御方法 |
JP2011019191A (ja) | 2009-07-10 | 2011-01-27 | Sony Corp | 情報処理装置および情報処理方法 |
US20120032950A1 (en) | 2010-08-03 | 2012-02-09 | Samsung Electronics Co., Ltd. | Apparatus and method for synthesizing additional information while rendering object in 3d graphic-based terminal |
JP2012094144A (ja) | 2010-10-25 | 2012-05-17 | Sony Computer Entertainment Inc | ビデオの3−d情報および他の情報用の一元管理データベース |
JP2013118468A (ja) | 2011-12-02 | 2013-06-13 | Sony Corp | 画像処理装置および画像処理方法 |
WO2014013627A1 (ja) | 2012-07-20 | 2014-01-23 | 楽天株式会社 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
JP2014016670A (ja) | 2012-07-05 | 2014-01-30 | Nikon Corp | 画像処理装置及び画像処理プログラム |
JP2015156540A (ja) | 2014-02-20 | 2015-08-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06105231A (ja) | 1992-09-24 | 1994-04-15 | Namco Ltd | 画像合成装置 |
JPH11316823A (ja) * | 1998-05-06 | 1999-11-16 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成方法および装置および本方法を記録した記録媒体 |
JP2004112112A (ja) * | 2002-09-13 | 2004-04-08 | Sony Corp | 情報処理装置 |
JP5084682B2 (ja) | 2008-09-25 | 2012-11-28 | キヤノン株式会社 | 画像処理装置、制御方法、プログラム及び記録媒体 |
JP2011118834A (ja) * | 2009-12-07 | 2011-06-16 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2011170282A (ja) * | 2010-02-22 | 2011-09-01 | Toshiba Corp | 再生装置および再生方法 |
JP5750864B2 (ja) * | 2010-10-27 | 2015-07-22 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2015039063A (ja) * | 2010-12-21 | 2015-02-26 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
JP5868044B2 (ja) * | 2011-07-11 | 2016-02-24 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体 |
WO2014013689A1 (ja) * | 2012-07-20 | 2014-01-23 | パナソニック株式会社 | コメント付き動画像生成装置およびコメント付き動画像生成方法 |
JP5254505B1 (ja) | 2012-07-20 | 2013-08-07 | 楽天株式会社 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
WO2014155877A1 (ja) | 2013-03-26 | 2014-10-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10475242B2 (en) * | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
JP6484406B2 (ja) * | 2014-05-28 | 2019-03-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報提示装置、情報提示方法、およびコンピュータプログラム |
JP6529267B2 (ja) | 2015-01-23 | 2019-06-12 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 |
CN109983753A (zh) | 2016-11-28 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
-
2019
- 2019-04-15 WO PCT/JP2019/016198 patent/WO2019230225A1/ja unknown
- 2019-04-15 EP EP19812511.4A patent/EP3787285B1/en active Active
- 2019-04-15 JP JP2020521777A patent/JP7272356B2/ja active Active
- 2019-04-15 CN CN201980034120.4A patent/CN112154658A/zh active Pending
- 2019-04-15 US US17/057,374 patent/US11450352B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002374494A (ja) | 2001-06-14 | 2002-12-26 | Fuji Electric Co Ltd | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
JP2004145448A (ja) | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP2005123824A (ja) | 2003-10-15 | 2005-05-12 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
WO2006022071A1 (ja) | 2004-08-25 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | 映像表示装置及び映像表示方法 |
JP2007027990A (ja) | 2005-07-13 | 2007-02-01 | Canon Inc | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 |
JP2011010128A (ja) | 2009-06-26 | 2011-01-13 | Canon Inc | 再生装置、撮像装置、及びその制御方法 |
JP2011019191A (ja) | 2009-07-10 | 2011-01-27 | Sony Corp | 情報処理装置および情報処理方法 |
US20120032950A1 (en) | 2010-08-03 | 2012-02-09 | Samsung Electronics Co., Ltd. | Apparatus and method for synthesizing additional information while rendering object in 3d graphic-based terminal |
JP2012094144A (ja) | 2010-10-25 | 2012-05-17 | Sony Computer Entertainment Inc | ビデオの3−d情報および他の情報用の一元管理データベース |
JP2013118468A (ja) | 2011-12-02 | 2013-06-13 | Sony Corp | 画像処理装置および画像処理方法 |
JP2014016670A (ja) | 2012-07-05 | 2014-01-30 | Nikon Corp | 画像処理装置及び画像処理プログラム |
WO2014013627A1 (ja) | 2012-07-20 | 2014-01-23 | 楽天株式会社 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
JP2015156540A (ja) | 2014-02-20 | 2015-08-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112154658A (zh) | 2020-12-29 |
EP3787285A4 (en) | 2021-03-03 |
JPWO2019230225A1 (ja) | 2021-07-15 |
US11450352B2 (en) | 2022-09-20 |
EP3787285B1 (en) | 2023-04-12 |
WO2019230225A1 (ja) | 2019-12-05 |
EP3787285A1 (en) | 2021-03-03 |
US20210201953A1 (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7272356B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN107154069B (zh) | 一种基于虚拟角色的数据处理方法及系统 | |
US20230254465A1 (en) | System and method for presenting virtual reality content to a user | |
US11218783B2 (en) | Virtual interactive audience interface | |
US10902676B2 (en) | System and method of controlling a virtual camera | |
US20110304629A1 (en) | Real-time animation of facial expressions | |
TWI531396B (zh) | 用於推動互動故事的自然使用者輸入 | |
US20160110922A1 (en) | Method and system for enhancing communication by using augmented reality | |
US8958686B2 (en) | Information processing device, synchronization method, and program | |
US20090046097A1 (en) | Method of making animated video | |
CN103258338A (zh) | 利用真实数据来驱动仿真的虚拟环境的方法和系统 | |
US20120229475A1 (en) | Animation of Characters | |
JP2008250813A (ja) | 画像生成装置、画像処理方法、および、プログラム | |
JP2010092402A (ja) | 簡易アニメーション作成装置 | |
CA3216229A1 (en) | System and method for performance in a virtual reality environment | |
KR20110074191A (ko) | 퀘스트 발급 장치 및 이를 이용한 퀘스트 발급 방법 | |
JP6313003B2 (ja) | カラオケ装置、画像出力方法、およびプログラム | |
JP2008083672A (ja) | 表情影像を表示する方法 | |
JP2006073026A (ja) | 動画像編集方法 | |
JP5509287B2 (ja) | 再生表示装置、再生表示プログラム、再生表示方法、および画像処理サーバー | |
US11222667B2 (en) | Scene-creation using high-resolution video perspective manipulation and editing techniques | |
US20230368471A1 (en) | Method and system for converting 2-d video into a 3-d rendering with enhanced functionality | |
Doroski | Thoughts of Spirits in Madness: Virtual Production Animation and Digital Technologies for the Expansion of Independent Storytelling | |
US20230206534A1 (en) | System to convert expression input into a complex full body animation, in real time or from recordings, analyzed over time | |
Kang et al. | One-Man Movie: A System to Assist Actor Recording in a Virtual Studio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230307 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7272356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |