JP2024001487A - 配信装置、配信方法、プログラム - Google Patents

配信装置、配信方法、プログラム Download PDF

Info

Publication number
JP2024001487A
JP2024001487A JP2022100167A JP2022100167A JP2024001487A JP 2024001487 A JP2024001487 A JP 2024001487A JP 2022100167 A JP2022100167 A JP 2022100167A JP 2022100167 A JP2022100167 A JP 2022100167A JP 2024001487 A JP2024001487 A JP 2024001487A
Authority
JP
Japan
Prior art keywords
audio
video
distribution device
delay
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022100167A
Other languages
English (en)
Other versions
JP7368881B1 (ja
Inventor
耕史 大石
Koji Oishi
正人 小林
Masato Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korg Inc
Original Assignee
Korg Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korg Inc filed Critical Korg Inc
Priority to JP2022100167A priority Critical patent/JP7368881B1/ja
Application granted granted Critical
Publication of JP7368881B1 publication Critical patent/JP7368881B1/ja
Publication of JP2024001487A publication Critical patent/JP2024001487A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる配信装置を提供する。【解決手段】配信装置は、キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、ビデオ・フレーム列に対するオーディオ波形の位置を時間軸方向に移動させる操作、またはオーディオ波形に対するビデオ・フレーム列の位置を時間軸方向に移動させる操作、およびビデオ信号またはオーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する表示部を含む。【選択図】図3

Description

本発明は、配信装置、配信方法、プログラムに関する。
例えば、特許文献1には、映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置が開示されている。
特許文献1の映像音声再生システムは、映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、配信された映像データを処理して映像として表示する映像表示装置と、配信された音声データを処理して音声として出力する音声出力装置を備える。配信装置は、同期調整用のテストコンテンツとしての判定用音声の音声データと、判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の映像データを配信する。配信装置と音声出力装置の少なくとも何れかは、判定用映像におけるタイミングで判定用音声が出力されるように、音声出力装置からの出力を遅延させる。
特開2010-154249号公報
図1に従来の配信システムの構成例を示す。同図の配信システムは、デジタル・ビデオカメラ90、スイッチャ91、マイク92、マイク・プリアンプ93、A/Dコンバータ94、デジタル・ミキサーエフェクタ95、収録/配信機材96等を含む構成である。
同図に示すように、映像側では、デジタル・ビデオカメラ90、スイッチャ91において遅延が発生する。音声側では、A/Dコンバータ94、デジタル・ミキサーエフェクタ95において遅延が発生する。
このように、ビデオ機器、オーディオ機器にはそれぞれ固有の遅延量があり、同時収録しても映像と音声の同期(リップシンク)が取れていない。通常は映像機器の方が遅延量が大きいので、リップシンクを取るには音声側に遅延器を追加する必要があるが、音声側に処理量の多いエフェクタを挿入した場合は音声の方が遅れる場合がある(その場合は映像側に遅延器を追加する)。
リップシンクのために、映像または音声の遅延量を設定する場合、収録された映像を見て、人間が判断するのが一般的である。図2に従来の遅延量設定環境の構成例を示す。同図の遅延量設定環境は、収録/配信機材96と、映像モニタ97と、オーディオインターフェース98と、ヘッドホン99を含む構成である。
同図に示すように、映像モニタ97、オーディオインターフェース98に、それぞれ固有の遅延が発生するため、遅延量の設定はそれらが一致している環境でないと難しい。また、リップシンクが取れているかどうかの判断は、感性によるところが大きく、経験豊富な人が行わなければ判断し難いという課題があった。上述の特許文献1も同様の課題を有している。
そこで本発明では、どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる配信装置を提供することを目的とする。
本発明の配信装置は、ビデオキャプチャ部と、オーディオキャプチャ部と、表示部と、遅延部と、配信部を含む。
ビデオキャプチャ部は、逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャする。オーディオキャプチャ部は、逐次入力されるオーディオ信号のうち、所定の時間区間内のオーディオ・サンプル群をキャプチャする。表示部は、キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、ビデオ・フレーム列に対するオーディオ波形の位置を時間軸方向に移動させる操作、またはオーディオ波形に対するビデオ・フレーム列の位置を時間軸方向に移動させる操作、およびビデオ信号またはオーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する。遅延部は、遅延量に基づいてビデオ信号またはオーディオ信号を遅延させる。配信部は、ビデオ信号およびオーディオ信号を配信する。
本発明の配信装置によれば、どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる。
従来の配信システムの構成例を示すブロック図。 従来の遅延量設定環境の構成例を示すブロック図。 実施例1の配信装置の機能構成を示すブロック図。 実施例1の配信装置の動作を示すフローチャート。 表示部が表示する操作画面の例を示す図。 表示部が表示するガイド線の例を示す図。 ユーザが指定したビデオ・フレームを拡大表示した例を示す図。 ユーザがドラッグ操作により入力した遅延量がビデオ信号に対する10msの遅延を示している場合を例示する図。 実施例2の配信装置の機能構成を示すブロック図。 実施例2の配信装置の動作を示すフローチャート。 コンピュータの機能構成例を示す図。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
以下、図3を参照して実施例1の配信装置の構成を説明する。同図に示すように本実施例の配信装置1は、ビデオキャプチャ部11と、オーディオキャプチャ部12と、ビデオ・フレーム保存部13と、オーディオ・サンプル保存部14と、表示部15と、ビデオ遅延部16と、オーディオ遅延部17と、エンコード部18と、配信部19を含む構成である。同図に破線で示すように、ビデオ遅延部16とオーディオ遅延部17をまとめて1つの構成要件(遅延部165)としてもよい。以下、図4を参照して各構成要件の動作を詳細に説明する。
<ビデオキャプチャ部11>
ビデオキャプチャ部11は、逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャする(S11)。
ビデオキャプチャ部11は、映像音声収録環境において、遅延量補正に用いる何らかのテスト音を発生させたタイミングをうまく収録できるようにキャプチャすることも可能である。考えられる方式は2つある。第1の方式は、遅延量補正の担当者がテスト音の担当者にキューを出し、キューを認知したテスト音の担当者が、キューが出てから所定時間経過までにテスト音を発生する方式(キュー方式)である。第2の方式は、テスト音の担当者が任意のタイミングでテスト音を発生させ、遅延量補正の担当者がテスト音の発生を認知した場合に、リングバッファにより最新のn秒間(nは正の数)について記録され続けているビデオ・フレームの記録を終了させる方式(リングバッファ方式)である。
<キュー方式>
キュー方式の場合、ビデオキャプチャ部11は、ユーザ入力を受け付けたタイミングを開始タイミングとし、開始タイミングから所定時間経過後を終了タイミングとして、ビデオ・フレーム群をキャプチャする。
「ユーザ入力」とは、例えば遅延量補正の担当者が配信装置1上で立ち上げられたアプリケーションにおいて「キャプチャ」ボタンをクリックすることなどを含む。「所定時間経過後」とは、例えば3秒経過後、5秒経過後、などでよい。
<リングバッファ方式>
リングバッファ方式の場合、ビデオキャプチャ部11は、逐次入力されるビデオ信号のうち、最新のビデオ・フレームから所定時間前までのビデオ・フレームまでのビデオ・フレーム群を記録し続けており、ユーザ入力(例えば遅延量補正の担当者による「キャプチャ」ボタンクリック)を受け付けたタイミングを終了タイミングとして、ビデオ・フレーム群をキャプチャする。
<オーディオキャプチャ部12>
オーディオキャプチャ部12は、逐次入力されるオーディオ信号のうち、所定の時間区間内のオーディオ・サンプル群をキャプチャする(S12)。
オーディオキャプチャ部12は、ビデオキャプチャ部11と同様に、キュー方式の場合、リングバッファ方式の場合に特有の動作を行う。
<キュー方式>
キュー方式の場合、オーディオキャプチャ部12は、前述した開始タイミング(例えば遅延量補正の担当者による「キャプチャ」ボタンクリック)と終了タイミング(開始タイミングから所定時間経過後)に従ってオーディオ・サンプル群をキャプチャする。
<リングバッファ方式>
リングバッファ方式の場合、オーディオキャプチャ部12は、逐次入力されるオーディオ信号のうち、最新のオーディオ・サンプルから所定時間前までのオーディオ・サンプルまでのオーディオ・サンプル群を記録し続けており、終了タイミング(例えば遅延量補正の担当者による「キャプチャ」ボタンクリック)に基づいて、オーディオ・サンプル群をキャプチャする。
<ビデオ・フレーム保存部13>
ビデオ・フレーム保存部13は、ビデオキャプチャ部11によりキャプチャされたビデオ・フレーム群をメモリ上に一定時間保存する(S13)。
<オーディオ・サンプル保存部14>
オーディオ・サンプル保存部14は、オーディオキャプチャ部12によりキャプチャされたオーディオ・サンプル群をメモリ上に一定時間保存する(S14)。
<表示部15>
表示部15は、キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を、現在のビデオ遅延量とオーディオ遅延量設定を加味して、時間軸を合わせて並列して表示する操作画面を表示する(S15)。
操作画面の例を図5、図6に示す。図6に例示するように、操作画面は、ビデオ・フレーム列に対するオーディオ波形の位置を時間軸方向に移動(ドラッグ)させる操作を受け付けることができる。同様に、操作画面はオーディオ波形に対するビデオ・フレーム列の位置を時間軸方向に移動させる操作を受け付けることができる。また操作画面は、ビデオ信号またはオーディオ信号に対する遅延量を確定させる操作を受け付けることができる。「遅延量を確定させる操作」とは、例えば図6の状態において、ユーザがビデオ・フレーム列、またはオーディオ波形の位置を時間軸方向に移動(ドラッグ)させた後、図示しない「確定」ボタンなどをクリックする操作に該当する。この場合配信装置1は、ユーザがビデオ・フレーム列、またはオーディオ波形の位置を時間軸方向に移動(ドラッグ)させた量に基づき、映像フレームレートと音声サンプルレートから対応する適切な遅延量を計算し、計算された遅延量をビデオ信号またはオーディオ信号に対する確定された「遅延量」とみなして、以降の処理を実行する。
なお、オーディオ信号のフォーマットがDSD(Direct Stream Digital)の場合は、オーディオ信号をPCM(pulse code modulation)に変換し、波形を表示する。DSDデータはワンビットオーディオであることから、波形情報をデータの粗密という形式で表現している。従って、DSDを扱う場合、操作画面に波形を表示させるためにDSD→PCMへの変換が必要となる。なお、DSDは、データの性質上、音質などを編集する用途には適していないが、ライブ音源を高音質でそのまま配信する用途に向いているため、本実施例の配信装置1が取り扱うオーディオ信号のフォーマットとして好適である。
なお、あるビデオ・フレームにテスト音発生の瞬間と認識できる画像(図6の例では、両手のひらを打ち合わせて音を出す行為)が記録されている場合、このビデオ・フレームが記録された時間の座標は、当該ビデオ・フレームの左端に該当する。従って、遅延量補正の担当者は、テスト音発生の瞬間に該当するオーディオ波形の座標(図6の例の場合、波形の最初のピーク値が記録された座標)を、テスト音発生の瞬間に対応するビデオ・フレームの左端までドラッグして、二つの座標を一致させる必要がある。この操作を支援するために、表示部15は操作画面に補助表示を行ってもよい。例えば表示部15は、ビデオ・フレーム列の各フレームの境界位置を強調表示するガイド線をオーディオ波形を横切るように操作画面に表示する(図6の破線参照)。これにより、遅延量補正の担当者は波形の最初のピーク値をガイド線までドラッグして、「確定」ボタンをクリックすることで、遅延量の補正操作を終了することができるため、操作が簡単になり、ユーザの利便性が向上する。
なお、前述したようにビデオ・フレーム列とオーディオ波形は時間軸を合わせて表示する必要があるため、ビデオ・フレームのサンプリングレート30Hz程度と仮定すると、図6の操作画面の例では、高々33ms×3フレーム≒0.1秒程度の映像、音声しか閲覧できないことになるため、テスト音発生の瞬間をサーチするのに手間がかかる場合がある。一方、ビデオ・フレーム列を小さく表示すれば、一度に閲覧できるビデオ・フレーム列、オーディオ波形の幅が拡大するが、同時に1つ1つのビデオ・フレームの表示サイズが小さくなってしまう。例えば図7の例では、ビデオ・フレーム列を小さく表示した結果、同時に11フレームが閲覧可能となっているが、ビデオ・フレーム内の画像は小さく表示されている。
このような場合に、表示部15は、遅延量補正の担当者を支援するために、例えば遅延量補正の担当者がカーソルを配置するなどの操作で指定したビデオ・フレームを操作画面に拡大表示することができる(図7のカーソル部分、上方に拡大表示されたビデオ・フレームの例を参照)。同様に、表示部15は、遅延量補正の担当者がカーソルを配置するなどの操作で指定した音声波形の一部を操作画面に拡大表示することができる。
<遅延部165>
遅延部165は、表示部15が表示した操作画面に対するユーザの一連の操作により確定された遅延量に基づいてビデオ信号またはオーディオ信号を遅延させる(S165)。なお、ユーザの一連の操作により確定された遅延量が0であった場合には、ステップS165は実行されない。
遅延部165の動作は、以下のビデオ遅延部16、オーディオ遅延部17の何れかによる動作として表現することもできる。
≪ビデオ遅延部16≫
ビデオ遅延部16は、ユーザの一連の操作により確定された遅延量が、ビデオ信号に対する遅延を示している場合には、確定された遅延量に基づいてビデオ信号を遅延させる(S16)。
≪オーディオ遅延部17≫
オーディオ遅延部17は、ユーザの一連の操作により確定された遅延量が、オーディオ信号に対する遅延を示している場合には、確定された遅延量に基づいてオーディオ信号を遅延させる(S17)。なお、ユーザの一連の操作により確定された遅延量が0であった場合には、ステップS16、S17の何れも実行されない。
<エンコード部18>
エンコード部18は、ビデオ信号およびオーディオ信号をエンコードする(S18)。
<配信部19>
配信部19は、(エンコードされた)ビデオ信号およびオーディオ信号を配信する(S19)。
上記の実施例1の配信装置1によれば、ビデオ信号とオーディオ信号のうち、ビデオ信号が遅延している場合は、オーディオ遅延部17が1サンプル単位で遅延量を調整することができる。例えば、サンプリング周波数が48kHzの場合は、1サンプル単位=0.02msに相当する。
一方、オーディオ信号が遅延している場合は、ビデオ遅延部16が1フレーム単位で遅延量を調整することができる。例えば、動画が30fpsの場合は1フレーム長=33ms単位でしか遅延量を調整できない。
上記の課題を解決するために、実施例2の配信装置2は、フレーム単位とサンプル単位それぞれの遅延量を組み合わせて、所望の遅延量となるように遅延量を調整できるように構成されている。
例えば図8に示すように、ユーザがドラッグ操作により入力した遅延量がビデオ信号に対する10msの遅延であった場合、前述したビデオ信号=30fps、オーディオ信号=48kHzの例を用いれば、配信装置2はビデオ信号を1フレーム(33ms)遅延させつつ、オーディオ信号を23ms(0.02ms×1150)遅延させることによって、相対的に10msのビデオ信号の遅延を実現することができる。
以下、図9を参照して本実施例の配信装置2の機能構成を説明する。同図に示すように本実施例の配信装置2は、ビデオキャプチャ部11と、オーディオキャプチャ部12と、ビデオ・フレーム保存部13と、オーディオ・サンプル保存部14と、表示部15と、遅延部265と、エンコード部18と、配信部19を含む構成であり、遅延部265以外の構成については、実施例1と同じである。以下、図10を参照して遅延部265の動作を説明する。
<遅延部265>
遅延部265は、表示部15が表示した操作画面に対するユーザの一連の操作により確定された遅延量(=所望の遅延量)について、ビデオ信号のフレーム単位と、オーディオ信号のサンプル単位のそれぞれの遅延量を組み合わせて所望の遅延量となるようにビデオ信号とオーディオ信号の双方、またはいずれかを遅延させる(S265)。なお、ユーザの一連の操作により確定された遅延量が0であった場合には、ステップS265は実行されない。
実施例1、2の配信装置1、2によれば、表示部15が、ビデオ・フレーム列と、オーディオ波形を、時間軸を合わせて操作画面に並列して表示するため、遅延量が目視で確認でき、どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる。また、ビデオキャプチャ部11およびオーディオキャプチャ部12が、キュー方式、またはリングバッファ方式でキャプチャを実行するため、効率よくテスト音発生の瞬間をキャプチャすることができる。また表示部15が、フレームの境界位置を強調表示するガイド線を表示することにより、ユーザによる操作を簡単にすることができ、ユーザの利便性が向上する。また表示部15が、ユーザが指定したビデオ・フレームを操作画面に拡大表示することにより、ビデオ・フレーム列の閲覧性を向上させることができ、ユーザの利便性が向上する。
また、実施例2の配信装置2によれば、ビデオ信号を遅延させる場合であっても、ビデオ信号のフレーム単位と、オーディオ信号のサンプル単位のそれぞれの遅延量を組み合わせて所望の遅延量となるようにビデオ信号とオーディオ信号の双方、またはいずれかを遅延させることにより、所望の遅延量を実現することができる。
<補記>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
上述の各種の処理は、図11に示すコンピュータの記録部10020に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部10010、入力部10030、出力部10040などに動作させることで実施できる。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD-RAM(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP-ROM(Electrically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャするビデオキャプチャ部と、
    逐次入力されるオーディオ信号のうち、前記所定の時間区間内のオーディオ・サンプル群をキャプチャするオーディオキャプチャ部と、
    前記キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、前記キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、前記ビデオ・フレーム列に対する前記オーディオ波形の位置を時間軸方向に移動させる操作、または前記オーディオ波形に対する前記ビデオ・フレーム列の位置を時間軸方向に移動させる操作、および前記ビデオ信号または前記オーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する表示部と、
    前記遅延量に基づいて前記ビデオ信号または前記オーディオ信号を遅延させる遅延部と、
    前記ビデオ信号および前記オーディオ信号を配信する配信部を含む
    配信装置。
  2. 請求項1に記載の配信装置であって、
    前記ビデオキャプチャ部は、
    ユーザ入力を受け付けたタイミングを開始タイミングとし、前記開始タイミングから所定時間経過後を終了タイミングとして、前記ビデオ・フレーム群をキャプチャし、
    前記オーディオキャプチャ部は、
    前記開始タイミングと前記終了タイミングに従って前記オーディオ・サンプル群をキャプチャする
    配信装置。
  3. 請求項1に記載の配信装置であって、
    前記ビデオキャプチャ部は、
    逐次入力される前記ビデオ信号のうち、最新のビデオ・フレームから所定時間前までのビデオ・フレームまでのビデオ・フレーム群を記録し続けており、ユーザ入力を受け付けたタイミングを終了タイミングとして、前記ビデオ・フレーム群をキャプチャし、
    前記オーディオキャプチャ部は、
    逐次入力される前記オーディオ信号のうち、最新のオーディオ・サンプルから所定時間前までのオーディオ・サンプルまでのオーディオ・サンプル群を記録し続けており、前記終了タイミングに基づいて、前記オーディオ・サンプル群をキャプチャする
    配信装置。
  4. 請求項1に記載の配信装置であって、
    前記表示部は、
    前記ビデオ・フレーム列の各フレームの境界位置を強調表示するガイド線を前記操作画面に表示する
    配信装置。
  5. 請求項1に記載の配信装置であって、
    前記表示部は、
    前記ユーザが指定したビデオ・フレームを前記操作画面に拡大表示する
    配信装置。
  6. 請求項1に記載の配信装置であって、
    前記遅延部は、
    前記ビデオ信号のフレーム単位と、前記オーディオ信号のサンプル単位のそれぞれの遅延量を組み合わせて所望の遅延量となるように前記ビデオ信号と前記オーディオ信号の双方、またはいずれかを遅延させる
    配信装置。
  7. 配信装置が実行する配信方法であって、
    逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャするビデオキャプチャステップと、
    逐次入力されるオーディオ信号のうち、前記所定の時間区間内のオーディオ・サンプル群をキャプチャするオーディオキャプチャステップと、
    前記キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、前記キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、前記ビデオ・フレーム列に対する前記オーディオ波形の位置を時間軸方向に移動させる操作、または前記オーディオ波形に対する前記ビデオ・フレーム列の位置を時間軸方向に移動させる操作、および前記ビデオ信号または前記オーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する表示ステップと、
    前記遅延量に基づいて前記ビデオ信号または前記オーディオ信号を遅延させる遅延ステップと、
    前記ビデオ信号および前記オーディオ信号を配信する配信ステップを含む
    配信方法。
  8. コンピュータを請求項1から6の何れかに記載の配信装置として機能させるプログラム。
JP2022100167A 2022-06-22 2022-06-22 配信装置、配信方法、プログラム Active JP7368881B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022100167A JP7368881B1 (ja) 2022-06-22 2022-06-22 配信装置、配信方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022100167A JP7368881B1 (ja) 2022-06-22 2022-06-22 配信装置、配信方法、プログラム

Publications (2)

Publication Number Publication Date
JP7368881B1 JP7368881B1 (ja) 2023-10-25
JP2024001487A true JP2024001487A (ja) 2024-01-10

Family

ID=88418584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022100167A Active JP7368881B1 (ja) 2022-06-22 2022-06-22 配信装置、配信方法、プログラム

Country Status (1)

Country Link
JP (1) JP7368881B1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101803A (ja) 1999-09-30 2001-04-13 Sony Corp 信号再生装置および方法、並びに記録媒体
JP2006339878A (ja) 2005-05-31 2006-12-14 Toshiba Corp マルチメディアコンテンツの編集端末、編集方法、プログラム
JP2010154249A (ja) 2008-12-25 2010-07-08 Toshiba Corp 映像音声再生システム及び配信装置
US10834298B1 (en) 2019-10-14 2020-11-10 Disney Enterprises, Inc. Selective audio visual synchronization for multiple displays
JP7053071B1 (ja) 2021-01-28 2022-04-12 株式会社コルグ 映像音声同期装置、映像音声同期方法、プログラム

Also Published As

Publication number Publication date
JP7368881B1 (ja) 2023-10-25

Similar Documents

Publication Publication Date Title
CN100450166C (zh) 图像处理装置和图像处理方法
JP3977245B2 (ja) 再生装置
US20100275164A1 (en) Authoring apparatus
JP2007006473A (ja) ディジタル情報を注釈するためのシステム、方法及び該方法を実行させる命令を記憶する記憶媒体
JP2007116649A5 (ja)
EP2160892B1 (en) Method and system for facilitating creation of content
JP2007228334A (ja) 動画像制御装置および方法並びにプログラム
US8774605B2 (en) Display processing apparatus, control method therefor, and display processing system
JP6852478B2 (ja) 通信端末、通信プログラム及び通信方法
JP2005252574A (ja) マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム
JP5762145B2 (ja) 再生システム及びその処理方法及びプログラム
JP7368881B1 (ja) 配信装置、配信方法、プログラム
JP2023501390A (ja) マルチメディア情報処理方法、装置、電子デバイス及び媒体
JP4625862B2 (ja) オーサリング装置およびオーサリング方法
JP2012138804A (ja) 画像処理装置、画像処理方法及びプログラム
JP5146258B2 (ja) 情報処理装置、情報処理システム、およびプログラム
JP4191221B2 (ja) 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム
JP4609711B2 (ja) 画像処理装置および方法、並びにプログラム
JP2008090526A (ja) 会議情報保存装置、システム、会議情報表示装置及びプログラム
TWI355852B (en) Video recording and playing system and method for
JP2013090102A (ja) 配信システム
JP2004206774A5 (ja)
US7965587B2 (en) Record reproducing system, record reproducing method and record reproducing program
JP2004215123A (ja) 画像再生装置、画像再生方法及び画像再生プログラム
JP2004297618A (ja) 画像抽出方法および画像抽出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7368881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150