WO2025220185A1 - 情報処理装置、方法およびプログラム - Google Patents

情報処理装置、方法およびプログラム

Info

Publication number
WO2025220185A1
WO2025220185A1 PCT/JP2024/015444 JP2024015444W WO2025220185A1 WO 2025220185 A1 WO2025220185 A1 WO 2025220185A1 JP 2024015444 W JP2024015444 W JP 2024015444W WO 2025220185 A1 WO2025220185 A1 WO 2025220185A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
audio
delay
processing
delay time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/015444
Other languages
English (en)
French (fr)
Inventor
由実 菊地
麻衣子 井元
真二 深津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/015444 priority Critical patent/WO2025220185A1/ja
Publication of WO2025220185A1 publication Critical patent/WO2025220185A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Definitions

  • Embodiments of the present invention relate to an information processing device, method, and program.
  • This delay is a time difference that occurs between the sending and receiving sides, and includes two types of delay: a processing delay that occurs when performing the processing required for transmission, and a transmission delay that occurs when data moves along the transmission path.
  • video delays are caused by two factors: the time difference between the sender and receiver, and the time difference between the video and audio, and various measures must be taken to minimize delays.
  • delays can be reduced by strengthening the equipment, such as by increasing the specifications of the server that processes the video images or by widening the bandwidth used for transmission.
  • This invention was made in light of the above circumstances, and its purpose is to provide an information processing device, method, and program that can appropriately process moving images.
  • An information processing device includes a calculation unit that calculates a delay time, which is the difference between the delay amount of the video and the delay amount of the audio, based on a first processing delay, which is the delay time caused by video processing and audio processing, including packetization of the video and audio by a video and audio transmitting device that constitutes a moving image; a transmission delay, which is the delay time caused by transmission of the video and audio from the transmitting device to the video and audio receiving device; and a second processing delay, which is the delay time caused by video processing and audio processing by the receiving device; and a control unit that, when the delay time calculated by the calculation unit is outside an allowable range, performs control to put one of the video and audio on hold based on the relationship between the delay time and the allowable range.
  • a first processing delay which is the delay time caused by video processing and audio processing, including packetization of the video and audio by a video and audio transmitting device that constitutes a moving image
  • a transmission delay which is the delay time caused by transmission of the video and audio from the
  • An information processing method is a method performed by an information processing device, and includes the steps of: calculating, by a calculation unit of the information processing device, a delay time that is the difference between the delay amount of the video and the delay amount of the audio, based on a first processing delay that is the delay time caused by video processing and audio processing, including packetization of the video and audio by a transmitting device of the video and audio that constitute a moving image; a transmission delay that is the delay time caused by transmission of the video and audio from the transmitting device to a receiving device of the video and audio; and a second processing delay that is the delay time caused by video processing and audio processing by the receiving device; and performing control by a control unit of the information processing device to suspend output of one of the video and the audio, based on the relationship between the delay time and the allowable range, when the delay time calculated by the calculation unit is outside an allowable range.
  • moving images can be processed appropriately.
  • FIG. 1 is a diagram showing an application example of a video and audio transmission system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing an example of a procedure of processing operations performed by the audio and video transmission system.
  • Figure 3 is a block diagram showing an example of the hardware configuration of a video and audio transmission device according to one embodiment of the present invention.
  • FIG. 1 is a diagram showing an application example of a video and audio transmission system according to an embodiment of the present invention.
  • the audio and video transmission system includes an audio and video transmitting device 100 and an audio and video receiving device 200, which are information processing devices.
  • the video/audio transmitting device 100 has an input unit 11 and a transmitting unit 12.
  • the video/audio receiving device 200 has a receiving unit 21, a delay amount/shift calculating unit 22, a delay control unit 23, and an output unit 24. Details of the processing of each unit will be described later. Furthermore, the calculations related to the processing delay and transmission delay described below may be performed by a separate device.
  • video and audio delays are dynamically controlled on a packet-by-packet basis. This makes it possible to present moving images within a range that does not cause the user to feel uncomfortable.
  • FIG. 2 is a flowchart showing an example of a procedure of processing operations performed by the audio and video transmission system.
  • the input unit 11 of the video and audio transmitting device 100 assigns a timestamp Ta, which is the time when the video A data (sometimes referred to as video data A) acquired by an external camera c is acquired, to the video A data.
  • the input unit 11 also assigns a timestamp Tb, which is the time when the audio B data (sometimes referred to as audio data B) acquired by an external microphone mi is acquired. At the time of this assignment, it is assumed that there is no discrepancy between the timestamps Ta and Tb.
  • Step 1-2 The transmitter 12 compresses and packetizes the video data A and audio data B, respectively, and transmits them to the video and audio receiving device 200.
  • a processing delay Dp(a1) occurs due to the compression and packetization process for the video data A
  • a processing delay Dp(b1) occurs due to the compression and packetization process for the audio data B.
  • the transmitter 12 also transmits information indicating these processing delays to the video and audio receiving device 200.
  • Step 2-1 The receiving unit 21 of the video and audio receiving device 200 receives packets transmitted from the video and audio transmitting device 100 and extracts the video data A and the audio data B from the received packets.
  • a processing delay Dp(a2) occurs for the video data A due to the process of extracting the video data A from the packets
  • a processing delay Dp(b2) occurs for the audio data B due to the process of extracting the audio data B from the packets.
  • a transmission delay Dt(a1) occurs when video data A is transmitted from the video and audio transmitting device 100 to the video and audio receiving device 200
  • a transmission delay Dt(b1) occurs when audio data B is transmitted from the video and audio transmitting device 100 to the video and audio receiving device 200.
  • the delay amount/shift calculation unit 22 calculates the delay amount Db, which is the delay time of the audio, based on the timestamp Tb assigned to the extracted audio data B and the current time Tc, as shown in (3) below.
  • Db Tc - Tb ...
  • the delay amount/deviation calculation unit 22 calculates the audio delay amount Db based on the processing delays Dp(b1) and Dp(b2) of the extracted audio data B and the transmission delay Dt(b1) of the audio data B, as shown in (4) below.
  • Db Dp(b1)+Dp(b2)+Dt(b1)...(4)
  • the delay/shift calculation unit 22 also calculates the delay shift D, which is the synchronization shift between the video and audio in the moving image, based on the data on the video delay Da and the audio delay Db, as shown in (5) below.
  • the calculation result is passed to the delay control unit 23 together with the extracted video data A and audio data B.
  • D Da - Db ... (5)
  • the delay control unit 23 compares the delay amount D calculated in Step 2-2 with the preset "acceptable range of video and audio synchronization deviation (sometimes referred to as the tolerance range) Dth," and performs processing of a pattern according to (a), (b), or (c) below depending on the result of this comparison.
  • the acceptable range of synchronization deviation is the range of video and audio delay deviation D that is set as a range within which the user will not feel uncomfortable.
  • the above range Dth is assumed to be the range from the minimum value "Dth(min),” which is the lower limit of the tolerance range of delay deviation D, to the maximum value "Dth(max),” which is the upper limit of the tolerance range of delay deviation D.
  • Step 2-3a1 When the following (6) is true, that is, when the delay deviation amount D is within the allowable range (YES in Step 2-3a1), the delay control unit 23 passes the extracted video data A and audio data B to the output unit 24 as is (Step 2-3a2). Dth(min) ⁇ D ⁇ Dth(max)...(6)
  • Step 2-3b2 When the following (7) is true, i.e., the delay deviation amount D is outside the allowable range of delay deviation amounts (NO in Step 2-3a1), and the audio data B acquired by the video and audio transmitting device 100 precedes the video data A acquired by the same (YES in Step 2-3b1), the delay control unit 23 waits for the time indicated in the following (8) before outputting the extracted audio data B, and when this time has elapsed, passes the extracted video data A and audio data B to the output unit 24 (Step 2-3b2).
  • control is performed to wait for the output of the audio data B for a time period equal to the difference between the delay deviation amount D and the upper or lower limit value of the allowable range that is closest to the delay deviation amount D, in this case the upper limit value, and when this waiting period brings the delay deviation amount D within the allowable range, the video data A and audio data B are output.
  • control is performed to wait for the output of video data A for a time period equal to the difference between the delay deviation amount D and the value closest to the delay deviation amount D among the upper and lower limits of the allowable range, in this case the lower limit value, and when this waiting period brings the delay deviation amount D within the allowable range, the video data A and audio data B are output.
  • Step 2-4 The output unit 24 outputs the video data A received from the delay control unit 23 to the external monitor mo, causing the video to be played on this monitor mo, and outputs the audio data B received from the delay control unit 23 to the external speaker s, causing the audio to be played on this speaker s.
  • processing is performed for each packet of video data or each packet of audio data, thereby enabling dynamic delay control, and outputting in an optimal state at all times compared to delay control that is fixed by an offset, for example.
  • delay control is performed based on the difference between processing delay and transmission delay. As a result, even when some data arrives early, the data that arrives latest is waited for and output only after all data is received, compromising the real-time nature of data output.
  • an acceptable limit is set in advance as a range within which the user will not feel uncomfortable, and data delay control is implemented based on this acceptable limit before data output, thereby improving the real-time nature of data output.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of a video and audio transmitting device according to an embodiment of the present invention.
  • the video and audio transmitting device 100 according to the above embodiment is configured by, for example, a server computer or a personal computer, and has a hardware processor 111A such as a CPU (Central Processing Unit).
  • a program memory 111B, a data memory 112, an input/output interface 113, and a communication interface 114 are connected to this hardware processor 111A via a bus 115.
  • the communication interface 114 includes, for example, one or more wireless communication interface units, and enables the transmission and reception of information to and from a communication network.
  • a wireless interface for example, an interface that adopts a low-power wireless data communication standard such as a wireless LAN (Local Area Network) is used.
  • the input/output interface 113 is connected to an input device 500 and an output device 600 that are attached to the video/audio transmitting apparatus 100 and used by a user or the like.
  • the input/output interface 113 can take in operation data input by a user or the like through an input device 500 such as a keyboard, a touch panel, a touchpad, a mouse, or the like, and can output output data to an output device 600 including a display device using a liquid crystal or an organic EL (Electro Luminescence) display, etc.
  • the input device 500 and the output device 600 may be devices built into the video and audio transmitting device 100, or may be input devices and output devices of other information terminals that can communicate with the video and audio transmitting device 100 via a network.
  • Program memory 111B is a non-transient tangible storage medium that combines non-volatile memory, such as a hard disk drive (HDD) or solid state drive (SSD), which can be written to and read from at any time, with non-volatile memory such as read-only memory (ROM), and can store programs necessary to execute various control processes, etc., according to one embodiment.
  • non-volatile memory such as a hard disk drive (HDD) or solid state drive (SSD)
  • HDD hard disk drive
  • SSD solid state drive
  • ROM read-only memory
  • Data memory 112 is a tangible storage medium that combines, for example, the non-volatile memory described above with volatile memory such as RAM (Random Access Memory), and can be used to store various data or information acquired and created during various processing operations.
  • RAM Random Access Memory
  • the video and audio transmission device 100 can be configured as a data processing device having the components shown in FIG. 1 as software-based processing function units.
  • the information storage unit used as work memory by each part of the video and audio transmission device 100 can be configured using the data memory 112 shown in Figure 3.
  • these configured storage areas are not essential components within the video and audio transmission device 100, and may be areas provided in, for example, an external storage medium such as a USB (Universal Serial Bus) memory, or a storage device such as a database server located in the cloud.
  • an external storage medium such as a USB (Universal Serial Bus) memory
  • a storage device such as a database server located in the cloud.
  • All of the processing function units in the above-mentioned components can be realized by having the hardware processor 111A read and execute a program stored in the program memory 111B. Note that some or all of these processing function units may also be realized in a variety of other forms, including integrated circuits such as application-specific integrated circuits (ASICs (Application Specific Integrated Circuits)) or field-programmable gate arrays (FPGAs).
  • ASICs Application Specific Integrated Circuits
  • FPGAs field-programmable gate arrays
  • each embodiment can be stored as a program (software means) that can be executed by a computer on a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, MO, etc.), or semiconductor memory (ROM, RAM, flash memory, etc.), and can also be transmitted and distributed via a communications medium.
  • programs stored on the medium also include a configuration program that configures the software means (including not only executable programs but also tables or data structures) that the computer executes.
  • the computer that realizes this device loads the program stored on the recording medium and, in some cases, configures the software means using the configuration program, and executes the above-mentioned processing by having its operation controlled by this software means.
  • the term "recording medium” as used herein is not limited to storage media for distribution, but also includes storage media such as magnetic disks or semiconductor memories installed inside the computer or in devices connected via a network.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made in the implementation stage without departing from the spirit of the invention. Furthermore, the various embodiments may be implemented in appropriate combinations, in which case the combined effects can be obtained. Furthermore, the above-described embodiments include various inventions, and various inventions can be extracted by combining selected elements from the multiple elements disclosed. For example, if the problem can be solved and the desired effect can be obtained even if some elements are deleted from all elements shown in the embodiments, the configuration from which these elements are deleted can be extracted as an invention.
  • REFERENCE SIGNS LIST 100 Audio and video transmitting device 11: Input section 12: Transmitting section 200: Audio and video receiving device 21: Receiving section 22: Delay amount/shift calculating section 23: Delay control section 24: Output section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一実施形態に係る情報処理装置は、動画像を構成する映像および音声の送信装置による前記映像および音声のパケット化の処理を含む、前記映像に係る処理および音声に係る処理に起因する遅延時間である第１の処理遅延、前記送信装置から前記映像および音声の受信装置への前記映像の伝送および音声の伝送に起因する遅延時間である伝送遅延、ならびに前記受信装置による前記映像に係る処理および音声に係る処理に起因する遅延時間である第２の処理遅延に基づく、前記映像の遅延量および前記音声の遅延量の差分である、ずれ時間を算出する算出部と、前記算出部により算出された前記ずれ時間が許容範囲の外であるときに前記ずれ時間および前記許容範囲の関係に基づいて、前記映像および前記音声の一方の出力を待機する制御を行う制御部と、を有する。

Description

情報処理装置、方法およびプログラム
　本発明の実施形態は、情報処理装置、方法およびプログラムに関する。
　動画像を構成する画像（以下、映像と称することがある）と音声を伝送するときに、遅延は必ず生じる。
　この遅延は送信側と受信側に生じる時刻ズレであり、当該遅延には、伝送に必要な処理を行うために生じる処理遅延と、伝送路をデータが移動するために生じる伝送遅延でなる２つの遅延が含まる。
　また、動画像を伝送するとき、時刻ズレは映像と音声の間にも生じる。
　このズレは、動画像の映像データと音声データについて、圧縮およびパケット化の処理を個別に行い、別々に送受信することにより生じ得る。映像データと音声データとは、互いに異なる特徴を有するため、処理速度および伝送速度が互いに異なり、受信側で画像データと音声データの双方を動画像として統合する際に、先に届いたデータと比較して遅く届くデータの到着を待って、統合の処理を行う必要がある。
　すなわち、動画像の遅延は、送信側と受信側の時刻ズレと、映像と音声の時刻ズレでなる２つの遅延があり、様々な観点から遅延の最小化のための工夫が必要となる。
日本国特開２０２３－１１８１６３号公報
「遅延時間調整装置：EDA-1000/2000/2100」＜https://www.for-a.co.jp/products/eda1000_2000/＞
　ここで、処理および伝送で生じる遅延を小さくするための方略として、一般的に考えられることは設備の強化である。例えば、動画像を処理するサーバのスペックを高くする、または伝送に使用される帯域幅を広くするなどの、設備の強化を施すことで遅延を小さくすることができる。
　ただし、この設備の強化には大きなコストがかかってしまうという問題があり、さらに、大規模な設備強化を施しても、処理および伝送の遅延を完全にゼロにすることはできないという問題がある。
　この発明は、上記事情に着目してなされたもので、その目的とするところは、動画像を適切に処理することができるようにした情報処理装置、方法およびプログラムを提供することにある。
　本発明の一態様に係る情報処理装置は、動画像を構成する映像および音声の送信装置による前記映像および音声のパケット化の処理を含む、前記映像に係る処理および音声に係る処理に起因する遅延時間である第１の処理遅延、前記送信装置から前記映像および音声の受信装置への前記映像の伝送および音声の伝送に起因する遅延時間である伝送遅延、ならびに前記受信装置による前記映像に係る処理および音声に係る処理に起因する遅延時間である第２の処理遅延に基づく、前記映像の遅延量および前記音声の遅延量の差分である、ずれ時間を算出する算出部と、前記算出部により算出された前記ずれ時間が許容範囲の外であるときに前記ずれ時間および前記許容範囲の関係に基づいて、前記映像および前記音声の一方の出力を待機する制御を行う制御部と、を備える。
　本発明の一態様に係る情報処理方法は、情報処理装置により行われる方法であって、前記情報処理装置の算出部により、動画像を構成する映像および音声の送信装置による前記映像および音声のパケット化の処理を含む、前記映像に係る処理および音声に係る処理に起因する遅延時間である第１の処理遅延、前記送信装置から前記映像および音声の受信装置への前記映像の伝送および音声の伝送に起因する遅延時間である伝送遅延、ならびに前記受信装置による前記映像に係る処理および音声に係る処理に起因する遅延時間である第２の処理遅延に基づく、前記映像の遅延量および前記音声の遅延量の差分である、ずれ時間を算出することと、前記情報処理装置の制御部により、前記算出部により算出された前記ずれ時間が許容範囲の外であるときに前記ずれ時間および前記許容範囲の関係に基づいて、前記映像および前記音声の一方の出力を待機する制御を行うことと、を備える。
　本発明によれば、動画像を適切に処理することができる。
図１は、本発明の一実施形態に係る映像音声伝送システムの適用例を示す図である。 図２は、映像音声伝送システムによる処理動作の手順の一例を示すフローチャートである。 図３は、本発明の一実施形態に係る映像音声送信装置のハードウエア（hardware）構成の一例を示すブロック図（block diagram）である。
　以下、この発明に係わる実施形態を説明する。
　図１は、本発明の一実施形態に係る映像音声伝送システムの適用例を示す図である。
　図１に示されるように、本発明の一実施形態に係る映像音声伝送システムは、情報処理装置である、映像音声送信装置１００および映像音声受信装置２００を有する。
　映像音声送信装置１００は、入力部１１および送信部１２を有する。映像音声受信装置２００は、受信部２１、遅延量・ズレ算出部２２、遅延制御部２３、および出力部２４を有する。各部の処理の詳細については後述する。また、以下の処理遅延および伝送遅延に係る算出は、別途の装置により実行されてもよい。
　本実施形態では、パケット単位で映像および音声の遅延を動的に制御する。このため、ユーザが違和感を感じない範囲内で動画像を提示することが可能である。
　図２は、映像音声伝送システムによる処理動作の手順の一例を示すフローチャートである。
　（Step1-1）　映像音声送信装置１００の入力部１１は、外部のカメラｃにより取得した映像Ａのデータ（映像データＡと称することがある）に対して、この取得した際の時刻であるタイムスタンプ）Taを付与する。また、入力部１１は、外部のマイクロフォン（マイク）ｍｉにより取得した音声Ｂのデータ（音声データＢと称することがある）に対して、この取得した際の時刻であるタイムスタンプＴｂを付与する。
　この付与の時点では、タイムスタンプTaとTbの間のズレは無いとする。
　（Step1-2）　送信部１２は、映像データＡおよび音声データＢを、それぞれ圧縮およびパケット化し、映像音声受信装置２００へ伝送する。この時点で、映像データＡについての圧縮およびパケット化の処理に起因する処理遅延Dp(a1)が発生し、音声データＢについての圧縮およびパケット化の処理に起因する処理遅延Dp(b1)が発生する。送信部１２は、これらの処理遅延を示す情報も映像音声受信装置２００へ伝送する。
　（Step2-1）　映像音声受信装置２００の受信部２１は、映像音声送信装置１００から伝送されたパケットなどを受信し、この受信したパケットから映像データＡおよび音声データＢを取り出す。この時点で、映像データＡについて、パケットから映像データＡが取り出される処理に起因する処理遅延Dp(a2)が発生し、音声データＢについて、パケットから音声データＢが取り出される処理に起因する処理遅延Dp(b2)が発生する。
　さらに、映像音声送信装置１００から映像音声受信装置２００への映像データＡの伝送については伝送遅延Dt(a1)が発生し、映像音声送信装置１００から映像音声受信装置２００への音声データＢの伝送については伝送遅延Dt(b1)が発生する。
　（Step2-2）　遅延量・ズレ算出部２２は、現時刻Tcを計時し、以下の（１）に示されるように、上記取り出された映像データＡに付与されたタイムスタンプTaと現時刻Tcのデータをもとに、映像の遅延時間である遅延量Daを算出する。
　Da＝Tc－Ta　…（１）
　映像の遅延量Daの算出の別の例として、遅延量・ズレ算出部２２は、以下の（２）に示されるように、上記取り出された映像データＡの処理遅延Dp(a1)およびDp(a2)、ならびに映像データＡの伝送遅延Dt(a1)のデータをもとに、映像の遅延量Daを算出する。
　Da＝Dp(a1)＋Dp(a2)＋Dt(a1)　…（２）
　また、遅延量・ズレ算出部２２は、以下の（３）に示されるように、上記取り出された音声データＢに付与されたタイムスタンプTbと現時刻Tcのデータをもとに、音声の遅延時間である遅延量Dbを算出する。
　Db＝Tc－Tb　…（３）
　音声の遅延量Dbの算出の別の例として、遅延量・ズレ算出部２２は、以下の（４）に示されるように、上記取り出された音声データＢの処理遅延Dp(b1)およびDp(b2)、ならびに音声データＢの伝送遅延Dt(b1)のデータをもとに、音声の遅延量Dbを算出する。
　Db＝Dp(b1)＋Dp(b2)＋Dt(b1)　…（４）
　このとき、遅延量・ズレ算出部２２は、以下の（５）に示されるように、映像の遅延量Daおよび音声の遅延量Dbのデータをもとに、動画像における映像および音声の同期ズレである遅延ズレ量Ｄをあわせて算出する。算出結果は、上記取り出された映像データＡおよび音声データＢとともに遅延制御部２３に渡される。
　Ｄ＝Da－Db　…（５）
　（Step2-3）　遅延制御部２３は、Step2-2で算出された遅延ズレ量Ｄと、予め設定される「映像・音声の同期ズレの許容限の範囲（許容範囲と称することがある）Dth」とを比較し、この比較の結果に応じて、以下の（ａ）、（ｂ）、または（ｃ）に応じたパタンの処理を行う。同期ズレの許容限の範囲とは、映像・音声の遅延ズレ量Ｄにおける、ユーザが違和感を抱かない範囲として設定された範囲である。上記の範囲Dthは、遅延ズレ量Ｄの許容範囲の下限である最小値「Dth(min)」から遅延ズレ量Ｄの許容範囲の上限である最大値「Dth(max）」までの範囲であるとする。
　（ａ）　以下の（６）が成り立つとき、すなわち遅延ズレ量Ｄが許容範囲内であるとき（Step2-3a1のＹＥＳ）、遅延制御部２３は、上記取り出された映像データＡ及び音声データＢを、そのまま出力部２４に渡す（Step2-3a2）。
　Dth(min)≦Ｄ≦Dth(max)　…（６）
　（ｂ）　以下の（７）が成り立つとき、すなわち遅延ズレ量Ｄが遅延ズレ量の許容範囲外であり（Step2-3a1のＮＯ）、かつ映像音声送信装置１００で取得された映像データＡに対して同じく取得された音声データＢが先行するとき（Step2-3b1のＹＥＳ）、遅延制御部２３は、以下の（８）で示される時間だけ、上記取り出された音声データＢの出力を待機し、この時間が経過したときに、上記取り出された映像データＡおよび音声データＢを出力部２４に渡す（Step2-3b2）。
　すなわち、遅延ズレ量Ｄが許容範囲の外であって、映像音声送信装置１００で取得された映像データＡが同じタイミングで取得された音声データＢより遅延するときに、遅延ズレ量Ｄと、許容範囲の上限値および下限値のうち当該遅延ズレ量Ｄに近い値、ここでは上限値との差分の時間にわたって音声データＢの出力を待機する制御が行われ、この待機により遅延ズレ量Ｄが許容範囲内に収まったときに映像データＡおよび音声データＢが出力される。
　Dth(max)＜Ｄ　…（７）
　Ｄ－Dth(max)：(遅延ズレ量－遅延ズレ量の許容範囲の上限)　…（８）
　例えば遅延ズレ量Ｄが「＋100[ms]」であり、許容限の上限が「＋90[ms]」であるとき、以下の（９）で示される時間である10[ms]だけ音声データＢの出力が待機される。
　＋100[ms]－(＋90[ms])＝10[ms]　…（９）
　（ｃ）　以下の（１０）が成り立つとき、すなわち遅延ズレ量Ｄが遅延ズレ量の許容範囲外であり（Step2-3a1のＮＯ）、かつ映像音声送信装置１００で取得された映像データＡに対して同じく取得された音声データＢが後に届くとき（Step2-3b1のＮＯ）、遅延制御部２３は、以下の（１１）で示される時間だけ、上記取り出された映像データＡの出力を待機し、この時間が経過したときに、上記取り出された映像データＡおよび音声データＢを出力部２４に渡す（Step2-3b3）。
　すなわち、遅延ズレ量Ｄが許容範囲の外であって、映像音声送信装置１００で取得された音声データＢが同じタイミングで取得された映像データＡより遅延するときに、遅延ズレ量Ｄと、許容範囲の上限値および下限値のうち当該遅延ズレ量Ｄに近い値、ここでは下限値との差分の時間にわたって映像データＡの出力を待機する制御が行われ、この待機により遅延ズレ量Ｄが許容範囲内に収まったときに映像データＡおよび音声データＢが出力される。
　Ｄ＜Dth(min)　…（１０）
　Dth(min)－Ｄ：（遅延ズレ量の許容値の下限－遅延ズレ量)　…（１１）
　例えば、遅延ズレ量が「－200[ms]」であり、許容限の下限が「－185[ms]」であるとき、以下の（１２）で示される時間である15[ms]だけ映像データＡの出力が待機される。
　(－185[ms])－(－200[ms]）＝15[ms]　…（１２）
　なお、上記（ｂ）では、受信された映像データＡの出力は待機されず、上記（ｃ）では、受信された音声データＢの出力は待機されない。
　（Step2-4）　出力部２４は、遅延制御部２３から渡された映像データＡを外部のモニタｍｏに出力して、このモニタｍｏで映像を再生させ、遅延制御部２３から渡された音声データＢを外部のスピーカｓに出力して、このスピーカｓで音声を再生させる。
　上記の許容限の範囲は、コンテンツによって変更されてもよい。
　本実施形態では、映像データのパケットごと、または音声データのパケットごとに処理するので、動的な遅延制御を実現でき、例えばオフセットで固定される遅延制御と比較して、常に最適な状態で出力ができる。
　従来の手法では、処理遅延と伝送遅延の差分をもとに遅延制御が実施される。その結果、一部のデータが早いタイミングで届いているときでも、最も遅れて届くデータを待機して、全てのデータが揃ってから出力されるため、データ出力のリアルタイム性が損なわれてしまう。
　これに対し、本実施形態では、ユーザが違和感を感じない範囲としての許容限が予め設定されて、この許容限に基づいてデータの遅延制御が実施されてデータ出力がなされるため、データ出力のリアルタイム性を向上させることができる。
　図３は、本発明の一実施形態に係る映像音声送信装置のハードウエア構成の一例を示すブロック図である。
　図３に示された例では、上記の実施形態に係る映像音声送信装置１００は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース（interface）１１３及び通信インタフェース１１４が、バス（bus）１１５を介して接続される。図１に示される映像音声受信装置２００についても同様である。
　通信インタフェース１１４は、例えば１つ以上の無線の通信インタフェースユニット（interface unit）を含んでおり、通信ネットワークとの間で情報の送受信を可能にする。無線インタフェースとしては、例えば無線ＬＡＮ（Local Area Network）などの小電力無線データ通信規格が採用されたインタフェースが使用される。
　入出力インタフェース１１３には、映像音声送信装置１００に付設される、利用者などにより用いられる入力デバイス（device）５００および出力デバイス６００が接続される。
　入出力インタフェース１１３は、キーボード（keyboard）、タッチパネル（touch panel）、タッチパッド（touchpad）、マウス（mouse）等の入力デバイス５００を通じて利用者などにより入力された操作データを取り込むとともに、出力データを液晶または有機ＥＬ（Electro Luminescence）等が用いられた表示デバイスを含む出力デバイス６００へ出力して表示させる処理を行うことができる。なお、入力デバイス５００および出力デバイス６００には、映像音声送信装置１００に内蔵されたデバイスが使用されてもよく、また、ネットワークを介して映像音声送信装置１００と通信可能である他の情報端末の入力デバイスおよび出力デバイスが使用されてもよい。
　プログラムメモリ１１１Ｂは、非一時的な有形の記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリ（non-volatile memory）と、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組み合わせて使用されたもので、一実施形態に係る各種制御処理等を実行する為に必要なプログラムが格納され得る。
　データメモリ１１２は、有形の記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリ（volatile memory）とが組み合わせて使用されたもので、各種処理が行われる過程で取得および作成された各種データまたは情報が記憶される為に用いられ得る。
　本発明の一実施形態に係る映像音声送信装置１００は、ソフトウエア（software）による処理機能部として、図１に示される各部を有するデータ処理装置として構成され得る。
　映像音声送信装置１００の各部によるワークメモリなどとして用いられる情報記憶部は、図３に示されたデータメモリ１１２が用いられることで構成され得る。ただし、これらの構成される記憶領域は映像音声送信装置１００内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（cloud）に配置されたデータベースサーバ（database server）等の記憶装置に設けられた領域であってもよい。
　上記の各部における処理機能部は、いずれも、プログラムメモリ１１１Ｂに格納されたプログラムを上記ハードウエアプロセッサ１１１Ａにより読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、特定用途向け集積回路（ＡＳＩＣ（Application Specific Integrated Circuit））またはＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されてもよい。
　また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルまたはデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクまたは半導体メモリ等の記憶媒体を含むものである。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　　１００…映像音声送信装置
　　１１…入力部
　　１２…送信部
　　２００…映像音声受信装置
　　２１…受信部
　　２２…遅延量・ズレ算出部
　　２３…遅延制御部
　　２４…出力部

Claims (4)

  1. 　動画像を構成する映像および音声の送信装置による前記映像および音声のパケット化の処理を含む、前記映像に係る処理および音声に係る処理に起因する遅延時間である第１の処理遅延、前記送信装置から前記映像および音声の受信装置への前記映像の伝送および音声の伝送に起因する遅延時間である伝送遅延、ならびに前記受信装置による前記映像に係る処理および音声に係る処理に起因する遅延時間である第２の処理遅延に基づく、前記映像の遅延量および前記音声の遅延量の差分である、ずれ時間を算出する算出部と、
    　前記算出部により算出された前記ずれ時間が許容範囲の外であるときに前記ずれ時間および前記許容範囲の関係に基づいて、前記映像および前記音声の一方の出力を待機する制御を行う制御部と、
    　を備える情報処理装置。
  2. 　前記制御部は、
    　　前記算出部により算出された前記ずれ時間が前記許容範囲の外であって、前記映像が前記音声より遅延するときに、前記ずれ時間と前記許容範囲の上限値および下限値のうち当該ずれ時間に近い値との差分の時間にわたって前記音声の出力を待機する制御を行い、前記算出部により算出された前記ずれ時間が前記許容範囲の外であって、前記音声が前記映像より遅延するときに、前記ずれ時間と前記許容範囲の上限値および下限値のうち前記ずれ時間に近い値との差分の時間にわたって前記映像の出力を待機する制御を行う、
    　請求項１に記載の情報処理装置。
  3. 　情報処理装置により行われる方法であって、
    　前記情報処理装置の算出部により、動画像を構成する映像および音声の送信装置による前記映像および音声のパケット化の処理を含む、前記映像に係る処理および音声に係る処理に起因する遅延時間である第１の処理遅延、前記送信装置から前記映像および音声の受信装置への前記映像の伝送および音声の伝送に起因する遅延時間である伝送遅延、ならびに前記受信装置による前記映像に係る処理および音声に係る処理に起因する遅延時間である第２の処理遅延に基づく、前記映像の遅延量および前記音声の遅延量の差分である、ずれ時間を算出することと、
    　前記情報処理装置の制御部により、前記算出部により算出された前記ずれ時間が許容範囲の外であるときに前記ずれ時間および前記許容範囲の関係に基づいて、前記映像および前記音声の一方の出力を待機する制御を行うことと、
    　を備える情報処理方法。
  4. 　請求項１または２に記載の情報処理装置の各部としてプロセッサを機能させる情報処理プログラム。
PCT/JP2024/015444 2024-04-18 2024-04-18 情報処理装置、方法およびプログラム Pending WO2025220185A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015444 WO2025220185A1 (ja) 2024-04-18 2024-04-18 情報処理装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015444 WO2025220185A1 (ja) 2024-04-18 2024-04-18 情報処理装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025220185A1 true WO2025220185A1 (ja) 2025-10-23

Family

ID=97403157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/015444 Pending WO2025220185A1 (ja) 2024-04-18 2024-04-18 情報処理装置、方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2025220185A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282667A (ja) * 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
US20110234902A1 (en) * 2010-03-24 2011-09-29 Kishan Shenoi Synchronization of audio and video streams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282667A (ja) * 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
US20110234902A1 (en) * 2010-03-24 2011-09-29 Kishan Shenoi Synchronization of audio and video streams

Similar Documents

Publication Publication Date Title
US11223439B1 (en) Maintaining a time of day in a physical layer circuit including compensating for drift away from a grandmaster time
US10742955B2 (en) Correlation of video stream frame timestamps based on a system clock
US7613767B2 (en) Resolving a distributed topology to stream data
KR101355059B1 (ko) 독립적인 시간 소스로부터 시간 신호(들)를 사용한 미디어 스트림들의 동기화
CN111541913A (zh) 一种拼接屏的视频播放方法、装置、计算机设备和介质
US10778742B2 (en) System and method for sharing multimedia content with synched playback controls
US7555306B2 (en) Method and system for mobile device performance monitoring
US12536606B2 (en) Method and apparatus for directing application requests for rendering
CN112532334A (zh) 一种时间同步的方法、装置及电子设备
US20140153581A1 (en) Priority-based buffer management
US20170019870A1 (en) Method and apparatus for synchronization in a network
WO2024083008A1 (zh) 数据传输方法、装置、系统、电子设备及介质
US20110113344A1 (en) Method and system of desktop broadcasting
WO2023169202A1 (zh) 视频流数据获取方法、装置、电子设备和计算机可读介质
US11621023B2 (en) Media recording system
CN116599944B (zh) 多路媒体流同步的方法、装置、介质和设备
US10262696B1 (en) Clock synchronization for playback of multimedia files
CN116074197B (zh) 一种传输方法及装置
JP6895176B2 (ja) 送信装置、受信装置、送信方法および受信方法
WO2021002135A1 (ja) データ送信装置、データ送信システム、及び、データ送信方法
US20060187967A1 (en) Device and mechanism to manage consistent delay across multiple participants in a multimedia experience
KR102251148B1 (ko) 오디오-비디오 동기화 처리 방법
US20240303135A1 (en) Data transmission method
RU2733488C1 (ru) Способ и система отображения курсора при трансляции видеопотока
CN117856959A (zh) 数据流的同步方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24935912

Country of ref document: EP

Kind code of ref document: A1