JP5305488B2 - 遅延検出装置、遅延検出方法 - Google Patents

遅延検出装置、遅延検出方法 Download PDF

Info

Publication number
JP5305488B2
JP5305488B2 JP2011515821A JP2011515821A JP5305488B2 JP 5305488 B2 JP5305488 B2 JP 5305488B2 JP 2011515821 A JP2011515821 A JP 2011515821A JP 2011515821 A JP2011515821 A JP 2011515821A JP 5305488 B2 JP5305488 B2 JP 5305488B2
Authority
JP
Japan
Prior art keywords
signal
video
output
audio
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011515821A
Other languages
English (en)
Other versions
JPWO2010137166A1 (ja
Inventor
悟士 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Publication of JPWO2010137166A1 publication Critical patent/JPWO2010137166A1/ja
Application granted granted Critical
Publication of JP5305488B2 publication Critical patent/JP5305488B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Television Receiver Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、映像信号と音声信号との再生タイミングの差を検出する遅延検出装置、遅延検出方法に関する。
画像表示装置内の映像や音声の処理が複雑化したことにより、映像出力と音声出力とに時間的ずれが生じるようになって来ている。一般的には、情報量の関係から、時間的に音声が映像よりも先に出力される。映像と音声との間に遅延が生じると、再生された映像と音声とに違和感が生じる。
例えば、このような映像と音声との遅延を補正するには、ピアノ演奏等のシーンが撮影された映像を用いて、その撮像された信号を入力して映像と音声のずれを感覚的に捉えて、人手によってフィードバックを行い、映像と音声との遅延について補正を行っていた。
一方、この補正を行なうためにリップシンク機能（Lip Synchronization）が使われている。このようなリップシンク機能については、例えば、以下に示す特許文献１に記載されている。ここでは、装置の機能別に映像と音声の遅延時間を何らからの方法で予め把握しておき、機能のON/OFFによって映像と音声それぞれの遅延時間を決定し、その差分時間だけ遅延処理を行なうものである。
特開２００８−３０１０８７号公報
しかしながら、上述した特許文献１においては、遅延を補正することについて開示されているが、遅延時間を如何にして把握するかについては、具体的には開示されていない。そうすると、やはり、各デバイス（映像を表示するパネルと音声出力用のスピーカ）の出力における正確な遅延時間を把握する術がない。また、検査用の映像・音声信号の同期管理をすることが困難であるという問題が生じる。このように、上述の画像表示装置における映像と音声のずれ認識の手段は、人間の感覚に頼るところが大きく、その時々において、この調整を行う人によっては、ずれの認識結果に差が生じてしまうという問題があった。
本発明は、上記の事情を考慮してなされたものであり、その目的は、映像と音声との信号の遅延時間を把握することができる遅延検出装置、遅延検出方法を提供することにある。
上記課題を解決するため、本発明は、映像信号の入力を受け付け、この映像信号の一部を分離して第１の信号として出力するとともに、分離した残りの映像信号を第２の信号として出力する信号分岐分配部と、前記信号分岐分配部から出力される第１の信号を表示装置によって表示させ、前記信号分岐分配部から出力される第２の信号を音声出力装置によって出力する出力部と、前記表示装置によって表示される映像を検出する映像センサーと、前記音声出力装置から出力される音声を検出する音センサーと、前記映像センサーの検出結果と、前記音センサーの検出結果とに基づいて、前記映像センサーによって得られる信号と前記音センサーによって得られる信号との再生タイミングの差を検出する遅延検出部と、を有する。
本発明によれば、映像信号の一部を分岐して映像信号と音声信号とを生成して音声出力機能を備えた画像表示装置に供給し、画像表示装置において映像処理、音声処理された後の出力を、センサーにて測定するようにしたので、映像・音声の遅延時間を把握することができる。
マルチ設置モニターシステムの構成を表す概略ブロック図である。
以下、本発明について図面を用いて説明する。図１は、遅延検出装置を用いたマルチ設置モニターシステムの構成を表す概略ブロック図である。
この図において、信号分岐・分配手段１０は、ＰＣ５０から出力される映像信号の入力を受け付け、この映像信号の一部を分離して第１の信号（例えば、映像信号）として出力するとともに、分離した残りの映像信号を第２の信号（例えば、音声信号）として出力する。
ここで、ＰＣ５０から出力される映像信号は、３種の色信号（赤、緑、青）と２種の同期信号（水平信号、垂直信号）が含まれており、それぞれの信号は同期している。ここでいう同期とは、再生する対象の映像と音声との再生タイミングが一致していることを表す。
信号分岐・分配部１０は、例えば、映像信号に含まれる赤色信号、緑色信号、青色信号のうち、青色信号を分離して音声信号として画像表示装置２０の音声処理部２３に供給し、その他信号（赤色信号、緑色信号、水平信号、垂直信号）を映像信号に分岐して画像表示装置２０の映像処理部２１に供給する。ここでは、色信号のいずれかを分離して音声信号として出力することにより、画像表示装置２０に供給される映像信号と音声信号との同期を確保している。
画像表示装置２０は、信号分岐・分配部１０から出力される第１の信号（映像信号）を映像として表示し、第２の信号（音声信号）を音声として出力する。
この画像表示装置２０は、映像処理部２１と、表示デバイス２２と、音声処理部２３と、音声デバイス２４とを含んで構成される。映像処理部２１は、信号分岐・分配部１０から出力される映像信号を信号処理し、表示デバイス２２によって表示する。表示デバイス２２は、例えば、液晶パネルであり、映像を画面上に表示する。
音声処理部２３は、信号分岐・分配部１０から出力される音声信号を信号処理し、音声デバイス２４によって、音声を出力する。音声デバイス２４は、例えばスピーカであり、音声信号を音声として出力する。
映像センサー３０は、画像表示装置２０の表示デバイス２２によって出力される映像の光を検出する。この映像センサー３０は、例えば、フォトダイオードである。
音センサー４０は、例えば、マイクロフォンであり、画像表示装置２０の音声デバイス２４から出力される音声を検出する。
測定器５０は、ＰＣ６０によって制御され、映像センサー３０と音センサー４０の測定結果を取得して、ＰＣ６０にリアルタイムに出力する機能を有している。この測定器５０は、例えば、オシロスコープであり、映像センサー３０、音センサー４０によって得られた検出結果をＡＤ変換を行って数値化する。
ＰＣ６０は、測定器２０の制御とデータ解析、映像信号を変化させるためのアプリケーション７０がインストールされている。アプリケーション７０は、映像センサー３０の検出結果と、音センサー４０の検出結果とに基づいて、映像センサー３０によって得られる信号と音センサー４０によって得られる信号との再生タイミングの差を検出する（遅延検出部に相当）。
ここでは、アプリケーション７０は、信号分岐分配手段に供給する映像信号を、第１の色（例えば、白）から第２の色（例えば、黒）に変化させ、この色の変化に応じて生じる映像センサー３０によって得られる信号と音センサー４０によって得られる信号との再生タイミングの差を検出する。
次に本発明の実施例の動作について図１を用いて説明する。
ＰＣ６０は、アプリケーション７０を実行し、テスト用の映像信号を生成し、信号分岐・分配部１０に出力する。ここでは、ＰＣ６０は、映像信号を白から黒、黒から白へと変化させて映像信号を出力する。信号分岐・分配手段１０は、映像信号のうち、青色信号を分離して、画像表示装置２０に音声信号として供給し、その他の信号を映像信号として画像表示装置２０に供給する。この時点においては、画像表示装置２０に入力される入力信号（映像信号と音声信号）の同期が確保されている。
次に、画像表示装置２０は、映像信号を表示デバイス２２によって映像を出力するとともに、音声信号として入力された青色信号を音声デバイス２４によって音声を出力する。
映像信号、音声信号が出力されると、映像センサー３０は、表示デバイス２２によって出力される映像の光を検出する。音センサー４０は、音声デバイス２４によって出力される音声を検出する。
測定器２０は、映像センサー３０、音センサー４０から得られる検出結果をそれぞれＡＤ変換して数値データを生成し、ＰＣ６０に出力する。
ＰＣ６０は、映像信号を白から黒、黒から白へと変化させることによって、測定器２０から得られる映像信号および音声信号の数値データがどのタイミングで変化するかを検出し、その変化のタイミングの差を求めることで、映像及び音声信号の遅延時間を算出することにより、遅延時間を検出する。
なお、上述した実施形態において、音声センサー４０に換えて、加速度センサーを用いるように構成してもよい。加速度センサーを音声デバイス周辺の画像表示装置２０の筐体に設置することで、環境音に影響されることなく音声出力の変化を測定することができる。
以上説明したように、上述の実施形態によれば、映像および音声出力の変化をセンサーを用いて数値化しているので、遅延時間を定量的に把握することができ、その精度も正確であることからフレーム単位での遅延時間補正や検査を行なうことも可能となる。
また、ＰＣ６０の映像信号を分岐して画像表示装置２０の入力信号としているので、入力信号の同期管理が不要となることである。
また、上述した実施形態によれば、ＰＣ６０が制御する映像信号を画像表示装置２０の映像と音声の入力信号とすることで入力信号の同期管理を省き、画像表示装置２０の各デバイス出力をセンサーにて測定することで映像と音声の変化を数値化し、その遅延時間（時間的ずれ）をＰＣ６０のアプリケーション７０によって演算することで正確な遅延時間を得て、遅延時間を表す情報を提供することが可能となる。
１０ 信号分岐・分配部
２０ 画像表示装置
２１ 映像処理部
２２ 表示デバイス
２３ 音声処理部
２４ 音声デバイス
３０ 映像センサー
４０ 音センサー
５０ 測定器
６０ ＰＣ
７０ アプリケーション

Claims (3)

  1. 映像信号の入力を受け付け、この映像信号の一部を分離して第１の信号として出力するとともに、分離した残りの映像信号を第２の信号として出力する信号分岐分配部と、
    前記信号分岐分配部から出力される第１の信号を表示装置によって表示させ、前記信号分岐分配部から出力される第２の信号を音声出力装置によって出力する出力部と、
    前記表示装置によって表示される映像を検出する映像センサーと、
    前記音声出力装置から出力される音声を検出する音センサーと、
    前記映像センサーの検出結果と、前記音センサーの検出結果とに基づいて、前記映像センサーによって得られる信号と前記音センサーによって得られる信号との再生タイミングの差を検出する遅延検出部と、
    を有することを特徴とする遅延検出装置。
  2. 前記遅延検出部は、信号分岐分配手段に供給する映像信号を、第１の色から第２の色に変化させ、この色の変化に応じて生じる前記映像センサーによって得られる信号と前記音センサーによって得られる信号との再生タイミングの差を検出する
    ことを特徴とする請求項１記載の遅延検出装置。
  3. 映像信号の入力を受け付け、この映像信号の一部を分離して第１の信号として出力するとともに、分離した残りの映像信号を第２の信号として出力し、
    前記出力される第１の信号を表示装置によって表示させ、前記信号分岐分配手段から出力される第２の信号を音声出力装置によって出力し、
    前記表示される映像を検出し、
    前記出力される音声を検出し、
    前記映像の検出結果と、前記音声の検出結果とに基づいて、前記映像の検出結果と前記音声の検出結果との再生タイミングの差を検出する
    ことを特徴とする遅延検出方法。
JP2011515821A 2009-05-29 2009-05-29 遅延検出装置、遅延検出方法 Expired - Fee Related JP5305488B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/059883 WO2010137166A1 (ja) 2009-05-29 2009-05-29 遅延検出装置、遅延検出方法

Publications (2)

Publication Number Publication Date
JPWO2010137166A1 JPWO2010137166A1 (ja) 2012-11-12
JP5305488B2 true JP5305488B2 (ja) 2013-10-02

Family

ID=43222307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011515821A Expired - Fee Related JP5305488B2 (ja) 2009-05-29 2009-05-29 遅延検出装置、遅延検出方法

Country Status (2)

Country Link
JP (1) JP5305488B2 (ja)
WO (1) WO2010137166A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047099B2 (ja) 2017-08-30 2022-04-04 ウルトラ、コンダクティブ、コッパー、カンパニー、インコーポレイテッド 伸線方法及びシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429291B2 (ja) * 2014-06-30 2018-11-28 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、表示方法、及び表示プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145645A (ja) * 1996-11-08 1998-05-29 Nippon Hoso Kyokai <Nhk> 映像と音声の時間差検知用の映像信号・音声信号発生装置
JP2001326950A (ja) * 2000-05-15 2001-11-22 Sigma System Engineering:Kk 回線時間差測定装置及び回線時間差測定装置用信号発生器
JP2005101782A (ja) * 2003-09-24 2005-04-14 Nec Corp 映像音声遅延確認回路及びそれに用いる映像音声遅延確認方法
JP2006186990A (ja) * 2004-12-03 2006-07-13 Shinano Kenshi Co Ltd リップシンク測定方法
JP2007221421A (ja) * 2006-02-16 2007-08-30 Onkyo Corp 映像音声再生システムおよびこれを構成するａｖセンターならびにモニター
JP2008148084A (ja) * 2006-12-12 2008-06-26 Funai Electric Co Ltd リップシンク測定方法およびリップシンク測定用回路

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145645A (ja) * 1996-11-08 1998-05-29 Nippon Hoso Kyokai <Nhk> 映像と音声の時間差検知用の映像信号・音声信号発生装置
JP2001326950A (ja) * 2000-05-15 2001-11-22 Sigma System Engineering:Kk 回線時間差測定装置及び回線時間差測定装置用信号発生器
JP2005101782A (ja) * 2003-09-24 2005-04-14 Nec Corp 映像音声遅延確認回路及びそれに用いる映像音声遅延確認方法
JP2006186990A (ja) * 2004-12-03 2006-07-13 Shinano Kenshi Co Ltd リップシンク測定方法
JP2007221421A (ja) * 2006-02-16 2007-08-30 Onkyo Corp 映像音声再生システムおよびこれを構成するａｖセンターならびにモニター
JP2008148084A (ja) * 2006-12-12 2008-06-26 Funai Electric Co Ltd リップシンク測定方法およびリップシンク測定用回路

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047099B2 (ja) 2017-08-30 2022-04-04 ウルトラ、コンダクティブ、コッパー、カンパニー、インコーポレイテッド 伸線方法及びシステム

Also Published As

Publication number Publication date
WO2010137166A1 (ja) 2010-12-02
JPWO2010137166A1 (ja) 2012-11-12

Similar Documents

Publication Publication Date Title
US7970222B2 (en) Determining a delay
US9888232B2 (en) 3D motion picture processing device
EP1983316A3 (en) Sound quality display apparatus, sound quality display method, computer readable medium on which sound quality display program is recorded and sound camera
BR112013021658A2 (pt) aparelho para prover realimentação durante um procedimento de correção de visão, e, método para prover realimentação para um procedimento de correção de visão
CN108307190A (zh) 用于测试显示器的方法、装置和计算机程序产品
JP2003339056A5 (ja)
WO2009057409A1 (ja) 内視鏡装置
WO2017200300A3 (ko) 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
EP3425896A1 (en) Signal processing device, signal processing method, and camera system
JP5565552B2 (ja) 映像音響処理装置、映像音響処理方法及びプログラム
JP2017103542A (ja) 同期装置、同期方法及び同期プログラム
US20110013085A1 (en) Method and Apparatus for Measuring Audio-Video Time skew and End-to-End Delay
Ubik et al. Video camera latency analysis and measurement
JP5305488B2 (ja) 遅延検出装置、遅延検出方法
JP6429291B2 (ja) 表示装置、表示方法、及び表示プログラム
JP2017224876A (ja) 撮影画像判定装置
KR101434514B1 (ko) 이종 장치간 데이터 시간 동기화 방법 및 시간 동기화된 데이터를 생성하기 위한 데이터 처리 장치
JP2011169842A (ja) フリッカー測定方法およびその装置
KR20110121304A (ko) 음원 위치 산출 장치 및 그 방법
ATE470920T1 (de) Verbesserungen bei der erkennung von ereignissen
JP2006180212A (ja) 計測データ・画像データ記録装置およびこれを用いた遠隔監視システム
JP7058946B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2009147431A (ja) 投射型画像表示装置、画像表示システム、および色むら補正方法
WO2010084604A1 (ja) 映像表示装置および映像表示方法
JP2019049628A (ja) 映像表示装置および映像制作支援方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130621

R150 Certificate of patent or registration of utility model

Ref document number: 5305488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees