KR20120029024A - 실시간 영상 및 음성 왜곡 검출 방법 및 장치 - Google Patents
실시간 영상 및 음성 왜곡 검출 방법 및 장치 Download PDFInfo
- Publication number
- KR20120029024A KR20120029024A KR1020100090659A KR20100090659A KR20120029024A KR 20120029024 A KR20120029024 A KR 20120029024A KR 1020100090659 A KR1020100090659 A KR 1020100090659A KR 20100090659 A KR20100090659 A KR 20100090659A KR 20120029024 A KR20120029024 A KR 20120029024A
- Authority
- KR
- South Korea
- Prior art keywords
- watermark
- audio
- video
- signal
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000005236 sound signal Effects 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 26
- 230000005856 abnormality Effects 0.000 claims description 18
- 230000000903 blocking effect Effects 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 8
- 230000003321 amplification Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
디지털 방송 신호 또는 멀티미디어 컨텐츠를 영상 및 음성 신호로 분리하는 과정, 영상 및 음성에 대해 블록별로 동일한 강도의 워터마크 신호를 삽입하는 과정, 워터마크 신호가 삽입된 영상 및 음성을 시험 장치로 출력하는 과정, 시험 장치에서 출력되는 워터마크 신호가 삽입된 영상 및 음성 출력을 캡쳐하는 과정, 캡쳐된 영상 및 음성으로부터 워터마크 신호를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단하는 과정을 포함한다.
Description
본 발명은 디지털 멀티미디어 기기에 대한 영상 및 음성 왜곡 검출 시스템에 관한 것이며, 특히 워터마크를 이용하여 디지털 멀티 미디어 기기에서 재생되는 영상 및 음성 왜곡을 실시간으로 검출하여 디지털 멀티 미디어 기기의 이상 유무를 판단하는 실시간 영상 및 음성 왜곡 검출 방법 및 장치에 관한 것이다.
일반적으로 비디오, BD/DVD 플레이어, 디지털 TV, 디지털 셋탑박스, DMB와 같은 디지털 멀티미디어 기기들은 제조 공정이 완료된 후 제품의 이상 유무 및 영상의 품질을 테스트하게 된다.
이와 같은 테스트는 검사자가 자신에게 익숙한 테스트 영상을 시청하면서 검사자의 주관에 의해 몇 가지 평가 항목에 대한 주관적인 평가를 수행하게 된다.
이때, 검사자는 화질의 선명도, 명암 대비, 휘도, 색재현, 잡음등의 평가 항목에 대해 평가를 하게되는 데, 이러한 테스트 방법은 사람이 수동적으로 테스트하기 때문에 검사자에 따라 평가 기준이 달라지는 문제점이 있다.
또한 화질에 영향을 주는 다양한 시청 환경에 따라 평가 결과에 차이가 나타나게 되고, 영상 화질 테스트에 소요되는 시간이 오래 걸린다는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 디지털 워터마킹 기술을 이용하여 디지털 멀티미디어 기기에서 재생되는 영상 및 음성 데이터의 유실 및 왜곡 여부를 실시간으로 검출하여 디지털 멀티 미디어 기기의 이상 유무를 판단하는 영상 및 음성 왜곡 검출 방법 및 장치를 제공하는 데 있다.
상기의 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 및 음성 왜곡 검출 방법에 있어서,
디지털 방송 스트림 또는 멀티미디어 컨텐츠를 영상 및 음성 신호로 분리하는 과정;
상기 영상 및 음성 신호에 대해 블록별로 동일한 강도의 워터마크 신호를 삽입하는 과정;
상기 워터마크 신호가 삽입된 영상 및 음성 신호를 시험 장치로 출력하는 과정;
상기 시험 장치에서 출력되는 워터마크 신호가 삽입된 영상 및 음성 출력을 캡쳐하는 과정;
상기 캡쳐된 영상 및 음성으로부터 워터마크 신호를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단하는 과정을 포함한다.
상기 분리된 영상 및 음성 신호를 별도의 해당 저장 영역에 파일 단위로 저장하는 과정을 더 포함한다.
상기 워터마크 신호는 증폭 또는 변형되는 영상 및 음성에 대해 블록별로 동일하게 삽입되는 것을 특징으로 한다.
상기 워터마크 신호는 영상 신호에 대해 블록별로 삽입되는 영상 워터마크 신호와 음성 신호에 대해 시간 블록별로 삽입되는 음성 워터마크 신호를 포함하는 것을 특징으로 한다.
상기 워터마크 삽입 과정은
워터마크가 삽입될 영상 및 음성 신호에서 영상 및 음성 왜곡 판단을 위한 블록 사이즈 및 블록 시간을 설정하는 과정;
영상 및 음성 신호에 대해 미리 설정된 블록 사이즈로 복수개로 블록화 하는 과정;
전체 워터마크 임베딩 시간, 분할 임베딩 시간에 따라 상기 영상 및 음성 신호의 블록별로 동일한 강도의 영상 워터마크 신호와 음성 워터마크 신호를 삽입하는 과정을 특징으로 한다.
상기 영상 및 음성 왜곡 판단을 위한 블록 사이즈 및 블록 시간은 시험 대상 장치의 종류에 따라 조절되는 것임을 특징으로 한다.
상기 영상 및 음성의 워터마크 이상 유무를 판단하는 과정은,
캡쳐된 영상 및 음성 신호에 대해 블록별로 해당 워터마크를 검출하는 과정;
상기 검출된 각 블록의 워터마크를 분석하여 워터마크의 이상 유무를 판단하는 과정을 구비하는 것을 특징으로 한다.
상기 영상 및 음성의 분석 결과를 리포팅하는 과정을 더 포함하는 것을 특징으로 한다.
상기 리포팅 과정은
사용자의 시간 설정에 따라 왜곡이 있는 워터마크가 포함된 영상 블록 또는 음성 블록을 설정 시간만큼 저장하는 것임을 특징으로 한다.
상기의 다른 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 및 음성 왜곡 검출 장치에 있어서,
디지털 방송 신호 또는 멀티미디어 콘텐츠를 영상 및 음성 신호로 분리하여 해당 저장 영역에 저장하는 신호 처리부;
영상 및 음성 워터마크를 생성하는 워터마크 생성부;
상기 신호 처리부에서 저장된 기준 영상 및 음성 신호에 대해 블록별로 동일한 강도의 상기 영상 및 음성 워터마크를 삽입하는 워터마크 삽입 스케쥴러부;
상기 워터마크 삽입 스케쥴러부에서 영상 및 음성 워터마크가 삽입된 영상 및 음성을 시험 장치로 출력하는 출력 스케쥴러부;
상기 시험 장치로 출력되는 영상 및 음성 출력을 캡쳐하는 신호 캡쳐부;
상기 캡쳐된 영상 및 음성으로부터 영상 및 음성 워터마크를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단하는 왜곡 분석부를 포함한다.
상기 신호 처리부는
디지털 방송 신호 또는 멀티미디어 콘텐츠를 영상 및 음성 신호로 분리하는 신호 분리부;
상기 신호 분리부에서 분리된 영상 및 음성 신호를 각 저장 영역에 저장하는 프레임 저장부를 구비하는 것을 특징으로 한다.
상기 워터마크 생성부는
멀티 미디어 디바이스의 고유 기능인 영상 및 음성의 증폭 및 변형에 대해 로버스트한 워터마크를 생성하는 것임을 특징으로 한다.
상기 워터마크 삽입 스케쥴러부는
영상 및 음성 신호에 대해 설정된 블록 사이즈 및 블록 시간으로 복수개로 블록화 하는 블록킹부;
디펙트 마진에 따라 상기 블록 사이즈 및 블록 시간을 조정하는 제어부;
상기 제어부에서 조정된 블록 사이즈 및 블록 시간에 따라 상기 블록킹부에서 블록화 된 영상 및 음성 블록들에 영상 및 음성 워터마크를 삽입하는 워터마크삽입부를 구비하는 것을 특징으로 한다.
상기 신호 캡쳐부는
시험 장치에서 출력되는 영상 신호를 카메라 또는 라인으로 캡쳐하고, 시험 장치에서 출력되는 음성 신호를 마이크 또는 라인으로 캡쳐하는 것임을 특징으로 한다.
상기 왜곡 분석부는
캡쳐된 영상 및 음성 신호에 대해 해당 블록별로 해당 워터마크를 검출하는 워터마크 검출부;
상기 검출된 영상 및 음성 블록들의 워터마크를 분석하여 워터마크의 이상 유무를 판단하는 워터마크 블록 판단부;
상기 워터마크 블록 판단부에서 판단된 상기 영상 및 음성의 분석 결과를 리포팅하는 리포팅부를 구비하는 것을 특징으로 한다.
상기 리포팅부에서 상기 사용자의 시간 설정에 따라 왜곡이 있는 워터마크가 포함된 영상 블록 또는 음성 블록을 설정 시간만큼 저장하는 신호 저장부를 더 구비하는 것을 특징으로 한다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 왜곡 검출 시스템을 도시한 것이다.
도 2는 본 발명에 따른 실시간 영상 왜곡 검출의 일 실시예를 보이는 도면이다.
도 3은 본 발명에 따른 실시간 음성 왜곡 검출의 일 실시예를 보이는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 실시간 영상 및 음성 왜곡 검출 장치의 블록도 이다.
도 5는 도 4의 워터마크 삽입 스케쥴러부의 상세 블록도 이다.
도 6은 도 4의 왜곡 분석부의 상세도이다.
도 7은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 왜곡 검출 방법을 보이는 흐름도이다.
도 2는 본 발명에 따른 실시간 영상 왜곡 검출의 일 실시예를 보이는 도면이다.
도 3은 본 발명에 따른 실시간 음성 왜곡 검출의 일 실시예를 보이는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 실시간 영상 및 음성 왜곡 검출 장치의 블록도 이다.
도 5는 도 4의 워터마크 삽입 스케쥴러부의 상세 블록도 이다.
도 6은 도 4의 왜곡 분석부의 상세도이다.
도 7은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 왜곡 검출 방법을 보이는 흐름도이다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 왜곡 검출 시스템을 도시한 것이다.
도 1의 실시간 영상 및 음성 왜곡 검출 시스템은 영상 및 음성 왜곡 검출 장치(110)와 시험 장치(120)를 구비한다.
통상적으로 디지털 워터 마킹은 텍스트, 동 영상, 정지 영상, 음성등의 멀티미디어 콘텐츠에 시각적 또는 청각적으로 인식할 수 없는 신호 형태로 삽입하여 은닉하고, 은닉된 정보를 추출하여 저작권, 영상에 대한 인증 및 동영상의 모니터링을 위한 부가 정보로 사용한다.
영상 및 음성 왜곡 검출 장치(110)는 워터마크 임베딩 장치(112)와 워터마크 디텍팅 장치(114)를 구비한다. 워터마크 임베딩 장치(112)는 TV 수신안테나 또는 STB 또는 BD/DVD로부터 디지털 방송 스트림 또는 멀티미디어 콘텐츠 파일을 실시간으로 수신하고, 방송 신호 또는 AV 신호에 워터마크를 이용한 왜곡 판단 신호를 삽입하여 시험 장치(120)로 출력한다. 워터마크 디텍팅 장치(114)는 시험 장치(120)에서 출력되는 영상 및 음성 신호로부터 워터마크 신호를 검출하고, 그 검출된 워터마크 신호로부터 워터마크 이상 유무를 판단하여 그 판단 결과를 리포팅 한다. 또한 워터마크 디텍팅 장치(114)는 결과 리포팅에 따라 디펙트(defect) 영상 및 음성을 저장한다.
시험 장치(120)는 영상 및 음성 왜곡 검출 장치(110)로부터 워터마크가 삽입된 기준 영상 및 음성 신호를 입력하여 디스플레이 또는 스피커로 재생하고, 그 재생되는 영상 및 음성 신호를 영상 및 음성 왜곡 검출 장치(110)로 출력한다. 시험 장치(120)는 DTV 또는 BD/DVD를 이용할 수 있으나, 이에 한정하지 않고 영상, 음향을 사용하는 모든 멀티미디어 기기에 적용 가능하다.
도 2는 본 발명에 따른 실시간 영상 왜곡 검출의 일 실시예를 보이는 도면이다.
먼저, 도2의 (a)를 보면, TV 수신안테나 또는 STB 또는 DVD로부터 MPEG2, DIVX 비디오 포맷으로 압축된 오리지널 영상(original video) 스트림을 수신한다. 예를 들어, 오리지널 영상은 1080 X 1920 픽셀을 갖는다.
도2의 (b)를 보면, 소정 포맷의 압축 영상을 디코딩 한 후 한 프레임 영상을 복수개 블록들로 구획한다. 예를 들면, 한 프레임의 영상은 32 X 32 픽셀의 블록들로 분할된다. 이때 블록들은 디펙트 마진을 조절하기 위해 가변 될 수 있다. 그리고 구획된 32 X 32 픽셀의 블록들에는 공간 도메인에 기반한 워터마킹 기술을 적용하여 워터마크가 삽입된다(워터마크가 삽입되는 위치를 화살표로 기재함). 그리고 워터마크와 함께 영상을 인코딩 한다. 이때 한 프레임은 2040 블록이며, 블록별로 동일한 워터마크를 삽입한다.
도 2의 (c)를 보면, 인코딩에 따른 워터마크의 유실 여부를 확인한다.
도 2의 (d)를 보면, 시험 장치가 DTV일 경우 인코딩된 영상은 스트림 서버를 통해 RF 신호로 변환된다.
도 2의 (e)를 보면 스트림 서버를 통해 출력되는 영상은 DTV와 같은 시험 장치에서 디스플레이 된다.
도 2의 (f)를 보면, 시험 장치에서 출력되는 영상을 카메라로 캡쳐한다. 카메라로 캡쳐전 시험 환경에 따라 자동으로 임계값을 설정 한 후 캡쳐를 진행한다. 이때 DTV의 FRC(Frame Rate Converter)에 의해 카메라에서 캡쳐되는 워터마크 삽입 영상과의 동기 문제로 인해 워터마크 검출에 문제가 발생할 수 있다. 이에 따라 영상 블록들마다 동일한 워터마크를 삽입함으로서 동기 문제를 해결 할 수 있다.
도 2의 (g)를 보면, 캡쳐된 영상으로부터 워터마크 신호를 검출하여 영상의 워터마크 이상 유무를 판단하고, 그 판단 결과를 자동으로 캡쳐 화면과 설정한 시간 만큼 동영상 파일로 저장하여 리포팅 한다. 또한 결과 리포트는 화면에 표시되어 사용자가 확인할 수 있도록 한다.
도 3은 본 발명에 따른 실시간 음성 왜곡 검출의 일실시예를 보이는 도면이다.
먼저, 도 3의 (a)를 보면,TV 수신안테나 또는 STB 또는 DVD로부터 AAC, MP3등 오디오 포맷으로 압축된 오리지널 음성 스트림을 수신한다.
도 3의 (b)를 보면, 소정 포맷의 압축 음성을 디코딩 한 후 디코딩된 음성을 복수개 시간 블록들로 구획한다. 예를 들면, 소정 시간 동안의 음성은 500ms 의 시간 블록 단위로 구획된다. 이때 시간 블록들은 디펙트 마진(defect margin)을 조절하기 위해 가변 될 수 있다.
그리고 공간 도메인에 기반한 워터마킹 기술을 적용하여 구획된 시간 블록들에 워터마크를 삽입한다. 그리고 워터마크와 함께 음성을 인코딩한다. 이때 시간 블록별로 동일한 워터마크를 삽입한다. 또한 공간 도메인 외에 다른 도메인에 기반한 워터마킹 기술을 적용할 수 있다.
도 3의 (c)를 보면, 인코딩에 따른 워터마크의 유실 여부를 확인한다.
도 3의 (d)를 보면, 시험 장치가 DTV일 경우 인코딩된 음성은 스트림 서버를 통해 RF 신호로 변환된다.
도 3의 (e)를 보면, 인코딩된 음성을 BD/DVD 또는 DTV와 같은 시험 장치로 출력하여 시험 장치의 스피커를 통해 재생한다.
도 3의 (f)를 보면, DTV에서 출력되는 음성은 마이크로 캡쳐되고, BD/DVD에서 출력되는 음성은 라인을 통해 전달된다.
도 3의 (g)를 보면, 마이크로 캡쳐된 음성 신호는 전기적 음성 신호로 생성된다.
도 3의 (h)를 보면, 마이크로부터 입력된 음성 신호는 PCM 변조된다. 이때 PCM 변조에 의한 워터마크 정보의 변형을 감지하여 임계값을 자동으로 설정한다.
도 3의 (i)를 보면, PCM 변조된 음성으로부터 워터마크 신호를 검출하여 음성의 워터마크 이상 유무를 판단하고, 그 판단 결과를 자동으로 설정한 시간 만큼 오디오 파일로 저장하여 리포팅한다. 또한 리포트는 화면에 표시되어 사용자가 확인할 수 있도록 한다.
도 4는 본 발명의 일 실시 예에 따른 실시간 영상 및 음성 왜곡 검출 장치의 블록도이다.
도 4의 실시간 영상 및 음성 왜곡 검출 장치는 크게 워터마크 임베딩 장치(112)와 디펙팅 검출 장치(114)로 구분된다. 워터마크 임베딩 장치(112)는 신호 처리부(410), 워터마크 삽입 스케쥴러부(430), 워터마크 생성부(440), 출력 스케쥴러부(450)로 구성되고, 워터마크 디텍팅 장치(114)는 신호 캡쳐부(460), 신호 분석부(470)로 구성된다. 또한 신호 처리부(410)는 A/V 분리부(410)와 프레임 저장부(420)로 구분된다.
먼저, A/V 분리부(412)는 디지털 방송 스트림 또는 멀티미디어 콘텐츠를 소정의 신호 처리 알고리즘에 의해 영상 및 음성 신호로 분리한다.
프레임 저장부(414)는 A/V 분리부(412)에서 분리된 영상 및 음성 신호를 실시간으로 파일 단위로 해당 영역에 저장한다.
프레임 저장부(414)는, 예를 들면 하드 디스크 등의 자기 기록매체나 EEPROM, 플래시 메모리 등의 불휘발성 메모리를 들 수 있지만, 상기에 한정되지는 않는다.
워터마크 생성부(440)는 공간 도메인에 기반한 워터마킹 기술에 기반하여 영상 신호에 대해 블록별로 삽입되는 영상 워터마크 와 음성 신호에 대해 시간 블록별로 삽입되는 음성 워터마크를 생성한다. 이때 워터마크 생성부(440)는 영상 및 음성의 보정 및 증폭 변형에 대해 강인한(robust) 영상 및 음성 워터마크를 생성한다.
일 실시 예로 워터마크 생성부(440)는 영상 워터마크 생성부(도시안됨)와, 음성 워터마크 생성부(도시안됨)로 구분된다.
영상 워터마크 생성부는 원본 영상 또는 원본 영상의 재생과 관련된 정보를 나타내는 워터마크 패턴을 결정하고, 그 워터마크 패턴을 영상 데이터 형식으로 변환하여 영상 워터마크 데이터를 생성한다. 또한 음성 워터마크 생성부는 원본 음성 또는 원본 음성의 재생과 관련된 정보를 나타내는 워터마크 패턴을 결정하고, 그 워터마크 패턴을 음성 데이터 형식으로 변환하여 음성 워터마크 데이터를 생성한다. 이때 워터마크 패턴은 원본 영상 또는 원본 영상의 재생과 관련된 정보에 기초하여 결정된다. 예를 들어, 워터마크 패턴은 워터마크 삽입 정보를 생성하는 기기에 대한 정보, 즉 기기의 식별 정보, 위치, 재생 시각에 대한 정보를 나타낼 수 있다. 또 다른 예로, 워크마크 패턴은 프레임 드롭을 판단할 수 있는 TDFD(Temporal Drop-Frame Detection) 신호 및 영상 프레임내의 영상 왜곡을 판단할 수 있는 SDBD(Spatial Distort-Block Detection) 신호 포함할 수 있다. 그리고 워터마크 패턴은 난수열의 형태로 생성될 수 있다. 통상적으로 워터마크의 유형은 외부적인 공격 또는 변형에 견디는 정도에 따라 강인한 워터마크(Robust Watermark), 세미 워터마크(Semi Watermark), 연약한 워터마크(Fragile Watermark)로 구분될 수 있다. 본 발명의 실시 예에서 사용될 수 있는 워터마크의 유형은 멀티 미디어 디바이스의 고유 기능인 압축과 A/D변환, D/A변환, 잡음 첨가, FRC(Frame Rate Converter)와 같은 증폭 및 변형에 견딜 수 있는 강인한 워터마크(Robust Watermark)를 사용한다.
워터마크 삽입 스케쥴러부(430)는 프레임 저장부(420)에 저장된 영상 및 음성 신호에 대해 실시간으로 블록별로 동일한 강도의 영상 및 음성 워터마크를 삽입한다.
이때 워터마크 신호는 영상 및 음성의 증폭 및 변형에 따른 워터마크 유실 및 왜곡 발생을 차단하기 위해 영상 및 음성 블록별로 동일하게 삽입된다.
출력 스케쥴러부(450)는 워터마크 삽입 스케쥴러부(430)에서 영상 및 음성 워터마크가 삽입된 영상 및 음성을 DTV 또는 BD/DVD와 같은 시험 장치(120)로 출력한다.
신호 캡쳐부(460)는 시험 장치(120)에서 출력되는 영상 및 음성 출력을 캡쳐한다. 일 실시 예로 신호 캡쳐부(460)는 시험 장치(120)에서 출력되는 영상 신호를 카메라 또는 라인으로 캡쳐하고, 시험 장치(120)에서 출력되는 음성 신호를 마이크 또는 라인으로 캡쳐한다.
신호 분석부(470)는 신호 캡쳐부(460)에서 캡쳐된 영상 및 음성으로부터 영상 및 음성 워터마크를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단하고, 판단된 영상 및 음성의 분석 결과를 리포팅 한다. 일 실시예로 신호 분석부(470)는 캡쳐된 음성 신호에 대해 블라인드(Blind) 워터마크 기법을 적용하여 시험 기기의 오디오 왜곡 여부를 자동으로 검출한다.
따라서 본 발명에 의하면, 실시간 방송 콘텐츠(이미지, 동영상, 음성)에 대해 실시간으로 워터마크를 임베딩 하여 실제 시장 환경에서 발생할 수 있는 문제점들에 대해 연속적이고 지속적인 시험을 가능하게 한다.
도 5는 도 4의 워터마크 삽입 스케쥴러부(430)의 상세 블록도이다.
블록킹부(510)는 영상 및 음성 신호를 미리 설정된 복수개의 블록 사이즈 및 복수개의 블록 시간으로 블록화 한다. 이때 블록 사이즈 및 복수개의 블록 시간은 디펙트 마진(defect margin)을 위해 조절될 수 있다.
제어부(520)는 블록킹부(510)에서 블록화 되는 영상의 블록 사이즈 및 음성의 블록 시간을 조정한다. 즉, 영상의 블록 사이즈 및 음성의 블록 시간을 조정함으로서 디펙트 마진(defect margin)을 조절할 수 있다. 또한 제어부(520)는 영상 및 음성 왜곡 판단을 위해 블록 사이즈 및 블록 시간을 시험 대상 장치의 종류에 따라 조절할 수 있다.
워터마크삽입부(530)는 제어부(520)에서 조정된 영상 블록 사이즈, 음성 블록 시간, 전체 워터마크 임베딩 시간 및 분할 임베딩 시간을 바탕으로 블록킹부(510)에서 블록화된 영상 및 음성 신호의 블록들에 대해 영상 및 음성 워터마크를 삽입한다.
다른 실시예로 워터마크삽입부(530)는 구획된 각 블록의 특정 화소에 대한 워터마크 삽입 강도를 결정하고, 그 블록별로 정해진 워터마크 삽입 강도에 따라 영상에 워터마크를 삽입한다.
도 6은 도 4의 왜곡 분석부(470)의 상세도 이다.
워터마크 검출부(610)는 캡쳐된 영상 및 음성 신호에 대해 각각 블록별로 해당 워터마크를 검출한다.
워터마크 블록 판단부(620)는 워터마크 검출부(610)에서 검출된 영상 및 음성 블록의 워터마크를 분석하여 워터마크의 이상 유무를 판단한다.
리포팅부(630)는 워터마크 블록 판단부(620)에서 판단된 영상 및 음성의 분석 결과를 리포팅한다. 리포팅부(630)는 영상 프레임내에 영상 왜곡의 발생 여부 및 영상 왜곡이 발생한 위치등을 영상 프레임별로 구분하여 목록을 작성한다.
신호 저장부(640)는 리포팅부(630)에서 사용자의 시간 설정에 따라 왜곡이 있는 워터마크가 포함된 영상 프레임 또는 음성 블록을 설정 시간만큼 저장한다.
도 7은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 왜곡 검출 방법을 보이는 흐름도 이다.
먼저, TV 수신안테나 또는 STB(SetTopBox) 또는 BD/DVD로부터 디지털 방송 스트림 또는 멀티미디어 콘텐츠를 영상 및 음성 신호로 분리한다(710 과정). 이때 분리된 영상 및 음성 신호는 각 저장 영역에 프레임 단위로 저장된다.
이어서, 저장된 영상 및 음성 신호에 대해 영상 및 음성 블록별로 동일한 강도의 영상 및 음성 워터마크 신호를 삽입한다(720 과정). 이때 영상 및 음성 워터마크 신호는 일 실시예로 공간 도메인에 기반한 워터마킹 기술에 기반하여 생성된다. 또한 워터마크 신호는 영상 및 음성의 증폭 및 변형에 따른 워터마크 유실 및 왜곡 발생을 차단하기 위해 영상 및 음성 블록별로 동일하게 삽입된다.
이어서, 워터마크 신호가 삽입된 영상 및 음성을 BD/DVD 또는 DTV와 같은 시험 장치로 출력한다(730 과정). 이때 시험 장치는 워터마크가 삽입된 기준 영상 및 음성 신호를 디스플레이 또는 스피커로 재생하고, 그 재생되는 영상 및 음성 신호를 출력한다.
이어서, 시험 장치에서 출력되는 워터마크가 삽입된 영상 및 음성 출력을 카메라 또는 마이크를 이용하여 캡쳐한다(740 과정).
이어서, 캡쳐된 영상 및 음성으로부터 워터마크 신호를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단한다(750 과정).
최종적으로 영상 및 음성의 워터마크 이상 여부를 확인 한 후 그 결과를 자동으로 리포팅 한다(760 과정).
따라서 본 발명에 의하면, 실시간 방송 콘텐츠(이미지, 동영상, 음성)에 대해 실시간으로 워터마크를 임베딩 함으로서 실제 시장 환경에서 발생할 수 있는 문제점들에 대해 연속적이고 지속적인 시험을 가능하게 한다.
또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시 예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실 시 예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
Claims (17)
- 영상 및 음성 왜곡 검출 방법에 있어서,
디지털 방송 스트림 또는 멀티미디어 컨텐츠를 영상 및 음성 신호로 분리하는 과정;
상기 영상 및 음성 신호에 대해 블록별로 동일한 강도의 워터마크 신호를 삽입하는 과정;
상기 워터마크 신호가 삽입된 영상 및 음성 신호를 시험 장치로 출력하는 과정;
상기 시험 장치에서 출력되는 워터마크 신호가 삽입된 영상 및 음성 출력을 캡쳐하는 과정;
상기 캡쳐된 영상 및 음성으로부터 워터마크 신호를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단하는 과정을 포함하는 영상 및 음성 왜곡 검출 방법. - 제1항에 있어서, 상기 분리된 영상 및 음성 신호를 별도의 해당 저장 영역에 파일 단위로 저장하는 과정을 더 포함하는 영상 및 음성 왜곡 검출 방법.
- 제1항에 있어서, 상기 워터마크 신호는 증폭 또는 변형되는 영상 및 음성에 대해 블록별로 동일하게 삽입되는 것을 특징으로 하는 영상 및 음성 왜곡 검출 방법.
- 제1항에 있어서, 상기 워터마크 신호는 영상 신호에 대해 블록별로 삽입되는 영상 워터마크 신호와 음성 신호에 대해 시간 블록별로 삽입되는 음성 워터마크 신호를 포함하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 방법.
- 제1항에 있어서, 상기 워터마크 삽입 과정은
워터마크가 삽입될 영상 및 음성 신호에서 영상 및 음성 왜곡 판단을 위한 블록 사이즈 및 블록 시간을 설정하는 과정;
영상 및 음성 신호에 대해 미리 설정된 블록 사이즈로 복수개로 블록화 하는 과정;
전체 워터마크 임베딩 시간, 분할 임베딩 시간에 따라 상기 영상 및 음성 신호의 블록별로 동일한 강도의 영상 워터마크 신호와 음성 워터마크 신호를 삽입하는 과정을 포함하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 방법. - 제1항에 있어서, 상기 영상 및 음성 왜곡 판단을 위한 블록 사이즈 및 블록 시간은 시험 대상 장치의 종류에 따라 조절되는 것임을 특징으로 하는 영상 및 음성 왜곡 검출 방법.
- 제1항에 있어서, 상기 영상 및 음성의 워터마크 이상 유무를 판단하는 과정은,
캡쳐된 영상 및 음성 신호에 대해 블록별로 해당 워터마크를 검출하는 과정;
상기 검출된 각 블록의 워터마크를 분석하여 워터마크의 이상 유무를 판단하는 과정을 구비하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 방법. - 제1항에 있어서, 상기 영상 및 음성의 분석 결과를 리포팅하는 과정을 더 포함하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 방법.
- 제8항에 있어서, 상기 리포팅 과정은
사용자의 시간 설정에 따라 왜곡이 있는 워터마크가 포함된 영상 블록 또는 음성 블록을 설정 시간만큼 저장하는 것임을 특징으로 하는 영상 및 음성 왜곡 검출 방법.
- 영상 및 음성 왜곡 검출 장치에 있어서,
디지털 방송 신호 또는 멀티미디어 콘텐츠를 영상 및 음성 신호로 분리하여 해당 저장 영역에 저장하는 신호 처리부;
영상 및 음성 워터마크를 생성하는 워터마크 생성부;
상기 신호 처리부에서 저장된 기준 영상 및 음성 신호에 대해 블록별로 동일한 강도의 상기 영상 및 음성 워터마크를 삽입하는 워터마크 삽입 스케쥴러부;
상기 워터마크 삽입 스케쥴러부에서 영상 및 음성 워터마크가 삽입된 영상 및 음성을 시험 장치로 출력하는 출력 스케쥴러부;
상기 시험 장치로 출력되는 영상 및 음성 출력을 캡쳐하는 신호 캡쳐부;
상기 신호 캡쳐부에서 캡쳐된 영상 및 음성으로부터 영상 및 음성 워터마크를 검출하여 영상 및 음성의 워터마크 이상 유무를 판단하는 왜곡 분석부를 포함하는 영상 및 음성 왜곡 검출 장치. - 제10항에 있어서, 상기 신호 처리부는
디지털 방송 신호 또는 멀티미디어 콘텐츠를 영상 및 음성 신호로 분리하는 신호 분리부;
상기 신호 분리부에서 분리된 영상 및 음성 신호를 각 저장 영역에 저장하는 프레임 저장부를 구비하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 장치.
- 제10항에 있어서, 상기 워터마크 생성부는
멀티 미디어 디바이스의 고유 기능인 영상 및 음성의 증폭 및 변형에 대해 로버스트한 워터마크를 생성하는 것임을 특징으로 하는 영상 및 음성 왜곡 검출 장치.
- 제10항에 있어서, 상기 워터마크 삽입 스케쥴러부는
영상 및 음성 신호에 대해 설정된 블록 사이즈 및 블록 시간으로 복수개로 블록화 하는 블록킹부;
디펙트 마진에 따라 상기 블록 사이즈 및 블록 시간을 조정하는 제어부;
상기 제어부에서 조정된 블록 사이즈 및 블록 시간에 따라 상기 블록킹부에서 블록화 된 영상 및 음성 블록들에 영상 및 음성 워터마크를 삽입하는 워터마크삽입부를 구비하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 장치.
- 제10항에 있어서, 상기 신호 캡쳐부는
시험 장치에서 출력되는 영상 신호를 카메라 또는 라인으로 캡쳐하고, 시험 장치에서 출력되는 음성 신호를 마이크 또는 라인으로 캡쳐하는 것임을 특징으로 하는 영상 및 음성 왜곡 검출 장치.
- 제10항에 있어서, 상기 왜곡 분석부는
캡쳐된 영상 및 음성 신호에 대해 해당 블록별로 해당 워터마크를 검출하는 워터마크 검출부;
상기 검출된 영상 및 음성 블록들의 워터마크를 분석하여 워터마크의 이상 유무를 판단하는 워터마크 블록 판단부;
상기 워터마크 블록 판단부에서 판단된 상기 영상 및 음성의 분석 결과를 리포팅하는 리포팅부를 구비하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 장치. - 제15항에 있어서, 상기 리포팅부에서 상기 사용자의 시간 설정에 따라 왜곡이 있는 워터마크가 포함된 영상 블록 또는 음성 블록을 설정 시간만큼 저장하는 신호 저장부를 더 구비하는 것을 특징으로 하는 영상 및 음성 왜곡 검출 장치.
- 제 1항 내지 제 9항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100090659A KR101721224B1 (ko) | 2010-09-15 | 2010-09-15 | 실시간 영상 및 음성 왜곡 검출 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100090659A KR101721224B1 (ko) | 2010-09-15 | 2010-09-15 | 실시간 영상 및 음성 왜곡 검출 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120029024A true KR20120029024A (ko) | 2012-03-26 |
| KR101721224B1 KR101721224B1 (ko) | 2017-03-29 |
Family
ID=46133587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100090659A KR101721224B1 (ko) | 2010-09-15 | 2010-09-15 | 실시간 영상 및 음성 왜곡 검출 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101721224B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170089640A (ko) * | 2016-01-27 | 2017-08-04 | 주식회사 마크애니 | 방송 신호 인식 시스템 및 그의 동작 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102150639B1 (ko) * | 2018-05-21 | 2020-09-03 | 대한민국 | 디지털 데이터의 무결성을 검증할 수 있는 장치 및 디지털 데이터의 무결성을 검증할 수 있는 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000040659A (ko) * | 1998-12-18 | 2000-07-05 | 전주범 | 테스트 패턴을 이용한 텔레비젼의 검사방법 |
| JP2006527947A (ja) * | 2003-06-18 | 2006-12-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像品質評価方法及びシステム |
-
2010
- 2010-09-15 KR KR1020100090659A patent/KR101721224B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000040659A (ko) * | 1998-12-18 | 2000-07-05 | 전주범 | 테스트 패턴을 이용한 텔레비젼의 검사방법 |
| JP2006527947A (ja) * | 2003-06-18 | 2006-12-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像品質評価方法及びシステム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170089640A (ko) * | 2016-01-27 | 2017-08-04 | 주식회사 마크애니 | 방송 신호 인식 시스템 및 그의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101721224B1 (ko) | 2017-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5492087B2 (ja) | コンテンツベースの画像調整 | |
| CN102084416B (zh) | 音视频签名、导出签名的方法以及比较音视频数据的方法 | |
| CN108419141B (zh) | 一种字幕位置调整的方法、装置、存储介质及电子设备 | |
| KR100694060B1 (ko) | 오디오 비디오 동기화 장치 및 그 방법 | |
| CA2899107C (en) | Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal | |
| TWI442773B (zh) | 抽取視訊與音訊信號內容之特徵以提供此等信號之可靠識別的技術 | |
| KR20070034462A (ko) | 비디오-오디오 동기화 | |
| US8433143B1 (en) | Automated detection of video artifacts in an information signal | |
| KR20070037579A (ko) | 워터마크 검출용 조정 인자의 검색 | |
| KR102201617B1 (ko) | Av기기 및 그 제어방법 | |
| CN104853244A (zh) | 用于管理音视频、音频或视频内容的方法和装置 | |
| KR101741747B1 (ko) | 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법 | |
| US9230173B2 (en) | Soft decision making processes for analyzing images | |
| CN110896503A (zh) | 视音频同步的监测方法及系统，以及视音频播出系统 | |
| US20100026813A1 (en) | Video monitoring involving embedding a video characteristic in audio of a video/audio signal | |
| KR101721224B1 (ko) | 실시간 영상 및 음성 왜곡 검출 방법 및 장치 | |
| JP5304860B2 (ja) | コンテンツ再生装置およびコンテンツ処理方法 | |
| US20090269029A1 (en) | Recording/reproducing device | |
| KR101372639B1 (ko) | 광고 영상 검출 방법 및 장치 | |
| US10783670B2 (en) | Method for compression of 360 degree content and electronic device thereof | |
| EP2881941A1 (en) | Method and apparatus for watermarking an audio signal | |
| US7664175B1 (en) | Mark-based content modulation and detection | |
| CN116051477A (zh) | 一种超高清视频文件的图像噪声检测方法及装置 | |
| JP5692255B2 (ja) | コンテンツ再生装置およびコンテンツ処理方法 | |
| US9025930B2 (en) | Chapter information creation apparatus and control method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |