KR20000052416A - 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체 - Google Patents

화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체 Download PDF

Info

Publication number
KR20000052416A
KR20000052416A KR1019990055047A KR19990055047A KR20000052416A KR 20000052416 A KR20000052416 A KR 20000052416A KR 1019990055047 A KR1019990055047 A KR 1019990055047A KR 19990055047 A KR19990055047 A KR 19990055047A KR 20000052416 A KR20000052416 A KR 20000052416A
Authority
KR
South Korea
Prior art keywords
data
decoding
image
image data
encoded
Prior art date
Application number
KR1019990055047A
Other languages
English (en)
Other versions
KR100416032B1 (ko
Inventor
마에다미쯔루
이노우에히로시
Original Assignee
미다라이 후지오
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP34544798A external-priority patent/JP4217316B2/ja
Priority claimed from JP11962199A external-priority patent/JP2000312359A/ja
Application filed by 미다라이 후지오, 캐논 가부시끼가이샤 filed Critical 미다라이 후지오
Publication of KR20000052416A publication Critical patent/KR20000052416A/ko
Application granted granted Critical
Publication of KR100416032B1 publication Critical patent/KR100416032B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명에 의하면, 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하고, 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는지의 여부를 판단하고, 상기 부호화된 화상데이터의 부호화모드를 판정하고, 상기 판단결과와 상기 판정결과에 따라 상기 부호화된 화상데이터를 복호화하기 위한 화상처리장치 및 화상처리방법, 그리고 대응하는 화상처리프로그램을 기억하는 기억매체가 제공된다.

Description

화상처리장치 및 화상처리방법, 그리고 화상처리프로그램기억용의 기록매체{IMAGE PROCESSING APPARATUS, METHOD THEREFOR AND RECORDING MEDIUM STORING IMAGE PROCESSING PROGRAM}
본 발명은 화상 등의 저작권을 보호하기 위한 화상처리에 관한 것이다.
최근, 동화상(움직임화상)부호화기술의 표준화가 급속히 진행되고 있다. 이미 MPEG-1, 2, H.261 및 H.263[이들 부호화방식은 ISO(International Organization for Standardization: 국제표준화기구)나 ITU(International Telecommunication Union: 국제전기통신연합)에 의해서 국제적으로 표준화되어 있음] 등의 부호화의 표준이 제정되어 있고, 또, 컴퓨터, 방송 및 통신 등의 각종 영역에서 이용가능한 범용적인 차세대멀티미디어부호화규격으로서 MPEG-4에 대한 국제적인 표준화작업이 진행중에 있다. 이들 부호화기술에 의해서 화상의 디지털화가 진행되어, 동화상데이터의 축적 및 통신을 급속히 발전시켰다.
예를 들면, MPEG-4에 있어서는, 주어진 순간의 동화상장면(scene)을, "사람", "자동차", "배경", "음악", "영상" 등의 구성대상체의 집합체로서 고려해서, 각 대상체(object)마다 적응적인 부호화처리를 행하여 동화상데이터를 고능률로 부호화한다.
MPEG-4와 같은 멀티대상체부호화기술에 있어서는, 압축부호화된 각 대상체의 조합으로 1개의 장면이 표현되므로, 다른 장면은, 상기 MPEG-4데이터에 다른 MPEG-4데이터로부터의 대상체데이터를 재이용함으로써 다른 장면을 용이하게 표현하는 것이 가능하다.
전술한 바와 같은 디지털부호화규격의 보급에 따라, 목록(즉, 내용(contents))관련업계로부터는 저작권보호의 문제가 강하게 제기되어 왔고, 저작권보호를 충분히 보증할 수 없는 규격에 대해서는, 양호한 내용을 안심하고 제공할 수 없다고 하는 문제가 생기고 있다.
이 문제는, MPEG-4에 있어서 심각한 데, 그 이유는, 전술한 바와 같이 MPEG-4에서는 각 대상체별로 부호화를 행하므로 조작이나 가공이 가능하기 때문이다. 따라서, MPEG-4와 같은 멀티대상체부호화에서는, 대상체단위의 지적재산권보호는 원활한 각 대상체의 재이용의 관점에서 당연한 요구로 되고, 또한, 그 대상체가 사람인 경우 초상권의 보호도 필요로 되고 있다.
따라서, 동화상의 일부의 저작권을 보호하기 위하여, 동화상의 일부를 재생하지 못하도록 해당 동화상의 복호를 일시적으로 정지시키는 방법이 고려되고 있다. 구체적으로는, 동화상에서의 저작권이나 초상권을 고려한 때, 이러한 권한에 관련된 부분의 복호를 정지시키고, 이러한 부분이 종료한 후, 복호를 재개시키는 방식이다.
그러나, 이러한 방법은 다음과 같은 문제가 발생한다.
동화상에 대해서는, 프레임간 상관을 이용한 부호화가 일반적으로 이용된다. 이들 방법중에서, H.261, H.263, MPEG-1, MPEG-2 및 MPEG-4가 잘 알려져 있다. 이들 방식에서는, 기본적으로 시간적으로 앞의 프레임 또는 앞뒤의 프레임을 참조해서 움직임보상을 행하여 부호화를 행하고 있다.
도 1은 H.261, H.263 등에 의한 재생모드를 도시한 것으로, I는 프레임내(intraframe) 부호화가 수행되는 프레임을 표시하고, P는 프레임간(interframe) 부호화가 수행되는 프레임을 표시한다. 도 1에 있어서, "시각"은, 시간의 경과를 표시하고, "시큐리티(security)"는 복호화가 정지되고 있는 기간(블랙존)을 표시하고, "부호"는 부호화수순에 있어서의 프레임의 배열을 표시하고, "표시"는 표시수순에 있어서의 프레임의 구성을 표시한다.
이제, 부호화된 데이터 P4~ P9에 대해서 지적재산권(예를 들면, 저작권)을 보호(시큐리티)할 목적으로 복호가 정지된 것으로 가정한다. 동화상의 복호가, P3에서 정지되고, 이후 복호가 재개될 때까지 화상이 표시되지 않는 상태로 된다. 복호의 정지와 동시에, 버퍼로의 부호화데이터의 기입도 정지되므로, 부호화된 데이터 P4~ P9는 폐기되게 된다. 따라서, 화상보호기간이후의 P10으로부터 복호를 재개하면, P10으로 간주되어야 할 P9는 이미 폐기되었으므로, P10이후의 복호처리가 정상으로 수행될 수 없어, 프레임내 부호화가 행해지고 있는 I1이 복호될 때까지의 P10내지 P13의 기간의 프레임의 화상이 교란되거나, 혹은 복호동작이 중단되어 버린다.
또, MPEG-1, 2 또는 4부호화방식은, 시간적으로 전후의 예측을 행하는 양방향 움직임보상을 이용한다.
도 2는 이러한 방식에 있어서의 부호화모드를 표시한 것이다. B는 양방향(쌍방향) 프레임간 부호화되는 프레임을 표시한다. 도 2에 있어서, "시각"은, 시간의 경과를 표시하고, "시큐리티"는 복호화가 정지되고 있는 기간(블랙존)을 표시하고, "부호"는 부호화수순의 프레임의 배열을 표시하고, "표시"는 표시수순의 프레임의 배열을 표시한다. 이 프레임의 부호화의 수순은, B프레임의 존재로 인해 원래의 화상의 것과는 다르게 된다.
이제, 부호화된 데이터 B10~ P3에 대해서 지적재산권(예를 들면, 저작권)을 보호할 목적으로 복호가 정지된 것으로 가정한다. 도 1의 경우와 마찬가지로 정확하게 움직임보상이 행해지지 않으므로, 프레임 B30, B31, B40또는 B41의 화상도 복호화처리가 정확하게 수행될 수 없어, 각 프레임마다의 화상이 교란되거나, 복호동작이 중단되어 버린다.
상기 문제를 고려해서, 본 발명의 목적은, 화상의 지적재산권(예를 들면, 저작권)을 보호하기 위해 화상의 재생/정지를 적절하게 처리할 수 있는 화상처리장치, 화상처리방법 및 화상처리프로그램을 기억하는 기록매체를 제공하는 데 있다.
상기 목적은, 바람직한 실시예에 의하면, 복수종의 부호화모드로 부호화된 화상데이터와 해당 화상데이터를 보호하기 위한 시큐리티데이터를 입력하고; 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는지의 여부를 판단하고; 상기 부호화된 화상데이터의 부호화모드를 판정하고; 상기 판단결과와 상기 판정결과에 따라 상기 부호화된 화상데이터를 복호화하는 화상처리장치/방법에 의해 달성할 수 있다.
또, 다른 바람직한 실시예에 의하면, 복수종의 부호화모드로 부호화된 화상데이터와 해당 화상데이터를 보호하기 위한 시큐리티데이터를 입력하고; 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는지의 여부를 판단하고; 상기 부호화된 화상데이터의 부호화모드를 판정하고; 상기 부호화된 화상데이터를 복호화하고; 상기 판단결과와 상기 부호화모드판정결과에 따라 상기 복호화된 화상데이터의 동기를 제어하는 화상처리장치/방법이 제공된다.
본 발명의 또다른 바람직한 실시예에 의하면, 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 입력공정; 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는지의 여부를 판단하는 판단공정; 상기 부호화된 화상데이터의 부호화모드를 판정하는 부호화모드판정공정; 상기 부호화된 화상데이터를 복호화하고 해당 복호화된 화상데이터를 출력하는 복호화공정; 및 상기 판단공정의 판단결과와 상기 부호화모드판정공정의 판정결과에 따라 상기 부호화된 화상데이터를 복호화하는 복호화공정을 구비한 화상처리방법의 각 처리코드를 기억하는 기록매체가 제공된다.
본 발명의 또다른 바람직한 실시예에 의하면, 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 입력공정; 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 판단공정; 상기 부호화된 화상데이터의 부호화모드를 판정하는 부호화모드판정공정; 상기 부호화된 화상데이터를 복호화하는 화상복호화공정; 및 상기 판단결과와 상기 부호화모드의 판정결과에 따라 상기 복호화된 화상데이터를 복호화하는 복호화공정을 구비한 화상처리방법의 각 처리코드를 기억하는 기록매체가 제공된다.
본 발명의 기타 목적과 특징 및 이점 등은 첨부도면과 관련하여 취한 이하의 상세한 설명으로부터 충분히 명백해질 것이다.
도 1은 (I, P프레임으로 구성된)화상의 보호의 경우에 있어서의 종래의 복호화모드를 표시한 도면
도 2는 (I, P, B프레임으로 구성된)화상의 보호의 경우에 있어서의 종래의 복호화모드를 표시한 도면
도 3은 본 발명의 제 1실시예를 구성하는 화상처리장치의 구성을 표시한 블록도
도 4는 본 발명의 제 1실시예에 있어서의 시큐리티부호화데이터를 표시한 도면
도 5는 제 1실시예에 있어서의 시큐리티복호부(1004)의 구성을 표시한 블록도
도 6은 제 1실시예에 있어서의 영상복호부(1005)의 구성을 표시한 블록도
도 7은 제 1실시예에 있어서의 복호화모드를 표시한 도면
도 8은 제 1실시예에 있어서의 영상복호부(1005)의 다른 구성을 표시한 도면
도 9는 제 2실시예에 있어서의 영상복호부(1005)의 구성을 표시한 블록도
도 10은 제 2실시예에 있어서의 복호화모드를 표시한 도면
도 11은 제 3실시예를 구성하는 화상처리장치의 구성을 표시한 블록도
도 12는 제 3실시예에 있어서의 메모리(301)의 내용을 표시한 도면
도 13은 제 3실시예에 있어서의 시큐리티부호화데이터를 표시한 도면
도 14는 제 3실시예에 있어서의 화상처리동작을 표시한 순서도
도 15는 본 발명의 제 4실시예를 구성하는 화상처리장치의 구성을 표시한 블록도
도 16은 제 4실시예에 있어서의 장면기술부호화데이터를 표시한 도면
도 17은 제 4실시예에 있어서의 시큐리티부호화데이터를 표시한 도면
도 18은 제 4실시예에 있어서의 영상부호화데이터를 표시한 도면
도 19는 제 4실시예에 있어서의 시스템복호부(3004)의 구성을 표시한 블록도
도 20은 제 4실시예에 있어서의 시큐리티복호부(3005)의 구성을 표시한 블록도
도 21은 제 4실시예에 있어서의 영상복호부(3006)의 구성을 표시한 블록도
도 22는 제 4실시예에 있어서의 동기제어부(3008)의 구성을 표시한 블록도
도 23은 제 4실시예에 있어서의 복호화모드를 표시한 도면
도 24는 제 4실시예에 있어서의 다른 구성의 시큐리티부호화데이터를 표시한 도면
도 25는 제 4실시예에 있어서의 또다른 구성의 시큐리티부호화데이터를 표시한 도면
도 26은 제 4실시예의 전체의 동작을 표시한 순서도
도 27은 본 발명의 제 5실시예에 있어서의 동기제어부(3008)의 다른 구성을 표시한 블록도
<도면의 주요부분에 대한 부호의 설명>
101, 601: 화상데이터입력단자 102, 502, 602: 제어신호입력단자
103, 603, 709, 710, 711: 버퍼 104, 604: 분리기
105, 605: 헤더복호기 106, 606: 움직임보상복호기
107, 607: 텍스처복호기 108, 608: 역양자화·IDCT부
109, 609: 가산기
110, 202, 203, 610: 참조프레임메모리
111, 611: 움직임보상기 112, 702: 프레임모드판정기
113, 204, 306: 표시프레임메모리
114, 199, 156, 403, 405, 407, 506, 508, 509, 612, 613: 출력단자
300: CPU 301: 메모리
302: 버스 303, 1001, 3001: 기억장치
304, 1002, 3002: 통신회로
305, 1003, 3003: 통신인터페이스(통신(I/F)
307, 1006, 3009: 모니터 401, 3004: 시스템복호부
402: 영상복호제어기 404: 음성복호제어기
406, 503: 시큐리티복호제어기 408: CG발생기
504: 시큐리티인증부 505: 영상복호제어신호발생기
507: 음성복호제어신호발생기 705, 802: 동기신호제어기
712: 영상동기제어기 713: CG동기제어기
714: 음성동기제어기 715: 합성기
801: 정지시간판정기 1004, 3005: 시큐리티복호부
1005, 3006: 영상복호부 3004: 시스템복호부
3007: 음성복호부 3008: 동기제어부
3010: 스피커
이하, 본 발명의 바람직한 실시예를 상세히 설명한다.
우선, 첨부도면을 참조해서, 본 발명의 제 1실시예에 대해서 상세히 설명한다.
도 3은 본 발명의 제 1실시예를 구성하는 화상처리장치의 구성을 표시한 블록도이다.
도 3에 있어서, 기억장치(1001)는, 동화상데이터를 축적하고 있다. 동화상데이터는, 각 동화상데이터의 부호화데이터와 저작권을 보호하기 위한 정보를 부호화한 시큐리티부호화데이터로 구성되어 있다. 본 실시예에서는, 시큐리티부호화데이터는 동화상데이터가 송신되기 전에 전송되는 것으로 가정한다. 그러나, 이러한 방식으로 한정되는 것은 아니고, 시큐리티부호화데이터는 동화상데이터에 시분할 다중화되어서 전송되어도 된다.
본 실시예에서는, 동화상부호화데이터가 MPEG-1부호화방식에 의해 부호화되어 있는 경우에 대해서 설명한다. 또, MPEG-1부호화방식에 대해서는, ISO/IEC 11172-2에 상세히 기재되어 있으므로, 더이상의 설명을 생략한다. 또한, 설명을 용이하게 하기 위하여, 프레임단위로의 부호화가 되어 있는 것으로 가정하고, 데이터는 프레임내 부호화가 수행되는 I프레임과 프레임간 상관을 이용하는 P프레임으로 이루어져 있는 것으로 가정한다. 이 동화상데이터는, 프레임내 부호화의 프레임과 프레임간 상관을 이용하는 부호화방식이면 어느 것이라도 이용해도 된다. 물론 필드단위의 부호화를 이용해도 된다.
도 4는 시큐리티부호화데이터의 구성을 표시한 것이다.
도 4에 있어서, 시큐리티부호화데이터의 부호길이를 표시하는 CodeLength부호(2001); 지적재산권(본 실시예에서는 저작권을 예로서 취함)의 인증에 필요한 정보를 표시하는 IPcode부호(2002); 저작권의 보호를 개시하는 시간을 표시하는 SecurityStartTime부호(2003); 및 저작권의 보호를 해제하는 시간을 표시하는 SecurityEndTime부호(2004)가 표시되어 있다. 본 실시예에 있어서는, 데이터(2002) ~ (2004)가 동화상데이터에서 보호해야 할 하나의 부분을 지정할 수 있다. 따라서, 보호해야 할 복수의 부분이 분할된 방식으로 존재할 경우에는, 이러한 복수의 부분에 대응해서 복수조의 데이터(2002) ~ (2004)가 연속적인 방식으로 존재한다(도 4참조).
도 3을 다시 참조하면, 통신회로(1002)는 LAN, 공중통신선, 무선회선 또는 방송전파로 구성되어 있다. 통신인터페이스(1003)는 통신회로(1002)로부터 동화상데이터를 수신한다.
또, 상기 시큐리티부호화데이터를 복호하고, 인증데이터와의 비교를 통해 재생의 정지 및 재개를 지시하는 시큐리티복호부(1004); 동화상부호화데이터를 복호해서 동화상을 재생하는 영상복호부(1005); 및 재생된 동화상을 표시하는 모니터(1006)도 표시되어 있다.
이하, 상기 구성의 장치에 있어서의 동화상데이터의 처리에 대해 설명한다.
도시하지 않은 조작자가, 먼저, 기억장치(1001)로부터 재생해야 할 동화상데이터를 선택하고, 선택된 동화상데이터의 동화상부호화데이터와 시큐리티부호화데이터를 판독하여, 각각 영상복호부(1005) 및 시큐리티복호부(1004)로 입력한다.
도 5는 시큐리티복호부(1004)의 상세블록도이다.
도 5에 있어서는, 시큐리티부호화데이터를 입력하는 입력단자(151); 시큐리티부호화데이터를 복호화함으로써 인증정보 및 저작권보호를 행하는 시간에 관한 정보를 획득하는 시큐리티복호기(152); 인증정보를 해석해서 복호의 금지여부를 결정하는 시큐리티인증부(153); 동화상의 재생을 정확하게 행하기 위하여 시각을 발생시키는 타이머(154); 시큐리티인증부(153)의 결정에 따라 영상복호부(1005)의 제어를 행하는 신호를 발생시키는 제어신호발생기(155); 및 제어신호발생기(155)에 의해 발생된 제어신호를 영상복호부(1005)로 출력하는 출력단자(156)가 표시되어 있다.
이하, 상기 구성의 시큐리티복호부(1004)의 복호동작을 설명한다.
입력단자(151)로 입력된 시큐리티부호화데이터는, 시큐리티복호기(152)에서 복호되고, 도 4에 표시한 부호로부터 CodeLength부호를 복호해서 부호화데이터전체의 양을 파악한다. 또, 저작권보호를 행하는 각 부분에 대해서, 지적재산권의 인증에 필요한 정보를 표시하는 IPcode부호, 저작권보호를 개시하는 시간을 표시하는 SecurityStartTime부호 및 저작권보호를 종료하는 시간을 표시하는 SecurityEndTime부호를 복호해서 각각의 정보를 획득한다.
인증에 필요한 정보는 시큐리티인증부(153)에 입력하고, 제어신호발생기(155)는, 시큐리티인증부(153)로부터의 지시가 없을 경우, 영상복호부(1005)가 동화상데이터의 복호처리를 행하도록 출력단자(156)로부터 영상복호부(1005)로 제어신호를 발생시킨다.
시큐리티인증부(153)는, 미리 획득하거나 조작자가 입력한 인증정보와의 비교를 행하여 복호의 허가여부를 판정한다. 복호처리가 허가된 경우에는, 제어신호발생기(155)에 그 허가를 알리고, 이 때, 이미 영상복호부(1005)가 동화상데이터의 복호화를 행하도록 제어신호를 발생시키고 있는 경우에는, 그러한 제어신호를 그대로 유지한다.
한편, 복호처리를 금지하는 경우, 시큐리티인증부(153)는 복호처리를 금지하는 신호를 제어신호발생기(155)에 출력하고, 해당 제어신호발생기(155)는, 시큐리티복호기(152)로부터 입력된 해당하는 저작권보호를 행하는 시간에 관한 정보(SecurityStartTime부호로부터 복호된 정보)와, 타이머(154)로부터 입력된 시각을 비교해서, 저작권보호를 개시하는 시간이 상기 시각과 동일하게 된 때, 동화상의 복호를 정지시키기 위한 신호를 단자(156)로부터 출력한다.
또, 해당하는 저작권보호를 행하는 시간에 관한 정보(SecurityEndTime부호로부터 복호된 정보)와 타이머(154)로부터 입력되는 시각을 비교하여, 저작권보호를 종료하는 시간이 상기 시각과 동일하게 된 때, 동화상의 복호를 재개시키는 신호를 단자(156)로부터 출력한다.
영상복호부(1005)는, 기억장치(1001)로부터 동화상부호화데이터를, 시큐리티복호부(1004)로부터 제어신호를 수신한다.
도 6은 영상복호부(1005)의 상세블록도이다.
도 6에 있어서, (101)은 기억장치(1001)로부터 동화상부호화데이터를 입력하는 화상데이터입력단자이고, (102)는 시큐리티복호부(1004)로부터 제어신호를 입력하는 제어신호입력단자이다.
(103)은 입력된 동화상부호화데이터를 격납하는 버퍼; (104)는 버퍼(103)로부터 MPEG-1부호화된 데이터를 판독하여, 각 부호의 내용을 표시하는 헤더정보, 동화상보상을 행하기 위한 움직임보상부호 및 DCT변환계수를 부호화한 데이터를 각각 분리하는 분리기이다.
(105)는 분리된 헤더정보를 복호해서, 각종 개시부호, 화상크기 및 각 프레임의 부호화모드를 획득하는 헤더복호기이다.
(106)은 움직임보상부호를 복호해서, 각 매크로블록의 부호화모드, 움직임벡터 등을 복호하고, 움직임보상에 필요한 정보를 획득하는 움직임보상복호기이고, (107)은 부호를 복호함으로써, 양자화계수, DCT변환계수의 양자화 결과 등을 획득하는 텍스처복호기이다.
(108)은 양자화계수, DCT계수의 양자화 결과 등을 수신하여, 역양자화 및 역DCT를 행함으로써, 움직임보상에 의한 화소데이터 또는 오차데이터를 획득하는 역양자화·IDCT부이다.
(109)는 상기 움직임보상의 결과와 상기 오차데이터를 가산하는 가산기; (110)은 움직임보상에 필요한 참조프레임을 격납하는 참조프레임메모리; (111)은 움직임벡터복호기(106)의 결과에 따라 참조프레임메모리의 내용에 대한 움직임보상을 행하는 움직임보상기이다.
(113)은 복호된 프레임의 화상을 표시하기 위하여 일시적으로 격납하는 표시프레임메모리; (112)는 헤더복호기(105)로부터 프레임의 부호화모드를 수신하여 I프레임인지 P프레임인지를 판정하는 프레임모드판정기이다. 또, 프레임모드판정기(112)는 참조프레임메모리(110), 표시프레임메모리(113) 등을 제어한다. (114)는 모니터(1006)에 동화상데이터를 출력하는 출력단자이다.
이하, 상기 구성의 영상복호부(1005)의 복호동작에 대해 설명한다.
버퍼(103)는 제어신호입력단자(102)로부터의 제어신호가 복호가능하다는 것을 지시하고 있을 경우, 동화상부호화데이터를 화상데이터입력단자(102)로부터 수신하고, 이러한 데이터를 축적한다. 버퍼(103)는 제어신호입력단자(102)로부터의 제어신호가 복호금지를 지시하고 있을 경우, 동화상부호화데이터를 축적하지 않고폐기한다.
이하, 먼저 제어신호가 복호가능을 지시하고 있을 경우의 동작에 대해 설명한다.
분리기(104)는 버퍼(103)로부터 부호화데이터를 수신하여, 부호의 내용을 표시하는 헤더정보, 움직임보상을 수행하기 위한 움직임보상부호 및 DCT계수의 부호화된 데이터를 각각 분리한다. 헤더복호기(105)는 분리기(104)로부터 분리된 헤더정보로부터 각종 개시부호, 화상크기 및 각 프레임의 부호화모드를 복호화함으로써, 이들 정보를 획득한다.
움직임보상복호기(106)는 분리기(104)에 의해 분리된 움직임보상부호를 복호함으로써, 각 매크로블록의 부호화모드, 움직임벡터 등을 복호하여, 움직임보상에 필요한 정보를 획득하고, P프레임인 경우, 이들 정보를 움직임보상기(111)로 보내어 움직임보상을 행한다.
텍스처복호기(107)는 분리기(104)에 의해 분리된 부호화데이터를 복호함으로써, 양자화계수, DCT계수의 양자화 결과를 획득한다. 그 복호된 양자화데이터는 역양자화·IDCT부(108)로 입력되어, 화소데이터 또는 움직임보상에 의한 오차데이터를 구한다.
상기 오차데이터는, 가산기(109)에 있어서, 움직임보상기(111)로부터의 출력데이터에 가산되고, 움직임보상기(111)는, 움직임보상복호기(106)로부터 프레임내 부호화를 행하는 매크로블록이면 값 "0"을, 그렇지 않으면 얻어진 움직임벡터에 따라서, 참조프레임메모리(110)상에 움직임보상을 행하여, 참조데이터를 가산기(109)에 출력한다.
가산기(109)에서 얻어진 화소값은 참조프레임메모리(110) 및 표시프레임메모리(113)에 격납된다. 표시프레임메모리(113)에 격납된 화상데이터는 출력단자(114)를 통해 모니터(1006)에 공급되어, 표시된다.
이하, 제어신호가 복호허가상태로부터 복호금지를 지시한 경우의 복호동작에 대해 설명한다.
버퍼(103)는 부호의 입력을 정지시키고, 헤더복호기(105), 움직임보상복호기(106), 움직임보상기(111) 및 텍스처복호기(107)의 동작을 정지시킨다. 또, 참조프레임메모리(110) 및 표시프레임메모리(113)의 갱신(update)을 금지한다. 그 결과, 출력단자(114)로부터는 최후에 복호된 프레임의 화상데이터가 출력된다. 따라서, 모니터(1006)는 최후에 복호된 프레임을 표시하는 데 기여한다.
이하, 제어신호가 복호금지상태로부터 복호를 허가함으로써 복호의 재개를 지시한 경우의 복호동작에 대해 설명한다.
버퍼(103)는 부호의 입력을 재개시켜, 헤더복호기(105)를 동작시킨다. 헤더복호기(105)는 다음의 개시부호를 검지하여 판정한다. 프레임의 개시부호를 인식한 경우, 프레임모드판정기(112)로 이러한 프레임의 부호화모드를 공급한다.
프레임모드판정기(112)는, 부호화모드가 P프레임이면, 움직임보상복호기(106), 움직임보상기(111) 및 텍스처복호기(107)의 동작은 재개시키지 않고, 참조프레임메모리(110) 및 표시프레임메모리(113)의 갱신금지상태를 유지한다.
또, 프레임모드판정기(112)는, 부호화모드가 I프레임이면, 움직임보상복호기(106), 움직임보상기(111) 및 텍스처복호기(107)의 동작을 재개시켜, 참조프레임메모리(110) 및 표시프레임메모리(113)의 갱신을 재개한다. 이 후, 제어신호가 복호금지로 될 때까지 각 부의 동작을 계속시킨다. 따라서, 모니터(1006)상의 표시도 갱신됨으로써, 동화상표시가 재개된다.
상기 절차에 의하면, 복호가 재개된 경우에, 프레임내 부호화를 행한 프레임으로부터 처리를 개시함으로써, 프레임의 화상이 교란되거나 복호동작이 중단되거나 하는 것을 용이하게 방지할 수 있다.
예를 들어, 도 7에 표시한 바와 같이 부호화프레임기간 P4~ P9에서 저작권의 보호(시큐리티)에 의해 복호가 금지된 경우에도, 이러한 시큐리티의 개시시점으로부터 그 시큐리티기간직전의 프레임 P3의 표시가 계속되고, 다음의 I1프레임이후부터 복호처리가 재개됨으로써 화상의 정지나 교란을 피할 수 있게 되어, 조작자는 불쾌한 화상을 보는 일로부터 해방될 수 있게 된다.
본 실시예에서는, 복호가 금지되고 있는 기간동안에, 이러한 금지직전에 복호된 화상이 출력되게 되지만, 소정의 화상을 미리 메모리 등에 기억시켜 놓고, 그러한 소정의 화상을 출력하도록 해도 된다.
또, 본 실시예에 있어서, 메모리구성은 적절하게 변경가능하다. 또한, 통신데이터에 대해서, 통신회로(1002)로부터 통신인터페이스(1003)를 통해 입력된 동화상데이터에 대해서도 마찬가지의 조작을 수행하는 것도 유효하다.
또한, 도 8에 표시한 바와 같은 출력단자(199)를 설치해서, 헤더복호기(105)의 정보, 예를 들면, 프레임의 복호시각에 관한 정보(화상군에 대한 time_cpde부호의 복호결과 또는 화상에 대한 temporal_reference부호의 복호결과 등)를 외부로 출력함으로써, 복호재개시의 음성데이터 등과 동기를 재구축하는 것도 가능하다.
도 9는 본 실시예에 있어서의 영상복호부(1005)의 구성을 표시한 블록도로서, 제 1실시예의 것과 마찬가지의 구성성분에 대해서는 동일한 부호로 표시하고, 더이상의 설명은 생략한다.
도 9에 있어서, P프레임의 움직임보상에 부가해서, B프레임의 양방향움직임보상을 행하는 것이 가능한 움직임보상기(201)와, 움직임보상에 필요한 참조프레임을 격납하고 참조프레임메모리(110)와 마찬가지로 기능하는 참조프레임메모리(202), (203)가 표시되어 있다.
표시프레임메모리(204)는 표시프레임메모리(113)와 마찬가지로 동작하지만, 가산기(109)에 부가해서 참조프레임메모리(202), (203)로부터의 입력을 수신한다.
이하, 상기 구성의 영상복호부(1005)에서의 복호화처리에 대해 설명한다.
면저, 제어신호가 복호가능을 지시하고 있는 경우의 복호동작에 대해서 설명한다.
분리기(104)는 버퍼(103)로부터 부호화데이터를 수신해서, 각종 정보를 분리하고, 각 부호를 헤더복호기(105), 움직임보상복호기(106) 및 텍스처복호기(107)에 분배한다.
움직임보상기(106)는 각 매크로블록의 부호화모드, 움직임벡터 등을 복호함으로써, 움직임보상에 필요한 정보를 획득하고, P프레임 또는 B프레임이면, 이들 정보를 움직임보상기(201)에 입력해서, 움직임보상을 행한다. P프레임이면, 움직임보상기(201)는 참조프레임(202), (203)의 최후에 갱신된 프레임의 내용을 참조해서 움직임보상을 행한다. B프레임이면, 참조프레임(202), (203)을 참조해서, 최후에 갱신된 프레임의 내용을 전방예측의 참조프레임으로서, 그렇지 않은 쪽의 프레임의 내용을 후방예측의 참조프레임으로서 취함으로써 움직임보상을 행한다.
텍스처복호기(107)와 역양자화·IDCT부(108)에 의해서, 화소데이터 또는 움직임보상에 의한 오차데이터를 구하고, 가산기(109)에서 오차데이터와 움직임보상기(201)로부터의 결과를 가산한다.
가산기(109)에 의해 구해진 화소값(복호화상)이 I프레임 또는 P프레임이면, 참조프레임메모리(202), (203)중, 시간적으로 과거에 복호된 프레임의 내용을 격납하고 있는 참조프레임메모리에 격납한다. 이어서, B프레임이 계속될 경우, I프레임 또는 P프레임의 복호화상은 표시프레임메모리(204)에 격납시키지 않고, B프레임의 복호, 표시메모리에의 출력이 종료된 후에 상기 I프레임 또는 P프레임의 복호화상을 격납한 참조프레임메모리(202) 또는 (203)로부터 표시프레임메모리(113)로 전송한다.
또, 가산기(109)에 의해 구해진 화소값(복호화화상)이 B프레임이면, 이들은 참조프레임메모리(202), (203)의 한쪽에 격납시키고 표시프레임메모리(204)에만 전송한다.
표시프레임메모리(204)에 격납된 화상데이터는 출력단자(114)를 통해 모니터(1006)로 출력되어 표시된다.
이하, 제어신호가 복호허가상태로부터 복호금지를 지시한 경우의 복호동작에 대해 설명한다.
버퍼(103)는 부호의 입력을 정지시키고, 헤더복호기(105), 움직임보상복호기(106), 움직임보상기(111) 및 텍스처복호기(107)의 동작을 정지시키고, 또, 참조프레임메모리(202), (203) 및 표시프레임메모리(204)의 갱신을 금지한다.
프레임모드판정기(112)가 I프레임이 복호된 것을 인식한 경우, 갱신의 금지를 지속한다. P프레임이 복호된 경우에는, 복호되어 기입된 내용을 참조프레임메모리(202) 또는 (203)로부터 판독하여 표시프레임메모리(204)로 전송한 후에, 모든 갱신을 금지한다. B프레임이 복호된 경우, 최후에 갱신된 내용을 참조프레임메모리(202) 또는 (203)로부터 판독하고, 표시프레임메모리(204)에 전송한 후에, 모든 갱신을 금지한다.
그 결과, 출력단자(114)로부터는 시간적으로 최후에 복호된 프레임의 화상데이터가 출력된다. 따라서, 모니터(1006)에서는 복호가 허가되어 있던 최종프레임이 계속 표시된다.
이하, 제어신호가 복호금지상태로부터 복호를 허가함으로써 복호의 재개를 지시한 경우의 복호동작에 대해 설명한다.
버퍼(103)는 부호의 입력을 재개시키고, 헤더복호기(105)를 동작시킨다. 헤더복호기(105)는 다음의 개시부호를 검지하여 판정한다. 프레임의 개시부호를 인식한 경우, 프레임모드판정기(112)에 이러한 프레임의 부호화모드를 공급한다.
프레임모드판정기(112)는, 부호화모드가 P프레임 또는 B프레임를 나타낼 경우, 움직임보상복호기(106), 움직임보상기(201) 및 텍스처복호기(107)의 동작을 재개시키지 않고 프레임메모리(202), (203) 및 표시프레임메모리(204)의 갱신금지상태를 유지한다.
프레임모드판정기(112)는, 부호화모드가 I프레임을 나타낼 경우, 움직임보상복호기(106), 움직임보상기(201) 및 텍스처복호기(107)의 동작을 재개시키고, 참조프레임메모리(202), (203) 및 표시프레임메모리(204)의 갱신을 재개한다. I프레임 다음의 B프레임의 부호화데이터는 복호시키지 않고, 그 직후 이어지는 I프레임 또는 P프레임이후는, 통상의 복호 및 갱신을 제어신호가 복호금지로 될 때까지, 각 부의 복호동작을 지속시킨다. 이것에 의해, 모니터(1006)상의 표시도 재개됨으로써 동화상표시가 재개된다.
상기 절차에 의하면, 복호가 재개된 경우에, 프레임내 부호화를 행한 프레임으로부터 처리를 개시함으로써 프레임의 화상이 교란되거나 복호동작이 중단되거하 하는 것을 용이하게 방지할 수 있다.
예를 들면, 도 10에 표시한 바와 같이 부호화프레임기간 B10~ P3에서 저작권의 보호(시큐리티)에 의해 복호가 금지된 경우에도, 이러한 금지기간 바로 앞의 프레임으로부터 이러한 금지기간이후에 최초로 나타나는 I1프레임까지, 상기 금지기간직전에 정상으로 복호된 프레임 P1의 표시가 계속되고, I1프레임으로부터 복호가 재개됨으로써 화상의 중단이나 교란을 피할 수 있게 되어, 조작자는 불쾌한 화상표시로부터 해방될 수 있게 된다.
또, 상기 실시예에서는, 복호금지기간동안에, 이러한 금지직전에 복호된 화상이 출력되게 되지만, 소정의 화상을 미리 메모리 등에 기억시켜 놓고, 그러한 소정의 화상을 출력하도록 해도 된다
도 11은 본 발명의 제 3실시예를 구성하는 화상처리장치의 구성을 표시한 블록도이다.
도 11에 있어서는, 장치전체를 제어하는 중앙처리장치(CPU)(300); 본 장치의 제어에 필요한 오퍼레이팅시스템(OS), 소프트웨어 및 연산에 필요한 기억영역을 구비한 메모리(301)가 표시되어 있다.
각 부를 접속하여 데이터 및 제어신호를 주고받는 버스(302); 동화상데이터를 축적하는 기억장치(303); 및 예를 들면, LAN, 공중통신선, 무선회선 또는 방송전파로 이루어진 통신회로(304)가 구비되어 있다.
또한, 통신회로(304)로부터 동화상데이터를 수신하는 통신인터페이스(305); 표시해야 할 동화상의 프레임데이터를 격납하는 표시프레임메모리(306); 및 재생된 동화상을 표시하는 모니터(307)도 구비되어 있다.
도 12는 메모리(301)의 사용 및 격납상황을 표시한다.
메모리(301)에는 장치전체를 제어하여 각종 소프트웨어를 동작시키는 오퍼레이팅시스템, 음성데이터 및 동화상의 동기제어용의 정보를 포함하는 부호화데이터를 복호하는 시스템복호기소프트웨어, 저작권의 보호를 행하기 위한 부호화데이터를 복호하는 시큐리티복호기소프트웨어, 동화상의 복호를 행하는 동화상복호기소프트웨어 및 음성데이터의 복호를 행하기 위한 음성복호기소프트웨어가 격납되어 있다. 또, 복호된 화상을 표시 또는 움직임보상시에 참조하기 위하여 격납하는 화상역역 및 각종 연산파라미터를 격납해 놓는 작업영역도 구비되어 있다.
상기 구성에 있어서, 처리에 앞서, 시스템복호기소프트웨어를 동작시켜, 동화상과 음성데이터의 동기를 개별적으로 감시시킨다. 다음에, 기억장치(303) 또는 통신인터페이스(305)로부터 시큐리티부호화데이터, 동화상부호화데이터 및 음성부호화데이터로 구성되는 동화상데이터를 입력하고, 메모리(301)의 작업영역에 격납한다. 이하의 설명에 있어서, 동화상부호화데이터는 MPEG-1방식으로 부호화된 것으로 가정하나, 움직임보상을 이용하는 기타 다른 부호화방식을 이용해도 된다.
도 13은 제 3실시예에 사용되는 시큐리티부호화데이터의 구성을 표시한 것이다.
도 13에 표시한 시큐리티부호화 데이터는, 도 4에 표시한 제 1실시예의 각 부호에 부가해서, 저작권이 음성에 대한 것인지 동화상에 대한 것인지를 인식하기 위한 A/V플래그(2005)를 포함하고 있다.
이하, 도 14에 표시한 순서도를 참조하면서, CPU(300)의 복호동작에 대해 설명한다.
먼저, 스텝 S01에서,흐름(stream)이 입력되었는지의 여부를 판단해서, 입력되어 있는 경우에는, 스텝 S02로 진행하고, 입력되어 있지 않으면 수순을 종료한다.
스텝 S02에서는, 시큐리티복호기스프트웨어를 동작시켜, 해당 동화상데이터에 있어서 복호가 허가되었는지의 여부를 판정한다. 시큐리티복호기에 의한 복호결과가 복호허가를 나타내면, 스텝 S03으로 진행하고, 복호금지를 나타내면, 스텝 S05로 진행한다.
스텝 S03에서는, 동화상복호기스프트웨어를 동작시켜 동화상을 MPEG-1복호화방식에 따라 복호해서, 복호된 화상을 메모리(301)의 화상영역에 격납시킨다. 다음에, 스텝 S04에서는, 상기 화상영역의 화상데이터를 표시수순으로 표시프레임메모리(306)에 보냄으로써, 모니터(307)상에 표시를 행하고, 스텝 S01로 귀환한다.
스텝 S05에서는, 동화상복호기소프트웨어를 정지시킨다. 시큐리티가 음성데이터와 동화상으로 개별적으로 설정될 수 있으므로, 동기를 확보하기 위해, 복호정지중의 부호화 데이터의 판독은 동기를 취해서 행해지지만, 판독된 데이터는 메모리(301)의 작업영역에 격납되지 않고 단순히 폐기된다.
다음 스텝 S06에서는, 시큐리티복호기에 의해 복호의 재개가 지시되었는지의 여부를 판단하여, 지시되어 있지 않으면 스텝 S05로 진행하고, 지시되어 있으면 스텝 S07로 진행한다.
스텝 S07에서는, 시큐리티복호기로부터 복호의 재개가 지시되어 있는 경우(스텝 S06), 동화상복호기소프트웨어를 정지된 상태로부터 동작시키지만, 최초에는 각 프레임의 프레임모드를 나타내는 PTYPE부호까지를 복호한다.
다음에, 스텝 S08에서는 PTYPE이 I프레임을 나타내는지의 여부를 판단하고, 그렇지 않으면 스텝 S07로 귀환하여 다음의 PTYPE부호를 복호하고, I프레임이면, 스텝 S09로 진행한다.
스텝 S09에서는, PTYPE부호이후의 복호를 재개함으로써, 동화상을 MPEG-1복호화방식에 따라 복호하여, 복호화된 화상을 메모리(301)의 화상영역에 격납시키고, 스텝 S10으로 진행한다.
스텝 S10에서는, 화상영역의 화상데이터를 표시수순으로 표시프레임메모리(306)에 보냄으로써, 모니터(307)상에 표시를 행하고, 이어서 스텝 S01로 귀환한다.
이상의 선택동작에 의하면, 장치의 일부 또는 전부를 소프트웨어로 실현할 수 있고, 또, 음성데이터와 동화상에 대해 독립적으로 저작권보호를 위한 시큐리티를 거는 것도 가능하다.
이하, 첨부된 도면을 참조해서, 본 발명의 제 4실시예에 대해 상세히 설명한다.
도 15는 본 발명의 제 4실시예를 구성하는 화상처리장치의 구성을 표시한 블록도이다.
도 15에 있어서, 기억장치(3001)는 장면기술(記述)부호, 지적재산권(본 실시예에서는 저작권을 예로서 취함)을 보호하기 위한 정보를 포함하는 시큐리티부호화데이터, 각 동화상의 영상부호화데이터 및 음성부호화데이터로 이루어진 동화상데이터를 축적하고 있다.
이하, 장면기술부호화데이터에 대해 설명한다.
도 16은 장면기술부호화데이터의 구성을 표시한 것이다.
도 16에 있어서는, 수순의 선두를 나타내는 ODUpdate_tag부호(4001); 각 대상체에 관한 기술의 선두를 나타내는 ESD_tag부호(4002); 각 부호화데이터를 인식하는 ES_ID부호(4003); 복호화에 사용하기 위한 복호기를 지시하는 DecConfD_tag부호(4004); 계속되는 부호화데이터의 종류를 나타내는 stream Type 부호(4005); 시큐리티부호화데이터에 관한 기술의 선두를 나타내는 IPMPD_tag부호(4006); 시큐리티의 인증이나 시큐리티의 개시타이밍을 기술하는 IPMP_data부호(4007); 장면기술부호중 CG를 생성하기 위해 필요한 부호화명령를 포함하는 CGCommand부호(4008); 음성부호화데이터에 관한 기술을 나타내는 AudioDecode부호(4009); 및 영상부호화데이터에 관한 기술을 나타내는 VideoDecode부호(4010)가 표시되어 있다.
이하, 시큐리티부호화데이터에 대해서 설명한다.
도 17은 시큐리티부호화데이터의 구성을 표시한 것이다.
도 17에 있어서, 시큐리티부호화데이터의 부호길이를 나타내는 CodeLength부호(4011); 저작권의 인증에 필요한 정보를 나타내는 IPcode부호(4012); 저작권 등의 보호를 개시하는 시간을 나타내는 SecurityStartTime부호(4013); 및 저작권 등의 보호를 종료하는 시간을 나타내는 SecurityEndTime부호(4014)가 표시되어 있다. 본 실시예에 있어서는, 데이터(4012) ~ (4014)는 동화상에 있어서 보호해야 할 하나의 부분을 지정할 수 있으므로, 보호해야 할 복수의 부분이 분할된 방식으로 존재할 경우에는, 이러한 복수의 부분에 대응해서 연속적인 방식으로 복수조의 데이터(4012) ~ (4014)가 존재하게 될 것이다(도 17참조).
이하, 영상부호화데이터에 대해 설명한다.
도 18은 영상부호화데이터의 구성을 표시한다.
도 18에 있어서는, 영상부호화데이터의 선두를 나타내는 VSSC(visual_odject_sequence_start_code)부호(4021); 동화상의 선두를 나타내는 VOLSC(video_object_layer_start_code)부호(4022); VOP(video object plane)를 갱신하는 시간의 해상도를 나타내는 vop_time_increment_resolution부호(4023); VOP의 선두를 나타내는 vop_start_code부호(4024); VOP의 부호화모드, 즉 I프레임/ P프레임/B프레임을 나타내는 vop_coding_type부호(4025); 및 프레임의 상대적인 표시시간을 나타내는 vop_time_increment부호(4026)가 표시되어 있다.
본 실시예에서는, 동화상부호화데이터가 MPEG-4부호화방식에 의해 부호화되어 있는 경우를 설명한다. 또, MPEG-4부호화방식에 대해서는, ISO/IEC 14496-2에 상세히 기재되어 있으므로, 더이상의 설명을 생략한다. 또 설명을 용이하게 하기 위하여, 프레임단위로 부호화가 되어 있는 것으로 가정하고, 또한, 데이터는 프레임내 부호화를 행하는 I프레임과 프레임간 상관을 이용하는 P프레임으로 이루어져 있는 것으로 가정한다. 동화상데이터에 대해서는, 프레임내 부호화와 프레임간 상관의 프레임을 이용하는 부호화방식이면 어느 것이라도 이용해도 된다. 물론 필드단위의 부호화를 이용해도 된다.
도 15를 다시 참조하면, 예를 들어, LAN, 공중통신선, 무선회선 또는 방송전파로 구성되어 있는 통신회로(3002); 및 통신회로(3002)로부터 동화상데이터를 수신하는 통신인터페이스(3003)가 표시되어 있다.
또, 상기 장면기술부호를 복호하는 시스템복호부(3004); 시큐리티부호화데이터를 복호하고, 인증데이터와의 비교를 통해 동화상의 재생의 정지와 재개를 지시하는 시큐리티복호부(3005); 동화상부호화데이터를 복호해서 동화상을 재생하는 영상복호부(3006); 음성부호화데이터를 복호함으로써 음성 또는 음향신호를 재생하는 음성복호부(3007); 각 복호결과를 동기해서 출력하는 동기제어부(3008); 및 재생된 동화상을 표시하는 모니터(3009)도 표시되어 있다.
이하, 상기 구성의 장치에 있어서의 동화상데이터의 처리에 대해 설명한다.
조작자는, 먼저, 기억장치(3001)로부터 재생해야 할 동화상데이터를 선택하고, 선택된 동화상데이터의 장면기술부호화데이터를 판독하여, 시스템복호부(3004)로 공급한다.
여기서, 시스템복호부(3004)의 상세를 설명한다.
도 19는 시스템복호부(3004)의 구성을 표시한 블록도이다.
도 19에 있어서는, 장면기술부호화데이터를 입력하는 입력단자(400); 장면기술부호화데이터를 복호하는 시스템복호기(401); 영상부호화데이터의 복호의 개시 등을 제어하는 영상복호제어기(402); 및 영상복호제어기로부터 공급된 제어신호를 영상복호부(3006) 및 동기제어부(3008)에 출력하는 출력단자(403)가 표시되어 있다.
또, 음성부호화데이터의 복호의 개시 등을 제어하는 음성복호제어기(404); 및 음성복호제어기로부터 공급된 제어신호를 음성복호부(3007)로 출력하는 출력단자(405)가 구비되어 있다.
또한, 시큐리티부호화데이터의 복호의 개시 등을 제어하는 시큐리티복호제어기(404); 및 시큐리티복호제어기로부터 공급된 제어신호를 시큐리티복호부(3005) 및 동기제어부(3008)로 출력하는 출력단자(407); CG발생기(408); 및 CG발생기에 의해 생성된 CD화상(409)도 구비되어 있다.
상기 구성의 시스템복호부(3004)의 복호동작을 이하 설명한다.
입력단자(400)로부터 수신된 장면기술부호는 시스템복호기(401)로 입력되고, 시스템복호기(401)는, 도 16에 표시한 구성의 부호화데이터에 대해서 ODUpdate_tag부호를 복호함으로써, 수순의 선두를 검출한다. 다음에, ESD_tag부호(4002)를 복호해서 각 대상체에 관한 기술의 개시를 검출한 후, ES_ID부호(4003)를 복호해서 각 대상체의 부호화데이터를 구별하기 위한 정보를 획득한다. 이어서, DecConfID_tag부호(4004)를 복호함으로써 선택된 부호화데이터를 어느 복호기에서 복호하는지를 결정한다. 또, stream Type부호(4005)는 계속되는 부호화데이터가 CG부호화데이터, 시큐리티부호화데이터, 영상부호화데이터 또는 음성부호화데이터의 어느 것인지의 여부를 표시하고 있다. 이들 결과에 의거해서, 복호기를 선택하고, 각 복호제어기를 동작시킨다. 이후, 그것에 계속되는 부호를 복호함으로써 각 부호화데이터를 기술하는 정보를 획득한다.
획득한 정보를 영상복호제어기(402), 음성복호제어기(404), 시큐리티복호제어기(406) 및 CG발생기(409)로 입력한다. 즉, VideoDecode부호(4010)의 복호결과를 영상복호제어기(402)에 공급하고, AudioDecode부호(4009)의 복호결과를 음성복호제어기(404)에 공급하고, IPMPD_tag부호(4006) 및 IPMP_data부호(4007)의 복호결과를 시큐리티복호제어기(406)에 공급하고, CGCommand부호(4008)의 복호결과를 CG발생기(408)에 공급한다. 이들의 기술에는, 각 부호화데이터의 복호 등의 타이밍과, 각 부호화데이터의 격납장소를 나타내는 포인터가 포함되어 있다.
영상복호제어기(402)는, VideoDecode부호(4010)의 복호결과에 의거해서, 기억장치(3001)에 격납되어 있는 영상부호화데이터를 표시타이밍에서 판독하여, 영상복호부(3006)에서 복호시켜, 동기를 취해서 표시될 수 있도록 제어신호를 생성하고, 또한, 기억장치(3001) 및 동기제어부(3008)에 출력단자(403)를 통해 출력한다.
또, 음성복호제어기(404)는, AudioDecdoe부호(4009)의 복호결과에 의거해서, 기억장치(3001)에 격납되어 있는 음성부호화데이터를 표시타이밍에서 판독하여, 음성복호부(3007)에서 복호시켜, 동기를 취해서 재생될 수 있도록 제어신호를 생성하고, 또한, 기억장치(3001) 및 동기제어부(3008)에 출력단자(405)를 통해 출력한다.
또한, 시큐리티복호제어기(406)는, IPMP_data부호(4007)의 복호결과에 의거해서, 기억장치(3001)에 격납되어 있는 시큐리티부호화데이터를 판독하고, 시큐리티복호부(3005)에서 복호시킬 수 있도록 제어신호를 생성하여, 기억장치(3001), 시큐리티복호부(3005) 및 동기제어부(3008)에 출력단자(407)를 통해 출력한다.
또, CG발생기(408)는, CGCommand부호(4008)의 복호결과에 의거해서, 레터링(lettering)에 의해 CG화상을 생성하고, 그 CG데이터를 동기제어부(3008)에 출력단자(409)를 통해서 출력함과 동시에, 동기에 관한 제어신호를 동기제어부(3008)에 출력한다.
여기서, 시큐리티복호부(3005)의 상세를 설명한다.
도 20은 시큐리티복호부(3005)의 구성을 표시한 블록도이다.
도 20에 있어서는, 기억장치(3001)로부터 시큐리티부호화데이터를 입력하기 위한 입력단자(501) 및 시큐리티복호제어기(407)로부터 제어신호를 입력하기 위한 입력단자(502)가 구비되어 있다.
또, 시큐리티부호화데이터를 복호해서 인증정보 및 저작권보호시간에 관한 정보를 획득하는 시큐리티복호기(503) 및 인증정보를 해석해서 복호를 허가하는지 금지하는지의 여부를 결정하는 시큐리티인증부(504)도 구비되어 있다.
또한, 시큐리티인증부(504)의 결정에 따라 영상복호부(3006)의 제어를 행하는 신호를 발생시키는 영상복호제어신호발생기(505); 및 영상복호제어신호발생기(505)에 의해 발생된 제어신호를 영상복호부(3006) 및 동기제어부(3008)에 출력하는 출력단자(506)도 구비되어 있다.
또, 시큐리티인증부(504)의 결정에 따라 음성복호부(3006)의 제어를 행하는 신호를 발생시키는 음성복호제어신호발생기(507); 상기 음성복호제어신호발생기(507)에 의해 발생된 제어신호를 음성복호부(3007)에 출력하는 출력단자(508); 및 시큐리티에 의해 복호가 금지되어 있는 지의 여부를 나타내는 제어신호를 동기제어부(3008)에 출력하는 출력단자(509)를 구비하고 있다.
상기 구성의 시큐리티복호부(3005)의 복호동작을 이하 설명한다.
입력단자로부터 입력된 시큐리티부호화데이터는, 시큐리티복호제어기(406)로부터의 제어신호에 따라 시큐리티복호기(503)에서 복호된다. 도 17에 표시한 부호중에서, CodeLength부호(4011)를 복호해서 부호화데이터의 전체의 양을 파악하고, 저작권보호를 행하는 각 부분에 대해서, 저작권의 인증에 필요한 정보를 나타내는 IPcode부호(4012), 저작권보호를 개시하는 시간을 나타내는 SecurityStartTime부호(4013) 및 저작권보호를 종료하는 시간을 나타내는 SecurityEndTime부호(4014)를 각각 복호해서 시큐리티정보를 획득한다.
인증에 필요한 정보는 시큐리티인증부(504)에 입력되고, 시큐리티인증부(504)는 미리 획득되어 있거나 조작자가 입력한 인증정보와의 비교를 행함으로써, 대상으로 되고 있는 영상 또는 음성부호화데이터의 복호를 허가하는지의 여부를 판정한다.
복호처리를 허가하는 경우에는, 영상복호제어신호발생기(505) 또는 음성복호제어신호발생기(507)에 복호허가를 알린다. 영상복호제어신발생기(505)는, 시큐리티인증부(504)로부터의 지시가 없는 경우, 영상복호부(3006)가 영상복호데이터의 복호처리를 행하도록 출력단자(506)로부터 영상복호부(3006)에 제어신호를 출력시킨다. 음성의 경우에도, 시큐리티인증부(504)로부터의 지시가 없을 경우, 음성복호부(3007)가 음성부호화데이터의 복호처리를 행하도록 출력단자(508)로부터 음성복호부(3007)로 제어신호를 발생시킨다.
이 때, 이미 영상복호부(3006)가 영상부호화데이터의 복호를 행하도록 제어신호를 발생시키고 있는 경우는, 그러한 제어신호를 그대로 유지한다.
한편, 복호처리를 금지하는 경우, 시큐리티인증부(504)는 복호처리를 금지하는 신호를 영상복호제어신발생기(505)에 출력한다. 영상복호제어신호발생기(505)는, 시큐리티복호기(503)로부터 입력된 저작권보호를 행하는 시간에 대한 정보(SecurityStartTime부호를 복호함으로써 얻어진 정보)에 의거해서, 저작권보호를 개시하는 시간에 도달한 때, 동화상의 복호를 정지시키는 신호를 출력단자(506)로부터 출력한다.
또한, 저작권보호를 행하는 시간에 관한 정보(SucurityEndTime부호를 복호해서 얻어진 정보)에 의거해서, 저작권보호를 종료하는 시간에 도달한 때에, 동화상의 복호를 재개시키는 신호를 출력단자(506)로부터 출력한다.
영상복호부(3006)는 기억장치(3001)로부터 동화상부호화데이터를, 시큐리티복호부(3005)로부터 동화상부호화데이터를 수신한다.
여기서, 영상복호부(3006)의 상세를 설명한다.
도 21은 영상복호부(3006)의 구성을 표시한 블록도이다.
도 21에 있어서는, 기억장치(3001)로부터 동화상부호화데이터를 수신하는 화상데이터입력단자(601) 및 시큐리티복호부(3005)로부터 제어신호를 수신하는 제어신호입력단지(602)가 표시되어 있다.
또, 입력된 동화상부호화데이터를 격납하는 버퍼(603) 및 버퍼(603)로부터 MPEG-1부호화된 데이터를 판독하여, 부호의 내용을 표시하는 헤더정보, 움직임보상을 행하기 위한 움직임보상부호 및 DCT계수의 부호화데이터를 분리하는 분리기(604)도 표시되어 있다.
분리된 헤더정보를 복호하는 헤더복호기(605)는 각종 개시부호, 화상크기 및 각 프레임의 부호화모드를 복호함으로써 대응하는 정보를 획득한다.
움직임보상복호기(606)는 각 매크로블록의 부호화모드, 움직임벡터 등을 복호함으로써, 움직임보상에 필요한 정보를 획득하고, 텍스처복호기(607)는 부호를 복호해서 양자화계수 및 DCT계수의 양자화 결과를 획득한다.
역양자화·IDCT부(608)는 양자화계수 및 DCT계수의 양자화 결과를 수신하고, 역양자화 및 역DCT를 행함으로써, 화소데이터 또는 움직임보상에 의한 오차데이터를 획득한다.
또, 상기 움직임보상의 결과와 상기 오차데이터를 가산하는 가산기(609); 움직임보상에 필요한 참조프레임을 격납하는 참조프레임메모리(610); 및 참조프레임메모리(610)의 내용에 대해 움직임보상복호기(606)의 결과에 따라 움직임보상을 행하는 움직임보상기(611)도 구비되어 있다.
출력단자(612)는 헤더복호기(605)로부터 프레임의 부호화모드를 검출하여 동기제어부(3008)에 출력한다. 출력단자(613)는 동기제어부(3008)에 복호된 동화상데이터를 출력한다.
단자(614)는 헤더복호기(606)로부터 프레임의 재생시각에 관한 정보, 즉, vop_time_increment_resolution부호(4023) 및 vop_time_increment부호(4026)의 복호결과에 의거해서 표시시각에 관한 정보를 획득하여, 출력한다.
상기 구성의 영상복호부(3006)에 있어서의 복호처리를 이하에서 설명한다.
버퍼(603)는, 제어신호입력단자(602)로부터의 제어신호가 복호가능을 지시하고 있는 경우, 동화상부호화데이터를 화상데이터입력단자(601)로부터 입력하고, 그 정보를 축적한다. 버퍼(603)는, 제어신호입력단자(602)로부터의 제어신호가 복호금지를 지시하고 있는 경우, 동화상부호화데이터의 축적을 행하지 않고, 데이터를 폐기한다.
먼저, 제어신호가 복호가능을 지시하고 있는 경우의 복호동작에 대해서 설명한다.
분리기(604)는 버퍼(603)로부터의 부호화데이퍼를 수신하고, 부호의 내용을 표시하는 헤더정보와, 움직임보상을 행하기 위한 움직임보상부호 및 DCT변환계수를 부호화한 데이터를 각각 분리한다.
헤더복호기(605)는, 분리기(604)에 의해서 분리된 헤더정보로부터 각종 개시부호, 화상의 크기 및 각 프레임의 부호화모드를 복호해서, 대응하는 정보를 획득한다. 각 프레임의 부호화모드는 단자(612)로부터, 프레임의 재생시각에 관한 정보는 단자(614)로부터 동기제어부(3008)에 출력된다.
움직임보상복호기(606)는, 분리기(604)에 의해서 분리된 움직임보상부호를 복호해서, 각 매크로블록의 부호화모드, 움직임벡터 등을 복호하여, 움직임보상에 필요한 정보를 획득하고, P프레임인 경우, 이들 정보를 움직임보상기(611)로 보내어 움직임보상을 행한다.
텍스처복호기(607)는 분리기(604)에 의해 분리된 부호화데이터를 복호함으로써, 양자화계수, DCT계수의 양자화 결과 등을 획득한다. 그 복호된 양자화데이터는 역양자화·IDCT부(608)로 입력되어, 화소데이터 또는 움직임보상에 의한 오차데이터를 구한다.
상기 오차데이터는, 가산기(609)에 있어서, 움직임보상기(611)로부터의 출력데이터에 가산되고, 움직임보상기(611)는, 움직임보상복호기(606)로부터 프레임내 부호화를 행하는 매크로블록이면 값 "0"을, 그렇지 않으면 얻어진 움직임벡터에 따라서, 참조프레임메모리(610)상에 움직임보상을 행하여, 참조데이터를 가산기(609)에 출력한다. 가산기(609)에서 얻어진 화소값은 참조프레임메모리(610) 및 출력단자(613)에 공급된다.
이하, 제어신호가 복호금지를 지시한 경우의 복호동작에 대해 설명한다.
버퍼(603)는 부호의 입력을 정지시키고, 헤더복호기(605), 움직임보상복호기(606), 움직임보상기(611) 및 텍스처복호기(607)의 동작을 정지시킨다. 또, 참조프레임메모리(610)의 갱신을 금지한다. 그 결과, 출력단자(613)로부터는 최후에 복호된 프레임의 화상데이터가 출력된다.
이하, 제어신호가 복호금지상태로부터 복호를 허가함으로써 복호의 재개를 지시한 경우의 복호화동작에 대해 설명한다.
버퍼(603)는 부호의 입력을 재개시켜, 헤더복호기(605)를 동작시킨다. 헤더복호기(605)는 다음의 개시부호를 검지하여 판정한다. 프레임의 개시부호를 인식한 경우, 프레임모드를 복호하고, 프레임의 부호화모드를 동기제어부(3008)에 출력한다.
헤더복호기(605)는, 프레임의 부호화모드가 P프레임이면, 움직임보상복호기(606), 움직임보상기(611) 및 텍스처복호기(607)의 동작은 재개시키지 않고, 참조프레임메모리(610)의 갱신을 금지한 상태를 유지한다.
또, 헤더복호기(605)는 프레임의 부호화모드가 I프레임이면, 움직임보상복호기(606), 움직임보상기(611) 및 텍스처복호기(607)의 동작을 재개시켜, 참조프레임메모리(610)의 갱신을 재개한다. 이후, 제어신호가 복호금지로 될 때까지, 각 부의 동작을 지속시킨다.
다음에, 동기제어부(3008)의 상세를 설명한다.
도 22는 동기제어부(3008)의 구성을 표시한 블록도이다.
도 22에 있어서는, 영상복호기(3006)로부터 프레임모드를 수신하는 입력단자(701); 입력된 프레임모드를 판정하는 프레임모드판정기(702); 동기를 취하기 위한 타이머(703); 시스템복호부(3004)로부터 동기나 합성에 관한 정보를 수신하는 단자(704); 및 이들 정보에 의거해서 동기를 제어하는 동기신호제어기(705)가 표시되어 있다.
또, 영상복호부(3006)로부터 영상부호화데이터를 복호함으로써 얻어진 동화상데이터를 수신하는 단자(706); 시스템복호부(3004)의 CG발생기(408)로부터 CG화상데이터를 수신하는 단자(707); 음성복호부(3007)로부터 음성부호화데이터를 복호함으로써 얻어진 음성데이터를 수신하는 단자(708)도 표시되어 있다.
버퍼(709), (710), (711)는, 각 데이터의 동기를 조정하기 위하여 데이터를 일시적으로 격납한다. 버퍼(709)는 동화상데이터를, 버퍼(710)는 CG화상데이터를, 버퍼(711)는 음성데이터를 격납한다.
동화상데이터를 동기를 취해서 출력하는 영상동기제어기(712); CG화상데이터를 동기를 취해서 출력하는 CG동기제어기(713); 음성데이터를 동기를 취해서 출력하는 음성동기제어기(714); CG화상데이터와 동화상데이터를 합성하는 합성기(715); 합성결과를 모니터(3009)에 출력하는 단자(716); 및 재생된 음성데이터를 스피커(3010)에 출력하는 단자(717)도 설치되어 있다.
영상복호부(3006)로부터 프레임의 재생시각에 관한 정보를 수신하는 입력단자(718); 및 시큐리티복호부(3005)로부터 각 데이터에 대해서 시큐리티가 걸려 복호가 금지되어 있는 지의 여부를 수신하는 입력단자(719)도 설치되어 있다.
상기 구성의 동기제어부(3008)에 있어서의 동기처리를 이하에 설명한다.
단자(706), (707), (708)로부터 입력된 동화상데이터, CG화상데이터 및 음성데이터는 버퍼(709), (710), (711)에 순차 격납된다. 동기제어신호제어기(705)는 시스템복호부(3004)로부터 각 데이터의 재생출력의 타이밍 및 동화상데이터에 관해서는 재생시각을 타이머(703)의 시각과 비교해서 영상동기제어기(712), CG동기제어기(713) 및 음성동기제어기(714)를 제어하는 신호를 생성한다. 이들 신호에 따라서, 영상동기제어기(712), CG동기제어기(713) 및 음성동기제어기(714)는 버퍼(709), (710), (711)로부터 동기에 따라서 데이터를 판독해서 출력한다.
영상동기제어기(712) 및 CG동기제어기(713)로부터 출력된 동화상데이터와 CG화상데이터는 단자(704)로부터 입력된 합성에 관한 정보에 따라서, 배치 또는 변형이 행해져 합성되고, 화상데이터로서 단자(716)로부터 모니터(3009)에 출력되어 표시된다. 또, 음성데이터는 단자(717)를 개재해서 스피커(3010)에 출력되어, 재생된다.
동화상에 시큐리티가 걸려, 복호가 금지되면, 단자(719)로부터 그 상황이 수신된다. 이것에 의해, 동기신호제어기(705)는 동화상데이터에 관해서 동기를 취하는 것을 정지하도록 영상동기제어기(712)에 지시한다. 이에 응해서, 영상동기제어기(712)는 동화상데이터의 표시를 정지한다. 이것에 의해, CG화상데이터만이 합성기(715)를 통해서 단자(716)로부터 출력된다.
동화상의 시큐리티가 해제되어 복호가 재개되면, 단자(719)로부터 그 상황이 수신된다. 그러나, 동기신호제어기(705)는 즉시 영상동기제어기(712)를 동작시키지 않고, 단자(701)로부터 각 프레임의 부호화모드를 수신해서, 프레임모드의 판정을 행한다. 프레임모드가 I프레임으로 될 때까지, 이러한 상태를 유지한다. I프레임이 입력되면, 단자(718)로부터 프레임의 재생시각을 수신해서, 타이머(703)의 시각과 비교하여, I프레임의 부호화데이터로부터 영상동기제어기(712)가 동작하도록 지시하고, 버퍼(709)로부터 I프레임의 동화상데이터를 판독하여 합성기(715)에 출력한다.
상기 선택동작에 의하면, 복호가 재개된 경우에, 프레임모드의 정보를 동기제어에 이용함으로써, 다른 데이터와의 동기를 확실하게 확보하여, 프레임내부호화를 행한 프레임으로부터 동기처리를 개시함으로써 프레임의 화상이 교란되거나 중단되는 것을 용이하게 방지할 수 있다.
예를 들면, 도 23에 표시한 바와 같이, P4~ P9까지의 부호화프레임기간이 저작권의 보호(시큐리티)에 의해 복호가 금지된 경우에도, 시큐리티의 시작으로부터, 표시되지 않은 상태가 지속된다. 단, 음성이나 CG데이터의 재생은 행해지고 있다. 다음의 I1의 프레임이후부터 복호처리가 재개되어, 동기가 재조정되므로, 화상의 중단이나 화상의 교란이 없어져, 조작자에게 불쾌한 화상이 보여지는 일이 없게 된다.
또, 본실시예에서는 복호가 금지되어 있는 기간동안, 그러한 금지직전에 복호된 화상을 출력하고 있으나, 소정의 화상을 미리 메모리 등에 기억해 두고, 그 소정화상을 출력하도록 해도 된다.
또한, 본 실시예에 있어서 메모리구성 등은 적절하게 변경가능하다. 또, 통신회로(3002)로부터 통신인터페이스(3003)를 통해서 입력된 동화상데이터에 대해서도 마찬가지의 동작을 행함으로써, 통신의 데이터에 대해서도 마찬가지의 효과를 실현할 수 있다.
또, 프레임모드의 검출은 화상군의 개시코드의 검출로 대체해도 되는 것은 물론이고, vop_time_increment부호대신에 화상층의 군의 time_code부호의 복호결과나, 화상의 temporal_reference부호의 복호결과를 이용해도 복호재개시의 음성신호 등과의 동기의 재구축 등을 용이하게 행하는 것도 가능하다.
설명을 용이하게 하기 위하여 부호화모드로서 I프레임과 P프레임에 대해서 설명하였으나, B프레임을 이용한 경우라도 마찬가지로 동기의 회복이 가능한 것은 명백하다.
시큐리티부호의 구성은 이것으로 한정되지 않는다. 도 24에 MPEG-4방식으로 복수의 대상체가 존재하는 경우의 구성을 표시하였다. 각 대상체를 식별하기 위한 ObjectCode부호(4030)가 추가되고, 각 대상체마다 시큐리티를 거는 것이 가능하다. 이것에 의해, 도 15의 영상복호부(3006)를 복호하는 대상체의 수만큼 준비하고, 병렬로 동작시킴으로써, 복수의 대상체에 독립해서 복호시켜도 동기를 확보할 수 있는 것은 말할 것도 없다.
또, 도 25에 표시한 구성을 취하는 것도 가능하며, 인증되자 마자, 복호를 재개하는 것도 가능하다.
도 26는 상기 복호동작을 표시한 순서도이다.
먼저, 스텝 S10에서,기억장치(3001)로부터 영상부호화데이터가 입력되었는지의 여부를 판단해서, 입력되어 있는 경우에는, 스텝 S11로 진행하고, 입력되어 있지 않으면 수순을 종료한다.
스텝 S11에서는, 시큐리티복호부(3005)가 해당 동화상데이터에 있어서 복호를 허가하는지의 여부를 판정한다. 시큐리티복호부(3005)에 의한 복호결과가 복호허가를 나타내면, 스텝 S12로 진행하고, 복호금지를 나타내면, 스텝 S14로 진행한다.
스텝 S12에서는, 영상복호부(3006)를 동작시켜 동화상을 MPEG-4복호화방식에 따라 복호한다. 다음의 스텝 S13에서는, 복호된 화상을 동기제어부(3008)에 입력하고, 동기를 취해서 모니터(3009)상에 표시를 행하고, 스텝 S10으로 귀환한다.
스텝 S14에서는, 영상복호기(3006)를 정지시킨다. 동기를 확보하기 위해, 복호정지중의 부호화 데이터의 판독은 동기를 취해서 행해지지만, 판독된 데이터는 메모리의 작업영역에 격납되지 않고 단순히 폐기된다.
다음에, 스텝 S15에서는, 시큐리티복호기(3005)에 의해 복호재개가 지시되었는지의 여부를 판단하여, 지시되어 있지 않으면 스텝 S14로 진행하고, 지시되어 있으면 스텝 S16으로 진행한다.
스텝 S16에서는, 시큐리티복호부(3005)로부터 복호재개가 지시되어 있는 경우(스텝 S15), 시큐리티복호부(3005)의 헤더복호기(605)를 동작시켜, 각 프레임의 프레임모드를 나타내는 vop_coding_type부호(4025)까지를 복호하고, 그 복호결과를 동기제어부(3008)에 보낸다.
다음에, 스텝 S17에서는 동기제어부(3008)는 vop_coding_type부호(4025)의 복호결과가 I프레임을 나타내는지의 여부를 판단하고, 그렇지 않으면 스텝 S16으로 귀환하여 다음의 vop_coding_type부호(4025)를 복호하고, I프레임이면, 스텝 S18로 진행한다.
스텝 S18에서는, vop_coding_type부호(4025)이후의 복호를 재개함으로써, 동화상을 MPEG-4복호화방식에 따라 복호하여, vop_time_increment부호를 복호해서 재생의 동기를 조절해서,스텝 S19로 진행한다.
스텝 S19에서는, 동기제어부(3008)는 동화상데이터를 동기를 취해서, 모니터(3009)상에 표시를 행하고, 이어서 스텝 S10으로 귀환한다.
이상의 선택동작에 의하면, 장치의 일부 또는 전부를 소프트웨어로 실현할 수 있고, 또, 음성데이터와 동화상에 대해 독립적으로 저작권보호를 위한 시큐리티를 거는 것도 가능하다.
도 27은 본 발명의 제 5실시예에 있어서의 동기제어부(3008)의 구성을 표시한 블록도로, 제 4실시예와 마찬가지의 구성요소에 대해서는 동일한 참조부호를 붙이고, 그 상세한 설명은 생략한다.
도 27에 있어서는, 시큐리티가 걸려 있는 시간을 구하는 정지시간판정기(801); 및 동기를 제어하는 동기신호제어기(802)가 표시되어 있다.
상기의 구성의 동기제어부(3008)에 있어서의 복호화처리를 이하에 설명한다.
제 4실시예와 마찬가지로, 동화상데이터, CG화상데이터 및 음성데이터는 각각 버퍼(709), (710), (711)에 격납된다. 동기제어신호제어기(802)는 시스템복호부(3004)로부터 각 데이터의 재생출력의 타이밍 및 동화상데이터에 관해서는 재생시각을 타이머(703)의 시각과 비교해서 영상동기제어기(712), CG동기제어기(713) 및 음성동기제어기(714)를 제어하는 신호를 생성한다. 이들 신호에 따라서 영상동기제어기(712), CG동기제어기(713) 및 음성동기제어기(714)는 버퍼(709), (710), (711)로부터 동기에 따라서 데이터를 판독해서 출력한다.
동화상에 시큐리티가 걸려, 복호가 금지되면, 단자(719)로부터 그 상황이 입력된다. 정지시간판정기(801)는 시큐리티때문에 재생이 정지한 시간을 계측하기 위하여 이 시각을 기록하고, 복호의 중단을 동기신호제어기(802)에 알리고, 동화상신호에 관해서 동기를 취하는 것을 정지하도록 영상동기제어기(712)에 지시한다. 영상동기제어기(712)는 동화상데이터의 표시를 정지하고, CG화상데이터만이 합성기(715)를 통해 단자(716)로부터 출력된다.
동화상의 시큐리티가 해제되어 복호가 재개되면, 단자(719)로부터 그 상황이 입력된다. 정지시간판정기(801)는 시큐리티때문에 재생이 정지한 정지시간을 복호금지시각으로부터 구한다. 이 시간과 복호재개를 동기신호제어기(802)에 알린다. 그러나, 동기신호제어기(802)는 즉시 영상동기제어기(712)를 동작시키지 않고, 단자(701)로부터 각 프레임의 부호화모드를 입력하고, 프레임모드의 판정을 행한다. 프레임모드가 I프레임으로 될 때까지, 이러한 상태를 유지한다. I프레임이 입력되면, 정지시간과 프레임의 vop_time_increment부호(4026)의 복호결과로부터 재생시각을 계산하여, 타이머(703)의 시각과 비교해서, I프레임의 부호화데이터로부터 영상동기제어기(712)가 동작하도록 지시하고, 버퍼(709)로부터 I프레임의 동화상데이터를 판독해서 합성기(715)에 출력한다.
상기 선택동작에 의하면, 복호가 재개된 경우에, 정지시간을 참고로 해서 동기를 회복시키는 것이 가능하므로 프레임내부호화를 행한 프레임으로부터 처리를 행함으로써, vop_time_increment부호의 복호결과만으로는 표시될 수 없는 긴 시간의 정지에 있어서도 동기의 회복이 확실하게 행해질 수 있다. 즉, vop_time_increment부호의 복호결과에서는 256프레임분의 시간밖에 기술될 수 없지만, 정지시간으로부터 vop_time_increment부호(4026)의 복호결과와 함께 동기를 계산할 수 있다.
본 발명은 복수의 기기(예를 들면, 호스트컴퓨터, 인터페이스, 판독기, 프린터 등)로 구성된 시스템 혹은 1개의 기기(복사기나 팩시밀리 등)로 이루어진 장치에도 적용가능하다.
또, 상기 각 실시예의 기능을 실현하도록 각종 디바이스에 접속된 시스템이나 장치내의 컴퓨터에, 상기 각 실시예를 실현하기 위한 소프트웨어의 프로그램코드를 공급해서, 그 시스템 혹은 장치의 컴퓨터(CPU 또는 MPU)에 의해 상기 각 프로그램코드에 따라서 상기 각종 디바이스를 동작시킴으로써 실시한 것도 본 발명의 범주에 포함한다.
이러한 경우, 소프트웨어의 프로그램코드자체가 상기 각 실시예의 기능을 실현하게 되어, 그 프로그램코드자체 및 그 프로그램코드를 격납하는 기억매체는 본 발명을 구성한다.
이러한 크로그램코드를 격납하는 기억매체로서는, 예를 들면 플로피디스크, 하드디스크, 광디스크, 광자기디스크, CD-ROM, 자기테이프, 불휘발성 메모리카드 또는 ROM을 들 수 있다.
또한, 컴퓨터가 판독한 프로그램코드을 실행함으로써, 상기 각 실시예의 기능이 실현되는 것뿐만 아니라, 이러한 프로그램코드의 제어하에 실제의 처리의 전체 또는 일부를 컴퓨터상에서 가동되고 있는 오퍼레이팅시스템 등이 처리함으로써 상기 각 실시예의 기능이 실현되는 경우도 본 발명에 포함된다.
또한, 기록매체로부터 판독된 프로그램코드를 일단 컴퓨터에 삽입된 기능확장보드나 컴퓨터에 접속된 기능확장유닛에 격납시키고, 이러한 프로그램코드의 지시에 따라 그 기능확장보드나 기능확장유닛에 구비된 CPU에서 그 처리의 전부 또는 일부를 실행함으로써, 상기 각 실시예의 기능이 실현되는 경우도 본 발명에 포함된다.
이상의 설명에 있어서는, 복호의 개시를 프레임단위로 하였으나, 이러한 경우로 한정되지 않고, 필드단위나 또는 복수의 매크로블록단위로 복호의 개시를 행해도 된다.
또, 시큐리티부호화데이터의 포맷, 인증방식, 저작권 등을 보호하기 위한 부분을 지정하는 방식 등은 상기 각 실시예에 기재된 것으로 한정되지 않고, 다른 포맷이나 다른 인증방식으로 대체해도 되는 것은 당연하다.
또한, 상기 각 실시예에서는, 시큐리티기간을 미리 결정해 놓고 있으나, 이러한 형태로 한정되는 것은 아니다. 예를 들면, 사용자가 시큐리티를 해제하기 위한 암호를 입력하고, 그 암호의 인증을 행한 후 시큐리티를 해제함으로써, 시큐리티해제타이밍을 결정해도 된다.
이상 설명으로부터 명백한 바와 같이, 본 발명에서는, 동화상의 저작권보호에 의한 동화상의 정지나 재생을 행해도 적합하게 동기처리하는 것이 가능하다. 이것에 의해, 복호시의 복호기의 동작에 있어서 오차발생을 방지해서 안전하고 확실하게 동작시키는 한편, 동기를 확보하면서, 부적절한 움직임보상에 의거한 화상의 교란이나 중단 등을 방지할 수 있다.
즉, 이상의 실시예의 설명은 단지 예시의 목적으로 부여된 것으로서 모든 점에서 제한하기 위한 것으로 간주해서는 안된다.
따라서, 본 발명의 범위는, 단지 이하의 특허청구의 범위에 의해서 정해질 뿐, 본 명세서의 내용으로 한정되는 것은 아니며, 또한, 본 발명의 진의와 범주내에 들어오는 이하의 청구범위와 등가의 범주내에서 각종 변형이 가능하다.

Claims (43)

  1. a) 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 입력수단;
    b) 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 판단수단;
    c) 상기 부호화된 화상데이터의 부호화모드를 판정하는 부호화모드판정수단;
    d) 상기 부호화된 화상데이터를 복호화하고, 해당 복호화된 화상데이터를 출력하는 복호화수단; 및
    e) 상기 판단수단의 출력과 상기 부호화모드판정수단의 출력에 따라 상기 복호화수단의 복호화동작을 제어하는 제어수단을 구비한 것을 특징으로 하는 화상처리장치.
  2. 제 1항에 있어서, 상기 복수종의 부호화모드는 적어도 인트라부호화모드와 인터부호화모드를 포함하는 것을 특징으로 하는 화상처리장치.
  3. 제 2항에 있어서, 상기 복수종의 부호화모드는 쌍방향 예측부호화모드를 포함하는 것을 특징으로 하는 화상처리장치.
  4. 제 1항에 있어서, 상기 제어수단은 상기 복호화수단의 복호화동작을 정지시키는 것을 특징으로 하는 화상처리장치.
  5. 제 4항에 있어서, 상기 제어수단은 상기 복호화수단의 복호화동작을 재개시키는 것을 특징으로 하는 화상처리장치.
  6. 제 2항에 있어서, 상기 제어수단은, 상기 판단수단에 의해 재생금지상태로부터 재생허가로 된 경우, 재생허가로 된 이후의 인트라부호화화상까지 복호화동작을 정지시키는 것을 특징으로 하는 화상처리장치.
  7. 제 2항에 있어서, 상기 제어수단은, 상기 판단수단에 의해 재생금지상태로부터 재생허가로 된 경우, 재생허가로 된 이후의 인트라부호화화상으로부터 복호화동작을 재개시키는 것을 특징으로 하는 화상처리장치.
  8. 제 1항에 있어서, 상기 제어수단은, 상기 판단수단에 의해 재생금지로 된 경우, 재생금지로 되기이전에 복호화된 화상을 출력시키는 것을 특징으로 하는 화상처리장치.
  9. 제 1항에 있어서, 상기 제어수단은, 상기 판단수단에 의해 재생금지로 된 경우, 적어도 재생금지기간동안, 소정의 화상을 출력시키는 것을 특징으로 하는 화상처리장치.
  10. 제 1항에 있어서, 상기 화상데이터는 동화상데이터인 것을 특징으로 하는 화상처리장치.
  11. 제 10항에 있어서, 상기 부호화된 화상데이터는 MPEG-1에 따라 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  12. 제 10항에 있어서, 상기 부호화된 화상데이터는 MPEG-2에 따라 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  13. 제 10항에 있어서, 상기 부호화된 화상데이터는 MPEG-4에 따라 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  14. 제 1항에 있어서, 상기 부호화된 화상데이터는, 화상을 N개의 대상체(N은 자연수임)로 분할하고 해당 대상체를 각각 부호화해서 얻어진 데이터인 것을 특징으로 하는 화상처리장치.
  15. 제 14항에 있어서, 상기 복호화수단은 상기 대상체의 각각에 대한 복호화를 수행하는 것을 특징으로 하는 화상처리장치.
  16. 제 15항에 있어서, 상기 제어수단은 상기 대상체의 각각의 단위로 복호화처리를 제어하는 것을 특징으로 하는 화상처리장치.
  17. 제 14항에 있어서, 상기 시큐리티데이터는, 적어도 상기 대상체를 식별하기 위한 부호를 포함하는 것을 특징으로 하는 화상처리장치.
  18. 제 1항에 있어서, 상기 시큐리티데이터는, 적어도 지적재산권을 보호하기 위한 부호를 포함하는 것을 특징으로 하는 화상처리장치.
  19. 제 1항에 있어서, 상기 시큐리티데이터는, 적어도 저작권을 인증하기 위한 부호를 포함하는 것을 특징으로 하는 화상처리장치.
  20. 제 1항에 있어서, 상기 부호화된 화상데이터는, 상기 부호화모드를 식별하기 위한 부호를 포함하고, 상기 부호화모드판정수단은 상기 부호에 의해 부호화모드를 판정하는 것을 특징으로 하는 화상처리장치.
  21. a) 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 입력수단;
    b) 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 판단수단;
    c) 상기 부호화된 화상데이터의 부호화모드를 판정하는 부호화모드판정수단;
    d) 상기 부호화된 화상데이터를 복호화하는 화상복호화수단; 및
    e) 상기 판단수단의 출력과 상기 부호화모드판정수단의 출력에 따라 상기 복호화된 화상데이터의 동기를 제어하는 동기제어수단을 구비한 것을 특징으로 하는 화상처리장치.
  22. 제 21항에 있어서, 상기 입력수단은, 부호화된 정보데이터를 입력하는 복호화수단을 포함하고, 상기 동기제어수단은 상기 복호화된 화상데이터와 상기 복호화도니 정보데이터의 동기를 제어하는 것을 특징으로 하는 화상처리장치.
  23. 제 21항에 있어서, 상기 화상복호화수단은, 상기 판단수단의 출력과 상기 부호화모드판정수단의 출력에 따라 복호화동작을 제어하는 것을 특징으로 하는 화상처리장치.
  24. 제 21항에 있어서, 상기 복수종의 부호화모드는 적어도 인트라부호화모드와 인터부호화모드를 포함하는 것을 특징으로 하는 화상처리장치.
  25. 제 21항에 있어서, 상기 화상복호화수단은 상기 판단수단의 출력에 따른 복호화동작을 정지시키는 것을 특징으로 하는 화상처리장치.
  26. 제 25항에 있어서, 상기 화상복호화수단은 상기 판단수단의 출력과 상기 부호화모드판정수단의 출력에 따라 복호화동작을 재개시키는 것을 특징으로 하는 화상처리장치.
  27. 제 24항에 있어서, 상기 동기화제어수단은, 상기 판단수단에 의해 재생금지상태로부터 재생허가로 된 경우, 재생허가로 된 이후의 인트라부호화화상에 따라 동기화를 재개시키는 것을 특징으로 하는 화상처리장치.
  28. 제 21항에 있어서, 상기 동기화제어수단은, 상기 판단수단에 의해 재생금지상태로부터 재생허가로 된 경우, 재생금지된 기간에 따라 동기화를 재개시키는 것을 특징으로 하는 화상처리장치.
  29. 제 21항에 있어서, 상기 화상데이터는 동화상데이터인 것을 특징으로 하는 화상처리장치.
  30. 제 21항에 있어서, 상기 부호화된 화상데이터는 MPEG-1에 따라 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  31. 제 21항에 있어서, 상기 부호화된 화상데이터는 MPEG-2에 따라 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  32. 제 21항에 있어서, 상기 부호화된 화상데이터는 MPEG-4에 따라 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  33. 제 21항에 있어서, 상기 부호화된 화상데이터는, 화상을 N개의 대상체(N은 자연수임)로 분할하고 해당 대상체를 각각 부호화해서 얻어진 데이터인 것을 특징으로 하는 화상처리장치.
  34. 제 33항에 있어서, 상기 화상복호화수단은 상기 대상체의 각각에 대한 복호화를 수행하는 것을 특징으로 하는 화상처리장치.
  35. 제 33항에 있어서, 상기 시큐리티데이터는, 적어도 상기 대상체를 식별하기 위한 부호를 포함하는 것을 특징으로 하는 화상처리장치.
  36. 제 21항에 있어서, 상기 시큐리티데이터는, 적어도 지적재산권을 보호하기 위한 부호를 포함하는 것을 특징으로 하는 화상처리장치.
  37. 제 21항에 있어서, 상기 시큐리티데이터는, 적어도 저작권을 인증하기 위한 부호를 포함하는 것을 특징으로 하는 화상처리장치.
  38. 제 21항에 있어서, 상기 부호화된 화상데이터는, 상기 부호화모드를 식별하기 위한 부호를 포함하고, 상기 부호화모드판정수단은 상기 부호에 의해 부호화모드를 판정하는 것을 특징으로 하는 화상처리장치.
  39. 제 22항에 있어서, 상기 정보데이터는 음성데이터인 것을 특징으로 하는 화상처리장치.
  40. 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 공정;
    상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 공정;
    상기 부호화된 화상데이터의 부호화모드를 판정하는 공정; 및
    상기 판단공정의 결과와 상기 판정공정의 결과에 따라 상기 부호화된 화상데이터를 복호화하는 공정을 구비한 것을 특징으로 하는 화상처리방법.
  41. 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 공정;
    상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 공정;
    상기 부호화된 화상데이터의 부호화모드를 판정하는 공정;
    상기 부호화된 화상데이터를 복호화하는 공정; 및
    상기 판단공정의 결과와 상기 부호화모드판정공정의 결과에 따라 상기 복호화된 화상데이터의 동기를 제어하는 공정을 구비한 것을 특징으로 하는 화상처리방법.
  42. 화상처리프로그램을 기록하기 위한 컴퓨터판독가능한 기록매체에 있어서,
    상기 프로그램은,
    a) 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 입력공정의 처리코드;
    b) 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 판단공정의 처리코드;
    c) 상기 부호화된 화상데이터의 부호화모드를 판정하는 부호화모드판정공정의 처리코드;
    d) 상기 부호화된 화상데이터를 복호화하고 해당 복호화된 화상데이터를 출력하는 복호화공정의 처리코드; 및
    e) 상기 판단공정의 결과와 상기 부호화모드판정공정의 결과에 따라 상기 부호화된 화상데이터의 복호화를 제어하는 복호화공정의 처리코드를 구비한 것을 특징으로 하는 컴퓨터판독가능한 기록매체.
  43. 화상처리프로그램을 기록하기 위한 컴퓨터판독가능한 기록매체에 있어서,
    상기 프로그램은,
    a) 복수종의 부호화모드로 부호화된 화상데이터와 상기 화상데이터를 보호하기 위한 시큐리티데이터를 입력하는 입력공정의 처리코드;
    b) 상기 시큐리티데이터에 의거해서, 상기 부호화된 화상데이터의 재생이 허가되는 지의 여부를 판단하는 판단공정의 처리코드;
    c) 상기 부호화된 화상데이터의 부호화모드를 판정하는 부호화모드판정공정의 처리코드;
    d) 상기 부호화된 화상데이터를 복호화하는 화상복호화공정의 처리코드; 및
    e) 상기 판단공정의 출력과 상기 부호화모드판정공정의 출력에 따라 상기 복호화된 화상데이터의 동기를 제어하는 동기제어공정의 처리코드를 구비한 것을 특징으로 하는 컴퓨터판독가능한 기록매체.
KR10-1999-0055047A 1998-12-04 1999-12-04 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체 KR100416032B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP1998-345447 1998-12-04
JP34544798A JP4217316B2 (ja) 1998-12-04 1998-12-04 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP1999-119621 1999-04-27
JP11962199A JP2000312359A (ja) 1999-04-27 1999-04-27 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体

Publications (2)

Publication Number Publication Date
KR20000052416A true KR20000052416A (ko) 2000-08-25
KR100416032B1 KR100416032B1 (ko) 2004-01-31

Family

ID=26457312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0055047A KR100416032B1 (ko) 1998-12-04 1999-12-04 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체

Country Status (8)

Country Link
US (1) US6763071B1 (ko)
EP (1) EP1006727B1 (ko)
KR (1) KR100416032B1 (ko)
CN (1) CN1178501C (ko)
AT (1) ATE417465T1 (ko)
AU (1) AU764575B2 (ko)
DE (1) DE69940048D1 (ko)
SG (1) SG75189A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2352298A1 (en) * 1997-02-13 2011-08-03 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
JP3976932B2 (ja) * 1999-03-31 2007-09-19 キヤノン株式会社 データ処理方法及び装置並びに記憶媒体
US7099491B2 (en) * 2000-05-26 2006-08-29 Canon Kabushiki Kaisha Contents forming method and contents reproducing apparatus and method
US20020035725A1 (en) * 2000-09-08 2002-03-21 Tsutomu Ando Multimedia data transmitting apparatus and method, multimedia data receiving apparatus and method, multimedia data transmission system, and storage medium
EP1398902A4 (en) * 2001-06-04 2007-02-28 Matsushita Electric Ind Co Ltd DEVICE AND METHOD FOR A FLEXIBLE AND COMMON IPMP SYSTEM FOR PROVIDING AND PROTECTING CONTENTS
EP1288942B1 (en) 2001-08-08 2005-01-12 Matsushita Electric Industrial Co., Ltd. Copyright protection system, recording device, and reproduction device
EP1430726A2 (en) * 2001-09-18 2004-06-23 Koninklijke Philips Electronics N.V. Video coding and decoding method, and corresponding signal
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
US7583293B2 (en) * 2001-12-06 2009-09-01 Aptina Imaging Corporation Apparatus and method for generating multi-image scenes with a camera
GB0130041D0 (en) * 2001-12-14 2002-02-06 Ibm Preparing multimedia content in a distributed data processing system
JP2004221633A (ja) * 2003-01-09 2004-08-05 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体
KR20050098292A (ko) * 2003-02-04 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩된 잔류 모션 벡터 데이터의 존재를 통지하는 플래그를포함한 모션 벡터들의 예측 인코딩
US20050078186A1 (en) * 2003-09-30 2005-04-14 Kreiner Barrett Morris Video recorder
US7667731B2 (en) 2003-09-30 2010-02-23 At&T Intellectual Property I, L.P. Video recorder
US7505673B2 (en) * 2003-09-30 2009-03-17 At&T Intellectual Property I, L.P. Video recorder for detection of occurrences
JP4612797B2 (ja) * 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
JP2005295505A (ja) * 2004-03-12 2005-10-20 Canon Inc 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4702928B2 (ja) * 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4319094B2 (ja) * 2004-06-11 2009-08-26 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体
JP4317234B2 (ja) * 2007-03-05 2009-08-19 キヤノンマーケティングジャパン株式会社 画像表示制御装置および画像表示制御方法および画像表示制御プログラム
US20130148740A1 (en) * 2011-12-09 2013-06-13 Qualcomm Incorporated Method and apparatus for processing partial video frame data
CN104683801B (zh) * 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
TWI539229B (zh) * 2014-08-20 2016-06-21 聚晶半導體股份有限公司 影像同步方法及其系統
CN105376550B (zh) * 2014-08-20 2017-08-08 聚晶半导体股份有限公司 影像同步方法及其系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974071A (en) 1987-04-28 1990-11-27 Canon Kabushiki Kaisha Color image data encoding apparatus having improved resolution/efficiency characteristics
JPH02177766A (ja) 1988-12-28 1990-07-10 Canon Inc ２値画像の階層的符号化方式
US5521717A (en) 1992-02-03 1996-05-28 Canon Kabushiki Kaisha Image processing apparatus and method therefor
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
JP3376129B2 (ja) 1993-12-27 2003-02-10 キヤノン株式会社 画像処理装置及びその方法
JP2842796B2 (ja) * 1994-12-06 1999-01-06 富士通株式会社 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
KR0166923B1 (ko) * 1995-09-18 1999-03-20 구자홍 디지탈 방송 시스템의 불법 시청 및 복사 방지방법 및 장치
TW330999B (en) * 1996-03-08 1998-05-01 Matsushita Electric Ind Co Ltd Microprocessor suitable for reproducing AV data while protecting the AV data from illegal copy and image information processing system using the microprocessor
US5805700A (en) * 1996-10-15 1998-09-08 Intel Corporation Policy based selective encryption of compressed video data
JPH11176091A (ja) 1997-12-15 1999-07-02 Hitachi Ltd ディジタル情報入出力装置、受信装置、記録装置、および再生装置
EP1343318A3 (en) 1998-03-16 2005-04-13 Intertrust Technologies Corp. Methods and apparatus for continuous control and protection of media content
US6535919B1 (en) * 1998-06-29 2003-03-18 Canon Kabushiki Kaisha Verification of image data
KR100294890B1 (ko) * 1998-07-01 2001-07-12 윤종용 워터마킹을 사용한 디지털 영상 코딩 장치와 디코딩 장치 및 그 방법
JP4227229B2 (ja) * 1998-12-03 2009-02-18 キヤノン株式会社 画像処理装置及び方法及びシステム並びに記憶媒体
JP4109772B2 (ja) * 1998-12-03 2008-07-02 キヤノン株式会社 データ処理方法及びその装置
US6859877B2 (en) * 2000-06-12 2005-02-22 Canon Kabushiki Kaisha Image processing apparatus and method, and computer readable memory medium storing program for executing image processing

Also Published As

Publication number Publication date
SG75189A1 (en) 2000-09-19
EP1006727A3 (en) 2001-10-10
AU6303499A (en) 2000-06-08
ATE417465T1 (de) 2008-12-15
AU764575B2 (en) 2003-08-21
DE69940048D1 (de) 2009-01-22
CN1256470A (zh) 2000-06-14
KR100416032B1 (ko) 2004-01-31
EP1006727A2 (en) 2000-06-07
CN1178501C (zh) 2004-12-01
EP1006727B1 (en) 2008-12-10
US6763071B1 (en) 2004-07-13

Similar Documents

Publication Publication Date Title
KR100416032B1 (ko) 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체
US6810131B2 (en) Information processing method and apparatus
US7743426B2 (en) Information data and management data processing apparatus and method
US6674874B1 (en) Data processing apparatus and method and storage medium
JP4035257B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US6643330B1 (en) Data processing method and apparatus for a data stream including object streams
JP3976942B2 (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
US20060159172A1 (en) Video Signal Encoding Apparatus and Video Data Encoding Method
JP2003319340A (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
KR100432107B1 (ko) 정보 처리 장치 및 방법
US20030016744A1 (en) Data processing device, data processing method, computer readable recording medium, and data processing program to prevent illegal reproduction of information data
JP4217316B2 (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP3880338B2 (ja) データ処理装置、データ処理方法、コンピュータ可読記録媒体及びデータ処理プログラム
JP2000312359A (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP2003018556A (ja) データ処理装置、データ処理方法、コンピュータ可読記録媒体及びデータ処理プログラム
JP2005051818A (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP2001069457A (ja) データ処理方法及びその装置
JP3300448B2 (ja) 編集装置及び編集信号復号化装置
JP2001203991A (ja) データ処理方法及び装置
JP2000332612A (ja) 情報処理装置およびその方法
JP2000333140A (ja) 情報処理装置およびその方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131226

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141226

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee