KR20000048237A - 화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는기록매체 - Google Patents

화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는기록매체 Download PDF

Info

Publication number
KR20000048237A
KR20000048237A KR1019990059126A KR19990059126A KR20000048237A KR 20000048237 A KR20000048237 A KR 20000048237A KR 1019990059126 A KR1019990059126 A KR 1019990059126A KR 19990059126 A KR19990059126 A KR 19990059126A KR 20000048237 A KR20000048237 A KR 20000048237A
Authority
KR
South Korea
Prior art keywords
frame
encoding
data
image processing
security
Prior art date
Application number
KR1019990059126A
Other languages
English (en)
Other versions
KR100386104B1 (ko
Inventor
마에다미쯔루
이노우에히로시
Original Assignee
미다라이 후지오
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미다라이 후지오, 캐논 가부시끼가이샤 filed Critical 미다라이 후지오
Publication of KR20000048237A publication Critical patent/KR20000048237A/ko
Application granted granted Critical
Publication of KR100386104B1 publication Critical patent/KR100386104B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates

Abstract

화상데이터의 입력과, 상기 화상데이터를 보호하는 보안데이터의 생성과, 상기 보안데이터에 따른 부호화 모드의 제어 및, 제어된 부호화 모드를 사용하여 상기 데이터의 부호화에 의해 특징지워지는 화상처리 장치와 화상처리 방법 및 화상처리 프로그램이 기록되는 기록매체에 대하여 개시되어 있다.

Description

화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는 기록매체{IMAGE PROCESSING APPARATUS AND METHOD, AND STORAGE MEDIUM STORING IMAGE PROCESSING PROGRAM}
본 발명은 화상 등의 저작권을 보호하기 위해 실행되는 화상처리에 관한 것이다.
최근에 동화상 부호화 기술의 표준화가 신속하게 진행되고 있다. MPEG-1, MPEG-2 , H.261 및 H.263 (이런 코딩 방식은 특히 ISO (국제표준화기구) 와 ITU (국제통신연합)에 의해 국제 표준으로 인정됨) 등의 부호화 표준이 설정되었다. 또한, 컴퓨터, 방송 및 통신등의 다수의 분야에 사용될 수 있는 범용적이고, 차세대 멀티미디어 부호화 표준으로 되도 록 의도되는 신규의 국제표준인, MPEG-4에 대한 작업이 처리중이다. 화상 디지펄화는 부화 기술에 의해 진전되고 있고, 동화상 데이터의 기록 및 통신은 급속하게 개선되었다.
예를 들면, MPEG-4에 의해, 특정한 순간에서의 동화상화면은, "사람", "차", "배경", "음악" 및 "화상" 등의 객체의 집합체로 간주하며, 이런 것들은 화면의 구성요소 이고, 적절한 부호화 처리를 각 객체에 대해 행하여 모든 동화상 데이터를 효과적으로 부호화 할 수 있다.
MPEG-4 등의 다수의 객체부호화 기술에 의해서, 화면마다의 프레임은, 부호화 되고 압축된 각각의 객체를 결합함으로써 표현된다. 또한, 특정의 MPEG-4 데이터로부터 얻은 객체 데이터는 다른 MPEG-4 데이터와 함께 다시 사용 할 수 있으므로, 다른 프레임도 쉽게 표현할 수 있다.
상기 기술한 디지털 부호화 표준규격이 확장됨에 따라서, 콘텐츠 사업은 저작권보호의 규정에 대해 표시하는 문제점을 엄격히 표현하고 있다. 즉, 표준규격이 적절한 저작권 보호를 만족하게 보장하지 않으면, 안전하고 우수한 콘텐츠를 제공할 수 없다.
MPEG-4에 대해서는, 이것은 심각한 문제이다. 이것은, 상기에서 설명한 바와 같이, MPEG-4 에 의해 각각의 객체마다 데이터를 부호화하고, 동작/처리 할 수 있기 때문이다. 따라서, 다수의 객체 부호화 방식 MPEG-4를 사용함으로써 각 객체의 이음이 없는 재사용은 할 수 있으므로, 객체에 의해 나타나는 지적 재산권을 위해 보호규정을 제정하도록 요구하는 것은 당연하다. 목표가 사람인 경우, 초상권에 대한 보호를 찾는 것은 당연하다.
동화상의 부분에 대한 저작권을 보호하기 위해서는, 동화상의 일부의 재생을 방지하는 동화사의 부호화를 일시적으로 중지시키는 방법이 이용될 수 있다. 이 방법에 의하면, 동화상에 대한 저작권 및 초상권을 고려하는 경우에, 이에 관련된 부문의 복호화는 그 부분이 통과 될 때까지 정지하고, 그때에 복호화는 복구된다. 그러나, 이런 방법에 있어서도, 다음의 문제가 발생한다.
프레임간의 상호관계를 이용하는 부호화 방식이 동화상을 부호화 하는데 일반적으로 사용된다. 이전에 설명되고, 잘 알려진 부호화 방식인 H.261 및 H.263 및 MPEG-1,2와 MPEG-4 에 있어서는, 기본적으로 선행 프레임 또는 선행 프레임과 후속 프레임의 양자가 시간 축에 따라 참조되고, 움직임 보상은 동화상을 부호화 하기 위해 실행된다.
H.261 및 H.263에 의해 형성된 재생데이터를 도1에 도시한다. I*는 프레임내 부호화를 위한 프레임을 표시하고, P*는 프레임간 부호화를 위한 프레임을 표시한다. 도1에서 시각은 시각이 경과하는 방향이고, 보안에 있어서는, 복호화 처리가 정지되는 주기는 흑색블록으로써 표시한다. 부호는 부호화처리의 순서로 화면의 배치를 표시하고, 표시는 표시되는 순서로 화면 배치를 표시한다.
프레임P4 내지 P9에 대한 부호화 된 데이터의 복호화가 정지하여 지적재산권(즉, 저작권)을 위해 규정된 보호를 적용시킨다고 가정한다. 동화상의 복호화는 데이터 P3에서 정지하고, 화상은 복호화가 재개되기 전까지 다시 표시되지 않는다. 버퍼에 부호화 된 데이터를 기록하는 것도 동시에 정지되기 때문에, P4 내지 P9의 부호화 된 데이터는 배제된다. 따라서, 화상보호 시각이 종료되고 복호화가 재개 될 때는, 원래는 데이터P10에 의해 참조해야 하는 데이터 P9은 이미 배제되었으므로 P10과 다음데이터는 정상적으로 복호화 되지 않는다. 그 결과 ,프레임내 부호화를 실행시키기 위한 프레임I1이 복호화 되기 전까지, P10에서 P13까지 확장된 간격에서는, 프레임내 화상은 열화 되거나 또는 부호화 처리가 정지된다.
MPEG-1, 2 및 4는 양방향 움직임 보상을 이용하며, 이에 의해 시각 축을 따른 움직임은 선행 또는 후속 프레임을 예측된다.
MPEG-1,2 및 4 에 의해 형성되는 데이터 재생을 도2에 도시한다. B*는 양방향 프레임내 부호화를 나타낸다. 도2에서, 시각은 시각이 경과하는 방향이며, 보안에 있어서는, 복호화 처리가 정지되는 동안의 주기는 흑색블록으로써 나타낸다. 부호는 부호화가 실행되는 순서로 화면의 배열을 나타내고, 표시는 표시되는 순서로 화면의 구성을 나타내다. B프레임에서, 사진이 부호화 되는 순서는 원래 사진에 대한 순서와는 다르다.
B0에서 P3까지의 부호화 된 데이터에 대한 복호화가 정지되어 지적재산권(즉, 저작권)을 보호한다고 가정한다. 도1에서 와 같이, 움직임보상은 정상적으로 실행되지 않기 때문에, 프레임B30 또는 B40 및B41 의 화상은 정상적으로 복호화 되지 않고, 프레임의 화상은 열화되고. 복호화 처리가 정지한다.
상기 문제를 해결하기 위해서, 본 발명의 목적은 화상으로 대표되는 지적 재산권을 위해 규정된 보호(즉, 저적권) 의적용을 개시하기 위해 화상을 만족스럽게 재생하고 화상의 재생을 정지하는 화상처리 장치 및 화상처리 방법과, 화상처리 프로그램이 기록되는 기록매체를 제공하는데 있다.
상기 목적을 얻기 위해서는 , 본 발명의 한 측면에 의하면, 화상처리 장치/방법은 화상데이터의 입력, 화상 데이터를 보호하는 보안 데이터의 생성, 보안 데이터에 다른 부호화 모드의 제어 및 제어되는 화상 데이터를 사용하는 화상데이터의 부호화에 의해 특징 지울 수 있다.
본 발명의 다른 측면에 의하면, 화상처리 프로그램이 기록되는 기록장치가 설정되어있는 기록 매체로서, 화상처리 프로그램: 화상데이터의 엔트리(Entry)의 엔트리스템을 위한 순서부호와; 화상데이터를 보호하기 위한 보안 데이터의 생성을 위한 생성스텝의 순서 부호와; 보안 데이터에 따라서 부호화 모드의 제어를 위한 부호화 스텝의 순서부호 및 제어된 부호화 모드를 사용하여 화상데이터의 부호화를 위한 제어스텝의 순서 부호를 포함한다.
본 발명의 다른 목적, 특징 및 장점은 첨부도면을 참조하면서 부연된 다음의 상세 설명을 행하는 과정에서 자명하게 된다.
도1은 화상 보호시에 I 및P 프레임으로 구성된 데이터에 대한 종래의 복호화처리를 설명하는 도면;
도2는 화상 보호시에 I, P 및B 프레임으로 구성된 데이터에 대한 종래의 복호화처리를 설명하는 도면;
도3은 본 발명의 제1실시예에 의한 화상처리 장치의 구성을 도시하는 도면;
도4는 본 발명의 제1실시예에 의한 보안 부호화부의 구성을 도시하는 도면;
도5는 본 발명의 제1실시예에 의한 보안 부호화 데이터를 설명하는 도면;
도6은 본 발명의 제1실시예에 의한 비디호 부호화부의 구성을 설명하는 도면;
도7은 본 발명의 제1실시예에 의한 보안 복호화부의 구성을 도시하는 도면;
도8는 본 발명의 제1실시예에 의한 비디호 복호화부의 구성을 설명하는 도면;
도9는 본 발명의 제1실시예에 의한 비디호 복호화처리를 설명하는 도면;
도10은 본 발명에 의한 음성 및 동화상에 대응하는 부호화 데이터에 설정된 보안을 설명하는 도면;
도11은 본 발명에 의한 MPEG-4 다중매체에 대응하는 부호화 데이터에 설정된 보안을 설명하는 도면;
도12는 본 발명의 제2실시예에 의한 비디오 부호화부의 구성을 도시하는 블록도;
도13A, 도13B, 도13C, 도13D 및 도13E는 본 발명의 제2실시예에 의한 보안정보를 실행하는 부호화 모드에서 보안정보를 금지하는 부호화 정보로 변경되는 것에 대하여 설명하는 도면;
도14A, 도14B, 도14C, 도14D 및 도14E는 본 발명의 제2실시예에 의한 부호모드를 금지하는 보안정보에서 부호화모드를 실행하는 보안정보로 변경하는 것에 대하여 설명하는 도면;
도15는 본 발명의 제2실시예에 의한 복호화 처리를 설명하는 도면;
도16A,도16B,도16C,도16D, 및 도16E 는 본 발명의 제2실시예에 의한 부호화 모드를 실행하는 보안정보에서 부호화 모드를 금지하는 보안모드로 변경하는 것에 대하여 설명하는 도면;
도17A,도17B,도17C,도17D,도17E 및 도17F 는 본 발명의 제2실시예에 의한 부호화 모드를 실행하는 보안 정보에서 부호화 모드를 금지하는 보안모드로 변경하는 것에 대하여 설명하는 도면;
도18A,도18B,도18C,도18D 및 도18E는 본 발명의 제2실시예에 의한 부호화모드를 금지하는 보안 정보에서 부호화모드를 실행한는 보안정보로 변경하는 것에 대하여 설명하는 도면;
도19는 본 발명의 제3실시예에 의한 화상처리 장치를 도시하는 블록도;
도20은 본 발명의 제3실시예에 의한 부호 변환부를 도시하는 블록도;
도21은 본 발명의 제4실시예에 의한 부호 변환부를 도시하는 블록도;
도22는 본 발명의 제5실시예에 의한 화상처리장치를 도시하는 블록도;
도23은 본 발명의 제5실시예에 의한 메모리내용을 도시하는 블록도;
도24는 본 발명의 제5실시예에서 실행되는 화상처리를 도시하는 흐름도;
도25는 본 발명의 제6실시예에서 실행되는 화상처리를 도시하는 흐름도;
도26은 본 발명의 제3실시예에서 실행되는 화상처리를 도시하는 흐름도;
<도면의 주요부분에 대한 부호의 설명>
1000 : 보안 부호부 1001 : 비디오 부호부
134,1002,317,404 : 멀티플렉서 1004,1006 : 통신인터페이스
1007 : 분리기 1008 : 보안 복호기
1009 : 비디오복호부 102 :보안설정 지시기
103 : 보안 부호화부 106,154 : 타이머
105 : 제어신호 발생기 122,302,303,304 : 프레임 메모리
132 : 프레임모드 설정부 133 : 헤더 부호화부
123,305,210,310 : 감산기 312,129 : 움직임 보상기
128,310,311, : 기준프레임메모리 124 : DCT·양자화부
125 : 텍스처 부호화부 126 : 역양자화·역DCT
127 : 가산기 136 : 게이트 제어기
135,203,318 : 버퍼 152 : 보안복호부
153 : 보안인정부 155 : 제어신호 발생기
204 : 분리기 205 : 헤더 복호기
206,211 : 움직임 보상회로 207 : 텍스체 보호부
208,308 : 역양자화·역DCT부 209,309 : 가산기
210,310 : 기준프게임 메모리 212 : 표시 프레임 메모리
401 :보안설정부 402 :부호 변환부
본 발명의 제1실시예에 대하여 첨부도면을 참조하면서 상세히 설명한다. 도3은 본 발명의 제 1실시예에 의한 화상처리 장치의 구성을 도시하는 블록도 이다.
도3에 있어서, 보안 부호화부(1000)는 동화상의 일부 혹은 전부의 재생을 허가하거나 금지하기 위해 사용된 보안정보를 부호화 한다. 비디오 부호화부(1001)는 동화상 데이터를 부호화 한다.
본 실시예에서는, MPEG-1 부호화 방식을 사용한 동화상 데이터의 부호화에 대한 설명을 설명한다. MPEG-1 부호화방식 자체는 1SO/IEC11172-2에 MPEG-1 부호화 방식의 동작이 상세히 기재되어 있기 때문에 이에 대하여는 설명하지 않는다. 또한, 설명내용을 간단하게 하기 위해, 동화상 데이터는 각 프레임마다 부호화 되고, 내부프레임 부호화를 위한 단위 프레임모드와 프레임사이의 상호관계를 이용하는 P프레임이 이용된 것으로 가정한다.
다중화기(1002)는 부호화 된 보안데이터와 부호화 된 동화상데이터를 다중화 하며 동화상 데이터를 얻는다. 그리고 기록장치(1003)는 다중화 된 데이터를 기록한다.
통신회로(1005)는 LAN, 공중회선, 무선회선 및 방송전파등에 의해 구성된다. 통신인터페이스(1004)와(1006)는 통신회로(1005)를 통해 동화상데이터를 송수신 한다.
분리기(1007)는 동화상데이터를 부호화 된 보안 데이터와 부호화 된 동화상데이터로 분리한다. 보안복호부(1008)는 부호화 된 보안데이터를 복호화 하고, 복호화 된 데이터와 확인데이터를 비교하여 동화상재생의 정지와 재생에 대한 명령을 결정한다. 비디오 복호부(1009)는 복호화 된 동화상 데이터를 복호화 하고. 동화상을 재생을 한다. 모니터(1010)는 재생된 동화상을 표시한다.
상기 구성된 장치에 의해 수행 된 동화상 데이터에 대한 처리 동작을 설명한다.
연산자는 (도시되지 않은) 비디오 부호화부(1001)에 전송된 동화상데이터에 입력되며, 보안부호화부(1000)에 있어서는, 연산자는 보안을 해제하는 해제키와 관계 있는 보안정보와 지적재산권(본 실시예에서는 저작권)에 규정된 보호 적용을 개시하는 개시시간과 저작권으로 규정된 보호 적용을 종료하는 시간을 입력된다.
보안 부호화부(1000)에 대하여 상세히 설명한다
도4는 보안부호화부(1000)의 상세 블록도면이다.
도4에 있어서, 보안정보는 입력단자(101)에 입력된다. 이후에, 보안설정 지시기(102)는 보안 정보를 사용하여 프레임 복호화를 금지할 것인가에 대해 결정한다. 보안 부호화부(103)는 보안 정보를 부호화하고 출력단자(104)에 출력시킨다. 보안 설정지시기(102)의 출력에 의거하여, 제어신호발생기(105)는 제어 신호를 발생하여 비디오 부호화부(1000)를 제어한다. 타이머(106)는 전 시스템의 타이밍을 동기 시키기 위해 사용되고, 제어신호는 출력단자(107)에 출력된다.
상기 구성된 보안 부호화부(1000)에 의해 수행되는 부호화처리에 대하여 설명한다.
보안 설정지시기(102)는 복호화 금지명령의 발생시간의 순서를 따라서 입력 보안정보를 재구성하고, 새롭게 구성된 정보를 기록한다. 보안 부호화부(103)는 보안정보를 부호화하고 부호화된 데이터를 출력단자(104)를 경유하여 다중화기(1002)에 출력한다.
부호화된 보안데이터를 상세히 설명한다
도5는 부호화된 보안 데이터의 구성을 도시한 도면이다.
코드랭스(Code Lenght) 부호(2001)는 코드길이를 표시하고; IP부호(2002)는 지적재산권(본 실시예에서는 저작권)의 인정에 요구되는 정보를 표시하고; 보안시간부호(2003)는 저작권에 규정된 보호를 적용하기 시작하는 시간을 표시하며; 보안시간부호(2004)는 저작권에 규정된 보호적용 해제를 표시한다. 부호(2002) 내지 부호(2004)의 복수조합은, 보안이 요구되는 동화상이 복수의 부분으로 분할되는 것에 유의하여야 한다.
본 실시예에서, 부호화 된 보안데이터는 다중화기(1002)에 의해 동화상 데이터의 선두에서 다중화 된다. 그러나, 다중화 처리의 이용은 한정되지 않고, 부호화 된 보안데이터는 시분할 방식의 동화상 데이터와 전송된 결과 데이터로 다중화 된다.
도4에 있어서, 보안설정지시기(102)는 저작권에 규정된 보호를 적용하는 개시시간 및, 그 적용을 종료하는 종료시간을 제어신호발생기(105)에 입력한다. 제어신호발생기(105)는 수신시간과 타이머(106)에 의해 감시된 시간을 비교하여, 저작권에 규정된 보호 적용을 제어하는 신호를 발생하고, 출력단자(107)을 통해 비디오 부호화부(1001)에 신호를 출력한다.
비디오부호화부(1001)를 상세히 설명한다.
도6은 비디오 부호화부(1001)의 상세 블록도면 이다.
도6에서, 화상데이터는 입력단자(121)에 입력되고, 프레임메모리(122)는 각 프레임에 대한 화상을 기록하는데 사용된다. 감산기(123)는 매크로 블록에 있는 각 화소의 차분을 계산한다. DCT 및 양자화기(124)는 DCT변환을 실행하고 변환계수를 양자화 한다. 다음에, 텍스쳐 부호화기(125)는 양자화에 의해 얻은 결과에 대해 엔트로피 부호화를 실행한다.
역양자화 및 DCT(126)는 양자화 된 변환계수를 수신하고, 역양자화 및 DCT 변환을 실행한다. 가산기(127)는 각 매크로 블록에 있는 각 화소의 값을 가산하고, 참조프레임메모리 (128)은 움직임 보상을 실행하기 위한 프레임 화상을 기록하는데 사용한다. 움직임보상기 (129)는 프레임메모리(122) 및 참조프레임메모리(128)에 의해 설정된 데이터로부터 움직임벡터를 계산하고, 움직임보상을 실행한다. 움직임보상부호화기(130)는 매크로블록 및 움직임벡터에 대한 부호화 모드 등의 움직임 보상과 관계 있는 부호를 발생시키고, 부호는 움직임보상기(129)에 의해 출력된다.
도2에 있는 제어신호발생기(105)의 제어신호는 단자(131)에 입력된다. 프레임모드설정기 (132)는 부호화를 위한 프레임 모드를 설정하고, 헤더 부호화부(133)는 프레임모드를 포함하여 헤더를 부호화 한다. 다중화기(134)는 텍스쳐 부호화기(125)에 의해 출력된 데이터를 다중화하고, 움직임 보상부호화기(130), 헤더부호화기(133) 및 버퍼(135)는 다중화기(134)에 의해 발생된 부호화 된 데이터의 일시 기억 장소로 사용된다.
레이트제어기(136)는 부호양을 제어하고 DCT 및 양자화기(135)에 의해 사용된 양자화 계수를 조정하며, 다중화기(134)에 의해 발생된 데이터를 외부로 출력하는 출력단자(137)를 조정한다.
상기 구성된 비디오부호화(1001)에 의해 실행된 부호화 처리에 대해 설명한다.
동화상에 대한 화상 데이터는 순차적으로 입력단자(121)에 입력되고, 프레임메모리(122)에 저장된다. 부호화 될 프레임이 보안정보가 "허가" 혹은 "금지"인가를 나타내기 위한 제어 신호가 입력단자(131)에 입력된다.
우선, 보안설정이 설정되어 있지 않고 "허가"가 프레임모드설정기(132)에 전송되는 경우에 대해 설명한다.
프레임모드설정기(132)는 일정주기로 프레임내 부호화를 실행하고, 다른 프레임에 대한 프레임간 코딩을 실행한다. 본 실시예에서는, 매15프레임 당 I프레임은 I프레임 모드에 존재하고, 나머지 14프레임은 P프레임이며, 이는 P프레임 모드에서 부호화 된다.
프레임모드설정기(132)는 움직임보상기(129), 프레임메모리(122) 및 참조프레임메모리(128)에 제어 신호를 전송하고, 제어 신호를 전송함으로써 P 프레임 모드에서는 움직임 보상이 실행되며, I 프레임 모드에서는 움직임 보상이 실행되지 않는다. 더욱이, 프레임 모드 설정기(132)는 결정된 프레임모드를 헤더부호화기(133)에 전송하고, 헤더부호화기(133)는 MPEG-1 명세에 일치하는 헤더에 부호화 된 데이터를 발생시킨다.
I 프레임 모드에서는, 움직임보상기(129)는 각 매크로 즉, 16X16 화소로 구성된 블록에 0를 출력한다. P 프레임 모드에서는, 움직임보상기(129)는 프레임메모리(122) 및 참조프레임메모리(128)을 참조하여 부호화 될 매크로 블록에 대한 움직임 벡터를 계산하여, 양방향의 움직임 보상을 구하여 출력될 매크로 블록을 예상할 수 있다.
각 매크로 블록마다 프레임메모리(122)에 기록된 프레임 화상 데이터는 감산기(123)에 전송된다. 감산기(123)는 움직임보상기(129)에 의한 매크로 블록 출력값과 화소값을 사용하여 감산과정을 실행한다. 감산기(123)의 감산결과는 DCT 및 양자화기(124)에 출력되고, 결과에 대한 DCT 변환을 실행한다. DCT 및 양자화기(124)는 양자화 계수를 이용하여 얻은 값을 양자화 한다.
DCT 및 양자화기(124)의 결과는 텍스쳐부호화기(125)에 전송된다. MPEG-1 부호화 명세에 따라서, 텍스쳐부호화기(125)는 매크로 블록 부호화모드, 양자화계수 및 양자화결과(허프만 코딩에 의거한 엔트로피코딩(가변길이코딩))를 부호화하고, 다중화기(134)에 얻은 데이터를 출력한다.
DCT 및 양자화기(124)에 의한 출력 데이터는 역양자화 및 역 DCT기(126)에 전송되고, 역양자화 및 역DCT(126)는 화소데이터나 움직임 보상에 기인한 에러데이터를 움직임보상기 (129)에 의해 구해진 결과에 가산한다.
가산기(127)에 의해 구해진 화소값은 참조프레임메모리(128)에 기록되고, 움직임보상기 (129)에 의해 구해진 움직임 벡터는 움직임보상부호화기(130)에 전송된다. 움직임 보상 부호화기(130)는 움직임 벡터를 부호화하고 부호화된 움직임 벡터를 다중화기(134)에 출력한다.
MPEG-1에 따라서, 다중화기(134)는 텍스쳐부호화기(125), 움직임보상부호화기(130) 및 헤더 부호화기(133)의 결과를 다중화하고, 결과를 버퍼(135)에 출력한다. 버퍼(135)에 기록된 부호화된 데이터는 출력단자(137)를 통해 출력된다. 또한, 레이트제어기(136)는 버퍼(135)에 기록된 부호양을 조정하고, DCT 및 양자화기 124의 양자화 계수를 변화시켜 발생된 부호양을 제어한다.
보안이 실행되고 보안정보가 허락에서 금지로 변경된 경우에 대하여 설명한다.
이번에는, 프레임모드설정기(132)는 특정한 동작을 실시하지 않고, I 프레임모드와 P 프레임 모드의 주기에 따라서 통상적으로 모드를 설정한다. 그러나, 다른부(unit)는 보안정보가 허가를 나타낼 때 행하던 방식과 마찬가지로 동작을 수행한다.
보안이 해제되고 보안정보가 금지에서 허가로 변경되는 경우를 설명한다.
프레임모드설정부(132)는, 해제된 제 I 프레임의 프레임 모드를 I 프레임 모드로서 지정한다. 따라서, 헤더부호화기(133)는 부호화 될 I 프레임모드를 갖는 것을 나타내는 부호화 된 데이터를 출력한다. 움직임보상기(129)는 동작하지 않았기 때문에, 움직임 보상은 행하여지지 않는다. I 프레임 다음의 프레임에 대해서는, 프레임모드는 미리 설정된 I 프레임 및 P 프레임의 주기에 따라서 설정된다.
출력단자(137)에 의한 출력 동화상의 부호화 데이터는 다중화기(1002)에 의한 부호화 된 보안 데이터로 다중화 된다.
다중화된 동화상 데이터는 기록장치(1003)에 저장되거나, 통신 인터페이스(1004)를 경유하여 통신회로(1005)에 전송된다.
다음에는, 얻어진 동화상 데이터를 부호화 하는 처리 동작을 상세히 설명한다.
상기 발생된 동화상을 기록장치(1003)나 통신인터페이스(1006)로부터 입력된다. 분리기 (1007)는 입력 동화상 데이터를 부호화 된 동화상 데이터와 부호화 된 보안 데이터로 분리한다. 부호화 된 동화상 데이터는 비디오복호기(1009)로 전송되며, 부호화 된 보안 데이터는 보안복호기(1004)에 전송된다.
보안복호기(1008)에 대해 상세히 설명한다.
도7은 보안복호기(1008)에 대한 상세 블록도 이다.
도7에서, 보호화된 보안 데이터는 입력단자(151)에 입력되고, 보안복호기(151)에 의해 복호화 되어서 인정 정보 및 저작권보호가 행하여지는 시간에 관한 정보를 얻는다. 보안인정기 (153)은 인정정보를 해석하고, 복호화가 행하여 저야 하는지 또는 금지 되야 하는지를 결정한다. 타이머(154)는 동화상을 정확히 재생하는 시각을 발생시킨다. 제어신호발생기(155)는 비디오복호부(1009)를 제어하기 위한 신호를 발생하는 보안인정기(153)에 의해 정해진 측정결과를 갖고 있다. 출력단자(156)는, 비디오 복호부로, 제어신호제어기(155)에 의해 발생된 제어 신호를 전송하는데 사용된다.
상기 구성된 보안복호부(1008)에 의해 동작된 복호화 처리에 대해 상세히 설명한다.
입력단자(151)에 입력된 부호화 된 보안 데이터는 보안복호기(152)에 의해 복호화 된다. 도5에 표시된 부호중에서, 코드랭스부호(2001)은 복호화 되어 부호화된 데이터의 전체양을 결정하고, IP코드부호(2003) 및 보안종료시각부호(2004)는 복호화 되어 보안이 설정된 각부의 정보를 얻는다.
인정에 필요한 정보는 보안인정부(153)에 전송되고, 이후에 보안인정부(153)에 의해 명령이 없는 경우, 제어신호발생기(155)는 제어신호를 복호부(1009) 및 출력단자(156)을 통해서 비디오복호부(1009)에 출력하면, 비디오복호부(1009)는 부호화된 동화상 데이터를 복호화 한다. 보안인정부(153)는 연산자에 의해 연산부(도시되지 않음)에 입력된 인정정보와 보안복호기(152)에 의해 복호화된 인정정보를 비교하여, 복호화가 허가될지의 여부를 판정한다.
보안인정부(153)는 복호화가 허가되는 것으로 판정하면, 복호화에 대해 제어신호발생기(155)가 허가된다. 이때, 제어신호발생기(155)가 이미 제어신호를 발생하여 비디오복호부 (1009)가 동화상을 복호화 하면, 이 제어신호는 변화하지 않는다.
보안인정부(153)는 복호화가 금지되는 것으로 판정하면, 제어 신호발생기(155)에 복호화를 금지하는 신호를 출력한다.
제어신호발생기(155)는 타이머(154)에서 출력된 시각과 보안복호기(152)에서 출력된 정보를 비교하여 해당 저작권에 규정된 보호를 적용시키는 시각을 판정한다. 저작권 보호를 적용할 시간이 타이머(154)에 의해 출력된 시각과 일치할 때, 동화상의 복호화를 정지하는 신호가 출력단자(156)를 통해 출력된다. 또한, 제어신호발생기(155)는 저작권 보호가 종료되는 시각을 기록한 정보화 타이머(154)로부터 입력된 시각을 비교한다. 두 시각이 일치할 대, 동화상 데이터의 복호화를 복구하는 신호는 외부단자(156)을 통해 출력된다.
그러므로, 비디오복호부(1009)는 보안복호부(1008)로부터 입력된 제어신호에 의거하여 부호화된 동화상 데이터를 복호화 한다.
비디오복호화부(1009)를 상세히 설명한다.
도8은 비디오복호화부(1009)에 대한 상세 블록도 이다.
도8에서, 부호화된 동화상 데이터는 화상 데이터는 입력터미널(201)에 입력되고; 보안복호부(1008)로부터의 제어신호는 제어신호 입력단자(202)에 입력되고; 부호화된 동화상 데이터는 버퍼(203)에 기록된다
분리기(204)는 버퍼(203)로부터 MPEG-1 부호화 데이터를 판독하고, 이 데이터를 부호 내용을 표시하는 헤더 정보와, 움직임 보상을 수행하는 움직임 보상 부호 및 DCT 변환계수를 부호화 하여 얻은 데이터로 분리한다.
헤더부호기(205)는, 분리기(204)에 설정된 헤더 정보를 복호화 하는 것으로, 각종의 시작 부호와 화상의 크기 및 각 프레임의 부호화 모드를 복호화 하여 정보를 얻는다.
움직임보상복호기(206)는 움직임 보상부호 및 부호화모드와 각 매크로 블록에 대한 움직임 벡터를 복호화 하고, 움직임 보상에 요구되는 정보를 얻는다. 텍스쳐복호부(207)는 코드를 복호화 하여 양자화계수 및 DCT변환계수에 대한 양자화 데이터를 얻는다.
역양자화및역DCT기(208)는 양자화계수와 DCT변환 계수에 대한 양자화 된 데이터를 얻고, 입력된 데이터에 대한 역양자화와 역변환을 수행하여, 화소데이터나 움직임보상 에러데이터를 얻는다.
가산기(209)는 에러 데이터에 대한 움직임 보상을 통해 얻는 결과를 가산한다. 참조프레임 메모리(210)은 움직임 보상에 요구되는 참조 프레임을 기억하는데 사용된다. 움직임보상기 (211)는 움직임벡터부호기(206)에 의해 얻는 결과에 일치하는 참조프레임메모리(210)의 내용에 대해 움직임 보상을 실행한다.
표시프레임메모리(212)는 화상 데이터가 출력전에 복화화된 프레임에 대한 동화상 데이터를 일시적으로 기록하는데 사용된다.
출력터미널(213)은 동화상 데이터를 모니터(1010)에 출력시에 사용된다.
상기 구성된 비디오복호부(1009)에 의해 수행되는 복호화 처리에 대해 설명한다.
먼저, 제어신호입력단자(202)에 입력되어 복호화가 가능하다는 것을 지시할 때, 화상 데이터 입력단자(201)에 입력된 부호화된 동화상은 버퍼(203)에 기록된다. 제어신호입력단자(202)에 입력된 제어신호가 복호화가 금지됨을 지시할 때, 부호화된 동화상 데이터는 버퍼 (203)에 기록되지 않고, 버려진다.
제어신호가 복호화가 가능함을 지시할 때 실행되는 복호화 처리를 먼저 설명한다.
분리기(204)는 버퍼(203)로부터 부호화된 데이터를 수신하고, 부호화된 데이터를 부호내용을 표시하는 헤더 정보와, 실행된 움직임 보상에 대한 움직임 보상 부호 및, DCT변환계수를 부호화하여 얻은 데이터로 분리한다. 헤더복호기(205)는 정보를 얻기 위해서 각종 개시 부호화, 화상크기 및 각각의 프레임에 대한 부호화 모드를 복호화 한다.
움직임보상복호기(206)는 분리기(204)에 의해 얻는 움직임 보상 부호와 각각의 매크로 블록에 대한 부호화 모드와 움직임 벡터를 복호화 하고, 움직임 보상에 필요한 정보를 얻는다. P프레임에 대해서, 움직임보상복호기(206)은 움직임보상동작을 위해 얻는 정보를 움직임보상기(211)에 전송한다.
텍스쳐복호기(207)은 분리기(204)에 의해 얻은 부호화된 데이터를 복호화 하고, 양자화 계수와 DCT변환 계수에 대한 양자화 된 데이터를 얻는다. 복호화된 양자화 데이터는 역양자화 및 역DCT기(208)에 전송되고, 화소데이터나 움직임 보상에 기인한 에러데이터를 얻는다. 가산기(209)는 에러데이터를 움직임보상기(211)의 출력 데이터에 가산한다. 움직임보상복호기 (206)에 의해 복호화된 매크로 불록에 대한 부호모드가 인트프레임내 코딩이면, 움직임보상기 (211)은 가산기(209)에 0의 값을 출력한다. 그러나, 움직임보상기(211)은, 얻은 움직임 벡터와 일치시에는, 참조프레임메모리(210)의 참조프레임을 사용하여, 움직임보상을 하고 참조매크로블록데이터를 가산기(209)출력한다.
가산기(209)에 의해 얻은 최소값은 참조프레임메모리(210) 및 표시프레임메모리(212)에 기록된다. 표시프레임메모리(213)에 기록된 화상데이터는 출력단자(213)을 통해 모니터(1010)에 출력되어서 모니터상에 표시된다.
제어신호에 대한 지시가 복호허가로부터 복호금지로 변경하여 복호의 재기를 지시하는 경우에 실행되는 복호처리에 대하여 설명한다.
버퍼(203)에 있는 코드엔트리는 정지하고, 헤더복호기(205), 움직임보상복호기(206), 움직임보상기(211) 및 텍스쳐부호기(207)의 동작도 정지한다.
게다가, 참조프레임메모리(210)과 표시프레임메모리(212)의 갱신은 금지되고, 그 결과 복호화된 최종프레임에 대한 화상데이터는 출력단자(212)를 통해 출력된다. 따라서, 복호화가 허가된 최종프레임은 모니터(1010)상에 연속적으로 표시된다.
버터(201)의 코드엔트리가 재개되면, 헤더복호기(205)가 동작된다. 제 1프레임이 I프레임이기 때문에, 텍스쳐복호기(207)의 동작이 재개되고, 참조프레임메모리(210)과 표시프레임메모리(212)의 갱신이 다시 시작된다. 각부의 동작은 제어신호가 다시 복호금지를 지시하기 전까지 I프레임과 P프레임을 계속 복호화한다. 모니터(1010)의 표시는 갱신되고, 동화상의 표시는 재개된다.
상기 설명된 일련의 선택동작에 의해 복호화가 재개되고, 인터프레임부호화가 제 1프레임에 대해 실행되기 때문에, 프레임화상의 품질저하나, 복허처리중의 인터럽션을 방지할 수 있다.
도 9에 도시된 바와 같이, 저작권에 규정된 보호(시큐리티)가 부호화된 프레임P4 내지 P9사이에 적용되고, 그 프레임은 인정되지 않는것으로 가정한다. 이 경우에는, 시큐리터가 적용된 시점전에 인접하여 위치한 프레임P3가 연속적으로 표시되고, 시큐리티가 해제된 후에 인접하여 위치한 프레임은 항상 I프레임이므로, 보정복호화는 시큐리티해제된 다음의 프레임을 시작으로 실행되므로 화상의 인터럽션이나 품질악화는 방지할 수 있다. 게다가, 시큐리티 해제후의 시간지연(화면스키핑)이 없으므로 화상복구가 실행되고 사용자는 정상화상을 얻을 수 있다.
본 실시예에서는, 복호화금지가 부여되기 바로전에 복호화된 화상이 복호화가 금지된 기간동안에 출력된다. 그러나, 제어신호에 대한 지시가 복호금지에서 복호허가로 변경되고 복호재개가 지시될 때 실행되는 복호화처리동작을 설명한다.
버퍼(203)의 코드엔트리가 재개되면, 헤더 복호기(205)가 동작된다. 제1프레임이 I 프레임이기 때문에, 텍스쳐 복호기(207)의 동작이 재개되고, 참조프레임 메모리(210)과 표시프레임 메모리(212)의 갱신이 다시 시작된다. 각부의 동작은 제어신호가 다시 복호금지를 지시하기 전까지 I프레임과 P프레임을 계속 복호화 한다. 모니터(100)의 표시는 갱신되고, 동화상의 표시는 재개된다. 상기 설명된 일련의 선택 동작에 의해 복호화가 재개되고, 프레임내 부호화가 제1프레임에 대해 실행되기 때문에, 프레임화상의 열화나, 복호처리중의 인터렙션을 쉽게 방지할수 있다. 도39에 표시된 바와 같이, 저작권에 규정된 보호(시큐리티)가 부호화된 프레임 P4내지 P9사이에 적용되고, 그 프레임은 인정되지 않는 것으로 가정한다. 이 경우에는 보안이 적용된 시점 전에 인접하여 위치한 프레임 P3가 연속적으로 표시되고, 보안이 해제된후에 인접하여 위치한 프레임은 항상 I프레임 이므로, 보정 복호화는 보안 해제된 다음의 프레임을 시작으로 실행 되므로 화상의 인터렙션이나 품질 악화는 방지할수 있다. 게다가, 보안 해제후의 시간지연(화면 스키핑)이 없으므로 화상 복구가 실행되고 사용자는 정상화상을 얻을수 있다.
본 실시예에서는, 복호화금지가 부여되기 바로전에 복호화된 화상이 복호화가 금지된 기간동안에 출력된다. 그러나, 소정의 화상은 미리 메모리에 기록되며, 상기 기간동안 출력된다. 본 실시예에서 필요에 따라 메모리 구성은 변경할수 있다. 동화상에 대한 부호화 방식은 MPEG-1코딩 방식에 한정되지 않고; MPEG-2코딩방식도 필드로서 사용되는 프레임에 이용될수 있고 또는, H.261 또는 H.263 코딩방식도 마찬가지로 이용될수 있다.
부호화된 보안 데이터의 형식과, 인정방법 및 저작권 보호를 받는 부분의 지정 방법은 본 실시예에서 설명된 것에 한정되지 않고, 다른 형식, 다른 인정 방법 및 지정 방법도 이용될수 있다. 예를 들면, 도10에서 도시된 바와 같이, 도5에 있는 각각의 코드에 첨부하여, 보호될 저작권이 음성 또는 동화상인지의 여부에 대하여 A/V플래그(2005)가 신호에 추가된다.
MPEG-4 다중매체에 본 실시예를 적용하기 위하여, 목적코드부호(2006)를 추가하여, 도11에서 도시된 바와 같이, 목적물을 구별하고, 보안을 각 목적물에 대하여 설정하고 부호화 한다. 복수의 비디오 부호화부가 설치되고 I-VOP는 각 목적물에 대한 보안이 해제된 제1VOP를 부호화 하기 때문에, 복호화의 안전성이 확보되고, 화질의 열화를 방지 할 수 있다.
더욱이, 보안이 해제된 제1부분에서, 필터 헤더 그룹은 MPEG-1,2에 설정되거나 또는 VOPS헤더그룹이 MPEG-4에 설정된다.
제2실시예에 의한 화상처리 장치의 구성은 도1과 유사하고, 단지 비디오 부호화부(1001)에 대한 내부 구성과 처리가 다르다. 따라서 비디오 부호화부(1001)의 구조와 동작에 대해서만 제2실시예에서 설명한다.
동화상 데이터가 부호화 방식에 의해 부호화 되는 경우를 설명한다. MPEG-1부호화 방식은 ISO/IEC/1172-2에 상세히 기술도어 있기 때문에, 그것에 대한 설명은 생략한다. 설명을 단순화 하기 위해서, 데이터는 각 프레임 마다 부호화되고, 부호화 모드는 프레임내 코딩을 위한 I 프레임 모드와 시각축에 따라서, 선행 프레임으로부터 동화상을 예측하는 프레임내 상관관계를 이용하는 P프레임 모드로 구성된다. 그리고, 시간에 따라서, B프레임은 선행프레임 및 후속 프레임으로부터 동화상을 예측한다.
제2실시예에서 비디오 부호화부(1001)를 상세히 설명한다. 도12는 본 실시예에 대한 비디오 부호화부의 상세 블록도면이다. 도12에서, 화상 데이터는 입력단자(301)에 입력되고, 프레임 메모리(302),(303) 및 (304)는 각 프레임에 화상을 기록하는데 사용된다. 감산기(305)는 각 매크로 블록에 대한 화소단위 값을 감산한 차를 계산한다. PCT 및 양자화기는 변환을 실행하고 변환 계수를 양자화한다. 텍스쳐 부호화기는 양자화에 의한 결과에 대해 엔트로피 부호화를 실행한다.
역양자화 및 역DCT기(308)은 양자화된 변환 계수를 수신하며, 역양자화 및 역 DCT변활을 실행한다. 가산기(309)는 각 매크로 블록의 화소값을 함께 가산하고, 참조 프레임 메모리(310),(311)는 움직임 보상을 실행하는 프레임 화상을 기록하는 사용된다. 움직임 보상기(312)는 프레임 메모리(302),(303),(340) 및 참조 프레임 메모리(310),(311) 중에서 어느 하나로부터의 벡터를 계산하고, 움직임 보상을 실행한다.
움직임 보상 부호기(313)은 움직임 보상과 관련된 부호, 즉 움직임 보상기로부터 출력된 매크로 블록이나 움직임 벡테에 대한 부호화 모드등을 생성한다.
도4에 있는 제어 신호 발생기(105)로 부터의 제어 신호는 입력단자(315)에 입력되고, 프레임 모드 설정기(315)는 부호화 하는 프레임 모드를 설정하고 헤더 부호화기(316)는 프레임 모드를 조합하는 헤더를 부호화한다. 다중화기(317)는 텍스쳐 부호화기(307), 움직임 보상 부호화기(313) 및 헤더 부호화기(316)에 의한 출력 데이터를 다중화 한다. 버퍼(318)는 다중화기(317)에 의해 발생된 부호화 데이터를 일시적으로 기록하는 사용한다.
레이트 제어기(319)는 부호 양을 제어하고, DCT 및 양자화기(306)에 의해 사용된 양자화 계수를 조정한다. 버퍼(318)에 있는 데이터는 출력단자(320)를 통해 출력된다.
이와 같이 구성된 비디오 부호화부(1001)에 의해 실행되는 부호화 처리에 대하여 설명한다.
동화상에 대한 화상 데이터는 입력단자에 순차적으로 입력되고 프레임 메모리(302)에 기록된다. 부호화될 프레임에 대해 보안 정보가 "허가" 또는 "금지"를 지정하는지의 여부를 표시하는 제어신호가 입력단자에 입력된다.
먼저, 보안이 적용안되고 "허가"가 프레임 모드설정기(315)에 입력되는 경우를 설명한다.
프레임 모드 설정기(315)는 일정간격으로 내부 프레임 부호화를 실행하고, 다른 프레임에 대하여 사이 프레임 부호화를 실행한다. 본 실시에예에서는 15프레임당 I프레임 모드에서 부호화된 I프레임있고, 나머지 10프레임은 B프레임 모드에서 부호화된 B프레임이다. 한 프레임 주기는 P프레임과 I프레임 사이나 혹은 두 개의 P프레임 사이에 두 개의 프레임을 배열하도록 설정되어 있다. 즉, 프레임은 다음과 같이 배열된다.
IBBPBBPBBPBBPBBIBBP…,
이 배열에서, 하나의 I프레임과 다음 I프레임 사이에는 15개의 다른 프레임이 있다.
프레임 화상은 순서적으로 프레임 메모리에 입력되며, 수최초 프레임 화상은 프레임 메모리에 기록되고, 다음 프레임 화상은 프레임 메모리(302)에 기록되며 다음 프레임 화상은 프레임 메모리(303)에 기록되며, 이어서 다음 프레임 화상은 프레임 메모리(302)에 기록된다. 나머지 프레임 화상 데이터는 순서대로 기록된다.
프레임 모드 설정기(315)는 상기 프레임 주기에 따라서 프레임 모드를 결정하고 선택프레임 모드를 헤더 부호화기(316)에 출력한다. 헤더 부호화기(316)는 MPEG-1 명세에 따라서 부호화된 헤더 데이터를 생성한다.
움직임 보상은 프레임 모드 설정기(315)가 I프레임 모드를 지정할때에 실행될 필요가 없기 때문에, 제어 신호는 움직임 보상기(312)에 전송되고, 움직임 보상을 행하지 않으면서, "O"값 출력을 지시한다. 화상 데이터는 I프레임 모드에서 부호화된 프레임이 기록된 프레임 메모리(302),(303) 및 (304)중 하나로부터 출력된다.
프레임 모드 설정기(315)가 P프레임 모드를 설정할 때, 움직임 보상은 실행되야 한다. 화상 데이터는 P프레임 모드에서 부호화된 프레임이 기록된 프레임 메모리(302),(303) 및 (304)중 하나로부터 출력 되거나, 복호화된 최종 프레임 화상이 기록된 참조 프레임 메모리(310)이나 (311) 둘중에 하나로 부터도 판독된다. 이와같은 화상 데이터는 움직임 보상을 행하기 위해 움직임 보상기(312)에 전송된다.
프레임 모드 설정기(315)가 B프레임 모드를 설정할때는, 움직임 보상은 실행되야 한다. 화상 데이터는 B프레임 모드에서 부호화된 프레임이 기록된 프레임 메모리(302),(303) 및 (304)중의 하나로부터, 또는 두 개의 참조 프레임 메모리(301)과 (311)에 출력된다. 이러한 화상 데이터는 움직임 보상을 행하기 위해 움직임 보상기(312)에 전송된다. 이때에, B프레임 모드에서 부호화된 화상 데이터는 참조 프레임 메모리(310) 및 (311)에서 출력되지 않는다.
I프레임 모드에 있어서, 움직임 보상기는 각 매크로 블록(즉, 16X16 화소로 구성된 블록)에 0값을 출력한다.
B프레임 모드에 있어서는, 움직임 보상기는 부호화된 프레임이 기록된 프레임 메모리(302),(303) 및 (304)중 어느 하나와 두개의 참조프레임메모리(310),(311)을 참조하여 움직임 벡터를 얻고, 움직임 보상에 의해 예상되는 매크로 블록을 출력한다.
각 매크로 블록에 대하여, 프레임 메모리로부터 출력된 프레임 화상 데이터는 감산기(305)에 전송된다. 감산기(305)는 각 화소 값을 움직임 보상기(312)에 의해 출력된 매크로 블록에 대한 값에서 감산한다. 감산기(305)의 결과는 DCT 및 양자화기(306)에 출력되고, DCT 및 양자화기는 결과치에 대하여 DCT변환을 실행한다. DCT 및 양자화기(306)은 양자화 계수를 이용하여 얻은 값을 양자화 한다.
DCT 및 양자화기에 의한 결과를 텍스쳐 부호하기(307)에 전송된다. MPEG-1부호화 사양에 의해, 텍스쳐 부호화기(307)은 매크로 블록의 부호모드와 양자화 계수 및 양자화 결과(허프만 코딩에 의거한 엔트로피코딩(가변길이 코딩))를 부호화 하고, 결과를 다중화기(317)에 출력한다.
DCT 및 양자화기(306)에 의한 출력 데이터는 역양자화및역DCT기에 전송되고, 역양자화 및 역 DCT기(308)는 화소데이터와 움직임 보상에 기인한 에러 데이터를 얻기 위해 역 DCT변환을 실행한다. 에러 데이터는 가산기(309)에 의해 움직임 보상기에 의해 얻은 결과에 가산된다.
단지 I프레임 모드나 P프레임 모드에 있어서는, 가산기(309)에 의해 얻어진 화소값은 참조 프레임 메모리(310)이나, 직전에 부호화된 화상 데이터가 기록된 참조프레임에 기록된다.
움직임 보상기(312)에 의해 얻어진 움직임 벡터는 움직임 보상 부호화기(313)에 전송되고, 움직임 벡터 부호화기는 움직임 벡터를 부호화하여 부호화된 벡터를 다중화기(317)에 출력한다.
MPEG-1형식에 의해, 다중화기(317)은 텍스쳐 부호화기(307) 및, 움직임 보상 부호화(313)기 과 헤더 부호화기(316)에 의한 출력 값을 다중화 하고, 결과를 버퍼(318)에 출력한다.
버퍼(318)에 기록된 부호화된 데이터는 출력단자(320)에 의해 출력되고, 레이트 제어기(319)는 버퍼(318)에 기록된 코드양을 감시하고 DCT 및 양자화기(306)의 양자화계수를 변화시켜 발생된 코드양을 조정한다.
보안이 적용되고 정보가 허가에서 금지로 변경되는 경우에 대해 설명한다.
이번에는, 프레임 모드 설정기(315)는 표시된 보안 정보가 허가에서 금지로 변경되기 바로 직전에 처리된 프레임 모드를 사용하여 허가에서 금지로 변경되기 바로 직전에 처리된 프레임 모드를 사용하여 프레임 모드를 변경한다. 이 상태는 도 13A에서 도 13B에서 도시한다.
도 13A에 도13E에서는 I*는 I프레임 모드에서 부호화된 프레임을 표시하고, P*는 P프레임 모드에서 부호화된 프레임을 표시하며 프레임 모드에서 부호화된 프레임을 나타낸다. 도13A의 예에 있어서, 관련 프레임은 동화상 데이터의 헤드 이거나, 사진 그룹의 헤드이며, 1의 CLOSED_GOP부호(MPEG 부호화된 데이터에 포함된 데이터 세트중의 하나이며 GOP내의 화상을 표시하는 플래그는 별도로 재생될수 있음)를 갖고 있으며 복호화는 프레임B1의 시작점에서 금지되고, 프레임B1은 프레임 Io다음에 놓여진다. 이때에, 복호화가 코드순서에 따라서 프레임Io에서 종료되는 경우에도, 바람직하지 않는 복호화는 발생하지 않으며, 화상의 악화가 발생하는 프레임이 없기 때문에, 프레임 모드는 변하지 않는다.
도 13B의 예에서는, 복호화는 프레임B2의 시작점에서 금지되고, 프레임 IO와 B1다음에 놓여진다. 이때에, 프레임 P3가 표시순서에서 프레임B1다음에 표시되나 프레임 P3은, 코드순서에서, 프레임 B1전에 위치하고, 이에 의해 프레임 P3가 복호화되는 경우, 프레임 P3는 복호측상에 표시된다. 따라서, 프레임 B1은, 본래 B프레임모드에서 부호화된 프레임B1은 P프레임모드에서 부호화하기 위해 변경된다. 다음에 도 13B에 도시된 변경후의 모드순서를 얻을 수 있고, 프레임P3는 참조되지 않았다. 프레임 P3가 I프레임모드에서 부호화된 경우에도, 프레임모드는 같은 방법으로 변경된다.
도13C의 예에서는,복호화는 프레임P3시작점에서 금지되며, 프레임P3는 프레임IO, B1및 B2다음에 놓여진다. 프레임P3가 프레임B1 및 프레임B2전에 위치 하므로, 프레임B1과 B2는 복호화 되지 않는다.
따라서, 본래 B프레임 모드에서 있었던 프레임B1과 B2는 모드에서 부호화 하기 위해 변경된다. 다음에, 도13D에 도시된 변경후의 코드 순서를 얻을수 있으며, 프레임P1과 P2는 복호화 측에 특별한 구조를 요구하지 않고 복호화 된다. 프레임 P3가 I프레임 모드에서 부호화되는 경우에도 도13E에서 도시된 바와같이, 프레임 보드는 같은 방식으로 변경된다.
보안이 해체되고 보안정보가 금지에서 허가로 병견되는 경우에 대해 설명한다.
이때, 프레임 모드 설정부(315)는 표시된 보안 정보가 "허가"에서 "금지"로 변경시에 전후 프레임을 사용하여 프레임 모드를 설정한다. 이 상태는 도14에서 도14E에 도시된다.
도 14A내지 도14E는 표시된 보안정보가 금지에서 허가로 변경되는 경우 부호모드의 변경을 설명하는 도면이다.
도 14A내지 도14E에서, 화살표는 보안이 해제되고 복호화가 가능한 위치를 나타낸다.
도 14의 예에서는, 관련 프레임은 동화상 데이터 헤드나, 1의 CLOSE_GOP의 부호를 갖는 그림 그룹의 헤드이며, 부호화는 프레임B1의 시작점에서 실행되고, B1은 프레임 IO다음에 위치한다. 이때에 프레임IO다음에 위치하는 프레임 B1, B2및 P3에서 문제가 발생하고, 프레임 B1, B2및 P3는 프레임를 참조하기 때문에 정상적으로 복호화 될수 없다.
따라서, 프레임 B1은 I프레임 모드에서 부호화 하기위해 변경된다. 도14A에서 도시된 변경후의 부호순서를 얻을수 있고, 프레임 B2및 P3는 복호측에 대한 특별한 구성을 요구하지 않고서도 정상적으로 표시될수 있다. 프레임 P3가 I프레임 모드에서 부호화되는 경우에도, 프레임 모드는 같은 방법으로 변경된다.
도14B의 예에서는, 복호화는 프레임B2의 시작점에서 실행되고, 프레임B2는 프레임I0와 프레임B1, 다음에 위치한다. 이때에, 프레임 B2및 P3에 발생되는 문제는 프레임 B2및 P3가 프레임를 참조하기 때문에 정상적으로 복호화 될수 없다. 따라서, 프레임 B2는 I프레임 모드에서 변경되어 부호화하고, 프레임P3는 프레임 모드에서 변경되어 부호화 한다. 다음에 도14B에서 도시된 변경후의 부호순서를 얻을수 있고, 프레임I2및 P3는 복호화측에 특별한 구성을 요구하지 않으면서 정상적으로 감시된다. P3가 I프레임 모드에서 부호화 되는 경우에도, 프레임은 같은 방식으로 변경된다.
도14C의 예에서는, 복호화가 프레임 P3시작점에서 실행되고, 프레임 P3는 B1및 B2다음에 위치한다. 이때에, 프레임P3에 발생하는 문제는 프레임P3가 프레임IO을 참조하므로 정상적으로 복호화 될수 없다. 게다가, 프레임 B1과 B2는 P3다음에 위치하므로, 이 프레임에 대해 실행될 복호화와 표시 처리에 관한 다른 문제가 발생한다.
부호에 대한 올바른 순서를 얻기 위해서, 프레임 P3 와 B1 은 P프레임 모드에서 변경되어 부호화 되고, 프레임B2 는 I 프레임 모드에서 변경되어 부호화 한다. 그런 다음에, 도14C에서 도시된 변경후의 부호순서를 얻을 수 있고, 프레임P3가 프레임 모드에서 부호화 되는 경우에도, 프레임은 같은 방식으로 변경된다.
도 14D의 예에 있어서, 복호화는 프레임P3 다음의 프레임 시작점에서 실행된다. 이때에 , 프레임 P3는 부호순서에서 프레임B1 및 B2전에 위치하므로, 프레임B1과 B2 는 복호화 되고, 부호 화된 데이터 B2 과 B2는 프레임 P3전에 위치해야만 한다. 따라서, 프레임B1 과 B2는 P프레임모드에서 변경되어 부호화하고, 프레임P3 다음의 화면은 I프레임 모드에서 부호화 된다. 다음에, 도 14D 에 도시된 변경후의 부호순서를 얻고, 프레임P3 이전 프레임은 복호측에 특별한 구성을 요구하지 않고서 정상적으로 표시될 수 있다. 프레임P3가 I프레임 모드에서 부호화 되는 경우에도, 프레임모드는 같은 방식으로 변경된다. 또는, 도14E에서 도시된 바와 같이, 프레임B1은 프레임I 및 P2를 기준으로 하여 부호화 되고, 프레임B2는 P프레임모드에서 부호화 된다. 이때에, 프레임P3다음의 화면은 I프레임 모드에서 부호화 된다.
프레임은 이와 같은 부호모드에 따라서 부호화 되고, 보안과 관련하여 부호모드에 변경이 없는 경우, 일반주기는 프레임을 부호화 하는데 사용된다.
부호 화된 동화상 데이터는, 제 1 실시 예에서 와 같이, 출력터이널 (320)의 의해 출력된 부호 화된 보안 데이터로 멀티플렉서(1002)에 의해 다중화 된다. 복후처리는 제1실시 예와 동일하므로, 저리에 관한 설명은 생략한다.
상기 설명된 일련의 선택동작을 통해서, 프레임모드는, 보안으로 인해서, 복호화가 정지되거나 재개되는 프레임이나. 전후 프레임으로 변경되며, 움직임 보상은, 보안과 일치하며, 복호 금지나 복호 허락 명령이 나오기 전까지는 실행되지 않는다.
따라서, 복호측에 특별한 구성을 필요 되지 않은 상태로, 프레임의 화상저하나 복호 과정의 단속을 싶게 방지할 수 있다.
도15에 도시된 바와 같이, 저작권에 대한 보호(보안)가 부호 화된 프레임P1과 B30 사이의 간격에 적용되는 것과, 프레임이 인정되지 않는 것으로 가정한다. 이 경우에서는, 보안이 적용되기 직전에 위치한 프레임P11은 연속적으로 표시되고, 보안이 해제된 직후에 위치한 프레임은 항상 I프레임이고, 정상 복호화는 보안이 해제된 직후에 처리된 프레임을 시작으로 실행되기 때문에 화상의 단속과 품질악화를 방지 할 수 있다. 또한, 보안해제와 화상복구 사이에는 지연이 없기 때문에, 일반화상을 사용자는 얻을 수 있다.
본 실시 예에서는, 복호화 금지되기 직전에 부호 화된 화상은 복호화가 금지되는 주기 동안에 출력된다. 그러나, 설정의 화상은 미리 메모리에 기록되고, 상기 주기동안에 출력된다.
메모리 구성은 본 실시예의 필요에 따라 변경 될 수 있다. 동화상에 대한 부호화 방식은 MPEG-1 코딩 방식에 한정되지 않고, 필드로써 상용되는 프레임에 대해, MPEG-2 코딩 방식 사용 가능하며, H.261 및 H.263 코딩 방식도 마찬가지로 가능하다. 또한, GOP 의 구성이 다음과 같이 변경되는 경우에는
IBBBPBBBPBBBPBBBIBBBPBBBP...
복호화는 정지되고 , 프레임 모드는 도 16A 내지 도16E 및 도 17A 내지 도 17E에 도시된 바와 같이 변경되고, 복호화가 재개되면, 프레임모드는 도 18A 내지 도 18E에 도시된 바와 같이 주프레임과 전후프레임으로 변경되어, 움직임보상은, 보안에 일치하여 복호화금지 및 허락명령이 나올때까지 실행되지 않는다. 따라서, 복호측에 특별한 구성이 없이도, 프레임의 화상 품질악화와 복호화 동작의 인터럽션을 쉽게 방지 할 수 있다. 임의의 주기도 이와 같은 처리를 실행하는데 사용할 수 있다.
또한, B프레임 모드는 P프레임 모드 뿐 아니라 I프레임 모드로 변경될 수 있다.
도 19는 본 발명의 제 3실시 예에 의한 화상처리 장치를 설명하는 볼록 도이다.
도19에서, 기억장치(400)는 부호화된 동화상을 저장하는데 사용한다. 본 실시 예에서는, H.216 및 H.263 코딩방식에 대해 간단히 설명하고, 상기코딩방식은 양 방향예측 코딩모드를 사용하지 않고, 동화상을 부호화 하는 방식으로 사용된다. 본 실시 예는 양방향 예측 코딩 방식(B프레임 모드)을 사용하지 않는 HPEG-1 및 2 코딩 방식에 적용 할 수 있다.
보안 설정부 (401)는 동화상의 일부 혹은 전부의 재생을 허가하거나 금지하는 보안 정보를 설정한다. 부호 변환부(402)는 부호 설정부(401)에 입력된 명령에 따라서 부호화된 동화상을 변환한다. 보안 부호화부(403)은 부호정보를 부호화 한다. 멀티플렉서(404)는 부호화된 종화상 테이터에 대한 부호화된 보안데이터를 다중 화하여, 동화상 데이터를 생성한다. 기억부(405)는 동화상 데이터의 기억에 사용된다.
이와 같이 배열된 화상처리 장치에 의해 실행되는 동화상 데이터 처리에 대한 설명한다
연산자(표시되지 않음)는 기록부(400)에 기록된 부호화된 동화상 데이터를 선택하고, 부호 화된 동화상 데이터에 대한 저작권 보호를 위한 개시시각 및 종료시각과, 보안 해제에 사용되는 키를 표시하는 보안정보를 보안설정 지시부(401)에 입력한다.
보안 설정부(401)은 복호금지 명령이 발생한 시각순서에 따라 입력된 보안정보를 재배열하고, 동화상에 대응하는 프레임이 식별될 때 사용하기 위해 이 배열을 기록한다. 보안 부호화부(403)은 보안정보를 부호화하고, 부호화된 보안 데이터를 멀티플렉서(404)에 출력한다. 코드 변환부(402)는 부호를 대응 프레임과 이전 및 후속프레임으로 변환 한다.
부호 면환부(402)를 상세히 설명한다.
도20은 제3실시 예에 의한 부호변환부(402)를 설명하는 블록 도면이다.
도20에서, 입력단지(451)는 부호화된 동화상 데이터를 입력하는데 사용되고, 분리기(452)는 H.261 및 H.263 코딩 방식에 의해 부호화된 데이터를 헤더 데이터와 부호화된 화상데이터로 분리한다.
헤더 부호는 부호의 특성을 나타내는 정보, 예를 들면 각종 시작 부호, 화상의 크기, 비트 레이트 및 프레임 모드 등을 부호화하며 얻은 부호이다. 부호화된 화상 데이터는 동화상을 나타내는 정보, 예를 들면 양자 화된 데이터보호, 머션 벡터부호 및 매크로 블록에 대한 보호화 모드등이다.
버퍼(453) 및 (454)는 분리기(452)에 의해 분리된 부호의 일시적인 기록에 사용한다. 입력단자(455)는 각 프레임에 대해 보안 설정부(401)로부터 수신된 부호화 보안데이터를 입력시키는데 사용된다.
보안설정 지시부(456)는 각 프레임에 설정할 보안을 결정하고 각 부서에 지시를 출력한다. 헤더 복호부(457) 및 (462)는 헤더부호를 복호화 한다.
셀렉터(458),(459),(461)는 부호설정 지시부(456)로부터 입력된 지시에 따라서 입력/출력 데이터를 선택한다. 헤더 부호화부(463)는 헤더 정보를 부호화하고, 복호화부(464)는 부호화하고, 보호화부(464)는 부호화된 데이터를 복호화하여 동화상을 얻는다. 부호화부(465)는 동화상 데이터를 부호화하여 부호화된 화상 데이터를 얻는다.
멀티플렉서(466)는 발생부호를 다중화하여 H.261 및 H.263 부호화된 데이터를 얻고, 출력단자(467)는 멀티플렉서(466)에서 얻는 부호화 동화상데이터를 출력하는데 사용한다.
이와같이 배열된 부호 변환부(402)에 의해 실행되는 부호화 처리를 설명한다.
동화상 데이터는 입력단자(451)에 순차적으로 입력되고, 분리기(452)에 의해 헤더부호와 부호화된 화상데이터로 분리된다. 헤더부호는 버퍼(453)에 기록되고, 부호화된 화상데이터를 버퍼(454)에 기록되다.
버퍼(453)에 기록되 헤더코드는 헤더복호화기(457)에 의해 복호화되고, 프레임에 대한 부호화 모드는 얻어지고, 보안 설정 지시부(456)에 출력된다.
보안 설정지시부(456)은 보안에 각각이 프레임에 설정되는지의 여부를 판정하고, 시간축을 따라서, 보안이 개시되는 프레임이나 종료되는 프레임은 선행하거나 후속하는 프레임의 프레임 모드를 분석한다.
분석 결과로써, 프레임 모드가 변경되어야 하는 프레임에 대해서는 보안 설정 지시부(456)은 셀렉터(458),(459),(460) 및(461)를 동작시켜서, 해당프레임은 헤더 부호화부(463), 보호하부(464) 및 부호화부(465)를 통해 통과시킨다. 또한 보안 설정 지시기(456)는 새로운 프레임 모드를 헤더 부호화(463)에 전송한다. 프레임 모드가 변경될 필요가 없으면, 상기 구성 요소를 통과한 입력/출력 데이터가 선택된다.
우선, 보안이 설정되지 않고 프레임 모드가 보안설정 지시부(456)에 의해 변경되지 않아야 하는 경우를 설명한다.
보안설정 지시부(456)는 셀렉터(458),(459),(460) 및 (461)에 명령을 발행하여 헤더 복호화부(462) 헤더 부호화부(463), 복호화부(464) 및 부호화부(465)를 통해서 프레임을 통과 시킨다. 버퍼(453) 및(454)에 기록된 부호화된 데이터는 각 프레임에 대해 출력되고, 멀티 플렉서(466)에 출력된다. 멀티플렉서(466)는 분리기(452)로서 역동작을 수행하고 입력된 것과 동일한 부호를 생성하고 출력단자를 통해 출력한다.
보안 적용되고 지정된 보안 정보가 허가에서 금지로 변경하는 경우에 대해 설명한다.
제 1실시예에서와 같이, 프레임 모드는 변경되지 않는다. 즉, 동일한 처리가 보안이 적용되지 않을 때 실행되는 것과 같이 실행된다.
마지막으로, 보안이 해제되고 지정된 보안 정보가 금지에서 허가로 변경되는 경우에 대해 설명한다.
프레임 모드 설정부(304)는, I 프레임 모드에 대해서, 보안이 해제된 후에 제 1프레임의 프레임 모드를 강제로 설정한다. 제1실시예에서는 I프레임 다음에 있는 모든 프레임은 P프레임 모드에서 부호화 된다.
즉, 보안설정 지시부(456)는 셀렉터(458),(453),(460) 및(461) 에 지시하고 헤더 복호화(462) 헤더 부호화부(463), 복호화부(464) 및 부호화부(465)를 통하여 프레임을 출력한다.
상세하게, 이하 동작을 행한다.
버퍼(453)및(454)에 기록된 부호화된 데이터가 각 프레임에 대해 출력된다. 헤더 복호화부(462)는 헤더 부호를 복호화 하고, 헤더 부호화부(463)는 복호화된 헤더 부호를 프레임 모드와 관련된 정보와 대체하여 복호화된 헤더 부호를 부호화 한다. 헤더 부호화부(463)에 의해 얻는 부호화된 데이터는 셀렉터(459)를 경유하여 멀티플렉서(466)에 출력된다.
복호화부(464)는 화상 데이터를 복호화하고, 프레임에 대한 화상을 재생하고, 부호화(465)는 부호설정지시부(456)에 의해 지시된 프레임 모드에 있는 프레임을 부호화 한다. 부호화부(465)에 의해 얻는 부호화된 데이터는 셀렉터(461)를 경유하며 멀티플렉서에 출력된다.
분리기(452)에 의해 행하는 것과 반대의 동작을 행하는 멀티플렉서(466)는 부호화된 데이터를 다중화 하고 얻은 데이터를 출력단자(467)를 경유하여 출력한다. 다음 동작은 지정된 보안 데이터가 허가 될 때 실행되는 동작과 일치한다.
그러므로, 상기 설명된 처리 순서를 통해서, 보호화된 데이터는 보안의 상태에 따라서 변환되고, 보안 데이터가 가산되는 경우에도, 복호화부상의 프레임에서 화상의 저감과 복호화동작중의 인터럽션을 쉽게 방치할수 있다.
메모리 숭성은 본 실시에의 필요에 따라 변경될수 있다. 동화상에 대한 부호화 방법은 H.261 및 H.263 코딩방식에 한정되지 않고 MPEG-1 및 2 도사용 가능하다. 각 목적(object)에 대해 같은 처리가 실행되는 경우에는, MPEG-4 또한 가능하다.
제4실시예에 의한 화상처리 장치의 구성은 도19의 구성과 일치하고, 코드 변화부(402)에 의한 내부구성과 실행처리만이 다르다. 따라서, 제4실시예에서는, 코드변환부(402)의 구성과 동작에 대해서만 설명한다. 본 실시 예에서는 설명을 간략화 하기 위해서, 양방향 예상 코딩 모드를 사용하는 MPEG-1 코딩방식은 동화상을 부호화하는 방식으로 사용된다. 본 실시예에 있어서는 MPEG-2 및 4 코딩방식과 H.261 및 H.263 코딩 방식을 사용할수 있다.
도21 제 4실시 예에 의한 코드 변화부(402)를 설명하는 상세 블록 도면이다.
도21에서, 입력단자(471)는 부호화된 동화상 데이터를 입력할대에 사용되고, 분리기(472)는 MPEG-1 코딩 방식에 의해 코드화된 데이터를 헤더 부호와 부호화된 화상 데이터로 분리한다.
헤더부호는 부호특성을 표시하는 정보, 예를 들면 다양한 시작부호, 화상크키, 비트레이트 및 프레임 모드등을 부호화하여 얻는 부호이다. 부호화된 화상 데이터는 동화상을 표시하는 부호, 예를 들면, 양자화된 데이터 부호, 움직임 벡터부호, 및 각 매크로 블록에 대한 부호화된 모드 등이다.
버퍼(473) 및 (474)는 분리기(472)에 의해 분리된 일시적인 부호기록에 사용된다. 입력단자(475)는 보안 설정부(401)로부터 입력된 부호화된 보안 데이터를 각 프레임의 입력시에 사용한다. 보안 설정 지시부(476)는 각 프레임에 설정한 보안을 결정하고 각 부에 지시를 출력한다. 헤더 복호화부(477) 및 (482)는 헤더 코드를 복호화한다.
셀렉터(478),(479)및(481)는 보안설정부(476)로부터 입력된 명령에 따라서 입력/출력 데이터를 선택한다. 헤더 부호화부(483)는 헤더 정보를 부호화하고, 부호화부(484)는 부호화된 화상데이터를 북호화하여 동화상을 얻는다. 부호화부(485)는 동화상 데이터를 부호화하여 부호화 화상 데이터를 얻을 수 있다.
멀티플렉서(486)는 발생부호를 다중화하여 MPEG-1 부호화 데이터를 얻고, 출력단자(487)는 다중화기(486)에 의해 얻는 부호화 동화상을 출력하는데 사용된다.
프레임모드 설정부(488)는 각 프레임 및 보안 설정지시부(476)에 의해 출력된 보안 정보의 프레임 모드를 사용하며 프레임 모드를 설정하다.
상기 구성된 부호변환부(402)에 의해 실행되는 부호화 처리에 대해 설명한다.
동화상 데이터는 입력단자(471)에 순차적으로 입력되고, 분리기(472)에 의해 헤더 부호와 부호화된 화상 데이터로 분리한다. 헤더 부호는 버퍼(473)에 기록되고, 부호화된 화상 데이터는 버퍼()474에 기록된다.
버퍼(473)에 기록된 헤더 코드는 헤더 복호부(477)에 의해 복호화 되고, 프레임에 대한 부호화 모드를 얻고 보안 설정 지시부(476)에 출력된다.
보안 설정(476) 지시부는 각 프레임에 설정된 보안에 대해 결정하고, 시간축에 따라서, 보안이 개시되는 프레임 및 보안이 해제되는 프레임은 성행하거나 후속하는 프레임의 프레임 모드를 분석한다.
분석의 결과로서, 프레임 모드가 변경되어야하는 프레임에 대해서는, 보안 설정 지시부(476)는 셀렉터(478),(479),(480) 및(481)을 동작 시켜서, 관련 프레임은 헤더 복호부(482), 헤더 부호화부(483), 복호화부(484) 및 부호화부(485)를 통해 출력시킨다. 보안 설정지시부(476)는 새로운 프레임 모드를 헤더 부호화부(483)에 전송한다. 프레임 모드가 변경되지 않아야 하는 상기구성요서를 통과한 입력/출력 데이터는 선택된다.
우선, 보안이 설정되지 않고 프레임 모드가 보안 설정지시부(476)에 의해 변경되지 않는 경우에 대해 설명한다.
보안 설정 지시부(476)는 셀렉터(487), (479),(480)및(481) 에 명령을 지시하여 헤더 복호부(482), 헤더 부호화부(483), 복호화부(484) 및 부호화부(485)를 통해 프레임을 출력한다. 게다가 보안 설정지시부(476)는 프레임 모드 설정부(488)이 동작하지 않도록 한다.
버퍼(473)및(474)에 기록된 부호화된 데이터는 각 프레임에 대해 판독되고 멀티 플렉서(486)에 출력된다. 멀티 플렉서(486)는 분리기(472)로서의 역동작을 실행하고, 입력된 것과 동일한 부호를 생성하고, 출력단자(487)를 경유하여 부호를 출력한다.
보안이 설정되고 인식된 보안 정보가 허가에서 금지로 변경되는 경우를 설명한다. 프레임 모드는 제2실시 예와 같이 변경된다. 프레임 모드 설정부(488)가 동작하고 보안이 설정된 때와 일치하는 타이밍으로써도 13A에서 13D에 도시된 타이밍중의 하나를 선택하고, 결정된 시간을 선행 또는 후속하는 프레임의 부호화 모드를 결정한다.
부호화 설정 지시부(476)는 셀렉터(478), (479),(480) 및(481) 에 명령을 지시하여 헤더 복호화부(482), 헤더 부호화부(483), 복호화부()484 및 부호화부(485)를 통해 프레임을 통과 시킨다.
상세히 이하의 동작을 실행한다.
버퍼(473)및(474)에 기록된 부호화된 데이터는 각 프레임에 출력된다. 헤더 복호화부는(482) 헤더 코드를 복호화하고, 헤더 부호화부(483)는 프레임 모드와 관련된 정보를 대체하여 복호화된 헤더 부호를 부호화한다. 헤더 부호화부에 의해 얻은 부호화된 데이터는 셀렉터(479)를 통해 멀티 플렉서(486)에 출력된다.
복호화부(484)는 화상 데이터를 복호화하고, 각 프레임에 대한 화상을 재생하고, 부호화부(482)는 보안 설정 지시부(476)에 의해 지시된 프레임 모드의 프레임을 부호화 한다. 부호화부(485)에 의해 얻어진 부호화된 데이터는 셀렉터(481)를 거쳐 멀티 플렉서(486)에 출력된다. 복호화와 부호화는 다음 I 프레임이 도달할 지정된 프레임 모드에서 주기적으로 실행된다.
멀티 플렉서(486)는 분리기(472)에 의해 실행되는 역동작을 실행하고. 부호화된 데이터를 다중화 하고, 얻어진 데이터를 출력단자(487)를 통해 출력한다. 다음 과정은 지정된 보안 데이터가 허가일 때 실행되는 과정과 일치한다.
최종적으로, 보안이 해제되고 제어된 보안 정보가 금지에서 허가로 변경되는 경우를 설명한다.
프레임 모드 설정부(488)는 제2실시 예와 같은 방법으로 프레임 모드를 변경한다. 프레임 모드 설정부(488)가 동작하여 보안이 해제되는 타이밍으로써 도14A에서 14D에 도시된 타이밍중 하나를 선택하고, 설정된 시작을 선행하거나 후속하는 프레임의 부호화 모드를 결정한다. 복호화 및 부호화는 보안이 설정된 때와 같은 방법으로 실행되고, 부호화된 데이터는 다중화 되고, 결과 데이터는 출력단자(487)를 거쳐서 출력된다. 다음 처리는 보안 데이터가 허가를 지정 할 때에 실행되는 처리와 일치한다.
상기 설명한 일련의 처리에 의해서 부호화된 데이터는 보안의 상태에 따라서 변환되기 때문에, 보안 데이터가 가산 되어도, 복호측상의 프레임에 있는 화상의 저감 및 복호화 동작의 인터럽션을 쉽게 방지할수 있다.
메모리 구성은 본 실시예의 필요에 따라서 변경될수 있다. 동화상에 대한 부호화 방식은 MPGE-1 부호화 방식에 한정되지 않고, MPGE-2 부호화 방식도 사용할수 있다. 각 오브젝트(object)에 대해 같은 처리가 실행되는 경우에 있어서는, MPEG-4부호화 방식도 또한 사용할수 있다.
도22는 본 발명의 제5실시예에 의한 화상처리 장치의 구성을 표시하는 블록도이다.
도22에 있어서, 중앙처리부(CPU)(500)는 장치전체에 대하여 제어하고 다양한 처리를 실행 하며 메모리는 장치 및 소프트웨어와 계산 처리를 제어하는데 필요한 운영체제(OS)에 의해 요구되는 기록장소를 제공하다.
버스(502)는 데이터와 제어신호를 교환하는 여러종류의 장치를 접속하고; 기록장치(503)는 동화상 데이터를 기록하는데 사용하고; 통신회로(504)는 LAN, 공중회로, 무선회로 및 방송전파망으로 구성된다.
통신 인터페이스(505)는 통신회로(504)로부터 동화상 데이터를 수신한다. 표시프레임 메모리(506)는 표시될 동화상에 대한 프레임 데이터의 기록에 사용된다. 모니터(507)는 재생 동화상을 표시하는데 사용한다.
도23은 메모리(501)의 사용과 데이터 기록 상황을 표시하는 도면이다. 메모리(501)에 기록된 것은: 장치전체의 전체적인 제어와 각종 소프트웨어 프로그램의 동작에 필요한 운영체제(OS)와, 음성과 동화상의 동기 제어를 위해 정보를 부호화 하기위한 시스템 부호기 소프트웨어와, 제작군을 보호하기 위해 데이터를 부호화하기 위한 보안 부호기 소프트웨어와, 동화상 데이터를 부호화 하기위한 동화상 부호기 소프트웨어 및 음성을 부호화하기 위한 음성 부호기 소프트웨어등이 기록되어 있다.
또한, 움직임 보상을 위한 데이터에 참조하기 위해 사용된 부호화된 화상 데이터를 저장하기 위한 화상 영역과, 계산 매개 변수를 저장하기 위한 작업영역이 메모리(501)에 존재한다.
상기 구성에서, 처리가 선행되기 전에, 시스템 부호기가 동작하여 동화상과 음성의 동기를 감시한다. 부호화된 보안 데이터 및 부호화된 음성 데이터로 구성된 동화상 데이터는 기억장치(503)나 통신 인터페이스(505)로부터 입력되고, 메모리(501)에 있는 작업영역에 저장된다. 본 설명에서, 동화상 데이터는 H.263부호화 방식을 사용하여 부호화 된다. 그러나 움직임 보상을 실행하는 다른 부호화 방식도 사용 할수 있다.
도24의 흐름도를 참조하여, 기록장치(503)에 기록된 동화상 데이터를 부호화하는 CPU(500)에 의해 실행되는 처리를 설명한다.
우선, 스텝S01에서, 동화상 부호기가 동작하여 I프레임 모드에 있는 제1 프레임을 부호화 한다. 스텝S02 에서, 동화상 데이터가 기록장치(503)로부터 입력되었는지 또는 안됐는지의 여부를 판정하는 판단이 실행된다. 동화상 데이터의 입력시에는, 프로그램 제어는 스텝S03으로 진행한다. 동화상 데이터가 입력되지 않았을때는, 부호화 처리는 종료된다.
스텝S03에서, 보안 부호화가 동작하여 관력된 동화상 프레임에 대한 보안 정보를 결정한다. 지정된 보안 정보가 금지에서 허가(재시작)로 변경시에는, 프로그램 제어는 스텝S05로 진행한다.
스텝S04에서는, 동화상 부호기가 동작하여 H.263부호화 방식을 따라서 P프레임 모드에 있는 관련 동화상을 부호화 한다. P프레임 모드에 대한 부호화에 대해서, 프레임내 부호화는 프레임당 한번씩 실행되도록 설정되면 반면에, 매크로 블록은 같은 위체에 존재한다. 얻어진 동화상 데이터는 보안 정보에 따라서 다중화 되고, 결과 데이터는 메모리(501)의 작업영역에 기록된다.
스텝S05에서, 동화상 부호기가 동작하여 H.263부호화 방식을 따라서 그 프레임 모드에 있는 관련 동화상을 부호화 한다. 얻어진 동호상 데이터는 보안 정보에 의해 다중화 되고, 결과 데이터는 메모리(501)의 작업 영역에 기록된다. 프로그램 제어가 스텝S02에서 실행된다.
부호화 처리가 종료시에, 작업영역에 기록된 생성 부호화된 데이터는 기록장치(503)에 출력되고 기록되거나, 통신 인터페이스(305)를 거쳐 통신회로(504)에 전송된다.
상기 기술된바에 있어서, 상기 일련의 선택 동작을 통해서 보안이 해제되고 복호화가 가능할때, 소프트웨어는 화상의 인터렙션이나 저감의 발생없이 데이터를 정상적으로 복호화 할수 있는 장치의 일부 또는 전부를 실현시키는 것이 가능하다.
본 발명의 제6 실시예에 의한 화상 처리 장치의 구성 및 동작은, 기록장치(503)에 기록된 동화상 데이터를 부호화하는 CPU(500) 실행되는 동작을 제외하고는, 도22의 제5실시예와 마찬가지이다. 따라서, 부호화 처리만을 설명한다.
기록장치(503)에 기록된 동화상 데이터를 부호화하는 CPU(500)에 의해 실행되는 동작을 도25 및 도26의 흐름도를 참소하여 설명한다.
우선 스텝S11에서는, 동화상 데이터가 기록장치(503)로부터 입력되었는지 또는 입력되지 않았는지의 여부를 판정한다. 지정된 보안 정보가 허가이면, 프로그램 제어는 스텝S13 으로 진행한다. 지정된 보안 정보가 금지(STOP)이면 프로그램 제어는 스텝S14로 진행한다.
스텝S13 에서 동화상 부호기가 동작하여 I 프레임 모드의 제 1프레임을 부호화 한다. 그런 이후에, I프레임 모드, P프레임 모드 및 B프레임 모드는 미리 결정된 주기에 따라서 각각의 프레임에 배치된다. 부호화된 데이터와 보안 정보는 다중화되고 결과 데이터는 메모리(501)의 작업영역에 기록된다. 그후에 프로그램 제어가 스텝S11에서 실행된다.
스텝S14에서는, 허가 상태하의 최종 프레임의 프레임 모드가 I 프레임 모드인지의 여부를 판정한다. 최종 프레임이 I프레임이면, 프로그램 제어는 스텝S15로 진행한다. 최종 프레임이 다른 프레임이면 프로그램 제어는 스텝S17로 이동한다.
스텝S15에서는, 최종 프레임의 전 프레임이 I프레임을 참고하여 부호화 되었는지의 여부를 판정한다. I 프레임을 참조하지 않았다면, 프로그램 제어는 스텝S20으로 진행한다. I 프레임을 참소하였다면 프로그램 제어는 스텝S16으로 이동한다.
스텝S16에서, P프레임 모드는 최종 프레임 이전의 I프레임이 B프레임 모드에서 부호화되기 전에 최종 프레임 이전의 P프레임 및 I프레임이 규정된 프레임을 포함하는 프레임을 부호화 하는데 사용한다. 얻어진 부호화된 데이터는 보안 정보에 따라서 다중화 되고, 결과 데이터는 메모리(501)의 작업영역에 기록된다. 프로그램 제어는 스텝S20으로 이동한다.
S17스텝에서는, 허가 상태의 최종 프레임의 프레임 모드가 B프레임 모드인지 또는 아닌지의 여부를 판정한다. 최종 프레임이 B프레임이면, 프로그램 제어는 스텝S18으로 진행한다. 최종 프레임이 다른 프레임이면, 프로그램 제어는 스텝S19로 진행한다.
스텝S18에서, 최종 프레임 이전의 P프레임 및 I프레임 상의 모든 프레임을 부호화하고, P프레임 및 I프레임은 B프레임 모드에서 부호화된 최종 프레임 이전의 B프레임을 포함한다. 부호화된 데이터는 보안 정보에 의해 다중화 되고, 결과 데이터는 메모리(501)의 작업영역에 기록된다. 프로그램 제어는 스텝S20으로 진행한다.
스텝S19에서, P프레임 모드는 최종프레임에 후속하고 B프레임 모드에서 부호화된 P프레임전에 설정된 최종 프레임의 P프레임 및 I프레임상에 있는 모든 프레임을 부호화하는데 사용한다. 프로그램 제어는 스텝S20으로 진행한다.
스텝S20에서, 보안 부호기가 실행되고 해당된 동화상 프레임에 대해 보안 정보를 결정한다. 지정된 보안 정보가 금지에서 허가(Restart)로 변경시에는, 프로그램제어는 스텝S22로 진행한다. 반대인 경우는, 프로그램 제어는 스텝S21로 진행한다.
스텝S21에서, 움직임 부호기 소프트웨어가 실행되고 미리 결정된 주기에 따라서 각각의 프레임 모드에 있는 동화상 데이터를 부호화하는 MPEG-2 부호화 방식을 사용한다.
부호화된 데이터는 보안 정보에 따라서 다중화되고, 결과 데이터는 메모리(501)의 작업 영역에 기록된다.
스텝22에서, 지정된 보안 정보가 금지에서 허가로 변경되기 직전의 최종 프레임이, 즉 보안이 설정된 프레임에 대한 최종 프레임이 B프레임 모드에서 부호화되는지의 여부를 판정한다. B프레임 모드가 사용되었으면, 프로그램 제어는 스텝S23으로 진행하고, 다른 프레임 모드가 사용되었으면, 프로그램 제어는 스텝S24로 이동한다.
스텝S23 에서 최종프레임과 최종프레임이 P프레임 및 I프레임으로 확장되기 전의 프레임은 P프레임 모드에서 부호화 되고, 부호화된 데이터는 보안 정보에 의해 다중화 된다. 결과 데이터는 메모리(501)의 작업영역에 기록된다. 프로그램 제어는 스텝S26으로 진행한다.
스텝S24 에서는, 보안이 설정된 최종프레임에 바로 후속하는 프레임이 B프레임 모드에서 부호화 되는지의 여부를 판정한다. B프레임이 사용되면, 프로그램 부호는 스텝S25 로 진행한다. 다른 프레임 모드가 사용되면 프로그램 제어는 스텝S26 으로 이동한다.
스텝S25 에서, 최종프레임이 전의 P프레임 및 I프레임상의 프레임이 P프레임 모드에서 부호화되고, 부호화된 프레임은 보안 정보에 의해 다중화 되고 결과 데이터는 메모리(501)의 작업영역에 기록된다. 다음에, 프로그램 제어는 스텝S26으로 진행한다.
스텝S26에서는, 지정된 보안 정보가 금지에서 허가로 변경된 직후의 I프레임은 I 프레임 모드에서 부호화된다. 부호화된 데이터는 보안 정보에 의해 다중화되고, 결과 데이터는 메모리(501)의 작업영역에 기록된다. 프로그램 제어는 스텝S11로 돌아간다.
부호화 처리가 정지시에, 작업 영역에서 생성되고 기록된 부호화된 데이터는 기록장치(503)에서 출력되고 기록되거나 통신 인터페이스(305)를 거쳐 통신회로(504)에 전송된다.
상기 설명한 바와 같이, 프레임 모드는 프레임으로 변경되고, 프레임에 대해서 지정된 보안에 의해서, 복호화가 정지되거나 또는 재개되고, 선행 또는 후속 프레임 및 움직임 보상은, 보안에 따라서, 복호금지 및 허가가 실행되기 전에는 실행되지 않는다. 따라서, 복호측에 특별한 구조를 요구하지 않고서도, 프레임의 화상 열화 및 복호처리의 단속을 쉽게 방지할수 있다.
본 발명은 복수의 장치(즉, 호스트 컴퓨터, 인터페이스 장치, 리더, 프린터 등) 및 하나의 장치(즉, 코덱, 디지털 카메라등)으로 구성된 장치에 적용 할 수 있다.
다음의 시스템 및 장치는 본 발명의 범위내에서 본 발명의 전술한 목적의 수행을 포함한다. 상기 실시예의 기능을 수행하기 위한 소프트웨어 프로그램은 이와 같은 장치를 실행시키는 다양한 장치에 접속된 장치 및 시스템에 있는 컴퓨터(CPU 또는 MPU)에 로드 되고, 프로그램 코드는 시스템 및 장치에 있는 컴퓨터에 의해 판독된다.
이 경우에, 소프트웨어 프로그램은 상기 설명한 실시예의 기능과 프로그램 부호 자체의 기능을 실현하고, 프로그램 부호를 컴퓨터, 예를 들면, 그러한 프로그램 부호가 기록된 기록매체에 공급하는 수단은 본 발명을 구성한다.
그러한 프로그램 부호를 공급하기 위한 기록매체는, 예를 들면, 플로피 디스크, 하드디스크, 광디스크, 자기 광학 디스크, CD-ROM,자기 테이프, 비휘발성 메모리 및 ROM등이 있다.
또한, 본 발명은 이전 실시예에서의 기능은 컴퓨터에 의해 프로그램 부호가 입력되고 실행되는 경우, 프로그램 부호의 명령에 따라서, 상기 실시 예에서 컴퓨터에서 실행되는 OS(운영체제) 및, 다른 응용 소프트웨어 프로그램 및 프로그램 코드와 상호 작용하는 컴퓨터가 기능을 실행하는 것을 특징으로 하는 경우를 포함한다.
또한 본 발명은 기록 매체로부터 출력된 프로그램 부호는 상기 설명된 실시예에서 기능을 실현시키기 위해서 컴퓨터에 삽입된 기능 확장 보드나, 컴퓨터에 연결된 기능 확장부와, 프로그램 부호명령에 일치하여, 기능 확장보드에 설치된 CPU 및 실제적인 처리의 일부 및 전부를 수행하는 기능확장부에 기록되는 것을 특징으로 하는 경우를 조합한다.
부호화된 보안 데이터와, 인정 방법 및 저작권을 위해 설정된 부호부분을 지정하는 방법의 형태는 상기 실시 예에 한정 되지 않고, 다른 형태, 다른 인정 방법 및 지정 방법을 사용할 수 있다.
다시 말하면, 실시예의 상술한 설명은 단지 설명을 위해 기술되었고 임의의 관점에서의 제한을 부여하는 것으로 해석되지는 않았다.
그러므로, 본 발명의 범위는 다음의 청구항에 의해만 결정되며, 명세서의 주제에 한정되지 않고, 청구함의 범위 내에있는 대안은 본 발명의 정신과 의도를 반영하다.

Claims (32)

  1. a)화상 데이터를 입력하는 입력수단과:
    b)상기 화상 데이터를 보호하는 보안 데이터를 생성하기 위한 생성수단과:
    c)복수의 부호화모드를 사용하여 상기 화상 데이터를 부호화 하기 위한 부호화 수단과:
    d)상기 보안 데이터에 따라서 상기 부호화 수단의 상기 부호화 모드를 제어하기 위한 제어 수단을 구비한 것을 특징으로 하는 화상처리장치.
  2. 제 1항에 있어서, 상기 복수의 부호화 모드는 적어도 프레임내 부호모드와 프레임간 부호모드인 것을 특징으로 하는 화상처리 장치.
  3. 제2항에 있어서, 상기 프레임간 부호모드는 전방향 예측 부호모드를 포함하는 것을 특징으로 하는 화상 처리장치
  4. 제3항에 있어서, 상기 프레임간 부호모드는 양방향 예상 부호모드를 포함하는 것을 특징으로 하는 화상처리 장치
  5. 제 2항에 있어서, 상기 보안 데이터 생성 수단에 의해 재생 금지가 재생 허가로 변경할 때, 상기 제어수단은 재생이 허가된 직후에 화상 데이터에 대해 프레임내 부호화를 실행하기 위해 부호화 모드를 제어하는 것을 특징으로 하는 화상 처리장치.
  6. 제 4항에 있어서, 상기 보안 데이터 생성수단에 의해 재생허가가 재생금지로 변경될때, 상기 제어 수단은 재생이 금지되기 직전에 화상 데이터에 대해 전방향 예상 부호화를 적어도 실행하기 위해 부호화 모드를 제어하는 것을 특징으로 하는 화상처리 장치.
  7. 제2항에 있어서, 상기 보안 데이터 생성 수단에 의해 재생허가가 재생금지로 변경될 때에, 상기 제어 수단은 재생이 금지되기 직전에 화상데이터에 대해 프레임내 부호화를 실행하기 위해 상기 부호화 수단을 제어하는 것을 특징으로 하는 화상 처리장치.
  8. 제 1항에 있어서, 상기 화상 데이터는 동화상 데이터인 것을 특징으로 하는 화상처리장치.
  9. 제8항에 있어서, 상기 부호화 수단은 MPEG-1에 일치하는 부호화 처리를 실행하는 것을 특징으로 하는 화상 처리장치.
  10. 제8항에 있어서, 상기 부호화 수단은 MPEG-2에 일치하는 부호화 처리를 실행하는 것을 특징으로 하는 화상처리장치.
  11. 제8항에 있어서, 상기 부호화 수단은 H.261에 일치하는 부호화 처리를 실행하는 것을 특징으로 하는 화상처리장치.
  12. 제8항에 있어서, 상기 부호화 수단을 H.263에 일치하는 부호화 처리를 실행하는 것을 특징으로 하는 화상처리장치.
  13. 제 1항에 있어서, 상기 부호화 수단은 한 화면을 N객체(N은 자연수)로 분할하고 각 객체를 부호화 하는 것을 특징으로 하는 화상처리장치.
  14. 제13항에 있어서, 상기 제어수단은 각 객체에 대한 부호화 처리를 제어하는 것을 특징으로 하는 화상처리장치.
  15. 제 13항에 있어서, 상기 보안 데이터는 상기 객체를 식별하는 부호를 적어도 포함하는 것을 특징으로 하는 화상처리장치.
  16. 제 1항에 있어서, 상기 보안 데이터는 저작권을 인정하는 부호를 적어도 포함하는 것을 특징으로 하는 화상처리장치.
  17. 제1항에 있어서, 상기 입력 수단에 의해 입력된 화상 데이터는 복수의 부호화 모드를 사용하여 부호화된 화상데이터인 것을 특징으로 하는 화상처리장치.
  18. 제17항에 있어서, 상기 입력수단에 의해 입력된 화상 데이터에 의해 얻은 데이터와 프레임간 부호화에 의해 얻은 데이터를 적어도 포함하는 것을 특징으로 하는 화상처리장치.
  19. 제18항에 있어서, 상기 프레임간 부호화는 선방향 예상 부호화 (forward predictive coding)인 것을 특징으로 하는 화상처리장치.
  20. 제 19항에 있어서, 상기 프레임간 부호화는 양방향 예상 부호화인 것을 특징으로 하는 화상처리장치.
  21. 제 17항에 있어서, 상기 부호화 수단은 상기 입력 수단에 의해 입력된 화상 데이터를 재 부호화하는 것을 특징으로 하는 화상처리장치.
  22. 제17항에 있어서, 상기 제어 수단은 상기 입력 수단에 의해 입력된 화상 데이터의 부호화 모드를 사용하여 재부호화 처리가 상기 부호화 수단에 의해 실행되는지의 여부를 판정하는 것을 특징으로 하는 화상처리장치.
  23. 제22항에 있어서, 상기 보안 데이터 생성 수단에 의해 재생금지가 재생허가로 변경될 때, 상기 제어수단은 재생이 허가된 직후에 상기 부호화 부단이 화상 데이터에 대해 프레임내 부호화를 실행하도록 하는 것을 특징으로 하는 화상처리장치.
  24. 제22항에 있어서, 상기 보안 데이터 생성 수단에 의해 재생허가가 재생 금지로 변경될 때, 상기 제어 수단은 재생이 금지되기 직전에 상기 부호화 수단이 화상 데이터에 대해 선방향 예상 부호화를 적어도 실행하도록 하는 것을 특징으로 하는 화상처리장치.
  25. 제22항에 있어서, 상기 보안 데이터 생성수단에 의해 재생허가가 재생 금지로 변경될 때, 상기 제어 수단은 재생이 금지되기 직전에 상기 부호화 수단이 화상 데이터에 대해 프레임내 부호화를 적어도 실행하는 것을 특징으로 하는 화상처리장치.
  26. 제 17항에 있어서, 상기 입력 수단에 의해 입력된 상기 화상 데이터는 한 화면을 N객체로(N자연수)로 분할하고 각 객체를 부호화하여 얻은 데이터인 것을 특징으로 하는 화상처리장치.
  27. 제17항에 있어서, 상기 입력 수단에 의해 입력된 상기 화상 데이터는 H.261에 일치하는 부호화데이터인 것을 특징으로 하는 화상처리장치.
  28. 제 17항에 있어서, 상기 입력 수단에 의해 입력된 상기 화상 데이터는 H.263에 일치하는 부호화 데이터인 것을 특징으로 하는 화상처리장치.
  29. 제 17항에 있어서, 상기 입력 수단에 의해 입력된 화상 데이터는 MPEG-1 에 일치하는 부호화데이터인 것을 특징으로 하는 화상처리장치.
  30. 제 17항에 있어서, 상기 입력 수단에 의해 입력된 화상데이터는 MPEG-2 에 일치하는 부호화된 데이터인 것을 특징으로 하는 화상처리장치.
  31. 화상데이터를 입력하는 스텝과;
    상기 화상 데이터를 보호하는 보안 데이터를 생성하는 스텝과;
    보안 데이터에 따라서 부호화 모드를 제어하는 스텝과;
    제어되는 부호화 모드를 사용하여 상기 화상 데이터를 부호화 하는 스텝을 구비하는 것을 특징으로 하는 화상처리방법.
  32. 화상 처리 프로그램이 기록되는 컴퓨터 판독 가능한 기록 매체로서, 상기 화상 처리 프로그램은,
    화상 데이터를 입력하는 입력스텝에 대한 부호와;
    상기 화상 데이터를 보호하기 위한 보안 데이터를 생성하는 생성스텝에 대한 부호와;
    상기 부호 데이터에 따라서 부호화 모드를 제어하는 보호화 스텝에 대한 부호와;
    제어되는 부호화 모드를 사용하여 상기 화상 데이터를 부호화하는 부호화 스텝에 대한 코드를 구비하는 것을 특징으로 하는 컴퓨터판독가능기록매체.
KR10-1999-0059126A 1998-12-18 1999-12-18 화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는기록매체 KR100386104B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP1998-360772 1998-12-18
JP36077298 1998-12-18
JP10929399A JP3976942B2 (ja) 1998-12-18 1999-04-16 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP1999-109293 1999-04-16

Publications (2)

Publication Number Publication Date
KR20000048237A true KR20000048237A (ko) 2000-07-25
KR100386104B1 KR100386104B1 (ko) 2003-06-02

Family

ID=26449073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0059126A KR100386104B1 (ko) 1998-12-18 1999-12-18 화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는기록매체

Country Status (7)

Country Link
US (1) US6965643B1 (ko)
EP (1) EP1014724B1 (ko)
JP (1) JP3976942B2 (ko)
KR (1) KR100386104B1 (ko)
CN (1) CN1231062C (ko)
AT (1) ATE387809T1 (ko)
DE (1) DE69938220T2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177857B2 (en) 2000-11-24 2007-02-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for creating distribution content
US20020077984A1 (en) * 2000-12-19 2002-06-20 Mark Ireton Enabling protected digital media to be shared between playback devices
WO2003021964A1 (en) 2001-08-31 2003-03-13 Matsushita Electric Industrial Co., Ltd. Image encoding method, image decoding method, and apparatus thereof
GB0130041D0 (en) 2001-12-14 2002-02-06 Ibm Preparing multimedia content in a distributed data processing system
FR2835386B1 (fr) * 2002-01-31 2004-05-28 Daniel Lecomte Dispositif pour la diffusion securisee, l'acces conditionnel, la visualisation controlee, la copie privee et la gestion des droits de contenus audiovisuels de type mpeg-4
US7336720B2 (en) * 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
JP2006035631A (ja) * 2004-07-27 2006-02-09 Konica Minolta Business Technologies Inc 画像形成装置および画像形成システム
US8073049B2 (en) * 2007-02-01 2011-12-06 Google Inc. Method of coding a video signal
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8526488B2 (en) 2010-02-09 2013-09-03 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
US8693551B2 (en) 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US11265599B2 (en) * 2019-06-11 2022-03-01 Nvidia Corporation Re-encoding predicted picture frames in live video stream applications

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353062A (en) 1991-04-25 1994-10-04 Canon Kabushiki Kaisha Method and apparatus for decoding moving images encoded by inter-frame prediction and displaying it
KR950013093A (ko) 1993-10-19 1995-05-17 모리시타 요이찌 스크램블전송장치 및 난수발생장치
JPH0888618A (ja) 1994-07-21 1996-04-02 Matsushita Electric Ind Co Ltd 誤り訂正装置
US5761223A (en) 1994-07-21 1998-06-02 Matsushita Electric Industrial Co., Ltd. Error correcting device
JPH08149462A (ja) 1994-11-24 1996-06-07 Nec Corp 画像パケット符号化装置および復号化装置
JP2842796B2 (ja) 1994-12-06 1999-01-06 富士通株式会社 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US5926209A (en) * 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
KR0166923B1 (ko) 1995-09-18 1999-03-20 구자홍 디지탈 방송 시스템의 불법 시청 및 복사 방지방법 및 장치
JPH09116596A (ja) 1995-10-24 1997-05-02 Matsushita Electric Ind Co Ltd 移動通信用動画像データ伝送装置
EP0794487B1 (en) 1996-03-08 2004-06-16 Matsushita Electric Industrial Co., Ltd. Image information processing system and microprocessor for the protected reproduction of AV data
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
US5805700A (en) 1996-10-15 1998-09-08 Intel Corporation Policy based selective encryption of compressed video data
JP3817312B2 (ja) * 1996-11-29 2006-09-06 キヤノン株式会社 制御方法及び装置と撮像システム及び表示操作装置とのその方法
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
EP1343318A3 (en) 1998-03-16 2005-04-13 Intertrust Technologies Corp. Methods and apparatus for continuous control and protection of media content
US6385772B1 (en) * 1998-04-30 2002-05-07 Texas Instruments Incorporated Monitoring system having wireless remote viewing and control
US6535919B1 (en) 1998-06-29 2003-03-18 Canon Kabushiki Kaisha Verification of image data

Also Published As

Publication number Publication date
EP1014724A2 (en) 2000-06-28
JP3976942B2 (ja) 2007-09-19
CN1231062C (zh) 2005-12-07
DE69938220T2 (de) 2009-02-19
ATE387809T1 (de) 2008-03-15
DE69938220D1 (de) 2008-04-10
US6965643B1 (en) 2005-11-15
CN1264251A (zh) 2000-08-23
JP2000236553A (ja) 2000-08-29
EP1014724B1 (en) 2008-02-27
KR100386104B1 (ko) 2003-06-02
EP1014724A3 (en) 2001-10-10

Similar Documents

Publication Publication Date Title
KR100416032B1 (ko) 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체
JP2842796B2 (ja) 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
JP4083302B2 (ja) 動画像スクランブル／デスクランブル装置
JP3923898B2 (ja) 画像符号化方法及び装置
KR100386104B1 (ko) 화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는기록매체
US8218949B2 (en) Video information recording device, video information recording method, and recording medium containing the video information recording program
JPH09121358A (ja) 画像符号化及び復号化装置と方法
JP2004007753A (ja) 画像復号化方法及び装置
JP3976932B2 (ja) データ処理方法及び装置並びに記憶媒体
US6859877B2 (en) Image processing apparatus and method, and computer readable memory medium storing program for executing image processing
JP2003319340A (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
JP4898064B2 (ja) ビデオ画像ストリームを記録する方法及びデコードする方法
JP4010617B2 (ja) 画像復号化装置及び画像復号化方法
JPH08251582A (ja) 符号化データ編集装置
JP4217316B2 (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JPH08140047A (ja) 画像データ記録装置
JP4018305B2 (ja) 画像処理方法及びその装置と記憶媒体
JP2005051818A (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP2004282687A (ja) 符号化装置、復号化装置、通信システム、符号化方法および復号化方法
JP2914368B1 (ja) 時報に合わせた動画像信号符号化方法及び装置
JP2000197062A (ja) 暗号化機能付き画像符号化装置と暗号解読機能付き画像復号化装置
JP2000312359A (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP2009296327A (ja) スクランブル処理装置、デスクランブル処理装置、画像符号化装置、画像復号装置、スクランブル処理、デスクランブル処理の方法およびプログラム
JP2007151163A (ja) 画像復号化方法及び装置
JP2002084538A (ja) データ圧縮符号化装置およびデータ圧縮符号化方法およびその方法を記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130425

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee