본 발명의 제 1 관점에 따른 화상 신호 데이터 구조는, 화상 신호를 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호의 데이터 구조에 있어서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 것이다.
본 발명의 제 2 관점에서는, 제 1 관점에 따른 1에 기재된 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 한 것이다.
본 발명의 제 3 관점에서는, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 고정인 것을 나타내는 표시 주기 고정 식별자를 포함함과 동시에, 상기 표시 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하는 것이다.
본 발명의 제 4 관점에서는, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인 것을 나타내는 표시 주기 가변 식별자를 포함함과 동시에, 상기 표시 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터를 포함하는 것이다.
본 발명의 제 5 관점에서는, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 한 것이다.
본 발명의 제 6 관점에서는, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 고정인 것을 나타내는 복호 주기 고정 식별자를 포함함과 동시에, 상기 복호 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하는 것이다.
본 발명의 제 7 관점에서는, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 가변인 것을 나타내는 복호 주기 가변 식별자를 포함함과 동시에, 상기 복호 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터를 포함하는 것이다.
본 발명의 제 8 관점에 따른 화상 부호화 방법은, 소정의 화상에 대응하는 화상 신호를 부호화하여, 상기 부호화에 의해 얻어지는 화상 부호화 데이터와 함께, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 출력하는 화상 부호화 방법에 있어서, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 상기 재생 주기 식별자와 함께, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 출력하고, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 화상 신호가 입력되었을 때, 상기 재생 주기 식별자와 함께, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 출력하는 것이다.
본 발명의 제 9 관점에서는, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터로 한 것이다.
본 발명의 제 10 관점에서는, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터로 한 것이다.
본 발명의 제 11 관점에 따른 화상 복호화 방법은, 화상의 각 프레임에 대응하는 화상 부호화 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 화상 부호화 신호를 복호화하는 화상 복호화 방법에 있어서, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하고, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하는 것이다.
본 발명의 제 12 관점에서는, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 화상 표시가 실행되는 표시 타이밍을 나타내는 표시 타이밍 데이터로 한 것이다.
본 발명의 제 13 관점에서는, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을, 복호화 처리의 대상으로 되는 대상 프레임을 포함하는 복수 프레임의 표시 타이밍 데이터에 근거하여 설정하는 것이다.
본 발명의 제 14 관점에서는, 제 13 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 복호 타이밍을, 상기 대상 프레임의 표시 타이밍 데이터 및 그 다음에 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 상기 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정하는 것이다.
본 발명의 제 15 관점에서는, 제 14 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 표시 타이밍이 상기 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 상기 대상 프레임에 대한 복호화 처리에 소요되는 시간 이상의 크기로 설정하고, 상기 다음 프레임의 표시 타이밍이 상기 대상 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 소요되는 시간과, 다음 프레임에 대한 복호화 처리에 소요되는 시간의 합계 시간 이상의 크기로 설정하는 것이다.
본 발명의 제 16 관점에서는, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을 나타내는 복호 타이밍 데이터로 한 것이다.
본 발명의 제 17 관점에서는, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자에 부가하여, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 것이다.
본 발명의 제 18 관점에서는, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 한 것이다.
본 발명의 제 19 관점에서는, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 한 것이다.
본 발명의 제 20 관점에 관한 화상 부호화 방법은, 소정의 화상에 대응하는 화상 신호를 부호화하고, 상기 부호화에 의해 얻어지는 화상 부호화 데이터와 함께, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 출력하는 화상 부호화 방법에 있어서, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 상기 재생 주기 식별자와 함께, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 출력하는 것이다.
본 발명의 제 21 관점에서는, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 한 것이다.
본 발명의 제 22 관점에서는, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 한 것이다.
본 발명의 제 23 관점에 따른 화상 복호화 방법은, 화상의 각 프레임에 대응하는 화상 부호화 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 화상 부호화 신호를 복호화하는 화상 복호화 방법에 있어서, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 미소 단위 시간의 크기를 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 승수 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하는 것이다.
본 발명의 제 24 관점에서는, 제 23 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 한 것이다.
본 발명의 제 25 관점에서는, 제 23 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 한 것이다.
본 발명의 제 26 관점에 따른 화상 부호화 장치는, 소정의 화상에 대응하는 화상 신호를 부호화하는 화상 부호화 장치에 있어서, 입력되는 화상 신호를 부호화하여 화상 부호화 데이터를 출력하는 부호화기와, 상기 화상 신호에 근거하여, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정해서, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단과, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터를 생성하는 제 1 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 생성하는 제 2 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 생성하는 제 3 데이터 생성기와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 데이터를 도통시키는 도통 상태와 상기 재생 주기 데이터를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 프레임 위치 데이터와 상기 재생 타이밍 데이터 중 한쪽을 선택하는 선택 스위치와, 상기 부호화기, 주기 판정 수단 및 각 스위치의 출력을 소정의 순서로 다중화하는 다중화기를 포함하고, 상기 다중화에 의해 얻어진 비트 스트림을 화상 부호화 신호로서 출력하도록 구성한 것이다.
본 발명의 제 27 관점에 따른 화상 복호화 장치는, 제 26 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 재생 주기 데이터, 프레임 위치 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단과, 상기 화상 부호화 데이터를 각 프레임마다 복호화하여 화상 복호화 데이터를 생성하는 복호화기와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 데이터를 도통시키는 도통 상태와 상기 재생 주기 데이터를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 프레임 위치 데이터와 재생 타이밍 데이터 중 한쪽을 선택하여 출력하는 선택 스위치와, 상기 화상 복호화 데이터에 근거하여, 상기 각 프레임에 대응하는 화상 표시 처리를 실행하는 표시 장치를 포함하고, 상기 복호화기에 의한 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 재생 주기 데이터 및 프레임 위치 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성한 것이다.
본 발명의 제 28 관점에 따른 화상 부호화 장치는, 소정의 화상에 대응하는 화상 신호를 부호화하는 화상 부호화 장치에 있어서, 입력되는 화상 신호를 부호화하여 화상 부호화 데이터를 출력하는 부호화기와, 상기 화상 신호에 근거하여, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정하여, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단과, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터를 생성하는 제 1 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 생성하는 제 2 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 생성하는 제 3 데이터 생성기와, 상기 재생 주기 식별자에 근거하여, 상기 미소 단위 시간 데이터를 도통하는 도통 상태와 상기 미소 단위 시간 데이터를 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 승수 데이터를 도통하는 도통 상태와 상기 재생 주기 승수 데이터를 차단하는 차단 상태 사이에서 전환되는 개폐하는 제 2 개폐 스위치와, 상기 부호화기, 주기 판정 수단, 제 3 데이터 생성기 및 각 스위치의 출력을 소정의 순서로 다중화하는 다중화기를 포함하고, 상기 다중화에 의해 얻어진 비트 스트림을 화상 부호화 신호로서 출력하도록 구성한 것이다.
본 발명의 제 29 관점에 따른 화상 복호화 장치는, 제 28 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 미소 단위 시간 데이터, 재생 주기 승수 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단과, 상기 화상 부호화 데이터를 상기 각 프레임마다 복호화하여 화상 복호화 데이터를 생성하는 복호화기와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 승수 데이터를 도통시키는 도통 상태와 상기 이 데이터를 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 재생 타이밍 데이터를 도통시키는 도통 상태와 상기 데이터를 차단하는 차단 상태 사이에서 전환되는 제 2 개폐 스위치와, 상기 화상 복호화 데이터에 근거하여, 각 프레임에 대응하는 화상 표시 처리를 실시하는 표시 장치를 포함하고, 상기 복호화기에 의한 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 미소 단위 시간 데이터 및 재생 주기 승수 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성한 것이다.
본 발명의 제 30 관점에 따른 데이터 기억 매체는, 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 구성으로 한 것이다.
본 발명의 제 31 관점에 따른 데이터 기억 매체는, 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 구성으로 한 것이다.
본 발명의 제 32 관점에 따른 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 8 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를 컴퓨터로 실행시키기 위한 부호화 처리 프로그램으로 한 것이다.
본 발명의 제 33 관점에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 11 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를 컴퓨터로 실행시키기 위한 복호화 처리 프로그램으로 한 것이다.
본 발명의 제 34 관점에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 20 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를, 컴퓨터로 실행시키기 위한 부호화 처리 프로그램으로 한 것이다.
본 발명의 제 35 관점에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 23 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를 컴퓨터로 실행시키기 위한 복호화 처리 프로그램으로 한 것이다.
발명의 실시예
이하, 본 발명의 실시예에 대하여 설명한다.
본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.
(실시예 1)
도 1의 (a)는 본 발명의 실시예 1에 의한, 프레임 표시 주기가 고정(일정)인 화상 부호화 신호(100a)의 데이터 구조를 나타내며, 도 1의 (b)는 본 발명의 실시예 1에 의한, 프레임 표시 주기가 가변인 화상 부호화 신호(100b)의 데이터 구조를 나타내고 있다.
상기 화상 부호화 신호(100a)(도 1의 (a) 참조)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상)에 대응하는, 프레임 표시 주기가 고정인 화상 신호를 부호화하여 얻어지는 것이며, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sa0, Sa1, Sa2, …, San을 전송 순서로 배열한 구조로 되어 있다. 여기서, n은 1개의 화상을 구성하는 프레임 계열에 있어서의, 각 프레임의 데이터 전송 순서에 대응하는 번호이다.
이 화상 부호화 신호(100a)에서는, 헤더 H 내에 프레임 표시 주기가 고정인 것을 나타내는 표시 주기 식별자(표시 주기 고정 식별자) Df 및 프레임 표시 주기를 나타내는 표시 주기 데이터 Dp가 삽입되며, 각 프레임에 대응하는 부호열 Sa0, Sa1, Sa2, …, San의 선두에는, 그 프레임이 표시되는 순서 n'에 상당하는 프레임 번호 B(n)을 나타내는 프레임 번호 데이터 B0, B1, B2, …, Bn이 삽입되어 있다. 또한, 상기 각 프레임에 대응하는 부호열 Sa0, Sa1, Sa2, …, San에는, 각 프레임의 화상 신호를 부호화하여 얻어지는 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 포함되어 있다.
도 2는 각 프레임에 대응하는 화상 표시 타이밍의 간격이 고정인 화상 표시 방법의 일례를 설명하기 위한 도면으로, 도면중, 도 16과 동일 부호는 동일의 것을 나타내고 있고, T는 각 프레임의 표시 타이밍의 간격이 고정인 화상의 프레임 표시 주기이다.
이 화상 부호화 신호(100a)로는, 도 2에 도시하는 바와 같이, 전송 순서로 나열하는 프레임 F(n)(n=0, 1, 2, …)의 표시 시각 h(n)은, 프레임 F(0)의 표시 시각 h(0)(=h'(0))을 h(0)=0로 하면, h(n)=B(n)×T로 나타내어진다. 구체적으로는, 프레임 F(2)의 표시 시각 h(2)는 h(2)=B(2)×T, 프레임 F(3)의 표시 시각 h(3)은 h(3)=B(3)×T, 프레임 F(1)의 표시 시각 h(1)은 h(1)=B(1)×T, 프레임 F(4)의 표시 시각 h(4)는 h(4)=B(4)×T로 된다.
따라서, 이 화상 부호화 신호(100a)의 재생 처리로는, 각 프레임에 대응하는 화상 부호화 데이터의 복호화에 의해 얻어지는 화상 복호화 데이터가 표시 시각 h(n)에 순차적으로 표시되게 된다. 또한 여기서, 표시의 순서를 나타내는 번호 n'을 나타내는 프레임 번호 B(n)은, 종래 기술에서 설명한 바와 같이 상기 수학식 (1)∼(3)에 의해, 전송의 순서를 나타내는 번호 n의 함수로서 결정된다.
한편, 상기 화상 부호화 신호(100b)(도 1의 (b) 참조)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상)에 대응하는, 프레임 표시 주기가 가변인 화상 신호를 부호화하여 얻어지는 것이며, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sb0, Sb1, Sb2, …, Sbn을 전송 순서로 배열한 구조로 되어 있다.
이 화상 부호화 신호(100b)에서는, 헤더 H 내에 프레임 표시 주기가 가변인 것을 나타내는 표시 주기 식별자(표시 주기 가변 식별자) Df가 삽입되며, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sb0, Sb1, Sb2, …, Sbn의 선두에는, 그 프레임이 표시되는 표시 시각 h(0), h(1), h(2), …, h(n)을 나타내는 표시 시각 데이터(표시 타이밍 데이터) Dt0, Dt1, Dt2, …, Dtn이 삽입되어 있다. 또한, 상기 화상 부호화 신호(100b)에 있어서의 각 프레임에 대응하는 부호열 Sb0, Sb1, Sb2, …, Sbn에는, 각 프레임의 화상 신호를 부호화하여 얻어지는 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 포함되어 있다.
이 화상 부호화 신호(100b)의 재생 처리에 의한 화상 표시는, 도 14에 도시한 종래의 데이터 구조를 가지는 화상 부호화 신호(200)의 화상 표시와 마찬가지로 실행된다.
다음에 작용 효과에 대하여 설명한다.
본 발명의 실시예 1에서는, 프레임 표시 주기가 고정인 화상 부호화 신호(100a)는, 도 1의 (a)에 도시하는 바와 같이, 그 화상 데이터 전체의 헤더 부분에, 프레임 표시 주기가 고정인 것을 나타내는 표시 주기 고정 식별자 Df와, 프레임 표시 주기를 나타내는 표시 주기 데이터 Dp를 삽입함과 동시에, 프레임마다 각 프레임 번호 B(0), B(1), B(2), …, B(n)을 나타내는 프레임 번호 데이터 B0, B1, B2, …, Bn을 삽입한 데이터 구조로 되어 있다.
이와 같은 데이터 구조의 화상 부호화 신호(100a)에서는, 상기 표시 주기 데이터 Dp로부터 프레임 표시 주기 T를 알 수 있어, 프레임 번호 데이터 Bn으로부터, 1개의 화상에 있어서의 각 프레임이 표시 순서로 세어져 몇번째의 프레임에 상당하는가를 알기 때문에, 이들 데이터 Dp 및 Bn에 의해 각 프레임 F(n)의 표시 시각 h(n)을 일의(一意)에 결정할 수 있다.
한편, 프레임 표시 주기가 가변인 화상 부호화 신호(100b)는, 도 1의 (b)에 도시하는 바와 같이, 그 화상 데이터 전체의 헤더 부분에, 표시 간격이 가변인 것을 나타내는 표시 주기 가변 식별자 Df를 삽입하며, 또한 종래의 화상 부호화 신호(200)의 데이터 구조와 마찬가지로, 프레임마다 각 프레임의 표시 시각 h(0), h(1), h(2), …, h(n)을 나타내는 표시 시각 데이터 Dt0, Dt1, Dt2, …, Dtn을 삽입한 데이터 구조로 되어 있다.
이 때문에, 상기 화상 부호화 신호(100b)를 재생할 때에는, 각 프레임 F(0)∼F(n)에 대응하는 화상 표시를, 해당 표시 시각 데이터 Dt0∼Dtn이 나타내는 표시 시각 h(0)∼h(n)에 실행할 수 있다.
이상과 같이, 화상 부호화 신호의 헤더 부분에 프레임 표시 주기가 고정인지 가변인지를 나타내는 표시 주기 식별자 Df를 삽입함으로써, 프레임 표시 주기가 가변인 화상에도 대응할 수 있다. 또한, 프레임 표시 주기가 고정인 화상에 대해서는, 정보량이 많은 각 프레임의 표시 시각 데이터 Dt0∼Dtn을 참조하지 않고서, 표시 주기 데이터 Dp와 정보량이 적은 프레임 번호 데이터 Bn에 근거하여 각 프레임의 화상 표시를 실행할 수 있어, 복호화측에 있어서의 화상 처리 회로를 간단한 회로 구성으로 할 수 있다.
이하, 상기한 바와 같은 화상 부호화 신호(100a, 100b)를 생성하는 화상 신호의 부호화 처리 및 그 복호화 처리에 대하여 설명한다.
도 3은 상기 부호화 처리의 흐름을 도시하는 도면이다.
우선, 상기 부호화 처리로는, 입력된 소정의 화상에 대응하는 화상 신호의 프레임 표시 주기가 고정인지 여부의 판정이 행해진다(단계 S11). 이 판정의 결과, 프레임 표시 주기가 고정인 경우에는, 상기 프레임 표시 주기가 고정인 것을 나타내는 표시 주기 고정 식별자 Df가, 상기 화상 신호에 대응하는 비트 스트림의 헤더 H에 부가되고(단계 S11a), 또한 각 프레임의 전송 순서를 나타내는 번호 n이 카운터값으로서 이용되며, 이 카운터값 n이 n=0으로 설정된다(단계 S12a). 계속해서, 상기 고정의 프레임 표시 주기 T를 나타내는 표시 주기 데이터 Dp가, 상기 화상 신호에 대응하는 비트 스트림의 헤더 H에 부가된다(단계 S13a).
다음에, 상기 소정의 화상의, 전송 순서에 있어서의 최초의 프레임 F(0)에 대응하는 부호열 Sa0으로 하여, 대응하는 프레임 번호 데이터 Bn(=B0) 및 화상 부호화 데이터 Cgn(=Cg0)이 순차적으로 상기 헤더 H에 부가된다(단계 S14a, S15a). 그 후, 상기 화상 신호의 부호화 처리에 있어서의 처리 대상 프레임이 상기 소정의 화상의, 전송 순서에 있어서의 최종의 프레임인지 여부의 판정이 행해져(단계 S16a), 해당 처리 대상 프레임이 최종 프레임이 아니면, 상기 카운터값 n이 1개 증분되며(단계 S17a), 계속되는 프레임 F(1)에 대하여, 상기 단계 S14a∼S17a에 있어서의 처리가 행해진다.
상기 단계 S14a∼S17a에 있어서의 처리는, 단계 S16a에서 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다.
한편, 상기 단계 S11에서의 판정의 결과, 프레임 표시 주기가 가변인 경우에는, 상기 프레임 표시 주기가 가변인 것을 나타내는 표시 주기 가변 식별자 Df가, 상기 화상 신호에 대응하는 비트 스트림의 헤더 H에 부가되며(단계 S11b), 또한 각 프레임의 전송 순서를 나타내는 번호 n이 카운터값 n으로서 이용되어, 이 카운터값 n이 n=0에 설정된다(단계 S12b). 다음에, 상기 소정의 화상의, 전송 순서에 있어서의 최초의 프레임 F(0)에 대응하는 부호열로서, 대응하는 표시 시각 데이터 Dtn(=Dt0) 및 화상 부호화 데이터 Cgn(=Cg0)이 순차적으로 상기 헤더에 부가된다(단계 S13b, S14b). 그 후, 상기 화상 신호의 부호화 처리에 있어서의 처리 대상 프레임이 상기 소정의 화상에 있어서의, 최종의 프레임인지 여부의 판정이 행해져(단계 S15b), 해당 처리 대상 프레임이 최종 프레임이 아니면, 상기 카운터값 n이 1개 증분되며(단계 S16b), 계속되는 프레임 F(1)에 대하여, 상기 단계 S13b∼S16b에 있어서의 처리가 행해진다.
상기 단계 S13b∼S16b에 있어서의 처리는, 단계 S15b에서 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다.
도 4의 (a)는 상기 실시예 1에 있어서의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1000)의 구성을 나타내는 블럭도이다.
이 화상 부호화 장치(1000)는, 입력되는 화상 신호 Sg를 부호화하여 화상 부호화 데이터 Cgn을 생성하는 부호화기(1110)와, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임 표시 주기가 일정인지의 여부(즉, 표시 주기가 고정인지 가변인지)를 판정하여, 표시 주기가 일정인지의 여부를 나타내는 표시 주기 식별자 Df를 출력하는 판정기(1131)와, 상기 입력된 화상 신호 Sg에 근거하여, 일정의 프레임 표시 주기 T를 나타내는 표시 주기 데이터 Dp를 생성하는 표시 주기 데이터 생성기(제 1 데이터 생성기)(1132)를 가지고 있다.
또한, 상기 화상 부호화 장치(1000)는, 상기 입력된 화상 신호 Sg에 근거하여, 전송 순서에 있어서의 각 프레임의 순서(프레임 번호 B(n))를 나타내는 프레임 번호 데이터 Bn을 생성하는 번호 데이터 생성기(제 2 데이터 생성기)(1133)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn을 생성하는 표시 시각 데이터 생성기(제 3 데이터 생성기)(1134)를 가지고 있다.
또한, 상기 화상 부호화 장치(1000)는, 상기 판정기(1131)로부터의 표시 주기 식별자 Df에 근거하여, 상기 데이터 생성기(1132)로부터의 표시 주기 데이터 Dp를 도통시키는 도통 상태와 해당 표시 주기 데이터 Dp를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치(1141)와, 상기 판정기(1131)로부터의 표시 주기 식별자 Df에 근거하여, 상기 데이터 생성기(1133)로부터의 프레임 번호 데이터 Bn과 상기 데이터 생성기(1134)로부터의 표시 시각 데이터 Dtn의 한쪽을 선택하여 출력하는 선택 스위치(1142)를 가지고 있다.
그리고, 상기 화상 부호화 장치(1000)는, 상기 판정기(1131)로부터의 표시 주기 식별자 Df, 상기 부호화기(1110)로부터의 부호화 데이터 Cgn, 상기 개폐 스위치(1141)로부터의 표시 주기 데이터 Dp 및 상기 선택 스위치(1142)의 출력을 다중화하여 다중 비트 스트림 M1을 생성하는 다중화기(MUX)(1120)를 가지고 있고, 해당다중 비트 스트림 M1을, 프레임 표시 주기가 고정인 화상 부호화 신호(100a) 혹은 프레임 표시 주기가 가변인 화상 부호화 신호(100b)로 하여 출력하는 구성으로 되어 있다.
이하, 간단히 상기 화상 부호화 장치(1000)의 동작에 대하여 설명한다.
우선, 상기 화상 부호화 장치(1000)에 소정의 화상에 대응하는 화상 신호 Sg가 입력되면, 상기 판정기(1131)에서는, 해당 화상 신호 Sg의 프레임 표시 주기가 가변인지 여부의 판정이 실행되며, 판정 결과를 나타내는 표시 주기 식별자 Df가 출력된다. 또한, 이 때, 상기 화상 신호 Sg에 근거하여, 제 1∼제 3 데이터 생성기(1132∼1134)에서는, 각각 상기 표시 주기 데이터 Dp, 프레임 번호 데이터 Bn 및 표시 시각 데이터 Dtn이 생성되고, 상기 부호화기(1110)에서는, 상기 화상 신호 Sg가 부호화되어 화상 부호화 데이터 Cgn으로서 출력된다.
그리고, 상기 표시 주기 식별자 Df 및 화상 부호화 데이터 Cgn은 다중화기(1120)에 출력된다. 이 때, 상기 표시 주기 데이터 Dp는, 표시 주기 식별자 Df에 근거하여 개폐되는 스위치(1141)를 거쳐서 다중화기(1120)에 출력되며, 프레임 번호 데이터 Bn 및 표시 시각 데이터 Dtn은, 표시 주기 식별자 Df에 근거하여 이들 데이터의 한쪽을 선택하는 선택 스위치(1142)를 거쳐서 상기 다중화기(1120)에 출력된다.
즉, 화상 신호 Sg로서, 상기 각 프레임 F(n)에 대응하는 화상 표시의 주기가 고정인 화상 신호가 입력될 때, 상기 표시 주기 고정 식별자 Df와 함께, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터 Dp와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 번호 데이터 Bn이 다중화기(1120)에 출력된다. 그렇게 하면, 해당 다중화기(1120)에서는, 상기 화상 부호화 데이터 Cgn, 표시 주기 고정 식별자 Df, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn이 다중화되어 화상 부호화 신호(100a)로서 출력된다.
한편, 상기 화상 신호 Sg로서, 상기 각 프레임 F(n)에 대응하는 화상 표시의 주기가 가변인 화상 신호가 입력되었을 때, 상기 표시 주기 가변 식별자 Df와 함께, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각의 소요의 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍(표시 시각) h(n)을 나타내는 표시 시각 데이터 Dtn이 상기 다중화기(1120)에 출력된다. 그렇게 하면, 해당 다중화기(1120)에서는, 상기 화상 부호화 데이터 Cgn, 표시 주기 가변 식별자 Df 및 표시 시각 데이터 Dtn이 다중화되어, 화상 부호화 신호(100b)로서 출력된다.
다음에, 도 5를 이용하여, 본 실시예의 데이터 구조를 가지는 화상 부호화 신호(100a, 100b)를 복호화하는 복호화 처리에 대하여 설명한다.
우선, 상기 복호화 처리로는, 부호화측으로부터 전송되어 오는 다중 비트 스트림 M1(화상 부호화 신호(100a 혹은 100b))에 있어서의 표시 주기 식별자 Df를 검출함으로써, 해당 화상 부호화 신호의 표시 주기가 고정인지의 여부가 판정된다(단계 S21). 이 판정의 결과, 표시 주기가 고정으로 판정되면, 전송 순서에 있어서의 각 프레임 F(n)의 순서에 상당하는 카운트값 n이 0으로 설정되며(단계 S21a), 그 후, 화상 부호화 신호의 헤더 부분 H로부터 표시 주기 T를 나타내는 표시 주기 데이터 Dp가 판독된다(단계 S22a).
다음에, 각 프레임의 헤더 부분으로부터, 프레임 번호 B(n)을 나타내는 프레임 번호 데이터 Bn이 판독되며(단계 S23a), 각 프레임의 표시 시각 h(n)이 계산식 h(n)=B(n)×T에 의해 구해진다(단계 S24a).
그리고, 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 행해져, 프레임 F(n)에 대응하는 화상 복호화 데이터가, 표시 시각 h(n)에 표시되는 화상 데이터로 된다(단계 S25a). 그 후, 처리 대상 프레임 F(n)이 상기 소정의 화상의, 전송 순서에 있어서의 최후의 프레임인지 여부가 판정되며(단계 S26a), 처리 대상 프레임이 상기 소정의 화상의, 전송 순서에 있어서의 최후의 프레임이면 복호화 처리가 종료되고, 이것이 최후의 프레임이 아니면, 상기 카운트값 n이 1개 증분되며(단계 S27a), 그 후, 상기 단계 S23a∼S26a의 처리가 상기 단계 S26a에서 처리 대상 프레임이 최후의 프레임으로 판정될 때까지 실행된다.
한편, 상기 단계 S21에서, 표시 주기가 가변으로 판정되면, 전송 순서에 있어서의 각 프레임 F(n)의 순서에 상당하는 카운트값 n이 0으로 설정되며(단계 S21b), 그 후, 각 프레임의 헤더 부분으로부터 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn이 판독되고(단계 S22b), 이 표시 시각 데이터 Dtn에 근거하여 프레임 F(n)의 표시 시각 h(n)이 결정된다(단계 S23b). 계속해서, 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 실행되어, 복호화 처리가 실시된 프레임 F(n)의 화상 복호화 데이터가, 표시 시각 h(n)에 표시되는 화상 데이터로 된다(단계 S24b).
그 후, 처리 대상 프레임 F(n)이 상기 소정의 화상의, 전송 순서에 있어서의 최후의 프레임인지의 여부가 판정되며(단계 S25b), 해당 처리 대상 프레임이 최후의 프레임이면 복호화 처리가 종료한다. 한편, 상기 처리 대상 프레임이 최후의 프레임이 아니면, 상기 카운트값 n이 1개 증분되며(단계 S26b), 그 후, 상기 단계 S22b∼단계 S26b의 처리가, 단계 S25b에서 처리 대상 프레임이 최후의 프레임으로 판정될 때까지 실행된다.
이상 설명한 바와 같이 도 5에 나타낸 처리 순서로, 도 1의 (a), 도 1의 (b)에 나타내는 데이터 구조를 가지는 화상 부호화 신호가 복호화된다.
도 6의 (a)는 상기 실시예 1에 있어서의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치의 구성을 나타내는 블럭도이다.
이 화상 복호화 장치(2000)는, 상기 화상 부호화 장치(1000)로부터 출력된 화상 부호화 신호(100a 혹은 100b)로서의 다중 비트 스트림 M1에 대하여, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2000)는, 상기 다중 비트 스트림 M1로부터, 화상 부호화 데이터 Cgn, 표시 주기 식별자 Df, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn 혹은 표시 시각 데이터 Dtn을 취출하여 출력하는 데이터 분리기(DEMUX)(2110)와, 상기 화상 부호화 데이터 Cgn을 복호화하여 화상 복호화 데이터 Rg를 출력하는 복호화기(2120)를 가지고 있다.
또한, 상기 화상 복호화 장치(2000)는, 상기 표시 주기 식별자 Df에 근거하여, 상기 표시 주기 데이터 Dp를 도통시키는 도통 상태와 해당 표시 주기 데이터 Dp를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치(2140)와, 상기 표시 주기 식별자 Df에 근거하여, 상기 프레임 번호 데이터 Bn 및 상기 표시 시각 데이터 Dtn의 한쪽을 선택하여 출력하는 선택 스위치(2150)를 가지고 있다.
또한, 상기 화상 복호화 장치(2000)는, 상기 화상 복호화 데이터 Rg를, 표시 주기 식별자 Df 및 각 스위치(2140, 2150)의 출력에 근거하여 소정의 표시 타이밍으로 표시하는 표시 장치(2130)를 가지고 있다.
이하, 간단히 상기 화상 복호화 장치(2000)의 동작에 대하여 설명한다.
우선, 상기 화상 복호화 장치(2000)에, 상기 화상 부호화 장치(1000)로부터의 다중 비트 스트림 M1이 입력되면, 데이터 분리기(2110)에 의해, 상기 다중 비트 스트림 M1로부터 표시 주기 식별자 Df 및 표시 주기 데이터 Dp가 분리되며, 또한 각 프레임마다 상기 다중 비트 스트림 M1로부터, 화상 부호화 데이터 Cgn 및 프레임 번호 데이터 Bn 혹은 표시 시간 데이터 Dtn이 분리된다.
그리고, 각 프레임의 화상 부호화 데이터 Cgn은 복호화기(2120)에 의해 복호화되어 화상 복호화 데이터 Rg로서 표시 장치(2130)에 출력된다. 또한, 상기 표시 주기 데이터 Dp는, 표시 주기 식별자 Df에 의해 개폐되는 개폐 스위치(2140)를 거쳐서 표시 장치(2130)에 출력되며, 각 프레임의 프레임 번호 데이터 Bn 혹은 표시 시간 데이터 Dtn은, 표시 주기 식별자 Df에 의해 이들 중 한쪽의 데이터를 선택하는 선택 스위치(2150)를 거쳐서 상기 표시 장치(2130)에 출력된다.
그리고 표시 장치(2130)에서는, 표시 주기가 고정인 화상 복호화 데이터 Rg에 대응하는 각 프레임의 화상은, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn에 근거하여 소정의 표시 타이밍으로 표시되는 한편, 표시 주기가 가변인 화상 복호화 데이터 Rg에 대응하는 프레임의 화상은, 표시 시각 데이터 Dtn에 근거하여 소정의 표시 타이밍으로 표시된다.
이와 같이, 본 실시예 1의 화상 신호 데이터 구조로는, 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 각 프레임에 대응하는 화상 표시 처리의 주기가 가변인지의 여부를 나타내는 표시 주기 식별자 Df를 포함하는 구성으로 하였기 때문에, 각 프레임에 대한 화상 표시의 주기가 고정인 경우에, 간단한 회로 구성에 의해, 즉 각 프레임마다 정보량(비트수)이 많은 표시 시각 데이터(표시 타이밍 데이터) Dtn을 참조하는 일 없이, 표시 주기 데이터 Dp와 정보량(비트수)이 적은 프레임 번호 데이터 Bn에 근거하여, 화상 복호화 데이터 Rg의 표시 처리를 실행할 수 있다.
또한, 표시 주기가 고정인 화상 부호화 신호(100a)에는, 화상 표시의 주기 T를 나타내는 표시 주기 데이터 Dp와, 프레임의 전후 관계를 나타내는 프레임 번호 B(n)을 나타내는 데이터(프레임 위치 데이터) Bn을 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 타이밍을, T×B(n)이라고 하는 간단한 연산에 의해 결정할 수 있다.
또한, 표시 주기가 가변인 화상 부호화 신호(100b)에는, 각 프레임에 따라 1개 또는 복수의 기준 시각의 소요의 것 h'(0)(도 2 참조)에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 행해지는 표시 시각(표시 타이밍) h(n)을 나타내는 표시 시각 데이터(표시 타이밍 데이터) Dtn을 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 주기가 가변인 경우에는, 종래의 데이터 구조와 마찬가지로, 표시 시각 데이터 Dtn에 근거하여 각 프레임 F(n)에 대응하는 화상 표시의 타이밍 h(n)을 확정할 수 있다.
또한, 본 실시예 1의 화상 부호화 장치(1000)에서는, 입력되는 화상 신호에 근거하여, 화상의 표시 주기가 가변인지의 여부를 나타내는 표시 주기 식별자 Df를 생성하는 판정기(1131)를 구비하며, 표시 주기가 고정인 화상 신호가 입력되었을 때, 상기 표시 주기 식별자 Df, 화상 표시의 주기를 나타내는 표시 주기 데이터 Dp, 프레임의 전후 관계를 나타내는 프레임 번호 데이터 Bn을 화상 부호화 데이터 Cgn과 다중화하여 출력하고, 화상 표시의 주기가 가변인 화상 신호가 입력되었을 때, 표시 주기 식별자 Df 및 각 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn을, 화상 부호화 데이터 Cgn과 다중화하여 출력하도록 하였기 때문에, 각 프레임에 대한 화상 표시의 주기가 가변 또는 고정이어도, 각 프레임의 표시 타이밍을 결정하기 위한 데이터가 화상 부호화 데이터 Cgn과 함께 출력되게 된다. 이에 따라 프레임의 표시 주기가 고정인 경우에 표시 시각을 결정하는데 필요로 하는 비트수를 삭감할 수 있고, 더구나, 프레임의 표시 주기가 가변인 화상의 표시도 종래와 같이 실행할 수 있다.
또한, 본 실시예 1의 화상 복호화 장치(2000)에서는, 상기 화상 부호화 장치(1000)로부터 전송되어 오는 다중 비트 스트림 M1에 포함되어 있는, 표시 주기 식별자 Df, 화상 표시의 주기를 나타내는 표시 주기 데이터 Dp, 프레임의 전후 관계를 나타내는 프레임 번호 데이터 Bn, 각 프레임의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn 및 화상 부호화 데이터 Cgn을 분리하는 데이터 분리기(2110)와, 상기 화상 부호화 데이터 Cgn을 복호화하여 화상 복호화 데이터 Rg를 출력하는 복호화기(2120)를 구비하고, 표시 주기가 고정인 화상 복호화 데이터 Rg를, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn에 근거하여 소정의 표시 타이밍으로 표시하는, 표시 주기가 가변인 화상 복호화 데이터 Rg를, 표시 시각 데이터 Dtn에 근거하여 소정의 표시 타이밍으로 표시하기 때문에, 각 프레임의 화상 복호화 데이터 Rg를, 그 프레임 표시 주기가 가변인지의 여부에 관계하지 않고 정확한 표시 타이밍으로 표시할 수 있다.
또한, 상기 실시예 1에서 설명한 화상 신호 데이터 구조에 있어서는, 화상 데이터(다중 비트 스트림)의 선두에 표시 주기 식별자 Df를, 프레임 데이터(각 프레임의 부호열)의 선두에, 프레임 번호 데이터 Bn, 표시 시각 데이터 Dtn 등을 삽입하고 있지만, 상기 표시 주기 식별자, 프레임 번호 데이터, 표시 시각 데이터 등은, 반드시 대응하는 헤더의 선두에 삽입될 필요는 없고, 표시 주기 식별자 및 표시 주기 데이터는 화상 데이터(화상 부호화 신호)의 헤더 부분에, 프레임 번호 데이터, 표시 시각 데이터 등은 프레임에 대응하는 데이터(부호열)의 헤더 부분에 삽입되어 있으면, 동기 신호 등의 뒤에 삽입되더라도 좋다.
또한, 상기 실시예 1에서는, 표시 주기 데이터 Dp는 표시 주기 식별자 Df의 직후에 삽입하고 있지만, 표시 주기 데이터 Dp는, 반드시, 표시 주기 식별자와 연속하도록 그 직후에 삽입할 필요는 없고, 표시 주기 데이터는, 화상 데이터의 헤더 부분에 있어서, 표시 주기 식별자의 뒤에 삽입되어 있으면 된다.
또한, 상기 실시예 1에서는, 도 2에 있어서의 표시의 순서를 나타내는 번호 n'(=B(n))으로 하여, 화상 데이터의 표시 순서에서의 선두로부터 일련 번호를 할당하고 있지만, 반드시 일련 번호를 할당할 필요는 없고, 미리 결정한 선두 번호로부터 후미 번호까지의 복수의 번호를 프레임 번호로서 주기적으로 할당하도록 하더라도 무방하다.
예를 들어, 4 비트로 프레임 번호를 나타내는 경우에는, 0으로부터 15의 번호를 주기적으로 프레임에 할당한다. 이 경우, 표시 시각에 대해서는, h'(n')=hp'(15)+(n'+1)×T로 나타내어진다. 여기서 hp'(n')은 직전의 주기에 있어서의 프레임 번호 B(n)(=n')에 대응하는 표시 시각을 나타내는 것으로 하고 있으며, 따라서, 이 경우, h'(n')은 hp'(n')의 다음 주기에 있어서의 프레임 번호 B(n)(=n')에 대응하는 표시 시각을 나타내게 된다. 또한, hp'(15)는 직전의 주기에 있어서의 최후의 프레임에 대응하는 표시 시각을 나타내고 있다.
또한, 상기 실시예 1에서는, 프레임의 특정은 프레임 번호 데이터에 의해 행해지고 있지만, 이에 한정되는 것이 아니라, 프레임의 전후 관계를 규정하는 데이터이면, 소정의 규칙에 의해 프레임의 전후 관계를 나타내는 데이터, 소정의 테이블을 참조하여 프레임의 전후 관계를 규정하는 데이터 등이어도 좋다.
또한, 상기 실시예 1에 있어서의 표시 시각 데이터는, 복수의 기준 시간에 대한 상대적인 시각을 나타내는 것으로, 예를 들어, 기준 시각은 복수의 프레임에 대하여 1개 설정하더라도 좋고, 또한 전(前) 프레임의 표시 시각을 기준 시각으로 하여도 좋다. 또한, 1개 또는 복수의 기준 시각을 미리 설정하여, 임의의 규칙 또는 신호에 근거하여, 어느 하나의 기준 시각을 참조하여 프레임의 표시 시각을 나타내는가를 결정하도록 하더라도 좋다.
또한, 상기 실시예 1에서는, 복호화측에서의 각 프레임에 대한 재생 처리의 타이밍을 결정하기 위한 부가 데이터로서, 각 프레임의 표시 타이밍을 설정하기 위한 표시 주기 식별자, 표시 주기 데이터 및 프레임 번호 데이터 혹은 표시 시각 데이터를 포함하는 화상 부호화 신호의 데이터 구조에 대하여 나타내지만, 화상 부호화 신호의 데이터 구조는, 상기 각 프레임의 표시 타이밍 대신에, 각 프레임의 복호화 처리의 타이밍을 결정하는 부가 데이터, 즉 복호 주기 식별자, 복호 주기 데이터 및 프레임 번호 데이터 혹은 복호 시각 데이터를 포함하는 것이어도 좋고, 이하 이러한 데이터 구조를 실시예 1의 변형예로서 설명한다.
(실시예 1의 변형예)
본 실시예 1의 변형예의 데이터 구조는, 실시예 1의 화상 부호화 신호(100a)에 있어서의 표시 주기 식별자 Df 및 표시 주기 데이터 Dp를, 복호 주기 식별자 및 복호 주기 데이터로 대체하며, 실시예 1의 화상 부호화 신호(100b)에 있어서의 표시 시각 데이터 Dtn을, 복호 시각 데이터로 대체한 것이다.
여기서, 상기 복호 주기 식별자는, 각 프레임에 대응하는, 화상 부호화 신호를 복호화하는 복호화 처리의 주기가 가변인지의 여부를 나타내는 것이며, 복호화 처리의 주기가 고정인 화상 부호화 신호에는 복호화 주기 고정 식별자로서, 복호화 처리의 주기가 가변인 화상 부호화 신호에는 복호화 주기 가변 식별자로서 삽입된다.
또한, 상기 복호 주기 데이터는 각 프레임에 대응하는 복호화 처리의 주기 DT를 나타내는 데이터로서, 상기 복호 시각 데이터는, 각 프레임에 따라 1개 또는 복수의 기준 시각의 소요의 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 행해지는 타이밍(복호 시각 Dh(n))을 나타내는 데이터이다.
또한, 실시예 1의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 생성하는 부호화 처리는, 도 3에 도시하는 흐름에 있어서의 단계 S11, S11a, S11b, S13a, S13b에 있어서의 처리를, 아래와 같이 치환함으로써 실현된다.
즉, 단계 S11에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하며, 단계 S11a에 있어서의 표시 주기 고정 식별자 Df를 부가하는 처리를, 상기 복호 주기 고정 식별자를 부가하는 처리로, 단계 S11b에 있어서의 표시 주기 가변 식별자 Df를 부가하는 처리를, 상기 복호 주기 가변 식별자를 부가하는 처리로 대체한다. 또한, 단계 S13a에 있어서의 표시 주기 데이터 Dp를 부가하는 처리를, 상기 복호 주기 데이터를 부가하는 처리로 대체하며, 단계 S13b에 있어서의 표시 시각 데이터 Dtn을 부가하는 처리를, 상기 복호 시각 데이터를 부가하는 처리로 대체한다.
또한, 도 4의 (b)는, 상기 실시예 1의 변형예의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1000a)의 구성을 나타내고 있다.
이 화상 부호화 장치(1000a)는 상기 실시예 1에 있어서의 화상 부호화 장치(1000)의 판정기(1131) 대신에, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임에 대응하는 복호화 처리의 주기가 일정인지의 여부(즉, 복호 주기가 고정인지 가변인지)를 판정하여, 복호 주기 DT가 일정인지의 여부를 나타내는 복호 주기 식별자 DEf를 출력하는 판정기(1131a)를 구비하고 있다.
또한, 상기 화상 부호화 장치(1000a)는, 상기 실시예 1의 화상 부호화 장치(1000)에 있어서의 표시 주기 데이터 발생기(1132) 및 표시 시각 생성기(1134) 대신에, 상기 입력된 화상 신호 Sg에 근거하여, 프레임의 복호화 처리의 주기(고정 주기) DT를 나타내는 복호 주기 데이터 DEp를 생성하는 복호 주기 데이터 생성기(제 1 데이터 생성기)(1132a)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임의 복호 시각을 나타내는 복호 시각 데이터 DEtn을 생성하는 복호 시각 데이터 생성기(제 3 데이터 생성기)(1134a)를 구비한 것이다.
그 밖의 구성은 상기 실시예 1의 화상 부호화 장치(1000)와 마찬가지로 되어 있다.
이러한 구성의 화상 부호화 장치(1000a)에서는, 다중화기(MUX)(1120)에서는, 상기 판정기(1131a)로부터의 복호 주기 식별자 DEf, 상기 부호화기(1110)로부터의 화상 부호화 데이터 Cgn, 상기 개폐 스위치(1141)로부터의 복호 주기 데이터 DEp 및 상기 선택 스위치(1142)의 출력이 다중화되고, 다중 비트 스트림 M1a가, 복호 주기가 고정인 화상 부호화 신호 혹은 복호 주기가 가변인 화상 부호화 신호로서 출력되는 한편, 실시예 1의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 복호화하는 복호화 처리는, 도 5에 도시하는 흐름에 있어서의 단계 S21, S22a, S22b, S23a, S23b, S24a, S24b, S25a의 처리를 아래와 같이 대체하는 것에 의해 실현된다.
구체적으로는, 단계 S21에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하고, 단계 S22a에 있어서의 표시 주기 T를 나타내는 표시 주기 데이터 Dp를 판독하는 처리를, 상기 복호 주기 DT를 나타내는 복호 주기 데이터 DEp를 판독하는 처리로 대체하며, 단계 S22b에 있어서의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn을 판독하는 처리를, 상기 복호 시각 Dh(n)을 나타내는 복호 시각 데이터 DEtn을 판독하는 처리로 대체한다.
또한, 단계 S23a 및 S24a에 있어서의, 프레임 번호 데이터 Bn을 판독하여 표시 시각 h(n)을 결정하는 처리를, 복호 주기 데이터 DEp에 근거하여, 순차적으로 입력되는 각 프레임의 화상 부호화 데이터에 대응하는 복호 시각 Dh(n)을 결정함과 동시에, 상기 프레임 번호 데이터 Bn에 근거하여 각 프레임에 대한 표시 시각 h(n)을 결정하는 처리로 대체한다.
또한, 단계 S23b에 있어서의, 표시 시각 데이터 Dtn에 근거하여 표시 시각 h(n)을 결정하는 처리를, 복호 시각 데이터 DEtn에 근거하여 복호 시각 Dh(n)을 결정함과 동시에, 해당 데이터 DEtn에 근거하여 표시 시각 h(n)을 결정하는 처리로 대체한다.
또한, 단계 S25a에 있어서의, 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호화하고 표시 시각 h(n)에 표시하는 처리를, 상기 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호 시각 Dh(n)에 복호화하여, 표시 시각 h(n)에 표시하는 처리로 대체하며, 단계 S24b에 있어서의, 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호화하여 시각 h(n)에 표시하는 처리를, 상기 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호 시각 Dh(n)에 복호화하여, 표시 시각 h(n)에 표시하는 처리로 대체한다.
또한, 도 6의 (b)는 상기 실시예 1의 변형예의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치(2000a)의 구성을 나타내고 있다.
이 화상 복호화 장치(2000a)는, 상기 화상 부호화 장치(1000a)로부터 출력된 다중 비트 스트림 M1a에 대하여, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2000a)는, 상기 실시예 1에 있어서의 화상 복호화 장치(2000)의 데이터 분리기(2110) 대신에, 상기 다중 비트 스트림 M1a로부터, 화상 부호화 데이터 Cgn, 복호 주기 식별자 DEf, 복호 주기 데이터 DEp 및 프레임 번호 데이터 Bn 혹은 복호 시간 데이터 DEtn을 취출하여 출력하는 데이터 분리기(DEMUX)(2110a)를 구비하고 있다.
또한, 상기 화상 복호화 장치(2000a)는, 상기 복호 주기 식별자 DEf에 근거하여, 상기 복호 주기 데이터 DEp를 도통시키는 도통 상태와 해당 복호 주기 데이터 DEp를 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치(2140a)와, 상기 복호 주기 식별자 DEf에 근거하여, 상기 프레임 번호 데이터 Bn을 도통하는 도통 상태와 해당 프레임 번호 데이터 Bn을 차단하는 차단 상태 사이에서 전환되는 제 2 개폐 스위치(2150a)와, 상기 복호 주기 식별자 DEf에 근거하여, 상기 복호 시각 데이터 DEtn을 도통하는 도통 상태와 해당 복호 시각 데이터 DEtn을 차단하는 차단 상태 사이에서 전환되는 제 3 개폐 스위치(2160a)를 가지고 실행하고 있다.
그리고, 이 화상 복호화 장치(2000)에서는, 제 1 개폐 스위치(2140a)의 출력인 복호 주기 데이터 DEp 및 제 3 개폐 스위치(2160a)의 출력인 복호 시각 데이터 DEtn이 복호화기(2120a) 및 표시 장치(2130a)에 공급되며, 상기 제 2 개폐 스위치(2150a)의 출력인 프레임 번호 데이터 Bn이 표시 장치(2130a)에만 공급되게 되어 있다.
그리고, 복호화기(2120a)에서는, 복호 주기가 고정인 화상 부호화 데이터 Cgn을, 상기 복호 주기 데이터 DEp에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화하는 한편, 복호 주기가 가변인 화상 부호화 데이터 Cgn을, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화하는 구성으로 되어 있다.
또한, 상기 표시 장치(2130a)에서는, 복호 주기가 고정인 화상 복호화 데이터 Rg를, 상기 복호 주기 데이터 DEp와 프레임 번호 데이터 Bn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시하는 한편, 복호 주기가 가변인 화상 복호화 데이터 Rg를, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시하는 구성으로 되어 있다.
그 밖의 구성은 상기 실시예 1의 화상 복호화 장치(2000)와 동일하다.
이하, 상기 실시예 1의 변형예에 의한 화상 복호화 장치(2000a)의 동작에 대하여 간단히 설명한다.
이러한 구성의 화상 복호화 장치(2000a)에서는, 상기 다중 비트 스트림 M1a가 입력되면, 데이터 분리기(2110a)에 의해, 화상 부호화 데이터 Cgn, 복호 주기 식별자 DEf, 복호 주기 데이터 DEp 및 프레임 번호 데이터 Bn 혹은 복호 시간 데이터 DEtn이 분리된다.
그리고, 복호화기(2120a)에서는, 입력된 화상 복호화 신호의 복호 주기가 고정일 때에는, 화상 부호화 데이터 Cgn이, 상기 복호 주기 데이터 DEp에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화되며, 해당 복호화기(2120a)에서 출력된 화상 복호화 데이터 Rg는, 상기 복호 주기 데이터 DEp와 프레임 번호 데이터 Bn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시된다.
한편, 입력된 화상 복호화 신호의 복호 주기가 가변일 때에는, 화상 부호화 데이터 Cgn이, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화되며, 해당 복호화기(2120a)에서 출력된 화상 복호화 데이터 Rg는, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시된다.
이러한 실시예 1의 변형예에서는, 상기 실시예 1과 마찬가지로, 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 각 프레임에 대응하는 화상 복호화 처리의 주기가 가변인지의 여부를 나타내는 복호 주기 식별자 DEf를 포함하는 구성으로 하였기 때문에, 각 프레임에 대한 화상 복호화 처리의 주기가 고정인 경우에, 간단한 회로 구성에 의해, 즉 각 프레임마다 정보량(비트수)이 많은 복호 시각 데이터 DEtn을 참조하는 일 없이, 복호 주기 데이터 DEp에만 근거하여 화상 부호화 데이터의 복호화 처리를 실행할 수 있다고 하는 효과가 있다.
또한, 상기 실시예 1의 변형예의 화상 복호화 장치로는, 화상 부호화 신호에 포함되는 각 프레임에 대한 복호화 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 복호화 처리함과 동시에, 각 프레임의 화상 표시를 실행하는 것을 나타내었지만, 상기 화상 복호화 장치는, 화상 부호화 신호에 포함되는 각 프레임에 대한 표시 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 표시 처리함과 동시에, 각 프레임의 복호화 처리를 실행하는 것이어도 좋다.
이 경우에는, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을, 복호화 처리가 대상으로 되는 대상 프레임을 포함하는 복수의 프레임의 표시 타이밍 데이터에 근거하여 설정한다. 즉, 상기 대상 프레임의 복호 타이밍을, 해당 대상 프레임의 표시 타이밍 데이터 및 그 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 해당 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정한다.
구체적으로는, 복호화 처리가 대상으로 되는 대상 프레임의 표시 타이밍이,이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간 이상의 크기로 설정한다. 한편, 복호화 처리가 대상으로 되는 대상 프레임(예컨대, P-VOP)의 표시 타이밍보다, 이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임(예컨대, B-V0P)의 표시 타이밍쪽이 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간과, 다음 프레임에 대한 복호화 처리에 필요로 하는 시간의 합계 시간 이상의 크기로 설정한다.
(실시예 2)
도 7의 (a)는 본 발명의 실시예 2에 의한, 프레임 표시 주기가 일정한 화상 부호화 신호(120a)의 데이터 구조를 나타내고 있다.
상기 화상 부호화 신호(120a)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상)에 대응하는, 프레임 표시 주기가 고정인 화상 신호를 부호화하여 얻어지는 것으로, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sc0, Sc1, Sc2, …, Scn을 전송 순서로 배열한 구조로 되어 있다. 이 화상 부호화 신호(120a)에서는, 헤더 H 내에, 프레임 표시 주기가 고정인지의 여부를 나타내는 표시 주기 식별자 Df, 프레임 표시 주기가 미소 단위 시간 (1/N)의 M(자연수)배인 것을 해당 승수 M에 의해 나타내는 표시 주기 승수 데이터 Dm 및 상기 미소 단위 시간 (1/N)을 구하기 위한 값 N(자연수)을 나타내는 미소 단위 시간 데이터 Dk가 삽입되며, 각 프레임의 부호열 Sc0, Sc1, Sc2, …, Scn의 선두에, 그 프레임의 표시 시각 y'0, y'3, y'1, …, y'n'(도 17의 (a) 참조)을 나타내는 표시 시각 데이터 Dy0, Dy1, Dy2, …, Dyn이 삽입되어 있다. 또, 상기 화상 부호화 신호(120a)의 헤더 H 내에서는, 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df 및 표시 주기 승수 데이터 Dm이 이 순서로 전송되도록 배열되어 있다.
또한, 각 프레임의 부호열 Sc0, Sc1, Sc2, …, Scn에는, 상기 표시 시각 데이터 Dy0, Dy1, Dy2, …, Dyn에 계속해서, 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 삽입되어 있다.
이 화상 부호화 신호(120a)에서는, 기준 시각을 x로 하면(도 17의 (a) 참조), VOP0, VOP3, VOP1, …에 대응하는 각 프레임 F(0), F(1), F(2), …의 표시 시각 h(0), h(1), h(2), …은, 표시 시각 데이터 Dy0, Dy1, Dy2, …에 근거하여, x+y/N(y=y'0, y'3, y'1, …)으로 하여 구할 수 있다.
그런데, 이 화상 부호화 신호(120a)에는, 미소 단위 시간 데이터 Dk와 표시 주기 승수 데이터 Dm이 포함되어 있기 때문에, 상기 표시 시각 데이터 Dy0, Dy1, Dy21, …을 이용하지 않더라도, 미소 단위 시간 데이터 Dk로부터 얻어지는 미소 단위 시간 (1/N)과 표시 주기 승수 데이터 Dm으로부터 얻어지는 M(자연수)의 값으로부터 프레임의 표시 주기 T(=M×1/N)를 구하며, 기준 시각 x에 의해 결정되는 본래의 각 프레임 F(n)의 표시 시각 h(n)(=x+y×M×1/N)에 각 프레임의 화상을 표시할 수 있다.
도 7의 (b)는 본 발명의 실시예 2에 의한, 프레임 표시 주기가 가변인 화상 부호화 신호(120b)의 데이터 구조를 나타내고 있다.
이 화상 부호화 신호(120b)는, 상기 화상 부호화 신호(120a)에 있어서의 헤더 부분 H의 표시 주기 승수 데이터 Dm을 제거한 데이터 구조로 되어 있다.
이하, 상기한 바와 같은 화상 부호화 신호(120a 혹은 120b)를 생성하는 화상 신호의 부호화 처리 및 그 복호화 처리에 대하여 설명한다.
도 8은 상기 부호화 처리의 흐름을 도시하는 도면이다.
우선, 상기 부호화 처리로는, 입력된 소정의 화상에 대응하는 화상 신호에 대응하는 비트 스트림의 헤더부에 상기 미소 단위 시간 데이터 Dk가 부가되며(단계 S30), 또한, 해당 소정의 화상에 대응하는 화상 신호의 표시 주기가 고정인지 여부의 판정이 행해진다(단계 S31). 이 판정의 결과, 표시 주기가 고정인 경우에는, 상기 화상 신호의 표시 주기가 고정인 것을 나타내는 표시 주기 고정 식별자 Df가, 상기 비트 스트림의 헤더에, 상기 미소 단위 시간 데이터 Dk에 계속되도록 부가되며(단계 S32), 또한 상기 표시 주기 승수 데이터 Dm이 상기 헤더에 상기 표시 주기 고정 식별자 Df에 계속되도록 부가된다(단계 S33).
그 후, 상기 소정의 화상을 구성하는 각 프레임 F(n)의 전송 순서를 나타내는 번호 n에 상당하는 카운터값 n이 n=0으로 설정된다(단계 S35).
다음에, 상기 전송 순서에 있어서의 최초의 프레임 F(0)에 대응하는 부호열로서, 대응하는 프레임의 표시 시각 데이터 Dyn(=Dy0) 및 화상 부호화 데이터 Dyn(=Cg0)이 순차적으로 상기 헤더 H에 부가된다(단계 S36, S37). 그 후, 상기 화상 신호에 있어서의 처리 대상 프레임이, 상기 전송 순서에 있어서의 최종의 프레임인지 여부의 판정이 행해져(단계 S38), 처리 대상 프레임이 최종 프레임이 아니면, 상기 전송 순서가 n 번째인 프레임 F(n)(=F(0))에 대응하는 카운터값 n이 1개 증분되며(단계 S39), 계속되는 프레임 F(n+1)(=F(1))에 대하여, 상기 단계 S36∼S39에 있어서의 처리가 행해진다.
상기 단계 S36∼S39에 있어서의 처리는, 단계 S38에서 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다. 이에 따라 상기 화상 부호화 신호(120a)가 생성된다.
한편, 상기 단계 S31에서의 판정의 결과, 표시 주기가 가변인 경우에는, 상기 화상 신호의 표시 주기가 가변인 것을 나타내는 표시 주기 가변 식별자 Df가, 상기 화상 신호에 대응하는 비트 스트림의 헤더에, 상기 미소 단위 시간 데이터 Dk에 계속되도록 부가된다(단계 S34). 그 후는, 상기 단계 S35∼S39의 처리가 행해지며, 상기 화상 부호화 신호(120b)가 생성된다.
도 9의 (a)는 상기 본 실시예 2의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1200)의 구성을 나타내는 블럭도이다.
상기 실시예 2에 있어서의 화상 부호화 장치(1200)는, 상기 실시예 1의 화상 부호화 장치(1000)와 마찬가지로, 입력되는 화상 신호 Sg를 부호화하여 부호화 데이터 Cgn을 생성하는 부호화기(1110)와, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임의 표시 주기가 일정인지의 여부(즉, 표시 주기가 고정인지 가변인지)를 판정하여, 표시 주기가 일정인지의 여부를 나타내는 표시 주기 식별자 Df를 출력하는 판정기(1131)를 가지고 있다.
또한 상기 화상 부호화 장치(1200)는, 상기 입력된 화상 신호 Sg에 근거하여, 미소 단위 시간 데이터 Dk를 생성하는 미소 단위 시간 데이터 생성기(제 1 데이터 생성기)(1232)와, 상기 입력된 화상 신호 Sg에 근거하여, 프레임 표시 주기를 미소 단위 시간을 단위로 하여 표현하기 위한 수치 M을 나타내는 표시 주기 승수 데이터 Dm을 생성하는 표시 주기 승수 데이터 생성기(제 2 데이터 생성기)(1233)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임의 표시 시각 h(n)을 나타내는 표시 시각 데이터(표시 타이밍 데이터) Dyn을 생성하는 표시 시각 데이터 생성기(제 3 데이터 생성기)(1234)를 가지고 있다.
또한, 상기 화상 부호화 장치(1200)는, 상기 판정기(1131)로부터의 표시 주기 식별자 Df에 근거하여, 상기 표시 주기 승수 데이터 Dm을 도통시키는 도통 상태와 해당 표시 주기 승수 데이터 Dm을 차단하는 차단 상태 사이에서 전환되는 개폐 스위치(1241)를 가지고 있다.
그리고, 상기 화상 부호화 장치(1200)는, 상기 제 1 데이터 생성기(1232)로부터의 미소 단위 시간 데이터 Dk, 상기 판정기(1131)로부터의 표시 주기 식별자 Df, 상기 개폐 스위치(1241)로부터의 표시 주기 승수 데이터 Dm, 제 3 데이터 생성기(1234)로부터의 표시 시각 데이터 Dyn 및 상기 부호화기(1110)로부터의 화상 부호화 데이터 Cgn을 다중화하여 다중 비트 스트림 M2를 생성하는 다중화기(MUX)(1220)를 가지고 있고, 해당 다중 비트 스트림 M2를 상기 화상 부호화 신호(120a) 혹은 화상 부호화 신호(120b)로서 출력하는 구성으로 되어 있다.
이하, 간단히 상기 화상 부호화 장치(1200)의 동작에 대하여 설명한다.
우선, 상기 화상 부호화 장치(1200)에 소정의 화상에 대응하는 화상 신호 Sg가 입력되면, 상기 판정기(1131)에서는, 해당 화상 신호 Sg의 표시 주기가 가변인지여부의 판정이 행해지며, 판정 결과를 나타내는 표시 주기 식별자 Df가 출력된다. 이 때, 상기 화상 신호 Sg에 근거하여, 제 1∼제 3 데이터 생성기(1232∼1234)에서는, 각각 상기 미소 단위 시간 데이터 Dk, 표시 주기 승수 데이터 Dm 및 표시 시각 데이터 Dyn이 생성되며, 상기 부호화기(1110)에서는, 상기 화상 신호 Sg가 부호화되어 화상 부호화 데이터 Cgn으로서 출력된다.
또한, 이 때, 상기 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn은 항상 다중화기(1220)에 출력되며, 상기 표시 주기 승수 데이터 Dm은, 표시 주기 식별자 Df에 의해 도통 상태로 되는 개폐 스위치(1241)를 거쳐서 다중화기(1220)에 출력된다.
즉, 화상 신호로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 고정인 화상 신호가 입력되었을 때, 상기 미소 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm, 및 각 프레임에 대응하는 표시 시각 데이터 Dtn 및 화상 부호화 데이터 Cgn이 상기 다중화기(1220)에 출력된다. 그렇게 하면, 해당 다중화기(1220)에서는, 상기 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm, 화상 부호화 데이터 Cgn 및 표시 시각 데이터 Dyn이 다중화되어, 다중 비트 스트림 M2로서 화상 부호화 신호(120a)가 출력된다.
한편, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변의 화상 신호가 입력되었을 때에는, 상기 개폐 스위치(1241)는 표시 주기 식별자 Df에 의해 차단 상태로 되며, 상기 미소 단위 시간 데이터 Dk 및 표시 주기 식별자 Df와 함께, 상기 각 프레임의 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn이 상기 다중화기(1220)에 출력된다. 그렇게 하면 해당 다중화기(1220)에서는, 상기 미소 단위 시간 데이터 Dk 및 표시 주기 식별자 Df와 함께, 각 프레임의 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn이 다중화되어, 다중 비트 스트림 M2로서 화상 부호화 신호(120b)가 출력된다.
다음에, 도 10을 이용하여 실시예 2의 화상 신호 데이터 구조를 가지는 화상 부호화 신호를 복호화하는 복호화 처리에 대하여 설명한다.
도 10은 상기 실시예 2에 있어서의 복호화 처리의 흐름을 도시하는 도면이다.
우선, 복호화 처리로는, 부호화측에서 전송되어 오는 다중 비트 스트림 M2(화상 부호화 신호(120a 혹은 120b))에 있어서의 미소 단위 시간 데이터 Dk가 판독되며(단계 S40), 또한, 표시 주기 식별자 Df의 검출에 의해, 해당 화상 부호화 신호의 표시 주기가 고정인지의 여부가 판정된다(단계 S41). 이 판정의 결과, 표시 주기가 고정으로 판정되면, 화상 부호화 신호의 헤더 부분 H에서, 표시 주기 T가 미소 단위 시간 (1/N)의 M(자연수)배인 것을 해당 승수 M에 의해 나타내는 표시 주기 승수 데이터 Dm이 판독되며(단계 S42a), 계속해서, 상기 판독된 미소 단위 시간 데이터 Dk 및 표시 주기 승수 데이터 Dm에 근거하여, 프레임 표시 주기 T가 연산 T=(1/N)×M에 의해 구해진다(단계 S43a). 그 후, 표시순으로 나타내어지는 각 프레임 F'(n')의, 선두 프레임으로부터의 순서 n'에 상당하는 카운트값 n'이 0으로 설정되며(단계 S44a), 각 프레임 F'(n')의 표시 시각 h'(n')이 계산식 h'(n')=n'×T에 의해 구해진다(단계 S45a). 또한, 이 때, 전송 순서대로 각 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 행해져, 프레임 F(n)에 대응하는 화상 복호화 데이터 Rg가 생성된다.
그 후, 표시 순서대로 카운트되는 처리 대상 프레임 F'(n')이 상기 소정의 화상에 있어서의 최후의 프레임인지의 여부가 판정되어(단계 S46a), 처리 대상 프레임이 최후의 프레임이면 복호화 처리가 종료하고, 최후의 프레임이 아니면, 상기 카운터값 n'이 1개 증분되며(단계 S47a), 상기 단계 S45a∼S47a의 처리가, 상기 단계 S46a로부터 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다.
또한, 상기 복호화 처리로는, 상기 복호화된 각 프레임 F'(n')에 대응하는 화상 복호화 데이터 Rg는, 소정의 표시 순서 n'으로, 대응하는 표시 시각 h'(n')에 표시된다.
한편, 상기 단계 S41에서, 표시 주기가 가변으로 판정되면, 전송 순서에 있어서의 각 프레임 F(n)의 순서 n에 상당하는 카운트값 n이 0으로 설정된다(단계 S42b). 계속해서, 각 프레임 F(n)의 헤더 부분 H로부터 이 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dyn이 판독되며(단계 S43b), 또한 이 표시 시각 데이터 Dyn에 근거하여 각 프레임 F(n)의 표시 시각 h(n)이 구해진다(단계 S44b). 또한, 이 때, 전송 순서대로 각 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 행해진다.
그 후, 전송 순서대로 카운트되는 처리 대상 프레임 F(n)이 상기 소정의 화상에 있어서의 최후의 프레임인지의 여부가 판단되며(단계 S44b), 해당 처리 대상 프레임이 최후의 프레임이면 복호화 처리가 종료한다. 한편, 상기 처리 대상 프레임이 최후의 프레임이 아니면, 이 복호화 처리에 있어서의 카운트값 n이 1개 증분되며(단계 S46b), 그 후, 상기 단계 S42b∼단계 S46b의 처리가, 단계 S45b에서 처리 대상 프레임이 최후의 프레임으로 판정될 때까지 실행된다.
또한, 상기 복호화 처리로는, 복호화된 각 프레임 F(n)에 대응하는 화상 복호화 데이터 Rg는, 소정의 표시 순서 n'으로, 해당 각 프레임 F(n)에 대응하는 표시 시각 h(n)에 표시된다.
도 11의 (a)는 상기 실시예 2의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치의 구성을 나타내는 블럭도이다.
이 화상 복호화 장치(2200)는, 상기 화상 부호화 장치(2000)로부터 출력된 화상 부호화 신호(120a 혹은 120b)인 다중 비트 스트림 M2를 복호화하여 재생하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2200)는, 상기 다중 비트 스트림 M2로부터, 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm, 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn을 취출하여 출력하는 데이터 분할기(DEMUX)(2210)와, 상기 화상 부호화 데이터 Cgn을 복호화하여 화상 복호화 데이터 Rg를 출력하는 복호화기(2220)를 가지고 있다.
또한, 상기 화상 복호화 장치(2200)는, 상기 표시 주기 식별자 Df에 근거하여, 상기 표시 주기 승수 데이터 Dm을 도통시키는 도통 상태와 해당 데이터 Dm을 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치(2240)와, 상기 표시 주기 식별자 Df에 근거하여, 상기 표시 시각 데이터 Dyn을 도통시키는 도통 상태와 이 데이터 Dyn을 차단하는 차단 상태 사이에서 전환되는 제 2 개폐 스위치(2250)를 가지고 있다.
또한, 상기 화상 복호화 장치(2200)는, 상기 미소 단위 시간 데이터 Dk 및 화상 복호화 데이터 Rg와 함께 각 스위치(2240, 2250)를 거쳐서 표시 주기 승수 데이터 Dm 및 표시 시각 데이터 Dyn을 수신하여, 이들 데이터에 따라 소정의 표시 타이밍으로 화상 표시하는 표시 장치(2230)를 가지고 있다.
이하, 간단히 상기 화상 복호화 장치(2200)의 동작에 대하여 설명한다.
우선, 상기 화상 복호화 장치(2200)에, 상기 화상 부호화 장치(1200)로부터의 다중 비트 스트림 M2가 입력되면, 데이터 분리기(2210)에 의해, 상기 다중 비트 스트림 M2로부터 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df 및 표시 주기 승수 데이터 Dm이 분리되며, 또한 각 프레임마다 상기 다중 비트 스트림 M2로부터 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn이 분리된다.
그리고, 각 프레임의 화상 부호화 데이터 Cgn은 복호화기(2220)에 의해 복호화되어 화상 복호화 데이터 Rg로서 표시 장치(2230)에 출력된다. 이 때, 상기 미소 단위 시간 데이터 Dk는 직접 상기 표시 장치(2230)에 출력되며, 상기 표시 주기 승수 데이터 Dm은, 표시 주기 식별자 Df에 의해 개폐되는 제 1 개폐 스위치(2240)를 거쳐 표시 장치(2230)에 출력되며, 각 프레임의 표시 시각 데이터 Dyn은, 표시 주기 식별자 Df에 의해 개폐되는 제 2 개폐 스위치(2250)를 거쳐서 상기 표시 장치(2230)에 출력된다. 여기서는, 상기 다중 비트 스트림 M2가, 표시 주기가 고정인 화상 부호화 신호(120a)일 때에는, 상기 제 1, 제 2 개폐 스위치(2240, 2250)는 도통 상태로 되며, 상기 다중 비트 스트림 M2가, 표시 주기가 가변의 화상 부호화 신호(120b)일 때에는, 상기 제 1, 제 2 개폐 스위치(2240, 2250)는 차단 상태로 된다.
이에 따라, 상기 표시 장치(2230)에서는, 표시 주기가 고정의 화상 복호화 데이터 Rg에 대응하는 각 프레임의 화상은, 미소 단위 시간 데이터 Dk 및 표시 주기 승수 데이터 Dm에 근거하여 소정의 표시 타이밍으로 표시된다. 이 경우에는, 각 프레임의 표시 타이밍은 연산식 T×n'(T=(1/N)×M)에 의해 결정되는 표시 시각 h'(n)'=으로 된다. 한편, 표시 주기가 가변인 화상 복호화 데이터 Rg에 대응하는 프레임의 화상은, 표시 시각 데이터 Dyn에 근거하여 소정의 표시 타이밍으로 표시된다. 이 경우에는, 소정의 표시 타이밍은, 표시 시각 데이터 Dyn에 의해 결정되는 표시 시각 h(n)으로 된다.
이와 같이 본 실시예 2에서는, 화상 부호화 신호를, 각 프레임에 대응하는 표시 주기가 가변인지의 여부를 나타내는 표시 주기 식별자 Df에 부가하여, 소정의 시간 간격을 N(자연수) 등분하여 얻어지는 미소 단위 시간 (1/N)의 크기를, 해당 자연수 N에 의해 나타내는 미소 단위 시간 데이터 Dk와, 상기 고정의 프레임 표시 주기 T를, 이것이 미소 단위 시간 (1/N)의 몇배(M)에 상당하는가에 의해 나타내는 표시 주기 승수 데이터 Dm을 포함하는 데이터 구조로 하였기 때문에, 프레임 레이트가 고정의 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 표시 처리를 실현하기 위한 여러가지의 하드웨어 구성을 간단한 것으로 할 수 있다고 하는 효과가 있다.
또한, 상기 실시예 2에서는, 복호화측에서의 각 프레임에 대한 재생 처리의 타이밍을 결정하기 위한 부가 데이터로서, 각 프레임의 표시 타이밍을 설정하기 위한 미소 단위 시간 데이터 Dn, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm 및 표시 시각 데이터 Dyn을 포함하는 화상 부호화 신호의 데이터 구조에 대하여 나타내었지만, 화상 부호화 신호의 데이터 구조는, 상기 각 프레임의 표시 타이밍 대신에, 각 프레임의 복호화 처리의 타이밍을 결정하는 부가 데이터, 즉 미소 단위 시간 데이터, 복호 주기 식별자, 복호 주기 승수 데이터 및 복호 시각 데이터를 포함하는 것이어도 좋고, 이하 이러한 데이터 구조를 실시예 2의 변형예로서 설명한다.
(실시예 2의 변형예)
본 실시예 2의 변형예의 데이터 구조는, 실시예 2의 화상 부호화 신호(120a)에 있어서의 표시 주기 식별자 Df 및 표시 주기 승수 데이터 Dm을, 복호 주기 식별자 DEf 및 복호 주기 승수 데이터 DEm으로 대체하며, 실시예 2의 화상 부호화 신호(120b)에 있어서의 표시 시각 데이터 Dyn을, 복호 시각 데이터 DEyn으로 대체한 것이다.
여기서, 상기 복호 주기 식별자 DEf는, 각 프레임에 대응하는 화상 부호화 신호를 복호화하는 복호화 처리의 주기가 가변인지의 여부를 나타내는 것으로, 복호화 처리의 주기 DT가 고정인 화상 부호화 신호에는 복호화 주기 고정 식별자로서, 복호화 처리의 주기 DT가 가변인 화상 부호화 신호에는 복호화 주기 가변 식별자로서 삽입된다.
또한, 상기 복호 주기 승수 데이터 DEm은, 각 프레임에 대응하는 복호화 처리의 주기 DT를 상기 미소 단위 시간 (1/N)의 승수값 M에 의해, 즉 해당 주기가 미소 단위 시간의 몇배(M)에 상당하는가에 의해 나타내는 데이터로서, 상기 복호 시각 데이터 DEyn은, 각 프레임에 대응하는 복호화 처리가 행해지는 타이밍을 나타내는 데이터이다.
또한, 실시예 2의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 생성하는 부호화 처리는, 도 8에 도시하는 흐름에 있어서의 단계 S31, S32, S33, S34, S36의 처리를 아래와 같이 대체함으로써 실현된다.
즉, 단계 S31에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하며, 단계 S32, S34에 있어서의 표시 주기 고정 식별자 Df, 표시 주기 가변 식별자 Df를 부가하는 처리를, 각각 복호 주기 고정 식별자 DEf, 복호 주기 가변 식별자 DEf를 부가하는 처리로 대체한다. 또한 단계 S33에 있어서의 표시 주기 승수 데이터 Dm을 부가하는 처리를, 상기 복호 주기 승수 데이터 DEm을 부가하는 처리로 대체하며, 단계 S36에 있어서의 표시 시각 데이터 Dyn을 부가하는 처리를, 상기 복호 시각 데이터 DEyn을 부가하는 처리로 대체한다.
또한, 도 9의 (b)는 상기 실시예 2의 변형예의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1200a)의 구성을 나타내고 있다.
이 화상 부호화 장치(1200a)에서는, 상기 실시예 2에 있어서의 화상 부호화 장치(1200)의 판정기(1131) 대신에, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임에 대응하는 복호화 처리의 주기가 일정인지의 여부(즉, 복호 주기가 고정인지 가변인지)를 판정하며, 복호 주기가 일정인지의 여부를 나타내는 복호 주기 식별자 DEf를 출력하는 판정기(1131a)를 구비하고 있다.
또한, 상기 화상 부호화 장치(1200a)는, 상기 실시예 2의 화상 부호화 장치(1200)에 있어서의 표시 주기 승수 데이터 생성기(1233)와 표시 시각 데이터 생성기(1234) 대신에, 각각, 상기 입력된 화상 신호 Sg에 근거하여, 프레임의 복호화 처리의 주기를 이것이 상기 미소 단위 시간 (1/N)의 몇배에 상당하는가를 나타내는 승수값 M으로서의 복호 주기 승수 데이터 DEm을 생성하는 복호 주기 승수 데이터 생성기(제 2 데이터 생성기)(1233a)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임 F(n)의 복호 시각 Dh(n)을 나타내는 복호 시각 데이터 DEyn을 생성하는 복호 시각 데이터 생성기(제 3 데이터 생성기)(1234a)를 구비한 것이다.
또한, 이 화상 부호화 장치(1200a)에서는, 그 다중화기(1220a)는 상기 미소 단위 시간 데이터 Dk, 복호 주기 승수 데이터 DEm 및 복호 시각 데이터 DEyn을 각 프레임 F(n)의 화상 부호화 데이터 Cgn과 다중화하여, 복호 처리의 주기가 고정인 화상 부호화 신호 혹은 복호 주기가 가변인 화상 부호화 신호를, 다중 비트 스트림 M2a로서 출력하는 구성으로 되어 있다.
그 밖의 구성은 상기 실시예 2의 화상 부호화 장치(1200)와 마찬가지이다.
이하, 간단히 본 실시예 2의 변형예에 의한 화상 부호화 장치(1200a)의 동작을 설명한다.
이러한 구성의 화상 부호화 장치(1200a)에서는, 화상 신호 Sg가 입력되면, 상기 판정기(1131a)에서는, 해당 화상 신호 Sg의 복호 주기가 가변인지 여부의 판정이 행해져, 판정 결과를 나타내는 복호 주기 식별자 DEf가 출력되며, 또한, 제 1 데이터 생성기(1232a)에서는 상기 미소 단위 시간 데이터 Dk가, 제 2, 제 3 데이터 생성기(1233a, 1234a)에서는, 복호 주기 승수 데이터 DEm, 복호 시각 데이터 DEyn이 각각 생성되고, 상기 부호화기(1110)에서는, 상기 화상 신호 Sg가 부호화되어 화상 부호화 데이터 Cgn으로서 출력된다.
그리고, 다중화기(MUX)(1220a)에는, 상기 판정기(1231a)로부터의 복호 주기 식별자 DEf, 상기 부호화기(1110)로부터의 부호화 데이터 Cgn 및 제 1, 제 3 데이터 생성기(1232, 1234a)로부터의 데이터 Dk, DEyn이 입력됨과 동시에, 제 2 데이터 생성기(1233a)로부터의 복호 주기 승수 데이터 DEm이 개폐 스위치(1241a)를 거쳐서 입력된다. 그렇게 하면, 해당 다중화기(1220a)에 의해 이들 데이터가 다중화되며, 복호 주기가 고정인 화상 부호화 신호 혹은 복호 주기가 가변인 화상 부호화 신호가, 상기 다중 비트 스트림 M2a로서 출력된다.
한편, 실시예 2의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 복호화하는 복호화 처리는, 도 10에 도시하는 흐름에 있어서의 소정 단계 S41, S42a, S43b, S44a, S44b, S45a, S47a의 처리를 아래와 같이 대체함으로써 실현된다.
구체적으로는, 단계 S41에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하며, 단계 S42a에 있어서의 표시 주기 승수 데이터 Dm을 판독하는 처리를, 상기 복호 주기 승수 데이터 DEm을 판독하는 처리로 대체하고, 단계 S43b에 있어서의 표시 시각 h(n)을 나타내는 데이터 Dyn을 판독하는 처리를, 상기 복호 시각 Dh(n)을 나타내는 데이터 DEyn을 판독하는 처리로 대체한다.
또한, 상기 단계 S44b에 있어서의 데이터 Dyn에 근거하여 표시 시각 h(n)을 구하는 처리를, 데이터 DEyn에 근거하여 복호 시각 Dh(n)을 구하는 처리로 대체하며, 단계 S44a에 있어서의, 표시 순서대로 카운트되는 각 프레임 F'(n')의, 선두 프레임으로부터의 순서 n'에 상당하는 카운트값 n'이 0으로 설정되는 처리를, 전송 순서대로 카운트되는 각 프레임 F(n)의, 선두 프레임으로부터의 순서 n에 상당하는 카운트값 n이 0으로 설정되는 처리로 대체한다.
또한, 단계 S45a에 있어서의, 각 프레임 F'(n')의 표시 시각 h'(n')이 계산식 h'(n')=n'×T에 의해 구해지는 처리를, 각 프레임 F(n)의 복호 시각 Dh(n)이 복호 주기 DT와 그 프레임의 전송 순위를 나타내는 번호 n에 의해 Dh(n)=n×DT에 의해 구해지는 처리로 대체하며, 단계 S47a에 있어서의 카운트값 n'이 증분되는 처리를, 카운트값 n이 증분되는 처리로 대체한다.
또한, 도 11의 (b)는 상기 실시예 2의 변형예의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치(2200a)의 구성을 나타내고 있다.
이 화상 복호화 장치(2200a)는, 상기 화상 부호화 장치(1200a)에서 출력된 다중 비트 스트림 M2a에 대하여, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2200a)는, 상기 실시예 2에 있어서의 화상 복호화 장치(2200)의 데이터 분리기(2210) 대신에, 상기 다중 비트 스트림 M2a에서, 미소 단위 시간 데이터 Dk, 복호 주기 식별자 DEf, 복호 주기 승수 데이터 DEm, 복호 시각 데이터 DEyn 및 화상 부호화 데이터 Cgn을 취출하여 출력하는 데이터 분리기(DEMUX)(2210a)를 구비하고 있다.
또한, 이 화상 복호화 장치(2200a)는, 상기 실시예 2의 화상 복호화 장치(2200)에 있어서의 제 1, 제 2 개폐 스위치(2240, 2250) 대신에, 복호 주기 승수 데이터 DEm의 도통, 비 도통을 복호 주기 식별자 DEf에 근거하여 제어하는 제 1 개폐 스위치(2240a)와, 복호 시각 데이터 DEyn의 도통, 비 도통을 복호 주기 식별자 DEf에 근거하여 제어하는 제 2 개폐 스위치(2250a)를 구비하고 있다.
그리고, 이 화상 복호화 장치(2200a)에서는, 데이터 분리기(2210a)로부터의 미소 단위 시간 데이터 Df, 제 1, 제 2 스위치(2240a, 2250a)의 출력인 복호 주기 승수 데이터 DEm, 복호 시각 데이터 DEyn이, 복호화기(2220a) 및 표시 장치(2230a)에 공급되게 되어 있다.
이 복호화기(2220a)는, 복호 주기가 고정인 각 프레임 F(n)의 화상 부호화 데이터 Cgn을, 상기 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 결정되는 타이밍(복호 시각 Dh(n)=DT×n)으로 각 프레임마다 복호화하며, 복호 주기가 가변인 각 프레임 F(n)의 화상 부호화 데이터 Cgn을, 상기 복호 시각 데이터 DEyn에 근거하여 결정되는 타이밍(복호 시각 Dh(n)=DT×n)으로 각 프레임마다 복호화하는 구성으로 되어 있다.
또한, 상기 표시 장치(2230a)는, 복호 주기가 고정인 각 프레임 F(n)의 화상 복호화 데이터 Rg를, 상기 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 표시하여, 복호 주기가 가변인 각 프레임 F(n)의 화상 복호화 데이터 Rg를, 상기 복호 시각 데이터 DEyn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 표시하는 구성으로 되어 있다.
그 밖의 구성은 상기 실시예 2의 화상 복호화 장치(2200)와 동일하다.
이하, 간단히 상기 실시예 2의 변형예에 의한 화상 복호화 장치(2200a)의 동작에 대하여 설명한다.
이러한 구성의 화상 복호화 장치(2200a)에서는, 상기 다중 비트 스트림 M2a가 입력되면, 데이터 분리기(2210a)에서, 미소 단위 시간 데이터 Dk, 복호 주기 승수 데이터 DEm, 복호 주기 식별자 DEf, 복호 시각 데이터 DEyn 및 화상 부호화 데이터 Cgn이 분리된다.
그리고, 상기 복호화기(2220a)에서는, 입력된 화상 부호화 신호의 복호 주기가 고정일 때에는, 화상 부호화 데이터 Cgn이, 상기 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 결정되는 타이밍으로 각 프레임마다 복호화되며, 입력된 화상 복호화 신호의 복호 주기가 가변일 때에는, 화상 부호화 데이터 Cgn이, 상기 복호 시각 데이터 DEyn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화된다. 여기서 복호 주기가 고정인 화상 부호화 신호의 복호 시각은, 전송 순서를 나타내는 번호 n과 복호 주기 DT=((1/N)×M)의 곱에 의해 결정되며, 복호 주기가 가변인 화상 부호화 신호의 복호 시각은, 복호 주기 데이터 DEyn에 의해 결정된다.
또한, 상기 표시 장치(2230a)에서는, 복호 주기가 고정인 화상 복호화 데이터 Rg에 대응하는 각 프레임 F(n)의 화상은, 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 소정의 표시 타이밍으로 표시되며, 한편, 복호 주기가 가변인 화상 복호화 데이터 Rg에 대응하는 프레임 F(n)의 화상은, 복호 시각 데이터 DEyn에 근거하여 소정의 표시 타이밍으로 표시된다.
이러한 실시예 2의 변형예에서는, 상기 실시예 2와 마찬가지로, 화상 신호를 부호화하여 얻어지는 화상 부호화 데이터 Cgn을, 각 프레임에 대응하는 화상 복호화 처리의 주기가 가변인지의 여부를 나타내는 복호 주기 식별자 DEf, 고정의 복호 주기를 나타내는 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm 및 복호 시각을 나타내는 복호 시각 데이터 DEyn을 포함하는 구성으로 하였기 때문에, 각 프레임에 대한 화상 복호화 처리의 주기가 고정인 경우에는, 간단한 회로 구성에 의해, 즉 각 프레임마다 정보량(비트수)이 많은 복호 시각 데이터 DEyn을 참조하는 일 없이, 1개의 화상에 대응하는 미소 단위 시간 데이터 Dk 및 정보량(비트수)이 적은 복호 주기 승수 데이터 DEm에만 따라 화상 부호화 신호의 복호화 처리를 간단히 실행할 수 있다.
또한, 각 프레임에 대한 화상 복호화 처리의 주기가 가변인 경우에는, 종래와 마찬가지로, 각 프레임마다 복호 시각 데이터 DEyn을 참조하여 화상 부호화 신호의 복호화 처리를 실행할 수 있다고 하는 효과가 있다.
또한, 상기 실시예 2의 변형예의 화상 복호화 장치(2200a)에서는, 화상 부호화 신호에 포함되는 각 프레임에 대한 복호화 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 복호화 처리와 함께, 각 프레임의 화상 표시를 실행하는 것을 나타내었지만, 이 화상 복호화 장치는, 화상 부호화 신호에 포함되는 각 프레임에 대한 표시 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 표시 처리와 함께, 각 프레임의 복호화 처리를 실행하는 것이어도 좋다.
이 경우에는, 상기 각 프레임에 대응하는 복호화 처리가 행해지는 복호 타이밍은, 복호화 처리가 대상으로 되는 대상 프레임을 포함하는 복수의 프레임의 표시 타이밍 데이터에 근거하여 설정한다. 즉, 상기 대상 프레임의 복호 타이밍을, 해당 대상 프레임의 표시 타이밍 데이터 및 그 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 해당 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정한다.
구체적으로는, 복호화 처리가 대상으로 되는 대상 프레임의 표시 타이밍이,이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간 이상의 크기로 설정한다. 한편, 복호화 처리가 대상으로 되는 대상 프레임(예컨대 P-VOP)의 표시 타이밍보다, 이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임(예컨대 B-VOP)의 표시 타이밍쪽이 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간과, 다음 프레임에 대한 복호화 처리에 필요로 하는 시간의 합계 시간 이상의 크기로 설정한다.
또한, 상기 각 실시예 및 그 변형예로 나타낸 화상 부호화 장치 혹은 화상 복호화 장치에 의한 화상 처리를 소프트웨어에 의해 실행하기 위한 부호화 처리 프로그램 혹은 복호화 처리 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 하는 것에 좋은 상기 각 실시예로 나타낸 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실현하는 것이 가능해진다.
도 12는 상기 각 실시예 및 그 변형예의 부호화 처리 혹은 복호화 처리를, 상기 부호화 처리 프로그램 혹은 복호화 처리 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.
도 12의 (a)는 플로피 디스크의 정면에서 본 외관, 단면 구조 및 플로피 디스크본체를 나타내며, 도 12의 (b)는 해당 플로피 디스크 본체의 물리 포맷의 예를 나타내고 있다.
상기 플로피 디스크 FD는, 상기 플로피 디스크 본체 D를 플로피 디스크 케이스 FC 내에 수용한 구조로 되어 있고, 해당 플로피 디스크 본체 D의 표면에는, 동심원 형상으로 외주로부터 내주로 향하여 복수의 트랙 Tr이 형성되고, 각 트랙 Tr은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 FD에서는, 상기 플로피 디스크 본체 D는, 그 위에 할당된 영역(섹터) Se에, 상기 프로그램으로서의 데이터가 기록되게 되어 있다.
또한, 도 12의 (c)는 플로피 디스크 FD에 대한 상기 프로그램의 기록 및 플로피 디스크 FD에 저장한 프로그램을 이용한 소프트웨어에 의한 화상 처리를 실행하기 위한 구성을 나타내고 있다.
상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs에서 상기 프로그램으로서의 데이터를, 플로피 디스크 드라이브 FDD를 거쳐서 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD에 기록된 프로그램에 의해, 상기 화상 부호화 장치 혹은 화상 복호화 장치를 컴퓨터 시스템 CS중에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여, 컴퓨터 시스템 Cs에 로드한다.
또한, 상기 설명에서는, 데이터 기억 매체로서 플로피 디스크를 이용하여 설명을 하였지만, 광 디스크를 이용하더라도 상기 플로피 디스크의 경우와 같이 소프트웨어에 의한 부호화 처리 혹은 복호화 처리를 실행할 수 있다. 또한, 데이터 기억 매체는 상기 광 디스크나 플로피 디스크에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 어떠한 것이라도 좋고, 이들 데이터 기록 매체를 이용하는 경우라도, 상기 플로피 디스크 등을 이용하는 경우와 같이 소프트웨어에 의한 부호화 처리 혹은 복호화 처리를 실시할 수 있다.
또한, 플로피 디스크 등의 데이터 기억 매체에 저장된 화상 부호화 신호를, 본 실시예 1, 실시예 2 혹은 이들 변형예의 화상 신호 데이터 구조로 함으로써, 상기 플로피 디스크로부터의 화상 부호화 신호를 복호화하여 화상 표시할 때에는, 프레임 표시 주기 혹은 복호화 처리의 주기가 고정인 경우에 간단한 회로 구성에 의해, 화상 부호화 신호의 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행할 수 있다.
이상과 같이 본 발명의 제 1 관점에 따른 화상 신호 데이터 구조에 따르면, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하기 때문에, 각 프레임에 대한 재생 처리의 주기가 고정인 경우에, 간단한 회로 구성으로 화상 부호화 신호의 복호화 처리나 표시 처리 등의 화상 신호 재생 처리를 실행할 수 있다.
본 발명의 제 2 관점에 따르면, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하였기 때문에, 각 프레임에 대한 화상 표시의 주기가 고정인 경우에, 화상 부호화 신호의 복호화에 의해 얻어지는 복호화 데이터의 표시 처리를 간단한 회로 구성으로 실행할 수 있다.
본 발명의 제 3 관점에 따르면, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 고정인 것을 나타내는 표시 주기 고정 식별자를 포함함과 동시에, 상기 표시 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 주기가 고정인 경우에는, 표시 주기 데이터와 프레임 위치 데이터에 근거하여 프레임에 대응하는 화상 표시의 타이밍을 확정할 수 있다.
본 발명의 제 4 관점에 따르면, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인 것을 나타내는 표시 주기 가변 식별자를 포함함과 동시에, 상기 표시 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터를 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 주기가 가변인 경우에는, 표시 타이밍 데이터에 근거하여 프레임에 대응하는 화상 표시의 타이밍을 확정할 수 있다.
본 발명의 제 5 관점에 따르면, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하였기 때문에, 각 프레임에 대한 복호화 처리의 주기가 고정인 경우, 간단한 회로 구성으로 화상 부호화 신호의 복호화 처리를 실행할 수 있다.
본 발명의 제 6 관점에 따르면, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 고정인 것을 나타내는 복호 주기 고정 식별자를 포함함과 동시에, 상기 복호 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하기 때문에, 각 프레임에 대응하는 복호화 처리의 주기가 고정인 경우에는, 복호 주기 데이터와 프레임 위치 데이터에 근거하여 프레임에 대응하는 복호화 처리의 타이밍을 확정할 수 있다.
본 발명의 제 7 관점에 따르면, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 가변인 것을 나타내는 복호 주기 가변 식별자를 포함함과 동시에, 상기 복호 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터를 포함하기 때문에, 각 프레임에 대응하는 복호화 처리의 주기가 가변인 경우에는, 복호 타이밍 데이터에 근거하여 프레임에 대응하는 복호 처리의 타이밍을 확정할 수 있다.
본 발명의 제 8 관점에 관한 화상 부호화 방법에 따르면, 화상 신호로서, 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 재생 주기 식별자와 함께, 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 출력하고, 상기 화상 신호로서, 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 화상 신호가 입력되었을 때, 재생 주기 식별자와 함께, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 출력하기 때문에, 각 프레임에 대한 화상 재생 처리의 주기가 가변인 화상 신호와, 프레임의 화상 재생 처리의 주기가 고정인 화상 신호를, 각각의 화상 신호에 따른, 각 프레임의 재생 타이밍을 나타내는 데이터를 부가하여 부호화할 수 있다. 이에 따라, 프레임의 재생 처리 주기가 고정인 경우에, 재생 처리 시각을 정하는데 필요한 비트수를 삭감할 수 있으며, 또한 프레임의 재생 처리 주기가 가변인 화상의 재생 처리를 종래와 마찬가지로 실행하는 것이 가능해진다.
본 발명의 제 9 관점에 따르면, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터로 하였기 때문에, 프레임의 표시 주기가 고정인 경우에, 표시 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 표시 주기가 가변인 화상의 표시 처리를 종래와 마찬가지로 실행하는 것이 가능해진다.
본 발명의 제 10 관점에 따르면, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터로 하였기 때문에, 프레임의 복호화 처리의 주기가 고정인 경우에, 각 프레임의 복호화 처리의 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 복호화 처리의 주기가 가변인 화상의 복호화 처리를 간단히 실행할 수 있게 된다.
본 발명의 제 11 관점에 관한 화상 복호화 방법에 따르면, 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하고, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하기 때문에, 화상 부호화 신호에 대해, 각 프레임의 재생 처리의 타이밍이 가변인지 여부에 따라서, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있다.
본 발명의 제 12 관점에 따르면, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 화상 표시가 실행되는 표시 타이밍을 나타내는 표시 타이밍 데이터로 하였기 때문에, 화상 부호화 신호에 대해, 각 프레임의 표시 타이밍이 가변인지 여부에 따라서, 표시 처리를 정확하게 실행할 수 있다.
본 발명의 제 13 관점에 따르면, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을, 복호화 처리의 대상으로 되는 대상 프레임을 포함하는 복수 프레임의 표시 타이밍 데이터에 근거하여 설정하기 때문에, 표시 타이밍 데이터에 근거하여, 각 프레임에 대해 표시 처리 뿐만 아니라 복호 처리를 실행하는 것도 가능하다.
본 발명의 제 14 관점에 따르면, 제 13 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 복호 타이밍을, 상기 대상 프레임의 표시 타이밍 데이터 및 그 다음에 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 상기 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정하기 때문에, 표시 타이밍 데이터에 근거하여, 각 프레임에 대한 복호 처리를 표시 처리의 흐름을 저해하는 일 없이 실행할 수 있다.
본 발명의 제 15 관점은, 제 14 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 표시 타이밍이 상기 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 상기 대상 프레임에 대한 복호화 처리에 소요되는 시간 이상의 크기로 설정하고, 상기 다음 프레임의 표시 타이밍이 상기 대상 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 소요되는 시간과, 다음 프레임에 대한 복호화 처리에 소요되는 시간의 합계 시간 이상의 크기로 설정하기 때문에, 예를 들어 I-VOP에 부가하여 P-VOP나 B-VOP를 포함하는 프레임 계열에 대응하는 화상 부호화 데이터에 대한 복호화 처리를, 상기 표시 타이밍 데이터에 근거하여 실행할 수 있다.
본 발명의 제 16 관점에 따르면, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을 나타내는 복호 타이밍 데이터로 하였기 때문에, 화상 부호화 신호에 대하여, 각 프레임의 복호화 처리의 타이밍이 가변인지 여부에 따라 복호화 처리를 정확하게 실행할 수 있다.
본 발명의 제 17 관점에 따르면, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자에 부가하여, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단하게 할 수 있는 화상 신호 데이터 구조를 얻을 수 있다.
본 발명의 제 18 관점에 따르면, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 하였기 때문에, 표시 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단화할 수 있다.
본 발명의 제 19 관점에 따르면, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 하였기 때문에, 복호화 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단화할 수 있다.
본 발명의 제 20 관점에 관한 화상 부호화 방법에 따르면, 화상 신호로서, 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와 함께, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 배수값 M(자연수)으로서의 재생 주기 승수 데이터를 출력하기 때문에, 프레임 레이트가 고정인 화상 부호화 신호를, 그 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 간단한 하드웨어 구성에 의해 실행할 수 있다.
본 발명의 제 21 관점에 따르면, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 배수값 M(자연수)으로서의 표시 주기 승수 데이터로 하였기 때문에, 복호화측에서의 표시 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단하게 할 수 있다.
본 발명의 제 22 관점에 따르면, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 하였기 때문에, 복호화 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단화할 수 있다.
본 발명의 제 23 관점에 관한 화상 복호화 방법에 따르면, 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 화상 부호화 신호에 포함되는, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화측의 하드웨어 구성을 간략화할 수 있게 된다.
본 발명의 제 24 관점에 따르면, 제 23 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 데이터로 하였기 때문에, 복호화측에서의 표시 처리를 위한 하드웨어 구성을 간략화할 수 있게 된다.
본 발명의 제 25 관점에 따르면, 제 23 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 하였기 때문에, 복호화측에서의 복호화 처리를 위한 하드웨어 구성을 간략화하는 것이 가능해진다.
본 발명의 제 26 관점에 관한 화상 부호화 장치에 따르면, 화상 신호에 근거하여, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정하여, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단을 구비하고, 화상 재생 처리의 주기를 나타내는 재생 주기 데이터 및 프레임의 전후 관계를 나타내는 프레임 위치 데이터와, 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를, 상기 재생 주기 식별자에 근거해 전환하여 화상 부호화 데이터 및 재생 주기 식별자와 함께 출력하도록 하였기 때문에, 각 프레임에 대한 화상 재생 처리의 주기가 가변인 화상 신호와, 프레임의 화상 재생 처리의 주기가 고정인 화상 신호가, 각각의 화상 신호에 따른, 각 프레임의 재생 처리 타이밍을 나타내는 데이터가 부가되어 부호화되게 된다. 이에 따라 프레임의 재생 처리 주기가 고정인 경우에 있어서, 재생 처리 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 재생 처리 주기가 가변인 화상의 재생 처리를 간단히 실행하는 것이 가능해진다.
본 발명의 제 27 관점에 관한 화상 복호화 장치에 따르면, 제 26 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 재생 주기 데이터, 프레임 위치 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단을 구비하고, 복호화기에 의한 화상 부호화 데이터의 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 재생 주기 데이터 및 프레임 위치 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성하였기 때문에, 화상 부호화 신호에 대하여, 각 프레임의 재생 처리 타이밍이 가변인지 여부에 따라서 복호화 처리 및 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있다.
본 발명의 제 28 관점에 관한 화상 부호화 장치에 따르면, 화상 신호에 근거하여, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정하여, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단을 구비하고, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터 및 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터와, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를, 상기 재생 주기 식별자에 근거해 전환하여 화상 부호화 데이터 및 재생 주기 식별자와 함께 출력하도록 하였기 때문에, 복호화측에서는, 프레임 레이트가 고정인 화상 부호화 신호를, 그 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 간단한 하드웨어 구성에 의해 실행할 수 있다.
본 발명의 제 29 관점에 관한 화상 복호화 장치에 따르면, 제 28 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 미소 단위 시간 데이터, 재생 주기 승수 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단을 구비하고, 복호화기에 의한 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 미소 단위 시간 데이터 및 재생 주기 승수 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성하였기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화측의 하드웨어 구성을 간략화하는 것이 가능해진다.
본 발명의 제 30 관점에 관한 데이터 기억 매체에 따르면, 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호를, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 데이터 구조로 하였기 때문에, 상기 데이터 기억 매체를 이용함으로써, 각 프레임의 재생 처리의 주기가 고정인 경우에, 화상 부호화 신호의 복호화 처리나 표시 처리 등의 화상 신호의 재생 처리를 간단한 회로 구성에 의해 실행할 수 있다.
본 발명의 제 31 관점에 관한 데이터 기억 매체에 따르면, 화상의 각 프레임에 대응하는 화상 표시가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호를, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 데이터 구조로 하였기 때문에, 상기 데이터 기억 매체를 이용함으로써, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단히 할 수 있다.
본 발명의 제 32 관점에 관한 데이터 기억 매체에 따르면, 제 8 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를, 컴퓨터로 실행시키기 위한 부호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 프레임의 재생 처리주기가 고정인 경우에, 재생 처리 시각을 정하는데 필요한 비트수를 삭감할 수 있으며, 또한 프레임의 재생 처리 주기가 가변인 화상의 재생 처리를 간단히 실행할 수 있는 장치를 실현할 수 있다.
본 발명의 제 33 관점에 관한 데이터 기억 매체에 따르면, 제 11 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를, 컴퓨터로 실행시키기 위한 복호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 화상 부호화 신호에 대하여, 각 프레임의 재생 처리의 타이밍이 가변인지 여부에 따라서, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있는 장치를 실현할 수 있다.
본 발명의 제 34 관점에 관한 데이터 기억 매체에 따르면, 제 20 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를, 컴퓨터로 실행시키기 위한 부호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 간단한 하드웨어 구성에 의해 실행할 수 있는 장치를 실현할 수 있다.
본 발명의 제 35 관점에 관한 데이터 기억 매체에 따르면, 제 23 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를, 컴퓨터로 실행시키기 위한 복호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화측의 하드웨어 구성을 간략화할 수 있는 장치를 실현하는 것이 가능하게 된다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.