상기 기술적 과제를 이루기 위한 영상 처리 장치는, 영상 스트림으로 구성되는 픽처를 복호하여 프레임 화상을 출력하는 복호부; 상기 복호부가 출력한 프레임 화상을 연속하여 각각 1매씩 기억하는 복수의 프레임 메모리; 사용자가 지시한 순방향 또는 역방향 재생 모드에 따라, 상기 복호부로부터 출력되는 프레임 화상 또는 상기 프레임 메모리에 기억된 프레임 화상들 중의 하나를 재생하기 위해 선택하는 선택부; 및 상기 영상 스트림을 순방향으로 재생하는 경우와 역방향으로 재생하는 경우 각각에 있어서 상기 복호부가 복호할 프레임 화상, 상기 복호된 프레임 화상을 기억할 프레임 메모리, 및 상기 선택부가 선택할 프레임 화상을 지정하는 제1 순번 천이 모델과 제2 순번 천이 모델에 지정된 바에 따라, 상기 복호부, 상기 프레임 메모리 및 상기 선택부를 제어하는 콘트롤러를 포함하며, 상기 제2 순번 천이 모델은, 상기 영상 스트림을 역방향으로 재생하는 경우, 상기 복호부로 하여금 상기 프레임 메모리에 기억된 프레임 화상들 중 가장 과거의 프레임 화상보다 1 프레임 과거의 프레임 화상을 복호하도록 하며, 상기 복호된 프레임 화상은 상기 복수의 프레임 메모리 중 가장 미래의 프레임 화상을 기억하고 있는 프레임 메모리가 기억하도록 하며, 상기 선택부로 하여금 상기 복호된 프레임이 기억되는 프레임 메모리 이외의 프레임 메모리에 기억된 프레임 화상들 중 가장 과거의 프레임 화상을 선택하도록 하는 것이 바람직하다.
일 실시예에 있어서, 상기 복수의 프레임 메모리의 갯수는 2개이고, 상기 제1 순번 천이 모델은, 상기 영상 스트림을 순방향으로 재생하는 경우, 상기 복호부로 하여금 상기 프레임 메모리에 기억된 프레임 화상들 중 가장 미래의 프레임 화상보다 1 프레임 미래의 프레임 화상을 복호하도록 하며, 상기 복호된 프레임 화상은 상기 복수의 프레임 메모리 중 가장 과거의 프레임 화상을 기억하고 있는 프레임 메모리가 기억하도록 하며, 상기 선택부로 하여금 상기 복호부가 출력한 프레임 화상을 선택하도록 하는 것이 바람직하다.
더 바람직하기로는, 상기 제1 순번 천이 모델은, 상기 영상 스트림을 순방향으로 재생하는 경우, 상기 복호부로 하여금 상기 프레임 메모리에 기억된 프레임 화상들 중 가장 미래의 프레임 화상보다 1 프레임 미래의 화상을 복호하도록 하며, 상기 복호된 프레임 화상은 상기 복수의 프레임 메모리 중 가장 과거의 프레임 화상을 기억하고 있는 프레임 메모리가 기억하도록 하며, 상기 선택부로 하여금 상기 복호된 프레임이 기억되는 프레임 메모리 이외의 프레임 메모리에 기억된 프레임 화상들 중 가장 미래의 프레임 화상을 선택하도록 하는 것이 바람직하다.
상기 복수의 프레임 메모리의 갯수는 n개이며, 상기 콘트롤러는, 상기 제1 순번 천이 모델에서 상기 제2 순번 천이 모델로 변경된 직후에는, 상기 복호부로 하여금 이전에 복호한 프레임 화상으로부터 n 프레임 과거의 프레임 화상을 복호하 도록 하며, 상기 제2 순번 천이 모델에서 상기 제1 순번 천이로 변경된 직후에는, 상기 복호부로 하여금 이전에 복호한 프레임 화상으로부터 n 프레임 미래의 프레임 화상을 복호하도록 하는 것이 바람직하다.
상기 기술적 과제를 이루기 위한 영상 처리 방법은, 영상 스트림으로 구성되는 픽처를 복호하여 프레임 화상을 출력하는 단계; 상기 복호된 프레임 화상을 연속하여 복수의 프레임 메모리 중 하나에 기록하는 단계; 및 사용자가 지시한 순방향 또는 역방향 재생 모드에 따라, 상기 복호된 프레임 화상 또는 상기 프레임 메모리에 기억된 프레임 화상들 중의 하나를 선택하여 재생하는 단계를 포함하며, 상기 프레임 화상을 출력하는 단계는, 상기 영상 스트림을 역방향으로 재생하는 경우 상기 프레임 메모리에 기억된 프레임 화상들 중 가장 과거의 프레임 화상보다 1 프레임 과거의 프레임 화상을 복호하는 단계를 포함하며, 상기 복호된 프레임 화상을 기록하는 단계는, 상기 영상 스트림을 역방향으로 재생하는 경우 상기 복호된 프레임 화상을 상기 복수의 프레임 메모리 중 가장 미래의 프레임 화상을 기억하고 있는 프레임 메모리에 기록하는 단계를 포함하며, 상기 프레임 화상을 선택하여 재생하는 단계는, 상기 영상 스트림을 역방향으로 재생하는 경우 상기 복호된 프레임이 기억되는 프레임 메모리 이외의 프레임 메모리에 기억된 프레임 화상들 중 가장 과거의 프레임 화상을 선택하는 단계를 포함하는 것이 바람직하다.
상기 프레임 화상을 출력하는 단계는, 상기 영상 스트림을 순방향으로 재생하는 경우 상기 프레임 메모리에 기억된 프레임 화상들 중 가장 미래의 프레임 화상보다 1 프레임 미래의 프레임 화상을 복호하는 단계를 더 포함하며, 상기 복호된 프레임 화상을 기록하는 단계는, 상기 영상 스트림을 순방향으로 재생하는 경우 상기 복호된 프레임 화상을 상기 복수의 프레임 메모리 중 가장 과거의 프레임 화상을 기억하고 있는 프레임 메모리에 기록하는 단계를 더 포함하며, 상기 프레임 화상을 선택하여 재생하는 단계는, 상기 영상 스트림을 순방향으로 재생하는 경우 상기 복호된 프레임이 기억되는 프레임 메모리 이외의 프레임 메모리에 기억된 프레임 화상들 중 가장 미래의 프레임 화상을 선택하는 단계를 더 포함하는 것이 더 바람직하다.
상기 복수의 프레임 메모리의 갯수는 n개이며, 상기 프레임 화상을 출력하는 단계는, 상기 영상 스트림을 순방향으로 재생하는 모드에서 역방향으로 재생하는 모드로 변경된 직후에는 이전에 복호한 프레임 화상으로부터 n 프레임 과거의 프레임 화상을 복호하는 단계; 및 상기 영상 스트림을 역방향으로 재생하는 모드에서 순방향으로 재생하는 모드로 변경된 직후에는 이전에 복호한 프레임 화상으로부터 n 프레임 미래의 프레임 화상을 복호하는 단계를 더 포함하는 것이 더 바람직하다.
상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 영상 스트림으로 구성되는 픽쳐를 복호하고 프레임 화상을 출력하는 디코더; 상기 프레임 화상을 기억하는 프레임 화상 기억부; 상기 디코더로부터 출력되는 프레임 화상을 적어도 2프레임 연속해서 프레임 화상이 기억되도록, 상기 프레임 화상 기억부에 기록하는 프레임 화상 기록부; 상기 프레임 화상을 순방향으로 출력하여 재생하는 순방향 재생 모드, 또는 상기 프레임 화상을 상기 순 방향과는 역방향으로 출력하여 재생하는 역방향 재생 모드 중 어느 한 재생 모드에 대응되도록, 상기 프레임 화상 기억 부 또는 상기 디코더로부터 프레임 화상을 취득하는 프레임 화상 취득부를 구비하는 것을 특징으로 하고 있다.
본 발명에 의하면, 디코더에 의해 출력된 프레임 화상을 어느 프레임 화상 기억부에 기록할 것인지 기록부분을 결정하고, 결정한 기록부분의 프레임 화상 기억부에 프레임 화상의 기록을 제어한다. 또 출력하기 위한 프레임 화상을 취득하기 위해 어느 프레임 화상 기억부로부터 취득할 것인지 취득부분을 결정하고, 결정한 취득부분의 프레임 화상 기억부로부터 프레임 화상을 취득하는 취득 처리를 제어한다. 이러한 구성에 의하면, 재생 모드가 변환되어도 지연 및 끊김 없이 프레임 화상을 취득할 수 있고, 재생 모드의 변환에 대해서 응답성을 높일 수 있다.
상기 순 방향 재생 모드는 시계열에 따라서 과거에서 미래로 프레임 화상을 순서대로 재생하는 것을 나타내는 모드이고, 상기 역 방향 재생 모드는 시계열과는 반대로 미래에서 과거로 프레임 화상을 순서대로 재생하는 것을 나타내는 모드일 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 관점에 의하면, 영상 스트림으로 구성되는 픽쳐가 디코더에 의해 복호되어 출력된 프레임 화상을 2프레임 연속해서 기억하는 제1프레임 화상 기억부 및 제2프레임 화상 기억부를 포함하는 프레임 화상 기억부; 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 미래의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부와 교대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하 고, 프레임 화상을 취득하는 취득부분은 상기 디코더가 되도록 프레임 화상의 취득부분을 결정하는 제1 순번 천이 모델을 기억하는 제1 순번 천이 모델 기억부; 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 과거의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부와 교대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더로부터 출력된 프레임 화상이 기록된 기록부분 이외의 프레임 화상 기억부가 되도록 프레임 화상의 취득부분을 결정하는 제2 순번 천이 모델을 기억하는 제2 순번 천이 모델 기억부; 상기 제1 순번 천이 모델 또는 제2 순번 천이 모델에 따라서, 상기 프레임 화상을 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부에 기록하는 프레임 화상 기록부; 상기 제1 순번 천이 모델 또는 제2 순번 천이 모델에 따라서, 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 디코더로부터 프레임 화상을 취득하는 프레임 화상 취득부를 구비하는 것을 특징으로 하고 있다.
상기 프레임 화상 취득부는 상기 제1 순번 천이 모델 또는 제2 순번 천이 모델의 어느 쪽으로 전환되더라도 끊김없이 상기 프레임 화상 기억부 또는 상기 디코더로부터 프레임 화상을 취득하도록 해도 된다.
상기 제1 순번 천이 모델로부터 상기 제2 순번 천이 모델로 전환되는 경우, 상기 프레임 화상 취득부는 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부에 이미 기억된 프레임 화상을 취득하도록 해도 된다.
상기 프레임 화상 기록부에 의해 상기 제1프레임 화상 기억부에 프레임 화상이 기록되어 상기 제1 순번 천이 모델에서 제2 순번 천이 모델로 전환되는 경우, 상기 프레임 화상 취득부는 상기 제2프레임 화상 기억부에 저장된 프레임 화상을 취득하고, 상기 디코더는 상기 프레임 화상 취득부에 의해 취득된 프레임 화상의 1프레임 전의 프레임 화상을 출력하고, 상기 프레임 화상 기록부는 상기 디코더에 의해 출력된 프레임 화상을상기 제1프레임 화상 기억부에 기록하도록 해도 된다.
상기 프레임 화상 기록부에 의해 상기 제1프레임 화상 기억부에 프레임 화상이 기록되어 상기 제2 순번 천이 모델에서 제1 순번 천이 모델로 전환되는 경우, 상기 프레임 화상 취득부는 상기 제2프레임 화상 기억부에 저장된 프레임 화상을 취득하고, 상기 디코더는 상기 제1프레임 화상 기억부에 저장된 프레임 화상의 하나 앞의 프레임 화상을 출력하도록 해도 된다.
상기 프레임 화상 기록부에 의해 상기 제2프레임 화상 기억부에 프레임 화상이 기록되어 상기 제1 순번 천이 모델에서 제2 순번 천이 모델로 전환되는 경우, 상기 프레임 화상 취득부는 상기 제1프레임 화상 기억부에 저장된 프레임 화상을 취득하고, 상기 디코더는 상기 상기 프레임 화상 취득부에 의해 취득된 프레임 화상보다 1프레임 전의 프레임 화상을 출력하고, 상기 프레임 화상 기록부는 상기 디코더에 의해 출력된 프레임 화상을 상기 제2프레임 화상 기억부에 기록하도록 해도 된다.
상기 프레임 화상 기록부에 의해 상기 제1프레임 화상 기억부에 프레임 화상이 기록되어 상기 제2 순번 천이 모델에서 제1 순번 천이 모델로 전환되는 경우, 상기 프레임 화상 취득부는 상기 제2프레임 화상 기억부에 저장된 프레임 화상을 취득하고, 상기 디코더는 상기 제1프레임 화상 기억부에 저장된 프레임 화상보다 하나 앞의 프레임 화상을 출력하도록 해도 된다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 관점에 의하면, 영상 스트림으로 구성되는 픽쳐가 디코더에 의해 복호되어 출력된 프레임 화상을 3 프레임 연속해서 기억하는 제1프레임 화상 기억부, 제2프레임 화상 기억부, 및 제3 프레임 화상 기억부를 포함하는 프레임 화상 기억부; 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 미래의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부의 순서대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더로부터 출력된 프레임 화상이 기록된 기록부분 이외의 프레임 화상 기억부가 되도록 프레임 화상의 취득부분을 결정하는 제1 순번 천이 모델을 기억하는 제1 순번 천이 모델 기억부; 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 과거의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부의 순서대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더로부터 출력된 프레임 화상이 기록된 기록부분 이외의 프레임 화상 기억부가 되도록 프레임 화상의 취득부분을 결정하는 제2 순번 천이 모델을 기억하는 제2 순번 천이 모델 기억부; 상기 제1 순번 천이 모델 또는 제2 순번 천이 모델에 따라서, 상기 프레임 화상을 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부에 기록하는 프레임 화상 기록부와; 상기 제1 순번 천이 모델 또는 제2 순번 천이 모델에 따라서, 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부로부터 프레임 화상을 취득하는 프레임 화상 취득부를 구비하는 것을 특징으로 하고 있다.
상기 프레임 화상 취득부는 상기 제1 순번 천이 모델 또는 제2 순번 천이 모델의 어느 쪽으로 전환되더라도 끊김없이 상기 프레임 화상 기억부 또는 상기 디코더로부터 프레임 화상을 취득하도록 해도 된다.
상기 프레임 화상을 취득하는 취득부분은 상기 프레임 화상 취득부에 의해 직전에 취득된 프레임 화상을 기억하는 프레임 화상 기억부를 대상외로 해도 된다.
상기 제1 순번 천이 모델 또는 제2 순번 천이 모델의 어느 쪽으로 전환되더라도 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부 중 어느 하나로부터 상기 프레임 화상 취득부에 의해 취득되는 프레임 화상은 3 프레임 연속되는 프레임 화상 중 가운데 프레임에 해당하는 프레임 화상이도록 구성할 수 있다. 이러한 구성에 의해, 프레임 화상을 부드럽게 끊김이 없이 취득하고, 출력할 수 있다.
상기 제1 순번 천이 모델에서 제2 순번 천이 모델로 전환되는 경우, 상기 디코더는 바뀌기 직전에 상기 프레임 화상 취득부에 의해 취득된 프레임 화상의 2프 레임 전의 프레임 화상을 출력하고, 상기 프레임 화상 기록부는 상기 디코더에 의해 출력된 프레임 화상을 상기 전환 직전에 프레임 화상이 기록된 프레임 화상 기억부에 대해서 기록하고, 상기 프레임 화상 취득부는 전환 직전에 상기 프레임 화상 취득부에 의해 취득된 프레임 화상의 1프레임 전의 프레임 화상을 취득하도록 해도 된다.
상기 제2 순번 천이 모델에서 제1 순번 천이 모델로 전환되는 경우, 상기 디코더는 전환 직전에 상기 프레임 화상 취득부에 의해 취득된 프레임 화상의 2프레임 후의 프레임 화상을 출력하고, 상기 프레임 화상 기록부는 상기 디코더에 의해 출력된 프레임 화상을 상기 전환 직전에 프레임 화상이 기록된 프레임 화상 기억부에 대해서 기록하고, 상기 프레임 화상 취득부는 전환 직전에 상기 프레임 화상 취득부에 의해 취득된 프레임 화상의 1프레임 후의 프레임 화상을 취득하도록 해도 된다.
상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 컴퓨터로 하여금, 영상 스트림으로 구성되는 픽쳐를 복호하고 프레임 화상을 출력하는 디코더와, 상기 프레임 화상을 기억하는 프레임 화상 기억부를 구비한 영상 처리 장치로서 기능시키는 컴퓨터 프로그램이 제공된다. 상기 컴퓨터 프로그램은 상기 디코더로부터 출력되는 프레임 화상을 적어도 2프레임 연속해서 프레임 화상이 기억되도록, 상기 프레임 화상 기억부에 기록하는 프레임 화상 기록 수단; 및 상기 프레임 화상을 순방향으로 출력하여 재생하는 순방향 재생 모드, 또는 상기 프레임 화상을 상기 순방향과는 역방향으로 출력하여 재생하는 역방향 재생 모드의 어느 한 재생 모드에 대응되도록, 상기 프레임 화상 기억부 또는 상기 디코더로부터 프레임 화상을 취득하는 프레임 화상 취득 수단으로 기능시키는 것을 특징으로 하고 있다.
상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 컴퓨터로 하여금, 영상 스트림으로 구성되는 픽쳐를 복호하고 프레임 화상을 출력하는 디코더와, 상기 디코더에 의해 출력된 프레임 화상을 2프레임 연속해서 기억하는 제1프레임 화상 기억부 및 제2프레임 화상 기억부를 포함하는 프레임 화상 기억부를 구비한 영상 처리 장치로서 기능시키는 컴퓨터 프로그램이 제공된다. 상기 컴퓨터 프로그램은 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 미래의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부와 교대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더가 되도록 프레임 화상의 취득부분을 결정하는 제1 순번 천이 수단; 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 과거의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부와 교대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더로부터 출력된 프레임 화상이 기록된 기록부분 이외의 프레임 화상 기억부가 되도록 프레임 화상의 취득부분을 결정하는 제2 순번 천이 수단; 상기 제1 순번 천이 수단 또는 제2 순번 천이 수단에 의한 결정에 따라서, 상기 프레임 화상을 상기 제1프레임 화상 기억부 또는 상기 제2프레임 화상 기억부에 기록하는 프레임 화상 기록 수단; 및 상기 제1 순번 천이 수단 또는 제2 순번 천이 수단에 의한 결정에 따라서, 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 디코더로부터 프레임 화상을 취득하는 프레임 화상 취득 수단으로 컴퓨터를 기능시키는 것을 특징으로 하고 있다.
상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 컴퓨터로 하여금, 영상 스트림으로 구성되는 픽쳐를 복호하고 프레임 화상을 출력하는 디코더와, 상기 디코더에 의해 출력된 프레임 화상을 3 프레임 연속해서 기억하는 제1프레임 화상 기억부, 제2프레임 화상 기억부, 및 제3 프레임 화상 기억부를 포함하는 프레임 화상 기억부를 구비한 영상 처리 장치로서 기능시키는 컴퓨터 프로그램이 제공된다. 상기 컴퓨터 프로그램은 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 미래의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부의 순서대로 반복하여 천이시켜 프레임 화상의 기록부분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더로부터 출력된 프레임 화상이 기록된 기록부분 이외의 프레임 화상 기억부가 되도록 프레임 화상의 취득부분을 결정하는 제1 순번 천이 수단; 상기 디코더에 대해 다수 정렬된 픽쳐를 프레임 화상 기억부가 기억하고 있는 화상보다 과거의 화상을 복호시킴과 동시에, 그 디코더로부터 출력된 프레임 화상을 기록하는 기록부분을 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부의 순서대로 반복하여 천이시켜 프레임 화상의 기록부 분을 결정하고, 프레임 화상을 취득하는 취득부분은 상기 디코더로부터 출력된 프레임 화상이 기록된 기록부분 이외의 프레임 화상 기억부가 되도록 프레임 화상의 취득부분을 결정하는 제2 순번 천이 수단; 상기 제1 순번 천이 수단 또는 제2 순번 천이 수단에 의한 결정에 따라서, 상기 프레임 화상을 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부에 기록하는 프레임 화상 기록 수단; 및 상기 제1 순번 천이 수단 또는 제2 순번 천이 수단에 의한 결정에 따라서, 상기 제1프레임 화상 기억부, 상기 제2프레임 화상 기억부, 또는 상기 제3 프레임 화상 기억부로부터 프레임 화상을 취득하는 프레임 화상 취득 수단으로 컴퓨터를 기능시키는 것을 특징으로 하고 있다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 영상 처리 장치 및 방법을 상세하게 설명한다. 설명 및 첨부 도면에 있어서, 동일한 기능 및 구성을 가지는 구성 요소에 관해서는 동일 부호를 부가함으로써 중복 설명을 생략한다.
(영상 재생 장치에 대해서)
우선, 도 1을 참조하면서 제1 실시형태에 따른 영상 재생 장치(영상 처리 장치)(101)에 대해서 설명한다. 도 1은 제1 실시형태에 따른 영상 재생 장치의 개략적인 구성의 일례를 나타내는 블럭도이다.
영상 재생 장치(101)는 기록 매체(131)에 기록된 영상데이터를 복호하고, 선택부(143)로부터의 프레임 화상을 디스플레이 장치 등의 출력장치(출력 디바이스)에 출력하는 재생 기능을 구비한 장치이다.
도 1에 나타낸 바와 같이, 제1 실시형태에 따른 영상 재생 장치(101)는 미래 또는 과거를 향해, 즉 순방향 또는 역방향으로, 프레임 어드밴스 재생 지시를 사용자에게서 접수하는 지시 접수부(111), 콘트롤러(113), 기록 매체 독출부(취득부)(123), 미래 화상(순방향) 재생 모델 기억부(제1 순번 천이 모델 기억부)(125), 버퍼(127), 복호부(128), 과거 화상(역방향) 재생 모델 기억부(제2 순번 천이 모델 기억부)(129), 프레임 메모리(141) 및 선택부(143)를 구비하고 있다.
상기 지시 접수부(111)는 예를 들면, 영상을 시계열에 따라서 영상의 끝부분을 향해 재생하는 미래 프레임(순방향) 어드밴스 재생, 또는 영상을 과거로 돌려 재생하는 과거 프레임(역방향) 어드밴스 재생 지시 등을 사용자에게서 받는 것이 가능한 1 또는 2 이상으로 이루어지는 버튼(미래 프레임 어드밴스 재생 버튼, 재생 정지 버튼, 과거 프레임 어드밴스 재생 버튼, 재생 종료 버튼 등)이지만 이러한 예로 한정되지 않으며, 지시 접수부(111)는 상기 사용자에게서 각종 지시를 받을 수 있는 것이면 트랙 볼, 트랙 패드, 스타일러스 펜, 다이얼 로그, 또는 조이스틱 등의 포인팅 디바이스 또는 키보드 등이어도 된다.
더욱이, 본 실시형태에 따른 미래 프레임 어드밴스 재생, 또는 과거 프레임 어드밴스 재생은 미래 화상 재생 모델(134), 또는 과거 화상 재생 모델(136)을 콘트롤러(113)가 참조 또는 실행하는 것으로 프레임 어드밴스 재생이 이루어지는데 상세한 설명은 후술한다.
또한, 상기 지시 접수부(111)는 사용자에게서 지시를 접수하면 그 지시 내용을 나타내는 미래 프레임 어드밴스 재생 신호 등의 지시 신호를 콘트롤러(113)로 전달한다. 콘트롤러(113)는 이러한 지시 신호를 받으면, 기록 매체 독출부(123) 등 의 각 부를 제어하고, 프레임 어드밴스 재생을 실행시킨다.
기록 매체 독출부(123)는 기록 매체(131)에 기록된 영상 스트림을 예를 들면, GOP단위로 기록 매체(131)로부터 독출하여 버퍼(127)로 전송한다. 버퍼(127)는 기록 매체 독출부(123)부터 전송되는 영상 스트림을 차례로 기록하여 기억한다.
또한, 기록 매체(131)에는 화상 신호의 시퀀스가 재정렬되어(리오더링), 1 또는 2프레임 이상의 픽쳐로 구성되는 GOP(Group of Picture, 또는 픽쳐군)로 부호화 된 영상 스트림이 기록되어 있다. 따라서, 영상 스트림에는 1 또는 2 개이상의 GOP가 포함되어 있다. 또한 영상 스트림은 동화상 및/또는 음성을 포함하고 있다. 더욱이, 영상 스트림은 상기 동화상에 한정되지 않으며, 예를 들면 정지 화상 등을 포함해도 된다.
또한, 본 실시형태에 따른 기록 매체(131)는 예를 들면, MPEG방식 등으로 부호화 된 영상 스트림을 기억할 수 있으면, CD- ROM 또는 DVD 등의 광디스크, 하드 디스크 드라이브 등의 자기 디스크를 예시할 수 있으나 이러한 예로 한정되지 않는다.
또한, 본 실시형태에 따른 버퍼(127)는 예를 들면, SDRAM, DRAM 등의 메모리를 예시할 수 있으나 이러한 예로 한정되는 것은 아니다.
상기 미래 화상 재생 모델 기억부(125)는 미래 화상 재생 모델(134)을 기억하는 기억 수단이다. 또 상기 미래 화상 재생 모델 기억부(125)와 마찬가지로 과거 화상 재생 모델 기억부(129)는 과거 화상 재생 모델(136)을 기억하는 기억 수단이다. 또한, 미래 화상 재생 모델 기억부(125) 및 과거 화상 재생 모델 기억부(129) 는 예를 들면, ROM(Read only Memory) 또는 HDD(하드 디스크 드라이브) 등이 있으나 이러한 예로 한정되지 않는다.
상기 미래 화상 재생 모델(134) 및 과거 화상 재생 모델(136)은, 대상이 되는 프레임 화상을 프레임 메모리(141)에 기록하는 기록부분과 기록부분 사이의 천이, 및 대상이 되는 프레임 화상을 프레임 메모리(141)로부터 취득하는 취득부분과 취득부분 사이의 천이 거동을 표현한 것이다.
보다 구체적으로는, 상기 미래 화상 재생 모델(134) 및 과거 화상 재생 모델(136)은 콘트롤러(113)가 프레임 어드밴스 재생 제어시에 실행 또는 참조되는 펌웨어 등의 프로그램 또는 지시 데이터 등이다. 상기 미래 화상 재생 모델(134) 및 과거 화상 재생 모델(136)에 관해서는 아래에 상세히 설명한다.
또한, 상기 지시 데이터에는 상기한 바와 같이, 예를 들면 콘트롤러(113)가 참조되어 제어 가능하도록 프레임 화상을 기록하는 프레임 메모리(141)의 기록부분과, 프레임 화상을 취득하는 프레임 메모리(141)의 취득부분 등의 정보가 포함되어 있는데, 이러한 예로 한정되지 않는다.
상기 복호부(128)는 상기 버퍼(127)에 기억된 영상 스트림을 해당 버퍼(127)의 기억 영역에서 취득하고, GOP에 구성된 1 또는 2프레임 이상의 픽쳐를 각각 복호하여 프레임 화상을 출력한다. 또한, 상기와 같이, 프레임 화상은 복호부(128)에 의해 복호된 화상을 가리키는 것으로 한다.
상기 복호부(128)는 픽쳐를 복호하면 콘트롤러(113)로부터의 지시에 기초하여 프레임 화상을 프레임 메모리(141)(141-1, 141-2)중 한 곳으로 출력한다.
프레임 메모리(141)는 복호부(128)로부터 전송되는 1프레임분의 프레임 화상을 기억할 수 있다. 즉, 도 1에 나타낸 바와 같이, 프레임 메모리(141-1)와 프레임 메모리(141-2)에서 2프레임분의 프레임 화상을 기억할 수 있다.
또한, 본 실시형태에 따른 프레임 메모리(141)는 프레임 화상을 기억하거나 기억된 프레임 화상을 삭제하는 것이 가능한 메모리이면 메모리의 종류 등에 한정되지 않는다.
상기 선택부(143)는 복호부(128), 프레임 메모리(141-1), 또는 프레임 메모리(141-2)의 어느 한쪽에서 프레임 화상을 취득하고 디스플레이 장치 등으로 출력한다.
선택부(143)는 콘트롤러(113)로부터의 지시에 기초하여 상기 복호부(128), 프레임 메모리(141-1), 또는 프레임 메모리(141-2)로부터 프레임 화상을 취득한다.
덧붙여, 도 1에 나타낸 바와 같이, 제1 실시형태에 따른 미래 화상 재생 모델 기억부(125)와 과거 화상 재생 모델 기억부(129)는 별체로 된 경우를 예로 들어 설명했으나 이러한 예로 한정되지 않으며 예를 들면, 미래 화상 재생 모델 기억부(125)와 과거 화상 재생 모델 기억부(129)가 하나의 기억부로서 일체적으로 구성되는 것도 가능하다.
또한, 도 1에 나타낸 바와 같이, 프레임 메모리(141)는 프레임 메모리(141-1)와 프레임 메모리(141-2)의 2개의 기억 영역으로 구성되는 경우를 예로 들어 설명했으나 이러한 예로 한정되지 않으며 2프레임분의 프레임 화상을 구분해서 기억하는 것이 가능하다면 예를 들면, 프레임 메모리(141)의 하나의 기억 영역을 2개로 나누어 2프레임의 프레임 화상이 그 기억 영역 각각에 기억되는 경우여도 된다.
또한, 도 1에는 도시 되어 있지 않지만, 영상 재생 장치(101)는 복호부(128)로부터 출력되는 영상 신호를 출력 가능한 표시부 등에 상당하는 디스플레이 장치(미도시)를 더 구비할 수 있다. 예를 들면, 복호부(128)로부터 출력되는 영상 신호를 디스플레이 장치는 화면에 표시할 수 있다. 디스플레이 장치는 예를 들면 액정 디스플레이 등이 있으며, 정지 화상, 동화상, 혹은 음성 또는 그것들의 임의의 조합들을 출력할 수 있다.
다음으로, 상기 GOP에 대해서 설명하면, GOP는 MPEG 방식 등에 따라서 부호화 된 1 또는 2프레임 이상의 픽쳐(화상 데이터)의 모임이다. 또한, GOP는 일반적으로, 예를 들면, 1GOP에 10프레임∼15프레임의 픽쳐로 구성되는데, 이러한 예로 한정되지 않으며, 이른바 Long GOP라고 불리며 예를 들면, 1GOP에 60프레임 이상의 픽쳐를 포함하는 경우여도 된다.
또한, 상기 픽쳐에는 I픽쳐(Intra 픽쳐, 또는 프레임내 부호화 화상), P픽쳐(Predictive 픽쳐, 또는 프레임간 순방향 예측 부호화 화상), 및 B픽쳐(Bidirectionally predictive 부호화 화상, 또는 양방향 예측 부호화 화상)의 3타입의 픽쳐가 존재한다. 더욱이, 본 실시형태에 따른 픽쳐는 예를 들면, 부호화후의 화상 데이터로 구성되는 각 프레임의 화상 또는 데이터를 말하지만, 이러한 예로 한정되지 않는다.
상기 I픽쳐는 전의 프레임과의 상관관계를 이용하지 않는 독립된 픽쳐이고, 상기P픽쳐는 전의 프레임과의 상관관계를 이용하는 픽쳐이고, 상기 B픽쳐는 전후 양방의 프레임과의 상관관계를 이용하는 픽쳐이다.
일반적으로, B픽쳐를 사용하지 않고 I픽쳐와 P픽쳐만을 사용하는 경우보다 B픽쳐를 I픽쳐 또는 P픽쳐 사이에 두는 것으로 사용하는 경우가 동일 비트 레이트에서의 화질은 좋다.
또한, 제1 실시형태에 따른 영상 재생 장치(101)는 재생 기능을 가지는 장치의 경우를 예로 들어 설명했으나, 이러한 예로 한정되지 않으며, 예를 들면, 영상 재생 장치(101)는 CCD 등을 가지는 촬상장치, 또는 입력하는 영상 신호를 영상 데이터로 부호화하여 기록 매체(131)에 기록하는 기록 장치 중 적어도 한 개를 더 구비한 장치여도 좋다.
또한, 본 실시형태에 따른 영상 재생 장치(101)는 영상을 출력하는 디스플레이 장치를 일체적으로 구비하는 경우, 또는 디스플레이 장치를 별체 외부에 접속하는 경우여도 좋다.
(프레임 어드밴스 재생 처리에 대해서)
다음으로, 도 1 및 도 2를 참조하면서 제1 실시형태에 따른 영상 재생 장치(101)에 의한 프레임 어드밴스 재생 처리에 대해서 설명한다. 또한, 도 2는 도 1의 영상 재생 장치(101)의 구성 일부분을 확대한 설명도이다.
도 1 및 도 2에 나타낸 바와 같이, 영상 재생 장치(101)에 의한 프레임 어드밴스 재생 처리에서, 콘트롤러(113)는 아래 (1)∼(4)에 나타내는 제어를 한다.
(1) 콘트롤러(113)는 현재 재생하고 있는 프레임 화상을 중심으로해서 과거, 현재, 또는 미래의 프레임 화상(또는 과거 프레임 화상, 현재 프레임 화상, 미래 프레임 화상)을 1매씩 프레임 메모리(141)(141-1, 141- 2)에 기억시킨다.
(2) 사용자가 지시한 미래 또는 과거 프레임 어드밴스 재생에 맞추어서 콘트롤러(113)는 선택부(143)에 출력 대상이 되는 표시 화상의 프레임 화상을 프레임 메모리(141)(141-1, 141- 2)또는 복호부(128)로부터 취득시킨다.
(3) 미래 또는 과거 프레임 어드밴스 재생에 따라, 콘트롤러(113)는 복호부(128)에 대해, 선택부(143)부터의 출력 대상이 되는 표시 화상의 프레임 화상을 기준으로 미래의 화상을 프레임 어드밴스 재생(미래 프레임 어드밴스 재생)하는 경우에는 시간적으로 1프레임 후의 미래 픽쳐를 복호하도록 지시하고, 과거의 화상을 프레임 어드밴스 재생(과거 프레임 어드밴스 재생)하는 경우에는 시간적으로 1프레임 전의 과거 픽쳐를 복호하도록 지시한다. 또한, 재생 모드가 미래 프레임 어드밴스 재생 또는 과거 프레임 어드밴스 재생으로 변경된 직후의 복호만, 콘트롤러(113)는 복호부(128)에 대해서 미래 프레임 어드밴스 재생으로 변경된 경우에는 직전에 복호한 프레임 화상의 2프레임 후에 상당하는 픽쳐를 복호하도록 지시하고, 과거 프레임 어드밴스 재생으로 변경된 경우에는 직전에 복호한 프레임 화상의 2프레임 전에 상당하는 픽쳐를 복호하도록 지시한다. 또한, 콘트롤러(113)는 버퍼(127)에 대해, 복호부(128)가 복호하는 대상이 되는 영상 스트림의 해당 픽쳐를 복호부(128)에 출력하도록 제어한다.
또한, 콘트롤러(113) 또는 복호부(128)는 예를 들면 버퍼(127)에 기억된 영상 스트림내의 PES헤더를 검출하는 것으로 프레임 화상/픽쳐마다 관리를 하고 또한, 콘트롤러(113) 또는 복호부(128)는 영상 스트림에 포함되는 픽쳐를 상기 PES헤 더 정보에 기초하여 검출해 취득, 복호, 출력하는데, 이러한 예로 한정되는 것은 아니다.
(4) 콘트롤러(113)는 복호부(128)가 픽쳐에서 복호한 프레임 화상을 프레임 메모리(141-1) 또는 프레임 메모리(141-2)의 한 곳으로 출력하도록 복호부(128)에 대해 지시하고, 프레임 메모리(141)는 복호부(128)로부터 출력된 프레임 화상을 기억한다.
다음으로, 도 3을 참조하면서, 보다 구체적으로 제1 실시형태에 따른 프레임 어드밴스 재생 처리에 대해서 설명한다. 도 3은 제1 실시형태에 따른 프레임 어드밴스 재생 처리의 개략을 나타내는 설명도이다.
도 3(a)의 프레임 화상에는 설명의 편의상, 프레임 화상을 식별하는 번호가 시계열에 따라서 부여되어 있다. 이후의 설명에서는 이러한 프레임 화상의 번호를 사용해 설명한다. 미래 프레임 어드밴스 재생은 이러한 프레임 화상의 번호를 사용하여 설명하면 화면상에 출력되는 프레임 화상의 순번은 예를 들면 프레임 화상 5, 프레임 화상 6, 프레임 화상 7, …이 되고, 과거 프레임 어드밴스 재생은 프레임 화상 7, 프레임 화상 6, 프레임 화상 5, …가 된다.
콘트롤러(113)가 미래 화상 재생 모델(134) 또는 과거 화상 재생 모델(136)을 참조 또는 실행함으로써 미래 또는 과거 프레임 어드밴스 재생에 대해서 영상 재생 장치(101)에 구비되는 각부의 처리에 대해서 도시하면 도 3(b)와 같이 된다.
도 3(b)에서는 초기 상태로서, 예를 들면 프레임 메모리(141-1)(FM1)에 프레임 화상 7이 기억되고, 프레임 메모리(141-2)(FM2)에 프레임 화상 6이 기억되고, 복호부(128)(D)에서는 프레임 화상 7이 복호되고, 화면상에는 복호부(128)로부터의 프레임 화상 7이 출력되고 있는데 이러한 예로 한정되는 것은 아니다.
더욱이, 도 3(b)에 도시한 재생 모드 "0"은 재생 개시 되지 않은 상태를 나타내고, 재생 모드 "+1"은 미래 프레임 어드밴스 재생, "-1"은 과거 프레임 어드밴스 재생 상태를 나타낸다.
다음으로, 지시 접수부(111)로부터 미래 프레임 어드밴스 재생 지시 신호가 콘트롤러(113)로 송신되면, 콘트롤러(113)는 미래 화상 재생 모델(134)을 실행 또는 참조하여 재생 모드를 "+1"로 한다. 그리고, 콘트롤러(113)는 미래 화상 재생 모델(134)을 기초로 복호부(128)에 대해 프레임 화상 7 다음의 프레임 화상 8을 FM2에 출력하도록 지시한다.
복호부(128)는 프레임 화상 8에 대해서 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 8로 복호한다.
또한, 복호부(128)는 프레임 화상 8을 FM2로 출력한다. FM2는 복호부(128)로부터 프레임 화상 8을 받으면 프레임 화상 6에 프레임 화상 8을 덮어 쓰기하여(도 3(b)의 "6→8"), 프레임 화상 8을 기록한다(도 3(b)의 기록, 8→FM2).
다음으로, 콘트롤러(113)는 미래 화상 재생 모델(134)을 기초로 선택부(143)에 대해 복호부(128)에 의해 출력된 프레임 화상 8을 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 8은 화면상에 출력된다(도 3(b)의 D(8)).
상기 프레임 화상 8이 출력되면 이어서 미래 프레임 어드밴스 재생을 계속하 기 위해, 다음에 콘트롤러(113)는 복호부(128)에 대해 프레임 화상 8의 1프레임 후의 프레임 화상 9를 FM1로 출력하도록 지시한다.
FM1에 표시 화상이 되는 프레임 화상 9를 기억하고, FM2에 1프레임 전의 프레임 화상 8을 기억하는 것으로, 영상 재생 장치(101)는 미래 프레임 어드밴스 재생에 있어서, 항상 1프레임분 과거의 프레임 화상을 보유할 수 있다.
복호부(128)는 프레임 화상 9에 대해서 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 9로 복호한다.
덧붙여, 복호부(128)는 프레임 화상 9를 FM1로 출력한다. FM1은 복호부(128)로부터 프레임 화상 9를 받으면, 프레임 화상 7에 프레임 화상 9를 덮어 쓰기하여(도 3(b)의 재생 모드 "+1"에서 위에서 2번째의 "7→9"), 프레임 화상 9를 기록한다(도 3(b)의 기록, 9→FM1). 즉, 프레임 메모리(141)에는 프레임 화상 8과 프레임 화상 9와 같이 2프레임 연속된 프레임 화상이 기억된다.
다음으로, 콘트롤러(113)는 순방향(미래 화상) 재생 모델(134)에 기초하여 선택부(143)에 대해 복호부(128)에 의해 출력된 프레임 화상 9를 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 9는 화면상에 출력된다(도 3(b)의 D9).
상기와 같이, 프레임 화상 9가 출력되면 미래 프레임 어드밴스 재생을 계속하기 위해 콘트롤러(113)는 다음으로, 복호부(128)에 대해 프레임 화상 9의 다음의 프레임 화상 10을 FM2로 출력하도록 지시한다.
복호부(128)는 프레임 화상 10에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 10으로 복호한다.
더욱이, 복호부(128)는 프레임 화상 10을 FM2로 출력한다. FM2는 복호부(128)로부터 프레임 화상 10을 받으면, 이미 기억된 프레임 화상 8에 프레임 화상 10을 덮어 쓰기하여(도 3(b)의 "8→10"), 프레임 화상 10을 기록한다(도 3(b)의 기록, 10→FM2).
이와 같이 프레임 메모리(141)에 기억되는 프레임 화상은 FM1 또는 FM2에 교대로 기억된다. 즉, 순방향 프레임 어드밴스 재생은 프레임 화상을 FM1 또는 FM2에 교대로 기억시키면서 프레임 화상을 미래를 향해 1프레임씩 순서대로 프레임 어드밴스 시키고 있다.
다음으로, 콘트롤러(113)는 순방향 재생 모델(134)에 기초하여 선택부(143)에 대해 복호부(128)에 의해 출력된 프레임 화상 10을 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 10은 화면상에 출력된다(도 3(b)의 D(10)).
상기 프레임 화상 9가 출력되고, 지시 접수부(111)로부터 역방향(과거) 프레임 어드밴스 재생 지시 신호가 콘트롤러(113)로 송신되면, 콘트롤러(113)는 미래 화상 재생 모델(134)의 실행 또는 참조를 중지하고, 과거 화상 재생 모델(136)을 실행 또는 참조하여 재생 모드를 "-1"로 한다. 그리고, 콘트롤러(113)는 과거 화상 재생 모델(136)에 기초하여 복호부(128)에 대해 프레임 어드밴스 재생 전환 직전에 복호된 프레임 화상 10의 2프레임 전의 프레임 화상 8을 프레임 어드밴스 재생 전환 직전에 기록한 FM2로 출력하도록 지시한다. 상기와 같이 2프레임 전 또는 2프레임 후의 프레임 화상을 복호하는 것은 예를 들면, 프레임 어드밴스 재생이 미래 또는 과거 프레임 어드밴스 재생으로 바뀐 직후만이지만, 이러한 예로 한정되지 않는다.
다음으로, 복호부(128)는 프레임 화상 8에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 8로 복호한다(도 3(b)의 화살표 A).
또한, 복호부(128)는 프레임 화상 8을 FM2로 출력한다. FM2는 복호부(128)로부터 프레임 화상 8을 받으면, 이미 기억된 프레임 화상 10에 프레임 화상 8을 덮어 쓰기하여(도 3(b)의 "10→8"), 프레임 화상 8을 기록한다(도 3(b)의 기록, 8→FM2).
이와 같이 미래 또는 과거 프레임 어드밴스 재생이 전환되면, 미래 프레임 어드밴스 재생에서 마지막에 기록된 프레임 화상을 기억하는 프레임 메모리(141)에 과거 프레임 어드밴스 재생에서 최초로 복호된 프레임 화상이 기억된다.
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(136)에 기초하여 선택부(143)에 대해, FM1에 이미 기억된 프레임 화상 9를 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 9는 화면상에 출력된다(도 3(b)의 FM1(9)).
이와 같이 복호부(128)로부터가 아니고 프레임 메모리(141)에 기억된 프레임 화상을 출력함으로써, 복호부(128)에 의한 2프레임 전의 프레임 화상으로의 복호 때문에 지연이 생겼어도, 미래 또는 과거 프레임 어드밴스 재생을 부드럽게 전환하여, 사용자의 프레임 어드밴스 재생 전환에 대한 응답성을 높일 수 있다.
상기 프레임 화상 9가 출력되면 이어서 과거 프레임 어드밴스 재생을 계속하기 위해 콘트롤러(113)는 복호부(128)에 대해 프레임 화상 8의 1프레임 전의 프레임 화상 7을 FM1에 출력하도록 지시한다.
FM1에 프레임 화상 7을 기억하고, FM2에 1프레임 후의 표시 화상이 되는 프레임 화상 8을 기억하는 것으로, 영상 재생 장치(101)는 과거 프레임 어드밴스 재생에 있어서도 항상 1프레임분 과거의 프레임 화상을 보유할 수 있다.
복호부(128)는 프레임 화상 7에 대해서 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 7로 복호한다.
또한, 복호부(128)는 프레임 화상 7을 FM1에 출력한다. FM1은 복호부(128)로부터 프레임 화상 7을 받으면, 프레임 화상 9에 프레임 화상 7을 덮어 쓰기하여(도 3(b)의 "9→7"), 프레임 화상 7을 기록한다(도 3(b)의 기록, 7→FM1). 즉, 프레임 메모리(141)에는 프레임 화상 7과 프레임 화상 8과 같이 2프레임 연속된 프레임 화상이 기억된다.
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(136)에 기초하여 선택부(143)에 대해 FM2에 이미 기억된 프레임 화상 8을 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 8은 화면상에 출력된다(도 3(b)의 FM2(8)). 따라서, 영상 재생 장치(101)는 1프레임씩 순서대로 과거로 돌려 프레임 화상을 출력할 수 있고, 과거 프레임 어드밴스 재생을 적절하게 실행할 수 있다. 더욱이, 이후의 과거 프레임 어드밴스 재생에서도 도 3(b)의 재생 모드 "-1"과 같이, 복호부(128)에 의해 복호된 프레임 화상보다 1프레임 전의 프레임 메모리(141)의 프레임 화상이 표시 화상으로서 출력된다.
도 3(b)에 나타낸 바와 같이, 과거 프레임 어드밴스 재생에 상기 프레임 화상 8이 출력되고, 지시 접수부(111)로부터 미래 프레임 어드밴스 재생 지시 신호가 콘트롤러(113)로 송신되면, 콘트롤러(113)는 과거 화상 재생 모델(136)의 실행 또는 참조를 중지하고, 다시 미래 화상 재생 모델(134)을 실행 또는 참조하고, 재생 모드를 "+1"로 한다. 그리고, 콘트롤러(113)는 미래 화상 재생 모델(134)에 기초하여 복호부(128)에 대해 프레임 어드밴스 재생 변환 직전에 복호된 프레임 화상 7의 2프레임 후의 프레임 화상 9를 프레임 어드밴스 재생 변환 직전에 기록한 FM1로 출력하도록 지시한다.
다음으로, 복호부(128)는 프레임 화상 9에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 9로 복호한다(도 3(b)의 화살표 B).
또한, 복호부(128)는 프레임 화상 9를 FM1로 출력한다. FM1은 복호부(128)로부터 프레임 화상 9를 받으면, 이미 기억된 프레임 화상 7에 프레임 화상 9를 덮어 쓰기하여(도 3(b)의 최하단의 "7→9"), 프레임 화상 9를 기록한다(도 3(b)의 최하단의 9→FM1).
다음으로, 콘트롤러(113)는 미래 화상 재생 모델(134)에 기초하여 선택부(143)에 대해, 조금 전의 복호부(128)에 의해 복호된 프레임 화상 9를 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 9는 화면상에 출력된다(도 3(b)의 D(9)).
이후, 상기 설명과 같은 동작이 미래 또는 과거 프레임 어드밴스 재생이 정지할 때까지 계속된다.
제1 실시형태에 따른 프레임 어드밴스 재생에서는 프레임 메모리(141)는 프레임 메모리(141-1)와 프레임 메모리(141-2) 2개의 프레임 메모리인 경우를 예로 들어 설명했지만 이러한 예로 한정되는 것은 아니며, 프레임 메모리(141)는 2 이상의 프레임 메모리를 가지는 경우에서도 실시 가능하다. 프레임 메모리(141)에 3개의 프레임 메모리를 가지는 경우에 관해서는 후술한다.
제1 실시형태에서 따른 프레임 어드밴스 재생에서는, 과거 프레임 어드밴스 재생에서 미래 프레임 어드밴스 재생으로 변경되면, 표시 화상이 되는 프레임 화상이 프레임 메모리(141)에 기억 되어 있지 않기 때문에, 상기 2프레임 후의 프레임 화상 9의 복호가 종료될 때까지, 선택부(143)는 프레임 화상을 출력할 수 없고, 프레임 어드밴스 재생 전환에 지연이 발생하게 된다.
도 4를 참조하면서 프레임 화상으로 복호할 때의 지연에 대해서 설명한다.
도 4는 영상 스트림으로 구성되는 복수의 픽쳐의 개략적인 구성을 나타내는 설명도이다.
도 4에 나타낸 바와 같이, 예를 들면, 영상 스트림에는 B0, B1, I2, …과 같 이 복수의 픽쳐가 포함되어 있다. 또한, 도 4에 나타내는 "B"는 B픽쳐임을 나타내고, "I"는 I픽쳐임을 나타내고, "P"는 P픽쳐임을 나타내고 있다.
도 4의 B3을 프레임 화상으로 복호하는 경우, 복호부(128)는 도 4의 I2 및 P5의 픽쳐가 필요하게 된다. 한편, B3의 2프레임 후의 P5를 프레임 화상으로 복호하는 경우, 복호부(128)는 도 4의 I2의 픽쳐가 필요하게 되고, B3의 복호 쪽이 P5의 복호보다 픽쳐가 많이 필요하게 된다.
또한, 도 4의 B6을 프레임 화상으로 복호하는 경우, 복호부(128)는 도 4의 P5 및 P8의 픽쳐가 필요하게 된다. 한편, B6의 2프레임 후의 P8을 프레임 화상으로 복호하는 경우, 복호부(128)는 도 4의 I2 및 P5의 픽쳐가 필요하게 되므로 B6의 복호의 쪽이 P8의 복호보다 픽쳐가 많이 필요해져 지연이 생긴다.
따라서, 복호부(128)의 복호에 의한 지연이 생겨도 미래 또는 과거 프레임 어드밴스 재생으로 부드럽게 전환되어, 사용자 지시의 응답성을 높일 수 있는 프레임 어드밴스 재생에 대해서, 이하에 설명한다.
(제2 실시형태에 대해서)
다음으로, 도 5를 참조하면서 제2 실시형태에 따른 영상 재생 장치(101a)에 대해서 설명한다. 도 5는 제2 실시형태에 따른 영상 재생 장치의 개략적인 구성을 나타내는 블럭도이다.
또한, 제2 실시형태에 따른 영상 재생 장치(101a)는 제2 실시형태에 따른 영상 재생 장치(101a)와, 제1 실시형태에 따른 영상 재생 장치(101)을 비교하여, 특히 상이한 점에 대해서 설명한다. 그 외에 대해서는 특단의 기재가 없는 경우 실질 적으로 동일하기 때문에 상세한 설명은 생략한다.
도 5에 나타낸 바와 같이, 제2 실시형태에 따른 영상 재생 장치(101a)는 도 1에 나타내는 제1 실시형태에 따른 영상 재생 장치(101)에 비해서 프레임 메모리(141-3)을 더 구비하고 있는 점이 첫 번째 특징이다. 즉, 프레임 메모리(141)는 프레임 메모리(141-1), 프레임 메모리(141-2), 프레임 메모리(141-3)로 구성 되어 있다.
또한, 미래 화상 재생 모델 기억부(제1 순번 천이 모델 기억부)(125a)는 미래 화상 재생 모델(137)을 기억하고, 과거 화상 재생 모델 기억부(제2 순번 천이 모델 기억부)(129a)는 과거 화상 재생 모델(138)을 기억하고 있는 점이 두번째 특징이다.
상기 설명의 미래 화상 재생 모델(134) 및 과거 화상 재생 모델(136)은 프레임 메모리(141)가 2프레임분의 프레임 화상을 기억할 수 있는 경우에 콘트롤러(113)에 사용되는 것에 대해, 상기 미래 화상 재생 모델(137) 및 과거의 화상 재생 모델(138)은 프레임 메모리(141)가 3 프레임분의 프레임 화상을 기억할 수 있는 경우에 사용되는 점에서 다르다. 상세한 것은 후술한다.
상기 복호부(128a)는 픽쳐를 복호하면 콘트롤러(113)로부터의 지시에 기초하여 프레임 화상을 프레임 메모리(141)(141-1, 141-2, 141-3)의 한 곳으로 출력한다.
상기 선택부(143a)는 콘트롤러(113)로부터의 지시에 따라 프레임 메모리(141-1), 프레임 메모리(141-2), 또는 프레임 메모리(141-3)의 어느 하나부터 프 레임 화상을 취득한다. 해당 취득된 프레임 화상은 디스플레이 장치 등으로 출력된다.
또한, 도 5에 나타낸 바와 같이, 제2 실시형태에 따른 미래 화상 재생 모델 기억부(125a)와 과거 화상 재생 모델 기억부(129a)는 별체로 이루어지는 경우를 예로 들어 설명했지만 이러한 예로 한정되는 것은 아니며, 예를 들면, 미래 화상 재생 모델 기억부(125a)와 과거 화상 재생 모델 기억부(129a)가 하나의 기억부로서 일체적으로 구성되는 경우에서도 실시 가능하다.
또한, 도 5에 나타낸 바와 같이, 프레임 메모리(141)는 프레임 메모리(141-1), 프레임 메모리(141-2), 및 프레임 메모리(141-3)의 3개의 기억 영역으로 구성되는 경우를 예로 들어 설명했지만 이러한 예로 한정되는 것은 아니며, 3 프레임분의 프레임 화상을 구분해 기억하는 것이 가능하다면, 예를 들면, 프레임 메모리(141)의 하나의 기억 영역을 3개로 나누어 3 프레임의 프레임 화상이 그 기억 영역의 각각에 기억되는 경우여도 된다.
(프레임 어드밴스 재생 처리에 대해서)
다음으로, 도 5 및 도 6을 참조하면서, 제2 실시형태에 따른 영상 재생 장치(101a)에 의한 프레임 어드밴스 재생 처리에 대해서 설명한다. 도 6은 도 5의 영상 재생 장치(101a)의 구성 일부분을 확대한 설명도이다.
도 5 및 도 6에 나타낸 바와 같이, 영상 재생 장치(101a)에 의한 프레임 어드밴스 재생 처리에서는 콘트롤러(113)는 아래 (1)∼(4)에 나타내는 바와 같은 제어를 한다.
(1) 콘트롤러(113)는 현재 재생하고 있는 프레임 화상을 중심으로, 과거, 현재, 또는 미래의 프레임 화상(또는 과거 프레임 화상, 현재 프레임 화상, 미래 프레임 화상)을 1매씩 프레임 메모리(141)(141-1, 141-2, 141-3)에 기억시킨다.
(2) 사용자가 지시한 미래 또는 과거 프레임 어드밴스 재생에 맞추어, 콘트롤러(113)는 선택부(143a)에 출력 대상이 되는 표시 화상의 프레임 화상을 프레임 메모리(141-1), 프레임 메모리(141-2), 또는 프레임 메모리(141-3)의 한 곳으로부터 취득시킨다.
(3) 미래 또는 과거 프레임 어드밴스 재생에 따라, 콘트롤러(113)는 복호부(128a)에 대해, 선택부(143a)부터의 출력 대상이 되는 표시 화상의 프레임 화상을 기준으로, 미래의 화상을 프레임 어드밴스 재생(미래 프레임 어드밴스 재생)하는 경우에는 시간적으로 1프레임 후의 픽쳐를 복호하도록 지시하고, 과거의 화상을 프레임 어드밴스 재생(과거 프레임 어드밴스 재생)하는 경우에는 시간적으로 1프레임 전의 픽쳐를 복호하도록 지시한다. 그리고, 재생 모드가 미래 프레임 어드밴스 재생 또는 과거 프레임 어드밴스 재생으로 완전히 바뀐 직후의 복호만, 콘트롤러(113)는 복호부(128a)에 대해, 미래 프레임 어드밴스 재생으로 전환된 경우에는 직전에 복호된 프레임 화상의 3 프레임 후에 상당하는 픽쳐를 복호하도록 지시하고, 과거 프레임 어드밴스 재생으로 전환된 경우에는 직전에 복호된 프레임 화상의 3 프레임 전에 상당하는 픽쳐를 복호하도록 지시한다. 또한, 콘트롤러(113)는 버퍼(127)에 대해, 복호부(128a)가 복호하는 대상이 되는 영상 스트림의 해당 픽쳐를 복호부(128a)에 출력하도록 제어한다. 즉, 콘트롤러(113)는 직전에 화면상에 출력 된 프레임 화상의 2프레임 전에 상당하는 픽쳐를 복호하도록 지시한다.
(4) 콘트롤러(113)는 복호부(128a)가 픽쳐로부터 복호한 프레임 화상을 프레임 메모리(141-1), 프레임 메모리(141-2), 또는 프레임 메모리(141-3)의 한 곳으로 출력하도록 복호부(128a)에 지시하고, 프레임 메모리(141)는 복호부(128a)로부터 출력된 프레임 화상을 기억한다.
다음으로, 도 7을 참조하면서, 보다 구체적으로, 제2 실시형태에 따른 프레임 어드밴스 재생 처리에 대해서 설명한다. 도 7은 제2 실시형태에 따른 프레임 어드밴스 재생 처리의 개략적인 설명도다.
도 7(a)의 프레임 화상에는 상기 도 3(a)와 같이, 설명의 편의상 프레임 화상을 식별하는 번호가 시계열에 따라서 부여되어 있다. 이후의 설명에는 이러한 프레임 화상의 번호를 사용하여 설명한다. 그 외에 관해서는 상기 도 3(a)와 실질적으로 동일하므로 상세한 설명은 생략한다.
콘트롤러(113)가 미래 화상 재생 모델(137) 또는 과거 화상 재생 모델(138)을 참조 또는 실행함으로써 미래 또는 과거 프레임 어드밴스 재생에 대해서 영상 재생 장치(101)에 구비된 각부의 제어에 대해서 도시하면 도 7(b)와 같다.
도 7(b)에서는 초기 상태로서, 예를 들면, 프레임 메모리(141-1)(FM1)에 프레임 화상 5가 기억되고, 프레임 메모리(141-2)(FM2)에 프레임 화상 6이 기억되고, 프레임 메모리(141-3)(FM3)에 프레임 화상 7이 기억되고, 복호부(128)(D)에서는 프레임 화상 7이 복호되고, 화면상에는 상기 FM2의 프레임 화상 6이 출력되고 있는데(도 7(b)의 출력, FM2(6)), 이러한 예로 한정되는 것은 아니다.
다음으로, 지시 접수부(111)로부터 미래 프레임 어드밴스 재생 지시 신호가 콘트롤러(113)로 송신되면, 콘트롤러(113)는 미래 화상 재생 모델(137)을 실행 또는 참조하고 재생 모드를 "+1"로 한다. 그리고, 콘트롤러(113)는 미래 화상 재생 모델(137)에 기초하여, 복호부(128a)에 대해 표시 화상인 프레임 화상 6의 2프레임 후의 프레임 화상 8을 FM1에 출력하도록 지시한다.
즉, 초기 상태에서는 FM1, FM2, 또는 FM3 중 가장 과거(가장 번호가 오래된)의 프레임 화상을 기억하고 있는 것이 FM1이고, 미래 프레임 어드밴스 재생에서는 이 가장 과거의 프레임 화상부터 순서대로 프레임 화상을 갱신해 나간다.
복호부(128a)는 프레임 화상 8에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 8로 복호한다.
또한, 복호부(128a)는 프레임 화상 8을 FM1로 출력한다. FM1은 복호부(128a)로부터 프레임 화상 8을 받으면, 프레임 화상 5에 프레임 화상 8을 덮어 쓰기하여(도 7(b)의 재생 모드 "+1"에 위에서 1번째의 "5→8"), 프레임 화상 8을 기록한다(도 7(b)의 기록, 8→FM1).
초기 상태의 FM1, FM2, 및 FM3에 프레임 화상 5∼프레임 화상 7이 기억된 상태가 그대로 계속되면, 최초의 재생 모드 +1에서 FM3의 프레임 화상 7을 화면상에 출력한 후, 재생 모드 +1의 상황 하에서, 프레임 화상 7의 다음에 표시하는 프레임 화상 8이 이미 프레임 메모리(141)에 존재하지 않기 때문에 표시할 때에 지연이 생길 수 있었다.
다시 도 7을 참조하면, 다음에 콘트롤러(113)는 미래 화상 재생 모델(137)에 기초하여 선택부(143a)에 대해, FM3에 이미 기억된 프레임 화상 7을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 7은 화면상에 출력된다(도 7(b)의 FM3(7)).
상기 프레임 화상 7이 출력되면 이어서 미래 프레임 어드밴스 재생을 계속하기 위해, 다음에 콘트롤러(113)는 복호부(128a)에 대해서 복호된 프레임 화상 8의 다음의 프레임 화상 9를 FM2로 출력하도록 지시한다.
복호부(128a)는 프레임 화상 9에 대해서 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 9로 복호한다.
또한, 복호부(128a)는 프레임 화상 9를 FM2로 출력한다. FM2는 복호부(128a)로부터 프레임 화상 9를 받으면, 프레임 화상 6에 프레임 화상 9를 덮어 쓰기하여(도 7(b)의 재생 모드 "+1"에 위에서 2번째의 "6→9"), 프레임 화상 9를 기록한다(도 7(b)의 기록, 9→FM2). 즉, 프레임 메모리(141)에는 프레임 화상 7∼프레임 화상 9와 같이 3 프레임 연속된 프레임 화상이 기억된다.
다음으로, 콘트롤러(113)는 미래 화상 재생 모델(137)에 기초하여, 선택부(143a)에 대해, FM1에 이미 기억된 프레임 화상 8을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 8은 화면상에 출력된다(도 7(b)의 FM(8)).
상기와 같이, 프레임 화상 8이 출력되면, 미래 프레임 어드밴스 재생을 계속 하기 위해, 콘트롤러(113)는 다음으로 복호부(128a)에 대해 복호된 프레임 화상 9의 다음의 프레임 화상 10을 FM3에 출력하도록 지시한다.
복호부(128a)는 프레임 화상 10에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 10으로 복호한다.
또한, 복호부(128a)는 프레임 화상 10을 FM3으로 출력한다. FM3은 복호부(128a)로부터 프레임 화상 10을 받으면, 이미 기억된 프레임 화상 7에 프레임 화상 10을 덮어 쓰기하여(도 7(b)의 "7→10"), 프레임 화상 10을 기록한다(도 7(b)의 기록, 10→FM3).
이와 같이 프레임 메모리(141)에 기억되는 프레임 화상은 FM1, FM2, 또는 FM3에 각각 차례대로 기억된다. 즉, 미래 프레임 어드밴스 재생에서는 프레임 화상을 FM1, FM2, 또는 FM3에 차례대로 기억시키면서 프레임 화상을 미래를 향해 1프레임씩 순서대로 프레임 어드밴스시키고 있다.
다음으로, 콘트롤러(113)는 미래 화상 재생 모델(137)에 기초하여, 선택부(143a)에 대해, FM2에 이미 기억된 프레임 화상 9를 취득하도록 지시한다. 상기 선택부(143)에 의해 취득된 프레임 화상 9는 화면상에 출력된다(도 3(b)의 FM2(9)).
이상으로부터, 미래 프레임 어드밴스 재생에서는, 복호부(128a)에 의해 복호되고 프레임 메모리(141)에 기록되는 프레임 화상과, 선택부(143a)에 의해 프레임 메모리(141)로부터 취득되는 프레임 화상은 1프레임분의 차이가 생긴다. 즉, 선택 부(143a)에 의해 취득되는 프레임 화상은 항상 프레임 메모리(141)상에 존재하기 때문에, 지연 없이 부드럽게 화면상에 프레임 화상을 출력할 수 있다.
상기 프레임 화상 9가 화면상에 출력되고, 지시 접수부(111)로부터 과거 프레임 어드밴스 재생 지시 신호가 콘트롤러(113)로 송신되면, 콘트롤러(113)는 미래 화상 재생 모델(137)의 실행 또는 참조를 중지하고, 과거 화상 재생 모델(138)을 실행 또는 참조하고, 재생 모드를 "-1"로 한다. 그리고, 콘트롤러(113)는 과거 화상 재생 모델(138)에 기초하여, 복호부(128a)에 대해, 프레임 어드밴스 재생 변환 직전에 복호된 프레임 화상 10의 3 프레임 전의 프레임 화상 7을 프레임 어드밴스 재생 변환 직전에 기록한 FM3으로 출력하도록 지시한다. 상기한 바와 같이 3 프레임 전 또는 3 프레임 후의 프레임 화상으로 복호되는 것은 미래 또는 과거 프레임 어드밴스 재생으로 바뀐 직후뿐이다.
다음으로, 복호부(128a)는 프레임 화상 7에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 7로 복호한다.
또한, 복호부(128a)는 프레임 화상 7을 FM3으로 출력한다. FM3은 복호부(128a)로부터 프레임 화상 7을 받으면, 이미 기억된 프레임 화상 10에 프레임 화상 7을 덮어 쓰기하여(도 7(b)의 "10→7"), 프레임 화상 7을 기록한다(도 7(b)의 기록, 7→FM3).
이와 같이 미래 프레임 어드밴스 재생에서 과거 프레임 어드밴스 재생으로 전환되면, 미래 프레임 어드밴스 재생에서 마지막에 기록된 프레임 화상을 기억하 는 프레임 메모리(141)에, 과거 프레임 어드밴스 재생에서 최초로 복호된 프레임 화상이 기억된다.
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(138)에 기초하여, 선택부(143a)에 대해, FM1에 이미 기억된 프레임 화상 8을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 8은 화면상에 출력된다(도 7(b)의 FM1(8)).이와 같이 복호부(128a)부터가 아니고 프레임 메모리(141)에 기억된 프레임 화상을 출력하는 것으로 프레임 어드밴스 재생 전환시에 3 프레임 전에 상당하는 프레임 화상으로 복호하기 위한 시간을 필요로 해도 프레임 화상을 프레임 메모리(141)에서 출력하는 동안(예를 들면, 0.3 초이상 동안)에 해당 프레임 화상을 복호하는 것이 가능하고, 부드러운 프레임 어드밴스 재생 전환을 실현하며 사용자의 프레임 어드밴스 재생 전환에 대한 응답성을 높일 수 있다.
상기 프레임 화상 8이 화면상에 출력되면 이어서 과거 프레임 어드밴스 재생을 계속하기 위해, 콘트롤러(113)는 복호부(128a)에 대해, 직전에 복호된 프레임 화상 7의 전의 프레임 화상 6을 FM2에 출력하도록 지시한다.
복호부(128a)는 프레임 화상 6에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 6으로 복호한다.
또한, 복호부(128a)는 프레임 화상 6을 FM2로 출력한다. FM2는 복호부(128a)로부터 프레임 화상 6을 받으면, 프레임 화상 8에 프레임 화상 6을 덮어 쓰기하여(도 7(b)의 "8→6"), 프레임 화상 6을 기록한다(도 7(b)의 기록, 6→FM2).
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(138)에 기초하여, 선택부(143a)에 대해, FM3에 이미 기억된 프레임 화상 7을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 7은 화면상에 출력된다(도 7(b)의 FM3(7)).
마찬가지로, 상기 프레임 화상 7이 화면상에 출력되면, 콘트롤러(113)는 복호부(128a)에 대해 직전에 복호한 프레임 화상 6의 전의 프레임 화상 5를 FM1에 출력하도록 지시한다.
복호부(128a)는 프레임 화상 5에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 5로 복호한다.
또한, 복호부(128a)는 프레임 화상 5를 FM1로 출력한다. FM1은 복호부(128a)로부터 프레임 화상 5를 받으면, 프레임 화상 8에 프레임 화상 5를 덮어 쓰기하여(도 7(b)의 "8→5"), 프레임 화상 5를 기록한다(도 7(b)의 기록, 5→FM1).
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(138)에 기초하여, 선택부(143a)에 대해, FM2에 이미 기억된 프레임 화상 6을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 6은 화면상에 출력된다(도 7(b)의 FM2(6)).
이상에서, 영상 재생 장치(101)는 1프레임씩 순서대로 과거로 돌려 프레임 화상을 출력할 수 있고, 과거 프레임 어드밴스 재생을 적절하게 실행할 수 있다.
더욱이, 이후의 과거 프레임 어드밴스 재생에서도 도 7(b)의 재생 모드 "-1" 과 같이, 복호부(128a)에 의해 복호된 프레임 화상보다 1프레임 후의 프레임 메모리(141)의 프레임 화상이 표시 화상으로서 출력된다.
다음으로, 도 7(b)에 나타낸 바와 같이, 과거 프레임 어드밴스 재생에서 상기 프레임 화상 6이 화면상에 출력되고, 지시 접수부(111)로부터 미래 프레임 어드밴스 재생 지시 신호가 콘트롤러(113)로 송신되면, 콘트롤러(113)는 과거 화상 재생 모델(138)의 실행 또는 참조를 중지하고, 다시 미래 화상 재생 모델(137)을 실행 또는 참조하여 재생 모드를 "+1"로 한다. 그리고, 콘트롤러(113)는 미래 화상 재생 모델(137)에 기초하여 복호부(128a)에 대해, 프레임 어드밴스 재생 변환 직전에 복호한 프레임 화상 5의 3 프레임 후의 프레임 화상을 프레임 어드밴스 재생 변환 직전에 기록한 FM1로 출력하도록 지시한다.
다음으로, 복호부(128a)는 프레임 화상 8에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 8로 복호한다.
또한, 복호부(128a)는 프레임 화상 8을 FM1로 출력한다. FM1은 복호부(128a)로부터 프레임 화상 8을 받으면, 이미 기억된 프레임 화상 5에 프레임 화상 8을 덮어 쓰기하여(도 7(b)의 재생 모드 "+1"에서 최하단에서 2번째의 "5→8"), 프레임 화상 8을 기록한다(도 7(b)의 기록, 8→FM1).
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(138)에 기초하여, 선택부(143a)에 대해, FM3에 이미 기억된 프레임 화상 7을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 7은 화면상에 출력된다(도 7(b)의 FM3(7)).
마찬가지로, 상기 프레임 화상 7이 화면상에 출력되면, 콘트롤러(113)는 복호부(128a)에 대해, 직전에 복호한 프레임 화상 8의 다음의 프레임 화상 9를 FM2로 출력하도록 지시한다.
복호부(128a)는 프레임 화상 9에 대해서, 복호하기 위해 필요한 영상 스트림 중의 픽쳐를 버퍼(127)로부터 출력받고, 복호부(128a)는 버퍼(127)로부터 받은 픽쳐를 프레임 화상 9로 복호한다.
또한, 복호부(128a)는 프레임 화상 9를 FM2로 출력한다. FM2는 복호부(128a)로부터 프레임 화상 9를 받으면, 프레임 화상 6에 프레임 화상 9를 덮어 쓰기하여(도 7(b)의 재생 모드 "+1"에서 최하단에서 1번째의 "6→9"), 프레임 화상 9를 기록한다(도 7(b)의 기록, 9→FM2).
다음으로, 콘트롤러(113)는 과거 화상 재생 모델(138)에 기초하여, 선택부(143a)에 대해, FM1에 이미 기억된 프레임 화상 8을 취득하도록 지시한다. 상기 선택부(143a)에 의해 취득된 프레임 화상 8은 화면상에 출력된다(도 7(b)의 FM1(8)).
그리고, 이후의 미래 프레임 어드밴스 재생도 도 7(b)의 재생 모드 "+1"로 나타내는 처리와 동일하다.
이와 같이 제1 실시형태에 따른 프레임 어드밴스 재생과는 달리, 제2 실시형태에 따른 프레임 어드밴스 재생에서는 과거 또는 미래의 어느 쪽으로 프레임 어드밴스 재생이 전환되어도 표시 화상이 되는 프레임 화상을 프레임 메모리(141)로부 터 출력할 수 있다. 따라서, 프레임 메모리(141)로부터 프레임 화상을 출력하고 있는 동안에, 복호부(128a)에 의한 복호처리를 완료할 수 있고, 부드럽게 프레임 어드밴스 재생을 전환하여, 사용자에 대한 프레임 어드밴스 재생 지시 응답성을 높일 수 있다.
또한, 제2 실시형태에 따른 프레임 어드밴스 재생에서는 프레임 메모리(141)는 프레임 메모리(141-1), 프레임 메모리(141-2), 및 프레임 메모리(141-3)의 3개의 프레임 메모리인 경우를 예로 들어 설명했지만, 이러한 예로 한정되지 않으며 프레임 메모리(141)는 4이상의 프레임 메모리를 가지는 경우에서도 실시 가능하다.
이상, 본 실시형태에 이러한 영상 재생 장치(101, 101a)에 대해서 설명하였는데, 이러한 영상 재생 장치(101, 101a)에 의해 하기와 같은 우수한 효과가 존재한다.
(1) 사용자로부터 프레임 어드밴스 재생 전환 지시가 있으면, 영상 처리 장치는 즉시 부드럽게 과거 또는 미래의 프레임 어드밴스 재생으로 전환할 수 있기 때문에, 사용자의 지시에 대한 응답성을 높일 수 있다.
(2) 영상 처리 장치는 프레임 메모리의 기억용량을 적어도 2 프레임분의 프레임 화상을 기억할 수 있는 용량으로 억제할 수 있기 때문에, 프레임 메모리의 구성을 소형화 하고, 회로 구성을 소규모인 것으로 할 수 있어 영상 처리 장치의 소형화를 꾀할 수 있다.
또한, 상술한 일련의 처리는 전용 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 하는 경우에 는, 그 소프트웨어를 구성하는 프로그램이 범용 컴퓨터나 마이크로 컴퓨터 등의 정보처리 장치에 인스톨 되고, 상기 정보처리 장치를 영상 재생 장치(101)로서 기능시킨다.
프로그램은 영상 재생 장치로서의 컴퓨터에 내장 되어 있는 기록 매체로서의 하드 디스크나 ROM에 미리 기록해 놓을 수 있다.
또는, 프로그램은 하드 디스크 드라이브에 한정되지 않으며, 플랙서블 디스크, CD- ROM(Compact Disc Read Only Memory), MO(Magneto Optical)디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체에 일시적 혹은 영속적으로 저장(기록)해 놓을 수 있다. 이와 같은 리무버블 기록 매체는 이른바 팩키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은 상기와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨 하는 것 외에, 다운 로드 사이트부터 디지탈 위성 방송용 인공위성을 통하여 컴퓨터로 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 영상 재생 장치로서의 컴퓨터에 유선으로 전송하고, 컴퓨터는 그와 같이 전송되어 온 프로그램을 수신하고, 내장하는 하드 디스크 등에 인스톨 할 수 있다.
본 명세서에 있어서, 컴퓨터에 각종의 처리를 실행시키기 위한 프로그램을 설명하는 처리 스텝은 반드시 흐름도로 기재된 순서에 따라서 시계열로 처리할 필요는 없고, 병렬적 혹은 개별적으로 실행되는 처리(예를 들면, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다.
또한, 프로그램은 한대의 컴퓨터에 의해 처리될 수도 있고, 복수의 컴퓨터에 의해 분산 처리될 수도 있다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시형태에 대해서 설명했으나, 본 발명은 이러한 예로 한정되지 않는다. 당업자이면 특허 청구 범위에 기재된 기술적 사상의 범위내에서 각종의 변경 또는 수정예를 상정할 수 있는 것은 분명하며, 그것들에 대해서도 당연히 본 발명 기술적 범위에 속하는 것으로 양해된다.
상기 실시형태에 있어서는, 프레임 메모리는 2개의 프레임 메모리를 가지는 경우, 3개의 프레임 메모리를 가지는 경우를 예로 들어 설명했지만, 본 발명은 이러한 예로 한정되지 않는다. 예를 들면, 프레임 메모리는 4개 이상의 프레임 메모리를 가지는 경우에서도 실시할 수 있다.
상기 실시형태에 있어서는, 콘트롤러, 미래 화상 재생 모델 기억부, 과거 화상 재생 모델 기억부는 별체인 경우를 예로 들어 설명했지만, 이러한 예로 한정되지 않으며, 예를 들면, 콘트롤러, 미래 화상 재생 모델 기억부, 과거 화상 재생 모델 기억부가 일체로 구성되는 경우에서도 실시 가능하다. 이러한 경우, 미래 화상 재생 모델과 과거 화상 재생 모델은 상기 콘트롤러 중 하나의 콘트롤러로서 하드웨어 또는 소프트웨어적으로 기능할 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.