KR101943699B1 - 동화상 재생 방법 및 동화상 재생 시스템 - Google Patents

동화상 재생 방법 및 동화상 재생 시스템 Download PDF

Info

Publication number
KR101943699B1
KR101943699B1 KR1020160038062A KR20160038062A KR101943699B1 KR 101943699 B1 KR101943699 B1 KR 101943699B1 KR 1020160038062 A KR1020160038062 A KR 1020160038062A KR 20160038062 A KR20160038062 A KR 20160038062A KR 101943699 B1 KR101943699 B1 KR 101943699B1
Authority
KR
South Korea
Prior art keywords
information
image
block
data
compressed
Prior art date
Application number
KR1020160038062A
Other languages
English (en)
Other versions
KR20160042407A (ko
Inventor
카즈키 캬쿠노
Original Assignee
가부시키가이샤 아쿠세루
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 아쿠세루 filed Critical 가부시키가이샤 아쿠세루
Publication of KR20160042407A publication Critical patent/KR20160042407A/ko
Application granted granted Critical
Publication of KR101943699B1 publication Critical patent/KR101943699B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

[과제] 동화상 재생에 있어서, 브라우저의 표준 디코드 기능만을 사용하는 것에 의해, 단말 의존이 적은 작성 환경을 제공하고, 또한 압축율을 높여서, 매끄러운 동화상 재생을 실현한다.
[해결 수단] 클라이언트 단말(2)에서 재생되어야 할 동화상의 압축 데이터를 작성하여 웹 서버(1)에 저장해 둘 때에, 동화상을 구성하는 각 프레임에 대해 차례로, JPEG 블록 단위로, JPEG 압축을 실시하고, JPEG 압축 정지화상 데이터(12)에 연결한다. 단, 프레임간에 움직임 보상을 채용하여, 이전 프레임으로부터 이용가능한 데이터에 대해서는, JPEG 압축 정지화상 데이터(12)에 연결하지 않고, 화상 복원용 압축 정보(13)에 그 취지를 기술한다. 브라우저(21)로 해석되는 표시 프로그램(11)은, 작성된 JPEG 압축 정지화상 데이터(12)로부터 원래의 동화상을 재구성하도록 기술되어 있다. 표시 프로그램(11)은, 클라이언트 단말(2)에 다운로드되어 실행되고, 이에 따라 동화상이 표시 화면(22)에 표시된다.

Description

동화상 재생 방법 및 동화상 재생 시스템{MOVING IMAGE REPRODUCTION METHOD AND MOVING IMAGE REPRODUCTION SYSTEM}
본 발명은, 동화상 재생 방법 및 동화상 재생 시스템에 관한 것으로, 특히, 브라우저에 표준 탑재된 정지화상 디코드 기능을 이용한 동화상 재생 방법 및 동화상 재생 시스템에 관한 것이다.
인터넷의 보급에 따라, 인터넷상에 제공된 정보를, 브라우저라고 하는 열람 전용 소프트웨어에 의해 각자의 단말에서 자유롭게 열람할 수 있게 되어 있다. 특히, 요즘, 통신기술 및 정보 압축 부호화 기술이 모두 진보함에 따라, 화상, 특히 동화상을 아무런 정체 없이 스무드(smooth)하게 열람할 수 있는 상황으로 되고 있다.
여기서, 인터넷상의 동화상을, 통신 속도 및 정보량의 관점에서, 브라우저에 의해 충분히 지장 없게 열람 가능하도록 하기 위해, 브라우저에, 예를 들면 MPEG(Moving Picture Experts Group) 4 나 H.264 규격 등의 고기능 디코더를 플러그인으로 삽입하거나, 동일 기능을 전용의 애플리케이션으로서 삽입하거나 하는 것이 일반적이다(예로써, 특허문헌 1 참조(단락 [0029]의 제1행 ~ 제2행, [0030]의 제11행 ~ 제14행 등)). 또한, 특허문헌 1에 있어서는, 동화상 정보는 클라이언트 단말 측에 확보해 두는 시스템으로 되어 있지만, 일반적으로는, 동화상 정보도 인터넷상의 웹 서버로 제공되는 것이다.
상술한 플러그인 등의 수법은, 브라우저의 표준 장비의 디코드 기능(JPEG(Joint Photographic Experts Group) 디코드 기능, PNG(Portable Network Graphics) 디코드 기능)을 초월하여, 시간축 방법의 정보량 삭감에 의해, 실질적으로 동화상 재생을 가능하게 하는 것이다.
일본 특개평 9-288677호 공보
그렇지만, 상술한 플러그인 등의 수법은, 단말의 하드웨어에 의존한 부가적인 수법으로서 범용화를 요구한 것은 아니다. 또한, 요즘 급속히 보급되고 있는 스마트 폰에 있어서는, 자동 재생이 가능하지 않고, 또한, 웹 페이지 상의 일부분에 재생하거나, 복수의 동화상을 동시에 재생하는 것이 가능하지 않다.
한편, 예를 들면, 모션(Motion) JPEG와 같이, 표준 장비의 JPEG 디코드 기능을, 동화상을 구성하는 각 프레임에 적용하는 것과 함께, 그것들을 자바스크립트(JavaScript)(등록상표)의 프로그램에 의해 일련번호(連番)로 표시하는 것에 의해, 이른바 파라파라 동화상으로서 재생하는 것도 가능하다. 그렇지만, 이러한 수법에서는, 시간축 방향의 중복 정보의 삭감이 행해지고 있지 않기 때문에 압축율이 낮아, 전송로의 통신 속도에 따라서는 충분하다고는 할 수 없다. 또한, H.264 등의 고기능 디코더 처리를 자바스크립트에 의해 브라우저에 삽입하는 것도 생각할 수 있지만, 이 경우, 하드웨어 가속(Hardware acceleration)을 사용할 수 없어, 충분한 속도를 보증할 수 없다고 하는 과제가 있다.
본 발명은 상술한 바와 같은 과제를 해결하기 위한 것으로, 본 발명의 목적은, 재생 단말 의존이 적은 범용성을 목적으로 하여 브라우저에 표준 탑재되어 있는 정지화상 디코더를 이용하여 압축 동화상을 재생해도, 동화상용 디코더를 이용했을 때와 같이, 지장(支障)없이 매끄럽게 재생할 수 있는 동화상 재생 방법 및 동화상 재생 시스템을 제공하는 것에 있다.
상기 목적을 달성하기 위해서, 본 발명의 동화상 재생 방법은, 클라이언트 단말에 브라우저에 의해 표시하고 싶은, 복수 프레임으로 구성된 동화상의 데이터를 블록으로 분할하여 블록마다, 이전(前) 프레임에 동일 정보가 존재하는지 여부를 판정하는 스텝과, 상기 이전 프레임에 동일 정보가 존재하지 않는 각 블록에 대해서는, 상기 브라우저에 표준 탑재된 정지화상 디코더에 대응한 수법으로 인코드하고 연결하여 압축 정지화상 데이터로서 준비하는 것과 함께, 각 블록에 대해 존재 여부의 정보를 화상 복원용 정보에 기술하여 인코드하는 것에 의해 화상 복원용 압축 정보를 준비하는 스텝과, 상기 브라우저가 해석 가능한 기술 언어에 의해 기술된 표시 프로그램으로서, 상기 화상 복원용 압축 정보 및 상기 압축 정지화상 데이터를 디코드하여 각각 상기 화상 복원용 정보 및 정지화상 데이터를 얻은 후, 상기 화상 복원용 정보에 기술된 각 블록과 관련되는 존재 여부의 정보로부터, 각 블록에 대해서, "존재함"의 경우에는, 상기 이전 프레임 내의 정보를 채용하고, "존재하지 않음"의 경우에는 상기 정지화상 데이터 내의 대응하는 블록의 화상 데이터를 채용하는 것에 의해, 상기 복수 프레임으로 구성된 동화상의 데이터를 재구성하도록 기술된 표시 프로그램을 준비하는 스텝과, 상기 브라우저에 의해 상기 표시 프로그램을 실행하여, 상기 클라이언트 단말에 재구성된 상기 동화상을 재생하는 스텝을 갖추는 것을 요지로 한다.
여기서, 특히, 상기 화상 복원용 정보에 상기 존재 여부의 정보를 기술할 때, 존재하는 각 블록에 대해서는, 상기 이전 프레임과의 위치 관계의 움직임 벡터를 기술하고, 상기 동화상의 데이터를 재구성할 때, 상기 "존재함"의 경우에는, 상기 움직임 벡터에 기초하여 상기 이전 프레임 내의 정보를 채용한다.
바람직하게는, 상기 브라우저에 표준 탑재된 정지화상 디코더는, JPEG 디코더이다. 이 때, 상기 블록은, JPEG 인코더의 처리 단위인 8 화소 × 8 화소이다.
또한, 바람직하게는, 상기 화상 복원용 정보에 포함하는 상기 존재 여부의 정보 및 상기 움직임 벡터의 정보를, 화상 정보의 RGB값에 임의로 대응시켜, 상기 화상 복원용 정보를 PNG 방식에 의해 인코드하여 화상 복원용 압축 정보를 준비한다.
또한, 바람직하게는, 상기 이전 프레임에 동일 정보가 존재하는지 여부의 판정에 있어서는, 동일 정보의 존재를 판정하는 범위를, 소정의 n × n블록(n은, 2k(k는 1이상의 정수))으로부터, k를 감소시키면서, 좁혀 간다. 이 때, 상기 동일 정보가 존재한다고 판정된 범위의 정보를, 상기 화상 복원용 정보에 포함할 수 있다.
또한, 특히, 상기 기술 언어는, HTML 5이다.
또한, 알파 채널로서의 화상의 투명도와 관련되는 정보를 인코드하여 투명도 정보용 압축 정보를 준비하고, 상기 표시 프로그램은, 상기 투명도 정보용 압축 정보를 디코드하여, 상기 압축 정지화상 데이터로부터 동화상을 재구성할 때에, 상기 투명도와 관련되는 정보를 삽입하여 재구성하는 것도 가능하다.
또한, 상기 압축 정지화상 데이터는, 상기 클라이언트 단말이 취급할 수 있는 정지화상의 용량에 따라 복수 개로 나누어 준비할 수 있다.
전형적으로는, 상기 압축 정지화상 데이터, 상기 화상 복원용 압축 정보, 및 상기 프로그램은, 상기 클라이언트 단말과 네트워크를 통하여 접속된 웹 서버에 저장해 둔다.
또한, 상기 목적을 달성하기 위해서, 본 발명의 동화상 재생 시스템은, 소정의 브라우저를 갖춘 클라이언트 단말과, 그 클라이언트 단말과 네트워크를 통하여 접속된 웹 서버를 갖춘 동화상 재생 시스템으로서, 상기 웹 서버는, 복수 프레임으로 구성된 동화상의 데이터를 블록으로 분할하고, 이전 프레임에 동일 정보가 존재하지 않는 각 블록에 대해서, 상기 브라우저에 표준 탑재된 정지화상 디코더에 대응한 수법으로 인코드하고 연결하는 것에 의해 작성한 압축 정지화상 데이터와, 각 블록에 대해 존재 여부의 정보를 화상 복원용 정보에 기술하여 인코드하는 것에 의해 준비한 화상 복원용 압축 정보와, 상기 브라우저가 해석 가능한 기술 언어에 의해 기술되고, 상기 클라이언트 단말에 다운로드되어 상기 브라우저에서 실행되는 프로그램으로서, 상기 화상 복원용 압축 정보 및 상기 압축 정지화상 데이터를 디코드하여 각각 상기 화상 복원용 정보 및 정지화상 데이터를 얻은 후, 상기 화상 복원용 정보에 기술된 각 블록과 관련되는 존재 여부의 정보로부터, 각 블록에 대해서, "존재함"의 경우에는, 상기 이전 프레임 내의 정보를 채용하고, "존재하지 않음"의 경우에는 상기 정지화상 데이터 내의 대응하는 블록의 화상 데이터를 채용하는 것에 의해, 상기 복수 프레임으로 구성된 동화상의 데이터를 재구성하여 상기 클라이언트 단말에 표시시키는 프로그램을 갖추고 있는 것을 요지로 한다.
본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 의하면, 압축 동화상 정보를 브라우저로 디코드하여 동화상을 재생하는 처리에 있어서, 브라우저의 표준 디코드 기능만을 사용하는 것에 의해, 압축 동화상 정보 제공 측에, 단말 의존이 적은 작성 환경을 제공할 수 있고, 또한 충분히 압축율을 높여서, 매끄러운 동화상 재생을 실현할 수 있다.
즉, 브라우저에 의해 클라이언트 단말에 동화상을 표시할 때, 동화상 디코더의 플러그인 등을 이용하지 않고, 브라우저에 표준 탑재되어 있는 정지화상 디코더를 이용하는 것에 의해, 사전의 수고를 경감하는 것과 함께 범용성을 높이고, 또한, 이러한 정지화상 디코더를 이용한다고 해도, 파라파라 만화와 같이 그대로 1장 1장 디코드하여 동화상으로서 출력하는 것이 아니라, 원래의 동화상의 정보를 정지화상의 정보로 간주할 때에, 프레임간의 움직임 보상을 채용하여 동화상 정보를 압축 정지화상으로 하고 있다고 하고 있으므로, 표시 속도도 담보(擔保 즉, 보장)된다.
또한, 상기 이전 프레임에 동일 정보가 존재하는지 여부의 판정에 있어서는, 동일 정보의 존재를 판정하는 범위를, 소정의 n × n블록(n은, 2k(k는 1이상의 정수))으로부터, k를 감소시키면서, 좁혀 가도록 하면, 상기 효과에 더하여, 정지화상 압축 데이터 및 화상 복원용 압축 정보의 작성 처리가 간소화될 수 있어, 화상 복원용 압축 정보의 정보량이 보다 적게 된다.
또한, 알파 채널로서의 화상의 투명도와 관련되는 정보를 인코드하여 투명도 정보용 압축 정보를 준비하고, 상기 표시 프로그램은, 상기 투명도 정보용 압축 정보를 디코드하여, 상기 정지화상 압축 데이터로부터 동화상을 재구성할 때에, 상기 투명도와 관련되는 정보를 삽입하여 재구성하면, 예로써, 복수의 동화상을 겹쳐서 재생할 수 있다.
[도 1] 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 실시 형태의 개요를 설명하기 위한 도이다.
[도 2] 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 제1 실시 형태에서 행해지는, 이른바 프레임간 움직임 보상 붙임 동화상 구성 화상 JPEG 압축 방식의 채용에 의해, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 순서를 나타내는 플로차트이다.
[도 3] 제1 실시 형태에 있어서의 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 처리를 설명하기 위한 도이다.
[도 4] 본 발명의 동화상 재생 방법 및 동화상 재생 시스템의 제1 실시 형태에 있어서의, 클라이언트 단말(2)의 브라우저(21)가 다운로드하여 실행 해석하는, 도 2의 작성 순서에 대응한 표시 프로그램(11)의 처리 내용을 나타내는 플로차트이다.
[도 5] 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 제2 실시 형태에서 행해지는, 이른바 프레임간 움직임 보상 붙임 동화상 구성 화상 JPEG 압축 방식의 채용에 의해, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 순서를 나타내는 플로차트이다.
[도 6] 제1 실시 형태에 있어서의 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 처리를 설명하기 위한 도이다.
[도 7] 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 제3 실시 형태를 설명하기 위한 도이다.
이하, 도면을 참조하여, 본 발명의 실시 형태에 대해 상세하게 설명한다.
도 1은, 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 실시 형태의 개요를 설명하기 위한 도로서, 여기서, 우선, 도 1 (a)는, 동화상 표시 시스템의 일례를 나타내고 있고, 정보 참조자가 소유하는 클라이언트 단말(2)이, 인터넷(3)을 통하여 정보 제공자 측의 웹 서버(1)와 통신 가능하게 되어 있다.
클라이언트 단말(2)은, 적어도, 각종 텍스트 정보나 정지화상 및 동화상을 표시 가능한 표시 화면(22)과, 페이지 기술 언어로 기술된 프로그램을 읽어들여 해석하고, 그것에 따라 표시 화면(22)에 각종 텍스트 정보나 정지화상 및 동화상을 표시하는 브라우저(21)로 불리는 소프트웨어를 갖추고 있다. 또한, 본 발명에 있어서, 브라우저(21)가 해석 가능한 페이지 기술 언어는, 적어도 HTML(Hyper Text Markup Language) 5 규격에 준거한 언어이다. 또한, 여기에서는, 본 발명에 직접 관련되는 구성만을 들었지만, 클라이언트 단말(2)은, 그 외, 브라우저(21)를 포함한 각종 소프트웨어를 실행 가능한 프로세서나, 메모리, 및 표시 화면(22)의 표시 제어를 행하는 전용 처리부 등의 하드웨어를 갖추고 있으며, 여기에서는 생략하고 있다.
클라이언트 단말(2)의 예로서는, 예를 들면, 퍼스널 컴퓨터나, 이른바 스마트 폰 등의 휴대 정보 단말이 있다. 또한, 스마트 폰의 경우에는, 이른바 3G 회선이나 LTE(Long Term Evolution), WiMAX(등록상표) 등의 3.9G 회선을 통하여 인터넷(3)에 접속하거나, 무선 LAN 라우터에 대해서 Wi-Fi(등록상표)로 통신하여 직접 인터넷(3)에 접속하거나 하는 형태가 있다.
한편, 웹 서버(1)는, 적어도, 표시 프로그램(11), JPEG 압축 정지화상 데이터(12), 및 화상 복원용 압축 정보(13)를 갖추고 있다. 우선, JPEG 압축 정지화상 데이터(12)는, 클라이언트 단말(2)과 같이 인터넷(3)에 접속된 복수의 단말에 표시되는 것을 의도하여 작성된 동화상 정보를, 후술하는 프레임간 움직임 보상 붙임 동화상 구성 화상 JPEG 압축 방식에 의해 압축 부호화하여 얻어진 데이터이며, 나중에 상술하는 바와 같이 복수의 프레임으로 구성된 동화상 정보가 상기 특정의 처리 조작에 의해 정지화상의 JPEG 압축 데이터로서 작성된 것이다.
또한, 화상 복원용 압축 정보(13)는, 나중에 상술하는 바와 같이, 프레임간 움직임 보상 붙임 동화상 구성 화상 JPEG 압축 방식에 의해 동화상을 정지화상으로서 취급하도록 변환할 때의 변환 및 움직임 보상의 정보를 압축 부호화한 것이며, 클라이언트 단말(2) 측에서, JPEG 압축 정지화상 데이터(12)가 신장(伸長)되어 동화상 재구성될 때에 참조되는 것이다. 또한, 이 화상 복원용 압축 정보(13)는, 단순히, 예로써 base64 형식의 바이너리 데이터로 해도 좋지만, 정보량 삭감과 브라우저(21)에서 표준으로 처리 가능하다고 하는 관점에서는, 화상으로 간주하여 PNG 형식에 의해 압축 처리를 실시한 PNG 화상 데이터로서 구성하는 것이 바람직하다.
또한, 표시 프로그램(11)은, 클라이언트 단말(2)의 브라우저(21)에 의해 해석 가능한 언어로 기술된 프로그램으로서, 클라이언트 단말(2)에서 브라우저(21)가 해석을 행하는 것에 의해, 화상 복원용 압축 정보(13)를 참조하면서 JPEG 압축 정지화상 데이터(12)를 원래의 동화상으로 복원하고, 다른 텍스트 정보와 함께, 클라이언트 단말(2)의 표시 화면(22)에 표시하기 위한 것이다. 구체적으로는, 표시 프로그램(11)은, HTML 5에 준거한 기술 언어와 자바스크립트에 의해 기술되어 있다.
또한, 표시 프로그램(11), JPEG 압축 정지화상 데이터(12), 및 화상 복원용 압축 정보(13)는, 웹 서버(1)와는 별도의 단말에 의해 작성되고, 완성 후, 웹 서버(1)에 업 로드되는 것이 일반적이다. 또한, 표시 프로그램(11), JPEG 압축 정지화상 데이터(12), 화상 복원용 압축 정보(13)는, 이 예에서와 같이 동일한 웹 서버에 저장될 필요는 없고, 예를 들면, 표시 프로그램(11)과, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)는 다른 서버에 저장되어 있어도 좋다.
도 1 (b)는, 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 실시 형태에서 행해지는, 이른바 프레임간 움직임 보상 붙임 동화상 구성 화상 JPEG 압축 방식의 채용에 의해, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 순서를 나타내는 플로차트이다.
일반적으로, 정보 제공자 측은, 임의의 웹 서버에, 정보 참조자 측에 참조해 주기를 바라는 정지화상 및 동화상을 압축한 상태로 저장해 두는 것이지만, 본 발명의 실시 형태에 있어서는, 동화상 데이터를 압축한 것으로서 JPEG 압축 정지화상 데이터(12)를 작성하는 것과 함께, 부수(付隨) 정보로서 화상 복원용 압축 정보(13)를 작성한다.
여기서, 이 작성 방법의 요점으로서는, 복수의 프레임으로 구성되는 동화상 데이터를 각 프레임에 대해 8 화소 × 8 화소의 블록으로 분할하고, 블록마다 JPEG 압축 방식을 채용하여 압축 부호화하고, 그것들을 차례로 나열하여 JPEG 압축 정지화상으로 간주하는 것과 함께, 프레임간에는 움직임 보상의 개념을 채용하고, 주목(注目) 블록에 대해서, 이전(前) 프레임에 동일한 정보가 있으면, 해당 블록에 대해서 압축 데이터는 작성하지 않고, 이전 프레임의 정보를 이용한다. 각 블록에 대해서, 이전 프레임의 정보를 이용하는지 여부의 정보 등이 화상 복원용 압축 정보(13)에 기술된다. 이와 같이, JPEG 압축 방식을 채용하는 것에 의해 브라우저(21)에 표준 탑재된 디코더로 처리하는 것이 가능하게 되고, 아울러, 움직임 벡터에 의한 움직임 보상도 채용하고 있으므로 압축율을 향상시켜 정보량을 삭감하고 있다. 단, 브라우저(21)에서의 처리 부담을 고려하여, 차분(差分) 압축 처리는 행하지 않는다.
더 구체적으로는, 도 1 (b)에 나타내는 바와 같이, 동화상을 구성하는 각 프레임에 대해서, JPEG 압축 블록 단위로, 이전 프레임의 일부와 일치하고 있는지 여부를 판정해, 일치하고 있는 경우에는, 그 주목 블록에 대응시키고, 화상 복원용 정보에, "이전 프레임 화상 이용"의 취지와 그 움직임 벡터를 기술하며, 일치하고 있지 않은 경우는, 주목 블록에 대해서 JPEG 압축을 실시하고, JPEG 압축 정지화상 데이터(12)의 일부로서 연결하는 것과 함께, "압축 화상 있음"의 취지를 화상 복원용 정보에 기술한다(스텝 S11). 마지막 프레임까지 처리하여 JPEG 압축 정지화상 데이터(12)와 화상 복원용 정보가 완성되면, 화상 복원용 정보에 대해서는 PNG 형식으로 압축하여 화상 복원용 압축 정보(13)를 작성한다(스텝 S12). 정보 제공자는, 이와 같이 하여 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하여 웹 서버(1)에 저장한다.
또한, JPEG 압축 처리에 있어서는, 양자화(量子化) 처리가 포함되어 있고, 상술한 동일한가 여부의 판정에서는, 양자화 오차를 고려할 필요가 있다. 게다가, 동일하지 않은 경우에 발생하는 부호량을 감안하면, 양자화 오차가 어느 정도 커졌을 경우에도, 동일하다고 판정하는 것이 좋은 경우도 있다. 그래서, 동일한가 여부의 판정에 있어서는, JPEG 압축 처리의 양자화 계수로부터 RDO(Rate Distortion Optimization)의 λ파라미터를 결정하고, 동일하다고 판정했을 경우와, 판정하지 않은 경우의 코스트를 계산하여, 작은 쪽을 선택하는 것이 바람직하다. 구체적으로는, 이러한 코스트는, 어느 모드로 부호화한 경우의, 원(元)화상과의 제곱 오차와, 발생되는 부호량으로부터, 「코스트 = λ × 부호량 + 제곱 오차」로 계산할 수 있다. 이에 따라, 동일하다고 판정한 쪽이 코스트가 작은 경우에, 동일하다고 판정하는 것이 부호량과 화질의 밸런스의 관점에서 바람직하다.
도 1 (c)는, 클라이언트 단말(2)의 브라우저(21)가 다운로드하여 실행 해석하는, 도 1 (b)의 처리 순서에 대응한 표시 프로그램(11)의 처리 내용의 개요를 나타내는 플로차트이다. 표시 프로그램(11)은, 전술한 바와 같이, 작성한 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)의 작성 방침에 따라서, 정보 제공자측이 작성하는, HTML 5에 준거한 기술 언어와 자바스크립트에 의해 기술된 프로그램이다.
여기서, 개요로서는, 도 1 (c)에 나타내는 바와 같이, 화상 복원용 압축 정보(13)를 웹 서버(1)로부터 다운로드하고 디코드 처리를 실시하여 화상 복원용 정보를 회복하는 것과 함께(스텝 S21), JPEG 압축 정지화상 데이터(12)를 다운로드한다(스텝 S22). 그리고, 화상 복원용 정보를 참조하여, 각 블록에 대해서, "이전 프레임 화상 이용"이면, 화상 복원용 정보 내의 대응하는 움직임 벡터의 정보에 기초하여, 이전 프레임의 데이터로부터 디코드된 화상 데이터를 취득하고, "이전 프레임 화상 이용"이 아니면, 주목 블록으로서 채용해야 할 정보가, 다운로드한 JPEG 압축 정지화상 데이터(12) 내에 있게 되므로, JPEG 압축 정지화상 데이터(12) 내에서 다음 블록과 관련되는 정보를 주목 블록과 관련되는 정보로서 읽어들여와 디코드 처리를 행하는 것에 의해 화상 데이터를 취득하며, 이와 같이 택일적으로 얻어진 화상 데이터를 주목 블록과 관련되는 화상 데이터로 하고, 동화상의 프레임 내의 화상 데이터로서 배치하는 것에 의해 동화상의 프레임을 재구성하여 동화상을 표시한다(스텝 S23).
도 1 (d)는, 브라우저(21)의 처리 순서의 개요를 나타내는 플로차트이다. 클라이언트 단말(2)의 소유자, 즉 정보 참조자가, 기동되고 있는 브라우저(21)에 대해서, 참조하고 싶은 사이트의 URL(Uniform Resource Locator)을 입력하거나, 링크 정보에 대해서 기동을 걸면, 브라우저(21)는, 그것에 따라 특정된 웹 서버(1)로부터 표시 프로그램(11)을 다운로드하고(스텝 S31), 그것을 실행한다(스텝 S32). 표시 프로그램(11)은, 전술한 도 1 (c)에 나타낸 바와 같은 처리를 행하는 프로그램이기 때문에, 브라우저(21)가 그것을 실행하면, 표시 화면(22)상에 동화상이 표시되게 된다.
<제1 실시 형태>
도 2는, 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에서의 제1 실시 형태에서 행해지는, 이른바 프레임간 움직임 보상 붙임 동화상 구성 화상 JPEG 압축 방식의 채용에 의해, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 순서를 나타내는 플로차트이다. 도 3은, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 처리를 설명하기 위한 도이다.
전술한 개요 설명과 같이, 복수의 프레임으로 구성된 동화상 데이터를 JPEG 압축된 정지화상으로서 취급할 수 있도록, 선두 프레임으로부터 순차적으로, JPEG의 처리 단위인 8 화소 × 8 화소로 구성되는 블록 단위로 처리를 진행해 나간다. 여기서, 우선, 움직임 보상을 담보(擔保 즉, 보장)할 수 있도록, 이전 프레임과 주목 블록(CB)의 관계로부터, 움직임 벡터(MV)를 결정한다(스텝 S111). 움직임 벡터(MV)는, 이전 프레임(PF)의 화상과 주목 프레임(CF) 사이의 화소값의 제곱 오차에 기초하여 결정할 수 있다. 그리고, 결정된 움직임 벡터(MV)에 기초하여, 주목 프레임(CF)의 주목 블록(CB)은, 이전 프레임(PF)의 일부와 동일한가 여부를 판정한다(스텝 S112). 이 판정의 결과, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 있다고 판정되면(긍정판정: 肯定判定), 그 주목 블록(CB)에 대해서, "이전 프레임 화상 이용"의 취지와, 구해진 움직임 벡터(MV)(도 3 (a))의 정보를, 화상 복원용 정보에 기술하고(스텝 S113), 스텝 S116 으로 이행한다. 또한, 스텝 S113에서의 기술 형식은, 주목 블록 특정 정보와, 그것에 대응하는 "이전 프레임 화상 이용"의 정보 및 움직임 벡터(MV)의 정보를, 정지화상의 R, G, B의 각 값에, 임의적이지만, 결정하여 할당함으로써, 화상 복원용 정보 전체를 PNG 형식으로 압축한 후에 신장 복원했을 때에도, 그러한 정보를 인식가능하게 한다.
한편, 스텝 S112에 있어서, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 없다고 판정(부정판정: 否定判定)된 경우에는, 그 주목 블록(CB)에 대해서 JPEG 압축을 실시하고, 얻어진 압축 데이터를, 도 3 (b)에 나타내는 바와 같이, JPEG 압축 정지화상 데이터(12)의 일부로서 연결한다(스텝 S114). 여기에서의 JPEG 압축 처리는, 일반적인 처리이다. 즉, 이산(離散) 코사인 변환 처리와, 양자화 처리와, 허프만 부호화(Huffman coding)나 산술 부호화(Arithmetic coding) 등의 엔트로피 부호화(entropy encoding) 처리를 포함한다. 그리고, 그 주목 블록(CB)에 대해서, "압축 화상 있음"의 취지를 화상 복원용 정보에 기술하고(스텝 S115), 스텝 S116으로 이행한다. 또한, 스텝 S115에서의 기술 형식은, 주목 블록 특정 정보와, 그것에 대응하는 "압축 화상 있음"의 정보를, 정지화상의 R, G, B의 각 값에, 임의적이지만, 결정하여 할당함으로써, 화상 복원용 정보 전체를 PNG 형식으로 압축한 후에 신장 복원했을 때에도, 그러한 정보를 인식가능하게 한다.
스텝 S116에 있어서는, 주목 블록(CB)이 1 프레임 내의 마지막 블록인지를 판정하고, 마지막 블록이 아닌 경우(부정 판정)에는, 다음 블록을 지시(point)하여(스텝 S117), 스텝 S112로 돌아간다. 한편, 마지막 블록인 경우(긍정 판정)에는, 마지막 프레임인가 여부를 판정한다(스텝 S118). 해당 스텝에서, 마지막 프레임이 아닌 경우(부정 판정)에는, 다음의 프레임을 지시하여(스텝 S119), 스텝 S111로 돌아간다. 한편, 마지막 프레임인 경우(긍정 판정)에는, 이 시점에서 JPEG 압축 정지화상 데이터(12)가 완성된 것이므로 스텝 S120으로 이행한다. 스텝 S120에 있어서는, 완성된 화상 복원용 정보를 PNG 형식으로 압축하여 화상 복원용 압축 정보(13)를 작성한다. 이와 같이 작성된 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)는, 전술한 바와 같이 웹 서버(1)에 저장된다.
또한, 스텝 S114에 있어서 JPEG 압축에 의해 얻어진 압축 화상 데이터를 정지화상의 일부로서 차례로 연결해 나갈 때에, 상정하는 클라이언트 단말(2)의 정지화상 1개의 용량을 초과한 경우에는, 복수 개의 정지화상으로서 JPEG 압축 정지화상 데이터(12)를 구성한다.
도 4는, 본 발명의 동화상 재생 방법 및 동화상 재생 시스템의 제1 실시 형태에 있어서의, 클라이언트 단말(2)의 브라우저(21)가 다운로드하여 실행 해석하는, 도 2의 작성 순서에 대응한 표시 프로그램(11)의 처리 내용을 나타내는 플로차트이다. 즉, 표시 프로그램(11)으로서는, 준비한 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)의 작성 방법에 대응하여, 이하와 같은 처리로서 기술한다.
우선, 정보 참조자가 소유하는 클라이언트 단말(2)의 표시 화면(22)에 표시시키고 싶은 정보로서, 동화상 이외의 텍스트 등의 정보가 있으면, 그것들을 표시한다(스텝 S211). 다음으로, 화상 복원용 압축 정보(13)를 웹 서버(1)로부터 다운로드하고 디코드 처리를 실시하여 화상 복원용 정보를 회복하는 것과 함께(스텝 S212), JPEG 압축 정지화상 데이터(12)를 다운로드하고 디코드 처리를 실시하여 정지화상 데이터로서 얻는다(스텝 S213).
그리고 이후의 처리로 동화상을 재구성할 수 있도록, 디코드 처리로 얻어진 화상 복원용 정보 내의 각 블록에 대응시킨 각 정보를 참조해 나간다. 즉, 화상 복원용 정보를 참조하고(스텝 S214), 주목 블록(CB)이 "이전 프레임 화상 이용"인지 아닌지를 판정한다(스텝 S215). 주목 블록(CB)이 "이전 프레임 화상 이용"이면(긍정 판정), 화상 복원용 정보 내의 대응하는 움직임 벡터(MV)의 정보에 기초하여, 이전 프레임(PF)의 데이터로부터 디코드된 화상 데이터를 취득한다(스텝 S216).
한편, 주목 블록(CB)이 "이전 프레임 화상 이용"이 아니라면(스텝 S215에서 부정 판정), 주목 블록(CB)으로서 채용해야 할 정보가, 스텝 S213에서 디코드되어 얻어진 정지화상 데이터 내의 다음 블록 장소에 있게 되므로, 그 화상 데이터를 채취(採取)한다(스텝 S217).
그리고, 스텝 S218에 있어서, 스텝 S216에서 얻어진 이전 프레임으로부터의 디코드된 화상 데이터나, 또는, 스텝 S217에서 얻어진, 디코드된 정지화상 데이터 내의 다음 블록 장소에 있는 화상 데이터를, 주목 블록(CB)과 관련되는 화상 데이터로 하여, 동화상의 프레임 내에 배치하여 재구성한다(스텝 S219).
여기서, 상술한 바와 같이, 화상 데이터를 선택적으로 동화상의 프레임 내의 데이터로서 채용하는 구체적 수법에 대해 설명한다. HTML 5에서는, 캔버스(canvas)라고 하는 태그가 준비되어 있고, 해당 태그로 규정한 묘화 영역에 자바스크립트로 임의의 묘화 등의 처리를 행하는 것에 의해, 기정(旣定)된 화상이 아니라, 창작적으로 동화상을 구성하는 것이 가능하게 되어 있다. canvas 태그는, 예를 들면, <canvas id=" canvas" width=" 600" height=" 480">이라고 하는 기술이다. 이 구체적인 예에서는 600 화소 × 480 화소의 묘화 영역이 준비된다. 이러한 화상의 기술은, 자바스크립트의 예를 들면 drawimage API로 행할 수 있다. 이에 따라, 본 발명에서는, canvas 태그로 규정된 묘화 영역에, 묘화 영역에 재구성된 하나 전의 프레임 정보로서 프레임 버퍼(frame buffer)에 저장된 정보로부터, 움직임 벡터(MV)에 기초하여 특정되는 블록 화상 데이터와, JPEG 압축 정지화상 데이터(12) 내에 있는 정보를 새롭게 디코드하여 얻어진 블록 화상 데이터로부터, 선택적으로 배치 가능하게 된다.
다음으로, 상술한 선택적 취득에 따라, 1 프레임분이 완성됐는지 여부를 판정하고(스텝 S219), 완성되지 않은 경우(부정 판정)에는, 다음 블록을 주목 블록(CB)로 하고(스텝 S220), 스텝 S214로 돌아간다. 한편, 1 프레임 완성된 경우에는, 프레임 버퍼를 통하여 표시 화면(22)에의 표시 처리를 행한다(스텝 S221). 다음으로, 스텝 S222에서, 화상 복원용 정보 내의 마지막 블록과 관련되는 정보에 도달했는지 여부를 판정하고, 도달하지 않은 경우(부정 판정)에는, 스텝 S220으로 이행하고, 한편, 도달한 경우(긍정 판정)에는 처리를 종료한다. 이상의 처리에 따라, canvas 태그로 규정한 묘화 영역에, 정보 제공자가 인코드 전에 준비한 동화상을 표시하는 것이 가능하게 된다.
이상에서 설명한 제1 실시 형태에 따르면, 브라우저(21)에 의해 클라이언트 단말(2)에 동화상을 표시할 때, 동화상 디코더의 플러그인 등을 이용하지 않고, 브라우저(21)에 표준 탑재되어 있는 정지화상 디코더를 이용하는 것에 의해, 사전(事前)의 수고를 경감시키는 것과 함께 범용성을 높이고, 또한, 이러한 정지화상 디코더를 이용한다고 해도, 파라파라 만화와 같이 그대로 1장 1장 디코드하여 동화상으로서 출력하는 것이 아니라, 원래의 동화상의 정보를 정지화상의 정보로 간주할 때에, 프레임간의 움직임 보상을 채용하여 동화상 정보를 압축 정지화상으로 하고 있다고 하고 있으므로, 표시 속도도 보장된다. 다만, 프레임간의 차분 압축 처리까지 포함하면 디코드 처리가 무거워지므로 포함하지 않는 것으로 하고 있다.
<제2 실시 형태>
상술한 제1 실시 형태에서는, 이전 프레임을 이용가능한지 여부의 판단의 단위는, 최소 블록(JPEG 압축의 기본 단위인 8 화소 × 8 화소의 블록)이지만, 이전 프레임 내의 이용가능한 범위는 크게 잡으면 잡을수록 바람직하다. 2 블록 × 2 블록이나 4 블록 × 4 블록의 범위에서 일치하고 있다면, 그 크기로 처리하는 것이 바람직하다. 그러면 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)의 작성 처리는 간소화할 수 있어, 화상 복원용 압축 정보(13)의 정보량은 보다 적게 된다. 따라서, 이 제2 실시 형태에서는, 블록의 크기를 3 계층으로 하여 쿼드트리(Quad tree: 4分木) 처리를 행한다. 또한, 블록의 크기를 3 계층으로 했지만, 그것으로 한정되는 것은 아니다.
도 5는, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)의 작성에 있어서, 블록의 크기를 3 계층으로 하여, 쿼드트리 처리를 행하는, 제2 실시 형태에 있어서의 플로차트이다. 도 6은, 제2 실시 형태에 있어서의 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)를 작성하는 처리를 설명하기 위한 도이다.
이 제2 실시 형태에 있어서는, 전술한 바와 같이, 또한 도 6 (a)에 나타내는 바와 같이, 처리 블록의 크기를 3 계층으로 한다. 즉, 우선 주목 블록(CB)을 4 × 4 블록으로 하여, 일치하지 않으면 주목 블록(CB)을 2 × 2 블록으로 하고, 그런데도 일치하지 않으면 주목 블록(CB)을 1 × 1 블록으로 한다.
구체적으로는, 도 5를 참조하여, 우선, 움직임 보상을 보장할 수 있도록, 이전 프레임과 주목 프레임(CB)의 관계로부터, 움직임 벡터(MV)를 결정한다(스텝 S121). 그리고, 결정된 움직임 벡터(MV)에 기초하여, 주목 프레임(CF) 내의 주목 4 × 4 블록(CB)은, 이전 프레임(PF)의 일부와 동일한가 여부를 판정한다(스텝 S122). 이 판정의 결과, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 있다고 판정(긍정 판정)되면, 그 주목 4 × 4 블록(CB)에 대해서, "이전 프레임 화상 이용"의 취지, 참조 사이즈(이 경우 4 × 4), 및 구해진 움직임 벡터(MV)의 정보를, 화상 복원용 정보에 기술하고(스텝 S123), 스텝 S134로 진행된다. 또한, 스텝 S123에 있어서의 기술 형식은, 주목 블록 특정 정보와, 그것에 대응하는 "이전 프레임 화상 이용"의 정보, 참조 사이즈의 정보, 및 움직임 벡터(MV)의 정보를, 정지화상의 R, G, B의 각 값에 임의적이지만, 결정하여 할당함으로써, 화상 복원용 정보 전체를 PNG 형식으로 압축한 후에 신장 복원했을 때에도, 그러한 정보를 인식가능하게 한다.
한편, 스텝 S122에 있어서, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 없다고 판정(부정 판정)된 경우에는, 다음으로, 주목 4 × 4 블록(CB) 내의 주목 2 × 2 블록(CB)은, 이전 프레임(PF)의 일부와 동일한가 여부를 판정한다(스텝 S124). 이 판정의 결과, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 있다고 판정(긍정 판정)(특히, 도 6 (b)에 나타내는 경우)되면, 그 주목 2 × 2 블록(CB)에 대해서, "이전 프레임 화상 이용"의 취지, 참조 사이즈(이 경우 2 × 2), 및 구해진 움직임 벡터(MV)(도 6 (b))의 정보를, 화상 복원용 정보에 기술하고(스텝 S125), 스텝 S132로 진행한다.
한편, 스텝 S124에 있어서, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 없다고 판정(부정 판정)된 경우에는, 다음으로, 주목 2 × 2 블록(CB) 내의 주목 1 × 1 블록(CB)은, 이전 프레임(PF)의 일부와 동일한가 여부를 판정한다(스텝 S126). 이 판정의 결과, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 있다고 판정(긍정 판정)되면, 그 주목 1 × 1 블록(CB)에 대해서, "이전 프레임 화상 이용"의 취지, 참조 사이즈(이 경우 1 × 1), 및 구해진 움직임 벡터(MV)의 정보를, 화상 복원용 정보에 기술하고(스텝 S127), 스텝 S130으로 진행한다.
한편, 스텝 S127에 있어서, 이전 프레임(PF) 내에 동일하다고 간주되는 부분이 없다고 판정(부정 판정)된 경우에는, 그 주목 1 × 1 블록(CB)에 대해서 JPEG 압축을 실시하고, 얻어진 압축 데이터를, 도 3 (b)에 나타내는 제1 실시 형태와 마찬가지로, JPEG 압축 정지화상 데이터(12)의 일부로서 연결한다(스텝 S128). 그리고, 그 주목 1 × 1 블록(CB)에 대해서, "압축 화상 있음"의 취지를 화상 복원용 정보에 기술하고(스텝 S129), 스텝 S130으로 진행한다. 또한, 스텝 S129에 있어서의 기술 형식은, 주목 블록 특정 정보와, 그것에 대응하는 "압축 화상 있음"의 정보를, 정지화상의 R, G, B의 각 값에 임의적이지만, 결정하여 할당함으로써, 화상 복원용 정보 전체를 PNG 형식으로 압축한 후에 신장 복원했을 때에도, 그러한 정보를 인식가능하게 한다.
스텝 S130에 있어서는, 주목 1 × 1 블록(CB)이 주목 2 × 2 블록 내의 마지막 1 × 1 블록인지를 판정하고, 마지막 1 × 1 블록이 아닌 경우(부정 판정)에는, 다음의 1 × 1 블록을 지시하여(스텝 S131), 스텝 S126으로 돌아간다. 한편, 마지막 1 × 1 블록인 경우(긍정 판정)에는, 스텝 S132로 진행한다. 스텝 S132에 있어서는, 주목 2 × 2 블록(CB)이 주목 4 × 4 블록 내의 마지막 2 × 2 블록인지를 판정하고, 마지막 2 × 2 블록이 아닌 경우(부정 판정)에는, 다음의 2 × 2 블록을 지시하여(스텝 S133), 스텝 S124로 돌아간다. 한편, 마지막 2 × 2 블록인 경우(긍정 판정)에는, 스텝 S134로 진행한다. 스텝 S134에 있어서는, 주목 4 × 4 블록(CB)이 주목 프레임(CF) 내의 마지막 4 × 4 블록인지를 판정하고, 마지막 4 × 4 블록이 아닌 경우(부정 판정)에는, 다음의 4 × 4 블록을 지시하여(스텝 S135), 스텝 S122로 돌아간다. 한편, 마지막 4 × 4 블록인 경우(긍정 판정)에는, 스텝 S136으로 진행한다.
스텝 S136에 있어서는, 주목 프레임(CF)이 마지막 프레임인가 여부를 판정한다. 해당 스텝에서, 마지막 프레임이 아닌 경우(부정 판정)에는, 다음의 프레임을 지시하여(스텝 S137), 스텝 S121로 돌아간다. 한편, 마지막 프레임인 경우(긍정 판정)에는, 이 시점에서 JPEG 압축 정지화상 데이터(12)는 완성되었으므로 스텝 S138로 이행한다. 스텝 S138에 있어서는, 완성된 화상 복원용 정보를 PNG 형식으로 압축하여 화상 복원용 압축 정보(13)를 작성한다. 이와 같이 작성된 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)는, 전술한 바와 같이 웹 서버(1)에 저장된다.
또한, 스텝 S128에 있어서 JPEG 압축에 의해 얻어진 압축 화상 데이터를 정지화상의 일부로서 차례로 연결해 나갈 때에, 상정하는 클라이언트 단말(2)의 정지화상 하나의 용량을 초과한 경우에는, 제1 실시 형태와 마찬가지로, 복수 개의 정지화상으로서 JPEG 압축 정지화상 데이터(12)를 구성한다.
다음으로, 도 5에 나타낸, 제2 실시 형태에 있어서의 JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)의 작성 순서에 대응한 표시 프로그램(11)의 처리 내용은, 제1 실시 형태에 있어서의 도 2의 내용과 도 4의 내용의 대응 관계로부터 당업자에게는 자명한 것이므로 상세한 설명은 생략한다. 간단하게는, 도 4에서의 스텝 S215의 부정 판정 부분이 블록의 계층에 따라 계층 처리가 된다.
이상에서 설명한 제2 실시 형태에 따르면, 제1 실시 형태의 효과에 더하여, JPEG 압축 정지화상 데이터(12) 및 화상 복원용 압축 정보(13)의 작성 처리는 간소화할 수 있어, 화상 복원용 압축 정보(13)의 정보량은 보다 적게 된다.
<제3 실시 형태>
도 7은, 본 발명의 동화상 재생 방법 및 동화상 재생 시스템에 있어서의 제3 실시 형태를 설명하기 위한 도이다. 이 제3 실시 형태는, 상술한 제1 및 제2 실시 형태의 변형 형태로서, 구체적으로는, 투명도 정보를 도입한다. 즉, 도 7에 나타내는 바와 같이, 제3 실시 형태에 따른 웹 서버(1b)에는, 표시 프로그램(11), JPEG 압축 정지화상 데이터(12), 및 화상 복원용 압축 정보(13)에 더하여, 투명도 정보용 압축 정보(14)를 준비한다. 이 투명도 정보용 압축 정보(14)는, 화상 복원용 압축 정보(13)와 같이, PNG 형식으로 인코드한 압축 정보이며, 투명도 정보를 알파 채널로서 줄 수 있다. 그리고, 표시 프로그램(11)에 있어서는, 투명도 정보용 압축 정보(14)를, JPEG 압축 정지화상 데이터(12)와 같은 움직임 벡터로 디코드하는 것에 의해, JPEG 압축 정지화상 데이터(12)로부터 동화상을 재구성할 때에, 투명도 정보를 삽입하여 재구성하도록 기술한다.
이와 같이 투명도 정보를 채용하면, 클라이언트 단말(2)의 표시 화면(22)에 복수의 동화상을 재생하는 경우에, 각각 투명도 정보를 주도록 하면, 복수의 동화상을 겹쳐서 재생할 수 있게 된다.
또한, 상술한 각 실시 형태에 있어서는, 동화상 데이터를 정지화상의 데이터로서 압축 부호화하는 방식으로서 JPEG를 채용했지만, 화상 복원용 압축 정보(13)와 같이, PNG 방식도 채용가능, 즉 PNG 압축 정지화상 데이터를 준비하는 것도 가능하다.
본 발명의 동화상 재생 방법은, 예를 들면, 스마트 폰에 동화상을 재생하는 경우에 채용가능하다.
1 웹 서버
11 표시 프로그램
12 JPEG 압축 정지화상 데이터
13 화상 복원용 압축 정보
14 투명도 정보용 압축 정보
2 클라이언트 단말
21 브라우저
22 표시 화면
3 인터넷
MV 움직임 벡터
CB 주목 블록
CF 주목 프레임

Claims (9)

  1. 브라우저를 실장한 클라이언트 단말과, 그 클라이언트 단말과 네트워크를 통해 접속된 웹 서버를 구비한 동화상 재생 시스템에 있어서,
    상기 서버에서는,
    상기 클라이언트 단말의 브라우저로 표시시키는 복수의 정지 화상 데이터의 각 프레임을 블록마다 분할하고, 개개의 블록의 데이터와 동일 정보가 이전 프레임에 존재하는지 아닌지를 판정하고,
    상기 이전 프레임에 동일 정보가 존재하지 않는 블록에 대해서는 JPEG 또는 PNG 형식으로 해당 블록의 화상 데이터를 인코드해서 압축 정지 화상 데이터를 작성함과 동시에, 해당 블록에 대해서 이전 프레임에 동일 정보가 존재하고 있지 않은 취지의 제1 참조정보를 생성하고,
    상기 이전 프레임에 동일 정보가 존재하는 블록에 대해서는 해당 블록에 대해서 이전 프레임에 동일 정보가 존재하는 취지 및 차분 압축 정보를 포함하지 않는 움직임 벡터로 이루어지는 제2 참조정보를 생성하고,
    상기 압축 정지 화상 데이터와, 상기 제1 참조정보 및/또는 제2 참조정보로 이루어지는 화상 복원용 압축 정보를 각각 따로따로 저장하고,
    상기 클라이언트 단말에서는 실장한 브라우저에 의해 상기 서버에 액세스하여, 그 서버로부터 표시 프로그램을 수신하고,
    그 표시 프로그램은 HTML5에 준거한 상기 브라우저의 canvas태그로 실행되는 JavaScript이며, 그 표시 프로그램은,
    상기 서버로부터 화상 복원용 정보와 상기 압축 정지 화상 데이터를 각각 다른 파일로서 수신하고,
    수신한 상기 화상 복원용 압축 정보로 제1 참조정보가 할당되어 있는 블록에 대해서는 수신한 상기 압축 정지 화상 데이터를 디코드하여 해당 블록의 화상 데이터를 얻음과 동시에,
    수신한 상기 화상 복원용 압축 정보로 제2 참조정보가 할당되어 있는 블록에 대해서는 수신 완료의 프레임의 블록 데이터와, 움직임 벡터를 이용하여 해당 블록의 화상 데이터를 얻는 것에 의해 복수의 정지 화상으로 이루어지는 동화상을 재생하는 표시 프로그램을 포함하고,
    알파 채널로서의 화상의 투명도에 관련되는 정보를 인코드해서 투명도 정보용 압축 정보를 준비하고, 상기 표시 프로그램은, 상기 투명도 정보용 압축 정보를 디코드하고, 상기 압축 정지 화상 데이터로부터 동화상을 재구성할 때에, 상기 투명도에 관련되는 정보를 삽입하여 재구성하는 것을 특징으로 하는 동화상 재생 시스템.
  2. 청구항 1에 있어서,
    상기 블록의 디코드 포맷이 JPEG인 것을 특징으로 하는 동화상 재생 시스템.
  3. 청구항 1에 있어서,
    화상 복원용 압축 데이터가 base64 형식의 바이너리 데이터인 것을 특징으로 하는 동화상 재생 시스템.
  4. 청구항 1에 있어서,
    화상 복원용 압축 데이터를 화상으로 보아서 PNG 형식에 의해 압축 처리를 실시한 PNG 화상 데이터인 것을 특징으로 하는 동화상 재생 시스템.
  5. 청구항 1에 있어서,
    상기 이전 프레임에 동일 정보가 존재하는지 아닌지의 판정에 있어서는, 동일 정보의 존재를 판정하는 범위를, 소정의 n×n블록(n은, 2k(k는 1 이상의 정수))으로부터, k를 감소시키면서, 좁혀가는 것을 특징으로 하는 동화상 재생 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 청구항 1에 있어서,
    상기 압축 정지 화상 데이터는, 상기 클라이언트 단말이 취급하는 정지 화상의 용량에 대응하여 복수 매의 정지 화상으로서 분할되어 구성한 것을 특징으로 하는 동화상 재생 시스템.
KR1020160038062A 2014-05-30 2016-03-30 동화상 재생 방법 및 동화상 재생 시스템 KR101943699B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-113256 2014-05-30
JP2014113256A JP6340567B2 (ja) 2014-05-30 2014-05-30 動画再生方法及び動画再生システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140147013A Division KR20150137958A (ko) 2014-05-30 2014-10-28 동영상 재생 방법 및 동영상 재생 시스템

Publications (2)

Publication Number Publication Date
KR20160042407A KR20160042407A (ko) 2016-04-19
KR101943699B1 true KR101943699B1 (ko) 2019-01-29

Family

ID=51865990

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140147013A KR20150137958A (ko) 2014-05-30 2014-10-28 동영상 재생 방법 및 동영상 재생 시스템
KR1020160038062A KR101943699B1 (ko) 2014-05-30 2016-03-30 동화상 재생 방법 및 동화상 재생 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140147013A KR20150137958A (ko) 2014-05-30 2014-10-28 동영상 재생 방법 및 동영상 재생 시스템

Country Status (6)

Country Link
US (1) US10356431B2 (ko)
EP (1) EP2950531A1 (ko)
JP (1) JP6340567B2 (ko)
KR (2) KR20150137958A (ko)
CN (1) CN105282562A (ko)
TW (1) TWI526054B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648355B2 (en) * 2014-03-07 2017-05-09 Eagle Eye Networks, Inc. Adaptive security camera image compression apparatus and method of operation
CN105812714A (zh) * 2016-03-18 2016-07-27 浙江万朋教育科技股份有限公司 一种用于共享ppt文档页面的数据压缩方法
JP6735140B2 (ja) * 2016-04-27 2020-08-05 株式会社エムティーアイ 動画生成・送信方法、動画生成・送信システム、及び動画再生プログラム
CN105979282B (zh) * 2016-06-02 2019-08-06 腾讯科技(深圳)有限公司 一种动画帧处理方法、服务器、终端及系统
JP6695826B2 (ja) * 2017-05-19 2020-05-20 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
CN108322749B (zh) * 2018-03-15 2021-03-16 北京数码视讯科技股份有限公司 Rdoq的系数优化方法、rdoq的加速方法及装置
CN112954317B (zh) 2018-12-28 2022-02-11 Jvc建伍株式会社 动图像编码装置和方法、以及动图像解码装置和方法
CN110442806B (zh) * 2019-08-05 2022-04-26 百度在线网络技术(北京)有限公司 用于识别图像的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748625B1 (ko) * 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
JPH09288677A (ja) 1996-04-19 1997-11-04 Sony Corp 情報統合表示方法及び装置、情報統合表示システム
KR100238073B1 (ko) 1996-12-18 2000-01-15 윤종용 선택적 부호화방법 및 그 장치
KR19980048654U (ko) * 1996-12-30 1998-09-25 김영귀 밧데리 고정구조
CA2345878A1 (en) * 2001-05-01 2002-11-01 Destiny Software Productions Inc. Multi media distribution method and system
KR20040003147A (ko) 2002-06-29 2004-01-13 주식회사 보람씨앤씨 정지화상 데이터를 동화상데이터로 포맷하는 방법
KR20050105271A (ko) 2003-03-03 2005-11-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
JP4594913B2 (ja) * 2006-09-26 2010-12-08 株式会社東芝 画像転送装置、方法およびプログラム
KR101284158B1 (ko) 2007-05-30 2013-07-09 주식회사 엘지유플러스 이동통신단말기에서 무선인터넷 브라우저와 연동하는파일재생용 플레이어의 사용자 인터페이스 방법
US9672510B2 (en) * 2008-01-18 2017-06-06 Mitek Systems, Inc. Systems and methods for automatic image capture and processing of documents on a mobile device
JP4521835B2 (ja) * 2008-02-12 2010-08-11 株式会社ディジタルメディアプロフェッショナル 画像処理装置
JP5163233B2 (ja) * 2008-03-31 2013-03-13 富士通株式会社 情報処理装置、プログラム、方法、処理回路及び通信システム
EP2477415A3 (en) * 2010-11-21 2013-11-06 Human Monitoring Ltd Method and system of encoding and decoding media content
KR101921935B1 (ko) 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
JP2014038229A (ja) * 2012-08-17 2014-02-27 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US8887060B2 (en) * 2013-03-15 2014-11-11 American Megatrends, Inc. System and method of web-based keyboard, video and mouse (KVM) redirection and application of the same
US9412332B2 (en) * 2013-12-20 2016-08-09 Blackberry Limited Method for wirelessly transmitting content from a source device to a sink device
KR20150090930A (ko) * 2014-01-28 2015-08-07 엔에이치엔엔터테인먼트 주식회사 게임 장면을 공유하는 게임 방법 및 게임 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748625B1 (ko) * 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
TWI526054B (zh) 2016-03-11
US10356431B2 (en) 2019-07-16
JP2015228581A (ja) 2015-12-17
CN105282562A (zh) 2016-01-27
EP2950531A1 (en) 2015-12-02
KR20150137958A (ko) 2015-12-09
US20150350664A1 (en) 2015-12-03
KR20160042407A (ko) 2016-04-19
JP6340567B2 (ja) 2018-06-13
TW201545540A (zh) 2015-12-01

Similar Documents

Publication Publication Date Title
KR101943699B1 (ko) 동화상 재생 방법 및 동화상 재생 시스템
US9123084B2 (en) Graphical application integration with MPEG objects
EP3637781A1 (en) Video processing method and apparatus
US8116581B2 (en) Efficient image representation by edges and low-resolution signal
US20210352307A1 (en) Method and system for video transcoding based on spatial or temporal importance
KR101781776B1 (ko) 인코더 및 디코더
US10764588B2 (en) Deep quality enhancement of adaptive downscaled coding for image compression
US10841664B2 (en) Systems and methods for virtual set-top support of an HTML client
WO2020145783A1 (ko) 3차원 데이터 부호화 방법 및 장치 및 3차원 데이터 복호화 방법 및 장치
JP2015507902A (ja) 安定した情報および過渡的/確率的情報の別個のエンコードおよびデコード
CN112118456A (zh) 莱斯参数选择方法、装置、计算机设备及存储介质
US20240080495A1 (en) Iteratively updating a filtering model
KR102113904B1 (ko) 보간을 이용한 연산 방법, 인코더, 및 디코더
KR102272660B1 (ko) 전방위 몰입형 비디오에 대한 적응적 디블로킹 필터 적용 방법 및 디코딩 장치
CN110662071B (zh) 视频解码方法和装置、存储介质及电子装置
Baluja et al. Learning to render better image previews
US20230229894A1 (en) Method and apparatus for compression and training of neural network
CN110662060B (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN116977453A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN117336512A (zh) 一种人工智能视频编解码方法、装置及设备
CN116527929A (zh) 媒体文件传输方法、封装方法以及解封装方法
CN117336513A (zh) 一种人工智能视频编解码方法、装置及设备
CN116711310A (zh) 恢复图像特征
CN110572676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
KR20170032598A (ko) 스크린 콘텐츠 코딩을 위한 메모리 관리 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant