WO2003041407A1 - Moving picture coding apparatus - Google Patents

Moving picture coding apparatus Download PDF

Info

Publication number
WO2003041407A1
WO2003041407A1 PCT/JP2002/011383 JP0211383W WO03041407A1 WO 2003041407 A1 WO2003041407 A1 WO 2003041407A1 JP 0211383 W JP0211383 W JP 0211383W WO 03041407 A1 WO03041407 A1 WO 03041407A1
Authority
WO
WIPO (PCT)
Prior art keywords
key frame
component image
image data
data
encoding
Prior art date
Application number
PCT/JP2002/011383
Other languages
English (en)
French (fr)
Inventor
Maki Takahashi
Toshio Nomura
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to JP2003543316A priority Critical patent/JP4215643B2/ja
Publication of WO2003041407A1 publication Critical patent/WO2003041407A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding device that encodes moving image data constituted by a plurality of component image data.
  • a moving image encoding apparatus disclosed in Japanese Patent Application Laid-Open No. H10-33669 is known.
  • the video encoding device In order to realize the playback of the encoded video data from the playback device at an arbitrary time, the video encoding device periodically sets a key frame as a base point of random access for each component image data. , To encode the frame.
  • the reproducing apparatus can easily reproduce the component image data from an arbitrary key frame.
  • the key frame immediately before the specified time is searched for all the component image data, and the component image encoded data after that is decoded, and the data after the specified time is decoded. This can be realized by displaying an image.
  • the present invention has been made in view of the above problems, and has been made in consideration of high-speed reproduction, rewind reproduction, and the like. It is intended to provide a moving picture coding apparatus capable of easily realizing the special reproduction of the moving picture. Disclosure of the invention
  • the present invention has the following configuration to achieve the above object.
  • a first invention of the present application is a video encoding device that encodes video data composed of a plurality of component image data, and a component that encodes the component image data to generate partial image encoded data.
  • An image encoding unit comprising: a key frame control unit that controls whether the component image encoding unit encodes the component image data at a predetermined reproduction time as a key frame, wherein the key frame control unit includes: It is characterized in that all the component image data constituting the moving image data at the predetermined reproduction time are controlled to be encoded as a key frame.
  • a second invention of the present application is characterized in that the key frame control unit performs control to periodically generate a key frame at a predetermined time interval.
  • the key frame control unit notifies the component image code unit of time information of a reproduction time of moving image data to be encoded as a key frame, thereby controlling the key frame generation.
  • the component image encoding unit determines the most recent component image data after the reproduction time as a key frame according to the time information notified from the key frame control unit, It is characterized in that the component image data is encoded as a key frame.
  • the key frame control unit controls key frame generation by notifying the component image encoding unit of time information of a reproduction time of moving image data to be encoded as a key frame. If the component image data is not present at the reproduction time according to the time information notified from the key frame control unit, the component image encoding unit performs the component image interpolation from the latest component image data. It is characterized in that an image is created and the part image data is encoded as a key frame.
  • the component image encoding unit encodes the component image data using intra-frame encoding or inter-frame encoding, and a key frame encodes the intra-frame encoding. It is characterized by using a dangling method.
  • the sixth invention of the present application further includes an image analysis unit that analyzes moving image data, wherein the key frame control unit determines a key frame based on an image analysis result by the image analysis unit. I do.
  • a seventh invention of the present application is directed to a seventh aspect of the present invention, further comprising a multiplexing unit that multiplexes the component image coded data in a packet, wherein the bucket generated by the multiplexing unit adds to the plurality of divided component image coded data.
  • a flag indicating the presence of encoded component image data encoded as a key frame in the packet is included, and if a key frame is present, time information indicating the reproduction time is included. It is characterized by.
  • An eighth invention of the present application includes a multiplexing unit that multiplexes the component image coded data in packets, wherein the bucket generated by the multiplexing unit is added to the plurality of divided component image coded data. If additional information includes time information indicating the playback time of a key frame included in the packet, and the bucket does not include a key frame, invalid time information is set in the time information. It is characterized by the following. BRIEF DESCRIPTION OF THE FIGURES
  • FIG. 1 is a block diagram illustrating a schematic configuration of a video encoding device tt according to the first embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing moving image data composed of a plurality of component image data.
  • FIG. 3 is a flowchart illustrating the operation of the component image encoding unit according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing an operation (when inter-frame correlation is used) of the component image encoding unit according to the first embodiment of the present invention.
  • FIG. 5 is an explanatory diagram showing a data configuration of encoded video data generated by the video encoding device according to the first embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a schematic configuration of a video encoding device according to the second embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a schematic configuration of a video encoding device according to the third embodiment of the present invention.
  • FIG. 8 is an explanatory diagram showing a configuration of a moving picture coded data generated by the moving picture coding apparatus according to the third embodiment of the present invention.
  • the part image data is image data having a rectangular shape or an arbitrary shape, and the shape may change with time.
  • Fig. 2 (a) shows rectangular part image data OBJ1 representing the background
  • Fig. 2 (b) shows part image data OBJ2 of an arbitrary shape representing a person
  • Fig. 2 (d) shows these two parts.
  • This is a moving image data composed of image data. ⁇ BJ 2 in FIG.
  • FIG. 2 (b) is part image data of an arbitrary shape in the shape of a person as a subject, but when it is difficult to create such part image data of an arbitrary shape, FIG.
  • a rectangular area of a certain size including the person to be the subject is defined as OBJ3, and moving image data composed of OBJ1 and OBJ3 as shown in Fig. 2 (e) is handled It doesn't matter.
  • a frame refers to component image data having an arbitrary shape at a predetermined time.
  • a key frame is a base point for random access to component image encoded data, and is a file that can be decoded and displayed by the encoded data alone. It will be described as referring to a frame.
  • FIG. 1 is a block diagram showing a video encoding device according to a first embodiment of the present invention. is there.
  • the moving image encoding device of the present embodiment includes component image encoding units 111, 112 and a key frame control unit 2.
  • the moving image data input to the moving image coding apparatus is input to different part image coding units 1_1 and 1-2 for each of the part image data OBJ1 and OBJ2, and is individually encoded. .
  • a configuration in which an imaging device is added may be used as a unit for generating input moving image data of the moving image encoding device of the present embodiment.
  • a moving image decoding unit may be added to re-encode existing moving image encoded data.
  • the encoding method of the component image data OBJ 1 and OBJ2 may be any encoding method that handles component image data, such as MPEG-4. Also, the component image data 0BJ1 and OBJ2 may be encoded by different encoding methods.
  • the key frame control unit 2 controls the component image encoding units 1-1 and 1-2 to generate a key frame as a base point for random access to the generated component image encoding data. Control of key frame generation is performed by notifying the component image encoding units 11 1 and 11 of time information on the reproduction time of moving image data to be encoded. The key frame control unit 2 controls the key frames to be periodically generated at predetermined time intervals, and sends the same time information to the component image encoding units 1-1 and 1-2. Notice. The component image encoding units 11 1 and 1 _ 2 encode the frames of the corresponding reproduction times of the component image data OBJ 1 and ⁇ BJ 2 as key frames according to the notified time information, respectively. . °
  • all the component image data constituting the moving picture data are periodically and synchronously coded as key frames. Therefore, in the reproducing apparatus, the key generated at a predetermined cycle is used. By selectively decoding and displaying only one frame, special playback such as high-speed playback and rewind playback can be easily performed.
  • the control of key frame generation is based on the component image data to be encoded as a key frame.
  • the notification is performed by notifying the time information of the evening reproduction time
  • a method of notifying a frame interval or a time interval for encoding the key frame in advance before starting the encoding of the component image may be used.
  • the key frame generation cycle may be fixed, or may be externally specified according to the moving image data to be encoded.
  • FIG. 3 is a flowchart showing the operation of the component image encoding units 1-1 and 1-2 when encoding one frame of the component image.
  • the reproduction time T of the encoding target frame of the component image data is compared with the reproduction time TO of the moving image data to be encoded as a key frame specified by the key frame control unit 2 (step 001).
  • the frame is coded as a normal frame (step 0).
  • the first frame after the reproduction time T0 specified by the key frame control unit 2 is encoded as a key frame.
  • playback from an arbitrary frame is not required in the playback device, it is not necessary to encode a key frame other than the playback time T0 specified by the key frame control unit 2.
  • step 021 intra-frame coding (intra coding) is performed using the frame as a key frame.
  • the coded frames are shown in order of the reproduction time. .
  • FIG. 5 (a) shows the input part image data BJ at the reproduction times T0, Tl, ⁇ 2.
  • the frame at the reproduction time T O is encoded as a key frame.
  • the high-speed reproduction and the rewind reproduction can be performed by reproducing only the key frames at the times T 0, T 1, and T 2 encoded as the key frames in a predetermined cycle in the order or in the reverse order.
  • FIG. 5B shows an example in which the appearance start times of the input component image data are different, for example, when a person moves into a frame while moving.
  • Part image data 0 BJ 2 has no data yet at the time of reproduction time T 0, and the frame at the reproduction time T 3 where the part image data OBJ 2 appears instead of the frame at the reproduction time T 0 It is encoded as a key frame.
  • the playback, high-speed playback, and rewind playback of moving image data from an arbitrary time can be performed in the same manner as in FIG. 5 (a).
  • FIG. 5C shows an example in which the frame rate of the component image data BJ2 is one third of the component image data 0BJ1.
  • the playback device can realize high-speed playback.
  • FIG. 6 is a block diagram of the video encoding device according to the present embodiment.
  • the video encoding device of the present embodiment includes an image analysis unit 3 that analyzes video data in addition to the configuration of the video encoding device of the first embodiment.
  • the input moving picture data OBJ 1 and OBJ2 are coded by the component picture coding units 11 1 and 11 2 and input to the image analysis unit 3.
  • the image analysis unit 3 detects a scene change by analyzing the features of the moving image data.
  • the key frame controller 2 controls the component image encoders 111 and 112 so that the frame determined to have undergone a scene change is encoded as a key frame based on the analysis result of the image analyzer 3. I do.
  • the detection of a scene change performed by the image analysis unit 3 is performed, for example, by detecting a rapid change in the luminance value of the component image data or a change in the number of component image data constituting the moving image data.
  • the part image encoding units 1-1 and 1-2 are used as part image data
  • the function of the image analysis unit 3 may be performed by the component image encoding units 11-1, 1-2.
  • FIG. 7 is a block diagram of the moving picture coding apparatus according to the present embodiment.
  • the moving picture coding apparatus is configured to perform multiplexing in which buckets of a plurality of component picture coding data are combined into one piece of moving picture coding data in addition to the configuration of the moving picture coding apparatus according to the first embodiment. It is configured with part 4.
  • the multiplexing unit 4 multiplexes a plurality of component image data into packets and outputs multiplexed moving image coded data to which information on a key frame is added.
  • the encoded video data is composed of a plurality of packets P 1 to P n, and each packet P i includes, for example, a plurality of component image encoded data P i D 1 to P i divided in units of one frame. Dm and additional information are stored.
  • the additional information includes a flag indicating that encoded data of the key frame is present in the packet and, when a key frame is present, time information indicating a reproduction time of the key frame.
  • the key frame coded data exists in the packet.
  • a flag and a key frame are present, it is possible to selectively demultiplex only the packet containing the key frame generated at a fixed period, so special playback such as high-speed playback and rewind playback is performed. In this case, unnecessary bucket demultiplexing can be omitted.
  • the flag indicating the presence of a key frame is omitted, and the time information of the reproduction time of the key frame included in the packet is added to each packet. By setting, the presence or absence of a key frame may be determined.
  • a set of the playback time of the key frame and the identifier of the packet including the key frame is used as additional information, and the head of the moving image code
  • the video encoding device of the present invention by periodically encoding a key frame, reproduction from an arbitrary time in video encoding can be realized, and all components can be reproduced.
  • By matching the key frame encoding times of the image data it is possible to create moving image encoded data that enables the playback device to easily realize special playback such as high-speed playback and rewind playback.
  • the packet constituting the generated moving picture coding data indicates, as additional information, whether or not the key frame coded data exists in the bucket.
  • a moving picture coding apparatus is a moving picture coding apparatus that performs special reproduction such as high-speed reproduction and rewind reproduction when coding moving image data composed of a plurality of component image data. Are suitable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書 動画像符号化装置 技術分野
本発明は、 複数の部品画像データによつて構成される動画像データを符号化す る動画像符号化装置に関するものである。 背景技術
複数の部品画像データからなる動画像データを符号化する従来技術としては、 例えば特開平 1 0— 3 3 6 6 6 9号公報で示されている動画像符号化装置が知ら れている。 この動画像符号ィヒ装置は、 再生装置での動画像符号化データへの任意 の時刻からの再生を実現するため、 部品画像データ毎に、 周期的にランダムァク セスの基点となるキーフレームを設け、 当該フレームを符号化するものである。 このように符号化することで、 再生装置では、 任意のキーフレームからの部品 画像データの再生を容易に行うことが可能となる。 また、 任意の時刻からのデー 夕を再生する場合には、 全ての部品画像データに対して指定時刻の直前のキーフ レームを検索し、 それ以降の部品画像符号化データを復号し指定時刻以降の画像 を表示することにより実現することができる。
しかしながら、 上述した従来の動画像符号化装置においては、 部品画像データ 毎に異なる周期でキーフレームが作成されるため、 再生装置で所定の時刻の画像 を表示するには、 当該時刻の画像を構成する部品画像の復号だけでなく、 部品画 像毎に当該時刻直前のキ一フレームから当該時刻までの全ての符号化データを復 号しなければならなかった。 そのため、 高速再生や巻き戻し再生等の特殊再生を 行うことが困難であるという問題があった。
本発明は、 上記課題に鑑みてなされたものであり、 高速再生や巻き戻し再生等 の特殊再生を容易に実現することが可能な動画像符号化装置を提供するものであ る。 発明の開示
本発明は、 上記の目的を達成するため、 次の構成を有する。
本願の第 1の発明は、 複数の部品画像データからなる動画像データを符号ィ匕す る動画像符号化装置であって、 前記部品画像データを符号化し、 部分画像符号化 データを生成する部品画像符号化部と、 前記部品画像符号化部が所定再生時刻の 当該部品画像データをキーフレームとして符号化するか否かを制御するキーフ レーム制御部とを備え、 前記キ一フレーム制御部が、 所定再生時刻の動画像デ一 夕を構成する全ての部品画像データをキ一フレームとして符号化するよう制御す ることを特徴とする。
本願の第 2の発明は、 前記キーフレーム制御部が、 所定の時間間隔で周期的に キーフレームを生成するよう制御を行うことを特徴とする。
本願の第 3の発明は、 前記キーフレーム制御部が、 キーフレームとして符号化 すべき動画像データの再生時刻の時間情報を前記部品画像符号ィヒ部に通知するこ とでキーフレーム生成の制御を行い、 前記部品画像符号ィ匕部が、 前記キ一フレー ム制御部から通知された時間情報に従つて、 当該再生時刻以降の直近の部品画像 データをキーフレームと判定し、 当該再生時刻の部品画像データをキ一フレーム として符号化することを特徴とする。
本願の第 4の発明は、 前記キーフレーム制御部が、 キーフレームとして符号化 すべき動画像データの再生時刻の時間情報を前記部品画像符号化部に通知するこ とでキーフレーム生成の制御を行い、 前記部品画像符号ィ匕部が、 前記キーフレー ム制御部から通知された時間情報に従って、 当該再生時刻に部品画像データが存 在しない場合には、 直近の部品画像データから補間された部品画像デ一夕を作成 し、 当該部品画像データをキーフレームとして符号化することを特徴とする。 本願の第 5の発明は、 前記部品画像符号化部が、 前記部品画像デ一夕をフレー ム内符号化もしくはフレーム間符号ィ匕を用いて符号ィ匕し、 キーフレームはフレー ム内符号ィ匕を用いて符号ィ匕することを特徴とする。
本願の第 6の発明は、 さらに動画像データを解析する画像解析部を備え、 前記 キ一フレーム制御部が、 前記画像解析部による画像解析結果を基にキ一フレーム を決定することを特徴とする。
本願の第 7の発明は、 前記部品画像符号化デ一夕をパケット多重化する多重化 部を備え、 前記多重化部が生成するバケツ卜が、 分割された複数の部品画像符号 化データに加え、 付加情報として当該パケットにキ一フレームとして符号ィ匕され た部品画像符号化データの存在を示すフラグを含み、 更にキーフレームが存在す る場合には、 当該再生時刻を示す時刻情報を含むことを特徴とする。
本願の第 8の発明は、 前記部品画像符号化データをパケット多重化する多重化 部を備え、 前記多重化部が生成するバケツ卜が、 分割された複数の部品画像符号 化デ一夕に加え、 付加情報として当該パケッ卜に含まれるキ一フレームの再生時 刻を示す時刻情報を含み、 当該バケツトにキーフレームが含まれていない場合に は、 該時刻情報には無効な時刻情報を設定することを特徴とする。 図面の簡単な説明
図 1は、 本発明の第 1の実施形態における動画像符号化装 ttの概略構成を示す ブロック図である。
図 2は、 複数の部品画像デ一夕から構成される動画像データを示す模式図であ る。
図 3は、 本発明の第 1の実施形態における部品画像符号化部の動作を示すフ 口一チヤ一卜である。
図 4は、 本発明の第 1の実施形態における部品画像符号化部の動作 （フレーム 間相関利用時） を示すフローチャートである。 図 5は、 本発明の第 1の実施形態における動画像符号化装置により生成された 動画像符号化データのデータ構成を示す説明図である。
図 6は、 本発明の第 2の実施形態における動画像符号化装置の概略構成を示す ブロック図である。
図 7は、 本発明の第 3の実施形態における動画像符号化装置の概略構成を示す ブロック図である。
図 8は、 本発明の第 3の実施形態における動画像符号化装置により生成される 動画像符号化デ一夕の構成を示す説明図である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について、 図面を参照しながら説明する。 なお、 以 下の説明では、 図 2に示すように 2つの部品画像デ一夕から構成される動画像 データを取り扱う場合について説明する。 ここで部品画像デ一夕とは矩形あるい は任意の形状をした画像データであり、 形状が時間の経過と共に変ィヒするもので あってもかまわない。 図 2 ( a ) は背景を表す矩形の部品画像データ O B J 1、 図 2 ( b ) は人物を表す任意形状の部品画像デ一夕 O B J 2であり、 図 2 ( d ) は、 これら 2つの部品画像データから構成された動画像デ一夕である。図 2 ( b ) における〇B J 2は被写体である人物の形状をした任意形状の部品画像データで あるが、 このような任意形状の部品画像データを作成するのが困難な場合には、 図 2 ( c ) に示すように被写体となる人物を含む一定の大きさの矩形領域を. O B J 3とし、図 2 ( e )に示すような O B J 1、 O B J 3から構成される動画像デー 夕を取り扱ってもかまわない。 また、 フレームとは所定時刻における任意の形状. をした部品画像データを指し、 キーフレームとは部品画像符号ィ匕データに対する ランダムアクセスの基点であり、 当該符号化データ単体で復号及び表示可能なフ レームを指すものとして説明する。
図 1は本発明の第 1の実施形態における動画像符号化装置を示すプロック図で ある。本実施形態の動画像符号化装置は、部品画像符号化部 1一 1、 1一 2、キー フレーム制御部 2を備えている。 当該動画像符号化装置に入力される動画像デー 夕は、 部品画像データ O B J 1、 O B J 2毎に異なる部品画像符号化部 1 _ 1、 1 - 2に入力され、 個別に符号化が行われる。
図 1のブロック図では省略したが、 本実施形態の動画像符号化装置の入力動画 像データを生成する手段として、 撮像装置を加えた構成としてもよい。 また撮像 装置の代わりに、 動画像復号部を加え、 既存の動画像符号化データを再符号化す る構成としてもよい。
なお、 部品画像データ O B J 1 , O B J 2の符号化方式は、 例えば MP E G— 4のように、 部品画像データを扱う符号化方式であれば、 どのような符号化方式 を用いてもかまわない。 また、 部品画像デ一夕 0 B J 1、 O B J 2はそれぞれ異 なる符号化方式で符号化されてもかまわない。
キ一フレーム制御部 2は、 部品画像符号化部 1— 1、 1—2に対し、 生成され た部品画像符号ィ匕データに対するランダムアクセスの基点となるキーフレーム生 成の制御を行う。 キ一フレーム生成の制御は、 符号化すべき動画像データの再生 時刻の時刻情報を部品画像符号化部 1一 1、 1一 2に対し通知することで行う。 また、 キ一フレーム制御部 2は、 キーフレームが所定の時間間隔で周期的に生 成されるように制御を行い、 部品画像符号化部 1— 1、 1—2に対して同じ時刻 情報を通知する。部品画像符号化部 1一 1、 1 _ 2は、通知された時刻情報に従つ て、それぞれ部品画像デ一夕 O B J 1、〇B J 2の当該再生時刻のフレームをキ一 フレームとして符号化する。 °
本実施形態の動画像符号化装置では、 動画像データを構成する全ての部品画像 データが同期して周期的にキーフレームとして符号化されるので、再生装置では、 所定の周期で生成されたキ一フレームのみを選択的に復号、 表示を行うことで、 高速再生や巻き戻し再生等の特殊再生を容易に行うことが可能である。
なお、キーフレーム生成の制御は、キーフレームとして符号化する部品画像デー 夕の再生時刻の時刻情報を通知することで行うものとしたが、 キーフレームを符 号化するフレーム間隔や時間間隔を予め部品画像の符号化開始に先立って通知す る方法でもかまわない。 また、 キーフレームを生成する周期は固定としても、 符 号化する動画像データに応じて外部から指定できるようにしてもかまわない。 次に、 部品画像符号化の詳細について説明する。 図 3は部品画像 1フレームを 符号化する際の部品画像符号化部 1— 1、 1—2の動作を示すフローチャートで ある。 まずは、 当該部品画像データの符号化対象フレームの再生時刻 Tと、 キー フレーム制御部 2によって指定されたキ一フレームとして符号化すべき動画像 データの再生時刻 T Oを比較する （ステップ 0 0 1 )。
Tく T Oの場合、 当該フレームを通常のフレームとして符号化し （ステップ 0
1 0 ) 処理を終了する。 T = T 0あるいは T>T 0の場合、 既に当該キーフレ一 ムが符号化完了しているか否かを示すフラグ Fを判定する (ステップ 0 0 2 )。た だし、 フラグ Fはキ一フレーム制御部 2から新たな時刻情報が通知されるたびた 別途 F = F A L S Eに初期化されているものとする。
F = F AL S Eの場合、 当該キ一フレームはまだ符号化されていないので、 F
= T RUEに設定し（ステップ 0 2 0 )、当該フレームをキ一フレームとして符号 化し （ステップ 0 2 1 )、 処理を終了する。 F = T RUEの場合、 既に当該キーフ レームの符号ィ匕は完了しているので通常フレームとして符号化し （ステップ 0 1 0 )、 処理を終了する。
以上のように部品画像データの符号化を行うことで、 キーフレーム制御部 2が 指定した再生時刻 T 0以降の最初のフレームがキーフレームとして符号ィ匕される。 ただし、 再生装置で任意のフレームからの再生が必要とされない場合には、 キ一 フレーム制御部 2が指定した再生時刻 T 0以外をキーフレームとして符号化しな くてもかまわない。
また、 部品画像データの符号化方式に、 フレーム間の相関を利用した符号化方 式を用いる場合には、 キ一フレームは当該フレームの符号化データ単体での復号 及び再生を保証するためフレーム間の相関は利用せず、 必ずィントラピクチャと して符号化しなければならず、 この場合の部品画像符号ィ匕部 1 _ 1、 1— 2の動 作フ口一は図 4に示すようになる。 すなわち、 ステップ 0 2 1においては、 当該 フレームをキーフレームとしてフレーム内符号化 （イントラ符号化） を行う。 次に、 符号ィ匕された動画像データの構成例と再生装置におけるキーフレームの 働きについて図 5を用いて説明する。 図 5においては、 再生時刻 T O、 T l、 T
2のフレームをキ一フレームとして符号ィ匕するようキーフレーム制御部 2が制御 を行った場合に生成された動画像符号化デ一夕について、 符号化されたフレーム を再生時刻順に図示している。
図 5 ( a ) は、 再生時刻 T 0、 T l、 Τ 2における入力部品画像デ一タ〇B J
1、 O B J 2が存在する場合を示している。この場合、部品画像データ〇B J 1、
O B J 2共、 再生時刻 T Oのフレームがキーフレームとして符号ィ匕されている。 再生装直で任意の時刻からの動画像データを再生する場合には、 当該時刻直前 のキーフレームから復号し、 当該時刻以降のフレームを表示することで再生可能 である。 また、 高速再生、 巻き戻し再生は、 所定の周期でキーフレ一ムとして符 号化された時刻 T 0、 T 1、 T 2におけるキーフレ一ムのみ順或いは逆順に再生 することで可能である。
図 5 ( b ) は、 例えば人物が移動しながら画面内にフレームインしてくる場合 等、 入力部品画像データの出現開始時刻が異なる場合の例である。 部品画像デー 夕 0 B J 2は再生時刻 T 0時点ではまだデータが存在しておらず、 再生時刻 T 0 のフレームに代わつて部品画像デ一夕 O B J 2の出現した再生時刻 T 3のフレー ムがキ一フレームとして符号化されている。
この場合も、 図 5 ( a ) と同様の方法で、 任意の時刻からの動画像データの再 生、 高速再生、 巻き戻し再生が可能である。 ただし、 高速再生、 巻き戻し再生を 行う場合には、 所定の周期でキーフレームとして符号化された、 T O , T l、 T
2におけるフレームのみ順或いは逆順に再生することに注意する。 この時、 Τ 3 における部品画像データ〇B J 2のキーフレームは、 再生時刻 T 3以降 T 1未満 の再生時刻からの再生を開始する場合にのみ利用する。
また、 上記の説明では、 入力部品画像データのフレームレートが同一であるも のとして説明しているが、 フレームレ一トの異なる部品画像データを取り扱う場 合には、 次のように処理することで対応することができる。 例えば部品画像デー タ〇 B J 2のフレームレ一トが部品画像データ 0 B J 1の 3分の 1の場合の例を 図 5 ( c ) に示す。
この例では、 入力部品画像データとして、 再生時刻 T l、 丁2には〇：6 2の データが存在しない塲合を示している。 このような場合には、 再生時刻 Τ 1、 Τ 2における部品画像データ〇B J 2のフレ一ムを、 直近のフレームから補間した 補間画像として作成し、 キーフレームとして符号化することで図 5 ( a)、 ( b ) と同様に再生装置では高速再生等を実現すること力 Sできる。
次に、 本発明の第 2の実施形態について、 図 6とともに説明するが、 上述した 第 1の実施形態と同一部分には同一符号を付し、 その説明は省略する。 図 6は本 実施形態における動画像符号化装置のブロック図である。 本実施形態の動画像符 号化装置は、第 1の実施形態における動画像符号化装置の構成に加え、動画像デ一 夕の解析を行う画像解析部 3を備えて構成している。
本実施形態の動画像符号化装置においては、 入力動画像データ O B J 1 , O B J 2は部品画像符号化部 1一 1、 1一 2で符号化されると共に、 画像解析部 3に 入力される。 画像解析部 3は動画像データの特徴を解析することでシーンチェン ジの検出を行う。 キーフレーム制御部 2は画像解析部 3の解析結果を基に、 シー ンチェンジが発生したと判断された当該フレームをキーフレームとして符号化す るよう部品画像符号化部 1一 1、 1一 2の制御を行う。
画像解析部 3が行うシーンチェンジの検出は、 例えば、 部品画像データの輝度 値の急激な時間変化や、 動画像データを構成する部品画像データ数の変化を検出 することで行う。 また、 部品画像符号化部 1— 1、 1—2が部品画像デ一夕の符 号化のために、 同様の画像解析を行う機能を備える場合には、 画像解析部 3の機 能を部品画像符号化部 1一 1、 1—2が兼ねてもかまわない。 シーンチェンジに 合わせてキ一フレームの生成を行うことで、 再生装置では、 動画像データを構成 するシーン毎の正確な頭出しを容易に実現することができる。
ところで、 複数の部品画像符号化データから成る動画像符号化データを扱う場 合、 複数の部品画像データをバケツト多重化し 1つの多重化動画像符号化データ として、 伝送或いは蓄積するのが一般的である。
次に、 本発明の第 3の実施形態として複数の部品画像符号化データをパケット 多重ィ匕する場合について、 図 7及び図 8とともに説明するが、 上述した第 1の実 施形態と同一部分には同一符号を付し、 その説明は省略する。 図 7は本実施形態 における動画像符号化装置のブロック図である。
本実施形態の動画像符号化装置は、 第 1の実施形態における動画像符号化装置 の構成に加え、 複数の部品画像符号化データをバケツト多重化し 1つの動画像符 号化データにまとめる多重化部 4を備えて構成している。 多重化部 4は、 複数の 部品画像データをパケット多重化すると共に、 キーフレームに関する情報を付加 した多重化動画像符号化デ一タを出力する。
本実施形態の動画像符号化装置の特徴を説明するため、 当該動画像符号化装置 が生成する動画像符号化デ一夕の構成について、 図 8を用いて説明する。 動画像 符号化データは、 複数のパケット P 1から P nによって構成され、 各パケット P iには、 例えば 1フレーム単位に分割された複数の部品画像符号化データ P i一 D 1から P i— Dmと付加情報が格納されている。
付加情報は、 当該パケット内にキーフレームの符号化データが存在することを 示すフラグとキーフレームが存在する場合には、 当該キーフレームの再生時刻を 示す時間情報から成り、 再生装置が当該付加情報を用いることで、 多重分離する ことなく、 所定時刻のキ一フレーム検索が可能になる。
さらに、 当該パケット内にキ一フレームの符号化データが存在することを示す フラグとキーフレームが存在する場合には、 一定の周期で生成されたキーフレー ムを含むパケットだけを選択的に多重分離することが可能なため、 高速再生、 巻 き戻し再生等の特殊再生を行う場合に、 不要なバケツトの多重分離を省略するこ とができる。 また、 キーフレームの存在を示すフラグを省略し、 各パケットに当 該パケットに含まれるキ一フレームの再生時刻の時刻情報を付加する構成として、 キーフレームが含まれないバケツトには無効な時刻情報を設定することでキーフ レームの有無を判定可能としてもかまわない。
また、パケット毎にキ一フレームに関する情報を付加する代わりに、キ一フレー ムの当該再生時刻と当該キーフレームを含むパケットの識別子との組を付加情報 として、 動画像符号ィ匕データの先頭や最後にまとめて出力する構成でもかまわな い。
以上のように、 本発明の動画像符号化装置においては、 周期的にキーフレーム を符号化することで、 動画像符号化デ一夕の任意の時刻からの再生を実現すると 共に、 全ての部品画像データのキーフレーム符号化時刻を一致させることで、 再 生装置が高速再生や巻き戻し再生等の特殊再生を容易に実現可能な動画像符号化 データを作成することができる。
また、 本発明の動画像符号化装置においては、 生成される動画像符号化デ一夕 を構成するパケットに付加情報として、 当該バケツ卜にキーフレームの符号化 データが存在するか否かを示すフラグを付加し、 当該フラグを参照することで、 動画像符号化デ一タ内のキーフレームを容易に検索することが可能である。
さらに、 キ一フレームのみを復号し、 高速再生や巻き戻し再生を実現する場合 には、 該フラグを参照することで、 キーフレームを含むパケットのみを選択的に 多重分離することが可能であり、 不要なバケツトの多重分離を省略することがで きる。 産業上の利用可能性 本発明に係る動画像符号化装置は、 複数の部品画像データによつて構成される 動画像データを符号化するにあたり、 高速再生や巻き戻し再生等の特殊再生を行 う動画像符号化装置に適している。

Claims

請 求 の 範 囲
1 . 複数の部品画像デ一夕からなる動画像データを符号化する動画像符号化装置 であって、
前記部品画像デ一タを符号化し、 部分画像符号化データを生成する部品画像符 号化部と、
前記部品画像符号化部が所定再生時刻の当該部品画像データをキーフレームと して符号ィ匕するか否かを制御するキーフレーム制御部とを備え、
前記キーフレーム制御部は、 所定再生時刻の動画像データを構成する全ての部 品画像データをキ一フレームとして符号化するよう制御することを特徴とする動 画像符号化装置。
2 . 前記請求の範囲第 1項に記載の動画像符号化装置において、
前記キーフレーム制御部は、 所定の時間間隔で周期的にキーフレームを生成す るよう制御を行うことを特徴とする動画像符号化装置。
3 . 前記請求の範囲第 1項又は第 2項に記載の動画像符号化装置において、 前記キーフレーム制御部は、 キーフレームとして符号化すべき動画像デ一夕の 再生時刻の時間情報を前記部品画像符号化部に通知することでキーフレーム生成 の制御を行い、
前記部品画像符号化部は、 前記キーフレーム制御部から通知された時間情報に 従って、 当該再生時刻以降の直近の部品画像データをキーフレームと判定し、 当 該再生時刻の部品画像データをキーフレームとして符号化することを特徴とする 動画像符号化装置。
4. 前記請求の範囲第 1項又は第 2項に記載の動画像符号化装置において、 前記キーフレーム制御部は、 キーフレームとして符号化すべき動画像デ一夕の 再生時刻の時間情報を前記部品画像符号化部に通知することでキーフレーム生成 の制御を行い、 前記部品画像符号化部は、 前記キーフレーム制御部から通知された時間情報に 従って、 当該再生時刻に部品画像データが存在しない場合には、 直近の部品画像 データから補間された部品画像データを作成し、 当該部品画像データをキーフ レームとして符号化することを特徴とする動画像符号化装置。
5 . 前記請求の範囲第 1項乃至第 4項のいずれかに記載の動画像符号化装置にお いて、
前記部品画像符号化部は、 前記部品画像データをフレーム内符号化もしくはフ レーム間符号化を用いて符号化し、 キーフレームはフレーム内符号化を用いて符 号化することを特徴とする動画像符号化装置。
6 . 前記請求の範囲第 1項乃至第 5項のいずれかに記載の動画像符号化装置にお いて、
動画像データを解析する画像解析部を備え、
前記キーフレーム制御部は、 前記画像解析部による画像解析結果を基にキーフ レームを決定することを特徴とする動画像符号化装置。
7 . 前記請求の範囲第 1項乃至第 6項のいずれかに記載の動画像符号化装置にお いて、
前記部品画像符号化デ一夕をパケット多重化する多重化部を備え、
前記多重化部が生成するバケツトは、 分割された複数の部品画像符号ィ匕データ に加え、 付加情報として当該パケットにキ一フレームとして符号ィヒされた部品画 像符号化データの存在を示すフラグを含み、 更にキ一フレームが存在する場合に は、 当該再生時刻を示す時刻情報を含むことを特徴とする動画像符号化装置。
8 . 前記請求の範囲第 1項乃至第 6項のいずれかに記載の動画像符号化装置にお いて、
前記部品画像符号化データをバケツト多重化する多重化部を備え、
前記多重化部が生成するパケットは、 分割された複数の部品画像符号化デ一夕 に加え、 付加情報として当該バケツトに含まれるキーフレームの再生時刻を示す 時刻情報を含み、 当該パケットにキーフレームが含まれていない場合には、 該時 刻情報には無効な時刻情報を設定することを特徴とする動画像符号化装置。
PCT/JP2002/011383 2001-11-05 2002-10-31 Moving picture coding apparatus WO2003041407A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003543316A JP4215643B2 (ja) 2001-11-05 2002-10-31 動画像符号化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001338815 2001-11-05
JP2001-338815 2001-11-05

Publications (1)

Publication Number Publication Date
WO2003041407A1 true WO2003041407A1 (en) 2003-05-15

Family

ID=19153250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/011383 WO2003041407A1 (en) 2001-11-05 2002-10-31 Moving picture coding apparatus

Country Status (2)

Country Link
JP (1) JP4215643B2 (ja)
WO (1) WO2003041407A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008031293A1 (en) * 2006-09-05 2008-03-20 Zte, Corporation A method for quickly playing the multimedia broadcast channels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336669A (ja) * 1997-04-01 1998-12-18 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
WO2000018117A1 (fr) * 1998-09-08 2000-03-30 Sharp Kabushiki Kaisha Procede d'edition d'images a variation temporelle et dispositif d'edition d'images a variation temporelle
JP2001028750A (ja) * 1998-09-18 2001-01-30 Matsushita Electric Ind Co Ltd 画像出力装置，画像再生方法，オブジェクト合成装置，オブジェクト合成方法，及びデータ記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336669A (ja) * 1997-04-01 1998-12-18 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
WO2000018117A1 (fr) * 1998-09-08 2000-03-30 Sharp Kabushiki Kaisha Procede d'edition d'images a variation temporelle et dispositif d'edition d'images a variation temporelle
JP2001028750A (ja) * 1998-09-18 2001-01-30 Matsushita Electric Ind Co Ltd 画像出力装置，画像再生方法，オブジェクト合成装置，オブジェクト合成方法，及びデータ記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008031293A1 (en) * 2006-09-05 2008-03-20 Zte, Corporation A method for quickly playing the multimedia broadcast channels

Also Published As

Publication number Publication date
JPWO2003041407A1 (ja) 2005-03-03
JP4215643B2 (ja) 2009-01-28

Similar Documents

Publication Publication Date Title
DE69600670D1 (de) Bildinformationskodier- und -aufnahmesystem und -verfahren
KR950022875A (ko) 주화상에 부화상을 중첩하기 위한 다중화/디멀티플렉싱하는 방법
CN112073810B (zh) 一种多布局的云会议录制方法、系统和可读存储介质
US5677980A (en) Decoder for compressed digital signal
JPH11252552A (ja) ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
KR100765787B1 (ko) 압축 부호화된 영상 데이터 스트림의 재생 방법 및 그 장치
JP2009021983A (ja) 監視画像記録装置
JP2007306160A5 (ja)
JP2001204032A (ja) Ｍｐｅｇ復号装置
KR101528269B1 (ko) 동영상 재생 방법
JP2004173118A (ja) 音声画像多重化データ生成装置と再生装置および動画像復号化装置
WO2003041407A1 (en) Moving picture coding apparatus
WO2013149522A1 (zh) 帧场信息的编码方法及解码方法、编码器和解码器
JP2013168950A (ja) ビデオ画像を復号する方法及び装置
JP2003087732A (ja) 映像再生装置
JP2010081227A (ja) 動画像復号装置
JP4272753B2 (ja) 再生装置及びその制御方法、並びにコンピュータ読み取り可能な記憶媒体
JP4767916B2 (ja) 動画像符号化データ変換装置
US20070030897A1 (en) Encoding apparatus and method, recording apparatus and method, and decoding apparatus and method
JP4641690B2 (ja) 映像再生装置および映像再生方法
JPH10294943A (ja) 映像信号符号化方式と映像信号符号化装置と映像信号復号化方式と映像信号復号化装置
JP2003199042A (ja) トランスポートストリーム再生装置、トランスポートストリーム再生方法、再生表示システム、選択装置、再生表示方法、プログラム、および媒体
EP2487910B1 (en) Image coding device and image coding method
JP2001128125A (ja) 動画像再生装置
JP2005236386A (ja) 画像処理装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003543316

Country of ref document: JP

122 Ep: pct application non-entry in european phase