WO2012153475A1 - 描画合成装置 - Google Patents

描画合成装置 Download PDF

Info

Publication number
WO2012153475A1
WO2012153475A1 PCT/JP2012/002814 JP2012002814W WO2012153475A1 WO 2012153475 A1 WO2012153475 A1 WO 2012153475A1 JP 2012002814 W JP2012002814 W JP 2012002814W WO 2012153475 A1 WO2012153475 A1 WO 2012153475A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
processing unit
video information
depth
Prior art date
Application number
PCT/JP2012/002814
Other languages
English (en)
French (fr)
Inventor
靖広 了舟
中村　裕樹
橋本　勉
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2012153475A1 publication Critical patent/WO2012153475A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Definitions

  • the present invention relates to an apparatus that performs drawing synthesis on video data without a feeling of strangeness.
  • a video plane for broadcasting and a drawing plane (OSD plane) for drawing menus and the like are independent and are displayed at different depths.
  • the video plane and the drawing plane are prepared in independent memory areas and are displayed on the monitor screen after being synthesized by hardware.
  • the video plane and the drawing plane are independent and the drawing plane is always combined with the video plane so that it is always in front or behind, for example, an object is inserted between two objects that exist as video. Can't be drawn as if
  • the video plane and the drawing plane are individually subjected to the stereoscopic processing, and have an individual depth, so that the video and the drawing cannot be mixed and expressed.
  • the resolution, brightness, and saturation information of the video and those of the drawing are independent of each other, and a sense of incongruity may occur between the atmosphere of the video and the drawn picture.
  • An object of the present invention is to provide an apparatus that synthesizes a drawing without a sense of incongruity.
  • a drawing composition apparatus of the present invention includes a video information extracting means for acquiring video information from a packet of a video stream, and a drawing process for processing content to be drawn based on the video information. And means for drawing the processed drawing contents on video data placed in a buffer of the video plane.
  • a buffer area necessary for performing the processing may be provided.
  • the image data may be directly drawn from the beginning.
  • the video information extracting means may be obtained from image decoded data using an image recognition algorithm.
  • the drawing composition device of the present invention since the drawing can be displayed in a form in which the drawing is mixed, a picture or a photograph that does not feel uncomfortable with the moving image can be synthesized.
  • FIG. 1 is a diagram showing the whole in Embodiment 1 of the present invention.
  • the drawing composition apparatus shown in FIG. 1 includes a video information extraction unit 11, a drawing processing unit 12, a decoder 13, and a video data buffer 14.
  • the video information extraction unit 11 has a packet analysis unit 111, extracts a specific packet from a packet group included in the video stream, and passes the packet information itself or video information specified from the packet information to the rendering processing unit 12. .
  • the decoder 13 places the result of decoding the video stream in the video data buffer 14.
  • the drawing processing unit 12 performs drawing synthesis on the video data buffer 14 while changing the content to be drawn according to the video information received from the video information extracting unit 11.
  • the drawing composition apparatus can be used as a means for determining the drawing contents at the time of drawing based on video information such as format information obtained from the packet.
  • the drawing composition device determines the amount of movement of the drawing content in consideration of this display time. It can be used as a means. Further, if information such as whether or not film noise is mixed in the video from the packet is obtained, the drawing processing unit 12 adds film noise to the drawn content so that the atmosphere of the video and the drawn content is not impaired. Can be drawn and synthesized.
  • FIG. 2 is a diagram showing the whole in the second embodiment of the present invention.
  • the drawing composition apparatus shown in FIG. 1 includes a video information extraction unit 21, a drawing processing unit 22, and a video data buffer 23.
  • the video information extraction unit 21 performs some algorithm determination process using the data in the video data buffer 23 in which the result of decoding the video stream is placed as an image.
  • the video information specified from the determination process is passed to the drawing processing unit 22.
  • the drawing processing unit 22 performs drawing synthesis on the video data buffer 23 while changing the content to be drawn according to the received video information.
  • the video information extraction unit 21 has an algorithm that determines whether or not there is noise in the video based on the video data and extracts the noise pattern.
  • the video information extraction unit 21 extracts a noise pattern using the algorithm and passes it to the drawing processing unit 22.
  • the drawing processing unit 22 performs drawing synthesis on the video data buffer 23 while adding the noise pattern at the time of drawing, whereby the video and drawing content can be drawn and combined without impairing the atmosphere.
  • FIG. 3 is a diagram showing the whole in the third embodiment of the present invention. However, members corresponding to those described in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 11 extracts a packet having video format information from the packet group included in the video stream, and passes the resolution information obtained from the video format to the rendering processing unit 12.
  • the drawing processing unit 12 performs drawing composition on the video data buffer 14 while changing the contents to be drawn by the drawing resolution conversion processing unit 121 according to the received resolution information.
  • the drawing composition apparatus can be used as a means for determining the drawing contents at the time of drawing based on the resolution information obtained from the format information obtained from the packet.
  • the effective memory area of the video data buffer 14 is 1920 ⁇ 1080, it is less uncomfortable for the rendering processing unit 12 to perform rendering assuming a resolution of 1920 ⁇ 1080 which is the resolution of the video. You can draw as a way of showing.
  • the effective memory area of the video data buffer 14 is 720 ⁇ 480.
  • drawing is performed in advance assuming an area of 720 ⁇ 480, or after high-definition drawing once in a high-resolution area such as 1920 ⁇ 1080, reduction processing is performed, It is also possible to draw the image while reducing it to an area of 720 ⁇ 480.
  • the drawing application can handle drawing for both resolutions by simply drawing to a size of 1920 ⁇ 1080.
  • the former method of drawing assuming a 720 ⁇ 480 region in advance has the advantage that the drawing processing speed is improved and the memory consumption is small.
  • rendering can be performed without a sense of incongruity as the resolution, but which one may be used may be selected according to the image quality, the memory usage, and the rendering processing time.
  • FIG. 4 is a diagram showing the whole in the fourth embodiment of the present invention. However, members corresponding to those described in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 11 extracts a packet related to the video format from the packet group included in the video stream, and passes the color depth information obtained from the video format to the drawing processing unit 12.
  • the rendering processing unit 12 performs rendering synthesis on the video data buffer 14 while changing the content rendered by the color depth conversion processing unit 122 according to the received color depth information.
  • the drawing composition apparatus can be used as a means for determining drawing contents at the time of drawing based on the color depth information obtained from the format information obtained from the packet.
  • the rendering content when rendering to decode data with a small color depth is the same as the decode data from the beginning, rendering is performed assuming a small color depth, or once rendering is performed once at a high color depth Thus, it is possible to draw the decoded data while performing color depth conversion in accordance with the color depth of the decoded data.
  • the rendering is performed by switching whether or not to convert the color depth when the composite rendering is finally performed in the video data buffer 14 according to the color depth information of the video format.
  • the application can handle drawing for either color depth by simply drawing at a high color depth.
  • the former method of drawing with a small color depth is advantageous in that the drawing processing speed is improved and the memory consumption is small.
  • rendering can be performed without a sense of incongruity as the color depth, but which one may be used may be selected according to image quality, memory usage, and rendering processing time.
  • FIG. 5 is a diagram showing the whole in the fifth embodiment of the present invention. However, members corresponding to those described in the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 21 uses the data in the video data buffer 23 as an image, performs depth determination using a processing algorithm for determining depth, and then passes the depth information obtained from the determination processing to the drawing processing unit 22.
  • the drawing processing unit 22 performs drawing with hidden surface processing in the video data buffer 23 in the hidden surface processing unit 221 using the received depth information and depth information of the drawing content.
  • the video analysis unit 211 included in the video information extraction unit 21 performs depth estimation processing to acquire depth information.
  • the acquired depth information is passed to the drawing processing unit 22.
  • the drawing processing unit 22 has depth information of the drawing content to be drawn, and the hidden surface processing unit 221 performs drawing processing with hidden surface processing together with the depth information acquired from the video information extracting unit 21 in the video data buffer. 23.
  • FIG. 12 shows the video data placed in the video data buffer 23 in order from the left side of the upper stage, the contents to be drawn from now on, and the synthesis result when drawing synthesis without performing hidden surface processing.
  • drawing with hidden surface processing is shown in the middle and lower stages.
  • the middle left is color information of the video data placed in the video data buffer 23
  • the lower left is the depth information extracted from the video data buffer 23
  • the middle middle is the color information of the content to be drawn
  • the middle middle is now drawn.
  • Depth information of the content to be attempted, and the middle right side shows the composition result when drawing composition is performed with hidden surface processing.
  • the depth information holds the depth as a value, but in the figure, the value is represented by a color for explanation.
  • the front is black and the back is white.
  • hidden surface processing By rendering a triangle having a depth value between the depth values of two objects present in the video, hidden surface processing such as the result can be performed.
  • the hidden surface processing is realized by comparing the depth value of the image with the depth value of the content to be rendered, and rendering only the pixel determined to be positioned in front.
  • the depth value of the drawing content may be determined based on the depth value obtained from the video information.
  • a triangle can always be drawn between two objects.
  • an object to be drawn can be blended between objects having different depths in the video.
  • the data placed in the video data buffer 23 may be the entire effective area or a part of the data buffer.
  • FIG. 6 is a diagram showing the whole in the sixth embodiment of the present invention. However, members corresponding to those described in the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 21 uses the data in the video data buffer 23 as an image to perform depth determination using a processing algorithm for determining depth, and then passes the depth information obtained from the determination processing to the drawing processing unit 22.
  • the drawing processing unit 22 uses the received depth information and the depth information of the drawing content to cause the blur processing unit 222 to perform drawing synthesis with blur processing in the video data buffer 23.
  • the video analysis unit 211 included in the video information extraction unit 21 performs depth estimation processing to acquire depth information.
  • the acquired depth information is passed to the drawing processing unit 22.
  • the drawing processing unit 22 has the depth information of the drawing content to be drawn from now on, and the blurring processing unit 222 performs the drawing processing accompanied with the blurring processing together with the depth information acquired from the video information extracting unit 21.
  • the blurring processing unit 222 performs the drawing processing accompanied with the blurring processing together with the depth information acquired from the video information extracting unit 21.
  • the video information extraction unit 21 performs the depth estimation process, determines a focused position and depth value, and adjusts the blur amount according to the coordinate value or the distance of the depth from there. Also good.
  • the data placed in the video data buffer 23 may be the entire effective area or a part of the data buffer.
  • FIG. 7 is a diagram showing the whole in the seventh embodiment of the present invention. However, members corresponding to those described in the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 21 uses the data in the video data buffer 23 as an image, acquires motion vector information using a processing algorithm for determining motion information, and then passes the motion information to the drawing processing unit 22.
  • the drawing processing unit 22 performs drawing synthesis in the video data buffer 23 while adding image processing in which a motion component is added to the drawing content by the motion component synthesis processing unit 223 according to the motion information received from the video information extraction unit 21. I do.
  • a video analysis unit 211 included in the video information extraction unit 21 acquires motion information from data placed in the video data buffer 23.
  • the acquired motion information is passed to the drawing processing unit 22.
  • the rendering processing unit 22 Based on the motion information, the rendering processing unit 22 performs rendering that has been processed so that the rendering content appears to move in the same manner according to the direction and amount of motion at the rendering position of the rendering content to be rendered.
  • the data placed in the video data buffer 23 may be the entire effective area or a part of the data buffer.
  • a temporary buffer area may be secured in order to add a motion component as a drawing effect.
  • FIG. 8 is a diagram showing the entirety in the eighth embodiment of the present invention. However, members corresponding to those described in the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 21 uses the data of the video data buffer 23 as an image, performs determination for specifying the position of the object using a processing algorithm for determining object recognition, and then identifies object recognition information specified from the determination processing.
  • the drawing processing unit 22 uses the object recognition information received from the video information extraction unit 21 so that the recognition object drawing processing unit 224 performs drawing synthesis only on the specific object portion.
  • the video analysis unit 211 included in the video information extraction unit 21 performs an object recognition determination process, and specifies an area where an object to be recognized exists.
  • the drawing processing unit 22 can perform drawing processing only on a specific object from the object recognition determination. As a result, when an object registered in advance in the video data exists, mask processing, blurring processing, or some character or the like can be synthesized and displayed at the corresponding location.
  • the drawing composition apparatus can also be used as a parental control means such as applying a mask when the registered parental level matches the recognized parental level display logo.
  • the data placed in the video data buffer 23 may be the entire effective area or a part of the data buffer.
  • FIG. 9 is a diagram showing the entirety in the ninth embodiment of the present invention. However, members corresponding to those described in the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 21 uses the data in the video data buffer 23 as an image, acquires brightness or saturation information using a processing algorithm for determining brightness and saturation, and passes them to the rendering processing unit 22.
  • the drawing processing unit 22 performs drawing composition with image processing for adding the same lightness or saturation bias as the lightness or saturation information received by the lightness / saturation change drawing processing unit 225.
  • a video analysis unit 211 included in the video information extraction unit 21 acquires lightness or saturation information from the data placed in the video data buffer 23.
  • the drawing processing unit 22 uses the lightness or saturation information received from the video information extraction unit 21 to perform drawing with a processing process that makes it appear that there is a similar lightness or saturation bias to the drawing content. .
  • the image can be synthesized without impairing the atmosphere.
  • the data placed in the video data buffer 23 may be the entire effective area or a part of the data buffer.
  • FIG. 10 is a diagram showing the entirety in the tenth embodiment of the present invention. However, members corresponding to those described in the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the video information extraction unit 21 uses the data in the video data buffer 23 as an image, acquires noise information using a processing algorithm for determining a noise pattern of the image, and passes it to the drawing processing unit 22.
  • the drawing processing unit 22 performs drawing synthesis with image processing in the noise component addition drawing processing unit 226.
  • the video analysis unit 211 included in the video information extraction unit 21 acquires noise pattern information from the data placed in the video data buffer 23.
  • the drawing processing unit 22 uses the noise information received from the video information extraction unit 21 to perform drawing that has been subjected to processing that makes it appear that there is similar noise to the drawing content.
  • the image atmosphere is not impaired by drawing the image processed with the same noise as the noise pattern at that time. Can be drawn and synthesized.
  • the data placed in the video data buffer 23 may be the entire effective area or a part of the data buffer.
  • FIG. 11 is a diagram showing an entire composite drawing parameter adding apparatus according to Embodiment 11 of the present invention.
  • the composite drawing parameter adding unit 31 shown in FIG. 11 is the same as that of the fifth to fifth embodiments in which the video information extracting unit 21 existing in the second embodiment and the fifth to tenth embodiments corresponds to the video stream.
  • Information to be passed to the rendering processing unit 22 of form 10 is added to the video stream in advance. In this case, the video stream to which the composite drawing parameter is added can be subjected to drawing processing in the apparatus shown in the first embodiment.
  • the composite drawing parameter addition may be PC software.
  • a desired composition process can be added to video shooting data.
  • the drawing composition apparatus can not only draw the drawing contents on the video without a sense of incongruity, but also can add various drawing effects to the video, and can provide a more interactive viewing environment than the conventional one. It can also be used for enjoyment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)

Abstract

　描画合成装置は、映像ストリームのパケットから映像情報を取得する映像情報抽出手段と、前記映像情報を元にこれから描画しようとしている内容に加工処理を施す描画処理手段と、前記加工処理した描画内容を映像プレーンのバッファに置かれた映像データに描画する手段とを備える。

Description

描画合成装置
　本発明は、映像データに違和感なく描画合成を行う装置に関する。
　従来のデジタルテレビにおいては、放送を出画する映像プレーンと、メニューなどの描画を行う描画プレーン（ＯＳＤプレーン）は独立しており、異なる奥行きで表示される。例えば、非特許文献１，２に記載されているように、映像プレーンと描画プレーンはそれぞれ独立したメモリ領域で用意され、ハード的に合成処理された後、モニタ画面に表示される。
"Data Coding and Transmission Specification for Digital Broadcasting", ARIB STD-B24 Version 5.2 VOLUME 1, Association of Radio Industries and Businesses, pp.6-7 坂下博彦、「デジタルＴＶ～見るテレビから繋がるテレビに～」、[online]、社団法人電子情報技術産業協会、インターネット〈URL : http://home.jeita.or.jp/is/jeitakouza/kyouzai/toukoudai/02_tv.pdf〉、pp.9
　映像プレーンと描画プレーンが独立しており、かつ、映像プレーンに対して描画プレーンが常に手前または奥にあるように合成されるため、一例として映像として存在する２つの物体の間に物体を挿入しているかのように描画することはできない。
　また、表示の立体視を行う場合においても、映像プレーンと描画プレーンは個別に立体視処理を行っており、個別に奥行きを持つため、映像と描画を溶け込ませて表現することはできない。
　また、映像の持つ解像度、明度、彩度の情報と、描画のそれらとは独立しており、映像の持つ雰囲気と描画した絵の間に違和感が発生することがある。
　本発明は、映像に違和感なく描画を合成する装置を提供することを目的とする。
　上記目的を達成するための本発明の描画合成装置は、映像ストリームのパケットから映像情報を取得する映像情報抽出手段と、前記映像情報を元にこれから描画しようとしている内容に加工処理を施す描画処理手段と、前記加工処理した描画内容を映像プレーンのバッファに置かれた映像データに描画する手段とを備える。
　ここで、前記加工処理を行うために必要なバッファ領域を備えるようにしても良い。
　また、加工処理と描画処理を同時に実施できる場合は初めから映像データに直接描画しても良い。また、前記映像情報抽出手段は、映像のデコード後のデータから画像認識アルゴリズムを用いて得られるものであっても良い。
　この構成によれば、映像プレーンのバッファ領域に対して直接描画を行うので、映像として存在する物体の間に、物体を合成して描画することができる。また、映像の持つ解像度、明度、彩度の情報と、描画のそれらを合わせることも可能となり、映像の持つ雰囲気に違和感のない描画を行うことが可能となる。
　本発明の描画合成装置によれば、映像に描画を溶け込ませた形で表示することができるため、動画に対して違和感のない絵または写真などを合成することができる。
第１の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第２の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第３の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第４の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第５の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第６の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第７の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第８の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第９の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第１０の実施の形態に対応する描画合成処理装置の構成の例を示す図である。 第１１の実施の形態に対応する合成描画用パラメータ付加装置の図である。 第５の実施の形態における隠面処理の説明図である。
　以下本発明を実施するための形態について、図面を参照しながら説明する。
　（第１の実施の形態）
　＜描画合成装置の構成＞
　図１は、本発明の実施の形態１における全体を示す図である。同図の描画合成装置は映像情報抽出部１１と、描画処理部１２、デコーダ１３、映像データバッファ１４によって構成される。
　映像情報抽出部１１はパケット解析部１１１を持ち、映像ストリームが持つパケット群のうち、特定のパケットを取り出し、そのパケットの情報そのものあるいはパケットの情報から特定される映像情報を描画処理部１２に渡す。デコーダ１３は映像ストリームをデコードした結果を映像データバッファ１４に置く。描画処理部１２は映像情報抽出部１１から受け取った映像情報に応じて描画する内容を変更しながら、映像データバッファ１４に描画合成を行う。
　＜実施例＞
　当該描画合成装置は、パケットから得られる、フォーマット情報などの映像情報を元に、描画時において描画内容を判断するような手段として用いることができる。
　例えば特殊効果の付加を考える。24p出力時などは、映画フィルムのような表示特性となる。この時、アニメーションを描画する場合は映像フォーマット24p/60p等の情報から１秒あたりのフレーム表示時間を判断できるため、当該描画合成装置は、この表示時間を考慮した描画内容の移動量などを決める手段として活用できる。また、パケットから映像にフィルムノイズが混じっている状態か否かなどの情報が得られれば、描画処理部１２において、描画内容にフィルムノイズを付加することにより、映像と描画内容を雰囲気を損なわずに描画合成することができる。
　（第２の実施の形態）
　＜描画合成装置の構成＞
　図２は、本発明の実施の形態２における全体を示す図である。同図の描画合成装置は映像情報抽出部２１と、描画処理部２２、映像データバッファ２３によって構成される。
　映像情報抽出部２１は映像ストリームをデコードした結果が置かれた映像データバッファ２３のデータを画像として、何らかのアルゴリズム判定処理を行う。判定処理から特定される映像情報を描画処理部２２に渡す。描画処理部２２は受け取った映像情報に応じて描画する内容を変更しながら映像データバッファ２３に描画合成を行う。
　＜実施例＞
　映像情報抽出部２１は、映像データを元に映像にノイズが乗っているかを判断し、かつそのノイズパターンを抽出するアルゴリズムを持つ。映像情報抽出部２１において前記アルゴリズムを用いてノイズパターンを抽出し、描画処理部２２に渡す。描画処理部２２では描画の際に前記ノイズパターンを付加しながら、映像データバッファ２３に描画合成を行うことにより、映像と描画内容を雰囲気を損なわずに描画合成することができる。
　（第３の実施の形態）
　＜描画合成装置の構成＞
　図３は、本発明の実施の形態３における全体を示す図である。但し、前述の実施の形態１において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図３において映像情報抽出部１１は映像ストリームが持つパケット群のうち、映像フォーマットの情報を持つパケットを取り出し、映像フォーマットから得られる、解像度情報を描画処理部１２に渡す。描画処理部１２は受け取った解像度情報に応じて描画解像度変換処理部１２１にて描画する内容を変更しながら映像データバッファ１４に描画合成を行う。
　＜実施例＞
　当該描画合成装置は、パケットから得られる、フォーマット情報から得た解像度情報を元に、描画時において描画内容を判断するような手段として用いることができる。
　例えば以下の描画効果の付加を考える。
　１０８０ｉなどの出力フォーマット時において、映像データバッファ１４の有効メモリ領域が１９２０×１０８０の場合、描画処理部１２では映像の解像度である１９２０×１０８０の解像度を想定して描画を行う方が違和感の少ない見せ方として描画できる。一方、４８０ｉなどの出力フォーマット時においては、映像データバッファ１４の有効メモリ領域が７２０×４８０となる。この時の描画内容としては、予め７２０×４８０の領域を想定して描画を行うか、あるいは、１９２０×１０８０などの高い解像度の領域に一旦高精細な描画を行ったのち、縮小処理を行い、７２０×４８０の領域に縮小しながら描画することもできる。
　後者の一旦高精細な描画を行ったのち縮小する方法では、映像フォーマットが１０８０ｉか４８０ｉかの情報に応じて、最終的に映像データバッファ１４に合成描画する際に縮小するかしないかを切り替えることによって、描画アプリは基本的に１９２０×１０８０のサイズへの描画を行うだけでどちらの解像度に対する描画へも対応できる。一方前者の予め７２０×４８０の領域を想定して描画する方法では、描画処理速度が向上することやメモリ消費量が少なくて済むことが利点となる。
　どちらの方法を用いても解像度として違和感のない描画ができるが、どちらを使うかは、画質とメモリ使用量および描画処理時間に応じて選択できても良い。
　（第４の実施の形態）
　＜描画合成装置の構成＞
　図４は、本発明の実施の形態４における全体を示す図である。但し、前述の実施の形態１において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図４において映像情報抽出部１１は映像ストリームが持つパケット群のうち、映像フォーマットに関するパケットを取り出し、映像フォーマットから得られる、色深度情報を描画処理部１２に渡す。描画処理部１２は受け取った色深度情報に応じて色深度変換処理部１２２にて描画する内容を変更しながら映像データバッファ１４に描画合成を行う。
　＜実施例＞
　当該描画合成装置は、パケットから得られる、フォーマット情報から得た色深度情報を元に、描画時において描画内容を判断するような手段として用いることができる。
　例えば以下の描画効果の付加を考える。
　色深度の小さいデコードデータに対して描画する場合の描画内容としては、初めからデコードデータと同じく小さい色深度を想定して描画を行うか、あるいは、一旦高い色深度にて一旦描画を行った後、デコードデータの持つ色深度に合わせて色深度変換をしながらデコードデータに描画することができる。
　後者の一旦高い色深度を持つ描画を行う方法では、映像フォーマットの色深度情報に応じて、最終的に映像データバッファ１４に合成描画する際に色深度変換するかしないかを切り替えることによって、描画アプリは基本的に高い色深度での描画を行うだけでどちらの色深度に対する描画へも対応できる。一方前者の予め小さい色深度で描画を行う方法では、描画処理速度が向上することやメモリ消費量が少なくて済むことが利点となる。
　どちらの方法を用いても色深度として違和感のない描画ができるが、どちらを使うかは、画質とメモリ使用量および描画処理時間に応じて選択できても良い。
　（第５の実施の形態）
　＜描画合成装置の構成＞
　図５は、本発明の実施の形態５における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図５において映像情報抽出部２１は映像データバッファ２３のデータを画像として、奥行きを判定する処理アルゴリズムを用いて奥行き判定を行ったのち、判定処理から得られる奥行き情報を描画処理部２２に渡す。描画処理部２２は受け取った奥行き情報と描画内容の奥行き情報とを用いて隠面処理部２２１にて映像データバッファ２３に隠面処理を伴った描画を行う。
　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が奥行き推定処理を実施し、奥行きの情報を取得する。取得した奥行き情報は描画処理部２２に渡される。一方描画処理部２２はこれから描画しようとしている描画内容の奥行き情報を持ち、映像情報抽出部２１から取得した奥行き情報とあわせて隠面処理部２２１が隠面処理を伴った描画処理を映像データバッファ２３に対して行う。
　図１２において、上段の左側から順に映像データバッファ２３に置かれた映像データ、これから描画しようとしている内容、隠面処理を行わずに描画合成をした場合の合成結果を示す。同様に隠面処理を伴う場合の描画を中段および下段に示す。中段の左側は映像データバッファ２３に置かれた映像データのカラー情報、下段の左側は映像データバッファ２３から抽出した奥行き情報、中段真ん中はこれから描画しようとしている内容のカラー情報、下段真ん中はこれから描画しようとしている内容の奥行き情報、中段右側は隠面処理を伴い描画合成をした場合の合成結果を示す。前記奥行き情報は奥行きを値として保持しているが、図では説明のためにその値を色で表している。手前を黒、奥を白で表している。映像に存在する２つの物体の奥行きの値の間の奥行き値を持つ三角形の描画を行うことにより、結果のような隠面処理を行うことができる。隠面処理においては映像の持つ奥行き値と描画しようとしている内容の奥行き値を比較し、手前に位置すると判定した画素のみ描画することにより実現する。
　なお、描画内容の奥行き値は、映像情報から得られた奥行き値を元に決定しても良い。この場合、２つの物体の間に三角形を常に描画することができる。この隠面処理を伴う描画によって映像の中の異なる奥行きを持つ物体の間に描画する物体を溶け込ませて描画することができる。
　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。
　（第６の実施の形態）
　＜描画合成装置の構成＞
　図６は、本発明の実施の形態６における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図６において映像情報抽出部２１は映像データバッファ２３のデータを画像として、奥行きを判定する処理アルゴリズムを用いて奥行き判定を行ったのち、判定処理から得られる奥行き情報を描画処理部２２に渡す。描画処理部２２は受け取った奥行き情報と描画内容の奥行き情報とを用いてぼかし処理部２２２にて映像データバッファ２３にぼかし処理を伴った描画合成を行う。
　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が奥行き推定処理を実施し、奥行きの情報を取得する。取得した奥行き情報は描画処理部２２に渡される。一方描画処理部２２はこれから描画しようとしている描画内容の奥行き情報を持ち、映像情報抽出部２１から取得した奥行き情報とあわせてぼかし処理部２２２がぼかし処理を伴った描画処理を行う。この際、描画内容の持つ奥行き情報に応じて、描画物体に対してぼかし量を増減させながら描画を行うことで、奥行きに応じたぼかし効果を持った描画を行うことができる。
　なお、映像情報抽出部２１が奥行き推定処理を実施すると共に、ピントのあっている位置および奥行き値を決定し、そこから座標値あるいは奥行きの離れ量に応じてぼかし量を調整するというようにしても良い。
　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。
　（第７の実施の形態）
　＜描画合成装置の構成＞
　図７は、本発明の実施の形態７における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図７において映像情報抽出部２１は映像データバッファ２３のデータを画像として、動き情報を判定する処理アルゴリズムを用いて動きベクトルの情報を取得したのち、この動き情報を描画処理部２２に渡す。描画処理部２２は映像情報抽出部２１より受け取った動き情報に応じて動き成分合成処理部２２３にて描画内容に動き成分を付加したような画像処理を付加しながら、映像データバッファ２３に描画合成を行う。
　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が動き情報を取得する。取得した動き情報は描画処理部２２に渡される。描画処理部２２は前記動き情報よりこれから描画しようとしている描画内容の描画位置における動き方向および動き量に応じて、描画内容にも同様に動いたように見せる加工処理を施した描画を行う。
　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。
　なお、動き成分を描画効果として付加するために一時的なバッファ領域を確保しても良い。
　（第８の実施の形態）
　＜描画合成装置の構成＞
　図８は、本発明の実施の形態８における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図８において映像情報抽出部２１は映像データバッファ２３のデータを画像として、物体認識判定する処理アルゴリズムを用いて物体の位置を特定する判定を行ったのち、判定処理から特定される物体認識の情報を描画処理部２２に渡す。描画処理部２２は映像情報抽出部２１から受け取った物体認識の情報を用いることで、認識物体描画処理部２２４にて特定物体の部分にのみ描画合成を行う。
　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が物体認識判定処理を実施し、認識したい物体の存在する領域を特定する。描画処理部２２は物体認識判定から特定の物体にのみ描画処理を行うことができる。これにより、映像データに予め登録した物体が存在した場合などに、該当箇所にマスク処理やぼかし処理、あるいは何かしらのキャラクター等を合成表示させることができる。当該描画合成装置は、登録したペアレンタルレベルと認識したペアレンタルレベル表示ロゴとが一致した場合にマスクをかけるなどのペアレンタルコントロールの手段としても用いることができる。
　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。
　（第９の実施の形態）
　＜描画合成装置の構成＞
　図９は、本発明の実施の形態９における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図９において映像情報抽出部２１は映像データバッファ２３のデータを画像として、明度、彩度を判定する処理アルゴリズムを用いて明度あるいは彩度の情報を取得し、描画処理部２２に渡す。描画処理部２２は明度、彩度変更描画処理部２２５にて受け取った明度あるいは彩度の情報と同様の明度あるいは彩度の偏りを付加する画像処理を伴いながら描画合成を行う。
　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が明度あるいは彩度の情報を取得する。描画処理部２２は映像情報抽出部２１より受け取った明度あるいは彩度の情報を用いて、描画内容に対しても同様の明度あるいは彩度の偏りのあるように見せる加工処理を施した描画を行う。これにより、例えばセピア色やモノクロ色の背景に対して描画する場合にも映像の雰囲気を損なわずに合成することができる。
　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。
　（第１０の実施の形態）
　＜描画合成装置の構成＞
　図１０は、本発明の実施の形態１０における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。
　図１０において映像情報抽出部２１は映像データバッファ２３のデータを画像として、画像のノイズパターンを判定する処理アルゴリズムを用いてノイズ情報を取得し、描画処理部２２に渡す。描画処理部２２は受け取ったノイズ情報に応じて、ノイズ成分付加描画処理部２２６にて画像処理を伴いながら描画合成を行う。
　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１がノイズパターンの情報を取得する。描画処理部２２は映像情報抽出部２１より受け取ったノイズ情報を用いて、描画内容に対しても同様のノイズがあるように見せる加工処理を施した描画を行う。これにより、フィルムをデジタル化したようなノイズ混じりの映像を認識した場合に、その時のノイズパターンと同等のノイズを付加したような画像処理を施したものを描画することにより映像の雰囲気を損なわずに描画合成することができる。
　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。
　（第１１の実施の形態）
　＜描画合成装置の構成＞
　図１１は、本発明の実施の形態１１における合成描画用パラメータ付加装置の全体を示す図である。同図の合成描画用パラメータ付加部３１は、映像ストリームに対して実施の形態２および実施の形態５から実施の形態１０に存在する映像情報抽出部２１が同じく対応する実施の形態５から実施の形態１０の描画処理部２２に渡す情報を予め映像ストリームに付加する。この場合、合成描画用パラメータが付加された映像ストリームは実施の形態１に示す装置において、描画処理を行うことが可能となる。
　＜実施例＞
　映像ストリームにおいて合成描画用パラメータを付加する装置があれば、ストリームのパケット情報を参照することにより、デコード後のデータを解析せずに所望の合成描画効果を実現できる。デコード後のデータ量に比べて予め描画したい内容をパケット情報として付加することにより、解析の手間を省くことが可能となる。
　なお、当該合成描画用パラメータ付加はＰＣのソフトウェアであっても良い。例えばビデオ撮影データに対して所望の合成処理を付加できる。
　本発明にかかる描画合成装置は、映像に対して描画内容を違和感なく描画することができるだけでなく、映像に対してさまざまな描画効果を加えることができ、従来に比べてよりインタラクティブな視聴環境を楽しむ用途にも応用できる。
１１、２１　映像情報抽出部
１２、２２　描画処理部
１３　デコーダ
１４、２３　映像データバッファ
１１１　パケット解析部
１２１　描画解像度変換処理部
１２２　色深度変換処理部
２１１　映像解析部
２２１　隠面処理部
２２２　ぼかし処理部
２２３　動き成分合成処理部
２２４　認識物体描画処理部
２２５　明度、彩度変更描画処理部
２２６　ノイズ成分付加描画処理部
３１　合成描画用パラメータ付加部

Claims (11)

  1. 　映像ストリームに含まれるパケットデータを取得し前記パケットデータを元に映像情報を抽出する映像情報抽出部と、
    　前記映像情報抽出部が抽出した映像情報から描画処理内容を決める描画処理部と、
    　映像ストリームをデコードしたデータが置かれる映像データバッファとを備え、
    　前記映像情報抽出部が抽出した映像情報に応じた絵を前記映像データバッファのデータに合成して描画する
    ことを特徴とする描画合成装置。
  2. 　映像ストリームをデコードしたデータが置かれる映像データバッファと、
    　前記映像データバッファに置かれたデータから映像情報を抽出する映像情報抽出部と、
    　前記映像情報抽出部が抽出した映像情報から描画処理内容を決める描画処理部とを備え、
    　前記映像情報抽出部が抽出した映像情報に応じた絵を前記映像データバッファのデータに合成して描画する
    ことを特徴とする描画合成装置。
  3. 請求項１に記載の描画合成装置において、
    　前記映像ストリームに含まれるパケットデータが映像フォーマットの情報であり、
    　前記映像情報が解像度情報であり、
    　前記描画処理部が前記解像度情報に基づいて描画解像度を変える
    ことを特徴とする描画合成装置。
  4. 請求項１に記載の描画合成装置において、
    　前記映像ストリームに含まれるパケットデータが映像フォーマットの情報であり、
    　前記映像情報が色深度情報であり、
    　前記描画処理部が前記色深度に基づいて描画の色深度を変える
    ことを特徴とする描画合成装置。
  5. 請求項２に記載の描画合成装置において、
    　前記映像情報が映像から判断される奥行き情報であり、
    　前記描画処理部が前記奥行き情報を用いて隠面処理を伴う描画を行う
    ことを特徴とする描画合成装置。
  6. 請求項２に記載の描画合成装置において、
    　前記映像情報が映像から判断される奥行き情報であり、
    　前記描画処理部が前記奥行き情報を用いてぼかし処理を伴う描画を行う
    ことを特徴とする描画合成装置。
  7. 請求項２に記載の描画合成装置において、
    　前記映像情報が映像から判断される映像内の動きベクトルに関する情報であり、
    　前記描画処理部が前記動きベクトルの情報を用いて動き成分の付加処理を伴う描画を行う
    ことを特徴とする描画合成装置。
  8. 請求項２に記載の描画合成装置において、
    　前記映像情報が映像から判断される物体認識の情報であり、
    　前記描画処理部が前記物体認識の情報を用いて特定の物体に描画を行う
    ことを特徴とする描画合成装置。
  9. 請求項２に記載の描画合成装置において、
    　前記映像情報が映像から判断される映像の明度または彩度の情報であり、
    　前記描画処理部が前記明度または彩度の情報を用いて描画色の明度または彩度を変えて描画処理を行う
    ことを特徴とする描画合成装置。
  10. 請求項２に記載の描画合成装置において、
    　前記映像情報が映像から判断される映像のノイズ成分の情報であり、
    　前記描画処理部が前記ノイズ成分の情報を用いてノイズ成分の付加処理を伴う描画を行う
    ことを特徴とする描画合成装置。
  11. 　請求項５から１０のいずれか一つに記載の描画合成装置で使用される合成描画用のパラメータを、映像ストリームのパケット情報に付加する
    ことを特徴とする合成描画用パラメータ付加装置。
PCT/JP2012/002814 2011-05-11 2012-04-24 描画合成装置 WO2012153475A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011106194 2011-05-11
JP2011-106194 2011-05-11

Publications (1)

Publication Number Publication Date
WO2012153475A1 true WO2012153475A1 (ja) 2012-11-15

Family

ID=47138967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002814 WO2012153475A1 (ja) 2011-05-11 2012-04-24 描画合成装置

Country Status (1)

Country Link
WO (1) WO2012153475A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052100A1 (ja) * 2016-09-15 2018-03-22 株式会社カヤック 画像処理装置、画像処理方法、画像処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261890A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体
JP2006295746A (ja) * 2005-04-14 2006-10-26 Matsushita Electric Ind Co Ltd 映像信号出力装置、および映像信号出力方法
JP2008032947A (ja) * 2006-07-28 2008-02-14 Sharp Corp デジタル情報表示装置
JP2008079018A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Ind Co Ltd 字幕生成装置、字幕生成方法および字幕生成プログラム
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
JP2010206362A (ja) * 2009-03-02 2010-09-16 Sharp Corp 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261890A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体
JP2006295746A (ja) * 2005-04-14 2006-10-26 Matsushita Electric Ind Co Ltd 映像信号出力装置、および映像信号出力方法
JP2008032947A (ja) * 2006-07-28 2008-02-14 Sharp Corp デジタル情報表示装置
JP2008079018A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Ind Co Ltd 字幕生成装置、字幕生成方法および字幕生成プログラム
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
JP2010206362A (ja) * 2009-03-02 2010-09-16 Sharp Corp 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052100A1 (ja) * 2016-09-15 2018-03-22 株式会社カヤック 画像処理装置、画像処理方法、画像処理プログラム
JPWO2018052100A1 (ja) * 2016-09-15 2019-10-10 株式会社カヤック 画像処理装置、画像処理方法、画像処理プログラム

Similar Documents

Publication Publication Date Title
KR101527672B1 (ko) 비디오 적응 및 재타겟팅을 위한 비디오 캡션 재-오버레이 시스템 및 방법
JP5321694B2 (ja) 三次元画像にクローズドキャプショニングを提供するシステム及び方法
EP2338278B1 (en) Method for presenting an interactive video/multimedia application using content-aware metadata
CN109379628B (zh) 视频处理方法、装置、电子设备及计算机可读介质
TW200845762A (en) Methods and systems for improving low-resolution video
US20040109014A1 (en) Method and system for displaying superimposed non-rectangular motion-video images in a windows user interface environment
JP2010041336A (ja) 画像処理装置、および画像処理方法
US20090189912A1 (en) Animation judder compensation
US20030043298A1 (en) Image composition method, and image composition apparatus
KR20130104215A (ko) 영상의 적응적 부분대체 방법과, 이를 이용하여 광고영상이 삽입된 프로그램 동영상을 생성하는 방법
JP4528857B2 (ja) 画像処理装置及び画像処理方法
JP2005033741A (ja) テレビジョン用文字情報表示装置およびテレビジョン用文字情報表示方法
JP4543116B1 (ja) 画像処理装置、および画像処理方法
WO2012153475A1 (ja) 描画合成装置
KR100693510B1 (ko) 오브젝트 기반 영상 효과 처리 장치 및 그 방법
KR100800275B1 (ko) 그래픽 요소들을 포함하는 비디오 장면 합성을 위한 방법및 장치
CN114827620A (zh) 图像处理方法、装置、设备与介质
CN111263101A (zh) 一种对讲机显示画面合成方法及装置
JP4929848B2 (ja) 映像データの伝送システムとその方法、送信処理装置とその方法
US9300944B2 (en) Methods and systems for processing 3D video data
JP4869302B2 (ja) 画像処理装置及び画像処理方法
JP2004515175A (ja) 種々のデータからのビデオシーンのコンポジションの方法及び装置
JP2007019956A (ja) 画像合成装置及び画像合成方法
JP2009116421A (ja) 映像再生装置
JP5075923B2 (ja) 画像処理装置、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12782670

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12782670

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP