WO2010122775A1 - 映像処理装置及び映像処理方法 - Google Patents

映像処理装置及び映像処理方法 Download PDF

Info

Publication number
WO2010122775A1
WO2010122775A1 PCT/JP2010/002832 JP2010002832W WO2010122775A1 WO 2010122775 A1 WO2010122775 A1 WO 2010122775A1 JP 2010002832 W JP2010002832 W JP 2010002832W WO 2010122775 A1 WO2010122775 A1 WO 2010122775A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
unit
average
osd
stereoscopic video
Prior art date
Application number
PCT/JP2010/002832
Other languages
English (en)
French (fr)
Inventor
鈴木諭
加瀬大輔
五反田力
高鳥正博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US12/995,200 priority Critical patent/US20110187708A1/en
Priority to JP2010545313A priority patent/JPWO2010122775A1/ja
Priority to EP10766837A priority patent/EP2278824A4/en
Publication of WO2010122775A1 publication Critical patent/WO2010122775A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings

Definitions

  • the present invention relates to a video processing apparatus and a video processing method for displaying subtitles or OSD (On Screen Display) with parallax on a stereoscopic display.
  • the parallax of subtitles or OSD is generated based on the average screen parallax of stereoscopic video, content information, and alpha blend value.
  • the present invention relates to a video processing apparatus and a video processing method for synthesizing and displaying a caption or OSD with parallax based on the generated parallax.
  • a technology relating to a telop display device that can display a telop such as an emergency broadcast on the screen while viewing a 3D broadcast program is disclosed.
  • a method for recognizing an object of a stereoscopic image and generating a telop for stereoscopic vision without disturbing the overall stereoscopic effect is disclosed (for example, see Patent Literature 1, Patent Literature 2, and Patent Literature 3). .
  • a stereoscopic telop is generated by detecting an object from image information regardless of the type of stereoscopic image. Therefore, it does not correspond to the type of stereoscopic video such as the program content being viewed, and it has not been possible to display a telop or the like at an appropriate position according to the content of the program.
  • the video processing apparatus of the present invention includes a stereoscopic video output unit, an average parallax calculation unit, a data acquisition unit, a correction unit, and a video synthesis unit.
  • the stereoscopic video output unit outputs a stereoscopic video with a left-eye image and a right-eye image having parallax.
  • the average parallax calculation unit calculates a screen average parallax amount by calculating a parallax amount for each pixel of interest from the left-eye image and the right-eye image with respect to the stereoscopic video, and averaging the parallax amount over one screen.
  • the data acquisition unit detects the type of stereoscopic video or the characteristics of the composite image.
  • the correction unit corrects the screen average parallax amount according to the type of stereoscopic video or the characteristics of the composite image, and sets the parallax to be added to the caption or the OSD.
  • the correction unit adds the set parallax to the caption or OSD, and synthesizes the caption or OSD with parallax.
  • the video synthesizing unit synthesizes the captioned caption or OSD synthesized image synthesized by the correction unit and the stereoscopic video output from the stereoscopic video output unit.
  • the video processing apparatus corrects the screen average parallax amount of the stereoscopic video according to the type of the stereoscopic video or the characteristics of the composite image, and sets the parallax to be added to the caption or the OSD. Then, the video processing apparatus adds the set parallax to the caption or OSD, and synthesizes the caption or OSD with parallax. As a result, the discomfort given to the viewer can be reduced due to the difference in depth between the object displayed in the stereoscopic video and the caption or the OSD. In addition, it is possible to display an optimal subtitle or OSD according to the type of stereoscopic video being displayed or the characteristics of the composite image.
  • the video processing method of the present invention includes a stereoscopic video output step, an average parallax calculation step, a data acquisition step, a correction step, and a video synthesis step.
  • the stereoscopic video output step outputs a stereoscopic video based on a left-eye image and a right-eye image having parallax.
  • the average parallax calculation step calculates a screen average parallax amount by calculating a parallax amount for each pixel of interest from a left-eye image and a right-eye image with respect to a stereoscopic video, and averaging the parallax amount over one screen.
  • the data acquisition step detects the type of stereoscopic video or the characteristics of the composite image.
  • the screen average parallax amount is corrected according to the type of stereoscopic video or the characteristics of the composite image, and set as parallax to be added to the caption or OSD.
  • the set parallax is added to the caption or OSD to synthesize the caption or OSD with parallax.
  • the video composition step synthesizes the caption or OSD composite image with parallax and the stereoscopic video output from the stereoscopic video output unit.
  • FIG. 1 is a block diagram showing a configuration of a video processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the average parallax calculation unit in the embodiment of the present invention.
  • FIG. 3A is a conceptual diagram for explaining an operation when the average parallax calculation unit according to the embodiment of the present invention calculates the parallax amount in the stereoscopic video.
  • FIG. 3B is a conceptual diagram for explaining an operation when the average parallax calculation unit according to the embodiment of the present invention calculates the parallax amount in the stereoscopic video.
  • FIG. 4 is a block diagram showing a configuration of the parallax amount adjustment unit in the embodiment of the present invention.
  • FIG. 5 is a conceptual diagram for explaining an operation when the parallax amount adjustment unit according to the embodiment of the present invention calculates the parallax amount adjustment value.
  • FIG. 6 is a block diagram showing configurations of the parallax generation unit and the caption synthesis unit according to the embodiment of the present invention.
  • FIG. 7A is a conceptual diagram illustrating an example in which the video processing device according to the embodiment of the present invention stereoscopically displays subtitles.
  • FIG. 7B is a conceptual diagram illustrating an example in which the video processing device according to the embodiment of the present invention stereoscopically displays subtitles.
  • FIG. 8 is a flowchart showing a video processing method according to the embodiment of the present invention.
  • FIG. 9 is a flowchart showing in detail the correction step of the video processing method according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a video processing apparatus 100 according to an embodiment of the present invention.
  • the video processing apparatus 100 includes a stereoscopic video output unit 101, an average parallax calculation unit 102, a data acquisition unit 103, a parallax amount adjustment unit 104, a parallax generation unit 105, a caption or OSD output unit 106, a parallax synthesis unit 107, and a video synthesis unit 108.
  • the correction unit 109 includes a parallax amount adjustment unit 104, a parallax generation unit 105, and a parallax synthesis unit 107. Below, the structure and operation
  • the stereoscopic video output unit 101 outputs a left-eye image and a right-eye image in the stereoscopic video.
  • the left-eye image and the right-eye image have a certain parallax, and the video can be viewed as a three-dimensional image by using the parallax.
  • the average parallax calculation unit 102 calculates the parallax amount for each pixel of interest from the left-eye image and the right-eye image in the stereoscopic video output from the stereoscopic video output unit 101. Then, the average parallax calculation unit 102 calculates the screen average parallax amount by averaging the calculated parallax amount over one screen.
  • the average parallax calculation unit 102 may calculate the average value of the parallax amount over the entire screen as described above, but calculates the average value of the parallax amount of the predetermined video area on the screen to calculate the screen average parallax. It may be an amount.
  • the predetermined video area on the screen is an area excluding the black belt area. Then, the average parallax calculation unit 102 calculates the parallax amount for each pixel in the predetermined video area of the screen and sets it as the screen average parallax amount. In this way, a more appropriate screen average parallax amount can be calculated.
  • the data acquisition unit 103 acquires program-related information and an alpha blend value used at the time of OSD display or the like from information added to a television broadcast including a data broadcast and an electronic program guide (EPG). Then, the data acquisition unit 103 acquires content information from the program related information. That is, the data acquisition unit 103 detects the type of stereoscopic video or the feature of the composite image.
  • EPG electronic program guide
  • Content information indicates the type of stereoscopic video.
  • the content information indicates the category of the program, for example, “news”, “drama”, “sports”, “movie”, “animation”. That is, the data acquisition unit 103 detects a category of a program to be displayed with a stereoscopic video.
  • the alpha blend value is one of the characteristics of the composite image.
  • the alpha blend value is a coefficient that determines a ratio (transmittance) of transmitting one image when two images are combined. That is, the data acquisition unit 103 detects the transmittance of the stereoscopic image.
  • the data acquisition unit 103 outputs the program related information including the acquired content information and the alpha blend value to the parallax amount adjustment unit 104.
  • the parallax amount adjustment unit 104 calculates a parallax amount adjustment value to be added to the caption or OSD from the program related information including the content information obtained from the data acquisition unit 103 or the alpha blend value.
  • the parallax generation unit 105 generates parallax to be added to the caption or OSD based on the screen average parallax amount calculated by the average parallax calculation unit 102 and the parallax amount adjustment value calculated by the parallax amount adjustment unit 104.
  • the subtitle or OSD output unit 106 outputs subtitles for package media or subtitles or OSDs used for television receivers. Further, the parallax synthesis unit 107 adds the parallax generated by the parallax generation unit 105 to the subtitle or OSD output from the subtitle or OSD output unit 106 to synthesize (generate) the subtitle with parallax or OSD.
  • the correction unit 109 corrects the screen average parallax amount according to the type of the stereoscopic video or the feature of the composite image, sets the parallax to be added to the caption or OSD, and sets the parallax for the caption or OSD.
  • a caption with parallax or OSD is synthesized.
  • the video composition unit 108 synthesizes the stereoscopic video output from the stereoscopic video output unit 101 and the caption or OSD with parallax synthesized by the parallax synthesis unit 107.
  • FIG. 2 is a block diagram showing a configuration of the average parallax calculation unit 102 according to the embodiment of the present invention.
  • the average parallax calculation unit 102 includes a left / right division unit 201, a pattern matching unit 202, a screen position detection unit 203, a multiplier 204, and an average amount calculation unit 205.
  • the left / right dividing unit 201 divides the stereoscopic video into a left-eye image and a right-eye image. Then, the pattern matching unit 202 performs pattern matching in the horizontal direction on the left eye image and right eye image divided by the left and right dividing unit 201 described above, and detects matching points for all pixels. In this way, the pattern matching unit 202 calculates the amount of parallax for each pixel from the matching points for all the detected pixels. Then, the pattern matching unit 202 inputs the calculated amount of parallax to the multiplier 204.
  • the screen position detection unit 203 detects the position of the pixel of interest within the screen.
  • the detected position parameter is input to the multiplier 204.
  • Multiplier 204 receives the detected position parameter and the amount of parallax and multiplies them. Multiplier 204 outputs those multiplication results to average amount calculation section 205.
  • the average amount calculation unit 205 of the average parallax calculation unit 102 calculates an average amount of accumulated parallax amounts for one screen and outputs it as a screen average parallax amount. Note that, as described above, the average amount calculation unit 205 calculates the average value over the entire screen, but may calculate the parallax amount of only a predetermined video area on the screen. For example, when the screen is displayed in the letterbox method or the sidebar method, the parallax amount is calculated based on the pixels of only the predetermined video area of the screen excluding the black belt area, and the average parallax amount can be obtained. Good.
  • the average amount calculation unit 205 of the average parallax calculation unit 102 may weight the parallax amount from the screen position. That is, when the target pixel is near the center of the screen, the parallax amount (distance) detected by the pattern matching unit 202 is accumulated in the average amount calculation unit 205 as it is. On the other hand, when the pixel of interest is at the edge of the screen, there are few examples in which subtitles are displayed at the edge of the screen, and the viewer's viewpoint often faces the center of the screen.
  • the position parameter is set by the screen position detection unit 203 and the amount of parallax detected by the pattern matching unit 202 by the multiplier 204 is small. To be.
  • FIGS. 3A and 3B are conceptual diagrams for explaining an operation when the average parallax calculation unit 102 according to the embodiment of the present invention calculates the parallax amount in the stereoscopic video.
  • FIG. 3A shows a left-eye image in a stereoscopic video
  • FIG. 3B shows a right-eye image in a stereoscopic video.
  • FIG. 3A shows a left-eye image object 211 and a left-eye image object 212.
  • the left-eye image object 211 is located on the back side
  • the left-eye image object 212 is located on the near side.
  • a pixel of interest 220 is also shown.
  • FIG. 3B shows a right-eye image object 213 and a right-eye image object 214.
  • the object 213 in the right eye image is located on the back side, and the object 214 in the right eye image is located on the near side.
  • an object 215 that indicates the relative position of the object 212 in the left eye image with respect to the object 214 in the right eye image.
  • the average parallax calculation unit 102 performs pattern matching of the target pixel 220 in the left-right direction and the horizontal direction with respect to the target pixel 220 with the object in order to calculate the amount of parallax. For example, in the case of the object 212 of the left eye image and the object 214 of the right eye image, which are front objects, the average parallax calculation unit 102 performs pattern matching in the horizontal direction from the target pixel 222 of the object 215. Then, the average parallax calculation unit 102 detects the target pixel 224 that is the coincidence point of the right eye image 214 on the left side. Based on the result, the average parallax calculation unit 102 sets the screen position difference 230 between the target pixel 222 and the target pixel 224 as the parallax amount of the target pixel 220.
  • the average parallax calculation unit 102 further performs screen position detection, and since the target pixels 220, 222, and 224 are located at substantially the center of the screen, the set parallax amounts are the target pixel 220, the target pixel 222, and the target pixel. The amount of parallax in the pixel 224 is calculated.
  • FIG. 4 is a block diagram showing a configuration of the parallax amount adjustment unit 104 according to the embodiment of the present invention.
  • the parallax amount adjustment unit 104 includes an information separation unit 401, a first weight setting unit 402, a first weight storage unit 403, a second weight setting unit 404, a second weight storage unit 405, and a multiplier 406.
  • the information separation unit 401 extracts program content information and an OSD alpha blend value set by the television receiver from the data acquired from the data acquisition unit 103.
  • the first weight setting unit 402 sets a weight for the acquired content information.
  • the first weight storage unit 403 sets a weight for each piece of content information that can be acquired.
  • the second weight setting unit 404 sets a weight for the alpha blend value acquired from the data acquisition unit 103.
  • the second weight storage unit 405 sets a weight for each obtainable alpha blend value.
  • the multiplier 406 multiplies the first weight set by the first weight setting unit 402 and the second weight set by the second weight setting unit 404 to calculate a parallax amount adjustment value.
  • FIG. 5 is a conceptual diagram for explaining an operation when the parallax amount adjustment unit 104 according to the embodiment of the present invention calculates a parallax amount adjustment value.
  • FIG. 5 shows a program content table 411 for content information.
  • the program content table 411 shows the functions of the first weight setting unit 402 and the first weight storage unit 403 described above.
  • the weight for each content is stored in the first weight storage unit 403.
  • the weight setting unit 402 sets a weight for the input program content.
  • FIG. 5 shows an alpha blend table 412 for alpha blend values.
  • the alpha blend table 412 shows the functions of the second weight setting unit 404 and the second weight storage unit 405.
  • the weight for each alpha blend is stored in the second weight storage unit 405.
  • the second weight setting unit 404 sets a weight for the input alpha blend value.
  • the parallax amount adjustment unit 104 multiplies the weight determined in the program content table 411 and the second weight determined in the alpha blend table 412 by the multiplier 406 to calculate a parallax amount adjustment value.
  • the first weight and the second weight calculate a parallax amount adjustment value that increases the parallax amount as the weight increases.
  • the parallax amount adjustment value is calculated such that the smaller the first weight and the second weight, the smaller the parallax amount. That is, when the first weight and the second weight are heavy, the image processing apparatus 100 displays the image more three-dimensionally. On the other hand, when the weight is small, the image is displayed more planarly than when the weight is heavy. Is done.
  • Movie and animation have relatively many images with parallax, especially scenes with a large amount of parallax to increase the sense of reality. Therefore, as shown in FIG. 5, the weight for the content is such that the subtitle or OSD is displayed slightly before the average position because the subtitle is always viewed in movies and animations. In this way, it is possible to reduce a sense of incongruity that the subtitles feel as if they are behind the stereoscopic video. Conversely, in sports, subtitles or OSDs are displayed on the back side of the screen average parallax. As a result, it is possible not to disturb the watching.
  • the movie weight in the program content table 411 is set to 1.2.
  • the first weight of the content information is set to 1.2.
  • the second alpha blend weight in the alpha blend table 412 is set to 1.0.
  • the second weight is multiplied by the first weight by the multiplier 406.
  • the parallax adjustment value during movie viewing is 1.2. Therefore, the OSD is displayed in front of the screen average parallax.
  • weights can be changed according to the viewer's preference. Therefore, the viewer may freely change the setting using a remote controller or the like.
  • the OSD display weight in the alpha blend table 412 is set to 1.05 here. Therefore, the second weight of the OSD information being viewed is set to 1.05, and the value of the second weight is increased as the transmittance increases.
  • the OSD transmittance has been described as a feature of the composite video.
  • this embodiment is not limited to this, and for example, the OSD color or the like is used as the feature of the composite video. Also good.
  • FIG. 6 is a block diagram illustrating the configuration of the parallax generation unit 105 and the parallax synthesis unit 107.
  • the parallax generation unit 105 multiplies the screen average parallax amount calculated by the average parallax calculation unit 102 by the parallax amount adjustment value to be added to the caption or OSD calculated by the parallax amount adjustment unit 104, and the parallax to be added to the caption or OSD Is generated.
  • the disparity combining unit 107 adds the disparity generated by the disparity generation unit 105 to the caption or OSD, and combines (generates) the caption or OSD with disparity.
  • FIGS. 7A and 7B are conceptual diagrams showing an example in which the video processing apparatus 100 according to the embodiment of the present invention stereoscopically displays subtitles.
  • FIG. 7A shows an object 421 on the back side and an object 422 on the near side.
  • 7A shows a caption 423 before adjustment of the parallax amount to which the screen average parallax amount is added and a caption 424 after adjustment of the parallax amount based on the data acquired from the data acquisition unit 103.
  • FIG. 7B shows a shape 425 that represents the object 421 on the back side from the side.
  • a shape 426 representing the front object 422 from the side surface
  • a shape 427 representing the subtitle 423 before parallax adjustment from the side surface
  • the parallax adjustment based on the data acquired from the data acquisition unit 103 are shown.
  • the form 428 showing the caption 424 from the side is shown.
  • the parallax amount is set so that the subtitle 427 has the screen depth at the screen average position of the object 425 and the object 426 before the parallax adjustment. Therefore, the subtitles of the movie are felt as if they are deep when the near object 426 has a large parallax. Therefore, in the video processing apparatus 100 in the present embodiment, the screen average position based on the average parallax of the stereoscopic video is obtained by multiplying the screen average parallax by the parallax amount adjustment value 1.2 at the time of viewing the movie in order to reduce the uncomfortable feeling. Accordingly, the subtitle 428 is displayed at the position on the near side. The OSD is displayed in the same manner.
  • the video processing apparatus 100 corrects the average amount of parallax according to the type of stereoscopic video or the characteristics of the composite image, so that the optimal parallax of the composite image for the stereoscopic video being viewed is obtained. Can be generated and added. Therefore, the video processing apparatus 100 can provide a composite image that does not give the viewer a sense of incongruity.
  • FIG. 8 is a flowchart showing a video processing method according to the embodiment of the present invention.
  • the video processing method according to the present embodiment includes a stereoscopic video output step, an average parallax calculation step, a data acquisition step, a correction step, and a video synthesis step.
  • the stereoscopic video output unit 101 outputs a stereoscopic video based on a left-eye image and a right-eye image having parallax (step S800).
  • the average parallax calculation unit 102 calculates a parallax amount for each pixel of interest from a left-eye image and a right-eye image, and averages the parallax amount over one screen. The screen average parallax amount is calculated (step S802).
  • the average parallax calculation unit 102 may calculate the average value of the parallax amount over the entire screen in this way, but the average parallax amount of the predetermined video area on the screen is calculated to calculate the screen average parallax. It may be an amount. For example, when the letterbox method or the sidebar method is used, the parallax amount of pixels excluding the black belt region may be calculated. That is, in the average parallax calculation step, the average parallax calculation unit 102 may weight the parallax amount according to the screen position.
  • the data acquisition unit 103 detects the type of stereoscopic video or the characteristics of the composite image (step S804).
  • the type of stereoscopic video indicates the category of the program, for example, “news”, “drama”, “sports”, “movie”, “animation”.
  • the feature of the composite image is, for example, an alpha blend value, and is a coefficient that determines a ratio (transmittance) for transmitting one image when the two images are combined.
  • the screen average parallax amount is corrected according to the type of stereoscopic video or the characteristics of the composite image, and set as parallax to be added to the caption or OSD.
  • parallax is added to the caption or OSD to synthesize the caption or OSD with parallax (step S806).
  • the video synthesizing unit 108 synthesizes the caption or OSD synthesized image with parallax synthesized by the parallax synthesizing unit 107 and the stereoscopic video output from the stereoscopic video output unit 101 (step S808).
  • the correction step may include a parallax amount adjustment step, a parallax generation step, and a parallax synthesis step, as shown in FIG.
  • FIG. 9 is a flowchart showing in detail the correction step of the video processing method according to the embodiment of the present invention.
  • the parallax adjustment unit 104 calculates the parallax adjustment value from the program related information including the content information and the alpha blend value (step S900).
  • the content information indicates the type of stereoscopic video.
  • the content information indicates the category of the program, for example, “news”, “drama”, “sports”, “movie”, “animation”.
  • the alpha blend value is one of the characteristics of the composite image.
  • the alpha blend value is a coefficient that determines a ratio (transmittance) of transmitting one image when two images are combined.
  • the parallax generation unit 105 In the parallax generation step, the parallax generation unit 105 generates parallax to be added to the caption or OSD based on the screen average parallax amount calculated by the average parallax calculation unit 102 and the parallax amount adjustment value calculated by the parallax amount adjustment unit 104. (Step S902). Specifically, the parallax generation unit 105 multiplies the screen average parallax amount calculated by the average parallax calculation unit 102 and the parallax amount adjustment value to be added to the subtitle or OSD calculated by the parallax amount adjustment unit 104 to obtain the subtitle or A parallax to be added to the OSD is generated.
  • the parallax synthesis unit 107 synthesizes (generates) the caption or OSD with parallax by adding the parallax generated by the parallax generation unit 105 to the subtitle or OSD (step S904).
  • the video processing method according to the present embodiment corrects the average parallax amount according to the type of stereoscopic video or the characteristics of the composite image, thereby reducing the parallax of the composite image optimal for the stereoscopic video being viewed. It can be generated and added. Therefore, the video processing method according to the present embodiment can provide a synthesized image that does not give the viewer a sense of incongruity.
  • the present invention relates to a method of displaying subtitles or OSD with parallax on a stereoscopic display, and is particularly useful when performing stereoscopic display for telop or OSD display.

Abstract

　映像処理装置は、立体映像を出力する立体映像出力部と、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量に基づいて、画面平均視差量を算出する平均視差算出部と、立体映像の種別または合成画像の特徴を検出するデータ取得部と、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、字幕またはＯＳＤに対して視差を付加して、視差付き字幕またはＯＳＤを合成する補正部と、視差付き字幕またはＯＳＤ合成画像と立体映像とを合成する映像合成部と、を備える。

Description

映像処理装置及び映像処理方法
　本発明は、立体表示ディスプレイに字幕またはＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）を視差付きで表示させる映像処理装置及び映像処理方法に関するものである。特に、立体映像の画面平均視差と、コンテンツ情報やアルファブレンド値に基づいて、字幕またはＯＳＤの視差を生成する。そして、生成した視差に基づいて、視差付き字幕またはＯＳＤを立体映像に合成し、表示する映像処理装置及び映像処理方法に関するものである。
　立体放送番組を視聴中に、緊急放送などのテロップを画面に表示できるようなテロップ表示装置に関する技術が開示されている。また、立体視画像のオブジェクトを認識し、全体の立体感を阻害せず、立体視向けのテロップ生成を行う方法が公開されている（例えば、特許文献１、特許文献２及び特許文献３参照）。
　上記した従来手法によれば、立体視向けのテロップは、立体画像の種類に関わらず、画像情報からオブジェクトを検出して生成していた。そのため、視聴中の番組コンテンツなど立体映像の種類には対応しておらず、番組の内容等に応じて適切な位置にテロップ等を表示することはできていなかった。
特許第３４２３１８９号公報 特開２００６－３２５１６５号公報 特開平１－９３９８６号公報
　本発明の映像処理装置は、立体映像出力部と平均視差算出部とデータ取得部と補正部と映像合成部とを備える。
　立体映像出力部は、視差を有する左目画像と右目画像とによる立体映像を出力する。平均視差算出部は、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量を一画面で平均することで、画面平均視差量を算出する。データ取得部は、立体映像の種別または合成画像の特徴を検出する。補正部は、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。そして、補正部は、字幕またはＯＳＤに対して、設定した視差を付加して、視差付き字幕またはＯＳＤを合成する。映像合成部は、補正部の合成する視差付き字幕またはＯＳＤ合成画像と、立体映像出力部の出力する立体映像とを合成する。
　このような構成により、映像処理装置は、立体映像の画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。そして、映像処理装置は、字幕またはＯＳＤに対して、設定した視差を付加して、視差付き字幕またはＯＳＤを合成する。その結果、立体映像に表示される物体と、字幕またはＯＳＤとの奥行き感の違いから、視聴者へ与える違和感を軽減させることができる。また、表示中の立体映像の種別または合成画像の特徴に応じて最適な字幕またはＯＳＤを表示させることができる。
　また、本発明の映像処理方法は、立体映像出力ステップと平均視差算出ステップとデータ取得ステップと補正ステップと映像合成ステップとを備える。
　立体映像出力ステップは、視差を有する左目画像と右目画像とによる立体映像を出力する。平均視差算出ステップは、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量を一画面で平均することで、画面平均視差量を算出する。データ取得ステップは、立体映像の種別または合成画像の特徴を検出する。補正ステップは、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。そして、補正ステップは、字幕またはＯＳＤに対して、設定した視差を付加して、視差付き字幕またはＯＳＤを合成する。映像合成ステップは、視差付き字幕またはＯＳＤ合成画像と、立体映像出力部の出力する立体映像とを合成する。
図１は、本発明の実施の形態における映像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態における平均視差算出部の構成を示すブロック図である。 図３Ａは、本発明の実施の形態における平均視差算出部が、立体映像における視差量を算出する際の動作を説明するための概念図である。 図３Ｂは、本発明の実施の形態における平均視差算出部が、立体映像における視差量を算出する際の動作を説明するための概念図である。 図４は、本発明の実施の形態における視差量調整部の構成を示すブロック図である。 図５は、本発明の実施の形態における視差量調整部が、視差量調整値を算出する際の動作を説明するための概念図である。 図６は、本発明の実施の形態における視差生成部と字幕合成部の構成を示すブロック図である。 図７Ａは、本発明の実施の形態における映像処理装置が、字幕を立体表示した１例を示す概念図である。 図７Ｂは、本発明の実施の形態における映像処理装置が、字幕を立体表示した１例を示す概念図である。 図８は、本発明の実施の形態における映像処理方法を示すフローチャートである。 図９は、本発明の実施の形態における映像処理方法の補正ステップを、詳細に示すフローチャートである。
　（実施の形態）
　図１は、本発明の実施の形態における映像処理装置１００の構成を示すブロック図である。映像処理装置１００は、立体映像出力部１０１、平均視差算出部１０２、データ取得部１０３、視差量調整部１０４、視差生成部１０５、字幕またはＯＳＤ出力部１０６、視差合成部１０７、映像合成部１０８を含む。なお、補正部１０９は、視差量調整部１０４、視差生成部１０５、視差合成部１０７を含む。以下では、各部の構成と動作について説明する。
　まず、立体映像出力部１０１は、立体映像における左目画像と右目画像を出力する。なお、左目画像と右目画像とは、一定の視差を有しており、その視差を利用すれば、映像を立体として視聴可能になる。
　次に、平均視差算出部１０２は、立体映像出力部１０１から出力された立体映像における左目画像と右目画像とから着目画素毎に視差量を算出する。そして、平均視差算出部１０２は、算出した視差量を一画面で平均することで、画面平均視差量を算出する。なお、平均視差算出部１０２は、このように、一画面全体での視差量の平均値を算出してもよいが、画面の所定映像領域の視差量の平均値を算出して、画面平均視差量としてもよい。例えば、レターボックス方式やサイドバー方式で表示されている場合には、画面の所定映像領域は、黒帯領域を除いた領域とする。そして、平均視差算出部１０２は、画面の所定映像領域の画素毎の視差量を算出して、画面平均視差量とする。このようにすることで、より適切な画面平均視差量を算出することができる。
　次に、データ取得部１０３は、データ放送、電子番組ガイド（ＥＰＧ）を含むテレビジョン放送に付加されている情報から、番組関連情報とＯＳＤ表示時などに用いるアルファブレンド値とを取得する。そして、データ取得部１０３は、番組関連情報からコンテンツ情報を取得する。すなわち、データ取得部１０３は、立体映像の種別または合成画像の特徴を検出する。
　コンテンツ情報は、立体映像の種別を示す。そして、コンテンツ情報は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。すなわち、データ取得部１０３は、立体映像により表示する番組のカテゴリーを検出する。
　アルファブレンド値は、合成画像の特徴を示すものの１つである。アルファブレンド値とは、二つの画像を合成する際に、一方の画像を透過させる比率（透過率）を決定する係数である。すなわち、データ取得部１０３は、立体画像の透過率を検出する。
　そして、本実施の形態では、一例として、データ取得部１０３は、取得したコンテンツ情報を含む番組関連情報と、アルファブレンド値とを視差量調整部１０４に出力する。次に、視差量調整部１０４は、データ取得部１０３より得られたコンテンツ情報を含む番組関連情報、またはアルファブレンド値から、字幕またはＯＳＤへ付加させる視差量調整値を算出する。
　視差生成部１０５は、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する視差量調整値とに基づいて、字幕またはＯＳＤに付加する視差を生成する。
　次に、字幕またはＯＳＤ出力部１０６は、パッケージメディアの字幕や、テレビ受信機などに用いられる字幕またはＯＳＤを出力する。また、視差合成部１０７は、字幕またはＯＳＤ出力部１０６が出力した字幕またはＯＳＤに、視差生成部１０５が生成する視差を付加して、視差付き字幕またはＯＳＤを合成（生成）する。
　上記したように、補正部１０９は、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、字幕またはＯＳＤに対して視差を付加して、視差付き字幕またはＯＳＤを合成する。
　そして、映像合成部１０８は、立体映像出力部１０１が出力する立体映像と、視差合成部１０７が合成する視差付き字幕またはＯＳＤとを合成する。
　次に、図２を参照しながら、図１の映像処理装置１００を構成する平均視差算出部１０２について、詳細に説明する。図２は、本発明の実施の形態における平均視差算出部１０２の構成を示すブロック図である。平均視差算出部１０２は、左右分割部２０１、パタンマッチング部２０２、画面位置検出部２０３、乗算器２０４、平均量算出部２０５により構成されている。
　最初に、左右分割部２０１は、立体映像を左目画像と右目画像に分割する。そして、パタンマッチング部２０２は、上述した左右分割部２０１で分割された左目画像と右目画像に対して、水平方向にパタンマッチングを行い、全画素に対して一致点を検出する。このようにしてパタンマッチング部２０２は、検出した全画素に対する一致点から、画素ごとに視差量を算出する。そして、パタンマッチング部２０２は、算出した視差量を、乗算器２０４へ入力する。
　次に、画面位置検出部２０３は、着目画素の画面内の位置を検出する。そして、検出された位置パラメータを乗算器２０４へ入力する。
　乗算器２０４は、検出された位置パラメータと視差量とを入力して、乗算する。乗算器２０４は、それらの乗算結果を、平均量算出部２０５へ出力する。
　平均視差算出部１０２の平均量算出部２０５は、累積された一画面分の視差量の平均量を算出し、それを画面平均視差量として出力する。なお、上述したように、平均量算出部２０５は、一画面全体での平均値を算出するとしたが、画面の所定映像領域のみの視差量を算出してもよい。例えば、画面がレターボックス方式やサイドバー方式で表示されている場合には、黒帯領域を除いた画面の所定映像領域のみの画素に基づいて、視差量を算出して画面平均視差量としてもよい。
　また、平均視差算出部１０２の平均量算出部２０５は、画面位置より視差量に重みをつけるようにしてもよい。すなわち、着目画素が画面中央付近の場合は、パタンマッチング部２０２で検出された視差量（距離）をそのまま平均量算出部２０５へ累積する。一方、着目画素が画面の端の場合は、画面の端に字幕が表示される例は少なく、また視聴者の視点も画面中央に向くことが多い。したがって、着目画素が画面の端の場合は、画面端の視差量が大きくても、画面位置検出部２０３で位置パラメータを設定し、乗算器２０４でパタンマッチング部２０２において検出された視差量が小さくなるようにする。
　このようにして、画面端の視差量を小さくすることで、平均量算出部２０５が画面平均視差量を算出する際の、画面端の視差量が与える影響を少なくする。その結果、画面端のみに視差がある場合に、画面平均視差量が大きくなり、画面中央に表示する視差付き字幕が視聴者に違和感を与えないようにできる。
　次に、図３Ａ、図３Ｂを参照しながら、平均視差算出部１０２の処理動作について、詳細に説明する。図３Ａ、図３Ｂは、本発明の実施の形態における平均視差算出部１０２が、立体映像における視差量を算出する際の動作を説明するための概念図である。図３Ａは、立体映像における左目画像を示し、図３Ｂは、立体映像における右目画像を示している。図３Ａには、左目画像の物体２１１、左目画像の物体２１２を示している。左目画像の物体２１１は奥側、左目画像の物体２１２は手前側に位置している。また、着目画素２２０をも示している。
　同様に、図３Ｂには、右目画像の物体２１３、右目画像の物体２１４を示している。右目画像の物体２１３は奥側、右目画像の物体２１４は手前側に位置している。また、右目画像の物体２１４に対する左目画像の物体２１２の相対的な位置を示す物体２１５をも示している。
　平均視差算出部１０２は、視差量を算出するために、物体のある着目画素２２０に対して左右方向および水平方向に対し、着目画素２２０のパタンマッチングを行う。例えば、手前側の物体である左目画像の物体２１２、右目画像の物体２１４の場合、平均視差算出部１０２は、物体２１５の着目画素２２２から水平方向にパタンマッチングを行う。そして、平均視差算出部１０２は、左側に右目画像２１４の一致点である着目画素２２４を検出する。その結果に基づいて、平均視差算出部１０２は、着目画素２２２と着目画素２２４との画面位置の差２３０を、着目画素２２０の視差量と設定する。
　平均視差算出部１０２は、さらに、画面位置検出を行い、着目画素２２０、２２２、２２４は画面内のほぼ中央部に位置するために、設定された視差量が着目画素２２０、着目画素２２２、着目画素２２４における視差量と算出する。
　次に、図４を参照しながら、図１の映像処理装置１００を構成する視差量調整部１０４について、より詳細に説明する。図４は、本発明の実施の形態における視差量調整部１０４の構成を示すブロック図である。視差量調整部１０４は、情報分離部４０１、第１重み設定部４０２、第１重み記憶部４０３、第２重み設定部４０４、第２重み記憶部４０５、及び乗算器４０６により構成されている。
　最初に、情報分離部４０１は、データ取得部１０３より取得したデータから、番組コンテンツ情報と、テレビジョン受像機にて設定されたＯＳＤのアルファブレンド値を抽出する。次に、第１重み設定部４０２は、取得したコンテンツ情報に対する重みを設定する。第１重み記憶部４０３は、取得可能な各コンテンツ情報に対する重みを設定する。
　同様に、第２重み設定部４０４は、データ取得部１０３より取得したアルファブレンド値に対する重みを設定する。第２重み記憶部４０５は、取得可能な各アルファブレンド値に重みを設定する。
　次に、乗算器４０６は、第１重み設定部４０２で設定された第１重みと、第２重み設定部４０４で設定された第２重みを乗算し、視差量調整値を算出する。
　次に、図５を参照しながら、視差量調整部１０４の処理動作について、より詳細に説明する。図５は、本発明の実施の形態における視差量調整部１０４が、視差量調整値を算出する際の動作を説明するための概念図である。図５には、コンテンツ情報に対する番組コンテンツ用テーブル４１１を示している。番組コンテンツ用テーブル４１１は、上述した第１重み設定部４０２と、第１重み記憶部４０３の機能を示している。コンテンツ毎の重みは、第１重み記憶部４０３に記憶されている。重み設定部４０２は、入力された番組コンテンツに対する重みを設定する。
　また、図５には、アルファブレンド値に対するアルファブレンド用テーブル４１２を示している。アルファブレンド用テーブル４１２は、第２重み設定部４０４と、第２重み記憶部４０５の機能を示している。ここでアルファブレンド毎の重みは、第２重み記憶部４０５に記憶されている。第２重み設定部４０４は、入力されたアルファブレンド値に対する重みを設定する。
　視差量調整部１０４は、番組コンテンツ用テーブル４１１で決定された重みと、アルファブレンド用テーブル４１２で決定された第２重みを、乗算器４０６で乗算し、視差量調整値を算出する。
　なお、この第１重み及び第２重みは、重みが重い程、視差量が大きくなる視差量調整値を算出する。一方、第１重み及び第２重みが小さいほど、視差量が小さくなる視差量調整値を算出する。つまり、第１重み及び第２重みが重い場合には、映像処理装置１００からより立体的に表示され、一方、重みが小さい場合には、重みが重い場合と比較して、より平面的に表示される。
　映画やアニメは臨場感を増やすために視差の付いた映像、特に視差量の大きなシーンが比較的多い。したがって、図５に示すように、コンテンツに対する重みは、映画やアニメでは、字幕も常時見続けるため、字幕またはＯＳＤを平均位置よりも少し手前側に表示させる。このようにして、字幕が立体映像に対して奥まったように感じる違和感を軽減させる。逆にスポーツでは、字幕またはＯＳＤを画面平均視差よりも奥側に表示される。その結果、観戦の妨げにならないようにできる。
　一例として、テレビ放送の映画番組を視聴している場合、番組コンテンツ用テーブル４１１における映画の重みは１．２と設定している。その結果、映画を視聴中には、コンテンツ情報の第１重みは１．２と設定される。また、アルファブレンドに関しては、通常、番組視聴時において、ＯＳＤは表示されていない。したがって、アルファブレンド用テーブル４１２におけるアルファブレンドの第２重みは１．０に設定している。そして、第２重みは、乗算器４０６で第１重みと乗算される。その結果、映画視聴時の視差調整値は１．２となる。したがって、ＯＳＤは、画面平均視差よりも手前側に表示される。
　なお、これらの重みについては、視聴者の好みに応じて変更することが可能であることが望ましい。したがって、視聴者がリモコン等を用いて、自由に設定を変更できるようにしてもよい。
　なお、図５に示すように、ＯＳＤに関しては、透過率が高いほど視聴者に対して視認しづらく、また表示中の映像もＯＳＤの背面にある程度透けて見えることから、重みを大きくして手前側に表示させている。
　一例として、透過率が２０％のＯＳＤが表示されている場合、ここではアルファブレンド用テーブル４１２におけるＯＳＤ表示の重みは１．０５と設定している。したがって、視聴中のＯＳＤ情報の第２重みは１．０５と設定され、透過率が高くなるに従って、第２重みの値は大きくしている。
　なお、本実施の形態においては、合成映像の特徴として、ＯＳＤの透過率について説明したが、本実施の形態はこれに限定されるものではなく、例えば、ＯＳＤの色等を合成映像の特徴としてもよい。
　次に、図６を参照しながら、図１の映像処理装置１００に含まれる視差生成部１０５及び視差合成部１０７について、より詳細に説明する。図６は、視差生成部１０５と視差合成部１０７の構成を示すブロック図である。視差生成部１０５では、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する字幕またはＯＳＤへ付加させる視差量調整値とを乗算し、字幕またはＯＳＤに付加する視差を生成する。視差合成部１０７は、字幕またはＯＳＤに対して、視差生成部１０５が生成する視差を付加して、視差付き字幕またはＯＳＤを合成（生成）する。
　次に、図７Ａ、図７Ｂを参照しながら、図１に示した構成を有する映像処理装置１００の処理動作について説明する。図７Ａ、図７Ｂは、本発明の実施の形態における映像処理装置１００が、字幕を立体表示した１例を示す概念図である。図７Ａには、奥側の物体４２１と、手前側の物体４２２を示している。また、図７Ａには、画面平均視差量を付加された視差量調整前の字幕４２３と、データ取得部１０３より取得したデータに基づいて視差量調整した後の字幕４２４とを示している。
　また、図７Ｂには、奥側の物体４２１を側面から表した形体４２５を示している。また、図７Ｂには、手前側の物体４２２を側面から表した形体４２６、視差調整前の字幕４２３を側面から表した形体４２７、及びデータ取得部１０３より取得したデータに基づいて視差調整した後の字幕４２４を側面から表した形体４２８を示している。
　上記したように、テレビ放送にて映画を視聴している場合では、視差調整前では字幕４２７は、画面の奥行きが物体４２５と物体４２６の画面平均位置にくるように視差量が設定される。そのため、映画の字幕は、手前側の物体４２６が大きな視差を持っている場合に奥まったように感じられる。したがって、本実施の形態における映像処理装置１００では、違和感を軽減するために画面平均視差に、映画視聴時の視差量調整値１．２を乗算して、立体映像の平均視差に基づく画面平均位置より、手前側の位置に字幕４２８が表示されるようにする。なお、ＯＳＤも、同様に表示されるようにする。
　以上のように、本実施の形態における映像処理装置１００は、立体映像の種別または合成画像の特徴に応じて、平均視差量を補正することにより、視聴中の立体映像に最適な合成画像の視差を生成、付加させることが可能になる。したがって、映像処理装置１００は、視聴者に違和感のない合成画像を提供することが可能になる。
　次に、本実施の形態における映像処理方法について、説明する。図８は、本発明の実施の形態における映像処理方法を示すフローチャートである。図８に示すように、本実施の形態における映像処理方法は、立体映像出力ステップと、平均視差算出ステップと、データ取得ステップと、補正ステップと、映像合成ステップとを備える。
　まず、立体映像出力ステップは、立体映像出力部１０１において、視差を有する左目画像と右目画像とによる立体映像を出力する（ステップＳ８００）。次に、平均視差算出ステップは、平均視差算出部１０２において、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、その視差量を一画面で平均することで、画面平均視差量を算出する（ステップＳ８０２）。なお、平均視差算出部１０２において、このように、一画面全体での視差量の平均値を算出してもよいが、画面の所定映像領域の視差量の平均値を算出して、画面平均視差量としてもよい。例えば、レターボックス方式やサイドバー方式で表示されている場合には、黒帯領域を除いた画素の視差量を算出する構成としてもよい。すなわち、平均視差算出ステップは、平均視差算出部１０２において、画面位置により視差量に重みを付けてもよい。
　データ取得ステップは、データ取得部１０３において、立体映像の種別または合成画像の特徴を検出する（ステップＳ８０４）。立体映像の種別は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。合成画像の特徴は、例えば、アルファブレンド値であり、二つの画像を合成する際に、一方の画像を透過させる比率（透過率）を決定する係数である。
　補正ステップは、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。また、補正ステップは、字幕またはＯＳＤに対して視差を付加して、視差付き字幕またはＯＳＤを合成する（ステップＳ８０６）。
　映像合成ステップは、映像合成部１０８において、視差合成部１０７が合成する視差付き前記字幕またはＯＳＤ合成画像と、立体映像出力部１０１の出力する立体映像とを合成する（ステップＳ８０８）。
　なお、補正ステップは、図９に示すように、視差量調整ステップと、視差生成ステップと、視差合成ステップとを備えてもよい。図９は、本発明の実施の形態における映像処理方法の補正ステップを、詳細に示すフローチャートである。視差量調整ステップは、視差量調整部１０４において、コンテンツ情報を含む番組関連情報と、アルファブレンド値とから視差量調整値を算出する（ステップＳ９００）。コンテンツ情報は、立体映像の種別を示す。コンテンツ情報は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。アルファブレンド値は、合成画像の特徴を示すものの１つである。アルファブレンド値とは、二つの画像を合成する際に、一方の画像を透過させる比率（透過率）を決定する係数である。
　視差生成ステップは、視差生成部１０５において、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する視差量調整値に基づいて、字幕またはＯＳＤに付加する視差を生成する（ステップＳ９０２）。具体的には、視差生成部１０５において、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する字幕またはＯＳＤへ付加させる視差量調整値とを乗算し、字幕またはＯＳＤに付加する視差を生成する。
　視差合成ステップは、視差合成部１０７において、字幕またはＯＳＤに、視差生成部１０５が生成する視差を付加して、視差付き字幕またはＯＳＤを合成（生成）する（ステップＳ９０４）。
　以上のように、本実施の形態における映像処理方法は、立体映像の種別又は合成画像の特徴に応じて、平均視差量を補正することにより、視聴中の立体映像に最適な合成画像の視差を生成、付加させることが可能になる。したがって、本実施の形態における映像処理方法は、視聴者に違和感のない合成画像を提供することが可能になる。
　本発明は、立体表示ディスプレイに字幕またはＯＳＤを視差付きで表示させる方法に関するものであり、特に、テロップやＯＳＤ表示について立体表示を行う際に有用である。
　１００　　映像処理装置
　１０１　　立体映像出力部
　１０２　　平均視差算出部
　１０３　　データ取得部
　１０４　　視差量調整部
　１０５　　視差生成部
　１０６　　字幕またはＯＳＤ出力部
　１０７　　視差合成部
　１０８　　映像合成部
　１０９　　補正部
　２０１　　左右分割部
　２０２　　パタンマッチング部
　２０３　　画面位置検出部
　２０４　　乗算器
　２０５　　平均量算出部
　２１１　　左目画像の物体
　２１２　　左目画像の物体
　２１３　　右目画像の物体
　２１４　　右目画像の物体
　２１４　　左目画像の物体
　２２０　　着目画素
　４０１　　情報分離部
　４０２　　第１重み設定部
　４０３　　第１重み記憶部
　４０４　　第２重み設定部
　４０５　　第２重み記憶部
　４０６　　乗算器
　４１１　　番組コンテンツ用テーブル
　４１２　　アルファブレンド用テーブル
　４２１　　奥側の物体
　４２２　　手前側の物体
　４２３　　視差調整前の字幕
　４２４　　視差調整した後の字幕

Claims (13)

  1. 視差を有する左目画像と右目画像とによる立体映像を出力する立体映像出力部と、
    前記立体映像に対して、前記左目画像と前記右目画像とから着目画素毎に視差量を算出し、前記視差量を一画面で平均することで、画面平均視差量を算出する平均視差算出部と、
    前記立体映像の種別または前記合成画像の特徴を検出するデータ取得部と、
    前記画面平均視差量を、前記立体映像の前記種別または前記合成画像の前記特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、前記字幕または前記ＯＳＤに対して前記視差を付加して、視差付き字幕またはＯＳＤを合成する補正部と、
    前記補正部の合成する視差付き前記字幕または前記ＯＳＤ合成画像と、前記立体映像出力部の出力する前記立体映像と、を合成する映像合成部と、
    を備える映像処理装置。
  2. 前記データ取得部は、前記立体映像により表示する番組のカテゴリーを検出する請求項１記載の映像処理装置。
  3. 前記データ取得部は、前記立体画像の透過率を検出する請求項１記載の映像処理装置。
  4. 前記補正部は、視差量調整部と視差生成部と視差合成部とを備え、
    前記視差量調整部は、コンテンツ情報を含む番組関連情報、またはアルファブレンド値から視差量調整値を算出し、
    前記視差生成部は、前記平均視差算出部が算出する画面平均視差量と、前記視差量調整部が算出する視差量調整値とに基づいて、字幕またはＯＳＤに付加する視差を生成し、
    前記視差合成部は、前記字幕または前記ＯＳＤに、前記視差生成部が生成する前記視差を付加して、視差付き字幕またはＯＳＤを合成する、
    請求項１記載の映像処理装置。
  5. 前記データ取得部は、データ放送、電子番組ガイドを含むテレビジョン放送に付加されている情報から前記番組関連情報を、取得する請求項４に記載の映像処理装置。
  6. 前記映像処理装置は、前記立体映像の前記画面平均視差に基づく画面平均位置より、手前側の位置に前記字幕または前記ＯＳＤを表示させる請求項４に記載の映像処理装置。
  7. 前記平均視差算出部は、前記立体映像の各画素について、着目画素に対する水平方向へのパタンマッチングにより前記着目画素における視差量を算出し、算出された前記視差量を１画面分で平均することで前記画面平均視差量を算出する請求項４に記載の映像処理装置。
  8. 前記平均視差算出部は、画面位置より前記視差量に重みを付ける請求項４に記載の映像処理装置。
  9. 前記平均視差算出部は、前記立体映像出力部が出力する前記立体映像に対して、所定映像領域の視差量の平均値を算出して、画面平均視差量とする請求項４に記載の映像処理装置。
  10. 視差を有する左目画像と右目画像とによる立体映像を出力する立体映像出力ステップと、
    前記立体映像に対して、前記左目画像と前記右目画像とから着目画素毎に視差量を算出し、前記視差量を一画面で平均することで、画面平均視差量を算出する平均視差算出ステップと、
    前記立体映像の種別または合成画像の特徴を検出するデータ取得ステップと、
    前記画面平均視差量を、前記立体映像の前記種別または前記合成画像の前記特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、前記字幕または前記ＯＳＤに対して前記視差を付加して、視差付き字幕またはＯＳＤを合成する補正ステップと、
    視差付き前記字幕または前記ＯＳＤ合成画像と、前記立体映像出力部の出力する前記立体映像と、を合成する映像合成ステップと、
    を備える映像処理方法。
  11. 前記補正ステップは、視差量調整ステップと視差生成ステップと視差合成ステップとを備え、
    前記視差量調整ステップは、コンテンツ情報を含む番組関連情報、またはアルファブレンド値から視差量調整値を算出し、
    前記視差生成ステップは、平均視差算出部が算出する画面平均視差量と、視差量調整部が算出する視差量調整値とに基づいて、字幕またはＯＳＤに付加する視差を生成し、
    前記視差合成ステップは、前記字幕または前記ＯＳＤに、視差生成部が生成する前記視差を付加して、視差付き字幕またはＯＳＤを合成する、
    請求項１０に記載の映像処理方法。
  12. 前記平均視差算出ステップは、画面位置により前記視差量に重みを付ける請求項１０に記載の映像処理方法。
  13. 前記平均視差算出ステップは、前記立体映像出力部が出力する前記立体映像に対して、所定映像領域の視差量の平均値を算出して、画面平均視差量とする請求項１０に記載の映像処理方法。
PCT/JP2010/002832 2009-04-21 2010-04-20 映像処理装置及び映像処理方法 WO2010122775A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/995,200 US20110187708A1 (en) 2009-04-21 2010-04-20 Image processor and image processing method
JP2010545313A JPWO2010122775A1 (ja) 2009-04-21 2010-04-20 映像処理装置及び映像処理方法
EP10766837A EP2278824A4 (en) 2009-04-21 2010-04-20 VIDEO PROCESSING DEVICE AND VIDEO PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-102584 2009-04-21
JP2009102584 2009-04-21

Publications (1)

Publication Number Publication Date
WO2010122775A1 true WO2010122775A1 (ja) 2010-10-28

Family

ID=43010902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002832 WO2010122775A1 (ja) 2009-04-21 2010-04-20 映像処理装置及び映像処理方法

Country Status (4)

Country Link
US (1) US20110187708A1 (ja)
EP (1) EP2278824A4 (ja)
JP (1) JPWO2010122775A1 (ja)
WO (1) WO2010122775A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012019517A (ja) * 2010-07-06 2012-01-26 Samsung Electronics Co Ltd ディスプレイ方法および装置
JP4892105B1 (ja) * 2011-02-21 2012-03-07 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
WO2012073823A1 (ja) * 2010-12-03 2012-06-07 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012134726A (ja) * 2010-12-21 2012-07-12 Toshiba Corp 画像処理装置、及び画像処理方法
WO2012098803A1 (ja) * 2011-01-17 2012-07-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
CN102625121A (zh) * 2011-01-25 2012-08-01 Jvc建伍株式会社 3d图像处理装置及3d图像处理方法
JP2012169911A (ja) * 2011-02-15 2012-09-06 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP2012175698A (ja) * 2011-12-13 2012-09-10 Toshiba Corp 映像処理装置、映像処理方法および映像表示装置
WO2012127539A1 (ja) * 2011-03-23 2012-09-27 パナソニック株式会社 映像変換装置
JP2013003586A (ja) * 2011-06-14 2013-01-07 Samsung Electronics Co Ltd 映像変換メカニズムを活用したディスプレイ装置およびその動作方法
KR20130051315A (ko) * 2011-11-09 2013-05-20 엘지디스플레이 주식회사 입체영상 자막처리방법과 이를 이용한 자막처리부
US20140022244A1 (en) * 2011-03-24 2014-01-23 Fujifilm Corporation Stereoscopic image processing device and stereoscopic image processing method
KR101804912B1 (ko) * 2011-01-28 2017-12-05 엘지전자 주식회사 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
KR101899821B1 (ko) * 2010-12-03 2018-11-02 엘지전자 주식회사 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
JP2012023648A (ja) * 2010-07-16 2012-02-02 Sony Corp 再生装置、再生方法、およびプログラム
US20120224037A1 (en) * 2011-03-02 2012-09-06 Sharp Laboratories Of America, Inc. Reducing viewing discomfort for graphical elements
DE102011015136A1 (de) * 2011-03-25 2012-09-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Bestimmen einer Darstellung digitaler Objekte in einem dreidimensionalen Darstellungsraum
JP5701687B2 (ja) * 2011-05-27 2015-04-15 ルネサスエレクトロニクス株式会社 画像処理装置、画像処理方法
CN103067680A (zh) * 2011-10-21 2013-04-24 康佳集团股份有限公司 一种2d转3d视频格式下的osd显示方法及系统
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5840022B2 (ja) * 2012-02-17 2016-01-06 キヤノン株式会社 立体画像処理装置、立体画像撮像装置、立体画像表示装置
KR101545511B1 (ko) * 2014-01-20 2015-08-19 삼성전자주식회사 의료 영상 재생 방법, 의료 영상 재생 장치, 및 컴퓨터 판독가능 기록매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3423189A (en) 1966-01-13 1969-01-21 Bell Telephone Labor Inc Zone melting
JPH0193986A (ja) 1987-10-05 1989-04-12 Sharp Corp 立体テロップ付撮像装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2004351058A (ja) * 2003-05-30 2004-12-16 Sophia Co Ltd 遊技機
JP2005142819A (ja) * 2003-11-06 2005-06-02 Univ Waseda 立体映像評価装置および立体映像チューナ
JP2006325165A (ja) 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
US6317128B1 (en) * 1996-04-18 2001-11-13 Silicon Graphics, Inc. Graphical user interface with anti-interference outlines for enhanced variably-transparent applications
US6118427A (en) * 1996-04-18 2000-09-12 Silicon Graphics, Inc. Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP4677245B2 (ja) * 2004-03-03 2011-04-27 キヤノン株式会社 画像表示方法、プログラム、画像表示装置及び画像表示システム
JP5132690B2 (ja) * 2007-03-16 2013-01-30 トムソン ライセンシング テキストを３次元コンテンツと合成するシステム及び方法
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3423189A (en) 1966-01-13 1969-01-21 Bell Telephone Labor Inc Zone melting
JPH0193986A (ja) 1987-10-05 1989-04-12 Sharp Corp 立体テロップ付撮像装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2004351058A (ja) * 2003-05-30 2004-12-16 Sophia Co Ltd 遊技機
JP2005142819A (ja) * 2003-11-06 2005-06-02 Univ Waseda 立体映像評価装置および立体映像チューナ
JP2006325165A (ja) 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2278824A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012019517A (ja) * 2010-07-06 2012-01-26 Samsung Electronics Co Ltd ディスプレイ方法および装置
WO2012073823A1 (ja) * 2010-12-03 2012-06-07 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
KR101899821B1 (ko) * 2010-12-03 2018-11-02 엘지전자 주식회사 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
JP2012134726A (ja) * 2010-12-21 2012-07-12 Toshiba Corp 画像処理装置、及び画像処理方法
WO2012098803A1 (ja) * 2011-01-17 2012-07-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
CN102625121A (zh) * 2011-01-25 2012-08-01 Jvc建伍株式会社 3d图像处理装置及3d图像处理方法
KR101804912B1 (ko) * 2011-01-28 2017-12-05 엘지전자 주식회사 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
JP2012169911A (ja) * 2011-02-15 2012-09-06 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP4892105B1 (ja) * 2011-02-21 2012-03-07 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
WO2012127539A1 (ja) * 2011-03-23 2012-09-27 パナソニック株式会社 映像変換装置
US20140022244A1 (en) * 2011-03-24 2014-01-23 Fujifilm Corporation Stereoscopic image processing device and stereoscopic image processing method
US9053567B2 (en) * 2011-03-24 2015-06-09 Fujifilm Corporation Stereoscopic image processing device and stereoscopic image processing method
JP2013003586A (ja) * 2011-06-14 2013-01-07 Samsung Electronics Co Ltd 映像変換メカニズムを活用したディスプレイ装置およびその動作方法
KR20130051315A (ko) * 2011-11-09 2013-05-20 엘지디스플레이 주식회사 입체영상 자막처리방법과 이를 이용한 자막처리부
KR101894092B1 (ko) * 2011-11-09 2018-09-03 엘지디스플레이 주식회사 입체영상 자막처리방법과 이를 이용한 자막처리부
JP2012175698A (ja) * 2011-12-13 2012-09-10 Toshiba Corp 映像処理装置、映像処理方法および映像表示装置

Also Published As

Publication number Publication date
JPWO2010122775A1 (ja) 2012-10-25
EP2278824A1 (en) 2011-01-26
EP2278824A4 (en) 2012-03-14
US20110187708A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
WO2010122775A1 (ja) 映像処理装置及び映像処理方法
US9485489B2 (en) Broadcasting receiver and method for displaying 3D images
JP5633870B2 (ja) ２ｄ−３ｄユーザインターフェイスコンテンツデータ変換
US10154243B2 (en) Method and apparatus for customizing 3-dimensional effects of stereo content
EP2462736B1 (en) Recommended depth value for overlaying a graphics object on three-dimensional video
US8665321B2 (en) Image display apparatus and method for operating the same
WO2011135760A1 (ja) 立体映像処理装置及び立体映像処理方法
US20110271235A1 (en) Method for displaying a setting menu and corresponding device
US20130038611A1 (en) Image conversion device
US20110254837A1 (en) Image display apparatus and method for controlling the same
US20110157303A1 (en) Method and system for generation of captions over steroscopic 3d images
JP2011216937A (ja) 立体画像表示装置
US20120087571A1 (en) Method and apparatus for synchronizing 3-dimensional image
WO2013046281A1 (ja) 映像処理装置及び映像処理方法
US20140160257A1 (en) Video signal processing apparatus
US20130120529A1 (en) Video signal processing device and video signal processing method
TWI555400B (zh) 應用於顯示裝置的字幕控制方法與元件
JP5426593B2 (ja) 映像処理装置、映像処理方法および立体映像表示装置
KR20120020306A (ko) 입체영상을 디스플레이하는 장치 및 방법
US20110316986A1 (en) Video display apparatus and video display method
JP5417356B2 (ja) 映像処理装置、映像処理方法および立体映像表示装置
JP4951148B2 (ja) 映像表示装置及び映像表示方法
JP2013074434A (ja) 映像表示装置
JP2011193463A (ja) 映像処理装置、映像処理方法および立体映像表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2010545313

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010766837

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12995200

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10766837

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE