WO2013011618A1 - 映像表示制御装置及び映像表示制御方法 - Google Patents

映像表示制御装置及び映像表示制御方法 Download PDF

Info

Publication number
WO2013011618A1
WO2013011618A1 PCT/JP2012/003563 JP2012003563W WO2013011618A1 WO 2013011618 A1 WO2013011618 A1 WO 2013011618A1 JP 2012003563 W JP2012003563 W JP 2012003563W WO 2013011618 A1 WO2013011618 A1 WO 2013011618A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
input
unit
signal
Prior art date
Application number
PCT/JP2012/003563
Other languages
English (en)
French (fr)
Inventor
昭久 大森
鈴木 秀和
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013011618A1 publication Critical patent/WO2013011618A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to a video display control apparatus and a video display control method, and in particular, displays a video on a display device capable of displaying a 3D video by using an input video signal in which 3D video and 2D video are mixed. It is about the technology to do.
  • An input video signal of 3D video is provided as a broadcast signal of a broadcast program such as satellite broadcast or cable broadcast, or via Ethernet (registered trademark).
  • 3D image display method for example, the left-eye image and the right-eye image are each subsampled by 1/2 in the horizontal direction, and the sampled left-eye image is sampled on the left side of the screen.
  • the 3D image formed by the side-by-side method has a right-eye image of one frame on the right half of the screen and a left-eye image of the same frame on the screen so that the display device can perform stereoscopic viewing. Displayed simultaneously on the left half.
  • a video display device that receives an input video signal in which two-dimensional video and three-dimensional video are mixed, assuming that the input video signal is a three-dimensional video, the pixel corresponding to the left-eye video and the right-eye video are displayed.
  • Image display device that compares the pixel corresponding to the video for the image, obtains the correlation by the difference value or the similarity, and automatically determines whether it is a 2D video or a 3D video according to the correlation Is disclosed (for example, see Patent Document 1).
  • the video display system of the video display apparatus is automatically switched between a 2D video display system corresponding to 2D video and a 3D video display system corresponding to 3D video. Can be switched.
  • broadcast programs have similarities, for example, two programs that are only partially different from each other and displayed side by side to make the viewer look for mistakes, or broadcast programs aimed at special effects.
  • the video displayed in such a broadcast program is a two-dimensional video.
  • the video displayed on the right half of the screen and the video displayed on the left half of the screen are two-dimensional video.
  • the degree of similarity is very high.
  • the video displayed on the right half of the screen and the video displayed on the left half of the screen are highly correlated, so it is erroneously detected as a three-dimensional video.
  • An object of the present invention is to provide a display control device and a video display control method.
  • a video display control apparatus divides a video indicated by an input video signal into two divided videos having the same size, and between the two divided videos.
  • An image analysis unit for obtaining and outputting correlation information indicating correlation; and a video determination process for determining whether the video indicated by the input video signal is a 3D video or a 2D video according to the correlation information; and
  • a video determination unit that performs a display method determination process for determining a video display method to be a 3D video display method or a 2D video display method, and the display method determination process of the video determination unit
  • a stream processing unit that separates and outputs a left-eye video and a right-eye video after the video display method is determined to be the 3D video display method; and the stream processing
  • a video output unit that generates and outputs a stereoscopic video signal for displaying a stereoscopic video from the left-eye video and the right-eye video input from the video
  • the video determination processing result is stored as temporary video information, video information indicating the current video display method is acquired and compared with the temporary video information, and the video information does not correspond to the temporary video information If it is determined that the video display method is the third order by acquiring the elapsed time information of the input video signal and updating the video information with the temporary video information when the elapsed time information is within a predetermined time.
  • the original video display method or the two-dimensional video display method is determined.
  • FIG. 1 is a block diagram showing a configuration example of a video display control apparatus according to the present invention.
  • FIG. 2 is a flowchart showing the processing procedure of the video display control method executed by the video display control apparatus according to the present invention.
  • a video display control apparatus divides a video indicated by an input video signal into two divided videos having the same size, and between the two divided videos.
  • An image analysis unit for obtaining and outputting correlation information indicating correlation; and a video determination process for determining whether the video indicated by the input video signal is a 3D video or a 2D video according to the correlation information; and
  • a video determination unit that performs a display method determination process for determining a video display method to be a 3D video display method or a 2D video display method, and the display method determination process of the video determination unit
  • a stream processing unit that separates and outputs the video indicated by the input video signal into a left-eye video and a right-eye video, and the stream processing
  • a video output unit configured to generate and output a stereoscopic video signal for displaying a stereoscopic video from the left-eye video
  • the video information is updated with the temporary video information, thereby changing the video display method to The 3D video display system or the 2D video display system is determined.
  • the video display control apparatus having the above configuration, it is possible to more reliably determine whether the video is a 2D video or a 3D video without adding a special circuit.
  • the elapsed time here indicates the time from the latest time among the channel switching time, the program start time, and the reproduction start time to the present time.
  • two highly correlated videos are displayed side by side or vertically, when a certain period of time has elapsed since the start of the broadcast program. Many. Further, it is considered very unlikely that the 2D video and the 3D video are switched in the middle of the same broadcast program.
  • the video information is updated when the elapsed time is within the predetermined time, that is, the determination result at the beginning of the broadcast program is maintained after a certain time has elapsed since the broadcast program started. To do.
  • the video display control device having the above configuration as described above, at the time when the possibility that the two-dimensional video and the three-dimensional video are switched after a lapse of a certain time from the start of the broadcast program becomes very low. Since the video information is updated, that is, the video display method is not switched, erroneous determination can be more effectively prevented. Further, by preventing erroneous determination, unnecessary switching of the video display method can be more effectively prevented.
  • start time information that is a time when display of the video indicated by the input video signal is started and current time information are acquired, and a difference between the start time information and the current time information is acquired as the elapsed time information. It is good also as a structure provided with the elapsed time management part.
  • the stream processing unit may display the video indicated by the input video signal after determining that the video display method is the two-dimensional video display method in the display method determination process of the video determination unit. It is good also as a structure which outputs, without isolate
  • a video display control method divides a video indicated by an input video signal into two divided videos having the same size, and between the two divided videos.
  • An image analysis step for obtaining and outputting correlation information indicating correlation;
  • a video determination step for determining whether the video indicated by the input video signal is a 3D video or a 2D video according to the correlation information;
  • a display mode determination step for determining the video display mode as the 3D video display mode or the 2D video display mode, and the video display mode in the display mode determination step is a 3D video display mode.
  • a stream processing step of separating the video indicated by the input video signal into a left-eye video and a right-eye video, and the stream processing step A video output step of generating and outputting a stereoscopic video signal for displaying a stereoscopic video from the left-eye video and the right-eye video, wherein the display method determination step includes a result of the video determination step.
  • the video information indicating the current video display method is acquired and compared with the temporary video information.
  • FIG. 1 is a block diagram illustrating a configuration example of a display device according to the present embodiment.
  • the display device 1 includes a display module 120 capable of displaying side-by-side 3D video, receives an input video signal in which side-by-side 3D video signals and 2D video signals are mixed, A device that automatically switches between a 3D video display system and a 2D video display system, and includes a demodulation block 11, a control unit 15, and a display module 120.
  • the display device 1 includes an operation unit 2 for a user to input an operation request outside the device.
  • the operation unit 2 includes, for example, an operation panel disposed on the front panel or side panel of the display device 1 or a terminal such as a remote controller.
  • the demodulation block 11 is configured to receive an input video signal and output an output video signal that can be displayed on the display module 120 based on an instruction from the control unit 15. ) Processing unit 121, demodulation unit 112, decoding unit 113, input switching unit 114, stream processing unit 115, decoding unit 116, video synthesis unit 118, video output unit 119, image analysis unit 117, Is provided.
  • the tuner 111 extracts a modulated wave (stream information) of the selected broadcast station from a broadcast wave (an example of an input video signal) received by an antenna (not shown) based on an instruction from the control unit 15.
  • the broadcast wave is configured by multiplexing a plurality of program modulation waves, that is, a plurality of stream information.
  • the stream information includes a video stream, an audio stream, and system management information including program start time information and current time information.
  • the demodulator 112 converts the modulated wave input from the tuner 111 into a baseband signal.
  • the decoding unit 113 corrects the information missing part based on the error correction information and returns the correct information to the input switching unit 114 when information is missing from the baseband signal.
  • the Ethernet (registered trademark) processing unit 121 receives an input video signal provided via the Ethernet (registered trademark), and outputs it to the input switching unit 114.
  • the input switching unit 114 selects either the signal input from the decoding unit 113 or the signal input from the Ethernet (registered trademark) processing unit 121, and Information is output to the stream processing unit 115.
  • the stream processing unit 115 performs overall control of the stream information flow of the entire display device 1 based on an instruction from the control unit 15.
  • the stream processing unit 115 includes a memory unit 1152 and a conversion unit 1151.
  • the input video signal is a 3D video
  • the stream processing unit 115 by separating the stream information, a video stream, an audio stream, and a system composed of a left-eye video stream for a left-eye video and a right-eye video stream for a right-eye video Management information can be obtained.
  • the memory unit 1152 is a temporary memory area for temporarily developing stream information, and has a capacity for storing at least one frame of stream information of video.
  • the memory unit 1152 stores the above-described video stream, audio stream, and system management information in a separated state.
  • the system management information includes these identification numbers.
  • the conversion unit 1151 separates the left-eye video signal and the right-eye video signal from the signal input from the input switching unit 114, and For each of the video signal for video and the video signal for right eye, the horizontal sampling is doubled to the size of one frame. Then, identification information is added to each of the left-eye video signal and the right-eye video signal after the size change, and is output to the decoding unit 116 as a separate video stream (part of the stream information). As the identification information, identification information corresponding to each of the left-eye video signal and the right-eye video signal is acquired from the plurality of identification information stored in the memory unit 1152.
  • the stream processing unit 115 separates one video stream from the signal input from the input switching unit 114 and sends it to the decoding unit 116. Output.
  • the decoding unit 116 decodes the video stream output from the stream processing unit 115, and outputs the video signal obtained by the decoding to the image analysis unit 117 and the video synthesis unit 118.
  • the control unit 15 determines that the input video signal is a three-dimensional video
  • the decoding unit 116 sub-samples the right-eye video and the left-eye video by 1/2 with respect to the image analysis unit 117.
  • the synthesized video signal for one frame is output.
  • the video composition unit 118 is individually assigned a video signal (left-eye video and left-eye video) output from the stream processing unit 115 with identification numbers indicating the left-eye video and the right-eye video. So that it is a separate video signal for the right-eye video).
  • the image analysis unit 117 receives the decoded video signal from the decoding unit 116, analyzes the video (video for one frame, hereinafter, frame video) indicated by the video signal, and outputs the analysis result to the video determination unit 151. To do. More specifically, the image analysis unit 117 divides the frame video into two divided videos of the same size, obtains the correlation between the two divided videos, and outputs the correlation information to the video determination unit 151 as correlation information. In this embodiment, when the input video signal is a 3D video signal, the image analysis unit 117 is a side-by-side 3D video signal. Information about the correlation of the right divided video is obtained and output to the video determination unit 151.
  • the correlation here can be obtained using conventional technology.
  • the absolute value of the difference between pixel values is calculated for all corresponding pixels in two divided videos.
  • the corresponding pixels are two pixels at the same position in the two divided videos.
  • the difference absolute values for example, 0 to 255
  • the difference absolute values are grouped (for example, 0 to 10 is one group, and so on), and the appearance frequency is obtained for each group.
  • the image analysis unit 117 outputs the appearance frequency for each group as correlation information to the video determination unit 151.
  • the video synthesis unit 118 extracts the left-eye video and the right-eye video from the frame video input from the decoding unit 116, and the left-eye video The video and the right-eye video are combined into one video and output to the video output unit 119 as an output video signal.
  • the composition refers to, for example, processing of displaying the left-eye video on odd lines and displaying the right-eye video on even lines.
  • the video synthesis unit 118 uses the signal indicating the frame video input from the decoding unit 116 as the output video signal. Output to the output unit 119.
  • the video output unit 119 converts the input output video signal into a signal suitable for the display module 120.
  • the display module 120 displays a conversion signal of the output video signal input from the video output unit 119.
  • the display module 120 switches between a 3D video display method that is optimal for 3D video and a 2D video display method that is optimal for 2D video, based on a command from the control unit 15 input via the video output unit 119. . That is, the display module 120 displays the 3D video display method that is optimal for 3D video when the 3D video display method is instructed, and is optimal for 2D video when the 2D video display method is specified. Display with a simple 2D video display system.
  • the control unit 15 includes a video determination unit 151, and performs integrated control of the entire display device 1.
  • the control unit 15 receives an operation request output from the operation unit 2, interprets the content of the received operation request, and based on the content. Thus, the demodulation block 11 is controlled.
  • the video determination unit 151 determines whether or not the input video signal is a 3D video signal according to the correlation information input from the image analysis unit 117 of the demodulation block 11 at the start of reproduction of the stream information (input video signal) (third order).
  • a video determination process for determining whether the video is an original video or a two-dimensional video and a display method determination process for determining a video display method based on the determination result of the video determination process are performed. Furthermore, the video determination unit 151 instructs the demodulation block 11 about the video display method determined in the display method determination process.
  • the video determination unit 151 is configured by firmware in the control unit 15 or the like.
  • the correlation information here is the frequency of appearance of the absolute difference value for each group as described above. If the total appearance frequency of the predetermined group is less than the predetermined value, it indicates that the difference between the images is small and the correlation is strong, so that it can be determined that the image is a three-dimensional image. On the other hand, if the total appearance frequency of the predetermined group is equal to or greater than the predetermined value, it indicates that the difference between the images is large and the correlation is weak, so it can be determined that the image is a two-dimensional image.
  • the display module 120 is configured to be able to display a side-by-side 3D video as a 3D video will be described as an example.
  • the stream processing unit 115 manages the elapsed time information of the input video signal in parallel with the 2D / 3D video determination processing (corresponding to the elapsed time management unit). Specifically, when the input video signal is a broadcast program (input video signal input via the tuner 111, the demodulation unit 112, and the decoding unit 113), the time when the signal is switched in the input switching unit 114, the memory unit The latest time among the program start time information (program start time) and the video stream playback start time included in the system management information stored in 1152 is set as the start time of the input video signal. When the input video signal is input via Ethernet (registered trademark), the time when the signal is switched in the input switching unit 114 is set as the start time of the input video signal. The stream processing unit 115 counts the elapsed time from the start time and stores it in the memory unit 1152.
  • the input video signal is a broadcast program (input video signal input via the tuner 111, the demodulation unit 112, and the decoding unit
  • the video determination unit 151 starts 2D / 3D video determination processing for determining whether the video indicated by the input video signal is a two-dimensional video or a three-dimensional video at the start of reproduction of the stream information.
  • the image analysis unit 117 analyzes the input video signal and correlates the left divided video and the right divided video. Correlation information, which is information about the sex, is output to the video determination unit 151 (step S01).
  • the video determination unit 151 determines in advance whether the frame video indicated by the video stream to be analyzed is a side-by-side 3D video based on the correlation information output from the image analysis unit 117.
  • a video determination process is performed in accordance with the correlation rule (step S01).
  • the appearance frequency of the difference absolute value for each group is output from the image analysis unit 117 as the correlation information. For example, if the total appearance frequency of a predetermined group is less than a predetermined value, it is determined that the correlation is strong (image difference is small) and is a 3D video image. It is determined that the image is weak (the image difference is large) and is a two-dimensional image.
  • step S01 determines in step S01 that the video is a side-by-side 3D video (“Yes” in step S02)
  • the video determination unit 151 proceeds to the next step S03, and displays information indicating that the video is a 3D video. The information is stored, and the process proceeds to step S05.
  • step S01 determines in step S01 that the video is not a side-by-side 3D video (“No” in step S02)
  • the video determination unit 151 proceeds to the next step S04 to indicate that the video is a 2D video. Is stored as temporary video information, and the process proceeds to step S05.
  • the video determination unit 151 compares the video information indicating the current video display method with the provisional video information (step S05).
  • the video determination unit 151 determines that the video information (the video display method currently selected by the display module 120) is the same as the temporary video information (“Yes” in step S05), the video determination unit 151 discards the temporary video information. This completes the 2D / 3D video determination process.
  • step S05 determines in step S05 that the video information is different from the temporary video information (“No” in step S05)
  • the video determination unit 151 proceeds to step S06 and stores the video stored in the stream processing unit 115. Content elapsed time information is acquired, and the process proceeds to step S07.
  • the video determination unit 151 determines whether or not the elapsed time information is N (for example, 1 minute) or more (step S07).
  • N for example, 1 minute
  • two highly correlated images may be displayed side by side on the left and right or top and bottom in a two-dimensional video broadcast program.
  • the display is often a case where a certain period or more has elapsed since the start of the broadcast program. For this reason, if it is within a certain period from the start of the broadcast program, it is unlikely that a video with a high possibility of being erroneously determined will be displayed. It is possible to determine whether there is any more accurately. Therefore, the value of N is set according to the certain period.
  • step S07 determines in step S07 that the elapsed time information is N (for example, 1 minute) or more (“No” in step S07), the video information stored in the temporary video information is correct. It is determined that there is not, the provisional video information is discarded, and the determination process is terminated. If the elapsed time information is greater than or equal to N, the program or the like is being played back, and as described above, the method determined immediately after the start of playback of the video stream is not changed during the program or the like. Therefore, if the temporary video information is different from the video information, it can be determined that the temporary video information is not correct.
  • N for example, 1 minute
  • the video information stored in the temporary video information is correct. It is determined that there is not, the provisional video information is discarded, and the determination process is terminated. If the elapsed time information is greater than or equal to N, the program or the like is being played back, and as described above, the method determined immediately after the start of playback of the video stream is not changed during the program
  • step S07 determines that the elapsed time information is N (for example, 1 minute) or less (“Yes” in step S07).
  • the video determination unit 151 determines that the video information stored in the temporary video information is correct. Then, the video information is updated using the temporary video information (step S08). By updating the video information, it is finally determined whether the video is 3D video or 2D video.
  • the video determination unit 151 determines the video display method to be a 3D video display method, and the video information Is information indicating that it is a two-dimensional video, the video display method is determined to be a two-dimensional video display method.
  • control unit 15 outputs a command for switching the current video display method to the new video display method indicated by the updated video information to the display module 120 via the video output unit 119.
  • the video display system is switched between the 2D video display system and the 3D video display system.
  • the stream information held in the memory unit 1152 in the conversion unit 1151 constituting the stream processing unit 115 of the demodulation block 11 is converted into the left-eye video.
  • the video is separated into two two-dimensional images showing the right-eye video, the horizontal sampling in each video is doubled, and each video is converted to the original video size. After adding the number, it is output to the decoding unit 116.
  • the stream processing unit 115 decodes the signal input from the input switching unit 114 without separating it into a left-eye video and a right-eye video.
  • the stream processing unit 115 converts the signal input from the input switching unit 114 into the left-eye video and the right-eye video.
  • the video is separated into video images and output to the decoding unit 116.
  • the signal output from the stream processing unit 115 thereafter refers to identification numbers (set to different values) indicating the left-eye video and the right-eye video, respectively.
  • the left-eye video signal and the right-eye video signal are output to the decoding unit 116 as separate information.
  • the decoding unit 116 individually decodes each, and then outputs two pieces of video information to the video composition unit 118.
  • the control unit 15 preliminarily configures the video stream, audio, and audio that constitute the stream information. Since the identification number of the stream and system management information is read out, the video stream is separated and extracted by the identification number, and then the information is output to the decoding unit 116.
  • the video determination unit 151 determines the video display method based on the video information.
  • the determination is a virtual process, and other function blocks (stream processing unit 115, decode
  • the video information may be directly output to the unit 116 and the video composition unit 118).
  • the display device 1 of the present invention has an effect that the display quality can be improved. Another effect is that the display device 1 automatically and more accurately switches between the 2D video display system and the 3D video display system in order to immediately determine whether or not the 3D video display system is used. Can do.
  • the video display device described in Patent Document 1 described above is a technique for accurately performing an initial determination, but since only correlation is considered, as described above, a program for searching for an error, etc. It is difficult to prevent misjudgment for 2D video with strong left-right video correlation, and it is difficult to prevent switching from 2D video display to 3D video display in the middle of a program. is there.
  • the present invention since the elapsed time is taken into account, switching between the 2D video display system and the 3D video display system during the program can be prevented. As a result, viewer discomfort can be reduced and power consumption due to unnecessary switching can be suppressed.
  • the stream processing unit 115 may be configured to acquire the current time when calculating the elapsed time information from the video determination unit 151, calculate the difference between the current time and the start time, and output the difference as the elapsed time information. Good.
  • the image analysis unit 117 is configured to create correlation information for each type of 3D video signal in step S01.
  • step S02 the video determination unit 151 determines the correlation information for each type of 3D video signal, and determines whether the video is a 3D video and the type of the 3D video signal. Further, if it is a 3D video, in step S03, information about the type of 3D video signal is stored in the temporary video information together with information indicating that the video is a 3D video. In step S05, since it is considered that the type of the 3D video signal is not usually switched during the program of the 3D video display system, the video information and the temporary video information change the type of the 3D video signal. It is determined whether or not they completely match.
  • the video information when the video information is updated in step S08, if the temporary video information includes information indicating that it is a 3D video, the video information includes a 3D video signal together with information indicating that it is a 3D video. Stores information about the type.
  • the image analysis unit 117 calculates the appearance frequency of the difference absolute value for each group as the correlation information, and the video determination unit 151 determines that the total appearance frequency of the predetermined group is less than the predetermined value. If so, it is determined that the image is a 3D image, and if it is a predetermined value or more, it is determined that the image is a 2D image.
  • the present invention is not limited to this.
  • Other correlation information such as the sum of the absolute difference values in the entire image may be used.
  • the video determination unit 151 is configured by firmware in the control unit 15.
  • the video determination unit 151 may be provided outside the control unit 15 or may be a hardware having the function. It may be wear.
  • the image analysis unit 117 is configured by hardware, but may be configured by firmware in the control unit 15.
  • each functional block (component) in the block diagram (FIG. 2) may be configured by dedicated hardware, or for components that can be realized by software, firmware For example, it may be realized by executing a program.
  • each functional block in the block diagram is configured by hardware, it is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention since it is possible to reliably determine whether or not the image is a 3D image without adding a special circuit, it is useful for all AV devices that display a 3D image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

 三次元映像と二次元映像とが混在した入力映像信号を受信して表示する場合に、より確実に三次元映像か否かを判定できる映像表示制御装置(1)を提供する。当該映像表示制御装置(1)は、入力映像信号が示す映像を2分割した2つの分割映像の相関性情報を出力する画像解析部(117)と、相関性情報に応じて入力映像信号が三次元映像か否かを判定した結果を仮映像情報として記憶し、現在の映像表示方式を示す映像情報と仮映像情報とが一致せず、経過時間が一定期間以内の場合に、仮映像情報を用いて映像情報を更新することにより、映像表示方式を三次元映像表示方式または二次元映像に決定する映像判定部(151)と、入力映像信号を左目用映像と右目用映像とに分離して出力するストリーム処理部(115)と、立体映像を生成して出力する映像出力部(119)とを備える。

Description

映像表示制御装置及び映像表示制御方法
 本発明は、映像表示制御装置及び映像表示制御方法に関し、特に、三次元映像の表示が可能な表示デバイス上に、三次元映像と二次元映像とが混在した入力映像信号を用いて映像を表示するための技術に関するものである。
 近年、左右の目の視差を利用して作成した右目用映像と左目用映像を、それぞれ対応する目に個別に入射させるように構成して立体的な表示を行う三次元映像表示装置が実用化されている。三次元映像の入力映像信号は、例えば、衛星放送やケーブル放送などの放送番組の放送信号として、あるいは、イーサネット(登録商標)経由で提供される。
 三次元映像の映像表示方式(三次元映像表示方式)としては、例えば、左目用映像と右目用映像とをそれぞれ水平方向に1/2サブサンプリングし、サンプリングした左目用映像を画面左側に、サンプリングした右目用映像を画面右側に表示するサイドバイサイド方式や、左目用映像を奇数ラインに、右目用映像を偶数ラインに表示するトップアンドボトム方式等がある。
 近年、放送番組では、サイドバイサイド方式による三次元映像放送が開始された。サイドバイサイド方式で形成された三次元映像は、上述したように、表示装置側で立体視が可能となるように、1つのフレームの右目用映像が画面右側半分に、同じフレームの左目用映像が画面左側半分に、同時に表示される。
 ところで、二次元映像と三次元映像とが混在した入力映像信号の場合、入力映像信号に二次元映像であるか三次元映像であるかを示す情報が含まれない場合には、二次元映像であるか三次元映像であるかを適切に判定して、判定した結果に基づいて、表示を切り替える必要がある。
 このような二次元映像と三次元映像とが混在した入力映像信号を受信する映像表示装置としては、入力映像信号が三次元映像であると仮定した場合において、左目用映像に対応する画素と右目用映像に対応する画素とを比較して、差異値または類似度で相関性を求め、相関性に応じて自動的に二次元映像であるか、三次元映像であるかを判定する映像表示装置が開示されている(例えば、特許文献1参照)。この映像表示装置によれば、相関性に基づいて、映像表示装置の映像表示方式を二次元映像に対応した二次元映像表示方式と三次元映像に対応した三次元映像表示方式とを自動的に切替えることができる。
特開2010-68309号公報
 なお、放送番組には、例えば、一部のみが異なる2枚の映像を、左右に並べて表示して、視聴者に間違い探しをさせる放送番組や、特殊効果を狙った放送番組など、類似度が非常に高い2枚の映像を並べて表示する放送番組がある。このような放送番組で表示される映像は、2次元映像である。
 しかしながら、上記特許文献1に開示されている映像表示装置では、上述した放送番組の場合、二次元映像であるにも関わらず、画面右側半分に表示される映像と画面左側半分に表示される映像の類似度が非常に高いと判定される可能性が高い。この場合、二次元映像であるにもかかわらず、画面右側半分に表示される映像と画面左側半分に表示される映像の相関性が高いために、三次元映像であると誤検出してしまい、三次元映像表示方式に切り替えられてしまうという問題があった。
 本発明は上記の課題に鑑みてなされたものであり、三次元映像と二次元映像とが混在した映像情報を表示する場合に、より確実に三次元映像か否かを判定することができる映像表示制御装置および映像表示制御方法を提供することを目的とする。
 上記の課題を解決するために、本発明の一態様に係る映像表示制御装置は、入力映像信号が示す映像を、同じ大きさの2つの分割映像に分割し、前記2つの分割映像の間の相関性を示す相関性情報を求めて出力する画像解析部と、前記相関性情報に応じて、前記入力映像信号が示す映像が三次元映像か二次元映像かを判定する映像判定処理、および、前記映像判定処理の結果に応じて、映像表示方式を三次元映像表示方式または二次元映像表示方式に決定する表示方式決定処理を行う映像判定部と、前記映像判定部の前記表示方式決定処理において前記映像表示方式が前記三次元映像表示方式であると決定された後に、前記入力映像信号が示す映像を左目用映像と右目用映像とに分離して出力するストリーム処理部と、前記ストリーム処理部から入力された前記左目用映像と前記右目用映像とから立体映像を表示するための立体映像信号を生成して出力する映像出力部と、を備え、前記映像判定部は、前記表示方式決定処理において、前記映像判定処理の結果を仮映像情報として格納し、現在の前記映像表示方式を示す映像情報を取得して前記仮映像情報と比較し、前記映像情報と前記仮映像情報とが対応しないと判定した場合は、前記入力映像信号の経過時間情報を取得し、前記経過時間情報が所定時間以内の場合に前記映像情報を前記仮映像情報で更新することにより、前記映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本発明によれば、三次元映像と二次元映像とが混在した番組を受信して表示する際に、より確実に三次元映像か否かを判定することが可能になる。
図1は、本発明に係る映像表示制御装置の構成例を示すブロック図である。 図2は、本発明における映像表示制御装置で実行する映像表示制御方法の処理手順を示すフローチャートである。
 上述した問題を解決するために、本発明の一態様に係る映像表示制御装置は、入力映像信号が示す映像を、同じ大きさの2つの分割映像に分割し、前記2つの分割映像の間の相関性を示す相関性情報を求めて出力する画像解析部と、前記相関性情報に応じて、前記入力映像信号が示す映像が三次元映像か二次元映像かを判定する映像判定処理、および、前記映像判定処理の結果に応じて、映像表示方式を三次元映像表示方式または二次元映像表示方式に決定する表示方式決定処理を行う映像判定部と、前記映像判定部の前記表示方式決定処理において前記映像表示方式が前記三次元映像表示方式であると決定された後に、前記入力映像信号が示す映像を左目用映像と右目用映像とに分離して出力するストリーム処理部と、前記ストリーム処理部から入力された前記左目用映像と前記右目用映像とから立体映像を表示するための立体映像信号を生成して出力する映像出力部と、を備え、前記映像判定部は、前記表示方式決定処理において、前記映像判定処理の結果を仮映像情報として格納し、現在の前記映像表示方式を示す映像情報を取得して前記仮映像情報と比較し、前記映像情報と前記仮映像情報とが対応しないと判定した場合は、前記入力映像信号の経過時間情報を取得し、前記経過時間情報が所定時間以内の場合に前記映像情報を前記仮映像情報で更新することにより、前記映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する。
 上記構成の映像表示制御装置によれば、特別な回路を追加することなく、2次元映像であるか三次元映像であるかの判定を、より確実に行うことが可能になる。なお、ここでの経過時間は、例えば、放送番組の場合、チャンネル切り替え時刻や番組開始時刻、再生開始時刻のうちの最も遅い時刻から現在までの時間を示している。
 ここで、二次元映像の放送番組において、相関性の高い2枚の映像を左右あるいは上下に並べて表示する場合とは、当該放送番組が開始されてから、一定期間以上経過した場合であることが多い。また、同一の放送番組等の途中で、二次元映像と三次元映像とが切り替わる可能性は非常に低いと考えられる。
 上記構成の映像表示制御装置では、経過時間が所定時間内であるときは映像情報を更新する、すなわち、放送番組が開始されてから一定時間経過後は、放送番組の開始当初における判定結果を維持する。つまり、上記構成の映像表示制御装置では、上述したように、放送番組が開始されてから一定時間経過後、二次元映像と三次元映像とが切り変わる可能性が非常に低くなった時点においては、映像情報の更新、すなわち、映像表示方式の切り替えを行わないように構成したので、誤判定をより効果的に防止することが可能である。また、誤判定の防止により、不必要な映像表示方式の切り替えが行われるのをより効果的に防止できる。
 また、例えば、前記入力映像信号が示す映像の表示を開始した時刻である開始時刻情報と現在時刻情報とを取得し、前記開始時刻情報と前記現在時刻情報との差分を前記経過時間情報として取得する経過時間管理部を備える構成としてもよい。
 また、例えば、前記ストリーム処理部は、前記映像判定部の前記表示方式決定処理において、前記映像表示方式が前記二次元映像表示方式であると決定された後は、前記入力映像信号が示す映像を分離せずに出力する構成としてもよい。
 上述した問題を解決するために、本発明の一態様に係る映像表示制御方法は、入力映像信号が示す映像を、同じ大きさの2つの分割映像に分割し、前記2つの分割映像の間の相関性を示す相関性情報を求めて出力する画像解析ステップと、前記相関性情報に応じて、前記入力映像信号が示す映像が三次元映像か二次元映像かを判定する映像判定ステップと、前記映像判定ステップの結果に応じて、映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する表示方式決定ステップと、前記表示方式決定ステップにおいて前記映像表示方式が三次元映像表示方式であると決定された後に、前記入力映像信号が示す映像を左目用映像と右目用映像とに分離するストリーム処理ステップと、前記ストリーム処理ステップで分離された前記左目用映像と前記右目用映像とから立体映像を表示するための立体映像信号を生成して出力する映像出力ステップとを含み、前記表示方式決定ステップでは、前記映像判定ステップの結果を仮映像情報として格納し、現在の前記映像表示方式を示す映像情報を取得して前記仮映像情報と比較し、前記映像情報と前記仮映像情報とが一致しないと判定した場合は、前記入力映像信号の経過時間情報を取得し、前記経過時間情報が所定時間以内の場合に前記映像情報を前記仮映像情報で更新することにより、前記映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する。
 以下本発明を実施するための形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の望ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置および接続形態、処理、処理の順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より望ましい形態を構成する任意の構成要素として説明される。
 (実施の形態)
 本発明に係る映像表示制御装置(ディスプレイ装置)について、図1および図2を基に説明する。
 (ディスプレイ装置の構成)
 先ず、本発明に係るディスプレイ装置の構成について、図1を基に説明する。図1は、本実施の形態に係るディスプレイ装置の構成例を示すブロック図である。
 ディスプレイ装置1は、本実施の形態では、サイドバイサイド方式の三次元映像を表示可能な表示モジュール120を備え、サイドバイサイド方式の三次元映像信号と二次元映像信号とが混在する入力映像信号を受け付けて、三次元映像表示方式と二次元映像表示方式とを自動的に切り替えて表示する装置であり、復調ブロック11と、コントロール部15と、表示モジュール120とを備えて構成されている。
 また、ディスプレイ装置1は、装置外部に、ユーザが操作要求を入力するための操作部2を備えている。操作部2は、例えば、ディスプレイ装置1のフロントパネルやサイドパネルに配置されている操作パネルや、リモコンなどの端末で構成されている。
 復調ブロック11は、入力映像信号を受け付け、コントロール部15からの指示に基づいて、表示モジュール120上で表示可能な出力映像信号を出力するように構成されており、チューナー111と、イーサネット(登録商標)処理部121と、復調部112と、復号部113と、入力切換部114と、ストリーム処理部115と、デコード部116と、映像合成部118と、映像出力部119と、画像解析部117とを備える。
 チューナー111は、アンテナ(図示せず)で受信した放送波(入力映像信号の一例)から、コントロール部15からの指示に基づいて、選局された放送局の変調波(ストリーム情報)を取り出す。ここで、放送波には、複数番組の変調波、すなわち、複数のストリーム情報が多重化されて構成されている。また、ストリーム情報には、映像ストリーム、音声ストリーム、および、番組開始時間情報や現時刻情報等が含まれるシステム管理情報が含まれている。
 復調部112は、チューナー111から入力された変調波をベースバンド信号に変換する。
 復号部113は、ベースバンド信号に対し、情報が欠落した際に誤り訂正用情報に基づいて、情報欠落箇所を修正して正しい情報に戻して、入力切換部114に対して出力する。
 イーサネット(登録商標)処理部121は、イーサネット(登録商標)経由で提供される入力映像信号を受け付け、入力切換部114に対して出力する。
 入力切換部114は、コントロール部15からの指示に基づいて、復号部113から入力された信号、または、イーサネット(登録商標)処理部121から入力された信号の何れか一方を選択して、ストリーム情報としてストリーム処理部115に出力する。
 ストリーム処理部115は、コントロール部15からの指示に基づいて、ディスプレイ装置1全体のストリーム情報の流れを統括制御している。ストリーム処理部115は、メモリ部1152と、変換部1151とを備えている。入力映像信号が三次元映像である場合は、ストリーム情報を分離することにより、左目用映像の左目用映像ストリームおよび右目用映像の右目用映像ストリームで構成される映像ストリーム、音声ストリーム、および、システム管理情報を得ることができる。
 メモリ部1152は、ストリーム情報を一時的に展開するための一時メモリ領域であり、少なくとも映像の1フレーム分のストリーム情報を格納しておける容量を持つ。ここでは、メモリ部1152は、上述した映像ストリーム、音声ストリーム、および、システム管理情報を分離した状態で格納している。なお、システム管理情報には、これらの識別番号が含まれている。
 変換部1151は、コントロール部15により入力映像信号が三次元映像であるとされているときは、入力切換部114から入力された信号から左目用映像信号と右目用映像信号とを分離し、左目用映像信号および右目用映像信号それぞれについて、水平方向のサンプリングを2倍にして1フレームのサイズにする。そして、サイズ変更後の左目用映像信号および右目用映像信号それぞれに、識別情報を付与して、別個の映像ストリーム(ストリーム情報の一部)としてデコード部116に出力する。識別情報は、メモリ部1152に格納された複数の識別情報から、左目用映像信号および右目用映像信号それぞれに対応する識別情報を取得する。
 一方、ストリーム処理部115は、コントロール部15により入力映像信号が二次元映像であるとされているときは、入力切換部114から入力された信号から1つの映像ストリームを分離してデコード部116に出力する。
 デコード部116は、ストリーム処理部115から出力される映像ストリームを復号化し、復号化により得られた映像信号を画像解析部117と映像合成部118とに対して出力する。なお、コントロール部15により入力映像信号が三次元映像であるとされているときは、デコード部116は、画像解析部117に対して、右目用映像と左目用映像とを1/2サブサンプリングして合成した1フレーム分の映像信号を出力する。一方、映像合成部118に対しては、左目用映像と右目用映像とを示す識別番号を付した状態で、ストリーム処理部115から出力される映像ストリーム単位で個別に映像信号(左目用映像と右目用映像とで別個の映像信号となるように)を出力する。
 画像解析部117は、デコード部116から復号化された映像信号を受け付けて、映像信号が示す映像(1フレーム分の映像、以下、フレーム映像)を解析し、解析結果を映像判定部151に出力する。より詳細には、画像解析部117は、フレーム映像を同じ大きさの2つの分割映像に分割し、2つの分割映像の相関性を求めて、相関性情報として映像判定部151に出力する。本実施の形態では、画像解析部117は、入力映像信号が三次元映像信号の場合、サイドバイサイド方式の三次元映像信号であることから、フレーム映像を左右2つに分割し、左側の分割映像と右側の分割映像の相関性についての情報を求めて映像判定部151に出力する。
 ここでの相関性は、従来技術を用いて求めることができる。例えば、特許文献1に記載の映像表示装置では、2つの分割映像における全ての対応画素について、画素値の差分絶対値を算出する。対応画素は、ここでは、2つの分割映像の同じ位置にある2つの画素である。そして、差分絶対値(例えば、0~255)をグループ分けし(例えば、0~10を1つのグループ、以下同様)、グループ別に出現頻度を求める。画像解析部117は、当該グループ別の出現頻度を相関性情報として、映像判定部151に対して出力する。
 映像合成部118は、コントロール部15により入力映像信号が三次元映像であるとされているときは、デコード部116から入力されたフレーム映像から左目用映像と右目用映像とを抽出し、左目用映像と右目用映像とを合成して、1本の映像とし、出力映像信号として映像出力部119に出力する。なお、合成とは、例えば、左目用映像を奇数ラインに表示し、右目用映像を偶数ラインに表示する等の処理を指す。一方、映像合成部118は、映像判定部151が生成した映像情報が二次元映像を示す情報である場合には、デコード部116から入力されたフレーム映像を示す信号を、出力映像信号としてそのまま映像出力部119へ出力する。
 映像出力部119では、入力された出力映像信号を、表示モジュール120に適合した信号に変換する。表示モジュール120は、映像出力部119から入力された出力映像信号の変換信号の表示を行う。
 表示モジュール120は、映像出力部119を経由して入力されるコントロール部15からの命令に基づき、三次元映像に最適な三次元映像表示方式と二次元映像に最適な二次元映像表示方式を切り替える。すなわち、表示モジュール120は、三次元映像表示方式が指示された時には、三次元映像に最適な三次元映像表示方式で表示を行い、二次元映像表示方式が指示された時には、二次元映像に最適な二次元映像表示方式で表示を行う。
 コントロール部15は、映像判定部151を備え、ディスプレイ装置1全体を統合制御するものであり、操作部2から出力される操作要求を受け付け、受け付けた操作要求の内容を解釈し、当該内容に基づいて、復調ブロック11を制御する。
 映像判定部151は、ストリーム情報(入力映像信号)の再生開始時に、復調ブロック11の画像解析部117から入力された相関性情報に応じて、入力映像信号が三次元映像信号か否か(三次元映像か二次元映像か)を判定する映像判定処理と、映像判定処理の判定結果に基づいて、映像表示方式を決定する表示方式決定処理を行う。さらに、映像判定部151は、復調ブロック11に、表示方式決定処理で決定した映像表示方式を指示する。なお、映像判定部151は、コントロール部15内のファームウェアなどで構成される。
 ここでの相関性情報は、上述したように、グループ別の差分絶対値の出現頻度である。所定のグループの出現頻度の合計が、所定値未満であれば、画像の差が小さいことを示しており、相関性が強いため、三次元映像であると判定できる。一方、所定のグループの出現頻度の合計が、所定値以上であれば、画像の差が大きいことを示しており、相関性が弱いため、二次元映像であると判定できる。
 (ディスプレイ制御方法)
 次に、ディスプレイ装置1で実行される本発明に係るディスプレイ制御方法(映像表示制御方法)の処理手順について、図2を基に説明する。
 なお、本実施の形態では、表示モジュール120が、サイドバイサイド方式の三次元映像を立体映像として表示可能に構成されている場合を例に説明する。
 ストリーム処理部115は、2D/3D映像判定処理と並行して、入力映像信号の経過時間情報を管理している(経過時間管理部に相当)。具体的には、入力映像信号が放送番組(チューナー111、復調部112および復号部113を介して入力された入力映像信号)である場合、入力切換部114において信号が切り替えられた時刻、メモリ部1152に格納されているシステム管理情報に含まれる番組開始時間情報(番組開始時刻)および映像ストリームの再生開始時刻のうち、最も遅い時刻を、入力映像信号の開始時刻とする。また、入力映像信号がイーサネット(登録商標)経由で入力された場合は、入力切換部114において信号が切り替えられた時刻を入力映像信号の開始時刻とする。ストリーム処理部115は、開始時刻からの経過時間をカウントし、メモリ部1152に格納する。
 映像判定部151は、ストリーム情報の再生開始時に、入力映像信号が示す映像が二次元映像であるか三次元映像であるかを判定する2D/3D映像判定処理を開始する。
 2D/3D映像判定処理が開始されると、図2に示すように、先ず、画像解析部117は、上述したように、入力映像信号を解析し、左側の分割映像と右側の分割映像の相関性についての情報である相関性情報を、映像判定部151に対して出力する(ステップS01)。
 次に、映像判定部151は、画像解析部117から出力された相関性情報に基づいて、解析対象の映像ストリームが示すフレーム映像が、サイドバイサイド方式の三次元映像であるか否かを予め定められた相関性ルールに則って判定する映像判定処理を実行する(ステップS01)。
 ここでは、画像解析部117から、相関性情報として、グループ別の差分絶対値の出現頻度が出力される場合について説明する。例えば、所定のグループの出現頻度の合計が、所定値未満であれば、相関性が強く(画像の差が小さい)、三次元映像であると判定し、所定値以上であれば、相関性が弱く(画像の差が大きい)、二次元映像であると判定する。
 映像判定部151は、ステップS01において、サイドバイサイド方式の三次元映像であると判定した場合(ステップS02で「Yes」)、次のステップS03に進み、三次元映像であることを示す情報を仮映像情報として格納し、ステップS05に進む。
 一方、映像判定部151は、ステップS01において、サイドバイサイド方式の三次元映像でないと判定した場合(ステップS02で「No」)には、次のステップS04に進み、二次元映像であることを示す情報を仮映像情報として格納し、ステップS05に進む。
 次に、映像判定部151は、現在の映像表示方式を示す映像情報と仮映像情報とを比較する(ステップS05)。
 映像判定部151は、映像情報(現在、表示モジュール120で選択されている映像表示方式)が仮映像情報と同じであると判定した場合(ステップS05で「Yes」)、仮映像情報を破棄して2D/3D映像判定処理を終了する。
 一方、映像判定部151は、ステップS05において、映像情報が仮映像情報と異なると判定した場合(ステップS05で「No」)には、ステップS06に進み、ストリーム処理部115に格納されている映像コンテンツの経過時間情報を取得し、ステップS07に進む。
 次に、映像判定部151は、経過時間情報がN(例えば1分)以上であるか否かを判定する(ステップS07)。ここで、上述したように、誤判定される可能性の高い番組放送としては、二次元映像の放送番組において、相関性の高い2枚の映像を左右あるいは上下に並べて表示する場合がある。当該表示は、放送番組が開始されてから、一定期間以上経過した場合であることが多い。このため、放送番組の開始から一定期間内であれば、誤判定される可能性の高い映像が表示される可能性が小さいため、入力映像信号全体での二次元映像であるか三次元映像であるかの判定をより高精度に行える。従って、Nの値は、当該一定期間に応じて設定する。
 映像判定部151は、ステップS07において、経過時間情報がN(例えば1分)以上であると判定した場合(ステップS07で「No」)には、仮映像情報に格納されている映像情報は正しくないと判定し、仮映像情報を破棄して判定処理を終了する。なお、経過時間情報がN以上である場合は、番組等の再生途中であり、上述したように、映像ストリームの再生開始直後に判定された方式が、番組等の途中で変更されることはないと考えられることから、仮映像情報が映像情報と異なる場合は、仮映像情報が正しくないと判定できる。
 映像判定部151は、ステップS07において、経過時間情報がN(例えば1分)以下であると判定した場合(ステップS07で「Yes」)、仮映像情報に格納されている映像情報は正しいと判定し、映像情報を、仮映像情報を用いて更新する(ステップS08)。映像情報の更新により、三次元映像であるか二次元映像であるかが最終的に決定される。
 映像判定部151は、ステップS08で映像情報が更新されることにより、映像情報が三次元映像であることを示す情報である場合は、映像表示方式を三次元映像表示方式に決定し、映像情報が二次元映像であることを示す情報である場合は、映像表示方式を二次元映像表示方式に決定する。
 このとき、コントロール部15は、映像出力部119を介して、表示モジュール120に対し、現在の映像表示方式を、更新された映像情報が示す新たな映像表示方式に切り替える命令を出力する。これにより、表示モジュール120上で、映像表示方式が二次元映像表示方式と三次元映像表示方式との間で切り替えられる。
 映像情報が三次元映像を示す情報に更新された場合は、その後、復調ブロック11のストリーム処理部115を構成する変換部1151において、メモリ部1152に保持されているストリーム情報を、左目用映像と右目用映像とを示す2本の二次元映像に分離し、各映像における水平方向のサンプリングを2倍にして、それぞれの映像をオリジナルの映像サイズに変換し、各映像には別々の後述する識別番号を付加した後で、デコード部116に出力する。
 言い換えると、映像情報が更新される前(二次元映像を示す)は、ストリーム処理部115は、入力切換部114から入力される信号を、左目用映像と右目用映像とに分離することなくデコード部116に出力するのに対し、映像情報が三次元映像であることを示す情報に更新された後は、ストリーム処理部115は、入力切換部114から入力される信号を、左目用映像と右目用映像とに分離した上でデコード部116に出力する。三次元映像であると判定された場合には、その後、ストリーム処理部115から出力される信号は左目用映像と右目用映像とを示す識別番号(それぞれ異なる値に設定されている)を参照して、左目映像信号と右目映像信号とをそれぞれ別個の情報としてデコード部116へ出力する。デコード部116ではそれぞれを個別に復号化した後、2本の映像情報を映像合成部118へ出力する。
 一方、映像情報が二次元映像を示す情報に更新され、入力映像信号が二次元映像信号であると決定された場合には、コントロール部15は、あらかじめストリーム情報を構成している映像ストリーム、音声ストリーム、システム管理情報の識別番号を読み出しているので、映像ストリームを識別番号で分離抽出させた後、これらの情報をデコード部116へ出力させる。
 なお、映像判定部151は、本実施の形態では、映像情報に基づいて映像表示方式を決定するとしているが、当該決定は仮想的な処理であり、他の機能ブロック(ストリーム処理部115、デコード部116および映像合成部118)に映像情報をそのまま出力するように構成してもよい。
 本実施の形態では、映像ストリームの復号化についてのみ図示しているが、音声ストリームやシステム管理情報は、図示しない他のデコード部により復号化される。
 上記実施の形態によれば、特別な回路追加を行うことなく、三次元映像表示方式か否かをより確実に決定することができるため、三次元映像の表示に要する機器の誤作動をコストアップする事なく抑えることができる。
 このため本発明のディスプレイ装置1は、表示品質の向上が図ることができるといった効果を奏する。また別の効果として、即座に三次元映像表示方式か否かを決定するため、ディスプレイ装置1は、二次元映像表示方式と三次元映像表示方式の切替えを自動的に、しかもより正確に行うことができる。
 なお、上述した特許文献1に記載の映像表示装置は、初期の判定を精度よく行うための技術であるが、相関性しか考慮されていないため、上述したように、間違い探しをさせる番組など、左右の映像の相関性が強い二次元映像については、誤判定を防止するのは困難であり、番組の途中で二次元映像表示方式から三次元映像表示方式に切り替わるのを防止することは困難である。これに対し、本願発明では、経過時間を考慮しているので、番組の途中での二次元映像表示方式と三次元映像表示方式との間の切り替えを防止できる。これにより、視聴者の不快感の軽減や、不要な切り替えによる電力消費を抑えることができる。
 (実施の形態の変形例)
 (1)上記実施の形態では、図2のステップS06において用いる映像コンテンツの経過時間情報は、ストリーム処理部115が、映像コンテンツの開始時刻(入力切換部114における信号切り替え時刻、番組開始時刻および映像ストリームの再生開始時刻のうちの最も遅い時刻)からの経過時間をカウントしている場合について説明したが、これに限るものではない。
 ストリーム処理部115は、映像判定部151からの経過時間情報の取得要求時に、現在時刻を取得し、現在時刻と開始時刻との差を算出して経過時間情報として出力するように構成してもよい。
 (2)上記実施の形態では、サイドバイサイド方式の三次元映像信号と二次元映像信号とが混在する入力映像信号を受け付ける場合を想定して説明したが、サイドバイサイド方式に加え、他の方式の三次元映像が混在する入力映像信号を受け付けるように構成されていてもよい。
 この場合には、画像解析部117を、ステップS01において、三次元映像信号の種類別に、相関性情報を作成するように構成する。
 また、映像判定部151は、ステップS02において、三次元映像信号の種類別に、相関性情報を判定して、三次元映像であるか否か、および、三次元映像信号の種類別について判定する。さらに、三次元映像である場合は、ステップS03において、仮映像情報に、三次元映像であることを示す情報と共に、三次元映像信号の種類についての情報を格納する。ステップS05では、通常、三次元映像表示方式の番組の途中では、三次元映像信号の種類が切り替えられることはないと考えられるため、映像情報と仮映像情報とが、三次元映像信号の種類を含めて完全に一致するか否かを判定する。また、ステップS08で映像情報を更新する場合において、仮映像情報が三次元映像であることを示す情報を含む場合は、映像情報に、三次元映像であることを示す情報と共に、三次元映像信号の種類についての情報を格納する。
 (3)上記実施の形態では、画像解析部117により、グループ別の差分絶対値の出現頻度を相関性情報として求め、映像判定部151により、所定のグループの出現頻度の合計が、所定値未満であれば、三次元映像であると判定し、所定値以上であれば、二次元映像であると判定する場合について説明したが、これに限るものではない。差分絶対値の画像全体での和等、他の相関性情報を用いてもよい。
 (4)上記実施の形態では、映像判定部151は、コントロール部15内のファームウェアなどで構成される例を示しているが、コントロール部15の外部に設けても良いし、当該機能を有するハードウェアであっても良い。
 一方、画像解析部117は、ハードウェアで構成されている例を示しているが、コントロール部15内のファームウェアで構成しても良い。
 言い換えると、上記実施の形態において、ブロック図(図2)の各機能ブロック(構成要素)は、専用のハードウェアにより構成されてもよいし、あるいは、ソフトウェアにより実現可能な構成要素については、ファームウェアなど、プログラムを実行することによって実現されてもよい。
 なお、上記実施の形態において、ブロック図(図2)の各機能ブロックを、ハードウェアで構成する場合は、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
 また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
 以上、図面を参照して本発明の実施の形態を説明したが、本発明は、これらに限定されるものではない。上述した実施の形態に対して、本発明と同一の範囲において、あるいは均等の範囲内において、様々な変形や追加、変更が可能である。
 本発明によれば、特別な回路追加を行うことなく三次元映像か否かを確実に判定することができるため、三次元映像の表示を行う全てのAV機器で有用である。
 1  ディスプレイ装置
 2  操作部
 11  復調ブロック
 15  コントロール部
 111  チューナー
 112  復調部
 113  復号部
 114  入力切換部
 115  ストリーム処理部
 116  デコード部
 117  画像解析部
 118  映像合成部
 119  映像出力部
 120  表示モジュール
 121  イーサネット(登録商標)処理部
 151  映像判定部
 1151  変換部
 1152  メモリ部

Claims (4)

  1.  入力映像信号が示す映像を、同じ大きさの2つの分割映像に分割し、前記2つの分割映像の間の相関性を示す相関性情報を求めて出力する画像解析部と、
     前記相関性情報に応じて、前記入力映像信号が示す映像が三次元映像か二次元映像かを判定する映像判定処理、および、前記映像判定処理の結果に応じて、映像表示方式を三次元映像表示方式または二次元映像表示方式に決定する表示方式決定処理を行う映像判定部と、
     前記映像判定部の前記表示方式決定処理において前記映像表示方式が前記三次元映像表示方式であると決定された後に、前記入力映像信号が示す映像を左目用映像と右目用映像とに分離して出力するストリーム処理部と、
     前記ストリーム処理部から入力された前記左目用映像と前記右目用映像とから立体映像を表示するための立体映像信号を生成して出力する映像出力部と、を備え、
     前記映像判定部は、前記表示方式決定処理において、前記映像判定処理の結果を仮映像情報として格納し、現在の前記映像表示方式を示す映像情報を取得して前記仮映像情報と比較し、前記映像情報と前記仮映像情報とが対応しないと判定した場合は、前記入力映像信号の経過時間情報を取得し、前記経過時間情報が所定時間以内の場合に前記映像情報を前記仮映像情報で更新することにより、前記映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する
     映像表示制御装置。
  2.  前記入力映像信号が示す映像の表示を開始した時刻である開始時刻情報と現在時刻情報とを取得し、前記開始時刻情報と前記現在時刻情報との差分を前記経過時間情報として取得する経過時間管理部を備える
     請求項1に記載の映像表示制御装置。
  3.  前記ストリーム処理部は、前記映像判定部の前記表示方式決定処理において、前記映像表示方式が前記二次元映像表示方式であると決定された後は、前記入力映像信号が示す映像を分離せずに出力する
     請求項1または2に記載の映像表示制御装置。
  4.  入力映像信号が示す映像を、同じ大きさの2つの分割映像に分割し、前記2つの分割映像の間の相関性を示す相関性情報を求めて出力する画像解析ステップと、
     前記相関性情報に応じて、前記入力映像信号が示す映像が三次元映像か二次元映像かを判定する映像判定ステップと、
     前記映像判定ステップの結果に応じて、映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する表示方式決定ステップと、
     前記表示方式決定ステップにおいて前記映像表示方式が三次元映像表示方式であると決定された後に、前記入力映像信号が示す映像を左目用映像と右目用映像とに分離するストリーム処理ステップと、
     前記ストリーム処理ステップで分離された前記左目用映像と前記右目用映像とから立体映像を表示するための立体映像信号を生成して出力する映像出力ステップとを含み、
     前記表示方式決定ステップでは、前記映像判定ステップの結果を仮映像情報として格納し、現在の前記映像表示方式を示す映像情報を取得して前記仮映像情報と比較し、前記映像情報と前記仮映像情報とが一致しないと判定した場合は、前記入力映像信号の経過時間情報を取得し、前記経過時間情報が所定時間以内の場合に前記映像情報を前記仮映像情報で更新することにより、前記映像表示方式を前記三次元映像表示方式または前記二次元映像表示方式に決定する
     映像表示制御方法。
     
PCT/JP2012/003563 2011-07-19 2012-05-30 映像表示制御装置及び映像表示制御方法 WO2013011618A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011157452A JP2013026701A (ja) 2011-07-19 2011-07-19 ディスプレイ装置及びディスプレイ制御方法
JP2011-157452 2011-07-19

Publications (1)

Publication Number Publication Date
WO2013011618A1 true WO2013011618A1 (ja) 2013-01-24

Family

ID=47557822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003563 WO2013011618A1 (ja) 2011-07-19 2012-05-30 映像表示制御装置及び映像表示制御方法

Country Status (2)

Country Link
JP (1) JP2013026701A (ja)
WO (1) WO2013011618A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068315A (ja) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp 映像記録装置及び方法、並びに映像再生装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068315A (ja) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp 映像記録装置及び方法、並びに映像再生装置及び方法

Also Published As

Publication number Publication date
JP2013026701A (ja) 2013-02-04

Similar Documents

Publication Publication Date Title
US8773584B2 (en) Playback apparatus, playback method, integrated circuit, broadcast system, and broadcast method using a broadcast video and additional video
US8836758B2 (en) Three-dimensional image processing apparatus and method of controlling the same
JP5870272B2 (ja) 映像処理装置
US20100182404A1 (en) Three dimensional video reproduction apparatus, three dimensional video reproduction system, three dimensional video reproduction method, and semiconductor device for three dimensional video reproduction
KR20140040151A (ko) 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
JP2010068315A (ja) 映像記録装置及び方法、並びに映像再生装置及び方法
TW201145977A (en) Method and system for synchronizing 3D glasses with 3D video displays
US20150289015A1 (en) Broadcast receiving apparatus, upgrade device for upgrading the apparatus, broadcast signal processing system, and methods thereof
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
WO2012029293A1 (ja) 映像処理装置、映像処理方法、コンピュータプログラム及び配信方法
US20130188016A1 (en) Transmission device, transmission method, and reception device
US9578300B2 (en) Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service
US20120105437A1 (en) Image Reproducing Apparatus and Image Reproducing Method
US8169465B2 (en) 3D video processor and 3D video processing method
CN103458258A (zh) 影像处理方法与影像处理装置
JP2012134655A (ja) 画像処理装置、画像処理方法および画像表示装置
US8416288B2 (en) Electronic apparatus and image processing method
WO2013011618A1 (ja) 映像表示制御装置及び映像表示制御方法
US20120098944A1 (en) 3-dimensional image display apparatus and image display method thereof
JP4937404B1 (ja) 画像処理装置および画像処理方法
US9872008B2 (en) Display device and video transmission device, method, program, and integrated circuit for displaying text or graphics positioned over 3D video at varying depths/degrees
US20130136336A1 (en) Image processing apparatus and controlling method for image processing apparatus
KR20120102947A (ko) 전자 장치 및 입체영상 디스플레이 방법
US20120300029A1 (en) Video processing device, transmission device, stereoscopic video viewing system, video processing method, video processing program and integrated circuit
JP2012217213A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12814647

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12814647

Country of ref document: EP

Kind code of ref document: A1