WO2009147850A1 - 映像信号処理装置 - Google Patents

映像信号処理装置 Download PDF

Info

Publication number
WO2009147850A1
WO2009147850A1 PCT/JP2009/002499 JP2009002499W WO2009147850A1 WO 2009147850 A1 WO2009147850 A1 WO 2009147850A1 JP 2009002499 W JP2009002499 W JP 2009002499W WO 2009147850 A1 WO2009147850 A1 WO 2009147850A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame frequency
input image
signal processing
video signal
processing apparatus
Prior art date
Application number
PCT/JP2009/002499
Other languages
English (en)
French (fr)
Inventor
山田智
山本泰宜
吉崎哲也
足立隆人
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2009147850A1 publication Critical patent/WO2009147850A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Definitions

  • the present invention relates to a video signal processing apparatus that synthesizes a plurality of input images having different frame frequencies and outputs one output image.
  • optical discs have been developed as information recording media capable of recording at high density.
  • a DVD Digital Versatile Disc
  • BD Blu-ray Disc
  • BD Blu-ray Disc
  • the BD records a moving image data stream in which encoded video data and audio data are multiplexed (hereinafter, also simply referred to as “moving image stream”).
  • a playback apparatus compatible with DVD and BD includes a moving picture decoding apparatus that decodes encoded video data and audio data.
  • Film images such as movies are generally recorded and recorded at a frame frequency of 24 fps (frames per second).
  • the frame frequency is an index indicating how many times the screen is updated per unit time.
  • NTSC National Television System Committee
  • the screen is updated at 60 fields / second, which is twice 30 fps.
  • a technique called 2-3 pull-down processing for converting film video to 30 fps (that is, 60 fields / second) which is a frame frequency of the NTSC system is known.
  • the 2-3 pull-down process is a technique for converting a frame recorded at 24 fps to 30 fps by alternately converting two frames and three fields every frame.
  • movies and the like created at 24 fps can be broadcast on NTSC television broadcasts.
  • the 2-3 pull-down process for converting a movie into a TV signal is generally called telecine conversion.
  • the frame frequency is converted to 30 Hz (field frequency is 60 Hz) by repeating the creation of field images of 2 fields, 3 fields, 2 fields, and 3 fields from one frame of movie film in chronological order. To do.
  • next-generation DVDs such as Blu-ray
  • televisions capable of displaying images of a plurality of frame frequencies have been released in response to various video formats of televisions, and there is an increasing demand for switching display frame frequencies according to user preferences. .
  • Patent Document 1 when a plurality of videos input at a plurality of different frame frequencies are synthesized, a plurality of moving images input at different frame frequencies are inserted into an ultra-high definition screen, and an arbitrary frame frequency is Describes a multi-image generation apparatus that outputs a multi-composite ultra-high-definition moving image.
  • Patent Document 1 has a problem that the image quality deteriorates because it is not necessarily synthesized at a frame frequency suitable for the input video.
  • a video, animation, etc. which has been created with a frame frequency of 23.97 fps, telecine converted to 29.97 fps, etc., and is output at the same 23.97 fps as the original video. It is desirable that an image created by imaging at 29.97 fps is output as it is at 29.97 fps. This is because, for example, degradation of image quality such as oblique lines and subtitle noise is noticeable.
  • the present invention has been made in view of the above problems, and provides a video output device that prevents image quality degradation of an output image when the images input at a plurality of different frame frequencies are combined and output.
  • the purpose is to do.
  • a video signal processing apparatus is a video signal processing apparatus that outputs a single output image by combining a plurality of input images having different frame frequencies.
  • a detection unit that detects a frame frequency; a selection unit that selects an optimum frame frequency from frame frequencies of the plurality of input images; a conversion unit that converts the frame frequency of each input image into a selected frame frequency; and the conversion
  • a synthesizing unit that synthesizes the input image whose frame frequency is converted by the unit.
  • the video signal processing device selects an optimum frame frequency as the frame frequency of the output image from the frame frequencies of the plurality of input images.
  • the frame frequency of the output image is optimized, and deterioration of the image quality of the output image can be prevented.
  • the video signal processing apparatus may further include an extraction unit that extracts a feature amount of each input image, and the selection unit may select a frame frequency of the input image having the largest feature amount.
  • the video signal processing device selects the frame frequency of the input image having a large amount of features as the frame frequency of the output image. Therefore, it is possible to prevent image quality deterioration of an input image having a large amount of features.
  • the extraction unit may extract a hatched line ratio in each input image as the feature quantity, and the selection unit may select a frame frequency of the input image having the largest hatched line ratio.
  • the video signal processing apparatus selects the frame frequency of the input image having the largest percentage of the oblique lines as the frame frequency of the output image. Therefore, it is possible to prevent the deterioration of the image quality of the input image having a large proportion of the hatched lines where the deterioration of the image quality is easily noticeable by performing the frame frequency conversion.
  • the extraction unit may extract a display area of the input image in the output image as the feature amount, and the selection unit may select a frame frequency of the input image having the largest display area in the output image. .
  • the video signal processing device selects the frame frequency of the input image having the largest display area in the output image. Therefore, it is possible to prevent the image quality deterioration of the input image having the largest display area.
  • the extraction unit may extract a decoder code amount of each input image as the feature amount, and the selection unit may select a frame frequency of the input image having the largest decoder code amount.
  • the video signal processing apparatus selects the frame frequency of the input image with the largest decoder code amount. Therefore, it is possible to prevent image quality deterioration of an input image having the largest decoder code amount.
  • the video signal processing apparatus may further include an acquisition unit that acquires attached information of each input image, and the selection unit may select a frame frequency of the input image according to the attached information.
  • the video signal processing device selects the frame frequency of the input image as the frame frequency of the output image according to the attached information.
  • the optimal frame frequency of the input image can be selected according to the attached information.
  • the attached information is information indicating the presence / absence of captions
  • the selection unit may select a frame frequency of the input image outputting the audio.
  • the video signal processing device selects the frame frequency of the input image outputting the sound. As a result, it is possible to prevent image quality deterioration of an input image that is outputting audio as an output image.
  • the attached information may be information indicating the presence or absence of audio
  • the selection unit may select a frame frequency of the input image having the caption information.
  • the video signal processing device selects the frame frequency of the input image displaying the caption. Therefore, it is possible to prevent image quality deterioration of the input image displaying the subtitles in the output image.
  • the video signal processing device may further include a determination unit that determines the state of each of the plurality of input images, and the selection unit may select a frame frequency of the input image according to the attached state.
  • the video signal processing device selects the frame frequency of the input image according to the attached state.
  • the optimal frame frequency of the input image can be selected according to the attached state.
  • the determination unit determines an input image in a recording state in which reproduction and recording are performed simultaneously, and the selection unit selects a frame frequency of the input image in a state other than the recording state. Also good.
  • the video signal processing apparatus selects the frame frequency of the input image in a state other than the recording state, for example, only for reproduction. Thereby, it is possible to prevent the deterioration of the image quality of the input image that is in the state of only reproduction.
  • the determination unit may determine the input image being specially reproduced, and the selection unit may select a frame frequency of the input image being specially reproduced.
  • the video signal processing apparatus selects the frame frequency of the input image that is being specially reproduced. Thereby, it is possible to prevent deterioration of the image quality of the input image during special reproduction.
  • the present invention can be realized not only as such a video signal processing apparatus but also as a control method for controlling the video signal processing apparatus.
  • the present invention can provide a video signal processing apparatus and a video signal processing method that prevent image quality degradation of an output image when combining and outputting images input at a plurality of different frame frequencies.
  • FIG. 1 is a block diagram of a video signal processing apparatus, an image input unit, and an output image display unit according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing processing of the video signal processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing a more specific example of the process (S22) of selecting the frame frequency shown in FIG.
  • FIG. 4 is a flowchart showing a more specific example of the process of FIG.
  • FIG. 5 is a flowchart showing another specific example of the process of FIG.
  • FIG. 6 is a flowchart showing yet another specific example of the process of FIG.
  • FIG. 7 is a flowchart showing another more specific example of the frame frequency selection process (S22) shown in FIG.
  • FIG. 8 is a block diagram of a video signal processing apparatus, an image input unit, and an output image display unit according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart showing a more specific example of the process (S22) of selecting the frame frequency shown in FIG. 2 of the video signal processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is an external view of a computer system.
  • FIG. 11 is a block diagram illustrating a configuration of a computer system.
  • the video signal processing apparatus is a video signal processing apparatus that outputs a single output image by combining a plurality of input images having different frame frequencies, and the frame frequency of the plurality of input images. Then, the optimum frame frequency is selected, the frame frequency of each input image is converted to the selected frame frequency, and the converted input image is synthesized.
  • the optimal frame frequency is preferably the frame frequency of the input image having the largest feature amount (for example, the ratio of the shaded area).
  • FIG. 1 is a block diagram showing a video signal processing apparatus 100, an image input unit, and an output image display unit in the present embodiment.
  • the video signal processing apparatus 100 includes an extraction unit 101, a detection unit 102, a converted frame frequency determination unit 103, a frame frequency control unit 104, a conversion unit 105, a synthesis unit 106, and an image output unit 107.
  • the n image input units acquire video signals 1 to n from the outside and output them to the extraction unit 101 as input images 1 to n.
  • the input images 1 to n include a plurality of input images having different frame frequencies.
  • the extraction unit 101 extracts the feature amount of each input image and outputs the feature amount to the converted frame frequency determination unit 103.
  • the extraction unit 101 includes determination information acquisition units 101a to 101n for each input image, and the determination information acquisition units 101a to 101n extract the feature amount.
  • the extraction unit 101 detects the ratio of diagonal lines per unit time of the input image as the feature amount. Specifically, the extraction unit 101 performs edge detection per frame of the input image and acquires a contour line. Next, in the acquired contour line, the ratio of the diagonal line in the contour line is calculated, and the ratio of the diagonal line in the contour line is set as the feature amount.
  • the detecting unit 102 detects the frame frequency of the input image and outputs the detection result to the converted frame frequency determining unit 103.
  • the detection unit 102 includes frame frequency detection units 102a to 102n for each input image, and is realized by the frame frequency detection units 102a to 102n detecting the frame frequency.
  • the conversion frame frequency determination unit 103 is a selection unit that selects a frame frequency of an input image having a large proportion of diagonal lines in a contour line as a frame frequency of an output image from frame frequencies of a plurality of input images.
  • the conversion frame frequency determination unit 103 outputs information indicating the frame frequency of the selected input image to the frame frequency control unit 104.
  • the frame frequency control unit 104 outputs a control signal for converting the frame frequency of the input image to the frame frequency of the output image and information indicating the frame frequency of the output signal to the conversion unit 105.
  • the conversion unit 105 converts the frame frequency of each input image based on the control signal output from the frame frequency control unit 104 selected by the conversion frame frequency determination unit 103.
  • the conversion unit 105 is realized by including frame frequency conversion units 105a to 105n for each input image.
  • the conversion unit 105 determines whether or not the information indicating the frame frequency output from the frame frequency control unit 104 matches the frame frequency of each input image. If they match, the input image is output to the synthesizer 106 without changing the frame frequency. If the frame frequencies do not match, the frame frequency of the input image is converted to the frame frequency output by the frame frequency control unit 104 and output to the synthesis unit 106.
  • the synthesizing unit 106 synthesizes a plurality of input images output from the converting unit 105.
  • the image output unit 107 outputs the synthesized image.
  • output refers to display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, other processing device or other program, etc. It is a concept including delivery of processing results.
  • the output image display unit displays an image on a screen of a television, for example.
  • FIG. 2 is a flowchart showing a processing flow of the video signal processing apparatus 100.
  • the detection unit 102 detects the frame frequency of each input image (S21).
  • the conversion frame frequency determination unit 103 selects a frame frequency of any one of the plurality of input images (S22).
  • the conversion unit 105 converts the frame frequency of the input image into the frame frequency selected by the conversion frame frequency determination unit 103 (S23).
  • the synthesizing unit 106 synthesizes the input image whose frame frequency is converted (S24), and the image output unit 107 outputs the synthesized image.
  • FIG. 3 is a detailed flowchart of the process (S22) for selecting the frame frequency shown in FIG.
  • the extraction unit 101 extracts the feature amount of each input image (S31).
  • the conversion frame frequency determination unit 103 selects the frame frequency of the input image having the largest feature amount (S32).
  • FIG. 4 is a flowchart showing a more specific example of the process of FIG.
  • the extraction unit 101 detects the proportion of the diagonal lines in the contour line of the input image as a feature amount (S41).
  • the converted frame frequency determination unit 103 selects the frame frequency of the input image with the largest percentage of diagonal lines (S42).
  • the video signal processing apparatus 100 selects the frame frequency of the input image having the largest percentage of the oblique lines as the frame frequency of the output image.
  • the video signal processing apparatus 100 according to the present embodiment has an effect of preventing the image quality deterioration of the input image having the largest percentage of the oblique lines in which the image quality deterioration is conspicuous by performing the frame frequency conversion.
  • the extraction unit 101 may extract the display area of the input image in the output image as the feature amount.
  • FIG. 5 is a flowchart showing another specific example of the process of FIG.
  • the extraction unit 101 refers to the display position and the superposition order in the synthesis unit 106 of the input image and detects the display area after synthesis as a feature amount (S51).
  • the conversion frame frequency determination unit 103 selects the frame frequency of the input image having the largest display area ratio (S52).
  • the display area after synthesis of the input image 1 is 200 ⁇ 200 pixels and the display areas after synthesis of the input images 2, 3,..., N are 100 ⁇ 100 pixels, the display area is maximized.
  • the frame frequency of the input image 1 is selected as the frame frequency of the output image.
  • the extraction unit 101 may extract the decoder code amount of each input image as the feature amount.
  • FIG. 6 is a flowchart showing yet another specific example of the process of FIG.
  • the extraction unit 101 detects the decoder code amount of each input image as a feature amount (S61).
  • the transform frame frequency determination unit 103 selects the frame frequency of the input image having the largest decoder code amount (S62).
  • the extraction unit 101 may function as an acquisition unit that acquires attached information instead of the feature amount.
  • the obtaining unit obtains the attached information of each input image and outputs the attached information to the converted frame frequency determining unit 103.
  • the attached information is information indicating the presence / absence of audio or subtitles.
  • FIG. 7 is a flowchart showing another specific example of the process (S22) of selecting the frame frequency shown in FIG.
  • the extraction unit 101 functions as an acquisition unit that acquires attached information instead of the feature amount.
  • the acquisition unit determines whether there is an image displaying a caption in the input image (S71).
  • information indicating an input image displaying a caption is output to the converted frame frequency determination unit 103.
  • the conversion frame frequency determination unit 103 selects the frame frequency of the input image displaying the caption (S72).
  • the frame frequency of the input image 1 displaying the subtitles Is the frame frequency of the output image.
  • the acquisition unit determines whether or not the video signal processing apparatus 100 is outputting audio (S73).
  • the acquisition unit outputs information indicating the input image outputting the sound to the converted frame frequency determination unit 103.
  • the conversion frame frequency determination unit 103 selects the frame frequency of the input image outputting the sound (S74).
  • the converted frame frequency determination unit 103 selects a frame frequency of any input image (S75).
  • the selection in S75 may be the same as in any of FIGS.
  • the extraction unit 101 may function as a determination unit that determines the state of the input image instead of the feature amount.
  • the determining unit determines the state of each input image and outputs the state information to the converted frame frequency determining unit 103.
  • the state information is information indicating a recording state where reproduction and recording are performed simultaneously and a special reproduction state such as fast-forwarding.
  • the extraction unit 101 may further include at least one of an acquisition unit and a determination unit.
  • a video signal processing device is a video signal processing device that outputs a single output image by combining a plurality of input images having different frame frequencies, and the frame frequencies of the plurality of input images. Then, the optimum frame frequency is selected, the frame frequency of each input image is converted to the selected frame frequency, and the converted input image is synthesized.
  • the optimum frame frequency is selected according to the state of the input image (for example, special reproduction and recording).
  • FIG. 8 is a block diagram of the video signal processing apparatus 200 in the present embodiment.
  • the video signal processing apparatus 200 further includes a decode information acquisition unit 108 as compared with the video signal processing apparatus 100 of the first embodiment.
  • a decode information acquisition unit 108 as compared with the video signal processing apparatus 100 of the first embodiment.
  • the decode information acquisition unit 108 functions as a determination unit that determines the state of each input image.
  • the decode information acquisition unit 108 determines the input image during special playback based on the decode information output from the external video decoder, and outputs the determined information to the conversion frame frequency determination unit 109.
  • the conversion frame frequency determination unit 109 selects the frame frequency of the input image during special playback.
  • the converted frame frequency determination unit 109 determines the frame frequency of the input image 1 being specially played back. select.
  • the decode information acquisition unit 108 determines an input image that is being reproduced and recorded at the same time based on the decode information output from an external video decoder, and converts the information indicating the reproduction-only input image into a converted frame frequency determination unit. To 109.
  • the conversion frame frequency determination unit 109 selects the frame frequency of the input image that is only reproduced.
  • the processing flow of the video signal processing apparatus 200 in the present embodiment is almost the same as that of FIG. 1 showing the processing of the video signal processing apparatus 100 according to the first embodiment, but the frame frequency shown in FIG. 2 is selected.
  • the processing (S22) to be performed is different.
  • FIG. 9 is a flowchart showing a more specific example of the process (S22) of selecting the frame frequency shown in FIG. 2 of the video signal processing apparatus 200 according to the present embodiment. It is a flowchart which shows the flow of a process in the decoding information acquisition part 108 and the conversion frame frequency determination part 109 of the video signal processing apparatus 200 which concerns on this Embodiment.
  • the decode information acquisition unit 108 determines whether there is an input image for special reproduction (S91). If there is an input image for special reproduction (Yes in S91), the converted frame frequency determination unit 109 selects the frame frequency of the input image for special reproduction (S92).
  • the decode information acquisition unit 108 determines whether there is an input image that is being reproduced and recorded simultaneously (S93). If there is an input image that is being played back and recorded simultaneously (Yes in S93), the converted frame frequency determination unit 109 selects the frame frequency of the input image that is not played back and recorded at the same time, that is, only played back (S94). ).
  • the converted frame frequency determination unit 103 selects the frame frequency of one of the input images (S95).
  • the selection in S95 may be the same as in any of FIGS.
  • the video signal processing apparatus 200 uses the decoding information output by the decoding information acquisition unit 108 when synthesizing and outputting videos input at a plurality of different frame frequencies. Select the optimal input image frame frequency. Thereby, there is an effect of preventing the image quality deterioration of the output image.
  • the decode information acquisition unit 108 may acquire the decode code amount of each input image.
  • an input image with the largest decode code amount may be selected in S95.
  • the video signal processing apparatus 100 according to the first embodiment or the video signal processing apparatus 200 according to the second embodiment may be a video display apparatus that further includes an image input unit and an output image display unit.
  • the present invention can be realized not only as a device but also as a method using steps of the processing units constituting the device, as a program for causing a computer to execute the steps, or as a computer-readable recording of the program. It can also be realized as a possible recording medium such as a CD-ROM, or as information, data or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • FIG. 10 shows an external appearance of a computer that executes the program and realizes the video signal processing apparatus according to the above-described embodiment.
  • the above-described embodiments can be realized by computer hardware and a computer program executed thereon.
  • FIG. 10 is an external view of the computer system 340
  • FIG. 11 is a block diagram showing the configuration of the computer system 340.
  • the computer system 340 includes a computer 341 including a FD (Flexible Disk) drive and a CD-ROM (Compact Disc Read Only Memory) drive, a keyboard 342, a mouse 343, and a monitor 344.
  • FD Flexible Disk
  • CD-ROM Compact Disc Read Only Memory
  • the computer 341 in addition to the FD drive 3411 and the CD-ROM drive 3412, the computer 341 includes a CPU (Central Processing Unit) 3413, a bus 3414 connected to the CPU 3413, the CD-ROM drive 3412, and the FD drive 3411, and a boot.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • the computer 341 may further include a network card that provides a connection to a LAN (Local Area Network).
  • a program that causes the computer system 340 to execute the functions of the video signal processing apparatus according to the above-described embodiment is stored in a CD-ROM or FD, inserted into the CD-ROM drive 3412 or FD drive 3411, and further stored in the hard disk 3417. May be forwarded.
  • the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417.
  • the program is loaded into the RAM 3416 at the time of execution.
  • the program may be loaded directly from a CD-ROM, FD or network.
  • the program does not necessarily include an operating system (OS) or a third-party program that causes the computer 341 to execute the functions of the video signal processing apparatus according to the above-described embodiment.
  • the program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.
  • processing performed by hardware for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware). Not included) is not included.
  • the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • Each functional block in the block diagrams is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI is used, but it may be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • only the functional block that stores data to be encoded or decoded may be configured separately without being integrated into one chip.
  • the video signal processing device and the video display device according to the present invention have a function of selecting an appropriate combined frame frequency from among a plurality of input image frame frequencies based on input image determination information.
  • it is useful as a video signal processing device and a video display device.
  • Video signal processing apparatus 101 Extraction unit 101a to 101n Determination information acquisition unit 102 Detection unit 102a to 102n Frame frequency detection unit 103, 109 Conversion frame frequency determination unit 104 Frame frequency control unit 105 Conversion unit 105a to 105n Frame frequency conversion unit 106 Synthesis Unit 107 Image Output Unit 108 Decode Information Acquisition Unit 340 Computer System 341 Computer 342 Keyboard 343 Mouse 344 Monitor 3411 FD Drive 3412 CD-ROM Drive 3413 CPU 3414 Bus 3415 ROM 3416 RAM 3417 hard disk

Abstract

　従来の映像信号処理装置においては、必ずしも入力される映像に適したフレーム周波数で合成されていないので、画質が劣化するという課題がある。 　異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理装置（１００）であって、各入力画像のフレーム周波数を検出する検出部（１０２）と、前記複数の入力画像のフレーム周波数から最適なフレーム周波数を選択する変換フレーム周波数判定部（１０３）と、各入力画像のフレーム周波数を選択されたフレーム周波数に変換する変換部（１０５）と、前記変換部（１０５）によってフレーム周波数が変換された前記入力画像を合成する合成部（１０６）とを備える。

Description

映像信号処理装置
　本発明は、異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理装置等に関するものである。
　近年、高密度に記録可能な情報記録媒体として光ディスクが開発されている。例えば、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）は、映画及び音楽を記録するための光ディスクとして一般に広く普及している。また、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）は、ＤＶＤよりも、大容量、かつ高速な転送速度を実現できるので、今後の光ディスクとして注目される。
　ＢＤには、符号化された映像データ及び音声データが多重化された動画像データストリーム（以下、単に「動画像ストリーム」とも記す。）が記録されている。ＤＶＤ及びＢＤに対応した再生装置は、符号化された映像データ及び音声データを復号する動画像復号化装置を備える。
　映画などのフィルム映像は、一般的に２４ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）のフレーム周波数で撮影記録されている。フレーム周波数とは、単位時間あたり何回画面が更新されるかを示す指標である。
　一方、テレビ放送では、ＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）方式と呼ばれる３０ｆｐｓのフレーム周波数で撮影記録されている。
　また、テレビでは画像の水平ラインを奇数ラインと偶数ラインとに分けて、交互に画像を表示することで１枚の画像を表示している。そのため、３０ｆｐｓの２倍の６０フィールド／秒で画面を更新している。
　フィルム映像をＮＴＳＣ方式のフレーム周波数である３０ｆｐｓ（すなわち６０フィールド／秒）に変換する２‐３プルダウン処理と呼ばれる技術が知られている。２‐３プルダウン処理とは、２４ｆｐｓで記録されたフレームを、１フレームごとに交互に２フィールドおよび３フィールドに変換することにより、３０ｆｐｓに変換する技術である。
　すなわち、２４ｆｐｓで記録された２フレーム分を５（２＋３）フィールド分に変換することにより、２４フレームは、（２４÷２）×５＝６０フィールドに変換される。
　２‐３プルダウン処理を行うことにより、２４ｆｐｓで作成された映画等を、ＮＴＳＣ方式のテレビ放送で放映することが可能となる。
　映画をＴＶ信号に変換する２‐３プルダウン処理は、一般的にはテレシネ変換と呼ばれている。
　テレシネ変換は、映画フィルムの１コマから、時系列の順に２フィールド、３フィールド、２フィールド、３フィールドのフィールド画像を作成することを繰り返すことにより、フレーム周波数を３０Ｈｚ（フィールド周波数では６０Ｈｚ）に変換する。
　近年、大型で高精細なテレビの普及により、ひとつの画面に複数の画像を合成して表示しても、それぞれの画像の画質を向上させて、複数画像を合成する需要が高くなっている。
　また、Ｂｌｕ－ｒａｙなどのより高精細な次世代ＤＶＤの開発により、市販されているコンテンツにおいても複数画像を合成して表示する機会が増えている。
　また、テレビの多様なビデオフォーマットへの対応により、複数のフレーム周波数の映像を表示できるようなテレビが発売され、表示するフレーム周波数をユーザの好みに応じて切り替えることに対する需要も高くなってきている。
　特許文献１には、複数の異なるフレーム周波数で入力される複数の映像を合成する場合に、異なるフレーム周波数で入力される複数の動画像を超高精細画面中に挿入して、任意のフレーム周波数でマルチ合成された超高精細動画像を出力するマルチ画像生成装置が記載されている。
特開２００７－２７１９０８号公報
　しかしながら、特許文献１に記載されているマルチ画像生成装置では、必ずしも入力される映像に適したフレーム周波数で合成されていないので、画質が劣化するという課題がある。
　たとえば、映画やアニメーションなど、フレーム周波数が２３．９７ｆｐｓで作成された映像を２９．９７ｆｐｓにテレシネ変換した映像などは、元の映像と同じ２３．９７ｆｐｓで出力することが望ましく、また、ホームビデオなど２９．９７ｆｐｓで撮像して作成された映像は、２９．９７ｆｐｓのまま出力することが望ましい。なぜなら、例えば斜線や字幕のノイズが目立つ、といった画質の劣化が生じるからである。
　そこで、本発明は上記の課題を鑑みてなされたものであり、複数の異なるフレーム周波数で入力される画像を合成して出力する際、出力される画像の画質劣化を防止する映像出力装置を提供することを目的とする。
　上記目的を達成するために、本発明に係る映像信号処理装置は、異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理装置であって、各入力画像のフレーム周波数を検出する検出部と、前記複数の入力画像のフレーム周波数から最適なフレーム周波数を選択する選択部と、各入力画像のフレーム周波数を選択されたフレーム周波数に変換する変換部と、前記変換部によってフレーム周波数が変換された前記入力画像を合成する合成部とを備える。
　かかる構成によれば、本発明に係る映像信号処理装置は、複数の入力画像のフレーム周波数から最適なフレーム周波数を出力画像のフレーム周波数として選択する。これにより、出力画像のフレーム周波数は最適となり、出力画像の画質劣化を防止できる。
　また、前記映像信号処理装置は、さらに、各入力画像の特徴量を抽出する抽出部を備え、前記選択部は、前記特徴量が最も多い入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、特徴量の多い入力画像のフレーム周波数を出力画像のフレーム周波数として選択する。これにより、特徴量の多い入力画像の画質劣化を防止できる。
　また、前記抽出部は、前記特徴量として各入力画像における斜線の割合を抽出し、前記選択部は、前記斜線の割合が最も多い入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、斜線の割合が最も多い入力画像のフレーム周波数を出力画像のフレーム周波数として選択する。これにより、フレーム周波数変換を行うことで画質の劣化が目立ちやすい斜線の割合の多い入力画像の画質劣化を防止できる。
　また、前記抽出部は、前記特徴量として前記出力画像における入力画像の表示領域を抽出し、前記選択部は、前記出力画像において、表示領域が最も大きい入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、出力画像における表示領域の最も大きい入力画像のフレーム周波数を選択する。これにより、最も表示領域の大きい入力画像の画質劣化を防止できる。
　また、前記抽出部は、前記特徴量として各入力画像のデコーダ符号量を抽出し、前記選択部は、前記デコーダ符号量が最も多い入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、最もデコーダ符号量の多い入力画像のフレーム周波数を選択する。これにより、最もデコーダ符号量の多い入力画像の画質劣化を防止できる。
　また、前記映像信号処理装置は、さらに、各入力画像の付属情報を取得する取得部を備え、前記選択部は、前記付属情報に応じて入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、付属情報に応じて入力画像のフレーム周波数を出力画像のフレーム周波数として選択する。これにより、付属情報に応じて最適な入力画像のフレーム周波数を選択できる。
　また、前記付属情報は、字幕の有無を示す情報であり、前記選択部は、前記音声を出力している入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、音声を出力している入力画像のフレーム周波数を選択する。これにより、出力画像で音声を出力している入力画像の画質劣化を防止できる。
　また、前記付属情報は、音声の有無を示す情報であり、前記選択部は、前記字幕情報を有する入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、字幕を表示している入力画像のフレーム周波数を選択する。これにより、出力画像で字幕を表示している入力画像の画質劣化を防止できる。
　また、前記映像信号処理装置は、さらに、各複数の入力画像の状態を判定する判定部を備え、前記選択部は、前記付属状態に応じて前記入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、付属状態に応じて入力画像のフレーム周波数を選択する。これにより、付属状態に応じて最適な入力画像のフレーム周波数を選択できる。
　また、前記判定部は、再生と記録とが同時に行われている記録状態にある入力画像を判定し、前記選択部は、前記記録状態以外の状態にある前記入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、記録状態以外の状態、例えば再生のみ、にある入力画像のフレーム周波数を選択する。これにより、再生のみの状態にある入力画像の画質劣化を防止できる。
　また、前記判定部は、特殊再生をしている前記入力画像を判定し、前記選択部は、前記特殊再生をしている前記入力画像のフレーム周波数を選択してもよい。
　かかる構成によれば、本発明に係る映像信号処理装置は、特殊再生をしている入力画像のフレーム周波数を選択する。これにより、特殊再生中の入力画像の画質劣化を防止できる。
　なお、本発明は、このような映像信号処理装置として実現することができるだけでなく、その映像信号処理装置を制御するための制御方法としても実現することができる。
　以上より、本発明は、複数の異なるフレーム周波数で入力される画像を合成して出力する際、出力される画像の画質劣化を防止する映像信号処理装置及び映像信号処理方法を提供できる。
図１は、本発明の実施の形態１に係る映像信号処理装置、画像入力部及び出力画像表示部のブロック図である。 図２は、本発明の実施の形態１に係る映像信号処理装置の処理を示すフローチャートである。 図３は、図２に示したフレーム周波数の選択する処理（Ｓ２２）のより具体的な一例を示すフローチャートである。 図４は、図３の処理のより具体的な一例を示すフローチャートである。 図５は、図３の処理のより具体的な他の一例を示すフローチャートである。 図６は、図３の処理のより具体的なさらに他の一例を示すフローチャートである。 図７は、図２に示したフレーム周波数を選択処理（Ｓ２２）のより具体的な他の一例を示すフローチャートである。 図８は、本発明の実施の形態２に係る映像信号処理装置、画像入力部及び出力画像表示部のブロック図である。 図９は、本発明の実施の形態２に係る映像信号処理装置の図２に示したフレーム周波数を選択する処理（Ｓ２２）のより具体的な一例を示すフローチャートである。 図１０は、コンピュータシステムの外観図である。 図１１は、コンピュータシステムの構成を示すブロック図である。
　以下、本発明に係る映像信号処理装置の実施の形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
　（本発明の実施の形態１）
　本発明の実施の形態１にかかる映像信号処理装置は、異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理装置であって、複数の入力画像のフレーム周波数から最適なフレーム周波数を選択し、各入力画像のフレーム周波数を選択されたフレーム周波数に変換し、変換された入力画像を合成する。ここで、最適なフレーム周波数は、特徴量（例えば斜線の割合）の最も多い入力画像のフレーム周波数が望ましい。
　図１は、本実施の形態における映像信号処理装置１００、画像入力部及び出力画像表示部を示すブロック図である。
　映像信号処理装置１００は、抽出部１０１、検出部１０２、変換フレーム周波数判定部１０３、フレーム周波数制御部１０４、変換部１０５、合成部１０６及び画像出力部１０７を具備する。
　ｎ個の画像入力部は、外部からのビデオ信号１～ｎを取得し、入力画像１～ｎとして抽出部１０１に出力する。入力画像１～ｎには、異なるフレーム周波数を有する複数の入力画像が含まれる。
　抽出部１０１は、各々の入力画像の特徴量を抽出し、変換フレーム周波数判定部１０３に特徴量を出力する。例えば抽出部１０１は、各々の入力画像に対して判定情報取得部１０１ａ～１０１ｎを備え、判定情報取得部１０１ａ～１０１ｎが特徴量を抽出することで実現する。
　抽出部１０１は、特徴量として入力画像の単位時間当たりの斜線の割合を検出する。具体的には、抽出部１０１は、入力画像の１フレーム当たりのエッジ検出を行い、輪郭線を取得する。次に、取得した輪郭線において、輪郭線の中で斜線が占める割合を計算し、輪郭線の中で斜線が占める割合を特徴量とする。
　検出部１０２は、入力画像のフレーム周波数を検出し、変換フレーム周波数判定部１０３へ検出結果を出力する。例えば検出部１０２は、各々の入力画像に対してフレーム周波数検出部１０２ａ～１０２ｎを備え、フレーム周波数検出部１０２ａ～１０２ｎがフレーム周波数を検出することで実現する。
　変換フレーム周波数判定部１０３は、複数の入力画像のフレーム周波数から、輪郭線の中で斜線の占める割合の多い入力画像のフレーム周波数を出力画像のフレーム周波数として選択する選択部のことである。
　変換フレーム周波数判定部１０３は、選択した入力画像のフレーム周波数を示す情報をフレーム周波数制御部１０４へ出力する。
　フレーム周波数制御部１０４は、入力画像のフレーム周波数を出力画像のフレーム周波数に変換するための制御信号及び出力信号のフレーム周波数を示す情報を変換部１０５へ出力する。
　変換部１０５は、変換フレーム周波数判定部１０３で選択されたフレーム周波数制御部１０４が出力した制御信号を基に、各入力画像のフレーム周波数を変換する。例えば変換部１０５は、各々の入力画像に対してフレーム周波数変換部１０５ａ～１０５ｎを備えることで実現する。
　具体的に、変換部１０５は、フレーム周波数制御部１０４が出力したフレーム周波数を示す情報と各入力画像のフレーム周波数とが一致するか否かを判定する。一致する場合、フレーム周波数は変えずに、当該入力画像を合成部１０６へ出力する。フレーム周波数が一致しない場合、当該入力画像のフレーム周波数をフレーム周波数制御部１０４が出力したフレーム周波数に変換して合成部１０６へ出力する。
　合成部１０６は、変換部１０５が出力した複数の入力画像を合成する。
　画像出力部１０７は、合成された画像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。
　出力画像表示部は、例えば、テレビなどの画面に画像を表示する。
　図２は、映像信号処理装置１００の処理の流れを示すフローチャートである。
　まず、検出部１０２が各々の入力画像のフレーム周波数を検出する（Ｓ２１）。変換フレーム周波数判定部１０３は、複数の入力画像のうち、いずれかの入力画像のフレーム周波数を選択する（Ｓ２２）。変換部１０５は、入力画像のフレーム周波数を変換フレーム周波数判定部１０３が選択したフレーム周波数に変換する（Ｓ２３）。合成部１０６はフレーム周波数が変換された入力画像を合成して（Ｓ２４）、画像出力部１０７が合成された画像を出力する。
　図３は、図２に示したフレーム周波数を選択する処理（Ｓ２２）の詳細なフローチャートである。
　抽出部１０１は、各々の入力画像の特徴量を抽出する（Ｓ３１）。変換フレーム周波数判定部１０３は、特徴量が最も多い入力画像のフレーム周波数を選択する（Ｓ３２）。
　図４は、図３の処理のより具体的な一例を示すフローチャートである。
　抽出部１０１は、入力画像の輪郭線の中で斜線の占める割合を特徴量として検出する（Ｓ４１）。変換フレーム周波数判定部１０３は、斜線の割合が最も多い入力画像のフレーム周波数を選択する（Ｓ４２）。
　以上、本実施の形態に係る映像信号処理装置１００は、斜線の割合が最も多い入力画像のフレーム周波数を出力画像のフレーム周波数として選択する。これにより、本実施の形態に係る映像信号処理装置１００は、フレーム周波数変換を行うことで画質の劣化が目立ちやすい斜線の割合が最も多い入力画像の画質劣化を防止する、という効果がある。
　なお、抽出部１０１は、特徴量として出力画像における入力画像の表示領域を抽出してもよい。
　図５は、図３の処理のより具体的な他の一例を示すフローチャートである。
　抽出部１０１は入力画像の合成部１０６での表示位置及び重畳順を参照し、合成後の表示領域を特徴量として検出する（Ｓ５１）。変換フレーム周波数判定部１０３は、最も表示領域の割合の大きい入力画像のフレーム周波数を選択する（Ｓ５２）。
　例えば、入力画像１の合成後の表示面積が２００×２００画素で、入力画像２、３、・・・、ｎの合成後の表示面積がそれぞれ１００×１００画素の場合、表示面積が最大となる入力画像１のフレーム周波数を出力画像のフレーム周波数として選択する。
　また、抽出部１０１は、特徴量として各入力画像のデコーダ符号量を抽出してもよい。
　図６は、図３の処理のより具体的なさらに他の一例を示すフローチャートである。
　抽出部１０１は、各入力画像のデコーダ符号量を特徴量として検出する（Ｓ６１）。変換フレーム周波数判定部１０３は、最もデコーダ符号量の多い入力画像のフレーム周波数を選択する（Ｓ６２）。
　また、抽出部１０１は特徴量の代わりに付属情報を取得する取得部として機能してもよい。
　取得部は、各入力画像の付属情報を取得して、付属情報を変換フレーム周波数判定部１０３へ出力する。付属情報とは、音声や字幕の有無を示す情報のことである。
　図７は、図２に示したフレーム周波数を選択する処理（Ｓ２２）のより具体的な他の一例を示すフローチャートである。
　ここでは、抽出部１０１は特徴量の代わりに付属情報を取得する取得部として機能する。
　取得部は、入力画像に字幕を表示している画像があるか否かを判定する（Ｓ７１）。字幕を表示している画像がある場合（Ｓ７１でＹｅｓ）、字幕を表示している入力画像を示す情報を変換フレーム周波数判定部１０３へ出力する。変換フレーム周波数判定部１０３は、字幕を表示している入力画像のフレーム周波数を選択する（Ｓ７２）。
　例えば、入力画像１が洋画などの字幕付き画像で、入力画像２、３、・・・、ｎがそれぞれスポーツ中継などの字幕のない画像の場合、字幕を表示している入力画像１のフレーム周波数が出力画像のフレーム周波数となる。
　字幕を表示している入力画像がない場合（Ｓ７１でＮｏ）、取得部は映像信号処理装置１００が音声を出力しているか否かを判定する（Ｓ７３）。音声を出力している場合（Ｓ７３でＹｅｓ）、取得部は、音声を出力している入力画像を示す情報を変換フレーム周波数判定部１０３へ出力する。変換フレーム周波数判定部１０３は、音声を出力している入力画像のフレーム周波数を選択する（Ｓ７４）。
　なお、映像信号処理装置１００が音声を出力していない場合（Ｓ７３でＮｏ）、変換フレーム周波数判定部１０３は、いずれかの入力画像のフレーム周波数を選択する（Ｓ７５）。Ｓ７５での選択は、図３～図６のいずれかと同じようにしてもよい。
　また、抽出部１０１は特徴量の代わりに入力画像の状態を判定する判定部として機能してもよい。
　判定部は、各入力画像の状態を判定して、状態情報を変換フレーム周波数判定部１０３へ出力する。状態情報とは、再生と記録とが同時に行われている記録状態及び早送り等の特殊再生状態を示す情報のことである。
　また、抽出部１０１は、さらに、取得部及び判定部のうち少なくとも１つを備えてもよい。
　（本発明の実施の形態２）
　次に本発明の実施の形態２について述べる。
　本発明の実施の形態２にかかる映像信号処理装置は、異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理装置であって、複数の入力画像のフレーム周波数から最適なフレーム周波数を選択し、各入力画像のフレーム周波数を選択されたフレーム周波数に変換し、変換された入力画像を合成する。ここで、最適なフレーム周波数は、入力画像の状態（例えば特殊再生及び録画）に応じて選択されることが望ましい。
　以下、実施の形態１に係る映像信号処理装置１００と異なる点を中心に述べる。
　図８は、本実施の形態における映像信号処理装置２００のブロック図である。
　映像信号処理装置２００は、実施の形態１の映像信号処理装置１００と比べて、デコード情報取得部１０８をさらに具備する。以下、実施の形態１の映像信号処理装置１００と同じ点は説明を省略し、異なる点を中心に説明する。
　デコード情報取得部１０８は、各入力画像の状態を判定する判定部として機能する。
　デコード情報取得部１０８は、外部のビデオデコーダが出力するデコード情報を基に、特殊再生中の入力画像を判定し、判定した情報を変換フレーム周波数判定部１０９へ出力する。変換フレーム周波数判定部１０９は、特殊再生中の入力画像のフレーム周波数を選択する。
　例えば、入力画像１が早送り再生映像で、入力画像２、３、・・・、ｎがそれぞれ通常再生映像の場合、変換フレーム周波数判定部１０９は、特殊再生している入力画像１のフレーム周波数を選択する。
　また、デコード情報取得部１０８は、外部のビデオデコーダが出力するデコード情報を基に、再生と記録を同時に行っている入力画像を判定し、再生のみの入力画像を示す情報を変換フレーム周波数判定部１０９へ出力する。変換フレーム周波数判定部１０９は、再生のみの入力画像のフレーム周波数を選択する。
　本実施の形態における映像信号処理装置２００の処理の流れは、実施の形態１に係る映像信号処理装置１００の処理を示した図１とほぼ同様であるが、図２に示したフレーム周波数を選択する処理（Ｓ２２）の内容が異なっている。
　図９は、本実施の形態に係る映像信号処理装置２００の図２に示したフレーム周波数を選択する処理（Ｓ２２）のより具体的な一例を示すフローチャートである。本実施の形態に係る映像信号処理装置２００のデコード情報取得部１０８及び変換フレーム周波数判定部１０９での処理の流れを示すフローチャートである。
　デコード情報取得部１０８は、特殊再生の入力画像があるか否かを判定する（Ｓ９１）。特殊再生の入力画像がある場合（Ｓ９１でＹｅｓ）、変換フレーム周波数判定部１０９は特殊再生の入力画像のフレーム周波数を選択する（Ｓ９２）。
　特殊再生の入力画像がない場合（Ｓ９１でＮｏ）、デコード情報取得部１０８は、再生と記録を同時にしている入力画像があるか否かを判定する（Ｓ９３）。再生と記録を同時にしている入力画像がある場合（Ｓ９３でＹｅｓ）、変換フレーム周波数判定部１０９は、再生と記録を同時にしていない、すなわち再生のみの入力画像のフレーム周波数を選択する（Ｓ９４）。
　再生と記録を同時にしている画像がない場合（Ｓ９３でＮｏ）、変換フレーム周波数判定部１０３は、いずれかの入力画像のフレーム周波数を選択する（Ｓ９５）。Ｓ９５での選択は、図３～図７のいずれかと同じようにしてもよい。
　以上説明してきたように、本実施の形態に係る映像信号処理装置２００は、複数の異なるフレーム周波数で入力される映像を合成して出力する際、デコード情報取得部１０８が出力するデコード情報を基に最適な入力画像のフレーム周波数を選択する。これにより、出力される画像の画質劣化を防止する、という効果がある。
　なお、デコード情報取得部１０８は、各入力画像のデコード符号量を取得してもよい。デコード情報取得部１０８がデコード符号量を取得する場合、Ｓ９５において、デコード符号量が最も多い入力画像を選択してもよい。
　以上、本発明の実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、実施の形態１に係る映像信号処理装置１００または実施の形態２に係る映像信号処理装置２００は、さらに、画像入力部と出力画像表示部を具備する映像表示装置であってもよい。
　また、本発明は、装置として実現できるだけでなく、その装置を構成する処理部をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
　図１０は、プログラムを実行して、上述した実施の形態の映像信号処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１０は、このコンピュータシステム３４０の外観図であり、図１１は、コンピュータシステム３４０の構成を示すブロック図である。
　図１０において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ　Ｄｉｓｋ）ドライブ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
　図１１において、コンピュータ３４１は、ＦＤドライブ３４１１及びＣＤ－ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３４１３と、ＣＰＵ３４１３、ＣＤ－ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。なお、ここでは図示しないが、コンピュータ３４１は、さらに、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）への接続を提供するネットワークカードを含んでも良い。
　コンピュータシステム３４０に、上述した実施の形態の映像信号処理装置の機能を実行させるプログラムは、ＣＤ－ＲＯＭまたはＦＤに記憶されて、ＣＤ－ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ－ＲＯＭ、ＦＤまたはネットワークから直接、ロードされても良い。
　プログラムは、コンピュータ３４１に、上述した実施の形態の映像信号処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
　なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
　また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
　また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
　また、ブロック図（図１及び図８）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサ を利用しても良い。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する機能ブロックだけ１チップ化せずに別構成としても良い。
　以上のように、本発明にかかる映像信号処理装置および映像表示装置は、入力画像の判定情報に基づいて複数の入力画像のフレーム周波数の中から適切な合成後のフレーム周波数を選択できる機能を有し、映像信号処理装置および映像表示装置等として有用である。
１００、２００　映像信号処理装置
１０１　抽出部
１０１ａ～１０１ｎ　判定情報取得部
１０２　検出部
１０２ａ～１０２ｎ　フレーム周波数検出部
１０３、１０９　変換フレーム周波数判定部
１０４　フレーム周波数制御部
１０５　変換部
１０５ａ～１０５ｎ　フレーム周波数変換部
１０６　合成部
１０７　画像出力部
１０８　デコード情報取得部
３４０　コンピュータシステム
３４１　コンピュータ
３４２　キーボード
３４３　マウス
３４４　モニタ
３４１１　ＦＤドライブ
３４１２　ＣＤ－ＲＯＭドライブ
３４１３　ＣＰＵ
３４１４　バス
３４１５　ＲＯＭ
３４１６　ＲＡＭ
３４１７　ハードディスク

Claims (12)

  1. 　異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理装置であって、
    　各入力画像のフレーム周波数を検出する検出部と、
    　前記複数の入力画像のフレーム周波数から最適なフレーム周波数を選択する選択部と、
    　各入力画像のフレーム周波数を選択されたフレーム周波数に変換する変換部と、
    　前記変換部によってフレーム周波数が変換された前記入力画像を合成する合成部と
    　を備える映像信号処理装置。
  2. 　前記映像信号処理装置は、さらに、
    　各入力画像の特徴量を抽出する抽出部を備え、
    　前記選択部は、前記特徴量が最も多い入力画像のフレーム周波数を選択する
    　請求項１記載の映像信号処理装置。
  3. 　前記抽出部は、前記特徴量として各入力画像における斜線の割合を抽出し、
    　前記選択部は、前記斜線の割合が最も多い入力画像のフレーム周波数を選択する
    　請求項２記載の映像信号処理装置。
  4. 　前記抽出部は、前記特徴量として前記出力画像における入力画像の表示領域を抽出し、
    　前記選択部は、前記出力画像において、表示領域が最も大きい入力画像のフレーム周波数を選択する
    　請求項２記載の映像信号処理装置。
  5. 　前記抽出部は、前記特徴量として各入力画像のデコーダ符号量を抽出し、
    　前記選択部は、前記デコーダ符号量が最も多い入力画像のフレーム周波数を選択する
    　請求項２記載の映像信号処理装置。
  6. 　前記映像信号処理装置は、さらに、
    　各入力画像の付属情報を取得する取得部を備え、
    　前記選択部は、前記付属情報に応じて入力画像のフレーム周波数を選択する
    　請求項１記載の映像信号処理装置。
  7. 　前記付属情報は、字幕の有無を示す情報であり、
    　前記選択部は、前記音声を出力している入力画像のフレーム周波数を選択する
    　請求項６記載の映像信号処理装置。
  8. 　前記付属情報は、音声の有無を示す情報であり、
    　前記選択部は、前記字幕情報を有する入力画像のフレーム周波数を選択する
    　請求項６記載の映像信号処理装置。
  9. 　前記映像信号処理装置は、さらに、
    　各複数の入力画像の状態を判定する判定部を備え、
    　前記選択部は、前記付属状態に応じて前記入力画像のフレーム周波数を選択する
    　請求項１記載の映像信号処理装置。
  10. 　前記判定部は、再生と記録とが同時に行われている記録状態にある入力画像を判定し、
    　前記選択部は、前記記録状態以外の状態にある前記入力画像のフレーム周波数を選択する
    　請求項９記載の映像信号処理装置。
  11. 　前記判定部は、特殊再生をしている前記入力画像を判定し、
    　前記選択部は、前記特殊再生をしている前記入力画像のフレーム周波数を選択する
    　請求項９記載の映像信号処理装置。
  12. 　異なるフレーム周波数を有する複数の入力画像を合成して１つの出力画像を出力する映像信号処理方法であって、
    　各入力画像の特徴量を抽出する抽出ステップと、
    　各入力画像のフレーム周波数を検出する検出ステップと、
    　前記特徴量の多い前記入力画像のフレーム周波数を選択する選択ステップと、
    　前記入力画像のフレーム周波数を前記出力画像のフレーム周波数に変換する変換ステップと、
    　前記変換ステップによってフレーム周波数が変換された前記入力画像を合成する合成ステップと
    　を含む映像信号処理方法。
PCT/JP2009/002499 2008-06-05 2009-06-03 映像信号処理装置 WO2009147850A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008148654 2008-06-05
JP2008-148654 2008-06-05

Publications (1)

Publication Number Publication Date
WO2009147850A1 true WO2009147850A1 (ja) 2009-12-10

Family

ID=41397931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002499 WO2009147850A1 (ja) 2008-06-05 2009-06-03 映像信号処理装置

Country Status (1)

Country Link
WO (1) WO2009147850A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002190985A (ja) * 2000-12-22 2002-07-05 Matsushita Electric Ind Co Ltd 多画面映像信号処理装置
JP2007271908A (ja) * 2006-03-31 2007-10-18 Victor Co Of Japan Ltd マルチ画像生成装置
JP2007271848A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 映像出力装置、及び映像出力方法
JP2009071701A (ja) * 2007-09-14 2009-04-02 Sony Corp 情報処理装置および方法、並びに、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002190985A (ja) * 2000-12-22 2002-07-05 Matsushita Electric Ind Co Ltd 多画面映像信号処理装置
JP2007271908A (ja) * 2006-03-31 2007-10-18 Victor Co Of Japan Ltd マルチ画像生成装置
JP2007271848A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 映像出力装置、及び映像出力方法
JP2009071701A (ja) * 2007-09-14 2009-04-02 Sony Corp 情報処理装置および方法、並びに、プログラム

Similar Documents

Publication Publication Date Title
JP6478064B2 (ja) 変換方法および変換装置
US8675138B2 (en) Method and apparatus for fast source switching and/or automatic source switching
JP5197910B2 (ja) デジタル情報信号を受信する装置
US6633725B2 (en) Layered coding of image data using separate data storage tracks on a storage medium
JP7117626B2 (ja) 映像表示装置及び映像表示方法
JP7117558B2 (ja) 映像表示装置及び映像表示方法
US20070253677A1 (en) System for simultaneous playback of multiple video angles from multimedia content onto a display device and method thereof
JP2005110286A (ja) 縮小ビデオ画像生成およびユーザインターフェース
JP2006319502A (ja) 映像信号処理装置および方法、並びにプログラム
CN109691115B (zh) 影像显示装置及影像显示方法
JP2005514840A (ja) 標準解像度互換性媒体上に高解像度マテリアルを設けるシステム及び方法
JP2005347871A (ja) テレビジョン受信機
US20050259977A1 (en) Multiplex DVD player
WO2009147850A1 (ja) 映像信号処理装置
JP2008283236A (ja) 画像処理システム、画像処理方法、およびプログラム
US7423672B2 (en) Picture data recording method, picture data storage medium, picture data playback apparatus, and picture data playback method
JP4534975B2 (ja) 再生装置、再生方法、記録方法、映像表示装置及び記録媒体
US20070098372A1 (en) Digital television recorder for recording multiple sets of audio tracks and method thereof
JP2006510275A (ja) Ｍｐｅｇ−２ｍｐ＠ｍｌ圧縮ビデオから高精細度視覚効果を生成するシステムおよび方法
JP2008252752A (ja) 映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法
JP4915861B2 (ja) 映像情報再生システム、並びに映像情報再生システムの制御方法
JP2006180091A (ja) コンテンツ合成装置及び方法
JP2004266801A (ja) オーディオ／ビデオデジタルデコーダの制御方法
Bellers et al. Video processing on a flexible heterogeneous architecture
JP2008141428A (ja) 録画再生装置および映像再生方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09758117

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09758117

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP