JP4573957B2 - 画像制御装置、画像制御方法及びテレビ受信機 - Google Patents
画像制御装置、画像制御方法及びテレビ受信機 Download PDFInfo
- Publication number
- JP4573957B2 JP4573957B2 JP2000202649A JP2000202649A JP4573957B2 JP 4573957 B2 JP4573957 B2 JP 4573957B2 JP 2000202649 A JP2000202649 A JP 2000202649A JP 2000202649 A JP2000202649 A JP 2000202649A JP 4573957 B2 JP4573957 B2 JP 4573957B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image data
- moving image
- frames
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 65
- 238000001514 detection method Methods 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 19
- 238000013500 data storage Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像制御装置、画像制御方法及びテレビ受信機に関する。
【０００２】
【従来の技術】
図２４には、従来のデジタルテレビ受信機において、特に動画像データを受信し、指定されたコマを静止画像として図示しないプリンタ等ヘ出力するための構成を示す。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２８は静止画像出力部、３１はコマ指定操作部である。
【０００３】
次に、図２５のフローチャートを用いて、上記デジタルテレビ受信機での処理動作について説明する。ステップＳ３０１において、放送受信部２１は、１コマの放送を受信する。ステップＳ３０２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【０００４】
ステップＳ３０３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの動画像を動画像出力部２４に出力する。ステップＳ３０４において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作があった場合は、ステップＳ３０５へ進み、そうでなければステップＳ３０１へ戻り、次の１コマを受信する。ステップＳ３０５では、指定のあったコマを静止画像として静止画像出力部２８に出力する。
【０００５】
【発明が解決しようとする課題】
例えば、図４に示すように、あるテレビ番組において司会者がフリップを指しているシーンの後に、フリップがクローズアップされているシーンが数秒間続き、その後に司会者の顔のシーンに切り替わるという状況を例にして説明すれば、フリップのクローズアップシーンにおいて、その内容をメモ等するために、静止画像としてプリンタに出力したいという状況はしばしば起こる。
【０００６】
その際、上述した従来のデジタルテレビ受信機においては、視聴者はリモコンの「印刷ボタン」を押すことにより、その瞬間のコマ（図４に示す指定コマＢ）を静止画像としてプリンタに出力して印刷することができる。
【０００７】
しかしながら、動画像としては十分な画質であっても、１コマだけを静止画像として取り出すと、文字等が不鮮明となる場合が多い。カメラのわずかな動きによるぶれやピントのボケなどによって、同一の内容が映っていても、画像の鮮明度はコマ毎に異なる。通常、視聴者はそれを意識せずに「印刷ボタン」を押すので、不鮮明なコマを印刷してしまうことも多かった。
【０００８】
本発明の上記のような問題に鑑みてなされたものであり、指定コマと同一の内容で、より鮮明なコマを静止画像として出力可能にすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像制御装置は、複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御装置であって、前記符号化された動画像データを復号する復号手段と、前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段とを有し、前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
本発明のテレビ受像機は、放送データを受信し、前記放送データを処理してディスプレイに動画像データを出力するテレビ受信機であって、前記動画像データは複数のコマからなる符号化されたものであり、前記符号化された動画像データを復号する復号手段と、前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段と、前記選択手段により選択されたコマに対応する静止画像データをプリンタに出力する出力手段とを有し、前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
本発明の画像制御方法は、複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御方法であって、前記符号化された動画像データを復号するステップと、前記復号された動画像データの各コマの画像の鮮明度を検出するステップと、前記復号された動画像データのコマ間の画像の類似度を検出するステップと、前記復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択するステップとを有し、前記コマを選択するステップでは、前記類似度を検出するステップにより検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度を検出するステップにより前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１６】
（第１の実施の形態）
図１は、デジタルテレビ受信機のハードウェア構成を示すブロック図である。
１はデータの入出力、処理、記憶、通信等を行なう受信機ユニットであり、各種アンテナ、ＣＡＴＶ端子、ディスプレイ、プリンタ、インターネット回線等が接続可能である。
【００１７】
視聴者がリモコン３によってチャンネルを選択すると、アンテナやＣＡＴＶ端子から入力された信号から、チューナ２によって所望のチャンネルの放送データが取得される。デジタルテレビにおける１つのチャンネルの放送データは、動画像データ、音声データ、その他のコードデータが多重化されているので、ＤＥＭＵＸ４によってこれらのデータを分離し、それぞれメモリ８へ記憶する。ＣＰＵ５は、メモリ８に記憶された動画像データに対して復号その他の処理を行ない、ディスプレイＩ／Ｆ６を介してディスプレイヘ動画像データを出力する。
【００１８】
また、動画像データ、音声データ、その他のコードデータは、放送だけでなく、モデム１１を介してインターネットによって配信される場合もある。或いは、磁気テープや磁気ディスク、光ディスク等のリムーバルメディア１０によって配信される場合もある。或いは、放送、インターネット、リムーバルメディア等によって配信されたデータをＨＤＤ９に記憶しておき、後で再生する場合もある。
以下、放送による配信の場合について説明するが、適宜通信や記憶媒体による配信に置き換えて適用することが可能である。
【００１９】
さらに、動画像を構成する各コマのうち、リモコン３によって指定された１コマを、静止画像としてプリンタＩ／Ｆ７を介してプリンタに出力することができる。
【００２０】
図２は、特に動画像データを受信し、コマが指定されたときに所定のコマを静止画像としてプリンタ等ヘ出力する画像出力装置としての機能構成について示したブロック図である。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２６は類似範囲取得部、２７は鮮明度取得部、２８は静止画像出力部、２９は静止画像記憶部、３０は出力コマ決定部、３１はコマ指定操作部である。なお、図１に示したハードウェア構成においては、チューナ２、リモコン３、ＤＥＭＵＸ４、ＣＰＵ５、メモリ８等によりこれら各部が構成される。
【００２１】
次に、図３のフローチャートを用いて、静止画像出力のための処理動作について説明する。ステップＳ１０１において、放送受信部２１は、１コマの放送を受信する。
【００２２】
ステップＳ１０２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。受信データ記憶部２３は少なくとも数秒間〜数十秒間のコマの画像を再現可能な記憶容量を持つものである。
【００２３】
ステップＳ１０３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。
【００２４】
ステップＳ１０４において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作があった場合、ステップＳ１０５へ進み、そうでなければステップＳ１０１へ戻り、次の１コマを受信する。
【００２５】
ステップＳ１０５において、出力コマ決定部３０は、指定コマ（コマ指定操作部３１によって指定されたコマ）に類似するコマがどこから始まるかを過去の受信データに遡って探索する。また、それと並行して、放送データの受信、記憶、解析、出力（ステップＳ１０１〜Ｓ１０３）をリアルタイムで続け、前記指定コマと類似するコマがどこまで続くかを探索する。指定コマとの類似度は、類似範囲取得部２６により求めるが、その具体的手法については後述する。
【００２６】
ステップＳ１０６において、出力コマ決定部３０は、上記ステップＳ１０５により定められた類似範囲の開始コマから終了コマまでの間で、最も鮮明度の高いコマを決定する。コマの鮮明度は鮮明度取得部２７により求めるが、その具体的手法については後述する。
【００２７】
ステップＳ１０７において、出力コマ決定部３０は、上記ステップＳ１０６により決定された最も鮮明度の高いコマを静止画像出力部２８に出力する。
【００２８】
図４の例において、例えば視聴者によってコマＢが指定された場合、当該指定コマＢと内容が同一であるコマＡからコマＤまでが類似範囲として定められ、そのうちで最も鮮明なコマＣがプリンタに出力されることになる。
【００２９】
なお、テレビ放送を受信する例を説明したが、その他にも、インターネットやリムーバルメディアによって配信された動画像を出力する場合、或いはハードディスクに記憶された動画像を再生する場合も、同様の動作で静止画像をプリンタに出力することができる。
【００３０】
また、静止画像はプリンタに出力するだけでなく、ディスプレイの画面に一時停止画像として表示したり、インターネットによって配信したり、リムーバルメディアやハードディスクに記憶したりすることもできる。本実施の形態や他の実施の形態では、プリンタによる出力の場合について説明するが、適宜画面、通信、記憶媒体への出力に置き換えて適用することが可能である。
【００３１】
ここで、上記類似範囲取得部２６での処理動作、すなわち、コマの類似度の求め方について詳しく説明する。類似度を数値化するには、２つコマの画像の対応する画素同士の輝度の差の絶対値を求め、全画素についてそれを合計する方法を用いればよい。或いは、ＤＣＴ等によって符号化されている場合は、各ブロックの直流成分がそのブロックの平均輝度を表わしているので、対応するブロック同士の直流成分の差の絶対値を求め、全ブロックについてそれを合計する方法でもよい。なお、類似度を数値化する方法は、以上述べた方法のいずれを用いてもかまわないし、他の方法を用いてもかまわない。また、複数の方法を組み合わせてもよい。
【００３２】
図５には、図４の例における指定コマＢと各コマとの類似度を示したグラフを示す。この図５に示すように、指定コマＢに対する類似度を求めていき、所定の閾値を超えると類似するものとし、所定の閾値を超えなければ類似しないものとする。図５では、所定の閾値を超えないコマの部分（図中Ａより前、Ｄより後）が類似範囲にないとされ、Ａ〜Ｄの範囲が類似範囲として定められる。
【００３３】
次に、上記鮮明度取得部２７での処理動作、すなわち、鮮明度の求め方について詳しく述べる。図４に示す例において、フリップをクローズアップしている画像の各画素の輝度のヒストグラムを求めると、図８のグラフａように複数のピークを持つ。カメラのぶれやピントのボケなどが生じると、被写体の高輝度部分と低輝度部分とが混じりあって結像するので、図８のグラフｂのように中間輝度の成分が多くなり、ヒストグラムの標準偏差が小さくなる。したがって、標準偏差を求めることによって鮮明度を数値化することができ、標準偏差が大きいほど鮮明度が高いとみなすことができる。
【００３４】
或いは、図９のグラフａのような空間周波数分布の画像において、カメラのぶれやピントのボケなどが生じると、図９のグラフｂのように空間周波数の低周波成分が多くなる。したがって、ＤＣＴなどによって符号化されている場合は、画像の空間周波数の低周波成分と高周波成分とのバランスを求めることによっても鮮明度の数値化が可能である。
【００３５】
或いは、図１０に示すように、符号化において直前の画像との間のブロック毎の動きベクトル情報を持っている場合、動きベクトルの大きさの平均が小さいほどカメラのぶれが少ないので、鮮明であるとみなすことができる。したがって、動きベクトルを求めることによっても鮮明度の数値化が可能である。
【００３６】
また、図１１に示すように、Ｉピクチャ（他のコマからの予測を用いずに符号化したコマ）、Ｐピクチャ（過去のコマから予測した画像との差分を符号化したコマ）、Ｂピクチャ（過去と未来のコマから予測した画像との差分を符号化したコマ）とで構成される動画像の場合、一般にＩピクチャが最も画質が良いといえる。したがって、ＰピクチャやＢピクチャは無視して、Ｉピクチャ同士でこれまで述べた処理を行なうとよい。ただし、Ｉピクチャの動きベクトルを求めるときは、直前や直後のＰピクチャやＢピクチャの符号化データの中に、Ｉピクチャとの動きベクトルが含まれているので、これを利用する。図１２に示すように、ＩピクチャとＰピクチャのみで構成される動画像の場合も同様である。
【００３７】
なお、鮮明度を数値化する方法は、以上述べた方法のいずれを用いてもかまわないし、他の方法を用いてもかまわない。また、複数の方法を組み合わせてもよい。
【００３８】
図７には、図４の例における各コマの鮮明度を示したグラフを示す。この図７に示すように、コマＣの鮮明度が最も高いので、このコマＣが静止画像としてプリンタに出力される。
【００３９】
なお、前記類似範囲に鮮明度がほぼ同等のコマが複数ある場合、鮮明度のわずかな差は無視して同等の鮮明度とみなし、他の条件を加味して出力コマを選んでもよい。例えば、前記指定コマとの類似度がより大きいコマを選ぶようにしてもよい。或いは、前記指定コマに対して時間的により近いコマを選ぶようにしてもよい。このような場合は、厳密には「最も鮮明度が高い」コマを出力することにはならないが、上記ステップＳ１０６において最も鮮明度が高いコマを決定するとは、最も鮮明度の高いコマとほぼ同等の鮮明度のコマを決定することも含むものとする。
【００４０】
（第２の実施の形態）
次に、第２の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図２に示した画像出力装置としての機能構成については同様である。以下、図１３のフローチャートを用いて、第２の実施の形態における静止画像出力のための処理動作について説明する。
【００４１】
ステップＳ２０１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ２０２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ２０３において、放送受信部２１は、１コマの放送を受信する。
【００４２】
ステップＳ２０４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。図１４には、受信データの記憶領域を表わすメモリマップを示す。
【００４３】
ステップＳ２０５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ２０６において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮであればステップＳ２１５へ進み、そうでなければステップＳ２０７へ進む。
【００４４】
ステップＳ２０７において、類似範囲取得部２６は、今受信したコマと現時点での出力候補のコマとの類似度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。そして、ステップＳ２０８において、前記類似度が所定の基準以上であればステップＳ２１０へ進み、そうでなければステップＳ２０９へ進む。ステップＳ２０９では、従来の出力コマの候補を破棄し、今受信したコマを新たな候補として、ステップＳ２１０へ進む。
【００４５】
ステップＳ２１０において、鮮明度取得部２７は、今受信したコマに対する鮮明度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。そして、ステップＳ２１１において、今受信したコマと現時点での出力候補のコマとの鮮明度を比較し、今受信したコマの方が現時点での出力候補のコマより鮮明度が高ければステップＳ２１３へ進み、そうでなければステップＳ２１２へ進む。
【００４６】
ステップＳ２１２では、今受信したコマの静止画像を新たな出力画像候補として静止画像記憶部２９に記憶する。また、鮮明度取得部２７で取得した鮮明度情報も記憶しておく。ステップＳ２１３において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ２０３へ戻り、そうでなければステップＳ２１４へ進み、出力コマ決定部３０は内部のコマ指定操作フラグをＯＮして、ステップＳ２０３へ戻る。
【００４７】
一方、ステップＳ２１５において、類似範囲取得部２６は、今受信したコマと前記操作によって指定された指定コマとの類似度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。ステップＳ２１６において、前記類似度が所定の基準以上であればステップＳ２１０へ進み、そうでなければステップＳ２１７へ進む。ステップＳ２１７において、静止画像出力の候補として最後まで残った１つのコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００４８】
以上述べたように、第２の実施の形態によれば、静止画像出力の候補となる１コマ分の画像を静止画像記憶部２９に記憶しておくことにより、１コマ分の画像記憶容量を有するだけで済むので、より安価な構成とすることが可能となる。
【００４９】
（第３の実施の形態）
次に、第３の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図２に示した画像出力装置としての機能構成については同様である。以下、第３の実施の形態における類似範囲取得部２６の処理動作について述べる。
【００５０】
図５で示したように、図４の例におけるフリップをクローズアップしているコマＡとコマＤの間では、コマＢとの類似度が非常に高いのに対して、シーンの切り替わるコマＡより前、コマＤより後は、コマＢとの類似度が非常に低い。
【００５１】
本発明の趣旨によれば視聴者が指定したコマとその近傍の各コマとの類似度を直接比較すべきであるが、図４の例のような場合はコマＡとコマＤの間のコマはすべてほぼ同一の内容とみなすことができるので、この間のコマのうち最も鮮明なコマをコマＢの代わりに静止画として出力しても差し支えない。すなわち、シーン区切りを検出し、同じシーン内に属するかどうかを判定することによって、間接的に視聴者が指定したコマとの類似度を比較しているとみなすことができる。
【００５２】
シーン区切りＡ及びＤは、図６に示すように、直前のコマとの類似度が非常に低いので、これを検出すればよい。類似度を数値化する方法は、第１の実施の形態で説明したのと同様である。或いは、図１１に示すようにＩピクチャ、Ｐピクチャ、Ｂピクチャとで構成される動画像や、図１２に示すようにＩピクチャ、Ｐピクチャとで構成される動画像の場合は、類似度が高いほど差分が小さいので、これを集計する方法でもよい。
【００５３】
なお、シーンの区切りを検出する手段はシーンの頭出しなどの他の用途にも広く用いられるため、この手段を搭載した機器は今後増えてくると予想される。その場合、この手段を本実施の形態にも流用することができる。
【００５４】
（第４の実施の形態）
動画像データの作成者や編集者によってシーン区切りがあらかじめ求められ、動画像データや音声データと共に配信されるコードデータとしてシーン区切りのコマを指定する情報が配信される場合もありうる。図１５には、シーン区切りフラグの記憶場所を表したメモリマップを示す。この場合、デジタルテレビ受信機は、そのコードデータを取得することでシーン区切りを求めることができる。
【００５５】
すなわち、図１３に示したフローチャートのステップＳ２０４において、受信データ解析部２２は、このコードデータを解析し、受信データ記憶２３に記憶する。ステップＳ２０７において、類似範囲取得部２６は、図１５に示すコードデータを取得して、シーンの区切りを判定する。
【００５６】
このようなシーン区切りをコードデータとして配信するサービスは、シーンの頭出しなどの他の用途にも広く用いられるため、今後普及が予想される。これを利用することで、デジタルテレビ受信機はシーンの検出を行なうための画像処理を行なう必要がないので、演算速度やプログラムサイズが小さくて済み、より安価な構成で本発明を実現できる。
【００５７】
（第５の実施の形態）
動画像データの作成者や編集者によって鮮明度があらかじめ求められ、動画像データや音声デ一夕と共に配信されるコードデータとして各コマの鮮明度の情報が配信される場合もありうる。図１６には、鮮明度情報の記憶場所を表したメモリマップを示す。この場合、デジタルテレビ受信機はそのコードデータを取得することで鮮明度を求めることができる。
【００５８】
すなわち、図１３に示したフローチャートのステップＳ２０４において、受信データ解析部２２は、このコードデータを解析し、受信データ記憶２３に記憶する。ステップＳ２１０において、鮮明度取得部２７は、図１６に示すコードデータを取得して、鮮明度を得る。
【００５９】
もしこのように鮮明度の情報を配信するサービスが行なわれた場合、これを利用すれば、デジタルテレビ受信機は鮮明度を数値化するための画像処理を行なう必要がないので、演算速度やプログラムサイズが小さくて済み、より安価な構成で本発明を実現できる。
【００６０】
（第６の実施の形態）
次に、第６の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成については同様である。
【００６１】
図１７は、特に動画像データを受信し、コマが指定されたときに所定のコマを静止画像としてプリンタ等ヘ出力する画像出力装置としての機能構成について示したブロック図である。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２８は静止画像出力部、２９は静止画像記憶部、３０は出力コマ決定部、３１はコマ指定操作部である。このようにした本実施の形態では、上述した第１の実施の形態等のように類似範囲取得部２６や鮮明度取得部２７により出力する静止画像を特定するのではなく、後述する出力コマ特定データにより出力する静止画像を特定するようにしたものである。なお、図１に示したハードウェア構成においては、チューナ２、リモコン３、ＤＥＭＵＸ４、ＣＰＵ５、メモリ８等によりこれら各部が構成される。
【００６２】
次に、図１８のフローチャートを用いて、静止画像出力のための処理動作について説明する。ステップＳ１１１において、放送受信部２１は、１コマの放送を受信する。
【００６３】
ステップＳ１１２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。受信データ記憶部２３は少なくとも数秒間〜数十秒間のコマの画像を再現可能な記憶容量を持つものである。なお、受信データの記憶領域を表わすメモリマップは図１４に示したとおりであるが、受信データのその他のコードデータ記憶領域には、図１９に示すように出力コマ特定データが含まれている。
【００６４】
ステップＳ１１３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。
【００６５】
ステップＳ１１４において、そのコマを表示しているときにコマ指定操作部３１によって静止画像出力を指示する操作があった場合、ステップＳ１１５へ進み、、そうでなければステップＳ１１１へ戻り、次の１コマを受信する。
【００６６】
ステップＳ１１５において、出力コマ決定部３０は、受信データ記憶部２３に記憶されているデータの中から、図１９に示したように、指定コマ（コマ指定操作部３１によって指定されたコマ）に対応する出力コマを特定する出力コマ特定データを取得する。この出力コマ特定データにより特定される出力コマとは、指定コマと内容がほぼ同一で、指定コマよりも鮮明度の高いコマである。出力コマ特定データは、例えば、指定コマから出力コマまでのコマ数で表わすことができ、出力コマが指定コマより過去にあれば負の整数、未来にあれば正の整数、一致すれば０である。また、それと並行して、放送データの受信、記憶、解析、出力（ステップＳ１１１〜Ｓ１１３）をリアルタイムで続け、出力コマが指定コマよりも時間的に後方（未来）にある場合は、出力コマを受信するまで探索する。
【００６７】
ステップＳ１１６において、出力コマ決定部３０は、前記出力コマを静止画像出力部２８に出力する。
【００６８】
図４の例においては、例えば視聴者がコマＢを指定した場合、当該指定コマＢと内容が同一であるコマＡからコマＤのうちで、最も鮮明なコマＣが出力コマ特定データにより特定されてプリンタに出力されることになる。
【００６９】
（第７の実施の形態）
次に、第７の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図１７に示した画像出力装置としての機能構成については同様である。以下、図２０のフローチャートを用いて、第７の実施の形態における静止画像出力のための処理動作について説明する。
【００７０】
ステップＳ２２１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ２２２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ２２３において、放送受信部２１は、１コマの放送を受信する。
【００７１】
ステップＳ２２４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【００７２】
ステップＳ２２５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ２２６において、出力コマ決定部３０は、このコマに、図２１に示すような出力候補データが付加されているかどうかを調べ、付加されていればステップＳ２２７へ進み、そうでなければステップＳ２２９へ進む。出力候補データとは、他のコマから出力候補として対応付けられているコマに付加されているデータである。他のどのコマからも出力候補として対応付けられていないコマには出力候補データが付加されない。
【００７３】
ステップＳ２２７において、今受信したコマの静止画像を新たな出力画像候補として、静止画像記憶部２９に記憶する。ステップＳ２２８において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ２２３へ進み、そうでなければステップＳ２２９へ進む。
【００７４】
ステップＳ２２９において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ２２３へ戻り、そうでなければステップＳ２３０へ進む。
【００７５】
ステップＳ２３０において、出力コマ決定部３０は、図２１に示すようにそのコマに付加されている出力コマ特定データを取得する。出力コマ特定データは、上記第６の実施の形態でも述べたように、指定コマから出力コマまでのコマ数で表わすことができ、出力コマが指定コマより過去にあれば負の整数、未来にあれば正の整数となる。
【００７６】
ステップＳ２３１において、出力コマが未来のコマであれば、ステップＳ２３２へ進み、そうでなければステップＳ２３３へ進む。ステップＳ２３２において、コマ指定操作フラグをＯＮにして、ステップＳ２２３へ戻る。ステップＳ２３３において、静止画像出力の候補のコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００７７】
なお、第７の実施の形態は、コマ指定操作がなされた時点で出力候補として記憶されているコマよりもさらに過去のコマや、コマ指定操作がなされた時点の次の出力候補となるコマよりもさらに未来のコマは、出力コマにはならないという制約のもとに成立するが、実用上はこれで十分であり、１コマ分の画像記憶容量で済むので、より安価な構成とすることができる。
【００７８】
（第８の実施の形態）
次に、第８の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図１７に示した画像出力装置としての機能構成については同様である。図２２のフローチャートを用いて、第８の実施の形態における静止画像出力のための処理動作について説明する。
【００７９】
ステップＳ３１１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ３１２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ３１３において、放送受信部２１は、１コマの放送を受信する。
【００８０】
ステップＳ３１４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【００８１】
ステップＳ３１５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ３１６において、出力コマ決定部３０は、このコマに、図２３に示すようなシーン区切りデータが付加されているかどうかを調べ、付加されていればステップＳ３１７へ進み、そうでなければステップＳ３１９へ進む。シーン区切りデータとは、直前のコマとの類似度が所定の基準より低いコマに付加されているデータであり、直前のコマとの類似度が所定の基準以上のコマにはシーン区切りデータが付加されない。
【００８２】
ステップＳ３１７において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ３２６へ進み、そうでなければステップＳ３１８へ進む。
【００８３】
ステップＳ３１８において、出力コマの候補を初期化する。ステップＳ３１９において、出力コマ決定部３０は、そのコマに図２３に示すような出力候補データが付加されているかどうかを調べ、付加されていればステップＳ３２０へ進み、そうでなければステップＳ３２２へ進む。出力候補データとは、他のコマから出力候補として対応付けられているコマに付加されているデータである。他のどのコマからも出力候補として対応付けられていないコマには出力候補データが付加されない。
【００８４】
ステップＳ３２０において、今受信したコマの静止画像を新たな出力画像候補として、静止画像記憶部２９に記憶する。ステップＳ３２１において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ３２６へ進み、そうでなければステップＳ３２２へ進む。
【００８５】
ステップＳ３２２において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ３１３へ戻り、そうでなければステップＳ３２３へ進む。
【００８６】
ステップＳ３２３において、出力コマ決定部３０は、出力コマの候補が記憶されているかどうかを調べる。記憶されていればステップＳ３２６へ進み、初期化されたまま新たに記憶されていなければステップＳ３２４へ進む。
【００８７】
ステップＳ３２４において、今受信したコマ（すなわちコマ指定操作部３１によって指定されたコマ）を仮の出力コマ候補として記憶する。これは、もしシーン内に出力候補データが付加されたコマが存在しない場合に、コマ指定操作部３１によって指定されたコマを静止画像として出力するためである。
【００８８】
ステップＳ３２５において、コマ指定操作フラグをＯＮにして、ステップＳ３１３へ戻る。ステップＳ３２６において、静止画像出力の候補のコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００８９】
第８の実施の形態においては、１コマ毎に出力コマを特定するデータを付加する必要がない。また、シーン区切りをコードデータとして配信するサービスは、シーンの頭出し等に広く用いられるため、今後普及が予想される。このサービスを利用すれば、出力候補データを付加するのみでよいので、動画像配信のデータ構造のわずかな使用変更で実施が可能となる。
【００９０】
（その他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００９１】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることはいうまでもない。
【００９３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００９４】
なお、上記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００９５】
【発明の効果】
以上述べたように本発明によれば、指定されたコマと内容が同一であり、より鮮明なコマを静止画像として出力することができる。したがって、同一の内容で、文字等が鮮明な静止画像を得て、プリント出力等することが可能となる。
【図面の簡単な説明】
【図１】デジタルテレビ受信機のハードウェア構成の一例を示す図である。
【図２】画像出力装置としての機能構成について示した図である。
【図３】静止画像出力のための処理動作について説明するフローチャートである。
【図４】動画像の具体例を示す図である。
【図５】指定コマと各コマとの類似度を数値化して表わしたグラフを示す図である。
【図６】あるコマと直前のコマとの類似度を数値化して表わしたグラフを示す図である。
【図７】各コマの鮮明度を数値化して表わしたグラフを示す図である。
【図８】各画素の輝度のヒストグラムを表わしたグラフを示す図である。
【図９】空間周波数成分のスペクトルを表わしたグラフを示す図である。
【図１０】ブロック毎の動きベクトルを表わした図である。
【図１１】Ｉピクチャ、Ｐピクチャ、Ｂピクチャで構成される動画像符号化を説明するための図である。
【図１２】Ｉピクチャ、Ｐピクチャで構成される動画像符号化を説明するための図である。
【図１３】静止画像出力のための処理動作について説明するフローチャートである。
【図１４】受信データの記憶領域を表わすメモリマップを示す図である。
【図１５】シーン区切りフラグの記憶場所を表わしたメモリマップを示す図である。
【図１６】鮮明度情報の記憶場所を表わしたメモリマップを示す図である。
【図１７】画像出力装置としての機能構成について示した図である。
【図１８】静止画像出力のための処理動作について説明するフローチャートである。
【図１９】出力コマ特定データの記憶場所を表わしたメモリマップを示す図である。
【図２０】静止画像出力のための処理動作について説明するフローチャートである。
【図２１】出力コマ特定データと出力候補データの記憶場所を表わしたメモリマップを示す図である。
【図２２】静止画像出力のための処理動作について説明するフローチャートである。
【図２３】出力コマ特定データとシーン区切りデータの記憶場所を表わしたメモリマップを示す図である。
【図２４】従来のデジタルテレビ受信機の機能構成を示す図である。
【図２５】従来の静止画像出力のための処理動作について説明するフローチャートである。
【符号の説明】
１ 受信機ユニット
２ チューナ
３ リモコン
４ ＤＥＭＵＸ
５ ＣＰＵ
６ ディスプレイＩ／Ｆ
７ プリンタＩ／Ｆ
８ メモリ
９ ＨＤＤ
１０ リムーバルメディア
１１ モデム
２１ 放送受信部
２２ 受信データ解析部
２３ 受信データ記憶部
２４ 動画像出力部
２５ 動画像複号部
２６ 類似範囲取得部
２７ 鮮明度取得部
２８ 静止画像出力部
２９ 静止画像記憶部
３０ 出力コマ決定部
３１ コマ指定操作部
【発明の属する技術分野】
本発明は、画像制御装置、画像制御方法及びテレビ受信機に関する。
【０００２】
【従来の技術】
図２４には、従来のデジタルテレビ受信機において、特に動画像データを受信し、指定されたコマを静止画像として図示しないプリンタ等ヘ出力するための構成を示す。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２８は静止画像出力部、３１はコマ指定操作部である。
【０００３】
次に、図２５のフローチャートを用いて、上記デジタルテレビ受信機での処理動作について説明する。ステップＳ３０１において、放送受信部２１は、１コマの放送を受信する。ステップＳ３０２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【０００４】
ステップＳ３０３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの動画像を動画像出力部２４に出力する。ステップＳ３０４において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作があった場合は、ステップＳ３０５へ進み、そうでなければステップＳ３０１へ戻り、次の１コマを受信する。ステップＳ３０５では、指定のあったコマを静止画像として静止画像出力部２８に出力する。
【０００５】
【発明が解決しようとする課題】
例えば、図４に示すように、あるテレビ番組において司会者がフリップを指しているシーンの後に、フリップがクローズアップされているシーンが数秒間続き、その後に司会者の顔のシーンに切り替わるという状況を例にして説明すれば、フリップのクローズアップシーンにおいて、その内容をメモ等するために、静止画像としてプリンタに出力したいという状況はしばしば起こる。
【０００６】
その際、上述した従来のデジタルテレビ受信機においては、視聴者はリモコンの「印刷ボタン」を押すことにより、その瞬間のコマ（図４に示す指定コマＢ）を静止画像としてプリンタに出力して印刷することができる。
【０００７】
しかしながら、動画像としては十分な画質であっても、１コマだけを静止画像として取り出すと、文字等が不鮮明となる場合が多い。カメラのわずかな動きによるぶれやピントのボケなどによって、同一の内容が映っていても、画像の鮮明度はコマ毎に異なる。通常、視聴者はそれを意識せずに「印刷ボタン」を押すので、不鮮明なコマを印刷してしまうことも多かった。
【０００８】
本発明の上記のような問題に鑑みてなされたものであり、指定コマと同一の内容で、より鮮明なコマを静止画像として出力可能にすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像制御装置は、複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御装置であって、前記符号化された動画像データを復号する復号手段と、前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段とを有し、前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
本発明のテレビ受像機は、放送データを受信し、前記放送データを処理してディスプレイに動画像データを出力するテレビ受信機であって、前記動画像データは複数のコマからなる符号化されたものであり、前記符号化された動画像データを復号する復号手段と、前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段と、前記選択手段により選択されたコマに対応する静止画像データをプリンタに出力する出力手段とを有し、前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
本発明の画像制御方法は、複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御方法であって、前記符号化された動画像データを復号するステップと、前記復号された動画像データの各コマの画像の鮮明度を検出するステップと、前記復号された動画像データのコマ間の画像の類似度を検出するステップと、前記復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択するステップとを有し、前記コマを選択するステップでは、前記類似度を検出するステップにより検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度を検出するステップにより前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１６】
（第１の実施の形態）
図１は、デジタルテレビ受信機のハードウェア構成を示すブロック図である。
１はデータの入出力、処理、記憶、通信等を行なう受信機ユニットであり、各種アンテナ、ＣＡＴＶ端子、ディスプレイ、プリンタ、インターネット回線等が接続可能である。
【００１７】
視聴者がリモコン３によってチャンネルを選択すると、アンテナやＣＡＴＶ端子から入力された信号から、チューナ２によって所望のチャンネルの放送データが取得される。デジタルテレビにおける１つのチャンネルの放送データは、動画像データ、音声データ、その他のコードデータが多重化されているので、ＤＥＭＵＸ４によってこれらのデータを分離し、それぞれメモリ８へ記憶する。ＣＰＵ５は、メモリ８に記憶された動画像データに対して復号その他の処理を行ない、ディスプレイＩ／Ｆ６を介してディスプレイヘ動画像データを出力する。
【００１８】
また、動画像データ、音声データ、その他のコードデータは、放送だけでなく、モデム１１を介してインターネットによって配信される場合もある。或いは、磁気テープや磁気ディスク、光ディスク等のリムーバルメディア１０によって配信される場合もある。或いは、放送、インターネット、リムーバルメディア等によって配信されたデータをＨＤＤ９に記憶しておき、後で再生する場合もある。
以下、放送による配信の場合について説明するが、適宜通信や記憶媒体による配信に置き換えて適用することが可能である。
【００１９】
さらに、動画像を構成する各コマのうち、リモコン３によって指定された１コマを、静止画像としてプリンタＩ／Ｆ７を介してプリンタに出力することができる。
【００２０】
図２は、特に動画像データを受信し、コマが指定されたときに所定のコマを静止画像としてプリンタ等ヘ出力する画像出力装置としての機能構成について示したブロック図である。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２６は類似範囲取得部、２７は鮮明度取得部、２８は静止画像出力部、２９は静止画像記憶部、３０は出力コマ決定部、３１はコマ指定操作部である。なお、図１に示したハードウェア構成においては、チューナ２、リモコン３、ＤＥＭＵＸ４、ＣＰＵ５、メモリ８等によりこれら各部が構成される。
【００２１】
次に、図３のフローチャートを用いて、静止画像出力のための処理動作について説明する。ステップＳ１０１において、放送受信部２１は、１コマの放送を受信する。
【００２２】
ステップＳ１０２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。受信データ記憶部２３は少なくとも数秒間〜数十秒間のコマの画像を再現可能な記憶容量を持つものである。
【００２３】
ステップＳ１０３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。
【００２４】
ステップＳ１０４において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作があった場合、ステップＳ１０５へ進み、そうでなければステップＳ１０１へ戻り、次の１コマを受信する。
【００２５】
ステップＳ１０５において、出力コマ決定部３０は、指定コマ（コマ指定操作部３１によって指定されたコマ）に類似するコマがどこから始まるかを過去の受信データに遡って探索する。また、それと並行して、放送データの受信、記憶、解析、出力（ステップＳ１０１〜Ｓ１０３）をリアルタイムで続け、前記指定コマと類似するコマがどこまで続くかを探索する。指定コマとの類似度は、類似範囲取得部２６により求めるが、その具体的手法については後述する。
【００２６】
ステップＳ１０６において、出力コマ決定部３０は、上記ステップＳ１０５により定められた類似範囲の開始コマから終了コマまでの間で、最も鮮明度の高いコマを決定する。コマの鮮明度は鮮明度取得部２７により求めるが、その具体的手法については後述する。
【００２７】
ステップＳ１０７において、出力コマ決定部３０は、上記ステップＳ１０６により決定された最も鮮明度の高いコマを静止画像出力部２８に出力する。
【００２８】
図４の例において、例えば視聴者によってコマＢが指定された場合、当該指定コマＢと内容が同一であるコマＡからコマＤまでが類似範囲として定められ、そのうちで最も鮮明なコマＣがプリンタに出力されることになる。
【００２９】
なお、テレビ放送を受信する例を説明したが、その他にも、インターネットやリムーバルメディアによって配信された動画像を出力する場合、或いはハードディスクに記憶された動画像を再生する場合も、同様の動作で静止画像をプリンタに出力することができる。
【００３０】
また、静止画像はプリンタに出力するだけでなく、ディスプレイの画面に一時停止画像として表示したり、インターネットによって配信したり、リムーバルメディアやハードディスクに記憶したりすることもできる。本実施の形態や他の実施の形態では、プリンタによる出力の場合について説明するが、適宜画面、通信、記憶媒体への出力に置き換えて適用することが可能である。
【００３１】
ここで、上記類似範囲取得部２６での処理動作、すなわち、コマの類似度の求め方について詳しく説明する。類似度を数値化するには、２つコマの画像の対応する画素同士の輝度の差の絶対値を求め、全画素についてそれを合計する方法を用いればよい。或いは、ＤＣＴ等によって符号化されている場合は、各ブロックの直流成分がそのブロックの平均輝度を表わしているので、対応するブロック同士の直流成分の差の絶対値を求め、全ブロックについてそれを合計する方法でもよい。なお、類似度を数値化する方法は、以上述べた方法のいずれを用いてもかまわないし、他の方法を用いてもかまわない。また、複数の方法を組み合わせてもよい。
【００３２】
図５には、図４の例における指定コマＢと各コマとの類似度を示したグラフを示す。この図５に示すように、指定コマＢに対する類似度を求めていき、所定の閾値を超えると類似するものとし、所定の閾値を超えなければ類似しないものとする。図５では、所定の閾値を超えないコマの部分（図中Ａより前、Ｄより後）が類似範囲にないとされ、Ａ〜Ｄの範囲が類似範囲として定められる。
【００３３】
次に、上記鮮明度取得部２７での処理動作、すなわち、鮮明度の求め方について詳しく述べる。図４に示す例において、フリップをクローズアップしている画像の各画素の輝度のヒストグラムを求めると、図８のグラフａように複数のピークを持つ。カメラのぶれやピントのボケなどが生じると、被写体の高輝度部分と低輝度部分とが混じりあって結像するので、図８のグラフｂのように中間輝度の成分が多くなり、ヒストグラムの標準偏差が小さくなる。したがって、標準偏差を求めることによって鮮明度を数値化することができ、標準偏差が大きいほど鮮明度が高いとみなすことができる。
【００３４】
或いは、図９のグラフａのような空間周波数分布の画像において、カメラのぶれやピントのボケなどが生じると、図９のグラフｂのように空間周波数の低周波成分が多くなる。したがって、ＤＣＴなどによって符号化されている場合は、画像の空間周波数の低周波成分と高周波成分とのバランスを求めることによっても鮮明度の数値化が可能である。
【００３５】
或いは、図１０に示すように、符号化において直前の画像との間のブロック毎の動きベクトル情報を持っている場合、動きベクトルの大きさの平均が小さいほどカメラのぶれが少ないので、鮮明であるとみなすことができる。したがって、動きベクトルを求めることによっても鮮明度の数値化が可能である。
【００３６】
また、図１１に示すように、Ｉピクチャ（他のコマからの予測を用いずに符号化したコマ）、Ｐピクチャ（過去のコマから予測した画像との差分を符号化したコマ）、Ｂピクチャ（過去と未来のコマから予測した画像との差分を符号化したコマ）とで構成される動画像の場合、一般にＩピクチャが最も画質が良いといえる。したがって、ＰピクチャやＢピクチャは無視して、Ｉピクチャ同士でこれまで述べた処理を行なうとよい。ただし、Ｉピクチャの動きベクトルを求めるときは、直前や直後のＰピクチャやＢピクチャの符号化データの中に、Ｉピクチャとの動きベクトルが含まれているので、これを利用する。図１２に示すように、ＩピクチャとＰピクチャのみで構成される動画像の場合も同様である。
【００３７】
なお、鮮明度を数値化する方法は、以上述べた方法のいずれを用いてもかまわないし、他の方法を用いてもかまわない。また、複数の方法を組み合わせてもよい。
【００３８】
図７には、図４の例における各コマの鮮明度を示したグラフを示す。この図７に示すように、コマＣの鮮明度が最も高いので、このコマＣが静止画像としてプリンタに出力される。
【００３９】
なお、前記類似範囲に鮮明度がほぼ同等のコマが複数ある場合、鮮明度のわずかな差は無視して同等の鮮明度とみなし、他の条件を加味して出力コマを選んでもよい。例えば、前記指定コマとの類似度がより大きいコマを選ぶようにしてもよい。或いは、前記指定コマに対して時間的により近いコマを選ぶようにしてもよい。このような場合は、厳密には「最も鮮明度が高い」コマを出力することにはならないが、上記ステップＳ１０６において最も鮮明度が高いコマを決定するとは、最も鮮明度の高いコマとほぼ同等の鮮明度のコマを決定することも含むものとする。
【００４０】
（第２の実施の形態）
次に、第２の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図２に示した画像出力装置としての機能構成については同様である。以下、図１３のフローチャートを用いて、第２の実施の形態における静止画像出力のための処理動作について説明する。
【００４１】
ステップＳ２０１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ２０２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ２０３において、放送受信部２１は、１コマの放送を受信する。
【００４２】
ステップＳ２０４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。図１４には、受信データの記憶領域を表わすメモリマップを示す。
【００４３】
ステップＳ２０５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ２０６において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮであればステップＳ２１５へ進み、そうでなければステップＳ２０７へ進む。
【００４４】
ステップＳ２０７において、類似範囲取得部２６は、今受信したコマと現時点での出力候補のコマとの類似度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。そして、ステップＳ２０８において、前記類似度が所定の基準以上であればステップＳ２１０へ進み、そうでなければステップＳ２０９へ進む。ステップＳ２０９では、従来の出力コマの候補を破棄し、今受信したコマを新たな候補として、ステップＳ２１０へ進む。
【００４５】
ステップＳ２１０において、鮮明度取得部２７は、今受信したコマに対する鮮明度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。そして、ステップＳ２１１において、今受信したコマと現時点での出力候補のコマとの鮮明度を比較し、今受信したコマの方が現時点での出力候補のコマより鮮明度が高ければステップＳ２１３へ進み、そうでなければステップＳ２１２へ進む。
【００４６】
ステップＳ２１２では、今受信したコマの静止画像を新たな出力画像候補として静止画像記憶部２９に記憶する。また、鮮明度取得部２７で取得した鮮明度情報も記憶しておく。ステップＳ２１３において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ２０３へ戻り、そうでなければステップＳ２１４へ進み、出力コマ決定部３０は内部のコマ指定操作フラグをＯＮして、ステップＳ２０３へ戻る。
【００４７】
一方、ステップＳ２１５において、類似範囲取得部２６は、今受信したコマと前記操作によって指定された指定コマとの類似度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。ステップＳ２１６において、前記類似度が所定の基準以上であればステップＳ２１０へ進み、そうでなければステップＳ２１７へ進む。ステップＳ２１７において、静止画像出力の候補として最後まで残った１つのコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００４８】
以上述べたように、第２の実施の形態によれば、静止画像出力の候補となる１コマ分の画像を静止画像記憶部２９に記憶しておくことにより、１コマ分の画像記憶容量を有するだけで済むので、より安価な構成とすることが可能となる。
【００４９】
（第３の実施の形態）
次に、第３の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図２に示した画像出力装置としての機能構成については同様である。以下、第３の実施の形態における類似範囲取得部２６の処理動作について述べる。
【００５０】
図５で示したように、図４の例におけるフリップをクローズアップしているコマＡとコマＤの間では、コマＢとの類似度が非常に高いのに対して、シーンの切り替わるコマＡより前、コマＤより後は、コマＢとの類似度が非常に低い。
【００５１】
本発明の趣旨によれば視聴者が指定したコマとその近傍の各コマとの類似度を直接比較すべきであるが、図４の例のような場合はコマＡとコマＤの間のコマはすべてほぼ同一の内容とみなすことができるので、この間のコマのうち最も鮮明なコマをコマＢの代わりに静止画として出力しても差し支えない。すなわち、シーン区切りを検出し、同じシーン内に属するかどうかを判定することによって、間接的に視聴者が指定したコマとの類似度を比較しているとみなすことができる。
【００５２】
シーン区切りＡ及びＤは、図６に示すように、直前のコマとの類似度が非常に低いので、これを検出すればよい。類似度を数値化する方法は、第１の実施の形態で説明したのと同様である。或いは、図１１に示すようにＩピクチャ、Ｐピクチャ、Ｂピクチャとで構成される動画像や、図１２に示すようにＩピクチャ、Ｐピクチャとで構成される動画像の場合は、類似度が高いほど差分が小さいので、これを集計する方法でもよい。
【００５３】
なお、シーンの区切りを検出する手段はシーンの頭出しなどの他の用途にも広く用いられるため、この手段を搭載した機器は今後増えてくると予想される。その場合、この手段を本実施の形態にも流用することができる。
【００５４】
（第４の実施の形態）
動画像データの作成者や編集者によってシーン区切りがあらかじめ求められ、動画像データや音声データと共に配信されるコードデータとしてシーン区切りのコマを指定する情報が配信される場合もありうる。図１５には、シーン区切りフラグの記憶場所を表したメモリマップを示す。この場合、デジタルテレビ受信機は、そのコードデータを取得することでシーン区切りを求めることができる。
【００５５】
すなわち、図１３に示したフローチャートのステップＳ２０４において、受信データ解析部２２は、このコードデータを解析し、受信データ記憶２３に記憶する。ステップＳ２０７において、類似範囲取得部２６は、図１５に示すコードデータを取得して、シーンの区切りを判定する。
【００５６】
このようなシーン区切りをコードデータとして配信するサービスは、シーンの頭出しなどの他の用途にも広く用いられるため、今後普及が予想される。これを利用することで、デジタルテレビ受信機はシーンの検出を行なうための画像処理を行なう必要がないので、演算速度やプログラムサイズが小さくて済み、より安価な構成で本発明を実現できる。
【００５７】
（第５の実施の形態）
動画像データの作成者や編集者によって鮮明度があらかじめ求められ、動画像データや音声デ一夕と共に配信されるコードデータとして各コマの鮮明度の情報が配信される場合もありうる。図１６には、鮮明度情報の記憶場所を表したメモリマップを示す。この場合、デジタルテレビ受信機はそのコードデータを取得することで鮮明度を求めることができる。
【００５８】
すなわち、図１３に示したフローチャートのステップＳ２０４において、受信データ解析部２２は、このコードデータを解析し、受信データ記憶２３に記憶する。ステップＳ２１０において、鮮明度取得部２７は、図１６に示すコードデータを取得して、鮮明度を得る。
【００５９】
もしこのように鮮明度の情報を配信するサービスが行なわれた場合、これを利用すれば、デジタルテレビ受信機は鮮明度を数値化するための画像処理を行なう必要がないので、演算速度やプログラムサイズが小さくて済み、より安価な構成で本発明を実現できる。
【００６０】
（第６の実施の形態）
次に、第６の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成については同様である。
【００６１】
図１７は、特に動画像データを受信し、コマが指定されたときに所定のコマを静止画像としてプリンタ等ヘ出力する画像出力装置としての機能構成について示したブロック図である。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２８は静止画像出力部、２９は静止画像記憶部、３０は出力コマ決定部、３１はコマ指定操作部である。このようにした本実施の形態では、上述した第１の実施の形態等のように類似範囲取得部２６や鮮明度取得部２７により出力する静止画像を特定するのではなく、後述する出力コマ特定データにより出力する静止画像を特定するようにしたものである。なお、図１に示したハードウェア構成においては、チューナ２、リモコン３、ＤＥＭＵＸ４、ＣＰＵ５、メモリ８等によりこれら各部が構成される。
【００６２】
次に、図１８のフローチャートを用いて、静止画像出力のための処理動作について説明する。ステップＳ１１１において、放送受信部２１は、１コマの放送を受信する。
【００６３】
ステップＳ１１２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。受信データ記憶部２３は少なくとも数秒間〜数十秒間のコマの画像を再現可能な記憶容量を持つものである。なお、受信データの記憶領域を表わすメモリマップは図１４に示したとおりであるが、受信データのその他のコードデータ記憶領域には、図１９に示すように出力コマ特定データが含まれている。
【００６４】
ステップＳ１１３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。
【００６５】
ステップＳ１１４において、そのコマを表示しているときにコマ指定操作部３１によって静止画像出力を指示する操作があった場合、ステップＳ１１５へ進み、、そうでなければステップＳ１１１へ戻り、次の１コマを受信する。
【００６６】
ステップＳ１１５において、出力コマ決定部３０は、受信データ記憶部２３に記憶されているデータの中から、図１９に示したように、指定コマ（コマ指定操作部３１によって指定されたコマ）に対応する出力コマを特定する出力コマ特定データを取得する。この出力コマ特定データにより特定される出力コマとは、指定コマと内容がほぼ同一で、指定コマよりも鮮明度の高いコマである。出力コマ特定データは、例えば、指定コマから出力コマまでのコマ数で表わすことができ、出力コマが指定コマより過去にあれば負の整数、未来にあれば正の整数、一致すれば０である。また、それと並行して、放送データの受信、記憶、解析、出力（ステップＳ１１１〜Ｓ１１３）をリアルタイムで続け、出力コマが指定コマよりも時間的に後方（未来）にある場合は、出力コマを受信するまで探索する。
【００６７】
ステップＳ１１６において、出力コマ決定部３０は、前記出力コマを静止画像出力部２８に出力する。
【００６８】
図４の例においては、例えば視聴者がコマＢを指定した場合、当該指定コマＢと内容が同一であるコマＡからコマＤのうちで、最も鮮明なコマＣが出力コマ特定データにより特定されてプリンタに出力されることになる。
【００６９】
（第７の実施の形態）
次に、第７の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図１７に示した画像出力装置としての機能構成については同様である。以下、図２０のフローチャートを用いて、第７の実施の形態における静止画像出力のための処理動作について説明する。
【００７０】
ステップＳ２２１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ２２２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ２２３において、放送受信部２１は、１コマの放送を受信する。
【００７１】
ステップＳ２２４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【００７２】
ステップＳ２２５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ２２６において、出力コマ決定部３０は、このコマに、図２１に示すような出力候補データが付加されているかどうかを調べ、付加されていればステップＳ２２７へ進み、そうでなければステップＳ２２９へ進む。出力候補データとは、他のコマから出力候補として対応付けられているコマに付加されているデータである。他のどのコマからも出力候補として対応付けられていないコマには出力候補データが付加されない。
【００７３】
ステップＳ２２７において、今受信したコマの静止画像を新たな出力画像候補として、静止画像記憶部２９に記憶する。ステップＳ２２８において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ２２３へ進み、そうでなければステップＳ２２９へ進む。
【００７４】
ステップＳ２２９において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ２２３へ戻り、そうでなければステップＳ２３０へ進む。
【００７５】
ステップＳ２３０において、出力コマ決定部３０は、図２１に示すようにそのコマに付加されている出力コマ特定データを取得する。出力コマ特定データは、上記第６の実施の形態でも述べたように、指定コマから出力コマまでのコマ数で表わすことができ、出力コマが指定コマより過去にあれば負の整数、未来にあれば正の整数となる。
【００７６】
ステップＳ２３１において、出力コマが未来のコマであれば、ステップＳ２３２へ進み、そうでなければステップＳ２３３へ進む。ステップＳ２３２において、コマ指定操作フラグをＯＮにして、ステップＳ２２３へ戻る。ステップＳ２３３において、静止画像出力の候補のコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００７７】
なお、第７の実施の形態は、コマ指定操作がなされた時点で出力候補として記憶されているコマよりもさらに過去のコマや、コマ指定操作がなされた時点の次の出力候補となるコマよりもさらに未来のコマは、出力コマにはならないという制約のもとに成立するが、実用上はこれで十分であり、１コマ分の画像記憶容量で済むので、より安価な構成とすることができる。
【００７８】
（第８の実施の形態）
次に、第８の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図１７に示した画像出力装置としての機能構成については同様である。図２２のフローチャートを用いて、第８の実施の形態における静止画像出力のための処理動作について説明する。
【００７９】
ステップＳ３１１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ３１２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ３１３において、放送受信部２１は、１コマの放送を受信する。
【００８０】
ステップＳ３１４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【００８１】
ステップＳ３１５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ３１６において、出力コマ決定部３０は、このコマに、図２３に示すようなシーン区切りデータが付加されているかどうかを調べ、付加されていればステップＳ３１７へ進み、そうでなければステップＳ３１９へ進む。シーン区切りデータとは、直前のコマとの類似度が所定の基準より低いコマに付加されているデータであり、直前のコマとの類似度が所定の基準以上のコマにはシーン区切りデータが付加されない。
【００８２】
ステップＳ３１７において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ３２６へ進み、そうでなければステップＳ３１８へ進む。
【００８３】
ステップＳ３１８において、出力コマの候補を初期化する。ステップＳ３１９において、出力コマ決定部３０は、そのコマに図２３に示すような出力候補データが付加されているかどうかを調べ、付加されていればステップＳ３２０へ進み、そうでなければステップＳ３２２へ進む。出力候補データとは、他のコマから出力候補として対応付けられているコマに付加されているデータである。他のどのコマからも出力候補として対応付けられていないコマには出力候補データが付加されない。
【００８４】
ステップＳ３２０において、今受信したコマの静止画像を新たな出力画像候補として、静止画像記憶部２９に記憶する。ステップＳ３２１において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ３２６へ進み、そうでなければステップＳ３２２へ進む。
【００８５】
ステップＳ３２２において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ３１３へ戻り、そうでなければステップＳ３２３へ進む。
【００８６】
ステップＳ３２３において、出力コマ決定部３０は、出力コマの候補が記憶されているかどうかを調べる。記憶されていればステップＳ３２６へ進み、初期化されたまま新たに記憶されていなければステップＳ３２４へ進む。
【００８７】
ステップＳ３２４において、今受信したコマ（すなわちコマ指定操作部３１によって指定されたコマ）を仮の出力コマ候補として記憶する。これは、もしシーン内に出力候補データが付加されたコマが存在しない場合に、コマ指定操作部３１によって指定されたコマを静止画像として出力するためである。
【００８８】
ステップＳ３２５において、コマ指定操作フラグをＯＮにして、ステップＳ３１３へ戻る。ステップＳ３２６において、静止画像出力の候補のコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００８９】
第８の実施の形態においては、１コマ毎に出力コマを特定するデータを付加する必要がない。また、シーン区切りをコードデータとして配信するサービスは、シーンの頭出し等に広く用いられるため、今後普及が予想される。このサービスを利用すれば、出力候補データを付加するのみでよいので、動画像配信のデータ構造のわずかな使用変更で実施が可能となる。
【００９０】
（その他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００９１】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることはいうまでもない。
【００９３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００９４】
なお、上記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００９５】
【発明の効果】
以上述べたように本発明によれば、指定されたコマと内容が同一であり、より鮮明なコマを静止画像として出力することができる。したがって、同一の内容で、文字等が鮮明な静止画像を得て、プリント出力等することが可能となる。
【図面の簡単な説明】
【図１】デジタルテレビ受信機のハードウェア構成の一例を示す図である。
【図２】画像出力装置としての機能構成について示した図である。
【図３】静止画像出力のための処理動作について説明するフローチャートである。
【図４】動画像の具体例を示す図である。
【図５】指定コマと各コマとの類似度を数値化して表わしたグラフを示す図である。
【図６】あるコマと直前のコマとの類似度を数値化して表わしたグラフを示す図である。
【図７】各コマの鮮明度を数値化して表わしたグラフを示す図である。
【図８】各画素の輝度のヒストグラムを表わしたグラフを示す図である。
【図９】空間周波数成分のスペクトルを表わしたグラフを示す図である。
【図１０】ブロック毎の動きベクトルを表わした図である。
【図１１】Ｉピクチャ、Ｐピクチャ、Ｂピクチャで構成される動画像符号化を説明するための図である。
【図１２】Ｉピクチャ、Ｐピクチャで構成される動画像符号化を説明するための図である。
【図１３】静止画像出力のための処理動作について説明するフローチャートである。
【図１４】受信データの記憶領域を表わすメモリマップを示す図である。
【図１５】シーン区切りフラグの記憶場所を表わしたメモリマップを示す図である。
【図１６】鮮明度情報の記憶場所を表わしたメモリマップを示す図である。
【図１７】画像出力装置としての機能構成について示した図である。
【図１８】静止画像出力のための処理動作について説明するフローチャートである。
【図１９】出力コマ特定データの記憶場所を表わしたメモリマップを示す図である。
【図２０】静止画像出力のための処理動作について説明するフローチャートである。
【図２１】出力コマ特定データと出力候補データの記憶場所を表わしたメモリマップを示す図である。
【図２２】静止画像出力のための処理動作について説明するフローチャートである。
【図２３】出力コマ特定データとシーン区切りデータの記憶場所を表わしたメモリマップを示す図である。
【図２４】従来のデジタルテレビ受信機の機能構成を示す図である。
【図２５】従来の静止画像出力のための処理動作について説明するフローチャートである。
【符号の説明】
１ 受信機ユニット
２ チューナ
３ リモコン
４ ＤＥＭＵＸ
５ ＣＰＵ
６ ディスプレイＩ／Ｆ
７ プリンタＩ／Ｆ
８ メモリ
９ ＨＤＤ
１０ リムーバルメディア
１１ モデム
２１ 放送受信部
２２ 受信データ解析部
２３ 受信データ記憶部
２４ 動画像出力部
２５ 動画像複号部
２６ 類似範囲取得部
２７ 鮮明度取得部
２８ 静止画像出力部
２９ 静止画像記憶部
３０ 出力コマ決定部
３１ コマ指定操作部
Claims (5)
- 複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御装置であって、
前記符号化された動画像データを復号する復号手段と、
前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、
前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、
前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段とを有し、
前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする画像制御装置。 - 前記類似度検出手段は、前記コマ間の画像の輝度差又は前記動画像データに付加された区切り情報を検出することを特徴とする請求項１に記載の画像制御装置。
- 前記鮮明度検出手段は、前記コマの画像の輝度のヒストグラム又は前記コマの画像の動きベクトルを検出することを特徴とする請求項１に記載の画像制御装置。
- 放送データを受信し、前記放送データを処理してディスプレイに動画像データを出力するテレビ受信機であって、
前記動画像データは複数のコマからなる符号化されたものであり、前記符号化された動画像データを復号する復号手段と、
前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、
前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、
前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段と、
前記選択手段により選択されたコマに対応する静止画像データをプリンタに出力する出力手段とを有し、
前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とするテレビ受信機。 - 複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御方法であって、
前記符号化された動画像データを復号するステップと、
前記復号された動画像データの各コマの画像の鮮明度を検出するステップと、
前記復号された動画像データのコマ間の画像の類似度を検出するステップと、
前記復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択するステップとを有し、
前記コマを選択するステップでは、前記類似度を検出するステップにより検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度を検出するステップにより前記鮮明度が最も高いと判定されたコマを選択することを特徴とする画像制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000202649A JP4573957B2 (ja) | 2000-07-04 | 2000-07-04 | 画像制御装置、画像制御方法及びテレビ受信機 |
| US09/894,620 US6909763B2 (en) | 2000-07-04 | 2001-06-28 | Image processing apparatus |
| US11/125,626 US7193660B2 (en) | 2000-07-04 | 2005-05-10 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000202649A JP4573957B2 (ja) | 2000-07-04 | 2000-07-04 | 画像制御装置、画像制御方法及びテレビ受信機 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002027377A JP2002027377A (ja) | 2002-01-25 |
| JP2002027377A5 JP2002027377A5 (ja) | 2007-06-14 |
| JP4573957B2 true JP4573957B2 (ja) | 2010-11-04 |
Family
ID=18700145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000202649A Expired - Fee Related JP4573957B2 (ja) | 2000-07-04 | 2000-07-04 | 画像制御装置、画像制御方法及びテレビ受信機 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6909763B2 (ja) |
| JP (1) | JP4573957B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3407872B2 (ja) * | 1999-09-29 | 2003-05-19 | 日本電気株式会社 | 付加情報検出方法及び装置 |
| US8428117B2 (en) * | 2003-04-24 | 2013-04-23 | Fujitsu Semiconductor Limited | Image encoder and image encoding method |
| JP4313639B2 (ja) * | 2003-09-29 | 2009-08-12 | パイオニア株式会社 | 信号処理装置 |
| JP2006072555A (ja) * | 2004-08-31 | 2006-03-16 | Secom Co Ltd | 生体情報画像補正装置 |
| JP4572328B2 (ja) * | 2004-09-30 | 2010-11-04 | セイコーエプソン株式会社 | フレーム印刷装置およびフレーム印刷システム |
| JP2006243672A (ja) * | 2005-03-07 | 2006-09-14 | Funai Electric Co Ltd | 画像表示プロジェクタ |
| JP4508112B2 (ja) * | 2006-01-11 | 2010-07-21 | ノーリツ鋼機株式会社 | 静止画抽出システム |
| US20080094500A1 (en) * | 2006-10-20 | 2008-04-24 | Hewlett-Packard Development Company Lp | Frame filter |
| US20080101409A1 (en) * | 2006-10-26 | 2008-05-01 | Hewlett-Packard Development Company Lp | Packetization |
| JP4865528B2 (ja) * | 2006-12-19 | 2012-02-01 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム |
| US20100266173A1 (en) * | 2007-11-14 | 2010-10-21 | Koninklijke Philips Electronics N.V. | Computer-aided detection (cad) of a disease |
| EP2689395B1 (en) * | 2011-03-25 | 2016-12-14 | Telefonaktiebolaget LM Ericsson (publ) | Method in streaming client for handling video streaming data, streaming client, computer programs and computer program products |
| US9277230B2 (en) * | 2011-11-23 | 2016-03-01 | Qualcomm Incorporated | Display mode-based video encoding in wireless display devices |
| US9008177B2 (en) | 2011-12-12 | 2015-04-14 | Qualcomm Incorporated | Selective mirroring of media output |
| JP6215898B2 (ja) * | 2015-11-16 | 2017-10-18 | 株式会社Pfu | 映像処理装置、映像処理システム、および、映像処理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09107517A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Ltd | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
| JPH10257501A (ja) * | 1997-03-12 | 1998-09-25 | Toshiba Corp | 画像再生装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0670663A1 (fr) * | 1994-03-02 | 1995-09-06 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images |
| JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
| US6563549B1 (en) * | 1998-04-03 | 2003-05-13 | Sarnoff Corporation | Method and apparatus for adaptively encoding an information stream |
| US6330286B1 (en) * | 1999-06-09 | 2001-12-11 | Sarnoff Corporation | Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus |
| US6810144B2 (en) * | 2001-07-20 | 2004-10-26 | Koninklijke Philips Electronics N.V. | Methods of and system for detecting a cartoon in a video data stream |
| US7095786B1 (en) * | 2003-01-11 | 2006-08-22 | Neo Magic Corp. | Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low |
-
2000
- 2000-07-04 JP JP2000202649A patent/JP4573957B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-28 US US09/894,620 patent/US6909763B2/en not_active Expired - Fee Related
-
2005
- 2005-05-10 US US11/125,626 patent/US7193660B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09107517A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Ltd | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
| JPH10257501A (ja) * | 1997-03-12 | 1998-09-25 | Toshiba Corp | 画像再生装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6909763B2 (en) | 2005-06-21 |
| US20020018146A1 (en) | 2002-02-14 |
| JP2002027377A (ja) | 2002-01-25 |
| US20050200763A1 (en) | 2005-09-15 |
| US7193660B2 (en) | 2007-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7193660B2 (en) | Image processing apparatus | |
| CN102906818B (zh) | 存储视频摘要的方法和显示相应于视频摘要的视频帧的系统 | |
| US7085420B2 (en) | Text detection in continuous tone image segments | |
| US7391473B2 (en) | Video display method of video system and image processing apparatus | |
| JP4645707B2 (ja) | コンテンツデータ処理装置 | |
| US8411959B2 (en) | Extraction method of an interest region for multimedia mobile users | |
| WO2011149697A2 (en) | Method for determining key video frames | |
| WO2009113280A1 (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| WO2010004711A1 (en) | Image processing apparatus and image pickup apparatus using the image processing apparatus | |
| JP2006217343A (ja) | 信号処理装置および録画方法 | |
| CN111147911A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
| JP2007235191A (ja) | 映像再生装置及び映像再生方法 | |
| KR100719841B1 (ko) | 썸네일 생성 및 표시 방법 | |
| US7020192B1 (en) | Method of retrieving video picture and apparatus therefor | |
| JP2009130899A (ja) | 画像再生装置 | |
| EP1411522A2 (en) | Determining a scene change point | |
| JP2009284208A (ja) | 動画像符号化装置及び動画像記録装置 | |
| US9462295B2 (en) | Manipulating sub-pictures of a compressed video signal | |
| US20030210822A1 (en) | Image processing apparatus and method for efficiently compressing and encoding still images and motion pictures | |
| JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
| US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video | |
| KR101493091B1 (ko) | 스킵 기능을 이용한 신속한 동영상 재생 방법 및 스킵기능을 이용한 동영상 썸네일 생성 방법 | |
| KR100487374B1 (ko) | 디지털 비디오의 썸네일 영상 생성 장치 | |
| JP4223940B2 (ja) | 画像生成装置、携帯端末、画像生成方法、画像表示方法及びプログラム | |
| KR100487330B1 (ko) | 디지털 비디오의 썸네일 영상 생성 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100810 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |