JPH10276395A - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents
画像処理装置および画像処理方法、並びに記録媒体Info
- Publication number
- JPH10276395A JPH10276395A JP7728497A JP7728497A JPH10276395A JP H10276395 A JPH10276395 A JP H10276395A JP 7728497 A JP7728497 A JP 7728497A JP 7728497 A JP7728497 A JP 7728497A JP H10276395 A JPH10276395 A JP H10276395A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection signal
- image processing
- signal
- important part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 撮影した画像の中から、ユーザにとって重要
な部分だけを、即座に得ることができるようにする。 【解決手段】 ビデオ符号化器１またはオーディオ符号
化器２では、画像または音声それぞれがＭＰＥＧ符号化
され、その結果得られる符号化データが、システム多重
化器３に供給される。一方、重要領域検出回路４では、
画像や音声から、重要な部分が検出される。即ち、重要
領域検出回路４は、画像を構成する画面の色差信号が肌
色となっている部分が多い場合、その画面を重要な部分
として検出する。キー信号発生回路５は、重要領域検出
回路４が重要な部分を検出すると、キー信号をシステム
多重化器３に出力する。システム多重化器３は、キー信
号発生回路５からのキー信号を、そのキー信号に対応す
る重要な部分としての画像および音声の符号化データに
多重化する。
な部分だけを、即座に得ることができるようにする。 【解決手段】 ビデオ符号化器１またはオーディオ符号
化器２では、画像または音声それぞれがＭＰＥＧ符号化
され、その結果得られる符号化データが、システム多重
化器３に供給される。一方、重要領域検出回路４では、
画像や音声から、重要な部分が検出される。即ち、重要
領域検出回路４は、画像を構成する画面の色差信号が肌
色となっている部分が多い場合、その画面を重要な部分
として検出する。キー信号発生回路５は、重要領域検出
回路４が重要な部分を検出すると、キー信号をシステム
多重化器３に出力する。システム多重化器３は、キー信
号発生回路５からのキー信号を、そのキー信号に対応す
る重要な部分としての画像および音声の符号化データに
多重化する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、（動）画像信号や音響信号（以下、音声信号ともい
う）などを、光磁気ディスクや磁気テープなどの記録媒
体に記録し、これを再生してディスプレイなどに表示し
たり、テレビ会議システムや、テレビ電話システム、放
送用機器などのように、画像信号や音響信号を伝送路を
介して送信側から受信側に伝送し、受信側において、こ
れを受信して表示する場合などに用いて好適な画像処理
装置および画像処理方法、並びに記録媒体に関する。
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、（動）画像信号や音響信号（以下、音声信号ともい
う）などを、光磁気ディスクや磁気テープなどの記録媒
体に記録し、これを再生してディスプレイなどに表示し
たり、テレビ会議システムや、テレビ電話システム、放
送用機器などのように、画像信号や音響信号を伝送路を
介して送信側から受信側に伝送し、受信側において、こ
れを受信して表示する場合などに用いて好適な画像処理
装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】従来より、画像信号および音声信号を圧
縮符号化し、記録媒体に記録したり、伝送路を介して伝
送し、これを再生することが行われている。
縮符号化し、記録媒体に記録したり、伝送路を介して伝
送し、これを再生することが行われている。
【０００３】図７は、そのような処理を行う従来のエン
コーダおよびデコーダの一例の構成を示している。
コーダおよびデコーダの一例の構成を示している。
【０００４】エンコーダにおいては、画像信号（ビデオ
信号）は、ビデオ符号化器１に入力され、ビデオ符号化
器１では、入力された画像信号が符号化される。ここ
で、画像の符号化技術の標準方式としては、例えば、Ｍ
ＰＥＧ（Moving Picture Experts Group）−１ビデオ
（ISO/IEC11172-2）や、ＭＰＥＧ−２ビデオ（ISO/IEC1
3818-2）などが広く知られている。
信号）は、ビデオ符号化器１に入力され、ビデオ符号化
器１では、入力された画像信号が符号化される。ここ
で、画像の符号化技術の標準方式としては、例えば、Ｍ
ＰＥＧ（Moving Picture Experts Group）−１ビデオ
（ISO/IEC11172-2）や、ＭＰＥＧ−２ビデオ（ISO/IEC1
3818-2）などが広く知られている。
【０００５】一方、音声信号（オーディオ信号）は、オ
ーディオ符号化器２に入力され、オーディオ符号化器２
では、入力された音声信号が符号化される。ここで、音
声の符号化技術の標準方式としては、例えば、ＭＰＥＧ
−１オーディオ（ISO/IEC11172-3）や、ＭＰＥＧ−２オ
ーディオ（ISO/IEC13818-3）などが広く知られている。
ーディオ符号化器２に入力され、オーディオ符号化器２
では、入力された音声信号が符号化される。ここで、音
声の符号化技術の標準方式としては、例えば、ＭＰＥＧ
−１オーディオ（ISO/IEC11172-3）や、ＭＰＥＧ−２オ
ーディオ（ISO/IEC13818-3）などが広く知られている。
【０００６】ビデオ符号化器１およびオーディオ符号化
器２における符号化の結果得られる符号化データは、い
ずれもシステム多重化器（ＭＵＸ）３に入力される。シ
ステム多重化器３には、さらに、その他の信号も入力さ
れるようになされており、そこでは、これらの信号が多
重化され、１のビットストリームとされて出力される。
ここで、多重化の標準方式としては、例えば、ＭＰＥＧ
−１システム（ISO/IEC11172-1）や、ＭＰＥＧ−２シス
テム（ISO/IEC13818-1）などが広く知られている。
器２における符号化の結果得られる符号化データは、い
ずれもシステム多重化器（ＭＵＸ）３に入力される。シ
ステム多重化器３には、さらに、その他の信号も入力さ
れるようになされており、そこでは、これらの信号が多
重化され、１のビットストリームとされて出力される。
ここで、多重化の標準方式としては、例えば、ＭＰＥＧ
−１システム（ISO/IEC11172-1）や、ＭＰＥＧ−２シス
テム（ISO/IEC13818-1）などが広く知られている。
【０００７】なお、システム多重化器３では、画像と、
それに付随する音声との同期を維持するためのタイムス
タンプを付加する処理なども行われる。
それに付随する音声との同期を維持するためのタイムス
タンプを付加する処理なども行われる。
【０００８】システム多重化器３において、例えば、Ｍ
ＰＥＧ−１システムやＭＰＥＧ−２システムにしたがっ
て多重化が行われることにより得られるビットストリー
ム（以下、適宜、ＭＰＥＧシステムストリームという）
は、例えば、記録媒体１０１に記録され、あるいは伝送
路１０２を介して伝送される。
ＰＥＧ−１システムやＭＰＥＧ−２システムにしたがっ
て多重化が行われることにより得られるビットストリー
ム（以下、適宜、ＭＰＥＧシステムストリームという）
は、例えば、記録媒体１０１に記録され、あるいは伝送
路１０２を介して伝送される。
【０００９】一方、デコーダにおいては、記録媒体１０
１からＭＰＥＧシステムストリームが再生され、あるい
は伝送路１０２を介して伝送されてくるＭＰＥＧシステ
ムストリームが受信される。このＭＰＥＧシステムスト
リームは、ストリーム分離器（ＤｅＭＵＸ）１２に入力
され、そこで、画像の符号化データ、音声の符号化デー
タ、およびその他の信号に分離（逆多重化）される。な
お、画像と音声とは、上述のタイムスタンプにしたが
い、その同期関係を維持することができるように分離さ
れる。
１からＭＰＥＧシステムストリームが再生され、あるい
は伝送路１０２を介して伝送されてくるＭＰＥＧシステ
ムストリームが受信される。このＭＰＥＧシステムスト
リームは、ストリーム分離器（ＤｅＭＵＸ）１２に入力
され、そこで、画像の符号化データ、音声の符号化デー
タ、およびその他の信号に分離（逆多重化）される。な
お、画像と音声とは、上述のタイムスタンプにしたが
い、その同期関係を維持することができるように分離さ
れる。
【００１０】ストリーム分離器１２で得られたその他の
信号は、そのまま出力される。また、画像または音声の
符号化データは、それぞれビデオ復号化器１３またはオ
ーディオ復号化器１４に入力される。
信号は、そのまま出力される。また、画像または音声の
符号化データは、それぞれビデオ復号化器１３またはオ
ーディオ復号化器１４に入力される。
【００１１】ビデオ復号化器１３では、画像の符号化デ
ータが、ビデオ符号化器１における符号化方式に対応す
る規格にしたがって復号化されて出力される。同様に、
オーディオ復号化器１４においても、音声の符号化デー
タが、オーディオ符号化器２における符号化方式に対応
する規格にしたがって復号化されて出力される。
ータが、ビデオ符号化器１における符号化方式に対応す
る規格にしたがって復号化されて出力される。同様に、
オーディオ復号化器１４においても、音声の符号化デー
タが、オーディオ符号化器２における符号化方式に対応
する規格にしたがって復号化されて出力される。
【００１２】
【発明が解決しようとする課題】ところで、例えば、ビ
デオカメラで撮影した画像および音声を、図７で示した
ようなエンコーダで記録し、同図に示したようなデコー
ダで再生する場合においては、記録したものがすべて再
生される。
デオカメラで撮影した画像および音声を、図７で示した
ようなエンコーダで記録し、同図に示したようなデコー
ダで再生する場合においては、記録したものがすべて再
生される。
【００１３】しかしながら、ビデオカメラで撮影した画
像および音声には、ユーザが視聴したい部分（重要な部
分）の他、それほど視聴を希望しない部分（重要でない
部分）も多く含まれる。従って、通常、ユーザは、重要
な部分だけ視聴することができれば充分であるのにもか
かわらず、重要でない部分も視聴するか、または早送り
などの操作をして、重要な部分を探し出す必要があり、
面倒であった。
像および音声には、ユーザが視聴したい部分（重要な部
分）の他、それほど視聴を希望しない部分（重要でない
部分）も多く含まれる。従って、通常、ユーザは、重要
な部分だけ視聴することができれば充分であるのにもか
かわらず、重要でない部分も視聴するか、または早送り
などの操作をして、重要な部分を探し出す必要があり、
面倒であった。
【００１４】そこで、例えば、ビデオカメラで撮影した
画像および音声を、重要な部分だけ取り出す編集を行う
方法がある。ここで、例えば、特開平８−９３２８号公
報などには、ＭＰＥＧ符号化された画像の編集を行う編
集装置が開示されている。
画像および音声を、重要な部分だけ取り出す編集を行う
方法がある。ここで、例えば、特開平８−９３２８号公
報などには、ＭＰＥＧ符号化された画像の編集を行う編
集装置が開示されている。
【００１５】しかしながら、編集では、通常、ビデオカ
メラで何十分もの撮影を行ったものを、数分（例えば、
３分程度）にまとめることが行われる。従って、その何
十分もの撮影を行って記録した画像および音声のほとん
どは、重要でない部分であり、それをすべて確認して編
集するのは、多大な労力を必要とする。即ち、従来にお
いては、記録内容をすべて確認しながら、マニュアルで
編集点を入力する必要があり、面倒であった。
メラで何十分もの撮影を行ったものを、数分（例えば、
３分程度）にまとめることが行われる。従って、その何
十分もの撮影を行って記録した画像および音声のほとん
どは、重要でない部分であり、それをすべて確認して編
集するのは、多大な労力を必要とする。即ち、従来にお
いては、記録内容をすべて確認しながら、マニュアルで
編集点を入力する必要があり、面倒であった。
【００１６】以上のように、撮影を行って記録した画像
および音声には、冗長な部分が多く含まれ、そのままで
は利用価値が低い。従って、そのような画像などから、
重要な部分だけを、即座に取り出すことができれば便利
である。
および音声には、冗長な部分が多く含まれ、そのままで
は利用価値が低い。従って、そのような画像などから、
重要な部分だけを、即座に取り出すことができれば便利
である。
【００１７】本発明は、このような状況に鑑みてなされ
たものであり、画像から、ユーザが視聴を希望する重要
な部分を、即座かつ容易に得ることができるようにする
ものである。
たものであり、画像から、ユーザが視聴を希望する重要
な部分を、即座かつ容易に得ることができるようにする
ものである。
【００１８】
【課題を解決するための手段】請求項１に記載の画像処
理装置は、画像から重要な部分を検出し、所定の検出信
号を出力する検出手段と、検出手段が出力する検出信号
と画像とを多重化する多重化手段とを備えることを特徴
とする。
理装置は、画像から重要な部分を検出し、所定の検出信
号を出力する検出手段と、検出手段が出力する検出信号
と画像とを多重化する多重化手段とを備えることを特徴
とする。
【００１９】請求項７に記載の画像処理方法は、画像か
ら重要な部分を検出して所定の検出信号を出力し、その
検出信号と画像とを多重化することを特徴とする。
ら重要な部分を検出して所定の検出信号を出力し、その
検出信号と画像とを多重化することを特徴とする。
【００２０】請求項８に記載の記録媒体は、画像から重
要な部分を検出して所定の検出信号を出力し、その検出
信号と画像とを多重化することにより得られたデータが
記録されていることを特徴とする。
要な部分を検出して所定の検出信号を出力し、その検出
信号と画像とを多重化することにより得られたデータが
記録されていることを特徴とする。
【００２１】請求項９に記載の画像処理装置は、検出信
号を検出する検出手段と、検出手段により検出信号が検
出された部分についての画像のみを再生する再生手段と
を備えることを特徴とする。
号を検出する検出手段と、検出手段により検出信号が検
出された部分についての画像のみを再生する再生手段と
を備えることを特徴とする。
【００２２】請求項１０に記載の画像処理方法は、検出
信号を検出し、その検出信号が検出された部分について
の画像のみを再生することを特徴とする。
信号を検出し、その検出信号が検出された部分について
の画像のみを再生することを特徴とする。
【００２３】請求項１に記載の画像処理装置において
は、検出手段は、画像から重要な部分を検出し、所定の
検出信号を出力し、多重化手段は、検出手段が出力する
検出信号と画像とを多重化するようになされている。
は、検出手段は、画像から重要な部分を検出し、所定の
検出信号を出力し、多重化手段は、検出手段が出力する
検出信号と画像とを多重化するようになされている。
【００２４】請求項７に記載の画像処理方法において
は、画像から重要な部分を検出して所定の検出信号を出
力し、その検出信号と画像とを多重化するようになされ
ている。
は、画像から重要な部分を検出して所定の検出信号を出
力し、その検出信号と画像とを多重化するようになされ
ている。
【００２５】請求項８に記載の記録媒体には、画像から
重要な部分を検出して所定の検出信号を出力し、その検
出信号と画像とを多重化することにより得られたデータ
が記録されている。
重要な部分を検出して所定の検出信号を出力し、その検
出信号と画像とを多重化することにより得られたデータ
が記録されている。
【００２６】請求項９に記載の画像処理装置において
は、検出手段は、検出信号を検出し、再生手段は、検出
手段により検出信号が検出された部分についての画像の
みを再生するようになされている。
は、検出手段は、検出信号を検出し、再生手段は、検出
手段により検出信号が検出された部分についての画像の
みを再生するようになされている。
【００２７】請求項１０に記載の画像処理方法において
は、検出信号を検出し、その検出信号が検出された部分
についての画像のみを再生するようになされている。
は、検出信号を検出し、その検出信号が検出された部分
についての画像のみを再生するようになされている。
【００２８】
【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。
【００２９】即ち、請求項１に記載の画像処理装置は、
画像を処理する画像処理装置であって、画像から重要な
部分を検出し、所定の検出信号を出力する検出手段（例
えば、図１に示す重要領域検出回路４およびキー信号発
生回路５など）と、検出手段が出力する検出信号と画像
とを多重化する多重化手段（例えば、図１に示すシステ
ム多重化器３など）とを備えることを特徴とする。
画像を処理する画像処理装置であって、画像から重要な
部分を検出し、所定の検出信号を出力する検出手段（例
えば、図１に示す重要領域検出回路４およびキー信号発
生回路５など）と、検出手段が出力する検出信号と画像
とを多重化する多重化手段（例えば、図１に示すシステ
ム多重化器３など）とを備えることを特徴とする。
【００３０】請求項２に記載の画像処理装置は、画像を
符号化する符号化手段（例えば、図１に示すビデオ符号
化器１など）をさらに備え、多重化手段が、検出信号
と、符号化手段により符号化された画像とを多重化する
ことを特徴とする。
符号化する符号化手段（例えば、図１に示すビデオ符号
化器１など）をさらに備え、多重化手段が、検出信号
と、符号化手段により符号化された画像とを多重化する
ことを特徴とする。
【００３１】請求項３に記載の画像処理装置は、多重化
手段の出力を、所定の記録媒体に記録する記録手段（例
えば、図１に示すシステム多重化器３など）をさらに備
えることを特徴とする。
手段の出力を、所定の記録媒体に記録する記録手段（例
えば、図１に示すシステム多重化器３など）をさらに備
えることを特徴とする。
【００３２】請求項９に記載の画像処理装置は、画像か
ら重要な部分を検出して所定の検出信号を出力し、その
検出信号と画像とを多重化することにより得られたデー
タを処理する画像処理装置であって、検出信号を検出す
る検出手段（例えば、図２に示すキー信号検出装置１５
など）と、検出手段により検出信号が検出された部分に
ついての画像のみを再生する再生手段（例えば、図２に
示すストリーム読み取り装置１１など）とを備えること
を特徴とする。
ら重要な部分を検出して所定の検出信号を出力し、その
検出信号と画像とを多重化することにより得られたデー
タを処理する画像処理装置であって、検出信号を検出す
る検出手段（例えば、図２に示すキー信号検出装置１５
など）と、検出手段により検出信号が検出された部分に
ついての画像のみを再生する再生手段（例えば、図２に
示すストリーム読み取り装置１１など）とを備えること
を特徴とする。
【００３３】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。
ものに限定することを意味するものではない。
【００３４】図１は、本発明を適用したエンコーダの一
実施の形態の構成例を示している。なお、図中、図７に
おける場合と対応する部分については、同一の符号を付
してあり、以下では、その説明は、適宜省略する。即
ち、このエンコーダは、重要領域検出回路４およびキー
信号発生回路５が新たに設けられている他は、図７にお
ける場合と基本的に同様に構成されている。
実施の形態の構成例を示している。なお、図中、図７に
おける場合と対応する部分については、同一の符号を付
してあり、以下では、その説明は、適宜省略する。即
ち、このエンコーダは、重要領域検出回路４およびキー
信号発生回路５が新たに設けられている他は、図７にお
ける場合と基本的に同様に構成されている。
【００３５】このエンコーダ（後述する図２のデコーダ
についても同様）は、例えば、ビデオカメラや、ＶＴＲ
（ビデオテープレコーダ）、ビデオＣＤ（Compact Dis
c）やＤＶＤ（Digital Versatile Disc）その他のディ
スク状の記録媒体に対する記録再生を行う装置、テレビ
会議システムなどの伝送装置などに組み込まれている。
についても同様）は、例えば、ビデオカメラや、ＶＴＲ
（ビデオテープレコーダ）、ビデオＣＤ（Compact Dis
c）やＤＶＤ（Digital Versatile Disc）その他のディ
スク状の記録媒体に対する記録再生を行う装置、テレビ
会議システムなどの伝送装置などに組み込まれている。
【００３６】画像信号（ビデオ信号）は、ビデオ符号化
器１に入力される他、重量領域検出回路４にも入力され
るようになされている。音声信号（オーディオ信号）
も、同様に、オーディオ符号化器２に入力される他、重
要領域検出回路４に入力されるようになされている。
器１に入力される他、重量領域検出回路４にも入力され
るようになされている。音声信号（オーディオ信号）
も、同様に、オーディオ符号化器２に入力される他、重
要領域検出回路４に入力されるようになされている。
【００３７】重要領域検出回路４は、そこに入力される
画像信号や音声信号から、重要な部分を検出し、その検
出結果をキー信号発生回路５に供給するようになされて
いる。キー信号発生回路５は、重要領域検出回路４か
ら、重要な部分を検出した旨を受信すると、所定のキー
信号（検出信号）をシステム多重化器３に供給するよう
になされている。
画像信号や音声信号から、重要な部分を検出し、その検
出結果をキー信号発生回路５に供給するようになされて
いる。キー信号発生回路５は、重要領域検出回路４か
ら、重要な部分を検出した旨を受信すると、所定のキー
信号（検出信号）をシステム多重化器３に供給するよう
になされている。
【００３８】次に、その動作について説明する。
【００３９】エンコーダには、例えば、ビデオカメラの
光学系を構成するカメラモジュールが出力する画像およ
び音声や、外部からビデオカメラなどで撮影された画像
および音声が供給される。
光学系を構成するカメラモジュールが出力する画像およ
び音声や、外部からビデオカメラなどで撮影された画像
および音声が供給される。
【００４０】そして、画像信号は、ビデオ符号化器１お
よび重要領域検出回路４に、音声信号は、オーディオ符
号化器１および重要領域検出回路４に供給される。
よび重要領域検出回路４に、音声信号は、オーディオ符
号化器１および重要領域検出回路４に供給される。
【００４１】ビデオ符号化器１またはオーディオ符号化
器２では、画像信号または音声信号それぞれが、例えば
ＭＰＥＧ符号化され、その結果得られる画像または音声
の符号化データが、システム多重化器３に供給される。
器２では、画像信号または音声信号それぞれが、例えば
ＭＰＥＧ符号化され、その結果得られる画像または音声
の符号化データが、システム多重化器３に供給される。
【００４２】一方、重要領域検出回路４では、そこに入
力される画像信号や音声信号から、重要な部分が検出さ
れる。即ち、重要領域検出回路４は、例えば、画像を構
成する画面の色差信号が肌色となっている部分が多い場
合（この場合は、人物がクローズアップされている可能
性が高い）、その画面を重要な部分として検出する。ま
た、重要領域検出回路４は、画面を構成する画像の加速
度が所定値以下の場合（この場合は、ユーザが被写体に
注目して撮影を行っている可能性が高い）、その画面を
重要な部分として検出する。さらに、重要領域検出回路
４は、音声のレベルが所定値以上となっている場合（こ
の場合は、人物が話しをしている可能性が高い）、その
部分を重要な部分として検出する。
力される画像信号や音声信号から、重要な部分が検出さ
れる。即ち、重要領域検出回路４は、例えば、画像を構
成する画面の色差信号が肌色となっている部分が多い場
合（この場合は、人物がクローズアップされている可能
性が高い）、その画面を重要な部分として検出する。ま
た、重要領域検出回路４は、画面を構成する画像の加速
度が所定値以下の場合（この場合は、ユーザが被写体に
注目して撮影を行っている可能性が高い）、その画面を
重要な部分として検出する。さらに、重要領域検出回路
４は、音声のレベルが所定値以上となっている場合（こ
の場合は、人物が話しをしている可能性が高い）、その
部分を重要な部分として検出する。
【００４３】重要領域検出回路４において、重要な部分
が検出されると、その旨がキー信号発生回路５に出力さ
れる。
が検出されると、その旨がキー信号発生回路５に出力さ
れる。
【００４４】キー信号発生回路５は、重要領域検出回路
４から、重要な部分を検出した旨を受信すると、キー信
号をシステム多重化器３に出力する。
４から、重要な部分を検出した旨を受信すると、キー信
号をシステム多重化器３に出力する。
【００４５】システム多重化器３は、そこに入力される
信号を多重化し、１のＭＰＥＧシステムストリームとす
る。即ち、システム多重化器３は、キー信号発生回路５
からキー信号が出力されていない場合、画像および音声
の符号化データを多重化し、キー信号発生回路５からキ
ー信号が出力されている場合、そのキー信号を、そのキ
ー信号に対応する重要な部分としての画像および音声の
符号化データと多重化する。
信号を多重化し、１のＭＰＥＧシステムストリームとす
る。即ち、システム多重化器３は、キー信号発生回路５
からキー信号が出力されていない場合、画像および音声
の符号化データを多重化し、キー信号発生回路５からキ
ー信号が出力されている場合、そのキー信号を、そのキ
ー信号に対応する重要な部分としての画像および音声の
符号化データと多重化する。
【００４６】システム多重化器３は、ＭＰＥＧシステム
ストリームを得ると、そのＭＰＥＧシステムストリーム
を、例えば、ビデオＣＤや、ＤＶＤ、ビデオテープなど
でなる記録媒体６に記録し、あるいは、地上回線、イン
ターネット、ＣＡＴＶ網、衛星回線などでなる伝送路７
を介して伝送する。
ストリームを得ると、そのＭＰＥＧシステムストリーム
を、例えば、ビデオＣＤや、ＤＶＤ、ビデオテープなど
でなる記録媒体６に記録し、あるいは、地上回線、イン
ターネット、ＣＡＴＶ網、衛星回線などでなる伝送路７
を介して伝送する。
【００４７】次に、図２は、本発明を適用したデコーダ
の一実施の形態の構成例を示している。なお、図中、図
７における場合と対応する部分については、同一の符号
を付してあり、以下では、その説明は、適宜省略する。
即ち、このデコーダは、ストリーム読み取り装置１１お
よびキー信号検出装置１５が新たに設けられている他
は、図７のデコーダと基本的に同様に構成されている。
の一実施の形態の構成例を示している。なお、図中、図
７における場合と対応する部分については、同一の符号
を付してあり、以下では、その説明は、適宜省略する。
即ち、このデコーダは、ストリーム読み取り装置１１お
よびキー信号検出装置１５が新たに設けられている他
は、図７のデコーダと基本的に同様に構成されている。
【００４８】ストリーム読み取り装置１１は、図１のエ
ンコーダが出力するＭＰＥＧシステムストリームを読み
取る（再生する）ようになされている。即ち、ストリー
ム読み取り装置１１は、例えば、ディスクドライブなど
で構成され、記録媒体６に記録されているＭＰＥＧシス
テムストリームを再生し、ストリーム分離器１２に供給
するようになされている。あるいは、また、ストリーム
読み取り装置１１は、例えば、チューナなどを含む受信
装置などで構成され、伝送路７を介して伝送されてくる
ＭＰＥＧシステムストリームを受信し、ストリーム分離
器１２に出力するようになされている。
ンコーダが出力するＭＰＥＧシステムストリームを読み
取る（再生する）ようになされている。即ち、ストリー
ム読み取り装置１１は、例えば、ディスクドライブなど
で構成され、記録媒体６に記録されているＭＰＥＧシス
テムストリームを再生し、ストリーム分離器１２に供給
するようになされている。あるいは、また、ストリーム
読み取り装置１１は、例えば、チューナなどを含む受信
装置などで構成され、伝送路７を介して伝送されてくる
ＭＰＥＧシステムストリームを受信し、ストリーム分離
器１２に出力するようになされている。
【００４９】なお、ストリーム読み取り装置１１は、キ
ー信号検出装置１５の制御にしたがって、ＭＰＥＧシス
テムストリームを出力するようになされている。
ー信号検出装置１５の制御にしたがって、ＭＰＥＧシス
テムストリームを出力するようになされている。
【００５０】キー信号検出装置１５には、ストリーム分
離器１２による逆多重化（分離）処理により、キー信号
が得られた場合、そのキー信号が供給されるようになさ
れている。キー信号検出装置１５は、キー信号を受信す
ると、ストリーム分離器１２を、ＭＰＥＧシステムスト
リームを出力するように制御するようになされている。
離器１２による逆多重化（分離）処理により、キー信号
が得られた場合、そのキー信号が供給されるようになさ
れている。キー信号検出装置１５は、キー信号を受信す
ると、ストリーム分離器１２を、ＭＰＥＧシステムスト
リームを出力するように制御するようになされている。
【００５１】以上のように構成されるデコーダにおいて
は、通常再生が指令された場合には、ストリーム読み取
り装置１１は、ＭＰＥＧシステムストリームを再生し、
ストリーム分離器１２に出力する。そして、以下、図７
で説明した場合と同様の処理が行われる。
は、通常再生が指令された場合には、ストリーム読み取
り装置１１は、ＭＰＥＧシステムストリームを再生し、
ストリーム分離器１２に出力する。そして、以下、図７
で説明した場合と同様の処理が行われる。
【００５２】一方、重要部分のみの再生が指令された場
合には、ストリーム読み取り装置１１は、やはり、ＭＰ
ＥＧシステムストリームを再生し、ストリーム分離器１
２に出力する。ストリーム分離器１２は、ＭＰＥＧシス
テムストリームから画像または音声の符号化データを分
離する他、ＭＰＥＧシステムストリームにキー信号が含
まれている場合には、そのキー信号も分離し、キー信号
検出装置１５に出力する。キー信号検出装置１５は、キ
ー信号を受信した場合、ストリーム読み取り装置１１を
通常処理するように制御する。
合には、ストリーム読み取り装置１１は、やはり、ＭＰ
ＥＧシステムストリームを再生し、ストリーム分離器１
２に出力する。ストリーム分離器１２は、ＭＰＥＧシス
テムストリームから画像または音声の符号化データを分
離する他、ＭＰＥＧシステムストリームにキー信号が含
まれている場合には、そのキー信号も分離し、キー信号
検出装置１５に出力する。キー信号検出装置１５は、キ
ー信号を受信した場合、ストリーム読み取り装置１１を
通常処理するように制御する。
【００５３】また、キー信号検出装置１５は、キー信号
を受信していない場合、ストリーム読み取り装置１１を
読みとばし制御する。即ち、キー信号検出装置１５は、
ストリーム読み取り装置１１を、ＭＰＥＧシステムスト
リームを出力せずに読みとばすように制御する。これに
より、ストリーム読み取り装置１１では、例えば、ファ
ストフォワード（Fast Forward）などの機能により、Ｍ
ＰＥＧシステムストリームが読みとばされる。
を受信していない場合、ストリーム読み取り装置１１を
読みとばし制御する。即ち、キー信号検出装置１５は、
ストリーム読み取り装置１１を、ＭＰＥＧシステムスト
リームを出力せずに読みとばすように制御する。これに
より、ストリーム読み取り装置１１では、例えば、ファ
ストフォワード（Fast Forward）などの機能により、Ｍ
ＰＥＧシステムストリームが読みとばされる。
【００５４】従って、この場合、ビデオ復号化器１３お
よびオーディオ復号化器１４からは、キー信号が多重化
されていない部分、即ち、重要でない部分（無意な部
分）は出力されず、キー信号が多重化されている部分、
即ち、重要な部分（有意な部分）のみが出力される。
よびオーディオ復号化器１４からは、キー信号が多重化
されていない部分、即ち、重要でない部分（無意な部
分）は出力されず、キー信号が多重化されている部分、
即ち、重要な部分（有意な部分）のみが出力される。
【００５５】よって、ユーザは、視聴を希望する重要な
部分だけを、編集などを行わなくても、容易かつ即座に
得ることができる。
部分だけを、編集などを行わなくても、容易かつ即座に
得ることができる。
【００５６】なお、記録媒体６に記録され、または伝送
路７を介して伝送されるＭＰＥＧシステムストリームに
は、重要な部分および重要でない部分のすべてが含まれ
ているので、重要でない部分が必要となった場合には、
通常再生することで得ることができる。
路７を介して伝送されるＭＰＥＧシステムストリームに
は、重要な部分および重要でない部分のすべてが含まれ
ているので、重要でない部分が必要となった場合には、
通常再生することで得ることができる。
【００５７】次に、図１の重要領域検出回路４につい
て、さらに説明する。
て、さらに説明する。
【００５８】図３は、重要領域検出回路４の第１実施の
形態の構成例を示している。この実施の形態において
は、重要領域検出回路４は、画像信号から肌色を多く含
む部分を検出する肌色領域検出回路として構成されてい
る。
形態の構成例を示している。この実施の形態において
は、重要領域検出回路４は、画像信号から肌色を多く含
む部分を検出する肌色領域検出回路として構成されてい
る。
【００５９】図３の実施の形態では、図１の実施の形態
では図示していないＡ／Ｄ変換回路２１において、画像
信号がＡ／Ｄ変換され、そのＡ／Ｄ変換結果として、輝
度信号Ｙと色差信号Ｃｂ，Ｃｒとが出力されるようにな
されている。そして、これらの輝度信号Ｙおよび色差信
号Ｃｂ，Ｃｒがビデオ符号化器１および重要領域検出回
路４に供給されるようになされている。
では図示していないＡ／Ｄ変換回路２１において、画像
信号がＡ／Ｄ変換され、そのＡ／Ｄ変換結果として、輝
度信号Ｙと色差信号Ｃｂ，Ｃｒとが出力されるようにな
されている。そして、これらの輝度信号Ｙおよび色差信
号Ｃｂ，Ｃｒがビデオ符号化器１および重要領域検出回
路４に供給されるようになされている。
【００６０】ここでは、重要領域検出回路４は、Ｙ比較
回路２２，Ｃｂ比較回路２３、またはＣｒ比較回路２４
で構成されており、それぞれに、輝度信号Ｙ、色差信号
Ｃｂ、または色差信号Ｃｒが供給されるようになされて
いる。
回路２２，Ｃｂ比較回路２３、またはＣｒ比較回路２４
で構成されており、それぞれに、輝度信号Ｙ、色差信号
Ｃｂ、または色差信号Ｃｒが供給されるようになされて
いる。
【００６１】Ｙ比較回路２２は、輝度信号Ｙが、式Ｙ１
＜Ｙ＜Ｙ２を満たす所定の範囲内の値となっている画素
数をカウントし、そのカウント値が、１画面を構成する
画素数に対して所定の割合以上となっている場合に、制
御信号を、キー信号発生回路５に出力する。Ｃｂ比較回
路２３は、色差信号Ｃｂが、式Ｃｂ１＜Ｃｂ＜Ｃｂ２を
満たす所定の範囲内の値となっている画素数をカウント
し、そのカウント値が、１画面を構成する画素数に対し
て所定の割合以上となっている場合に、制御信号を、キ
ー信号発生回路５に出力する。Ｃｒ比較回路２４も、色
差信号Ｃｒが、式Ｃｒ１＜Ｃｒ＜Ｃｒ２を満たす所定の
範囲内の値となっている画素数をカウントし、そのカウ
ント値が、１画面を構成する画素数に対して所定の割合
以上となっている場合に、制御信号を、キー信号発生回
路５に出力する。
＜Ｙ＜Ｙ２を満たす所定の範囲内の値となっている画素
数をカウントし、そのカウント値が、１画面を構成する
画素数に対して所定の割合以上となっている場合に、制
御信号を、キー信号発生回路５に出力する。Ｃｂ比較回
路２３は、色差信号Ｃｂが、式Ｃｂ１＜Ｃｂ＜Ｃｂ２を
満たす所定の範囲内の値となっている画素数をカウント
し、そのカウント値が、１画面を構成する画素数に対し
て所定の割合以上となっている場合に、制御信号を、キ
ー信号発生回路５に出力する。Ｃｒ比較回路２４も、色
差信号Ｃｒが、式Ｃｒ１＜Ｃｒ＜Ｃｒ２を満たす所定の
範囲内の値となっている画素数をカウントし、そのカウ
ント値が、１画面を構成する画素数に対して所定の割合
以上となっている場合に、制御信号を、キー信号発生回
路５に出力する。
【００６２】キー信号発生回路５は、Ｙ比較回路２２，
Ｃｂ比較回路２３、およびＣｒ比較回路２４のすべてか
ら制御信号を受信した場合、対応する画面が重要な部分
であるとして、キー信号を出力する。
Ｃｂ比較回路２３、およびＣｒ比較回路２４のすべてか
ら制御信号を受信した場合、対応する画面が重要な部分
であるとして、キー信号を出力する。
【００６３】即ち、上述のＹ１，Ｙ２，Ｃｂ１，Ｃｂ
２，Ｃｒ１，Ｃｒ２は、画素が肌色であるかどうかを判
定するための閾値になっており、従って、画面の画素の
所定の割合以上が肌色になっている場合、キー信号発生
回路５からキー信号が出力される。
２，Ｃｒ１，Ｃｒ２は、画素が肌色であるかどうかを判
定するための閾値になっており、従って、画面の画素の
所定の割合以上が肌色になっている場合、キー信号発生
回路５からキー信号が出力される。
【００６４】肌色が多い画面には、人物がクローズアッ
プされて映っていると予想され、そのような画面は、ユ
ーザにとって重要な部分であると考えられる。従って、
肌色を検出することで、重要な部分を検出することがで
きる。
プされて映っていると予想され、そのような画面は、ユ
ーザにとって重要な部分であると考えられる。従って、
肌色を検出することで、重要な部分を検出することがで
きる。
【００６５】なお、閾値Ｙ１，Ｙ２，Ｃｂ１，Ｃｂ２，
Ｃｒ１，Ｃｒ２は、ユーザが設定することができるよう
にすることが可能である。また、これらの閾値の設定の
仕方によっては、肌色以外の色を多く含む画面を重要な
部分として検出するようにすることができる。
Ｃｒ１，Ｃｒ２は、ユーザが設定することができるよう
にすることが可能である。また、これらの閾値の設定の
仕方によっては、肌色以外の色を多く含む画面を重要な
部分として検出するようにすることができる。
【００６６】次に、図４は、重要領域検出回路４の第２
実施の形態の構成例を示している。この実施の形態にお
いては、重要領域検出回路４は、画像の加速度を検出す
る加速度検出回路として構成されている。
実施の形態の構成例を示している。この実施の形態にお
いては、重要領域検出回路４は、画像の加速度を検出す
る加速度検出回路として構成されている。
【００６７】図４の実施の形態では、重要領域検出回路
４は、加速度センサ３１および比較回路３２で構成され
ている。また、この実施の形態では、図１のエンコーダ
および図２のデコーダがビデオカメラに組み込まれてい
るものとし、加速度センサ３１は、画像の撮影を行うた
めの光学系や、音声の入力を行うためのマイクが取り付
けられたカメラモジュールに含まれている。
４は、加速度センサ３１および比較回路３２で構成され
ている。また、この実施の形態では、図１のエンコーダ
および図２のデコーダがビデオカメラに組み込まれてい
るものとし、加速度センサ３１は、画像の撮影を行うた
めの光学系や、音声の入力を行うためのマイクが取り付
けられたカメラモジュールに含まれている。
【００６８】加速度センサ３１は、ビデオカメラの加速
度を測定し、比較回路３２に出力する。比較回路３２
は、加速度センサ３１からの加速度が所定の閾値以下の
ときのみ、制御信号を、キー信号発生回路５に出力す
る。キー信号発生回路５は、比較回路３２から制御信号
を受信している場合、キー信号を出力する。
度を測定し、比較回路３２に出力する。比較回路３２
は、加速度センサ３１からの加速度が所定の閾値以下の
ときのみ、制御信号を、キー信号発生回路５に出力す
る。キー信号発生回路５は、比較回路３２から制御信号
を受信している場合、キー信号を出力する。
【００６９】即ち、ビデオカメラが高速でパンやチルト
され、これにより加速度センサ３１で高い加速度が計測
された場合、その間の画像（加速度の大きな画像）は、
ユーザにとって重要でないと予想される。一方、ビデオ
カメラの加速度が小さい場合というのは、ユーザが被写
体に注目して撮影を行っていると予想される。従って、
ビデオカメラの加速度（画像の加速度）を検出すること
で、ユーザにとって重要な部分を検出することができ
る。
され、これにより加速度センサ３１で高い加速度が計測
された場合、その間の画像（加速度の大きな画像）は、
ユーザにとって重要でないと予想される。一方、ビデオ
カメラの加速度が小さい場合というのは、ユーザが被写
体に注目して撮影を行っていると予想される。従って、
ビデオカメラの加速度（画像の加速度）を検出すること
で、ユーザにとって重要な部分を検出することができ
る。
【００７０】なお、上述の加速度についての閾値も、ユ
ーザが設定することができるようにすることが可能であ
る。
ーザが設定することができるようにすることが可能であ
る。
【００７１】次に、図４では、加速度センサ３１により
画像の加速度を検出するようにしたが、その他、画像の
動きから、その加速度を検出するようにすることも可能
である。
画像の加速度を検出するようにしたが、その他、画像の
動きから、その加速度を検出するようにすることも可能
である。
【００７２】即ち、図５は、重要領域検出回路４の第３
実施の形態の構成例を示している。
実施の形態の構成例を示している。
【００７３】この実施の形態では、重要領域検出回路４
は、加速度検出回路４１から構成されている。加速度検
出回路４１には、符号化対象の画像が入力されるように
なされており、そこでは、その画像の動きベクトルが検
出され、さらに、その動きベクトルから画像の加速度が
検出される。
は、加速度検出回路４１から構成されている。加速度検
出回路４１には、符号化対象の画像が入力されるように
なされており、そこでは、その画像の動きベクトルが検
出され、さらに、その動きベクトルから画像の加速度が
検出される。
【００７４】そして、加速度検出回路４１は、自身で検
出した加速度が所定の閾値以下のときのみ、制御信号
を、キー信号発生回路５に出力する。キー信号発生回路
５は、加速度検出回路４１から制御信号を受信している
場合、キー信号を出力する。
出した加速度が所定の閾値以下のときのみ、制御信号
を、キー信号発生回路５に出力する。キー信号発生回路
５は、加速度検出回路４１から制御信号を受信している
場合、キー信号を出力する。
【００７５】従って、この場合、ビデオカメラが高速で
パンやチルトされ、これにより画像の加速度が大きくな
ったときには、その間の画像（加速度の大きな画像）
は、重要でない部分とされる。一方、画像の加速度の小
さい部分は、ユーザが被写体に注目して撮影を行った、
重要な部分とされる。
パンやチルトされ、これにより画像の加速度が大きくな
ったときには、その間の画像（加速度の大きな画像）
は、重要でない部分とされる。一方、画像の加速度の小
さい部分は、ユーザが被写体に注目して撮影を行った、
重要な部分とされる。
【００７６】なお、ここでは、ビデオ符号化器１でＭＰ
ＥＧ符号化が行われるが、その際、動きベクトルが検出
される。そこで、加速度検出回路４１には、このビデオ
符号化器１で検出される動きベクトルを用いて、画像の
加速度を検出させるようにすることも可能である。
ＥＧ符号化が行われるが、その際、動きベクトルが検出
される。そこで、加速度検出回路４１には、このビデオ
符号化器１で検出される動きベクトルを用いて、画像の
加速度を検出させるようにすることも可能である。
【００７７】次に、図６は、重要領域検出回路４の第４
の実施の形態の構成例を示している。この実施の形態に
おいては、重要領域検出回路４は、画像に付随する音声
のレベルを検出する音声信号検出回路として構成されて
いる。
の実施の形態の構成例を示している。この実施の形態に
おいては、重要領域検出回路４は、画像に付随する音声
のレベルを検出する音声信号検出回路として構成されて
いる。
【００７８】即ち、図６の実施の形態では、重要領域検
出回路４は、音声信号検出回路５１で構成されており、
音声信号検出回路５１には、画像に付随する音声信号
（オーディオ符号化器２に入力される音声信号）が供給
されるようになされている。
出回路４は、音声信号検出回路５１で構成されており、
音声信号検出回路５１には、画像に付随する音声信号
（オーディオ符号化器２に入力される音声信号）が供給
されるようになされている。
【００７９】音声信号検出回路５１は、音声信号のレベ
ルを検出し、そのレベルが所定の閾値以上のときのみ、
制御信号を、キー信号発生回路５に出力する。キー信号
発生回路５は、音声信号検出回路５１から制御信号を受
信している場合、キー信号を出力する。
ルを検出し、そのレベルが所定の閾値以上のときのみ、
制御信号を、キー信号発生回路５に出力する。キー信号
発生回路５は、音声信号検出回路５１から制御信号を受
信している場合、キー信号を出力する。
【００８０】音声信号のレベルが高い部分は、会話が行
われている部分であると予想され、そのような部分は、
ユーザにとって重要な部分であると考えられる。従っ
て、所定のレベル以上の音声を検出することで、重要な
部分を検出することができる。
われている部分であると予想され、そのような部分は、
ユーザにとって重要な部分であると考えられる。従っ
て、所定のレベル以上の音声を検出することで、重要な
部分を検出することができる。
【００８１】以上、本発明を適用したエンコーダおよび
デコーダを組み込んだ装置について説明したが、本発明
は、画像などを符号化せずに記録し、または伝送する場
合などにも適用可能である。
デコーダを組み込んだ装置について説明したが、本発明
は、画像などを符号化せずに記録し、または伝送する場
合などにも適用可能である。
【００８２】さらに、本実施の形態では、画像などをＭ
ＰＥＧ符号化するようにしたが、本発明は、その他の符
号化方式にも適用可能である。
ＰＥＧ符号化するようにしたが、本発明は、その他の符
号化方式にも適用可能である。
【００８３】また、本発明は、ビデオカメラなどのよう
に、撮影を行いながら、キー信号を記録する場合の他、
ビデオカメラで撮影した画像および音声を、例えば、Ｖ
ＴＲその他の記録装置などによってダビングする場合に
も適用可能である。
に、撮影を行いながら、キー信号を記録する場合の他、
ビデオカメラで撮影した画像および音声を、例えば、Ｖ
ＴＲその他の記録装置などによってダビングする場合に
も適用可能である。
【００８４】さらに、本発明は、例えば、最近普及して
いるコンピュータなどをベースとしたノンリニア編集を
行う編集装置などにも適用可能である。
いるコンピュータなどをベースとしたノンリニア編集を
行う編集装置などにも適用可能である。
【００８５】なお、図１のエンコーダで得たＭＰＥＧシ
ステムストリームを記録媒体６に記録する場合において
は、記録媒体６としては、ランダムアクセスが可能な、
例えば、ディスク形状の記録媒体を用いるのが望まし
い。これは、図２で説明したように、再生時において、
記録媒体６に記録されたＭＰＥＧシステムストリームの
うちの重要でない部分が読みとばされるので、その際の
アクセスを迅速に行うためである。
ステムストリームを記録媒体６に記録する場合において
は、記録媒体６としては、ランダムアクセスが可能な、
例えば、ディスク形状の記録媒体を用いるのが望まし
い。これは、図２で説明したように、再生時において、
記録媒体６に記録されたＭＰＥＧシステムストリームの
うちの重要でない部分が読みとばされるので、その際の
アクセスを迅速に行うためである。
【００８６】また、図３乃至図６の実施の形態は、単独
で用いることは勿論、そのうちの複数を組み合わせて用
いることも可能である。即ち、例えば、重要領域検出回
路４を、図３のＹ比較回路２２，Ｃｂ比較回路２３、お
よびＣｒ比較回路２４、並びに図６の音声信号検出回路
５１で構成し、キー信号発生回路５には、これらのすべ
てから制御信号が出力された場合や、あるいはＹ比較回
路２２，Ｃｂ比較回路２３、およびＣｒ比較回路２４の
３つ、または音声信号検出回路５１のうちのいずれかか
ら制御信号が出力された場合に、キー信号を出力させる
ようにすることが可能である。
で用いることは勿論、そのうちの複数を組み合わせて用
いることも可能である。即ち、例えば、重要領域検出回
路４を、図３のＹ比較回路２２，Ｃｂ比較回路２３、お
よびＣｒ比較回路２４、並びに図６の音声信号検出回路
５１で構成し、キー信号発生回路５には、これらのすべ
てから制御信号が出力された場合や、あるいはＹ比較回
路２２，Ｃｂ比較回路２３、およびＣｒ比較回路２４の
３つ、または音声信号検出回路５１のうちのいずれかか
ら制御信号が出力された場合に、キー信号を出力させる
ようにすることが可能である。
【００８７】
【発明の効果】請求項１に記載の画像処理装置および請
求項７に記載の画像処理方法によれば、画像から重要な
部分が検出されて所定の検出信号が出力され、その検出
信号と画像とが多重化される。従って、重要な部分のみ
の再生を、容易に行うことが可能となる。
求項７に記載の画像処理方法によれば、画像から重要な
部分が検出されて所定の検出信号が出力され、その検出
信号と画像とが多重化される。従って、重要な部分のみ
の再生を、容易に行うことが可能となる。
【００８８】請求項８に記載の記録媒体には、画像から
重要な部分を検出して所定の検出信号を出力し、その検
出信号と画像とを多重化することにより得られたデータ
が記録されている。従って、重要な部分のみを、即座に
得ることが可能となる。
重要な部分を検出して所定の検出信号を出力し、その検
出信号と画像とを多重化することにより得られたデータ
が記録されている。従って、重要な部分のみを、即座に
得ることが可能となる。
【００８９】請求項９に記載の画像処理装置および請求
項１０に記載の画像処理方法によれば、検出信号が検出
され、その検出信号が検出された部分についての画像の
みが再生される。従って、重要な部分のみを、即座に得
ることが可能となる。
項１０に記載の画像処理方法によれば、検出信号が検出
され、その検出信号が検出された部分についての画像の
みが再生される。従って、重要な部分のみを、即座に得
ることが可能となる。
【図１】本発明を適用したエンコーダの一実施の形態の
構成例を示すブロック図である。
構成例を示すブロック図である。
【図２】本発明を適用したデコーダの一実施の形態の構
成例を示すブロック図である。
成例を示すブロック図である。
【図３】重要領域検出回路４の第１実施の形態の構成例
を示すブロック図である。
を示すブロック図である。
【図４】重要領域検出回路４の第２実施の形態の構成例
を示すブロック図である。
を示すブロック図である。
【図５】重要領域検出回路４の第３実施の形態の構成例
を示すブロック図である。
を示すブロック図である。
【図６】重要領域検出回路４の第４実施の形態の構成例
を示すブロック図である。
を示すブロック図である。
【図７】従来のエンコーダおよびデコーダの一例の構成
を示すブロック図である。
を示すブロック図である。
１ ビデオ符号化器， ２ オーディオ符号化器， ３
システム多重化器，４ 重要領域検出回路， ５ キ
ー信号発生回路， ６ 記録媒体， ７ 伝送路， １
１ ストリーム読み取り装置， １２ ストリーム分離
器， １３ビデオ復号化器， １４ オーディオ復号化
器， １５ キー信号検出装置，２２ Ｙ比較回路，
２３ Ｃｂ比較回路， ２４ Ｃｒ比較回路， ３１
加速度センサ， ３２ 比較回路， ４１ 加速度検出
回路， ５１ 音声信号検出回路
システム多重化器，４ 重要領域検出回路， ５ キ
ー信号発生回路， ６ 記録媒体， ７ 伝送路， １
１ ストリーム読み取り装置， １２ ストリーム分離
器， １３ビデオ復号化器， １４ オーディオ復号化
器， １５ キー信号検出装置，２２ Ｙ比較回路，
２３ Ｃｂ比較回路， ２４ Ｃｒ比較回路， ３１
加速度センサ， ３２ 比較回路， ４１ 加速度検出
回路， ５１ 音声信号検出回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 7/08 Ｈ０４Ｎ 7/08 Ｚ 7/081 7/13 Ｚ 7/24
Claims (10)
- 【請求項１】 画像を処理する画像処理装置であって、 前記画像から重要な部分を検出し、所定の検出信号を出
力する検出手段と、 前記検出手段が出力する前記検出信号と前記画像とを多
重化する多重化手段とを備えることを特徴とする画像処
理装置。 - 【請求項２】 前記画像を符号化する符号化手段をさら
に備え、 前記多重化手段は、前記検出信号と、前記符号化手段に
より符号化された前記画像とを多重化することを特徴と
する請求項１に記載の画像処理装置。 - 【請求項３】 前記多重化手段の出力を、所定の記録媒
体に記録する記録手段をさらに備えることを特徴とする
請求項１に記載の画像処理装置。 - 【請求項４】 前記検出手段は、前記画像を構成する画
面の中に、特定の色が所定の割合以上含まれている場合
に、その画面を重要な部分として検出することを特徴と
する請求項１に記載の画像処理装置。 - 【請求項５】 前記検出手段は、前記画像の加速度が所
定値以下の場合に、その画面を重要な部分として検出す
ることを特徴とする請求項１に記載の画像処理装置。 - 【請求項６】 前記多重化手段が、前記画像に付随する
音声も多重化する場合において、 前記検出手段は、そのレベルが所定値以上となっている
音声に付随する画像を重要な部分として検出することを
特徴とする請求項１に記載の画像処理装置。 - 【請求項７】 画像を処理する画像処理方法であって、 前記画像から重要な部分を検出して所定の検出信号を出
力し、 その検出信号と前記画像とを多重化することを特徴とす
る画像処理方法。 - 【請求項８】 画像が記録されている記録媒体であっ
て、 前記画像から重要な部分を検出して所定の検出信号を出
力し、 その検出信号と前記画像とを多重化することにより得ら
れたデータが記録されていることを特徴とする記録媒
体。 - 【請求項９】 画像から重要な部分を検出して所定の検
出信号を出力し、 その検出信号と前記画像とを多重化することにより得ら
れたデータを処理する画像処理装置であって、 前記検出信号を検出する検出手段と、 前記検出手段により前記検出信号が検出された部分につ
いての前記画像のみを再生する再生手段とを備えること
を特徴とする画像処理装置。 - 【請求項１０】 画像から重要な部分を検出して所定の
検出信号を出力し、 その検出信号と前記画像とを多重化することにより得ら
れたデータを処理する画像処理方法であって、 前記検出信号を検出し、 その検出信号が検出された部分についての前記画像のみ
を再生することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7728497A JPH10276395A (ja) | 1997-03-28 | 1997-03-28 | 画像処理装置および画像処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7728497A JPH10276395A (ja) | 1997-03-28 | 1997-03-28 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10276395A true JPH10276395A (ja) | 1998-10-13 |
Family
ID=13629579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7728497A Pending JPH10276395A (ja) | 1997-03-28 | 1997-03-28 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10276395A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003021914A2 (en) * | 2001-08-28 | 2003-03-13 | Digeo, Inc. | System and method for enabling communication between video-enabled and non-video-enabled communication devices |
| JP2003288096A (ja) * | 2002-03-27 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム |
| US7489728B2 (en) | 2002-06-07 | 2009-02-10 | Nec Corporation | Apparatus and method for coding moving image |
| JP2012023768A (ja) * | 2011-09-29 | 2012-02-02 | Sanyo Electric Co Ltd | 撮像装置 |
| US8793124B2 (en) | 2001-08-08 | 2014-07-29 | Nippon Telegraph And Telephone Corporation | Speech processing method and apparatus for deciding emphasized portions of speech, and program therefor |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0380782A (ja) * | 1989-08-24 | 1991-04-05 | Nippon Telegr & Teleph Corp <Ntt> | シーン抽出処理方法 |
| JPH06165009A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置 |
| JPH06165107A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 動画像ダイジェスト自動表示装置 |
| JPH0723322A (ja) * | 1993-06-18 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法 |
| JPH07236115A (ja) * | 1994-02-24 | 1995-09-05 | Matsushita Electric Ind Co Ltd | ショット検出方法および代表画像記録・表示装置 |
| JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
-
1997
- 1997-03-28 JP JP7728497A patent/JPH10276395A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0380782A (ja) * | 1989-08-24 | 1991-04-05 | Nippon Telegr & Teleph Corp <Ntt> | シーン抽出処理方法 |
| JPH06165009A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置 |
| JPH06165107A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 動画像ダイジェスト自動表示装置 |
| JPH0723322A (ja) * | 1993-06-18 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法 |
| JPH07236115A (ja) * | 1994-02-24 | 1995-09-05 | Matsushita Electric Ind Co Ltd | ショット検出方法および代表画像記録・表示装置 |
| JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8793124B2 (en) | 2001-08-08 | 2014-07-29 | Nippon Telegraph And Telephone Corporation | Speech processing method and apparatus for deciding emphasized portions of speech, and program therefor |
| WO2003021914A2 (en) * | 2001-08-28 | 2003-03-13 | Digeo, Inc. | System and method for enabling communication between video-enabled and non-video-enabled communication devices |
| WO2003021914A3 (en) * | 2001-08-28 | 2003-11-27 | Digeo Inc | System and method for enabling communication between video-enabled and non-video-enabled communication devices |
| JP2003288096A (ja) * | 2002-03-27 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム |
| US7489728B2 (en) | 2002-06-07 | 2009-02-10 | Nec Corporation | Apparatus and method for coding moving image |
| JP2012023768A (ja) * | 2011-09-29 | 2012-02-02 | Sanyo Electric Co Ltd | 撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4443578B2 (ja) | 情報担体 | |
| JP4904914B2 (ja) | ストリーム生成装置、撮像装置、およびストリーム生成方法 | |
| JP2993351B2 (ja) | 圧縮データ記録装置 | |
| JP2004194338A (ja) | スライドショーの制作方法およびシステム | |
| JP2007511992A (ja) | 動画撮影装置および動画撮影方法、動画撮影装置により映像信号が記録された記録媒体、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
| US20090021613A1 (en) | Video camera apparatus | |
| KR19980080442A (ko) | 디지털 신호 재생 방법 및 장치 | |
| JPH10276395A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4973497B2 (ja) | 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム | |
| US7650062B2 (en) | Information recording apparatus, information reproducing apparatus, and related computer programs | |
| JP2002077803A (ja) | 映像情報記録装置及び撮像装置 | |
| JP4346966B2 (ja) | 撮像装置 | |
| KR19990056364A (ko) | 특수효과 처리장치 및 그 방법 | |
| EP1005042A2 (en) | Method and apparatus for recording and reproducing video signals | |
| JP2957135B2 (ja) | 映像復号化器における高速再生時ピクチャージッタ防止装置 | |
| US6285982B1 (en) | Sound decompressing apparatus providing improved sound quality during special reproducing such as forward search reproducing and reverse search reproducing | |
| JP3925487B2 (ja) | 撮像装置と撮像方法 | |
| JP3688214B2 (ja) | 視聴者映像記録再生装置 | |
| JP2006319397A (ja) | デジタル記録再生装置 | |
| JPH0879674A (ja) | 動画像検索方式 | |
| JP3794146B2 (ja) | 情報再生装置および方法、並びに提供媒体 | |
| JP2002094939A (ja) | 記録装置および再生装置 | |
| US8249432B2 (en) | Video and audio playback apparatus and video and audio playback method | |
| JP4510337B2 (ja) | 信号処理方法及び信号処理装置 | |
| JP2007243706A (ja) | データフォーマット変換装置及びデータフォーマット変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060616 |