JP4223762B2 - 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム - Google Patents
映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム Download PDFInfo
- Publication number
- JP4223762B2 JP4223762B2 JP2002245615A JP2002245615A JP4223762B2 JP 4223762 B2 JP4223762 B2 JP 4223762B2 JP 2002245615 A JP2002245615 A JP 2002245615A JP 2002245615 A JP2002245615 A JP 2002245615A JP 4223762 B2 JP4223762 B2 JP 4223762B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- camera operation
- video
- display devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 83
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000033001 locomotion Effects 0.000 claims description 111
- 238000000034 method Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Circuits Of Receivers In General (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、テレビジョン放映された映像等から重要画像を抽出して表示させる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムに関する。
【0002】
【従来の技術】
従来、動画像のダイジェスト映像を作成する手法として、例えばVTRの早送り再生でフレームを均等に間引いて表示したり、ジョグシャトルダイアル等の可変速再生を用いて表示速度を手動で調節する方法が知られている。
【0003】
また、テレビジョン番組等のダイジェスト版を作成する手法としては、編集者が予め画像を見て画像のフレーム毎に優先的に表示して欲しい度合、ダイジェストに長時間表示して欲しい度合などの優先度を判断し、優先度をフレーム毎に割り当てて指定時間内に収める技術が、特開平3−90968号公報において提案されている。
【0004】
しかしながら、早送り再生は画像内容に関係なくフレームを均等に間引くため、必要なフレームが間引かれたり、反対に不要なフレームが表示されたりする問題があった。また、ジョグシャトルダイアル等の可変速再生では、ユーザ(視聴者)の興味や理解度に適応した速度で画像を表示できるが、長時間に亘る動画像の編集も全て手動で行わなければならないという問題があった。
【0005】
また、編集者が予め画像を見て、優先度をフレーム毎に割り当ててダイジェスト映像を作成する手法では、その作成作業に相当な時間と労力とを必要とするという問題があった。
【0006】
そこで、特開平6−165009号公報には、撮影時に用いる録画開始/終了、ズーム、フェード、フォーカス、露出、ホワイトバランス、シャッタースピード等のボタン入力信号から画像の状態を推定し、状態に応じた優先度を設定して表示画像の選択や表示速度の調整を行うことで、ダイジェスト映像を作成する技術が提案されている。
【0007】
この技術によれば、予め優先度を割り当てたり、ダイジェスト表示時に手動で優先度を操作することなく、撮影意図を反映したダイジェスト映像を作成することが可能となる。
【0008】
【発明が解決しようとする課題】
しかしながら、この特開平6−165009号公報に記載の技術は、ビデオカメラ等の撮像装置による撮影中に、ズーム等のボタン入力信号から画像の重要性を示す優先度を選択・計算し、ダイジェスト映像を作成するものであり、例えばテレビジョン放映された映像からダイジェスト映像を作成するものではない。
【0009】
このため、編集者等が動画像の内容を短時間で把握する目的には沿うものの、テレビジョン放映されている映像とは別に、重要な画像については長時間視聴したい、或いは重要な画像の見落としを防止したいという一般のユーザ(視聴者)の要請に応えることはできなかった。
【0010】
本発明は、このような従来の実情に鑑みて提案されたものであり、テレビジョン放映された映像等から、撮影者の意図を反映した重要画像を抽出して表示させる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムを提供することを目的とする。
【0011】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る映像処理装置は、フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定手段と、抽出された上記画像を、異なる位置に配置された複数の表示装置に対して出力する出力手段であって、上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する出力手段とを備える。
また、本発明に係る映像処理方法は、フレーム単位の画像からなる映像を入力する入力工程と、入力した上記映像の動きを検出する動き検出工程と、上記動き検出工程にて検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定工程と、抽出された上記画像を、異なる位置に配置された複数の表示装置に対して出力する出力工程であって、上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する出力工程とを有する。
【0012】
ここで、抽出された上記画像と共に、入力した上記映像を上記表示装置に対して出力することもできる。
【0014】
このような映像処理装置及びその方法は、入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び/又は終了時を推定し、そのカメラ操作前後の画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に対して出力して表示させる。
【0015】
また、本発明に係るプログラムは、上述した映像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【0016】
また、上述した目的を達成するために、本発明に係る映像処理システムは、フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定手段とを有する映像処理装置と、抽出された上記画像を表示する異なる位置に配置された複数の表示装置とを備え、上記映像処理装置は、抽出された上記画像を、上記複数の表示装置に対して出力する際に、上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する。
【0018】
このような映像処理システムでは、映像処理装置が入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び/又は終了時を推定し、そのカメラ操作前後の画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に対して出力して表示させる。
【0019】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、テレビジョン放映された映像から撮影者の意図を反映した重要画像を抽出し、この重要画像と入力画像とを合成して1台の表示装置に表示させる映像処理装置、及び複数台の表示装置を有し、入力画像又は抽出された重要画像をその複数台の表示装置に表示させる映像処理システムに適用したものである。
【0020】
先ず、本実施の形態における映像処理装置の概略構成を図1に示す。図1に示すように、本実施の形態における映像処理装置1は、例えばテレビジョン映像信号を入力する画像取得部2と、画像取得部2によって取得された入力画像から撮影時におけるパン、チルト、ズーム等のカメラ操作を推定するカメラ操作推定部3と、入力画像を蓄積する画像蓄積メモリ4と、画像蓄積メモリ4に蓄積された画像から重要画像を読み出し、これを入力画像と合成する画像合成部5と、得られた合成画像を出力する画像出力部6と、映像処理装置1の各部を制御する制御部7とから構成されている。
【0021】
テレビジョン放送用の映像を撮像する際には、空間の広がりを表現するためにカメラが水平方向、垂直方向にそれぞれパン、チルトされたり、撮影範囲の画角を調整するためにズーム・イン、ズーム・アウトされたりする。本実施の形態においては、このようなカメラ操作を入力映像から取得することで、撮影者の意図を推定する。
【0022】
すなわち、カメラをパン或いはチルトさせる場合には、移動の開始時と終了時における画像中に何らかのキーオブジェクトが含まれていることが多い。また、例えばズーム・イン前の画像は全体像を把握することができ、ズーム・イン後の画像はキーオブジェクトを注視することができるため、ズーム操作中の画像と比較して重要であると考えられる。
【0023】
本実施の形態における映像処理装置1は、このような重要画像を抽出し、入力映像のフレーム画像と合成して図示しない表示手段に表示させる。これにより、視聴者は、撮影された空間を把握しやすくなり、重要とされた画像の見落としも防止される。
【0024】
そこで、上述のカメラ操作推定部3は、画像蓄積メモリ4に蓄積されたフレーム画像を参照して入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。なお、動きベクトルの検出方法としては、例えば、勾配法やブロックマッチング等が挙げられる。
【0025】
なお、撮影時のカメラ操作がなくても、被写体が移動する場合には動きベクトルが検出されるが、本実施の形態においては、画像内の動きベクトルの多くが同じ方向である場合、又は画像内の動きベクトルが放射状に分布している場合のみを検出することにより、被写体の動きとは区別して、カメラ操作がある場合のみを検出する。
【0026】
このようなカメラ操作があった場合に検出される入力画像の動きベクトルの一例を図2の模式図に示す。被写体のみが動いた場合ではなく、カメラ操作があった場合の入力画像における動きベクトルは、例えば、図2(A)、(B)に示すように、それぞれ水平方向及び垂直方向の同様の方向に同様な大きさの動きベクトルが存在する平行動き、又は図2(C)、(D)に示すように、カメラの焦点がそれぞれズーム・イン及びズーム・アウトされて放射状で且つ同様な大きさの動きベクトルが存在する放射動き等に分類される。
【0027】
このカメラ操作の推定処理の手順を図3のフローチャートを用いて説明する。先ずステップS1において、入力画像の動きベクトルを検出し、ステップS2において、過去の動きをロードする。
【0028】
次にステップS3において、画面内の画素のうち、閾値以上の画素が同じ方向の動きベクトルを有するか否かが判別される。閾値以上の画素が同じ方向の動きベクトルを有する場合(Yes)にはステップS4に進み、そうでない場合(No)にはステップS6に進む。
【0029】
ステップS4では、前フレームの動きと同じか否かが判別される。前フレームの動きと同じである場合(Yes)にはステップS11に進み、そうでない場合(No)にはステップS5で平行動きの開始と判定してステップS11に進む。なお、平行動きの開始と判定された画像は、上述の画像合成部5によって画像蓄積メモリ4から読み出される。
【0030】
ステップS6では、画面内の画素の動きベクトルが放射状であるか否かが判別される。判別の際には、例えば図4に示すように画面を8分割し、それぞれの領域内の画素の動きベクトルの角度θが領域毎に設定された範囲内であるか否かを判定する。図4に示す沸きだしの例では、領域毎に以下のように角度θの範囲を設定することができる。なお、吸い込みの例では、この逆向きのベクトルになることは言うまでもない。
【0031】
第1領域:−10°<θ< 10°,第2領域: 30°<θ< 60°
第3領域: 80°<θ<100°,第4領域:120°<θ<150°
第5領域:170°<θ<190°,第6領域:210°<θ<240°
第7領域:260°<θ<280°,第8領域:300°<θ<320°
そして、この範囲内にある画素の度数を閾値と比較することで、放射状動きであるか否かを判別する。このステップS6において、放射状動きである場合(Yes)にはステップS7に進み、そうでない場合(No)にはステップS9に進む。
【0032】
ステップS7では、前フレームの動きと同じか否かが判別される。前フレームの動きと同じである場合(Yes)にはステップS11に進み、そうでない場合(No)にはステップS8でズーム動きの開始と判定してステップS11に進む。なお、ズーム動きの開始と判定された画像は、上述の画像合成部5によって画像蓄積メモリ4から読み出される。
【0033】
ステップS9では、前フレームに平行動き、或いはズーム動きといった動きがあったか否かが判別される。動きがなかった場合(No)にはステップS11に進み、動きがあった場合(Yes)にはステップS10で前フレーム画像を動きの最後と判定してステップS11に進む。なお、動きの最後と判定された画像は、上述の画像合成部5によって画像蓄積メモリ4から読み出される。
【0034】
続いてステップS11において、現在フレーム動きを記憶し、続くステップS12において、カメラ操作の推定処理を終了するか否かが判別される。終了しない場合(No)にはステップS1に戻って処理を続ける。
【0035】
このように、カメラ操作推定部3は、供給される入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。
【0036】
図1に戻って、画像合成部5は、カメラ操作推定部3によってカメラ操作の開始時、或いは終了時と判定された画像を画像蓄積メモリ4から読み出して保持し、これを縮小して入力画像と合成する。例えば、パン操作開始時と終了時の画像は、それぞれ図5(A)、(B)に示すようになる。また、ズーム・イン操作開始時と終了時の画像は、それぞれ図6(A)、(B)に示すようになる。
【0037】
画像出力部6は、このようにして得られた合成画像を出力し、図示しない表示手段に表示させる。
【0038】
以上説明したように、本実施の形態における映像処理装置1は、入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定し、そのカメラ操作前後の画像を、現在放映中の映像と共に、例えば画面を分割して表示させる。これにより、視聴者は、撮影された空間を把握しやすくなり、また、重要と推定される画像を見落とすことがなくなる。
【0039】
ところで、上述の説明では、カメラ操作前後の画像を、現在放映中の映像と共に、例えば画面を分割して表示するものとしたが、複数の表示手段を有する場合には、現在放映中の映像とは別にカメラ操作前後の画像を表示することもできる。
【0040】
以下では、このように複数の表示手段を有する映像処理システムについて説明する。本実施の形態における映像処理システムは、入力された映像信号から重要画像を抽出する映像処理装置と、抽出された重要画像又は入力映像を表示する複数台の表示装置とから構成される。
【0041】
なお、この映像処理装置は、重要画像を表示する表示装置毎に用意するようにしてもよく、1台の映像処理装置で抽出した重要画像を各表示装置に供給するようにしてもよい。以下、重要画像を表示する表示装置毎に映像処理装置を設ける場合を分散型と称し、1台の映像処理装置により複数の表示装置に重要画像を供給する場合を統合型と称して説明する。
【0042】
先ず、本実施の形態における分散型映像処理システムの概略構成を図7に示す。図7に示すように、分散型映像処理システム100は、各表示装置20a〜20cに1つずつ、入力映像から重要画像を抽出する映像処理装置10a〜10cが接続されている。
【0043】
この映像処理装置10a〜10cの概略構成を図8に示す。図8に示すように、映像処理装置10a〜10cの基本構成は、図1に示した映像処理装置1と同様であるため、この映像処理装置1と同一の構成については同一符号を付して詳細な説明を省略する。簡単には、カメラ操作推定部3は、供給される入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。そして、画像出力部5は、カメラ操作推定部3によってカメラ操作の開始時、或いは終了時と判定された画像を画像蓄積メモリ4から読み出して出力し、又は画像取得部2から供給された入力画像を出力する。
【0044】
一方、表示装置20a〜20cは、それぞれ映像処理装置10a〜10cから出力されたカメラ操作前後の画像又は入力画像を表示する。
【0045】
ここで、この分散型映像表示システム100では、各映像処理装置10a〜10cが独立に配置されるため、図9に示すように、その相対的な位置を記憶する位置記憶部30a〜30cを各映像処理装置10a〜10cの前段に設けるものとする。この相対位置は、設定時に手動で入力するようにしてもよく、各映像処理装置10a〜10c間の通信等により自動で検出するようにしてもよい。
【0046】
なお、後述するが、この相対位置を利用して、各映像処理装置10a〜10cがどのような重要画像を表示装置20a〜20cに供給するかが決定される。
【0047】
次に、本実施の形態における統合型映像表示システムの概略構成を図10に示す。図10に示すように、統合型映像表示システム200は、入力映像から複数の重要画像を抽出する映像処理装置40に対して、複数の表示装置20a〜20cが接続されている。
【0048】
この映像処理装置40の概略構成を図11に示す。図11に示すように、映像処理装置40の基本構成は、図1に示した映像処理装置1と同様であるため、この映像処理装置1と同一の構成については同一符号を付して詳細な説明を省略する。簡単には、カメラ操作推定部3は、供給される入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。そして、画像出力部5は、カメラ操作推定部3によってカメラ操作の開始時、或いは終了時と判定された画像を画像蓄積メモリ4から読み出し、画像取得部2から供給された入力画像と共に出力する。
【0049】
一方、表示装置20a〜20cは、映像処理装置40から出力されたカメラ操作前後の画像又は入力画像を表示する。
【0050】
ここで、この統合型映像表示システム200では、図12に示すように、どの出力ポート50a〜50cにどの表示装置20a〜20cを接続するかによって、映像処理装置40がどのような重要画像を各表示装置20a〜20cに供給するかが決定される。
【0051】
ここで、表示装置が複数ある場合には、画像の特性と表示装置の配置とを関連付けて表示することにより、視聴覚効果を高めることができる。
【0052】
この場合における映像表示システムの処理手順を図13のフローチャートを用いて説明する。先ずステップS10において、表示装置の配置を調べる。この配置例としては、例えば図14(A)に示すような奥行き配置や、図14(B)に示すような並列配置が挙げられる。なお、この図14では、通常の入力映像を表示する表示装置の図示を省略している。
【0053】
図14(A)に示す奥行き配置では、視聴者Pに対して近い位置と遠い位置との2カ所に、それぞれ重要画像の表示される表示装置20a,20bが配置されている。近いか遠いかについては、例えばステレオ視計測を用いてリコートコントローラからの距離を測定することで検出することができる。また、図14(B)に示す並列配置では、視聴者Pに対して水平な方向の3カ所に、それぞれ重要画像の表示される表示装置20a,20b,20cが配置されている。なお、並列配置では、視聴者Pに対して垂直な方向の少なくとも2カ所に表示装置を配置するようにしても構わない。
【0054】
次にステップS11において、カメラ操作が検出されたか否かが判別される。カメラ操作が検出された場合(Yes)にはステップS12に進み、そうでない場合(No)にはステップS17に進む。
【0055】
続いてステップS12において、表示装置の配置が、奥行き配置であるか否かが判別される。奥行き配置でない場合(No)、すなわち並列配置である場合には、ステップS13で動きの開始時と終了時の画像をその動きを反映して表示する。例えば、重要画像を表示するための表示装置が左右に2台あり、カメラ操作が左から右へのパン操作である場合には、左側の表示装置にパン操作開始時の画像を表示し、右側の表示装置にパン操作終了時の画像を表示する。また、重要画像を表示するための表示装置が上下に2台あり、カメラ操作が下から上へのチルト操作である場合には、下側の表示装置にチルト操作開始時の画像を表示し、上側の表示装置にチルト操作終了時の画像を表示する。一方、ステップS12において、奥行き配置である場合(Yes)にはステップS14に進む。
【0056】
ステップS14では、カメラ操作がズーム操作であるか否かが判別される。ズーム操作でない場合(No)、すなわちパン操作、或いはチルト操作である場合には、ステップS15でより新しい画像を視聴者に近い表示装置に表示し、より古い画像を視聴者から遠い表示装置に表示するようにする。一方、ステップS14において、ズーム操作である場合(Yes)にはステップS16で近景を視聴者に近い表示装置に表示し、遠景を視聴者から遠い表示装置に表示する。
【0057】
そしてステップS17において終了判定をし、終了しない場合には、ステップS11に戻って処理を続ける。
【0058】
以上説明したように、本実施の形態における分散型映像表示システム100、統合型映像表示システム200は、入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定し、そのカメラ操作前後の画像を、現在放映中の映像を表示する表示装置とは別の表示装置に表示する。これにより、視聴者は、撮影された空間を把握しやすくなり、また、重要と推定される画像を見落とすことがなくなる。
【0059】
また、映像上で左の画像については視聴者に対して左の表示装置に表示し、上の画像については視聴者に対して上の表示装置に表示するなど、画像の特性と表示装置の配置とを関連付けて表示することにより、視聴覚効果を高めることができる。
【0060】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【0061】
例えば、上述の実施の形態では、自然画像を例として、動きベクトルからカメラ操作を推定するものとして説明したが、自然画像に限定されるものではなく、アニメーション等の人工画像についても、仮想的なカメラを想定することで同様に適用可能である。
【0062】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、制御部にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【0063】
【発明の効果】
以上詳細に説明したように、本発明に係る映像処理装置及びその方法は、フレーム単位の画像からなる映像を入力してその動きを検出し、検出された動きからカメラ操作の開始時及び/又は終了時を推定して当該カメラ操作の開始時及び/又は終了時における画像を抽出し、抽出された画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に対して出力する。
【0064】
ここで、抽出された上記画像と共に、入力した上記映像を上記表示装置に対して出力することもできる。
【0066】
このような映像処理装置及びその方法は、入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び/又は終了時を推定し、そのカメラ操作前後の画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に対して出力して表示させる。
【0067】
ここで、カメラ操作前後のフレーム画像には、統計的に重要なオブジェクトが表示されている場合が多いため、このようにカメラ操作前後の画像を表示装置に表示させることにより、視聴者は、撮影された空間を把握しやすくなり、重要とされた画像の見落としも防止される。また、この際、そのカメラ操作前後の画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に表示させることにより、視聴覚効果を高めることができる。
【0068】
また、本発明に係るプログラムは、上述した映像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【0069】
このようなプログラム及び記録媒体によれば、上述した映像処理をソフトウェアにより実現することができる。
【0070】
また、本発明に係る映像処理システムは、フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び/又は終了時を推定し、当該カメラ操作の開始時及び/又は終了時における画像を抽出するカメラ操作推定手段とを有する映像処理装置と、入力された上記映像及び抽出された上記画像を表示する複数の表示装置とを備え、上記映像処理装置は、抽出された上記画像を、上記複数の表示装置のうち上記カメラ操作の種類に応じた位置に配置された一以上の表示装置に対して出力する。
【0072】
このような映像処理システムでは、映像処理装置が入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び/又は終了時を推定し、そのカメラ操作前後の画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に対して出力して表示させる。
【0073】
ここで、カメラ操作前後のフレーム画像には、統計的に重要なオブジェクトが表示されている場合が多いため、このようにカメラ操作前後の画像を表示装置に表示させることにより、視聴者は、撮影された空間を把握しやすくなり、重要とされた画像の見落としも防止される。また、この際、そのカメラ操作前後の画像を、複数の表示装置のうちカメラ操作の種類に応じた位置に配置された一以上の表示装置に表示させることにより、視聴覚効果を高めることができる。
【図面の簡単な説明】
【図1】本実施の形態における映像処理装置の概略構成を説明する図である。
【図2】カメラ操作があった場合に検出される入力画像の動きベクトルの一例を示す模式図であり、同図(A)、(B)は、平行動きを示し、同図(C)、(D)は、放射状動きを示す。
【図3】カメラ操作の推定処理の手順を説明するフローチャートである。
【図4】放射状動きの判別手法を説明するための図である。
【図5】重要画像の具体例を示す図であり、同図(A)は、パン操作開始時の画像を示し、同図(B)は、パン操作終了時の画像を示す。
【図6】重要画像の具体例を示す図であり、同図(A)は、ズーム・イン操作開始時の画像を示し、同図(B)は、ズーム・イン操作終了時の画像を示す。
【図7】本実施の形態における分散型映像処理システムの概略構成を説明する図である。
【図8】同分散型映像処理システムにおける映像処理装置の概略構成を説明する図である。
【図9】同分散型映像処理システムにおいて、各映像処理装置の前段に位置記憶部が設けられている様子を示す図である。
【図10】本実施の形態における統合型映像処理システムの概略構成を説明する図である。
【図11】同統合型映像処理システムにおける映像処理装置の概略構成を説明する図である。
【図12】同統合型映像表示システムにおいて、各出力ポートに表示装置が接続されている様子を示す図である。
【図13】画像の特性と表示装置の配置とを関連づけて表示する場合における映像処理システムの処理手順を説明するフローチャートである。
【図14】複数の表示装置の配置例を示す図であり、同図(A)は、奥行き配置を示し、同図(B)は、並列配置を示す。
【符号の説明】
1 映像処理装置、2 画像取得部、3 カメラ操作推定部、4 画像蓄積メモリ、5 画像合成部、6 画像出力部、7 制御部、10,10a〜10c 映像処理装置、20a〜20c 表示装置、30a〜30c 位置記憶部、40映像処理装置、50a〜50c 出力ポート、100 分散型映像処理システム、200 統合型映像処理システム
Claims (9)
- フレーム単位の画像からなる映像を入力する入力手段と、
入力した上記映像の動きを検出する動き検出手段と、
上記動き検出手段によって検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定手段と、
抽出された上記画像を、異なる位置に配置された複数の表示装置に対して出力する出力手段であって、
上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、
上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、
には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する出力手段と
を備える映像処理装置。 - 上記カメラ操作推定手段は、画面内の画素のうち、閾値以上の画素が水平方向、垂直方向の動きベクトルを有すると上記動き検出手段によって検出された場合に、それぞれパン操作、チルト操作と推定する
請求項1記載の映像処理装置。 - 上記カメラ操作推定手段は、画面内の画素の動きベクトルが放射状であると上記動き検出手段によって検出された場合に、ズーム操作と推定する
請求項1記載の映像処理装置。 - フレーム単位の画像からなる映像を入力する入力工程と、
入力した上記映像の動きを検出する動き検出工程と、
上記動き検出工程にて検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定工程と、
抽出された上記画像を、異なる位置に配置された複数の表示装置に対して出力する出力工程であって、
上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、
上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、
には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する出力工程と
を有する映像処理方法。 - 所定の処理をコンピュータに実行させるプログラムにおいて、
フレーム単位の画像からなる映像を入力する入力工程と、
入力した上記映像の動きを検出する動き検出工程と、
上記動き検出工程にて検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定工程と、
抽出された上記画像を、異なる位置に配置された複数の表示装置に対して出力する出力工程であって、
上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、
上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、
には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する出力工程と
を有するプログラム。 - 所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
フレーム単位の画像からなる映像を入力する入力工程と、
入力した上記映像の動きを検出する動き検出工程と、
上記動き検出工程にて検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定工程と、
抽出された上記画像を、異なる位置に配置された複数の表示装置に対して出力する出力工程であって、
上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、
上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、
には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する出力工程と
を有するプログラムが記録された記録媒体。 - フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び終了時を推定し、当該カメラ操作の開始時及び終了時における画像を抽出するカメラ操作推定手段とを有する映像処理装置と、
抽出された上記画像を表示する異なる位置に配置された複数の表示装置とを備え、
上記映像処理装置は、抽出された上記画像を、上記複数の表示装置に対して出力する際に、上記複数の表示装置が並列方向に配置されている場合であって、上記カメラ操作がパン操作またはチルト操作と推定したとき、または、上記複数の表示装置が奥行き方向に配置されている場合であって、上記カメラ操作がズーム操作と推定したとき、には、少なくとも、抽出された上記画像のそれぞれを、映像の動きに対応する位置に配置された表示装置に出力する
映像処理システム。 - 上記カメラ操作推定手段は、画面内の画素のうち、閾値以上の画素が水平方向、垂直方向の動きベクトルを有すると上記動き検出手段によって検出された場合に、それぞれパン操作、チルト操作と推定する
請求項7記載の映像処理システム。 - 上記カメラ操作推定手段は、画面内の画素の動きベクトルが放射状であると上記動き検出手段によって検出された場合に、ズーム操作と推定する
請求項7記載の映像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002245615A JP4223762B2 (ja) | 2002-08-26 | 2002-08-26 | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム |
US10/525,634 US7755663B2 (en) | 2002-08-26 | 2003-08-22 | Image signal processing device and method, and image signal processing system |
PCT/JP2003/010652 WO2004019611A1 (ja) | 2002-08-26 | 2003-08-22 | 画像信号処理装置及び方法、並びに画像信号処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002245615A JP4223762B2 (ja) | 2002-08-26 | 2002-08-26 | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004088352A JP2004088352A (ja) | 2004-03-18 |
JP4223762B2 true JP4223762B2 (ja) | 2009-02-12 |
Family
ID=31944195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002245615A Expired - Fee Related JP4223762B2 (ja) | 2002-08-26 | 2002-08-26 | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7755663B2 (ja) |
JP (1) | JP4223762B2 (ja) |
WO (1) | WO2004019611A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006074512A (ja) * | 2004-09-02 | 2006-03-16 | Casio Comput Co Ltd | 撮影装置、撮影装置の画像処理方法及びプログラム |
JP4743601B2 (ja) * | 2005-09-21 | 2011-08-10 | Kddi株式会社 | 動画像処理装置 |
JP4757113B2 (ja) * | 2006-06-26 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法 |
JP5106271B2 (ja) * | 2008-06-27 | 2012-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
EP2797314B1 (en) | 2013-04-25 | 2020-09-23 | Samsung Electronics Co., Ltd | Method and Apparatus for Displaying an Image |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2677312B2 (ja) * | 1991-03-11 | 1997-11-17 | 工業技術院長 | カメラワーク検出方法 |
JP3286360B2 (ja) * | 1992-11-26 | 2002-05-27 | 松下電器産業株式会社 | 動画像ダイジェスト自動表示装置 |
KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
JP3325823B2 (ja) * | 1998-02-06 | 2002-09-17 | 日本電信電話株式会社 | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 |
JPH11282442A (ja) * | 1998-03-26 | 1999-10-15 | Sony Corp | 制御信号変換装置及び方法、並びに画像処理装置 |
KR100724299B1 (ko) * | 1999-05-11 | 2007-06-04 | 소니 가부시끼 가이샤 | 정보처리 장치 |
JP2002199333A (ja) | 2000-12-27 | 2002-07-12 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
-
2002
- 2002-08-26 JP JP2002245615A patent/JP4223762B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-22 US US10/525,634 patent/US7755663B2/en not_active Expired - Fee Related
- 2003-08-22 WO PCT/JP2003/010652 patent/WO2004019611A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US7755663B2 (en) | 2010-07-13 |
JP2004088352A (ja) | 2004-03-18 |
US20060152587A1 (en) | 2006-07-13 |
WO2004019611A1 (ja) | 2004-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8885061B2 (en) | Image processing apparatus, image processing method and program | |
US6750903B1 (en) | Super high resolution camera | |
US8687041B2 (en) | Stereoscopic panorama image creating apparatus, stereoscopic panorama image creating method, stereoscopic panorama image reproducing apparatus, stereoscopic panorama image reproducing method, and recording medium | |
US9986158B2 (en) | Method and apparatus for photographing a panoramic image | |
JP3230858B2 (ja) | 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置 | |
KR20160128366A (ko) | 이동 단말의 촬영 방법 및 이동 단말 | |
JP6332996B2 (ja) | 動画像処理装置および撮像装置、動画像処理方法 | |
KR20110022534A (ko) | 표시 제어 장치, 표시 제어 방법, 및 기록 매체 | |
KR20050032473A (ko) | 촬상 장치 및 촬상 방법 | |
JP2007173966A (ja) | 撮像装置及びその画像データ処理方法 | |
US20100246968A1 (en) | Image capturing apparatus, image processing method and recording medium | |
JP5393237B2 (ja) | 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP2009089220A (ja) | 撮像装置 | |
KR101645427B1 (ko) | 유저 인터페이스를 통한 카메라 장치의 동작 방법 | |
JP4223762B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
JP2003032600A (ja) | 画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム | |
JP2010263270A (ja) | 撮像装置 | |
JPH1188912A (ja) | 複眼カメラ及び複眼カメラにおける表示制御方法 | |
JPH11134352A (ja) | 動画像表示方法 | |
JP4797847B2 (ja) | 画像処理装置、画像処理手順およびプログラム | |
JP3286360B2 (ja) | 動画像ダイジェスト自動表示装置 | |
JP2020057901A (ja) | 情報処理装置、及びその制御方法、プログラム | |
CN107483838A (zh) | 基于前后摄像头的拍摄方法、装置、设备及介质 | |
JP2012123721A (ja) | 画像処理装置及び画像処理方法 | |
JP4687748B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060120 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |