WO2007126096A1

WO2007126096A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2007126096A1
Application number: PCT/JP2007/059282
Authority: WO
Inventors: Junichi Ogikubo
Original assignee: Sony Corporation
Priority date: 2006-04-24
Filing date: 2007-04-23
Publication date: 2007-11-08
Also published as: JP5453716B2; US20100158471A1; JPWO2007126096A1; CN101326819B; TW200809764A; US8780756B2; CN101326819A; KR20080110704A; EP2012533A4; EP2012533A1; TWI355645B

Abstract

本発明は、ビデオデータに対する検索や管理等を容易に実行させ得るようにする。本発明は、ビデオデータ又はオーディオデータ特徴を示す特徴パラメータ、又は、ビデオデータ又はオーディオデータにリンクする付随パラメータを、ビデオデータともに取得し、取得された特徴パラメータ又は付随パラメータを表示軸とする表示空間内において、特徴パラメータに示される特徴値又は付随パラメータに示される付随値から変換された座標パラメータを利用して、ビデオデータを表示空間内で表示ウィンドウ上に表示させるように、取得された特徴パラメータ又は付随パラメータをメタデータとして生成するようにする。

Description

画像処理装置及び画像処理方法技術分野

本発明は、画像処理装置及び画像処理方法に関する。背景技術

従来、人 ·物や風景などの被写体を、撮像装置を用いて撮像し、撮像した静止画を J P E G規格又は J P E G 2 0 0 0規格等で圧縮して記録メディアに保存している。そして、記録メディアとしては、撮像装置に内蔵されている内蔵メモリ、撮像装置と着脱可能なリム一バブルメディァなどが存在する。

そして、ユーザは、コンピュータなどを用いて、記録メディアに保存された静止画データを、ハードデイスクゃ光ディスクなどの大容量記録メディアにまとめて保存する（アーカイブする）している。さらに、近年では、ネットワーク技術の進歩により、高帯域回線 ·高速回線といつたブロードバンド回線が比較的普及している状況である。ユーザは、このようなブロードバンド回線を利用して、デ一夕量の多い静止画を、電子メールで送信したり、一般的な W e bサイト及び個人や数人のグル一プで運営 ·更新される日記的な W e bサイト（B 1 0 g ：ブログ）などに掲載したりしている。

上記のような様々な利用形態を想定して、ュ一ザは、画像管理ソフトウェアなどを用いて、大容量記録メディァに保存された多数の静止画を、閲覧 ·検索しやすいように、撮像日時等で分類分けをしながらして管理している。そして、ユーザは、必要に応じて、画像編集ソフトウエアを用いて、目的の静止画を編集している。また、地上波ディジ夕ル放送 · ディジタル衛星放送等により提供される番組、ネヅトワーク配信等により提供される番組を、ハードディスクや光ディスクなどの大容量記録メディァ記録し、必要に応じて視聴するコンビユー夕ゃセヅトトップボックスも存在する。

ユーザは、このように記録した番組を視聴する場合に、多数の番組の中から特定の番組を検索した上で、検索した特定の番組中の特定のシーンだけを視聴したい場合が考えられる。この場合、多数の番組を録画日時 · 番組カテゴリ（スポーツ · ドラマ ·報道等）で分類分けして表示するとともに、各番組の各シーンの先頭画面を静止画像によりサムネイルとして表示して、ユーザの選択により対応するシーンを再生する。

以上のように、静止画データや録画した番組データの数が増えるほど、多数のデータの中から特定のデータを検索することが困難になることから、ユーザにとって分かりやすく · 使い勝手のよい表示形態に関する技術が提案されている（例えば、特許文献 1〜特許文献 3参照）。さらに、静止画自体を解析し、解析して得られた特徴量に応じて、表示画面上に分類して配置する表示形態も存在する。特許文献 1 WO 2 0 0 0/ 0 3 3 4 5 5号公報。

特許文献 2 WO 2 0 0 0/ 0 3 3 5 7 0号公報。

特許文献 3 WO 2 0 0 0 / 0 3 3 5 7 2号公報。しかしながら、従来の表示形態では、撮像日時 · 録画日時 . カテゴリ等により、静止画デ一夕や番組データを単純に分類して表示するだけでは、静止画データや録画した番組データの数が膨大になる場合には、ュ一ザにとって分かりやすく · 使い勝手のよい表示形態としては不十分である。

さらに、扱う対象のデータが動画（ビデオデ一夕）である場合に、ュ —ザにとって分かりやすく ' 使い勝手のよい表示形態として、具体的にどのように分類 · 配置するのか等に関する技術は提案されていない。また、従来の表示形態では、動画全体がどのような特徴を有しているのか、ユーザの求める特定のシーンが動画全体のどこに含まれているのか等をユーザにとって直感的に認識させるには、使い勝手が悪いという問題があった。発明の開示

本発明は、以上の点を考慮してなされたもので、ビデオデータに対する検索や管理等を容易に実行させる画像処理装置及び画像処理方法を提案する。

かかる課題を解決するため本発明は、画像処理琴置であって、ビデオデ一夕又はオーディオデ一夕特徴を示す特徴パラメ一夕、又は、ビデオデ一夕又はオーディォデ一夕にリンクする付随パラメ一夕を、ビデオデ —夕ともに取得し、取得された特徴パラメ一夕又は付随パラメ一夕を表示軸とする表示空間内において、特徴パラメ一夕に示される特徴値又は付随パラメ一夕に示される付随値から変換された座標パラメ一夕を利用して、ビデオデータを表示空間内で表示ゥインドウ上に表示させるように、取得された特徴パラメ一夕又は付随パラメ一夕をメ夕デ一夕として生成するようにした。 . ' '

また本発明は、画像処理方法であって、ビデオデータ又はオーディオデ一夕特徴を示す特徴パラメ一夕、又は、ビデオデ一夕又はオーディオデ一夕にリンクする付随パラメ一夕を、ビデオデータともに取得し、取得された特徴パラメ一夕又は付随パラメ一夕を表示軸とする表示空間内において、特徴パラメータに示される特徴値又は付随パラメ一夕に示される付随値から変換された座標パラメ一夕を利用して、ビデオデ一夕を表示空間内で表示ウィンドウ上に表示させるように、得された特徴パラメータ又は付随パラメ一夕をメ夕データとして生成するようにした。本発明によれば、ビデオデ一夕を、ユーザにとって分かりやすく ·使い勝手のよい形態で表示させることができ、ビデオデ一夕の特徴をュ一ザにとって直感的に認識させることができるので、ビデオデ一夕に対する検索や管理等を容易に実行させることができる。図面の簡単な説明

図 1は、本発明における画像処理装置の構成を示す略線的プロック図である。

図 2は、本実施の形態による編集画面の構成を示す略線図である。図 3は、画像群を示す略線図である。

図 4は、マイクロプロセヅサ及び G P Uによるビデオデ一夕の表示機能を実現する第 1構成例を示す略線的プロック図である。

図 5は、マイクロプロセッサ及び G P Uによるビデオデ一夕の表示機能を実現する第 2構成例を示す略線的ブロック図である。

図 6は、マイクロプロセヅサ及び G P Uによるビデオデータの表示機能を実現する第 3構成例を示す略線的プロック図である。

図 7ほ、メ夕デ一夕抽出部の構成を示す略線的プロック図である。図 8は、平均値算出部の処理の説明に供する略線図である。

図 9は、動き検出部の処理の説明に供する略線図である。

図 1 0は、動き検出部の他の構成例を示す略線的プロック図である。図 1 1は、動き情報算出部の処理の説明に供する略線図.である。

図 1 2は、周波数分析部の構成例を示す略線的プロック図である。図 1 3は、細かさ情報算出部の処理の説明に供する略線図である。図 1 4は、 H L S空間の説明に供する略線図である。

図 1 5は、メ夕データフアイルの具体的内容を示す略線図である。図 1 6は、ビデオデ一夕を構成するピクチャ（静止画像）の表示処理手順を示すフローチャートである。

図 1 7は、 3次元表示空間の表示軸を示す略線図である。

図 1 8は、 D C T横周波数軸寄りに配置された画像群のズームァヅプ表示例を示す略線図である。 ·

図 1 9は、； R軸寄りに配置された画像群のズームアツプ表示例を示す略線図である。

図 2 0は、 G軸寄りに配置された画像群のズームアツプ表示例を示す略線図である。

図 2 1は、ビデオデータの表示処理手順を示すフローチヤ一トである。図 2 2は、複数のビデオデ一夕に対する表示処理手順を示すフローチャ一トである。

図 2 3は、表示ウィンドゥの動きの説明に供する略線図である。

図 2 4は、座標補正処理手順を示すフローチャートである。

図 2 5は、シーンチヱンジを示す略線図である。

図 2 6は、シーンチェンジのときの表示ウインドウの移動の説明に供する略線図である。

図 2 7は、再配置処理手順を示すフローチャートである。

図 2 8は、再配置前後の画像群を示す略線的斜視図である。

'図 2 9は、グループ表示処理の説明に供する略線図である。

図 3 0は、グループ表示処理手順を示すフローチヤ一トである。

図 3 1は、表示ウィンドウを固定したまま 3次元表示空間を動かしたときの表示例（ 1 ) を示す略線図である。

図 3 2は、表示ウィンドウを固定したまま 3次元表示空間を動かしたときの表示例（ 2 ) を示す略線図である。

図 3 3は、表示ウィンドウを固定したまま 3次元表示空間を動かしたときの表示例（ 3 ) を示す略線図である。

図 3 4は、表示ウィンドウを固定したビデオデ一夕の表示処理手順を示すフローチャートである。

図 3 5は、拡大表示ウインドウにおける表示例を示す略線図である。図 3 6は、全軌跡表示モードの表示パターン（ 1 ) を示す略線図である。

図 3 7は、軌跡表示処理手順を示すフローチャートである。

図 3 8は、過去側の軌跡表示を示す略線図である。

図 3 9は、未来側の軌跡表示を示す略線図である。

図 4 0は、全軌跡表示を示す略線図である。

図 4 1は、全軌跡表示モードの表示パターン（ 2 ) を示す略線図である。

図 4 2は、全軌跡表示モードの表示パターン（ 3 ) を示す略線図である。

図 4 3は、全軌跡表示モードの表示パターン（ 4 ) を示す略線図である。

図 4 4は、代表的なシーンを用いた軌跡表示例を示す略線図である。図 4 5は、シーンチェンジを含む軌跡表示例を示す略線図である。図 4 6は、移動速度の制御例を示す略線図である。

図 4 7は、タイムコードを付加した軌跡表示例を示す略線図である。図 4, 8は、表示ウインドゥの制御処理の説明に供する略線図である。図 4 9は、他の実施の形態における 2次元表示空間の説明に供する略線図である o

図 5 0は、他の実施の形態における 4次元表示空間を示す略線図である。

図 5 1は、他の実施の形態におけるつまみの動きと連動した表示ウインドウの移動表示処理の説明に供する略線図である。

図 5 2は、適用可能なアプリケーションの例の説明に供する略線図である。図 5 3は、付随パラメ一夕を利用した場合の表.示例（ 1 ) を示す略線図である。

図 54は、付随パラメ一夕を利用した場合の表示例（ 2 ) を示す略線図である。

図 5 5は、付随パラメ一夕を利用した場合の表示例（ 3 ) を示す略線図である。発明を実施するための最良の形態

以下、図面について、本発明の一実施の形態を詳述する。

( 1 ) 本実施の形態による画像処理システムの構成

図 1に示すように、 1は全体として本実施の形態による画像処理システムを示し、大きく分けて画像処理装置 2、記憶装置 2 2及び複数台のビデオテープレコーダ.2 3 1 23 n等から構成されている。

この画像処理システム 1においは、ビデオテープに記録された A V

(Au d i o /V i s u a 1 ) デ一夕の一部又は全部をクリップとして画像処理装置 2を介して R A I D (R e dund a n t A r r a s o f I nd e p e n d e n t D i s k s ) でなる大容量の記憶装置 2 2に取り込んだり、或いはビデオテープに記録された静止画デ一夕についても記憶装置 2 2に取り込んだりするようになされている。

また、この画像処理システム 1では、記憶装置 2 2に取り込まれた A Vデ一夕を所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リス卜に従って実際に編集処理を実行し、その結果得られた AVデータを新たなクリヅプとして記憶装置 2 2に蓄積したり、ビデオテープレコーダ 2 3 1 2 3 nを介してビデオテープに記録したりするようになされている。

この場合、画像処理システム 1においては、マイクロプロセッサ 3に対して G P U 4、 XD R (E x t r e me D a t a R a t e ) — R AM 5及びサウスブリッジ 6が接続されると共に、当該サウスブリッジ 6にハ一ドディスク装置 7、 U S Bイン夕フェース 8及びサゥンド入出カコーデック 9が接続されている。このサウンド入出力コ一デヅク 9にはスピーカ 4 1が接続されている。

また、サウスプリヅジ 6には、 P C Iバス 1 5を介してマウス 3 8、キーボード 3 9、ビデオテープレコーダ 2 3 1〜 2 3 n、記憶装置 2 2 及び操作コントローラ 3 7が接続されている。なお、 G P U 4にはディスプレイ 4 0が接続されている。

ところで、マイクロプロセヅサ 3は、 O S (O p e r a t i n g

S y s t e m) 等の基本プログラムを実行する汎用のメイン C P Uコァ 3 Mと、当該メイン C P Uコア 3 Mに内部バス 1 2を介して接続された複数（この場合 8個）の R I S C ( e d u c e d I ns t r u c t i o n S e t C o mp u t e r) タイプの ί雪号処理プ口セヅサ（以下、これをサブ C P Uコアと呼ぶ） 3 S A〜 3 S Hと、例えば 2 5 6 [MB y t e ] の容量を持つ XD R— R AM 5に対するメモリコントロールを行うメモリコントローラ 1 3と、サウスブリッジ 6 との間でデ一夕の入出力を管理する I /0 ( I n/O u t ) コントローラ 1 4とが 1チップに集積されたマルチコア構成でなり、例えば動作周波数 4 [ GH z ] を実現している。.

この画像処理システム 1のマイクロプロセッサ 3は、主に M P E G 2、、 H . 2 6 4 /A V C (A d v a n c e d V i d e o

C o d i n g ) 等のコ一デックの役割を担い、デコードした結果得られるビデオデータの再生映像を G P U 4へデータ転送したり、ビデオデ一夕の再生映像に対する再生速度（後述する）等の設定を変更したり、静止画データを G P U 4へデ一夕転送したり、或いは物理演算等を行うようになされている。特に、マイクロプロセッサ 3では、 8個のサブ CPUコア 3 SA〜 3 S Hが、ビデオデータをエンコードして得られたビデオストリームに対するデコーダの役割をそれぞれ担い、当該 8個のサブ CPUコア 3 S A 〜3 S Hが HD (H i gh D e f i n i t i o n) のビデオストリームを並列的にデコードすることが可能である。

また、メイン C PUコア 3Mは、 8個のサブ CPUコア 3 SA〜 3 S Hが行う以外の処理や管理を行うようになされており、サウスブリッジ 6を介してマウス 38、キ一ボード 3 9或いは操作コントロ一ラ 3 7から供給された命令を受け付け、当該命令に応じた種々の処理を実行する。このようにマイクロプロセッサ 3は、 8個のサブ CP Uコア 3 SA〜 3 S Hによって同並列的にビデオストリームをデコードすることができるようになされており、かつマイクロプロセッサ 3と GPU4との間を帯域幅の大きなバス 1 0により例えば最大 3 0 [ G b y t e / s e c ] の転送速度でデ一夕転送し得るようになされているため、多くの高精細なビデオストリームをデコードして短時間にデ一夕転送し得るようになされている。

一方、 GPU4は、ディスプレイ 40に表示するビデオデ一夕の再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、ビデオデ一夕の再生映像及び静止画デ一夕の静止画像をディスプレイ 40に表示するときの座標変換計算処理や、ビデオデ一夕再生映像及び静止画データの静止画像に対する拡大 .縮小処理等を行う機能を有し、マイクロプロセッサ 3の処理負担を軽減させるようになされている。

実際上、マイクロプロセッサ 3は、起動時、ハードディスク装置 7に格納された制御プログラムに基づき、当該ハ一ドディスク装置 7に格納されている必要なアプリケーションプログラムを読み出して X D R— R A M 5に展開し、この後このアプリケーションプログラム及びユーザ操作に基づいて必要な制御処理を実行する。

マイクロプロセヅサ 3は、マウス 3 8、キーボード 3 9或いは操作コントロ一ラ 3 7がュ一ザによって操作され、ビデオテープに記録された A Vストリームを記憶装置 2 2に取り込むためのクリヅプ取込みゥィンドウの表示命令が入力されると、これに応動してハードディスク装置 7 を制御することにより、当該表示命令に対応する A Vデ一夕を読み出させる一方、これと併せて G P U 4を制御することにより、この A Vデー夕に基づく上述のクリップ取込みゥインドウをディスプレイ 4 0に表示させる。

また、マイクロプロセッサ 3は、この状態でマウス 3 8、キーボ一ド 3 9或いは操作コントローラ 3 7がユーザによつて操作され、ビデオテ —プレコーダ 2 3 1〜 2 3 ηに対する再生動作命令が入力されると、これに応動してビデオテープレコーダ 2 3 1〜 2 3 ηを制御することにより、ビデオテープに記録された A Vデータに対する再生動作を実行させる。

この結果、このビデオテープレコーダ 2 3 1〜 2 3 nからは、当該ビデォテープレコーダ 2 3 1〜 2 3 nに装填されたビデオテープから再生される A Vストリームが出力されて、 P C Iバス 1 5、サウスブリッジ 6及びマイクロプロセヅサ 3を順次介して G P U 4に与えられる。

G P U 4は、マイクロプロセッサ 3の制御のもとに、供給されたビデォデ一夕に対して所定の信号処理を施し、その結果得られた映像デ一夕をディスプレイ 4 0へ送出することにより、当該映像データに基づく再生映像をクリップ取込みゥインドゥ内の所定位置に表示させる。一方、マイクロプロセッサ 3は、 A Vデ一夕から抽出した音声信号をサウンド入出カコーデヅク 9を介してスピーカ 4 1へ送出することにより、当該音声信号に基づく音声をスピーカ 4 1から出力させる。

かくしてユーザは、ディスプレイ 4 0に表示されたビデオデ一夕の再生映像及びスピー力 4 1から出力されるオーディォデ一夕の再生音声に基づいて、マウス 3 8、キーボ一ド 3 9或いは操作コントローラ 3 7を用いて再生映像及び再生音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのィン点及びァゥト点の夕ムコ一ドゃ素材長、クリップ I D、クリップ名、その A Vデータの撮影日時、そのクリツプの作成日時等の管理情報をメ夕データとして登録することができる。そしてこのメ夕デ一夕として登録されたそのクリヅプの管理情報が、. マイクロプロセッサ 3の制御のもとに、ハードディスク装置 7 内のクリップ管理情報データペースに登録される。

また、マイクロプロセッサ 3は、後述するが、上述のようなクリップの管理情報だけに限らず、 A Vデ一夕を構成しているビデオデータが有する種々のパラメータの特徴量を抽出し、これらをメ夕デ一夕ファイルとして登録しておくようになされている。

また、マイクロプロセッサ 3は、この後マウス 3 8、キーボード 3 9 或いは操作コントローラ 3 7が操作されて、その A Vストリームの取込み命令が入力されると、これに応動してビデオテープレコーダ 2 3 1〜 2 3 nを制御することにより、指定された A Vストリームの再生動作を実行させる。

この結果、ビデオテープレコーダ 2 3 1〜 2 3 nからは、ビデオテ一プから再生された A Vストリームに含まれるビデオストリームゃォ一ディォストリームが出力され、そのうちビデオストリームが P C' Iバス 1 5、サウスプリヅジ 6、. マイクロプロセヅサ 3及びバス 1 0を順次介して G P U 4に与えられる。

一方、ユーザは、この後マウス 3 8、キーボード 3 9或いは操作コントローラ 3 7 を用いた所定操作により編集作業を行うための編集画面 (後述する）をディスプレイ 4 0に表示させることができ、この編集画面を用いてどのクリヅプとどのクリヅプとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またュ一ザは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができるようになされている。

そして、マイクロプロセヅサ 3は、編集リストが作成された後マウス 3 8が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザによる設定の編集データをフアイル化してハードディスク装置 7内の編集リストデ一夕ベースに登録する。

また、マイクロプロセッサ 3は、編集リストの作成後又は作成途中において、マウス 3 8、キ一ボード 3 9或いは操作コントローラ 3 7が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置 2 2を制御することにより、必要な A V ストリームに含まれるビデオストリーム及びォ"ディォストリームを記憶装置 2 2に読み出させる。

かくしてこ、の記憶装置 2 2から読み出された A Vストリームに含まれるビデオストリーム及びオーディオストリームが P C Iバス 1 5、サウスブリッジ 6、マイクロプロセッサ 3及びバス 1 0を順次介して G P U 4に与えられ、この後マイクロプロセッサ 3の制御のもとに、当該 G P U 4において必要に応じて映像特殊効果加工処理が施される。

そして、 G P U 4は、マイクロプロセッサ 3の制御のもとに、供給されるビデオデータに対して映像特殊効果加工処理を施すことにより得られたビデオデータに対して所定の信号処理を施し、その結果得られたビデォ信号をディスプレイ 4 0へ送出する。

一方、マイクロプロセッサ 3は、 A Vデ一夕に含まれるビデオデ一夕及びオーディオデ一夕のうち、オーディオデータに対して音声ミキシング処理を施し、その結果得られた音声デ一夕を、サウンド入出力コ一デック 9を介してスピーカ； 1へ送出する。 ' この結果、編集画面内の所定位置にビデオデ一夕の再生映像が表示され、スピーカ .4 1から音声デ一夕の再生音声が出力される。このようにして、この画像処理システム 1においては、編集リストに基づく再生映像及び再生音声をユーザに目視確認させながら編集作業を実行させ得るようになされている。

従って、画像処理システム 1では、画像処理装置 2のマイクロプロセヅサ 3及び G P U 4により、ディスプレイ 40に表示した編集画面の再生映像に対して、特殊効果の施された映像表示処理を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。

ところで、マイクロプロセヅサ 3における 8個のサブ CPUコア 3 S A〜 3 S Hで同時並列的にデコードされたビデオデータは、バス 1 0を介して GP U 4へデータ転送されるのだが、このときの転送速度は例えば最大 3 0 [Gb y t e/s e c] であり、特殊効果の施された複雑なビデオデ一夕であっても高速かつ滑らかに表示し得るようになされている。

( 2) ビデオデ一夕に対する表示

画像処理システム 1においては、編集モ一ドとビューモードとが存在し、編集モ一ドでは上述したような編集映像データを生成する等の編集処理を実行するのに対し、ビューモードでは記憶装置 2 2に格納された大量の動画 A Vデ一夕や静止画 A Vデータをオペレー夕が容易に管理又は検索するための分類表示を実行するようになされている。

( 2— 1 ) 編集画面の表示内容

画像処理装置 2のマイクロプロセッサ 3は、マウス 3 8、キ一ボード 39或いは操作コントローラ 3 7がユーザにより操作されて編集画面を表示すべき命令が入力されると、ハ一ドディスク装置 7及び G P U 4を制御することによりビューモードに遷移し、図 2に示すような編集画面 5 0をディスプレイ 4 0に表示させる。 . この編集画面 5 0は、クリップ一覧表示部 5 1、スト一リーボ一ド部 5 2、タイムライン部 5 3及びエフェクト情報表示部 5 4 と、この編集画面 5 0に固有の機能を有する表示部 5 5 とから構成される。なお、編集画面 5 0の場合、後述のように編集作業は主として表示部 5 5を用いて行われるため、スト一リーボ一ド部 5 2及びタイムライン部 5 3は補助的に設けられている。

この場合、クリップ一覧表示部 5 1 には、その画像処理装置 2に登録されている各種ビン及びファイルの中から所望の 1つのビン又はフアイルを選択して、そのビン又はフアイルに収納されている A Vデータ一覧を表示させることができるようになされている。

そして、ユーザは、これらクリツプ一覧表示部 5 1に一覧表示された動画 A Vデータの中から所望の A Vデ一夕を選択し、これを表示部 5 5 にドラッグアンドドロヅプすることによって、その A Vデ一夕の先頭画像（ビデオデータであればその先頭の静止画像）を写し出した表示ウインドウ W 5 7を表示部 5 5内に複数表示させることができる。

また、ユーザは、その状態で表示ウィンドウ W 5 7をクリックすることによって、かかるドラッグアンドドロヅプされた A Vデ一夕の再生処理 'を画像処理装置 2に対して開始させ、その再生映像を表示部 5 5に表示させることや、その表示された再生映像を早送り、巻ぎ戻し又は停止等させることができる。

かくして、ユーザは、表示部 5 5に表示される複数の表示ウインドウ W 5 7 を介して A Vデ一夕に含まれるビデオデータの再生映像を目視確認しながら、所望のフレームを探索し、その動画 A Vデータから切り取るべき映像音声部分の開始点（以下、イン点）及び終了点（以下、ァゥト点）をそれぞれ指定することができる。

そして、画像処理装置 2のマイクロプロセヅサ 3は、このようにしてイン点及びアウト点が指定されたことにより編集モードに遷移すると、イン点及びアウト点が指定された A Vデ一夕について、当該イン点及びァゥト点で挟まれるを新たな A Vデ一夕として、ュ一ザのドラッグアンドド口ップに応じてストーリ一ボ一ド部 5 2に貼り付けることができる。これにより、編集画面 5 0においては、編集に使用する A Vデータのクリヅプを予めスト一リーボ一ド部 5 2に並べることによって、ユーザが編集結果を容易にイメージし得るようになされている。なお、このときストーリーボ一ド部 5 2には、貼り付けられた各クリップの先頭画像等に相当する代表画像のサムネィル及び詳細情報が表示される。

そして、ユーザは、この後かかるスト一リーボ一ド部 5 2に貼り付けた各クリップを、それぞれドラッグアンドドロップによりタイムライン部 5 3のビデオトラヅク上に並べるように順次貼り付けるようにする。このときビデオトラックには、タイムラインを指標として、貼り付けられたクリップの素材長に応じた長さの帯（図示せず）が表示される。またこのときそのクリップに音声がある場合には、オーディオトラックにおけるタイムライン上の同じ位置に同じ長さの帯（図示せず）が表示される。

ここで、このようにタイムライン部 5 3のビデオトラヅクゃオーディォトラックに帯が表示されることは、編集映像音声の出力時にタイムラィン上で表された時間にその帯に対応するクリップの映像が表示され又は音声が出力されることを意味する。従って、このような操作により編集映像として表示され、又は編集音声として出力されるクリツプの映像又は音声を順次規定してなる編集リストを作成することができる。

( 2 - 2 ) 画像群の表示

さらに、画像処理装置 2のマイクロプロセッサ 3は、クリップ一覧表示部 5 1に一覧表示された中からユーザによって選択され、表示部 5 5 にドラツグアンドド口ップされた A Vデ一夕を写し出した所定の画枠サィズでなる表示ゥインドウ W 5 7を編集画面 5 0の表示部 5 5に複数表示することにより画像群 5 8 を提示させ得るようになされている。

また、画像処理装置 2のマイクロプロセッサ 3は、後からユーザによつてクリツプ一覧表示部 5 1から選択してドラッグアンドドロップされた A Vデ一夕の表示ウィンドウ W 5 7については表示部 5 5に追加することが可能であり、また表示ウィンドウ W 5 7に対する選択削除操作に応じて表示部 5 5から消去することも可能である。

ここで、画像群 5 8 とは、図 3 に示すように例えば X軸に「赤色 ( R ) 」、 Y軸に「青色（B ) 」及び Z軸に「輝度」を表示軸のパラメ —夕とする 3次元表示空間内において、ビデオデ一夕の先頭のピクチャ (静止画像）もしくは代表的なピクチャ（静止画像）が、ビデオデータが有する特徴量（例えばピクチャ単位又は G 0 P単位）に基づいて個々の表示ウインドウ W 5 7上で配置されたものである。

この 3次元表示空間におけるそれぞれの表示軸（ X軸、 Y軸及び Z 軸）を構成するパラメ一夕としては、ビデオデータ含む A Vデ一夕の特徴を示す特徴パラメ一夕である。基本的に、特徴パラメ一夕に示される特徴量は、同一静止画のピクチャが時間的に継続していない限り、ビデォデ一夕を構成するビクチャ毎に異なる。

実際上、編集画面 5 0の表示部 5 5では、図 3に示したような上述の 3次元表示空間の各表示軸を明示的に表示することはないが、この 3次元表示空間上に表示ウインドウ W 5 7が配置された結果、画面右下方向には画像群 5 8のうち、ビデオデータに含まれる赤色レベルの高いピクチヤ（静止画像）が映し出された表示ウインドウ W.5 7が配置される。また、画面中央上方向には画像群 5 8のうち、ビデオデ一夕に含まれる輝度レベルの強いピクチャが映し出された表示ウインドウ W 5 7が配置される。また、画面左下方向には分画像群 5 8のうち、ビデオデ一夕に含まれる青色レベルの高いビクチャが写し出された表示ウィンドウ W 5 . 7が配置される。これにより、複数のビデオデ一夕を確認するユーザに対して、複数のビデオデ一夕に含まれる明るさや色成分の大まかな傾向 (分布）をイメージとして直感的に認識させ得るようになされている。因みに、この 3次元表示空間では X軸の「赤色」、 Y軸の「青色」及び Z軸の「輝度」について原点からプラス方向だけの象現が用いられており、その象現に相当する空間に複数の表示ウィンドウ W 5 7が配置されている。但し、これに限るものではなく、 X軸、 Y軸及び Z軸について原点からマイナス方向をも含めた全ての象現に複数の表示ゥインドウ W 5 7が配置されることも可能である。

ところで、画像処理装置 2のマイクロプロセッサ 3では、画像群 5 8 のうちビデオデ一夕に対して、表示ウィンドウ W 5 7内で所定のフレーム周波数に従った更新速度により順次表示さるピクチャを更新し、動画の再生映像として表示させることができる。 '

その際、画像処理装置 2のマイクロプロセッサ 3は、画像群 5 8のうちビデオデータを構成するピクチャを更新する度にその特徴量も変化するので、当該特徴量に応じて表示ウィンドウ W 5 7 を 3次元表示空間内で再配置することにより、あたかもビデオデータの表示ウィンドウ W 5 7を 3次元表示空間上で移動させながら表示し得るようになされている。なお、画像処理装置 2では、ピクチャに対する更新速度を変更することによりビデオデ一夕の再生速度を調整することも可能であり、更新速度を上げれば早送り再生することができるので表示ウィンドウ W 5 7の移動速度が上がって 3次元表示空間上を高速移動させることになる。逆に、更新速度を下げれば表示ウインドウ W 5 7の移動速度が下がって 3 次元表示空間上をあたかも浮遊するかのように低速移動させることになる

更に、画像処理装置 2は、表示ウィンドウ W 5 7内のビデオデ一夕を巻き戻し再生することも可能であり、そのときには 3次元表示空間上をこれまでとは逆方向に当該表示ゥインドウ W 5 7を移動表示させ得るようになされている。因みに、画像処理装置 2は、順方向又は逆方向への表示ウインドウ W 5 7の移動表示中にユーザ所望のタイミングで停止させて、停止させたタイミングに対応するピクチャ（静止画像）を表示させることもできる。

( 2 - 3 ) ビデオデ一夕の表示

続いて、画像処理装置 2では、ビデオデータを構成しているピクチャに対して、ピクチャの特徴量を示す特徴パラメ一夕をメ夕デ一夕として予め抽出しておき、ビデオデ一夕の再生映像を表示ウインドウ W 5 7に表示する際に、ピクチャを更新する際の各ピクチャの特徴量に従って当該表示ウインドウ W 5 7を 3次元仮想空間上に再配置する。これにより、その表示ウィンドウ W 5 7を移動表示するための構成を、マイクロプロセヅサ 3及び G P U 4による機能ブロックとして説明する。

ここでは、ビデオデ一夕を構成している個々のピクチャから特徴パラメータを予めメタデータとして抽出しておき、それを用いてビデオデ一夕を表示する第 1構成例、ビデオデータを構成している個々のピクチャからメ夕デ一夕を生成しながら、それを用いてビデオデータを表示する第 2構成例、ビデオデータをェンコ一ドして記録する際に特徴パラメ一夕をメタデータとして生成しながら、それを用いてビデオデ一夕を表示する第 3構成例の合計 3種類について説明する。

( 2— 3— 1 ) 第 1構成例

図 4に示すように、メ夕デ一夕抽出部 6 1は、ビデオデ一夕を含む A デ夕まれる種々の特徴量を示す特徴パラメ一夕を抽出し、これらをビデオデ一夕に対するビクチャ単位又は複数ピクチャ単位（例えば G〇 P単位）のメタデータファイル M D F としてメ夕デ一夕デ一夕ベース (以下、これをメ夕デ一夕 D Bと呼ぶ） 6 2に登録する。

一方、圧縮画像生成部 6 3は、メ夕デ一夕抽出部 6 1 を介して供給されたビデオデータの各ピクチャを圧縮して、メイン . ビデオストリーム

HD 1 として後段のビデオデータベース（以下、これをビデオ DBと呼ぶ） 64に登録すると共に、ビデオデ一夕における各ピクチャの画素数を所定の割合で間引き、その結果得られる画素数の少ないサブ · 画像としてのサブ ' ビデオストリーム LD 1をビデオ DB 64に登録するようになされている。

これにより、ビデオ D B 64は、画素数を間引くこと ©ないメイン - ビデオストリーム HD 1と、画素数が間引かれたサブ . ビデオストリーム L D 1との双方をビデオデ一夕単位又は所定時間単位で蓄積することが出来るので、マイクロプロセッサ 3が 3次元表示空間上の配置場所に応じて画枠サイズの小さな表示ウィンドウ W 57に表示するときにはサプ · ビデオストリーム LD 1を用いたり、ときに拡大表示する際にはメイン · ビデオストリーム HD 1を用いたり、等の使い分けが出来るようになされている。

続いて、表示空間制御部 6 6は、表示部 5 5に表示された G U I ( G r a p h i c a l U s e r I n t e r f a c e) 6 5を介してュ一ザにより指定された 3次元表示空問の生成に用いられる表示軸のパラメータを認識したり、ユーザに対して画像群 58を表示する際の視点座標を認識したり、ユーザにより選択された A Vデータを当該 3次元表示空間に対する配置対象として用いることを決定する等の表示に関する種々の決定を行うようになされている。

従って、表示空間制御部 6 6は、その決定結果に基づき画像群 5 8 (図 3 ) として表示部 5 5に表示すべきビデオデータを構成する複数のピクチャに対するフレーム番号をメ夕デ一夕 D B 6 2へ出力することにより、当該メ夕デ一夕 DB 6 2からフレーム番号に対応したピクチヤの特徴パラメ一夕をメタデータとしてメ夕デ一夕ファイル MD Fを読み出させて座標計算部 6 7へ送出させる。また、表示空間制御部 6 6は、その決定結果に基づきビデオ D B 6 4 に対してもビデオデータを構成する複数のピクチャに対するフレーム番号を出力することにより、ビデオデータの再生映像を表示ウインドウ W 5 7に表示する場合にはフレーム番号に対応したサブ . ビデオストリ一ム L D 1 をデコーダ 6 8へ送出させ、ビデオデ一夕の再生映像を拡大表示する場合には、そのフレーム番号に対応したメイン · ビデオストリ一ム H D 1 をデコダ 6 8へ送出させるようになされている。

デコーダ 6 8は、ビデオ D B 6 4から供給されたサブ . ビデオストリーム L D 1、メイン ' ビデオストリーム H D 1をデコードし、その結果得られるデコード後のサプ ' ビデオデータ、メイン · ビデオデ一夕を画像表示部 6 9へ送出する。

座標計算部 6 7は、表示空間制御部 6 6から供給された特徴パラメ一夕を表示空間の表示軸に設定し、特徴パラメ一夕を 3次元表示空間内の座標（座標パラメ一夕）に計算により変換し、変換した座檫パラメ一夕の値に応じて 3次元表示空間内の配置位置を決定する。そして、 3次元表示空間内に配置されるべき複数の表示ウインドウ W 5 7からなる画像群 5 8に対する視点座標及び各表示ウインドウ W 5 7の配置場所に基づいて、それぞれの表示ウィンドウ W 5 7の表示サイズを決定し、これら各表示ゥインドウ W 5 7の表示に関する種々の情報（表示パラメ一夕）を画像表示部 6 9へ受け渡す。

画像表示部 6 9は、座標計算部 6 7から受け渡された座標パラメ一夕を利用して、デコーダ 6 8から供給されたサブ · ビデオデータを配置すべき当該 3次元表示空間上の 3次元座標位置に基づいて、当該サブ · ビデォデ一夕に対応する表示ウインドウ W 5 7を 3次元表示空間上に配置する。これら一連の処理を、他のビデオデータに対応する表示ウィンドゥ W 5 7に対しても実行した後、これら複数の表示ウインドウ W 5 7の座標パラメ一夕を表示部 5 5の 2次元座標位置（表示位置パラメ一夕）に変換して表示することにより、複数の表示ウインドウ W 5 7からなる画像群 5 8を表示部 5 5に対して提示する。

( 2— 3— 2 ) 第 2構成例

図 4 との対応部分に同一符号を付して示す図 5において、表示空間制御部 6 6は、表示部 5 5に表示された G U I 6 5を介してユーザにより指定された 3次元表示空間の表示軸に設定された特徴パラメ一夕を認識したり、ユーザに対して画像群 5 8を表示する際の視点座標を認識したりする。さらに、表示空間制御部 6 6は、ユーザにより選択されたビデォデ一夕を当該 3次元表示空間に対する配置対象として用いることを決定する等の表示に関する種々の決定を行い、その情報を座標計算部 6 7 へ送出する。 '

従って、表示空間制御部 6 6は、その決定結果に基づきビデオ D B 6 4に対しても、ビデオデータを構成する複数のビクチャに対するフレーム番号を出力することにより、ビデオデータの再生映像を表示ウインドゥ W 5 7に表示する場合には、フレーム番号に対応したサブ · ビデオストリーム L D 1 をデコーダ 6 8へ送出させ、ときにビデオデ一夕の再生映像を拡大表示する場合には、そのフレーム番号に対応したメイン · ビデォストリーム H D 1をデコーダ 6 8へ送出させる。

因みに、このビデオ D B 6 4には、第 1構成例と同様に、画素数を間引くことのなくエンコードされたメイン · ビデオストリーム H D 1 と、画素数が間引かれてェンコ一ドされたサブ · ビデオストリ一ム L D 1 との双方が予め蓄積されている。

デコーダ 6 8は、ビデオ D B 6 4から供給されたサブ · ビデオストリ —ム L D 1、メイン ' ビデオストリーム H D 1をデコードし、その結果得られるデコード後のメイン · ビデオデータをメ夕デ一夕抽出部 6 1へ送出し、サブ · ビデオデータを画像表示部 6 9へ送出する。

メ夕デ一夕抽出部 6 1は、デコーダ 6 8から供給されたメイン · ビデォデ一夕に含まれる特徴パラメ一夕をメ夕データとして抽出レ、抽出したメ夕デ一夕をメ夕デ一夕ファイル M Fとしてメ夕デ一夕 D B 6 2に登録すると共に、当該メタデータファイル M D Fを座標計算部 6 7へ送出する。

座標計算部 6 7は、表示空間制御部 6 6から供給された特徴パラメ一夕を表示軸に設定した 3次元表示空間を計算により生成し、各表示ウインドウ W 5 7に表示するビデオデ一夕の特徴パラメ一夕の示す特徴量を 3次元表示空間内の座標パラメ一夕に変換し、座標パラメ一夕の値に応じて 3次元表示空間内の配置場所を決定する。そして、座標計算部 6 7 は、 3次元表示空間内に配置されるべき複数の表示ウインドウ W 5 7からなる画像群 5 8に対する視点座標及び各ゥインドゥ画面の配置場所に基づいて、それぞれの表示ゥインドウ W 5 7の表示サイズ（表示パラメ —夕）を決定し、これら各表示ウィンドウ W 5 7の表示に関する種々の情報（表示パラメ一夕）を画像表示部 6 9へ受け渡す。

画像表示部 6 9は、座標計算部 6 7から受け渡された表示パラメ一夕を基に、デコーダ 6 8から供給されたサブ ' ビデオデ一夕を配置すべき当該 3次元表示空間内の 3次元座標位置（座標パラメ一夕）に基づいて,、当該サブ ' ビデオデーダに対応する表示ウインドウ W 5 7を 3次元表示空間内に配置する。これら一連の処理を、他のビデオデータに対応する表示ウインドウ W 5 7に対しても実行した後、複数の表示ウインドウ W 5 .7の 3次元座標位置を表示部 5 5の 2次元座標位置（表示位置パラメ一夕）に変換して表示することにより、複数の表示ウインドウ W 5 7からなる画像群 5 8を表示部 5 5に対して提示する。

( 2 - 3 - 3 ) 第 3構成例

図 5 との対応部分に同一符号を付して示す図 6において、表示空間制御部 6 6は、表示部 5 5に表示された G U I 6 5を介してユーザにより指定された 3次元表示空間の表示軸に設定された特徴パラメ一夕を認識したり、ユーザに対して画像群 5 8を表示する際の視点座標を認識したりする。さらに、表示空間制御部 6 6は、ユーザにより選択されたビデォデ一夕を 3次元表示空間に対する配置対象として用いることを決定する等の表示に関する種々の決定を行い、その情報を座標計算部 6 7へ送出する。

従って、表示空間制御部 6 6は、その決定結果に基づき、メ夕デ一夕及びビデオデ一夕ベース（以下、これをメ夕デ一夕 . ビデオ D B と呼ぶ） 7 0に対して、ビデオデ一夕を構成している複数のビクチャに対応したフレーム番号を出力する。

このメ夕デ一夕 ■ ビデオ D B 7 0は、撮像装置により撮像 ' ェンコ一ドされたメイン · ビデオストリーム H D 1が登録されていることに加えて、そのメイン ' 画像デ一夕の画素数が間引かれたサブ · ビデオデータをエンコードしたサブ ' ビデオストリーム L D 1についても登録されている。メ夕デ一夕 · ビデオ D B 7 0は、ビデオデータの再生映像を表示ウィンドウ W 5 7に表示する場合には、フレーム番号に対応したサブ - ビデオストリーム L D 1 をデコーダ 6 8へ送出し、ときにはビデオデ一夕の再生映像を拡大表示する場合には、そのフレーム番号に対応したメイン ' ビデオストリーム H D 1をデコーダ 6 8へ送出する。

さらに、メタデータ · ビデオ D B 7 0には、メイン . ビデオデ一夕の撮像時に、当該撮像装置に内蔵されているメタデ夕抽出部によって抽出されたメイン ' ビデオデ一夕に含まれる特徴パラメ一夕についてもメ夕データファイル M D Fとして登録されている。

従って、メタデ一夕 · ビデオ D B 7 0は、表示空間制御部 6 6から供給されたフレーム番号に対応した特徴パラメ一夕をメ夕デ一夕ファイル M D F として座標計算部 6 7へ送出する。

座標計算部 6 7は、表示空間制御部 6 6から供給された特徴パラメ一夕が表示軸に設定された 3次元表示空間を計算により生成し、各表示ゥインドウ W 5 7に表示すべきビデオデータの特徴パラメ一夕を 3次元空間内の座標パラメ一夕に変換して配置位置を決定し、 3次元表示空間内に配置される複数の表示ウインドウ W5 7か.らなる画像群 58に対する視点座標及び各ゥィンドウ画面の配置場所に基づいて、それぞれの表示ウィンドウ W57の表示サイズを決定し、これら各表示ウインドウ W5 7の表示に関する種々の情報を画像表示部 6 9へ受け渡す。

デコーダ 6 8は、メ夕デ一夕 · ビデオ D B 70から供給されたサブ - ビデオストリーム L D 1又はメイン · ビデオストリーム H D 1をデコ一ドし、その結果得られるデコード後のサブ · ビデオデ一夕又はメイン · ビデオデ一夕を画像表示部 6 9へ送出する。

画像表示部 6 9は、座標計算部 6 7から受け渡された表示に関する情報を基に、デコーダ 6 8から供給されたサブ · ビデオデ一夕を配置すベき座標パラメ一夕の値に基づいて、サブ ' ビデオデータに対応する表示ウィンドウ W 5 7を 3次元表示空間内に配置する。さらに、画像表示部 6 9は、これら一連の処理を、 .他のビデオデータに対応する表示ゥィンドウ W 5 7に対しても実行した後、複数の表示ウインドウ W5 7の 3次元座標位置を表示部 5 5の 2次元座標位置（表示位置パラメ一夕）に変換して表示することにより、複数の表示ウインドウ W 5 7からなる画像群 5 8を表示部 5 5に対して提示する。

( 2— 4) メタデータ抽出部の具体的構成

続いて、上述したメ夕デ一夕抽出部 6 1の具体的な構成について説明する。図 7に示すように、このメ夕デ一夕抽出部 6 1では、ビデオデー夕を構成している各ピクチャの例えば、細かさ（複雑さ）、動きべクトノレ、 D C T (D i s c r e t e C o s i n e T r a n s f o rm) 縦横周波数成分、色成分、音声レベル等による種々の特徴量を含む特徴パラメ一夕を抽出するため、細かさ情報算出部 7 1、動き検出部 7 2、 D C T縦横周波数成分検出部 73、色成分検出部 7 6、音声検出部 8 0、輝度色差検出部 8 3及びメ夕データフアイル生成部 8 6によって形成されている。但し、メ夕デ一夕抽出部 6 1は、これら以外のパラメ一夕の特徴量を抽出するための種々の検出部が設けられていても良い。

( 2 - 4 - 1 ) 細かさ情報算出部の構成

この細かさ情報算出部 7 1は、平均値算出部 1 0 7 1、差分値演算部 1 0 7 2及び積算部 1 07 3から構成されており、平均値算出部 1 0 7 1及び差分値演算部 1 0 72に対してビデオデータが供給される。

平均値算出部 1 07 1は、ビデオデータのフレームを順次、注目フレ —ムとし、その注目フレームを、例えば、図 8に示すように、 8 x 8画素のプロヅクに分割する。さらに、平均値算出部 1 0 7 1は、注目フレームにおける各プロックの画素値の平均値を求め、これを差分値演算部 1 0 7 2へ供給する。

ここで、 8 X 8画素のプロックのラス夕スキャン順で、 k番目の画素の画素値を P kと表した場合、平均値算出部 1 07 1では、平均値 P a v eを、次式の P av e = l / ( 8 x 8 ) x∑ P.kに従って求める。なお、平均値 P av e = l/ ( 8 x 8 ) x∑ P kにおけるサメーシヨン∑ は、 kを 1から 8 x 8 (= 64) までに変えてのサメ一シヨンを表す。差分値演算部 1 072は、平均値算出部 1 0 7 1と同様に、注目フレ —ムを、 8 X 8画素のブロックに分割し、ブロックの各画素値 P kと、平均値算出部 1 0 7 1から供給される、そのプロックの画素値の平均値 P av eとの差分値の絶対値 I P k— P a V e | を求め、積算部 1 07 3に供給する。

積算部 1 0 73は、差分値演算部 1 0 72から供給されるプロックの各画素について求められた差分値の絶対値 I P k— P a V e | を積算し、積算値 Q=∑ I P k - P a V e | を求める。ここで、積算値 Q =∑ | P k一 P a v e | におけるサメ一シヨン∑は、 kを、 1から 8 x 8 (= 6 4 ) までに変えてのサメ一シヨンを表す。さらに、積算部 1 073は、注目フレームのすべてのプロックについて得られた積算値 Qの総和を求め、これを注目フレームの細かさ情報 Q S 1としてメ夕デ一タフアイル生成部 8 6へ出力する。

なお、注目フレームについて求められる積算値 Qの総和は、イントラ AC ( I n t r a— AC) と呼ばれるもので、その値が大きいほど、注目フレームにおける画素値にばらつきが大きい。従って、積算値 Qの総和である細かさ情報 Q S 1が大きいほど、注目フレームが細かな（複雑な）静止画像であるということになる。

( 2 - 4 - 2 ) 動き検出部の構成

動き検出部 72 (図 7 ) では、図 9に示すように動きぺクトル検出部 1 04 1が、前フレームを 1 6 x 1 6画素のマクロブロックに分割し、前フレームの各マクロブロックについて、そのマクロブロックに最も類似する注目フレームの 1 6 X 1 6画素のブロック（以下、類似ブロックという）を検出する。そして、動きべクトル検出部 1 04 1は、マクロブロックの、例えば、左上を始点とすると共に、類似ブロックの左上を終点とするベクトルを、マクロブロックの動きベクトル AF O ( h , ν ) どして求める。

いま、前フレームの左から h番目で、上から V番目のマクロブロックの位置を F 0 ( h , V ) と表すと共に、マクロプロック F 0 ( h , V ) から、そのマクロブロック F 0 ( h , V ) の動きベクトル厶 F 0 ( h , V ) だけ移動した位置の注目フレームの 1 6 x 1 6画素のプロック、即ち、類似ブロックの位置を F l ( , V ) と表すこととすると、マクロブロック； F 0 ( h， V ) の動きべクトル△ F 0 ( h , V ) は、次式△ F 0 (h, V ) = F 1 ( h, v) - F 0 (h， v) の差分として表される。統計量算出部 1 042は、前フレームのマク口プロヅクについて求められた動きベクトルの統計量として、例えば、前フレームにおける全てのマクロブロックの動きベクトル AF O (h, v) の大きさ | AF 0 (h, v) Iの総和 D 0 =∑ | A F 0 ( h， v) | を求め、この総和 D 0を、注目フ 'レームの動き情報として出力する。

なお、総和 D 0 =∑ I△ F 0 ( h , V ) I におけるサメ一シヨン∑は、 hを、 1から、前フレームの横方向のマクロブロックの数までに変えると共に、 Vを、 1から、前フレームの縦方向のマクロプロックの数までに変えてのサメ一シヨンを表す。

ここで、前フレームの各マクロプロヅク F 0 ( h , V ) における動きベクトル AF O (h， v) の大きさが大きいと、その和である動き情報 D O も大きくなる。従って、注目フレームの動き情報 D Oが大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。なお、上述の場合には、前フレームのマクロプロヅクについて求められた動きべクトルの統計量として、前フレームの全てのマクロブロックにおける動きベクトル AF O ( h , v) の大きさ | AF 0 ( h , ν ) | の総和 D 0 =∑ | 厶 F 0 ( h , v) I を求めるようにしたが、前フレームのマクロプロヅクについて求められた動きベクトルの統計量としては、その他、例えば、前フレームのマクロプロックについて求められた動きべクトルの分散を採用することが可能である。

この場合、統計量算出部 1 0 4 2では、前フレームの全てのマクロブロヅクにおける動きベクトル△ F 0 ( h , V ) の平均値△ a V eが求められ、前フレームの全てのマクロプロック F 0 ( h , V ) における動きべク.トル AF O (h， v) の分散び 0が、例えば、次式び 0 =∑ (AF 0 ( h , v.) -Δ a V e ) 2を演算することで求められる。

なお、分散び 0 =∑ (Δ F 0 ( h , V ) -Δ a Θ ) 2におけるサメ —シヨン∑は、 hを、 1から、前フレームの横方向のマクロプロックの数までに変えると共に、 Vを、 1から、前フレームの縦方向のマクロブロックの数までに変えてのサメ一シヨンを表す。

この分散び 0 も、総和 D O と同様に、注目フレームの画像の動きが大きい（激しい）と大きくなる。

次に、図 1 0は、図 7における動き検出部 72の他の構成例を示し、この動き検出部 72 Aは、ヒストグラム作成部 1 0 5 1、ヒストグラム記憶部 1 0 5 2及び差分演算部 1 0 5 3から構成されている。

ヒストグラム作成部 1 0 5 1には、ビデオデ一夕が供給され、このビデォデ一夕のフレームを、順次、注目フレームとし、注目フレームの画素値のいわば簡略的なヒストグラムを作成し、注目フレームのヒストグラムとして、ヒストグラム記憶部 1 0 52及び差分演算部 1 0 5 3へ供給する。

ヒストグラム記憶部 1 05 2は、ヒストグラム作成部 1 0 5 1から供給される注目フレームのヒストグラムを記憶する。ここで、ヒストグラム記憶部 1 0 52は、少なくとも 2フレーム分のヒストグラムを記憶することができるだけの記憶容量を有しており.、ヒストグラム作成部 1 0 5 1から供給される今回の注目フレームに対するヒストグラムと、前回の注目フレーム、即ち、前フレームに対するヒストグラムとを記憶する。差分演算部 1 0 53は、ヒストグラム作成部 1 0 5 1から供給される注目フレームに対するヒストグラムと、ヒストグラム記憶部 1 0 5 2に記憶された前フレームに対するヒストグラムとの後述する差分絶対値和を求め、注自フレームの動き情報 D 0として出力する。 '

図 1 1を参照して、図 1 0の動き検出部 7 2 Aの処理について、さらに説明する。ヒストグラム作成部 1 0 5 1に供給されるビデオデータの画素値が、例えば、 0 ~ 25 5の整数値により表現可能な 8ビットで表されるとすると、ヒストグラム作成部 1 0 5 1は、 0〜2 5 5の範囲を、例えば、 0〜3 1， 3 2〜 6 3， 64〜9 5， 9 6〜 1 2 7 , 1 2 8〜 1 5 9 , 1 6 0〜 1 9 1 , 1 9 2〜 2 23 , 224〜 2 5 5の 8つの小範囲に 8等分し、各小範囲に含まれる画素値の度数を求めることにより、注目フレームの簡略的なヒストグラムを作成する。 — —

例えば、いま、第 i + 1フレームが注目フレームであるとすると、差分演算部 1 0 5 3では、注目フレームである第 i + 1 フレームと、前フレームである第 iフレームとのヒストグラムの同一の小範囲における度数同士の差分値の絶対値△ (図 1 1において影を付して示す部分）が求められる。さらに、差分演算部 1 0 5 3では、ヒストグラムの 8つの小範囲について求められた度数の差分値の絶対値の総和（差分絶対値和） ∑△が求められ、注目フレームの動き情報 D Oとしてメ夕デ一タフアイル生成部 8 6へ出力される。

ここで、注目フレームの動きが大きい（激しい）場合には、注目フレームの画素値の度数分布は、前フレームの画素値の度数分布と異なるものになる。従って、注目フレームの差分絶対値和∑△が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。

( 2— 4— 3 ) D C''T縦横周波数成分検出部の構成

次に、図 1 2は、 D C Τ縦横周波数成分検出部 7 3 (図 7 ) における周波数分析部 7 4の構成例を示している。この周波数分析部 7 4は、 D C Τ変換部 1 0 6 1、重み係数算出部 1 0 6 2及び積算部 1 0 6 3から構成されている。

D C Τ変換部 1 0 6 1には、ビデオデータが供給され、このビデオデ一夕のフレームを、順次、注目フレームとし、注目フレームを、例えば、 8 X 8画素のブロックに分割する。更に D C Τ変換部 1 0 6 1は、注目フレ.一ムの各プロヅクを D C Τ変換し、各ブロヅクについて得られる 8 8個の D C T係数を積算部 1 0 6 3へ供給する。'

重み係数算出部 1 0 6 2は、ブロックの 8 X 8個の D C T係数それぞれに付す重みを求めて積算部 1 0 6 3へ供給する。積算部 1 0 6 3は、 D C T変換部 1 0 6 1から供給されるブロックの 8 X 8個の D C T係数それぞれに、重み係数算出部 1 0 6 2から供給される重みを付して積算することにより積算値を求める。更に積算部 1 0 6 3は、注目フレームの各プロックについて求められた積算値の総和を求め、注目フレームの細かさ情報として縦すじ横すじレベル算出部 7 5 (図 7) へ送出する。

図 1 3を参照して、図 1 2の周波数分析部 74の処理について更に説明する。図 1 3左は、 D C T変換の基底画像を示している。基底画像は、 8 x 8個のパターン（周波数成分）からなり、右側のパターンほど、また下側のパターンほど、高い周波数成分のパターンとなる。

図 1 3右はプロックにおける 8 X 8個の D CT係数のうちの、左から i ( i = 1 , 2， · · ·， 8 ) 番目で、上から j ( j = 1 , 2 , · · · , 8 ) 番目の D CT係数 F ( i— 1 , j - 1 ) を示し、当該 D C T係数 F ( i— 1 , j一 1 ) は、基底画像の左から i番目で、上から j番目のパターンの周波数成分がブロックに含まれている程度（度合い）を表す。図 1 3左の基底画像中に記されている数字は、図 1 2の重み係数算出部 1 0 62が算出する重み G ( i— 1 , j一： L ) を示している。. この重み G ( i— 1 , j— 1 ) は、 D C T係数 F ( i— 1， j - 1 ) に付す重みであり、重み係数算出部 1 0 6 2は、重み G ( i - 1 , j - 1 ) を、例えば式 G ( i— 1 , j - 1 ) 二 i x jに従って求めるようになされている。これにより重み係数算出部 1 0 6 2では、高い周波数成分の D C T係数 F ( i— 1， j - 1 ) に付す重み G ( i— 1， j— 1 ) ほど、大きな値の重みが求められる。

積算部 1 0 6 3 (図 1 2 ) は、 D C T変換部 1 0.6 1から供給されるブロックの D C T係数 F ( i— 1 , j - 1 ) に、重み係数算出部 1 0 6 2から供給される重み G ( ΐ - 1 , j - 1 ) を乗算し、乗算値 G ( i— 1 , j - 1 ) F ( i — 1 , j - 1 ) を求める。そして積算部 1 0 6 3 は、ブロックにおける 8 X 8個の D C T係数 F ( i — 1， j - 1 ) それそれについて得られる乗算値 G ( i - 1 , j - 1 ) x F ( i— l , j - 1 ) を積算し、積算値 V =∑ G ( i— l , j - 1 ) xF ( i— 1， j 一 1 ) を求める。ここで積算値 V=∑ G ( i— l , j - 1 ) x F ( i— l , j - 1 ) におけるサメ一シヨン∑は、 i , j をそれぞれ 1から 8までに変えてのサメ一シヨンを表す。

更に積算部 1 0 6 3は、注目フレームのすべてのブロックについて得られた積算値 Vの総和 Kを求め、これを注目フレームの細かさ情報として縦すじ横すじレベル算出部 7 5へ出力する。

ここで注目フレームに高周波成分が含まれるほど、積算値 Vの総和 K である細かさ情報は大きくなるので、注目フレームの画像が細かな（複雑な）静止画像であるということになる。

D C T縦横周波数成分検出部 7 3の縦すじ横すじレベル算出部 7 5·は、注目フレームのうちエリア A R 1における D C T係数に基づいて縦方向に細かいスジが存在する画像すなわち横方向の周波数が高い画像であることや、注目フレームのうちエリア A R 2における D C T係数に基づいて横方向に細かいスジが存在する画像すなわち縦方向の周波数が高い画像であることを検出するようになされている。

これにより D C T縦横周波数成分検出部 7 3では、周波数分析部 7 4 で注目フレームの画像が細かな（複雑な）静止画像であるか否かを判別し得ると共に、横方向の周波数及び縦方向の周波数がどのくらいのレべルにあるのかを判別し、それを D C T縦横周波数成分情報 F V Hとしてメ夕デ一夕ファイル生成部 8 6へ出力するようになされている。

( 2— 4— 4 ) 色成分検出部の構成

色成分検出部 7 6は、画素 R G Bレベル検出部 7 7、 R G B レベル統計分散検出部 7 8及び H L S レベル統計分散検出部 7 9から構成されており、供給されたビデオデータを画素 R G Bレベル検出部 7 7に入力する o

画素 R G Bレベル検出部 7 7は、ビデオデ一夕の注目フレームにおける各画素の R G Bレベルをそれぞれ検出し、その検出結果を R G Bレべル統計分散検出部 7 8及び H L S レベル統計分散検出部 7 9へ送出する。 W

R G Bレベル統計分散検出部 7 8は、画素 R GBレベル検出部 7 7から供給された注目フレームにおける各画素の R GBレベルに対する統計及び分散を算出し、注目フレームにおける R GBの各色成分がどのようなレベルにあるのかを示す統計値や、注目フレームにおける色成分が全体的な色として付されているのか、局所的な色としてふされているのかを示す分散値を色成分情報 C L 1 としてメ夕デ一タフアイル生成部 8 6 へ出力する。

H L Sレベル統計分散検出部 7 9は、画素 R G B レベル検出部 7 7から供給された注目フレームにおける各画素の R GBレベルを、色相（ H u e ) , 彩度（ S a t u r a t i o n) 及び輝度（L u m i - n a n c e / L i g h t n e s s)の 3つの成分に変換し、図 1 4に示すように、' これら色相、彩度及び輝度からなる H L S空間における各要素の統計及び分散として算出し、その検出結果を H L S情報 C L 2 としてメ夕デ一夕ファイル生成部 8 6へ出力するようになされている。

ここで H L S空間における色相とは、色味を 0度〜 3 5 9度の範囲の角度で表したものであり、 0度は赤で、その反対側に位置する 1 8 0度は赤の反対にあたる青緑となる。すなわち、 H L S空間では反対色を見つけるのも容易である。

H L S空間における彩度とは、有彩色が混ざる割合のことであり、特に H L S空間では H S V (色相（H u e ) 、彩度（S a t u r a - t i o n)及び明度（V a l u e ) ) 空間とは異なり、純色から彩度が落ちるということは、すなわち灰色になっていくという考え方に基づいているので、灰色に近いと彩度が低く、灰色から遠いと彩度が高いということになる。

H L S空間における輝度とは、 H S V空間のように明度 1 0 0 %を純色とし、そこからどれだけ明るさが失われるかを示すのとは異なり、輝度 0 %を黒、輝度 1 0 0 %を白とし、その中間を純白としたものである。従って H L Sレベル統計分散検出部 7 9は、 R G B空間に比べて色相を一段と分かり易く表現した H L S情報 C L 2をメ夕デ一夕ファイル生成部 8 6へ出力することができる。

( 2 - 4 - 5 ) 音声検出部の構成 '

上述した実施例では、ビデオデータを対象として特徴パラメ一夕を抽出する形態を説明した。ごこでは、 A Vデ一夕にオーディオデ一夕が含まれている場合に、ビデオデータに対応するオーディオデータから、ォ —ディォデ一夕の特徴を示す特徴量を特徴パラメ一夕として算出することも可能である。つまり、特徴パラメ一夕は、ビデオデータ又はオーディォデ一夕双方に適用可能なパラメ一夕である。

音声検出部 8 0 (図 7 ) は、周波数分析部 8 1及びレベル検出部 8 2 から構成されており、供給されたを周波数分析部 8 1に入力する。 . 周波数分析部 8 1では、ビデオデータの注目フレームに対応したォーディォデ一夕の周波数を分析し、その周波数帯域をレベル検出部 8 2へ通知する。レベル検出部 8 2は、周波数分析部 8 1から通知された周波数帯域における音声データのレベルを検出し.、その音声レベル情報 A L をメタデータフアイル生成部 8 6へ出力するようになされている。

( 2— 4— 6 ) 輝度色差検出部の構成

輝度色差検出部.8 3 (図 7 ) は、 Y、 C b、 C r レベル検出部 8 4と、 Y、 C b、 C rレベル統計分散検出部 8 5とから構成されており、供給された.ビデオデ一夕を Y、 C b、 C rレベル検出部 8 4に入力する。

Y、 C b、 C r レベル検出部 8 4は、ビデオデータの注目フレームにおける各画素の輝度信号 Yの輝度レベル、色差信号 C b、 C rの信号レベルを検出し、これらを Y、 C b、 C rレベル統計分散検出部 8 5へ供給する。

Y、 C b、 C r レベル統計分散検出部 8 5は、 Y、 C b、 C r レベル検出部 8 4から供給された注目フレームにおける各画素の輝度信号 Yの輝度レベル、色差信号 C b、 C rの信号レベルに対する統計及び分散を算出し、注目フレームにおける輝度信号 Y、色差信号 C b、 C rがどのようなレベルにあるのかを示す統計値や、注目フレームにおける輝度信号 Y、色差信号 C b、 C rの分散値を色成分情報 C L 3 としてメ夕デ一夕ファイル生成部 8 6へ出力する。

( 2 - 4 - 7 ) メ夕デ一夕ファイル生成部の構成

メ夕デ一夕ファイル生成部 8 6は、細かさ情報算出部 7 1から得られる細かさ情報 Q S 1、動き検出部 7 2から得られる注目フレームの動き情報 D 0、 D C T縦横周波数成分検出部 7 3から得られる D C T縦横周波数成分情報 F V H、色成分検出部 7 6から得られる色成分情報 C L 1 や H L S情報 C L 2、音声検出部 8 0から得られる音声レベル情報 A L、及び輝度色差検出部 8 3から得られる色成分情報 C L 3を基に、ビデオデ一夕を構成しているピクチャの特徴パラメ一夕又はビデオデータに対応するオーディォデ一夕の特徴パラメ一夕を、メ夕デ一夕を含むメ夕デ —夕ファイル M D Fとしてそれぞれ生成し、これを出力するようになされている。

このメタデ一夕フアイル M D Fでは、図 1 5に示すように例えばビデォデ—夕であれば、そのビデオデ一夕を構成している 1 フレームから最終フレームまでの複数のピクチャ毎に「タイムコード」、「動き量」、「細かさ」、「赤」、「青」、「緑」、「輝度」、「赤分散」、「緑分散」、「色相」、「飽和度」、「縦スジ」、「横スジ」、「動き分散」及び「音声レベル」等の様々な特徴パラメ一夕が登録されている。

なお、メ夕デ一夕フアイル M D Fの各特徴パラメ一夕における特徴量の値としては、 0〜 1の間の正規化された相対値を用いているが、これに限るものではなく、絶対値を用いても良い。また、メ夕デ一夕フアイル M D Fの内容としても、上述した特徴パラメ一夕の特徴量に限られるものではなく、これら以外にも、例えば表示ウィンドウ W 5 7を 3次元表示空間に配置した後であれば、その表示ゥインドウ W 57が実際に配置された 3次元仮想空間上の座標値についてもメ夕デ一夕の一種として登録しておいても良い。

このように画像処理装置 2では、メ夕データファイル MD Fに 3次元表示空間上の座標値についても登録しておけば、次にビデオデ一夕の表示ウィンドウ W5 7を 3次元表示空間上に配置する際、特徴パラメ一夕に基づいて 3次元表示空間内の座標パラメ一夕を再度計算する必要がなく、瞬時に表示ウィンドウ W 5 7を配置することができる。

( 2 - 5 ) 表示処理手順

次に、画像処理装置 2のマイクロプロセッサ 3によるビデオデ一夕に対する表示処理手順及び複数のビデオデ一夕に対する表示処理手順について具体的にフローチャートを用いて説明する。

( 2— 5— 1 ) ビデオデータのピクチャ（静止画像）に対する分類表示処理手順

図 1.6に示すように、画像処理装置 2のマイクロプロセッサ 3は、ル —チン； R T 1の開始ステップから入って次のステップ S P 1へ移り、ュ —ザにより指定された 3次元表示空間の表示軸や、ユーザに対して画像群 58を表示する際の視点座標を決定し、次のステップ S P 2へ移る。

ここで、画像処理装置 2のマイクロプロセッサ 3は、例えば図 1 7 (A) に示すように、 R G Bの各色成分を表す R軸、 G軸及び B軸からなる 3次元表示空間、図 1 7 (B) に示すように、輝度レベル軸、； R軸及び B軸からなる 3次元表示空間、図 1 7 ( C) に示すように、動き量軸、 C b舳及び C r軸からなる 3次元表示空間、図 1 7 (D) に示すように、細かさ情報軸、輝度レベル軸、及び色相軸からなる 3次元表示空間、図 1 7 (E) に示すように、 R軸、 D C T縦周波数軸、 D C T横周波数軸からなる 3次元表示空間、図 1 7 ( F ) に示すように D C T縦周波数軸、 Cb軸及び C r軸からなる 3次元表示空間、図 1 7 ( G) に示すように H L S空間の各要素である L (L um i n a n c e ) 軸、 H (Hu e) 軸、及び S (S a t u r a t i o n) 軸からなる種々の 3次元表示空間等を生成するように各表示軸を決定することができるが、これらに限られるものではなく、メ夕デ一タフアイルに登録された種々の特徴パラメ一夕を表示軸とした 3次元表示空間を生成するように決定することが可能である。

ステップ S P 2において、画像処理装置 2のマイクロプロセッサ 3は、ユーザによって指定された再生すべきビデオデ一夕のピクチャ（静止画像）を認識し、次のステップ S P 3へ移る。ステップ S P 3において、マイクロプロセッサ 3は、その静止画像を注目フレームとし、そのサブ ' ビデオストリ一ム L D 1をデコードし、その結果得られるデコード後のサブ · ビデオデータを G P U 4へデータ転送し、次のステヅプ S P 4へ移る。

ステップ S P 4において、画像処理装置 2のマイクロプロセッサ 3は、その静止画像に対応付けられているメ夕デ一夕ファイル MDFから、 3 次元表示空間の表示軸に用いられる特徴パラメ一夕の特徴量を照会して受け取り、次のステップ S P 5へ移る。

ステップ S P 5において、画像処理装置 2のマイクロプロセヅサ 3は、ステップ S P 4で受け取った特徴パラメ一夕の特徴量に基づいて、静止画像の表示ゥインドウ W 57を貼り付けるべき、 3次元表示空間上の座標位置を計算し（座標パラメ一夕を算出し）、次のステップ S P 6へ移る。すなわち、画像処理装置 2のマイクロプロセッサ 3は、静止画像が有する表示軸のパラメ一夕に対する特徴量を 3次元表示空間上の座標位置に変換するようになされている。

ステップ S P 6において、画像処理装置 2のマイクロプロセッサ 3は、表示すべき静止画像がこれで終わりか否かを判定する。ここで肯定結果が得られると、このことはユーザによつてこれ以外の他の静止画像が指定されておらず、他に表示すべき表示ウインドウ W 5 7が他には存在しないことを表しており、このときマイクロプロセヅサ 3は次のステップ S P 7へ移る。

これに対して、ステップ S P 6で否定結果が得られると、このことはユーザによってこれ以外の他のビデオデータのピクチャ（静止画像）が指定されており、他の静止画像に対応した表示ウインドウ W 5 7が他にも存在することを表しており、このとき画像処理装置 2のマイクロプロセヅサ 3はステップ S P 2へ戻って上述の処理を繰り返すことにより、複数の静止画像に対.応した複数の表示ウインドウ W 5 7に対する 3次元表示空間上の座標位置をその静止画像の特徴パラメ一夕に示される特徴量に従って計算する。，

ステップ S P 7において、画像処理装置 2のマイグロプロセッサ 3は G P U 4により、ステップ S P 5で計算した 3次元表示空間上の座標パラメ一夕（座標位置）に基づいて静止画像に対応する表示ウィンドウ W 5 7を 3次元表示空間に貼り付け、ステップ S P 1で決定した視点座標に基づいて 3次元表示空間の座標パラメ一夕（座標位置）を、表示部 5 5の 2次元画面における 2次元座標位置（表示位置パラメ一夕）に変換すると共に、各表示ウィンドウ W 5 7の表示サイズを決定し、その 2次元座標位置にその表示ウインドウ W 5 7を描画して表示し、' 次のステツプ S P 8へ移る。

このとき、画像処理装置 2のマイクロプロセッサ 3は、複数のビデオデータの静止画像（ピクチャ）がユーザによって指定されているときには、当該複数の静止画像に対応する複数の表示ウィンドウ W 5 7を、その静止画像の特徴パラメ一夕に従ってそれぞれ 3次元表示空間上の座標位置（座標パラメ一夕に示される位置）に配置することになり、これら複数の表示ゥインドウ W 5 7からなる画像群 5 8 として提示する。

ステップ S P 8において、画像処理装置 2のマイクロプロセッサ 3は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準に表示ウィンドウ W 5 7の表示処理を終了するか否かを判定し、肯定結果が得られると次のステップ S P 1 1へ移って表示ウィンドウ W 5 7の表示処理を終了する。

これに対して、ステップ S P 8で否定結果が得られると、画像処理装置 2のマイクロプロセッサ 3は、表示ウインドウ W 5 7の表示処理を終了することなく次のステップ S P 9へ移る。ステップ S P 9において、画像処理装置 2のマイクロプロセッサ 3は、ュ一ザによるカーソル操作に応じて、表示ウインドウ W 5 7に対する視点座標が変更されるまで待ち受け、次のステップ S P 1 0へ移る。

ステップ S P 1 0において、画像処理装置 2のマイクロプロセッサ 3 は、ユーザによって表示ウインドウ W 5 7に対する視点座標が実際に変更されたか否かを判定じ、否定結果が得られると、ステップ S P 7へ戻つて当初の座標位置のまま静止'画像の表示ウインドウ W 5 7を表示させ続けるのに対し、肯定結果が得られるとステップ S P 1へ戻って変更後の新たな視点座標を決定し、ステップ S P 2以降の処理を繰り返し、新たな視点座標を基準とした 3次元表示空間に対して、表示ウィンドウ W 5 7を再配置する。

ここで、画像処理装置 2のマイクロプロセッサ 3は、新たな視点座標を基準とした 3次元表示空間に対して表示ウィンドウ W 5 7を再配置する際、視点変更に拘わらず、表示ウィンドウ W 5 7 を常にュ一ザに対して正対するように配置することにより、表示ウィンドウ W 5 7を常に正面からユーザに目視確認させ得るようになされている。 ·

このように、画像処理装置 2のマイクロプロセッサ 3は、ビデオデ一夕の静止画像が持つ特徴パラメ一夕に従って、 3次元表示空間上の座標位置に当該静止画像の表示ウインドウ W 5 7を配置することができるので、複数のビデオデータのピクチャ（静止画像）が指定されているときには、それら複数のビデオデータに対応する静止画像の表示ゥインドウ

W 5 7が配置されてなる画像群 5 8 (図 3 ) として提示することができ、当該画像群 5 8を介して複数のビデオデータの全体的な傾向をユーザに対して直感的なィメージとして認識させ得るようになされている。

ところで、画像処理装置 2のマイクロプロセッサ 3は、例えば D C T 横周波数軸、 R軸及び G軸からなる 3次元表示空間に対して、ビデオデ一夕のピクチャ（静止画像）に対応した表示ウィンドウ W 5 7を配置して表示している状態で、ユーザのズームアツプ操作に応じて視点座標を D C T横周波数軸よりの横周波数が大きい位置に動かした場合、図 1 8 に示すように縦方向に細かいスジが存在するような静止画像の表示ゥィンドウ W 5 7が D C T横周波数軸寄りに多数配置されたズームァップ画像群 5 8 Z 1を提示し得るようになされている。

また、画像処理装置 2のマイクロプロセッサ 3は、例えば D C T横周波数軸、 R軸及び G軸からなる 3次元表示空間に対してビデオデ一夕の静止画像に対応した表示ゥインドウ W 5 7を配置して表示している状態で、ユーザのズームアツ.プ操作に応じて視点座標を R軸よりの Rが大きい位置に動かした場合、 .図 1 9に示すように赤色成分を多く含むような静止画像の表示ゥインドウ W 5 7が R軸寄りに多数配置されたズームァップ画像群 5 8 Z 2を提示し得るようになされている。

更に、画像処理装置 2のマイグロプロセッサ 3は、例えば D C T横周波数軸、 R軸及び. G軸から.なる 3次元表示空間に対してビデオデ一夕のビクチャ（静止画像）に対応した表示ウインドウ W 5 7を配置して表示している状態で、ュ一ザのズームアツプ操作に応じて視点座標を G軸よりの Gが大きい位置に動かした場合、図 2 0に示すように緑色成分を多く含むような静止画像に対応する表示ウインドウ W 5 7が G軸寄りに多数配置されたズームアツプ画像群 5 8 Z 3を提示し得るようになされている。 ( 2— 5— 2 ) ビデオデ一夕（動画像）に対する分類表示処理手順続けて、ビデオデ一夕（動画）に対する表示処理手順を説明するが、基本的にはビデオデ一ダのピクチャ（静止画像）に対する表示処理手順 R T 1 と考え方は同じであり、ビデオデ一夕を構成している複数のピクチヤ（静止画像）をフレーム周波数に従って更新する度に上述の静止画像に対する表示処理手順 R T 1 を実行するのと同様の処理を実行するようになされている。

. 実際上、図 2 1 に示すように、画像処理装置 2のマイクロプロセッサ 3は、ル一チン R T 2の開始ステップから入って次のステップ S P 2 1 へ移り、ユーザにより指定された 3次元表示空間の表示軸や、ユーザに対して画像群 5 8を表示する際の視点座標を決定し、次のステップ S P 2 2へ移る。

ステップ S P 2 2において、画像処理装置 2のマイグロプロセッサ 3 は、ユーザによつて指定された再生すべきビデオ^—夕の静止画像を認識し、次のステップ S P 2 3へ移る。ステップ S P 2 3において、画像処理装置 2のマイクロプロセッサ 3は、その静止画像を注目フレームとし、そのサブ · ビデオストリ一ム L D 1 をデコ一ドし、その結果得られるデコード後のサブ ' ビデオデ一夕を G P U 4へデ一夕転送し、次のステヅプ S P 2 4へ移る。

ステップ S P 2 4において、画像処理装置 2のマイクロプロセッサ 3 は、その静止画像に対応付けられているメタデ一夕フアイル M D Fから 3次元表示空間の表示軸に用いられる特徴パラメ一夕の特徴量を照会して受け取り、次のステップ S P 2 5へ移る。

ステヅプ S P 2 5において、画像処理装置 2のマイクロプロセッサ 3 は、ステップ S P 2 4で受け取った特徴パラメ一夕の特徴量に基づいて、ビデオデ一夕を構成している各静止画像対応する表示ウインドウ W 5 7 を貼り付けるべき 3次元表示空間上の座標パラメ一夕（座標位置）を計算し、次のサブルーチン S R T 1へ移る。すなわち、画像処理装置 2のマイクロプロセッサ 3 ·は、. ビデオデ一夕を構成している複数のピクチャ (静止画像）がそれぞれ有する特徴量を表示軸とする 3次元表示空間上の座標パラメ一夕（座標位置）に変換するようになされている。

サブルーチン S R T 1において、画像処理装置 2のマイクロプロセヅサ 3は、ビデオデータを構成している複数の静止画像のうち前回表示した静止画像の 3次元表示空間上の座標パラメ一夕（座標位置）と、更新後の次に表示すべき静止画像の 3次元表示空間上の座標パラメ一夕（座標位置）との相互位置関係に基づいて、座標補正処理を行うことにより補正座標を計算し、次のステップ S P 2 6へ移る。因みに、このサブル —チン S R T 1における座標補正処理手順については、後述する。

ステップ S P 2 6において、画像処理装置 2のマイクロプロセヅサ 3 は、 G P U 4により、ステップ S P 2 5で計算した 3次元表示空間上の座標位置、又はサブルーチン S R T 1で得られた補正座標に基づいて、ビデオデ一夕を構成している各静止画像に対応する表示ウィンドウ W 5 .7を 3次元表示空間上に貼り付け、ステップ S P 2 1で決定した視点座標に基づいて、 3次元表示空間上の座標位置を、表示部 5 5の 2次元画面における 2次元座標位置（表示位置パラメ一タ）に変換すると共に、表示ゥインドウ W 5 7の表示サイズをそれぞれ決定し、その 2次元座標位置に当該表示ウインドウ W 5 7を静止画像の更新順に描画して表示し、次のステップ S P 2 7へ移る。 . ステップ S P 2 7において、画像処理装置 2のマイクロプロセッサ 3 は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準にビデオデータのに対応する表示ウインドウ W 5 7の表示処理を終了するか否かを判定し、肯定結果が得られると次のステヅプ S P 2 8へ移って、表示ウインドウ W 5 7の表示処理を終了する。

これに対して、ステップ S P 2 7で否定結果が得られると、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドウ W 5 7の表示処理を終了することなくステップ S P 2 1へ戻って次に指定されるビデオデー夕に対応する表示ウインドウ W 5 7に対する表示処理を実行する。

このように、画像処理装置 2のマイクロプロセッサ 3は、ビデオデー夕を構成する静止画像が有する特徴量パラメ一夕が表示軸に設定された 3次元表示空間上の座標位置に、当該静止画像の表示ウインドウ W 5 7 を配置し、 . 3次元表示空間上に配置された表示ウインドウ W 5 7の静止画像をフレーム周波数に従って更新する度に、当該静止画像の特徴パラメ一夕の示す特徴量が変化することに応じて、 3次元表示空間上の座標位置（座標パラメ一夕）を変更して配置し直すことにより、表示ウィンドウ W 5 7の静止画像を更新する度にあたかも当該表示ウインドウ W 5 7が 3次元表示空間上を浮遊して移動するかのような印象をユーザに与えることができるので、ビデオデータの時系列的な特徴（傾向）を、その再生映像の進行に伴った表示ウインドウ W 5 7の動きの変化によるィメ一ジとして、ユーザに直感的かつ瞬時に認識させ得るようになされている。

( 2— 5— 3 ) 複数のビデオデータ（動画像）に対する同時表示処理手順

同様に、複数のビデオデータに対する同時表示処理手順を説明するが、基本的には 1つのビデオデータに対する表示処理手順 R T 2 と考え方は同じであり、ビデオデ一夕.を構成している複数の静止画像を更新する度に、各静止画像の特徴パラメ一夕の変化に応じて、 3次元表示空間上の配置場所を変更しながら、表示ウィンドウ W 5 7を移動表示することを、ビデオデータ毎に同時並行して実行するようになされている。

図 2 2に示すように、実際上、画像処理装置 2のマイクロプロセヅサ 3は、ルーチン R T 3の開始ステヅプから入って次のステップ S P 3 1 へ移り、ユーザにより指定された 3次元表示空間の表示軸や、ユーザに対して画像群 5 8を表示する際の視点座標を決定し、次のステップ S P 3 2へ移る。

ステップ S P 3 2において、画像処理装置 2のマイクロプロセッサ 3 は、ユーザによって指定された再生すべき複数のビデオデ一夕における静止画像をそれぞれ認識し、次のステップ S P 3 3、ステップ S P 3 6、ステップ S P 3 9へ移る。

ステップ S P 3 3、ステップ S P 3 6及びステップ S P 3 9において、画像処理装置 2のマイクロプロセッサ 3は、各静止画像を注目フレームとし、そのサブ ' ビデオ津砥リーム L D 1をデコード、し、その結果得られるデコード後のサブ . ビデオデータをそれぞれ G P U 4へデータ転送し、次のステップ S P 3 4、ステップ S P 3 7、ステップ S P 4 0へ移る。

ステップ S P 3 4、ステップ S P 3 7及びステップ S P 4 0において、画像処理装置 2のマイクロプロセッサ 3は、各静止画像に対応付けられているメタデ一夕ファイル MD Fから 3次元表示空間の表示軸に用いられる特徴パラメ一夕の特徴量をそれぞれ照会して受け取り、次のステツプ S P 3 5、ステップ S P 3 8、ステップ S P 4 1へ移る。

ステップ S P 3 5、ステップ S P 3 8及びステップ S P 4 1において、画像処理装置 ·2のマイクロプロセヅサ 3は、ステップ S Ρ 3 4、ステツプ S Ρ 3 7、ステップ S Ρ 4 0で受け取った特徴パラメ一夕の特徴量に基づいて、各ビデオデ一夕.における各静止画像の表示ウィンドウ W 5 7 . を貼り付けるべき 3次元表示空間上の座標パラメ一夕（座標位置）を計算し、次のサブルーチン S R Τ 1へそれぞれ移る。すなわち、画像処理装置 2のマイクロプロセッサ 3は、複数のビデオデ一夕をそれぞれ構成している各静止画像が有する特徴パラメ一夕が表示軸に設定された 3次元表示空間内の座標パラメ一夕（座標位置）に変換するようになされている。サブルーチン S R T 1において、画像処理装置 2のマイクロプロセヅサ 3は、ビデオデ一夕を構成している複数の静止画像のうち、前回表示した静止画像の 3次元表示空間内の座標パラメ一夕（座標位置）と、次に表示する静止画像の 3次元表示空間上の座標パラメ一夕（座標位脣）との相互位置関係に基づいて、それぞれ座標補正を行うことにより補正座標を得、次のステップ S Ρ 4 2へ移る。

ステップ S Ρ 4 2において、画像処理装置 2のマイクロプロセッサ 3 は、 G P U 4 により、ステップ S Ρ 3 5、ステップ S Ρ 3 8、ステップ S Ρ 4 1で計算した 3次元表示空間上の座標位置に基づいて、ビデオデ一夕を構成している各静止画像の表示ウインドウ W 5 7を 3次元表示空間内にそれぞれ貼り付け、ステップ S Ρ 3 1で決定した視点座標に基づいて、 3次元表示空間内の座標位置を、表示部 5 5の 2次元画面における .2次元座標位置（表示位置パラメ一夕）にそれぞれ変換すると共に、各表示ウィンドウ W 5 ,7の表示サイズをそれぞれ決定し、その 2次元座標位置にその各表示ゥインドウ W 5 7をそれぞれ配置することにより画像群 5 8を表示し、次のステップ S P 4 3へ移る。

ステップ S Ρ 4 3において、画像処理装置 2のマイクロプロセッサ 3 は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準に画像群 5 8の表示処理を終了するか否かを判定し、肯定結果が得られると次のステップ S P 4 4へ移って複数のビデオデータに対応した複数の表示ウインドウ W 5 7 ·からなる画像群 5 8の表示処理を終了する。

これに対して、ステヅプ S Ρ 4 4で否定結果が得られると、画像処理装置 2のマイクロプロセッサ 3は、画像群 5 8の表示処理を終了することなくステップ S Ρ 3 1へ戻って次に指定されるビデオデ一夕の表示ゥインドウ W 5 7に対する表示処理を実行する。

このように、画像処理装置 2のマイクロプロセッサ 3は、複数のビデォデ一夕におけるそれぞれの静止画像が有する表示軸の特徴パラメ一夕に対する特徴量に従って、 3次元表示空間内の座標パラメ一夕（座標位置）に、当該複数の静止画像の表示ウインドウ W 5 7をそれぞれ配置し、 3次元仮想空間内にそれぞれ配置された表示ウインドウ W 5 7の静止画像をフレーム周波数に従って更新する度に、当該静止画像の特徴パラメ一夕の示す特徴量が変化することに応じて 3次元表示空間内の座標パラメ一夕（座標位置）をそれぞれ変更して配置し直すことにより、複数のビデオデ.一夕に対応した表示ウインドウ W 5 7の静止画像を更新する度にあたかも当該表示ウィンドウ W 5 7が 3次元表示空間内を浮遊移動するかのような印象をユーザに与えることができるので、複数のビデオデ —夕の特徴（傾向）を、複数の表示ウインドウ W 5 7の動きの変化によるイメージとしてユーザに直感的かつ瞬時に認識させ得るようになされている。

すなわち、画像処理装置 2では、複数のビデオデータを構成している静止画像の特徴が非常に似ていれば、それぞれのビデオデータに対応した表示ウインドウ W 5 7が浮遊する動き · 方向も揃ったものになる。.一方、複数のビデオデ一夕を構成している静止画像の特徴が異なっている場合には、それぞれのビデオデータに対応した表示ウインドウ W 5 7の動き · 方向は全て異なったものになる。

従って、このような場合、画像処理装置 2では、複数のビデオデータのうち、表示ウィンドウ W 5 7の動きを、注目したいビデオデータのみがュ一ザに選択されていれば、そのビデオデ一夕に対応した表示ウインドウ W 5 7の動きだけに着目し易くなり、そのビデオデータの特徴（傾向）を、その表示ウィンドウ W 5 7の動きの変化を表したインパクトのあるイメージとしてュ一ザに印象付けることができる。

具体的には、図 2 3に示すように、画像処理装置 2のマイクロプロセ . ヅサ 3は、画像群 5 8のうち、あるビデオデ一夕に対応する表示ウィンドウ W 5 7の最初の静止画像に B軸の青色成分が強く含まれている場合、その静止画像が有する B軸の特徴パラメ一夕の示す特徴量に応じて表示ウィンドウ W 5 7を画面左下隅の位置 P 0 1に配置する。

その後、画像処理装置 2のマイクロプロセッサ 3は、ビデオデータの静止画像を更新すると、その更新後の次の静止画像における青色成分の特徴量に応じて、当該静止画像の表示ウインドウ W 5 7を位置 P 0 1から移動させた位置 P O 2へ配置し直す。

さらに、画像処理装置 2のマイクロプロセヅサ 3は、ビデオデータの静止画像を更に更新すると、その更新後の次の静止画像における青色成分の特徴量に応じて、当該静止画像の表示ゥインドウ W 5 7を先程の位置 P 0 2から更に移動させた位置 P 0 3へ配置し直す。 · このように、画像処理装置 2のマイクロプロセッサ 3は、ビデオデ一夕の静止画像を更新する度に、それぞれの静止画像の特徴パラメ一夕の示す特徴量に応じて、 3次元表示空間内の座標位置を変更しながら配置し直していくことにより、ビデオデータに対応した表示ウインドウ W 5 があたかも表示部 5 5の画面上を浮遊して移動いる様子をユーザに対して目視確認させ得るようになされている。

( 2— 5— 4 ) 座標補正処理手順

次に、上述のルーチン； R T 2におけるサブルーチン S R T 1 (図 2 1 ) の座標補正処理 · '

手順及びルーチン R T 3におけるサブルーチン S R T 1 (図 2 2 ) における座標補正処理

手順について説明するが、これらは全て同じ処理手順である。

図 2 4に示すように、この座標補正処理手順 S R T 1では、表示ウインドウ W 5 7の静止画像を更新する際、当該表示ウインドウ W 5 7を静止画像の特徴量に応じて順次移動させるときに、図 2 5に示すように、シーンチェンジ等により大きく表示ウィンドウ W 5 7をジャンプさせる場合、一気にジャンプしてしまうのではなく、移動スピードを調整しな W

がら（段階的に移動させながら）最終的に目的の移動先に配置させるようになされており、その際に本来の移動先となる座標位置ではなく補正計算により算出した次の補正座標の位置まで移動させることにより、ュ

—ザに表示ウィンドウ W 5 7の動きを目で追わせながら当該表示ウインドウ W 5 7を移動表示させ得るようになされている。

実際上、画像処理装置 2のマイクロプロセッサ 3は、サブルーチン S R T 1の開始ステップかち入って次のステヅプ S P 6 1へ移り、ビデオデータの静止画像を更新する際、現在の静止画像に対応した表示ゥィンドウ W 5 7の 3次元表示空撣内の位置 P 0 n,から次の静止画像に対応した表示ウインドウ W 5 7の 3次元表示空間内の位置 P 0 n + 1へを移動させるときの移動先座標（位置 P O n + 1 ) と現在座標（位置 P O n ) との差分を算出することにより、仮移動距離（ュ一クリッド距離）を求め、次のステップ S P 6 2へ移る。

ステップ S P 6 2において、画像処理装置 2のマイクロプロセヅサ 3 は、移動先座標と現在座標との差分を算出し、その大きさが「 1」のべクトルを移動方向べクトルとして求め、次のステップ S P 6 3へ移る。ステップ S P 6 3において、画像処理装置 2のマイクロプロセッサ 3 は、ステップ S P 6 1で求めた仮移動距離の方が予め定めておいた所定の移動最小値よりも小さいか否かを判定する。ここで肯定結果が得られると、このことは仮移動距離が移動最小値よりも小さいこと、すなわち現在の静止画像に対応した表示ウインドウ W 5 7の位置 P 0 nから.次の静止画像に対応した表示ウインドウ W 5 7の位置 P 0 n + 1へ当該表示ウィンドウ W 5 7を移動させた場合でもその距離が短く、ユーザに表示ウィンドウ W 5 7の動きを目で追わせることが十分可能であることを表しており、このときマイクロプロセッサ 3は次のステップ S P 6 4へ移る。

ステップ S P 6 4において、画像処理装置 2のマイクロプロセッサ 3 _{U D} ^ ₆,

WO 2007/126096

は、表示ウィンドウ W 5 7を次に移動させるべき移動先座標が次の静止画像の特徴量に応じて定められる座標値そのものであると認識し、その座標値に表示ウインドウ W 5 7を配零した後、ステップ S P 6 8へ移つて処理を終了する。

これに対して、ステップ S P 6 3で否定結果が得られると、このことは仮移動距離が移動最小値よりも大きいこと、すなわち現在の静止画像に対応した表示ウインドウ W 5 7の位置 P 0 nから次の静止画像に対応した表示ウインドウ W 5 8の位置 P 0 n + 1へ当該表示ウインドウ W 5 7を移動させた場合にはその距離が非常に長く、ユーザに表示ウインドゥ W 5 7の動きを目で追わせることが困難であることを表しており、このとき画像処理装置 2のマイクロプロセヅサ 3は、次のステヅプ S P 6 5へ移る。

ステヅプ S P 6 5において、画像処理装置 2のマイクロプロセヅサ 3 は、予め定めておいた所定の移動最大値よりもステップ S P 6 1で求めた仮移動距離の 1 / 2 (以下、これを仮移動距離 / 2 と表現する）の方が大きいか否かを判定する。ここで肯定結果が得られると、' このことは仮移動距離/ 2が移動最大値よりも大きいこと、すなわち現在の静止画像に対応した表示ウインドウ W 5 7の位置 P 0 nから仮移動距離/ 2に相当する補正座標の位置へ当該表示ウインドウ W 5 7を移動させた場合でも未だその距離が長く.、ユーザに表示ウィンドウ W 5 7の動きを目で追わせることが困難であることを表しており、このとき画像処理装置 2 のマイクロプロセッサ 3は次のステップ S P 6 6へ移る。

ステップ S P 6 6において、画像処理装置 2のマイクロプロセッサ 3 は、補正座標（二現在座標 +移動方向ベクトル X移動最大値）を求め、この求めた補正座標を表示ウインドウ W 5 7の移動先座標として決定し、次のステップ S P 6 8へ移って処理を終了する。

これに対して、ステップ S P 6 5で否定結果が得られると、このことは仮移動距離 / 2が移動最大値よりも小さいこと、すなわち現在の静止画像に対応した表示ウインドウ W 5 7の位置 P 0 nから仮移動距離/ 2 に相当する補正座標の位置へ当該表示ウインドウ W 5 7 を移動させた場合の距離が短く、ユーザに表示ゥインドウ W 5 7の動きを目で追わせることが容易であることを表しており、このときマイクロプロセッサ 3は次のステップ S P 6 7へ移る。

ステップ S P 6 7において、画像処理装置 2のマイクロプロセッサ 3 は、補正座標（=現在座標 +移動方向ベクトル X仮移動距離 / 2 ) 'を求め、この求めた補正座標を表示ゥインドウ W 5 7の移動先座標として決定し、次のステップ S P 6 8へ移って処理を終了する。

このようにすれば、画像処理装置 2のマイクロプロセッサ 3は、例えば図 2 6に示すように、あるビデオデ一夕の表示ウインドウ W 5 7がそのときの静止画像に対応した位置 P 0 nの現在座標から、次の静止画像に対応した位置 P 0 n + 1へ瞬時に移動するシ一ンチェンジがあった場合、上述の座標補正処理手順 S R T 1 を実行することにより、当初、表示ウィンドウ W 5 7の位置 P O nから次に移動する予定の移動先座標の位置； P 0 11 + 1 までの仮移動距離が移動最小値よりも大きい場合、仮移動距離 Z 2か、若しくは移動最大値の分だけ移動させるように補正座標を求め（この場合、仮移動距離 Z 2の座標位置）'、その補正座標に対応した位置 P O mに表示ウインドウ W 5 7を一時的に配置して表示する。このとき、画像処理装置 2めマイクロプロセッサ 3は、シーンチェンジ後の静止画像を表示ウインドウ W 5 7に表示するが、これに限るものではなく、シーンチェンジ後の位置 P 0 n + 1 まではシーンチェンジ前の静止画像を表示ウィンドウ W 5 7に表示しても良く、また、シーンチェンジ前からシーンチェンジ後までの中間位置まではシーンチェンジ前の静止画像を表示ウインドウ W 5 7に表示し、それ以降シーンチェンジ後までは当該シーンチェンジ後の静止画像を表示ウインドウ W 5 7に表示しても良い。

そして、画像処理装置 2のマイクロプロセッサ 3は、その表示ウィンドウ W 5 7の位置 P O mから、その次の更新した静止画像に対応した位置 P 0 n + 2までの仮移動距離が未だ移動最小値よりも大きい場合、仮移動距離 / 2か、若しくは移動最大値の分だけ移動させるように補正座標を再度求め、その補正座標に対応した位置 P 0 m + 1に表示ウインドゥ W 5 7を一時的に配置して表示する。

続けて、画像処理装置 2のマイクロプロセッサ 3は、その表示ウィンドウ W 5 7の位置 P O m + 1から、更に更新した静止画像に対応した位置 P 0 n + 3までの仮移動距離が未だ移動最小値よりも大きい場合、仮移動距離 / 2か、若しくは移動最大値の分だけ移動させるように補正座檫を再度求め、その補正座標に対応した位置 P O m + 2に表示ウインドゥ W 5 7を一時的に配置して表示する。

その後、画像処理装置 2のマイクロプロセッサ 3は、その表示ウィンドウ W 5 7の位置 P O m + 2から、更に更新した静止画像に対応した位置： P 0 n + 4までの仮移動距離が遂に移動最小値よりも小さくなった場合、その仮移動距離に対応した移動先座標の位置 P 0 n + 4に.表示ゥィンドウ W 5 7を直接移動させて表示するようになされている。

即ち、画像処理装置' 2のマイクロプロセッサ 3は、ビデオデータに対応した表示ゥインドウ W 5 7の静止画像をそのフレーム周波数に従って更新する際、当該表示ウインドウ W 5 7を静止画像の特徴パラメ一夕の示す特徴量に応じてフレーム毎に配置し直すが、シーンチェンジ等により大きく表示ウインドウ W 5 7をジャンプさせる必要が生じたときであつても、当該表示ウィンドウ W 5 7を一気にジャンプしてしまうのではなく、目的の移動先に近付くに連れて段階的に移動距離を次第に短くしながら近付けさせるように配置し直していくことにより、シーンチェンジ時における表示ウインドウ W 5 7の動きをユーザが見失うことなく追従させ得るようになされている。

( 3 ) 再配置処理

次に、画像処理装置 2では、 3次元表示空間の表示軸を決めて、ビデ . ォデ一夕の表示ウィンドウ W 5 7を 3次元表示空間内にそれぞれ配置した後に、ュ一ザの操作に応じて 3次元表示空間の表示軸を任意に変更して表示ウインドウ W 5 7を再度配置し直すことが可能であり、その再配置処理について説明する。

画像処理装置 2のマイクロプロセッサ 3は、ビデオデータの表示ウインドウ W 5 7 を 3次元表示空間内に配置した後に、ユーザによる G U I 6 5 (図 4〜図 6 ) を介した表示軸のパラメ一夕を変更する操作に応じて、新たな表示軸による新たな 3次元表示空間を生成し直すようになされている。

このとき、画像処理装置 2のマイクロプロセッサ 3は、図 2 7に示すル一チン R T 4め開始ステップから入って次のステヅプ S P 7 1へ移り、ユーザの表示軸に対する特徴パラメ一夕変更操作の内容を認識し、現在の表示軸から変更すべき新たな表示軸に対応する特徴パラメ一夕を確認した後、次のステップ S P 7 2へ移る。

ステップ S P 7 2において、画像処理装置 2のマイクロプロセッサ 3 は、新たな 3次元表示空間の表示軸と、そのときの視点座標を決定し、次のステヅプ S. P 7 3へ移る。但しマイクロプロセッサ 3は、視点座標について何ら変更がなければ、従前の視点座標をそのまま用いるようになされている。

ステップ S 7 2において、画像処理装置 2のマイクロプロセヅサ 3 は、既に画像群 5 8を構成する複数の表示ゥインドウ W 5 7を介して表示していたビデオデ一夕の静止画像を注目フレームとし、その注目フレームに対応付けられているメ夕デ一夕ファイル M D Fから新たな 3次元表示空間の表示軸に用いられる特徴パラメ一夕の特徴量を照会して受け取り、次のステップ S P 7 4へ移る。

ステップ S P 7 4において、画像処理装置 2のマイクロプロセッサ 3 は、ステップ S P 7 3で受け取った特徴パラメ一夕の特徴量に基づいて静止画像の表示ウィンドウ' W 5 7を貼り付けるべき新たな 3次元表示空間内の座標パラメ一夕（座標位置）を再計算し、次のステップ S P 7 5 へ移る。

' ステップ S P 7 5において、画像処理装置 2のマイクロプロセッサ 3 は、表示ウィンドウ W 5 7に表示すべきビデオデ一夕の静止画像がこれで終わりか否かを判定する。

ここで肯定結果が得られると、このことはこれら以外のビデオデータを表示すべき表示ウインドウ W 5 7が他には存在しないことを表しており、このときマイクロプロセッサ 3は次のステップ S P 7 6へ移る。これに対して、画像処理装置 2のステップ S P 7 5で否定結果が得られると、このことは他に表示すべきビデオデータの表示ゥインドウ W 5 7が他にも存在することを表しており、このときマイクロプロャヅサ 3 はステップ S P 7 2へ戻って、上述の処理を繰り返すことにより、複数のビデオデ一夕にそれぞれ対応した複数の表示ウインドウ W 5 7に対する新たな 3次元表示空間上の座標位置をそれぞれの静止画像の特徴パラメ一ダに従って計算する。

ステップ S P 7 6において、マイクロプロセッサ 3は、 G P U 4により、ステップ S P 7 4で計算した新たな 3次元表示空間の座標位置に基づいて、ビデオデ一夕の表示ウインドウ W 5 7を新たな 3次元表示空間に描画して貼り付けると共に、ステップ S P 7 2で決定した視点座標に基づいて新たな 3次元表示空間の座標位置を 2次元画面に表示するための 2次元座標（表示位置パラメ一夕）に変換すると共に、複数の表示ゥインドウ W 5 7の表示サイズを決定し、その 2次元座標にこれら複数の表示ウィンドウ W 5 7を表示することにより、新たな 3次元表示空間上に再配置し直した複数の表示ウインドウ W 5 7からなる画像群 5 8を提示し得、次のステップ S P 7 7へ移る。

ステップ S P 7 7において、マイクロプロセッサ 3は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準にして、画像群 5 8の表示を終了するか否かを判定し、肯定結果が得られると次のステツプ S P 8 0へ移って画像群 5 8の表示処理を終了する。

これに対して、ステップ S P 7 7で否定結果が得られると、マイクロプロセヅサ 3は画像群 5 8の表示を終了することなく次のステツプ S P 7 8へ移る。ステヅプ S P 7 8において、マイクロプロセッサ 3は、ュ —ザによる力一ソル操作に応じて表示ウインドウ W 5 7に対する視点座標が次に変更されるまで待ち受け、. 次のステップ S P 7 9へ移る。

ステップ S P 7 9において、マイクロプロセッサ 3は、ュ一ザによつて表示ウィンドウ W 5 7に対する視点座標が実際に変更されたか否かを判定し、否定結果が得られると、ステップ S P 7 6へ戻ってそのまま画像群 5 8を表示させ続けるのに対し、肯定結果が得られるとステップ S P 7 1へ戻ってユーザの表示軸に対する特徴パラメ一夕変更操作の内容を認識し、現在の表示軸から変更すべき新たな表示軸の特徴パラメ一夕を確認した後、次のステップ S P 7 2以降の処理を繰り返す。 ·

このように、画像処理装置 2のマイクロプロセッサ 3は、図 2 8に示すように、ビデオデータの静止画像の特徴パラメ一夕の示す特徴量に従つて、当初は例えば B軸、 D C T縦周波数軸及び D C T横周波数軸からなる 3次元表示空間内に配置された表示ウインドウ W 5 7 1及び W 5 7 2であっても、そめ表示軸が例えば R軸、 B軸及び G軸に変更された新たな 3次元表示空間内に配置し直した場合には、その表示ウィンドウ W 5 7 1及び W 5 7 2の分置結果を大きく変更した状態で再提示し得るようになされている。

従って、画像処理装置 2のマイクロプロセッサ 3は、 3次元表示空間の表示軸をユーザの好みに合わせて任意に変更し、表示ウィンドウ W 5 7を再配置することにより、その再配置結果を介して、ビデオデ一夕の全体的な特徴（傾向）をユーザに対して直感的に認識させ得るようになされている。

これにより、ュ一ザは、当初の B軸、 D C T縦周波数軸及び D C T横周波数軸からなる 3次元表示空間内に配置された表示ウインドウ W 5 7 1及び W 5 7 2を目視確認しただけでは「海」の静止画像が有する青色成分の特徴量が似通っている印象しか受けないが、次に R軸、 B軸及び G軸に変更された新たな 3次元表示空間上に分類配置された表示ウインドウ W 5 7 1及び W 5 7 2を目視確認したときには、その静止画像における緑色成分及び赤色成分の特徴量がそれぞれ異なつている印象を受けることになり、ビデオデータの管理及び検索を容易に実行することができるようになる。

( 4 ) グループ表示処理 ,

また、画像処理装置 2では、ビデオデータの静止画像における特徴が類似している表示ウインドウ W 5 7同士をグループ化して表示することが可能であり、ここではそのグループ表示処理について説明する。

例えば、図 2 9 · ( A ) 及び（B ) に示すように、画像処理装置 2のマイク口プロセッサ 3は、例えば複数のビデオデ一夕にそれぞれ対応した複数の表示ウインドウ W 5 7 1〜W 5 7 8を 3次元表示空間内に配置して表示する場合、これら複数の表示ゥインドウ W 5 7 1〜W 5. 7. 8については、複数のビデオデータをそれぞれ再生する際、そこに表示する静止画像を更新する度に、当該 ¾示ウインドウ W 5 7 1〜W 5 7 8が矢印方向へ少しずつ移動していく。 .

そして、図 2 9 ( C ) に示すように画像処理装置 2のマイクロプロセッサ 3は、ビデオデ一夕の再生途中段階又は再生終了時に、隣合う表示ウィンドウ W 5 7 1〜W 5 7 8同士の距離 L 1を算出し、その距離 L 1 が所定の閾値 T H 1未満であれば互いに隣接する静止画像同士の特徴量における類似性が高く、閾値 T H 1以上であれば互いに隣接する静止画像同士の特徴量における類似性が低いと判断し、例えば類似性が高いもの同士の表示ウィンドウ W 5 7 1、 W 5 7 3を第 1グループとし、当該表示ゥインドウ W 5 7 1、 W 5 7 3の表示枠を第 1の所定色に色付けして表示し、同様に表示ウィンドウ W 5 7 2、 W 5 7 7、 W 5 7 8を第 2 グループとして第 2の所定色に色付けして表示するようになされている。この場合、画像処理装置 2のマイクロプロセッサ 3は、例えば表示ゥインドウ W 5 7 4、 W 5 7 6、 W 5 7 5に関しては互いの距離 L 1が閾値 T H 1以上であり、互いに隣接する静止画像の特徴量における類似性が低いのでグループ分けの対象から外し、例えばその表示ウインドウ W 5 7 4 s W 5 7 6、 W 5 7 5の輝度レベルを落として表示することにより、第 1グループや第 2グループと視覚的な違いを持たせるようになされている。

実際上、図 3 0に示すように、画像処理装置 2のマイ.クロプロセッサ 3は、ルーチン: T 5の開始ステヅプから入って次のステヅプ S P 9 1 へ移り、表示部 5 5に表示した画像群 5 8を構成している複数の表示ゥィンドウ W 5 7 1〜 W 5 7 8のうち互いに隣接している表示ウィンドウ W 5 7間の距離 L 1をそれぞれ算出し、次のステヅプ S P 9 2へ移る。ステヅプ S P 9 2において、画像処理装置 2のマイク口プロセヅサ 3 は、互いに隣接している表示ウインドウ W 5, 7間の距離 L 1.と予め設定された所定の閾値 T H 1 とを比較し、距離 L 1.が閾値 T H. 1未満であるか否かを判定し、.肯定結果が得られると次のステツプ S P 9 3へ移る。ステヅプ S P 9 3において、画像処理装置 2のマイクロプロセッサ 3 は、隣接している表示ウインドウ W 5 7間の距離 L 1が閾値 T H 1未満であるので、 3次元表示空間内で非常に近接した位置に複数の表示ウインドウ W 5 7が配置されていると認識し、すなわちこれら複数の表示ゥインドウ W 5 7の静止画像が有する特徴量が似通っており、互いに類似していると判断し、次のステップ S P 9 4へ移る。

ステップ S P 9 4において、画像処理装置 2のマイグロプロセッサ 3 は、互いに類似していると判断した複数の表示ウインドウ W 5 7の表示枠を第 1の所定色や第 2の所定色に色付け表示することにより、互いに似通つた特徴量を持つグループとして色分け表示し、次のステップ S P 9 5へ移る。 '

ステップ S P 9 5において、画像処理装置 2のマイクロプロセッサ 3 は、画像群 5 8における全ての表示ウインドウ W 5 7について類似判断が終了したか否かを判定し、否定結果が得られるとステップ S P 9 1へ戻って上述の処理を繰り返し、全ての表示ウィンドウ W 5 7に対する類似判断が終了し、肯定結果が得られると次のステップ S P 9 8へ移って処理を終了する。，

これに対して、ステップ S P 9 2で否定結果が得られると、画像処理装置 2のマイクロプロセッサ 3は次のステップ S P 9 6へ移り、隣接している表示ウィンドウ W 5 7間の距離 L 1が閾値 T H 1以上であるので、両者は 3次元表示空間内の近接した位置に配置されておらず、すなわちこれら隣接した表示ウインドウ W 5 7の静止画像が有する特徴量が似通つていないので互いに非類似であると判断し、次のステップ S P 9 7へ移る。 '

ステップ S P 9 7において、画像処理装置 2のマイクロプロセッサ 3 は、互いに非類似であると判断した隣接した複数の表示ウインドウ W 5 7についてはグループ化することなく、それらの表示ウィンドウ W 5 7 の輝度レベルを所定レベルに落として表示することにより、グループ化できない表示ウィンドウ W 5 7であることを視覚的に認識できるように提示すると共に、結果としてグループ化した表示ウインドウ W 5 7を強調表示することになり、次のステップ S P 9 8へ移って処理を終了する。このように、画像処理装置 2のマイクロプロセッサ 3は、複数のビデォデ一夕にそれぞれ対応した複数の表示ゥインドウ W 5 7上で、再生途中 · 再生終了時の表示形態として、静止画像を基準としてその類似性を判断することにより類似性のあるグループと類似性のないグル一プに分け、類似性のあるグループに対しては表示ウインドウ W 5 7の表示枠を色付け表示し、類似性のない表示ウインドウ W 5 7に対しては表示ウインドウ W 5 7の輝度レベルを低下して表示することにより、ユーザに対して画像群 5 8の各表示ウインドウ W 5 7が持つ特徴量の傾向を色分けされたグループによって瞬時かつ直感的に認識させ得るようになされている。

ところで、画像処理装置 2のマイクロプロセッサ 3は、複数のビデオデータに対する再生処理を開始する前の時点における最初の静止画像を基準に上述のグループ表示処理手順 R T 5を実行しても良く、また、 '.動画再生中の静止画像を更新する度に上述のグループ表示処理手順 R T 5 を実行しても良い。

因みに、'画像処理装置 2のマイクロプロセッサ 3は、類似性のない表示ウィンドウ W 5 7に対する輝度レベルを落として表示するのではなく、グループ化された表示ウインドウ W 5 7 とは反対色になるような色付け表示を行ったり、グループ化された表示ウインドウ W 5 7の表示枠に色付け表示を行うのではなく、輝度レベルを非常に上げて表示したり、点滅表示させるようにしても良く、要は類似性のあるグループの表示ゥィンドウ W 5 7を他の表示ウィンドウ W 5 7よりも強調表示できるようにすれば良い。

上述したように、ビデオデータにおける特徴パラメ一夕が類似していること、又は、類似性のあるグループであることを示す類似度情報を、新たな特徴パラメ一夕又は後述する付随パラメ一夕として生成することも可能である。例えば、ビデオデータが上述した類似性が高いと判断された場合に、類似した回数を示すカウン夕をビデオデータ毎に設けて、カウントアップすることにより、ビデオデータ間の類似性を測定することもできる。そして、カウン夕が設定された閾値以上のビデオデ一夕のみを自動的に表示させることも可能である。

( 5 ) 表示応用例

続いて、画像処理装置 2のマイクロプロセッサ 3が実行可能な表示ゥインドウ W 5 7に対する表示応用例について説明する。

( 5 - 1 ) 表示ウィンドウを固定したまま ·3次元表示空間を動かすときの表示処理

画像処理装置 2では、ビデオデ一夕に対応した表示ウインドウ W 5 7 の静止画像を更新する際、静止画像毎に特徴量が変化することに応じて、表示部 5 5の表示ウィンドウ W 5 7をその位置に固定したまま、 3次元表示空間及び他の表示ウィンドウ W 5 7を移動して再配置することが可能であり、ここではそのような表示ウィンドウを固定した表示処理について説明する。 .

これまで、画像処理装置 2では、図 2 3に示したように、. .3次元表示空間を固定したまま、表示ウィンドウ W 5 7の静止画像を更新する度に、その静止画像の特徴量に応じて配置先となる 3次元表示空間内の座標パラメ一夕（座標位置）を変更することにより、表示ウィンドウ W 5 7をあたかも浮遊させるかのように、その位置 Ρ 0 1〜Ρ 0 3 まで移動表示する場合について説明してきた。

しかし.ながら、これに限るものではなく、画像処理装置 2では、表示部 5 5に表示したユーザが注目すべき表示ウィンドウ W 5 7の表示位置を固定させたまま、その表示ウィンドウ W 5 7の静止画像を更新する度に、各静止画像の特徴量に応じて 3次元表示空間自体を移動 · 回転させて表示ウインドウ W 5 7 と 3次元表示空間内の座標との相対的位置関係を変化させることにより、固定した表示ウィンドウ W 5 7に対して 3次元表示空間内の他の表示ウインドウ W 5 7を近づけさせたり、遠ざけさせたりするように浮遊させながら移動表示し得るようになされている。実際上、画像処理装置 2のマイクロプロセッサ 3は、図 3 1に示すように、図 2 3における位置 P O 1の静止画像を写し出した表示ウインドゥ W 5 7 Cを表示部 5 5の画面中央位置 P 0 cに固定させて表示した場合、その表示ウインドウ W 5 7 Cを中心としてその周囲に存在する他の表示ゥインドウ W 5 7についても当該表示ゥインドウ W 5 7 Cとの相対的位置関係を保った状態で表示する。

この後、画像処理装置 2のマイクロプロセッサ 3は、図 3 2に示すように、表示ウィンドウ W 5 7 Cの静止画像を更新して表示する際、当該表示ゥインドウ W 5 7 Cについては画面中央位置 P 0 cに固定したままであるため、更新した静止画像の特徴量に応じて 3次元表示空間と共に他の表示ウインドウ W 5 7についても移動させる。 ' さらに、画像処理装置 2のマイクロプロセッサ 3は、図 3 3に示すように、表示ウィンドウ W 5 7 Cの静止画像を更に更新して表示するとき、当該表示ウインドウ W 5 7 Cについては相変わらず画面中央位置 P〇 c に固定したままであるため、更新した静止画像の特徴量に応じて 3次元表示空間と共に他の表示ウインドウ W 5 7についても移動させる。

すなわち、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドゥ W 5 7 Cにビデオデータの再生映像を表示中、この表示ウィンドウ W 5 7 Cについては画面中央位置 P O cに固定したまま、フレーム毎に変化する静止画像の特徴量に応じて 3次元表示空間及び他の表示ウィンドゥ W 5 7を移動表示させることにより、.その表示ゥインドウ W 5 7 Cを目視確認しているユーザに対しては表示ウインドウ W 5 7 Cを見失うというリスクを排除しつつ、表示ウィンドウ W 5 7 Cと共にユーザ自身が 3次元表示空間の中を移動しているかのような印象を与え得るようになされている。このような表示ウィンドウ W 5 7 Cを固定したビデオデータの表示処理手順を続けて説明する。図 3 4に示すように、画像処理装置 2のマイクロプロセッサ 3は、ル一チン R T 6の開始ステツプから入って次のステヅプ S P 1 0 1へ移る。

ステップ S P 1 0 1において、画像処理装置 2のマイクロプロセッサ 3は、ユーザにより指定された 3次元表示空間の表示軸や、ユーザに対して画像群 5 8を表示する際の視点座標を決定し、次のステップ S P 1 0 2へ移る。

ステップ S P 1 0 2において、画像処理装置 2のマイクロプロセッサ 3は、ユーザによって指定された再生すべきビデオデ一夕の静止画像を認識し、次のステップ S P 1 0 3へ移る。ステップ S P 1 ◦ 3においてマイクロプロセヅサ 3は、その静止画像を注目フレームとし、そのサブ · ビデオストリーム L D 1 をデコ一ドし、その結果得られるデコ一ド後のサブ ' ビデオデ一夕を G P U 4へデ一夕転送し、次のステップ S P 1 0 4へ移る。

ステップ S P 1 0 4において、画像処理装置 2のマイクロプロセッサ 3は、その静止画像に対応付けられているメ夕デ一夕ファイル M D Fから 3次元表示空間の表示軸に用いられている特徴パラメ一夕の特徴量を照会して受け取り、次のステップ S P 1 0 5へ移る。

ステップ S P 1 0 5において、画像処理装置 2のマイクロプロセヅサ 3は、ステップ S P 1 0 4で受け取った特徴パラメ一夕の特徴量に基づいて、静止画像の表示ウインドウ W 5 7 Cを貼り付けるべき 3次元表示空間内の座標パラメ一夕（座標位置）を計算し、その座標位置が画面中央位置 P 0 cに相当するように視点座標を変更し、次のステップ S P 1 0 6へ移る。

ステップ S P 1 0 6において、画像処理装置 2のマイクロプロセッサ 3は、注目フレームの表示ウィンドウ W 5 7 Cを画面中央位置： P 0 cに „„ リ

固定して最初の静止画像を表示すると共に、その周囲に存在する他のビデォデ一夕にそれぞれ対応した表示ゥィンドウ W 5 7についても配置し直して表示し、次のステップ S P 1 0 7へ移る。

ステップ S P 1 0 7において、画像処理装置 2のマイクロプロセッサ 3は、画面中央位置 P O cに表示ウィンドウ W 5 7 Cを固定したまま、その表示ウィンドウ W 5 7 Cの静止画像を例えばフレーム周波数に従つて更新し、その更新後の静止画像に対応付けられているメタデータファィル M D Fから表示軸に用いられている特徴パラメ一夕の特徴量を照会して受け取り、次のステップ S P 1 0 8へ移る。

ステップ S P 1 0 8において、画像処理装置 2のマイクロプロセッサ 3は、 G P U 4により、画面中央位置 P 0 cの表示ゥインドウ W 5 7 C を固定したまま、更新後の静止画像の特徴量に応じて 3次元表示空間及び周囲の表示ウインドウ W 5 7を動かして描画し直し、次のステップ S P 1 0 9へ移る。 '

ステップ S P 1 0 9 において、マイクロプロセッサ 3は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準にして、画面中央位置 P O cの表示ウィンドウ W 5 7 Cの表示処理を終了するか否かを判定し、肯定結果が得られると次のステツプ S P 1 1 0へ移って表示ウィンドウ W 5 7 Cの表示処理を終了する。

これに対して、ステップ S P 1 0 9で否定結果が得られると、マイク口プロセヅサ 3は画面中央位置 P 0 cの表示ゥインドウ W 5 7 Cの表示. 処理を終了することなくステップ S P 1 0 1へ戻って上述の処理を繰り返す。

このように、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドウ W 5 7 Cにビデオデ一夕の再生映像を表示中、この表示ウインドウ W 5 7 Cを画面中央位置 P O cに固定し、更新する静止画像の特徴量に応じて 3次元表示空間及び他の表示ウィンドウ W 5 7を移動表示させることにより、その表示ウインドウ W 5 7 Cと 3次元表示空間及び他の表示ウィンドウ W 5 7との相対的位置関係の変化を通して、ビデオデータの特徴をュ一ザにィメージとして直感的に認識させ得るようになされている。

( 5 - 3 ) サブブラウザによる拡大表示例

更に、画像処理装置 2のマイクロプロセッサ 3は、画像群 5 8を構成している複数の表示ウインドウ W 5 7の表示サイズが必ずしも大きくないため、表示ウインドウ W 5 7を介してビデオの再生映像を表示したときでも、ユーザに対して十分に目視確認させ得ない場合がある。

このような場合、画像処理装置 2は、例えば図 3 5に示すように、画像群 5 8を構成している複数の表示ゥインドウ W 5 7のうち、例えば表示ウインドウ W 5 7 1、 W 5 7 2がユーザによってダブルクリックされる等の選択操作が行われると、当該表示ウィンドウ W 5 7 1、 W 5 7 2 に表示されるビデオデータを画面サイズの大きな生映像で表示すベくサブブラウザを立ち上げ、そのサブブラウザによる所定サイズの拡大表示ウィンドウ BW 5 7 1、 BW 5 7 2に対して、表示ウィンドウ W 5 7 1、 W 5 7 と同じ再生映像を拡大表示し得るようになされている。' これにより、画像処理装置 2は、表示ウインドウ W 5 7 1.、 W 5 7 2 の配置場所や画面サイズによつて再生映像が非常に小さく表示されていた場合であっても、ユーザに対して拡大表示ウインドウ BW 5 7 1、 B W 5 7 2を介してその再生映像の内容を目視確認させることができるので、複数のビデオデ一夕にそれぞれ対応した複数の表示ウインドウ W 5 7の中からユーザ所望のビデオデータを容易に探索させることができる。ここで、画像処理装置 2のマイクロプロセッサ 3は、拡大表示ウィンドウ BW 5 7 1、 BW 5 7 2を表示部 5 5の周囲に並べるように配置し、表示ウィンドウ W 5 7 1及び拡大表示ウインドウ BW 5 7 1の表示枠を同色で色付け表示し、表示ウィンドウ W 5 7 2及び拡大表示ウインドウ B W 5 7 2の表示枠を表示ウインドウ W 5 7 1及び拡大表示ウインドウ B W 5 7 1の表示枠とは異なる同色で色付け表示するようになされている。

これにより、画像処理装置 2のマイクロプロセッサ 3は、ユーザに対して、拡大表示ウインドウ BW 5 7 1、 B W 5 7 2で表示している再生映像が画像群 5 8の何れの表示ウインドウ W 5 7 1、 W 5 7 2であるかを同色の表示枠によって容易に判別させ得るようになされている。

なお、画像処理装置 2のマイクロプロセッサ 3は、拡大表示ウインドゥ BW 5 7 1、 B W 5 7 2を表示部 5 5の周囲に並べるように配置している関係で、この拡大表示ウィンドウ BW 5 7 1、 BW 5 7 2の数が多くなり過ぎると、画像群 5 8の表示ウインドウ W 5 7を隠蔽してしまうことになるので、拡大表示ウィンドウ BW 5 7 1、 B W 5 7 2の数が所定値以上になると、その縦横サイズを小さくして画面サイズを縮小するようになされている。 ' ( 6 ) 表示ウィンドウの軌跡表示処理

ところで、画像処理装置 2では、ビデオデータの再生映像を表示ウインドウ W 5 7により表示する場合、ビデオデ一夕を構成する複数のピクチヤ（静止画像）を更新する度に 3次元表示空間内の座標位置を変えながら表示することになるため、ある瞬間の表示ウィンドウ W 5 7の位置が所定時間経過後には非常に離れた位置にまで移動していることも多く、そのような場合ユーザはその再生映像の過去のタイミングではどのような特徴を有していたのかを記憶し切れず、ビデオデ一夕の特徴（傾向）を十分に認識させ得ないという事態が考えられる。 ' そのような点を考慮し、画像処理装置 2では、ビデオデータの再生映像を表示ウインドウ W 5 7に表示し、その表示ウィンドウ W 5 7を 3次元表示空間内で移動させながら、その表示ウィンドウ W 5 7の移動経過を、 3次元表示空間内の軌跡として表示することにより、ユーザに対し W

てビデオデータの再生映像を表示中にその過去又は未来、若しく'は双方の夕ィミングではどのような特徴を有しているのかをュ一ザに対して視覚的に目視確認させ、そのビデオデータにおける再生映像の表示終了後であってもビデオデータの特徴（傾向）を十分に認識させ得るようになされており、そのための軌跡表示処理について以下説明する。

( 6 - 1 ) 通常の軌跡表示モード

画像—処理装置 2のマイクロプロセッサ 3は、図 3 6に示すように、ビデォデ一夕の表示ウィンドウ W 5 7が静止画像を更新する度に矢印方向へ移動表示する際、全軌跡表示モードが選択されている場合、現在表示している静止画像に応じて配置されている表示ウインドウ W 5 7が過去に移動してきた軌跡と、これから表示ウインドウ W 5 7が移動する未来の軌跡を線として表示するようになされている。

ここで、画像処理装置 2のマイクロプロセッサ 3は、過去の軌跡を表示する場合、表示ウィンドウ W 5 7の静止画像を更新したときに、当該表示ゥインドウ W 5 7の移動と共に移り変わる表示ウインドウ W 5 7の重心点を結ぶことにより生成した線を過去の軌跡として、例えば赤色で表示するようになされている。

これに対して、画像処理装置 2のマイクロプロセヅサ 3は、未来の軌跡を表示する場合、表示ウインドウ W 5 7のこれから更新する予定の静止画像の特徴量に基づいて当該表示ウインドウ W 5 7が移動する予定の座標パラメ一夕（座檫位置）を算出し、その移動する予定の座標位置における未来の表示ウインドウ W 5 7の重心点を順次結んでいくことにより生成した線を未来の軌跡として、例えば青色で表示するようになされている。 .

従って、画像処理装置 2では、表示ウインドウ W 5 7の後方に提示した過去の軌跡については赤色の線で表示し、前方に提示した未来の軌跡については青色で表示するように色分けした状態で、ユーザに目視確認させることにより、表示ウインドウ W 5 7がこれから何れの方向へ向かつて移動表示するかを瞬時かつ直感的に認識させ得るようになされている。

なお、画像処理装置' 2のマイクロプロセッサ 3は、過去の軌跡及び未来の軌跡を色分け表示するのではなく、過去の軌跡を実線で表示し、未来の軌跡を破線で表示する等のその他種々の表示方法により軌跡を表現するようにしても良い。

ところで、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドゥ W 5 7の過去及び未来の双方の軌跡を表示するようにしたが、これに限るものではなく、ユーザの選択操作に応じたモード選択により過去又は未来のいずれか一方の軌跡だけを表示することも可能である。

このような画像処理装置 2のマイク口.プロセッサ 3が行う軌跡表示処理手順について図 3 .7のフローチャートを用いて説明する。

画像処理装置 2のマイクロプロセッサ 3は、ルーチン R T 9の閧始ステツプから入って次のステップ S P 1 6 1へ移り、ユーザによって選択された軌跡表示を行うべきビデオデ一夕を特定し、次のステップ S P 1 6 2へ移る。

ステップ S P 1 6 2において、画像処理装置 2のマイクロプロセッサ 3は、そのビデオデータを構成する各静止画像にそれぞれ対応した位置の表示ウインドウ W 5 7における重心点を認識し、次のス^ップ S P 1 6 3へ移る。

ステップ S P 1 6 3において、画像処理装置 2のマイクロプロセッサ 3は、ステヅプ S P 1 6 2で認識した重心点を結ぶことにより、ビデオデータの表示ウィンドウ W 5 7が移動する際の軌跡を表した線を生成し、次のステップ S P 1 6 4へ移る。

ステップ S P 1 6 4において、画像処理装置 2のマイクロプロセッサ 3は、ユーザによって過去の軌跡を表示する過去軌跡表示モ一ドが選択されているか否かを判定し、肯定結果が得られると次のステップ S P 1 6 5へ移り、現在の表示ウインドウ W 5 7よりも過去側の線を軌跡として表示した後、ステップ S P 1 6 9へ移って処理を終了する。

これに対して、ステップ S P 1 6 4で否定結果が得られると、このことはユーザによつて未来の軌跡を表示する未来軌跡表示モードもしくは過去及び未来の全ての軌跡を表示する全軌跡表示モードが選択されていることを表しており、このとき画像処理装置 2のマイクロプロセッサ 3 は次のステヅプ S P 1 6 6へ移る。

ステップ S P 1 6 6において画像処理装置 2のマイクロプロセッサ 3 は、ユーザによつて未来軌跡表示モ一ドが選択されているか否かを判定し、肯定結果が得られると次のステップ S P 1 6 7へ移り、現在の表示ウィンドウ W 5 7 よりも未来側の線を軌跡として表示した後、ステップ S P 1 6 9へ移って処理を終了する。

これに対して、ステップ S P 1 6 6で否定結果が得られると、このことはユーザによつて全軌跡表示モードが選択されていることを表しており、このとき画像処理装置 2のマイクロプロセッサ 3は、次のステヅプ S P 1 6 8へ移り、現在の表示ウィンドウ W 5 7に対して過去側及び未来側の線からなる全軌跡を表示した後、ステップ S P 1 6 9へ移って処理を終了する。

これにより.、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドウ W 5 7に対する過去側の軌跡だけを表示する場合、図 3 8に示すように、現在表示中の表示ウインドウ W 5 7よりも過去側すなわち後方の線だけを表示することになるため、あたかも移動物体が排気しながら進行するかのような印象をユーザに与え得るようになされている。

また、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドウ W 5 7に対する未来の軌跡だけを表示する場合、図 3 9に示すように、現在表示中の表示ウィンドウ W 5 7 よりも未来側すなわち前方の線だけを表示することになるため、あたかも移動物体が前方をライトによって照らしながら進行するかのような印象をユーザに与え得るようになされている。

因みに、画像処理装置 2のマイクロプロセヅサ 3は、未来側の軌跡を表示する際には、エンド位置 P O e (図 3 6 ) までの軌跡を最初から全て表示するのではなく、現在表示中の表示ゥインドウ W 5 7 よりも前方に所定長さ分の線を未来側の軌跡として表示することも可能であり、こうすれば最終的に何れのェンド位置 P 0 eに表示ゥインドウ W 5 7を配置するのかを最初からユーザに示してしまうのではなく、エンド位置 P

0 Θが何れの場所になるのかをユーザに対する楽しみとして残すこともできる。

さらに、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドウ W 5 7に対する過去側及び未来側の全軌跡を表示する場合、図 4 0に示すように現在表示中の表示ウインドウ W 5 7の前方及び後方に軌跡を表した線を表示することになるため、あたかも線路上を電車が移動するかのような印象をユーザに与え得るようになされている。

このように、画像処理装置 2のマイクロプロセッサ 3は、表示ウィンドウ W 5 7が移動表示する際の軌跡表示方法をユーザの選択によって 3 通りの中から任意に選択させることが出来るため、ビデオデ夕の各静止画像が持つ特徴（傾向）をユーザに最も認識させ易い軌跡により提示し得るようになされている。 ' .

( 6— 2 ) 複数の表示ウインドゥを使用した軌跡表示モード

ところで、画像処理装置 2のマイクロプロセッサ 3は、図 3 6に示したように移動表示中の表示ウインドウ W 5 7だけではなく、ビデオデ一夕の再生開始時点における表示ウインドウ W 5 7のスタート位置 P O s 及び、ビデオデータの再生終了時点における表示ウインドウ W 5 7のェンド位置 P 0 eに、そのときの静止画像をそれぞれ映し出した表示ゥィ , "

ンドウ W 5 7 s及び W 5 7 eを残存表示するようになされている。

これにより、画像処理装置 2では、このビデオデータに対応した表示ウィンドウ W 5 7を目視確認しているユーザに対し、表示ウィンドウ W 5 7が最初に 3次元表示空間内のどのの位置 P 0 sに配置されてから、 3次元表示空間内のどの位置 P 0 eに最終的に配置されて、ビデオデー夕の再生処理が終了するのかという全体の流れを当該表示ウインドウ W 5 7の開始から終了までの全体の軌跡を介したィメ一ジとして直感的に認識させ得るようになされている。

. もちろん、 .画像処理装置 2のマイクロプロセッサ 3は、スタート位置 P 0 s及びェンド位置 P 0 eに、そのときの静止画像を映し出した表示ウィンドウ W 5 7 s、 W 5 7 eを必ず残存表示させなければならないということではなく、ユーザの選択操作により残存表示させないようにすることもできる。

また、画像処理装置 2のマイクロプロセヅサ 3は、スタート位置 P〇 sの近傍に設けられた全ウインドウ表示ボタン Z 1 (図 3 6 ) がユーザによってダブルクリックされると、図 4 5に示すように、ビデオデータを構成している複数の'ピクチャ（静止画像）によってそれぞれ決まる .3 次元表示空間内の位置に表示ウインドウ W 5 7 (W 5 7 s〜W 5 7 e ) を所定間隔毎又は全て表示するようになされており、これにより過去の軌跡及び未来の軌跡を表示する代わり、もしくは軌跡と共に、複数の表示ウインドウ W 5 7 .(W 5 7 s〜W 5 7 e ).による連続的な流れをビデォデ一夕の特徴（傾向）としてユーザに提示し得るようになされている。

さらに、画像処理装置 2のマイクロプロセッサ 3は、図 4 2に示すように軌跡上の任意の点がユーザによってクリック操作されたことを認識すると、その時点から表示ウィンドウ W 5 7による再生処理を開始し、ェンド位置 P O eの表示ウインドウ W 5 7 eまでの再生映像をプレビュ一表示するようになされている。これにより、画像処理装置 2では、ビデオデ一夕を再生することによりスタート位置 P O s〜ェンド位置 P O eまで表示ウインドウ W 5 7の静止画像を更新させながら移動表示した様子をュ一ザに目視確認させた後、ユーザの希望する任意の位置から表示ウインドウ W 5 7による移動表示処理を再開させることが可能であり、ユーザの操作性を大幅に向上させ得るようになされている。

因みに、画像処理装置 2のマイクロプロセッサ 3は、ビデオデ一夕に対応した表示ウインドウ W 5 7の移動表示中であっても、軌跡線上の任意の点がクリック操作されると、その任意の点から表示ウィンドウ W 5 7による再生処理を開始すると共に、それまで移動表示していた表示ゥィンドウ W 5 7については見易さの観点から消滅させ、軌跡線上に一つの表示ウインドウ W 5 7だけを移動表示させるようになされている。但し、画像処理装置 2では見易さが損なわれることはないとユーザに判断された場合、軌跡錄上を複数の表示ウインドウ W 5 7が同に移動表示するように選択できるようにすることも可能である。

この場合、画像処理装置 2のマイクロプロセッサ 3は、，4 3に示すように、この軌跡上を 2個の表示ゥインドウ W 5 7を並行して移動表示させることになり、ユーザに対して所望シーンの画探し作業を一段と容易に実行させ得るようになされている。

また、画像処理装置 2のマイクロプロセッサ 3は、図 44に示すように、表示ウインドウ W 5 Ύの軌跡線上の所定位置に予め代表的なシ一ンとして設定されていた静止画像の表示ウインドウ W 5 7 a、 W 5 7 b、 W 5 7 c、 W 5 7 dを残存表示することも可能である。

これにより、ユーザは、スタート位置 P 0 s〜エンド位置 P 0 eまで表示ウィンドウ W 5 7を移動表示した後であっても、その中で代表的なシーンの静止画像を映し出している表示ウインドウ W 5 7 a、 W 5 7 b、 W 5 7 c、 W 5 7 dについては軌跡上に残存表示されているため、それらの残存表示された代表的なシーンの表示ゥインドウ W 5 7 a、 W 5 7 b、 W 5 7 c\ W 5 7 dの静止画像を目視確認すれば、ビデオデ一夕の全体傾向を容易に把握できるだけでなく、個々の代表的なシーンの特徴についてもその傾向を容易に把握することができる。

このような代表的なシーンとしては、例えばビデオデ一夕のソースが D V D等であれば、チャプター毎に予め設定された代表的な静止画像が相当することになるため、 D V Dのビデオデ一夕を表示ウィンドウ W 5 7により再生する場合、画像処理装置 2のマイクロプロセッサ 3は、上述のような代表的なシーンを残存表示させる軌跡表示処理を容易に実現し得るようになされている。

ここで、画像処理装置 2は、代表的なシーンの表示ウィンドウ W 5 7 を残存表示するようにしたが、これに限るものではなく、一定間隔毎に表示ウィンドウ W 5 7を残存表示させることも可能である。この場合、ユーザは一定間隔毎の表示ウインドウ W 5 7に写し出されてい..る静止画像を目.視確認することができるので、表示ゥインドウ W 5 7を用いたビデォデ一夕の再生処理を終了した後であっても、一定間隔毎に残存表示された表示ゥインドウ W 5 7を介してビデオデ一夕の特徴（傾向）を直ちに把握することができるようになされている。

( 6 - 3 ) シーンチェンジ又はフラッシュ時の軌跡表示モ―ド

また、画像処理装置 2は、図 4 5に示すように表示ウインドウ W 5 7 を介してビデオデ一夕の再生映像を表示中、その中でシーンチェンジ又はフラッシュ（以降、代表して単にフラッシュと称する）があり、シ一ンチェンジ前の静止画像が有する特徴量と、シーンチェンジ後の静止画像が有する特徴量とが大きく変化する場合、シーンチェンジ前の表示ゥインドウ W 5 7 b e f o r eからシーンチェンジ後の表示ウィンドウ W 5 7 a f t e rまで大きくジャンプすることがある。

このようなとき、画像処理装置 2は、上述したように座標補正処理手順 S R T 1 (図 24 ) を実行し、表示ウィンドウ W5 7 b e f o r eから表示ウインドウ W5 7 a f t e rまで一気にジャンプしてしまうのではなく、目的の移動先に近付くに連れて段階的に移動距離を次第に短くしながら順次分類配置させることにより、シーンチヱンジ時における表示ウィンドウ W5 7 b e f o r e〜W5 7 a f t e rまでの動きをユーザに目視確認させるようになされているが、軌跡表示モードであっても上述の座標補正処理手順を実行し得るようになきれている。

この場合、画像処理装置 2のマイクロプロセッサ 3は、軌跡線上を表示ウィンドウ W 5 7がー気にジャンプするのではなく、シーンチェンジ前の表示ゥインドウ W 57 b e f o r eの位置からシーンチェンジ後の表示ウィンドウ W5 7 a f t e rの位置まで段階的に移動表示するが、この段階的に移動表示している表示ウインドウ W 5 7に対してのみ、例えば半透明色で表示させたり、若しくは、点滅表示させたり等の強調表示を実行するようになされている。

なお、画像処理装置 2のマイクロプロセッサ 3は、このときシーンチェンジ前の表示ゥインドウ W 57 b e f o r e及びシーンチェンジ後の表示ウィンドウ W.5 7 a f t e rの双方共に残存表示するようになされており、シーンチヱンジ前後の内容をュ一ザに対して常時目視確認させ得るようになされている。

因みに、画像処理装置 2のマイクロプロセッサ 3は、上述の座標補正処理手順 S R T 1を行うのではなく、シーンチェンジ前の位置からシ一ンチヱンジ後の位置までの間を、シーンチェンジ後の静止画像を映し出した表示ウインドウ W5 7 a f t e rによって一定間隔毎に繰り返し移動表示することも可能であり、そのときには移動表示速度をジャンプ速度よりも極端に遅くする。

ここで、画像処理装置 2のマイクロプロセッサ 3は、図 4 6 ( A) に示すようにシーンチェンジ前の表示ウィンドウ W5 7 b e f o r eの位置からシーンチェンジ後の表示ウィンドウ W 57 a f t e rの位置までの距離 L 2と、その距離 L 2に対する表示ウィンドウ W 5 7の移動時間 t 2とが線形の関係を有するように移動表示速度を設定するばかりではなく、図 46 (B ) 及び（ C ) に示すように距離 L 2と移動時間 t 2とが非線形の関係を有するように移動表示速度を設定するようにしても良い。

この場合、画像処理装置 2のマイクロプロセッサ 3は、シーンチェンジ前の表示ウインドウ W57 b e f o r eからシーンチェンジ後の表示ウィンドウ W5 7 a f t e rまで段階的に移動表示させる際、. 当初は高速に移動し、次第に移動表示速度を下げるように当該表示ウインドウ W 5 7を可変速状態で移動表示することができる。

更に、画像処理装置 2のマイクロプロセッサ 3は、軌跡線上を移動表示中の表示ウィンドウ W 57がユーザによってクリックされたことを認識すると、その時点での静止画像の特徴量に応じて決まる位置に表示ゥインドウ W 5 7を数秒間もしくは半永久的に残存表示し、再度クリックされたことを認識すると、当該表示ウィンドウ W 5 7を消去させ、もしくはその時点から表示ウインドウ W5 7の再生映像を再開させ得るようになされている。

( 6— 4) タイムコードを用いた軌跡表示モード

画像処理装置 2のマイクロプロセッサ 3は、図 4 7に示すように、表示ウィンドウ W5 7を介してビデオデ一夕を再生することにより、表示ウィンドウ W57を 3次元表示空間内で移動表示させた際、その軌跡線上の位置に表示ゥィンドウ W5 7.のタイムコード表示枠 TW l〜TWn を表示することができる。，

ここで、画像処理装置 2のマイクロプロセッサ 3は、タイムコード表示枠 TW l〜TWnに表示しているビデオデータに付随するタイムコード情報を、各静止画像のメ夕デ一夕ファイル MD Fから読み出し、その読み出したタイムコード情報を用いて夕ィムコ一ド表示枠 T W 1〜 T W nのタイムコードを表示するようになされている。

また、画像処理装置 2のマイクロプロセッサ 3は、必ずしも軌跡線上ではなく、代表的なシーンからなる静止画像の表示ウインドウ W 5 7やエンド位置 P O eの表示ウインドウ W 5 7 Θを残存表示しているときにも、その残存表示した表示ウィンドウ W 5 7及び W 5 7 eに対して、そのときのタイムコ一.ドをタイムコ一ド表示枠 TW 3、 T Weによって提示するようになされている。

これにより、画像処理装置 2は、ビデオデータの再生映像に合わせて表示ゥインドウ W 5 7を移動表 '示したときの軌跡だけでなく、その軌跡線上の位置や表示ウィンドウ W 5 7に付随したタイムコード表示枠 T W 1〜TWn〜 TW eを介してビデオデータの時間倩報をユーザに提示することができる.ので、タイムコード表示枠 TW 1 ~ TW 4を介してビデォデ一夕の時間的な経過状態をユーザに認識させながら所望シーンの画探し作業を実行させ得るようになされている。

なお、画像処理装置 2のマイクロプロセッサ 3は、その特徴が非常に似通ったビデオデータをそれぞれの表示ウインドウ W 5 7によつて再生した場合、各表示ウィンドウ W 5 7が移動表示するときの軌跡についても非常に似通った結果を示すことになり、この場合、 3本の非常に似通つた軌跡を表示する。

これを目視確認したユーザは、 3個のビデオデ一夕の傾向をその軌跡が似通つていることに基づいて、同じような内容であることを推測することができるので、ビデオデ一夕の管理や検索を容易に実行することができる。

( 6— 5 ) 軌跡表示中の表示ウインドウ制御モード

画像処理装置 2は、ビデオデータの再生映像に合わせて表示ウィンドゥ W 5 7を移動表示したときの軌跡を表示することに加えて、移動中の , , , " .., ,

表示ゥインドウ W 5 7のサイズ及び形状を変化させながら表示し得るようになされており、その点について説朋する。

実際上、画像処理装置 2のマイクロプロセッサ 3は、例えば図 4 8 ( A ) に示すように: R G Bの色成分を表示軸のパラメ一夕として設定した 3次元表示空間上で、ビデオデータの表示ウィンドウ W 5 7をその軌跡に沿って移動表示する際、そのビデオデータを構成している各静止画像のメ夕デ一夕ファイル M D Fから表示軸の特徴パラメ一夕として用いられている R G Bの色成分における特徴量以外の他のパラメ'一夕として、例えば静止画像の細かさ情報の特徴量についても取得し、その細かさ情報の特徴量が所定の閾値を超えているときには、図 4 8 ( B ) に示すように、その時点の静止画像に対応した表示ゥインドウ W 5 7の表示サイズを所定倍に拡大表示す.る。

更に、画像処理装置 2のマイクロプロセッサ 3は、静止画像の細かさ情報の特徴量が所定の閾値未満のときには、図 4 8 ( C ) に示すように表示ウィンドウ W 5 7の表示サイズを所定倍に縮小表示する。

すなわち、画像処理装置 2のマイクロプロセッサ 3は、細かさ情報の特徴量が所定の.閾値を超えているときのような高周波成分が多く含まれている静止画像の場合、その表示ウィンドウ W 5 7を拡大表示することにより、ュ一ザに対する見易さを向上させ得るようになされている。

また、画像処理装置 2のマイクロプロセッサ 3は、細かさ情報の特徴量が所定の閾値未満のような高周波成分が殆ど含まれていない静止画像の場合、画像サイズを縮小させてもユーザに対する見易さについては殆ど変化しないと判断し、表示ウィンドウ W 5 7を縮小表示することにより処理負担を軽減させ得るようになされている。

因みに、画像処理装置 2では、表示軸を構成している色成分以外のパラメ一夕として静止画像の細かさ情報を用いて表示ウインドウ W 5 7の表示サイズを拡大又は縮小するようにしたが、これに限るものではなく、 _y , , , _t , ,

υ ι / ur U U / U D y

動き量、色相、音声レベル等のその他種々の特徴量を用いて表示ウィンドウ W 5 7の表示サイズを拡大又は縮小することが可能であり、また表示ウィンドウ W 5 7の表示サイズを拡大又は縮小するだけに留まらず、表示ゥインドウ W 5 7の表示枠形状を変形させて表示するようにしても良いし、表示サイズ及び表示枠形状の双方を制御するようにしても良い。 ( 7 ) 動作及び効果

以上の構成において、画像処理装置 2のマイクロプロセッサ 3は、ビデォデ一夕の再生映像を表示ウィンドウ W 5 7に表示する際、ユーザによって選定された表示軸によって生成した 3次元表示空間内に、ビデオデータを構成している各静止画像の特徴量に応じてフレーム更新する度に表示ウィンドウ W 5 7 を順次分類配置していく。

ここで、画像処理装置 2では、ビデオデ一夕のフレームを更新する度に、特徴量が変化して配置する先の 3次元表示空間座標位置が移り変わるので、あたかも 3次元表示空間上を表示ウィンドウ W 5 7が浮遊するかのように移動表示させることができる。

例えば、旅行先でビデオカメラにより撮影したビデオデ一夕一夕を、 3次元表示空間内に配置し、ビデオデータの再生映像を表示ウインドウ W 5 7によって表示する場合、海が映し出された再生画像の表示ウインドゥ W 5 7では、 .浜辺で撮影されたビデオデ一夕の表示ウィンドウ W 5 7が多く配置されているエリァへ移動していき、その次に山が写し出された静止画像に更新されると、その表示ウィンドウ W 5 7は山林で撮影されたビデオデ一夕の表示ウィンドウ W 5 7が多く配置されているエリァへ移動していき、ビルが写し出された静止画像に更新されると、その表示ウィンドウ W 5 7は都心で撮影されたビデオデ一夕の表示ウィンドゥ W 5 7が多く配置されているエリアへ移動していくことになる。

このような表示ウィンドウ W 5 7の動き自体が、ビデオデ一夕の特徴を表したものであるため、ユーザにとっては表示ウィンドウ W 5 7の 3 ,

次元表示空間内の動きに応じた 3次元表示空間内での位置変化や、表示ウィンドウ W 5 7 自体の動きのイメージを介して、ビデオデータの特徴 (傾向）を直感的に認識することができる。

特に、画像処理装置 2では、従来のように、ビデオデータを構成している複数の静止画像のうち先頭画像だけをサムネイル表示して配置しても、それが必ずしもビデオデ一夕の傾向を示していることにはならないが、本発明のように、デオデ一夕を構成している各静止画像の特徴量の変化に応じて表示ゥインドウ W 5 7を移動表示させたときの動きのィメ一ジとしてユーザに認識させることにより、当該ユーザに対してビデォデ一夕の特徴（傾向）を正確に理解させ、ビデオデ一夕の管理及び検索を容易に実行させることができる。

ここで、画像処理装置 2は、ビデオデ一夕の再生中にシーンチェンジ又はフラッシュがあった場合、シ一ンチェンジ又はフラッシュ前の 3次元表示空間内の位置からシーンチヱンジ又はフラッシュ後の 3次元表示空間内の位置まで表示ウィンドウ W 5 7を大きくジャンプするのではなく、段階的に距離を詰めながら表示ウインドウ W 5 7を移動表示するようにしたことにより、ユーザの視線から表示ゥ.インドウ W 5 7が外れてしまって見失うことを回避し、ユーザによる表示ウィンドウ W 5 7の動きのィメージが途切れてしまうことを未然に防止することができる。また、画像処理装置 2では、複数のビデオデ一夕にそれぞれ対応した表示ウィンドウ W 5 7を用いて同時に再生すれば、フレーム更新する度に似通った特徴量のビデオデ一夕に対応する表示ゥインドウ W 5 7が 3 次元表示空間内における特定のェリアに集まることになり、これら複数のビデオデータが持つ特徼（傾向）を、 3次元表示空間上に集められた若しくは分散された複数の表示ウインドウ W 5 7の配置状態を通じて、ユーザに直感的かつ容易に認識させることができる。

更に、画像処理装置 2では、ビデオデ一夕を再生することにより、表示ウィンドウ W 5 7を 3次元表示空間内に配置しているときに、その 3 , 次元表示空間を構成している表示軸のパラメ一夕がユーザの指示に応じて変更された場合、新たな 3次元表示空間を生成し、そこに表示する表示ウィンドウ W 5 7の配置状態を大きく変化させることが可能であり'、ュ一ザが所望するパラメ一夕に合わせて表示ウィンドウ W 5 7の配置結果を自在に変更して提示することできる。

更に、画像処理装置 2は、表示ウィンドウ W 5 7の移動表示に伴って、その過去側の軌跡、未来側の軌跡、過去側及び未来側の双方の全軌跡をユーザの選択操作に応じて表示ゥインドウ W 5 7と共に表示するようにしたことにより、表示ウィンドウ W 5 7が 3次元表示空間内を過去に移動してきたときの動きや、これから移動しょうとする未来の動きを視覚的に提示することができるので、ユーザに対しては複数のビデオデータに対する表示ウインドウ W 5 7の軌跡をそれぞれ比較させるだけで、複数のビデオデータ同士が似通った傾向を有するのか、異なる傾向を有するのかを軌跡 φ線によるイメージとして直感的に理解させることができる。

ところで、画像処理装置 2は、編集画面の表示部 5 5にビデオデータにそれぞれ対応した表示ウインドウ W 5 7を配置し、画像群 5 8 として表示するが、表示部 5 5には 3次元表示空間の表示軸を表示することがなく、かつ全ての表示ゥインドウ W 5 7をユーザの視線方向に対して正面を向くように配置しているため、ユーザに対して複数の表示ウィンドゥ W 5 7が 3次元表示空間内に配置されていることを理解させ易くする。以上の構成によれば、画像処理装置 2,では、ビデオデータを再生する場合、当該ビデオデ一夕を構成している個々の静止画像を更新するときに、更新した静止画像の特徴量が変化することに応じて、表示ウィンドゥ W 5 7と 3次元表示空間との相対的位置関係を変化させながら当該表示ウインドウ W 5 7を絵柄の特徴変化に応じて、移動表示させることにより、ビデオデ一夕が有する再生映像の特徴（傾向）を表示ウインドウ

W 5 7の動きとして表現し、ユーザにその動きのイメージを直感的に認識させることができるので、大量にあるビデオデ一夕の分類、管理、検索を直感的なイメージを通じて容易化することができる。

( 8 ) 他の実施の形態

なお、上述の実施の形態においては、本発明の映像処理装置を、画像処理装置 2に適用するようにした場合について述べたが、本発明はこれに限らず、単なるコンピュータに適用し、ビデオカメラで撮影した複数のビデオデ一夕を内部のハードディスクドライブに蓄積し、その全てのビデオデ一夕を 3次元表示空間に配置して表示することにより、静止画ビデオデータの特徴や全体傾向をユーザに対して直感的に認識させ、かつ所望のシーンに対する画探し作業を容易に実行させるようにしても良い。. . '

また、上述の実施の形態においては、 3次元表示空間を生成し、これに表示ウィンドウ W 5. 7を配置するようにした場合について述べたが、本発明はこれに限らず、図 4 9に示すように、 2次元表示空間を生成し、これに表示ウィンドウ W 5 7 を配置したり、表示ウインドウ W 5 7の軌跡を表示したりするようにしても良い。

さらに、上述の実施の形態においては、ビデオデ一夕を構成するピクチヤ（静止画像）自体が持つ R (赤）、 B (青）、輝度の表示軸を特徴パラメ一夕として、 3次元表示空間を生成するようにした場合について述べたが、本発明はこれに限らず、静止画像に対応付けられた音声情報を表示軸のパラメ一夕として用いたり、時間情報を表示軸のパラメ一夕 · として用いたり、 R (赤）、 B (青）の双方を一つの表示軸のパラメ一夕として用いる等のュ一ザの好みに合わせて配置のための種々の多次元表示空間を生成するようにしても良い。

例えば、図 5 0に示すように、画像処理装置 2では、輝度、 R (赤）、 FCT/JP 2007 / 05S 2 S

B (青）を表示軸とした 3次元表示空間と、動き量、 D C T縦周波数及び D C T横周波数を表示軸とした 3次元表示空間とを時間軸に沿って並ベることにより、 4次元表示空間を生成し、その 4次元表示空間内にビデォデ一夕の表示ウインドウ W 5 7を配置させたり、ビデオデ一夕の表示ウィンドウ W 5 7を再生処理に伴って移動表示させることができる。

さらに、上述の実施の形態においては、ビデオデータの再生に合わせて表示ウィンドウ W 5 7を 3次元表示空間内で移動表示させるようにした場合について述べたが、本発明はこれに限らず、例えば図 5 1に示すように、編集画面 5 0の表示部 5 5に設けられたバ一 6 6のつまみ 6 7 に対するユーザの左右方向操作に合わせて、表示ウィンドウ W 5 7を過去側あるいは未来側へその軌跡に沿って移動表示させるようにしても良い。

この場合、ユーザは、表示ウィンドウ W 5 7の 3次元表示空間内の位置を自らの意思により自在にコントロールすることが出来るので、所望シーンの画探し作業や編集作業を一段と容易に実行することができる。

さらに、上述の実施の形態においては、ビデオデ一夕の再生映像を表示ウィンドウ W 5 7に表示するようにした場合について述べたが、本発明はこれに限らず、画像群 5 8のうち重なり合って見えない表示ウィンドウ W 5 7については、ビデオデータを構成する静止画像の更新率を下げて再生速度を極めて遅ぐしたり、解像度を落としたり、静止画像を更新せずに表示したり、あるいは何も表示しないようにしても良い。これにより画像処理装置 2は、ユーザにとって目視確認できない表示ゥィンドウ W 5 7に対しては再生表示処理を実行しなくて済む分だけマイクロプロセッサ 3の処理負荷を軽減することができる。

さらに、上述の実施の形態においては、軌跡線上や表示ウィンドウ W 5 7にタイムコ一ド通知枠 T W (図 4 7 ) を表示するようにした場合について述べたが、本発明はこれに限らず、再生経過時刻をユーザに認識させることが出来れば、軌跡上や表示ゥインドウ W 5 7に対してフレーム番号通知枠ゃフィールド番号通知枠等のその他種々の通知枠を表示することができる。

さらに、本実施の形態では、ビデオデ一夕のピクチャ（静止画像）ごとに特徴パラメ一夕又は付属パラメ一夕を求めが、特徴パラメ一夕又は付属パラメ一夕は、複数ピクチャごとに求めることが可能である即.ち、複数ピクチャとしての、例えば、 1 G O Pごと（単位）に求めることもできる。例えば、その 1 G O Pを構成するすべてのピクチャの特徴パラメータの平均値や、 1 G O Pを構成するピクチャのうちの I ピクチャの特徴パラメ一夕（付属パラメ一夕）を、 1 G 0 Pの特徴パラメ一夕として採用することができる。

このように、特徴パラメ一夕や付属パラメ一夕を、複数ピクチャとしての、例えば、 1 G 0 Pごと求めてメ夕デ一夕として格納する場合には、ピクチャごとの特徴パラメ一夕や付属パラメ一夕をメ夕デ一夕として格納する場合に比較して、メ夕デ一夕のサイズを小さくすることができ、また、メ夕デ一夕の解析（パース）に要する処理の負担を軽減することができる。

なお、メ夕デ一夕の作成時に、ビデオデ一夕を例えば M P E G方式で符号化する場合において、ピクチャ毎又は G 0 Pごとの特徴パラメ一夕や付属パラメ一夕をを求めるときには、 M P E G方式での符号化の結果得られるビデオストリーム中のピクチャへヅダ又は G 0 Pヘッダに含めるようにすることができる。

( 9 ) ビデオデ一夕に連結する付随パラメ一夕について

上述した実施の形態においては、ビデオデータを構成するビクチヤ (静止画像）の特徴パラメ一夕について述べたが、ビデオデ一夕に連結 (付随）しているパラメ一夕（付随パラメ一夕）にも適用可能である。例えば、ビデオデ一夕を撮像又は記録した時刻を示す時刻情報、ビデオ ,

デ一夕を撮像又は記録した際の位置情報（緯度 · 経度情報）、ビデオデ一夕の所有者又'は作成者を識別する識別情報、ビデオデ一夕にネットヮ —ク経由でアクセスしたユーザを識別する識別情報、ビデオデ一夕にァクセスした数を示すアクセス数、ビデオデ一夕をグループ分けした際のグループ識別情報、ビデオデ一夕に含まれる人物の顔を識別する顔識別情報、ビデオデ一夕に含まれるタイトル · カテゴリ又はキーヮ一ド又は字幕情報などが含まれる。これらの付随パラメ一夕は、周知の技術を採用して生成可能なパラメ一夕である。

ここで言う連結（付随）とは、 '一夕と、このデータに関するパラメ一夕（メタデータ）が、互いにリンクされている状態であれば良い。例えば、互いに別の記録媒体に記録されていり、別の伝送路で伝送されたものであっても、パラメ一夕（メタデ一夕）にビデオデータを識別する情報やビデオデ一夕のピクチャ番号が含まれているようにしていれば、後で互いに対応させることができる。本実施の形態では、このような場合も含めて連結'（付随）しているという。

このような付随パラメ一夕を、特徴パラメ一夕とともに、同様の処理手順で利用して、上述した表示形態を実現することも可能である。

ここで、図 5 2のように、複数のュ一ザ 1 〜 Nから提供（アップ口一ド）されたビデオデータ.を、サーバ（ビデオ D B、メ夕デ一夕 · ビデオ D B ) で一括管理し、ユーザはそれぞれネットワークを介して、自分の興味のあるビデオデ一夕にアクセスして内容を確認するアプリケ一ションが考えられる。

この場合、デ一夕ベースは、上述した付随パラメ一夕をビデオデ一夕毎に管理することができる。例えば、ビデオデータにアクセスした数を示すアクセス数が付随パラメ一夕に含まれる場合、アクセス数の増減に対応して表示ウインドウの表示サイズを変更する（例えばアクセス数が予め設定された閾値よりも大きくなつたビデオデータについては、ユーザから人気のあるビデオデータとして、対応する表示ゥインドウのサイズを大きく表示させり、表示ウィンドウを強調表示させるたりする）ことができる。また、ビデオデータの所有者又は作成者を識別する識別情報が付属パラメ一夕に含まれる場合、ユーザ毎に表示空間を設定することも可能である。また、ビデオデ一夕のカテゴリ毎に表示空間を生成することも可能である。

例えば、図 5 3に示すように、表示ウィンドウ W 5 7— 2 / W 5 7 _ 5 / W 5 7— 6は、表示ウィンドウ W 5 7 _ l /W 5 7— 3 / W 5 7 _ 4に比べて大きく表示されている。これは、対応するビデオデ一夕に対するアクセス数が多いことを示している。

次に、図 5 0においては、時間軸を用いて 4次元表示空間を生成することを述べたが、上述した付随パラメ一夕を利用すれば、様々な表示形態を実現することができる。例えば、

G P Sなどによりビデオデータにリンクして生成された位置情報（緯度 ' 経度）が付随パラメ一夕に含まれる場合、図 5 4に示しているように、位置情報を表示軸として追加した表示空間を生成して、位置情報の変化とともにビデオデータと 3次元表示空間とが連動して移動する表示形態も考えられる。

さらに、図 5 2にょうに多数のュ一ザが多数のビデオデータを提供するケースでは、特徴パラメ一夕の類似度、付随パラメ一夕を利用して、図 5 5にょうに、互いに類似度が高く ·位置情報も特定範囲に含まれるビデオデ一夕をグループとして、グループ毎に表示空間を生成することもできる。この場合、特に動画投稿サイト · S N S (ソ一シャル . ネヅトヮ一キング ' サービス）のようなアプリケーションでは、グループ毎に生成された表示空間をコミュニティとして捉えることができるので、投稿したビデオデータを用いてユーザ間のコミュニケーションの促進を実現する一面もある。 ( 1 0 ) 本願発明の適用可能な装置について

さらに上述の実施の形態においては、本発明を図 1のように構成された画像処理装置 2に適用するようにした場合について述べたが、本発明はこれに限らず、画像処理装置としての機能の提供が可能な装置であれば、この他種々の構成の画像処理装置に広く適用することができる。なお、この画像処理装置には、例えばコンビュ一夕、ビデオカメラ、ディジタルカメラ、ゲーム機器、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機器）、ストレ,一ジ機器（例えば光ディスク装置、ホームサーバ）、発明に係る機能を搭載した処理ボードや処理力 — ドが含まれる。

これら何れの画像処理装置の場合にも、筐体と、信号処理部と、外部インタフエースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。例えば、ビデオカメラやディジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像デ一夕を記憶媒体に保存するための書込み回路を有する。また例えば携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路ゃアンテナを有する。

さらに、上述の実施の形態においては、マイクロプロセッサ 3がハードディスク装置 7に格納'された映像処理プログラムを起動して、 3次元表示空間上で表示ウインドウ W 5を移動表示させるようにした場合について述べたが、本発明はこれに限らず、映像処理プログラムが格納されたプログラム格納媒体をマイクロプロセッサ 3にインストールすることにより上述の移,動表示処理等を実行するようにしても良い。

このように、上述した移動表示処理等を実行するための映像処理プログラムをハードディスク装置 7にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシプルデイスク、 CD -ROM (C om a c t D i s c -R e a d On l y M e m o r ) _s D VD (D i g i t a l V e r s a t i l e

D i s c ) 等のパヅケージメディアのみならず、映像処理プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。また、これらプログラム格納媒体に映像処理プログラムを格納する手段として、ローカルエリアネヅトワークやイン夕一ネヅト、ディジ夕ル衛星放送等の有線及び無線通信媒体を利用してもよく、ルー夕やモデム等の各種通信ィン夕フエースを介して格納するようにしても良い。

さらに、上述の実施の形態においては、本発明の画像処理装置としての画像処理装置 2を、' 表示空間生成手段、変換手段としてのマイクロプ口セヅサ 3、分類配置手段としてのマイクロプロセッサ 3及び GP U 4 によつて構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる表示空間生成手段、変換手段及び分類配置手段によつて本発明の画像処理装置を構成するようにしても良い。

なお、発明の趣旨の IS囲内で上述のほかに様々な変形例が考えられる。また本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。産業上の利用可能性 '

本発明の画像処理装置及び画像処理方法は、ビデオデータを再生して表示画面上に表示させる種々の画像処理装置に広く適用することができる。

Claims

請求の範囲

1 . ビデオデータ又はオーディォデ一夕の特徴を示す特徴パラメ一夕、又は、' 上記ビデオデ一夕又はオーディォデ一夕にリンクする付随パラメ一夕を、上記ビデオデータともに取得する取得手段と、

上記取得手段により取得された上記特徴パラメ一夕又は上記付随パラメータを表示軸とする表示空間内において、上記特徴パラメ一夕に示される特徴値又は上記付随パラメ一夕に示される付随値から変換された座標パラメ一夕を利用して、上記ビデオデータを上記表示空間内で表示ゥィンドウ上に表示させるように、上記取得手段により取得された特徴パラメ一夕又は付随パラメ一夕をメ夕デ一夕として生成するメ夕デ一夕生成手段と '

を備える画像処理装置。

2 . 上記取得手段は、上記ビデオデ一夕から、ピクチャ単位又は GOP 単位で、上記特徴パラメ一夕を取得する、

請求項 1に記載の画像処理装置。

3 . 上記取得手段は、上記オーディオデータから、所定時間間隔で、上記特徴パラメ一夕を取得する

請求項 1に記載の画像処理装置。

4 . 上記ビデオデ一夕をエンコードしてビデオストリームを生成するビデォェンュ一ダを更に備える . 請求項 1に記載の画像処理装置。

5 . 上記メタデ一夕生成手段により生成されたメ夕デ一夕を、上記ェンコーダにより生成されたビデオストリ一ムとともに記録媒体に記録する記録手段を更に備える

請求項 4に記載の画像処理装置。

6 . 上記ビデオエンコーダは、上記ビデオデータから第 1 の解像度を有する第 1 のビデオデータ及び第 1 の解像度よりも低い解像度を有する第 2のビデオデータを生成し、生成した第 1のビデオデータ及び第 2 のビデオデータをそれぞれエンコードして、第 1 のビデオストリーム及び第 2のビデオストリームを生成する

請求項 4に記載の画像処理装置。

7 . 上記ビデオエンコーダは、上記ビデオデ一夕を第 1 のフォーマツトでエンコードして第 1 のビデオストリームを生成し、上記ビデオデ一夕を第 1 のフォーマットよりもデ一夕量の少ない第 2 のフォーマヅトでエンコードして第 2のビデオストリームを生成する

請求項 ⁴に記載の画像処理装置。

8 . 上記記録手段は、上記第 1 のビデオストリーム及び上記第 2 のビデォストリームをそれぞれ異なる記録媒体に記録する

請求項 6に記載の画像処理装置。

9 . 上記記録手段は、上記第 1 のビデオストリーム及び上記第 2 のビデォストリームをそれぞれ異なる記録媒体に記録する

請求項 7に記載の画像処理装置。

1 0 . 上記記録媒体に記録されたメ夕デ一夕と上記ビデオストリームを、上記ビデオストリームを再生する再生装置に送信する送信手段を更に更に備える

請求項 5に記載の画像処理装置。

1 1 . 複数の上記特徴パラメ一夕又は上記付随パラメ一夕の中から、上記ビデオデータを表示さる表示ウィンドウの表示形態を変更する際に利用する上記特徴パラメ一夕又は上記付随パラメータを、表示パラメ一夕として選択する選択手段を更に備え、

上記メ夕データ生成手段は、上記選択手段により選択された表示パラメ一夕の値に応じて上記ビデオデータを表示する表示ウインドウの表示形態を変更して表示させるように、上記表示パラメ一夕を含むメ夕デー PCT/JP2007/059282 ' , , _{n n}„

WO 2007/126096

タを生成する

請求項 1に記載の画像処理装置。

1 2 . 上記表示形態は、表示ウインドウのサイズ、又は、表示ウインドゥ内の明暗、又は、表示ウィンドウ内の透過度、表示ウィンドウ枠の強調、を含む

請求項 1 1 に記載の画像処理装置。，

1 3 . 複数の上記特徴パラメ一夕又は上記付随パラメ一夕の中から、第 1 の解像度を有する高解像度ビデオデ一夕を表示さるか · 第 1 の解像度よりも低い低解像度ビデオデータを表示させるかを選択する際に利用する上記特徴パラメ一夕又は上記付随パラメ一夕を、再生モードパラメ一夕として選択する選択手段を更に備え、

上記メタデータ生成手段は、上記選択手段により選択された再生モードパラメ一夕の値に応じて高解像度ビデオデ一夕又は低解像度ビデオデ一夕を選択して表示させるように、上記再生モードパラメ一夕を含むメ夕データを生成する

請求項 1に記載の画像処理装置。，

1 4 . 上記選択手段により選択された表示パラメータの値に応じて、上記高解像度ビデオデ一夕をェンコ一ドした高解像度ビデ'ォストリーム又は上記低解像度ビデオデータをエンコードした低解像度ビデオストリ一ムを選択して送信する送信手段を更に有する

請求項 1 3に記載の.画像処理装置。 .

1 5 . 複数の上記特徴パラメ一夕又は上記付随パラメ一夕の中から、第 1 のフォーマヅトのビデオデ一夕を表示さるか '第 1のフォーマヅトよりもデ一夕量の少ない第 2 のフォーマツ卜のビデオデ一夕を.表示させるかを選択する際に利用する上記特徴パラメ一夕又は上記付随パラメ一夕を、再生モードパラメ一夕として選択する選択手段を更に備え、

上記メタデータ生成手段は、上記選択手段により選択された再生モー - ' ' v > *J

ドパラメ一夕の値に応じて第 1のフォーマツトのビデオデ一夕又は第 2 のフォーマツ卜のビデオデータを選択して表示させるように、上記再生モードパラメ一夕を含むメ夕データを生成する

請求項 1に記載の画像処理装置。

1 6 . 上記選択手段により選択された表示パラメ一夕の値に応じて、上記第 1 のフォーマットのビデオデータをエンコードした第 1 のビデオストリーム又は第 2のフォーマツトのビデオデータをエンコードした第 2のビデオストリームを選択して送信する送信手段を更に有する

請求項 1 5に記載の画像処理装置。

1 7 . 上記メ夕デ一夕生成手段は、上記表示空間内において複数のビデォデ一夕間の距離が所定距離以内になつた場合に上記ビデオデ一夕の絵柄が類似した状態であることを示す類似度情報を、メ夕データとして生成する

請求項 1に記載の画像処理装置。

1 8 . 上記表示空間は、 3つの異なる特徴パラメ一夕又は付随パラメ一夕を表示軸とする 3次元の表示空間を含む

請求項 1に記載の画像処理装置。

1 9 . 上記特徴パラメ一夕は、上記ビデオデータに対する動き量、輝度、色相、赤色成分、青色成分、緑色成分のうち少なくとも 1つを含む

請求項 1に記載の画像処理装置。

2 0 ..上記特徴パラメ一夕は、上記ォディォに対する信号レベルを含む

請求項 3に記載の画像処理装置。 '

2 1 . 上記付随パラメ一夕は、上記ビデオデ一夕のタイムコードを含む請求項 1に記載の画像処理装置。

2 2 . 上記付随パラメ一夕は、上記ビデオデ一夕を撮像又は記録した時刻を示す時刻情報を含む請求項 1に記載の画像処理装置。

2 3 . 上記付随パラメ一夕は、上記ビデオデータを撮像又は記録した際の位置情報を含む

請求項 1に記載の画像処理装置。

2 4 . 上記付随パラメ一夕は、上記ビデオデ一夕の所有者又は作成者を識別する識別情報を含む

請求項 1 に記載の画像処理装置。

2 5 . 上記付随パラメ一夕は、上記ビデオデ一夕にアクセスしたユーザを識別する識別情報を含む

請求項 1に記載の画像処理装置。 '

2 6 . 上記付随パラメータは、上記ビデオデ一夕にアクセスした数を示すアクセス数を含む ₍

請求項 1 に記載の画像処理装置。

2 7 . 上記付随パラメ一夕は、上記ビデオデ一夕をグループ分けした際のグループ識別情報を含む

請求項 1 に記載の画像処理装置。

2 8 . 上記付随パラメ一夕は、上記ビデオデータに含まれる人物の顔を識別する顔識別情報を含む

請求項 1に記載の画像処理装置。

2 9 . 上記付随パラメ一夕は、上記ビデオデ一夕に含まれる夕ィトル又はキーワード又は字幕情報を含む

請求項 1に記載の画像処理装置。

3 0 . ビデオデータ又はオーディォデ一夕特徴を示す特徴パラメ一夕、又は、上記ビデオデータ又はオーデ,ィォデ一夕にリンクする付随パラメ —夕を、上記ビデオデータともに取得する取得ステップと、

上記取得ステップにおいて取得された上記特徴パラメ一夕又は上記付随パラメ一夕を表示軸とする表示空間内において、上記特徴パラメ一夕に示される特徴値又は上記付随パラメ一夕に示される付随値から変換された座標パラメ一夕を利用して、上記ビデオデ一夕を上記表示空間内で表示ゥインドゥ上に表示させるように、上記取得ステップにおいて取得された特徴パラメ一夕又は付随パラメ一夕をメ夕デ一夕として生成するメ夕デ一夕生成ステップとを含む画像処理方法。