TWI384413B - An image processing apparatus, an image processing method, an image processing program, and a program storage medium - Google Patents

An image processing apparatus, an image processing method, an image processing program, and a program storage medium Download PDF

Info

Publication number
TWI384413B
TWI384413B TW096112867A TW96112867A TWI384413B TW I384413 B TWI384413 B TW I384413B TW 096112867 A TW096112867 A TW 096112867A TW 96112867 A TW96112867 A TW 96112867A TW I384413 B TWI384413 B TW I384413B
Authority
TW
Taiwan
Prior art keywords
display
image
window
microprocessor
displayed
Prior art date
Application number
TW096112867A
Other languages
English (en)
Other versions
TW200745986A (en
Inventor
Junichi Ogikubo
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200745986A publication Critical patent/TW200745986A/zh
Application granted granted Critical
Publication of TWI384413B publication Critical patent/TWI384413B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

圖像處理裝置、圖像處理方法、圖像處理程式及程式儲存媒體
本發明係關於一種圖像處理裝置、圖像處理方法、圖像處理程式及程式儲存媒體,例如可較好地適用於非線性編輯裝置者。
先前,於處理動態影像內容之記錄器或錄影機等AV(Audio Visual,視聽)機器中,例如係以長GOP(Group Of Picture,圖像群組)為單位,利用MPEG(Moving Picture Experts Group,動畫專家群)2方式或MPEG IMX50方式等將HD(High Definition,高清晰度)圖像資料編碼化,並將最終獲得之編碼化資料記錄於磁帶、硬碟或光碟等記錄媒體中,對記錄於該記錄媒體中之編碼化資料進行MPEG解碼處理,將與最終獲得之圖像資料相對應之圖像顯示於顯示器上。
此處,長GOP例如係將15以上個畫面設為1 GOP者。又,所謂MPEG IMX50方式,係指遵照比特率最大50[Mbps]之MPEG 24:2:2P @ ML之編碼化方式,其格式由SMPTE(Society of Motion Picture and Television Engineers,動畫與電視工程師協會)所認可,作為TypeD-10格式而註冊於SMPTE365M中。再者,於MPEG IMX50方式中,係將所有畫面編碼化成I畫面。
然而,作為AV機器,除了記錄器或錄影機以外,還具有編輯動態影像內容之編輯裝置(包含藉由電腦來執行而使電腦作為編輯裝置發揮功能之程式(軟體))。
一般而言,如此之編輯裝置具有操作員(編輯者)用以確認動態影像內容之內容、或用以搜索所謂編輯點(起始點及終止點)之被稱為刮擦(scrub)之功能。
此處,所謂刮擦,係指再生操作員所指定之畫面即訊框或場。操作員對畫面之指定,例如係藉由進行移動作為GUI(Graphical User Interface,圖形使用者介面)之旋鈕等操作而進行的。
於具有刮擦功能之編輯裝置中,例如由旋鈕之位置而指定訊框,並再生該訊框。因此,若操作員進行緩慢移動旋鈕之操作,則編輯裝置使由旋鈕(之位置)所指定之訊框緩慢變化,因而進行所謂之慢速再生。又,若操作員進行快速移動旋鈕之操作,則編輯裝置使由旋鈕所指定之訊框快速變化,因而進行所謂之高速再生。
進而,若操作員不移動旋鈕,則編輯裝置不會使由旋鈕所指定之訊框發生變化,因而進行所謂之靜態再生(成為暫停狀態)。由上所述,可以說刮擦係變速(特殊)再生之一種。
再者,提出有如下所述之技術:於可隨機存取之第1記錄媒體中記錄高解析度之圖像,並且於第2記錄媒體中記錄與記錄於第1記錄媒體中之圖像相對應之低解析度之圖像,於通常之再生時,顯示記錄於第2記錄媒體中之低解析度之圖像,而於暫時停止時,顯示記錄於第1記錄媒體中之高解析度之圖像(例如,參照專利文獻1)。
[專利文獻1]日本專利特開平11-331754號公報
然而,於該結構之編輯裝置中,當進行刮擦時,係僅再生由旋鈕之位置所指定之訊框,而操作員難以辨識出動態影像內容之整體像如何、是否包含操作員所期望之場景等之顯示形態,故而有於使操作員容易地執行對動態影像內容之檢索或管理等時可用性較差的問題。
本發明係考慮到上述方面所完成者,其欲提出一種可使對複數個內容之檢索或管理等容易地執行之可用性優良的圖像處理裝置、圖像處理方法、圖像處理程式及程式儲存媒體。
為解決該課題,於本發明中,產生將內容圖像之特定參數中任意選定之特定參數作為顯示軸的虛擬空間,將對於特定參數之特徵量轉換為與虛擬空間之顯示軸相對應之座標值,於將圖像顯示於以特定畫框尺寸構成之視窗畫面時,根據與圖像之對於特定參數之特徵量相對應的座標值,以圖像單位將視窗畫面分類配置於虛擬空間中。
藉此,可將放映出內容圖像之視窗畫面配合其特徵量而分類配置於亦包括縱深方向之3次元虛擬空間中而出示給操作員,因此可對操作員直接感覺且瞬間地將複數個內容之傾向辨識作為印象。
根據本發明,可將放映出內容圖像之視窗畫面配合其特徵量而分類配置於亦包括縱深方向之3次元虛擬空間中而出示給操作員,因此可對操作員直接感覺且瞬間地將複數個內容之傾向辨識作為印象,如此可實現可使對複數個內容之檢索或管理等容易地執行之可用性優良的圖像處理裝置、圖像處理方法、圖像處理程式及程式儲存媒體。
以下,按照圖式詳細敍述本發明之一實施形態。
(1)本實施形態之編輯系統之結構
如圖1所示,1整體表示本實施形態之編輯系統,若大致區分則包含編輯裝置2、記憶裝置22及複數台磁帶式錄影機231 ~23n 等。
於該編輯系統1中,將記錄於錄影帶中之動態影像內容之一部分或全部作為剪輯,經由編輯裝置2而放入以RAID(Redundant Arrays of Independent Disks,獨立磁碟冗餘陣列)構成之大容量記憶裝置22中,或者亦可將記錄於錄影帶中之靜態影像內容放入記憶裝置22中。
又,於該編輯系統1中,可將放入記憶裝置22中之動態影像內容接合成所期望之狀態,製成規定有用以獲得所期望之編輯影像語音之編輯內容之編輯列表,進而根據該所製成之編輯列表實際執行編輯處理,將其結果所獲得之編輯影像及編輯語音作為新的剪輯儲存於記憶裝置22中,或者可經由磁帶式錄影機231 ~23n 而記錄於錄影帶中。
於此情形時,於編輯裝置1中,微處理器3上連接有GPU4、XDR(Extreme Data Rate,極限數據速率)-RAM5及南橋晶片6,並且於該南橋晶片6上連接有硬碟裝置7、USB(Universal Serial Bus,通用串列匯流排)介面8及聲音輸入輸出編解碼器9。於該聲音輸入輸出編解碼器9上連接有揚聲器41。
又,於南橋晶片6上經由PCI(Peripheral Component Interconnection,周邊元件互連)匯流排15而連接有滑鼠38、鍵盤39、磁帶式錄影機231 ~23n 、記憶裝置22及操作控制器37。再者,於GPU4上連接有顯示器40。
並且,微處理器3係將執行OS(Operating System,作業系統)等基本程式之通用之主CPU核心3M、經由內部匯流排12而連接於該主CPU核心3M之複數個(於此情形時為8個)RISC(Reduced Instruction Set Computer,精簡指令集電腦)類型之信號處理處理器(以下將其稱為子CPU核心)3SA~3SH、例如對具有256[MByte]容量之XDR-RAM5進行記憶體控制之記憶體控制器13、以及於與南橋晶片6之間管理資料之輸入輸出之I/O(In/Out,輸入/輸出)控制器14集成於1個晶片上之多核心結構,從而實現例如4[GHz]之動作頻率。
該編輯裝置1之微處理器3主要起到MPEG解碼器、JPEG(Joint Photographic Experts Group,聯合圖像專家組)2000、H.264/AVC(Advanced Video Coding,進階視頻編碼)等編解碼器之作用,將解碼最終獲得之動態影像內容之再生影像之資料傳送至GPU4,或變更對動態影像內容之再生影像之再生速度(後文將述)等之設定,或將靜態影像內容之資料傳送至GPU4,或者進行物理運算等。
尤其,於微處理器3中,8個子CPU核心3SA~3SH分別起到針對動態影像內容及靜態影像內容之解碼器之作用,若為動態影像內容則該8個子CPU核心3SA~3SH可同時並行地對HD(High Definition,高清晰度)之再生影像進行解碼。
又,主CPU核心3M進行8個子CPU核心3SA~3SH所進行之處理或管理以外的處理或管理,經由南橋晶片6接受自滑鼠38、鍵盤39或操作控制器37所供給之命令,執行與該命令相應之各種處理。
如此,微處理器3可利用8個子CPU核心3SA~3SH同時並行地對動態影像內容之再生影像進行解碼,且於微處理器3與GPU4之間可利用頻寬較高之匯流排10以例如最大30[Gbyte/sec]之傳送速度進行資料傳送,故而可對多幅高精細之再生圖像進行解碼並於較短時間內進行資料傳送。
因此,於此情形時,8個子CPU核心3SA~3SH,例如可分別同時對2幅HD再生影像進行解碼,亦即,可一次自微處理器3向GPU4高速傳送16幅(於此情形時)高精細之再生圖像。然而,8個子CPU核心3SA~3SH可同時解碼之HD之幅數並不限定於此,可對更多幅數之再生影像進行解碼。
另一方面,GPU4發揮以下功能,即,除了進行與移動顯示在顯示器40上之動態影像內容之再生影像時的紋理張貼等相關之最終再現處理以外,還進行於將複數個動態影像內容之再生影像及靜態影像內容之靜止圖像一次性顯示於顯示器40上時的座標轉換計算處理、或針對動態影像內容之再生影像及靜態影像內容之靜止圖像的放大.縮小處理等,以減輕微處理器3之處理負擔。
實際上,微處理器3於啟動時根據儲存於硬碟裝置7中之控制程式,讀出儲存於該硬碟裝置7中之必需之應用程式後於XDR-RAM5中展開,其後根據該應用程式及操作員操作而執行必要之控制處理。
當由操作員操作滑鼠38、鍵盤39或操作控制器37,輸入用以將記錄於錄影帶中之動態影像內容或靜態影像內容放入記憶裝置22中之剪輯放入視窗之顯示命令時,微處理器3響應該操作而控制硬碟裝置7,藉此讀出與該顯示命令相對應之影像資料或圖像資料,另一方面,藉由與此一併控制GPU4,而將基於該影像資料或圖像資料之上述剪輯放入視窗顯示於顯示器40上。
又,當於此狀態下由操作員操作滑鼠38、鍵盤39或操作控制器37,輸入針對磁帶式錄影機231 ~23n 之再生動作命令時,微處理器3響應該操作而控制磁帶式錄影機231 ~23n ,藉此執行針對記錄於錄影帶中之動態影像內容或靜態影像內容之再生動作。
其結果為,自該磁帶式錄影機231 ~23n 輸出自裝填於該磁帶式錄影機231 ~23n 中之錄影帶所再生之動態影像內容或靜態影像內容,其中動態影像內容之影像資料或靜態影像內容之圖像資料依次經由PCI匯流排15、南橋晶片6及微處理器3而供給至GPU4。
GPU4根據微處理器3之控制,對所供給之動態影像內容之影像資料或靜態影像內容之圖像資料實施特定之信號處理,將最終獲得之影像資料或圖像資料送出至顯示器40,藉此將基於該影像資料之再生影像、或基於圖像資料之靜止圖像顯示於剪輯放入視窗內之特定位置上。另一方面,微處理器3將此時自動態影像內容提取之語音信號經由聲音輸入輸出編解碼器9而送出至揚聲器41,藉此自揚聲器41輸出基於該語音信號之語音。
如此,操作員可根據顯示於顯示器40上之動態影像內容之再生影像及自揚聲器41輸出之動態影像內容之再生語音,使用滑鼠38、鍵盤39或操作控制器37來指定再生影像及再生語音中所期望之部分,進而,可將該影像語音部分作為剪輯,將該起始點及終止點之時間碼或素材長度、剪輯ID、剪輯名、該動態影像內容之拍攝時間、該剪輯之製作時間等管理資訊作為元資料而註冊。並且,根據微處理器3之控制,將註冊為該元資料之該剪輯之管理資訊註冊於硬碟裝置7內之剪輯管理資訊資料庫中。
又,微處理器3如後文將述,不僅限於如上所述之剪輯管理資訊,亦提取構成動態影像內容之複數幅靜止圖像所具有之各種參數的特徵量、或靜態影像內容之靜止圖像所具有之各種參數的特徵量,將該等特徵量註冊為元資料檔案。
又,當此後操作滑鼠38、鍵盤39或操作控制器37,輸入該動態影像內容或靜態影像內容之放入命令時,微處理器3響應該操作而控制磁帶式錄影機231 ~23n ,藉此執行所指定之動態影像內容或靜態影像內容之再生動作。
其結果為,自磁帶式錄影機231 ~23n 輸出自錄影帶所再生之該動態影像內容之影像資料或語音資料、靜態影像內容之圖像資料,其中影像資料或圖像資料依次經由PCI匯流排15、南橋晶片6、微處理器3及匯流排10而供給至GPU4。又,微處理器3與此一併控制GPU4及記憶裝置22,藉此將自磁帶式錄影機231 ~23n 所供給之該動態影像內容之影像資料及語音資料、或靜態影像內容之圖像資料經由GPU4而儲存於記憶裝置22中。
以如此之方式,於該編輯系統1中,可將所指定之動態影像內容之影像資料及語音資料、或靜態影像內容之圖像資料自錄影帶再生並放入記憶裝置22中。
另一方面,操作員此後可藉由使用滑鼠38、鍵盤39或操作控制器37之特定操作而將用以進行編輯作業之編輯畫面(後文將述)顯示於顯示器40上,且可使用該編輯畫面而製成規定有何段剪輯與何段剪輯如何接合之類之編輯內容之編輯列表。又,操作員於編輯列表製成之後或製作中途,可確認基於該編輯列表之編輯影像及編輯語音。
繼而,當製成編輯列表後操作滑鼠38而輸入該編輯列表之註冊命令時,微處理器3將該編輯列表中所規定之所有由操作員設定之編輯資料檔案化,並註冊於硬碟裝置7內之編輯列表資料庫中。
又,當於編輯列表製成後或製作中途,操作滑鼠38、鍵盤39或操作控制器37而輸入基於該編輯列表之編輯影像語音之再生命令時,微處理器3響應該操作而控制記憶裝置22,藉此自記憶裝置22讀出所需之動態影像內容之影像資料及語音資料、靜態影像內容之圖像資料。
如此,自該記憶裝置22讀出之動態影像內容之影像資料及靜態影像內容之圖像資料依次經由PCI匯流排15、南橋晶片6、微處理器3及匯流排10而供給至GPU4,此後根據微處理器3之控制,於該GPU4中根據需要實施影像特殊效果加工處理。
繼而,GPU4根據微處理器3之控制,對藉由對所供給之影像資料或圖像資料實施影像特殊效果加工處理而獲得之編輯影像資料、編輯圖像資料實施特定之信號處理,將最終獲得之影像信號、圖像信號送出至顯示器40。
另一方面,微處理器3對動態影像內容之影像資料及語音資料中之語音資料實施語音混合處理,將最終獲得之編輯語音資料經由聲音輸入輸出編解碼器9而送出至揚聲器41。
其結果為,於編輯畫面內之特定位置上顯示編輯影像,自揚聲器41輸出編輯語音。以如此之方式,於該編輯系統1中,操作員可一邊目測確認基於編輯列表之編輯影像及編輯語音,一邊執行編輯作業。
進而,當製成編輯列表後由操作員操作滑鼠38、鍵盤39或操作控制器37而輸入該執行命令時,微處理器3響應該操作而控制記憶裝置22,藉此自記憶裝置22讀出編輯處理時所利用之動態影像內容之影像資料及語音資料,並經由PCI匯流排15、南橋晶片6及匯流排10而送出至GPU4。
並且此時,GPU4根據微處理器3之控制,與上述再生模式時同樣,根據需要而對所供給之各動態影像內容之影像資料及語音資料實施特殊效果加工處理或語音混合處理,另一方面,將最終獲得之編輯影像資料依次經由匯流排10、微處理器3、南橋晶片6及PCI匯流排15送出至記憶裝置22或相對應之磁帶式錄影機231 ~23n
如此,記憶裝置22根據微處理器3之控制,將所供給之編輯影像資料記憶於所指定之位址位置。又,磁帶式錄影機231 ~23n 根據微處理器3之控制,將所供給之編輯影像資料記錄於錄影帶之所指定之位置。
以如此之方式,於該編輯系統1中,根據預先製成之編輯資料,可將所指定之動態影像內容之影像資料及語音資料或靜態影像內容之圖像資料編輯加工成所指定之狀態並儲存於記憶裝置22中,或記錄於錄影帶中。
因此,於編輯系統1中,利用編輯裝置2之微處理器3及GPU4,可對顯示於顯示器40上之編輯畫面之再生影像執行實施有特殊效果之影像顯示處理,並且可執行各種擴張操作或編輯處理。
然而,由微處理器3中之8個子CPU核心3SA~3SH同時並行地解碼之複數個動態影像內容中的再生影像之資料經由匯流排10而傳送至GPU4,而由於此時之傳送速度例如為最大30[Gbyte/sec],故即便是實施有特殊效果之複雜之再生影像亦可高速且平滑地顯示。
(2)針對內容之分類顯示
於該編輯系統1中,存在編輯模式與視圖模式,於編輯模式中,執行產生如上所述之編輯影像資料等之編輯處理,與此相對,於視圖模式中,執行用以使操作員可容易地管理或檢索儲存於記憶裝置22中之大量動態影像內容或靜態影像內容之分類顯示。
(2-1)編輯畫面之顯示內容
當由操作員操作滑鼠38、鍵盤39或操作控制器37,而輸入應顯示編輯畫面之命令時,編輯裝置2之微處理器3控制硬碟裝置7及GPU4,藉此轉換為視圖模式,使圖2所示之編輯畫面50顯示於顯示器40上。
該編輯畫面50包括:剪輯一覽顯示部51、記事板部52、等時線部53及效應資訊顯示部54、以及於該編輯畫面50上具有固有功能之顯示部55。再者,於編輯畫面50之情形時,如後文將述般,編輯作業主要使用顯示部55來進行,故而輔助性地設置有記事板部52及等時線部53。
於此情形時,可於剪輯一覽顯示部51上,自註冊於該編輯裝置2中之各種框及檔案中選擇所期望之1個框或檔案,並一覽顯示收納於該框或檔案中之動態影像內容及靜態影像內容。
繼而,操作員自一覽顯示於該等剪輯一覽顯示部51上之動態影像內容及靜態影像內容中選擇所期望之內容,將其拖放至顯示部55中,藉此可將放映出有該內容之最前圖像(若為動態影像內容則為其最前之靜止圖像,若為靜態影像內容則為其靜止圖像)之複數個視窗畫面W57顯示於顯示部55內。
又,操作員於此狀態下點擊視窗畫面W57,藉此可使編輯裝置2開始該所拖放之動態影像內容之再生處理,將其再生影像顯示於顯示部55上,或使該所顯示之再生影像快進、倒帶或停止等。
如此,操作員可一邊經由顯示於顯示部55上之複數個視窗畫面W57而目測確認動態影像內容之再生影像或靜態影像內容之靜止圖像,一邊搜索所期望之訊框,分別指定應自該動態影像內容截取之影像語音部分之開始點(以下稱為起始點)及結束點(以下稱為終止點)。
繼而,當編輯裝置2之微處理器3以如此之方式指定起始點及終止點,藉此轉換為編輯模式時,對於指定有起始點及終止點之動態影像內容,可將夾在該起始點及終止點之間之影像語音部分作為新的動態影像內容,根據操作員之拖放而貼附於記事板部52中。
藉此,於編輯畫面50中,將編輯時所使用之動態影像內容之剪輯預先排列於記事板部52中,藉此操作員可容易地想像出編輯結果。再者,此時於記事板部52中顯示與所貼附之各剪輯之最前圖像等相當之代表圖像之縮略圖及詳細資訊。
繼而,操作員此後分別藉由拖放而將貼附於該記事板部52中之各剪輯依次貼附,以使其等排列於等時線部53之視頻磁軌上。此時,於視頻磁軌上,以等時線為指標而顯示與所貼附之剪輯之素材長度相應長度之帶(未圖示)。又,此時於該剪輯中有語音之情形時,於音頻磁軌之等時線上之相同位置處顯示相同長度之帶(未圖示)。
此處,如此於等時線部53之視頻磁軌或音頻磁軌上顯示帶,係表示於輸出編輯影像語音時,以等時線上所表示之時間顯示與該帶相對應之剪輯之影像或輸出語音。因此,藉由如此之操作,可製成編輯列表,該編輯列表係依次規定有作為編輯影像而顯示或作為編輯語音而輸出之剪輯之影像或語音而構成者。
(2-2)分類圖像群之顯示
進而,編輯裝置2之微處理器3可藉由將複數個以特定畫框尺寸構成之視窗畫面W57顯示於編輯畫面50之顯示部55上,而提示分類圖像群58,該視窗畫面W57係放映出有由操作員自剪輯一覽顯示部51之一覽顯示中選擇後拖放至顯示部55內之動態影像內容及靜態影像內容之圖像(若為動態影像內容則為其最前靜止圖像,若為靜態影像內容則為其靜止圖像)者。
又,對於之後由操作員自剪輯一覽顯示部51中選擇並拖放之靜態影像內容或動態影像內容之視窗畫面W57,編輯裝置2之微處理器3可將其追加至顯示部55,又,亦可根據針對視窗畫面W57之選擇刪除操作而自顯示部55將其消去。
此處,所謂分類圖像群58,係指如圖3所示,例如於X軸上選定有「紅色(R)」、於Y軸上選定有「藍色(B)」及於Z軸上選定有「亮度」作為顯示軸之參數之3次元虛擬空間中,根據動態影像內容之最前靜止圖像或代表靜止圖像、及靜態影像內容之靜止圖像各自具有之特徵量,而分類配置各個視窗畫面W57者,由操作員自記憶裝置22中任意選擇之複數個動態影像內容及靜態影像內容所對應之整體特徵(傾向),係由分別對應於該等複數個內容之各個視窗畫面W57相對於3次元虛擬空間之配置狀態所表示。
作為構成該3次元虛擬空間中之各顯示軸(X軸、Y軸及Z軸)之參數,係動態影像內容之靜止圖像及靜態影像內容之靜止圖像各自具有之元資料中所包含的各要素,係其特徵量於所有靜止圖像中各不相同者。
實際上,於編輯畫面50之顯示部55中,並不明確顯示圖3所示之上述3次元虛擬空間之各顯示軸,於該3次元虛擬空間上分類配置有視窗畫面W57之結果為,於畫面右下方向配置有分類圖像群58中之放映出有紅色較強之靜止圖像的視窗畫面W57,於畫面中央上方向配置有分類圖像群58中之放映出有亮度位準較強之靜止圖像的視窗畫面W57,於畫面左下方向配置有分類圖像群58中之放映出有藍色較強之靜止圖像的視窗畫面W57,故而對觀察其之操作員而言,可將複數個動態影像內容及複數個靜態影像內容之亮度或色成分之大致傾向辨識為印象。
因此,於該3次元虛擬空間中,對於X軸之「紅色」、Y軸之「藍色」以及Z軸之「亮度」係使用自原點僅向正方向之象限,於相當於該象限之空間內分類配置有複數個視窗畫面W57。然而並不限於此,亦可於對於X軸、Y軸及Z軸亦包含自原點向負方向之所有象限內分類配置複數個視窗畫面W57。
然而,編輯裝置2之微處理器3對於分類圖像群58中之靜態影像內容之靜止圖像一直如此顯示,但對於動態影像內容之靜止圖像,可利用與特定訊框頻率相應之更新速度於視窗畫面W57內依次更新,從而顯示為動態影像之再生影像。
此時,編輯裝置2之微處理器3每次更新分類圖像群58中之與動態影像內容相對應之視窗畫面W57之靜止圖像時,其特徵量亦發生變化,因此藉由根據該特徵量而於3次元虛擬空間內依次再配置視窗畫面W57,可將動態影像內容之視窗畫面W57於3次元虛擬空間上一邊移動一邊顯示。
再者,於編輯裝置2中,亦可藉由變更針對靜止圖像之更新速度而調整再生速度,若提高更新速度則可進行快進再生,因此視窗畫面W57之移動速度提高而於3次元虛擬空間上高速移動,若降低更新速度則視窗畫面W57之移動速度降低,從而於3次元虛擬空間上猶如漂浮般低速移動。
進而,編輯裝置2亦可將視窗畫面W57之再生影像倒帶再生,此時於3次元虛擬空間上可使該視窗畫面W57向目前為止之相反方向移動顯示。因此,編輯裝置2亦可使視窗畫面W57在向順方向或逆方向移動顯示之過程中於操作員所期望之時刻停止。
(2-3)內容之分類顯示功能
繼而,將如下所述之結構作為微處理器3及GPU4之功能方塊進行說明,即:於編輯裝置2中,預先提取靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像的元資料,根據靜態影像內容之靜止圖像之特徵量,將放映出有該靜止圖像之視窗畫面W57分類配置於3次元虛擬空間上,或者於將動態影像內容之再生影像顯示於視窗畫面W57上時之靜止圖像更新時,根據該已更新之各靜止圖像之特徵量,將該視窗畫面W57依次再配置於3次元虛擬空間上,藉此移動顯示該視窗畫面W57。
此處,對以下合計3種結構例進行說明,即:第1結構例,預先自靜態影像內容之靜止圖像或構成動態影像內容之各幅靜止圖像中提取出元資料,並使用該元資料將靜態影像內容或動態影像內容分類顯示;第2結構例,一邊自靜態影像內容之靜止圖像或構成動態影像內容之各幅靜止圖像產生元資料,一邊使用該元資料將靜態影像內容或動態影像內容分類顯示;以及第3結構例,於記錄靜態影像內容或動態影像內容時一邊產生元資料一邊使用該元資料將靜態影像內容或動態影像內容分類顯示。
(2-3-1)第1結構例
如圖4所示,元資料提取部61自靜態影像內容或動態影像內容之AV檔案中依次提取該靜態影像內容之靜止圖像或該動態影像內容之各靜止圖像中所包含之各種參數的特徵量(元資料),將該等元資料作為靜態影像內容單位或動態影像內容單位之元資料檔案MDF而註冊於元資料資料庫(以下,將其稱為元資料DB)62中。
另一方面,壓縮圖像產生部63不直接壓縮經由元資料提取部61所供給之AV檔案之靜態影像內容的靜止圖像或動態影像內容中之各靜止圖像,而是將其作為主線圖像資料HD1註冊於後段之主線圖像及低解析度圖像資料庫(以下,將其稱為主線圖像及低解析度圖像DB)64中,並且以特定比例對靜態影像內容之靜止圖像或動態影像內容中之各靜止圖像之像素數進行像素跳躍,將最終獲得之像素數較少之作為代理資料的低解析度圖像資料LD1註冊於主線圖像及低解析度圖像DB64中。
藉此,主線圖像及低解析度圖像DB64可將未對像素數進行像素跳躍之主線圖像資料HD1、與對像素數進行了像素跳躍之低解析度圖像資料LD1兩者以靜態影像內容為單位或動態影像內容為單位進行儲存,因此微處理器3可根據3次元虛擬空間上之配置部位而進行區分使用,即,於顯示於畫框尺寸較小之視窗畫面W57上時使用低解析度圖像資料LD1,而有時在放大顯示時則使用主線圖像資料HD1等。
繼而,顯示空間控制部66進行如下所述等與分類顯示相關之各種決定,即,辨識由操作員經由顯示於顯示部55上之GUI(Graphical User Interface)65而指定之3次元虛擬空間之產生時所使用之顯示軸之參數,或者辨識對操作員顯示分類圖像群58時之視點座標,或者將由操作員所選擇之靜態影像內容或動態影像內容用作該3次元虛擬空間所對應之分類配置對象。
因此,顯示空間控制部66根據該決定結果,將作為分類圖像群58(圖3)而應顯示於顯示部55之靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像所對應之訊框編號輸出至元資料DB62,藉此自該元資料DB62讀出與訊框編號相對應之靜止圖像之元資料檔案MDF,並送出至3D座標計算部67。
又,顯示空間控制部66根據該決定結果,對於主線圖像及低解析度圖像DB64亦輸出靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像所對應之訊框編號,藉此,於將靜態影像內容之靜止圖像或動態影像內容之再生影像顯示於視窗畫面W57上之情形時,使與訊框編號相對應之低解析度圖像資料LD1送出至解碼器68,而於放大顯示靜態影像內容之靜止圖像或動態影像內容之再生影像之情形時,則將與該訊框編號相對應之主線圖像資料HD1送出至解碼器68。
解碼器68對自主線圖像及低解析度圖像DB64所供給之低解析度圖像資料LD1、主線圖像資料HD1進行解碼,將最終獲得之解碼後之低解析度圖像、主線圖像送出至圖像顯示部69。
3D座標計算部67藉由計算而產生基於自顯示空間控制部66所供給之參數之顯示軸的3次元虛擬空間,根據應顯示於各視窗畫面W57上之靜止圖像之特徵量,決定3次元虛擬空間上之配置部位,根據由應分類配置於該3次元虛擬空間上之複數個視窗畫面W57構成之分類圖像群58所對應的視點座標及各視窗畫面W57的配置部位,而決定各個視窗畫面W57之顯示尺寸,將該等與各視窗畫面W57之分類顯示相關之各種資訊傳遞至圖像顯示部69。
圖像顯示部69根據自3D座標計算部67傳遞之與分類顯示相關的資訊,並根據該3次元虛擬空間上之應配置自解碼器68所供給之低解析度圖像之3次元座標位置,將該低解析度圖像之視窗畫面W57依次分類配置於3次元虛擬空間上,亦對其他靜態影像內容或動態影像內容之視窗畫面W57執行此操作後,將該等複數個視窗畫面W57之3次元座標位置轉換為顯示部55之2次元座標位置並進行顯示,藉此可將由複數個視窗畫面W57構成之分類圖像群58提示於顯示部55上。
如此,編輯裝置2可預先自靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像中提取出各種參數之特徵量,並使用該特徵量將靜態影像內容之視窗畫面W57、動態影像內容之視窗畫面W57分類配置於3次元虛擬空間上,顯示為分類圖像群58。
(2-3-2)第2結構例
於與圖4之對應部分附有相同符號而表示之圖5中,顯示空間控制部66進行如下所述等與分類顯示相關之各種決定,即,辨識由操作員經由顯示於顯示部55上之GUI65而指定之3次元虛擬空間之產生時所使用之顯示軸之參數,或者辨識對操作員顯示分類圖像群58時之視點座標,或者將由操作員所選擇之靜態影像內容或動態影像內容用作該3次元虛擬空間所對應之分類配置對象,並將該資訊送出至3D座標計算部67。
因此,顯示空間控制部66根據該決定結果,對於主線圖像及低解析度圖像DB64亦輸出靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像所對應之訊框編號,藉此,於將靜態影像內容之靜止圖像或動態影像內容之再生影像顯示於視窗畫面W57上之情形時,將與訊框編號相對應之低解析度圖像資料LD1送出至解碼器68,而有時於放大顯示動態影像內容之再生影像之情形時,則將與該訊框編號相對應之主線圖像資料HD1送出至解碼器68。
因此,於該主線圖像及低解析度圖像DB64中,與第1結構例同樣預先儲存有未對像素數進行像素跳躍之主線圖像資料HD1、與對像素數進行了像素跳躍之低解析度圖像資料LD1兩者。
解碼器68對自主線圖像及低解析度圖像DB64所供給之低解析度圖像資料LD1、主線圖像資料HD1進行解碼,將最終獲得之解碼後之主線圖像送出至元資料提取部61,將低解析度圖像送出至圖像顯示部69。
元資料提取部61依次提取自解碼器68所供給之主線圖像中所包含之各種參數的特徵量,將該等特徵量作為元資料檔案MDF註冊於元資料DB62中,並且將該元資料檔案MDF送出至3D座標計算部67中。
3D座標計算部67藉由計算而產生基於自顯示空間控制部66所供給之參數之顯示軸的3次元虛擬空間,根據應顯示於各視窗畫面W57上之靜止圖像之特徵量而決定3次元虛擬空間之配置部位,根據由應分類配置於該3次元虛擬空間上之複數個視窗畫面W57構成之分類圖像群58所對應之視點座標及各視窗畫面之配置部位,而決定各個視窗畫面W57之顯示尺寸,將該等與各視窗畫面W57之分類顯示相關之各種資訊傳遞至圖像顯示部69。
圖像顯示部69根據自3D座標計算部67傳遞之與分類顯示相關之資訊,並根據該3次元虛擬空間上的應配置自解碼器68所供給之低解析度圖像之3次元座標位置,將該低解析度圖像之視窗畫面W57依次分類並配置於3次元虛擬空間上,亦對其他靜態影像內容或動態影像內容之視窗畫面W57執行此操作後,將該等複數個視窗畫面W57之3次元座標位置轉換為顯示部55之2次元座標位置而顯示,藉此可將由複數個視窗畫面W57構成之分類圖像群58提示於顯示部55上。
如此,編輯裝置2可一邊自靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像產生各種參數之特徵量,一邊使用該特徵量將靜態影像內容之視窗畫面W57、動態影像內容之視窗畫面W57分類配置於3次元虛擬空間上,顯示為分類圖像群58。
(2-3-3)第3結構例
於與圖5之對應部分附有相同符號而表示之圖6中,顯示空間控制部66進行如下所述等與分類顯示相關之各種決定,即,辨識由操作員經由顯示於顯示部55上之GUI65而指定之3次元虛擬空間之產生時所使用之顯示軸之參數,或者辨識對操作員顯示分類圖像群58時之視點座標,或者將由操作員所選擇之靜態影像內容或動態影像內容用作該3次元虛擬空間所對應之分類配置對象,並將該資訊送出至3D座標計算部67。
因此,顯示空間控制部66根據該決定結果,對元資料及圖像資料庫(以下,將其稱為元資料及圖像DB)70輸出與靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像相對應的訊框編號。
該元資料及圖像DB70除了註冊有由攝錄像機等所拍攝之主線圖像資料HD1以外,亦註冊有對該主線圖像資料HD1之像素數進行了像素跳躍之低解析度圖像資料LD1,於將靜態影像內容之靜止圖像或動態影像內容之再生影像顯示於視窗畫面W57上之情形時,將與訊框編號相對應之低解析度圖像資料LD1送出至解碼器68,而有時於放大顯示靜態影像內容之靜止圖像或動態影像內容之再生影像之情形時,則將與該訊框編號相對應之主線圖像資料HD1送出至解碼器68。
進而,於元資料及圖像DB70中,亦註冊有於拍攝主線圖像資料HD1時由內置於該攝錄像機中之元資料提取部所提取之包含於主線圖像資料HD1中之各種參數的特徵重作為元資料檔案MDF。
因此,元資料及圖像DB70將與自顯示空間控制部66所供給之訊框編號相對應之靜態影像內容的靜止圖像或構成動態影像內容之複數幅靜止圖像之特徵量作為元資料檔案MDF而依次送出至3D座標計算部67。
3D座標計算部67藉由計算而產生基於自顯示空間控制部66所供給之參數之顯示軸的3次元虛擬空間,根據應顯示於各視窗畫面W57上之靜止圖像之特徵量而決定3次元虛擬空間之配置部位,並根據由應分類配置於該3次元虛擬空間上之複數個視窗畫面W57構成之分類圖像群58所對應之視點座標及各視窗畫面的配置部位,而決定各個視窗畫面W57之顯示尺寸,並將該等與各視窗畫面W57之分類顯示相關之各種資訊傳遞至圖像顯示部69。
解碼器68對自元資料及圖像DB70所供給之低解析度圖像資料LD1、主線圖像資料HD1進行解碼,將最終獲得之解碼後之低解析度圖像、主線圖像送出至圖像顯示部69。
圖像顯示部69根據自3D座標計算部67所傳遞之與分類顯示相關之資訊,並根據該3次元虛擬空間上之應配置自解碼器68所供給之低解析度圖像之3次元座標位置,而將該低解析度圖像之視窗畫面W57依次分類並配置於3次元虛擬空間上,對於其他靜態影像內容或動態影像內容之視窗畫面W57亦執行該操作後,將該等複數個視窗畫面W57之3次元座標位置轉換為顯示部55之2次元座標位置而進行顯示,藉此可將由複數個視窗畫面W57構成之分類圖像群58提示於顯示部55上。
如此,編輯裝置2於記錄靜態影像內容或動態影像內容時,可一邊自該靜態影像內容之靜止圖像或構成動態影像內容之複數幅靜止圖像中產生各種參數之特徵量,一邊使用該特徵量將靜態影像內容之視窗畫面W57或動態影像內容之視窗畫面W57分類配置於3次元虛擬空間上,並將該等提示為分類圖像群58。
(2-4)元資料提取部之具體結構
繼而,對上述元資料提取部61之具體結構進行說明。如圖7所示,於該元資料提取部61中,為提取靜態影像內容之靜止圖像或構成動態影像內容之各靜止圖像(主線圖像資料HD1)之例如精細度(複雜程度)、移動向量、DCT(Discrete Cosine Transform,離散餘弦轉換)縱橫頻率成分、色成分、語音位準等各種參數之特徵量,而由精細度資訊檢測部71、移動檢測部72、DCT縱橫頻率成分檢測部73、色成分檢測部76、語音檢測部80、亮度色差檢測部83及元資料檔案產生部86所形成。然而,元資料提取部61中亦可設置用以提取除了該等以外之參數之特徵量之各種檢測部。
(2-4-1)精細度資訊算出部之結構
該精細度資訊算出部71包含平均值算出部1071、差分值運算部1072及累計部1073,對平均值算出部1071及差分值運算部1072供給主線圖像資料HD1。
平均值算出部1071將主線圖像資料HD1之訊框依次作為注視訊框,如圖8所示將該注視訊框例如分割成8×8像素之區塊。進而,平均值算出部1071求出注視訊框中之各區塊之像素值之平均值,將其供給至差分值運算部1072。
此處,於8×8像素之區塊之光柵掃描次序中,將第k個像素之像素值表示為Pk之情形時,於平均值算出部1071中,根據下式Pave=1/(8×8)×ΣPk而求出平均值Pave。再者,平均值Pave=1/(8×8)×ΣPk中之求和Σ係表示將k自1起變化至8×8(=64)為止之求和。
差分值運算部1072與平均值算出部1071同樣,將注視訊框分割成8×8像素之區塊,求出區塊之各像素值Pk、與自平均值算出部1071供給之該區塊之像素值的平均值Pave的差分值之絕對值|Pk-Pave|,並供給至累計部1073。
累計部1073對針對自差分值運算部1072供給之區塊之各像素所求出之差分值的絕對值|Pk-Pave|進行累計,求出累計值Q=Σ|Pk-Pave|。此處,累計值Q=Σ|Pk-Pave|中之求和Σ係表示將k自1起變化至8×8(=64)為止之求和。
進而,累計部1073求出針對注視訊框之所有區塊所獲得之累計值Q之總和,將其作為注視訊框之精細度資訊QS1而輸出至元資料檔案產生部86。
再者,針對注視訊框所求出之累計值Q之總和稱為內部AC(Intra-AC),其值越大則注視訊框中之像素值之不均越大。因此,作為累計值Q之總和之精細度資訊QS1越大,則注視訊框為越精細(複雜)之靜止圖像。
此處,於本實施形態中,上述移動資訊或精細度資訊QS1等特徵量如後文將述,係用於刮擦(包含刮擦之變速再生),該特徵量亦可用於其他情形,例如檢測場景轉換之情形時或實現MPEG編碼化之效率化之情形時等。
(2-4-2)移動檢測部之結構
如圖9所示,於移動檢測部72(圖7)中,移動向量檢測部1041將前訊框分割成16×16像素之巨集塊,對於前訊框之各巨集塊,檢測出與該巨集塊最類似之注視訊框之16×16像素的區塊(以下,稱為類似區塊)。繼而,移動向量檢測部1041求出巨集塊之例如以左上為始點並且以類似區塊之左上為終點之向量,以作為巨集塊之移動向量△F0(h,v)。
當前,若將自前訊框之左起第h個、自上起第v個巨集塊之位置表示為F0(h,v),並且將自巨集塊F0(h,v)移動該巨集塊F0(h,v)之移動向量△F0(h,v)之位置上的注視訊框之16×16像素之區塊,即類似區塊之位置表示為F1(h,v),則巨集塊F0(h,v)之移動向量△F0(h,v)表示為下式△F0(h,v)=F1(h,v)-F0(h,v)之差分。
統計量算出部1042例如求出前訊框中之所有巨集塊之移動向量△F0(h,v)之大小|△F0(h,v)|之總和D0=Σ|△F0(h,v)|,以作為針對前訊框之巨集塊所求出之移動向量之統計量,將該總和D0作為注視訊框之移動資訊而輸出。
再者,總和D0=Σ|△F0(h,v)|中之求和Σ係表示,將h自1起變化至前訊框橫方向之巨集塊數為止,並且將v自1起變化至前訊框縱方向之巨集塊數為止之求和。
此處,若前訊框之各巨集塊F0(h,v)之移動向量△F0(h,v)之大小較大,則作為其和之移動資訊D0亦變大。因此,於注視訊框之移動資訊D0較大之情形時,注視訊框之圖像之移動亦較大(劇烈)。
再者,於上述情形時,係求出前訊框之所有巨集塊之移動向量△F0(h,v)之大小|△F0(h,v)|之總和D0=Σ|△F0(h,v)|,以作為針對前訊框之巨集塊所求出之移動向量的統計量,而作為針對前訊框之巨集塊所求出之移動向量之統計量,可採用其他例如針對前訊框之巨集塊所求出之移動向量之分散。
於此情形時,於統計量算出部1042中,求出前訊框之所有巨集塊之移動向量△F0(h,v)之平均值△ave,前訊框之所有巨集塊F0(h,v)之移動向量△F0(h,v)之分散σ0例如係藉由運算下式σ0=Σ(△F0(h,v)-△ave)2而求出。
再者,分散σ0=Σ(△F0(h,v)-△ave)2中之求和Σ係表示,將h自1起變化至前訊框橫方向之巨集塊數為止,並且將v自1起變化至前訊框縱方向之巨集塊數為止的總和。
該分散σ0亦與總和D0同樣,若注視訊框之圖像之移動較大(劇烈),則該分散σ0亦較大。
其次,圖10表示圖7中之移動檢測部72之其他結構例,該移動檢測部72A包括柱狀圖製作部1051、柱狀圖記憶部1052及差分運算部1053。
於柱狀圖製作部1051中供給有主線圖像資料HD1,將該主線圖像資料HD1之訊框依次作為注視訊框,製作注視訊框之像素值之所謂簡略柱狀圖,並作為注視訊框之柱狀圖而供給至柱狀圖記憶部1052及差分運算部1053。
柱狀圖記憶部1052記憶自柱狀圖製作部1051所供給之注視訊框之柱狀圖。此處,柱狀圖記憶部1052具有至少可記憶2訊框之柱狀圖之記憶容量,其記憶自柱狀圖製作部1051所供給之與本次之注視訊框相應之柱狀圖、及與上次之注視訊框即前訊框相應之柱狀圖。
差分運算部1053求出自柱狀圖製作部1051所供給之與注視訊框相應之柱狀圖、與記憶於柱狀圖記憶部1052中之與前訊框相應之柱狀圖的差分絕對值和(後文將述),並作為注視訊框之移動資訊D0而輸出。
參照圖11,進一步說明圖10之移動檢測部72A之處理。若設供給至柱狀圖製作部1051之主線圖像資料HD1之像素值例如係由能以0至255之整數值來表現之8位元所表示,則柱狀圖製作部1051將0至255之範圍例如8等份成0至31、32至63、64至95、96至127、128至159、160至191、192至223、224至255八個小範圍,求出各小範圍中所包含之像素值之度數,藉此製成注視訊框之簡略柱狀圖。
例如,當前,若設第i+1訊框為注視訊框,則於差分運算部1053中,求出作為注視訊框之第i+1訊框、與作為前訊框之第i訊框之柱狀圖之相同小範圍中的度數彼此之差分值的絕對值△(於圖11中標有陰影而示之部分)。進而,於差分運算部1053中,求出針對柱狀圖之8個小範圍所求出之度數之差分值的絕對值之總和(差分絕對值和)Σ△,並作為注視訊框之移動資訊D0而輸出至元資料檔案產生部86。
此處,於注視訊框之移動較大(劇烈)之情形時,注視訊框之像素值之度數分佈與前訊框之像素值之度數分佈不同。因此,於注視訊框之差分絕對值和Σ△較大之情形時,注視訊框之圖像之移動亦較大(劇烈)。
(2-4-3)DCT縱橫頻率成分檢測部之結構
其次,圖12表示DCT縱橫頻率成分檢測部73(圖7)中之頻率分析部74之結構例。該頻率分析部74包括DCT轉換部1061、加權係數算出部1062及累計部1063。
於DCT轉換部1061中供給有主線圖像資料HD1,將該主線圖像資料HD1之訊框依次作為注視訊框,將注視訊框例如分割成8×8像素之區塊。進而,DCT轉換部1061對注視訊框之各區塊進行DCT轉換,將針對各區塊所獲得之8×8個DCT係數供給至累計部1063。
加權係數算出部1062求出分別賦予區塊之8×8個DCT係數之加權並供給至累計部1063。累計部1063對自DCT轉換部1061供給之區塊之8×8個DCT係數分別賦予自加權係數算出部1062供給之加權並進行累計,藉此求出累計值。進而,累計部1063求出針對注視訊框之各區塊所求出之累計值之總和,並作為注視訊框之精細度資訊而送出至縱紋理橫紋理位準算出部75(圖7)。
參照圖13,進一步說明圖12之頻率分析部74之處理。圖13左表示DCT轉換之基底圖像。基底圖像包括8×8個圖案(頻率成分),越為右側之圖案或越為下側之圖案,則圖案之頻率成分越高。
圖13右表示區塊之8×8個DCT係數中自左起第i(i=1,2,...,8),自上起第j(j=1,2,...,8)個DCT係數F(i-1,j-1),該DCT係數F(i-1,j-1)表示自基底圖像之左起第i、自上起第j個圖案之頻率成分包含於區塊中之程度(level)。
圖13左之基底圖像中所注之數字係表示圖12之加權係數算出部1062所計算出之加權G(i-1,j-1)。該加權G(i-1,j-1)係賦予DCT係數F(i-1,j-1)之加權,加權係數算出部1062例如根據式G(i-1,j-1)=i×j而求出加權G(i-1,j-1)。藉此於加權係數算出部1062中,賦予越高頻率成分之DCT係數F(i-1,j-1)之加權G(i-1,j-1),則所求出之加權值越大。
累計部1063(圖12)將自DCT轉換部1061所供給之區塊之DCT係數F(i-1,j-1)乘以自加權係數算出部1062所供給之加權G(i-1,j-1),求出乘算值G(i-1,j-1)×F(i-1,j-1)。繼而,累計部1063對分別針對區塊中之8×8個DCT係數F(i-1,j-1)所獲得之乘算值G(i-1,j-1)×F(i-1,j-1)進行累計,求出累計值V=ΣG(i-1,j-1)×F(i-1,j-1)。此處,累計值V=ΣG(i-1,j-1)×F(i-1,j-1)中之求和Σ係表示將i、j分別自1變化至8為止之求和。
進而,累計部1063求出針對注視訊框之所有區塊所獲得之累計值V之總和K,並將其作為注視訊框之精細度資訊而輸出至縱紋理橫紋理位準算出部75。
此處,若注視訊框中越是含有高頻成分,則累計值V之總和K即精細度資訊越大,因此注視訊框之圖像越為精細(複雜)之靜止圖像。
DCT縱橫頻率成分檢測部73之縱紋理橫紋理位準算出部75根據注視訊框中之區域AR1之DCT係數,檢測於縱方向上存在精細紋理之圖像即橫方向之頻率較高之圖像,或者根據注視訊框中之區域AR2之DCT係數,檢測於橫方向上存在精細紋理之圖像即縱方向之頻率較高之圖像。
藉此,於DCT縱橫頻率成分檢測部73中,可利用頻率分析部74而判別注視訊框之圖像是否為精細(複雜)之靜止圖像,並且判別橫方向之頻率及縱方向之頻率處於何位準,並將其作為DCT縱橫頻率成分資訊FVH而輸出至元資料檔案產生部86。
(2-4-4)色成分檢測部之結構
色成分檢測部76包括像素RGB位準檢測部77、RGB位準統計分散檢測部78及HLS位準統計分散檢測部79,將所供給之主線圖像資料HD1輸入至像素RGB位準檢測部77。
像素RGB位準檢測部77分別檢測主線圖像資料HD1之注視訊框中之各像素之RGB位準,並將該檢測結果送出至RGB位準統計分散檢測部78及HLS位準統計分散檢測部79。
RGB位準統計分散檢測部78算出與自像素RGB位準檢測部77所供給之注視訊框中之各像素之RGB位準相應的統計及分散,將表示注視訊框中之RGB各色成分處於何位準之統計值、或者表示注視訊框中之色成分是作為整體色而賦予還是作為局部色而賦予之分散值作為色成分資訊CL1而輸出至元資料檔案產生部86。
HLS位準統計分散檢測部79將自像素RGB位準檢測部77所供給之注視訊框中之各像素之RGB位準轉換為色相(Hue)、飽和度(Saturation)及亮度(Luminance/Lightness)3個成分,如圖14所示,作為由該等色相、飽和度及亮度構成之HLS空間中之各要素之統計及分散而算出,將該檢測結果作為HLS資訊CL2而輸出至元資料檔案產生部86。
此處,所謂HLS空間中之色相,係指以0度~359度範圍之角度表示顏色者,0度為紅,位於其相反側之180度係與紅為相反色之藍綠。亦即,於HLS空間中亦易於觀察相反色。
所謂HLS空間中之飽和度係指彩色混合之比例,尤其於HLS空間中,與HSV(色相(Hue)、飽和度(Saturation)及明度(Value))空間不同,飽和度自純色降低係指逐漸成為灰色,基於此想法,因此越接近灰色則飽和度越低,越遠離灰色則飽和度越高。
所謂HLS空間中之亮度,與如HSV空間般將明度100%設為純色而表示自此丟失多少亮度不同,而係將亮度0%設為黑,將亮度100%設為白,並將其中間設為純白者。
因此,HLS位準統計分散檢測部79可將與RGB空間相比更容易表現出色相之HLS資訊CL2輸出至元資料檔案產生部86。
(2-4-5)語音檢測部之結構
語音檢測部80(圖7)包括頻率分析部81及位準檢測部82,將所供給之主線圖像資料HD1輸入至頻率分析部81。
於頻率分析部81中,對主線圖像資料HD1之注視訊框中所對應之語音資料之頻率進行分析,將其頻帶通知給位準檢測部82。位準檢測部82檢測出自頻率分析部81所通知之頻帶中之語音資料之位準,將該語音位準資訊AL輸出至元資料檔案產生部86。
(2-4-6)亮度色差檢測部之結構
亮度色差檢測部83(圖7)包括Y、Cb、Cr位準檢測部84以及Y、Cb、Cr統計分散檢測部85,將所供給之主線圖像資料HD1輸入至Y、Cb、Cr位準檢測部84。
Y、Cb、Cr位準檢測部84檢測出主線圖像資料HD1之注視訊框中之各像素之亮度信號Y的亮度位準及色差信號Cb、Cr之信號位準,並將該等供給至Y、Cb、Cr統計分散檢測部85。
Y、Cb、Cr統計分散檢測部85計算出自Y、Cb、Cr位準檢測部84所供給之注視訊框中之各像素之亮度信號Y的亮度位準以及色差信號Cb、Cr之信號位準所對應之統計及分散,將表示注視訊框中之亮度信號Y、色差信號Cb、Cr處於何位準之統計值,或注視訊框中之亮度信號Y、色差信號Cb、Cr之分散值作為色成分資訊CL3而輸出至元資料檔案產生部86。
(2-4-7)元資料檔案產生部之結構
元資料檔案產生部86根據自精細度資訊檢測部71所獲得之精細度資訊QS1、自移動檢測部72所獲得之注視訊框之移動資訊D0、自DCT縱橫頻率成分檢測部73所獲得之DCT縱橫頻率成分資訊FVH、自色成分檢測部76所獲得之色成分資訊CL1或HLS資訊CL2、自語音檢測部80所獲得之語音位準資訊AL、以及自亮度色差檢測部83所獲得之色成分資訊CL3,分別產生與靜態影像內容之靜止圖像或構成動態影像內容之各靜止圖像相應之元資料檔案MDF,並將其輸出。
於該元資料檔案MDF中,如圖15所示,例如若為動態影像內容,則針對構成該動態影像內容之1訊框至最終訊框之複數幅靜止圖像之每一幅註冊「時間碼」、「移動量」、「精細度」、「紅」、「藍」、「綠」、「亮度」、「紅分散」、「綠分散」、「色相」、「飽和度」、「縱紋理」、「橫紋理」、「移動分散」及「語音位準」等各種參數之特徵量。
再者,作為元資料檔案MDF之各參數中之特徵量之值,係使用0~1之間之經正規化之相對值,但並不限定於此,亦可使用絕對值。又,作為元資料檔案MDF之內容,亦並不限定於上述參數之特徵量,除了該等以外,例如若在將視窗畫面W57分類配置於3次元虛擬空間內之後,則亦可註冊該視窗畫面W57實際上分類配置之3次元虛擬空間上之座標值作為元資料之一種。
如此,於編輯裝置2中,若於元資料檔案MDF中預先註冊有3次元虛擬空間上之座標值,則繼而將靜態影像內容之視窗畫面W57、或動態影像內容之視窗畫面W57分類配置於3次元虛擬空間上時,根據靜止圖像之特徵量,可瞬時對視窗畫面W57進行分類配置,而無須再次計算3次元虛擬空間上之座標值。
(2-5)分類顯示處理程序
其次,使用流程圖具體說明利用編輯裝置2之微處理器3進行之針對靜態影像內容之分類顯示處理程序、針對動態影像內容之分類顯示處理程序以及針對複數個動態影像內容之分類顯示處理程序。
(2-5-1)針對靜態影像內容之分類顯示處理程序
如圖16所示,編輯裝置2之微處理器3自常式RT1之開始步驟進入後向下一步驟SP1轉移,決定由操作員所指定之3次元虛擬空間之顯示軸、對操作員顯示分類圖像群58時之視點座標,向下一步驟SP2轉移。
此處,編輯裝置2之微處理器3決定各顯示軸,以產生例如:如圖17(A)所示,由表示RGB各色成分之R軸、G軸及B軸構成之3次元虛擬空間;如圖17(B)所示,由亮度位準軸、R軸及B軸構成之3次元虛擬空間;如圖17(C)所示,由移動量軸、Cb軸及Cr軸構成之3次元虛擬空間;如圖17(D)所示,由精細度資訊軸、亮度位準軸、及色相軸構成之3次元虛擬空間;如圖17(E)所示,由R軸、DCT縱頻率軸、DCT橫頻率軸構成之3次元虛擬空間;如圖17(F)所示,由DCT縱頻率軸、Cb軸及Cr軸構成之3次元虛擬空間;以及如圖17(G)所示,由作為HLS空間各要素之L(Luminance)軸、H(Hue)軸、及S(Saturation)軸構成之各種3次元虛擬空間等,但並不限定於該等,可以產生將註冊於元資料檔案中之各種參數作為顯示軸之3次元虛擬空間之方式而決定。
於步驟SP2中,編輯裝置2之微處理器3辨識由操作員所指定之應再生之靜態影像內容的靜止圖像,向下一步驟SP3轉移。於步驟SP3中,微處理器3將該靜止圖像設為注視訊框,對其低解析度圖像資料LD1進行解碼,將最終獲得之解碼後之低解析度圖像資料傳送至GPU4,向下一步驟SP4轉移。
於步驟SP4中,編輯裝置2之微處理器3自與該靜止圖像相關聯之元資料檔案MDF詢問用於3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP5轉移。
於步驟SP5中,編輯裝置2之微處理器3根據步驟SP4中所接受之參數之特徵量而計算出3次元虛擬空間上的應貼附靜止圖像之視窗畫面W57之座標位置,向下一步驟SP6轉移。亦即,編輯裝置2之微處理器3將靜止圖像所具有之顯示軸之參數所對應之特徵量轉換為3次元虛擬空間上之座標位置。
於步驟SP6中,編輯裝置2之微處理器3判定應顯示之靜態影像內容之靜止圖像是否到此結束。此處,若獲得肯定結果,則此表示不由操作員指定除此以外之其他靜態影像內容,另外,並不存在其他應顯示之視窗畫面W57,此時,微處理器3向下一步驟SP7轉移。
與此相對,若步驟SP6中獲得否定結果,則此表示由操作員指定除此以外之其他靜態影像內容,還存在與其他靜態影像內容相對應之視窗畫面W57,此時,編輯裝置2之微處理器3返回至步驟SP2重複上述處理,藉此,根據該靜止圖像之特徵量而計算出與複數個靜態影像內容相對應之複數個視窗畫面W57所對應之3次元虛擬空間上的座標位置。
於步驟SP7中,編輯裝置2之微處理器3利用GPU4,根據步驟SP5中所計算出之3次元虛擬空間上之座標位置,而將靜止圖像之視窗畫面W57貼附於3次元虛擬空間上,根據步驟SP1中所決定之視點座標而將3次元虛擬空間之座標位置轉換為顯示部55之2次元畫面上之2次元座標位置,並且決定各視窗畫面W57之顯示尺寸,於該2次元座標位置上描繪並顯示該視窗畫面W57,向下一步驟SP8轉移。
此時,於由操作員指定有複數個靜態影像內容時,編輯裝置2之微處理器3根據其靜止圖像之特徵量,將與該等複數個靜態影像內容相對應之複數個視窗畫面W57分別分類配置於3次元虛擬空間上之座標位置上,可提示為由該等複數個視窗畫面W57構成之分類圖像群58。
於步驟SP8中,編輯裝置2之微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束視窗畫面W57之顯示處理,若獲得肯定結果則向下一步驟SP11轉移,結束視窗畫面W57之顯示處理。
與此相對,若於步驟SP8中獲得否定結果,則編輯裝置2之微處理器3並不結束視窗畫面W57之顯示處理而向下一步驟SP9轉移。於步驟SP9中,編輯裝置2之微處理器3根據操作員之游標操作進行待命,直至變更視窗畫面W57所對應之視點座標為止,向下一步驟SP10轉移。
於步驟SP10中,編輯裝置2之微處理器3判定是否由操作員實際上變更了視窗畫面W57所對應之視點座標,若獲得否定結果,則返回至步驟SP7,使靜態影像內容之視窗畫面W57保持最初之座標位置繼續顯示,與此相對,若獲得肯定結果則返回至步驟SP1,決定變更後之新的視點座標,重複步驟SP2以後之處理,將視窗畫面W57分類配置於以新的視點座標作為基準之3次元虛擬空間內。
此處,編輯裝置2之微處理器3將視窗畫面W57分類配置於以新的視點座標作為基準之3次元虛擬空間內時,不管視點變更如何,均使視窗畫面W57一直正對於操作員而配置,藉此使操作員可一直自正面目測確認視窗畫面W57。
如此,編輯裝置2之微處理器3可根據靜態影像內容之靜止圖像所具有之特徵量而將該靜止圖像之視窗畫面W57分類配置於3次元虛擬空間上之座標位置上,因此於指定有複數個靜態影像內容時,可提示為分類配置有與該等複數個靜態影像內容相對應之靜止圖像的視窗畫面W57而構成之分類圖像群58(圖3),可使操作員經由該分類圖像群58而將複數個靜態影像內容之整體傾向辨識為直觀印象。
然而,編輯裝置2之微處理器3例如在將與靜態影像內容相對應之視窗畫面W57分類配置於由DCT橫頻率軸、R軸及G軸構成之3次元虛擬空間內而顯示之狀態下,根據操作員之放大操作而使視點座標向橫頻率大於DCT橫頻率軸之位置移動之情形時,如圖18所示,可提示靠DCT橫頻率軸分類配置有多數個於縱方向上存在精細紋理之靜止圖像之視窗畫面W57的放大圖像群58Z1。
又,編輯裝置2之微處理器3例如在將與靜態影像內容相對應之視窗畫面W57分類配置於由DCT橫頻率軸、R軸及G軸構成之3次元虛擬空間內而顯示之狀態下,根據操作員之放大操作而使視點座標向R大於R軸之位置移動之情形時,如圖19所示,可提示靠R軸分類配置有多數個包含大量紅色成分之靜止圖像之視窗畫面W57的放大圖像群58Z2。
進而,編輯裝置2之微處理器3例如在將與靜態影像內容相對應之視窗畫面W57分類配置於由DCT橫頻率軸、R軸及G軸構成之3次元虛擬空間內而顯示之狀態下,根據操作員之放大操作而使視點座標向G大於G軸之位置移動之情形時,如圖20所示,可提示靠G軸分類配置有多數個包含大量綠色成分之靜止圖像之視窗畫面W57的放大圖像群58Z3。
(2-5-2)針對動態影像內容之分類顯示處理程序
繼而,說明針對動態影像內容之分類顯示處理程序,但基本上考慮方法與針對靜態影像內容之分類顯示處理程序RT1相同,於每次根據訊框頻率而更新構成動態影像內容之複數幅靜止圖像時,執行與執行針對上述靜態影像內容之分類顯示處理程序RT1同樣之處理。
實際上,如圖21所示,編輯裝置2之微處理器3自常式RT2之開始步驟進入後向下一步驟SP21轉移,決定由操作員所指定之3次元虛擬空間之顯示軸、或對操作員顯示分類圖像群58時之視點座標,向下一步驟SP22轉移。
於步驟SP22中,編輯裝置2之微處理器3辨識由操作員所指定之應再生之動態影像內容的靜止圖像,向下一步驟SP23轉移。於步驟SP23中,編輯裝置2之微處理器3將該靜止圖像設為注視訊框,對其低解析度圖像資料LD1進行解碼,將最終獲得之解碼後之低解析度圖像資料傳送至GPU4,向下一步驟SP24轉移。
於步驟SP24中,編輯裝置2之微處理器3自與該靜止圖像相關聯之元資料檔案MDF詢問用於3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP25轉移。
於步驟SP25中,編輯裝置2之微處理器3根據步驟SP24中所接受之參數之特徵量而計算出3次元虛擬空間上的應貼附構成動態影像內容之各靜止圖像之視窗畫面W57之座標位置,向下一次常式SRT1轉移。亦即,編輯裝置2之微處理器3將構成動態影像內容之複數幅靜止圖像各自所具有之顯示軸之參數所對應的特徵量轉換為3次元虛擬空間上之座標位置。
於次常式SRT1中,編輯裝置2之微處理器3根據構成動態影像內容之複數幅靜止圖像中之上次所顯示之靜止圖像在3次元虛擬空間上之座標位置、與更新後繼而應顯示之靜止圖像在3次元虛擬空間上之座標位置之間的相互位置關係,而進行座標修正處理,藉此獲得修正座標,向下一步驟SP26轉移。因此,對於該次常式SRT1中之座標修正處理程序將於後文進行敍述。
於步驟SP26中,編輯裝置2之微處理器3利用GPU4,並根據步驟SP25中所計算出之3次元虛擬空間上之座標位置、或次常式SRT1中所獲得之修正座標,將構成動態影像內容之各靜止圖像之視窗畫面W57貼附於3次元虛擬空間上,並根據步驟SP21中所決定之視點座標而將3次元虛擬空間上之座標位置轉換為顯示部55之2次元畫面中之2次元座標位置,並且分別決定視窗畫面W57之顯示尺寸,於該2次元座標位置上按照靜止圖像之更新次序而描繪並顯示該視窗畫面W57,向下一步驟SP27轉移。
於步驟SP27中,編輯裝置2之微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束動態影像內容之視窗畫面W57之顯示處理,若獲得肯定結果則向下一步驟SP28轉移,結束視窗畫面W57之顯示處理。
與此相對,若於步驟SP27中獲得否定結果,則編輯裝置2之微處理器3返回至步驟SP21,而不結束視窗畫面W57之顯示處理,執行針對下一指定之動態影像內容之視窗畫面W57之分類顯示處理。
如此,編輯裝置2之微處理器3根據動態影像內容之靜止圖像所具有之顯示軸之參數所對應的特徵量,將該靜止圖像之視窗畫面W57分類配置於3次元虛擬空間上之座標位置上,於每次根據訊框頻率而更新分類配置於3次元虛擬空間上之視窗畫面W57之靜止圖像時,根據該靜止圖像之特徵量發生變化之情況,變更3次元虛擬空間上之座標位置並重新進行分類配置,藉此於每次更新視窗畫面W57之靜止圖像時,均可給予操作員猶如使該視窗畫面W57於3次元虛擬空間上漂浮之印象,因此可使操作員直觀且瞬時地將動態影像內容之特徵(傾向)辨識為與該再生影像之進行相伴隨之視窗畫面W57之移動變化的印象。
(2-5-3)針對複數個動態影像內容之同時分類顯示處理程序
同樣,說明針對複數個動態影像內容之同時分類顯示處理程序,但基本上考慮方法與針對動態影像內容之分類顯示處理程序RT2相同,於每次更新構成動態影像內容之複數幅靜止圖像時,根據各靜止圖像之特徵量之變化,針對複數個動態影像內容之每一個同時並行地執行如下處理,即,一邊變更3次元虛擬空間上之配置部位,一邊移動顯示視窗畫面W57。
如圖22所示,實際上,編輯裝置2之微處理器3自常式RT3之開始步驟進入後向下一步驟SP31轉移,決定由操作員所指定之3次元虛擬空間之顯示軸、或對操作員顯示分類圖像群58時之視點座標,向下一步驟SP32轉移。
於步驟SP32中,編輯裝置2之微處理器3分別辨識由操作員所指定之應再生之複數個動態影像內容中的靜止圖像,向下一步驟SP33、步驟SP36、步驟SP39轉移。
於步驟SP33、步驟SP36及步驟SP39中,編輯裝置2之微處理器3將各靜止圖像設為注視訊框,對其低解析度圖像資料LD1進行解碼,將最終獲得之解碼後之低解析度圖像之資料分別傳送至GPU4,向下一步驟SP34、步驟SP37、步驟SP40轉移。
於步驟SP34、步驟SP37及步驟SP40中,編輯裝置2之微處理器3自與各靜止圖像相關聯之元資料檔案MDF分別詢問用於3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP35、步驟SP38、步驟SP41轉移。
於步驟SP35、步驟SP38及步驟SP41中,編輯裝置2之微處理器3根據步驟SP34、步驟SP37、步驟SP40中所接受之參數之特徵量,而計算出3次元虛擬空間上的應貼附各動態影像內容中之各靜止圖像之視窗畫面W57的座標位置,分別向下一次常式SRT1轉移。亦即,編輯裝置2之微處理器3將分別構成複數個動態影像內容之各靜止圖像所具有之顯示軸之參數所對應之特徵量轉換為3次元虛擬空間上之座標位置。
於次常式SRT1中,編輯裝置2之微處理器3根據構成動態影像內容之複數幅靜止圖像中之上次所顯示之靜止圖像在3次元虛擬空間上的座標位置、與繼而顯示之靜止圖像在3次元虛擬空間上的座標位置之間的相互位置關係,而分別進行座標修正,藉此獲得修正座標,向下一步驟SP42轉移。
於步驟SP42中,編輯裝置2之微處理器3利用GPU4,並根據步驟SP35、步驟SP38、步驟SP41中所計算出之3次元虛擬空間上之座標位置,將構成動態影像內容之各靜止圖像之視窗畫面W57分別貼附於3次元虛擬空間上,並根據步驟SP31中所決定之視點座標而將3次元虛擬空間上之座標位置分別轉換為顯示部55之2次元畫面中的2次元座標位置,並且分別決定各視窗畫面W57之顯示尺寸,將該等各視窗畫面W57分別配置於該2次元座標位置上,藉此顯示分類圖像群58,向下一步驟SP43轉移。
於步驟SP43中,微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束分類圖像群58之顯示處理,若獲得肯定結果則向下一步驟SP44轉移,結束由與複數個動態影像內容相對應之複數個視窗畫面W57構成之分類圖像群58之顯示處理。
與此相對,若於步驟SP44中獲得否定結果,則微處理器3返回至步驟SP31,而並不結束分類圖像群58之顯示處理,執行針對下一指定之動態影像內容之視窗畫面W57的分類顯示處理。
如此,編輯裝置2之微處理器3根據複數個動態影像內容中之各個靜止圖像所具有之顯示軸之參數所對應的特徵量,將該等複數幅靜止圖像之視窗畫面W57分別分類配置於3次元虛擬空間上之座標位置上,於每次根據訊框頻率而更新分別分類配置於3次元虛擬空間上之視窗畫面W57之靜止圖像時,根據該靜止圖像之特徵量發生變化的情況,分別變更3次元虛擬空間上之座標位置並重新進行分類配置,藉此,於每次更新與複數個動態影像內容相對應之視窗畫面W57之靜止圖像時,可給予操作員猶如使該視窗畫面W57於3次元虛擬空間上漂浮之印象,因此可使操作員直觀且瞬時地將複數個動態影像內容之特徵(傾向)辨識為複數個視窗畫面W57之移動變化之印象。
亦即,於編輯裝置2中,若構成複數個動態影像內容之靜止圖像之內容非常相似,則與各個動態影像內容相對應之視窗畫面W57漂浮之移動方向亦一致,但於構成複數個動態影像內容之靜止圖像之內容不同之情形時,與各個動態影像內容相對應之視窗畫面W57之移動方向則完全不同。
因此,於此情形時,於編輯裝置2中,若操作員僅選擇複數個動態影像內容中之欲注視視窗畫面W57之移動的動態影像內容,則僅與該動態影像內容相對應之視窗畫面W57之移動易於受到注目,可使該動態影像內容之特徵(傾向)作為表示該視窗畫面W57之移動變化之有衝擊性之印象而給予操作者。
具體而言,如圖23所示,於分類圖像群58中之與某動態影像內容相對應之視窗畫面W57之最初靜止圖像中包含大量B軸之藍色成分之情形時,編輯裝置2之微處理器3根據與該靜止圖像所具有之B軸參數相對應之特徵量,而將視窗畫面W57分類配置於畫面左下角之位置PO1。
其後,當更新動態影像內容之一幅靜止圖像時,編輯裝置2之微處理器3根據該更新後之下一幅靜止圖像中之藍色成分之特徵量,將該靜止圖像之視窗畫面W57重新分類配置於自位置PO1稍許移動之位置PO2上。
進而,當進一步更新動態影像內容之一片靜止圖像時,編輯裝置2之微處理器3根據該更新後之下一幅靜止圖像中之藍色成分之特徵量,將該靜止圖像之視窗畫面W57重新分類配置於自剛才之位置PO2進一步移動至位置PO3上。
如此,於每次更新動態影像內容之靜止圖像時,編輯裝置2之微處理器3根據各個靜止圖像之特徵量,一邊變更3次元虛擬空間上之座標位置一邊重新依次分類配置,藉此使操作員可目測確認與動態影像內容相對應之視窗畫面W57猶如漂浮於顯示部55之畫面上之情形。
(2-5-4)座標修正處理程序
其次,說明上述常式RT2中之次常式SRT1(圖21)之座標修正處理程序以及常式RT3中之次常式SRT1(圖22)之座標修正處理程序,但該等為完全相同之處理程序。
如圖24所示,於該座標修正處理程序SRT1中,於更新視窗畫面W57之靜止圖像時,根據靜止圖像之特徵量而使該視窗畫面W57依次移動時,如圖25所示,藉由場景轉換等使視窗畫面W57較大地跳躍時,不會導致一口氣跳躍,而會一邊階段性移動一邊最終分類配置於目的移動點,此時,並非移動至作為原本移動點之座標位置處,而是移動至藉由修正計算所算出之下一修正座標之位置為止,藉此可使操作員一邊目測追隨視窗畫面W57之移動一邊移動顯示該視窗畫面W57。
實際上,編輯裝置2之微處理器3自次常式SRT1之開始步驟進入後向下一步驟SP61轉移,於更新動態影像內容之靜止圖像時,算出使視窗畫面W57自與當前之靜止圖像相對應之視窗畫面W57在3次元虛擬空間上之位置POn向與下一靜止圖像相對應之視窗畫面W57在3次元虛擬空間上之位置POn+1移動時的移動點座標(位置POn+1)與當前座標(位置POn)之差分,藉此求出暫時移動距離(歐幾裏德(Euclidean)距離),向下一步驟SP62轉移。
於步驟SP62中,編輯裝置2之微處理器3算出移動點座標與當前座標之差分,求出其大小為「1」之向量作為移動方向向量,向下一步驟SP63轉移。
於步驟SP63中,編輯裝置2之微處理器3判定步驟SP61中所求出之暫時移動距離是否小於預定之特定移動最小值。此處,若獲得肯定結果,則此表示暫時移動距離小於移動最小值,亦即表示,於使該視窗畫面W57自與當前之靜止圖像相對應之視窗畫面W57的位置POn向與下一靜止圖像相對應之視窗畫面W57的位置POn+1移動時,該距離較短,可充分地使操作員目測追隨視窗畫面W57之移動,此時微處理器3向下一步驟SP64轉移。
於步驟SP64中,編輯裝置2之微處理器3辨識應使視窗畫面W57繼而移動之移動點座標係根據下一靜止圖像之特徵量而決定之座標值,將視窗畫面W57分類配置於該座標值後,向步驟SP68轉移結束處理。
與此相對,若於步驟SP63中獲得否定結果,則此表示暫時移動距離大於移動最小值,亦即表示,使該視窗畫面W57自與當前之靜止圖像相對應之視窗畫面W57的位置POn向與下一靜止圖像相對應之視窗畫面W57的位置POn+1移動時,該距離非常長,無法使操作員目測追隨視窗畫面W57之移動,此時編輯裝置2之微處理器3向下一步驟SP65轉移。
於步驟SP65中,編輯裝置2之微處理器3判定步驟SP61中所求出之暫時移動距離之1/2(以下,將此表示為暫時移動距離/2)是否大於預定之特定移動最大值。此處,若獲得肯定結果,則此表示暫時移動距離/2大於移動最大值,亦即表示,於使該視窗畫面W57自與當前之靜止圖像相對應之視窗畫面W57的位置POn向相當於暫時移動距離/2之修正座標位置移動時,該距離仍較長,難以使操作員目測追隨視窗畫面W57之移動,此時編輯裝置2之微處理器3向下一步驟SP66轉移。
於步驟SP66中,編輯裝置2之微處理器3求出修正座標(=當前座標+移動方向向量×移動最大值),將該求出之修正座標決定為視窗畫面W57之移動點座標,向下一步驟SP68轉移結束處理。
與此相對,若於步驟SP65中獲得否定結果,則此表示暫時移動距離/2小於移動最大值,亦即表示,使該視窗畫面W57自與當前之靜止圖像相對應之視窗畫面W57的位置POn向相當於暫時移動距離/2之修正座標位置移動時之距離較短,可容易地使操作員目測追隨視窗畫面W57之移動,此時微處理器3向下一步驟SP67轉移。
於步驟SP67中,編輯裝置2之微處理器3求出修正座標(=當前座標+移動方向向量×暫時移動距離/2),將該求出之修正座標決定為視窗畫面W57之移動點座標,向下一步驟SP68轉移結束處理。
若如此,則例如圖26所示,於存在使某動態影像內容之視窗畫面W57自與此時之靜止圖像相對應之位置POn之當前座標瞬時移動至與下一靜止圖像相對應之位置POn+1的場景轉換時,編輯裝置2之微處理器3執行上述座標修正處理程序SRT1,藉此,於自最初視窗畫面W57的位置POn至繼而移動之預定移動點座標的位置POn+1為止之暫時移動距離大於移動最小值之情形時,以移動暫時移動距離/2或移動最大值之方式求出修正座標(於此情形時,暫時移動距離/2之座標位置),將視窗畫面W57暫時配置於與該修正座標相對應之位置POm上而顯示。
此時,編輯裝置2之微處理器3將場景轉換後之靜止圖像顯示於視窗畫面W57,但並不限定於此,亦可直至場景轉換後之位置POn+1為止將場景轉換前之靜止圖像顯示於視窗畫面W57上,又,亦可直至場景轉換前至場景轉換後之中間位置為止將場景轉換前之靜止圖像顯示於視窗畫面W57上,其後直至場景轉換後,將該場景轉換後之靜止圖像顯示於視窗畫面W57上。
繼而,於自該視窗畫面W57之位置POm至與更新了下一訊框之靜止圖像相對應之位置POn+2為止的暫時移動距離仍大於移動最小值之情形時,編輯裝置2之微處理器3以移動暫時移動距離/2或移動最大值之方式再次求出修正座標,將視窗畫面W57暫時配置於與該修正座標相對應之位置POm+1上而顯示。
繼而,於自該視窗W57之位置POm+1至與進而更新了下一訊框之靜止圖像相對應之位置POn+3為止之暫時移動距離仍大於移動最小值之情形時,編輯裝置2之微處理器3以移動暫時移動距離/2或移動最大值之方式再次求出修正座標,將視窗畫面W57暫時配置於與該修正座標相對應之位置POm+2上而顯示。
其後,於自該視窗W57之位置POm+2至與進而更新了下一訊框之靜止圖像相對應之位置POn+4為止之暫時移動距離已小於移動最小值之情形時,編輯裝置2之微處理器3使視窗畫面W57直接移動至與該暫時移動距離相對應之移動點座標之位置POn+4上而顯示。
亦即,編輯裝置2之微處理器3根據該訊框頻率更新與動態影像內容相對應之視窗畫面W57之靜止圖像時,根據靜止圖像之特徵量對應於每一訊框重新分類配置該視窗畫面W57,但在必須藉由場景轉換使視窗畫面W57較大地跳躍時,不會使該視窗畫面W57一口氣跳躍,而以隨著接近目的移動點一邊階段性地逐漸縮短移動距離一邊接近之方式重新分類配置,藉此,操作員不會看丟而可追隨場景轉換時之視窗畫面W57之移動。
(3)分類再配置處理
其次,於編輯裝置2中,決定3次元虛擬空間之顯示軸,將靜態影像內容或動態影像內容之視窗畫面W57分別分類配置於3次元虛擬空間上之後,可根據操作員之操作,任意變更3次元虛擬空間之顯示軸而重新再次分類配置視窗畫面W57,以下對該分類再配置處理進行說明。
編輯裝置2之微處理器3於將靜態影像內容或動態影像內容之視窗畫面W57暫時分類配置於3次元虛擬空間上之後,根據操作員經由GUI65(圖4~圖6)變更顯示軸之參數之操作,重新產生以新的顯示軸構成之新的3次元虛擬空間。
此時,編輯裝置2之微處理器3自圖27所示之常式RT4之開始步驟進入後向下一步驟SP71轉移,辨識操作員針對顯示軸之參數變更操作的內容,確認應自當前之顯示軸變更之新的顯示軸之參數後,向下一步驟SP72轉移。
於步驟SP72中,編輯裝置2之微處理器3決定新的3次元虛擬空間座標軸與此時之視點座標,向下一步驟SP73轉移。然而,若視點座標無任何變更,則微處理器3直接使用先前之視點座標。
於步驟SP72中,編輯裝置2之微處理器3將已經由構成分類圖像群58之複數個視窗畫面W57而顯示之靜態影像內容或動態影像內容之靜止圖像設為注視訊框,自與該注視訊框相對應之元資料檔案MDF詢問用於新的3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP74轉移。
於步驟SP74中,編輯裝置2之微處理器3根據步驟SP73中所接受之參數之特徵量,重新再次計算新的3次元虛擬空間上的應貼附靜止圖像之視窗畫面W57之座標位置,向下一步驟SP75轉移。
於步驟SP75中,編輯裝置2之微處理器3判定應顯示於視窗畫面W57上之靜態影像內容之靜止圖像或動態影像內容之靜止圖像是否到此結束。
此處,若獲得肯定結果,則此表示不存在其他應顯示該等以外之靜態影像內容或動態影像內容之靜止圖像的視窗畫面W57,此時微處理器3向下一步驟SP76轉移。
與此相對,若編輯裝置2之步驟SP75中獲得否定結果,則此表示還存在其他應顯示之靜態影像內容或動態影像內容之視窗畫面W57,此時,微處理器3返回至步驟SP72,重複上述處理,藉此根據各個靜止圖像之特徵量,計算與複數個靜態影像內容或動態影像內容分別相對應之複數個視窗畫面W57所對應之新的3次元虛擬空間上的座標位置。
於步驟SP76中,微處理器3利用GPU4,並根據步驟SP74中所計算出之新的3次元虛擬空間之座標位置,將靜態影像內容或動態影像內容之視窗畫面W57描繪並貼附於新的3次元虛擬空間上,並且根據步驟SP72中所決定之視點座標而將新的3次元虛擬空間之座標位置轉換為用以顯示於2次元畫面上之2次元座標,並且決定複數個視窗畫面W57之顯示尺寸,將該等複數個視窗畫面W57顯示於該等2次元座標上,藉此可提示由重新再次配置於新的3次元虛擬空間上之複數個視窗畫面W57構成之分類圖像群58,向下一步驟SP77轉移。
於步驟SP77中,微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束分類圖像群58之顯示,若獲得肯定結果則向下一步驟SP80轉移,結束分類圖像群58之顯示處理。
與此相對,若於步驟SP77中獲得否定結果,則微處理器3不結束分類圖像群58之顯示而向下一步驟SP78轉移。於步驟SP78中,微處理器3根據操作員之游標操作進行待命直至繼而變更視窗畫面W57所對應之視點座標為止,向下一步驟SP79轉移。
於步驟SP79中,微處理器3判定是否已由操作員實際上變更了視窗畫面W57所對應之視點座標,若獲得否定結果,則返回至步驟SP76,直接繼續顯示分類圖像群58,與此相對,若獲得肯定結果,則返回至步驟SP71,辨識操作員針對顯示軸之參數變更操作之內容,確認應自當前之顯示軸變更之新的顯示軸之參數後,重複下一步驟SP72以後之處理。
如此,如圖28所示,於最初分類配置於例如由B軸、DCT縱頻率軸及DCT橫頻率軸構成之3次元虛擬空間上之視窗畫面W571及W572重新分類再配置於該顯示軸例如變更為R軸、B軸及G軸之新的3次元虛擬空間上之情形時,編輯裝置2之微處理器3可根據靜態影像內容之靜止圖像或動態影像內容之靜止圖像的特徵量,在大幅變更該視窗畫面W571及W572之分類配置結果之狀態下進行再提示。
因此,編輯裝置2之微處理器3根據操作員之喜好任意變更3次元虛擬空間之顯示軸,分類再配置視窗畫面W57,藉此可經由該分類再配置結果而使操作員直觀地辨識出靜態影像內容或動態影像內容之整體傾向。
藉此,操作員僅目測確認分類配置於最初由B軸、DCT縱頻率軸及DCT橫頻率軸構成之3次元虛擬空間上之視窗畫面W571及W572即可接受「海」之靜止圖像所具有之藍色成分之特徵量相似之印象,繼而於目測確認分類配置於變更為R軸、B軸及G軸之新的3次元虛擬空間上之視窗畫面W571及W572時,會接受該靜止圖像中之綠色成分及紅色成分之特徵量各不相同之印象,藉此可容易地執行靜態影像內容及動態影像內容之管理及檢索。
(4)群組顯示處理
又,於編輯裝置2中,可將靜態影像內容之靜止圖像或動態影像內容之靜止圖像中之特徵類似之視窗畫面W57彼此群組化而顯示,此處對該群組顯示處理進行說明。
例如,如圖29(A)及(B)所示,編輯裝置2之微處理器3例如將與複數個動態影像內容分別相對應之複數個視窗畫面W571~W578分類配置於3次元虛擬空間上而顯示之情形時,於進行動態影像再生時,對於該等複數個視窗畫面W571~W578,在每次更新此處顯示之靜止圖像時將該等視窗畫面W571~W578向箭頭方向逐漸稍許移動。
繼而,如圖29(C)所示,編輯裝置2之微處理器3結束動態影像再生,於3次元虛擬空間上最終分類配置有所有視窗畫面W571~W578之狀態下停止時,計算出相互鄰接之視窗畫面W571~W578彼此之間的距離L1,若該距離L1不足特定之臨限值TH1則判斷為相互鄰接之靜止圖像彼此之特徵量之類似性較高,若為臨限值TH1以上則判斷為相互鄰接之靜止圖像彼此之特徵量之類似性較低,例如將類似性較高之視窗畫面W571、W573設為第1群組,將該視窗畫面W571、W573之顯示框著色為第1特定色而顯示,同樣將視窗畫面W572、W577、W578設為第2群組並著色為第2特定色而顯示。
於此情形時,例如就視窗畫面W574、W576、W575而言,彼此之距離L1為臨限值TH1以上,相互鄰接之靜止圖像之特徵量之類似性較低,因此編輯裝置2之微處理器3將該等視窗畫面排除在群組劃分對象之外,例如降低該等視窗畫面W574、W576、W575之亮度位準而顯示,藉此使其與第1群組或第2群組在視覺上不同。
實際上,如圖30所示,編輯裝置2之微處理器3自常式RT5之開始步驟進入後向下一步驟SP91轉移,分別算出顯示於顯示部55上之構成分類圖像群58之複數個視窗畫面W571~W578中相互鄰接之視窗畫面W57之間的距離L1,向下一步驟SP92轉移。
於步驟SP92中,編輯裝置2之微處理器3將相互鄰接之視窗畫面W57之間的距離L1與預定之特定臨限值TH1加以比較,判定距離L1是否不足臨限值TH1,若獲得肯定結果則向下一步驟SP93轉移。
於步驟SP93中,由於相鄰接之視窗畫面W57之間的距離L1不足臨限值TH1,因此編輯裝置2之微處理器3辨識為在3次元虛擬空間上於非常接近之位置上分類配置有複數個視窗畫面W57,亦即,該等複數個視窗畫面W57之靜止圖像所具有之特徵量相似,判斷為彼此類似,向下一步驟SP94轉移。
於步驟SP94中,編輯裝置2之微處理器3將判斷為彼此類似之複數個視窗畫面W57之顯示框著色為第1特定色或第2特定色而顯示,藉此,利用顏色區分為具有彼此相似之特徵量之群組而加以顯示,向下一步驟SP95轉移。
於步驟SP95中,編輯裝置2之微處理器3判定對分類圖像群58中之所有視窗畫面W57之類似判斷是否已結束,若獲得否定結果則返回至步驟SP91,重複上述處理,結束對所有視窗畫面W57之類似判斷,若獲得肯定結果則向下一步驟SP98轉移,結束處理。
與此相對,若於步驟SP92中獲得否定結果,則編輯裝置2之微處理器3向下一步驟SP96轉移,由於相鄰接之視窗畫面W57之間的距離L1為臨限值TH1以上,因此兩者不分類配置於3次元虛擬空間上之接近之位置,亦即,由於該等鄰接之視窗畫面W57之靜止圖像所具有之特徵量並不相似,因此判斷為彼此不類似,向下一步驟SP97轉移。
於步驟SP97中,編輯裝置2之微處理器3並不將判斷為彼此不類似之鄰接之複數個視窗畫面W57群組化,而將該等視窗畫面W57之亮度位準降低為特定位準而顯示,藉此以可在視覺上辨識出無法群組化之視窗畫面W57之方式進行提示,並且強調顯示最終群組化之視窗畫面W57,向下一步驟SP98轉移,結束處理。
如此,編輯裝置2之微處理器3利用與複數個動態影像內容分別相對應之複數個視窗畫面W57進行動態影像再生,以作為最終顯示形態之靜止圖像為基準而判斷其類似性,藉此區分為有類似性之群組與無類似性之群組,對於有類似性之群組,將視窗畫面W57之顯示框著色而顯示,而對於無類似性之視窗畫面W57,則降低視窗畫面W57之亮度位準而顯示,藉此,使操作員可藉由利用顏色進行了區分之群組而瞬時且直觀地辨識分類圖像群58之各視窗畫面W57所具有之特徵量之傾向。
然而,以上對編輯裝置2之微處理器3結束複數個動態影像內容之再生影像,並以最終停止狀態下之靜止圖像為基準而對複數個視窗畫面W57執行上述群組顯示處理程序RT5之情形進行了敍述,但並不限定於此,可將針對複數個動態影像內容之再生處理開始前之時刻的最初之靜止圖像作為基準而執行上述群組顯示處理程序RT5,又,亦可於每次更新動態影像再生過程中之靜止圖像時執行上述群組顯示處理程序RT5。
進而,編輯裝置2之微處理器3並不限定於動態影像內容,亦可對與複數個靜態影像內容分別相對應之複數個視窗畫面W57執行上述群組顯示處理程序RT5,於混合存在有動態影像內容之視窗畫面W57及靜態影像內容之視窗畫面W57之情形時,同樣亦可執行上述群組顯示處理程序RT5。
因此,編輯裝置2之微處理器3並不對無類似性之視窗畫面W57降低亮度位準而顯示,而進行使其成為經群組化之視窗畫面W57之相反色之著色顯示,或者不對經群組化之視窗畫面W57之顯示框進行著色顯示,而極為提高其亮度位準而顯示,或者進行閃爍顯示,總之,只要可較其他視窗畫面W57更為強調顯示有類似性之群組之視窗畫面W57即可。
(5)分類顯示應用例
繼而,對編輯裝置2之微處理器3可執行之針對視窗畫面W57之分類顯示應用例進行說明。
(5-1)於使視窗畫面固定之狀態下移動3次元虛擬空間時之分類顯示處理
具體而言,於編輯裝置2中,依次更新與動態影像內容相對應之視窗畫面W57之靜止圖像時,根據特徵量對應每幅靜止圖像而變化之情況,可在使顯示部55之視窗畫面W57固定於該位置上之狀態下,移動3次元虛擬空間及其他視窗畫面W57而再配置,此處,對如此之固定有視窗畫面之分類顯示處理進行說明。
至此,對以下情形進行了說明,即,如圖23所示,於編輯裝置2中,於每次在將3次元虛擬空間固定之狀態下更新視窗畫面W57之靜止圖像時,根據該靜止圖像之特徵量變更成為分類配置點之3次元虛擬空間座標位置,藉此使視窗畫面W57猶如浮動般自該位置PO1移動至PO3而顯示。
然而,並不限定於此,於編輯裝置2中,於每次在使顯示於顯示部55上之操作員應注視之視窗畫面W57之顯示位置固定之狀態下更新該視窗畫面W57之靜止圖像時,根據各靜止圖像之特徵量使3次元虛擬空間移動.旋轉而使視窗畫面W57與3次元虛擬空間座標之相對位置關係依次變化,藉此可使固定之視窗畫面W57一邊以接近或遠離3次元虛擬空間上其他視窗畫面W57之方式浮動一邊移動顯示。
實際上,如圖31所示,編輯裝置2之微處理器3於使放映出有圖23中之位置PO1上的靜止圖像之視窗畫面W57C固定於顯示部55之畫面中央位置POc而顯示之情形時,以該視窗畫面W57C為中心,使存在於其周圍之其他視窗畫面W57在保持與該視窗畫面W57C之相對位置關係之狀態下顯示。
其後,如圖32所示,編輯裝置2之微處理器3於將視窗畫面W57C之靜止圖像更新1訊框而顯示時,由於該視窗畫面W57C一直固定於畫面中央位置POc,故而根據下一靜止圖像之特徵量而使其他視窗畫面W57與3次元虛擬空間一併移動。
進而,如圖33所示,編輯裝置2之微處理器3於將視窗畫面W57C之靜止圖像進而更新1訊框而顯示時,由於該視窗畫面W57C仍然一直固定於畫面中央位置POc,故而根據下一靜止圖像之特徵量而使其他視窗畫面W57與3次元虛擬空間一併移動。
亦即,編輯裝置2之微處理器3於在視窗畫面W57C上顯示動態影像內容之再生影像之過程中,在使該視窗畫面W57C固定於畫面中央位置POc之狀態下,根據對應於每一訊框而變化之靜止圖像之特徵量,使3次元虛擬空間及其他視窗畫面W57移動顯示,藉此,對於目測確認該視窗畫面W57C之操作員而言,可完全排除看丟視窗畫面W57C之風險,並且可給予猶如操作員自身與視窗畫面W57C一起於3次元虛擬空間中移動之印象。
繼續說明如此之將視窗畫面W57C固定之動態影像內容之分類顯示處理程序。如圖34所示,編輯裝置2之微處理器3自常式RT6之開始步驟進入後向下一步驟SP101轉移。
於步驟SP101中,編輯裝置2之微處理器3決定由操作員所指定之3次元虛擬空間之顯示軸、或對操作員顯示分類圖像群58時之視點座標,向下一步驟SP102轉移。
於步驟SP102中,編輯裝置2之微處理器3辨識由操作員所指定之應再生之動態影像內容的靜止圖像,向下一步驟SP103轉移。於步驟SP103中,微處理器3將該靜止圖像設為注視訊框,對其低解析度圖像資料LD1進行解碼,將最終獲得之解碼後之低解析度圖像之資料傳送至GPU4,向下一步驟SP104轉移。
於步驟SP104中,編輯裝置2之微處理器3自與該靜止圖像相關聯之元資料檔案MDF詢問用於3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP105轉移。
於步驟SP105中,編輯裝置2之微處理器3根據步驟SP104中所接受之參數之特徵量,計算出3次元虛擬空間上之應貼附靜止圖像之視窗畫面W57C之座標位置,變更視點座標,以使該座標位置相當於畫面中央位置POc,向下一步驟SP106轉移。
於步驟SP106中,編輯裝置2之微處理器3將注視訊框之視窗畫面W57C固定於畫面中央位置POc上並顯示最初之靜止圖像,並且將存在於其周圍之與其他動態影像內容分別相對應之視窗畫面W57重新分類配置而顯示,向下一步驟SP107轉移。
於步驟SP107中,編輯裝置2之微處理器3在將視窗畫面W57C固定於畫面中央位置POc之狀態下,根據訊框頻率依次更新該視窗畫面W57C之靜止圖像,自與該更新後之靜止圖像相關聯之元資料檔案MDF詢問用於顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP108轉移。
於步驟SP108中,編輯裝置2之微處理器3利用GPU4,在將視窗畫面W57C固定於畫面中央位置POc之狀態下,根據更新後之靜止圖像之特徵量,移動3次元虛擬空間及周圍之視窗畫面W57並重新描繪,向下一步驟SP109轉移。
於步驟SP109中,微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束畫面中央位置POc之視窗畫面W57C之顯示處理,若獲得肯定結果則向下一步驟SP110轉移,結束視窗畫面W57C之顯示處理。
與此相對,若於步驟SP109中獲得否定結果,則微處理器3不結束畫面中央位置POc之視窗畫面W57C之顯示處理而返回至步驟SP101,重複上述處理。
如此,編輯裝置2之微處理器3於在視窗畫面W57C上顯示動態影像內容之再生影像之過程中,將該視窗畫面W57C固定於畫面中央位置POc,根據依次更新之靜止圖像之特徵量而使3次元虛擬空間及其他視窗畫面W57移動顯示,藉此,通過該視窗畫面W57C與3次元虛擬空間及其他視窗畫面W57之相對位置關係之變化,使操作員可直觀地將動態影像內容之特徵辨識為印象。
(5-2)3D圖符顯示處理
其次,於編輯裝置2中,於編輯畫面50之顯示部55上,顯示由與靜態影像內容或動態影像內容相對應之複數個視窗畫面W57構成之分類圖像群58,但由於此時不顯示操作員所設定之參數之各顯示軸,故而對於操作員而言,難以瞬時辨識出顯示為分類圖像群58的是3次元虛擬空間還是2次元空間。
因此,於編輯裝置2中,在顯示分類圖像群58時,於當前正顯示之分類圖像群58係分類配置於3次元虛擬空間內者之情形時,將模式性地表示該3次元虛擬空間之3D圖符(後文將述)顯示於畫面左下方向之特定位置上,藉此,使操作員可直觀地理解分類圖像群58係分類配置於3次元虛擬空間上的。
(5-2-1)3D圖符之結構
於編輯裝置2中,將例如圖35(A)所示之3D圖符AK與分類圖像群58一併顯示,該3D圖符AK係在視覺上表示圖3所示之分類圖像群58之各視窗畫面W57係分類配置於3次元虛擬空間內的。
該3D圖符AK係由球體對象及較小之小型視窗畫面WN57所構成之3次元顯示對象物,該球體對象係使以與顯示分類圖像群58時之3次元虛擬空間相同之顯示軸構成之球體形狀的小型3次元虛擬空間形象化者,該小型視窗畫面WN57與實際之分類圖像群58中之各視窗畫面W57之配置部位相對應,而於球體對象上配置有複數個,於該顯示軸上分別顯示該顯示軸所選擇之參數之名稱(亮度、R、B)。
因此,為便於說明,於該3D圖符AK中僅顯示1個小型視窗畫面WN57,但對於該小型視窗畫面WN57而言,通常之顯示態樣係按與分類配置於3次元虛擬空間上之實際之視窗畫面W57相同之數量而顯示,但就易於觀察之觀點而言,可減少小型視窗畫面WN57之個數而顯示,或者亦可將僅與操作員所注視之動態影像內容之視窗畫面W57相對應之小型視窗畫面WN57稍許放大而顯示。
又,3D圖符AK係表示,以操作員自粗箭頭所示之正面方向目測該3D圖符AK時之視點及視線方向為基準而於當前顯示有分類圖像群58,不會使操作員在實際之分類圖像群58與3D圖符AK之間產生視覺上的失調感。
實際上,如圖36所示,編輯裝置2之微處理器3除了顯示在編輯畫面50之顯示部55上所顯示之分類圖像群58以外,還顯示模式性地表示分類配置有該分類圖像群58之各視窗畫面W57之3次元虛擬空間的3D圖符AK,藉此可經由該3D圖符AK而在視覺上提示該分類圖像群58係分類配置於何種空間內者。
然而,如圖35(B)所示,當編輯裝置2之微處理器3辨識藉由操作員之操作而沿3D圖符AK之球體對象向箭頭方向拖放操作游標CS時,則如圖35(C)所示,可變更為使3D圖符AK向上述箭頭方向旋轉之顯示形態。
此處,3D圖符AK係以該球體對象之中心為旋轉中心而使該球體對象旋轉。然而,編輯裝置2之微處理器3藉由使3D圖符AK之球體對象旋轉,結果可使該顯示軸各自傾斜,於此情形時亦可不使顯示軸之名稱傾斜而顯示。
此時,編輯裝置2之微處理器3與3D圖符AK之顯示形態之變更相應地,對於小型視窗畫面WN57亦移動其位置而顯示,藉此,使操作員可目測確認視點座標之變更,亦可連動於該視點座標之變更而變更分類圖像群58之顯示形態。
亦即,編輯裝置2之微處理器3於針對3D圖符AK而拖放操作游標CS時,亦可變更針對分類圖像群58之視點而顯示,因此可提供用以顯示使操作員易於觀察之分類圖像群58的直觀之輸入介面。
然而,並不限定於此,於編輯裝置2中,例如對各種鍵給予特定之功能,以使鍵盤39上之「W」鍵進行向上方向之操作,使「A」鍵進行向左方向之操作,使「X」鍵進行向下方向之操作,使「D」鍵進行向右方向之操作,使「S」鍵進行放大操作,使「Z」鍵進行縮小操作,使「Q」鍵進行返回至最初狀態之操作,藉此,根據操作員之鍵操作,亦可變更3D圖符AK之顯示形態而變更針對分類圖像群58之視點座標。
進而,如圖35(D)所示,當編輯裝置2之微處理器3辨識朝向3D圖符AK之球體對象之中心拖放操作游標CS時,則可變更為與游標CS之移動量相應地使3D圖符AK放大(zoom in)之顯示形態。
此時,編輯裝置2之微處理器3亦與3D圖符AK之顯示形態之變更相應地將小型視窗畫面WN57放大顯示,藉此使操作員可目測確認視點座標之變更,亦可連動於該視點座標之變更而變更分類圖像群58之顯示形態,從而將各視窗畫面W57整體放大而顯示。
因此,編輯裝置2之微處理器3於變更為使3D圖符AK放大之顯示形態時,預先對其放大尺寸設定固定之限制,若超過特定之放大率,則不顯示3D圖符AK之球體對象整體,而僅局部顯示所放大之一部分小型視窗畫面WN57。
同樣,當編輯裝置2之微處理器3辨識自3D圖符AK之球體對象之中心朝向外側拖放操作游標CS時(未圖示),則變更為與游標CS之移動量相應地使3D圖符AK縮小(zoom out)之顯示形態。
此時,編輯裝置2之微處理器3亦與3D圖符AK之顯示形態之變更相應地將小型視窗畫面WN57縮小顯示,藉此,使操作員可目測確認視點座標之變更,亦可連動於該視點座標之變更而變更分類圖像群58之顯示形態,從而將各視窗畫面W57整體縮小而顯示。
此處,微處理器3對應於放大及縮小之操作,以使距離球體對象之中心之半徑變化之方式變更該球體對象自身之大小而將3D圖符AK放大或縮小。
然而,如上所述,說明了編輯裝置2之微處理器3根據在將視窗畫面W57C固定於畫面中央位置POc之狀態下依次更新該視窗畫面W57時的靜止圖像之特徵量,而使3次元虛擬空間及其他視窗畫面W57移動顯示(圖31~圖33),藉此使該視窗畫面W57C與3次元虛擬空間及其他視窗畫面W57之相對位置關係依次變化,然而,於選擇了3D圖符AK之小型視窗畫面WN57之狀態下,例如辨識出由操作員進行了按下「F1」鍵之操作時,亦可在將視窗畫面W57固定於畫面中央位置POc上之狀態下,使3次元虛擬空間及其他視窗畫面W57移動顯示。
(5-2-2)與3D圖符之視點變更操作相對應之分類顯示處理程序
繼而,對與3D圖符AK之視點變更操作相對應之靜態影像內容之分類顯示處理程序及動態影像內容之分類顯示處理程序進行說明。
(5-2-2-1)與3D圖符之視點變更操作相對應之靜態影像內容的分類顯示處理程序
如圖37所示,編輯裝置2之微處理器3自常式RT7之開始步驟進入後向下一步驟SP121轉移,決定由操作員所指定之3次元虛擬空間之顯示軸、或對操作員顯示由靜態影像內容之視窗畫面W57構成之分類圖像群58時的視點座標,向下一步驟SP122轉移。
於步驟SP122中,微處理器3辨識由操作員所指定之應再生之靜態影像內容的靜止圖像,向下一步驟SP123轉移。於步驟SP123中,微處理器3將該靜止圖像設為注視訊框,對其低解析度圖像資料LD1進行解碼,將最終獲得之解碼後之低解析度圖像之資料傳送至GPU4,向下一步驟SP124轉移。
於步驟SP124中,微處理器3自與該靜止圖像相關聯之元資料檔案MDF詢問用於3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP125轉移。
於步驟SP125中,微處理器3根據步驟SP124中所接受之參數之特徵量而計算出3次元虛擬空間上之應貼附靜態影像內容之視窗畫面W57的座標位置,向下一步驟SP126轉移。
於步驟SP126中,編輯裝置2之微處理器3判定應顯示之靜態影像內容之靜止圖像是否到此結束。此處,若獲得肯定結果,則此表示不由操作員指定除此以外之其他靜態影像內容,且不存在其他應顯示靜止圖像之視窗畫面W57,此時微處理器3向下一步驟SP127轉移。
與此相對,若於步驟SP126中獲得否定結果,則此表示由操作員指定除此以外之其他靜態影像內容,還存在其他應顯示靜態影像內容之靜止圖像的視窗畫面W57,此時微處理器3返回至步驟SP122,重複上述處理,藉此根據該靜止圖像之特徵量,分別計算與複數個靜態影像內容相對應之複數個視窗畫面W57所對應之3次元虛擬空間上的座標位置。
於步驟SP127中,微處理器3利用GPU4,並根據步驟SP125中所計算出之3次元虛擬空間之座標位置,將靜態影像內容之視窗畫面W57描繪並貼附於3次元虛擬空間上,並且根據步驟SP121中所決定之視點座標而將3次元虛擬空間之座標位置轉換為用以顯示於顯示部55之2次元畫面上的2次元座標,並且決定視窗畫面W57之顯示尺寸,將該靜止圖像之視窗畫面W57顯示於該2次元座標上,向下一步驟SP128轉移。
此時,於由操作員指定複數個靜態影像內容時,微處理器3根據該靜止圖像之特徵量,將與該複數個靜態影像內容相對應之複數個視窗畫面W57分別分類配置於3次元虛擬空間上之座標位置上,藉此顯示由複數個視窗畫面W57構成之分類圖像群58。
於步驟SP128中,編輯裝置2之微處理器3產生使顯示有分類圖像群58之3次元虛擬空間直接形象化之3D圖符AK(圖35)並顯示於同一畫面內(圖36),向下一步驟SP129轉移。
於步驟SP129中,編輯裝置2之微處理器3判定是否已藉由游標CS之拖放操作或鍵操作對3D圖符AK進行了視點變更操作,若獲得否定結果則向下一步驟SP130轉移,與此相對,若獲得肯定結果則返回至步驟SP125。
於此情形時,編輯裝置2之微處理器3重複步驟SP125至步驟SP128之處理,藉此與視點變更操作相應地重新配置分類圖像群58之各視窗畫面W57並再次顯示,並且重新產生連動於此而變更了顯示形態之3D圖符AK並再次顯示,再次執行步驟SP129之處理。
於步驟SP130中,微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束由靜態影像內容之視窗畫面W57構成之分類圖像群58的顯示處理,若獲得肯定結果則向下一步驟SP131轉移,結束分類圖像群58之顯示處理。
與此相對,若於步驟SP130中獲得否定結果,則微處理器3不結束分類顯示群58之顯示處理,而返回至步驟SP1繼續由靜態影像內容之視窗畫面W57構成之分類圖像群58之顯示處理。
(5-2-2-2)與3D圖符之視點變更操作相對應之動態影像內容之分類顯示處理程序
如圖38所示,編輯裝置2之微處理器3自常式RT8之開始步驟進入後向下一步驟SP141轉移,決定由操作員所指定之3次元虛擬空間之顯示軸、或顯示由動態影像內容之視窗畫面W57構成之分類圖像群58時之視點座標,向下一步驟SP142轉移。
於步驟SP142中,編輯裝置2之微處理器3辨識由操作員所指定之應再生之動態影像內容之各靜止圖像,向下一步驟SP143轉移。於步驟SP143中,編輯裝置2之微處理器3將該靜止圖像設為注視訊框,對其低解析度圖像資料LD1進行解碼,將最終獲得之解碼後之低解析度圖像之資料傳送至GPU4,向下一步驟SP144轉移。
於步驟SP144中,編輯裝置2之微處理器3自與該靜止圖像相關聯之元資料檔案MDF詢問用於3次元虛擬空間之顯示軸之參數的特徵量並接受該特徵量,向下一步驟SP145轉移。
於步驟SP145中,編輯裝置2之微處理器3根據步驟SP144中所接受之參數之特徵量而計算出3次元虛擬空間上之應貼附構成動態影像內容之靜止圖像之視窗畫面W57的座標位置,向下一次常式SRT1轉移。
於該次常式SRT1中,編輯裝置2之微處理器3根據構成動態影像內容之複數幅靜止圖像中上次所顯示之靜止圖像在3次元虛擬空間上之座標位置、與繼而更新後顯示之靜止圖像在3次元虛擬空間上之座標位置之間的相互位置關係,而進行座標修正,藉此獲得修正座標,向下一步驟SP146轉移。
於步驟SP146中,編輯裝置2之微處理器3利用GPU4,並根據步驟SP145中所計算出之3次元虛擬空間之座標位置,將靜止圖像之視窗畫面W57描繪並貼附於3次元虛擬空間內,並且根據步驟SP141中所決定之視點座標而將3次元虛擬空間之座標位置轉換為用以顯示於2次元畫面上的2次元座標,並且決定視窗畫面W57之顯示尺寸,將該靜止圖像之視窗畫面W57顯示於該2次元座標上,向下一步驟SP147轉移。
於步驟SP147中,編輯裝置2之微處理器3產生使顯示有由構成動態影像內容之靜止圖像之視窗畫面W57構成之分類圖像群58的3次元虛擬空間直接形象化之3D圖符AK(圖35)並顯示於同一畫面內(圖36),向下一步驟SP148轉移。
於步驟SP148中,編輯裝置2之微處理器3判定是否已藉由游標CS之拖放操作或鍵操作對3D圖符AK進行了視點變更操作,若獲得否定結果,則向下一步驟SP149轉移,與此相對,若獲得肯定結果,則返回至步驟SP145。
於此情形時,編輯裝置2之微處理器3重複步驟SP145至步驟SP147之處理,藉此與視點變更操作相應地重新配置分類圖像群58之視窗畫面W57並再次顯示,並且重新產生連動於此而變更了顯示形態之3D圖符AK並再次顯示,再次執行步驟SP148之處理。
於步驟SP149中,微處理器3判定是否有來自操作員之結束指示,或者以是否已經過特定時間為基準而判定是否結束動態影像內容所對應之分類圖像群58之顯示處理,若獲得肯定結果則向下一步驟SP150轉移,結束處理。
與此相對,若於步驟SP149中獲得否定結果,則微處理器3不結束動態影像內容所對應之分類顯示群58之顯示處理,而返回至步驟SP141,繼續動態影像內容所對應之分類圖像群58之顯示處理。
因此,對於與3D圖符AK之視點變更操作相對應之針對複數個動態影像內容之分類顯示處理程序而言,由於基本處理內容與上述常式RT8中之動態影像內容之分類顯示處理程序相同,故而此處為便於說明而將其省略。
(5-3)利用子瀏覽器之放大顯示例
進而,由於構成分類圖像群58之複數個視窗畫面W57之顯示尺寸未必較大,故而編輯裝置2之微處理器3在經由視窗畫面W57而顯示動態影像內容之再生影像時,有時亦會使操作員無法充分地目測確認。
於此情形時,於編輯裝置2中,例如圖39所示,當進行由操作員雙擊構成分離圖像群58之複數個視窗畫面W57中的例如視窗畫面W571、W572等選擇操作時,提昇應以畫面尺寸較大之再生影像而顯示在該視窗畫面W571、W572上顯示之動態影像內容的子瀏覽器,對於該子瀏覽器之特定尺寸之放大視窗畫面BW571、BW572而言,可放大顯示與視窗畫面W571、W572相同之再生影像。
藉此,編輯裝置2於因視窗畫面W571、W572之配置部位或畫面尺寸而再生影像顯示得非常小之情形時,可使操作員經由放大視窗畫面BW571、BW572而目測確認該再生影像之內容,因此可容易地自與複數個動態影像內容分別相對應之複數個視窗畫面W57中搜索操作員所期望之動態影像內容。
此處,編輯裝置2之微處理器3將放大視窗畫面BW571、BW572排列於顯示部55之周圍而配置,以相同顏色將視窗畫面W571及放大視窗畫面BW571之顯示框著色而顯示,並以與視窗畫面W571及放大視窗畫面BW571之顯示框不同之相同顏色將視窗畫面W572及放大視窗畫面BW572之顯示框著色而顯示。
藉此,編輯裝置2之微處理器3使操作員可根據相同顏色之顯示框而容易地判別以放大視窗畫面BW571、BW572所顯示之再生影像係分類圖像群58中之哪個視窗畫面W571、W572。
再者,在編輯裝置2之微處理器3將放大視窗畫面BW571、BW572排列於顯示部55之周圍而配置之關係中,若該放大視窗畫面BW571、BW572之數量過多,則會掩蓋分類圖像群58之視窗畫面W57,故而當該放大視窗畫面BW571、BW572之數量為特定值以上時,必須縮小其縱橫尺寸從而縮小畫面尺寸。
(6)視窗畫面之軌跡顯示處理
然而,於編輯裝置2中,於利用視窗畫面W57而顯示動態影像內容之再生影像之情形時,在每次依次更新構成動態影像內容之複數幅靜止圖像時,係一邊改變3次元虛擬空間上之位置一邊進行顯示,故而某個瞬間之視窗畫面W57之位置在經過特定時間後移動至非常偏離之位置之情形亦較多,於如此之情形時,操作員不能完全記憶於該再生影像之過去之時序中具有何種特徵,從而無法充分辨識動態影像內容之傾向。
考慮到上述方面,於編輯裝置2中,將動態影像內容之再生影像顯示於視窗畫面W57上,一邊於3次元虛擬空間上移動該視窗畫面W57,一邊顯示該視窗畫面W57在3次元虛擬空間上之軌跡,藉此,於對操作員顯示動態影像內容之再生影像之過程中,可使操作員在視覺上目測確認其過去或未來、或者兩者之時序中具有何種特徵,即便該動態影像內容中之再生影像之顯示結束後,亦可充分辨識該動態影像內容之傾向,因此以下對軌跡顯示處理進行說明。
(6-1)通常之軌跡顯示模式
如圖40所示,當編輯裝置2之微處理器3於動態影像內容之視窗畫面W57在每次更新靜止圖像時向箭頭方向移動顯示時,選擇全軌跡顯示模式之情形時,將對應於當前顯示之靜止圖像而分類配置之視窗畫面W57過去移動之軌跡、與視窗畫面W57自此以後應移動之未來軌跡顯示為線。
此處,編輯裝置2之微處理器3於顯示過去之軌跡之情形時,係以紅色顯示藉由在更新視窗畫面W57之靜止圖像時連結隨著該視窗畫面W57之移動而改變之視窗畫面W57之重心點所產生之線,以作為過去之軌跡。
與此相對,編輯裝置2之微處理器3於顯示未來之軌跡之情形時,根據視窗畫面W57之自此以後更新之預定之靜止圖像的特徵量,算出該視窗畫面W57移動之預定之座標位置,並以藍色顯示藉由依次連結該移動預定座標位置中之未來視窗畫面W57之重心點而產生之線,以作為未來軌跡。
因此,於編輯裝置2中,在利用顏色進行區分,使得以紅色線顯示於視窗畫面W57之後方提示之過去軌跡,並以藍色顯示於前方提示之未來軌跡的狀態下使操作員進行目測確認,藉此,可瞬時且直觀地辨識出視窗畫面W57自此以後朝向何方向移動顯示。
再者,編輯裝置2之微處理器3亦可不利用顏色來區分顯示過去之軌跡及未來之軌跡,而利用以實線顯示過去軌跡,以虛線顯示未來軌跡等其他各種顯示方法來表現軌跡。
然而,編輯裝置2之微處理器3係顯示視窗畫面W57之過去及未來兩者之軌跡,但並不限定於此,亦可根據與操作員之選擇操作相對應之模式選擇而僅顯示過去或未來中之任一軌跡。
使用圖41之流程圖說明如此之編輯裝置2之微處理器3所進行的軌跡顯示處理程序。
編輯裝置2之微處理器3自常式RT9之開始步驟進入後向下一步驟SP161轉移,指定由操作員所選擇之應進行軌跡顯示之動態影像內容,向下一步驟SP162轉移。
於步驟SP162中,編輯裝置2之微處理器3完全辨識與構成該動態影像內容之各靜止圖像分別相對應之位置上的視窗畫面W57之重心點,向下一步驟SP163轉移。
於步驟SP163中,編輯裝置2之微處理器3藉由連結步驟SP162中所辨識出之所有重心點而產生表示動態影像內容之視窗畫面W57移動顯示時之軌跡之線,向下一步驟SP164轉移。
於步驟SP164中,編輯裝置2之微處理器3判定是否由操作員選擇了顯示過去之軌跡之過去軌跡顯示模式,若獲得肯定結果則向下一步驟SP165轉移,顯示出較當前之視窗畫面W57更為過去側之線作為軌跡後,向步驟SP169轉移,結束處理。
與此相對,若於步驟SP164中獲得否定結果,則此表示由操作員選擇了顯示未來軌跡之未來軌跡顯示模式或顯示過去及未來之所有軌跡之全軌跡顯示模式,此時編輯裝置2之微處理器3向下一步驟SP166轉移。
於步驟SP166中,編輯裝置2之微處理器3判定是否由操作員了選擇未來軌跡顯示模式,若獲得肯定結果則向下一步驟SP167轉移,顯示出較當前之視窗畫面W57更為未來側之線作為軌跡後,向下一步驟SP169轉移,結束處理。
與此相對,若於步驟SP166中獲得否定結果,則此表示由操作員選擇了全軌跡顯示模式,此時,編輯裝置2之微處理器3向下一步驟SP168轉移,顯示出由當前之視窗畫面W57之過去側及未來側之線構成的全軌跡後,向步驟SP169轉移結束處理。
藉此,編輯裝置2之微處理器3僅顯示視窗畫面W57之過去側之軌跡之情形時,如圖42所示,係顯示較當前顯示中之視窗畫面W57更為過去側即後方之線,故而可給予操作員以猶如移動物體一邊排氣一邊行進之印象。
又,編輯裝置2之微處理器3僅顯示視窗畫面W57之未來軌跡之情形時,如圖43所示,係顯示較當前顯示中之視窗畫面W57更為未來側即前方之線,故而可給予操作員以猶如移動物體一邊利用燈照亮前方一邊行進之印象。
因此,編輯裝置2之微處理器3於顯示未來側之軌跡時,亦可不自最初起完全顯示直至結束位置POe(圖40)為止之軌跡,而顯示較當前顯示中之視窗畫面W57向前方特定長度之線作為未來側之軌跡,如此,不會自最初起就向操作員顯示出最終會將視窗畫面W57配置於何結束位置POe,可留下結束位置POe會成為何部位呢此般疑問,以作為給操作員之樂趣。
進而,編輯裝置2之微處理器3顯示視窗畫面W57之過去側及未來側之全軌跡之情形時,如圖44所示,係於當前顯示中之視窗畫面W57之前方及後方顯示出表示軌跡之線,故而可給予操作員以猶如電車於線路上移動之印象。
如此,編輯裝置2之微處理器3可根據操作員之選擇而自如上所述之3種軌跡顯示方法中任意選擇視窗畫面W57移動顯示時之軌跡顯示方法,故而可利用最容易辨識之軌跡而將動態影像內容之各靜止圖像所具有之特徵(傾向)提示給操作員。
(6-2)使用複數個視窗畫面之軌跡顯示模式
然而,如圖40所示,編輯裝置2之微處理器3不僅顯示移動顯示中之視窗畫面W57,而且於動態影像內容之再生開始時刻的視窗畫面W57之開始位置POs及動態影像內容之再生結束時刻的視窗畫面W57之結束位置POe上保留顯示分別放映出有此時之靜止圖像之視窗畫面W57s及W57e。
藉此,於編輯裝置2中,對目測確認與該動態影像內容相對應之視窗畫面W57之操作員而言,可直觀地將視窗畫面W57自最初分類配置於3次元虛擬空間之何處位置POs開始,至最終分類配置於3次元虛擬空間之何處位置POe而結束視窗畫面W57之動態影像再生處理之整體流程辨識為經由該視窗畫面W57之自開始至結束為止之整體軌跡之印象。
當然,編輯裝置2之微處理器3並非必須於開始位置POs及結束位置POe上保留顯示放映出有此時之靜止圖像之視窗畫面W57s、W57e,亦可根據操作員之選擇操作而不進行保留顯示。
又,當由操作員雙擊設置於開始位置POs附近之全視窗顯示按鈕Z1(圖40)時,則如圖45所示,編輯裝置2之微處理器3於由構成動態影像內容之所有靜止圖像分別決定之3次元虛擬空間上的位置上無保留地顯示全部視窗畫面W57(W57s~W57e),藉此,取代過去軌跡及未來軌跡之顯示,或者與軌跡一起將複數個視窗畫面W57(W57s~W57e)之連續之流程作為動態影像內容之傾向而提示給操作員。
進而,如圖46所示,當編輯裝置2之微處理器3辨識出由操作員對軌跡上之任意點進行點擊操作時,自該時刻開始進行藉由視窗畫面W57之動態影像再生處理,預覽顯示直至結束位置POe之視窗畫面W57e為止之再生影像。
藉此,於編輯裝置2中,藉由將動態影像內容再生,而使操作員目測確認自開始位置POs至結束位置POe為止一邊更新視窗畫面W57之靜止圖像一邊進行移動顯示之情形後,可自操作員所希望之任意位置再次開始藉由視窗畫面W57之移動顯示處理,可大幅提昇操作員之操作性。
因此,即便於與動態影像內容相對應之視窗畫面W57之移動顯示過程中,當對軌跡線上之任意點進行點擊操作時,編輯裝置2之微處理器3亦可自該任意點開始進行藉由視窗畫面W57之動態影像再生處理,並且考慮到易於觀察之觀點而消除移動顯示至此為止之視窗畫面W57,而於軌跡線上僅移動顯示一個視窗畫面W57。
然而,於編輯裝置2中,當由操作員判斷為不會有損易觀察性之情形時,亦可選擇於軌跡線上同時移動顯示複數個視窗畫面W57。
於此情形時,如圖47所示,編輯裝置2之微處理器3使2個視窗畫面W57同時並行地移動顯示於該軌跡上,使操作員可更加容易地執行所期望場景之畫面搜索作業。
又,如圖48所示,編輯裝置2之微處理器3亦可於視窗畫面W57之軌跡線上之特定位置處保留顯示預先設定為代表場景之靜止圖像之視窗畫面W57a、W57b、W57c、W57d。
藉此,即便在自開始位置POs至結束位置POe為止移動顯示視窗畫面W57之後,操作員亦可使其中放映出有代表場景之靜止圖像之視窗畫面W57a、W57b、W57c、W57d保留顯示於軌跡上,故而若目測確認該等保留顯示之代表場景視窗畫面W57a、W57b、W57c、W57d之靜止圖像,則不僅可易於把握動態影像內容之整體傾向,對於各個代表場景之特徵而言亦易於把握其傾向。
作為如此之代表場景,例如若動態影像內容源為DVD等,則該代表場景相當於針對每一章而預先設定之代表靜止圖像,故而於利用視窗畫面W57對DVD之動態影像內容進行動態影像再生之情形時,編輯裝置2之微處理器3可易於實現保留顯示如上所述之代表場景之軌跡顯示處理。
此處,編輯裝置2係保留顯示代表場景之視窗畫面W57,但並不限定於此,亦可每隔固定間隔而保留顯示視窗畫面W57。於此情形時,操作員可目測確認每隔固定間隔之視窗畫面W57上所放映出之靜止圖像,因此,即便在結束使用了視窗畫面W57之動態影像內容之再生處理之後,亦可經由每隔固定間隔而保留顯示之視窗畫面W57而立刻把握動態影像內容之特徵(傾向)。
(6-3)場景轉換時之軌跡顯示模式
又,如圖49所示,編輯裝置2在經由視窗畫面W57而顯示動態影像內容之再生影像之過程中,當其中有場景轉換,且場景轉換前之靜止圖像所具有之特徵量與場景轉換後之靜止圖像所具有之特徵量變化較大之情形時,有時會自場景轉換前之視窗畫面W57before至場景轉換後之視窗畫面W57after為止進行較大之跳躍。
此時,如上所述,編輯裝置2執行座標修正處理程序SRT1(圖24),不自視窗畫面W57before一口氣跳躍至視窗畫面W57after,而是隨著接近目的移動點一邊階段性地逐漸縮短移動距離一邊依次分類配置,藉此使操作員目測確認場景轉換時之自視窗畫面W57before至W57after為止之移動,但在軌跡顯示模式下亦可執行上述座標修正處理程序。
於此情形時,編輯裝置2之微處理器3不會於軌跡線上一口氣跳躍視窗畫面W57,而是自場景轉換前之視窗畫面W57before之位置至場景轉換後之視窗畫面W57after之位置為止進行階段性移動顯示,但僅對該階段性移動顯示之視窗畫面W57執行以半透明色顯示或閃爍顯示等強調顯示。
再者,編輯裝置2之微處理器3此時一併保留顯示場景轉換前之視窗畫面W57before及場景轉換後之視窗畫面W57after兩者,以使操作員可時常目測確認場景轉換前後之內容。
因此,編輯裝置2之微處理器3亦可不進行上述座標修正處理程序SRT1,而於自場景轉換前之位置至場景轉換後之位置之間,藉由放映出有場景轉換後之靜止圖像之視窗畫面W57after而每隔固定間隔進行重複移動顯示,此時使移動顯示速度極慢於跳躍速度。
此處,如圖50(A)所示,編輯裝置2之微處理器3不僅可以使場景轉換前之視窗畫面W57before之位置至場景轉換後之視窗畫面W57after之位置為止的距離L2與該距離L2所對應之視窗畫面W57之移動時間t2具有線性關係之方式設定移動顯示速度,亦可如圖50(B)及(C)所示,以使距離L2與移動時間t2具有非線性關係之方式設定移動顯示速度。
於此情形時,編輯裝置2之微處理器3於自場景轉換前之視窗畫面W57before至場景轉換後之視窗畫面W57after進行階段性移動顯示時,可以最初高速移動並逐漸降低移動顯示速度之方式對該視窗畫面W57進行可變速移動顯示。
進而,當編輯裝置2之微處理器3辨識出由操作員點擊了在軌跡線上移動顯示過程中之視窗畫面W57時,則使視窗畫面W57於根據此時刻之靜止圖像之特徵量而決定之位置上保留顯示數秒鐘或半永久性保留顯示,當辨識出再次進行了點擊時,則可使該視窗畫面W57消失或者自此時刻起再次開始視窗畫面W57之再生影像。
(6-4)使用時間碼之軌跡顯示模式
如圖51所示,編輯裝置2之微處理器3於經由視窗畫面W57對動態影像內容進行動態影像再生,藉此使該視窗畫面W57於3次元虛擬空間上移動顯示時,可於其軌跡線上之位置上顯示視窗畫面W57之時間碼顯示框TW1~TWn。
此處,編輯裝置2之微處理器3自各靜止圖像之元資料檔案MDF讀出應顯示於時間碼顯示框TW1~TWn中之時間碼資訊,使用該所讀出之時間碼資訊顯示時間碼顯示框TW1~TWn之時間碼。
又,編輯裝置2之微處理器3並非必須於軌跡線上提示時間碼,當保留顯示包含代表場景之靜止圖像之視窗畫面W57或結束位置POe之視窗畫面W57e時,對該保留顯示之視窗畫面W57及W57e而藉由時間碼顯示框TW3、TWe來提示此時之時間碼。
藉此,編輯裝置2不僅可將與動態影像內容之再生影像相應地移動顯示視窗畫面W57時之軌跡提示給操作員,亦可經由附加於該軌跡線上之位置或視窗畫面W57上之時間碼顯示框TW1~TWn~TWe而將動態影像內容之時間資訊提示給操作員,故而使操作員可一邊經由時間碼顯示框TW1~TW4來辨識動態影像內容之時間性之經過狀態一邊執行所期望之場景之畫面搜索作業。
再者,編輯裝置2之微處理器3於利用各個視窗畫面W57對內容非常相似之動態影像內容進行動態影像再生之情形時,對於各視窗畫面W57移動顯示時之軌跡亦呈現出非常相似之結果,於此情形時,顯示3條非常相似之軌跡。
目測確認了此之操作員根據其軌跡相似之狀況,可推測3個動態影像內容之傾向為相同之內容,故而可容易地執行動態影像內容之管理或檢索。
(6-5)軌跡顯示過程中之視窗畫面控制模式
最後,編輯裝置2除了顯示與動態影像內容之再生影像相應地移動顯示視窗畫面W57時之軌跡,還可一邊使移動過程中之視窗畫面W57尺寸及形狀變化一邊進行顯示,以下對此點進行說明。
實際上,例如圖52(A)所示,編輯裝置2之微處理器3於設定RGB色成分作為顯示軸參數之3次元虛擬空間上沿其軌跡移動顯示動態影像內容之視窗畫面W57時,除了自構成該動態影像內容之各靜止圖像之元資料檔案MDF中獲取用作顯示軸參數之RGB色成分之特徵量以外,例如亦獲取靜止圖像之精細度資訊之特徵量作為其他參數,當該精細度資訊之特徵量超過特定之臨限值時,如圖52(B)所示,將與該時刻之靜止圖像相對應之視窗畫面W57之顯示尺寸放大特定倍而顯示。
進而,當靜止圖像之精細度資訊特徵量不足特定之臨限值時,如圖52(C)所示,編輯裝置2之微處理器3將視窗畫面W57之顯示尺寸縮小特定倍而顯示。
亦即,於如精細度資訊之特徵量超過特定之臨限值時般含有大量高頻成分之靜止圖像之情形時,編輯裝置2之微處理器3將該視窗畫面W57放大顯示,藉此提昇對於操作員之易觀察性。
又,於如精細度資訊之特徵量不足特定之臨限值般幾乎不含有高頻成分之靜止圖像之情形時,編輯裝置2之微處理器3判斷為即便縮小圖像尺寸對於操作員之易觀察性而言亦幾乎不會變化,可藉由縮小顯示視窗畫面W57以減輕處理負擔。
因此,於編輯裝置2中,使用靜止圖像之精細度資訊作為構成顯示軸之色成分以外的參數而放大或縮小視窗畫面W57之顯示尺寸,但並不限定於此,亦可使用移動量、色相、語音位準等其他各種特徵量而放大或縮小視窗畫面W57之顯示尺寸,又,不僅侷限於放大或縮小視窗畫面W57之顯示尺寸,亦可使視窗畫面W57之顯示框形狀變形而顯示,亦可控制顯示尺寸及顯示框形狀兩者。
(7)動作及效果
於以上結構中,編輯裝置2之微處理器3於將動態影像內容之再生影像顯示於視窗畫面W57時,根據構成該動態影像內容之各靜止圖像之特徵量而在每次更新訊框時將視窗畫面W57依次分類配置於利用由操作員所選定之顯示軸而產生之3次元虛擬空間上。
此處,於編輯裝置2中,於動態影像內容之情形時,在每次更新視窗畫面W57之訊框時,特徵量依次變化而分類配置之先前之3次元虛擬空間座標位置會改變,因此可使視窗畫面W57猶如浮動於3次元虛擬空間上般移動顯示。
例如,於將在旅行點利用錄影機所拍攝之照片之靜態影像內容或視頻之動態影像內容之視窗畫面W57分類配置於3次元虛擬空間上,利用視窗畫面W57來顯示動態影像內容之再生影像之情形時,放映出有海之靜止圖像之視窗畫面W57向分類配置有大量在海邊拍攝之靜態影像內容之視窗畫面W57的區域移動,繼而當更新為放映出有山之靜止圖像時,則該視窗畫面W57向分類配置有大量在山林拍攝之靜態影像內容之視窗畫面W57的區域移動,而當更新為放映出有高樓之靜止圖像時,則該視窗畫面W57向分類配置有大量在都市拍攝之靜態影像內容之視窗畫面W57的區域移動。
如此之視窗畫面W57之移動自身表示了動態影像內容之特徵,故而對於操作員而言,可經由視窗畫面W57之與在3次元虛擬空間上之移動相應之在3次元虛擬空間上的位置變化、或視窗畫面W57自身之移動之印象而直觀地辨識出動態影像內容之特徵(傾向)。
尤其,於編輯裝置2中,如先前般,僅對構成動態影像內容之複數幅靜止圖像中之最前圖像進行分類配置,或使用複數幅靜止圖像中之特徵量之平均值進行分類,其未必表示動態影像內容整體傾向,而如本發明所示,使操作員辨識為根據構成動態影像內容之各靜止圖像之特徵量之變化而移動顯示視窗畫面W57時之移動之印象,藉此可使該操作員準確理解動態影像內容之特徵(傾向),從而可容易地進行該動態影像內容之管理及檢索。
此處,編輯裝置2於利用視窗畫面W57進行之動態影像再生過程中有場景轉換之情形時,自場景轉換前之3次元虛擬空間上之位置至場景轉換後之3次元虛擬空間上之位置為止並不對視窗畫面W57進行較大跳躍,而是一邊階段性地縮短距離一邊移動顯示視窗畫面W57,藉此避免視窗畫面W57脫離操作員之視線之外而看丟,可防止操作員對視窗畫面W57之移動之印象中斷。
又,於編輯裝置2中,若使用與複數個動態影像內容分別相對應之視窗畫面W57同時進行動態影像再生,則於每次更新訊框時使具有相似之特徵量之視窗畫面W57聚集於3次元虛擬空間上之特定區域,使操作員可通過於3次元虛擬空間上聚集或分散之複數個視窗畫面W57之配置狀態而直觀且容易地辨識出該等複數個動態影像內容所具有之特徵(傾向)。
進而,於編輯裝置2中,於在藉由將動態影像內容再生而以靜止圖像為單位將視窗畫面W57分類配置於3次元虛擬空間上時,根據操作員之指示而變更構成該3次元虛擬空間之顯示軸之參數之情形時,產生新的3次元虛擬空間,可使顯示於此之視窗畫面W57之配置狀態發生較大變化,可與操作員所期望之參數相應地自如變更視窗畫面W57之分類配置結果而進行提示。
進而,編輯裝置2伴隨著視窗畫面W57之移動顯示,根據操作員之選擇操作而將其過去側之軌跡、未來側之軌跡、過去側及未來側兩者之全軌跡與視窗畫面W57一起顯示,藉此可在視覺上提示視窗畫面W57於3次元虛擬空間上過去移動時之移動、或自此以後將要移動之未來之移動,因此對於操作員而言,僅分別比較複數個動態影像內容所對應之視窗畫面W57之軌跡,即可瞬時且直觀地將複數個動態影像內容彼此是具有相似傾向或是具有完全不同之傾向理解為軌跡線之印象。
然而,編輯裝置2係將與動態影像內容或靜態影像內容分別相對應之視窗畫面W57分類配置於編輯畫面之顯示部55上,顯示為分類圖像群58,但於顯示部55上並不顯示3次元虛擬空間之顯示軸,且將所有視窗畫面W57正面朝向操作員之視線方向而配置,故而對於操作員而言難以理解複數個視窗畫面W57係配置於3次元虛擬空間上的。
然而,於編輯裝置2中,與分類圖像群58一併顯示模式性地表示配置有該分類圖像群58之視窗畫面W57之3次元虛擬空間的3D圖符AK,藉此,操作員自身可經由該3D圖符AK而直觀地辨識出係自何視點及視線方向目測確認分類圖像群58的。
此時,同時操作員目測確認構成3D圖符AK之顯示軸之參數,藉此可根據3次元虛擬空間上之視窗畫面W57之配置部位而立刻理解視窗畫面W57配置於何種3次元虛擬空間上、於靜止圖像中較強地含有何種參數之特徵量。
進而,當編輯裝置2使該3D圖符AK之小型視窗畫面WN57固定,由操作員來移動3D圖符AK之球體對象時,亦可將與小型視窗畫面WN57相對應之視窗畫面W57固定於顯示部55之畫面中央位置POc,而變更3次元虛擬空間及其他視窗畫面W57之配置部位而顯示。
根據以上結構,於編輯裝置2中,利用視窗畫面W57而對動態影像內容進行動態影像再生之情形時,在依次更新構成該動態影像內容之各個靜止圖像時,根據特徵量對應每個該靜止圖像而變化之情況,一邊使視窗畫面W57與3次元虛擬空間之相對位置關係依次變化,一邊根據圖案之內容變化而移動顯示該視窗畫面W57,藉此,將動態影像內容所具有之再生影像之特徵(傾向)表現為視窗畫面W57之移動,使操作員可直觀地辨識該移動之印象,故而可通過直觀之印象而使大量動態影像內容之分類、管理、檢索容易化。
(8)其他實施形態
再者,於上述實施形態中,對將本發明之影像處理裝置適用於編輯裝置2之情形進行了敍述,但本發明並不限定於此,亦可適用於單純之個人電腦,將利用錄影機所拍攝之複數個動態影像內容或利用數位相機所拍攝之複數個靜態影像內容儲存於內部之硬碟驅動器中,並將該等所有內容分類配置於3次元虛擬空間上而顯示,藉此使操作員可直觀地辨識靜態影像內容之特徵或動態影像內容之整體傾向,且可容易地執行對所期望之場景之畫面搜索作業。
又,於上述實施形態中,對產生3次元虛擬空間並將視窗畫面W57分類配置於該3次元虛擬空間上之情形進行了敍述,但本發明並不限定於此,如圖53所示,亦可產生2次元空間,並於該2次元空間上分類配置視窗畫面W57,或者顯示視窗畫面W57之軌跡。
進而,於上述實施形態中,對產生以靜止圖像自身所具有之R(紅)、B(藍)、亮度顯示軸為參數之3次元虛擬空間之情形進行了敍述,但本發明並不限定於此,亦可根據使用與靜止圖像相關聯之語音資訊作為顯示軸參數,或者使用時間作為顯示軸參數,或者使用R(紅)、B(藍)兩者作為一個顯示軸參數等之操作員之喜好而產生用以分類配置之各種多次元虛擬空間。
例如,如圖54所示,於編輯裝置2中,將以亮度、R(紅)、B(藍)為顯示軸之3次元虛擬空間與以移動量、DCT縱頻率及DCT橫頻率為顯示軸之3次元虛擬空間沿時間軸排列,藉此可產生虛擬4次元空間,可將動態影像內容或靜態影像內容之視窗畫面W57分類配置於該虛擬4次元空間上,或者伴隨著動態影像再生而移動顯示動態影像內容之視窗畫面W57。
進而,於上述實施形態中,對與動態影像內容之動態影像再生相應地於3次元虛擬空間上移動顯示視窗畫面W57之情形進行了敍述,但本發明並不限定於此,例如圖55所示,亦可與操作員對設置於編輯畫面50之顯示部55上之刮擦條66之刮擦旋鈕67的左右方向操作相應地使視窗畫面W57向過去側或未來側沿其軌跡移動顯示。
於此情形時,操作員可根據自己的意思而自如控制視窗畫面W57在3次元虛擬空間上之位置,因此可更加容易地執行所期望之場景之畫面搜索作業或編輯作業。
進而,於上述實施形態中,對將動態影像內容之再生影像顯示於視窗畫面W57上之情形進行了敍述,但本發明並不限定於此,亦可對於分類圖像群58中互相重疊而觀察不到之視窗畫面57降低再生影像之更新率而使再生速度極慢,或降低解析度,或顯示靜止圖像,或者什麼都不顯示。藉此,編輯裝置2可對操作員無法目測確認之視窗畫面W57不執行再生顯示處理,從而可減輕微處理器3之處理負荷。
進而,於上述實施形態中,對在軌跡線上或視窗畫面W57上顯示時間碼通知框TW(圖51)之情形進行了敍述,但本發明並不限定於此,只要可使操作員辨識再生經過時刻,則亦可於軌跡上或視窗畫面W57上顯示訊框編號通知框或場編號通知框等其他各種通知框。
進而,於上述實施形態中,對可根據操作員之操作而任意變更分別顯示於分類圖像群58之視窗畫面W57上的再生影像之再生速度之情形進行了敍述,但本發明並不限定於此,例如亦可以下述方式進行設定,即,在對以可變比特率進行了壓縮編碼化之動態圖像進行再生之情形時,可推測以編碼產生量較多之高比特率進行了壓縮編碼化之部分為移動較快之影像部分,故而對於該部分自動減小再生速度,以可緩慢地確認影像,另一方面,可推測以編碼產生量較少之低比特率進行了壓縮編碼之部分為移動較少之影像部分,故而對於該部分自動增大再生速度,以可使影像進行某種程度之快速流動。
藉此,操作員可易於目測確認視窗畫面W57之再生影像且易於進行編輯。再者,對於此情形時之編輯裝置2中之再生控制及顯示控制而言,亦可自菜單畫面等預先設定編碼產生量等之臨限值,或者亦可於編輯裝置2中進行自動控制。
進而,於上述實施形態中,對藉由自如設定分別顯示於分類圖像群58之各視窗畫面W57上之再生影像之再生速度,而可變更顯示於視窗畫面W57上之再生影像之表觀印象之情形進行了敍述,但本發明並不限定於此,除了再生影像之再生速度以外,例如亦可藉由可設定訊框.場間隔之數值,而可變更顯示於視窗畫面W57上之再生影像之表觀印象,亦可設定自如地變更上述其他參數,以作為變更該再生影像之表觀的參數。
進而,於上述實施形態中,對由球體對象形成用以表示分類圖像群58之顯示形態之3D圖符AK之情形進行了敍述,但本發明並不限定於此,亦可利用立方體或長方體等其他各種形狀而形成3D圖符AK。
進而,於上述實施形態中,對將本發明適用於以圖1所示方式構成之編輯裝置2之情形進行了敍述,但本發明並不限定於此,只要是可提供作為編輯裝置之功能之圖像處理裝置,則可廣泛適用於其他各種結構之圖像處理裝置。
再者,該圖像處理裝置例如包含電腦、錄影機、數位相機、遊戲機、行動資訊終端(行動型電腦、行動電話機、行動型遊戲機)、儲存機器(例如光碟裝置、本地伺服器)、搭載有本發明之功能的處理板或處理卡。
於該等任何圖像處理裝置之情形時,均係將筐體、信號處理部、外部介面作為共通結構,並組合與商品形態相應之周邊裝置而構成的。例如,若為錄影機或數位相機,則除了上述結構以外,還具有用以將相機單元或所拍攝之影像資料保存於記憶媒體中之寫入電路。又,例如若為行動電話機等其他具有通訊功能之電子機器,則除了上述結構以外,還具有收發電路或天線。
進而,於上述實施形態中,對微處理器3啟動儲存於硬碟裝置7中之影像處理程式,從而於3次元虛擬空間上對視窗畫面W57執行移動顯示處理之情形進行了敍述,但本發明並不限定於此,亦可將儲存有影像處理程式之程式儲存媒體安裝於微處理器3中,藉此執行上述移動顯示處理等。
如此,作為將用以執行上述移動顯示處理等之影像處理程式安裝於硬碟裝置7中而設為可執行狀態之程式儲存媒體,例如不僅可為軟碟、CD-ROM(Compact Disc-Read Only Memory,唯讀式光碟)、DVD(Digital Versatile Disc,數位化多功能光碟)等封裝媒體,亦可利用暫時或永久儲存影像處理程式之半導體記憶體或磁碟等而實現。又,作為於該等程式儲存媒體中儲存影像處理程式之機構,可利用區域網路或網際網路、數位衛星廣播等有線及無線通訊媒體,亦可經由路由器或數據機等各種通訊介面而儲存。
進而,於上述實施形態中,對使用滑鼠38或鍵盤39來進行針對視窗畫面W57之各種操作等之情形進行了敍述,但本發明並不限定於此,亦可使用操作控制器37來進行該等操作。
再者,如圖56所示,該操作控制器37係月牙狀且帶有流線型之立體形狀,且以左右對稱之方式而形成。於將該操作控制器37之表面中呈月牙狀之面之其中一個設為上面之情形時,於該上面大致左右對稱地形成有十字鍵CK、呈十字形配置之「△」、「×」、「○」及「□」按鈕B1~B4。
該十字鍵CK藉由上下按壓操作而可使再生速度加速或減速,而藉由左右按壓操作可使游標71移動。又,「△」按鈕B1可顯示游標菜單,「×」按鈕B2可解除游標CS之指定或消除游標菜單,「○」按鈕B3可指定或決定游標CS,「□」按鈕B4可顯示游標菜單以外各種菜單。
另一方面,於該操作控制器37之上面之內周側,左右對稱地設置有右搖桿RJ及左搖桿LJ。該等右搖桿RJ及左搖桿LJ藉由向周圍按倒之操作,可沿軌跡移動顯示由游標CS所選擇之分類圖像群58之各視窗畫面W57。
另一方面,於該操作控制器37之外周側面,左右對稱地設置有右側按鈕RB及左側按鈕LB。該等右側按鈕RB或左側按鈕LB藉由按壓操作,可將分類圖像群58自身移動至操作員所期望之位置處。
進而,於上述實施形態中,對由虛擬空間產生機構、作為轉換機構之微處理器3、作為分類配置機構之微處理器3及GPU4構成作為本發明之圖像處理裝置之編輯裝置2之情形進行了敍述,但本發明並不限定於此,亦可由利用其他各種電路結構而構成之虛擬空間產生機構、轉換機構及分類配置機構而構成本發明之圖像處理裝置。
再者,於本發明之主旨之範圍內可想到除了上述以外之各種變形例。又,亦可想到根據本說明書之揭示而創作之各種變形例及應用例。
[產業上之可利用性]
本發明之圖像處理裝置、圖像處理方法、圖像處理程式及程式儲存媒體,除了可適用於非線性編輯裝置以外,亦可廣泛適用於除此以外之編輯裝置、或者除了編輯裝置以外之顯示影像之各種影像處理裝置。
1...編輯系統
2...編輯裝置
22...記憶裝置
3...微處理器
4...GPU
5...XDR-RAM
37...操作控制器
38...滑鼠
39...鍵盤
40...顯示器
41...揚聲器
50...編輯畫面
55...顯示部
W57...視窗畫面
58...分類圖像群
AK...3D圖符
圖1係表示本發明中編輯系統之結構的簡略方塊圖。
圖2係表示本實施形態之編輯畫面之結構的簡圖。
圖3係表示分類圖像群之簡圖。
圖4係表示利用微處理器及GPU實現動態影像內容之分類顯示功能之第1結構例的簡略方塊圖。
圖5係表示利用微處理器及GPU實現動態影像內容之分類顯示功能之第2結構例的簡略方塊圖。
圖6係表示利用微處理器及GPU實現動態影像內容之分類顯示功能之第3結構例的簡略方塊圖。
圖7係表示元資料提取部之結構之簡略方塊圖。
圖8係用以說明平均值算出部之處理之簡圖。
圖9係用以說明移動檢測部之處理之簡圖。
圖10係表示移動檢測部之其他結構例之簡略方塊圖。
圖11係用以說明移動資訊算出部之處理之簡圖。
圖12係表示頻率分析部之結構例之簡略方塊圖。
圖13係用以說明精細度資訊算出部之處理之簡圖。
圖14係用以說明HLS空間之簡圖。
圖15係表示元資料檔案之具體內容之簡圖。
圖16係表示靜態影像內容之分類顯示處理程序之流程圖。
圖17(A)-(G)係表示3次元虛擬空間之顯示軸之簡圖。
圖18係表示靠DCT橫頻率軸而分類配置之分類圖像群之放大顯示例的簡圖。
圖19係表示靠R軸分類配置之分類圖像群之放大顯示例的簡圖。
圖20係表示靠G軸分類配置之分類圖像群之放大顯示例的簡圖。
圖21係表示動態影像內容之分類顯示處理程序之流程圖。
圖22係表示針對複數個動態影像內容之同時分類顯示處理程序之流程圖。
圖23係用以說明視窗畫面之移動之簡圖。
圖24係表示座標修正處理程序之流程圖。
圖25係表示場景轉換之簡圖。
圖26係用以說明場景轉換時之視窗畫面之移動之簡圖。
圖27係表示分類再配置處理程序之流程圖。
圖28係表示分類再配置前後之分類圖像群之簡略立體圖。
圖29(A)-(C)係用以說明群組顯示處理之簡圖。
圖30係表示群組顯示處理程序之流程圖。
圖31係表示在使視窗畫面固定之狀態下使3次元虛擬空間移動時之顯示例(1)的簡圖。
圖32係表示在使視窗畫面固定之狀態下使3次元虛擬空間移動時之顯示例(2)的簡圖。
圖33係表示在使視窗畫面固定之狀態下使3次元虛擬空間移動時之顯示例(3)的簡圖。
圖34係表示使視窗畫面固定之動態影像內容之分類顯示處理程序的流程圖。
圖35(A)-(D)係表示3D圖符之簡圖。
圖36係表示分類圖像群及3D圖符之顯示形態之簡圖。
圖37係表示與3D圖符之視點變更操作相對應之靜態影像內容之分類顯示處理程序的流程圖。
圖38係表示與3D圖符之視點變更操作相對應之動態影像內容之分類顯示處理程序的流程圖。
圖39係表示放大視窗畫面之顯示例之簡圖。
圖40係表示全軌跡顯示模式之顯示圖案(1)的簡圖。
圖41係表示軌跡顯示處理程序之流程圖。
圖42係表示過去側之軌跡顯示之簡圖。
圖43係表示未來側之軌跡顯示之簡圖。
圖44係表示全軌跡顯示之簡圖。
圖45係表示全軌跡顯示模式之顯示圖案(2)之簡圖。
圖46係表示全軌跡顯示模式之顯示圖案(3)之簡圖。
圖47係表示全軌跡顯示模式之顯示圖案(4)之簡圖。
圖48係表示使用了代表場景之軌跡顯示例之簡圖。
圖49係表示包含場景轉換之軌跡顯示例之簡圖。
圖50(A)-(C)係表示移動速度之控制例之簡圖。
圖51係表示附加有時間碼之軌跡顯示例之簡圖。
圖52(A)-(C)係用以說明視窗畫面之控制處理之簡圖。
圖53係用以說明其他實施形態之2次元空間之簡圖。
圖54係表示其他實施形態之虛擬4次元空間之簡圖。
圖55係用以說明其他實施形態之與刮擦旋鈕之移動相連動之視窗畫面之移動顯示處理的簡圖。
圖56係表示其他實施形態之操作控制器之結構之簡圖。
圖57(A)-(C)係表示利用操作控制器之操作順例之簡圖。
55...顯示部
58...分類圖像群
B...藍色
R...紅色
W57...視窗畫面

Claims (21)

  1. 一種圖像處理裝置,其包含:顯示空間產生機構,其用於產生由複數顯示軸所界定的一顯示空間,該等顯示軸係藉由表示視訊資料或音訊資料之一特徵之複數特徵參數中之一者及與該視訊資料或音訊資料聯繫起來之複數相關聯參數而判定;轉換機構,其用於將由該等特徵參數中之一者所指定之複數特徵值及由該等相關聯參數所指定之複數相關聯值轉換成對應於該顯示空間上之該等顯示軸上之一位置的複數座標參數;及顯示控制機構,其用於根據對應於該等經轉換之座標參數之該位置之一改變,而經由一顯示視窗在該顯示空間上顯示該視訊資料;其中該顯示控制機構將顯示該視訊資料的該顯示視窗根據時間過去而移動之一移動路徑顯示為一軌跡,其中該視訊資料顯示於該顯示空間上。
  2. 如請求項1之圖像處理裝置,其進一步包含:選擇機構,其用於自複數個該等特徵參數中之一者及該等相關聯參數當中,選擇用於改變顯示該視訊資料的該顯示視窗之一顯示模式的該等特徵參數中之一者及相關聯參數,作為顯示參數,其中該顯示控制機構根據藉由該選擇機構選擇之該等顯示參數之一值,而改變顯示該視訊資料的該顯示視窗之一顯示型態。
  3. 如請求項2之圖像處理裝置,其中該顯示型態包括該顯示視窗之一大小、該顯示視窗內部之一對比度、該顯示視窗內部之一透射率及該顯示視窗之訊框之一強調顯示中之一者。
  4. 如請求項1之圖像處理裝置,其進一步包含:選擇機構,其用於自複數個該等特徵參數中之一者及該等相關聯參數當中,選擇用於選擇具有一第一解析度的一第一視訊資料及具有低於該第一解析度的一解析度之一第二視訊資料中之一者是否將被顯示之該等特徵參數中之一者及該等相關聯參數,作為播放模式參數;其中該顯示控制機構根據藉由該選擇機構選擇之該等播放模式參數之一值,而選擇且顯示該第一視訊資料及該第二視訊資料中之一者。
  5. 如請求項1之圖像處理裝置,其進一步包含:選擇機構,其用於自複數個該等特徵參數中之一者及該等相關聯參數當中,選擇用於選擇基於一第一格式之視訊資料及基於具有小於該第一格式之資料量的一資料量之一第二格式之視訊資料中之一者是否將被顯示之該等特徵參數中之一者及該等相關聯參數,作為播放模式參數;其中該顯示控制機構根據藉由該選擇機構選擇之該等播放模式參數之一值,而選擇且顯示基於該第一格式之該視訊資料及基於該第二格式之該視訊資料中之一者。
  6. 如請求項1之圖像處理裝置,其中該顯示空間產生機構自複數個該等特徵參數中之一者 及該等相關聯參數當中,選擇三個不同的特徵參數或相關聯參數,以產生一三維顯示空間。
  7. 如請求項1之圖像處理裝置,其中該顯示控制機構在該軌跡上之一對應位置上,顯示包括於該視訊資料中的一靜止圖像。
  8. 如請求項7之圖像處理裝置,其中該顯示控制機構以指定時間間隔,在該軌跡上之該對應位置上,顯示該靜止圖像。
  9. 如請求項1之圖像處理裝置,其中該顯示控制機構在該軌跡上,顯示對應於該視訊資料之一時間碼。
  10. 如請求項1之圖像處理裝置,其中該顯示控制機構基於當前顯示之視訊資料在該軌跡上之一位置,而顯示對應於過去之一軌跡及對應於未來之一軌跡,作為一軌跡顯示模式。
  11. 如請求項1之圖像處理裝置,其中該顯示控制機構基於當前顯示之視訊資料在該軌跡上之一位置,而僅顯示對應於過去之該軌跡,作為一過去軌跡顯示模式。
  12. 如請求項1之圖像處理裝置,其中該顯示控制機構基於當前顯示之視訊資料在該軌跡上之一位置,而僅顯示對應於未來之該軌跡,作為一未來軌跡顯示模式。
  13. 如請求項1之圖像處理裝置,其進一步包含:變化判定 機構,其用於判定包括於該等特徵參數中之該等特徵量之一變化是否大於或等於一臨限值,其中在該變化藉由該變化判定機構而判定為大於或等於該臨限值時,該顯示控制機構藉由將顯示該視訊資料的該顯示視窗之移動速度自改變之前的該等座標參數改變至改變之後的該等座標參數而顯示。
  14. 如請求項13之圖像處理裝置,其中該顯示控制機構顯示成使得該顯示視窗之該移動速度係較慢的。
  15. 如請求項13之圖像處理裝置,其中當該等特徵量大於或等於該臨限值時,該變化判定機構判定已發生一場景改變及一閃爍中之一者。
  16. 如請求項1之圖像處理裝置,其進一步包含:一視訊解碼器,其解碼一視訊串流以產生該視訊資料。
  17. 如請求項1之圖像處理裝置,其進一步包含:記錄機構,其用於將該等特徵參數中之一者及該等相關聯參數作為元資料,而記錄於一記錄媒體中;其中該轉換機構藉由參考記錄於該記錄媒體中之該元資料,而將藉由該等特徵參數中之一者所指定之該特徵值及藉由該等相關聯參數所指定之該相關聯值,轉換成對應於該顯示空間上之該等顯示軸的該等座標參數。
  18. 如請求項1之圖像處理裝置,其進一步包含:記錄機構,其用於將藉由該轉換機構轉換之座標參數作為元資料,而記錄於一記錄媒體中; 其中該顯示控制機構藉由參考記錄於一記錄媒體中之該元資料,而經由該顯示視窗顯示該視訊資料,對應於該顯示視窗的該等座標參數之一位置改變。
  19. 如請求項1之圖像處理裝置,其進一步包含:顯示軸改變機構,其用於改變用於該顯示空間上之該等顯示軸的該等特徵參數中之一者及該等相關聯參數之組合圖案;其中該顯示控制機構經由具有藉由該顯示改變機構改變之該等顯示軸的該顯示空間上之該顯示視窗,而顯示該視訊資料。
  20. 如請求項1之圖像處理裝置,其進一步包含:元資料產生機構,其用於產生表示該視訊資料之該等圖像在該顯示空間上之複數個視訊資料之間的一距離係在一預定值內時彼此類似之類似性資訊作為元資料,其中當該類似性資訊表示一類似性條件時,該顯示控制機構改變對應於複數個視訊資料之該顯示視窗之一顯示型態。
  21. 一種圖像處理方法,其包含:顯示空間產生步驟,其產生藉由複數顯示軸所界定的一顯示空間,該等顯示軸係藉由表示視訊資料或音訊資料之一特徵之複數特徵參數中之一者及與該視訊資料或音訊資料聯繫起來之複數相關聯參數而判定;轉換步驟,其將藉由該等特徵參數中之一者所指定之複數特徵值及藉由該等相關聯參數所指定之複數相關聯值,轉換成對應於該顯示空間上之該等顯示軸上之一位 置的複數座標參數;及顯示控制步驟,其根據對應於該等經轉換之座標參數之該位置之一改變,而經由一顯示視窗在該顯示空間上顯示該視訊資料;其中該顯示控制步驟將顯示該視訊資料的該顯示視窗根據時間過去而移動之一移動路徑顯示為一軌跡,其中該視訊資料顯示於該顯示空間上。
TW096112867A 2006-04-24 2007-04-12 An image processing apparatus, an image processing method, an image processing program, and a program storage medium TWI384413B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006119654 2006-04-24

Publications (2)

Publication Number Publication Date
TW200745986A TW200745986A (en) 2007-12-16
TWI384413B true TWI384413B (zh) 2013-02-01

Family

ID=38655617

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096112867A TWI384413B (zh) 2006-04-24 2007-04-12 An image processing apparatus, an image processing method, an image processing program, and a program storage medium

Country Status (7)

Country Link
US (1) US8015490B2 (zh)
EP (1) EP1895774A4 (zh)
JP (1) JPWO2007126097A1 (zh)
KR (1) KR20090012018A (zh)
CN (1) CN101331760B (zh)
TW (1) TWI384413B (zh)
WO (1) WO2007126097A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI706371B (zh) * 2016-05-31 2020-10-01 香港商阿里巴巴集團服務有限公司 圖片的產生方法及裝置
TWI842052B (zh) * 2022-03-31 2024-05-11 日商三菱電機股份有限公司 結構色描繪裝置、結構色描繪系統、結構色描繪方法以及記錄結構色描繪程式的記錄媒體

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200809764A (en) * 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
KR101415023B1 (ko) 2007-04-26 2014-07-04 삼성전자주식회사 네트워크를 통한 정보 제공 방법 및 장치
KR20090050577A (ko) * 2007-11-16 2009-05-20 삼성전자주식회사 멀티미디어 컨텐츠를 표시 및 재생하는 사용자인터페이스및 그 장치와 제어방법
JP5361174B2 (ja) * 2007-11-30 2013-12-04 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
US8180161B2 (en) 2007-12-03 2012-05-15 National University Corporation Hokkaido University Image classification device and image classification program
US8994731B2 (en) * 2007-12-19 2015-03-31 Temporal Llc Apparatus, system, and method for organizing information by time and place
JP4798172B2 (ja) * 2008-05-20 2011-10-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像出力方法および画像出力プログラム
DE102008028023A1 (de) * 2008-06-12 2009-12-17 Siemens Aktiengesellschaft Verfahren zur Darstellung mehrerer Bilddatensätze und Benutzerinterface zur Darstellung mehrerer Bilddatensätze
JP5100532B2 (ja) * 2008-06-27 2012-12-19 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP5338228B2 (ja) * 2008-09-29 2013-11-13 カシオ計算機株式会社 画像生成装置、及びプログラム
US9110927B2 (en) * 2008-11-25 2015-08-18 Yahoo! Inc. Method and apparatus for organizing digital photographs
WO2010064774A1 (ko) * 2008-12-02 2010-06-10 (주)엘지전자 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
US20100180218A1 (en) * 2009-01-15 2010-07-15 International Business Machines Corporation Editing metadata in a social network
GB2468524A (en) * 2009-03-12 2010-09-15 Speaks4Me Ltd Image-to-Speech System
JP5343676B2 (ja) * 2009-04-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
TWI430223B (zh) 2009-04-30 2014-03-11 Chunghwa Picture Tubes Ltd 畫面更新頻率調整器及其方法
CN101894513B (zh) * 2009-05-21 2012-06-06 华映视讯(吴江)有限公司 画面更新频率调整器及其方法
US20100329646A1 (en) * 2009-06-26 2010-12-30 Loeffler Markus E System and method for remote film color correction
CN102118584B (zh) * 2009-12-31 2015-02-18 新奥特(北京)视频技术有限公司 一种具有曲线延伸的字幕动画生成方法和装置
GB2477120A (en) * 2010-01-22 2011-07-27 Icescreen Ehf Media editing using poly-dimensional display of sequential image frames
EP2530605A4 (en) * 2010-01-29 2013-12-25 Panasonic Corp DATA PROCESSING UNIT
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
US20110225151A1 (en) * 2010-03-15 2011-09-15 Srinivas Annambhotla Methods, devices, and computer program products for classifying digital media files based on associated geographical identification metadata
US8489991B2 (en) * 2010-03-17 2013-07-16 Creative Technology Ltd System and method for video frame marking
US9762975B2 (en) 2010-04-30 2017-09-12 Thomas Loretan Content navigation guide
JP4680319B1 (ja) * 2010-05-31 2011-05-11 エンパイア テクノロジー ディベロップメント エルエルシー 座標情報更新装置および座標情報生成装置
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US9317456B2 (en) * 2010-10-18 2016-04-19 Infosys Technologies Ltd. Method and system for performing event-matching with a graphical processing unit
CN102469350A (zh) * 2010-11-16 2012-05-23 北大方正集团有限公司 广告统计的方法、装置和系统
US9307295B2 (en) * 2011-02-01 2016-04-05 Mobitv, Inc. Live media content discovery and management
US8600215B2 (en) 2011-04-20 2013-12-03 Funai Electric Co., Ltd. Electronic device, playback device and server device
US8713473B2 (en) 2011-04-26 2014-04-29 Google Inc. Mobile browser context switching
US10504561B2 (en) * 2011-12-12 2019-12-10 Corel Corporation Media editing system and method with linked storyboard and timeline
CN103389874B (zh) * 2012-05-07 2016-09-14 Lg电子株式会社 移动终端及其控制方法
KR102652437B1 (ko) 2012-05-11 2024-03-27 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기, 기억 매체, 프로그램, 및 표시 방법
US9767850B2 (en) * 2012-09-08 2017-09-19 Michael Brough Method for editing multiple video files and matching them to audio files
US9047847B2 (en) 2013-02-05 2015-06-02 Facebook, Inc. Displaying clusters of media items on a map using representative media items
US9323855B2 (en) * 2013-02-05 2016-04-26 Facebook, Inc. Processing media items in location-based groups
US9952742B2 (en) * 2013-03-14 2018-04-24 Google Llc Providing trending information to users
US9646650B2 (en) * 2013-05-28 2017-05-09 Google Inc. Automatically syncing recordings between two or more content recording devices
WO2014197354A1 (en) 2013-06-05 2014-12-11 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
US20160307599A1 (en) * 2013-06-05 2016-10-20 Snakt, Inc. Methods and Systems for Creating, Combining, and Sharing Time-Constrained Videos
US9304976B1 (en) * 2013-11-21 2016-04-05 Mashable, Inc. Positioning media to go viral
US9749431B1 (en) * 2013-11-21 2017-08-29 Mashable, Inc. Finding a potentially viral first media content and transmitting a second media content that is selected based on the first media content and based on the determination that the first media content exceeds a velocity threshold
USD766279S1 (en) * 2013-12-26 2016-09-13 Sony Corporation Display panel or screen with graphical user interface
TWI608403B (zh) * 2014-02-14 2017-12-11 緯創資通股份有限公司 多視窗快速排列方法與系統及其行動裝置
US10037380B2 (en) * 2014-02-14 2018-07-31 Microsoft Technology Licensing, Llc Browsing videos via a segment list
JP5731083B1 (ja) * 2014-06-13 2015-06-10 株式会社日立システムズ 作業記録装置、作業記録システム、作業記録プログラムおよび作業記録方法
CN104866239B (zh) * 2015-05-26 2018-09-14 浙江宇视科技有限公司 一种高可用性的视频存储方法
CN104933986B (zh) * 2015-07-21 2019-07-30 京东方科技集团股份有限公司 显示驱动装置和显示驱动方法以及显示装置
CN105407157B (zh) * 2015-11-23 2019-08-02 浙江宇视科技有限公司 视频信息推送方法及装置
US11202048B2 (en) * 2016-03-28 2021-12-14 Panasonic Intellectual Property Management Co., Ltd. Video processing device, video processing system, video processing method, and video output device
ES2648368B1 (es) * 2016-06-29 2018-11-14 Accenture Global Solutions Limited Recomendación de vídeo con base en el contenido
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
JP7143846B2 (ja) * 2017-05-18 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN107197341B (zh) * 2017-06-02 2020-12-25 福建星网视易信息系统有限公司 一种基于gpu的炫屏显示方法、装置及一种存储设备
JP7352556B2 (ja) * 2018-02-06 2023-09-28 マティサ マテリエル アンデュストリエル ソシエテ アノニム 鉄道介入車両に取り付けられた1つまたは複数の介入ツールのセットに命令するための方法
CN111061912A (zh) * 2018-10-16 2020-04-24 华为技术有限公司 一种处理视频文件的方法及电子设备
CN112053665A (zh) 2019-06-07 2020-12-08 三星电子株式会社 用于补偿显示器的屏幕移动的方法以及支持其的电子设备
KR102608378B1 (ko) 2019-06-18 2023-12-01 삼성전자주식회사 안테나의 성능을 최적화하기 위한 전자 장치의 구조 및 그에 관한 방법
KR20210104979A (ko) * 2020-02-18 2021-08-26 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
CN112735342B (zh) * 2020-12-30 2022-05-03 深圳Tcl新技术有限公司 背光光型的处理方法、装置及计算机可读存储介质
KR20220099704A (ko) * 2021-01-07 2022-07-14 한화테크윈 주식회사 모니터링 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056095A1 (en) * 2000-04-25 2002-05-09 Yusuke Uehara Digital video contents browsing apparatus and method
JP2005196783A (ja) * 2004-01-05 2005-07-21 Microsoft Corp ユーザインタフェースの同軸ナビゲーションのためのシステムおよび方法
US6948124B2 (en) * 2000-12-20 2005-09-20 Eastman Kodak Company Graphical user interface utilizing three-dimensional scatter plots for visual navigation of pictures in a picture database
WO2006047648A2 (en) * 2004-10-26 2006-05-04 Stereotaxis, Inc. Surgical navigation using a three-dimensional user interface

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US6910191B2 (en) * 2001-11-02 2005-06-21 Nokia Corporation Program guide data selection device
WO2004107748A1 (ja) * 2003-05-27 2004-12-09 Matsushita Electric Industrial Co., Ltd. 番組情報表示装置
JP4392584B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
FR2857122A1 (fr) * 2003-07-03 2005-01-07 Thomson Licensing Sa Procede de navigation dans un ensemble de documents sonores a l'aide d'une interface graphique, et recepteur pour la navigation selon le procede
JP4325449B2 (ja) * 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置,表示制御方法,記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056095A1 (en) * 2000-04-25 2002-05-09 Yusuke Uehara Digital video contents browsing apparatus and method
US6948124B2 (en) * 2000-12-20 2005-09-20 Eastman Kodak Company Graphical user interface utilizing three-dimensional scatter plots for visual navigation of pictures in a picture database
JP2005196783A (ja) * 2004-01-05 2005-07-21 Microsoft Corp ユーザインタフェースの同軸ナビゲーションのためのシステムおよび方法
WO2006047648A2 (en) * 2004-10-26 2006-05-04 Stereotaxis, Inc. Surgical navigation using a three-dimensional user interface

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI706371B (zh) * 2016-05-31 2020-10-01 香港商阿里巴巴集團服務有限公司 圖片的產生方法及裝置
US10970818B2 (en) 2016-05-31 2021-04-06 Advanced New Technologies Co., Ltd. Sub-image based image generation
TWI842052B (zh) * 2022-03-31 2024-05-11 日商三菱電機股份有限公司 結構色描繪裝置、結構色描繪系統、結構色描繪方法以及記錄結構色描繪程式的記錄媒體

Also Published As

Publication number Publication date
TW200745986A (en) 2007-12-16
CN101331760A (zh) 2008-12-24
US8015490B2 (en) 2011-09-06
US20100220978A1 (en) 2010-09-02
KR20090012018A (ko) 2009-02-02
WO2007126097A1 (ja) 2007-11-08
EP1895774A4 (en) 2011-08-24
JPWO2007126097A1 (ja) 2009-09-17
EP1895774A1 (en) 2008-03-05
CN101331760B (zh) 2011-09-07

Similar Documents

Publication Publication Date Title
TWI384413B (zh) An image processing apparatus, an image processing method, an image processing program, and a program storage medium
TWI355645B (zh)
US8782563B2 (en) Information processing apparatus and method, and program
US9672411B2 (en) Information processing apparatus and method, and program
TWI353781B (zh)
JP2009529726A (ja) 内容アクセス木
US20110145764A1 (en) Menu Screen Display Method and Menu Screen Display Device
US20080320046A1 (en) Video data management apparatus
JP2005303907A (ja) 画像編集装置,方法およびプログラム
JP5188124B2 (ja) 表示制御装置及びその制御方法、プログラム、記録媒体
JP4892074B2 (ja) 電子機器、画像出力方法及びプログラム
JP2005303908A (ja) 画像編集装置,方法およびプログラム
US20110304779A1 (en) Electronic Apparatus and Image Processing Method
JP2007250048A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2010057003A (ja) 画像記録装置及び画像記録方法
JP2009117927A (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
JP5801038B2 (ja) 画像表示装置及び画像表示方法
JP2011193386A (ja) 電子機器及び画像処理方法
JP2012137560A (ja) カラオケ装置、カラオケ装置の制御方法及び制御プログラム
JP2013098790A (ja) 映像編集装置およびその制御方法
JP2010039807A (ja) スライドショー再生装置
AU2009250985A1 (en) Recommending connection points for video shots
JP2005175532A (ja) 映像処理装置および代表画像設定方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees