JP4370387B2 - ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 - Google Patents
ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 Download PDFInfo
- Publication number
- JP4370387B2 JP4370387B2 JP2001263656A JP2001263656A JP4370387B2 JP 4370387 B2 JP4370387 B2 JP 4370387B2 JP 2001263656 A JP2001263656 A JP 2001263656A JP 2001263656 A JP2001263656 A JP 2001263656A JP 4370387 B2 JP4370387 B2 JP 4370387B2
- Authority
- JP
- Japan
- Prior art keywords
- query
- shot
- video
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオシーケンスからオブジェクトを抽出してラベルが貼り付けられたオブジェクトの映像（ラベルオブジェクト映像）を生成するための装置、及びその方法、並びにそのコンピュータプログラムを備えたコンピュータが読取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
従来、動画像のラベルオブジェクト映像を生成するために、クエリーオブジェクト（ｑｕｅｒｙ ｏｂｊｅｃｔ）がその動画像の各フレームからマニュアルで抽出されていた。このような付加的なマニュアル操作を実行せずに、映像から自動的にオブジェクトを抽出する方法が、近年発表されている。
前記映像からのオブジェクトの抽出方法は、オブジェクトの動きに基づいた抽出方法と、オブジェクト領域の特性値に基づいた抽出方法とに大別される。
【０００３】
前記オブジェクトの動きに基づいた抽出方法には、オブジェクトの動きに基づいてフレームの差を求める方法、オブジェクトの動きに基づいて背景が除去される方法、及びオブジェクトの動きに基づいてその動きが解析される方法がある。前記オブジェクトの動きに基づいてフレームの差を求める方法としては、例えば、米国特許５５００９０４号明細書、及び米国特許５１０９４３５号明細書に開示されているような、映像における連続したフレーム間の輝度差を計算してオブジェクトの動きを抽出する方法が挙げられる。
【０００４】
また、前記オブジェクトの動きに基づいて背景領域が除去される方法としては、例えば、米国特許５７４８７７５号明細書に開示されているような、映像の特性パラメータの時間変化を利用して映像の背景が復元され、元の映像と前記復元された映像の背景との差を用いてオブジェクト領域を抽出する方法が挙げられる。そして、前記オブジェクトの動きに基づいてその動きが解析される方法としては、例えば、米国特許５８６２５０８号明細書に開示されているような、オブジェクトの運動方向と速度とを計算して運動領域を抽出する方法が挙げられる。
【０００５】
しかしながら、このような従来のオブジェクトの抽出方法は、オブジェクトの動きの速度が適切である場合にしか適用することができなかった。このため、このような従来のオブジェクト領域の抽出方法を、静止映像や、オブジェクトの動きが遅い映像、あるいはオブジェクトの動きが速い映像に適用することは困難であった。
【０００６】
さらに、前記のオブジェクト領域の特性値に基づくオブジェクトの抽出方法としては、例えば、米国特許５９４３４４２号明細書に開示されているような、テンプレートを整合させる方法や、米国特許５１３８６７１号明細書に開示されているような、多重スレショルド値（閾値）を分割させる方法、またはオブジェクト領域の特性値を整合させる方法が挙げられる。これらの方法を用いて動画像データからクエリーオブジェクトを抽出する場合、各クエリーオブジェクトに基づく全てのフレームに対してこれらの方法を適用することが必要となる。このため、このような従来のオブジェクト領域の特性値に基づくオブジェクトの抽出方法において、前記クエリーオブジェクトを抽出しようとすると、長時間を要するという問題があった。
【０００７】
【発明が解決しようとする課題】
前記問題点に鑑み、本発明の目的は、付加的なマニュアル操作を必要とせず、かつオブジェクトの動きの程度によらず、クエリーオブジェクト領域がキーフレームに基づいて各フレームで抽出され、しかも対応するクエリーオブジェクトの情報に基づいてラベルの貼付けが行なわれたオブジェクト映像が各フレームで生成され得る、動画像でラベルオブジェクト映像を生成するための装置、及びその方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決するために、本発明に係る請求項１は、ビデオシーケンス入力部と、クエリー映像入力部と、ショット及びキーフレーム設定部と、初期オブジェクト領域抽出部と、オブジェクト領域追跡部と、ラベルオブジェクト映像生成部とを備えるラベルオブジェクト映像生成装置において用いられるビデオシーケンスのラベルオブジェクト映像生成方法であって、前記ビデオシーケンス入力部が、フレームの集合であるビデオシーケンスを入力する段階と、前記ショット及びキーフレーム設定部が、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択する段階と、前記初期オブジェクト領域抽出部は、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する段階と、前記オブジェクト領域追跡部が、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成する段階と、前記ラベルオブジェクト映像生成部が、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付ける段階とを含むことを特徴とするビデオシーケンスのラベルオブジェクト映像生成方法を提供する。
【０００９】
本発明に係る請求項２は、前記請求項１において、前記初期オブジェクト領域抽出部は、前記ショットマスク映像を生成する段階で、初期オブジェクト領域の画素を第１の値として設定し、前記キーフレームの残りの画素を第２の値に設定することにより、各ショットの全てのキーフレームで、クエリーオブジェクトに基づくショットマスク映像を生成する段階を含むことが望ましい。
【００１０】
また、本発明に係る請求項３は、前記請求項２において、前記オブジェクト領域追跡部がオブジェクト領域を追跡する場合、対応するクエリー映像に基づいたショットマスク映像、及び対応するクエリーオブジェクトの映像特性値に基づいて、各ショットを構成する全てのフレームのオブジェクト領域を追跡する段階と、各フレームで追跡されたオブジェクト領域の画素を第１の値に設定し、前記フレームの残りの画素を第２の値に設定することにより、各ショットを構成する全てのフレームで、クエリーオブジェクトに基づくフレームマスク映像を生成する段階とを含むことが望ましい。
【００１１】
さらに、本発明に係る請求項４は、前記請求項１において、前記ラベルオブジェクト映像生成部が、対応するクエリー映像に対して設定された固有番号、または各フレームで対応するクエリー映像が位置する座標情報で、ラベルを貼り付けられることが望ましい。
【００１２】
前記課題を解決するために、本発明に係る請求項５は、フレームの集合であるビデオシーケンスを入力するビデオシーケンス入力部と、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択するショット及びキーフレーム設定部と、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する初期オブジェクト領域抽出部と、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成するオブジェクト領域追跡部と、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付けるラベルオブジェクト映像生成部とを含むことを特徴とするビデオシーケンスのラベルオブジェクト映像生成装置を提供する。
【００１３】
本発明に係る請求項６は、前記請求項５において、前記初期オブジェクト領域抽出部は、前記ショットマスク映像を生成する場合、初期オブジェクト領域の画素を第１の値として設定し、前記キーフレームの残りの画素を第２の値に設定することにより、各ショットの全てのキーフレームで、クエリーオブジェクトに基づくショットマスク映像を生成することが望ましい。
【００１４】
また、本発明に係る請求項７は、前記請求項６において、前記オブジェクト領域追跡部は、オブジェクト領域を追跡する場合、対応するクエリー映像に基づいたショットマスク映像、及び対応するクエリーオブジェクトの映像特性値に基づいて、各ショットを構成する全てのフレームのオブジェクト領域を追跡し、各フレームで追跡されたオブジェクト領域の画素を第１の値に設定し、前記フレームの残りの画素を第２の値に設定することにより、各ショットを構成する全てのフレームで、クエリーオブジェクトに基づくフレームマスク映像を生成することが望ましい。
【００１５】
また、本発明に係る請求項８は、前記請求項５において、前記ラベルオブジェクト映像生成部は、対応するクエリー映像に対して設定された固有番号、または各フレームで対応するクエリー映像が位置する座標情報で、ラベルを貼り付けることが望ましい。
【００１６】
そして、前記課題を解決するために、本発明に係る請求項９は、フレームの集合であるビデオシーケンスを入力するビデオシーケンス入力部と、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択するショット及びキーフレーム設定部と、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する初期オブジェクト領域抽出部と、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成するオブジェクト領域追跡部と、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付けるラベルオブジェクト映像生成部としてコンピュータを機能させるためのコンピュータプログラムを備えたコンピュータが読取り可能な記憶媒体を提供する。
【００１７】
【発明の実施の形態】
以下に、添付した図面を参照しながら本発明の実施の形態を詳細に説明する。
図１は、本発明に係るビデオシーケンスのラベルオブジェクト映像生成装置を適用した一実施形態のオブジェクト基盤相互対話型サービスシステムの構成を模式的に示したブロック図である。図１に示すように、本発明に係るビデオシーケンスのラベルオブジェクト映像生成装置は、使用者端末器１００、サーバ１２０、ビデオシーケンスデータベース（以下、データベースを「ＤＢ」と称す）１３０及び関心オブジェクトＤＢ１４０を具備して構成されている。
【００１８】
また、図１に示す本発明に係るオブジェクト基盤相互対話型サービスシステムにあっては、一つ以上のクエリーオブジェクトに対応する、動画像データのオブジェクト領域をラベルオブジェクト映像として生成するようになっている。
【００１９】
図１を参照すると、本発明に含まれる使用者端末器１００は、オブジェクト基盤相互対話型の映像プレーヤー、またはＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）プレーヤーを具備し、ネットワーク１１０を介して遠隔でサーバ１２０に接続されている。そして、使用者端末器１００の一つがサーバ１２０に接続されると、オブジェクト基盤相互対話型の映像プレーヤーが実行されて使用者は使用者端末器１００の画面を通じてサーバ１２０で提供される動画像を視聴することができる。また、本発明にあっては、使用者はオブジェクト基盤対話型の映像プレーヤーを介して動画像を視聴する一方で、ビデオシーケンスで任意の一フレームのうちで任意の一オブジェクト（関心オブジェクト）を選択できるように構成されている。
【００２０】
図１に示す本発明に含まれるサーバ１２０は、ビデオシーケンスＤＢ１３０に記憶されたビデオシーケンスを、使用者端末器１００の画面上に提供すると共に、使用者により選択されたオブジェクトについての詳細情報を、関心オブジェクトＤＢ１４０に提供するようになっている。このとき、使用者は選択されたオブジェクトが有する情報を、ＲＧＢ表色系（またはＹＵＶ表色系）のフレームと共に提供される追加フレーム（ＭＰＥＧ４の場合にはαフレーム）を用いて見ることができる。
【００２１】
図１で、サーバ１２０は各種ビデオシーケンスを記憶したビデオシーケンスＤＢ１３０を管理し、また対応する映像の関心オブジェクト（例えば、商品、人物等）についての情報を記憶したＤＢ１４０を管理する。ＤＢ１３０、１４０はサーバ１２０内に含まれる。図１に示す対話型サービスシステムは、ウェブを基盤とした環境で具現化される。その際、サーバ１２０はウェブサーバとなり、使用者端末器１００はウェブブラウザを具備し、インターネット１１０を通じてウェブサーバに接続される。
【００２２】
以下、本発明に係るラベルオブジェクト映像生成装置及び方法を説明する。
図２は、本発明に係るラベルオブジェクト映像生成装置を模式的に示すブロック図であり、ビデオシーケンス入力部２００、クエリー映像入力部２１０、ショット及びキーフレーム設定部２２０、初期オブジェクト領域抽出部２３０、オブジェクト領域追跡部２４０及びラベルオブジェクト映像生成部２５０を具備して構成されている。
【００２３】
図２を参照すると、本発明に含まれるビデオシーケンス入力部２００には一連のＲＧＢ表色系（またはＹＵＶ表色系）のような三原色のフレームデータが入力され、この一連のフレームデータをショット及びキーフレーム設定部２２０に出力するようになっている。ここで、ビデオシーケンスはフレームの集合であり、このフレームは、各々、クエリーオブジェクトを含む映像、またはクエリーオブジェクトを含まない映像である。
【００２４】
図２示すショット及びキーフレーム設定部２２０は、入力されたビデオシーケンスを場面の類似したフレームの集合である一つ以上のショットに分割し、このように分割されたショット情報、すなわち、ショットを構成するフレーム情報をオブジェクト領域追跡部２４０に出力するようになっている。また、ショット及びキーフレーム設定部２２０は、分割された各ショットでショットを代表するキーフレーム（キーフレームまたはＲフレーム）を選択する。ここで、キーフレームは一つ以上のフレームから構成されてもよい。
【００２５】
初期オブジェクト領域抽出部２３０では、クエリー映像入力部２１０からそれぞれのクエリーオブジェクトを含むクエリー映像が順次に入力され、ショット及びキーフレーム設定部２２０からは各ショットに対するキーフレームが入力される。初期オブジェクト領域抽出部２３０は、クエリー映像入力部２１０から入力されたクエリー映像のクエリーオブジェクトに対応するオブジェクトがキーフレーム内に存在するか否かを判断し、対応するオブジェクトが占有している領域（すなわち、初期オブジェクト領域）を抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する。全てのクエリーオブジェクトに対して、全てのキーフレームのショットマスク映像を作製した後、これらのショットマスク映像をオブジェクト領域追跡部２４０に出力するようになっている。
【００２６】
オブジェクト領域追跡部２４０は、ショットに分割された元のビデオシーケンス、それぞれのクエリーオブジェクトを含むクエリー映像及び各ショットでのショットマスク映像が入力される。オブジェクト領域追跡部２４０は初期オブジェクト領域を用いて各ショットを構成する全てのフレームに対してオブジェクト領域を追跡する。すなわち、クエリーオブジェクトを基準として形成されたショットマスク映像を用いて各ショット内の全てのフレームでオブジェクト領域を追跡してオブジェクト領域が存在するか否か、及びオブジェクト領域の位置を確認し、その占有領域を二値化映像またはグレースケール映像で生成し記憶する（以下、本発明ではフレームマスク映像と表記する）。このようなオブジェクト領域の追跡過程はショットを構成する全てのフレームを対象として実行されると共に、全てのクエリーオブジェクトに対してフレームマスク映像が作製されるまで繰り返される。
【００２７】
最後に、ラベルオブジェクト映像生成部２５０は、各フレームのクエリーオブジェクトに基づいて追跡されたフレームマスク映像を統合して、各フレームに存在する一つ以上のクエリーオブジェクトにラベルを貼り付ける。このとき、特筆すべきことは、各フレームに対する、クエリーオブジェクトに基づくフレームマスク映像が、全てのオブジェクトにラベルが貼り付けられた、一つのラベルオブジェクト映像フレームとして統合されることである。任意の一つのフレームに、例えば、３つのクエリーオブジェクトが存在する場合には、これら３つのクエリーオブジェクトに対応するオブジェクト領域はそれぞれ固有の画素値（例えば、１〜２５５の階調を有する）で表示され、前記クエリーオブジェクトが存在しない他の画素領域は０（ＯＦＦ）で表示される。
【００２８】
なお、ラベルオブジェクト映像生成部２５０によって生成されたラベルオブジェクト映像フレームの情報、及びラベルが貼り付けられたオブジェクト映像に対応する実際のオブジェクトの情報は、図１に示されるオブジェクトＤＢ１４０に記憶される。
【００２９】
図３及び図４は、本発明に係るラベルオブジェクト映像の生成方法を説明するためのフローチャートである。図３及び図４を参照しながら、図２に示す本発明に係るラベルオブジェクト映像生成装置の動作について詳細に説明する。
【００３０】
まず、図３に示すように、クエリーオブジェクトが抽出されるビデオシーケンスが、類似場面を有するフレームの集合である一つ以上のショットに分割され、それぞれのショットから一つ以上のキーフレームが選択される（第３００段階〜３０４段階）。一般に、一つのビデオシーケンスはカメラアングル、登場人物の変化、または被写体、場所、照明によって複数のショットに分割されることが可能である。そして、前記ショット間の変化は、各ショットを構成するフレーム間では、例えば、カラー値の変化よりも大きく、二つのフレーム（例えば、各ショットのキーフレーム）間のカラー差の程度から、前記ショット間の変化を検出することができる。
【００３１】
また、前記の各ショットを構成するフレームの一つがキーフレームとして選択される。その際、前記の各ショットのうち、最初または中間のフレームをキーフレームとして選択するのが望ましい。本発明では、前記の各ショットのキーフレームのみを使用して、各ショットの中にクエリーオブジェクトが存在するか否かを決定するものである。例えば、もしｐ個のショットが存在すれば、キーフレームの数もｐ個となる。
【００３２】
具体的には、図３に示すように、ビデオシーケンス及びクエリー映像（１〜ｎ）を入力して（第３００段階）、このビデオシーケンスを一つ以上のショット（１〜ｐ）に分割し、それぞれのショットでキーフレームが選択される（第３０２段階）。つぎに、ｐ個のキーフレームがバッファリングされる（第３０４段階）。
【００３３】
図５は、ｐ個のショットに分割されたビデオシーケンスとそれらのキーフレームを例示したものである。図５においては、第１のフレームがそれぞれのショットからキーフレームとして選択されており、すなわち、図５は各ショットでキーフレームＫＦ−１、ＫＦ−２、ＫＦ−３、…、ＫＦ−ｐが選択されること示している。
【００３４】
図６は、テレビドラマから抽出されたビデオシーケンスを８個のショットに分割し、これらのショットでそれぞれのキーフレームが選択された結果を示す表である。また、図６には、全部で６１９個のフレームから構成されたビデオシーケンスを９個のショットに分割したときに、これらの各ショットで選択されたキーフレームのフレーム番号が示されている。
【００３５】
つぎに、図４に示すように、クエリーオブジェクトに基づいてキーフレームから初期オブジェクト領域を抽出する（第３０６段階〜３１２段階）。このとき、好ましくは、クエリーオブジェクトに類似したオブジェクトが、カラーヒストグラム、テクスチャーのような特性、またはオブジェクトを構成する多色領域の構造に基づいた各クエリーオブジェクトに存在するか否かが決定される。
【００３６】
具体的には、図３に示すように、ｎ個のクエリーオブジェクトを一つずつ入力する。すなわち、まず、第１のクエリーオブジェクトを挿入（ｌｏａｄ）し（第３０６段階）、ｐ個のキーフレームの各々について、前記第１のクエリーオブジェクトと類似したオブジェクトが存在するか否かをチェックする。そして、このようなオブジェクトが存在する場合には、このオブジェクトを、対応するキーフレームの初期オブジェクト領域として抽出する（第３０８段階）。そして、前記キーフレームの初期オブジェクト領域に属する画素をオン（１）とし、前記キーフレームの残りの画素がオフ（０）として、前記キーフレームに対するショットマスク映像を生成させる（第３１０段階）。
【００３７】
さらに、クエリーオブジェクトの数がｎを越えたか否かを判断し（第３１２段階）、このクエリーオブジェクトの数がｎを越えていないと判断されれば、クエリーオブジェクトをさらに挿入して（第３１４段階）、ｎ個のクエリーオブジェクトに対して前述の動作を繰り返す。このようにして、ｎ個のクエリーオブジェクトに対してｐ個のキーフレームで形成されたｎ×ｐ個のショットマスク映像が生成されることとなる（このとき、オブジェクト領域のないショットマスク映像では、その画素が全てオフ（０）となっている）。
【００３８】
つぎに、図４に示すように、初期オブジェクト領域を用いてショットを構成する全てのフレームに対してオブジェクト領域を追跡する（第３１６段階〜３３０段階）。そして、これまでの過程で生成された、クエリー映像に基づくショットの各キーフレームから抽出された初期オブジェクト領域が、各ショットの残りのフレームに拡大される。
【００３９】
特に、これまでの過程で、前記ショットの各キーフレームから抽出されたショットマスク映像を初期マスクとして用い、前記クエリーオブジェクトに対応するオブジェクト領域の位置と占有領域（範囲）とが、クエリー映像の色に関する情報に基づいて、各ショットを構成する全てのフレームで追跡される。このとき、運動モデルと色の情報の両方を使用して、前記のように追跡されたオブジェクト領域間の類似性を判別し、さらに、このオブジェクト領域が占有する位置及び形状の変化を考慮すれば、より正確なオブジェクト領域が得られるようになる。
【００４０】
具体的には、図４に示すように、まず第１クエリーオブジェクトを挿入した状態（第３１６段階）で、ショットマスク映像を挿入する（第３１８段階）。その際、このようにして挿入されたショットマスク映像の画素が全てオフ（０）である、すなわち、前記挿入されたショットマスク映像が、対応するオブジェクト領域のない映像であると判断されれば（第３２０段階）、次のショットマスク映像を挿入する。そして、ショット番号がｐ番目を越えたか否かを判断し（第３２６段階）、このショット番号がｐ番目を越えていなければ次のショットマスク映像を挿入する（第３２８段階）。
【００４１】
一方、前記３１８段階の後で、ショットマスク映像にオブジェクト領域が存在すると判断されれば、対応するオブジェクトを、ショットを構成する全てのフレームを対象として追跡して（第３２２段階）、フレームマスク映像を生成する（第３２４段階）。そして、全てのショット、並びに全てのクエリーオブジェクトを対象として、前述の動作を繰り返す（第３３０段階、３３２段階）。
【００４２】
最後に、クエリーオブジェクトに基づくフレーム映像マスクを各フレームで統合して、各々のフレームに存在するクエリーオブジェクト領域にラベルを貼り付ける（第３３４段階）。このとき、入力ビデオシーケンスがｍ個のフレームで構成され、その各フレームに対してｎ個のクエリーオブジェクトが含まれている場合には、ｎ×ｍ個のフレームマスク映像が生成される。
【００４３】
しかしながら、実際には、全てのフレームがｎ個のクエリーオブジェクトを含むものではないため、生成されるフレームマスク映像の数はｎ×ｍ個より少ないものとなる。このとき、クエリーオブジェクトは、例えば０〜２５５の階調で、固有の色相値を有し、統合されたフレームのクエリーオブジェクト領域は対応するクエリーオブジェクトの色相値に対応する画素値を有している。
【００４４】
図７は、フレーム映像と、このフレーム映像に存在する一例のラベルオブジェクト映像とを示すものである。図７において、左側に示す任意の一フレーム映像は、複数のクエリーオブジェクト、例えば、卓上ダイアリー５５２、ネックレス５５３、カップ５５４、衣服５５５及びそれ以外の領域から構成される背景５５１よりなる。
【００４５】
図８は、ラベル番号のラベルが貼り付けられたオブジェクトの一例を示す。図８を参照すると、各クエリーオブジェクトは固有のラベル番号を有している。したがって、クエリーオブジェクトに基づいて生成されたフレームマスク映像が各フレームで統合される際、図８の右側に示すように固有のラベル番号が貼り付けられる。
【００４６】
図９は、ラベルオブジェクト映像におけるオブジェクトで、重心と最小四角形を用いてラベルの貼り付けを行なったものの一例である。このように、本発明にあっては、オブジェクト領域を表示する方法として、前述したような固有のラベル番号の代わりに、図９で“Ｘ”で表示されるようなオブジェクト領域の重心と、このオブジェクト領域に外接または内接する最小四角形とを用いることができる。ここで、図９におけるＰ１とＰ２は、各々、四角形の対角線上で対向する対角点を示している。図１０は、図９における重心と最小四角形との座標値を用いてオブジェクトにラベルを貼り付けた一実施形態を示したものである。
【００４７】
本発明によれば、動画像を、類似場面の特性を有するフレームから構成されるショットに分割し、それぞれのショットを表現する代表映像にクエリーオブジェクトが存在するか否かを判断することにより、対応するショットの初期オブジェクト領域が抽出される。そして、この各キーフレームから抽出された初期オブジェクト領域に基づいて、ショットを構成する全てのフレームでオブジェクト領域が追跡され、さらにオブジェクト領域にラベルが貼り付けられて、ラベルオブジェクト映像が生成される。
【００４８】
このようにして、本発明は、従来のオブジェクト抽出、及び従来のラベルオブジェクト映像生成方法に比べて、クエリーオブジェクト抽出に要する時間を短縮することができる。また、本発明は、クエリーオブジェクトの動きとは無関係に適用され、また、付加的なマニュアル操作を必要とせず、自動化されることによって、オブジェクト基盤対話型サービスに好適に適用することができる。
【００４９】
図１１は、本発明を用いたオブジェクト基盤対話型サービスの一実施形態を示すものである。各フレーム内のクエリーオブジェクトにラベルを貼り付けてラベルオブジェクト映像を生成し、このようにして生成されたラベルオブジェクト映像を、図１を参照しながら説明したようにして、オブジェクトＤＢ１４０に記憶させる（図４の第３３６段階）。
【００５０】
このとき、使用者が、オブジェクト基盤対話型プレーヤーを用いて任意の一フレームで、例えば、図１１に示す左側のフレームで、女性が着ている上着のうち、任意の部分をマウスでクリックすると、前記使用者のブラウザがオブジェクトＤＢに記憶されたラベルオブジェクト映像で対応するオブジェクトについての情報に連結される。図１１の右側は、前記オブジェクトに関する情報を示すものである。
【００５１】
また、本発明に係るビデオシーケンスのラベルオブジェクト映像生成方法は、コンピュータが読取り可能な記憶媒体に、コンピュータが読取り可能なプログラムコードを記憶させて具現化することができる。このコンピュータが読取り可能な記憶媒体は、従来公知のコンピュータシステムによって読取り可能なデータが記憶され得る全ての種類の記憶装置を含む。
【００５２】
前記コンピュータが読取り可能な記憶媒体の例としては、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；読取り専用記憶装置）、ＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセス記憶装置）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ−ｄｉｓｋ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク読出し専用メモリ）、磁気テープ、ハードディスク、フレキシブルディスク、フラッシュメモリ、光データ記憶装置などがあり、またキャリヤウェーブ（例えばインターネットを介して行なう情報伝達装置）の形態で具現化されるものを含む。そして、本発明に含まれるコンピュータが読取り可能な記憶媒体は、ネットワークに連結されたコンピュータシステムで分配され得る、コンピュータが読取り可能なプログラムコードとして記憶され、実行させることができる。
【００５３】
【発明の効果】
以上説明した通りに構成される本発明によれば、各クエリーオブジェクトで生成されたフレームマスク映像をフレーム単位で統合させることによって、従来のオブジェクト抽出方法に比べて、一フレームから複数のクエリーオブジェクトを抽出するために要する時間をより一層短縮させることができる、ビデオシーケンスのラベルオブジェクト映像生成方法及びその装置、並びにそのプログラムコードを備えたコンピュータが読取り可能な記憶媒体が提供される。
【００５４】
また、このような本発明に係るビデオシーケンスでのラベルオブジェクト映像生成装置及びその方法は、動画像データをオブジェクト単位で操作、編集、対話型機能、符号化する場合に容易に適用され、今後、対話型インターネット放送、広告広報物、コンテンツ製作、対話型の著作物ツールなどの情報通信分野で幅広く使用することができる。
【図面の簡単な説明】
【図１】本発明が適用された相互対話型オブジェクトサービスシステムの構成を模式的に示すブロック図である。
【図２】本発明に係るラベルオブジェクト映像生成装置の構成を模式的に示すブロック図である。
【図３】本発明に係るラベルオブジェクト映像生成方法を説明するための一例のフローチャートである。
【図４】本発明に係るラベルオブジェクト映像生成方法を説明するための他の例のフローチャートである。
【図５】ビデオシーケンスでショット及びキーフレームを設定する一例を示す図である。
【図６】９個のショットに分割されたビデオシーケンスとそのキーフレームの設定例とを示す図である。
【図７】フレーム映像と、このフレーム映像に存在するクエリーオブジェクトを示す図である。
【図８】ラベル番号でラベルが貼り付けられたオブジェクトの一例の図である
【図９】ラベルオブジェクト映像におけるオブジェクトの重心と最小四角形とを示す図である。
【図１０】図９において、重心と最小四角形の座標値とを用いてオブジェクトにラベルを貼り付けた一実施形態の図である。
【図１１】本発明を用いたオブジェクト基盤対話型サービスの一実施形態の図である。
【符号の説明】
２００ ビデオシーケンス入力部
２１０ クエリー映像入力部
２２０ ショット及びキーフレーム設定部
２３０ 初期オブジェクト領域抽出部
２４０ オブジェクト領域追跡部
２５０ ラベルオブジェクト映像生成部
【発明の属する技術分野】
本発明は、ビデオシーケンスからオブジェクトを抽出してラベルが貼り付けられたオブジェクトの映像（ラベルオブジェクト映像）を生成するための装置、及びその方法、並びにそのコンピュータプログラムを備えたコンピュータが読取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
従来、動画像のラベルオブジェクト映像を生成するために、クエリーオブジェクト（ｑｕｅｒｙ ｏｂｊｅｃｔ）がその動画像の各フレームからマニュアルで抽出されていた。このような付加的なマニュアル操作を実行せずに、映像から自動的にオブジェクトを抽出する方法が、近年発表されている。
前記映像からのオブジェクトの抽出方法は、オブジェクトの動きに基づいた抽出方法と、オブジェクト領域の特性値に基づいた抽出方法とに大別される。
【０００３】
前記オブジェクトの動きに基づいた抽出方法には、オブジェクトの動きに基づいてフレームの差を求める方法、オブジェクトの動きに基づいて背景が除去される方法、及びオブジェクトの動きに基づいてその動きが解析される方法がある。前記オブジェクトの動きに基づいてフレームの差を求める方法としては、例えば、米国特許５５００９０４号明細書、及び米国特許５１０９４３５号明細書に開示されているような、映像における連続したフレーム間の輝度差を計算してオブジェクトの動きを抽出する方法が挙げられる。
【０００４】
また、前記オブジェクトの動きに基づいて背景領域が除去される方法としては、例えば、米国特許５７４８７７５号明細書に開示されているような、映像の特性パラメータの時間変化を利用して映像の背景が復元され、元の映像と前記復元された映像の背景との差を用いてオブジェクト領域を抽出する方法が挙げられる。そして、前記オブジェクトの動きに基づいてその動きが解析される方法としては、例えば、米国特許５８６２５０８号明細書に開示されているような、オブジェクトの運動方向と速度とを計算して運動領域を抽出する方法が挙げられる。
【０００５】
しかしながら、このような従来のオブジェクトの抽出方法は、オブジェクトの動きの速度が適切である場合にしか適用することができなかった。このため、このような従来のオブジェクト領域の抽出方法を、静止映像や、オブジェクトの動きが遅い映像、あるいはオブジェクトの動きが速い映像に適用することは困難であった。
【０００６】
さらに、前記のオブジェクト領域の特性値に基づくオブジェクトの抽出方法としては、例えば、米国特許５９４３４４２号明細書に開示されているような、テンプレートを整合させる方法や、米国特許５１３８６７１号明細書に開示されているような、多重スレショルド値（閾値）を分割させる方法、またはオブジェクト領域の特性値を整合させる方法が挙げられる。これらの方法を用いて動画像データからクエリーオブジェクトを抽出する場合、各クエリーオブジェクトに基づく全てのフレームに対してこれらの方法を適用することが必要となる。このため、このような従来のオブジェクト領域の特性値に基づくオブジェクトの抽出方法において、前記クエリーオブジェクトを抽出しようとすると、長時間を要するという問題があった。
【０００７】
【発明が解決しようとする課題】
前記問題点に鑑み、本発明の目的は、付加的なマニュアル操作を必要とせず、かつオブジェクトの動きの程度によらず、クエリーオブジェクト領域がキーフレームに基づいて各フレームで抽出され、しかも対応するクエリーオブジェクトの情報に基づいてラベルの貼付けが行なわれたオブジェクト映像が各フレームで生成され得る、動画像でラベルオブジェクト映像を生成するための装置、及びその方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決するために、本発明に係る請求項１は、ビデオシーケンス入力部と、クエリー映像入力部と、ショット及びキーフレーム設定部と、初期オブジェクト領域抽出部と、オブジェクト領域追跡部と、ラベルオブジェクト映像生成部とを備えるラベルオブジェクト映像生成装置において用いられるビデオシーケンスのラベルオブジェクト映像生成方法であって、前記ビデオシーケンス入力部が、フレームの集合であるビデオシーケンスを入力する段階と、前記ショット及びキーフレーム設定部が、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択する段階と、前記初期オブジェクト領域抽出部は、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する段階と、前記オブジェクト領域追跡部が、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成する段階と、前記ラベルオブジェクト映像生成部が、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付ける段階とを含むことを特徴とするビデオシーケンスのラベルオブジェクト映像生成方法を提供する。
【０００９】
本発明に係る請求項２は、前記請求項１において、前記初期オブジェクト領域抽出部は、前記ショットマスク映像を生成する段階で、初期オブジェクト領域の画素を第１の値として設定し、前記キーフレームの残りの画素を第２の値に設定することにより、各ショットの全てのキーフレームで、クエリーオブジェクトに基づくショットマスク映像を生成する段階を含むことが望ましい。
【００１０】
また、本発明に係る請求項３は、前記請求項２において、前記オブジェクト領域追跡部がオブジェクト領域を追跡する場合、対応するクエリー映像に基づいたショットマスク映像、及び対応するクエリーオブジェクトの映像特性値に基づいて、各ショットを構成する全てのフレームのオブジェクト領域を追跡する段階と、各フレームで追跡されたオブジェクト領域の画素を第１の値に設定し、前記フレームの残りの画素を第２の値に設定することにより、各ショットを構成する全てのフレームで、クエリーオブジェクトに基づくフレームマスク映像を生成する段階とを含むことが望ましい。
【００１１】
さらに、本発明に係る請求項４は、前記請求項１において、前記ラベルオブジェクト映像生成部が、対応するクエリー映像に対して設定された固有番号、または各フレームで対応するクエリー映像が位置する座標情報で、ラベルを貼り付けられることが望ましい。
【００１２】
前記課題を解決するために、本発明に係る請求項５は、フレームの集合であるビデオシーケンスを入力するビデオシーケンス入力部と、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択するショット及びキーフレーム設定部と、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する初期オブジェクト領域抽出部と、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成するオブジェクト領域追跡部と、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付けるラベルオブジェクト映像生成部とを含むことを特徴とするビデオシーケンスのラベルオブジェクト映像生成装置を提供する。
【００１３】
本発明に係る請求項６は、前記請求項５において、前記初期オブジェクト領域抽出部は、前記ショットマスク映像を生成する場合、初期オブジェクト領域の画素を第１の値として設定し、前記キーフレームの残りの画素を第２の値に設定することにより、各ショットの全てのキーフレームで、クエリーオブジェクトに基づくショットマスク映像を生成することが望ましい。
【００１４】
また、本発明に係る請求項７は、前記請求項６において、前記オブジェクト領域追跡部は、オブジェクト領域を追跡する場合、対応するクエリー映像に基づいたショットマスク映像、及び対応するクエリーオブジェクトの映像特性値に基づいて、各ショットを構成する全てのフレームのオブジェクト領域を追跡し、各フレームで追跡されたオブジェクト領域の画素を第１の値に設定し、前記フレームの残りの画素を第２の値に設定することにより、各ショットを構成する全てのフレームで、クエリーオブジェクトに基づくフレームマスク映像を生成することが望ましい。
【００１５】
また、本発明に係る請求項８は、前記請求項５において、前記ラベルオブジェクト映像生成部は、対応するクエリー映像に対して設定された固有番号、または各フレームで対応するクエリー映像が位置する座標情報で、ラベルを貼り付けることが望ましい。
【００１６】
そして、前記課題を解決するために、本発明に係る請求項９は、フレームの集合であるビデオシーケンスを入力するビデオシーケンス入力部と、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択するショット及びキーフレーム設定部と、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する初期オブジェクト領域抽出部と、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成するオブジェクト領域追跡部と、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付けるラベルオブジェクト映像生成部としてコンピュータを機能させるためのコンピュータプログラムを備えたコンピュータが読取り可能な記憶媒体を提供する。
【００１７】
【発明の実施の形態】
以下に、添付した図面を参照しながら本発明の実施の形態を詳細に説明する。
図１は、本発明に係るビデオシーケンスのラベルオブジェクト映像生成装置を適用した一実施形態のオブジェクト基盤相互対話型サービスシステムの構成を模式的に示したブロック図である。図１に示すように、本発明に係るビデオシーケンスのラベルオブジェクト映像生成装置は、使用者端末器１００、サーバ１２０、ビデオシーケンスデータベース（以下、データベースを「ＤＢ」と称す）１３０及び関心オブジェクトＤＢ１４０を具備して構成されている。
【００１８】
また、図１に示す本発明に係るオブジェクト基盤相互対話型サービスシステムにあっては、一つ以上のクエリーオブジェクトに対応する、動画像データのオブジェクト領域をラベルオブジェクト映像として生成するようになっている。
【００１９】
図１を参照すると、本発明に含まれる使用者端末器１００は、オブジェクト基盤相互対話型の映像プレーヤー、またはＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）プレーヤーを具備し、ネットワーク１１０を介して遠隔でサーバ１２０に接続されている。そして、使用者端末器１００の一つがサーバ１２０に接続されると、オブジェクト基盤相互対話型の映像プレーヤーが実行されて使用者は使用者端末器１００の画面を通じてサーバ１２０で提供される動画像を視聴することができる。また、本発明にあっては、使用者はオブジェクト基盤対話型の映像プレーヤーを介して動画像を視聴する一方で、ビデオシーケンスで任意の一フレームのうちで任意の一オブジェクト（関心オブジェクト）を選択できるように構成されている。
【００２０】
図１に示す本発明に含まれるサーバ１２０は、ビデオシーケンスＤＢ１３０に記憶されたビデオシーケンスを、使用者端末器１００の画面上に提供すると共に、使用者により選択されたオブジェクトについての詳細情報を、関心オブジェクトＤＢ１４０に提供するようになっている。このとき、使用者は選択されたオブジェクトが有する情報を、ＲＧＢ表色系（またはＹＵＶ表色系）のフレームと共に提供される追加フレーム（ＭＰＥＧ４の場合にはαフレーム）を用いて見ることができる。
【００２１】
図１で、サーバ１２０は各種ビデオシーケンスを記憶したビデオシーケンスＤＢ１３０を管理し、また対応する映像の関心オブジェクト（例えば、商品、人物等）についての情報を記憶したＤＢ１４０を管理する。ＤＢ１３０、１４０はサーバ１２０内に含まれる。図１に示す対話型サービスシステムは、ウェブを基盤とした環境で具現化される。その際、サーバ１２０はウェブサーバとなり、使用者端末器１００はウェブブラウザを具備し、インターネット１１０を通じてウェブサーバに接続される。
【００２２】
以下、本発明に係るラベルオブジェクト映像生成装置及び方法を説明する。
図２は、本発明に係るラベルオブジェクト映像生成装置を模式的に示すブロック図であり、ビデオシーケンス入力部２００、クエリー映像入力部２１０、ショット及びキーフレーム設定部２２０、初期オブジェクト領域抽出部２３０、オブジェクト領域追跡部２４０及びラベルオブジェクト映像生成部２５０を具備して構成されている。
【００２３】
図２を参照すると、本発明に含まれるビデオシーケンス入力部２００には一連のＲＧＢ表色系（またはＹＵＶ表色系）のような三原色のフレームデータが入力され、この一連のフレームデータをショット及びキーフレーム設定部２２０に出力するようになっている。ここで、ビデオシーケンスはフレームの集合であり、このフレームは、各々、クエリーオブジェクトを含む映像、またはクエリーオブジェクトを含まない映像である。
【００２４】
図２示すショット及びキーフレーム設定部２２０は、入力されたビデオシーケンスを場面の類似したフレームの集合である一つ以上のショットに分割し、このように分割されたショット情報、すなわち、ショットを構成するフレーム情報をオブジェクト領域追跡部２４０に出力するようになっている。また、ショット及びキーフレーム設定部２２０は、分割された各ショットでショットを代表するキーフレーム（キーフレームまたはＲフレーム）を選択する。ここで、キーフレームは一つ以上のフレームから構成されてもよい。
【００２５】
初期オブジェクト領域抽出部２３０では、クエリー映像入力部２１０からそれぞれのクエリーオブジェクトを含むクエリー映像が順次に入力され、ショット及びキーフレーム設定部２２０からは各ショットに対するキーフレームが入力される。初期オブジェクト領域抽出部２３０は、クエリー映像入力部２１０から入力されたクエリー映像のクエリーオブジェクトに対応するオブジェクトがキーフレーム内に存在するか否かを判断し、対応するオブジェクトが占有している領域（すなわち、初期オブジェクト領域）を抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する。全てのクエリーオブジェクトに対して、全てのキーフレームのショットマスク映像を作製した後、これらのショットマスク映像をオブジェクト領域追跡部２４０に出力するようになっている。
【００２６】
オブジェクト領域追跡部２４０は、ショットに分割された元のビデオシーケンス、それぞれのクエリーオブジェクトを含むクエリー映像及び各ショットでのショットマスク映像が入力される。オブジェクト領域追跡部２４０は初期オブジェクト領域を用いて各ショットを構成する全てのフレームに対してオブジェクト領域を追跡する。すなわち、クエリーオブジェクトを基準として形成されたショットマスク映像を用いて各ショット内の全てのフレームでオブジェクト領域を追跡してオブジェクト領域が存在するか否か、及びオブジェクト領域の位置を確認し、その占有領域を二値化映像またはグレースケール映像で生成し記憶する（以下、本発明ではフレームマスク映像と表記する）。このようなオブジェクト領域の追跡過程はショットを構成する全てのフレームを対象として実行されると共に、全てのクエリーオブジェクトに対してフレームマスク映像が作製されるまで繰り返される。
【００２７】
最後に、ラベルオブジェクト映像生成部２５０は、各フレームのクエリーオブジェクトに基づいて追跡されたフレームマスク映像を統合して、各フレームに存在する一つ以上のクエリーオブジェクトにラベルを貼り付ける。このとき、特筆すべきことは、各フレームに対する、クエリーオブジェクトに基づくフレームマスク映像が、全てのオブジェクトにラベルが貼り付けられた、一つのラベルオブジェクト映像フレームとして統合されることである。任意の一つのフレームに、例えば、３つのクエリーオブジェクトが存在する場合には、これら３つのクエリーオブジェクトに対応するオブジェクト領域はそれぞれ固有の画素値（例えば、１〜２５５の階調を有する）で表示され、前記クエリーオブジェクトが存在しない他の画素領域は０（ＯＦＦ）で表示される。
【００２８】
なお、ラベルオブジェクト映像生成部２５０によって生成されたラベルオブジェクト映像フレームの情報、及びラベルが貼り付けられたオブジェクト映像に対応する実際のオブジェクトの情報は、図１に示されるオブジェクトＤＢ１４０に記憶される。
【００２９】
図３及び図４は、本発明に係るラベルオブジェクト映像の生成方法を説明するためのフローチャートである。図３及び図４を参照しながら、図２に示す本発明に係るラベルオブジェクト映像生成装置の動作について詳細に説明する。
【００３０】
まず、図３に示すように、クエリーオブジェクトが抽出されるビデオシーケンスが、類似場面を有するフレームの集合である一つ以上のショットに分割され、それぞれのショットから一つ以上のキーフレームが選択される（第３００段階〜３０４段階）。一般に、一つのビデオシーケンスはカメラアングル、登場人物の変化、または被写体、場所、照明によって複数のショットに分割されることが可能である。そして、前記ショット間の変化は、各ショットを構成するフレーム間では、例えば、カラー値の変化よりも大きく、二つのフレーム（例えば、各ショットのキーフレーム）間のカラー差の程度から、前記ショット間の変化を検出することができる。
【００３１】
また、前記の各ショットを構成するフレームの一つがキーフレームとして選択される。その際、前記の各ショットのうち、最初または中間のフレームをキーフレームとして選択するのが望ましい。本発明では、前記の各ショットのキーフレームのみを使用して、各ショットの中にクエリーオブジェクトが存在するか否かを決定するものである。例えば、もしｐ個のショットが存在すれば、キーフレームの数もｐ個となる。
【００３２】
具体的には、図３に示すように、ビデオシーケンス及びクエリー映像（１〜ｎ）を入力して（第３００段階）、このビデオシーケンスを一つ以上のショット（１〜ｐ）に分割し、それぞれのショットでキーフレームが選択される（第３０２段階）。つぎに、ｐ個のキーフレームがバッファリングされる（第３０４段階）。
【００３３】
図５は、ｐ個のショットに分割されたビデオシーケンスとそれらのキーフレームを例示したものである。図５においては、第１のフレームがそれぞれのショットからキーフレームとして選択されており、すなわち、図５は各ショットでキーフレームＫＦ−１、ＫＦ−２、ＫＦ−３、…、ＫＦ−ｐが選択されること示している。
【００３４】
図６は、テレビドラマから抽出されたビデオシーケンスを８個のショットに分割し、これらのショットでそれぞれのキーフレームが選択された結果を示す表である。また、図６には、全部で６１９個のフレームから構成されたビデオシーケンスを９個のショットに分割したときに、これらの各ショットで選択されたキーフレームのフレーム番号が示されている。
【００３５】
つぎに、図４に示すように、クエリーオブジェクトに基づいてキーフレームから初期オブジェクト領域を抽出する（第３０６段階〜３１２段階）。このとき、好ましくは、クエリーオブジェクトに類似したオブジェクトが、カラーヒストグラム、テクスチャーのような特性、またはオブジェクトを構成する多色領域の構造に基づいた各クエリーオブジェクトに存在するか否かが決定される。
【００３６】
具体的には、図３に示すように、ｎ個のクエリーオブジェクトを一つずつ入力する。すなわち、まず、第１のクエリーオブジェクトを挿入（ｌｏａｄ）し（第３０６段階）、ｐ個のキーフレームの各々について、前記第１のクエリーオブジェクトと類似したオブジェクトが存在するか否かをチェックする。そして、このようなオブジェクトが存在する場合には、このオブジェクトを、対応するキーフレームの初期オブジェクト領域として抽出する（第３０８段階）。そして、前記キーフレームの初期オブジェクト領域に属する画素をオン（１）とし、前記キーフレームの残りの画素がオフ（０）として、前記キーフレームに対するショットマスク映像を生成させる（第３１０段階）。
【００３７】
さらに、クエリーオブジェクトの数がｎを越えたか否かを判断し（第３１２段階）、このクエリーオブジェクトの数がｎを越えていないと判断されれば、クエリーオブジェクトをさらに挿入して（第３１４段階）、ｎ個のクエリーオブジェクトに対して前述の動作を繰り返す。このようにして、ｎ個のクエリーオブジェクトに対してｐ個のキーフレームで形成されたｎ×ｐ個のショットマスク映像が生成されることとなる（このとき、オブジェクト領域のないショットマスク映像では、その画素が全てオフ（０）となっている）。
【００３８】
つぎに、図４に示すように、初期オブジェクト領域を用いてショットを構成する全てのフレームに対してオブジェクト領域を追跡する（第３１６段階〜３３０段階）。そして、これまでの過程で生成された、クエリー映像に基づくショットの各キーフレームから抽出された初期オブジェクト領域が、各ショットの残りのフレームに拡大される。
【００３９】
特に、これまでの過程で、前記ショットの各キーフレームから抽出されたショットマスク映像を初期マスクとして用い、前記クエリーオブジェクトに対応するオブジェクト領域の位置と占有領域（範囲）とが、クエリー映像の色に関する情報に基づいて、各ショットを構成する全てのフレームで追跡される。このとき、運動モデルと色の情報の両方を使用して、前記のように追跡されたオブジェクト領域間の類似性を判別し、さらに、このオブジェクト領域が占有する位置及び形状の変化を考慮すれば、より正確なオブジェクト領域が得られるようになる。
【００４０】
具体的には、図４に示すように、まず第１クエリーオブジェクトを挿入した状態（第３１６段階）で、ショットマスク映像を挿入する（第３１８段階）。その際、このようにして挿入されたショットマスク映像の画素が全てオフ（０）である、すなわち、前記挿入されたショットマスク映像が、対応するオブジェクト領域のない映像であると判断されれば（第３２０段階）、次のショットマスク映像を挿入する。そして、ショット番号がｐ番目を越えたか否かを判断し（第３２６段階）、このショット番号がｐ番目を越えていなければ次のショットマスク映像を挿入する（第３２８段階）。
【００４１】
一方、前記３１８段階の後で、ショットマスク映像にオブジェクト領域が存在すると判断されれば、対応するオブジェクトを、ショットを構成する全てのフレームを対象として追跡して（第３２２段階）、フレームマスク映像を生成する（第３２４段階）。そして、全てのショット、並びに全てのクエリーオブジェクトを対象として、前述の動作を繰り返す（第３３０段階、３３２段階）。
【００４２】
最後に、クエリーオブジェクトに基づくフレーム映像マスクを各フレームで統合して、各々のフレームに存在するクエリーオブジェクト領域にラベルを貼り付ける（第３３４段階）。このとき、入力ビデオシーケンスがｍ個のフレームで構成され、その各フレームに対してｎ個のクエリーオブジェクトが含まれている場合には、ｎ×ｍ個のフレームマスク映像が生成される。
【００４３】
しかしながら、実際には、全てのフレームがｎ個のクエリーオブジェクトを含むものではないため、生成されるフレームマスク映像の数はｎ×ｍ個より少ないものとなる。このとき、クエリーオブジェクトは、例えば０〜２５５の階調で、固有の色相値を有し、統合されたフレームのクエリーオブジェクト領域は対応するクエリーオブジェクトの色相値に対応する画素値を有している。
【００４４】
図７は、フレーム映像と、このフレーム映像に存在する一例のラベルオブジェクト映像とを示すものである。図７において、左側に示す任意の一フレーム映像は、複数のクエリーオブジェクト、例えば、卓上ダイアリー５５２、ネックレス５５３、カップ５５４、衣服５５５及びそれ以外の領域から構成される背景５５１よりなる。
【００４５】
図８は、ラベル番号のラベルが貼り付けられたオブジェクトの一例を示す。図８を参照すると、各クエリーオブジェクトは固有のラベル番号を有している。したがって、クエリーオブジェクトに基づいて生成されたフレームマスク映像が各フレームで統合される際、図８の右側に示すように固有のラベル番号が貼り付けられる。
【００４６】
図９は、ラベルオブジェクト映像におけるオブジェクトで、重心と最小四角形を用いてラベルの貼り付けを行なったものの一例である。このように、本発明にあっては、オブジェクト領域を表示する方法として、前述したような固有のラベル番号の代わりに、図９で“Ｘ”で表示されるようなオブジェクト領域の重心と、このオブジェクト領域に外接または内接する最小四角形とを用いることができる。ここで、図９におけるＰ１とＰ２は、各々、四角形の対角線上で対向する対角点を示している。図１０は、図９における重心と最小四角形との座標値を用いてオブジェクトにラベルを貼り付けた一実施形態を示したものである。
【００４７】
本発明によれば、動画像を、類似場面の特性を有するフレームから構成されるショットに分割し、それぞれのショットを表現する代表映像にクエリーオブジェクトが存在するか否かを判断することにより、対応するショットの初期オブジェクト領域が抽出される。そして、この各キーフレームから抽出された初期オブジェクト領域に基づいて、ショットを構成する全てのフレームでオブジェクト領域が追跡され、さらにオブジェクト領域にラベルが貼り付けられて、ラベルオブジェクト映像が生成される。
【００４８】
このようにして、本発明は、従来のオブジェクト抽出、及び従来のラベルオブジェクト映像生成方法に比べて、クエリーオブジェクト抽出に要する時間を短縮することができる。また、本発明は、クエリーオブジェクトの動きとは無関係に適用され、また、付加的なマニュアル操作を必要とせず、自動化されることによって、オブジェクト基盤対話型サービスに好適に適用することができる。
【００４９】
図１１は、本発明を用いたオブジェクト基盤対話型サービスの一実施形態を示すものである。各フレーム内のクエリーオブジェクトにラベルを貼り付けてラベルオブジェクト映像を生成し、このようにして生成されたラベルオブジェクト映像を、図１を参照しながら説明したようにして、オブジェクトＤＢ１４０に記憶させる（図４の第３３６段階）。
【００５０】
このとき、使用者が、オブジェクト基盤対話型プレーヤーを用いて任意の一フレームで、例えば、図１１に示す左側のフレームで、女性が着ている上着のうち、任意の部分をマウスでクリックすると、前記使用者のブラウザがオブジェクトＤＢに記憶されたラベルオブジェクト映像で対応するオブジェクトについての情報に連結される。図１１の右側は、前記オブジェクトに関する情報を示すものである。
【００５１】
また、本発明に係るビデオシーケンスのラベルオブジェクト映像生成方法は、コンピュータが読取り可能な記憶媒体に、コンピュータが読取り可能なプログラムコードを記憶させて具現化することができる。このコンピュータが読取り可能な記憶媒体は、従来公知のコンピュータシステムによって読取り可能なデータが記憶され得る全ての種類の記憶装置を含む。
【００５２】
前記コンピュータが読取り可能な記憶媒体の例としては、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；読取り専用記憶装置）、ＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセス記憶装置）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ−ｄｉｓｋ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク読出し専用メモリ）、磁気テープ、ハードディスク、フレキシブルディスク、フラッシュメモリ、光データ記憶装置などがあり、またキャリヤウェーブ（例えばインターネットを介して行なう情報伝達装置）の形態で具現化されるものを含む。そして、本発明に含まれるコンピュータが読取り可能な記憶媒体は、ネットワークに連結されたコンピュータシステムで分配され得る、コンピュータが読取り可能なプログラムコードとして記憶され、実行させることができる。
【００５３】
【発明の効果】
以上説明した通りに構成される本発明によれば、各クエリーオブジェクトで生成されたフレームマスク映像をフレーム単位で統合させることによって、従来のオブジェクト抽出方法に比べて、一フレームから複数のクエリーオブジェクトを抽出するために要する時間をより一層短縮させることができる、ビデオシーケンスのラベルオブジェクト映像生成方法及びその装置、並びにそのプログラムコードを備えたコンピュータが読取り可能な記憶媒体が提供される。
【００５４】
また、このような本発明に係るビデオシーケンスでのラベルオブジェクト映像生成装置及びその方法は、動画像データをオブジェクト単位で操作、編集、対話型機能、符号化する場合に容易に適用され、今後、対話型インターネット放送、広告広報物、コンテンツ製作、対話型の著作物ツールなどの情報通信分野で幅広く使用することができる。
【図面の簡単な説明】
【図１】本発明が適用された相互対話型オブジェクトサービスシステムの構成を模式的に示すブロック図である。
【図２】本発明に係るラベルオブジェクト映像生成装置の構成を模式的に示すブロック図である。
【図３】本発明に係るラベルオブジェクト映像生成方法を説明するための一例のフローチャートである。
【図４】本発明に係るラベルオブジェクト映像生成方法を説明するための他の例のフローチャートである。
【図５】ビデオシーケンスでショット及びキーフレームを設定する一例を示す図である。
【図６】９個のショットに分割されたビデオシーケンスとそのキーフレームの設定例とを示す図である。
【図７】フレーム映像と、このフレーム映像に存在するクエリーオブジェクトを示す図である。
【図８】ラベル番号でラベルが貼り付けられたオブジェクトの一例の図である
【図９】ラベルオブジェクト映像におけるオブジェクトの重心と最小四角形とを示す図である。
【図１０】図９において、重心と最小四角形の座標値とを用いてオブジェクトにラベルを貼り付けた一実施形態の図である。
【図１１】本発明を用いたオブジェクト基盤対話型サービスの一実施形態の図である。
【符号の説明】
２００ ビデオシーケンス入力部
２１０ クエリー映像入力部
２２０ ショット及びキーフレーム設定部
２３０ 初期オブジェクト領域抽出部
２４０ オブジェクト領域追跡部
２５０ ラベルオブジェクト映像生成部
Claims (9)
- ビデオシーケンス入力部と、クエリー映像入力部と、ショット及びキーフレーム設定部と、初期オブジェクト領域抽出部と、オブジェクト領域追跡部と、ラベルオブジェクト映像生成部とを備えるラベルオブジェクト映像生成装置において用いられるビデオシーケンスのラベルオブジェクト映像生成方法であって、
前記ビデオシーケンス入力部が、フレームの集合であるビデオシーケンスを入力する段階と、
前記ショット及びキーフレーム設定部が、前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択する段階と、
前記初期オブジェクト領域抽出部は、前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する段階と、
前記オブジェクト領域追跡部が、前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成する段階と、
前記ラベルオブジェクト映像生成部が、前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付ける段階と、
を含むことを特徴とするビデオシーケンスのラベルオブジェクト映像生成方法。 - 前記初期オブジェクト領域抽出部は、前記ショットマスク映像を生成する段階で、初期オブジェクト領域の画素を第１の値として設定し、前記キーフレームの残りの画素を第２の値に設定することにより、各ショットの全てのキーフレームで、クエリーオブジェクトに基づくショットマスク映像を生成する段階を含むことを特徴とする請求項１に記載のビデオシーケンスのラベルオブジェクト映像生成方法。
- 前記オブジェクト領域追跡部がオブジェクト領域を追跡する場合、対応するクエリー映像に基づいたショットマスク映像、及び対応するクエリーオブジェクトの映像特性値に基づいて、各ショットを構成する全てのフレームのオブジェクト領域を追跡する段階と、
各フレームで追跡されたオブジェクト領域の画素を第１の値に設定し、前記フレームの残りの画素を第２の値に設定することにより、各ショットを構成する全てのフレームで、クエリーオブジェクトに基づくフレームマスク映像を生成する段階と、
を含むことを特徴とする請求項２に記載のビデオシーケンスのラベルオブジェクト映像生成方法。 - 前記ラベルオブジェクト映像生成部が、対応するクエリー映像に対して設定された固有番号、または各フレームで対応するクエリー映像が位置する座標情報で、ラベルを貼り付けられることを特徴とする請求項１に記載のビデオシーケンスのラベルオブジェクト映像生成方法。
- フレームの集合であるビデオシーケンスを入力するビデオシーケンス入力部と、
前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択するショット及びキーフレーム設定部と、
前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する初期オブジェクト領域抽出部と、
前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成するオブジェクト領域追跡部と、
前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付けるラベルオブジェクト映像生成部と、
を含むことを特徴とするビデオシーケンスのラベルオブジェクト映像生成装置。 - 前記初期オブジェクト領域抽出部は、前記ショットマスク映像を生成する場合、初期オブジェクト領域の画素を第１の値として設定し、前記キーフレームの残りの画素を第２の値に設定することにより、各ショットの全てのキーフレームで、クエリーオブジェクトに基づくショットマスク映像を生成することを特徴とする請求項５に記載のビデオシーケンスのラベルオブジェクト映像生成装置。
- 前記オブジェクト領域追跡部は、オブジェクト領域を追跡する場合、対応するクエリー映像に基づいたショットマスク映像、及び対応するクエリーオブジェクトの映像特性値に基づいて、各ショットを構成する全てのフレームのオブジェクト領域を追跡し、各フレームで追跡されたオブジェクト領域の画素を第１の値に設定し、前記フレームの残りの画素を第２の値に設定することにより、各ショットを構成する全てのフレームで、クエリーオブジェクトに基づくフレームマスク映像を生成することを特徴とする請求項６に記載のビデオシーケンスのラベルオブジェクト映像生成装置。
- 前記ラベルオブジェクト映像生成部は、対応するクエリー映像に対して設定された固有番号、または各フレームで対応するクエリー映像が位置する座標情報で、ラベルを貼り付けられることを特徴とする請求項５に記載のビデオシーケンスのラベルオブジェクト映像生成装置。
- フレームの集合であるビデオシーケンスを入力するビデオシーケンス入力部と、
前記入力されたビデオシーケンスに含まれる一連のフレームについて、類似したフレームの集合である一つ以上のショットに分割し、各ショットごとに、当該ショットを構成するフレームの一つ以上をキーフレームとして選択するショット及びキーフレーム設定部と、
前記クエリー映像入力部からクエリー映像を入力し、そのクエリー映像のクエリーオブジェクトに対応するオブジェクトが前記ショット及びキーフレーム設定部において選択されたキーフレーム内に存在するか否かを判断し、存在するオブジェクトが占有している領域を初期オブジェクト領域として抽出して二値化またはグレースケール映像で処理してショットマスク映像を生成する初期オブジェクト領域抽出部と、
前記初期オブジェクト領域を用いて、前記クエリー映像入力部からのクエリー映像に基づき、前記ショット及びキーフレーム設定部において分割された各ショットを構成する全てのフレームに対し、前記クエリーオブジェクトに対応するオブジェクト領域を追跡し、前記クエリーオブジェクトに対する前記キーフレームでフレームマスク映像を生成するオブジェクト領域追跡部と、
前記オブジェクト領域追跡部において生成されたフレームマスク映像を統合して、各フレームに存在するクエリーオブジェクトにラベルを貼り付けるラベルオブジェクト映像生成部としてコンピュータを機能させるためのコンピュータプログラムを備えたコンピュータが読取り可能な記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR2001-3423 | 2001-01-20 | ||
| KR1020010003423A KR100355382B1 (ko) | 2001-01-20 | 2001-01-20 | 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002232839A JP2002232839A (ja) | 2002-08-16 |
| JP4370387B2 true JP4370387B2 (ja) | 2009-11-25 |
Family
ID=19704920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001263656A Expired - Fee Related JP4370387B2 (ja) | 2001-01-20 | 2001-08-31 | ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7024020B2 (ja) |
| EP (1) | EP1225518B1 (ja) |
| JP (1) | JP4370387B2 (ja) |
| KR (1) | KR100355382B1 (ja) |
| CN (1) | CN1222897C (ja) |
| DE (1) | DE60116717T2 (ja) |
Families Citing this family (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6774908B2 (en) * | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
| US20030098869A1 (en) * | 2001-11-09 | 2003-05-29 | Arnold Glenn Christopher | Real time interactive video system |
| KR100486709B1 (ko) * | 2002-04-17 | 2005-05-03 | 삼성전자주식회사 | 객체기반 대화형 동영상 서비스 시스템 및 그 방법 |
| JP4300767B2 (ja) * | 2002-08-05 | 2009-07-22 | ソニー株式会社 | ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体 |
| US7647301B2 (en) * | 2003-08-08 | 2010-01-12 | Open-Circuit, Ltd. | Information provision apparatus, format separation apparatus, information provision method and program |
| US7299126B2 (en) * | 2003-11-03 | 2007-11-20 | International Business Machines Corporation | System and method for evaluating moving queries over moving objects |
| US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
| US20050229227A1 (en) * | 2004-04-13 | 2005-10-13 | Evenhere, Inc. | Aggregation of retailers for televised media programming product placement |
| GB2414615A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Object detection, scanning and labelling |
| US7519200B2 (en) * | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
| US7657126B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
| WO2006122164A2 (en) * | 2005-05-09 | 2006-11-16 | Riya, Inc. | System and method for enabling the use of captured images through recognition |
| US7657100B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for enabling image recognition and searching of images |
| US7783135B2 (en) | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
| US20080177640A1 (en) | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
| US8732025B2 (en) * | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
| US7660468B2 (en) | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
| US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
| US7760917B2 (en) | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
| US7542610B2 (en) * | 2005-05-09 | 2009-06-02 | Like.Com | System and method for use of images with recognition analysis |
| US7809192B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for recognizing objects from images and identifying relevancy amongst images and information |
| US7945099B2 (en) | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
| US8494951B2 (en) * | 2005-08-05 | 2013-07-23 | Bgc Partners, Inc. | Matching of trading orders based on priority |
| US8600832B2 (en) | 2006-03-03 | 2013-12-03 | The Invention Science Fund I, Llc | Considering selling exemplar-based goods, items, or services |
| US20070208629A1 (en) * | 2006-03-02 | 2007-09-06 | Jung Edward K Y | Shopping using exemplars |
| US9690979B2 (en) | 2006-03-12 | 2017-06-27 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
| US8571272B2 (en) * | 2006-03-12 | 2013-10-29 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
| US8233702B2 (en) * | 2006-08-18 | 2012-07-31 | Google Inc. | Computer implemented technique for analyzing images |
| US8341152B1 (en) | 2006-09-12 | 2012-12-25 | Creatier Interactive Llc | System and method for enabling objects within video to be searched on the internet or intranet |
| CN100413327C (zh) * | 2006-09-14 | 2008-08-20 | 浙江大学 | 一种基于轮廓时空特征的视频对象标注方法 |
| KR100853267B1 (ko) * | 2007-02-02 | 2008-08-20 | 전남대학교산학협력단 | 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 |
| CN100568958C (zh) * | 2007-02-14 | 2009-12-09 | 成都索贝数码科技股份有限公司 | 一种基于网络的节目远程编辑方法 |
| US20090043654A1 (en) * | 2007-05-30 | 2009-02-12 | Bates Daniel L | Method And System For Enabling Advertising And Transaction Within User Generated Video Content |
| US7929764B2 (en) * | 2007-06-15 | 2011-04-19 | Microsoft Corporation | Identifying character information in media content |
| US8416981B2 (en) * | 2007-07-29 | 2013-04-09 | Google Inc. | System and method for displaying contextual supplemental content based on image content |
| CN101420595B (zh) * | 2007-10-23 | 2012-11-21 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
| US9189794B2 (en) * | 2008-02-11 | 2015-11-17 | Goldspot Media, Inc. | Method and apparatus for maximizing brand exposure in a minimal mobile display |
| WO2009154597A1 (en) * | 2008-06-19 | 2009-12-23 | Thomson Licensing | Adaptive video key frame selection |
| CN103632288A (zh) * | 2008-07-14 | 2014-03-12 | 谷歌股份有限公司 | 在展示网络内容时提供补充内容的系统和计算机硬件系统 |
| US8239359B2 (en) * | 2008-09-23 | 2012-08-07 | Disney Enterprises, Inc. | System and method for visual search in a video media player |
| US9715701B2 (en) * | 2008-11-24 | 2017-07-25 | Ebay Inc. | Image-based listing using image of multiple items |
| CN102075689A (zh) * | 2009-11-24 | 2011-05-25 | 新奥特（北京）视频技术有限公司 | 一种快速制作动画的字幕机 |
| JP4784709B1 (ja) * | 2011-03-10 | 2011-10-05 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
| EP2721528A1 (en) * | 2011-06-17 | 2014-04-23 | Thomson Licensing | Video navigation through object location |
| US8798362B2 (en) * | 2011-08-15 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Clothing search in images |
| CN102930887A (zh) * | 2012-10-31 | 2013-02-13 | 深圳市宜搜科技发展有限公司 | 一种音频文件处理方法及系统 |
| US9626567B2 (en) * | 2013-03-13 | 2017-04-18 | Visible Measures Corp. | Automated video campaign building |
| US9378556B2 (en) * | 2014-04-25 | 2016-06-28 | Xerox Corporation | Method for reducing false object detection in stop-and-go scenarios |
| CN103970906B (zh) * | 2014-05-27 | 2017-07-04 | 百度在线网络技术（北京）有限公司 | 视频标签的建立方法和装置、视频内容的显示方法和装置 |
| KR101717014B1 (ko) * | 2016-04-21 | 2017-03-15 | (주)노바빈 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| US11438510B2 (en) | 2016-03-22 | 2022-09-06 | Jung Yoon Chun | System and method for editing video contents automatically technical field |
| CN107798272B (zh) * | 2016-08-30 | 2021-11-02 | 佳能株式会社 | 快速多目标检测与跟踪系统 |
| KR101751863B1 (ko) * | 2017-03-08 | 2017-06-28 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| CN108629224B (zh) * | 2017-03-15 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 信息呈现方法和装置 |
| KR101827985B1 (ko) * | 2017-05-19 | 2018-03-22 | (주)잼투고 | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 |
| EP3656118A4 (en) | 2017-07-18 | 2021-03-03 | Hangzhou Taro Positioning Technology Co., Ltd. | INTELLIGENT OBJECT TRACKING |
| CN110119650A (zh) * | 2018-02-06 | 2019-08-13 | 优酷网络技术（北京）有限公司 | 信息展示方法及装置 |
| TWI666595B (zh) | 2018-02-26 | 2019-07-21 | 財團法人工業技術研究院 | 物件標示系統及方法 |
| CN109284404A (zh) * | 2018-09-07 | 2019-01-29 | 成都川江信息技术有限公司 | 一种将实时视频中的场景坐标与地理信息相匹配的方法 |
| JP7121277B2 (ja) * | 2018-09-28 | 2022-08-18 | 日本電信電話株式会社 | 情報同期装置、情報同期方法及び情報同期プログラム |
| KR102604937B1 (ko) | 2018-12-05 | 2023-11-23 | 삼성전자주식회사 | 캐릭터를 포함하는 동영상을 생성하기 위한 전자 장치 및 그에 관한 방법 |
| KR102028319B1 (ko) * | 2018-12-17 | 2019-11-04 | 엘아이지넥스원 주식회사 | 연관 영상 제공장치 및 방법 |
| KR101997799B1 (ko) * | 2018-12-17 | 2019-07-08 | 엘아이지넥스원 주식회사 | 관심영역 연관 영상 제공시스템 |
| US11823476B2 (en) | 2021-05-25 | 2023-11-21 | Bank Of America Corporation | Contextual analysis for digital image processing |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5109435A (en) * | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| JPH07104921B2 (ja) * | 1989-11-17 | 1995-11-13 | 松下電器産業株式会社 | 画像閾値決定方法 |
| JPH0766448B2 (ja) * | 1991-06-25 | 1995-07-19 | 富士ゼロックス株式会社 | 画像信号分析装置 |
| US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
| JP3329408B2 (ja) * | 1993-12-27 | 2002-09-30 | 日本電信電話株式会社 | 動画像処理方法および装置 |
| JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
| JP3569992B2 (ja) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
| JPH09282456A (ja) * | 1996-04-18 | 1997-10-31 | Matsushita Electric Ind Co Ltd | 画像ラベリング装置および画像検索装置 |
| US5943442A (en) * | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
| EP1008064A4 (en) * | 1997-05-05 | 2002-04-17 | Univ Columbia | ALGORITHMS AND SYSTEM FOR OBJECT-ORIENTED CONTENT-BASED VIDEO SEARCH |
| JP3787019B2 (ja) * | 1997-07-18 | 2006-06-21 | 日本放送協会 | 画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置 |
| KR100304662B1 (ko) * | 1998-01-21 | 2001-09-29 | 윤종용 | 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법 |
| KR100361939B1 (ko) * | 1999-07-27 | 2002-11-22 | 학교법인 한국정보통신학원 | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 |
| KR100331050B1 (ko) * | 2000-06-01 | 2002-04-19 | 송종수 | 동영상 데이터상의 객체 추적 방법 |
-
2001
- 2001-01-20 KR KR1020010003423A patent/KR100355382B1/ko not_active IP Right Cessation
- 2001-08-30 EP EP20010307388 patent/EP1225518B1/en not_active Expired - Lifetime
- 2001-08-30 DE DE2001616717 patent/DE60116717T2/de not_active Expired - Lifetime
- 2001-08-31 JP JP2001263656A patent/JP4370387B2/ja not_active Expired - Fee Related
- 2001-08-31 CN CNB011252383A patent/CN1222897C/zh not_active Expired - Fee Related
- 2001-09-04 US US09/944,600 patent/US7024020B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1225518A3 (en) | 2003-01-02 |
| DE60116717T2 (de) | 2006-11-02 |
| CN1367616A (zh) | 2002-09-04 |
| US20020097893A1 (en) | 2002-07-25 |
| EP1225518B1 (en) | 2006-01-18 |
| CN1222897C (zh) | 2005-10-12 |
| EP1225518A2 (en) | 2002-07-24 |
| KR20020062429A (ko) | 2002-07-26 |
| DE60116717D1 (de) | 2006-04-06 |
| US7024020B2 (en) | 2006-04-04 |
| KR100355382B1 (ko) | 2002-10-12 |
| JP2002232839A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4370387B2 (ja) | ビデオシーケンスのラベルオブジェクト映像生成装置及びその方法 | |
| US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
| US6954498B1 (en) | Interactive video manipulation | |
| US10834379B2 (en) | 2D-to-3D video frame conversion | |
| CN110300316A (zh) | 视频中植入推送信息的方法、装置、电子设备及存储介质 | |
| CN104272377A (zh) | 运动图片项目管理系统 | |
| CN116308530A (zh) | 一种广告植入方法、装置、设备和可读存储介质 | |
| CN115457448B (zh) | 一种视频关键帧智能提取系统 | |
| CN114419121B (zh) | 一种基于图像的bim纹理生成方法 | |
| WO1997012480A2 (en) | Method and apparatus for implanting images into a video sequence | |
| Moon et al. | Lee | |
| CN113158782B (zh) | 基于单帧图像的多人并发交互行为理解方法 | |
| Calagari et al. | Gradient-based 2D-to-3D conversion for soccer videos | |
| CN108628920A (zh) | 一种艺术设计互联网辅助拼图系统及设计方法 | |
| CN110852172B (zh) | 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 | |
| CN115376033A (zh) | 信息生成方法及装置 | |
| CN112749660A (zh) | 一种视频内容描述信息的生成方法和设备 | |
| CN114205677B (zh) | 一种基于原型视频的短视频自动编辑方法 | |
| CN111031366B (zh) | 一种在视频中植入广告的方法及系统 | |
| Chapdelaine et al. | Designing caption production rules based on face, text, and motion detection | |
| LAUFER | Video Retargeting using Vision Transformers | |
| JPH11266449A (ja) | 映像構造化装置及び映像化のためのプログラムを記録した記録媒体 | |
| Xiao et al. | RBF network‐based temporal color morphing | |
| CN114640803A (zh) | 一种视频剪辑处理系统及方法 | |
| Zhang | An innovative development model for combining visual communication and art design based on the integration of multilevel features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050401 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050704 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060808 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060922 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061113 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |