JP3838805B2 - 画像検出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像編集装置に関わり、特に、ディスプレイ画面上における操作によって編集を行なう場合に使用する画像検出方法に関するものである。
【０００２】
【従来の技術】
近年、コンピュータの高速化、高機能化に相俟って、ソフトウエアの多様化、高機能化が急速に進展している。これらコンピュータ、ソフトウエアを使用することで、テレビジョン放送番組やビデオ番組を制作する制作設備の高機能化が進められている。
【０００３】
特に、近年の番組制作は、ビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集方法ではなく、ランダムアクセスが可能な情報記憶装置（例えば、取扱いや保存が容易で廉価なハードディスク）を有する動画像編集装置を使用して、映像情報の編集を行なっている。このような動画像編集装置に、さらに、高機能化、多様化しているコンピュータ、ソフトウエアを採用することで、ますます動画像編集装置の高機能化が進められている。ここで、映像情報とは音声を含む映像に関するすべての情報のことである。
【０００４】
図３は動画像編集装置の一構成例を示すブロック図である。3010はCPU（Central Processing Unit：中央演算処理装置）、3020はメモリ、3030はカット変化点検出部、3040は画像再生装置、3050はビデオインターフェース、3060は情報記憶装置、3070はフレームバッファ、3080はモニタ、3090は入力装置、3100はバス、3110は画像信号出力端子である。
この動画像編集装置は、ソフトウエア（プログラム）の制御により動画像編集装置を構成する各装置の制御および編集を行なうCPU3010と、CPU3010の制御情報や、動画像、シーン画像、カット画像および編集状況を表す階層構造（ツリー構造）の情報など、編集に関する情報を表示するモニタ3080と、モニタ3080の画面上に表示されている情報を選択してCPU3010へのコマンドの入力を行なうマウスやキーボード等の入力装置3090と、モニタ3080に表示するための画像情報を記憶するフレームバッファメモリ3070と、編集に使用する動画像の画像信号を記録媒体から再生しビデオインタフェース3050へ出力する画像再生装置（例えば、VTR：ビデオテープレコーダ）3040と、画像再生装置3040から入力される動画像の画像信号を動画像編集装置で扱うフォーマットの画像情報に変換し情報記憶装置（例えば、ハードディスク等の磁気記憶装置）3060とカット変化点検出部3030とメモリ3020とへ出力し、かつ動画像編集装置で扱うフォーマットで編集され情報記憶装置3060から出力される動画像の画像情報を画像信号に変換し画像信号出力端子3110から出力するビデオインタフェース3050と、動画像を構成するフレーム画像の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定し分割するカット変化点検出部3030と、CPU3010の制御ソフトウエアを記憶するとともに、動画像編集装置で使用されるさまざまな制御情報（一連の動画像のフレーム番号、検出したカット変化点のフレーム番号、モニタ3080の画面に表示される画像サイズを縮小した表示用画像（M-アイコン：Moving Icon）、M-アイコンファイル名、カット画像に順次シリアルに付与されているカット画像番号、複数のカット画像の順序を表すシーケンス番号等）などを一時記憶するメモリ3020と、画像再生装置3040から再生されビデオインタフェース3050で所要フォーマットに変換された編集に使用する動画像の画像情報を記憶するとともに、メモリ3020で一時記憶した動画像編集装置で使用される編集情報や制御情報、例えばM-アイコンなどを記憶するランダムアクセス可能な、例えばハードディスクを使用した情報記憶装置3060と、動画像編集装置内の各装置間のディジタル情報伝送に使用されるバス3100と、動画像の画像情報を出力する画像信号出力端子3110を備えている。
【０００５】
なお、バス3100には、動画像編集装置を構成する前記各装置のCPU3010、メモリ3020、カット変化点検出部3030、ビデオインタフェース3050、情報記憶装置3060、フレームバッファメモリ3070、モニタ3080、入力装置3090が接続されており、CPU3010はこれら装置と各種信号を送受し合い、これら装置はCPU3010からのアクセス信号により制御される。また、CPU3010への指示は、マウスあるいはキーボードなどの入力装置3090から入力される。
【０００６】
上述のように構成され、所要のソフトウエアをメモリ3020に備えている動画像編集装置を使用することにより、編集する動画像の画像情報をメモリ3020さらに情報記憶装置3060に記憶し管理することができる。またさらに動画像編集装置は、モニタ3080の画面上に、メモリ3020および情報記憶装置3060に記憶している動画像のカット画像やシーン画像を縮小したM-アイコンとして表示し、カット画像やシーン画像を単位としたツリー構造を形成することにより動画像の編集作業を行なうことができる。
【０００７】
ここでカット画像、シーン画像、M-アイコン等の説明をする。
カット画像は、テレビジョンカメラによる１回の撮影開始から終了までの間に撮影されたフレーム画像の集合である。
また、「シーン画像」は、所定の撮影対象を撮影した複数のカット画像を集合したものであり、情報記憶装置3060などに記憶される動画像を構成する画像データは、複数のシーン画像の集合である。
複数のシーン画像は、さらに特定の撮影テーマのもとにまとめることにより、編集された特定の撮影テーマの動画像（番組）とすることができる。
【０００８】
このように特定の撮影テーマのもとに編集される動画像は、画像素材である複数のカット画像の中から、特定の撮影テーマに合せて選択したいくつかのカット画像と、この選択したいくつかのカット画像をまとめたシーン画像と、このシーン画像を特定の撮影テーマのもとにまとめた撮影テーマ（あるいは題名）を有する動画像というように、階層構造（ツリー構造）の画像データとして整理することができる。
また、このツリー構造には、一連の動画像のフレーム番号、検出したカット変化点の画像のフレーム番号、カット画像に順次シリアルに付与されているカット画像番号、シーン画像を構成する複数のカット画像の順序を表すシーケンス番号のデータが整理配置されており、上述の制御情報はこれらの階層構造情報を含んでいる。
M-アイコンとは、１回の撮像開始から終了までのフレーム画像の集合（カット画像）と１対１に対応するGUI（Graphical User Interface：グラフィックスを使用したユーザインタフェース）部品である。
このM-アイコンは、画像のサイズを所要の比率で縮小した表示用画像であり、複数のフレーム画像からなる動画像全体または一部、あるいはシーン画像を高速で表示して見る場合（高速表示用）や、あるいはカット画像の代表画像として表示される。
【０００９】
モニタ3080の表示画面は、動画像編集に使用するカット画像、シーン画像および編集状態を表すツリー構造などの編集情報を表示するGUI画面である。編集者は、入力装置（例えば、マウス）3090を使用して、この編集情報を表示するモニタ3080の画面の編集情報を選択することで動画像編集装置に指示を与えることができる。
【００１０】
このように前述の動画像編集装置は、編集する動画像をツリー構造として記憶し管理することで番組を作成することができ、カット画像やシーン画像を単位とした編集作業ができるようになっている。
【００１１】
図４は、上述した図３の動画像編集装置において、具体例として、編集素材にニュース番組を仮定して、その内容毎に別のニュース番組を作成する（例えば、ダイジェストを作成するような）場合にモニタ3080の画面に表示される編集用ウィンドウの一例を示す図である。
1000は編集用ウィンドウ、1010は編集エリア、1020は素材エリア、1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥は素材エリア1020に表示されている画像素材のM-アイコン（ただし、K，M，Nは自然数で、K＝N-2、M=N-1）、1040は編集された動画像の編集内容を表すM-アイコンで構成するツリー構造、1050は編集作業に使用する各種制御機能を選択する編集機能ボタン群、1051は登場人物検出ボタン、1052はツリー構造作成ボタン、1070は編集エリア1010の表示画面を横方向にスライドさせるスライダ、1080は編集エリア1010の表示画面を縦方向にスライドさせるスライダ、1090は素材エリア1020の表示画面を縦方向にスライドさせるスライダ、1210は編集エリア1010に登録されたカット画像を表すM-アイコン、1220は１つまたは複数のカット画像で構成したシーン画像を表すM-アイコン、1230は１つ以上のシーン画像で構成したM-アイコン、1240はテーマに合せ編集された動画像（番組）を表すM-アイコン、810はマウス等のポインティングデバイスによってGUI操作を行う時にGUI画面上に表示されるマウスポインタである。なお、M-アイコンの表面には、対応する縮小表示用画像が表示されているが、煩雑なので、本明細書では特に必要にない限り省略する。
【００１２】
図４において、編集エリア1010の中のM-アイコンで構成されるツリー構造1040は、編集のために選択したカット画像を表すM-アイコン1210が１個または複数個集合して、その階層の上部にシーン画像を表すM-アイコン1220を構成し、さらに、このシーン画像を表すM-アイコン1220が１個または複数個集合して、その階層の上部に特定のシーン画像の集合を表すM-アイコン1230を構成し、最後に特定のシーン画像の集合を表すM-アイコン1230が複数個集合してテーマに合せ編集された番組を表すM-アイコン1240を構成している。
【００１３】
ツリー構造1040の階層数は任意であり、さらに上部に階層が構成することができることはもちろんである。編集エリア1010の画面の大きさに限りがあるため、図４ではツリー構造1040の全体が表示されていない。
この表示されていない部分を表示させるためには、入力装置3090（図３）によって、スライダ1070、あるいはスライダ1080を操作して、所要の横方向、あるいは縦方向に表示を移動させることによってツリー構造1040の全体を見る。
【００１４】
また素材エリア1020には、図３のカット変化点検出部3030によって検出された異なるカット画像から作成されたM-アイコンが、編集に使用する画像素材M-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥として一時的に置かれ、一覧できるように表示されている。
編集作業が進み、画像の呼出しを行ないM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥が作成され表示された段階では、M-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥は、素材エリア1020に時系列順に左から右、上から下に向かって表示される。
【００１５】
この素材エリア1020の中のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥についても、編集エリア1010と同様に、M-アイコンの数が多くて画面に一度に表示されていない場合は、入力装置3090によってスライダ1090を操作し、縦方向に表示を移動させることによってすべてのM-アイコンを見る。
【００１６】
編集を行うためには、この素材エリア1020の中から編集に必要なM-アイコンを選択し、次に機能ボタン群1050中のツリー構造作成ボタン1052を押す。これによって、選択されたM-アイコン1030は編集エリア1010へ移動、あるいはコピーされる。このように、ツリー構造1040を構成して編集を進める。
なお、図４では編集がある程度進んでおり、すでに編集エリア1010にツリー構造1040ができており、さらに、素材エリア1020のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から所望のM-アイコンを選択して、図４から編集を継続する状態である。
また、素材エリア1020と編集エリア1010の中に表示されるM-アイコンは、図面上では１枚のカードとして描かれているが、これは省略図であって、実際のモニタ3080の表示画面上では、M-アイコンのそれぞれは、M-アイコンがそれぞれ持つフレーム画像の枚数の重なった形状で表示される。
【００１７】
以上のようにして動画像の編集を進めるが、実際に番組作成に必要な画像素材は、図３の情報記憶装置3060に記憶された画像情報（カット画像、あるいは１つの動画像のファイルとして読出された一連の動画像）のすべてであることは少ない。
即ち、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥のすべてが必要となることはなく、編集目的、あるいは撮像テーマにより選択した一部のM-アイコンに関連付けられた画像素材だけが番組に使用される。
また、画像素材には通常複数のシーンが含まれているので、情報記憶装置3060から読出した画像素材あるいは画像情報に含まれる多くのM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から編集に必要なM-アイコンを探すことになる。
【００１８】
上述の従来の動画像編集方法による動画像編集装置の動作や、M-アイコンを使用して、ツリー構造を作成しながら動画像の編集を行なう方法は、例えば特開平１０−５１７３３号公報に開示されている。
また、カット画像の変化点を検出する手段としては、例えば、動画像の照度、音量、色調などを解析して、これらの変化の著しい部分をカット画像の変化点として検出する技術が、特開平２−１８４１８１号公報に開示されている。
【００１９】
ところで、上述のように動画像編集を行うためには、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥の中から、編集に必要なM-アイコンを探すことが必要である。
この必要なM-アイコンを探すサポートをする機能が登場人物検出機能である。この登場人物検出機能は、画像素材または複数のカットやシーンの中から特定の人物を検出する機能を持っている。この特定の人物を仮に“X”とする。
【００２０】
この登場人物検出機能は、素材または複数のカットまたはシーン、つまり被検出区間の中にいる人物“X”が持つ特徴を組合わせてオペレータが選択し、その色の組合わせに合致したフレームとその画素領域を、画像認識技術を用いて見つけ出すものである。
【００２１】
オペレータは、選択した一連のM-アイコン（即ち、登場人物が存在すると思われる被検出区間）の中で、検出しようとする人物（例えば人物“X”）について、その特徴（例えば、髪の色，肌の色，服の色）の組合せを指定する。これによって、動画像編集装置は指定した色の組合せに合致した映像領域を画像処理により検出し、合致した映像領域とそのフレームの情報をGUI画面に表示する。
【００２２】
この登場人物検出機能の操作手順を図４と図２と図１３を用いて説明する。
【００２３】
図４は従来のノンリニア編集装置におけるモニタ3080（図３）に表示された編集用ウインドウの一例を示す図で、既に説明した。
【００２４】
図４において、オペレータは人物（例えば、人物“X”）を検出するため、被検出対象となるカットまたはシーンに対応するM-アイコンを編集エリア1010または素材エリア1020の中からマウスポインタ810で選択し、マウスをクリックする。このときM-アイコンが選択された状態となり、このようにM-アイコンを選択状態にすることをアタッチという。この選択された状態の表示は、例えば選択されたM-アイコンを太枠で囲む、M-アイコンの表示色を変える、M-アイコンを点滅させる、等の方法がある。
【００２５】
例えば、素材エリア1020内にあるM-アイコン1031〜1033をアタッチし、続いて編集機能ボタン群1050の中の登場人物検出ボタン1051をクリックする。その結果、モニタ3080には図２に示したウィンドウが表示される。このウィンドウ上で人物“X”の検出処理を行う。図２は人物検出を行う時に検出したい人物の特徴を定めて人物検出を行うを説明するための図である。300はIDウインドウ、301はOKボタン、302はキャンセルボタン、303はスライダーつまみ、304はスライドカーソル、305は拡大表示画像、306は拡大表示エリア、307はオブジェクトボタン、308は色指定枠、309はサーチボタン、311は静止画ビュースライダー、312はオブジェクト名記入欄、313はオブジェクト枠調整ボタン、314は検出区間追加ボタン、315は検出区間削除ボタン、321〜330はフレーム画像、809はフィルムイメージ、810はマウスポインタである。
【００２６】
図２において、フィルムイメージ809には、アタッチしたM-アイコン1031〜1033内に含まれるフレーム画像321〜330が表示される。フレーム画像321〜330は時間軸に沿って順番に並べられており、画面の左右の表示されていない部分は静止画ビュースライダー311のスライダつまみ303を左右にスクロール処理することによって、表示するフレーム画像をスライドさせて見ることができる。このスクロール処理は、例えばマウスポインタ810をスライダつまみ303に移動させ、マウスでドラッグする、または、スライドカーソル304の矢印部をアタッチすることによって操作可能である。またIDウインドウ300の左下部の拡大表示エリア306内には拡大フレーム画像305が表示される。この拡大フレーム画像305はフィルムイメージ809にあるフレーム画像321〜330のうち、一番左端にあるフレーム画像321を拡大表示したものである。人物“X”を検出処理するために、この拡大表示画像305を用いて人物“X”として検出する特徴を定める。この一番左端に表示されているフレーム画像321と拡大表示画像305とは連動しているため、オペレータはフィルムイメージ809中のフレーム画像をスクロールすることによって、人物“X”の検出処理に用いるための拡大表示画像305として拡大表示エリア306に表示させることができる。オペレータはフィルムイメージ809中のフレーム画像をスクロールして拡大表示画像305を見ながら、人物“X”の検出処理に関して最適と考えるフレーム画像を選択する。次にこの拡大表示画像305から人物“X”が持っている特徴的な色の組合せを指定する。フレーム画像321〜330のうち、フレーム画像321は簡単な画像の表示をしているが、他のフレーム画像322〜330については画像の表示を省略している。
【００２７】
特徴的な色の組合せを指定する方法は、オブジェクトボタン307をクリックしてから、特徴的な色を指定するための範囲を定める色指定枠308を拡大表示画像305の中から指定して行う。
色指定枠308の指定は、パーソナルコンピュータ等の描画において四角の枠を作成する方法と同様であり、もちろん、指定した後、色指定枠308の移動及び大きさの変更も可能である。
色指定枠308に囲まれた部分の色が人物“X”（フレーム画像中で人物“X”が占めている画素領域）が持つ特徴的な色となる。図２の例では人物“X”が着ている服の色を指定しているが、その他、例えば、髪の色、肌の色、服の色等を指定する。この色の組合せのデータが検出処理に用いられる。
上述のような登場人物検出機能は、例えば、特開平６−２２３１７９号公報に開示されている。
【００２８】
色の指定が終了した後、サーチボタン309をクリックするとM-アイコン1031〜1033に対して検出処理を行う。検出処理を行った後、IDウインドウ300上には人物“X”に対する検出結果が図１３のように表示される（図１３の説明は後述する）。検出結果を保持する時はOKボタン301をクリックすることでIDウインドウを閉じ、検出結果を保持しない時はキャンセルボタン302をクリックすることでIDウインドウを閉じる。
【００２９】
この登場人物検出機能によって２つの結果が得られる。一つは人物“X”が画像素材またはカットの中のどこからどこまでに存在するのかを示す検出区間の情報であり、もう一つは検出区間内のフレーム画像のどの位置（例えば、左側、中央部右側、上部、左下側等）に人物“X”が存在しているのかを示すポジション情報である。
【００３０】
しかし、現状の登場人物検出の機能は、認識の精度の問題から、誤検出や見逃しが発生し易い。したがって、IDウインドウを見てオペレータがマウスを使って手動で確認や修正を行う必要がある。
【００３１】
しかし、現状の登場人物検出の機能は、認識の精度の問題から、誤検出や見逃しが発生し易い。したがって、IDウインドウを見てオペレータがマウスを使って手動で確認や修正を行う必要がある。
【００３２】
図８は図４において、M-アイコン1031，1032，1033を選択し、前述のとおり登場人物検出を行った結果の編集ウインドウの例である。ここで、図４と同じものには同じ符号が付せられており、その他に、12，13，14はIDXアイコンである。
【００３３】
登場人物検出を行った後、図２に示したIDウインドウ300のOKボタン301をアタッチすると、検出結果を保持したままIDウインドウ300が閉じ、編集ウインドウ1000の素材エリア1020の下部にIDXアイコン12が表示される。また、別のM-アイコンを選択して登場人物検出を行う都度、さらにIDXアイコン13，14，‥‥‥と表示が増えていく。
【００３４】
次に、人物検出結果の確認や修正に関する従来のGUI操作の例を図１３によって説明する。図１３は、人物検出結果の確認や修正を行う場合のIDウインドウの表示例である。図２と同一のものには同一の符号を付した。その他に、80はIDウインドウ、800，801，802，802′，803は検出矢印、804，805，806，807，808はオブジェクト枠、809′はフィルムイメージ、811，812は検出区間、813，814，823，824はフィルムイメージ809′の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、817，818，820，821，822は人物“X”がそれぞれのフレーム画像において占有している画素領域である。
図１３のIDウインドウ80において、フィルムイメージ809′の上側に表示されている検出矢印800〜803は検出区間の始りと終りを示す矢印である。検出矢印800と検出矢印802は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印801と検出矢印803は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印800とエンド点の検出検出矢印801に挟まれた区間が検出区間812であり、ビギン点の検出矢印802とエンド点の検出検出矢印803に挟まれた区間が検出区間811である。検出区間811と検出区間812のそれぞれに属するフレーム画像に表示されているオブジェクト枠804〜808は人物“X”がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。
【００３５】
検出区間およびオブジェクト枠の修正は以下のように行う。
最初に検出区間の修正について述べる。
図１３において、検出矢印802のビギン点を1フレーム左のフレーム813に移動して、検出区間811の延長を行う場合について説明する。マウスポインタ810はマウス（図示しない）によって表示画面上を移動することができるGUI部品で、マウスの他、一般的なポインティングデバイスによっても操作することができる。
まず、マウスポインタ810をビギンボタン815に移動してマウスをクリックする。そして次に、フレーム813にマウスポインタ810を移動してマウスをクリックする。すると新規のビギン点を表す検出矢印802′が表示される。その後元のビギン点である検出矢印802をクリックすることにより、元のビギン点を表す検出矢印802が消える。この結果、検出区間811が左へ１フレーム延長される。同様に、エンド点の修正もエンドボタン816をクリックし、エンド点にしたいフレームをクリックした後もとエンド点の検出矢印をクリックしてエンド点の変更を行う。
【００３６】
次にオブジェクト枠の修正について述べる。この修正もマウスポインタ810を使用して行う。
図１３において、フレーム画像814のオブジェクト枠806を修正する場合を例にとる。図１３において、フレーム画像824のオブジェクト枠805が人物“X”を示す画素領域818の大きさと位置がほぼ一致しているのに比べ、フレーム画像814のオブジェクト枠806は人物“X”の画素領域820よりもやや大きめで中央よりの位置に表示されている。この場合、オペレータがこのフレーム画像814を見た時、オブジェクト枠806の位置にまどわされ、人物“X”の画素領域がフレームの中央部にいると誤認してしまうので、オブジェクト枠806を人物“X”の画素領域820に合せるためオブジェクト枠806の大きさや位置を修正する必要がある。オブジェクト枠804，805，806，807，808の大きさや位置の修正は、現在のオブジェクト枠を削除して新規に設定する方法の他、例えば、Microsoft社のOS（Operating System）の１つであるWindows95における画面操作やオブジェクト操作等、周知の方法で実行できる。
【００３７】
なお、オブジェクト枠806を人物“X”の画素領域820に合せて修正する操作を行った場合には、オブジェクト枠806以降にあるすべてのオブジェクト枠についての人物“X”の画素領域（例えば、オブジェクト枠807，808における人物“X”の画素領域821及び822）もまたオブジェクト枠806と同じ大きさと位置とに修正される。
【００３８】
登場人物検出の途中または終了後、図２に示したキャンセルボタン302をアタッチすると、検出結果をキャンセルしてIDウインドウ300が閉じる。また、IDウインドウ300のOKボタン301をアタッチすると、検出結果を保持したままIDウインドウ300が閉じ、図８に示すように、編集ウインドウ1000の素材エリア1020の下部にIDXアイコン12が表示される。そして、このIDXアイコン12のデータ構造の中に人物“X”に対する検出処理の結果に関する情報が格納されている。
また、このようなIDXアイコンは、人物検出するために編集ウインドウ1000内で同時にアタッチしたM-アイコンのすべてに対して一つ作成される。即ち、毎回違うM-アイコンをアタッチして人物検出処理をすると、新しいIDXアイコン13，14，‥‥‥が次々と作成される。
IDXアイコン12をマウスでダブルクリックするか、または選択してIDX情報ボタン1053をアタッチすると、図６に示すような、IDX情報を示すIDXウインドウがポップアップ表示される。
【００３９】
図６はIDXウインドウの表示例を示す図で，人物“A”，“B”，“C”それぞれについての検出結果が表示されている。これは上述した同一のM-アイコン群1031〜1033について、別々の人物について検出処理をした結果である。600はIDXウインドウ、603は検出範囲表示エリア、604，605，606は領域、611はターゲット表示欄、614は検出区間、616は非検出区間、631，632，633はターゲットイメージ、634，635，636は人名、637，638，639は検出区間グラフ、650は検出結果表示欄、640は検出結果表示欄650の表示を横方向にスライドさせるスライダ、641は検出結果表示欄650の表示を縦方向にスライドさせるスライダ、810はマウスポインタ、241はクローズボタンである。
【００４０】
図６において、IDXウインドウ600上の検出範囲表示エリア603は横方向を時系列沿って表示されている。またさらに、検出範囲表示エリア603は今３つの領域604〜606に分かれている。この領域604〜606はオペレータがアタッチしたM-アイコン1031〜1033のカットの長さ（＝フレーム数）に応じて区切られている。即ち、M-アイコン1031のフレーム数と領域604のフレーム数は対応しており、M-アイコン1032と領域605のフレーム数、M-アイコン1033と領域606のフレーム数もまた対応している。また、ターゲット表示欄611には、検出した人物のターゲットイメージ631，632，633とその人名634，635，636とが縦方向に表示される。
例えば、人物“A”を検出した場合にはターゲットイメージ631と人名634とがターゲット表示欄611に表示され、かつその右横の検出結果表示欄650に検出区間グラフ637が表示される。さらに人物“B”を検出した場合には、人物“A”の下側のターゲット表示欄611にターゲットイメージ632と人名635が表示され、かつその右横の検出結果表示欄650に検出区間グラフ638が表示される。同様に、人物“C”を検出したときにはターゲットイメージ633と人名636がターゲット表示欄611の下側に表示され、かつその右横の検出結果表示欄650に検出区間グラフ639が表示される。これらのターゲットイメージ631，632，633は、人物“A”，“B”，“C”をそれぞれ検出するために特徴的な色を取得するために使用した拡大表示画像のフレーム画像（例えば、図２のフレーム画像304）である。ターゲットイメージ631〜633の下の人名634〜636にはそれぞれの検出対象名が表示される。検出区間グラフ637，638，639の表示欄は有限であるので、検出領域が広く一度に全ての検出領域が表示できない場合がある。その場合は、スライダ640を操作して、表示を横方向にスクロールさせる。また、検出した人物の数が多い場合にも一度に検出した人物の全てを表示できない（図６の例では一度に表示できる数は３人）。この場合には、スライダ641を操作して表示を縦方向にスクロールさせる。
以上述べたように、検出区間グラフ637〜639の領域には、カット即ちM-アイコン1031〜1033に対して実行された人物“A”，“B”，“C”の検出結果が示されている。
【００４１】
次に、検出結果を、検出区間グラフ637を例にして説明する。
検出区間614は、M-アイコン1031〜1033について、領域604，605，606の間で人物“A”が検出された区間を示しており、非検出区間616は検出されなかった区間を示している。例えば、領域604はM-アイコン1031に関連付けられたフレーム画像の集合について時間的に並べたものであり、領域605はM-アイコン1032に関連付けられたフレーム画像の集合について時間的に並べたものであり、領域606はM-アイコン1033に関連付けられたフレーム画像の集合について時間的に並べたものである。また、１つのフレーム画像についてそれぞれ所定の幅を持たせて表示しており、図６では検出区間614を斜線パターンとし、非検出区間616を白色として区別して表示している。この検出・非検出の表示は区別がつけばどんな表示でもよく、例えば検出区間614はオレンジ色で表示し、検出されなかった非検出区間616は灰色で表示することでもよいし、どちらか一方を点滅させてもよい。
【００４２】
この検出区間614及び非検出区間616は、図８のM-アイコン1031〜1033の側面にも表示される（図示しない）。
図１２(a)，(b)，(c)は、図８のM-アイコン1031〜1033の側面に、人物検出の結果が表示されていることを示す図である。図６と同様に、領域604はM-アイコン1031の領域、領域605はM-アイコン1032の領域、領域606はM-アイコン1033の領域をそれぞれ示す。M-アイコンの側面の幅はそのM-アイコン自身のフレーム数（１つのフレーム画像についてそれぞれ一定の厚みを持たせて表示）を示しているので、検出区間614としてそのフレームの数に相当する分だけM-アイコン1031〜1033の側面を斜線で表示する。また、非検出区間616としてそのフレームの数に相当する分だけM-アイコン1031〜1033の側面に白色で表示する。この表示は、検出結果として常に表示する設定でもよいが、通常はターゲットイメージ631をオペレータがアタッチした場合に行うとしてもよく。また、どちらか一方を表示してもよい。
なお、図１２(a)，(b)，(c)に示したM-アイコン1031〜1033は、それぞれに関連付けられた画像を縮小した表示用画像が実際には表示されているが、図１２では省略している。
【００４３】
また検出区間614のうち、例えば領域605にある検出区間614をアタッチすると、検出区間グラフ637のその領域605が所属する検出区間の表示の模様や色が、例えば紫色に変化し、そこから領域605を意味するM-アイコン1032（図８）に向けて、紫色のスポットライトが照射されるような表示がなされる。この機能によって、どの検出区間がどのM-アイコンに属しているのか見つけ易くなる。
なお、図６のIDXウインドウ600を閉じる場合は、クローズボタン241をクリックする。
【００４４】
【発明が解決しようとする課題】
前述の従来技術には、以下のような欠点がある。
【００４５】
▲１▼ 従来の登場人物検出機能ではアタッチしたM-アイコンに対して一つのIDXアイコンが素材エリアに作成された。つまり、毎回違うM-アイコンをアタッチして検出処理をすると、新しいIDXアイコンが素材エリアに次々に作成されてしまうので、素材エリアが見難くかった。
【００４６】
▲２▼ IDXアイコンにはどのM-アイコンにどういう人物の検出処理を行ったかという情報が表示されないため、オペレータはIDXアイコンに対応したIDXウインドウを開いて確認する必要があり、確認に手間がかかった。
【００４７】
▲３▼ IDXウインドウの検出結果の人物ごとに表示された段を削除する機能がないために、必要のない検出結果などを削除することができなかった。
【００４８】
▲４▼ 人物“A”、“B”、“C”の検出処理に用いた色の組合せのデータがIDXアイコンのデータ構造に保存されていないため、既に検出処理に用いた色の組合せを別のM-アイコンの検出処理に使用できなかった。
【００４９】
本発明の目的は、上記のような欠点を除去し、簡単な画面操作が可能で、より高機能の画像検出方法を提供することにある。
【００５０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像検出方法は、IDXアイコンのデータ構造に格納されていた特定の人物に関する検出情報を、M-アイコンのデータ構造に格納する様にする。これによってIDXアイコンを作成する必要がない。
【００５１】
そして、IDXウィンドウの表示をM-アイコンのデータ構造に格納された検出情報に基いて行う。但し、アタッチしたM-アイコンの中には特定の画像に関して検出処理を行っていないものも含まれるため、検出処理をしているM-アイコンなのか否かを区別する表示を行った。更に検出区間のみを表示していたM-アイコンの側面にもこの検出処理をしたか否かの表示を追加した。
【００５２】
また、特定の対象画像ごとに表示された検出結果を削除する機能を新たに追加した。
【００５３】
さらにまた、様々な対象について検出処理を行ったうち、同一の対象について別々の色情報（例えば服の色が違う場合など）での検出結果を一つにまとめるコンバイン（結合）機能を設けた。またこれとは逆に、コンバインされた検出結果を元に戻すアンコンバイン（結合解除）機能も設けた。
【００５４】
さらに、検出処理によって得られた検出区間だけを動画像で再生するプレビュー機能と、検出結果に対して検出処理を行った画像の情報などを付加し、データ構造に格納するインフォメーション機能とを設けた。
【００５５】
また、検出範囲表示エリアの時系列の幅を自由に設定できる機能も設ける。これにより検出区間などの表示の幅を自由に調節できる。
【００５６】
更にそれぞれの検出対象画像について、それぞれの検出処理に用いた色の組合せのデータをM-アイコンのデータ構造に保存しておき、再利用できるようにした。
【００５７】
【発明の実施の形態】
本発明の一実施例を以下に説明する。検出処理が一度も行われていない状態から順を追って操作手順を図４〜10によって説明する。
図４は図３の動画像編集装置においてモニタ3080の画面に表示される編集用ウィンドウの一例を示す図で従来技術で既に説明した。
まずオペレータは、人物“A”を検出するため、被検出対象となるカットまたはシーンに対応するM-アイコン1031〜1033をアタッチする。そして、編集機能ボタン群1050の登場人物検出ボタン1051をアタッチする。その結果、モニタ3080には図５に示すIDXウインドウが表示される。
図５は人物検出処理がまだ実行されていない状態（初期状態）のIDXウインドウの一例である。6000はIDXウインドウ、237，238，239は検出結果表示欄、240は新規ボタン、241はクローズボタン、242はサーチボタン、243は結合ボタン、244は結合解除ボタン、245はプレビューボタン、246はインフォメーションボタン、247は可視範囲調整スライダー、248は修正ボタンである。その他の符号は図６と同じである。
【００５８】
この段階ではM-アイコン1031〜1033には検出処理が一度も行われていない状態なので、IDXウインドウ6000は図５のように、ターゲット表示欄611にも検出結果表示欄237，238，239にも何もデータがない表示になる。これが初期状態である。
【００５９】
まず人物“A”について検出処理を開始する。
オペレータが新規ボタン240をクリックすると、モニタ3080には図２に示すIDウインドウ300が表示される。このIDウインドウ300においてオペレータは人物“A”の検出処理を行う。なお、この検出処理の操作についての詳細は従来の技術と同様であるので説明を省略する。
検出処理を行った後、IDウインドウ300上には人物“A”に対する検出結果が図１３のように表示される。そして必要があれば、その検出結果にオペレータが修正を加える。検出結果の修正を終えた後、OKボタン301をクリックするとIDウインドウ300が閉じる。
OKボタン301がクリックされた時点で、人物“A”に対する検出結果のデータはアタッチしたM-アイコン1031〜1033に対応するデータ構造に格納される。但し、ツリー構造の上位層、例えばM-アイコン1220“イ”をアタッチした場合は、ツリーの最下層のM-アイコン1210“ロ”，“ハ”，“ニ”に対応するデータ構造に検出結果のデータが格納される。このように、検出結果のデータは常に最下位のM-アイコンに格納するのは、検出結果のデータが編集エリア1010内の編集操作に左右されることをなくすためである。即ち、ツリー構造の上位層のM-アイコン1220“イ”に最下層のＭ−アイコン1210“ロ”，“ハ”，“ニ”に関する検出結果のデータを格納すると、M-アイコン1210“ハ”をツリー構造からはずしたときなどは検出結果のデータを変更しなければならなくなるからである。
【００６０】
IDウインドウ300を閉じると、再びIDXウインドウ表示に戻る。この場合、IDXウインドウには人物“A”に関する検出結果のみが図7に示すように表示される。図７は人物“A”に関する検出結果のみを表示したIDXウインドウである。6001はIDXウインドウ、631は人物“A”のターゲットイメージ、634は人名、637は検出区間グラフであり、その他の符号は図５と同じである。
クローズボタン241をクリックするとIDXウインドウ6001が閉じ、図４の編集用ウィンドウ1000の状態に戻る。
【００６１】
更に人物“B”及び“C”についても検出処理を行う。但し被検出対象となるM-アイコンを変える。例として、人物“B”を検出処理するときはM-アイコン1031と1033をアタッチし、人物“C”を検出するときはM-アイコン1032のみをアタッチすることを考える。この検出処理の操作についても従来の技術と同様であるので説明を省略する。
人物“B”及び“C”についての検出処理を終了した後、再びM-アイコン1031〜1033をアタッチし、IDXウインドウを開く。その結果の例を図１に示す。図１はIDXウインドウの一実施例を示す図で、図７と同じ機能のものには同じ番号を付している。その他、600′はIDXウインドウ、250，251，252は人物検出の処理を行っていない領域を表す未検出区間である。
未検出区間250〜252の部分が検出処理を行っていないM-アイコンのフレーム情報を表している。すなわち未検出区間251は、M-アイコン1031（検出区間604）については人物“C”に対して検出処理を行っていないことを示している。以下この状態を検出未処理と呼ぶ。これに対して既に検出処理を行っていることを検出処理済みと呼ぶ。同様に未検出区間250はM-アイコン1032（検出区間605）の人物“B”に対して検出未処理であり、未検出区間252はM-アイコン1033（検出区間606）の人物“C”に対して検出未処理であることを示している。これによって、検出の対象となる人物に関して検出処理が行われたM-アイコンと行われていないM-アイコンの表示がIDXウインドウ上で可能になる。
【００６２】
またこの検出未処理の表示は、アタッチをしたM-アイコンの側面にも反映される。例えば、人物“B”についての検出結果を考える。操作はターゲットイメージ632をアタッチすることで実行する。ターゲットイメージ632をアタッチすると、M-アイコン1032については人物“B”に対して検出未処理であり、またM-アイコンの側面の幅はそのM-アイコン自身のフレーム数を示しているので、検出未処理の未検出期間250を示す色が図9のようにM-アイコン1032の側面の全面に表示される。図９ (a)，(b)，(c)は、図１のM-アイコン1031〜1033の側面に、人物“B”についての検出結果が表示されていることを示す図である。図６と同様に、領域604はM-アイコン1031の領域、領域605はM-アイコン1032の領域、領域606はM-アイコン1033の領域をそれぞれ示す。
【００６３】
これにより検出未処理のM-アイコンの明示が編集用ウィンドウ上1000でも可能となる。
【００６４】
更に、人物“A”，“B”，“C”の検出処理に用いた色の組合せのデータがM-アイコンのデータ構造に保存してあるので、検出未処理のM-アイコン部分にこれを適用することが可能となる。例えば，人物“C”について未検出区間251と252が示す検出未処理の区間、すなわちM-アイコン1031と1033に検出処理を行う場合を次に述べる。まずターゲットイメージ633をアタッチし、それから検出ボタン242をクリックする。その結果、M-アイコン1031と1033とが人物“C”の検出処理で用いられた色の組合せデータで検出処理される。
【００６５】
以上述べた検出結果の例を図１０に示す。図１０は、本発明のIDXウインドウの一実施例を示す図である。図１と同じものには同じ番号を付してある。その他、6003はIDXウインドウ、280は新たに検出された部分を表す検出区間、282は新たな非検出区間である。このように、図１０には検出区間280と検出されない非検出区間282が新たに追加されている。
【００６６】
この機能には以下の様な長所がある。まず人物“C”の検出処理をM-アイコン1031と1033に対して行うとき、再度色の組合せを指定する必要がない。また保存された色の組合せデータをそのまま使うため、M-アイコン1032と同じ条件で検出処理を行うことができる。更にM-アイコンごとに検出結果のデータが格納されているので、人物“C”に関する検出結果が存在しないM-アイコン1031と1033だけを見つけ出して、そのM-アイコンのみ検出処理を行うことも可能となる。これによって検出処理の時間短縮が図ることができる。
【００６７】
次にIDXウィンドウの機能向上について述べる。
まず、検出結果のコンバイン（結合）機能である。この機能は、例えば人物“A”と人物“B”が友人同士だったとして、二人の検出結果を友人同士という枠組で、１つにまとめて扱いたい場合などに用いる。まとめて扱う方法として、人物“A”か人物“B”どちらか一方でもいるフレームを新たな検出区間とするか、人物“A”と人物“B”が一緒にいるフレームを検出区間とするかの２通りの方法がある。操作は人物“A”のターゲットイメージ631と人物“B”ターゲットイメージ632をアタッチした後、結合ボタン243をクリックすることで行う。図１１はコンバインの一実施例を説明する図である。図１０と同じものには同じ番号を付している。その他、6002はIDXウインドウ、380は検出区間、383は非検出区間、387はコンバインマーク、661は人物“A”と人物“B”とがどちらか一方がいるフレームの検出結果を表すを検出区間グラフ、663はターゲットイメージである。
【００６８】
図１１において、検出区間グラフ661には、人物“A”か人物“B”どちらか一方でもいるフレームを新たな検出区間とする場合の検出区間380が表示されている。またターゲットイメージ663は、アタッチした内で最も上に位置している人物“A”のターゲットイメージ631が表示され、ターゲットイメージの左上部分に結合を表すコンバインマーク387（例えば、“C”）が付加される。なお人物“C”の検出結果については、その表示が一つ上の段に詰めて表示される。
【００６９】
またこれとは逆のアンコンバイン（結合解除）機能も設ける。これはコンバインされた検出結果を元に戻す機能である。操作はコンバインされたターゲットイメージ663をアタッチした後、結合解除ボタン244をマウスでクリックすることで行う。その結果、図１の状態に戻る。
【００７０】
この結合・結合解除機能によって、それぞれの人物で分けられていた検出結果を「友人同士」などの抽象的な内容で整理・統合することが可能となる。
【００７１】
次に検出結果の削除機能について述べる。これは必要が無くなった検出結果をM-アイコンのデータ構造から削除する機能である。操作は、例えば人物“A”の検出結果を削除する場合、ターゲットイメージ631をアタッチした後、キーボード3090のデリートキーを押す。この結果、人物“A”に関する検出結果はM-アイコンのデータ構造から削除され、IDXウィンドウ上からも消去される。そして残りの人物“B”と“C”に関する検出結果が上に詰められてIDXウィンドウ上に表示される。
【００７２】
次に、プレビュー機能について述べる。プレビュー機能とは検出処理によって得られた検出区間だけをムービー再生する機能である。操作は、例えば人物“A”の検出区間をプレビューする場合、人物“A”のターゲットイメージ631をアタッチした後、プレビューボタン245をクリックすることで行う。この結果動画像再生ウィンドウが編集用ウィンドウ1000に表示され、再生をすると検出区間214〜215のフレームのみがプレビューされる。これによって、検出区間を動画像で確認することができる。
【００７３】
次にインフォメーション機能について述べる。インフォメーション機能とは、検出結果に対して検出処理を行った人物の情報などをM-アイコンのデータ構造に格納する機能である。操作は、例えば人物“A”に関する情報を見たい場合もしくは記録したい場合、人物“A”のターゲットイメージ631をアタッチした後、インフォメーションボタン246をクリックすることで行う。これによって、人物"A"についての検出結果に人物“A”に対する情報（例えば氏名、生年月日など）を付加することができる。
【００７４】
次に検出結果の修正操作は、例えば人物“A”の検出結果について修正をしたい場合は、人物“A”のターゲットイメージ631をアタッチした後、修正ボタン248をクリックすることで行う。
【００７５】
最後に、検出区間グラフ内に表示される検出結果の可視範囲を調節する機能について述べる。この検出結果の可視範囲の調整は可視範囲調整スライダー247をドラッグすることで行う。可視範囲調整スライダー247に表示されている数字が１の場合、検出区間グラフの可視範囲は1秒、即ち、30フレームになる。この可視範囲調整スライダー247を動かすことによって、検出区間やM-アイコンのフレーム数の表示幅を自由に変化させることができる。この機能を用いると、どんなに長いフレーム数を有するM-アイコンの表示でも表示幅を縮小して一覧表示ができるし、またわずか1フレームの検出区間でも表示幅を拡大して表示できるのである。可視範囲調整スライダー247に表示されている数字の単位は、任意に設定でき、例えば、フレーム数であってもよい。
【００７６】
上述の実施例では、画像検出方法を説明する一例として、登場する人物を検出する例をあげた。しかし、特徴的な色の組合せを指定することにより、人物以外を対象とした画像を検出することができることは自明であり、また、上記で説明した以外の検出方法であっても、本発明の適用が可能であることは言うまでもない。
【００７７】
【発明の効果】
以上のように本発明によれば、検出処理の結果をM-アイコンのデータ構造に格納することによって、検出処理が行われたM-アイコンと行われていないM-アイコンの明示がIDXウィンドウ上及びM-アイコンの側面で可能となる。
【００７８】
本発明の第二の効果としては、検出処理に用いた色の組み合わせのデータをM-アイコンのデータ構造に保存しておくことによって、別の未検出処理のM-アイコンだけを検出処理することが可能となる。
【００７９】
本発明の第三に効果として、検出結果に対するコンバイン・アンコンバイン機能、削除機能、プレビュー機能、インフォメーション機能、及び可視範囲調節機能を新たに追加することによってIDXウィンドウ上の高機能化が図れた。
【図面の簡単な説明】
【図１】 本発明のIDXウインドウの一実施例を示す図。
【図２】 従来の人物検出を説明するIDウインドウを示す図。
【図３】 動画像編集装置の一構成例を示すブロック図。
【図４】 編集用ウィンドウの一表示例を示す図。
【図５】 本発明のIDXウインドウの一実施例を示す図。
【図６】 従来のIDXウインドウの表示例を示す図。
【図７】 本発明のIDXウインドウの一実施例を示す図。
【図８】 従来の編集用ウインドウの一例を示す図。
【図９】 M-アイコンの側面に人物検出の結果が表示されていることを示す図。
【図１０】 本発明のIDXウインドウの一実施例を示す図。
【図１１】 本発明のIDXウインドウの一実施例を示す図。
【図１２】 M-アイコンの側面に人物検出の結果が表示されていることを示す図。
【図１３】 従来の人物検出結果の確認や修正を行うIDウインドウの表示例を示す図。
【符号の説明】
12，13，14：IDXアイコン、 80：IDウインドウ、 237，238，239：検出結果表示欄、 240：新規ボタン、 241：クローズボタン、 242：検出ボタン、 243：結合ボタン、 244：結合解除ボタン、 245：プレビューボタン、 246：インフォメーションボタン、 247：可視範囲調整スライダー、 248：修正ボタン、 250，251，252：未検出区間、 280：検出区間、 282：非検出区間、 300：IDウインドウ、 301：OKボタン、 302：キャンセルボタン、 303：スライダーつまみ、 304：スライドカーソル、 305：拡大表示画像、 306：拡大表示エリア、 307：オブジェクトボタン、 308：色指定枠、 309：サーチボタン、 311：静止画ビュースライダー、 312：オブジェクト名記入欄、 313：オブジェクト枠調整ボタン、 314：検出区間追加ボタン、 315：検出区間削除ボタン、 321〜330：フレーム画像、 380：検出区間、 383：非検出区間、 809：フィルムイメージ、 600，600′：IDXウインドウ、 603：検出範囲表示エリア、 604，605，606：領域、 611：ターゲット表示欄、 614：検出区間、 616：非検出区間、 631，632，633：ターゲットイメージ、 634，635，636：人名、 637，638，639：検出区間グラフ、 640， 641：スライダ、 650：検出結果表示欄、 800，801，802，802′，803：検出矢印、 804，805，806，807，808：オブジェクト枠、 809，809′：フィルムイメージ、 810：マウスポインタ、 811，812：検出区間、 813，814，823，824：フレーム画像、 815：ビギンボタン、 816：エンドボタン、 817，818，820，821，822：画素領域、 1000：編集用ウィンドウ、 1010：編集エリア、 1020：素材エリア、 1030，1031，1032，1033，‥‥‥，103K，103M，103N，‥‥‥： M-アイコン、 1040：ツリー構造、 1050：編集機能ボタン群、 1051：登場人物検出ボタン、 1052：ツリー構造作成ボタン、 1070：，1080， 1090：スライダ、 1210： M-アイコン、 1220：シーン画像を表すM-アイコン、 1230：１つ以上のシーン画像で構成したM-アイコン、 1240：動画像（番組）を表すM-アイコン、 3010：CPU、 3020：メモリ、 3030：カット変化点検出部、 3040：画像再生装置、 3050：ビデオインターフェース、 3060：情報記憶装置、 3070：フレームバッファ、 3080：モニタ、 3090：入力装置、 3100：バス、 3110：画像信号出力端子、 6000，6001，6002，6003：IDXウインドウ、

Claims (3)

1. 複数のフレーム画像で構成するカット画像または複数のカット画像で構成するシーン画像を代表する代表画像のGUI（Graphical User Interface）画面操作によって、編集画面に階層構造状を構成して編集する動画像編集装置において、
   前記代表画像で代表される複数のフレーム画像の中から、所望の人物が存在するフレーム画像を検出し、該検出結果を常に前記階層構造状の最下位に格納すると共に前記検出結果に前記所望の人物に関する情報を付加し、該付加した所望の人物に関する情報に基づき複数の検出結果を結合し、該結合した検出結果の代表画像に結合の識別記号を付加して表示したことを特徴とする画像検出方法。
2. 請求項１に記載の画像検出方法において、
   前記検出結果表示画面上で、前記検出結果を削除することを特徴とする画像検出方法。
3. 請求項1記載の画像検出方法において、
   前記結合された複数の検出結果を元の状態に戻すことを特徴とする画像検出方法。

Images