JPWO2005117434A1 - デジタル画像入力装置及びその方法 - Google Patents

Abstract

ＶＢＩ（Ｖｅｒｔｉｃａｌ Ｂｌａｎｋｉｎｇ Ｉｎｔｅｒｖａｌ）データも有効データとして活用できるデジタル画像入力装置及び方法を提供する。デジタル画像入力装置として、画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、前記キャプチャされたデータを格納する記憶部と、前記記憶部に格納されたデータを読み出して出力する画像出力部と、前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備える。

Description

本発明は、デジタル画像データをキャプチャして出力するデジタル画像入力装置に関し、特に、入力されるデジタル画像データに含まれるＶＢＩ（Ｖｅｒｔｉｃａｌ Ｂｌａｎｋｉｎｇ Ｉｎｔｅｒｖａｌ）データの取り扱いに関する。

動画等がデジタル化された画像データをキャプチャして出力する装置が知られている。このような装置においては、入力されたデジタル画像データのうち、実際に表示される画像データ（例えば、ＩＴＵ−Ｒ６５６規格でいうところのアクティブデータ（図４のアクティブビデオ期間（ＡＣＴＩＶＥ ＶＩＤＥＯ ＰＥＲＩＯＤ）のデータ））のみをキャプチャして、記憶部で保持し、キャプチャされた画像を出力することが行われている。また、関連する技術として、例えば下記特許文献１が知られている。
特開２００１−８１６２号公報

通常は、前述のように実際に表示される画像データのみをキャプチャしても問題はない。しかし、入力されたデジタル画像データに字幕データやデジタル画像コピー制御信号等のＶＢＩデータが重畳されている場合には、このようなＶＢＩデータが取り込まれないので、本来であれば実際に表示される画像データと同時に出力されるべき、文字データやコピープロテクトのための情報を出力することができなくなる。これは、コンテンツ保護の観点でも、大きな問題となる。外付けのＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等でＶＢＩデータの処理を行えば、この問題を解決することができるが、これによると、ハードウェアコストの増大を招いてしまう。

本発明は、デジタル画像データのキャプチャを行う場合に、実際に表示される画像データだけではなく、ＶＢＩデータをも有効データとして活用できるデジタル画像入力装置及び方法を提供することを目的とする。

本発明は、デジタル画像入力装置として、画像データとＶＢＩ（Ｖｅｒｔｉｃａｌ Ｂｌａｎｋｉｎｇ Ｉｎｔｅｒｖａｌ）データとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、前記キャプチャされたデータを格納する記憶部と、前記記憶部に格納されたデータを読み出して出力する画像出力部と、前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備えるものである。

これによると、入力されたデジタル画像データに含まれるＶＢＩデータを取得することができるので、実際に表示される画像データと同時に、ＶＢＩデータとして伝送された情報（例えば、文字データやコピープロテクトのための情報）を出力することができる。

また、前記デジタル画像入力装置において、圧縮された画像符号化データの復号を行い、その結果を出力する画像復号化部を更に備え、前記記憶部は、前記画像復号化部で復号されて得られた画像データを更に格納するものであり、前記画像出力部は、前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を、前記記憶部から読み出して出力するものであることが好ましい。

これによると、画像符号化データの復号を行いながらデジタル画像データのキャプチャを行う場合に、ＶＢＩデータを取得して出力することができる。

また、前記デジタル画像入力装置において、前記制御部は、画像データが出力される際に、前記記憶部に格納されたＶＢＩデータを垂直帰線期間に重畳させて出力するように、制御を行うものであることが好ましい。

また、前記デジタル画像入力装置において、前記制御部は、前記記憶部に記憶されたＶＢＩデータが解析されて得られた文字データを、その文字を表す画像に展開してＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）データとして前記記憶部に格納させ、かつ、画像データが出力される際に、前記ＯＳＤデータを重畳させて出力するように、制御を行うものであることが好ましい。

また、前記デジタル画像入力装置において、前記制御部は、ＶＢＩデータをキャプチャする際に、輝度データに重畳されたデータをキャプチャし、色差データに重畳されたデータをキャプチャしないように、前記画像キャプチャ部を制御することが好ましい。

また、本発明に係る他のデジタル画像入力装置は、画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、圧縮された画像符号化データの復号を行い、その結果を出力する画像復号化部と、前記キャプチャされたデータ及び前記画像復号化部で復号されて得られた画像データを格納する記憶部と、前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を、前記記憶部から読み出して出力する画像出力部と、前記キャプチャを行う際に、画像データをキャプチャせず、ＶＢＩデータをキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備えるものである。

これによると、画像符号化データの復号を行いながら、デジタル画像データに含まれるＶＢＩデータを取得して出力することができる。

また、本発明に係るデジタル画像入力方法は、画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行う画像キャプチャステップと、圧縮された画像符号化データの復号を行う画像復号化ステップと、前記画像キャプチャステップでキャプチャされたデータ及び前記画像復号化ステップで復号されて得られた画像データを格納する記憶ステップと、前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を出力する画像出力ステップとを備え、画像キャプチャステップは、前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶ステップで格納することができるようにするものである。

本発明によると、デジタル画像データをキャプチャする際に、このデータに含まれるＶＢＩデータを損なうことなく取得することができる。ＶＢＩデータとして伝送された字幕データやデジタル画像コピー制御信号等を、キャプチャされた画像データ等に付加して出力することができるので、コンテンツ作成者の本来の意図に沿って画像等の再生を行うことが可能となる。

図１は、本発明の第１の実施形態に係るデジタル画像入力装置のブロック図である。 図２（ａ）は、ＭＰＥＧ方式で符号化された画像データの代表的なデータ構造を示す説明図である。図２（ｂ）は、図２（ａ）の各フレームを伝送される順に並べた説明図である。 図３は、図１の画像復号化部に入力される画像符号化データの復号について示すタイミングチャートである。 図４は、ＩＴＵ−Ｒ６５６規格のデジタル画像データを示す説明図である。 図５は、図１の画像キャプチャ部の構成の例を示すブロック図である。 図６は、図５の画像キャプチャ制御部の制御フローを示すフローチャートである。 図７（ａ）は、ＶＢＩデータを他のデータと共に転送する場合において、転送されるデータの範囲を示す概念図である。図７（ｂ）は、ＶＢＩデータを他のデータとは分けて転送する場合において、転送されるデータの範囲を示す概念図である。 図８は、ＩＴＵ−Ｒ６５６規格のデータの形式を示す説明図である。 図９は、図１の画像キャプチャ部に入力されるデジタル画像データに関するタイミングチャートである。 図１０は、画像符号化データの復号と、デジタル画像データのキャプチャ動作とについて示すタイミングチャートである。 図１１は、第２の実施形態における画像キャプチャ制御部の制御フローを示すフローチャートである。 図１２は、第２の実施形態において転送されるデータを示す概念図である。 図１３は、第２の実施形態における、画像符号化データの復号と、デジタル画像データのキャプチャ動作とについて示すタイミングチャートである。 図１４は、図１の記憶部へ転送されたＶＢＩデータに対する処理について示すフローチャートである。 図１５は、ＶＢＩデータを解析した結果を出力信号に重畳する場合の処理について示すフローチャートである。

符号の説明

１２ 画像復号化部
１４ 画像キャプチャ部
１６ 記憶部
１８ 画像出力部
２２ 制御部
３２ スタートコード検出部
３４ 内部記憶部
３６ 画像キャプチャ制御部

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
第１の実施形態においては、デジタル画像入力装置において、画像符号化データの復号を行いながら、デジタル画像データのキャプチャを行う場合について説明する。

図１は、本発明の第１の実施形態に係るデジタル画像入力装置のブロック図である。図１のデジタル画像入力装置は、画像復号化部１２と、画像キャプチャ部１４と、記憶部１６と、画像出力部１８と、制御部２２とを備えている。

画像復号化部１２は、入力された画像符号化データＣＤを復号して、得られた結果を記憶部１６に出力する。画像符号化データＣＤは、画像が圧縮されて得られたデータであって、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従って画像が符号化されたデータである。

画像キャプチャ部１４には、デジタル画像データＶＤが入力されている。画像キャプチャ部１４は、デジタル画像データＶＤをキャプチャし、キャプチャされたデータを記憶部１６に出力する。デジタル画像データＶＤは、例えばＩＴＵ−Ｒ６５６規格に従った画像データである。

記憶部１６は、画像復号化部１２及び画像キャプチャ部１４から出力されたデータを格納し、制御部２２の指示に従って画像出力部１８に出力する。画像出力部１８は、制御部２２の指示に従って、復号された画像データとキャプチャされたデータとのうちの少なくとも一方を、記憶部１６から読み出して出力する。

図２（ａ）は、ＭＰＥＧ方式で符号化された画像データの代表的なデータ構造を示す説明図である。図２（ｂ）は、図２（ａ）の各フレームを伝送される順に並べた説明図である。図２においては、動画の１シーケンスを分割した、符号化の単位であるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）は、１５フレームを有している。そのうち、１フレームがＩピクチャ、４フレームがＰピクチャ、１０フレームがＢピクチャである。ここで、Ｉピクチャはフレーム内符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャはフレーム間双方向予測符号化画像である。

具体的には、図２（ａ）において、矢印の起点のフレームを参照して、矢印の終点のフレームの符号化が行われる。すなわち、フレームＩ２は、このフレームのみでフレーム内符号化されている。フレームＰ５はフレームＩ２を参照して、フレームＰ８はフレームＰ５を参照して、フレーム間予測符号化されている。フレームＢ０，Ｂ１はフレームＰ’１４及びＩ２を参照して、フレームＢ３，Ｂ４はフレームＩ２及びＰ５を参照して、フレーム間予測符号化されている（フレームＰ’１４は、直前のＧＯＰのフレーム）。画像データは、実際には図２（ｂ）のような順番で符号化され、伝送される。復号の際に必要とされるフレームを、復号されるフレームよりも先に復号しておくことができるようにするためである。

図３は、図１の画像復号化部１２に入力される画像符号化データの復号について示すタイミングチャートである。図２に示されているＧＯＰ構造のストリームを再生する場合について説明する。図３においては、１フレーム毎に映像の垂直同期信号（Ｓｙｎｃ）を示している。これらの垂直同期信号の間隔は２Ｖ（Ｖはフィールド毎の同期信号の間隔）である。記憶部１６は、復号結果を記憶させておく領域として、フレームメモリＡＡ，ＡＢ，ＡＣ，ＢＡ，ＢＢ，ＢＣを有しているものとする。

画像復号化部１２は、入力された画像符号化データの先頭フレームであるフレームＩ２の復号を行い、その結果をフレームメモリＡＡに格納させる。次に、画像復号化部１２は、フレームＢ０の復号を行いフレームメモリＡＣに復号結果を格納させる。これと同時に、制御部２２は、画像出力部１８から、このフレームＢ０の復号結果を出力させることができる。すると、この復号結果を受け取った表示器（図示せず）は、フレームＢ０を表示することができる。

以下、画像復号化部１２は、同様に復号を行う。現在のフレームがＩピクチャ及びＰピクチャの場合には、画像復号化部１２は、フレームメモリＡＡ，ＡＢのうち、格納されているピクチャが古い方のフレームメモリに復号結果を書き込む。すると、制御部２２は、画像出力部１８から、現在のフレームの直前に復号されたＩピクチャ又はＰピクチャを出力させることができる。また、現在のフレームがＢピクチャの場合には、画像復号化部１２は、フレームメモリＡＣに復号結果を書き込む。すると、制御部２２は、画像出力部１８から、現在復号中のフレームを出力させることができる。

図４は、ＩＴＵ−Ｒ６５６規格のデジタル画像データを示す説明図である。図４において、各ラインに含まれるデータは左から右の順に伝送され、ラインは上から下の順に伝送される。

ＩＴＵ−Ｒ６５６規格においては、水平方向に関しては、各ラインは、ブランク期間Ｈ＿Ｂｌａｎｋのデータ、アクティブ期間Ｈ＿Ａｃｔｉｖｅのデータ、ブランク期間Ｈ＿Ｂｌａｎｋのデータの順に並んだデータを有している。アクティブ期間Ｈ＿Ａｃｔｉｖｅとブランク期間Ｈ＿Ｂｌａｎｋとの境界において、すなわち、アクティブ期間Ｈ＿Ａｃｔｉｖｅのデータに隣接するブランク期間Ｈ＿Ｂｌａｎｋのデータとして、スタートコードＳＡＶ及びエンドコードＥＡＶと呼ばれる識別子が挿入されている。

また、垂直方向に関しては、ブランク期間Ｖ＿Ｂｌａｎｋのライン、アクティブ期間Ｖ＿Ａｃｔｉｖｅのライン（以下ではアクティブラインと称する）、ブランク期間Ｖ＿Ｂｌａｎｋのラインの順にラインが並んでいる。アクティブ期間Ｖ＿Ａｃｔｉｖｅとブランク期間Ｖ＿Ｂｌａｎｋとの境界において、識別子は挿入されない。ここで、アクティブ期間Ｖ＿Ａｃｔｉｖｅであって、かつ、アクティブ期間Ｈ＿Ａｃｔｉｖｅであるような期間を、アクティブビデオ期間（ＡＣＴＩＶＥ ＶＩＤＥＯ ＰＥＲＩＯＤ）と称することとする。アクティブビデオ期間のデータは、実際に表示される画像データであって、アクティブデータと呼ばれる。

図５は、図１の画像キャプチャ部１４の構成の例を示すブロック図である。画像キャプチャ部１４は、スタートコード検出部３２と、内部記憶部３４と、画像キャプチャ制御部３６とを備えている。

スタートコード検出部３２は、入力されたデジタル画像データからスタートコードの検出を行う。ＩＴＵ−Ｒ６５６規格に準拠したデジタル画像データが入力される場合には、スタートコード検出部３２は、例えば、スタートコードＳＡＶ及びエンドコードＥＡＶを検出して、スタートコードＳＡＶとエンドコードＥＡＶとの間にあるアクティブ期間Ｈ＿Ａｃｔｉｖｅのデータをキャプチャして内部記憶部３４に転送し、現在処理中のライン番号やフィールドの情報、内部記憶部３４への転送状況等を、画像キャプチャ制御部３６に出力する。画像キャプチャ制御部３６は、スタートコード検出部３２から受け取った情報を用いて、内部記憶部３４に記憶されている画像符号化データを記憶部１６へ転送させる。

ここでは、図１のデジタル画像入力装置が画像キャプチャ制御部３６と制御部２２とを備えることとしているが、制御部が画像キャプチャ制御部３６としても動作するようにしてもよい。また、スタートコードＳＡＶやエンドコードＥＡＶを検出する場合について説明したが、これに代えて、例えば、ＩＴＵ−Ｒ６０１規格等に準拠したデジタル画像データが入力される場合には、水平同期又は垂直同期のためのデータＨ／Ｖ Ｓｙｎｃを用いるようにしてもよい。

図６は、図５の画像キャプチャ制御部３６の制御フローを示すフローチャートである。図７（ａ）は、ＶＢＩデータを他のデータと共に転送する場合において、転送されるデータの範囲を示す概念図である。図７（ｂ）は、ＶＢＩデータを他のデータとは分けて転送する場合において、転送されるデータの範囲を示す概念図である。画像キャプチャ制御部３６は、制御部２２の指示に従って、以下の処理を行う。

図６のステップＳ１１において、画像キャプチャ制御部３６は、スタートコード検出部３２から内部記憶部３４への１ライン分のデータ転送が完了したか否かを判断する。転送が完了していれば、ステップＳ１２に進み、転送が完了していなければ、処理を終了する。

データ転送は、図７（ａ）のように、ＶＢＩデータが重畳されたラインとアクティブラインとを含む１フィールドの全てのラインをまとめて転送するようにしてもよいし、図７（ｂ）のように、ＶＢＩデータが重畳されたラインを含む領域とアクティブラインを含む領域とを分けて転送するようにしてもよい。

ステップＳ１２において、画像キャプチャ制御部３６は、転送が完了したラインは必要なラインであるか否かを判断する。このラインが必要なラインであれば、ステップＳ１３に進み、必要なラインでなければ、処理を終了する。必要なラインには、ＶＢＩデータが重畳されたラインが含まれているものとする。必要なラインは、図１のデジタル画像入力装置の外部から指定してもらうようにしてもよいし、あらかじめ決めておいたラインであってもよい。

ステップＳ１３において、内部記憶部３４は、転送が完了したラインを記憶部１６へ転送する。このとき、転送された１フィールドの全てのラインを記憶部１６の１つの領域に順に格納させてもよいし、ＶＢＩデータが重畳されたラインを含む領域とアクティブラインを含む領域とを記憶部１６の２つの領域にそれぞれ格納させてもよい。

ステップＳ１４において、画像キャプチャ制御部３６は、１フィールド分のＶＢＩデータの転送が完了したか否かを判断する。完了していれば、ステップＳ１５に進み、完了していなければ、処理を終了する。

ステップＳ１５において、画像キャプチャ制御部３６は、ＶＢＩデータ転送完了通知、転送先アドレス、及び転送したフィールドのパリティ等を図１のデジタル画像入力装置の外部に出力して、処理を終了する。図６の処理は、繰り返し行われる。

図８は、ＩＴＵ−Ｒ６５６規格のデータの形式を示す説明図である。ＩＴＵ−Ｒ６５６では、図８に示されているように、Ｃｂ、Ｙ、Ｃｒ、Ｙ（Ｙは輝度データ、Ｃｂ，Ｃｒは色差データ）の順でデータが転送されるが、ＶＢＩデータが実際に重畳されるのは、輝度データＹの時のみである。そこで、スタートコード検出部３２は、ＶＢＩデータが重畳されているラインについては、輝度データＹに重畳されたデータのみをキャプチャして、内部記憶部３４へ転送し、色差データＣｂ，Ｃｒに重畳されたデータをキャプチャしない。これにより、バンド幅の低減、及び内部記憶部３４の容量を削減することが可能となる。

図９は、図１の画像キャプチャ部１４に入力されるデジタル画像データＶＤに関するタイミングチャートである。図９においては、１フィールド毎に映像の垂直同期信号（Ｓｙｎｃ）を示している。これらの垂直同期信号の間隔はＶである。

入力された画像は、記憶部１６のフレームメモリＢＡ，ＢＢ，ＢＣに順番に格納される。デジタル画像データＶＤの最初のフィールドＦ０Ｔ（以下では、Ｆの次の数はフレームの番号、末尾のＴはトップフィールド、末尾のＢはボトムフィールドを表す）のＶＢＩデータの転送が完了した時点で、画像キャプチャ制御部３６は、ＶＢＩデータ転送完了通知を外部に対して出力する。

ＶＢＩデータ転送完了通知を受け取った外部の制御装置は、記憶部１６に格納されたＶＢＩデータを解析し、その結果をＶＢＩ解析結果として制御部２２に通知し、制御部２２に設定を行う。すなわち、制御部２２には、ＶＢＩデータが文字データであることをＶＢＩ解析結果が示している場合には、文字データを表現するためのＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）データ等のためのフォントデータが設定され、ＶＢＩデータがコピー関連情報であることをＶＢＩ解析結果が示している場合には、画像出力部１８から出力する画像データに重畳するためのＶＢＩデータが設定される。

制御部２２は、ＶＢＩ解析結果に従って設定された文字データやＶＢＩデータを画像データ信号に重畳して出力するように、画像出力部１８に指示を行う。以降、フィールドＦ０Ｂ，Ｆ１Ｔ，Ｆ１Ｂ，…についても同様の動作が繰り返される。

なお、これらの制御タイミング、フレームメモリの数やデジタル画像データの出力遅延については、システムによって様々な値をとることができる。

図１０は、画像符号化データＣＤの復号と、デジタル画像データＶＤのキャプチャ動作とについて示すタイミングチャートである。図１０は、図３と図９との内容を組み合わせて示している。実際に画像出力部１８から出力される画像データは、
（Ａ）復号された画像符号化データのみ
（Ｂ）キャプチャされたデジタル画像データのみ
（Ｃ）２画面出力等を行うため、（Ａ）と（Ｂ）とを合成したもの
の３つの場合がある。

図１０に示されているように、画像出力部１８は、まず、（Ａ）の復号された画像符号化データのみを出力しており、その後、（Ｂ）を出力するように外部の制御装置から要求された場合には（図１０の入力切替（１））、キャプチャされたデジタル画像データのみを出力する。そして、（Ｃ）を出力するように外部の制御装置から要求された場合には（図１０の入力切替（２））、画像出力部１８は、（Ａ）と（Ｂ）とを合成して、２画面出力等を行うための画像データを出力する。

なお、本実施形態では、画像符号化データの復号を行いながら、デジタル画像データをキャプチャして出力する場合について説明したが、画像復号化部１２を備えず、デジタル画像データのキャプチャ及び出力のみを行うようにしてもよい。

このように、図１のデジタル画像入力装置によると、入力されたデジタル画像データＶＤに含まれるＶＢＩデータを取得することができるので、実際に表示される画像データと同時に、ＶＢＩデータとして伝送された、文字データやコピープロテクトのための情報等を出力することができる。

（第２の実施形態）
第２の実施形態では、デジタル画像入力装置において、画像符号化データの復号を行いながら、入力されたデジタル画像データのうち、ＶＢＩデータのみをキャプチャする場合について説明する。画像符号化データの復号については、第１の実施形態と同様に説明することができるので、ここでは、入力されたデジタル画像データのキャプチャ動作についてのみ説明する。第２の実施形態では、画像キャプチャ制御部として、図５の画像キャプチャ制御部３６を変形したものについて説明する。

図１１は、第２の実施形態における画像キャプチャ制御部の制御フローを示すフローチャートである。図１２は、第２の実施形態において転送されるデータを示す概念図である。画像キャプチャ制御部は、制御部２２の指示に従って、以下の処理を行う。

図１１のステップＳ２１において、画像キャプチャ制御部は、スタートコード検出部３２から内部記憶部３４への１ライン分のデータ転送が完了したか否かを判断する。転送が完了していれば、ステップＳ２２に進み、転送が完了していなければ、処理を終了する。データ転送の際には、図７（ａ），（ｂ）の場合とは異なり、図１２のように、ＶＢＩデータが重畳されたラインを含む領域のみを転送し、アクティブラインは転送しない。

ステップＳ２２において、画像キャプチャ制御部は、転送が完了したラインはＶＢＩデータが含まれているラインであるか否かを判断する。このラインが、ＶＢＩデータが含まれているラインであれば、ステップＳ２３に進み、そうでなければ、処理を終了する。ここでは、外部から指定されたライン、又は、あらかじめ決めておいたラインを、ＶＢＩデータが含まれているラインとして扱う。

ステップＳ２３において、内部記憶部３４は、転送が完了したラインを記憶部１６へ転送する。ステップＳ２４において、画像キャプチャ制御部は、１フィールド分のＶＢＩデータの転送が完了したか否かを判断する。完了していれば、ステップＳ２５に進み、完了していなければ、処理を終了する。ステップＳ２５は、図６のステップＳ１５と同様であるので、説明を省略する。図１１の処理は、繰り返し行われる。

図１３は、第２の実施形態における、画像符号化データの復号と、デジタル画像データのキャプチャ動作とについて示すタイミングチャートである。図１３が図１０と異なる点は、入力されたデジタル画像データについては、記憶部１６のフレームメモリに書き出さない点である。画像キャプチャ部１４は、ＶＢＩデータを含む指定されたラインのみについて、記憶部１６への転送を行う。外部に対しては、第１の実施形態の場合と同様に、ＶＢＩデータ転送完了通知が出力されるので、外部の制御装置は、この情報を用いてＶＢＩデータの解析を行うことが可能となる。

なお、第１及び第２の実施形態では、外部の制御装置がＶＢＩデータについて解析した後、図１のデジタル画像入力装置に対してＶＢＩデータ設定を行う場合について説明したが、図１のデジタル画像入力装置に対してはＶＢＩデータ設定を行わず、ＶＢＩデータ解析以降の処理を外部の制御装置で行うようにしてもよい。

（第３の実施形態）
第３の実施形態では、デジタル画像入力装置において、画像符号化データの復号を行いながら、デジタル画像データのキャプチャを行い、かつ、キャプチャされたＶＢＩデータについての解析を行う場合について説明する。ここでは、記憶部１６に転送されたＶＢＩデータに対する処理についてのみ説明する。その他については、第１の実施形態と同様であるので、説明を省略する。第３の実施形態では、画像キャプチャ制御部として、図５の画像キャプチャ制御部３６を変形したものについて説明する。

図１４は、図１の記憶部１６へ転送されたＶＢＩデータに対する処理について示すフローチャートである。ステップＳ３１において、画像キャプチャ制御部は、ＶＢＩデータの転送が完了したか否かの判断を行う。転送が完了している場合にはステップＳ３２に進み、その他の場合には処理を終了する。

ステップＳ３２において、画像キャプチャ制御部は、取得したＶＢＩデータが文字情報を示すものであるか否かの判断を行う。デジタル画像入力装置に接続された外部の制御装置は、アプリケーションレベルでＶＢＩデータが何に基づいて作成されているかを知っているので、画像キャプチャ制御部は、外部の制御装置からの通知に従って判断を行うことができる。ＶＢＩデータが文字情報である場合には、ステップＳ３３に進み、その他の場合には、ステップＳ３６に進む。

ステップＳ３３において、画像キャプチャ制御部は、文字の作成を行うか否かを判断する。文字の作成を行うべきであると判断した場合には、ステップＳ３４に進み、その他の場合には、ステップＳ３６に進む。ステップＳ３４において、画像キャプチャ制御部は、記憶部１６に格納されたＶＢＩデータを解析し、表示すべき文字を識別する。

その後、ステップＳ３５において、画像キャプチャ制御部は、識別された文字のフォントデータ及びＯＳＤデータを作成する。すなわち、識別された文字のデータをその文字を表す画像に展開し、そのデータをＯＳＤデータとし、処理を終了する。ステップＳ３６において、画像キャプチャ制御部は、記憶部１６に格納されたＶＢＩデータに基づいて、ＩＴＵ−Ｒ６５６等の規格に適合した制御信号を作成し、処理を終了する。

図１５は、ＶＢＩデータを解析した結果を出力信号に重畳する場合の処理について示すフローチャートである。ステップＳ４１において、画像キャプチャ制御部は、ＶＢＩデータの解析が完了しているか否か、すなわち、図１４のステップＳ３５又はＳ３６の処理が終了しているか否かの判断を行う。解析が完了している場合には、ステップＳ４２に進み、その他の場合は、処理を終了する。

ステップＳ４２において、画像キャプチャ制御部は、処理中のフィールドがＶＢＩデータを重畳するフィールドであるか否かを判断する。重畳するフィールドであれば、ステップＳ４３に進み、その他の場合は、処理を終了する。ステップＳ４３において、画像キャプチャ制御部は、重畳するのは、文字データであるか否かを判断する。文字データであれば、ステップＳ４６に進み、その他の場合は、ステップＳ４４に進む。

ステップＳ４４において、画像キャプチャ制御部は、処理中のラインがＶＢＩデータを重畳するラインであるか否かを判断する。ＶＢＩデータを重畳するラインである場合には、ステップＳ４５に進み、その他の場合は、処理を終了する。ステップＳ４５において、画像キャプチャ制御部は、画像データが画像出力部１８から出力される際に垂直帰線期間において重畳されるように、図１４のステップＳ３６で作成した制御信号を新たなＶＢＩデータとして記憶部１６に格納させ、処理を終了する。ステップＳ４６において、画像キャプチャ制御部は、図１４のステップＳ３５で作成したＯＳＤデータの表示処理、すなわち、ＯＳＤデータの記憶部１６への格納を行い、処理を終了する。

画像キャプチャ制御部は、制御部２２の指示に従って、以上の図１４、図１５の処理を行う。図１４、図１５の処理は、繰り返し行われる。

なお、ここでは文字データの処理と制御信号の処理とを行うこととしたが、いずれか一方の処理のみを行うこととしてもよい。

なお、以上の実施形態では、図６のステップＳ１４において、１フィールド分のＶＢＩデータの転送が完了しているか否かを判断したが、例えば２フィールド分のＶＢＩデータの転送が完了しているか否かを判断してもよいし、ＶＢＩデータだけではなく、アクティブデータをも含めて転送が完了しているか否かを判断するようにしてもよい。

また、以上の実施形態では、ＶＢＩデータが重畳されているラインについては、輝度データＹに重畳されたデータのみを転送すると説明したが、色差データＣｂ，Ｃｒをも転送するようにしてもよい。

また、以上の実施形態では、画像符号化データはＭＰＥＧ方式により符号化されているものとし、デジタル画像データはＩＴＵ−Ｒ６５６規格に準拠しているものとしたが、これには限らない。例えば、画像の形式が４８０ｐであってもよいし、ＩＴＵ−Ｒ６０１等の他の規格に準拠したデータがデジタル画像データとして入力されてもよい。

また、以上の実施形態において図２及び図３を参照して説明した画像符号化データの復号方法は、一例に過ぎず、他の方法であってもよい。

以上のように、本発明は、デジタル画像データのキャプチャを行う場合にＶＢＩデータを損なうことがないので、デジタル画像入力装置等として有用である。

本発明は、デジタル画像データをキャプチャして出力するデジタル画像入力装置に関し、特に、入力されるデジタル画像データに含まれるＶＢＩ（Vertical Blanking Interval）データの取り扱いに関する。

動画等がデジタル化された画像データをキャプチャして出力する装置が知られている。このような装置においては、入力されたデジタル画像データのうち、実際に表示される画像データ（例えば、ＩＴＵ−Ｒ６５６規格でいうところのアクティブデータ（図４のアクティブビデオ期間（ACTIVE VIDEO PERIOD）のデータ））のみをキャプチャして、記憶部で保持し、キャプチャされた画像を出力することが行われている。また、関連する技術として、例えば下記特許文献１が知られている。
特開２００１−８１６２号公報

通常は、前述のように実際に表示される画像データのみをキャプチャしても問題はない。しかし、入力されたデジタル画像データに字幕データやデジタル画像コピー制御信号等のＶＢＩデータが重畳されている場合には、このようなＶＢＩデータが取り込まれないので、本来であれば実際に表示される画像データと同時に出力されるべき、文字データやコピープロテクトのための情報を出力することができなくなる。これは、コンテンツ保護の観点でも、大きな問題となる。外付けのＬＳＩ（Large-Scale Integration）等でＶＢＩデータの処理を行えば、この問題を解決することができるが、これによると、ハードウェアコストの増大を招いてしまう。

本発明は、デジタル画像データのキャプチャを行う場合に、実際に表示される画像データだけではなく、ＶＢＩデータをも有効データとして活用できるデジタル画像入力装置及び方法を提供することを目的とする。

本発明は、デジタル画像入力装置として、画像データとＶＢＩ（Vertical Blanking Interval）データとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、前記キャプチャされたデータを格納する記憶部と、前記記憶部に格納されたデータを読み出して出力する画像出力部と、前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備えるものである。

これによると、入力されたデジタル画像データに含まれるＶＢＩデータを取得することができるので、実際に表示される画像データと同時に、ＶＢＩデータとして伝送された情報（例えば、文字データやコピープロテクトのための情報）を出力することができる。

また、前記デジタル画像入力装置において、圧縮された画像符号化データの復号を行い、その結果を出力する画像復号化部を更に備え、前記記憶部は、前記画像復号化部で復号されて得られた画像データを更に格納するものであり、前記画像出力部は、前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を、前記記憶部から読み出して出力するものであることが好ましい。

これによると、画像符号化データの復号を行いながらデジタル画像データのキャプチャを行う場合に、ＶＢＩデータを取得して出力することができる。

また、前記デジタル画像入力装置において、前記制御部は、画像データが出力される際に、前記記憶部に格納されたＶＢＩデータを垂直帰線期間に重畳させて出力するように、制御を行うものであることが好ましい。

また、前記デジタル画像入力装置において、前記制御部は、前記記憶部に記憶されたＶＢＩデータが解析されて得られた文字データを、その文字を表す画像に展開してＯＳＤ（On Screen Display）データとして前記記憶部に格納させ、かつ、画像データが出力される際に、前記ＯＳＤデータを重畳させて出力するように、制御を行うものであることが好ましい。

また、前記デジタル画像入力装置において、前記制御部は、ＶＢＩデータをキャプチャする際に、輝度データに重畳されたデータをキャプチャし、色差データに重畳されたデータをキャプチャしないように、前記画像キャプチャ部を制御することが好ましい。

また、本発明に係る他のデジタル画像入力装置は、画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、圧縮された画像符号化データの復号を行い、その結果を出力する画像復号化部と、前記キャプチャされたデータ及び前記画像復号化部で復号されて得られた画像データを格納する記憶部と、前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を、前記記憶部から読み出して出力する画像出力部と、前記キャプチャを行う際に、画像データをキャプチャせず、ＶＢＩデータをキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備えるものである。

これによると、画像符号化データの復号を行いながら、デジタル画像データに含まれるＶＢＩデータを取得して出力することができる。

また、本発明に係るデジタル画像入力方法は、画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行う画像キャプチャステップと、圧縮された画像符号化データの復号を行う画像復号化ステップと、前記画像キャプチャステップでキャプチャされたデータ及び前記画像復号化ステップで復号されて得られた画像データを格納する記憶ステップと、前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を出力する画像出力ステップとを備え、画像キャプチャステップは、前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶ステップで格納することができるようにするものである。

本発明によると、デジタル画像データをキャプチャする際に、このデータに含まれるＶＢＩデータを損なうことなく取得することができる。ＶＢＩデータとして伝送された字幕データやデジタル画像コピー制御信号等を、キャプチャされた画像データ等に付加して出力することができるので、コンテンツ作成者の本来の意図に沿って画像等の再生を行うことが可能となる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
第１の実施形態においては、デジタル画像入力装置において、画像符号化データの復号を行いながら、デジタル画像データのキャプチャを行う場合について説明する。

図１は、本発明の第１の実施形態に係るデジタル画像入力装置のブロック図である。図１のデジタル画像入力装置は、画像復号化部１２と、画像キャプチャ部１４と、記憶部１６と、画像出力部１８と、制御部２２とを備えている。

画像復号化部１２は、入力された画像符号化データＣＤを復号して、得られた結果を記憶部１６に出力する。画像符号化データＣＤは、画像が圧縮されて得られたデータであって、例えばＭＰＥＧ（Moving Picture Experts Group）規格に従って画像が符号化されたデータである。

画像キャプチャ部１４には、デジタル画像データＶＤが入力されている。画像キャプチャ部１４は、デジタル画像データＶＤをキャプチャし、キャプチャされたデータを記憶部１６に出力する。デジタル画像データＶＤは、例えばＩＴＵ−Ｒ６５６規格に従った画像データである。

記憶部１６は、画像復号化部１２及び画像キャプチャ部１４から出力されたデータを格納し、制御部２２の指示に従って画像出力部１８に出力する。画像出力部１８は、制御部２２の指示に従って、復号された画像データとキャプチャされたデータとのうちの少なくとも一方を、記憶部１６から読み出して出力する。

図２（ａ）は、ＭＰＥＧ方式で符号化された画像データの代表的なデータ構造を示す説明図である。図２（ｂ）は、図２（ａ）の各フレームを伝送される順に並べた説明図である。図２においては、動画の１シーケンスを分割した、符号化の単位であるＧＯＰ（Group Of Pictures）は、１５フレームを有している。そのうち、１フレームがＩピクチャ、４フレームがＰピクチャ、１０フレームがＢピクチャである。ここで、Ｉピクチャはフレーム内符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャはフレーム間双方向予測符号化画像である。

具体的には、図２（ａ）において、矢印の起点のフレームを参照して、矢印の終点のフレームの符号化が行われる。すなわち、フレームＩ２は、このフレームのみでフレーム内符号化されている。フレームＰ５はフレームＩ２を参照して、フレームＰ８はフレームＰ５を参照して、フレーム間予測符号化されている。フレームＢ０，Ｂ１はフレームＰ’１４及びＩ２を参照して、フレームＢ３，Ｂ４はフレームＩ２及びＰ５を参照して、フレーム間予測符号化されている（フレームＰ’１４は、直前のＧＯＰのフレーム）。画像データは、実際には図２（ｂ）のような順番で符号化され、伝送される。復号の際に必要とされるフレームを、復号されるフレームよりも先に復号しておくことができるようにするためである。

図３は、図１の画像復号化部１２に入力される画像符号化データの復号について示すタイミングチャートである。図２に示されているＧＯＰ構造のストリームを再生する場合について説明する。図３においては、１フレーム毎に映像の垂直同期信号（Ｓｙｎｃ）を示している。これらの垂直同期信号の間隔は２Ｖ（Ｖはフィールド毎の同期信号の間隔）である。記憶部１６は、復号結果を記憶させておく領域として、フレームメモリＡＡ，ＡＢ，ＡＣ，ＢＡ，ＢＢ，ＢＣを有しているものとする。

画像復号化部１２は、入力された画像符号化データの先頭フレームであるフレームＩ２の復号を行い、その結果をフレームメモリＡＡに格納させる。次に、画像復号化部１２は、フレームＢ０の復号を行いフレームメモリＡＣに復号結果を格納させる。これと同時に、制御部２２は、画像出力部１８から、このフレームＢ０の復号結果を出力させることができる。すると、この復号結果を受け取った表示器（図示せず）は、フレームＢ０を表示することができる。

以下、画像復号化部１２は、同様に復号を行う。現在のフレームがＩピクチャ及びＰピクチャの場合には、画像復号化部１２は、フレームメモリＡＡ，ＡＢのうち、格納されているピクチャが古い方のフレームメモリに復号結果を書き込む。すると、制御部２２は、画像出力部１８から、現在のフレームの直前に復号されたＩピクチャ又はＰピクチャを出力させることができる。また、現在のフレームがＢピクチャの場合には、画像復号化部１２は、フレームメモリＡＣに復号結果を書き込む。すると、制御部２２は、画像出力部１８から、現在復号中のフレームを出力させることができる。

図４は、ＩＴＵ−Ｒ６５６規格のデジタル画像データを示す説明図である。図４において、各ラインに含まれるデータは左から右の順に伝送され、ラインは上から下の順に伝送される。

ＩＴＵ−Ｒ６５６規格においては、水平方向に関しては、各ラインは、ブランク期間H＿Blankのデータ、アクティブ期間H＿Activeのデータ、ブランク期間H＿Blankのデータの順に並んだデータを有している。アクティブ期間H＿Activeとブランク期間H＿Blankとの境界において、すなわち、アクティブ期間H＿Activeのデータに隣接するブランク期間H＿Blankのデータとして、スタートコードＳＡＶ及びエンドコードＥＡＶと呼ばれる識別子が挿入されている。

また、垂直方向に関しては、ブランク期間V＿Blankのライン、アクティブ期間V＿Activeのライン（以下ではアクティブラインと称する）、ブランク期間V＿Blankのラインの順にラインが並んでいる。アクティブ期間V＿Activeとブランク期間V＿Blankとの境界において、識別子は挿入されない。ここで、アクティブ期間V＿Activeであって、かつ、アクティブ期間H＿Activeであるような期間を、アクティブビデオ期間（ACTIVE VIDEO PERIOD）と称することとする。アクティブビデオ期間のデータは、実際に表示される画像データであって、アクティブデータと呼ばれる。

図５は、図１の画像キャプチャ部１４の構成の例を示すブロック図である。画像キャプチャ部１４は、スタートコード検出部３２と、内部記憶部３４と、画像キャプチャ制御部３６とを備えている。

スタートコード検出部３２は、入力されたデジタル画像データからスタートコードの検出を行う。ＩＴＵ−Ｒ６５６規格に準拠したデジタル画像データが入力される場合には、スタートコード検出部３２は、例えば、スタートコードＳＡＶ及びエンドコードＥＡＶを検出して、スタートコードＳＡＶとエンドコードＥＡＶとの間にあるアクティブ期間H＿Activeのデータをキャプチャして内部記憶部３４に転送し、現在処理中のライン番号やフィールドの情報、内部記憶部３４への転送状況等を、画像キャプチャ制御部３６に出力する。画像キャプチャ制御部３６は、スタートコード検出部３２から受け取った情報を用いて、内部記憶部３４に記憶されている画像符号化データを記憶部１６へ転送させる。

ここでは、図１のデジタル画像入力装置が画像キャプチャ制御部３６と制御部２２とを備えることとしているが、制御部が画像キャプチャ制御部３６としても動作するようにしてもよい。また、スタートコードＳＡＶやエンドコードＥＡＶを検出する場合について説明したが、これに代えて、例えば、ＩＴＵ−Ｒ６０１規格等に準拠したデジタル画像データが入力される場合には、水平同期又は垂直同期のためのデータH/V Syncを用いるようにしてもよい。

図６は、図５の画像キャプチャ制御部３６の制御フローを示すフローチャートである。図７（ａ）は、ＶＢＩデータを他のデータと共に転送する場合において、転送されるデータの範囲を示す概念図である。図７（ｂ）は、ＶＢＩデータを他のデータとは分けて転送する場合において、転送されるデータの範囲を示す概念図である。画像キャプチャ制御部３６は、制御部２２の指示に従って、以下の処理を行う。

図６のステップＳ１１において、画像キャプチャ制御部３６は、スタートコード検出部３２から内部記憶部３４への１ライン分のデータ転送が完了したか否かを判断する。転送が完了していれば、ステップＳ１２に進み、転送が完了していなければ、処理を終了する。

データ転送は、図７（ａ）のように、ＶＢＩデータが重畳されたラインとアクティブラインとを含む１フィールドの全てのラインをまとめて転送するようにしてもよいし、図７（ｂ）のように、ＶＢＩデータが重畳されたラインを含む領域とアクティブラインを含む領域とを分けて転送するようにしてもよい。

ステップＳ１２において、画像キャプチャ制御部３６は、転送が完了したラインは必要なラインであるか否かを判断する。このラインが必要なラインであれば、ステップＳ１３に進み、必要なラインでなければ、処理を終了する。必要なラインには、ＶＢＩデータが重畳されたラインが含まれているものとする。必要なラインは、図１のデジタル画像入力装置の外部から指定してもらうようにしてもよいし、あらかじめ決めておいたラインであってもよい。

ステップＳ１３において、内部記憶部３４は、転送が完了したラインを記憶部１６へ転送する。このとき、転送された１フィールドの全てのラインを記憶部１６の１つの領域に順に格納させてもよいし、ＶＢＩデータが重畳されたラインを含む領域とアクティブラインを含む領域とを記憶部１６の２つの領域にそれぞれ格納させてもよい。

ステップＳ１４において、画像キャプチャ制御部３６は、１フィールド分のＶＢＩデータの転送が完了したか否かを判断する。完了していれば、ステップＳ１５に進み、完了していなければ、処理を終了する。

ステップＳ１５において、画像キャプチャ制御部３６は、ＶＢＩデータ転送完了通知、転送先アドレス、及び転送したフィールドのパリティ等を図１のデジタル画像入力装置の外部に出力して、処理を終了する。図６の処理は、繰り返し行われる。

図８は、ＩＴＵ−Ｒ６５６規格のデータの形式を示す説明図である。ＩＴＵ−Ｒ６５６では、図８に示されているように、Ｃｂ、Ｙ、Ｃｒ、Ｙ（Ｙは輝度データ、Ｃｂ，Ｃｒは色差データ）の順でデータが転送されるが、ＶＢＩデータが実際に重畳されるのは、輝度データＹの時のみである。そこで、スタートコード検出部３２は、ＶＢＩデータが重畳されているラインについては、輝度データＹに重畳されたデータのみをキャプチャして、内部記憶部３４へ転送し、色差データＣｂ，Ｃｒに重畳されたデータをキャプチャしない。これにより、バンド幅の低減、及び内部記憶部３４の容量を削減することが可能となる。

図９は、図１の画像キャプチャ部１４に入力されるデジタル画像データＶＤに関するタイミングチャートである。図９においては、１フィールド毎に映像の垂直同期信号（Ｓｙｎｃ）を示している。これらの垂直同期信号の間隔はＶである。

入力された画像は、記憶部１６のフレームメモリＢＡ，ＢＢ，ＢＣに順番に格納される。デジタル画像データＶＤの最初のフィールドＦ０Ｔ（以下では、Ｆの次の数はフレームの番号、末尾のＴはトップフィールド、末尾のＢはボトムフィールドを表す）のＶＢＩデータの転送が完了した時点で、画像キャプチャ制御部３６は、ＶＢＩデータ転送完了通知を外部に対して出力する。

ＶＢＩデータ転送完了通知を受け取った外部の制御装置は、記憶部１６に格納されたＶＢＩデータを解析し、その結果をＶＢＩ解析結果として制御部２２に通知し、制御部２２に設定を行う。すなわち、制御部２２には、ＶＢＩデータが文字データであることをＶＢＩ解析結果が示している場合には、文字データを表現するためのＯＳＤ（On Screen Display）データ等のためのフォントデータが設定され、ＶＢＩデータがコピー関連情報であることをＶＢＩ解析結果が示している場合には、画像出力部１８から出力する画像データに重畳するためのＶＢＩデータが設定される。

制御部２２は、ＶＢＩ解析結果に従って設定された文字データやＶＢＩデータを画像データ信号に重畳して出力するように、画像出力部１８に指示を行う。以降、フィールドＦ０Ｂ，Ｆ１Ｔ，Ｆ１Ｂ，…についても同様の動作が繰り返される。

なお、これらの制御タイミング、フレームメモリの数やデジタル画像データの出力遅延については、システムによって様々な値をとることができる。

図１０は、画像符号化データＣＤの復号と、デジタル画像データＶＤのキャプチャ動作とについて示すタイミングチャートである。図１０は、図３と図９との内容を組み合わせて示している。実際に画像出力部１８から出力される画像データは、
（Ａ）復号された画像符号化データのみ
（Ｂ）キャプチャされたデジタル画像データのみ
（Ｃ）２画面出力等を行うため、（Ａ）と（Ｂ）とを合成したもの
の３つの場合がある。

図１０に示されているように、画像出力部１８は、まず、（Ａ）の復号された画像符号化データのみを出力しており、その後、（Ｂ）を出力するように外部の制御装置から要求された場合には（図１０の入力切替（１））、キャプチャされたデジタル画像データのみを出力する。そして、（Ｃ）を出力するように外部の制御装置から要求された場合には（図１０の入力切替（２））、画像出力部１８は、（Ａ）と（Ｂ）とを合成して、２画面出力等を行うための画像データを出力する。

なお、本実施形態では、画像符号化データの復号を行いながら、デジタル画像データをキャプチャして出力する場合について説明したが、画像復号化部１２を備えず、デジタル画像データのキャプチャ及び出力のみを行うようにしてもよい。

このように、図１のデジタル画像入力装置によると、入力されたデジタル画像データＶＤに含まれるＶＢＩデータを取得することができるので、実際に表示される画像データと同時に、ＶＢＩデータとして伝送された、文字データやコピープロテクトのための情報等を出力することができる。

（第２の実施形態）
第２の実施形態では、デジタル画像入力装置において、画像符号化データの復号を行いながら、入力されたデジタル画像データのうち、ＶＢＩデータのみをキャプチャする場合について説明する。画像符号化データの復号については、第１の実施形態と同様に説明することができるので、ここでは、入力されたデジタル画像データのキャプチャ動作についてのみ説明する。第２の実施形態では、画像キャプチャ制御部として、図５の画像キャプチャ制御部３６を変形したものについて説明する。

図１１は、第２の実施形態における画像キャプチャ制御部の制御フローを示すフローチャートである。図１２は、第２の実施形態において転送されるデータを示す概念図である。画像キャプチャ制御部は、制御部２２の指示に従って、以下の処理を行う。

図１１のステップＳ２１において、画像キャプチャ制御部は、スタートコード検出部３２から内部記憶部３４への１ライン分のデータ転送が完了したか否かを判断する。転送が完了していれば、ステップＳ２２に進み、転送が完了していなければ、処理を終了する。データ転送の際には、図７（ａ），（ｂ）の場合とは異なり、図１２のように、ＶＢＩデータが重畳されたラインを含む領域のみを転送し、アクティブラインは転送しない。

ステップＳ２２において、画像キャプチャ制御部は、転送が完了したラインはＶＢＩデータが含まれているラインであるか否かを判断する。このラインが、ＶＢＩデータが含まれているラインであれば、ステップＳ２３に進み、そうでなければ、処理を終了する。ここでは、外部から指定されたライン、又は、あらかじめ決めておいたラインを、ＶＢＩデータが含まれているラインとして扱う。

ステップＳ２３において、内部記憶部３４は、転送が完了したラインを記憶部１６へ転送する。ステップＳ２４において、画像キャプチャ制御部は、１フィールド分のＶＢＩデータの転送が完了したか否かを判断する。完了していれば、ステップＳ２５に進み、完了していなければ、処理を終了する。ステップＳ２５は、図６のステップＳ１５と同様であるので、説明を省略する。図１１の処理は、繰り返し行われる。

図１３は、第２の実施形態における、画像符号化データの復号と、デジタル画像データのキャプチャ動作とについて示すタイミングチャートである。図１３が図１０と異なる点は、入力されたデジタル画像データについては、記憶部１６のフレームメモリに書き出さない点である。画像キャプチャ部１４は、ＶＢＩデータを含む指定されたラインのみについて、記憶部１６への転送を行う。外部に対しては、第１の実施形態の場合と同様に、ＶＢＩデータ転送完了通知が出力されるので、外部の制御装置は、この情報を用いてＶＢＩデータの解析を行うことが可能となる。

なお、第１及び第２の実施形態では、外部の制御装置がＶＢＩデータについて解析した後、図１のデジタル画像入力装置に対してＶＢＩデータ設定を行う場合について説明したが、図１のデジタル画像入力装置に対してはＶＢＩデータ設定を行わず、ＶＢＩデータ解析以降の処理を外部の制御装置で行うようにしてもよい。

（第３の実施形態）
第３の実施形態では、デジタル画像入力装置において、画像符号化データの復号を行いながら、デジタル画像データのキャプチャを行い、かつ、キャプチャされたＶＢＩデータについての解析を行う場合について説明する。ここでは、記憶部１６に転送されたＶＢＩデータに対する処理についてのみ説明する。その他については、第１の実施形態と同様であるので、説明を省略する。第３の実施形態では、画像キャプチャ制御部として、図５の画像キャプチャ制御部３６を変形したものについて説明する。

図１４は、図１の記憶部１６へ転送されたＶＢＩデータに対する処理について示すフローチャートである。ステップＳ３１において、画像キャプチャ制御部は、ＶＢＩデータの転送が完了したか否かの判断を行う。転送が完了している場合にはステップＳ３２に進み、その他の場合には処理を終了する。

ステップＳ３２において、画像キャプチャ制御部は、取得したＶＢＩデータが文字情報を示すものであるか否かの判断を行う。デジタル画像入力装置に接続された外部の制御装置は、アプリケーションレベルでＶＢＩデータが何に基づいて作成されているかを知っているので、画像キャプチャ制御部は、外部の制御装置からの通知に従って判断を行うことができる。ＶＢＩデータが文字情報である場合には、ステップＳ３３に進み、その他の場合には、ステップＳ３６に進む。

ステップＳ３３において、画像キャプチャ制御部は、文字の作成を行うか否かを判断する。文字の作成を行うべきであると判断した場合には、ステップＳ３４に進み、その他の場合には、ステップＳ３６に進む。ステップＳ３４において、画像キャプチャ制御部は、記憶部１６に格納されたＶＢＩデータを解析し、表示すべき文字を識別する。

その後、ステップＳ３５において、画像キャプチャ制御部は、識別された文字のフォントデータ及びＯＳＤデータを作成する。すなわち、識別された文字のデータをその文字を表す画像に展開し、そのデータをＯＳＤデータとし、処理を終了する。ステップＳ３６において、画像キャプチャ制御部は、記憶部１６に格納されたＶＢＩデータに基づいて、ＩＴＵ−Ｒ６５６等の規格に適合した制御信号を作成し、処理を終了する。

図１５は、ＶＢＩデータを解析した結果を出力信号に重畳する場合の処理について示すフローチャートである。ステップＳ４１において、画像キャプチャ制御部は、ＶＢＩデータの解析が完了しているか否か、すなわち、図１４のステップＳ３５又はＳ３６の処理が終了しているか否かの判断を行う。解析が完了している場合には、ステップＳ４２に進み、その他の場合は、処理を終了する。

ステップＳ４２において、画像キャプチャ制御部は、処理中のフィールドがＶＢＩデータを重畳するフィールドであるか否かを判断する。重畳するフィールドであれば、ステップＳ４３に進み、その他の場合は、処理を終了する。ステップＳ４３において、画像キャプチャ制御部は、重畳するのは、文字データであるか否かを判断する。文字データであれば、ステップＳ４６に進み、その他の場合は、ステップＳ４４に進む。

ステップＳ４４において、画像キャプチャ制御部は、処理中のラインがＶＢＩデータを重畳するラインであるか否かを判断する。ＶＢＩデータを重畳するラインである場合には、ステップＳ４５に進み、その他の場合は、処理を終了する。ステップＳ４５において、画像キャプチャ制御部は、画像データが画像出力部１８から出力される際に垂直帰線期間において重畳されるように、図１４のステップＳ３６で作成した制御信号を新たなＶＢＩデータとして記憶部１６に格納させ、処理を終了する。ステップＳ４６において、画像キャプチャ制御部は、図１４のステップＳ３５で作成したＯＳＤデータの表示処理、すなわち、ＯＳＤデータの記憶部１６への格納を行い、処理を終了する。

画像キャプチャ制御部は、制御部２２の指示に従って、以上の図１４、図１５の処理を行う。図１４、図１５の処理は、繰り返し行われる。

なお、ここでは文字データの処理と制御信号の処理とを行うこととしたが、いずれか一方の処理のみを行うこととしてもよい。

なお、以上の実施形態では、図６のステップＳ１４において、１フィールド分のＶＢＩデータの転送が完了しているか否かを判断したが、例えば２フィールド分のＶＢＩデータの転送が完了しているか否かを判断してもよいし、ＶＢＩデータだけではなく、アクティブデータをも含めて転送が完了しているか否かを判断するようにしてもよい。

また、以上の実施形態では、ＶＢＩデータが重畳されているラインについては、輝度データＹに重畳されたデータのみを転送すると説明したが、色差データＣｂ，Ｃｒをも転送するようにしてもよい。

また、以上の実施形態では、画像符号化データはＭＰＥＧ方式により符号化されているものとし、デジタル画像データはＩＴＵ−Ｒ６５６規格に準拠しているものとしたが、これには限らない。例えば、画像の形式が４８０ｐであってもよいし、ＩＴＵ−Ｒ６０１等の他の規格に準拠したデータがデジタル画像データとして入力されてもよい。

また、以上の実施形態において図２及び図３を参照して説明した画像符号化データの復号方法は、一例に過ぎず、他の方法であってもよい。

以上のように、本発明は、デジタル画像データのキャプチャを行う場合にＶＢＩデータを損なうことがないので、デジタル画像入力装置等として有用である。

図１は、本発明の第１の実施形態に係るデジタル画像入力装置のブロック図である。 図２（ａ）は、ＭＰＥＧ方式で符号化された画像データの代表的なデータ構造を示す説明図である。図２（ｂ）は、図２（ａ）の各フレームを伝送される順に並べた説明図である。 図３は、図１の画像復号化部に入力される画像符号化データの復号について示すタイミングチャートである。 図４は、ＩＴＵ−Ｒ６５６規格のデジタル画像データを示す説明図である。 図５は、図１の画像キャプチャ部の構成の例を示すブロック図である。 図６は、図５の画像キャプチャ制御部の制御フローを示すフローチャートである。 図７（ａ）は、ＶＢＩデータを他のデータと共に転送する場合において、転送されるデータの範囲を示す概念図である。図７（ｂ）は、ＶＢＩデータを他のデータとは分けて転送する場合において、転送されるデータの範囲を示す概念図である。 図８は、ＩＴＵ−Ｒ６５６規格のデータの形式を示す説明図である。 図９は、図１の画像キャプチャ部に入力されるデジタル画像データに関するタイミングチャートである。 図１０は、画像符号化データの復号と、デジタル画像データのキャプチャ動作とについて示すタイミングチャートである。 図１１は、第２の実施形態における画像キャプチャ制御部の制御フローを示すフローチャートである。 図１２は、第２の実施形態において転送されるデータを示す概念図である。 図１３は、第２の実施形態における、画像符号化データの復号と、デジタル画像データのキャプチャ動作とについて示すタイミングチャートである。 図１４は、図１の記憶部へ転送されたＶＢＩデータに対する処理について示すフローチャートである。 図１５は、ＶＢＩデータを解析した結果を出力信号に重畳する場合の処理について示すフローチャートである。

符号の説明

１２ 画像復号化部
１４ 画像キャプチャ部
１６ 記憶部
１８ 画像出力部
２２ 制御部
３２ スタートコード検出部
３４ 内部記憶部
３６ 画像キャプチャ制御部

Claims (8)

1. 画像データとＶＢＩ（Ｖｅｒｔｉｃａｌ Ｂｌａｎｋｉｎｇ Ｉｎｔｅｒｖａｌ）データとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、
   前記キャプチャされたデータを格納する記憶部と、
   前記記憶部に格納されたデータを読み出して出力する画像出力部と、
   前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備える
   デジタル画像入力装置。
2. 請求項１に記載のデジタル画像入力装置において、
   圧縮された画像符号化データの復号を行い、その結果を出力する画像復号化部を更に備え、
   前記記憶部は、
   前記画像復号化部で復号されて得られた画像データを更に格納するものであり、
   前記画像出力部は、
   前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を、前記記憶部から読み出して出力するものである
   ことを特徴とするデジタル画像入力装置。
3. 請求項１に記載のデジタル画像入力装置において、
   前記制御部は、
   画像データが出力される際に、前記記憶部に格納されたＶＢＩデータを垂直帰線期間に重畳させて出力するように、制御を行うものである
   ことを特徴とするデジタル画像入力装置。
4. 請求項１に記載のデジタル画像入力装置において、
   前記制御部は、
   前記記憶部に記憶されたＶＢＩデータが解析されて得られた文字データを、その文字を表す画像に展開してＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）データとして前記記憶部に格納させ、かつ、画像データが出力される際に、前記ＯＳＤデータを重畳させて出力するように、制御を行うものである
   ことを特徴とするデジタル画像入力装置。
5. 請求項１に記載のデジタル画像入力装置において、
   前記制御部は、
   ＶＢＩデータをキャプチャする際に、輝度データに重畳されたデータをキャプチャし、色差データに重畳されたデータをキャプチャしないように、前記画像キャプチャ部を制御するものである
   ことを特徴とするデジタル画像入力装置。
6. 画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行い、キャプチャされたデータを出力する画像キャプチャ部と、
   圧縮された画像符号化データの復号を行い、その結果を出力する画像復号化部と、
   前記キャプチャされたデータ及び前記画像復号化部で復号されて得られた画像データを格納する記憶部と、
   前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を、前記記憶部から読み出して出力する画像出力部と、
   前記キャプチャを行う際に、画像データをキャプチャせず、ＶＢＩデータをキャプチャして前記記憶部に出力し、格納させるように、前記画像キャプチャ部を制御する制御部とを備える
   デジタル画像入力装置。
7. 請求項６に記載のデジタル画像入力装置において、
   前記制御部は、
   ＶＢＩデータをキャプチャする際に、輝度データに重畳されたデータをキャプチャし、色差データに重畳されたデータをキャプチャしないように、前記画像キャプチャ部を制御するものである
   ことを特徴とするデジタル画像入力装置。
8. 画像データとＶＢＩデータとを含むデジタル画像データのキャプチャを行う画像キャプチャステップと、
   圧縮された画像符号化データの復号を行う画像復号化ステップと、
   前記画像キャプチャステップでキャプチャされたデータ及び前記画像復号化ステップで復号されて得られた画像データを格納する記憶ステップと、
   前記復号された画像データと前記キャプチャされたデータとのうちの少なくとも一方を出力する画像出力ステップとを備え、
   画像キャプチャステップは、
   前記キャプチャを行う際に、画像データだけではなく、ＶＢＩデータをもキャプチャして前記記憶ステップで格納することができるようにするものである
   デジタル画像入力方法。

Images