JPWO2009069254A1 - 動画像再生装置、デジタルカメラ、半導体集積回路および動画像再生方法 - Google Patents

Abstract

復号制御部（１０３）は、複数の通常符号データおよび高速符号データの各々から取得される画像を、表示部（１０５）が連続して表示するのに必要な時間分だけ、動画像復号部（１０１）が１番目の高速符号データの復号を開始するタイミングが所定タイミングより早くなるように、複数の通常符号データのうちの一部を、所定タイミングより早いタイミングで動画像復号部（１０１）に復号を開始させるように動画像復号部（１０１）を制御する。

Description

本発明は高速度撮影により得られた動画像符号化データを再生する動画像再生装置、デジタルカメラ、半導体集積回路および動画像再生方法に関し、特に通常撮影および高速度撮影により得られた、時間的に連続した２つの動画像符号化データを再生する動画像再生装置、デジタルカメラ、半導体集積回路および動画像再生方法に関する。

近年、デジタル動画像圧縮技術の進歩と、動画像圧縮の分野におけるアナログ記録からデジタル記録への遷移とによりデジタル動画圧縮の適用範囲が広がっている。また、動画像の記録メディアには、ＤＶＤ、ＢＤ（Blu-ray Disc）等が採用されている。また、ハードディスク装置に動画像を記録する場合、一般的に、動画像はＭＰＥＧ（Moving Picture Experts Group）−２規格等の動画像圧縮技術で圧縮される。また、最近では、動画像圧縮技術において、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）の技術が採用されている。同時に、動画撮影時の圧縮技術としてもＭＰＥＧ−４やＨ．２６４の技術が採用されている。また、家電製品である、デジタルビデオカメラやデジタルスチルカメラでは、ＭＰＥＧ−４やＨ．２６４の技術が採用されている。

一方、デジタルビデオカメラの動画撮影時の機能として、通常撮影に加え暗闇に対応したモード等の機能が追加され、各社の独自性を打ち出している。その追加機能の一つの技術として高速度撮影がある。高速度撮影に対応したビデオカメラ（以下、高速撮影対応カメラという）は以前から存在していた。しかしながら、高速撮影対応カメラは、撮影時のフレームレートを追求するため高コストとなりがちで製品として高価である。そのため、高速撮影対応カメラは、主に専門分野で使用されてきた。高速度撮影技術を家電製品であるデジタルビデオカメラやデジタルスチルカメラに搭載する場合、以下のことが行なわれている。たとえば、デジタルビデオカメラやデジタルスチルカメラでは、専門分野で要求されているフレームレートより低いフレームレートで動画像を撮影するための技術が使用されている。これにより、デジタルビデオカメラやデジタルスチルカメラのコストは、家電製品としてのコストの範囲内に収められている。

デジタルビデオカメラおよびデジタルスチルカメラで動画を撮影する際の信号の流れを説明する。まずＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の受光素子を持つイメージセンサで光電変換が行なわれる。この際、各受光素子では色の識別能力がないため、各受光素子毎にカラーフィルタを適用する事によりカラー撮像を実現している。

ただし、１画素に付きＲＧＢの３原色のカラーフィルタを用いると素子の規模が大きくなる。そのため、イメージセンサにおける各受光素子の配列は、一般的にはベイヤ（Ｂａｙｅｒ）配列となっている。ベイヤ配列は、１画素１原色に対応した配列である。ベイヤ配列の例を図１に示す。

このベイヤ配列で配列された各受光素子が受光した色信号のデータをＲＡＷデータと呼ぶ。ＲＡＷデータからデモザイク処理を行なう事でフルカラー画像が作成される。デモザイク処理は注目する１画素のＲＡＷデータとその周辺画素のＲＡＷデータとを用いて色補間処理を行い、注目する１画素のＲＡＷデータをＲＧＢの３原色のデータに変換する処理である（例えば、特許文献１参照）。場合によってはＲＧＢの３原色ではなく、ＲＡＷデータは、動画像圧縮に適したＹＵＶフォーマットに基づくＹＵＶデータに直接変換されることもある。

ここで、ＲＡＷデータは補間処理の基礎データとなる。そのため、色補間処理後のＲ・Ｇ・Ｂのデータそれぞれの分解能と比較して、ＲＡＷデータの分解能は大きくなっている。例えば、色補間処理後のＲのデータは８ビットの分解能を有し、ＲＡＷデータとしてのＲのデータは１２ビットの分解能を有する。

色補間処理後のＲＧＢ若しくはＹＵＶフォーマットの画像（以下、ＹＵＶ画像という）は動画像圧縮された後に記録メディアに記録される。再生装置は圧縮された動画像を再生（復号）し、表示装置に合わせた画像フォーマットに変換し表示する（例えば、非特許文献１）。

高速撮影対応カメラにおいて、高速度撮影を行なう場合１フレーム当たりの処理時間が短くなるため、イメージセンサから出力されたＲＡＷデータを処理して動画像圧縮処理までの時間が非常に短い。この短い期間にＲＡＷデータを処理することで、単位時間当たりの消費電力のピークが大きくなる。また、単位時間当たりの消費電力のピークが大きくなることに対応するために電源の補強が必要となり高速撮影対応カメラのコストが増加する。また、ピーク電力が大きくなる事で、発生する熱も大きくなり、高速撮影対応カメラ全体の熱対策も必要となる。

その対応策として、ＲＡＷデータを直接圧縮対象とすることで処理を削減する方法が考えられる。ＲＡＷデータを直接圧縮する方法は、静止画撮影時にしばしば用いられる技術である（例えば、特許文献２、特許文献３）。高速度撮影した符号データの再生時には、画像はスローモーション再生となる。そのため、スローモーション再生時における１フレーム当たりのＲＡＷデータを処理する時間は高速度撮影時におけるＲＡＷデータを処理する時間に比べると長い。そのため、ピーク電力を抑えることが可能となる。
特開２００４−１２８５８３号公報 特開２００５−２８６４１５号公報 特開２００３−１２５２０９号公報 「高画質ＭＰＥＧ−４方式デジタルムービーカメラ」（三洋電機技報Ｖｏｌ．３７ Ｎｏ．１ Ｊｕｎｅ ２００５ 通巻７６号 Ｐ．１６）

高速撮影対応カメラは、様々な使用方法がある。たとえば、陸上競技の撮影に高速撮影対応カメラを使用する場合において、競技者がゴールする瞬間をスローモーションで再生する必要がある場合があるとする。このような場合、高速撮影対応カメラにおいて、競技者がスタートした時点では、通常速度で撮影し、競技者がゴール付近に近づいたときに、高速度撮影に切り替えて使う事が想定される。この場合、高速撮影対応カメラにおいて、画像処理量の増大を抑え、ピーク電力を抑えるためには、通常撮影ではＹＵＶ画像を動画像圧縮し、高速度撮影に切り替えた時点でＲＡＷデータを直接圧縮する処理（以下、低電力高速撮影処理という）が行なわれる。

上記の低電力高速撮影処理により記録された通常撮影および高速度撮影の符号データは時間的に連続している。そのため、通常撮影および高速度撮影の符号データは連続して再生する必要がある。

通常撮影の符号データを復号するとＹＵＶ画像となる。一方、高速度撮影の符号データを復号するとＲＡＷデータとなる。そのため、復号により得られたＲＡＷデータに対し、さらに色補間処理を行いＹＵＶ画像へ変換する必要がある。そのため復号開始から表示までの時間を考えると、通常撮影の符号データと比べて高速度撮影の符号データは色補間処理を行なう時間が余分に必要となる。この場合、フレーム毎の高速度撮影の符号データの復号開始時間を通常撮影の符号データの復号開始時間と同じにした場合、表示装置における、高速度撮影の符号データに基づく最初の画像（フレーム）の表示タイミングが、所定の表示タイミングに間に合わない可能性がある。すなわち、高速度撮影の符号データに基づく最初の画像（フレーム）が表示されない場合が生じる。すなわち、異なる２種類の符号データに基づく動画像が、時間的連続性を保ちつつシームレスに再生されないという問題が生じる。

この場合、表示装置が表示する再生画像を見ているユーザは通常撮影と高速度撮影の切り替わりの時点で時間的連続性の途絶えを感じ、違和感を覚える。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、異なる２種類の符号データに基づく動画像を、時間的連続性を保ちつつシームレスに再生する事を可能とする動画像再生装置等を提供することである。

上述の課題を解決するために、この発明のある局面に従う動画像再生装置は、撮像素子から得られた複数のＲＡＷデータをそれぞれ色補間することにより得られる複数のＹＵＶデータをそれぞれ符号化した複数の第１符号データと、複数のＲＡＷデータをそれぞれ符号化した複数の第２符号データとを使用して、動画像を再生する装置である。動画像再生装置は、複数の第１符号データを復号した後、複数の第２符号データを復号する復号部と、データを記憶するための記憶部と、ＲＡＷデータをＹＵＶデータへ変換する色補間部と、画像を所定時間毎に更新表示する表示部と、復号部が復号を開始するタイミングを制御する制御部とを備える。複数の第１符号データの各々は、復号が開始されるタイミングが予め設定されており、複数の第２符号データの各々は、復号が開始されるタイミングが予め設定されており、制御部は、複数の第１符号データおよび第２符号データの各々から取得される画像を、表示部がシームレスに連続して表示するのに必要な時間である表示必要時間分だけ、復号部が１番目の第２符号データの復号を開始するタイミングが予め設定されている所定タイミングより早くなるように、複数の第１符号データのうちの一部を、予め設定されている所定タイミングより早いタイミングで復号部に復号を開始させるように復号部を制御し、復号部は、制御部による制御に従って、複数の第１符号データを順次復号するとともに、復号により得られた複数のＹＵＶデータを、復号した順に記憶部に記憶させ、かつ、複数の第２符号データを順次復号し、色補間部は、複数の第２符号データが順次復号されることにより得られる複数のＲＡＷデータをそれぞれ複数のＹＵＶデータへ変換するとともに、該複数のＹＵＶデータを、変換された順に、記憶部に記憶させ、表示部は、記憶部に記憶された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが記憶部に記憶された順で表示する。

すなわち、制御部は、複数の第１符号データおよび第２符号データの各々から取得される画像を、表示部がシームレスに連続して表示するのに必要な表示必要時間分だけ、復号部が１番目の第２符号データの復号を開始するタイミングが所定タイミングより早くなるように、複数の第１符号データのうちの一部を、所定タイミングより早いタイミングで復号部に復号を開始させるように復号部を制御する。復号部は、制御部による制御に従って、複数の第１符号データを復号するとともに、得られた複数のＹＵＶデータを、復号した順に記憶部に記憶させ、かつ、複数の第２符号データを復号する。色補間部は、複数の第２符号データから得られる複数のＲＡＷデータをそれぞれ複数のＹＵＶデータへ変換するとともに、該複数のＹＵＶデータを、変換された順に、記憶部に記憶させる。表示部は、記憶部に記憶された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが記憶部に記憶された順で表示する。

つまり、複数の第１符号データおよび第２符号データの各々から取得される画像を、表示部がシームレスに連続して表示するのに必要な表示必要時間分だけ、複数の第１符号データのうちの一部を、所定タイミングより早いタイミングで復号が開始される。

したがって、複数の第１符号データおよび第２符号データの各々から取得される画像をシームレスに連続して表示することができる。すなわち、異なる２種類の符号データに基づく動画像を、時間的連続性を保ちつつシームレスに再生する事が可能となる。そのため、異なる２種類の符号データに基づく動画像を再生する場合において、動画像を視るユーザに違和感を抱かせないようにすることができる。

本発明によれば、異なる２種類の符号データに基づく動画像を、時間的連続性を保ちつつシームレスに再生する事ができる。そのため、異なる２種類の符号データに基づく動画像を再生する場合において、動画像を視るユーザに違和感を抱かせないようにすることができる。

図１は、ベイヤ配列の例を示す図である。 図２は、本実施の形態における撮影装置の構成を示すブロック図である。 図３は、本実施の形態における動画像再生装置の構成を示すブロック図である。 図４は、復号制御部が行なう処理のフローチャートである。 図５は、復号制御部の内部構成を示すブロック図である。 図６は、符号データの復号処理を開始するタイミングを説明するための図である。 図７Ａは、調整処理Ａが行なわれない場合において、通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合のタイミングチャートを示す。 図７Ｂは、調整処理Ａが行なわれる場合において、通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合のタイミングチャートを示す。 図８は、動画像再生処理のフローチャートである。 図９は、本実施の形態の変形例において、復号制御部が行なう処理のフローチャートである。 図１０は、動画像再生処理Ａのフローチャートである。 図１１は、本実施の形態の変形例において、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合のタイミングチャートを示す。 図１２Ａは、デジタルスチルカメラとしての撮影装置１０００の概観図である。 図１２Ｂは、デジタルビデオカメラとしての撮影装置１０００の概観図である。

符号の説明

６０ データ記憶部
１００ 動画像再生装置
１０１ 動画像復号部
１０２ 色補間部
１０３ 復号制御部
１０４ 記憶部
１０５ 表示部
１０００ 撮影装置

＜第１の実施の形態＞
以下本発明の実施の形態について、図面を参照しながら説明する。

図２は、本実施の形態における撮影装置１０００の構成を示すブロック図である。撮影装置１０００は、動画撮影機能を有するデジタルビデオカメラまたはデジタルスチルカメラである。なお、撮影装置１０００は、デジタルビデオカメラまたはデジタルスチルカメラに限定されることなく、動画撮影機能を有する装置であれば、他の装置であってもよい。

また、撮影装置１０００は、撮影モードとして、動画を通常速度で撮影するモード（以下、通常撮影モードという）と、動画を高速に撮影するモード（以下、高速撮影モードという）とを有する。通常撮影モードで撮影された動画は、一例として、１／６０秒単位で撮影された複数の静止画像（フレーム）からなる動画であるとする。また、高速撮影モードで撮影された動画は、一例として、１／３００秒単位で撮影された複数の静止画像（フレーム）からなる動画であるとする。

図２に示されるように、撮影装置１０００は、撮像部５０と、データ記憶部６０と、動画像再生装置１００とを備える。

データ記憶部６０は、データを記憶するためのメモリである。

撮像部５０は、図示しないイメージセンサを有する。撮像部５０は、通常撮影モードまたは高速撮影モードで、イメージセンサを使用して被写体を撮影する撮影処理を行ない、該撮影処理により得られたデータを符号化する。

撮像部５０は、通常撮影モードで撮影処理を行なう場合、イメージセンサから得られる複数のＲＡＷデータの各々に対し色補間処理（デモザイク処理）を行なうことにより、当該複数のＲＡＷデータを、複数のＹＵＶデータに変換する。そして、撮像部５０は、当該複数のＹＵＶデータを符号化した符号データ（以下、通常撮影符号データという）を生成する。そして、撮像部５０は、通常撮影符号データを、データ記憶部６０に記憶させる。

通常撮影符号データは、動画像を構成する複数のフレームを得るための複数の符号データを含む。以下においては、通常撮影符号データに含まれる符号データを、通常符号データという。通常符号データは、復号されることにより、ＹＵＶデータとなる。通常撮影符号データに含まれる複数の通常符号データの各々は、復号が開始されるタイミング（以下、所定タイミングという）が予め設定されている。

撮像部５０は、高速撮影モードで撮影処理を行なう場合、イメージセンサから得られる複数のＲＡＷデータを符号化した符号データ（以下、高速撮影符号データという）を生成する。そして、撮像部５０は、高速撮影符号データを、データ記憶部６０に記憶させる。

高速撮影モードで撮影処理を行なう場合、各ＲＡＷデータを処理する時間は、通常撮影モードで撮影処理を行なう場合に比べ、非常に短くなる。この短い時間において、撮像部５０が色補間処理まで行なうと、単位時間当たりの消費電力が高くなる。単位時間あたりの消費電力が高くなれば、電源の補強が必要となり、装置のコストが増加する。そのため、撮像部５０は、単位時間当たりの消費電力を抑えるために、複数のＲＡＷデータ各々に対し、色補間処理（デモザイク処理）を行なわない。

高速撮影符号データは、動画像を構成する複数のフレームを得るための複数の符号データを含む。以下においては、高速撮影符号データに含まれる符号データを、高速符号データという。高速符号データは、復号されることにより、ＲＡＷデータとなる。高速撮影符号データに含まれる複数の高速符号データの各々は、復号が開始されるタイミング（以下、所定タイミングという）が予め設定されている。

本実施の形態においては、撮影装置１０００において、通常撮影モードで撮影している途中で、高速撮影モードで撮影する処理が行なわれたとする。この場合、データ記憶部６０には、通常撮影符号データと、高速撮影符号データとが記憶される。また、撮影装置１０００において、撮影処理が行なわれた場合、撮像部５０は、撮影処理における各種情報を示す撮影設定データを、通常撮影符号データまたは高速撮影符号データに関連付けてデータ記憶部６０に記憶させる。

以下においては、データ記憶部６０に記憶されている、通常撮影符号データ、高速撮影符号データおよび撮影設定データを、それぞれ、通常撮影符号データＮＳＤ、高速撮影符号データＨＳＤおよび撮影設定データＳＨＤという。

撮影設定データＳＨＤは、画像サイズ情報、再生情報、時間情報、フレーム情報、撮影フレームレート情報等を示す。画像サイズ情報は、撮影により得られる動画像の画像サイズ（たとえば、横１２８０ドット、縦７２０ドット）を示す。以下においては、画像サイズが、横Ｋドット、縦Ｌドットの場合、当該画像サイズを、“Ｋ×Ｌ”と記載する。

再生情報は、通常撮影符号データおよび高速撮影符号データの各々を特定する情報（例えば、ファイル名）、通常撮影符号データおよび高速撮影符号データの再生順等を示す。時間情報は、通常撮影符号データおよび高速撮影符号データの各々を再生した場合における、動画像の再生時間を示す。フレーム情報は、通常撮影符号データおよび高速撮影符号データの各々を再生した場合における、動画像のフレーム数を示す。

撮影フレームレート情報は、通常撮影モードまたは高速撮影モードにおいて、撮影処理を行なう場合のフレームレート（以下、撮影フレームレートという）を示す。たとえば、撮影処理において、１／６０秒単位で１フレームの撮影が行なわれる場合、撮影フレームレート情報が示す撮影フレームレートは、１／６０となる。

図３は、本実施の形態における動画像再生装置１００の構成を示すブロック図である。動画像再生装置１００は、撮影装置１０００における画像の再生部に相当する。また、この動画像再生装置１００に含まれる各部を回路化し、集約した半導体集積回路も同じく本発明に包含される。

図３の動画像再生装置１００は、動画像復号部１０１と、色補間部１０２と、復号制御部１０３と、記憶部１０４と、表示部１０５とを備える。動画像復号部１０１、色補間部１０２、復号制御部１０３および記憶部１０４の各々は、電気回路で構成されてもよい。この場合、電気回路で構成される、動画像復号部１０１、色補間部１０２、復号制御部１０３および記憶部１０４を備える動画像再生装置１００は、半導体集積回路である。

記憶部１０４は、データを記憶するためのメモリである。

データ記憶部６０に記憶されている通常撮影符号データＮＳＤを復号する場合、動画像復号部１０１は、データ記憶部６０に記憶されている撮影設定データＳＨＤが示す再生情報に基づいて、データ記憶部６０から通常撮影符号データＮＳＤを読み出す。そして、動画像復号部１０１は、通常撮影符号データＮＳＤに含まれる複数の通常符号データを順次復号し、復号により得られた複数のＹＵＶデータを、復号した順に記憶部１０４に記録させる。

データ記憶部６０に記憶されている高速撮影符号データＨＳＤを復号する場合、動画像復号部１０１は、データ記憶部６０に記憶されている撮影設定データＳＨＤが示す再生情報に基づいて、データ記憶部６０から高速撮影符号データＨＳＤを読み出す。そして、動画像復号部１０１は、高速撮影符号データＨＳＤに含まれる複数の高速符号データを順次復号し、復号により得られた複数のＲＡＷデータを、復号した順に、色補間部１０２へ送信する。

なお、動画像復号部１０１は、符号データ（通常符号データまたは高速符号データ）の復号を開始する毎に、復号開始通知信号ＤＳＮＳを、復号制御部１０３へ送信する。

色補間部１０２は、動画像復号部１０１からＲＡＷデータを受信する毎に、受信したＲＡＷデータに対し色補間処理（デモザイク処理）を行なうことにより、当該ＲＡＷデータをＹＵＶデータに変換し、当該ＹＵＶデータを記憶部１０４に記録させる。

表示部１０５は、記憶部１０４に記録された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが記憶部１０４に記憶された順で表示する。表示部１０５は、一例として、液晶パネルを使用した表示装置である。なお、表示部１０５は、液晶パネルを使用した表示装置に限定されることなく、たとえば、ＰＤＰ（Plasma Display Panel）を使用した表示装置であってもよい。表示部１０５は、詳細は後述するが、表示更新信号Ｖｓｙｎｃを、復号制御部１０３へ送信する。

なお、動画像再生装置１００は、記憶部１０４および表示部１０５を備えなくてもよい。この場合、記憶部１０４および表示部１０５は、動画像再生装置１００の外部に設けられる。この場合、動画像再生装置１００は、外部に設けられた記憶部１０４と接続される。また、この場合、動画像再生装置１００は、記憶部１０４に記録された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが記憶部１０４に記憶された順で外部に設けられた表示部１０５に表示させる処理を行なう。

図４は、復号制御部１０３が行なう処理のフローチャートである。

まず、復号制御部１０３は、復号時間Ａを算出する（Ｓ１１１）。復号時間Ａは、動画像復号部１０１が、通常符号データまたは高速符号データを復号するのに必要な時間である。

また、復号制御部１０３は、変換時間Ｂを算出する（Ｓ１１２）。変換時間Ｂは、色補間部１０２が、動画像復号部１０１から受信するＲＡＷデータをＹＵＶデータに変換するのに必要な時間である。

復号時間Ａおよび変換時間Ｂと、処理対象のデータ（通常符号データ、高速符号データ、ＲＡＷデータ等）に対応する画像のサイズとは比例関係がある。そのため、復号時間Ａおよび変換時間Ｂを算出するために、復号制御部１０３は、予め、基準となる画像サイズ、復号時間および変換時間を記憶（設定）しておく。

たとえば、復号制御部１０３は、予め、基準となる画像サイズ、復号時間および変換時間として、ＶＧＡサイズ（６４０×４８０）、復号時間１０ｍｓｅｃおよび変換時間５ｍｓｅｃを記憶しているとする。

復号制御部１０３は、データ記憶部６０に記憶されている撮影設定データＳＨＤが示す画像サイズ情報が示す画像サイズに基づいて、復号時間Ａおよび変換時間Ｂを算出する。ここで、画像サイズ情報が示す画像サイズが、ＨＤ（High Definition）サイズ（１２８０×７２０）であるとする。

この場合、基準となる画像サイズ（６４０×４８０）の画像の画素数に対し、撮影設定データＳＨＤが示す画像サイズ情報が示す画像サイズ（１２８０×７２０）の画像の画素数は３倍である。そのため、復号制御部１０３により算出される復号時間Ａは、基準となる復号時間１０ｍｓｅｃの３倍の時間である３０ｍｓｅｃとなる。また、復号制御部１０３により算出される変換時間Ｂは、基準となる変換時間５ｍｓｅｃの３倍の時間である１５ｍｓｅｃとなる。

また、復号制御部１０３は、表示更新時間Ｃを取得する（Ｓ１１３）。表示更新時間Ｃは、表示部１０５が表示する画像を更新するのに必要な時間である。表示更新時間Ｃは、予め決まった時間である。ここで、表示部１０５が、１秒間に６０フレームの画像更新を行なう装置であるとする。この場合、表示更新時間Ｃは、１／６０秒となる。表示更新時間Ｃを示す表示更新情報は、予め、データ記憶部６０に記憶されているとする。この場合、復号制御部１０３は、データ記憶部６０に記憶されている表示更新情報を参照することにより、表示更新時間Ｃを取得する。

また、復号制御部１０３は、調整可能時間Ｄを算出する（Ｓ１１４）。調整可能時間Ｄは、データ記憶部６０に記憶された複数の符号データ（通常符号データまたは高速符号データ）を使用して、動画像を再生する場合において、１つの符号データ単位で、該符号データの復号のタイミングを早くすることが可能な時間である。

調整可能時間Ｄは、（表示更新時間Ｃ−復号時間Ａ）の式により算出される。実際には、調整可能時間Ｄは、（表示更新時間Ｃ−復号時間Ａ−オーバーヘッド時間）の式により算出される。オーバーヘッド時間は、復号制御部１０３が、動画像復号部１０１に対し、特定の符号データの復号のタイミングを早くするための設定を行なうのに必要な時間である。オーバーヘッド時間は、予め設定した時間（例えば、０．７ｍｓｅｃ）としておく。

また、復号制御部１０３は、調整フレーム数Ｅを算出する（Ｓ１１５）。調整フレーム数Ｅは、復号のタイミングを早めるフレーム（符号データ）の数である。調整フレーム数Ｅは、（変換時間Ｂ／調整可能時間Ｄ）の式により算出される。

また、復号制御部１０３は、調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮを算出する（Ｓ１１６）。調整開始フレーム番号ＳＮは、復号のタイミングを早める最初のフレーム（符号データ）の番号である。また、調整終了フレーム番号ＥＮは、復号のタイミングを早める最後のフレーム（符号データ）の番号である。

調整開始フレーム番号ＳＮは、（通常撮影フレーム数ＮＦＮ−調整フレーム数Ｅ＋１）の式により算出される。通常撮影フレーム数ＮＦＮは、通常撮影符号データを再生した場合における動画像（以下、通常撮影動画像という）のフレーム数である。なお、本実施の形態では、通常撮影フレーム数ＮＦＮは、調整終了フレーム番号ＥＮと同一である。すなわち、通常撮影フレーム数ＮＦＮを算出することは、調整終了フレーム番号ＥＮを算出することになる。

通常撮影フレーム数ＮＦＮは、（通常撮影再生時間／撮影フレームレート）の式により算出される。上記式において、通常撮影再生時間は、撮影設定データＳＨＤが示す時間情報が示す通常撮影符号データの再生時における動画像の再生時間である。上記式において、撮影フレームレートは、撮影設定データＳＨＤが示す撮影フレームレート情報が示す撮影フレームレートである。

ここで、上記処理により算出された復号時間Ａおよび変換時間Ｂが、それぞれ、１５ｍｓｅｃおよび５ｍｓｅｃであるとする。また、表示更新時間Ｃは、１６．７ｍｓｅｃ（１／６０秒）であるとする。また、オーバーヘッド時間は、０．７ｍｓｅｃであるとする。この場合、調整可能時間Ｄは、（表示更新時間Ｃ−復号時間Ａ−オーバーヘッド時間）の式より、１６．７−１５−０．７＝１（ｍｓｅｃ）となる。

また、この場合、調整フレーム数Ｅは、（変換時間Ｂ／調整可能時間Ｄ）の式より、“５”となる。

ここで、通常撮影再生時間は、一例として、５秒であるとする。また、撮影フレームレートは、１／６０であるとする。この場合、通常撮影フレーム数ＮＦＮは、（通常撮影再生時間／撮影フレームレート）の式より、“３００”となる。すなわち、調整終了フレーム番号ＥＮは、“３００”となる。

この場合、調整開始フレーム番号ＳＮは、（通常撮影フレーム数ＮＦＮ−調整フレーム数Ｅ＋１）の式より、“２９６”である。すなわち、復号のタイミングを早める最初のフレーム（符号データ）の番号（調整開始フレーム番号ＳＮ）は、“２９６”である。

図５は、復号制御部１０３の内部構成を示すブロック図である。

復号制御部１０３は、調整時間算出部１０３１と、調整開始フレーム計算部１０３２と、復号データカウント部１０３３と、カウント比較部１０３４と、復号開始タイミング調整部１０３５とを含む。

調整時間算出部１０３１は、データ記憶部６０に記憶されている撮影設定データＳＨＤを、データ記憶部６０から読み出して、前述した処理（Ｓ１１１，Ｓ１１２）により、復号時間Ａ、変換時間Ｂを算出する。また、調整時間算出部１０３１は、前述した処理（Ｓ１１３）により、表示更新時間Ｃを取得する。また、調整時間算出部１０３１は、前述した処理（Ｓ１１４）により、調整可能時間Ｄを算出する。調整時間算出部１０３１は、算出した調整可能時間Ｄを、調整開始フレーム計算部１０３２および復号開始タイミング調整部１０３５へ通知する。

また、調整開始フレーム計算部１０３２は、通知された調整可能時間Ｄを使用して、前述した処理により、調整フレーム数Ｅ、調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮを算出する（Ｓ１１５，Ｓ１１６）。調整開始フレーム計算部１０３２は、算出した調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮを、カウント比較部１０３４に通知する。

復号データカウント部１０３３には、動画像復号部１０１が符号データ（通常符号データまたは高速符号データ）の復号を開始する毎に、動画像復号部１０１から、復号開始通知信号ＤＳＮＳを受信する。復号データカウント部１０３３は、復号データが復号された数をカウントするためのカウンタＤＫを有する。カウンタＤＫの初期値は“０”である。

復号データカウント部１０３３は、カウンタＤＫの値が“０”の場合、カウンタＤＫの値を、カウント比較部１０３４に通知する。そして、復号データカウント部１０３３は、復号開始通知信号ＤＳＮＳを受信する毎に、カウンタＤＫの値を“１”インクリメントする。復号データカウント部１０３３は、カウンタＤＫの値を変更する毎に、変更後のカウンタＤＫの値を、カウント比較部１０３４に通知する。

カウント比較部１０３４は、復号データカウント部１０３３から通知されるカウンタＤＫの値が通知される毎に、カウンタＤＫの値と、調整開始フレーム計算部１０３２から通知された調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮとを比較する。カウント比較部１０３４は、カウンタＤＫの値が、調整開始フレーム番号ＳＮ（例えば“２９６”）より１小さい値（例えば、“２９５”）となったときに、調整開始指示を、復号開始タイミング調整部１０３５へ送信する。

調整開始指示は、調整開始フレーム番号ＳＮ〜調整終了フレーム番号ＥＮ番目の符号データの各々の復号開始タイミングを、調整可能時間Ｄだけ早くするための指示である。

以下においては、Ｈ（自然数）番目のフレームに対応する符号データを、単に、Ｈ番目の符号データという。また、以下においては、Ｈ番目の符号データから得られるＹＵＶデータを、単に、Ｈ番目のＹＵＶデータという。

復号開始タイミング調整部１０３５は、カウント比較部１０３４から調整開始指示を受信していない場合、復号開始信号ＤＳＳを、表示更新時間Ｃ経過毎に、動画像復号部１０１へ送信する。前述の復号開始信号ＤＳＳとは、符号データの復号処理を動画像復号部１０１に行なわせるための信号である。前述の表示更新時間Ｃは、復号開始タイミング調整部１０３５が表示部１０５から受信している表示更新信号Ｖｓｙｎｃにおける隣接する２つの立ち上がり箇所の間の時間である。立ち上がり箇所とは、信号のレベルが、Ｌレベルから、Ｈレベルに変化する箇所である。

動画像復号部１０１は、復号開始信号ＤＳＳを受信する毎に、Ｈ番目の符号データの復号処理を開始するとともに、前述した復号開始通知信号ＤＳＮＳを、復号制御部１０３へ送信する。なお、Ｈ番目の符号データの復号処理が終了すると、動画像復号部１０１は、Ｈの値を１インクリメントする。すなわち、動画像復号部１０１は、復号開始信号ＤＳＳを受信する毎に、Ｈ，Ｈ＋１，Ｈ＋２，・・・番目の符号データの復号処理を順次行なう。

復号開始タイミング調整部１０３５は、カウント比較部１０３４から調整開始指示を受信した場合、以下の調整処理Ａを行なう。

調整処理Ａでは、復号開始タイミング調整部１０３５が、１つ前の復号開始信号ＤＳＳを、動画像復号部１０１へ送信してから、（表示更新時間Ｃ−調整可能時間Ｄ）の式により算出される時間経過した時点で、復号開始信号ＤＳＳを、動画像復号部１０１へ送信する処理（以下、送信調整処理という）を行なう。調整処理Ａにおいて、送信調整処理が、（調整終了フレーム番号ＥＮ−調整開始フレーム番号ＳＮ＋１）の式により算出される回数（例えば、“５”回）行なわれると、調整処理Ａは終了する。

すなわち、送信調整処理が行なわれる毎に、復号開始タイミング調整部１０３５が、復号開始信号ＤＳＳを動画像復号部１０１へ送信するタイミングは、調整可能時間Ｄずつ早くなる。送信調整処理が、たとえば、３回行なわれるとする。この場合、３回目の送信調整処理において、復号開始信号ＤＳＳが動画像復号部１０１へ送信されるタイミングは、所定タイミングより、（３×調整可能時間Ｄ）の式により算出される時間だけ早いタイミングとなる。

この場合、動画像復号部１０１は、復号開始信号ＤＳＳを受信すると、所定タイミングより調整可能時間Ｄだけ早いタイミングで、調整開始フレーム番号ＳＮ（例えば“２９６”）番目の符号データの符号処理を開始する。

図６は、符号データの復号処理を開始するタイミングを説明するための図である。図６において、複数の六角形の各々は、データ（符号データ）を示す。

図６において、文字列「動画像復号部（通常時）」に対応する（Ｎ−３）〜（Ｎ＋２）番目の符号データは、復号開始タイミング調整部１０３５が調整開始指示を受信してない場合において、動画像復号部１０１により復号処理が行なわれている状態を示す。この場合、復号開始タイミング調整部１０３５は、復号開始信号ＤＳＳを、表示更新時間Ｃ経過毎に、動画像復号部１０１へ送信する。

この場合、動画像復号部１０１は、複数の符号データ（Ｎ−３，Ｎ−２，・・・番目の符号データ）の復号処理を、予め設定されている所定タイミング（時刻ｔ１，ｔ２，ｔ３，・・・）において、順次開始する。すなわち、動画像復号部１０１は、表示更新時間Ｃ経過毎に、符号データの復号処理を順次行なう。

たとえば、動画像復号部１０１は、Ｎ−３，Ｎ−２，Ｎ−１番目の符号データの復号処理を、それぞれ、時刻ｔ１，ｔ２，ｔ３に開始する。

図６において、文字列「動画像復号部（調整時）」に対応する（Ｎ−３）〜（Ｎ＋２）番目の符号データは、復号開始タイミング調整部１０３５が調整開始指示を受信した場合において、動画像復号部１０１により復号処理が行なわれている状態を示す。

図６は、前述した調整フレーム数Ｅが、“３”である場合において、各符号データが復号される状態を示す。この場合、一例として、調整開始フレーム番号ＳＮ番目の符号データは、（Ｎ−３）番目の符号データであるとする。また、一例として、調整終了フレーム番号ＥＮ番目の符号データは、（Ｎ−１）番目の符号データであるとする。

この場合、復号開始タイミング調整部１０３５は、前述した送信調整処理を、３回行なう。前述したように、送信調整処理が行なわれる毎に、復号開始タイミング調整部１０３５が、復号開始信号ＤＳＳを動画像復号部１０１へ送信するタイミングは、調整可能時間Ｄずつ早くなる。

これにより、復号開始タイミング調整部１０３５は、たとえば、１番目の復号開始信号ＤＳＳを、所定タイミング（時刻ｔ１）より調整可能時間Ｄだけ早いタイミングで、動画像復号部１０１へ送信する。また、復号開始タイミング調整部１０３５は、たとえば、３番目の復号開始信号ＤＳＳを、所定タイミング（時刻ｔ３）より（３×調整可能時間Ｄ）の式により算出される時間だけ早いタイミングで、動画像復号部１０１へ送信する。

この場合、動画像復号部１０１は、復号開始信号ＤＳＳを受信する毎に、所定タイミングより早いタイミングで、対応する符号データの復号処理を開始する。動画像復号部１０１は、たとえば、１番目の復号開始信号ＤＳＳを受信すると、所定タイミング（時刻ｔ１）より調整可能時間Ｄだけ早いタイミングで、Ｎ−３（調整開始フレーム番号ＳＮ）番目の符号データの復号処理を開始する。

動画像復号部１０１は、たとえば、３番目の復号開始信号ＤＳＳを受信すると、所定タイミング（時刻ｔ３）より（３×調整可能時間Ｄ）の式により算出される時間だけ早いタイミングで、Ｎ−１（調整終了フレーム番号ＥＮ）番目の符号データの復号処理を開始する。

次に、撮影装置１０００において、通常撮影モードで撮影している途中で、高速撮影モードで撮影する処理が行なわれた場合に得られる、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤを連続して再生するための処理について説明する。

まず、前述した調整処理Ａが行なわれない従来の処理において、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合の処理について説明する。

図７Ａは、調整処理Ａが行なわれない場合において、通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合のタイミングチャートを示す。図７Ａにおいて、複数の六角形の各々は、データ（符号データ、ＲＡＷデータ、ＹＵＶデータ等）を示す。

図７Ａにおいて、文字列「動画像復号部」に対応する複数の六角形の各々は、符号データを示す。また、文字列「記憶部」に対応する複数の六角形の各々は、ＹＵＶデータを示す。

本実施の形態では、一例として、１〜（Ｎ−１）番目の符号データは、通常撮影モードの撮影装置１０００が、撮影処理を行なうことにより得られた符合データであるとする。また、本実施の形態では、一例として、Ｎ〜（Ｎ＋Ｓ（２以上の整数））番目の符号データは、高速撮影モードの撮影装置１０００が、撮影処理を行なうことにより得られた符合データであるとする。

この場合、図７Ａにおいて、（Ｎ−３）〜（Ｎ−１）番目の符号データの各々は、通常撮影符号データＮＳＤに含まれる通常符号データである。また、図７Ａにおいて、Ｎ〜（Ｎ＋２）番目の符号データの各々は、高速撮影符号データＨＳＤに含まれる高速符号データである。

図７Ａに示される期間Ａは、前述した復号時間Ａである。なお、図７Ａに示される、文字列「動画像復号部」に対応する（Ｎ−３）〜（Ｎ＋２）番目の符号データの復号時間は、復号時間Ａである。

図７Ａは、一例として、動画像復号部１０１により、所定タイミングである、時刻ｔ１，ｔ２，ｔ３において、それぞれ、Ｎ−３，Ｎ−２，Ｎ−１番目の符号データ（通常符号データ）の復号が開始されていることを示す。また、図７Ａは、動画像復号部１０１により、所定タイミングである、時刻ｔ４，ｔ５，ｔ６において、それぞれ、Ｎ，Ｎ＋１，Ｎ＋２番目の符号データ（高速符号データ）の復号が開始されていることを示す。

なお、動画像復号部１０１は、Ｎ−３，Ｎ−２，Ｎ−１番目の符号データ（通常符号データ）については、復号処理を行なうと同時に、復号処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理を行なう。したがって、通常符号データの復号が終了すると同時に、動画像復号部１０１が復号により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理は終了する。

なお、各符号データは、各時刻（時刻ｔ１，ｔ２，・・・）から、復号時間Ａが経過すると、動画像復号部１０１による復号が終了する。

なお、図７Ａの例では、色補間部１０２が、高速符号データの復号の途中から、色補間処理を行なう例を示す。すなわち、色補間部１０２は、高速符号データが、所定部分以上復号された時点から、復号されたデータ（ＲＡＷデータ）に対し、色補間処理を行なう。

なお、高速符号データの復号が終了した時点から、色補間部１０２が、復号により得られたデータ（ＲＡＷデータ）に対し色補間処理を行なってもよい。

図７Ａは、色補間部１０２が、一例として、Ｎ番目の符号データ（高速符号データ）の復号が開始されたとき（時刻ｔ４）から、期間Ｔ１経過した時刻から、復号されたデータに対し、色補間処理を開始する例を示す。図７Ａにおいて、期間Ｂは、前述した変換時間Ｂである。

また、色補間部１０２は、色補間処理を行なう対象となるデータ（ＲＡＷデータ）に対しては、色補間処理と同時に、色補間処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理を行なう。したがって、ＲＡＷデータに対する色補間処理が終了すると同時に、色補間部１０２が色補間処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理は終了する。

表示部１０５は、図７Ａに示されるような表示更新信号Ｖｓｙｎｃを、内部で処理している。表示部１０５は、表示更新信号Ｖｓｙｎｃにおける前述した立ち上がり箇所のタイミング（例えば、時刻ｔ１１）において、既に記憶部１０４に記憶されているＹＵＶデータに基づく画像を表示する。

図７Ａの例では、時刻ｔ１１において、動画像復号部１０１が（Ｎ−３）番目のＹＵＶデータを記憶部１０４に記憶させる処理は終了してない。そのため、表示部１０５は、記憶部１０４に記憶されている（Ｎ−４）番目のＹＵＶデータに基づく画像を表示する。

また、前述した調整処理Ａが行なわれない場合、時刻ｔ５１において、色補間部１０２がＮ番目のＹＵＶデータを記憶部１０４に記憶させる処理は終了してない。そのため、表示部１０５は、記憶部１０４に記憶されている（Ｎ−１）番目のＹＵＶデータに基づく画像を表示する。

すなわち、前述した調整処理Ａが行なわれない場合、表示部１０５は、（Ｎ−１）番目のＹＵＶデータに基づく画像（フレーム）を２回表示することになる。そのため、表示部１０５が表示する動画像は、不自然な動画像となる。したがって、表示部１０５が表示している動画像を見ているユーザは、動画像の不自然さを感じる。

次に、撮影装置１０００において、通常撮影モードで撮影している途中で、高速撮影モードで撮影する処理が行なわれた場合に得られる、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤを連続して再生する場合において、前述した調整処理Ａを行なう動画像再生装置１００の処理（以下、動画像再生処理という）について説明する。この場合、通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤは、データ記憶部６０に記憶される。

ここで、通常撮影符号データＮＳＤは、３００個の符号データ（通常符号データ）を含むとする。また、高速撮影符号データＨＳＤは、３０００個の符号データ（高速符号データ）を含むとする。この場合、データ記憶部６０には、３３００個の符号データが記憶されているとする。３３００個の符号データは、順序づけられてデータ記憶部６０に記憶されている。この場合、１〜３００番目の符号データは、通常符号データである。３０１〜３３００番目の符号データは、高速符号データである。

図７Ｂは、調整処理Ａが行なわれる場合において、通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合のタイミングチャートを示す。図７Ｂが示す複数の六角形は、図７Ａが示す複数の六角形と同様なので詳細な説明は繰り返さない。

図８は、動画像再生処理のフローチャートである。図８において、ステップＳ２１１では、初期計算処理が行なわれる。初期計算処理では、前述した、図４のステップＳ１１１〜Ｓ１１６の処理が行なわれるので詳細な説明は繰り返さない。

この処理により、算出された調整フレーム数Ｅ、調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮは、一例として、それぞれ、“３”、“Ｎ−３”および“Ｎ−１”であるとする。

前述したように、調整開始フレーム計算部１０３２は、算出した調整開始フレーム番号ＳＮ（“Ｎ−３”）および調整終了フレーム番号ＥＮ（“Ｎ−１”）を、カウント比較部１０３４に通知する。なお、前述したように、復号データカウント部１０３３は、カウンタＤＫの値を、カウント比較部１０３４へ通知する。

ステップＳ２１２では、カウント比較部１０３４が、現時点が、調整開始指示の送信タイミングであるか否かを判定する。調整開始指示の送信タイミングは、最新のカウンタＤＫの値が、調整開始フレーム番号ＳＮ（例えば、“２９８”）より１小さい値（たとえば、“２９７”）となったときである。

ステップＳ２１２において、ＹＥＳならば、処理は、後述するステップＳ２２１に移行する。一方、ステップＳ２１２において、ＮＯならば、処理はステップＳ２１３に移行する。ここでは、現時点が、調整開始指示の送信タイミングでないとして、処理はステップＳ２１３に移行する。

ステップＳ２１３では、復号処理が行なわれる。復号処理では、まず、復号開始タイミング調整部１０３５が、復号開始信号ＤＳＳを、動画像復号部１０１へ送信する。動画像復号部１０１は、復号開始信号ＤＳＳを受信すると、Ｑ（自然数）番目の符号データを、データ記憶部６０から読み出すことにより取得する。なお、Ｑの初期値は“１”である。

そして、動画像復号部１０１は、Ｑ番目の符号データに対し、復号処理を行なうと同時に、復号処理により得られたデータがＹＵＶデータである場合、当該ＹＵＶデータを記憶部１０４に記憶させる処理を行なう。

なお、復号処理により得られたデータが、ＲＡＷデータである場合、動画像復号部１０１は、得られたＲＡＷデータを色補間部１０２へ送信する。色補間部１０２は、受信したＲＡＷデータに対し、色補間処理を行なう。なお、図７Ｂの例では、図７Ａと同様に、色補間部１０２が、高速符号データが所定部分以上復号された時点から、復号されたデータ（ＲＡＷデータ）に対し、色補間処理を行なう例を示している。

また、色補間部１０２は、色補間処理を行なう対象となるデータ（ＲＡＷデータ）に対しては、色補間処理と同時に、色補間処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理を行なう。したがって、ＲＡＷデータに対する色補間処理が終了すると同時に、色補間部１０２が色補間処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理は終了する。

また、動画像復号部１０１は、Ｑ番目の符号データの復号処理を開始するとともに、前述した復号開始通知信号ＤＳＮＳを、復号制御部１０３へ送信する。そして、動画像復号部１０１は、Ｑの値を“１”インクリメントする。

復号制御部１０３内の復号データカウント部１０３３は、前述したように、復号開始通知信号ＤＳＮＳを受信する毎に、カウンタＤＫの値を“１”インクリメントする。復号データカウント部１０３３は、カウンタＤＫの値を変更する毎に、変更後のカウンタＤＫの値を、カウント比較部１０３４に通知する。

ステップＳ２１４では、表示処理が行なわれる。表示処理では、表示部１０５が、前述したように、表示更新信号Ｖｓｙｎｃにおける前述した立ち上がり箇所のタイミングにおいて、既に記憶部１０４に記憶されているＹＵＶデータに基づく画像を表示する。

ステップＳ２１５では、復号制御部１０３が、次の符号データがあるか否かを判定する。具体的には、復号制御部１０３が、データ記憶部６０に記憶されている撮影設定データＳＨＤが示す再生情報、フレーム情報等を参照して、次に復号すべき符号データがあるか否かを判定する。ステップＳ２１５において、ＹＥＳならば、再度、ステップＳ２１２の処理が行なわれる。一方、ステップＳ２１５において、ＮＯならば、この動画像再生処理は終了する。ここでは、次の符号データがあるとして、再度、ステップＳ２１２の処理が行なわれる。

そして、ステップＳ２１３，Ｓ２１４，Ｓ２１５の処理が複数回繰り返された後、最新のカウンタＤＫの値が、調整開始フレーム番号ＳＮより１小さい値になったとする。この場合、ステップＳ２１２でＹＥＳと判定され、処理はステップＳ２２１に移行する。

ステップＳ２２１では、カウント比較部１０３４が、調整開始指示を、復号開始タイミング調整部１０３５へ送信する。前述したように、調整開始指示は、調整開始フレーム番号ＳＮ〜調整終了フレーム番号ＥＮ番目の符号データの各々の復号開始タイミングを、調整可能時間Ｄだけ早くするための指示である。

復号開始タイミング調整部１０３５は、調整開始指示を受信すると、前述した調整処理Ａを行なう。

ステップＳ２２２では、前述した送信調整処理が行なわれる。前述したように、送信調整処理は、復号開始タイミング調整部１０３５が、１つ前の復号開始信号ＤＳＳを、動画像復号部１０１へ送信してから、（表示更新時間Ｃ−調整可能時間Ｄ）の式により算出される時間経過した時点で、復号開始信号ＤＳＳを、動画像復号部１０１へ送信する処理である。送信調整処理が行なわれる毎に、復号開始タイミング調整部１０３５が、復号開始信号ＤＳＳを動画像復号部１０１へ送信するタイミングは、調整可能時間Ｄずつ早くなる。

動画像復号部１０１は、復号開始信号ＤＳＳを受信すると、以下の復号処理Ａを行なう。

ステップＳ２２３では、復号処理Ａが行なわれる。復号処理Ａでは、動画像復号部１０１は、復号開始信号ＤＳＳを受信すると、Ｑ番目の符号データを、データ記憶部６０から読み出すことにより取得する。

そして、動画像復号部１０１は、Ｑ番目の符号データに対し、復号処理を行なうと同時に、復号処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理を行なう。

また、動画像復号部１０１は、Ｑ番目の符号データの復号処理を開始するとともに、前述した復号開始通知信号ＤＳＮＳを、復号制御部１０３へ送信する。そして、動画像復号部１０１は、Ｑの値を“１”インクリメントする。

なお、初めて、復号処理Ａが行なわれる場合、取得されるＱ番目の符号データは、調整開始フレーム番号ＳＮ（“Ｎ−３”）番目の符号データである。この場合、（Ｎ−３）番目の符号データは、図７Ｂに示されるように、所定タイミング（時刻ｔ１）より調整可能時間Ｄだけ早いタイミングで、動画像復号部１０１により復号が開始される。なお、図７Ｂに示される各データの処理の説明は、図７Ａの説明と同様なので詳細な説明は繰り返さない。

ステップＳ２２４では、ステップＳ２１４の処理と同様に表示処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ２２５では、調整を終了するか否かが判定される。具体的には、復号開始タイミング調整部１０３５が、調整開始指示を受信した後、復号開始信号ＤＳＳを、（調整終了フレーム番号ＥＮ−調整開始フレーム番号ＳＮ＋１）の式により算出される個数（例えば、３個）送信したか否かが判定される。ステップＳ２２５において、ＹＥＳならば、再度、ステップＳ２１５の処理が行なわれる。一方、ステップＳ２２５において、ＮＯならば、再度、ステップＳ２２２の処理が行なわれる。

ここでは、ＮＯと判定され、再度、ステップＳ２２２の処理が行なわれるとする。そして、ステップＳ２２２〜Ｓ２２４の処理が３回繰り返されたとする。

この場合、図７Ｂに示されるように、調整終了フレーム番号ＥＮ（“Ｎ−１”）番目の符号データは、所定タイミング（時刻ｔ４）より（３×調整可能時間Ｄ）の式により算出される時間だけ早いタイミングで、動画像復号部１０１により復号が開始される。また、この場合、ステップＳ２２５でＹＥＳと判定され、再度、ステップＳ２１５の処理が行なわれる。

以上説明した動画像再生処理が行なわれることにより、図７Ｂに示されるように、動画像復号部１０１により、複数の高速符号データ（Ｎ，Ｎ＋１，Ｎ＋２番目の高速符号データ）の各々の復号が開始されるタイミングが、所定タイミング（時刻ｔ４，ｔ５，ｔ６等）より（３×調整可能時間Ｄ）の式により算出される時間だけ早いタイミングとなる。この場合、高速符号データの復号により得られるデータ（ＲＡＷデータ）に対し、色補間処理を開始するタイミングが、所定タイミングより、（３×調整可能時間Ｄ）の式により算出される時間だけ早いタイミングとなる。

この場合、（３×調整可能時間Ｄ）の式により算出される時間は、複数の通常符号データおよび高速符号データの各々から取得される画像を、表示部１０５がシームレスに連続して表示するのに必要な時間（以下、表示必要時間という）である。

その結果、時刻ｔ５１において、色補間部１０２がＮ番目のＹＵＶデータを記憶部１０４に記憶させる処理は終了している。そのため、表示部１０５は、記憶部１０４に記憶されているＮ番目のＹＵＶデータに基づく画像を表示する。したがって、図７Ａのように、（Ｎ−１）番目のＹＵＶデータに基づく画像が、２回表示されることを防止することができる。

すなわち、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤを連続して再生する場合において、時間的連続性を保ちつつ、Ｎ番目のＹＵＶデータに基づく画像を表示することができる。

すなわち、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤを、時間的連続性を保ちつつシームレスに再生する事が可能となる。すなわち、異なる２種類の符号データに基づく動画像を、時間的連続性を保ちつつシームレスに再生する事が可能となる。そのため、異なる２種類の符号データに基づく動画像を再生する場合において、動画像を視るユーザに違和感を抱かせないようにすることができる。

なお、本実施の形態では、図７Ｂに示されるように、色補間部１０２が、高速符号データが所定部分以上復号された時点から、復号されたデータ（ＲＡＷデータ）に対し、色補間処理を行なっている。しかしながら、本発明は、この処理に限定されることなく、高速符号データの復号が終了した時点から、色補間部１０２が、復号により得られたデータ（ＲＡＷデータ）に対し色補間処理を行なってもよい。

たとえば、（３×調整可能時間Ｄ）の式により算出される時間が、変換時間Ｂ以上である場合、色補間部１０２は、高速符号データの復号が終了した時点から、復号により得られたデータ（ＲＡＷデータ）に対し色補間処理を行なえばよい。

この場合においても、動画像復号部１０１により、複数の高速符号データの各々の復号が開始されるタイミングは、所定タイミングより変換時間Ｂだけ早いタイミングとなる。この場合、変換時間Ｂは、複数の通常符号データおよび高速符号データの各々から取得される画像を、表示部１０５がシームレスに連続して表示するのに必要な時間である。この場合においても、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤを、時間的連続性を保ちつつシームレスに再生する事が可能となる。

＜第１の実施の形態の変形例＞
第１の実施の形態では、復号のタイミングを早くする符号データは、通常符号データのみであった。本実施の形態の変形例では、複数の高速符号データのうち、１番目の高速符号データも、復号のタイミングを早くする符号データの対象とする場合の処理（以下、動画像再生処理Ａという）について説明する。

図９は、本実施の形態の変形例において、復号制御部１０３が行なう処理のフローチャートである。図９において、図４のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ１１６Ａでは、復号制御部１０３が、調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮを算出する。

調整開始フレーム番号ＳＮは、（通常撮影フレーム数ＮＦＮ−調整フレーム数Ｅ＋２）の式により算出される。また、調整終了フレーム番号ＥＮは、（通常撮影フレーム数ＮＦＮ＋１）の式により算出される。なお、通常撮影フレーム数ＮＦＮは、ステップＳ１１６の処理と同様に、（通常撮影再生時間／撮影フレームレート）の式により算出される。

図１０は、動画像再生処理Ａのフローチャートである。図１０において、図８のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ２１１Ａでは、初期計算処理Ａが行なわれる。初期計算処理Ａでは、図９のステップＳ１１１〜Ｓ１１６Ａの処理が行なわれるので詳細な説明は繰り返さない。

この処理により、算出された調整フレーム数Ｅ、調整開始フレーム番号ＳＮおよび調整終了フレーム番号ＥＮは、一例として、それぞれ、“３”、“Ｎ−２”および“Ｎ”であるとする。

ステップＳ２２３Ａでは、復号処理ＡＮが行なわれる。復号処理ＡＮでは、動画像復号部１０１は、復号開始信号ＤＳＳを受信すると、Ｑ番目の符号データを、データ記憶部６０から読み出すことにより取得する。

そして、動画像復号部１０１は、Ｑ番目の符号データに対し、復号処理を行なうと同時に、復号処理により得られたデータがＹＵＶデータである場合、当該ＹＵＶデータを記憶部１０４に記憶させる処理を行なう。

なお、復号処理により得られたデータが、ＲＡＷデータである場合、動画像復号部１０１は、得られたＲＡＷデータを色補間部１０２へ送信する。色補間部１０２は、受信したＲＡＷデータに対し、色補間処理を行なう。色補間部１０２は、色補間処理を行なう対象となるデータ（ＲＡＷデータ）に対しては、色補間処理と同時に、色補間処理により得られたデータ（ＹＵＶデータ）を記憶部１０４に記憶させる処理を行なう。

また、動画像復号部１０１は、Ｑ番目の符号データの復号処理を開始するとともに、前述した復号開始通知信号ＤＳＮＳを、復号制御部１０３へ送信する。そして、動画像復号部１０１は、Ｑの値を“１”インクリメントする。

ステップＳ２１１Ａ，Ｓ２２３Ａ以外の処理は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

図１１は、本実施の形態の変形例において、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤが連続して再生される場合のタイミングチャートを示す。図１１が示す複数の六角形は、図７Ａが示す複数の六角形と同様なので詳細な説明は繰り返さない。

図１１において、文字列「動画像復号部」に対応する複数の六角形は、符号データを示す。（Ｎ−３）〜（Ｎ−１）番目の符号データは、通常符号データである。Ｎ〜（Ｎ＋１）番目の符号データは、高速符号データである。すなわち、図１０の動画像再生処理Ａが行なわれることにより、通常符号データである（Ｎ−２）〜（Ｎ−１）番目の符号データと、高速符号データであるＮ番目の符号データとが、所定タイミングより、早いタイミングで、動画像復号部１０１により復号が開始される。

すなわち、１番目の高速符号データも、復号のタイミングを早くする符号データとする場合であっても、第１の実施の形態と同様な効果を得られる。

すなわち、時間的に連続する通常撮影符号データＮＳＤおよび高速撮影符号データＨＳＤを、時間的連続性を保ちつつシームレスに再生する事が可能となる。すなわち、異なる２種類の符号データに基づく動画像を、時間的連続性を保ちつつシームレスに再生する事が可能となる。そのため、異なる２種類の符号データに基づく動画像を再生する場合において、動画像を視るユーザに違和感を抱かせないようにすることができる。

図１２Ａは、デジタルスチルカメラとしての撮影装置１０００の概観図である。図１２Ｂは、デジタルビデオカメラとしての撮影装置１０００の概観図である。

（その他）
本発明は、処理対象となる複数の符号データのうち、一部の符号データの復号のタイミングを早める処理について説明した。しかしながら、これに限定されず、処理対象となる複数の符号データ全てを、所定のタイミングより、前述した表示必要時間（例えば、（３×調整可能時間Ｄ））だけ早いタイミングで復号を開始してもよい。この場合においても、第１の実施の形態と同様な効果が得られる。

なお、本発明は、図４、図８、図９、図１０のフローチャートに示される各ステップを、コンピュータに実行させるプログラムとしても実現することもできる。また、本発明は、当該プログラムを格納するコンピュータ読み取り可能な記録媒体、集積回路としても実現することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明にかかる動画像再生装置の技術により、撮影モードを、通常撮影モードから高速撮影モードに切り替えて記録した符号データを、時間的連続性を確保したままシームレスに再生できる。そのため、高速度撮影技術を使用したデジタルビデオカメラやデジタルスチルカメラで撮影を行なう場合、本発明は適用が可能である。

Claims (7)

1. 撮像素子から得られた複数のＲＡＷデータをそれぞれ色補間することにより得られる複数のＹＵＶデータをそれぞれ符号化した複数の第１符号データと、複数のＲＡＷデータをそれぞれ符号化した複数の第２符号データとを使用して、動画像を再生する動画像再生装置であって、
   前記複数の第１符号データを復号した後、前記複数の第２符号データを復号する復号部と、
   データを記憶するための記憶部と、
   ＲＡＷデータをＹＵＶデータへ変換する色補間部と、
   画像を所定時間毎に更新表示する表示部と、
   前記復号部が復号を開始するタイミングを制御する制御部とを備え、
   前記複数の第１符号データの各々は、復号が開始されるタイミングが予め設定されており、
   前記複数の第２符号データの各々は、復号が開始されるタイミングが予め設定されており、
   前記制御部は、前記複数の第１符号データおよび第２符号データの各々から取得される画像を、前記表示部がシームレスに連続して表示するのに必要な時間である表示必要時間分だけ、前記復号部が１番目の前記第２符号データの復号を開始するタイミングが予め設定されている所定タイミングより早くなるように、前記複数の第１符号データのうちの一部を、予め設定されている所定タイミングより早いタイミングで前記復号部に復号を開始させるように前記復号部を制御し、
   前記復号部は、前記制御部による制御に従って、前記複数の第１符号データを順次復号するとともに、復号により得られた複数のＹＵＶデータを、復号した順に前記記憶部に記憶させ、かつ、前記複数の第２符号データを順次復号し、
   前記色補間部は、前記複数の第２符号データが順次復号されることにより得られる前記複数のＲＡＷデータをそれぞれ複数のＹＵＶデータへ変換するとともに、該複数のＹＵＶデータを、変換された順に、前記記憶部に記憶させ、
   前記表示部は、前記記憶部に記憶された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが前記記憶部に記憶された順で表示する、
   動画像再生装置。
2. 前記複数の第１符号データは、予め順序づけられたＮ（自然数）個の符号データであり、
   前記複数の第１符号データのうちの一部は、Ｎ番目の前記第１符号データを含む連続する複数の前記第１符号データである、
   請求項１に記載の動画像再生装置。
3. 前記制御部は、前記表示必要時間分だけ、前記復号部が前記１番目の第２符号データの復号を開始するタイミングが早くなるように、さらに、前記１番目の第２符号データを、予め設定されている所定タイミングより早いタイミングで前記復号部に復号を開始させるように前記復号部を制御する、
   請求項２に記載の動画像再生装置。
4. 前記複数の第１符号データは、予め順序づけられたＮ（自然数）個の符号データであり、
   前記制御部は、前記表示部が表示する画像を更新するのに必要な表示更新時間と、前記復号部が前記第１符号データを復号するのに必要な時間である復号時間とに基づいて、前記複数の第１符号データのうちの一部である１以上の前記第１符号データの各々を、対応する所定タイミングより早いタイミングで前記復号部に復号を開始させるための調整可能時間を算出し、かつ、前記色補間部がＲＡＷデータをＹＵＶデータへ変換するのに必要な時間である変換時間と、算出した前記調整可能時間とに基づいて、復号のタイミングを早める対象となる前記第１符号データの個数Ｋ（自然数）を算出し、
   前記制御部は、前記複数の第１符号データのうち、Ｎ番目の前記第１符号データを含む連続するＫ個の前記第１符号データの各々を、対応する所定タイミングより早いタイミングで前記復号部に復号を開始させるように前記復号部を制御する、
   請求項１に記載の動画像再生装置。
5. 請求項１〜４のいずれかに記載の動画像再生装置と、
   撮像素子から得られた複数のＲＡＷデータをそれぞれ色補間することにより得られる複数のＹＵＶデータをそれぞれ符号化した複数の第１符号データと、複数のＲＡＷデータをそれぞれ符号化した複数の第２符号データとを記憶するデータ記憶部とを含む、
   デジタルカメラ。
6. メモリと接続され、撮像素子から得られた複数のＲＡＷデータをそれぞれ色補間することにより得られる複数のＹＵＶデータをそれぞれ符号化した複数の第１符号データと、複数のＲＡＷデータをそれぞれ符号化した複数の第２符号データとを使用して、動画像を表示装置に表示させる半導体集積回路であって、
   前記複数の第１符号データを復号した後、前記複数の第２符号データを復号する復号回路と、
   ＲＡＷデータをＹＵＶデータへ変換する色補間回路と、
   前記復号回路が復号を開始するタイミングを制御する制御回路とを備え、
   前記複数の第１符号データの各々は、復号が開始されるタイミングが予め設定されており、
   前記複数の第２符号データの各々は、復号が開始されるタイミングが予め設定されており、
   前記制御回路は、前記複数の第１符号データおよび第２符号データの各々から取得される画像を、前記表示装置がシームレスに連続して表示するのに必要な時間である表示必要時間分だけ、前記復号回路が１番目の前記第２符号データの復号を開始するタイミングが予め設定されている所定タイミングより早くなるように、前記複数の第１符号データのうちの一部を、予め設定されている所定タイミングより早いタイミングで前記復号回路に復号を開始させるように前記復号回路を制御し、
   前記復号回路は、前記制御回路による制御に従って、前記複数の第１符号データを順次復号するとともに、復号により得られた複数のＹＵＶデータを、復号した順に前記メモリに記憶させ、かつ、前記複数の第２符号データを順次復号し、
   前記色補間回路は、前記複数の第２符号データが順次復号されることにより得られる前記複数のＲＡＷデータをそれぞれ複数のＹＵＶデータへ変換するとともに、該複数のＹＵＶデータを、変換された順に、前記メモリに記憶させ、
   前記半導体集積回路は、前記メモリに記憶された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが前記メモリに記憶された順で前記表示装置に表示させる、半導体集積回路。
7. データを復号する復号部を備え、かつ、メモリと接続され、撮像素子から得られた複数のＲＡＷデータをそれぞれ色補間することにより得られる複数のＹＵＶデータをそれぞれ符号化した複数の第１符号データと、複数のＲＡＷデータをそれぞれ符号化した複数の第２符号データとを使用して、動画像を表示装置に表示させる動画像再生装置が行なう動画像再生方法であって、
   前記復号部が、前記複数の第１符号データを復号した後、前記複数の第２符号データを復号する復号ステップと、
   ＲＡＷデータをＹＵＶデータへ変換する色補間ステップと、
   前記復号部が復号を開始するタイミングを制御する制御ステップとを備え、
   前記複数の第１符号データの各々は、復号が開始されるタイミングが予め設定されており、
   前記複数の第２符号データの各々は、復号が開始されるタイミングが予め設定されており、
   前記制御ステップは、前記複数の第１符号データおよび第２符号データの各々から取得される画像を、前記表示装置がシームレスに連続して表示するのに必要な時間である表示必要時間分だけ、前記復号部が１番目の前記第２符号データの復号を開始するタイミングが予め設定されている所定タイミングより早くなるように、前記複数の第１符号データのうちの一部を、予め設定されている所定タイミングより早いタイミングで前記復号部に復号を開始させるように前記復号部を制御し、
   前記復号部は、前記制御ステップによる制御に従って、前記複数の第１符号データを順次復号するとともに、復号により得られた複数のＹＵＶデータを、復号した順に前記メモリに記憶させ、かつ、前記複数の第２符号データを順次復号し、
   前記色補間ステップは、前記複数の第２符号データが順次復号されることにより得られる前記複数のＲＡＷデータをそれぞれ複数のＹＵＶデータへ変換するとともに、該複数のＹＵＶデータを、変換された順に、前記メモリに記憶させ、
   前記動画像再生方法は、さらに、
   前記メモリに記憶された複数のＹＵＶデータの各々に基づく画像を、対応するＹＵＶデータが前記メモリに記憶された順で前記表示装置表示させる表示ステップを備える、
   動画像再生方法。

Images