JP6358113B2 - 記録装置及び多重化方法 - Google Patents

記録装置及び多重化方法 Download PDF

Info

Publication number
JP6358113B2
JP6358113B2 JP2015017338A JP2015017338A JP6358113B2 JP 6358113 B2 JP6358113 B2 JP 6358113B2 JP 2015017338 A JP2015017338 A JP 2015017338A JP 2015017338 A JP2015017338 A JP 2015017338A JP 6358113 B2 JP6358113 B2 JP 6358113B2
Authority
JP
Japan
Prior art keywords
recording
data
time
instruction
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015017338A
Other languages
English (en)
Other versions
JP2016143976A (ja
Inventor
義弘 松永
義弘 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2015017338A priority Critical patent/JP6358113B2/ja
Priority to PCT/JP2015/006274 priority patent/WO2016120934A1/ja
Publication of JP2016143976A publication Critical patent/JP2016143976A/ja
Priority to US15/663,244 priority patent/US10412340B2/en
Application granted granted Critical
Publication of JP6358113B2 publication Critical patent/JP6358113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • H04N5/9203Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal using time division multiplex
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は記録装置及び多重化方法に関する。
ビデオカメラなどの撮像装置においては、クリップコンティニュアス記録とも呼ばれる技術が知られている。この技術では、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて数回繰り返された際に、この数回分の記録指示に対応するデータをまとめて、一つの記録データを作成する。なお、記録データは、クリップ又はストリームとも呼ばれる。その際、記録開始指示から記録停止指示までの期間に相当する各映像データと各映像データに対応する音声データとが一つの記録データとして多重化される。また、近年、AVCHD(登録商標)などの規格に準拠した圧縮データについて、クリップコンティニュアス記録を行うことが、求められている。
クリップコンティニュアス記録においては、多重化される映像データと音声データとの間の時間的なずれを抑え、映像データと音声データの同期を行うことが求められる。
ここで、特許文献1では、符号化処理が一時停止及び再開される場合において、符号化された映像データと符号化された音声データとを時間的に対応させる技術について開示している。
特開2008−54159号公報
しかしながら、特許文献1に記載された技術では、多重化対象のデータは圧縮されたデータではなく、依然として、圧縮データを対象としたクリップコンティニュアス記録のための多重化が必要とされている。
本発明の目的は、音声と映像との時間的なずれを抑制しつつ、圧縮データを対象としたクリップコンティニュアス記録のための多重化を行うことができる記録装置及び多重化方法を提供することにある。
そこで、本発明は、映像データを第1のデータ単位ごとに圧縮して符号化する映像符号化手段と、音声データを前記第1のデータ単位とは時間長が異なる第2のデータ単位ごとに圧縮して符号化する音声符号化手段と、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する前記映像符号化手段により符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する前記音声符号化手段により符号化された音声データとを、一つの記録データとして多重化する多重化手段と
を有し、前記音声符号化手段は、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、前記多重化手段は、前記各映像データと、前記各映像データに対応する前記音声符号化手段により符号化された音声データと、の時間のずれ量が前記第2のデータ単位の時間長以下となるよう、前記音声符号化手段により符号化された前記音声データの中から前記第2のデータ単位で音声データを選択して多重化し、注目する記録指示に相当する符号化された映像データの開始時点を第1の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第2のデータ単位の音声データの開始時点と前記第1の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、始端を決定し、前記注目する記録指示に相当する符号化された映像データの終了時点を第2の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第2のデータ単位の音声データの終了時点と前記第2の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、終端を決定し、前記オフセット量は、初期値が1回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第1の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第2の基準時点までの時間長との差が加算される記録装置を提供する。
また、本発明は、映像データを第1のデータ単位ごとに圧縮して符号化する映像符号化ステップと、 音声データを前記第1のデータ単位とは時間長が異なる第2のデータ単位ごとに圧縮して符号化する音声符号化ステップと、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する符号化された音声データとを、一つの記録データとして多重化する多重化ステップとを有し、前記音声符号化ステップは、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、前記多重化ステップは、前記各映像データと、前記各映像データに対応する前記音声符号化ステップにより符号化された音声データと、の時間のずれ量が前記第2のデータ単位の時間長以下となるよう、符号化された前記音声データの中から前記第2のデータ単位で音声データを選択して多重化し、注目する記録指示に相当する符号化された映像データの開始時点を第1の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第2のデータ単位の音声データの開始時点と前記第1の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、始端を決定し、前記注目する記録指示に相当する符号化された映像データの終了時点を第2の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第2のデータ単位の音声データの終了時点と前記第2の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、終端を決定し、前記オフセット量は、初期値が1回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第1の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第2の基準時点までの時間長との差が加算される多重化方法を提供する。
本発明によれば、音声と映像との時間的なずれを抑制しつつ、圧縮データを対象としたクリップコンティニュアス記録のための多重化を行うことができる記録装置及び多重化方法を提供することができる。
図1は、実施の形態にかかる撮像装置の構成を示すブロック図である。 図2は、実施の形態にかかる多重化部による多重化処理の際に選択される映像データ及び音声データを示す模式図である。 図3は、実施の形態にかかる多重化部における多重化対象の選択処理の動作の流れについての一例を示すフローチャートである。 図4は、実施の形態にかかる多重化対象の選択処理に基づいて選択された映像データ及び音声データの時間的な対応関係を示す模式図である。
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の実施の形態にかかる撮像装置1の構成を示すブロック図である。図1に示されるように、撮像装置1は、撮像部10と、音声取得部20と、操作部30と、記録装置40と、記録媒体50とを含む。
撮像部10は、映像データを取得する。具体的には、撮像部10は、例えばCCD(Charge Coupled Device Image Sensor)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子により、映像データを取得する。撮像部10は、取得した映像データを後述する映像符号化部401に出力する。
音声取得部20は、音声データを取得する。具体的には、音声取得部20は、例えばマイクにより、音声データを取得する。音声取得部20は、取得した音声データを後述する音声符号化部403に出力する。
操作部30は、ボタン、タッチパネルなどにより構成され、記録開始指示及び記録停止指示からなる一組の記録指示を含むユーザからの各種指示を受付ける。なお、クリップコンティニュアス記録を行う際、最後の記録指示における記録停止指示は、記録完了指示と呼ばれてもよい。また、記録完了指示以外の記録停止指示は、記録一時停止指示と呼ばれてもよい。操作部30は、記録指示を受付けると、後述する記録操作受付部400に通知する。
本実施の形態では、操作部30は、図示しない録画ボタンを備えており、ユーザは録画ボタンを押すことにより記録開始指示及び記録停止指示の操作を行う。例えば、ユーザが録画ボタンを押すことが記録開始指示となり、再度、ユーザが録画ボタンを押すことが記録停止指示となる。また、例えばユーザが録画ボタンを長押しした場合、記録終了指示となる。
記録装置40は、図1に示されるように、記録操作受付部400と、映像符号化部401と、映像用バッファ402と、音声符号化部403と、音声用バッファ404と、多重化部405と、多重化用バッファ406と、記録媒体インタフェース(I/F)部407とを含む。映像用バッファ402、音声用バッファ404、及び多重化用バッファ406は、それぞれ、例えば、FIFO(first-in first-out)形式またはリングバッファ形式のRAM(Random Access Memory)により構成されている。また、記録操作受付部400、映像符号化部401、音声符号化部403及び多重化部405は、それぞれハードウェアにより実現されてもよいし、コンピュータがプログラムを実行することにより実現されてもよい。
記録操作受付部400は、操作部30が受け付けた記録開始指示及び記録停止指示を受付け、多重化部405に指示を通知する。
映像符号化部401は、撮像部10が出力した映像データを予め定められたデータ単位ごとに圧縮して符号化する。例えば、映像符号化部401は、MPEG−4 AVC/H.264などの予め定められたフォーマットで圧縮して符号化する。本実施の形態では、映像符号化部401は、15フレームをデータ単位として符号化を行っている。なお、本実施の形態では、映像フレームレートを29.97Hzとして、1フレームあたりの時間を33.3ミリ秒として扱う。また、15フレームの集まりを1つのGOP(Group Of Pictures)単位として扱う。つまり、1GOPあたりの時間が499.5ミリ秒となる。したがって、映像符号化部401は、499.5ミリ秒分の映像データを一つの単位として符号化している。すなわち、映像符号化部401は、15フレームを含むGOP単位で符号化する。映像符号化部401は、符号化した映像データを映像用バッファ402に出力する。以下、映像符号化部401の符号化における上記データ単位を、第1のデータ単位と称すことがある。
なお、本実施の形態では、映像符号化部401は、少なくともクリップコンティニュアス記録を行う間、すなわち、最初の記録指示から最後の記録指示までの間、記録停止指示に関わらず、符号化を継続している。
映像用バッファ402は、映像符号化部401が出力した符号化された映像データを一時記憶する。
音声符号化部403は、音声取得部20が出力した音声データを予め定められたデータ単位ごとに圧縮して符号化する。例えば、音声符号化部403は、Dolby Digitalなどの予め定められたフォーマットで圧縮して符号化する。以下、音声符号化部403の符号化における上記データ単位を、第2のデータ単位と称すことがある。ここで、第2のデータ単位の時間長は、上記第1のデータ単位の時間長とは異なる。本実施の形態では、音声符号化部403は、1フレームを第2のデータ単位として符号化するが、Dolby Digitalの1フレームは32ミリ分の音声データから構成されている。したがって、本実施の形態では、映像符号化部401が、499.5ミリ秒分の映像データを単位として符号化するのに対し、音声符号化部403は、32ミリ秒分の音声データを単位として符号化する。音声符号化部403は、符号化した音声データを音声用バッファ404に出力する。
なお、本実施の形態では、音声符号化部403は、少なくともクリップコンティニュアス記録を行う間、すなわち、最初の記録指示から最後の記録指示までの間、記録停止指示に関わらず、符号化を継続している。
音声用バッファ404は、音声符号化部403が出力した符号化された音声データを一時記憶する。
多重化部405は、映像用バッファ402に記憶されている符号化された映像データと、音声用バッファ404に記憶されている符号化された音声データを予め定められたフォーマットで多重化する。本実施の形態では、予め定められたフォーマットとして、MPEG−TS(Transport Stream)を採用しており、多重化部405は、MPEG−TSに準拠して多重化を行う。多重化部405は、生成した多重化データを多重化用バッファ406に出力する。なお、多重化部405の詳細については、後述する。
多重化用バッファ406は、多重化部405により生成された多重化データを一時記憶する。
記録媒体インタフェース部407は、多重化用バッファ406に記憶された多重化データを記録媒体50に記録するためのインタフェースである。記録媒体50は、半導体メモリカード、光ディスク、ハードディスクなどのランダムアクセス可能な記録媒体である。例えば記録媒体50は、スロットに装着された半導体メモリカードであってもよい。
ここで、多重化部405は、クリップコンティニュアス記録の場合、次のように多重化を行う。すなわち、多重化部405は、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、記録開始指示から記録停止指示までの期間に相当する符号化された各映像データを互いに連結するとともに、各映像データと各映像データに対応する符号化された音声データとを、一つの記録データとして多重化する。具体的には、多重化部405は、記録操作受付部400から通知される記録開始指示と記録停止指示のタイミングに基づいて、映像用バッファ402に蓄積された符号化された映像データのうち、記録対象として採用する符号化された映像データを選択する。ここで、符号化された映像データの選択は、上記第1のデータ単位で行われる。また、多重化部405は、音声用バッファ404に蓄積された符号化された音声データのうち、各映像データに対応する符号化された音声データとして採用する符号化された音声データを選択する。ここで、符号化された音声データの選択は、上記第2のデータ単位で行われる。
ここで、上述の通り、第1のデータ単位の時間長と、第2のデータ単位の時間長とは異なるため、クリップコンティニュアス記録の場合、記録データにおいて映像データと音声データの時間的なずれが生じる。そこで、この時間的なずれを低減するために、本実施の形態では、多重化部405は、以下に示すように、多重化を行う。
多重化部405は、記録開始指示から記録停止指示までの期間に相当する符号化された各映像データと、各映像データに対応する符号化された音声データと、の時間のずれ量が第2のデータ単位の時間長以下となるよう、符号化された第2のデータ単位の音声データの中から第2のデータ単位で音声データを選択して多重化する。
具体的には、本実施の形態では、多重化部405は、次のように多重化を行う。ここで、第1の基準時点とは、注目する記録指示に相当する符号化された映像データの開始時点である。また、第2の基準時点とは、注目する記録指示に相当する符号化された映像データの終了時点である。多重化部405は、累積されたオフセット量だけ時間をずらした音声データについて、注目する記録指示に相当する音声データの始端の第2のデータ単位の音声データの開始時点と第1の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、ここで、音声データの時間がずらされることは、音声データと映像データの本来の時間的な対応関係を崩して、音声データと映像データとを対応させることを意味する。また、多重化部405は、累積されたオフセット量だけ時間をずらした音声データについて、注目する記録指示に相当する符号化された音声データの終端の第2のデータ単位の音声データの終了時点と第2の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、終端を決定する。ここで、オフセット量は以下のように定義される。オフセット量は、初期値が、1回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差である。また、オフセット量は、注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の記録開始指示に相当する時点から、決定された始端までの時間長と、最初の記録開始指示に相当する時点から第1の基準時点までの時間長との差が加算される。また、オフセット量は、注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の記録開始指示に相当する時点から、決定された終端までの時間長と、第2の基準時点までの時間長との差が加算される。なお、加算値は正の値のみならず負の値もとる。このため、累積されたオフセット量は、正の値又は負の値をとる。
以下、具体例を交えて説明する。
図2は、多重化部405による多重化処理の際に選択される映像データ及び音声データを示す模式図である。具体的には、図2において、1段目には、符号化された映像データ系列と符号化された音声データ系列が図示されている。すなわち、1段目は、映像用バッファ402に蓄積される符号化された映像データ及び音声用バッファ404に蓄積される符号化された音声データの一例を示している。2段目では、1回目の記録指示に相当する音声データとして音声用バッファ404中から多重化対象の第2のデータ単位の音声データを選択する際、終端とすべき第2のデータ単位の音声データの決定方法を説明している。3段目では、2回目の記録指示に相当する音声データとして音声用バッファ404中から多重化対象の第2のデータ単位の音声データを選択する際、始端とすべき第2のデータ単位の音声データの決定方法を説明している。4段目では、2回目の記録指示に相当する音声データとして音声用バッファ404中から多重化対象の第2のデータ単位の音声データを選択する際、終端とすべき第2のデータ単位の音声データの決定方法を説明している。5段目では、3回目の記録指示に相当する音声データとして音声用バッファ404中から多重化対象の第2のデータ単位の音声データを選択する際、始端とすべき第2のデータ単位の音声データの決定方法を説明している。
なお、図2において、各矩形が、第1のデータ単位の映像データ又は第2のデータ単位の音声データを示しており、ハッチングされた矩形は、多重化対象として選択されるデータを示している。
具体的には、図2に示した例では、次のようになっている。
映像データ100は、1回目の記録指示に相当する映像データの始端である。映像データ101は、1回目の記録指示に相当する映像データの終端である。映像データ102は、時間的に映像データ101に続く映像データである。映像データ103は、時間的に映像データ104のひとつ前の映像データである。映像データ104は、2回目の記録指示に相当する映像データの始端である。映像データ105は、2回目の記録指示に相当する映像データの終端である。映像データ106は、時間的に映像データ105に続く映像データである。映像データ107は、時間的に映像データ108のひとつ前の映像データである。映像データ108は、3回目の記録指示に相当する映像データの始端である。
音声データ200〜214は、クリップコンティニュアス記録を行う間に得られる符号化された音声データを示しており、特に音声データ200は、1回目の記録開始指示時点の音声データである。
図2を参照して、多重化部405における多重化対象の選択について、順を追って説明する。本実施の形態では多重化部405は、上述の通りオフセット量を用いて多重化対象を選択する。なお、図2に示した例では、オフセット量の初期値は、0である。まず、多重化部405は、1回目の記録指示に相当する映像データに対応する符号化された音声データの選択を行う。このとき、映像データ100の開始時点が第1の基準時点となり、映像データ101の終了時点が第2の基準時点となる。オフセット量が0であるため、多重化部405は、音声データを時間的にずらすことなく、1回目の記録指示に相当する音声データの始端の第2のデータ単位の音声データの開始時点と第1の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、本実施の形態では、第2のデータ単位の時間長の半分とは、16ミリ秒である。このため、図2の2段目に示されるように、多重化部405は、音声データ200を1回目の記録指示に相当する音声データの始端と決定する。なお、最初の記録開始指示に相当する時点、すなわち映像データ100の開始時点から、決定された始端である音声データ200までの時間長と、最初の記録開始指示に相当する時点、すなわち映像データ100の開始時点から第1の基準時点までの時間長との差はない。このため、1回目の記録指示に相当する音声データの始端決定後、オフセット量は加算されない。
次に、オフセット量が引き続き0であるため、多重化部405は、音声データを時間的にずらすことなく、1回目の記録指示に相当する音声データの終端の第2のデータ単位の音声データの終了時点と第2の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、終端を決定する。ここでは図2の2段目に示されるように、第2の基準時点付近の音声データとして音声データ203〜205がある。しかし、音声データ204のみが、終了時点と第2の基準時点との差が第2のデータ単位の時間長の半分以下となる。したがって、多重化部405は、音声データ204を、1回目の記録指示に相当する音声データの終端として決定する。
終端の決定に伴い、オフセット量が更新される。具体的には、最初の記録開始指示に相当する時点、すなわち映像データ100の開始時点から、決定された終端である音声データ204の終了時点までの時間長と、最初の記録開始指示に相当する時点から第2の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をOffset1とする。なお、図2の2段目に示されるように、Offset1は、音声データ204の終了時点と第2の基準時点との差に相当する。
次に、多重化部405は、2回目の記録指示に相当する映像データに対応する符号化された音声データの選択を行う。このとき、映像データ104の開始時点が第1の基準時点となり、映像データ105の終了時点が第2の基準時点となる。多重化部405は、累積されたオフセット量、すなわちOffset1だけ時間をずらした音声データについて、2回目の記録指示に相当する音声データの始端の第2のデータ単位の音声データの開始時点と第1の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、本例では、図2の3段目に示されるように、音声データ系列は、時間的に遅延する方向、すなわち図の右方向に、Offset1だけずらされている。音声データ系列のずらす方向は、累積されたオフセット量の値の正負により決定される。本実施の形態では、累積されたオフセット量の値が正である場合、音声データは多重化対象の選択にあたって遅延する方向にずらされる。
ここでは図2の3段目に示されるように、第1の基準時点付近の音声データとして音声データ206〜208がある。しかし、音声データ207のみが、開始時点と第1の基準時点との差が第2のデータ単位の時間長の半分以下となる。したがって、多重化部405は、音声データ207を、2回目の記録指示に相当する音声データの始端として決定する。
始端の決定に伴い、オフセット量が更新される。具体的には、映像データ100の開始時点から音声データ207の開始時点までの時間長と、映像データ100の開始時点から第1の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をOffset2とする。なお、図2の3段目に示されるように、Offset2は、音声データ207の開始時点と第1の基準時点との差に相当する。
次に、多重化部405は、累積されたオフセット量、すなわちOffset2だけ時間をずらした音声データについて、2回目の記録指示に相当する音声データの終端の第2のデータ単位の音声データの終了時点と第2の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、終端を決定する。なお、本例では、図2の4段目に示されるように、音声データ系列は、時間的に早まる方向、すなわち図の左方向に、Offset2だけずらされている。
ここでは図2の4段目に示されるように、第2の基準時点付近の音声データとして音声データ209〜211がある。しかし、音声データ209のみが、終了時点と第2の基準時点との差が第2のデータ単位の時間長の半分以下となる。したがって、多重化部405は、音声データ209を、2回目の記録指示に相当する音声データの終端として決定する。
終端の決定に伴い、オフセット量が更新される。具体的には、映像データ100の開始時点から音声データ209の終了時点までの時間長と、映像データ100の開始時点から第2の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をOffset3とする。なお、図2の4段目に示されるように、Offset3は、音声データ209の終了時点と第2の基準時点との差に相当する。
次に、多重化部405は、3回目の記録指示に相当する映像データに対応する符号化された音声データの選択を行う。このとき、映像データ108の開始時点が第1の基準時点となる。多重化部405は、累積されたオフセット量、すなわちOffset3だけ時間をずらした音声データについて、3回目の記録指示に相当する音声データの始端の第2のデータ単位の音声データの開始時点と第1の基準時点との差が第2のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、本例では、図2の4段目に示されるように、音声データ系列は、時間的に早まる方向、すなわち図の左方向に、Offset3だけずらされている。
ここでは図2の5段目に示されるように、第1の基準時点付近の音声データとして音声データ212〜214がある。しかし、音声データ214のみが、開始時点と第1の基準時点との差が第2のデータ単位の時間長の半分以下となる。したがって、多重化部405は、音声データ214を、3回目の記録指示に相当する音声データの始端として決定する。
始端の決定に伴い、オフセット量が更新される。具体的には、映像データ100の開始時点から音声データ214の開始時点までの時間長と、映像データ100の開始時点から第1の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をOffset4とする。なお、図2の5段目に示されるように、Offset4は、音声データ214の開始時点と第1の基準時点との差に相当する。
以降、上記と同様に、3回目の記録指示に相当する音声データの終端が決定される。多重化部405は、クリップコンティニュアス記録における最後の記録指示における記録停止指示、すなわち記録完了指示がなされるまで、記録指示に応じて、映像データ及び音声データの選択を繰り返す。なお、多重化部405は、記録完了指示があった場合には、例えば、上記選択方法ではなく、多重化対象の全ての音声データの時間長が、多重化対象の全ての映像データの時間長よりも長くなるよう、当該最後の記録指示に相当する音声データの終端を決定してもよい。
ここで、多重化部405における多重化対象の選択処理の動作の流れについて、説明する。図3は、多重化部405における多重化対象の選択処理の動作の流れについての一例を示すフローチャートである。
ステップ10(S10)において、多重化部405は、記録指示に相当する映像データの始端を選択する。具体的には、多重化部405は、記録操作受付部400から通知された記録開始指示の指示タイミングにしたがって、始端とすべき映像データを特定する。
ステップ11(S11)において、多重化部405は、記録指示に相当する映像データの終端を選択する。具体的には、多重化部405は、記録操作受付部400から通知された記録停止指示の指示タイミングにしたがって、終端とすべき映像データを特定する。
ステップ12(S12)において、多重化部405は、記録操作受付部400から通知された記録指示が当該クリップコンティニュアス記録における最初の記録指示であるか否かを判定する。最初の指示である場合には、処理はステップ13へと移行する。最初の指示ではない場合には、処理はステップ14へと移行する。
ステップ13(S13)において、多重化部405は、オフセット量の初期値を設定する。例えば、多重化部405は、初期値として0を設定する。
ステップ14(S14)において、多重化部405は、記録指示に相当する音声データの始端を選択し、ステップ15(S15)において、多重化部405は、始端の選択結果に基づいて、オフセット量を更新する。
また、ステップ16(S16)において、多重化部405は、記録指示に相当する音声データの終端を選択し、ステップ17(S17)において、多重化部405は、終端の選択結果に基づいて、オフセット量を更新する。なお、多重化部405は、記録操作受付部400から通知された記録停止指示が記録完了指示である場合には、多重化対象の全ての音声データの時間長が、多重化対象の全ての映像データの時間長よりも長くなるよう、当該最後の記録指示に相当する音声データの終端を決定する。
ステップ18(S18)において、多重化部405は、記録操作受付部400から通知された記録停止指示が記録完了指示であったか否かを判定する。記録完了指示である場合には、多重化部405は、多重化対象の選択処理を終了する。記録完了指示ではない場合には、処理はステップ10へと戻る。
図4は、上述の多重化対象の選択処理に基づいて選択された映像データ及び音声データの時間的な対応関係を示す模式図である。本実施の形態に係る多重化対象の選択処理によれば、各操作指示間の映像データの繋ぎ目と音声データの繋ぎ目のずれは、最大でも第2のデータ単位の時間量である。このため、クリップコンティニュアス記録により作成される記録データは、音声と映像の時間的なずれを、いずれの時間帯においても第2のデータ単位の時間量以下に抑えることができる。すなわち、記録装置40によれば、音声と映像との時間的なずれを抑制しつつ、圧縮データを対象としたクリップコンティニュアス記録のための多重化を行うことができる。
以上、多重化部405における多重化対象の選択処理について説明したが、上記選択処理を実現する具体的な演算方法の一例を示す。なお、以下に示す演算方法は、一例であり、他の演算方法により上記選択処理が実現されてもよい。
まず、次のように変数mn、offsetn、mn’、offsetn’、tv、tAを定義する。
mn:映像用バッファに402に蓄積された、1回目の記録指示に相当する映像データの最初から、n回目の記録指示に相当する映像データの最後までの第1の単位の映像データの数
offsetn:n回目の記録指示に相当する音声データの終端を決定する直前の累積オフセット量
mn’:映像用バッファに402に蓄積された、1回目の記録指示に相当する映像データの最初から、n回目の記録指示に相当する映像データの開始直前までの第1の単位の映像データの数
offsetn’:n回目の記録指示に相当する音声データの始端を決定する直前の累積オフセット量
tv:第1の単位の時間長
tA:第2の単位の時間長
例えば、n=2の場合、上記例で説明すると、m2は映像データ100から映像データ105までの第1の単位の映像データ数であり、offset2は上記Offset2に相当する。また、n=2の場合、上記例で説明すると、m2’は映像データ100から映像データ103までの第1の単位の映像データ数であり、offset2’は上記Offset1に相当する。また、本実施の形態では、tv=499.5ミリ秒であり、tA=32ミリ秒である。
多重化部405は、以下の演算を行って、n回目の記録指示に相当する音声データの終端を決定する。
多重化部405は、下記式(1)に示されるように、商qnを得る。なお、qnは、整数値であり、小数点以下の値は切り捨てた値である。
qn =(mn × tv − offsetn)/ tA ・・・(1)
また、多重化部405は、下記式(2)に示されるように、剰余rnを得る。なお、式(2)において「%」は、剰余演算子である。
rn =(mn × tv − offsetn)% tA ・・・(2)
多重化部405は、rn = 0である場合、1回目の記録指示に相当する音声データの始端から数えてqn番目の第2の単位の音声データをn回目の記録指示に相当する音声データの終端として決定する。また、多重化部405は、rn = 0ではない場合、以下の式(3)が成り立つとき、1回目の記録指示に相当する音声データの始端から数えてqn番目の第2の単位の音声データをn回目の記録指示に相当する音声データの終端として決定する。また、多重化部405は、rn = 0ではなく、かつ、以下の式(3)が成り立たない場合、1回目の記録指示に相当する音声データの始端から数えてqn+1番目の第2の単位の音声データをn回目の記録指示に相当する音声データの終端として決定する。
(mn × tv) < (qn × tA + tA/2 + offsetn) ・・・(3)
また、多重化部405は、以下の演算を行って、n回目の記録指示に相当する音声データの始端を決定する。
多重化部405は、下記式(4)に示されるように、商qn’を得る。なお、qn’は、整数値であり、小数点以下の値は切り捨てた値である。
qn ’=(mn’ × tv − offsetn’)/ tA ・・・(4)
また、多重化部405は、下記式(5)に示されるように、剰余rn’を得る。なお、式(5)において「%」は、剰余演算子である。
rn’ =(mn’ × tv − offsetn’)% tA ・・・(5)
多重化部405は、rn’ = 0である場合、1回目の記録指示に相当する音声データの始端から数えてqn’+1番目の第2の単位の音声データをn回目の記録指示に相当する音声データの終端として決定する。また、多重化部405は、rn’ = 0ではない場合、以下の式(6)が成り立つとき、1回目の記録指示に相当する音声データの始端から数えてqn’+1番目の第2の単位の音声データをn回目の記録指示に相当する音声データの終端として決定する。また、多重化部405は、rn’ = 0ではなく、かつ、以下の式(6)が成り立たない場合、1回目の記録指示に相当する音声データの始端から数えてqn’+2番目の第2の単位の音声データをn回目の記録指示に相当する音声データの終端として決定する。
(mn × tv) <= (qn × tA + tA/2 + offsetn) ・・・(6)
以上、多重化部405の多重化対象の選択処理について説明した。
ここで、多重化が、MPEG−TSに準拠した多重化である場合には、クリップコンティニュアス記録により生成された記録データに含まれる、再生するための時間情報が連続性を有する必要がある。このため、多重化部405は、多重化対象の映像データの時間情報が連続性を有するよう、2回目以降の各記録指示に相当する映像データについて、再生するための時間情報であるPTS(Presentation Time Stamp)及びDTS(Decoding Time Stamp)を修正する。また、多重化部405は、多重化対象の音声データの時間情報が連続性を有するよう、2回目以降の各記録指示に相当する音声データについて、PTSを修正する。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、映像符号化部401は、クリップコンティニュアス記録を行う間、記録停止指示の有無に関わらず、符号化を継続して映像用バッファに蓄積を行っているが、記録停止指示ごとに符号化を一時停止してもよい。なお、この場合、例えば、符号化の一時停止期間に相当する時間長が第1のデータ単位の映像データにおける何個分の時間長であるかをカウントするなどすれば、上記実施の形態と同様に、多重化対象の選択処理が可能である。また、映像符号化の一時停止期間中は、撮像部10による映像データの取得も停止されてもよい。
また、本発明は、圧縮して符号化された映像データと圧縮して符号化された音声データを対象としたクリップコンティニュアス記録における多重化に適用可能であり、多重化のフォーマットは限定されない。例えば、上記実施の形態では、MPEG−TSに準拠して多重化を例に説明したが、MPEG−PS(Program Stream)などの他のフォーマットにしたがって多重化が行われてもよい。
また、撮像装置1のいずれかの構成をプログラムの実行により実現する場合、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 撮像装置
10 撮像部
20 音声取得部
30 操作部
40 記録装置
50 記録媒体
400 記録操作受付部
401 映像符号化部
402 映像用バッファ
403 音声符号化部
404 音声用バッファ
405 多重化部
406 多重化用バッファ
407 記録媒体インタフェース部

Claims (5)

  1. 映像データを第1のデータ単位ごとに圧縮して符号化する映像符号化手段と、
    音声データを前記第1のデータ単位とは時間長が異なる第2のデータ単位ごとに圧縮して符号化する音声符号化手段と、
    記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する前記映像符号化手段により符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する前記音声符号化手段により符号化された音声データとを、一つの記録データとして多重化する多重化手段と
    を有し、
    前記音声符号化手段は、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、
    前記多重化手段は、前記各映像データと、前記各映像データに対応する前記音声符号化手段により符号化された音声データと、の時間のずれ量が前記第2のデータ単位の時間長以下となるよう、前記音声符号化手段により符号化された前記音声データの中から前記第2のデータ単位で音声データを選択して多重化し、
    注目する記録指示に相当する符号化された映像データの開始時点を第1の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第2のデータ単位の音声データの開始時点と前記第1の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、始端を決定し、
    前記注目する記録指示に相当する符号化された映像データの終了時点を第2の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第2のデータ単位の音声データの終了時点と前記第2の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、終端を決定し、
    前記オフセット量は、初期値が1回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第1の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第2の基準時点までの時間長との差が加算される記録装置。
  2. 前記映像符号化手段は、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続する
    請求項に記載の記録装置。
  3. 前記映像符号化手段は、各前記記録指示間においては符号化を行わない
    請求項に記載の記録装置。
  4. 前記多重化手段は、MPEG−TSに準拠して多重化を行う
    請求項1〜の何れか1項に記載の記録装置。
  5. 映像データを第1のデータ単位ごとに圧縮して符号化する映像符号化ステップと、
    音声データを前記第1のデータ単位とは時間長が異なる第2のデータ単位ごとに圧縮して符号化する音声符号化ステップと、
    記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する符号化された音声データとを、一つの記録データとして多重化する多重化ステップと
    を有し、
    前記音声符号化ステップは、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、
    前記多重化ステップは、前記各映像データと、前記各映像データに対応する前記音声符号化ステップにより符号化された音声データと、の時間のずれ量が前記第2のデータ単位の時間長以下となるよう、符号化された前記音声データの中から前記第2のデータ単位で音声データを選択して多重化し、
    注目する記録指示に相当する符号化された映像データの開始時点を第1の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第2のデータ単位の音声データの開始時点と前記第1の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、始端を決定し、
    前記注目する記録指示に相当する符号化された映像データの終了時点を第2の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第2のデータ単位の音声データの終了時点と前記第2の基準時点との差が前記第2のデータ単位の時間長の半分以下となるよう、終端を決定し、
    前記オフセット量は、初期値が1回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第1の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第2の基準時点までの時間長との差が加算される多重化方法。
JP2015017338A 2015-01-30 2015-01-30 記録装置及び多重化方法 Active JP6358113B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015017338A JP6358113B2 (ja) 2015-01-30 2015-01-30 記録装置及び多重化方法
PCT/JP2015/006274 WO2016120934A1 (ja) 2015-01-30 2015-12-16 記録装置及び多重化方法
US15/663,244 US10412340B2 (en) 2015-01-30 2017-07-28 Recording device and multiplexing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015017338A JP6358113B2 (ja) 2015-01-30 2015-01-30 記録装置及び多重化方法

Publications (2)

Publication Number Publication Date
JP2016143976A JP2016143976A (ja) 2016-08-08
JP6358113B2 true JP6358113B2 (ja) 2018-07-18

Family

ID=56542598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015017338A Active JP6358113B2 (ja) 2015-01-30 2015-01-30 記録装置及び多重化方法

Country Status (3)

Country Link
US (1) US10412340B2 (ja)
JP (1) JP6358113B2 (ja)
WO (1) WO2016120934A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305065B2 (ja) * 2003-06-12 2009-07-29 ソニー株式会社 Av同期処理装置および方法ならびにav記録装置
JP4560788B2 (ja) * 2005-05-26 2010-10-13 カシオ計算機株式会社 カメラ装置及び録画装置並びにプログラム
JP4715623B2 (ja) * 2006-05-08 2011-07-06 ソニー株式会社 データ記録装置及びデータ記録方法、並びにコンピュータ・プログラム
JP2008054159A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd 映像音声多重化装置
JP4720873B2 (ja) * 2008-08-11 2011-07-13 ソニー株式会社 情報記録装置、撮像装置、情報記録方法およびプログラム

Also Published As

Publication number Publication date
US10412340B2 (en) 2019-09-10
US20170332039A1 (en) 2017-11-16
WO2016120934A1 (ja) 2016-08-04
JP2016143976A (ja) 2016-08-08

Similar Documents

Publication Publication Date Title
JP4358081B2 (ja) 映像記録装置
WO2017067489A1 (zh) 机顶盒音视频同步的方法及装置、存储介质
WO2019057198A1 (zh) 视频录制方法和装置
JP4669902B2 (ja) 映像記録装置、多重方法、プログラム、及び記録媒体
JP4983923B2 (ja) デコーダ装置、およびデコード方法
JP2008228282A (ja) 画像処理装置
JP6119260B2 (ja) 動画像多重化装置及び動画像多重化方法、ならびに多重化動画像復号装置及び多重化動画像復号方法
US10224055B2 (en) Image processing apparatus, image pickup device, image processing method, and program
US8472781B2 (en) Playback method, playback program and playback apparatus
US20100098161A1 (en) Video encoding apparatus and video encoding method
JP4981275B2 (ja) 画像記録装置
JP7146574B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
US20050004940A1 (en) Information processing apparatus and method
JP2010278481A (ja) データ処理装置
JP6358113B2 (ja) 記録装置及び多重化方法
JP2012170054A (ja) 映像記録装置、映像再生装置および映像復旧装置
JP5101668B2 (ja) デジタルビデオ収録再生装置
JP6776126B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US8331757B2 (en) Time code processing apparatus, time code processing method, program, and video signal playback apparatus
JP7146575B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
KR101541219B1 (ko) 병렬 분산 처리를 통한 고속 녹화 장치 및 그 방법
CN107409194B (zh) 信号处理装置、信号处理系统和信号处理方法
JP5803814B2 (ja) 記録装置および記録制御方法
JP5743516B2 (ja) 映像表示装置及び映像表示方法
JP5859100B2 (ja) 画像記録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R150 Certificate of patent or registration of utility model

Ref document number: 6358113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150