JP5481548B2 - カメラ - Google Patents

カメラ Download PDF

Info

Publication number
JP5481548B2
JP5481548B2 JP2012232490A JP2012232490A JP5481548B2 JP 5481548 B2 JP5481548 B2 JP 5481548B2 JP 2012232490 A JP2012232490 A JP 2012232490A JP 2012232490 A JP2012232490 A JP 2012232490A JP 5481548 B2 JP5481548 B2 JP 5481548B2
Authority
JP
Japan
Prior art keywords
microphone
audio
recording
stream
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2012232490A
Other languages
English (en)
Other versions
JP2013059066A (ja
Inventor
拓 中村
藤井  由紀夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2012232490A priority Critical patent/JP5481548B2/ja
Publication of JP2013059066A publication Critical patent/JP2013059066A/ja
Application granted granted Critical
Publication of JP5481548B2 publication Critical patent/JP5481548B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、映像および音声を記録するビデオカメラのうち、特に撮影者のナレーションを記録するカメラに関する。
撮影者のナレーションを鮮明に記録する技術の一例として、特許文献1に左右マイクロフォンのうちの撮影者の発する音声に対する集音状態が良好であるものを選択し、良好であるものから音声信号を導出し、記録する音声信号記録装置が記載されている。
特開平6−245119号公報
しかし、上記音声信号記録装置では、一旦ナレーション記録モードで記録されると、再生時にナレーションの有無やその音量をコントロールすることはできないという問題がある。また、撮影者の意図しないナレーションや、撮影者付近の人の声が録音されてしまうという問題がある。さらに、撮影者は集音マイクに近いため、撮影目標付近の音声に比べてナレーションが大音量で記録されてしまう可能性がある。
かかる問題点に鑑み、本発明は撮影者のナレーションを再生時においても撮影目標の音声とは独立に音量のコントロールが可能なビデオカメラ等の記録再生装置を提供することを目的とする。さらにナレーションの記録、再生の有無の選択が可能な記録再生装置を提供することを目的とする。
上記目的は一例として特許請求の範囲に記載の発明により改善される。
本発明によれば、撮影者の発する音声によるナレーションを独立したチャネルに記録することにより、撮影目標付近の音声およびナレーション音声を鮮明に記録することができる。
本発明の第一の実施形態を示すブロック図である。 本発明の第二の実施形態を示すブロック図である。 本発明の第三の実施形態を示すブロック図である。 本発明の第四の実施形態を示すブロック図である。 本発明の第五の実施形態を示すブロック図である。 本発明の第六の実施形態を示すブロック図である。 本発明の第七の実施形態を示すブロック図である。 本発明の第八の実施形態を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
まず、本発明の第一の実施形態について説明する。
図1は、本発明の第一のビデオカメラを示す図である。同図に示すように、このビデオカメラは、記録媒体10と、マルチプレクサ20と、ビデオエンコーダ30と、オーディオエンコーダ40と、カメラ50と、撮影目標の左側音声を周音しデジタル信号に変換するLch記録用マイク60と、撮影目標の右側音声を集音しデジタル信号に変換するRch記録用マイク70と、ナレーションマイク80とを備える。
カメラ50で撮影された映像はデジタル信号に変換される。ビデオエンコーダ30は、カメラ50から得られるデジタル信号に対しエンコード処理を行い、ビデオストリームを生成する。Lch記録用マイク60は、撮影目標のLch音声を集音し、デジタル信号に変換する。Rch記録用マイク70は、撮影目標のRch音声を集音し、デジタル信号に変換する。ナレーションマイク80は、撮影者の発する音声をデジタル信号に変換する。オーディオエンコーダ40はLch記録用マイク60と、Rch記録用マイク70と、ナレーションマイク80から得られる計3chの音声を各チャネルごとに独立にエンコードし、オーディオストリームを生成する。マルチプレクサ20は、ビデオエンコーダ30及びオーディオエンコーダ40からエンコードされたストリームを受け取り、オーディオ、ビデオの同期化処理を行う。そして、生成したAVストリームを磁気テープや半導体メモリ、光ディスク等の記録媒体10に書き込む。
本発明は上記のような構成にすることにより、撮影者の近くにマイクを置き、独立したチャネルに記録することで鮮明なナレーションが得られる。また、Lch記録用マイク60、Rch記録用マイク70は撮影者近辺の音声を集音する必要がなくなるため、撮影目標への指向性を大幅に高めることができ、撮影目標付近の音声を鮮明に記録できる。
以上述べたように、撮影者のナレーションを独立したチャネルに記録することによりナレーションを判別可能にすることができる。
次に本発明の第二の実施形態について説明する。
図2は本発明の第二のビデオカメラを示す図である。同図において、図1と同一部分については同一符号を付して説明を省略する。エンコード/デコード切替スイッチ140は、エンコード時は記録媒体10への書込み側、デコード時は記録媒体10からの読み出し側へ接続し、エンコード処理とデコード処理を区別する。デマルチプレクサ90は、AVストリームをエンコード/デコード切替スイッチ140を経由して読み出し、ビデオストリーム、オーディオストリームを分離し、オーディオ、ビデオが同期するように出力する。ビデオデコーダ100は、デマルチプレクサ90からビデオストリームを読み出し、デコード処理を行い映像信号を得る。モニタ130は、ビデオデコーダ100の出力する映像信号を表示する。オーディオデコーダ110は、デマルチプレクサ90からオーディオストリームを読み出し、デコード処理を行いLch、Rch、ナレーションの計3chの音声信号を出力する。ダウンミックス回路120は、オーディオデコーダ110から3chの音声信号を読み出し、固定値もしくはユーザの設定によるダウンミックス係数を用いて2chにダウンミックスを行う。Lch記録用マイク/再生用スピーカ61は、記録時は撮影目標のLch音声の集音を行い、再生時はLch音声を出力する。Rch記録用マイク/再生用スピーカ71は、記録時は撮影目標のRch音声の集音を行い、再生時はRch音声を出力する。
本実施形態では、ナレーションを独立したチャネルに記録したAVストリームの再生時に、3chから2chへのダウンミックス処理を行うことにより、撮影目標付近の音声とナレーションの音声の音量を調節することが可能になる。
撮影目標付近の音声とナレーションの音声のダウンミックス係数はあらかじめ用意された係数値を用いてもよいし、ユーザが再生時に調整するようにしてもよい。また、再生時にナレーション音声をミュートすると撮影者付近の音声がほぼ遮断できるため、撮影者の周囲が騒々しい場合でも撮影目標付近の音声を鮮明に再生できる。同様に、再生時に撮影目標付近の音声をミュートすると、騒々しい場面の撮影でもナレーションが鮮明に再生できる。
以上述べたように、第二の実施形態では、再生時にダウンミックス係数を変更することによりナレーションの音量を制御可能にすることができる。
次に本発明の第三の実施形態について説明する。
図3は本発明の第三のビデオカメラを示す図である。同図において、図1と同一部分については同一符号を付して説明を省略する。ナレーションボリューム調整回路150は、ナレーションマイク80から入力されるデジタル信号に対し音量の調整を行った後オーディオエンコーダ40に出力する。ボリューム調整回路151は、Lch記録用マイク60とRch記録用マイク70から入力されたデジタル信号に対し音量の調整を行った後オーディオエンコーダ40に出力する。
本実施形態では、ナレーションの音声と撮影目標付近の音声のボリュームを相対的に調整してから記録し、再生時のダウンミックスの手間を減らす。調整するボリューム値はあらかじめ用意した値でも、撮影者が記録時に設定した値でもよい。このように、記録時に音量を調節することにより、ナレーションの音量を制御可能にすることができる。
また、撮影目標付近の音声、もしくはナレーションをミュートし、ミュートしたチャネルをオーディオエンコーダ40でエンコードしないことでオーディオストリームのビットレートを削減し、ビデオカメラの録画時間を延長することができる。
次に本発明の第四の実施形態について説明する。
図4は本発明の第四のビデオカメラを示す図である。同図において、図3と同一部分については同一符号を付して説明を省略する。ダウンミックス回路230は、Lch記録用マイク60から得られるデジタル信号とRch記録用マイク70から得られるデジタル信号をダウンミックスし、モノラルのデジタル信号を出力する。セレクタ240は、Lch記録用マイク60から得られるデジタル信号、Rch記録用マイク70から得られるデジタル信号、ダウンミックス回路230から得られるモノラルのデジタル信号、ナレーションマイク80から得られるデジタル信号のうち、2つのチャネルを選択し、出力を行う。
本実施形態では、セレクタ240により2チャネルを選択してオーディオのエンコード処理を行うことで、従来の2チャネルに限定したオーディオエンコーダでもナレーションを鮮明に記録できる。エンコードするチャネルを2チャネルに限定することで、生成するビットストリームのビットレートを下がり記録時間を延ばすことができる。
以上述べたように、2チャネルに限定することにより従来のオーディオエンコーダでも本技術を利用することを可能にする効果がある。
次に本発明の第五の実施形態について説明する。
図5は本発明の第五のビデオカメラを示す図である。同図において、図3と同一部分については同一符号を付して説明を省略する。ズームコントローラ160は、撮影者の操作に基づきカメラ50のズームレンズの移動を制御する。
本実施形態では、ナレーションボリューム調整回路150、ボリューム調整回路151のボリューム調整をズームコントローラ160の制御信号と連動させることで、撮影者の意図する音声を録音する。すなわちズームインしたとき、撮影者は遠くにある撮影目標を中心に記録することを望んでおり、カメラの指向性を鋭くし、撮影目標付近の音声を中心に再生するように,ナレーションに対する撮影目標付近の音声のボリュームを相対的に上げる。逆に、ズームアウトしたときは撮影目標と付近全体の音声を記録することを望んでおり、ナレーションに対するボリュームを相対的に下げるといった制御を行うことで撮影者の意図する映像を撮影できるようにする。
このように、ナレーションをズームに連動させることにより、撮影画像にあわせたナレーションの音量調整を可能にする効果がある。
次に本発明の第六の実施形態について説明する。
図6は本発明の第六のビデオカメラを示す図である。同図において、図1と同一部分については同一符号を付して説明を省略する。ナレーション調整回路170は、ナレーションマイクからのデジタル信号を受け取り、一定音量以上の音声の入力があったときにオーディオエンコーダにナレーションのデジタル信号を出力する。
本実施形態では、撮影者がナレーションを記録することを意識して、ある大きさの音量で話したときだけ記録を行い、それ以外のときはミュートすることでビットレートを下げ記録時間を延長する。また撮影者付近のナレーション以外の音声を記録時に遮断することで、より鮮明にナレーションを再生可能にする。
このように、撮影者の意図するナレーションだけを判別して記録することにより、明確にナレーションを記録する効果がある。
次に本発明の第七の実施形態について説明する。
図7は本発明の第七のビデオカメラを示す図である。同図において、図1と同一部分については同一符号を付して説明を省略する。切替スイッチ180はナレーションマイク80の出力する音声信号を撮影者の選択により切り替える。音声認識回路190は、ナレーションマイク80で集音した音声のデジタル信号を切替スイッチ180から受け取り、入力された音声を認識し該当する制御信号を出力する。システムコントローラ200は、ビデオカメラ各部の動作制御を行い、音声認識回路190が出力する制御信号がある場合、制御信号の内容に従いシステム全体を制御する。
本実施形態では、撮影者がナレーションマイク80を用いてナレーションを記録するだけでなく、発した言葉によりビデオカメラの制御を行うことを可能にする。従来のボタン操作による撮影中のビデオカメラ操作では、操作する内容の種類が限られる。しかし音声認識による制御により画面切替時のフェードイン、モザイクなどのエフェクトやカラー、白黒などの色調変更等の操作が撮影中に容易にできる。このように、音声認識回路を有することにより、ビデオカメラ各部の制御を可能にする効果がある。
次に本発明の第八の実施形態について説明する。
図8は本発明の第八のビデオカメラを示す図である。同図において、図1と同一部分については同一符号を付して説明を省略する。ヘッドホン型ナレーションマイク220はビデオカメラ本体から取り外しが可能になっていて、撮影者の頭部に装着し撮影者の発するナレーションをデジタル信号に変換する。受信回路210は、ヘッドホン型ナレーションマイク220が出力するナレーションのデジタル信号を受信し、オーディオエンコーダに出力する。
本実施例では、ナレーションマイクをビデオカメラ本体から取り外し可能にし、撮影者の口元に近づけてナレーションを録音することによりナレーションマイクの指向性を高められる。また、ビデオカメラを目元から離して撮影してもナレーションマイクは撮影者の口元であるため鮮明なナレーションが記録できる。撮影者はヘッドホンから記録中のLch、Rch記録用マイクの出力を聞くことができ、記録されている音声を確認しながらナレーションを行うこともできる。第八の実施形態はヘッドホンにより明確に撮影者のナレーションを集音することにより、撮影者周囲の雑音を遮断する効果がある。
10 記録媒体
20 マルチプレクサ
30 ビデオエンコーダ
40 オーディオエンコーダs
50 カメラ
60 Lch記録用マイク
61 Lch記録用マイク/再生用スピーカ
70 Rch記録用マイク71 Rch記録用マイク/再生用スピーカ
80 ナレーションマイク
90 デマルチプレクサ
100 ビデオデコーダ110 オーディオデコーダ
120 ダウンミックス回路
130 モニタ
140 エンコード/デコード切替スイッチ
150 ナレーションボリューム調整回路
151 ボリューム調整回路
160 ズームコントローラ
170 ナレーション調整回路
180 切替スイッチ
190 音声認識回路
200 システムコントローラ
210 受信回路
220 ヘッドホン型ナレーションマイク
230 ダウンミックス回路
240 セレクタ

Claims (7)

  1. 音声を集音して音声信号に変換するマイクから得られる音声信号に対し、情報圧縮を行いオーディオストリームを生成するオーディオエンコーダと、
    撮影目標の映像を映像信号に変換する撮像部と、
    前記撮像部から得られた前記映像信号に対し情報圧縮を行いビデオストリームを生成するビデオエンコーダと、
    前記ビデオエンコーダから得られた前記ビデオストリームと前記オーディオエンコーダから得られた前記オーディオストリームが同期して再生されるよう同期処理を行いAVストリームを生成するマルチプレクサと、
    前記マルチプレクサから出力された前記AVストリームを記録媒体に記録する記録手段とを備え、
    前記マイクから入力された音声信号を音声認識回路に入力させて音声認識し、前記マイクから得られた音声信号に従いカメラを制御する第1のモードと、前記マイクから得られた音声信号を前記オーディオエンコーダに入力させてエンコードし、前記記録手段により前記記録媒体に記録する第2のモードとを撮影者の選択により切り替え可能であり、
    前記第1のモードにおいて、前記音声認識回路の認識結果に従ってカメラを制御するとともに前記AVストリームを前記記録媒体に記録し、
    前記第2のモードにおいて、前記マイクから入力された音声信号を含む前記AVストリームを前記記録媒体に記録することを特徴とするカメラ。
  2. 前記マイクは、前記カメラ本体の外部の離れた位置に配置可能であり、
    前記マイクからの音声信号を受信する受信回路とを備え、
    前記受信回路は、前記マイクから得られた音声信号を前記カメラ本体外部から入力し、前記オーディオエンコーダに出力し、
    前記オーディオエンコーダは、前記受信回路から出力された音声信号に対し、情報圧縮を行いオーディオストリームを生成することを特徴とする請求項1に記載のカメラ。
  3. 撮影目標のLch音声を集音して音声信号に変換するLch記録用マイクと、
    撮影目標のRch音声を集音して音声信号に変換するRch記録用マイクと、
    前記Lch記録用マイク、前記Rch記録用マイク及び第3の音声を集音して音声信号に変換する第3マイクから得られる音声信号に対し、情報圧縮を行いオーディオストリームを生成するオーディオエンコーダと、
    撮影目標の映像を映像信号に変換する撮像部と、
    前記撮像部から得られた前記映像信号に対し情報圧縮を行いビデオストリームを生成するビデオエンコーダと、
    前記ビデオエンコーダから得られた前記ビデオストリームと前記オーディオエンコーダから得られた前記オーディオストリームが同期して再生されるよう同期処理を行いAVストリームを生成するマルチプレクサと、
    前記マルチプレクサから出力された前記AVストリームを記録媒体に記録する記録手段とを備え、
    前記第3のマイクから入力された音声信号を音声認識回路に入力させて音声認識し、前記第3のマイクから得られた音声信号に従いカメラを制御する第1のモードと、前記第3のマイクから得られた音声信号を前記オーディオエンコーダに入力させてエンコードし、前記記録手段により前記記録媒体に記録する第2のモードとを撮影者の選択により切り替え可能であり、
    前記第1のモードにおいて、前記音声認識回路の認識結果に従ってカメラを制御するとともに前記AVストリームを前記記録媒体に記録し、
    前記第2のモードにおいて、前記オーディオエンコーダは前記Lch記録用マイク、前記Rch記録用マイク及び前記第3のマイクから得られた音声信号を独立したチャネルとして、撮像中に並行してエンコードし、前記第3のマイクから入力された音声信号を含む前記AVストリームを前記記録媒体に記録することを特徴とするカメラ。
  4. 前記第3のマイクは、前記カメラ本体の外部の離れた位置に配置可能であり、
    前記第3のマイクからの音声信号を受信する受信回路とを備え、
    前記受信回路は、前記第3のマイクから得られた音声信号を前記カメラ本体外部から入力し、前記オーディオエンコーダに出力し、
    前記オーディオエンコーダは、前記受信回路から出力された音声信号に対し、情報圧縮を行いオーディオストリームを生成することを特徴とする請求項3に記載のカメラ。
  5. 前記カメラのズーム動作に応じて、前記Lch記録用マイク、前記Rch記録用マイク及び前記第3のマイクから得られる音声信号についてそれぞれ別々のボリューム調整を行い前記カメラの指向性を可変することを特徴とする請求項3に記載のカメラ。
  6. 前記第3のマイクから得られる音声信号に対し音量を調整する第1のボリューム調整回路と、
    前記Lch記録用マイクとRch記録用マイクから得られる音声信号に対し音量を調整する第2のボリューム調整回路とを備え、
    音声の記録時に双方のボリュームを相対的に調整することを特徴とする請求項3に記載のカメラ。
  7. 前記オーディオデコーダは前記第1のボリューム調整回路もしくは前記第2のボリューム調整回路によりいずれかのチャネルがミュートされたときは、当該チャネルをエンコードしないことを特徴とする請求項6に記載のカメラ。
JP2012232490A 2012-10-22 2012-10-22 カメラ Expired - Lifetime JP5481548B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012232490A JP5481548B2 (ja) 2012-10-22 2012-10-22 カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012232490A JP5481548B2 (ja) 2012-10-22 2012-10-22 カメラ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011010368A Division JP5241865B2 (ja) 2011-01-21 2011-01-21 ビデオカメラ

Publications (2)

Publication Number Publication Date
JP2013059066A JP2013059066A (ja) 2013-03-28
JP5481548B2 true JP5481548B2 (ja) 2014-04-23

Family

ID=48134480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012232490A Expired - Lifetime JP5481548B2 (ja) 2012-10-22 2012-10-22 カメラ

Country Status (1)

Country Link
JP (1) JP5481548B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9470572B2 (en) 2012-03-29 2016-10-18 Nihon Kohden Corporation Method and apparatus for measuring liquid level of cell culture solution

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260358A (ja) * 1992-03-11 1993-10-08 Sony Corp ビデオカメラシステム、リモートコマンダ及びビデオカメラ
JPH11136553A (ja) * 1997-10-29 1999-05-21 Canon Inc 撮像装置
JP2000122694A (ja) * 1998-10-21 2000-04-28 Olympus Optical Co Ltd 音声記録再生装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9470572B2 (en) 2012-03-29 2016-10-18 Nihon Kohden Corporation Method and apparatus for measuring liquid level of cell culture solution

Also Published As

Publication number Publication date
JP2013059066A (ja) 2013-03-28

Similar Documents

Publication Publication Date Title
US20050237395A1 (en) Information processing apparatus, imaging apparatus, information processing method, and program
US8068620B2 (en) Audio processing apparatus
JP4850628B2 (ja) 記録装置
JP4934580B2 (ja) 映像音声記録装置および映像音声再生装置
US20090303350A1 (en) Multi-channel sound collecting apparatus, multi-channel sound reproducing apparatus, and multi-channel sound collecting and reproducing apparatus
US10244271B2 (en) Audio recording device, audio recording system, and audio recording method
JP2006314078A (ja) 撮像装置、音声記録装置および音声記録方法
JP5020845B2 (ja) 音声処理装置
JP2009156888A (ja) 音声補正装置及びそれを備えた撮像装置並びに音声補正方法
JP6603897B2 (ja) 撮像装置
JP5241865B2 (ja) ビデオカメラ
JP5481548B2 (ja) カメラ
JP4752880B2 (ja) ビデオカメラ
JP4240805B2 (ja) ビデオカメラ
JP2005176138A (ja) 音声記録再生装置及び音声記録再生方法
JP5171369B2 (ja) 集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法
JP5268608B2 (ja) 撮像再生装置
KR101281814B1 (ko) 입체음향 기록이 가능한 촬영장치 및 그 방법
JP2006135503A (ja) 音声記録装置及び音声記録装置の音声記録方法
JP5317936B2 (ja) 音声信号処理装置
JP5072730B2 (ja) 信号処理装置、撮像装置
JP5349850B2 (ja) 信号処理装置、撮像装置
JP5014101B2 (ja) 撮像装置
JP2017199987A (ja) 撮像装置
JP2006270720A (ja) 信号処理プログラム、及び記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

R150 Certificate of patent or registration of utility model

Ref document number: 5481548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term