JP5187316B2 - 画像撮影装置、エンコード方法およびプログラム - Google Patents

画像撮影装置、エンコード方法およびプログラム Download PDF

Info

Publication number
JP5187316B2
JP5187316B2 JP2009542540A JP2009542540A JP5187316B2 JP 5187316 B2 JP5187316 B2 JP 5187316B2 JP 2009542540 A JP2009542540 A JP 2009542540A JP 2009542540 A JP2009542540 A JP 2009542540A JP 5187316 B2 JP5187316 B2 JP 5187316B2
Authority
JP
Japan
Prior art keywords
image
data
encoding
storing
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009542540A
Other languages
English (en)
Other versions
JPWO2009066626A1 (ja
Inventor
知志 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009542540A priority Critical patent/JP5187316B2/ja
Publication of JPWO2009066626A1 publication Critical patent/JPWO2009066626A1/ja
Application granted granted Critical
Publication of JP5187316B2 publication Critical patent/JP5187316B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像(静止画または動画)を撮影する画像撮影装置において、小さいメモリ容量で大きなサイズの画像撮影を可能とする技術に関するものである。
画像撮影装置、とりわけ静止画撮影装置(カメラ)の機能増加に伴い、撮影可能な画像サイズは増加の一途を辿っている。
ここで、バッファメモリと、バッファメモリから画像を分割して読み出し映像信号を生成する映像信号生成部と、分割して読み出した画像に対する画像情報を生成する画像情報生成部と、映像信号と画像情報を多重化する多重化部と、多重化された映像信号から分割画像データと画像情報を分離する同期コード検出部と、分離された分割画像データを符号化する画像符号化部と、符号化されたビットストリームと、分離された画像情報を多重化する多重化部とを有することで、画像を分割した分割画像データと、この分割画像データに関する画像情報との相関を容易にとる技術が提案されている（例えば、特許文献１参照）。
特開２０００−２４４９１２号公報
しかしながら、関連技術においては画像を一旦全て取得してから画像エンコード処理を実施するため、画像撮影装置内に画像サイズ分のメモリを用意しておく必要があり、画像サイズの増加に伴う大容量化が実装上の困難を生んでいた。
特に回転が必要な場合は、回転前と回転後で２枚分のメモリが必要(回転処理では、元画像を置き換える形での処理ができないので)であり、要求される容量はさらに増加する。
本発明は、大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができる画像撮影装置、エンコード方法およびプログラムを提供することを目的とする。
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
本発明の画像撮影装置は、撮影画像中の連続した複数の正方形の領域を個別に出力する分割転送手段と、前記分割転送手段から出力する画像データを回転処理する回転処理手段と、当該回転処理手段からのデータを格納する記憶手段と、当該記憶手段に格納されたデータを部分エンコーダでエンコードする分割エンコード手段と、エンコーダされたデータを最後に統合する統合手段とを備えることを特徴とする。
また、本発明のエンコード方法は、撮影画像中の連続した複数の正方形の領域を個別に出力する分割転送ステップと、前記分割転送ステップから出力する画像データを回転処理する回転処理ステップと、当該回転処理ステップからのデータを格納する記憶ステップと、当該記憶ステップによって格納されたデータを部分エンコーダでエンコードする分割エンコードステップと、エンコーダされたデータを最後に統合する統合ステップとを有することを特徴とする。
また、本発明のプログラムは、コンピュータに、撮影画像中の連続した複数の正方形の領域を個別に出力する分割転送ステップと、前記分割転送ステップから出力する画像データを回転処理する回転処理ステップと、当該回転処理ステップからのデータを格納する記憶ステップと、当該記憶ステップによって格納されたデータを部分エンコーダでエンコードする分割エンコードステップと、エンコーダされたデータを最後に統合する統合ステップとを実行させることを特徴とする。
本発明によれば、大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１に本発明の基本的な構成を示す。
カメラモジュールはセンサを持ち、内蔵レンズまたは外付けレンズによりセンサに結像した画像をデジタルデータ(画像データ)に変換する。
入力バッファはカメラモジュールが出力した画像データを蓄積するＲＡＭである。
画像エンコーダは画像データを保存用のフォーマットにエンコードする機能で、ＪＰＥＧエンコーダなどが使用される。
出力バッファはエンコード済みの画像データを出力するメモリである。
制御部は、ユーザからの操作等に応じて各部を制御するプログラムまたはシステムである。
図１の構成自体は一般的な画像撮影装置と同じである。ただし、一般的な構成では入力バッファは一画面分のサイズが必要となるが、本発明においては分割数(後述)に応じて一画面分のサイズ÷分割数だけ用意すればよい。
典型的な例では、１６ｂｉｔ／ｐｉｘｅｌで構成された５Ｍｐｉｘｅｌの画像を３分割する場合、本来５Ｍｐｉｘｅｌ分(１０Ｍｂｙｔｅ)必要になるが、本発明の方式で分割数３とした場合は１.６７Ｍｐｉｘｅｌ(３.３Ｍｂｙｔｅ)で済む。
図２がカメラモジュールの構成である。センサは画像を捉え電気信号に変換する部品で、ＣＣＤやＣＭＯＳなどの方式が知られている。
レンズは入射した光線をセンサ上に結蔵させる機能をもつ。レンズは外付けであってもよい。
読み出し・画像処理部はセンサから読み出した信号を変換・加工し、画像データ(ラスタ画像)を生成する。
画像ＲＡＭは生成された画像データを保持するＲＡＭである。画像ＲＡＭは一画面分のサイズが必要となる。
矩形読み出し部は、画像ＲＡＭに格納された画像(一画面分)から、制御部に指定された任意の矩形領域を切り出し、ホストインターフェースに渡す機能をもつ。
ホストインターフェースはホストデバイス(この実施の形態では画像撮影装置)からの指示を受け取る機能と、画像をホストデバイスに転送する機能をもつ。
制御部は、ホストデバイスからの指示に各部を制御するプログラムまたはシステムである。
図２の構成のうち、矩形読み出し部を設けたことが本発明の特徴である。これにより、画像を一部分ずつ取得することが可能になる。それ以外の部分は一般的な構成で、通常はカメラモジュールに内蔵されたＤＳＰなどにより実現される。
図３が画像エンコーダの構成である。本発明における画像エンコーダは、一般的なエンコーダ処理を部分エンコーダとストリーム連結処理とに分割している。また、画像を部分ごとにエンコードするため、中間結果を保持するための部分ストリーム保持バッファを持つ。
部分エンコーダは、画像の一部のみが入力された場合に、その一部分のみをエンコードするように構成された処理である。
一般的な画像エンコード方式(ＪＰＥＧなど)では、画像を細かなブロック(１６×１６ｐｉｘｅｌなど)に分割して各ブロックをエンコードし、それを一つのストリームとして構成した上でヘッダをつけた構成となっている。
部分エンコーダは、この各ブロックのエンコード処理を抽出した構成となっており、入力された部分画像に含まれる各ブロックについてエンコード処理を実施し、中間結果をメモリに書き込む機能を持つ。
ストリーム連結処理は、部分ストリーム保持バッファに格納された中間結果を一つのストリームとして構成しなおし、ヘッダを付加する機能をもつ。
部分ストリーム保持バッファは、ラスタ画像ではなくエンコードされた画像を保持するので、エンコード後のサイズに応じた容量のみ確保すればよい。典型的には、５ＭｐｉｘｅｌのＪＰＥＧ画像では１Ｍｂｙｔｅ〜２Ｍｂｙｔｅ程度である。また、部分ストリーム保持バッファと出力バッファは共通としてもよい。
続いて本実施の形態の動作を説明する。
まず、制御部がカメラモジュールに撮影指示を発行し、カメラモジュールがセンサ画像を取得、カメラモジュール内の画像ＲＡＭに画像を生成する。
続いて図４に示す方法にてエンコード済み画像データの生成までを実施する。本発明では、画像を分割数で指定された回数に分割して処理する。図４は、画像を分割数３で分割処理する場合の例である。
分割された各部分について、以下のように処理する。
（１）カメラモジュールから分割された領域の一つを取得する。取得された画像データは入力バッファに格納される。
（２）画像エンコーダの部分エンコーダにより、入力バッファに格納された画像を部分エンコードする。エンコードした結果は部分ストリーム保持バッファに格納される。この時点では部分的なストリームであり、またヘッダも付加されていないのでエンコード済み画像データとしては不完全な状態である。
（３）（１）〜（２）を分割数分繰り返す。
（４）画像エンコーダのストリーム連結処理により、部分ストリーム保持バッファに格納された部分的なストリームを結合・ヘッダを付加し、完全なエンコード済み画像データとして出力バッファに出力する。
これらが完了後、制御部はカメラモジュールに対し画像の消去・電源切断を指示し、また必要に応じて出力バッファのエンコード済み画像データを外部記憶装置などに保存し、処理を完了する。
なお、図４では横長の短冊状に分割したが、縦長に分割しても、また縦横両方向に分割してもよい。ただし一般的には横長の短冊状に分割する方が実装が容易である。これは、元々の画像エンコーダの処理が上から下の各ラインを左から右に処理していくためである。本発明では、カメラモジュールからの画像取得から中間の回転処理、画像エンコード処理を分割処理可能な形にすることにより、メモリ容量の要求量を削減しつつ大きな画像サイズの撮影を可能にする。
図５に、本発明の他の実施の形態を示す。図５は図１記載の構成に対し、さらに画像を回転してエンコードする機能を追加している。これは、画像撮影装置における実装面積の都合などによりカメラモジュールが傾いて配置される場合に有用である。
図５では、図１に対して中間バッファと画像回転処理が追加されている。画像回転処理は単に画像を回転させるだけの処理で、一般的な手法で構成可能である。
図１の場合と異なり、本実施の形態ではカメラモジュールから出力された画像は一旦中間バッファに格納し、続いて画像回転処理を経て入力バッファに格納される。
本実施の形態では、画像はカメラモジュールの画像ＲＡＭ上における横方向を分割する。分割数に応じ、中間バッファと入力バッファの容量は以下のようにして決定される。
分割した辺の長さ = 画像ＲＡＭ上での横幅÷分割数
中間バッファ容量 = 分割した辺の長さ×分割した辺の長さの画像を格納できる容量
入力バッファ容量 = 画像ＲＡＭ上での縦幅×分割した辺の長さの画像を格納できる容量
図６を参照して、本実施の形態の動作を示す。カメラモジュール内の画像ＲＡＭに画像が生成された後の動作は以下のようになる。
まず、分割された領域のうち、分割した辺の長さ×分割した辺の長さに相当する正方形の領域をカメラモジュールから取得する。取得された画像データは中間バッファに格納される。
次に、中間バッファの画像を画像回転処理にて回転し、入力バッファに格納する。このとき、分割された領域が回転した状態で入力バッファに格納されるように正方形領域を格納していく。
上記の２ステップを画像ＲＡＭ上での縦幅÷分割数分繰り返す。
そして、画像エンコーダの部分エンコーダにより、入力バッファに格納された画像を部分エンコードする。エンコードした結果は部分ストリーム保持バッファに格納される。
上記の４ステップを分割数分繰り返す。
最後に、画像エンコーダのストリーム連結処理により、部分ストリーム保持バッファに格納された部分的なストリームを結合・ヘッダを付加し、完全なエンコード済み画像データとして出力バッファに出力する。
以上のようにして、回転が必要な場合であっても、分割数に応じたわずかな容量の中間バッファを追加することで、回転してエンコードする機能が実現できる。
本実施の形態によれば、大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができ、特に、回転のために必要な追加のメモリ容量を抑えることができる。
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、画像撮影装置の機能を実現するためのプログラムを装置に読込ませて実行することにより装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。
なお、この出願は、２００７年１１月２２日に出願した、日本特許出願番号２００７−３０３０９４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、例えば、画像(静止画または動画)を撮影する画像撮影装置に適用可能である。
本発明の実施の形態に係る構成を示す図である。 本発明の実施の形態に係る件らモジュールの構成を示す図である。 本発明の実施の形態に係る画像エンコーダの構成を示す図である。 本発明の実施の形態に係るエンコード済み画像データの生成までを示す図である。 本発明の他の実施の形態を示す図である。 本発明の他の実施の形態に係る動作を示す図である。

Claims (6)

  1. 撮影画像中の連続した複数の正方形の領域を個別に出力する分割転送手段と、前記分割転送手段から出力する画像データを回転処理する回転処理手段と、当該回転処理手段からのデータを格納する記憶手段と、当該記憶手段に格納されたデータを部分エンコーダでエンコードする分割エンコード手段と、エンコーダされたデータを最後に統合する統合手段とを備え、
    前記記憶手段の容量は、前記連続した複数の正方形の領域が占める容量と同等であることを特徴とする画像撮影装置。
  2. 前記記憶手段に格納されたデータは複数であり、対応する正方形の連結関係に応じて連続して配置することを特徴とする請求項１に記載の画像撮影装置。
  3. 撮影画像中の連続した複数の正方形の領域を個別に出力する分割転送ステップと、前記分割転送ステップから出力する画像データを回転処理する回転処理ステップと、当該回転処理ステップからのデータを格納する記憶ステップと、当該記憶ステップによって格納されたデータを部分エンコーダでエンコードする分割エンコードステップと、エンコーダされたデータを最後に統合する統合ステップとを有し、
    前記記憶ステップにおいて、前記データを格納する容量は、前記連続した複数の正方形の領域が占める容量と同等であることを特徴とするエンコード方法。
  4. 前記記憶ステップによって格納されたデータは複数であり、対応する正方形の連結関係に応じて連続して配置させることを特徴とする請求項３に記載のエンコード方法。
  5. コンピュータに、撮影画像中の連続した複数の正方形の領域を個別に出力する分割転送ステップと、前記分割転送ステップから出力する画像データを回転処理する回転処理ステップと、当該回転処理ステップからのデータを、前記連続した複数の正方形の領域が占める容量と同等である容量に格納する記憶ステップと、当該記憶ステップによって格納されたデータを部分エンコーダでエンコードする分割エンコードステップと、エンコーダされたデータを最後に統合する統合ステップとを実行させることを特徴とするプログラム。
  6. 前記記憶ステップによって格納されたデータは複数であり、対応する正方形の連結関係に応じて連続して配置させることを特徴とする請求項５に記載のプログラム。
JP2009542540A 2007-11-22 2008-11-14 画像撮影装置、エンコード方法およびプログラム Expired - Fee Related JP5187316B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009542540A JP5187316B2 (ja) 2007-11-22 2008-11-14 画像撮影装置、エンコード方法およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007303094 2007-11-22
JP2007303094 2007-11-22
JP2009542540A JP5187316B2 (ja) 2007-11-22 2008-11-14 画像撮影装置、エンコード方法およびプログラム
PCT/JP2008/070819 WO2009066626A1 (ja) 2007-11-22 2008-11-14 画像撮影装置、エンコード方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2009066626A1 JPWO2009066626A1 (ja) 2011-04-07
JP5187316B2 true JP5187316B2 (ja) 2013-04-24

Family

ID=40667449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009542540A Expired - Fee Related JP5187316B2 (ja) 2007-11-22 2008-11-14 画像撮影装置、エンコード方法およびプログラム

Country Status (5)

Country Link
US (1) US20100225778A1 (ja)
EP (1) EP2200318A4 (ja)
JP (1) JP5187316B2 (ja)
CN (1) CN101874408A (ja)
WO (1) WO2009066626A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5643293B2 (ja) * 2009-04-21 2014-12-17 テトラサン インコーポレイテッド 太陽電池内の構造部を形成するための方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276403A (ja) * 1997-03-28 1998-10-13 Sanyo Electric Co Ltd デジタル撮像装置
JP2007159094A (ja) * 2005-11-09 2007-06-21 Canon Inc 画像データ処理装置、画像データ処理方法、プログラム及び記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116534A (ja) * 1994-10-18 1996-05-07 Seiko Epson Corp 画像データ符号化装置およびその方法並びに画像データ復号化装置およびその方法
JPH10234043A (ja) * 1997-02-20 1998-09-02 Toshiba Corp 動画像符号化／復号化装置
US6624761B2 (en) * 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
JP2000244912A (ja) 1999-02-17 2000-09-08 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JP3701522B2 (ja) * 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
JP3743384B2 (ja) * 2002-04-19 2006-02-08 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
JP4189252B2 (ja) * 2003-04-02 2008-12-03 パナソニック株式会社 画像処理装置及びカメラ
JP4409897B2 (ja) * 2003-09-19 2010-02-03 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
KR100703283B1 (ko) * 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
JP4579613B2 (ja) * 2004-08-04 2010-11-10 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
KR20060123939A (ko) * 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
JP4273426B2 (ja) * 2005-12-07 2009-06-03 ソニー株式会社 画像処理方法、画像処理装置、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置，及び撮像方法
JP4833728B2 (ja) 2006-05-09 2011-12-07 住友ゴム工業株式会社 帯電防止塗り床およびコーティング剤

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276403A (ja) * 1997-03-28 1998-10-13 Sanyo Electric Co Ltd デジタル撮像装置
JP2007159094A (ja) * 2005-11-09 2007-06-21 Canon Inc 画像データ処理装置、画像データ処理方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JPWO2009066626A1 (ja) 2011-04-07
US20100225778A1 (en) 2010-09-09
CN101874408A (zh) 2010-10-27
WO2009066626A1 (ja) 2009-05-28
EP2200318A1 (en) 2010-06-23
EP2200318A4 (en) 2013-05-22

Similar Documents

Publication Publication Date Title
US7433543B2 (en) Image processing apparatus and method, and image sensing apparatus
JP2015053644A (ja) 撮像装置
JP2005006061A (ja) 画像処理装置
JP5187316B2 (ja) 画像撮影装置、エンコード方法およびプログラム
JP2007135102A (ja) 撮像装置
JP3858447B2 (ja) 電子カメラ装置
JP6467455B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP2017201749A (ja) 画像処理装置およびその制御方法
JP2009038627A (ja) 撮像装置
JP2000101916A (ja) 電子スチルカメラ及びその制御方法
JP2012109863A (ja) 撮像装置と画像処理方法
JP4250511B2 (ja) 撮像装置
KR20090071321A (ko) 촬상 장치, 촬상 방법 및 이를 수행하는 컴퓨터 프로그램을기록한 저장 매체
JP4310177B2 (ja) 撮像装置及び撮像方法
WO2022019197A1 (ja) 撮像装置、レンズ鏡筒装置、撮像方法、送信方法
JP2012147087A (ja) 画像生成装置及び方法
JP2009033438A (ja) 撮像装置
JP7051565B2 (ja) 撮像装置及びその制御方法、撮像システム
US20210136406A1 (en) Video compression apparatus, decompression apparatus and recording medium
JP2009077065A (ja) 撮像装置及び画素デ−タ取り込み方法
JP2012060309A (ja) 撮像装置、撮像方法及びプログラム
JP2013219682A (ja) 撮像装置
JP2023179473A (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2015053645A (ja) 撮像装置
JP5136517B2 (ja) ファイル生成装置、ファイル生成方法、及びファイル生成プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121009

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees