JP4664379B2 - 画像データ処理用の電子デバイス及び画像データ処理方法 - Google Patents

画像データ処理用の電子デバイス及び画像データ処理方法 Download PDF

Info

Publication number
JP4664379B2
JP4664379B2 JP2007548856A JP2007548856A JP4664379B2 JP 4664379 B2 JP4664379 B2 JP 4664379B2 JP 2007548856 A JP2007548856 A JP 2007548856A JP 2007548856 A JP2007548856 A JP 2007548856A JP 4664379 B2 JP4664379 B2 JP 4664379B2
Authority
JP
Japan
Prior art keywords
image data
image
camera
digital camera
image object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007548856A
Other languages
English (en)
Other versions
JP2008529322A (ja
Inventor
ペトリ アホネン
シモ ロッシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2008529322A publication Critical patent/JP2008529322A/ja
Application granted granted Critical
Publication of JP4664379B2 publication Critical patent/JP4664379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Focusing (AREA)

Description

本発明は、
少なくとも1つの一次画像オブジェクトと少なくとも1つの二次画像オブジェクトとを含むイメージングターゲットから画像データを形成するためのカメラ手段と、
イメージングターゲットから形成される画像データを処理するためカメラ手段と接続されて配置された画像処理チェーンと、
少なくとも1つの一次画像オブジェクト上にカメラ手段を合焦させるための合焦手段と、を含むイメージングを実行するための電子デバイスに関する。
更に、本発明はまた、本発明を実装するための対応する方法、プログラム製品、及び合焦モジュールに関する。
小型のデジタルカメラでは、幾つかの要因のなかでも特に焦点距離が短いことにより被写界深度が比較的深い。この種のカメラの1つの実施例は、デジタルイメージング機能を備えた移動局である。被写界深度が深いことにより、画像中にぼけた背景を生成するのが困難になる。このようなイメージングアプリケーションの1つの実施例はポートレイトである。ポートレイトでは、鮮鋭に表したいのは一次画像オブジェクトだけであり、背景、すなわち二次画像オブジェクトはぼかされることが望ましい。
従来技術によりこの解決策は公知であり、この場合は、大きなアパーチャ(小さいF値)と長い焦点距離を使用することによって浅い被写界深度が実装される。この構成は、例えば、SLR(一眼レフ)カメラから公知である。他の可能性としては、例えば、後編集により実装されるぼかしがある。これは、例えば静止画像エディタで一般的な機能である。
米国特許公開US−2002/0191100 A1(Casio Computer Co.Ltd.)は、イメージングに関連してカメラ装置で実行される1つの背景ぼかし方法を開示している。この方法は、イメージング時に2つの画像を取り込むことに基づく。第1の画像は、一次画像オブジェクト上に合焦され、第2の画像が取り込まれる前に、合焦は近接又は遠隔設定に変更される。撮影後、第1及び第2の画像は互いに合成される。この合成の結果、オブジェクトが鮮鋭に撮像されると同時に背景がぼかされた最終画像が得られる。
2つ又は幾つかの画像を適用する他の幾つかの従来技術は、US 2002/0140823 A1、US 2002/0060739 A1、US 2003/0071905 A1、US 2002/0191100 A1に記載されている。
米国特許公報US−2002/0191100 A1 US 2002/0140823 A1 US 2002/0060739 A1 US 2003/0071905 A1 US 2002/0191100 A1
本発明は、デジタルイメージングにおいて望ましくないイメージングオブジェクトをぼかす方法を創出することを目的としている。本発明による電子デバイスの特徴は、添付の請求項1で述べられ、方法の特徴は、添付の請求項9で述べられている。更に、本発明はまた、デバイスでの使用に適合された対応するプログラム製品及び合焦モジュールにも関し、これらの特徴は添付の請求項16及び22で述べられている。
本発明では、ぼかしは、合焦によって生成される情報を利用して実行される。
本発明は、例えば、深い被写界深度を有するデジタルカメラなどでの用途に特に好適である。このようなカメラは、例えば移動局で公知である。本発明は、静止及び動画イメージングの両方に適用することができる。
本発明では、カメラの合焦から得られる情報が適用される。この情報に基づいて、画像内で鮮鋭さが保持されるべき1つ又はそれ以上の画像オブジェクトと、これに応じてぼかされる画像オブジェクトとを決定できる。合焦情報は、イメージング状況において直ちに利用可能であるので、本発明の目的を達成する上で該情報の利用は極めてスムーズに行われる。
不要な画像オブジェクトのぼかしは、例えばフィルタリングを利用することで実行することができる。フィルタリング用のデバイスには、事前計算されたフィルタ係数が存在する場合もあり、これらの係数から、各状況において最適な係数グループを利用するよう選択することができる。一方で、合焦用に形成される統計を使用して、フィルタ係数を計算することができる。
本発明では、エンドユーザが、カメラを利用して驚くべきことにイメージング段階で既に画像にぼかし効果を生成することができる。従って、イメージングイベント後にデバイスの外部で行われるはずの後編集操作が全く必要ではない。
本発明によって得られる利点の1つは、小型カメラ、一般に正確には深い被写界深度を有するカメラを利用して、一次画像オブジェクトが鮮鋭であり、背景又は一般的には二次画像オブジェクトがぼかされるか又は他の方法で不鮮鋭にされた画像を得ることができることである。
本発明の他の特性は、添付の請求項から明らかになるが、得られる追加の利点は、詳細な説明の部分に記載される。
本発明は、以下に説明する実施形態に限定されるものではなく、添付図を参照しながらより詳細に考察される。
図1は、本発明による電子デバイス10の原理上の適用例をフロー線図で示しており、この図に基づいて以下で本発明を説明する。更に図2は、本発明によるプログラム製品30の実施例を示している。プログラム製品30は、記憶媒体MEMと、そこに保存されるプログラムコード31とから形成され、プログラムコード31に属するコード手段31.1−31.5を以下の説明において適切な箇所で参照し、これらのコード手段を本発明による方法及びデバイス10に関連付ける。
デバイス10は、例えば、静止及び/又は動画のイメージング機能を備えたデジタルカメラ、デジタルビデオカメラ、カメラを搭載した移動局、又は他の何らかの同様のスマートコミュニケータ(PDA)とすることができ、これらの構成要素は、本発明の観点からは関係がないので、本発明では詳細に説明しない。本発明は、デバイス10だけではなく、例えばデバイス10内に存在することができるイメージングチェーンシステム27及び合焦モジュール28にも同等に関連する。このような合焦モジュール28の一例は、キャノンが開発したAi−AFシステムである。
本発明によるデバイス10、及びこれと共にイメージングシステムはまた、カメラ手段11、14、及びこれに接続されたデジタル画像処理チェーン27、並びに合焦回路28をモジュール式構成要素として含むことができる。
カメラ手段11、14は、それ自体が公知の画像センサ全体12、13と可動レンズ15とを含むことができ、該可動レンズによりイメージングターゲットITの画像データIDを形成することができる。イメージングターゲットITは、公知の方法でカメラセンサ12によって変換されて電気信号を形成し、ADコンバータ13を用いてデジタル形式に変換される。
カメラ手段11、14の焦点距離は、35mmフィルムでの焦点距離等量として公表されている35mmよりも短い場合がある。35mmフィルムでの焦点距離等量として公表されているカメラ手段の焦点距離の幾つかの実施例は、例えば、15−20mm(超広角)、20−28mm(広角)、又は28−35mm(準広角)とすることができる。本発明を利用すると、深い被写界深度を備えたデバイス10において特に利点が得られるが、本発明は当然ながら、浅い被写界深度を備えたデバイス(例えば望遠対物レンズ)にも適用することができる。
合焦手段28は、カメラ手段11、14を合焦させるためにデバイス10内にある。例えばそれ自体で公知であるか、又はまだ開発中のソリューションを合焦回路28として適用することができる。例えば、動画のイメージングアプリケーションの場合には、合焦回路28を使用すると、イメージングターゲットIT内の画像オブジェクトI1、I2の少なくとも1つを保存されるよう意図されていたイメージングの実行前、又は保存されることになるイメージングの途中でもカメラ手段11、14及び詳細にはセンサ12に合焦することができる。これは、イメージングターゲットITが、カメラ手段11、14を相対的に合焦させたい少なくとも1つの一次画像オブジェクトI1と、イメージングの観点からは関心が低い画像対象である少なくとも1つの二次画像オブジェクトI2とを含むことができることに起因する。二次画像オブジェクトI2は、例えば、一次画像オブジェクトI1に対する背景とすることができる。
カメラにおいて、合焦は通常、画像データIDからの統計の収集を伴う。1つの実施形態によれば、統計は例えば、一次画像オブジェクトI1のエッジを検出するための勾配の検索を含むことができる。統計は、例えば、画像データIDの輝度情報から形成することができる。合焦動作はまた、統計情報を比較して統計上の画像の鮮鋭さを数学的に最大にするために、レンズ15の移動を含むことができる。合焦は自動又はエンドユーザによって行うことができ、例えば手動で調整可能な焦点ディスク(機械的な焦点制御)がカメラにある場合には、エンドユーザが手動で焦点を調整することができる。
合焦がデバイス10において自動的に実施される場合には、図1に示される合焦回路28は、それ自体で公知のオートフォーカス制御アルゴリズム24を含むことができ、該アルゴリズムにおいてサブモジュールとして焦点位置定義部24が存在することができる。入力として、アルゴリズム部24は、AF統計の計算モジュール23からAutoFocus AFデータを受け取る。統計モジュール23は、ADコンバータ13から直接送られてくる画像データIDをそれ自体で公知の方法で処理して、画像データIDから例えば前述の勾配データを形成することができる。統計モジュール23によって生成されるデータに基づいて、アルゴリズム部24は、選択された最初の画像オブジェクトI1を規定の方法でセンサ12に鮮鋭に画像化するかどうかを決定することができる。出力として、アルゴリズム部24は、レンズ15のセットの調整メカニズム14に対してそれ自体で公知の制御データを生成する。制御データを利用してレンズ15セットを移動させ、焦点位置サブモジュール25によって一次であると定義された1つ又はそれ以上の画像オブジェクトI1がセンサ12に精密且つ鮮鋭に画像化されるようにする。
カメラ手段11、14に接続された画像処理チェーン27は、異なる実装構成で種々のモジュールを含むことができ、これらのモジュールは、例えばデバイス10において、イメージングターゲットITから形成された画像データIDを処理するために使用される。いずれの場合においても、このときに保存されることになるイメージングをデバイス10が実行するか否かに関係なく、いわゆるファインダイメージングを実行することが可能であり、このためにデバイス10には専用モジュールVFが存在することができる。本発明によればファインダVFは、カラー補間16の後又はぼかしフィルタ17の後にあってもよく、以下で詳細に説明する。この場合、本発明によれば、ぼかされた背景はファインダ画像内で既に見ることができる。
画像処理チェーンICは、1つ又はそれ以上の処理回路/DSP16、18からなることができるが、これらは本発明の観点からは全く無関係の構成要素であるので、これに関してはこれ以上の説明は必要ではない。ここでは、画像処理チェーン27のカラー補間16及び画像データID圧縮18が示されている。画像データIDが保存される場合には、該保存は、何らかの記憶媒体19に行うことができる。本発明の観点では関係がないこれらの構成要素の技術的な実装は、当業者には明らかであり、この理由から本発明は、これに関して理解し易くするために極めて大まかなブロック図レベルで記載されている。本発明の実際の実装に関しては、ハードウェア及びソフトウェアのソリューション、並びにこれらの組み合わせを考慮することができる。勿論、画像処理及び/又は合焦チェーン27、28に属するモジュール16、18、23、24、25の動作の一部は、単一のモジュールに実装することも可能である。
驚くべきモジュールとしては、ぼかしモジュール21を形成するぼかし手段17、22、26が、画像処理チェーン27内に配置される。当然ながら、モジュール21に属するサブモジュール17、22、26はまた、以下で示されるように、ぼかしに属するタスク以外の他のタスク(例えば合焦)をデバイス10に設けることもできる。手段17、22、26を驚くべき方法で使用して、イメージングターゲットIT内の関心のある一次オブジェクトではない、画像データID内の二次画像オブジェクトI2の少なくとも一部をぼかすことができ、これをセンサ12が全体として検出する。
図1の実施形態では、ぼかし手段のフィルタリングモジュール17のみが実際のチェーン27内で単独で示されている。問題の実施形態においてぼかしを実装する他のモジュールは、フィルタ係数計算モジュール22と合焦エリア計算/定義モジュール26である。
二次に設定された画像オブジェクトI2をぼかすために、ぼかし手段17、22、26は、合焦モジュール全体28によって生成される情報を利用する。合焦エリア計算モジュール26は、画像エリアI1の定義においてAF統計計算部23から取得されるデータと、更に焦点位置定義部25から取得されるデータも利用することができる。部分26が、合焦されるオブジェクト、すなわち画像データID内の一次画像オブジェクトを計算すると、画像データIDによって形成される画像情報内の一次画像オブジェクトの位置を求め、更に、その形状、すなわち画像IT内の1つ又はそれ以上の一次画像オブジェクトI1の位置エリアを求めることができる。
計算部26から取得される合焦エリアに関するデータは、フィルタ係数計算モジュール22に送ることができる。合焦される焦点エリア、すなわちポートレイトエリアのデータに基づいて、フィルタ係数の計算で使用される最終エリアを選択/計算することができる。このエリアは、ピクセル単位で精密にすることもできるので、一次画像オブジェクトの境界を極めて正確に境界付けることができる。他方、例えばデバイスがタッチスクリーンを有する場合、そのタッチスクリーンから投げ縄ツールで選択することで、使用されるポートレイトエリアを例えば手動で入力することができる。モジュール22は、フィルタ係数を計算することができ、該係数を利用することで、二次画像オブジェクト、すなわちエリアI2がぼかされる。モジュール22によって計算されたフィルタ係数は、フィルタリングモジュール17に与えられ、該モジュールが、関係のない画像エリアI2のぼかしを実行する。これについては、次に与えられる方法の説明で更に詳しく述べる。
図3は、不要な画像エリアI2をぼかすためのデジタルイメージングにおいて、本発明による方法の原理上の概略的な実施例のフローチャートを示している。本方法の説明では、図4に示すイメージング状況の実施例について言及される。図4では、イメージターゲットITは二人の人物、すなわちブリーフケースを持った男性と新聞を読んでいる女性、並びに、長さが短い圧延鋼材のジョイストから成る。この場合、人物が一次画像オブジェクトI1であり、ジョイストの長さはぼかしたい二次画像オブジェクトである。一般に、画像エリア全体の背景エリアは、本発明に関連して二次画像オブジェクトI2であると理解することができる。
デバイス10でイメージングを開始すると、段階300で、イメージングプログラムが起動され、この場合自動合焦が適用される。段階301では、メカニズム14を用いてレンズ15セットを最初の合焦位置に調節することができる。
段階302で、画像データIDはセンサ12を用いて形成され、すなわちファインダ写真は、例えばファインダVFで形成される。実際には、画像データIDの形成は、例えば、毎秒15−30フレームの周波数で連続的に行われる。段階303、304では、それ自体で公知である合焦動作を実行することができる。すなわち、破線で囲まれたブロック内のブロック301−304は全て合焦の下位段階であると理解することができる。
実際の合焦段階303及び304は、合焦モジュール28によって自動的に処理することができ、或いは、ユーザによって行われる動作をこれらの段階において許容することもできる。合焦がエンドユーザによって手動で行われるときには、ユーザは、合焦されることになる一次画像オブジェクトI1又は画像オブジェクトエリアFAをファインダVFから自由に選択することができる。この自動又は手動による選択はまた、ぼかされるべきオブジェクトにも影響を与える。段階303では、ユーザは、例えば、ファインダVFでセンサ12によって形成される画像データIDから、カメラ手段11、14を合焦させたい少なくとも1つ又は更に多くの画像オブジェクトI1を定義することができる。ユーザによって行われる選択には、例えば、投げ縄ツールによるエリア選択を含むことができ、この場合、一次画像オブジェクトI1として不規則なオブジェクトでも設定することができる。他方、一次画像オブジェクトI1を矩形又は他の形状の予め定義されたエリアに適合させることもできる。幾つかの異なる種類のエリアをデバイス10のメモリMEM内に予め定義することができる。
自動合焦/画像オブジェクト選択での応用では、合焦は、例えば、1つ又はそれ以上の画像エリア(例えばイメージングオブジェクトの中心)に集めることができる。合焦位置はまた、画像エリア全体からインテリジェントに選択することもできる。この1つの実施例は、キャノンのAi−AFシステム(Artificial inteligence AF)である。
段階304では、画像オブジェクトI1に対して正しく合焦したか否かをモジュール28によって、より詳細には例えばサブモジュール24が判断することができる。
段階304で、合焦が正確でないと判断されると、自動制御部24がレンズ15セットの新しい位置を計算する。その後、段階301に戻り、新しく計算された位置にレンズ15セットが移動される。但し、段階304で合焦が正確であると判断されると、手順は、保存するための実際のイメージング、すなわち段階305に進む。
段階305では、カメラ10のトリガボタンが完全に押下することができると、保存用のイメージングが実行される。センサ12を用いて取り込まれた画像データIDは、AD変換を実行するモジュール13から画像処理チェーン27に取り出される。処理チェーン27において、段階306で、例えばモジュール16を利用してカラー補間を実行することができる。同様に他の段階は当業者には明らかであるので、これらの段階及びその実行順序については、本明細書では詳細には説明しない。
特定の1つ又はそれ以上の画像オブジェクトI1は、前の段階303及び304においてそれ自体公知の方法で合焦させることができるだけでなく、合焦されたこの画像エリアI1、又はより詳細にはエリアI1の位置、サイズ、及び/又は形状も利用して、段階307で、望ましくない画像オブジェクト又はそのエリアI2をぼかすこともできる。この目的のために、プログラムコード31においてコード手段31.1がある。段階303で、この合焦位置を利用して、1つ又はそれ以上のオブジェクト、すなわち本発明の関連ではイメージングターゲットIT内部の一次画像オブジェクトI1を示すことができる。例えば、選択された合焦位置付近では、画像オブジェクトI1のエッジ及び形状を識別し、例えば、画像オブジェクトのサイズ及び合焦位置の場所を求めるようにすることができる。すなわち、これは、一次画像オブジェクトI1のサイズの測定を意味する。これは、段階303及び304からの統計情報、より一般的には破線で示された合焦段階から得られる合焦動作28によって生成される統計情報を適用することで実行することができる。この動作の結果、二次画像オブジェクトI2もまた当然定義され、これらはコード手段31.5によって定義される。
イメージングターゲットITの合焦された一次エリアI1の位置及びサイズに関する情報が取得されると、画像に対して例えば種々のフィルタリング動作を行うことができ、これにより背景、すなわち二次画像オブジェクトI2が要望通りにぼかされ、又は不鮮鋭にされる。この動作はコード手段31.2が行う。フィルタリングは、例えば、空間ローパスフィルタリングなどの夜間タイプが可能である。1つの実施形態によれば、本発明では、例えば、モジュール22(コード手段31.3)を用いて空間フィルタ係数を計算することができる。フィルタ係数は、例えば、画像を畳み込むマスクを形成することができ、これを利用して不要な画像エリアI2を処理することができる。
畳み込みマスク又は一般的にはフィルタ係数は、例えば、合焦部28によって形成される輝度データから、より詳細には、ぼかされることになる二次エリアI2に関する輝度データから定義することができる。従って、マスクの係数の定義の1つの基準は、例えば、ぼかしにより「むらのないグレー」が生成されることであり、これにより明暗が過剰になった背景が生成されるのを防ぐことができる。周知の通り、畳み込みの結果、輝度スケールの極値よりも大きいか又は小さいピクセル値は一般に、スケールの極値(例えば、深度が8ビットの場合、0又は値255)に切り下げられる。極値へのこの種の切り下げを回避するには、合焦データを用いてこの種の切り下げが生じないように畳み込みマスクの係数を適合させるように試みる。第2の実施形態によれば、ぼかしは、背景エリア、又は一般的には二次エリアI2にノイズが強力に混在するような方法で行うことができ、その後、背景(すなわちノイズ)がローパスフィルタ処理されて均一になる。これもまたコード31.2が扱うことができる。フィルタリングに係数を適用すると、合焦エリアI1はそのままの状態、すなわち鮮鋭なまま残される。一部には、これは、一次画像オブジェクトI1は全く処理されずに、不要なエリアI2のみが処理される方法で行われる。これに応じて、この係数の結果として、合焦エリアの外側に残るエリアI1、すなわち本発明の関連では二次エリアの鮮鋭さが軽減される。
一方、後でフィルタリングを行うのに使用されるフィルタ係数グループのうちの適切なグループはまた、デバイス10内に事前設定することができる。より一般的に言えば、デバイス10は、フィルタ係数を直接計算するか、又はメモリMEM内に事前設定された「係数バンク」から係数を供給することでフィルタ係数を提供することができる。
より詳細には、例えば段階303で、一次画像オブジェクトI1のエッジ及び/又は形状情報を適用して非矩形形状を選択することができるような方法でエリアを考慮することもできる。デバイス10には、事前計算された種々のエリアの形状が存在することができる。この形状を選択される一次画像オブジェクトに適用して、最も適合する形状を選択/使用する試みを行うことができる。これらの形状の幾つかの実施例としては、矩形、円形、楕円形、三角形のエリアFAを挙げることができる。特に、事前計算されたエリアFAを利用すると、エリアの形状が頻繁に繰り替えされる場合には計算を改めて行う必要がないので、デバイス10の処理能力を利用する際に有利になる。コード手段31.4は、この動作を実行するためにプログラムコード31内に存在する。
本発明による動作後の結果は、焦点深度が限定された画像となる。最終段階308−310として、画像データIDが圧縮され、所望の媒体19上に保存される。
図2は、本発明によるプログラム製品30の1つの実施例の概略図を示している。プログラム製品30は、記憶媒体MEMと、該記憶媒体MEM上に書き込まれたプログラムコード31とを含むことができ、該プログラムコードは、少なくとも一部はソフトウェアレベルで本発明の方法に従ってぼかしを実装するために、デバイス10のプロセッサ手段CPUを用いて実行されることになる。プログラムコード31の記憶媒体MEMは、例えば、デバイス10内のスタティック又はダイナミックアプリケーションメモリ、或いは、画像処理チェーンIC内にあるぼかし回路モジュール全体とすることができ、画像処理チェーンと直接統合することもできる。
プログラムコード31は、プロセッサ手段によって実行されることになる幾つかのコード手段31.1−31.5を含むことができ、その動作は、上記で与えられた方法の説明に当てはめることができる。コード手段31.1−31.5は、連続的に実行されるべきプロセッサ命令のグループから成り、これを用いて、本発明に関して望ましい機能性が本発明によるデバイス10においてもたらされる。
本発明の結果、驚くべきことに既にイメージング段階で小型のデジタルカメラにおいても背景ぼかし効果を実装することができ、難しい後処理も全く必要としない。本発明の適用分野の1つの実施例は、ポートレイトにおける背景のぼかしとすることができる。ポートレイト用途では、顔面認識を追加して適用することができ、これに基づいて、焦点エリア及びぼかされることになる背景エリアを計算することができる。この顔面認識では、それ自体公知のアルゴリズムにより通常は容易に認識することができる顔面の色を利用することができる。ケース毎に固有のフィルタ係数計算により、各イメージングターゲットITにおいて最適な背景/ぼかしが行われることになる。
上記では本発明は主に静止画イメージングアプリケーションとして説明されているが、当然ながら本発明は、動画イメージング並びに保存用のイメージングの前に実行されるファインダイメージングにも適用することができる。動画イメージングでは、図3のフローチャートが連続ループを形成することになり、この場合、イメージング、合焦、及びぼかしを連続プロセスとして実行することができる(ブロック305から、手順はブロック302にも進む)ことを理解されたい。いずれの場合においても、保存用のイメージングは、合焦が最適であるか否か(段階304で、手順が「はい」及び「いいえ」のいずれの矢印の方向に進もうと)に関わらず実行される。合焦は、光学素子を調整し、但しイメージングを妨げないようにすることで正確に行われるように自動的に繰り返される。
上記の説明及び関連する図は、本発明を例示するものとされるに過ぎない点を理解する必要がある。従って、本発明は、請求項に開示され又は記載された実施形態だけに限定されず、本発明の多くの異なる変形及び改変形態は、添付の請求項で定義された発明の意図の範囲内で可能であり、当業者には明らかであろう。
本発明による電子デバイスの原理上の適用例を概略図で示す。 本発明に従った方法で電子デバイスにぼかしを実装するための、本発明によるプログラム製品の応用の実施例を示す。 本発明による方法の原理上の実施例をフロー線図で示す。 本発明が適用されるイメージングターゲットの実施例を示す。
符号の説明
10 電子デバイス
11 カメラ手段
14 カメラ手段
17 ぼかし手段
22 ぼかし手段
26 ぼかし手段
27 画像処理チェーン
28 合焦手段
30 プログラム製品
31 プログラムコード
31.1 第1コード手段
31.2 第2コード手段
31.3 第3コード手段
31.4 第4コード手段
31.5 第5コード手段

Claims (16)

  1. 少なくとも1つの一次画像オブジェクトと少なくとも1つの二次画像オブジェクトとを含むイメージングターゲットから画像データを形成するためのカメラ手段と、
    前記イメージングターゲットから形成される前記画像データを処理するため前記カメラ手段と接続されて配置された画像処理チェーンと、
    少なくとも1つの前記一次画像オブジェクト上に前記カメラ手段を合焦させるための合焦手段と、
    前記合焦手段に含まれる前記画像データにおける2以上の一次画像オブジェクトを定義するための手段と、前記イメージングターゲットの残りの部分を前記少なくとも1つの二次画像オブジェクトとして定義するための手段と、
    前記画像処理チェーンにおいて、少なくとも前記画像データ内の前記定義された少なくとも1つの二次画像オブジェクトをぼかすように構成されたぼかし手段であって、前記少なくとも1つの二次画像オブジェクトの定義を利用するように構成され、前記ぼかしは前記画像データの形成に関連して実行されるように構成されているぼかし手段と、
    を含むことを特徴とするデジタルカメラ。
  2. 前記デジタルカメラのカメラ手段の35mmフィルムでの焦点距離等量が35mm以下であることを特徴とする、
    請求項1に記載のデバイス。
  3. 前記ぼかしは、前記画像データをフィルタリングすることで行われるように構成されていることを特徴とする、
    請求項1に記載のデジタルカメラ。
  4. 前記デジタルカメラは、フィルタ係数を提供するように構成されており、該係数を用いてぼかしが実行されるように構成されていることを特徴とする、
    請求項1に記載のデジタルカメラ。
  5. 前記2以上の一次画像オブジェクトは、設定された形状を有するエリアに適合されるように構成され、該エリアに対応する係数の集合が前記デジタルカメラ内に予め設定されていることを特徴とする、
    請求項1に記載のデジタルカメラ。
  6. 前記二次画像オブジェクトは、該オブジェクトに対応するエリアにノイズを適用することによってぼかされるように構成され、その結果、前記エリアは、ローパスフィルタリングによって均一化されるように構成されていることを特徴とする、
    請求項1〜5のいずれかに記載のデジタルカメラ。
  7. 画像データを処理するためのデジタルカメラにおける方法であって、
    カメラ手段を用いて、少なくとも1つの一次画像オブジェクトと少なくとも1つの二次画像オブジェクトとを含むイメージングターゲットから画像データを形成し、
    前記カメラ手段が、少なくとも1つの前記一次画像オブジェクト上に合焦され、
    前記カメラ手段を用いて、合焦された画像データを形成し、該画像データが前記デジタルカメラ内で処理されて前記画像データ内で所望の変更を行い、
    前記合焦の際に生成される情報に基づき前記画像データにおける2以上の一次画像オブジェクトを定義し、前記イメージングターゲットの残りの部分を前記少なくとも1つの二次画像オブジェクトとして定義し、
    前記少なくとも1つの二次画像オブジェクトの定義を用いて、前記処理において、前記画像データ内の前記定義された少なくとも1つの二次画像オブジェクトをぼかし、当該ぼかしは前記画像データの形成に関連して実行されることを特徴とする方法。
  8. 前記ぼかしは、前記画像データをフィルタリングすることにより実行される請求項に記載の方法。
  9. フィルタ係数は、前記合焦の際に生成される前記情報から計算され、該係数を用いてぼかしが実行される請求項に記載の方法。
  10. 前記2以上の一次画像オブジェクトは、設定された形状を有するエリアに適合され、該エリアの外側のエリアがぼかされることを特徴とする、
    請求項に記載の方法。
  11. 前記二次画像オブジェクトは、該オブジェクトに対応するエリアにノイズを配置することによってぼかされ、その結果前記エリアが、ローパスフィルタ処理されて均一化されることを特徴とする、
    請求項のいずれかに記載の方法。
  12. デジタルカメラ内で画像データを処理するためのプログラムであって、
    前記デジタルカメラは、
    少なくとも1つの一次画像オブジェクトと少なくとも1つの二次画像オブジェクトとを含むイメージングターゲットから画像データを形成するためのカメラ手段と、
    前記イメージングターゲットから形成される前記画像データを処理するため前記カメラ手段と接続されて配置された画像処理チェーンと、
    少なくとも1つの前記一次画像オブジェクト上に前記カメラ手段を合焦させるための合焦手段と、
    を含み、前記プログラムが前記デジタルカメラに、
    前記合焦の際に生成される情報に基づき前記画像データにおける2以上の一次画像オブジェクトを定義し、前記イメージングターゲットの残りの部分を前記少なくとも1つの二次画像オブジェクトとして定義する手順と、
    前記少なくとも1つ以上の二次画像オブジェクトの定義を利用して前記画像データ内の前記少なくとも1つの二次画像オブジェクトをぼかす手順とを実行させる第1コードを含み、前記プログラムは前記画像データの形成に関連して実行されることを特徴とする、
    プログラム。
  13. 前記プログラムは、フィルタリングによって前記画像データをぼかす手順を前記デジタルカメラに実行させる第2コードを更に含むことを特徴とする、
    請求項12に記載のプログラム。
  14. 前記プログラムは、前記デジタルカメラにフィルタ係数を合焦手段によって生成される前記情報から計算する手順と、該係数を用いてぼかしを実行する手順を実行させる第3コード手段を更に含むことを特徴とする、
    請求項12に記載のプログラム。
  15. 前記プログラムは、前記デジタルカメラに、前記2以上の一次画像オブジェクトを設定された形状を有するエリアに適合させる手順を実行させる第4コードを更に含み、該エリアに対応するフィルタ係数の集合が前記デジタルカメラ内に予め設定されていることを特徴とする、
    請求項12に記載のプログラム。
  16. 前記プログラムは、前記合焦手段によって生成される前記情報を利用して、ぼかされることになる前記二次画像オブジェクトを定義するように構成された第5コード手段を更に含むことを特徴とする、
    請求項12に記載のプログラム。
JP2007548856A 2004-12-29 2005-12-22 画像データ処理用の電子デバイス及び画像データ処理方法 Active JP4664379B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20045511A FI117265B (fi) 2004-12-29 2004-12-29 Elektroninen laite ja menetelmä elektronisessa laitteessa kuvadatan prosessoimiseksi
PCT/FI2005/050474 WO2006084938A1 (en) 2004-12-29 2005-12-22 Electronic device and method in an electronic device for processing image data

Publications (2)

Publication Number Publication Date
JP2008529322A JP2008529322A (ja) 2008-07-31
JP4664379B2 true JP4664379B2 (ja) 2011-04-06

Family

ID=33548107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007548856A Active JP4664379B2 (ja) 2004-12-29 2005-12-22 画像データ処理用の電子デバイス及び画像データ処理方法

Country Status (7)

Country Link
US (3) US8908080B2 (ja)
EP (1) EP1831841B1 (ja)
JP (1) JP4664379B2 (ja)
KR (1) KR100890949B1 (ja)
CN (1) CN101088104B (ja)
FI (1) FI117265B (ja)
WO (1) WO2006084938A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US20090067805A1 (en) * 2007-09-10 2009-03-12 Victor Company Of Japan, Limited Recording and reproducing device
US9179060B2 (en) * 2007-09-27 2015-11-03 Qualcomm Incorporated Method and apparatus for camera shake effect image stabilization
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
KR101491594B1 (ko) * 2007-11-05 2015-02-09 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 이미지 처리 방법
JP5124372B2 (ja) * 2008-07-10 2013-01-23 株式会社リコー 画像処理装置、画像処理方法およびデジタルスチルカメラ
US8725751B1 (en) * 2008-08-28 2014-05-13 Trend Micro Incorporated Method and apparatus for blocking or blurring unwanted images
JP2010226558A (ja) 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP5493789B2 (ja) 2009-12-07 2014-05-14 株式会社リコー 撮像装置および撮像方法
KR101643613B1 (ko) * 2010-02-01 2016-07-29 삼성전자주식회사 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
JP5300756B2 (ja) * 2010-02-05 2013-09-25 キヤノン株式会社 撮像装置及び画像処理方法
US8363085B2 (en) 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
EP2487645A1 (en) * 2011-02-09 2012-08-15 Research In Motion Limited Method of controlling the depth of field for a small sensor camera using an extension for EDOF
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
CN102932541A (zh) * 2012-10-25 2013-02-13 广东欧珀移动通信有限公司 手机拍照方法及系统
EP3005286B1 (en) * 2013-05-30 2019-09-04 Nokia Technologies Oy Image refocusing
CN104424640B (zh) * 2013-09-06 2017-06-20 格科微电子(上海)有限公司 对图像进行虚化处理的方法和装置
CN105279752A (zh) * 2014-07-25 2016-01-27 王辉 一种数字图像整体艺术效果处理方法
CN104219445B (zh) * 2014-08-26 2017-07-25 小米科技有限责任公司 拍摄模式调整方法及装置
CN105141858B (zh) * 2015-08-13 2018-10-12 上海斐讯数据通信技术有限公司 照片背景虚化系统及其方法
WO2017132074A1 (en) * 2016-01-26 2017-08-03 Russell David Wayne System and method for targeted imaging from collection platforms
CN105979165B (zh) * 2016-06-02 2019-02-05 Oppo广东移动通信有限公司 虚化照片生成方法、装置和移动终端
CN110022430A (zh) * 2018-01-10 2019-07-16 中兴通讯股份有限公司 图像虚化方法、装置、移动终端及计算机可读存储介质
CN110022392B (zh) * 2019-05-27 2021-06-15 Oppo广东移动通信有限公司 拍照控制方法及相关产品
US11948276B2 (en) 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328192A (ja) * 1992-05-26 1993-12-10 Sanyo Electric Co Ltd ビデオカメラのオートフォーカス装置
JPH1020392A (ja) * 1996-07-02 1998-01-23 Olympus Optical Co Ltd 銀塩撮影および電子撮像兼用カメラ
JPH11252427A (ja) * 1998-03-02 1999-09-17 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JPH11266388A (ja) * 1998-03-17 1999-09-28 Canon Inc デジタルカメラ及び撮影方法並びに記憶媒体
JP2002027425A (ja) * 2000-07-04 2002-01-25 Canon Inc 映像配信装置及び方法
JP2003101858A (ja) * 2001-09-20 2003-04-04 Pentax Corp デジタルカメラ

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2753531B2 (ja) * 1988-11-04 1998-05-20 株式会社ニコン 自動焦点調節カメラ
JP3093781B2 (ja) * 1990-11-09 2000-10-03 オリンパス光学工業株式会社 合焦位置検出装置
JPH10248068A (ja) 1997-03-05 1998-09-14 Canon Inc 撮像装置及び画像処理装置
JPH11136568A (ja) * 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
US7106376B1 (en) * 1998-10-22 2006-09-12 Flashpoint Technology, Inc. Method and system for improving image quality of portrait images using a focus zone shift
JP4154053B2 (ja) * 1998-12-25 2008-09-24 キヤノン株式会社 画像記録・再生システム、画像記録装置及び画像再生装置
US20010013895A1 (en) 2000-02-04 2001-08-16 Kiyoharu Aizawa Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2002158919A (ja) 2000-11-17 2002-05-31 Minolta Co Ltd 撮像装置及び画像取得ステップ
JP2002300373A (ja) 2001-03-30 2002-10-11 Minolta Co Ltd 画像処理方法、画像処理装置、記録媒体及びプログラム
JP3624859B2 (ja) * 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
US7286168B2 (en) 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
JP3781016B2 (ja) * 2002-06-18 2006-05-31 カシオ計算機株式会社 電子カメラ、撮影方向取得方法及びプログラム
US7110575B2 (en) 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
KR101086404B1 (ko) 2004-10-27 2011-11-25 삼성전자주식회사 아웃-포커싱 동작을 위한 디지털 촬영 장치의 제어 방법,및 이 방법을 채용한 디지털 촬영 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328192A (ja) * 1992-05-26 1993-12-10 Sanyo Electric Co Ltd ビデオカメラのオートフォーカス装置
JPH1020392A (ja) * 1996-07-02 1998-01-23 Olympus Optical Co Ltd 銀塩撮影および電子撮像兼用カメラ
JPH11252427A (ja) * 1998-03-02 1999-09-17 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JPH11266388A (ja) * 1998-03-17 1999-09-28 Canon Inc デジタルカメラ及び撮影方法並びに記憶媒体
JP2002027425A (ja) * 2000-07-04 2002-01-25 Canon Inc 映像配信装置及び方法
JP2003101858A (ja) * 2001-09-20 2003-04-04 Pentax Corp デジタルカメラ

Also Published As

Publication number Publication date
US20150146043A1 (en) 2015-05-28
US9858651B2 (en) 2018-01-02
JP2008529322A (ja) 2008-07-31
US20080106615A1 (en) 2008-05-08
US9552627B2 (en) 2017-01-24
EP1831841A1 (en) 2007-09-12
CN101088104A (zh) 2007-12-12
FI117265B (fi) 2006-08-15
FI20045511A0 (fi) 2004-12-29
WO2006084938A1 (en) 2006-08-17
FI20045511A (fi) 2006-06-30
US8908080B2 (en) 2014-12-09
CN101088104B (zh) 2010-05-12
EP1831841B1 (en) 2016-02-24
EP1831841A4 (en) 2011-06-08
US20170109868A1 (en) 2017-04-20
KR20070097550A (ko) 2007-10-04
KR100890949B1 (ko) 2009-03-27

Similar Documents

Publication Publication Date Title
JP4664379B2 (ja) 画像データ処理用の電子デバイス及び画像データ処理方法
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
US8023000B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
US9071754B2 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
JP5067418B2 (ja) 被写体追跡プログラム、被写体追跡装置、およびカメラ
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
US9477138B2 (en) Autofocus
CN107800951B (zh) 电子装置及其镜头切换方法
JP2010279054A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2009157130A (ja) 電子カメラ
US10880457B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP4807623B2 (ja) 撮像装置、撮像方法及び撮像プログラム
EP3054668B1 (en) Method and device for processing a video stream
KR20150032764A (ko) 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
US20080056703A1 (en) Image capture methods and systems
JP2021060450A (ja) 撮像装置
JP2018191205A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
KR20100100179A (ko) 디지털 영상 촬영 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090825

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100412

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110106

R150 Certificate of patent or registration of utility model

Ref document number: 4664379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250