JP5678546B2 - Imaging apparatus, imaging method, and program - Google Patents
Imaging apparatus, imaging method, and program Download PDFInfo
- Publication number
- JP5678546B2 JP5678546B2 JP2010216940A JP2010216940A JP5678546B2 JP 5678546 B2 JP5678546 B2 JP 5678546B2 JP 2010216940 A JP2010216940 A JP 2010216940A JP 2010216940 A JP2010216940 A JP 2010216940A JP 5678546 B2 JP5678546 B2 JP 5678546B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- user
- face
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Cameras In General (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像した画像を表示する撮像装置、撮像方法及びプログラムに関する。 The present invention relates to an imaging apparatus , an imaging method, and a program for displaying captured images.
従来、撮像した画像を表示する表示部を備えた撮像装置としてのデジタルカメラ(コンパクトカメラ)にあっては、その表示部が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラ(メイン撮像部)を備えるほか、表示部側の面にサブカメラ(サブ撮像部)を備え、このサブカメラによりその撮影者(使用者)を撮影し、その撮影者の表情や動作の変化に応じてメインカメラを起動して被写体を撮像するようにした技術が開示されている(特許文献1参照)。これによって撮影者がデジタルカメラ本体から離れていても撮影者の意図に応じた撮像が可能であるほか、レリーズボタンを操作する際の手ブレを防ぐことも可能となる。 2. Description of the Related Art Conventionally, in a digital camera (compact camera) as an imaging device having a display unit for displaying a captured image, the surface on the opposite side of the surface on the display unit side where the display unit is disposed In addition to having a main camera (main imaging unit) for imaging the subject, a sub-camera (sub-imaging unit) is provided on the surface of the display unit. A technique is disclosed in which a main camera is activated in accordance with a change in a person's facial expression and motion to image a subject (see Patent Document 1). As a result, even if the photographer is away from the digital camera body, it is possible to capture images according to the photographer's intention and to prevent camera shake when operating the release button.
しかしながら、上述した先行技術にあっては、レリーズボタンを操作しなくても被写体を撮像可能とするために撮影者(使用者)を撮像してその表情や動作の変化に応じて被写体を撮像するようにしたものであり、レリーズボタン操作による不具合を解消するにすぎなかった。 However, in the above-described prior art, a photographer (user) is imaged so that the subject can be imaged without operating the release button, and the subject is imaged according to changes in their facial expressions and actions. As a result, the problem caused by operating the release button was merely solved.
本発明の課題は、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更できるようにすることである。 An object of the present invention is to make it possible to appropriately change the display content of an image according to a user who views the image without performing a special operation.
上述した課題を解決するために請求項1記載の発明は、
撮像した画像を表示する表示手段と、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する第1の撮像手段と、
前記第1の撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔の向きを判別する判別手段と、
前記判別手段により判別された顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する画像処理を行う画像処理手段と、
を具備したことを特徴とする。
In order to solve the above-described problem, the invention described in
Display means for displaying the captured image;
First imaging means for taking an image of a user viewing the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen constituting the display means;
Detecting means for detecting a user's face imaged by the first imaging means;
Discriminating means for discriminating the orientation of the user's face detected by the detecting means;
Image processing means for performing image processing for changing the orientation of the image displayed on the display means according to the orientation of the face determined by the determination means;
It is characterized by comprising.
請求項1に従属する発明として、
前記第1の撮像手段とは逆方向を撮像方向とし、被写体を撮像する第2の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第2の撮像手段により撮像された画像である、
ことを特徴とする請求項2記載の発明であってもよい。
As an invention dependent on
A second imaging unit for imaging a subject, the imaging direction being a direction opposite to the first imaging unit;
The image displayed on the display unit is an image captured by the second imaging unit.
The invention according to
請求項1或いは請求項2に従属する発明として、
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とするに請求項3記載の発明であってもよい。
As an invention dependent on
A storage means for storing the image;
The image displayed on the display means is an image stored in the storage means.
The invention according to
請求項1或いは請求項3に従属する発明として、
前記第1の撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項4記載の発明であってもよい。
As an invention dependent on
The first imaging unit includes an imaging direction changing unit capable of changing the imaging direction to a direction for imaging the face of a user who views the screen of the display unit and a direction for imaging a subject facing the user. ,
The invention according to
請求項1〜請求項4のいずれかに従属する発明として、
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、所定の効
果が得られるように、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項5記載の発明であってもよい。
As an invention dependent on any one of
The determining means determines the color of the user's pupil,
The image processing means performs image processing on the image displayed on the display means so as to obtain a predetermined effect according to the color of the user's pupil determined by the determination means.
The invention according to
請求項1〜請求項5のいずれかに従属する発明として、
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、所定の効果が得られるように、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項6記載の発明であってもよい。
As an invention dependent on any one of
The determination means determines the age of the user,
The image processing means performs image processing on the image displayed on the display means so that a predetermined effect is obtained according to the age of the user determined by the determination means.
The invention according to
請求項1〜請求項6のいずれかに従属する発明として、
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、所定の効果
が得られるように、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項7記載の発明であってもよい。
また、上述した課題を解決するために請求項8記載の発明は、
撮像した画像を表示する表示手段と、前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、を備えた撮像装置における撮像方法であって、
前記撮像手段により撮像された使用者の顔を検出する検出工程と、
前記検出工程により検出された使用者の顔或いは顔の部分の状態を判別する判別工程と、
前記判別工程により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理工程と、
を含むことを特徴とする撮像方法。
As an invention dependent on any one of
The determining means determines the gender of the user,
The image processing means performs image processing on the image displayed on the display means so as to obtain a predetermined effect according to the gender of the user determined by the determination means.
The invention according to
In order to solve the above-mentioned problem, the invention according to
An image pickup apparatus comprising: display means for displaying a picked-up image; and image pickup means for picking up an image of a user who views the screen, with the image pickup direction being substantially the same direction as the arrangement direction of the screen constituting the display means An imaging method in
A detection step of detecting a user's face imaged by the imaging means;
A discriminating step for discriminating the state of the user's face or face portion detected by the detecting step;
An image processing step for performing image processing on the image displayed on the display unit according to the state of the face or the face portion determined by the determination step;
An imaging method comprising:
また、上述した課題を解決するために請求項9記載の発明は、
撮像した画像を表示する表示手段と、前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、を備えた撮コンピュータに、
前記撮像手段により撮像された使用者の顔を検出する検出機能、
前記検出機能により検出された使用者の顔或いは顔の部分の状態を判別する判別機能、
前記判別機能により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理機能、
を実現させるためのプログラム、であることを特徴とする。
In order to solve the above-described problem, the invention according to
An imaging computer comprising: display means for displaying a captured image; and imaging means for taking an image of a user who views the screen, with the imaging direction being substantially the same as the arrangement direction of the screen constituting the display means In addition,
A detection function for detecting a user's face imaged by the imaging means;
A discrimination function for discriminating the state of the user's face or face portion detected by the detection function;
An image processing function for performing image processing on the image displayed on the display unit in accordance with the state of the face or face portion determined by the determination function;
It is a program for realizing .
本発明によれば、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更することができ、使用者に合った画像表示を容易に実現可能とする。 According to the present invention, the display content of an image can be appropriately changed according to a user who views the image without performing a special operation, and an image display suitable for the user can be easily realized. .
(実施形態1)
以下、図1〜図5を参照して本発明の実施形態を説明する。
図1は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、例えば、光学10倍の広角・高倍率ズームを搭載したコンパクトカメラで、制御部1を中核として動作する構成となっている。制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing basic components of a digital camera applied as an imaging apparatus.
The digital camera is, for example, a compact camera equipped with a 10 × optical wide-angle and high-power zoom, and operates with the
記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、図4及び図5に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部M1、多くの撮像済み画像を所定のファイル形式で保存する画像記憶部M2、後述する画像処理テーブル記憶部M3などを有している。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態では所定の外部サーバ側の記憶領域であってもよい。
The
RAM4は、フラグ情報、画面情報など、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。表示部5は、例えば、高精細液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、電気泳動型ディスプレイ(電子ペーパ)のいずれかを使用し、画像を高精細に表示するもので、撮像された画像(スルー画像:ライブビュー画像)を表示するファインダ画面(モニタ画面)として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、表示部5に表示されている画像を見る使用者とは、撮影時にはファインダ画面(モニタ画面)を見る撮影者であるが、再生時にはその再生画面を見る画像視認者である。この場合、デジタルカメラの所有者(ユーザ)に限らず、画像を見る者である。
The
また、この表示部5の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン(タッチ画面)を構成するようにしている。操作部6は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン(シャッタボタン)、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキー及び十字キーなどの操作ボタンを備えたもので、制御部1は、この操作部6からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。
In addition, a transparent touch panel that detects the contact of a finger is provided on the surface of the
メイン撮像部7は、その表示部5が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラとして備えられたもので、光学10倍の広角・高倍率ズームを搭載した高精細画像を撮像可能なカメラである。そして、このメイン撮像部7は、図示省略したが、撮像レンズ、絞り機構、C−MOS或いはCCDなどの撮像素子(エリアイメージセンサ)、光学系駆動部などのほか、照明用のストロボ、アナログ処理回路、信号処理回路などを備えている。制御部1は、オートフォーカス処理(AF処理)、ズーム処理、露出調整処理(AE処理)を実行したり、メイン撮像部7からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間・階調変換処理、輪郭強調処理を実行したり、更に画像処理として画像の向き変更・コントラスト変更・色調変更処理を施したり、JPEG形式などのデータ形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。
The
サブ撮像部8は、例えば、32万画素程度の小さなC−MOSセンサを有する構成で、その表示部5を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者(撮影者などの画像視認者)の顔を撮像するサブカメラとして備えられたものである。そしてサブ撮像部8は、図示省略したが、撮像レンズ、絞り機構、撮像素子(エリアイメージセンサ)、光学系駆動部などのほか、アナログ処理回路、信号処理回路などを備えている。制御部1は、サブ撮像部8により撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対して画像処理を行うようにしている。
For example, the
この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別してそれに応じた画像処理を行うようにしている。また、使用者の顔の一部分の状態として、使用者の瞳の色を判別して、それに応じた画像処理を行うようにしている。このような画像処理は、メイン撮像部7により被写体を撮像する撮影モード時に限らず、画像記憶部M2内に記憶保存されている撮像済み画像を読み出して表示部5に表示させる再生モード時においても同様に実行可能となっている。
In this case, as the state of the user's face, the orientation, age, and gender of the user's face are discriminated and image processing is performed accordingly. Further, as the state of a part of the user's face, the color of the user's pupil is discriminated and image processing corresponding to that is performed. Such image processing is not limited to the shooting mode in which the
図2は、デジタルカメラの外観図を示した図である。
図2(1)は、表示部5が配設されている表示部側の面に対してその逆側の面からデジタルカメラを見た前面図で、その前面中央部には、メイン撮像部7の撮像レンズ7aが配設され、図中、前面左上部分には、メイン撮像部7用のストロボ7bが配設されている。また、デジタルカメラの上面左端部分には、操作部6のレリーズボタン6aが配設されている。また、図2(2)は、デジタルカメラの背面図で、その背面部には、表示部5が配設されていると共に、サブ撮像部8の撮像レンズ8aが配設され、更には、操作部6の操作ボタン6bが配設されている。このようにメイン撮像部7は、表示部5の逆側にメインカメラとして備えられ、サブ撮像部8は、表示部5側にサブカメラとして備えられたものである。
FIG. 2 is an external view of the digital camera.
FIG. 2A is a front view of the digital camera viewed from the surface opposite to the surface on the display unit side where the
図3は、画像処理テーブル記憶部M3を説明するための図である。
画像処理テーブル記憶部M3は、表示部5に表示されている画像の表示状態をその画像を見る使用者に応じて変更するために該画像に施す画像処理内容を記憶する。すなわち、画像処理テーブル記憶部M3は、サブ撮像部8により撮像された使用者の顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対してどのような画像処理を施すかを示す画像処理内容を記憶するもので、「顔或いは顔の部分の状態」に対応して「画像処理内容」の項目を有する構成となっている。「顔或いは顔の部分の状態」は、使用者の顔の状態或いは使用者の顔の部分の状態を示し、“使用者の顔の向き”、“使用者の瞳の色”、“使用者の年齢”、“使用者の性別”に区分されている。更に、“使用者の顔の向き”は“横向き”、“縦向き”に区分され、“使用者の瞳の色”は、“青”、“茶”に区分され、“使用者の年齢”は、“少年”、“青年”、“中年”、“老年”に区分され、“使用者の性別”は、“男性”、“女性”に区分されている。
FIG. 3 is a diagram for explaining the image processing table storage unit M3.
The image processing table storage unit M3 stores the contents of image processing performed on the image in order to change the display state of the image displayed on the
「画像処理内容」は、表示部5に表示されている画像に対してどのような画像処理を施すかを示すもので、上述の“使用者の顔の向き”である“横向き”に対応する「画像処理内容」として“画像を横向きに変更”が記憶され、“縦向き”に対応して“画像を縦向きに変更”が記憶されている。また、“使用者の瞳の色”の“青”に対応して“色温度を下げる”が記憶され、“茶”に対応して“色温度を上げる”が記憶されている。また、“使用者の年齢”の“少年”に対応して“コントラストを高くする”が記憶され、“青年”に対応して“標準のコントラスト”が記憶され、“中年”に対応して“コントラストをやや低くする”が記憶され、“老年”に対応して“コントラストを低くする”が記憶されている。また、“使用者の性別”の“男性”に対応して“風景が美しくなる処理”が記憶され、“女性”に対応して“顔が美しくなる処理”が記憶されている。なお、この「画像処理内容」は、ユーザ操作により任意に設定されたもので、自分の好みに応じた処理を設定することができる。
“Image processing content” indicates what kind of image processing is performed on the image displayed on the
次に、第1実施形態におけるデジタルカメラの動作概念を図4及び図5に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。 Next, the operation concept of the digital camera in the first embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. In addition, the operation according to the above-described program code transmitted via a transmission medium such as a network can be sequentially executed. In other words, in addition to the recording medium, an operation unique to the present embodiment can be executed using a program / data supplied externally via a transmission medium.
図4及び図5は、デジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャートで、電源投入に応じて実行開始される。
先ず、制御部1は、撮影モード、再生モードのいずれに切り換えられているかを調べる(ステップS1)。すなわち、メイン撮像部7により被写体を撮像する撮影モードに切り換えられているか、画像記憶部M2内に記憶保存されている撮像済み画像を読み出して表示部5に表示させる再生モードに切り換えられているかを調べ、撮影モードに切り換えられているときには(ステップS1でYES)、サブ撮像部8により撮像された画像を解析して使用者の顔を検出する処理を行う(ステップS2)。この場合、顔の各部位(眼、鼻、口、耳など)、それらの位置関係、眼鏡などから総合的に判断して顔検出処理を行うが、その際、顔を検出したとしても所定以上の大きさの顔を検出したか、つまり、所定距離以内(表示部5の近傍)に使用者が居るかを加味して、使用者の顔を検出したか否かを判別するようにしている(ステップS3)。
4 and 5 are flowcharts showing the overall operation of the digital camera, in particular, the operation outline of the characteristic part of the present embodiment, and the execution is started when the power is turned on.
First, the
ここで、使用者の顔を検出しなかった場合又は使用者の顔を検出したとしても所定距離以内に使用者が居なかった場合には(ステップS3でNO)、レリーズボタン6aの操作有無を調べたり(ステップS7)、モード選択ボタンの操作有無を調べたり(ステップS13)、その他の操作有無を調べたりする(ステップS15)。ここで、いずれの操作も行われなければ(ステップS15でNO)、上述のステップS3に戻るが、レリーズボタン6a、モード選択ボタン以外の操作として、例えば、露出設定、ズーム、撮影シーン設定などの操作が行われたときには(ステップS15でYES)、その操作に応じた処理として、露出設定処理、ズーム処理、撮影シーン設定処理などを行った後(ステップS16)、上述のステップS3に移る。 Here, when the user's face is not detected or when the user's face is detected and there is no user within a predetermined distance (NO in step S3), whether or not the release button 6a is operated is determined. It checks (step S7), checks whether the mode selection button is operated (step S13), and checks whether other operations are performed (step S15). If no operation is performed (NO in step S15), the process returns to the above-described step S3. However, as operations other than the release button 6a and the mode selection button, for example, exposure setting, zooming, shooting scene setting, etc. When an operation is performed (YES in step S15), after performing an exposure setting process, a zoom process, a shooting scene setting process, and the like as a process corresponding to the operation (step S16), the process proceeds to the above-described step S3.
また、レリーズボタン6aが操作されたときには(ステップS7でYES)、AE処理、AF処理などを実行した後(ステップS8)、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べるが(ステップS9)、いま、「顔或いは顔の部分の状態」を判別することができなかった場合であるから撮影処理に移り(ステップS11)、メイン撮像部7により撮像されて表示部5に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部M2に記憶保存させる保存処理を行う(ステップS12)。その後、上述のステップS3に戻る。
When the release button 6a is operated (YES in step S7), AE processing, AF processing, etc. are executed (step S8), and then stored in the image processing table based on the above-described “face or face portion state”. The section M3 is referred to, and as a result, it is checked whether or not the corresponding “image processing content” is stored (step S9), but the “face or face portion state” cannot be determined now. Therefore, the process proceeds to the photographing process (step S11). After the white balance adjustment or the like is performed on the image captured by the
また、上述の顔検出処理の結果(ステップS2)、顔を検出することができたときには(ステップS3でYES)、その使用者の顔或いは顔の部分の状態を判別する処理を行う(ステップS4)。この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別するが、その際、顔の各部位(眼、鼻、口、耳など)、それらの位置関係、顔の皺、皮膚の弛み、化粧状態、肌色などを総合的に判断して顔の状態を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりする。そして、この判別結果の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照する(ステップS5)。 As a result of the above-described face detection process (step S2), when a face can be detected (YES in step S3), a process of determining the state of the user's face or face portion is performed (step S4). ). In this case, the user's face orientation, age, and gender are determined as the user's face state. At that time, each part of the face (eye, nose, mouth, ear, etc.), their positional relationship, face The face state is determined by comprehensively determining the wrinkles, skin looseness, makeup state, skin color, and the like, or the color of the user's pupil is determined as the state of a part of the user's face. Then, the image processing table storage unit M3 is referred to based on “the state of the face or the face part” of the determination result (step S5).
そして、メイン撮像部7により被写体を撮像した画像(スルー画像:ライブビュー画像)をファインダ画面(モニタ画面)として表示部5に表示させた後(ステップS6)、レリーズボタン6aの操作有無を調べるステップS7に移る。いま、レリーズボタン6aが操作されたときには(ステップS7でYES)、AE処理、AF処理などを実行した後(ステップS8)、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べ(ステップS9)、該当する「画像処理内容」が記憶されていれば(ステップS9でYES)、表示部5に表示されている画像に対して、その「画像処理内容」で示される画像処理を行う(ステップS10)。
Then, after displaying an image (through image: live view image) obtained by imaging the subject by the
すなわち、“使用者の顔の向き”が“縦向き”であれば、つまり、デジタルカメラを横向きに構えている状態であれば、表示部5に表示されている画像を縦向きに回転変更する処理を行い、“横向き”であれば、つまり、デジタルカメラを縦向きに構えている状態であれば、表示部5に表示されている画像を横向きに回転変更する処理を行う。また、“使用者の瞳の色”が“青”であれば、色温度を下げる処理(白色がやや赤味を帯びる処理)を行い、“茶”であれば、色温度を上げる処理(白色がやや青味を帯びる処理)を行う。また、“使用者の年齢”が“少年”であれば、コントラストを高くする処理を行い、“青年”であれば、標準のコントラスト”にする処理を行い、“中年”であれば、コントラストをやや低くする処理を行い、“老年”であれば、コントラストを低くする処理を行う。また、“使用者の性別”が“男性”であれば風景が美しくなる処理(特徴的な色を際出させる処理など)を行い、“女性”であれば、顔が美しくなる処理(美肌、ぼかし処理など)を行う。
That is, if the “face orientation of the user” is “vertical”, that is, if the digital camera is held horizontally, the image displayed on the
そして、撮影処理に移り(ステップS11)、メイン撮像部7により撮像されて表示部5に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部M2に記憶保存させる保存処理を行う(ステップS12)。その後、上述のステップS3に戻る。
Then, the process proceeds to a photographing process (step S11), white balance adjustment is performed on the image captured by the
また、撮影モードにおいてモード選択ボタンが操作されたときには(ステップS13でYES)、撮影モードから再生モードへの切り換えを行った後(ステップS14)、図5のフローに移る。ここで、画像記憶部M2に記憶されている撮像済み画像の中から再生対象として所望する画像を選択する画像選択操作が行われると(ステップS17でYES)、その選択画像を再生対象として読み出す(ステップS18)。そして、上述の場合と同様に、サブ撮像部8により撮像された画像(表示部5を見る使用者の画像)を解析して使用者の顔を検出する処理を行う(ステップS19)。この場合、使用者は、再生モードに切り換えて画像選択操作を行った後、顔を表示部5に向けたり、表示部5を顔に向けたりする。
When the mode selection button is operated in the shooting mode (YES in step S13), after switching from the shooting mode to the reproduction mode (step S14), the flow proceeds to the flow of FIG. Here, when an image selection operation is performed to select a desired image as a reproduction target from the captured images stored in the image storage unit M2 (YES in step S17), the selected image is read out as a reproduction target ( Step S18). Then, as in the case described above, an image captured by the sub image capturing unit 8 (an image of the user viewing the display unit 5) is analyzed to detect the user's face (step S19). In this case, after switching to the reproduction mode and performing an image selection operation, the user turns the face toward the
ここで、顔検出処理により顔を検出すると(ステップS20でYES)、その使用者の顔或いは顔の部分の状態を判別する処理を行い(ステップS21)、その判別処理の結果である「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部M3を参照し(ステップS22)、該当する「画像処理内容」が記憶されているかを調べる(ステップS23)。その結果、該当する「画像処理内容」が記憶されていなければ(ステップS23でNO)、画像表示処理を行うステップS25に移るが、該当する「画像処理内容」が記憶されていれば(ステップS23でYES)、再生対象として選択された画像又は表示部5に表示されている画像に対して、その「画像処理内容」で示される画像処理を行った後(ステップS24)、その画像を表示部5に表示させる(ステップS25)。 If a face is detected by the face detection process (YES in step S20), a process for determining the state of the user's face or face portion is performed (step S21), and the result of the determination process is “face or Based on “the state of the face portion”, the image processing table storage unit M3 is referred to (step S22), and it is checked whether or not the corresponding “image processing content” is stored (step S23). As a result, if the corresponding “image processing content” is not stored (NO in step S23), the process proceeds to step S25 for performing the image display process, but if the corresponding “image processing content” is stored (step S23). YES), after the image processing indicated by the “image processing content” is performed on the image selected as the reproduction target or the image displayed on the display unit 5 (step S24), the image is displayed on the display unit. 5 is displayed (step S25).
以下、画像送り操作が行われたかを調べたり(ステップS26)、モード選択ボタンが操作されたかを調べたり(ステップS28)、その他の操作が行われたかを調べたりする(ステップS30)。ここで、いずれの操作も行われなければ(ステップS30でNO)、上述のステップS19に戻るが、画像送り操作が行われたときには(ステップS26でYES)、再生対象として次の画像を画像記憶部M2から読み出して表示部5に表示させる画像送り処理を行った後(ステップS27)、上述のステップS19に戻る。また、その他の操作として、画像の削除などの編集、スライドショーの開始などが操作されたときには(ステップS30でYES)、操作に応じた処理として編集処理、スライドショー表示処理などを実行した後(ステップS31)、上述のステップS19に戻る。また、再生モードにおいてモード選択ボタンが操作されたときには(ステップS28でYES)、再生モードから撮影モードへの切り換えを行った後(ステップS29)、図4のステップS1に移る。 Thereafter, it is checked whether an image feed operation has been performed (step S26), whether a mode selection button has been operated (step S28), and whether other operations have been performed (step S30). If no operation is performed (NO in step S30), the process returns to the above-described step S19. However, when an image feeding operation is performed (YES in step S26), the next image is stored as a reproduction target. After performing an image feed process that is read from the part M2 and displayed on the display part 5 (step S27), the process returns to the above-described step S19. As other operations, when editing such as deleting an image or starting a slide show is operated (YES in step S30), editing processing, slide show display processing, or the like is executed as processing according to the operation (step S31). ), The process returns to step S19. When the mode selection button is operated in the playback mode (YES in step S28), after switching from the playback mode to the shooting mode (step S29), the process proceeds to step S1 in FIG.
以上のように、第1実施形態においては、表示部5を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像するサブ撮像部8を備え、制御部1は、このサブ撮像部8により撮像された使用者の顔を検出すると共に、検出した使用者の顔或いは顔の部分の状態を判別し、この顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対して画像処理を行うようにしたので、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示内容を適切に変更することができ、使用者の状態に合った画像表示が可能となる。
As described above, the first embodiment includes the
被写体を撮像するメイン撮像部7のほかに備えられているサブ撮像部8により表示部5を見る使用者を撮像するようにしたので、専用カメラにより表示部5を見る使用者をいつでも撮像することが可能となる。
Since the user who views the
画像記憶部M2に記憶されている画像を読み出して、表示部5に表示させるようにしたので、メイン撮像部7によりリアルタイムに撮像された画像に対する画像処理に限らず、画像記憶部M2に記憶保存されている撮影済み画像に対して画像処理を行うことができる。例えば、外部から取得した画像を表示部5に表示させる場合でも、使用者に合った画像表示が可能となる。
Since the image stored in the image storage unit M2 is read out and displayed on the
使用者の顔の向きに応じて、表示部5に表示されている画像の向きを変更する処理を行うようにしたので、デジタルカメラを横向きに構えているのか縦向きに構えているのかに応じて、表示部5に表示されている画像の向きを変更することができ、画像の向きを検出する向きセンサ(縦横センサ)の代替えとすることができる。
Since the process of changing the orientation of the image displayed on the
使用者の瞳の色に応じて、表示部5に表示されている画像の色温度を変更する画像処理を行うようにしたので、人種などに適した表示が可能となり、使用者にとって画像が見易くなる。
Since image processing is performed to change the color temperature of the image displayed on the
使用者の年齢に応じて、表示部5に表示されている画像のコントラストを変更する画像処理を行うようにしたので、若い人ほどコントラストの高い画像を好む傾向を加味するなど、年齢層に適した表示が可能となり、使用者にとって画像が見易くなる。
Since image processing that changes the contrast of the image displayed on the
使用者の性別に応じて、表示部5に表示されている画像に対する画像処理を行うようにしたので、性別に適した表示が可能となる。この場合、使用者が女性の場合は、友人や知人などの顔を美しく見ることができ、友人、知人にとっても受け入れられるものとなる。
Since image processing is performed on the image displayed on the
(実施形態2)
以下、この発明の第2実施形態について図6及び図7を参照して説明する。
なお、上述した第1実施形態においては、被写体を撮像するメイン撮像部7のほかに、表示部5を見る使用者を撮像する専用カメラとしてサブ撮像部8を備えたが、この第2実施形態においては、被写体の撮像と、表示部5を見る使用者の撮像を1台の撮像部で兼用するようにしたものである。ここで、両実施形態において基本的或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
(Embodiment 2)
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS.
In the first embodiment described above, the
図6は、第2実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、上述した第1実施形態と同様のコンパクトカメラで、制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御する。記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。RAM4は、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。
FIG. 6 is a block diagram illustrating basic components of a digital camera applied as an imaging device in the second embodiment.
The digital camera is a compact camera similar to that of the first embodiment described above, and the
表示部5は、例えば、高精細液晶ディスプレイ、有機ELディスプレイ、電子ペーパのいずれかを使用し、画像を高精細に表示するもので、撮像された画像(スルー画像)を表示するファインダ画面として機能したり、保存済み画像を表示する再生画面として機能したりする。操作部6は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン6a、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキーや十字キーなどの操作ボタンを備えたもので、制御部1は、この操作部6からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。
The
撮像部11は、その撮像方向として、表示部5を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能なもので、上述のメイン撮像部7と同様の構成となっている。制御部1は、撮像部11により使用者の顔を撮像した場合に、その撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部5に表示されている画像に対して画像処理を行うが、その際、使用者の顔の状態として使用者の顔の向き、年齢、性別を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりしてそれに応じた画像処理を行うようにしている。
The
図7は、第2実施形態におけるデジタルカメラの外観図で、図7(1)は、表示部5が配設されている面の逆側であるデジタルカメラの前面図、図7(2)は、デジタルカメラの背面図である。
デジタルカメラを構成する筺体は、長方体の本体部12と、この本体部12の長辺方向の一端部に回転可能に取り付けられている可動部13を有する構成で、本体部12の長辺方向一端部においてその短辺方向の中心位置に設けた支軸(図示省略)を介して可動部13が180°回転可能に取り付けられている。この場合、使用者は、本体部12に対して支軸を中心に可動部13を弾性力(バネ力)に抗して回すことにより撮像部11の撮像方向を180°変更するようにしている。上述の支軸、バネなどにより撮影方向変更部14を構成するが、この撮影方向変更部14は、機構部に限らず、モータを備えた駆動部であってもよく、その構成は任意である。
FIG. 7 is an external view of a digital camera according to the second embodiment. FIG. 7A is a front view of the digital camera on the opposite side of the surface on which the
The housing constituting the digital camera has a rectangular main body 12 and a movable portion 13 rotatably attached to one end of the main body 12 in the long side direction. The movable portion 13 is attached to be rotatable by 180 ° through a support shaft (not shown) provided at a central position in the short side direction at one end portion in the direction. In this case, the user changes the imaging direction of the
そして、図7(1)に示すように、デジタルカメラの前面側に撮像部11の撮像レンズ11aを向けた状態においては、可動部13に配設されている撮像レンズ11aとそのストロボ11bが表示部5の逆側を向くようになる。また、図7(2)に示すように、デジタルカメラの背面側に撮像部11の撮像レンズ11aを向けた状態においては、本体部12の背面側に配設されている表示部5及び操作部6の操作ボタン6bと、可動部13に配設されている撮像レンズ11a及びストロボ11bとが同じ方向を向くようになる。
As shown in FIG. 7A, in the state where the imaging lens 11a of the
以上のように、第2実施形態においては、撮像部11の撮像方向として、表示部5を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部14を備えるようにしたので、上述した第1実施形態と同様に、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示状態を適切に変更することができ、使用者の状態に合った画像表示が可能となるほか、単一の撮像部11で被写体の撮像と使用者の撮像とを行うことができ、構成の簡素化と共に、使用者にあっては、本体部12に対して可動部13を弾性力に抗して回すだけで撮影方向を容易に変更することができる。
As described above, in the second embodiment, the imaging direction of the
なお、上述した各実施形態においては、撮像装置としてデジタルカメラ(コンパクトカメラ)に適用した場合を示したが、カメラ機能付きの携帯電話機・PDA・音楽プレイヤーなどであってもよい。 In each of the above-described embodiments, the case where the present invention is applied to a digital camera (compact camera) as an imaging device has been described. However, a mobile phone with a camera function, a PDA, a music player, or the like may be used.
その他、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。 In addition, the “apparatus” and “unit” shown in each of the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.
1 制御部
3 記憶部
5 表示部
6 操作部
7 メイン撮像部
8 サブ撮像部
11 撮像部
12 本体部
13 可動部
14 撮影方向変更部
M1 プログラム記憶部
M2 画像記憶部
M3 画像処理テーブル記憶部
DESCRIPTION OF
Claims (9)
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する第1の撮像手段と、
前記第1の撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔の向きを判別する判別手段と、
前記判別手段により判別された顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する画像処理を行う画像処理手段と、
を具備したことを特徴とする撮像装置。 Display means for displaying the captured image;
First imaging means for taking an image of a user viewing the screen, with the imaging direction being substantially the same direction as the arrangement direction of the screen constituting the display means;
Detecting means for detecting a user's face imaged by the first imaging means;
Discriminating means for discriminating the orientation of the user's face detected by the detecting means;
Image processing means for performing image processing for changing the orientation of the image displayed on the display means according to the orientation of the face determined by the determination means;
An imaging apparatus comprising:
前記表示手段に表示される画像は、前記第2の撮像手段により撮像された画像である、
ことを特徴とする請求項1記載の撮像装置。 A second imaging unit for imaging a subject, the imaging direction being a direction opposite to the first imaging unit;
The image displayed on the display unit is an image captured by the second imaging unit.
The imaging apparatus according to claim 1.
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とする請求項1或いは請求項2記載の撮像装置。 A storage means for storing the image;
The image displayed on the display means is an image stored in the storage means.
The imaging apparatus according to claim 1 or 2, wherein
ようにしたことを特徴とする請求項1或いは請求項3記載の撮像装置。 The first imaging unit includes an imaging direction changing unit capable of changing the imaging direction to a direction for imaging the face of a user who views the screen of the display unit and a direction for imaging a subject facing the user. ,
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、所定の効果が得られるように、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。 The determining means determines the color of the user's pupil,
The image processing means performs image processing on the image displayed on the display means so as to obtain a predetermined effect according to the color of the user's pupil determined by the determination means.
Imaging device according to any one of claims 1 to 4, characterized in that the the like.
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、所定の効果が得られるように、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項1〜請求項5のいずれかに記載の撮像装置。 The determination means determines the age of the user,
The image processing means performs image processing on the image displayed on the display means so that a predetermined effect is obtained according to the age of the user determined by the determination means.
Imaging device according to any one of claims 1 to 5, characterized in that the the like.
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、所定の効果
が得られるように、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項1〜請求項6のいずれかに記載の撮像装置。 The determining means determines the gender of the user,
The image processing means performs image processing on the image displayed on the display means so as to obtain a predetermined effect according to the gender of the user determined by the determination means.
Imaging device according to any one of claims 1 to 6, characterized in that the the like.
前記撮像手段により撮像された使用者の顔を検出する検出工程と、
前記検出工程により検出された使用者の顔の向きを判別する判別工程と、
前記判別工程により判別された顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する画像処理を行う画像処理工程と、
を含むことを特徴とする撮像方法。 An image pickup apparatus comprising: display means for displaying a picked-up image; and image pickup means for picking up an image of a user who views the screen, with the image pickup direction being substantially the same direction as the arrangement direction of the screen constituting the display means An imaging method in
A detection step of detecting a user's face imaged by the imaging means;
A discrimination step for discriminating the orientation of the user's face detected by the detection step;
An image processing step for performing image processing for changing the orientation of the image displayed on the display unit according to the orientation of the face determined by the determination step;
An imaging method comprising:
前記撮像手段により撮像された使用者の顔を検出する検出機能、
前記検出機能により検出された使用者の顔の向きを判別する判別機能、
前記判別機能により判別された顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する画像処理を行う画像処理機能、
を実現させるためのプログラム。 An imaging computer comprising: display means for displaying a captured image; and imaging means for taking an image of a user who views the screen, with the imaging direction being substantially the same as the arrangement direction of the screen constituting the display means In addition,
A detection function for detecting a user's face imaged by the imaging means;
A discrimination function for discriminating the orientation of the user's face detected by the detection function;
An image processing function for performing image processing for changing the orientation of the image displayed on the display unit according to the orientation of the face determined by the determination function;
A program to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010216940A JP5678546B2 (en) | 2010-09-28 | 2010-09-28 | Imaging apparatus, imaging method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010216940A JP5678546B2 (en) | 2010-09-28 | 2010-09-28 | Imaging apparatus, imaging method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012074828A JP2012074828A (en) | 2012-04-12 |
JP2012074828A5 JP2012074828A5 (en) | 2013-10-17 |
JP5678546B2 true JP5678546B2 (en) | 2015-03-04 |
Family
ID=46170611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010216940A Expired - Fee Related JP5678546B2 (en) | 2010-09-28 | 2010-09-28 | Imaging apparatus, imaging method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5678546B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341324A (en) * | 1998-05-26 | 1999-12-10 | Matsushita Electric Ind Co Ltd | Digital camera |
JP2000023020A (en) * | 1998-06-29 | 2000-01-21 | Sony Corp | Digital camera |
JP2002090846A (en) * | 2000-09-18 | 2002-03-27 | Olympus Optical Co Ltd | Camera |
JP2002262155A (en) * | 2000-12-27 | 2002-09-13 | Matsushita Electric Ind Co Ltd | Image pickup device, display device and projector |
JP4277534B2 (en) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | Image editing apparatus and image editing method |
JP2005094741A (en) * | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | Image pickup device and image synthesizing method |
JP4968929B2 (en) * | 2007-07-20 | 2012-07-04 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP5109779B2 (en) * | 2008-04-22 | 2012-12-26 | 株式会社ニコン | Imaging device |
JP5104595B2 (en) * | 2008-06-30 | 2012-12-19 | 株式会社ニコン | Imaging device |
-
2010
- 2010-09-28 JP JP2010216940A patent/JP5678546B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012074828A (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101899748B1 (en) | Information processing apparatus, method and program thereof | |
JP4659088B2 (en) | Mobile device with camera | |
WO2017092128A1 (en) | Method and device for displaying preview image | |
US8502883B2 (en) | Photographing apparatus and photographing control method | |
JP6389342B2 (en) | Imaging apparatus and control method thereof | |
JP2006094082A (en) | Image photographing device, and program | |
JP5499754B2 (en) | Imaging device | |
JP5206422B2 (en) | Composition selection device and program | |
JP7128347B2 (en) | Image processing device, image processing method and program, imaging device | |
JP5678546B2 (en) | Imaging apparatus, imaging method, and program | |
JP5675922B2 (en) | Shooting display device | |
JP2013135446A (en) | Imaging apparatus and control method thereof | |
JP5967422B2 (en) | Imaging apparatus, imaging processing method, and program | |
JP5368165B2 (en) | Imaging display device and imaging display method | |
JP2008098739A (en) | Imaging apparatus, image processing method used for imaging apparatus and program making computer execute same image processing method | |
JP5019566B2 (en) | Imaging apparatus, control method therefor, computer program, and storage medium | |
JP7169431B2 (en) | Image processing device, image processing method and program, imaging device | |
JP6108831B2 (en) | Mobile device, server, image generation method and program | |
JP2012029119A (en) | Display control device, camera and display device | |
JP2010114708A (en) | Camera device, photographing method, photographing control program | |
JP5621757B2 (en) | Imaging apparatus, control method thereof, and program | |
JP2013102467A (en) | Composition selecting device and program | |
JP2013229696A (en) | Imaging apparatus | |
KR20100011287A (en) | Method for controlling the digital image processing apparatus and the digital image processing apparatus of operating by the method | |
JP2011228982A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140611 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141006 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5678546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |