JP5424827B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5424827B2 JP5424827B2 JP2009260299A JP2009260299A JP5424827B2 JP 5424827 B2 JP5424827 B2 JP 5424827B2 JP 2009260299 A JP2009260299 A JP 2009260299A JP 2009260299 A JP2009260299 A JP 2009260299A JP 5424827 B2 JP5424827 B2 JP 5424827B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- images
- trimming
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
本発明は、画像に対して処理を施す画像処理装置に関する。 The present invention relates to an image processing apparatus that performs processing on an image.
従来、デジタルカメラやデジタルビデオカメラ等の撮像装置においては、撮影した画像に対して様々な画像処理を施す技術が知られている。例えば、撮影者の手ぶれや被写体の動きによってぶれた画像を撮影してしまった場合、その画像を自動的に消去する技術が知られている(例えば、特許文献1を参照)。この技術では、被写体画像の輝度信号に含まれる顔の特徴部分の高域成分を検索し、その高域成分が一定レベル未満の画像をぶれた画像とみなして消去する。 2. Description of the Related Art Conventionally, in imaging devices such as digital cameras and digital video cameras, techniques for performing various image processing on captured images are known. For example, a technique is known that automatically deletes an image that has been shaken due to camera shake of a photographer or movement of a subject (see, for example, Patent Document 1). In this technique, a high frequency component of a facial feature part included in a luminance signal of a subject image is searched, and an image having the high frequency component less than a certain level is regarded as a blurred image and is erased.
また、コマ撮りされた複数の画像フレームの各々について、撮影時刻が隣接する二つの画像フレームの重なり具合が最大となる画像位置を判別し、この判別した画像位置に基づいて各画像フレームの出力位置を揃える技術が知られている(例えば、特許文献2を参照)。この技術では、撮影時刻が隣接する二つの画像フレームの一方に対する他方の移動方向を算出することにより、重なり具合が最大となる画像位置を判別する。 Further, for each of a plurality of time-lapse image frames, an image position where the overlap of two image frames adjacent to each other at the shooting time is maximized is determined, and an output position of each image frame is determined based on the determined image position. Is known (see, for example, Patent Document 2). In this technique, the image position where the overlap is maximized is determined by calculating the other moving direction with respect to one of two image frames adjacent to each other at the photographing time.
ところで、動画で人物を撮影したり人物を連写したりする場合には、その人物の表情や動きの変化を楽しみたいという欲求が根底にある。しかしながら、例えば人物の表情の変化に注目する場合には、その人物の顔を拡大して撮影するため、その人物の動きの変化が分かりにくくならざるを得なかった。また、人物の動きの変化に注目する場合には、その人物の身体を撮影するため、画面全体に占める顔の割合が小さくなり、表情の変化を捉えにくくなっていた。このように、従来の画像処理技術では、ユーザが、連続して撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができなかった。 By the way, when a person is photographed or continuously shot with a moving image, there is a desire to enjoy changes in the facial expression and movement of the person. However, for example, when attention is paid to changes in a person's facial expression, the person's face is enlarged and photographed, so the change in the person's movement must be difficult to understand. When attention is paid to changes in a person's movement, the body of the person is photographed, so the proportion of the face in the entire screen is reduced, making it difficult to detect changes in facial expressions. As described above, in the conventional image processing technology, the user cannot enjoy various state changes of the subject using a plurality of images taken continuously.
本発明は、上記に鑑みてなされたものであって、連続して撮影された複数の画像を用いてユーザが被写体の様々な状態変化を楽しむことを可能にする画像処理装置を提供することを目的とする。 The present invention has been made in view of the above, and provides an image processing apparatus that allows a user to enjoy various state changes of a subject using a plurality of images that are continuously captured. Objective.
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、連続して撮影された複数の画像からなる連続画像群および前記複数の画像の各々と関連する情報を記憶する記憶部と、前記記憶部が記憶する前記連続画像群を撮影順に連続して表示可能な表示部と、前記記憶部が記憶する前記複数の画像にそれぞれ含まれる同一の顔を検出する顔検出部と、前記顔検出部が検出した同一の顔の各画像における位置および大きさが揃うように各画像を補正する画像補正手段と、前記画像補正手段が補正した各画像の補正画像からなる補正画像群および前記連続画像群のいずれか一方の画像群を前記表示部に表示させる制御を行う表示制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, an image processing apparatus according to the present invention stores a continuous image group composed of a plurality of images taken continuously and information related to each of the plurality of images. A display unit capable of continuously displaying the continuous image group stored in the storage unit in order of photographing, and face detection for detecting the same face included in each of the plurality of images stored in the storage unit A correction unit configured to correct each image so that the position and size of each image of the same face detected by the face detection unit are aligned, and a correction image of each image corrected by the image correction unit A display control unit that performs control to display one of the image group and the continuous image group on the display unit.
また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像から比較基準画像を定め、該比較基準画像と比較して前記同一の顔の大きさおよび位置が変化した画像に対して画像の補正を行うことを特徴とする。 In the image processing apparatus according to the present invention as set forth in the invention described above, the image correction unit determines a comparison reference image from the plurality of images, and the size and position of the same face are compared with the comparison reference image. Image correction is performed on the changed image.
また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像の各々におけるトリミング領域を決定するトリミング領域決定部と、前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うトリミング部と、前記トリミング部がトリミングした画像を前記複数の画像と同じサイズに拡大することによって前記補正画像を生成する画像拡大部と、を有することを特徴とする。 In the image processing apparatus according to the present invention, in the above invention, the image correction unit includes a trimming region determination unit that determines a trimming region in each of the plurality of images, and a trimming region that is determined by the trimming region determination unit. A trimming unit that trims each image in response to the image, and an image enlarging unit that generates the corrected image by enlarging the image trimmed by the trimming unit to the same size as the plurality of images. .
また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記同一の顔の所定方向の長さの最大値を各画像における前記長さで除した商で与えられる拡大率によって各画像を拡大する画像拡大部と、前記画像拡大部が拡大した画像におけるトリミング領域を決定するトリミング領域決定部と、前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うことによって前記補正画像を生成するトリミング部と、を有することを特徴とする。 In the image processing apparatus according to the present invention as set forth in the invention described above, the image correction means may provide an enlargement ratio given by a quotient obtained by dividing the maximum value of the length of the same face in a predetermined direction by the length of each image. An image enlarging unit for enlarging each image, a trimming region determining unit for determining a trimming region in the image enlarged by the image enlarging unit, and trimming each image according to the trimming region determined by the trimming region determining unit And a trimming unit for generating the corrected image.
また、本発明に係る画像処理装置は、上記発明において、前記画像拡大部は、前記同一の顔の所定方向の長さの最大値を該長さの最小値で除した商が基準拡大率より大きい場合、前記拡大率に1より小さい定数を乗じた積を真の拡大率として各画像を拡大することを特徴とする。 In the image processing apparatus according to the present invention, in the above invention, the image enlargement unit may calculate a quotient obtained by dividing a maximum value of the length of the same face in a predetermined direction by a minimum value of the length from a reference enlargement ratio. If larger, each image is magnified with a product obtained by multiplying the magnification by a constant smaller than 1 as a true magnification.
また、本発明に係る画像処理装置は、上記発明において、前記トリミング領域の縦横比は、前記複数の画像の縦横比と等しいことを特徴とする。 In the image processing apparatus according to the present invention, the aspect ratio of the trimming area is equal to the aspect ratio of the plurality of images.
また、本発明に係る画像処理装置は、上記発明において、前記補正画像を縮小し、この縮小した前記補正画像を、補正前の画像の一部の領域に配置することによって合成画像を生成する画像合成部を備えたことを特徴とする。 In the image processing apparatus according to the present invention, in the above invention, the corrected image is reduced, and the reduced corrected image is arranged in a partial area of the image before correction to generate a composite image. A synthesizer is provided.
また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像の全てに共通した領域であって前記同一の顔が含まれない領域を抽出する領域抽出部を有し、前記画像合成部は、各画像の前記領域抽出部が抽出した領域に、各画像と対応する前記補正画像を配置することを特徴とする。 In the image processing apparatus according to the present invention as set forth in the invention described above, the image correction unit may include a region extraction unit that extracts a region that is common to all of the plurality of images and does not include the same face. And the image composition unit arranges the corrected image corresponding to each image in a region extracted by the region extraction unit of each image.
また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像のうち撮影時刻が隣接する二つの画像間における前記同一の顔の表情の変化を該同一の顔の特徴点の変位量に基いて検出する変化検出部を有し、前記画像合成部は、前記変化検出部が検出した前記同一の顔の表情の変化が基準より大きい場合、表情の変化が大きいことを示す画像を、前記二つの画像のうち後で撮影された画像に合成することを特徴とする。 In the image processing apparatus according to the present invention as set forth in the invention described above, the image correction unit may change the expression of the same face between two images of which the shooting times are adjacent among the plurality of images. A change detection unit that detects based on a displacement amount of the feature point of the image, and the image composition unit has a large change in facial expression when the change in facial expression detected by the change detection unit is greater than a reference. An image indicating this is synthesized with an image taken later of the two images.
また、本発明に係る画像処理装置は、上記発明において、前記表示制御部は、前記補正画像群および前記連続画像群に前記画像合成部が合成した各画像の合成画像からなる合成画像群を加えた三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする。 In the image processing apparatus according to the present invention, in the above invention, the display control unit adds a composite image group composed of composite images of the images synthesized by the image composition unit to the corrected image group and the continuous image group. Control is performed to display any one of the three image groups on the display unit.
また、本発明に係る画像処理装置は、上記発明において、所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、前記記憶部は、前記撮像部が連続的に撮影した複数の撮影画像を記憶し、前記表示制御部は、前記撮像部が前記複数の撮影画像の撮影を終了した後、前記三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする。 The image processing apparatus according to the present invention further includes an imaging unit that collects light from a predetermined area, images a subject in the area, and generates electronic data of the captured image. The storage unit stores a plurality of captured images continuously captured by the imaging unit, and the display control unit stores the three image groups after the imaging unit finishes capturing the plurality of captured images. The display unit is controlled to display any one of the image groups.
また、本発明に係る画像処理装置は、上記発明において、所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、前記記憶部は、前記撮像部が連続的に撮影した複数の撮影画像を記憶し、前記表示制御部は、前記撮像部が前記複数の撮影画像の撮影を行っている最中に、前記表示部に対し、最新の撮影画像に対応する前記補正画像または前記合成画像を順次表示させる制御を行うことを特徴とする。 The image processing apparatus according to the present invention further includes an imaging unit that collects light from a predetermined area, images a subject in the area, and generates electronic data of the captured image. The storage unit stores a plurality of captured images continuously captured by the imaging unit, and the display control unit displays the display while the imaging unit is capturing the plurality of captured images. The control unit sequentially controls the correction image or the composite image corresponding to the latest photographed image.
本発明によれば、連続して撮影された連続画像群を構成する複数の画像にそれぞれ含まれる同一の顔を検出し、検出した同一の顔の各画像における大きさおよび位置が揃うように各画像を補正して補正画像を生成し、この生成した補正画像からなる補正画像群または連続画像群を表示することが可能な構成を有しているため、ユーザは、連続して撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。 According to the present invention, the same face included in each of a plurality of images constituting a continuous image group captured continuously is detected, and the size and position of each detected image of the same face are aligned. Since the correction image group is generated by correcting the image, and the correction image group or the continuous image group including the generated correction image can be displayed, the user can obtain a plurality of images captured continuously. Using these images, you can enjoy various changes in the state of the subject.
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the accompanying drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。同図に示す撮像装置1は、主として動画を撮影するとともに、撮影した動画やその動画に基いて画像処理が施された画像を再生する機能を有する。具体的には、撮像装置1は、所定の領域からの光を集光し、この集光した光を光電変換することによって得られる画像信号からデジタルの画像データを生成する撮像部2と、撮像部2が生成した画像データに対応する画像に対して画像処理を施す画像処理部3と、画像処理部3で処理が施された画像を含む各種情報を表示する表示部4と、撮像部2が生成した画像データ等を一時的に記憶する仮記憶部5と、撮像部2が撮影した画像の画像データを含む各種情報を記憶する記憶部6と、レリーズ信号を含む撮像装置1の操作信号等の入力を受け付ける操作入力部7、タイマー機能を備えた時計8と、撮像装置1の動作を制御する制御部9と、を備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an imaging apparatus which is an example of an image processing apparatus according to
撮像部2は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ入力に応じて動作するシャッタと、絞りおよびシャッタを通過した光を受光して電気信号に変換するCCD(Charge Coupled Device)等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データを生成する信号処理回路とを有する。 The imaging unit 2 includes one or a plurality of lenses, and includes an optical system that collects light from a subject existing in a predetermined visual field area, a diaphragm that adjusts the amount of incident light collected by the optical system, and a release. An image sensor such as a CCD (Charge Coupled Device) that receives the light that has passed through the aperture and the shutter and converts it into an electrical signal, and an analog signal output from the image sensor. And a signal processing circuit that generates digital image data by performing A / D conversion after performing signal processing such as the above.
表示部4は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて実現され、画像データのほかに撮像装置1の操作情報や撮影に関する情報を適宜表示する。
The
画像処理部3は、画像に含まれる人物の顔を検出する顔検出部31と、画像のトリミングを行うトリミング部32と、トリミング部32によってトリミングされた画像を拡大する画像拡大部33と、複数の画像を合成する画像合成部34と、画像データの圧縮または伸張を行う圧縮伸張部35とを有する。
The
記憶部6は、撮像部2が撮影し、画像処理部3によって処理が施された画像の画像データを記憶する画像データ記憶部61と、顔検出部31が画像中の顔を検出する際に参照する顔情報を記憶する顔情報記憶部62と、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部63とを有する。記憶部6は、撮像装置1の内部に固定的に設けられるフラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。なお、記憶部6が、外部から装着されるメモリカード等のコンピュータ読取可能な記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を有してもよい。
The
操作入力部7は、撮像装置1の電源スイッチ、撮像指示を与えるレリーズ信号を入力するレリーズスイッチ、撮像装置1で設定可能な各種動作モードの切替を行うモード切替スイッチなどを有する。また、表示部4に積層したタッチパネルによって操作入力部7を実現し、ユーザが表示部4で表示される情報に基いた操作信号の入力を行えるようにしてもよい。
The
制御部9は、画像でトリミングする領域を決定するトリミング領域決定部91と、撮影時刻が隣接する画像間における特徴点の変位量等に基いた変化を検出する変化検出部92と、一連の複数の画像において同一の顔が含まれない領域を抽出する領域抽出部93と、表示部4の表示を制御する表示制御部94とを有する。制御部9は、CPU(Central Processing Unit)等を用いて実現され、制御対象である撮像装置1の各構成部位とバスラインを介して接続されている。
The
トリミング部32、画像拡大部33、トリミング領域決定部91、変化検出部92および領域抽出部93は、動画像を構成する各フレームに対し、顔検出部31が検出した同一の顔の画像における位置および大きさが揃うように補正を加える画像補正手段を構成する。ここで、顔の位置は、例えば顔の画像の一または複数の代表点の座標によって定められ、顔の大きさは、例えば顔の画像の輪郭部分の面積として定められる。また、顔の位置が揃うとは、二つの顔の画像における一または複数の代表点の一部または全部の座標同士の差が所定の範囲よりも小さくなることを意味する。さらに、顔の大きさが揃うとは、二つの顔の画像における顔の画像の輪郭部分の面積の差が所定の範囲よりも小さくなることを意味する。
The trimming
ここで、図2〜図5を参照して、以上の構成を有する撮像装置1が行う処理の特徴を説明する。図2は、撮像装置1が連続して撮影した複数の画像からなる連続画像群としての撮影画像群を示す図である。図2に示す動画は、N枚の撮影画像(フレーム)からなり、図2で画面の下に描かれた矢印に沿って撮影順に並んでいる。なお、図2では、N枚の撮影画像のうち、7枚の撮影画像F1、Fi、Fi+1、Fj、Fk、Fk+1、FNを記載している(1<i<j<k<N)。このうち、撮影画像Fi、Fi+1は、撮影時刻が隣接している。また、撮影画像Fk、Fk+1も撮影画像が隣接している。
Here, with reference to FIG. 2 to FIG. 5, characteristics of processing performed by the
撮像装置1は、図2に示す一連の動画を撮影する際、顔検出部31が各撮影画像における同一人物の顔を検出し、トリミング領域決定部91によって決定されたトリミング領域をトリミング部32がトリミングし、このトリミングした領域を画像拡大部33が拡大することによって補正画像としての拡大画像を生成する。
When the
図3は、トリミング領域決定部91が決定したトリミング領域を示す図である。図3に示す場合、トリミング領域T1、Ti、Ti+1、Tj、Tk、Tk+1、TNは、撮影画像F1、Fi、Fi+1、Fj、Fk、Fk+1、FNに対してそれぞれ決定された領域であり、被写体の顔が画面全域となるように設定された領域である。なお、図3に示す場合、各トリミング領域の縦横比は、撮影画像の縦横比と等しい。
FIG. 3 is a diagram showing the trimming area determined by the trimming
図4は、画像拡大部33が、撮影画像群をなす各画像を拡大した拡大画像からなる拡大画像群を示す図である。同図に示す拡大画像群は、画像補正手段によって補正された補正画像群に相当するものである。なお、図4では、拡大画像群の一部の拡大画像のみを示している。拡大画像E1、Ei、Ei+1、Ej、Ek、Ek+1、ENは、画像拡大部33によってトリミング領域T1、Ti、Ti+1、Tj、Tk、Tk+1、TNがそれぞれ拡大された画像である。このようにして、被写体の顔の部分を拡大した画像からなる画像を連続的に表示することにより、ユーザは特定のシーンにおける被写体の顔の表情変化を楽しむことができるようになる。拡大画像E1、Ei、Ei+1、Ej、Ek、Ek+1、ENは、撮像装置1が再生モードの一種である表情再生モードに設定されている場合、表示部4によって再生表示される。
FIG. 4 is a diagram illustrating an enlarged image group including enlarged images obtained by enlarging the images forming the captured image group by the image enlargement unit 33. The enlarged image group shown in the figure corresponds to a corrected image group corrected by the image correcting unit. FIG. 4 shows only a part of the enlarged images of the enlarged image group. The enlarged images E 1 , E i , E i + 1 , E j , E k , E k + 1 , E N are trimmed by the image enlargement unit 33 by the trimming regions T 1 , T i , T i + 1 , T j , T k , T k + 1 , and T N are enlarged images. In this way, by continuously displaying images composed of images obtained by enlarging the face portion of the subject, the user can enjoy changes in the facial expression of the subject in a specific scene. The enlarged images E 1 , E i , E i + 1 , E j , E k , E k + 1 , E N are displayed on the display unit when the
撮像装置1では、表情再生モードを設定した状態で、さらに合成表示モードを設定することができる。図5は、撮像装置1が合成表示モードに設定されている場合に表示部4で表示される画像群の表示例を示す図である。同図に示す画像群は、画像合成部34によって合成された合成画像群である。なお、図5では、合成画像群の一部の合成画像のみを示している。図5に示す合成画像C1、Ci、Ci+1、Cj、Ck、Ck+1、CNは、撮影画像F1、Fi、Fi+1、Fj、Fk、Fk+1、FNの所定領域に拡大画像E1、Ei、Ei+1、Ej、Ek、Ek+1、ENを縮小して配置した画像である。合成画像を生成する際には、まず領域抽出部93が一連の全ての撮影画像F1〜FNの顔が含まれない領域を抽出する。この抽出される領域は、例えば撮影画像と同じ縦横比を有し、かつ画像の面積が最大となる領域である。領域抽出部93による処理に続いて、画像合成部34は、領域抽出部93によって抽出された領域にトリミング領域を縮小して配置することにより、合成画像を生成する。
In the
図5に示す合成画像群においては、合成画像Ci+1、Ck+1の拡大画像表示領域に強調用アイコンmがそれぞれ重畳して表示されている。この強調用アイコンmは、直前の撮影画像からの被写体の表情変化が大きい撮影画像を含む合成画像から所定枚数分の合成画像に重畳して表示されるものである。なお、強調用アイコンmのデザイン、表示位置、大きさは、図5に示すものに限られるわけではない。また、強調用アイコンmを表示する代わりに、例えば音声を出力したり、撮像装置1の本体を振動させたりすることにより、顔の表情変化が大きいことを報知するようにしてもよい。
In the composite image group shown in FIG. 5, the emphasis icon m is superimposed and displayed on the enlarged image display areas of the composite images C i + 1 and C k + 1 . The emphasis icon m is displayed superimposed on a predetermined number of composite images from a composite image including a captured image in which the subject's facial expression changes greatly from the immediately preceding captured image. The design, display position, and size of the highlight icon m are not limited to those shown in FIG. Further, instead of displaying the emphasis icon m, for example, a voice may be output or the main body of the
以上の説明においては、被写体が撮像装置1へ徐々に近づいてくる状況を動画で撮影する場合を説明したが、被写体が撮像装置1から遠ざかる場合であっても、同様の画像処理を行うことが可能である。
In the above description, the case where the subject gradually approaches the
図6は、撮像装置1が行う処理の概要を示すフローチャートである。まず、撮像装置1が撮影モードに設定されている場合(ステップS1:Yes)、表示制御部94は表示部4にスルー画表示を開始させる(ステップS2)。
FIG. 6 is a flowchart illustrating an outline of processing performed by the
その後、操作入力部7のレリーズスイッチが押されると(ステップS3:Yes)、撮像部2は画像の撮影を行う(ステップS4)。続いて、顔検出部31は、撮影された画像に含まれる顔を検出する(ステップS5)。この際、顔検出部31は、顔情報記憶部62が記憶する顔情報を参照し、パターンマッチング等の手法によって顔を検出する。
Thereafter, when the release switch of the
顔検出部31が画像に含まれる顔を検出した場合(ステップS6:Yes)、制御部9は、顔検出部31によって検出された顔の位置や大きさを含む顔情報を撮影画像とともに仮記憶部5へ記録する(ステップS7)。ステップS7において、顔検出部31が複数の顔を検出した場合には、例えば画面の中央部に最も近い画像のみを仮記憶部5へ記録するようにすればよい。なお、顔検出部31が複数の顔を検出した場合、最も面積が大きい顔のみを仮記憶部5へ記録するようにしてもよい。
When the
続いて、顔検出部31が検出した顔の画像が拡大可能である場合(ステップS8:Yes)、制御部9は、顔位置で露出、ピント調整を行う(ステップS9)。ここで、顔の画像を拡大可能であるか否かは、顔を所定の大きさに拡大する際の拡大率が予め定められた閾値以下であるか否かに応じて判定される。ここでの閾値は、その閾値以下の拡大率で拡大した場合に顔を明確に認識できるような値であることが望ましい。
Subsequently, when the face image detected by the
この後、トリミング領域決定部91が撮影画像中でトリミングする領域を決定する(ステップS10)。この場合のトリミング領域は、たとえば図3で示したように、顔の大きさが画面のほぼ全域となるような領域として設定される。トリミング部32は、トリミング領域決定部91によって決定された領域にしたがって画像のトリミングを行う(ステップS11)。その後、画像拡大部33は、トリミング領域を拡大して拡大画像を生成し、この生成した拡大画像を仮記憶部5へ記録する(ステップS12)。
Thereafter, the trimming
仮記憶部5で仮記憶する拡大画像が二つ以上ある場合(ステップS13:Yes)、変化検出部92は、直近の二つの拡大画像を比較して両拡大画像に共通する被写体の顔の表情変化を検出し、検出結果を仮記憶部5へ記録する(ステップS14)。
When there are two or more enlarged images temporarily stored in the temporary storage unit 5 (step S13: Yes), the
撮像装置1がステップS4〜S14の処理を行う間に操作入力部7から撮影終了指示が入力された場合(ステップS15:Yes)、撮像装置1は撮影を終了する(ステップS16)。これに対し、操作入力部7からの終了指示が入力されない場合(ステップS15:No)、撮像装置1はステップS4に戻って処理を繰り返す。ステップS15での撮影終了指示は、例えばレリーズスイッチを押すことによって入力される。
When the imaging end instruction is input from the
撮像装置1が撮影を終了した後、制御部9は、撮影画像や拡大画像の画像データを仮記憶部5から読み出し、この読み出した画像データを圧縮伸張部35によって圧縮させた後、記憶部6へ記録する(ステップS17)。この際、制御部9は、仮記憶部5からの画像データの消去も合わせて行う。その後、撮像装置1はステップS1へ戻る。
After the
ステップS6において、顔検出部31が画像に含まれる顔を検出しなかった場合(ステップS6:No)、およびステップS8において、顔検出部31が検出した顔の画像が拡大可能でない場合(ステップS8:No)、撮像装置1はステップS13へ移行する。
When the
ステップS13において、仮記憶部5で仮記憶する拡大画像が二つ以上ない場合(ステップS13:No)、撮像装置1はステップS15へ移行する。
In step S13, when there are no two or more enlarged images temporarily stored in the temporary storage unit 5 (step S13: No), the
次に、撮像装置1が撮影モードに設定されていない場合(ステップS1:No)を説明する。この場合において、撮像装置1が再生モードに設定されているとき(ステップS21:Yes)、撮像装置1は、設定されている再生モードの種類に応じた処理を行う。
Next, a case where the
撮像装置1が表情再生モードに設定され(ステップS22:Yes)、かつ合成表示モードに設定されている場合(ステップS23:Yes)、撮像装置1は、図5に示すように、撮影した画像と拡大画像との合成画像を撮影順に表示する(ステップS24)。合成表示のより詳細な処理内容については、図7を参照して後述する。一方、撮像装置1が表情再生モードに設定され(ステップS22:Yes)、かつ合成表示モードに設定されていない場合(ステップS23:No)、撮像装置1は、拡大画像群(図4を参照)を用いて動画再生を行う(ステップS25)。ステップS24またはS25の後、操作入力部7から終了指示が入力された場合(ステップS26:Yes)、撮像装置1は一連の処理を終了する。
When the
ステップS22において、表情再生モードに設定されていない場合(ステップS22:No)、撮像装置1は通常の動画再生を行い(ステップS27)、ステップS26へ移行する。この場合に再生される動画像は、撮影画像群(図2を参照)である。
In step S22, when the facial expression reproduction mode is not set (step S22: No), the
次に、ステップS24における合成表示処理の概要を、図7に示すフローチャートを参照して説明する。図7において、まず領域抽出部93は、全ての撮影画像F1〜FNの顔の位置を顔情報記憶部62から取得し、この取得した位置情報に基づいて、全ての撮影画像で顔が含まれない領域を抽出する(ステップS31)。
Next, the outline of the composite display process in step S24 will be described with reference to the flowchart shown in FIG. In FIG. 7, first, the
続いて、全ての撮影画像F1〜FNに対してループ処理を行う(ステップS32)。このループ処理では、まず画像合成部34が、圧縮伸張部35を介して互いに対応する撮影画像およびトリミング画像のペアを記憶部6から取得する(ステップS33)。続いて、変化検出部92が、例えば顔の代表点の前の画像からの変位量に基づいて表情変化の有無を検出する(ステップS34)。この際、最初の撮影画像に対しては、表情変化がないものとして取り扱うように予め設定しておく。
Subsequently, a loop process is performed on all the captured images F 1 to F N (step S32). In this loop process, first, the
ステップS34において、変化検出部92が表情変化を検出した場合(ステップS34:Yes)、画像合成部34が変化強調合成画像を生成し、この生成された変化強調合成画像を表示部4が表示する(ステップS35)。ここでいう変化強調合成画像とは、表情変化が大きい箇所で変化を強調する情報を合わせて表示する合成画像のことであり、具体的には図5に示す合成画像Ci+1、Ck+1のことである。これらの合成画像Ci+1、Ck+1の場合には、強調用アイコンmが変化を強調する情報に他ならない。
In step S34, when the
一方、ステップS34において、変化検出部92が表情変化を検出しなかった場合(ステップS34:No)、処理対象の撮影画像が、変化検出部92によって最後に表情変化が検出されてから所定時間(例えば0.5〜2秒程度)経過後に撮影された画像であるとき(ステップS36:Yes)、画像合成部34が通常の合成画像を生成し、この生成された合成画像を表示部4が表示する(ステップS37)。このステップS37で表示する合成画像は、例えば図5に示す合成画像Ciのような画像である。
On the other hand, in step S34, when the
ステップS36において、処理対象の画像が、変化検出部92によって最後に表情変化が検出されてから所定時間経過する前に撮影された画像であるとき(ステップS36:No)、撮像装置1はステップS35へ移行する。これにより、表示部4では、変化検出部92が表情変化を検出してから所定枚数分連続して強調用アイコンmが表示されることとなる。このように強調用アイコンmを連続して表示することにより、ユーザは強調用アイコンmが表示されていることを確実に認識することができる。
In step S36, when the image to be processed is an image taken before a predetermined time has elapsed since the
以上説明したステップS32のループ処理(ステップS33〜S37)を全ての撮影画像に対して実行した場合、撮像装置1はメインルーチンへ戻る。
When the loop process (steps S33 to S37) in step S32 described above is executed for all captured images, the
以上説明した本発明の実施の形態1によれば、連続的に撮影された連続画像群(撮影画像群)を構成する複数の画像にそれぞれ含まれる同一の顔を検出し、検出した同一の顔の各画像における大きさおよび位置が揃うように各画像を補正して補正画像を生成し、この生成した補正画像からなる補正画像群または連続画像群を表示することが可能な構成を有しているため、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。
According to
また、本実施の形態1によれば、撮影画像に顔の拡大画像を合成して表示するため、顔の表情変化と体の動きをあわせて表示することができる。 Further, according to the first embodiment, since the enlarged image of the face is combined with the captured image and displayed, the facial expression change and the body movement can be displayed together.
また、本実施の形態1によれば、合成画像を表示する際に、顔の表情変化が大きい場合に強調用アイコンを重畳して表示するため、顔の表情変化が大きいことを視覚的に強調することができる。 Further, according to the first embodiment, when displaying a composite image, when the facial expression change is large, the emphasis icon is superimposed and displayed, so that the facial expression change is visually emphasized. can do.
(変形例1)
図8は、本実施の形態1の変形例1に係る撮像装置が行う処理の概要を示すフローチャートである。本変形例1に係る撮像装置の構成は、撮像装置1の構成と同様である。図8において、図6のフローチャートと異なるのは、ステップS14とステップS15との間に処理が追加されている点である。以下、ステップS14において、変化検出部92が直近の二つの拡大画像を比較して両拡大画像に共通する被写体の顔の表情変化を検出し、検出結果を仮記憶部5へ記録した後に続く処理(ステップS41〜S43)を説明する。
(Modification 1)
FIG. 8 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to the first modification of the first embodiment. The configuration of the imaging apparatus according to the first modification is the same as the configuration of the
変化検出部92によって表情変化が検出された場合(ステップS41:Yes)、画像合成部34が変化強調合成画像を生成し、この生成された変化強調合成画像を表示部4が表示する(ステップS42)。この後、撮像装置1はステップS15へ移行する。
When a change in facial expression is detected by the change detection unit 92 (step S41: Yes), the
これに対し、変化検出部92によって顔の表情変化が検出されなかった場合(ステップS41:No)、処理対象の画像が、変化検出部92によって最後に表情変化が検出されてから所定時間(例えば0.5〜2秒程度)経過後に撮影された画像であるとき(ステップS43:Yes)、画像合成部34が通常の合成画像を生成し、この生成された合成画像を表示部4が表示する(ステップS44)。この後、撮像装置1はステップS15へ移行する。
On the other hand, when the facial expression change is not detected by the change detection unit 92 (step S41: No), the image to be processed is processed for a predetermined time (for example, after the facial expression change is detected by the
ステップS43において、処理対象の画像が、変化検出部92によって最後に表情変化が検出されてから所定時間経過する前に撮影された画像であるとき(ステップS43:No)、撮像装置1はステップS42へ移行する。
In step S43, when the image to be processed is an image taken before a predetermined time has elapsed since the
以上説明した本実施の形態1の変形例1によれば、撮影者は、ほぼリアルタイムで合成画像による動画を見ながら撮影を行うことができる。 According to the first modification of the first embodiment described above, the photographer can take a picture while watching a moving image based on the composite image in almost real time.
(変形例2)
図9は、本実施の形態1の変形例2に係る撮像装置の制御の流れを示すフローチャートである。本変形例2に係る撮像装置の構成も、撮像装置1の構成と同様である。図9において、図6のフローチャートと異なるのは、撮像装置1が撮影を終了し(ステップS16)、撮影画像や拡大画像の画像データを仮記憶部5から読み出し、圧縮伸張部35を介して記憶部6に記憶(ステップS17)した後、図6におけるステップS24と同じ合成表示(ステップS45)を行う点である。このような本実施の形態1の変形例2によれば、撮影者は、撮影を終了した直後に撮影した画像の合成画像による動画を見て被写体の表情変化を楽しむことができる。
(Modification 2)
FIG. 9 is a flowchart showing a flow of control of the imaging apparatus according to the second modification of the first embodiment. The configuration of the imaging apparatus according to the second modification is the same as that of the
(実施の形態2)
本発明の実施の形態2は、一連の画像の中で被写体の顔の大きさが最大である画像に合わせて他の画像を拡大することを特徴とする。本実施の形態2に係る撮像装置は、上記実施の形態1で説明した撮像装置1と同様の構成を有している。
(Embodiment 2)
The second embodiment of the present invention is characterized in that other images are enlarged in accordance with the image having the largest face size of the subject in the series of images. The imaging apparatus according to the second embodiment has the same configuration as that of the
図10は、本実施の形態2に係る撮像装置1が行う処理の概要を示すフローチャートである。まず、撮像装置1が撮影モードに設定されている場合(ステップS51:Yes)、表示制御部94は表示部4にスルー画表示を開始させる(ステップS52)。
FIG. 10 is a flowchart illustrating an outline of processing performed by the
その後、操作入力部7のレリーズスイッチが押されると(ステップS53:Yes)、撮像装置1は画像の撮影処理を行う(ステップS54)。図11は、ステップS54の撮影処理の概要を示すフローチャートである。図11において、まず撮像部2が画像の撮影を行う(ステップS71)。その後、顔検出部31は、顔情報記憶部62が記憶する顔情報を参照することにより、撮像部2が撮影した画像に含まれる顔を検出する(ステップS72)。
Thereafter, when the release switch of the
顔検出部31が画像に含まれる顔を検出した場合(ステップS73:Yes)、制御部9は、顔検出部31によって検出された顔の位置や大きさを含む顔情報を撮影画像とともに仮記憶部5へ記録する(ステップS74)。
When the
続いて、顔検出部31が検出した顔の大きさが所定の大きさ以上である場合(ステップS75:Yes)、仮記憶部5に撮影画像の比較対象である比較基準画像が仮記憶されていれば(ステップS76:Yes)、変化検出部92が撮影画像と比較基準画像とを比較する(ステップS77)。比較の結果、顔の位置、大きさに所定の基準を超える変化があった場合(ステップS78:Yes)、制御部9は撮影画像を加工用画像として記憶し(ステップS79)、図10に示すメインルーチンへ戻る。この際には、撮影画像の画像データに加工用画像であることを示す識別情報を付加したものを画像データ記憶部61へ記録する。
Subsequently, when the size of the face detected by the
ステップS76において、比較基準画像が仮記憶部5に記憶されていない場合(ステップS76:No)、制御部9は撮影画像を比較基準画像として仮記憶部5へ記録し(ステップS80)、図10に示すメインルーチンへ戻る。例えば、図2に示す撮影画像群では、撮影画像F1が比較基準画像となる。この場合、撮影画像Fi、Fi+1、Fj、Fj+1、Fk、Fk+1、FNも比較基準画像と顔の位置や大きさが異なるため、加工用画像として画像データ記憶部61に記憶される。
In step S76, when the comparison reference image is not stored in the temporary storage unit 5 (step S76: No), the
ステップS75において、顔の大きさが所定の大きさよりも小さい場合(ステップS75:No)、仮記憶部5に比較基準画像が仮記憶されていれば(ステップS81:Yes)、制御部9は比較基準画像を消去して(ステップS82)、図10に示すメインルーチンへ戻る。
In step S75, when the face size is smaller than the predetermined size (step S75: No), if the comparison reference image is temporarily stored in the temporary storage unit 5 (step S81: Yes), the
顔の大きさが所定の大きさよりも小さく(ステップS75:No)、かつ仮記憶部5に比較基準画像が仮記憶されていない場合(ステップS81:No)、制御部9はメインルーチンへ戻る。
When the face size is smaller than the predetermined size (step S75: No), and the comparison reference image is not temporarily stored in the temporary storage unit 5 (step S81: No), the
撮像装置1がステップS54の撮影処理(ステップS71〜S82)を行っている最中に、操作入力部7によって撮影終了指示が入力された場合(ステップS55:Yes)、撮像装置1は撮影を終了し(ステップS56)、所定の画像(加工用画像)の加工を行う(ステップS57)。一方、撮像装置1がステップS54の撮影処理を行っている最中に、操作入力部7によって撮影終了指示が入力されない場合(ステップS55:No)、撮像装置1はステップS54の撮影処理を繰り返す。
When an imaging end instruction is input by the
図12は、ステップS57の画像加工処理の概要を示すフローチャートである。まず、画像データ記憶部61に記憶されている加工用画像が所定枚数以上ある場合(ステップS91:Yes)、面積が最大である顔画像を含む加工用画像を抽出して最大加工用画像Imaxとし(ステップS92)、その最大加工用画像Imaxの顔の高さ(縦の長さ)をfmaxとする(ステップS93)。 FIG. 12 is a flowchart showing an overview of the image processing process in step S57. First, when there are a predetermined number or more of processing images stored in the image data storage unit 61 (step S91: Yes), a processing image including a face image having the maximum area is extracted and the maximum processing image I max is obtained. and then (step S92), the height of the face of the maximum processing image I max (length of the vertical) and f max (step S93).
この後、撮像装置1は、全ての加工用画像Fnに対するループ処理を行う(ステップS94)。制御部9は、まず加工用画像Fnにおける顔の高さfnの拡大率K(n)=fmax/fnを算出する(ステップS95)。その後、画像拡大部33は、最大加工用画像Imaxの顔位置に加工用画像Fnの顔位置を揃えて拡大率K(n)で加工用画像Fnを拡大する(ステップS96)。
Thereafter, the
続いて、トリミング領域決定部91がトリミング領域を決定する(ステップS97)。この後、トリミング部32は、トリミング領域決定部91によって決定されたトリミング領域にしたがって画像のトリミングを行う(ステップS98)。その後、制御部9は、トリミングされた拡大画像を記憶部6へ記録する(ステップS99)。
Subsequently, the trimming
ステップS94のループ処理(ステップS95〜S99)が終了した後、撮像装置1は、図10に示すメインルーチンへ戻る。
After the loop process (steps S95 to S99) in step S94 is completed, the
ステップS91で加工用画像が所定枚数よりも少ない場合(ステップS91:No)を説明する。この場合、変化検出部92が検出した顔の表情変化が大きいとき(ステップS100:Yes)、画像処理部3は、加工用画像に対してスローモーション対応処理を施す(ステップS101)。このステップS101におけるスローモーション対応処理は、例えば、各加工用画像の表示時間を通常よりも長くするような処理である。この後、撮像装置1は、図10に示すメインルーチンへ戻る。ステップS100において、顔の表情変化が小さいとき(ステップS100:No)、撮像装置1は、図10に示すメインルーチンへ戻る。
A case where the number of processing images is smaller than the predetermined number in step S91 (step S91: No) will be described. In this case, when the facial expression change detected by the
図13は、ステップS94のループ処理における拡大画像の生成を模式的に示す図である。図13において、加工用画像F1の拡大画像E'1は、拡大率K(1)=fmax/f1で拡大されている。その結果、拡大画像E'1における顔の高さはfmaxとなっている。 FIG. 13 is a diagram schematically illustrating the generation of an enlarged image in the loop process of step S94. In FIG. 13, the enlarged image E ′ 1 of the processing image F 1 is enlarged at an enlargement factor K (1) = f max / f 1 . As a result, the height of the face in the enlarged image E ′ 1 is f max .
図14は、生成された拡大画像群を示す図である。図14において、拡大画像E'1、E'i、E'i+1、E'j、E'k、E'k+1、E'Nは、加工用画像F1、Fi、Fi+1、Fj、Fk、Fk+1、FNをそれぞれトリミングした後に拡大した画像である。これらの拡大画像における顔の位置および大きさは、最大加工用画像Imaxの顔の位置および大きさにほぼ揃えて表示される。したがって、図14に示す拡大画像群を撮影順に表示することにより、ユーザは被写体の表情変化を認識することができる。このように、本実施の形態2においては、大きさがある程度大きい比較基準画像からの顔の位置および大きさの変化が大きい画像のみを抽出し、この抽出した撮影画像を加工用画像としているため、画像処理を行う際に撮像装置1に加わる負荷を軽減させることができる。
FIG. 14 is a diagram illustrating the generated enlarged image group. In FIG. 14, the enlarged images E ′ 1 , E ′ i , E ′ i + 1 , E ′ j , E ′ k , E ′ k + 1 , E ′ N are processed images F 1 , F i , F i. The images are enlarged after trimming +1 , F j , F k , F k + 1 , and F N , respectively. The position and size of the face in these enlarged images are displayed so as to be substantially aligned with the position and size of the face of the maximum processing image I max . Accordingly, by displaying the enlarged image group shown in FIG. 14 in the order of photographing, the user can recognize the change in the facial expression of the subject. As described above, in the second embodiment, only the image having a large change in the position and size of the face is extracted from the comparative reference image having a certain size, and the extracted photographed image is used as the processing image. The load applied to the
撮像装置1が撮影モードに設定されていない場合(ステップS51:No)に続くステップS61〜S67の処理は、図6に示すステップS21〜S27の処理に順次対応している。なお、ステップS64における合成表示で表示する合成画像は、加工用画像として選択された撮影画像Fnに、その撮影画像Fnを所定の拡大率F(n)で拡大した拡大画像En'を合成することによって得られる画像である。
The processes in steps S61 to S67 subsequent to the case where the
以上説明した本発明の実施の形態2によれば、上記実施の形態1と同様、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。 According to the second embodiment of the present invention described above, as in the first embodiment, the user can enjoy various state changes of the subject using a plurality of images taken continuously.
また、本実施の形態2によれば、大きさがある程度大きい比較基準画像からの顔の位置および大きさの変化が大きい画像のみを抽出し、この抽出した撮影画像のみを加工用画像としているため、画像処理を行う際に撮像装置に加わる負荷を軽減させ、処理の高速化、安定化を実現することができる。 Further, according to the second embodiment, only the image having a large change in the position and size of the face is extracted from the comparative reference image that is somewhat large, and only the extracted photographed image is used as the processing image. Thus, it is possible to reduce the load applied to the imaging apparatus when performing image processing, and to realize high-speed and stable processing.
また、本実施の形態2によれば、顔の大きさが最大である最大加工用画像に合わせて顔を拡大するため、最大加工用画像に身体も表示されている場合、ユーザは顔と身体の動きの変化を同時に楽しむことができる。 Further, according to the second embodiment, since the face is enlarged in accordance with the maximum processing image having the largest face size, when the body is also displayed in the maximum processing image, the user You can enjoy the change of movement at the same time.
(実施の形態3)
本発明の実施の形態3は、上述した実施の形態2と同様に、一連の画像の中で被写体の顔の大きさが最大である画像に合わせて他の画像を拡大するが、拡大率が大きすぎて画像の解像度が低下する可能性がある場合には、拡大率を小さくして画像の解像度の低下を抑制することを特徴とする。本実施の形態3に係る撮像装置は、上記実施の形態1で説明した撮像装置1と同じ構成を有している。
(Embodiment 3)
In the third embodiment of the present invention, as in the second embodiment described above, another image is enlarged in accordance with the image having the largest face size of the subject in the series of images. When there is a possibility that the resolution of the image is lowered due to being too large, the enlargement ratio is reduced to suppress the decrease in the resolution of the image. The imaging apparatus according to the third embodiment has the same configuration as that of the
本実施の形態3に係る撮像装置1が行う処理の概要は、画像加工処理を除いて、上記実施の形態2で図10に示すフローチャートを参照して説明した処理の概要と同様である。そこで、以下では、本実施の形態3に係る撮像装置1が行う画像加工処理の概要について、図15に示すフローチャートを参照して説明する。まず、画像データ記憶部61に記憶されている加工用画像が所定枚数以上ある場合(ステップS111:Yes)、制御部9は、面積が最大である顔画像を含む加工用画像を抽出して最大加工用画像Imaxとし(ステップS112)、その最大加工用画像Imaxの顔の高さをfmaxとする(ステップS113)。続いて、面積が最小である顔画像を含む加工用画像を抽出して最小加工用画像Iminとし(ステップS114)、その最小加工用画像Iminの顔の高さをfminとする(ステップS115)。図2に示す場合、最大加工用画像Imaxは撮影画像FNであり、最小加工用画像Iminは撮影画像F1である。
The outline of the process performed by the
この後、撮像装置1は、全ての加工用画像Fnに対するループ処理を行う(ステップS116)。まず、最大加工用画像Imaxにおける顔の高さfmaxを最小加工用画像Iminにおける顔の高さfminで除した商fmax/fminが所定の基準拡大率Mよりも大きい場合(ステップS117:Yes)、制御部9は、加工用画像Fnにおける顔の高さfnの拡大率K(n)=fmax/fnを、1より小さい定数αを乗じた値α×K(n)を真の拡大率とする(ステップS118)。ここで、基準拡大率Mは、画像の解像度に応じて定められる値であり、例えばM=5である。また、定数αは、例えばα=0.5とおくことができる。
Thereafter, the
ステップS117において、商fmax/fminが基準拡大率M以下である場合(ステップS117:No)、制御部9は拡大率K(n)としてfmax/fnを算出する(ステップS119)。
In step S117, when the quotient f max / f min is equal to or smaller than the reference enlargement ratio M (step S117: No), the
ステップS118またはS119の後、画像拡大部33は、最大加工用画像Imaxの顔の位置に加工用画像Fnの顔の位置を揃えて拡大率K(n)で拡大する(ステップS120)。その後、トリミング領域決定部91が加工用画像Fnでトリミングする領域を決定し(ステップS121)。続いて、トリミング部32は、トリミング領域決定部91によって決定されたトリミング領域にしたがって画像のトリミングを行う(ステップS122)。その後、制御部9は、トリミングされた拡大画像を記憶部6へ記録する(ステップS123)。
After step S118 or S119, the image enlarging unit 33 aligns the face position of the processing image F n with the face position of the maximum processing image I max and enlarges it with the enlargement factor K (n) (step S120). Thereafter, the trimming
図16は、ステップS116のループ処理において、fmax/fmin>Mである場合の拡大画像の生成を模式的に示す図である。図16において、最小加工用画像Iminである加工用画像F1の拡大画像E''1は、拡大率K(1)=α×fmax/f1で拡大されている。その結果、拡大画像E''1における顔の高さはα×fmax(<fmax)となっている。
FIG. 16 is a diagram schematically illustrating generation of an enlarged image when f max / f min > M in the loop processing of step S116. 16, the enlarged image E '' 1 of the processing image F 1 is the minimum processing image I min is enlarged by the enlargement ratio K (1) = α × f max /
図17は、fmax/fmin>Mである場合に生成された拡大画像群を示す図である。図17において、拡大画像E''1、E''i、E''i+1、E''j、E''k、E''k+1、E''Nは、図2に示す撮影画像F1、Fi、Fi+1、Fj、Fk、Fk+1、FNをそれぞれトリミングした後で拡大した画像である。これらの拡大画像は、画面の縦の長さと顔の高さが加工用画像FLほど大きくはないが、表情を識別できる程度に拡大されている。したがって、ユーザは、顔の表情変化を十分に認識することができる。 FIG. 17 is a diagram illustrating an enlarged image group generated when f max / f min > M. In FIG. 17, the enlarged images E ″ 1 , E ″ i , E ″ i + 1 , E ″ j , E ″ k , E ″ k + 1 , E ″ N are shown in FIG. The captured images F 1 , F i , F i + 1 , F j , F k , F k + 1 , and F N are enlarged images after trimming. These enlarged image, the height of the vertical length and the face of the screen is not large enough processing image F L, is enlarged enough to identify facial expressions. Therefore, the user can fully recognize facial expression changes.
ステップS111で加工用画像が所定時間の動画に相当する枚数よりも少ない場合(ステップS111:No)に続けて行うステップS124、S125の処理は、図12のステップS100、S101の処理に順次対応している。 The processing in steps S124 and S125 performed after the processing image is smaller than the number corresponding to the moving image of the predetermined time in step S111 (step S111: No) sequentially corresponds to the processing in steps S100 and S101 in FIG. ing.
以上説明した本発明の実施の形態3によれば、上記実施の形態1と同様、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。 According to the third embodiment of the present invention described above, as in the first embodiment, the user can enjoy various state changes of the subject using a plurality of images taken continuously.
また、本実施の形態3によれば、拡大率が大きすぎて解像度が低くなってしまう恐れがある場合には、拡大率を小さくして解像度を優先させることにより、表情や身体の動きを明確に表示することができる。 Further, according to the third embodiment, when there is a possibility that the enlargement ratio is too large and the resolution is lowered, priority is given to the resolution by reducing the enlargement ratio, thereby clarifying facial expressions and body movements. Can be displayed.
(実施の形態4)
図18は、本発明の実施の形態4に係る撮像装置が行う処理の概要を示すフローチャートである。本実施の形態4においては、顔部分の画像を拡大してトリミングする処理を再生モードを実行する際に行う。本実施の形態4に係る撮像装置は、上記実施の形態1で説明した撮像装置1と同じ構成を有している。
(Embodiment 4)
FIG. 18 is a flowchart showing an outline of processing performed by the imaging apparatus according to
撮像装置1が撮影モードに設定されている場合(ステップS131:Yes)のステップS132〜S136の処理は、図10のステップS52〜S56の処理に順次対応している。撮像装置1は、撮影が終了(ステップS136)した後、ステップS131へ戻る。
When the
次に、撮像装置1が撮影モードに設定されていない場合(ステップS131:No)を説明する。この場合、撮像装置1が再生モードに設定され(ステップS137:Yes)、かつ表情再生モードに設定されている場合(ステップS138:Yes)、制御部9は、再生対象となる撮影画像群に含まれる加工用画像に対し、画像データ記憶部61が記憶する情報をもとに、処理対象の顔に関する顔判定を行う(ステップS139)。ここでいう顔判定とは、処理対象の顔が継続して撮影されている時間の判定、ならびに変化検出部92によって検出された顔の位置および大きさの変化の判定のことを意味する。顔判定の結果、同じ顔が所定時間(例えば2秒)以上継続して撮影されており(ステップS140:Yes)、かつ顔の位置および大きさの変化が大きいとき(ステップS141:Yes)、制御部9は、一連の画像の中で面積が最大の顔画像を含む加工用画像を最大加工用画像Imaxとし(ステップS142)、その最大加工用画像Imaxにおける顔の高さをfmaxとする(ステップS143)。
Next, a case where the
続いて、全ての再生対象の加工用画像Fnに対してループ処理を行う(ステップS144)。ここで行うループ処理(ステップS145〜S149)は、図12のステップS94のループ処理(ステップS95〜S99)と実質的に同じである。 Subsequently, a loop process is performed on all the processing images F n to be reproduced (step S144). The loop processing (steps S145 to S149) performed here is substantially the same as the loop processing (steps S95 to S99) of step S94 in FIG.
ステップS144のループ処理が終了した後、表示制御部94は、表示部4に拡大画像の動画を再生させる(ステップS150)。この動画は、例えば図14に示すような一連の拡大画像群を連続的に表示したものである。
After the loop process in step S144 is completed, the display control unit 94 causes the
その後、操作入力部7によって終了指示が入力された場合(ステップS151:Yes)、撮像装置1は一連の処理を終了する。一方、操作入力部7によって終了指示が入力されない場合(ステップS151:No)、撮像装置1はステップS131に戻る。
Thereafter, when an end instruction is input by the operation input unit 7 (step S151: Yes), the
ステップS137において、再生モードが設定されていない場合(ステップS137:No)、撮像装置1はステップS150へ移行する。
In step S137, when the playback mode is not set (step S137: No), the
ステップS138において、撮像装置1が表情再生モードに設定されていない場合(ステップS138:No)、撮像装置1は通常再生を行い(ステップS153)、ステップS150へ移行する。
In step S138, when the
ステップS140において同じ顔が所定時間以上継続して撮影されていない場合(ステップS140:No)、およびステップS141において顔の位置や大きさの変化が基準よりも大きくない場合(ステップS141:No)、表示制御部94は表示部4に表情再生モードで行われるべき表情を強調した再生ができない旨を示すメッセージを表示させる(ステップS152)。その後、撮像装置1はステップS150へ移行する。
When the same face is not continuously photographed for a predetermined time or longer in step S140 (step S140: No), and when the change in the position or size of the face is not larger than the reference in step S141 (step S141: No), The display control unit 94 causes the
以上説明した本発明の実施の形態4によれば、上記実施の形態1と同様、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。 According to the fourth embodiment of the present invention described above, as in the first embodiment, the user can enjoy various state changes of the subject by using a plurality of images taken continuously.
なお、本実施の形態4において、ステップS144のループ処理に代えて、上記実施の形態3で説明した図15のステップS116のループ処理と同様のループ処理を行うことも可能である。 In the fourth embodiment, instead of the loop process in step S144, a loop process similar to the loop process in step S116 of FIG. 15 described in the third embodiment may be performed.
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した4つの実施の形態によって限定されるべきものではない。例えば、本発明は、連写した静止画像を用いて上記同様の処理を行うことも可能である。 Up to this point, the mode for carrying out the present invention has been described, but the present invention should not be limited by the above-described four embodiments. For example, according to the present invention, it is possible to perform the same processing as described above using still images taken continuously.
また、本発明において、実施の形態4のように画像再生時に画像の拡大およびトリミングを行って補正画像を生成する場合には、少なくとも再生対象の加工用画像が記憶部に記憶されていればよい。したがって、この場合には、図1に示す撮像装置1から撮像部2を除いた構成を有する画像処理装置によって本発明を実現することも可能である。
Further, in the present invention, when a corrected image is generated by enlarging and trimming an image at the time of image reproduction as in the fourth embodiment, at least the processing image to be reproduced may be stored in the storage unit. . Therefore, in this case, the present invention can also be realized by an image processing apparatus having a configuration in which the imaging unit 2 is removed from the
1 撮像装置
2 撮像部
3 画像処理部
4 表示部
5 仮記憶部
6 記憶部
7 操作入力部
8 時計
9 制御部
31 顔検出部
32 トリミング部
33 画像拡大部
34 画像合成部
35 圧縮伸張部
61 画像データ記憶部
62 顔情報記憶部
63 プログラム記憶部
91 トリミング領域決定部
92 変化検出部
93 領域抽出部
94 表示制御部
m 強調用アイコン
DESCRIPTION OF
Claims (12)
前記記憶部が記憶する前記連続画像群を撮影順に連続して表示可能な表示部と、
前記記憶部が記憶する前記複数の画像にそれぞれ含まれる同一の顔を検出する顔検出部と、
前記顔検出部が検出した同一の顔の各画像における位置および大きさが揃うように各画像を補正する画像補正手段と、
前記画像補正手段が補正した各画像の補正画像からなる補正画像群および前記連続画像群のいずれか一方の画像群を前記表示部に表示させる制御を行う表示制御部と、
を備え、
前記画像補正手段は、
前記同一の顔の所定方向の長さの最大値を各画像における前記長さで除した商で与えられる拡大率によって各画像を拡大する画像拡大部と、
前記画像拡大部が拡大した画像におけるトリミング領域を決定するトリミング領域決定部と、
前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うことによって前記補正画像を生成するトリミング部と、
を有し、
前記画像拡大部は、
前記同一の顔の所定方向の長さの最大値を該長さの最小値で除した商が基準拡大率より大きい場合、前記拡大率に1より小さい定数を乗じた積を真の拡大率として各画像を拡大することを特徴とする画像処理装置。 A storage unit that stores information related to each of the plurality of images and a continuous image group composed of a plurality of images photographed continuously;
A display unit capable of continuously displaying the continuous image group stored in the storage unit in a shooting order;
A face detection unit for detecting the same face included in each of the plurality of images stored in the storage unit;
Image correcting means for correcting each image so that the position and size in each image of the same face detected by the face detection unit are aligned;
A display control unit that performs control for causing the display unit to display one of the corrected image group including the corrected image of each image corrected by the image correcting unit and the continuous image group;
Equipped with a,
The image correcting means includes
An image enlargement unit for enlarging each image by an enlargement ratio given by a quotient obtained by dividing the maximum value of the length of the same face in a predetermined direction by the length in each image;
A trimming region determination unit for determining a trimming region in the image enlarged by the image enlargement unit;
A trimming unit that generates the corrected image by trimming each image according to the trimming region determined by the trimming region determination unit;
Have
The image enlargement unit
When the quotient obtained by dividing the maximum value of the length of the same face in the predetermined direction by the minimum value of the length is larger than the standard enlargement factor, a product obtained by multiplying the enlargement factor by a constant smaller than 1 is set as the true enlargement factor. An image processing apparatus that enlarges each image .
前記複数の画像から比較基準画像を定め、該比較基準画像と比較して前記同一の顔の大きさおよび位置が変化した画像に対して画像の補正を行うことを特徴とする請求項1に記載の画像処理装置。 The image correcting means includes
The comparison reference image is determined from the plurality of images, and the image is corrected with respect to an image in which the size and position of the same face are changed as compared with the comparison reference image. Image processing apparatus.
前記記憶部が記憶する前記連続画像群を撮影順に連続して表示可能な表示部と、
前記記憶部が記憶する前記複数の画像にそれぞれ含まれる同一の顔を検出する顔検出部と、
前記顔検出部が検出した同一の顔の各画像における位置および大きさが揃うように各画像を補正する画像補正手段と、
前記画像補正手段が補正した各画像の補正画像からなる補正画像群および前記連続画像群のいずれか一方の画像群を前記表示部に表示させる制御を行う表示制御部と、
前記補正画像を縮小し、この縮小した前記補正画像を、補正前の画像の一部の領域に配置することによって合成画像を生成する画像合成部と、
を備え、
前記画像補正手段は、
前記複数の画像の全てに共通した領域であって前記同一の顔が含まれない領域を抽出する領域抽出部を有し、
前記画像合成部は、
各画像の前記領域抽出部が抽出した領域に、各画像と対応する前記補正画像を配置し、 前記画像補正手段は、
前記複数の画像のうち撮影時刻が隣接する二つの画像間における前記同一の顔の表情の変化を該同一の顔の特徴点の変位量に基いて検出する変化検出部を有し、
前記画像合成部は、
前記変化検出部が検出した前記同一の顔の表情の変化が基準より大きい場合、表情の変化が大きいことを示す画像を、前記二つの画像のうち後で撮影された画像に合成することを特徴とする画像処理装置。 A storage unit that stores information related to each of the plurality of images and a continuous image group composed of a plurality of images photographed continuously;
A display unit capable of continuously displaying the continuous image group stored in the storage unit in a shooting order;
A face detection unit for detecting the same face included in each of the plurality of images stored in the storage unit;
Image correcting means for correcting each image so that the position and size in each image of the same face detected by the face detection unit are aligned;
A display control unit that performs control for causing the display unit to display one of the corrected image group including the corrected image of each image corrected by the image correcting unit and the continuous image group;
An image composition unit that reduces the correction image and generates a composite image by placing the reduced correction image in a partial region of the image before correction;
With
The image correcting means includes
A region extraction unit that extracts a region that is common to all of the plurality of images and does not include the same face;
The image composition unit
The correction image corresponding to each image is arranged in a region extracted by the region extraction unit of each image, and the image correction unit includes:
A change detecting unit that detects a change in facial expression of the same face between two images of which the shooting times are adjacent among the plurality of images based on a displacement amount of the feature point of the same face;
The image composition unit
When the change in facial expression of the same face detected by the change detection unit is larger than a reference, an image indicating that the change in facial expression is large is combined with an image captured later of the two images. images it is processing device according to.
前記複数の画像から比較基準画像を定め、該比較基準画像と比較して前記同一の顔の大きさおよび位置が変化した画像に対して画像の補正を行うことを特徴とする請求項4に記載の画像処理装置。5. The comparison reference image is determined from the plurality of images, and the image is corrected with respect to an image in which the same face has changed in size and position as compared with the comparison reference image. Image processing apparatus.
前記複数の画像の各々におけるトリミング領域を決定するトリミング領域決定部と、
前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うトリミング部と、
前記トリミング部がトリミングした画像を前記複数の画像と同じサイズに拡大することによって前記補正画像を生成する画像拡大部と、
を有することを特徴とする請求項4または5に記載の画像処理装置。 The image correcting means includes
A trimming area determining unit that determines a trimming area in each of the plurality of images;
A trimming unit that trims each image according to the trimming region determined by the trimming region determination unit;
An image enlarging unit that generates the corrected image by enlarging the image trimmed by the trimming unit to the same size as the plurality of images;
The image processing apparatus according to claim 4, further comprising:
前記同一の顔の所定方向の長さの最大値を各画像における前記長さで除した商で与えられる拡大率によって各画像を拡大する画像拡大部と、
前記画像拡大部が拡大した画像におけるトリミング領域を決定するトリミング領域決定部と、
前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うことによって前記補正画像を生成するトリミング部と、
を有することを特徴とする請求項4または5に記載の画像処理装置。 The image correcting means includes
An image enlargement unit for enlarging each image by an enlargement ratio given by a quotient obtained by dividing the maximum value of the length of the same face in a predetermined direction by the length in each image;
A trimming region determination unit for determining a trimming region in the image enlarged by the image enlargement unit;
A trimming unit that generates the corrected image by trimming each image according to the trimming region determined by the trimming region determination unit;
The image processing apparatus according to claim 4, further comprising:
前記同一の顔の所定方向の長さの最大値を該長さの最小値で除した商が基準拡大率より大きい場合、前記拡大率に1より小さい定数を乗じた積を真の拡大率として各画像を拡大することを特徴とする請求項7に記載の画像処理装置。 The image enlargement unit
When the quotient obtained by dividing the maximum value of the length of the same face in the predetermined direction by the minimum value of the length is larger than the standard enlargement factor, a product obtained by multiplying the enlargement factor by a constant smaller than 1 is set as the true enlargement factor. The image processing apparatus according to claim 7 , wherein each image is enlarged.
前記補正画像群および前記連続画像群に前記画像合成部が合成した各画像の合成画像からなる合成画像群を加えた三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする請求項4〜9のいずれか一項に記載の画像処理装置。 The display control unit
Control that causes the display unit to display any one image group among three image groups obtained by adding a composite image group composed of composite images of the images synthesized by the image composition unit to the corrected image group and the continuous image group. The image processing apparatus according to claim 4, wherein:
前記記憶部は、
前記撮像部が連続的に撮影した複数の撮影画像を記憶し、
前記表示制御部は、
前記撮像部が前記複数の撮影画像の撮影を終了した後、前記三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする請求項10に記載の画像処理装置。 An imaging unit that collects light from a predetermined area and images a subject in the area and generates electronic data of the captured image,
The storage unit
Storing a plurality of captured images continuously captured by the imaging unit;
The display control unit
11. The control according to claim 10, wherein after the imaging unit finishes capturing the plurality of captured images, control is performed to display any one of the three image groups on the display unit. Image processing device.
前記記憶部は、
前記撮像部が連続的に撮影した複数の撮影画像を記憶し、
前記表示制御部は、
前記撮像部が前記複数の撮影画像の撮影を行っている最中に、前記表示部に対し、最新の撮影画像に対応する前記補正画像または前記合成画像を順次表示させる制御を行うことを特徴とする請求項4〜11のいずれか一項に記載の画像処理装置。 An imaging unit that collects light from a predetermined area and images a subject in the area and generates electronic data of the captured image,
The storage unit
Storing a plurality of captured images continuously captured by the imaging unit;
The display control unit
While the imaging unit is capturing the plurality of captured images, the display unit is controlled to sequentially display the correction image or the composite image corresponding to the latest captured image. The image processing apparatus according to any one of claims 4 to 11 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009260299A JP5424827B2 (en) | 2009-11-13 | 2009-11-13 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009260299A JP5424827B2 (en) | 2009-11-13 | 2009-11-13 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011109271A JP2011109271A (en) | 2011-06-02 |
JP5424827B2 true JP5424827B2 (en) | 2014-02-26 |
Family
ID=44232309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009260299A Expired - Fee Related JP5424827B2 (en) | 2009-11-13 | 2009-11-13 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5424827B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5820635B2 (en) * | 2011-06-27 | 2015-11-24 | オリンパス株式会社 | Imaging device and external device communicating with the imaging device, camera system including imaging device and external device, imaging control method and imaging control program for imaging device, imaging control method and imaging control program for external device |
JP6454910B2 (en) * | 2015-01-30 | 2019-01-23 | 株式会社サラヴィオ化粧品 | Time-lapse continuous image creation system, cloud server, operator terminal and program used therefor, and time-lapse continuous image creation method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4701791B2 (en) * | 2005-03-30 | 2011-06-15 | カシオ計算機株式会社 | Image processing apparatus and program |
JP5111088B2 (en) * | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | Imaging apparatus and image reproduction apparatus |
JP4986886B2 (en) * | 2008-03-03 | 2012-07-25 | オリンパスイメージング株式会社 | Imaging apparatus, image reproducing apparatus, imaging control method, and image reproducing method |
-
2009
- 2009-11-13 JP JP2009260299A patent/JP5424827B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011109271A (en) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101624648B1 (en) | Digital image signal processing method, medium for recording the method, digital image signal pocessing apparatus | |
JP2010166545A (en) | Image pickup device, flash image generating method, and program | |
JP4637045B2 (en) | Imaging device | |
JP6460721B2 (en) | Image processing apparatus, image processing method, and program | |
JP2007259423A (en) | Electronic camera | |
TW201031189A (en) | Photographing apparatus, photographing method and computer readable storage medium storing program therein | |
JP2008187412A (en) | Electronic camera | |
JP5289993B2 (en) | TRACKING DEVICE AND TRACKING METHOD | |
JP2014183511A (en) | Imaging apparatus, video content generating method, and program | |
JP2015053741A (en) | Image reproduction device | |
JP6261397B2 (en) | Imaging apparatus and control method thereof | |
JP2008109305A (en) | Image processing device, and control method of image processing device | |
JP5424827B2 (en) | Image processing device | |
JP2012060468A (en) | Imaging apparatus, image generating apparatus, image generating program and image generating method | |
JP2019057794A (en) | Imaging apparatus, control method of the same, program, and recording medium | |
JP2017212550A (en) | Image reproducer, control method thereof, program, and storage medium | |
JP4934617B2 (en) | Imaging apparatus and imaging method | |
JP5800541B2 (en) | Image processing apparatus, image processing method, and program | |
JP2015041865A (en) | Image processing apparatus and image processing method | |
JP6223173B2 (en) | Image processing apparatus, control method thereof, and program | |
JP2011119934A (en) | Image shooting device and image shooting method | |
JP2002044510A (en) | Electronic camera | |
JP2020046475A (en) | Image processing device and control method therefor | |
JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof | |
JP2009021893A (en) | Imaging device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5424827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |