JP5814566B2 - 撮像装置、撮像方法及び撮像装置の制御プログラム - Google Patents
撮像装置、撮像方法及び撮像装置の制御プログラム Download PDFInfo
- Publication number
- JP5814566B2 JP5814566B2 JP2011042871A JP2011042871A JP5814566B2 JP 5814566 B2 JP5814566 B2 JP 5814566B2 JP 2011042871 A JP2011042871 A JP 2011042871A JP 2011042871 A JP2011042871 A JP 2011042871A JP 5814566 B2 JP5814566 B2 JP 5814566B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- imaging
- main subject
- captured image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Description
本発明の主要な局面に係る撮像装置は、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して第2の撮像画像データを取得する第2の撮像部と、前記第1の撮像画像データから前記第1の主要被写体を検出し、前記第2の撮像画像データから前記第2の主要被写体を検出する主要被写体検出部と、前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定する合成判定部と、前記合成判定部の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成する画像処理制御部とを具備し、前記第2の撮像部は、前記第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む前記第2の撮像画像データを取得する。
本発明の主要な局面に係る撮像方法は、第1の撮像部の撮像により取得された第1の撮像画像データから第1の主要被写体を検出し、前記第1の撮像部とは異なる位置に設けられた第2の撮像部の撮像により取得された第2の撮像画像データから第2の主要被写体を検出し、前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定し、前記合成適合性の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成し、前記第1と前記第2の主要被写体との撮像を行う装置本体の姿勢を姿勢センサにより検出し、前記合成適合性の判定では、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する。
本発明の主要な局面に係る撮像方法は、第1の撮像部の撮像により取得された第1の撮像画像データから第1の主要被写体を検出し、前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部の撮像により取得された前記第2の撮像画像データから前記第2の主要被写体を検出し、前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定し、前記合成適合性の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成する。
本発明の主要な局面に係る撮像装置の制御プログラムは、コンピュータに、第1の主要被写体を第1の撮像部により撮像させて第1の撮像画像データを取得させる第1の撮像機能と、前記第1の撮像部とは異なる位置に設けられた第2の撮像部により第2の主要被写体を撮像させて第2の撮像画像データを取得させる第2の撮像機能と、前記第1の撮像画像データから前記第1の主要被写体を検出させ、前記第2の撮像画像データから前記第2の主要被写体を検出させる主要被写体検出機能と、前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定させる合成判定機能と、前記合成判定機能の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成させる画像処理制御機能とを有し、前記合成判定機能は、姿勢センサにより検出された、前記第1と前記第2の主要被写体との撮像を行う装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定させることを実現させる。
本発明の主要な局面に係る撮像装置の制御プログラムは、コンピュータに、第1の主要被写体を第1の撮像部により撮像させて第1の撮像画像データを取得させる第1の撮像機能と、前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部により第2の主要被写体を撮像させて第2の撮像画像データを取得させる第2の撮像機能と、前記第1の撮像画像データから前記第1の主要被写体を検出させ、前記第2の撮像画像データから前記第2の主要被写体を検出させる主要被写体検出機能と、前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定させる合成判定機能と、前記合成判定機能の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成させる画像処理制御機能とを実現させる。
図1は撮像装置(カメラ)のブロック構成図を示し、図2(a)(b)は本装置の外観図を示し、このうち図2(a)は正面外観図を示し、同図(b)は背面外観図を示す。
装置本体(カメラ本体)1には、マイクロコンピュータを搭載する画像処理制御部2が設けられている。この画像処理制御部2は、予め記憶されているカメラ制御プログラムを実行することにより、写真撮影を行うときのシャッタ動作や露光処理、絞り調整、画像処理等の一連の動作制御を行って撮像画像データを取得するための撮像制御、記録された撮像画像データの再生動作の制御等を行う。この画像処理制御部2には、第1の撮像部としての主撮像部3と、第2の撮像部としての背面撮像部4と、操作部5と、記録部6と、表示部7と、タッチパネル8と、姿勢センサとしての加速度センサ9と、時計部10とが接続されている。
カメラ本体1の正面には、図2(a)に示すように撮像部(以下、主撮像部と称する)3のレンズ光学系3aが設けられ、かつカメラ本体1の上部には、操作部5としてのレリーズボタン5aが設けられている。
カメラ本体1の背面には、図2(b)に示すように表示部7と、背面撮像部4とが設けられている。
主撮像部3は、人物等の第1の主要被写体を含む被写体からの光像を撮像して第1の画像信号を出力する。この主撮像部3は、例えば撮影を行うユーザの家族等を撮像する。この主撮像部3は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
背面撮像部4は、例えば自分撮りに使用するもので、ユーザ等の人物等の第2の主要被写体を含む被写体からの光像を撮像して第2の画像信号を出力する。この背面撮像部4は、例えば撮影を行うユーザ自身を撮像する自分撮りに用いられる。この背面撮像部4は、3次元(3D)用の一対の撮像部、すなわち左右(LR)の各撮像部4a、4bを有する。これら撮像部4a、4bは、視差を持つ左右(LR)の2つの視差画像データを取得するための2つの第2の画像信号を出力する。
この加速度センサ9は、重力加速度に応じた信号も出力するので、カメラ本体の傾きなど姿勢を判定することも可能である。
上記画像処理制御部2は、主撮像部3から出力される第1の画像信号を画像処理して第1の撮像画像データを取得し、背面撮像部4から出力される互いに視差を有する第2の画像信号を画像処理して2つの視差画像データを取得し、このうち2つの視差画像データを画像処理して第2の主要被写体の画像データを切り出し、第1の撮像画像データと切り出された第2の主要被写体の画像データとを合成して合成画像データを作成する。この画像処理制御部2は、仮記録部21と、顔検出部22と、人物像切出し部23と、合成判定部24と、合成部25とを有する。
仮記録部21は、主撮像部3の撮像によって取得された第1の撮像画像データや、背面撮像部4の撮像によって取得された2つの視差画像データを一時的に記録する。
人物像切出し部23は、2つの視差画像データから第2の主要被写体の画像データを切り出す。
ここで、人物像切出し部23によるユーザ自身の顔部の画像データの切り出しについて説明する。
図3はユーザHの自分撮りの様子を示す。ユーザHは、例えば右手でカメラ本体1を持って自分撮りしている。カメラ本体1は、背面撮像部4である左右(LR)の各撮像部4a、4bの各画角4a−g、4b−gを示す。
図5に示す2つの撮像画像データK1、K2は、それぞれ視差画像データであり、間隔X1だけずれた各撮影レンズ30、31の各場所から例えば撮影を行うユーザHの画像を示している。これら撮像画像データK1、K2は、各撮影レンズ30、31の間隔X1に対応する視差を持つ。ユーザHと背景Bの距離とに差がある場合、三角測量の原理に従ってユーザHと背景Bとの各像がそれぞれ各撮影レンズ30、31を通して各撮像素子32、33に入射する相対位置が異なる。すなわち、一方の撮像素子32上においてユーザHと背景Bの各入射位置の差がX11であり、他方の撮像素子33上においてユーザHと背景Bの各入射位置の差がX12であり、これらX11、X12が撮影レンズ30、31の間隔X1に対応する視差となる。これらX11、X12は、互いに異なり、X11≠X12の関係となる。
合成判定部24は、第1の撮像画像データを取得するときの合成条件として例えばユーザHの家族を含む第1の撮像画像データの構図に基づき、当該第1の撮像画像データに対して人物像切出し部23により切り出されたユーザHの顔部の画像データLを合成可能か否かを判定する。
図6は合成画像データを作成するための撮像状況の一例を示す。ここでは利用シーンをわかり易くするために、ユーザHは、母親Mとその子Cとで家族を構成する父親Fである。以下、ユーザHは、父親FであるとしてユーザFとして称する。ユーザFは、カメラ本体1を持ち、主撮像部3を母親M及び子Cに向けて第1の撮像画像データを取得し、これと同時に背面撮像部4としての左右(LR)の各撮像部4a、4bをユーザF自身に向けて2つの視差画像データ、例えば図5に示す2つの撮像画像データK1、K2を取得する。このときの撮影状況は、太陽から強い照度の太陽光の照射を受け、図面上のユーザF、母親M及び子Cの顔部の斜め右下部にそれぞれ影部30h、30m、30cが作られている。
従って、合成判定部24は、例えば図7に示す合成画像データG1中において、母親M及び子Cの各影部30m、30cの位置と、ユーザFの影部30hの位置とを検出し、これら各影部30m、30c、30hの各位置を母親M、子C及びユーザFの各顔部の位置と対比し、各影部30m、30c、30hの各位置が反転していないか否かを判定し、反転していれば、合成が不適当であると判定する。なお、合成判定部24は、輝度レベルが周囲よりも所定の輝度レベル以下に低下している部分を各影部30m、30c、30hとして検出する。又、母親M、子C及びユーザFの各顔部の位置は、それぞれ顔検出部22によって検出される。また、影の傾きも、顔の左右の明るさ分布を比較することで判定可能である。
一方、第1の撮像画像データが図9に示すように母親M及び子Cが全身像を撮像した取得したものであると、その合成画像データG2は、全身像の母親M及び子Cと顔部だけのユーザFとで主要被写体としてバランスが極端に悪いと感じる画像となるおそれがある。
従って、合成判定部24は、例えば図9に示す合成画像データG2中において、母親M及び子Cの顔部の各位置と、ユーザFの顔部の位置とを検出し、これら顔部の各位置が水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。なお、水平方向は、加速度センサ9によるカメラ本体1の姿勢の検出結果から得られる。
従って、合成判定部24は、例えば図10に示す第1の撮像画像データS1中において、母親M及び子Cの画像データの占める割合を算出してユーザFの顔部の画像データを合成するためのスペースの領域を算出し、これらスペースの領域とユーザFの顔部の画像データの占める領域とを対比して、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。
図11に示すように主撮像部3の撮像により取得される例えば母親M及び子Cの第1の撮像画像データS2は、背面撮像部4の撮像によって取得されるユーザFの顔部の画像データと同様に、母親M及び子Cの各上半身を撮影して取得したものであることが好ましい。母親M及び子Cの各上半身は、それぞれの顔部の高さの3倍程度である。
従って、図12に示すように母親Mの顔部の中心部から画像データの下端までの距離をYfとし、母親Mの顔部の高さをDfとすると、上記距離Yfは、
Yf≦2.5Df …(1)
程度まで許可するものとする。
Hk≒2×Df …(2)
以上の幅スペースが必要である。この必要な条件を満たすためには、
Xf>3×Df …(3)
の条件が必要である。なお、Xfは、画像データの例えば左端と母親Mの顔部の中心部との間の距離である。
合成判定部24は、顔検出部22によって検出された母親Mの顔部の中心部の位置を受け取り、母親Mの顔部の中心部と当該同第1の撮像画像データS2の左端との距離Xfを求めると共に、母親Mの顔部の高さ(長さ)Dfを求める。この合成判定部24は、上記式(3)の条件満たすか否かを判定し、条件満たせば、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するものと判定する。
Df1=1.1×Df
Xf1=1.1×Df1
Yf1=1.1×Yf
とすれば、確実にユーザFの右手Frの不自然さを解消できる。この場合、母親M、子Cの画像は、肩部から顔部を写したものであるものとする。
Df1=1.1×Df
Xf1=1.1×Df1
Yf1=1.1×Yf
の関係となるように図14に示す合成画像データG5を画像処理する。
なお、図15に示す合成画像データG6において、画像データの例えば下端とユーザFの顔部の中心部との距離YfとユーザFの顔部の高さ(長さ)Df1とが等しければ(Yf=Df1)、ユーザFの右手Frが画像の構図から外れ、ユーザFの右手Frの不自然さが解消される。
図17は撮影時のカメラ本体1の最適な傾き状態を示す。カメラ本体1の撮影光軸Qは、ユーザFと母親M、子Cとに対して直線上に配置され、ユーザFと母親M、子Cとがカメラ本体1を介して対面するように配置されるのがよい。最良にの撮影状況は、カメラ本体1が傾かず、ユーザFと母親M、子Cとが略同一高さ位置で、かつカメラ本体1の撮影光軸Qが水平に配置されるのがよい。カメラ本体1の撮影光軸Qが水平に配置されるのは、画像処理制御部2によって加速度センサ9から出力される方位信号からカメラ本体1の傾きを求めることにより判定可能である。
従って、合成判定部24は、主撮像部3の撮像により取得された子Cの顔部の撮像画像データと、背面撮像部4の撮像により取得されたユーザFの胸部の画像データとの相違を検出することにより合成が不適当であることを判定する。
従って、画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の傾きθを求め、カメラ本体1の傾きθがあれば、合成が不適当であることを判定する。
画像処理制御部2は、顔検出部22により検出された母親M、子Cの位置に基づいて人物像切出し切出部23により切り出されたユーザFの顔部の画像データを合成可能か否かを判定する。
画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の姿勢、例えばカメラ本体1の傾きθを求め、このカメラ本体1の傾きθに基づいて母親M、子CとユーザFとが同一高さ位置で撮像されているか否かを判定する。
画像処理制御部2は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを拡大、縮小して第1の撮像画像データに合成する。
画像処理制御部2は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを第1の撮像画像データ中にスライド移動可能である。
ユーザによる操作部5の操作によりカメラ本体1の動作モードが設定される。画像処理制御部2は、ステップS101において、操作部5に対するユーザ操作の各種ボタンを読み取り、動作モードが撮影モードか否かを判定する。この判定の結果、撮影モードであれば、画像処理制御部2は、ステップS102において、カメラ本体1の背面に設けられている背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データ中に例えばユーザFの顔部の画像があるか否かを判定する。
画像処理制御部2は、ステップS104において、ユーザの操作部5に対する操作により撮影開始指示がなされたか否かを判定する。この判定の結果、撮影開始指示がなされると、画像処理制御部2は、ステップS105において、例えば静止画の撮影の場合、撮像部2を動作させることで静止画像データを取得する静止画撮影を実行する。動画撮影の場合、画像処理制御部2は、同ステップS105において、主撮像部3を連続動作させて動画像データを取得する動画撮影を実行する。
静止画撮影又は動画撮影の終了後、画像処理制御部2は、ステップS106において、静止画又は動画の画像ファイルを作成し、作成した画像ファイルを記録部6に記録する。画像ファイルの作成後、画像処理制御部2は、静止画又は動画のデータを表示部7に表示する。
ユーザのタッチにより静止画及び動画のファイルの選択がなければ、画像処理制御部2は、ステップS115において、再生モードを終了し、次のステップS108において、電源オフの指示がなされたか否かを判定する。電源オフの指示がなければ、画像処理制御部2は、ステップS109において、再度、撮影モード又は再生モードの変更操作の受付を行い、ステップS101に戻る。
この判定の結果、上記2つの視差画像データ中に例えばユーザFの顔部の画像が存在し、かつカメラ本体1の傾きθが水平であり、例えば上記図17に示すように撮影時のカメラ本体1が最適な傾き状態、すなわちカメラ本体1が傾かず、ユーザFと母親M、子Cとが略同一高さ位置で、かつカメラ本体1の撮影光軸Qが水平に配置されていると、画像処理制御部2は、ステップS122において、カメラ本体1の前方、すなわち主撮像部3の撮像により取得される第1の撮像画像データ、例えば図11に示す第1の撮像画像データS2中に人物が存在するか否かを判定する。ここでは母親M、子Cが存在すると判定する。
なお、カメラ本体1に傾きが水平でなければ、画像処理制御部2は、ステップS127に移り、カメラ本体1に傾きが水平でない旨の警告を例えば表示部7に表示したり、当該警告を音声により発する。
この判定の結果、上記式(1)を満たせば、画像処理制御部2は、ステップS125において、図11に示す第1の撮像画像データS2中において左端に存在する人物、ここでは母親Mの顔部の位置を判定する。母親Mの顔部の位置は、上記顔検出部22により検出済みである。
この判定の結果、上記式(3)を満たせば、画像処理制御部2は、ステップS131において、人物像切出し部23に対してユーザFの顔部の画像データの切り出しを指令する。この人物像切出し部23は、背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データからユーザFの顔部の画像データを切り出す。画像合成部25は、人物像切出し部23により切り出されたユーザHの顔部の画像データを主撮像部3の撮像により取得された第1の撮像画像データに合成する。
画像処理制御部2は、切り出したユーザFの顔部の画像データから当該ユーザFの顔部の高さ(長さ)Df1を母親Mの顔部の高さ(長さ)をDfの1.1倍、すなわち、
Df1=1.1×Df
に合わせる。
画像処理制御部2は、ステップS133において、図12又は図13に示す合成画像データG3を画像処理し、スルー画像として表示部7に表示する。
画像処理制御部2は、ステップS134において、例えば図22に示す合成画像データG7中において、ユーザFの画像をスライド移動するか否かを判定する。
画像処理制御部2は、ステップS201において、タッチパネル8からのタッチ位置信号から表示部7の画像上でタッチされた位置を求め、このタッチ位置がユーザFの顔部の画像上に対応するか否かを判定する。
この判定の結果、当該Xf>3×Dfの条件を満たせば、画像処理制御部2は、ステップS202において、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成し、ステップS104に移る。
背面撮像部4は、3Dのカメラ用に2つの撮像素子32、33等を有するものでなく、1つの撮像素子を備えるものでも良い。1つの撮像素子を備えるカメラ本体1であれば、後述するように異なるタイミングで互いに視差を持つ2つの視差画像データを取得するようにすればよい。
第1に、合成判定部24は、例えば図7に示す合成画像データG1中において、母親M及び子Cの各影部30m、30cの位置と、ユーザFの影部30hの位置とを対比し、各影部30m、30c、30hの各位置が反転していれば、合成が不適当であると判定する。
第2に、合成判定部24は、例えば図9に示す合成画像データG2中において、母親M及び子Cの顔部の各位置と、ユーザFの顔部の位置とが水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。
第3に、合成判定部24は、例えば図10に示す第1の撮像画像データS1中において、例えばユーザFの顔部の画像データを合成するためのスペースの領域とユーザFの顔部の領域とを対比して、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。
合成判定部24は、母親Mの顔部の中心部と当該同第1の撮像画像データS2の左端との距離Xfを求め、かつ母親Mの顔部の高さ(長さ)Dfを求め、上記式(3)の条件(Xf>3×Df)満たせば、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するものと判定し、ユーザFの顔部の画像データを合成することができる。
ユーザFのカメラ本体1を持つ例えば不自然な右手Frは、右手Frを隠すように画像処理することにより、ユーザFの右手Frの不自然さを解消できる。この場合、ユーザFの顔部の高さDf1と、母親Mの顔部の高さ(長さ)Dfと、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1、ユーザFの顔部の高さ(長さ)Df1と、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと、画像データの例えば下端と母親Mの顔部の中心部との距離Yf1との関係を、Df1=1.1×Df、Xf1=1.1×Df1、Yf1=1.1×Yfとすることにより、確実にユーザFの右手Frの不自然さを解消できる。
図25は撮像装置(カメラ)のブロック構成図を示し、図26(a)(b)は本装置の外観図を示し、このうち同図(a)は正面外観図を示し、同図(b)は背面外観図を示す。なお、図1及び図2(a)(b)と同一部分には同一符号を付してその詳しい説明は省略する。
背面撮像部30は、2次元用のカメラであり、主撮像部3と同様に、人物等の第2の主要被写体を含む被写体からの光像を撮像して第2の画像信号を出力する。この背面撮像部30は、例えば撮影を行うユーザF自身を撮像する。この背面撮像部30は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
ガイダンス操作ボタン32は、主撮像部3の撮像により取得された第1の撮像画像データと背面主撮像部30の撮像により取得された第2の撮像画像データとを合成するときの操作方法のガイダンスを例えば表示器6に表示するためのユーザの操作用のボタンである。この操作方法のガイダンスでは、背面撮像部30により撮像を行うときに、例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示器6に表示する。このガイダンス「カメラ本体を横にずらして再度撮影してください」は、スピーカ等の鳴動機により音声により報知してもよい。移動は、加速度センサや地磁気センサで判定すれば良い。
画像処理制御部2は、操作部5に対するユーザ操作の各種ボタンを読み取り、画像合成モードに設定されていると、主撮像部3と背面撮像部30とで同時に撮像を行う。これら主撮像部3と背面撮像部30とは、図27に示すように例えばタイミングT1時にレリーズボタンが押し操作されると、このときに同時に撮像を行う。主撮像部3は例えばユーザFの家族である母親M、子Cを撮像し、これと同時に、背面撮像部30は、例えばユーザFの顔部を撮像する。
背面撮像部30により各タイミングT1、T2の撮像により取得される各第2の撮像画像データも、各タイミングT1、T2での背面撮像部30の各撮像位置の間隔に対応する視差を有する。
従って、母親M、子Cの画像データとユーザFの顔部の画像データとは、それぞれを切り出されるので、それぞれ例えば第1の撮像画像データJ1と分離可能で、当該第1の撮像画像データJ1上で移動可能である。
このとき、画像処理制御部2は、ユーザFの画像データを合成するための幅スペースを有するか否かを判定するために、上記式(3)に示すXf>3×Dfの条件を満たすか否かを判定する。この判定の結果、当該Xf>3×Dfの条件を満たせば、画像処理制御部2は、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成する。
又、ユーザFの顔部の画像データ、母親M、子Cの画像データを切り出すことができるので、例えばユーザFの腕部の画像データを母親M、子Cの画像データの背後に隠す合成や、後ろに並んだように重ねた合成ができる。
以上説明したものは、第2画像から背景を除去したものの合成になっていたが、背景から分離された人物を加工して、痩身させたりメイクしたり、アバター化して合成してもよい。
Claims (10)
- 第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、
前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して第2の撮像画像データを取得する第2の撮像部と、
前記第1の撮像画像データから前記第1の主要被写体を検出し、前記第2の撮像画像データから前記第2の主要被写体を検出する主要被写体検出部と、
前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定する合成判定部と、
前記合成判定部の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成する画像処理制御部と、
装置本体の姿勢を検出する姿勢センサと、
を具備し、
前記合成判定部は、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する、
することを特徴とする撮像装置。 - 第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、
前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して第2の撮像画像データを取得する第2の撮像部と、
前記第1の撮像画像データから前記第1の主要被写体を検出し、前記第2の撮像画像データから前記第2の主要被写体を検出する主要被写体検出部と、
前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定する合成判定部と、
前記合成判定部の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成する画像処理制御部と、
を具備し、
前記第2の撮像部は、前記第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む前記第2の撮像画像データを取得する、
することを特徴とする撮像装置。 - 前記第2の撮像部の撮像により取得された前記第2の撮像画像データから前記第2の主要被写体の画像データを切り出す切出部を有し、
前記画像処理制御部は、前記合成判定部の判定結果に従って前記第1の撮像画像データと前記切出部により切り出された前記第2の主要被写体の画像データとを合成して前記合成画像データを作成する、
ことを特徴とする請求項1又は2記載の撮像装置。 - 前記主要被写体検出部は、前記第1と前記第2の主要被写体として顔部を検出し、
前記合成判定部は、前記合成条件として前記主要被写体検出部により検出された前記顔部の影部の位置、前記顔部の合成スペースの有無、複数の前記顔部の各位置が同一高さであるか否か、のうち少なくとも1つを判定する、
ことを特徴とする請求項1又は2記載の撮像装置。 - 前記画像処理制御部は、前記第1の撮像画像データに対する前記切出部により切り出された前記第2の主要被写体の画像データの合成が不可能であれば、当該不可能な旨を報知することを特徴とする請求項3記載の撮像装置。
- 前記合成判定部は、前記切出部により切り出された前記第2の主要被写体の画像データを拡大又は縮小して前記第1の撮像画像データに合成することを特徴とする請求項3記載の撮像装置。
- 第1の撮像部の撮像により取得された第1の撮像画像データから第1の主要被写体を検出し、前記第1の撮像部とは異なる位置に設けられた第2の撮像部の撮像により取得された第2の撮像画像データから第2の主要被写体を検出し、
前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定し、
前記合成適合性の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成し、
前記第1と前記第2の主要被写体との撮像を行う装置本体の姿勢を姿勢センサにより検出し、
前記合成適合性の判定では、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する、
ことを特徴とする撮像方法。 - 第1の撮像部の撮像により取得された第1の撮像画像データから第1の主要被写体を検出し、
前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部の撮像により取得された前記第2の撮像画像データから前記第2の主要被写体を検出し、
前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定し、
前記合成適合性の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成する、
ことを特徴とする撮像方法。 - コンピュータに、
第1の主要被写体を第1の撮像部により撮像させて第1の撮像画像データを取得させる第1の撮像機能と、
前記第1の撮像部とは異なる位置に設けられた第2の撮像部により第2の主要被写体を撮像させて第2の撮像画像データを取得させる第2の撮像機能と、
前記第1の撮像画像データから前記第1の主要被写体を検出させ、前記第2の撮像画像データから前記第2の主要被写体を検出させる主要被写体検出機能と、
前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定させる合成判定機能と、
前記合成判定機能の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成させる画像処理制御機能と、
を有し、
前記合成判定機能は、姿勢センサにより検出された、前記第1と前記第2の主要被写体との撮像を行う装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定させる、
を実現させる撮像装置の制御プログラム。 - コンピュータに、
第1の主要被写体を第1の撮像部により撮像させて第1の撮像画像データを取得させる第1の撮像機能と、
前記第1の撮像部とは異なる位置に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部により第2の主要被写体を撮像させて第2の撮像画像データを取得させる第2の撮像機能と、
前記第1の撮像画像データから前記第1の主要被写体を検出させ、前記第2の撮像画像データから前記第2の主要被写体を検出させる主要被写体検出機能と、
前記第1の主要被写体と前記第2の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第1の撮像画像データと前記第2の撮像画像データとの合成適合性を判定させる合成判定機能と、
前記合成判定機能の判定結果に従って前記第1の撮像画像データと前記第2の撮像画像データとの合成画像データを作成させる画像処理制御機能と、
を実現させる撮像装置の制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042871A JP5814566B2 (ja) | 2011-02-28 | 2011-02-28 | 撮像装置、撮像方法及び撮像装置の制御プログラム |
US13/405,984 US8976255B2 (en) | 2011-02-28 | 2012-02-27 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042871A JP5814566B2 (ja) | 2011-02-28 | 2011-02-28 | 撮像装置、撮像方法及び撮像装置の制御プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012182581A JP2012182581A (ja) | 2012-09-20 |
JP2012182581A5 JP2012182581A5 (ja) | 2014-07-17 |
JP5814566B2 true JP5814566B2 (ja) | 2015-11-17 |
Family
ID=46718758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011042871A Expired - Fee Related JP5814566B2 (ja) | 2011-02-28 | 2011-02-28 | 撮像装置、撮像方法及び撮像装置の制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8976255B2 (ja) |
JP (1) | JP5814566B2 (ja) |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105556944B (zh) | 2012-11-28 | 2019-03-08 | 核心光电有限公司 | 多孔径成像系统和方法 |
US20140160231A1 (en) * | 2012-12-12 | 2014-06-12 | Daniel C. Middleton | Multi-focal image capture and display |
US9607011B2 (en) | 2012-12-19 | 2017-03-28 | Intel Corporation | Time-shifting image service |
JP2014160982A (ja) | 2013-02-20 | 2014-09-04 | Sony Corp | 画像処理装置および撮影制御方法、並びにプログラム |
KR102090624B1 (ko) | 2013-02-26 | 2020-03-18 | 삼성전자 주식회사 | 이미지 촬영장치 및 방법 |
CN105027552B (zh) * | 2013-02-27 | 2019-02-19 | 索尼公司 | 图像处理设备和图像处理方法 |
CN108769497B (zh) | 2013-06-13 | 2021-01-15 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
EP3779565A3 (en) | 2013-07-04 | 2021-05-05 | Corephotonics Ltd. | Miniature telephoto lens assembly |
CN108718376B (zh) | 2013-08-01 | 2020-08-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
KR102047704B1 (ko) * | 2013-08-16 | 2019-12-02 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
KR20150039355A (ko) * | 2013-10-02 | 2015-04-10 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
KR102138521B1 (ko) * | 2013-12-12 | 2020-07-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
SG11201604980RA (en) | 2013-12-25 | 2016-07-28 | Canon Kk | Imaging apparatus, method for controlling imaging apparatus, method for controlling display control apparatus, and method for controlling recording apparatus |
KR102170896B1 (ko) * | 2014-04-11 | 2020-10-29 | 삼성전자주식회사 | 영상 표시 방법 및 전자 장치 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
CN112327464A (zh) | 2015-01-03 | 2021-02-05 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
EP3988984A3 (en) | 2015-04-02 | 2022-07-13 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
EP3696587B1 (en) | 2015-04-16 | 2023-09-20 | Corephotonics Ltd. | Auto focus and optical image stabilization in a compact folded camera |
CN107533208B (zh) | 2015-05-28 | 2019-09-13 | 核心光电有限公司 | 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度 |
EP3787281A1 (en) | 2015-08-13 | 2021-03-03 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
CN109901342B (zh) | 2015-09-06 | 2021-06-22 | 核心光电有限公司 | 紧凑型折叠式相机中带有滚动补偿的自动对焦和光学图像稳定 |
KR101928716B1 (ko) | 2015-12-29 | 2018-12-12 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
CN111965919B (zh) | 2016-05-30 | 2022-02-08 | 核心光电有限公司 | 旋转滚珠引导音圈电动机 |
WO2017208991A1 (ja) * | 2016-06-01 | 2017-12-07 | シャープ株式会社 | 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム |
US10616484B2 (en) | 2016-06-19 | 2020-04-07 | Corephotonics Ltd. | Frame syncrhonization in a dual-aperture camera system |
CN111367039B (zh) | 2016-07-07 | 2023-02-03 | 核心光电有限公司 | 用于折叠式光学装置的线性滚珠引导音圈电动机 |
WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
KR102269547B1 (ko) | 2016-12-28 | 2021-06-25 | 코어포토닉스 리미티드 | 확장된 광-폴딩-요소 스캐닝 범위를 갖는 폴디드 카메라 구조 |
KR20230170809A (ko) | 2017-01-12 | 2023-12-19 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 |
KR101963547B1 (ko) | 2017-02-23 | 2019-03-28 | 코어포토닉스 리미티드 | 폴디드 카메라 렌즈 설계 |
CN110582724B (zh) | 2017-03-15 | 2022-01-04 | 核心光电有限公司 | 具有全景扫描范围的照相装置 |
US10582119B2 (en) * | 2017-07-26 | 2020-03-03 | Sony Corporation | Image processing method and device for composite selfie image composition for remote users |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
KR102268862B1 (ko) | 2017-11-23 | 2021-06-24 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
KR102091369B1 (ko) | 2018-02-05 | 2020-05-18 | 코어포토닉스 리미티드 | 폴디드 카메라에 대한 감소된 높이 페널티 |
US11640047B2 (en) | 2018-02-12 | 2023-05-02 | Corephotonics Ltd. | Folded camera with optical image stabilization |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
CN112367448B (zh) | 2018-04-23 | 2022-04-19 | 核心光电有限公司 | 感测机构 |
KR102289149B1 (ko) | 2018-08-04 | 2021-08-12 | 코어포토닉스 리미티드 | 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템 |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
CN111919057B (zh) | 2019-01-07 | 2021-08-31 | 核心光电有限公司 | 具有滑动接头的旋转机构 |
EP3782363B1 (en) | 2019-03-09 | 2023-06-07 | Corephotonics Ltd. | Method for dynamic stereoscopic calibration |
JP7326805B2 (ja) * | 2019-03-26 | 2023-08-16 | 株式会社ニコン | データ処理装置、データ処理方法、プログラム、及び、データ処理システム |
KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
CN110611768B (zh) * | 2019-09-27 | 2021-06-29 | 北京小米移动软件有限公司 | 多重曝光摄影方法及装置 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US20210144297A1 (en) * | 2019-11-12 | 2021-05-13 | Shawn Glidden | Methods System and Device for Safe-Selfie |
KR20220058593A (ko) | 2019-12-09 | 2022-05-09 | 코어포토닉스 리미티드 | 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
US11196924B2 (en) * | 2019-12-20 | 2021-12-07 | Lenovo (Singapore) Pte. Ltd. | Methods and devices for managing a dual camera mode based on image-related information |
WO2021220080A1 (en) | 2020-04-26 | 2021-11-04 | Corephotonics Ltd. | Temperature control for hall bar sensor correction |
CN117372250A (zh) | 2020-05-17 | 2024-01-09 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
EP3966631B1 (en) | 2020-05-30 | 2023-01-25 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
CN116125660A (zh) | 2020-07-15 | 2023-05-16 | 核心光电有限公司 | 用于校正扫描折叠相机的视点像差的方法 |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
US11946775B2 (en) | 2020-07-31 | 2024-04-02 | Corephotonics Ltd. | Hall sensor—magnet geometry for large stroke linear position sensing |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3948387B2 (ja) | 2002-10-24 | 2007-07-25 | 松下電器産業株式会社 | ディジタルカメラおよびディジタルカメラ付き携帯電話装置 |
JP2005094741A (ja) | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | 撮像装置及び画像合成方法 |
JP4309740B2 (ja) | 2003-10-22 | 2009-08-05 | パイオニア株式会社 | 撮影装置および撮影方法 |
JP2006203600A (ja) | 2005-01-21 | 2006-08-03 | Konica Minolta Holdings Inc | 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2007026246A (ja) | 2005-07-20 | 2007-02-01 | Fujifilm Holdings Corp | アルバム作成装置及びアルバム作成プログラム |
JP2008140107A (ja) | 2006-12-01 | 2008-06-19 | Seiko Epson Corp | 画像処理装置、画像処理方法、制御プログラム及び記録媒体 |
US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
ES2313860B1 (es) | 2008-08-08 | 2010-03-16 | Nilo Garcia Manchado | Camara digital y procedimiento asociado. |
KR101105034B1 (ko) * | 2010-02-09 | 2012-01-16 | 주식회사 팬택 | 촬영 기능을 보유한 단말기 |
US9270875B2 (en) * | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
US20130120602A1 (en) * | 2011-11-14 | 2013-05-16 | Microsoft Corporation | Taking Photos With Multiple Cameras |
-
2011
- 2011-02-28 JP JP2011042871A patent/JP5814566B2/ja not_active Expired - Fee Related
-
2012
- 2012-02-27 US US13/405,984 patent/US8976255B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8976255B2 (en) | 2015-03-10 |
JP2012182581A (ja) | 2012-09-20 |
US20120218431A1 (en) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5814566B2 (ja) | 撮像装置、撮像方法及び撮像装置の制御プログラム | |
JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
US9025044B2 (en) | Imaging device, display method, and computer-readable recording medium | |
US20120154547A1 (en) | Imaging device, control method thereof, and program | |
US20120147252A1 (en) | Imaging device and af control method | |
JP4970716B2 (ja) | 電子カメラ | |
JP2010252046A (ja) | 撮像装置 | |
US11843862B2 (en) | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor | |
JP2022535520A (ja) | 電子機器の制御方法及び電子機器 | |
US20220294937A1 (en) | Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media storing control programs therefor | |
JP2015023512A (ja) | 撮影装置、撮影方法及び撮影装置の撮影プログラム | |
JP2012070144A (ja) | 表示装置 | |
JP2012239135A (ja) | 電子機器 | |
JP2016009873A (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
JP5907660B2 (ja) | 撮像装置 | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
CN115695959A (zh) | 用作运动型照相机的摄像设备 | |
JP2012244245A (ja) | 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム | |
JP6700693B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2012239134A (ja) | 電子機器 | |
JP4852504B2 (ja) | 撮像装置及び合焦状態表示方法 | |
JP6327832B2 (ja) | 撮影装置、撮影方法及びプログラム | |
JP2023055074A (ja) | 撮像装置及びその制御方法並びにプログラム | |
WO2015075957A1 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2022140418A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150306 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150918 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5814566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |