JP7345561B2 - 映像作成方法 - Google Patents

映像作成方法 Download PDF

Info

Publication number
JP7345561B2
JP7345561B2 JP2021561219A JP2021561219A JP7345561B2 JP 7345561 B2 JP7345561 B2 JP 7345561B2 JP 2021561219 A JP2021561219 A JP 2021561219A JP 2021561219 A JP2021561219 A JP 2021561219A JP 7345561 B2 JP7345561 B2 JP 7345561B2
Authority
JP
Japan
Prior art keywords
video
focus
switching
image
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021561219A
Other languages
English (en)
Other versions
JPWO2021106434A1 (ja
Inventor
康一 田中
哲 和田
幸徳 西山
祐也 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021106434A1 publication Critical patent/JPWO2021106434A1/ja
Priority to JP2023142273A priority Critical patent/JP2023164919A/ja
Application granted granted Critical
Publication of JP7345561B2 publication Critical patent/JP7345561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Description

本発明の一実施形態は、撮影装置を用いて映像を撮影して映像に基づく映像ファイルを作成する映像作成方法に関する。
あるシーンにて複数の被写体の各々の映像を取得する場合に、そのシーンの映像を1台の撮影装置によって撮影し、その撮影映像の中から各被写体の映像を抽出して表示することがある。このような技術の一例としては特許文献1~3に記載の技術が挙げられる。
特許文献1では、1台のカメラにより撮像された元画像の一部を切り出して切り出し画像を生成し、その切り出し位置を制御して、被写体の位置が変わるように切り出し画像を出力する技術が開示されている。
特許文献2では、1台のカメラで撮影した高解像な広角映像に基づいて複数の対象物を検出し、検出された各対象物の映像を広角映像から切り出し、複数の対象物の映像をモニタに並列表示する技術が開示されている。
特許文献3では、1台の撮影装置によって撮像された映像の中から複数の任意のエリアを指定し、指定された複数の任意のエリアに対応した映像を切り出して出力する技術が開示されている。
特開平11-220653号公報 特開2004-194309号公報 特開2014-42357号公報
映像の一部を抽出して表示する場合、抽出映像の画質は、撮影時の露光量、ホワイトバランス及びレンズフォーカス(ピント)等の条件に応じて決まる。これらの条件が適正な値に設定されると、抽出映像が良好な画質となる。
一方、抽出映像に対する適正な条件は、元の映像における抽出領域の位置に応じて決まる。このことを考慮して、抽出領域の位置を変えた場合には、変更後の抽出領域に応じて露光量等の条件を改めて調整する必要がある。
ただし、露光量の条件を調整している途中の段階の抽出映像は、その画質が安定せず調整未完の状態であるため、適切な映像になっていない虞がある。したがって、抽出領域を変えた直後に露光量等の条件を調整し、その途中段階で抽出映像を表示してしまうと、その映像を見る者(ユーザ)に違和感を与えてしまう可能性がある。
本発明の一実施形態は、上記の事情に鑑みてなされたものであり、撮影装置により撮影された映像の一部を抽出して表示する構成において、抽出領域を変えたときに露光量等の条件の調整及び映像表示を適切に実施するための映像作成方法を提供することを目的とする。
上記の目的を達成するために、本発明の一実施形態の映像作成方法は、撮影レンズ及び撮像素子を備える撮影装置によって撮影した映像に基づき、映像ファイルを作成する映像作成方法であって、第1画角である基準映像の撮影領域の中に、第1画角よりも小さい第2画角である複数の領域を設定する設定工程と、記録される映像が映る選択領域を、複数の領域の中から選択する選択工程と、選択工程の実施後に、選択領域を複数の領域の中から再選択して選択領域を切り替える切り替え工程と、切り替え工程前の選択領域の映像である切り替え前映像と、切り替え工程後の選択領域の映像である切り替え後映像と、をそれぞれ記録する記録工程と、切り替え前映像を表示した後に切り替え後映像を表示し、且つ、切り替え前映像の表示期間と切り替え後映像の表示期間との間の期間に挿入映像を表示する表示工程と、切り替え工程後の選択領域の露光量、切り替え後映像のホワイトバランス、及び切り替え工程後の撮影レンズのフォーカスのうちの少なくとも一つを挿入映像の表示期間中に調整する調整工程と、を備えることを特徴とする。
また、本発明の一実施形態の映像作成方法において、挿入映像は、切り替え前映像及び切り替え後映像に基づいた映像であってもよい。あるいは、挿入映像は、基準映像、切り替え前映像及び切り替え後映像のいずれにも基づいていない映像であってもよい。
また、本発明の一実施形態の映像作成方法において、記録工程では、切り替え前映像と切り替え後映像を結合して動画ファイルを作成することができる。
また、記録工程において、挿入映像が記録対象から外されると、より好適である。
また、本発明の一実施形態の映像作成方法において、撮影レンズに対する入射光の絞り量を調整することで露光量が調整されてもよい。このとき、調整工程において絞り量又はフォーカスを調整する場合、挿入映像の表示期間の長さが、調整工程において絞り量又はフォーカスを調整する際の所要時間に応じて変わってもよい。
また、所要時間が予め決められた時間以上である場合には、表示工程において、所要時間に関する情報を含む挿入映像を表示すると、より好適である。
また、本発明の一実施形態の映像作成方法において、撮影レンズに対する入射光の絞り量を調整することで露光量が調整されてもよい。このとき、調整工程において絞り量又はフォーカスを調整する場合、挿入映像の表示期間では、挿入映像の表示期間以外の期間よりも、絞り量又はフォーカスの調整速度がより速くなると、好適である。
また、本発明の一実施形態の映像作成方法において、フォーカスを調整するモードは、ユーザの操作に基づきフォーカスが手動にて調整されるマニュアルフォーカスモード、及び、フォーカスが自動的に調整されるオートフォーカスモードの中から選択されてもよい。また、マニュアルフォーカスモードが選択されている場合、挿入映像の表示期間中における調整工程ではフォーカスが自動的に調整されてもよい。
また、フォーカスを自動的に調整する方式には、コントラストオートフォーカスである第1方式と、像面位相差オートフォーカス、指向性光オートフォーカス、及び、Depth-from-Defocus方式のオートフォーカスの中から選ばれる第2方式とがあってもよい。そして、挿入映像の表示期間中における調整工程では、フォーカスが第2方式にて調整されるとよい。
さらに、上記の構成において、撮影レンズに対する入射光の絞り量を調整することで露光量が調整されてもよい。そして、第2方式は、像面位相差オートフォーカスであり、挿入映像の表示期間中における調整工程では、絞り量の値に関わらず、フォーカスが第2方式にて調整してもよい。
また、本発明の一実施形態の映像作成方法において、撮影装置がフォーカスを自動的に調整する機能を欠く場合には、フォーカスがユーザの操作に基づいて手動にて調整されることになる。このとき、表示工程において、フォーカスを手動にて調整するためのガイド情報を含む挿入映像を表示するとよい。
また、本発明の一実施形態の映像作成方法において、露光量を調整するモードは、ユーザの操作に基づき露光量が手動にて調整されるマニュアル調整モード、及び、露光量が自動的に調整されるオート調整モードの中から選択されてもよい。また、マニュアル調整モードが選択されている場合には、挿入映像の表示期間中における調整工程で露光量が自動的に調整されてもよい。
さらに、本発明の一実施形態によれば、撮影レンズ及び撮像素子を備える撮影装置によって撮影した映像に基づき、映像ファイルを作成する映像作成装置であって、映像作成装置が備えるプロセッサが、第1画角である基準映像の撮影領域の中に、第1画角よりも小さい第2画角である複数の領域を設定する設定工程と、記録される映像が映る選択領域を、複数の領域の中から選択する選択工程と、選択工程の実施後に、選択領域を複数の領域の中から再選択して選択領域を切り替える切り替え工程と、切り替え工程前の選択領域の映像である切り替え前映像と、切り替え工程後の選択領域の映像である切り替え後映像と、をそれぞれ記録する記録工程と、切り替え前映像を表示した後に切り替え後映像を表示し、且つ、切り替え前映像の表示期間と切り替え後映像の表示期間との間の期間に挿入映像を表示する表示工程と、切り替え工程後の選択領域の露光量、切り替え後映像のホワイトバランス、及び切り替え工程後の撮影レンズのフォーカスのうちの少なくとも一つを挿入映像の表示期間中に調整する調整工程と、を実行するように構成された映像作成装置が実現可能である。
本発明の一実施形態である第1実施形態に係る撮影装置の外観の一例を示す斜視図である。 本発明の一実施形態である第1実施形態に係る撮影装置の背面側を示す背面図である。 本発明の一実施形態であるの第1実施形態に係る撮影装置の構成を示すブロック図である。 撮像素子の画素と基準映像の撮影領域との対応関係を示す図である。 基準映像から抽出される映像の領域を設定する手順を示す図である。 基準映像から抽出される映像の領域が複数設定された様子を示す図である。 表示画面に表示された選択領域の映像を示す図である。 切り替え工程の実施に伴う表示映像の遷移についての説明図である。 記録される映像の動画ファイルについての説明図である。 本発明の一実施形態である第1実施形態に係る映像作成フローについての説明図である。 本発明の一実施形態である第2実施形態に係る映像作成フローについての説明図である。 挿入映像の第1変形例を示す図である。 本発明の一実施形態である第3実施形態に係る映像作成フローについての説明図である。 本発明の一実施形態である第4実施形態に係る映像作成フローについての説明図である。 挿入映像の第2変形例を示す図である。 本発明の一実施形態である第5実施形態に係る映像作成フローについての説明図である。
以下、本発明の好適な実施形態(第1実施形態~第5実施形態)について、添付の図面を参照しながら詳細に説明する。
ただし、以下に説明する実施形態は、本発明の一実施形態の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明の一実施形態は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明の一実施形態には、その等価物が含まれる。
<<第1実施形態>>
本発明の一実施形態である第1実施形態は、図1~3に示す撮影装置10を用いた映像作成方法に関する。図1及び2は、撮影装置10の外観を示し、図1は、撮影装置10の斜視図であり、図2は、撮影装置10を背面側から見た図である。図3は、撮影装置10の構成を示すブロック図である。
[撮影装置の基本構成]
撮影装置10は、例えばデジタルカメラであり、映像撮影に用いられる。以降の説明において、「映像」とは、特に断る場合を除き、ライブ映像(ライブビュー画像)、すなわちリアルタイムで撮影される映像を意味する。
図1及び2に示す撮影装置10は、レンズ交換式のデジタルカメラであり、撮影装置本体12と撮影レンズ14を備える。撮影レンズ14は、撮影装置本体12のマウント13に対して交換可能に装着される。ただし、これに限定されるものではなく、撮影装置10は、レンズ一体式のデジタルカメラであってもよい。
(撮影レンズ)
撮影レンズ14は、図3に示すように、光学部品ユニット18、絞り20、電子減光フィルタ21、フォーカス用駆動部22、絞り駆動部23、及び電圧印加部24を含む。
光学部品ユニット18は、複数のレンズを有し、その中にはフォーカス用光学部品19(フォーカスレンズ)が含まれる。フォーカス用光学部品19が光軸L1の方向に移動すると、撮影レンズ14のフォーカス(ピント)が変わる。
フォーカスの調整モードには、マニュアルフォーカスモードとオートフォーカスモードがある。マニュアルフォーカスモードでは、撮影レンズ14の鏡筒に設けられたフォーカスリング16をユーザが手動で回すことで、フォーカス用光学部品19が光軸L1の方向に移動する。
オートフォーカスモードでは、後述の制御部46がフォーカス用駆動部22を駆動させることでフォーカス用光学部品19を光軸L1の方向に移動させて、映像中の被写体に合焦するようにフォーカスが自動的に調整される。
フォーカス用駆動部22の駆動モータは、超音波モータ等によって構成され、撮影装置本体12内又は撮影レンズ14内に設けられる。
光学部品ユニット18は、広角レンズ、超広角レンズ、360度レンズ、又はアナモフィックレンズ等を含んでいる。これにより、撮影装置10は、横方向に広い画角で映像を撮影することが可能である。ここで、撮影装置10が映像を撮影するときの最大の画角(以下、第1画角と言う。)は、光学部品ユニット18及び後述の撮像素子40の使用等に応じて決まり、第1画角で撮影される映像が本発明の一実施形態での「基準映像」に相当する。
なお、撮影装置10は、互いに画角が異なる複数の光学部品ユニット18を備えてもよい。
絞り20は、撮影レンズ14の光路中に配置されて開口形状が可変に構成され、撮影レンズ14への入射光に対する絞り量(具体的には、絞り値又はF値)を調整する光学部品である。絞り20は、例えば、開口の大きさを変化させるための部材を機械的に駆動することにより開口形状が変えられるものである。ただし、これに限定されるものではなく、液晶又はエレクトロクロミック素子を駆動して開口形状が変えられる絞り(物性絞り)であってもよい。
絞り20の開口形状、すなわち、絞り量は、絞り駆動部23によって調整される。
電子減光フィルタ21は、撮影レンズ14の光路中に配置され、調光度合いを電子的な方式で変更可能なND(Neutral Density)フィルタである。電子減光フィルタ21は、例えば、液晶に光を吸収する調光材料を混ぜ込んで構成されており、液晶分子の傾きを変化させて調光度合い(具体的には、光の透過率)をコントロールする。
なお、電子減光フィルタ21は、液晶型の電子NDフィルタに限定されず、反応物質(例えば、塩化銀)の酸化還元反応を利用する析出型の電子NDフィルタであってもよい。また、電子減光フィルタ21としては、例えば、特開2013-88596号公報、又は特開2019-68402号公報に記載の電子NDフィルタが利用可能である。
電子減光フィルタ21の調光度合いは、電圧印加部24が電子減光フィルタ21に印加する電圧(印加電圧)の大きさを変えることで調整される。
(撮影装置本体)
撮影装置本体12は、図1及び2に示すように、ユーザによって操作される操作部を備える。例えば、撮影装置本体12の上面には、レリーズボタン26が配置されている。例えば、ユーザがレリーズボタン26を全押しすると、撮影装置10が撮影する映像又は撮影映像に基づく映像の記録が開始される。撮影映像に基づく映像としては、例えば、後述する選択領域の映像等が挙げられる。なお、ユーザのレリーズ指示(すなわち、記録指示)は、ディスプレイ28によるタッチ操作の検出機能を介して、制御部46に入力されてもよい。
撮影装置本体12の背面には、表示画面を構成するディスプレイ28が配置されており、その周辺には複数のボタン30、32、34が配置されている。
ディスプレイ28は、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機EL(Organic Electroluminescence)ディスプレイ、LED(Light Emitting Diode)ディスプレイ、又は電子ペーパー等で構成されている。ディスプレイ28の表示画面には、撮影装置10が撮影する映像又撮影映像に基づく映像等が表示される。
また、ディスプレイ28の表示画面には、撮影条件等に関する選択メニュー、警告等を含むユーザへの通知情報、及び過去に取得した映像の再生映像等がさらに表示される。
さらに、ディスプレイ28の表示画面には、挿入映像Piが表示される。挿入映像Piは、映像が記録される期間中、所定のタイミングで一定時間だけ表示される映像である。挿入映像Piについては、後に改めて説明する。
ディスプレイ28は、ユーザの指のタッチ操作を検出する機能を備えている。また、透過型のタッチパネル36がディスプレイ28に重ねられ、あるいはディスプレイ28の内部に込み込まれている。タッチパネル36は、ユーザの指又はスタイラスペン等の接触位置及びその変位を検知し、検知結果に基づく信号を所定の出力先に出力する。例えば、ユーザが、互いに近接させた二本の指でタッチパネル36に触れた後に指間の間隔を広げる操作(所謂ピンチアウト操作)を行うとする。この場合、タッチパネル36は、二本の指の各々の、操作開始時点及び操作終了時点の位置を検知し、その検知結果に応じた信号を出力する。
撮影装置本体12の筐体内には、図3に示すように、シャッタ38、撮像素子40、アナログ信号処理回路44、制御部46、内部メモリ50、カードスロット52、及びバッファ56が設けられている。
撮像素子40は、イメージセンサであり、CCD(Charged Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等の固体撮像素子によって構成されている。撮像素子40は、図4に示すように升目状に配置された複数の画素42を有する。図4は、撮像素子40の画素42と基準映像の撮影領域との対応関係を示している。
それぞれの画素42は、オンチップマイクロレンズ、カラーフィルタ、及びフォトダイオード(光電変換素子)を有する。
また、それぞれの画素42は、図4に示すように、映像の撮影領域A1を構成する単位領域A0の一つと対応している。撮影領域A1は、撮影装置10が基準映像を撮影する際の撮影領域であり、その画角は第1画角に相当する。単位領域A0は、撮影領域A1における最小単位をなす領域であり、撮像素子40の縦方向及び横方向に並ぶ画素42と対応する領域である。
換言すると、撮影領域A1に映る基準映像は、単位領域A0の数(すなわち、画素42の数)と同数と単位映像によって構成されている。なお、本明細書では、基準映像における単位映像の個数を便宜的に「画素数」と呼ぶ。
撮像素子40は、撮影レンズ14を通過した被写体からの光を受光し、その受光像を電気信号(画像信号)に変換して出力する。また、撮像素子40は、所謂電子シャッタによる露光動作が実施可能となるように構成されている。
なお、以下の説明において「露光」とは、特に断る場合を除き、シャッタ38を開放状態に維持したまま、撮像素子40にて電子シャッタによる露光を行うことを意味することとする。また、「露光時間」とは、電子シャッタによるシャッタ速度に応じた時間、厳密には電荷蓄積時間を意味することとする。
図3に示す構成において、アナログ信号処理回路44は、撮像素子40から出力された1フレーム分の電気信号(画像信号)を画素毎に読み出す。アナログ信号処理回路44は、読み出した画像信号をAGC(Auto Gain Controller)によって増幅し、増幅後の信号に対して相関二重サンプリング処理等の信号処理を施す。処理済みの信号は、制御部46の映像処理部48に送られる。
制御部46は、撮影装置10の各部を制御し、映像ファイルの作成に関する各種の処理を実行する。制御部46は、図3に示すようにコントローラ47及び映像処理部48を含む。
制御部46は、例えば1つ又は複数のプロセッサからなり、例えばCPU(Central Processing Unit)と制御プログラムから構成される。ただし、これに限定されるものではなく、上記のプロセッサは、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、MPU(Micro-Processing Unit)、又はその他のIC(Integrated Circuit)によって構成されてもよく、あるいは、これらを組み合わせて構成されてもよい。
また、上記のプロセッサは、SoC(System on Chip)等に代表されるように、コントローラ47及び映像処理部48を含む制御部46全体の機能を一つのIC(Integrated Circuit)チップで構成してもよい。
なお、以上に挙げた各プロセッサのハードウェア構成は、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)で実現してもよい。
コントローラ47は、ユーザの操作又は規定の制御パターンに従って撮影装置10を統括的に制御する。例えば、コントローラ47は、所定のフレームレートにて映像(動画像)を撮影するように撮像素子40及びアナログ信号処理回路44を制御する。
また、コントローラ47は、撮影環境に応じて撮影条件を決め、撮影条件が決められた条件になるように各駆動部、撮像素子40、アナログ信号処理回路44及び映像処理部48を制御する。撮影条件には、映像を撮影する際の露光量、ホワイトバランス、及び撮影レンズ14のフォーカス(ピント)等が含まれる。
さらに、コントローラ47は、撮影された映像、又は撮影映像に基づく映像が記録媒体に記録されるように映像処理部48を制御する。
映像処理部48は、アナログ信号処理回路44から送られてくる信号をデジタル画像データに変換した後、デジタル画像データに対してガンマ補正、ホワイトバランス補正、及び傷補正等の各種処理を行う。また、映像処理部48は、処理後のデジタル画像データを、所定の規格に準拠した圧縮形式にて圧縮する。
そして、映像処理部48は、映像の撮影中、特定のフレームレートにて圧縮デジタル画像データを生成し、そのデータから映像(厳密には、フレーム画像)を取得する。このときに取得される映像(フレーム画像)は、第1画角で撮影される映像、すなわち基準映像に相当する。
また、映像処理部48は、コントローラ47による制御の下、取得した映像に対して種々の処理(例えば、後述の抽出処理)を実行し、処理後の映像を特定のフレームレートにて1フレーム毎にディスプレイ28に出力する。
さらに、映像処理部48は、処理後の映像を記録媒体に記録し、その映像ファイルを作成する。このように映像処理部48が映像ファイルの作成機能を備えており、映像処理部48を有する撮影装置10は、映像作成装置として利用される。
なお、以降では、特に断る場合を除き、コントローラ47及び映像処理部48の各々の動作及び処理を、制御部46の動作及び処理として説明することとする。また、制御部46による処理については、後の項で詳しく説明する。
撮影装置本体12に内蔵された内部メモリ50、及び、カードスロット52を介して撮影装置本体12に対して着脱可能なメモリカード54は、記録媒体であり、制御部46により映像が記録媒体に記録される。内部メモリ50及びメモリカード54は、フラッシュメモリ又は強誘電体メモリ等で構成されている。なお、内部メモリ50及びメモリカード54は、撮影装置本体12の外にあってもよく、その場合、制御部46は、有線又は無線によって外部の記録媒体に対して映像の記録を行ってもよい。
バッファ56は、制御部46のワークメモリとして機能し、例えば、DRAM(Dynamic Random Access Memory)、又は強誘電体メモリ等で構成されている。
[制御部による処理について]
制御部46による処理には、表示処理、抽出処理、選択処理、切り替え処理、記録処理、露光量調整処理、フォーカス調整処理、及びホワイトバランス調整処理が含まれる。
以下、上述した各処理について個別に説明する。
(表示処理)
表示処理は、各種の映像をディスプレイ28の表示画面に表示する処理である。例えば、撮影装置10の起動後に制御部46が表示処理を開始すると、その時点では、撮影装置10が第1画角にて撮影する基準映像、つまり、図4に示す撮影領域A1に映る映像が表示される。
また、抽出処理が実行された場合、制御部46は、後述する選択領域の映像を表示画面に表示する。さらに、選択領域が切り替えられた場合(つまり、後述の切り替え工程が実施された場合)、制御部46は、後述の挿入映像Piを表示画面に表示し、その後に切り替え工程後の選択領域の映像を表示する。
以上のような制御部46による表示処理の実行動作が表示工程に該当する。なお、本実施形態では、表示処理によってディスプレイ28に表示される映像が、その時点でリアルタイムに撮影されるライブ映像(ライブビュー画像)であることとする。
(抽出処理)
抽出処理は、基準映像の一部分を抽出する処理である。抽出された映像は、クロップ映像(切り出し映像)とも呼ばれ、記録処理での記録対象となる。
抽出処理に際して、ユーザは、基準映像の撮影領域において抽出する領域を設定するための操作を行う。この設定操作について図5を参照しながら具体的に説明する。図5は、基準映像から抽出される映像の領域を設定する手順を示している。
ユーザは、図5に示すように、ディスプレイ28の表示画面に基準映像(図5中、記号P1と表記)が表示された状態で設定操作を行う。具体的に説明すると、基準映像P1が表示された状態においてユーザが所定のボタン操作を行うと、図5に示すように矩形状の領域設定枠FRが基準映像P1に重畳されて表示される。この領域設定枠FRによって囲まれる領域A2が、基準映像P1から抽出される映像の領域となる。抽出される映像の画角は、基準映像P1の画角、すなわち第1画角よりも小さく、以下では第2画角と呼ぶこととする。
領域設定枠FRは、その位置、サイズ及び縦横比が可変な状態で表示される。例えば、ユーザがタッチパネル36上で領域設定枠FRの一辺に指で触れ、その指をドラッグすることで領域設定枠FRの表示位置が変えられる。また、ユーザがタッチパネル36上で領域設定枠FRに二本の指で触れ、その指の間隔を広げたり狭めたりすることで領域設定枠FRのサイズ及び縦横比が変えられる。このように領域設定枠FRの位置、サイズ及び縦横比を変えることで、基準映像P1から抽出される映像の領域の位置、大きさ及び縦横比(アスペクト比)が変えられる。
以上の操作がユーザによる設定操作に該当する。また、上記一連の操作を複数回繰り返すことで、図6に示すように、抽出される映像の領域A2を、一つの基準映像P1の撮影領域A1中に複数設定することができる。図6は、基準P1から抽出される映像の領域A2が複数設定された様子を示している。
なお、複数の領域A2が設定される場合、各領域A2のサイズ(第2画角)は、領域A2間で揃ってもよく、あるいは領域A2間で異なってもよい。
また、各領域A2の形状は、矩形(長方形)に限定されず、正方形、平行四辺形、台形、菱形、円状又は楕円状、三角形又は五角形以上の多角形、あるいは不定形であってもよい。
また、設定される領域A2の個数は、特に限定されないが、本実施形態では図6に示す通り2個以上であることとする。
ユーザによる設定操作が複数回繰り返された場合、制御部46は、それぞれの設定操作を受け付け、設定操作の回数に応じた数の領域A2を、基準映像P1の撮影領域A1中に設定する。このような制御部46の動作が設定工程に該当する。
なお、基準映像P1が高画質映像(例えば、画素数が1000万以上である映像)であるときには、基準映像P1から抽出される第2画角の映像が十分に高画質な映像となる。
基準映像P1の画素数については、特に限定されないが、その下限は、1000万以上とするのがよく、より好ましくは6000万以上とするのがよい。また、画素数の上限は、10億以下とするのがよく、より好ましくは5億以下とするのがよい。画素数が上記の下限を上回ると、基準映像P1から抽出される第2画角の映像の視認性が担保される。画素数が上記の上限を下回ると、基準映像P1のデータ量が低減し、制御部46による処理の高速化が図られる。
(選択処理及び切り替え処理)
選択処理は、基準映像P1の撮影領域A1中に設定された複数の領域A2の中から、記録される映像が映る選択領域を選択する処理である。
切り替え処理は、選択処理の後に、選択領域を複数の領域A2の中から再選択して選択領域を切り替える処理である。
なお、本実施形態において、選択処理及び切り替え処理において選択領域とする領域の数は、1つであるが、これに限定されず、2つ以上の領域を選択領域としてもよい。
選択処理及び切り替え処理の手順について説明すると、ユーザは、前述の設定操作を行って複数の領域A2を設定した後、いずれかの領域A2を選択領域として選ぶ。その後、ユーザが操作ボタン30、32、34又はタッチパネル36等を通じて選んだ領域A2を入力し、その入力操作を制御部46が受け付ける。制御部46は、ユーザの入力操作に基づき、選択領域を複数の領域A2の中から決定する。このような制御部46による動作が選択工程に該当する。
また、選択工程後に、ユーザが選択領域を別の領域A2に選び直して入力操作を再度行うと、制御部46が、その再入力操作を受け付けて、その再入力操作に基づき、それまでの選択領域を別の領域A2に切り替える。このような制御部46による動作が切り替え工程に該当する。
なお、ユーザが選択領域を選び直す際に行う入力操作(再入力操作)は、特に限定されない。例えば、再入力操作は、ディスプレイ28上で選択したい領域A2をタップする操作でもよいし、十字キーである第1操作ボタン30における上下ボタン又は左右ボタンのいずれかを押し下げる操作でもよい。
以上のように本実施形態では、選択工程において複数の領域A2の中から選択領域が選択され、選択領域の映像が映像ファイルとして記録される。また、選択工程が実施されると、それに連動して、選択領域の映像が図7に示すようにディスプレイ28の表示画面に表示される。図7は、表示画面に表示された選択領域の映像を示している。
また、選択工程後に切り替え工程を実施することで、選択領域を切り替えて、記録対象の映像をある被写体の映像から別の被写体の映像に変えることができる。これにより、同一シーン(同じ場所)にある複数の被写体の各々について、個別映像(詳しくは、各被写体にクローズアップした映像)を、複数の装置を用いずに一台の撮影装置10によって同時に撮影することができる。
また、記録される映像が映る領域A2を、ユーザの操作に応じて時系列に切り替える(スイッチングする)ことができ、且つ、切り替え前後の映像が映った映像ファイルを容易に取得することができる。
さらに、切り替え工程の実施に連動し、ディスプレイ28の表示画面に表示される映像が、切り替え工程前の選択領域の映像から、切り替え工程後の選択領域の映像に切り替わる。つまり、制御部46が表示工程中に切り替え工程を実施する場合、表示工程では、切り替え工程前の選択領域の映像が表示された後に、切り替え工程後の選択領域の映像が表示される。これにより、ユーザは、選択領域の切り替えを表示画面にて確認することができる。
なお、以下では、切り替え工程後の選択領域の映像を、切り替え後映像Paと呼び、切り替え工程前の選択領域の映像を、切り替え前映像Pbと呼ぶこととする。
さらにまた、制御部46は、表示工程中に切り替え工程が実施すると、図8に示すように、表示工程において切り替え前映像Pbの表示期間と切り替え後映像Paの表示期間との間の期間に挿入映像Piを表示する。図8は、切り替え工程の実施に伴う表示映像の遷移についての説明図である。
挿入映像Piは、例えば、基準映像、切り替え前映像Pb及び切り替え後映像Paのいずれにも基づかない映像である。例えば、図8に示すような単一色(例えば、黒またはグレー)で塗り潰された映像が挙げられる。また、事前に用意された映像(例えば、サンプル映像として提供される風景映像又は人物映像等)も挿入映像Piとして利用可能である。
なお、挿入映像Piは、上記の映像に限定されず、例えば、切り替え後映像Pa及び切り替え前映像Pbのうちの少なくとも一方に基づく映像であってもよい。例えば、切り替え前映像Pbから徐々に切り替え後映像Paへと遷移する(クロスフェードする)映像を作成し、その映像を挿入映像Piとして表示してもよい。また、挿入映像Piは、切り替え前映像Pbに関する静止画像であってもよい。
(記録処理)
記録処理は、制御部46が選択領域の映像を記録媒体に記録し、その映像に関する映像ファイル(詳しくは、動画ファイル)を作成する処理である。記録処理において制御部46が選択領域の映像を記録する動作は、記録工程に該当する。
また、制御部46は、切り替え工程を実施した場合、記録工程では切り替え前映像Pbと切り替え後映像Paとをそれぞれ記録して映像ファイルを作成する。詳しく説明すると、制御部46は、記録工程において、切り替え前映像Pbである動画像と、切り替え後映像Paである動画像とを結合して映像ファイルとしての動画ファイルを作成する。これにより、図9に示すように選択領域の切り替えによって被写体が変わる映像の動画ファイルが取得される。図9は、記録される映像の動画ファイルについての説明図である。
なお、図9から分かるように、記録工程において記録される映像が選択領域の映像であり、切り替え工程が実施される場合には、切り替え前映像Pb及び切り替え後映像Paが記録される。一方、挿入映像Piは、記録して後に利用される映像ではないため、記録工程において記録対象から外される。これにより、図9に示すような被写体が映った映像のみが記録されるように、映像ファイル(動画ファイル)を適切に作成することができる。
(露光量調整処理)
露光量調整処理は、選択領域の露光量を調整する処理であり、制御部46のAE(Automatic Exposure)機能を利用して実行される。露光量調整処理における制御部46の動作は、本発明の一実施形態の調整工程の一例に相当する。
露光量は、露光時間(つまり、電子シャッタのシャッタ速度)、撮像素子40が備える画素42の感度(ISO感度)、及び、撮影レンズ14に対する入射光の絞り量(F値)を含む複数のパラメータによって決められる。各パラメータの値を決め、各パラメータが決められた値となるように絞り駆動部23、撮像素子40及び映像処理部48等を制御することで露光量が調整される。ここで、絞り駆動部23による絞り20の調整は、公知の自動光量調整(Automatic Light Control:ALC)機能を利用して行われる。また、撮像素子40における電子シャッタのシャッタ速度の調整は、公知の電子光制御(Electronic Light Control:ELC)機能を利用して行われる。
また、撮影レンズ14に電子減光フィルタ21が備わっている場合には、上記複数のパラメータに電子減光フィルタ21の調光度合いが含められる。この場合、電子減光フィルタ21の調光度合いの値を決め、調光度合いが決められた値となるように電圧印加部24を制御することで、露出量が調整される。
ところで、選択領域の露光量の適正値(適正露光量)は、基準映像P1の撮影領域A1中に設定された複数の領域A2のうち、どの領域が選択領域であるかに応じて変わる。
より詳しく説明すると、基準映像P1を撮影するとき、複数の領域A2を含む撮影領域A1の各箇所での露光量は、各箇所に在る被写体及び環境等に応じて変化する。すなわち、撮影領域A1中の各領域A2の適正露光量は、その領域A2の位置に応じて変わり得るので、領域A2毎に決められる。
各領域A2の適正露光量は、公知の手順によって決められる。一例を挙げると、撮像素子40中、ある領域A2を構成する単位領域A0と対応する画素42から出力される画像信号から、その領域A2について、R(Red)、G(Green)、B(Blue)の輝度(すなわち、RGB画素値)を積算する。ここで、単位領域A0と対応する画素42は、図4に示す位置関係において当該単位領域A0と同じ配置位置にある画素42である。例えば、図4中、太枠で囲まれた領域A2中の単位領域A0は、同図中、太枠で囲まれた範囲内にある画素42と対応している。そして、上記の領域A2について算出したRGB画素値の積算値(詳しくは、領域A2内の平均値)から、その領域A2の適正露光量が決まる。
選択領域の露光量は、上述の要領で決められる適正露光量に基づいて調整される。具体的に説明すると、制御部46が、所定領域の適正露光量に基づいて、露光時間(シャッタ速度)、絞り量(F値)、及び画素42の感度(ISO感度)の各々の値を決める。
なお、感度(ISO感度)については、選択領域と対応する画素42からの出力信号に対するゲイン(増幅比)が決められる。ここで、ゲインは、例えばアナログ信号処理回路44等におけるアナログ信号に対するアナログゲインでもよく、映像処理部48等におけるデジタル変換後の信号(データ)に対するデジタルゲインでもよい。
そして、露光時間、絞り量及び感度が決められた後、これらのパラメータが決められた値になるように制御部46が絞り駆動部23、撮像素子40及び映像処理部48等を制御する。これにより、選択領域の映像を含む基準映像を撮影する際の露光量が目標露光量となるように調整される。
映像が記録される間、以上の手順にて露光量調整処理が定期的に(例えば、1フレーム毎に)繰り返し実施される。そして、露光量調整処理が実施される度に目標露光量が設定され、目標露光量に応じて露光時間、絞り量及び感度の値が決定される。
具体的に説明すると、映像の撮影中、N回目(Nは自然数)のフレーム画像における選択領域内のRGB画素値の積算値を求める。その後、求めた積算値に基づく適正露光量を算出し、算出した適正露光量から目標露光量を設定する。そして、設定した目標露光量に応じて、次回(すなわち、N+1回目)のフレーム画像を撮影する際の露光時間、絞り量、及び感度を決定する。
また、露光量調整処理が1フレーム毎に実施されることで、露光条件(露光時間、絞り量及び感度)が経時的に変化し、これに伴って、選択領域の露光量が経時的に調整される。ここで、「経時的に調整する」とは、調整対象のパラメータについて1フレーム毎に調整量を決め、1フレーム毎に各パラメータを当該調整量だけ増減させることを意味する。
ちなみに、本実施形態において、露光量を調整するモードには、上述した要領で自動的に露光量を調整するオート調整モードの他に、ユーザが手動にて調整するマニュアル調整モードがある。マニュアル調整モードでは、ユーザが各種の操作ボタン30、32、34又はタッチパネル36を操作して上記のパラメータ(露光時間、絞り量、及び感度等)の設定値を入力する。そして、制御部46が、各パラメータがユーザによって入力された設定値となるように絞り駆動部23、撮像素子40及び映像処理部48等を制御する。
(フォーカス調整処理)
フォーカス調整処理は、オートフォーカスモードにおいて制御部46がフォーカス用駆動部22を制御して撮影レンズ14のフォーカスを自動的に調整する処理である。フォーカス調整処理における制御部46の動作は、本発明の一実施形態の調整工程の一例に相当する。
オートフォーカスモードによるフォーカス調整には、公知のオートフォーカス技術が利用可能である。その具体例としては、コントラストオートフォーカス、像面位相差オートフォーカス、指向性光オートフォーカス、及び、Depth-from-Defocus方式(DFD方式)のオートフォーカス等が挙げられる。
なお、指向性光オートフォーカスは、被写体に向けて光を照射して、その反射光を受光することで被写体までの距離を測定してフォーカスを調整する方式である。指向性光オートフォーカスとしては、レーザーオートフォーカス、及びToF(Time of Flight)技術を用いたオートフォーカス等が挙げられる。
また、DFD方式のオートフォーカスとしては、例えば、特開2014-98898号公報又は特開2015-200907号公報に記載された技術が利用可能である。
オートフォーカスとしては、上述した方式のいずれか一つを採用してもよく、あるいは、複数の方式を組み合わせて採用してもよい。後者のケースでは、コントラストオートフォーカスを第1方式とし、像面位相差オートフォーカス、指向性光オートフォーカス、及び、DFD方式のオートフォーカスの中から選ばれるいずれかの方式を第2方式とする。そして、第1方式と第2方式の両方を採用し、これらの方式を、フォーカス調整時の状況(例えば、光源の種類又は明るさ等)に応じて使い分けてもよい。
なお、本実施形態では、第1方式及び第2方式を併用し、また、第2方式が像面位相差オートフォーカスであることとする。ここで、像面位相差オートフォーカスは、絞り値(F値)が大きくなった場合に調整精度が低下するものの、上述した方式の中でフォーカス調整速度が最も速いオートフォーカス方式である。
(ホワイトバランス調整処理)
ホワイトバランス調整処理は、選択領域の映像のホワイトバランスを制御部46によって自動的に調整する処理である。ホワイトバランス調整処理は、公知のAWB(Auto White Balance)機能、例えば特開2009-33410号公報に記載された技術を利用して実行される。なお、ホワイトバランス調整処理における制御部46の動作は、本発明の一実施形態の調整工程の一例に相当する。
[調整工程について]
制御部46は、選択工程又は切り替え工程を実施すると、これに連動する形で調整工程を実施する。調整工程では、選択領域の露光量、撮影レンズ14のフォーカス、及び、選択領域の映像のホワイトバランスのうちの少なくとも一つを調整する。特に、切り替え工程が実施された後の調整工程では、切り替え工程後の選択領域の露光量、切り替え後映像Paのホワイトバランス、及び切り替え工程後の撮影レンズ14のフォーカスのうちの少なくとも一つが調整される。このとき、選択領域の露光量等が挿入映像Piの表示期間中に調整される。
以上のように、第1実施形態では、挿入映像Piを表示し、その表示期間を利用して選択領域の露光量等を調整する。これにより、露光量等を調整している途中の段階で選択領域の映像(すなわち、切り替え後映像Pa)を表示する必要がない。このため、調整未完の状態で映像を表示することでユーザに違和感を与えてしまう状況を回避することができる。なお、調整工程は、挿入映像Piの表示期間中に完了しなくてもよく、その場合には、切り替え後映像の表示期間中にも行われてもよい。かかる実施形態であっても、露光量調整がある程度進んだ状態で切り替え後映像Paを表示することができるので、ユーザに与える違和感を緩和することができる。
なお、以下では、調整工程において露光量、フォーカス及びホワイトバランスを調整するケースを例に挙げて説明する。ただし、これに限定されるものではなく、露光量、フォーカス及びホワイトバランスのいずれかを調整するケースでもよい。かかるケースでは、上記3つの項目のうち、調整工程にて制御部46によって自動的に調整(適正化)する項目をユーザが自由に選択できるようにしてもよい。このとき、ユーザに選択されなかった項目については、選択領域がどの領域A2であるかに関わらず、基準映像の撮影領域(すなわち、第1画角)全体に対して調整(最適化)がなされるとよい。
[第1実施形態に係る映像作成の流れについて]
図10を参照しながら、第1実施形態に係る映像作成の流れを説明する。図10は、第1実施形態に係る映像作成フローについての説明図である。
なお、以下では、1つの基準映像(フレーム画像)を撮影する周期を便宜上、「1フレーム」と呼ぶこととする。
映像作成フローに際して、ユーザは、先ず、撮影装置10を起動する。装置起動後には、制御部46が、撮影条件及び露光条件を含む各種の条件について初期設定を行う(S001)。このステップS001において、露光時間(シャッタ速度)、絞り値(F値)及び感度(ISO感度)等、露光量を決定する複数のパラメータの各々が初期値にプリセットされる。同様に、ステップS001では、映像を撮影する際の撮影条件として、撮影レンズ14のフォーカス(ピント)及びホワイトバランス等が撮影環境等に応じてプリセットされる。
その後、撮影装置10による第1画角での映像撮影(すなわち、基準映像の撮影)が開始される。これに連動して、制御部46による表示工程が実施され、ライブ映像である基準映像がディスプレイ28の表示画面に表示される(S002)。
ユーザが前述した設定操作を複数回行い、制御部46が、それぞれの設定操作を受け付けて設定工程を実施する(S003)。このステップS003では、制御部46が、表示画面に表示された基準映像を通じてユーザが行った設定操作に応じて、基準映像の撮影領域A1中に複数の領域A2を設定する。
また、ユーザが複数の領域A2の中から選択領域を選択し、その選択結果を、タッチパネル36等を通じて入力すると、制御部46が選択工程を実施する(S004)。このステップS004では、制御部46が、ユーザの入力操作に応じて複数の領域A2の中から選択領域を選択する。
選択領域の選択後、制御部46は、選択領域について露光量、フォーカス及びホワイトバランスを調整する(S005)。
その後、ユーザが映像の記録を開始するためにレリーズボタン26を押す等の操作を行うと、ステップS006以降の工程が実施される。
先ず、ステップS006では、制御部46が1フレーム分の基準映像(つまり、フレーム画像)を取得する。次のステップS007において、制御部46は、現時点(現在のフレーム)で前回の選択領域の切替えから所定時間が経過しているかどうかを判定する。ここで、1回目のフレーム等、それ以前に切り替え工程が実施されていない場合には、ステップS007では「Yes(所定時間が経過した)」と判定される。
ステップS007で「Yes(所定時間が経過した)」と判定された場合、ステップS008において、制御部46が表示工程を実施し、選択領域の映像をディスプレイ28の表示画面に表示する。また、ステップS009において、制御部46は、記録工程を実施し、選択領域の映像を記録媒体に記録し、その映像ファイルである動画ファイルの作成を開始する。このときに表示及び記録される選択領域の映像は、ステップS005又は後述のステップS011にて露光量、フォーカス及びホワイトバランスが調整された映像である。
また、ユーザが選択領域を一度選んだ後に選び直して入力操作を再度行った場合(S012)、制御部46が切り替え工程を実施する(S013)。ステップS013では、制御部46が、ユーザの入力操作に応じて、選択領域を複数の領域A2の中から再選択して切り替える。その後、ステップS006に戻り、ステップS006以降が繰り返される。
切り替え工程が実施された場合には、制御部46は、その実施時点から所定時間が経過するまでの間(すなわち、S007にて「No」と判定された場合)、表示工程を実施して挿入映像Piを表示画面に表示する(S010)。また、制御部46は、挿入映像Piの表示期間を利用して調整工程を実施する(S011)。かかる調整工程では、切り替え工程後の選択領域の露光量、切り替え後映像Paのホワイトバランス、及び、切り替え工程後の撮影レンズ14のフォーカスが調整される。なお、第1実施形態において、挿入映像Piの表示期間中、制御部46は、映像の記録を中断する。ただし、これに限定されず、制御部46は、挿入映像Piの表示期間中も映像を記録し続けてもよく、つまり、挿入映像Piを含めた動画ファイルを作成してもよい。
第1実施形態において、挿入映像Piの表示期間の長さ(時間)は、ステップS011における露光量等の調整の所要時間に基づいて予め決められている。ここで、調整の所要時間は、調整内容及び調整方式等に応じて変わる場合がある。例えば、フォーカスを調整する際に像面位相差オートフォーカスを採用する場合には、コントラストオートフォーカスを採用する場合と比較して調整の所要時間が短くなる。以上の点を考慮し、挿入映像Piの表示期間の長さを決める際には、調整内容及び調整方式等に応じて決めるのがよい。
また、挿入映像Piは、前述したように、黒またはグレーの単一画像であってもよく、切り替え前映像Pbから切り替え後映像Paへと遷移するクロスフェード映像であってもよい。クロスフェード映像を表示する場合には、映像の遷移速度を、ステップS011における露光量等の調整の所要時間に基づいて決めるとよい。ここで、映像の遷移速度とは、クロスフェード映像の中で切り替え後映像Paが占める領域の割合が単位時間あたりに増加する度合い(増加速度)を表す値である。
そして、前回の切り替え工程が実施されてから所定時間(すなわち、挿入映像Piの表示期間)が経過した後には、挿入映像Piの表示が終了し、切り替え後映像Paが表示されるようになる(S008)。このときに表示される切り替え後映像Paは、切り替え後の選択領域について露光量等の調整が完了した状態の映像である。なお、制御部46は、切り替え後の選択領域について露光量等の調整がおおよそ完了した状態であれば、切り替え後映像Paを表示してもよい。
また、前回の切り替え工程から所定時間(すなわち、挿入映像Piの表示期間)が経過した時点で、それまで中断していた記録工程が再開される(S009)。再開された記録工程では切り替え後映像Paが記録媒体に記録される。このとき、切り替え後映像Paと切り替え前映像Pbとが結合されて動画ファイルが作成される。また、前述したように、挿入映像Piは、記録対象から外される。このようにして作成される動画ファイルでは、図9に示すように切り替え前映像Pbから切り替え後映像Paへ直ちに切り替わる(スイッチングする)。
制御部46は、ユーザが所定の操作を行って終了指示を行うまで、上述した一連のステップS006~S013を繰り返す(S014)。そして、ユーザからの終了指示があった時点で映像作成フローが終了する。
以上のように本実施形態では、選択領域の切り替えに伴って露光量等を調整する場合に、選択領域の切り替え後にダミーの映像として挿入映像Piを表示する。つまり、本実施形態では、切り替え前映像Pbの表示期間と切り替え後映像Pa(厳密には、露光量等が調整された切り替え後映像Pa)の表示期間との間の期間に挿入映像Piを表示する。これにより、露光量等の調整が途中である段階で切り替え後映像Paを表示せず、この段階の切り替え後映像Paをユーザに見せないようにすることができる。
<<第2実施形態>>
第1実施形態では、切り替え工程の実施後、予め決められた期間だけ挿入映像Piを表示することとした。
他方、挿入映像Piが予め表示時間だけ表示されるのではなく、切り替え工程後に実施される調整工程の調整に要する時間に基づいて挿入映像Piの表示時間が決められてもよい。例えば、挿入映像Piは、切り替え工程後に実施される調整工程が完了するまで表示し続けてもよい。この形態を第2実施形態とし、図11を参照しながら、第2実施形態について以下に説明する。図11は、第2実施形態に係る映像作成フローの流れについての説明図である。
なお、以下では、第2実施形態のうち、第1実施形態と異なる事項を主として説明することとする。
第2実施形態に係る映像作成フロー中の各ステップは、図10及び11を比較すると分かるように、第1実施形態に係る映像作成フロー中の各ステップと概ね共通する。
具体的に説明すると、第2実施形態に係る映像作成フローにおけるステップS027は、第1実施形態に係る映像作成フローにおけるステップS007と相違する。その点を除き、第2実施形態に係る映像作成フロー中、ステップS027以外の各ステップ(S021~S026、S028~S34)の内容及び実施順序は、第1実施形態に係る映像作成フロー中のステップと共通する。
第1実施形態に係る映像作成フローのステップS007は、前回の調整工程の実施から所定期間が経過しているかどうかを判定するものであった。これに対して、第2実施形態に係る映像作成フローのステップS027では、切り替え工程に伴って実施された調整工程が完了しているかどうかを判定する。
具体的に説明すると、調整工程において露光量が目標露光量となるように絞り量を調整する場合、ステップS027では、絞り量調整のための絞り駆動部23の駆動が完了したかどうかを判定する。より詳しく説明すると、絞り量の調整が完了すると、それに連動して絞り駆動部23が信号を出力する。制御部46は、絞り駆動部23からの出力信号を受信すると、その時点で絞り量調整が完了したと判定する。
また、調整工程において選択領域の映像に映る被写体に合焦するようにフォーカスを調整する場合、ステップS027では、フォーカス調整のためのフォーカス用駆動部22の駆動が完了したかどうかを判定する。より詳しく説明すると、フォーカス調整が完了すると、それに連動してフォーカス用駆動部22が信号を出力する。制御部46は、フォーカス用駆動部22からの出力信号を受信すると、その時点でフォーカス調整が完了したと判定する。
そして、ステップS027において調整が未だ完了していないと判定される期間中、制御部46は、表示工程にて挿入映像Piを表示し続ける。つまり、絞り量調整のための絞り駆動部23の駆動、又はフォーカス調整のためのフォーカス用駆動部22の駆動のいずれかが続く限り、挿入映像Piを表示する。
以上のように第2実施形態では、切り替え工程に伴って調整工程が実施され、その調整工程において、露光量等の調整時間に基づいて挿入映像Piの表示時間を決定する。例えば、露光量等の調整が完了するまで挿入映像Piを表示する。換言すると、第2実施形態では、調整工程での絞り量又はフォーカスの調整に要する時間に応じて挿入映像Piの表示期間の長さが変わる。これにより、露光量等の調整が大よそ完了するまでは、切り替え後映像Paを確実にユーザに見せないようにすることができる。この結果、調整途中の切り替え後映像Paを表示することでユーザに与える違和感を、効果的に抑えることができる。
また、第2実施形態において、調整の所要時間が予め決められた時間以上になる場合、制御部46は、表示工程において、図12に示すような挿入映像Piを表示するとよい。図12は、挿入映像Piの第1変形例を示している。
図12に示す挿入映像Piは、調整の所要時間に関する情報を含んでいる。ここで、調整の所要時間に関する情報としては、例えば調整完了までの残り時間、又は、ユーザに対して調整完了まで待機を促すメッセージ等が該当する。
以上のように、調整の所要時間に関する情報を含む挿入映像Piを表示することで、例えば絞り量又はフォーカスの調整に時間を要すること等をユーザに知らせることができる。
<<第3実施形態>>
前述の実施形態で述べたように、切り替え工程を実施して選択領域を切り替える場合には、それに伴って調整工程を実施して露光量、ホワイトバランス及びフォーカスを調整する。露光量等を調整する際には、通常、急な変化を抑えるように時間を掛けて徐々に露光量が変化するように調整するのが一般的である。ただし、切り替え工程を実施した場合には、切り替え後映像Paの画質を確保する観点から速やかに調整を完了させる必要がある。
上記の点を考慮すると、切り替え工程の実施直後には、通常より速い速度にて露光量等を調整することが好ましい。かかる形態を第3実施形態とし、図13を参照しながら、第3実施形態について以下に説明する。図13は、第3実施形態に係る映像作成フローについての説明図である。
図13から分かるように、第3実施形態に係る映像作成フローのうち、ステップS041~S045は、第1実施形態に係る映像作成フローにおけるステップS001~S005と共通する。すなわち、第3実施形態に係る映像作成フローでは、先ず、各種条件の初期設定を行い、映像の撮影開始に伴って基準映像を表示し、複数の領域A2を設定し、その中から選択領域を選択する(S041~S044)。
選択領域が選択されると、選択領域について露光量、フォーカス及びホワイトバランスを調整する(S045)。本ステップS045では、露光量を調整するために絞り駆動部23を制御して絞り量を変更する。また、フォーカスを調整するためにフォーカス用駆動部22を制御してフォーカス用光学部品19を移動させる。このとき、露光量及びフォーカスの各々の調整は、通常の調整速度にて行われる。換言すると、絞り駆動部23及びフォーカス用駆動部22の各々が通常の駆動速度にて駆動される。
その後、ユーザによるレリーズボタン26の押下げ操作等を契機として、ステップS046以降の工程が実施される。具体的に説明すると、1フレーム分の基準映像を取得し(S046)、選択領域の映像を表示する(S048)。
また、選択領域の再選択が行われた場合には、切り替え工程を実施して選択領域を切り替える(S054、055)。そして、切り替え工程が実施された場合には挿入映像Piを表示し(S052)、挿入映像Piの表示期間中に露光量等の調整が行われる(S053)。本ステップS053では、ステップS045と同様、絞り駆動部23によって絞り量を変更して露光量を調整し、フォーカス用駆動部22によってフォーカス用光学部品19を移動させてフォーカスを調整する。
また、第3実施形態では、挿入映像Piの表示期間中の調整速度を、通常(換言すると、挿入映像Piの表示期間以外の期間)の調整速度より速い速度に設定する(S056)。ここで、調整速度とは、絞り量又はフォーカスを調整する際の調整速度であり、換言すると、絞り駆動部23又はフォーカス用駆動部22の駆動速度である。
なお、挿入映像Piの表示期間中の調整速度は、通常の調整速度よりも速い限り、任意に決めてもよいが、好ましくは、通常の調整速度に対して1.5倍以上速い速度であるのがよく、より好ましくは2倍以上速い速度であるとよい。
以上のように、第3実施形態では、挿入映像Piの表示期間中に実施される調整工程では、通常よりも速い速度にて絞り量又はフォーカスを調整する。換言すると、挿入映像Piが表示されている間は、絞り駆動部23又はフォーカス用駆動部22を通常よりも速い速度にて駆動する。これにより、切り替え後映像Paについて、露光量又はフォーカスが速やかに適正化されて早期に目標値に到達する。また、露光量又はフォーカスを急速に変えたとしても、調整中には挿入映像Piを表示するので、露光量又はフォーカスの急変による影響(例えば、ユーザが感じる違和感)が抑えられる。
また、第3実施形態では、第2実施形態と同様、切り替え工程後の絞り量調整及びフォーカス調整が完了したかどうかを判定し(S047)、これらの調整が完了するまで挿入映像Piが表示される。ただし、これに限定されるものではなく、第3実施形態において、予め決められた期間だけ挿入映像Piを表示してもよい。
なお、第3実施形態では、挿入映像Piの表示期間中の調整速度が通常の調整速度より速いので、挿入映像Piの表示期間をより短くすることができる。
絞り量及びフォーカスの調整が完了した後には、調整速度が通常の速度に戻っているかを判定する(S050)。調整速度が通常の速度に戻っていなければ、調整速度を通常の速度に設定し(S051)、その後にステップS054に移行する。他方、調整速度が通常の速度に戻っていれば、そのままステップS054に移行する。
以上までの一連の工程(すなわち、ステップS046~S056)は、ユーザが終了指示を行うまでの間、1フレーム毎に繰り返される(S057)。そして、ユーザの終了指示があった時点で、第3実施形態に係る映像作成フローが終了する。
<<第4実施形態>>
撮影レンズ14のフォーカスを調整するモードには、マニュアルフォーカスモードとオートフォーカスモードがある。これら2つのモードが選択可能な撮影装置10では、選択された方のモードにてフォーカスが調整される。被写体を固定して映像を撮影する場合、その被写体に合焦するようにフォーカスを手動で一度調整すればよく、通常はマニュアルフォーカスモードが選択される。
一方で、撮影映像から一部の領域の映像(すなわち、選択領域の映像)を抽出する構成において選択領域を切り替える場合には、切り替えられた後の選択領域に対してフォーカスを調整する必要がある。このとき、マニュアルフォーカスモードが選択されていても、挿入映像Piの表示期間中は、切り替えられた選択領域に対してフォーカスを自動的に調整するのが好ましい。これは、挿入映像Piの表示期間中にはユーザが切り替え後の選択領域の映像(すなわち、切り替え後映像Pa)を確認できないからである。
以上の形態を第4実施形態とし、図14を参照しながら、第4実施形態について以下に説明する。図14は、第4実施形態に係る映像作成フローについての説明図である。
図14から分かるように、第4実施形態に係る映像作成フローのうち、ステップS061~S065は、第1実施形態に係る映像作成フローにおけるステップS001~S005と共通する。すなわち、第4実施形態に係る映像作成フローでは、先ず、各種条件の初期設定を行う(S061)。ここで、ステップS061では、フォーカスの調整モードがマニュアルフォーカスモードに設定されることとする。
その後、映像の撮影開始に伴って基準映像を表示し、複数の領域A2を設定し、その中から選択領域を選択し、選択領域について露光量、フォーカス及びホワイトバランスを調整する(S062~S065)。ステップS065では、露光量及びホワイトバランスが制御部46によって自動的に調整される。フォーカスについては、ユーザがフォーカスリング16を操作する等して手動にて調整する。
その後、ユーザによるレリーズボタン26の押下げ操作等を契機として、ステップS066以降の工程が実施される。具体的に説明すると、1フレーム分の基準映像を取得し(S066)、選択領域の映像を表示する(S068)。
また、選択領域の再選択が行われた場合には、切り替え工程を実施して選択領域を切り替える(S074、075)。そして、切り替え工程が実施された場合には挿入映像Piを表示し(S072)、挿入映像Piの表示期間中に調整工程を実施して露光量等を調整する(S073)。本ステップS073では、露光量及びホワイトバランスが自動的に調整され、且つ、フォーカスについても自動的に調整されるようになる。
より詳しく説明すると、切り替え工程が実施されて選択領域が切り替えられると、それまでマニュアルフォーカスモードであったフォーカス調整モードがオートフォーカスモードに設定される(S076)。これにより、挿入映像Piの表示期間中における調整工程では、オートフォーカスモードの下、フォーカスが自動的に調整される。つまり、第4実施形態では、通常はマニュアルフォーカスモードが選択されていても、選択領域の切り替え直後には自動的にフォーカスを調整する。この結果、選択領域が切り替わる度にユーザがフォーカスを調整する必要がなく、ユーザにとっての利便性(使い勝手)が向上する。
また、挿入映像Piの表示期間中に実施される調整工程において、フォーカスが前述の第2方式にて調整され、厳密には像面位相差オートフォーカスを採用して調整される。
特に、第4実施形態では、挿入映像Piの表示期間中において、絞り量の値に関わらず、フォーカスが第2方式である像面位相差オートフォーカスにて調整される。絞り量が十分に大きくなると(つまり、開口サイズが十分小さくなると)、像面位相差オートフォーカスでは調整精度が低下する。このため、絞り量が適正値よりも大きくなった場合にはコントラストオートフォーカスを利用するのが一般的である。適正値は、その値を境にして像面位相差オートフォーカスよりもコントラストオートフォーカスを用いた方が調整精度の点で良いとされる絞り量であり、F値で表すとF9からF13までである。
一方、像面位相差オートフォーカスを採用した場合には、フォーカスの調整速度がより速くなる。この点を踏まえて、第4実施形態において、挿入映像Piの表示期間中に実施される調整工程では、絞り量が例え前述の適正値より大きくなったとしても、フォーカスの調整速度を優先するために像面位相差オートフォーカスを採用する。これにより、選択領域の切り替え後にフォーカスを速やかに調整し、切り替え後映像Paのピントを素早く合わせることができる。
また、第4実施形態では、切り替え工程後のフォーカス調整が完了したかどうかを判定し(S067)、調整が完了するまで挿入映像Piを表示する。ただし、これに限定されるものではなく、第4実施形態において、制御部46は、予め決められた期間だけ挿入映像Piを表示してもよい。また、第4実施形態において、制御部46は、フォーカス調整が大よそ完了した段階で切り替え後映像Paを表示してもよい。
フォーカスの調整が完了した後には、フォーカス調整モードがマニュアルフォーカスモードに戻っているかを判定する(S070)。このとき、フォーカス調整モードがオートフォーカスモードであれば、マニュアルフォーカスモードに設定し(S071)、その後にステップS074に移行する。他方、調整速度が通常の調整速度に戻っていれば、そのままステップS074に移行する。
以上までの一連の工程(すなわち、ステップS066~S076)は、ユーザが終了指示を行うまでの間、繰り返し実施される(S077)。そして、ユーザの終了指示があった時点で、第4実施形態に係る映像作成フローが終了する。
以上までに説明してきたように、第4実施形態では、マニュアルフォーカスモードが選択されている場合にも、選択領域が切り替えられた直後にはフォーカスを自動的に調整することとしたが、これに限定されるものではない。例えば、選択領域が切り替えられた直後の調整工程を含め、撮影中の全期間に亘ってフォーカスを手動にて調整するフルマニュアルモードを、制御部46がフォーカス調整モードとして有してもよい。
また、上述した内容は、フォーカス調整に限られず、露光量の調整に対しても適用することが可能である。すなわち、露光量を調整するモードとして、ユーザの操作に基づき露光量が手動にて調整されるマニュアル調整モード、及び、露光量が自動的に調整されるオート調整モードが選択可能であるとする。このような構成の下でマニュアル調整モードが選択された場合に、選択領域の切り替え直後の調整工程(すなわち、挿入映像Piの表示期間中の調整工程)では自動的に露光量を調整するとよい。この結果、選択領域が切り替わる度にユーザが露光量を調整する必要がなく、ユーザにとっての利便性が向上する。
<<第5実施形態>>
前述した5つの実施形態では、映像が動画、すなわち、一定のフレームレートにて連続的に撮影される複数のフレーム画像の集合であることとした。ただし、記録される映像は、動画に限られず、静止画であってもよい。
例えば、制御部46は、図6に示すように基準映像をスルー画像としてディスプレイ28に表示し、基準映像の撮影領域において部分的な領域A2を複数設定する。そして、ユーザが複数設定された領域A2の一つを選択領域として選択した場合、制御部46は、図7に示すようにディスプレイ28に選択領域の映像を抽出して表示する。抽出された選択領域の映像が表示されている状態において、ユーザの記録指示が入力された場合、制御部46は、記録媒体に選択領域の映像の静止画ファイルを記録する。
そして、選択領域を切り替えた場合には、その後に挿入映像Piを表示し、挿入映像Piの表示期間を利用して切り替え後の選択領域について露光量等の調整を行えばよい。
以上の形態を第5実施形態とし、図16を参照しながら、第5実施形態について以下に説明する。図16は、第5実施形態に係る映像作成フローの流れについての説明図である。
第5実施形態に係る映像作成フローのうち、第1実施形態に係る映像作成フローと相違する点は、図10及び16を比較すると分かるように、選択領域の映像の記録に関わるステップS089、S090である。
具体的に説明すると、第1実施形態では、選択領域の映像を表示した後(S008)には選択領域の映像が記録されて動画ファイルが作成されることになっていた(S009)。
これに対して、第5実施形態では、選択領域の映像を表示した後に(S088)、制御部46が、ユーザによる選択領域の映像の記録指示があるかどうかを判断する(S089)。本ステップS089で記録指示がないと制御部46が判断した場合、選択領域を再選択したか否かを判断するステップS093に移行する。
他方、制御部46は、ステップS089で記録指示があると判断した場合、選択領域の映像を静止画ファイルとして記録媒体に記録する(S090)。選択領域の映像が記録媒体に記録された後には、選択領域を再選択したか否かを判断するステップS093に移行する。
なお、記録される映像が静止画である場合、露光時間を規定するシャッタ速度は、電子シャッタのシャッタ速度であってもよく、メカ部品であるシャッタ38(フォーカルプレンシャッタ)のシャッタ速度であってもよい。
<<その他の実施形態>>
以上までに説明してきた実施形態は、本発明の一実施形態の映像作成方法を分かり易く説明するために挙げた具体例であり、あくまでも一例に過ぎず、その他の実施形態も考えられる。
例えば、上述した実施形態では、電子減光フィルタ21を備えた撮影装置10を説明したが、電子減光フィルタ21を有しない撮影装置であってもよい。
また、上述した実施形態では、オートフォーカス機能を有する撮影装置10を用いているが、これに限定されず、オートフォーカス機能を欠く撮影装置であってもよい。すなわち、フォーカス用駆動部22が設けられてなく、フォーカスリング16の操作のみ(すなわち、手動のみ)でフォーカスを調整してもよい。この場合、選択領域の切り替え後の表示工程において、図15に示すような挿入映像Piを表示するとよい。図15は、挿入映像Piの第2変形例を示している。
図15に示す挿入映像Piは、フォーカスを手動にて調整するためのガイド情報を含んでいる。ここで、ガイド情報としては、合焦するようにフォーカスリング16を回す際の向きを示すメッセージ等が該当する。
以上のように、フォーカス調整用のガイド情報を含む挿入映像Piを表示することで、オートフォーカス機能がない撮影装置であっても、ガイド情報に従ってフォーカスを手動にて適切に調整することができる。
また、上記の実施形態では、撮影装置10が映像作成装置として映像ファイルを作成することとしたが、これに限定されるものではない。例えば、撮影装置と有線又は無線にて接続された他の機器、例えば、カメラコントローラ又は外付け型のレコーダを映像作成装置として用いてもよい。そして、これらの機器により、撮影装置に撮影された映像の映像ファイルを作成してもよい。
また、上述した実施形態では、撮影装置がデジタルカメラであったが、ビデオカメラ、撮像光学系付きの携帯電話、スマートフォン及びタブレット型端末などの携帯端末であってもよい。
また、撮像レンズは、上述した携帯端末の撮像光学系に外付けされるようなレンズユニットであってもよい。
10 撮影装置
12 撮影装置本体
13 マウント
14 撮影レンズ
16 フォーカスリング
18 光学部品ユニット
19 フォーカス用光学部品
20 絞り
21 電子減光フィルタ
22 フォーカス用駆動部
23 絞り駆動部
24 電圧印加部
26 レリーズボタン
28 ディスプレイ
30 第1操作ボタン
32 第2操作ボタン
34 第3操作ボタン
36 タッチパネル
38 シャッタ
40 撮像素子
42 画素
44 アナログ信号処理回路
46 制御部
47 コントローラ
48 映像処理部
50 内部メモリ
52 カードスロット
54 メモリカード
56 バッファ
A0 単位領域
A1 撮影領域
A2 領域
L1 光軸
Pa 切り替え後映像
Pb 切り替え前映像
Pi 挿入映像
FR 領域設定枠

Claims (12)

  1. 撮影レンズ及び撮像素子を備える撮影装置によって撮影した映像に基づき、映像ファイルを作成する映像作成方法であって、
    プロセッサが、第1画角である基準映像の撮影領域の中に、前記第1画角よりも小さい第2画角である複数の領域を設定する設定工程と、
    前記プロセッサが、記録される映像が映る選択領域を、前記複数の領域の中から選択する選択工程と、
    前記プロセッサが、前記選択工程の実施後に、前記選択領域を前記複数の領域の中から再選択して前記選択領域を切り替える切り替え工程と、
    前記プロセッサが、前記切り替え工程前の前記選択領域の映像である切り替え前映像と、前記切り替え工程後の前記選択領域の映像である切り替え後映像と、をそれぞれ記録する記録工程と、
    前記プロセッサが、前記切り替え前映像を表示した後に前記切り替え後映像を表示し、且つ、前記切り替え前映像の表示期間と前記切り替え後映像の表示期間との間の期間に挿入映像を表示する表示工程と、
    前記プロセッサが、前記切り替え工程後の前記選択領域の露光量、前記切り替え後映像のホワイトバランス、及び前記切り替え工程後の前記撮影レンズのフォーカスのうちの少なくとも一つを前記挿入映像の表示期間中に調整する調整工程と、を備える映像作成方法。
  2. 前記挿入映像は、前記切り替え前映像及び前記切り替え後映像に基づいた映像、若しくは、前記基準映像、前記切り替え前映像及び前記切り替え後映像のいずれにも基づいていない映像である、請求項1に記載の映像作成方法。
  3. 前記記録工程では、前記切り替え前映像と前記切り替え後映像を結合して動画ファイルを作成する、請求項1又は2に記載の映像作成方法。
  4. 前記記録工程において、前記挿入映像は、記録対象から外される、請求項3に記載の映像作成方法。
  5. 前記撮影レンズに対する入射光の絞り量を調整することで前記露光量が調整され、
    前記調整工程において前記絞り量又は前記フォーカスを調整する場合、前記挿入映像の表示期間の長さは、前記調整工程において前記絞り量又は前記フォーカスを調整する際の所要時間に応じて変わる、請求項1乃至4のいずれか一項に記載の映像作成方法。
  6. 前記所要時間が予め決められた時間以上である場合には、前記表示工程において、前記所要時間に関する情報を含む前記挿入映像を表示する、請求項5に記載の映像作成方法。
  7. 前記撮影レンズに対する入射光の絞り量を調整することで前記露光量が調整され、
    前記調整工程において前記絞り量又は前記フォーカスを調整する場合、前記挿入映像の表示期間では、前記挿入映像の表示期間以外の期間よりも、前記絞り量又は前記フォーカスの調整速度がより速い、請求項1乃至6のいずれか一項に記載の映像作成方法。
  8. 前記フォーカスを調整するモードは、ユーザの操作に基づき前記フォーカスが手動にて調整されるマニュアルフォーカスモード、及び、前記フォーカスが自動的に調整されるオートフォーカスモードの中から選択され、
    前記マニュアルフォーカスモードが選択されている場合、前記挿入映像の表示期間中における前記調整工程では前記フォーカスが自動的に調整される、請求項1乃至7のいずれか一項に記載の映像作成方法。
  9. 前記フォーカスを自動的に調整する方式には、コントラストオートフォーカスである第1方式と、像面位相差オートフォーカス、指向性光オートフォーカス、及び、Depth-from-Defocus方式のオートフォーカスの中から選ばれる第2方式とがあり、
    前記挿入映像の表示期間中における前記調整工程では、前記フォーカスが前記第2方式にて調整される、請求項1乃至8のいずれか一項に記載の映像作成方法。
  10. 前記撮影レンズに対する入射光の絞り量を調整することで前記露光量が調整され、
    前記第2方式は、前記像面位相差オートフォーカスであり、
    前記挿入映像の表示期間中における前記調整工程では、前記絞り量の値に関わらず、前記フォーカスが前記第2方式にて調整される、請求項9に記載の映像作成方法。
  11. 前記撮影装置が前記フォーカスを自動的に調整する機能を欠く場合には、前記フォーカスがユーザの操作に基づいて手動にて調整され、
    前記表示工程において、前記フォーカスを手動にて調整するためのガイド情報を含む前記挿入映像を表示する、請求項1乃至7のいずれか一項に記載の映像作成方法。
  12. 前記露光量を調整するモードは、ユーザの操作に基づき前記露光量が手動にて調整されるマニュアル調整モード、及び、前記露光量が自動的に調整されるオート調整モードの中から選択され、
    前記マニュアル調整モードが選択されている場合、前記挿入映像の表示期間中における前記調整工程では前記露光量が自動的に調整される、請求項1乃至11のいずれか一項に記載の映像作成方法。
JP2021561219A 2019-11-25 2020-10-21 映像作成方法 Active JP7345561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023142273A JP2023164919A (ja) 2019-11-25 2023-09-01 映像作成方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019212128 2019-11-25
JP2019212128 2019-11-25
PCT/JP2020/039485 WO2021106434A1 (ja) 2019-11-25 2020-10-21 映像作成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023142273A Division JP2023164919A (ja) 2019-11-25 2023-09-01 映像作成方法

Publications (2)

Publication Number Publication Date
JPWO2021106434A1 JPWO2021106434A1 (ja) 2021-06-03
JP7345561B2 true JP7345561B2 (ja) 2023-09-15

Family

ID=76129300

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021561219A Active JP7345561B2 (ja) 2019-11-25 2020-10-21 映像作成方法
JP2023142273A Pending JP2023164919A (ja) 2019-11-25 2023-09-01 映像作成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023142273A Pending JP2023164919A (ja) 2019-11-25 2023-09-01 映像作成方法

Country Status (4)

Country Link
US (2) US11689687B2 (ja)
JP (2) JP7345561B2 (ja)
CN (1) CN114830628B (ja)
WO (1) WO2021106434A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002335B (zh) * 2021-11-26 2024-04-09 荣耀终端有限公司 视频处理方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232814A (ja) 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
JP2016219905A (ja) 2015-05-15 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2017002708A1 (ja) 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220653A (ja) 1998-01-30 1999-08-10 Sony Corp 画像処理装置及びカメラシステム
JP3789121B2 (ja) 2002-11-27 2006-06-21 中央電子株式会社 表示方法および表示装置
US8525892B2 (en) * 2005-04-21 2013-09-03 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
JP2008022280A (ja) * 2006-07-12 2008-01-31 Fujifilm Corp 撮影装置、方法およびプログラム
JP5442891B2 (ja) 2008-09-12 2014-03-12 三洋電機株式会社 撮像システムおよび撮像方法
JP5438496B2 (ja) * 2009-12-22 2014-03-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム
WO2014190930A1 (zh) * 2013-05-29 2014-12-04 Wang Hao 影像信息摄录装置和影像信息摄录方法
CN105580348B (zh) * 2013-09-27 2018-12-18 富士胶片株式会社 摄像装置及摄像方法
JP2016027704A (ja) * 2014-07-04 2016-02-18 パナソニックIpマネジメント株式会社 撮像装置
JP6426308B2 (ja) * 2016-01-15 2018-11-21 富士フイルム株式会社 撮像システム、レンズ装置及びレンズ装置の作動方法
JP6808993B2 (ja) * 2016-06-17 2021-01-06 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232814A (ja) 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
JP2016219905A (ja) 2015-05-15 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2017002708A1 (ja) 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置

Also Published As

Publication number Publication date
JP2023164919A (ja) 2023-11-14
WO2021106434A1 (ja) 2021-06-03
US20220279136A1 (en) 2022-09-01
CN114830628A (zh) 2022-07-29
US11689687B2 (en) 2023-06-27
US20230276017A1 (en) 2023-08-31
CN114830628B (zh) 2024-04-26
JPWO2021106434A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
US9830947B2 (en) Image-capturing device
JP4477968B2 (ja) デジタルカメラ
US8780200B2 (en) Imaging apparatus and image capturing method which combine a first image with a second image having a wider view
US8300135B2 (en) Digital image processing apparatus and method of controlling the same
JP4509081B2 (ja) デジタルカメラ及びデジタルカメラのプログラム
KR20120128441A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2023164919A (ja) 映像作成方法
US11140331B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
US20180262691A1 (en) Imaging device and control method therefor
JP7195790B2 (ja) 撮像装置及びその制御方法
US11368629B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus for controlling exposure of region having different brightness
JP7469329B2 (ja) 映像作成方法
WO2020195073A1 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
KR101812656B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP4981955B2 (ja) 撮像装置、及びその制御方法
JP5203155B2 (ja) 撮像装置および撮像装置の制御方法
CN111771373B (zh) 摄像装置、曝光期间变焦摄影方法及记录介质
CN118042289A (en) Image making method
JP5225477B2 (ja) 撮像装置、及びその制御方法
JP5274290B2 (ja) 撮像装置および撮像装置の制御方法
JP2007124521A (ja) 画像処理装置
KR20110073974A (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP2021081589A (ja) 表示制御装置およびその制御方法およびそのプログラム
JP2010103923A (ja) 撮像装置および撮像装置の制御方法
JP2003344751A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230905

R150 Certificate of patent or registration of utility model

Ref document number: 7345561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150