JP7270052B2 - 表示方法、及び、映像処理方法 - Google Patents

表示方法、及び、映像処理方法 Download PDF

Info

Publication number
JP7270052B2
JP7270052B2 JP2021548381A JP2021548381A JP7270052B2 JP 7270052 B2 JP7270052 B2 JP 7270052B2 JP 2021548381 A JP2021548381 A JP 2021548381A JP 2021548381 A JP2021548381 A JP 2021548381A JP 7270052 B2 JP7270052 B2 JP 7270052B2
Authority
JP
Japan
Prior art keywords
display
image
displayed
support
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548381A
Other languages
English (en)
Other versions
JPWO2021059713A5 (ja
JPWO2021059713A1 (ja
Inventor
祐也 西尾
哲 和田
康一 田中
幸徳 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021059713A1 publication Critical patent/JPWO2021059713A1/ja
Publication of JPWO2021059713A5 publication Critical patent/JPWO2021059713A5/ja
Priority to JP2023070036A priority Critical patent/JP7446504B2/ja
Application granted granted Critical
Publication of JP7270052B2 publication Critical patent/JP7270052B2/ja
Priority to JP2024026464A priority patent/JP2024052840A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、映像を表示する表示方法、及び、映像を記録する映像記録方法に関する。
映像を撮影する撮影装置の中には、特許文献1及び2に記載された撮影装置のように、撮影された映像の画角の一部の映像を抽出し(切り出し)、その抽出映像を表示するものが存在する。
特許文献1及び2に記載された撮影装置は、画角内における抽出領域の位置等を所定の速度にて変化させる機能を備える。この機能を利用すれば、例えば、撮影中に撮影装置を人手で動かさなくとも、映像中の被写体を追尾したり、記録映像のアングルを一定方向にスライド移動させたりすることができる。
特開2017-46355号公報 特開2019-22026号公報
抽出範囲を移動させながら抽出範囲内の映像を表示する場合には、画角内のどの範囲が抽出されているのかをユーザが把握できるように、画角内における抽出範囲の位置を確認できることが求められている。
しかし、特許文献1及び2に記載された撮影装置を用いた映像の表示方法では、画角内を移動している抽出範囲内の映像が表示されるものの、表示された映像だけでは抽出範囲の位置を把握することが困難である。
本発明は、上記の事情に鑑みてなされたものであり、上記従来技術の問題点を解決し、画角内を移動する抽出範囲の位置をユーザに把握させるための表示方法、及び、その表示方法を採用した映像記録方法を提供することを目的とする。
上記の目的を達成するために、本発明の表示方法は、基準映像を取得する取得工程と、基準映像の画角において画角よりも小さく設定された抽出映像を、基準映像から抽出する抽出工程と、抽出映像の抽出範囲を経時的に移動させる移動工程と、抽出映像を表示装置に表示する第1表示工程と、画角と抽出範囲との位置関係に基づく支援映像を、表示装置に表示する第2表示工程と、を備え、第1表示工程の実行中に第2表示工程が実行されることを特徴とする。
上述した本発明の表示方法によれば、抽出映像の表示中に、画角と抽出範囲との位置関係に基づく支援映像を表示することにより、画角内を移動する抽出範囲の位置をユーザに把握させることができる。
また、本発明の表示方法において、支援映像は、抽出映像を含み、第2表示工程では、支援映像中の抽出映像の位置が特定された支援映像を表示してもよい。
また、本発明の表示方法は、基準映像及び抽出映像のうちの少なくとも一つに関する情報を表示装置に表示する第3表示工程をさらに備えてもよい。この場合、第1表示工程及び第2表示工程の両方の実行中に、第3表示工程が実行されると、より好ましい。
また、本発明の表示方法において、第1表示工程では、抽出映像の表示サイズを変更可能な状態で抽出映像を表示し、第2表示工程では、支援映像の縦横比及び支援映像の表示サイズを変更可能な状態で支援映像を表示してもよい。
この場合、第1表示工程では、抽出映像の縦横比を一定に維持しながら抽出映像の表示サイズを変更可能な状態で抽出映像を表示し、第2表示工程では、抽出映像の表示サイズに伴って、支援映像の表示サイズを変更した状態で支援映像を表示してもよい。
あるいは、上記の表示方法において、第2表示工程では、抽出映像の表示サイズの変更に伴って、基準映像における一部分の映像を示す支援映像を、支援映像の縦横比を一定に維持しながら支援映像の表示サイズを変更した状態で表示してもよい。
また、本発明の表示方法において、第2表示工程は、第1表示方式及び第2表示方式のうち、ユーザによって選択された表示方式に応じて実行され、第1表示方式が選択された場合、第2表示工程では、支援映像の縦横比及び支援映像の表示サイズを変更可能な状態で支援映像を表示し、第2表示方式が選択された場合、第2表示工程では、基準映像における一部分の映像を示す支援映像を、支援映像の縦横比を一定に維持しながら支援映像の表示サイズを変更可能な状態で表示してもよい。
また、取得工程は、画角にて基準映像を撮影する撮影工程であってもよい。この場合、撮影工程では、アナモフィックレンズを用いて画角にて基準映像を撮影し、第1表示工程では、抽出映像を、アナモフィックレンズを用いた画角の横方向におけるサイズを伸ばして表示してもよい。
また、本発明の表示方法において、移動工程は、撮影工程の実行中に実行され、移動工程では、移動工程の実行中に受け付けたユーザによる指示に基づいて、抽出範囲の位置、サイズ、移動速度及び移動方向のうちの少なくとも一つを変更してもよい。
また、本発明の表示方法において、移動工程では、ユーザにより設定された追尾対象の被写体が抽出範囲内に入るように抽出範囲を画角内で移動させてもよい。
また、表示装置は、互いに別装置である第1表示装置及び第2表示装置を含んでもよい。この場合、第1表示装置は、第1表示装置に抽出映像を表示し、第2表示装置は、第2表示装置に支援映像を表示してもよい。
また、本発明の表示方法は、基準映像及び抽出映像のうちの少なくとも一つに関する文字情報を、第2表示装置に表示する第3表示工程を備えてもよい。この場合、第1表示工程及び第2表示工程の両方の実行中に第3表示工程が実行され、第1表示工程中に第1表示装置を縦横反転させた場合には、第2表示工程では、縦横反転させた支援映像を第2表示装置に表示し、第3表示工程では、表示向きが維持された文字情報を第2表示装置に表示してもよい。
また、本発明の表示方法は、移動工程の実行中に、画角の端と抽出範囲の端との間の距離が閾値未満であるか否かを判定する判定工程と、距離が閾値未満である場合には、ユーザに対して警告を行う警告工程とを備えてもよい。
また、本発明によれば、上述の表示方法を採用し、且つ、抽出映像を記録媒体に記録する記録工程を備える映像記録方法を提供することができる。
また、本発明は、プロセッサを有する映像表示用の装置であって、プロセッサが、基準映像を取得する取得工程と、基準映像の画角において画角よりも小さく設定された抽出映像を、基準映像から抽出する抽出工程と、抽出映像の抽出範囲を経時的に移動させる移動工程と、抽出映像を表示装置に表示する第1表示工程と、画角と抽出範囲との位置関係に基づく支援映像を、表示装置に表示する第2表示工程と、を実行し、第1表示工程の実行中に第2表示工程を実行するように構成された装置を提供する。
本発明の表示方法及び映像記録方法によれば、画角内を移動する抽出範囲の位置をユーザに把握させることが可能である。
本発明の第1実施形態に係る表示方法に用いられる撮影装置の外観を正面側から見た図である。 本発明の第1実施形態に係る表示方法に用いられる撮影装置の外観を背面側から見た図である。 本発明の第1実施形態に係る表示方法に用いられる撮影装置が備える撮影装置本体の構成を示す図である。 本発明の第1実施形態において撮影中に表示装置に表示される画面例を示す図である。 抽出映像についての説明図である。 抽出モード選択画面を示す図である。 追尾モードでの抽出範囲の移動経路を示す図である。 パニングモードでの抽出範囲の移動経路を示す図である。 支援映像についての説明図である。 設定内容等の情報についての説明図である。 本発明の第1実施形態に係る表示方法に関する処理フローを示す図である(その1)。 本発明の第1実施形態に係る表示方法に関する処理フローを示す図である(その2)。 本発明の第2実施形態に係る表示装置の画面例を示す図である(その1)。 本発明の第2実施形態に係る表示装置の画面例を示す図である(その2)。 表示方式選択画面を示す図である。 本発明の第3実施形態に係る表示方法に用いられる撮影システムの構成を示す図である。 本発明の第3実施形態に係る表示装置の画面例を示す図である。 本発明の第3実施形態において撮影装置が縦横反転したときの表示装置の画面例を示す図である。
以下、本発明の好適な実施形態(第1実施形態~第4実施形態)について、添付の図面を参照しながら詳細に説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
<<第1実施形態>>
本発明の第1実施形態は、図1及び2に示す撮影装置10を用いる表示方法に関する。すなわち、本発明の第1実施形態に係る表示方法は、撮影装置10によって実現される。
[撮影装置の基本構成]
撮影装置10の基本構成について、図1~3を参照しながら説明する。
撮影装置10は、携帯可能なデジタルカメラであり、図1及び2に示す外観を有し、静止画像及び動画像を撮影する。また、撮影装置10は、撮影した画像(映像)を表示し、且つ、映像を記録する機能を有する。本明細書では、撮影装置10の機能のうち、動画像である映像をリアルタイムに撮影する機能について主に説明する。
撮影装置10は、撮影装置本体12と筐体14とによって構成されている。撮影装置本体12は、撮影装置10のうち、筐体14を除く部分である。筐体14は、一般的なデジタルカメラの筐体と略同じ構造であり、その内部には、図3に示す撮影部20、並びに、コントローラ30及び映像処理部32を含む制御部等が収容されている。
撮影部20は、映像を撮影する機器であり、図3に示すように、レンズユニット110、レンズ駆動部120、絞り部130、シャッタ140、撮影センサ150、及びA/D(Analog/Digital)コンバータ160を有する。
レンズユニット110は、ズームレンズ112及びフォーカスレンズ114を有し、第1実施形態では、ズームレンズ112がアナモフィックレンズを搭載している。そのため、第1実施形態では、横方向に広い画角(例えば、縦横比2.35:1の画角)で映像を撮影することが可能である。ただし、アナモフィックレンズに限定されず、広角レンズ、超広角レンズ及び360度レンズ等の撮影レンズが用いられてもよい。また、レンズユニット110は、他のレンズユニットに交換可能に構成されてもよい。また、撮影部20は、互いに画角が異なる複数のレンズユニット110を備えてもよい。
ここで、撮影部20が映像を撮影する際の画角は、レンズユニット110及び撮影センサ150の仕様等に応じて決まり、その画角で撮影される映像は、本発明の「基準映像」に相当する。基準映像の縦横比(アスペクト比)は、上記の画角に対応した値となり、アナモフィックレンズが用いられる場合には、例えば2.35:1となる。
レンズ駆動部120は、不図示の駆動モータと、不図示の駆動機構とによって構成され、レンズユニット110のレンズを光軸に沿って移動させる。
絞り部130は、ユーザの設定に応じて、あるいは自動的に開口部の大きさを調整し、開口部を通過する光の量を調整する。
シャッタ140は、撮影センサ150への透過光を遮断する。
撮影センサ150は、例えばCCD(Charged Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等で構成されており、レンズユニット110を介して被写体からの光を受光して結像し、画像データを生成する。具体的には、撮影センサ150は、カラーフィルタを通じて受光した光信号を受光素子にて電気信号に変換し、その電気信号をAGC(Auto Gain Controller)によって増幅し、増幅後の信号からアナログ画像データを生成する。
A/Dコンバータ160は、撮影センサ150で生成されたアナログ画像データをデジタル画像データに変換する。このデジタル画像データは、動画像である基準映像を構成するフレーム画像のデータに該当する。
なお、デジタル画像データを構成する画素データの数(すなわち、画素数)は、特に限定されないが、第1実施形態では画素数が1000万以上であり、好ましくは、画素数の下限が6000万以上であるとよい。また、第1実施形態における画素数の好ましい上限は、10億以下であり、より好ましくは5億以下である。画素数が下限を上回っていれば、基準映像から抽出される抽出映像の視認性が担保できる。また、画素数が上限を下回っていれば、基準映像の画素情報量をより少なくすることができるため、制御部(具体的には、映像処理部32)による処理が高速化する。
コントローラ30は、ユーザの操作に従って、あるいは自動的に撮影装置本体12の各部を制御し、例えば、撮影部20を制御して撮影部20に基準映像を撮影(取得)させることができる。また、コントローラ30は、映像(詳しくは、後述する抽出映像)が記録媒体に記録されるように映像処理部32を制御することができる。また、コントローラ30は、撮影部20によって生成されたデジタル画像データが示す画像の全体又は一部のコントラスト等に基づいて、レンズユニット110の焦点を画像中の被写体に合焦させるようにレンズ駆動部120を制御することができる。また、コントローラ30は、撮影部20によって生成されたデジタル画像データが示す画像の全体又は一部の輝度に基づいて、絞り部130を制御し、撮影時の露光量を自動的に調整することができる。また、コントローラ30は、ユーザの操作に従って、又は被写体と撮影装置10との距離に応じて自動的に、ズーム(光学ズーム)を行うようにレンズ駆動部120を制御することができる。
映像処理部32は、コントローラ30による制御の下、撮影部20によって生成されたデジタル画像データに対してガンマ補正、ホワイトバランス補正、及び傷補正等の処理を行い、さらに、所定の規格に準拠した圧縮形式にて圧縮する。そして、映像処理部32は、撮影中に順次生成される圧縮デジタル画像データから基準映像を取得し、取得した基準映像に対して種々の処理を実行する。基準映像に対する処理の一例として、映像処理部32は、撮影部20の画角内において当該画角よりも小さい抽出映像(いわゆるクロップ画像)を、基準映像から抽出することができる。また、映像処理部32は、抽出映像内の被写体の映像に対してズーム(電子ズーム)を行うために、抽出映像の範囲(以下、抽出範囲と呼ぶ。)のサイズを変更することができる。ここで、抽出範囲のサイズとは、抽出映像の画素数(厳密には、抽出映像の縦横それぞれの画素数)である。
なお、コントローラ30及び映像処理部32を含む制御部は、一つ又は複数のマイクロコントローラ又はプロセッサからなる。具体的には、制御部は、例えばCPU(Central Processing Unit)と、CPUに各種の処理を実行させるための制御プログラムから構成される。ただし、これに限定されるものではなく、上記のプロセッサは、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、MPU(Micro-Processing Unit)、又はその他のIC(Integrated Circuit)によって構成されてもよく、若しくは、これらを組み合わせて構成されてもよい。また、上記のプロセッサは、SoC(System on Chip)等に代表されるように、コントローラ30及び映像処理部32を含む制御部全体の機能を一つのIC(Integrated Circuit)チップで構成してもよい。さらに、以上に挙げた各プロセッサのハードウェア構成は、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)で実現してもよい。
筐体14内には、さらに、撮影装置本体12に内蔵された内蔵メモリ230、カードスロット260を介して撮影装置本体12に対して着脱可能なメモリカード240、及び、バッファ250が収容されている。内蔵メモリ230及びメモリカード240は、前述の抽出映像が記録される記録媒体であり、フラッシュメモリ又は強誘電体メモリ等で構成されている。バッファ250は、コントローラ30及び映像処理部32のワークメモリとして機能し、例えば、DRAM(Dynamic Random Access Memory)又は強誘電体メモリ等で構成されている。また、バッファ250には、各種の設定内容及び撮影条件等が格納される。
なお、記録媒体は、撮影装置本体12の内部に設けられている必要はなく、インターネットを経由して撮影装置本体12に接続された外部の記録媒体でもよい。また、記録媒体は、USB(Universal Serial Bus)ケーブル又はHDMI(High-Definition Multimedia Interface)(登録商標)等のケーブルを介して、あるいは無線形式で撮影装置本体12に接続されたものでもよい。
筐体14の背面には、図2に示すように、表示装置40が取り付けられている。表示装置40は、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機EL(Organic Electroluminescence Display)ディスプレイ、LED(Light Emitting Diode)ディスプレイ又は電子ペーパー等で構成されている。表示装置40には、前述した抽出映像を含む各種の映像が表示され、また、撮影条件等の設定及びモード選択用の操作画面も表示される。
なお、第1実施形態において、表示装置40の画面の縦横比は、画角の縦横比と異なっており、例えば4:3あるいは16:9であり、表示装置40の画面の方が画角に比べて、横幅/縦幅に相当する値が小さい。
筐体14には操作部50が備わっており、ユーザは、操作部50を通じて撮影に関する各種の操作を行う。操作部50は、例えば、図1及び2に示すように、筐体14に配設されたレリーズボタン310、ズームレバー320、前側操作ダイヤル330、後側操作ダイヤル340、十字ボタン350、及びタッチホイール360等を含む。これらの機器は、ユーザに操作されると、コントローラ30に向けて種々の制御信号を送信する。例えば、ズームレバー320が操作されると、その操作に応じてズーム倍率を変更する制御信号がコントローラ30に向けて送信され、コントローラ30は、その制御信号に従い、ズームレンズ112を移動させるためにレンズ駆動部120を制御する。
また、第1実施形態では、表示装置40がタッチパネルディスプレイであり、操作部50として兼用される。ユーザが表示装置40の画面をタッチすると、そのタッチ位置に応じた制御信号がコントローラ30に向けて送信される。例えば、後述する抽出モード選択画面(図6参照)が表示装置40に表示され、ユーザが複数のモードの中の一つを選択し、画面中に描画された複数のモード選択ボタンのうち、対応する一つのボタンをタッチする。その結果、選択されたモードに設定するための制御信号がコントローラ30に向けて送信される。なお、ユーザは、表示装置40の画面をタッチすることにより、制御部に対してズーム処理又はシャッタ処理(撮影処理)を指示することができる。
[撮影中の表示装置の画面例について]
次に、第1実施形態において撮影中に表示装置40に表示される画面例について、図4を参照しながら説明する。
第1実施形態では、撮影中、表示装置40の画面が三つの領域に分割され、図4に示すように、第1の領域に抽出映像P1が、第2の領域に支援映像P2が、第3の領域に設定内容等の情報IFが、それぞれ同時に表示される。
以下において、抽出映像P1、支援映像P2及び設定内容等の情報IFのそれぞれについて詳しく説明する。
(抽出映像)
抽出映像P1は、図5に示すように、基準映像P0の画角A0において画角A0よりも小さく設定された映像であり、基準映像P0から抽出される(切り出される)。
第1実施形態では、基準映像P0が1000万以上(好ましくは6000万以上)の画素からなる高画質映像であるため、その中から抽出される抽出映像P1も十分に高画質な映像となる。
なお、第1実施形態では抽出映像P1の外縁が長方形の形状であるが、抽出映像P1の外縁形状は特に限定されず、正方形、平行四辺形、台形、菱形、円状又は楕円状、三角形又は五角形以上の多角形、あるいは不定形であってもよい。
抽出映像P1は、撮影中、映像処理部32によって基準映像P0から随時抽出され、映像処理部32によって表示装置40の画面における第1の領域に表示される。このとき、抽出映像P1は、その縦横比を一定に維持しながら、第1の領域に収まるように表示サイズを変更可能な状態で表示される。アナモフィックレンズを用いて撮影する場合、抽出映像P1は、アナモフィックレンズを用いた場合の画角A0の横方向におけるサイズを伸ばして表示される。これは、撮影センサ150による結像時点で画像サイズが画角A0の横方向において一旦圧縮され、抽出映像P1を表示する際に表示サイズを元のサイズに戻すためである。
なお、図4に示す画面例では、表示装置40の画面において最も下に位置する領域に抽出映像P1が表示されている。しかし、これに限定されるものではなく、例えば、表示装置40の画面において最も上側に位置する領域、若しくは中央の領域に抽出映像P1が表示されてもよい。
また、撮影中、画角A0における抽出映像P1の範囲、すなわち抽出範囲A1を画角A0内で経時的に移動させることができる。ここで、「経時的に移動させる」とは、抽出範囲A1の位置が漸次的に変化するように抽出範囲A1を画角A0に対して相対的に動かすことを意味し、途中で移動が停止(中断)する場合も含み得る。
抽出範囲A1の経時的な移動は、映像処理部32によって実現される。具体的に説明すると、ユーザが、図6に示す抽出モード選択画面を通じて一つのモードを選択すると、映像処理部32は、選択されたモードに応じた移動経路に沿って抽出範囲A1を画角A0内で移動させる。
より具体的に説明すると、第1実施形態では、2種類の抽出モードが用意されている。一方のモードは、追尾対象の被写体を追尾するように抽出範囲A1を移動させるモード(以下、追尾モードと呼ぶ。)である。もう一方のモードは、一定方向に抽出範囲A1を移動させるモード(以下、パニングモードと呼ぶ。)である。
追尾モードが選択された場合、映像処理部32は、追尾対象の被写体を追尾するように抽出範囲A1を移動させる。その手順について説明すると、追尾モードが選択された場合、ユーザが抽出映像P1内の被写体の映像を画面上でタッチする等して指定する。映像処理部32が、ユーザによって指定された被写体を追尾対象として設定する。以降、映像処理部32は、図7に示すように抽出範囲A1内に追尾対象の被写体が収まるように抽出範囲A1を移動させる。
以上により、追尾モードが選択されると、追尾対象の被写体が画角A0内に存在している限り、追尾対象の被写体が映った抽出映像P1を表示装置40に常時表示することができる。また、被写体を追尾するためにユーザが撮影装置10を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更によって生じる映像の乱れ(映像ブレ等)を回避することもできる。こうした効果は、アナモフィックレンズを用いたときの画角で撮影を行う場合には、特に有効である。
なお、画角A0内で追尾対象の被写体を探索するアルゴリズムは、特に制限されるものではない。一例を挙げると、追尾対象として設定された被写体の画像をテンプレート画像としてバッファ250に記憶しておき、公知のテンプレートマッチング技術を適用して、上記のテンプレート画像と基準映像P0とを比較する。そして、比較の結果、テンプレート画像とマッチングする部分の映像を追尾対象の被写体の映像として特定すればよい。
パニングモードが選択された場合、映像処理部32は、一定方向(例えば、画角A0の横方向)に抽出範囲A1をスライド移動、すなわちパニングさせる。その手順について説明すると、パニングモードが選択された場合、ユーザが抽出範囲A1の開始位置、移動方向及び移動速度等を不図示の設定画面で設定する。その後、映像処理部32が、図8に示すように、設定された開始位置から設定された方向へ、設定された速度で抽出範囲A1を自動的にパニングさせる。
以上により、パニングモードが選択されると、撮影アングルを一定方向に連続的に変化させたような映像、言わばパノラマ映像を表示装置40に表示することができる。また、アングル変更のためにユーザが撮影装置10を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更によって生じる映像の乱れ(映像ブレ等)を回避することもできる。こうした効果は、アナモフィックレンズを用いたときの画角で撮影を行う場合には、特に有効である。
ところで、抽出範囲A1に関する設定事項、例えば、サイズ、縦横比、面積率、及び移動中の移動速度等については、通常、初期設定された内容が採用されるが、不図示の設定画面にてユーザが任意に設定することができる。抽出範囲A1の縦横比は、抽出映像P1の縦横比であり、厳密には、縦横それぞれの画素数の比率である。抽出範囲A1の面積率は、画角A0に対する抽出範囲A1の面積の比率である。抽出範囲A1の移動速度は、画角A0を画素単位で区画したときに、移動中の抽出範囲A1が単位時間において通過する画素数である。
また、第1実施形態では、抽出範囲A1の移動中にユーザによる指示を、操作部50を通じて受け付け、その指示に基づいて抽出範囲A1のサイズ、移動速度、移動方向及び移動中の位置等を変更することができる。例えば、サイズは、前側操作ダイヤル330の操作により変更可能とし、移動速度は、後側操作ダイヤル340の操作により変更可能とすればよい。また、移動方向は、十字ボタン350の操作により変更可能とし、移動中の位置は、表示装置40のタッチパネルにより変更可能とすればよい。この場合、ユーザは、抽出範囲A1に関する各種の設定内容を、抽出範囲A1の移動中の状況に応じてリアルタイムに、且つ直感的に変更することができる。
なお、抽出範囲A1の設定内容を変更する場合に操作される機器に関しては、上述した対応関係に限定されず、例えば、抽出範囲A1のサイズをタッチホイール360の操作に基づいて変更してもよい。
(支援映像)
支援映像P2は、撮影中における画角A0と抽出範囲A1との位置関係に基づく映像であり、ユーザが撮影中に画角A0内における抽出範囲A1の位置を把握するために表示される。支援映像P2は、映像処理部32によって表示装置40に表示される。具体的に説明すると、映像処理部32は、撮影中、抽出範囲A1の位置及びサイズ等を認識し、これらの情報に基づいて支援映像P2を生成して表示装置40に表示する。
また、支援映像P2は、図9に示すように抽出映像P1を含む映像であり、第1実施形態では、基準映像P0(厳密には、縦横比を維持しながら表示サイズを縮小した基準映像P0)の全体によって構成されている。
また、支援映像P2は、支援映像P2中の抽出映像P1の位置が特定された映像になっており、具体的には、図9に示すように抽出映像P1を枠で囲んだ映像となっている。
なお、支援映像P2中の抽出映像P1の位置を特定する態様については、枠で囲む態様以外の態様であってもよい。例えば、支援映像P2において抽出映像P1の表示色のみをハイライト色に変更する態様、又は支援映像P2中の抽出映像P1付近にカーソル等の指示マークを表示する態様でもよい。また、支援映像P2中、抽出映像P1以外の領域の表示色を半透明又はグレー色等にして抽出映像P1を強調するようにしてもよい。
また、抽出範囲A1が撮影中に移動した場合には、それに連動する形で支援映像P2中の抽出映像P1の位置も変化する。また、移動中に抽出範囲A1の大きさ、縦横比及び位置が変更された場合には、変更後の設定内容に応じて支援映像P2中の抽出映像P1の大きさ、縦横比及び位置も変化する。
以上までに説明してきた支援映像P2は、撮影中、映像処理部32によって画角A0と抽出範囲A1との位置関係に基づいて随時生成され、映像処理部32によって表示装置40の画面における第2の領域に表示される。このとき、支援映像P2は、その縦横比を一定に維持しながら、第2の領域に収まるように表示サイズを変更可能な状態で表示される。
ここで、一般的なレンズを用いた場合、支援映像P2は、基準映像P0(すなわち、画角A0)と同じ縦横比を有する。一方で、アナモフィックレンズを用いて撮影した場合には、基準映像P0を画角A0の横方向に伸ばして縦横比2.35:1の横長な映像とし、その基準映像P0を支援映像P2として表示装置40に表示する。なお、表示装置40における表示画面の縦横比は、支援映像P2の縦横比と異なる場合が多い(例えば、4:3又は16:9)。そのため、支援映像P2を表示装置40に表示すると、表示画面の上下方向において支援映像P2と隣り合う箇所にスペース(余白)が生じる場合が多い。このスペースを利用することで、抽出映像P1及び支援映像P2を同時に表示装置40に収まりよく表示することができる。
なお、第1実施形態では、図4に示すように、抽出映像P1の直上位置に支援映像P2が表示されるが、これに限定されるものではなく、抽出映像P1の下方に支援映像P2が表示されてもよい。
(設定内容等の情報)
設定内容等の情報IFは、基準映像P0及び抽出映像P1のうちの少なくとも一つに関する情報であり、第1実施形態では、基準映像P0及び抽出映像P1のそれぞれに関する文字情報である。
設定内容等の情報IFは、コントローラ30と映像処理部32との協働によって表示装置40に表示される。具体的に説明すると、コントローラ30が設定内容及び撮影条件等をバッファ250から読み出し、映像処理部32が、コントローラ30によって読み出された情報に基づいて、設定内容等の情報IFを表示装置40に表示する。
設定内容等の情報IFは、図10に示すように、基準映像P0及び抽出映像P1のそれぞれについての設定内容(図10中、「設定時」と表記されたカテゴリに属する内容)と、撮影中の情報(図10中、「撮影時」と表記されたカテゴリに属する情報)とを含む。
設定内容等の情報IFとして表示される情報は、特に限定されないが、一例としては、抽出映像P1の縦横比及び画素数、抽出範囲A1の位置及び面積率、移動中の抽出範囲A1の移動距離、抽出範囲A1の端から画角A0の端までの距離、移動中の抽出範囲A1が画角A0の端に到達するまでの推定時間、抽出範囲A1の設定操作方法、撮影時間、各種の撮影条件(例えば、露出条件、レンズのf値、ISO感度、及びホワイトバランス等)、抽出領域の画素数(4K、又はFull HD[High Definition]等)、並びに動画像撮影時のフレームレート等が挙げられる。
抽出範囲A1の位置は、抽出範囲A1の代表位置(例えば、中心位置又は4つの頂点の位置等)であり、画角A0において設定された基準位置(例えば、画角A0の左上の頂点位置)を原点としたときの座標として表される。移動中の抽出範囲A1の移動距離は、移動開始時点からの抽出範囲A1の総移動距離を画素単位で求め、例えば、移動方向における画角A0の長さを基準としたときの相対値(割合)として表される。移動中の抽出範囲A1が画角A0の端に到達するまでの推定時間は、抽出範囲A1が画角A0の端まで移動する所要時間であり、抽出範囲A1の端から画角A0の端までの距離と、抽出範囲A1の移動速度から求められる。抽出範囲A1の設定操作方法とは、抽出範囲A1に関して「ある内容」を設定するときに操作部50のうち、どの機器を操作するのかを示す情報である。
また、抽出範囲A1が撮影中に移動した場合には、それに連動する形で、表示される設定内容等の情報IF(具体的には、抽出範囲A1の位置等)が変化する。また、移動中に抽出範囲A1の大きさ及び縦横比等が変更された場合には、変更後の設定内容に応じて設定内容等の情報IFが更新される。
設定内容等の情報IFは、撮影中、映像処理部32によって抽出映像P1及び支援映像P2とともに表示装置40に表示される。第1実施形態では、図4に示すように、設定内容等の情報IFが抽出映像P1及び支援映像P2のそれぞれと横方向に並ぶ位置(例えば、右隣の位置)で表示される。ただし、これに限定されるものではなく、例えば、抽出映像P1の上方位置又は下方位置、若しくは支援映像P2の上方位置又は下方位置に設定内容等の情報IFが表示されてもよい。また、表示装置40の画面において設定内容等の情報IFが表示される領域が複数設けられてもよく、そのうちの一つの領域に基準映像P0に関する情報が表示され、別の領域に抽出映像P1に関する情報が表示されてもよい。
[表示方法について]
次に、上述した撮影装置10を用いた表示方法について、図11及び12を参照しながら説明する。図11及び12は、撮影装置10による表示フローの流れを示す。図11及び12に示す表示フローでは、本発明の表示方法が採用されており、換言すると、図11及び12に示す各工程は、本発明の表示方法の構成要素に該当する。さらに、上記の表示フローでは、本発明の表示方法を採用し、且つ、後述の記録工程が実行される。つまり、上記の表示フローでは、本発明の映像記録方法が採用されている。
表示フローの開始に際して、ユーザは、撮影装置10を起動する。装置起動後には、コントローラ30が設定工程を実行する(S001)。設定工程では、予め設定された初期値、又はユーザによって指示された内容に基づいて抽出範囲A1が画角A0内で設定される。
その後、コントローラ30が撮影部20を制御して撮影工程の実行を開始する(S002)。撮影工程は、動画像である基準映像P0を取得する取得工程に該当し、第1実施形態では、アナモフィックレンズを用いた場合の画角A0にて基準映像P0を撮影する工程である。
撮影工程が実行されると、映像処理部32がコントローラ30の制御の下、抽出工程を実行する(S003)。抽出工程において、映像処理部32は、設定工程で設定された抽出範囲A1の映像、すなわち抽出映像P1を基準映像P0から抽出する。
映像処理部32は、抽出映像P1の抽出に伴い、抽出映像P1を表示装置40に表示する第1表示工程と、前述した支援映像P2を表示装置40に表示する第2表示工程とを実行する(S004)。ここで、第2表示工程は、第1表示工程の実行中に実行される。これにより、撮影中には、抽出映像P1と支援映像P2とが表示装置40に同時に表示される。
撮影工程においてアナモフィックレンズを用いて基準映像P0を撮影する場合、第1表示工程では、抽出映像P1を、アナモフィックレンズを用いた場合の画角A0の横方向におけるサイズを伸ばして表示する。また、第1実施形態において、第1表示工程では、抽出映像P1の縦横比を一定に維持しながら抽出映像P1の表示サイズを変更可能な状態で抽出映像P1を表示する。
また、第2表示工程では、支援映像P2中の抽出映像P1の位置が特定された支援映像P2、具体的には、図9に示すように抽出映像P1の部分が枠囲みされた支援映像P2が表示される。なお、抽出映像P1の表示サイズが変更された場合、第2表示工程では、抽出映像P1の表示サイズの変更に伴って、支援映像P2の表示サイズを変更した状態で支援映像P2を表示する。このとき、支援映像P2の縦横比を一定としながら表示サイズを変更した状態で支援映像P2を表示するのが好ましい。
さらに、第1実施形態では、第1表示工程及び第2表示工程の両方の実行中に、設定内容等の情報IFを表示装置40に表示する第3表示工程をさらに実行する。これにより、撮影中、抽出映像P1、支援映像P2及び設定内容等の情報IFが表示装置40に同時に表示されるようになる。
抽出映像P1の抽出が開始された後にユーザがレリーズボタン310を押すと、これを契機として記録工程の実行が開始される(S005)。記録工程では、抽出映像P1が映像処理部32によって記録媒体としての内蔵メモリ230又はメモリカード240に記録される。第1実施形態では、記録する映像が抽出映像P1のみに限定され、それ以外の映像、すなわち基準映像P0及び支援映像P2は記録されずに破棄される。これにより、記録容量の使用量をより小さくすることができる。ただし、これに限定されず、基準映像P0及び支援映像P2の一方又は両方を抽出映像P1とともに記録してもよい。
また、撮影工程の実行中に、ユーザが抽出範囲A1を画角A0内で移動させる指示を行うと(S006)、映像処理部32によって移動工程が実行される(S007)。移動工程では、抽出範囲A1が画角A0内において前述した追尾モード及びパニングモードのうち、ユーザが選択したモードに応じた移動経路に沿って移動する。より詳しく説明すると、追尾モードが選択された場合には、ユーザにより設定された追尾対象の被写体が抽出範囲A1内に入るように抽出範囲A1を画角A0内で移動させる。他方、パニングモードが選択された場合の移動工程では、ユーザにより設定された開始位置、移動方向及び移動速度に基づいて抽出範囲A1がスライド移動(パニング)する。
移動工程が実行された場合、映像処理部32は、抽出範囲A1の移動に応じて第1表示工程、第2表示工程及び第3表示工程を実行する(S008)。具体的に説明すると、第1表示工程では、抽出範囲A1が移動している間の抽出映像P1を表示する。そして、第2表示工程では、支援映像P2中の抽出映像P1の位置が変わるように支援映像P2を表示し、第3表示工程では、設定内容等の情報IFを抽出範囲A1の移動に応じて更新して表示する。なお、ステップS008では、ステップS005と同様、第1表示工程の実行中に第2表示工程を実行し、第1表示工程及び第2表示工程の両方の実行中に第3表示工程を実行する。
また、移動工程が実行された場合、映像処理部32は、移動工程により抽出範囲A1が移動している間の抽出映像P1を記録するように記録工程を実行する(S009)。
一方、抽出範囲A1の移動に対するユーザの指示がない場合には、ユーザの撮影終了指示があるまで(S010)、上述した第1~第3表示工程及び記録工程の実行を繰り返し、撮影終了指示がなされた時点で表示フローが終了する。この時点で撮影が終わり、抽出映像P1の記録が終了する。なお、ユーザが撮影終了を指示する操作については、特に限定されないが、例えば、レリーズボタン310を再度押す操作を撮影終了指示としてもよい。
移動工程が実行されたケースの処理フローに戻って説明すると、移動工程の実行中にユーザが抽出範囲A1の位置、サイズ、移動速度及び移動方向(以下、「抽出範囲A1の位置等」と呼ぶ。)の少なくとも一つを変更する指示を行うと(S011)、コントローラ30が設定工程を再実行する(S012)。再実行される設定工程では、移動工程の実行中に受け付けたユーザの指示に基づいて、抽出範囲A1の位置等が再設定される。
その後、ステップS007に戻り、移動工程、第1~第3表示工程及び記録工程の各々が繰り返し実行される。抽出範囲A1の位置等が再設定された後の移動工程では、移動工程の実行中に受け付けたユーザによる指示に基づいて抽出範囲A1の位置等の少なくとも一つを変更した上で、抽出範囲A1を移動させる。
また、その後の第1~第3表示工程(すなわち、ステップS008)では、位置等が変更された抽出範囲A1に基づく抽出映像P1、支援映像P2及び設定内容等の情報IFが表示装置40に表示される。具体的に説明すると、第1表示工程では、抽出範囲A1の位置等が変更した後の抽出映像P1を表示する。第2表示工程では、支援映像P2中の抽出映像P1の位置が変更後の位置となった支援映像P2を表示する。第3表示工程では、設定内容等の情報IFを抽出範囲A1の位置等の変更に応じて更新して表示する。
また、移動工程が実行されるケースでは、映像処理部32が判定工程を適宜実行する(S013)。判定工程は、移動工程の実行中に実行され、判定工程では、画角A0の端と抽出範囲A1の端(厳密には、画角A0の端に接近している側の端)との間の距離が閾値未満であるか否かを判定する。
判定工程において上記の距離が閾値未満であると判定した場合(S014)、映像処理部32は、警告工程を実行し(S015)、ユーザに対して警告を行う。これにより、抽出範囲A1が画角の端近傍に接近していることをユーザに知らせ、画角変更のための操作、又は撮影終了指示のための操作等をユーザに促すことができる。なお、警告工程での警告方法については、特に限定されないが、例えば、警告メッセージを表示装置40に表示すること、又は抽出映像P1の外縁枠を所定の色(具体的には、赤など)に変更すること等が挙げられる。
そして、移動工程が実行されるケースでは、ユーザの撮影終了指示があるまで(S016)、上述した一連のステップS007~S015を繰り返し、撮影終了指示がなされた時点で表示フローが終了する。この時点で撮影が終わり、抽出映像P1の記録が終了する。
以上のように、第1実施形態に係る映像表示方法では、画角A0よりも小さい抽出映像P1を基準映像P0から抽出し、また、抽出範囲A1を画角A0内で移動させることができる。さらに、抽出範囲A1の移動中には、抽出映像P1を表示装置40に表示することにより、ユーザが抽出映像P1を確認することができる。このとき、画角A0内の抽出範囲A1の位置が把握可能であることが好ましい。そこで、第1実施形態では、画角A0内の抽出範囲A1の位置を表すインターフェースとしての支援映像P2を抽出映像P1とともに表示装置40に表示する。これにより、抽出範囲A1が画角A0内を移動しても、ユーザは、移動中の各時点で抽出範囲A1の位置を把握することができる。こうした効果は、追尾モードが選択されて所定の被写体を追尾するように抽出範囲A1が被写体の動きに合わせてランダムに移動する場合には特に有効である。
また、第1実施形態では、移動工程の実行中にユーザによる変更指示が受け付けられると、その指示に基づいて抽出範囲A1の位置、サイズ、移動速度及び移動方向のうちの少なくとも一つが変更される。このような場合には、ユーザが抽出範囲A1の位置を把握できるという効果がより際立って発揮される。
また、第1実施形態では、支援映像P2が抽出映像P1を含み、支援映像P2中の抽出映像P1の位置が特定された状態(例えば、抽出映像P1が枠囲みされた状態)で支援映像P2が表示される。これにより、ユーザはより容易に抽出範囲A1の位置を把握することができる。
また、第1実施形態では、基準映像P0及び抽出映像P1の少なくとも一方に関する情報、すなわち設定内容等の情報IFが、抽出映像P1及び支援映像P2と同時に表示装置40に表示される。これにより、ユーザは、設定内容等の情報IFが示す様々な情報を確認することができ、支援映像P2から特定される抽出範囲A1の位置について、より詳しい情報を知ることができる。
<<第2実施形態>>
第1実施形態において、支援映像P2は、基準映像P0の全体によって構成され、第2表示工程では、支援映像P2の表示サイズを変更可能な状態で支援映像P2を表示装置40に表示することとした。ただし、第1実施形態に係る支援映像P2とは異なる支援映像、例えば図13及び14に示す支援映像P21,P22を表示する形態も考えられ得る。この形態を第2実施形態とし、図13~15を参照しながら以下に説明する。ここで、図13及び14は、第2実施形態における表示装置40の画面例を示しており、図4と対応している。
なお、以下では、第2実施形態のうち、第1実施形態と相違する事項を主に説明することとし、また、図13及び14に図示する要素のうち、第1実施形態と共通するものについては、第1実施形態と同様の符号を付すこととする。
第2実施形態では、ユーザが2種類の表示方式の中からいずれか一方を選択し、選択された表示方式で支援映像を表示装置40に表示する。つまり、第2実施形態における第2表示工程は、第1表示方式及び第2表示方式のうち、ユーザによって選択された表示方式に応じて実行されることになる。なお、表示方式については、図15に示す選択画面を表示装置40に表示し、ユーザが画面上で一方の表示方式をタッチする等して表示方式を選択するとよい。
第1表示方式が選択された場合、第2表示工程では、基準映像P0の全体によって構成された支援映像P21を表示装置40に表示する。この支援映像P21の縦横比及び表示サイズは、変更可能である。
換言すると、第1表示方式が選択された場合の第2表示工程では、支援映像P21の縦横比及び表示サイズを変更可能な状態で支援映像P21を表示することができる。例えば、図13に示すように縦方向に押し潰して表示サイズを縮小させた支援映像P21を表示することができる。このように第1表示方式が選択された場合には、第1実施形態と比較して、支援映像P21の表示の自由度が高くなる。すなわち、第1表示方式が採用された場合の第2表示工程では、抽出映像P1の表示サイズの変更に伴って、支援映像P21の縦横比及び表示サイズを変更した状態で支援映像P21を表示することができる。例えば、表示装置40の表示画面において抽出映像P1を表示する領域を広げた場合には、余ったスペースで支援映像P21を表示するために、そのスペースに合わせて支援映像P21の縦横比及び表示サイズを自由に変更することができる。
第2表示方式が選択された場合の第2表示工程では、基準映像P0の一部分の映像によって構成された支援映像P22を表示装置40に表示する。この支援映像P22は、その縦横比を一定に維持しながら、その表示サイズを変更可能な状態で表示される。つまり、第2表示方式が選択された場合の第2表示工程では、抽出映像P1の表示サイズの変更に伴って、上記の支援映像P22を、その縦横比を一定に維持しながら表示サイズを変更した状態で表示することができる。
さらに、第2表示方式が選択された場合、ユーザは、操作部50を操作する等して、基準映像P0における支援映像P22の範囲(詳しくは、支援映像P22として表示される範囲)を自由に指定し、また、指定された範囲を自由に変更することができる。つまり、第2表示方式が選択された場合の第2表示工程では、基準映像P0における支援映像P22の範囲を移動させながら支援映像P22を表示することができる。
なお、基準映像P0における支援映像P22の範囲を指定する方法については、ボタン操作又はタッチパネル操作等、種々の方法が挙げられるが、第2実施形態では、後述の補助映像Psを用いた方法が利用される。
以上のように、第2表示方式が選択された場合には、図14に示すように基準映像P0においてユーザが指定した範囲の映像を支援映像P22とし、支援映像P22の縦横比を維持しながら支援映像P22の表示サイズを変えることができる。例えば、基準映像P0において、支援映像P22として表示させるのに必要な範囲のみを指定し、その後に支援映像P22の表示サイズを適宜調整する。このようにすることで、表示装置40における支援映像P22の表示スペースをより小さくすることができる。
また、第2表示方式が選択された場合には、図14に示すように、基準映像P0における支援映像P22の範囲を示す映像である範囲指示映像P3が、抽出映像P1及び支援映像P22とともに表示装置40に表示される。範囲指示映像P3は、縮小された基準映像P0と、その基準映像P0に重畳して表示される補助映像Psとによって構成される。補助映像Psは、基準映像P0において支援映像P22に該当する部分を示す。補助映像Psを視認することにより、基準映像P0における支援映像P22の範囲を把握できる。
また、補助映像Psは、ユーザが画面上でタッチアンドドラッグ操作を行う等して移動させることが可能である。そして、補助映像Psを移動させることにより、基準映像P0における支援映像P22の範囲を変更することができる。
第2表示形式が選択された場合には、前述した第1~第3表示工程の他に、上述した範囲指示映像P3を表示する工程(以下、第4表示工程と呼ぶ。)が、第1~第3表示工程のすべての実行中に実行される。つまり、第2表示形式では、抽出映像P1、支援映像P22、設定内容等の情報IF及び範囲指示映像P3のすべてが同時に表示装置40に表示される。
以上のように第2表示方式が選択された場合には、補助映像Psの操作によりユーザが自由に支援映像P22の範囲を決めることができる。また、支援映像P22と範囲指示映像P3とを確認することで、画角A0内での抽出範囲A1の位置を把握することができる。
なお、第2表示方式が選択された場合において、範囲指示映像P3の表示(すなわち、第4表示工程の実行)は、必ずしも必要ではなく、範囲指示映像P3の表示を省略して支援映像P22のみを表示してもよい。
<<第3実施形態>>
第1実施形態では、抽出映像P1、支援映像P2及び設定内容等の情報IFが、すべて同じ撮影装置10の表示装置40に表示される。ただし、抽出映像P1と支援映像P2とが互いに異なる表示装置に表示される形態も考えられ得る。この形態を第3実施形態とし、図16~18を参照しながら以下に説明する。
なお、以下では、第3実施形態のうち、第1実施形態と相違する事項を主に説明することとし、また、図16に図示する要素のうち、第1実施形態と共通するものについては、第1実施形態と同様の符号を付すこととする。
第3実施形態は、図16に示す撮影システムSを用いる表示方法に関する。すなわち、本発明の第3実施形態に係る表示方法は、撮影システムSによって実現される。撮影システムSは、撮影装置10Xと外部モニタによって構成される。第3実施形態に係る撮影装置本体12Xの基本構成は、図16に示すように、第1実施形態に係る撮影装置本体12の基本構成と概ね共通する。
一方、第3実施形態に係る撮影装置本体12Xは、タッチパネルディスプレイ等によって構成された第1表示装置410を備えるとともに、外部モニタである第2表示装置420と接続されている。第2表示装置420は、液晶モニタ等のディスプレイ装置、モニタ付きのレコーダ、若しくは、ラップトップ型のパソコン、スマートフォン又はタブレット端末のようなモニタ付きの情報処理端末等で構成されている。なお、第3実施形態に係る撮影装置10Xと第2表示装置420は、有線方式あるいは無線方式で接続されている。
第3実施形態では、映像を表示する表示装置400が、互いに別装置である第1表示装置410及び第2表示装置420を含む。また、第3実施形態において、撮影装置の映像処理部32は、それぞれの表示装置に映像信号を伝送する。これにより、図17に示すように、第1表示装置410が抽出映像P1を表示し、第2表示装置420が支援映像P2を表示する。
そして、第3実施形態では、第1表示装置410に抽出映像P1に表示する工程(すなわち、第1表示工程)の実行中に、第2表示装置420に支援映像P2を表示する工程(すなわち、第2表示工程)が実行される。この結果、第3実施形態においても、画角A0内における抽出範囲A1の位置を、より分かり易くユーザに把握させることが可能となる。第2表示装置420には、第2実施形態で説明した2種類の支援映像P21,P22のうち、ユーザにより選択された表示形式に応じた映像を表示してもよい。
また、第2表示装置420には、図17に示すように設定内容等の情報IFが支援映像P2とともに表示される。このように第3実施形態では、設定内容等の情報IFを第2表示装置420に表示する工程(すなわち、第3表示工程)が備えられ、第3表示工程は、第1表示工程及び第2表示工程の両方の実行中に実行される。なお、設定内容等の情報IFの一部、例えば撮影条件(例えば、露出条件、レンズのf値、ISO感度、及びホワイトバランス等)については、図17に示すように第1表示装置410に表示してもよい。
また、第3実施形態に係る撮影装置本体12Xには、図16に示すように向き検出器60が搭載されている。向き検出器60は、例えば加速度センサ等によって構成されており、撮影装置10Xの向きが変化したとき、例えば、撮影装置10Xが縦横反転したときに、その動きを検出する。
第3実施形態では、第1表示工程の実行中、つまり、抽出映像P1が第1表示装置410に表示されている間にユーザが撮影装置10Xを縦横反転させると、第1表示装置410が縦横反転し、図18に示すように抽出映像P1の表示向きが90度回転する。このときの動きを向き検出器60が検出すると、その検出結果に応じてコントローラ30が映像処理部32を制御する。映像処理部32は、向き検出器60が撮影装置10Xの縦横反転を検出する前の状態から縦横反転させた支援映像P2を生成する。そして、映像処理部32は、その映像信号を第2表示装置420に伝送する。これにより、第2表示工程では、図18に示すように縦横反転させた支援映像P2が第2表示装置420に表示される。このように抽出映像P1の表示向きの変化に連動させて支援映像P2の表示向きを変えることで、第1表示装置410が縦横反転した場合にあっても、抽出映像P1と支援映像P2との対応関係がユーザにとって把握し易くなる。
他方、第2表示装置420には、設定内容等の情報IFが表示されるが、設定内容等の情報IFについては、図18に示すように、向き検出器60が撮影装置10Xの縦横反転を検出した後にも表示向きが変化しない。すなわち、第3表示工程では、第1表示装置410の縦横反転の前後で表示向きを維持した状態で設定内容等の情報IFを第2表示装置420に表示することになる。このように抽出映像P1の表示向きが縦横反転した場合にも、文字情報である設定内容等の情報IFは通常の向きで表示されるため、ユーザにとって設定内容等の情報IFが確認し易くなる。
<<第4実施形態>>
上述した第1~第3実施形態において、映像が動画像であることとした。ここで、動画像は、一定のフレームレートにて連続的に撮影される複数の画像(フレーム画像)の集合を意味する。そして、第1~第3実施形態では、記録媒体に記録される抽出映像が動画像であることとした。ただし、記録媒体に記録される抽出映像は、静止画であってもよい。
例えば、コントローラ30及び映像処理部32を含む制御部は、取得工程(具体的には撮影工程)で取得した静止画を基準映像P0とする。制御部は、図4及び5に示すように、基準映像P0である静止画を支援映像P2として表示装置40に表示する。また、制御部は、基準映像P0内で被写体に対応した抽出範囲A1を設定し、抽出範囲A1に映る抽出映像P1を表示装置40に表示する。そして、ユーザによって記録処理が指示されて記録工程が実行された場合には、制御部が動画像の撮影ではなく静止画の記録を実行し、静止画である抽出映像P1をメモリカード240等の記録媒体に記録してもよい。
<<その他の実施形態>>
以上までに本発明の表示方法について具体的な実施形態(第1~第4実施形態)を挙げて説明したが、上述の実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられる。
一例を挙げて説明すると、上述の実施形態では、抽出映像P1及び支援映像P2の表示中に(換言すると、第1表示工程及び第2表示工程の両方の実行中に)、設定内容等の情報IFを表示する第3表示工程を実行することとした。ただし、これに限定されず、第3表示工程を実行せず、設定内容等の情報IFの表示を省略してもよい。
また、上述した実施形態では、映像の取得工程として、撮影装置を用いて基準映像を撮影する撮影工程を実行し、撮影した基準映像から、撮影装置の画角より小さい抽出映像を抽出することとした。ただし、これに限定されるものではなく、映像の取得工程は、例えば、基準映像として動画編集用の映像を外部から取得する工程であってもよい。具体的には、外部のデータ配信装置(サーバ)から基準映像の動画ファイルをダウンロードすることで、基準映像を取得してもよい。あるいは、動画ファイルが記録された記録媒体から編集対象の映像を読み出すことで、基準映像を取得してもよい。
また、上述した実施形態では、撮影装置の一例としてデジタルカメラを挙げたが、これに限定されず、例えば、撮影光学系付きの携帯電話、スマートフォン及びタブレットPCのような携帯端末であってもよい。また、前述のアナモフィックレンズは、上述した携帯端末の撮影光学系に外付けされるようなレンズユニットであってもよい。
10,10X 撮影装置
12,12X 撮影装置本体
14 筐体
20 撮影部
30 コントローラ
32 映像処理部
40 表示装置
50 操作部
60 向き検出器
110 レンズユニット
112 ズームレンズ
114 フォーカスレンズ
120 レンズ駆動部
130 絞り部
140 シャッタ
150 撮影センサ
160 A/Dコンバータ
230 内蔵メモリ
240 メモリカード
250 バッファ
260 カードスロット
310 レリーズボタン
320 ズームレバー
330 前側操作ダイヤル
340 後側操作ダイヤル
350 十字ボタン
360 タッチホイール
400 表示装置
410 第1表示装置
420 第2表示装置
A0 画角
A1 抽出範囲
IF 設定内容等の情報
P0 基準映像
P1 抽出映像
P2,P21,P22 支援映像
P3 範囲指示映像
Ps 補助映像
S 撮影システム

Claims (13)

  1. 基準映像を取得する取得工程と、
    前記基準映像の画角において前記画角よりも小さく設定された抽出映像を、前記基準映像から抽出する抽出工程と、
    前記抽出映像の抽出範囲を経時的に移動させる移動工程と、
    前記抽出映像を表示装置に表示する第1表示工程と、
    前記画角と前記抽出範囲との位置関係に基づく支援映像を、前記表示装置に表示する第2表示工程と、を備え、
    前記第1表示工程の実行中に前記第2表示工程が実行され
    前記表示装置は、互いに別装置である第1表示装置及び第2表示装置を含み、
    前記第1表示装置は、前記第1表示装置に前記抽出映像を表示し、
    前記第2表示装置は、前記第2表示装置に前記支援映像を表示し、
    さらに、前記基準映像及び前記抽出映像のうちの少なくとも一つに関する文字情報を、前記第2表示装置に表示する第3表示工程を備え、
    前記第1表示工程及び前記第2表示工程の両方の実行中に前記第3表示工程が実行され、
    前記第1表示工程中に前記第1表示装置を縦横反転させた場合には、前記第2表示工程では、縦横反転させた前記支援映像を前記第2表示装置に表示し、前記第3表示工程では、表示向きが維持された前記文字情報を前記第2表示装置に表示することを特徴とする表示方法。
  2. 前記支援映像は、前記抽出映像を含み、
    前記第2表示工程では、前記支援映像中の前記抽出映像の位置が特定された前記支援映像を表示する請求項1に記載の表示方法。
  3. 前記基準映像及び前記抽出映像のうちの少なくとも一つに関する情報を前記表示装置に表示する第3表示工程をさらに備え、
    前記第1表示工程及び前記第2表示工程の両方の実行中に、前記第3表示工程が実行される、請求項1又は2に記載の表示方法。
  4. 前記第1表示工程では、前記抽出映像の表示サイズを変更可能な状態で前記抽出映像を表示し、
    前記第2表示工程では、前記支援映像の縦横比及び前記支援映像の表示サイズを変更可能な状態で前記支援映像を表示する、請求項1乃至3のいずれか一項に記載の表示方法。
  5. 前記第1表示工程では、前記抽出映像の縦横比を一定に維持しながら前記抽出映像の表示サイズを変更可能な状態で前記抽出映像を表示し、
    前記第2表示工程では、前記抽出映像の表示サイズの変更に伴って、前記支援映像の表示サイズを変更した状態で前記支援映像を表示する、請求項4に記載の表示方法。
  6. 前記第2表示工程では、前記抽出映像の表示サイズの変更に伴って、前記基準映像における一部分の映像を示す前記支援映像を、前記支援映像の縦横比を一定に維持しながら前記支援映像の表示サイズを変更した状態で表示する、請求項4に記載の表示方法。
  7. 前記第2表示工程は、第1表示方式及び第2表示方式のうち、ユーザによって選択された表示方式に応じて実行され、
    前記第1表示方式が選択された場合、前記第2表示工程では、前記支援映像の縦横比及び前記支援映像の表示サイズを変更可能な状態で前記支援映像を表示し、
    前記第2表示方式が選択された場合、前記第2表示工程では、前記基準映像における一部分の映像を示す前記支援映像を、前記支援映像の縦横比を一定に維持しながら前記支援映像の表示サイズを変更可能な状態で表示する、請求項1乃至6のいずれか一項に記載の表示方法。
  8. 前記取得工程は、前記画角にて前記基準映像を撮影する撮影工程である、請求項1乃至7のいずれか一項に記載の表示方法。
  9. 前記撮影工程では、アナモフィックレンズを用いて前記画角にて前記基準映像を撮影し、
    前記第1表示工程では、前記抽出映像を、前記アナモフィックレンズを用いた前記画角の横方向におけるサイズを伸ばして表示する、請求項8に記載の表示方法。
  10. 前記移動工程は、前記撮影工程の実行中に実行され、
    前記移動工程では、前記移動工程の実行中に受け付けたユーザによる指示に基づいて、前記抽出範囲の位置、サイズ、移動速度及び移動方向のうちの少なくとも一つを変更する、請求項8又は9に記載の表示方法。
  11. 前記移動工程では、ユーザにより設定された追尾対象の被写体が前記抽出範囲内に入るように前記抽出範囲を前記画角内で移動させる、請求項1乃至10のいずれか一項に記載の表示方法。
  12. 前記移動工程の実行中に、前記画角の端と前記抽出範囲の端との間の距離が閾値未満であるか否かを判定する判定工程と、
    前記距離が前記閾値未満である場合には、ユーザに対して警告を行う警告工程とを備える、請求項1乃至11のいずれか一項に記載の表示方法。
  13. 請求項1乃至12のいずれか一項に記載の表示方法を含み、且つ、
    前記抽出映像を記録媒体に記録する記録工程を備える、映像処理方法。
JP2021548381A 2019-09-27 2020-07-22 表示方法、及び、映像処理方法 Active JP7270052B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023070036A JP7446504B2 (ja) 2019-09-27 2023-04-21 表示方法、及び、映像処理方法
JP2024026464A JP2024052840A (ja) 2019-09-27 2024-02-26 表示方法、及び、映像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019176631 2019-09-27
JP2019176631 2019-09-27
PCT/JP2020/028347 WO2021059713A1 (ja) 2019-09-27 2020-07-22 表示方法、及び、映像記録方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023070036A Division JP7446504B2 (ja) 2019-09-27 2023-04-21 表示方法、及び、映像処理方法

Publications (3)

Publication Number Publication Date
JPWO2021059713A1 JPWO2021059713A1 (ja) 2021-04-01
JPWO2021059713A5 JPWO2021059713A5 (ja) 2022-06-09
JP7270052B2 true JP7270052B2 (ja) 2023-05-09

Family

ID=75166560

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021548381A Active JP7270052B2 (ja) 2019-09-27 2020-07-22 表示方法、及び、映像処理方法
JP2023070036A Active JP7446504B2 (ja) 2019-09-27 2023-04-21 表示方法、及び、映像処理方法
JP2024026464A Pending JP2024052840A (ja) 2019-09-27 2024-02-26 表示方法、及び、映像処理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023070036A Active JP7446504B2 (ja) 2019-09-27 2023-04-21 表示方法、及び、映像処理方法
JP2024026464A Pending JP2024052840A (ja) 2019-09-27 2024-02-26 表示方法、及び、映像処理方法

Country Status (3)

Country Link
US (2) US11665429B2 (ja)
JP (3) JP7270052B2 (ja)
WO (1) WO2021059713A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096588A (ja) 2005-09-28 2007-04-12 Olympus Corp 画像撮影装置および画像表示方法
US20100271485A1 (en) 2009-04-24 2010-10-28 Samsung Electronics Co., Ltd. Image photographing apparatus and method of controlling the same
JP2011050038A (ja) 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839446B2 (en) 2005-08-30 2010-11-23 Olympus Corporation Image capturing apparatus and image display apparatus including imparting distortion to a captured image
JP2016027704A (ja) 2014-07-04 2016-02-18 パナソニックIpマネジメント株式会社 撮像装置
JP2019022028A (ja) 2017-07-14 2019-02-07 キヤノン株式会社 撮像装置、その制御方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096588A (ja) 2005-09-28 2007-04-12 Olympus Corp 画像撮影装置および画像表示方法
US20100271485A1 (en) 2009-04-24 2010-10-28 Samsung Electronics Co., Ltd. Image photographing apparatus and method of controlling the same
JP2011050038A (ja) 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置

Also Published As

Publication number Publication date
JP2023090782A (ja) 2023-06-29
JP7446504B2 (ja) 2024-03-08
US20220217280A1 (en) 2022-07-07
US20230254580A1 (en) 2023-08-10
JPWO2021059713A1 (ja) 2021-04-01
WO2021059713A1 (ja) 2021-04-01
US11665429B2 (en) 2023-05-30
JP2024052840A (ja) 2024-04-12

Similar Documents

Publication Publication Date Title
CN107690649B (zh) 数字拍摄装置及其操作方法
EP3007038A2 (en) Interaction with three-dimensional video
JP5331128B2 (ja) 撮像装置
JP6942940B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109688320A (zh) 便利捕捉连续图像的智能靶
EP3316568B1 (en) Digital photographing device and operation method therefor
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
JP2010199971A (ja) 撮像装置、撮像方法、及びプログラム
JP2020053774A (ja) 撮像装置および画像記録方法
US20160353021A1 (en) Control apparatus, display control method and non-transitory computer readable medium
US20220400243A1 (en) Image processing apparatus and image processing method
JP2016127377A (ja) 画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラム
US8194147B2 (en) Image presentation angle adjustment method and camera device using the same
WO2022061541A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP7270052B2 (ja) 表示方法、及び、映像処理方法
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP5656496B2 (ja) 表示装置、及び表示方法
JP7385667B2 (ja) 撮影装置、及び撮影方法
JP6679784B2 (ja) 画像処理装置及び画像処理方法
JP7316105B2 (ja) 映像修正装置、及びプログラム
JP2017204666A (ja) 撮像装置
JP2014003715A (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7270052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150