JP7131388B2 - 表示装置およびプログラム - Google Patents

表示装置およびプログラム Download PDF

Info

Publication number
JP7131388B2
JP7131388B2 JP2018542967A JP2018542967A JP7131388B2 JP 7131388 B2 JP7131388 B2 JP 7131388B2 JP 2018542967 A JP2018542967 A JP 2018542967A JP 2018542967 A JP2018542967 A JP 2018542967A JP 7131388 B2 JP7131388 B2 JP 7131388B2
Authority
JP
Japan
Prior art keywords
image
moving
display
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018542967A
Other languages
English (en)
Other versions
JPWO2018062538A1 (ja
Inventor
祐輝 勝俣
直樹 關口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018062538A1 publication Critical patent/JPWO2018062538A1/ja
Application granted granted Critical
Publication of JP7131388B2 publication Critical patent/JP7131388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Description

本発明は、表示装置およびプログラムに関する。
移動する人や物体に取り付けられて、動画像を撮像するのに適した撮像装置が知られている(特許文献1参照)。撮像時に撮像装置が移動する場合があるが、移動して撮影することについて考慮されているものではなかった。
日本国特開2012-205163号公報
(1)本発明の第1の態様による表示装置は、撮像装置によって生成された動画像データと、前記動画像データを生成している間の前記撮像装置の速度情報を取得する取得部と、前記取得部で取得した速度情報に基づいて、前記動画像データを用いて表示部に表示させる動画像の特定の被写体にブレを付加した画像を表示させる表示制御部と、を備える。
(2)本発明の第2の態様によるプログラムは、コンピュータに、撮像装置によって生成された動画像データと、前記動画像データを生成している間の前記撮像装置の速度情報を取得させる第1手順と、前記第1手順で取得した速度情報に基づいて、前記動画像データを用いて表示部に表示させる動画像の特定の被写体にブレを付加した画像を表示させる第2手順と、を実行させる。
第1の実施の形態による画像表示装置の要部構成を説明するブロック図である。 移動する人物の例としてゲレンデを滑り下りるスキーヤーを挙げ、スキーヤーの頭部にカメラを取り付けた様子を模式的に示す図である。 図2に示すようにスキーヤーの頭部に取り付けられたカメラで撮像した動画像のあるフレームにおける画像の一例である。 記憶装置に記録されている動画像の各フレームの画像と、モニタに表示される画像との関係を示す図である。 第1の実施の形態の画像表示装置で行われる処理を示したフローチャートである。 第2の実施の形態のカメラの構成示すブロック図である。 処理対象領域および非対象領域を説明するための図である。 第2の実施の形態の画像表示装置で行われる処理を示したフローチャートである。 第3の実施の形態のカメラの構成示すブロック図である。 第3の実施の形態における各フレームで撮像して得られる画像と、本実施の形態で得られる画像との関係を示す図である。 第3の実施の形態のカメラの撮像に関する処理を示したフローチャートである。 第4の実施の形態のカメラの撮像に関する処理を示したフローチャートである。 変形例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。
---第1の実施の形態---
図1~図5を参照して、画像表示装置の第1の実施の形態を説明する。図1は、第1の実施の形態の画像表示装置の構成示すブロック図である。
本実施の形態の画像表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この画像表示装置では、外部の撮像装置で撮像して得られた動画像や静止画像を表示できる。以下、詳細に説明する。
図1は、第1の実施の形態による画像表示装置100の要部構成を説明するブロック図である。画像表示装置100は、制御回路101、HDDやSSD等の記憶装置102、モニタ104、メモリ105、入力部材106、メモリカードインタフェース107、および外部インタフェース108を備える。
入力部材106は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材106は、モニタ104に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。
記憶装置102には、たとえば外部の撮像装置で撮影した動画像や静止画像に対応する画像ファイルなどが記録されている。外部インタフェース108は、たとえばUSBインタフェースケーブルや無線伝送路を介して撮像装置等の外部機器とデータ通信を行う。画像表示装置100は、メモリカードインタフェース107や外部インタフェース108を介してメモリカード107aや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路101により制御されて記憶装置102に記録される。たとえば、外部の撮像装置で生成された画像ファイルは、制御回路101により制御されて記憶装置102に記録される。記憶装置102には、制御回路101で実行される各種のプログラム等が記録される。
なお、第1の実施の形態では、外部の撮像装置で生成された動画像の画像ファイルには、後述するように動画像の各フレームごとに撮像した時の撮像装置の速度情報が含まれている。以下の第1の実施の形態では速度情報を移動速度の情報として説明する。ここで、速度情報(移動速度の情報)は、フレームごとに有している必要はなく、所定のフレーム間隔(3フレームごと)に有していてもよく、所定の時間間隔(例えば3秒おき)で有していてもよい。また、加速度に所定の変化があった時刻ごと移動速度の情報(あるいは移動速度を算出できる情報)を有していてもよい。以下の説明では、動画像の各フレームを撮像した時の撮像装置の移動速度の情報を移動速度データとも呼ぶ。
制御回路101は、画像表示装置100の制御を行うマイクロコンピュータであり、CPUやROMその他周辺回路により構成される。制御回路101は、画像データ入力部101aと、表示範囲設定部101bと、表示画像生成部101cとを機能として備える。
画像データ入力部101aは、たとえば記憶装置102に記録されている画像ファイルのデータを読み出す。
表示範囲設定部101bは、動画像の各フレームに対して、モニタ104に表示させる範囲を設定する。表示画像生成部101cは、動画像の各フレームに対して、表示範囲設定部101bが設定した範囲がモニタ104に表示されるように表示用の画像信号を生成する。
表示範囲設定部101bにおける表示範囲の設定、および表示画像生成部101cにおける表示用の画像信号の生成については、後で詳述する。
メモリ105は制御回路101のワーキングメモリであり、たとえばSDRAMにより構成される。モニタ104は、たとえば液晶モニタである。
移動する人や物体に取り付けて被写体を撮像することにより、動画像や静止画像を生成する撮像装置として、例えばアクションカメラ、アクションカム、ウェアラブルカメラ等の名称で呼ばれるカメラが知られている。このカメラは、たとえば図2に示すように移動する人物や物体に取り付けて撮影し、動画像を生成できる。このカメラは、たとえば、加速度センサなどを内蔵し、加速度センサの検出出力に基づきカメラの移動速度を算出して、動画像の各フレームを撮像した時のカメラ移動速度を当該フレームに関連付けて記録する。また移動速度算出部34bは、グローバルポジショニングシステム(GPS)からの信号により、カメラ1の移動速度を算出してもよい。図2は、移動する人物の例としてゲレンデを滑り下りるスキーヤー(競技者)を挙げ、スキーヤーの頭部にカメラ1を取り付けた様子を模式的に示す図である。図2に示す例では、カメラ1は、スキーヤーの頭部に取り付けられているが、スキーヤーの胸部や腕部に取り付けられていてもよく、スキー板に取り付けられていてもよい。
図3は、図2に示すようにスキーヤーの頭部に取り付けられたカメラ1で撮像して生成した動画像のあるフレームにおける画像の一例であり、ゲレンデの様子を示している。この画像50には、雪が積もっている斜面51の両脇に複数の木52が存在している。画像50では、斜面51の向こう側には、山53が写っており、山53の上には空54が写っている。
この種のカメラは、一般に撮影光学系が短い焦点距離、すなわち画角が広角で撮影される場合が多い。撮像時にカメラ1が移動する場合、画角が広角であると速度感が薄れてしまうおそれがある。たとえば、図2に示すように、人物とともにカメラ1が移動する場合、カメラ1で撮像して得られる動画像では、たとえば図3における木52などの周囲の風景が移動する様子が記録されるが、再生時に速度感が薄れてしまうおそれがある。そのため、撮影して生成された動画像を再生すると、実際に撮影時にスキーヤーが体感している速度感よりも速度感が薄れてしまうおそれがある。
一般的に、人間の視野は、その人間の移動速度が速くなるほど狭くなる傾向にある。カメラ1では、画像50に示す範囲が撮像されるが、スキーヤーの滑降速度が速くなると、たとえば、スキーヤーの視野は、枠81で示すような範囲へと狭まる。
そこで、第1の実施の形態の画像表示装置100では、動画像の閲覧者に速度感を感じさせるために、カメラ1の移動速度が速くなる場面では、モニタ104に表示される動画像の範囲が狭まるようにする。すなわち、第1の実施の形態の画像表示装置100では、カメラ1の移動速度が速くなる場面では、撮像して得られた画像の一部だけを切り出し、切り出した画像を拡大してモニタ104に表示させる。このようにして、実際に撮影時にスキーヤーが体感している速度感を閲覧者に感じさせる。なお、画像表示装置100は、カメラ1の移動速度が遅い場面では、撮像して得られた画像の全範囲をモニタ104に表示させる。
具体的には、制御回路101は、次のようにしてカメラ1の移動速度に基づいてモニタ104に表示させる画像の範囲を変更し、モニタ104に表示させる。
制御回路101の画像データ入力部101aは、記憶装置102に記録されている動画像の画像ファイルから動画像の各フレームの画像データと、各フレームを撮像した時のカメラ1の移動速度Vの情報である移動速度データとを読み込む。
制御回路101の表示範囲設定部101bは、カメラ1の移動速度Vが第1の所定値V1以上であるフレームについては、そのフレームの画像の一部を切り出すクロップ処理を行う。以下の説明では、クロップ処理によって切り出す領域をクロップ領域と呼ぶ。たとえば、表示範囲設定部101bは、クロップ処理によって、図3の画像50に対して、枠81で囲んだ範囲をクロップ領域に設定する。
詳述すると、表示範囲設定部101bは、カメラ1の移動速度Vが第1の所定値V1以上であり、かつ、第1の所定値V1よりも大きい第2の所定値V2未満であるフレームについては、そのフレームの画像に対して第1のクロップ領域を設定する。
また、表示範囲設定部101bは、カメラ1の移動速度Vが第2の所定値V2以上であるフレームについては、そのフレームの画像に対して第1のクロップ領域よりも狭い第2のクロップ領域を設定する。
なお、表示範囲設定部101bは、カメラ1の移動速度Vが第1の所定値V1未満であるフレームや、移動速度データが存在しないフレームについては、クロップ処理を行わない。
第1のクロップ領域や第2のクロップ領域の大きさは、あらかじめ設定された大きさであってもよく、画像ファイルに記録されている撮像時の焦点距離や露光時間やISO感度や絞り値やフレームレート等の撮像条件に基づいて変化する可変値であってもよい。
なお、カメラ1の移動速度Vに応じてクロップ領域の大きさを上述したように2段階で変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したようにクロップ領域の大きさを移動速度Vに応じて段階的に変更するのではなく、カメラ1の移動速度Vに応じて連続的にクロップ領域の大きさを変更するようにしてもよい。具体的には、カメラ1の移動速度が速くなるほど、クロップ領域の大きさを狭くするようにしてもよい。例えば、初期設定で設定されるクロップ領域からカメラ1の移動速度が速くなるほど連続的にクロップ領域の大きさを狭くすることとしてもよい。
なお、クロップ領域の中心位置は、そのフレームの画像の中心位置としてもよく、動画像の中の被写体の移動方向から推定されるカメラ1の移動方向に基づいて求めた位置としてもよい。また、動画像の中の被写体のうち、上述したようにして推定したカメラ1の移動方向とおおよそ同じ方向に存在する被写体を検出し、検出された被写体を撮影者が見ていると思われる被写体として推定し、この被写体の中心位置をクロップ領域の中心位置としてもよい。
また、クロップ領域の中心位置をユーザが設定できるようにしてもよい。たとえば、撮像時のカメラ1の向きとカメラ1の移動方向とがずれていたことを動画像の再生時にユーザが気付いた場合に、ユーザが入力部材106を操作することでクロップ領域の中心位置を設定できるようにすることが望ましい。
なお、後述する拡大処理の便宜上、クロップ領域は、撮像して得られる画像と同じアスペクト比を有する矩形形状であることが望ましい。
制御回路101の表示画像生成部101cは、クロップ処理によって切り出したクロップ領域の画像を、クロップ処理前の元の画像の大きさに拡大する拡大処理を行う。そして、拡大処理後の画像を、そのフレームの表示用の画像とする。したがって、そのフレームの再生時には、モニタ104には拡大処理後の画像が表示される。
なお、表示画像生成部101cは、上述したクロップ処理が行われていなければ上述した拡大処理は行わず、画像データ入力部101aで読み込んだ画像をそのフレームの表示用の画像とする。したがって、そのフレームの再生時には、モニタ104には、記憶装置102に記録されている画像がそのまま表示される。
図4は、記憶装置102に記録されている動画像の各フレームの画像と、モニタ104に表示される画像との関係を示す図である。
フレームF1,F2の撮像時のカメラ1の移動速度Vが第1の所定値V1未満であった場合、表示画像生成部101cは、記憶装置102に記録されている各フレームF1,F2の画像501,502に対して上述したクロップ処理および拡大処理を行わない。表示画像生成部101cは、記憶装置102に記録されている各フレームF1,F2の画像501,502の画像を各フレームF1,F2の表示用の画像とする。したがって、モニタ104には画像501,502が表示される。
たとえば、フレームF3の撮像時のカメラ1の移動速度Vが第1の所定値V1以上であった場合について説明する。この場合、表示画像生成部101cは、記憶装置102に記録されているフレームF3の画像503に対して上述したクロップ処理を行う。すなわち、表示画像生成部101cは、記憶装置102に記録されているフレームF3の画像503に対して、クロップ領域803を設定し、設定したクロップ領域803を切り出す。
なお、表示画像生成部101cは、フレームF3の撮像時のカメラ1の移動速度Vが第1の所定値V1以上であり、かつ、第2の所定値V2未満であれば、画像503に対して第1のクロップ領域を設定する。また、表示画像生成部101cは、フレームF3の撮像時のカメラ1の移動速度Vが第2の所定値V2以上であれば、画像503に対して第2のクロップ領域を設定する。
そして、表示画像生成部101cは、クロップ処理によって切り出されたクロップ領域803の画像をクロップ処理前の画像503の大きさに拡大し、拡大後の画像703をフレームF3の表示用の画像とする。したがって、モニタ104には拡大後の画像703が表示される。
フレームF4の撮像時のカメラ1の移動速度Vがカメラ1の移動速度Vが第1の所定値V1以上であれば、表示画像生成部101bおよび表示画像生成部101cは、フレームF4の画像504に対しても上述したクロップ処理および拡大処理を行う。すなわち、表示画像生成部101bは、画像504に対して、クロップ領域804を設定し、設定したクロップ領域804を切り出す。そして、表示画像生成部101cは、クロップ領域834の画像をクロップ処理前の元の画像504の大きさに拡大し、拡大後の画像704をフレームF4の表示用の画像とする。したがって、モニタ104には拡大後の画像704が表示される。
このように、カメラ1の移動速度Vが速くなる場面では画像の一部が拡大されてモニタ104に表示されるので、モニタ104に表示された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなる場面では視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。なお、図4の例のように、フレームF2からフレームF3のようにクロップ領域が変更される場合には、画像502から画像703に代わるのではなく、画像502からクロップ領域を徐々に狭くして画像を表示しながら、クロップ領域803の画像703を表示することとしてもよい。
図5は、第1の実施の形態の画像表示装置100で行われる処理を示したフローチャートである。たとえば、ユーザによって入力部材106が操作されて、記憶装置102に記録されている動画像の画像ファイルの再生が指示されると、図5に示す処理が制御回路101で実行される。
ステップS11において、制御回路101は、まだ表示させていないフレーム(未表示フレーム)の情報、すなわち記憶装置102に記録された画像データと移動速度データとを読み込んでステップS13へ進む。ステップS13において、制御回路101は、ステップS11で読み込んだ未表示フレームの情報に移動速度データが含まれていたか否かを判断する。
ステップS11で読み込んだ未表示フレームの情報に移動速度データが含まれていればステップS13が肯定判断されてステップS15へ進み、制御回路101の表示範囲設定部101bは、ステップS11で読み込んだカメラ1の移動速度Vが第1の所定値V1未満であるか否かを判断する。
ステップS11で読み込んだカメラ1の移動速度Vが第1の所定値V1以上であればステップS15が否定判断されてステップS17へ進み、制御回路101の表示範囲設定部101bは、ステップS11で読み込んだカメラ1の移動速度Vが第2の所定値V2以上であるか否かを判断する。
ステップS11で読み込んだカメラ1の移動速度Vが第2の所定値V2未満であればステップS17が否定判断されてステップS21へ進み、制御回路101の表示範囲設定部101bは、未表示フレームの画像に対して上述したように第1のクロップ領域を切り出すクロップ処理を行ってステップS25へ進む。
ステップS11で読み込んだカメラ1の移動速度Vが第2の所定値V2以上であればステップS17が肯定判断されてステップS23へ進み、制御回路101の表示範囲設定部101bは、未表示フレームの画像に対して上述したように第1のクロップ領域よりも小さな第2のクロップ領域を切り出すクロップ処理を行ってステップS25へ進む。
ステップS25において、制御回路101の表示画像生成部101cは、ステップS21またはステップS23のクロップ処理で切り出されたクロップ領域の画像に対して上述した拡大処理を行ってステップS27へ進む。ステップS27において、制御回路101は、ステップS25で拡大処理を行った後の画像をモニタ104に表示させてステップS31へ進む。
ステップS31において、制御回路101は、再生が終了したか否か、すなわち、再生が指示された動画像の画像ファイルに含まれるすべてのフレームの画像を表示し終えたか否かを判断する。ステップS31が肯定判断されると、制御回路101は本プログラムを終了する。ステップS31が否定判断されるとステップS33へ進み、制御回路101は、たとえば、ユーザによって入力部材106が操作されて、動画像の画像ファイルの再生停止が指示されたか否かを判断する。ステップS33が否定判断されるとステップS11へ戻る。ステップS33が肯定判断されると、制御回路101は本プログラムを終了する。
ステップS11で読み込んだ未表示フレームの情報に移動速度データが含まれていなければステップS13が否定判断されてステップS27へ進み、制御回路101は、ステップS11で読み込んだ未表示フレームの画像をモニタ104に表示させてステップS31へ進む。
ステップS11で読み込んだカメラ1の移動速度Vが第1の所定値V1未満である場合も同様である。すなわち、ステップS11で読み込んだカメラ1の移動速度Vが第1の所定値V1未満であればステップS15が肯定判断されてステップS27へ進み、制御回路101は、ステップS11で読み込んだ未表示フレームの画像をモニタ104に表示させてステップS31へ進む。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)画像表示装置100は、カメラ1によって撮像された動画像と、撮像時のカメラの移動速度Vに関する移動速度データとを取得する画像データ入力部101aと、画像データ入力部101aで取得した移動速度Vに基づいて動画像の表示領域を決定する表示範囲設定部101bと、表示範囲設定部101bで決定された表示領域内の動画像を表示するモニタ104と、を備える。
これにより、カメラ1の移動速度Vが速くなる場面では、モニタ104に表示される画像の一部を拡大して表示することができるので、モニタ104に表示された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
(2)表示範囲設定部101bは、移動速度Vが速くなった場合に表示領域を狭くする。これにより、カメラ1の移動速度Vが速くなる場面では、モニタ104に表示される画像の一部が拡大されて表示されるので、モニタ104に表示された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
---第2の実施の形態---
図6~8を参照して、画像表示装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、カメラ1の移動速度Vが速くなる場面では、画像の一部を拡大する代わりに、画像の周辺部分の像の鮮明度を下げる点が、第1の実施の形態と異なる。
上述したように、一般的に、人間の視野は、その人間の移動速度が速くなるほど狭くなる傾向にある。そこで、第2の実施の形態の画像表示装置100では、カメラ1の移動速度が速くなる場面では、動画像の閲覧者に動画像の範囲が狭まったように感じさせることで速度感を感じさせるために、モニタ104に表示される動画像の周辺部分の鮮明度を低下させる。
図6は、第2の実施の形態のカメラ1の構成示すブロック図である。制御回路101Aは、画像データ入力部101aと、表示画像生成部101cと、処理対象領域設定部101dとを機能として備える。処理対象領域設定部101dは、カメラ1の移動速度Vが第1の所定値V1以上であるフレームについては、そのフレームの画像の周辺部分の鮮明度を低下させる領域を設定する領域設定処理を行う。表示画像生成部101cは、対象領域設定処理によって設定された領域に対して鮮明度を低下させる鮮明度低下処理を行う。以下、領域設定処理および鮮明度低下処理について説明する。
本実施の形態において、鮮明度低下処理は、画像の周辺側の領域に対して、以下の(a)から(e)に挙げた処理の少なくとも1つを行う処理である。
(a)像をぼかす。例えば像の輪郭を不鮮明にする。
(b)コントラストを低下させる。
(c)彩度を低下させる。
(d)明度を低下させる。
(e)ブラーを付加する。
ここで、(e)で挙げた「ブラーを付加する」とは、露光時間が延長された場合と同様の像ブレを付与することである。このように像ブレを付与することを、以下の説明では、ブラーを付加する、ブラーを付与する等という。
露光時間が短い場合、像ブレが必要以上に抑制され、再生時に動画像の滑らかさが感じられ難くなり、速度感が薄れてしまうおそれがある。このような場合にはブラーを付加することで、適度な像ブレによって動画像が滑らかに再生されるので、再生された動画像を閲覧した閲覧者が速度感を感じることができ、臨場感を味わうことができる。
以下の説明では、鮮明度低下処理を行う領域を処理対象領域と呼び、鮮明度低下処理を行わない領域を非対象領域と呼ぶ。図7は、処理対象領域および非対象領域を説明するための図である。たとえば、処理対象領域設定部101dは、領域設定処理によって、あるフレームの画像50に対して、枠82の外側のハッチングを施した領域を処理対象領域83に設定する。枠82の内側の領域は非対象領域84である。なお、図7における枠82およびハッチングの線は、説明の便宜上記載したものであり、画像50の再生時には現れない。
なお、非対象領域84の中心位置は、そのフレームの画像の中心位置としてもよく、動画像の中の被写体の移動方向から推定されるカメラ1の移動方向に基づいて求めた位置としてもよい。また、動画像の中の被写体のうち、上述したようにして推定したカメラ1の移動方向とおおよそ同じ方向に存在する被写体を検出し、検出された被写体を撮影者が見ていると思われる被写体として推定し、この被写体の中心位置を非対象領域84の中心位置としてもよい。
また、非対象領域84の中心位置をユーザが設定できるようにしてもよい。たとえば、撮像時のカメラ1の向きとカメラ1の移動方向とがずれていたことを動画像の再生時にユーザが気付いた場合に、ユーザが入力部材106を操作することで非対象領域84の中心位置を設定できるようにすることが望ましい。
なお、非対象領域84の形状は、図7に示すように楕円形であってもよく、円形であってもよく、矩形であってもよく、直線や曲線で構成される閉じた形状であってもよい。
処理対象領域設定部101dは、カメラ1の移動速度Vが第1の所定値V1以上であり、かつ、第2の所定値V2未満であるフレームについては、そのフレームの画像に対して第1の処理対象領域を設定する。また、処理対象領域設定部101dは、カメラ1の移動速度Vが第2の所定値V2以上であるフレームについては、そのフレームの画像に対して第1の処理対象領域よりも広い第2の処理対象領域を設定する。すなわち、処理対象領域設定部101dは、カメラ1の移動速度Vが速くなるほど処理対象領域83が広くなるように、換言すると非対象領域84が狭くなるように、処理対象領域83を設定する。
第1の処理対象領域や第2の処理対象領域の大きさは、あらかじめ設定された大きさであってもよく、画像ファイルに記録されている撮像時の焦点距離や露光時間やISO感度や絞り値やフレームレート等の撮像条件に基づいて変化する可変値であってもよい。
なお、カメラ1の移動速度Vに応じて処理対象領域の大きさを上述したように2段階で変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したように処理対象領域の大きさを移動速度Vに応じて段階的に変更するのではなく、カメラ1の移動速度Vに応じて連続的に処理対象領域の大きさを変更するようにしてもよい。具体的には、カメラ1の移動速度Vが速くなるほど、処理対象領域の大きさを大きくするようにしてもよい。例えば、初期設定で設定される処理対象領域からカメラ1の移動速度Vが速くなるほど連続的に処理対象領域の大きさを大きくすることとしてもよい。
表示画像生成部101cは、設定された処理対象領域に対して、上述した鮮明度低下処理を行い、表示用の画像信号を生成する。したがって、そのフレームの再生時には、モニタ104には周辺部の鮮明度が低下した画像が表示される。
なお、表示画像生成部101cは、処理対象領域の全体が同程度に不鮮明となるように鮮明度低下処理を行ってもよく、非対象領域から離れるにつれてより不鮮明となるように鮮明度低下処理を行ってもよい。具体的には、表示画像生成部101cは、非対象領域から離れるにつれて像をぼかす程度、あるいは付加するブラーの程度を大きくする。また、例えば、表示画像生成部34bは、非対象領域から離れるにつれてコントラスト、彩度あるいは明度の少なくともいずれかを低下させてもよい。これらのぼかし、コントラストの低下、彩度の低下、明度の低下、ブラーの付加は、いずれか一つのみを行ってもよく、2つ以上の画像処理を合わせて行ってもよい。
また、表示画像生成部101cは、カメラ1の移動速度Vが速くなるほど処理対象領域が不鮮明となるように鮮明度低下処理を行ってもよい。
なお、処理対象領域設定部101dは、カメラ1の移動速度Vが第1の所定値V1未満であるフレームや、移動速度Vの情報が存在しないフレームについては、そのフレームの画像に対して領域設定処理を行わない。
表示画像生成部101cは、上述した領域設定処理が行われていなければ上述した鮮明度低下処理は行わず、画像データ入力部101aで読み込んだ画像をそのフレームの表示用の画像とする。したがって、そのフレームの再生時には、モニタ104には、記憶装置102に記録されている画像がそのまま表示される。
このように、カメラ1の移動速度Vが速くなる場面では画像の周辺部分の鮮明度を低下させた画像がモニタ104に表示されるので、モニタ104に表示された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなる場面では視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
図8は、第2の実施の形態の画像表示装置100で行われる処理を示したフローチャートである。たとえば、ユーザによって入力部材106が操作されて、記憶装置102に記録されている動画像の画像ファイルの再生が指示されると、図8に示す処理が制御回路101Aで実行される。ステップS11からステップS15までは、図5に示した第1の実施の形態と同じである。
ステップS17において、制御回路101Aの処理対象領域設定部101dは、ステップS11で読み込んだカメラ1の移動速度Vが第2の所定値V2以上であるか否かを判断する。
ステップS11で読み込んだカメラ1の移動速度Vが第2の所定値V2未満であればステップS17が否定判断されてステップS41へ進み、制御回路101Aの処理対象領域設定部101dは、上述したように第1の処理対象領域を設定してステップS45へ進む。
ステップS11で読み込んだカメラ1の移動速度Vが第2の所定値V2以上であればステップS17が肯定判断されてステップS43へ進み、制御回路101Aの処理対象領域設定部101dは、上述したように第1の処理対象領域よりも広い第2の処理対象領域を設定してステップS45へ進む。
ステップS45において、制御回路101Aの表示画像生成部101cは、設定された処理対象領域に対して、上述した鮮明度低下処理を行ってステップS27へ進む。ステップS27において、制御回路101は、ステップS45で鮮明度低下処理を行った後の画像をモニタ104に表示させてステップS31へ進む。ステップS31以降の処理は、図5に示した第1の実施の形態と同じである。
第2の実施の形態のカメラ1では、第1の実施の形態の作用効果に加えて次の作用効果を奏する。
(1)画像表示装置100は、カメラ1によって撮像された動画像と、撮像時のカメラ1の移動速度Vに関する移動速度データとを取得する画像データ入力部101aと、画像データ入力部101aで取得した移動速度Vに基づいて動画像の周辺領域の像を不鮮明にする処理を行う処理対象領域設定部101dおよび表示画像生成部101cと、処理対象領域設定部101dおよび表示画像生成部101cで処理された動画像を表示するモニタ104と、を備える。
これにより、カメラ1の移動速度Vが速くなる場面では、モニタ104に表示される画像の周辺領域の鮮明度を低下させることができるので、モニタ104に表示された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
(2)処理対象領域設定部101dは、移動速度Vが速くなった場合に像を不鮮明にする領域を広くする。これにより、カメラ1の移動速度Vがより速くなる場面では、モニタ104に表示される画像における鮮明度を低下させる範囲が広がり、モニタ104に表示された動画像を閲覧すると、閲覧者は、より視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者にさらに臨場感を与えることができる。
(3)表示画像生成部101cは、移動速度Vが速くなった場合に像をより不鮮明にする。これにより、カメラ1の移動速度Vがより速くなる場面では、モニタ104に表示される画像における周辺部分の鮮明度がより低下するので、モニタ104に表示された動画像を閲覧すると、閲覧者は、より視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者にさらに臨場感を与えることができる。
(4)表示画像生成部101cは、動画像の中央の領域から離れるほど像をより不鮮明にする。これにより、モニタ104に表示された動画像を閲覧すると、閲覧者は、より視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者にさらに臨場感を与えることができる。
---第3の実施の形態---
図9~図11を参照して、第3の実施の形態を説明する。以下の説明では、第1および第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第2の実施の形態と同じである。第3の実施の形態では、主に、動画像の画角をカメラ1の撮像時に変更する点が第1の実施の形態と異なる。
上述した第1の実施の形態では、画角を変えずに撮像して得られた動画像を、再生時にカメラ1の移動速度が速くなる場面で画像を拡大して表示した。すなわち、第1の実施の形態では、再生時に画角を変更した。これに対し、第3の実施の形態では、撮像時に画角を変更する。すなわち、第3の実施の形態のカメラ1では、カメラ1の移動速度Vが速くなると撮像して得られた画像の一部だけを切り出し、切り出した画像を拡大して記録する。
図9は、第3の実施の形態のカメラ1の構成示すブロック図である。カメラ1は、撮像光学系31と、撮像部33と、制御部34と、加速度センサ35と、表示部36と、操作部材37と、記録部38とを有する。
撮像光学系31は、被写界からの光束を撮像部33へ導く。撮像光学系31には、不図示のレンズの他に絞り32が設けられている。撮像部33は、撮像素子33aおよび駆動部33bを含み、撮像光学系31によって結像された被写体の像を光電変換し、電荷を生成する。駆動部33bは、撮像素子33aに露光制御、すなわち電荷の蓄積制御を行わせるために必要な駆動信号を生成する。撮像部33に対する露光時間などの撮像指示は、制御部34から駆動部33bへ送信される。
制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、制御部34は、撮像部33で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子33aの電荷蓄積時間(露光時間)、ISO感度、絞り32の絞り値等の露出条件を決定して駆動部33bや絞り32へ指示する。
制御部34には、露出演算部34aと、移動速度算出部34bと、画像処理部34cとが含まれる。これらは、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
露出演算部34aは、撮像素子33aからの画像信号に基づいて被写体の明るさを検出し、適正露出に必要な露光時間やISO感度や絞り値を決定する。
移動速度算出部34bは、カメラ1の加速度の情報に基づいて、カメラ1の移動速度を算出する。
画像処理部34cは、撮像部33によって取得された画像データに対する画像処理を行う。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減(Noise reduction)処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、画像処理部34cは、表示部36により表示する画像を生成する。画像処理部34cは、後で詳述する撮像時クロップ処理と、撮像時拡大処理とをさらに行うことができる。
加速度センサ35は、カメラ1の加速度を検出し、検出結果を制御部34の移動速度算出部34bに出力し、移動速度算出部34bは、加速度センサ35が検出した加速度に基づきカメラ1の移動速度を算出する。
表示部36は、画像処理部34cによって生成された画像や画像処理された画像、記録部38によって読み出された画像などを再生表示する。表示部36は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
操作部材37は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材37は、各操作に対応する操作信号を制御部34へ送出する。操作部材37には、表示部36の表示面に設けられたタッチ操作部材も含まれる。
記録部38は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部38は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。
このように構成されるカメラ1では、静止画像や動画像を撮像し、撮像して得られた画像データを記録媒体に記録できる。また、このカメラ1は、図2に示すように移動する人物や物体に取り付けて動画像を撮像するのに適している。
---撮像時クロップ処理および撮像時拡大処理について---
撮像時クロップ処理は、撮像して得られた画像の一部を切り出す処理である。以下の説明では、撮像時クロップ処理によって切り出す領域を撮像時クロップ領域と呼ぶ。たとえば、図3の画像50を例に挙げて説明すると、画像処理部34cは、画像50に対して、枠81で囲んだ範囲を撮像時クロップ領域に設定する。
なお、撮像時クロップ領域の中心位置は、撮像して得られた画像の中心位置としてもよく、カメラ1の移動方向に基づいて求めた位置としてもよい。なお、後述する撮像時拡大処理の便宜上、撮像時クロップ領域は、撮像して得られる画像と同じアスペクト比を有する矩形形状であることが望ましい。
画像処理部34cは、カメラ1の移動速度Vが第1の所定値V1以上であり、かつ、第2の所定値V2未満であれば、撮像して得られた画像に対して第1の撮像時クロップ領域を設定する。また、画像処理部34cは、カメラ1の移動速度Vが第2の所定値V2以上であれば、第1の撮像時クロップ領域よりも狭い第2の撮像時クロップ領域を設定する。
撮像時拡大処理は、上述した撮像時クロップ処理によって切り出した撮像時クロップ領域の画像を、撮像時クロップ処理前の元の画像の大きさに拡大する処理である。
画像処理部34cは、撮像して得られた画像の画像データに代えて、上述した撮像時クロップ処理および撮像時拡大処理によって得られた画像の画像データを記録用の画像データとして扱う。
なお、画像処理部34cは、移動速度算出部34bで算出されたカメラ1の移動速度Vが第1の所定値V1未満であれば、上述した撮像時クロップ処理と、撮像時拡大処理とを行わず、撮像して得られた画像の画像データを記録用の画像データとして扱う。なお、撮像してクロップ処理をした画像については、記録時にはクロップにより生成した動画像の拡大処理を行わずに記録することとしてもよい。
図10は、各フレームで撮像して得られる画像と、本実施の形態で得られる画像との関係を示す図である。
時刻t31,t32では、カメラ1の移動速度Vが第1の所定値V1未満であるものとする。この場合、画像処理部34cは、時刻t31,t32から露光が開始される各フレームF31,F32において撮像して得られた画像531,532に対して上述した撮像時クロップ処理および撮像時拡大処理を行わない。画像処理部34cは、各フレームF31,F32において撮像して得られた画像531,532の画像データを記録用の画像データとして扱う。
たとえば、時刻t32~時刻t33の間にカメラ1の移動速度Vが速くなり、たとえば第1の所定値V1以上となった場合について説明する。この場合、画像処理部34cは、時刻t33から露光が開始されるフレームF33において撮像して得られた画像533に対して上述した撮像時クロップ処理および撮像時拡大処理を行う。すなわち、画像処理部34cは、時刻t33から露光が開始されるフレームF33において撮像して得られた画像533に対して、撮像時クロップ領域833を設定し、設定した撮像時クロップ領域833を切り出す。図10に示した例では、画像処理部34cは、撮像時クロップ領域833の中心位置をカメラ1の移動方向に基づいて求めた位置に設定している。
なお、画像処理部34cは、カメラ1の移動速度Vが第1の所定値V1以上であり、かつ、第2の所定値V2未満であれば、画像533に対して第1の撮像時クロップ領域を設定する。また、画像処理部34cは、カメラ1の移動速度Vが第2の所定値V2以上であれば、画像533に対して第2の撮像時クロップ領域を設定する。
そして、画像処理部34cは、撮像時クロップ領域833の画像を撮像時クロップ処理前の元の画像533の大きさに拡大する処理を行い、画像733の画像データを得る。画像処理部34cは、画像733の画像データをフレームF33における記録用の画像データとして扱う。
時刻t33~時刻t34の間において、カメラ1の移動速度Vがカメラ1の移動速度Vが第1の所定値V1以上であれば、画像処理部34cは、時刻t34から露光が開始されるフレームF34において撮像して得られた画像534に対しても上述した撮像時クロップ処理および撮像時拡大処理を行う。すなわち、画像処理部34cは、画像534に対して、撮像時クロップ領域834を設定し、設定した撮像時クロップ領域834を切り出す。そして、画像処理部34cは、撮像時クロップ領域834の画像を撮像時クロップ処理前の元の画像534の大きさに拡大する処理を行い、画像734の画像データを得る。画像処理部34cは、画像734の画像データをフレームF34における記録用の画像データとして扱う。
このように、カメラ1の移動速度Vが速くなると記録される画像の範囲が狭くなるので、本実施の形態のカメラ1で撮像された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
図11は、第3の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。カメラ1の不図示の電源スイッチがオンされると、図11に示す処理が制御部34で実行される。ステップS111において、制御部34は、ユーザによってあらかじめ設定されたフレームレートの値を読み込むなどの初期設定を行ってステップS113へ進む。ステップS113において、制御部34は、レリーズボタンが操作されるなどして動画像の撮像開始が指示されるまで待機し、撮像開始が指示されると、初期設定された撮像条件で動画撮影を開始してステップS115へ進む。
ステップS115において、制御部34の露出演算部34aは、撮像素子33aからの画像信号に基づいて被写体の明るさを検出し、適正露出を与える露光時間やISO感度や絞り値を決定し、ステップS117へ進む。ステップS117において、制御部34の移動速度算出部34bは、加速度センサ35で検出されたカメラ1の加速度の情報に基づいて、カメラ1の移動速度を算出してステップS118へ進む。
ステップS118において、制御部34は、ステップS115で算出した露光時間やISO感度や絞り値で撮像するように撮像部33および絞り32を制御してステップS119へ進む。ステップS119において、制御部34の撮像制御部34cは、ステップS117で算出されたカメラ1の移動速度Vが第1の所定値V1未満であるか否かを判断する。ステップS119が肯定判断されるとステップS135へ進む。ステップS135以降の処理については、後で説明する。
ステップS117で算出されたカメラ1の移動速度Vが第1の所定値V1以上であればステップS119が否定判断されてステップS123へ進む。ステップS123において、制御部34の撮像制御部34cは、ステップS117で算出されたカメラ1の移動速度Vが第2の所定値V2以上であるか否かを判断する。
ステップS117で算出されたカメラ1の移動速度Vが第2の所定値V2未満であればステップS123が否定判断されてステップS171へ進み、制御部34の画像処理部34cは、上述したように第1の撮像時クロップ領域を切り出す撮像時クロップ処理を行ってステップS175へ進む。
ステップS117で算出されたカメラ1の移動速度Vが第2の所定値V2以上であればステップS123が肯定判断されてステップS173へ進み、制御部34の画像処理部34cは、上述したように第2の撮像時クロップ領域を切り出す撮像時クロップ処理を行ってステップS175へ進む。
ステップS175において、制御部34の画像処理部34cは、ステップS171またはステップS173の撮像時クロップ処理で切り出された撮像時クロップ領域の画像に対して上述した撮像時拡大処理を行ってステップS135へ進む。
ステップS135において、制御部34は、動画像の撮像の終了が指示されたか否かを判断する。ステップS35が否定判断されるとステップS115へ戻り、ステップS135が肯定判断されるとステップS137へ進む。
ステップS137において、制御部34は、不図示の電源スイッチがオフされたか否かを判断する。ステップS137が否定判断されるとステップS113へ戻り、ステップS137が肯定判断されると本プログラムを終了する。
第3の実施の形態のカメラ1では、上述した各実施の形態の作用効果に加えて次の作用効果を奏する。
(1)カメラ1は、撮像素子33aが生成した信号に画像処理を行う画像処理部34cをさらに備える。画像処理部34cは、加速度センサ35および移動速度算出部34bで検出された移動速度Vが速くなった場合に撮像して得られた画像の一部だけを切り出し、切り出した画像を拡大する。記録部38は、画像処理部34cが拡大した画像を記録する。
本実施の形態のカメラ1で撮像された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
---第4の実施の形態---
図12を参照して、撮像装置の第4の実施の形態を説明する。以下の説明では、第1から第3の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1から第3の実施の形態と同じである。第4の実施の形態では、主に、カメラ1の移動速度Vが速くなると、動画像の画角を変更する代わりに、画像の周辺部分の像の鮮明度を下げる点が第3の実施の形態と異なる。換言すると、第4の実施の形態では、撮像時に画像の周辺部分の像の鮮明度を低下させて記録する点が、第2の実施の形態と異なる。
上述したように、一般的に、人間の視野は、その人間の移動速度が速くなるほど狭くなる傾向にある。そこで、第4の実施の形態のカメラ1では、カメラ1の移動速度Vが速くなると動画像の閲覧者に動画像の範囲が狭まったように感じさせるために、カメラ1の移動速度Vが速くなると撮像して得られた画像の周辺部分の鮮明度を低下させて記録する。
第4の実施の形態のカメラ1の構成は、図9に示した第3の実施の形態のカメラ1の構成と同じである。なお、第4の実施の形態のカメラ1では、制御部34の画像処理部34cは、撮像時クロップ処理および撮像時拡大処理に代えて、画像の周辺部分の鮮明度を低下させる撮像時鮮明度低下処理を行うことができる。以下、撮像時鮮明度低下処理について説明する。
本実施の形態において、撮像時鮮明度低下処理は、撮像して得られた画像の周辺側の領域に対して、以下の(a)から(d)に挙げた処理の少なくとも1つを行う処理である。
(a)像をぼかす。すなわち像の輪郭を不鮮明にする。
(b)コントラストを低下させる。
(c)彩度を低下させる。
(d)明度を低下させる。
なお、第2の実施の形態と同様に、ブラーを付加する処理を行ってもよい。
以下の説明では、撮像時鮮明度低下処理を行う領域を撮像時処理対象領域と呼び、撮像時鮮明度低下処理を行わない領域を撮像時非対象領域と呼ぶ。撮像時処理対象領域は、第2の実施の形態における処理対象領域83に相当し(図7参照)、撮像時非対象領域は、第2の実施の形態における非対象領域84に相当する。画像処理部34cは、撮像して得られた画像に対して、撮像時処理対象領域を設定する。
なお、撮像時非対象領域の中心位置は、撮像して得られた画像の中心位置としてもよく、カメラ1の移動方向に基づいて求めた位置としてもよい。また、撮像時非対象領域の形状は、第2の実施の形態の非対象領域84と同様に楕円形であってもよく、円形であってもよく、矩形であってもよく、直線や曲線で構成される閉じた形状であってもよい。
画像処理部34cは、カメラ1の移動速度Vが第1の所定値V1以上であり、かつ、第2の所定値V2未満であれば、撮像して得られた画像に対して第1の撮像時処理対象領域を設定する。また、画像処理部34cは、カメラ1の移動速度Vが第2の所定値V2以上であれば、第1の撮像時処理対象領域よりも広い第2の撮像時処理対象領域を設定する。すなわち、画像処理部34cは、カメラ1の移動速度Vが速くなるほど撮像時処理対象領域が広くなるように、換言すると撮像時非対象領域が狭くなるように、撮像時処理対象領域を設定する。そして、画像処理部34cは、設定した撮像時処理対象領域に対して、上述した撮像時鮮明度低下処理を行う。
なお、画像処理部34cは、撮像時処理対象領域の全体が同程度に不鮮明となるように撮像時鮮明度低下処理を行ってもよく、撮像時非対象領域から離れるにつれてより不鮮明となるように撮像時鮮明度低下処理を行ってもよい。具体的には、画像処理部34bは、非対象領域から離れるにつれて像をぼかす程度を大きくする。また、例えば、画像処理部34bは、非対象領域から離れるにつれてコントラスト、彩度あるいは明度の少なくともいずれかを低下させてもよい。これらのぼかし、コントラストの低下、彩度の低下、明度の低下は、いずれか一つのみを行ってもよく、2つ以上の画像処理を合わせて行ってもよい。
画像処理部34cは、撮像して得られた画像の画像データに代えて、上述した撮像時鮮明度低下処理を施した画像の画像データを記録用の画像データとして扱う。
なお、画像処理部34cは、移動速度算出部34bで算出されたカメラ1の移動速度Vが第1の所定値V1未満であれば、上述した撮像時鮮明度低下処理を行わず、撮像して得られた画像の画像データを記録用の画像データとして扱う。
このように、カメラ1の移動速度Vが速くなると記録される画像の周辺部分の鮮明度が低下するので、本実施の形態のカメラ1で撮像された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
図12は、第4の実施の形態のカメラ1の撮像に関する処理を示したフローチャートである。カメラ1の不図示の電源スイッチがオンされると、図12に示す処理が制御部34で実行される。ステップS111からステップS123までは、図11に示した第3の実施の形態と同じである。
ステップS123において、制御部34の撮像制御部34cは、ステップS117で算出されたカメラ1の移動速度Vが第2の所定値V2以上であるか否かを判断する。
ステップS117で算出されたカメラ1の移動速度Vが第2の所定値V2未満であればステップS123が否定判断されてステップS181へ進み、制御部34の画像処理部34cは、上述したように第1の撮像時処理対象領域を設定し、撮像時鮮明度低下処理を行ってステップS135へ進む。
ステップS117で算出されたカメラ1の移動速度Vが第2の所定値V2以上であればステップS123が肯定判断されてステップS183へ進み、制御部34の画像処理部34cは、上述したように第2の撮像時処理対象領域を設定し、撮像時鮮明度低下処理を行ってステップS135へ進む。
第4の実施の形態のカメラ1では、上述した各実施の形態の作用効果に加えて次の作用効果を奏する。
(1)カメラ1は、撮像素子33aが生成した信号に画像処理を行う画像処理部34cを備える。画像処理部34cは、加速度センサ35および移動速度算出部34bで検出された移動速度Vが速くなった場合に撮像して得られた画像の周辺部分の鮮明度を低下させる撮像時鮮明度低下処理を行う。記録部38は、撮像時鮮明度低下処理が行われた画像を記録する。
本実施の形態のカメラ1で撮像された動画像を閲覧すると、閲覧者は、カメラ1の移動速度Vが速くなると視野が狭まったように感じる。これにより、速度感が薄れてしまうことを抑制でき、動画像の閲覧者に臨場感を与えることができる。
なお、第4の実施の形態のカメラ1において、撮像部33として、撮像素子33aにおける撮像面の全域において同じ条件で撮像したり、撮像素子33aにおける撮像面の領域ごとに異なる条件で撮像したりすることができるものを用いてもよい。この場合、たとえば、撮像時処理対象領域に相当する撮像面の領域と、撮像時非対象領域に相当する撮像面の領域とで、異なる撮像条件を設定してもよい。以下の説明では、撮像時処理対象領域に相当する撮像面の領域を第1領域と呼び、撮像時非対象領域に相当する撮像面の領域を第2領域と呼ぶ。
たとえば、制御部34は、第1領域の感度を第2領域の感度よりも低く設定してもよい。これにより、撮像時処理対象領域の画像が撮像時非対象領域の画像よりも明度が低下するので、上述した撮像時鮮明度低下処理を行った場合と同様の作用効果が得られる。
たとえば、制御部34は、第1領域の露光時間を第2領域の露光時間よりも長く設定し、領域によって露光時間が違っても適正露出となるように第1領域の感度を第2領域の感度よりも低く設定してもよい。これにより、撮像時処理対象領域の画像の像ブレの量が撮像時非対象領域の画像の像ブレの量よりも多くなるので、第2の実施の形態のようにブラーを付加した場合と同様の作用効果が得られる。
たとえば、制御部34は、第1領域のフレームレートを第2領域のフレームレートよりも下げる。これにより、第1領域の露光時間を第2領域の露光時間よりもさらに長く設定できるので、第2の実施の形態のようにブラーを付加した場合の作用効果をより一層高めることができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)上述した第1および第2の実施の形態では、カメラ1の移動速度が速くなる場面では、自動的にクロップ処理や拡大処理等が行われた。これに対して変形例1では、動画像の再生時にクロップ処理や拡大処理等が行われるか否か等をユーザが再生モードを選択することで設定できる。
変形例1の画像表示装置100では、たとえば、通常モードと、第1臨場感モードと、第2臨場感モードと、早送りモードの4つの再生モードのいずれかを設定可能である。ユーザは、たとえば入力部材106を操作することにより、4つの再生モードのいずれかを設定できる。
再生モードが通常モードに設定されると、制御回路101は、動画像の再生時にクロップ処理や拡大処理や領域設定処理や鮮明度低下処理を行わない。したがって、再生モードが通常モードに設定された場合、記憶装置102に記録されている画像ファイルの動画像がそのまま再生されてモニタ104に表示される。通常モードは、ユーザが動画像を広角のままで閲覧したいと望んでいる場合に適した再生モードである。
再生モードが第1臨場感モードに設定されると、制御回路101は、第1の実施の形態と同様に、動画像の再生時にクロップ処理および拡大処理を行なう。第1臨場感モードは、ユーザが動画像の臨場感をより感じたいと望んでいる場合に適した再生モードである。
再生モードが第2臨場感モードに設定されると、制御回路101は、第2の実施の形態と同様に、動画像の再生時に領域設定処理および鮮明度低下処理を行なう。第2臨場感モードは、モニタ104に表示される画像の範囲を狭めることなく動画像の臨場感をより感じたいとユーザが望んでいる場合に適した再生モードである。
再生モードが早送りモードに設定されると、制御回路101は、動画像の再生時に、通常の再生速度よりも速い再生速度で動画像を再生する。なお、再生速度が速すぎると臨場感が薄れてしまうため、早送りモードにおける再生速度は、通常の再生速度のたとえば1.1倍から1.3倍程度に設定されることが望ましい。早送りモードは、第1臨場感モードや第2臨場感モードと同様に、ユーザが動画像の臨場感をより感じたいと望んでいる場合に適した再生モードである。
(変形例2)上述した第1および第2の実施の形態では、画像表示装置100をパーソナルコンピュータ等により構成したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250(図13)や、タブレット端末などのモバイル機器によって構成してもよい。
上述した高機能携帯電話機250、またはタブレット端末などのモバイル機器への上述した各実施の形態のプログラムの供給は、たとえば図13に例示するように、プログラムを格納した画像表示装置(パーソナルコンピュータ)100から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
パーソナルコンピュータ100に対するプログラムの供給は、プログラムを格納したCD-ROMなどの記録媒体204をパーソナルコンピュータ100にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ100へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
(変形例3および変形例4)上述した第1および第2の実施の形態では、動画像の再生時にクロップ処理や拡大処理等が行われている。変形例3では、画像ファイルの編集時にクロップ処理や拡大処理等が行われる。
変形例3の画像表示装置100では、記憶装置102に記録されている動画像の画像ファイルを読み込んで、第1の実施の形態と同様にクロップ処理や拡大処理を行って新たな画像ファイルを生成する。すなわち、たとえば、図4に示したフレームF1やフレームF2の画像501,502は変更されずに新たな画像ファイルに記録されるが、フレームF3やフレームF4では、元の画像503,504に代えて、クロップ処理および拡大処理が行われた後の画像703,704が新たな画像ファイルに記録される。
このようにして、生成された新たな画像ファイルでは、動画像の再生時にクロップ処理や拡大処理等を行わなくても、カメラ1の移動速度Vが速くなる場面では画像の一部が拡大されてモニタ104に表示される。
同様に、変形例4の画像表示装置100では、記憶装置102に記録されている動画像の画像ファイルを読み込んで、第2の実施の形態と同様に領域設定処理や鮮明度低下処理を行って新たな画像ファイルを生成する。このようにして、生成された新たな画像ファイルでは、動画像の再生時に領域設定処理や鮮明度低下処理等を行わなくても、カメラ1の移動速度Vが速くなる場面では周辺部分の鮮明度が低下した画像がモニタ104に表示される。
(変形例5)上述した第1および第2の実施の形態では、画像ファイルには、動画像の各フレームを撮像した時の撮像装置の移動速度の情報が含まれていた。しかし、画像ファイルに撮像装置の移動速度の情報が含まれてなくても、撮像地点の位置情報が含まれていれば、位置情報の変化から撮像装置の移動速度を求めるようにしてもよい。
また、画像ファイルに撮像装置の移動速度の情報が含まれてなくても、動画像の中で被写体が動く速さからカメラの移動速度を推定してもよい。
(変形例6)上述した第1および第2の実施の形態における各処理によって、動画像の閲覧者が感じる速度感が向上するが、速度感の向上度合いをユーザが設定できるようにしてもよい。たとえば、図14に示すように、速度感の向上度合いをユーザが設定するための設定表示85を制御回路101がモニタ104の表示画面104aに表示させるようにしてもよい。そして、たとえばユーザによって入力部材106が操作されて設定表示85のスライダ85aが左右方向に動かされると、上述した各実施の形態における各処理による速度感の向上度合いが変更されるようにしてもよい。たとえば、第1の実施の形態では、スライダ85aの位置に応じて、クロップ処理における第1および第2のクロップ領域の大きさが変わるようにしてもよい。より具体的には、スライダ85aの位置が右に移動するにつれてクロップ領域を狭くすることとしてもよい。たとえば、第2の実施の形態では、スライダ85aの位置に応じて、処理対象領域の広さや鮮明度低下処理における鮮明度の低下度合いが変わるようにしてもよい。より具体的には、スライダ85aの位置が右に移動するにつれて対象領域の鮮明度を低下させることとしてもよい。
また、たとえば、スキーやスノーボードなどのスポーツのように、撮影者が移動するスポーツでは、撮影者の移動速度が同じであっても、そのスポーツに対する撮影者の習熟度により撮影者自身が感じる速度感が異なる。この撮影者自身が感じる速度感が動画像の閲覧者に伝わるように、撮影者の習熟度に応じてユーザが速度感の向上度合いを設定できるようにしてもよい。たとえば、図15に示すように、カメラ1とともに移動する撮影者の習熟度をパラメータとした設定表示86を制御回路101がモニタ104の表示画面104aに表示させるようにしてもよい。この設定表示86は、スポーツの種類によって異なる複数の表示形態を表示可能としておくことが望ましい。図15には、ユーザによって選択されたスポーツがスキー、スノーボードである場合の設定表示86の一例を示す。図15に示す表示画面104aには、ユーザによって選択されたスポーツがスキー、スノーボードであることを表す表示86aと、習熟度合いの選択表示86bとが表示される。
たとえばユーザによって入力部材106が操作されて選択表示86bの「初級」、「中級」、「プロ級」のいずれかが選択されると、選択内容に応じて上述した各実施の形態における各処理による速度感の向上度合いが変更されるようにしてもよい。
なお、第3および第4の実施の形態においても、上述したように速度感の向上度合いをユーザが設定できるようにしてもよい。
上述した第1の実施の形態から第4の実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、カメラ1と特定の対象物との距離の情報であってもよい。これは、カメラ1の速度が速くなると、特定の対象物までの距離の変化量が変わるためである。具体的には、カメラ1は、カメラ1と特定対象物との距離の変化の大きさ(変化量、変化率)に基づいて、クロップ領域を変更する。
このような例では、制御回路101が、撮影時のカメラ1から特定の対象物までの距離情報を取得する。距離情報は、例えば、デフォーカス量から取得(算出)してもよく、TOFセンサの出力から算出してもよい。これらの情報は、撮影時に取得して記録しておくこととしてもよい。
なお、TOFセンサは、公知のTOF(time of flight)法に用いるイメージセンサである。TOF法は、不図示の光源部から被写体に向けて光パルス(照射光)を発し、被写体で反射された光パルスがTOFセンサへ戻ってくるまでの時間に基づいて、被写体までの距離を検出する技術である。制御部34は、検出した被写体までの距離の変化に基づいて被写体とカメラ1との相対速度を算出し、算出した相対速度をカメラ1の移動速度Vとする。なお、撮像素子33aをTOFセンサに利用してもよい。
制御回路101は、取得した距離情報から距離の変化量K(または変化率)を算出する。表示範囲設定部101bは、第1のタイミングで算出した単位時間あたりの距離の変化量K(または変化率)が第1の所定値K1未満であればクロップ領域を変更しない。しかし、制御回路101で算出された距離の変化量K(または変化率)が第1の所定値K1以上であれば、表示範囲設定部101bは、クロップ領域を狭くなるようにする。
詳述すると、表示範囲設定部101bは、距離の変化量Kが第1の所定値K1以上であり、かつ、第2の所定値K2未満(K1<K2)であるフレームについては、そのフレームの画像に対して第1のクロップ領域を設定する。また、表示範囲設定部101bは、距離の変化量K(または変化率)が第2の所定値K2以上であるフレームについては、そのフレームの画像に対して第1のクロップ領域よりも狭い第2のクロップ領域を設定する。
なお、距離の変化量K(または変化率)に応じて2段階でクロップ領域を変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したようにクロップ領域を距離の変化の大きさに応じて段階的に長くするのではなく、距離の変化量K(または変化率)に応じて連続的にクロップ領域を変更するようにしてもよい。具体的には、距離の変化量K(または変化率)が大きくなるほど、クロップ領域を狭くすることとしてもよい。例えば、初期設定では、クロップ領域を設定せず(例えば全画角表示)、距離の変化量K(または変化率)が大きくなるほど、クロップ領域を狭くすることとしてもよい。
上述した第1の実施の形態から第4の実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、特定の対象物の大きさの情報であってもよい。これは、カメラ1の速度が速くなると、特定の対象物の大きさの変化量が変わるためである。具体的には、カメラ1は、特定対象物の大きさの変化の大きさ(変化量、変化率)に基づいて、クロップ領域を狭くなるようにする。
このような例では、制御回路101が、撮影された特定の対象物の大きさの情報を取得する。大きさの情報は、被写体認識(物体認識)の技術やエッジの抽出技術を用いて行えばよい。表示範囲設定部101bは、取得した特定の被写体の大きさの情報から大きさの変化量M(または変化率)を算出する。表示範囲設定部101bは、第1のタイミングで算出した単位時間あたりの大きさの変化量M(または変化率)が第1の所定値M1未満であればクロップ領域を変更しない。しかし、表示回路101で算出された大きさの変化量M(または変化率)が第1の所定値M1以上であれば、表示範囲設定部101bは、クロップ領域を狭くなるようにする。
詳述すると、表示範囲設定部101bは、大きさの変化量Mが第1の所定値M1以上であり、かつ、第2の所定値M2未満(M1<M2)であるフレームについては、そのフレームの画像に対して第1のクロップ領域を設定する。また、表示範囲設定部101bは、大きさの変化量M(または変化率)が第2の所定値M2以上であるフレームについては、そのフレームの画像に対して第1のクロップ領域よりも狭い第2のクロップ領域を設定する。なお、大きさの変化量M(または変化率)に応じて2段階でクロップ領域を変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したようにクロップ領域を大きさの変化量Mに応じて段階的に長くするのではなく、大きさの変化量M(または変化率)に応じて連続的にクロップ領域を変更するようにしてもよい。具体的には、大きさの変化量M(または変化率)が大きくなるほど、露光時間を長くすることとしてもよい。例えば、初期設定では、クロップ領域を設定せず(例えば全画角表示)、大きさの変化量M(または変化率)が大きくなるほど、クロップ領域を狭くすることとしてもよい。
上述した第1の実施の形態から第4の実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、音の大きさであってもよい。これはカメラ1の速度が速くなるほど、取得する音の大きさ(特に風切音の大きさ)が大きくなるためである。具体的には、カメラ1は、撮影時に取得した音の大きさに基づいて、クロップ領域を狭くする。
このような例では、制御回路101が、撮影時の音の大きさの情報を取得する。音の大きさの情報は、撮影して記録された音の解析を行えばよい。また、制御回路101は、風切音に対応する特定の周波数帯域の音の大きさの情報を取得することとしてもよい。制御回路101は取得した音の大きさの情報から音の大きさSを算出する。表示範囲設定部101bは、音の大きさSが第1の所定値S1未満であればクロップ領域を変更しない。しかし、音の大きさSが第1の所定値S1以上であれば、表示範囲設定部101bは、クロップ領域を狭くなるようにする。
詳述すると、表示範囲設定部101bは、音の大きさSが第1の所定値S1以上であり、かつ、第2の所定値S2未満(S1<S2)であるフレームについては、そのフレームの画像に対して第1のクロップ領域を設定する。また、表示範囲設定部101bは、音の大きさSが第2の所定値S2以上であるフレームについては、そのフレームの画像に対して第1のクロップ領域よりも狭い第2のクロップ領域を設定する。なお、音の大きさSに応じて2段階でクロップ領域を変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したようにクロップ領域を音の大きさSに応じて段階的に長くするのではなく、音の大きさSに応じて連続的にクロップ領域を変更するようにしてもよい。具体的には、音の大きさSが大きくなるほど、クロップ領域を狭くすることとしてもよい。例えば、初期設定では、クロップ領域を設定せず(例えば全画角表示)、音の大きさSが大きくなるほど、クロップ領域を狭くすることとしてもよい。
また、上記の第1の実施の形態から第4の実施の形態では、移動速度V、距離の変化量K(変化率)、大きさの変化量M(変化率)、音の大きさSに基づいて、クロップ領域を狭くする例を説明したが、当然、移動速度Vが相対的に遅くなった場合(距離の変化量Kが小さくなった場合、大きさの変化量が小さくなった場合、音の大きさが小さくなった場合)は、クロップ領域を相対的に広くすることとすればよい。
次に、第2の実施の形態と第4の実施の形態で説明した鮮明度を下げる処理対象領域の設定の別の例について説明する。上述した第1の実施の形態から第4の実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、画像の周辺部分の鮮明度を下げる処理を説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、カメラ1と特定の対象物との距離の情報であってもよい。具体的には、カメラ1は、カメラ1と特定対象物との距離の変化の大きさ(変化量、変化率)に基づいて、処理対象領域を変更する。
制御回路101Aは、取得した距離情報から距離の変化量K(または変化率)を算出する。処理対象領域設定部101dは、第1のタイミングで算出した単位時間あたりの距離の変化量K(または変化率)が第1の所定値K1未満であれば処理対象領域を変更しない。しかし、制御回路101bで算出された距離の変化量K(または変化率)が第1の所定値K1以上であれば、処理対象領域設定部101dは、処理対象領域を広くなるようにする。
詳述すると、処理対象領域設定部101dは、距離の変化量Kが第1の所定値K1以上であり、かつ、第2の所定値K2未満(K1<K2)であるフレームについては、そのフレームの画像に対して第1の処理対象領域を設定する。また処理対象領域設定部101dは、距離の変化量K(または変化率)が第2の所定値K2以上であるフレームについては、そのフレームの画像に対して第1の処理対象領域よりも広い第2の処理対象領域を設定する。
なお、距離の変化量K(または変化率)に応じて2段階でクロップ領域を変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したように処理対象領域を距離の変化の大きさに応じて段階的に長くするのではなく、距離の変化量K(または変化率)に応じて連続的に処理対象領域を変更するようにしてもよい。具体的には、距離の変化量K(または変化率)が大きくなるほど、処理対象領域を広くすることとしてもよい。例えば、初期設定では、処理対象領域を設定せず(例えば全画角表示)、距離の変化量K(または変化率)が大きくなるほど、処理対象領域を広くすることとしてもよい。
上述した第2の実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、特定の対象物の大きさの情報であってもよい。具体的には、カメラ1は、特定対象物の大きさの変化の大きさ(変化量、変化率)に基づいて、処理対象領域を広くなるようにする。
このような例では、制御回路101Aが、撮影された特定の対象物の大きさの情報を取得する。処理対象領域設定部101dは、第1のタイミングで算出した単位時間あたりの大きさの変化量M(または変化率)が第1の所定値M1未満であれば処理対象領域を変更しない。しかし、制御回路101Aで算出された大きさの変化量M(または変化率)が第1の所定値M1以上であれば、処理対象領域設定部101dは、処理対象領域を広くなるようにする。
詳述すると、処理対象領域設定部101dは、大きさの変化量Mが第1の所定値M1以上であり、かつ、第2の所定値M2未満(M1<M2)であるフレームについては、そのフレームの画像に対して第1の処理対象領域を設定する。また、処理対象領域設定部101dは、大きさの変化量M(または変化率)が第2の所定値M2以上であるフレームについては、そのフレームの画像に対して第1の処理対象領域よりも広い第2の処理対象領域を設定する。なお、大きさの変化量M(または変化率)に応じて2段階で処理対象領域を変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したように処理対象領域を大きさの変化量Mに応じて段階的に長くするのではなく、大きさの変化量M(または変化率)に応じて連続的に処理対象領域を変更するようにしてもよい。具体的には、大きさの変化量M(または変化率)が大きくなるほど、処理対象領域を広くすることとしてもよい。例えば、初期設定では、処理対象領域を設定せず(例えば全画角表示)、大きさの変化量M(または変化率)が大きくなるほど、処理対象領域を広くすることとしてもよい。
上述した第2の実施の形態では、速度情報として、カメラ1の移動速度を例として説明したが、速度情報はカメラ1の移動速度に限られない。例えば、速度情報は、音の大きさであってもよい。具体的には、カメラ1は、撮影時に取得した音の大きさに基づいて、処理対象領域を広くする。
このような例では、制御回路101Aが、撮影時の音の大きさの情報を取得する。音の大きさの情報は、撮影して記録された音の解析を行えばよい。また、制御回路101Aは、風切音に対応する特定の周波数帯域の音の大きさの情報を取得することとしてもよい。制御回路101Aは取得した音の大きさの情報から音の大きさSを算出する。処理対象領域設定部101dは、音の大きさSが第1の所定値S1未満であれば処理対象領域を変更しない。しかし、音の大きさSが第1の所定値S1以上であれば、処理対象領域設定部101dは、処理対象領域を広くなるようにする。
詳述すると、処理対象領域設定部101dは、音の大きさSが第1の所定値S1以上であり、かつ、第2の所定値S2未満(S1<S2)であるフレームについては、そのフレームの画像に対して第1の処理対象領域を設定する。また、処理対象領域設定部101dは、音の大きさSが第2の所定値S2以上であるフレームについては、そのフレームの画像に対して第1の処理対象領域よりも広い第2の処理対象領域を設定する。なお、音の大きさSに応じて2段階で処理対象領域を変更することは、一例であり、1段階であってもよく、3段階以上であってもよい。また、上述したように処理対象領域を音の大きさSに応じて段階的に広くするのではなく、音の大きさSに応じて連続的に処理対象領域を変更するようにしてもよい。具体的には、音の大きさSが大きくなるほど、処理対象領域を広くすることとしてもよい。例えば、初期設定では、処理対象領域を設定せず(例えば全画角表示)、音の大きさSが大きくなるほど、処理対象領域を狭くすることとしてもよい。
また、上記の第2の実施の形態では、移動速度V、距離の変化量K(変化率)、大きさの変化量M(変化率)、音の大きさSに基づいて、処理対象領域を広くする例を説明したが、当然、移動速度Vが相対的に遅くなった場合(距離の変化量Kが小さくなった場合、大きさの変化量が小さくなった場合、音の大きさが小さくなった場合)は、処理対象領域を相対的に狭くすることとすればよい。
上述した実施の形態および変形例は、以下のような表示装置も含む。
(1)撮像装置によって生成された動画像データと、上記動画像データを生成している間の上記撮像装置の速度情報を取得する取得部と、上記取得部で取得した速度情報に基づいて、上記動画像データを用いて表示部に表示させる動画像に対して処理する領域を制御する表示制御部と、を備える表示装置。
(2)(1)のような表示装置において、上記取得部は上記撮像装置の移動速度の情報を取得し、上記表示制御部は、上記取得部が取得した移動速度の情報に基づいて上記動画像を処理する領域を制御する。
(3)(2)のような表示装置において、上記表示制御部は、上記移動速度が大きくなるにつれて、上記表示部に表示させる上記動画像の領域を狭くする。
(4)(3)のような表示装置において、上記表示制御部は、上記移動速度が第1移動速度よりも速い第2移動速度になると、上記表示部に上記動画像の第1の領域よりも狭い第2の領域を表示させる。
(5)(2)のような表示装置において、上記動画像の一部の領域に画像処理を行う画像処理部を備え、上記画像処理部は、上記移動速度が大きくなるについて、画像処理を行う領域を大きくし、上記表示制御部は、上記画像処理部によって一部の領域に画像処理が行われた動画像を表示させる。
(6)(5)のような表示装置において、上記画像処理部は、上記撮像装置の移動速度が第1移動速度よりも速い第2移動速度になると、上記動画像の領域のうちの第1の領域のよりも広い第2の領域に画像処理に画像処理を行う。
(7)(2)のような表示装置において、上記表示制御部は、上記移動速度の情報に基づいて上記動画像の特定の被写体にブレを付加した画像を表示させる。
(8)(1)のような表示装置において、上記取得部は上記撮像装置と特定の対象物までの距離情報を取得し、上記表示制御部は、上記取得部が取得した距離情報による距離の変化の大きさ基づいて上記動画像を処理する領域を制御する。
(9)(8)のような表示装置において、上記表示制御部は、上記距離の変化が大きくなるにつれて、上記表示部に表示させる上記動画像の領域を狭くする。
(10)(9)のような表示装置において、上記表示制御部は、上記距離の変化の大きさが、第1の大きさよりも第2の大きさになると上記動画像の第1の領域よりも狭い第2の領域を表示させる。
(11)(8)のような表示装置において、上記動画像の一部の領域に画像処理を行う画像処理部を備え、上記画像処理部は、上記距離の変化が大きくなるについて、画像処理を行う領域を大きくし、上記表示制御部は、上記画像処理部によって一部の領域に画像処理が行われた動画像を表示させる。
(12)(11)のような表示装置において、上記画像処理部は、上記距離の変化の大きさが第1の大きさよりも大きい第2の大きさになると、上記動画像の領域のうちの第1の領域のよりも広い第2の領域に画像処理に画像処理を行う。
(13)(8)のような表示装置において、上記表示制御部は、上記距離の変化の大きさに基づいて上記動画像の特定の被写体にブレを付加した画像を表示させる。
(14)(1)のような表示装置において、上記取得部は特定の対象物の大きさの情報を取得し、上記表示制御部は、上記取得部が取得した大きさの変化の大きさ基づいて上記動画像を処理する領域を制御する。
(15)(14)のような表示装置において、上記表示制御部は、上記大きさの変化が大きくなるにつれて、上記表示部に表示させる上記動画像の領域を狭くする。
(16)(15)のような表示装置において、上記表示制御部は、上記大きさの変化の大きさが、第1の大きさよりも第2の大きさになると上記動画像の第1の領域よりも狭い第2の領域を表示させる。
(17)(14)のような表示装置において、上記動画像の一部の領域に画像処理を行う画像処理部を備え、上記画像処理部は、上記大きさの変化が大きくなるについて、画像処理を行う領域を大きくし、上記表示制御部は、上記画像処理部によって一部の領域に画像処理が行われた動画像を表示させる。
(18)(17)のような表示装置において、上記画像処理部は、上記大きさの変化が第1の大きさよりも大きい第2の大きさになると、上記動画像の領域のうちの第1の領域のよりも広い第2の領域に画像処理に画像処理を行う。
(19)(14)のような表示装置において、上記表示制御部は、上記大きさの変化に基づいて上記動画像の特定の被写体にブレを付加した画像を表示させる。
(20)(1)のような表示装置において、上記取得部は音の情報を取得し、上記表示制御部は、上記音の大きさに基づいて上記動画像を処理する領域を制御する。
(21)(20)のような表示装置において、上記表示制御部は、上記音の大きさが大きくなるにつれて、上記表示部に表示させる上記動画像の領域を狭くする。
(22)(21)のような表示装置において、上記表示制御部は、上記音の大きさが、第1の大きさよりも第2の大きさになると上記動画像の第1の領域よりも狭い第2の領域を表示させる。
(23)(20)のような表示装置において、上記動画像の一部の領域に画像処理を行う画像処理部を備え、上記画像処理部は、上記音の大きさが大きくなるについて、画像処理を行う領域を大きくし、上記表示制御部は、上記画像処理部によって一部の領域に画像処理が行われた動画像を表示させる。
(24)(23)のような表示装置において、上記画像処理部は、上記音の大きさが第1の大きさよりも大きい第2の大きさになると、上記動画像の領域のうちの第1の領域のよりも広い第2の領域に画像処理に画像処理を行う。
(25)(20)のような表示装置において、上記表示制御部は、上記音の大きさに基づいて上記動画像の特定の被写体にブレを付加した画像を表示させる。
また、上述した実施の形態および変形例は、以下のようなプログラムも含む。
(26)プログラムは、コンピュータに、撮像装置によって生成された動画像データと、上記動画像データを生成している間の上記撮像装置の速度情報を取得させる第1手順と、上記第1手順で取得した速度情報に基づいて、上記動画像データを用いて表示部に表示させる動画像に対して処理する領域を制御第2手順と、を実行させる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2016年第194631号(2016年9月30日出願)
100;画像表示装置
101,101A;制御回路
101a;画像データ入力部
101b;表示範囲設定部
101c;表示画像生成部
101d;処理対象領域設定部
104;モニタ

Claims (7)

  1. 撮像装置によって生成された動画像データと、前記動画像データを生成している間の前記撮像装置の速度情報を取得する取得部と、
    前記取得部で取得した速度情報に基づいて、前記動画像データを用いて表示部に表示させる動画像の特定の被写体にブレを付加した画像を表示させる表示制御部と、を備える表示装置。
  2. 請求項1に記載の表示装置において、
    前記取得部は前記撮像装置の移動速度の情報を取得し、
    前記表示制御部は、前記取得部が取得した移動速度の情報に基づいて前記動画像を処理する領域を制御する表示装置。
  3. 請求項2に記載の表示装置において、
    前記表示制御部は、前記移動速度が大きくなるにつれて、前記表示部に表示させる前記動画像の領域を狭くする表示装置。
  4. 請求項2に記載の表示装置において、
    前記表示制御部は、前記移動速度が第1移動速度よりも速い第2移動速度になると、前記表示部に前記動画像の第1の領域よりも狭い第2の領域を表示させる表示装置。
  5. 請求項2に記載の表示装置において、
    前記動画像の一部の領域に画像処理を行う画像処理部を備え、
    前記画像処理部は、前記移動速度が大きくなるにつれて、画像処理を行う領域を大きくし、
    前記表示制御部は、前記画像処理部によって一部の領域に画像処理が行われた動画像を表示させる表示装置。
  6. 請求項5に記載の表示装置において、
    前記画像処理部は、前記撮像装置の移動速度が第1移動速度よりも速い第2移動速度になると、前記動画像の領域のうちの第1の領域よりも広い第2の領域に画像処理を行う表示装置。
  7. コンピュータに、
    撮像装置によって生成された動画像データと、前記動画像データを生成している間の前記撮像装置の速度情報を取得させる第1手順と、
    前記第1手順で取得した速度情報に基づいて、前記動画像データを用いて表示部に表示させる動画像の特定の被写体にブレを付加した画像を表示させる第2手順と、
    を実行させるプログラム。
JP2018542967A 2016-09-30 2017-09-29 表示装置およびプログラム Active JP7131388B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016194631 2016-09-30
JP2016194631 2016-09-30
PCT/JP2017/035654 WO2018062538A1 (ja) 2016-09-30 2017-09-29 表示装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018062538A1 JPWO2018062538A1 (ja) 2019-08-08
JP7131388B2 true JP7131388B2 (ja) 2022-09-06

Family

ID=61760872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542967A Active JP7131388B2 (ja) 2016-09-30 2017-09-29 表示装置およびプログラム

Country Status (4)

Country Link
US (1) US11470253B2 (ja)
JP (1) JP7131388B2 (ja)
CN (1) CN109997171B (ja)
WO (1) WO2018062538A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210180B2 (ja) * 2018-07-25 2023-01-23 キヤノン株式会社 画像処理装置、画像表示装置、画像処理方法、及びプログラム
US11159798B2 (en) * 2018-08-21 2021-10-26 International Business Machines Corporation Video compression using cognitive semantics object analysis
JP2020184146A (ja) * 2019-05-07 2020-11-12 パイオニア株式会社 顕著性推定装置、顕著性推定方法、及びプログラム
CN113194246A (zh) * 2021-04-02 2021-07-30 烟台艾睿光电科技有限公司 一种移动设备的图像显示方法及装置
CN113276774B (zh) * 2021-07-21 2021-10-26 新石器慧通(北京)科技有限公司 无人车远程驾驶过程中视频画面的处理方法、装置及设备
CN113891018A (zh) * 2021-11-23 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172671A (ja) 2002-11-15 2004-06-17 Toshiba Corp 動画像加工方法及び装置
JP2007116309A (ja) 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP2015139100A (ja) 2014-01-22 2015-07-30 パナソニックIpマネジメント株式会社 画像処理装置、撮像装置及び画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528548B2 (ja) * 1997-11-18 2004-05-17 トヨタ自動車株式会社 車両用動画像処理方法および車両用動画像処理装置
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
EP1984893B8 (en) * 2006-02-13 2018-05-16 Snell Advanced Media Limited Method and apparatus for modifying a moving image sequence
JP5493789B2 (ja) * 2009-12-07 2014-05-14 株式会社リコー 撮像装置および撮像方法
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
JP2012205163A (ja) 2011-03-28 2012-10-22 Panasonic Corp ウェアラブルカメラ
TWI460668B (zh) * 2012-07-30 2014-11-11 Faraday Tech Corp 影像擷取系統與方法
CN105379247B (zh) * 2013-12-10 2019-08-20 奥林巴斯株式会社 图像处理装置、显示装置、摄像装置和图像处理方法
JP2015144407A (ja) * 2013-12-27 2015-08-06 株式会社Jvcケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172671A (ja) 2002-11-15 2004-06-17 Toshiba Corp 動画像加工方法及び装置
JP2007116309A (ja) 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP2015139100A (ja) 2014-01-22 2015-07-30 パナソニックIpマネジメント株式会社 画像処理装置、撮像装置及び画像処理方法

Also Published As

Publication number Publication date
CN109997171A (zh) 2019-07-09
JPWO2018062538A1 (ja) 2019-08-08
CN109997171B (zh) 2024-03-08
US20190335103A1 (en) 2019-10-31
US11470253B2 (en) 2022-10-11
WO2018062538A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
JP7131388B2 (ja) 表示装置およびプログラム
JP6230554B2 (ja) 撮像装置
JP7159866B2 (ja) 撮像装置およびプログラム
JP5246159B2 (ja) 撮像装置、画像表示装置、プログラム
US9210324B2 (en) Image processing
JP5400486B2 (ja) 撮影装置および撮影方法
US9088722B2 (en) Image processing method, computer-readable recording medium, and image processing apparatus
JP7251472B2 (ja) 電子機器およびプログラム
JP6242428B2 (ja) 撮影装置および撮影方法
WO2018179522A1 (ja) 電子機器、プログラムおよび再生装置
JP5948960B2 (ja) カメラ、画像処理装置及びプログラム
JP6213619B2 (ja) カメラおよびプログラム
JP5816733B2 (ja) 撮影装置および撮影方法
JP5925275B2 (ja) 撮影装置および撮影方法
JP6013574B2 (ja) 撮影装置および撮影方法
JP5816732B2 (ja) 撮影装置および撮影方法
JP5637645B2 (ja) 撮影装置および撮影方法
JP2024033748A (ja) 画像処理装置、撮像装置、画像処理方法および撮像装置の制御方法、プログラム
JP2018026838A (ja) カメラ、画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7131388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150