JP5114235B2 - 画像表示装置,画像表示方法及び撮像装置 - Google Patents

画像表示装置,画像表示方法及び撮像装置 Download PDF

Info

Publication number
JP5114235B2
JP5114235B2 JP2008027553A JP2008027553A JP5114235B2 JP 5114235 B2 JP5114235 B2 JP 5114235B2 JP 2008027553 A JP2008027553 A JP 2008027553A JP 2008027553 A JP2008027553 A JP 2008027553A JP 5114235 B2 JP5114235 B2 JP 5114235B2
Authority
JP
Japan
Prior art keywords
moving
image
area
moving object
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008027553A
Other languages
English (en)
Other versions
JP2009188800A (ja
Inventor
徹 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008027553A priority Critical patent/JP5114235B2/ja
Priority to US12/367,137 priority patent/US8314888B2/en
Publication of JP2009188800A publication Critical patent/JP2009188800A/ja
Application granted granted Critical
Publication of JP5114235B2 publication Critical patent/JP5114235B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、撮像している画像の一部に所定の画像を合成して表示する画像表示装置,画像表示方法及び撮像装置に関する。
現在、撮像されているメイン画像の一部に、所定の画像を合成して表示する、所謂、ピクチャー・イン・ピクチャー(PinP)技術が知られている。PinPを用いた画像の表示手法としては、例えば下記文献が知られている。
特許文献1は、通信相手から送信される受信画像の動きに対してPinP合成領域のサイズを変えたり、または、合成処理事態のON/OFFを自動で制御するものである。
特許文献2は、ユーザが特に注目するコンテンツ、シーン、被写体をその表示優先度に応じた画面表示領域を記憶し、受信したコンテンツを設定された表示優先度に応じた画面表示領域に、決定した表示優先度に基づいてコンテンツを表示するものである。
特開平5−252510号公報 特開2005−286590号公報
ところで、図20は、PinPを用いて動画を表示している状態を示すものであるが、主画像Aに撮像対象である動体Mを表示するとともに、PinPで合成された副画像Pを表示する場合に、動体Mが時間経過とともに移動し、副画像Pが合成された位置と重なってしまい、撮像対象である動体Mを適正に表示できなくなるため、使用者にとって見づらくなることがあった。
本発明は、上記事情に鑑みてなされたもので、その目的は、動画撮像時において、移動する被写体を含む画像の中にPinPで所定の画像を合成する際に、視認上、適正な位置にPinPの合成領域を設定することができる画像表示装置,画像表示方法及び撮像装置を提供することにある。
本発明の上記目的は、下記構成によって達成される。
(1)主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示装置であって、前記主画像において相対的に移動する動体を検出する動体検出手段と、前記動体検出手段により検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該各動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を合成する副画像合成領域を決定する合成領域決定手段とを有する画像表示装置。
(2)前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出する(1)に記載の画像表示装置。
(3)前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する(1)又は(2)に記載の画像表示装置。
(4)前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する(1)又は(2)に記載の画像表示装置。
(5)前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域を変更しない(1)から(4)のいずれか1つに記載の画像表示装置。
(6)主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示方法であって、前記主画像において相対的に移動する動体を検出するステップと、前記動体を検出するステップにより検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該各動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を表示する副画像合成領域を決定するステップとを有する画像表示方法。
(7)前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出するステップを有する(6)に記載の画像表示方法。
(8)前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する(6)又は(7)に記載の画像表示方法。
(9)前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する(6)又は(7)に記載の画像表示方法。
(10)前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域を変更しない請求項(6)〜(9)のいずれか1項記載の画像表示方法。
(11)(1)〜(5)のいずれか1項記載の画像表示装置と、前記主画像及び前記副画像のうち少なくとも一方を撮像する撮像部と、を有することを特徴とする撮像装置。
ここで、動体とは、主画像において相対的に移動するものを意味し、被写体自身が移動しているものに限定されず、例えば、撮像装置を撮像時に所定の速度で移動させたときに、主画像に対してその位置が移動して表示される静止した被写体を含む。
本発明は、主画像において相対的に移動する動体を検出し、その動体の移動する方向に基づいて、主画像における該動体が移動すると予測される動体移動領域を決定している。このとき、動体移動領域には時間経過によっていずれ動体が表示される領域であるため、動体移動領域の情報に基づいて、動体移動領域以外の領域に副画像を合成することで、合成された副画像と動体とが重なって表示されてしまうことを回避することができる。こうすれば、副画像を主画像における動体と重なることがない適性な位置に自動的に合成することができ、主画像及び副画像を快適に閲覧することができ、また、使用者は自身で副画像の合成領域を設定するなどの処理をする必要がないため、使い勝手がよい。
本発明によれば、移動する被写体を含む画像の中にPinPで所定の画像を合成する際に、視認上、適正な位置にPinPの合成領域を設定することができる画像表示装置,画像表示方法及び撮像装置を提供できる。
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図1は、本発明にかかる画像表示装置及び撮像装置の一例を示す構成図である。以下の実施形態では、デジタルカメラの構成を例に説明するが、画像表示装置及び撮像装置は特にこれに限定されない。
デジタルカメラ1は、被写体を撮像する撮像部10を備えている。撮像部10には、レンズなどを含む光学ユニット11と、入射光に応じて画像データを生成する固体撮像素子(CCD)12と、固体撮像素子12で生成されたアナログ信号の画像データが入力されるアナログ信号処理部13と、信号処理されたアナログ信号をデジタル信号に変換するA/D変換部14と、A/D変換部14からの入力信号に基づいてデジタル画像データを生成する画像入力コントローラ15と、光学ユニット11を駆動するモータ駆動部16と、駆動時に固体撮像素子の駆動信号を生成して出力するタイミングジェネレータ17と、を備えている。
また、デジタルカメラ1は、CPU42と、フラッシュ44と、フラッシュ44の充電部43とを備えている。撮像部10とCPU42とはバスを介して接続されている。
CPU42にバスを介して表示部(6LCD)インターフェース部21と、メモリインターフェース部23と、圧縮伸張回路25とが接続されている。表示部(6LCD)インターフェース部21には、撮像画像を表示する表示部として機能するLCD22が接続されている。また、メモリインターフェース部23にはRAM(Random Access Memory)24a及びROM(Read Only Memory)24bを含むメモリ24が接続されている。
本実施形態のデジタルカメラ1は、動画撮影時に、撮像している画像に、さらに、該画像よりも小さい別の画像を合成し、LCD22で表示することができる。ここで、本発明では、動画撮影時に、撮影している画像を主画像とし、該主画像に合成される別の画像を副画像とする。副画像としては、例えば、ピクチャー・イン・ピクチャーで表示される画像を含み、単に画像だけでなく、文字情報、アニメーション、模様、記号であってもよい。
デジタルカメラ1は、主画像の領域において相対的に移動する動体(例えば、歩いている人物)を検出する動体検出演算部26を備えている。動体検出演算部26は、動画撮像時に、所定の間隔ごとの主画像の差分データから動体を検出する。差分データとしては、主画像における座標情報を用いることができ、この座標情報によって主画像における動体の位置を表すことができる。なお、動体検出の手法としては、従来のものを用いることができる。
また、デジタルカメラ1は、動体検出演算部26で検出された差分データに基づいて、動体の移動ベクトルを算出し、動体の移動する方向、及び、移動速度を算出することができる動体予測情報演算部34とを備えている。
さらに、デジタルカメラ1は、動体予測情報演算部34で求められた動体の移動する方向及び移動速度に基づいて、主画像における副画像(以下の実施形態では、PinPともいう。)を合成する副画像合成領域(以下の実施形態では、PinP合成領域ともいう。)を決定するPinP合成領域演算部32と、PinP合成領域演算部32によって求められたPinP合成領域に副画像を合成するPinP合成部28とを備えている。主画像における副画像を合成する領域を決定する手順については後述する。
本発明にかかる第1実施形態を図面に基づいて説明する。
図2は、本実施形態の手順を示すフローチャートである。図3は、図2の手順で示される主画像及び副画像の状態を説明する図である。図4は、本実施形態において、副画像を合成する領域を決定する手順を示す図である。
図2に示すように、最初に、動画撮像を開始して、主画像に副画像を合成する処理が設定されると、動体検出演算部26によって主画像に動体が存在するか否かを判別する。ここで、動体とは、主画像において相対的に移動するものを意味し、被写体が移動しているものに限定されず、例えば、デジタルカメラ1を撮像時に所定の速度で移動させたときに、主画像において移動して表示される静止した被写体を含む。
動体が検出された場合には、動体の進行方向を予測するステップへ移る。動体が検出されなかった場合には、主画像に合成された副画像を表示する副画像合成領域を移動することなく、処理を終了する。
図4(a)は、複数の領域に分割された主画像において、主画像のどの領域に動体M1と、副画像を表示する副画像合成領域Pがあるかを示している。主画像を分割した複数の領域の数や大きさは特に限定されず、撮像対象とする被写体や合成する副画像の大きさ等に応じて適宜設定することができる。
動体の進行方法は、動体予測情報演算部において、例えば、動体の移動ベクトルに基づいて決定される。フレーム間の動体の差分データに基づき、所定時間における動体の移動した方向を演算することで、動体の進行方向を求めることができる。
図4(b)に示すように、求められた動体の進行方向によって、時間経過とともに、主画像における動体が移動する領域を特定する。図4(b)において、トーンで示す領域は動体が移動する領域を示している。この動体が移動する領域を以下、動体移動領域という。
動体の進行方向を予測した後、動体の進行方向に副画像を合成する領域が重複して存在するか否かを判別する。具体的には、図4(b)に示すように、動体移動領域に副画像合成領域Pが存在する場合には、動体の進行方向に副画像を合成する領域が重複して存在すると判断する。動体移動領域に副画像合成領域Pが存在しない場合には、副画像合成領域Pを移動せず処理を終了する。主画像Aに副画像がまだ合成されていない場合には、上記手順によってデフォルトで設定された副画像合成領域が動体移動領域に重複しないかを判別し、重複しない場合に、その領域に合成し、LCD22に表示することができる。
動体の進行方向に副画像を合成する領域が重複して存在する場合には、図4(c)に示すように主画像Aにおける動体移動領域以外の領域を演算により指定し、所定の領域に副画像合成領域Pを移動して合成及び表示処理を行う。こうすることで、図3に示すように、主画像Aにおける動体M1の表示が副画像合成領域Pと重なることを回避することができる。
主画像Aにおいて相対的に移動する動体M1を検出し、その動体M1の移動する方向に基づいて、主画像Aにおける該動体M1が移動すると予測される動体移動領域Pを決定している。このとき、動体が表示される領域である動体移動領域Pの情報に基づいて、動体移動領域P以外の領域に副画像を合成することで、合成された副画像と動体とが重なって表示されてしまうことを回避することができる。こうすれば、副画像を主画像Aにおける動体M1と重なることがない適性な位置に自動的に合成することができ、主画像A及び副画像を快適に閲覧することができ、また、使用者は自身で副画像を合成する領域を手動で設定するなどの処理をする必要がないため、使い勝手がよい。
次に、本発明にかかる第2実施形態を図面に基づいて説明する。
上記第1実施形態では、動体が単体である場合において副画像合成領域を決定する手順を説明したが、本実施形態では、動体が複数個ある場合において副画像合成領域を決定する手順を説明する。
図5は、本実施形態の手順を示すフローチャートである。図6は、本実施形態の手順を用いない場合の主画像と副画像の状態を説明する図である。図7は、図5の手順で示される主画像及び副画像の状態を説明する図である。図8は、本実施形態において、副画像を合成する領域を決定する手順を示す図である。
図5に示すように、最初に、動画撮像を開始して、主画像に副画像を合成する処理が設定されると、動体検出演算部26によって主画像に動体が存在するか否かを判別する。動体があると判別された場合には、動体が複数あるか否かを判別する。動体が単数である場合には、図2で示す上記実施形態と同様の処理手順によって副画像合成領域を決定することができる。
動体が複数あると検出された場合には、複数の動体のそれぞれについて、その進行方向を予測するステップへ移る。なお、図6及び図7では、主画像Aに2個の動体M1,M2が表示されている場合を示している。図8(a)では、主画像Aにおける分割された領域に、動体M1,M2及び副画像合成領域Pを設定した状態を示している。
次のステップにおいて、それぞれの動体M1,M2ごとに動体移動領域を算出するとともに(図8(b))、複数個の動体の進行方向が全て同じか否かを判別する。ここで、複数個の動体M1,M2の進行方向が全て同じではない場合には、複数個の動体M1,M2のうちいずれかを注目動体(本実施形態では動体M1)に設定する。ここで、注目動体の設定の仕方は特に限定されず、大きさや移動速度等に基づいて自動的に決定してもよい。
複数個の動体M1,M2の進行方向が全て同じ場合には、複数個の動体M1,M2のうち最も早く副画像合成領域Pに到達する動体を注目動体とする。ここで、動体M1,M2の到達する時間は、上記差分データに基づき算出することができる。図7においては、複数個の動体M1,M2のうち、動体M1の方が動体M2に比べて現在の複画像合成領域Pに早く到達するため、動体M1を注目動体に設定している。
図8(b)及び(c)に示すように、注目動体に設定された動体M1の動体移動領域に副画像合成領域Pが設定されている場合には、動体M1の動体移動領域及び動体M2の動体移動領域に重ならない領域を演算により算出し、副画像合成領域Pを変更する。
このように、本実施形態では、複数個の動体M1,M2が主画像Aに存在する場合に、複数個の動体M1,M2から注目動体を設定し、該注目動体に対して副画像合成領域Pを決定することで、主画像に複数個の動体M1,M2が存在する場合であっても、いずれの動体も副画像合成領域Pに重なって見にくくなることがない。例えば、図6に示すように、複数個の動体(例えば、走る人間)M1,M2が所定の位置(例えば、ゴール)へ移動する場合に、所定の位置に副画像合成領域Pが表示されつづけると、動体M1が副画像合成領域Pと重なりあってしまう。そこで、本実施形態の手順によって動体M1を注目動体に設定し、副画像合成領域Pを決定すれば、動体M1と副画像合成領域Pと重なりあってしまうことを回避できる。
次に、本発明にかかる第3実施形態を図面に基づいて説明する。
上記第2実施形態では、複数の動体の移動方向が同じである場合において副画像合成領域を決定する手順を説明したが、複数の動体の移動方向がそれぞれ異なる場合でも以下の手順によって副画像合成領域を決定することができる。図9は、本実施形態の手順を示すフローチャートである。図10は、本実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図11は、図9の手順を用いた場合において、主画像及び副画像の状態を説明する図である。図12は、本実施形態において、副画像を合成する領域を決定する手順を示す図である。
図9に示すように、最初に、動画撮像を開始して、主画像に副画像を合成する処理が設定されると、動体検出演算部26によって主画像に動体が存在するか否かを判別する。動体があると判別された場合には、動体が複数あるか否かを判別する。動体が単数である場合には、図2で示す上記実施形態と同様の処理手順によって副画像合成領域Pを決定することができる。
動体が複数あると検出された場合には、複数の動体のそれぞれについて、その進行方向を予測するステップへ移る。なお、図10及び図11では、主画像Aに2個の動体M1,M2が表示されている場合を示している。図10及び図11に示すように、本実施形態では、複数の動体M1,M2がそれぞれ異なる方向に移動している。また、図12(a)では、主画像Aにおける分割された領域に、動体M1,M2及び副画像合成領域Pを設定した状態を示している。
本実施形態では、複数の動体M1,M2のうちいずれかを注目動体に設定する。ここで、注目動体に決定する基準は特に限定されず、例えば、それぞれの動体M1,M2の移動速度、移動量、動体の大きさ等を基準として用いることができる。
次に、注目動体に設定された動体M1の動体移動領域に副画像合成領域Pが設定されているか否かを判別する。動体M1の動体移動領域に副画像合成領域Pが設定されていない場合には、副画像合成領域Pを変更することなく処理を終了する。
一方、図12(b)に示すように、注目動体に設定された動体M1の動体移動領域に副画像合成領域Pが設定されている場合には、続いて、主画像Aにおける動体M1の動体移動領域以外の領域を演算によって算出する。そして、動体移動領域以外の領域のうち、更に他の動体M2の動体移動領域に重なっていないかを判別する。本実施形態では、動体が2個である場合において説明しているが、3個以上である場合には、全ての動体の動体移動領域に対して、副画像合成領域Pを移動させる領域が重ならないかを判別する。ここで、動体の動体移動領域に対して移動させた副画像合成領域Pが重なってしまう場合には、副画像合成領域Pを変更できないと判断して、処理を終了する。
図12(c)に示すように、他の動体M2の動体移動領域に重ならない領域がある場合には、その領域に副画像合成領域Pを変更し、該副画像を合成し、LCD22に表示する。
本実施形態によれば、図11に示すように、主画像Aに複数の動体M1,M2が存在し、かつ、それら動体M1,M2がそれぞれ異なる方向に移動する場合に、注目動体M1と副画像とが重なって表示されることがなく、また、副画像を移動させた場合に、他の動体M2と重なって表示されることを回避することができる。
次に、本発明にかかる第4実施形態を図面に基づいて説明する。
図13は、本実施形態の手順を示すフローチャートである。図14は、本実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図15は、図13に示す手順を用いた場合において、主画像及び副画像の状態を説明する図である。図14及び図15は、主画像Aに副画像合成領域Pを設定した状態を示しており、主画像Aに複数(図では3個)の動体M1,M2,M3が存在している。図16(a)は、複数の領域に分割された主画像Aにおいて動体M1,M2,M3の位置と、副画像合成領域が設定されている状態を示している。図16(b)は、動体M1,M2,M3のそれぞれの動体移動領域を示している。図16(c)は、副画像合成領域Pを他の領域に変更した後の状態を示している。
本実施形態は、図16(a)に示すように、主画像Aにおいて複数の動体M1,M2,M3を検出した場合に、いずれか一つの動体M1,M2,M3を注目動体に設定し、注目動体の動体移動領域と副画像合成領域Pとが重なる場合に、注目動体及び他の動体の動体移動領域以外の領域に副画像合成領域Pを変更する点で、上記実施形態と同様の処理を実行する。上記実施形態と同じ処理についは説明を省略する。
本実施形態では、注目動体M1の動体移動領域と副画像合成領域Pとが重なる場合であって、かつ、他の動体M2,M3の動体移動領域と副画像合成領域Pとが重なる場合に、該他の物体M2,M3が副画像合成領域Pと重なる領域に到達する時間を算出する点で、上記実施形態と異なっている。他の物体M2,M3が副画像合成領域Pと重なる領域に到達する時間は、例えば、該他の物体M2,M3の差分データに基づいて移動ベクトルを算出し、該移動ベクトルから速度を求めることで算出することができる。
他の物体が副画像合成領域Pと重なる領域に到達する時間が予め設定されたしきい値以上である場合には、副画像合成領域Pの変更を実行する。一方で、他の物体が副画像合成領域Pと重なる領域に到達する時間がしきい値未満である場合には、未だ判別を行っていない他の領域の有無を判別し、更に、その領域が他の動体の動体移動領域と重ならないか判別し、重なる場合に、上記と同様に他の物体M2,M3が副画像合成領域Pと重なる領域に到達する時間としきい値に基づく判定処理を実行する。副画像合成領域Pが、他の動体M2,M3の動体移動領域と重なってしまう場合であって、かつ、その重なる領域に動体M2,M3が到達する時間がいずれもしきい値未満である場合には、副画像合成領域Pを変更できないと判断して、処理を終了する。
図14に示すように、主画像Aに複数の動体M1,M2,M3が存在する場合には、注目動体M1の動体移動領域以外の領域が全て他の動体M2,M3の動体移動領域と重なってしまい、副画像合成領域Pが変更できない場合がある。そこで、上記手順に示すように、他の動体が、副画像合成領域Pを変更しようとしている領域に到達する時間がしきい値以上であれば、副画像合成領域Pを変更することを許容することで、注目動体M1が副画像と重なってしまうことを回避することができる。
次に、本発明にかかる第5実施形態を図面に基づいて説明する。
図17は、本実施形態の手順を示すフローチャートである。図18は、本実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図19は、図17の手順を用いた場合において、主画像及び副画像の状態を説明する図である。
図18に示すように、最初に主画像Aに複数の動体M1が表示されている状態で、短時間の間に動体M2が主画像Aに表示される場合には、動体M1,M2の移動速度が早いと、副画像合成領域の変更も短時間の間に繰り返し実行され、該副画像合成領域の位置が著しく変化してしまうことが考えられる。このような場合には、使用者にとって主画像A及び副画像がかえって見づらくなる。そこで、本実施形態では、動体M1,M2の速度に基づいて副画像合成領域を決定するものである。
図17に示すように、最初に、主画像Aに動体M1,M2が存在しているか否かを判別し、存在している場合には、動体M1,M2の速度を計算する。ここで、動体M1,M2の速度は、動体M1,M2のフレーム間の差分データに基づいて算出することができる。そして、複数の動体M1,M2のうち注目動体の速度(動体が1個である場合には、その速度)がしきい値以下であるか否かを判別する。注目動体の速度がしきい値以下である場合には、図13で示す実施形態と同様に、注目動体及び他の動体の動体移動領域を算出し、これら動体移動領域以外の領域に副画像合成領域Pを変更する。注目動体の速度がしきい値を超える場合には、副画像合成領域Pの変更を実行せず、処理を終了する。
本実施形態によれば、図19に示すように、主画像Aに早い移動速度で動体M1,M2が表示され場合に、副画像合成領域Pが短時間で変更されてしまうことを回避し、主画像Aにおける一定の位置に固定される。このため、主画像Aに対して副画像の位置が著しく移動することを回避できるため、見づらくなることを防止することができる。
なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。
例えば、上記実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明したが、これに限定されない。また、本発明は、撮像部を備えていない構成であって、外部から動画データを取り込み、主画像及び副画像を表示するLCD等の表示部を備えた構成の画像表示装置であってもよい。
本発明にかかる画像表示装置及び撮像装置の一例を示す構成図である。 第1実施形態の手順を示すフローチャートである。 図2の手順で示される主画像及び副画像の状態を説明する図である。 第1実施形態において、副画像を合成する領域を決定する手順を示す図である。 第2実施形態の手順を示すフローチャートである。 第2実施形態の手順を用いない場合の主画像と副画像の状態を説明する図である。 図5に示す手順で示される主画像及び副画像の状態を説明する図である。 第2実施形態において、副画像を合成する領域を決定する手順を示す図である。 第3実施形態の手順を示すフローチャートである。 第3実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。 図9の手順を用いた場合において、主画像及び副画像の状態を説明する図である。 第3実施形態において、副画像を合成する領域を決定する手順を示す図である。 第4実施形態の手順を示すフローチャートである。 図13に示す実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。 図13に示す手順を用いた場合において、主画像及び副画像の状態を説明する図である。 第4実施形態において、副画像を合成する領域を決定する手順を示す図である。 第5実施形態の手順を示すフローチャートである。 第5実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。 図17に示す手順を用いた場合において、主画像及び副画像の状態を説明する図である。 従来のPinPを用いて動画を表示している状態を示すものである。
符号の説明
1 デジタルカメラ(撮像装置)
10 撮像部
26 動体検出演算部
28 副画像(PinP)合成部
32 副画像(PinP)合成領域演算部
34 動体予測情報演算部

Claims (11)

  1. 主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示装置であって、
    前記主画像において相対的に移動する動体を検出する動体検出手段と、
    前記動体検出手段により検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を合成する副画像合成領域を決定する合成領域決定手段とを有する画像表示装置。
  2. 前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出する請求項に記載の画像表示装置。
  3. 前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する請求項1又は2に記載の画像表示装置。
  4. 前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する請求項1又は2に記載の画像表示装置。
  5. 前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域変更しない請求項1からのいずれか1つに記載の画像表示装置。
  6. 主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示方法であって、
    前記主画像において相対的に移動する動体を検出するステップと、
    前記動体を検出するステップにより検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を表示する副画像合成領域を決定するステップとを有する画像表示方法。
  7. 前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出するステップを有する請求項に記載の画像表示方法。
  8. 前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する請求項6又は7に記載の画像表示方法。
  9. 前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する請求項6又は7に記載の画像表示方法。
  10. 前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域変更しない請求項6〜9のいずれか1項記載の画像表示方法。
  11. 請求項1〜5のいずれか1項記載の画像表示装置と、
    前記主画像及び前記副画像のうち少なくとも一方を撮像する撮像部と、を有することを特徴とする撮像装置。
JP2008027553A 2008-02-07 2008-02-07 画像表示装置,画像表示方法及び撮像装置 Expired - Fee Related JP5114235B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008027553A JP5114235B2 (ja) 2008-02-07 2008-02-07 画像表示装置,画像表示方法及び撮像装置
US12/367,137 US8314888B2 (en) 2008-02-07 2009-02-06 Image display device, method and imaging apparatus with adaptive reposition picture-in-picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008027553A JP5114235B2 (ja) 2008-02-07 2008-02-07 画像表示装置,画像表示方法及び撮像装置

Publications (2)

Publication Number Publication Date
JP2009188800A JP2009188800A (ja) 2009-08-20
JP5114235B2 true JP5114235B2 (ja) 2013-01-09

Family

ID=40938567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008027553A Expired - Fee Related JP5114235B2 (ja) 2008-02-07 2008-02-07 画像表示装置,画像表示方法及び撮像装置

Country Status (2)

Country Link
US (1) US8314888B2 (ja)
JP (1) JP5114235B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5267396B2 (ja) * 2009-09-16 2013-08-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5606057B2 (ja) * 2009-12-17 2014-10-15 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法
JP2011130327A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム
KR101680684B1 (ko) * 2010-10-19 2016-11-29 삼성전자주식회사 영상 처리 방법 및 이를 적용한 영상 촬영 장치
JP5649429B2 (ja) * 2010-12-14 2015-01-07 パナソニックIpマネジメント株式会社 映像処理装置、カメラ装置および映像処理方法
EP2726937B1 (en) * 2011-06-30 2019-01-23 Nokia Technologies Oy Method, apparatus and computer program product for generating panorama images
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
JP6238509B2 (ja) * 2012-06-04 2017-11-29 三菱電機株式会社 表示制御装置および表示制御方法
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
CN107509029A (zh) 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
US9584725B2 (en) * 2014-06-03 2017-02-28 Xiaomi Inc. Method and terminal device for shooting control

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2833909B2 (ja) 1992-03-04 1998-12-09 日本電気株式会社 動画像符号化装置
JPH05268643A (ja) * 1992-03-24 1993-10-15 Meisei Electric Co Ltd 電話装置における停電検出方式
US7206029B2 (en) * 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
US6697123B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Adaptive picture-in-picture
US6697124B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Smart picture-in-picture
JP2005286590A (ja) 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 画像表示方法および画像表示装置
JP2009094879A (ja) * 2007-10-10 2009-04-30 Canon Inc 動画像再生方法

Also Published As

Publication number Publication date
JP2009188800A (ja) 2009-08-20
US20090201424A1 (en) 2009-08-13
US8314888B2 (en) 2012-11-20

Similar Documents

Publication Publication Date Title
JP5114235B2 (ja) 画像表示装置,画像表示方法及び撮像装置
US8736666B2 (en) Imaging device, display control method and program
KR101062502B1 (ko) 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치
JP5803467B2 (ja) 画像処理装置および撮像装置、ならびに画像処理方法
JP4861109B2 (ja) 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
US10397467B2 (en) Imaging apparatus, image processing device, imaging method, and computer-readable recording medium
EP2424221B1 (en) Imaging device, imaging system, and imaging method
US20120105657A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
JP2009060404A (ja) 映像処理装置
US20110242274A1 (en) Imaging device, imaging method, and computer-readable medium
JP2010066863A (ja) 顔検出装置及び方法
JP5955170B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP4281338B2 (ja) 画像検出装置及び画像検出方法
JP2009089172A (ja) 画像表示装置
JP2010154572A (ja) 映像処理装置
JP6223170B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2009089083A (ja) 年齢推定撮影装置及び年齢推定撮影方法
EP3370411B1 (en) Image output method and image capturing device
JP6672082B2 (ja) 撮像装置、撮像方法およびプログラム
JP2011135285A (ja) 撮像装置及び撮像制御プログラム
JP2009027437A (ja) 画像処理装置,画像処理方法及び撮像装置
JP2012124797A (ja) 撮影装置
JP2008079174A (ja) カメラ視野制御装置
JP4508998B2 (ja) 遠隔カメラ制御装置
JP2011142483A (ja) 画像生成手法および画像生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100707

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120820

TRDD Decision of grant or rejection written
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5114235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees