JP7017175B2 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP7017175B2 JP7017175B2 JP2020178987A JP2020178987A JP7017175B2 JP 7017175 B2 JP7017175 B2 JP 7017175B2 JP 2020178987 A JP2020178987 A JP 2020178987A JP 2020178987 A JP2020178987 A JP 2020178987A JP 7017175 B2 JP7017175 B2 JP 7017175B2
- Authority
- JP
- Japan
- Prior art keywords
- transition
- output target
- target area
- image
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 157
- 238000003672 processing method Methods 0.000 title description 5
- 230000007704 transition Effects 0.000 claims description 729
- 230000000007 visual effect Effects 0.000 claims description 199
- 238000000034 method Methods 0.000 claims description 114
- 230000008569 process Effects 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 57
- 238000004891 communication Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007562 laser obscuration time method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Description
これらの360度の連続する視野を有する画像を表示装置に表示させる場合において、その全体画像の一部を出力対象領域として切り出して表示することが行われる。
そこで本技術は、出力対象領域を遷移させる際にも、視聴者にとって快適で見やすく、不自然とならない画像を提供できるようにすることを目的とする。
視聴者の視点移動を模した出力対象領域(全体画像から切り出して表示対象とする領域)の遷移について、360度連続する全体コンテンツにおける遷移元と遷移先を想定すると、遷移元出力対象領域から連続する画像として遷移先出力対象領域に至る視野遷移パスは多様に考えられるため、その視野遷移パスを自動決定する。
なお全体コンテンツとは、全天球画像、半天球画像、360度パノラマ画像など、少なくとも360度連続する部分が存在する画像コンテンツである。換言すると、360度の視野を有する画像コンテンツである。
出力対象領域の遷移について、360度連続する全体コンテンツにおける遷移元と遷移先を想定すると、遷移元から連続する画像として遷移先に遷移するパスは複数想定される。特に360度連続する全体コンテンツ内での遷移元と遷移先の位置関係を考えると、遷移元から遷移先への遷移(視点移動)は、その全体画像の360度円周上の一方向と逆方向とが考えられる。これらの一方を自動的に選択するものとする。そこで一方向に進行する候補パスと、その逆方向に進行する候補パスのうちで、例えば視認上望ましいパスを視野遷移パスに自動決定する。
例えば移動距離が短い方の候補パスを視野遷移パスとして選択する。
即ち遷移元出力対象領域において被写体となっている人物その他の移動体が、動画上で或る方向に移動している場合、その移動方向を、視野遷移パス決定のための一要素とする。
即ち遷移先出力対象領域において被写体となっている人物その他の移動体が、動画コンテンツ上で或る方向に移動している場合、その移動方向を、視野遷移パス決定のための一要素とする。
即ち遷移元、遷移先の各画像(被写体となっている人物その他の移動体)の一方又は両方が動画コンテンツ上で移動している場合、その移動速度を、視野遷移パス決定のための一要素とする。
遷移元から遷移先への連続的な遷移(視点移動)には、その遷移時間を要する。遷移先の被写体に動きがある場合、遷移所要時間後における当該被写体の全体コンテンツ内での位置は、遷移開始時点のフレームでの位置とは異なることが想定される。そこで遷移所要時間を経過したときの遷移先の被写体位置を考慮して視野遷移パス決定を行う。
画像の視認者であるユーザに対して、全体画像内での各被写体について、各時点での位置を一覧表示させ、当該一覧としての遷移設定画像上で例えば被写体を選択できるようにする。これにより動画進行に応じた出力対象領域の移動、即ち視点移動を行うことで、ユーザが見たい被写体を視点移動しながら提示することを可能とする。
表示している画像上で、他の表示候補の被写体の存在を、存在提示画像として提示する。そしてユーザが、存在提示画像に対する操作等により或る表示候補画像を選択する操作を行うことで、その表示候補画像が含まれる領域に視点移動するような画像表示を実現する。
つまり存在する表示候補画像を、たとえば均一サイズのサムネイル画像として、現在の出力対象領域の一部に重畳させるなどの手法で、存在提示する。
例えば現在の出力対象領域に対して画面上の上方に存在する表示候補画像についての存在提示画像は、現在の画面上の上方に提示する。現在の出力対象領域に対して画面上の右方に存在する表示候補画像についての存在提示画像は、現在の画面上の右方に提示する。
動画コンテンツの場合、各表示候補画像は、時間軸方向においても存在状況が変動する。そこで時間軸上で、表示候補画像の存在が確認できるようにする。
例えば現在の出力対象領域に対する各表示候補画像の相対位置を示すような画像を存在提示画像とする。
これにより情報処理装置が視野遷移パスの自動決定を行うようにする。
本技術に係るプログラムは、以上の視野遷移パス決定手順を情報処理装置に実行させるプログラムである。これにより視野遷移パスの自動決定を行うことのできる情報処理装置を実現する。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.実施の形態の処理対象の画像>
<2.情報処理装置の構成>
<3.出力対象領域の遷移処理>
<4.遷移設定画像を用いた処理>
<5.存在提示画像を用いた処理>
<6.まとめ及び変形例>
まず本実施の形態の情報処理装置が処理の対象とする画像について説明する。処理対象とする画像は、少なくとも一方向に360度の連続する視野を有する画像である。換言すると360度の視野を有する画像である。一方向とは、直線的な方向である。球面上の方向としての直線(三次元における球面で生ずる湾曲は無視した場合の直線)も含む。
このような画像の具体例としては、図1Aの半天球画像、図1Bの全天球画像、図1Cの360度パノラマ画像などがある。
位置P0において、例えば撮像装置の魚眼レンズ等の広角レンズを真上に向けて撮像を行うと、図1Aのように、一点鎖線で示す光軸L1と天頂が交わる半天球状の範囲の静止画や動画を得ることができる。すなわち、水平方向に360度、垂直方向に180度の画角を有する半天球画像である。
このような静止画や動画が、水平方向に360度、垂直方向に360度の画角を有する全天球画像である。
なお、ここでは水平方向の画角の例を挙げたが、垂直方向に360度の画角を有する360度パノラマ画像も想定される。
以下、図1Bの全天球画像を例に用いて実施の形態の説明を行っていくが、説明する処理は半天球画像や360度パノラマ画像を処理対象としても適用できるものである。
この全体画像HPにおける一部の領域を切り出して出力対象領域90とする。実線で示す出力対象領域90は、位置P0に居る視認者が視線方向E1で視認する画像となる。例えばこのような或る視線方向における一部の領域を出力対象領域90として、表示装置で表示させる。
なお、ここでは表示用に領域を切り出す例を説明しているが、表示用に限らず、編集済みのコンテンツを作成する目的で、一部の領域を切り出して編集したり記録することも想定される。そのような場合でも後述する本実施の形態の処理、特に遷移パスの決定に関する処理は適用できる。
このように出力対象領域90は、全体画像HPのうちで任意の領域として選択できる。従って、静止画の場合は、ユーザの操作によって出力対象領域90を変更したり、情報処理装置が自動的に出力対象領域90を変更することができる。
また動画の場合、ユーザ操作や自動制御によって出力対象領域90を選択したり、動画の進行に応じて出力対象領域90を変更していくようなことも可能である。
図示しないが、出力対象領域90のサイズ、アスペクト比なども、ユーザ操作に応じて、或いは自動制御により、設定したり変更したりすることができる。
例えば全体画像HPの中に人物Aと人物Bが被写体として含まれているときに、最初に人物Aが含まれている領域を出力対象領域90として切り出して表示装置で表示させ、その後、出力対象領域90を人物Bが含まれている領域に変更して切り出しを行って表示装置で表示させる等の処理となる。
図2Bに被写体100、101を示している。出力対象領域90を被写体100を含む領域から被写体101を含む領域に遷移させる場合、いきなり表示画面を切り替えることは不自然である場合が多い。そこで被写体100を含む領域から被写体101を含む領域に至るまで、徐々に表示される領域が変化していくようにする。
全天球画像の場合、このような遷移の際の視野遷移パスとして、直線(この場合も、上述のように球面としての湾曲は無視する)を考えると、パスPT1,PT2が想定される。
本実施の形態の情報処理装置は、このように複数のパス(候補パス)のうちで、視認者にとって快適な遷移を実現できるように、視野遷移パス決定を行う。例えばパスPT1,PT2のうちで一方を視野遷移パスとして選択する。
本実施の形態の情報処理装置は、撮像装置、画像表示装置、画像編集装置、表示制御装置等の機器に内蔵されたり、或いはコンピュータ装置等により実現される。
図3は実施の形態の情報処理装置1とその周辺の構成として撮像装置2,記憶装置3,通信装置4,操作装置5,表示装置6を示している。
情報処理装置1は、周辺各部の機器として示す撮像装置2,記憶装置3,通信装置4,操作装置5,表示装置6の全部又は一部とともに一体の機器として構成される場合がある。例えばカメラ、モニタディスプレイ装置、テレビジョン装置、画像編集装置、コンピュータ装置、端末装置などとして一体化される場合がある。
また情報処理装置1は、図示する周辺機器とは別体の機器とされ、有線又は無線の通信路により各周辺機器と互いに通信を行う構成とされる場合もある。
例えば撮像装置2は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備えた光学系により、被写体からの光を、CMOS(Complementary Metal OxideSemiconductor)型、CCD(Charge Coupled Device)型などの撮像素子に集光する。
撮像装置2は、360度の連続する視野を有する画像を撮像するために、光学系において広角レンズを有していることが想定される。例えば魚眼レンズ、360度レンズを備えることが想定される。また撮像装置2が全方位撮像光学系、全周囲撮像光学系を備えていたり、或いは着脱式の全方位撮像光学系、全周囲撮像光学系を有するアダプタを取り付けられる構成とされていてもよい。全方位撮像光学系、全周囲撮像光学系としては周囲反射ミラーを用いたものや、PALレンズ(Panoramic Annular Lens:パノラマ環状レンズ)を用いたものなどが考えられる。
そして撮像装置2では、これらの光学系によって撮像素子に集光された被写体光についての、撮像素子での光電変換で得た電気信号に対し、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号について、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する処理を行う。また、これらの各種の信号処理が施された画像データに対して解像度変換処理や、例えば記録用や通信用の符号化処理を行う。
そして撮像装置2は、符号化処理により生成された画像データや、或いは符号化前の画像データ(いわゆるRAW画像データ)を情報処理装置1に出力する。
記憶装置3は、記憶媒体として例えば不揮発性メモリを用い、静止画データや動画データ等の画像ファイルや、画像ファイルの属性情報、サムネイル画像等を記憶する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)、MPEG(Moving Picture Experts Group)-2、MPEG-4、AVI(Audio Video Interleave)、AVCHD(登録商標:Advanced Video Codec High Definition)等の形式で記憶される。
また記憶装置3は、静止画データや動画データとしてRAW画像データを記録する場合もある。
記憶装置3の実際の形態は多様に考えられる。例えば記憶装置3は、フラッシュメモリを記憶媒体として用いた記憶装置でもよいし、情報処理装置1を備えた機器に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記憶装置3はHDD(Hard Disk Drive)などとして実現されることもある。もちろん光ディスク、光磁気ディスク、ホログラムメモリ媒体、磁気テープ、光テープ、体積記録媒体など、各種の記憶媒体に対応する記録再生部としてもよい。
通信装置4は、例えばWIFI(Wireless Fidelity)やブルートゥース(BLUETOOTH:登録商標)等の無線通信規格等の通信方式による通信を行うことが考えられる。
また通信装置4は、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
この操作装置5としては、例えば機器の筐体上に設けられた各種操作子や、タッチパッド、表示部34に形成されたタッチパネルなどとして実現される。
またタッチパネルと表示装置6に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いはタッチパッド等によりユーザのタップ操作を検出する形態もある。
また周辺画像認識により、ユーザのいわゆるジェスチャ操作を認識したり、音声入力機能を備えて音声操作を認識するようにしてもよい。
また表示装置6は、情報処理装置1によって例えば全天球画像から切り出された出力対象領域90の画像データの供給を受け、動画や静止画の表示を行う。また表示装置6は、情報処理装置1の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
撮像装置2,記憶装置3,通信装置4,操作装置5,表示装置6等の周辺各部の全部又は一部と一体の機器とされる場合、情報処理装置1は制御部として機能し、プログラムに基づき、動作状態やユーザ操作等に応じて周辺各部の動作制御を行う。
情報処理装置1は、周辺各部と別体機器とされる場合は、周辺各部の機器との間で画像データや制御データの通信等を行う。
本実施の形態では、情報処理装置1は、全天球画像等の360度の視野を有する画像についての出力対象領域90の視野遷移パスを決定する処理を少なくとも行う。
情報処理装置1は、撮像装置2で撮像された画像データ、記憶装置3で記憶媒体から読み出された画像データ、或いは外部機器から送信されて通信装置4により受信された画像データを対象として、出力対象領域90の視野遷移パス決定処理を行うことができる。
また情報処理装置1は、表示装置6で表示させている画像について、視野遷移パス決定処理で決定した視野遷移パスに沿って、出力対象領域90の遷移を行う表示制御を行うことができる。
また情報処理装置1は視野遷移パス決定処理で決定した視野遷移パスの情報を、画像データに対応させて記憶装置3により記憶媒体に記憶させることができる。
また情報処理装置1は視野遷移パス決定処理で決定した視野遷移パスの情報を、画像データに付加して(例えばメタデータとして付加して)、通信装置4により外部機器に送信させることができる。
情報処理装置1のCPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
図3の表示装置6が情報処理装置1と一体機器の場合、ディスプレイ56は表示装置6を意味する。表示装置6が情報処理装置1とは別体機器の場合、ディスプレイ56はコンピュータ装置としてのディスプレイであり、オペレータに対するユーザインタフェースのための各種情報表示を行う。
図3の操作装置5が情報処理装置1と一体機器の場合、入力部57は操作装置5を意味する。操作装置5が情報処理装置1とは別体機器の場合、入力部57はコンピュータ装置においてオペレータが使用する入力デバイスを意味する。
通信部60は、インターネットを含むネットワークを介しての通信処理や、図3の周辺各部の機器との間の通信を行う。
そしてCPU51において当該プログラムが起動されることで、後述する各種処理を行うことができるようにされる。
なお、実施の形態の情報処理装置1は、図4のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN等により遠隔地に配置されたものでもよい。複数の情報処理装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置などの情報処理装置が含まれてもよい。
なお、図5A、図5Bで説明する各機能は、情報処理装置1においてCPU51でプログラムに応じて実行される処理により実現される機能である。但し以下説明する全部又は一部の各構成の処理をハードウエアにより実現してもよい。
また各機能をソフトウエアで実現する場合に、各機能がそれぞれ独立したプログラムで実現される必要はない。1つのプログラムにより複数の機能の処理が実行されてもよいし、1つの機能が複数のプログラムモジュールの連携で実現されてもよい。
また各機能は複数のコンピュータ装置に分散されていてもよい。さらに機能の1つが、複数のコンピュータ装置によって実現されてもよい。各機能は別筐体で構成される複数のコンピュータ装置により実現されてもよい。
例えば画像データ取得部10は、撮像装置2から送信される画像データを受信する受信装置、インタフェース装置、入力バファリング装置であったり、記憶装置3で再生された画像データを受信する受信装置、インタフェース装置、入力バファリング装置であったり、通信装置4で受信した画像データを入力するインタフェース装置、入力バファリング装置等が想定される。
このような物体検知は、出力対象領域90となる切り出し領域の設定のために行う。例えば人の顔が写っている領域を出力対象領域90とするためなどである。
画像データ及び物体検知部11で検知された被写体の情報は、切り出し枠(出力対象領域90)の指定の情報として、パス生成部12、切り出し枠生成部13、表示データ生成部14の処理で用いられる。
なお、切り出し枠の指定情報は、物体検知部11から取得されるものに限らず、人手によってラベリングされたメタ情報や、撮像時に画像データに付与されたマーカー情報、顔検出や人検出などの他の画像処理を用いて取得された認識情報でもよい。
パス生成部12は、複数の切り出し枠(出力対象領域90)の指定情報から、全天球画像の特性を用いて、視野遷移パスを生成する。
このときにパス生成部12は、遷移元の出力対象領域90と遷移先の出力対象領域90の位置関係、移動方向、移動速度、指定領域の信頼性の情報等に基づいて視野遷移方向を決定するなどして視野遷移パスを決定する。
このためパス生成部12には、図5Bに示すように、特定部21と視野遷移パス決定部22を有する。
特定部は、取得した画像データとしての全体画像HPの一部領域である出力対象領域90について、遷移元の出力対象領域90と遷移先の出力対象領域90とを特定する処理を行う。
視野遷移パス決定部22は、遷移元の出力対象領域から遷移先の出力対象領域に至る視野遷移パスを決定する処理を行う。例えば図2Bで説明したパスPT1,PT2のうちから1つを選択して視野遷移パスと決定する。
パス生成部12の処理について、詳しくは後述する。
例えば物体検知部11で検出された特定の被写体を含む領域を切り出し枠とする。
また或る出力対象領域90から他の出力対象領域90に遷移する場合は、パス生成部12で決定された視野遷移パスに応じて、その遷移過程の各時点で出力対象領域90となる各切り出し枠の情報を生成する。
また表示データ生成部14は、切り出した出力対象領域90の画像に対して、各種画像(アイコン、サムネイル、その他の操作用の画像)等の重畳表示するための処理や、別途表示させるメニュー画像、操作用の画像の表示データ生成処理を行ってもよい。
また表示データ生成部14は、後述する遷移設定画像や存在提示画像等を含む表示データ生成処理を行ってもよい。
記憶制御部17は、表示データ生成部生成された表示データや、パス生成部12で決定された視野遷移パスの情報等を記憶装置3に記憶させる制御を行う。
通信制御部18は、表示データ生成部生成された表示データや、パス生成部12で決定された視野遷移パスの情報等を通信装置4から外部機器に送信させる制御を行う。
以上の情報処理装置1による出力対象領域90の遷移処理について説明する。
ここでは、全体画像HPのうちで異なる複数の切り出し領域の間を、全天球の球面上で移動する場合の処理として説明する。例えば図2Aにおいて視線方向E1の出力対象領域90から、視線方向E2の出力対象領域90に遷移させるために、図2BのようにパスPT1,PT2が考えられる状況において、一方を視野遷移パスとして決定する場合の例である。
図6Aは、全天球画像の全体画像HPを仮想的に長方形状で示したものである。なお図6Aの右端と左端は連続しているものとする。後述する図7A~図7F、図9A、図10A、図11Aも同様である。
図6Aにおいて、現在、被写体100を含む出力対象領域90を表示しているとする。このときに被写体101を含む切り出し枠が出力対象領域90となるように、出力対象領域90を遷移させることを想定する。
図7は出力対象領域90の遷移の様子を示している。図7Aの出力対象領域90は被写体100を含む画像領域である。表示装置6では、この出力対象領域90が表示され、ユーザ(視認者)は被写体100を視認している状態である。この状態から、図7Fに示すように、被写体101を含む切り出し領域が出力対象領域90となるようにする。つまりユーザが表示装置6で被写体101を視認できる状態である。
例えば図7Aの状態から図7Fの状態に瞬間的に切り換えることもできるが、ユーザに全天球画像であることによる表示効果を与えると共に、全天球画像内でのより自然な視認環境を与えるには、全体画像HP内で表示装置6で表示される領域を徐々に移動させて、被写体101に至るようにするとよい。これによりユーザは、自分が周囲を見渡すような感覚で、表示されるシーンの遷移を感じることができる。
そのため、図7Aの状態から、図7B→図7C→図7D→図7Eと徐々に出力対象領域90を遷移させ、最終的に図7Fの状態に至るようにする。このような経路を視野遷移パスと呼んでいる。
図8は球面上の2点間の補間のモデルを示している。被写体100の位置と被写体101の位置を2つの点として、その間を補間する。
視線方向Esは被写体100に対する遷移開始時点の視線方向である。視線方向Eeは被写体101に対する遷移終了時の視線方向である。
位置P0及び被写体100、101の位置を含むように球体を切断した平面を補間平面HHとする。補間平面HHは、遷移開始点、遷移終了点の視線方向のなす平面である。
また遷移開始時点の視線方向Esのベクトルa、遷移終了時の視線方向Eeのベクトルbを示している。
破線で示す補間する視線方向はベクトルdとする。
なお、ベクトルa,b,c,dについては、図面及び下記の数式ではベクトル記号“→”を付加している。
t=0~1とする。t=0は遷移開始点、t=1は遷移終了点での値である。
まず、ベクトルの外積を使って、
また遷移開始時の視線方向Esと遷移終了時の視線方向Eeのなす角θは次の通りである。
視野遷移を行う場合、遷移する距離に関わらず遷移時間を一定にすることや、或いは遷移速度を一定にすることが考えられる。さらには遷移開始時と遷移終了時間際はゆっくり移動するが、途中は早めに移動することなども考えられる。このような制御は制御パラメータtの選択により可能となる。
制御パラメータtの値を、一定の遷移時間内を所定回数に分割して設定すると、遷移時間が一定になり、つまり距離が近い遷移の場合はゆっくり、距離が遠い遷移の場合は速い移動となるような視野遷移が行われる。
さらに、遷移開始時と遷移終了時の視線方向の近く(つまり制御パラメータtについてt=0の近く及びt=1の近く)で、制御パラメータtの増加を緩やかにすると、遷移開始終了時は緩やかな移動というような遷移も設定できる。遷移の開始終了近辺で出力対象領域90の移動を緩やかにすると、ユーザにとって画像変化がより心地よいものとなると考えられている。
もちろん制御パラメータtの増加の設定により、移動速度の加速、減速も可能である。
図6Aの全体画像HPにおいて、被写体100を含む出力対象領域90から被写体101を含む出力対象領域90に至るように、出力対象領域90を遷移させるパスとしては、図示するパスPT1,PT2が想定される。
図6Bは、このパスPT1,PT2を球体の上方から見た様子として示している。即ち図8のベクトルc側の上方から補間平面HHを見た状態である。
この場合に、視線方向Esから視線方向Eeへの視点移動の距離が球面上で短くなるようにパスを決定する。つまりパスPT1,PT2の移動距離情報を取得し、短い方のパスPT2を視野遷移パスとして選択する。
ここで、全体画像HPは動画であり、被写体100は人物その他の移動体であって、例えば矢印M方向に移動しているとする。つまり動画のフレームの進行に伴って、被写体100の位置は矢印M方向に変化している。
なお、動画の場合、図7、図8で説明した補間により選択される、遷移過程の各時刻の出力対象領域90は、その各時刻に対応するフレームから切り出される領域である。つまりユーザ(視認者)は、動画シーン上で、徐々に視線方向が移動していく感覚で表示を見ることになる。
即ちこの例の場合、パスPT1はDR1方向の遷移、パスPT2はDR2方向の遷移であって、被写体100はDR1方向に動いているため、パスPT1を視野遷移パスとして選択する。これにより、ユーザが視線方向を矢印EsMに移動させて、当初、被写体100を目で追いながら、シーンが変化していくような遷移が行われる。
情報処理装置1は、例えば遷移開始時点の被写体100の位置を含む直交平面VH100を基準として、被写体100の動きがDR1方向かDR2方向かを判定すればよい。つまりDR1方向のベクトル成分を有するか、DR2方向のベクトル成分を有するかで判別すればよい。従って図示する方向M1,M2,M3のいずれの場合も、被写体100の動き方向はDR1方向とする。
換言すれば、方向M1,M2,M3等について、いずれの候補パスの方向(DR1,DR2)と共通のベクトル成分を有するかを判別すればよい。
この例の場合も全体画像HPは動画であり、被写体101は人物その他の移動体であって、例えば矢印M方向に移動しているとする。つまり動画のフレームの進行に伴って、被写体101の位置は矢印M方向に変化している。
この例の場合、パスPT1はDR1方向の遷移、パスPT2はDR2方向の遷移であって、被写体101はDR1方向に動いているため、パスPT1を視野遷移パスとして選択する。これにより、ユーザが視線方向Esから徐々に移動させていった後、最終的に被写体101を目で追いかけるようにして被写体101の出力対象領域90に至るような遷移が行われる。
その場合において、動き方向が互いに異なる場合、移動速度の速いほうの被写体に合わせて視野遷移パスを決定することが考えられる。
即ち情報処理装置1は、遷移元の出力対象領域90の被写体100の移動速度情報Vsを取得し、また遷移先の出力対象領域90の被写体101の移動速度情報Veを取得する。簡単には、連続するフレーム間、例えば遷移開始時のフレームと次のフレームでの被写体100の全体画像HP内での位置の差分(位置差分に相当する画素数又は距離)を移動速度情報Vsとし、同じく被写体101の位置差分を移動速度情報Veとすればよい。
もちろん実際の速度値を算出して移動速度情報Vs,Veとしてもよい。
そして移動速度情報Vs,Veを比較し、速い方を判断する。もし被写体100の方が速ければ、図9で説明したように、被写体100の動き方向に合わせてパスPT1,PT2のうちで視野遷移パスを選択する。被写体101の方が速ければ、図10で説明したように、被写体101の動き方向に合わせてパスPT1,PT2のうちで視野遷移パスを選択する。
図6Aと同じく、図11Aの全体画像HPにおいて、被写体100を含む出力対象領域90から被写体101を含む出力対象領域90に至る遷移を考える。図11Bは上方から補間平面HHを見た状態である。
ここで、遷移開始時点では、遷移先として目的とする被写体101は、全体画像HP内で被写体101cとして示す位置に存在するとする。しかし、被写体101は図中のM方向に移動しており、遷移終了時点の位置を考えると、図示する被写体101の位置に存在しているとする。
この場合に情報処理装置1は、遷移終了時の被写体101の位置を確認し、その被写体101を基準にして、候補となるパスPT1,PT2を想定する。そして、パスPT1,PT2のうちで、距離が短い方を、視野遷移パスとして選択する。
また例えば遷移の際の移動速度を一定とする場合は、出力対象領域90の移動速度と被写体101の移動速度を考慮して、パスPT1の場合に出力対象領域90が被写体101に到達する時間T1と、パスPT2の場合に出力対象領域90が被写体101に到達する時間T2を算出し、短い時間となるパスの方を選択すればよい。結果的に選択されるパスは、遷移終了時の被写体101の位置に対して、移動距離が短いパスとなる。
視野遷移パス決定処理には、切り出し指定領域の信頼性情報に基づいて、遷移元と遷移先の被写体うちで信頼性の高い方を選択し、その被写体の移動方向に応じて視点移動方向(つまり遷移方向)を決定することも考えられる。
信頼性情報の具体例として、切り出し指定領域が「物体検知」や「顔検出」などの画像処理で取得された場合はその検出精度の尤度を利用する。切り出し指定領域が「ラベリング」や「マーカー」などのユーザ入力によって取得された場合はその優先度を信頼性として利用する。例えばユーザ入力による切り出し指定領域については物体検知等の場合よりも優先度を高くしたり、或いはラベリングの場合は優先度もユーザが入力できるようにし、その優先度に応じて信頼性の高い方を選択することなども考えられる。
図の下段は、それぞれの時点でフレームHP(t0)、HP(t1)、HP(t2)、HP(t3)から切り出されて出力対象領域90(t0)、90(t1)、90(t2)、90(t3)とされている画像を示している。つまりユーザが実際に視認している画像である。
なお、被写体100、101の各自動車は、ともに紙面左方向に移動しているとする。そのため、視線方向が左側に移動するように視野遷移パスが決定され、出力対象領域90の遷移が行われる。
例えば時点t1では、出力対象領域90(t1)が、全体画像HP内で左側に移動される。360度連続している画像であるため、切り出される領域は、全体画像HPのフレームHP(t1)の左端部分と右端部分にかけての領域となる。出力対象領域90(t1)内には、遷移元の被写体100の自動車の先端のみが含まれている。
時点t2では、出力対象領域90(t2)は、さらに全体画像HP内で左側に移動される。出力対象領域90(t2)には、被写体101としての自動車の一部が含まれる状態となっている。
時点t3では、出力対象領域90(t3)は、さらに全体画像HP内で左側に移動され、出力対象領域90(t3)が被写体101としての自動車の全体を含む状態となっている。つまり遷移が終了した状態である。
例えばこのように、被写体100,101の動きを考慮して視野遷移パス決定を行うことで、ユーザに自然な感覚の視線移動を与えることができる。
パス生成部12はステップS100で遷移元、遷移先を特定する。例えば遷移元の出力対象領域90は、現在表示中の出力対象領域90とする。遷移先の出力対象領域90は、物体検知部11で検出された特定の被写体が含まれる領域であるとする。
なお、後述するが、遷移元の出力対象領域90をユーザの指定操作等に応じて特定する場合もある。
ステップS102でパス生成部12は、候補パスPT1について視点移動距離D1を算出する。候補パスPT1を採用した場合の移動距離である。
ステップS103でパス生成部12は、候補パスPT2について視点移動距離D2を算出する。候補パスPT2を採用した場合の移動距離である。
ステップS104でパス生成部12は、視点移動距離D1、D2を比較する。
そしてステップS105でパス生成部12は、候補パスPT1、PT2のうちで視点移動距離が短い方のパスを選択し、それを視野遷移パスとして決定する。
なお、以降のフローチャートにおいて既説明の処理については同一のステップ番号を付して、詳細な説明は省略する。
ここでパス生成部12はステップS110で、遷移元の出力対象領域90の被写体100について動きがあるか否かにより処理を分岐する。
もし被写体100について動きがなければ、ステップS102,S103,S104,S105により、図13Aと同様の処理、つまり候補パスPT1、PT2のうちで視点移動距離が短い方のパスを選択し、それを視野遷移パスとして決定する。
そしてパス生成部12はステップS112で、判別した動き方向に合わせて候補パスPT1、PT2の一方を選択し、それを視野遷移パスとして決定する。
例えば候補パスPT1がDR1方向の視点移動を行うパス、候補パスPT2がDR2方向の視点移動を行うパスで、被写体100の移動方向がDR1方向であれば候補パスPT1を選択する。
パス生成部12はステップS100で遷移元、遷移先を特定し、ステップS101で候補パスPT1,PT2を特定する。
ここでパス生成部12はステップS120で、遷移先の出力対象領域90の被写体101について動きがあるか否かにより処理を分岐する。
もし被写体101について動きがなければ、ステップS102,S103,S104,S105により、図13Aと同様の処理、つまり候補パスPT1、PT2のうちで視点移動距離が短い方のパスを選択し、それを視野遷移パスとして決定する。
そしてパス生成部12はステップS122で、判別した動き方向に合わせて候補パスPT1、PT2の一方を選択し、それを視野遷移パスとして決定する。
例えば候補パスPT1がDR1方向の視点移動を行うパス、候補パスPT2がDR2方向の視点移動を行うパスで、被写体101の移動方向がDR1方向であれば候補パスPT1を選択する。
パス生成部12はステップS100で遷移元、遷移先を特定したら、続いてステップS120で遷移先の被写体101ついて動きがあるか否かを判断する。
もし動きがある場合は、ステップS125で、時間Tm後の遷移先の被写体101の全体画像HP内での位置を判定してからステップS101に進む。時間Tmとは、遷移に要する時間である。パス生成部12は具体的には、現在のフレームより時間Tm後に相当するフレームにおける被写体101の位置を判定する。
被写体101に動きがなければステップS125は行わずにステップS101に進む。
そしてパス生成部12はステップS102,S103,S104,S105により、図13Aと同様の処理、つまり候補パスPT1、PT2のうちで視点移動距離が短い方のパスを選択し、それを視野遷移パスとして決定する。
従って、遷移先の被写体101に動きがある場合は、遷移に要する時間後の被写体101の位置を基準に、遷移距離の短い方のパスが選択されることになる。
もし、共通であれば、遷移元の被写体100と遷移先の被写体101の両方の移動方向成分が共通で、しかも仮選択パスの移動方向とも共通していることになる。従ってその場合はステップS156に進み、仮選択パスを視野遷移パスとして決定する。
その場合は、ステップS154で遷移元の被写体100の移動速度情報Vsと、遷移先の被写体101の移動速度情報Veを算出する。例えば実際の移動速度を算出して移動速度情報Vs、Veとする。そしてステップS155でVs≧Veであるか否かを判断する。
Vs≧Ve、つまり遷移元の被写体100の方が速い場合は、被写体100の移動方向に応じてパスを選択する。この場合、被写体100の移動方向成分は仮選択パスと共通であるため、ステップS156に進み、仮選択パスを視野遷移パスとして決定する。
一方、Vs≧Veではない場合、つまり遷移先の被写体101の方が速い場合は、被写体101の移動方向に応じてパスを選択する。この場合、被写体101の移動方向成分は仮選択パスとは共通ではない。そこでステップS157に進み、ステップS151で仮選択パスには選択しなかった方のパスを視野遷移パスとして決定する。
もし、共通でなければ、遷移元の被写体100と遷移先の被写体101の両方とも、移動方向成分が、仮選択パスの移動方向とは一致していないことになる。
従ってその場合はステップS161に進み、ステップS151で仮選択パスには選択しなかった方のパスを視野遷移パスとして決定する。
その場合は、ステップS159で遷移元の被写体100の移動速度情報Vsと、遷移先の被写体101の移動速度情報Veを算出する。
そしてステップS160でVs≧Veであるか否かを判断する。
Vs≧Ve、つまり遷移元の被写体100の方が速い場合は、被写体100の移動方向に応じてパスを選択する。この場合、被写体100の移動方向成分は仮選択パスと共通ではないため、ステップS161に進み、ステップS151で仮選択パスには選択しなかった方のパスを視野遷移パスとして決定する。
一方、Vs≧Veではない場合、つまり遷移先の被写体101の方が速い場合は、被写体101の移動方向に応じてパスを選択する。この場合、被写体101の移動方向成分は仮選択パスと共通のため、ステップS162に進み、仮選択パスを視野遷移パスとして決定する。
また移動速度情報Vs、Veを実際の速度値ではなく、被写体100、101の所定フレーム間の移動距離の値とする場合は、ステップS155,S160はVs≦Ve又はVs<Veの判断とする。
以上の図15の処理例では、被写体100、101の両方が動いている場合に、その両者の移動方向成分が異なる場合に、移動速度情報が用いられて視野遷移パスが決定される。
即ちパス生成部12は、遷移元、遷移先を特定したら、被写体100、101の両者に動きが無い場合は図13AのステップS101~S105の処理、遷移元の被写体100が動いている場合は、図13BのステップS111,S112の処理、遷移先の被写体101が動いている場合には図14AのステップS121,S122の処理、もしくは図14Bの処理、両者が動いている場合は図15の処理などとして処理を切り換えることも考えられる。
続いて、情報処理装置1が、複数の被写体それぞれの動画内での存在位置(時間的及び360度画像内の視野的な存在位置)を示す複数の被写体領域を一覧で表現する遷移設定画像を表示させ、遷移設定画像に対するユーザによる選択指示に基づいて、遷移元の出力対象領域90と、遷移先の出力対象領域90とを特定する例を説明する。
即ち一覧表示を利用した視野遷移パス決定手法である。
横軸の時間は、動画のフレームの進行に相当する。縦軸の位置とは、全体画像HP内の、例えば水平方向の360度範囲内で示した位置である。
この遷移設定画像には、例えば物体検知部11が検出する、人物等の特定の被写体100,101,102の存在位置が示される。つまり各被写体100,101,102について、時間軸上、及び360度範囲における位置としての存在位置を、俯瞰的に示して一覧表示したものである。各被写体100,101,102は、例えばそれらの被写体のサムネイル画像などとする。人物の場合、顔画像としてのサムネイル画像とすることが考えられる。
この図16Aの例の場合、被写体100は、時間を経過してもほぼ移動を行わずに同じような位置にいることが示されている。
被写体101は、時点t2以降、移動を開始している。
被写体102は、時点t3において全体画像HP内に登場し、その後、少々位置を移動している。
表示データ生成部14は、物体検知部11からの各被写体100,101,102の検出情報に基づいて、遷移設定画像を生成することができる。
図16Bに例を示す。例えばユーザは、各被写体100,101,102について、斜線を付したサムネイル画像を指定する操作を行う。例えば時点t0における被写体100、時点t3における被写体101、時点t6における被写体102である。
これによって情報処理装置1は、ユーザの希望する視点移動を把握する。即ちユーザが、時点t0からの画像再生時には、まず被写体100を含む領域を出力対象領域90として表示させ、時点t3に、出力対象領域90を被写体101の位置に遷移させ、さらに時点t6に出力対象領域90を被写体102の位置に遷移させることを指示したと、情報処理装置1は把握する。
これに基づいて情報処理装置1(パス生成部12)は、図16Bに実線矢印で示すような、時間軸に応じた出力対象領域90の遷移を設定する。
そして情報処理装置1は画像再生時には、この設定に応じてフレーム毎の切り出し範囲を設定し、切り出し範囲を出力対象領域90として表示出力する。
このようなユーザの指定によれば、或る時点で、或る被写体から他の被写体に遷移することが設定される。その遷移に関して、パス生成部12は視野遷移パス決定処理を行うことになる。
このときの視野遷移パスとしては、候補パスPT1、PT2が想定される。候補パスPT1、PT2は例えば図6,図9,図10等に示したパスPT1,PT2に相当する。
この図17の場合、遷移元の被写体100は動いていないが、遷移先の被写体102は動いていることが検出される。例えば図10で説明した手法(図14Aのパス決定処理III)で視野遷移パスが決定されるとすると、この場合、被写体102はDR2方向へ移動しているため、DR2方向の遷移を行うパスPT2が視野遷移パスとされる。
このときの視野遷移パスとしては、候補パスPT1、PT2が想定される。
この図18Aの場合、遷移元の被写体100と、遷移先の被写体102はともに動いていることが検出される。例えば図15のパス決定処理Vで視野遷移パスが決定されるとすると、この場合、被写体101,102はともにDR2方向へ移動しているため、DR2方向の遷移を行うパスPT2が視野遷移パスとされる。
このときの視野遷移パスとしては、候補パスPT1、PT2が想定される。
この図18Bの場合、遷移元の被写体100は動いていないが、遷移先の被写体102は動いていることが検出される。
例えば図14Aのパス決定処理IIIで視野遷移パスが決定されるとする。この場合、被写体102はともにDR1方向へ移動しているため、DR1方向の遷移を行うパスPT1を視野遷移パスとする。
或いは、パス決定処理IVを用いて、時点t5における被写体102の位置を考慮した処理を行えば、移動距離が短いパスPT2が視野遷移パスとされる。
情報処理装置1は、ユーザの指定入力、例えば図16Bのようなサムネイルの指定操作を入力情報取得部15により検知したら、ステップS205で当該指定情報を記憶する。
またユーザの操作や所定時間の経過により遷移設定画像の表示終了となったタイミングで、ステップS204からS206に進む。
ステップS209では、全ての遷移イベントについて視野遷移パス決定を終えたか否かを確認し、終えていなければステップS207で、未処理の遷移イベントを選択して、同様に視野遷移パス決定を行う。
全ての遷移イベントについて視野遷移パス決定を終えたらステップS209からS210に進み、各遷移イベントの視野遷移を記憶する。
また、ステップS210で記憶する視野遷移パスの情報は、画像データにメタデータとして付加して記憶させてもよい。そのようにすることで、再生時に、再生装置がメタデータによってすでに各遷移イベントについて決定されている視野遷移パスを認識することができ、適切な遷移表示を行うことができる。
3点以上の補間を行う場合、各2点間で、上述の図8で説明した2点間の補間を行うことが通常想定される。
図20Aは、球面を平面に開いた状態で被写体100,101,102を示している。この場合、被写体100,101間、被写体101,102間で、2点間の補間を行う。しかしその場合、破線で囲った結合箇所において、不連続な視線方向の転換が生じてしまう。この際、ユーザ(視認者)に不自然な画像遷移を感じさせる場合がある。
まず図20Bのように、上述の2点間の補間で得られた補間曲線上に等間隔に制御点Pを追加する。例えば補間曲線を4分割する制御点Pを示している。
そして被写体100,101,102としての視線方向の位置と、制御点Pを全て通るようなスプライン曲線を求める。図20Cにスプライン曲線SCを示している。簡単な例としては、全天球画像を平面に開いた座標系で二次元的に補間を行うことで可能である。
このようなスプライン曲線SCに沿って、補間すべき視線方向を設定し、その各視線方向に応じて出力対象領域90を切り出して表示させていくことで、より自然な視線移動を感じさせる遷移が可能となる。
続いて、存在提示画像を用いた処理について説明する。
情報処理装置1(表示データ生成部14)は、出力対象領域90として切り出した画像とともに、全体画像HP内に存在する表示候補画像を提示する存在提示画像を表示させる表示データを生成する。
そして情報処理装置1は、表示候補画像を指定する入力情報を取得した場合、パス生成部12が表示中の出力対象領域90を遷移元とし、入力情報に基づいて遷移先を特定して、視野遷移パス決定を行う例である。
例えばユーザに、出力対象領域90として切り出す候補領域を提示し、その領域に遷移可能であることを提示する。そしてユーザが選択した場合、その選択した領域に遷移させるものである。
全体画像HP内の或る人物(バイクに乗る人物)を含む出力対象領域90が切り出されて表示されている。この表示中のフレームにおいて、全体画像HP内には、他の表示候補(例えば他の人物)が存在しており、その表示候補画像のサムネイル画像80が、存在提示画像として重畳表示されている。
表示候補画像とは、例えば人物等、物体検知部11で検知した特定被写体である。或いはユーザの指定操作にかかる被写体や、或いは再生中の画像データに付加されたメタデータで示される被写体などでもよい。
例えば図21Aのようにサムネイル画像80を、それぞれの表示候補画像についての存在提示画像とした場合、ユーザは、表示候補画像の内容(例えば人物の別)を知ることができる。また、その表示候補画像をみたい場合は、存在提示画像としてのサムネイル画像80を指定操作することで、表示の視野遷移を行わせることができる。
例えば図21Aの3つのサムネイル画像80のうちの1つを選択する操作により、その指定されたサムネイル画像80にかかる表示候補画像としての被写体の領域が遷移先に設定され、現在の被写体の出力対象領域90から遷移先の被写体の出力対象領域90への遷移が行われる。
なお、現在の被写体の出力対象領域90からの遷移先を指定するものとして説明しているが、サムネイル画像80の選択により遷移元を指定することも考えられる。例えば現在の被写体は、あくまで遷移元や遷移先を指定するための画像とする。そしてサムネイル画像80により遷移元と遷移先の両方を指定したり、遷移元のみを指定する(例えば現在の画像を遷移先とする)ことなども考えられる。以降の各例の場合も遷移元を指定することが考えられる。
現在の出力対象領域90の表示上に、トラックバー81を表示させる。ユーザがトラックバー81にマウスなどを当てると、その位置に相当するタイムコードのフレームに存在する被写体(表示候補画像)についてのサムネイル画像80が表示される。
トラックバー81へのポインティング手法はマウスによるものに限らず、画面に対するタップ操作であったり、バーチャルリアリティ(VR)などにおいて手の位置を認識させることによってもよい。
そしてこのように表示されたサムネイル画像80の1つを選択する操作を行うことで、その指定されたサムネイル画像80にかかる表示候補画像としての被写体の領域が遷移先に設定され、現在の被写体の領域からの出力対象領域90の遷移が行われる。この場合の出力対象領域90は、トラックバー81で指定された時点のフレームの出力対象領域90となる。
この場合、時間軸方向にフレームが切り替わることになるが、時間軸方向の遷移が位置的な遷移とともに同時に、或いは順次行われてもよいし、或いは、指定された表示候補画像としての被写体が登場するフレームを探索として、そのフレームの該当領域に、時間的及び位置的に遷移してもよい。
ユーザが図22Bのように、ポインタ82等により或る矢印マーク83を指定する操作、例えばマウスオーバーのような操作を行うと、情報処理装置1は、矢印マーク83で示す方向に存在する表示候補画像としての被写体のサムネイル画像80を表示させる。
その状態でユーザがサムネイル画像80を指定する操作を行うと、情報処理装置1は、その指定されたサムネイル画像80にかかる表示候補画像としての被写体の領域を遷移先に設定し、現在の被写体の領域から出力対象領域90の遷移を実行させる。
この例の場合、常にサムネイル画像80を表示するわけではないので、画面上が煩雑にならない。
またレーダー画像70は、現フレームの他の表示候補画像としての被写体の位置を、それぞれマーク72,73,74により示している。
ユーザが図23Bのように、ポインタ82等により或るマーク72を指定する操作を行うと、情報処理装置1はマーク72で示される表示候補画像としての被写体のサムネイル画像80を表示させる。
その状態でユーザがサムネイル画像80を指定する操作を行うと、情報処理装置1は、その指定されたサムネイル画像80にかかる表示候補画像としての被写体の領域を遷移先に設定し、現在の被写体の領域から出力対象領域90の遷移を実行させる。
この例の場合も、常にサムネイル画像80を表示するわけではないので、画面上が煩雑にならない。
例えば図22Bの矢印マーク83の指定や、図23Bのマーク72の指定のようなサムネイル要求操作が検知された場合、情報処理装置1はステップS310に進み、対応するサムネイル画像80の表示を開始させる。
その後、サムネイル要求操作が終了した場合は、情報処理装置1はステップS303からS311に進み、サムネイル画像80の表示を終了させる。例えば図22Bや図23Bのようにサムネイル画像80を表示させた状態で、ユーザがそのサムネイル画像80の指定操作を行わずに、ポインタ82の位置を他の位置に移動させたような場合である。
ステップS312では、例えば上述のパス決定処理I~Vのいずれかの処理で、現在の出力対象領域90から、サムネイル画像80で指定された被写体の出力対象領域90に遷移するための視野遷移パス決定を行う。
そしてステップS313で情報処理装置1は、決定されたパスにおいて、視野方向の補間を行いながら順次、切り出し領域を移動させた出力対象領域90の表示データを出力していくことで、表示装置6における視野遷移を実行させる。ステップS314で遷移完了と判断した時点で、遷移処理を終える。
なお、以上の処理例は、図22,図23の場合を想定したが、図21Aのように存在提示画像として最初からサムネイル画像80を表示する場合、図24のステップS302,S303、S310,S311が不要となる。
また図21Bのようにトラックバー81を表示する場合、トラックバー81上におけるタイムコード指定がステップS302のサムネイル要求操作で、トラックバー81上でのタイムコード指定の終了が、ステップS303でのサムネイル要求終了と考えればよい。
以上の実施の形態では、次のような効果が得られる。
実施の形態の情報処理装置1は、少なくとも一方向に360度の連続する視野を有する画像である全体画像HPの一部領域である出力対象領域90のうち、遷移元の出力対象領域90と遷移先の出力対象領域90とを特定する特定部21と、遷移元の出力対象領域90から遷移先の出力対象領域90に至る視野遷移パスを自動的に決定する視野遷移パス決定部22を備えている。
視聴者の視点移動を模した出力対象領域90の遷移について、360度連続する全体画像における遷移元と遷移先を想定すると、遷移元の出力対象領域から連続する画像として遷移先の出力対象領域に至る視野遷移パスは多様に考えられる。そこで視野遷移パスを自動決定することで、遷移元から遷移先への遷移として視点移動を模した表示上で、視認上スムースな遷移が視認者に提供されるようにすることができる。
出力対象領域の遷移について、360度連続する全体画像における遷移元と遷移先を想定すると、遷移元から連続する画像として遷移先に遷移するパスは複数想定される。特に360度連続する全体画像内での遷移元と遷移先の位置関係を考えると、遷移元から遷移先への遷移(視点移動)は、その全体画像の360度円周上の一方向と逆方向とが考えられる。これらの一方を自動的に選択するものとする。そこで一方向に進行する候補パスと、その逆方向に進行する候補パスのうちで、例えば視認上望ましいパスを視野遷移パスに自動決定する。
特に円周方向での一方向と逆方向の遷移を比較して、いずれの方向での遷移がより円滑な視点移動となるかという判断により、比較的容易な処理で、適切な視野遷移パスを決定できる。
例えば移動距離が短い方のパスを選択することで、遷移元から遷移先への視点移動を効率的に提示することができる。視認上、冗長にならない円滑な遷移が実現できる。例えばこのように移動距離情報を視野遷移パスの決定に用いることで、ユーザの視認時の快適性を実現できる場合がある。
即ち遷移元の出力対象領域90において被写体100となっている人物その他の移動体が、動画上で或る方向に移動している場合、その移動方向を、視野遷移パス決定のための一要素とする。
遷移元の被写体100の動きは、視認者の視点に影響を与える。
従って遷移元から遷移先に視点を移す場合、それまで見ている遷移元の被写体100の移動方向を考慮して遷移の際の視野遷移パスを決定することで、視認者に円滑な視点移動感を与えることができる。
即ち遷移先の出力対象領域90において被写体101となっている人物その他の移動体が、動画上で或る方向に移動している場合、その移動方向を、視野遷移パス決定のための一要素とする。
被写体の動きが視認者の視点に影響を与えることは、遷移先の被写体101についても言える。遷移元から遷移先に視点を移す場合、遷移によって登場してくる遷移先の被写体101の移動方向を考慮して遷移の際の視野遷移パスを決定することで、視認者に円滑な視点移動感を与えることができる。
即ち遷移元、遷移先の各画像(被写体となっている人物その他の移動体)の一方又は両方が動画上で移動している場合、その移動速度を、視野遷移パス決定のための一要素とする。
被写体100,101の動きは、視認者の視点移動に影響を与えるが、特に速い動き、遅い動きにより視点への影響具合は異なる。そこで被写体100,101の移動速度を考慮して遷移の際の視野遷移パスを決定することで、視認者に円滑な視点移動感を与える遷移を実現できる。
遷移元から遷移先への連続的な遷移(視点移動)には、その遷移時間を要する。遷移先の被写体に動きがある場合、遷移所要時間後における当該被写体の全体画像内での位置は、遷移開始時点のフレームでの位置とは異なることが想定される。そこで遷移所要時間を経過したときの遷移先の被写体位置を考慮して視野遷移パス決定を行う。
これにより、視認者に遷移先の被写体101の動きを想定した上での円滑な視点移動感を与える遷移を実現できる。
即ち画像の視認者であるユーザに対して、全体画像内での各被写体について、各時点での位置を一覧表示させ、当該一覧としての遷移設定画像上で例えば被写体を選択できるようにしている。これにより動画進行に応じた出力対象領域の移動、即ち視点移動を行うことで、ユーザが見たい被写体を視点移動しながら提示することを可能とする。
この場合に、被写体間の遷移(視点移動)のときの視野遷移パスを適切に決定することで、ユーザにとって円滑で自然な視点移動感を与えることができる。
また遷移設定画像によっては、ユーザにとっては、全天球画像の全体を俯瞰しながら、視聴する画角を設定することが可能になり、被写体の位置関係と時間を考慮した視聴パスの設定が容易になる。
即ち表示している画像上で、他の表示候補の被写体の存在を、存在提示画像として提示する。そしてユーザが、存在提示画像に対する操作等により或る表示候補画像を選択する操作を行うことで、その表示候補画像が含まれる領域に視点移動するような画像表示を実現する。
この場合に、現在表示中の領域から表示候補画像の領域までの遷移(視点移動)のときの視野遷移パスを適切に決定することで、ユーザにとって円滑で自然な視点移動感を与えることができる。
また、実際には表示候補画像としての被写体は、各種サイズが異なる。これを実施の形態では、同一サイズのサムネイル画像80として提示するようにしている。これにより、各表示候補を均等に確認でき、ユーザの自由な選択を促進できる。またむやみに大きな画像として表示候補を提示することもなく、なるべく現在の出力対象領域90の画像を邪魔しないようにすることができる。
つまり存在する表示候補画像を、たとえば均一サイズのサムネイル画像80として、現在の出力対象領域の一部に重畳させるなどの手法で、存在提示する。これによりユーザは、他にも注目すべき画像が存在することや、その画像内容を容易に認識でき、たとえば視点移動を求める操作もわかりやすいものとなる。
例えば現在の出力対象領域90に対して画面上の上方に存在する表示候補画像についての存在提示画像は、図22の矢印マーク83のように現在の画面上の上方に提示する。現在の出力対象領域90に対して画面上の右方に存在する表示候補画像についての存在提示画像は、同じく矢印マーク83のように現在の画面上の右方に提示する。
これにより現在の画像からの表示候補画像の位置関係をユーザが認識しやすいものとすることができる。但し360度画像の場合であるので、例えば右方とされる表示候補画像は、左側からでも連続した遷移が可能である。そこで位置関係とは、右方・左方のうちで、近い方を示すようにすることが適切となる。
また、矢印マーク83の指定に応じてサムネイル画像80を表示することで、当該位置に存在する被写体をユーザが容易に判別でき、望みの視野遷移を選択しやすいものとなる。
さらに、常時サムネイル画像80を表示するものではないため、画面上が煩雑にならず、快適な視認環境を提供できる。
動画コンテンツの場合、各表示候補画像は、時間軸方向においても存在状況が変動する。そこで時間軸上で、表示候補画像の存在が確認できるようにする。
これによりユーザは、時間軸上での各表示候補画像の存在を認識しやすくなる。そして視聴しているフレームと同時刻に限らず、映っている物体を把握しやすくし、遷移先の指定の多様性や、時間的方向への遷移指定の容易性をユーザに提供できる。
例えば図23のレーダー画像70上でのマーク71,72,73,74により現在の出力対象領域90に対する各表示候補画像の相対位置を示すような画像を存在提示画像とする。
これによりユーザは、各表示候補画像の位置関係をより容易に明確に認識できる。そしてこれにより視点移動を擬した遷移も、より違和感なく感じられやすくなる。
また、マーク72,73,74等の指定に応じてサムネイル画像80を表示することで、当該位置に存在する被写体をユーザが容易に判別でき、望みの視野遷移を選択しやすいものとなる。
さらに、常時サムネイル画像80を表示するものではないため、画面上が煩雑にならず、快適な視認環境を提供できる。
このプログラムにより、実施の形態の情報処理装置1としての機能を備えた演算処理装置を実現できる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータなどにインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
遷移パス決定処理で決定される視野遷移パスの情報は、その時点の表示制御として使用するほか、画像データに対応して記憶したり、メタデータとして画像データに付加することで、後の再生時にも使用できるようにすることが考えられる。
また視野遷移パスの決定情報の外部機器への送信も想定される。
また実施の形態のパス決定処理では、候補パスを算出してから一方を選択する処理例としたが、候補パスとしての算出を行わずに、直接的に最終的な視野遷移パスを決定してもよい。例えば被写体の動き方向を用いて視野遷移パスを決定する場合は、複数の候補パスを求めるという処理を行わずに、その被写体の移動方向に応じた最終的な視野遷移パス決定が可能である。
(1)少なくとも一方向に360度の連続する視野を有する画像である全体画像の一部領域である出力対象領域として、遷移元出力対象領域と遷移先出力対象領域とを特定する特定部と、
前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部と、を備えた
情報処理装置。
(2)前記視野遷移パス決定部は、前記遷移元出力対象領域から前記遷移先出力対象領域に向かって一方向に進行する候補パスと、前記一方向とは逆方向に進行する候補パスの一方を、前記視野遷移パスとして決定する
上記(1)に記載の情報処理装置。
(3)前記視野遷移パス決定部は、複数の候補パス毎の前記遷移元出力対象領域から前記遷移先出力対象領域までの移動距離を示す移動距離情報を、前記視野遷移パスの決定に用いる
上記(1)又は(2)に記載の情報処理装置。
(4)前記全体画像は動画であり、
前記視野遷移パス決定部は、前記遷移元出力対象領域に存在する被写体の、前記動画の進行上での前記全体画像内での移動方向を示す移動方向情報を、前記視野遷移パスの決定に用いる
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)前記全体画像は動画であり、
前記視野遷移パス決定部は、前記遷移先出力対象領域に存在する被写体の、前記動画の進行上での前記全体画像内での移動方向を示す移動方向情報を、前記視野遷移パスの決定に用いる
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)前記全体画像は動画であり、
前記視野遷移パス決定部は、前記遷移先出力対象領域に存在する被写体又は前記遷移元出力対象領域に存在する被写体の、前記動画の進行上での前記全体画像内での移動速度を示す移動速度情報を、前記視野遷移パスの決定に用いる
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)前記全体画像は動画であり、
前記視野遷移パス決定部は、遷移所要時間経過後のフレームにおける前記遷移先出力対象領域に存在する被写体の位置を示す被写体位置情報を、前記視野遷移パスの決定に用いる
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)前記全体画像は動画であり、
前記特定部は、
夫々前記動画に含まれる部分領域であって複数の被写体それぞれの前記動画内での存在位置を示す複数の被写体領域を一覧で表現する遷移設定画像に対するユーザによる選択指示に基づいて、前記遷移元出力対象領域と、前記遷移先出力対象領域とを特定する
上記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)前記特定部は、
前記全体画像内で出力対象領域とされている一部領域の画像とともに、前記全体画像としての静止画又は動画内に存在する表示候補画像を提示する存在提示画像を含む表示データに基づく表示に対して行われた、表示候補画像を指定するユーザ操作に基づいて、前記遷移先出力対象領域または前記遷移元出力対象領域を特定する
上記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)前記存在提示画像は、前記表示候補画像のサムネイル画像であり、
前記表示データは、現在の出力対象領域の画像と、前記表示候補画像のサムネイル画像を含む
上記(9)に記載の情報処理装置。
(11)前記存在提示画像は、その存在提示画像が示す表示候補画像の、前記一部領域の画像に対する位置関係に応じた位置に配置される
上記(9)又は(10)に記載の情報処理装置。
(12)前記表示データは、前記出力対象領域とされた前記一部領域の画像において指定された時間軸位置に対応する、前記指定された時間軸位置に存在する表示候補画像に対応する存在提示画像を含む
上記(9)乃至(11)のいずれかに記載の情報処理装置。
(13)前記表示データは、表示候補画像と前記出力対象領域とされた前記一部領域の画像との位置関係を示す存在提示画像を含む
上記(9)乃至(12)のいずれかに記載の情報処理装置。
(14)情報処理装置が実行する情報処理方法として、
少なくとも一方向に360度の連続する視野を有する画像である全体画像の一部領域である出力対象領域のうち、遷移元出力対象領域と遷移先出力対象領域とを特定する特定手順と、
前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順と、を備えた
情報処理方法。
(15)少なくとも一方向に360度の連続する視野を有する画像である全体画像の一部領域である出力対象領域のうち、遷移元出力対象領域と遷移先出力対象領域とを特定する特定手順と、
前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順と、
を情報処理装置に実行させるプログラム。
Claims (19)
- 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記視野遷移パス決定部は、前記遷移元出力対象領域から前記遷移先出力対象領域に向かって一方向に進行する候補パスと、前記一方向とは逆方向に進行する候補パスの一方を、前記視野遷移パスとして決定する
情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記全体コンテンツは動画コンテンツであり、
前記視野遷移パス決定部は、前記遷移元出力対象領域に存在する被写体の、前記動画コンテンツの進行上での前記全体コンテンツ内での移動方向を示す移動方向情報を、前記視野遷移パスの決定に用いる
情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記全体コンテンツは動画コンテンツであり、
前記視野遷移パス決定部は、前記遷移先出力対象領域に存在する被写体の、前記動画コンテンツの進行上での全体コンテンツ内での移動方向を示す移動方向情報を、前記視野遷移パスの決定に用いる
情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記全体コンテンツは動画コンテンツであり、
前記視野遷移パス決定部は、前記遷移先出力対象領域に存在する被写体又は前記遷移元出力対象領域に存在する被写体の、前記動画コンテンツの進行上での前記全体コンテンツ内での移動速度を示す移動速度情報を、前記視野遷移パスの決定に用いる
情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記全体コンテンツは動画コンテンツであり、
前記視野遷移パス決定部は、遷移所要時間経過後のフレームにおける前記遷移先出力対象領域に存在する被写体の位置を示す被写体位置情報を、前記視野遷移パスの決定に用いる
情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記全体コンテンツは動画コンテンツであり、
前記遷移元出力対象領域と前記遷移先出力対象領域は、夫々前記動画コンテンツに含まれる部分領域であって複数の被写体それぞれの前記動画コンテンツ内での存在位置を示す複数の被写体領域を一覧で表現する遷移設定画像に対するユーザによる選択指示に基づいて特定される
情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定部を備え、
前記遷移先出力対象領域または前記遷移元出力対象領域が、前記全体コンテンツ内で出力対象領域とされている一部領域の画像とともに、前記全体コンテンツとしての静止画コンテンツ又は動画コンテンツ内に存在する表示候補画像を提示する存在提示画像を含む表示データに基づく表示に対して行われた、表示候補画像を指定するユーザ操作に基づいて特定される
情報処理装置。 - 前記存在提示画像は、前記表示候補画像のサムネイル画像であり、
前記表示データは、現在の出力対象領域の画像と、前記表示候補画像のサムネイル画像を含む
請求項7に記載の情報処理装置。 - 前記存在提示画像は、その存在提示画像が示す表示候補画像の、前記一部領域の画像に対する位置関係に応じた位置に配置される
請求項7または請求項8に記載の情報処理装置。 - 前記表示データは、前記出力対象領域とされた前記一部領域の画像において指定された時間軸位置に対応する、前記指定された時間軸位置に存在する表示候補画像に対応する存在提示画像を含む
請求項7から請求項9の何れかに記載の情報処理装置。 - 前記表示データは、表示候補画像と前記出力対象領域とされた前記一部領域の画像との位置関係を示す存在提示画像を含む
請求項7から請求項10の何れかに記載の情報処理装置。 - 前記視野遷移パス決定部は、複数の候補パス毎の前記遷移元出力対象領域から前記遷移先出力対象領域までの移動距離を示す移動距離情報を、前記視野遷移パスの決定に用いる
請求項1から請求項11の何れかに記載の情報処理装置。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順として、前記遷移元出力対象領域から前記遷移先出力対象領域に向かって一方向に進行する候補パスと前記一方向とは逆方向に進行する候補パスの一方を前記視野遷移パスとして決定する処理を、
情報処理装置に実行させるプログラム。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する動画コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順として、前記遷移元出力対象領域に存在する被写体の、前記動画コンテンツの進行上での前記全体コンテンツ内での移動方向を示す移動方向情報を前記視野遷移パスの決定に用いる処理を、
情報処理装置に実行させるプログラム。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する動画コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順として、前記遷移先出力対象領域に存在する被写体の、前記動画コンテンツの進行上での全体コンテンツ内での移動方向を示す移動方向情報を前記視野遷移パスの決定に用いる処理を、
情報処理装置に実行させるプログラム。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する動画コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順として、前記遷移先出力対象領域に存在する被写体又は前記遷移元出力対象領域に存在する被写体の、前記動画コンテンツの進行上での前記全体コンテンツ内での移動速度を示す移動速度情報を前記視野遷移パスの決定に用いる処理を、
情報処理装置に実行させるプログラム。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する動画コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順として、遷移所要時間経過後のフレームにおける前記遷移先出力対象領域に存在する被写体の位置を示す被写体位置情報を前記視野遷移パスの決定に用いる処理を、
情報処理装置に実行させるプログラム。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する動画コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順の処理と、
夫々前記動画コンテンツに含まれる部分領域であって複数の被写体それぞれの前記動画コンテンツ内での存在位置を示す複数の被写体領域を一覧で表現する遷移設定画像に対するユーザによる選択指示に基づいて、前記遷移元出力対象領域と前記遷移先出力対象領域を特定する処理と、
を情報処理装置に実行させるプログラム。 - 遷移元出力対象領域と遷移先出力対象領域のそれぞれが、少なくとも一方向に360度の連続する視野を有する画像コンテンツである全体コンテンツの一部領域とされる場合に、前記遷移元出力対象領域から前記遷移先出力対象領域に至る視野遷移パスを自動的に決定する視野遷移パス決定手順の処理と、
前記全体コンテンツ内で出力対象領域とされている一部領域の画像とともに前記全体コンテンツとしての静止画コンテンツ又は動画コンテンツ内に存在する表示候補画像を提示する存在提示画像を含む表示データに基づく表示に対して行われた、表示候補画像を指定するユーザ操作に基づいて、前記遷移先出力対象領域または前記遷移元出力対象領域を特定する処理と、
を情報処理装置に実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016070604 | 2016-03-31 | ||
JP2016070604 | 2016-03-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508611A Division JP6787394B2 (ja) | 2016-03-31 | 2017-02-23 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021029044A JP2021029044A (ja) | 2021-02-25 |
JP7017175B2 true JP7017175B2 (ja) | 2022-02-08 |
Family
ID=59964247
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508611A Active JP6787394B2 (ja) | 2016-03-31 | 2017-02-23 | 情報処理装置、情報処理方法、プログラム |
JP2020178987A Active JP7017175B2 (ja) | 2016-03-31 | 2020-10-26 | 情報処理装置、情報処理方法、プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508611A Active JP6787394B2 (ja) | 2016-03-31 | 2017-02-23 | 情報処理装置、情報処理方法、プログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10839601B2 (ja) |
EP (1) | EP3438935A4 (ja) |
JP (2) | JP6787394B2 (ja) |
KR (1) | KR20180130504A (ja) |
CN (1) | CN108780581B (ja) |
WO (1) | WO2017169369A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10614606B2 (en) * | 2016-11-30 | 2020-04-07 | Ricoh Company, Ltd. | Information processing apparatus for creating an animation from a spherical image |
CN110622501B (zh) * | 2017-03-14 | 2021-10-01 | 株式会社尼康 | 图像处理装置及电子设备 |
JP2020077895A (ja) * | 2017-03-14 | 2020-05-21 | 株式会社ニコン | 画像処理装置および電子機器 |
JP2020077896A (ja) * | 2017-03-14 | 2020-05-21 | 株式会社ニコン | 画像処理装置および電子機器 |
JP7401453B2 (ja) * | 2018-04-05 | 2023-12-19 | ヴィド スケール インコーポレイテッド | 全方位ビデオに対する視点メタデータ |
CN108848304B (zh) * | 2018-05-30 | 2020-08-11 | 影石创新科技股份有限公司 | 一种全景视频的目标跟踪方法、装置和全景相机 |
WO2020084778A1 (ja) * | 2018-10-26 | 2020-04-30 | 株式会社ソニー・インタラクティブエンタテインメント | コンテンツ再生装置、画像データ出力装置、コンテンツ作成装置、コンテンツ再生方法、画像データ出力方法、およびコンテンツ作成方法 |
US11461942B2 (en) * | 2018-12-21 | 2022-10-04 | Koninklijke Kpn N.V. | Generating and signaling transition between panoramic images |
CN112136311B (zh) * | 2019-10-22 | 2022-07-12 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、成像系统及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061511A (ja) | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | 魚眼監視システム |
JP2017118472A (ja) | 2015-12-22 | 2017-06-29 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6256061B1 (en) | 1991-05-13 | 2001-07-03 | Interactive Pictures Corporation | Method and apparatus for providing perceived video viewing experiences using still images |
EP1820159A1 (en) * | 2004-11-12 | 2007-08-22 | MOK3, Inc. | Method for inter-scene transitions |
WO2007020789A1 (ja) * | 2005-08-12 | 2007-02-22 | Sony Computer Entertainment Inc. | 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム |
JP5381569B2 (ja) * | 2009-09-29 | 2014-01-08 | 富士通株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム |
US8744216B2 (en) * | 2010-03-18 | 2014-06-03 | Panasonic Corporation | Omnidirectional image processing device and method using warp processing for enhanced object visibility |
EP2472867A1 (en) * | 2010-12-30 | 2012-07-04 | Advanced Digital Broadcast S.A. | Coding and decoding of multiview videos |
US9747019B2 (en) * | 2012-02-24 | 2017-08-29 | Lg Electronics Inc. | Mobile terminal and control method thereof |
JP2013239986A (ja) | 2012-05-17 | 2013-11-28 | Panasonic Corp | 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム |
JP6548203B2 (ja) * | 2013-03-18 | 2019-07-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 |
JP6249202B2 (ja) | 2013-05-10 | 2017-12-20 | ソニー株式会社 | 画像表示装置、画像表示方法、およびプログラム |
JP2014220724A (ja) | 2013-05-10 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
CN109040600B (zh) * | 2014-03-21 | 2021-03-30 | 北京小米移动软件有限公司 | 全景景象拍摄及浏览的移动装置、系统及方法 |
JP6358903B2 (ja) | 2014-09-04 | 2018-07-18 | シャープ株式会社 | 臼および飲料製造装置 |
JP6372696B2 (ja) * | 2014-10-14 | 2018-08-15 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
-
2017
- 2017-02-23 JP JP2018508611A patent/JP6787394B2/ja active Active
- 2017-02-23 KR KR1020187027784A patent/KR20180130504A/ko not_active Application Discontinuation
- 2017-02-23 US US16/087,420 patent/US10839601B2/en active Active
- 2017-02-23 WO PCT/JP2017/006885 patent/WO2017169369A1/ja active Application Filing
- 2017-02-23 EP EP17773914.1A patent/EP3438935A4/en not_active Ceased
- 2017-02-23 CN CN201780019211.1A patent/CN108780581B/zh active Active
-
2020
- 2020-10-26 JP JP2020178987A patent/JP7017175B2/ja active Active
- 2020-10-30 US US17/085,226 patent/US11417062B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061511A (ja) | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | 魚眼監視システム |
JP2017118472A (ja) | 2015-12-22 | 2017-06-29 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2017169369A1 (ja) | 2017-10-05 |
JPWO2017169369A1 (ja) | 2019-02-07 |
CN108780581B (zh) | 2023-04-11 |
US20190102940A1 (en) | 2019-04-04 |
US20210049816A1 (en) | 2021-02-18 |
KR20180130504A (ko) | 2018-12-07 |
US11417062B2 (en) | 2022-08-16 |
JP6787394B2 (ja) | 2020-11-18 |
EP3438935A4 (en) | 2019-07-03 |
EP3438935A1 (en) | 2019-02-06 |
JP2021029044A (ja) | 2021-02-25 |
US10839601B2 (en) | 2020-11-17 |
CN108780581A (zh) | 2018-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7017175B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6558587B2 (ja) | 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム | |
US9570113B2 (en) | Automatic generation of video and directional audio from spherical content | |
WO2017036329A1 (zh) | 对视频内容任意位置和时间播放的方法及装置 | |
JP6309749B2 (ja) | 画像データ再生装置および画像データ生成装置 | |
US20180160194A1 (en) | Methods, systems, and media for enhancing two-dimensional video content items with spherical video content | |
WO2015134537A1 (en) | Generation of video based on spherical content | |
CN105210379A (zh) | 显示控制装置、显示控制方法和程序 | |
KR20100043138A (ko) | 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램 | |
US11044398B2 (en) | Panoramic light field capture, processing, and display | |
US11252398B2 (en) | Creating cinematic video from multi-view capture data | |
US20160012851A1 (en) | Image processing device, image processing method, and program | |
US20190155465A1 (en) | Augmented media | |
US10732706B2 (en) | Provision of virtual reality content | |
JP2008187678A (ja) | 映像生成装置及び映像生成プログラム | |
JP6149967B1 (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
WO2020170604A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2009246917A (ja) | 映像表示装置及び映像処理装置 | |
CN110709839A (zh) | 用于呈现媒体内容预览的方法、系统和介质 | |
KR101934799B1 (ko) | 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템 | |
KR20170139202A (ko) | 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템 | |
US11385850B2 (en) | Content reproduction device, picture data output device, content creation device, content reproduction method, picture data output method, and content creation method | |
US11816785B2 (en) | Image processing device and image processing method | |
JP2017084161A (ja) | 画像処理装置、表示装置及びその制御方法 | |
JP2014082764A (ja) | 画像表示装置、画像表示方法、サーバ装置、および画像データ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220110 |