JP7052613B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP7052613B2
JP7052613B2 JP2018137043A JP2018137043A JP7052613B2 JP 7052613 B2 JP7052613 B2 JP 7052613B2 JP 2018137043 A JP2018137043 A JP 2018137043A JP 2018137043 A JP2018137043 A JP 2018137043A JP 7052613 B2 JP7052613 B2 JP 7052613B2
Authority
JP
Japan
Prior art keywords
image
display
thumbnail
unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018137043A
Other languages
English (en)
Other versions
JP2020013070A (ja
Inventor
愛子 滝脇
真哉 三原
大介 八里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018137043A priority Critical patent/JP7052613B2/ja
Priority to PCT/JP2019/028316 priority patent/WO2020017600A1/ja
Publication of JP2020013070A publication Critical patent/JP2020013070A/ja
Priority to US17/151,768 priority patent/US11394882B2/en
Application granted granted Critical
Publication of JP7052613B2 publication Critical patent/JP7052613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。
例えば車載カメラの画像を記憶するドライブレコーダなど、移動しながら撮像された画像を保存し、表示させる装置がある。例えば特許文献1には、ドライブレコーダに記録された映像に関連するサムネイル画像を表示する表示制御システムが記載されている。
特開2013-235395号公報
移動しながら撮像された画像は、長時間撮像されるなどの理由により、データ量が多くなる場合がある。このような場合、視聴者が必要とする場面を検出することが困難となるおそれがある。例えば特許文献1のようにサムネイル画像を並べて表示しても、単にサムネイル画像が行列状に並んでいるに過ぎないため、サムネイル画像同士の識別ができずに、必要とする場面を検出できないおそれがある。従って、データ量が多くなった撮像された画像から、視聴者が求める場面を適切に検出可能とすることが求められる。
本発明は、上記課題を鑑み、撮像された画像から、視聴者が求める場面を適切に検出する表示制御装置、表示制御方法及びプログラムを提供することを目的とする。
本発明の一態様にかかる表示制御装置は、移動しながら撮像された複数の画像の情報を取得する画像情報取得部と、前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定部と、前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得部と、取得した複数の前記サムネイルが、所定方向において、撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成部と、を有する。
本発明の一態様にかかる表示制御装置は、360度画像である画像のサムネイルを取得するサムネイル取得部と、取得した前記サムネイルが、表示部に表示される仮想3次元空間における球状の表示領域の外周面に表示され、かつ、前記表示領域が回転することで、前記サムネイルがアングルを変化させながら表示されるように、前記表示部に表示される表示画像を生成する表示画像生成部と、を有する。
本発明の一態様にかかる表示制御方法は、移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、を有する。
本発明の一態様にかかるプログラムは、移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、をコンピュータに実行させる。
本発明によれば、撮像された画像から、視聴者が求める場面を適切に検出することができる。
図1は、本実施形態に係る車両の模式図である。 図2は、車両の移動の一例を示す図である。 図3は、本実施形態に係る表示制御システムの模式的なブロック図である。 図4は、設定時刻を説明するための図である。 図5は、表示画像の一例を示す図である。 図6は、表示画像モードにおける画像の一例を示す図である。 図7は、表示画像の他の例を示す図である。 図8は、表示画像の一例を示す図である。 図9は、表示画像の他の例を示す図である。 図10は、表示画像の表示方法を説明するフローチャートである。 図11は、本実施形態に係る表示制御システムの他の例を示すブロック図である。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
(表示制御システムの構成)
図1は、本実施形態に係る車両の模式図である。本実施形態に係る表示制御システム1は、撮像装置10によって撮像された画像の表示を制御するためのシステムである。図1に示すように、表示制御システム1は、撮像装置10と、車載装置12と、外部装置14と、表示端末16とを有する。
図2は、車両の移動の一例を示す図である。撮像装置10は、車両Vに搭載されて、画像を撮像する撮像装置である。撮像装置10は、車両Vと共に移動しつつ、画像の撮像を行う。従って、撮像装置10は、移動しながら、すなわち位置を変化させながら、位置毎の画像を撮像しているといえる。図2は、鉛直方向上方から車両Vの移動の例を見た図であり、方向X0が、絶対座標における水平方向であり、方向Y0は、絶対座標において方向X0と直交する水平方向である。ここで、車両Vの移動する方向、すなわち、絶対座標における車両Vの移動方向を、進行方向V1とする。車両Vは、進行方向V1を変化させつつ移動する。図2の例では、進行方向V1は、方向Y0側から方向X0側に切り替わり、さらに、方向Y0側に切り替わった後、方向X0側に切り替わっている。ただし、図2の進行方向V1の変化は、一例である。なお、撮像装置10は、進行方向V1に移動しながら画像を撮像するものであれば、車両Vに搭載されることに限られない。例えば、撮像装置10は、歩行するユーザに携帯され、ユーザの歩行に伴い移動しながら画像を撮像するものであってもよい。
また、撮像装置10は、所定のフレームレート毎に連続して撮像を行うことで、画像として動画像(連続した複数の画像)を撮像する。ただし、撮像装置10は、動画像を撮像することに限られず、所定のタイミング毎に静止画像を撮像するものであってもよい。本実施形態に係る撮像装置10は、広域画像、すなわち360度画像を撮像する360度カメラである。360度画像とは、360度パノラマ画像を指し、所定の軸の放射方向外側を、所定の軸に対する周方向に沿って1周分、すなわち360度分、撮像した画像である。さらに言えば、360度画像は、全天球パノラマ画像、半天球パノラマ画像、360度水平パノラマ画像のいずれかであってよい。
図1に示すように、本実施形態においては、撮像装置10は、互いに反対に設けられるレンズ10a、10bを備えており、それぞれが半天球パノラマ画像を撮像することで、それらの半天球パノラマ画像を合成することで、全天球パノラマ画像を撮像している。レンズ10a、10bは、本実施形態では、超広角レンズ、すなわち魚眼レンズである。レンズ10aは、車両V内に設けられて、車両V内の360度画像を撮像する。レンズ10bは、車両V外に設けられて、車両Vの周囲の360度画像を撮像する。すなわち、撮像装置10は、車両V内と車両V外とを撮像しているといえる。ただし、撮像装置10は、このように2つのレンズ10a、10bの撮像画像を合成して全天球パノラマ画像を構成することに限られず、1つのレンズの画像で360度画像を構成してもよい。
また、撮像装置10は、車両Vの天井に設置され、レンズ10aが車内側に設けられ、レンズ10bが車外側に設けられる。ただし、撮像装置10は、車両Vの天井に設けられることに限られず、車両Vの任意の位置に設けられてよい。例えば、撮像装置10は、車両Vの窓に設置され、レンズ10aが車内側に向けて設けられ、レンズ10bが車外側に向けて設けられてもよい。すなわち、レンズ10bは、車両Vの窓から車外を撮像するように設けられている。また、本実施形態では、車両Vにおいて、撮像装置10を取り付ける位置は予め定められている。ただし、例えばユーザが撮像装置10を取り付ける位置を自由に設定してよく、使用毎に取付け位置を変えてもよい。
このように、撮像装置10は、360度画像を撮像するものであり、車両V内と車両V外とを撮像する。ただし、撮像装置10は、移動しながら画像を撮像するものであれば、360度画像を撮像するものに限られず、例えば通常画角の画像を撮像するものであってもよい。すなわち、本実施形態に係る撮像装置10は、移動しながら画像を撮像するものであるか、360度画像を撮像するものであるかの、少なくともいずれかである。
図1に戻り、車載装置12は、車両Vに設けられる装置であり、撮像装置10が撮像した画像を記憶する記憶装置である。すなわち、車載装置12は、ドライブレコーダである。また、外部装置14は、車両Vの外部に設けられたサーバであり、車載装置12が取得した画像、すなわち撮像装置10が撮像した画像を取得する。詳しくは後述するが、外部装置14は、撮像装置10が撮像した画像から、複数のサムネイルを生成して、サムネイルが並んだ表示画像を生成する。表示端末16は、外部装置14が取得した画像、すなわち撮像装置10が撮像した画像を表示する表示装置であり、外部装置14が生成した表示画像についても表示する。
図3は、本実施形態に係る表示制御システムの模式的なブロック図である。図3に示す撮像装置10は、上述のように、車両Vの移動に伴って移動しながら、車両V内と車両Vの周囲とを撮像する。以下、撮像装置10が撮像した画像を、画像Pとする。画像Pは、移動しながら撮像された画像であるといえる。なお、撮像装置10は、図示しないマイクを備え、画像Pの撮像と共に、音声(例えば車両V内の音声)を録音してもよい。
車載装置12は、入力部30と、表示部32と、通信部34と、記憶部36と、制御部38とを有する。入力部30は、ユーザからの情報が入力可能な機構であり、例えばボタンやタッチパネルなどである。表示部32は、画像などの各種情報を表示するタッチパネルなどのディスプレイである。また、車載装置12は、図示しないスピーカにより音声を出力可能に構成されてもよい。この場合、車載装置12は、表示部32に、撮像装置10が撮像した画像Pを表示しつつ、スピーカに、撮像装置10が録音した音声を再生することができる。また、制御部38が、地図のアプリケーションを作動させてGPS(Global Positioning System)によって車両Vの絶対座標における現在位置を取得することで、表示部32は、地図上に車両Vの位置を示したナビゲーション情報を表示可能である。車載装置12は、スマートフォンやタブレットなどの携帯端末であってもよい。
通信部34は、制御部38の制御により、他の装置、例えば撮像装置10や外部装置14などと通信することで、データの送受信をするよう構成される。記憶部36は、制御部38の演算内容や画像Pなどの各種情報を記憶するメモリである。記憶部36は、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)と、フラッシュメモリ(Flash Memory)などの外部記憶装置との、少なくとも1つを含む。
制御部38は、演算装置、すなわちCPU(Central Processing Unit)である。制御部38は、画像取得部40と、位置情報取得部42とを有する。画像取得部40と位置情報取得部42とは、記憶部36に記憶されたソフトウェア(プログラム)を読み出し、CPUで所定の処理を行うことで、後述する処理を実行する。
画像取得部40は、通信部34を介して、撮像装置10が撮像した画像Pを取得する。画像取得部40は、取得した画像Pを、撮像された時刻に関連付けて記憶部36に記憶させる。画像取得部40は、画像Pに加え、撮像装置10に録音された音声データも取得してよい。
位置情報取得部42は、車両Vの位置情報を取得する。位置情報取得部42は、位置情報として、車両Vの絶対座標における現在位置を取得する。位置情報取得部42は、例えば、GPSとして、通信部54を介して衛星と通信することで、絶対座標系における車両Vの現在位置を取得する。位置情報取得部42は、所定時間毎に現在位置を取得することで、移動中の車両Vの位置を逐次検出することができる。
また、位置情報取得部42は、位置情報として、車両Vの進行方向V1を取得する。位置情報取得部42は、車両Vの所定時間毎の現在位置に基づき、車両Vの進行方向V1を逐次取得する。すなわち、位置情報取得部42は、直前の車両Vの位置と現在の車両Vの位置とから、車両Vがどの方向に進んだか、すなわち進行方向V1がどの方向であるかを検出する。位置情報取得部42は、位置情報、すなわち現在位置と進行方向V1とを、その位置情報を取得した時刻と関連付けて、記憶部36に記憶させる。
外部装置14は、入力部50と、表示部52と、通信部54と、記憶部56と、制御部58とを有する。外部装置14は、車両Vの外部に設けられたサーバ、すなわちコンピュータである。入力部50は、ユーザからの情報が入力可能な機構であり、例えばボタンやタッチパネルなどである。表示部52は、画像などの各種情報を表示するディスプレイである。また、外部装置14は、図示しないスピーカにより音声を出力可能に構成されてもよい。ただし、外部装置14は、サーバとして、少なくとも、通信部54と、記憶部56と、制御部58とを有していればよい。
通信部54は、制御部58の制御により、他の装置、例えば外部装置14や表示端末16などと通信することで、データの送受信をするよう構成される。記憶部56は、制御部58の演算内容や画像Pなどの各種情報を記憶するメモリである。記憶部56は、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)と、フラッシュメモリ(Flash Memory)などの外部記憶装置との、少なくとも1つを含む。
制御部58は、演算装置、すなわちCPU(Central Processing Unit)である。制御部58は、画像情報取得部60と、画像方向決定部62と、画像解析部64と、設定時刻指定部66と、サムネイル取得部68と、表示画像生成部70とを有する。画像情報取得部60と、画像方向決定部62と、画像解析部64と、設定時刻指定部66と、サムネイル取得部68と、表示画像生成部70とは、記憶部56に記憶されたソフトウェア(プログラム)を読み出し、CPUで所定の処理を行うことで、後述する処理を実行する。
画像情報取得部60は、画像Pの情報を取得する。本実施形態において、画像情報取得部60は、画像Pの情報として、車載装置12から、画像Pと位置情報とを取得する。画像情報取得部60は、取得した画像Pと位置情報とを、記憶部56に記憶させる。画像情報取得部60は、撮像装置10による画像Pの撮像が完了した後に、画像Pと位置情報とを取得して、記憶部56に記憶させる。すなわち、画像情報取得部60は、画像Pの全体のデータを一括で取得する。ただし、例えば画像Pを動画像として連続的に撮像する場合、画像Pを複数の動画データに分割する場合がある。この場合、画像情報取得部60は、画像Pの全体のデータを一括で取得せず、動画データが生成されるごとに、動画データを取得してよい。また、画像情報取得部60は、画像Pの情報として、撮像装置10に録音された音声のデータを取得して、記憶部56に記憶させてもよい。
画像方向決定部62は、画像Pと位置情報とに基づき、画像P内での方向を、絶対座標においてどの方向であるかを決定(算出)する。画像P内での方向とは、撮像装置10のカメラ座標系における方向であり、画像Pにおける上方向、下方向、右方向、左方向などの方向を意味している。以下、画像P内での方向と絶対座標での方向との関連付けの仕方について説明する。
本実施形態においては、撮像装置10は、予め定めた位置及び姿勢で、車両Vに取付けられる。従って、撮像装置10の姿勢、すなわち撮像方向(カメラアングル、レンズの向く方向)は、車両Vに対して固定されている。言い換えれば、車両Vに対する撮像装置10の姿勢は予め設定されているため、画像方向決定部62は、車両Vに対する撮像装置10の姿勢の設定値を取得することで、車両Vに対する撮像装置10の姿勢の情報を取得することができる。車両Vに対する撮像装置10の姿勢の情報により、車両Vの向きと画像P内での方向とを関連付けることができる。また、画像方向決定部62は、位置情報として、車両Vの進行方向V1を取得する。車両Vの進行方向V1は、車両Vの向き(車両Vの前方)の絶対座標における方向なので、車両Vの向きと絶対座標における方向を関連付けることができる。このように、車両Vの向きと画像P内での方向とを関連付けた情報と、車両Vの向きと絶対座標における方向とを関連付けた情報とにより、画像P内での方向と絶対座標における方向とを、関連付けることができる。すなわち、画像方向決定部62は、車両Vに対する撮像装置10の姿勢の設定値と、車両Vの絶対座標における向きの情報とを取得し、それらの情報に基づき、絶対座標における撮像装置10の姿勢を算出することができる。言い換えれば、画像方向決定部62は、車両Vに対する撮像装置10の姿勢の情報と、車両Vの絶対座標における向きの情報とに基づき、画像P内での方向を、絶対座標における方向に関連付けることができる。また、画像方向決定部62は、画像Pの画像内での方向を絶対座標における方向に関連付けることで、画像Pの画像内での方向と車両Vの進行方向V1とを関連付けることができる。このように、画像方向決定部62は、画像P内において、絶対座標の方向や、進行方向V1の方向を設定することができる。
なお、上述の説明では、画像方向決定部62は、予め設定された設定値を取得することで、車両Vに対する撮像装置10の姿勢の情報を取得していた。ただし、画像方向決定部62は、設定値に基づき車両Vに対する撮像装置10の姿勢の情報を取得することに限られない。例えば、撮像装置10に図示しない加速度センサを設け、加速度センサの検出値、すなわち撮像装置10の加速度に基づき、画像方向決定部62が、車両Vに対する撮像装置10の姿勢の情報を取得してもよい。撮像装置10は、進行方向V1に沿って加速度が発生するため、画像方向決定部62が、撮像装置10の加速度から、撮像装置10の姿勢と進行方向V1とを関連付けることで、車両Vに対する撮像装置10の姿勢の情報を取得することができる。また、例えば、撮像装置10に、撮像装置10の絶対座標における姿勢を検出可能なジャイロセンサを設け、画像方向決定部62が、ジャイロセンサの検出値を、車両Vに対する撮像装置10の姿勢の情報として取得してもよい。このようにセンサを用いて撮像装置10の向きなどを検出することで、画像方向決定部62は、撮像装置10の取付位置が固定されていない場合でも、車両Vに対する撮像装置10の姿勢の情報を取得することができ、絶対座標における撮像装置10の姿勢を算出することができる。このように、画像方向決定部62は、任意の方法を用いて、画像Pの画像内での方向を、絶対座標における方向及び進行方向V1に関連付けてよい。
画像解析部64は、画像情報取得部60が取得した画像Pの情報を解析することで、複数の画像Pのうちから特徴画像を抽出し、特徴画像が撮像された時刻を、特徴時刻(特徴タグ)として検出する。言い換えれば、特徴画像は、特徴時刻に撮像された画像Pであるといえる。画像解析部64は、複数の画像P(本実施形態では撮像装置10にフレーム毎に撮像された動画像)のうち、予め定めた所定の条件を満たす画像Pを、特徴画像であると判断する。特徴画像は、ユーザが視聴を求める可能性が高いと推定される場面を撮像した画像であり、画像解析部64は、所定の条件に基づき、このような特徴画像を抽出する。
画像解析部64は、画像Pが所定の条件を満たすかを判断することで、すなわち、画像Pから抽出するパラメータが所定の条件を満たすかを判断することで、特徴時刻を検出する。例えば、画像解析部64は、画像Pに写っている人の表情をパラメータとして、表情が、例えば笑顔など、予め定めた所定の特徴量を満たす表示である場合に、その画像Pを特徴画像と判断し、その画像Pが撮像された時刻を、特徴時刻として検出する。また、画像解析部64は、画像Pに写っている人をパラメータとして、顔などの特徴量に基づき、予め設定された人が写っている画像Pを、特徴画像として抽出してもよい。また、画像解析部64は、撮像装置10に録音された音声(例えば車内の音声)が所定の条件を満たすかを判断することで、すなわち、音声から抽出されるパラメータが所定の条件を満たすかを判断することで、特徴時刻を検出してもよい。例えば、画像解析部64は、音声のパラメータ、例えば大きさや周波数が、所定の閾値以上であるなど、所定の範囲の範囲外である場合に、その音声が録音された時刻に撮像された画像Pを特徴画像と判断し、その画像Pが撮像された時刻(すなわちその音声が録音された時刻)を、特徴時刻として検出する。また、例えば、画像解析部64は、音声に予め定めたキーワードが含まれていた場合に、その音声が録音された時刻に撮像された画像Pを特徴画像と判断してもよい。また、画像解析部64は、位置情報が所定の条件を満たすかを判断することで、すなわち位置情報から抽出されるパラメータが所定の条件を満たすかを判断することで、特徴時刻を検出してもよい。例えば、画像解析部64は、車両Vの位置をパラメータとして、車両Vが所定の場所に位置したかを検出し、所定の場所に位置した(到達した)時刻に撮像された画像Pを特徴画像と判断し、その画像Pが撮像された時刻(すなわち所定の場所に到達した時刻)を、特徴時刻として検出する。ここでの所定の場所は、ユーザが設定してもよいし、制御部58が設定してもよい。所定の場所は、例えば、車両Vの移動経路の中間地点や分岐点、また、観光名所など、任意に設定可能である。
画像解析部64は、以上のような特徴画像の判断方法のいずれか1つを用いてよいし、複数を組み合わせてもよい。すなわち、画像解析部64は、画像P、音声、位置情報の少なくともいずれかを用いて特徴画像であるかの判断を行ってもよいし、画像P、音声、位置情報の全てを用いて特徴画像であるかの判断を行ってもよい。また、画像解析部64は、特徴画像を判断するためのパラメータが複数ある場合、スコア付けを行うことで、特徴画像の判断に重み付けを行ってもよい。例えば、画像解析部64は、所定の条件を満たすパラメータの数をカウントし、その数が所定値以上となった時刻の画像Pを、特徴画像と判断してもよい。例えば所定数が2の場合、人の表情が笑顔であり、かつ、音声が所定の閾値以上となった時刻がある場合、所定の条件を満たすパラメータが2つとなるため、その時刻の画像Pが特徴画像であると判定される。また、1つのパラメータにつき、所定の条件、すなわち閾値を段階的に複数設定して、閾値毎に点数を設定してもよい。この場合、画像解析部64は、例えば、点数の合計値が所定値以上となった時刻の画像Pを、特徴画像と判断する。また、特徴画像が複数抽出された場合、所定の条件を満たすパラメータの数や、点数の合計値毎に、すなわち、スコア毎に、特徴画像を順位付けしてもよい。すなわち、画像Pは、スコアが高いほど、ユーザが視聴を求める可能性が高いと推定される画像となる。スコアは、例えば、所定の条件を満たすパラメータの数や、点数の合計値などである。
図4は、設定時刻を説明するための図である。設定時刻指定部66は、画像Pの情報に基づき、画像Pが撮像された時間内から、互いに異なる複数の設定時刻を指定する。後述のサムネイル取得部68は、設定時刻に撮像された画像Pを、サムネイル100とする。設定時刻の設定の例を、図4に基づき説明する。図4の横軸は時間であり、図4の例では、時刻tsから時刻teまでが、画像Pが撮像された時間(撮像時間)となっている。すなわち、時刻tsで画像Pの撮像が開始され、時刻teで画像Pの撮像が終了している。
設定時刻指定部66は、図4の(a)に示すように、時刻tsから時刻teまでの間において、予め定めた時間毎に、複数の仮時刻(仮タグ)を設定する。この予め定めた時間、すなわち仮時刻の間の時間は、例えば5分以上10分以下などの、予め定めた一定の長さとなっている。すなわち、設定時刻指定部66は、撮像時間の間に、一定時間毎の仮時刻を設定する。図4の例では、仮時刻は、t1、t2、t3、t4、t5であり、t1からt2までの時間と、t2からt3までの時間と、t3からt4までの時間と、t4からt5までの時間とは、互いに同じ長さとなっている。
また、設定時刻指定部66は、画像解析部64が検出した特徴時刻、すなわち特徴画像が撮像された時刻を取得する。図4の例では、図4の(b)に示すように、画像Pが撮像された時間内から、時刻taと時刻tbとが、特徴時刻として検出されている。
設定時刻指定部66は、この特徴時刻、すなわち特徴画像が撮像された時刻に基づき、設定時刻を指定する。より詳しくは、本実施形態では、設定時刻指定部66は、仮時刻と特徴時刻とに基づき、設定時刻を指定する。図4の(c)に示すように、設定時刻指定部66は、仮時刻と特徴時刻とを設定時刻に設定している。さらに、設定時刻指定部66は、複数の仮時刻のうち、特徴時刻に最も近い仮時刻を、その特徴時刻に置き換えて、置き換えた特徴時刻を、設定時刻としている。そして、設定時刻指定部66は、特徴時刻に置き換えない仮時刻、すなわち特徴時刻に最も近い仮時刻でない仮時刻を、設定時刻としている。すなわち、図4の例では、特徴時刻である時刻taに最も近い仮時刻が時刻t2であり、もう1つの特徴時刻である時刻tbに最も近い仮時刻が、時刻t4である。従って、時刻t2、t4が、特徴時刻であるta、tbに置き換えられ、時刻ta、tbが設定時刻に設定される。また、その他の仮時刻である時刻t1、t3、t5は、設定時刻に設定されている。すなわち、図4の例では、時刻t1、ta、t3、tb、t5が設定時刻として指定されている。
仮時刻をそのまま設定時刻とした場合、設定時刻同士の間の時間は、一定となる。しかし、このように特徴時刻に基づき設定時刻を指定する場合、設定時刻同士の間、すなわち、時系列に連続する設定時刻の間の長さが、設定時刻毎に異なる。すなわち、時刻t1と時刻taとの間の時間と、時刻taと時刻t3との間の時間と、時刻t3と時刻tbとの間の時間と、時刻tbと時刻t5との間の時間とは、互いに異なる。ただし、設定時刻同士の間の時間の全てが、互いに異なることに限られず、設定時刻同士の間の時間の少なくとも1つが、他と異なればよい。すなわち、特徴時刻に基づき設定された設定時刻とその設定時刻に時系列的に連続する設定時刻との間の時間が、他設定時刻の少なくともいずれか1つが、他の設定時刻同士の間の時間と異なる。
なお、上述の説明では、設定時刻指定部66は、特徴時刻を設定時刻に設定したが、特徴時刻に基づいて設定時刻を設定するものであれば、特徴時刻をそのまま設定時刻に設定しなくてもよい。すなわち、設定時刻指定部66は、特徴時刻から所定時間ずらした時刻を、設定時刻に設定してもよい。例えば、設定時刻指定部66は、特徴時刻より所定時間だけ前の時刻を、設定時刻に設定してもよい。このように設定時刻を設定することで、その設定時刻から再生される画像を、特徴画像の前後を含む画像とすることができる。
このように、本実施形態に係る設定時刻指定部66は、仮時刻と特徴時刻とに基づき、設定時刻を設定していたが、仮時刻と特徴時刻とに基づいて設定時刻を設定することに限られない。設定時刻指定部66は、仮時刻を用いず、特徴時刻に基づき設定時刻を設定してもよい。また、設定時刻指定部66は、特徴時刻を用いず、仮時刻に基づき設定時刻を設定してもよい。すなわち、設定時刻指定部66は、設定時刻同士の間の長さは一定となるように、設定時刻を設定してもよい。また、設定時刻指定部66は、特徴時刻を用いない場合であっても、設定時刻同士の間の長さが互いに異なるように、設定時刻を設定してもよい。すなわち、設定時刻指定部66は、画像Pの撮像時間、すなわち時刻tsと時刻teとの間に、複数の設定時刻を設定すればよい。従って、設定時刻指定部66は、画像Pの撮像時間の長さの情報(すなわち時刻tsから時刻teまでの時間)があれば、設定時間を設定可能である。従って、設定時刻指定部66は、画像Pの情報(ここでは画像Pの撮像時間の長さの情報)に基づき、設定時刻を設定しているといえる。
図3に戻り、サムネイル取得部68は、設定時刻に撮像された画像Pを、サムネイル100として取得する。サムネイルとは、画像Pの縮小データを指し、本実施形態では、撮像装置10によって設定時刻に撮像された画像Pを指す。本実施形態においては、サムネイル取得部68は、画像情報取得部60に取得されて記憶部56に記憶された画像Pから、設定時刻に撮像された画像Pを、サムネイル100として抽出する。サムネイル取得部68は、設定時刻毎に、サムネイル100を取得するため、サムネイル100は、設定時刻の数の分、取得される。なお、サムネイル取得部68は、設定時刻に撮像された画像Pのデータに対し、縮小するなどの処理を加えた上で、サムネイル100として取得してもよいし、設定時刻に撮像された画像Pのデータに処理を加えず、そのままサムネイル100として取得してもよい。また、本実施形態におけるサムネイル100は、設定時刻における静止画像であるが、例えば設定時刻から所定時間の間に撮像された動画像であってもよい。
表示画像生成部70は、サムネイル取得部68が取得したサムネイル100を含む画像を、表示画像P1として生成する。本実施形態においては、表示画像生成部70は、生成した表示画像P1を、表示端末16に送信して、後述する表示端末16の表示部82に表示させる。ただし、表示画像生成部70は、生成した表示画像P1を、表示制御システム1の他の表示部(例えば車載装置12の表示部32や外部装置14の表示部52)に表示させてもよい。表示画像P1については後述する。
このように、本実施形態においては、外部装置14が、画像情報取得部60により画像Pの情報を取得し、設定時刻指定部66により設定時刻を指定し、サムネイル取得部68によりサムネイル100を取得し、表示画像生成部70により表示画像P1を生成する。従って、本実施形態においては、外部装置14が、表示制御装置を構成している。
図3に示すように、表示端末16は、入力部80と、表示部82と、通信部84と、記憶部86と、制御部88とを有する。表示端末16は、表示画像P1を表示するための装置であり、例えば本実施形態では、ユーザに携帯されるタブレットやスマートフォンなどの携帯端末である。従って、表示端末16は、ユーザによって車両V内に持ち込まれてもよい。ただし、表示端末16は、表示画像P1を表示する装置であれば、任意のものであってよい。なお、車載装置12と表示端末16とは、異なる携帯端末であってもよいし、同一の携帯端末であってもよい。
入力部80は、ユーザからの情報が入力可能な機構であり、例えばボタンやタッチパネルなどである。表示部82は、画像などの各種情報を表示するタッチパネルなどのディスプレイである。また、表示端末16は、図示しないスピーカにより音声を出力可能に構成されてもよい。この場合、表示端末16は、表示部82に、撮像装置10が撮像した画像Pを表示しつつ、スピーカに、撮像装置10が録音した音声を再生してもよい。
通信部84は、制御部88の制御により、他の装置、例えば外部装置14など通信することで、データの送受信をするよう構成される。記憶部86は、制御部88の演算内容や画像Pなどの各種情報を記憶するメモリである。記憶部86は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、及びフラッシュメモリ(Flash Memory)などの外部記憶装置を少なくとも1つ含む。
制御部88は、演算装置、すなわちCPU(Central Processing Unit)である。制御部88は、表示画像取得部90と、表示制御部92とを有する。表示画像取得部90と表示制御部92とは、記憶部86に記憶されたソフトウェア(プログラム)を読み出し、CPUで所定の処理を行うことで、後述する処理を実行する。
表示画像取得部90は、表示部82に表示する画像を取得する。表示画像取得部90は、表示部82に表示する画像として、表示画像生成部70が生成した表示画像P1を、外部装置14から取得する。また、表示画像取得部90は、表示部82に表示する画像として、撮像装置10が撮像した画像Pを、外部装置14から取得する。表示制御部92は、表示画像取得部90が取得した画像を、表示部82に表示させる。
(表示画像について)
以下、外部装置14の表示画像生成部70が生成する表示画像P1について説明する。図5は、表示画像の一例を示す図である。図5は、表示画像P1が表示部82の表示画面に表示された例を示している。また、図5は、表示画像P1を、サムネイルモード、すなわち後述の表示領域Qを回転させながら表示するモードで表示した例を説明している。図5に示すように、表示画像生成部70は、サムネイル取得部68が取得したサムネイル100が、撮像された時系列の順番に並んで表示されるように、表示画像P1を生成する。表示端末16は、表示画像取得部90によって、表示画像生成部70が生成した表示画像P1を取得して、表示制御部92によって、取得した表示画像P1を表示部82の表示画面に表示させる。
ここで、サムネイル100は、時系列毎、すなわち設定時刻毎に生成される。表示画像生成部70は、撮像された時系列毎(設定時刻の時系列毎)にサムネイル100を順番に並べた画像を、表示画像P1として生成する。図5の例では、サムネイル100として、サムネイル100A、100B、100C、100D、100Eが表示されている。サムネイル100A、100B、100C、100D、100Eは、時系列にこの順で撮像された画像である。すなわち、サムネイル100Aが、図4に示す時刻t1に撮像された画像であり、サムネイル100Bが、図4に示す時刻taに撮像された画像であり、サムネイル100Cが、図4に示す時刻t3に撮像された画像であり、サムネイル100Dが、図4に示す時刻tbに撮像された画像であり、サムネイル100Eが、図4に示す時刻t5に撮像された画像である。そのため、図5においては、サムネイル100A、100B、100C、100D、100Eが、この順で並んでいる。
表示画像P1についてさらに詳細に説明する。以下では、方向X、方向Y、方向Zに基づき表示画像P1を説明する。方向Xは、表示画像P1の表示画面に沿った方向であり、方向Yは、表示画像P1の表示画面に沿った方向であって方向Xに直交する方向である。また、方向Zは、方向X及び方向Yに直交する方向であり、表示画面の奥行方向である。すなわち、方向X、Y、Zは、表示画面において設定された座標における各方向である。表示画像生成部70は、表示画面上に、方向X、方向Y、及び方向Zを3つの軸とする仮想3次元空間を再現して、その仮想3次元空間に、表示画像P1を再現する。表示画像生成部70は、仮想3次元空間内、すなわち表示画像P1内に、球状の表示領域Qを複数配置する。そして、表示画像生成部70は、球状の表示領域Qの外表面に、サムネイル100をマッピングすることで、表示領域Qの外表面にサムネイル100を表示させる。本実施形態においては、画像P、すなわちサムネイル100は、360度画像なので、サムネイル100は、表示領域Qの周方向の全周にわたってマッピングされることとなる。ただし、本実施形態では表示画面がX方向及びY方向に沿った2次元面であるため、表示領域Qに実際に表示される表示画像P1は、サムネイル100の全体のうち、表示領域Qの方向Zの反対方向側(表示画面の手前側)の表面にマッピングされた画像となる。なお、表示領域Qは、球状であるが、中心から外周面までの距離が一定な球であってもよいし、中心から外周面までの距離が一定でない楕円体であってもよい。すなわち、ここでの球状とは、外周面が曲面であって連続している(不連続でない)形状であるといえる。
そして、表示画像生成部70は、図5に示すサムネイルモードにおいて、各表示領域Qを回転させるように、表示画像P1を生成する。サムネイル100は、表示領域Qの回転に伴い、アングルを変化させながら表示されて、表示される画像(サムネイル100の全体のうちの表示される画像領域)が変化する。言い換えれば、表示画像生成部70は、表示領域Qを回転させることで、撮像装置10のカメラアングル(撮像方向)を仮想的に変化させながらサムネイル100を表示させているといえる。さらに言えば、サムネイル100は、全体のうちの一部分の画像が表示されており、表示領域Qの回転に伴い、表示される部分が変化する。例えば、サムネイル100は、あるタイミングでは360度画像のうちの0度から180度までの画像が表示されており、次のタイミングでは1度から181度までの画像が表示されるというように、表示領域Qの回転に伴い、異なるアングルの画像が表示される。なお、上述のように、画像P、すなわちサムネイル100は、所定の軸に対する周方向に沿った1周分の画像であり、表示領域Qの回転方向は、例えば、この所定の軸に対する周方向に沿った方向であってよい。ただし、表示領域Qは、球状であるため、どの方向に回転しても、サムネイル100を適切に表示することができる。従って、表示画像生成部70は、表示領域Qを任意の方向にランダムに回転させることが好ましい。すなわち、表示画像生成部70は、表示領域Qの回転方向を変化させてもよい。また、表示画像生成部70は、表示領域Q毎に、回転方向を同じとしてもよいし、表示領域Q毎に回転方向を異ならせてもよい。また、表示画像生成部70は、表示領域Qの回転速度を変化させてもよい。また、表示画像生成部70は、表示領域Q毎に、回転速度を同じとしてもよいし、表示領域Q毎に回転速度を異ならせてもよい。
また、表示画像生成部70は、図5に示すサムネイルモードにおいては、各表示領域Qを、所定の軌跡で、方向X、方向Y及び方向Zの少なくともいずれかの方向に動かす。これにより、表示領域Q、すなわちサムネイル100は、表示画面上で浮遊するように視認される。表示領域Qを動かす軌跡は、ランダムに設定されることが好ましい。また、表示画像生成部70は、表示領域Q毎に、軌跡を同じとしてもよいし、表示領域Q毎に軌跡を異ならせてもよい。表示領域Q毎に異なる軌跡となっていてもよい。なお、表示領域Qは、方向X、方向Y及び方向Zの全ての方向に移動するように、軌跡が設定されていることが好ましい。このように軌跡を設定することで、より浮遊するように視認され易くなる。軌跡は、方向X、方向Y及び方向Zの各軸に沿った方向に限らず任意の方向でよく、また、直線に限らず任意の曲線でもよい。所定の軌跡に沿って、表示領域Qを等速で動かしてもよいし、速度を変化させながら動かしてもよい。
このように、表示画像生成部70は、表示領域Q毎に、回転方向や回転速度や動く軌跡の少なくともいずれかを異ならせてもよい。この場合、表示画像生成部70は、表示領域Q毎に、表示の仕方を異ならせているといえる。また、表示画像生成部70は、表示領域Q毎に、表示の仕方を同じとしてもよい。
また、表示画像生成部70は、表示領域Qに表示されるサムネイル100の撮像された時刻(設定時刻)毎に、時系列の順番で、表示領域Q、すなわちサムネイル100を並べるよう、表示画像P1を生成している。より詳しくは、表示画像生成部70は、表示領域Q(サムネイル100)が、方向Z、すなわち画面の奥行方向に沿って、時系列の順で並ぶように、表示画像P1を生成している。すなわち、表示画像生成部70は、撮像された時刻が遅くなるほど、表示領域Q(サムネイル100)を方向Z側(画面の奥側)に配置する。図5の例では、表示領域QAの外表面にサムネイル100Aを表示し、表示領域QBの外表面にサムネイル100Bを表示し、表示領域QCの外表面にサムネイル100Cを表示し、表示領域QDの外表面にサムネイル100Dを表示し、表示領域QEの外表面にサムネイル100Eを表示している。この場合、図5に示すように、表示領域QAと、表示領域QBと、表示領域QCと、表示領域QDと、表示領域QEとが、方向Z、すなわち画面奥側に向けて、この順で並んでいる。なお、表示画面は2次元となっているため、表示画像生成部70は、表示領域QA、QB、QC、QD、QEの順で、球体の大きさを小さくしているといえ、時系列が後になるほど、表示領域Qの大きさ、すなわちサムネイル100の大きさを小さくしているといえる。なお、時系列毎に表示領域Qが並ぶ方向は、方向Zに限られず、任意の方向であってよい。すなわち、表示画像生成部70は、表示領域Qが、所定方向において、サムネイル100の撮像された時系列の順番に並んで表示されるように、表示画像P1を生成すればよい。
また、表示画像生成部70は、サムネイル100、すなわち表示領域Qを、時系列での配列方向(ここでは方向Z)と異なる方向において、サムネイル100とされた画像Pが撮像された位置に基づき並べる。ここでは、第1設定時刻(例えば図4の時刻t1)に撮像された第1サムネイル(ここではサムネイル100A)と、第1設定時刻より後の第2設定時刻(ここでは時刻ta)に撮像された第2サムネイル(ここではサムネイル100B)とに基づき、説明する。表示画像生成部70は、位置情報として、車両Vの進行方向V1の情報を取得する。表示画像生成部は、第2サムネイル(サムネイル100B)が、第1サムネイル(サムネイル100A)に対し、第1設定時刻から第2設定時刻までの進行方向V1側に位置するように、第1サムネイルと第2サムネイルとを並べる。図5の例では、第1設定時刻から第2設定時刻までの進行方向V1は、Y方向(図2でのY0方向)であるため、第2サムネイル(サムネイル100B)は、第1サムネイル(サムネイル100A)に対してY方向側に位置している。より詳しくは、表示画像生成部70は、絶対座標における方向と、画面上における方向とを対応付ける。すなわち、表示画像生成部70は、図2に示す絶対座標における方向X0を、表示画面上の方向Xに対応付け、図2に示す方向Y0を、画面上の方向Yに対応付ける。これにより、表示画面上で進行方向V1を再現可能となる。表示画像生成部70は、表示画像P1において、設定時刻毎の進行方向V1の向きを設定して、その設定した進行方向V1に沿って、サムネイル100、すなわち表示領域Qを並べる。
また、表示画像生成部70は、サムネイル100以外の領域に背景画像110が表示されるように、表示画像P1を生成する。すなわち、表示画像P1は、背景画像110上にサムネイル100が表示される画像となる。背景画像110は、任意の画像であってよいが、例えば車両Aが走行した領域の地図の画像であってよい。この場合、表示画像生成部70は、サムネイル100の撮像された時刻における車両Vの位置情報を取得し、背景画像110の地図上において、サムネイル100の撮像された時刻での車両Vの位置に、そのサムネイル100(表示領域Q)を表示させることが好ましい。このように、地図上でのサムネイル100が撮像された位置に、サムネイル100を表示することで、どの位置で撮像された画像かを適切に認識することができる。また、例えば、背景画像110は、サムネイル100の撮像された時刻に連動した画像となっていてもよい。この場合、例えば、サムネイル100の撮像された時刻が夜の場合は、背景画像110が夜の画像となり、サムネイル100の撮像された時刻が昼の場合は、背景画像110が昼の画像となる。
また、例えば、表示画像生成部70は、表示するサムネイル100の数を変更してもよい。この場合、例えば、ユーザが、サムネイル100の撮像された時刻である設定時刻同士の時間間隔を変更する操作(設定)を行うことで、表示画像生成部70は、サムネイル100の数を変化させる。すなわち、設定時刻同士の時間間隔を小さくするように操作された場合、表示画像生成部70は、その旨の情報を取得して、サムネイル100の数を増やしつつ、サムネイル100同士の設定時刻の時間間隔を小さくするよう、表示画像P1を更新する。また、設定時刻同士の時間間隔を大きくするように操作された場合、表示画像生成部70は、サムネイル100の数を減らしつつ、サムネイル100同士の設定時刻の時間間隔を大きくするよう、表示画像P1を更新する。
また、図5の例では、作成した全てのサムネイル100を1つの画面で表示しているが、サムネイル100の一部を1つの画面で表示させ、例えばユーザによる操作など(画面のスワイプ操作など)によって、表示されなかったサムネイル100を表示させるよう、表示画像P1を切り替えてもよい。
図6は、表示画像モードにおける画像の一例を示す図である。表示端末16の表示制御部92は、表示画面(表示部82)に表示画像P1を表示している状態で、サムネイル100がユーザにより選択されたら、表示画面に表示する画像を、サムネイルモード、すなわち表示画像P1から、画像再生モード、すなわち図6に示す画像Pに、切り替える。言い換えれば、サムネイル100がユーザにより選択されたら、表示端末16は、表示画像取得部90によって、外部装置14から画像Pを取得して、表示制御部92によって、取得した表示画像P1を表示部82の表示画面に表示させる。この場合、表示端末16は、外部装置14から、逐次、画像Pを取得しつつストリーミング再生してもよい。また、表示端末16は、外部装置14から画像Pの全体のデータを取得して記憶部86に記憶させ、記憶部86に記憶した画像Pを読み出して再生してもよい。なお、表示端末16の表示制御部92は、表示部82の表示画面に、表示画像P1の撮像方向(カメラアングル、レンズの向く方向)を示す画像P0を表示してもよい。図6は、画像Pが、車両Vの進行方向を撮像した例を示しており、ここでは車両Vの進行方向側の道路を撮像している。従って、図6の例では、画像P0は、画像P1が車両Vの進行方向を撮像していることを示している。例えば、画像P0は、車両Vのアイコンである画像P0aと、画像P1の撮像方向を示す画像である画像P0bとを、重畳したものである。画像P0aは、車両Vを鉛直方向上方から見た模式的な画像であるともいえる。画像P0bは、例えば、画像P0a上の鉛直方向に沿った軸を中心軸とした360度にわたる領域(図6の例では破線の円形の領域)のうち、撮像される範囲(図6の例では斜線の領域)を示した画像である。画像P0bにおいて撮像される範囲を示す画像の向きが、撮像方向を示しているといえる。表示制御部92は、画像P1の撮像方向をスワイプ操作等により変更した場合、例えば、画像P0bの向き、すなわち撮像される範囲を示す画像の向きを変化させることで、画像P0が示す撮像方向も、合わせて変更させることが望ましい。
さらに詳しくは、表示制御部92は、表示画面内でサムネイル100が選択されたら、そのサムネイル100が撮像された時刻からの画像Pを、表示画面上に再生する。すなわち、表示制御部92は、選択されたサムネイル100の撮像時刻から、画像Pを連続再生する。これにより、ユーザは、サムネイル100から、画像Pを頭出し再生することができる。なお、表示画像生成部70は、サムネイル100がユーザにより選択されたら、そのサムネイル100がマッピングされている表示領域Qが弾けて割れるような表示にした後、画像Pの再生に切り替わるよう、表示画像P1を生成することが好ましい。ただし、画面の切り替え方は、これに限られず任意である。例えば、表示制御部92は、ユーザが選択したサムネイル100を拡大させたり展開させたりして画面全体に広げるような表示、または、ユーザが選択したサムネイル100がZ方向と反対側(画面手前側)に向かって飛び込んでくるような表示等を行った後、画像Pの再生に切り替わるよう、表示画像P1を生成してもよい。なお、ユーザは、例えば、サムネイル100(表示領域Q)が表示されている箇所をタッチすることで、そのサムネイル100を選択してもよいし、ボタンなどを操作して、サムネイル100を選択してもよい。すなわち、サムネイル100の選択の仕方は任意である。
図7は、表示画像の他の例を示す図である。ここで、特徴画像として抽出されたサムネイル100、すなわち特徴時刻に基づき設定された設定時刻でのサムネイル100がマッピングされた表示領域Qを、特徴表示領域と記載する。また、特徴画像として抽出されなかったサムネイル100、すなわち特徴時刻に基づき設定されなかった(ここでは仮時刻に基づき設定された)設定時刻でのサムネイル100がマッピングされた表示領域Qを、通常表示領域と記載する。この場合、表示画像生成部70は、図7に示すように、サムネイルモードにおいて、特徴表示領域の表示の仕方を、通常表示領域の表示の仕方と異ならせることで、特徴表示領域にマッピングされたサムネイル100、すなわち特徴画像を、強調表示させてもよい。図7の例では、表示領域QB、QDが、特徴表示領域であり、表示領域QA、QC、QEが、通常表示領域である。図7の例では、表示画像生成部70は、表示領域QB、QDを、表示領域QA、QC、QEよりZ方向と反対側(画面手前側)に表示させることで、表示領域QB、QDを、表示領域QA、QC、QEより大きく表示させている。すなわち、この場合、時系列の順番に関わらず、特徴表示領域である表示領域QB、QDが、画面手前側に表示される。すなわち、図7の例では、特徴表示領域を画面手前側に表示させて大きくすることで、特徴表示領域の表示の仕方を、通常表示領域の表示の仕方と異ならせている。ただし、表示の異ならせ方は、これに限られない。例えば、表示画像生成部70は、特徴表示領域の動く軌跡を、通常表示領域の動く軌跡と異ならせたり、特徴表示領域の動く軌跡を通常表示領域の動く軌跡より長くしたり、特徴表示領域の動く速度や頻度を、通常表示領域の動く速度や頻度より高めたりすることで、表示の仕方を異ならせてもよい。また、例えば、特徴表示領域に、文字や絵などで注記を付すことで、表示の仕方を異ならせて、特徴表示領域を強調表示させてもよい。
また、上述のように、所定の条件を満たすパラメータの数や点数の合計値毎に、すなわちスコア毎に、特徴画像を順位付けする場合がある。このように特徴画像が順位付けされた場合、表示画像生成部70は、特徴画像の順位毎に、特徴表示領域(表示領域QB、QD)同士を異なる方法で表示させてもよい。例えば、表示領域QDのサムネイル100Dの順位付けが、表示領域QBのサムネイル100Bの順位付けより高い場合、すなわちサムネイル100Dのスコアがサムネイル100Bのスコアより高い場合、表示画像生成部70は、表示領域QDを表示領域QBよりも画面手前側に配置して、表示領域QDを、表示領域QBよりも大きくする。また、例えば、表示領域QDの移動の軌跡を、表示領域QBの移動の軌跡より大きくしてもよい。このように特徴画像の順位毎に表示領域Qの表示を変えることで、ユーザが視聴を求める可能性が高いと推定される場面である特徴画像を、ユーザが検出しやすくなる。
なお、図7に示すような特徴表示領域を強調して表示する表示画像P1は、図5に示す表示画像P1の代わりに表示されるものであるが、図5に示すような表示画像P1と、図7に示すような表示画像P1とを、切り替えて表示可能であってもよい。また、図7に示すような特徴表示領域を強調して表示する表示画像P1は、後述する図8の固定サムネイルモードに用いられてもよい。
図8は、表示画像の一例を示す図である。表示画像生成部70は、図5に示したように、表示領域Qを回転させるサムネイルモードでの表示画像P1を生成する。ただし、表示画像生成部70は、サムネイルモード以外の表示モードでの表示画像P1についても生成してもよい。図8は、固定サムネイルモードにおける表示画像P1を示している。図8に示すように、固定サムネイルモードにおける表示画像P1は、表示領域Qが回転しておらず、表示領域Qの回転が停止している点で、サムネイルモードにおける表示画像P1と異なる。この場合、表示領域Qに表示されるサムネイル100は、アングルを変化させるような表示とならないため、アングルが所定方向に固定された画像として、表示される。言い換えれば、表示画像生成部70は、固定サムネイルモードにおいて、サムネイル100のアングルが固定された所定方向となるように、表示画像P1を生成する。
さらに詳しくは、表示画像生成部70は、固定サムネイルモードにおいて、表示されている全てのサムネイル100のアングルが同一の所定方向となるように、表示画像P1を生成することが好ましい。すなわち、表示画像生成部70は、サムネイル100のアングルを一定方向、すなわち同一の所定方向に配列させる。このようにサムネイル100のアングルを同一の所定方向に配列することで、固定サムネイルモードにおけるサムネイル100は、同じ方向、すなわち同一の所定方向を撮像した画像として表示される。サムネイル100のアングルの方向、すなわち所定方向は、任意に設定可能であるが、例えば、車両Vの進行方向V1であることが好ましい。全てのサムネイル100のアングルを車両Vの進行方向V1とすることで、全てのサムネイル100が、進行方向V1側を表示する画像となる。従って、表示画像P1は、進行方向V1側を撮像したサムネイル100が時系列に並んだ画像となり、それを視認したユーザが、車両Vによる移動を追体験することができる。また、アングルの方向は、進行方向V1と反対方向であってもよい。このような場合、アングルの方向は、進行方向V1に基づき設定されているといえるため、全てのサムネイル100が、進行方向V1に基づき設定された方向を表示する画像となる。また、アングルの方向は、絶対座標における所定の方向(例えば東西南北のいずれかの方向など)であってもよい。このように全てのサムネイル100のアングルを絶対座標における所定の方向とすることで、全てのサムネイル100が、絶対座標における所定の方向を表示する画像となる。また、表示画像生成部70は、固定サムネイルモードにおいて、表示領域Qの、方向X、方向Y及び方向Zの方向の移動、すなわち浮遊についても停止させてもよいし、浮遊させたままであってもよい。なお、固定サムネイルモードにおいて、サムネイル100と共に、画像P0を表示させてもよい。この場合の画像P0は、サムネイル100のアングルの方向を示す画像となり、例えば、画像P0bの向きがサムネイル100のアングルの方向となる。
サムネイルモードと固定サムネイルモードとの切り替えは、例えばユーザの操作(設定)によって行われる。表示部82にサムネイルモードでの表示画像P1が表示されている場合に、切替の設定がなされたら、表示画像生成部70は、固定サムネイルモードでの表示画像P1を生成して、表示端末16に送信する。表示端末16は、表示画像取得部90によって、固定サムネイルモードでの表示画像P1を取得して、表示制御部92によって、サムネイルモードでの表示画像P1を、固定サムネイルモードでの表示画像P1に切り替える。固定サムネイルモードからサムネイルモードへの切り替えも、同様に行われる。
図9は、表示画像の他の例を示す図である。表示画像生成部70は、図9に示すように、サムネイルモード以外の表示モードであるソートモードでの表示画像P1を生成してもよい。図9に示すように、ソートモードにおいて、サムネイル100は、一方向(ここではX方向)において、時系列の順番で並ぶ。そして、サムネイル100は、一方向と異なる方向(ここではY方向)において、特徴画像の抽出の際に算出されたスコアの順番で並ぶ。すなわち、サムネイル100は、スコアが高いほど、一方向と異なる方向(ここではY方向)側に位置している。すなわち、ソートモードにおいては、サムネイル100は、スコア、すなわちユーザが視聴を求める可能性が高いと推定される度合い毎に、ソートされる。なお、図9では、X方向に沿った時間の矢印とY方向に沿ったスコアの矢印が表示されているが、この矢印は実際には表示されなくてもよい。また、ソートモードにおいては、スコア以外のパラメータに基づいてソートされてもよい。なお、ソートモードでは、表示領域Qが回転していないが、表示領域Qが回転していてもよい。また、ソートモードにおいても、表示領域Qが回転していない場合に、サムネイル100と共に、画像P0を表示させてもよい。すなわち、表示画像生成部70は、表示領域Qが回転しない表示モードの場合に、画像P0を表示して、表示領域Qが回転する表示モードの場合に、画像P0を表示しないようにしてもよい。
サムネイルモードとソートモードとの切り替えは、例えばユーザの操作(設定)によって行われる。表示部82にサムネイルモードでの表示画像P1が表示されている場合に、切替の設定がなされたら、表示画像生成部70は、ソートモードでの表示画像P1を生成して、表示端末16に送信する。表示端末16は、表示画像取得部90によって、ソートモードでの表示画像P1を取得して、表示制御部92によって、サムネイルモードでの表示画像P1を、ソートモードでの表示画像P1に切り替える。サムネイルモードからソートモードへの切り替えも、同様に行われる。また、固定サムネイルモードとソートモードとも、同様に切り替え可能である。ただし、表示画像生成部70は、サムネイルモードと固定サムネイルモードとソートモードとの全てのモードの表示画像P1を生成することに限られず、サムネイルモードと固定サムネイルモードとソートモードとの少なくとも1つを生成すればよい。
以上説明した表示画像P1の表示方法を、フローチャートに基づき説明する。図10は、表示画像の表示方法を説明するフローチャートである。表示画像P1を表示する際には、最初に、撮像装置10が移動しながら画像Pを撮像し、車載装置12が、移動毎の位置情報を取得している。図10に示すように、表示制御システム1は、外部装置14の画像情報取得部60により、画像Pの情報を取得する(ステップS10)。本実施形態においては、画像情報取得部60は、車載装置12から、画像Pの情報として、画像P(画像データ)と位置情報とを取得する。画像Pの情報を取得したら、表示制御システム1は、外部装置14の画像方向決定部62により、画像P内での方向と絶対座標での方向とを関連付ける(ステップS12)。すなわち、画像方向決定部62は、画像P内での方向が、絶対座標においてどの方向を指すかを算出する。
その後、表示制御システム1は、外部装置14の画像解析部64により、画像Pの情報を解析して、特徴時刻を検出する(ステップS14)。すなわち、画像解析部64は、画像Pのうちから、ユーザが視聴を求める可能性が高いと推定される特徴画像を抽出し、その特徴画像が撮像された時刻を、特徴時刻として検出する。特徴時刻を検出した後、表示制御システム1は、外部装置14の設定時刻指定部66により、設定時刻を指定する(ステップS16)。本実施形態では、設定時刻指定部66は、仮時刻と特徴時刻とを、設定時刻として指定する。設定時刻を設定した後、表示制御システム1は、外部装置14のサムネイル取得部68により、設定時刻に撮像された画像Pを、サムネイル100として取得し(ステップS18)、表示画像生成部70により、サムネイル100が時系列に並んだ画像を、表示画像P1として生成する。表示画像P1を生成したら、表示制御システム1は、表示端末16の表示部82に、表示画像P1を表示させる(ステップS20)。
以上説明したように、本実施形態に係る表示制御装置(ここでは外部装置14)は、画像情報取得部60と、設定時刻指定部66と、サムネイル取得部68と、表示画像生成部70とを有する。画像情報取得部60は、移動しながら撮像された複数の画像Pの情報を取得する。設定時刻指定部66は、画像Pの情報に基づき、画像Pが撮像された時間から、互いに異なる複数の設定時刻を指定する。サムネイル取得部68は、設定時刻に撮像された画像Pを、サムネイル100として取得する。表示画像生成部70は、取得した複数のサムネイル100が、所定方向(本実施形態ではZ方向)において、撮像された時系列の順番に並び、かつ、所定方向と異なる方向において、画像Pが撮像された位置を示す位置情報に基づき並んで表示されるように、表示部(本実施形態では表示部82)に表示される表示画像P1を生成する。
画像Pは、移動しながら撮像されるため、データ量が多くなる。従って、ユーザは、見たいと思う場面の画像を、画像Pから検出することが困難となる場合がある。それに対し、本実施形態に係る表示制御装置は、設定時間毎に撮像された画像をサムネイル100として、サムネイル100が、時系列毎に並び、かつ、撮像された位置に基づき並ぶように、表示画像P1を生成する。従って、この表示制御装置によると、ユーザは、時系列及び撮像された位置毎に並んだサムネイル100を視認することで、複数のサムネイル100のそれぞれを好適に識別することが可能となり、撮像された画像Pから、求める場面を適切に検出することができる。また、表示画像P1は、サムネイル100を時系列毎に並べることで、移動毎の場面を、順番に表示することとなる。そのため、ユーザは、そのサムネイル100を視認することで、移動を追体験することが可能となり、車両Vでの旅行などを振り返って、快適な体験をすることができる。さらに、表示画像P1は、サムネイル100を、位置に基づいて並べる。すなわち、画像情報取得部60は、画像Pが撮像された位置情報(ここでは車両Vの位置情報)を取得し、表示画像生成部70は、位置情報を取得して、複数のサムネイル100を、所定方向と異なる方向(本実施形態ではX方向及びY方向)において、画像Pが撮像された位置に基づき並べる。従って、ユーザは、サムネイル100を視認することで、移動経路についても追体験することが可能となるため、見たいと思う場面の画像をより適切に検出することができる。
また、位置情報は、画像Pを撮像する際の進行方向V1の情報を含み、サムネイル100は、第1設定時刻の第1サムネイルと、第1設定時刻より後の設定時刻である第2設定時刻の第2サムネイルとを有する。表示画像生成部70は、第2サムネイルが、第1サムネイルに対し、第1設定時刻から第2設定時刻までの進行方向V1側に位置するように、第1サムネイルと第2サムネイルとを並べる。この表示制御装置は、サムネイル100を、時系列で並べると共に、進行方向V1にも沿って並べる。従って、ユーザは、サムネイル100を視認することで、移動経路をより好適に追体験することが可能となるため、見たいと思う場面の画像をより適切に検出することができる。
また、設定時刻指定部66は、複数の画像Pのうちの予め定めた条件を満たす特徴画像が撮像された時刻(特徴時刻)に基づき、設定時刻を指定する。これにより、設定時刻指定部66は、時系列に連続する設定時刻の間の長さを異ならせる。この表示制御装置は、特徴画像が撮像された時刻に基づき、設定時刻を指定する。これにより、サムネイル100は、ユーザが見たいと思う可能性のある特徴画像を表示することが可能となり、ユーザは、見たいと思う場面の画像をより適切に検出することができる。
また、画像Pは、360度画像である。そして、表示画像生成部70は、サムネイル100を、表示部に表示される仮想3次元空間における球状の表示領域Qの外周面に表示させるように、表示画像P1を生成する。そして、表示画像生成部70は、表示領域Qを回転させることで、サムネイル10が、表示領域Qの回転に伴い、アングルを変化させながら表示されるように、表示画像P1を生成する。このように、表示画像P1は、球状の表示領域Qが回転することで、サムネイル100が、アングルが変化するように表示される。従って、この表示画像P1は、360度画像の全体を、サムネイル100として表示することができる。すなわち、この表示制御装置によると、360度画像のサムネイル100を、適切に表示することができる。
また、表示画像生成部70は、それぞれのサムネイル100が同一の所定方向側を表示する画像となるように、表示領域Qの回転を停止させた表示画像P1を生成する。この表示制御装置によると、表示領域Qが回転して360度画像の全体がサムネイル100として表示されるサムネイルモードと、表示領域Qの回転が停止して一方向のアングルの画像がサムネイル100として表示される固定サムネイルモードとを、切り替えることができる。従って、この表示制御装置によると、サムネイル100の表示方法を切り替えることで、ユーザは、見たいと思う場面の画像Pをより適切に検出することができる。
また、本実施形態に係る表示制御装置(ここでは外部装置14)は、360度画像である画像Pのサムネイル100を取得するサムネイル取得部68と、表示画像生成部70とを有する。表示画像生成部70は、取得したサムネイル100が、表示部に表示される仮想3次元空間における球状の表示領域Qの外周面に表示され、かつ、表示領域Qが回転して、サムネイル100が、表示領域Qの回転に伴い、アングルを変化させながら表示されるように、表示部に表示される表示画像P1を生成する。この表示制御装置によると、360度画像の全体を、サムネイル100として表示することができる。すなわち、この表示制御装置によると、360度画像のサムネイル100を、適切に表示することができる。従って、この表示制御装置によると、ユーザは、撮像された画像Pから、求める場面を適切に検出することができる。
また、本実施形態に係る表示制御システム1は、表示制御装置と、画像Pを撮像する撮像装置と、表示画像P1を表示する表示部(本実施形態では表示部82)と、を有する。この表示制御システム1によると、表示部により表示画像P1を表示することで、ユーザは、撮像された画像Pから、求める場面を適切に検出することができる。
また、撮像装置は、車両Vに設けられ、車両Vの車内と車外とを撮像する。この表示制御システム1によると、ユーザは、車内と車外とが撮像された画像Pから、求める場面を適切に検出することができ、また、車両Vでの移動を追体験することが可能となる。
なお、本実施形態においては、表示画像P1を表示する表示部は、表示端末16の表示部82であった。ただし、表示画像P1は、表示制御システム1のいずれの装置に表示されてもよく、例えば、車載装置12の表示部32や、外部装置14の表示部52に表示されてもよい。
また、本実施形態においては、外部装置14が表示制御装置を構成して、表示画像P1を生成していたが、表示制御装置を構成して表示画像P1を生成する装置は、表示制御システム1のいずれの装置であってもよい。例えば、図11に示すように、表示端末16Aが、表示制御装置を構成してもよい。図11は、本実施形態に係る表示制御システムの他の例を示すブロック図である。以降の図11の表示制御システム1Aの説明において、図3に示す表示制御システム1と構成が共通する箇所の説明は省略する。
図11に示す例の表示制御システム1Aは、外部装置14Aと、表示端末16Aとを有する。外部装置14Aの制御部58Aは、画像情報取得部60を有し、車載装置12から、画像Pの情報、ここでは画像Pと位置情報とを取得する。表示端末16Aの制御部88Aは、画像情報取得部90Aと、画像方向決定部62Aと、画像解析部64Aと、設定時刻指定部66Aと、サムネイル取得部68Aと、表示画像生成部70Aと、表示制御部92とを有する。
画像情報取得部90Aは、外部装置14Aが取得した画像Pの情報、ここでは画像Pと位置情報とを取得する。画像方向決定部62Aは、図3に示した画像方向決定部62と同じ方法で、画像P内での方向と絶対座標での方向とを関連付ける。画像解析部64Aは、図3に示した画像解析部64と同じ方法で、特徴時刻を検出し、設定時刻指定部66Aは、図3に示した設定時刻指定部66と同じ方法で、設定時刻を指定する。そして、サムネイル取得部68Aは、図3に示したサムネイル取得部68と同じ方法で、サムネイル100を取得し、表示画像生成部70Aは、図3に示した表示画像生成部70と同じ方法で、表示画像P1を生成する。表示制御部92は、表示部82に、表示画像生成部70Aが生成した表示画像P1を表示させる。
このように、図11に示す表示制御システム1Aは、表示端末16Aが表示制御装置を構成する。すなわち、表示端末16Aは、表示画像P1を生成しつつ、生成した表示画像P1を表示する。なお、図11において、表示制御システム1Aは、外部装置14を含まず、車載装置12が、画像Pの情報を、表示端末16Aに送信してもよい。
また、例えば、車載装置12が、表示制御装置を構成してもよい。すなわち、この場合、表示制御システム1は、外部装置14を含まず、車載装置12が生成した表示画像P1を、車載装置12から表示端末16に送信してもよい。また、この場合、車載装置12が、生成した表示画像P1を自身の表示部32に表示してもよい。また、この場合であっても、表示制御システム1は、外部装置14を含み、車載装置12が生成した表示画像P1を外部装置14に送信し、外部装置14から表示端末16に、表示画像P1を送信してもよい。
このように、表示制御装置は、画像情報取得部とサムネイル取得部と設定時刻指定部と表示画像生成部との機能を有する事で、表示画像P1を生成するものであれば、表示制御システム1のうち、どの装置が表示制御装置を構成してもよい。また、複数の装置によって、表示制御装置を構成してもよい。例えば、以下の構成も可能である。すなわち、外部装置14が、画像Pを記憶しておき、特徴画像を抽出して、特徴時刻を検出する。外部装置14は、特徴時刻を画像Pの情報として、表示端末16に送信する。表示端末16は、特徴時刻に基づき、設定時刻を設定し、設定時刻の情報を外部装置14に送信する。外部装置14は、設定時刻に基づきサムネイル100を生成して、サムネイル100が並んだ表示画像P1を生成する。表示端末16は、表示画像P1を取得して、表示部82に表示する。この場合、表示端末16は、画像Pの情報として、画像データや位置情報を取得しないため、通信するデータ量を抑えることができる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 表示制御システム
10 撮像装置
12 車載装置
14 外部装置(表示制御装置)
16 表示端末
60 画像情報取得部
62 画像方向決定部
64 画像解析部
66 設定時刻指定部
68 サムネイル取得部
70 表示画像生成部
82 表示部
90 表示画像取得部
92 表示制御部
100 サムネイル
P 画像
P1 表示画像
Q 表示領域
V 車両
V1 進行方向

Claims (5)

  1. 移動しながら撮像された複数の画像の情報を取得する画像情報取得部と、
    前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定部と、
    前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得部と、
    取得した複数の前記サムネイルが、所定方向において、撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成部と、を有し、
    前記画像は、360度画像であり、
    前記設定時刻指定部は、複数の前記画像のうちの予め定めた条件を満たす特徴画像が撮像された時刻に基づき、前記設定時刻を指定することで、時系列に連続する前記設定時刻の間の長さを異ならせ、
    前記表示画像生成部は、前記サムネイルが前記表示部に表示される仮想3次元空間における球状の表示領域の外周面に表示されるようにし、前記特徴画像として抽出されたサムネイルと、前記特徴画像として抽出されなかったサムネイルとで、前記表示領域の動く軌跡を異ならせ、かつ、前記サムネイルがアングルを変化させながら表示されるように、前記表示画像を生成する、
    表示制御装置。
  2. 前記位置情報は、前記画像を撮像する際の進行方向の情報を含み、
    前記サムネイルは、第1設定時刻の第1サムネイルと、前記第1設定時刻より後の設定時刻である第2設定時刻の第2サムネイルとを有し、
    前記表示画像生成部は、前記第2サムネイルが、前記第1サムネイルに対し、前記第1設定時刻から前記第2設定時刻までの前記進行方向側に位置するように、前記第1サムネイルと前記第2サムネイルとを並べる、請求項1に記載の表示制御装置。
  3. 前記表示画像生成部は、それぞれの前記サムネイルが同一の所定方向側を表示する画像となるように、前記表示領域の回転を停止させた前記表示画像を生成する、請求項1又は請求項2に記載の表示制御装置。
  4. 移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、
    前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、
    それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、
    取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、を有し、
    前記画像は、360度画像であり、
    前記設定時刻指定ステップにおいては、複数の前記画像のうちの予め定めた条件を満たす特徴画像が撮像された時刻に基づき、前記設定時刻を指定することで、時系列に連続する前記設定時刻の間の長さを異ならせ、
    前記表示画像生成ステップにおいては、前記サムネイルが前記表示部に表示される仮想3次元空間における球状の表示領域の外周面に表示されるようにし、前記特徴画像として抽出されたサムネイルと、前記特徴画像として抽出されなかったサムネイルとで、前記表示領域の動く軌跡を異ならせ、かつ、前記サムネイルがアングルを変化させながら表示されるように、前記表示画像を生成する、
    表示制御方法。
  5. 移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、
    前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、
    それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、
    取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、をコンピュータに実行させるプログラムであって、
    前記画像は、360度画像であり、
    前記設定時刻指定ステップにおいては、複数の前記画像のうちの予め定めた条件を満たす特徴画像が撮像された時刻に基づき、前記設定時刻を指定することで、時系列に連続する前記設定時刻の間の長さを異ならせ、
    前記表示画像生成ステップにおいては、前記サムネイルが前記表示部に表示される仮想3次元空間における球状の表示領域の外周面に表示されるようにし、前記特徴画像として抽出されたサムネイルと、前記特徴画像として抽出されなかったサムネイルとで、前記表示領域の動く軌跡を異ならせ、かつ、前記サムネイルがアングルを変化させながら表示されるように、前記表示画像を生成する、
    プログラム。
JP2018137043A 2018-07-20 2018-07-20 表示制御装置、表示制御方法及びプログラム Active JP7052613B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018137043A JP7052613B2 (ja) 2018-07-20 2018-07-20 表示制御装置、表示制御方法及びプログラム
PCT/JP2019/028316 WO2020017600A1 (ja) 2018-07-20 2019-07-18 表示制御装置、表示制御方法及びプログラム
US17/151,768 US11394882B2 (en) 2018-07-20 2021-01-19 Display control device, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018137043A JP7052613B2 (ja) 2018-07-20 2018-07-20 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020013070A JP2020013070A (ja) 2020-01-23
JP7052613B2 true JP7052613B2 (ja) 2022-04-12

Family

ID=69164469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018137043A Active JP7052613B2 (ja) 2018-07-20 2018-07-20 表示制御装置、表示制御方法及びプログラム

Country Status (3)

Country Link
US (1) US11394882B2 (ja)
JP (1) JP7052613B2 (ja)
WO (1) WO2020017600A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230076508A1 (en) * 2020-02-13 2023-03-09 Pioneer Corporation Image generating apparatus, image generating method, image generating program, and recording medium
JPWO2022208772A1 (ja) * 2021-03-31 2022-10-06

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145407A (ja) 2010-01-13 2011-07-28 Olympus Imaging Corp 画像表示装置および画像表示処理プログラム
JP2012018237A (ja) 2010-07-07 2012-01-26 Sony Corp 表示制御装置、表示制御方法、プログラム
JP2012099906A (ja) 2010-10-29 2012-05-24 Jvc Kenwood Corp サムネイル表示装置
WO2014178233A1 (ja) 2013-04-30 2014-11-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2018043135A1 (ja) 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706178B (zh) 2003-09-12 2010-10-06 松下电器产业株式会社 图像显示装置及其方法
JP4247684B2 (ja) * 2005-01-19 2009-04-02 ソニー株式会社 地図表示装置及び地図表示方法
JP4901498B2 (ja) * 2007-01-19 2012-03-21 富士通テン株式会社 サムネイル画像表示方法
US20110113384A1 (en) * 2009-11-12 2011-05-12 Gotcher Michael C Media System Having Three Dimensional Navigation via Dynamic Carousel
US10140000B2 (en) * 2010-07-30 2018-11-27 Autodesk, Inc. Multiscale three-dimensional orientation
JP5315424B2 (ja) * 2012-01-23 2013-10-16 キヤノン株式会社 画像表示制御装置及びその制御方法
JP5966131B2 (ja) * 2012-05-08 2016-08-10 株式会社ユピテル 表示制御システム、表示制御方法及びプログラム
JP6337888B2 (ja) * 2013-04-30 2018-06-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20180012064A (ko) * 2016-07-26 2018-02-05 엘지전자 주식회사 디스플레이 장치
WO2018097384A1 (ko) * 2016-11-24 2018-05-31 한화테크윈 주식회사 밀집도 알림 장치 및 방법
KR20180070297A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10917604B2 (en) * 2017-09-27 2021-02-09 JVC Kenwood Corporation Captured image display device, captured image display method, and captured image display program
JP2019091203A (ja) * 2017-11-14 2019-06-13 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
EP3639523A1 (en) * 2017-11-14 2020-04-22 Samsung Electronics Co., Ltd. Method and apparatus for managing a wide view content in a virtual reality environment
KR102023996B1 (ko) * 2017-12-15 2019-09-23 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145407A (ja) 2010-01-13 2011-07-28 Olympus Imaging Corp 画像表示装置および画像表示処理プログラム
JP2012018237A (ja) 2010-07-07 2012-01-26 Sony Corp 表示制御装置、表示制御方法、プログラム
JP2012099906A (ja) 2010-10-29 2012-05-24 Jvc Kenwood Corp サムネイル表示装置
WO2014178233A1 (ja) 2013-04-30 2014-11-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2018043135A1 (ja) 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
WO2020017600A1 (ja) 2020-01-23
JP2020013070A (ja) 2020-01-23
US11394882B2 (en) 2022-07-19
US20210144301A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US20210407160A1 (en) Method and sytem for presenting a digital information related to a real object
JP6730690B2 (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
CN103907341B (zh) 图像生成装置和图像生成方法
JP6602889B2 (ja) 移動体装置ローカリゼーションのためのエリア記述ファイルのクラウドソーシングによる作成および更新
CN105830092B (zh) 用于数字合成及/或检索的系统、方法及设备
US9667862B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
CN103907340B (zh) 图像生成装置和图像生成方法
US8994785B2 (en) Method for generating video data and image photographing device thereof
US11636644B2 (en) Output of virtual content
ES2688643T3 (es) Aparato y método de realidad aumentada
US9392248B2 (en) Dynamic POV composite 3D video system
CN108780581B (zh) 信息处理装置、信息处理方案以及程序
KR102355135B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JPWO2013069049A1 (ja) 画像生成装置および画像生成方法
JP2021520540A (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
JP2007013939A (ja) メタデータ付与装置及びメタデータ付与方法
JP6711137B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
US11394882B2 (en) Display control device, display control method, and program
JP6620740B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019204372A1 (en) R-snap for production of augmented realities
JP2019121224A (ja) プログラム、情報処理装置、及び情報処理方法
EP3482285B1 (en) Shake event detection system
KR102475994B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP6635573B2 (ja) 画像処理システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7052613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150