WO2021221210A1 - 스마트경로 생성방법 및 장치 - Google Patents

스마트경로 생성방법 및 장치 Download PDF

Info

Publication number
WO2021221210A1
WO2021221210A1 PCT/KR2020/005720 KR2020005720W WO2021221210A1 WO 2021221210 A1 WO2021221210 A1 WO 2021221210A1 KR 2020005720 W KR2020005720 W KR 2020005720W WO 2021221210 A1 WO2021221210 A1 WO 2021221210A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
user
video
smart route
time
Prior art date
Application number
PCT/KR2020/005720
Other languages
English (en)
French (fr)
Inventor
구원용
홍의재
Original Assignee
엠랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠랩 주식회사 filed Critical 엠랩 주식회사
Priority to KR1020207014778A priority Critical patent/KR102369324B1/ko
Priority to PCT/KR2020/005720 priority patent/WO2021221210A1/ko
Publication of WO2021221210A1 publication Critical patent/WO2021221210A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location

Definitions

  • the present invention relates to a method of providing content reflecting a user's request along a user's search path.
  • a preferred embodiment of the present invention proposes a method in which the user can be provided with necessary contents on the moving path by providing contents or advertisements that meet the user's request on the user's search path.
  • the method for generating a smart route includes the steps of: receiving an input of a departure point and a destination; receiving a user request as a search term; and the route display unit displays a smart route that meets the user's request among a plurality of candidate routes from the origin to the destination on a map, and displays at least one content that meets the user's request in real time according to the user's location and displaying it in real time, wherein the search word is in the form of a sentence.
  • each of the at least one content has time information and location information on a Geographic Information System (GIS), and the time information includes a starting time and an ending time of the content. It is characterized in that it includes.
  • GIS Geographic Information System
  • the content is characterized in that the information value of the content decreases as the extinction time approaches.
  • the content display unit displays the corresponding content when the conditions for the creation time and the extinction time of the at least one content are not arranged at the input time at which the search word is input and are not arranged with the content of the search word. characterized by selection.
  • the content display unit is characterized in that it selects the corresponding content only when the location information of the at least one content is on the smart path.
  • the content having the closest location information based on the user's current location is sequentially played in the order of the user's current location, and the user's request information is provided around the user's moving path. It is characterized in that it provides the related content in real time. In this case, it is characterized in that only a partial section related to the search word is reproduced in the video.
  • the at least one content is a moving picture
  • metadata is provided in the form of a sentence for each at least one scene constituting the moving picture, and the metadata is based on the metadata.
  • a scene having the highest degree of matching with the search term is searched for, and only the starting point and the ending point of the searched scene are reproduced.
  • the matching degree is determined based on the similarity between the search word and the metadata, and becomes 0 when two sentences are the same, and the value increases as the similarity between the two sentences decreases. It is characterized in that the determination is made using a Levenshtein distance technique.
  • the at least one content includes at least one of a moving picture, a photo, text, and audio.
  • At least one content that meets the user's request is displayed overlaid on the smart route displayed on the map.
  • the smart route generating device includes a first input unit for receiving a starting point and a destination; A second input unit for receiving a user request as a search word; and a path display unit for displaying a smart path that meets the user request among a plurality of paths from the origin to the destination on a map; and the path display unit and a content display unit that selects at least one content that meets the user's request in real time according to the user's location and displays it on the smart route in real time, wherein the search word is in the form of a sentence. do.
  • the at least one content includes advertisement information for a product or service related to the smart route.
  • the method and apparatus for generating a smart route display on the user's movement route the contents of only a specific section in which the user wants to search within the user video within the specific route that the user finds. There is an effect that it is possible to acquire necessary information along the movement route.
  • FIG. 1 illustrates an example in which components constituting a moving picture are divided into a scene and a shot as a preferred embodiment of the present invention.
  • FIG. 2 is a flowchart of a method for retrieving information inside a moving picture as a preferred embodiment of the present invention.
  • FIG. 3 is a diagram showing an internal configuration of an apparatus for searching video internal information as a preferred embodiment of the present invention.
  • FIG. 4 shows an example of dividing a shot in a moving picture as a preferred embodiment of the present invention.
  • FIG. 5 shows an example of assigning a tag set to a shot as a preferred embodiment of the present invention.
  • FIG. 6 shows an example of grouping a shot into a scene as a preferred embodiment of the present invention.
  • FIG. 7 is a flowchart of a method for retrieving information in a moving picture as another preferred embodiment of the present invention.
  • FIG. 8 shows an embodiment of searching for information inside a moving picture as a preferred embodiment of the present invention.
  • 9 is another preferred embodiment of the present invention, showing the internal configuration of the smart route generating device.
  • FIG. 10 shows an implementation example of the content selection unit of FIG. 9 as a preferred embodiment of the present invention.
  • FIG. 11 shows an example of generating a smart route as a preferred embodiment of the present invention.
  • FIG. 12 is a flowchart for creating a smart route as a preferred embodiment of the present invention.
  • the method for generating a smart route includes the steps of: receiving an input of a departure point and a destination; receiving a user request as a search term; and the route display unit displays a smart route that meets the user's request among a plurality of candidate routes from the origin to the destination on a map, and displays at least one content that meets the user's request in real time according to the user's location and displaying it in real time, wherein the search word is in the form of a sentence.
  • FIG. 1 shows an example in which components constituting a moving picture are divided into a scene and a shot as a preferred embodiment of the present invention.
  • the moving picture 100 is segmented into n shots (n is a natural number) 111, 113, 121, 123, 125, 131, 133.
  • n shots is a natural number
  • FIG. 4 For a method of classifying shots in a video, refer to FIG. 4 .
  • At least one shot is grouped into units having similar meanings or subjects to constitute a scene.
  • the first shot 111 and the second shot 113 are grouped into the first scene 110
  • the third shot 121 , the fourth shot 123 , and the fifth shot are grouped together.
  • 125 may be grouped into the second scene 120
  • the sixth shot 131 and the seventh shot 133 may be grouped into the third scene 130 .
  • a subject may include at least one meaning.
  • FIG. 2 is a flowchart of a method for retrieving video internal information as a preferred embodiment of the present invention.
  • the user selects the video and inputs a search word through a search word input interface provided when video selection is activated.
  • the video is indexed in units of scenes by providing metadata in the form of sentences for each scene.
  • the video internal information search apparatus searches for a specific section that matches the search word or has high relevance in the video, and reproduces only the searched specific section.
  • the video internal information search apparatus searches for a scene with the highest matching degree with the search word in the video (S210). and (S220), only the start point to the end point of the searched scene is played back (S230).
  • FIG. 3 shows an internal configuration diagram of an apparatus 300 for searching video internal information as a preferred embodiment of the present invention.
  • 4 to 6 show detailed functions of the video section search unit 320 constituting the apparatus 300 for searching video internal information.
  • 7 is a flowchart showing a search for video inside information.
  • a method for searching video internal information in a device for searching video internal information will be described with reference to FIGS. 3 to 7 .
  • the apparatus 300 for searching video internal information may be implemented in a terminal, a computer, a notebook computer, a handheld device, or a wearable device.
  • the apparatus 300 for searching video internal information may be implemented in the form of a terminal having an input unit for receiving a user's search word, a display for displaying a video, and a processor.
  • the method of searching the video internal information may be implemented by being installed in the form of an application in the terminal.
  • the apparatus 300 for searching video internal information includes a search word input unit 310 , a video section search unit 320 , and a video section playback unit 330 .
  • the video section search unit 320 includes a shot segmentation unit 340 , a scene generation unit 350 , a metadata generation unit 360 , and a video index unit 370 .
  • the search word input unit 310 receives a search word from the user in the form of a sentence.
  • the user can use all forms such as voice search, text search, and image search.
  • An example of an image search is a case where the contents scanned from a book are converted into text and used as a search term.
  • the search word input unit 310 may be implemented as a keyboard, a stylus pen, a microphone, or the like.
  • the video section search unit 320 searches for a specific section in the video that matches the search word input from the search word input unit 310 or has content related to the search word. As an embodiment, the video section search unit 320 searches for a scene in which a sentence having the highest degree of matching with the input search word sentence is assigned as metadata.
  • the video section search unit 320 indexes and manages videos so that information can be searched within a single video.
  • the shot segmentation unit 340 segments the video in shot units (S710), assigns a tag set to each segmented shot (S720), and adds a tag set to each shot.
  • a keyword is derived for each shot by applying a topic analysis algorithm (S730). The keyword is derived in the form of identifying and discriminating the content of each of at least one shot constituting the moving picture.
  • the scene generator 350 determines the similarity between adjacent before and after shots on the timeline of the video. The similarity determination may be performed based on a keyword derived from each shot, an object detected in each shot, a voice feature detected in each shot, and the like. As a preferred embodiment of the present invention, the scene generator 350 may create a scene by grouping shots having a high degree of similarity between adjacent shots based on a keyword ( S740 ).
  • An algorithm for performing grouping may include a hierarchical clustering technique (S750). In this case, a plurality of shots included in one scene may be interpreted as delivering content having similar meaning or subject matter. For an example of grouping shots through hierarchical clustering in the scene generator 350 , refer to FIG. 8 .
  • the scene generator 350 assigns a scene tag to each created scene (351, 353, 355).
  • the scene tag may be generated based on an image tag assigned to each of at least one shot included in each scene.
  • a scene tag may be generated by a combination of a tag set assigned to each of at least one shot constituting a scene.
  • the scene keyword may be generated by a combination of keywords derived from each of at least one shot constituting the scene.
  • the scene tag may serve as a weight when generating metadata for each scene.
  • the metadata generator 360 analyzes the scenes generated by the scene generator 350, and provides metadata for each scene, thereby supporting a search for internal video content (S760). Metadata assigned to each scene acts as an index.
  • the metadata is in the form of a summary sentence indicating the contents of each scene.
  • the metadata may be generated by further referring to a scene tag assigned to each of at least one shot constituting one scene.
  • Scene tags can serve as weights when performing deep learning to generate metadata. For example, weight may be assigned to image tag information and voice tag information extracted from at least one tag set included in the scene tag.
  • the metadata is generated based on STT (Speech to Text) data of voice data extracted from at least one shot constituting each scene, and a scene tag extracted from each of at least one shot constituting each scene.
  • STT Seech to Text
  • a summary sentence is generated by performing deep learning machine learning on at least one STT data and at least one scene tag obtained from at least one shot constituting one scene. Metadata is given to each scene by using a summary sentence generated through machine learning for each scene.
  • the video indexing unit 370 uses metadata assigned to each scene of the video S300 as an index. For example, if the video S300 is classified into three scenes, the video indexing unit 370 uses the first sentence 371 given as metadata to the first scene 351 (0:00 to t1). Used as an index, the second sentence 373 assigned as metadata to the second scene 353 (t1 to t2) is used as an index, and given as metadata to the third scene 355 (t2 to t3) The third sentence 375 is used as an index.
  • the user's search sentence is a first search sentence (S311)
  • the first search sentence (S311) is a first of a plurality of metadata (371, 373, 375) allocated to each of a plurality of scenes in one video.
  • the sentence 371 has the highest degree of matching
  • the video section having the highest degree of matching with the search sentence input in the search word input unit 310 is the first scene 351 .
  • the video section reproducing unit 330 reproduces only the section 0:00 to t1 of the first scene 351 in the video S300.
  • the video indexing unit 370 uses the Levenshtein distance technique, in which the value becomes 0 when two sentences are identical and the value increases as the similarity between the two sentences decreases. can be determined, but is not limited thereto, and various algorithms for determining the similarity between two sentences can be used.
  • the user's search text is the second search text (S313)
  • the second search text (S313) is the first of a plurality of metadata (371, 373, 375) allocated to each of a plurality of scenes in one video
  • the video section reproducing unit 330 reproduces only the section t1 to t2 of the second scene 353 in the video S300.
  • the video indexing unit 370 determines that the user's search sentence is the third search sentence (S315) and the third search sentence (S315) has the highest degree of matching with the third sentence, it is input into the search word input unit 310 It is determined that the video section having the highest degree of matching with the search sentence is the third scene 355 .
  • the video section reproducing unit 330 reproduces only the section t2 to t3 of the third scene 355 in the video S300.
  • FIG. 4 shows an example of dividing a shot in a moving picture as a preferred embodiment of the present invention.
  • the x-axis represents time (sec)
  • the y-axis represents a representative HSV value.
  • the shot segmentation unit 340 of the video internal information search apparatus extracts frames from the video S300 at regular intervals as images, and then converts each image into an HSV color space. Then, three time series data composed of representative values (median) of H (hue) (S401), S (saturation) (S403) and v (brightness) (S405) of each image are generated. And, when the inflection points of each of the three time series data of H (hue) (S401), S (saturation) (S403), and v (brightness) (S405) all match or are within a certain time period, the corresponding point of the shot Set as a starting point or an ending point.
  • FIG. 5 shows an example of assigning a tag set to a shot as a preferred embodiment of the present invention.
  • FIG. 5 illustrates an example in which the first tag set 550 is applied to the first shot 510 .
  • the shot 510 is classified into image data 510a and audio data 510b.
  • image data 510a after extracting images per second (520a), an object is detected in each image (530a). Then, an image tag is generated based on the detected object (540a).
  • Image tags apply object annovation or labeling to objects detected in images to construct learning data, and then perform object recognition through deep learning related to image recognition. Information obtained by extracting objects from each image can be created based on
  • a tag set 550 is generated.
  • the tag set refers to a combination of the image tag 540a and the voice tag 540b detected during the time when the first shot 510 is, for example, between 00:00 and 10:00 seconds.
  • FIG. 6 shows an example of grouping a shot into a scene as a preferred embodiment of the present invention.
  • FIG. 6 illustrates an example of creating a scene through hierarchical clustering 640 after determining the degree of similarity based on the keyword 630 .
  • FIG. 8 shows an embodiment of searching for information inside a moving picture as a preferred embodiment of the present invention.
  • FIG. 8 shows an example in which the video 800 selected by the user in the shot segmentation unit is segmented into seven shots 801 to 807.
  • the device for searching video internal information generates a tag set by extracting a video tag and an audio tag from each of the seven shots (801 to 807), and then performs topic analysis such as LDA on the tag set for each shot (801 to 807). 807), a keyword is derived.
  • the first shot 801 is in the range of 0:00 to 0:17, and the first keyword derived from the first shot 801 is (Japan, Corona 19, severe) 801a ) am.
  • the second shot 802 is a section from 0:18 to 0:29, and the second keyword derived from the second shot 802 is (Japan, Corona 19, Spread) 802a.
  • the third shot 803 is a section from 0:30 to 0:34, and the third keyword derived from the third shot 803 is (New York, Corona 19, Europe, Inflow) 803a.
  • the fourth shot 804 is a section from 0:34 to 0:38, and the fourth keyword derived from the fourth shot 804 is (US, Corona 19, death) 804a.
  • the fifth shot 805 is a section from 0:39 to 0:41, and the fifth keyword derived from the fifth shot 805 is (US, Corona 19, confirmed, dead).
  • the sixth shot 806 is a section from 0:42 to 0:45, and the sixth keyword derived from the sixth shot 806 is (US, Corona 19, death) 806a.
  • the seventh shot 807 is a section from 0:46 to 0:50, and the seventh keyword derived from the seventh shot 807 is (US, Corona 19, death) 807a.
  • the scene generator groups at least one shot based on the similarity.
  • the degree of similarity can be determined based on keywords extracted from each shot, and video tags and voice tags can be further referred to.
  • the first shot 801 and the second shot 802 are grouped into the first scene 810
  • the third shot 803 is grouped with the second scene 820
  • the fourth to seventh shots 804 to 807 are grouped into the third scene 830 .
  • the first scene 810 is a section from 0:00 to 0:29, and the first keyword derived from the first shot 801 is derived from (Japan, Corona 19, severe) 801a and the second shot 802 .
  • the second keyword used is (Japan, Corona 19, Spread) (802a) to "Japan Corona 19 continues to spread” (810b) with reference to the voice data of the first shot 801 and the second shot 802. metadata is provided.
  • the second scene 820 is a section from 0:30 to 0:34, and the third keywords derived from the third shot 803 are (New York, Corona 19, Europe, Inflow) 803a and the third shot 803. Referring to the voice data of the "New York's Corona 19 is said to be coming from Europe" (820b) is given.
  • the third scene 830 is a section from 0:35 to 0:50, and is derived from the fourth keyword (mi, corona 19, death) 804a derived from the fourth shot 804 and the fifth shot 805.
  • the fifth keyword (US, Corona 19, confirmed, dead)
  • the sixth keyword (US, Corona 19, dead)
  • (806a) derived from the sixth shot 806, and the fourth shot 804 to the sixth shot 806 ) with reference to the voice data of "This is the news of the death of COVID-19 in the United States.” (830b) is given.
  • the user when the user selects the video 800 and the search word input interface is activated, the user inputs the content to be searched in the form of a sentence. For example, a search term sentence "What is the current state of Corona in the United States?" (840) may be input.
  • the video indexing unit searches for metadata with the highest degree of matching with the search word sentence 840 by using the metadata given to each scene as an index.
  • the degree of matching is determined based on the similarity between the search word 840 and the metadata 810b, 820b, and 830b, and becomes 0 when two sentences are the same, and the Levinstein distance ( Levenshtein distance) technique can be used.
  • the video indexer searches for the metadata most similar to the user search term (840) "How is the current state of Corona in the United States?"
  • the finished third scene 830 is played back to the user.
  • the search word 840 only the section of the third scene 830 corresponding to the section 0:35 to 0:50 related to the search word 840 in the video 800 can be searched and viewed.
  • the video indexing unit may provide the user with metadata assigned to each scene 810 to 830 constituting the video as an index. Users can preview the contents of the video in advance through the video index.
  • FIG. 9 is another preferred embodiment of the present invention, showing the internal configuration of the smart route generating device.
  • 11 shows an example in which a smart route is presented by a smart route generating device. It will be described with reference to FIGS. 9 and 11 .
  • the smart route generating device 900 includes an input unit 910 and a route display unit 920 , and can communicate with an external server 950 via wire or wireless.
  • Examples of the external server 950 include a server 951 equipped with a map database, a server 953 equipped with a content database, a server 955 in which user-specific lifestyles, preferences, etc. are recorded and managed, and an advertisement database. a server 957 , a telecommunication company server, and the like.
  • An example of the smart route generating device 900 includes a mobile phone, a smart phone, a smart watch, a tablet, a laptop computer, a terminal such as a PC.
  • the smart route generating apparatus 900 may include all types of terminals having a processor that controls implementation so as to display the route input by the user.
  • the input unit 910 includes a first input unit 912 and a second input unit 914 .
  • the first input unit 912 is an interface for receiving a departure point and a destination from a user, and includes a text input, an audio input, a touch input, and the like.
  • the second input unit 914 is an interface for receiving a user request as a search word from the user, and includes a text input and an audio input. Referring to FIG. 11 , the first input unit 912 may receive input of a departure point 1120a , a destination 1120b , a first waypoint 1120c , and a second waypoint 1120d .
  • the second input unit 914 may be implemented to be activated after receiving the source and destination through the first input unit 912 . However, it should be noted that this corresponds to an embodiment of the present invention and can be modified. Referring to FIG. 11 , the second input unit 914 is an interface in the form of a search window 1110 and may receive an audio input 1111 to a text input 1113 . As a preferred embodiment of the present invention, the second input unit 914 receives the user's request in the form of a sentence.
  • the route display unit 920 includes a smart route display unit 930 and a content display unit 940 .
  • the smart route refers to routes that meet the user's request received through the second input unit 914 among a plurality of candidate routes from the source to the destination input by the user.
  • the smart route display unit 930 searches for a user's request "find a place to eat breakfast" 1113 among a plurality of candidate routes from a departure point 1120a to a destination 1120b. Displays the paths with results.
  • the smart route display unit 930 may display a first smart route S1100 , a second smart route S1110 , a third smart route S1120 , and the like.
  • the content display unit 940 displays at least one content on the smart route in real time according to the user's location.
  • the content display unit 940 may further include a content selection unit (not shown).
  • each content shown on the smart route has time information and location information on a Geographic Information System (GIS), and the time information includes a starting time and ending time of the content. time) is included.
  • GIS Geographic Information System
  • the content selection unit selects content that meets the user's request on the smart route using time information and location information of each content pre-stored in a preset database. For a description of this, refer to FIG. 10 .
  • the content display unit 940 may display all contents matching the user's search term on the smart path.
  • the content includes text, audio, and video, and may include advertisements, SNS, blog posts, and the like.
  • the content display unit 940 may sequentially reproduce some of the contents displayed on the smart route according to the user's real-time location.
  • the content display unit 940 sequentially plays the video in order of the content having the closest location information based on the user's current location.
  • the user may be provided with content related to the user's request in real time around the user's moving path.
  • the sandwich shop 1101 is played.
  • the user's location 1121a detected at time t2 and The contents of the nearest samgyetang restaurant 1102 are played. Thereafter, the contents of the noodle collection 1103 closest to the user's location 1121b detected at time t3 are reproduced.
  • the video provided by the user may be provided only for a specific section of the video related to the user's search term, not the entire video uploaded to SNS, blog posting, or video provided by an advertising company.
  • a method of extracting and providing only a specific section related to a user's search term from a video refer to the description related to FIGS. 1 to 8 .
  • FIG. 10 shows an implementation example of a content selection unit as a preferred embodiment of the present invention.
  • the content selection unit extracts all the contents associated with a plurality of candidate paths from the origin to the destination received from the user through the first input unit ( FIGS. 9 and 910 ) from the server or external server in which the contents are pre-stored to extract the contents list (S1010). ).
  • the first content group is extracted by comparing the creation time and extinction time information of each content in the content list with the user's search word input time ( S1020 ).
  • the creation time of the content provided by the first store is 11:00 and the extinction time is 3:00
  • the creation time of the content provided by the second store is 11:30 and the extinction time is 3: 00:00
  • the creation time of the content provided by the third store is 10:00
  • the extinction time is 2:30
  • the user's search term "find a place to have breakfast" (FIGS. 11, 1113) input time
  • a second content group matching the meaning of the user's search term is extracted from the first content group (S1030). For example, when the content provided by the first store relates to a haircut and the content provided by the third store relates to food, only the content provided by the third store is extracted into the second content group. Then, the contents in the second content group are reproduced in an order adjacent to the user's location (S1040).
  • FIG. 12 is a flowchart for creating a smart route as a preferred embodiment of the present invention.
  • a method of generating a smart route that proposes a destination to which the user can perform a desired task to the user is as follows.
  • the origin and destination are input from the user (S1210), and thereafter, the user's request is input as a search word (S1220).
  • the search term has the form of a sentence.
  • the smart route display unit displays a smart route that meets the user's request among a plurality of candidate routes from the source to the destination on the map (S1230).
  • at least one content is further displayed on the smart route in real time according to the user's location through the content display unit at the same time or separately according to the user's selection (S1240).
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Automation & Control Theory (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 스마트경로 생성방법은 출발지 및 목적지를 입력받는 단계; 사용자 요청사항을 검색어로 입력받는 단계; 및 경로표시부에서 지도상에 상기 출발지에서 상기 목적지에 이르는 복수의 후보경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 표시하고, 상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 사용자의 위치에 따라 실시간으로 선택하여 실시간으로 표시하는 단계;를 포함한다.

Description

스마트경로 생성방법 및 장치
본 발명은 사용자의 검색경로를 따라 사용자의 요청사항을 반영한 컨텐츠를 제공하는 방법에 관한 것이다.
인터넷, IPTV, SNS, Mobile LTE 등의 급속한 확산 및 유튜브, 넷플릭스 등의 동영상 OTT 서비스의 확대에 따라서 멀티미디어 영상의 유통 및 소비가 급격히 증가하고 있다. 사용자는 동영상의 내용을 확인하기 위해서는 동영상의 시작부터 끝까지 시청하는 것이 일반적이다.
그러나, 최근에는 사용자는 동영상 내에서 본인이 원하는 정보가 제공되는 장면만을 시청하기 원하는 요구가 높아지고 있으나, 현재 동영상에 대한 검색이 제목이나 설명을 기반으로 이루어지고 있어서 동영상 내에 포함되어 있는 콘텐츠에 대한 상세한 검색이 어려운 것이 현실이다.
본 발명의 바람직한 일 실시예에서는 사용자의 검색경로상에서 사용자의 요청사항에 부합한 컨텐츠들 또는 광고들을 제공하여, 사용자가 이동경로 상에서 필요한 컨텐츠들을 제공받을 수 있는 방법을 제안한다.
본 발명의 바람직한 일 실시예로서, 스마트경로 생성방법은 출발지 및 목적지를 입력받는 단계; 사용자 요청사항을 검색어로 입력받는 단계; 및 경로표시부에서 지도상에 상기 출발지에서 상기 목적지에 이르는 복수의 후보경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 표시하고, 상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 사용자의 위치에 따라 실시간으로 선택하여 실시간으로 표시하는 단계;를 포함하고, 상기 검색어는 문장(sentence)의 형태인 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 적어도 하나의 컨텐츠 각각은 시간정보와 GIS(Geographic Information System)상에서 위치정보를 지니고, 상기 시간정보는 컨텐츠의 생성시각(starting time) 및 소멸시각(ending time)을 포함하는 것을 특징으로 한다. 그리고, 상기 컨텐츠는 상기 소멸시각에 가까워질수록 상기 컨텐츠의 정보가치가 감소되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 컨텐츠표시부는 상기 적어도 하나의 컨텐츠의 생성시각 및 소멸시각 조건이 상기 검색어가 입력되는 입력시간에 배치되지 않고 또한 상기 검색어의 내용과 배치되지 않는 경우 해당 컨텐츠를 선택하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 컨텐츠표시부는 상기 적어도 하나의 컨텐츠의 위치정보가 상기 스마트경로 상에 있는 경우에만 해당 컨텐츠를 선택하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 적어도 하나의 컨텐츠가 동영상인 경우 사용자의 현재 위치를 기준으로 가장 가까운 위치정보를 지닌 컨텐츠 순으로 순차적으로 재생되어, 상기 사용자의 이동 경로 주변에서 상기 사용자 요청사항과 관련한 컨텐츠를 실시간으로 제공하는 것을 특징으로 한다. 이 경우, 상기 동영상 내에서 상기 검색어와 관련된 일부구간만이 재생되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 적어도 하나의 컨텐츠가 동영상인 경우 상기 동영상은 상기 동영상을 구성하는 적어도 하나의 씬(scene)마다 메타데이터가 문장 형식으로 부여되어 있으며, 상기 메타데이터를 기준으로 상기 검색어와 매칭도가 가장높은 씬을 검색하여, 검색된 씬의 시작지점부터 끝지점만을 재생하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 매칭도는 상기 검색어와 상기 메타데이터의 유사도를 기초로 판단되며, 두 문장이 동일한 경우에 0이 되고 두 문장의 유사도가 작아질수록 값이 커지는 레빈쉬타인 거리(Levenshtein distance)기법을 이용하여 판단하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 적어도 하나의 컨텐츠는 동영상, 사진, 텍스트, 오디오 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 지도상에 표시된 상기 스마트 경로 위에 중첩하여 상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 표시하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 스마트경로 생성장치는 출발지 및 목적지를 입력받는 제 1 입력부; 사용자 요청사항을 검색어로 입력받는 제 2 입력부;및 지도상에 상기 출발지에서 상기 목적지에 이르는 복수의 경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 표시하는 경로표시부;를 포함하고, 상기 경로표시부는 상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 사용자의 위치에 따라 실시간으로 선택하여 상기 스마트경로상에 실시간으로 표시하는 컨텐츠표시부;를 포함하며, 상기 검색어는 문장(sentence)의 형태인 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 상기 적어도 하나의 컨텐츠는 상기 스마트경로와 연관된 상품이나 서비스에 대한 광고정보를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 스마트경로 생성방법 및 장치는 사용자가 찾는 특정 경로 내에 사용자 동영상 내에서 사용자가 검색하고자 하는 내용이 있는 특정 구간만의 컨텐츠들을 사용자 이동경로 상에 표시함으로써, 사용자가 이동경로를 따라 필요한 정보를 획득할 수 있는 효과가 있다.
또한, 사용자의 평소 동영상 시청 이력 및 취향 등을 바탕으로 사용자가 좋아할만한 동영상이나 광고를 추천하는 큐레이션 서비스를 가능하게 한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 동영상을 구성하는 구성요소를 씬(scene)과 샷(shot)으로 구분한 일 예를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 동영상 내부의 정보를 검색하는 방법의 흐름도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 동영상내부정보를 검색하는장치의 내부 구성도를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 동영상에서 샷 을 구분하는 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 샷에 태그세트를 부여하는 일 예를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, 샷을 씬으로 그루핑하는 일 예를 도시한다.
도 7 은 본 발명의 또 다른 바람직한 일 실시예로서, 동영상 내부의 정보를 검색하는 방법의 흐름도를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 동영상 내부의 정보를 검색하는 일 실시예를 도시한다.
도 9 는 본 발명의 또 다른 바람직한 일 실시예로서, 스마트경로 생성장치의 내부 구성도를 도시한다.
도 10은 본 발명의 바람직한 일 실시예로서, 도 9의 컨텐츠 선택부의 구현 예를 도시한다.
도 11은 본 발명의 바람직한 일 실시예로서, 스마트경로를 생성한 일 예를 도시한다.
도 12는 본 발명의 바람직한 일 실시예로서, 스마트경로를 생성하는 흐름도를 도시한다.
본 발명의 바람직한 일 실시예로서, 스마트경로 생성방법은 출발지 및 목적지를 입력받는 단계; 사용자 요청사항을 검색어로 입력받는 단계; 및 경로표시부에서 지도상에 상기 출발지에서 상기 목적지에 이르는 복수의 후보경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 표시하고, 상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 사용자의 위치에 따라 실시간으로 선택하여 실시간으로 표시하는 단계;를 포함하고, 상기 검색어는 문장(sentence)의 형태인 것을 특징으로 한다.
이하에서, 도면을 참고하여 본원 발명이 속하는 분야의 통상의 지식을 가진자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 동영상을 구성하는 구성요소를 씬(scene)과 샷(샷)으로 구분한 일 예를 도시한다.
본 발명의 바람직한 일 실시예로서, 동영상(100)은 n 개(n은 자연수)의 샷(111, 113, 121, 123, 125, 131, 133)으로 분절된다. 동영상에서 샷을 구분하는 방식은 도 4의 내용을 참고한다.
적어도 하나의 샷은 의미 또는 주제가 유사한 단위로 그루핑 되어 씬(scene)을 구성한다. 도 1 의 일 예를 참고하면, 제 1 샷(111) 및 제 2 샷(113)은 제 1 씬(110)으로 그루핑되고, 제 3 샷(121), 제 4 샷(123) 및 제 5 샷(125)은 제 2 씬(120)으로, 그리고 제 6 샷(131) 및 제 7 샷(133)은 제 3 씬(130)으로 그루핑될 수 있다. 본 발명에서 주제는 적어도 하나 이상의 의미를 포함할 수 있다.
도 2 는 본 발명의 바람직한 일 실시예로서, 동영상내부정보를 검색하는 방법의 흐름도를 도시한다.
사용자는 특정 동영상 내에서 검색하고자 하는 내용이 있는 경우, 동영상을 선택하고, 동영상 선택이 활성화되면 제공되는 검색어 입력 인터페이스를 통해 검색어를 입력한다. 동영상은 각 씬(scene)마다 메타데이터가 문장 형식으로 부여되어 씬 단위로 색인화되어 있는 것을 전제로 한다. 본 발명의 바람직한 일 실시예로서, 동영상내부정보 검색장치는 사용자로부터 문장을 검색어로 입력받으면, 동영상 내에서 검색어와 일치되거나 연관성이 높은 특정 구간을 검색하여, 검색된 특정 구간만을 재생한다.
본 발명의 또 다른 바람직한 일 실시예로서, 동영상내부정보 검색장치는 사용자가 특정 동영상 내부에서 검색하고자 하는 내용과 관련한 검색어를 입력하면(S210), 동영상 내에서 검색어와 매칭도가 가장높은 씬을 검색하고(S220), 검색된 씬의 시작지점부터 끝지점만을 재생한다(S230).
도 3 은 본 발명의 바람직한 일 실시예로서, 동영상내부정보를 검색하는장치(300)의 내부 구성도를 도시한다. 도 4 내지 6 은 동영상내부정보를 검색하는장치(300)를 구성하는 동영상구간검색부(320)의 세부 기능을 도시한다. 도 7 은 동영상내부정보를 검색하는 흐름도를 도시한다. 이하에서 도 3 내지 7을 참고하여 동영상내부정보를 검색하는 장치에서 동영상내부정보를 검색하는 방법을 설명한다.
본 발명의 바람직한 일 실시예로서, 동영상내부정보를 검색하는장치(300)는 단말기, 컴퓨터, 노트북, 핸드헬드 장치, 웨어러블 장치에 구현될 수 있다. 또한, 동영상내부정보를 검색하는장치(300)는 사용자의 검색어를 입력받는 입력부, 동영상을 표시하는 디스플레이와 프로세서를 구비한 단말기의 형태로 구현될 수 있다. 또한, 동영상내부정보를 검색하는 방법은 단말기에 어플리케이션의 형태로 설치되어 구현될 수 있다.
본 발명의 바람직한 일 실시예로서, 동영상내부정보를 검색하는장치(300)는 검색어입력부(310), 동영상구간검색부(320) 및 동영상구간재생부(330)를 포함한다. 동영상구간검색부(320)는 샷분절부(340), 씬생성부(350), 메타데이터생성부(360) 및 동영상색인부(370)를 포함한다.
검색어입력부(310)는 사용자로부터 검색어를 문장(sentence)의 형식으로 입력받는다. 사용자는 음성검색, 텍스트검색, 이미지검색 등의 형태를 모두 이용할 수 있다. 이미지검색의 예로는 책에서 스캔한 내용을 문자로 변환하여 검색어로 이용하는 경우이다. 검색어입력부(310)는 키보드, 첨펜, 마이크 등으로 구현될 수 있다.
동영상구간검색부(320)는 검색어입력부(310)에서 입력받은 검색어와 일치하거나 검색어와 연관되는 내용이 있는 동영상 내의 특정 구간을 검색한다. 일 실시예로서, 동영상구간검색부(320)는 입력받은 검색어 문장과 매칭도가 가장 높은 문장을 메타데이터로 부여받은 씬을 검색한다.
동영상구간검색부(320)에서는 단일 동영상 내에서 정보를 검색할 수 있도록 동영상을 색인화하여 관리한다.
도 7을 더 참고하여 설명하면, 샷분절부(340)는 동영상을 샷 단위로 분절하고(S710), 분절된 샷 각각에 태그세트를 부여한 후(S720), 각 샷에 부여된 태그세트들에 토픽 분석 알고리즘을 적용하여 각 샷마다 키워드를 도출한다(S730). 키워드는 동영상을 구성하는 적어도 하나의 샷 각각의 내용을 식별하고 분별하는 형식으로 도출된다.
씬생성부(350)는 동영상의 타임라인 상에서 인접한 전후 샷간에 유사도를 판단한다. 유사도 판단은 각 샷에서 도출된 키워드, 각 샷에서 검출된 객체, 각 샷에서 검출된 음성특징 등을 기초로 수행될 수 있다. 본 발명의 바람직한 일 실시예로서, 씬생성부(350)는 인접한 샷간에 키워드 기준으로 유사도가 높은 샷을 그루핑하여 씬으로 생성할 수 있다(S740). 그루핑을 수행하는 알고리즘으로는 계층적 클러스터링 기법 등을 포함할 수 있다(S750). 이 경우 하나의 씬 내에 포함된 복수의 샷은 의미 또는 주제가 유사한 내용의 컨텐츠를 전달한다고 해석될 수 있다. 씬생성부(350)에서 샷을 계층적 클러스터링을 통해 그루핑하는 일 예는 도 8을 참고한다.
씬생성부(350)는 생성된 각 씬마다(351, 353, 355) 씬 태그를 부여한다. 씬 태그는 각 씬에 포함된 적어도 하나의 샷 각각에 할당된 영상태그를 기초로 생성될 수 있다. 본 발명에서 씬 태그는 씬을 구성하는 적어도 하나의 샷 각각에 할당된 태그 세트의 조합으로 생성될 수 있다. 또한, 씬 키워드는 씬을 구성하는 적어도 하나의 샷 각각에서 도출한 키워드들의 조합으로 생성될 수 있다. 본 발명의 바람직한 일 실시예에서, 씬 태그는 각 씬에 메타데이터를 생성할 때 가중치 역할을 수행할 수 있다.
메타데이터생성부(360)는 씬생성부(350)에서 생성된 씬을 각각 분석하여, 각 씬마다 메타데이터를 부여함으로써 동영상 내부 컨텐츠에 대한 검색을 지원한다(S760). 각 씬에 부여되는 메타데이터는 색인의 역할을 수행한다. 메타데이터는 각 씬의 내용을 표시하는 요약 문장(sentence)의 형식을 지닌다.
메타데이터는 하나의 씬을 구성하는 적어도 하나의 샷 각각에 부여된 씬태그를 더 참고하여 생성될 수 있다. 씬 태그는 메타데이터를 생성하기 위해 딥러닝을 수행할 때 가중치 역할을 수행할 수 있다. 예를 들어, 씬 태그에 포함된 적어도 하나의 태그 세트에서 추출된 영상태그 정보와 음성태그 정보에 가중치를 부여할 수 있다.
메타데이터는 각 씬을 구성하는 적어도 하나의 샷에서 각각 추출한 음성데이터의 STT(Speech to Text) 데이터와 각 씬을 구성하는 적어도 하나의 샷 각각에서 추출한 씬 태그를 기초로 생성된다. 일 예로, 하나의 씬을 구성하는 적어도 하나의 샷에서 획득한 적어도 하나의 STT데이터와 적어도 하나의씬 태그를 딥러닝 방식의 기계학습을 수행하여 요약문장을 생성한다. 하나의 씬마다 기계학습을 통해 생성된 요약문장을 이용하여 각 씬에 메타데이터를 부여한다.
동영상색인부(370)는 동영상(S300)의 각 씬마다 부여된 메타데이터를 색인으로 이용한다. 예를 들어, 동영상(S300)이 3개의 씬으로 분류된 경우, 동영상색인부(370)는 제 1 씬(351)(0:00~t1)에 메타데이터로 부여된 제 1 문장(371)을 색인으로 이용하고, 제 2 씬(353)(t1~t2)에 메타데이터로 부여된 제 2 문장(373)을 색인으로 이용하며, 제 3 씬(355)(t2~t3)에 메타데이터로 부여된 제 3 문장(375)을 색인으로 이용한다.
동영상색인부(370)는 사용자의 검색문장이 제 1 검색문장(S311)이고, 제 1 검색문장(S311)이 하나의 동영상 내의 복수 개의 씬 각각에 할당된 복수 개의 메타데이타(371,373,375) 중 제 1 문장(371)과 가장 매칭도가 높다고 판단한 경우, 검색어 입력부(310)에 입력된 검색문장과 가장 매칭도가 높은 동영상구간을 제 1 씬(351)이라고 판단한다. 이 경우, 동영상구간재생부(330)는 동영상(S300)에서 제 1 씬(351)의 구간인 0:00~t1만을 재생한다.
본 발명의 바람직한 일 실시예로서, 동영상색인부(370)는 두 문장이 동일한 경우에 0이 되고 두 문장의 유사도가 작아질수록 값이 커지는 레빈쉬타인 거리(Levenshtein distance)기법을 이용하여 매칭도를 판단할 수 있으나, 이에 제한되는 것은 아니며 두 문장의 유사도를 판단하는 다양한 알고리즘을 이용할 수 있다.
동영상색인부(370)는 또한 사용자의 검색문장이 제 2 검색문장(S313)이고, 제 2 검색문장(S313)이 하나의 동영상 내의 복수 개의 씬 각각에 할당된 복수 개의 메타데이타(371,373,375) 중 제 2 문장과 가장높다고 판단한 경우, 검색어 입력부(310)에 입력된 검색문장과 가장 매칭도가 높은 동영상구간을 제 2 씬(353)이라고 판단한다. 이 경우, 동영상구간재생부(330)는 동영상(S300)에서 제 2 씬(353)의 구간인 t1~t2만을 재생한다.
마찬가지로, 동영상색인부(370)는 사용자의 검색문장이 제 3 검색문장(S315)이고, 제 3 검색문장(S315)이 제 3 문장과 가장 매칭도가 높다고 판단한 경우, 검색어 입력부(310)에 입력된 검색문장과 가장 매칭도가 높은 동영상구간을 제 3 씬(355)이라고 판단한다. 이 경우, 동영상구간재생부(330)는 동영상(S300)에서 제 3 씬(355)의 구간인 t2~t3만을 재생한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 동영상에서 샷 을 구분하는 일 예를 도시한다. 도 4 에서 x축은 시간(sec), y축은 HSV 대표값을 나타낸다.
본 발명의 바람직한 일 실시예로서, 동영상내부정보 검색장치의 샷분절부(340)는 동영상(S300)에서 일정 간격으로 프레임을 이미지로 추출한 후, 각 이미지를 HSV색공간으로 변환한다. 그리고, 각 이미지의 H(색상)(S401), S(채도)(S403) 및 v(명도)(S405)의 대표값(median)으로 구성된 3개의 시계열 데이터를 생성한다. 그리고, H(색상)(S401), S(채도)(S403) 및 v(명도)(S405) 3개의 시계열 데이터 각각의 변곡점이 모두 일치하는 경우, 또는 일정 시간구간 내에 있는 경우 해당 지점을 샷의 시작지점(starting point) 또는 끝지점(ending point)으로 설정한다. 도 4에서는 3개의 시계열 데이터 각각의 변곡점이 일치되는 t=10sec 지점을 제 1 샷(410)의 끝지점, 그리고 제 2 샷(420)의 시작지점으로 설정하였다. 또한 3개의 시계열 데이터 각각의 변곡점이 일치되는 t=21sec 지점을 제 2 샷(420)의 끝지점, 그리고 제 3 샷(430)의 시작지점으로 설정하였다.
도 5 는 본 발명의 바람직한 일 실시예로서, 샷에 태그세트를 부여하는 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는, 동영상을 샷 단위로 분절한 이후에, 샷마다 태그세트를 부여한다. 도 5는 제 1 샷(510)에 제 1 태그세트(550)를 부여하는 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는 샷(510)을 영상데이터(510a)와 음성데이터(510b)로 분류한다. 영상데이터(510a)에서는 초당 이미지를 추출한 후(520a), 각 이미지에서 객체를 검출한다(530a). 그리고, 검출된 객체를 기초로 영상태그를 생성한다(540a). 영상태그는 이미지에서 검출된 객체들에 대해 객체 바운딩(object annovation) 내지 라벨링을 적용하여 학습데이터를 구축한 후 영상인식과 연관된 딥러닝 학습을 통해 객체 인식을 수행하여, 각 이미지마다 객체를 추출한 정보를 기초로 생성할 수 있다.
그리고, 음성데이터(510b)에서는 STT변환(520b)을 수행한 후, 형태소를 추출하여(530b) 음성태그를 생성한다(540b). 영상태그(540a)와 음성태그(540b)가 모두 생성되면, 태그세트(550)를 생성한다. 태그세트는 제 1 샷(510)이 예를 들어 00:00~10:00 초 구간인 경우, 해당 시간 동안 검출된 영상태그(540a)와 음성태그(540b)의 조합을 지칭한다.
도 6 은 본 발명의 바람직한 일 실시예로서, 샷을 씬으로 그루핑하는 일 예를 도시한다.
각 샷마다 통합태그를 부여한 후(610), 각 샷에 부여된 태그세트들에 토픽 분석 알고리즘을 적용하여(620) 각 샷마다 키워드를 도출한다(630). 이 후, 씬생성부에서 인접한 전후 샷간에 유사도를 판단하여 씬으로 그루핑한다. 도 6은 키워드(630)를 기초로 유사도를 판단한 후 계층적 클러스터링(640)을 통해 씬을 생성한 일 예를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 동영상 내부의 정보를 검색하는 일 실시예를 도시한다.
사용자가 내용을 검색하고자 하는 50초 분량의 동영상(800)을 선택한 경우의 일 예를 가정한다.
도 8의 일 실시예는 샷분절부에서 사용자가 선택한 동영상(800)을 7개의 샷(801~807)으로 분절한 일 예를 도시한다. 동영상내부 정보를 검색하는 장치는 7개의 샷(801~807) 각각은 영상태그와 음성태그를 추출하여 태그세트를 생성하고, 이후 태그세트에 대해 LDA 등의 토픽 분석을 수행하여 각 샷(801~807)마다 키워드를 도출한다.
도 8의 일 실시예를 참고하면, 제 1 샷(801)은 0:00~0:17 구간이며, 제 1 샷(801)에서 도출된 제 1 키워드는 (일본, 코로나19, 심각)(801a) 이다. 제 2 샷(802)은 0:18~0:29 구간이며, 제 2 샷(802)에서 도출된 제 2 키워드는 (일본, 코로나19, 확산)(802a) 이다. 제 3 샷(803)은 0:30~0:34 구간이며, 제 3 샷(803)에서 도출된 제 3 키워드는 (뉴욕, 코로나19, 유럽, 유입)(803a) 이다. 제 4 샷(804)은 0:34~0:38 구간이며, 제 4 샷(804)에서 도출된 제 4 키워드는 (미, 코로나19, 사망)(804a) 이다. 제 5 샷(805)은 0:39~0:41 구간이며, 제 5 샷(805)에서 도출된 제 5 키워드는 (미, 코로나19, 확진, 사망)이다. 제 6 샷(806)은 0:42~0:45 구간이며, 제 6 샷(806)에서 도출된 제 6 키워드는 (미, 코로나19, 사망)(806a) 이다. 제 7 샷(807)은 0:46~0:50 구간이며, 제 7 샷(807)에서 도출된 제 7 키워드는 (미, 코로나19, 사망)(807a) 이다.
씬 생성부는 적어도 하나의 샷을 유사도를 기준으로 그루핑한다. 유사도는 각 샷에서 추출한 키워드를 기준으로 판단할 수 있으며, 추가로 영상태그 및 음성태그를 더 참고할 수 있다.
도 8의 일 실시예에서는, 제 1 샷(801)과 제 2 샷(802)은 제 1 씬(810)으로 그루핑되고, 제 3 샷(803)은 제 2 씬(820)으로 그루핑되고, 그리고 제 4 샷 내지 제 7 샷(804~807)은 제 3 씬(830)으로 그루핑되었다.
제 1 씬(810)은 0:00~0:29 구간으로, 제 1 샷(801)에서 도출된 제 1 키워드는 (일본, 코로나19, 심각)(801a)와 제 2 샷(802)에서 도출된 제 2 키워드는 (일본, 코로나19, 확산)(802a) 내지 제 1 샷(801)과 제 2 샷(802)의 음성데이터를 참고하여 "일본 코로나19가 계속 확산중입니다."(810b)라는 메타데이터가 부여된다.
제 2 씬(820)은 0:30~0:34 구간으로, 제 3 샷(803)에서 도출된 제 3 키워드는 (뉴욕, 코로나19, 유럽, 유입)(803a)과 제 3 샷(803)의 음성데이터를 참고하여 "뉴욕의 코로나19가 유럽에서 유입이 되고 있다고 합니다."(820b)라는 메타데이터가 부여된다.
제 3 씬(830)은 0:35~0:50 구간으로, 제 4 샷(804)에서 도출된 제 4 키워드 (미, 코로나19, 사망)(804a), 제 5 샷(805)에서 도출된 제 5 키워드 (미, 코로나19, 확진, 사망), 제 6 샷(806)에서 도출된 제 6 키워드 (미, 코로나19, 사망)(806a)와 제 4 샷(804)내지 제 6 샷(806)의 음성데이터를 참고하여 " 미국 코로나 19확진 사망 소식입니다."(830b)라는 메타데이터가 부여된다.
본 발명의 바람직한 일 실시예에서, 사용자는 동영상(800)을 선택한 후, 검색어 입력인터페이스가 활성화되면, 검색하고자 하는 내용을 문장의 형태로 입력한다. 예를 들어, "미국의 코로나 현황은 어떠한가요?"(840)라는 검색어 문장을 입력할 수 있다.
동영상색인부는 각 씬에 부여된 메타데이터를 색인으로 활용하여 검색어 문장(840)과 매칭도가 가장 높은 메타데이터를 검색한다. 매칭도는 검색어(840)와 메타데이터(810b, 820b, 830b)의 유사도를 기초로 판단되며, 두 문장이 동일한 경우에 0이 되고 두 문장의 유사도가 작아질수록 값이 커지는 레빈쉬타인 거리(Levenshtein distance)기법을 이용할 수 있다.
동영상색인부는 사용자 검색어(840) "미국의 코로나 현황은 어떠한가요?"(840)와 가장 유사한 메타데이터를 "미국 코로나 19확진 사망 소식입니다."(830b)로 검색한 후, 해당 메타데이터가 부여된 제 3 씬(830)을 사용자에게 재생한다. 사용자는 검색어(840)를 입력하면, 동영상(800) 내에서 검색어(840)와 관련된 0:35~0:50 구간에 해당하는 제 3 씬(830) 구간만을 검색하여 시청할 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 동영상색인부는 사용자에게 동영상을 구성하는 각 씬(810~830)에 부여된 메타데이터를 색인으로 제공할 수 있다. 사용자는 동영상 색인을 통해 해당 동영상의 내용을 개략적으로 미리 확인이 가능하다.
도 9 는 본 발명의 또 다른 바람직한 일 실시예로서, 스마트경로 생성장치의 내부 구성도를 도시한다. 도 11은 스마트경로 생성장치에서 스마트경로를 제시한 일 예를 도시한다. 도 9 및 11을 참고하여 설명한다.
스마트경로 생성장치(900)는 입력부(910) 및 경로표시부(920)를 포함하고, 외부 서버(950)와 유무선으로 통신이 가능하다. 외부서버(950)의 예로는 지도데이터베이스가 구비된 서버(951), 컨텐츠 데이터베이스가 구비된 서버(953), 사용자별 라이프 스타일, 선호도 등이 기록되어 관리되는 서버(955), 광고 데이터베이스가 구비된 서버(957), 통신사 서버 등을 포함한다.
스마트경로 생성장치(900)의 일 예로는 핸드폰, 스마트폰, 스마트와치, 테블릿, 노트북, PC 등의 단말기를 포함한다. 또한 스마트경로 생성장치(900)는 사용자로부터 입력받은 경로를 표시할 수 있도록 구현을 제어하는 프로세서를 구비한 단말기의 형태를 모두 포함할 수 있다.
입력부(910)는 제 1 입력부(912)와 제 2 입력부(914)를 포함한다. 제 1 입력부(912)는 사용자로부터 출발지 및 목적지를 입력받는 인터페이스로, 텍스트 입력, 오디오 입력, 터치 입력 등을 포함한다. 제 2 입력부(914)는 사용자로부터 사용자 요청사항을 검색어로 입력받는 인터페이스로, 텍스트 입력 및 오디오 입력을 포함한다. 도 11을 참고하면, 제 1 입력부(912)는 출발지(1120a), 목적지(1120b), 제 1 경유지(1120c) 및 제 2 경유지(1120d) 등을 입력받을 수 있다.
제 2 입력부(914)는 제 1 입력부(912)를 통해 출발지와 목적지를 입력받은 이후에 활성화되도록 구현될 수 있다. 다만, 이는 본 발명의 일 실시예에 해당하며 변형이 가능함을 주의하여야 한다. 제 2 입력부(914)는 도 11을 참고하면, 검색창(1110)의 형태의 인터페이스이며 오디오 입력(1111) 내지 텍스트 입력(1113)을 수신할 수 있다. 본 발명의 바람직한 일 실시예로서, 제 2 입력부(914)는 사용자의 요청사항을 문장(sentence)의 형태로 입력받는다.
경로표시부(920)는 스마트경로표시부(930)와 컨텐츠표시부(940)를 포함한다.
본 발명의 바람직한 일 실시예에서, 스마트경로는 사용자가 입력한 출발지에서 목적지까지의 복수의 후보경로 중 제 2 입력부(914)를 통해 수신한 사용자의 요청사항에 부합하는 경로들을 지칭한다.
도 11을 참고하면, 스마트경로표시부(930)는 출발지(1120a)에서 목적지(1120b)까지의 복수의 후보 경로 중 사용자의 요청 사항 "아침 먹을 수 있는 곳을 찾아줘"(1113)에 대응하는 검색결과가 있는 경로들을 표시한다. 도 11을 참고하면, 스마트경로표시부(930)는 제 1 스마트경로(S1100), 제 2 스마트경로(S1110), 제 3 스마트경로(S1120)등을 표시할 수 있다.
컨텐츠표시부(940)는 사용자의 위치에 따라 적어도 하나의 컨텐츠를 스마트경로상에 실시간으로 표시한다. 이를 위하여 컨텐츠표시부(940)는 컨텐츠선택부(미 도시)를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예로서, 스마트경로 상에 도시되는 컨텐츠 각각은 시간정보와 GIS(Geographic Information System)상에서 위치정보를 지니고, 상기 시간정보는 컨텐츠의 생성시각(starting time) 및 소멸시각(ending time)을 포함한다. 컨텐츠선택부는 기설정된 데이터베이스 내에 기저장된 컨텐츠 각각의 시간정보와 위치정보를 이용하여 스마트경로 상에서 사용자의 요청사항에 부합하는 컨텐츠를 선택한다. 이에 대한 설명은 도 10을 참고한다.
컨텐츠표시부(940)는 사용자가 제 2 입력부(914)를 통해 검색어를 입력한 경우, 사용자 검색어에 부합하는 컨텐츠를 스마트경로 상에 모두 표시할 수 있다. 이 경우 컨텐츠는 텍스트, 오디오, 비디오를 포함하며, 광고, SNS, 블로그 포스팅 등을 포함할 수 있다.
컨텐츠표시부(940)는 이후 사용자의 실시간 위치에 따라 스마트경로 상에 표시된 컨텐츠 들 중 일부를 순차적으로 재생할 수 있다. 보다 상세히, 컨텐츠표시부(940)는 적어도 하나의 스마트 경로와 관련된 적어도 하나의 컨텐츠가 동영상인 경우, 사용자의 현재 위치를 기준으로 가장 가까운 위치정보를 지닌 컨텐츠 순으로 순차적으로 동영상을 재생한다. 사용자는 사용자의 이동 경로 주변에서 사용자의 요청사항과 관련한 컨텐츠를 실시간으로 제공받을 수 있다.
일 예를 들어, 사용자가 t1시간에 출발지(S1120a)에 위치한 경우, 가장 가까운 곳에 샌드위치 가게(1101)가 있는 경우, 샌드위치 가게(1101)를 재생한다. 그러나, 사용자가 t2시간에 샌드위치 가게(1101)가 위치한 제 2 스마트경로(S1110) 상에 있지 않고, 제 1 스마트경로(S1100) 상에서 검출되는 경우, t2시간에 검출된 사용자의 위치(1121a)와 가장 인접한 삼계탕집(1102)의 컨텐츠를 재생한다. 이후, t3시간에 검출된 사용자의 위치(1121b)와 가장 인접한 국수집(1103)의 컨텐츠를 재생한다.
본 발명의 바람직한 일 실시예에서, 사용자가 제공받는 동영상은 SNS, 블로그 포스팅, 광고업체 제공 동영상 등에 올라온 동영상 전체가 아니라, 동영상 중 사용자의 검색어와 관련된 특정 구간만을 제공받을 수 있다. 동영상에서 사용자의 검색어와 관련된 특정 구간만을 추출하여 제공하는 방법은 도 1 내지 8과 관련한 설명 부분을 참고한다.
도 10은 본 발명의 바람직한 일 실시예로서, 컨텐츠선택부의 구현 예를 도시한다.
컨텐츠선택부는 컨텐츠가 기저장된 서버 또는 외부 서버로부터 사용자로부터 제 1 입력부(도 9, 910)을 통해 입력받은 출발지에서 목적지에 이르는 복수의 후보경로와 연관된 컨텐츠를 모두 추출하여 컨텐츠리스트를 추출한다(S1010).
이후, 컨텐츠리스트 내의 각 컨텐츠들의 생성시각 및 소멸시각 정보와 사용자 검색어 입력시간을 비교하여 제 1 컨텐츠그룹을 추출한다(S1020).
예를 들어, 제 1 상점에서 제공하는 컨텐츠의 생성시각이 11:00시, 소멸시각이 3:00시 이고, 제 2 상점에서 제공하는 컨텐츠의 생성시각이 11:30분, 소멸시각이 3:00시 이고, 그리고 제 3 상점에서 제공하는 컨텐츠의 생성시각이 10:00시, 소멸시각이 2:30분이고, 사용자의 검색어 "아침먹을 수 있는 곳을 찾아줘"(도 11, 1113) 입력시간이 11:05분인 경우, 제 1 상점에서 제공하는 컨텐츠와 제 3 상점에서 제공하는 컨텐츠만을 제 1 컨텐츠그룹으로 추출한다.
다음으로, 제 1 컨텐츠 그룹 중 사용자 검색어와 의미가 매칭되는 제 2 컨텐츠 그룹을 추출한다(S1030). 예를 들어, 제 1 상점에서 제공하는 컨텐츠는 헤어 커트에 관한 것이고, 제 3 상점에서 제공하는 컨텐츠는 음식에 관한 것인 경우, 제 3 상점에서 제공하는 컨텐츠만을 제 2 컨텐츠그룹으로 추출한다. 그리고, 제 2 컨텐츠 그룹 내의 컨텐츠들을 사용자의 위치와 인접한 순서로 재생한다(S1040).
도 12는 본 발명의 바람직한 일 실시예로서, 스마트경로를 생성하는 흐름도를 도시한다.
본 발명의 바람직한 일 실시예로서, 사용자에게 사용자가 원하는 업무를 수행할 수 있는 목적지를 제안하는 스마트 경로를 생성하는 방법은 다음과 같다. 사용자로부터 출발지 및 목적지를 입력받고(S1210), 이후 사용자 요청사항을 검색어로 입력받는다(S1220). 이 경우 검색어는 문장의 형식을 지닌다.
스마트경로표시부는 출발지에서 목적지에 이르는 복수의 후보경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 지도상에 표시한다(S1230). 또한 동시에 또는 사용자의 선택에 따라 별도로 컨텐츠표시부를 통해 사용자의 위치에 따라 적어도 하나의 컨텐츠를 스마트경로상에 실시간으로 더 표시한다(S1240).
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

Claims (15)

  1. 출발지 및 목적지를 입력받는 단계;
    사용자 요청사항을 검색어로 입력받는 단계; 및
    상기 출발지에서 상기 목적지에 이르는 복수의 후보경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 지도상에 표시하고, 또한 상기 사용자의 위치에 따라 적어도 하나의 컨텐츠를 상기 스마트경로상에 실시간으로 더 표시하는 단계; 를 포함하고,
    상기 검색어는 문장(sentence)의 형태이고, 상기 적어도 하나의 컨텐츠는 상기 검색어와 연관된 내용을 포함하는 것을 특징으로 하는 스마트경로 생성방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 컨텐츠 각각은
    시간정보와 GIS(Geographic Information System)상에서 위치정보를 지니고, 상기 시간정보는 컨텐츠의 생성시각(starting time) 및 소멸시각(ending time)을 포함하는 것을 특징으로 하는 스마트경로 생성방법.
  3. 제 2 항에 있어서, 상기 컨텐츠는
    상기 소멸시각에 가까워질수록 상기 컨텐츠의 정보가치가 감소되는 것을 특징으로 하는 스마트경로 생성방법.
  4. 제 2 항에 있어서, 상기 컨텐츠표시부는
    상기 적어도 하나의 컨텐츠의 생성시각 및 소멸시각 조건이 상기 검색어가 입력되는 입력시간에 배치되지 않고 또한 상기 검색어의 내용과 배치되지 않는 경우 해당 컨텐츠를 선택하는 것을 특징으로 하는 스마트경로 생성방법.
  5. 제 2 항에 있어서, 상기 컨텐츠표시부는
    상기 적어도 하나의 컨텐츠의 위치정보가 상기 스마트경로 상에 있는 경우에만 해당 컨텐츠를 선택하는 것을 특징으로 하는 스마트경로 생성방법.
  6. 제 1 항에 있어서, 상기 적어도 하나의 컨텐츠가 동영상인 경우
    사용자의 현재 위치를 기준으로 가장 가까운 위치정보를 지닌 컨텐츠 순으로 순차적으로 재생되어, 상기 사용자의 이동 경로 주변에서 상기 사용자 요청사항과 관련한 컨텐츠를 실시간으로 제공하는 것을 특징으로 하는 스마트경로 생성방법.
  7. 제 6 항에 있어서,
    상기 동영상 내에서 상기 검색어와 관련된 일부구간만이 재생되는 것을 특징으로 하는 스마트경로 생성방법.
  8. 제 1 항에 있어서, 상기 적어도 하나의 컨텐츠가 동영상인 경우
    상기 동영상은 상기 동영상을 구성하는 적어도 하나의 씬(scene)마다 메타데이터가 문장 형식으로 부여되어 있으며,
    상기 메타데이터를 기준으로 상기 검색어와 매칭도가 가장높은 씬을 검색하여, 검색된 씬의 시작지점부터 끝지점만을 재생하는 것을 특징으로 하는 스마트경로 생성방법.
  9. 제 8 항에 있어서, 상기 매칭도는
    상기 검색어와 상기 메타데이터의 유사도를 기초로 판단되며, 두 문장이 동일한 경우에 0이 되고 두 문장의 유사도가 작아질수록 값이 커지는 레빈쉬타인 거리(Levenshtein distance)기법을 이용하여 판단하는 것을 특징으로 하는 스마트경로 생성방법.
  10. 제 1 항에 있어서, 상기 적어도 하나의 컨텐츠는
    동영상, 사진, 텍스트, 오디오 중 적어도 하나를 포함하는 것을 특징으로 하는 스마트경로 생성방법.
  11. 제 1 항에 있어서, 상기 지도상에 표시된 상기 스마트 경로 위에 중첩하여
    상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 표시하는 것을 특징으로 하는 스마트경로 생성방법.
  12. 출발지 및 목적지를 입력받는 제 1 입력부;
    사용자 요청사항을 검색어로 입력받는 제 2 입력부;및
    지도상에 상기 출발지에서 상기 목적지에 이르는 복수의 경로 중 상기 사용자 요청사항에 부합하는 스마트경로를 표시하는 경로표시부;를 포함하고,
    상기 경로표시부는 상기 사용자 요청사항에 부합하는 적어도 하나의 컨텐츠를 사용자의 위치에 따라 실시간으로 선택하여 상기 스마트경로상에 실시간으로 표시하는 컨텐츠표시부;를 포함하며, 상기 검색어는 문장(sentence)의 형태인 것을 특징으로 하는 스마트경로 생성장치.
  13. 제 12 항에 있어서, 상기 적어도 하나의 컨텐츠는
    상기 스마트경로와 연관된 상품이나 서비스에 대한 광고정보를 포함하는 것을 특징으로 하는 스마트경로 생성장치.
  14. 제 12 항에 있어서, 상기 적어도 하나의 컨텐츠 각각은
    시간정보와 GIS(Geographic Information System)상에서 위치정보를 지니고, 상기 시간정보는 컨텐츠의 생성시각(starting time) 및 소멸시각(ending time)을 포함하는 것을 특징으로 하는 스마트경로 생성장치.
  15. 제 1 항 내지 제 11 항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2020/005720 2020-04-29 2020-04-29 스마트경로 생성방법 및 장치 WO2021221210A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020207014778A KR102369324B1 (ko) 2020-04-29 2020-04-29 스마트경로 생성방법 및 장치
PCT/KR2020/005720 WO2021221210A1 (ko) 2020-04-29 2020-04-29 스마트경로 생성방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/005720 WO2021221210A1 (ko) 2020-04-29 2020-04-29 스마트경로 생성방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021221210A1 true WO2021221210A1 (ko) 2021-11-04

Family

ID=78374129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005720 WO2021221210A1 (ko) 2020-04-29 2020-04-29 스마트경로 생성방법 및 장치

Country Status (2)

Country Link
KR (1) KR102369324B1 (ko)
WO (1) WO2021221210A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039774A (ja) * 2000-07-28 2002-02-06 Denso Corp ナビゲーション装置
KR20020068863A (ko) * 2001-02-23 2002-08-28 위콘인터넷 주식회사 멀티미디어 드라이빙 시스템과 그 제어방법
JP2012242296A (ja) * 2011-05-20 2012-12-10 Navitime Japan Co Ltd 経路探索装置、経路探索システム、サーバ装置、端末装置、経路探索方法、および、プログラム
KR20150022088A (ko) * 2013-08-22 2015-03-04 주식회사 엘지유플러스 컨텍스트 기반 브이오디 검색 시스템 및 이를 이용한 브이오디 검색 방법
KR20190031935A (ko) * 2017-09-19 2019-03-27 현대자동차주식회사 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090105300A (ko) * 2008-04-02 2009-10-07 (주)아이피인프라 내비게이션 광고 서비스 제공에 따른 광고료 정산 처리시스템 및 방법
KR101101111B1 (ko) * 2011-02-28 2011-12-30 팅크웨어(주) 전자기기 및 전자기기의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039774A (ja) * 2000-07-28 2002-02-06 Denso Corp ナビゲーション装置
KR20020068863A (ko) * 2001-02-23 2002-08-28 위콘인터넷 주식회사 멀티미디어 드라이빙 시스템과 그 제어방법
JP2012242296A (ja) * 2011-05-20 2012-12-10 Navitime Japan Co Ltd 経路探索装置、経路探索システム、サーバ装置、端末装置、経路探索方法、および、プログラム
KR20150022088A (ko) * 2013-08-22 2015-03-04 주식회사 엘지유플러스 컨텍스트 기반 브이오디 검색 시스템 및 이를 이용한 브이오디 검색 방법
KR20190031935A (ko) * 2017-09-19 2019-03-27 현대자동차주식회사 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법

Also Published As

Publication number Publication date
KR20210134867A (ko) 2021-11-11
KR102369324B1 (ko) 2022-03-04

Similar Documents

Publication Publication Date Title
JP7480317B2 (ja) 検索方法、装置、電子機器及び記憶媒体
WO2020080606A1 (ko) 비디오 메타데이터와 스크립트 데이터를 활용한 비디오 컨텐츠 통합 메타데이터 자동 생성 방법 및 시스템
US9244923B2 (en) Hypervideo browsing using links generated based on user-specified content features
WO2010117213A2 (en) Apparatus and method for providing information related to broadcasting programs
US9875222B2 (en) Capturing and storing elements from a video presentation for later retrieval in response to queries
WO2015119335A1 (ko) 콘텐츠 추천 방법 및 장치
JP2002092032A (ja) 次検索候補単語提示方法および装置と次検索候補単語提示プログラムを記録した記録媒体
WO2020251233A1 (ko) 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
KR101550886B1 (ko) 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법
WO2021221209A1 (ko) 동영상 내부의 정보를 검색하는 방법 및 장치
CN112749328B (zh) 搜索方法、装置和计算机设备
WO2015080371A1 (en) Image search system and method
JPH1040260A (ja) 映像検索方法
KR20060100646A (ko) 영상물의 특정 위치를 검색하는 방법 및 영상 검색 시스템
WO2021167238A1 (ko) 내용 기반 동영상 목차 자동생성 방법 및 시스템
WO2021221210A1 (ko) 스마트경로 생성방법 및 장치
WO2018143490A1 (ko) 웹 콘텐츠를 이용한 사용자 감성 예측 시스템 및 그 방법
Luo et al. Exploring large-scale video news via interactive visualization
JP2007328713A (ja) 関連語表示装置、検索装置、その方法及びプログラム
WO2012046904A1 (ko) 다중 자원 기반 검색정보 제공 장치 및 방법
CN110008314B (zh) 一种意图解析方法及装置
WO2017179778A1 (ko) 빅데이터를 이용한 검색 방법 및 장치
KR20160060803A (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
WO2016072772A1 (ko) 레퍼런스 의미 지도를 이용한 데이터 시각화 방법 및 시스템
CN108628911A (zh) 针对用户输入的表情预测

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20932893

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12/04/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20932893

Country of ref document: EP

Kind code of ref document: A1