软件可以识别家庭视频中最精彩的部分,并删除无聊的部分

软件可以识别家庭视频中最精彩的部分,并删除无聊的部分

无论如何,谁愿意看到你的孩子玩 iPad 的整整两分钟?计算机科学博士生赵斌声称他甚至从未看过自己的录像。“我的手机上有很多视频,但现实情况是,我几乎从未回头看过这些视频,”他告诉《大众科学》 。“主要原因是视频本身可能长达五到十分钟。”

赵和他的导师、卡内基梅隆大学的 Eric P. Xing 想出了一个有趣的解决方案。他们创建了一种算法,可以识别视频中无聊的部分并将其剪辑掉。最终产品就像是一个小小的精彩片段。用户甚至可以指定他们想要的片段长度——比如 30 秒。更容易理解。“我们的动机是人们不想看原始视频,”赵说。

赵和星并不是第一批尝试自动识别视频中有趣或重要部分的计算机科学家。许多研究人员和公司正在努力开发软件,以便在监控视频中发现正在发生的异常活动。至少有一家公司表示,它出售一种可以做到这一点的系统,但研究仍在进行中。一个重要场景识别程序也可能是社交媒体公司的福音:想象一下,能够制作精简、简洁的视频与你的互联网朋友分享。

“我们的动机是人们不想看原始视频。”

新算法的工作原理是创建一个“字典”来解释它在处理视频时看到的内容。然后,它会时不时地问自己:“我能用我的字典解释现在发生的事情吗?”如果答案是否定的,这表明视频中正在发生一些新的、令人兴奋的事情,所以算法会记录下来。算法不需要看完整个视频就可以开始整理精彩片段。这与赵和星使用的编码技术一起,有助于算法更快地运行。

赵立坚表示,他的新算法速度异常快,在选择摘录场景方面与人类相似。它可以在一到两个小时内处理一段一小时的视频,而科学文献中发表的类似算法则需要 10 到 20 个小时。为了测试算法是否像人一样选择“有趣”的场景,赵立坚和杏要求三个人观看视频,并从视频中选择要突出显示的片段。然后,计算机科学家检查了人类和算法的选择有多接近。在 20 个个人视频中,有 18 个视频的赵立坚和杏的算法做出了比他们测试的其他三个竞争算法更像人类的选择。两人还检查了五个安全类型的视频,例如人们进入地铁站等场景。他们发现他们的算法和另一个算法的表现优于其他算法。赵立坚本周将在电气和电子工程师协会主办的一次会议上展示他们的研究结果。

赵先生现在计划创办一家名为 PanOptus 的初创公司,将他的软件商业化。PanOptus 的 iPhone 应用程序和 API 正在开发中。

看一下 Xing 儿子的视频中算法的具体工作原理:

<<:  哈雷戴维森推出了一款真正的 LiveWire,也被称为其首款电动摩托车

>>:  为什么最高法院认为流媒体就是有线电视

推荐阅读

我们是否应该担心 SpaceX 为载有宇航员的猎鹰 9 号提供燃料的计划?

9 月 1 日,SpaceX 的猎鹰 9 号火箭在加油进行试射时发生爆炸,发射台、火箭及其有效载荷...

在冰冻的池塘上玩耍之前你需要知道的一切

这个故事最初刊登在《户外生活》杂志上。掉入薄冰是冬季的一大危险,每年都会夺去许多人的生命。在出发进行...

这只可爱的新生蟾蜍的骨头会发光

这是一只小小的橙色蟾蜍。没错,它确实叫蟾蜍——这是这种生物的实际科学术语。它身长不到一英寸,只生活在...

如何在 iPhone 上设置和使用 Apple Intelligence

在 iPhone 16 和 iOS 18 的发布会上,苹果大力宣传了其新的 Apple Intell...

《SHUFFLE!回忆》评论:重温情绪,发现新事物

洗牌!回忆 - 详细的评论和建议■ 公共媒体电视动画系列■ 原创媒体18+ 游戏■ 播出时间2007...

如何打造可穿戴步行办公桌

日复一日地坐在办公桌前会挤压您的脊柱,使肌肉退化,并且通常会对您的健康造成严重破坏。但是,站立式办公...

2021 年最具创新性的个人护理产品

我们充分利用居家时间的第二年已经推出了无数产品,承诺可以舒缓我们紧张的身心。但围绕这些领域的营销(化...

如何制造太阳显微镜

如今,我们把能让我们仔细观察微小物体的仪器视为理所当然。但在 18 世纪,显微镜是城里最热门的聚会小...

随着大众汽车上空乌云越来越浓,这家汽车巨头的下一步计划是什么?

对于陷入困境的汽车巨头大众来说,这是尤为戏剧性的一周,其中的阴谋和诡计几乎达到了尼克松式的规模。在大...

《黑塔利亚:美丽的世界》的魅力与评价:历史与幽默的融合

Hetalia The Beautiful World - 幽默与历史的融合,为世界增添色彩黑塔利亚...

柔道部物语 2:透彻分析续集的吸引力和演变

柔道俱乐部物语2全面点评与推荐■ 公共媒体卵子■ 原创媒体漫画■ 发布日期1991 年 6 月 25...

电动垃圾车是安静、清洁的垃圾收集巨头

人们很容易将电动汽车视为特斯拉或野马 Mach E 等小型、快速的汽车。但情况并非总是如此。新款福特...

维珍银河将古代骨骼送入太空

太空旅游已经变得如此普遍,以至于维珍银河于 9 月 8 日进行的第二次私人宇航员飞行并没有引起太大轰...

美国联邦贸易委员会起诉称,亚马逊欺骗数百万人续订 Prime 订阅

美国联邦贸易委员会 (FTC) 宣布了针对亚马逊的最新行动,这次行动是针对该公司涉嫌欺骗数百万消费者...

《神之力量 Wanda》的魅力与评价:不容错过的动漫体验

神之力量 Wanda - 儿童动画的魅力与深度《神之力量 Wanda》是一部电视动画,于 2016 ...