数据库全量SQL分析与审计系统性能优化之旅

2022-06-10
阅读 5 分钟
28.4k
全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在...
封面图

Android对so体积优化的探索与实践

2022-06-06
阅读 15 分钟
4.8k
减小应用安装包的体积,对提升用户体验和下载转化率都大有益处。本文将结合美团平台的实践经验,分享 so 体积优化的思路、收益,以及工程实践中的注意事项。
封面图

如何应对开源组件⻛险?软件成分安全分析(SCA)能力的建设与演进

2022-05-30
阅读 16 分钟
3.1k
随着 DevSecOps 概念的推广,以及云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近几年非常热的词汇。目前,在系统研发的过程中,开源组件引入的比例越来越高,所以在开源软件治理层面安全部门需要投入更多的精力。但由于早期技术债的问题,很多企业内部在整个研发流程中对使用了哪些开源组件、这些开...
封面图

对话摘要技术在美团的探索(SIGIR)

2022-05-30
阅读 20 分钟
5.3k
随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,而文本摘要就是其中一个重要的手段。本文首先介绍了经典的文本摘要方法,包括抽取式摘要方法和生成式摘要方法,随后分析了对话摘要的模型,并分享了美团在真实对话摘要场景中面临的挑战。希望能给从事相关工作...
封面图

图神经网络训练框架的实践和探索

2022-05-20
阅读 10 分钟
5k
美团搜索与NLP团队在图神经网络的长期落地实践中,基于业务实际场景,自主设计研发了图神经网络框架Tulong,以及配套的图学习平台,提升了模型的规模和迭代效率。本文介绍了模型归纳抽象、基本框架、性能优化,以及上层工具等方面的思考和关键设计,希望为从事相关工作的同学带来启发或者帮助。
封面图

CompletableFuture原理与实践-外卖商家端API的异步化

2022-05-17
阅读 26 分钟
2.9k
CompletableFuture由Java 8提供,是实现异步化的工具类,上手难度较低,且功能强大,支持通过函数式编程的方式对各类操作进行组合编排。相比于ListenableFuture,CompletableFuture有效提升了代码的可读性,解决了“回调地狱”的问题。本文主要讲述CompletableFuture的原理与实践,同时结合了美团外卖商家端API的异步化实...
封面图

业务数据治理体系化思考与实践

2022-05-17
阅读 13 分钟
4.4k
美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给...
封面图

数据库异常智能分析与诊断

2022-05-10
阅读 8 分钟
4.3k
DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演...
封面图

标准化思想及组装式架构在后端BFF中的实践

2022-04-29
阅读 12 分钟
6.4k
在本地生活服务领域,面向C端的信息展示类功能存在着类生物系统的复杂性,具体体现在以下三个方面:功能多,为了帮助用户高效找店、找服务,信息会在尽可能多的地方展示;差异大,同样的信息,在不同客户端、不同页面及模块下的展示逻辑会存在一些差异;功能易变,产品逻辑经常调整。以上三个方面的特点给研发同学带来了...
封面图

美团外卖广告智能算力的探索与实践(二)

2022-04-29
阅读 12 分钟
5.6k
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题。智能算力旨在对流量算力进行精细化和个性化分配,从而实现系统算力约束下的业务收益最大化。本文主要介绍了美团外卖广告智能算力从线性规划算法到进化算法的技术演进过程,给出了一种基于进化算法的多动作算力分...
封面图

基于代价的慢查询优化建议

2022-04-26
阅读 13 分钟
2.4k
对于数据库来说,慢查询往往意味着风险。SQL执行得越慢,消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障,关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询,并给出索引建议,评估跟踪建议质量,运营治理慢查询。
封面图

Linux下跨语言调用C++实践

2022-04-26
阅读 17 分钟
30.1k
不同的开发语言适合不同的领域,例如Python适合做数据分析,C++适合做系统的底层开发,假如它们需要用到相同功能的基础组件,组件使用多种语言分别开发的话,不仅增加了开发和维护成本,而且不能确保多种语言间在处理效果上是一致的。本文讲述在Linux系统下跨语言调用的实践总结,即开发一次C++语言的组件,其他语言通过...
封面图

知识图谱可视化技术在美团的实践与探索

2022-04-22
阅读 11 分钟
4.5k
知识图谱可视化可以更直观地查看和分析知识图谱的数据。本文主要介绍了美团平台在布局策略、视觉降噪、交互功能、可视化叙事、3D图谱可视化等方面的一些实践和探索,同时沉淀出了uni-graph图可视化解决方案,并支持了美团的很多业务场景,包括美团大脑、图数据库、智能IT运维、组件依赖分析、行业领域图谱等。希望能对从...
封面图

短视频内容理解与生成技术在美团的创新实践

2022-04-22
阅读 9 分钟
4.8k
针对视频数据,如何通过计算机视觉技术用相关数据,为用户和商家提供更好的服务,是一项重要的研发课题。本文将为大家分享短视频内容理解与生成技术在美团业务场景的落地实践。
封面图

TensorFlow在美团外卖推荐场景的GPU训练优化实践

2022-03-25
阅读 19 分钟
11.2k
美团机器学习平台基于内部深度定制的TensorFlow研发了Booster GPU训练架构。该架构在整体设计上充分考虑了算法、架构、新硬件的特性,从数据、计算、通信等多个角度进行了深度的优化,最终其性价比达到CPU任务的2~4倍。本文主要讲述Booster架构的设计实现、性能优化及业务落地工作,希望能对从事相关开发的同学有所帮助...
封面图

NeurIPS 2021 | Twins:重新思考高效的视觉注意力模型设计

2022-03-25
阅读 9 分钟
8.6k
Twins 是美团和阿德莱德大学合作提出的视觉注意力模型,相关论文已被 NeurIPS 2021 会议接收。本文主要讲述 Twins 解决的难点、设计和实现思路,以及在美团场景的探索落地,希望能对从事视觉算法研发的同学有所帮助和启发。
封面图

Java系列 | 远程热部署在美团的落地实践

2022-03-21
阅读 10 分钟
4.8k
Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下Spring源码、Spring MVC 源码 、Spring Boot源码 、Agent字节码增强、Javassist、Classloader等相关知识。
封面图

美团内部讲座 | 清华大学崔鹏:因果推断技术最新的发展趋势

2022-03-21
阅读 7 分钟
7.7k
随着人工智能的不断发展,安全及合规问题变得越来越重要。当前机器学习比较大的一个局限性在于其学习模型都是基于关联框架,这种框架存在样本选择偏差的问题,且其稳定性也较差。而因果推理模型的出现,给机器学习打开了一个新的思路。美团技术团队特别邀请到清华大学计算机学院长聘副教授崔鹏老师,请他为美团技术团队...
封面图

设计模式二三事

2022-03-14
阅读 19 分钟
2k
设计模式是众多软件开发人员经过长时间的试错和应用总结出来的,解决特定问题的一系列方案。现行的部分教材在介绍设计模式时,有些会因为案例脱离实际应用场景而令人费解,有些又会因为场景简单而显得有些小题大做。本文会结合在美团金融服务平台设计开发时的经验,结合实际的案例,并采用“师生对话”这种相对诙谐的形式...
封面图

异构广告混排在美团到店业务的探索与实践

2022-03-14
阅读 8 分钟
3.8k
在LBS(Location Based Services, 基于位置的服务)距离约束下,候选较少制约了整个到店广告排序系统的潜力空间。本文介绍了我们从候选类型角度进行候选扩展,通过高性能的异构混排网络来应对性能的挑战,从而提升了本地生活场景排序系统的潜能上限。希望能给从事相关方向的同学以启发。
封面图

GPU在外卖场景精排模型预估中的应用实践

2022-03-04
阅读 10 分钟
2.7k
GPU等专用芯片以较低的成本提供海量算力,已经成为机器学习领域的核心利器,在人工智能时代发挥着越来越重要的作用。如何利用GPU这一利器赋能业务场景,是很多技术研发者都要面临的问题。本文分享了美团外卖搜索/推荐业务中模型预估的GPU架构设计及落地的过程,希望能对从事相关应用研发的同学有所帮助或启发。
封面图

广告平台化的探索与实践 | 美团外卖广告工程实践专题连载

2022-03-04
阅读 16 分钟
3.4k
随着美团外卖业务不断发展,外卖广告引擎团队在多个领域进行了工程上的探索和实践,目前已经取得了一些成果。我们计划通过连载的形式分享给大家,本文是《美团外卖广告工程实践》专题连载的第一篇。本文针对业务提效的目标,介绍了美团外卖广告引擎在平台化过程中的一些思考和实践。
封面图

数据治理一体化实践之体系化建模

2022-03-02
阅读 8 分钟
2.2k
数字经济的快速发展,给企业的经营带来了新的机遇和挑战,如何有效开展数据治理,打破数据孤岛,充分发挥数据的业务价值,保护数据安全,已成为业界的热门话题。本文基于美团配送数据治理的历程,分享了数据定义、模型设计、数据生产三环节统一的配送数据“底座”的建设与实践。
封面图

美团搜索中查询改写技术的探索与实践

2022-02-22
阅读 20 分钟
6k
查询改写是对用户Query拓展改写词,用更好的表述,帮用户召回更多符合需求的结果。查询改写对于文本布尔检索系统是非常重要的扩召回手段,通过优化该算法模块能够直接且显著地提升搜索体验。本文主要讲述在美团的搜索场景下查询改写项目的迭代方向和实现思路,希望能对从事搜索、广告、推荐中召回相关工作的同学有所启发...
封面图

美团集群调度系统的云原生实践

2022-02-21
阅读 8 分钟
4.2k
本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践,阐述了美团在落地以Kubernetes为代表的云原生技术时,比较关心的问题、挑战以及对应的推进策略。同时本文也介绍了针对美团业务需求场景做的一些特色支持,希望本文能够对云原生领域感兴趣的同学有所帮助或者启发。
封面图

美团技术年货:1200+页电子书,覆盖前后端、算法、数据、安全、测试、顶会论文

2022-01-21
阅读 2 分钟
2.6k
在2022年春节到来之际,我们精选过去一年公众号50多篇技术文章以及20多篇国际顶会论文,整理制作成一本厚达1200多页的电子书,作为新年礼物赠送给大家。这本电子书内容覆盖前端、后端、算法、数据、安全、测试等多个领域,希望能对同学们的工作和学习有所帮助。
封面图

从0到1:美团端侧CDN容灾解决方案

2022-01-14
阅读 8 分钟
5.9k
CDN已经成为互联网重要的基建之一,越来越多的网络服务离不开CDN,它的稳定性也直接影响到业务的可用性。CDN的容灾一直由美团的SRE团队在负责,在端侧鲜有方案和实践。本文结合美团外卖业务中的具体实践,介绍了一种在端侧感知CDN可用性状况并进行自动容灾切换的方案,通过该方案可有效降低业务对CDN异常的敏感,提高业...
封面图

DSTC10开放领域对话评估比赛冠军方法总结

2022-01-14
阅读 10 分钟
5.1k
本文介绍了国际竞赛DSTC10开放领域对话评估赛道的冠军方法MME-CRS,该方法设计了多种评估指标,并利用相关性重归一化算法来集成不同指标的打分,为对话评估领域设计更有效的评估指标提供了参考。相关方法已同步发表在AAAI 2022 Workshop上。希望能给从事该技术领域工作的同学一些启发或帮助。
封面图

7次KDD Cup&Kaggle冠军的经验分享:从多领域优化到AutoML框架

2022-01-07
阅读 18 分钟
4.3k
反馈快速,竞争激烈的算法比赛是算法从业者提升技术水平的重要方式,从若干行业核心问题抽象出的算法比赛具有很强的实际意义。本文结合笔者在7次Kaggle/KDD Cup中的冠军经验,对于多领域建模优化,AutoML技术框架,以及面对新问题如何分析建模三个方面进行了介绍。希望能够让读者收获比赛中的通用高效建模方法与问题理解...
封面图

2021年美团技术团队最受欢迎的22篇技术文章

2022-01-05
阅读 6 分钟
6.3k
「美团技术团队」微信公众号祝大家新年快乐!温故而知新,我们根据文章的「阅读量」和「在看」数,以及所覆盖的技术领域,精选了22篇技术文章作为新年礼物送给大家。希望在2022年,继续陪大家一起,静心苦练,砥砺向前。
封面图