Alluxio

2024/4/12 0:53:01

如何借力Alluxio推动大数据产品性能提升与成本优化?

内容简介 随着数字化不断发展,各行各业数据呈现海量增长的趋势。存算分离将存储系统和计算框架拆分为独立的模块,Alluxio作为如今主流云数据编排软件之一,为计算型应用(如 Apache Spark、Presto)和存储系统&#xff0…

实录分享 | Alluxio 在网易大数据的应用与优化

欢迎来到【微直播间】,2min纵览大咖观点 本次分享主要包括四个方面: 背景介绍;对象存储场景优化;Impala 引擎适配;通用功能增强。 一、 背景介绍 网易有数大数据基础平台NDH:NDH 是网易对标 Cloudera C…

实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况

欢迎来到【微直播间】,2min纵览大咖观点 本次分享主要包括三个方面: Prometheus&Grafana简介环境搭建手动调优 一、 Prometheus&Grafana简介关于Prometheus: Prometheus 是一个开源的完整监控解决方案,其对传统监控系…

【送书活动】大模型赛道如何实现华丽的弯道超车

文章目录 导读模型训练01 具备对海量小文件的频繁数据访问的 I/O 效率02 提高 GPU 利用率,降低成本并提高投资回报率03 支持各种存储系统的原生接口04 支持单云、混合云和多云部署 Alluxio01 通过数据抽象化统一数据孤岛02 通过分布式缓存实现数据本地性03 优化整个…

超算互联网统一存储平台技术研究

大家好,我是来自山东省计算中心(国家超级计算济南中心)的王春晓,我从2022年开始参与超算互联网的项目,主要负责算网统一存储平台的研发,在存储基座方面也做了很多调研,最后选择了Alluxio平台&am…

突破大模型 | Alluxio助力AI大模型训练-成功案例(一)

更多详细内容可见《Alluxio助力AI大模型训练制胜宝典》 【案例一:知乎】多云缓存在知乎的探索:从UnionStore到Alluxio 作者:胡梦宇-知乎大数据基础架构开发工程师(内容转载自InfoQ) 一、背景 随着云原生技术的飞速发展&#xff…

实录分享 | Alluxio在AI/ML场景下的应用

欢迎来到【微直播间】,2min纵览大咖观点 本次分享主要包括五个方面: 关于Alluxio;盘点企业在尝试AI时面临的挑战;Alluxio在技术栈中的位置;Alluxio在模型训练&模型上线场景的应用;效果对比&#xff1…

实录分享 | Alluxio Operator一体化部署方案

今天给大家分享的内容是 Alluxio Operator的一体化部署方案。我会将内容分成 4 个部分来给大家讲解。 首先,介绍 Kubernetes 容器化部署和当前所面临的挑战。 然后,引入operator的概念,介绍当前业界关于Kubernetes 容器化部署问题的主流解决…