集群
-
Facebook的Hadoop和AvatarNode集群方案简介
Facebook作为全球知名的社交网站，拥有超过3亿的活跃用户，其中约有3千万用户至少每天更新一次自己的状态;用户每月总共上传10亿余张照片、1千万个视频;以及每周共享10亿条内容，包括日志、链接、新闻、微博等。因此Faceboo
日期 2024-09-13 阅 5 集群 方案 简介 -
简单总结Hadoop和Spark集群技术的不同点
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apac
日期 2024-09-11 阅 4 不同点 集群 简单 -
简单总结Hadoop和Spark集群技术的不同点
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apac
日期 2024-09-10 阅 5 不同点 集群 简单 -
浅析新浪微博的集群技术利用及网站业务架构
据了解，随着用户数量的不断扩增，在高峰期，新浪微博的服务器每秒要接受100万以上的响应请求，压力可谓空前。童剑表示，面对如此高的并发访问量，新浪在技术上所遇到的挑战也相当大。比如整体的技术平台如何做性能扩展?局部技术
日期 2024-09-07 阅 4 集群 新浪 架构 -
集群技术在七牛云存储中的应用案例分享
分享人介绍：王团结，七牛数据平台工程师，主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注Hadoop、Flume、Kafka、Spark等离线、分布式计算技术。下为讨论实录数据平台在大部分公司属于支撑性平台，做的
日期 2024-09-05 阅 5 集群 案例 技术 -
剖析Spark集群技术在美团网站的实战运用
前言美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处
日期 2024-09-03 阅 4 集群 实战 技术 -
总结Hadoop集群技术近年来对大数据处理的推动
1. 引子什么是大数据？麦肯锡公司的报告《大数据：创新、竞争和生产力的下一个前沿领域》中给出的大数据定义是：大数据指的是规模超过现有数据库工具获取、存储、管理和分析能力的数据集，并同时强调并不是超过某个特定数量
日期 2024-09-02 阅 6 数据处理 集群 技术 -
简介Hadoop集群技术在优酷土豆的应用
为了更好的实现个性化视频推荐，2009年，优酷土豆开始使用Hadoop大数据平台来进行数据的分析及挖掘。起初整个平台平台只有十多个节点，而到2012年集群节点已经达到150个，2013年更是达到了300个。但是随着数据量的急剧增加以
日期 2024-08-28 阅 4 集群 土豆 简介 -
剖析阿里巴巴的云梯YARN集群技术使用
阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯集群，分为存储与计算两个模块，计算模块既有MRv1，也有YARN集群，它们共享一个存储HDFS集 群。云梯YARN集群上既支持Ma
日期 2024-08-28 阅 9 云梯 阿里巴巴 集群 -
全面剖析eBay的Hadoop集群应用及大数据管理
eBay, 全球最大的在线交易平台，由程序员Pierre Omidyar于1995年劳动节周末在美国创立，起初叫AuctionWeb，于1997年7月正式改名为eBay，今年九月将迎来其20周年纪念。eBay第一笔交易是一只破损的激光笔，成交价14.83美元，Pierre
日期 2024-08-27 阅 6 数据管理 集群 eBay -
简要了解Hadoop集群技术与Spark集群技术的对比
Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析。Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，
日期 2024-08-24 阅 4 集群 技术 简要