分布式系统
系统架构初探
架构这东西,对于我这种一直在单个服务器上写程序的小白来说一直觉得非常高大上,想要学习却又感觉触摸不到。最近听了一些讲座和师兄那里讲解才慢慢揭开了一些面纱。当然现在依然只是知道些皮毛,并没有什么实践基..
简书 01-17 22:29 稍后阅读
开发漫谈:Ceph开源项目究竟是个什么鬼?
软件定义存储在过去的一年几乎成为受接纳程度最高的一种技术实践,而云计算的火热更是为软件定义存储助力不少,很多云计算平台开始将自身的存储系统进行不同程度的升级与改进。
51CTO 01-17 14:42 稍后阅读
一个NFS缓存管理包的bug导致文件系统满的问题和解决方法
这几天安装CentOS 6的虚拟机总是提示文件系统满,一开始以为是最近oracle经常操作大数据量提交导致undo tbs无限扩大,后来发现原来是NFS缓存管理包cachefilesd的问题。分享一下:
苦瓜 01-16 17:03 稍后阅读
英特尔开源分布式深度学习库BigDL:支持高性能大数据分析
近日,英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL,其可以利用已有的 Spark 集群来运行深度学习计算,并且还能简化从 Hadoop 的大数据集的数据加载。
机器之心 01-16 14:54 稍后阅读
京东分布式服务跟踪系统-CallGraph
随着京东业务的高速增长,京东研发体系陆续实施了SOA化和微服务战略,以应对日益复杂的业务和急剧增加的应用种类。这些分布式应用彼此依赖,共同协作来完成所有京东的业务场景,其动态变化的复杂性和数量已超出想象..
51CTO 01-16 14:51 稍后阅读
分布式海量云存储平台的技术创新及应用
随着大数据、云计算、物联网等新技术的发展,电信、互联网、政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源。据思科VNI预测,全球数据量每年约30%的速度递增,2020年达到惊人的40ZB。
企业网 01-16 14:29 稍后阅读
Co-Work:基于HDFS的安全云存储数据一致性保持算法
针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化.
中国云计算 01-16 12:37 稍后阅读
【译】Apache Flink 容错机制
Apache Flink 提供了可以恢复数据流应用到一致状态的容错机制。确保在发生故障时,程序的每条记录只会作用于状态一次(exactly-once),当然也可以降级为至少一次(at-least-once)。
SegmentFault 01-16 11:06 稍后阅读
Ceph中国社区2016年终盛典圆满落幕
2016年12月11日,一个夹杂着些许雾霾的北京普通寒冬,万众期待的Ceph年终盛典如期,来自全国各地的Ceph拥趸者纷至踏来。经过这一年来的Ceph中国行城市布道巡演,越来越多的企业开始接触、了解并使用Ceph.
Ceph中国社区 01-16 10:19 稍后阅读
公告 | Ceph中国社区公众号正式变更,全新开始
今天正好北京的雾霾散去,空气瞬间变好,也赶上了Ceph中国社区公众号变更,我来讲述下Ceph中国社区的故事——一项开源技术和一群充满朝气的年轻人之间的故事。一个开源社区从建立到发展壮大,就像一个创业公司的奋..
Ceph中国社区 01-16 10:18 稍后阅读
SDS产品如此成功的原因何在?
软件定义存储仍处于发展的早期阶段。许多产品不能满足软件定义存储方法的目标,尽管它们仍然这仍然是有价值的进步;而且,随着软件供应商的扩展和互操作性变得更重要,它将产生更多未来的问题。
TT虚拟化 01-16 02:37 稍后阅读
Redis实现分布式锁
大家都知道Redis是NoSQL的一种,目前在互联网公司中在作为缓存广泛的使用者,其实利用Redis的setnx还可以快速实现一个分布式锁,公司的业务就需要使用分布式锁保证数据的唯一性,经检索在网上发现已经有活雷锋分享..
BridgeLi's Blog 01-15 20:05 稍后阅读
Spark Streaming 往 HDFS 追加 LZO 文件
要实现将数据从 Kafka 同步到 Hive 的功能,我们通过将数据直接写到 HDFS 路径来解决,由于担心小文件太多的(一个 batch 一个文件的话,可能造成小文件太多,对 HDFS 造成非常大的压力),所以我们通过追加的方式..
klion26 01-15 15:38 稍后阅读
使用分布式锁解决并发问题
多个线程对同一个资源的访问,有可能造成并发问题。所谓并发问题,就是数据的实际结果和顺序执行的结果不一致,造成这个问题的本质原因,是一个线程在访问过程中,被另一个线程插了一脚,导致数据的一致性被破坏。
简书 01-15 13:49 稍后阅读
搭建consul 集群
上图是官网提供的一个事例系统图,图中的Server是consul服务端高可用集群,Client是consul客户端。consul客户端不保存数据,客户端将接收到的请求转发给响应的Server端。Server之间通过局域网或广域网通信实现数据..
博客园_张善友 01-14 22:02 稍后阅读
分布式系统入门笔记(六):基于ZooKeeper的分布式系统的应用场景
至此,Paxos、Raft、ZAB代表着分布式系统中最常见的一致性协议都有所了解,但是除了PaxSql之外,对于分布式系统一致性原理的实际应用还处于一脸懵逼的状态中。此处于是主要借着《从Paxos到Zookeeper.
Nicol的博客铭 01-14 20:56 稍后阅读
分布式系统入门笔记(五):ZooKeeper之ZAB一致性协议
得益于Zookeeper在生产环境的广为使用,ZAB(ZooKeeper Atomic Broadcast,ZooKeeper原子消息广播协议)可算是最广泛应用的分布式一致性协议了,其是对Paxos算法进行了大量的改进后形成的分布式系统数据一致性协议.
Nicol的博客铭 01-13 22:25 稍后阅读
蚂蚁金服CTO程立:金融级分布式交易的技术路径
移动互联网、大数据与云计算作为新的基础设施,催生了新的互联网经济,正在推动各行各业的升级。伴随蚂蚁金服在新金融领域的探索,蚂蚁金服技术团队也在金融技术与架构领域不断开拓。从2005 年每秒处理1笔交易到201..
极客头条 01-13 13:41 稍后阅读
Apache Beam:下一代的数据处理标准
Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的孵化项目,被认为是继MapReduce、GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一贡献。Apache Beam的主要目标是统一..
CSDN 01-13 13:26 稍后阅读
美团Apache Kylin精确去重指标优化历程
某业务方的cube有12个维度,35个指标,其中13个是精确去重指标,并且有一半以上的精确去重指标单天基数在千万级别,cube单天数据量1.5亿行左右。业务方一个结果仅有21行的精确去重查询竟然耗时12秒多,其中HBase端..
中国统计网 01-13 12:41 稍后阅读
【双11技术揭秘】万亿级数据洪峰下的分布式消息引擎
通过简单回顾阿里中间件(Aliware)消息引擎的发展史,本文开篇于双11消息引擎面临的低延迟挑战,通过经典的应用场景阐述可能会面临的问题 - 响应慢,雪崩,用户体验差,继而交易下跌。为了应对这些不可控的洪峰数据.
极客头条 01-13 12:26 稍后阅读
程式設計週記[2017/01/13]: 他人看來的成功或失敗都是一時的,只要不認輸都不是失敗
真是一個瘋狂的禮拜,每天都是滿滿的會議.見識了很多特別的人,也了解了許多商場上的策略.很開心能有這樣的機會了解與參與公司在擴張與尋找合作夥伴的機會.
evanlin 01-13 08:00 稍后阅读
Mesos架构与去哪儿的统一框架
在官方文档中,Mesos 定义成一个 分布式系统内核 。它使用和 Linux 内核相同的设计原则,只是设计在不同的抽象层级上。它运行在一个机房的所有服务器上并且通过 API 的形式给应用(比如 Hadoop,Spark,Kafka,Elas..
火龙果软件工程 01-13 07:26 稍后阅读
HDFS的客户端操作
-help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir
Simple is Beautiful 01-12 17:31 稍后阅读
'sortbitwise'是什么意思
After upgrading, users should set the ‘sortbitwise’ flag to enable the new internal object sort order: ceph osd set sortbitwise
zphj1987'Blog 01-12 12:39 稍后阅读
分布式队列神器 Celery
Celery 是一个由 Python 编写的简单、灵活、可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。
Python-伯乐在线 01-12 11:19 稍后阅读
Apache Beam成为Apache顶级项目
Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一个非常大的贡献.
公众账号 01-12 09:54 稍后阅读
分布式实时处理系统架构设计与机器学习实践
编者按:在2017年的1月11日,CSDN高级架构师金牌授课群为群友们带来了第一次的分享,讲师和主题参见这里,本文为课程后续的文字整理,第一时间发出来分享给读者,课件下载点击这里。
极客头条 01-12 09:11 稍后阅读
Ceph对象存储真的适合虚拟环境吗?
对象存储正在更改数据中心。 商业存储产品为昂贵的专有SAN存储器提供了一个性能良好的替代产品。 本文中,你将了解更多关于对象存储的知识——关于不同的对象存储产品,例如Ceph对象存储,以及它是否可以在你的环境..
TT虚拟化 01-12 02:13 稍后阅读
容器持久化存储实战:使用Marathon本地卷创建有状态应用
Marathon是Mesos的一款核心框架,能够支持运行长服务。Marathon在版本1.0之后增加了持久化存储功能,本文教你快速上手使用Marathon本地持久化卷创建有状态应用。
极客头条 01-11 15:26 稍后阅读
已添加到稍后阅读