【Twitter架构】推特十亿ji事务处理架构转型记
在推特上，我们每天需要实时处理4000亿个事件，生成Pb 数据。其消费数据的事件源分布在各种平台和存储系统上，包括Hadoop、vertica、Manhattan分布式数据库、Kafka、twitter eventbus、GCS、bigquery和PubSub。为了在这些不同的数据源和平台上处理这些类型的数据，推特数据平台团队构建了内部工具，例如用于批处理的缩放、用于流处理的 Heron、用于批处理和实时处理，以及用于数据发现和消费的数据访问层。然而，随着数据的快速增长，大规模仍然挑战着工程师用来运行管道的数据基础...
