中國移動公司旗下擁有很多的子機構,基本可以按照省份劃分,而各省份旗下的充值機構也非常的多, 且充值過程中會涉及到中國移動信息系統內部各個子系統之間的接口調用, 接口故障監控也成為了重點監控的內容之一,為此建設一個能夠實時監控全國的充值情況的平臺, 掌控全網的實時充值, 減少充值統計時間，加快充值業務的效率，為公司以后的發展提供數據支撐。

2.1難點分析 l

移動公司旗下子充值機構眾多, 充值數據量大. l

數據實時性要求高

2.2可用技術選型l

實時流式計算框架 Storm l

實時流式計算框架 Spark Streaming l

實時流式計算框架 Flink

Storm、Spark streaming、Flink 都是開源的分布式系統，具有低延遲、可擴展和容錯性 諸多優點，允許你在運行數據流代碼時，將任務分配到一系列具有容錯能力的計算機上并行 運行,都提供了簡單的 API 來簡化底層實現的復雜程度。

Apache Storm

在 Storm 中，先要設計一個用于實時計算的圖狀結構，我們稱之為拓撲（topology）。這個 拓撲將會被提交給集群，由集群中的主控節點（master node）分發代碼，將任務分配給工 作節點（worker node）執行。一個拓撲中包括 spout 和 bolt 兩種角色，其中 spout 發送消息，負責將數據流以 tuple 元組的形式發送出去；而 bolt 則負責轉換這些數據流，在 bolt 中可以完成計算、過濾等操作，bolt 自身也可以隨機將數據發送給其他 bolt。由 spout 發射出的 tuple是不可變數組，對應著固定的鍵值對。

Apache Spark

Spark Streaming 是核心 Spark API 的一個擴展，它并不會像 Storm 那樣一次一個地處理數據 流，而是在處理前按時間間隔預先將其切分為一段一段的批處理作業。Spark 針對持續性數 據流的抽象稱為 DStream（DiscretizedStream），一個 DStream 是一個微批處理（micro-batching） 的 RDD（彈性分布式數據集）；而 RDD 則是一種分布式數據集，能夠以兩種方式并行運作， 分別是任意函數和滑動窗口數據的轉換。

Apache Flink

Flink 是一個針對流數據和批數據的分布式處理引擎。它主要是由 Java 代碼實現。對 Flink 而言，其所要處理的主要場景就是流數據，批數據只是流數據的一個極限特例而已。再換句 話說，Flink 會把所有任務當成流來處理，這也是其最大的特點。Flink 可以支持本地的快速 迭代，以及一些環形的迭代任務。并且 Flink 可以定制化內存管理。在這點，如果要對比 Flink 和 Spark 的話，Flink 并沒有將內存完全交給應用層。這也是為什么 Spark 相對于 Flink，更容易出現 OOM 的原因（out of memory）。就框架本身與應用場景來說，Flink 更相似與 Storm。