超過500人的團(tuán)隊(duì)，集中在一個大會議室里，1000多只眼睛緊緊地盯著每一塊屏幕，準(zhǔn)備迎接馬上要到來的這一年一度的“過山車”。
雙十一過去之后，當(dāng)大家都在忙著收快遞的時候，黃立龍卻還在忙著對這次雙十一的技術(shù)保障進(jìn)行復(fù)盤。
這是黃立龍在蘇寧參與保障的第8個雙十一，在回憶這次技術(shù)保障的時候他說，每一次雙十一都是全新的，去年已經(jīng)發(fā)生過的問題在今年不會再次出現(xiàn)。
在復(fù)盤的時候，黃立龍很興奮的展示了當(dāng)天的戰(zhàn)績：監(jiān)控研發(fā)中心所有核心監(jiān)控系統(tǒng)無降級、無限流、零事故，0點(diǎn)時刻服務(wù)器收到的請求峰值達(dá)到50萬次/秒；安全研發(fā)中心應(yīng)用防火墻產(chǎn)品線處理請求超過130億次，攔截攻擊超過4億次；人機(jī)識別服務(wù)有效攔截惡意刷單超過450萬次，攔截機(jī)器領(lǐng)券超過70萬次，有效阻止了黃牛作弊、薅羊毛、撞庫、垃圾注冊等行為；風(fēng)控撞庫服務(wù)攔截超過20萬次撞庫行為，阻止了超過1萬個正常賬號被盜……
今年是雙十一十周年，作為中國最大的購物狂歡節(jié)，其參與人群已經(jīng)不僅僅限于國內(nèi)，海外的消費(fèi)者、品牌商也都逐漸的加入到了這次狂歡當(dāng)中，畢竟“打折”這個詞是沒有國界的。而黃立龍們帶著蘇寧的技術(shù)要迎接的就是來自全球的2億消費(fèi)者。
倒計時1個月
為了保障各個團(tuán)隊(duì)之間的協(xié)同穩(wěn)定，蘇寧內(nèi)部技術(shù)團(tuán)隊(duì)每年雙十一都會提前一個月組建臨時的保障團(tuán)隊(duì)，從豆芽（蘇寧內(nèi)部自研社交軟件）群的名字就能看出來：XX公司/中心2018雙十一保障群、大促保障監(jiān)控群、大促保障專家群，疑難問題層層上報，三道關(guān)卡建立起了蘇寧雙十一技術(shù)保障的三道壁壘。
為了迎接這次全球范圍內(nèi)的購物狂歡，黃立龍和同事們早在一個月前就開始準(zhǔn)備。
像黃立龍所在的數(shù)據(jù)云公司一樣，負(fù)責(zé)各個板塊的業(yè)務(wù)中心拿到今年的流量預(yù)估數(shù)據(jù)后要從蘇寧自研的超過4000個系統(tǒng)中找出最核心的188個系統(tǒng)在凌晨不影響用戶體驗(yàn)的情況下進(jìn)行六輪混合場景壓測，發(fā)現(xiàn)問題，進(jìn)行優(yōu)化。
作為蘇寧的團(tuán)隊(duì)進(jìn)行六輪混合場景壓測的主要發(fā)生平臺，蘇寧自主研發(fā)的綜合測試服務(wù)平臺蛙測平臺能夠針對移動端和PC端瀏覽器進(jìn)行兼容性測試，能夠?yàn)閼?yīng)用研發(fā)過程中面臨的成本、技術(shù)和效率問題提供解決方案，為業(yè)務(wù)的快速迭代提供支撐。今年的壓測平臺在雙十一的發(fā)壓能力相對于818提升了10倍，平臺表現(xiàn)穩(wěn)定。
第一步，走穩(wěn)了。
與其他電商不同的是，11日前幾天的蘇寧幾次大促力度毫不亞于雙十一，而這些活動就成為了蘇寧雙十一技術(shù)保障團(tuán)隊(duì)的練兵場。
10月31日，各中心的技術(shù)保障團(tuán)隊(duì)首次集中在作戰(zhàn)指揮中心，開始了第一次集中監(jiān)控，臨近雙十一的流量和雙十一的真實(shí)流量情況更接近，更能幫助發(fā)現(xiàn)系統(tǒng)存在的問題，那一晚，黃立龍和同事們開始了第一個不眠夜。
結(jié)束后，7天的分散監(jiān)控讓黃立龍們有時間總結(jié)這次的問題，并制定相應(yīng)的解決方案，系統(tǒng)擴(kuò)容，非核心系統(tǒng)降級……7天后，11月8日，第二次預(yù)熱大促，已經(jīng)升級的保障措施再次接受考驗(yàn)。這次沒有也不能再出現(xiàn)大問題，畢竟兩天后就是真正的大考。
倒計時1天
11月10日早上8點(diǎn)，黃立龍和同事們穿著紅色的戰(zhàn)袍進(jìn)入到了蘇寧雙十一技術(shù)后臺保障作戰(zhàn)指揮中心。從進(jìn)入會議室一直到雙十一“最危險”的時刻過去，除了上廁所，他們會一直待在這間會議室里面。
這件能夠容納500人的會議室每次大促都會變身為作戰(zhàn)指揮中心，會議室的入口處上方掛著大大的“戰(zhàn)”字旗，前排會議桌上面貼滿了“贏戰(zhàn)雙十一購物節(jié)”、“上網(wǎng)上街上蘇寧”等標(biāo)語，大屏幕已經(jīng)準(zhǔn)備就緒，各項(xiàng)監(jiān)控數(shù)據(jù)已經(jīng)完成投屏。系統(tǒng)后臺已經(jīng)配置好的資源、制定好的解決方案全部鎖定不允許再做任何更改。緊張的氣氛彌漫整個會場。
黃立龍在回憶的時候說：雙十一對我們來說是一次技術(shù)大考，又緊張又興奮，畢竟一年只有一次，我們做了充足的準(zhǔn)備。
除了這些程序員，在蘇寧，超過4000個自研系統(tǒng)也已準(zhǔn)備好為用戶的消費(fèi)保駕護(hù)航，基礎(chǔ)設(shè)施技術(shù)方面巡檢視圖技術(shù)、流量分析技術(shù)、同城與異地多活等技術(shù)保證系統(tǒng)更穩(wěn)定，大數(shù)據(jù)平臺的百川、天工、縱橫、SSA等運(yùn)營工具實(shí)現(xiàn)想用戶所想，一鍵付、智能風(fēng)控、支付決策機(jī)器人等智能化的支付產(chǎn)品，讓用戶的錢包能夠在系統(tǒng)最忙碌的時候依然安全，智能路由時效、智能倉庫包裝、智慧零售倉等物流智能化產(chǎn)品則已經(jīng)鉚足了勁，只等消費(fèi)者的訂單一到，就帶著貨物以百米沖刺的速度奔向消費(fèi)者。
蘇寧的團(tuán)隊(duì)蓄勢待發(fā)。
倒計時1小時
10日晚上8點(diǎn)到11點(diǎn)，蘇寧的線上購物流量會慢慢上升，像是暴風(fēng)雨來臨前的黑夜在積聚力量，等待著某一瞬的爆發(fā)。
叮當(dāng)！桌面上的幾部手機(jī)同時亮起。豆芽群發(fā)了通知：“雙十一倒計時一小時，請大家做好準(zhǔn)備?！贝藭r的會場，所有人的注意力都放在了屏幕上，會員、商品、物流、訂單量各個板塊各項(xiàng)指標(biāo)穩(wěn)定。
作為作戰(zhàn)指揮中心的數(shù)據(jù)云公司的總指揮助手，黃立龍的感覺比其他人都要強(qiáng)烈。他的注意力不僅要放在自己眼前的屏幕上，更要協(xié)助總指揮協(xié)調(diào)現(xiàn)場的資源，會場各個板塊的整體狀況他都要有所知曉。
叮當(dāng)！“雙十一倒計時十五分鐘，請大家做好準(zhǔn)備?！弊詈笠淮瓮ㄖl(fā)出來了，但是很少再有人去看豆芽群，會場也只能再聽到敲鍵盤的聲音，所有的注意力都已經(jīng)被屏幕上逐漸增高的數(shù)據(jù)和上升的曲線奪走。
先于黃立龍們一步，蘇寧的系統(tǒng)后臺已經(jīng)感受到了暴風(fēng)雨前的小雨滴。商品詳情頁、購物車等后臺系統(tǒng)的曲線開始出現(xiàn)波動。
這個時候黃立龍的心跳已經(jīng)開始加速，所有的準(zhǔn)備已經(jīng)就緒，等待著流量涌入，系統(tǒng)響應(yīng)，等待雙十一的到來。
雙十一來了
4秒破億，50秒破十億。隨著表盤中的數(shù)字從23:59:59跳到了00:00:00，大屏幕上的核心端口訪問量曲線像過山車一樣瞬間飆升，會員、商品、流量、訂單、物流等各個業(yè)務(wù)板塊的監(jiān)控數(shù)字也開始飛速跳動。黃立龍的眼睛盯著屏幕觀察著各個指標(biāo)，不敢有絲毫恍惚。
而此時在屏幕上的曲線之外，蘇寧的技術(shù)也開始迅速響應(yīng)。蘇寧智能客服小Biu智能助手解決的用戶咨詢量迅速增加，千變banner依然在按照用戶的喜好和產(chǎn)品的特點(diǎn)一鍵生成著海報，物流倉庫的AGV機(jī)器人也已經(jīng)收到了這一晚的第一單，開始飛速運(yùn)轉(zhuǎn)，準(zhǔn)備投遞。
黃立龍說，這是最緊張的時刻，過了0點(diǎn)，服務(wù)器訪問量瞬間上升，和上一秒的訂單量形成巨大的反差，他的心跟著屏幕上躍升的曲線提到了嗓子眼。這樣的“過山車”是最考驗(yàn)服務(wù)器的承載能力的，如果沒能承受住，用戶端就會出現(xiàn)異常，大量的用戶就會在修復(fù)BUG的那一點(diǎn)點(diǎn)時間迅速流失掉。
雙十一的首個流量頂峰會在零點(diǎn)后的前半個小時，扛過去了，就開啟了這一天的良好開端。不僅對于黃立龍，對于整個蘇寧來說，這半個小時都尤其緊張，超過4000個自主研發(fā)系統(tǒng)，十萬多種服務(wù)，領(lǐng)先行業(yè)所建設(shè)的交易、數(shù)據(jù)、AI三大中臺，到底是硬實(shí)力還是噱頭，半個小時內(nèi)見分曉。
慢慢的，各個系統(tǒng)平臺的訪問量開始漸趨平穩(wěn)，響應(yīng)時間一直在高速范圍內(nèi)，錯誤率維持在最低水平。
過了首個頂峰，流量曲線開始出現(xiàn)上下波動，雖然之后還會有數(shù)次高峰，甚至超過第一次峰值，但是“過山車”不會再有了，雙十一技術(shù)保障基本可以定下心來。
從早上8點(diǎn)到凌晨3點(diǎn)，黃立龍的神經(jīng)已經(jīng)緊繃了19個小時。這個時間不算長。前期的準(zhǔn)備沒有白做，剩下的事情只需要讓系統(tǒng)自動運(yùn)行，監(jiān)控交給各中心的同事輪流來做就好。
這個時候，智能客服還在解答消費(fèi)者的疑問，千變banner已經(jīng)生成了無數(shù)張海報，AGV機(jī)器人也已經(jīng)打包好了幾十萬個包裹，超過20萬個包裹已經(jīng)在凌晨一點(diǎn)前送到了消費(fèi)者手中……
“雖然我們的技術(shù)在不斷增強(qiáng)，但是每一次雙十一都是一次全新的雙十一，你不知道下一次會出現(xiàn)什么樣的問題，用戶在變化，我們也不能松懈。在用戶體驗(yàn)這件事上不能有絲毫馬虎”，黃立龍表示。
28年來一直處于零售消費(fèi)領(lǐng)域前沿的蘇寧打造出了全渠道、全場景、多業(yè)態(tài)的智慧零售生態(tài)圈，將其智慧零售的核心能力在今年雙十一上全面釋放。
像黃立龍這樣的蘇寧上萬名程序員，在全球5個研發(fā)基地、10大核心數(shù)據(jù)中心、超過4000個系統(tǒng)的技術(shù)保駕護(hù)航下，截至2018年11月11日23點(diǎn)59分，雙十一全民嘉年華期間，蘇寧易購全渠道銷售實(shí)現(xiàn)了同比132%的增長。
