數(shù)據(jù)庫是數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施，是IT產(chǎn)業(yè)基礎(chǔ)軟件三駕馬車之一。當(dāng)今世界，數(shù)字化建設(shè)與數(shù)據(jù)智能發(fā)展如火如荼，數(shù)據(jù)庫的穩(wěn)定與高效是保障高科技產(chǎn)業(yè)順利發(fā)展的重要因素，數(shù)據(jù)庫相關(guān)技術(shù)也成為新時代背景下大國之間競爭的制高點(diǎn)。目前，數(shù)據(jù)庫管理系統(tǒng)是美國對華禁運(yùn)的35項(xiàng)“卡脖子”技術(shù)之一，而保障數(shù)據(jù)庫穩(wěn)定運(yùn)行的智能運(yùn)維技術(shù)是數(shù)據(jù)庫技術(shù)皇冠上的明珠。傳統(tǒng)人工運(yùn)維方式已經(jīng)越來越難以維護(hù)功能復(fù)雜的數(shù)據(jù)庫系統(tǒng)在龐大業(yè)務(wù)與復(fù)雜負(fù)載下的穩(wěn)定性與高效性。但隨著數(shù)據(jù)業(yè)務(wù)的上升，對數(shù)據(jù)庫運(yùn)維的需求卻日漸高漲，如何解決其中的內(nèi)在矛盾，已成為學(xué)術(shù)界與工業(yè)界共同關(guān)心的議題。

人工運(yùn)維存在下列問題：

·成本高：數(shù)據(jù)庫管理員（DBA）年薪普遍在50萬以上

·效率低：資深工程師進(jìn)行一次維護(hù)調(diào)參需要6小時以上

·門檻高：DBA培養(yǎng)周期長，非資深DBA調(diào)參效果難以滿足需求

針對上述問題，SmartOp團(tuán)隊(duì)提出SmartOp數(shù)據(jù)庫智能管家，運(yùn)用人工智能技術(shù)對數(shù)據(jù)庫進(jìn)行智能調(diào)參和索引推薦，大大提高數(shù)據(jù)庫性能。團(tuán)隊(duì)的技術(shù)方案目前達(dá)到國際領(lǐng)先水平，是唯一可落地的商業(yè)化解決方案。本項(xiàng)目主要功能分為兩部分：

① 數(shù)據(jù)庫自動調(diào)參

依托機(jī)器學(xué)習(xí)技術(shù)高效完成數(shù)據(jù)庫參數(shù)調(diào)優(yōu)，降低現(xiàn)階段數(shù)據(jù)庫參數(shù)調(diào)優(yōu)人力和時間成本。該功能使用長短期融合獎勵函數(shù)，在綜合考慮吞吐量和延遲的基礎(chǔ)上，結(jié)合短期收益和長期收益對調(diào)參過程進(jìn)行彈性控制，解決了智能調(diào)參不能很好適應(yīng)負(fù)載動態(tài)變化和工作狀態(tài)動態(tài)變化的難題；開發(fā)在線訓(xùn)練方式，利用后臺克隆和并行化技術(shù)同時試錯多種調(diào)參方向，輔以機(jī)器學(xué)習(xí)技術(shù)對數(shù)據(jù)庫參數(shù)個數(shù)和維度進(jìn)行壓縮降低調(diào)優(yōu)成本，解決了自動調(diào)參中參數(shù)數(shù)量多、相關(guān)性復(fù)雜、空間大等難題。

② 數(shù)據(jù)庫智能索引推薦

針對數(shù)據(jù)庫中因索引不合理導(dǎo)致的慢請求，以智能化方式推薦合理的索引結(jié)構(gòu)，提高云服務(wù)廠商的服務(wù)質(zhì)量和數(shù)據(jù)庫購買用戶的使用體驗(yàn)。該功能使用端到端訓(xùn)練技術(shù)，以向量化方式統(tǒng)一管理工作負(fù)載和索引，杜絕人為干預(yù)，真正做到端到端訓(xùn)練；使用代價估計模型，利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行代價估計，快速評估索引性能，提升學(xué)習(xí)索引推薦效率。

圖1 數(shù)據(jù)庫自動調(diào)參

圖2 數(shù)據(jù)庫智能索引推薦

①SmartOp 相比于市面上的其他技術(shù)和產(chǎn)品，真正解決了自動調(diào)參實(shí)際落地的難點(diǎn)問題，性能調(diào)優(yōu)結(jié)果首次全面超越DBA專家，大幅提高數(shù)據(jù)庫運(yùn)維效率?；诙喾N不同負(fù)載和不同類型數(shù)據(jù)庫的大量實(shí)驗(yàn)證明，自動調(diào)參系統(tǒng)性能優(yōu)化結(jié)果明顯優(yōu)于目前已有數(shù)據(jù)庫調(diào)優(yōu)工具和 DBA 專家。即使在彈性云環(huán)境下，即用戶購買數(shù)據(jù)庫內(nèi)存或磁盤大小發(fā)生變化，或負(fù)載發(fā)生變化（類型不變) 的情況下，實(shí)驗(yàn)證明自動調(diào)優(yōu)系統(tǒng)依然保持了較好的適應(yīng)能力。

②調(diào)優(yōu)時間和調(diào)優(yōu)結(jié)果可控，極大縮短調(diào)優(yōu)時間并能夠保證數(shù)據(jù)庫性能的提升，相比于國際領(lǐng)先的技術(shù) 0tterTune，SmartOp 的性能要高出 20%。

研發(fā)階段

·由中國電子學(xué)會召開、中國工程院何友院士擔(dān)任鑒定委員會主任的科技成果鑒定會鑒定為成果國際領(lǐng)先。

·榮獲中國電子學(xué)會科學(xué)技術(shù)發(fā)明二等獎。

通用型數(shù)據(jù)庫引擎，對于所有使用數(shù)據(jù)庫的公司均可提供服務(wù)，因此應(yīng)用領(lǐng)域幾乎包括各行各業(yè)。對于初創(chuàng)公司，高昂的數(shù)據(jù)庫運(yùn)維成本是一筆較大的開銷，往往會阻礙公司的前期發(fā)展，智能化運(yùn)維引擎可以有效幫助其緩解創(chuàng)業(yè)初期的窘境；對于大型公司，龐大的數(shù)據(jù)量意味著更加復(fù)雜的運(yùn)維工作，微小的失誤也可能造成不可估量的損失，高效可靠的運(yùn)維對其重要性不言而喻?；谝陨显?，本團(tuán)隊(duì)相信產(chǎn)品擁有廣泛的市場前景。

應(yīng)用案例：

①目前正與國內(nèi)頂級云廠商騰訊、華為等公司有著深度合作，提出的智能運(yùn)維方案是目前唯一可落地的商業(yè)化解決方案，比騰訊云目前最先進(jìn)方案節(jié)約調(diào)優(yōu)時間40%-60%，得到了騰訊TEG部門數(shù)據(jù)庫技術(shù)專家程彬的高度評價；

②與航天科工網(wǎng)絡(luò)信息發(fā)展有限公司開展合作項(xiàng)目，在數(shù)據(jù)庫管理和運(yùn)維方面取得了一系列高水平成果，其核心技術(shù)已經(jīng)在航天科工網(wǎng)絡(luò)信息發(fā)展有限公司進(jìn)行應(yīng)用。

發(fā)展規(guī)劃：

①在2024年，計劃將業(yè)務(wù)拓展到其他國內(nèi)數(shù)據(jù)庫提供商，如阿里、人大金倉等，提供智能運(yùn)維服務(wù)，該階段將提供直接就業(yè)崗位40+，間接就業(yè)崗位70+。

②在2025年，在繼續(xù)擴(kuò)大已有市場份額的同時，針對其他數(shù)據(jù)庫運(yùn)維過程中存在的難點(diǎn)痛點(diǎn)如根因分析、負(fù)載預(yù)測等方面進(jìn)一步研發(fā)新產(chǎn)品，加深技術(shù)壁壘，該階段將提供直接就業(yè)崗位80+，間接就業(yè)崗位150+。

知識產(chǎn)權(quán)：

該成果已申請/授權(quán)多項(xiàng)中國發(fā)明專利。

合作方式：