數(shù)據(jù)遷移有哪些方法?以下列舉5種常用的數(shù)據(jù)遷移方法:
數(shù)據(jù)遷移的方法1:將表結構和數(shù)據(jù),直接導出成sql,去目標庫中執(zhí)行要求:如果源庫和目標庫類型不同,就需要做一些調(diào)整變更,否則一旦表多了后,整個處理流程會比較麻煩做法:需要停掉源庫,保證在數(shù)據(jù)同步過程中的數(shù)據(jù)一致性
數(shù)據(jù)遷移的方法2:使用備份/還原要求:源庫和目標庫是同構數(shù)據(jù)庫,即同種類型的數(shù)據(jù),例如mysql——mysql
數(shù)據(jù)遷移的方法3:使用開源etl工具:以最常用的開源etl工具為例:由于是全量備份,數(shù)據(jù)量會很大,一般需要較長的備份時長,備份過程可能會出現(xiàn)數(shù)據(jù)庫報錯或者連接數(shù)不足等非意料中的異常,且insert/update會占用大量的CPU資源做法:一次性 or 實時增量
數(shù)據(jù)遷移的方法4:使用代碼etl工具實現(xiàn),可以是數(shù)據(jù)級別的,也可以考慮更底層的,比如mysql走binlog, sqlserver走cdc要求:對技術要求較高,可使用數(shù)據(jù)集成工具,比如FineDataLink,從數(shù)據(jù)級別入手,基于日志增量技術進行的數(shù)據(jù)同步,采用無侵入式的模式,對數(shù)據(jù)庫的性能影響較小。做法:實時增量。
數(shù)據(jù)遷移的方法5:如果使用云數(shù)據(jù)庫,一般云廠商會有自己的一套工具實現(xiàn),比如阿里云上的dts做法:實時增量