SQL Server 2022 导入大数据(10G以上）的方法

偶然机会，获得一个18G的SQL文件，想要导入数据库建立查询平台。

方法如下：

一、查看格式

使用打开超大文本文件的powershell命令行。

get-content .\bigdata.sql | out-gridview

确认为此SQL文件为MSSQL的备份文件，内有建表、插入数据等命令行，由于文件太大，虽然是纯文本文档，但达到惊人的18G。使用了Notepad++打开非常困难，由于电脑内存不够“望洋兴叹”。

二、常规导入

安装SQL Server 2022(64bit)服务端，设置保存文件夹在D盘，并安装SQL Server Management Studio(SSMS)管理工具。

登录管理工具，建立数据库bigdata，新建查询，打开此SQL文件无法加载。

在cmd命令提示符下，使用以下命令导入：

sqlcmd -S . -U sa -P password -d BigData -i E:\数据原文件\bigdata.sql

发现运行几分钟后会出错卡死。使用Navicat导入，情况一样。

三、切割文本

由于文件为文本，于是寻找方法将文件进行按行切割。

找了几个工具非常不称手，后来找到EmEditor成功解决。

使用EmEditor打开bigdata.sql，几分钟后成功加载。加载完成后，打开“工具”——“分割文件”，按指定行数1000000行，一直下一步，直到开始分割。

经过分割，在bigdata_split_1文件夹内成功生成68个bigdata_1.sql——至bigdata_68.sql的文件。

打开bigdata_1.sql文件，将建表SQL代码剪切出来，放到SQL查询里完成建表操作。

四、批处理

建立bigdata.cmd批处理文件在切割好的文件夹内。

按照以下格式输入命令：

sqlcmd -S . -U sa -P password -d BigData -i E:\数据原文件\bigdata_split_1\bigdata_1.sql

sqlcmd -S . -U sa -P password -d BigData -i E:\数据原文件\bigdata_split_1\bigdata_2.sql

……

sqlcmd -S . -U sa -P password -d BigData -i E:\数据原文件\bigdata_split_1\bigdata_68.sql

然后保存。

五、大功告成

在CMD命令提示符下，运行：

bigdata.cmd

运行结束，大功告成。