分享四千万数据导入数据库 。
现在我给大家介绍一下把四千万的数据导入到数据库 。
·首先第一步来就是这里准备了一个三点七个g的数据,这些是业务上面的数据 。
·看一下数据字典,打开数据字典,数据字典这里就是看到的这里,就是整个的表,表明明、列名 。
·把前面这三行,这三列复制过来看一下里面到底是一些什么样的数据 , 现在就把它来什么 , 拒绝重复词 。这个时候看到就有十五个表 , 十五个表这里就是前面有一些d i m的基本上都是维度的 , 这个hct是一些业务数据,事实数据 。
·这个时候我来给大家带领大家来把这个来导入进去,文件里面可以看一下文件里面有分为两部分,一部分就是数据维度,数据维度就是d m还有一些四十的数据量很少的 , 但是业务数据是行情,还有一个前十大股东这里加起来大概有三千五百万左右,其他的就是一两百万 。
·到时候就是放到网盘里面直接去下载链接 。现在就打开一个数据库 , 去创建一个数据库创建一个数据库 , 这里就是四万四千万数据,然后确定 。
·确定了之后这里就是展开,展开之后里面表是空的、没有任何表,点这个库右键任务 , 然后导入数据 。
·最后下一步,下一步这里我来选择excel选择路径,先打什么维度的数据 , 下一步,稍等一下,这个反应稍微有点慢 , 这个选一下目标,然后下一步,下一步 , 然后就全部选下一步,这里都搞个什么,选一个忽略 , 下一步完成,完成 。
·这里可能要等一分钟左右,一分钟左右就会把什么数据来全部导入进去了 , 这个是维度的数据 。有没有报错,如果报错再去解决,看这个样子应该是不会报错了,这个是成功的,这里大概就是有十六万,这里是两万多,大概就是四十万左右 , 关闭 。
·再到这里来刷新一下这个表,这里就导进来了,这里去导入一些业务数据,业务数据可能就导入了十几万,因为每一年就是里面放四个表的数据 , 比如从零八年开始又打到二幺零,后面二二年和二三年的数字,等我去写那个爬全,把数据抓取下来之后再分享给大家 。
【分享四千万数据导入数据库 一千万数据导入数据库处理】·这里确定一下 , 下一步,这家可能就是要稍微等一下,这里在反应其实这里面的数据还是比较大的这些业务数据,大家看一下加起来是有多少,三点六九个 g,三点六九个 g , 还是蛮大的,每一个基本上都有两三百兆,两三百兆 。这里可能稍微真的是反应有点慢 , 因为数据也还是比较庞大的 , 里面大概是五个表,五个表已经反应好了 , 反应好了来这里来选目标,目标下一步,然后直接下一步把这些表全部选上,下一步,完成 。
这个是二零零八年的数据,二零零八年的数据 , 里面是有一二三四五六个表,这六个表数据量是比较大,大概就占了三点七个 g 。这些已经导入进来的大概就是零点一个 g,这里可能要稍微等一等,现在已经开始往里面导入了 , 数据是比较准确的,居然在整个导入的过程是没有报错,像这个前十大股东,这里是够十万、两万多 , 这个是零八年的数据,这个日限在零八年是有五万,直接让它慢慢的导入,现在导这个停顿的表,这个表应该大概是有三十多万 , 四十万了,三十八万 。
这表已经导完了,确定 , 关闭完之后再刷新一下这里,就十五个遍已经导入进来了 。导入进来之后就是说后面不是还有就是零九年,由零零一至到二零一零,大家就把这些全部导入,后面我再缺少的就是有时间去把那个爬群去跑一下,然后再把数据来分享给大家 。
这里就是再给大家来就是演示一下导入零九年的数据,这条就是零九年的数据,零九年就是一样的操作步骤 , 一样的操作步骤 。如果大家就是说对数据库的安装,是吧?操作安装的一些内容,一些操作大家可以去看一下我这个 br 数据跟曾经的那个项目的一个基础课程 , 就是把整个一个算能力的迁移到数据库 , 数据库的一些零和应用还有etl数据建模的一些内容给大家全部讲了一下,等一下我提供的就是这个经营数据的链接的下载,还有就是数据库也安装的一些链接来给到大家 , 这里就稍微等一下 。
这里已经反映完了,这里选择目标目标下一步,全部选下一步,因为零八年的表也是选了这一些,然后零九年也射到同样的目标 , 下一步完成 。这里我不知道刚才有一个步骤是不是少选了,这里看一下等一下有没有报错 , 如果没有报错说明那个什么忽略,就是有一些错误的又进行忽略的人,其实不用去?。饫锟赡苄枰晕⒌纫幌? ,现在去看一下 。
刚才看到的就是日线拉过来 , 这里就把图标上学一下整个的时间,这个就是就业日期 , 这里面肯定是 。这里来看一下有多少数据,其实不用这样子,看一下里面已经有多少数据了,零八年了还是只有十多万,十万三十六万,然后看一下这里还在反应,开始来往数据库里面写数据了,稍等一下马上就倒完了 。
整个数据基本上是打了两年,打了两年,这个后面几个年份自己去导入,导入完之后就有数据来去做一些什么练习了 , 这就关闭一下 。今天的分享就到这里,希望大家能够对大家有一定的帮 。







