昨天，在执行spark-sql时，查询数据量超过1000万行，数据量大小7.6G，出现系统盘占用突然变高的情况，Job任务在运行过程中产生大量的临时目录位置，导致某个分区磁盘写满，主要原因spark运行产生临时目录的默认路径/tmp/spark检查为 /tmp 目录下，spark生成的临时目录占用了大量的硬盘空间，生成的spark临时文件总共超过19了。
云群网络www.idcyq.com - 专注于企业级云服务器、云计算、网站高防CDN加速、服务器租用托管服务 - 站长资讯中心
云群网络 - 致力提供市面上常用的操作系统基础资料、安全防护知识、以及PHP,ASP环境搭建等。帮助大家学习和收集有用的教程。我们的宗旨是为大众站长提供优质的服务。
- 搜索
- 网站分类
- 文章归档
-
- 2023年
9月(1) 8月(1) 7月(1) 6月(1) 5月(1) 4月(1) 2月(1) 1月(1) - 2022年
12月(1) 11月(2) 10月(1) 9月(1) 8月(1) 7月(1) 6月(1) 5月(1) 4月(2) 3月(2) 2月(1) 1月(1) - 2021年
12月(2) 11月(1) 10月(5) 9月(10) 8月(13) 7月(13) 6月(13) 5月(13) 4月(15) 3月(14) 2月(10) 1月(14) - 2020年
12月(12) 11月(12) 10月(10) 9月(12) 8月(12) 7月(10) 6月(12) 1月(1) - 2019年
12月(3) 11月(3) 10月(3) 9月(3) 8月(16) 7月(8) 6月(3) 5月(6) 4月(6) 3月(2) 1月(2) - 2018年
12月(5) 11月(9) 10月(12) 9月(20) 8月(17) 7月(21) 6月(24) 5月(29) 4月(3) 3月(3) 2月(1) 1月(1) - 2017年
12月(1) 11月(1) 10月(1) 9月(1) 8月(1) 7月(2) 6月(1) 5月(1) 4月(1) 3月(1) 2月(1) 1月(1) - 2016年
11月(1) 10月(1) 9月(1) 8月(1) 7月(1) 6月(1) 5月(1) 4月(1) 3月(1) 2月(1) 1月(1) - 2015年
11月(2) 10月(1) 9月(3) 8月(2) 7月(10) 6月(1) 5月(1) 3月(1) 2月(1)
- 2023年
- 友情链接
- 站标入口
-
