99网
您的当前位置:首页spark实验总结

spark实验总结

来源:99网

4,5实验的问题在于spark保存和读取json的时候列名容易不是本来需要的字段名而是c1,c2这样的列名,解决办法是不要用建议读取方法而要指定读取表头。
不用spark.read_csv()而是
spark.read.format(“json”).option(“header”,“true”).load(“hdfs://node1:9000/Online_Retail_true.json”)
注意

因篇幅问题不能全部显示,请点此查看更多更全内容