编程快速自学

net.razorvine.pickle.PickleException: Ratings id 2212953738 exceeds max integer value of 2147483647

910人参与 |  2019年07月17日 12:20|  作者:   |  评论:0
  摘要  

问题:net.razorvine.pickle.PickleException: Ratings id 2212953738 exceeds max integer value of 2147483647解决方法:使用pyspark ALS train时出现这个问题,repartition即可解决,...

问题:

net.razorvine.pickle.PickleException: Ratings id 2212953738 exceeds max integer value of 2147483647

解决方法:

使用pyspark ALS train时出现这个问题,repartition即可解决,查了原因是RDD分区2GB限制

ratingsRDDnew = ratingsRDD.repartition(10)


来源:编程快速自学, 欢迎分享、转载请保留出处和链接!(微信/QQ号:798244092)

必填*

选填

选填

◎已有 0 人评论,请发表您的观点。

  
    
网站统计代码
这是放网站的运行时间代码。