??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
实现scala二次排序代码

转载   2018-05-09   浏览量:337


  二次排序就是按照不同字段进行排序 

package test1  
  
import org.apache.spark.{SparkConf, SparkContext}  
  
  
class secondSort(val first:Int,val second:Int) extends Ordered[secondSort] with Serializable {  
  override def compare(that: secondSort): Int = {  
    if (this.first != that.first){  
      this.first - that.first  
    }else{  
      this.second - that.second  
    }  
  
  }  
}  
object test{  
  def main(args: Array[String]): Unit = {  
    val conf = new SparkConf().setAppName("second").setMaster("local")  
    val sc = new SparkContext(conf)  
     val arr = Array((2,1),(2,4),(2,3),(5,2),(5,4),(5,2),(4,3),(4,2),(4,1))  
    sc.makeRDD(arr)  
      .map(a=>(new secondSort(a._1,a._2),a))  
      .sortByKey()  
      .foreach(a=>  
      println(a._2+"\t"))  
      //    sc.textFile("D:\\a\\a.txt")  
//      .map(a=>(new secondSort(a.split(",")(0).toInt,a.split(",")(1).toInt),a))  
//      .sortByKey()  
//      .foreach(a=>  
//      println(a._2+"\t")  
//      )  
  }  
}  

  类似于MapReduce里面的分组+排序的实现

转载自:https://www.2cto.com/net/201805/744916.html

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



用scala实现二次排序
用scala实现二次排序,二次排序就是按照不同字段进行排序,类似于MapReduce里面的分组+排序的实现。
实现scala二次排序代码
二次排序就是按照不同字段进行排序代码。
Scala面向对象编程教程
如果只是希望拥有简单的getter和setter方法,那么就按照scala提供的语法规则,根据需求为field选择合适的修饰符就好:var、val、private、private[this],但是如果希望能够自己对getter与setter进行控制,则可以自定义getter与setter方法。
Scala闭包分析
由于apply方法只是简单调用apply$mcII$sp(int)方法,因此我们继续分析apply$mcII$sp(int)。首先它调用了ClosureDemo类的ClosureDemo$$i$1方法取i的值,然后取Int类型的j$1的值,再取IntRef类型的k$1中的elem值,将它们加在一起返回。
Scala写WordCount查看本地的前20条数据
Scala写WordCount,查看本地的前20条数据,并统计出现的次数,并且是多线程。代码。
scala教程之每日一练
创建一个Listvallst0=List(1,7,9,8,0,3,5,4,6,2)将lst0中每个元素乘以10后生成一个新的集合解析:lst0map(_*10)将lst0中的偶数取出来生成一个新的集合解析:lst0filter(_%2==0)将lst0排序后生成一个新的集合解析:lst0sorted
新手入门必看的Scala的基本使用
1函数式编程2变量类型val常量var变量lazyval惰性求值3数据类型AnyVal基本数据类型:NumerictypeBooleanCharUnit(void)
Scala练习九文件和正则表达式
Scala练习九文件和正则表达式。摘要:在本篇中,你将学习如何执行常用的文件处理任务,比如从文件中读取所有行或单词,或者读取包含数字的文件等。
Scala练习四映射和元组
Scala练习四映射和元组。摘要:一个经典的程序员名言是:"如果只能有一种数据结构,那就用哈希表吧"。哈希表或者更笼统地说映射,是最灵活多变的数据结构之一。映射是键/值对偶的集合。Scala有一个通用的叫法:元组,即n个对象的聚集,并不一定要相同类型的。
Scala练习四
Scala练习四。1设置一个映射,其中包含你想要的一些装备,以及它们的价格。然后构建另一个映射,采用同一组键,但在价格上打9折。