Seal's Whisky
  • Home
  • Archives
  • Categories
  • Tags
  • About

Spark中groupByKey和reduceByKey的区别

在Spark中,groupByKey和reduceByKey都是用于对RDD中的键值对进行操作的转换操作。这两个操作都可以用于按键对数据进行分组和聚合,但它们在执行方式和结果上有一些重要的区别。 groupByKey: 操作方式:groupByKey操作将RDD中的键值对按键进行分组,将具有相同键的值放置在同一个组中。 执行过程:在执行过程中,Spark会将所有具有相同键的值通过网络进行混洗
2024-01-15
技能
#面试 #Spark

LightGBM中常见的几种损失策略

LightGBM的几种损失策略 LightGBM支持多种损失策略用于回归、分类和排序任务。下面介绍每种损失策略的计算公式、应用场景和特点。 平方损失(Squared Loss): 计算公式:L(y^,y)=(y^−y)2L(\hat{y}, y) = (\hat{y} - y)^2 L(y^​,y)=(y^​−y)2 应用场景:主要用于回归任务,对于预测连续数值的问题,如房价预测、销售预测
2024-01-15
技能
#LightGBM #损失 #排序 #树模型 #面试

CentOS 中通过 Docker 部署MySQL镜像

CentOS 中通过 Docker 部署MySQL镜像 0.启动docker服务 sudo systemctl start docker 1.构建镜像 从远程公共仓库拉取最新版mysql镜像 docker pull mysql:latest 或编写dockerfile文件,构建镜像 # 使用最新版本的mysql作为基础镜像 FROM mysql:latest # 设置mysql的环境
2024-01-15
技能
#docker #MySQL #CentOS7

2024青岛元旦

岁月折叠成册 往事研磨成墨 思绪飘逸成笔 相聚点缀成色 时间总有化腐朽为神奇的力量,那些年再平凡不过的事情,如今看起来都充满了传奇的色彩,总也忍不住想要记录些什么,给未来留下一些回忆! 情怀大概是本次聚会的中心词,每个落脚点都会勾起一坨子的陈年往事。你背着它们行进,细数着其中的桩桩件件,当你走出这片区域,再次理清思绪时,后背上的回忆之重也便随之消逝而去。 小麦岛早已失去了原有的面貌,我再也不能
2024-01-01
随笔
#小麦岛 #青岛 #青岛大学 #石老人 #元旦 #跨年

CentOS7安装MySQL

1.先查看是否已经安装MySQL rpm -qa | grep mysql 若返回为空,则未安装。 2.下载安装wget yum -y install wget 3.下载MySQL的repo源 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 4.安装mysql-community-release-el7-5.n
2023-12-29
技能
#MySQL #CentOS7

写好青啤故事

啤酒花开,我们向你走来;盛夏的青岛,洋溢着青啤的色彩!从那时开始,我们被写入了青啤的日志,我们走进了青啤的故事。五个月来,青啤故事始终耳濡目染地感染着我,现在,我要讲一讲我所经历的青啤故事。 人们在第一次听到某个比喻时,很少会有什么深切的体会,就像“父亲的酒壶”也没有在我们初次相逢时留下深刻的印象;但当你走进生产车间,遇着几次现场作业,很自然的就要想起这句“陌生”的话语。老师傅们不善言谈,只好把所
2023-12-19
随笔
#青啤周刊

徒步烟台

徒步烟台节奏快到来不及思考的一天,简单做个小结。O 意外之喜,回来青岛约到我鹏哥。①烟台的小吃很特别,特别好吃!②烟台的景区收费有点迷,收费景区不收费!③冰心故居里面记住了巴金的寄语:思想不老的人永远年轻!④今天的塔山看上去像是半山黄金半山银,上山容易下山难!⑤虎岩潭徒有虚名,避坑!⑥竹林路是真费脚,前不见头后不见尾,且前不着村后不着店!⑦烟大没进去,白跑一趟!⑧饥饿远足可以使你脚步更快,要学会
2023-12-02
随笔
#烟台 #塔山 #芝罘湾 #烟台山 #虎岩潭 #烟台大学

常见的网页错误码

网页访问代码是一种标准化的方式,用于表示 HTTP 请求的状态和结果。这些代码以三位数字组成,每个代码都有一个特定的含义。以下是一些常见的网页访问代码以及它们的含义: 1xx(信息性状态码):请求正在处理 100(Continue):服务器收到请求,客户端可以继续发送请求体。 101(Switching Protocols):服务器已经理解了客户端的请求,并将通过Upgrade消息头通知客户端更
2023-11-23
技能
#网页 #状态码

正则表达式

正则表达式是一种强大的文本匹配和处理工具,它可以用于在文本中查找、匹配和替换模式。在学习正则表达式时,需要了解它的基础概念、语法、常用的模式和一些常见的使用示例。 1. 基础概念 1.1 正则表达式是什么? 正则表达式(Regular Expression),通常简写为"regex",是一种文本模式,用于匹配和搜索文本字符串。 1.2 字面量和元字符 正则表达式由字面量字符和元
2023-11-23
技能
#正则表达式

ubuntu 安装 docker

ubuntu 22.04 1、更新升级apt sudo apt update sudo apt upgrade 2、安装必备的软件包以允许apt通过 HTTPS 使用存储库(repository) sudo apt-get install ca-certificates curl gnupg lsb-release 3、添加Docker官方版本库的GPG密钥 先创建目录 sudo mkdir -
2023-11-22
工具
#Ubuntu #操作系统 #docker
12345…9

Search

Hexo Fluid
Views: Visitors:
京ICP证123456号 | police-icon 京公网安备12345678号