SQL与数据科学

SQL指的是结构化查询语言,旨在管理关系型数据库。SQL在数据科学中应用广泛,属于必备技能。以下列出了SQL的特点:


(资料图)

广泛使用:虽然它已经有了大约40年的历史,但在大多数关系型数据库系统中用于查询,并已成为实验数据的标准工具。简化对数据的理解:SQL在浏览数据库内容时非常方便。它能让你有效地理解细节。易于学习:它是新手的完美起点,具有简单的类英语语法,只需几行代码即可提取有价值的见解。能够处理海量数据:SQL可以使你以有组织的方式管理大量数据,是数据科学应用的理想选择。与其他编程语言和应用程序的兼容性:将SQL与Python、C++、R等语言集成非常方便。它还支持商业智能和数据可视化工具,如Power BI和Tableau,使开发过程更加容易。7个SQL知识点1)基本命令

掌握基本命令的知识是终身学习的基础。否则,你只会记忆事实,而不了解它们如何配合。以下是一些最常用的SQL命令:

SELECT和FROM:从指定的表中检索数据的属性。SELECT DISTINCT:它消除重 复的行并只显示唯一的记录。WHERE:它过滤记录并只显示满足给定条件的记录。AND、OR、NOT:当条件不为True时不执行查询。而AND和OR用于应用多个条件。ORDER BY:它按升序或降序对数据进行排序。GROUP BY:它对相同的数据分组。HAVING:对由Group By聚合的数据可以在此进一步筛选。聚合函数:聚合函数,如COUNT()、MAX()、MIN()、AVG()和SUM(),用于对给定的数据执行操作。

让我们以Employee表为例,应用这些命令:

ID

Name

Department

Salary ($)

Gender

1

Julia

Admin

20000

F

2

Jasmine

Admin

15000

F

3

John

IT

20000

M

4

Mark

Admin

17000

M

现在,我们想要获取在Admin部门工作的女性的平均工资。

SELECT Department,       AVG(Salary)FROM EmployeesWHERE Gender="F"GROUP BY DepartmentHAVING Department = "Admin";

输出:

Admin | 17500.0
2)Case When

Case When是SQL中一种非常强大和灵活的语句,用于编写复杂的条件语句。它提供了IF.THEN.ELSE语句的功能。让我们来看一下它的语法:

CASE expression   WHEN value_1 THEN result_1   WHEN value_2 THEN result_2   ...   WHEN value_n THEN result_n   ELSE resultEND

它按顺序执行语句,并在条件为True时返回值。如果没有满足条件的情况,将执行ELSE块,如果没有ELSE块,则返回NULL。

假设我们有一个学生数据库,我们想根据他们的成绩对他们进行分级。可以使用以下SQL语句:

SELECT student_name,       marks,       CASE           WHEN marks >= 85 THEN "A"           WHEN marks >= 75                AND marks < 85 THEN "B+"           WHEN marks >= 65                AND marks < 75 THEN "B"           WHEN marks >= 55                AND marks < 65 THEN "C"           WHEN marks >= 45                AND marks < 55 THEN "D"           ELSE "F"       END AS gradingFROM Students;
3)子查询

作为一名数据科学家,子查询的知识是必不可少的,因为他们需要处理不同的表格,并且一个查询的结果可能会再次用于限制主查询中的数据。它也被称为嵌套查询或内部查询。子查询必须用括号括起来,在主查询之前执行。如果它返回多行,则称为多行子查询,并且必须使用多行运算符。

假设保险公司推出了一项新政策,取消那些年龄超过80岁的人的保险。可以使用如下所示的子查询完成:

DELETEFROM INSURANCE_CUSTOMERSWHERE AGE IN    (SELECT AGE     FROM INSURANCE_CUSTOMERS     WHERE AGE > 80 );

内部子查询选择了所有80岁以上的客户,然后对该组执行Delete操作。

4)连接

SQL连接是用于基于多个表格之间的逻辑关系将它们中的行组合在一起。SQL连接的4种类型如下所示:

内部连接(Inner Join):内部连接仅显示满足给定条件的两个表格中的行。它可以在集合术语中称为交集。
SELECT Student.NameFROM StudentINNER JOIN Sports ON Student.ID = Sports.ID;

它返回那些已在体育部门注册的学生。注意:Sports ID与学生的注册ID相同。

左连接(Left Join):它返回左表格中的所有记录,而只显示右表格中的匹配记录。
SELECT Student.NameFROM StudentLEFT JOIN Sports ON Student.ID = Sports.ID;
右连接(Right Join):它与左连接作用正好相反。
SELECT Student.NameFROM StudentRIGHT JOIN Sports ON Student.ID = Sports.ID;
完全连接(Full Join):它包含来自两个表格的所有行,如果它没有相应的匹配条目,则显示NULL值。
SELECT Student.NameFROM StudentFULL JOIN Sports ON Student.ID = Sports.ID;
5)存储过程

存储过程允许我们在数据库中存储多个SQL语句以便日后使用。它提供了可重用性,还可以在调用时接受参数值。它可以增强性能,并且更容易进行任何修改。

CREATE PROCEDURE SelectStudents @Major nvarchar(30),                                       @Grade char(1) ASSELECT *FROM StudentsWHERE Major = @Major  AND Grade = @Grade GO;EXEC SelectStudents @Major = "Data Science",                    @Grade = "A";

此存储过程允许我们提取不同专业的学生,并根据其成绩进行筛选。例如,我们要提取所有专业为数据科学且成绩为A的学生。请注意,CREATE PROCEDURE就像函数声明一样,需要使用EXEC进行调用以便执行。

6)字符串格式化

我们都知道原始数据需要进行清洗,以提高整体生产力,从而做出高质量的决策。字符串格式化在这种情况下起着重要作用,它涉及到对字符串的操作,以去除不相关的内容。SQL提供了大量的字符串函数来转换和处理字符串。其中最常用的五个函数如下:

CONCAT:用于将两个或多个字符串相加。
SELECT CONCAT(Name, " has a major of  ", Major)FROM StudentsWHERE student_Id = 37;
SUBSTR:返回字符串的一部分,并在其参数中提供子字符串的起始位置和长度。
SELECT student_name,admission_date,     SUBSTR(admission_date, 4, 2) AS dayFROM Students

从admission_date中提取出来的day列将以单独的形式出现,。

TRIM:TRIM的主要作用是从字符串的开头、结尾或两者中删除字符(如果指定了)。必须指定前导、后导或两者,然后是指定要删除的字符,再接着是要从中删除的字符串。
SELECT age,   TRIM(trailing " years" FROM age)FROM Students

它将26 years更改为26。

INSERT:允许我们在给定字符串中的指定位置插入字符串。必须指定要写入的新子字符串的位置和长度。请注意,此新字符串将覆盖先前的文本。
SELECT INSERT("OldWebsite.com", 1, 9, "NewWebsite");

它将被更新为NewWebsite.com。

COALESCE:主要是用使用者定义的值替换空值,这在数据科学中经常需要。
SELECT COALESCE (NULL, NULL, 10, "John’")

这将返回10。

7)窗口函数

窗口函数类似于聚合函数,但在计算后不会使行合并为单个行。相反,行保留其各自的标识。它们分为三个主要类别:

聚合函数:它从数值列中显示聚合值,如AVG()、COUNT()、MAX()、MIN()、SUM()等。
SELECT name,       AVG(salary) over (PARTITION BY department) FROM Employees;

它显示了Employee表中不同部门的平均工资。

值函数:使用值窗口函数为每个分区分配一些值。一些常用的值函数有LAG()、LEAD()、FIRST_VALUE()、LAST_VALUE()和NTH_VALUE()。
SELECT   bank_branch, month, income, LAG(income,1) OVER (  PARTITION BY bank_branch  ORDER BY month ) income_next_monthFROM Bank;

我们将银行不同分支机构的本月收入与上月进行比较。

排名函数:它们可根据预定义排序为行分配排名。ROW_NUMBER()、RANK()、DENSE_RANK()、PERCENT_RANK()、NTILE()等是其中的几个函数。
SELECT product_name, price, RANK () OVER (   ORDER BY list DESC ) price_hightolowFROM Products;

使用RANK(),对产品进行基于价格的排名。

结论

通过阅读本文能全面了解作为数据科学家需要了解多少SQL基本知识。如果想更深入地了解这些概念,以下是一些资源可供参考:

【SQLServertutorial】:https://www.sqlservertutorial.net/

【TutorialsPoint】:https://www.sqlservertutorial.net/

【W3Schools】:https://www.w3schools.com/sql/

推荐内容