红黑树思想详解及实现

从2-3树开始

2-3树定义

2-3树在《算法4》这本树中的定义是这样子的：

一棵2-3查找树或为一棵空树，或由以下节点组成：

AVL树的思想及实现

定义

AVL树是高度平衡的二叉搜索树，按照二叉搜索树（Binary Search Tree）的性质，AVL首先要满足：

若它的左子树不为空，则左子树上所有结点的值均小于它的根结点的值； 若它的右子树不为空，则右子树上所有结点的值均大于它的根结点的值； 它的左、右子树也分别为二叉搜索树。

并查集详解及底层实现

定义

并查集，在一些有N个元素的集合应用问题中，我们通常是在开始时让每个元素构成一个单元素的集合，然后按一定顺序将属于同一组的元素所在的集合合并，其间要反复查找一个元素在哪个集合中。

segment tree(线段树)详解

什么是线段树

线段树是一棵平衡搜索树，但是不是完全二叉树，其实也是一棵二分搜索树，它储存的是一个区间的信息。

堆树详解及使用最大堆实现优先队列

定义

堆树的定义如下：

Map数据结构及其底层简单实现

其实Java中的map就是映射，叫字典也可以，其实map也是一种容器，在这里为了深入的去理解map这种数据结构，从底层自己简单的实现 一下。

二分搜索树

定义

二分搜索树（Binary Search Tree），也称二叉查找树，有序二叉树,排序二叉树，是指一棵空树或者具有下列性质的二叉树：

逻辑回归与决策边界

what？

逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值（像二进制值0/1，是/否，真/假）。简单来说，它就是通过拟合一个逻辑函数（logit fuction）来预测一个事件发生的概率。所以它预测的是一个概率值，自然，它的输出值应该在0到1之间。

Logistic回归简单分析:

优点：计算代价不高，易于理解和实现
　　缺点：容易欠拟合，分类精度可能不高
　　适用数据类型：数值型和标称型数据

线性回归

概念

线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
其特点为：

• 解决回归问题

• 思想简单，实现容易

• 许多强大的非线性模型的基础

• 结果具有很好的可解释性

• 蕴含机器学习中的很多重要思想

梯度下降法

概念

梯度下降法是迭代法的一种,其实它不是一种具体的机器学习算法，是一种基于搜索的最优化方法，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。相应的还有一个梯度上升法，它的作用是最大化一个效用函数。