AmosTian

离散数学：研究离散量结构及相互关系的学科

• 数理逻辑
• 集合论
• 代数系统
• 图论

逻辑：研究推理的科学

数学方法：引进一套符号系统的方法

数理逻辑是用数学方法研究形式逻辑的科学，即使用符号化系统研究推理的方法。又称符号逻辑。

[TOC]

机器学习是计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的学科

根据输入输出类型的不同，机器学习分为：分类问题，回归问题，标注问题三类

过拟合是机器学习中不可避免的，可通过选择合适的模型降低影响

监督学习是机器学习的主流任务，包括生成方法和判别方法两类

参考：

极客时间——人工智能基础课

[白板机器学习]

统计学习方法——李航

炼数成金-机器学习：黄志洪

范数理论

[TOC]

• 将认知过程定义为对符号的逻辑运算，则AI的基础就是形式逻辑
• 谓词逻辑是知识表示的主要方法
• 基于谓词逻辑系统可以实现具有自动推理能力的人工智能
• 不完备性定理向 认知的本质是计算 这一基本理念挑战

不确定性才是客观世界的本质属性。不确定性的世界只能使用概率模型来描述，正是对概率模型的刻画促成了信息论的的诞生

信息论在世界的不确定性和消息的可测量性之间搭建桥梁

• 条件熵和信息增益是分类问题中的重要参数
• KL散度用于描述两个不同概率分布之间的差异
• 最大熵原理是分类问题中的常用准则

从本质上讲，人工智能的目标就是最优化——在复杂环境中与多体交互中做出最优决策

几乎所有的人工智能问题都会归结为一个优化问题

• 在线性搜索中，确定寻找最小值时的搜索方向需要使用目标函数的一阶导数和二阶导数
• 置信域的思想是先确定搜索步长，再确定搜索方向