主页

前言 本系列是北京大学数学科学学院理论计算机科学基础的课程内容总结。上半部分从程序设计语言$\mathscr{S}$开始，讲到Turing机停机问题的判定性。 记号规定和定义 只考虑自然数集$N$。设$f$是$S\times T$上的二元关系。若$a\in S , f(a) = \varnothing$，记$f(a) \uparrow $。不然若$f(a) = {b}$则记$f(a) \downarrow $.若\(\forall a \in S,f(a) \downarrow\)，则函数称为全函数，否则成为部分函数。特别地若\(\forall a \in S,f(a) \uparrow\)，其成为空函数。 字母表$A$的元素有穷序列记作字符串或字。空串$\varepsilon...

前言 这是程序设计技术与方法课程的作业：完成对CP 2021的一篇文章的课堂报告，这是笔者选择的文章。在此作对论文的简单讨论。本文设计了CLR-DRNets来解决经典的约束编程问题 Sudoku，是很好的现代深度学习方法和传统CP结合的文章。 总述 传统的数独问题是一类经典的约束求解问题，因而已经有了完善的求解算法，在经典约束求解器下就可实现。然而，有时候我们没有办法完全形式化地描述我们遇到的问题，就像数独那样。举例而言，考虑将手写的一张数字数独和一张字母数独重叠在同一张图中的情形，通过人眼观察这种图像可能导致识别性能不佳（这也是本文探讨的问题之一）。对于这种需要结合模式识别和组合推理的游戏形式，本文开发了一个深度学习框架CLR-DRNets，其将深度学习和约束推理相结合，构成了...

前言 习题来自柳彬《常微分方程》，部分答案来自连云港棋圣syk同学。本部分收录P大常微分方程课程的习题和部分（参考）答案，随时更新。 9.1 更新：补充了 7.1 的一些习题。 Chapter 4 4.2.1 举例说明: 当微分方程初值问题的解不唯一时, 它的积分曲线族在局部范围内不能视作平行直线族. 解. \(\left\{\begin{array}{l} y^{\prime}=2 y^{1 / 2} \\ y(0)=0 \end{array}\right.\) 的两解\(y = 0,y = x^2\) 不能视作平行的。 4.2.2 举例说明: 当微分方程初值问题的解不唯一时, 过某个初值点的最大解对于初值不是连续的. 解. \(\left\{\begi...

前言 9月3日是P大常微分方程的开学期末考试时间。这里对常微分方程的考试内容作一个基本整理。 这里省略的全部冗长的证明和引理，只保留直接的应用内容，以期尽快能够应付考试。 高维微分方程组的形式和性质 定义 微分方程组的一般形式为 \[\left\{\begin{array}{l} \frac{\mathrm{d} y_{1}}{\mathrm{~d} x}=f_{1}\left(x, y_{1}, \cdots, y_{n}\right) \\ \frac{\mathrm{d} y_{2}}{\mathrm{~d} x}=f_{2}\left(x, y_{1}, \cdots, y_{n}\right) \\ \cdots \cdots \\ \frac{\mathrm{d...

论文地址 前言 Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study 这篇文章是我在找探究决策边界和鲁棒性关系的文章的时候找到的，是一篇利用实证手段讨论决策边界问题的文章，揭示了很多关于决策边界的现象。本文有一个观点和我的想法很相似，就是决策边界是一个未经仔细审视的东西，对于它的结构的研究和深入认识可能引发进一步的关于深度学习和鲁棒性的理解。因为我们要做的工作是解释和Certification，那么了解实证问题中的现象才能做一些有意义的东西。所以整理这篇文章。 简单地说一下它的主要结果：经典训练当中，决策边界离训练集越来越近。对抗训练下的情形是不一样的。同时，与正确分类的数据...

论文地址 前言 On the Relationship Between Adversarial Robustness and Decision Region in Deep Neural Network 一文是最近刚刚投放到 Arxiv 上的一篇文章，但是和我目前正在从事的研究领域接近，所以阅读借鉴一下。“论文笔记” 栏目内容基本上是对当前人工智能各领域论文的阅读后书写的总结。 文章结构 文章指出了一种新的和鲁棒性相关的概念：Populated Region Set (PRS) 。其定义如下： 首先，它定义了决策区域： \(\mathbf{V}_{l} \in\{-1,+1\}^{D_{l}}\) 作为选择第$l$层决策边界的正边或负边的指标向量。决策区域 \(D R_{\...

引言 线性模型是机器学习当中最基础的模型，描述最简单的相关关系。它的主要内容包括线性分类和线性回归。目前，有应用价值的回归方法包括Lasso回归模型和岭回归。为了将非线性问题线性化，目前的解决方案是核方法。它通过核技巧把样本输入空间的非线性问题转换为特征空间的线性问题，其值得研究的子课题是表示定理（Representer Theorem）和随机特征(Random Feature)方法。当然，支持向量机(SVM)也是经典的线性分类器，其思想与回归不同，但同样可以使用核方法。下面从最基本的线性回归拓展开去。 说明 本系列事实上是以北京大学《机器学习数学导引》课程为主线展开的关于机器学习理论的讨论。文章的主要内容来自吴磊老师的课程文档，部分借鉴于其他Blog。参考内容在文末一并列出。 ...

这是张益豪的个人主页，使用Github Pages和Jekyll搭建。未来，将有更多的文章在本主页发表，敬请期待！