P-值和显著性检验

假设我找人做了个网站 然后呢这个网站的背景 是白色儿的 然后我还知道每个网站用户 的平均使用时间 大概是20分钟吧 然后呢我想改进一波我的网站 主要是为了提升用户的平均使用时间嘛 我的馊主意就是把我的网站 做成黄色(指的是背景) 那如果我们真这么干了 我们要怎么才能知道这个黄色网站 到底有没有用呢 这个时候“显著性检验”就派上用场了 我们先作两个假设 一个是“零假设”，另一个是“备择假设” 零假设是个啥呢，就比如我说 “你发现的这个改变其实没啥意义” “这玩意儿发生本来就正常的”这类的话 在网站这个例子里，零假设就是 “你把网站背景变黄之后，人均使用时间还是20分钟” “变不变黄都没多少改变” 零假设之后还得有一个备择假设 我们的备择假设一般就是说 自从用了黄色背景之后，我网站的 人均使用时间的确有所提升 所以我们改背景之后的用户使用时间是大于20分钟的 下一步呢，我们就是要设定一个 阈值，也就是众所皆知的置信区间 然后你等下就知道为什么我们要提这个置信区间了 然后呢咱的显著性水平呢 是用希腊字母阿尔法来表示的 然后呢这个显著性水平一般都是 一除以100，5除以100，或者十分之一 也就是百分之一，百分之五，或者百分之十这样的小点的数 当然你也可能见到其他的显著性水平值 我们要做的呢，就是给我们这个例子 设定一个显著性水平值 咱就设它为0.05好了 然后呢我们要 对网站用户进行一波随机采样 咱以这些用户的使用时间作为样本 然后根据我们的样本数据做一些计算 就算样本平均啊，样本方差啊什么的 然后呢我们就说 ”如果我们的零假设是对的 ”我们在零假设正确的前提下采到一个 ”类似的样本的几率是多少呢？“ 如果我们在零假设正确的前提下采到类似样本 的几率小于咱的显著性水平值 也就是说这个几率小于百分之五 那我们就拒绝咱们的零假设 然后我们就为我们的备择假设找到了证据 但是如果我们找到相同样本的几率大于 咱们的显著性水平的话(也就是大于百分之五) 我们就说“我们不能把这个零假设给拒了啊” “因为咱们这个样本不足以担当 证明备择假设正确性 的证据” 然后我们再进入第三步 第三步就是去真正的采样 假设我们采了一个包含 100名新网站用户的样本 新网站就是换了黄背景的那个 然后呢我们对这个样本做一波计算 咱先来算样本平均 就假设这个样本的用户平均使用时间 算出来是25分钟 有的时候 当我们不知道整体方差 的值的时候 其实一般情况下我们都不会知道整体方差 我们可以用样本方差来凑一下 下一步就是计算P值 然后呢这个P值呢，也叫假定值， 代表着咱们在零假设正确的 条件下得到我们当前结果，也就是样本 的几率 你也可以把这个P值想作是 一种条件概率分布 在这里呢，P值指的就是 在确保咱们零假设正确性的前提下 咱们采到一个平均使用时间为25分钟的 100用户样本的几率 我们在其他视频里讲过怎么去算 我们假设我们样本平均的样本分布 呈现一种正态分布的趋势 然后我们可以用样本平均 样本容量 样本方差 甚至是t分布 来算我们的P值 然后呢根据P值大小我们来决定 是否抛弃这个可怜的零假设 接下来就是第五步 这一步呢，我们有两种情况 第一种呢，就是我们P值比阿尔法值(显著性水平值)要小 然后呢我们就直接舍弃零假设 然后断言说我们为备择假设找到了证据 但是呢，如果 咱的P值大于或等于阿尔法值 也就是大于等于0.05 大于等于咱们的显著性水平值 那咱们就不能舍弃这个零假设 虽然我们丢不掉零假设，但这不代表我们接受了它 我们只能说我们无法舍弃 我们无法舍弃这个零假设 比如说，经过冗长的计算之后 我们得到了一个P值满足上面这个条件 满足这个条件 就比如咱们P值是0.03 0.03一看就比0.05要小 所以我们就舍弃零假设 然后断言道找到了证明备择假设正确性的证据 这在逻辑上也能说的通 因为这就相当于是啥呢，相当于 如果我们假设零假设是正确的话 我们采到这么一个样本的几率只有百分之三 因为我们的这个几率 要比这边这个阈值要小 所以我们就拒绝这个零假设，然后 找到证明备择假设正确性的证据 还有一种情况就是 在经过一番惨绝人寰的计算之后 好不容易我们得到了一个P值 结果这P值竟然是0.5，结果呢就只能说明 ”在假设零假设正确性的前提下“ ”我们就算把背景搞成了黄色也没多大影响“ ”都是50%的几率得到这么一个结果罢了“（泪奔了） 那种情况下，因为P值比显著性水平值 要大一些 所以我们丢不掉这个零假设 一个能确保 零假设正确性 的悲惨世界就这么诞生了 然后在这个世界里再采一个 一毛一样的样本的几率并不算低 然后呢我们上面讲的这一大堆都是显著性检验的基础 你未来就会知道，这些东西几乎在各个 领域都要实际的应用 然后最后呢，我得把一点讲的 很清楚很清楚 我们的P值，也就是假定值 也就是我们用来决定是否抛弃零假设的值 代表着 在零假设正确的前提下 咱们能得到一个相似的样本的几率 有些理解不深的人可能会说 ”这个P值代表的是，根据我们所采到的样本，“ ”零假设正确的可能性“ 然而我想说上面这句话是错的 我们并不是想去算 零假设正确的可能性 我们想用P值去表示的是 ”在确保零假设正确性的情况下“ ”我们能够得到这样 一个样本的几率“ 如果这个几率低的一批的话 也就是P值比阿尔法值(显著性水平值)小的话 我们就舍弃零假设 并断言道我们为证明备择假设正确性找到了一个证据