ul732 发表于 2015-7-27 11:07:14

数据修约

   请教下各位大师，关于数据修约。前几天去校准一台分辨率0.5微米的投影仪，在测量点50mm时测量示值为49.9985，玻璃线纹尺50mm点的修正值是+0.12微米，在计算示值误差时，数据修约到-1.5微米？还是-1.6微米？是否跟投影仪分辨率有关？

ul732 发表于 2015-7-27 12:21:27

在计算示值误差时，实际偏差-1.62微米，我考虑到投影仪分辨力为0.5微米，为数位统一就修约到-1.5微米了，同事说应该修约到-1.6微米，不知怎么解释了。。请教大师！！

feierlxlx 发表于 2015-10-28 14:58:58

误差计算公式：读书值-标准值=49.9985-(50.00000+0.00012)=-0.00162mm=-1.62微米   保留位数和允许误差一致，误差修约为:-2微米。允许误差为:正负6微米。

嘎嘎 发表于 2017-10-9 22:41:26

保留一位就是-1.6
页: [1]
查看完整版本: 数据修约