少年游 发表于 2009-9-6 12:15:43

请教，那位大侠能解决宏程序计算中的数值溢出问题

最近编了一个宏程序，其中有一个计算数值的程序段“#110=6.0-6.3+0.3”其结果应该得0。但在存储器中显示的是“******" 这应该是十进制转换为二进制计算后出现的溢出现象，但要是采用取整的方法，加工精度会受到影响。请教各位大侠，是否有更好的方法。

车刀 发表于 2009-9-6 16:00:15

用INT表示向上取整，假如你要的精度是0.001，那么
#110=(INT(INT((6.0-6.3+0.3)*1000))-0.1))/1000

少年游 发表于 2012-1-19 13:31:08

谢谢大侠指教{:soso_e179:}
页: [1]
查看完整版本: 请教，那位大侠能解决宏程序计算中的数值溢出问题