机械社区

 找回密码
 注册会员

QQ登录

只需一步,快速开始

搜索
查看: 1940|回复: 2

请教,那位大侠能解决宏程序计算中的数值溢出问题

[复制链接]
发表于 2009-9-6 12:15:43 | 显示全部楼层 |阅读模式
最近编了一个宏程序,其中有一个计算数值的程序段“#110=6.0-6.3+0.3”其结果应该得0。但在存储器中显示的是“******" 这应该是十进制转换为二进制计算后出现的溢出现象,但要是采用取整的方法,加工精度会受到影响。请教各位大侠,是否有更好的方法。
回复

使用道具 举报

发表于 2009-9-6 16:00:15 | 显示全部楼层
用INT表示向上取整,假如你要的精度是0.001,那么
5 }5 b  F/ o* H& Q! m6 J#110=(INT(INT((6.0-6.3+0.3)*1000))-0.1))/1000
回复 支持 反对

使用道具 举报

 楼主| 发表于 2012-1-19 13:31:08 | 显示全部楼层
谢谢大侠指教{:soso_e179:}
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

小黑屋|手机版|Archiver|机械社区 ( 京ICP备10217105号-1,京ICP证050210号,浙公网安备33038202004372号 )

GMT+8, 2024-11-26 21:20 , Processed in 0.050558 second(s), 15 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表