QA@IT

PicoPicoQ

レベル 6

サイト内ランキング 479

    ┗ 3位 (過去30日)

過去最高月間ランク 2

質問数 5件/回答数 1

投稿した質問の解決率 75% (3 / 4)

登録日 2016年3月3日

コメント
VB.netで精度を損なわずにSingleをDoubleに変換したい
紹介して頂いた内容の記事は読みました。 Single、Doubleには正確に0.2や0.3といった値が格納されないということも分かりました。 でも、どうしようもないから-22.3といった値は諦めてくれとは言えないので、どのように変換するのが良いかということで、Decimalの変換方法も投稿しました。 他に良い変換方法があれば教えてほしいです。
バッジ 新しいバッジ 期待の新人 を獲得
解決 VB.netで精度を損なわずにSingleをDoubleに変換したい
コメント
VB.netで精度を損なわずにSingleをDoubleに変換したい
文字列に変換するか、Decimalに変換するかで変換速度を調べると文字列よりDecimalに変換してからの方が5倍ほど速かったのでDecimalに変換して対応することにします。 投稿したプログラムを1億回×2回実行した結果です。
コメント
VB.netで精度を損なわずにSingleをDoubleに変換したい
コンピュータで浮動小数を扱うと誤差が出ることは知っていますが 誤差が出るから、-22.299999237060547は、-22.3として扱ってくれという意見は通りません。 というか、通りませんでした。 それで変換方法を模索し質問をしました。
回答
質問 VB.netで精度を損なわずにSingleをDoubleに変換したい