<div dir="ltr"><div>Benjamin,</div><div>To get right to the point, you make a great tool. If there are things that can be done to make it faster awesome. However, sometimes in the name of sanity some decisions must be made.</div><div><br></div><div>People do need to realize dealing with storage in scale takes time. My TrueNAS (FreeNAS) scrub takes four hours for my main pool. A sync to a </div><div>new hard disk for my backup can take 10-12 hours between sum creation and copy. I do have an idea on how to make large pools and non-local storage faster. I'm not sure how</div><div>feasible it would be to create independent source hash records and import them to save time would be.</div><div><br></div><div><br></div><div><br></div><div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 9, 2020 at 1:31 PM Benjamin Pierce <<a href="mailto:bcpierce@cis.upenn.edu">bcpierce@cis.upenn.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">10-20% more time is probably not a dealbreaker, but even that much will be a problem for some people: we regularly hear from folks whose first sync takes more than a day!<div><br><div><br><blockquote type="cite"><div>On Sep 9, 2020, at 11:49 AM, Mike Bohde <<a href="mailto:mikebohde@gmail.com" target="_blank">mikebohde@gmail.com</a>> wrote:</div><br><div><div dir="ltr">From my understanding of the two methods SHA256 will be slower. If speed was the only concern sha1 and crc32 are objectively faster than even md5. If we were all dealing with the compute ability of machines 10 years ago or comparing datasets in the dozens of terabytes with massive changes I would be concerned.<div>In casual to soho use I doubt there to be much of a difference that an average end user would notice. Realistically I do not see a problem with a synchronization comparison taking 10 or 20% more time.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 9, 2020 at 11:14 AM Benjamin Pierce <<a href="mailto:bcpierce@cis.upenn.edu" target="_blank">bcpierce@cis.upenn.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Fantastic!  <br>
<br>
Changing from Digest to something more stable like SHA256 sounds reasonable, but would we expect any difference in performance?  I believe the point of md5 was that it was cheap to compute even for huge amounts of data…<br>
<br>
_______________________________________________<br>
Unison-hackers mailing list<br>
<a href="mailto:Unison-hackers@LISTS.SEAS.UPENN.EDU" target="_blank">Unison-hackers@LISTS.SEAS.UPENN.EDU</a><br>
<a href="https://lists.seas.upenn.edu/mailman/listinfo/unison-hackers" rel="noreferrer" target="_blank">https://LISTS.SEAS.UPENN.EDU/mailman/listinfo/unison-hackers</a><br>
</blockquote></div>
_______________________________________________<br>Unison-hackers mailing list<br><a href="mailto:Unison-hackers@LISTS.SEAS.UPENN.EDU" target="_blank">Unison-hackers@LISTS.SEAS.UPENN.EDU</a><br><a href="https://LISTS.SEAS.UPENN.EDU/mailman/listinfo/unison-hackers" target="_blank">https://LISTS.SEAS.UPENN.EDU/mailman/listinfo/unison-hackers</a><br></div></blockquote></div><br></div></div>_______________________________________________<br>
Unison-hackers mailing list<br>
<a href="mailto:Unison-hackers@LISTS.SEAS.UPENN.EDU" target="_blank">Unison-hackers@LISTS.SEAS.UPENN.EDU</a><br>
<a href="https://LISTS.SEAS.UPENN.EDU/mailman/listinfo/unison-hackers" rel="noreferrer" target="_blank">https://LISTS.SEAS.UPENN.EDU/mailman/listinfo/unison-hackers</a><br>
</blockquote></div></div>