S3からEFSへデータ移行するときの最適解

EC2からS3へマウントして溜め込んだデータをEFSへ移行する必要が出てきたので、どれがいいのか検証してみました。

OS : CentOS6

s3fsを使用してS3をマウント

今回はテストということで

総ファイル数：3500

総ファイル容量：５GB

移行手段としては以下が候補になるかと思います。

１．「rsync」コマンド

２．「AWSCLI」コマンド

「rsysnc」コマンド

#time rsync -avp /mnt/s3/ /mnt/efs/

real    3m26.455s
user    0m11.519s
sys     0m3.369s

「AWSCLI」コマンド

#aws s3 sync  s3://hogehoge/ /mnt/efs/

real    1m28.607s
user    0m29.497s
sys     0m16.604s

少し雑な検証ですけどrsyncだとファイル数が多ければ多いほど不利です。。

この辺はs3fsを使用してる以上しょうがないきもしますね。

大人しくAWSCLIを使いましょう。

2&>1