BitMap算法 .net實現 用於去重並且排序,適用於大型權限管理 ,大數據去重排序


BitMap利用byte特性 針對排序+去重  最佳實踐: 100萬條數據的排序+去重用時200毫秒左右

  static void Main(string[] args)
        {
            int[] data = new int[10000000];
            /*alias*/
            Random r = new Random();
            for (int i = 0; i < data.Length; i++)
            {
                data[i] = r.Next(1, 10000000);
            }
            Stopwatch stop = new Stopwatch();
            stop.Start();
            List<byte> lstbyte = new List<byte>();
            foreach (var item in data)
            {
                int unit = item / 8;
                int index = item % 8;
                if (lstbyte.Count <= unit)
                {
                    lstbyte.AddRange(new byte[unit-lstbyte.Count + 1]);
                }
                lstbyte[unit] = set_bit(lstbyte[unit], index + 1, true);
            }
            List<int> result = new List<int>();
            for (int i = 0; i < lstbyte.Count; i++)
            {
                int currentIndex = i*8;
                List<int> lstint = new List<int>();
                if (lstbyte[i] > 0)
                {
                    /**
                     * 這段代碼用於判斷,byte對應位置的值是否有1
                     * 例如: 目標 byte:0010 0001 
                     *  0010 0001 & 0000 0001 結果為1則 第一位為1
                     *  第二位比較方式就是目標byte和 0010 0001 & 0000 0010
                     *  為避免頻繁的裝箱拆箱操作,這里不用通過 Math.Pow計算平2的平方立方來得到目標比較數。
                     */
                    int b = lstbyte[i] & 0x01;
                    if (b  == 1)
                    {
                        lstint.Add(currentIndex+0);
                    }
                    b = lstbyte[i] & 0x02;
                    if (b == 2)
                    {
                        lstint.Add(currentIndex + 1);
                    }
                    b = lstbyte[i] & 0x04;
                    if (b == 4)
                    {
                        lstint.Add(currentIndex + 2);
                    }
                    b = lstbyte[i] & 0x08;
                    if (b == 8)
                    {
                        lstint.Add(currentIndex + 3);
                    }
                    b = lstbyte[i] & 0x10;
                    if (b == 16)
                    {
                        lstint.Add(currentIndex + 4);
                    }
                    b = lstbyte[i] & 0x20;
                    if (b == 32)
                    {
                        lstint.Add(currentIndex + 5);
                    }
                    b = lstbyte[i] & 0x40;
                    if (b == 64)
                    {
                        lstint.Add(currentIndex + 6);
                    }
                    b = lstbyte[i] & 0x80;
                    if (b == 128)
                    {
                        lstint.Add(currentIndex + 7);
                    }
                }
                result.AddRange(lstint);
            }
            stop.Stop();
            Console.WriteLine("結果數:"+result.Count);
            //foreach (var item in result)
            //{
            //    Console.WriteLine(item);
            //}
            Console.WriteLine(string.Concat("時間:" ,stop.ElapsedMilliseconds ,"毫秒"));
            Console.ReadKey();
        }
        /// <summary>
        /// 設置某一位的值
        /// </summary>
        /// <param name="data"></param>
        /// <param name="index">要設置的位, 值從低到高為 1-8</param>
        /// <param name="flag">要設置的值 true / false</param>
        /// <returns></returns>
        static byte set_bit(byte data, int index, bool flag)
        {
            if (index > 8 || index < 1)
                throw new ArgumentOutOfRangeException();
            int v = index < 2 ? index : (2 << (index - 2));
            return flag ? (byte)(data | v) : (byte)(data & ~v);
        }
View Code

 

運行速度和待排序去重的最大數的大小有關系


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com