در این مطلب، ویدئو آنتروپی شانون از تئوری تا پایتون با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:23:02
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,240 –> 00:00:02,080
سلام به همه، در ویدیوی امروز
2
00:00:02,080 –> 00:00:03,679
شما را در مورد آنتروپی شانون
3
00:00:03,679 –> 00:00:05,680
و نحوه پیاده سازی آن در پایتون راهنمایی می کنم
4
00:00:05,680 –> 00:00:06,720
5
00:00:06,720 –> 00:00:08,639
که قادر به تعیین کمیت مقدار
6
00:00:08,639 –> 00:00:11,360
اطلاعات در نوعی مجموعه داده یا
7
00:00:11,360 –> 00:00:12,480
8
00:00:12,480 –> 00:00:14,400
توالی در بسیاری از زمینه ها و برای بسیاری از
9
00:00:14,400 –> 00:00:16,880
مجموعه های داده است. من به ما اجازه میدهم به سؤالی پاسخ دهیم
10
00:00:16,880 –> 00:00:18,880
مانند اینکه
11
00:00:18,880 –> 00:00:20,960
کدام یک از این دو مجموعه داده
12
00:00:20,960 –> 00:00:23,920
از دیگری غنیتر از اطلاعات است، بنابراین
13
00:00:23,920 –> 00:00:26,400
آنتروپی شانا یکی از چنین متغیرهایی است که
14
00:00:26,400 –> 00:00:28,960
با توجه به تاریخچه در
15
00:00:28,960 –> 00:00:31,519
مورد توالی یا توزیع احتمال
16
00:00:31,519 –> 00:00:34,640
، میتوانم میزان پیچیدگی اسلش اطلاعات را به شما بگویم.
17
00:00:34,640 –> 00:00:36,559
18
00:00:36,559 –> 00:00:39,360
بنابراین،
19
00:00:39,360 –> 00:00:41,360
آنتروپی کانال بارها
20
00:00:41,360 –> 00:00:42,640
و بارها در
21
00:00:42,640 –> 00:00:44,640
یادگیری ماشین
22
00:00:44,640 –> 00:00:48,719
در درخت تصمیم در پکن در فرانسه ظاهر می شود، بنابراین
23
00:00:48,719 –> 00:00:51,280
درک پس زمینه آن یا
24
00:00:51,280 –> 00:00:53,680
دقیقاً مانند سطح سطح آن
25
00:00:53,680 –> 00:00:56,000
به شما امکان می دهد درک بهتری
26
00:00:56,000 –> 00:00:57,840
از برخی از موارد داشته باشید. تجزیه و تحلیلی که
27
00:00:57,840 –> 00:00:59,760
قرار است جمع آوری کنیم، بنابراین برای کسانی که
28
00:00:59,760 –> 00:01:02,079
ترجیح می دهند یک پست وبلاگ یا فقط
29
00:01:02,079 –> 00:01:04,319
یک کد را مرور کنند، من هر دوی آنها را در
30
00:01:04,319 –> 00:01:06,240
توضیحات این ویدیو دارم، بنابراین ما می رویم
31
00:01:06,240 –> 00:01:08,720
باید دنباله زیر را طی
32
00:01:08,720 –> 00:01:10,960
کنید، اما با خیال راحت به اطراف رد شوید، من
33
00:01:10,960 –> 00:01:13,760
هر بخش را حاشیه نویسی کرده ام، بنابراین ابتدا می
34
00:01:13,760 –> 00:01:15,520
خواهیم مانند یک
35
00:01:15,520 –> 00:01:18,320
تعریف کلی از چیستی اطلاعات
36
00:01:18,320 –> 00:01:20,479
و چگونگی ارتباط آن با آنتروپی کانال بررسی
37
00:01:20,479 –> 00:01:22,400
کنیم. میخواهیم نگاهی
38
00:01:22,400 –> 00:01:24,479
به فرمول بیندازیم که بسیار ساده است
39
00:01:24,479 –> 00:01:26,320
و مطمئن شویم که هر یک
40
00:01:26,320 –> 00:01:28,560
از بخشها را درک کردهایم، در نهایت
41
00:01:28,560 –> 00:01:32,240
آنتروپی سایه را در پایتون
42
00:01:32,240 –> 00:01:34,960
با مجموعهای از دادهها پیادهسازی
43
00:01:34,960 –> 00:01:36,320
44
00:01:36,320 –> 00:01:38,960
میکنیم که این موضوع مهم است.
45
00:01:38,960 –> 00:01:43,119
46
00:01:43,119 –> 00:01:45,119
بنابراین، بیایید
47
00:01:45,119 –> 00:01:47,200
با تعریف اطلاعات شروع کنیم
48
00:01:47,200 –> 00:01:49,680
و مانند همیشه ویکیپدیا تعریف بسیار
49
00:01:49,680 –> 00:01:52,240
خوبی دارد، من فقط میخواهم آن را
50
00:01:52,240 –> 00:01:54,640
به سرعت در اینجا بخوانم،
51
00:01:54,640 –> 00:01:56,719
بنابراین ایده اصلی اطلاعات تئوری این است
52
00:01:56,719 –> 00:01:59,040
که ارزش اطلاعاتی یک
53
00:01:59,040 –> 00:02:00,799
پیام ارتباطی
54
00:02:00,799 –> 00:02:02,399
به میزان شگفتانگیز بودن محتوای
55
00:02:02,399 –> 00:02:04,880
پیام بستگی دارد، بنابراین
56
00:02:04,880 –> 00:02:06,960
57
00:02:06,960 –> 00:02:08,959
اگر رویدادی با احتمال زیاد اتفاق بیفتد،
58
00:02:08,959 –> 00:02:10,800
پیام بسیار ناچیز است.
59
00:02:10,800 –> 00:02:12,800
از سوی دیگر، اگر یک
60
00:02:12,800 –> 00:02:16,720
رویداد بسیار بعید اتفاق بیفتد،
61
00:02:16,720 –> 00:02:19,440
پیام بسیار آموزندهتر است، به عنوان
62
00:02:19,440 –> 00:02:21,440
مثال، آگاهی از یک عدد خاص،
63
00:02:21,440 –> 00:02:22,959
شماره برنده یک
64
00:02:22,959 –> 00:02:25,360
قرعهکشی نخواهد بود، اطلاعات بسیار کمی ارائه میکند،
65
00:02:25,360 –> 00:02:27,120
زیرا هر شماره انتخابی خاص
66
00:02:27,120 –> 00:02:29,680
تقریباً به طور قطعی خواهد بود. برنده نشوید، اما
67
00:02:29,680 –> 00:02:31,599
دانستن اینکه یک عدد خاص
68
00:02:31,599 –> 00:02:33,599
در بخت آزمایی برنده خواهد شد، ارزش اطلاعاتی بالایی
69
00:02:33,599 –> 00:02:36,080
دارد، زیرا
70
00:02:36,080 –> 00:02:38,959
نتیجه یک رویداد با احتمال بسیار کم را منتقل می کند،
71
00:02:38,959 –> 00:02:39,680
بنابراین
72
00:02:39,680 –> 00:02:43,360
در اینجا می بینید که پیچیدگی اطلاعات احتمال غافلگیری
73
00:02:43,360 –> 00:02:46,000
74
00:02:46,000 –> 00:02:47,760
همه اینها به نوعی با هم گره خورده است،
75
00:02:47,760 –> 00:02:50,239
اما نوع زیربنایی ریاضی است.
76
00:02:50,239 –> 00:02:51,760
سفتافزار برای همه اینها یک
77
00:02:51,760 –> 00:02:54,400
احتمال است که اگر
78
00:02:54,400 –> 00:02:56,239
جزء یک پیام
79
00:02:56,239 –> 00:02:59,360
در یک دنباله خیلی بعید است
80
00:02:59,360 –> 00:03:00,879
که وجود داشته باشد و آیا وجود دارد،
81
00:03:00,879 –> 00:03:03,760
اطلاعات زیادی شگفتآور است، اما اگر
82
00:03:03,760 –> 00:03:04,959
83
00:03:04,959 –> 00:03:07,120
مانند مؤلفهای که بسیار رایج است،
84
00:03:07,120 –> 00:03:09,200
وجود ندارد اصلاً تعجب آور است، بنابراین
85
00:03:09,200 –> 00:03:11,200
اگر ما به دنبال
86
00:03:11,200 –> 00:03:12,400
87
00:03:12,400 –> 00:03:14,400
زبان انگلیسی بودیم
88
00:03:14,400 –> 00:03:15,680
و من در
89
00:03:15,680 –> 00:03:17,440
مورد آن صحبت می کردم متن
90
00:03:17,440 –> 00:03:19,280
اگر به شما بگویم در
91
00:03:19,280 –> 00:03:20,319
عبارت
92
00:03:20,319 –> 00:03:21,280
um
93
00:03:21,280 –> 00:03:23,200
اطلاعات زیادی وجود ندارد می تواند
94
00:03:23,200 –> 00:03:24,560
هر عبارتی باشد
95
00:03:24,560 –> 00:03:27,680
آه اگر به شما بگویم یک z یا x وجود دارد
96
00:03:27,680 –> 00:03:28,879
97
00:03:28,879 –> 00:03:30,480
عبارت مقدار چیزی که می توانید
98
00:03:30,480 –> 00:03:32,400
اینجا بگویید بسیار محدود است اطلاعات بیشتری وجود دارد
99
00:03:32,400 –> 00:03:35,840
بنابراین یک
100
00:03:35,840 –> 00:03:37,760
رابطه معکوس بین اطلاعات و
101
00:03:37,760 –> 00:03:40,720
احتمال وقوع وجود دارد، بنابراین هر چه
102
00:03:40,720 –> 00:03:42,640
چیزی محتملتر باشد، اطلاعات کمتری داشته باشد
103
00:03:42,640 –> 00:03:44,799
، بالاترین
104
00:03:44,799 –> 00:03:47,680
اطلاعات کمترین احتمال دارد،
105
00:03:47,680 –> 00:03:49,840
بنابراین با توجه به این بینش اولیه، شانون
106
00:03:49,840 –> 00:03:52,000
تروی یک پایان نامه مقاله
107
00:03:52,000 –> 00:03:52,879
بسیار
108
00:03:52,879 –> 00:03:54,400
طولانی
109
00:03:54,400 –> 00:03:56,640
به نام
110
00:03:56,640 –> 00:03:58,879
نظریه ریاضی ارتباطات نوشت و در آنجا ما
111
00:03:58,879 –> 00:04:01,360
متریک um را تعریف می کنیم
112
00:04:01,360 –> 00:04:03,840
که احتمال زیاد رخ دادن
113
00:04:03,840 –> 00:04:05,360
برخی از مؤلفه ها
114
00:04:05,360 –> 00:04:06,879
و اطلاعات است و این متریک
115
00:04:06,879 –> 00:04:08,879
آنتروپی کانال نامیده
116
00:04:08,879 –> 00:04:10,799
می شود و قرار نیست در مقاله به عمق بپردازیم.
117
00:04:10,799 –> 00:04:12,480
118
00:04:12,480 –> 00:04:14,640
از
119
00:04:14,640 –> 00:04:16,720
این قسمت به این معنی است که بیایید همین الان این کار را انجام دهیم،
120
00:04:16,720 –> 00:04:18,320
121
00:04:18,320 –> 00:04:19,759
بنابراین
122
00:04:19,759 –> 00:04:21,759
ما اینجا هستیم، این راه اندازی با فناوری بسیار پیشرفته من است،
123
00:04:21,759 –> 00:04:23,440
124
00:04:23,440 –> 00:04:26,960
ما می توانیم فرمول را طی کنیم، بنابراین اگر شما
125
00:04:26,960 –> 00:04:29,360
به آن نگاه کنید، فرمول بسیار ساده به نظر می رسد،
126
00:04:29,360 –> 00:04:31,520
حتی اگر شما آنقدرها هم
127
00:04:31,520 –> 00:04:34,880
تمایل ریاضی ندارید، من
128
00:04:34,880 –> 00:04:36,240
می خواهم شما را در کل موضوع
129
00:04:36,240 –> 00:04:39,280
راهنمایی کنم، اما این مقدار در اینجا
130
00:04:39,280 –> 00:04:41,680
om، آنتروپی شانون است
131
00:04:41,680 –> 00:04:43,840
که متریک آنتروپی است، بنابراین شما باید داشته باشید.
132
00:04:43,840 –> 00:04:46,080
چند چیز um
133
00:04:46,080 –> 00:04:48,080
که ما می خواهیم شروع کنیم، بنابراین h
134
00:04:48,080 –> 00:04:50,800
نشان دهنده مقدار
135
00:04:50,800 –> 00:04:54,960
آنتروپی و h آن در uh x است که به
136
00:04:54,960 –> 00:04:57,199
نوعی یک
137
00:04:57,199 –> 00:05:00,080
بردار است، دنباله ای از uh
138
00:05:00,080 –> 00:05:01,039
از چیزهای
139
00:05:01,039 –> 00:05:02,320
um است، بنابراین
140
00:05:02,320 –> 00:05:05,039
این x بزرگ مانند این است که اگر ما اگر
141
00:05:05,039 –> 00:05:08,560
با DNA نگاه میکردیم، مانند
142
00:05:08,560 –> 00:05:10,720
d
143
00:05:11,840 –> 00:05:14,720
این x است، بنابراین
144
00:05:14,720 –> 00:05:17,840
این دنباله از
145
00:05:17,840 –> 00:05:20,240
چیزها مقدار x خوب است، بنابراین
146
00:05:20,240 –> 00:05:22,880
این چیزی است که ما در اینجا داریم و سپس
147
00:05:22,880 –> 00:05:24,960
شما x i
148
00:05:24,960 –> 00:05:27,680
را در آنجا دارید، بنابراین اینجاست که
149
00:05:27,680 –> 00:05:31,039
میتواند بسیار گیج کننده باشد. x i
150
00:05:31,039 –> 00:05:32,160
151
00:05:32,160 –> 00:05:33,759
152
00:05:33,759 –> 00:05:36,320
توالی um احتمالی یک جزء ممکن از دنباله شما را نشان
153
00:05:36,320 –> 00:05:40,080
می دهد، بنابراین اگر ما به dna um نگاه
154
00:05:40,080 –> 00:05:41,680
می کنیم، این را می گویم زیرا مثال بعد
155
00:05:41,680 –> 00:05:43,840
از آن با dna خواهد بود، بسیار خوب، شما چهار
156
00:05:43,840 –> 00:05:44,880
امکان
157
00:05:44,880 –> 00:05:47,680
دارید x شما دارید a شما دارید t شما c
158
00:05:47,680 –> 00:05:49,919
دارید و شما g دارند که نشان دهنده نوکلئوتیدهای مختلف هستند
159
00:05:49,919 –> 00:05:52,320
160
00:05:52,320 –> 00:05:54,080
بسته
161
00:05:54,080 –> 00:05:55,919
162
00:05:55,919 –> 00:05:58,960
به نحوه اجرای آن، این میتواند
163
00:05:58,960 –> 00:06:00,720
به
164
00:06:00,720 –> 00:06:03,840
کاراکتر واقعی در دنباله نیز اشاره داشته باشد، بنابراین
165
00:06:03,840 –> 00:06:06,479
اگر دنباله بزرگ
166
00:06:06,479 –> 00:06:09,759
300 نوکلئوتیدی um
167
00:06:09,759 –> 00:06:12,319
x را داشتید، میتوانم آن را درست نشان دهم، بنابراین
168
00:06:12,319 –> 00:06:14,080
میتوانید اولین مورد را نشان دهید و سپس
169
00:06:14,080 –> 00:06:16,479
نشان دهنده دومی خواهد بود.
170
00:06:16,479 –> 00:06:19,039
و این دو میتوانند از نظر فنی با
171
00:06:19,039 –> 00:06:21,600
هم باشند، بنابراین
172
00:06:21,600 –> 00:06:24,639
173
00:06:24,639 –> 00:06:26,560
خیلی مهم نیست، خیلی مهم نیست، زیرا
174
00:06:26,560 –> 00:06:28,800
معمولاً و
175
00:06:28,800 –> 00:06:30,960
آنتروپی کانال را به همان روشی که
176
00:06:30,960 –> 00:06:32,720
هر دو چیز را محاسبه کردهاید مقایسه میکنید،
177
00:06:32,720 –> 00:06:35,039
اما فقط حواستان باشد که برخی
178
00:06:35,039 –> 00:06:36,720
در برخی از
179
00:06:36,720 –> 00:06:38,800
مقاله ها یا برخی تحلیل ها
180
00:06:38,800 –> 00:06:41,440
این به
181
00:06:41,440 –> 00:06:43,680
عنوان i به عنوان یک موقعیت
182
00:06:43,680 –> 00:06:45,759
در دنباله در نظر گرفته می شود و گاهی اوقات i
183
00:06:45,759 –> 00:06:48,160
به عنوان نوع شخصیت شما
184
00:06:48,160 –> 00:06:49,280
185
00:06:49,280 –> 00:06:50,000
186
00:06:50,000 –> 00:06:52,880
در این مورد در نظر گرفته می شود، بنابراین در این مورد یا
187
00:06:52,880 –> 00:06:54,560
این است یا
188
00:06:54,560 –> 00:06:57,440
شاخص در مانند
189
00:06:57,440 –> 00:06:59,440
آرایه دنباله
190
00:06:59,440 –> 00:07:02,880
بنابراین um که یک چیز است و سپس ما
191
00:07:02,880 –> 00:07:03,759
192
00:07:03,759 –> 00:07:04,880
این را داریم p
193
00:07:04,880 –> 00:07:08,080
و سپس log از p از x i uh پس
194
00:07:08,080 –> 00:07:09,759
این احتمال
195
00:07:09,759 –> 00:07:10,960
um
196
00:07:10,960 –> 00:07:14,639
از x i احتمال این است که x i
197
00:07:14,639 –> 00:07:15,680
um
198
00:07:15,680 –> 00:07:17,759
در چیز ظاهر شود، بنابراین اگر ما به متن
199
00:07:17,759 –> 00:07:19,199
انگلیسی نگاه می کنم
200
00:07:19,199 –> 00:07:20,160
201
00:07:20,160 –> 00:07:22,960
، احتمال اینکه ما e یا x با هم متفاوت هستند
202
00:07:22,960 –> 00:07:23,840
203
00:07:23,840 –> 00:07:24,720
درست است،
204
00:07:24,720 –> 00:07:26,880
من نمی دانم احتمال آن چقدر است، اما
205
00:07:26,880 –> 00:07:28,479
اگر
206
00:07:28,479 –> 00:07:30,400
بخواهید همه چیزهایی را که تا به حال به انگلیسی نوشته شده است
207
00:07:30,400 –> 00:07:32,080
و به زبان انگلیسی
208
00:07:32,080 –> 00:07:33,599
در um،
209
00:07:33,599 –> 00:07:35,280
بله، به انگلیسی استفاده کنید، مطمئناً
210
00:07:35,280 –> 00:07:38,000
می توانید یک توزیع احتمال uh
211
00:07:38,000 –> 00:07:39,280
دریافت
212
00:07:39,280 –> 00:07:42,319
کنید، احتمالاً برای uh وقوع e
213
00:07:42,319 –> 00:07:43,680
و احتمال
214
00:07:43,680 –> 00:07:45,039
ظاهر x،
215
00:07:45,039 –> 00:07:45,840
بنابراین
216
00:07:45,840 –> 00:07:47,840
این همان چیزی است که
217
00:07:47,840 –> 00:07:51,680
آنتروپی کانال ما را تشکیل می دهد، بنابراین اگر سعی
218
00:07:51,680 –> 00:07:54,400
می کنید ممکن است وارد آن شوید.
219
00:07:54,400 –> 00:07:56,000
برای استفاده از یک
220
00:07:56,000 –> 00:07:58,400
تحلیل کارآفرینی ممکن
221
00:07:58,400 –> 00:08:00,240
است کمی گیج شوید زیرا
222
00:08:00,240 –> 00:08:02,160
این حق را ندارید، ممکن است این
223
00:08:02,160 –> 00:08:03,759
احتمال را نداشته باشید که
224
00:08:03,759 –> 00:08:06,560
a در یک دنباله dna ظاهر شود
225
00:08:06,560 –> 00:08:09,680
و اگر به دنبال کمک
226
00:08:09,680 –> 00:08:11,280
باشید شاید کسی به شما
227
00:08:11,280 –> 00:08:13,520
بگوید که اگر بخواهید برای استفاده از چالشگر
228
00:08:13,520 –> 00:08:15,120
b باید
229
00:08:15,120 –> 00:08:17,199
230
00:08:17,199 –> 00:08:19,039
231
00:08:19,039 –> 00:08:21,840
احتمال وقوع چیزهای خود را
232
00:08:21,840 –> 00:08:23,680
داشته باشید. می توانید
233
00:08:23,680 –> 00:08:25,919
تقریبی از این موارد را با
234
00:08:25,919 –> 00:08:27,199
محاسبه فرکانس
235
00:08:27,199 –> 00:08:29,280
در دنباله خود محاسبه کنید که
236
00:08:29,280 –> 00:08:31,280
x i به نظر می رسد
237
00:08:31,280 –> 00:08:32,799
که می تواند کار کند
238
00:08:32,799 –> 00:08:33,760
239
00:08:33,760 –> 00:08:36,080
. این فقط
240
00:08:36,080 –> 00:08:38,559
چیزی است که باید در نظر داشته باشید، بنابراین
241
00:08:38,559 –> 00:08:41,120
اگر فرمول را تجزیه کنیم، کاری
242
00:08:41,120 –> 00:08:42,719
که شما انجام می دهید این است که شما
243
00:08:42,719 –> 00:08:46,399
منفی کل این موضوع را درست
244
00:08:46,399 –> 00:08:47,680
می گیرید، بنابراین
245
00:08:47,680 –> 00:08:49,120
شما منفی می گیرید زیرا این
246
00:08:49,120 –> 00:08:50,880
چیز منفی خواهد بود. بنابراین اگر
247
00:08:50,880 –> 00:08:52,959
از آن یک منفی بگیرید، مثبت خواهد بود
248
00:08:52,959 –> 00:08:54,080
، بنابراین یک
249
00:08:54,080 –> 00:08:57,920
مقدار مثبت خواهید گرفت و سپس در اینجا
250
00:08:57,920 –> 00:09:00,560
اوم، این قسمت
251
00:09:00,560 –> 00:09:03,680
فقط تکرار می کنید از i برابر با یک، بنابراین اولین
252
00:09:03,680 –> 00:09:05,920
نوع چیزهایی که دارید، بیایید بگو خوب
253
00:09:05,920 –> 00:09:07,360
اضافه کن
254
00:09:07,360 –> 00:09:09,200
255
00:09:09,200 –> 00:09:12,160
این من یکی است این دو
256
00:09:12,160 –> 00:09:13,920
سه است و این چهار است
257
00:09:13,920 –> 00:09:16,080
و n در آنجا برابر با چهار
258
00:09:16,080 –> 00:09:16,880
سمت راست
259
00:09:16,880 –> 00:09:18,320
260
00:09:18,320 –> 00:09:20,959
261
00:09:20,959 –> 00:09:24,160
262
00:09:24,160 –> 00:09:26,560
است. دوباره این کار را
263
00:09:26,560 –> 00:09:28,880
برای بار دوم انجام میدهم، اگر بخواهید از این به عنوان دنباله استفاده کنید، آن را در روز
264
00:09:28,880 –> 00:09:31,839
سوم در c و چهار بار در g انجام میدهم، در
265
00:09:31,839 –> 00:09:34,080
266
00:09:34,080 –> 00:09:36,800
عوض آن را روی هر یک از عناصر
267
00:09:36,800 –> 00:09:38,080
جداگانه اجرا میکنید،
268
00:09:38,080 –> 00:09:40,080
اما n خیلی
269
00:09:40,080 –> 00:09:41,680
بزرگتر باشد،
270
00:09:41,680 –> 00:09:42,560
271
00:09:42,560 –> 00:09:45,279
بنابراین برای قسمت دیگر و
272
00:09:45,279 –> 00:09:48,240
قسمت داخلی آن بسیار سیم کارت است خواهش می کنم شما
273
00:09:48,240 –> 00:09:49,120
فقط
274
00:09:49,120 –> 00:09:52,640
احتمال x i
275
00:09:52,640 –> 00:09:54,800
um را ضرب در
276
00:09:54,800 –> 00:09:57,279
گزارش احتمال x i می کنید این فقط
277
00:09:57,279 –> 00:09:59,600
همین است که شما انجام می دهید،
278
00:09:59,600 –> 00:10:01,200
بنابراین اولین باری که
279
00:10:01,200 –> 00:10:04,240
احتمال یک بار گزارش
280
00:10:04,240 –> 00:10:06,480
احتمال را انجام می دهید از یک
281
00:10:06,480 –> 00:10:07,360
به
282
00:10:07,360 –> 00:10:09,600
علاوه احتمال t
283
00:10:09,600 –> 00:10:11,519
ضربدر لاگ احتمال t و
284
00:10:11,519 –> 00:10:13,360
غیره تا زمانی که
285
00:10:13,360 –> 00:10:15,279
به پایان رسیدید، همه اینها را جمع می کنید و سپس
286
00:10:15,279 –> 00:10:16,640
287
00:10:16,640 –> 00:10:18,640
این عدد منفی را به دست می آورید که
288
00:10:18,640 –> 00:10:20,399
می خواهید منفی آن را
289
00:10:20,399 –> 00:10:21,440
290
00:10:21,440 –> 00:10:23,600
بگیرید
291
00:10:23,600 –> 00:10:26,399
. مقدار متاسفم
292
00:10:26,399 –> 00:10:29,120
برای لاگ پایه
293
00:10:29,120 –> 00:10:30,160
um
294
00:10:30,160 –> 00:10:33,040
چیست، شما تصمیم می گیرید که پایه چیست، اما پایه
295
00:10:33,040 –> 00:10:37,360
به شما می گوید که
296
00:10:37,360 –> 00:10:40,800
واحد متریک آنتروپی شانون شما چقدر است، بنابراین
297
00:10:40,800 –> 00:10:42,480
اگر فکر می کنید، من معتقدم که
298
00:10:42,480 –> 00:10:46,560
اگر پایه بگیرید دو um واحد
299
00:10:46,560 –> 00:10:49,040
آنتروپی شما شانون ام نامیده می شود
300
00:10:49,040 –> 00:10:50,240
301
00:10:50,240 –> 00:10:52,240
و من فکر می کنم اگر پایه 10 را بگیرید
302
00:10:52,240 –> 00:10:55,120
متفاوت خواهد بود، بنابراین همه چیز بستگی دارد فقط
303
00:10:55,120 –> 00:10:57,200
مطمئن
304
00:10:57,200 –> 00:10:59,200
باشید که در تمام طول مقایسه از یک چیز um استفاده می کنید.
305
00:10:59,200 –> 00:11:00,800
و اینکه شما از
306
00:11:00,800 –> 00:11:02,079
همان چیزی استفاده می کنید
307
00:11:02,079 –> 00:11:06,480
که fi معمولاً از بخش مطالعه استفاده می کنند
308
00:11:06,480 –> 00:11:08,640
و این تقریباً این است که
309
00:11:08,640 –> 00:11:10,480
هیچ چیز دیگری
310
00:11:10,480 –> 00:11:12,800
در فرمول وجود ندارد. استفاده از فرمول بسیار ساده است و استفاده از آن بسیار ساده است
311
00:11:12,800 –> 00:11:16,240
و تنها پیچیدگی زمانی ایجاد می شود
312
00:11:16,240 –> 00:11:18,560
که احتمال
313
00:11:18,560 –> 00:11:19,920
Uh
314
00:11:19,920 –> 00:11:21,839
از همه مؤلفه های uh خود را نداشته باشید. شما
315
00:11:21,839 –> 00:11:24,000
این کار را انجام میدهید،
316
00:11:24,000 –> 00:11:26,160
بله، ما آن را
317
00:11:26,160 –> 00:11:28,800
در