در این مطلب، ویدئو چشم انداز مهندسی داده در سال 2021 – Talk Python Live Stream با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 1:07:35
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:05,600 –> 00:00:07,520
پخش زنده پادکست talk pythonomy
2
00:00:07,520 –> 00:00:09,360
فقط در یک لحظه شروع می شود
3
00:00:09,360 –> 00:00:11,040
از اینکه امروز در talk python به ما ملحق شدید متشکرم
4
00:00:11,040 –> 00:00:12,799
هدف ما این است که
5
00:00:12,799 –> 00:00:14,400
داستان های پایتون را زنده
6
00:00:14,400 –> 00:00:16,079
کنیم.
7
00:00:16,079 –> 00:00:18,160
8
00:00:18,160 –> 00:00:20,000
چت کنید و در صورت امکان
9
00:00:20,000 –> 00:00:22,000
نظر شما را در مورد برنامه نشان خواهیم داد
10
00:00:22,000 –> 00:00:24,160
من میزبان شما هستم مایکل کندی مهمان من هستم
11
00:00:24,160 –> 00:00:27,519
و به زودی روی صفحه نمایش
12
00:00:29,039 –> 00:00:30,800
خواهم بود سلام به همه از اینکه در برنامه زنده به ما ملحق شدید متشکرم
13
00:00:30,800 –> 00:00:32,558
و
14
00:00:32,558 –> 00:00:35,200
همانطور که گفتم نظرات و ایده های خود را مطرح کنید
15
00:00:35,200 –> 00:00:36,399
نظرات
16
00:00:36,399 –> 00:00:38,320
توبیاس ممکن است مهمانان من را در اینجا ببیند و من
17
00:00:38,320 –> 00:00:40,000
سعی خواهیم کرد آن قسمت از برنامه را بسازیم،
18
00:00:40,000 –> 00:00:41,280
بنابراین بدون هیچ چیز دیگری
19
00:00:41,280 –> 00:00:43,760
دستگاه آماده شروع آن است، بله، به نظر
20
00:00:43,760 –> 00:00:45,760
خوب می رسد، ممنون که من را در مایک گذاشتید،
21
00:00:45,760 –> 00:00:48,879
بله عالی است که شما اینجا هستید
22
00:00:48,879 –> 00:00:50,640
، خیلی خوب است که آن را داشته باشید. شما برگشتید من
23
00:00:50,640 –> 00:00:52,079
اخیراً
24
00:00:52,079 –> 00:00:55,680
صفحه پادکست خود را اینجا نگاه می کردم و می گوید که
25
00:00:55,680 –> 00:00:56,559
شما در برنامه
26
00:00:56,559 –> 00:01:00,079
68 حضور داشتید که بسیار سرگرم کننده است ما آن موقع بودیم که
27
00:01:00,079 –> 00:01:02,719
کریس پتی با شما همراه بود و همچنین
28
00:01:02,719 –> 00:01:04,080
در اطراف پادکست و بافتنی
29
00:01:04,080 –> 00:01:07,360
و پسری که در سال 2016 بود. بله
30
00:01:07,360 –> 00:01:08,960
زنبور است
31
00:01:08,960 –> 00:01:10,080
مدتی است که در این مدت
32
00:01:10,080 –> 00:01:11,760
بودهایم، منظورم از قضا این است که ما در عرض یک هفته از همدیگر شروع کردیم،
33
00:01:11,760 –> 00:01:12,000
34
00:01:12,000 –> 00:01:13,520
اما بله، هنوز
35
00:01:13,520 –> 00:01:15,360
هر دوی ما میرویم بله
36
00:01:15,360 –> 00:01:17,840
بله، قطعاً یک سفر سرگرمکننده
37
00:01:17,840 –> 00:01:18,640
و
38
00:01:18,640 –> 00:01:20,400
بسیار عالی بوده است. از
39
00:01:20,400 –> 00:01:21,920
مزایای غیرمنتظره و افراد بزرگی که در
40
00:01:21,920 –> 00:01:24,159
نتیجه آن توانستم با آنها ملاقات کنم،
41
00:01:24,159 –> 00:01:26,320
قطعاً خوشحالم که می توانم در
42
00:01:26,320 –> 00:01:27,520
سفر با شما باشم،
43
00:01:27,520 –> 00:01:29,600
بله، همین طور اینجا پادکست درهای باز را پخش می
44
00:01:29,600 –> 00:01:30,640
45
00:01:30,640 –> 00:01:32,479
کنم، مثل هیچ چیز دیگری، این افراد دیوانه هستند که
46
00:01:32,479 –> 00:01:33,759
معمولاً این کار را نمی کنند. میخواهم با شما
47
00:01:33,759 –> 00:01:34,720
مثل هی میخواهید در برنامه حضور داشته باشید، بله،
48
00:01:34,720 –> 00:01:35,840
بیایید ناگهان یک ساعت را با هم بگذرانیم،
49
00:01:35,840 –> 00:01:36,560
درست است
50
00:01:36,560 –> 00:01:39,840
که فوقالعاده است، پس چه چیز جدیدی از
51
00:01:39,840 –> 00:01:41,200
سال 2016
52
00:01:41,200 –> 00:01:42,880
تا به حال انجام دادهاید، پس
53
00:01:42,880 –> 00:01:44,560
قطعاً تعدادی از چیزها
54
00:01:44,560 –> 00:01:47,280
، منظورم یکی است از آنجایی که من
55
00:01:47,280 –> 00:01:49,520
در نهایت به عنوان مجری انفرادی بودم، بنابراین
56
00:01:49,520 –> 00:01:50,240
57
00:01:50,240 –> 00:01:53,280
خودم پادکست را در آن نمایش اجرا می کردم،
58
00:01:53,280 –> 00:01:55,040
دقیقاً به خاطر ندارم که چه زمانی این اتفاق افتاد،
59
00:01:55,040 –> 00:01:56,320
اما فکر می کنم احتمالاً در حوالی سال
60
00:01:56,320 –> 00:01:57,840
2017.
61
00:01:57,840 –> 00:02:00,000
اوم، تقریباً در همان زمان می دانم که من
62
00:02:00,000 –> 00:02:01,840
در برنامه شما حضور داشتید، شما در برنامه
63
00:02:01,840 –> 00:02:03,920
من بودید بعد از آن
64
00:02:03,920 –> 00:02:05,280
دوباره در برنامه حضور داشتید
65
00:02:05,280 –> 00:02:07,439
و در مورد تجربه خود از
66
00:02:07,439 –> 00:02:10,959
کار با mongodb در پایتون صحبت میکردید،
67
00:02:10,959 –> 00:02:12,400
میدانید فراتر از آن، من
68
00:02:12,400 –> 00:02:14,640
یک پادکست دوم را نیز راهاندازی کردم، بنابراین
69
00:02:14,640 –> 00:02:16,720
پادکستی در آن دارم که بر پایتون تمرکز دارد.
70
00:02:16,720 –> 00:02:18,000
و جامعه آن
71
00:02:18,000 –> 00:02:20,720
چیزهای زیادی در مورد توسعه وب یادگیری ماشینی علم داده را
72
00:02:20,720 –> 00:02:22,239
73
00:02:22,239 –> 00:02:24,319
توسعه میدهد شما اسم آن را هر کاری
74
00:02:24,319 –> 00:02:25,760
که مردم با پایتون انجام میدهند میگذارید، من
75
00:02:25,760 –> 00:02:26,879
آنها را روی آن
76
00:02:26,879 –> 00:02:29,040
گذاشتهام، اما من همچنین یک نمایش دوم را
77
00:02:29,040 –> 00:02:31,200
با تمرکز بر مهندسی داده آغاز کردهام،
78
00:02:31,200 –> 00:02:33,599
بنابراین فراتر از فقط محدودیتهای
79
00:02:33,599 –> 00:02:35,280
پایتون در این
80
00:02:35,280 –> 00:02:38,319
یک جایگاه جداگانه است، بنابراین زبانهای بیشتر اما
81
00:02:38,319 –> 00:02:41,360
دامنه مشکل متمرکزتر است و
82
00:02:41,360 –> 00:02:42,879
بنابراین من از یادگیری
83
00:02:42,879 –> 00:02:45,360
بیشتر در مورد حوزه مهندسی داده لذت بردهام
84
00:02:45,360 –> 00:02:48,480
و بنابراین در واقع
85
00:02:48,480 –> 00:02:50,959
همراه خوبی برای این دو است که در آن موارد زیادی وجود دارد.
86
00:02:50,959 –> 00:02:52,560
از علم دادهای که در پایتون اتفاق میافتد،
87
00:02:52,560 –> 00:02:53,920
بنابراین من میتوانم آن طرف چیزها را
88
00:02:53,920 –> 00:02:55,599
در podcast.init پوشش دهم
89
00:02:55,599 –> 00:02:57,760
و سپس مهندسی دادهها همه
90
00:02:57,760 –> 00:02:59,840
کارهای مقدماتی است که باعث میشود دانشمندان داده
91
00:02:59,840 –> 00:03:01,920
زندگی را آسانتر کنند و بنابراین فقط یک بسیاری
92
00:03:01,920 –> 00:03:02,800
از
93
00:03:02,800 –> 00:03:04,560
فناوریها و چالشهایی که
94
00:03:04,560 –> 00:03:06,000
در آن طرف اتفاق میافتند،
95
00:03:06,000 –> 00:03:08,080
بله، بسیار جالب است و صادقانه بگویم،
96
00:03:08,080 –> 00:03:09,040
یکی از دلایلی که من
97
00:03:09,040 –> 00:03:10,720
شما را به برنامه دعوت کردم این است که
98
00:03:10,720 –> 00:03:12,480
میدانم مردم در مورد مهندسی داده صحبت میکنند
99
00:03:12,480 –> 00:03:13,120
و
100
00:03:13,120 –> 00:03:14,879
من میدانم که ابزارهای منظمی وجود دارد. و
101
00:03:14,879 –> 00:03:17,120
آنها احساس میکنند که از فضای
102
00:03:17,120 –> 00:03:18,000
علم داده بیرون آمدهاند،
103
00:03:18,000 –> 00:03:20,080
اما نه دقیقاً، بنابراین من واقعاً
104
00:03:20,080 –> 00:03:21,760
مشتاقانه منتظر هستم تا در مورد آنها به
105
00:03:21,760 –> 00:03:23,360
همراه دیگرانی که گوش میدهند یاد بگیرم، بنابراین
106
00:03:23,360 –> 00:03:24,879
خیلی سرگرمکننده خواهد بود
107
00:03:24,879 –> 00:03:27,360
قبل از اینکه به آن شیرجه بزنیم.
108
00:03:27,360 –> 00:03:28,480
اوه شما فقط اوم
109
00:03:28,480 –> 00:03:30,400
اجازه دهید مردم بدانند که
110
00:03:30,400 –> 00:03:32,000
این روزها روزانه چه کار می کنید، آیا در حال انجام
111
00:03:32,000 –> 00:03:34,560
مشاوره هستید یا یک کار تمام وقت دارید، اوه
112
00:03:34,560 –> 00:03:35,920
برنامه چیست
113
00:03:35,920 –> 00:03:38,959
بله بله به همه اینها،
114
00:03:38,959 –> 00:03:41,599
بله، منظورم این است که پادکست را به عنوان یک برنامه اجرا می کنم
115
00:03:41,599 –> 00:03:42,239
116
00:03:42,239 –> 00:03:45,840
فقط یک نوع سرگرمی است و برای روزمره خود
117
00:03:45,840 –> 00:03:48,239
من در واقع به طور تمام وقت در mit در
118
00:03:48,239 –> 00:03:49,519
بخش یادگیری آزاد کار می کنم
119
00:03:49,519 –> 00:03:52,239
و به اجرای تیم مهندسی پلت فرم
120
00:03:52,239 –> 00:03:53,680
و مهندسی داده در آنجا کمک می
121
00:03:53,680 –> 00:03:55,920
کنم تا مطمئن شوم
122
00:03:55,920 –> 00:03:57,840
که همه محیط های ابری در آنجا هستند.
123
00:03:57,840 –> 00:03:59,200
راهاندازی و ایمنسازی شده و
124
00:03:59,200 –> 00:04:00,400
سرورها راهاندازی و اجرا میشوند و
125
00:04:00,400 –> 00:04:02,959
برنامهها در دسترس باقی میمانند و
126
00:04:02,959 –> 00:04:04,879
از طریق ایجاد یک پلتفرم داده کار
127
00:04:04,879 –> 00:04:08,080
میکنند تا ابزارهای زیادی برای تجزیه
128
00:04:08,080 –> 00:04:09,519
و تحلیل و به دست آوردن بینش در
129
00:04:09,519 –> 00:04:12,720
مورد عادات یادگیری و رفتارهایی
130
00:04:12,720 –> 00:04:14,000
که
131
00:04:14,000 –> 00:04:15,519
یادگیرندگان جهانی دارند و نحوه تعامل آنها ارائه
132
00:04:15,519 –> 00:04:16,720
کنند. با همه
133
00:04:16,720 –> 00:04:18,478
پلتفرمهای مختلفی که ما اجرا میکنیم،
134
00:04:18,478 –> 00:04:20,478
علاوه بر این، بله،
135
00:04:20,478 –> 00:04:22,079
قطعاً مکان خوبی برای کار است، من
136
00:04:22,079 –> 00:04:23,360
از اینکه چند سالی است در آنجا هستم خوشحال بودم
137
00:04:23,360 –> 00:04:24,560
138
00:04:24,560 –> 00:04:26,560
و پس از آن میدانید که من پادکست را اجرا میکنم تا
139
00:04:26,560 –> 00:04:28,240
هر هفته بیرون بروند بنابراین چیزهای زیادی در
140
00:04:28,240 –> 00:04:29,600
پشت صحنه اتفاق
141
00:04:29,600 –> 00:04:31,040
142
00:04:31,040 –> 00:04:34,479
میافتد و سپس من نیز مشاوره انجام میدهم،
143
00:04:34,479 –> 00:04:36,479
جایی که اخیراً بیشتر از
144
00:04:36,479 –> 00:04:38,560
نوع مشاورهای بوده که قبلاً
145
00:04:38,560 –> 00:04:40,960
روی صفحهکلید کار میکردم، اما توانستم
146
00:04:40,960 –> 00:04:43,199
سطحی بالاتر از آن داشته باشم. و بنابراین
147
00:04:43,199 –> 00:04:44,639
من با چند
148
00:04:44,639 –> 00:04:46,000
شرکت سرمایه گذاری خطرپذیر کار کرده ام تا به آنها کمک
149
00:04:46,000 –> 00:04:48,800
کنم تا اکوسیستم داده را درک کنند، بنابراین در
150
00:04:48,800 –> 00:04:51,040
زمینه علم داده های مهندسی داده،
151
00:04:51,040 –> 00:04:52,800
من نیز کمی با
152
00:04:52,800 –> 00:04:54,320
چند شرکت کار کرده ام و فقط به آنها کمک کرده ام تا آنها را از بین ببرند.
153
00:04:54,320 –> 00:04:55,360
به
154
00:04:55,360 –> 00:04:57,680
نوعی چالشها
155
00:04:57,680 –> 00:04:58,720
و پتانسیل
156
00:04:58,720 –> 00:05:00,800
موجود در بازار داده مارک داده و
157
00:05:00,800 –> 00:05:01,840
اکوسیستم
158
00:05:01,840 –> 00:05:03,759
داده برای فراتر رفتن از داشتن یک
159
00:05:03,759 –> 00:05:05,759
برنامه کاربردی و سپس امکان
160
00:05:05,759 –> 00:05:07,440
استفاده از اطلاعات و دادههایی که
161
00:05:07,440 –> 00:05:09,280
از آن جمعآوری میکنند وجود دارد.
162
00:05:09,280 –> 00:05:11,840
بینش های جالب تری در مورد
163
00:05:11,840 –> 00:05:12,960
کسب و کار خود و همچنین
164
00:05:12,960 –> 00:05:15,199
محصولات برای مشتریان خود ایجاد کنید، اوه بله،
165
00:05:15,199 –> 00:05:16,560
واقعاً سرگرم کننده به نظر می رسد، منظورم این است که کار
166
00:05:16,560 –> 00:05:18,720
برای mit شگفت انگیز به نظر می رسد
167
00:05:18,720 –> 00:05:20,720
و سپس آن نقش های مشاوره واقعاً
168
00:05:20,720 –> 00:05:23,199
شسته و رفته هستند، زیرا شما به نوعی برداشت می کنید، به
169
00:05:23,199 –> 00:05:24,800
خصوص به عنوان پادکستر و این دید وسیع را دریافت می کنید.
170
00:05:24,800 –> 00:05:26,639
چون با افراد زیادی صحبت میکنید
171
00:05:26,639 –> 00:05:27,440
و
172
00:05:27,440 –> 00:05:28,479
میدانید که آنها
173
00:05:28,479 –> 00:05:30,400
موقعیتهای مختلف و زمینههای متفاوتی دارند و بنابراین
174
00:05:30,400 –> 00:05:31,919
میتوانید بگویید خیلی خوب،
175
00:05:31,919 –> 00:05:33,919
به نظر میرسد در اینجا چیزی است که من میبینم شما
176
00:05:33,919 –> 00:05:35,600
در این حوزه جا میگیرید و بنابراین این ممکن است
177
00:05:35,600 –> 00:05:37,360
راه درستی باشد خخخ
178
00:05:37,360 –> 00:05:40,400
کاملاً بله، منظورم این است که اکوسیستم داده
179
00:05:40,400 –> 00:05:41,680
به طور
180
00:05:41,680 –> 00:05:44,639
خاص بسیار سریع در حال حرکت است، بنابراین مطمئناً
181
00:05:44,639 –> 00:05:46,479
بسیار دشوار است
182
00:05:46,479 –> 00:05:48,000
که بتوان با تمام
183
00:05:48,000 –> 00:05:49,759
جنبه های مختلف آن آشنا شد. و از
184
00:05:49,759 –> 00:05:51,280
آنجایی که این یک نوع کار من به عنوان
185
00:05:51,280 –> 00:05:52,800
پادکست است، می توانم
186
00:05:52,800 –> 00:05:55,600
در زمینه های مختلف آن کاوش کنم
187
00:05:55,600 –> 00:05:56,560
188
00:05:56,560 –> 00:05:58,800
و بتوانم از
189
00:05:58,800 –> 00:06:00,960
همه تخصص و بینشی که این
190
00:06:00,960 –> 00:06:04,080
مبتکران و رهبران مختلف می شناسید بیاموزم و از آن بهره ببرم.
191
00:06:04,080 –> 00:06:04,639
192
00:06:04,639 –> 00:06:08,160
داشته باشید و به نوعی ترکیب کنید که
193
00:06:08,160 –> 00:06:09,600
چون من با مردم صحبت
194
00:06:09,600 –> 00:06:12,160
می کنم شما لایه ذخیره سازی را تا
195
00:06:12,160 –> 00:06:14,319
لایه پردازش داده و هماهنگ سازی
196
00:06:14,319 –> 00:06:16,800
و تجزیه و تحلیل می دانید و شما می دانید
197
00:06:16,800 –> 00:06:18,479
یادگیری ماشینی و عملیاتی کردن همه اینها
198
00:06:18,479 –> 00:06:19,280
199
00:06:19,280 –> 00:06:21,120
در حالی که اگر من یکی از افرادی بودم
200
00:06:21,120 –> 00:06:22,400
که عمیقا در ترانشه ها
201
00:06:22,400 –> 00:06:26,080
شما یک نمای بسیار دقیق اما باریک دریافت می
202
00:06:26,080 –> 00:06:26,720
کنید،
203
00:06:26,720 –> 00:06:28,479
در حالی که من یک نمای بسیار کم عمق و
204
00:06:28,479 –> 00:06:30,400
گسترده در کل اکوسیستم دارم، بنابراین
205
00:06:30,400 –> 00:06:31,840
که بهترین تطابق برای
206
00:06:31,840 –> 00:06:32,960
نمای سطح بالا است،
207
00:06:32,960 –> 00:06:36,479
دقیقاً خوب است، خوب خوب، اجازه دهید
208
00:06:36,479 –> 00:06:38,319
به موضوع اصلی خود بپردازیم
209
00:06:38,319 –> 00:06:41,120
و ما کمی به این موضوع پرداختیم، اما شما
210
00:06:41,120 –> 00:06:41,840
میدانید که
211
00:06:41,840 –> 00:06:44,560
من میدانم علم داده چیست، فکر میکنم و
212
00:06:44,560 –> 00:06:45,919
213
00:06:45,919 –> 00:06:47,759
اوم یک مصاحبه بسیار جالب
214
00:06:47,759 –> 00:06:49,599
با
215
00:06:49,599 –> 00:06:51,840
امیلی و ژاکلین انجام دادم،
216
00:06:51,840 –> 00:06:53,199
نام خانوادگی هر دو را به خاطر ندارم.
217
00:06:53,199 –> 00:06:54,720
اخیراً در مورد ایجاد یک شغل
218
00:06:54,720 –> 00:06:55,919
در علم داده صحبت کردند و آنها اساساً در مورد
219
00:06:55,919 –> 00:06:57,520
سه
220
00:06:57,520 –> 00:06:59,840
حوزه از علم داده صحبت کردند که ممکن است شما در آن باشید
221
00:06:59,840 –> 00:07:02,160
مانند تولید و یادگیری ماشین
222
00:07:02,160 –> 00:07:05,840
در مقابل انجام پیشبینی و غیره
223
00:07:05,840 –> 00:07:08,000
و مهندسی
224
00:07:08,000 –> 00:07:09,759
داده. اما
225
00:07:09,759 –> 00:07:11,599
دقیقاً اینطور نیست که میتواند
226
00:07:11,599 –> 00:07:12,240
227
00:07:12,240 –> 00:07:15,120
پایگاههای اطلاعاتی و چیزهای دیگر خیلی درست باشد، مثلاً
228
00:07:15,120 –> 00:07:15,680
229
00:07:15,680 –> 00:07:17,759
این چیز مهندسی داده چیست،
230
00:07:17,759 –> 00:07:19,840
شاید بتوان آن را با علم داده مقایسه کرد،
231
00:07:19,840 –> 00:07:21,199
زیرا مردم احتمالاً میدانند که
232
00:07:21,199 –> 00:07:22,240
233
00:07:22,240 –> 00:07:24,560
بله، پس یکی از آن نوع
234
00:07:24,560 –> 00:07:26,800
است- شامل عباراتی که
235
00:07:26,800 –> 00:07:28,720
می دانید نقش آنها بستگی به
236
00:07:28,720 –> 00:07:30,000
سازمانی دارد که در آن هستید،
237
00:07:30,000 –> 00:07:33,440
بنابراین در برخی مکان ها مهندس داده
238
00:07:33,440 –> 00:07:35,520
ممکن است شخصی باشد که
239
00:07:35,520 –> 00:07:36,960
می دانید قبلاً dba یا
240
00:07:36,960 –> 00:07:39,360
مدیر پایگاه داده در جاهای
241
00:07:39,360 –> 00:07:41,199
دیگر ممکن است مسئول
242
00:07:41,199 –> 00:07:42,720
زیرساخت ابری باشد. در جای دیگری
243
00:07:42,720 –> 00:07:44,160
که ممکن است مسئول
244
00:07:44,160 –> 00:07:45,280
حفظ
245
00:07:45,280 –> 00:07:48,560
سیستمهای استریم باشد، یکی از راههایی که
246
00:07:48,560 –> 00:07:49,840
دیدم خراب شده است به
247
00:07:49,840 –> 00:07:51,360
نوعی دو جور است یکی از
248
00:07:51,360 –> 00:07:53,280
طبقه بندی های گسترده مهندسی داده
249
00:07:53,280 –> 00:07:56,879
این است که مهندس داده متمرکز بر sql وجود دارد
250
00:07:56,879 –> 00:07:58,400
که در آن ممکن است پیشینه ای به عنوان مدیر
251
00:07:58,400 –> 00:08:00,560
پایگاه داده داشته باشند و بنابراین آنها
252
00:08:00,560 –> 00:08:01,280
کارهای زیادی را
253
00:08:01,280 –> 00:08:03,440
در مدیریت انبار داده انجام می دهند که با ابزارهای sql گرا کار می کنند،
254
00:08:03,440 –> 00:08:05,440
255
00:08:05,440 –> 00:08:07,120
جایی که تعداد زیادی از آنها وجود دارد.
256
00:08:07,120 –> 00:08:08,879
اکنون میتوانید
257
00:08:08,879 –> 00:08:11,520
از sql استفاده کنید تا بتوانید دادهها را از
258
00:08:11,520 –> 00:08:13,360
سیستمهای منبع به انبار داده بکشید
259
00:08:13,360 –> 00:08:14,160
و سپس
260
00:08:14,160 –> 00:08:16,160
تغییرات ساختاری را برای
261
00:08:16,160 –> 00:08:17,280
ارائه به
262
00:08:17,280 –> 00:08:20,479
تحلیلگران و دانشمندان داده ارائه دهید و سپس
263
00:08:20,479 –> 00:08:22,720
264
00:08:22,720 –> 00:08:25,440
مهندس دادهای که بیشتر مهندسی محور است، وجود دارد
265
00:08:25,440 –> 00:08:26,639
که کسی است که
266
00:08:26,639 –> 00:08:28,639
نرم افزارهای زیادی می نویسند که
267
00:08:28,639 –> 00:08:29,840
268
00:08:29,840 –> 00:08:31,759
زیرساخت های پیچیده می سازند و معماری از
269
00:08:31,759 –> 00:08:34,880
چیزهایی مانند کافکا یا فلینک یا اسپارک استفاده می کند.
270
00:08:34,880 –> 00:08:36,080
آنها با پایگاه داده
271
00:08:36,080 –> 00:08:38,000
کار می کنند که با ابزارهای هماهنگ سازی داده ها
272
00:08:38,000 –> 00:08:39,599
مانند جریان هوا یا
273
00:08:39,599 –> 00:08:42,320
داگستر یا پرفکت کار می کنند که ممکن است از
274
00:08:42,320 –> 00:08:43,519
dask
275
00:08:43,519 –> 00:08:45,440
و غیره استفاده کنند. آنها بسیار بیشتر بر
276
00:08:45,440 –> 00:08:47,120
روی نوشتن نرم افزار و ارائه
277
00:08:47,120 –> 00:08:47,680
کد
278
00:08:47,680 –> 00:08:50,399
به عنوان خروجی تلاش خود متمرکز هستند، اما در رقابت
279
00:08:50,399 –> 00:08:51,200
280
00:08:51,200 –> 00:08:54,560
مشترک xt در هر
281
00:08:54,560 –> 00:08:56,480
چیزی که مهندسی داده را تعریف میکنید،
282
00:08:56,480 –> 00:08:58,560
جنبه مشترک آن این است که همه آنها در
283
00:08:58,560 –> 00:08:59,120
284
00:08:59,120 –> 00:09:02,080
تلاش هستند تا دادهها را از
285
00:09:02,080 –> 00:09:03,200
مکانهای مختلف
286
00:09:03,200 –> 00:09:07,279
به مکانی بیاورند که برای کاربران نهایی مختلف در دسترس باشد،
287
00:09:07,279 –> 00:09:09,279
جایی که کاربران نهایی
288
00:09:09,279 –> 00:09:12,160
ممکن است تحلیلگران یا دانشمندان داده باشند
289
00:09:12,160 –> 00:09:14,240
یا ابزارهای هوش تجاری
290
00:09:14,240 –> 00:09:16,560
و وظیفه آنها این است که اطمینان حاصل کنند که
291
00:09:16,560 –> 00:09:18,000
آن گردشهای کاری
292
00:09:18,000 –> 00:09:20,160
قابل تکرار و نگهداری هستند و
293
00:09:20,160 –> 00:09:22,080
دادهها تمیز و سازمانیافته
294
00:09:22,080 –> 00:09:24,800
هستند تا مفید باشند، زیرا میدانید که
295
00:09:24,800 –> 00:09:26,160
296
00:09:26,160 –> 00:09:28,399
297
00:09:28,399 –> 00:09:30,720
اگر دانشمند داده هستید، همه از اصل زبالههای موجود در زبالهها مطلع هستند. شما
298
00:09:30,720 –> 00:09:32,399
تمام زمینهای را ندارید که دادهها از کجا میآیند
299
00:09:32,399 –> 00:09:35,200
، فقط یک اطلاعات کوچک
300
00:09:35,200 –> 00:09:36,880
دارید، میدانید محدودهی محدودی از آنچه باید
301
00:09:36,880 –> 00:09:38,640
با آن کار کنید،
302
00:09:38,640 –> 00:09:39,680
دارید، به نوعی با آن
303
00:09:39,680 –> 00:09:41,360
اصل زباله و زباله مبارزه میکنید و
304
00:09:41,360 –> 00:09:43,519
بنابراین، کار مهندس داده این است که از شر
305
00:09:43,519 –> 00:09:45,040
همه زباله ها خلاص شود و چیزی تمیز به شما بدهد
306
00:09:45,040 –> 00:09:46,640
که بتوانید از آن کار
307
00:09:46,640 –> 00:09:48,240
308
00:09:48,240 –> 00:09:50,640
309
00:09:50,640 –> 00:09:53,760
کنید. با گرفتن دادههای خود، آنها
310
00:09:53,760 –> 00:09:54,399
را از طریق
311
00:09:54,399 –> 00:09:56,560
یک مدل یا از طریق
312
00:09:56,560 –> 00:09:57,680
لایههای نموداری تحلیلی اجرا میکنید و به
313
00:09:57,680 –> 00:09:58,640
شما تصویری میدهد که شبیه آن هستید،
314
00:09:58,640 –> 00:10:00,080
315
00:10:00,080 –> 00:10:02,000
شاید درست باشد، آیا
316
00:10:02,000 –> 00:10:03,360
ورودی درستی به آن دادهاید و آیا
317
00:10:03,360 –> 00:10:05,839
مدلها را در آن آموزش دادهاید. دادههای مناسب که
318
00:10:05,839 –> 00:10:07,200
319
00:10:07,200 –> 00:10:09,600
درست میدانند بله و شما
320
00:10:09,600 –> 00:10:10,880
قطعاً یک چالش بزرگ را میدانید و این
321
00:10:10,880 –> 00:10:12,640
یکی از دلایلی است که مهندسی دادهها
322
00:10:12,640 –> 00:10:15,200
تا این حد چند وجهی شده است زیرا
323
00:10:15,200 –> 00:10:17,200
کاری که شما با دادهها انجام
324
00:10:17,200 –> 00:10:18,720
میدهید راههایی را برای
325
00:10:18,720 –> 00:10:21,600
آمادهسازی دادههایی که میشناسید نشان میدهد. باید
326
00:10:21,600 –> 00:10:23,040
مطمئن شوید که
327
00:10:23,040 –> 00:10:25,200
اطلاعات زمینه ای
328
00:10:25,200 –> 00:10:26,640
زیادی دارید تا مطمئن شوید که
329
00:10:26,640 –> 00:10:28,160
دانشمندان داده و تحلیلگران داده
330
00:10:28,160 –> 00:10:29,920
قادر به پاسخگویی دقیق به سؤالات هستند
331
00:10:29,920 –> 00:10:30,880
زیرا
332
00:10:30,880 –> 00:10:33,839
داده ها به صورت مجزا می دانید اگر فقط
333
00:10:33,839 –> 00:10:35,120
به کسی عدد پنج
334
00:10:35,120 –> 00:10:36,880
را بدهید کاملاً بی معنی است. اگر
335
00:10:36,880 –> 00:10:38,240
به آنها بگویید که
336
00:10:38,240 –> 00:10:40,560
یک مشتری 5 عدد از این واحد را به
337
00:10:40,560 –> 00:10:41,760
خوبی سفارش داده است، اکنون می توانید
338
00:10:41,760 –> 00:10:43,440
کاری با آن انجام دهید
339
00:10:43,440 –> 00:10:45,920
تا زمینه به ارائه
340
00:10:45,920 –> 00:10:46,959
اطلاعات در مورد
341
00:10:46,959 –> 00:10:49,200
شما کمک کند. با توجه به عدد جدا شده و
342
00:10:49,200 –> 00:10:50,800
درک اینکه از کجا آمده است و
343
00:10:50,800 –> 00:10:52,240
چرا مهم است
344
00:10:52,240 –> 00:10:54,000
بله کاملاً می دانید
345
00:10:54,000 –> 00:10:55,760
که وقتی مهندسی داده برای من می شنوم دو چیز به ذهنم
346
00:10:55,760 –> 00:10:58,240
می رسد مانند یکی مانند خطوط لوله داده است
347
00:10:58,240 –> 00:10:59,440
که می دانید شاید باید
348
00:10:59,440 –> 00:11:01,279
داده ها را وارد کنید و انجام دهید. تبدیل به آن برای
349
00:11:01,279 –> 00:11:02,800
آماده کردنش این بخشی از پاکسازی داده است،
350
00:11:02,800 –> 00:11:04,079
شاید
351
00:11:04,079 –> 00:11:06,720
امم، منابع متفاوت را انتخاب کنید و
352
00:11:06,720 –> 00:11:08,320
آنها را تحت یک
353
00:11:08,320 –> 00:11:09,839
مدل متعارف یا
354
00:11:09,839 –> 00:11:12,399
چیزی یکپارچه کنید و سپس
355
00:11:12,399 –> 00:11:15,120
مانند چیزی مثل شما می دانید که ما
356
00:11:15,120 –> 00:11:16,160
چیزی وحشتناک مانند
357
00:11:16,160 –> 00:11:18,720
آپلود ftp از csv دریافت می کنیم. فایلها و ما باید
358
00:11:18,720 –> 00:11:20,480
آنها را به پایگاههای دادهای تبدیل کنیم، مانند
359
00:11:20,480 –> 00:11:21,120
360
00:11:21,120 –> 00:11:23,920
کارهای یک شبه درست یا چیزهایی مانند مواردی که
361
00:11:23,920 –> 00:11:25,680
احتمالاً هنوز وجود دارند،
362
00:11:25,680 –> 00:11:26,640
چندی پیش
363
00:11:26,640 –> 00:11:29,920
وجود داشتهاند.
364
00:11:29,920 –> 00:11:32,000
365
00:11:32,000 –> 00:11:33,279
366
00:11:33,279 –> 00:11:34,959
این دیگر هنوز در
367
00:11:34,959 –> 00:11:36,320
جایی وجود دارد، به همین دلیل است که ما هنوز دقیقاً
368
00:11:36,320 –> 00:11:38,000
کبالت داریم،
369
00:11:38,000 –> 00:11:41,120
خدای من، من
370
00:11:41,120 –> 00:11:45,600
برای شما داستان های دیوانه وار کبالت دارم که
371
00:11:45,600 –> 00:11:47,120
احتمالاً نباید بیرون بروند. ublic اما شما
372
00:11:47,120 –> 00:11:49,120
از من بپرسید که در
373
00:11:49,120 –> 00:11:50,480
کنفرانس بعدی دفعه بعد که به جایی سفر می کنیم از من بپرسید
374
00:11:50,480 –> 00:11:51,120
که می دانید
375
00:11:51,120 –> 00:11:54,639
همه چیز خوب به نظر می رسد بله مطمئناً
376
00:11:54,639 –> 00:11:57,360
پس بیایید در مورد روندهایی که می دانید صحبت کنیم
377
00:11:57,360 –> 00:11:58,160
زیرا
378
00:11:58,160 –> 00:12:00,639
من آن شوخی را درست انجام دادم که شاید
379
00:12:00,639 –> 00:12:02,959
قبلاً فایل های csv بوده است. یا فایل های متنی یک
380
00:12:02,959 –> 00:12:04,639
ftp و سپس یک کار که آن
381
00:12:04,639 –> 00:12:06,240
را در یک پایگاه داده sql یا
382
00:12:06,240 –> 00:12:08,720
نوعی پایگاه داده رابطه ای
383
00:12:08,720 –> 00:12:09,360
قرار می دهد، اکنون
384
00:12:09,360 –> 00:12:11,920
باید بهتر از آن باشد،
385
00:12:11,920 –> 00:12:13,360
اوه، منظورم این است که باز هم بستگی به جایی دارد که شما در آن هستید، یعنی
386
00:12:13,360 –> 00:12:13,680
387
00:12:13,680 –> 00:12:15,920
فایل های csv هنوز هم هستند. چیزی که
388
00:12:15,920 –> 00:12:17,680
میدانید ممکن است دیگر ftp نباشد،
389
00:12:17,680 –> 00:12:18,959
احتمالاً در
390
00:12:18,959 –> 00:12:21,040
ذخیرهسازی آبجکتها مانند s3 یا google cloud
391
00:12:21,040 –> 00:12:22,240
storage
392
00:12:22,240 –> 00:12:23,760
um زندگی میکند، اما میدانید که هنوز
393
00:12:23,760 –> 00:12:26,240
در برخی مکانها با فایلهای
394
00:12:26,240 –> 00:12:28,959
فردی کار میکنید، بسیاری از آنها از apis یا
395
00:12:28,959 –> 00:12:30,079
پایگاههای داده میآیند. جایی
396
00:12:30,079 –> 00:12:31,839
که ممکن است برای دریافت دادههای crm خود نیاز به جمعآوری تمام اطلاعات از نیروی فروش
397
00:12:31,839 –> 00:12:33,839
398
00:12:33,839 –> 00:12:35,120
399
00:12:35,120 –> 00:12:36,800
داشته باشید یا ممکن است دادهها را
400
00:12:36,800 –> 00:12:39,279
با استفاده از Api um از Google Analytics خارج
401
00:12:39,279 –> 00:12:41,360
کنید، میدانید که روندهای تکاملی زیادی وجود دارد.
402
00:12:41,360 –> 00:12:43,200
403
00:12:43,200 –> 00:12:46,639
اولین حرکت بزرگ
404
00:12:46,639 –> 00:12:49,839
در مهندسی داده، فراتر از نوع
405
00:12:49,839 –> 00:12:50,320
406
00:12:50,320 –> 00:12:51,920
چاه، چند نسل وجود داشته است،
407
00:12:51,920 –> 00:12:53,680
بنابراین نسل اول انبار داده ای بود
408
00:12:53,680 –> 00:12:55,120
که در آن
409
00:12:55,120 –> 00:12:57,360
یک ابزار پایگاه داده را می بردید،
410
00:12:57,360 –> 00:12:59,920
چه اوراکل یا مایکروسافت sql سرور
411
00:12:59,920 –> 00:13:01,360
یا postgres
412
00:13:01,360 –> 00:13:03,200
که همه چیزهای خود را قرار داده اید. دادهها را در آن قرار دهید و
413
00:13:03,200 –> 00:13:04,720
سپس باید کارهای زیادی
414
00:13:04,720 –> 00:13:07,279
برای مدلسازی آن انجام میدادید تا بتوانید به سؤالات
415
00:13:07,279 –> 00:13:08,000
416
00:13:08,000 –> 00:13:11,360
مربوط به آن دادهها پاسخ دهید، بنابراین در یک پایگاه داده برنامه،
417
00:13:11,360 –> 00:13:12,240
418
00:13:12,240 –> 00:13:14,079
419
00:13:14,079 –> 00:13:15,760
زمانی که چیزی در جایی که در
420
00:13:15,760 –> 00:13:17,440
انبار دادهای است که میخواهید تغییر میکند، میتوانید فقط یک رکورد را بازنویسی کنید. آن
421
00:13:17,440 –> 00:13:18,639
اطلاعات تاریخی در مورد
422
00:13:18,639 –> 00:13:20,959
آنچه تغییر کرده و تکامل آن
423
00:13:20,959 –> 00:13:22,240
داده ها
424
00:13:22,240 –> 00:13:24,560
درست است، مانند عادی سازی،
425
00:13:24,560 –> 00:13:25,920
دقیقاً می دانید
426
00:13:25,920 –> 00:13:28,720
پایگاه های داده عملیاتی همه چیز در مورد یک
427
00:13:28,720 –> 00:13:30,480
منبع حقیقت است.
428
00:13:30,480 –> 00:13:31,360
429
00:13:31,360 –> 00:13:33,040
430
00:13:33,040 –> 00:13:34,560
431
00:13:34,560 –> 00:13:36,560
بهتر
432
00:13:36,560 –> 00:13:38,240
است آن تکراری را داشته باشید تا بتوانید
433
00:13:38,240 –> 00:13:39,839
انواع گزارش های مختلف را به سرعت
434
00:13:39,839 –> 00:13:40,880
و به راحتی اجرا کنید
435
00:13:40,880 –> 00:13:42,399
دقیقاً بله، منظورم این است که شما هنوز نیاز
436
00:13:42,399 –> 00:13:44,000
دارید یک منبع حقیقت
437
00:13:44,000 –> 00:13:46,639
دارید، اما شما جداول را متفاوت
438
00:13:46,639 –> 00:13:47,199
439
00:13:47,199 –> 00:13:48,720
از یک پایگاه داده برنامهای مدلسازی میکنید، بنابراین
440
00:13:48,720 –> 00:13:50,160
چیزهایی مانند طرح ستاره یا
441
00:13:50,160 –> 00:13:52,000
طرح دانههای برف وجود دارند که در
442
00:13:52,000 –> 00:13:52,480
443
00:13:52,480 –> 00:13:54,959
فاز اولیه انبار دادهها محبوب شدند، بنابراین
444
00:13:54,959 –> 00:13:57,040
رالف کیمبال به دلیل ساختن آن مشهور است.
445
00:13:57,040 –> 00:13:59,199
نوعی رویکرد طرحواره ستارهای
446
00:13:59,199 –> 00:14:01,199
با حقایق و ابعاد،
447
00:14:01,199 –> 00:14:03,519
اوم، و سپس بله،
448
00:14:03,519 –> 00:14:04,800
شاید کمی برای مردم توصیف کنید زیرا
449
00:14:04,800 –> 00:14:06,959
شاید آنها این اصطلاحات را نمیدانند،
450
00:14:06,959 –> 00:14:08,240
بنابراین
451
00:14:08,240 –> 00:14:11,600
حقایق چیزهایی مانند اوه شما میدانید که یک واقعیت این
452
00:14:11,600 –> 00:14:14,800
است که توبیاس
453
00:14:14,800 –> 00:14:17,440
میسی اوه در آن کار میکند و سپس یک بعد ممکن است این
454
00:14:17,440 –> 00:14:18,160
باشد
455
00:14:18,160 –> 00:14:22,079
که او در سال 2016 یا هر سال دیگری استخدام شده است
456
00:14:22,079 –> 00:14:22,959
457
00:14:22,959 –> 00:14:26,399
و اوه شما اکنون می دانید بعد دیگری از
458
00:14:26,399 –> 00:14:27,120
آن این است
459
00:14:27,120 –> 00:14:29,519
که او می دانید سالگرد کار او
460
00:14:29,519 –> 00:14:30,560
xdate
461
00:14:30,560 –> 00:14:34,079
um است و بنابراین روشی که شما آن را مدل
462
00:14:34,079 –> 00:14:36,000
می کنید آن را به واقعیت تبدیل می کند.
463
00:14:36,000 –> 00:14:37,440
تغییرناپذیر و سپس
464
00:14:37,440 –> 00:14:39,199
یک بعد یا چیزهایی که ممکن است در
465
00:14:39,199 –> 00:14:40,639
طول زمان تکامل
466
00:14:40,639 –> 00:14:44,160
یابند و سپس به نوعی تکرار بعدی
467
00:14:44,160 –> 00:14:44,959
468
00:14:44,959 –> 00:14:46,959
مهندسی داده و مدیریت دادهها
469
00:14:46,959 –> 00:14:48,000
، نوعی
470
00:14:48,000 –> 00:14:51,600
شوق دادههای بزرگ نقل قول بدون نقل قول بود که اوه
471
00:14:51,600 –> 00:14:53,360
گو Gle مقاله خود را در مورد mapreduce منتشر کرد
472
00:14:53,360 –> 00:14:56,240
و بنابراین هادوپ به عنوان یک
473
00:14:56,240 –> 00:14:58,079
گزینه منبع باز برای آن ظاهر شد و بنابراین هر
474
00:14:58,079 –> 00:15:00,240
بار که قرار بود جهان را به
475
00:15:00,240 –> 00:15:01,680
درستی تحت کنترل درآورد، تنها راهی بود که
476
00:15:01,680 –> 00:15:02,480
477
00:15:02,480 –> 00:15:04,320
اگر دادههای بزرگ داشتید و پس از آن داشتید، میتوانید کاری انجام دهید.
478
00:15:04,320 –> 00:15:05,600
برای کاهش آن نقشه و سپس
479
00:15:05,600 –> 00:15:08,000
شاید این مربوط به یکی از این
480
00:15:08,000 –> 00:15:09,920
پایگاه داده های بزرگ مقیاس شده
481
00:15:09,920 –> 00:15:12,240
مانند اسپارک یا کاساندرا بود که
482
00:15:12,240 –> 00:15:12,959
چیزی شبیه به آن را می داند
483
00:15:12,959 –> 00:15:14,560
بله، منظورم این است که اسپارک و کاساندرا
484
00:15:14,560 –> 00:15:16,720
بعد از هادوپ آمده است، بنابراین منظورم این است که هادوپ
485
00:15:16,720 –> 00:15:19,600
گزینه شما در اوایل می دانید دهه 2000
486
00:15:19,600 –> 00:15:21,519
و بنابراین همه می گفتند آه کلان داده
487
00:15:21,519 –> 00:15:22,959
پاسخ است اگر من فقط داده های بزرگ را به
488
00:15:22,959 –> 00:15:24,399
همه چیز پرتاب کنم، همه
489
00:15:24,399 –> 00:15:25,440
مشکلات من حل می شود
490
00:15:25,440 –> 00:15:27,279
و بنابراین مردم این دریاچه های عظیم داده را
491
00:15:27,279 –> 00:15:28,800
با استفاده از هادوپ ساختند و این نقشه ها را
492
00:15:28,800 –> 00:15:31,440
ایجاد کردند و سپس متوجه شدند که
493
00:15:31,440 –> 00:15:32,720
آنچه آیا ما واقعاً با همه این
494
00:15:32,720 –> 00:15:34,079
داده ها انجام می دهیم؟ برای ما بیشتر از
495
00:15:34,079 –> 00:15:34,720
ارزش آن هزینه دارد.
496
00:15:34,720 –> 00:15:37,120
497
00:15:37,120 –> 00:15:39,199
498
00:15:39,199 –> 00:15:41,279
499
00:15:41,279 –> 00:15:42,639
500
00:15:42,639 –> 00:15:45,279
از دادههایی استفاده کرد که
501
00:15:45,279 –> 00:15:46,639
قبلاً جمعآوری میکردید، اما میتوانید
502
00:15:46,639 –> 00:15:48,399
عملیاتها را موازیسازی کنید و آن را
503
00:15:48,399 –> 00:15:51,120
کمی سریعتر
504
00:15:51,440 –> 00:15:53,120
اجرا کنید، بنابراین میدانید که این دوران به نوعی دوران
505
00:15:53,120 –> 00:15:55,440
گردشهای کاری دستهگرا
506
00:15:55,440 –> 00:15:57,839
و سپس با ظهور چیزهایی مانند
507
00:15:57,839 –> 00:16:00,000
جریان جرقه و کافکا
508
00:16:00,000 –> 00:16:01,519
و شما می دانید که در
509
00:16:01,519 –> 00:16:03,440
حال حاضر تعداد زیادی ابزار دیگر مانند فلنک و
510
00:16:03,440 –> 00:16:04,880
تپ اختر وجود دارد
511
00:16:04,880 –> 00:16:08,000
، نوعی انقلاب بلادرنگ
512
00:16:08,000 –> 00:16:09,920
جایی است که ما اکنون در آن هستیم، جایی
513
00:16:09,920 –> 00:16:11,120
که برای
514
00:16:11,120 –> 00:16:13,199
درک آنچه روز بعد اتفاق افتاد
515
00:16:13,199 –> 00:16:14,720
کافی نیست.
516
00:16:14,720 –> 00:16:17,120
میدانید در عرض پنج دقیقه چه اتفاقی میافتد، بنابراین
517
00:16:17,120 –> 00:16:18,800
اصولی وجود دارد مانند تغییر
518
00:16:18,800 –> 00:16:20,720
ضبط دادهها که در آن هر بار که یک
519
00:16:20,720 –> 00:16:22,000
رکورد جدید را در پایگاه
520
00:16:22,000 –> 00:16:24,079
داده مینویسم، به صف کافکا میرود که سپس به یک خوشه elasticsearch
521
00:16:24,079 –> 00:16:25,920
522
00:16:25,920 –> 00:16:26,720
523
00:16:26,720 –> 00:16:29,279
در انبار دادههای من تکرار میشود.
524
00:16:29,279 –> 00:16:30,800
پنج دقیقه داشبورد هوش تجاری من
525
00:16:30,800 –> 00:16:33,040
با این واقعیت به روز شده است که
526
00:16:33,040 –> 00:16:35,440
مشتری یک محصول خریده را بجای
527
00:16:35,440 –> 00:16:36,240
اینکه باید
528
00:16:36,240 –> 00:16:38,560
در 24 ساعت منتظر بماند تا آن را دریافت کند، فکر می کنم
529
00:16:38,560 –> 00:16:40,399
بسیار منطقی است. o به جای
530
00:16:40,399 –> 00:16:41,839
اینکه مثل اینکه ما فقط دادهها را در این انباشته میکنیم،
531
00:16:41,839 –> 00:16:44,079
شما یک
532
00:16:44,079 –> 00:16:46,240
نوع چیز از نوع دریاچه داده را میشناسید، سپس آن
533
00:16:46,240 –> 00:16:48,079
را میگیریم و گزارشهایمان را هر شب یا
534
00:16:48,079 –> 00:16:49,519
ساعت یا هر چیز دیگری که
535
00:16:49,519 –> 00:16:51,920
شما آن را پایین میآورید انجام میدهیم. جاده
536
00:16:51,920 –> 00:16:52,880
همانطور که
537
00:16:52,880 –> 00:16:55,920
وارد می شود یا درست
538
00:16:55,920 –> 00:16:58,639
درست شده است، بله، منظورم این است که هنوز
539
00:16:58,639 –> 00:17:01,360
موارد استفاده برای دسته ای
540
00:17:01,360 –> 00:17:03,279
وجود دارد، یعنی می دانید و راه های مختلفی برای
541
00:17:03,279 –> 00:17:04,880
نگاه کردن به آن وجود دارد، بنابراین منظورم این است که بسیاری از
542
00:17:04,880 –> 00:17:06,559
مردم دسته را فقط یک مورد خاص می بینند
543
00:17:06,559 –> 00:17:08,000
جریانی که در آن
544
00:17:08,000 –> 00:17:10,799
میدانید استریم
545
00:17:10,799 –> 00:17:12,400
نوعی میکرو دسته است که به محض وارد شدن رکورد
546
00:17:12,400 –> 00:17:14,240
، روی آن کار میکنید و سپس
547
00:17:14,240 –> 00:17:16,400
برای کارهای دستهای بزرگ فقط همان کار را انجام میدهید
548
00:17:16,400 –> 00:17:18,000
، اما چندین بار
549
00:17:18,000 –> 00:17:20,640
برای تعدادی رکورد. منظورم
550
00:17:20,640 –> 00:17:21,839
این است که پارادایمهای زیادی وجود
551
00:17:21,839 –> 00:17:23,039
دارد که مردم به
552
00:17:23,039 –> 00:17:24,480
این ایده عادت میکنند، منظورم
553
00:17:24,480 –> 00:17:26,160
این است که اجرای دستهای هنوز آسانتر است که اجرای آن
554
00:17:26,160 –> 00:17:28,640
به قطعات متحرک کمتری نیاز دارد، اما
555
00:17:28,640 –> 00:17:31,919
پخش جریانی از نوع در دسترس بودن
556
00:17:31,919 –> 00:17:34,000
فناوریهای مختلف باعث میشود که
557
00:17:34,000 –> 00:17:34,960
برای کارهای بیشتر امکانپذیرتر شود.
558
00:17:34,960 –> 00:17:36,320
مردم خواهش می کنم بتوانید واقعاً از
559
00:17:36,320 –> 00:17:38,240
این مزیت استفاده کنید و بنابراین
560
00:17:38,240 –> 00:17:40,240
پلتفرم های مدیریت شده ای را می شناسید که
561
00:17:40,240 –> 00:17:41,919
به شما در حل این مشکل کمک می کند،
562
00:17:41,919 –> 00:17:43,440
بله، اکنون پلتفرم
563
00:17:43,440 –> 00:17:44,880
های کاملی وجود دارد که اساساً بله،
564
00:17:44,880 –> 00:17:46,559
پلتفرم های کاملی هستند که فقط در اطراف هستند تا فقط
565
00:17:46,559 –> 00:17:46,880
566
00:17:46,880 –> 00:17:49,760
جریان داده را برای شما انجام دهند.
567
00:17:49,760 –> 00:17:51,360
مانند آن را مدیریت کنید و آن را زنده نگه دارید
568
00:17:51,360 –> 00:17:51,840
و
569
00:17:51,840 –> 00:17:54,799
با رایج شدن وب قلابها
570
00:17:54,799 –> 00:17:55,200
571
00:17:55,200 –> 00:17:56,720
، به راحتی میتوان گفت اگر چیزی در
572
00:17:56,720 –> 00:17:58,880
اینجا تغییر کرد، میدانید به آن چیز دیگری اطلاع دهید
573
00:17:58,880 –> 00:18:00,799
و آن چیز میتواند چیزهای خود را صدا کند و
574
00:18:00,799 –> 00:18:03,360
به نظر میرسد که در راه است بله
575
00:18:03,360 –> 00:18:04,080
بله منظورم
576
00:18:04,080 –> 00:18:06,559
یکی است. از جنبههای جالب
577
00:18:06,559 –> 00:18:07,760
بسیاری از کارهایی که در
578
00:18:07,760 –> 00:18:09,200
فضای مهندسی داده انجام شده است این است که
579
00:18:09,200 –> 00:18:10,160
شما شروع به دیدن
580
00:18:10,160 –> 00:18:12,720
برخی از الگوهای معماری و
581
00:18:12,720 –> 00:18:14,000
فنآوریها کردهاید که
582
00:18:14,000 –> 00:18:16,080
به حوزه توسعه برنامهها بازمیگردند،
583
00:18:16,080 –> 00:18:18,240
جایی که بسیاری از برنامهها
584
00:18:18,240 –> 00:18:19,440
به خصوص اگر شما کار مجدد با
585
00:18:19,440 –> 00:18:21,679
میکروسرویس ها از چیزی مانند
586
00:18:21,679 –> 00:18:23,760
کافکا یا تپ اختر q
587
00:18:23,760 –> 00:18:26,480
به عنوان لایه ارتباطی
588
00:18:26,480 –> 00:18:28,480
برای انتشار اطلاعات استفاده می کند. در
589
00:18:28,480 –> 00:18:29,440
تمام برنامههای مختلف
590
00:18:29,440 –> 00:18:31,440
جدا شده و این
591
00:18:31,440 –> 00:18:32,799
همان فناوری و
592
00:18:32,799 –> 00:18:34,240
رویکردهای معماری مشابهی
593
00:18:34,240 –> 00:18:36,080
است که برای این خطوط لوله داده بلادرنگ استفاده میشود،
594
00:18:36,080 –> 00:18:37,120
595
00:18:37,120 –> 00:18:40,400
بله مرد صف نیست، برای
596
00:18:40,400 –> 00:18:42,960
اضافه کردن مرد به خواهر شگفتانگیز است و
597
00:18:42,960 –> 00:18:44,240
اگر این کار هم انجام شود، شگفتانگیز است. برای مدت طولانی
598
00:18:44,240 –> 00:18:45,600
آن را در یک صف بیندازید و اجازه دهید چیزی
599
00:18:45,600 –> 00:18:48,000
به مدت 30 ثانیه روی آن بچرخد، کاملاً خوب می شود
600
00:18:48,000 –> 00:18:49,039
منظورم
601
00:18:49,039 –> 00:18:51,679
کرفس این است که می دانید همان ایده
602
00:18:51,679 –> 00:18:53,600
فقط مقیاس کوچکتری است و بنابراین
603
00:18:53,600 –> 00:18:55,679
می دانید خرگوش mq زودگذرتر است
604
00:18:55,679 –> 00:18:57,360
در حالی که وقتی دوباره با قرار دادن آن در
605
00:18:57,360 –> 00:18:57,679
این
606
00:18:57,679 –> 00:19:00,000
نشانههای بادوام، میتوانید با
607
00:19:00,000 –> 00:19:02,000
اطلاعاتی که میتوانید
608
00:19:02,000 –> 00:19:04,160
زمان را به عقب برگردانید، کارهای بیشتری انجام دهید تا بتوانید بگویید خوب است، منطقم را تغییر دادم
609
00:19:04,160 –> 00:19:06,160
و میخواهم
610
00:19:06,160 –> 00:19:07,760
همه این رکوردهای
611
00:19:07,760 –> 00:19:09,039
سه ماه گذشته را دوباره پردازش کنم،
612
00:19:09,039 –> 00:19:10,799
در حالی که اگر داشتید که در rabbitmq
613
00:19:10,799 –> 00:19:11,919
همه آن رکوردها از بین رفته اند، مگر اینکه
614
00:19:11,919 –> 00:19:13,679
آنها را در جای دیگری نوشته باشید،
615
00:19:13,679 –> 00:19:16,559
بله، مطمئناً، بنابراین چند نظر
616
00:19:16,559 –> 00:19:18,799
از پخش زنده defria می گوید جریان هوای
617
00:19:18,799 –> 00:19:20,320
apache airflow واقعاً عالی است، مطمئناً
618
00:19:20,320 –> 00:19:21,520
ما می خواهیم در مورد آن صحبت کردم، اما
619
00:19:21,520 –> 00:19:23,039
من میخواستم از شما در مورد ابر بپرسم،
620
00:19:23,039 –> 00:19:26,000
استفان میگوید من
621
00:19:26,000 –> 00:19:27,120
در مورد
622
00:19:27,120 –> 00:19:29,120
حریم خصوصی و امنیت در فضای ابری شک دارم،
623
00:19:29,120 –> 00:19:31,440
بنابراین میخواهم بیشتر از
624
00:19:31,440 –> 00:19:33,440
سرور منطقه استفاده کنم، بنابراین شاید این
625
00:19:33,440 –> 00:19:34,799
روندی باشد که میتوانید
626
00:19:34,799 –> 00:19:36,000
با افرادی که با افرادی که با آنها
627
00:19:36,000 –> 00:19:37,039
مصاحبه
628
00:19:37,039 –> 00:19:39,440
کردهاید صحبت کنید، میدانید که این نوع دادهها گاهی اوقات واقعاً
629
00:19:39,440 –> 00:19:40,320
حساس هستند
630
00:19:40,320 –> 00:19:43,360
و مردم از آن محافظت
631
00:19:43,360 –> 00:19:45,120
میکنند یا هر چیز دیگری درست است،
632
00:19:45,120 –> 00:19:49,440
بنابراین داستان ابری چیست در مقابل اوه
633
00:19:49,440 –> 00:19:51,039
ما باید همه این کارها را انجام دهیم. در prem
634
00:19:51,039 –> 00:19:54,960
یا شاید حتی ترکیبی از آن
635
00:19:54,960 –> 00:19:56,320
درست است، بنابراین منظورم این است که قطعاً یک
636
00:19:56,320 –> 00:19:58,320
سؤال مهم است و چیزی که این
637
00:19:58,320 –> 00:20:01,200
است که یک مشکل پیچیده است،
638
00:20:01,200 –> 00:20:03,280
راه هایی برای حل آن وجود دارد، منظورم این است که حاکمیت
639
00:20:03,280 –> 00:20:05,440
داده نوعی اصطلاح کلی است که
640
00:20:05,440 –> 00:20:07,360
برای گفتن من می خواهم کنترل را حفظ کنم استفاده می شود. از
641
00:20:07,360 –> 00:20:08,640
دادههای من و مطمئن شوید که من
642
00:20:08,640 –> 00:20:11,760
از جنبههای نظارتی مناسب استفاده میکنم
643
00:20:11,760 –> 00:20:13,600
و مطمئن هستم
644
00:20:13,600 –> 00:20:15,840
که میدانم اطلاعات خصوصی خصوصی را فیلتر میکنم
645
00:20:15,840 –> 00:20:17,200
یا
646
00:20:17,200 –> 00:20:19,039
دادهها را در حالت استراحت رمزگذاری
647
00:20:19,039 –> 00:20:20,799
میکنم. قطعاً
648
00:20:20,799 –> 00:20:23,360
راههایی وجود دارد که میتوانید کنترل دقیقی
649
00:20:23,360 –> 00:20:24,159
بر روی دادههای خود داشته باشید،
650
00:20:24,159 –> 00:20:26,159
حتی زمانی که در فضای ابری هستید و بسیاری
651
00:20:26,159 –> 00:20:28,000
از پلتفرمهای ابری
652
00:20:28,000 –> 00:20:29,679
قابلیتهایی را ایجاد کردهاند تا
653
00:20:29,679 –> 00:20:31,520
کار را برای شما آسانتر کنند،
654
00:20:31,520 –> 00:20:33,200
به عنوان مثال اگر در آمازون هستید
655
00:20:33,200 –> 00:20:35,039
، آنها کلید خود را دارند. سرویس مدیریتی که
656
00:20:35,039 –> 00:20:36,000
میتوانید از آن برای
657
00:20:36,000 –> 00:20:38,400
رمزگذاری تمام فضای ذخیرهسازی خود در حالت استراحت استفاده
658
00:20:38,400 –> 00:20:39,919
کنید، اگر به آنها اعتماد ندارید، میتوانید کلیدهای خود را ارائه دهید،
659
00:20:39,919 –> 00:20:41,280
660
00:20:41,280 –> 00:20:42,880
زیرا کلیدهای پادشاهی را در
661
00:20:42,880 –> 00:20:44,400
آنجا نگه میدارید تا شما فردی باشید
662
00:20:44,400 –> 00:20:46,240
که کنترل میکنید.
663
00:20:46,240 –> 00:20:48,480
داده های خود را رمزگذاری و رمزگشایی کنید،
664
00:20:48,480 –> 00:20:50,080
می دانید که دسته ای از
665
00:20:50,080 –> 00:20:52,159
فناوری ها در انبارهای داده
666
00:20:52,159 –> 00:20:54,000
به نام فناوری های افزایش حریم خصوصی استفاده می شود
667
00:20:54,000 –> 00:20:55,840
که در آن می
668
00:20:55,840 –> 00:20:58,559
توانید تمام ردیف های پایگاه داده خود را
669
00:20:58,559 –> 00:20:59,840
به طور کامل
670
00:20:59,840 –> 00:21:02,799
رمزگذاری کنید و سپس می توانید
671
00:21:02,799 –> 00:21:05,200
گزاره پرس و جوی sql را رمزگذاری کنید تا بتوانید ببینید
672
00:21:05,200 –> 00:21:07,840
آیا داده ها با مقادیر موجود در پایگاه داده مطابقت دارند،
673
00:21:07,840 –> 00:21:09,280
بدون اینکه نیازی به
674
00:21:09,280 –> 00:21:10,240
رمزگشایی چیزی باشد
675
00:21:10,240 –> 00:21:11,840
تا بتوانید
676
00:21:11,840 –> 00:21:13,840
تجزیه و تحلیل های ابتدایی مانند انباشته ها را روی آن
677
00:21:13,840 –> 00:21:14,960
اطلاعات
678
00:21:14,960 –> 00:21:18,240
انجام دهید تا همه چیز ایمن بماند. در اینجا
679
00:21:18,240 –> 00:21:18,799
نیز دستهای
680
00:21:18,799 –> 00:21:21,360
از فناوریها وجود دارد که هنوز
681
00:21:21,360 –> 00:21:22,720
کمی در مرحله آزمایشی هستند به نام
682
00:21:22,720 –> 00:21:24,159
رمزگذاری
683
00:21:24,159 –> 00:21:27,760
همومورفیک که در واقع
684
00:21:27,760 –> 00:21:29,840
همه دادهها هرگز واقعاً
685
00:21:29,840 –> 00:21:31,600
رمزگشایی نمیشوند، بنابراین
686
00:21:31,600 –> 00:21:33,840
در این محفظه رمزگذاریشده زندگی
687
00:21:33,840 –> 00:21:36,240
میکنند، کار پردازش دادههای شما در آن
688
00:21:36,240 –> 00:21:39,440
sp در این رمزگذاری شده عمل میکند. فضا و بنابراین
689
00:21:39,440 –> 00:21:41,679
هرگز هیچ اطلاعات متنی واقعی در
690
00:21:41,679 –> 00:21:42,720
691
00:21:42,720 –> 00:21:44,799
جایی ذخیره نمی شود، حتی در
692
00:21:44,799 –> 00:21:46,000
رم رایانه شما،
693
00:21:46,000 –> 00:21:48,880
وای، پس اگر یکی از آن اشکالات عجیب و غریب cpu
694
00:21:48,880 –> 00:21:49,440
695
00:21:49,440 –> 00:21:51,840
که به شما اجازه می دهد از حافظه
696
00:21:51,840 –> 00:21:53,200
vms های مختلف
697
00:21:53,200 –> 00:21:54,960
یا چیزی شبیه به آن عبور کنید، درست متوجه می
698
00:21:54,960 –> 00:21:56,559
شوید. احتمالاً درست است
699
00:21:56,559 –> 00:21:58,559
بله، منظورم
700
00:21:58,559 –> 00:21:59,919
رمزگذاری همومورفیک
701
00:21:59,919 –> 00:22:00,960
702
00:22:00,960 –> 00:22:03,440
703
00:22:03,440 –> 00:22:04,000
704
00:22:04,000 –> 00:22:06,159
705
00:22:06,159 –> 00:22:07,039
706
00:22:07,039 –> 00:22:09,280
707
00:22:09,280 –> 00:22:10,880
708
00:22:10,880 –> 00:22:12,799
است. هزینه محاسباتی
709
00:22:12,799 –> 00:22:13,760
چیزی بود که هرگز واقعاً
710
00:22:13,760 –> 00:22:14,960
تجاری نشد
711
00:22:14,960 –> 00:22:16,799
، اما الگوریتمهای زیادی وجود دارد که هک
712
00:22:16,799 –> 00:22:18,880
برای کمک به
713
00:22:18,880 –> 00:22:20,559
امکان پذیرتر کردن استفاده واقعی در
714
00:22:20,559 –> 00:22:21,600
زمینه های تولید کشف شده ام،
715
00:22:21,600 –> 00:22:23,520
بله، در مورد پایگاه های داده دیگر اطلاعی ندارم، می
716
00:22:23,520 –> 00:22:26,000
دانم mongodb آنها ویژگی هایی را اضافه کرده اند
717
00:22:26,000 –> 00:22:27,600
که در آن می توانید فقط
718
00:22:27,600 –> 00:22:29,120
برخی از فیلدها را به
719
00:22:29,120 –> 00:22:31,520
درستی رمزگذاری کنید، بنابراین شاید در اینجا یک فیلد
720
00:22:31,520 –> 00:22:32,799
حساس است، اما شما لزوماً
721
00:22:32,799 –> 00:22:34,640
برای گزارشهایتان نیازی به پرسوجو
722
00:22:34,640 –> 00:22:36,159
نیست، اما باید با یک
723
00:22:36,159 –> 00:22:37,919
کاربر یا سفارش یا چیزی شبیه به آن ارتباط برقرار کنید،
724
00:22:37,919 –> 00:22:39,039
بنابراین حتی رفتن
725
00:22:39,039 –> 00:22:41,679
به آن بخش نیز میتواند قدم بسیار خوبی باشد،
726
00:22:41,679 –> 00:22:42,880
اما
727
00:22:42,880 –> 00:22:45,039
ابرهای ابری هم شگفتانگیز هستند و هم
728
00:22:45,039 –> 00:22:46,720
اوه ترسناک فکر می کنم
729
00:22:46,720 –> 00:22:48,240
بله بله منظورم این است که قطعا
730
00:22:48,240 –> 00:22:49,760
گزینه های زیادی وجود دارد، این چیزی است که
731
00:22:49,760 –> 00:22:52,799
به کمی درک و
732
00:22:52,799 –> 00:22:54,320
کار نیاز دارد، اما مطمئناً می
733
00:22:54,320 –> 00:22:55,760
توان مطمئن شد که تمام داده های شما ایمن می مانند
734
00:22:55,760 –> 00:22:56,480
735
00:22:56,480 –> 00:22:59,200
و شما کنترل کاملی بر
736
00:22:59,200 –> 00:23:01,120
مکان استفاده از آنها دارید
737
00:23:01,120 –> 00:23:04,559
بله، یکی از چیزهای بعدی که میخواستم
738
00:23:04,559 –> 00:23:05,440
در مورد آن از شما بپرسم
739
00:23:05,440 –> 00:23:08,880
زبانها است، بنابراین احتمالاً
740
00:23:08,880 –> 00:23:10,720
با
741
00:23:10,720 –> 00:23:12,720
این نمودار در اینجا آشنا هستید که اگر
742
00:23:12,720 –> 00:23:14,240
مردم جریان را تماشا نمیکنند،
743
00:23:14,240 –> 00:23:16,320
این همان پشته است. روند سرریز
744
00:23:16,320 –> 00:23:18,000
نشان می دهد که
745
00:23:18,000 –> 00:23:20,799
پایتون فقط زبان های دیگر
746
00:23:20,799 –> 00:23:23,280
از جمله جاوا را مغلوب می کند،
747
00:23:23,280 –> 00:23:25,760
اما می دانم که جاوا شاید یکی
748
00:23:25,760 –> 00:23:27,200
از اصلی ترین راه هایی بوده است که احتمالاً
749
00:23:27,200 –> 00:23:27,919
به جرقه مربوط می شود
750
00:23:27,919 –> 00:23:31,360
و تا حدودی
751
00:23:31,360 –> 00:23:33,120
نقش پایتون را نسبت به سایر
752
00:23:33,120 –> 00:23:34,720
فناوری ها در اینجا می بینید،
753
00:23:34,720 –> 00:23:36,880
بنابراین پایتون قطعاً چنین بوده است. رشد
754
00:23:36,880 –> 00:23:39,039
زیادی در فضای مهندسی داده
755
00:23:39,039 –> 00:23:40,960
عمدتاً به دلیل این واقعیت است که
756
00:23:40,960 –> 00:23:42,400
در علم داده بسیار محبوب است
757
00:23:42,400 –> 00:23:45,440
و بنابراین دانشمندان داده ای وجود دارند که
758
00:23:45,440 –> 00:23:47,360
759
00:23:47,360 –> 00:23:49,360
به عنوان یک نیاز شغلی خود به سمت مهندسی داده حرکت می
760
00:23:49,360 –> 00:23:50,480
کنند
761
00:23:50,480 –> 00:23:53,520
و بنابراین آنها پایتون را وارد می کنند.
762
00:23:53,520 –> 00:23:55,039
این لایههای پشته
763
00:23:55,039 –> 00:23:56,960
نیز فقط بهعنوان یک زبان یکپارچه استفاده میشوند
764
00:23:56,960 –> 00:23:57,760
تا
765
00:23:57,760 –> 00:24:00,000
مهندسان داده و دانشمندان داده
766
00:24:00,000 –> 00:24:01,919
بتوانند روی همان پایههای کدی
767
00:24:01,919 –> 00:24:03,679
که شما اشاره کردید کار کنند جاوا
768
00:24:03,679 –> 00:24:05,279
برای مدت طولانی در
769
00:24:05,279 –> 00:24:07,200
اکوسیستم داده به دلیل مواردی مانند
770
00:24:07,200 –> 00:24:08,799
هادوپ و اسپارک محبوب بوده است.
771
00:24:08,799 –> 00:24:11,120
و با نگاهی به نمودار روند، من
772
00:24:11,120 –> 00:24:12,159
علاقه مند خواهم بود ببینم
773
00:24:12,159 –> 00:24:13,840
اگر واقعاً
774
00:24:13,840 –> 00:24:15,760
محبوبیت های جاوا و اسکالا را با هم ترکیب کنید، چگونه به نظر می رسد.
775
00:24:15,760 –> 00:24:16,480
776
00:24:16,480 –> 00:24:19,840
از آنجایی که اسکالا به یک
777
00:24:19,840 –> 00:24:21,520
رقیب قوی در آن فضا تبدیل شده است،
778
00:24:21,520 –> 00:24:22,320
زیرا چیزهایی
779
00:24:22,320 –> 00:24:25,440
مانند اوه اسپارک و فلینک که
780
00:24:25,440 –> 00:24:28,799
از اسکالا ام پشتیبانی میکنند، میدانید که
781
00:24:28,799 –> 00:24:30,480
این یک زبان باطنی بیشتر است،
782
00:24:30,480 –> 00:24:32,400
اما در پردازش دادهها از آن بسیار استفاده میشود،
783
00:24:32,400 –> 00:24:34,400
اما پایتون قطعاً این کار را انجام داده است. زمین های زیادی به دست آورد
784
00:24:34,400 –> 00:24:36,080
و همچنین به دلیل
785
00:24:36,080 –> 00:24:38,480
ابزارهایی مانند جریان هوا که به نوعی
786
00:24:38,480 –> 00:24:39,919
اولین نسل
787
00:24:39,919 –> 00:24:42,960
ابزاری بود که برای مهندسان داده توسط مهندسان داده ساخته
788
00:24:42,960 –> 00:24:44,880
شد تا بتواند این
789
00:24:44,880 –> 00:24:46,000
نمودارهای وابستگی
790
00:24:46,000 –> 00:24:48,720
عملیات را مدیریت کند تا بتوانید این
791
00:24:48,720 –> 00:24:49,840
خطوط لوله را داشته باشید که
792
00:24:49,840 –> 00:24:51,840
به این معنی است که می دانید من باید دادهها را
793
00:24:51,840 –> 00:24:54,400
از salesforce بیرون بکشم و سپس آنها را در s3 قرار دهم
794
00:24:54,400 –> 00:24:55,760
و سپس باید کار دیگری داشته باشم
795
00:24:55,760 –> 00:24:57,520
که آن دادهها را از s3 خارج کرده و
796
00:24:57,520 –> 00:24:58,480
در پایگاه داده قرار دهد
797
00:24:58,480 –> 00:25:00,320
و سپس همان دادههای s3
798
00:25:00,320 –> 00:25:02,080
باید وارد شود.
799
00:25:02,080 –> 00:25:05,520
شغل و سپس
800
00:25:05,520 –> 00:25:07,200
هنگامی که این دو کار کامل شدند، باید
801
00:25:07,200 –> 00:25:09,039
کار دیگری را شروع کنم که سپس
802
00:25:09,039 –> 00:25:10,640
یک پرس و جوی sql در انبار داده اجرا
803
00:25:10,640 –> 00:25:12,480
می کند تا بتوانم مقداری
804
00:25:12,480 –> 00:25:14,000
اطلاعات جمعی را
805
00:25:14,000 –> 00:25:16,320
به فروش و بازار خود ارائه دهم. تیم g برای گفتن این
806
00:25:16,320 –> 00:25:17,440
چیزی است که میدانید
807
00:25:17,440 –> 00:25:18,799
تعامل با مشتری شما شبیه به
808
00:25:18,799 –> 00:25:20,400
آن است یا هر چیزی که ممکن است باشد،
809
00:25:20,400 –> 00:25:23,200
بله و همه اینها در پایتون ام نوشته شده است
810
00:25:23,200 –> 00:25:23,840
811
00:25:23,840 –> 00:25:26,320
و همچنین فقط به دلیل
812
00:25:26,320 –> 00:25:28,080
اکوسیستم عظیم کتابخانههایی است
813
00:25:28,080 –> 00:25:29,760
که پایتون برای ارتباط با
814
00:25:29,760 –> 00:25:31,520
همه اینها دارد. سیستمهای مختلف
815
00:25:31,520 –> 00:25:34,799
و میدانید که مهندسی داده در سطح
816
00:25:34,799 –> 00:25:35,279
معینی
817
00:25:35,279 –> 00:25:37,039
در واقع فقط یک
818
00:25:37,039 –> 00:25:38,799
کار یکپارچهسازی سیستم است که در آن شما باید بتوانید
819
00:25:38,799 –> 00:25:39,760
820
00:25:39,760 –> 00:25:41,520
اطلاعاتی را در تمام
821
00:25:41,520 –> 00:25:42,640
این لایههای مختلف و همه این
822
00:25:42,640 –> 00:25:44,320
سیستمهای مختلف در جریان
823
00:25:44,320 –> 00:25:45,840
داشته باشید و برخی از ابزارهای جالب آن را به خوبی کنترل کنید.
824
00:25:45,840 –> 00:25:47,440
825
00:25:47,440 –> 00:25:49,520
که بهعنوان نوعی
826
00:25:49,520 –> 00:25:50,880
بهبود نسلی نسبت به جریان هوا ظاهر
827
00:25:50,880 –> 00:25:53,760
شدهاند، من در
828
00:25:53,760 –> 00:25:56,159
واقع از داکستر برای کار خودم در mit استفاده کردهام
829
00:25:56,159 –> 00:25:58,080
و از آن ابزار لذت میبرم.
830
00:25:58,080 –> 00:26:00,080
831
00:26:00,080 –> 00:26:02,960
بیایید به
832
00:26:02,960 –> 00:26:04,480
نوعی روی آن چیزها تمرکز کنیم و
833
00:26:04,480 –> 00:26:06,080
موضوعاتی که می خواستم پوشش
834
00:26:06,080 –> 00:26:08,080
835
00:26:08,080 –> 00:26:10,159
836
00:26:10,159 –> 00:26:12,240
دهم شاید پنج بسته یا کتابخانه مهم برای مهندسی داده باشد و شما اولین موردی که
837
00:26:12,240 –> 00:26:14,559
با هم به عنوان یک trifecta گروه بندی می شود،
838
00:26:14,559 –> 00:26:18,000
بنابراین داکستر جریان هوا و بخشدار
839
00:26:18,000 –> 00:26:20,159
که می خواهید به شما بگویید ممکن است کمی در مورد آن سه به ما بگویید
840
00:26:20,159 –> 00:26:22,840
841
00:26:22,840 –> 00:26:25,760
بله، بنابراین من شخصاً از dagster استفاده می کنم من
842
00:26:25,760 –> 00:26:27,520
بسیاری از انتزاعات
843
00:26:27,520 –> 00:26:29,440
و رابط کاربری را دوست دارم طراحی که آنها ارائه می دهند
844
00:26:29,440 –> 00:26:30,720
اما هر سه آنها
845
00:26:30,720 –> 00:26:33,679
در دسته ای از ابزارها به
846
00:26:33,679 –> 00:26:35,279
نام مدیریت گردش کار یا هماهنگ سازی داده ها گروه بندی می شوند
847
00:26:35,279 –> 00:26:36,559
848
00:26:36,559 –> 00:26:38,960
و بنابراین مسئولیت این است که
849
00:26:38,960 –> 00:26:40,000
شما باید
850
00:26:40,000 –> 00:26:43,039
راهی برای ساخت این خطوط لوله داشته باشید تا
851
00:26:43,039 –> 00:26:43,919
این
852
00:26:43,919 –> 00:26:46,320
داگ ها یا نمودارهای غیر چرخه ای
853
00:26:46,320 –> 00:26:47,840
عملیات را بسازید. جایی
854
00:26:47,840 –> 00:26:51,120
که میدانید رئوس نمودار
855
00:26:51,120 –> 00:26:54,000
دادهها هستند و گرهها کارهای
856
00:26:54,000 –> 00:26:55,600
یا عملیاتی هستند که روی آنها انجام میشود،
857
00:26:55,600 –> 00:26:56,240
858
00:26:56,240 –> 00:26:57,600
بنابراین باید بتوانید
859
00:26:57,600 –> 00:27:00,400
این زنجیره وابستگی را ایجاد کنید زیرا
860
00:27:00,400 –> 00:27:02,559
میدانید که باید اطلاعات را
861
00:27:02,559 –> 00:27:03,919
از یک منبع دریافت کنید. سیستم شما باید آن را
862
00:27:03,919 –> 00:27:05,360
به یک سیستم هدف وارد کنید، ممکن است لازم باشد
863
00:27:05,360 –> 00:27:06,000
864
00:27:06,000 –> 00:27:08,880
تغییراتی را در مسیر یا
865
00:27:08,880 –> 00:27:10,320
پس از فرود انجام دهید.
866
00:27:10,320 –> 00:27:13,200
867
00:27:13,200 –> 00:27:14,320
868
00:27:14,320 –> 00:27:16,480
آیا قبلاً تبدیل تبدیل می شد و سپس
869
00:27:16,480 –> 00:27:17,360
بارگذاری می شد
870
00:27:17,360 –> 00:27:18,720
زیرا شما باید تمام
871
00:27:18,720 –> 00:27:21,039
اطلاعات موجود در آن طرح
872
00:27:21,039 –> 00:27:22,080
تخصصی انبار داده را داشته باشید که
873
00:27:22,080 –> 00:27:22,960
قبلاً ذکر
874
00:27:22,960 –> 00:27:24,640
کردیم، اما اکنون همه
875
00:27:24,640 –> 00:27:26,399
پایگاه داده های پایگاه داده رابطه ای که باید
876
00:27:26,399 –> 00:27:27,679
این ستون ها را داشته باشند و این
877
00:27:27,679 –> 00:27:29,679
می تواند باشد. کاراکتر طولانی نباشد،
878
00:27:29,679 –> 00:27:31,919
باید یک var varchar 10 یا هر چیز دیگری درست باشد
879
00:27:31,919 –> 00:27:33,760
880
00:27:33,760 –> 00:27:36,399
و سپس با ظهور
881
00:27:36,399 –> 00:27:37,840
انبارهای داده ابری که
882
00:27:37,840 –> 00:27:39,440
در چند سال گذشته اتفاق
883
00:27:39,440 –> 00:27:41,200
افتاده است، با انتقال به قرمز از آمازون راه اندازی شد و
884
00:27:41,200 –> 00:27:42,880
سپس توسط آن ادامه یافت. چیزهایی مانند
885
00:27:42,880 –> 00:27:45,520
google bigquery snowflake که احتمالاً بسیاری از
886
00:27:45,520 –> 00:27:46,000
مردم
887
00:27:46,000 –> 00:27:48,320
از آن آگاه خواهند بود، میدانید
888
00:27:48,320 –> 00:27:49,919
که تعدادی
889
00:27:49,919 –> 00:27:51,840
سیستم و پلتفرم دیگر در
890
00:27:51,840 –> 00:27:53,600
خارج از فیس بوک وجود دارد که اکنون یک
891
00:27:53,600 –> 00:27:55,279
پروژه منبع باز است که در واقع به trino تغییر نام داده است،
892
00:27:55,279 –> 00:27:57,200
893
00:27:57,200 –> 00:27:59,520
این سیستمها به افراد اجازه میدهند
894
00:27:59,520 –> 00:28:00,880
بسیار دنبالهدار هستند، اما به دلیل این
895
00:28:00,880 –> 00:28:02,240
واقعیت که آنها مقیاسپذیر هستند
896
00:28:02,240 –> 00:28:03,840
و مدلهای داده انعطافپذیرتری
897
00:28:03,840 –> 00:28:06,640
ارائه میدهند، روند به سمت استخراج
898
00:28:06,640 –> 00:28:08,559
بار و سپس تبدیل شدن رفته است. med زیرا شما
899
00:28:08,559 –> 00:28:10,720
فقط می توانید طرحواره را
900
00:28:10,720 –> 00:28:13,279
همانطور که هست در این سیستم های مقصد تکرار کنید و
901
00:28:13,279 –> 00:28:14,320
سپس می توانید تمام تبدیل های خود را
902
00:28:14,320 –> 00:28:16,720
در sql انجام دهید
903
00:28:16,720 –> 00:28:18,480
و به این ترتیب ما را به ابزار دیگری
904
00:28:18,480 –> 00:28:20,799
که در اکوسیستم پایتون است که در
905
00:28:20,799 –> 00:28:22,720
حال به دست آوردن زمین های زیادی به نام dbt
906
00:28:22,720 –> 00:28:24,320
یا داده است می آورد. ابزاری را ایجاد می کند
907
00:28:24,320 –> 00:28:27,120
و بنابراین این ابزاری است که در واقع
908
00:28:27,120 –> 00:28:28,640
909
00:28:28,640 –> 00:28:31,039
تحلیلگران داده را به ارمغان می آورد و مجموعه مهارت های آنها را بهبود می بخشد و
910
00:28:31,039 –> 00:28:32,480
آنها را
911
00:28:32,480 –> 00:28:34,480
در سازمان
912
00:28:34,480 –> 00:28:36,240
913
00:28:36,240 –> 00:28:39,120
خودکفاتر می کند و
914
00:28:39,120 –> 00:28:41,120
چارچوب بسیار خوبی را برای آنها فراهم می کند تا
915
00:28:41,120 –> 00:28:43,600
بتوانند در یک ذهنیت مهندسی عمل کنند.
916
00:28:43,600 –> 00:28:44,880
917
00:28:44,880 –> 00:28:47,919
یک داگ تخصصی در
918
00:28:47,919 –> 00:28:49,360
زمینه انبار داده ایجاد کنید
919
00:28:49,360 –> 00:28:51,440
تا مجموعه داده های منبعی را که
920
00:28:51,440 –> 00:28:53,679
به انبار داده وارد می شوند از
921
00:28:53,679 –> 00:28:56,000
کارهای استخراج و بارگذاری گرفته و این تبدیل ها را ایجاد کنید
922
00:28:56,000 –> 00:28:57,279
923
00:28:57,279 –> 00:29:00,320
تا ممکن است جدول کاربر را از
924
00:29:00,320 –> 00:29:01,840
پایگاه داده برنامه خود و
925
00:29:01,840 –> 00:29:05,200
جدول سفارشات داشته باشید. و سپس شما
926
00:29:05,200 –> 00:29:06,240
927
00:29:06,240 –> 00:29:07,840
همچنین اطلاعات نیروی فروش را دارید که در
928
00:29:07,840 –> 00:29:09,440
یک جدول جداگانه قرار گرفته است و می خواهید بتوانید
929
00:29:09,440 –> 00:29:11,200
همه آنها را با هم ترکیب کنید. قادر به
930
00:29:11,200 –> 00:29:12,559
درک
931
00:29:12,559 –> 00:29:15,360
الگوهای خرید مشتری از مشتری خود هستید
932
00:29:15,360 –> 00:29:16,399
933
00:29:16,399 –> 00:29:18,640
و بنابراین از sql برای ایجاد یک
934
00:29:18,640 –> 00:29:19,919
view یا
935
00:29:19,919 –> 00:29:21,520
ایجاد جدول جدید از اطلاعات منبع
936
00:29:21,520 –> 00:29:24,320
در انبار داده استفاده می کنید
937
00:29:24,320 –> 00:29:27,360
و dbt آن گردش کار را مدیریت می
938
00:29:27,360 –> 00:29:29,200
کند و همچنین از بودن پشتیبانی می کند. قادر به
939
00:29:29,200 –> 00:29:30,720
ساخت واحد تستها
940
00:29:30,720 –> 00:29:33,120
در sql در گردش کار شما است، این
941
00:29:33,120 –> 00:29:33,919
یک چیز عالی دیگر است،
942
00:29:33,919 –> 00:29:35,760
آه چقدر جالب است، بله، چیزی است
943
00:29:35,760 –> 00:29:37,919
که شما واقعاً
944
00:29:37,919 –> 00:29:38,559
945
00:29:38,559 –> 00:29:40,880
10 سال پیش آن را زیاد نشنیده بودید، در پایگاههای داده آزمایش
946
00:29:40,880 –> 00:29:41,760
شد، معمولاً این بود
947
00:29:41,760 –> 00:29:43,840
که چگونه پایگاه داده را از آن خارج کنم.
948
00:29:43,840 –> 00:29:45,919
تصویر را تا بتوانم بدون وابسته بودن
949
00:29:45,919 –> 00:29:47,360
به آن تست کنم یا چیزی شبیه به آن،
950
00:29:47,360 –> 00:29:48,480
این داستان بود بله
951
00:29:48,480 –> 00:29:50,960
بله، این یکی دیگر از روند رو به رشد واقعی
952
00:29:50,960 –> 00:29:51,760
است،
953
00:29:51,760 –> 00:29:54,880
جنبه کلی کیفیت داده ها و
954
00:29:54,880 –> 00:29:57,760
اعتماد به جریان داده های شما است، بنابراین چیزهایی
955
00:29:57,760 –> 00:29:58,960
956
00:29:58,960 –> 00:30:01,679
مانند داکستر و بخشدار و جریان هوا
957
00:30:01,679 –> 00:30:03,679
پشتیبانی می کنند. برای اینکه بتوانید
958
00:30:03,679 –> 00:30:05,120
خطوط لوله خود را واحد آزمایش کنید که یکی دیگر از
959
00:30:05,120 –> 00:30:07,039
جنبه های عالی اکوسیستم پایتون است این است که
960
00:30:07,039 –> 00:30:08,399
فقط می توانید کد تست pi را بنویسید
961
00:30:08,399 –> 00:30:10,720
تا اطمینان حاصل کنید که تمام عملیات
962
00:30:10,720 –> 00:30:12,559
روی دا شما تا با انتظارات شما مطابقت داشته باشد و
963
00:30:12,559 –> 00:30:15,039
شما رگرسیون و اشکالات
964
00:30:15,039 –> 00:30:17,440
درستی ندارید، کاملاً جنبه
965
00:30:17,440 –> 00:30:18,399
پیچیده
966
00:30:18,399 –> 00:30:20,799
مهندسی داده این است که
967
00:30:20,799 –> 00:30:22,080
فقط کدی نیست که باید از درست
968
00:30:22,080 –> 00:30:23,279
بودن آن اطمینان حاصل کنید، بلکه باید
969
00:30:23,279 –> 00:30:25,120
مطمئن شوید که داده ها درست هستند.
970
00:30:25,120 –> 00:30:27,279
و بنابراین ابزار دیگری که
971
00:30:27,279 –> 00:30:28,880
دوباره در این جنبه از اکوسیستم پایتون
972
00:30:28,880 –> 00:30:31,120
کمک میکند، انتظارات بسیار خوبی است،
973
00:30:31,120 –> 00:30:34,240
درست است، بنابراین درست در
974
00:30:34,240 –> 00:30:35,600
حوزه آزمایش دادههای شما،
975
00:30:35,600 –> 00:30:38,720
بله دقیقاً بنابراین میتوانید بگویید که میدانید من
976
00:30:38,720 –> 00:30:40,240
دادهها را از پایگاه داده برنامهام بیرون میکشم
977
00:30:40,240 –> 00:30:40,960
978
00:30:40,960 –> 00:30:43,760
. انتظار دارم که طرحواره این
979
00:30:43,760 –> 00:30:44,880
ستون ها را در خود داشته باشد،
980
00:30:44,880 –> 00:30:46,720
من انتظار دارم که توزیع داده ها در
981
00:30:46,720 –> 00:30:48,000
این ستون به
982
00:30:48,000 –> 00:30:50,240
شما بگوید که می
983
00:30:50,240 –> 00:30:52,240
دانید مقادیر فقط از صفر تا پنج متغیر هستند
984
00:30:52,240 –> 00:30:54,080
و سپس اگر مقداری خارج از
985
00:30:54,080 –> 00:30:55,760
آن محدوده دریافت کنم، می توانم
986
00:30:55,760 –> 00:30:57,200
آن را انجام دهم. در آزمون مردود شدم و به من اطلاع
987
00:30:57,200 –> 00:30:59,120
میدهد که مشکلی وجود ندارد، بنابراین شما میتوانید
988
00:30:59,120 –> 00:31:00,799
این
989
00:31:00,799 –> 00:31:03,279
انتظارات بسیار واضح و انعطافپذیر را در مورد
990
00:31:03,279 –> 00:31:04,000
991
00:31:04,000 –> 00:31:05,519
آنچه که خط لوله دادهتان
992
00:31:05,519 –> 00:31:07,760
انجام میدهد ایجاد کنید تا بتوانید به دست آورید.
993
00:31:07,760 –> 00:31:09,200
دید و اطمینان نسبت
994
00:31:09,200 –> 00:31:11,760
به آنچه که واقعاً اتفاق میافتد، در حالی که شما
995
00:31:11,760 –> 00:31:13,519
در حال انتشار اطلاعات در تمام
996
00:31:13,519 –> 00:31:15,360
این سیستمهای مختلف هستید،
997
00:31:15,360 –> 00:31:16,720
بنابراین آیا این بخشی از
998
00:31:16,720 –> 00:31:18,799
آزمایشهای یکپارچهسازی مداوم خود را
999
00:31:18,799 –> 00:31:20,480
کاملاً بله انجام میدهید تا بخشی از
1000
00:31:20,480 –> 00:31:22,480
یکپارچگی مداوم شما باشد، زیرا
1001
00:31:22,480 –> 00:31:24,080
نسخههای جدید خط لوله خود را ارائه میکنید.
1002
00:31:24,080 –> 00:31:26,159
همچنین چیزی است که
1003
00:31:26,159 –> 00:31:28,559
در زمینه کار دستهای شبانه
1004
00:31:28,559 –> 00:31:32,399
یا خط لوله پخش شما اجرا میشود، بنابراین
1005
00:31:33,200 –> 00:31:36,240
بله، بله، بنابراین مانند یک آزمایش پیشآزمون است،
1006
00:31:36,240 –> 00:31:36,640
مانند یک
1007
00:31:36,640 –> 00:31:38,720
تست if برای عملکرد شما است، اما برای
1008
00:31:38,720 –> 00:31:40,000
دادههای شما دقیقاً مانند اجازه دهید مطمئن شویم که
1009
00:31:40,000 –> 00:31:41,600
همه چیز خوب است قبل از اینکه انجام دهیم
1010
00:31:41,600 –> 00:31:42,480
این و در واقع
1011
00:31:42,480 –> 00:31:44,799
پاسخ را روی داشبورد
1012
00:31:44,799 –> 00:31:46,159
برای صبح یا چیزی شبیه به آن رها
1013
00:31:46,159 –> 00:31:49,519
کنید، درست است اوم، بله، شما می دانید که این
1014
00:31:49,519 –> 00:31:50,240
به
1015
00:31:50,240 –> 00:31:52,080
ایجاد اعتماد به نفس کمک می کند زیرا هر کسی
1016
00:31:52,080 –> 00:31:54,080
که روی داده کار کرده است
1017
00:31:54,080 –> 00:31:57,120
تجربه ارائه این گزارش
1018
00:31:57,120 –> 00:31:57,519
را داشته است.
1019
00:31:57,519 –> 00:31:59,279
خیلی خوبه، خوشحالم که تونستم
1020
00:31:59,279 –> 00:32:00,640
این کار رو انجام بدم و
1021
00:32:00,640 –> 00:32:01,919
بعد شما اون رو به
1022
00:32:01,919 –> 00:32:04,720
شما می دونید مدیر عامل یا شما cto ما و
1023
00:32:04,720 –> 00:32:05,919
آنها به آن نگاه می کنند و می گویند خوب این
1024
00:32:05,919 –> 00:32:07,279
کاملاً درست به نظر نمی رسد
1025
00:32:07,279 –> 00:32:09,279
و سپس شما به عقب می روید و متوجه می شوید که اوه خام
1026
00:32:09,279 –> 00:32:10,399
این به این دلیل است که
1027
00:32:10,399 –> 00:32:12,000
می دانید فراموش کرده اید این
1028
00:32:12,000 –> 00:32:13,679
ستون دیگر یا هر چیز دیگری را که هست بکشید و بنابراین به این ترتیب
1029
00:32:13,679 –> 00:32:14,480
نمی توانید
1030
00:32:14,480 –> 00:32:16,080
1031
00:32:16,080 –> 00:32:18,320
وقتی گزارشی را تحویل میدهید، باید آن احساس غرق شدن را در دل خود
1032
00:32:18,320 –> 00:32:20,720
داشته باشید که بدتر از آن،
1033
00:32:20,720 –> 00:32:22,720
این است که ما تصمیم
1034
00:32:22,720 –> 00:32:24,640
گرفتیم با خرید یک موقعیت قابل توجه در
1035
00:32:24,640 –> 00:32:25,840
آن شرکت دیگر
1036
00:32:25,840 –> 00:32:27,919
سرمایهگذاری کنیم، اما معلوم شد که در
1037
00:32:27,919 –> 00:32:29,120
واقع ما یک علامت منفی این
1038
00:32:29,120 –> 00:32:30,640
بود که سرمایه گذاری در
1039
00:32:30,640 –> 00:32:31,360
این مورد
1040
00:32:31,360 –> 00:32:33,440
کاملاً درست نبود، مثلاً اگر
1041
00:32:33,440 –> 00:32:34,559
اقدامات انجام شده باشد،
1042
00:32:34,559 –> 00:32:35,840
اجازه دهید شما را خیلی سریع به
1043
00:32:35,840 –> 00:32:37,519
آن سؤال گرایش های زبان
1044
00:32:37,519 –> 00:32:38,080
1045
00:32:38,080 –> 00:32:40,960
برگردانم، بنابراین آنتونی لیستر می پرسد آیا ام هنوز به
1046
00:32:40,960 –> 00:32:42,640
طور گسترده استفاده می شود
1047
00:32:42,640 –> 00:32:45,279
اوه و یه جورایی یه رقیب قوی بیایید
1048
00:32:45,279 –> 00:32:45,760
بگیم
1049
00:32:45,760 –> 00:32:49,200
1050
00:32:49,200 –> 00:32:50,559
این روزها
1051
00:32:50,559 –> 00:32:52,240
1052
00:32:52,240 –> 00:32:54,720
1053
00:32:54,720 –> 00:32:55,360
1054
00:32:55,360 –> 00:32:56,880
1055
00:32:56,880 –> 00:32:58,480
نظر شما چیه به پایتون فضای آتا
1056
00:32:58,480 –> 00:33:00,399
من واقعاً r را در
1057
00:33:00,399 –> 00:33:02,080
زمینه مهندسی داده نمیبینم، قطعاً
1058
00:33:02,080 –> 00:33:02,399
هنوز
1059
00:33:02,399 –> 00:33:05,200
هم برای بسیاری از مدلسازی آماری حجمهای
1060
00:33:05,200 –> 00:33:08,080
کاری علم داده یادگیری ماشینی استفاده میشود
1061
00:33:08,080 –> 00:33:09,600
1062
00:33:09,600 –> 00:33:11,919
. هماکنون همکاری بسیار خوبی بین r و پایتون وجود دارد، بهویژه با
1063
00:33:11,919 –> 00:33:13,200
پروژه aero
1064
00:33:13,200 –> 00:33:15,760
که یک -نمایش ستونی حافظه
1065
00:33:15,760 –> 00:33:16,880
1066
00:33:16,880 –> 00:33:20,320
که یک um قابل همکاری
1067
00:33:20,320 –> 00:33:22,720
در حافظه فراهم می کند، فضایی در حافظه فراهم می کند که در
1068
00:33:22,720 –> 00:33:24,000
آن می توانید
1069
00:33:24,000 –> 00:33:26,880
داده ها را بین r و پایتون و جاوا
1070
00:33:26,880 –> 00:33:28,159
بدون نیاز به انجام
1071
00:33:28,159 –> 00:33:31,120
هیچ کپی برداری بین آنها مبادله کنید، بنابراین
1072
00:33:31,120 –> 00:33:32,960
به کاهش بسیاری از
1073
00:33:32,960 –> 00:33:35,600
عدم تطابق امپدانس کمک می کند. بین این زبان ها،
1074
00:33:35,600 –> 00:33:37,519
زبان دیگری که
1075
00:33:37,519 –> 00:33:39,840
در اکوسیستم داده ها جایگاه زیادی پیدا کرده است،
1076
00:33:39,840 –> 00:33:41,440
جولیا است
1077
00:33:41,440 –> 00:33:45,039
و آنها در واقع تحت
1078
00:33:45,039 –> 00:33:47,600
سازماندهی متمرکز هستند که
1079
00:33:47,600 –> 00:33:50,080
بسیاری از اکوسیستم داده پایتون را پشتیبانی می کند،
1080
00:33:50,080 –> 00:33:51,760
بله، جولی جایگاه زیادی را به دست آورده
1081
00:33:51,760 –> 00:33:54,000
است. اما پایتون فقط به دلیل
1082
00:33:54,000 –> 00:33:57,039
استفاده گسترده اش هنوز بسیار محبوب است و
1083
00:33:57,039 –> 00:33:58,480
یک حکایت وجود دارد که من
1084
00:33:58,480 –> 00:33:59,919
چندین بار شنیده ام و به یاد ندارم کجا
1085
00:33:59,919 –> 00:34:01,600
من برای اولین بار متوجه شدم که
1086
00:34:01,600 –> 00:34:03,440
پایتون بهترین زبان برای
1087
00:34:03,440 –> 00:34:04,799
هر چیزی نیست، اما دومین
1088
00:34:04,799 –> 00:34:06,15