找回密碼 或 安全提問
 註冊
|註冊|登錄

伊莉討論區

搜索
請尊重及感激所有版主付出和奉獻儲值後自動升級用戶組認識好友、聊天,分享生活趣事
三上cosplayoverlord3dvrgd
娛樂:開異世界来豬肝記得adorable母娘gesinisist

休閒聊天興趣交流學術文化旅遊交流飲食交流家庭事務PC GAMETV GAME
熱門線上其他線上感情感性寵物交流家族門派動漫交流貼圖分享BL/GL
音樂世界影視娛樂女性頻道潮流資訊BT下載區GB下載區下載分享短片
電腦資訊數碼產品手機交流交易廣場網站事務長篇小說體育運動時事經濟
上班一族博彩娛樂

[繁]葬送的芙莉蓮27-

[繁]反派千金等級99~

[繁]秒殺外掛太強了,

[繁]不死不運24- (完)

[繁/無修正]婚戒物語

[繁][720P]海賊王1098
C & C++ 語言C# 語言Visual Basic 語言PHP 語言JAVA 語言
查看: 5854|回復: 12

[問題] 如何將大資料量存進程式處理[複製鏈接]

帖子
26
積分
3 點
潛水值
11940 米
發表於 2016-5-14 11:26 AM|顯示全部樓層
若對尊貴或贊助會員有任何疑問,歡迎向我們查詢。我們的即時通或MSN: admin@eyny.com
如果sql撈出一千萬筆資料不分頁要一次取出要如何存下來 用string 會有陣列65535的大小限制
如果用datagridview最多可以存幾筆 因為datagridview不是也要用陣列索引取出就會有65535
如果用list array可以一直new會不會記憶體被吃光一個dot net 程式是不是有最大記憶體用量2G的限制
回覆中加入附件並不會使你增加積分,請使用主題方式發佈附件。

使用道具檢舉

Rank: 2Rank: 2

帖子
541
積分
212 點
潛水值
13707 米
發表於 2016-5-14 11:57 AM|顯示全部樓層
若瀏覽伊莉的時侯發生問題或不正常情況,請使用Internet Explorer(I.E)。
我想請教一下,一千萬筆資料不分頁,用途是甚麼,一般不分頁式為了能夠一筆一筆的看,可是‧‧‧一千萬耶,看完頭髮都白了吧!

使用道具檢舉

帖子
26
積分
3 點
潛水值
11940 米
發表於 2016-5-14 01:00 PM|顯示全部樓層
因為用戶想要看line chart要能在這一千萬筆時間中細看哪一分鐘或拉大到哪個小時每哪一天
做時間來回拉動
如果不一次load進去 不是要變成分段load資料 拉到那個區間即時load那個區間時間的資料

補充內容 (2016-5-14 09:21 PM):
可是是要顯示在圖表上再拖移時作load資料會不會產生問題如lag停頓等待load資料,這樣使用者拖拉動作會不順暢,使用者因該會抱怨...
瀏覽完整內容,請先 註冊登入會員

點評

sheauren 其實就是應該要看哪load哪沒錯,不應該全load進來...一千多萬筆全load進來太奇怪了  發表於 2016-5-14 07:50 PM
成為伊莉的版主,你將獲得更高級和無限的權限。把你感興趣的版面一步步地發展和豐盛,那種滿足感等著你來嚐嚐喔。

使用道具檢舉

Rank: 2Rank: 2

帖子
541
積分
212 點
潛水值
13707 米
發表於 2016-5-14 07:11 PM|顯示全部樓層
如果發覺自己無法使用一些功能或出現問題,請按重新整理一次,並待所有網頁內容完全載入後5秒才進行操作。
我個人的看法是:既然是用了SQL SERVER,那就要善用SQL伺服器的能力,一般來說,既然知道了會一個有龐大資料筆數的TABLE,那麼他的主要KEY就會好好的規劃,通常都用日期和時間來做KEY,在有些資料筆數排大應用上,比方說是系統的LOG,就會用自動累加的數值型態來做主要KEY,再用日期(Date)和時間(Time)規劃這兩個欄位來應用,應該就足夠了。這樣在搜尋應用時,不跨日搜尋只要用Time作為KEY就好,比較大範圍時再用兩欄AND運算來搜尋。以我個人的經驗,這樣的搜尋不會太慢的。因為以真實時間為序列,資料就是已經排序好的。...
瀏覽完整內容,請先 註冊登入會員
成為伊莉的版主,你將獲得更高級和無限的權限。把你感興趣的版面一步步地發展和豐盛,那種滿足感等著你來嚐嚐喔。

使用道具檢舉

帖子
26
積分
3 點
潛水值
11940 米
發表於 2016-5-14 09:17 PM|顯示全部樓層
如果你忘記伊莉的密碼,請在登入時按右邊出現的 '找回密碼'。輸入相關資料後送出,系統就會把密碼寄到你的E-Mail。
因為常要用機器名稱搜尋 所以加入機器名稱和日期作為key不過日期沒拆成兩個都在程式兜好日期區間如 2016-05-15 00:00:00 2016-06-15 00:00:00這樣搜尋會比較慢嗎?
試過搜尋20天資料5百萬筆要30秒這樣算快還是慢





分享使你變得更實在,可以使其他人感到快樂,分享是我們的動力。今天就來分享你的資訊、圖片或檔案吧。

使用道具檢舉

Rank: 2Rank: 2

帖子
541
積分
212 點
潛水值
13707 米
發表於 2016-5-15 12:06 AM|顯示全部樓層
如果瀏覽伊莉時速度太慢或無法連接,可以使用其他分流瀏覽伊莉,www01.eyny.com(02,03)。
我個人還是覺得一次撈500萬筆資料不是很有效率的做法,建議你在網路上搜尋"SQL非同步查詢"的相關資料來參考,你這問題是無數前人都遇到過的,現在已經有比較有效率的作法,就不要執著這種沒效率的做法了。執行非同步作業也是SQL Server本身的功能,我之前就說過了,要善用SQL Server的能力啊!
若對尊貴或贊助會員有任何疑問,歡迎向我們查詢。我們的即時通或MSN: admin@eyny.com

使用道具檢舉

帖子
26
積分
3 點
潛水值
11940 米
發表於 2016-5-15 08:02 PM|顯示全部樓層
回覆中加入附件並不會使你增加積分,請使用主題方式發佈附件。
感謝回答
了解還有一個問題聽別人說了一個關鍵字
倉儲系統這是為了解決大資料查詢的功能嗎,sql server有這功能看起來是分析資料庫的使用狀態
若有安裝色情守門員,可用無界、自由門等軟件瀏覽伊莉。或使用以下網址瀏覽伊莉: http://www.eyny.com:81/index.php

使用道具檢舉

Rank: 2Rank: 2

帖子
541
積分
212 點
潛水值
13707 米
發表於 2016-5-16 04:04 PM|顯示全部樓層
應該是資料倉儲和資料採礦吧,它們屬於大數據的範疇,資料倉儲的定義:是一種具有主題導向、整合性、時間變化性與非揮發性的資料集合,以作為決策支援之用。原始資料不能直接拿來做倉儲,必須要經過轉換,以你提供這個資料為例,有跟主題性有關的就是機器名稱,可能還會有生產的品名之類的,不同主題分門別類做倉儲,或是相類似做整合,再依時間序列排序做倉儲。
...
瀏覽完整內容,請先 註冊登入會員
回覆中加入附件並不會使你增加積分,請使用主題方式發佈附件。

使用道具檢舉

帖子
26
積分
3 點
潛水值
11940 米
發表於 2016-5-16 08:24 PM|顯示全部樓層
如果發覺自己無法使用一些功能或出現問題,請按重新整理一次,並待所有網頁內容完全載入後5秒才進行操作。
了解感謝對於分門別列已經有在做,切到不同的table來查詢
如果發覺自己無法使用一些功能或出現問題,請按重新整理一次,並待所有網頁內容完全載入後5秒才進行操作。

使用道具檢舉

帖子
166
積分
29 點
潛水值
13619 米
發表於 2016-8-5 09:45 PM|顯示全部樓層
所有積分大於負-100的壞孩子,將可獲得重新機會成為懲罰生,權限跟幼兒生一樣。
data warehouse不是用來給人撈一千萬筆資料的,
data warehouse是主要是應付跨系統、跨資料來源、資料量大的分析型複雜查詢的,通常最多也就是查詢數千筆資料。
建議你先想想怎樣程現資料,撈一千萬筆出來不但無效率,還要問問︰真的是要看一千萬資料嗎?




若有安裝色情守門員,可用無界、自由門等軟件瀏覽伊莉。或使用以下網址瀏覽伊莉: http://www.eyny.com:81/index.php

使用道具檢舉

帖子
267
積分
0 點
潛水值
4304 米
發表於 2016-9-17 10:04 PM|顯示全部樓層
如果發覺自己無法使用一些功能或出現問題,請按重新整理一次,並待所有網頁內容完全載入後5秒才進行操作。
DataMark 也許是您的解答之一. 你的需要如果是資料分析, 那你不應該拿 transaction DB, 應該是彙整過的 DB, 也就是 SQL Analysis DB. 去了解一下 Data Mark 或是 MS SQL Analysis DB是什麼.

使用道具檢舉

Rank: 1

帖子
61
積分
126 點
潛水值
12893 米
發表於 2017-4-20 10:50 PM|顯示全部樓層
建議一下大大,若是上千萬筆利用分頁,不必要運作
真要想資料全部使用出來,只能求一下微軟修正了
只能力演算法製作更有效運算了
分享使你變得更實在,可以使其他人感到快樂,分享是我們的動力。今天就來分享你的資訊、圖片或檔案吧。

使用道具檢舉

bwong42!@# 該用戶已被刪除
發表於 2017-5-2 07:27 PM|顯示全部樓層
若對尊貴或贊助會員有任何疑問,歡迎向我們查詢。我們的即時通或MSN: admin@eyny.com
Haha, not sure if your computer  can handle it.

使用道具檢舉

您需要登錄後才可以回帖 登錄 | 註冊

Powered by Discuz!

© Comsenz Inc.

重要聲明:本討論區是以即時上載留言的方式運作,對所有留言的真實性、完整性及立場等,不負任何法律責任。而一切留言之言論只代表留言者個人意見,並非本網站之立場,用戶不應信賴內容,並應自行判斷內容之真實性。於有關情形下,用戶應尋求專業意見(如涉及醫療、法律或投資等問題)。 由於本討論區受到「即時上載留言」運作方式所規限,故不能完全監察所有留言,若讀者發現有留言出現問題,請聯絡我們。有權刪除任何留言及拒絕任何人士上載留言,同時亦有不刪除留言的權利。切勿上傳和撰寫 侵犯版權(未經授權)、粗言穢語、誹謗、渲染色情暴力或人身攻擊的言論,敬請自律。本網站保留一切法律權利。
回頂部