當前位置:首頁 » 入門技巧 » informatica

informatica

發布時間: 2021-07-25 01:57:34

① informatica接Hadoop抽數需要注意哪些技術問題

簡單來收從hadoop這邊, 作為data source, 需要提供hive 或者 impala service 作為介面, informatica 那邊一般用ODBC 作為target 介面. 然後etl的過程在designer 上做.
當然還有另外一種解決方案INFA 結合 CDC 來使用, 連接HADOOP 抽取數據.

② informatica 參數通過文件配置怎麼用

您好,很高興為您解答。

看論壇:http://www.itpub.net/thread-1052700-1-1.html

如若滿意,請點擊右側【採納答案】,如若還有問題,請點擊【追問】

希望我的回答對您有所幫助,望採納!

~ O(∩_∩)O~

③ 你對Informatica了解多少,目前國內形勢是什麼

在當今數據大爆發的時代,無論是新增數據還是現有數據,都是企業的巨大財富,並為企業帶來了前所未有的商機。但只有有效運用和管理企業數據,才能實現最大化的數據投資回報。對於大多數企業CIO來講,藉助大數據管理技術能夠幫助其獲得競爭優勢,而且隨著技術的不斷進步大數據正在備受到CIO的關注。
從市場層面來看,大數據時代的崛起,給許多的企業帶來的機遇、挑戰,同時它又給企業提供了新的市場增長空間,越來越多的企業開始布局大數據市場。

④ informatica中參數和變數的區別

參數與變數的區別:
1、在調用過程的時候,有時候需要輸入參數,此時參數會有值,在過程中可以直接用;
2、變數是存在於過程裡面,賦值用的,只有賦值完後,才能調用值;
3、參數是用來傳遞的,變數是在通過定義得到的;
4、調用過程可以傳遞參數,改變過程中的某些值;
5、變數是在過程中,一旦定義 ,不能改變。

⑤ informatica mapplet組件怎麼使用

1. INFORMATICA CLIENT的使用
1.1 Repository Manager 的使用
1.1.1 創建Repository。
前提:
a. 在ODBC數據源管理器中新建一個數據源連接至你要創建Repository的資料庫(例:jzjxdev)
b. 要在你要連接的資料庫中新建一個用戶(例:name: ETL password: ETL)
現在你可以創建一個Repository了。選擇Repository – Create Repository,輸入Repository Name(例:JZJX),Database Username(例:etl),Database Password(例:etl),ODBC Data Source(例:jzjxdev),Native Connect String(資料庫所在ip例:141.20.52.108)

1.1.2 添加Repository。
通過這一步你可以添加別人已經建好的Repository。
選擇Repository – Add Repository,輸入Repository Name(例:JZJX),Username(例:etl),點擊ok就可以看到名為JZJX的Repository在左邊的瀏覽器中,但是此時還看不到它的內容,要看到它的內容或者對它進行操作必須先連接它。

1.1.3 添加Folder
選擇Folder – Create,輸入文件夾名稱即可。

1.2 Designer 的使用
首先連接Repository,可以看到該Repository在Repository Manager中創建的文件夾。

1.2.1 Sources
Sources文件夾下的表是抽取的來源表。
導入方法:
選擇Tools菜單下的Source Analyzer,然後選擇Sources菜單下的Import from database,連接想要連接的資料庫,連接上後選擇你要抽取的表點擊ok你所選擇的表就會出現在Sources文件夾下。
說明:上面的導入過程導入的只是表結構,你也可以自己創建來源表,只要你創建的表的結構跟真實存在的那張表的表結構一致就行。

1.2.2 Targets
Targets文件夾下的表是抽取的目標表,也就是抽取結果的存放表.
導入方法: 選擇Tools菜單下的Warehouse Designer,然後選擇Targets菜單下的Import from database,連接想要連接的資料庫,連接上後選擇你要抽取的表點擊ok你所選擇的表就會出現在Targets文件夾下。
說明:上面的導入過程導入的只是表結構,你也可以自己創建目標表,只要你創建的表的結構跟真實存在的那張表的表結構一致就行。

1.2.3 Mappings 的設計
選擇Tools菜單下的Mapping Designer才能進行Mapping的設計。
每個Mapping都由來源表,transformation和目標表組成,描述數據抽取的過程。來源表和目標表可以從Sources和Targets文件夾拖拽到工作區,但是transformation一般來說是需要自己創建的。Mapping的設計關鍵是transformation的使用,它的使用關繫到數據抽取的正確性和效率。下面說明各個transformation的作用和用法。
(Active:表示該transformation可以改變通過它的數據的行數;
Passive:表示該transformation不改變通過它的數據的行數;
Connected:表示該transformation要連接到數據流;
Unconnected:表示該transformation可以不連接到數據流)

1.2.3.1 Source Qualifier
作用:根據查詢SQL文從關系表或平坦文件查出所要記錄
用法:創建好Source Qualifier(下簡稱SQ) 後,將需要的用的欄位從來源表拖拽到SQ ,雙擊SQ,對SQ的屬性進行設置。
Select Distinct 屬性:選中的話表明結果記錄將去除重復值;
Tracing Level屬性: 共有四級,表示log的復雜程度;
Number Of Sorted Ports屬性: 排序的欄位個數,值大於0時Sql Query中的sql 文將出現order by 從句;
Sql Filter屬性: 屬性值將出現在Sql Query屬性值的where表達式中;
User Defined Join屬性: 用戶如果要定義外部連接可在此寫(例: {REG_CUSTOMER LEFT OUTER JOIN PURCHASES on
(REG_CUSTOMER.CUST_ID = PURCHASES.CUST_ID AND PURCHASES.AMOUNT > 100.00) })
Sql Query屬性:值是一條sql 文,session運行時會執行這條sql 文進行查詢。
命名方式:SQ_Name
類型:Active/Connected
注意:SQ的輸入只能來自來源表; User Defined Join屬性值必須用{}括起來;在更改了SQ的屬性值之後一定要點擊Sql Query屬性的
generate sql按鈕重新生成sql文。

1.2.3.2 Update Strategy
作用:決定該行進行插入,刪除,更新,忽略中的哪一種操作
用法:創建好Update Strategy(下簡稱US)後,將需要的用的欄位從transformation拖拽到US ,雙擊US,對US的屬性進行設置。US的設
置關鍵是Update Strategy Expression屬性的設置,這個表達式使用IIF 或DECODE 函數對記錄的每一行進行判斷,為每一行賦予
DD_INSERT,DD_UPDATE,DD_DELETE,DD_REJECT(這四個是常量,值分別為0,1,2,3)中任意一個值,表明該行在資料庫中將進行
何種操作。
命名方式:UPD_Name
類型:Active/Connected
注意:mapping中有US時,mapping對應的session的在配置屬性時必須把Treat rows屬性設置為Data Driven,否則US將不起作用。

1.2.3.3 Expression
作用:計算一個值
用法:創建好expression_r(下簡稱EXP)後,將需要的用的欄位從來源表拖拽到EXP,雙擊EXP,
新增輸出埠,編輯該埠的表達式。
命名方式:EXP_Name
類型:Passive/Connected
注意:要進行列運算一般用這個transformation; 此種transformation可以使用本地變數

1.2.3.4 Stored Procere
作用:調用一個存儲過程
用法:創建Stored Procere(下簡稱SP)的時候連接資料庫選擇必要的存儲過程。SP有連接和不連接到數據流兩種用法。
連接到數據流方式跟一般的transformation類似,通過拖拽埠來實現數據流。
不連接到數據流分表達式調用和Pre-/Post Session兩種方式。表達式調用方式中SP被Mapping中另一個transformation 中的表達式
調用。Pre-/Post Session方式就是在Session的屬性中配置SP的運行時間,Source Pre-load(Session從源表查詢數據之前),Source
Post-load(Session從源表查詢數據之後),Target Pre-load(Session將數據插入目標表之前),Target Post-load(Session將
數據插入目標表之後)
命名方式:SP_Name
類型:Passive/Connected or Unconnected
注意:

1.2.3.5 Sequence Generator
作用:產生主鍵
用法:創建好Sequence Generator(下簡稱SEQ)後,雙擊SEQ,對SEQ的屬性進行設置。Start Value屬性是開始值,此屬性只在選擇了
Cycle選項才有效;Increment By 屬性值是每次增加的值;End Value屬性值是結束值;Current Value屬性值是當前開始值;Cycle選
項被選擇的話NEXTVAL的值達到End Value值之後會重新從Start Value開始;Reset選項被選擇的話,伺服器會為每個使用了該SEQ的
session的NEXTVAL值都從Current Value開始。
命名方式:SEQ_Name
類型:Passive/Connected
注意:這是一個只有兩個輸出埠沒有輸入埠的transformation.;
如果該SEQ時可重復使用的話,不能選擇Reset選項。

1.2.3.6 Aggregator
作用:執行分組聚合運算
用法:創建好Aggregator(下簡稱AGG)後,將需要的用的欄位從其他transformation拖拽到AGG ,雙擊AGG,在埠tab中每個埠有
group by 選項。鉤上想要分組的列,新增埠,編寫聚合表達式實現分組聚合運算。
命名方式:AGG_Name
類型:Active/Connected
注意:可使用本地變數

1.2.3.7 Filter
作用:過濾記錄
用法:創建好Filter(下簡稱FIL)後,將需要的用的欄位從transformation拖拽到FIL ,雙擊FIL,對FIL的屬性進行設置。FIL的配置主
要是對Filter Condition的配置,Filter Condition 寫入類似where條件的表達式即可。
命名方式:FIL_Name
類型:Active/Connected
注意:

1.2.3.8 Lookup
作用:查詢值
用法:創建Lookup(下簡稱KP)的時候選擇要查詢的表。和Stored Procere一樣SP有連接和不連接到數據流兩種用法。
連接到數據流方式將要關聯查詢的欄位從其他的transformation拖拽過來,然後雙擊LKP進行屬性的配置。Lookup Policy On
Multiple Match屬性表明當查詢到多個行時採取取第一行,取第二行,報錯中哪個策略.Lookup Condition 屬性值是查詢的條件。
Lookup Sql Override屬性值是查詢執行的Sql文,我們可以在裡面直接寫Sql。Lookup Caching Enabled屬性表明是否使用緩存,此項
一般選擇為好,有利提高效率。Loopup Cache Persistent屬性表明是否使用永久的緩存。
命名方式:LKP_Name
類型:Passive/Connected or Unconnected
注意:如果Lookup表的類型是來源表的話,請盡量使用Joiner;
一個已連接的LKP不能再被其他transformation的表達式調用;
如果查詢表在session運行過程中不會改變,使用Loopup Cache Persistent屬性可提高性能;
盡量不要在Lookup Sql Override中書寫order by子句,因為cached LKP默認有order by ;

1.2.3.9 Joiner
作用:連接查詢來自不同資料庫的表或平坦文件
用法:創建好Joiner(下簡稱JNR)後,將需要的用的欄位從transformation拖拽到JNR ,雙擊JNR,對JNR的屬性進行設置。用於連接的
兩個表一個稱為detail表,一個稱為master表。JNR屬性中可配置Join Type(連接類型)為Normal Join,Master Outer Join,Detail
Outer Join 和Full Outer Join中任意一種。Normal Join相當於常規的inner join; Master Outer Join相當於常規的Detail left
outer join Master;Detail Outer Join相當於常規的Detail right outer join Master; Full Outer Join相當於常規的full outer
join。Join Condition屬性值就是常規sql文on 後帶的條件。
命名方式:JNR_Name
類型:Active/Connected
注意:盡量使用Normal Join,Master Outer Join.這兩個的效率比另外兩個更好

1.2.3.10 Normalizer
作用:格式化記錄,這些記錄可以是來自COBOL源
用法:
命名方式:NRM_Name
類型:Active/Connected
注意:

1.2.3.11 Router
作用:根據一組表達式將記錄分類路由到多個transformation
用法:創建好Router(下簡稱RTR)後,將需要的用的欄位從transformation拖拽到RTR,雙擊RTR,對RTR的屬性進行設置。在Group tab
中添加組,為每組編輯該組的過濾條件。
命名方式:RTR_Name
類型:Active/Connected
注意:組過濾條件表達式的計算值必須是真或者假。

1.2.3.12 Rank
作用:排序記錄,只輸出最頂層或最低層的n個記錄
用法:創建好Rank(下簡稱RNK)後,將需要的用的欄位從transformation拖拽到RNK,雙擊RNK,對RNK的屬性進行設置。在Ports tab中
有一個名為『R』的列,選擇你要排序的列。你還可以選擇你想分組的列。在Properties tab中Top/Bottom屬性,Top表示選擇頂層的
記錄,Bottom表示選擇底層的記錄; Number Of Ranks屬性值是整數,表示要選擇的記錄條數。假設你在『R』列中選擇了名為』
Price』的列,而且Group By選擇了『Name』列,Top/Bottom屬性選擇的是『Top』, Number Of Ranks屬性值是2,那麼將抽取過程是
這樣的:以name分組取出每組中 Price最大的2列記錄。
命名方式:RNK_Name
類型:Active/Connected
注意:可以使用本地變數

1.2.3.13 ERP Source Qualifier
作用:根據查詢SQL文從ERP文件查出所要記錄
用法:
命名方式:
類型:Active/Connected
注意:

1.2.3.14 XML Source Qualifier
作用:根據查詢SQL文從XML文件查出所要記錄
用法:
命名方式:XSQ_Name
類型:Passive/Connected
注意:

1.2.4 Mapping Parameters(參數) 和 Variables(變數)的使用
如果你在一個mapping中多次用到同一個值,又或者mapping中要用到一個在session運行才能決定的值,這時候可以使用mapping
parameters或variable。添加參數或變數的方法是:選擇Mappings-Parameters and Variables,在窗口新增變數或者參數,並對它的
數據類型,數據大小,初始值進行設置。添加的參數和變數在本mapping的transformation的表達式中就可以使用了。這些參數和變
量的值還可以設置在.txt文件中,建session或者batch的時候把這個文件的路徑設置在Parameter輸入框中就行了。
Mapping參數變數的命名方式:$$NAME
存放參數變數的.txt文件的格式:folder_name可寫可不寫
[folder_name.session_name]
parameter_name=value
variable_name=value
mapplet_name.parameter_name=value
[folder_name.session2_name]
parameter_name=value
variable_name=value
mapplet_name.variable_name=value
[folder2_name.session_name]
parameter_name=value
variable_name=value
mapplet_name.parameter_name=value

1.2.5 Mapping 的調試
選擇Mappings–Debugger–Start Debugger,在點擊『下一步』的過程中選擇調試過程運行在哪台伺服器然後為來源表選擇資料庫,
最後到完成。等調試初始化好之後點擊Mappings–Debugger–Continue(或按F5),即可開始調試,選擇某個目標表即可看該表的結果
數據。如果還想看中間某個transformation的數據,在開始調試前為該transformation增加一個斷點。

1.3 Server Manager 的使用
1.3.1 Register Server(注冊伺服器)
任何session都必須運行在某個伺服器上,所以如果Server Manager里沒有伺服器的話必須注冊一個,當然你也可注冊多個伺服器。
伺服器的注冊過程如下:
選擇Server Configuration – Register Server,Server輸入 的是要注冊的伺服器的名稱;Host Name 輸入的是運行了informatica
server的機器名或iprotocol選擇TCP/IPort Number輸入4001。最下面的是伺服器的變數設置,設置的是session或batch運行時一些
文件的存放位置,比如說log文件bad 文件 cache文件,一般不用更改。這樣一個伺服器就注冊到repository了,不過後面你可以雙
擊它重新編輯。

1.3.2 Add DataBase Connection(添加資料庫連接)
選擇Server Configuration – DataBase Connection,點擊Add,然後選擇資料庫的類型。不同類型的資料庫配置起來不一定一樣,下面說明Oracle 和SQL Server兩種資料庫連接的配置。
Oracle類型資料庫連接配置:Data Source 輸入數據源名稱;User Name輸入資料庫連接的用戶名;Password輸入資料庫連接的密碼;Connect String 輸入Oracle TNS 服務名。
SQL Server 類型資料庫連接配置: Data Source 輸入數據源名稱;User Name輸入資料庫連接的用戶名;Password輸入資料庫連接的密碼;Database Name輸入資料庫名稱;Server Name輸入資料庫的ip地址;Domain Name輸入資料庫的域名。

1.3.3 Add Session(添加抽取任務)
Mapping 只是數據抽取過程的設計,要使這個過程運行必須為該Mapping建立對應的session,然後運行該session。選擇Operations-Add Session,在窗口中選擇一個Mapping點擊ok會出現編輯該session的窗口。
Session輸入框輸入該session的名稱;
server選擇該session將運行在的伺服器;
Treat rows有Insert,Delete,Update,Data Driven四個選項,表明抽取出來的數據在目標表中作何種操作,只有在session對應的mapping中有Update Stategy時才能選擇Data Driven而且也必須選擇Data Driven;
Source 框選擇來源表所在的資料庫;
Target Options 中的Insert,Update(as Update),Update(as Insert),Update(else Insert),Delete,Truncate table 選項的意思分別是:將insert作insert操作,將Update 作insert操作,將Update先做Update操作不成功再作insert操作,將delete作delete操作,在對目標表操作前刪除目標表所有數據。這些選項如果與Update Stategy沖突server將以這里的設置為准,也就是說這里的設置可以覆蓋Update Stategy的設置;Parameter輸入框中輸入session要用到的參數或變數的所在文件的路徑;其他設置比較簡單或者保持原來的值即可,這里就不再詳細說明了。除了在添加 session的過程中可編輯session之外,雙擊已添加的session也對session重新設置。
註:如果mapping 中有Joiner的話,session的編輯窗口的Source Type就變成heterogeneous(不同類),這樣就無法通過設置Source
來設置來源表的位置,只能在Source Location tab中為每個來源表設置位置。

1.3.4 Add Batch(添加批操作任務)
添加Batch可以將一系列的session串起來,這樣就可以讓必須按順序執行的session有序的執行。添加方法:選擇Operations-Add Batch,在窗口中對batch進行編輯。Batch輸入框中輸入batch 的名稱;
Parameter輸入框中輸入batch中的session要用到的參數或變數的所在文件的路徑,由於每個session都可以設置自己的parameter,所以batch中可以不設置,即使batch的parameter進行了設置也會被各個session自己的parameter設置所覆蓋,但如果session用到了parameter在同一個文件中的話,把parameter文件的位置設置在batch的parameter輸入框就顯得更方便;Enabled選項表明是否讓該batch有效;Concurrent選項表明是否讓batch中的所有session並行地運行;Schele中可設置batch的運行時間和運行頻率。

1.3.5 Session和Batch 的運行
右鍵單擊要運行的session或者batch,選擇start即可讓該session或者batch立刻運行。如果你的session或者batch的Schele設置不是選擇的『Run only on demand』,那麼該session或者batch就會在設置完後就處在Scheled狀態,時間一到就會自動運行。(可以右擊伺服器選擇monitor來監視運行在該伺服器下的session或者batch當前狀態)。

⑥ informatica 知識庫是干什麼用的

Informatica是一種先進的獨立企業數據集成軟體。

InformaticaPowercenter的概念


InformaticaPowerCenter是Informatica公司開發的世界級的企業數據集成平台,也是業界領先的ETL工具。InformaticaPowerCenter使用戶能夠方便地從異構的已有系統和數據源中抽取數據,用來建立、部署、管理企業的數據倉庫,從而幫助企業做出快速、正確的決策。此產品為滿足企業級要求而設計,可以提供企業部門的數據和電子商務數據源之間的集成,如XML,網站日誌,關系型數據,主機和遺留系統等數據源。此平台性能可以滿足企業分析最嚴格的要求。

InformaticaPowerCenter是建立可伸縮和可擴展的Informatica數據集成平台的核心和基礎。InformaticaPowerCenter可以提供對廣泛的應用和數據源的支持,包括對ERP系統的支持(Oracle, PeopleSoft, SAP),對CRM系統的支持(Siebel),對電子商務數據的支持(XML, MQ Series),遺留系統,及主機數據。InformaticaPowerCenter是最突出的分析性數據集成平台。
InformaticaPowerCenter是一個可以使大的企業或組織能夠按其復雜的業務信息需求,讀取、轉換、集成遺留系統、關系型ERP,CRM,消息信息和電子商務數據的數據集成平台。

PowerCenter 數據的整合轉換引擎是基於元數據驅動的,所有的元數據都存在 Repository(知識庫),該知識庫可以創建在所有的主流資料庫中,充分體現了它的元數據的開放性。

⑦ 想了解ETL工具Informatica PowerCenter怎樣收費或者說各版本的報價是怎樣的(公司采購)

Informatica PowerCenter的賣法很多樣,雖然版本只有2個:標准版、企業版,但是產品還有許多option可根據客戶的實際需求購買。所以具體報價需要根據項目而定

⑧ informatica怎麼調用存儲過程

stored procere transformation 引入資料庫中的存儲過程,系統會生成input port,你將要傳入的埠連到這個埠

⑨ Informatica怎麼執行SQL腳本

需要將它放到windows腳本 bat裡面執行,嘗試以以下方式保存為.bat
a.bat:
psql.bat -h localhost -p 5432 postgres "postgres" UTF8;
--sql命令跟後面

⑩ Informatica server 無法啟動

2.1 INFORMATICA SERVER 的配置 一般用戶不需要安裝informatica server,而是操作repository的整個組共用一個server。但是整個組的抽取數據工作都在一個server上工作會慢一些,所以每個人都可以創建自己的server。 安裝完informatica server後進行如下配置:
l 在計算機上創建一個新帳戶。(例如:用戶名:etl 密碼:123123123)
l 打開 開始-程序-Informatica Server- Informatica Server Setup,選擇configure informatica server,單擊continue。
l 選擇』Keys』tab,輸入License Keys
l 選擇『Network』tab, 選擇『TCP/IP』,輸入HOST(一般為本機ip 和PORT(4001).
l 選擇『Repository』tab,輸入Repository name( 例:JZJX) ,Database(例:Oracle),Repository user(例:etl),Repository password (例:etl),Database user(例:etl),Database password(例:etl) ,Connect(例:jzjxdev)。

2.2 INFORMATICA SERVER 的運行 打開服務,配置名為informatica服務的屬性如下:
l 選擇『登錄』tab,輸入此賬戶(例:.etl)和密碼(例:123123123)
l 選擇『常規』tab,設置啟動類型為『自動』。你也可以設置為『手動』,但是這樣你就要在每次使用server前手工啟動。

2. 2.3 INFORMATICA SERVER在Solaris上的配置(Solaris) (安裝程序路徑:/space/pc/solaric; 目標路徑:/informatica/pc;
oracle:安裝路徑/space/oracle/oracle/9.2.0/)
1) 將PowerCenter安裝文件(Solaris文件夾)上傳到Solaris機器上
2) 設置安裝環境變數
LANG=en;export LANG
LD_LIBRARY_PATH=${ LD_LIBRARY_PATH }:/space/pc/solaris
export LD_LIBRARY_PATH;
PATH=${PATH}:/space/pc/server
3) 設置install、icipc為可執行;
4) 運行./install;選擇安裝版本、安裝路徑;
5) 設置運行環境變數
LANG=zh;export LANG
NLS_LANG=american_america.ZHS16GBK; export NLS_LANG