技術入門 | Solidity編程語言 : 基本編譯原理介紹與添加新指令

本文目標

本文的主要目的：1、了解solidity的基本編譯原理2、通過示例的方式了解如何添加新的指令，不會涉及到solidity語言的語法講解。

solidity簡介

solidity是智能合約的開發語言，是一種語法類似于javascript的高級語言。合約源碼經過編譯生成虛擬機代碼運行在虛擬機中。

開發文檔：https://solidity

functionget()publicviewreturns(uint){returnstoredData;}}

abi,data,opcodes

以上代碼在remix：

http://remix.ethereum.org/中使用0.5.1commit版本編譯生成

abi=,"name":"get","outputs":,"payable":false,"stateMutability":"view","type":"function"},{"constant":false,"inputs":,"name":"set","outputs":,"payable":false,"stateMutability":"nonpayable","type":"function"}]

data="0x60806040526000805534801561001457600080fd5b5060c2806100236000396000f3fe6080604052600436106043576000357c0100000000000000000000000000000000000000000000000000000000900480636d4ce63c146048578063b8e010de146070575b600080fd5b348015605357600080fd5b50605a6084565b6040518082815260200191505060405180910390f35b348015607b57600080fd5b506082608d565b005b60008054905090565b4360008190555056fea165627a7a72305820825c534e94b487410e10fa0ba5da11584c0b0ad2bd9e56397a3dfa89e504ee1f0029"

opcodes="

固定指令：PUSH10x80PUSH10x40MSTORE

變量：PUSH10x0DUP1SSTORE//對應的storedData=0

內聯函數：CALLVALUEDUP1ISZEROPUSH20x14JUMPIPUSH10x0DUP1REVERTJUMPDESTPOP//用于出錯回滾

部署代碼指令：PUSH10xC2DUP1PUSH20x23PUSH10x0CODECOPYPUSH10x0RETURNINVALID//部署合約的核心指令

固定指令：PUSH10x80PUSH10x40MSTORE

固定指令：PUSH10x4CALLDATASIZELT//用于校驗input大小。

加載合約代碼：PUSH10x43JUMPIPUSH10x0CALLDATALOADPUSH290x100000000000000000000000000000000000000000000000000000000SWAP1DIVDUP1PUSH40x6D4CE63CEQPUSH10x48JUMPIDUP1PUSH40xB8E010DEEQPUSH10x70JUMPIJUMPDESTPUSH10x0DUP1REVERTJUMPDEST

工信部科技司副司長：以發展元宇宙為先導，推動人工智能、虛擬現實等新一代信息技術的融合應用:金色財經報道，2月15日至17日，元宇宙產業大會2023春季會在昆山舉行。工業和信息化部科技司副司長任愛光也以元宇宙為出發點，對新興科技產業的發展提出了三點建議：一是堅持創新引領，加快關鍵技術突破，加強產學研用聯合創新，不斷突破元宇宙領域關鍵核心技術，以發展元宇宙為先導，推動人工智能、虛擬現實等新一代信息技術的融合應用，研制一批標志性產品，加快成果轉化，加速新技術落地應用。二是拓展重點領域應用，賦能行業發展，充分發揮我國超大市場需求和超廣應用場景的優勢，圍繞工業、文旅、教育、智慧城市等領域，開拓元宇宙應用新場景，形成需求牽引供給、供給創造需求的高水平發展。三是營造良好發展環境。夯實產業發展根基，探索元宇宙治理體系，建立審慎包容的容錯機制和監管機制，營造企業團隊和個人創新發展的良好環境。[2023/2/19 12:16:16]

內聯函數：CALLVALUEDUP1ISZEROPUSH10x53JUMPIPUSH10x0DUP1REVERTJUMPDESTPOP

get函數：PUSH10x5APUSH10x84JUMPJUMPDESTPUSH10x40MLOADDUP1DUP3DUP2MSTOREPUSH10x20ADDSWAP2POPPOPPUSH10x40MLOADDUP1SWAP2SUBSWAP1RETURNJUMPDEST

內聯函數：CALLVALUEDUP1ISZEROPUSH10x7BJUMPIPUSH10x0DUP1REVERTJUMPDESTPOP

set函數：PUSH10x82PUSH10x8DJUMPJUMPDESTSTOPJUMPDESTPUSH10x0DUP1SLOADSWAP1POPSWAP1JUMPJUMPDESTNUMBERPUSH10x0DUP2SWAP1SSTOREPOPJUMPINVALID

其他指令：LOG1PUSH60x627A7A723058KECCAK256DUP30x5cMSTORE80x4eSWAP50xb4DUP8COINBASE0xeLTSTATICCALLSIGNEXTEND0xa50xdaGTPC0x4cSIGNEXTENDEXP0xd20xbdSWAP15JUMPCODECOPYPUSH270x3DFA89E504EE1F0029000000000000000000000000000000000000"//

上述abi，data是在部署合約和執行合約需要的數據。其中abi包含了合約中用到的函數名，函數的輸入輸出，與函數的屬性。opcodes是虛擬機要執行的具體代碼指令，data是opcodes的16進制，二者之間可以互相轉化。下面介紹下如何生成abi與opcodes。

solidity編譯原理簡述

這里以上述合約代碼為例，簡單介紹下解析流程

1、以字符串的形式讀入完整合約代碼，轉第2步；

2、去除字符串前的空格，然后遍歷字符串，并以空格，‘{’，'}',';','(',')'等為分隔符將字符串進行分割，然后與TOKEN_LIST中定義的TOKEN進行對比，并替換為應的TOKEN，轉第3步。

3、第一個TOKEN是pragma，然后以pragma為開始，直到';'結束，確定語言為solidity，版本號大于等于0.5.0，并比較當前編譯器版本是否匹配，轉第4步。

4、繼續遍歷，TOKEN為contract,，然后從contract開始，確定下一個字符串storenumber為contractname，繼續遍歷，從‘{’開始，，到配對的‘}’結束，此時確定了合約名為storenumber的合約內容，轉第9步。

聲音 | 江蘇省政協委員：希望以區塊鏈技術為核心建設學習型社區:金色財經報道，1月15日下午，江蘇省政協委員、光華教育集團董事長、鹽城外國語學校董事長魯育宗表示，我們希望通過有效整合資源，以區塊鏈技術為核心，充分利用現有高等院校、職業院校、社會學習中心等各類型學校和企業、社會資源，建設一個集在線教育、學分銀行以及數據與人才中心等功能于一體的學習型社區，以學生為中心建設新的專業人才培養和供應體系，打造人才培養共同體，為社會培養更多更好的人才，為建設‘學習型社會’作出新的貢獻。[2020/1/16]

5、繼續遍歷，TOKEN為uint,判斷為數據類型，以‘；’為結尾，確定數據類型為uint,類型名為storedData，轉第6步

6、繼續遍歷，TOKEN為function，后續字符串set為函數名，以‘(’，開始，以‘)’為終確定input為空，繼續遍歷TOKEN為public，確定函數屬性，繼續遍歷TOKEN為‘{’，以配對的‘}’為結束，確定函數體，轉第7步。

7、繼續遍歷，TOKEN為function，處理邏輯與第6步相同，但是增加了view屬性與returns，returns的解析結果對應了abi中的outputs，轉第8步。

8、繼續遍歷遇到與合約初始‘{’配對的‘}’，轉第4步繼續處理。

9、遍歷結束，進行合法性檢查(語法檢查，命名規則檢查，指令檢查等)，轉第10步。

10、開始編譯合約，即opcodes的生成過程。編譯過程可分成三個過程，轉第11步。

11、編譯初始化。初始化指令是固定的：PUSH10x80PUSH10x40MSTORE。然后取出所有的狀態變量，這里的狀態變量會被編譯為：PUSH10x0DUP1SSTORE，轉到第12步。

備注：1、這里的指令并不是一開始就是這樣，而是后期經過翻譯過的，比如PUSH10x80在這里的正確表示方式是AssembllyItem(type:pushdata,data:0x80)，之后經過token,instruction的對應轉化為指令2、狀態變量指令PUSH10x0DUP1SSTORE表示初始化變量為值為零，變量位置偏移為0。如果代碼中初始化為1，這里的指令會編譯成PUSH10x1PUSH10x0SSTORE。如果增加一個變量初始化為3，則會被編譯為PUSH10x1PUSH10x0SSTOREPUSH10x3PUSH10x1SSTORE

12、繼續編譯，主要是完成對函數的編譯，添加一個用于檢查并回滾的內聯函數。對應的指令：CALLVALUEDUP1ISZEROPUSH20x14JUMPIPUSH10x0DUP1REVERTJUMPDESTPOP，轉13步；

13、添加合約初始化：PUSH10xC2DUP1PUSH20x23PUSH10x0CODECOPYPUSH10x0RETURN。至此，部署合約的主要opcodes生成完畢。下面開始編譯函數，轉14步；

14、先根據所有的函數名生成對應的函數地址，如例子中的0x6D4CE63C，0xB8E010DE，實際調用函數的時候在查看交易的input中，就有這個值，轉15步；

15、編譯函數，生成各個函數的指令，可參照前文示例。轉16步；

16、最后編譯missingFunctions。轉17步；

17、打印結果，編譯結束。

上述解析的流程只是介紹了基本的思路，實際的處理過程要復雜的多，因為合約中可以有類，繼承，多態，接口，庫等形式的存在，需要進行一些額外的處理。

生成abi:

abi的內容是合約內函數的相關信息，包括函數的constant,name,inputs,outputs,payable,stateMutability,type,從上述第2至8步的解析即可獲取到上述信息，然后封裝成json返回給前端即可。

聲音 | 山西行政審批局杜振宇：運用區塊鏈等技術可以高標準打造數字政府:山西省行政審批服務管理局政務信息管理處處長杜振宇表示，運用5G、云計算、物聯網、大數據、人工智能、區塊鏈等技術，能夠以高標準打造山西省數字政府，加快推進政府治理現代化，提升政府治理能力和水平。（山西新聞網）[2020/1/9]

生成opcodes:

上述第10到16步內流程即是生成cpcodes的過程，在實際使用中，用的opcodes的16進制。

添加新指令

影響范圍

根據上述編譯流程的解析，要添加新的指令，需要考慮以下4點

1、token的定義：語法定義，比如token{Add,+}，將+與Add對應起來，解析的時候將代碼中的+替換為Add

2、instruction的定義：提供給虛擬機執行的指令,需要在編譯器和虛擬機中添加相同的定義

3、casetoken的處理：將token與instruction對應起來，編譯的過程中將token::Add替換為instruction::ADD指令，供虛擬機識別。

4、新指令對編譯的影響：比如對函數的影響，對存儲的影響等，這個修改可以參考其他的同類型指令，比如添加的是運算符就參考加減乘除指令，添加的是塊屬性就參考已有的number,gaslimit指令。

5、虛擬機中對新加指令的定義與處理

示例：以添加RANDOM指令(獲取塊中的隨機數屬性，可參考number屬性，合約中以block.number,block.random的方式進行使用)為例，說明在代碼中添加的位置。

修改編譯器代碼

1、查看token定義，代碼位置：liblangutil/Token.h。在TOKEN_LIST已定義了2中類型的token,一種是關鍵字token,一種是非關鍵字token,如括號，運算符，數據類型。要添加的random不是以上類型，不需要進行token定義。

#token定義示例，格式為M(name,string,precedence),M可以是T或者K，T表示非關鍵字token，K表示關鍵字token。name表示token名稱，string為token的原生字符串，precedence表示優先級。

#defineTOKEN_LIST(T,K)

......

T(LParen,"(",0)

T(RParen,")",0)

T(LBrack,"[",0)

T(RBrack,"]",0)

T(AssignShr,">>>=",2)

T(AssignAdd,"+=",2)

T(AssignSub,"-=",2)

......

K(Continue,"continue",0)

K(Contract,"contract",0)

K(Do,"do",0)

K(Else,"else",0)

......

2、指令定義，代碼位置：libevmasm/Instruction.h。在enumcalssInstruction中找到block的相關屬性，并在其后追加RANDOM指令。如下所示，RANDOM=0x46。注意添加的指令號不能與其他的沖突，比如不能再添加一個0x40的指令，會與現有的BLOCKHASH指令沖突。

中科院計算所研究員孫毅：區塊鏈底層技術尚未突破，仍有許多局限性:昨日，濟南市市委舉辦的2018年第四期泉城干部大學堂上，中科院計算所研究員、博導、區塊鏈方向學科帶頭人孫毅表示，區塊鏈既不神秘，也不玄妙，現在還處于初級發展階段，重要的底層技術沒有完全突破，仍然有非常多的局限性。當前階段要做的是要擁抱這項充滿希望的技術，只有在尊重成長規律的前提下踏踏實實、一步一步做好底層研究才能使其逐漸成熟。[2018/4/25]

enumclassInstruction:uint8_t{......BLOCKHASH=0x40,///<gethashofmostrecentcompleteblockCOINBASE,///<gettheblock'scoinbaseaddressTIMESTAMP,///<gettheblock'stimestampNUMBER,///<gettheblock'snumberDIFFICULTY,///<gettheblock'sdifficultyGASLIMIT,///<gettheblock'sgaslimitRANDOM,......

}

上述定義為16進制，需要有一個字符串的"RANDOM"與指令對應，代碼位置libevmasm/Instruction.cpp中。

std::map<std::string,Instruction>constdev::solidity::c_instructions={......{"NUMBER",Instruction::NUMBER},{"DIFFICULTY",Instruction::DIFFICULTY},{"GASLIMIT",Instruction::GASLIMIT},{"RANDOM",Instruction::RANDOM},......}staticstd::map<Instruction,InstructionInfo>constc_instructionInfo={......{Instruction::ADD,{"ADD",0,2,1,false,Tier::VeryLow}},{Instruction::NUMBER,{"NUMBER",0,0,1,false,Tier::Base}},{Instruction::DIFFICULTY,{"DIFFICULTY",0,0,1,false,Tier::Base}},{Instruction::GASLIMIT,{"GASLIMIT",0,0,1,false,Tier::Base}},{Instruction::RANDOM,{"RANDOM",0,0,1,false,Tier::Base}},......}//后面的0,0,1，false,Tier::Base是可變的，根據指令的需要。第一個默認為0即可，第二個0表示參數個數，1表示需要1個返回值。false可理解為只在虛擬機內部使用，如果涉及到數據庫的讀寫，這里要填成true。最后的Tier::Base是gasprice的級別，根據需要填寫即可。

3、指令的處理:代碼位置libsolidity/codegen/ExpressionCompiler.cpp

boolExpressionCompiler::visit(MemberAccessconst&_memberAccess){......caseType::Category::Magic:if(member=="coinbase")m_context<<Instruction::COINBASE;elseif(member=="timestamp")m_context<<Instruction::TIMESTAMP;elseif(member=="difficulty")m_context<<Instruction::DIFFICULTY;elseif(member=="number")m_context<<Instruction::NUMBER;elseif(member=="gaslimit")m_context<<Instruction::GASLIMIT;elseif(member=="random")m_context<<Instruction::RANDOM;......}//不同的指令有不同的case進行處理，比如token:Add的處理如下：voidExpressionCompiler::appendArithmeticOperatorCode(Token_operator,Typeconst&_type){......switch(_operator){caseToken::Add:m_context<<Instruction::ADD;break;caseToken::Sub:m_context<<Instruction::SUB;break;caseToken::Mul:m_context<<Instruction::MUL;break;......}//如果添加的是其他類型的指令，就找到對應的case添加即可。

信通院何寶宏：區塊鏈技術對個人信息保護提出挑戰:中國信息通信研究院云計算與大數據研究所所長何寶宏用“自治，分享，分布，開放，偶爾有害，對等，匿名”這些關鍵詞來形容區塊鏈。對于外界存在大量批評區塊鏈性能低、能耗高、生態鏈、安全防護、隱私保護、監管缺失、標準缺失、不務正業等聲音，他認為，任何新技術的出現都會有很多缺點，但是應該對此多予以包容，”讓子彈飛一會兒“。他提醒，被遺忘權與區塊鏈是相反的方向，區塊鏈里記錄下來什么東西都不能刪，什么都不能改，所以對我們的個人信息保護提出了挑戰。[2018/4/19]

4、對函數，存儲的影響：

確定數據類型，代碼位置libsolidity/ast/Types.cpp

MemberList::MemberMapMagicType::nativeMembers(ContractDefinitionconst*)const{//指定存儲的數據類型......caseKind::Block:returnMemberList::MemberMap({{"coinbase",make_shared<AddressType>(StateMutability::Payable。,{"timestamp",make_shared<IntegerType>(256。,{"blockhash",make_shared<FunctionType>(strings{"uint"},strings{"bytes32"},FunctionType::Kind::BlockHash,false,StateMutability::View。,{"difficulty",make_shared<IntegerType>(256。,{"number",make_shared<IntegerType>(256。,{"gaslimit",make_shared<IntegerType>(256。,{"random",make_shared<IntegerType>(256。//注意這里，設置數據類型為uint256,如果需要其他數據類型，參考libsolidity/ast/Types.h中的類型定義});......

對函數的影響：代碼位置libevmasm/Semanticlnformation.cpp

boolSemanticInformation::invalidInPureFunctions(Instruction_instruction)

{

switch(_instruction)

{

......

caseInstruction::TIMESTAMP:

caseInstruction::NUMBER:

caseInstruction::DIFFICULTY:

caseInstruction::GASLIMIT:

caseInstruction::RANDOM://增加的random指令影響函數的Pure屬性。returntrue表示該函數不能使用pure關鍵字。

caseInstruction::STATICCALL:

caseInstruction::SLOAD:

returntrue;

default:

break;

}

returninvalidInViewFunctions(_instruction);

}

修改虛擬機代碼

random指令的定義，代碼位置：hvm/evm/opcodes.go

const(

//0x40range-blockoperations

BLOCKHASHOpCode=0x40+iota

COINBASE

TIMESTAMP

NUMBER

DIFFICULTY

GASLIMIT

RANDOM//新增

)

varopCodeToString=mapstring{

......

NUMBER:"NUMBER",

DIFFICULTY:"DIFFICULTY",

GASLIMIT:"GASLIMIT",

RANDOM:"RANDOM",//新增

......

}

varstringToOp=mapOpCode{

......

"NUMBER":NUMBER,

"DIFFICULTY":DIFFICULTY,

"GASLIMIT":GASLIMIT,

"RANDOM":RANDOM,//新增

......

}

指令操作的定義：代碼位置：hvm/evm/jump_table.go,添加指令的操作屬性

instructionSet=operation{

execute:opRandom,

gasCost:constGasFunc(GasQuickStep),

validateStack:makeStackFunc(0,1),

valid:true,

}

上述操作碼對應函數opRandom的定義：代碼位置hvm/evm/instrucitons.go，可參考number函數的定義

funcopNumber(pc*uint64,evm*EVM,contract*Contract,memory*Memory,stack*Stack)(byte,error){

stack.push(math.U256(new(big.Int).Set(evm.BlockNumber)))

returnnil,nil

}

funcopRandom(pc*uint64,evm*EVM,contract*Contract,memory*Memory,stack*Stack)(byte,error){

stack.push(math.U256(new(big.Int).Set(evm.Random)))

returnnil,nil

}

上述opRandom中使用了evm.Random，因此需要在evm結構體增加Random的屬性。代碼位置hvm/evm/evm.go

typeContextstruct{

......

Coinbasecommon.Address//ProvidesinformationforCOINBASE

GasLimit*big.Int//ProvidesinformationforGASLIMIT

BlockNumber*big.Int//ProvidesinformationforNUMBER

Time*big.Int//ProvidesinformationforTIME

Difficulty*big.Int//ProvidesinformationforDIFFICULTY

Random*big.Int//新增

}

上述增加了Random屬性，需要對其進行初始化，代碼位置為：hvm/hvm.go

funcNewEVMContext(msgMessage,header*types.Header,chainChainContext,author*common.Address)evm.Context{

......

returnevm.Context{

CanTransfer:CanTransfer,

Transfer:Transfer,

GetHash:GetHashFn(header,chain),

Origin:msg.From(),

Coinbase:beneficiary,

BlockNumber:new(big.Int).Set(header.Number),

Time:new(big.Int).Set(header.Time),

Difficulty:new(big.Int).Set(header.Difficulty),

GasLimit:new(big.Int).Set(header.GasLimit),

Random:new(big.Int).Set(header.Random),//新增

GasPrice:new(big.Int).Set(msg.GasPrice()),

}

}

上述獲取的header為當前校驗的塊的header。header.Random的增加與生成此處不介紹了。

至此，編譯源碼與虛擬機源碼添加Random指令修改完成。

生成編譯器

1、下載源碼：gitclone

https://github.com/ethereum/solidity

2、cdsolidity&&gitcheckoutv0.5.7#本文例子以v0.5.7版本為基礎版本進行修改

3、按照前文介紹修改相關代碼

4、編譯源碼生成編譯器

二進制編譯器：mkdirbuild&&cdbuild&&cmake..&&make#執行完成后生成二進制文件：solc

js編譯器：執行./scripts/build_emscripten.sh#執行完成后生成js文件：soljson.js

5、使用編譯器編譯合約代碼

使用二進制編譯器：solc--abitest.sol#生成abi

solc--bintest.sol#生成data

solc--opcodestest.sol#查看opcodes

使用js編譯器：可以將soljson.js替換到remix中進行測試。需要搭建remix環境并修改soljson.js的加載路徑或者自行編寫js腳本進行測試。

6、按照前文介紹修改虛擬機代碼并部署到測試鏈，使用上述生成的abi，data進行鏈上測試，合約部署和調用過程不在贅述。

注：如有問題請在下方留言聯系我們技術社群。

汪曉明博客：http://wangxiaoming.com/

汪曉明：HPB芯鏈創始人，巴比特專欄作家。十余年金融大數據、區塊鏈技術開發經驗，曾參與創建銀聯大數據。主創區塊鏈教學視頻節目《明說》30多期，編寫了《以太坊官網文檔中文版》，并作為主要作者編寫了《區塊鏈開發指南》，在中國區塊鏈社區以ID“藍蓮花”知名。

Tags：IONNSTUSHPUSHANATIONINSTAGold Rush FinancePushswap

幣安幣